JP4947936B2 - モニタリングシステムおよび管理装置 - Google Patents

モニタリングシステムおよび管理装置 Download PDF

Info

Publication number
JP4947936B2
JP4947936B2 JP2005233073A JP2005233073A JP4947936B2 JP 4947936 B2 JP4947936 B2 JP 4947936B2 JP 2005233073 A JP2005233073 A JP 2005233073A JP 2005233073 A JP2005233073 A JP 2005233073A JP 4947936 B2 JP4947936 B2 JP 4947936B2
Authority
JP
Japan
Prior art keywords
processing
event
captured image
moving object
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005233073A
Other languages
English (en)
Other versions
JP2007049521A (ja
Inventor
克己 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005233073A priority Critical patent/JP4947936B2/ja
Priority to DE602006010629T priority patent/DE602006010629D1/de
Priority to EP06254080A priority patent/EP1752945B1/en
Priority to US11/501,372 priority patent/US8625843B2/en
Priority to CN200610110775A priority patent/CN100584000C/zh
Publication of JP2007049521A publication Critical patent/JP2007049521A/ja
Application granted granted Critical
Publication of JP4947936B2 publication Critical patent/JP4947936B2/ja
Priority to US14/133,458 priority patent/US9277187B2/en
Priority to US15/003,843 priority patent/US9716864B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Facsimiles In General (AREA)

Description

発明の一つの形態は、撮像範囲内での監視イベントの発生をモニタリングするシステムに関する。
また発明の一つの形態は、モニタリングシステムのうちシステム内での監視イベントの発生に基づいて撮像画像を記録する管理装置に関する。
今日、モニタリングシステムは、様々な分野で使用されている。例えば、セキュリティシステムの構築に使用されている。
図１に、セキュリティシステムの従来構成例を示す。図１に示すように、セキュリティシステムは、撮像カメラ１と、撮像カメラを収容する管理装置３とで構成される。図１の場合、管理装置３には表示装置５が外付けされている。
セキュリティシステムに代表的な機能に動体検知がある。動体検知は、撮像範囲内への動体（例えば人、車両）の侵入を検知する機能をいう。一般には、動体の検知により、アラームの発報や撮像画像の記録が実行される。
ところで、従来型のセキュリティシステムの場合、撮像カメラ１には撮像画像の配信機能のみが搭載され、動体検知処理は管理装置３側で実行される。
例えば、図１に示す撮像カメラ１は、撮像素子１１、カメラ信号処理部１３、ＣＰＵ１５、画像圧縮部１７、ネットワーク処理部１９で構成される。このうち、カメラ信号処理部１３は、信号増幅処理、アナログ／ディジタル変換処理、露光調整処理、その他の映像信号への変換に必要な処理を実行する処理デバイスである。また、画像圧縮部１７は、例えばＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts
Group）方式で撮像画像を圧縮符号化する処理デバイスである。
一方、管理装置３は、ネットワーク処理部３１、ＣＰＵ３３、表示制御部３５、画像圧縮伸張部３７、イベント検知部３９、ディスク制御部４１、ハードディスク装置４３で構成される。このうち、イベント検知部３９は、ネットワーク経由で受信した撮像画像の画像処理を通じて動体の侵入を検出する処理デバイスである。なお、ネットワークには、例えばIEEE802.3標準で規定された通信規格を使用する。
図２に、動体検知に関する処理アルゴリズムの機能配分例を示す。図２に示すように、画像取込と撮像画像のネットワークへの転送処理までが撮像カメラ１側で実行される。一方、動き検出から警報実行までの一連の処理が管理装置３側で実行される。
特開２００３−２３３８８９号公報
以上のように、既存のセキュリティシステムでは、管理装置側において動体検知処理が実行される。このため、撮像カメラは撮像された画像データを常に配信する必要がある。
図３に、ネットワークの帯域使用例を示す。図３（Ａ）は、動体の侵入が検知されていない期間（通常時）の帯域使用例であり、図３（Ｂ）は、動体の侵入が検知された後の期間（警報時）の帯域使用例である。このように、既存のセキュリティシステムでは、動体の侵入の有無によらず、ネットワークの帯域が一定量（この例では３Ｍｂｐｓ）占有される。
しかも、図４に示すように管理装置３に収容する撮像カメラ１の台数が増えるとその分だけネットワークを占有する帯域も増加する。例えば、４台の撮像カメラを収容する場合、１２Ｍｂｐｓ（＝３Ｍｂｐｓ×４台）もの帯域を常時占有する。このように、収容する撮像カメラの台数が増えるほど、ネットワークを占有する帯域幅が問題となる。
また、終了する撮像カメラの台数が増えると、管理装置３に動体検知処理が集中する。このため、収容する撮像カメラの台数が増えるほど、管理装置３には高い処理能力が要求される。例えば、収容する撮像カメラが４台の場合、現在の技術水準で実用的な動体検知処理を実現するのには、ペンティアム（登録商標）３ＧＨｚ程度の処理能力が必要になる。
さらに、多数の撮像カメラを収容して大規模なセキュリティシステムを構築する場合、収容する撮像カメラの台数に比例して管理装置３の台数を増やす必要がある。
図５に、大規模セキュリティシステムの構築例を示す。図５は、１６台の撮像カメラ１を４台の管理装置３で収容し、更にはシステムサーバー７で４台の管理装置３を階層管理する例である。
図６に、撮像カメラの台数と用意する管理装置３の台数との関係を示す。図６に示すように、管理装置３の台数は撮像カメラ１の台数に比例するように増加する。
上記課題を解決するため、本発明のモニタリングシステムは、複数台の撮像装置と、複数台の撮像装置をネットワーク経由で管理する管理装置とを有するモニタリングシステムであって、撮像装置は、監視イベントの検知に関する処理アルゴリズムの一部を、撮像画像について実行する第一のイベント検知部と、第一のイベント検知部の処理結果を送信する送信部と、を有し、管理装置は、処理アルゴリズムの未実行の部分を、送信部から受信した複数台の撮像装置における処理結果について実行する第二のイベント検知部と、第二のイベント検知部の複数の処理結果に基づいて監視イベントが検知された場合には、複数の処理結果に対応する撮像画像を送信するよう撮像装置に指示する送信指示部と、撮像装置から受信した撮像画像を記録する記録制御部と、を有し、監視イベントは、設定範囲内への動体の侵入であり、動体の侵入の検知処理は、撮像画像中の動体に関する動きベクトルを検出する動き検出処理と、撮像画像において動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、統合された領域にラベルを付与するラベリング処理と、ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、設定範囲内への動体の進入を検知するものである。
また、本発明のモニタリングシステムは、複数台の撮像装置と、複数台の画像処理装置と、複数台の画像処理装置をネットワーク経由で管理する管理装置とを有するモニタリングシステムであって、画像処理装置は、監視イベントの検知に関する処理アルゴリズムの一部を、撮像装置により撮像した撮像画像について実行する第一のイベント検知部と、第一のイベント検知部の処理結果を送信する送信部と、を有し、管理装置は、処理アルゴリズムの未実行の部分を、送信部から受信した複数台の画像処理装置における処理結果について実行する第二のイベント検知部と、第二のイベント検知部の複数の処理結果に基づいて監視イベントが検知された場合には、複数の処理結果に対応する撮像画像を送信するよう画像処理装置に指示する送信指示部と、画像処理装置から受信した撮像画像を記録する記録制御部と、を有し、監視イベントは、設定範囲内への動体の侵入であり、動体の侵入の検知処理は、撮像画像中の動体に関する動きベクトルを検出する動き検出処理と、撮像画像において動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、統合された領域にラベルを付与するラベリング処理と、ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、設定範囲内への動体の進入を検知するものでもある。
また、本発明の管理装置は、複数台の撮像装置の撮像画像における監視イベントの検知に関する処理アルゴリズムの一部の処理結果をネットワーク経由で受信し、処理アルゴリズムの未実行の部分を、受信した処理結果について実行するイベント検知部と、イベント検知部の複数の処理結果に基づいて監視イベントが検知された場合には、複数の処理結果に対応する撮像画像を送信するよう撮像装置に指示する送信指示部と、撮像装置から受信した撮像画像を記録する記録制御部と、を有し、監視イベントは、設定範囲内への動体の侵入であり、動体の侵入の検知処理は、撮像画像中の動体に関する動きベクトルを検出する動き検出処理と、撮像画像において動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、統合された領域にラベルを付与するラベリング処理と、ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、設定範囲内への動体の進入を検知するものである。
各撮像装置／各画像処理装置ごとに、撮像装置側／画像処理装置側と管理装置側とで処理アルゴリズムを分散して実行し、その各処理結果に基づいて監視イベントを検知した場合には管理装置側から各撮像装置側／各画像処理装置側に対して撮像画像を送信するように指示を行うことができる。つまり、所望の撮像画像だけが各撮像装置／画像処理装置から送信されるように当該各撮像装置／各画像処理装置に指示を出すことができる。
本発明によれば、監視イベントの検知に関する処理アルゴリズムの少なくとも一部の処理が撮像側で実行される。そして、通常時には処理結果のみがネットワークに送信され、監視イベントの発生時に限り撮像画像がネットワークに送信される。
この結果、ネットワーク帯域の占有量が低下し、ネットワーク資源を有効に活用することができる。
また、複数の撮像側装置（撮像装置や画像処理装置を含む。）を収容する管理装置の処理負担が軽減するため、撮像側装置を多数収容する大規模システムを従来システムに比して少ない管理装置で構築できる。
以下、発明に係る技術を適用した形態例を説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。
（Ａ）形態例１
（Ａ−１）システム構成
図７に、セキュリティシステムに適用した場合の構成例を示す。図７には、図１との対応部分に同一符号を付して示す。
このセキュリティシステムも、撮像カメラ１１１と、撮像カメラを収容する管理装置１３１とで構成される。また、管理装置１３１には表示装置５が外付けされている。
このうち、撮像カメラ１１１は、撮像素子１１、カメラ信号処理部１３、ＣＰＵ１５、画像圧縮部１７、ネットワーク処理部１９、イベント検知部１１３で構成される。
撮像素子１１は、固体撮像素子（例えばＣＣＤセンサー、ＣＭＯＳセンサー）で構成する。カメラ信号処理部１３は、信号増幅処理、アナログ／ディジタル変換処理、露光調整処理、その他の映像信号への変換に必要な処理を実行する処理デバイスで構成する。
ＣＰＵ１５は、撮像カメラ全体の処理動作を制御する制御デバイスである。例えば、マイクロプロセッサで構成される。なお、ＣＰＵ１５は、ネットワークに出力するデータを選択する送信制御部としても機能する。
画像圧縮部１７は、ネットワークへの出力用に撮像画像を圧縮符号化する処理デバイスである。
ネットワーク処理部１９は、ネットワーク経由によるデータの送受信を実行する通信デバイスである。
イベント検知部１１３は、撮像素子１１で撮像された画像データを画像処理して監視イベントの発生を検知する処理デバイスである。監視イベントの検知処理は、検知目的や処理内容に応じて複数の処理ステップを経て実現される。
図８に、監視イベントが設定範囲内への動体の侵入である場合の処理ステップ例を示す。この場合、検知処理は、動き検出処理（図８（Ｂ））、領域統合処理（図８（Ｃ））、ラベリング処理（図８（Ｄ））、領域判定処理（図８（Ｅ））で構成される。
ここでの動き検出処理は、撮像画像（図８（Ａ））中の動きベクトルを検出する処理をいう。
領域統合処理は、動きベクトルが検出された領域を動体別に統合する処理をいう。この処理では、統合された領域の面積Ｓと座標（ｘ、ｙ）が求められる。
ラベリング処理は、統合された個々の領域にラベルを付与する処理をいう。
領域判定処理は、ラベル付きの各領域が画面内のどこに位置するかを判定する処理である。
これらの処理の結果、動体の侵入の有無及び侵入位置が得られる。
この形態例の場合、送信制御部としてのＣＰＵ１５は、動体の侵入を検出すると、動体検知処理で得られた処理結果と撮像画像とをネットワークに出力するように指示を出す。一方、動体の侵入を検出できないとき、送信制御部としてのＣＰＵ１５は、動体検知処理で得られた処理結果のみをネットワークに出力するように指示を出す。すなわち、記録すべき撮像画像が発生した場合にのみ撮像画像を送信し、それ以外の場合には現在の監視結果のみを送信する。
一方、管理装置１３１は、ネットワーク処理部３１、ＣＰＵ３３、表示制御部３５、画像圧縮伸張部３７、ディスク制御部４１、ハードディスク装置４３、イベント判定部１３３で構成される。
ネットワーク処理部３１は、ネットワーク経由によるデータの送受信を実行する通信デバイスである。
ＣＰＵ３３は、管理装置全体の処理動作を制御する制御デバイスである。例えば、マイクロプロセッサで構成される。なお、ＣＰＵ３３は、ネットワーク経由で受信した撮像画像のハードディスク装置４３への記録を指示する記録制御部としても機能する。
表示制御部３５は、収容する撮像カメラ１１１から受信した撮像画像やセキュリティ状況等を表示装置５に出力するデータ処理部である。
画像圧縮伸張部３７は、撮像画像に対する圧縮符号化処理を解除し、元画像を復元する復号化装置である。
ディスク制御部４１は、ハードディスク装置４３に対するデータ（撮像画像を含む。）の記録と再生を制御する制御装置である。
イベント判定部１３３は、ネットワーク経由で受信した監視イベントの発生の有無を判定する処理デバイスである。イベント判定部１３３の処理対象は、動体検知処理で得られた処理結果である。このため、多数の撮像カメラ１１１を収容する場合でも、イベント判定部１３３に要求される処理負荷は小さく済む。この形態例の場合、イベント判定部１３３は、動体の侵入時に警報を発する。
（Ａ−２）実現される効果
図９に、動体検知に関する処理アルゴリズムの機能配分例を示す。図９に示すように、画像取込から動き検出結果（処理結果）のネットワークへの転送処理までが撮像カメラ１１１側で実行される。一方、受信した処理結果に対する判定から警報実行までの一連の処理が管理装置１３１側で実行される。
このように、動き検出処理を撮像装置１１１側で実行することで、このセキュリティシステムの場合、通常時に占有される帯域を最小化することができる。
図１０に、ネットワークの帯域使用例を示す。図１０（Ａ）は、動体の侵入が検知されていない期間（通常時）の帯域使用例であり、図１０（Ｂ）は、動体の侵入が検知された後の期間（警報時）の帯域使用例である。
このように、図７に示すセキュリティシステムでは、動体の侵入が検出されない間は４つの撮像カメラ１１１を収容する場合でも帯域の占有量を数ｋｂｐｓ程度に抑制することができる。また、４台全ての撮像カメラ１１１で動体の侵入が検出される場合を除き、ネットワークの帯域占有量を既存のセキュリティシステムに比して低減することが可能になる。
しかも、管理装置１３１の処理負荷が格段に低減されるため、図１１に示すように、１台の管理装置１３１に多数の撮像カメラ１１１を収容することが可能になる。この結果、撮像カメラの増減が容易になり、システム運用後も柔軟にシステムを変更できる。
図１２に、撮像カメラの台数と用意する管理装置３の台数との関係を示す。図１２に示すように、管理装置１３１の台数は、撮像カメラ１１１の台数増加に対して抑制できる。
（Ｂ）他の形態例
（ａ）前述の形態例では、撮像装置１１１がイベント検知部１１３を搭載する場合について説明した。すなわち、撮像装置１１１がイベント検知部１１３を実装又は装着する商品形態の場合について説明した。
しかし、撮像側の装置構成はこれに限らない。例えば撮像装置とは独立した画像処理装置にイベント検知部１１３を搭載する構成を採用しても良い。なお、画像処理装置はネットワークとの通信機能を搭載する。
図１３に、モニタリングシステムの他の構成例を示す。図１３には、図７との対応部分に同一符号を付して示す。
図１３に示すモニタリングシステムは、撮像カメラ１４１、画像処理装置１５１及び管理装置１３１で構成される。装置内部の個々のデバイスは、前述の形態例と同じであるので説明を省略する。このシステム構成の場合にも、ネットワーク上に撮像画像（画像データ）が流れるのは動体が検知された場合のみであるので、形態例と同じ効果を期待できる。
前述の形態例は、商品形態が撮像カメラの場合であったが、撮像以外の機能を搭載する各種の画像処理装置１６１を用いてモニタリングシステムを構築することも可能である。
例えば、可搬型の情報端末（携帯電話、携帯情報端末等）やロボット（人型ロボット、動物型ロボット等）を用いてモニタリングシステムを構築することも可能である。
図１４に、この種のモニタリングシステムの構成例を示す。図１４にも、図７との対応部分に同一符号を付して示す。
図１４に示すモニタリングシステムでは、撮像素子１１を搭載する画像処理装置１６１において監視イベントの検知処理が実行され、その処理結果がネットワーク経由で管理装置１３１に送信される。この場合も、形態例と同じ効果を期待できる。
（ｂ）前述の形態例では、監視イベントとして動体の侵入を検出する場合について説明した。しかし、監視イベントはこれに限らない。
例えば、監視イベントとして設定範囲内への不動体の侵入又は設置を検知する場合にも適用できる。
図１５に、イベント検知部１１３で実現する不動体の検知処理例を示す。この場合、イベント検知部１１３は、動き検出処理（Ｓ１）、領域統合処理（Ｓ２）、静止領域判定処理（Ｓ３）、ラベリング処理（Ｓ４）、領域判定処理（Ｓ５）を実行する。
静止領域判定以外は、動体検知と同様の処理内容で実現できる。静止領域判定は、動体としてある時点に識別された領域が、一定時間後もある場所に静止し続けているか否かを判定する処理をいう。静止状態が確認された領域についてのみラベリングの対象とし、静止状態が確認されなかった領域については検知対象から除外する。
図１６は、車両が画面内を横切る様子を撮像した画面と対応する処理結果を示す図である。車両は撮像範囲に進入した時点で動体として検知されるものの画面内を横切って移動するため、不動体としては検知されない。
図１７は、車両が画面内に停車又は駐車された様子を撮像した画面と対応する処理結果を示す図である。
車両は撮像範囲に侵入した時点で動体として検知された後、画面内のある場所で静止することで不動体として検知される。
図１７の処理結果は、統合された領域の面積Ｓと座標（ｘ、ｙ）と時間ｔについて表している。
（ｃ）前述の形態例では、イベント検知部１１３内で検知処理の全体を実行する場合について説明した。すなわち、動体検知において、動き検出処理（図８（Ｂ））、領域統合処理（図８（Ｃ））、ラベリング処理（図８（Ｄ））、領域判定処理（図８（Ｅ））の全てをイベント検知部１１３内で実行する場合について説明した。
しかし、これら処理アルゴリズムのうち一部の処理機能のみを実行し、残りの処理機能は管理装置１３１（イベント判定部１３３）側で実行する手法を採用することもできる。例えば、領域統合処理までをイベント検知部１１３で実行して、その処理結果をネットワーク経由で管理装置１３１に送信し、管理装置１３１側でラベリングと領域判定を実行しても良い。この場合にも、撮像画像をそのままネットワーク上に流す場合に比して帯域の占有量を大幅に削減することができる。
また、ラベリングや領域判定処理に要する負荷は少ないため、支障なく多数の撮像カメラを管理装置に収容することができる。
この場合、監視イベントの検出に基づく撮像画像の送信は、管理装置側から撮像装置側に指示する手法を採用すれば良い。
もっとも、イベント検知部１１３で実行された処理結果から判断できる範囲で、イベント検知部１１３が自律的に撮像画像の送信を決定しても良い。
（ｄ）前述の形態例では、専らセキュリティシステムについて説明した。
しかし、特定の監視イベントの検出時にのみ撮像画像を記録したり、警報を発する用途であれば、産業用カメラシステム、ビデオ会議システム、リモートカメラシステム（講義、講演その他の教育関係、議場撮影、イベント撮影等）その他のモニタリングシステムに応用することができる。
（ｅ）前述の形態例では、監視イベントの検知に関する処理をハードウェア的に実現する場合について説明したが、これらの処理はソフトウェア処理として実現できる。この場合、プログラムはネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体、光学式記憶媒体、半導体記憶媒体その他を含む。
（ｅ）前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。
セキュリティシステムの従来構成例を示す図である。 撮像装置と管理装置との間における機能配分例を示す図である（従来例）。 ネットワークの帯域使用例を示す図である（従来例）。 従来装置を用いて可能な撮像カメラの収容例を示す図である。 多数の撮像カメラを収容する場合のシステム例を示す図である（従来例）。 従来装置を用いてシステムを構成する場合の撮像カメラ数と必要になる管理装置数の関係を示す図である。 セキュリティシステムの形態例を示す図である。 動体の侵入を検知する場合の処理ステップ例を示す図である。 撮像装置と管理装置との間における機能配分例を示す図である（形態例）。 ネットワークの帯域使用例を示す図である（形態例） 多数の撮像カメラを収容する場合のシステム例を示す図である（形態例）。 形態例の装置を用いてシステムを構成する場合の撮像カメラ数と必要になる管理装置数の関係を示す図である。 セキュリティシステムの他の形態例を示す図である。 セキュリティシステムの他の形態例を示す図である。 不動体の侵入又は設置を検知する場合の処理ステップ例を示す図である。 動体が侵入した場合の処理結果を示す図である。 不動体が侵入した場合の処理結果を示す図である。
符号の説明
１１１ 撮像カメラ
１１３ イベント検知部
１３１ 管理装置
１３３ イベント判定部
１４１ 撮像カメラ
１５１ 画像処理装置
１６１ 画像処理装置

Claims (4)

  1. 複数台の撮像装置と、前記複数台の撮像装置をネットワーク経由で管理する管理装置とを有するモニタリングシステムであって、
    前記撮像装置は、監視イベントの検知に関する処理アルゴリズムの一部を、撮像画像について実行する第一のイベント検知部と、
    前記第一のイベント検知部の処理結果を送信する送信部と、を有し、
    前記管理装置は、前記処理アルゴリズムの未実行の部分を、前記送信部から受信した複数台の撮像装置における処理結果について実行する第二のイベント検知部と、
    前記第二のイベント検知部の複数の処理結果に基づいて前記監視イベントが検知された場合には、前記複数の処理結果に対応する撮像画像を送信するよう前記撮像装置に指示する送信指示部と、
    前記撮像装置から受信した撮像画像を記録する記録制御部と、を有し、
    前記監視イベントは、設定範囲内への動体の侵入であり、
    前記動体の侵入の検知処理は、撮像画像中の前記動体に関する動きベクトルを検出する動き検出処理と、撮像画像において前記動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、前記統合された領域にラベルを付与するラベリング処理と、前記ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、前記設定範囲内への前記動体の進入を検知する
    モニタリングシステム。
  2. 請求項１に記載のモニタリングシステムにおいて、
    前記第一のイベント検知部では、動き検出処理と領域統合処理を実行し、
    前記第二のイベント検知部では、ラベリング処理と領域判定処理を実行する
    モニタリングシステム。
  3. 複数台の撮像装置と、複数台の画像処理装置と、前記複数台の画像処理装置をネットワーク経由で管理する管理装置とを有するモニタリングシステムであって、
    前記画像処理装置は、監視イベントの検知に関する処理アルゴリズムの一部を、前記撮像装置により撮像した撮像画像について実行する第一のイベント検知部と、
    前記第一のイベント検知部の処理結果を送信する送信部と、を有し、
    前記管理装置は、前記処理アルゴリズムの未実行の部分を、前記送信部から受信した複数台の画像処理装置における処理結果について実行する第二のイベント検知部と、
    前記第二のイベント検知部の複数の処理結果に基づいて前記監視イベントが検知された場合には、前記複数の処理結果に対応する撮像画像を送信するよう前記画像処理装置に指示する送信指示部と、
    前記画像処理装置から受信した撮像画像を記録する記録制御部と、を有し、
    前記監視イベントは、設定範囲内への動体の侵入であり、
    前記動体の侵入の検知処理は、撮像画像中の前記動体に関する動きベクトルを検出する動き検出処理と、撮像画像において前記動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、前記統合された領域にラベルを付与するラベリング処理と、前記ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、前記設定範囲内への前記動体の進入を検知する
    モニタリングシステム。
  4. 複数台の撮像装置の撮像画像における監視イベントの検知に関する処理アルゴリズムの一部の処理結果をネットワーク経由で受信し、前記処理アルゴリズムの未実行の部分を、受信した処理結果について実行するイベント検知部と、
    前記イベント検知部の複数の処理結果に基づいて前記監視イベントが検知された場合には、前記複数の処理結果に対応する撮像画像を送信するよう前記撮像装置に指示する送信指示部と、
    前記撮像装置から受信した撮像画像を記録する記録制御部と、を有し、
    前記監視イベントは、設定範囲内への動体の侵入であり、
    前記動体の侵入の検知処理は、撮像画像中の前記動体に関する動きベクトルを検出する動き検出処理と、撮像画像において前記動きベクトルが検出された領域を統合し、統合された領域の面積と座標を求める領域統合処理と、前記統合された領域にラベルを付与するラベリング処理と、前記ラベルに対応する領域が撮像画像のどこに位置するのかを判定する領域判定処理を含み、これらの処理結果に基づいて、前記設定範囲内への前記動体の進入を検知する
    管理装置。
JP2005233073A 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置 Expired - Fee Related JP4947936B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005233073A JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置
DE602006010629T DE602006010629D1 (de) 2005-08-11 2006-08-03 Überwachungssystem, Bildverarbeitungsgerät, Verwaltungsgerät, Ereigniserfassungsverfahren sowie Computerprogramm
EP06254080A EP1752945B1 (en) 2005-08-11 2006-08-03 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and computer program
US11/501,372 US8625843B2 (en) 2005-08-11 2006-08-09 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program
CN200610110775A CN100584000C (zh) 2005-08-11 2006-08-11 监视系统、图像处理装置、管理装置、事件检测方法
US14/133,458 US9277187B2 (en) 2005-08-11 2013-12-18 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program
US15/003,843 US9716864B2 (en) 2005-08-11 2016-01-22 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005233073A JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置

Publications (2)

Publication Number Publication Date
JP2007049521A JP2007049521A (ja) 2007-02-22
JP4947936B2 true JP4947936B2 (ja) 2012-06-06

Family

ID=37433606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005233073A Expired - Fee Related JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置

Country Status (5)

Country Link
US (3) US8625843B2 (ja)
EP (1) EP1752945B1 (ja)
JP (1) JP4947936B2 (ja)
CN (1) CN100584000C (ja)
DE (1) DE602006010629D1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989081B1 (ko) 2008-08-11 2010-10-25 한국전자통신연구원 네트워크 카메라를 이용한 이벤트 감시 시스템 및 방법
US9002057B2 (en) * 2011-03-22 2015-04-07 Alcatel Lucent Collaborative camera services for distributed real-time object analysis
JP5979241B2 (ja) 2012-10-18 2016-08-24 日本電気株式会社 カメラシステム
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
US20150221193A1 (en) * 2014-02-04 2015-08-06 Aruba Networks, Inc. Intrusion Detection and Video Surveillance Activation and Processing
AT516051B1 (de) * 2014-12-23 2016-02-15 Ats Datenverarbeitung Ges M B H & Co Kg Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch
JP2018093437A (ja) 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
WO2019073685A1 (ja) * 2017-10-13 2019-04-18 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、中央処理装置および該センサ装置の処理方法ならびに被監視者監視支援システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105312A (ja) * 1992-09-22 1994-04-15 Hitachi Ltd 静止物監視方法および装置
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US7124427B1 (en) * 1999-04-30 2006-10-17 Touch Technologies, Inc. Method and apparatus for surveillance using an image server
US7015806B2 (en) * 1999-07-20 2006-03-21 @Security Broadband Corporation Distributed monitoring for a video security system
US6678417B1 (en) * 1999-11-30 2004-01-13 International Business Machines Corporation Dictionary based video compression
JP2002044645A (ja) * 2000-07-24 2002-02-08 Gen Tec:Kk テレビカメラによる自動監視方法及び同装置並びに同プログラムを記録した記録媒体
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US6441734B1 (en) * 2000-12-12 2002-08-27 Koninklijke Philips Electronics N.V. Intruder detection through trajectory analysis in monitoring and surveillance systems
US7177448B1 (en) * 2001-04-12 2007-02-13 Ipix Corporation System and method for selecting and transmitting images of interest to a user
US20020163577A1 (en) * 2001-05-07 2002-11-07 Comtrak Technologies, Inc. Event detection in a video recording system
US20020171734A1 (en) * 2001-05-16 2002-11-21 Hiroshi Arakawa Remote monitoring system
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
JP3999561B2 (ja) * 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP2004056655A (ja) * 2002-07-23 2004-02-19 Sony Corp 信号処理システムと信号処理方法と信号処理プログラムおよび撮像装置とコンテンツ提示装置
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2004186844A (ja) * 2002-12-02 2004-07-02 Hitachi Ltd カメラ装置
US20040148518A1 (en) * 2003-01-27 2004-07-29 John Grundback Distributed surveillance system
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
FR2851397B1 (fr) * 2003-02-14 2005-05-13 Canon Europa Nv Procede et dispositif d'analyse de sequences video dans un reseau de communication
US7623152B1 (en) * 2003-07-14 2009-11-24 Arecont Vision, Llc High resolution network camera with automatic bandwidth control
JP2005039693A (ja) * 2003-07-18 2005-02-10 Aichi Kikaku:Kk 遠隔監視方法
JP2005118927A (ja) * 2003-10-15 2005-05-12 Sanyo Electric Co Ltd ロボット装置
JP2005228197A (ja) * 2004-02-16 2005-08-25 Funai Electric Co Ltd 監視システム及び監視方法
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
JP2007030439A (ja) * 2005-07-29 2007-02-08 Seiko Epson Corp 画像出力装置および画像出力方法
US8284254B2 (en) * 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
US7463145B2 (en) * 2005-09-22 2008-12-09 Rsi Video Technologies, Inc. Security monitoring arrangement and method using a common field of view

Also Published As

Publication number Publication date
CN1913624A (zh) 2007-02-14
US20140104434A1 (en) 2014-04-17
CN100584000C (zh) 2010-01-20
US9716864B2 (en) 2017-07-25
EP1752945A3 (en) 2007-11-21
DE602006010629D1 (de) 2010-01-07
US8625843B2 (en) 2014-01-07
US20070036515A1 (en) 2007-02-15
JP2007049521A (ja) 2007-02-22
EP1752945A2 (en) 2007-02-14
US9277187B2 (en) 2016-03-01
US20160150197A1 (en) 2016-05-26
EP1752945B1 (en) 2009-11-25

Similar Documents

Publication Publication Date Title
JP4947936B2 (ja) モニタリングシステムおよび管理装置
US10123051B2 (en) Video analytics with pre-processing at the source end
US20150332095A1 (en) Relevant image detection in a camera, recorder, or video streaming device
US10999577B2 (en) Quantization parameter determination method and image capture apparatus
JP2006309694A (ja) モニタ機能を備える携帯電話、モニタシステム及びそのモニタ方法
US11538316B2 (en) Surveillance system and control method thereof
JP2007036615A (ja) カメラ制御装置及び監視システム
JP4265919B2 (ja) 追尾型協調監視システムおよび撮像装置
US10904423B2 (en) Image providing apparatus and method
US7280596B2 (en) Apparatus detecting motion of image data and detecting method thereof
JP3942606B2 (ja) 変化検出装置
JP2010529717A (ja) リモートビューファインディング
US20040189792A1 (en) Security system using mobile phone
JP2004128659A (ja) ワイヤレス監視システム
CN109982017B (zh) 用于智能记录视频数据流的系统和方法
JP4373254B2 (ja) 圧縮データ量を制御する画像圧縮装置及びそれを用いたカメラ
WO2019188039A1 (ja) 画像処理システム
JP2015050697A (ja) 映像処理装置及び映像処理装置の制御方法
JP4555132B2 (ja) エンコードプログラムおよびエンコーダ
Tiwari et al. Low power customized new trend remote surveillance system over 3G mobile network
JP2007174273A (ja) 監視システム
JP2005252696A (ja) 撮像システム
JP2005110066A (ja) 画像侵入検知システム、検知装置、映像サーバおよび画像侵入検知方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081222

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100420

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100604

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4947936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees