JP4882276B2 - 画像配信方法、及び画像配信装置 - Google Patents

画像配信方法、及び画像配信装置 Download PDF

Info

Publication number
JP4882276B2
JP4882276B2 JP2005149440A JP2005149440A JP4882276B2 JP 4882276 B2 JP4882276 B2 JP 4882276B2 JP 2005149440 A JP2005149440 A JP 2005149440A JP 2005149440 A JP2005149440 A JP 2005149440A JP 4882276 B2 JP4882276 B2 JP 4882276B2
Authority
JP
Japan
Prior art keywords
event
information
camera
image
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005149440A
Other languages
English (en)
Other versions
JP2006332754A (ja
Inventor
裕輔 齋藤
博昭 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005149440A priority Critical patent/JP4882276B2/ja
Publication of JP2006332754A publication Critical patent/JP2006332754A/ja
Application granted granted Critical
Publication of JP4882276B2 publication Critical patent/JP4882276B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は画像情報の配信技術に係り、特に事象発生時に事象の種別、範囲、及び優先度を含む事象イベント情報を生成し、この事象イベント情報を基に該事象を撮影可能なカメラを効率的に選定し、選定したカメラの撮影した画像情報を配信先設備へ配信する画像配信方法、画像配信装置、事象検出装置、及び画像閲覧操作端末に関する。
図24は従来技術の画像配信システムの概要で、二つの画像配信用ネットワーク70a,70bにそれぞれ対応して設けられる画像配信システム(A)、(B)を示している。
画像配信システム(A)では、画像配信装置10aは画像配信用ネットワーク70aに設置された無人カメラ50a〜50eが撮影した画像情報を画像閲覧操作端末20aや配信先設備30aに配信する。カメラに付随する情報はデータベース12aに格納されている。このデータベースは運用者の操作性を向上する目的で利用され、例えば、カメラを一意に決定するアドレス(カメラID)、カメラ名称、カメラの機能仕様(パン・チルトは可能であるが、ズーム制御はできないなど)、カメラの設置場所を視覚的に表すための地図情報、などの情報が格納されている。本情報をここではカメラ情報とよび、その集合体であるデータベースをカメラ情報DBと呼ぶ。
画像閲覧操作端末20aは運用者が画像情報を閲覧しながらカメラを選択するための端末で、画像配信装置10aに対し画像情報の配信先や、配信対象となる画像情報を撮影するカメラを指示する。商品の一例として富士通製の”BroadSight”などがある。
センサーとカメラを連動させることも可能で、例えば無人カメラ50a、とカメラ50aの近隣に設置したセンサー60a(事象発生機能を含んでいる)とを連動させ、センサー60aが事象を検出した際にセンサー60aの近隣カメラ50aが撮影した画像情報を配信する。他の無人カメラ50b〜50eとセンサー60b〜60eについても同様である。
画像配信システム(B)についても上記の画像配信システム(A)と同様であるが、ここでは、画像配信用ネットワーク70aに接続されているセンサー60fの周辺を撮影できるカメラ50fは、画像配信用ネットワーク70bに接続されている構成例を示している。このような構成では、画像配信システム(A)と画像配信システム(B)との間で処理の連携がないため、センサー60fが異常事象を検出し画像配信システム(A)がそれを認識した場合でも、そのセンサー60fの周辺の様子をカメラで撮影することはできない。一方、画像配信システム(B)では、センサー60fの近傍を画像として撮影しその画像情報を配信することはできるが、センサー60fが検出した異常情報については認知することができない。
非特許文献1には、上記のセンサーとカメラを連動させる商品の一例である株式会社システム・ケイのインターネットカメラシステムが示されており、人体センサ等を用いて事象発生時には近隣カメラの映像を静止画キャプチャし保存する機能を有する。
図24に示した画像配信システムの構成例では、画像配信用ネットワーク(A)のセンサー60fの近隣にはカメラがなく、画像配信用ネットワーク(B)にはセンサー60fを撮影可能なカメラ50fが備えられている場合を示している。
特許文献1には、多数のユーザがアクセスすることができ、かつリアルタイムに画像を配信する画像配信システムが示されている。
株式会社システム・ケイのホームページ(インターネットカメラシステムに関するページを参照)、URL http://ics.systemk.co.jp/ 特開平2004−241817号公報(第8〜14頁、第1〜2図)。
図24の従来技術の画像配信システムの概要に示すように、従来は各画像配信システムは道路,河川,海岸,鉄道などの画像監視する対象物の種類に対応するかたちでそれぞれ独立したシステムとして構築される場合が多い。
このようなシステム構築の形態では、事象が発生した場所の近隣の状況を撮影できるカメラが自システム(たとえば河川の画像配信システム)には存在しないが、他システムには該事象を撮影可能なカメラが存在する場合があるが、システムが異なるためそのカメラを選択することができない。また、各自治体などで独自にシステムを構築しているが、広域的な監視を行うために、国土交通省などが運用する他システムのカメラの画像情報を利用したい場合があるが、システム間の連携がないため取り込むことができない場合がある。
このように、従来の画像配信システムでは、画像配信用ネットワークに設けられるカメラ、センサーを相互に利用することができないため、カメラやセンサーをそれぞれの画像配信用ネットワークで備える必要があり、画像配信システム構築のコスト増となる。
しかし、これを解決するために異なる画像配信用ネットワーク間でカメラやセンサーを連携させた場合は、それぞれの画像配信システムに元々備わっているカメラ以外の多数のカメラについても運用者の操作の対象とする必要があり、実際に発生した事象を撮影可能なカメラを運用者の判断で探し出すのは困難になるか、多大な時間が必要となることが予想される。
従来技術の画像配信システムでは、カメラの台数が1000台を超えると、もはや地図から探し出すのは不可能になっており、ディレクトリシステムなどのメタデータからの検索やリスト表示に頼っているのが実情であり、高価な地図が無駄な投資となることがある。
突発的に発生する事象に対しては、運用者が事象発生現場に急行せざるをえない場合もあり、かならずしも画像閲覧操作端末から運用者が直ちにカメラ選択できるとも限らない。
事象が時間を置いて発生した場合、異なる複数の事象なのか1つの事象が別の場所で発生したのかを運用者が的確に判断するのは難しく、また、異なる事象が連続して発生した場合には、後発事象より前発事象の方が重要であって保持したい場合でも、後発事象により前発事象の画像情報が置き換えられてしまうことが予想される。
複数のカメラが撮影した画像情報が配信対象候補としてリストアップされても、配信先設備で同時に出力できる画像の数が配信対象候補の画像数より少ない場合、運用者は画像情報の内容に対する優先度を判断しながらカメラを選択しなければならない。
事象の発生有無に関わらず、運用者の操作が最も優先されるべきであるが、これを実現するための操作端末と画像配信装置間のデータ受け渡しインターフェースが統一されていないと、画像配信システムの構成が複雑化してしまう。
上記のように、異なる画像配信システム間の連携が必要であると同時に、システム連携に伴い画像配信システムが管理すべき事象やカメラの数が増大し、発生した事象に対して多数のカメラから的確にその事象を撮影できるカメラを選択し、事象の発生が輻輳した場合でも優先度を考慮して適切に判断する必要があり、これらの様々な条件を自動的に判断して運用者に提示し、運用者の負荷を低減する画像配信システムの実現が望まれている。
本発明は、事象発生時に事象の種別、範囲、及び優先度を含む事象イベント情報を生成し、この事象イベント情報を基に該事象を撮影可能なカメラを効率的に選定し、選定したカメラの撮影した画像情報を配信先設備へ配信する画像配信方法、画像配信装置、事象検出装置、及び画像閲覧操作端末を提供することを目的とする。
本発明は、発生した事象をカメラ撮影した画像情報を配信先設備へ配信する画像配信方法において、カメラが撮影可能な範囲を示す撮影範囲情報を含むカメラ情報データベースを保持し、前記事象の発生時は、前記事象が発生した可能性のある位置の範囲を示す事象範囲情報を含む事象イベント情報を生成し、関連して発生する可能性のある複数の事象の事象範囲情報を関連付けて一個の連続事象として定義する連続事象定義情報を、前記連続事象の中から前記配信先設備との関連性が強い事象を抽出するための事象抽出条件とを関連付けて保持し、前記発生した事象を含む連続事象が前記連続事象定義情報として定義されている場合は、前記定義されている連続事象に属する第1の事象群の中から、前記連続事象定義情報と関連付けて保持されている前記事象抽出条件を基に第2の事象群を抽出し、
前記抽出した第2の事象群を撮影可能なカメラが撮影する画像情報を前記配信先設備へ配信する、ように構成した。
これにより、事象イベント情報に示される発生した事象の位置情報を基に、その事象を撮影可能な位置に設置されているカメラが人手を介さずに抽出され、その中から配信先設備へ配信すべき画像情報を撮影するカメラを選定することができる。
本発明の画像配信装置は、前記事象の発生時は、前記生成された事象イベント情報に含まれる連続事象名を基に前記連続事象定義データベースを検索して連続事象定義情報を獲得する手段と、前記生成された事象イベント情報の事象範囲情報が前記連続事象名で、かつ、前記連続事象名に対応する連続事象定義レコードが前記配信先設備情報を含む場合は、前記生成された事象イベント情報を優先度順に事象イベント情報蓄積部に蓄積する手段と、前記画像閲覧操作端末によりカメラ選択リストの表示を要求する操作イベント情報が生成された際は、前記事象イベント蓄積部に蓄積された事象イベント情報を基に所定の個数のカメラの識別情報を含むカメラ選択リストを生成して前記画像閲覧操作端末へ送信する手段と、前記画像閲覧操作端末から送信されてくるカメラを指定するカメラ指定操作イベント情報を受信時は、前記カメラ指定操作イベント情報に含まれるカメラが撮影する画像情報を前記配信先設備へ送信する手段と、前記連続事象定義レコードに含まれる前記配信先設備情報、前記事象範囲情報、及び前記カメラ情報データベースに保持される前記撮影範囲情報は、所定の起点からの距離を示すキロポスト情報を付帯情報として含み、前記カメラ選択リストの生成の際は、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて上り方向を示す場合は、前記事象イベント情報蓄積部に蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より大きい前記事象イベント情報を抽出し、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて下り方向を示す場合は、前記蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より小さい前記事象イベント情報を抽出する手段と、前記抽出した事象イベント情報を優先度順に選択し、前記選択した事象イベント情報に対応する事象を撮影可能なカメラを、前記カメラ情報データベース内の撮影範囲情報に含まれるキロポスト値と前記配信先設備情報のキロポスト値と差が小さい順に所定の個数を前記カメラ情報データベースを基に選択して前記カメラ選択リストに追加し、前記カメラ選択リストへの追加を前記配信先設備で表示可能な画面数と同じ数のカメラが選択されるまで行って、前記カメラ選択リストを生成する手段を備える、ように構成した。
これにより、例えば高速道路の渋滞監視などのように線状の事象発生範囲を持つ場合は、画像情報の配信先設備と発生した事象の発生位置との距離関係を考慮しながら、しかも事象の優先度に従ったカメラ選択が可能となる。例えば、高速道路のサービスエリアに設置される配信先設備から車の進行方向の所定の距離の範囲内に絞ってカメラを選択して、渋滞状況を監視するなどが可能となる。
また、上記のように本発明による画像配信システムでは、発生した事象の属性情報は所定の事象イベント情報の形式に統一され、運用者からの操作指示情報は所定の操作イベント情報に統一されるため、画像配信システムを構成する事象検出装置、画像配信装置、画像閲覧操作端末間のインタ−フェースが統一され、画像配信システムの構築が柔軟に行うことができ、従来は個別の画像配信システムだけで利用していたカメラやセンサーを、異なった画像配信システム間で相互利用できるようになる。
本発明では、様々な種類のセンサーが検知した事象に関して事象検出装置が検出した事象の種別、発生範囲、処理の優先度などを付与して統一した形式の事象イベント情報を生成する。そして、この事象イベント情報を基に画像配信装置が事象の状況を最も的確に撮影できるカメラを自動的に選択し、その選択したカメラが撮影する画像情報を配信先設備へ配信する。この事象イベント情報を互いのインターフェース情報として受け渡すことにより、複数の画像配信システム間の連携が可能となり、互いの画像配信用ネットワークが保有するカメラ設備を共有して活用できるようになる。
また、複数の画像配信システムの連携に伴う管理対象の事象やカメラの数の増大や事象発生の輻輳に対しても、事象及びカメラの優先度を考慮した画像情報の自動選択が可能となり、画像配信システムの運用が効率化されると同時に利便性が向上する。
さらに、運用者の操作端末である画像閲覧操作端末と画像配信装置間のインターフェースが操作イベント情報の受け渡しに統一されるため、運用者の操作によるカメラ選択に対しても複数の画像配信システム間の連携が可能となるのみならず、選択可能なカメラのリストが優先度順に画像閲覧操作端末に自動表示されるため、運用者による確実かつ迅速なカメラ選択操作が可能となる。
《実施例》
図1は、本発明の画像配信システムの概要(1)で、従来は図24のように二つのシステムに独立していた画像配信システム(A),(B)間の処理連携を、本発明の画像配信装置100、及び事象検出装置400を画像配信システム(A),(B)間に共通化して設けることにより実現する形態を示している。
画像配信用ネットワーク70a、70b、及び配信先設備30a、30bは、図24に示した従来技術の画像配信システムと同様である。
ここでは、画像配信用ネットワーク70a、70bでそれぞれ使用されていた従来技術の配信先設備30a、30bがそのまま使用され、また、画像配信用ネットワーク70a、70bで使用されていた従来技術の画像閲覧操作端末20a、20bは、それぞれ画像閲覧操作端末200a、200bに置き換えられた場合を想定することができる。
本発明の画像配信装置100は、本発明の事象検出装置400が生成した事象イベント情報を基に配信対象とする画像情報を撮影するカメラを選定し、選定したカメラが撮影する画像情報を配信先設備30a、30bに配信する。
50a〜50kはカメラで、60a〜60kはセンサーである。例えばセンサー60aの場合のように、センサー60aの近くにはセンサー60aが検出した事象を撮影するためのカメラ50aが、同一の画像配信用ネットワーク70aの中に設置される場合が多いが、センサー60fのようにそれが収容される画像配信用ネットワーク70aには近くにカメラが設置されない場合もある。この場合は、画像配信用ネットワーク70bに収容されているカメラ50fがセンサー60fの近くにある場合は、本発明の画像配信装置100及び事象検出装置400を用いることにより、画像配信ネットワーク70aのセンサー60fが検出した事象を画像配信ネットワーク70bのカメラ50fで撮影し、その撮影した画像情報を配信先設備30a、及び30bのいずれにも配信することができるようになる。
本発明の画像閲覧操作端末200a、200bは、画像配信システムの運用者が操作する端末で、画像配信用ネットワーク70a、70bのセンサーが検知した事象に関して、該事象を撮影可能なカメラを画像配信用ネットワーク70a、70bの双方から選択し、その選択したカメラが撮影した画像情報を配信先設備30a、30bの双方へ配信することができる。
本発明の事象検出装置400は、画像配信用ネットワーク70a、70bのセンサーから送信されてくる事象情報を受信し、その受信した事象情報を基に事象イベント情報を生成して、本発明の画像配信装置100へ送信する。
また、本発明では画像閲覧操作端末200a、200bで運用者(オペレータ)がカメラ選択などの操作をした場合には、画像配信装置100に対する指示情報を操作イベント情報と呼ばれる統一した形式のデータとして画像配信装置100へ送信する。
配信先設備30a、30bは、それぞれ従来より画像配信用ネットワーク70a、70bに対応して設けられたカメラ撮影画像の配信先となる設備で、例えば高速道路のサービスアリア(SA)などに設置される大型ディスプレイ、N分割合成装置、映像パトロール表示装置などがある。一般的に配信先設備は図24に示した従来技術の配信先設備と同じであり、既存の設備をそのまま使用することができるが、本発明の画像配信システムでは、この従来の配信先設備30a、30bに対して、画像配信用ネットワーク70a、70bのどちらのカメラが撮影した画像情報についても配信することができるようになる。
図2は、本発明の画像配信システムの概要(2)で、本発明の適用の別な形態を示している。
図1の本発明の画像配信システムの概要(1)と異なるのは、事象検出装置及び画像配信装置を共通化せずに、画像配信用ネットワーク70a、70bのそれぞれに対応する形で事象検出装置400a、400b及び画像配信装置100a、100bを設ける形態にしている点である。
この形態は、従来より画像配信用ネットワーク70a、70bのそれぞれに対応する形で設置されている画像配信装置10a、10b、画像閲覧操作端末20a、20bを本発明の画像配信装置100a、100b、画像閲覧操作端末200a、200bに機能アップし、新たに事象検出装置400a、400bを画像配信用ネットワーク70a、70bに対応付けて追加した場合を想定することができる。
この形態では、図1の構成では一台の事象検出装置400及び画像配信装置100が行っていた処理を、それぞれ二台の事象検出装置400a、400b及び画像配信装置100a、100bに機能分散あるいは負荷分散させて行うものであり、本発明の本質には影響しない。各装置の動作についても、図1の構成と同様であり、ここではその詳細な説明を割愛する。
本発明は上記の図1及び図2の形態に限定されることはなく、画像配信用ネットワーク、事象検出装置、画像配信装置、画像閲覧操作端末、配信先設備の数及び配置形態には依存せず、様々の形態に適用できる。
図3は、本発明の事象発生時のデータ転送シーケンスで、事象発生時のセンサー、カメラ、事象検出装置、画像配信装置、及び配信先設備の間の連携動作の例をデータ転送シーケンスとして示している。
S01.センサー60aにて事象の発生を検知する。
S02.発生した事象の内容を示す事象情報が事象検出装置400へ送信される。
S03.事象情報を受信した事象検出装置400は、受信した事象情報を基に、事象の種別を識別できるイベントID、事象の処理の優先順位を示すイベント優先度、事象の範囲を示す事象範囲情報、及び、事象の詳細状態を示す状態コードを含んだ所定の形式の事象イベント情報を生成して、画像配信装置100へ送信する。
S04.画像配信装置100は、受信した事象イベント情報に含まれる事象範囲情報が示す領域を撮影可能なカメラをカメラ情報DBを基に選定し、その選定したカメラが撮影する画像情報を画像配信装置100が受信するようにカメラを切替える。この例では、カメラ50aが選定される。
S05.切替えられたカメラ50aが撮影する画像情報が画像配信装置100へ送信される。
S06.画像配信装置100は、カメラ50aから受信した画像情報を別途指定される配信先設備へ送信する。この例では配信先設備30aに配信される。
S07.配信先設備30aは受信したカメラ50aが撮影した画像情報を画面に表示する。
S08.その後、別のセンサー60aが上記シーケンスS01とな別な事象の発生を検出する。
S09.発生した事象の内容を示す事象情報が事象検出装置400へ送信される。
S10.事象情報を受信した事象検出装置400は、事象の種別を識別できるイベントID、事象の処理の優先順位を示すイベント優先度、事象の範囲を示す事象範囲情報、及び事象の詳細状態を示す状態コードを含んだ所定の形式の事象イベント情報を生成して、画像配信装置100へ送信する。
S11.画像配信装置100は、受信した事象イベント情報に含まれる事象範囲情報が示す領域を撮影可能なカメラをカメラ情報DBを基に選定し、その選定してカメラが撮影する画像情報を受信するようにカメラを切替える。ここではカメラ50bが選定される。
S12.切替えられたカメラ50bが撮影する画像情報が画像配信装置100へ送信される。
S13.画像配信装置100は、受信したカメラ50bが撮影した画像情報を配信先設備30aへ送信する。
S14.配信先設備30aは受信したカメラ50bが撮影した画像情報を画面に表示する。
上記のシーケンスS05、S06、及び、シーケンスS12、A13では、画像配信装置100に画像信号のスイッチングを行うビデオスイッチャが備えられている前提で記述している。画像情報がIP(Internet Protocol)をベースにしたIP動画の場合は、画像配信装置100はそのIP動画自体は受信せずに、配信先設備に対してそのIP動画の配信元のアドレス情報を通知し、配信先設備はIP動画の配信元に直接アクセスして動画情報を受信するシーケンスになるが、この相違については本発明の本質に影響しない。
上記のように、本発明の画像配信方法では、事象検出装置400が事象発生の範囲を特定できる情報を所定の形式の事象イベント情報に含めて画像配信装置100に送信するため、画像配信装置100は設置されているカメラの位置と撮影可能範囲を示す情報を保持しているカメラ情報DBを基に、発生した事象を撮影できるカメラ(近隣カメラ)を選定することができる。
図4は、本発明の単独事象発生時の近隣カメラの判定方法である。
ある事象が単独で発生した際に、画像配信装置100が事象イベント情報を基に該事象の状況を撮影可能なカメラ(近隣カメラ)を3台のカメラの中から選定する際の、各カメラの撮影範囲と事象範囲の関係を示している。
事象イベント情報には、発生した事象の範囲を示す事象範囲情報が含まれている。この事象範囲情報は、事象範囲の中心位置を示す中心座標、及び事象範囲の広がり度合いを示す範囲サイズを含んでいる。例えば、事象範囲が円領域として把握できる場合には、中心座標は円領域の中心座標で、範囲サイズは該円領域の半径となる。また、カメラが撮影可能は範囲についても円領域として把握できる場合が多い。従って、以降の説明では、単独の事象の事象範囲、及び、カメラの撮影可能範囲が円領域となる場合を代表的な例として説明する。
図4に示す例では、事象範囲が円領域として把握できる場合を示しており、画像配信用ネットワーク70aの中のカメラ50a、50b、50cの撮影可能範囲がそれぞれ1a、1b、1cの円領域である場合を示している。また、円領域1aの中心座標は(Xa,Ya)、円領域1bの中心座標は(Xb,Yb)、円領域1cの中心座標は(Xc,Yc)として表し、それぞれの範囲サイズである半径はRa、Rb、Rcとする。
従って、センサー60aが事象を検出した際に事象検出装置400で生成される事象イベント情報には、事象範囲情報として円領域である事象範囲3の中心座標”(X,Y)”と、事象範囲3の広がり度合いを示す半径”R”が設定され、該事象イベント情報は画像配信装置100に送信される。
画像配信装置100は、受信した事象イベント情報内の事象範囲情報を取り出し、カメラ情報DB920に記憶されているカメラAの撮影範囲情報を基に、カメラAの撮影可能範囲を示す円領域1aと発生した事象の範囲を示す円領域3との間に共通領域があるか否かを判定する。
つまり、カメラ撮影範囲の中心座標(Xa,Ya)と事象範囲の中心座標(X,Y)との距離
Figure 0004882276
ならば、該事象はカメラAの撮影可能範囲1a内にある、つまり、カメラAは該事象の近隣カメラである、と判定する。
同様にして、カメラBの撮影範囲の中心座標(Xb,Yb)と事象範囲の中心座標(X,Y)との距離
Figure 0004882276
であるため、該事象はカメラBの撮影可能範囲1b外である、つまり、カメラBは該事象の近隣カメラではない、と判定する。
同様にして、カメラCの撮影範囲の中心座標(Xc,Yc)と事象範囲の中心座標(X,Y)との距離
Figure 0004882276
であるため、該事象はカメラCの撮影可能範囲1c外である、つまり、カメラCは該事象の近隣カメラではない、と判定する。
上記のようにして、事象検出装置400から送信されてくる事象イベント情報と、画像配信装置100が保持するカメラ情報DB920に格納されているカメラの撮影範囲情報を基に、単独で発生した事象を撮影可能なカメラ、つまり、発生した事象の近隣カメラを判定することが可能となる。
上記の説明では説明の便宜上事象範囲は円領域としたが、これには限定されず、事象イベント情報に設定される事象範囲情報の構成を変更することにより、様々な形状の領域を事象範囲として用いることができる。
図5は、本発明の連続事象発生時の近隣カメラの判定方法である。
前記図4に示したような単独の事象発生については、事象範囲を一個の円領域として捉えることができるが、例えば、河川、道路、鉄道など線状の領域全体の事象発生をまとめて連続した事象として把握する場合は、事象発生領域を個々の円領域としてではなく、互いに共通領域で繋がった一連の円領域列として捉える必要がある。
図5はこのような線状の事象発生領域の状況をカメラで撮影する際の近隣カメラ判定方法で、線状の連続事象発生領域4を単独事象群3-1〜3-11の和集合として捉える場合の例を示している。このため、事象群3-1〜3-11が一つの連続事象であることを示す定義情報を予めデータベース(連続事象定義DB)として登録しておき、事象検出装置400及び画像配信装置100の双方からアクセスできるようにしておく。そして、連続事象範囲を構成する各事象範囲について近隣カメラを選定し、その選定されたカメラ全体を該連続事象範囲の近隣カメラと判定するものである。
カメラA、B,Cの撮影可能な円領域の中心座標は(Xa,Ya),(Xb,Yb),(Xc,Yc)で、半径はRa,Rb,Rcとし、事象範囲群3-1〜3-11の各々の事象範囲の半径をR1〜R11とする。
まず、カメラAについては、事象範囲3-1〜3-7が撮影可能な範囲内で、事象範囲3-8〜3-11が撮影可能範囲外であるが、連続事象範囲4を構成する事象範囲群の中の少なくとも一つの事象範囲が撮影可能範囲と共通領域を有すれば該カメラはその連続事象範囲の近隣カメラと判定する。従って、ここではカメラAは連続事象範囲4の近隣カメラとみなされる。
カメラBについては、事象範囲3-1〜3-5及び3-11が撮影可能範囲外で、事象範囲3-6〜3-10が撮影可能範囲内であるが、連続事象範囲4を構成する事象範囲群の中の少なくとも一つの事象範囲が撮影可能範囲と共通部分を有すれば該カメラは近隣カメラと判定するため、カメラBは連続事象範囲4の近隣カメラと判定される。
カメラCについては、事象範囲3-1〜3-11の全てが撮影可能範囲外であるため、連続事象範囲4の近隣カメラではないと判定される。
事象検出装置400は、連続事象範囲4を構成する事象範囲群3-1〜3-11の中のいずれかの事象範囲に対応する事象が発生した場合、連続事象定義DBを参照して事象範囲群3-1〜3-11を構成する全ての事象範囲についての事象イベント情報を生成し、画像配信装置100へ送信する。
例えば、事象範囲3-4に対応する事象が発生した場合の動作シーケンスは次の様になる。
1)発生した事象の事象情報が画像配信用ネットワーク70aから事象検出装置400に送信される。
2)事象検出装置400は、受信した事象に対応する事象範囲情報(事象範囲情報の中心座標と範囲サイズである半径)を求め、該事象範囲情報を含む連続事象定義情報が登録されているか否かを、連続事象定義DBを参照して判定する。
3)該当する連続事象定義情報が登録されている場合は、その連続事象範囲を構成する全ての事象範囲についての事象イベント情報を生成して、画像配信装置100へ送信する。
4)画像配信装置100は、受信した事象イベント情報の全てについて、その事象範囲を撮影可能なカメラを選定する。つまり、あるカメラが上記連続事象範囲を構成する単独の事象範囲のどれか一つでも撮影可能であれば、そのカメラが選定される。
このように連続事象範囲を構成する事象範囲群3-1〜3-11全体を一つのまとまりとみなして処理することにより、カメラA及びカメラBを該連続事象範囲の近隣カメラとみなし、カメラA、Bが撮影した画像情報を配信の対象として選択することができる。
これは、あるセンサーからの事象情報の通知を契機に予め定めた領域全体の状況を監視する際に有効である。例えば道路や河川沿いの線状の領域に所定の間隔でカメラとセンサーを配置し、道路全体の渋滞状況や大雨の際の河川全体の水位状況をカメラの撮影した画像情報で監視する場合に、道路沿いに設置されたあるセンサーがスピード違反の車を検知した場合に、道路沿いの線状の連続領域全体を撮影可能なカメラを一斉に選択することが可能になる。同様に、河川沿いに設置されたあるセンサーが水位の異常上昇を検知した場合に、河川沿いの線状の領域全体を撮影可能なカメラを一斉に選択することが可能となる。この際には、選択された多数のカメラから必要なカメラを絞り込む手段や、選択された複数のカメラのリストを優先順位を付けて運用者に示し、運用者はその優先付けされたリストからカメラを選択する、などの運用者の利便性を考慮した機能も必要になるが、それについては後述する。
上記の連続事象としてはその事象範囲が線状の領域になる場合の例で説明したが、本発明では特に連続事象範囲の形状に限定されず、任意の形状の領域に適用できる。
図6は、本発明の事象検出装置の構成である。
本発明の事象検出装置400は、センサーから送信されてくる事象情報を受信する事象情報受信部410、事象イベント情報を生成する事象イベント情報生成部420、受信した事象情報の中から画像配信装置のカメラ選択処理に不要なものを廃棄する事象フィルタ部430、生成された事象イベント情報を画像配信装置100に送信する事象イベント送信部440、事象フィルタDB450、座標情報DB460を備えている。
事象情報受信部410は、画像配信用ネットワークのセンサーから送信されてくる事象情報を受信し、事象イベント情報生成部420へ引き渡す。
事象イベント情報生成部420は引き渡された事象情報に格納されている情報を基に、本発明の画像配信装置100が処理できる形の所定の形式の事象イベント情報を生成する。事象イベント情報には事象の種別を識別するイベントID、発生した事象の範囲を示す事象範囲情報、処理の優先度を示すイベント優先度、及び、事象の詳細状況を示す状態コードが含まれる。
事象イベント情報生成部420は、イベントID、状態コードを生成して事象イベント情報作成領域に設定して、その事象イベント情報作成領域をパラメータとして事象フィルタ部430を呼び出して、画像配信装置100のカメラ選択処理に必要なイベント優先度を付与すると同時に、画像配信装置100のカメラ選択処理に不要な事象を廃棄する。
また、事象イベント情報の事象範囲情報については、例えば、センサーから通知される事象情報に含まれているセンサー識別情報を基に座標情報DB460を検索して求め事象イベント情報に設定する。このとき、求めた事象範囲情報をキーにして連続事象定義DB910を検索して該事象範囲情報を含む連続事象範囲が登録されているか否かを判定し、登録されていない場合は発生した事象は単独事象であるとみなして、生成した一個の事象イベント情報を事象イベント送信部440へ引き渡す。一方、該事象範囲情報を含む連続事象範囲が連続事象定義DB910に登録されている場合は、該連続事象範囲を構成する全ての事象範囲についての事象イベント情報を生成して事象イベント送信部440へ引き渡す。
事象フィルタ部430は、事象イベント情報生成部420から引き渡されたイベントIDと状態コードを基に事象フィルタDB450を参照し、事象フィルタDB450に設定されている状態コードの規定条件を満足するか否かを判定し、規定条件を満たさない事象については廃棄対象として事象イベント情報生成部420へ通知する。又、状態コードの規定条件を満足する場合は事象フィルタDB450に設定されている優先度をイベント優先度として、引き渡された事象イベント情報作成領域に設定した後、事象イベント情報生成部420へ引き渡す。
事象イベント送信部440は、事象イベント情報生成部420から渡された事象イベント情報を画像配信装置100へ送信する。
上記のように、本発明の事象検出装置400は発生した事象の種別に応じたフィルタリング処理を行うことにより、画像配信装置100のカメラ選択処理に不要な事象は捨てることにより、不要な事象の処理による負荷を無くして効率よいカメラ選択と画像配信を行うことができる。さらに、イベント優先度を付与することにより、イベントの優先度に基づいたカメラの優先選択が可能となる。
事象フィルタDB450については、図7の本発明の事象フィルタDBのレコード構成において詳細を説明する。
連続事象定義DB910については、図9の本発明の連続事象定義DBのレコード構成において詳細を説明する。
座標情報DB460は、各種センサーから受信する事象情報に含まれる情報から、発生した事象の範囲に関する情報を生成するために必要な情報(座標情報など)を保持している。本データベースの内容については、使用するセンサーの種類や設置環境により異なり本発明の本質には影響しないため、その詳細な説明は割愛する。
図7は、本発明の事象フィルタDBのレコード構成で、前記図6の本発明の事象検出装置の構成で示した事象フィルタDB450に格納されるレコードの構成を示している。
事象フィルタDB450は、イベントID451、状態コード規定値452、優先度453を含むレコードの集まりとして構成される。
イベントID451は発生した事象の種別を識別する情報で、例えば火災発生、不法侵入、気象事象(積雪、霧、等)などの発生した事象の種類別にその識別情報が割りあてられる。
状態コード規定値452は、発生した事象の詳細状態を示す状態コードをチェックする際に比較照合される規定値で、例えば、センサーから送信されてくる事象の状態コードがこの規定値より小さい場合は該事象を無視して事象イベント情報の生成は行わず、画像配信装置100のカメラの選択処理には影響を与えないようにする。1例としては、積雪を示す事象が発生した場合にセンサーから送信されてくる事象情報に状態コードとして「積雪量」が含まれる場合に、規定値以下の積雪量の場合には特に監視する必要がないため、その事象については監視のためのカメラ選択処理を起動させたくない場合などに利用することができる。
優先度453は生成された事象イベント情報の画像配信装置100における処理優先度を示す値で、この優先度が事象イベント情報に設定されて画像配信装置100へ送信される。画像配信装置100は受信した事象イベント情報に設定されている優先度に従ってカメラ選択を行う。例えば、所定の短い時間内に複数の異なるイベントIDの事象イベント情報を受信した場合はその中で最も優先度の高い事象イベント情報を有効とし他の事象イベント情報は廃棄する、あるいは、高い優先度を持つ事象イベント情報に関係するカメラを優先的に選択し、その結果として該カメラが撮影した画像情報が優先的に配信先設備へ配信されるようにする、などの優先処理を行う。
本事象フィルタDB450に登録されていないイベントIDの事象イベント情報については、所定の優先度が設定される。また、状態コード規定値が設定されていない場合は、状態コードによるフィルタリング処理は行わない。
図8は、本発明の事象イベント情報の構成である。
事象イベント情報はイベントID611、イベント優先度612、事象範囲情報613、状態コード614を含んでいる。
イベントID611は発生した事象の種別を示す識別情報で、例えば速度違反、火災発生、不法侵入、水位異常、気象事象(積雪、霧、等)などの発生した事象の種類毎に固有の識別情報が付与される。
イベント優先度612はイベント処理の優先度を示す値で、事象検出装置400で付与され、事象イベント情報を受信した画像配信装置100はこのイベント優先度に基づいてカメラの選択と画像情報の配信を行う。
事象範囲情報613は、センサーが検出した事象が発生した可能性のある領域を示す情報で、その領域の中心座標613a、事象の発生位置の広がりの大きさを示す範囲サイズ613b、及び必要に応じて付帯情報613cから構成される。代表的な例としては事象発生領域を円領域として捉え、中心座標を円領域の中心座標とし、範囲サイズを該円領域の半径とすることができる。
付帯情報613cとしては、例えば後述するキロポスト値などを設定することができる。
状態コード614は発生した事象の詳細な状態を示すコードで、例えば事象の種別が気象事象の中の”積雪”の場合は、積雪量(積雪の高さ)とすることができる。
図9は、本発明の連続事象定義DBのレコード構成である。
連続事象定義DB910は連続事象名911、配信先設備情報912、事象範囲群定義情報913から成るレコードの集まりとして構成される。
連続事象名911は、ここで定義する連続事象範囲の名称情報である。この連続事象名が定義されている場合、事象検出装置400は、ここで定義される連続事象群のいずれかの事象が発生すると、事象イベント情報の事象範囲情報に本連続事象名を設定して画像配信装置100へ送信するように構成することができる。
また、本連続事象名が定義されている連続事象範囲は、画像閲覧操作端末からの手動操作が可能となり、その場合は、下記の配信先設備情報912に必要な情報を登録しておく。
配信先設備情報912は、画像閲覧操作端末200a、200bからの運用者の操作によりカメラ選択する場合に画像配信装置100が参照する情報で、配信先設備の識別情報とそこに配信する画像情報を撮影するカメラ選択の際の条件情報が設定される。例えば、道路沿いの線状の連続事象範囲のカメラを画像閲覧操作端末からの操作で選択する場合に、車の流れの方向を示す方向情報とカメラ選択台数情報を設定しておくことにより、事象が発生した地点から車の流れる方向の領域を撮影可能なカメラに限定して所定の台数のカメラを選択することが可能となる。
事象範囲群定義情報913は、連続事象範囲を構成する個々の事象の範囲情報を列挙したものである。ここでは、事象範囲情報913-1~913-nのn個の事象範囲情報により連続事象が定義されている例を示している。
事象範囲情報913-1は、中心座標情報912-1a、範囲サイズ情報913-1b、付帯情報913-1cを含んでいる。
中心座標情報913-1aは、該事象が発生する可能性のある領域(範囲)の中心位置の座標である。範囲サイズ情報913-1bは、上記中心座標情報913-1aで示される中心位置からの事象の広がりの程度を示す値であり、上記の中心座標情報913-1aとこの範囲サイズ情報913-1bにより事象範囲が確定する。代表的な例として事象範囲が円領域として表せる場合は、中心座標情報913-1aはその円領域の中心座標値で、範囲サイズ情報913-1bはその円の半径値となる。
事象範囲情報913-2~913-nについての、上記の事象範囲情報913-1と同様の構成である。
また、本連続事象定義DB910は画像配信装置100からもアクセスできるように構成される。
事象検出装置400は、発生した事象の位置座標情報をキーにしてこの連続事象定義DB910を検索し、発生した事象の位置座標を含む連続事象範囲が見つかった場合は、その発生した事象は連続事象であると判断し、一致した連続事象を構成している全ての事象についての事象イベント情報を生成し画像配信装置100へ送信する。これにより、連続事象の属する1個の事象が発生したタイミングで、該連続事象範囲に属する全ての事象範囲のいずれかを撮影可能なカメラが全て選択され運用者の監視対象とすることができる。
例えば、ある道路の渋滞監視を行う場合に、その道路の線状の領域を連続事象範囲とみなして連続事象定義DB910に登録しておく。そして、交通事故など渋滞の原因となる事象が発生した場合には、事象検出装置400がその交通事故という事象情報をセンサーから受信すると、その発生位置座標をキーにして連続事象定義DB910を検索して該発生位置座標を含む連続事象範囲が定義されているか否かを判定し、定義されていればその連続事象範囲に属する全ての事象についての事象イベント情報を画像配信装置100に送信することにより、画像配信装置100は事故が発生した道路を撮影可能な全てのカメラを監視対象として選択することができるようになる。
図10は本発明の事象検出装置の動作フローである。
S401.センサーから受信した事象情報を基に、イベントID、状態コードを事象イベント情報作成領域に設定する。
S402.事象イベント情報作成領域の内容をパラメータとして事象フィルタ部430を呼び出し、パラメータとして引き渡した状態コードが規定値を満足するか否かの判定及び優先度の付与を行う。
S403.事象フィルタ部430からの渡された復帰情報が事象廃棄を示しているか否かを判定し、事象廃棄の場合は(YES)処理を終了し、そうでない場合は(NO)次のステップS404へ移行する。
S404.センサーから受信した事象情報を基に、座標情報DB460を参照して発生した事象の範囲の中心座標、範囲サイズを求めて、事象イベント情報作成領域に設定する。
S405.上記ステップS404で生成した中心座標をキーにして連続事象定義DB910を検索する。
S406.連続事象定義DB910に該中心座標を含む連続事象範囲が定義されているか否かを判定し、定義されていれば(YES)次のステップS407へ移行し、定義されていなければ(NO)ステップS408へ移行する。
S407.連続事象定義DB910から検索した連続事象範囲に属する全ての事象範囲についてそれを事象範囲情報とする事象イベント情報を生成して画像配信装置100へ送信し、処理を終了する。この時、生成される事象イベント情報のイベントID、優先度、状態コードには、上記のステップで事象イベント情報作成領域に設定されている値が設定される。
S408.上記ステップS404までに生成した事象イベント情報作成領域の内容を基に事象イベント情報を生成して画像配信装置100へ送信し、処理を終了する。
以上のようにして、様々な種類のセンサーから送信されてくる事象情報が、カメラ選択に不要なものは廃棄された後、事象イベント情報という所定の形式の情報に統一して画像配信装置100に送信されるため、本事象イベント情報をインターフェースとして異なる画像配信システム間でのカメラ画像情報の受け渡しの制御が行えるようになる。
本発明の別な形態としては、上記ステップS404までに生成された事象イベント情報作成領域の事象範囲情報の代わりに、連続事象定義DB910から検索した連続事象名を設定した後、その事象イベント情報作成領域の内容を一個の事象イベント情報として画像配信装置100へ送信するように構成することもできる。この場合は、その事象イベント情報を受信した画像配信装置100において該連続事象名をキーにして連続事象定義DB910を検索し、ヒットしたレコードの連続事象定義に属する全ての事象範囲情報を取り出して、その取り出した全ての事象範囲情報が示す範囲のいずれかを撮影可能なカメラを選定する。これにより、事象検出装置400と画像配信装置100との間の事象イベント情報の伝送回数を大幅に削減でき、効率よい画像配信システムとすることができる。
図11は、本発明の事象検出装置の事象フィルタ部の動作フローである。
S431.事象イベント情報生成部420から渡された事象イベント情報作成領域の中のイベントIDをキーにして事象フィルタDB450を検索する。
S432.イベントIDが一致するレコードが事象フィルタDB450にあるか否かを判定し、ある場合は(YES)次のステップS433へ移行し、ない場合は(NO)処理を終了して呼び出し元の事象イベント情報生成部420へ復帰する。
S433.一致したレコードに状態コード規定値が設定されているか否かを判定し、設定されている場合は(YES)ステップ435へ移行し、設定されていなければ(NO)ステップS434へ移行する。
S434.一致したレコードに設定されている優先度情報を事象イベント情報作成領域内のイベント優先度の領域に設定し、呼び出し元の事象イベント情報生成部420へ復帰すると同時に、該事象イベント情報作成領域の内容を引き渡す。
S435.事象イベント情報生成部420から引き渡された事象イベント情報作成領域の状態コードと、一致したレコード内の状態コード規定値とを比較し、事象イベント情報作成領域の状態コードが規定条件を満足しない場合は(NO)ステップS436へ移行し、規定条件を満足する場合は(YES)ステップS434へ移行する。ここで、規定条件は一般的にはイベントIDに依存して異なるが、例えば「発生した状態コードが規定値より大きい場合は規定条件を満足する」とすることができる。
S436.事象イベント情報生成部420から引き渡された事象イベント情報作成領域の事象を廃棄する旨の復帰情報を設定して、呼び出し元の事象イベント情報生成部420へ復帰する。
上記のように、発生した事象に状態コードを付与し、状態コードが規定条件を満足するか否かを判定して、満足しない場合は該発生した事象を廃棄してカメラ選択処理を行わないように構成することにより、カメラでの画像監視の必要がない程度の事象は画像配信処理の対象外として処理の効率化を図ることができる。これは、例えば、積雪状態をセンサーが検出して事象を発生させる場合に、所定の積雪量以下の場合はカメラ撮影の対象外とする場合などに適用できる。
図12は、本発明の画像配信装置の構成である。
イベント受信部110は事象検出装置400または画像閲覧操作端末200a、200bから送信されてくるイベント情報(事象イベント情報または操作イベント情報)を受信してイベント解析部120へ引き渡す。
イベント解析部120は、イベント情報の中のイベントIDを判定し、所定の操作イベント情報を示すイベントIDの場合は操作イベント処理部140を起動する。
所定の操作イベント情報のイベントID以外の場合は受信したイベント情報は事象イベント情報であるとみなし、受信した事象イベント情報の中の事象範囲情報をキーにしてカメラ情報DB920に登録されているカメラの撮影範囲情報を検索し、発生した事象の事象範囲を撮影可能なカメラを抽出する。そして、その抽出したカメラの識別情報をカメラ候補リスト領域に蓄積した後、該カメラ候補リスト情報をパラメータとして画像配信部130を起動する。
また、受信した事象イベント情報の事象範囲情報に連続事象名が設定されている場合は、該連続事象名をキーにして連続事象定義DB910を検索し、ヒットしたレコードの配信先設備情報912を参照する。配信先設備情報912には、本レコードの連続事象範囲が画像閲覧操作端末の操作対象となっているか否かを示す判別情報と配信先設備リスト情報が設定されており、画像閲覧操作端末の操作対象となっている場合は受信した事象イベント情報を事象イベント情報蓄積部930へ蓄積して、処理を終了する。ここで事象イベント情報蓄積部930に蓄積された事象イベント情報は、後に画像閲覧操作端末から運用者が操作指示を入力した際のカメラ選択処理に使用される。
一方、画像閲覧操作端末の操作対象となっていない場合は、ヒットしたレコードの事象範囲群定義情報913に含まれる全ての事象範囲情報について、該事象範囲情報が示す範囲を撮影可能なカメラを抽出してカメラ候補リスト領域に蓄積した後、該カメラ候補リストをパラメータとして画像配信部130を起動する。
上記において、イベント解析部120はイベント受信部110から渡された事象イベント情報を所定の時間(短時間を想定)保持し、その間に異なったイベントIDの事象イベント情報を複数受信した際は、先発の事象イベント情報と後発の事象イベント情報の優先度を比較し、優先度が低い事象イベント情報を廃棄し、優先度が同じ場合は後発の事象イベント情報を廃棄する、ように構成することもできる。これにより、短時間内に複数の異なる種別の事象が発生した場合にはその中のイベント優先度が最も高い事象イベント情報のみが処理され、事象の発生が輻輳した場合でも所定の優先度に従った適切なカメラ選択が可能となる。
また、同一イベントIDの事象イベント情報が複数引き渡された場合には、上記の所定時間内であってもそれらの事象イベント情報は全て処理対象とする。これにより、事象検出装置400が連続事象を検出して、その連続事象を構成する事象群に関する複数の事象イベント情報を短時間の間に送信してきた場合でも、該連続事象範囲を撮影可能なカメラを上記カメラ候補リストに蓄積して画像配信部130へ渡すことができる。
画像配信部130は、イベント解析部120から引き渡されたカメラ候補リストを参照し、カメラ候補リストに格納されているカメラ数が配信先設備に用意されている表示画面数より多い場合は、カメラ情報DB920に設定されているカメラの撮影重要度に従って配信先設備の表示画面数だけのカメラを抽出して、配信対象カメラリストとする。また、カメラ候補リストに格納されているカメラ数が配信先設備に用意されている表示画面数より少ない場合は、カメラ候補リストの内容をそのまま配信対象カメラリストとする。
その後、配信対象カメラリストに示されるカメラに切り替えて、該カメラが撮影した画像情報を配信先設備に送信する。
このように、予めカメラ毎にその撮影する画像情報の重要度である撮影重要度を付与してカメラ情報DB920に設定しておくことにより、配信先設備の表示能力(表示可能画面数)に応じて重要度順に画像情報を配信することができる。
また、画像配信部130は、後述する操作イベント処理部140からカメラ指定の操作イベント情報を引き渡されたときは、該操作イベント情報に設定されているカメラ識別情報のカメラが撮影する画像情報を、同じく該操作イベント情報に設定されている配信先設備識別情報の配信先設備へ送信する。
操作イベント処理部140は、所定のイベントID(画像閲覧操作端末からの操作指示イベントを示す)を有するイベント情報(操作イベント情報)を受信したときに、イベント解析部120から起動されるもので、引き渡された操作イベント情報のイベントIDに応じて、次の処理を行う。
1).イベントIDが配信先リスト表示指示の操作イベント情報を示している場合は、受信した操作イベント情報の操作範囲情報に設定されている連続事象名をキーにして連続事象定義DB910を検索し、ヒットしたレコードの配信先設備情報912に含まれている配信先リストを抽出して、画像閲覧操作端末へ送信する
2). イベントIDがカメラ選択リスト表示指示の操作イベント情報を示している場合は、受信した操作イベント情報の操作範囲情報に設定されている連続事象名をキーにして、事象イベント情報蓄積部930より該連続事象名に対応する事象イベント情報列を抽出する。事象イベント情報蓄積部930には事象イベント情報がその優先度に従ってソートされて蓄積されており、抽出された事象イベント情報列も優先度順にソートされている。
この優先度順にソートされた事象イベント情報列を基に、該事象イベント情報列が示す事象を撮影可能なカメラを所定の個数(画像閲覧操作端末が表示できる数)抽出してカメラ選択リストを生成し、画像閲覧操作端末へ送信する。
3).イベントIDがカメラ指定の操作イベント情報を示している場合は、該操作イベント情報をパラメータとして画像配信部130を起動する。
上記の2)において、操作イベント情報の操作範囲情報に設定される連続事象名が線状の領域の連続事象範囲を示している場合は、事象イベント情報の事象範囲情報、連続事象定義DB910内の事象範囲情報、カメラ情報DB920内の撮影範囲情報のそれぞれの付帯情報に所定の地点からの距離を示すキロポスト値(KP値)を設定しておくことにより、上記の事象イベント情報列からのカメラ抽出の際は、配信先設備のキロポスト値と事象イベント情報列内の事象イベント情報のキロポスト値を比較することにより、配信先設備からの相対的なキロポスト値が所定の値以下の範囲の事象に関して、その優先度順に従って撮影可能なカメラのカメラ選択リストを生成することができる。これは、例えば高速道路の渋滞状況などの画像情報を配信するシステムにおいて、配信先設備となるサービスエリアの画像表示装置に対して、その配信先設備の地点から所定の走行距離区間内の道路の走行状況をカメラ撮影した画像を表示させたい場合に有効となる。
連続事象定義DB910は、事象検出装置400及び画像配信装置100の双方からアクセスできるように構成され、その内容は前記図9にて説明したのでここでは詳細な説明を割愛する。
カメラ情報DB920は、カメラの撮影可能な範囲情報などを格納しているデータベースで、その詳細は後述する図13の本発明のカメラ情報DBのレコード構成に示されているので、ここでは詳細な説明を割愛する。
事象イベント情報蓄積部930は、画像閲覧操作端末の対象となる連続事象範囲での事象発生に関する事象イベント情報を蓄積する記憶領域で、ここに蓄積された事象イベント情報列の中から画像閲覧操作端末の操作者がカメラ選択を手動で行う際に必要となるカメラ選択リストが生成されて、画像閲覧操作端末へ送信される。
上記のように、本発明の画像配信装置100は、事象の発生については所定の形式の事象イベント情報、運用者の操作指示については所定の形式の操作イベント情報を基に配信対象とすべき画像情報を撮影するカメラの抽出と選択を行うため、この所定の形式のイベント情報(事象イベント情報と操作イベント情報)をインターフェースとすることにより、事象検出装置、画像配信装置、画像閲覧操作端末、配信先設備を柔軟に配置してシステム構築を行うことができる。
図13は、本発明のカメラ情報DBのレコード構成である。
カメラ情報DB920を構成する各レコードは、カメラID921、カメラ名称922、制御情報923、撮影範囲情報924、撮影重要度925を含んでいる。
カメラID921は設置される個々のカメラの識別情報で、カメラ名称922は画像配信システムの運用者がカメラを分かりや易く識別できるようにした名称情報である。
制御情報923には、カメラを制御するために必要な情報が設定される。
撮影範囲情報924は、中心座標924a、範囲サイズ924b、付帯情報924cで構成される。中心座標924aは該カメラが撮影可能な範囲の中心位置を示す座標情報で、範囲サイズ924bは該カメラが撮影可能な範囲の大きさを示す情報である。代表的な例としては、カメラの撮影範囲を円領域で表し、中心座標924aをその円領域の中心座標とし、範囲サイズ924bをその円領域の半径とすることができる。付帯情報924cには、例えば画像監視の対象が線状の連続事象範囲で、カメラの設置場所の位置も所定の地点を起点とする距離情報であるキロポスト値で表すことができる場合に、そのキロポスト値を設定しておくことができる。
ある事象が発生した場合に、該事象に対応する事象イベント情報に含まれる事象範囲情報と、本カメラ情報DB920に設定されている撮影範囲情報とを基に、発生した事象を撮影可能なカメラを選定できるようになる。
図14は、本発明のカメラ候補リストの構成である。
カメラ候補リスト940は、イベントID941とカメラIDリスト942から成る。
イベントID941は発生した事象に関する事象イベント情報の識別情報で、カメラIDリスト942は発生した事象の範囲を撮影可能なカメラのカメラIDを列挙したリストである。ここでは、m台のカメラID942-1〜942-mがリストアップされている例を示している。
画像配信装置100の画像配信部130は、本カメラ候補リスト940の中から配信先設備で表示可能な画面数分のカメラを選択し、その選択したカメラが撮影した画像情報を配信先設備へ配信する。
図15は、本発明の操作イベント情報の構成である。
操作イベント情報620は、画像配信システムの運用者が画像閲覧操作端末から操作指示情報を入力した際に画像配信装置100へ送信されるイベント情報である。
イベントID621は、操作イベント情報の識別情報で、事象が発生した際に事象検出装置400から送信される事象イベント情報とは異なったイベントIDが付与される。本発明の実施例では、配信先設備リスト表示、カメラ選択リスト表示、カメラ指定の3種類の操作イベント情報を用いている。
イベント優先度622は、イベント情報の処理の優先度を示すもので、通常は本操作イベント情報は通常の事象イベント情報より優先度を高く設定しておくことにより、運用者の操作に対する処理を優先的に行うことができる。
操作対象情報623は操作の対象を示す情報が設定されるもので操作イベント情報の種類により異なるが、例えば、配信先リスト表示の操作イベント情報の場合は操作の対象となる連続事象名が設定され、カメラ選択リスト表示の操作イベント情報の場合は操作の対象となる配信先設備の識別情報連続と事象範囲名が設定され、カメラ指定の操作イベント情報の場合はカメラ識別情報と配信先設備識別情報が設定される。
配信先リスト表示の操作イベント情報は、画像閲覧操作端末の起動時または操作者の要求により画像配信装置100に送信され、画像配信装置100は画像閲覧操作端末の操作者が配信先設備をメニュー選択できるようにするための配信先設備の識別情報のリスト(配信先設備リスト)を画像閲覧操作端末へ送信する。
カメラ選択リスト表示の操作イベント情報は、画像閲覧操作端末の操作者が上記の配信先設備リストに基づいて配信先設備を選択した時点で画像配信装置100へ送信される。画像配信装置100は受信した操作イベント情報で指定された配信先設備についてのカメラ選択リストを画像閲覧操作端末へ送信する。
カメラ指定の操作イベント情報は、画像閲覧操作端末の操作者が上記のカメラ選択リストに基づいてカメラを選択した時点、もしくは、画像閲覧操作端末の操作者が配信先設備とカメラを直接指定して入力した場合に画像閲覧操作端末から画像配信装置100へ送信される。画像配信装置100は、受信した操作イベント情報に設定されている配信先設備に対して、同じく受信した操作イベント情報に設定されているカメラが撮影する画像情報を送信する。
図16は、本発明の画像配信装置の動作フロー(1)で、イベント解析部120を中心とした画像配信装置100全体の動作フローを示している。
S101.事象検出装置400または画像閲覧操作端末よりイベント情報(事象イベント情報または操作イベント情報)を受信する。
S102.所定の短い時間受信したイベント情報を保持し、異なったイベント種別のイベント情報を複数受信した場合は最も優先度の高いイベント情報のみを受け付け、同一イベント種別のイベント情報については全てのイベント情報を受け付ける。
S103.上記ステップS102で受け付けたイベント情報のイベントIDを判定し、操作イベント情報ならば(YES)ステップS110へ移行し、操作イベント情報でなく事象イベント情報の場合は(NO)ステップS104へ移行する。
S104.受け付けた事象イベント情報の事象範囲情報613に連続事象名が設定されているか否かを判定し、連続事象名が設定されている場合は(YES)次のステップS105へ移行し、連続事象名が設定されていない場合は(NO)ステップS108へ移行する。
S105.連続事象定義DB910内の上記連続事象名に対応するレコードの配信先設備情報912部分を参照して、該連続事象範囲が画像閲覧操作端末からの操作対象となっているか否かを判定し、操作対象ならば(YES)ステップS109へ移行し、操作対象でないならば(NO)次のステップS106へ移行する。
S106.事象イベント情報の事象範囲情報613が示す事象範囲を撮影可能なカメラがあるか否かを判定し、カメラがある場合は(YES)次のステップS107へ移行し、カメラがない場合は(NO)処理を終了する。また、事象範囲情報613に連続事象名が設定されている場合は、該連続事象名をキーにして連続事象定義DB910を検索し、ヒットした連続事象範囲に属する事象範囲のどれかを撮影可能(該連続事象範囲の一部でもよい)なカメラがあるか否かを同様に判定する。
S107.事象イベント情報の事象範囲情報613が示す事象範囲を撮影可能なカメラを全て抽出して、カメラ候補リストを作成する。ここで、事象範囲情報613に連続事象名が設定されている場合は、該連続事象範囲のどこかを撮影可能(該連続事象範囲の一部でもよい)なカメラを全て抽出してカメラ候補リストを作成する。
S108.上記ステップS107で作成されたカメラ候補リストをパラメータとして画像配信部130を起動してカメラの選択と画像配信を行い、処理を終了する。
S110.受け付けた操作イベント情報をパラメータとして操作イベント処理部140を起動して画像閲覧操作端末の操作者からの指示情報の処理を行い、処理を終了する。
図17は、本発明の画像配信装置の動作フロー(2)で、操作イベント情報処理部140の動作フローを示している。ここでは、画像閲覧操作端末の操作対象となる連続事象名が連続事象定義DB910に定義されており、該連続事象範囲は線状の領域(道路、河川、などを想定)で、事象範囲情報、撮影範囲情報の付帯情報には所定の起点からの距離を示すキロポスト値が設定されている場合についての動作フローを示している。
S141.引き渡された操作イベント情報のイベントIDを判定し、イベントIDがカメラ選択リスト表示の場合はステップS142に移行し、配信先設備リスト表示の場合はステップS146へ移行し、カメラ指定の場合はステップS147へ移行する。
S142事象イベント情報蓄積部930から、操作イベント情報の操作対象情報623に示されている連続事象名に対応する事象イベント情報列を抽出する。
S143抽出した事象イベント情報列の中で、事象範囲情報613の付帯情報613cに設定されているキロポスト値を参照して、配信先設備のキロポスト値との差が所定の値以内にある事象イベント情報を優先度順に抽出する。この際に、連続事象範囲が例えば道路である場合には、車の流れる方向(上りまたは下り)を識別する情報を連続事象定義DB910の配信先設備情報に設定しておくことにより、例えば配信先設備から車が離れていく方向の事象範囲情報を持つ事象イベント情報だけに限定することも可能である。高速道路などでは配信先設備は通常サービスエリアに設置される場合が多く、サービスエリアに立ち寄ったドライバから見れば、これから進行していく方向の領域の渋滞状況が監視できればよく既に通過した方向の領域の情報は不要であり、このような画像監視対象の絞り込みは効果的である。
S144優先度順に抽出された事象イベント情報列から、優先度順に事象イベント情報を取り出し、取り出した事象イベント情報のキロポスト値に最も近いキロポスト値を有するカメラを所定の個数選択し、カメラ選択リストに追加格納する。ここで、所定の個数は優先度別に設定されている。これをカメラ選択リストに含まれるカメラ数が画像閲覧操作端末の表示可能リスト項目数に達するか、事象イベント情報列の最後尾に到達するまで行う。
これにより、配信先設備から所定の距離(キロポスト値で測定)の範囲内の事象を撮影可能なカメラの識別情報がその事象の優先度順にカメラ選択リストに順次格納される。
S145上記ステップS145で作成されたカメラ選択リストを画像閲覧操作端末へ送信して処理を終了する。
上記のようにして、画像閲覧操作端末のカメラ選択リストの表示項目数の制限に収まるように、配信先設備から所定の距離以内のカメラの内、優先度の低い事象を撮影するカメラは削除した形のカメラ選択リストが画像閲覧操作端末へ送信される。
S146操作イベント情報を発信した画像閲覧操作端末に対応した所定の配信先設備リストを生成して画像閲覧操作端末へ送信し、処理を終了する。
S147操作イベント情報の操作対象情報に設定されている配信先設備識別情報とカメラ識別情報をパラメータとして画像配信部130を起動し、処理を終了する。
上記のステップS144において、動作フローにおいて、
図18は、本発明の画像配信装置の動作フロー(3)で、画像配信部130の動作フローを示している。
S131.引き渡されたカメラ候補リストに含まれるカメラの台数と配信先設備の表示画面数とを比較し、カメラ台数が表示画面数より大の場合は次のステップS132へ移行し、カメラ台数が表示画面数以下の場合はステップS133へ移行する。
S132.カメラ候補リストのカメラの中から撮影重要度が高い順にカメラを選択し、配信先設備の表示画面数を超えるカメラはリストから削除する。
S133.調整後のカメラ候補リストを配信対象カメラリストとする。
S134.配信対象カメラリストのカメラが撮影する画像情報を配信先設備へ配信するようにカメラを切り替える。
図19は、本発明による画像閲覧操作端末の操作パネルのイメージ図である。
操作パネル210は、配信先設備リスト表示部220、カメラ選択リスト表示部230、画像情報表示部240を備えている。
配信先設備リスト表示部220は、本画像閲覧操作端末200から操作可能な配信先設備のリストをボタン表示するもので、ここでは2個の配信先設備をボタン表示する例を示している。操作者は、ボタン220a、220bに表示された配信先設備名の中からボタン押下により今回操作対象とする配信先設備を選択することができる。
カメラ選択リスト表示部230は、上記配信先設備リスト表示部220のボタン押下で選択された配信先設備に対してその撮影画像を配信可能なカメラ名を優先度順にリスト表示するもので、操作者は例えば選択したいカメラ名が表示されているボタンを押下して選択することにより、上記配信先設備リスト表示部220で指定した配信先設備に対して選択されたカメラが撮影した画像情報を配信される。
画像情報表示部240は、上記の配信先設備リスト表示部220、カメラ選択リスト表示部230の操作で選択されて配信先設備へ配信される画像情報と同じ画像情報を並行して表示し確認するものである。
図20は、本発明の画像閲覧操作端末の構成である。
画像閲覧操作端末200は画像情報受信表示部201、配信先設備リスト受信表示部202、配信先設備選択入力部203、カメラ選択リスト受信表示部204、カメラ選択入力部205を備えている。
画像情報受信表示部201は、画像配信装置100から送信されてくる画像情報を画像情報表示部240へ表示する。
配信先設備リスト受信表示部202は、画像配信装置100から送信されてくる配信先設備リストを受信し、その内容を配信先設備リスト表示部220へ出力表示する。
配信先設備選択入力部203は、配信先設備リスト表示部220に表示された配信先設備リストの中から操作者が選択した配信先設備についての入力情報を受け付けて、カメラ選択リスト表示の操作イベント情報を生成して画像配信装置100へ送信する。
カメラ選択リスト受信表示部204は、画像配信装置100から送信されてくるカメラ選択リストを受信し、その内容をカメラ選択リスト表示部230へ出力表示する。
カメラ選択入力部205は、カメラ選択リスト表示部230に表示されたカメラ選択リストの中から操作者が選択したカメラについての入力情報を受け付け、カメラ指定の操作イベント情報を生成して画像配信装置100へ送信する。
図21は、本発明の画像閲覧操作端末のデータ転送シーケンスで、運用者による画像閲覧操作端末200における、各装置間のデータ転送シーケンスを示している。
S01.画像閲覧操作端末200の起動、または、運用者が配信先設備リストの表示要求を入力する。
S02.画像閲覧操作端末200は配信先設備リスト表示の操作イベント情報を生成して画像配信装置100へ送信する。
S03.画像配信装置100は配信先設備リストを生成して画像閲覧操作端末200へ送信する。
S04.画像閲覧操作端末200は受信した配信先設備リストを配信先設備リスト表示部220へ表示する。
S05.運用者は配信先設備リスト表示部220のボタン操作で配信先設備を選択する。
S06.画像閲覧操作端末200は、カメラ選択リスト表示の操作イベント情報を生成して画像配信装置100へ送信する。
S07.画像配信装置100は受信したカメラ選択リスト表示の操作イベント情報の操作対象情報に設定されている配信先設備識別情報を基に、その配信先設備へその撮影画像情報を配信可能なカメラを優先度順に配列したカメラ選択リストを生成して、画像閲覧操作端末200へ送信する。
S08.画像閲覧操作端末200は、受信したカメラ選択リストの順にカメラ名をカメラ選択リスト表示部230へ表示する。
S09.運用者はカメラ選択リスト表示部230へ優先度順に表示されたカメラリストの中からカメラを選択する。
S10.画像閲覧操作端末200は選択されたカメラ指定の操作イベント情報を生成して、画像配信装置100へ送信する。
S11.画像配信装置100は受信したカメラ指定の操作イベント情報の操作対象情報に含まれているカメラ識別情報のカメラに接続されるようにカメラを切り替える。切り替えられたカメラの撮影画像情報は画像配信装置100へ送信され、さらに画像閲覧操作端末200、及び、配信先設備へ配信される。運用者は画像閲覧操作端末200の画像情報表示部240で配信された画像情報を確認することができる。
上記のように、本発明の画像配信システムでは画像閲覧操作端末の操作により運用者がカメラを手動で選択する際にも、その選択すべき候補となるカメラ名を、配信先設備別にカメラ選択リストという形で優先度順に表示してその中から選択することが可能となり、画像配信システムを管理する際の運用者の利便性を向上させることができる。
図22は、SQLによるカメラ選択処理の実施例(1)で、リレーショナル・データベースを操作する際の標準言語であるSQL(Structured Query Language)で本発明のカメラ選択方法を実現する手法の1例として、極めて単純化した事象範囲及び撮影範囲のモデルを互いに直交するX軸、Y軸上の座標値で表される平面上に表現したものである。
ここでは、発生した事象範囲及び撮影範囲は4つの頂点で特定される矩形領域として表現されており、線状の領域については矩形領域の4頂点の内の2頂点が他の頂点と同一になったものとみなし、三角形の領域については矩形領域の4頂点の内の1頂点が他の頂点と同一になったものとみなして表現している。
つまり、平面上の座標値を”(X座標値、Y座標値)”の記号で表すと、発生した事象範囲E01は正方形の領域でその頂点座標が(1,1)、(10,1)、(10,10)、(1,10)から成る矩形領域として表現され、カメラAの撮影範囲C01は正方形領域でその頂点座標が(0,0)、(20,0)、(20,20)、(0,20)から成る矩形領域として表現され、カメラBの撮影範囲C02は線状の領域でその頂点座標が(20,20)、(40,20)、(40,20)、(20,20)から矩形領域として表現され、カメラCの撮影範囲C03は三角形の領域でその頂点座標が(30,30)、(40,30)、(40,20)、(30,30)から成る矩形領域として表現され、カメラDの撮影範囲C04は線状の領域でその頂点座標が(15,15)、(15,15)、(35,35)、(35,35)から成る矩形領域として表現されている。
図23は、SQLによるカメラ選択処理の実施例(2)で、上記図22で示した範囲モデルを前提とした場合に、発生した事象を撮影可能なカメラを抽出するためのSQLによる記述例を示している。
“camera_db”は本発明のカメラ情報データベースを、また、”event_db”は本発明の事象イベント情報をそれぞれ単純化した形で示した例である。
例えば、発生した事象領域が任意の点領域とした場合に、該事象を撮影可能なカメラを抽出するには、点領域の座標を(38,28)とすると、SQL言語では、
“select * from camera-db where‘(38,28)’::point @ area;”
のように記述することにより、点領域(38,28)を内包するカメラ撮影領域C03、つまり、
((30,30),(40,30),(40,20),(30,30))が選択され、C03に対応するカメラC(cameraC)が抽出される。
また、発生した事象領域が図22に示した事象範囲E01である場合は、該事象領域はSQL言語では図23の”event_db”のように定義され、該事象領域を撮影可能なカメラの抽出処理は、
“select * from camera_db where (select area from event_db where name=’event’)::polygon @ area:”
のように記述することにより、事象範囲E01の領域を内包するカメラ撮影領域C01、つまり、((10,10),(20,10),(20,20),(10,20))が選択され、C01に対応するカメラA(cameraA)が抽出される。
以上詳述した本発明の実施の形態で示した装置の構成、データの構成、動作フローは様々な変形が可能であるが、それによって本発明の本質は影響されない。
本発明の画像情報については特に限定しておらず、動画、静止画、など種々の形式が考えられるが、本発明は同様に適用できる。
また、事象範囲情報としては説明の便宜上円領域の事象範囲を例に説明したが、その他様々の領域の形状が可能であり、本発明は同様に適用できる。
実施例で示した事象検出装置、画像配信装置、画像閲覧操作端末、配信先設備の数と接続形態は1例であり、様々な台数及び形態の接続が可能であるが、本発明は同様に適用できる。また、事象検出装置、画像配信装置、画像閲覧操作端末、配信先設備は、装置として物理的に分離している必要はなく、1台の装置に複数の装置が統合されていてもよい。
以上述べた本発明の実施の態様は、以下の付記の通りである。
(付記1)発生した事象をカメラ撮影した画像情報を配信先設備へ配信する画像配信方法において、
各カメラが撮影可能な範囲を示す撮影範囲情報を含むカメラ情報データベースを保持し、
前記事象の発生時は、前記事象が発生した可能性のある位置の範囲を示す事象範囲情報を含む事象イベント情報を生成し、
前記カメラ情報データベースに保持されている前記撮影範囲情報と前記事象イベント情報に含まれる前記事象範囲情報とを基に、前記発生した事象を撮影可能な前記カメラを抽出し、
前記抽出したカメラが撮影する画像情報を前記配信先設備へ配信する、
ことを特徴とする画像配信方法。
(付記2)付記1に記載の画像配信方法において、
前記事象イベント情報は前記発生した事象の種別を示すイベント識別情報、及び事象の処理の優先度を示す優先度情報を含み、
前記カメラ情報データベースに保持されている前記撮影範囲情報と前記事象イベント情報に含まれる事象範囲情報、イベント識別情報、優先度情報とを基に、前記発生した事象を撮影可能なカメラを抽出する、
ことを特徴とする画像配信方法。
(付記3)付記2に記載の画像配信方法において、
関連して発生する可能性のある複数の事象を、前記複数の事象の事象範囲情報を基に関連付けて一個の連続事象として定義する連続事象定義レコードから成る連続事象定義データベースを保持し、
前記発生した事象を含む連続事象が前記連続事象定義データベースに定義されている場合は、前記発生した事象の種別を示すイベント識別情報を有し、かつ、前記定義されている連続事象に属する各事象の事象範囲情報を事象範囲情報に設定した事象イベント情報を前記定義されている連続事象に属する各事象毎に生成し、
所定の時間内に同一のイベント識別情報を有する複数の事象イベント情報が生成された場合は、前記複数の事象イベント情報の事象範囲情報が示す範囲のいずれかを撮影可能なカメラを抽出して、前記配信対象の画像情報を撮影するカメラを選定する、
ことを特徴とする画像配信方法。
(付記4)付記2に記載の画像配信方法において、
所定の時間内に異なるイベント識別情報を有する事象イベント情報が複数個生成された場合は、前記優先度情報が最も高い優先度を示す事象イベント情報を処理の対象とする、
ことを特徴とする画像配信方法。
(付記5)付記2に記載の画像配信方法において、
関連して発生する可能性のある複数の事象を、前記複数の事象の事象範囲情報を基に一個の連続事象として連続事象名を付与して関連付けた連続事象定義レコードから成る連続事象定義データベースを保持し、
前記発生した事象を含む連続事象が前記連続事象定義データベースに定義されている場合は、前記発生した事象の種別を示すイベント識別情報を有し、かつ、前記定義されている連続事象に付与されている連続事象名を事象範囲情報に設定した事象イベント情報を生成し、
前記生成された事象イベント情報の事象範囲情報に前記連続事象名が設定されているときは、前記連続事象範を基に前記連続事象定義データベースを検索して前記連続事象を構成する各事象の事象範囲情報を獲得し、
前記獲得した事象範囲情報が示す範囲のいずれかを撮影可能なカメラを抽出する、
ことを特徴とする画像配信方法。
(付記6)付記5に記載の画像配信方法において、
運用者が指示情報を入力するための画像閲覧操作端末を備え、
前記画像閲覧操作端末は、前記画像閲覧操作端末からの指示情報入力時に前記入力された指示情報を含む操作イベント情報を生成し、
前記生成された操作イベント情報に含まれる指示情報に基づいて前記画像閲覧操作端末への情報出力、及び、前記配信対象の画像情報を撮影するカメラの選定を行う、
ことを特徴とする画像配信方法。
(付記7)付記6に記載の画像配信方法において、
前記画像閲覧操作端末は操作者の入力により指定したカメラの画像情報を配信する指示情報であるカメラ指定の操作イベント情報を生成し、
前記カメラ指定の操作イベント情報が生成されたときは、前記カメラ指定の操作イベント情報に含まれるカメラ識別情報のカメラが撮影する画像情報を、前記カメラ指定の操作イベント情報に含まれる前記配信先設備識別情報の前記配信先設備へ配信する、
ことを特徴とする画像配信方法。
(付記8)付記7に記載の画像配信方法において、
前記連続事象定義データベースに保持される前記連続事象定義レコードは、前記画像閲覧操作端末からの操作対象となる場合は前記配信先設備に関する情報である配信先設備情報を含み、
前記生成された事象イベント情報の事象範囲情報が前記連続事象名で、かつ、前記連続事象名に対応する連続事象定義レコードが前記配信先設備情報を含む場合は、前記生成された事象イベント情報を優先度順に事象イベント情報蓄積部に蓄積し、
前記画像閲覧操作端末によりカメラ選択リストの表示を要求する操作イベント情報が生成された際は、前記事象イベント蓄積部に蓄積された事象イベント情報を基に所定の個数のカメラの識別情報を含むカメラ選択リストを生成して前記画像閲覧操作端末へ送信し、
前記画象閲覧操作端末は前記カメラ選択リストの情報を表示し、
前記画像閲覧操作端末の操作者は前記表示されたカメラ選択リスト情報を基にカメラを選択し、
前記画像閲覧操作端末は前記選択されたカメラを指定する前記カメラ指定操作イベント情報を生成する、
ことを特徴とする画像配信方法。
(付記9)付記8に記載の画像配信方法において、
前記連続事象定義レコードに含まれる前記配信先設備情報、前記事象範囲情報、及び前記カメラ情報データベースに保持されている前記撮影範囲情報は所定の起点からの距離を示すキロポスト値を付帯情報として含み、
前記カメラ選択リストの生成の際は、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて上り方向を示す場合は、前記事象イベント情報蓄積部に蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より大きい前記事象イベント情報を抽出し、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて下り方向を示す場合は、前記蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より小さい前記事象イベント情報を抽出し、
前記抽出した事象イベント情報を優先度順に順次選択して、前記選択した事象イベント情報に対応する事象を撮影可能で、かつ、前記カメラ情報データベース内の撮影範囲情報に含まれるキロポスト値と前記配信先設備情報のキロポスト値との差が所定の範囲内にあるカメラを選択して前記カメラ選択リストに追加し、
前記カメラ選択リストへの追加を前記配信先設備で表示可能な画面数と同じ数のカメラが選択されるまで行って、前記カメラ選択リストを生成する、
ことを特徴とする画像配信方法。
(付記10)付記1に記載の画像配信方法において、
前記カメラ情報データベースに保持されるカメラ情報はカメラが撮影する画像情報の重要度を示す撮影重要度情報を含み、
前記カメラの抽出は、前記発生した事象を撮影可能なカメラの中から前記カメラ情報に含まれる撮影重要度の順に前記配信先設備の表示可能画面数と同じ数だけのカメラを抽出して行う、
ことを特徴とする画像配信方法。
(付記11)付記1に記載の画像配信方法において、
前記発生した事象に対して事象の詳細状態を示す状態コードが付与されている場合は、前記状態コードの値が所定の条件を満たす事象について事象イベント情報を生成する、
ことを特徴とする画像配信方法。
(付記12)付記1に記載の画像配信方法において、
前記事象範囲情報は事象が発生した可能性のある領域の中心座標情報と領域の範囲の大きさを示す範囲サイズ情報を含み、
前記撮影範囲情報はカメラが撮影可能な領域の中心座標情報と領域の範囲の大きさを示す範囲サイズ情報を含んでいる、
ことを特徴とする画像配信方法。
(付記13)付記12に記載の画像配信方法において、
前記事象が発生した可能性のある領域を円領域とみなして、前記事象範囲情報の中心座標情報を前記円領域の中心座標とし、また前記事象範囲情報の範囲サイズ情報を前記円領域の半径とし、
前記カメラが撮影可能な領域を円領域とみなして、前記撮影範囲情報の中心座標情報を前記円領域の中心座標とし、また前記撮影範囲情報の範囲サイズ情報を前記円領域の半径とする、
ことを特徴とする画像配信方法。
(付記14)事象の発生に呼応して前記事象を撮影できるカメラを選択するための情報を生成して送信する事象検出装置において、
関連して発生する可能性のある複数の事象を、前記複数の事象の事象範囲情報を基に一個の連続事象として連続事象名を付与して関連付けた連続事象定義レコードから成る連続事象定義データベースと、
前記事象の発生時は、前記事象が発生した可能性のある位置の範囲を示す事象範囲情報を生成する手段と、
前記発生した事象の種別を示すイベント識別情報を生成する手段と、
前記事象の処理の優先度を示す優先度情報を生成する手段と、
前記生成された事象範囲情報、イベント識別情報、優先度情報を含む事象イベント情報を生成して送信する手段と、
前記事象の発生時、前記生成しようとする事象イベント情報の事象範囲情報を含む連続事象範囲が前記連続事象定義データベースに定義されている場合、前記発生した事象の種別を示すイベント識別情報を有し、かつ、前記定義されている連続事象に付与されている連続事象名を事象範囲情報に設定した事象イベント情報を生成する手段を備える、
ことを特徴とする事象検出装置。
(付記15)付記14に記載の事象検出装置において、
前記発生した事象に対して事象の詳細状態を示す状態コードが付与されている場合は、前記状態コードの値が所定の条件を満たさない事象については事象イベント情報の生成を行わない手段を備える、
ことを特徴とする事象検出装置。
(付記16)事象検出装置から送信されてくる事象イベント情報を基に発生した事象を撮影するカメラを選択して画像情報を配信先設備へ配信する画像配信装置において、
関連して発生する可能性のある複数の事象を、前記複数の事象の事象範囲情報を基に一個の連続事象として連続事象名を付与して関連付けた連続事象定義レコードから成る連続事象定義データベースと、
前記事象イベント情報を受信する手段と、
前記カメラが撮影可能な範囲を示す撮影範囲情報を含むカメラ情報データベースと、
前記カメラ情報データベースに保持されている前記撮影範囲情報と前記受信した事象イベント情報に含まれる事象範囲情報とを基に、前記発生した事象を撮影可能な前記カメラを抽出する手段と、
前記抽出したカメラの中から配信対象の画像情報を撮影するカメラを選定する手段と、
前記選定したカメラが撮影する画像情報を前記配信先設備へ送信する手段を備える、
ことを特徴とする画像配信装置。
(付記17)付記16に記載の画像配信装置において、
前記連続事象定義データベースに保持される前記連続事象定義レコードは、前記画像閲覧操作端末の操作対象となる前記配信先設備に関する配信先設備情報を含み、
前記事象の発生時は、前記生成された事象イベント情報に含まれる連続事象名を基に前記連続事象定義データベースを検索して連続事象定義情報を獲得する手段と、
前記生成された事象イベント情報の事象範囲情報が前記連続事象名で、かつ、前記連続事象名に対応する連続事象定義レコードが前記配信先設備情報を含む場合は、前記生成された事象イベント情報を優先度順に事象イベント情報蓄積部に蓄積する手段と、
前記画像閲覧操作端末によりカメラ選択リストの表示を要求する操作イベント情報が生成された際は、前記事象イベント蓄積部に蓄積された事象イベント情報を基に所定の個数のカメラの識別情報を含むカメラ選択リストを生成して前記画像閲覧操作端末へ送信する手段と、
前記画像閲覧操作端末から送信されてくるカメラを指定するカメラ指定操作イベント情報を受信時は、前記カメラ指定操作イベント情報に含まれるカメラが撮影する画像情報を前記配信先設備へ送信する手段と、
前記連続事象定義レコードに含まれる前記配信先設備情報、前記事象範囲情報、及び前記カメラ情報データベースに保持される前記撮影範囲情報は、所定の起点からの距離を示すキロポスト情報を付帯情報として含み、前記カメラ選択リストの生成の際は、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて上り方向を示す場合は、前記事象イベント情報蓄積部に蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より大きい前記事象イベント情報を抽出し、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて下り方向を示す場合は、前記蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より小さい前記事象イベント情報を抽出する手段と、
前記抽出した事象イベント情報を優先度順に選択し、前記選択した事象イベント情報に対応する事象を撮影可能なカメラを、前記カメラ情報データベース内の撮影範囲情報に含まれるキロポスト値と前記配信先設備情報のキロポスト値と差が小さい順に所定の個数を前記カメラ情報データベースを基に選択して前記カメラ選択リストに追加し、前記カメラ選択リストへの追加を前記配信先設備で表示可能な画面数と同じ数のカメラが選択されるまで行って、前記カメラ選択リストを生成する手段を備える、
ことを特徴とする画像配信装置。
(付記18)操作者からの入力操作に応じて画像配信装置に対する指示情報の生成と送信を行う画像閲覧操作端末において、
画像情報の配信先となる配信先設備の一覧情報である配信先設備リストの送信を要求するための指示情報である操作イベント情報を生成して前記画像配信装置へ送信する手段と、
前記画像配信装置から送信されてきた前記配信先設備リストを表示する手段と、
前記表示された配信先設備リストの中から操作者が選択した配信先設備へ配信する画像情報を撮影するカメラを選択するためのカメラの一覧情報であるカメラ選択リストの送信を要求する指示情報である操作イベント情報を生成して前記画像配信装置へ送信する手段と、
前記画像配信装置から送信されてくる前記カメラ選択リストを受信して表示する手段と、
前記表示されたカメラ選択リストの情報を基に操作者が選択したカメラを優先的に選択する指示情報であるカメラ指定操作イベント情報を生成して前記画像配信装置へ送信する手段を備える、
ことを特徴とする画像閲覧操作端末。
本発明の画像配信システムの概要(1) 本発明の画像配信システムの概要(2) 本発明の事象発生時のデータ転送シーケンス 本発明の単独事象発生時の近隣カメラの判定方法 本発明の連続事象発生時の近隣カメラの判定方法 本発明の事象検出装置の構成 本発明の事象フィルタDBのレコード構成 本発明の事象イベント情報の構成 本発明の連続事象定義DBのレコード構成 本発明の事象検出装置の動作フロー 本発明の事象検出装置の事象フィルタ部の動作フロー 本発明の画像配信装置の構成 本発明のカメラ情報DBのレコード構成 本発明のカメラ候補リストの構成 本発明の操作イベント情報の構成 本発明の画像配信装置の動作フロー(1) 本発明の画像配信装置の動作フロー(2) 本発明の画像配信装置の動作フロー(3) 本発明による画象閲覧操作端末の操作パネルのイメージ図 本発明の画像閲覧操作端末の構成 本発明の画象閲覧操作端末のデータ転送シーケンス SQLによるカメラ選択処理の実施例(1) SQLによるカメラ選択処理の実施例(2) 従来技術の画像配信システムの概要
符号の説明
1a,1b,1c 円領域
2a,2b,2c 中心座標
3,3-1〜3-11 事象範囲
4 事象範囲群
4a,4b,4c 半径
10a,10b 画像配信装置(従来技術)
12a,12b カメラ情報DB(従来技術)
20a,20b 画像閲覧操作端末(従来技術)
30a,30b 配信先設備
50a,50b,50c,50d,50e,50f,50g,50h,50i,50j,50k カメラ
60a,60b,60c,60d,60e,60f,60g,60h,60i,60j,60k センサー
70a,70b 画像配信用ネットワーク
80a,80b,800 ネットワーク
100,100a,100b 画像配信装置
110 イベント受信部
120 イベント解析部
130 画像配信部
140 操作イベント処理部
200,200a,200b 画像閲覧操作端末
210 操作パネル
220 配信先設備リスト表示部
220a,220b 選択ボタン
230 カメラ選択リスト表示部
240 画像情報表示部
400,400a,400b 事象検出装置
410 事象情報受信部
420 事象イベント情報生成部
430 事象フィルタ部
440 事象イベント送信部
450 事象フィルタDB
451 イベントID
452 状態コード規定値
453 優先度
460 座標情報DB
610 事象イベント情報
611 イベントID
612 イベント優先度
613 事象範囲情報
613a 中心座標
613b 範囲サイズ
613c 付帯情報
614 状態コード
620 操作イベント情報
621 イベントID
622 イベント優先度
623 操作対象情報
910 連続事象定義DB
911 連続事象名
912 配信先設備情報
913 事象範囲群定義情報
913-1〜913-n 事象範囲情報
920 カメラ情報DB
921 カメラID
922 カメラ名称
923 制御情報
924 撮影範囲情報
925 撮影重要度
930 事象イベント情報蓄積部
940 カメラ候補リスト
941 イベントID
942 カメラIDリスト
942-1〜942-m カメラID

Claims (3)

  1. 発生した事象をカメラ撮影した画像情報を配信先設備へ配信する画像配信方法において、
    カメラが撮影可能な範囲を示す撮影範囲情報を含むカメラ情報データベースを保持し、
    前記事象の発生時は、前記事象が発生した可能性のある位置の範囲を示す事象範囲情報を含む事象イベント情報を生成し、
    前記事象イベント情報の事象範囲情報に事象が発生した可能性のある領域の中心位置を所定の起点からの距離で示した第1のキロポスト値を設定し
    関連して発生する可能性のある複数の事象の事象範囲情報を関連付けて一個の連続事象として定義する連続事象定義情報に、前記連続事象の中から前記配信先設備との関連性が強い事象を抽出するための事象抽出条件として前記配信先所設備の位置を所定の起点からの距離で示した第2のキロポスト値を設定し、
    前記発生した事象を含む連続事象が前記連続事象定義情報として定義されている場合は、前記定義されている連続事象に属する第1の事象群の中から、前記連続事象定義情報内の各事象イベント情報の事象範囲情報に設定されている第1のキロポスト値と前記第2のキロポスト値を比較することにより、配信先設備からの相対的なキロポスト値が所定の値以下の事象を第2の事象群として抽出し、
    前記抽出した第2の事象群を撮影可能なカメラが撮影する画像情報を前記配信先設備へ配信する、
    ことを特徴とする画像配信方法。
  2. 事象検出装置から送信されてくる事象イベント情報を基に発生した事象を撮影するカメラを選択して画像情報を配信先設備へ配信する画像配信装置において、
    関連して発生する可能性のある複数の事象の事象範囲情報を基に一個の連続事象として定義する連続事象定義情報を、前記連続事象の中から前記配信先設備との関連性が強い事象を抽出するための事象抽出条件とを関連付けて保持する連続事象定義データベースと、
    前記事象イベント情報を受信する手段と、
    前記カメラが撮影可能な範囲を示す撮影範囲情報を含むカメラ情報データベースと、
    前記発生した事象を含む連続事象が前記連続事象定義情報として前記連続事象定義データベースに保持されている場合は、前記保持されている連続事象に属する第1の事象群の中から、前記事象抽出条件を基に第2の事象群を抽出する手段と、
    前記抽出した第2の事象群を撮影可能なカメラが撮影する画像情報を前記配信先設備へ送信する手段を備え、
    前記事象イベント情報の事象範囲情報に事象が発生した可能性のある領域の中心位置を所定の起点からの距離で示した第1のキロポスト値を設定し
    前記事象抽出条件として前記配信先所設備の位置を所定の起点からの距離で示した第2のキロポスト値を設定し、
    前記連続事象定義情報内の各事象イベント情報の事象範囲情報に設定されている第1のキロポスト値と前記第2のキロポスト値を比較することにより、配信先設備からの相対的なキロポスト値が所定の値以下の事象を前記第2の事象群として抽出する
    ことを特徴とする画像配信装置。
  3. 請求項2に記載の画像配信装置において、
    前記連続事象定義データベースに保持される前記連続事象定義レコードは、前記画像閲覧操作端末の操作対象となる前記配信先設備に関する配信先設備情報を含み、
    前記事象の発生時は、前記生成された事象イベント情報に含まれる連続事象名を基に前記連続事象定義データベースを検索して連続事象定義情報を獲得する手段と、
    前記生成された事象イベント情報の事象範囲情報が前記連続事象名で、かつ、前記連続事象名に対応する連続事象定義レコードが前記配信先設備情報を含む場合は、前記生成された事象イベント情報を優先度順に事象イベント情報蓄積部に蓄積する手段と、
    前記画像閲覧操作端末によりカメラ選択リストの表示を要求する操作イベント情報が生成された際は、前記事象イベント蓄積部に蓄積された事象イベント情報を基に所定の個数のカメラの識別情報を含むカメラ選択リストを生成して前記画像閲覧操作端末へ送信する手段と、
    前記画像閲覧操作端末から送信されてくるカメラを指定するカメラ指定操作イベント情報を受信時は、前記カメラ指定操作イベント情報に含まれるカメラが撮影する画像情報を前記配信先設備へ送信する手段と、
    前記連続事象定義レコードに含まれる前記配信先設備情報、前記事象範囲情報、及び前記カメラ情報データベースに保持される前記撮影範囲情報は、所定の起点からの距離を示すキロポスト情報を付帯情報として含み、前記カメラ選択リストの生成の際は、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて上り方向を示す場合は、前記事象イベント情報蓄積部に蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より大きい前記事象イベント情報を抽出し、前記配信先設備情報に含まれる方向識別情報が前記所定の起点からみて下り方向を示す場合は、前記蓄積されている事象イベント情報の中から前記事象イベント情報に含まれるキロポスト値が前記配信先設備情報に含まれるキロポスト値より小さい前記事象イベント情報を抽出する手段と、
    前記抽出した事象イベント情報を優先度順に選択し、前記選択した事象イベント情報に対応する事象を撮影可能なカメラを、前記カメラ情報データベース内の撮影範囲情報に含まれるキロポスト値と前記配信先設備情報のキロポスト値と差が小さい順に所定の個数を前記カメラ情報データベースを基に選択して前記カメラ選択リストに追加し、前記カメラ選択リストへの追加を前記配信先設備で表示可能な画面数と同じ数のカメラが選択されるまで行って、前記カメラ選択リストを生成する手段を備える、
    ことを特徴とする画像配信装置。
JP2005149440A 2005-05-23 2005-05-23 画像配信方法、及び画像配信装置 Expired - Fee Related JP4882276B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005149440A JP4882276B2 (ja) 2005-05-23 2005-05-23 画像配信方法、及び画像配信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005149440A JP4882276B2 (ja) 2005-05-23 2005-05-23 画像配信方法、及び画像配信装置

Publications (2)

Publication Number Publication Date
JP2006332754A JP2006332754A (ja) 2006-12-07
JP4882276B2 true JP4882276B2 (ja) 2012-02-22

Family

ID=37554025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005149440A Expired - Fee Related JP4882276B2 (ja) 2005-05-23 2005-05-23 画像配信方法、及び画像配信装置

Country Status (1)

Country Link
JP (1) JP4882276B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154213A (ja) * 2006-12-15 2008-07-03 Young Kook Electronics Co Ltd Cctvを利用した監視システム及び監視方法
JP5188490B2 (ja) * 2009-12-25 2013-04-24 株式会社日立製作所 映像監視配信装置
JP5771367B2 (ja) * 2010-06-30 2015-08-26 東芝テック株式会社 動線表示装置及び方法
WO2014207882A1 (ja) * 2013-06-28 2014-12-31 株式会社 日立産業制御ソリューションズ ネットワークカメラ、ネットワークカメラ制御端末および映像記録配信システム
SG10201407100PA (en) * 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
SG10201501222XA (en) * 2015-02-17 2016-09-29 Nec Asia Pacific Pte Ltd System for monitoring event related data
JP6621063B2 (ja) * 2015-04-29 2019-12-18 パナソニックIpマネジメント株式会社 カメラ選択方法及び映像配信システム
JP6022123B1 (ja) * 2015-11-09 2016-11-09 三菱電機株式会社 画像生成システム及び画像生成方法
JP6709955B2 (ja) * 2016-05-20 2020-06-17 パナソニックIpマネジメント株式会社 集合住宅用インターホンシステム、サーバ装置、及び表示端末
JP6903451B2 (ja) * 2017-02-23 2021-07-14 セコム株式会社 監視システム、及び監視方法
CN111066318B (zh) * 2017-09-15 2021-05-11 三菱电机株式会社 监视支援装置和监视支援系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012590A (ja) * 2003-06-20 2005-01-13 Sanyo Electric Co Ltd 監視カメラシステム
JP3830150B2 (ja) * 2003-07-28 2006-10-04 松下電器産業株式会社 トンネル監視装置

Also Published As

Publication number Publication date
JP2006332754A (ja) 2006-12-07

Similar Documents

Publication Publication Date Title
JP4882276B2 (ja) 画像配信方法、及び画像配信装置
US10970333B2 (en) Distributed video storage and search with edge computing
US11455761B2 (en) Information display system and information display method
JP4367353B2 (ja) 交通情報提供システム、交通情報提供センタ、車載用情報収集装置
US10027940B2 (en) Monitoring system and monitoring method
EP1804225A2 (en) Interactive traffic information providing method and apparatus
JP2004166024A (ja) 監視カメラシステムおよび監視方法
JP6969987B2 (ja) 通信装置、通信システムおよび移動体追跡方法
KR101621822B1 (ko) 하이브리드 이미지 전송 기반의 방범겸용 차량번호 인식 장치, 그리고 이를 이용한 차량번호 인식 및 제공 방법
JP2017157021A (ja) 情報提供システム、方法、プログラムおよびネットワークシステム
CN111192459A (zh) 一种视频监控布控方法和布控装置
KR100413382B1 (ko) 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
JP6387838B2 (ja) 交通違反管理システムおよび交通違反管理方法
JP2007150681A (ja) 位置特定システム及び位置特定方法
CN113870613A (zh) 停车位确定方法、装置、电子设备及存储介质
KR100868257B1 (ko) 위치 기반의 범죄 지리정보 시스템
KR20170096838A (ko) Cctv 영상의 검색 장치 및 방법
KR101088482B1 (ko) 차량의 통행정보 연계 시스템 및 그 연계 방법
JP2003153230A (ja) 画像情報提供システム
JP2020038405A (ja) データ収集装置、データ収集システム、データ収集方法および車載装置
JP2013239087A (ja) 情報処理システム及び移動体
JP2007193475A (ja) 路上障害通報システム及び無線通信端末装置
CN110874928B (zh) 车载设备、数据收集系统、数据收集方法和数据收集装置
JP3540113B2 (ja) 災害状況管理システム
JP4978219B2 (ja) 情報伝達システムおよび情報サーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4882276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees