JP6775981B2 - 監視システム及び物体検知装置 - Google Patents

監視システム及び物体検知装置 Download PDF

Info

Publication number
JP6775981B2
JP6775981B2 JP2016068617A JP2016068617A JP6775981B2 JP 6775981 B2 JP6775981 B2 JP 6775981B2 JP 2016068617 A JP2016068617 A JP 2016068617A JP 2016068617 A JP2016068617 A JP 2016068617A JP 6775981 B2 JP6775981 B2 JP 6775981B2
Authority
JP
Japan
Prior art keywords
obstacle
information
detection
detected
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016068617A
Other languages
English (en)
Other versions
JP2017182454A5 (ja
JP2017182454A (ja
Inventor
藤井 清人
清人 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2016068617A priority Critical patent/JP6775981B2/ja
Publication of JP2017182454A publication Critical patent/JP2017182454A/ja
Publication of JP2017182454A5 publication Critical patent/JP2017182454A5/ja
Application granted granted Critical
Publication of JP6775981B2 publication Critical patent/JP6775981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、所定の監視領域内に存在する例えば車両等の物体を検知する物体検知装置及び検知した物体を監視する監視システムに関する。
従来、下記特許文献1に開示されるように、移動物体の自動走行、移動飛行体の自動降下制御において、事前又は走行中に障害物情報を検知すると登録しておき、障害物の位置を避けて走行、降下するものが知られている。
特開2007−206805号公報
例えば、一度検知した物体を障害物として障害物マップに登録してしまうと、たまたま風に流されて飛来した飛来物を検知した場合や、降雪を検知する場合など、実際には物がない位置に障害物があるという情報が記憶されてしまい、自動走行車の制御等において走行経路が制限される。
一方で、一度障害物として検知された既設物であっても、反射の状況や風の吹き具合によって一時的に検知できない場合があるため、現在検知されていない障害物を障害物情報から削除するのは、自律走行車の制御等において安全面で問題となる。
本発明は、上記課題を解決しようとするものであり、検知した情報のうち、障害物によるものとそうでないものを正しく識別することができる監視システム及び物体検知装置を提供することを目的としている。
上記した目的を達成するために、本発明に係る監視システムは、検知波を送受信して物体を検知する検知手段と、
前記検知手段にて検知した障害物情報を検知位置情報と共に制御装置に送信する送信手段と、
を含む物体検知装置と、
前記物体検知装置が送信する障害物情報を受信して、障害物マップに記憶する記憶部を含む制御装置と、
を備えた監視システムであって、
前記物体検知装置は、
前記物体が特定対象物か否か判定する判定手段を備え、
前記特定対象物以外と判定された物体を障害物として識別子を付与し、
前記検知した物体の検知度合いが所定基準を満たす物体に確定障害物である旨の識別子を付与し、検知度合いが所定基準を満たさない物体に不確定障害物である旨の識別子を付与して前記障害物情報として前記制御装置に送信し、
前記制御装置は、
前記障害物マップに記憶された物体のうち、前記不確定障害物である旨の識別子が付与された物体については、前記物体検知装置から障害物情報を受信しなくなると当該障害物の情報を前記障害物マップから削除し、前記確定障害物である旨の識別子が付与された物体については前記物体検知装置から障害物情報を受信しなくなっても前記障害物マップから当該障害物の情報を削除しないことを特徴とする。
また、本発明に係る監視システムは、前記検知度合いの所定基準は継続時間に基づく基準であり、
前記検知手段で所定期間以上継続して検知された物体を確定障害物とし、前記継続時間が前記所定期間未満である物体を不確定障害物としてもよい。
さらに、本発明に係る監視システムは、前記検知度合いの所定基準は所定期間内の検知頻度に基づく基準であり、
前記検知手段で前記所定期間内に所定回数以上検知された物体を確定障害物とし、所定回数未満検知された物体を不確定障害物としてもよい。
さらに、本発明に係る監視システムは、飛行機能と飛行高度を制御する高度制御手段を含む飛行ロボットを備え、
前記制御装置は、前記飛行ロボットと無線通信して飛行状態情報を取得するとともに、前記物体検知装置が前記特定対象物を検知すると前記飛行ロボットへ前記物体位置へ飛行を行う旨の指示情報と前記障害物マップに記憶された障害物の位置情報を送信し、
前記飛行ロボットは、前記物体位置付近へ到着すると、前記制御装置から送信された前記障害物の位置情報を参照し、障害物がない位置へ下降するよう制御してもよい。
また、本発明に係る物体検知装置は、検知波を送受信して物体を検知する検知手段と、
前記物体が特定対象物か否か判定する判定手段をさらに備え、
前記特定対象物以外の物体を障害物として識別する物体検知装置であって、
前記物体検知装置は、
前記検知手段にて物体を検知した検知度合いが所定基準を満たすかに応じて前記物体を確定障害物または不確定障害物に分類して、その物体の情報を障害物情報として記憶する記憶手段と、をさらに備え、
前記検知手段にて前記不確定障害物である物体が検知されなくなると、当該物体の障害物情報を前記記憶部から削除し、前記確定障害物である物体が検知されなくなっても当該物体の障害物情報は前記記憶部から削除しないことを特徴とする。
本発明の監視システムによれば、物体検知装置は、検知手段にて検知波を送受信して物体を検知し、送信手段にて検知手段が検知した障害物情報を検知位置情報と共に制御装置に送信する。制御装置は、物体検知装置が送信する障害物情報を受信して、受信した障害物情報を障害物マップに付加して記憶部に記憶する。物体検知装置は、検知した物体の検知度合いが所定基準を満たす物体に確定障害物である旨の識別子を付与し、検知度合いが所定基準を満たさない物体に不確定障害物である旨の識別子を付与して障害物情報として制御装置に送信する。制御装置は、障害物マップに記憶された物体のうち、不確定障害物である旨の識別子が付与された物体については、物体検知装置から障害物情報を受信しなくなると当該障害物の情報を障害物マップから削除し、確定障害物である旨の識別子が付与された物体については物体検知装置から障害物情報を受信しなくなっても障害物マップから当該障害物の情報を削除しない。かかる構成により、障害物マップに記憶された物体が不確定障害物である場合は、物体検知装置から障害物情報が送信されないと記憶部から削除されるので、不確定障害物の障害物情報を無駄に保持し続けることなく、不適切な障害物情報を記憶部から削除することができる。
また、本発明の監視システムによれば、継続時間に基づく基準を検知度合いの所定基準とし、検知手段で所定期間以上継続して検知された物体を確定障害物とし、継続時間が所定期間未満である物体を不確定障害物とする。かかる構成により、検知手段にて検知した物体を、検知される継続時間に応じて確定障害物と不確定障害物に振り分けることができる。
さらに、本発明の監視システムによれば、所定期間内の検知頻度に基づく基準を検知度合いの所定基準とし、検知手段で所定期間内に所定回数以上検知された物体を確定障害物とし、所定回数未満検知された物体を不確定障害物とする。かかる構成により、検知手段にて検知した物体を、所定期間内で検知される回数に応じて確定障害物と不確定障害物に振り分けることができる。
また、本発明の監視システムによれば、判定手段は、検知手段にて検知した物体が特定対象物か否か判定し、特定対象物以外の物体を識別子を付与する。かかる構成により、検知手段にて検知した物体を識別子の有無によって特定対象物と特定対象物以外に分類することができる。
さらに、本発明の監視システムによれば、制御装置は、飛行機能と飛行高度を制御する高度制御手段を含む飛行ロボットと無線通信して飛行状態情報を取得するとともに、物体検知装置が特定対象物を検知すると飛行ロボットへ特定対象物の位置へ飛行を行う旨の指示情報と障害物マップに記憶された障害物の位置情報を飛行ロボットに送信する。飛行ロボットは、物体位置付近へ到着すると、制御装置から送信された障害物の位置情報を参照し、障害物が記憶されていない位置へ下降するよう制御する。かかる構成により、物体検知装置の検知情報に基づいて飛行ロボットを障害物のない場所に下降させる制御を行う場合に、不適切な障害物情報に基づき飛行ロボットの制御を不要に制限することを防止できる。
また、本発明の物体検知装置によれば、検知手段にて検知波を送受信して物体を検知し、検知手段にて物体を検知した検知度合いが所定基準を満たすかに応じて物体を確定障害物または不確定障害物に分類して、その物体の情報を障害物情報として記憶手段に記憶する。そして、不確定障害物の障害物情報は、障害物情報の物体が検知手段にて検知されなくなると削除する。これに対し、確定障害物の障害物情報は、障害物情報の物体が検知手段にて検知されなくなっても削除しない。かかる構成により、検知手段にて検知した物体を検知度合いに応じて確定障害物と不確定障害物に分類した上で、不確定障害物の障害物情報については物体が検知されなくなると削除するので、無駄な障害物情報を保持し続けることがなく、不適切な障害物情報を削除することができる。
本発明に係る監視システムの概要を示すイメージ図である。 本発明に係る監視システムの全体構成を示す模式図である。 本発明に係る監視システムにおける物体検知装置のブロック構成図である。 本発明に係る監視システムにおける飛行ロボットのブロック構成図である。 本発明に係る監視システムにおける制御装置のブロック構成図である。 本発明に係る監視システムの物体検知装置側の物体検知の処理手順を説明するフローチャートである。 本発明に係る監視システムの物体検知装置から送信された検知情報に基づいて制御装置側で障害物情報を更新する処理手順を説明するフローチャートである。 本発明に係る監視システムの制御装置が実行する対処処理の処理手順を説明するフローチャートである。 (a)〜(d)本発明に係る監視システムの動作例を示す説明図である。 (a),(b)本発明に係る監視システムの他の動作例を示す説明図である。
以下、本発明を実施するための形態について、添付した図面の図1〜10を参照しながら詳細に説明する。
[本発明の概要について]
本発明は、検知波として例えばレーザを監視空間に向けて走査することにより監視空間への進入物体を検知する物体検知装置と、この物体検知装置にて検知した物体を監視する監視システムに関するものである。
物体検知装置は、センサにて一度検知した検知対象(例えば車両等)以外の物体情報を障害物情報として保持する。しかし、センサが例えば飛来物や雪等を検知すると、この検知した物体を障害物として認識し、その情報を記憶してしまうことがある。
このため、本発明では、センサで物体を検知したときに、その検知度合い(継続検知時間、検知回数)に応じて確定障害物と不確定障害物に分類してその情報を記憶し、確定障害物についてはセンサで検知できなくてもその位置情報を障害物情報から削除せず、不確定障害物についてはセンサで検知されないと障害物情報から削除する。
これにより、例えば飛来物や雪等の短時間しか検知しない物体を障害物として記憶し続けることを防止するとともに構造物が一時的に非検知となっている場合でもこれを消去せず障害物として保持することで安全に配慮した移動物体の制御等を行うことができる。
[監視システムの構成について]
図1及び図2に示すように、本実施の形態の監視システム1は、物体検知装置2、ロボポート3、飛行ロボット4、制御装置5、監視センタ6によって構築される。監視システム1では、図1に示すように、監視領域E内の検知対象(例えば監視領域E内へ侵入してきた不審車両Mなど)を物体検知装置2が検知すると、検知対象を検知したことが物体検知装置2から制御装置5に通知される。制御装置5は、物体検知装置2から検知対象の検知の通知があると、ロボポート3を介して飛行ロボット4に飛行指示する。飛行ロボット4は、制御装置5からの飛行指示に従って監視領域Eへ向かって飛行し、監視領域Eの検知対象の検知箇所の周辺に設定された目的箇所(例えば目標物である不審車両Mを含む周辺領域)へ下降して撮影する。監視センタ6は、飛行ロボット4から制御装置5を介して送信される撮影画像をモニタに表示し、監視領域Eの監視を行う。以下、監視システム1を構築する各部の構成について説明する。
[物体検知装置の構成について]
物体検知装置2は、例えば不審車両や不審者等の目標物を監視領域Eで検知したときに、監視領域E内の物体検知を検知信号によって制御装置5に通知する。
物体検知装置2が例えばレーザセンサを含む構成とした場合には、図1に示すように、検知波としてのレーザ光を所定周期で走査し、斜線で示す走査範囲Sに侵入した検知対象の目標物(例えば不審車両や不審者等の侵入物体)Mを検知したときに、例えばLANなどを介して制御装置5に物体検知信号を送信して監視領域E内で目標物Mを検知したことを通知する。
なお、物体検知装置2は、上述したレーザ光以外に、送信波を送信して物体からの反射波を受信して物体を検知する送受型の検知波を用いるものであればよく、例えば可視光、赤外光、超音波などを検知波として所定周期で走査範囲Sを走査する構成であってもよい。
以下、物体検知装置2の構成について図3を参照しながら更に詳しく説明する。
物体検知装置2は、図1の監視領域Eにおける検知対象にレーザ光が照射されるように、監視建物の屋外壁面に水平または一定の俯角に設定されて設置される。本実施形態における物体検知装置2は、人物及び車両を検知対象としていることから、壁面における設置高さは監視領域Eに侵入した人物及び車両に検知波としてのレーザ光が照射される高さに設置される。
物体検知装置2は、図3に示すように、制御装置5と接続して通信を行う通信部21と、レーザ光を照射及び受光する検知部22と、HDDやメモリなどで構成され各種設定情報やプログラムなどを記憶する記憶部23と、MPUやマイコンなどで構成され各部の制御を行う制御部24とを含んで概略構成される。
通信部21は、制御装置5と接続され、制御部24にて監視領域Eにおける検知対象の存在が判定されると、自己のアドレス情報を含む検知信号を制御装置5に送信する。また、検知対象以外の障害物情報を障害物を検知すると、検知したタイミング或いは所定周期ごとに制御装置5に送信する。
検知部22は、レーザ光により監視領域Eを走査して、レーザ光を反射した検知対象としての物体の位置を検知する。検知部22は、特に図示はしないが、近赤外線を発射するレーザ発振部、レーザ光を反射して物体検知装置2より照射させる走査鏡と、走査鏡を等速に回転駆動させる走査制御部と、受光素子を備えてレーザ発振部の近傍に設けられる反射光検知部と、レーザ光の照射結果として測距データを生成する測距データ生成部などを含んで構成される。
検知部22より発射されるレーザ光は、照射方向を制御されて、少なくとも監視領域Eの全体を走査する。この走査は、所定の測定周期(例えば30msec)で行われ、レーザ光の照射から反射光の検知までに要する時間と走査角度から検知物体の位置を算出する。
本実施の形態では、検知部22により得られる測定データを測距データと呼ぶ。測距データは、具体的には検知部22による1回の走査で監視領域Eを所定の角度間隔(例えば0.25°)で測定した結果である。例えば、180°の範囲について0.25°間隔で測距データを取得すると721個の距離値が得られる。これら721個の距離値のセットが一つの測距データになる。測距データは、角度(方向)と距離とを対応付けた複数の測定点データの集まりの情報(テーブル)として記憶部23に記憶される。
検知部22は、所定の周期間隔(例えば30msec)にて1回の走査が終了する毎に測距データを生成して制御部24に出力する。
記憶部23は、例えばROMやRAM、又はHDDなどにて構成され、物体検知装置2自身を特定するためのアドレス情報と各種プログラムなどを記憶している。また、記憶部23は、更に物体検知装置2を動作させるための各種情報を記憶する。具体的に、記憶部23は、図3に示すように、設定された監視領域Eを示す警戒領域情報23aと、制御部24にて生成された基準データ23bと、検知部22にて検知された物体のトラッキング情報23cとを記憶する。
警戒領域情報23aは、例えば物体検知装置2にて監視すべき範囲として例えば警備会社などによる監視区域の警備プランニングに応じて設定される監視領域Eを示す情報である。監視領域Eの範囲は、検知部22で走査を行う所定の角度間隔(例えば0.25°)ごとに、検知部22からの角度(方向)と距離値が対応付けられて角度(方向)と距離のテーブルとして記憶部23に記憶される。
基準データ23bは、現在の測距データと比較して監視領域Eに新規に出現した物体を抽出するために用いられる比較基準情報である。基準データ23bは、検知部22による走査開始後から現在までの何れかの過去時点で取得された測距データより生成され、角度(方向)と距離のテーブルとして記憶部23に記憶される。
トラッキング情報23cは、監視領域Eに新規に出現した物体を複数周期に渡り追跡するために用いられる情報である。トラッキング情報23cには、現在周期における物体の位置と大きさ及び検知対象と判定されたか否かと、当該物体が監視領域Eに初めて出現した位置と大きさが対応づけられて記憶部23に記憶される。トラッキング情報23cは、所定期間以上トラッキングできなくなると、記憶部23から消去される。
なお、記憶部23に記憶するトラッキング情報23cとしては、後述の車両等の特定対象物だけなく、障害物等の情報も含まれる。
制御部24は、例えばCPU、ROM、RAM等からなるマイクロコンピュータ及びその周辺回路で構成され、各部を制御する。制御部24は、マイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、検知対象の存在の有無を判定する検知対象判定部24aを備える。
検知対象判定部24aは、現在の測距データと基準データ23bとを比較して監視領域Eに出現した物体を変化領域として検知し、この物体の特徴量と移動量とを算出する。そして、この特徴量と移動量とに基づき、物体が検知対象であるか否かを判定する。
検知対象判定部24aは、監視領域Eに出現した物体を検知すると、この物体を複数周期に渡り評価して検知対象であるか否かを判定する。
具体的には、検知対象判定部24aは、測距データから得られる走査角度ごとの距離値と、角度ごとの距離値(基準データ23b)との差分を対応する角度ごとに算出して、基準データよりも近距離となった測定点、つまり距離値が変化した測定点を変化点として検知する。そして、検知対象判定部24aは、同一の検知対象により距離値が変化した測定点を変化領域としてグループ化する。
また、検知対象判定部24aは、変化領域が特定の検知対象物(例えば車両、人など)であるか否かを判定する。
さらに説明すると、検知対象判定部24aは、例えば、変化領域の大きさが所定サイズ以上であり、かつ変化領域の形状が直線的である、或いは変化領域に略直角の部分を含む場合に変化領域を車両と判定する。これにより、後述する飛行ロボット4の制御において車両の撮影を目的とする場合、車両以外を障害物と扱うことが可能である。
そして、物体検知装置2は、変化領域の位置情報に属性情報(車両)を付加した検知情報を、通信部21を介して制御装置5に送信する。
一方で、物体検知装置2は、変化領域が特定の検知対象物と判定できない場合、変化領域の位置情報に確度情報を付加した障害物情報を、通信部21を介して制御装置5に送信する。この場合、物体検知装置2は、制御装置5には物体検知装置2で検知しているすべての障害物情報を送信する。
ここで、確度情報は、所定の継続時間(例えば1s)以上連続してトラッキングできた場合、確定障害物である識別子(フラグ)を付加して位置情報と共に制御装置5に送信する。逆に継続時間が所定回数未満である場合は、不確定障害物であるという識別子(フラグ)を付加して制御装置5へ送信する。
なお、ここでは、継続時間を元に確定障害物か不確定障害物かの判定を行っているが、所定の走査回数において検知される回数が所定回数以上(例えば30回の走査中20回以上)の場合に確定障害物、所定未満の場合に不確定障害物という情報を付加して制御装置5に送信するようにしてもよい。これは、例えば、一次的に飛来する飛来物や降雪を偶然検知してしまう場合があり、これを不確定障害物とすることで、再検知されない場合は、障害物情報から削除することで不必要な情報を記憶する必要がなくなる。
また、ここでは特定対象物と判定された変化領域の位置(例えば重心位置)から所定範囲内(例えば1m)で検知された変化領域を不確定障害物と判定するようにしている。これは、例えば、レーザ光が車両等にあたった場合に鏡面反射を起こして、部分的に信号が戻ってこないと、複数の変化領域として検知してしまう場合があり、一つを車両と判定してトラッキングすることが可能であるが、他の変化領域が一次的に現れた障害物と判定されてしまうという問題があるためである。具体例については後述する。
さらに、検知対象判定部24aは、この変化領域について、トラッキング情報を参照して前回周期の検知結果に同一の被測定物によって生じた変化領域が存在するか否かを判定するトラッキング処理を行う。前回周期の検知結果との対応付けは、両周期で検知された物体間の距離と大きさなどにより行われる。即ち、両周期で検知された物体間の距離が閾値以内で大きさの変動が閾値以内である場合に、変化領域の対応付けが行われる。
但し、変化領域の対応付けが行われた場合、トラッキング情報には現在周期で検知された変化領域の位置と大きさ及び検知対象と判定されたか否かが記憶される。
なお、上述した制御部24の機能は後述する制御装置5が備えるようにしてもよく、記憶部23で記憶する情報は後述する制御装置5に記憶するようにしてもよい。また、後述する制御装置5における障害物マップを物体検知装置2の記憶部23に記憶して障害物情報を管理するようにしてもよい。
[ロボポートの構成について]
ロボポート3は、飛行ロボット4の待機場所であり、制御装置5からの指示を受け、飛行ロボット4の離陸や着陸を行うための設備を備える。また、ロボポート3は、飛行ロボット4が着陸するときに飛行ロボット4をポート内に収容する機構を備え、飛行ロボット4をポート内に収容したときに、飛行ロボット4に対して接触又は非接触にて給電を行う機能を有する。
[飛行ロボットの構成について]
飛行ロボット4は、制御装置5から飛行指示を受けていない通常の状態ではロボポート3に待機しており、物体検知装置2が検知対象を検知して制御装置5に通知があると、制御装置5からの指示により、飛行高度に応じた速度で障害物を回避しながら目標位置(目的地)Pに向かって飛行する。
飛行ロボット4は、図4に示すように、ロータ41、ロータ駆動部42、アンテナ43、高度センサ44、撮影部45、記憶部46、電源47、ロボ制御部48を含んで概略構成される。
ロータ41は、例えば4つの回転体で構成され、飛行ロボット4の機体を上昇・下降・方向転換、前進などの飛行をするようにロータ駆動部42によって駆動される。
ロータ駆動部42は、飛行ロボット4の機体を上昇・下降・方向転換、前進などの飛行をするため、ロボ制御部48の制御によりロータ41の各回転体を駆動する。
アンテナ43は、ロボット本体に設けられ、小電力無線、Wi−Fiなどで、制御装置5との間で無線通信を行う。
高度センサ44は、ロボ制御部48の制御により、気圧センサの気圧値や飛行ロボット4の機体から鉛直下方に投受光されるレーザなどにより飛行ロボット4の現在高度を計測する。
撮影部45は、例えば撮像素子を用いたカメラで構成され、飛行ロボット4の周囲(例えば前方や下方など)を撮影する。
記憶部46は、制御装置5から検知物体情報、障害物情報を一時記憶する。また、記憶部46は、飛行ロボット4が飛行中のときに撮影部45が撮影した画像を逐次記憶する。
電源47は、例えばリチウムポリマー電池などの充電式電池などで構成され、飛行ロボット4の各部に必要な電力を供給する。
ロボ制御部48は、飛行ロボット4の各部を統括制御するもので、撮影制御手段48a、ロータ制御手段48b、姿勢制御手段48cを含む。
撮影制御手段48aは、撮影部45の撮影開始や終了、撮影部45の撮影角度の制御、撮影部45が撮影した画像を取得して制御装置5へライブ画像を送信するなどの処理を行う。
ロータ制御手段48bは、制御装置5から受信して記憶部46に一時記憶した障害物情報に応じて障害物を回避しつつ、ロータ駆動部42を制御して飛行ロボット4の高度や速度を制御装置5から指示された目標値になるように制御する。
姿勢制御手段48cは、飛行ロボット4の飛行状態(向き、姿勢、加速度など)、現在位置、現在高度に基づいて飛行ロボット4の飛行中の姿勢を制御する。
そして、上記のように構成される飛行ロボット4では、制御装置5からの検知物体情報、障害物情報を受信して記憶部46に一時記憶し、制御装置5から指示された目標位置に到達すると、制御装置5から受信した障害物情報に基づき、その近辺に障害物が無いと判断したときに撮影部45による撮影等を行うために下降制御する。
[制御装置の構成について]
制御装置5は、例えば監視領域E内の所定箇所や監視領域Eの近傍に設置される。制御装置5は、例えばLANなどを介して物体検知装置2と接続され、物体検知装置2から検知信号を受信する。
制御装置5は、物体検知装置2から検知信号を受信したときに、飛行ロボット4との間で無線通信し、飛行ロボット4から送信される各種情報に基づき、飛行ロボット4に各種制御指示を行う監視装置の機能を備える。なお、制御装置5は、監視センタ6の監視卓6aから飛行ロボット4による撮影指示、所定位置への飛行指示等の各種指示を受信すると、飛行ロボット4に各種制御指示を行う。
制御装置5は、飛行ロボット4の飛行を制御するものであり、図5に示すように、通信部51、記憶部52、制御部53を備える。
通信部51は、飛行ロボット4との間で例えば小電力無線やWi−Fi通信などの無線通信を行い、飛行ロボット4から飛行状態情報としての位置(緯度、経度、高度)、速度等の情報を受信し、この受信した情報に応じた各種制御信号を飛行ロボット4に送信する。
また、通信部51は、監視センタ6の監視卓6aから飛行ロボット4の飛行指示を受信すると、この飛行指示に従った各種制御信号を飛行ロボット4に送信する。
さらに、通信部51は、飛行ロボット4の撮影部46が撮影した画像をインターネット等の広域ネットワーク(WAN)上に構築された仮想専用ネットワーク(VPN)を介して監視センタ6に送信する。また、通信部51は、物体検知装置2から検知物体情報を受信する。
記憶部52は、例えばROM,RAMなどで構成され、飛行ロボット4が飛行する領域を緯度、経度、高度の3次元にて表現した飛行領域マップ、監視領域Eに関する各種情報である監視領域情報、飛行ロボット4と通信を行うためのデータや飛行ロボット4の飛行を制御するための各種パラメータ、ロボポート3の位置情報(緯度、経度情報)、監視領域E内における物体検知装置2の種別と、物体検知装置2の設置位置情報(緯度、経度情報)、これら以外に制御装置5の機能を実現するための各種プログラムが記憶されている。
また、記憶部52は、物体検知装置2から送信された、監視領域E内に存在する検知物体の情報をその属性と位置情報を付加して障害物マップに記憶する。属性としては、特定の対象物(車両、人)であるか否か或いは、確定的な障害物(確定障害物)であるか、不確定な障害物(不確定障害物)であるかなどの識別子(フラグ)を障害物ごとに付加して記憶する。
制御部53は、記憶部52からソフトウェアモジュールを読み出し、CPU等にて各処理を行い、各部を統括制御するものであり、飛行制御手段53a、撮影制御手段53b、状態確認手段53cを備える。
飛行制御手段53aは、通信部51を介して飛行ロボット4から飛行状態情報、位置情報、高度情報を取得し、飛行ロボット4の目標位置P、速度などの飛行ロボット4の飛行に関わる制御信号を飛行ロボット4に通信部51を介して送信し、飛行ロボット4の飛行を制御する。
撮影制御手段53bは、飛行ロボット4の撮影部46による撮影を制御するもので、通信部51を介して飛行ロボット4から取得した現在位置に基づいて撮影許可信号(撮影禁止解除信号)又は撮影禁止信号を通信部51を介して飛行ロボット4に送信する。
状態確認手段53cは、飛行ロボット4の状態を確認するもので、飛行ロボット4がロボポート3に待機しているときに定期的に飛行ロボット4の機能が正常か否かを確認する。
[監視センタの構成について]
監視センタ6は、図2に示すように、飛行ロボット4が撮影した映像を制御装置5を介して受信し、受信した映像を表示する端末装置などの監視卓6aを備える。また、監視センタ6は、監視員の判断によって監視卓6aを操作することにより任意の場所に飛行ロボット4を向かわせる飛行指示(飛行ルート指示、目標位置Pや速度の指示、離陸指示、帰還指示、上昇指示など)を行うこともできる。
[障害物マップの更新処理について]
次に、図6と図7を用いて制御装置5で記憶される障害物マップの更新処理について説明する。図6は物体検知装置2側の物体検知を説明するフローチャートである。図7は物体検知装置2から送信された検知情報に基づいて制御装置5側で障害物情報を更新するフローチャートである。
(物体検知装置の処理)
物体検知装置2の制御部24は、まず、検知部22からの測距データを基準データと比較して変化があるか否か判定する(S101)。物体検知装置2の制御部24は、測距データを基準データと比較して変化があると判定すると、S102へ進む。
S102では、測距データを同一の物体とみなせるものをグルーピングして変化領域とし、新規の変化領域であればラベルを設定し、過去データと同一と判定できる物体は位置情報を更新する(トラッキング処理)。
次に、物体検知装置2の制御部24は、グルーピングした変化領域の特徴量(サイズ、直線性など)を算出する(S103)。
そして、物体検知装置2の制御部24は、特定の検知対象(例えば車両、人など)であるか否かを判定する(S104)。この判定方法は前述の通りであり、特定の検知対象であると判定すると(S104−Yes)、変化領域を特定対象物と判定して検知対象である旨のフラグを付与し(S105)、この検知情報を制御装置5に送信する(S106)。
物体検知装置2の制御部24は、特定の検知対象でないと判定すると(S104−No)、次に変化領域が特定の検知対象と判定された変化領域から所定以内の範囲にあるか否か、すなわち特定対象物の近傍か否かを判定する(S107)。
そして、物体検知装置2の制御部24は、特定対象物の近傍であると判定すると(S107−Yes)、変化領域を不確定障害物と判定して不確定障害物である旨の識別子(フラグ)を付与し(S108)、この検知情報を制御装置5に送信する(S106)。
物体検知装置2の制御部24は、特定対象物の近傍でもないと判定すると(S107−No)、次に所定期間内の検知頻度が所定以下か否か、すなわち検知度合いが低いか否かを判定する(S109)。
物体検知装置2の制御部24は、検知度合いが低いと判定すると(S109−Yes)、変化領域を不確定障害物と判定して不確定障害物である旨の識別子(フラグ)を付与し(S108)、この検知情報を制御装置5に送信する(S106)。
物体検知装置2の制御部24は、検知度合いが高いと判定すると(S109−No)、変化領域を確定障害物と判定して確定障害物である旨の識別子(フラグ)を付与し(S110)、この検知情報を制御装置5に送信する(S106)。
そして、物体検知装置2の制御部24は、S106において、検知した変化領域の位置情報に属性情報(特定対象物、確定障害物、不確定障害物)を付加して制御装置5へ送信する。なお、ここでは現在検知している変化領域の情報全てを制御装置5へ送信する。
そして、物体検知装置2の制御部24は、検知情報を制御装置5へ送信すると、例えば警備終了などで処理が終了しているか否か判定する(S111)。物体検知装置2の制御部24は、処理が終了していると判定すると(S111−Yes)、処理を終了し、処理が終了しておらず未終了と判定すると(S111−No)、S101へ戻る(図中のA)。
(制御装置の処理)
制御装置5は、物体検知装置2が検知した物体(変化領域)の検知情報を所定周期で受信して、制御装置5の記憶部52が記憶する障害物マップを更新する。以下、図7を用いて説明する。
制御装置5の制御部53は、まず、物体検知装置2から検知情報の受信有無を判定する(S201)。
次に、制御装置5の制御部53は、物体検知装置2から検知情報を受信したと判定すると(S201−Yes)、物体検知装置2から要対処すべき検知対象を検知したか否か判定する(S202)。そして、要対処として、飛行ロボット4による対処が必要であると判定すると、S203へ進む。
S203では、飛行ロボット4による対処が必要であると判定すると(S202−Yes)、対処処理が実行される。この対処処理については図8を用いて後述する。
次に、制御装置5の制御部53は、物体検知装置2から受信した検知情報が新規物体によるものか判定する(S204)。
そして、制御装置5の制御部53は、物体検知装置2から受信した検知情報が新規物体によるものと判定すると(S204−Yes)、その検知情報を障害物マップに追加する(S205)。
続いて、制御装置5の制御部53は、物体検知装置2から送信された検知物体情報と障害物マップに記憶されている情報を比較し、消失した物体があるか否か、すなわち消失障害物があるか否かを判定する(S206)。
制御装置5の制御部53は、消失障害物があると判定すると(S206−Yes)、消失した物体に不確定障害物の識別子(フラグ)が付与されているか否か判定する(S207)。
そして、制御装置5の制御部53は、不確定障害物の識別子(フラグ)が付与されていると判定すると(S207−Yes)、障害物マップから削除する(S208)。
その後、制御装置5の制御部53は、例えば警備終了等により処理を停止するか否か判定する(S209)。制御装置5の制御部53は、処理を停止すると判定すると(S209−Yes)、処理を停止し、処理を停止せず継続すると判定すると(S209−No)、S201へ戻る(図中のB)
なお、制御装置5の制御部53は、S204で物体検知装置2から受信した検知情報が新規物体によるものではないと判定すると(S204−No)、S206に移行する。
また、制御装置5の制御部53は、S206で消失障害物がないと判定したとき(S206−No)、S207で消失した物体に不確定障害物の識別子(フラグ)が付与されていないと判定したときは(S207−No)、S209に移行する。
[対処処理について]
次に、監視領域E内で検知対象を検知したときに、監視システム1の制御装置5が実行する対処処理について図8を参照しながら説明する。
監視領域E内の検知対象として、監視領域E内に例えば不審車両があると、この不審車両を目標物Mとして物体検知装置2が検知する。そして、物体検知装置2は、目標物Mによる検知信号を制御装置5に送信し、監視領域E内で検知対象を検知したことを制御装置5に通知する。
図8の対処処理では、まず、物体検知装置2からの検知信号により物体検知装置2が飛行ロボット4による対処が必要な検知対象の物体を検知したか否かを判別する(S301)。
制御装置5の制御部53は、物体検知装置2から検知信号が入力され、物体検知装置2が検知対象を検知したと判定すると、飛行ロボット4に向かわせるべき目標位置Pと飛行ルートを算出して設定する(S302)。
そして、制御装置5の制御部53は、ロボポート3を介して飛行ロボット4に目標位置Pへの飛行ルート指示、及び障害物マップに記憶された障害物情報を送信する。この障害物情報は、対処終了するまで、更新情報が送信される。(S303)。
続いて、制御装置5の制御部53は、ロボポート3を介して飛行ロボット4に離陸指示を送信する(S304)。飛行ロボット4は、ロボポート3を介して制御装置5から目標位置Pへの飛行ルート指示、離陸指示を受信すると、ロータ制御手段48bによりロータ駆動部42を制御して各ロータ41を駆動し、ロボポート3から離陸し、飛行ルートに従って飛行し、目標位置Pに向かって移動する。
次に、制御装置5の制御部53は、飛行ロボット4が目標位置Pの付近まで飛行して移動したか否かを判別する(S305)。制御装置5の制御部53は、飛行ロボット4が目標位置Pの付近まで移動していないと判定すると、S305の処理に戻る。制御装置5の制御部53は、飛行ロボット4が目標位置Pの付近まで移動したと判定すると、飛行ロボット4に降下指示を送信する(S306)。飛行ロボット4は、制御装置5から降下指示を受信すると、制御装置5から送信された障害物情報に基づき、直下に障害物がないと判定した場合は、ロータ駆動部42を制御して各ロータ41を駆動し、機体を降下させる。
飛行ロボット4は、所定高さまで降下すると、監視領域Eの目標物Mを含む周辺の撮影を開始する(S307)。
次に、制御装置5の制御部53は、飛行ロボット4の撮影部45による撮影が終了したか否かを判別する(S308)。制御装置5の制御部53は、飛行ロボット4の撮影部45による撮影が終了したと判定すると、検知対象を検知したときの対処処理を終了する。
なお、制御装置5の制御部53は、上述した対処処理において、変化領域が不確定対象物か否かを判定する2つの判別処理(図6のS107、S109)のうち、いずれか一方の判別処理のみを実行してもよい。
また、制御装置5の制御部53は、上述した対処処理において、飛行ロボット4の撮影部45による撮影が終了したと判定したときに、必要に応じて飛行ロボット4に帰還指示を送信し、飛行ロボット4をロボポート3に帰還させることができる。
[具体例について]
次に、本実施の形態の監視システムの具体的な動作について図9と図10を参照しながら説明する。
(具体例1)
図9は、監視領域内に車両PがP1→P2→P3→P4の経路で進入してくる例である。今、物体検知装置2は、図9(a)の走査範囲Sで検知波を走査したときに、図9(b)に示すように、P2の位置の変化領域D1を特定の検知対象の物体(車両)として認識したものとする。また、物体検知装置2は、図9(c)に示すように、車両PがP2から移動してP3の位置で一次停止したとき、鏡面反射により2つに分裂した変化領域D2,D3として認識したものとする。
この場合、物体検知装置2は、いずれか一方の変化領域(例えばD2)を車両と判定し、他方の変化領域(例えばD3)を障害物と判定するが、障害物と判定した変化領域は車両と認識した物体の傍で検知されているので、不確定障害物の識別子(フラグ)を付与した障害物情報を制御装置5に送信する。制御装置5は、物体検知装置2から送信される障害物情報を付加して障害物マップに記憶する。
そして、車両PがP3からP4へ移動すると、図9(d)に示すように、P3で不確定障害物と判定された障害物(変化領域D2)は実際には移動しているため検知されなくなる。このため、制御装置5は、不確定障害物の識別子(フラグ)が付与された障害物情報を障害物マップから削除する。
これにより、鏡面反射により一時的に検知され、障害物情報として記憶されたとしても、それ以後、検知されない場合は、障害物情報から削除されるので、不適切な情報を維持することなく、飛行ロボットの安全な制御を行うことが可能となる。
(具体例2)
図10(a),(b)は物体検知装置2で検知した時刻t=t1とt2における検知データの例である。
物体検知装置2は、図10(a)の時刻t=t1において、複数の物体を検知し、その検知頻度に基づいて不確定障害物(白丸)とする識別子(フラグ)を付与した情報と、確定障害物(黒丸)とする識別子(フラグ)を付与した情報とを制御装置5へ送信する。
そして、図10(a)の状態から時間が経過し、図10(b)の時刻t=t2において、s2(不確定障害物)とs4(確定障害物)が物体検知装置2にて未検知となったとする。この場合、制御装置5は、消失した障害物の内、s2については障害物マップから削除し、s4については一時的に見えなくなっているものとして障害物情報を維持する。
これにより、例えば雪や、飛来物など一時的に監視領域で検知された物体については、その後非検知となれば障害物マップから削除することで不適切な情報を記憶することを防止して、移動体(飛行ロボット)の制御の制限することを防止できる。一方で、一度確度が高いと判定された障害物については、一時的に検知できなくなっている場合でも障害物マップから削除しないことで移動体の安全な制御が可能となる。
尚、上述した実施の形態では、物体検知装置2で検知した障害物情報を制御装置5に送信し、制御装置5の記憶部52に障害物マップを記憶する構成としているが、障害物マップ情報を物体検知装置2の記憶部23に記憶し、物体検知装置2で障害物情報を管理し、障害物情報を制御装置5に送信するようにしてもよい。
この場合は、物体検知装置2内で上述の確定障害物と不確定障害物に分類した障害物マップの更新を検知部22の検知結果に応じて随時行う。即ち検知部22の検知結果より、不確定障害物として分類された物体が検知されなくなると障害物マップより削除し、一方確定障害物として分類された物体が検知されなくなっても障害物マップからは削除しない。制御装置5へは最新の障害物情報を識別子(フラグ)なしで送信する。そして制御装置5は、物体検知装置2から送信された最新の障害物情報を飛行ロボットへ送信する。
また、上述した実施の形態では、物体検知センサ2で検知した障害物情報に基づき、飛行ロボットの降下制御を行う例について説明したが、例えば、所定領域を巡回監視する自律移動ロボットに本発明の物体検知装置を搭載して障害物を避けながら移動するよう制御することも可能である。
以上、本発明に係る物体検知装置及び監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。
1 監視システム
2 物体検知装置
3 ロボポート
4 飛行ロボット
5 制御装置
6 監視センタ
21 通信部
22 検知部
23 記憶部
23a 警戒領域情報
23b 基準データ
23c トラッキング情報
24 制御部
24a 検知対象判定部
41 ロータ
42 ロータ駆動部
43 アンテナ
44 高度センサ
45 撮影部
46 記憶部
47 電源
48 ロボ制御部
48a 撮影制御手段
48b ロータ制御手段
48c 姿勢制御手段
51 通信部
52 記憶部
53 制御部
53a 飛行制御手段
53b 撮影制御手段
53c 状態確認手段

Claims (5)

  1. 検知波を送受信して物体を検知する検知手段と、
    前記検知手段にて検知した障害物情報を検知位置情報と共に制御装置に送信する送信手段と、
    を含む物体検知装置と、
    前記物体検知装置が送信する障害物情報を受信して、障害物マップに記憶する記憶部を含む制御装置と、
    を備えた監視システムであって、
    前記物体検知装置は、
    前記物体が特定対象物か否か判定する判定手段を備え、
    前記特定対象物以外と判定された物体を障害物として識別子を付与し、
    前記検知した物体の検知度合いが所定基準を満たす物体に確定障害物である旨の識別子を付与し、検知度合いが所定基準を満たさない物体に不確定障害物である旨の識別子を付与して前記障害物情報として前記制御装置に送信し、
    前記制御装置は、
    前記障害物マップに記憶された物体のうち、前記不確定障害物である旨の識別子が付与された物体については、前記物体検知装置から障害物情報を受信しなくなると当該障害物の情報を前記障害物マップから削除し、前記確定障害物である旨の識別子が付与された物体については前記物体検知装置から障害物情報を受信しなくなっても前記障害物マップから当該障害物の情報を削除しないことを特徴とする監視システム。
  2. 前記検知度合いの所定基準は継続時間に基づく基準であり、
    前記検知手段で所定期間以上継続して検知された物体を確定障害物とし、前記継続時間が前記所定期間未満である物体を不確定障害物とする請求項1に記載の監視システム。
  3. 前記検知度合いの所定基準は所定期間内の検知頻度に基づく基準であり、
    前記検知手段で前記所定期間内に所定回数以上検知された物体を確定障害物とし、所定回数未満検知された物体を不確定障害物とする請求項1に記載の監視システム。
  4. 飛行機能と飛行高度を制御する高度制御手段を含む飛行ロボットを備え、
    前記制御装置は、前記飛行ロボットと無線通信して飛行状態情報を取得するとともに、前記物体検知装置が前記特定対象物を検知すると前記飛行ロボットへ前記物体位置へ飛行を行う旨の指示情報と前記障害物マップに記憶された障害物の位置情報を送信し、
    前記飛行ロボットは、前記物体位置付近へ到着すると、前記制御装置から送信された前記障害物の位置情報を参照し、障害物がない位置へ下降するよう制御する請求項1乃至のいずれか一項に記載の監視システム。
  5. 検知波を送受信して物体を検知する検知手段と、
    前記物体が特定対象物か否か判定する判定手段をさらに備え、
    前記特定対象物以外の物体を障害物として識別する物体検知装置であって、
    前記物体検知装置は、
    前記検知手段にて物体を検知した検知度合いが所定基準を満たすかに応じて前記物体を確定障害物または不確定障害物に分類して、その物体の情報を障害物情報として記憶する記憶手段と、をさらに備え、
    前記検知手段にて前記不確定障害物である物体が検知されなくなると、当該物体の障害物情報を前記記憶部から削除し、前記確定障害物である物体が検知されなくなっても当該物体の障害物情報は前記記憶部から削除しないことを特徴とする物体検知装置。
JP2016068617A 2016-03-30 2016-03-30 監視システム及び物体検知装置 Active JP6775981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016068617A JP6775981B2 (ja) 2016-03-30 2016-03-30 監視システム及び物体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016068617A JP6775981B2 (ja) 2016-03-30 2016-03-30 監視システム及び物体検知装置

Publications (3)

Publication Number Publication Date
JP2017182454A JP2017182454A (ja) 2017-10-05
JP2017182454A5 JP2017182454A5 (ja) 2019-05-09
JP6775981B2 true JP6775981B2 (ja) 2020-10-28

Family

ID=60007000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016068617A Active JP6775981B2 (ja) 2016-03-30 2016-03-30 監視システム及び物体検知装置

Country Status (1)

Country Link
JP (1) JP6775981B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047374B2 (ja) 2017-12-25 2022-04-05 トヨタ自動車株式会社 情報収集システム
JP7063066B2 (ja) 2018-03-30 2022-05-09 トヨタ自動車株式会社 経路計画装置、経路計画方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029446B2 (ja) * 2012-12-13 2016-11-24 セコム株式会社 自律飛行ロボット
JP6192958B2 (ja) * 2013-03-19 2017-09-06 株式会社Ihiエアロスペース 移動体の環境地図生成制御装置、移動体、及び移動体の環境地図生成方法
JP6302660B2 (ja) * 2013-12-16 2018-03-28 株式会社ニコン・トリンブル 情報取得システム、無人飛行体制御装置

Also Published As

Publication number Publication date
JP2017182454A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US11697411B2 (en) Apparatus and methods for obstacle detection
US10955860B2 (en) Unmanned aerial vehicles
JP6539073B2 (ja) 監視システム及び飛行ロボット
US11004345B2 (en) Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
US20200055597A1 (en) Monitoring system and mobile robot device
US20200372814A1 (en) On-board command unit for a drone system, drone and drone system including the on-board command unit
JP6539072B2 (ja) 監視システム及び飛行ロボット
JP6509599B2 (ja) 飛行ロボット制御システム及び飛行ロボット
JP6080568B2 (ja) 監視システム
JP2014192784A (ja) 監視システム
US20200348697A1 (en) Unmanned aircraft, control method, and recording medium
KR20190004176A (ko) 무인항공기의 장애물 충돌 회피 장치 및 그 방법
WO2021237618A1 (zh) 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质
KR20190000439A (ko) 조류퇴치를 위한 무인비행체 및 그 운용방법
JP6578113B2 (ja) 飛行ロボット制御システム及び飛行ロボット
JP2018055362A (ja) 監視システム
JP6775981B2 (ja) 監視システム及び物体検知装置
JP2014146141A (ja) 撮影システム
JP2014119900A (ja) 撮影システム
KR102192686B1 (ko) 시설물 점검을 위한 드론 관제 시스템 및 그 방법
JP2021100234A (ja) 飛行体の撮像方法及び情報処理装置
JP2021135895A (ja) 検知装置、検知方法、およびロボット並びにプログラム
JP7123719B2 (ja) 飛行ロボットおよび監視システム
JP6775980B2 (ja) 監視システム及び物体検知装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201007

R150 Certificate of patent or registration of utility model

Ref document number: 6775981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250