JP6575493B2 - 制御装置、移動体の分散制御プログラム - Google Patents

制御装置、移動体の分散制御プログラム Download PDF

Info

Publication number
JP6575493B2
JP6575493B2 JP2016233139A JP2016233139A JP6575493B2 JP 6575493 B2 JP6575493 B2 JP 6575493B2 JP 2016233139 A JP2016233139 A JP 2016233139A JP 2016233139 A JP2016233139 A JP 2016233139A JP 6575493 B2 JP6575493 B2 JP 6575493B2
Authority
JP
Japan
Prior art keywords
area
coverage
moving
monitoring
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016233139A
Other languages
English (en)
Other versions
JP2018092256A (ja
Inventor
竜也 宮野
竜也 宮野
一騎 柴田
一騎 柴田
神保 智彦
智彦 神保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2016233139A priority Critical patent/JP6575493B2/ja
Priority to US15/824,239 priority patent/US10356367B2/en
Publication of JP2018092256A publication Critical patent/JP2018092256A/ja
Application granted granted Critical
Publication of JP6575493B2 publication Critical patent/JP6575493B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Description

本発明は、指定された監視対象領域が監視範囲となるように移動させる制御装置、及び移動体の分散制御プログラムに関する。
特許文献1には、監視対象に対して対処を行うのに適した位置まで飛行装置を移動制御する監視システムが記載されている。
より詳しくは、監視システムは、上空から地上を監視する飛行装置と、センタ装置を少なくとも備える。センタ装置は、制御種別ごとに監視対象に対する俯仰角を記憶する記憶部と、制御種別を含む制御信号の入力があると、記憶部を参照して制御種別に対応する俯仰角に相当する目標位置を算出する目標算出部と、目標位置に飛行装置を移動させる飛行装置制御部と、を備えている。
しかし、この特許文献1では、複数の移動体を想定したロジックになっていない。また、移動体に対してきめ細かい起動計画を施さなければならない。
さらに、特許文献1では、センタ装置による集中処理となっているため計算負荷が高く、規模が大きくなると現実的時間内に解を求めることができない。
ここで、複数の移動体の集中管理せずに制御する技術として、ボロノイ領域を定義する分散管理技術がある。
例えば、カメラを備えた複数の移動体を、予め定めた領域内に設定されたリスクポテンシャル(監視対象領域)に移動させ、当該リスクポテンシャルを監視する場合、予め定めた領域をボロノイ領域に分割し、分割した各領域をそれぞれの移動体の担当領域として設定することで、移動体同士の衝突回避が可能となる。
ボロノイ領域を定義した技術は、複数の移動体を想定した最適なロジックを提供することができる。また、各移動体に対してきめ細かい起動計画を施す必要がなく、各移動体が近傍とコミュニケーションをとりながら、自律分散的に意思決定することができる。
さらに、集中処理ではなく、分散処理であるため、計算負荷が小さく、規模の大きさに依存せず、現実的時間内で解を求めることができる。
なお、移動体は、移動体間の垂直二等分線で囲まれたボロノイ領域内において、リスクポテンシャルの重心位置に移動することを繰り返し行うことになる。また、ボロノイ領域の定義は、時々刻々と変化し得るものである。
特開2016−118996号公報
しかしながら、従来のボロノイ領域を定義した自律分散制御では、それぞれの担当する領域に1機の移動体が対応し得るリスクポテンシャルが存在すればよいが、定常的に、以下のような状況が発生することが予想される。
(状況1) 担当領域にリスクポテンシャルが存在せず、移動体としての監視機能を果たさない(所謂、遊んでいる移動体が存在する)。
(状況2) 2以上の担当領域に跨って、1機の移動体で監視可能なリスクポテンシャルが存在する場合に、それぞれの担当領域の移動体が、余力をもって2以上の移動体が監視する。
(状況3) 1つの担当領域内に、1機の移動体では監視が不十分となるリスクポテンシャルが存在する。
なお、本明細書において、リスクポテンシャルに対して、移動体が監視し得る監視領域の比率を「被覆率」という。被覆率は、そのままの比率(「監視領域の面積/リスクポテンシャルの面積」)でもよいし、百分率で表現してもよい(「監視領域の面積/リスクポテンシャルの面積」×100%)。ここで、センサの捕捉領域を監視領域とする。
すなわち、上記状況1〜3は、それぞれ被覆率1(100%)とはならず、移動体の監視能力が十分に発揮されていないことになる。
本発明は上記事実を考慮し、自律分散制御の下、リスクポテンシャルに対する移動体が監視し得る監視領域の比率である被覆率を向上することができる制御装置、及び移動体の分散制御プログラムを得ることが目的である。
本発明に係る制御装置は、外部環境情報をセンシングするセンサ部を備え、特定の監視範囲内を、第1の制御則に従って相互に衝突を回避しながら移動し得る複数の移動体の各々に設けられ、前記特定の監視範囲内において、センシング情報が得られない死角領域をカバレッジさせるための制御装置であって、前記第1の制御則の下でのカバレッジ動作において、前記死角領域に対するカバレッジの割合で定義される被覆率が1未満の死角領域を判定する判定部と、前記第1の制御則の下でのカバレッジ動作において、前記被覆率が1を超える移動体を特定する特定部と、前記第1の制御則を逸脱する第2の制御則に基づいて、前記特定部で特定した移動体に、前記判定部で判定された死角領域への移動を指示する指示部と、を有している
本発明において、前記第1の制御則が、ボロノイ領域の定義に基づく移動制御則であり、前記第2の制御則が、前記移動体の位置と前記死角領域の位置との移動軌跡上に障害物が存在しないことを条件に、前記第1の制御則を逸脱して、死角領域へ移動させる移動制御則である、ことを特徴としている。
本発明において、前記判定部で判定される死角領域が複数存在する場合に、それぞれの死角領域の重要度を比較して、当該重要度が高い死角領域を優先してカバレッジ動作させることを特徴としている。
本発明によれば、センシング情報が得られない外部環境領域を死角領域と定義し、死角領域を大域的にカバレッジ不可能と判断した場合に、死角領域をカバレッジすべきと判定し、カバレッジ可能なように死角領域まで移動するようにアクチュエータに移動を指示することができる。
死角領域を大域的にカバレッジしていない判断は、死角領域に対するカバレッジの割合で定義される被覆率という数値で判断することができる。すなわち、被覆率が、1未満の場合に、前記死角領域をカバレッジすべきと判定することができる。また、指示部は、カバレッジすべき前記死角領域に必要十分の数の移動体を移動するように指示することで、移動体の衝突を回避することができる。
センシング情報が得られない外部環境領域を死角領域と定義し、死角領域に対するカバレッジの割合で定義される被覆率が、1未満の場合に、死角領域をカバレッジすべきと判定し、死角領域をカバレッジすべきと判断した場合に、カバレッジ可能なように死角領域まで移動するようにアクチュエータに移動を指示することができる。
本発明は、相互に干渉しない担当領域に配置されると共に、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体、及び必要に応じて固定センサを備え、前記複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる移動体の分散制御システムにおける制御装置であって、指定された監視対象領域が自機移動体の担当領域内に存在するとき、当該指定された監視対象領域が監視範囲となるように移動させる移動制御手段と、前記移動制御手段により移動した後の、自機移動体の担当領域内の前記監視対象領域の監視度合いを示す被覆率に関する情報を送信すると共に、他機移動体の担当領域内の前記監視対象領域の監視度合いを示す被覆率に関する情報を受信する被覆率情報交信手段と、前記被覆率情報交信手段で受信した前記被覆率が100%未満の、他機移動体の担当領域内の監視対象領域へ、現在の自機移動体の担当領域を超えて移動する条件が成立するか否かを判断する判断手段と、前記判断手段で移動する条件が成立した自機移動体を含む複数の移動体の中から、移動する移動体を確定させる調停を実行する調停手段と、
を有する制御装置である。
本発明の制御装置によれば、相互に干渉しない担当領域に配置されると共に、当該担当領域内で移動することで、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体を備え、複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる。例えば、衝突を回避しながら移動体を移動する場合の制御として、ボロノイ分割制御が適用可能である。
ここで、移動制御手段では、指定された監視対象領域が自機移動体の担当領域内に存在するとき、当該指定された監視対象領域が監視範囲となるように移動させる。
被覆率情報交信手段は、移動制御手段により移動した後の、監視対象領域の監視度合いを示す被覆率に関する情報を送受信する
判断手段では、被覆率が100%未満の監視対象領域へ、現在の自機移動体の担当領域を超えて、他機移動体の担当領域へ移動する条件が成立するか否かを判断し、調停手段が、判断手段で移動する条件が成立した複数の移動体の中から、移動する移動体を確定させる調停を実行する。
これにより、複数の移動体の衝突を回避しつつ、担当領域を逸脱して監視対象領域へ移動させることができ、監視対象領域の被覆率の低減を図ることができる。
本発明において、前記判断手段が、目的の監視対象領域までの移動軌跡上における、他機移動体との衝突有無で判断する。
目的の監視対象領域までの移動軌跡上に他機移動体が存在しないことを条件とする。目的の監視対象領域までの移動軌跡上に他機移動体が存在する場合、衝突回避を最優先とし、移動を断念する。
本発明において、前記調停手段が、前記条件の成立までの時間、移動にかかる時間、要求されるセンサ機能の少なくとも1つに基づいて調停する。
例えば、調停手段における、条件の成立までの時間による調停とは、複数の移動体の内最短に条件が成立した場合に、他機の移動体の移動を制限するための情報を送信することで移動体を選択する。一例として、指定された監視対象に符号(正又は負)を設定し、正の符号の場合は被覆を要求するものとし、負の符号の場合は被覆を要求しないものとし、最先に条件が成立した移動体から正の符号を負の符号に書き替える情報を送信することで、後発で条件が成立した移動体は、移動が制限されることになる。なお、移動軌跡上にも負の符号を設定することで、他機移動体を移動軌跡上から遠ざけることもできる。
また、移動に係る時間による調停とは、最も早く目的の監視対象までの移動できる移動体を選択する。
さらに、要求されるセンサ機能による調停とは、例えば、移動体毎に、情報として撮影した視覚情報を得る移動体、或いは、超音波センサや赤外線センサによる特殊な信号を得る移動体等が存在するとき、要求される情報に基づいて、移動体を選択する。
本発明は、コンピュータを、上記の制御装置として動作させる移動体の分散制御プログラムである。
以上説明した如く本発明では、自律分散制御の下、リスクポテンシャルに対する移動体が監視し得る監視領域の比率である被覆率を向上することができるという優れた効果を有する。
本実施の形態に係る移動体の分散制御システムを示し、(A)は本実施の形態に適用される移動体を動作させるための制御系のブロック図、(B)は移動体が移動する領域の平面図である。 本実施の形態に係るボロノイ分割された領域の平面図であり、(A)はリスクポテンシャル指定時、(B)は制御則1に基づく移動体の移動後を示す。 本実施の形態にかかる移動体とリスクポテンシャルとの相関関係を示す平面図であり、(A)は被覆率=1の場合、(B)は被覆無しの場合、(C)は1<被覆率の場合、(D)は0<被覆率<1の場合、(E)は領域内でのボロノイ領域を逸脱して移動可能な移動体を示す。 リスクポテンシャルに重要度を設定した場合の優先度合いによる被覆率の変化を示すカバレッジ遷移図である。 本実施の形態に係るボロノイ分割された領域の平面図であり、図2(B)の状態から制御則2に基づく移動体の移動後を示す。 本実施の形態に係るリスクポテンシャル監視制御ルーチンを示すフローチャートである。 本実施の形態の実施例1に係り、所謂早い者勝ちの法則により、目的のリスクポテンシャル28へ移動する移動体10を決定するようにした実施例としての、リスクポテンシャル監視制御ルーチンのフローチャートである。 本実施の形態の実施例2に係り、移動体の分散制御システムを、家屋のセキュリティシステムの監視に用いた場合の例である。 本実施の形態の実施例3に係り、移動体の分散制御システムを、事故防止のための交差点のモニタリングに用いた場合の例である。
図1は、本実施の形態に係る移動体の分散制御システムに適用される移動体10及び、移動体10が移動する領域12が示されている。図1(A)は、本実施の形態に適用される移動体10(図1(B)参照)を動作させるための制御系のブロック図である。また、図1(B)は、移動体10が移動する領域12の平面図である。領域12には、複数の移動体10が存在し、独立して移動可能となっている。
図1(A)に示される如く、移動体10は、領域12の範囲内を無人で移動可能であり、当該移動を含む制御を実行するマイクロコンピュータを備えた制御装置14が搭載されている。
制御装置14のマイクロコンピュータは、CPU16A、RAM16B、ROM16C、入出力ポート(I/O)16D及びこれらを接続するデータバスやコントロールバス等のバス16Eを有している。I/O16Dには、監視モジュール18、移動モジュール20、位置認識モジュール22及び通信モジュール24が接続されている。
制御装置14は、例えば、ROM16Cに予め記憶された移動体の分散制御プログラムをCPU16Aで起動させ、監視モジュール18、移動モジュール20、位置認識モジュール22及び通信モジュール24の動作を制御する。
(監視モジュール18)
監視モジュール18に適用されるデバイスは、例えば、カメラが代表的であり、移動体10の位置から特定の監視範囲(視野)を撮像する。
なお、監視モジュール18は、カメラによる撮像に限定されず、電波(レーダー、レーザー、超音波等)照射等による地理上の特徴物(ランドマーク)の検出等であってもよい。
(移動モジュール20)
本実施の形態の移動体10は、飛行体(一例として、ドローン)であり、移動モジュール20に適用されるデバイスとして、独立した駆動源(モータ)で駆動する複数のプロペラを備えており、モータの駆動を制御することで、目的の方向に向けて飛行可能、かつ目的の位置空間で停止(ホバリング)可能である。
なお、移動体10は、飛行体に限定されず、地上や水上を移動する移動モジュール20であってもよく、複数のデバイスを併用してもよい。さらに、広い概念では、固定配置された監視カメラの首振り動作機構を移動モジュール20と定義してもよい。
すなわち、監視モジュール18の監視範囲が変更可能であればよい。
(位置認識モジュール22)
位置認識モジュール22は、自機の移動体10の位置を認識する機能であり、位置情報を得るために、デバイスとして、GPS、レーザー、レーダー、超音波、モーションキャプチャー、カメラ、無線通信、無線強度(距離情報)の少なくとも1つのセンサを備えている。
位置認識モジュール22は、センサで検出した結果(検出信号)に基づき、自機の移動体10の位置を三次元空間上の座標等によって認識する。
なお、位置認識モジュール22は、自機の移動体10の位置の認識以外に、後述する通信モジュール24を介して他機の移動体10の位置情報を取得し、相互の距離を演算して複数の移動体10の相対位置関係を認識する。
(通信モジュール24)
通信モジュール24は、デバイスとして、無線通信装置を備える。無線通信は、移動体10間で通信する機能として、位置情報を送受信する位置情報送受信部と、指定された監視対象領域(「リスクポテンシャル」という場合がある)の監視度合い(「被覆率」という。詳細後述)に関する情報(被覆率情報)を送受信する被覆率送受信部と、監視対象領域の分担に関する調停情報を送受信する調停情報送受信部と、を備える。
調停情報とは、移動体10がリスクポテンシャルへ移動するか否かの判定を行う情報であり、リスクポテンシャルの符号(正又は負)によって使い分ける。例えば、「正」と定義されたリスクポテンシャルは監視を必要とし、「負」と定義されたリスクポテンシャルは監視を不要とすることを示す。
また、通信モジュール24の無線通信は、監視モジュール18で監視した結果(例えば、カメラであれば撮像情報)を、監視を統括的に管理する基地局へ送信する監視情報送信部を備える。
各移動体10の制御装置14では、位置認識モジュール22からの位置情報に基づいて、図1(B)に示す領域12をボロノイ分割する。
ボロノイ分割とは、各ポイント(ここでは、移動体10の位置)の勢力圏を分析するものであり、移動体10までの距離が最短となる点の集合を1つのポリゴンで表したとき、それぞれをボロノイ領域という。例えば、図1(B)において、二次元平面におけるボロノイ分割では、ボロノイ分割の境界線は、移動体10を結ぶ線分の垂直二等分線(図1(B)の鎖線26)となり、鎖線26で区画された各ボロノイ領域(1)〜(n)には、必ず1機の移動体10が存在する。なお、変数nはボロノイ分割数であり、図1ではn=17である。
本実施の形態では、領域12の範囲で、移動体10は相互に自由に移動しており、その都度、ボロノイ領域は変化することになる。図1(B)は、各移動体10が、点線の位置から実線の位置に移動したときのボロノイ領域となる。
また、本実施の形態では、図1(B)に示す領域12において、図2(A)に示すように、監視対象領域(リスクポテンシャル)28を指定する。
本実施の形態では、1単位のリスクポテンシャル28の面積は、1機の移動体10の監視モジュール18で監視し得る監視範囲の面積と同等としている。すなわち、矩形網状に図示されたリスクポテンシャル28の中心に1機の移動体10の中心が重なることで、リスクポテンシャル28の全てが監視範囲となる。
なお、リスクポテンシャル28の面積と監視範囲の面積とは必ずしも1:1である必要はない。
図2(A)の各移動体10の位置は、図1(B)の位置と同一であり、各移動体10は、相互に位置情報を送受信しながら、自機の移動体10のボロノイ領域内でリスクポテンシャル28に向けて移動することになる。
図2(B)は、図2(A)に対して各移動体10が移動した結果であり、ボロノイ領域を維持しながらリスクポテンシャル28に向けて移動する従来技術の制御である(制御則1)。
ここで、制御則1では、全てのリスクポテンシャル28を、移動体10の監視範囲とすることができない状況が発生する。
すなわち、指定されたリスクポテンシャル28の監視度合いは、被覆率で表現することができる。被覆率は、移動体10の監視領域の面積/リスクポテンシャル28の面積」である。なお、百分率で表現してもよい(「移動体10の監視領域の面積/リスクポテンシャル28の面積」×100%)。
制御則1に基づく、図2(B)では、被覆率が1未満(100%未満)のリスクポテンシャル28が存在していることがわかる。その一方で、リスクポテンシャル28が存在しないボロノイ領域では、移動体10が全く機能していない。
すなわち、全ての移動体10の監視領域の面積が、指定されたリスクポテンシャル28の全面積よりも大きくても、制御則1に縛れた制御では、全てのリスクポテンシャル28を監視することができない。
そこで、本実施の形態では、制御則1に加え、移動体10(の監視範囲)とリスクポテンシャル28との位置関係に基づいて、自機の移動体10のボロノイ領域を逸脱して、被覆率が不足(0<被覆率<1)しているリスクポテンシャル28に移動する制御(制御則2)を確立した。
図3は、移動体10(の監視範囲)とリスクポテンシャル28との位置関係として考え得る状況を示している。
図3(A)は、単一のボロノイ領域内で、1区画のリスクポテンシャル28に1機の移動体10が対応した状況であり、1機の移動体10の監視範囲の面積がリスクポテンシャル28の面積と一致することになり、被覆率は1となり、理想的な関係である。
図3(B)は、移動体10が担当するボロノイ領域にリスクポテンシャル28が存在しない場合であり、最も効率の悪い関係である(状況1)。
図3(C)は、2つのボロノイ領域に跨って指定された1区画のリスクポテンシャル28を、それぞれのボロノイ領域を担当する2機の移動体10で対応した場合であり、2機の移動体10の監視範囲の面積がリスクポテンシャル28の面積よりも広くなり、被覆率は1より大きく(2「=200%」)となり、移動体10の監視範囲が余剰となる関係である(状況2)。
一方、図3(D)は、単一のボロノイ領域内で、3区画のリスクポテンシャル28に1機の移動体10が対応した状況であり、被覆率が1未満(0.333・・・)であり、リスクポテンシャル28の監視として不十分な関係である。
図3(A)の関係では、移動体10は現状況を維持することが好ましい。
図3(B)の関係(状況1)では、1機の移動体10の監視範囲が無駄となっている状況であり、言い換えれば、図3(B)の移動体10は、別のリスクポテンシャル28に割り当てることができる状況である。
図3(C)の関係(状況2)では、2機の移動体10がそれぞれ1/2の監視範囲を無駄にしている状況であり、言い換えれば、ボロノイ領域の縛りがなければ、図3(C)の2機の移動体10の内の1機の移動体10は、別のリスクポテンシャル28に割り当てることができる状況である。
一方、図3(D)の関係では、2区画のリスクポテンシャル28が監視できていない状況である。
本実施の形態では、図3(B)及び図3(C)の状況(移動体の監視範囲が余剰となっている状況1及び状況2)と、図3(D)の状況(移動体10の監視範囲が不足している状況)とを認識し、ボロノイ領域の維持(制御則1)の制御を逸脱して、移動体10を移動させることを容認した制御則2を設定した(図3(E)参照)。
また、本実施の形態では、リスクポテンシャル28に重要度の差がある場合、重要度に応じて移動体10の移動を制御するようにしている。
図4は、重要度に基づく移動体10の移動制御について示している。
重要度は、例えば、0を超える数値〜1以下の数値で表現され、1が最も重要度が高いものとし、図4では、重要度1のリスクポテンシャル28Aと、重要度0.5のリスクポテンシャル28Bが存在することを想定している。
例えば、図4(A)に示される如く、第1の区画に重要度0.5のリスクポテンシャル28Bが存在し、移動体10がカバレッジ(監視)した場合、重要度からみると、移動体の監視面積は、50%の能力しか使っていないので、被覆率は、1/0.5=2となる。また、第2の区画に重要度1の2個のリスクポテンシャル28Aが存在し、一方のリスクポテンシャル28Aを、移動体10がカバレッジ(監視)した場合、重要度からみると移動体10の監視面積は、100%の能力を使っているので、被覆率は、1/(1+1)=0.5となる。
ここで、重要度を加味した被覆率の総合的な評価として、評価指標で表現する。評価指標は、数値が高いほど被覆率が向上する。
図4(A)における、2区画の評価指標は、0.5+1=1.5となる。
一方、図4(B)に示される如く、第1の区画に重要度0.5のリスクポテンシャル28Bと重要度1のリスクポテンシャル28Aが存在し、リスクポテンシャル28Aを移動体10がカバレッジ(監視)した場合、被覆率は、1/(0.5+1)=0.67となる。また、第2の区画に重要度1のリスクポテンシャル28Aが存在し、移動体10がカバレッジ(監視)した場合、被覆率は、1/1=1となる。
図4(B)における、2区画の評価指標は、1+1=2となる。
すなわち、重要度が高いリスクポテンシャル28を優先的にカバレッジした方が、全体の被覆率を向上することができる。
制御則2による移動体10の移動制御では、以下の条件が設定され、移動体10間の調停によって移動する移動体10が選定される。
(条件1) 各移動体10が、監視範囲が不足しているリスクポテンシャル28(「正」と定義)まで移動する移動軌跡上に、他機の移動体10が存在しないこと。
(条件2) 条件1が成立した移動体10が、他機の移動体10に対して、移動を宣言する。
移動の宣言とは、「正」と定義されたリスクポテンシャル28を、「負」に書き替える。また、移動軌跡上も「負」に書き換える。これにより、最先に移動を宣言した移動体10にのみ、移動が許可され、複数の移動体10が単一のリスクポテンシャル28に向かい、衝突等が発生することを回避することができる。
図5は、上記制御則2の制御によって、図2(B)の状態から移動体10が移動した結果であり、全てのリスクポテンシャル28に対して、1:1の関係で移動体10の移動範囲が対応されることがわかる。
以下に本実施の形態の作用を図6のフローチャートに従い説明する。
図6は、本実施の形態に係るリスクポテンシャル監視制御ルーチンを示すフローチャートであり、主として、移動体10の移動制御に特化した流れを示している。
ステップ100では、自機の移動体10の情報を収集する。すなわち、領域12(図1(B)参照)での自機の位置情報を認識すると共に、他機の移動体10へ位置情報を送信する。
次のステップ102では、他機の移動体10(領域12に存在する自機以外の移動体10)の情報を収集する。すなわち、他機の位置情報を認識し、ステップ104へ移行する。
ステップ104では、制御則1による入力計算を実行する。すなわち、各移動体10のボロノイ領域を逐次設定すると共に、ボロノイ領域内にリスクポテンシャル28が存在する場合は、リスクポテンシャル28を被覆するように移動する制御を実行する。
次のステップ106では、自機の移動体10の現状の状況を把握する。すなわち、自機の移動体のボロノイ領域内にリスクポテンシャル28が存在しない状況(状況1)、又は自機の移動体のボロノイ領域のリスクポテンシャル28が移動体の監視面積に比べて小さい(被覆率が1より大きい)状況(状況2)であるか、それ以外かを判断する
ステップ106で肯定判定、すなわち、状況1又は状況2であると判断された場合は、ステップ108へ移行して、制御則2による入力計算を実行する。すなわち、自機の移動体10のボロノイ領域外で、被覆率が1を下回る(被覆率<1)リスクポテンシャル28に向けて移動をするか否かを調停し、調停により決定した移動体10が自機のボロノイ領域を逸脱して、当該リスクポテンシャル28へ移動する制御を実行し、ステップ110へ移行する。
また、ステップ106で否定判定された場合は、ステップ110へ移行する。
ステップ110では、全てのリスクポテンシャル28の被覆が達成したか否かが判断され、肯定判定された場合は、このルーチンは終了する。また、ステップ110で否定判定された場合は、ステップ100へ戻り、上記工程を繰り返す。
なお、リスクポテンシャル28の総面積が、複数の移動体10が監視し得る総面積を上回っている場合は、移動体10が掛け持ちをして、時系列でリスクポテンシャル28の情報を得るようにしてもよい。
本実施の形態によれば、複数の移動体10の領域12内での自由移動中の衝突回避を目的として、制御則1に基づきボロノイ領域を設定したことによる、リスクポテンシャル28の被覆率低下を是正するべく、制御則2として、被覆率の低いリスクポテンシャル28への移動を調停し(例えば、早い者勝ち)、ボロノイ領域を逸脱して移動させることで、リスクポテンシャル28の被覆率を向上することができる。
(実施例1)
本実施の形態において、図6のフローチャートに基づくリスクポテンシャル監視制御を実行する場合、特に制御則2において、リスクポテンシャル28へ移動する移動体10同士の干渉(衝突)を回避するための調停が必要となる。図7は、所謂早い者勝ちの法則により、目的のリスクポテンシャル28へ移動する移動体10を決定するようにした実施例としての、リスクポテンシャル監視制御ルーチンのフローチャートである。
図7に示される如く、ステップ120では、図1(B)に示す領域12内で初期のボロノイ領域を設定し、次いでステップ122へ移行して移動体10をそれぞれのボロノイ領域内でランダムで移動させ、ステップ124へ移行する。
ステップ124では、リスクポテンシャル28の指定があったか否かが判断され、否定判定された場合は、ステップ126へ移行して、自機位置情報を送信すると共に他機位置情報を受信し、次いでステップ128へ移行して移動体10の相対位置に基づき、ボロノイ領域を設定し、ステップ120へ戻る。
また、ステップ124で肯定判定された場合は、ステップ130へ移行して、現時点でのボロノイ領域内でのリスクポテンシャル28の有無を検索し、次いで、ステップ132へ移行して、被覆率を演算して、ステップ134へ移行する。
ステップ134では、演算された被覆率によって処理を分岐する。
すなわち、ステップ134で、被覆率=1と判定された場合は、リスクポテンシャル28の面積と移動体10の監視範囲面積とが1:1であり、制御則1での制御でリスクポテンシャル28の監視が可能と判断し、ステップ136へ移行して、制御則1に基づきリスクポテンシャル28へ移動し、ステップ156へ移行する。この場合、移動体10は、自機のボロノイ領域(担当領域)内で、リスクポテンシャル28を全て被覆できる(図3(A)の状態参照)。
また、ステップ134で、被覆率<1と判定された場合は、ステップ138へ移行して、制御則1に基づき、移動体10を自機のボロノイ領域内のリスクポテンシャル28へ移動させ、次いでステップ140へ移行して、調停情報(リスクポテンシャル28を完全に被覆できていない旨を示す正のリスクポテンシャル)を送信し、ステップ156へ移行する。この場合、移動体10は、自機のボロノイ領域(担当領域)内で、少なくともリスクポテンシャル28の一部は被覆できる(図3(D)の状態参照)。
一方、ステップ134で、被覆率>1(リスクポテンシャル28が存在しない場合を含む)と判定された場合は、他機のボロノイ領域に存在するリスクポテンシャル28を被覆し得ると判断し(図3(B)及び(C)の状態参照)、ステップ142へ移行して、調停情報(正のリスクポテンシャル)を受信したか否かを判断する。
ステップ142で否定判定された場合は、ステップ120へ戻る。また、ステップ142で肯定判定された場合は、ステップ144へ移行して正のリスクポテンシャルへ移動するまでの障害の有無を判別し、次いでステップ146へ移行して、障害の有無を判断する。ステップ146で、「障害有り」と判断された場合は、ステップ120へ戻る。また、ステップ146で、「障害無し」と判断された場合は、ステップ148へ移行して、書替情報(リスクポテンシャル28が被覆されていることを示す負のリスクポテンシャル及び移動軌跡の負ポテンシャル)を受信したか否かを判断する。このステップ148で否定判定されると、ステップ150へ移行する。この時点で、リスクポテンシャル28へ移動する占有権を得たことになる(早い者勝ちの法則)。また、ステップ148で肯定判定された場合は、占有権がないと判断し、ステップ120へ戻る。
ステップ150では、制御則2に基づき、リスクポテンシャルへ移動し、次いでステップ152へ移行して、自機位置情報を送信すると共に他機位置情報を受信し、次いでステップ154へ移行して、自機の移動体10が占有権を得たことを宣言するため、調停情報を書替える書替情報(正のリスクポテンシャル→負のリスクポテンシャル)、並びに移動軌跡の負ポテンシャル情報を送信し、ステップ156へ移行する。
ステップ156では、移動体10の相対位置に基づき、ボロノイ領域を設定し、次いでステップ158へ移行して、リスクポテンシャル28の監視情報(例えば、撮像情報)を基地局へ送信し、ステップ160へ移行する。ステップ160では、リスクポテンシャル28が解消したか否かを判断し、否定判定された場合は、ステップ158へ戻る。また、ステップ160で肯定判定された場合は、ステップ120へ戻る。
(実施例2)
図8は、本発明の実施の形態の実施例2に係り、移動体10の分散制御システムを、家屋のセキュリティシステムの監視に用いた場合の例である。
図8に示される如く、家屋30の周囲には、壁32が設けられており、壁32で囲まれた敷地内を、固定の監視カメラ34で監視している。敷地内には、3台の移動体10を適用しているが、移動体10は、敷地をボロノイ分割し、相互の衝突を回避しながら移動する。
例えば、監視カメラ34で不審者36の存在を検知した場合、検知した領域を重点的に監視するために、リスクポテンシャル28を設定する。このとき、ボロノイ領域があった場合、1台の移動体10では、リスクポテンシャル28を十分被覆できないが、制御則2に基づき、3台の移動体10をリスクポテンシャル28へ移動させることができる。
なお、敷地に死角が有る場合、当該死角を重点的に監視するようにしてもよい。また、実施例2の監視例では、家屋30の敷地内を監視するようにしたが、駐車場とされた敷地でもよい。駐車場の場合、駐車する車両の台数、位置によって固定の監視カメラの死角が変動するため、移動体10による監視は有効となる。
(実施例3)
図9は、本発明の実施の形態の実施例3に係り、移動体10の分散制御システムを、事故防止のための交差点のモニタリングに用いた場合の例である。
図9(A)に示される如く、車両38が走行可能な優先道路40に対して、路地42が交差した交差点44において、優先道路40には監視カメラ46を設置して、車両38の接近を監視する。また、交差点44には、予め領域12を設定し、3台の移動体10を適用しているが、移動体10は、敷地をボロノイ分割し、相互の衝突を回避しながら移動する。
例えば、図9(B)に示される如く、監視カメラ46で車両38の接近を検知した場合、車両10の進行方向側の路地42(図9(B)の上側の路地42)から自転車48等が飛び出すことを予測して、当該路地42を含む領域を重点的に監視するために、リスクポテンシャル28を設定する。このとき、ボロノイ領域があった場合、1台の移動体10では、リスクポテンシャル28を十分被覆できないが、制御則2に基づき、3台の移動体10をリスクポテンシャル28へ移動させることができる。
移動体10で撮影した画像情報は、車両38へ送信されることで、運転者は事前に危険を察知することができる。
なお、図8では家屋30の敷地での監視、及び、図9では交差点44での事前の危険察知をモニタリングの例を示した、その他の例として、例えば、山やビル等において、通常は広い範囲での監視を複数の移動体10で実行し、災害時に要救助者の位置を特定して、通常の範囲よりも狭い領域をリスクポテンシャルとして指定して、重点的に捜索するレスキュー活動にも適用可能である。
10 移動体(センサ部、アクチュエータ)
12 領域
14 制御装置(定義部、判定部、指示部、判断手段、交信手段)
16A CPU
16B RAM
16C ROM
16D 入出力ポート(I/O)
16E バス
18 監視モジュール
20 移動モジュール(移動制御手段)
22 位置認識モジュール
24 通信モジュール(被覆率情報更新手段)
26 鎖線
(1)〜(n) ボロノイ領域(担当領域)
28 リスクポテンシャル(死角領域、監視対象領域)

Claims (7)

  1. 外部環境情報をセンシングするセンサ部を備え、特定の監視範囲内を、第1の制御則に従って相互に衝突を回避しながら移動し得る複数の移動体の各々に設けられ、前記特定の監視範囲内において、センシング情報が得られない死角領域をカバレッジさせるための制御装置であって、
    前記第1の制御則の下でのカバレッジ動作において、前記死角領域に対するカバレッジの割合で定義される被覆率が1未満の死角領域を判定する判定部と、
    前記第1の制御則の下でのカバレッジ動作において、前記被覆率が1を超える移動体を特定する特定部と、
    前記第1の制御則を逸脱する第2の制御則に基づいて、前記特定部で特定した移動体に、前記判定部で判定された死角領域への移動を指示する指示部と、
    を有する制御装置。
  2. 前記第1の制御則が、ボロノイ領域の定義に基づく移動制御則であり、
    前記第2の制御則が、前記移動体の位置と前記死角領域の位置との移動軌跡上に障害物が存在しないことを条件に、前記第1の制御則を逸脱して、死角領域へ移動させる移動制御則である、
    ことを特徴とする請求項1記載の制御装置。
  3. 前記判定部で判定される死角領域が複数存在する場合に、それぞれの死角領域の重要度を比較して、当該重要度が高い死角領域を優先してカバレッジ動作させることを特徴とする請求項2記載の制御装置。
  4. 相互に干渉しない担当領域に配置されると共に、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体、及び必要に応じて固定センサを備え、前記複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる移動体の分散制御システムにおける制御装置であって、
    指定された監視対象領域が自機移動体の担当領域内に存在するとき、当該指定された監視対象領域が監視範囲となるように移動させる移動制御手段と、
    前記移動制御手段により移動した後の、自機移動体の担当領域内の前記監視対象領域の監視度合いを示す被覆率に関する情報を送信すると共に、他機移動体の担当領域内の前記監視対象領域の監視度合いを示す被覆率に関する情報を受信する被覆率情報交信手段と、
    前記被覆率情報交信手段で受信した前記被覆率が100%未満の、他機移動体の担当領域内の監視対象領域へ、現在の自機移動体の担当領域を超えて移動する条件が成立するか否かを判断する判断手段と、
    前記判断手段で移動する条件が成立した自機移動体を含む複数の移動体の中から、移動する移動体を確定させる調停を実行する調停手段と、
    を有する制御装置。
  5. 前記判断手段が、目的の監視対象領域までの移動軌跡上における、他機移動体との衝突有無で判断する請求項4記載の制御装置。
  6. 前記調停手段が、前記条件の成立までの時間、移動にかかる時間、要求されるセンサ機能の少なくとも1つに基づいて調停する請求項4又は請求項5記載の制御装置。
  7. コンピュータを、
    請求項1〜請求項6の何れか1項の制御装置として動作させる
    移動体の分散制御プログラム。
JP2016233139A 2016-11-30 2016-11-30 制御装置、移動体の分散制御プログラム Expired - Fee Related JP6575493B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016233139A JP6575493B2 (ja) 2016-11-30 2016-11-30 制御装置、移動体の分散制御プログラム
US15/824,239 US10356367B2 (en) 2016-11-30 2017-11-28 Blind spot coverage device, control device, and recording medium storing distributed control program for moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016233139A JP6575493B2 (ja) 2016-11-30 2016-11-30 制御装置、移動体の分散制御プログラム

Publications (2)

Publication Number Publication Date
JP2018092256A JP2018092256A (ja) 2018-06-14
JP6575493B2 true JP6575493B2 (ja) 2019-09-18

Family

ID=62192938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016233139A Expired - Fee Related JP6575493B2 (ja) 2016-11-30 2016-11-30 制御装置、移動体の分散制御プログラム

Country Status (2)

Country Link
US (1) US10356367B2 (ja)
JP (1) JP6575493B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6575493B2 (ja) * 2016-11-30 2019-09-18 株式会社豊田中央研究所 制御装置、移動体の分散制御プログラム
JP6805989B2 (ja) * 2017-07-10 2020-12-23 株式会社豊田中央研究所 カバレッジ装置、移動体、制御装置、移動体の分散制御プログラム
WO2020013525A1 (en) * 2018-07-11 2020-01-16 Samsung Electronics Co., Ltd. In-vehicle infotainment system communicating with unmanned aerial vehicle and method of operating the same
JP2021182171A (ja) * 2018-07-19 2021-11-25 ソニーグループ株式会社 移動体、制御方法、およびプログラム
CN113596856B (zh) * 2021-08-05 2022-05-17 西安电子科技大学 基于三角剖分优化的地对空无空洞协同覆盖方法
CN114095955B (zh) * 2021-11-08 2023-08-18 西安电子科技大学 基于凸多边形剖分的地对空覆盖的场景化波束生成方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768944B2 (en) * 2002-04-09 2004-07-27 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US7668621B2 (en) * 2006-07-05 2010-02-23 The United States Of America As Represented By The United States Department Of Energy Robotic guarded motion system and method
US8195358B2 (en) * 2008-09-11 2012-06-05 Deere & Company Multi-vehicle high integrity perception
US20100127853A1 (en) * 2008-11-24 2010-05-27 Freeport-Mcmoran Copper & Gold Inc. Method and apparatus for locating and tracking objects in a mining environment
JP5418072B2 (ja) * 2009-08-28 2014-02-19 富士通株式会社 監視制御装置及び監視システム
JP5190970B2 (ja) * 2009-10-13 2013-04-24 国立大学法人 鹿児島大学 監視カメラ配置位置評価装置
JP5393413B2 (ja) * 2009-11-19 2014-01-22 三菱重工業株式会社 自律走行車および自律走行方法
US8428790B2 (en) * 2009-12-22 2013-04-23 Caterpillar Inc. Systems and methods for machine control in designated areas
US8378881B2 (en) * 2010-10-18 2013-02-19 Raytheon Company Systems and methods for collision avoidance in unmanned aerial vehicles
WO2012087212A1 (en) * 2010-12-22 2012-06-28 Saab Ab System and method for vehicle separation for a plurality of vehicles
US9552503B2 (en) * 2012-05-01 2017-01-24 5D Robotics, Inc. Distributed positioning and collaborative behavior determination
CN103731865A (zh) * 2012-10-11 2014-04-16 中兴通讯股份有限公司 统计无线网络覆盖盲区的方法、移动终端及系统
CN103971082A (zh) * 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
JP6172958B2 (ja) * 2013-02-04 2017-08-02 セコム株式会社 撮影システム
JP6077909B2 (ja) * 2013-03-29 2017-02-08 綜合警備保障株式会社 侵入検知システム及び侵入検知方法
KR20150018037A (ko) * 2013-08-08 2015-02-23 주식회사 케이티 관제 시스템 및 이를 이용한 관제 방법
US9847032B2 (en) * 2014-07-15 2017-12-19 Richard Postrel System and method for automated traffic management of intelligent unmanned aerial vehicles
US9420177B2 (en) * 2014-10-10 2016-08-16 IEC Infrared Systems LLC Panoramic view imaging system with laser range finding and blind spot detection
JP6441067B2 (ja) * 2014-12-22 2018-12-19 セコム株式会社 監視システム
JP6482857B2 (ja) 2014-12-22 2019-03-13 セコム株式会社 監視システム
US10366616B2 (en) * 2015-01-09 2019-07-30 Botlink, Llc System and method of collision avoidance in unmanned aerial vehicles
US10059459B2 (en) * 2015-05-28 2018-08-28 Kespry Inc. Unmanned aerial vehicle recovery system
US10321663B2 (en) * 2015-09-24 2019-06-18 Digi-Star, Llc Agricultural drone for use in livestock monitoring
US10762795B2 (en) * 2016-02-08 2020-09-01 Skydio, Inc. Unmanned aerial vehicle privacy controls
US10956980B1 (en) * 2016-02-23 2021-03-23 State Farm Mutual Automobile Insurance Company Systems and methods for operating drones in response to an incident
US10244211B2 (en) * 2016-02-29 2019-03-26 Microsoft Technology Licensing, Llc Immersive interactive telepresence
US20170253330A1 (en) * 2016-03-04 2017-09-07 Michael Saigh Uav policing, enforcement and deployment system
US10152059B2 (en) * 2016-10-10 2018-12-11 Qualcomm Incorporated Systems and methods for landing a drone on a moving base
JP6575493B2 (ja) * 2016-11-30 2019-09-18 株式会社豊田中央研究所 制御装置、移動体の分散制御プログラム

Also Published As

Publication number Publication date
US10356367B2 (en) 2019-07-16
US20180152671A1 (en) 2018-05-31
JP2018092256A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6575493B2 (ja) 制御装置、移動体の分散制御プログラム
JP7353747B2 (ja) 情報処理装置、システム、方法、およびプログラム
EP3467698B1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
US11167753B2 (en) Vehicle control device, vehicle control method, and vehicle control program
RU2735340C1 (ru) Способ управления парковкой и устройство управления парковкой
JP6203381B2 (ja) 経路予測装置
JP6805989B2 (ja) カバレッジ装置、移動体、制御装置、移動体の分散制御プログラム
US11104328B2 (en) Parking control method and parking control device
JP2017076371A (ja) 自動式移動体のための経路決定方法
EP3915857B1 (en) A parking assist apparatus and a method of controlling the parking assist apparatus
CN116249644A (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US20240043034A1 (en) Method and system for conditional operation of an autonomous agent
KR20150076757A (ko) 이동 수단의 집단 제어를 위한 장치 및 방법
Bosnak et al. Efficient time-to-collision estimation for a braking supervision system with lidar
JP7014289B2 (ja) 移動体制御装置、移動体、移動体制御システム、移動体制御方法および移動体制御プログラム
JP7077542B2 (ja) カバレッジ装置、制御装置、移動体の分散制御プログラム
JP7069632B2 (ja) 制御装置、移動体、及び移動体の分散制御プログラム
CN110582428A (zh) 用于感测外部对象的交通工具监控系统和方法
CN116457159A (zh) 机器人操作中采用的安全系统和方法
US20200130678A1 (en) Control apparatus, control method, and program
JP6926604B2 (ja) 監視装置、移動体の監視対象追従制御装置、監視対象追従制御プログラム
CN115326057A (zh) 路径规划方法、装置、机器人以及可读存储介质
JP7069896B2 (ja) 制御装置、移動体、自律分散制御プログラム
KR102070110B1 (ko) 자율 무인 시스템을 위한 지능 에이전트 시스템
JP7135322B2 (ja) 移動体の監視対象追従制御装置、監視対象追従制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6575493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees