JP7233515B1 - 情報処理システム、解放場所設定方法、及びプログラム - Google Patents

情報処理システム、解放場所設定方法、及びプログラム Download PDF

Info

Publication number
JP7233515B1
JP7233515B1 JP2021210809A JP2021210809A JP7233515B1 JP 7233515 B1 JP7233515 B1 JP 7233515B1 JP 2021210809 A JP2021210809 A JP 2021210809A JP 2021210809 A JP2021210809 A JP 2021210809A JP 7233515 B1 JP7233515 B1 JP 7233515B1
Authority
JP
Japan
Prior art keywords
release
location
sensing
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021210809A
Other languages
English (en)
Other versions
JP2023095113A (ja
Inventor
敏明 田爪
大貴 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2021210809A priority Critical patent/JP7233515B1/ja
Priority to EP22211699.8A priority patent/EP4201820A1/en
Priority to US18/079,637 priority patent/US20230205233A1/en
Application granted granted Critical
Publication of JP7233515B1 publication Critical patent/JP7233515B1/ja
Publication of JP2023095113A publication Critical patent/JP2023095113A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/02Dropping, ejecting, or releasing articles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/60UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/64UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】無人飛行体が物資を解放するのに適した解放場所を、より効率良く設定することが可能な情報処理システム、解放場所設定方法、及びプログラムを提供する。【解決手段】物資輸送システムSは、ユーザ端末2の光学センサ23によりユーザの周辺に存在する解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報及びユーザ端末2の位置情報を取得する。そして、物資輸送システムSは、第1センシング情報に基づいて、当該解放候補場所が適用条件を満たしているかを判定し、解放候補場所が適用条件を満たしていると判定した場合に、当該解放候補場所及びユーザ端末2の位置情報に基づいて、UAV1から物資を解放するのに適した解放場所を設定する。【選択図】図8

Description

本発明は、無人飛行体により輸送される物資を解放する場所を地上に設定するシステム等の技術分野に関する。
従来、無人飛行体を適切に着陸させるための離着陸施設に関する技術が知られている。例えば、特許文献1に開示された離着陸施設は、無人飛行体の離着陸場所を規定するフェンスと、無人飛行体の水平位置及び高度を検出するためにフェンスに設けられたセンサと、無人飛行体の水平位置及び高度を示す位置情報を無人飛行体に送信する通信部とを備えることで、無人飛行体を適切に着陸させることができるようになっている。
国際公開第2021/210138号
しかし、例えば災害時の避難エリアへ支援物資の輸送を無人飛行体が行う場合に、当該無人飛行体が当該物資を解放する解放場所(例えば、無人飛行体が着陸する場所)として、離着陸施設などの安全性を担保した場所を地上に予め確保しておくことは困難である。一方で、所定の情報処理装置が地図情報からある程度の範囲をもった候補エリアを選定し、その候補エリアを無人飛行体に飛行させながら、当該無人飛行体のセンサにより上空から下方をセンシングさせることで、物資を解放するのに適した解放場所(例えば、無人飛行体の着陸に適した場所)を探索する方法も考えられる。しかし、この場合、そのような場所が候補エリア内に存在しない場合もあり得るので、無人飛行体を利用した探索が無駄になる可能性がある。仮に、無人飛行体から物資を解放するのに適した解放場所が候補エリア内に存在したとしても、当該無人飛行体が所定速度で飛行しながら上空からセンシングを行う方法には限界があり、そのような場所を見つけ出せない可能性もある。
そこで、本発明は、上記点等に鑑みてなされたものであり、無人飛行体が物資を解放するのに適した解放場所を、より効率良く設定することが可能な情報処理システム、解放場所設定方法、及びプログラムを提供することを課題の一つとする。
上記課題を解決するために、請求項1に記載の発明は、無人飛行体により輸送される物資が解放される解放候補場所であって、地上にいるユーザの端末に備えられたセンサにより当該ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得する取得部と、前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定する第1判定部と、前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示する指示部と、前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定する設定部と、を備え、前記ユーザに対して前記指示が行われた後、前記取得部は、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得し、前記第1判定部は、前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかをさらに判定し、前記解放候補場所の上方に障害物がないと判定された場合に、前記設定部は、前記解放場所を設定し、前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させることを特徴とする。これにより、無人飛行体が物資を解放するのに適した解放場所を、より効率良く、より安全性の高い解放場所を設定することができる。
請求項2に記載の発明は、請求項1に記載の情報処理システムにおいて、前記解放場所が設定された後に、当該解放場所に向けて前記無人飛行体の飛行を開始させる第1制御部を更に備えることを特徴とする。これにより、無人飛行体が物資を解放するのに適した解放場所を予め設定することができる。
請求項3に記載の発明は、請求項1または2に記載の情報処理システムにおいて、前記第1判定部は、前記解放候補場所が、少なくとも障害物がなく且つ所定サイズ以上の地上領域を含むという前記適用条件を満たしているかを判定することを特徴とする。これにより、無人飛行体が物資を解放するのに、安全性の高い解放場所を設定することができる。
請求項4に記載の発明は、請求項1または2に記載の情報処理システムにおいて、前記第1判定部は、前記解放候補場所が、少なくとも障害物がなく且つ所定サイズ以上の平坦な地上領域を含むという前記適用条件を満たしているかを判定することを特徴とする。これにより、無人飛行体が物資を解放するのに、より安全性の高い解放場所を設定することができる。
請求項に記載の発明は、請求項1乃至の何れか一項に記載の情報処理システムにおいて、前記取得部は、前記解放場所において前記無人飛行体が前記物資を解放するために降下する際に前記センサにより当該解放場所を含む周辺領域がセンシングされることで得られた第3センシング情報を更に取得し、前記第3センシング情報に基づいて、前記解放場所に障害物が侵入するかを判定する第2判定部を更に備えることを特徴とする。これにより、より安全に物資を無人飛行体から解放することができる。
請求項に記載の発明は、請求項に記載の情報処理システムにおいて、前記第2判定部は、前記第1センシング情報と前記第3センシング情報とに基づいて、双方の前記センシング情報に含まれる画像を比較することで前記解放場所に障害物が侵入するかを判定することを特徴とする。これにより、解放場所に障害物が侵入するかを精度良く判定することができる。
請求項に記載の発明は、請求項またはに記載の情報処理システムにおいて、前記第2判定部により前記解放場所に障害物が侵入すると判定された場合に、当該解放場所における前記無人飛行体の降下を停止させる第2制御部を更に備えることを特徴とする。これにより、無人飛行体から物資が解放される前に安全性を高めることができる。
請求項に記載の発明は、請求項乃至の何れか一項に記載の情報処理システムにおいて、前記第2判定部により前記解放場所に障害物が侵入すると判定された場合に、当該解放場所において注意を喚起するための処理を行う処理部を更に備えることを特徴とする。これにより、無人飛行体から物資が解放される前に安全性を高めることができる。
請求項に記載の発明は、請求項1乃至の何れか一項に記載の情報処理システムにおいて、前記ユーザにより指定された物資の輸送要求であって、前記解放場所への輸送要求を受け付ける受付部を更に備えることを特徴とする。これにより、ユーザが所望する物資を迅速に解放場所へ輸送することができる。
請求項10に記載の発明は、請求項に記載の情報処理システムにおいて、前記ユーザが物資を指定する前に、前記解放場所を含む特定エリアへ既に輸送要求された物資を当該ユーザに提示する提示部を更に備えることを特徴とする。これにより、同一の特定エリアに同じ物資が輸送要求されることを極力防ぐことができる。
請求項11に記載の発明は、請求項1乃至10の何れか一項に記載の情報処理システムにおいて、前記取得部は、前記センシング時における前記センサの向きを示す方向情報を取得し、前記設定部は、前記解放候補場所、前記端末の位置情報、及び前記方向情報に基づいて前記解放場所を設定することを特徴とする。これにより、より正確に解放場所を設定することができる。
請求項12に記載の発明は、1または複数のコンピュータにより実行される解放場所設定方法であって、無人飛行体により輸送される物資が解放される解放候補場所であって、地上にいるユーザの端末に備えられたセンサにより当該ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得するステップと、前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定するステップと、前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示するステップと、前記ユーザに対して前記指示が行われた後、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得するステップと、前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかを判定するステップと、前記解放候補場所の上方に障害物がないと判定された場合に、前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定するステップと、前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させるステップと、を含むことを特徴とする。
請求項13に記載の発明は、地上にいるユーザの端末に含まれるコンピュータに、無人飛行体により輸送される物資が解放される解放候補場所であって、前記端末に備えられたセンサにより前記ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得するステップと、前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定するステップと、前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示するステップと、前記ユーザに対して前記指示が行われた後、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得するステップと、前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかを判定するステップと、前記解放候補場所の上方に障害物がないと判定された場合に、前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定するステップと、前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させるステップと、を実行させることを特徴とする。
本発明によれば、無人飛行体が物資を解放するのに適した解放場所を、より効率良く設定することができる。
物資輸送システムSの概要構成例を示す図である。 ユーザ端末2の概要構成例を示すブロック図である。 ユーザの周辺に存在する解放候補場所を含む周辺領域をセンシングさせるためのガイダンス画面G1の一例を示す図である。 ユーザの周辺に存在する解放候補場所を含む周辺領域をセンシングさせるためのガイダンス画面G1の一例を示す図である。 解放候補場所の上方をセンシングさせるためのガイダンス画面G2の一例を示す図である。 解放場所を含む周辺領域をセンシングさせるためのガイダンス画面G3の一例を示す図である。 (A)は、管理サーバ3の概要構成例を示す図であり、(B)は、制御部33における機能ブロック例を示す図である。 物資の輸送が行われる際の物資輸送システムSの動作の一例を示すシーケンス図である。 物資の輸送が行われる際の物資輸送システムSの動作の一例を示すシーケンス図である。
以下、図面を参照して本発明の一実施形態について説明する。なお、以下の実施形態は、物資輸送システムに対して本発明を適用した場合の実施形態である。
1.物資輸送システムSの構成
先ず、図1を参照して、本発明の一実施形態に係る物資輸送システムSの構成について説明する。図1は、物資輸送システムSの概要構成例を示す図である。図1に示すように、物資輸送システムSは、無人航空機(以下、「UAV(Unmanned Aerial Vehicle)」と称する)1、ユーザ端末2、及び管理サーバ3を含んで構成され、これらは、通信ネットワークNWに接続可能になっている。ここで、物資輸送システムSは、情報処理システムの一例であり、UAV1は無人飛行体の一例である。通信ネットワークNWは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。
UAV1は、ドローン、またはマルチコプタとも呼ばれ、地上からオペレータによる遠隔操縦に従って飛行、または空中を自律的に飛行することが可能になっている。UAV1は、例えば災害時の避難エリアなど、UAV1が離着陸するために予め用意された離着陸施設(離着陸ポートともいう)がない特定エリアへ物資(例えば、救援物資や支援物資)の輸送を行うために利用される。ユーザ端末2は、特定エリアにおける地上にいる要救助者(被災者)や救助者などのユーザにより使用される端末である。なお、本実施形態において、地上にいるユーザとは、地面または建物の屋上面に接している(例えば、立っている)ユーザを意味する。管理サーバ3は、特定エリアにおいてUAV1から物資を解放するのに適した解放場所を探索するために利用される。
1-1.UAV1の構成及び機能
次に、図2を参照して、UAV1の構成及び機能について説明する。図2は、UAV1の概要構成例を示す図である。図2に示すように、UAV1は、駆動部11、測位部12、通信部13、センサ部14、記憶部15、及び制御部16等を備える。さらに、UAV1は、UAV1の各部へ電力を供給するバッテリ(図示せず)、水平回転翼であるロータ(プロペラ)、及び輸送される物資を保持するための保持機構等を備える。保持機構には、物資を格納する格納部が設けられてもよい。この場合、格納部の側面または下面には開閉扉が設けられるとよい。なお、保持機構には、ワイヤ、及びワイヤの送り出しまたは巻き取りを行うリール(ウインチ)が備えられてもよい。
駆動部11は、モータ及び回転軸等を備える。駆動部11は、制御部16から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。測位部12は、電波受信機及び高度センサ等を備える。測位部12は、例えば、GNSS(Global Navigation Satellite System)の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUAV1の水平方向の現在位置(緯度及び経度)を検出する。なお、UAV1の水平方向の現在位置は、センサ部14のカメラにより撮像された画像に基づいて補正されてもよい。測位部12により検出された現在位置を示す位置情報は、制御部16へ出力される。さらに、測位部12は、気圧センサ等の高度センサによりUAV1の垂直方向の現在位置(高度)を検出してもよい。この場合、位置情報には、UAV1の高度を示す高度情報が含まれる。
通信部13は、無線通信機能を備え、通信ネットワークNWを介して行われる通信の制御を担う。センサ部14は、UAV1の飛行制御に用いられる各種センサを備える。各種センサには、例えば、光学センサ、距離センサ、3軸角速度センサ、3軸加速度センサ、及び地磁気センサ等が含まれる。光学センサは、例えばカメラを含んで構成され、カメラの画角に収まる範囲内の実空間を連続的にセンシング(例えば、撮像)する。センサ部14によりセンシングされることで得られたセンシング情報(例えば、画像)は、制御部16へ出力される。記憶部15は、不揮発性メモリ等から構成され、各種プログラム及びデータを記憶する。また、記憶部15は、UAV1を識別するための機体ID(識別情報)を記憶する。
制御部16は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を備え、ROM(または、記憶部15)に記憶されたプログラムに従って各種制御を実行する。例えば、制御部16は、特定エリアにおいて設定された解放場所へ向けてUAV1を飛行させる飛行制御を行う。この飛行制御においては、測位部12から取得された位置情報、センサ部14から取得されたセンシング情報、及び解放場所情報等が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。これにより、UAV1は自律的に解放場所まで移動することができる。解放場所情報は、解放場所の平面サイズ(広さ)、及び位置(緯度及び経度)を示す。解放場所情報は、UAV1に出発地点(飛行開始地点)で設定されてもよいし、管理サーバ3から送信されて設定されてもよい。なお、UAV1の飛行中に、UAV1の位置情報、及びUAV1の機体IDは、通信部13により管理サーバ3へ逐次送信される。
また、制御部16は、UAV1が解放場所に着陸した状態(着陸状態)、またはUAV1が解放場所でホバリングした状態(ホバリング状態)で、UAV1から物資を解放するための解放制御を行う。解放場所でホバリングした状態とは、例えば、UAV1が解放場所における地面または建物の屋上面から垂直方向に数十cm~数m離れた位置(空中)で停止している状態をいう。制御部16の解放制御により、UAV1の保持機構から物資が切り離されることで解放されるか、或いは保持機構の格納部の開閉扉が開放されることで物資が解放される。かかる解放は、ユーザにより格納部から物資が取り出される場合も含む。なお、UAV1のリールによってワイヤの送り出しが行われることで、物資またはその格納部が垂直方向に降下されて地面または建物の屋上面に着いたときに物資が解放されてもよい。
1-2.ユーザ端末2の構成及び機能
次に、図3を参照して、ユーザ端末2の構成及び機能について説明する。図3は、ユーザ端末2の概要構成例を示す図である。ユーザ端末2は、操作・表示部21、GPS(Global Positioning System)受信機22、光学センサ23、通信部24、記憶部25、及び制御部26等を備える。なお、ユーザ端末2には、例えば、スマートフォンやタブレットなどが適用可能である。ユーザ端末2には、音声処理部及びスピーカが備えられてもよい。操作・表示部21は、例えば、ユーザの指やペン等による操作を受け付ける入力機能と、各種画面を表示する表示機能とを有する。GPS受信機22は、GPS衛星から発信された電波を受信し、ユーザ端末2の現在位置(緯度及び経度)を検出する。GPS受信機22により検出された位置を示す位置情報は、制御部26へ出力される。
光学センサ23は、例えばカメラを含んで構成され、カメラの画角に収まる範囲内の実空間をセンシング(例えば、撮像)する。さらに、光学センサ23には、LiDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)センサが含まれるとよい。LiDARセンサは、レーザ光を発し、当該レーザ光が物体に当たって反射されて返ってくるまでの時間を計測することで当該物体までの距離及び形状を特定することができる。かかるレーザ光は光束密度が高く波長が短いため、LiDARセンサにより高精度に物体の形状を特定することができる。本実施形態では、光学センサ23は、解放場所の候補となる解放候補場所を含む周辺領域をセンシングするために使用される。ここで、解放候補場所は、ユーザ端末2のユーザの周辺(例えば、ユーザから数m~数十mの範囲)に存在する。解放候補場所を含む周辺領域とは、解放候補場所、及び当該解放候補場所の周辺領域を意味する。光学センサ23によりユーザの周辺に存在する解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報は、制御部26へ出力される。
また、光学センサ23は、解放候補場所の上方(上空領域)における障害物の有無判定のため、解放候補場所の上方をセンシングするためにも使用される。光学センサ23により解放候補場所の上方がセンシングされることで得られた第2センシング情報は、制御部26へ出力される。さらに、光学センサ23は、解放場所においてUAV1が物資を解放するために降下する際に、当該解放場所を含む周辺領域をセンシングするためにも使用される。ここで、降下する際とは、UAV1が降下する直前(つまり、解放場所の上空に到着した時)、またはUAV1が降下している間をいう。解放場所を含む周辺領域とは、解放場所、及び当該解放場所の周辺領域を意味する。解放場所においてUAV1が物資を解放するために降下する際に、光学センサ23により解放場所がセンシングされることで得られた第3センシング情報は、制御部26へ出力される。
通信部24は、無線通信機能を備え、通信ネットワークNWを介して行われる通信の制御を担う。記憶部25は、不揮発性メモリ等から構成され、各種プログラム及びデータを記憶する。各種プログラムには、オペレーティングシステム(OS)、解放場所設定用アプリケーション(本発明のプログラムを含む)、及びブラウザが含まれる。解放場所設定用アプリケーションは、ユーザの周辺に存在する解放候補場所を含む周辺領域をユーザ端末2にセンシングさせ、解放場所を設定するためのアプリケーションである。なお、解放場所設定用アプリケーションは、所定のサーバからユーザ端末2にダウンロードされるとよい。
制御部26は、CPU、ROM、及びRAM等を備え、ROM(または、記憶部25)に記憶された解放場所設定用アプリケーションに従って処理を実行する。例えば、制御部26は、ユーザの周辺に存在する解放候補場所を含む周辺領域をセンシングさせるためのガイダンス画面G1を操作・表示部21に表示させる。図4は、ユーザの周辺に存在する解放候補場所を含む周辺領域をセンシングさせるためのガイダンス画面G1の一例を示す図である。図4に示すガイダンス画面G1には、光学センサ23からのリアルタイム実空間画像51、「物資の解放候補場所を撮影してください」とのガイダンスメッセージ52、及び決定ボタン53が表示されている。ユーザはガイダンスメッセージ52にしたがってガイダンス画面G1(つまり、実空間画像51)内にユーザ自らが適当と判断した解放候補場所が収まるようにユーザ端末2を動かし、決定ボタン53を指定(例えば、ガイダンス画面G1上でタップ)する操作を行う。これにより、光学センサ23によるセンシング範囲が設定される。
そして、制御部26は、ユーザの上記操作に応じて、例えばガイダンス画面G1内に収まっている解放候補場所を含む周辺領域を光学センサ23にセンシングさせ、当該センシングにより得られた第1センシング情報を取得するとともに、当該センシングのタイミングでGPS受信機22により検出された位置を示す位置情報(つまり、ユーザ端末2の位置情報)を取得する。こうして取得された第1センシング情報及び位置情報は、通信部24により管理サーバ3へ送信される。そして、管理サーバ3により、第1センシング情報に基づいて、解放候補場所が適用条件を満たしていると判定された場合に、当該解放候補場所及びユーザ端末2の位置情報に基づいて解放場所が設定されることになる。なお、制御部26は、センシング時における光学センサ23の向きを示す方向情報を取得するとよい。ここで、光学センサ23の向きとは、例えば、カメラの光軸方向、またはLiDARセンサの出射方向であり、方位で表されるとよい。この場合、管理サーバ3には第1センシング情報及び位置情報とともに方向情報が送信され、解放候補場所、位置情報及び方向情報に基づいて解放場所が設定されることになる。
また、制御部26は、第1センシング情報の取得後、解放候補場所の上方をセンシングさせるためのガイダンス画面G2を操作・表示部21に表示させてもよい。図5は、解放候補場所の上方をセンシングさせるためのガイダンス画面G2の一例を示す図である。図5に示すガイダンス画面G2には、光学センサ23からのリアルタイム実空間画像61、「物資の解放候補場所の上方を撮影してください」とのガイダンスメッセージ62、及び決定ボタン63が表示されている。ユーザはガイダンスメッセージ62にしたがってガイダンス画面G2(つまり、実空間画像61)内に解放候補場所の上方が収まるようにユーザ端末2を動かし、決定ボタン63を指定する操作を行う。これにより、光学センサ23によるセンシング範囲が設定される。なお、ガイダンス画面G2は、解放候補場所が適用条件を満たしていると判定された後、解放場所が設定される前に管理サーバ3から送信されたセンシング指示情報に応じて表示されるとよい。かかるセンシング指示情報は、解放候補場所の上方のセンシングを指示するための情報である。
そして、制御部26は、ユーザの上記操作に応じて、例えばガイダンス画面G2内に収まっている解放候補場所の上方を光学センサ23にセンシングさせ、当該センシングされることで得られた第2センシング情報を取得する。こうして取得された第2センシング情報は、通信部24により管理サーバ3へ送信される。そして、管理サーバ3により、解放候補場所が適用条件を満たしていると判定された場合において、第2センシング情報に基づいて、当該解放候補場所の上方に障害物がないと判定された場合に、解放場所が設定されることになる。
ユーザの周辺に存在する解放場所が設定されると、ユーザが支給してほしい物資の輸送要求の受け付けが可能となる。これにより、ユーザが所望する物資をUAV1により迅速に解放場所へ輸送することができる。例えば、制御部26は、物資の名称及び数量等を指定するための物資指定画面を操作・表示部21に表示させ、物資指定画面上でユーザにより指定された物資の輸送要求を、通信部24を介して管理サーバ3へ送信する。ここで、制御部26は、ユーザが物資を指定する前に、解放場所を含む特定エリアへ既に輸送要求(例えば、他のユーザのユーザ端末2から輸送要求)された物資をユーザに提示するとよい。これにより、同一の特定エリアに同じ(つまり、重複する)物資が輸送要求されることを極力防ぐことができる。
さらに、制御部26は、解放場所が設定された後、物資を輸送するUAV1が解放場所に到着したときに、解放場所を含む周辺領域をセンシングさせるためのガイダンス画面G3を操作・表示部21に表示してもよい。図6は、解放場所を含む周辺領域をセンシングさせるためのガイダンス画面G3の一例を示す図である。図6に示すガイダンス画面G3には、光学センサ23からのリアルタイム実空間画像71、「無人飛行体が到着したので、物資の解放場所を撮影してください」とのガイダンスメッセージ72、解放場所の平面サイズに対応する解放場所フレーム73、及び開始ボタン74が表示されている。ユーザはガイダンスメッセージ72にしたがって、ユーザ自らが適当と判断した解放候補場所が、ガイダンス画面G3(つまり、実空間画像71)に表示された解放場所フレーム73に概ね合うようにユーザ端末2を動かし、開始ボタン74を指定する操作を行う。これにより、センシング範囲が設定される。
そして、制御部26は、ユーザの上記操作に応じて、解放場所においてUAV1が物資を解放するために降下する際に、当該解放場所を含む周辺領域を光学センサ23に連続的にセンシングさせ、当該センシングにより得られた第3センシング情報を取得する。こうして取得された第3センシング情報は、通信部24により管理サーバ3へ送信される。そして、管理サーバ3により、第3センシング情報に基づいて、解放場所に障害物が侵入すると判定された場合に、制御部26は、解放場所においてユーザに注意を喚起するための注意喚起処理を行う。かかる注意喚起処理において、制御部26は、解放場所においてユーザに注意を喚起するためのメッセージを操作・表示部21に表示させる。また、制御部26は、解放場所においてユーザに注意を喚起するためのメッセージをスピーカから音声出力させてもよい。
1-3.管理サーバ3の構成及び機能
次に、図7を参照して、管理サーバ3の構成及び機能について説明する。図7(A)は、管理サーバ3の概要構成例を示す図である。図7(A)に示すように、管理サーバ3は、通信部31、記憶部32、及び制御部33等を備える。通信部31は、通信ネットワークNWを介して行われる通信の制御を担う。UAV1から送信された位置情報及び機体IDは、通信部31により受信される。管理サーバ3は、UAV1の位置情報によりUAV1の現在位置を認識することができる。記憶部32は、例えば、ハードディスクドライブ等から構成され、各種プログラム及びデータを記憶する。また、記憶部32には、輸送可能な物資に関する物資リストが記憶される。物資リストには、例えば、物資の物資ID(識別情報)、物資の名称、種類、サイズ、及び写真画像が含まれる。さらに、記憶部32には、物資輸送管理データベース321、及びUAV管理データベース322等が構築される。
物資輸送管理データベース321は、物資の輸送に関する情報を管理するためのデータベースである。物資輸送管理データベース321には、特定エリアの位置を示す位置情報、当該特定エリアに輸送された物資の物資ID、名称、数量、種類、サイズ、及び写真画像、並びに輸送日付等が特定エリア毎に対応付けられて格納(登録)される。ここで、特定エリアの位置を示す位置情報には、例えば特定エリア内に含まれる各地点の位置(緯度及び経度)が含まれるとよい。
UAV管理データベース322は、UAV1に関する情報を管理するためのデータベースである。UAV管理データベース322には、UAV1の機体ID、UAV1の位置情報、UAV1の機体サイズ、UAV1の稼働状況、及びUAV1へのアクセス情報等がUAV1毎に対応付けられて格納(登録)される。ここで、機体サイズは、例えば、UAV1の平面サイズ(縦ym×横xm)である。稼働状況は、例えば、UAV1が物資の輸送のために稼働可能状態にあるか否かを示す。例えば、稼働可能状態とは、UAV1のバッテリの充電が完了し、飛行開始できる状態にあることを意味する。UAV1へのアクセス情報は、センターサーバ3がUAV1へアクセスするための情報(例えば、IPアドレス等)である。
制御部33は、CPU、ROM、及びRAM等を備える。図7(B)は、制御部33における機能ブロック例を示す図である。制御部33は、例えばROMまたは記憶部32に記憶されたプログラム(プログラムコード群)に従って、図7(B)に示すように、端末情報取得部331(取得部の一例)、適用条件判定部332(第1判定部の一例)、センシング指示部333(指示部の一例)、解放場所設定部334(設定部の一例)、物資提示部335(提示部の一例)、輸送要求受付部336(受付部の一例)、障害物侵入判定部337(第2判定部の一例)、UAV制御部338(第1制御部及び第2制御部の一例)、及び注意喚起処理部339(処理部の一例)等として機能する。
端末情報取得部331は、ユーザ端末2に備えられた光学センサ23によりユーザの周辺に存在する解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報及びユーザ端末2の位置情報をユーザ端末2から通信部31を介して取得する。このとき、端末情報取得部331は、第1センシング情報のセンシング時における光学センサ23の向きを示す方向情報を取得する場合もある。
また、端末情報取得部331は、解放場所設定部334により解放場所が設定される前に、ユーザ端末2に備えられた光学センサ23により解放候補場所の上方がセンシングされることで得られた第2センシング情報をユーザ端末2から通信部31を介して取得する場合もある。さらに、端末情報取得部331は、解放場所設定部334により設定された解放場所においてUAV1が物資を解放するために降下する際に、ユーザ端末2に備えられた光学センサ23により解放場所を含む周辺領域がセンシングされることで得られた第3センシング情報をユーザ端末2から通信部31を介して取得する場合もある。
適用条件判定部332は、端末情報取得部331により取得された第1センシング情報に基づいて、解放候補場所が適用条件を満たしているかを判定する。ここで、適用条件は、物資を解放可能な場所として予め定められた条件である。例えば、適用条件は、解放候補場所に障害物がなく且つ所定サイズ以上の地上領域を含むという条件である。これにより、UAV1が物資を解放するのに、安全性の高い解放場所を設定することができる。ここでの障害物とは、特に限定されないが、UAV1の着陸や物資の配置を妨げるような瓦礫や木々等である。また、所定サイズとは、例えば、UAV1が安全に物資を解放できる(例えば、UAV1が安全に着陸できる)平面サイズ(縦ym×横xm)であり、固定値であってもよいし、変動値であってもよい。かかるサイズは、例えば、UAV管理データベース322において稼働可能状態にあるUAV1の機体サイズに基づいて設定されるとよい。また、地上領域とは、地面または建物の屋上面における領域である。
適用条件判定部332は、第1センシング情報から所定サイズ以上の地上領域を抽出できない場合には、解放候補場所が適用条件を満たしていないと判定する。また、適用条件判定部332は、第1センシング情報から所定サイズ以上の地上領域を抽出できた場合であっても、当該地上領域に障害物を検知した場合、解放候補場所が適用条件を満たしていないと判定する。また、ユーザ端末2のLiDARセンサにより解放候補場所がセンシングされることで第1センシング情報が得られた場合、解放候補場所における凹凸を含む形状を特定可能であるので、少なくとも障害物がなく且つ所定サイズ以上の平坦な地上領域を含むという適用条件が設定されるとよい。これにより、UAV1が物資を解放するのに、より安全性の高い解放場所を設定することができる。
ここで、平坦な地上領域とは、地面または建物の屋上面に凹凸がない、または凹凸があっても閾値以下であることを意味する。この場合、適用条件判定部332は、第1センシング情報から所定サイズ以上の平坦な地上領域を抽出できない場合には、解放候補場所が適用条件を満たしていないと判定することになる。なお、適用条件には、上述の条件に加えて、地上領域の勾配が閾値以下であるという条件が含まれてもよい。
センシング指示部333は、適用条件判定部332により解放候補場所が適用条件を満たしていると判定された場合、解放場所設定部334により解放場所が設定される前に、通信部31を介してユーザ端末2へセンシング指示情報を送信してガイダンス画面G2を表示させることで、ユーザ端末2のユーザに対して解放候補場所の上方のセンシングを指示する。これにより、解放候補場所の上方のセンシングが無駄に行われることを防ぐことができる。
そして、ユーザに対して解放候補場所の上方のセンシングの指示が行われた後、端末情報取得部331により第2センシング情報が取得された場合、適用条件判定部332は、第2センシング情報に基づいて、解放候補場所の上方に障害物がないかをさらに判定する。これにより、UAV1が物資を解放するのに、より安全性の高い解放場所を設定することができる。ここでの障害物とは、特に限定されないが、UAV1の降下を妨げるような木や電線等である。適用条件判定部332は、第2センシング情報から解放候補場所の上方に障害物を検知した場合に、解放候補場所の上方に障害物があると判定する。
解放場所設定部334は、適用条件判定部332により解放候補場所が適用条件を満たしていると判定された場合に、解放候補場所及びユーザ端末2の位置情報に基づいて、UAV1から物資を解放するのに適した解放場所を設定する。ここで、解放場所を設定するとは、例えば、解放場所の平面サイズ及び位置(緯度及び経度)を設定することを意味する。例えば、解放場所の平面サイズは、第1センシング情報に示される解放候補場所において障害物がなく且つ所定サイズ以上の地上領域の中から設定される。解放場所の平面サイズは、解放候補場所の平面サイズと一致してもよい。解放場所の位置は、ユーザ端末2の位置情報に示される現在位置であってもよい。UAV1はセンサ部14により下方をセンシングすることで安全を確認し位置調整しながら降下するため、解放場所の実位置が、解放場所設定部334により設定された解放場所の位置から多少ずれていても特に問題がない。
ただし、端末情報取得部331によりユーザ端末2の位置情報等とともに、第1センシング情報のセンシング時における光学センサ23の向きを示す方向情報が取得された場合、解放場所設定部334は、解放候補場所、ユーザ端末2の位置情報、及び当該方向情報に基づいて、UAV1から物資を解放するのに適した解放場所を設定するとよい。これにより、より正確に解放場所を設定することができる。この場合、解放場所設定部334は、例えば、ユーザ端末2の位置情報に示される現在位置(つまり、センシング位置)から第1センシング情報(例えば、画像)における解放場所内の中心位置(画像上の位置)までの距離を特定し、当該距離と、方向情報に示される向き(例えば、方位)とから解放場所の位置(緯度及び経度)を設定するとよい。
また、端末情報取得部331により第2センシング情報が取得された場合、解放場所設定部334は、適用条件判定部332により解放候補場所が適用条件を満たしていると判定され、且つ適用条件判定部332により解放候補場所の上方に障害物がないと判定された場合に、解放場所を設定することになる。なお、解放候補場所の上方に障害物がないという条件が適用条件に含まれてもよい。この場合、センシング指示部333によりセンシング指示情報がユーザ端末2へ送信される必要はない。
物資提示部335は、解放場所設定部334により解放場所が設定されると、物資リストを、通信部31を介してユーザ端末2へ送信して当該物資リストを含む物資指定画面を表示させることで、ユーザ端末2のユーザに対して輸送可能な物資を提示する。このとき、物資提示部335は、物資輸送管理データベース321を参照して、上記設定された解放場所を含む特定エリアへ既に輸送要求された物資を物資リストに示すように構成するとよい。これにより、ユーザ端末2のユーザは解放場所を含む特定エリアへ既に輸送要求された物資を物資指定画面で確認することができる。そして、輸送要求受付部336は、物資指定画面上でユーザにより指定された物資の輸送要求(解放場所への輸送要求)をユーザ端末2から通信部31を介して受け付ける。こうして受け付けられた輸送要求に係る物資が稼働可能状態にあるUAV1に積み込まれることになる。
障害物侵入判定部337は、端末情報取得部331により第3センシング情報が取得された場合、第3センシング情報に基づいて、解放場所に障害物が侵入するかを判定する。これにより、より安全に物資をUAV1から解放することができる。ここでの障害物とは、特に限定されないが、UAV1による物資の解放を妨げるような、動きのある人や動物等である。解放場所に障害物が侵入するとは、現に障害物が解放場所に侵入していること、またはこれから障害物が解放場所に侵入してくると推測されることを意味する。後者の場合、例えば、障害物侵入判定部337は、第3センシング情報から解放場所に向かって移動している障害物を検知した場合に、解放場所に障害物が侵入すると判定する。
また、障害物侵入判定部337は、第1センシング情報と第3センシング情報とに基づいて、双方のセンシング情報に含まれる画像を比較することで解放場所に障害物が侵入するかを判定するとよい。これにより、解放場所に障害物が侵入するかを精度良く判定することができる。例えば、障害物侵入判定部337は、第3センシング情報に含まれる画像において検知した物体を第1センシング情報に含まれる画像において検知できない場合に当該物体を障害物として認識し、当該認識された障害物が解放場所に侵入するかを判定する。
UAV制御部338は、解放場所設定部334により設定された解放場所に向けてUAV1の飛行を開始させる。例えば、UAV制御部338は、解放場所の平面サイズ及び位置を示す解放場所情報を含む飛行開始指令を、通信部31を介して輸送要求に係る物資が積み込まれたUAV1へ送信することで、解放場所に向けてUAV1の飛行を開始させる。つまり、解放場所設定部334により解放場所が設定された後に、出発地点からUAV1を飛び立たせる。これにより、UAV1が物資を解放するのに適した解放場所を、より効率良く予め設定することができる。
また、UAV制御部338は、解放場所においてUAV1が物資を解放するために降下する際に、障害物侵入判定部337により解放場所に障害物が侵入すると判定された場合に、降下停止指令を、通信部31を介してUAV1へ送信することで、解放場所におけるUAV1の降下を停止させる。これにより、UAV1から物資が解放される前に安全性を高めることができる。
注意喚起処理部339は、解放場所においてUAV1が物資を解放するために降下する際に、障害物侵入判定部337により解放場所に障害物が侵入すると判定された場合に、解放場所において注意を喚起するための注意喚起処理を行う。これにより、UAV1から物資が解放される前に安全性を高めることができる。例えば、注意喚起処理部339は、注意を喚起するためのメッセージを、通信部31を介してユーザ端末2へ送信することで当該メッセージをユーザ端末2から出力(表示出力または音声出力)させる。
2.物資輸送システムSの動作
次に、図8及び図9を参照して、物資輸送システムSの動作について説明する。図8及び図9は、物資の輸送が行われる際の物資輸送システムSの動作の一例を示すシーケンス図である。かかる動作の前提として、ユーザ端末2は、ユーザの操作により指定されたサイト(解放場所設定用アプリケーション提供サイト)にブラウザによりアクセスし、解放場所設定用アプリケーションをダウンロードしてインストールしているものとする。
ユーザの操作に応じて解放場所設定用アプリケーションが起動されると、ユーザ端末2の制御部26は、図8に示すように、ユーザの周辺に存在する解放候補場所を含む周辺領域をセンシングさせるためのガイダンス画面G1を操作・表示部21に表示させる(ステップS1)。なお、ユーザの操作により指定されたサイトにブラウザによりアクセスすることでガイダンス画面G1を構成するウェブページがユーザ端末2に送信されてもよい。この場合、ブラウザにより当該ウェブページが表示されるので、解放場所設定用アプリケーションはダウンロードされなくてもよい。
次いで、ユーザ端末2の制御部26は、ユーザの操作に応じて、上述したように、光学センサ23によるセンシング範囲に収まる(例えば、ガイダンス画面G1に収まっている)解放候補場所を含む周辺領域をセンシングさせ、当該センシングにより得られた第1センシング情報を取得するとともに、当該センシングのタイミングでGPS受信機22により検出された位置を示す位置情報を取得する(ステップS2)。次いで、制御部26は、ステップS2で取得された第1センシング情報及び位置情報を、通信部24を介して管理サーバ3へ送信する(ステップS3)。なお、制御部26は、センシング時における光学センサ23の向きを示す方向情報を取得した場合、当該方向情報を、第1センシング情報及び位置情報とともに通信部24を介して管理サーバ3へ送信する。
次いで、管理サーバ3の制御部33は、ユーザ端末2からの第1センシング情報及び位置情報(または、第1センシング情報、位置情報、及び方向情報)を、通信部31を介して端末情報取得部331により取得(受信)すると、第1センシング情報から解放候補場所を抽出し(ステップS4)、当該解放候補場所の平面サイズを特定する(ステップS5)。
次いで、管理サーバ3の制御部33は、第1センシング情報に基づいて、ステップS4で抽出された解放候補場所が適用条件を満たすか否かを適用条件判定部332により判定する(ステップS6)。例えば、抽出された解放候補場所に障害物がなく且つ当該解放候補場所が所定サイズ以上の地上領域を含んでいる場合、当該解放候補場所が適用条件を満たすと判定される。ここで、所定サイズは、稼働可能状態にあるUAV1の機体サイズのうち最大の機体サイズに基づいて設定されるとよい。そして、解放候補場所が適用条件を満たさないと判定された場合(ステップS6:NO)、処理はステップS7へ進む。一方、解放候補場所が適用条件を満たすと判定された場合(ステップS7:YES)、処理はステップS9へ進む。
ステップS7では、制御部33は、解放候補場所が適用条件を満たさないことを示すエラーメッセージを、通信部31を介してユーザ端末2へ送信する。かかるエラーメッセージには、例えば、「UAV1が安全に着陸できる広さの解放候補場所がありませんので、再撮影してください」とのメッセージが含まれる。ユーザ端末2の制御部26は、管理サーバ3からのエラーメッセージを、通信部24を介して取得すると、当該エラーメッセージをガイダンス画面G1に表示させる(ステップS8)。これにより、ユーザ端末2のユーザは、例えば一定の広さを有する別の解放候補場所をセンシングさせるための操作を行うことになる。なお、エラーメッセージは、スピーカから音声出力されてもよい(以下同様)。
一方、ステップS9では、制御部33は、解放候補場所の上方のセンシングを指示するためのセンシング指示情報を、通信部31を介してユーザ端末2へ送信する。ユーザ端末2の制御部26は、管理サーバ3からのセンシング指示情報を、通信部24を介して取得すると、解放候補場所の上方をセンシングさせるためのガイダンス画面G2を操作・表示部21に表示させる(ステップS10)。なお、センシング指示情報に代えて、ガイダンス画面G2を構成するウェブページがユーザ端末2に送信されてもよい。この場合、ブラウザにより当該ウェブページが表示される。
次いで、ユーザ端末2の制御部26は、ユーザの操作に応じて、上述したように、光学センサ23によるセンシング範囲に収まる(例えば、ガイダンス画面G2に収まっている)解放候補場所の上方を光学センサ23にセンシングさせ、当該センシングにより得られた第2センシング情報を取得する(ステップS11)。次いで、制御部26は、ステップS11で取得された第2センシング情報を、通信部24を介して管理サーバ3へ送信する(ステップS12)。
次いで、管理サーバ3の制御部33は、ユーザ端末2からの第2センシング情報を、通信部31を介して端末情報取得部331により取得すると、第2センシング情報に基づいて、解放候補場所の上方に障害物があるか否かを適用条件判定部332により判定する(ステップS13)。解放候補場所の上方に障害物があると判定された場合(ステップS13:YES)、処理はステップS14へ進む。一方、解放候補場所の上方に障害物がないと判定された場合(ステップS13:NO)、処理はステップS16へ進む。
ステップS14では、制御部33は、解放候補場所の上方に障害物があることを示すエラーメッセージを、通信部31を介してユーザ端末2へ送信する。ユーザ端末2の制御部26は、管理サーバ3からのエラーメッセージを、通信部24を介して取得すると、当該エラーメッセージをガイダンス画面G2に表示させる(ステップS15)。かかるエラーメッセージには、例えば、「解放候補場所の上方に障害物を検知したので、再撮影してください」とのメッセージが含まれる。これにより、ユーザ端末2のユーザは、例えば上方に障害物がない別の解放候補場所をセンシングさせるための操作を行うことになる。
ステップS16では、制御部33は、ステップS4で抽出された解放候補場所及びユーザ端末2の位置情報に基づいて、解放場所設定部334により解放場所を設定する。次いで、制御部33は、輸送可能な物資に関する物資リストを、通信部31を介してユーザ端末2へ送信する(ステップS17)。かかる物資リストには、解放場所を含む特定エリアへ既に輸送要求された物資が示されているとよい。ユーザ端末2の制御部26は、管理サーバ3からの物資リストを、通信部24を介して取得すると、当該物資リストを掲載する物資指定画面を操作・表示部21に表示させる(ステップS18)。次いで、ユーザ端末2の制御部26は、ユーザの操作に応じて、上述したように、ユーザにより指定された物資の輸送要求を、通信部24を介して管理サーバ3へ送信する(ステップS19)。かかる輸送要求には、ユーザの指定された物資の物資ID及び数量が含まれる。
次いで、管理サーバ3の制御部33は、ユーザ端末2からの輸送要求を、通信部31を介して輸送要求受付部336により受け付けると、図9に示すように、稼働可能状態にあるUAV1のうちから、ステップS6で判定された適用条件に示される所定サイズ未満の機体サイズのUAV1を選定する(ステップS20)。ここで、適用条件に示される所定サイズ未満の機体サイズのUAV1が複数ある場合、例えば、最新のUAV1が選定されてもよいし、稼働頻度が低いUAV1が選定されてもよい。或いは、輸送要求に示される物資の数量、種類、及びサイズのうち少なくとも何れか1つに応じて適切なUAV1が選定されてもよい。
次いで、管理サーバ3の制御部33は、ステップS20で選定されたUAV1の出発地点(物資の積み込み拠点)のスタッフの携帯端末へ輸送要求に示される物資を通知する(ステップS21)。物資の通知は、スタッフのメールアドレス宛に電子メールが送信されることで行われてもよいし、スタッフの電話番号宛てにSMSによりメッセージが送信されることで行われてもよい。これにより、輸送要求に係る物資が選定されたUAV1に積み込まれることになる。
次いで、管理サーバ3の制御部33は、ステップS20で選定されたUAV1へのアクセス情報にしたがってUAV1へアクセスし、ステップS16で設定された解放場所の平面サイズ及び位置を示す解放場所情報を含む飛行開始指令を、UAV制御部338により通信部31を介して当該UAV1へ送信する(ステップS22)。かかる飛行開始指令を受信したUAV1は、出発地点から離陸して解放場所に向けてUAV1の飛行を開始し、逐次、UAV1の位置情報及び機体IDを管理サーバ3へ送信する。
そして、UAV1は、解放場所に到着すると、上空で所定時間待機した後、物資を解放するために解放場所へ降下を開始することになるが、それまでの間に、制御部33は、UAV1が解放場所に到着したか否かを判定する(ステップS23)。UAV1が解放場所に到着したと判定された場合(ステップS23:YES)、処理はステップS24へ進む。なお、UAV1が解放場所に到着する直前(数分前、または数十m前)に到達した場合に、処理はステップS24へ進んでもよい。
ステップS24では、制御部33は、ステップS16で設定された解放場所においてUAV1が物資を解放するために降下する際に当該解放場所を含む周辺領域のセンシングを指示するためのセンシング指示情報を、通信部31を介してユーザ端末2へ送信する。ユーザ端末2の制御部26は、管理サーバ3からのセンシング指示情報を、通信部24を介して取得すると、解放場所を含む周辺領域をセンシングさせるためのガイダンス画面G3を操作・表示部21に表示させる(ステップS25)。ガイダンス画面G3には、図6に示すように、ステップS16で設定された解放場所の平面サイズに対応する解放場所フレーム73が表示される。なお、センシング指示情報に代えて、ガイダンス画面G3を構成するウェブページがユーザ端末2に送信されてもよい。この場合、ブラウザにより当該ウェブページが表示される。
次いで、ユーザ端末2の制御部26は、ユーザの操作に応じて、上述したように、UAV1が解放場所に降下する際に、光学センサ23によるセンシング範囲に収まる(例えば、ガイダンス画面G3に収まっている)解放場所を含む周辺領域を連続的にセンシングさせ、当該センシングにより得られた第3センシング情報を取得する(ステップS26)。次いで、制御部26は、ステップS26で取得された第3センシング情報を、通信部24を介して管理サーバ3へ連続的に送信する(ステップS27)。
次いで、管理サーバ3の制御部33は、ユーザ端末2から連続的に送信されてくる第3センシング情報(例えば、連続する画像)を、通信部31を介して端末情報取得部331により取得すると、第3センシング情報に基づいて、解放場所に障害物が侵入するか否かを障害物侵入判定部337により判定する(ステップS28)。解放場所に障害物が侵入すると判定された場合(ステップS28:YES)、処理はステップS29へ進む。一方、解放場所に障害物が侵入しないと判定された場合(ステップS28:NO)、処理はステップS32へ進む。
なお、ステップS28の判定は、時系列で取得される第3センシング情報に基づいて、物資の解放が完了するまで繰り返し行われる。また、この判定において、例えば、光学センサ23によるセンシング範囲(つまり、センシング開始に設定されたセンシング範囲)が所定距離以上変動した場合(例えば、解放場所がガイダンス画面G3外に出る)にも、解放場所に障害物が侵入すると判定してもよい。
ステップS29では、制御部33は、降下停止指令を、UAV制御部338により通信部31を介してUAV1へ送信する。かかる降下停止指令を受信したUAV1は、降下直前であればそのままの状態を維持し、降下中であればその降下を停止する。次いで、制御部33は、注意を喚起するためのメッセージを、注意喚起処理部339により通信部33を介してユーザ端末2へ送信し(ステップS30)、処理をステップS32へ進める。ユーザ端末2の制御部26は、管理サーバ3からの注意を喚起するためのメッセージを、通信部24を介して取得すると、当該メッセージを出力(表示出力、または音声出力)する(ステップS31)。
ステップS32では、制御部33は、UAV1による物資の解放が完了したか否かを判定する。物資の解放完了を示す情報は、UAV1から管理サーバ3へ送信される。UAV1による物資の解放が完了してないと判定された場合(ステップS32:NO)、処理はステップS28に戻って第3センシング情報が取得され、解放場所に障害物が侵入するか否かが判定される。一方、UAV1による物資の解放が完了したと判定された場合(ステップS32:YES)、制御部33は、出発地点への帰還指令を、通信部31を介してUAV1へ送信する(ステップS33)。かかる帰還指令を受信したUAV1は、出発地点に向けて帰還する。
以上説明したように、上記実施形態によれば、管理サーバ3は、ユーザ端末2の光学センサ23によりユーザの周辺に存在する解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報及びユーザ端末2の位置情報を取得し、第1センシング情報に基づいて、当該解放候補場所が適用条件を満たしているかを判定し、解放候補場所が適用条件を満たしていると判定した場合に、当該解放候補場所及びユーザ端末2の位置情報に基づいて、UAV1から物資を解放するのに適した解放場所を設定するように構成したので、UAV1が物資を解放するのに適した解放場所を、より効率良く設定することができる。また、UAV1を利用して解放場所を探索する方法に比べて解放場所を容易かつ正確に探索することができる。特に、解放場所が設定された後に当該解放場所に向けてUAV1の飛行を開始させる構成によれば、UAV1が物資を解放するのに適した解放場所をUAV1の離陸前に予め設定することができる。そのため、UAV1を利用して解放場所を探索する方法に比べて探索コストを低減することができる。
なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においては、物資を解放するのに適した解放場所が設定された後に、当該解放場所に向けてUAV1の飛行を開始させるように構成したが、予め定められた物資を積載するUAV1が特定エリアに向けて飛行を開始した後に、物資を解放するのに適した解放場所が設定されるように構成してもよい。また、上記実施形態においては、無人飛行体としてUAVを例にとって説明したが、UAV以外の飛行ロボットなどに対しても本発明は適用可能である。
また、上記実施形態において、管理サーバ3は解放候補場所が適用条件を満たしているかを判定し、UAV1から物資を解放するのに適した解放場所を設定するように構成したが、これはユーザ端末2が行ってもよい。すなわち、ユーザ端末2が解放場所設定用アプリケーションにしたがって、光学センサ23によりユーザの周辺に存在する解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報に基づいて、当該解放候補場所が上述の適用条件を満たしているかを判定し、当該解放候補場所が当該適用条件を満たしていると判定した場合に、当該解放候補場所及びユーザ端末2の位置情報に基づいて、UAV1から物資を解放するのに適した解放場所を設定するように構成してもよい。この場合、ユーザ端末2は、設定した解放場所の平面サイズ及び位置を示す解放場所情報を、通信部24を介して管理サーバ3へ送信する。そして、管理サーバ3は、ユーザ端末2からの解放場所情報に基づいてUAV1を選定し、当該選定したUAV1へ解放場所情報を含む飛行開始指令を送信する。なお、ユーザ端末2は、上記実施形態と同様、解放候補場所、ユーザ端末2の位置情報、及びセンシング時における光学センサ23の向きを示す方向情報に基づいて解放場所を設定してもよい。
さらに、ユーザ端末2は、上記実施形態と同様、解放場所が設定される前に、光学センサ23により解放候補場所の上方がセンシングされることで得られた第2センシング情報に基づいて、当該解放候補場所の上方に障害物がないかをさらに判定し、当該解放候補場所の上方に障害物がないと判定された場合に、当該解放場所を設定してもよい。この場合、ユーザ端末2は、上記実施形態と同様、ユーザに対して解放候補場所の上方のセンシングを指示し、その後に光学センサ23により解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得してもよい。さらに、ユーザ端末2は、上記実施形態と同様、設定された解放場所においてUAV1が物資を解放するために降下する際に光学センサ23により当該解放場所を含む周辺領域がセンシングされることで得られた第3センシング情報に基づいて、当該解放場所に障害物が侵入するかを判定してもよい。そして、ユーザ端末2は、解放場所に障害物が侵入すると判定した場合に、当該解放場所において注意を喚起するための処理を行うとよい。
S 物資輸送システム
1 UAV
2 ユーザ端末
3 管理サーバ
11 駆動部
12 測位部
13 通信部
14 センサ部
15 記憶部
16 制御部
21 操作・表示部
22 GPS受信機
23 光学センサ
24 通信部
25 記憶部
26 制御部
31 通信部
32 記憶部
33 制御部
331 端末情報取得部
332 適用条件判定部
333 センシング指示部
334 解放場所設定部
335 物資提示部
336 輸送要求受付部
337 障害物侵入判定部
338 UAV制御部
339 注意喚起処理部

Claims (13)

  1. 無人飛行体により輸送される物資が解放される解放候補場所であって、地上にいるユーザの端末に備えられたセンサにより当該ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得する取得部と、
    前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定する第1判定部と、
    前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示する指示部と、
    前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定する設定部と、
    を備え
    前記ユーザに対して前記指示が行われた後、前記取得部は、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得し、
    前記第1判定部は、前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかをさらに判定し、
    前記解放候補場所の上方に障害物がないと判定された場合に、前記設定部は、前記解放場所を設定し、
    前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させることを特徴とする情報処理システム。
  2. 前記解放場所が設定された後に、当該解放場所に向けて前記無人飛行体の飛行を開始させる第1制御部を更に備えることを特徴とする請求項1に記載の情報処理システム。
  3. 前記第1判定部は、前記解放候補場所が、少なくとも障害物がなく且つ所定サイズ以上の地上領域を含むという前記適用条件を満たしているかを判定することを特徴とする請求項1または2に記載の情報処理システム。
  4. 前記第1判定部は、前記解放候補場所が、少なくとも障害物がなく且つ所定サイズ以上の平坦な地上領域を含むという前記適用条件を満たしているかを判定することを特徴とする請求項1または2に記載の情報処理システム。
  5. 前記取得部は、前記解放場所において前記無人飛行体が前記物資を解放するために降下する際に前記センサにより当該解放場所を含む周辺領域がセンシングされることで得られた第3センシング情報を更に取得し、
    前記第3センシング情報に基づいて、前記解放場所に障害物が侵入するかを判定する第2判定部を更に備えることを特徴とする請求項1乃至の何れか一項に記載の情報処理システム。
  6. 前記第2判定部は、前記第1センシング情報と前記第3センシング情報とに基づいて、双方の前記センシング情報に含まれる画像を比較することで前記解放場所に障害物が侵入するかを判定することを特徴とする請求項に記載の情報処理システム。
  7. 前記第2判定部により前記解放場所に障害物が侵入すると判定された場合に、当該解放場所における前記無人飛行体の降下を停止させる第2制御部を更に備えることを特徴とする請求項またはに記載の情報処理システム。
  8. 前記第2判定部により前記解放場所に障害物が侵入すると判定された場合に、当該解放場所において注意を喚起するための処理を行う処理部を更に備えることを特徴とする請求項乃至の何れか一項に記載の情報処理システム。
  9. 前記ユーザにより指定された物資の輸送要求であって、前記解放場所への輸送要求を受け付ける受付部を更に備えることを特徴とする請求項1乃至の何れか一項に記載の情報処理システム。
  10. 前記ユーザが物資を指定する前に、前記解放場所を含む特定エリアへ既に輸送要求された物資を当該ユーザに提示する提示部を更に備えることを特徴とする請求項に記載の情報処理システム。
  11. 前記取得部は、前記センシング時における前記センサの向きを示す方向情報を取得し、
    前記設定部は、前記解放候補場所、前記端末の位置情報、及び前記方向情報に基づいて前記解放場所を設定することを特徴とする請求項1乃至10の何れか一項に記載の情報処理システム。
  12. 1または複数のコンピュータにより実行される解放場所設定方法であって、
    無人飛行体により輸送される物資が解放される解放候補場所であって、地上にいるユーザの端末に備えられたセンサにより当該ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得するステップと、
    前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定するステップと、
    前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示するステップと、
    前記ユーザに対して前記指示が行われた後、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得するステップと、
    前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかを判定するステップと、
    前記解放候補場所の上方に障害物がないと判定された場合に、前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定するステップと、
    前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させるステップと、
    を含むことを特徴とする解放場所設定方法。
  13. 地上にいるユーザの端末に含まれるコンピュータに、
    無人飛行体により輸送される物資が解放される解放候補場所であって、前記端末に備えられたセンサにより前記ユーザの周辺に存在する前記解放候補場所を含む周辺領域がセンシングされることで得られた第1センシング情報を、前記端末の位置情報とともに取得するステップと、
    前記第1センシング情報に基づいて、前記解放候補場所が物資を解放可能な場所として予め定められた適用条件を満たしているかを判定するステップと、
    前記解放候補場所が前記適用条件を満たしていると判定された場合に、前記ユーザに対して前記解放候補場所の上方のセンシングを指示するステップと、
    前記ユーザに対して前記指示が行われた後、前記ユーザの操作に応じて前記センサにより前記解放候補場所の上方がセンシングされることで得られた第2センシング情報を取得するステップと、
    前記第2センシング情報に基づいて、前記解放候補場所の上方に障害物がないかを判定するステップと、
    前記解放候補場所の上方に障害物がないと判定された場合に、前記解放候補場所及び前記端末の位置情報に基づいて、前記無人飛行体から前記物資を解放するのに適した解放場所を設定するステップと、
    前記解放候補場所の上方に障害物があると判定された場合に、前記解放候補場所の上方に障害物があることを示し、且つ別の前記解放候補場所を含む周辺領域の再センシングを促すメッセージを前記ユーザの端末に表示させるステップと、
    を実行させることを特徴とするプログラム。
JP2021210809A 2021-12-24 2021-12-24 情報処理システム、解放場所設定方法、及びプログラム Active JP7233515B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021210809A JP7233515B1 (ja) 2021-12-24 2021-12-24 情報処理システム、解放場所設定方法、及びプログラム
EP22211699.8A EP4201820A1 (en) 2021-12-24 2022-12-06 Information processing system, method for setting release place, and program
US18/079,637 US20230205233A1 (en) 2021-12-24 2022-12-12 Information processing system, method for setting release place, and non-transitory computer readable memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021210809A JP7233515B1 (ja) 2021-12-24 2021-12-24 情報処理システム、解放場所設定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP7233515B1 true JP7233515B1 (ja) 2023-03-06
JP2023095113A JP2023095113A (ja) 2023-07-06

Family

ID=84766959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021210809A Active JP7233515B1 (ja) 2021-12-24 2021-12-24 情報処理システム、解放場所設定方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230205233A1 (ja)
EP (1) EP4201820A1 (ja)
JP (1) JP7233515B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6527299B1 (ja) 2018-12-07 2019-06-05 楽天株式会社 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
JP2020057225A (ja) 2018-10-02 2020-04-09 パイオニア株式会社 情報処理装置、情報処理方法、及びプログラム
JP6829513B1 (ja) 2020-04-03 2021-02-10 株式会社センシンロボティクス 位置算出方法及び情報処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020454A (ko) * 2016-01-30 2016-02-23 안범주 드론을 이용한 물류 배송 시스템
US10198955B1 (en) * 2016-09-08 2019-02-05 Amazon Technologies, Inc. Drone marker and landing zone verification
US11403589B2 (en) * 2017-07-07 2022-08-02 United Parcel Service Of America, Inc. Establishing a location for unmanned delivery/pickup of a parcel
US10545500B2 (en) * 2017-08-02 2020-01-28 Wing Aviation Llc Model for determining drop-off spot at delivery location
WO2021210138A1 (ja) 2020-04-16 2021-10-21 日本電気株式会社 離着陸施設、飛行体、飛行体システム、及び着陸制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057225A (ja) 2018-10-02 2020-04-09 パイオニア株式会社 情報処理装置、情報処理方法、及びプログラム
JP6527299B1 (ja) 2018-12-07 2019-06-05 楽天株式会社 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
JP6829513B1 (ja) 2020-04-03 2021-02-10 株式会社センシンロボティクス 位置算出方法及び情報処理システム

Also Published As

Publication number Publication date
EP4201820A1 (en) 2023-06-28
JP2023095113A (ja) 2023-07-06
US20230205233A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US11820507B2 (en) Methods and systems for transportation using unmanned aerial vehicles
US10535035B2 (en) Systems and methods for delivering products to multiple delivery destinations via autonomous transport vehicles
US11656633B2 (en) Determining method of article transfer place, determining method of landing place, article transfer system, and information processing device
JP2018536934A (ja) 標的場所製品配送システム及び方法
US20200150662A1 (en) Flying body, living body detection system, living body detection method, program and recording medium
WO2019041633A1 (zh) 通信中继方法、中继飞行体、程序以及记录介质
GB2567142A (en) Delivery system
EP3693945A1 (en) Control method for unmanned aerial vehicle, management method, control device, management device, and unmanned aerial vehicle system
JP7280174B2 (ja) 制御方法、及び物品受け渡しシステム
JP7233515B1 (ja) 情報処理システム、解放場所設定方法、及びプログラム
KR102025683B1 (ko) 드론을 이용한 자율 비행 시스템 및 방법
US20220019971A1 (en) Delivery port management system, delivery port management method, and program
JP7459808B2 (ja) サーバ装置、システム、飛行体、及びシステムの動作方法
TW202225888A (zh) 行駛控制系統、控制方法、及控制裝置
WO2023162486A1 (ja) 配送用ドローンおよび配送方法
JP7228077B1 (ja) 制御装置、制御方法、及び無人航空機探索システム
JP2023123994A (ja) 配送用ドローン
JP2023123993A (ja) 配送用ドローン
JP7495561B1 (ja) 情報処理装置、及び表示制御方法
JP7470773B1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230217544A1 (en) Rescue system
EP4289730A1 (en) Unmanned aircraft and delivery system
JP2024025872A (ja) 飛行制御システム、サーバ、飛行制御方法、及び飛行制御プログラム
JP2023036129A (ja) 物品配送システムおよび物品配送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150