JP7324388B2 - 無人航空機および無人航空機の制御方法 - Google Patents

無人航空機および無人航空機の制御方法 Download PDF

Info

Publication number
JP7324388B2
JP7324388B2 JP2021551025A JP2021551025A JP7324388B2 JP 7324388 B2 JP7324388 B2 JP 7324388B2 JP 2021551025 A JP2021551025 A JP 2021551025A JP 2021551025 A JP2021551025 A JP 2021551025A JP 7324388 B2 JP7324388 B2 JP 7324388B2
Authority
JP
Japan
Prior art keywords
distance
unmanned aerial
aerial vehicle
information
manhole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021551025A
Other languages
English (en)
Other versions
JPWO2021070308A1 (ja
Inventor
大輔 内堀
勇臣 濱野
雅史 中川
淳 荒武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021070308A1 publication Critical patent/JPWO2021070308A1/ja
Application granted granted Critical
Publication of JP7324388B2 publication Critical patent/JP7324388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/245Arrangements for determining position or orientation using dead reckoning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/80Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/89Specific applications of the controlled vehicles for information gathering, e.g. for academic research for inspecting structures, e.g. wind mills, bridges, buildings or vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/50Confined spaces, e.g. tanks, pipelines, tunnels or containers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • G05D2109/25Rotorcrafts
    • G05D2109/254Flying platforms, e.g. multicopters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • G05D2111/17Coherent light, e.g. laser signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/20Acoustic signals, e.g. ultrasonic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

特許法第30条第2項適用 2019年8月1日付で、土木学会全国大会 第74回年次学術講演会 講演概要集 VI-477にて、内堀大輔、中川雅史、柳秀一が公開。
本発明は、マンホールの内部の点検に使用される無人航空機および無人航空機の制御方法に関する。
従来、GPS(Global Positioning System)を利用して、自己位置を推定し、自律飛行する無人航空機が知られている。また、GPSの電波が届かない環境では、機体に設置されたカメラから取得した画像を処理するVisual SLAM(Simultaneous Localization and
Mapping)技術を利用して、自己位置を推定し、自律飛行する無人航空機が知られている(例えば、非特許文献1参照)。
谷戸善彦、稲垣裕亮、「下水道管路等閉鎖性空間に対応可能な無人航空機の開発」、非開削技術研究発表会論文集、Vol. 29、pp. 25-32,2018.
しかしながら、GPSの電波が届かない環境であるマンホールの内部は狭く、一般的に無人航空機がVisual SLAM技術を有効に利用するための十分な飛行空間が無い。GPSのみならずVisual SLAM技術も利用することができないマンホールの内部では、無人航空機は高精度に自己位置を推定することが困難であるという問題がある。
かかる事情に鑑みてなされた本開示の目的は、マンホールの内部であっても、高精度に自己位置を推定することが可能な無人航空機および無人航空機の制御方法を提供することにある。
一実施形態に係る無人航空機は、マンホールの内部の点検に使用される無人航空機であって、マンホール孔を撮影するカメラセンサと、距離を測定する測距計と、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した前記地面又は前記所定面との距離情報に基づいて、自己位置を推定する制御部と、を備え、前記測距計は、地面との距離、又は前記内部の躯体部に存在する溜水の水面との距離を測定する第1の超音波センサと、前記内部の躯体部における天井面との距離を測定する第2の超音波センサと、前記内部の首部における壁面との距離を測定する第1のレーザセンサと、前記内部の躯体部における天井面との距離を測定する第2のレーザセンサと、を備える。
一実施形態に係る無人航空機の制御方法は、マンホールの内部の点検に使用され、マンホール孔を撮影するカメラセンサと、距離を測定する測距計と、を備える無人航空機の制御方法であって、前記測距計は、地面との距離、又は前記内部の躯体部に存在する溜水の水面との距離を測定する第1の超音波センサと、前記内部の躯体部における天井面との距離を測定する第2の超音波センサと、前記内部の首部における壁面との距離を測定する第1のレーザセンサと、前記内部の躯体部における天井面との距離を測定する第2のレーザセンサと、を備え、前記無人航空機が地上部から前記首部へ飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した地面との距離情報に基づいて、自己位置を推定するステップと、前記無人航空機が前記首部から前記躯体部へ飛行する際、前記測距計から取得した前記首部の壁面との距離情報に基づいて、自己位置を推定するステップと、前記無人航空機が前記躯体部を飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、前記測距計から取得した前記躯体部の壁面との距離情報、前記躯体部の天井面との距離情報、および前記躯体部に存在する溜水の水面との距離情報に基づいて、自己位置を推定するステップと、前記無人航空機が前記躯体部から前記首部へ飛行する際、前記測距計から取得した前記首部の壁面との距離情報に基づいて、自己位置を推定するステップと、前記無人航空機が前記首部から前記地上部へ飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した地面との距離情報に基づいて、自己位置を推定するステップと、を含む。
本開示によれば、マンホールの内部であっても、高精度に自己位置を推定することが可能な無人航空機および無人航空機の制御方法を提供することができる。
一実施形態に係る無人航空機の構成の一例を示す図である。 一実施形態に係るマンホールの構成の一例を示す側面図である。 一実施形態に係る無人航空機の制御方法の一例を示すフローチャートである。 一実施形態に係る無人航空機の制御方法について説明するための図である。
以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、以下の説明における「上」、「下」、「鉛直」とは、図面に描かれた座標軸表示のZ軸に平行な方向を意味するものとし、「水平」とは、図面に描かれた座標軸表示のXY平面に平行な方向を意味するものとする。
<無人航空機の構成>
図1および図2を参照して、本発明の一実施形態に係る無人航空機100の構成について説明する。
無人航空機100は、本体部1と、プロペラ2と、モータ3と、腕部4と、脚部5と、を備える。本体部1は、複数のカメラセンサ10と、複数の測距計21,22と、制御部30と、を備える。
本体部1は、直径が約420mm、高さが約230mmの円盤形状であり、CFRP(Carbon Fiber Reinforced Plastics)製の板材などにより組み立てられている。プロペラ2a,2b,2c,2dは、それぞれに取り付けられるモータ3a,3b,3c,3dの駆動により回転駆動し、揚力を発生させる。腕部4a,4b,4c,4dは、棒状の支持部材であり、水平方向に延在してプロペラ2a,2b,2c,2dを回転可能に支持する。脚部5a,5b,5c,5dは、T字形状の支持部材であり、無人航空機100を支持することで、離着陸時における無人航空機100の転倒を防止する。
ここで、マンホール200の構成について、簡単に説明する。
図2に示すように、マンホール200は、規格品の通信用マンホールである。マンホール200は、首部210と、躯体部220と、鉄蓋230と、管路240と、ダクト部250a,250bと、を備える。躯体部220は、天井部221と、床部222と、側壁部223と、を備える。マンホール200の内部は、首部210の壁面H、天井部221の天井面R、側壁部223の壁面H、床部222の床面F(又は溜水300の水面W)などで囲まれている。首部210は、例えば、直径が約60cm、高さが約60cmの略円筒形状であり、鉄筋コンクリートなどで製造される。首部210の高さは、地面Aと天井部221との距離を示している。躯体部220は、例えば、X軸方向の長さが約2.3m、Y軸方向の長さが約1.3m、Z軸方向の長さが約1.5mの略直方体形状であり、首部210と同様に、鉄筋コンクリートなどで製造される。側壁部223には、複数の管路240へと接続される貫通孔が形成され、ダクト部250a,250bが設けられている。鉄蓋230は、略円柱形状であり、マンホール200の出入口であるマンホール孔Cに嵌合する。マンホール孔Cは、地上部110と地下部Bとの境界に形成されている。複数の管路240には、通信ケーブルなどが敷設されている。
次に、複数のカメラセンサ10、複数の測距計21,22、制御部30について、詳細に説明する。
カメラセンサ10は、鉛直方向に1個以上配置される。本実施形態では、無人航空機100は、鉛直方向に2個のカメラセンサ10V1,10V2を備えるものとして、以下説明する。
カメラセンサ10V1は、鉛直方向の上部に配置され、対象物を撮影する。例えば、カメラセンサ10V1は、マンホール孔Cを撮影する。カメラセンサ10V1は、撮影した対象物(例えば、マンホール孔C)の画像情報を、制御部30へ出力する。作業者は、カメラセンサ10V1の配置位置を適宜調整することができる。
カメラセンサ10V2は、鉛直方向の下部に配置され、対象物を撮影する。例えば、カメラセンサ10V2は、マンホール孔Cを撮影する。カメラセンサ10V2は、撮影した対象物(例えば、マンホール孔C)の画像情報を、制御部30へ出力する。作業者は、カメラセンサ10V2の配置位置を適宜調整することができる。
測距計21,22は、水平方向に2個以上、鉛直方向に1個以上配置される。測距計21は、例えば超音波センサ21V1,21V2であり、測距計22は、例えばレーザセンサ22H1,22H2,22H3,22H4,22V1である。本実施形態では、無人航空機100は、水平方向に4個のレーザセンサ22H1,22H2,22H3,22H4を備え、鉛直方向に2個の超音波センサ21V1,21V2と1個のレーザセンサ22V1を備えるものとして、以下説明する。
超音波センサ21V1は、鉛直方向の上部に配置され、対象面との距離を測定する。例えば、超音波センサ21V1は、マンホール200の内部における天井面Rとの距離を測定する。超音波センサ21V1は、測定した対象面(例えば、天井面R)との距離情報を、制御部30へ出力する。作業者は、超音波センサ21V1の配置位置を適宜調整することができる。
超音波センサ21V2は、鉛直方向の下部に配置され、対象面との距離を測定する。例えば、超音波センサ21V2は、地面Aとの距離、マンホール200の内部における床面Fとの距離、又は、躯体部220に存在する溜水300の水面Wとの距離を測定する。超音波センサ21V2は、測定した対象面(例えば、地面A、床面F、水面W)との距離情報を、制御部30へ出力する。作業者は、超音波センサ21V2の配置位置を適宜調整することができる。
レーザセンサ22H1,22H2,22H3,22H4は、水平方向に配置され、対象面との距離を測定する。例えば、レーザセンサ22H1,22H2,22H3,22H4は、マンホール200の内部における壁面H(首部210の壁面H又は躯体部220の壁面H)との距離を測定する。レーザセンサ22H1,22H2,22H3,22H4は、測定した対象面(例えば、首部210の壁面H又は躯体部220の壁面H)との距離情報を、制御部30へ出力する。作業者は、レーザセンサ22H1,22H2,22H3,22H4の配置位置を適宜調整することができる。
レーザセンサ22V1は、鉛直方向の上部に配置され、対象面との距離を測定する。例えば、レーザセンサ22V1は、マンホール200の内部における天井面Rとの距離を測定する。レーザセンサ22V1は、測定した対象面(例えば、天井面R)との距離情報を、制御部30へ出力する。作業者は、レーザセンサ22V1の配置位置を適宜調整することができる。
制御部30は、例えば、RaspberryPi(登録商標)などを含む小型コンピュータであり、無人航空機100の各部を制御する。制御部30は、無人航空機100の飛行環境(例えば、地上部110、首部210、躯体部220など)に応じて、上述の各種センサを制御し、各種センサから取得した情報に基づいて、自己位置を推定する。
制御部30は、鉛直方向における対象物の画像情報を取得する際、カメラセンサ1
0V1,10V2を制御し、カメラセンサ10V1,10V2から、対象物の画像情報を取得する。例えば、制御部30は、躯体部220や地上部110において、カメラセンサ10V1,10V2を制御し、カメラセンサ10V1,10V2から、マンホール孔Cの画像情報を取得する。
制御部30は、鉛直方向の上部における対象面との距離情報を取得する際、超音波センサ21V1又はレーザセンサ22V1を制御し、超音波センサ21V1又はレーザセンサ22V1から、対象面との距離情報を取得する。例えば、制御部30は、躯体部220において、超音波センサ21V1又はレーザセンサ22V1を制御し、超音波センサ21V1又はレーザセンサ22V1から、マンホール200の内部における天井面Rとの距離情報を取得する。
制御部30は、躯体部220や地上部110において、マンホール孔との水平距離を取得する際に、カメラセンサ10V1,10V2を制御し、カメラセンサ10V1,10V2で画像を撮影し、撮影画像からマンホール孔Cの認識を行う。例えば、制御部30は、地上部110において、カメラセンサ10V2を制御し、鉛直方向の画像を撮影して、撮影画像からマンホール孔Cの認識を行い、マンホール孔Cと無人航空機の水平方向の距離情報を取得する。例えば、制御部30は、躯体部220において、カメラセンサ10V1を制御し、鉛直方向の画像を撮影して、撮影画像からマンホール孔Cの認識を行い、マンホール孔Cと無人航空機の水平方向の距離情報を取得する。
制御部30は、鉛直方向の下部における対象面との距離情報を取得する際、超音波センサ21V2を制御し、超音波センサ21V2から、対象面との距離情報を取得する。例えば、制御部30は、地上部110において、超音波センサ21V2を制御し、超音波センサ21V2から、地面Aとの距離情報を取得する。例えば、制御部30は、躯体部220において、超音波センサ21V2を制御し、超音波センサ21V2から、マンホール200の内部における床面Fとの距離情報を取得する。例えば、制御部30は、躯体部220において、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220に存在する溜水300の水面Wとの距離情報を取得する。
制御部30は、水平方向における対象面との距離情報を取得する際、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、対象面との距離情報を取得する。例えば、制御部30は、首部210において、レーザセンサ22H1,22H2,22H3,22H4を制御し、それぞれのレーザセンサから、マンホール200の内部における首部210の壁面Hとの距離情報を取得する。例えば、制御部30は、躯体部220において、レーザセンサ22H1,22H2,22H3,22H4を制御し、それぞれのレーザセンサから、マンホール200の内部における躯体部220の壁面Hとの距離情報を取得する。
上述のように、制御部30は、無人航空機100の飛行環境に応じて、上述の各種センサを制御する。例えば、地上部110においては、制御部30は、日光の影響を受け難い超音波センサ21V2を利用して、地面Aとの距離を測定する。また、例えば、首部210においては、制御部30は、乱反射が発生し難いレーザセンサ22H1,22H2,22H3,22H4を利用して、首部210の壁面Hとの距離を測定する。また、例えば、躯体部220においては、制御部30は、溜水300の影響を受け難い超音波センサ21V2を利用して、水面Wとの距離を測定する。
制御部30は、各種センサから取得した画像情報および距離情報を複合的に用いて、自己位置を推定する。例えば、制御部30は、地上部110において、マンホール孔Cの画像情報および地面Aとの距離情報を複合的に用いて、自己位置を推定する。例えば、制御部30は、首部210において、首部210の壁面Hとの距離情報を複合的に用いて、自己位置を推定する。例えば、制御部30は、躯体部220において、天井面Rとの距離情報、躯体部220の壁面Hとの距離情報、および躯体部220に存在する溜水300の水面Wとの距離情報を複合的に用いて、自己位置を推定する。制御部30が、無人航空機100の飛行環境に応じて、各種センサを適切に制御することで、高精度に自己位置を推定することが可能になる。
制御部30は、推定した自己位置に基づいて、モータ3a,3b,3c,3dの駆動、プロペラ2a,2b,2c,2dの回転数および回転方向などを制御し、無人航空機100の飛行を制御する。制御部30は、例えば、PID(Proportional-Integral-Differential Controller)制御により、無人航空機100の飛行を制御する。制御部30が、高精度に自己位置を推定し、この自己位置に基づいて、無人航空機100の飛行を制御することで、無人航空機100は、マンホール200付近あるいはマンホール200の内部を、高精度に自律飛行することが可能になる。
作業者は、マンホール200の内部の点検に、無人航空機100を使用する。作業者は、マンホール200の鉄蓋230を開けた後、無人航空機100をマンホール200付近あるいはマンホール200の内部で自律飛行させ、自身は安全な歩道などに避難して、無人航空機100が撮影する映像などから、マンホール200の内部の劣化状況を確認し、マンホール200の内部を点検する。これにより、点検作業の安全性を高め、且つ、点検作業の効率化を図ることができる。
本実施形態に係る無人航空機100は、制御部30が、無人航空機100の飛行環境に応じて、各種センサを適切に制御し、画像情報および距離情報を取得し、自己位置を推定する。これにより、GPSを利用できない環境であり、且つ、狭小のためVisual SLAM技術を利用できないマンホール200の内部であっても、高精度に自己位置を推定することが可能な無人航空機100を実現できる。
また、本実施形態に係る無人航空機100は、推定した自己位置に基づいて、自律飛行する。したがって、無人航空機100は、躯体部220に溜水300が存在しても、水面Wとの距離を一定に保ちながら、マンホール200の内部を高精度に自律飛行することができる。
<無人航空機の制御方法>
図3および図4を参照して、本発明の一実施形態に係る無人航空機100の制御方法について説明する。図4において、黒丸は、各種センサの配置位置(無人航空機100の位置)を示している。点線矢印は、複数のカメラセンサ10の撮影方向を示している。実線矢印は、複数の測距計21,22の測定方向を示している。
〔地上部110での制御方法〕
ステップS1において、制御部30は、無人航空機100を、離陸位置から離陸させる。
ステップS2において、制御部30は、カメラセンサ10V2を制御し、カメラセンサ10V2から、マンホール孔Cの画像情報を取得し、マンホール孔Cの認識を行う。また、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、地面Aとの距離情報を取得する。そして、制御部30は、カメラセンサ10V2から取得した撮影画像から認識を行ったマンホール孔Cの情報および超音波センサ21V2から取得した地面Aとの距離情報に基づいて、マンホール孔Cおよび地面Aとの距離を認識し、地上部110における無人航空機100の位置を推定する。そして、制御部30は、離陸位置からマンホール孔Cの直上位置まで、無人航空機100を飛行させる。なお、マンホール孔Cの直上位置付近であっても、超音波センサ21V2の指向性が広ければ、制御部30は、超音波センサ21V2から、地面Aとの距離情報を取得することが可能である。
ステップS3において、制御部30は、無人航空機100をマンホール孔Cの直上位置から下降させる。
〔首部210での制御方法〕
ステップS4において、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、首部210の壁面Hとの距離情報を取得する。そして、制御部30は、レーザセンサ22H1,22H2,22H3,22H4から取得した首部210の壁面Hとの距離情報に基づいて、首部210の壁面Hとの距離を認識し、首部210における無人航空機100の位置を推定する。そして、制御部30は、首部210の内部で、上部から下部まで、無人航空機100を下降させる。
〔躯体部220での制御方法〕
ステップS5において、制御部30は、カメラセンサ10V1を制御し、カメラセンサ10V1から、マンホール孔Cの画像情報を取得し、マンホール孔Cの認識を行う。また、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、躯体部220の壁面Hとの距離情報を取得する。また、躯体部220に溜水300が存在する場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220に存在する溜水300の水面Wとの距離情報を取得する。また、躯体部220に溜水300が存在しない場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220の床面Fとの距離情報を取得する。そして、制御部30は、カメラセンサ10V1から取得した撮影画像からマンホール孔Cの認識情報、レーザセンサ22H1,22H2,22H3,22H4から取得した躯体部220の壁面Hとの距離情報、および超音波センサ21V2から取得した水面W(又は床面F)との距離情報に基づいて、躯体部220の壁面Hとの距離および水面W(又は床面F)との距離を認識し、躯体部220における無人航空機100の位置を推定する。そして、制御部30は、マンホール孔Cの直下位置で、無人航空機100を停止させる。
ステップS6において、制御部30は、カメラセンサ10V1を制御し、カメラセンサ10V1での画像の撮影と、撮影画像からのマンホール孔Cの認識を行う。また、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、躯体部220の壁面Hとの距離情報を取得する。また、躯体部220に溜水300が存在する場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220に存在する溜水300の水面Wとの距離情報を取得する。また、躯体部220に溜水300が存在しない場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220の床面Fとの距離情報を取得する。そして、制御部30は、カメラセンサ10V1から取得したマンホール孔Cの認識情報、レーザセンサ22H1,22H2,22H3,22H4から取得した躯体部220の壁面Hとの距離情報、および超音波センサ21V2から取得した水面W(又は床面F)との距離情報に基づいて、マンホール孔C、躯体部220の壁面Hとの距離、および水面W(又は床面F)との距離を認識し、躯体部220における無人航空機100の位置を推定する。そして、制御部30は、躯体部220の内部で、無人航空機100を、上昇、下降、旋回など任意に飛行させる。
さらに、制御部30は、カメラセンサ10V1を制御し、カメラセンサ10V1での画像の撮影と、撮影画像からのマンホール孔Cの認識を行う。また、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、躯体部220の壁面Hとの距離情報を取得する。また、制御部30は、超音波センサ21V1又はレーザセンサ22V1を制御し、超音波センサ21V1又はレーザセンサ22V1から、躯体部220の天井面Rとの距離情報を取得する。また、躯体部220に溜水300が存在する場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220に存在する溜水300の水面Wとの距離情報を取得する。また、躯体部220に溜水300が存在しない場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220の床面Fとの距離情報を取得する。そして、制御部30は、カメラセンサ10V1から取得したマンホール孔Cの認識情報、レーザセンサ22H1,22H2,22H3,22H4から取得した躯体部220の壁面Hとの距離情報、超音波センサ21V1又はレーザセンサ22V1から取得した天井面Rとの距離情報、および超音波センサ21V2から取得した水面W(又は床面F)との距離情報に基づいて、マンホール孔C、躯体部220の壁面Hとの距離、躯体部220の天井面Rとの距離、および水面W(又は床面F)との距離を認識し、躯体部220における無人航空機100の位置を推定する。そして、制御部30は、躯体部220の内部で、無人航空機100を、上昇、下降、旋回など任意に飛行させる。
ステップS7において、制御部30は、カメラセンサ10V1を制御し、カメラセンサ10V1での画像の撮影と、撮影画像からのマンホール孔Cの認識を行う。また、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、躯体部220の壁面Hとの距離情報を取得する。また、躯体部220に溜水300が存在する場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220に存在する溜水300の水面Wとの距離情報を取得する。また、躯体部220に溜水300が存在しない場合、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、躯体部220の床面Fとの距離情報を取得する。そして、制御部30は、カメラセンサ10V1から取得したマンホール孔Cの認識情報、レーザセンサ22H1,22H2,22H3,22H4から取得した躯体部220の壁面Hとの距離情報および超音波センサ21V2から取得した水面W(又は床面F)との距離情報に基づいて、躯体部220の壁面Hとの距離および水面W(又は床面F)との距離を認識し、躯体部220における無人航空機100の位置を推定する。そして、制御部30は、マンホール孔Cの直下位置で、無人航空機100を停止させる。
ステップS8において、制御部30は、無人航空機100をマンホール孔Cの直下位置から上昇させる。
〔首部210での制御方法〕
ステップS9において、制御部30は、レーザセンサ22H1,22H2,22H3,22H4を制御し、レーザセンサ22H1,22H2,22H3,22H4から、首部210の壁面Hとの距離情報を取得する。そして、制御部30は、レーザセンサ22H1,22H2,22H3,22H4から取得した首部210の壁面Hとの距離情報に基づいて、首部210の壁面Hとの距離を認識し、首部210における無人航空機100の位置を推定する。そして、制御部30は、首部210の内部で、下部から上部まで、無人航空機100を上昇させる。
〔首部210と地上部110との間での制御方法〕
ステップS10において、制御部30は、カメラセンサ10V2を制御し、カメラセンサ10V2での画像の撮影と、撮影画像からのマンホール孔Cの認識を行う。また、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、地面Aとの距離情報を取得する。そして、制御部30は、カメラセンサ10V2から取得したマンホール孔Cの認識情報および超音波センサ21V2から取得した地面Aとの距離情報に基づいて、マンホール孔Cおよび地面Aとの距離を認識し、首部210および地上部110における無人航空機100の位置を推定する。そして、制御部30は、首部210の上部からマンホール孔Cの直上位置まで、無人航空機100を上昇させる。なお、マンホール孔Cの直上位置付近であっても、超音波センサ21V2の指向性が広ければ、制御部30は、超音波センサ21V2から地面Aとの距離情報を取得することが可能である。
〔地上部110での制御方法〕
ステップS11において、制御部30は、カメラセンサ10V2を制御し、カメラセンサ10V2での画像の撮影と、撮影画像からのマンホール孔Cの認識を行う。また、制御部30は、超音波センサ21V2を制御し、超音波センサ21V2から、地面Aとの距離情報を取得する。そして、制御部30は、カメラセンサ10V2から取得したマンホール孔Cの認識情報および超音波センサ21V2から取得した地面Aとの距離情報に基づいて、マンホール孔Cおよび地面Aとの距離を認識し、地上部110における無人航空機100の位置を推定する。そして、制御部30は、地上部110におけるマンホール孔Cの直上位置からマンホール孔Cの直上位置以外の位置まで、無人航空機100を飛行させる。
ステップS12において、制御部30は、無人航空機100を、着陸位置へ着陸させる。
本実施形態に係る無人航空機100の制御方法は、制御部30が、離陸位置から地上部110への飛行、地上部110からマンホール孔Cの直上位置までの飛行、首部210の内部の下降、躯体部220におけるマンホール孔Cの直下位置での停止、躯体部220の内部の飛行、躯体部220におけるマンホール孔Cの直下位置での停止、首部210の内部の上昇、首部210からマンホール孔Cの直上位置までの飛行、マンホール孔Cの直上位置からマンホール孔Cの直上位置以外の位置までの飛行、マンホール孔Cの直上位置以外の位置から着陸位置への飛行、において、無人航空機100に配置されるカメラセンサ10、超音波センサ21、およびレーザセンサ22を適切に制御し、画像情報および距離情報を取得し、これらの情報を複合的に用いて、自己位置を推定する。これにより、GPSを利用できない環境であり、且つ、狭小のためVisual SLAM技術を利用できないマンホール200の内部であっても、高精度に自己位置を推定することが可能な無人航空機100の制御方法を実現できる。
また、本実施形態に係る無人航空機100の制御方法は、制御部30が、推定した自己位置に基づいて、無人航空機100を自律飛行させる。したがって、無人航空機100は、地上部110においてマンホール孔Cを認識し、マンホール孔Cへ入孔し、首部210を下降し、躯体部220を飛行し、躯体部220において再びマンホール孔Cを認識し、首部210を上昇し、マンホール孔Cから出孔する、という自律飛行を、マンホール200付近あるいはマンホール200の内部で行うことができる。これにより、作業者は、マンホール200の内部の点検に、無人航空機100を使用することができる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。
1 本体部
2a,2b,2c,2d プロペラ
3a,3b,3c,3d モータ
4a,4b,4c,4d 腕部
5a,5b,5c,5d 脚部
10V1,10V2 カメラセンサ
21,22 測距計
21V1,21V2 超音波センサ
22H1,22H2,22H3,22H4,22V1 レーザセンサ
30 制御部
100 無人航空機
110 地上部
200 マンホール
210 首部
220 躯体部
221 天井部
222 床部
223 側壁部
230 鉄蓋
240 管路
250a,250b ダクト部

Claims (5)

  1. マンホールの内部の点検に使用される無人航空機であって、
    マンホール孔を撮影するカメラセンサと、
    距離を測定する測距計と、
    前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した距離情報に基づいて、自己位置を推定する制御部と、
    を備え、
    前記測距計は、
    地面との距離、又は前記内部の躯体部に存在する溜水の水面との距離を測定する第1の超音波センサと、
    前記内部の躯体部における天井面との距離を測定する第2の超音波センサと、
    前記内部の首部における壁面との距離を測定する第1のレーザセンサと、
    前記内部の躯体部における天井面との距離を測定する第2のレーザセンサと、
    を備える、無人航空機。
  2. 鉛直方向における上部に、前記第2の超音波センサ、前記第2のレーザセンサ、および第1の前記カメラセンサが配置され、
    前記鉛直方向における下部に、前記第1の超音波センサ、および第2の前記カメラセンサが配置され、
    水平方向に、複数の前記第1のレーザセンサが配置される、
    請求項1に記載の無人航空機。
  3. 前記制御部は、前記認識情報および前記距離情報を複合的に用いて自己位置を推定する、
    請求項1又は2に記載の無人航空機。
  4. 前記制御部は、
    前記無人航空機が地上部から首部へ飛行する際、前記カメラセンサから前記マンホール孔の画像情報を取得し、前記画像情報から前記マンホール孔を認識し、前記測距計から地面との距離情報を取得し、
    前記無人航空機が前記首部から躯体部へ飛行する際、前記測距計から前記首部の壁面との距離情報を取得し、
    前記躯体部を飛行する際、前記カメラセンサから前記マンホール孔の画像情報を取得し、前記画像情報から前記マンホール孔を認識し、前記測距計から前記躯体部の壁面との距離情報、前記躯体部の天井面との距離情報、および前記躯体部に存在する溜水の水面との距離情報を取得し、
    前記無人航空機が前記躯体部から前記首部へ飛行する際、前記測距計から前記首部の壁面との距離情報を取得し、
    前記無人航空機が前記首部から前記地上部へ飛行する際、前記カメラセンサから前記マンホール孔の画像情報を取得し、前記画像情報から前記マンホール孔を認識し、前記測距計から地面との距離情報を取得する、
    請求項1から3のいずれか一項に記載の無人航空機。
  5. マンホールの内部の点検に使用され、マンホール孔を撮影するカメラセンサと、距離を測定する測距計と、を備える無人航空機の制御方法であって、
    前記測距計は、
    地面との距離、又は前記内部の躯体部に存在する溜水の水面との距離を測定する第1の超音波センサと、
    前記内部の躯体部における天井面との距離を測定する第2の超音波センサと、
    前記内部の首部における壁面との距離を測定する第1のレーザセンサと、
    前記内部の躯体部における天井面との距離を測定する第2のレーザセンサと、
    を備え、
    前記無人航空機が地上部から前記首部へ飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した地面との距離情報に基づいて、自己位置を推定するステップと、
    前記無人航空機が前記首部から前記躯体部へ飛行する際、前記測距計から取得した前記首部の壁面との距離情報に基づいて、自己位置を推定するステップと、
    前記無人航空機が前記躯体部を飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、前記測距計から取得した前記躯体部の壁面との距離情報、前記躯体部の天井面との距離情報、および前記躯体部に存在する溜水の水面との距離情報に基づいて、自己位置を推定するステップと、
    前記無人航空機が前記躯体部から前記首部へ飛行する際、前記測距計から取得した前記首部の壁面との距離情報に基づいて、自己位置を推定するステップと、
    前記無人航空機が前記首部から前記地上部へ飛行する際、前記カメラセンサから取得した画像情報から認識を行った前記マンホール孔の認識情報、および前記測距計から取得した地面との距離情報に基づいて、自己位置を推定するステップと、
    を含む、無人航空機の制御方法。
JP2021551025A 2019-10-09 2019-10-09 無人航空機および無人航空機の制御方法 Active JP7324388B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039916 WO2021070308A1 (ja) 2019-10-09 2019-10-09 無人航空機および無人航空機の制御方法

Publications (2)

Publication Number Publication Date
JPWO2021070308A1 JPWO2021070308A1 (ja) 2021-04-15
JP7324388B2 true JP7324388B2 (ja) 2023-08-10

Family

ID=75438079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551025A Active JP7324388B2 (ja) 2019-10-09 2019-10-09 無人航空機および無人航空機の制御方法

Country Status (3)

Country Link
US (1) US20240085928A1 (ja)
JP (1) JP7324388B2 (ja)
WO (1) WO2021070308A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240199246A1 (en) * 2021-01-13 2024-06-20 Hardshell Labs, Inc. External cage for unmanned aerial vehicle

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007113240A (ja) 2005-10-19 2007-05-10 Kitakyushu Foundation For The Advancement Of Industry Science & Technology カメラセンサと距離センサによるロボットの自己位置検知方法及び装置
JP2014149622A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2016218813A (ja) 2015-05-22 2016-12-22 株式会社日立製作所 下水管路施設の点検システム
WO2017199940A1 (ja) 2016-05-16 2017-11-23 株式会社日水コン 管路内壁の調査装置およびコンピュータプログラム
JP2017226259A (ja) 2016-06-21 2017-12-28 株式会社日立製作所 管路施設点検飛行体と、それを用いた管路施設点検システム
WO2018061823A1 (ja) 2016-09-30 2018-04-05 日本電産株式会社 マルチコプターの制御システム
WO2018163699A1 (ja) 2017-03-06 2018-09-13 株式会社Spiral 飛行体の制御システム、その制御装置および目印部
JP2019036269A (ja) 2017-08-10 2019-03-07 ミスギ工業株式会社 無人小型飛行体の飛行制御方法、内部空間の状況及びその壁面状況の点検方法
JP2019101001A (ja) 2017-12-08 2019-06-24 日立Geニュークリア・エナジー株式会社 位置推定装置、および、位置推定方法
WO2019123558A1 (ja) 2017-12-20 2019-06-27 株式会社日立製作所 自己位置推定システム
WO2019139172A1 (ja) 2018-01-15 2019-07-18 本郷飛行機株式会社 情報処理システム
WO2019190398A1 (en) 2018-03-26 2019-10-03 Singapore University Of Technology And Design Aerial vehicles, methods of imaging a tunnel and methods of imaging a shaft

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6666095B2 (en) * 2001-11-30 2003-12-23 The Regents Of The University Of California Ultrasonic pipe assessment
US20160162743A1 (en) * 2014-12-05 2016-06-09 Magna Electronics Inc. Vehicle vision system with situational fusion of sensor data
JP6439439B2 (ja) * 2014-12-24 2018-12-19 株式会社リコー 情報処理装置、画像処理装置、プログラム、ユーザインタフェース
US10954648B1 (en) * 2018-09-16 2021-03-23 Michael D Blackshaw Multi-sensor manhole survey

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007113240A (ja) 2005-10-19 2007-05-10 Kitakyushu Foundation For The Advancement Of Industry Science & Technology カメラセンサと距離センサによるロボットの自己位置検知方法及び装置
JP2014149622A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2016218813A (ja) 2015-05-22 2016-12-22 株式会社日立製作所 下水管路施設の点検システム
WO2017199940A1 (ja) 2016-05-16 2017-11-23 株式会社日水コン 管路内壁の調査装置およびコンピュータプログラム
JP2017226259A (ja) 2016-06-21 2017-12-28 株式会社日立製作所 管路施設点検飛行体と、それを用いた管路施設点検システム
WO2018061823A1 (ja) 2016-09-30 2018-04-05 日本電産株式会社 マルチコプターの制御システム
WO2018163699A1 (ja) 2017-03-06 2018-09-13 株式会社Spiral 飛行体の制御システム、その制御装置および目印部
JP2019036269A (ja) 2017-08-10 2019-03-07 ミスギ工業株式会社 無人小型飛行体の飛行制御方法、内部空間の状況及びその壁面状況の点検方法
JP2019101001A (ja) 2017-12-08 2019-06-24 日立Geニュークリア・エナジー株式会社 位置推定装置、および、位置推定方法
WO2019123558A1 (ja) 2017-12-20 2019-06-27 株式会社日立製作所 自己位置推定システム
WO2019139172A1 (ja) 2018-01-15 2019-07-18 本郷飛行機株式会社 情報処理システム
WO2019190398A1 (en) 2018-03-26 2019-10-03 Singapore University Of Technology And Design Aerial vehicles, methods of imaging a tunnel and methods of imaging a shaft

Also Published As

Publication number Publication date
WO2021070308A1 (ja) 2021-04-15
US20240085928A1 (en) 2024-03-14
JPWO2021070308A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
KR102385820B1 (ko) 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기
JP6681173B2 (ja) 管路施設点検飛行体とそれを用いた管路施設点検システム
JP6179502B2 (ja) マルチコプタを用いた3次元形状計測方法および装置
CN106979773B (zh) 表面测绘设备、3d坐标确定方法、计算机可读存储介质
Özaslan et al. Inspection of penstocks and featureless tunnel-like environments using micro UAVs
CN109669468B (zh) 测量装置、无人机及其控制装置、控制方法及存储介质
JP6710114B2 (ja) 管路施設点検飛行体と、それを用いた管路施設点検システム
KR101678105B1 (ko) 무선 조정 비행장치를 이용한 하천 측량 시스템
US10656096B2 (en) Method and system for inspecting a surface area for material defects
EP2902744A1 (en) Measuring system
AU2017201641A1 (en) Inspection system and method for performing inspections in a storage facility
KR101650525B1 (ko) 지아이에스 기반 신규데이터에 따른 영상 업데이트 도화시스템
JP2019036269A (ja) 無人小型飛行体の飛行制御方法、内部空間の状況及びその壁面状況の点検方法
CN109031312A (zh) 适用于烟囱内部作业的飞行平台定位装置和定位方法
JP2018133010A (ja) 屋内空間の検査方法
JP7324388B2 (ja) 無人航空機および無人航空機の制御方法
JP2019016197A (ja) 移動体誘導システム
US20230122535A1 (en) Processes for Generating and Updating Flyable Airspace for Unmanned Aerial Vehicles
US20210325171A1 (en) Method for designing packaging plants
Karam et al. Micro and macro quadcopter drones for indoor mapping to support disaster management
WO2021186507A1 (ja) 点検装置、点検方法、およびプログラム
Nasrollahi et al. Designing LiDAR-equipped UAV platform for structural inspection
JP6904895B2 (ja) 位置推定装置、および、位置推定方法
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
US20220097845A1 (en) Unmanned aerial vehicle and inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20220210

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7324388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150