JP7468543B2 - 情報処理装置、情報処理方法、プログラムおよび飛行体 - Google Patents

情報処理装置、情報処理方法、プログラムおよび飛行体 Download PDF

Info

Publication number
JP7468543B2
JP7468543B2 JP2021554313A JP2021554313A JP7468543B2 JP 7468543 B2 JP7468543 B2 JP 7468543B2 JP 2021554313 A JP2021554313 A JP 2021554313A JP 2021554313 A JP2021554313 A JP 2021554313A JP 7468543 B2 JP7468543 B2 JP 7468543B2
Authority
JP
Japan
Prior art keywords
time observation
map
real
dimensional
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021554313A
Other languages
English (en)
Other versions
JPWO2021079794A1 (ja
Inventor
政彦 豊吉
航平 漆戸
駿 李
真一郎 阿部
琢人 元山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021079794A1 publication Critical patent/JPWO2021079794A1/ja
Priority to JP2024052955A priority Critical patent/JP2024094326A/ja
Application granted granted Critical
Publication of JP7468543B2 publication Critical patent/JP7468543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Description

本技術は、情報処理装置、情報処理方法、プログラムおよび飛行体に関し、詳しくは、飛行体の高速な自律飛行を可能とするための情報処理装置等に関する。
飛行体であるドローンは、自律で飛行をする場合、大域的な行動計画により目的地までの飛行経路を引き、その飛行経路に沿って飛行する、ということを繰り返し実行する。経路の計算には時間がかかることから、高速に飛行するためには、ある程度長い経路を一度に計算する必要があり、未観測領域についても経路を引くことが必要となる。例えば、未観測領域について何もないと仮定して経路を引く場合、ぎりぎりまで観測できない領域に急に障害物が現れた場合に衝突してしまう等の不都合がある。
例えば、特許文献１には、予め格納された環境情報地図と観測した障害物の情報とを重ね合わせて統合マップを作成し、統合マップ上で障害物を回避させながら、予め定められた経路に沿ってロボットを移動制御する技術が記載されている。また、例えば、特許文献２には、地図データに含まれる登録画像と、車両から撮影した観測画像とのマッチングを行うことにより、車両の自己位置推定を行う技術が記載されている。
特開２００７－２４９６３２号公報 特開２０１９－０４５８９２号公報
本技術の目的は、飛行体の高速な自律飛行を可能とすることにある。
本技術の概念は、
自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部を備える
情報処理装置にある。
本技術において、生成部により、自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果が生成される。例えば、３次元リアルタイム観測結果は、３次元専有格子地図である、ようにされてもよい。取得部により、３次元リアルタイム観測結果に対応した事前地図が取得される。
位置合わせ部により、３次元リアルタイム観測結果の事前地図との位置合わせが行われる。そして、拡張部により、３次元リアルタイム観測結果が、事前地図に基づいて拡張される。例えば、３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、拡張部は、平面検出の結果を利用して、事前地図の情報を元に平面を拡張する、ようにされてもよい。この場合、例えば、環境構造認識部は、３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、拡張部は、セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、平面を拡張する、ようにされてもよい。
このように本技術においては、３次元リアルタイム観測結果の事前地図との位置合わせ行い、その後に３次元リアルタイム観測結果を事前地図に基づいて拡張するものである。そのため、拡張された３次元リアルタイム観測結果を利用することで、未観測領域の状態も事前に把握でき、例えばドローンのような飛行体において、大域的な行動計画で、ある程度長い飛行経路を一度に精度よく計算でき、飛行体の高速な自律飛行が可能となる。
また、本技術の他の概念は、
自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部と、
上記拡張された３次元リアルタイム観測結果に基づいて飛行経路を設定する行動計画部を備える
飛行体にある。
本技術において、生成部により、自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果が生成される。取得部により、３次元リアルタイム観測結果に対応した事前地図が取得される。例えば、取得部は、他の飛行体から通信により事前地図を取得する、ようにされてもよい。この場合、例えば、事前地図は、他の飛行体で生成された３次元リアルタイム観測結果に基づいた地図である、ようにされてもよい。
例えば、この場合、事前地図は、３次元リアルタイム観測結果に対して一定の高さで切って鳥瞰図に変換する処理を行って得られた地図である、ようにされてもよい。また、例えば、この場合、事前地図は、３次元リアルタイム観測結果に対して通信が可能な程度に解像度を低下させる処理を行って得られた地図である、ようにされてもよい。
位置合わせ部により、３次元リアルタイム観測結果の事前地図との位置合わせが行われる。拡張部により、３次元リアルタイム観測結果が、事前地図に基づいて拡張される。そして、行動計画部により、拡張された３次元リアルタイム観測結果に基づいて飛行経路が設定される。
例えば、３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、拡張部は、平面検出の結果を利用して、事前地図の情報を元に平面を拡張する、ようにされてもよい。この場合、例えば、環境構造認識部は、３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、拡張部は、セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、平面を拡張する、ようにされてもよい。
このように本技術においては、３次元リアルタイム観測結果の事前地図との位置合わせ行い、その後に３次元リアルタイム観測結果を事前地図に基づいて拡張を行い、この拡張された３次元リアルタイム観測結果に基づいて飛行経路を設定するものである。そのため、例えばドローンのような飛行体において、大域的な行動計画で、ある程度長い飛行経路を一度に精度よく計算でき、飛行体の高速な自律飛行が可能となる。
飛行体としてのドローンの自律飛行動作を概略的に示す図である。 位置合わせと拡張の概要を模式的に示す図である。 ドローンの構成例を示すブロック図である。 飛行経路の引き直しの処理手順の一例を示すフローチャートである。 ドローンが事前地図を他のドローンから通信により取得する場合の状態を概略的に示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
図１は、ドローン１０の自律飛行動作を概略的に示している。ドローン１０は、観測領域２０において、自己位置推定情報および３次元測距情報に基づいて、３次元リアルタイム観測結果、例えば３次元専有格子地図を生成する。また、ドローン１０は、未観測領域３０において、３次元リアルタイム観測結果を、事前地図（事前マップ）に基づいて拡張する。未観測領域３０には、例えば、障害物で観測できない領域、センサの測定範囲外の領域などが含まれる。
ここで、事前地図は、ドローン１０が飛行する環境の大まかな情報が記述された簡易な地図である。例えば、この事前地図は、壁や建物等の位置と大きさが分かる２次元または３次元の地図である。より具体的には、クラウド上のサーバに保存された２次元または３次元の地図、地形図、建物の見取り図等が該当する。
この事前地図は、ドローン１０がストレージに保持していてもよい。ドローン１０が高速で飛行するためには、ある程度広い範囲の事前地図を保持する必要がある。事前地図が簡易なものであれば、データ容量も少なく、ドローン１０は比較的広い範囲の事前地図を保持することが可能となる。この事前地図は、障害物の大まかな位置、大きさが分かるものであればよい。
また、この事前地図は、常にはクラウド上のサーバに保存されていて、ドローン１０は、必要な範囲の事前地図をその都度クラウド上のサーバからダウンロードして用いることも可能である。事前地図が簡易なものであれば、データ容量も少なく、短時間でダウンロードすることが可能となる。
ドローン１０は、３次元リアルタイム観測結果を事前地図に基づいて拡張するに当たって、３次元リアルタイム観測結果の事前地図との位置合わせをする。この場合、まず、３次元リアルタイム観測結果を、事前地図の次元に合わせる。例えば、事前地図が２次元である場合には、３次元リアルタイム観測結果において自機の高さから一定範囲の地図を２次元に畳み込む。次に、ＩＣＰ(Iterative Closest Points)、ＮＤＴ(Normal Distributions Transform）といった、周知の位置合わせの手法を使って、地図との位置合わせをする。
ドローン１０は、位置合わせ後に、３次元リアルタイム観測結果を事前地図に基づいて拡張をする。この拡張の方法について説明する。この場合、３次元リアルタイム観測結果から平面を検出し、その平面と対応する空間が事前地図に見つかった場合は、その平面を拡張する。そして、この場合、３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、その結果を利用し、セマンティクスが連続する場合に、その平面を拡張する。このようにセマンティックセグメンテーションの結果をさらに利用することで、誤った拡張を抑制できる。
この場合、３次元リアルタイム観測結果から検出された平面と対応する空間が事前地図に見つかり、その平面に関連した３次元リアルタイム観測結果および事前地図の接続箇所においてセマンティクス（壁、道路、地面、建物など）が連続する場合に、３次元リアルタイム観測結果から検出されたその平面が事前地図に基づいて拡張される。
図２は、位置合わせと拡張の概要を模式的に示している。図２（ａ）は、ドローン１０で観測された３次元リアルタイム観測結果を示している。図示の例では、３次元リアルタイム観測結果に、底部と壁部が存在している。
図２（ｂ）は、ドローン１０で観測された３次元リアルタイム観測結果を事前地図（図示の例では２次元）に合うように位置合わせをした状態を示している。この位置合わせは、上述したように、ＩＣＰ、ＮＤＴといった周知の位置合わせの手法を使って行われる。この位置合わせにより、３次元リアルタイム観測結果の壁とか道路等の位置ずれが事前地図に合うように修正される。
図２（ｃ）は、ドローン１０で観測された３次元リアルタイム観測結果が、事前地図（図示の例では２次元）に基づいて拡張された状態を示している。この場合、３次元リアルタイム観測結果の壁部が平面として検出され、この平面と対応する空間が事前地図に存在していることから、３次元リアルタイム観測結果の壁部が事前地図側に延長され、３次元リアルタイム観測結果の拡張が行われている。
なお、この場合、セマンティックセグメンテーションにより、３次元リアルタイム観測結果の底部のセマンティクスが判定され、これに続く事前地図の空間部分のセマンティクスと同じであって、セマンティクスの連続性が確認されているものとする。
図１に戻って、ドローン１０は、拡張された３次元リアルタイム観測結果に基づいて、大域的な行動計画を行って、目的地までの飛行経路を設定する。そして、ドローン１０は、この飛行経路４０に沿って飛行するが、その飛行に必要な制御情報を局所的行動計画として作成する。この制御情報には、ドローン１０の速度、加速度などの情報、さらには障害物判定に基づいた修正経路情報も含まれる。
「ドローンの構成例」
図３は、ドローン１０の構成例を示している。ドローン１０は、ドローン搭載ＰＣ１００と、ドローン制御部２００と、センサ部３００と、外部ストレージ４００を有している。
センサ部２００は、ステレオカメラ、ＬｉＤＡＲ（Light Detection and Ranging）等を含む。外部ストレージ４００は、事前地図を格納する。この事前地図は、ドローン１０が飛行するある程度広い範囲に対応する簡易な２次元あるいは３次元の地図、地形図、建物の見取り図等である。この場合、外部ストレージ４００に最初から事前地図が格納されていてもよく、あるいはクラウド上のサーバから必要な範囲の事前地図を取得して外部ストレージ４００に格納されてもよい。
ドローン搭載ＰＣ１００は、自己位置推定部１０１と、３次元測距部１０２と、リアルタイム観測結果管理部１０３と、環境構造認識部１０４と、事前地図取得部１０５と、位置合わせ部１０６と、拡張部１０７と、大域的行動計画部１０８と、局所的行動計画部１０９を有している。
自己位置推定部１０１は、センサ部３００のセンサ出力に基づいて、自己位置を推定する。この場合、例えば、起動位置からの相対的な位置が推定される。３次元測距部１０３は、センサ部３００のセンサ出力に基づいて、周囲環境の奥行き情報を取得する。
リアルタイム観測結果管理部１０３は、自己位置推定部１０１で推定された自己位置と、３次元測距部１０２で得られた周囲環境の奥行き情報に基づいて、３次元リアルタイム観測結果（例えば、３次元専有格子地図）を作成する。この場合、自己位置に併せて周囲環境の奥行き情報を足しこんでいくことで３次元リアルタイム観測結果が生成される。
環境構造認識部１０４は、リアルタイム観測結果管理部１０３で生成された３次元リアルタイム観測結果に基づいて、環境構造を認識する。具体的には、３次元リアルタイム観測結果に対して、平面検出およびセマンティックセグメンテーションをする。
事前地図取得部１０５は、外部ストレージ４００から、リアルタイム観測結果管理部１０３で生成された３次元リアルタイム観測結果に対応した事前地図を取得する。この場合の事前地図の範囲は、この事前地図に基づいて３次元リアルタイム観測結果を拡張する関係から、３次元リアルタイム観測結果の範囲を包含するある程度広い範囲であることが必要となる。
位置合わせ部１０６は、環境構造認識部１０４で得られた平面検出やセマンティックセグメンテーションの結果を参照し、ＩＣＰ、ＮＤＴといった周知の位置合わせの手法を使って、３次元リアルタイム観測結果の位置を修正して事前地図に合わせる位置合わせをする（図２（ｂ）参照）。
拡張部１０７は、位置合わせ後に、環境構造認識部１０４で得られた平面検出やセマンティックセグメンテーションの結果に基づいて、事前地図を元に、３次元リアルタイム観測結果を拡張する（図２（ｃ）参照）。この場合、３次元リアルタイム観測結果から検出された平面と対応する空間が事前地図に見つかった場合は、その平面が拡張される。そして、この場合、その平面に関連した３次元リアルタイム観測結果および事前地図の接続箇所においてセマンティクスが連続する場合に、その平面の拡張が行われる。
大域的行動計画部１０８は、拡張部１０７で得られた、拡張された３次元リアルタイム観測結果に基づいて、大域的な行動計画を行って、目的地までの飛行経路を設定する。局所的行動計画部１０９は、大域的な行動計画で設定された飛行経路に沿って飛行するために必要な制御情報を作成する。
ドローン制御部２００は、ドローン搭載ＰＣ１００の局所的行動計画部１０９で得られた制御情報を受け取り、ドローン１０が設定された飛行経路に沿って飛行するようにモータを制御しプロペラを駆動する。
図４のフローチャートは、飛行経路の引き直しの処理手順の一例を示している。ドローン搭載ＰＣ１００は、ステップＳＴ１において、飛行経路引き直し管理部（図３には図示していない）により経路引き直しが指示された場合に、処理を開始する。飛行経路引き直し管理部は、例えば、既に設定された経路上に想定していない大きな障害物があるなど、当該飛行経路に無理がある場合に引き直しを指示する。また、飛行経路引き直し管理部は、一定時間毎、あるいは一定距離飛行毎に、引き直しを指示する。
次に、ドローン搭載ＰＣ１００は、ステップＳＴ２において、リアルタイム観測結果管理部１０３で、３次元リアルタイム観測結果を新たに生成して、当該３次元リアルタイム観測結果を更新する。次に、ドローン搭載ＰＣ１００は、ステップＳＴ３において、事前地図取得部１０５で、外部ストレージ４００から、更新されたリアルタイム観測結果に対応した２次元あるいは３次元の事前地図を取得する。
次に、ドローン搭載ＰＣ１００は、ステップＳＴ４において、環境構造認識部１０４で、３次元リアルタイム観測結果から環境構造を認識する。具体的には、３次元リアルタイム観測結果に対して、平面検出およびセマンティックセグメンテーションが行われる。
次に、ドローン搭載ＰＣ１００は、ステップＳＴ５において、位置合わせ部１０６で、平面検出やセマンティックセグメンテーションの結果を参照し、ＩＣＰ、ＮＤＴといった周知の位置合わせの手法を使って、３次元リアルタイム観測結果の位置を修正して事前地図に合わせる位置合わせをする。
次に、ドローン搭載ＰＣ１００は、ステップＳＴ６において、拡張部１０７で、平面検出やセマンティックセグメンテーションの結果に基づいて、事前地図を元に、３次元リアルタイム観測結果を拡張する。この場合、３次元リアルタイム観測結果から検出された平面と対応する空間が事前地図に見つかった場合は、その平面が拡張される。そして、この場合、その平面に関連した３次元リアルタイム観測結果および事前地図の接続箇所においてセマンティクスが連続する場合に、その平面の拡張が行われる。
次に、ドローン搭載ＰＣ１００は、ステップＳＴ７において、大域的行動計画部１０８で、拡張された３次元リアルタイム観測結果に基づいて、大域的な行動計画を行って、目的地までの飛行経路を設定する。その後、ドローン搭載ＰＣ１００は、ステップＳＴ８において、一連の処理を終了する。
上述したように、図１に示すドローン１０においては、３次元リアルタイム観測結果の事前地図との位置合わせ行い、その後に３次元リアルタイム観測結果を事前地図に基づいて拡張し、その拡張された３次元リアルタイム観測結果に基づいて大域的な行動計画を行って飛行経路を設定するものである。そのため、拡張された３次元リアルタイム観測結果により未観測領域の状態も事前に把握でき、例えばドローンのような飛行体において、大域的な行動計画である程度長い飛行経路を一度に精度よく計算でき、ドローン１０の高速な自律飛行が可能となる。
なお、上述では、ドローン１０は、事前地図を外部ストレージ４００から取得する例を示した。別な例として、ドローン１０は、他のドローン１０Ａから通信により事前地図を取得することも考えられる。図５は、その場合の状態を概略的に示している。
詳細説明は省略するが、ドローン１０Ａは、ドローン１０と同様に、構成されている。ドローン１０Ａは、３次元リアルタイム観測結果を、簡易な地図の形式に変換して得られた事前地図を、ドローン１０に送る。例えば、この事前地図は、３次元リアルタイム観測結果に対して一定の高さで切って鳥瞰図に変換する処理を行って得られた地図である。また、例えば、この事前地図は、３次元リアルタイム観測結果に対して通信が可能な程度に解像度を低下させる処理を行って得られた地図である。
図５の例の場合、他のドローン１０Ａが１機であるが、ドローン１０に事前地図を送信する他のドローン１０Ａは１機に限定されるものではなく、２機以上であってもよい。他のドローン１０Ａの数が多くなるほど、ドローン１０に送信される事前地図の範囲が広がることになる。
このように他のドローン１０Ａからドローン１０に事前地図を送って共有することで、他のドローン１０Ａで得られる３次元リアルタイム観測結果を有効に活用することが可能となる。この場合、他のドローン１０Ａが確認した袋小路等を、ドローン１０が観測することなく、回避することが可能となる。
＜２．変形例＞
なお、上述実施の形態においては、飛行体がドローンである例を示した。詳細説明は省略するが、本技術は、その他の飛行体である場合にも同様に適用できる。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本技術は、以下のような構成を取ることもできる。
（１）自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部を備える
情報処理装置。
（２）上記３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、
上記拡張部は、上記平面検出の結果を利用して、上記事前地図の情報を元に平面を拡張する
前記（１）に記載の情報処理装置。
（３）上記環境構造認識部は、上記３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、
上記拡張部は、上記セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、上記平面を拡張する
前記（２）に記載の情報処理装置。
（４）上記３次元リアルタイム観測結果は、３次元専有格子地図である
前記（１）から（３）のいずれかに記載の情報処理装置。
（５）自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する手順と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する手順と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする手順と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する手順を有する
情報処理方法。
（６）コンピュータを、
自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成手段と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する取得手段と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ手段と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張手段として機能させる
プログラム。
（７）自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部と、
上記拡張された３次元リアルタイム観測結果に基づいて飛行経路を設定する行動計画部を備える
飛行体。
（８）上記取得部は、他の飛行体から通信により上記事前地図を取得する
前記（７）に記載の飛行体。
（９）上記事前地図は、上記他の飛行体で生成された上記３次元リアルタイム観測結果に基づいた地図である
前記（８）に記載の飛行体。
（１０）上記事前地図は、上記３次元リアルタイム観測結果に対して一定の高さで切って鳥瞰図に変換する処理を行って得られた地図である
前記（９）に記載の飛行体。
（１１）上記事前地図は、上記３次元リアルタイム観測結果に対して上記通信が可能な程度に解像度を低下させる処理を行って得られた地図である
前記（９）に記載の飛行体。
（１２）上記３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、
上記拡張部は、上記平面検出の結果を利用して、上記事前地図の情報を元に平面を拡張する
前記（７）から（１１）のいずれかに記載の飛行体。
（１３）上記環境構造認識部は、上記３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、
上記拡張部は、上記セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、上記平面を拡張する
前記１２に記載の飛行体。
１０，１０Ａ・・・ドローン
２０・・・観測領域
３０・・・未観測領域
１００・・・ドローン搭載ＰＣ
１０１・・・自己位置推定部
１０２・・・３次元測距部
１０３・・・リアルタイム観測結果管理部
１０４・・・環境構造認識部
１０５・・・事前地図取得部
１０６・・・位置合わせ部
１０７・・・拡張部
１０８・・・大域的行動計画部
１０９・・・局所的行動計画部
２００・・・ドローン制御部
３００・・・センサ部
４００・・・外部ストレージ

Claims (13)

  1. 自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
    上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
    上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
    上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部を備える
    情報処理装置。
  2. 上記３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、
    上記拡張部は、上記平面検出の結果を利用して、上記事前地図の情報を元に平面を拡張する
    請求項１に記載の情報処理装置。
  3. 上記環境構造認識部は、上記３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、
    上記拡張部は、上記セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、上記平面を拡張する
    請求項２に記載の情報処理装置。
  4. 上記３次元リアルタイム観測結果は、３次元専有格子地図である
    請求項１に記載の情報処理装置。
  5. 自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する手順と、
    上記３次元リアルタイム観測結果に対応した事前地図を取得する手順と、
    上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする手順と、
    上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する手順を有する
    情報処理方法。
  6. コンピュータを、
    自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成手段と、
    上記３次元リアルタイム観測結果に対応した事前地図を取得する取得手段と、
    上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ手段と、
    上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張手段として機能させる
    プログラム。
  7. 自己位置推定情報および３次元測距情報に基づいて３次元リアルタイム観測結果を生成する生成部と、
    上記３次元リアルタイム観測結果に対応した事前地図を取得する取得部と、
    上記３次元リアルタイム観測結果の上記事前地図との位置合わせをする位置合わせ部と、
    上記位置合わせをした後に、上記３次元リアルタイム観測結果を上記事前地図に基づいて拡張する拡張部と、
    上記拡張された３次元リアルタイム観測結果に基づいて飛行経路を設定する行動計画部を備える
    飛行体。
  8. 上記取得部は、他の飛行体から通信により上記事前地図を取得する
    請求項７に記載の飛行体。
  9. 上記事前地図は、上記他の飛行体で生成された上記３次元リアルタイム観測結果に基づいた地図である
    請求項８に記載の飛行体。
  10. 上記事前地図は、上記３次元リアルタイム観測結果に対して一定の高さで切って鳥瞰図に変換する処理を行って得られた地図である
    請求項９に記載の飛行体。
  11. 上記事前地図は、上記３次元リアルタイム観測結果に対して上記通信が可能な程度に解像度を低下させる処理を行って得られた地図である
    請求項９に記載の飛行体。
  12. 上記３次元リアルタイム観測結果に対して平面検出を行う環境構造認識部をさらに備え、
    上記拡張部は、上記平面検出の結果を利用して、上記事前地図の情報を元に平面を拡張する
    請求項７に記載の飛行体。
  13. 上記環境構造認識部は、上記３次元リアルタイム観測結果に対してセマンティックセグメンテーションをさらに行い、
    上記拡張部は、上記セマンティックセグメンテーションの結果を利用して、セマンティクスが連続する場合に、上記平面を拡張する
    請求項１２に記載の飛行体。
JP2021554313A 2019-10-25 2020-10-14 情報処理装置、情報処理方法、プログラムおよび飛行体 Active JP7468543B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024052955A JP2024094326A (ja) 2019-10-25 2024-03-28 情報処理方法、情報処理装置およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019193922 2019-10-25
JP2019193922 2019-10-25
PCT/JP2020/038704 WO2021079794A1 (ja) 2019-10-25 2020-10-14 情報処理装置、情報処理方法、プログラムおよび飛行体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024052955A Division JP2024094326A (ja) 2019-10-25 2024-03-28 情報処理方法、情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021079794A1 JPWO2021079794A1 (ja) 2021-04-29
JP7468543B2 true JP7468543B2 (ja) 2024-04-16

Family

ID=75620457

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021554313A Active JP7468543B2 (ja) 2019-10-25 2020-10-14 情報処理装置、情報処理方法、プログラムおよび飛行体
JP2024052955A Pending JP2024094326A (ja) 2019-10-25 2024-03-28 情報処理方法、情報処理装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024052955A Pending JP2024094326A (ja) 2019-10-25 2024-03-28 情報処理方法、情報処理装置およびプログラム

Country Status (5)

Country Link
US (2) US11854210B2 (ja)
EP (1) EP4011764A4 (ja)
JP (2) JP7468543B2 (ja)
CN (1) CN114556255A (ja)
WO (1) WO2021079794A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062747A1 (ja) * 2021-10-13 2023-04-20 株式会社Acsl 無人航空機を用いて点検のために風力発電装置のブレードを撮像するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
KR102524995B1 (ko) * 2023-02-02 2023-04-25 국방과학연구소 전자 장치의 지도 생성 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7332980B2 (ja) 2019-03-29 2023-08-24 戸田工業株式会社 チタン酸バリウム粒子を含む非水系分散体及びその製造方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2813767B2 (ja) 1994-06-02 1998-10-22 防衛庁技術研究本部長 地形地図作成方法および装置
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP4467534B2 (ja) 2006-03-16 2010-05-26 富士通株式会社 障害物のある環境下で自律移動する移動ロボットおよび移動ロボットの制御方法。
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
US10008123B2 (en) * 2015-10-20 2018-06-26 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10803634B2 (en) * 2016-07-19 2020-10-13 Image Recognition Technology, Llc Reconstruction of three dimensional model of an object compensating for object orientation changes between surface or slice scans
JP6803919B2 (ja) * 2016-10-17 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体
US10621780B2 (en) * 2017-02-02 2020-04-14 Infatics, Inc. System and methods for improved aerial mapping with aerial vehicles
CN107145578B (zh) * 2017-05-08 2020-04-10 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
JP7043755B2 (ja) 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
CN108124489B (zh) * 2017-12-27 2023-05-12 达闼机器人股份有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
US11614746B2 (en) * 2018-01-05 2023-03-28 Irobot Corporation Mobile cleaning robot teaming and persistent mapping
US11221413B2 (en) * 2018-03-14 2022-01-11 Uatc, Llc Three-dimensional object detection
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
CN109163718A (zh) * 2018-09-11 2019-01-08 江苏航空职业技术学院 一种面向建筑群的无人机自主导航方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7332980B2 (ja) 2019-03-29 2023-08-24 戸田工業株式会社 チタン酸バリウム粒子を含む非水系分散体及びその製造方法

Also Published As

Publication number Publication date
US20240070873A1 (en) 2024-02-29
JP2024094326A (ja) 2024-07-09
EP4011764A4 (en) 2022-09-28
JPWO2021079794A1 (ja) 2021-04-29
EP4011764A1 (en) 2022-06-15
WO2021079794A1 (ja) 2021-04-29
CN114556255A (zh) 2022-05-27
US11854210B2 (en) 2023-12-26
US20220392079A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US11726501B2 (en) System and method for perceptive navigation of automated vehicles
US20190025071A1 (en) Information processing device
JP2024094326A (ja) 情報処理方法、情報処理装置およびプログラム
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
AU2014253606A1 (en) Landing system for an aircraft
AU2014253694A1 (en) Landing site tracker
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106501829A (zh) 一种无人机导航方法和装置
EP3612799A1 (en) Distributed device mapping
Magree et al. Combined laser and vision-aided inertial navigation for an indoor unmanned aerial vehicle
JP2020087248A (ja) 制御装置、制御方法及びプログラム
JP7147142B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
Magree et al. Monocular visual mapping for obstacle avoidance on UAVs
JP7032062B2 (ja) 点群データ処理装置、移動ロボット、移動ロボットシステム、および点群データ処理方法
CN117234203A (zh) 一种多源里程融合slam井下导航方法
JP6469492B2 (ja) 自律移動ロボット
CN114521248A (zh) 信息处理设备、信息处理方法和程序
JP7351609B2 (ja) 経路探索装置及びプログラム
Nakamura et al. Estimation techniques in robust vision-based landing of aerial vehicles
Deng et al. SLAM: Depth image information for mapping and inertial navigation system for localization
WO2021049227A1 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
Agarwal et al. Monocular vision based navigation and localisation in indoor environments
CN109901589B (zh) 移动机器人控制方法和装置
Xu et al. Enhancing visual SLAM with occupancy grid mapping for real-time locating applications in indoor GPS-denied environments
JP2021047744A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150