JPWO2016059930A1 - 装置、方法及びプログラム - Google Patents

装置、方法及びプログラム Download PDF

Info

Publication number
JPWO2016059930A1
JPWO2016059930A1 JP2016554022A JP2016554022A JPWO2016059930A1 JP WO2016059930 A1 JPWO2016059930 A1 JP WO2016059930A1 JP 2016554022 A JP2016554022 A JP 2016554022A JP 2016554022 A JP2016554022 A JP 2016554022A JP WO2016059930 A1 JPWO2016059930 A1 JP WO2016059930A1
Authority
JP
Japan
Prior art keywords
position estimation
flying object
estimation method
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016554022A
Other languages
English (en)
Other versions
JP6669072B2 (ja
Inventor
佐部 浩太郎
浩太郎 佐部
晴登 武田
晴登 武田
ペーター ドゥール
ペーター ドゥール
清水 悟
悟 清水
務 澤田
務 澤田
鈴木 康輔
康輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016059930A1 publication Critical patent/JPWO2016059930A1/ja
Application granted granted Critical
Publication of JP6669072B2 publication Critical patent/JP6669072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18Stabilised platforms, e.g. by gyroscope
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】飛行体の位置をより良好に推定することを可能にする。【解決手段】飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する取得部と、上記位置推定方式用のパラメータに従って、上記飛行体の慣性センサを用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、上記飛行体の位置を推定する位置推定部と、を備える装置が提供される。【選択図】図17

Description

本開示は、装置、方法及びプログラムに関する。
航空旅客機では、高精度な慣性センサとGPS(Global Positioning System)受信機との組合せを用いた姿勢推定及び位置推定などにより、自動飛行などの機能が実現されている。近年、慣性センサの小型化及び低価格化が進み、その結果、小型の飛行体にも慣性センサ及びGPS受信機が搭載され、位置推定及び姿勢推定などが行われている。
例えば、特許文献1には、GPS受信機及び慣性センサとの組合せを用いて移動体の静止を判定する技術が、開示されている。
特開2008−232869号公報
しかし、航空旅客機とは異なり、小型の飛行体は、GPS受信機を用いた位置推定が困難な場所で飛行し得る。一般的に小型の飛行体の慣性センサは精度が低いので、GPS受信機を用いた位置推定が困難になると、飛行体の位置が適切に推定されなくなる。その結果、飛行体を望み通りに飛行させることができなくなり得る。
そこで、飛行体の位置をより良好に推定することを可能にする仕組みが提供されることが望ましい。
本開示によれば、飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する取得部と、上記位置推定方式用のパラメータに従って、上記飛行体の慣性センサを用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、上記飛行体の位置を推定する位置推定部と、を備える装置が提供される。
また、本開示によれば、プロセッサにより、飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、上記位置推定方式用のパラメータに従って、上記飛行体の慣性センサを用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、上記飛行体の位置を推定することと、を含む方法が提供される。
また、本開示によれば、飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、上記位置推定方式用のパラメータに従って、上記飛行体の慣性センサを用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、上記飛行体の位置を推定することと、をプロセッサに実行させるためのプログラムが提供される。
以上説明したように本開示によれば、飛行体の位置をより良好に推定することが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記効果とともに、又は上記効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
ジャイロセンサと加速度センサとの組合せを用いた姿勢推定の第1の例を説明するための説明図である。 ジャイロセンサと加速度センサとの組合せを用いた姿勢推定の第2の例を説明するための説明図である。 慣性センサと他のセンサとの組合せを用いた位置推定の一例を説明するための説明図である。 本開示の実施形態に係るシステムの概略的な構成の一例を示す説明図である。 同実施形態に係る飛行体の構成の一例を示すブロック図である。 ジンバルを用いて飛行体に設置された単眼の撮像装置による撮像の第1の例を説明するための説明図である。 ジンバルを用いて飛行体に設置された単眼の撮像装置による撮像の第2の例を説明するための説明図である。 マーカの配置の例を説明するための説明図である。 モーションキャプチャが用いられるケースの一例を説明するための説明図である。 各位置推定方式の特徴を説明するための説明図である。 時間遅れパラメータに従った位置推定の例を説明するための説明図である。 時間遅れパラメータなしでの位置推定の結果の一例を説明するための説明図である。 時間遅れパラメータに従った位置推定の結果の一例を説明するための説明図である。 位置推定方式の選択(切替え)の第1の例を説明するための説明図である。 位置推定方式の選択(切替え)の第2の例を説明するための説明図である。 位置推定方式の選択(切替え)の第2の例を説明するための説明図である。 同実施形態に係る位置推定処理の概略的な流れの一例を示すフローチャートである。 同実施形態に係る第1の選択処理の概略的な流れの一例を示すフローチャートである。 同実施形態に係る第2の選択処理の概略的な流れの一例を示すフローチャートである。
以下に添付の図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じてモータ120A、120B及び120Cのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、モータ120A、120B及び120Cを特に区別する必要が無い場合には、単にモータ120と称する。
なお、説明は以下の順序で行うものとする。
1.基本的な姿勢推定及び位置推定
2.システムの概略的な構成
3.飛行体の構成
4.本実施形態に係る位置推定
5.処理の流れ
6.まとめ
<1.基本的な姿勢推定及び位置推定>
まず、図1〜図3を参照して、基本的な姿勢推定及び位置推定の例を説明する。
(1)慣性センサ
例えば、飛行体の慣性センサは、当該飛行体の角速度を検出するジャイロセンサ(又は角速度センサ)と、当該飛行体の加速度を測定する加速度センサを含む。上記慣性センサは、デジタルコンパス(又は地磁気センサ)をさらに含み得る。
(2)姿勢推定
(a)角速度からの推定
例えば、飛行体の姿勢の変化は、ジャイロセンサにより検出される角速度を積分することにより算出される。そのため、飛行体の姿勢の初期値と、当該飛行体の姿勢の変化とから、当該飛行体の姿勢が算出される。
ジャイロセンサにより検出される角速度は、短期的には高い信頼性を有するが、時間とともに緩やかに変化するドリフト特性を有する。そのため、ジャイロセンサにより検出される角速度(及び初期値)のみから姿勢を算出する場合には、当該姿勢には、時間とともに誤差が蓄積される。
(b)加速度からの推定
例えば、飛行体がホバリングしており移動していないと仮定すると、加速度センサにより検出される重力方向から、上記飛行体の姿勢を算出することができる。
加速度センサにより検出される加速度は、振動などの影響により高周波のノイズを含む。しかし、重力方向は時間によらず常に同じであるので、加速度センサは、長期的には高い信頼性を有する。
(c)センサフュージョン
上述したジャイロセンサの特性と加速度センサの特性とを利用して相補フィルタを構成することにより、信頼性の高い姿勢を算出することが可能である。このように複数のセンサを組み合わせることは、センサフュージョンと呼ばれ得る。以下、図1及び図2を参照して具合例を説明する。
図1は、ジャイロセンサと加速度センサとの組合せを用いた姿勢推定の第1の例を説明するための説明図である。図1を参照すると、加速度センサにより検出される加速度から、姿勢y(t)が算出され、ジャイロセンサにより検出される角速度から、姿勢y(t)が算出される。y(t)は、x(t)+n(t)で表され、y(t)は、x(t)+n(t)で表される。x(t)は、飛行体の実際の姿勢であり、n(t)は、加速度センサに起因する高周波のノイズであり、n(t)は、ジャイロセンサに起因する低周波のノイズである。姿勢y(t)は高周波のノイズn(t)を含むので、姿勢y(t)をローパスフィルタ11に通すことにより、姿勢y(t)から高周波のノイズn(t)がカットされる。一方、姿勢y(t)は低周波のノイズn(t)を含むので、姿勢y(t)をハイパスフィルタ13に通すことにより、姿勢y(t)から低周波のノイズn(t)がカットされる。例えば、ローパスフィルタ11及びハイパスフィルタ13は、相補的なフィルタである。そのため、以下のように、ローパスフィルタ11の出力値とハイパスフィルタ13の出力値を足し合わせることにより、ノイズのない元の信号が得られる。
Figure 2016059930
図2は、ジャイロセンサと加速度センサとの組合せを用いた姿勢推定の第2の例を説明するための説明図である。図2を参照すると、図1の例と同様に、加速度センサにより検出される加速度から、姿勢y(t)が算出され、ジャイロセンサにより検出される角速度から、姿勢y(t)が算出される。とりわけこの例では、ハイパスフィルタ13を使用する代わりに、姿勢y(t)から姿勢y(t)が差し引かれ、その結果として得られる差分(即ち、n(t)−n(t))が、ローパスフィルタ11に通される。その結果、低周波のノイズn(t)のマイナス値が出力される。そして、以下のように、姿勢y(t)から低周波のノイズn(t)が差し引かれ、その結果、ノイズのない元の信号が得られる。
Figure 2016059930
なお、このようにハイパスフィルタ13を用いないことにより、ハイパスフィルタ13での遅延をなくすことが可能になる。
(3)位置推定
(a)慣性センサを用いた位置推定
上述したように算出される姿勢に基づいて、加速度センサにより検出される加速度(即ち、加速度センサの座標系の加速度)が、地上座標系の加速度(例えば、地面からの加速度)に変換される。
さらに、変換後の加速度を積分することにより、上記飛行体の速度の変化が算出される。そのため、上記飛行体の速度の初期値と、上記飛行体の速度の変化とから、上記飛行体の速度が算出される。
さらに、上記速度を積分することにより、上記飛行体の位置の変化が算出される。そのため、上記飛行体の位置の初期値と、上記飛行体の位置の変化とから、上記飛行体の位置が算出される。
加速度センサにより検出される加速度はノイズを含む。そのため、当該加速度から算出される上記飛行体の位置には、時間とともに誤差が蓄積される。
(b)センサフュージョン
上述したような誤差の蓄積を回避するために、慣性センサと他のセンサとの組合せを用いたより信頼性の高い位置推定が実現される。例えば、慣性センサとGPS受信機との組合せを用いた位置推定が実現される。以下、図3を参照して具合例を説明する。
図3は、慣性センサと他のセンサとの組合せを用いた位置推定の一例を説明するための説明図である。図3を参照すると、加速度センサにより検出される加速度の変換により、地上座標系の加速度aが得られる。加速度aは、部分21において補正され、部分23において積分され、その結果、速度の変化が算出される。既に算出された速度vは、部分21において補正され、部分23において上記変化が加えられる。その結果、更新後の速度vが得られる。また、更新後の速度vは、部分23において積分され、その結果、位置の変化が算出される。既に算出された位置pは、部分21において補正され、部分23において上記変化が加えられる。その結果、更新後の位置pが得られる。さらに、他のセンサ(例えば、GPS受信機)を用いて生成された位置pと、更新後の位置pとの差分(例えば、p−p)が誤差eとして算出され、当該誤差eが、フィルタ25に通される。その結果、加速度の補正値△a、速度の補正値△v、及び位置の補正値△pが出力される。そして、これらの補正値が、部分21における補正に使用される。このように、他のセンサ(例えば、GPS受信機)により慣性センサが補完される。
なお、フィルタ25における処理は、以下のように表される。
Figure 2016059930
△a、△v及び△pは、更新後の補正値であり、△at−1、△vt−1及び△pt−1は、更新前の補正値である。k、k及びkは、フィルタ25の時定数Tを用いて以下のように表される。
Figure 2016059930
<2.システムの概略的な構成>
次に、図4を参照して、本開示の実施形態に係るシステム1の概略的な構成を説明する。図4は、本開示の実施形態に係るシステム1の概略的な構成の一例を示す説明図である。図4を参照すると、システム1は、飛行体100、制御装置200及び操縦装置300を含む。
(1)飛行体100
飛行体100は、飛行することが可能な装置である。例えば、飛行体100は、複数のロータ(例えば、4つのロータ)により飛行することが可能である。例えば、飛行体100は、各ロータの回転を制御することで、静止ホバリング、移動(上昇、下降、水平移動、及び斜め方向への移動など)及び回転などを行う。なお、飛行体100は、ロータではなく他の機構により飛行することが可能な装置であってもよい。
例えば、飛行体100は、飛行体100の姿勢及び位置を自ら推定し、当該姿勢及び当該位置に基づいて飛行を制御することが可能である。例えば、飛行体100は、指定された飛行経路に基づいて自動で飛行する。
例えば、飛行体100は、他の装置(例えば、制御装置200)と通信する。飛行体100は、他の装置と直接的に無線通信を行ってもよく、中継ノードとの無線通信を行うことにより、当該中継ノードを介して他の装置と通信してもよい。
例えば、飛行体100は、撮像装置を備え、当該撮像装置を用いて飛行中に撮像を行う。飛行体100は、当該撮像により生成される撮像画像を保存してもよく、制御装置200などの他の装置へ送信してもよい。当該撮像画像は、静止画像であってもよく、動画像であってもよい。
(2)制御装置200
制御装置200は、飛行体100の飛行に関する制御を実行する装置である。例えば、当該制御は、飛行体100のための飛行情報(例えば、飛行経路を示す情報など)の生成及び提供、並びに/又は、飛行体100への指示(例えば、離陸指示及び/若しくは帰還指示など)などを含む。
例えば、制御装置200は、飛行体100と通信する。制御装置200は、飛行体100と直接的に無線通信を行ってもよく、中継ノードを介して飛行体100と通信してもよい。
例えば、制御装置200は、飛行体100による撮像により生成される撮像画像を取得し、必要に応じて表示する。当該撮像画像は、動画像であってもよく、制御装置200は、当該動画像をストリーミングで取得し、表示してもよい。
一例として、制御装置200は、ノート型コンピュータ又はタブレット端末などの持ち運び可能な装置である。なお、当然ながら、制御装置200は、この例に限定されず、他の種類の装置であってもよい。
(3)操縦装置300
操縦装置300は、ユーザが飛行体100を操縦することを可能にする装置である。一例として、操縦装置300は、プロポーショナルシステム(又はプロポ)である。
例えば、操縦装置300は、制御装置200に接続される。操縦装置300は、ユーザによる操作に応じて、飛行体の動作に関する制御情報を生成し、当該制御情報を制御装置200へ送信する。制御装置200は、当該制御情報を飛行体100へ送信してもよく、当該制御情報から別の制御情報を生成して当該別の制御情報を飛行体100へ送信してもよい。
<3.飛行体の構成>
次に、図5を参照して、本開示の実施形態に係る飛行体100の構成の一例を説明する。図5は、本開示の実施形態に係る飛行体100の構成の一例を示すブロック図である。図5参照すると、飛行体100は、ロータ110、モータ120、センサ部130、撮像部140、記憶部150、無線通信部160、処理部170及びバッテリ190を備える。
(1)ロータ110及びモータ120
ロータ110A〜110Dは、回転により揚力を生じさせることにより、飛行体100を飛行させる。
(2)モータ120
モータ120A〜120Dは、処理部170(制御部181)による制御に応じて、ロータ110A〜110Dを回転させる。例えば、モータ120は、処理部170(制御部181)による制御に応じて、ロータ110の回転数を変化させる。
(2)センサ部130
センサ部130は、1つ以上のセンサを含む。例えば、センサ部130は、慣性センサ131、GPS受信機133、気圧計135及び超音波センサ137を含む。
例えば、慣性センサ131は、加速度センサ及びジャイロセンサを含む。慣性センサ131は、地磁気センサをさらに含んでもよい。
なお、センサ部130に含まれるセンサは、これらの例に限られない。センサ部130は、上述したセンサのうちの1つ以上のセンサ(慣性センサ131を除く)を含まなくてもよい。また、センサ部130は、他のセンサを含んでもよい。
(3)撮像部140
撮像部140は、撮像を行い、撮像画像を生成する。当該撮像画像は、静止画像であってもよく、動画像であってもよい。上記撮像画像は、記憶部150に保存されてもよく、無線通信部160を介して他の装置へ送信されてもよい。
撮像部140は、1つ以上の撮像装置を含む。当該1つ以上の撮像装置の各々は、レンズ及びイメージセンサなどを含む。上記1つ以上の撮像装置は、赤外線撮像装置及び/又は全方位撮像装置を含んでもよい。
(4)記憶部150
記憶部150は、様々な情報を記憶する。記憶部150は、飛行体100の動作のためのプログラム、及び/又は各種データを記憶する。
例えば、記憶部150は、不揮発性メモリ(例えば、メモリカードなど)を含む。記憶部150は、不揮発性メモリの代わりに、又は不揮発性メモリとともに、磁気記憶装置(例えば、ハードディスクドライブ)を含んでもよい。
(5)無線通信部160
無線通信部160は、無線通信を行う。無線通信部160は、他の装置(例えば、制御装置200)と直接的に無線通信を行ってもよく、他の装置との通信のために、中継ノードとの無線通信を行ってもよい。
例えば、無線通信部160は、アンテナ、RF(Radio Frequency)回路及び/又はベースバンドプロセッサなどを含む。
(6)処理部170
処理部170は、飛行体100の様々な処理を行う。処理部170は、選択部171、情報取得部173、情報生成部175、姿勢推定部177、位置推定部179及び制御部181を含む。なお、処理部170は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、処理部170は、これらの構成要素の動作以外の動作も行い得る。
例えば、処理部170は、回路(circuitry)を含む。より具体的には、例えば、処理部170は、1つ以上の集積回路(integrated circuit)を含む。例えば、当該1つ以上の集積回路は、処理部170の動作のためのプログラムを保持する。例えば、選択部171、情報取得部173、情報生成部175、姿勢推定部177、位置推定部179及び制御部181は、上記プログラムとして実装され得る。上記1つ以上の集積回路は、SoC(System-on-a-Chip)、マイクロコントローラ及び/又は他のプロセッサなどを含んでもよい。
(a)姿勢推定部177
姿勢推定部177は、飛行体100の姿勢を推定する。
例えば、姿勢推定部177は、慣性センサ131を用いて生成される情報を取得し、当該情報から飛行体100の姿勢を推定する。例えば、当該情報は、慣性センサ131に含まれるジャイロセンサにより検出される角速度を示す情報と、慣性センサ131に含まれる加速度センサにより検出される加速度を示す情報とを示す。飛行体100の姿勢推定については、例えば、基本的な姿勢推定として上述したとおりである。よって、ここでは詳細な説明を省略する。
(b)位置推定部179
位置推定部179は、飛行体100の位置を推定する。この点については後に詳細に説明する。
(c)制御部181
制御部181は、飛行体100の飛行に関する制御を行う。
(c−1)ロータ110の制御
例えば、制御部181は、ロータ110の回転を制御する。具体的には、例えば、制御部181は、モータ120の動作を制御することにより、ロータ110の回転を制御する。
例えば、制御部181は、ロータ110A、110B、110C、110Dの各々の回転数を調整することにより、飛行体100に、静止ホバリング、移動(上昇、下降、水平移動、及び斜め方向への移動など)及び回転などを行わせる。
より具体的には、例えば、各ロータの回転数の調整により、飛行体100の姿勢(ロール軸、ピッチ軸及びヨー軸の傾き)を変化させることができる。そのため、例えば、ロール軸及びピッチ軸に飛行体100を傾けることができ、その結果、水平方向への推進力が発生し、飛行体100は水平方向に移動する。また、例えば、ロータの回転数の増加又は減少により、上下方向の移動速度が変化する。
(c−2)飛行体100の姿勢の制御
例えば、制御部181は、飛行体100の姿勢を制御する。
例えば、制御部181は、姿勢推定部177により推定される飛行体100の姿勢と目標姿勢との誤差を修正する。より具体的には、例えば、制御部181は、当該誤差を算出し、当該誤差を修正するための、ロータ110の回転(又はモータ120の動作)を算出する。そして、制御部181は、上述したようにロータ110の回転を制御する。
(c−3)飛行体100の位置の制御
例えば、制御部181は、飛行体100の位置を制御する。
−制御の例
例えば、制御部181は、位置推定部179により推定される飛行体100の位置から目標位置へ飛行体100を移動させる。より具体的には、例えば、制御部181は、飛行体100の上記位置から上記目標位置への移動を算出し、当該移動を生み出す目標姿勢を算出する。そして、上述したように、制御部181は、飛行体100の姿勢と上記目標姿勢との誤差を修正する。
−目標位置の取得の例
一例として、制御部181は、保持している飛行経路情報から1つ以上の目標位置を取得する。上記飛行経路情報が、1つ以上の目標位置を示してもよく、制御部181が、上記飛行経路情報から1つ以上の目標位置を算出してもよい。
別の例として、制御装置200が、目標位置を示す情報を飛行体100へ送信し、制御装部181は、当該目標位置を示す当該情報を取得してもよい。
(c−4)その他
選択部171、情報取得部173及び情報生成部175の動作は、位置推定部179の動作と同様に、後に詳細に説明する。
(7)バッテリ190
バッテリ190は、飛行体100を動作させるための電力を蓄える。バッテリ190は、放電のみが可能な一次電池であってもよく、充電も可能な二次電池であってもよい。
<4.本開示の実施形態に係る位置推定>
次に、図6〜16を参照して、本開示の実施形態に係る位置推定の例を説明する。
(1)複数の位置推定方式
本開示の実施形態では、飛行体100の位置を推定するための複数の位置推定方式が用意される。例えば、上記複数の位置推定方式は、GPS受信機を用いる方式、飛行体100に設置された撮像装置を用いる方式、飛行体100を撮像する撮像装置を用いる方式、気圧計を用いる方式、及び超音波センサを用いる方式のうちの、少なくとも1つを含む。
(a)GPS受信機を用いる方式
例えば、位置推定方式として、GPS受信機を用いる方式がある。
GPS受信機は、複数のGPS衛星からの信号の受信に応じて位置を推定する。即ち、GPS受信機は、複数のGPS衛星からの信号の受信に応じて、緯度、経度及び高度を算出する。そのため、飛行体100のGPS受信機133は、飛行体100の位置を推定する。即ち、飛行体100のGPS受信機133は、飛行体100の緯度、経度及び高度を算出する。
(b)飛行体100に設置された撮像装置を用いる方式
例えば、位置推定方式として、飛行体100に設置された撮像装置を用いる方式がある。
(b−1)SLAM
例えば、飛行体100に設置された撮像装置を用いる方式は、SLAM(Simultaneous Localization and Mapping)を含む。
−単眼SLAM
例えば、単眼の撮像装置を用いるSLAM(以下、「単眼SLAM」と呼ぶ)がある。単眼SLAMでは、移動により発生する撮像画像内の特徴点の視差を利用して、当該特徴点の3次元位置とカメラの位置及び姿勢とが同時に推定される。
この方式では、特徴点が、遠くに存在する大きいものなのか、又は近くに存在する小さいものなのかが不定となるので、既知の大きさの特徴点を初期化の際に提示することが必要となる。また、飛行体100がその場で回転するようなケースでは、特徴点の視差が生じないので、特徴点の距離が不定となり、また、新たな特徴点を利用して位置及び姿勢を推定することが困難になり得る。
これらの弱点を補うために、例えば、単眼の撮像装置の光軸が飛行体100の上下方向の軸となるように、当該単眼の撮像装置が飛行体100に設置される。さらに、上記単眼の撮像装置がジンバルを用いて飛行体100に設置される。即ち、光軸が飛行体100の上下方向の軸となるようにジンバルを用いて飛行体100に設置された単眼の撮像装置を用いるSLAM(以下、「ジンバル付き単眼SLAM」と呼ぶ)が、位置推定方式として用意される。例えば、上記光軸は、鉛直軸である。以下、この点について、図6及び図7を参照して具体例を説明する。
図6は、ジンバルを用いて飛行体100に設置された単眼の撮像装置による撮像の第1の例を説明するための説明図である。図6を参照すると、飛行体100が示されている。この例では、光軸41が鉛直軸(鉛直方向43の軸)となるように、ジンバルを用いて単眼の撮像装置が飛行体100の上側に設置される。ジンバルの使用により、光軸41は、飛行体100が傾いたとしても、鉛直軸のまま維持される。そのため、上記単眼の撮像装置は、常に、鉛直方向43とは反対の方向の範囲45を撮像する。
図7は、ジンバルを用いて飛行体100に設置された単眼の撮像装置による撮像の第2の例を説明するための説明図である。図7を参照すると、飛行体100が示されている。この例では、光軸41が鉛直軸(鉛直方向43の軸)となるように、ジンバルを用いて単眼の撮像装置が飛行体100の下側に設置される。ジンバルの使用により、光軸41は、飛行体100が傾いたとしても、鉛直軸のまま維持される。そのため、上記単眼の撮像装置は、常に、鉛直方向43の範囲47を撮像する。
このように、光軸が飛行体100の上下方向となるように単眼の撮像装置を飛行体100に設置することにより、例えば、視差を生じさせにくいその場での回転を飛行体100のロール軸及びピッチ軸と対応させることが可能になる。飛行体100は、移動のために、ロール軸及びピッチ軸への傾きを生じさせるが、当該傾きは、±15度程度の範囲内である。よって、回転によって特徴点が新たなものに置き換えられる可能性は低いので、位置の推定が困難になりにくい。さらに、ジンバルを用いた設置により、例えば、鉛直方向の範囲、又は鉛直方向の反対の方向の範囲を常に撮像することが可能になる。そのため、位置推定のロバスト性が向上し得る。
なお、例えば、飛行体100の離着陸場所(例えば、ヘリポート)のテクスチャパターンが予め記憶されれば、飛行体100の離陸時に、上記離着陸場所が既知の大きさの特徴点として使用され得る。これにより、位置推定がより正確になり得る。
−ステレオSLAM
例えば、ステレオ撮像装置を用いるSLAM(以下、「ステレオSLAM」と呼ぶ)がある。ステレオSLAMでは、2つのカメラの視差を利用して特徴点の3次元位置が推定される。そのため、飛行体100の移動なしでも、位置の推定が可能である。また、既知の大きさの特徴点がなくても、位置の推定が可能である。
−SLAMの特徴
SLAMでは、移動量に応じて、推定される位置に誤差が蓄積される。そのため、飛行体100が長距離にわたり移動する場合には、慣性センサと同様にドリフトが発生し得る。しかし、慣性センサよりも誤差の量が少なくなり得ること、及び、同一の特徴点が用いられる場合には誤差が大きくならないことから、SLAMは、慣性センサを用いた位置推定を補完し得る。
(b−2)マーカ
例えば、飛行体100に設置された撮像装置を用いる方式は、マーカが配置されている既知の位置と、飛行体100に設置された撮像装置により生成される上記マーカの撮像画像とに基づいて、上記飛行体の位置を推定する方式を含む。
例えば、あるエリア内に複数のマーカが設置され、当該複数のマーカの各々の位置が、飛行体100において予め保持される。飛行体100が上記あるエリア内で飛行する場合に、飛行体100に設置された撮像装置が撮像を行い、当該撮像により生成される撮像画像内の各マーカの位置と、各マーカの既知の位置とから、飛行体100の位置が推定される。一例として、上記撮像装置は、全方位の撮像を可能にする全方位カメラである。一例として、上記複数のマーカの各々は、発光マーカ(例えば、発行LED(Light-Emitting Diode))であり、撮像画像には光る塊として映る。以下、図8を参照してマーカの配置の例を説明する。
図8は、マーカの配置の例を説明するための説明図である。図8を参照すると、エリア51と、エリア51を飛行する飛行体100とが示されている。エリア51には、4つのマーカ53が配置されている。飛行体100に設置された撮像装置(例えば、全方位カメラ)は撮像を行い、その結果、4つのマーカ53を撮像する。そして、撮像画像内の上記4つのマーカ53の各々の位置と、上記4つのマーカ53の既知の位置とから、飛行体100の位置が推定される。
例えば、全方位カメラの撮像画像内における中心からマーカへの方向が、実際の全方位カメラから当該マーカへの方向と一致する。そのため、マーカiの位置(M ,M )及び観測方向Theta(ギリシャ文字)、並びに、飛行体100の推定位置(x,y)及び推定方向alpha(ギリシャ文字)は、以下のように表される。
Figure 2016059930
3つの未知数(即ち、x、y、alpha(ギリシャ文字))があり、4つの観測点(4つのマーカ)があるので、非線形最適化問題で上記3つの未知数が算出される。
当然ながら、推定位置(x,y)及び推定方向alpha(ギリシャ文字)の算出の手法は、上述した例に限定されない。一例として、推定位置(x,y)及び推定方向alpha(ギリシャ文字)の複数の候補が予め用意され、当該複数の候補に含まれる候補から、上述した式に従って観測方向theta(ギリシャ文字)が算出されてもよい。そして、算出された当該観測方向と、撮像画像から得られる実際の観測方向との差分が、誤差として算出され、さらに、算出される当該誤差から、上記候補の尤度が算出されてもよい。そして、上記複数の候補の各々の尤度に基づいて、上記複数の候補のうちの1つの候補が選択され、当該1つの候補が飛行体100の位置及び方向として推定されてもよい。この際に、パーティクルフィルタが用いられてもよい。
なお、屋外では、発光マーカは、太陽光の反射などに起因して撮像画像内で埋もれてしまう可能性がある。フィルタによる可視光のカットによっても分離が困難となり得る。そのため、例えば、発光マーカは、特定の発光パターンを有してもよい。そして、撮像画像の中から、上記特定の発光パターンを有する発光マーカが検出されてもよい。
以上のような位置推定方式(即ち、マーカの撮像画像に基づく位置推定の方式)では、時間に比例した誤差の蓄積がない。そのため、当該位置推定方式は、慣性センサを用いた位置推定を補完し得る。
(c)飛行体を撮像する撮像装置を用いる方式
例えば、位置推定方式として、飛行体100を撮像する撮像装置を用いる方式がある。
例えば、モーションキャプチャでは、撮像装置により飛行体100が撮像され、撮像画像に基づいて飛行体100の位置及び動きが算出される。以下、図9を参照して、モーションキャプチャが用いられるケースの一例を説明する。
図9は、モーションキャプチャが用いられるケースの一例を説明するための説明図である。例えば、情報処理装置400は、撮像装置410、420により生成される撮像画像に基づいて、飛行体100の位置及び動きを算出する。そして、情報処理装置400は、当該位置(及び当該動き)を示す情報を、飛行体100へ送信する。一例として、情報処理装置400は、制御装置200を介して、上記情報を飛行体100へ送信する。なお、情報処理装置400は、直接的に、又は中継ノードを介して、上記情報を飛行体100へ送信してもよい。また、情報処理装置400と制御装置200とは、同一の装置であってもよい。
以上のような位置推定方式(即ち、飛行体100を撮像する撮像装置を用いる方式)では、時間に比例した誤差の蓄積がない。そのため、当該位置推定方式は、慣性センサを用いた位置推定を補完し得る。
(d)気圧計を用いる方式
例えば、位置推定方式として、気圧計を用いる方式がある。
例えば、飛行体100の気圧計135により測定される気圧から、飛行体100の高度が推定される。具体的には、飛行体100の気圧計135により測定される気圧に対応する高度が、飛行体100の高度として推定される。
気圧計を用いる方式では、時間に比例した誤差の蓄積がない。そのため、当該位置推定方式は、慣性センサを用いた位置推定を補完し得る。
(e)超音波センサを用いる方式
例えば、位置推定方式として、超音波センサを用いる方式がある。
例えば、飛行体100の超音波センサ137は、鉛直方向に超音波を発し、当該超音波の反射波を受信する。そして、上記超音波の発信から上記反射波の受信までの時間から、飛行体100の高度が推定される。
超音波センサを用いる方式では、時間に比例した誤差の蓄積がない。そのため、当該位置推定方式は、慣性センサを用いた位置推定を補完し得る。
(f)各方式の特徴
上述した位置推定方式は、それぞれ異なる特徴を有する。以下、この点について図10を参照して具体例を説明する。
図10は、各位置推定方式の特徴を説明するための説明図である。図10を参照すると、各位置推定方式の精度(分解能及び/又は位置の誤差)、サンプリングの周期、時間遅れ、フィルタ時定数、使用環境、及び慣性センサとの相性が示されている。上記時間遅れは、位置推定に伴う時間遅れである。上記フィルタ時定数は、補正値の算出に用いるフィルタの時定数であり、位置推定のノイズの特性に応じた値となる。例えば、GPS受信機を用いる方式では、精度は5〜10メートルであり、サンプリングの周期は2〜5Hzであり、位置推定に伴う時間遅れは400〜600ミリ秒である。単眼SLAMでは、精度は数センチメートル、サンプリングの周期は30Hz程度であり、位置推定に伴う時間遅れは30〜100ミリ秒である。このように、精度、周期、時間遅れ、フィルタ時定数、使用環境、及び慣性センサとの相性などは、位置推定方式によって異なる。
(2)位置推定方式の選択及び位置推定
情報取得部173は、飛行体100の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する。位置推定部179は、上記位置推定方式用のパラメータに従って、飛行体100の慣性センサ131を用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、飛行体100の位置を推定する。
(a)複数の位置推定方式
例えば、上記複数の位置推定方式は、GPS受信機を用いる方式、飛行体100に設置された撮像装置を用いる方式、飛行体100を撮像する撮像装置を用いる方式、気圧計を用いる方式、及び超音波センサを用いる方式のうちの、少なくとも1つを含む。これらの位置推定方式についての説明は、上述したとおりである。
(b)位置推定方式を示す情報の取得
第1の例として、後述するように、選択部171が、上記複数の位置推定方式の中から位置推定方式を動的に選択する。そして、情報取得部173は、上記位置推定方式を示す情報を取得する。
第2の例として、ユーザが、上記複数の位置推定方式の中から位置推定方式を静的に選択してもよく、当該位置推定方式を示す情報が、飛行体100において保持されてもよい。そして、情報取得部173は、当該情報を取得してもよい。
例えば、上記位置推定方式を示す上記情報は、上記位置推定方式の識別情報である。
(c)慣性センサ131を用いて生成される第1の情報
例えば、慣性センサ131は、加速度センサを含み、慣性センサ131を用いて生成される上記第1の情報は、飛行体100の加速度を示す情報を含む。
例えば、慣性センサ131を用いて生成される上記第1の情報は、飛行体100の姿勢を示す情報をさらに含む。当該姿勢は、上述したように姿勢推定部177により推定される。
(d)位置推定方式を通じて生成される第2の情報
例えば、上記位置推定方式を通じて生成される上記第2の情報は、飛行体100の位置を示す情報である。
(d−1)第1の例:GPS受信機を用いる方式のケース
第1の例として、上記位置推定方式は、GPS受信機を用いる方式である。この場合に、例えば、情報生成部175は、GPS受信機133の出力情報(飛行体100の緯度、経度及び高度を示す情報)を取得し、当該出力情報から、飛行体100の位置を示す上記第2の情報(例えば、所定の位置を原点とする飛行体100の位置を示す情報)を生成する。そして、位置推定部179は、上記第2の情報を取得する。
(d−2)第2の例:飛行体100に設置された撮像装置を用いる方式のケース
第2の例として、上記位置推定方式は、飛行体100に設置された撮像装置を用いる方式(例えば、SLAM、又はマーカの撮像画像に基づく位置推定の方式)である。この場合に、例えば、情報生成部175は、撮像部140に含まれる撮像装置により生成される撮像画像を取得し、当該撮像画像に基づいて、飛行体100の位置を示す上記第2の情報を生成する。そして、位置推定部179は、上記第2の情報を取得する。
(d−3)第3の例:飛行体100を撮像する撮像装置を用いる方式のケース
第3の例として、上記位置推定方式は、飛行体100を撮像する撮像装置を用いる方式である。図9を再び参照すると、例えば、情報処理装置400が、飛行体100の位置を示す上記第2の情報を生成し、当該第2の情報が、飛行体100へ送信される。そして、位置推定部179は、上記第2の情報を取得する。
(d−4)第4の例:気圧計を用いる方式のケース
第4の例として、上記位置推定方式は、気圧計を用いる方式である。この場合に、例えば、情報生成部175は、気圧計135の出力情報(気圧を示す情報)を取得し、当該出力情報から、飛行体100の位置を示す上記第2の情報(例えば、飛行体100の高度を示す情報)を生成する。そして、位置推定部179は、上記第2の情報を取得する。
(d−5)第5の例:超音波センサを用いる方式
第5の例として、上記位置推定方式は、超音波センサを用いる方式である。この場合に、例えば、位置推定部179は、超音波センサ137の出力情報(距離を示す情報)を、飛行体100の位置を示す上記第2の情報(例えば、飛行体100の高度を示す情報)として取得する。
(e)パラメータに従った位置の推定
(e−1)パラメータの保持
例えば、上記複数の位置推定方式の各々用のパラメータが、飛行体100において保持される。一例として、上記複数の位置推定方式の各々用のパラメータを含むテーブルが保持される。そして、位置推定部179は、保持されているパラメータを取得する。
(e−2)パラメータの例:時間遅れに関するパラメータ
例えば、上記位置推定方式用の上記パラメータは、上記位置推定方式での位置推定に伴う時間遅れに関するパラメータ(以下、「時間遅れパラメータ」と呼ぶ)を含む。
−時間遅れパラメータの例
一例として、上記時間遅れパラメータは、上記位置推定方式での位置推定に伴う上記時間遅れである。別の例として、上記時間遅れパラメータは、上記位置推定方式での位置推定に伴う上記時間遅れと、慣性センサを用いた位置推定に伴う時間遅れとの差分であってもよい。各位置推定方式についての時間遅れの例は、図10を参照して説明したとおりである。
−位置推定の例
例えば、位置推定部179は、上記時間遅れパラメータに従って、上記位置推定方式を通じて生成される上記第2の情報から補正値を算出する。そして、位置推定部179は、慣性センサ131を用いて生成される上記第1の情報と上記補正値とから、飛行体100の位置を推定する。
より具体的には、例えば、位置推定部179は、上記時間遅れパラメータに従って、既に推定された飛行体100の位置を示す第3の情報を取得する。そして、位置推定部179は、上記位置推定方式を通じて生成される上記第2の情報と、上記第3の情報とから、上記補正値を算出する。以下、図3及び図11を参照して具体例を説明する。
図3を再び参照すると、例えば、位置推定部179は、上記第1の情報(慣性センサ131を用いて生成される情報)として、加速度aを示す情報を取得する。そして、位置推定部179は、加速度aを示す当該情報と、フィルタ25により出力される補正値(加速度の補正値△a、速度の補正値△v、及び位置の補正値△)とから、飛行体の位置pを推定する。また、位置推定部179は、位置推定方式を通じて生成される第2の情報として、位置pを示す情報を取得し、既に推定された飛行体100の位置を示す第3の情報として、位置pを示す情報を取得する。そして、位置推定部179は、位置pを示す情報と、位置pを示す情報とから、位置pと位置pとの差分を誤差eとして算出し、誤差eをフィルタ25に通すことにより、上記補正値(加速度の補正値△a、速度の補正値△v、及び位置の補正値△)を算出する。とりわけ、位置推定部179は、上記位置推定方式での位置推定に伴う時間遅れに関するパラメータ(即ち、時間遅れパラメータ)に従って、位置pを示す情報(第3の情報)を取得する。
図11は、時間遅れパラメータに従った位置推定の例を説明するための説明図である。図11を参照すると、飛行体100の位置pを示す第3の情報61と、位置推定方式を通じて生成される第2の情報63(位置pを示す情報)とが示されている。例えば、慣性センサ131を用いた位置推定に伴う時間遅れ65(即ち、第3の情報61の生成に伴う時間遅れ)は、位置推定方式(例えば、GPS受信機を用いる方式)での位置推定に伴う時間遅れ67(即ち、第2の情報の生成に伴う時間遅れ)よりも非常に短い。そのため、例えば、単純に、時間T3で得られる第2の情報63Aと、その時点で最新である第3の情報61Fとが取得され、第2の情報63Aにより示される位置pと、第3の情報61Fにより示される位置pとの差分が誤差eとして算出されると、誤差eは、不適切な値になり得る。即ち、異なる時間の位置の差分が誤差eとして算出されてしまう。そこで、例えば、位置推定部179は、時間遅れ67を示すパラメータ(又は時間遅れ67と時間遅れ65との差分を示すパラメータ)に従って、時間T3よりも時間遅れ67だけ前の時間T1あたりの位置を示す第3の情報61A及び第2の情報63Aを取得する。そして、位置推定部179は、第2の情報63Aにより示される位置pと、第3の情報61Aにより示される位置pとの差分を、誤差eとして算出する。同様に、位置推定部179は、時間T2あたりの位置を示す第3の情報61F及び第2の情報63Bを取得する。そして、位置推定部179は、第2の情報63Bにより示される位置pと、第3の情報61Fにより示される位置pとの差分を、誤差eとして算出する。なお、位置p(即ち、第3の情報61)は、誤差eの算出のために、少なくとも時間遅れ67に相当する期間にわたり保持される。
例えばこのように、位置推定方式用の時間遅れパラメータに従って飛行体100の位置が推定される。これにより、例えば、当該位置推定方式に合った適切な補正値が算出される。その結果、飛行体100の位置がより良好に推定され得る。以下、この点について図12及び図13を参照して具体例を説明する。
図12は、時間遅れパラメータなしでの位置推定の結果の一例を説明するための説明図である。この例では、位置推定方式として、GPS受信機を用いた方式が使用される。飛行体100の移動に応じて、慣性センサを用いて推定される位置1010が変化する。一方、GPS受信機を用いて推定される位置1020は、飛行体100の移動の直後には変化しない。この例では、上記位置推定方式(即ち、GPS受信機を用いた方式)用の時間遅れパラメータなしで位置推定が行われるので、位置1010が変化するにもかかわらず、変化しない位置1020に起因して、推定位置1030は元の位置に引き戻されてしまう。
図13は、時間遅れパラメータに従った位置推定の結果の一例を説明するための説明図である。この例でも、位置推定方式として、GPS受信機を用いた方式が使用される。飛行体100の移動に応じて、慣性センサを用いて推定される位置1010が変化する。一方、GPS受信機を用いて推定される位置1020は、飛行体100の移動の直後には変化しない。この例では、上記位置推定方式(即ち、GPS受信機を用いた方式)用の時間遅れパラメータに従って位置推定が行われるので、変化しない位置1020に起因する推定位置1030の引き戻しが小さくなり、良好な推定位置1030が得られる。
(e−3)パラメータの例:ノイズの特性に関するパラメータ
例えば、上記位置推定方式用の上記パラメータは、上記位置推定方式での位置推定に伴うノイズの特性に関するパラメータ(以下、「ノイズ特性パラメータ」と呼ぶ)を含む。
−ノイズ特性パラメータの例
一例として、上記ノイズ特性パラメータは、補正値の算出に用いるフィルタの時定数である。図3を再び参照すると、上記ノイズ特性パラメータは、例えば、フィルタ25の時定数である。各位置推定方式についてのフィルタ時定数の例は、図10を参照して説明したとおりである。
別の例として、上記ノイズ特性パラメータは、上記ノイズの帯域であってもよい。そして、上記ノイズ特性パラメータ(上記ノイズの帯域)から、フィルタの時定数が算出されてもよい。
−位置推定の例
例えば、位置推定部179は、上記ノイズ特性パラメータに従って、上記位置推定方式を通じて生成される上記第2の情報から補正値を算出する。そして、位置推定部179は、慣性センサ131を用いて生成される上記第1の情報と上記補正値とから、飛行体100の位置を推定する。
図3を再び参照すると、例えば、フィルタ25の時定数Tとして、複数の位置推定方式の中から選択された位置推定方式用の時定数(即ち、ノイズ特性パラメータ)が設定される。当該時定数は、上記位置推定方式での位置推定に伴うノイズの特性に対応する時定数である。位置推定部179は、位置推定方式を通じて生成される第2の情報として、位置pを示す情報を取得し、位置pと、既に推定された飛行体100の位置pとの差分を、誤差eとして算出する。そして、位置推定部179は、フィルタ25(時定数T=ノイズ特性パラメータ)に、誤差eを通すことにより、補正値(加速度の補正値△a、速度の補正値△v、及び位置の補正値△)を算出する。そして、位置推定部179は、慣性センサ131を用いて生成される第1の情報(例えば、加速度aを示す情報)と上記補正値とから、飛行体100の位置pを推定する。
例えばこのように、位置推定方式用のノイズ特性パラメータに従って飛行体100の位置が推定される。これにより、例えば、当該位置推定方式に合った適切な補正値が算出される。その結果、飛行体の位置がより良好に推定され得る。
以上のように、位置推定部179は、複数の位置推定方式の中から選択された位置推定方式用のパラメータに従って、飛行体100の位置を推定する。これにより、例えば、GPS受信機を用いる位置推定方式のみではなく、他の位置推定方式を適用することが可能になる。そのため、GPS受信機による位置推定が困難であっても、飛行体100の位置をより良好に推定することが可能になる。また、複数の位置推定方式の中で位置推定方式が切り替えられる場合でも、位置推定方式の特徴(例えば、時間遅れ、及び/又はノイズ特性など)が位置推定において反映されるので、飛行体100の位置がより良好に推定され得る。また、複数の位置推定方式の中で位置推定方式の切替えをより容易に行うことが可能になる。
(3)位置推定方式の動的な選択
例えば、選択部171は、飛行体100の飛行中に上記複数の位置推定方式の中から位置推定方式を動的に選択する。即ち、飛行体100の飛行中に、上記複数の位置推定方式の中で、位置推定方式が切り替えられる。
(a)初期値の引渡し
例えば、新たな位置推定方式が選択される場合に、当該新たな位置推定方式での位置推定のために、位置推定の初期値が提供される。
(a−1)各構成要素の動作
例えば、選択部171は、上記複数の位置推定方式の中から第1の位置推定方式を選択する。すると、情報取得部173は、上記第1の位置推定方式を示す情報を取得する。そして、位置推定部179は、上記第1の位置推定方式用のパラメータに従って、慣性センサ131を用いて生成される第1の情報と、上記第1の位置推定方式を通じて生成される第2の情報とから、飛行体100の位置を推定する。
さらに、選択部171は、上記第1の位置推定方式の選択の後に、上記複数の位置推定方式の中から第2の位置推定方式を選択する。とりわけ、選択部171は、推定される上記位置を上記第2の位置推定方式での位置推定の初期値として提供する。例えば、情報生成部175が、上記第2の位置推定方式での位置推定を行い、選択部171は、情報生成部175に、推定される上記位置を上記初期値として提供する。
そして、情報取得部173は、上記第2の位置推定方式を示す情報を取得する。その後、位置推定部179は、上記第2の位置推定方式用のパラメータに従って、慣性センサ131を用いて生成される第1の情報と、上記第2の位置推定方式を通じて生成される第2の情報とから、飛行体100の位置を推定する。
(a−2)位置推定方式の例
例えば、上記第2の位置推定方式は、飛行体100の相対位置を推定するための方式である。より具体的には、例えば、上記第2の位置推定方式は、飛行体100に設置された撮像装置を用いる方式(例えば、SLAM、又はマーカの撮像画像に基づく位置推定の方式)である。
例えば、上記第1の位置推定方式は、飛行体100の絶対位置を推定するための方式である。より具体的には、例えば、上記第1の位置推定方式は、GPS受信機を用いる方式、飛行体100を撮像する撮像装置を用いる方式、気圧計を用いる方式、又は超音波センサを用いる方式である。なお、上記第1の位置推定方式も、飛行体100の相対位置を推定するための方式であってもよい。
(a−3)具体的な例
図3を再び参照すると、例えば、選択部171は、第1の位置推定方式(例えば、GPS受信機を用いる方式)を選択する。すると、位置推定部179は、慣性センサ131を用いて生成される第1の情報(例えば、加速度aを示す情報など)と、上記第1の位置推定方式を通じて生成される第2の情報(位置pを示す情報)とから、飛行体100の位置pを推定する。その後、例えば、選択部171は、第2の位置推定方式(例えば、SLAM)を選択し、位置pを、上記第2の位置推定方式での位置推定の初期値として、情報生成部175に提供する。すると、情報生成部175は、上記第2の位置推定方式での位置推定の初期値として、位置pを設定し、上記第2の位置推定方式を通じて第2の情報(位置pを示す情報)を生成する。そして、位置推定部179は、慣性センサ131を用いて生成される第1の情報(例えば、加速度aを示す情報など)と、上記第2の位置推定方式を通じて情報生成部175により生成される上記第2の情報(位置pを示す情報)とから、飛行体100の位置pを推定する。
(a−4)その他
例えば、上記第2の位置推定方式が、飛行体100の絶対位置を推定するための方式(例えば、GPS受信機を用いる方式など)である場合には、選択部171は、推定される上記位置を、上記第2の位置推定方式での位置推定の初期値として提供しない。
選択部171は、飛行体100の推定された上記位置に加えて、姿勢推定部177により推定される飛行体100の姿勢も、上記第2の位置推定方式での位置推定のための姿勢の初期値として提供してもよい。
例えば以上のように、新たな位置推定方式が選択される場合に、当該新たな位置推定方式での位置推定のために、位置推定の初期値が提供される。これにより、例えば、シームレスな位置推定を行うことが可能になる。また、絶対位置を推定するための方式での位置推定の値を、相対位置を推定するための方式に引き継ぐことが可能になる。また、相対位置を推定するための方式での位置推定の値が、選択のたびにリセットされるので、誤差の蓄積が減少し得る。
(b)選択のトリガ
(b−1)位置条件
例えば、選択部171は、飛行体100の位置が所定の位置条件を満たす場合に、上記複数の位置推定方式の中から位置推定方式を新たに選択する。
より具体的には、例えば、選択部171は、飛行体100の位置が所定の切替え位置になる場合に、上記複数の位置推定方式の中から位置推定方式を新たに選択する。以下、図14〜図16を参照して具体例を説明する。
−第1の例
図14は、位置推定方式の選択(切替え)の第1の例を説明するための説明図である。図14を参照すると、橋71が示されている。この例では、飛行体100は、橋71の裏側全体を撮像するために、StartからGoalまでの経路に沿って飛行する。即ち、飛行体100は、GPS衛星73からの電波が十分に届くエリア75と、GPS衛星73からの電波が届きにくいエリア77との間を、行き来する。この場合に、選択部171は、飛行体100がエリア75からエリア77に入る際に、位置推定方式としてSLAM(例えば、ステレオSLAM)を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア75とエリア77との境界の位置(又は当該境界付近の位置)になると、位置推定方式としてSLAM(例えば、ステレオSLAM)を新たに選択する。ここで、既に推定された位置が、SLAMでの位置推定の初期値として引き継がれる。また、既に推定された姿勢も、SLAMでの位置推定のための姿勢の初期値として引き継がれ得る。一方、選択部171は、飛行体100がエリア77からエリア75に入る際に、位置推定方式として、GPSを用いる方式を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア77とエリア75との境界の位置(又は当該境界付近の位置)になると、位置推定方式として、GPSを用いる方式を新たに選択する。このように、位置推定方式の切替え(即ち、GPSを用いる方式とSLAMとの切替え)が行われる。
なお、飛行体100が屋内と屋外を行き来する場合にも、位置推定方式が同様に選択され得る。
−第2の例
図15は、位置推定方式の選択(切替え)の第2の例を説明するための説明図である。図15を参照すると、高層ビル81が示されている。この例では、飛行体100は、高層ビル81の間のパスを含む経路に沿って飛行する。即ち、飛行体100は、GPS衛星からの電波が十分に届くエリア83、及びGPS衛星からの電波が届きにくいエリア85(即ち、高層ビル81の間のエリア)を飛行する。この場合に、選択部171は、飛行体100がエリア83からエリア85に入る際に、位置推定方式としてSLAM(例えば、ステレオSLAM)を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア83とエリア85との境界の位置(又は当該境界付近の位置)になると、位置推定方式としてSLAM(例えば、ステレオSLAM)を新たに選択する。ここで、既に推定された位置が、SLAMでの位置推定の初期値として引き継がれる。また、既に推定された姿勢も、SLAMでの位置推定のための姿勢の初期値として引き継がれ得る。一方、選択部171は、飛行体100がエリア85からエリア83に入る際に、位置推定方式として、GPSを用いる方式を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア85とエリア83との境界の位置(又は当該境界付近の位置)になると、位置推定方式として、GPSを用いる方式を新たに選択する。このように、位置推定方式の切替え(即ち、GPSを用いる方式とSLAMとの切替え)が行われる。
なお、飛行体100が山の谷を飛行する場合にも、位置推定方式が同様に選択され得る。
−第3の例
図16は、位置推定方式の選択(切替え)の第3の例を説明するための説明図である。図16を参照すると、競技場91が示されている。競技場91には、マーカ93が配置されている。この例では、飛行体100は、競技場91の内外を飛行する。即ち、飛行体100は、マーカ93を撮像不能なエリア95と、マーカ93を撮像可能なエリア97とを飛行する。この場合に、選択部171は、飛行体100がエリア95からエリア97に入る際に、位置推定方式として、マーカの撮像画像に基づく位置推定の方式を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア95とエリア97との境界の位置(又は当該境界付近の位置)になると、位置推定方式として、マーカの撮像画像に基づく位置推定の方式を新たに選択する。ここで、既に推定された位置が、マーカの撮像画像に基づく位置推定の初期値として引き継がれる。また、既に推定された姿勢が、マーカの撮像画像に基づく位置推定のための姿勢の初期値として引き継がれ得る。一方、選択部171は、飛行体100がエリア97からエリア95に入る際に、位置推定方式として、GPSを用いる方式を新たに選択する。即ち、選択部171は、飛行体100の位置がエリア97とエリア95との境界の位置(又は当該境界付近の位置)になると、位置推定方式として、GPSを用いる方式を新たに選択する。このように、位置推定方式の切替え(即ち、GPSを用いる方式と、マーカの撮像画像に基づく位置推定の方式との切替え)が行われる。
なお、飛行体100が、マーカが配置されている屋内と、マーカが配置されていない屋外とを行き来する場合にも、位置推定方式が同様に選択され得る。
以上のように、飛行体100の位置が上記所定の位置条件を満たす場合に、位置推定方式が新たに選択される。これにより、例えば、所望の位置で位置推定方式を自動で切替えることが可能になる。そのため、飛行体100が位置するエリアに応じて適切な位置推定方式が適用され得る。
(b−2)位置推定方式の信頼性
選択部171は、上記複数の位置推定方式の各々について動的に算出される信頼度に基づいて、上記複数の位置推定方式の中から位置推定方式を選択してもよい。
上記複数の位置推定方式の各々についての信頼度が、(例えば、0〜100の数値に)正規化されてもよい。そして、現在の位置推定方式について算出される信頼度が、他の位置推定方式について算出される信頼度よりも低くなる場合に、選択部171は、上記他の位置推定方式を新たに選択してもよい。
GPS受信機を用いた方式についての信頼度は、GPS衛星の捕捉状況(例えば、信号が受信されるGPS衛星の数、及び/又は、GPS衛星により送信される信号の受信感度など)に基づいて算出されてもよい。SLAMについての信頼度は、特徴点の数に基づいて算出されてもよい。マーカの撮像画像に基づく位置推定の方式についての信頼度は、マーカの検出状況に基づいて算出されてもよい。
これにより、例えば、より信頼度の高い位置推定方式が適用され、位置推定の精度が向上し得る。
例えば以上のように、飛行体100の飛行中に、上記複数の位置推定方式の中から位置推定方式が動的に選択される。これにより、例えば、飛行体100が様々なエリアを飛行する場合に、飛行体100の位置をより良好に推定することが可能になる。
(4)位置推定方式の併用
情報取得部173は、上記複数の位置推定方式の中から選択された2つ以上の位置推定方式を示す情報を取得してもよい。そして、位置推定部179は、上記2つ以上の位置推定方式の各々用のパラメータに従って、慣性センサ131を用いて生成される第1の情報と、上記2つ以上の位置推定方式の各々を通じて生成される第2の情報とから、飛行体100の位置を推定してもよい。即ち、2つ以上の位置推定方式が併用されてもよい。
例えば、上記2つ以上の位置推定方式の各々を通じて生成される上記第2の情報は、飛行体100の位置を示す情報である。
一例として、位置推定部179は、上記2つ以上の位置推定方式を通じて推定される位置の平均(即ち、平均位置)を算出してもよい。そして、位置推定部179は、上記第1の情報と、上記平均(即ち、平均位置)を示す情報とから、飛行体100の位置を推定してもよい。
別の例として、位置推定部179は、上記2つ以上の位置推定方式の各々について、位置推定方式を通じて推定される位置に、当該位置推定方式に対応する重みを乗算してもよい。そして、位置推定部179は、上記2つ以上の位置推定方式についての重み付きの位置の和を算出してもよい。そして、位置推定部179は、上記第1の情報と、上記和を示す情報とから、飛行体100の位置を推定してもよい。なお、上記位置推定方式に対応する上記重みは、上記位置推定方式についての信頼度であってもよい。
これにより、例えば、位置推定の精度が向上し得る。
<5.処理の流れ>
次に、図17〜図19を参照して、本開示の実施形態に係る処理の例を説明する。
(1)位置推定処理
図17は、本開示の実施形態に係る位置推定処理の概略的な流れの一例を示すフローチャートである。
情報取得部173は、飛行体100の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する(S501)。
位置推定部179は、上記位置推定方式用のパラメータを取得し、適用する(S503)。
位置推定部179は、飛行体100の慣性センサ131を用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、飛行体100の位置を推定する(S505)。そして、処理はステップS505を繰り返す。
(2)選択処理
(a)第1の例
図18は、本開示の実施形態に係る第1の選択処理の概略的な流れの一例を示すフローチャートである。
選択部171は、飛行体100の位置を示す情報を取得する(S521)。例えば、当該位置は、位置推定部179により推定される位置である。
飛行体100の上記位置が所定の位置条件を満たす場合には(S523:YES)、選択部171は、複数の位置推定方式の中から位置推定方式を新たに選択する(S525)。そして、選択部171は、飛行体100の位置(例えば、位置推定部179により推定される位置)を、上記位置推定方式での位置推定の初期値として提供する(S527)。そして、処理はステップS521へ戻る。
飛行体100の上記位置が上記所定の位置条件を満たさない場合には(S523:NO)、処理はステップS521へ戻る。
(b)第2の例
図19は、本開示の実施形態に係る第2の選択処理の概略的な流れの一例を示すフローチャートである。
選択部171は、複数の位置推定方式の各々についての信頼度を示す情報を取得する(S541)。
現在の位置推定方式についての信頼度よりも他の位置推定方式についての信頼度の方が高い場合には(S543:YES)、選択部171は、上記他の位置推定方式を新たに選択する(S545)。そして、選択部171は、飛行体100の位置(例えば、位置推定部179により推定される位置)を、上記他の位置推定方式での位置推定の初期値として提供する(S547)。そして、処理はステップS541へ戻る。
現在の位置推定方式についての信頼度の方が他の位置推定方式についての信頼度よりも高い場合には(S543:NO)、処理はステップS541へ戻る。
<6.まとめ>
ここまで、図1〜図19を参照して、本開示の実施形態に係る飛行体100及び各処理を説明した。本開示に係る実施形態によれば、飛行体100は、飛行体100の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する情報取得部173と、上記位置推定方式用のパラメータに従って、飛行体100の慣性センサ131を用いて生成される第1の情報と、上記位置推定方式を通じて生成される第2の情報とから、飛行体100の位置を推定する位置推定部179と、を備える。これにより、例えば、飛行体100の位置をより良好に推定することが可能になる。
なお、飛行体100のためのモジュールが、情報取得部173及び位置推定部179(並びに、処理部170に含まれる1つ以上の他の構成要素)を備えてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態を説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、本明細書の処理における処理ステップは、必ずしもフローチャート又はシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理における処理ステップは、フローチャート又はシーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、本明細書の装置(例えば、飛行体、又は飛行体のためのモジュール)に備えられるプロセッサ(例えば、CPU、DSPなど)を上記装置の構成要素(例えば、選択部171、情報取得部173、情報生成部175、姿勢推定部177、位置推定部179及び/又は制御部181)として機能させるためのコンピュータプログラム(換言すると、上記プロセッサに上記装置の構成要素の動作を実行させるためのコンピュータプログラム)も作成可能である。また、当該コンピュータプログラムを記録した記録媒体も提供されてもよい。また、上記コンピュータプログラムを記憶するメモリと、上記コンピュータプログラムを実行可能な1つ以上のプロセッサとを備える装置(例えば、飛行体、又は飛行体のためのモジュール)も提供されてもよい。また、上記装置の構成要素(例えば、選択部171、情報取得部173、情報生成部175、姿勢推定部177、位置推定部179及び/又は制御部181)の動作を含む方法も、本開示に係る技術に含まれる。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記効果とともに、又は上記効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する取得部と、
前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定する位置推定部と、
を備える装置。
(2)
前記パラメータは、前記位置推定方式での位置推定に伴う時間遅れに関するパラメータを含む、前記(1)に記載の装置。
(3)
前記位置推定部は、前記時間遅れに関する前記パラメータに従って、前記第2の情報から補正値を算出し、前記第1の情報と前記補正値とから、前記飛行体の位置を推定する、前記(2)に記載の装置。
(4)
前記位置推定部は、前記時間遅れに関する前記パラメータに従って、既に推定された前記飛行体の位置を示す第3の情報を取得し、前記第2の情報と当該第3の情報とから、前記補正値を算出する、前記(3)に記載の装置。
(5)
前記パラメータは、前記位置推定方式での位置推定に伴うノイズの特性に関するパラメータを含む、前記(1)〜(4)のいずれか1項に記載の装置。
(6)
前記位置推定部は、前記ノイズの前記特性に関する前記パラメータに従って、前記第2の情報から補正値を算出し、前記第1の情報と前記補正値とから、前記飛行体の位置を推定する、前記(5)に記載の装置。
(7)
前記ノイズに関する前記パラメータは、前記補正値の算出に用いるフィルタの時定数である、前記(6)に記載の装置。
(8)
前記複数の位置推定方式は、GPS(Global Positioning System)受信機を用いる方式、前記飛行体に設置された撮像装置を用いる方式、前記飛行体を撮像する撮像装置を用いる方式、気圧計を用いる方式、及び超音波センサを用いる方式のうちの、少なくとも1つを含む、前記(1)〜(7)のいずれか1項に記載の装置。
(9)
前記飛行体に設置された撮像装置を用いる前記方式は、マーカが配置されている既知の位置と、前記飛行体に設置された撮像装置により生成される前記マーカの撮像画像とに基づいて、前記飛行体の位置を推定する方式を含む、前記(8)に記載の装置。
(10)
前記飛行体に設置された撮像装置を用いる前記方式は、光軸が前記飛行体の上下方向の軸となるようにジンバルを用いて前記飛行体に設置された単眼の撮像装置を用いるSLAM(Simultaneous Localization and Mapping)を含む、前記(8)又は(9)に記載の装置。
(11)
前記第1の情報は、前記飛行体の加速度を示す情報を含み、
前記第2の情報は、前記飛行体の位置を示す情報である、
前記(1)〜(10)のいずれか1項に記載の装置。
(12)
前記飛行体の飛行中に前記複数の位置推定方式の中から位置推定方式を動的に選択する選択部をさらに備える、前記(1)〜(11)のいずれか1項に記載の装置。
(13)
前記選択部は、前記複数の位置推定方式の中から第1の位置推定方式を選択し、
前記取得部は、前記第1の位置推定方式を示す情報を取得し、
前記位置推定部は、前記第1の位置推定方式用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記第1の位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定し、
前記選択部は、前記第1の位置推定方式の選択の後に、前記複数の位置推定方式の中から第2の位置推定方式を選択し、推定される前記位置を、前記第2の位置推定方式での位置推定の初期値として提供し、
前記取得部は、前記第2の位置推定方式を示す情報を取得し、
前記位置推定部は、前記第2の位置推定方式用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記第2の位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定する、
前記(12)に記載の装置。
(14)
前記第2の位置推定方式は、前記飛行体の相対位置を推定するための方式である、前記(13)に記載の装置。
(15)
前記選択部は、前記飛行体の位置が所定の位置条件を満たす場合に、前記複数の位置推定方式の中から位置推定方式を新たに選択する、前記(12)〜(14)のいずれか1項に記載の装置。
(16)
前記選択部は、前記複数の位置推定方式の各々について動的に算出される信頼度に基づいて、前記複数の位置推定方式の中から位置推定方式を選択する、前記(12)〜(15)のいずれか1項に記載の装置。
(17)
前記取得部は、前記複数の位置推定方式の中から選択された2つ以上の位置推定方式を示す情報を取得し、
前記位置推定部は、前記2つ以上の位置推定方式の各々用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記2つ以上の位置推定方式の各々を通じて生成される第2の情報とから、前記飛行体の位置を推定する、
前記(1)〜(16)のいずれか1項に記載の装置。
(18)
前記装置は、前記飛行体、又は前記飛行体のためのモジュールである、前記(1)〜(17)のいずれか1項に記載の装置。
(19)
プロセッサにより、
飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、
前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定することと、
を含む方法。
(20)
飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、
前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定することと、
をプロセッサに実行させるためのプログラム。
1 システム
51、93 マーカ
100 飛行体
171 選択部
173 情報取得部
179 位置推定部
200 制御装置
300 操縦装置
400 情報処理装置
410、420 撮像装置

Claims (20)

  1. 飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得する取得部と、
    前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定する位置推定部と、
    を備える装置。
  2. 前記パラメータは、前記位置推定方式での位置推定に伴う時間遅れに関するパラメータを含む、請求項1に記載の装置。
  3. 前記位置推定部は、前記時間遅れに関する前記パラメータに従って、前記第2の情報から補正値を算出し、前記第1の情報と前記補正値とから、前記飛行体の位置を推定する、請求項2に記載の装置。
  4. 前記位置推定部は、前記時間遅れに関する前記パラメータに従って、既に推定された前記飛行体の位置を示す第3の情報を取得し、前記第2の情報と当該第3の情報とから、前記補正値を算出する、請求項3に記載の装置。
  5. 前記パラメータは、前記位置推定方式での位置推定に伴うノイズの特性に関するパラメータを含む、請求項1に記載の装置。
  6. 前記位置推定部は、前記ノイズの前記特性に関する前記パラメータに従って、前記第2の情報から補正値を算出し、前記第1の情報と前記補正値とから、前記飛行体の位置を推定する、請求項5に記載の装置。
  7. 前記ノイズに関する前記パラメータは、前記補正値の算出に用いるフィルタの時定数である、請求項6に記載の装置。
  8. 前記複数の位置推定方式は、GPS(Global Positioning System)受信機を用いる方式、前記飛行体に設置された撮像装置を用いる方式、前記飛行体を撮像する撮像装置を用いる方式、気圧計を用いる方式、及び超音波センサを用いる方式のうちの、少なくとも1つを含む、請求項1に記載の装置。
  9. 前記飛行体に設置された撮像装置を用いる前記方式は、マーカが配置されている既知の位置と、前記飛行体に設置された撮像装置により生成される前記マーカの撮像画像とに基づいて、前記飛行体の位置を推定する方式を含む、請求項8に記載の装置。
  10. 前記飛行体に設置された撮像装置を用いる前記方式は、光軸が前記飛行体の上下方向の軸となるようにジンバルを用いて前記飛行体に設置された単眼の撮像装置を用いるSLAM(Simultaneous Localization and Mapping)を含む、請求項8に記載の装置。
  11. 前記第1の情報は、前記飛行体の加速度を示す情報を含み、
    前記第2の情報は、前記飛行体の位置を示す情報である、
    請求項1に記載の装置。
  12. 前記飛行体の飛行中に前記複数の位置推定方式の中から位置推定方式を動的に選択する選択部をさらに備える、請求項1に記載の装置。
  13. 前記選択部は、前記複数の位置推定方式の中から第1の位置推定方式を選択し、
    前記取得部は、前記第1の位置推定方式を示す情報を取得し、
    前記位置推定部は、前記第1の位置推定方式用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記第1の位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定し、
    前記選択部は、前記第1の位置推定方式の選択の後に、前記複数の位置推定方式の中から第2の位置推定方式を選択し、推定される前記位置を、前記第2の位置推定方式での位置推定の初期値として提供し、
    前記取得部は、前記第2の位置推定方式を示す情報を取得し、
    前記位置推定部は、前記第2の位置推定方式用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記第2の位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定する、
    請求項12に記載の装置。
  14. 前記第2の位置推定方式は、前記飛行体の相対位置を推定するための方式である、請求項13に記載の装置。
  15. 前記選択部は、前記飛行体の位置が所定の位置条件を満たす場合に、前記複数の位置推定方式の中から位置推定方式を新たに選択する、請求項12に記載の装置。
  16. 前記選択部は、前記複数の位置推定方式の各々について動的に算出される信頼度に基づいて、前記複数の位置推定方式の中から位置推定方式を選択する、請求項12に記載の装置。
  17. 前記取得部は、前記複数の位置推定方式の中から選択された2つ以上の位置推定方式を示す情報を取得し、
    前記位置推定部は、前記2つ以上の位置推定方式の各々用のパラメータに従って、前記慣性センサを用いて生成される第1の情報と、前記2つ以上の位置推定方式の各々を通じて生成される第2の情報とから、前記飛行体の位置を推定する、
    請求項1に記載の装置。
  18. 前記装置は、前記飛行体、又は前記飛行体のためのモジュールである、請求項1に記載の装置。
  19. プロセッサにより、
    飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、
    前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定することと、
    を含む方法。
  20. 飛行体の位置を推定するための複数の位置推定方式の中から選択された位置推定方式を示す情報を取得することと、
    前記位置推定方式用のパラメータに従って、前記飛行体の慣性センサを用いて生成される第1の情報と、前記位置推定方式を通じて生成される第2の情報とから、前記飛行体の位置を推定することと、
    をプロセッサに実行させるためのプログラム。
JP2016554022A 2014-10-17 2015-09-16 装置、方法及びプログラム Active JP6669072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014212311 2014-10-17
JP2014212311 2014-10-17
PCT/JP2015/076315 WO2016059930A1 (ja) 2014-10-17 2015-09-16 装置、方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020032297A Division JP7014243B2 (ja) 2014-10-17 2020-02-27 装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016059930A1 true JPWO2016059930A1 (ja) 2017-07-27
JP6669072B2 JP6669072B2 (ja) 2020-03-18

Family

ID=55746478

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016554022A Active JP6669072B2 (ja) 2014-10-17 2015-09-16 装置、方法及びプログラム
JP2020032297A Active JP7014243B2 (ja) 2014-10-17 2020-02-27 装置、方法及びプログラム
JP2022004617A Active JP7235144B2 (ja) 2014-10-17 2022-01-14 装置、方法及びプログラム
JP2023026661A Pending JP2023075162A (ja) 2014-10-17 2023-02-22 装置、方法及びプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020032297A Active JP7014243B2 (ja) 2014-10-17 2020-02-27 装置、方法及びプログラム
JP2022004617A Active JP7235144B2 (ja) 2014-10-17 2022-01-14 装置、方法及びプログラム
JP2023026661A Pending JP2023075162A (ja) 2014-10-17 2023-02-22 装置、方法及びプログラム

Country Status (3)

Country Link
US (5) US10203208B2 (ja)
JP (4) JP6669072B2 (ja)
WO (1) WO2016059930A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594119B2 (ja) * 2015-08-31 2019-10-23 シャープ株式会社 自律走行装置
CN105974937A (zh) * 2016-05-31 2016-09-28 南充驭云创新科技有限公司 一种用于打窝的旋翼无人机及其工作方法和飞行遥控系统
WO2018034033A1 (ja) 2016-08-16 2018-02-22 本郷飛行機株式会社 通信制御装置
JP6791535B2 (ja) 2017-03-31 2020-11-25 日本電気株式会社 点検装置、点検装置の制御方法及び制御プログラム
KR101910741B1 (ko) * 2017-05-30 2018-10-22 경북대학교 산학협력단 드론의 고도 측정 장치 및 방법
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
JP6701153B2 (ja) * 2017-11-10 2020-05-27 株式会社Subaru 移動体の位置計測システム
JP2019159488A (ja) * 2018-03-08 2019-09-19 日本電信電話株式会社 飛行制御装置、方法、プログラム、及び記憶媒体
WO2019188874A1 (ja) * 2018-03-27 2019-10-03 パイオニア株式会社 データ構造、情報処理装置、及び地図データ生成装置
WO2019193642A1 (ja) * 2018-04-03 2019-10-10 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
US20210191429A1 (en) * 2018-06-26 2021-06-24 Ntt Docomo, Inc. Flying object control apparatus
WO2020089675A1 (ru) * 2018-10-30 2020-05-07 Общество С Ограниченной Ответственностью "Альт" Способ и система обратного оптического трекинга подвижного объекта
JP6974290B2 (ja) * 2018-10-31 2021-12-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 位置推定装置、位置推定方法、プログラム、及び記録媒体
JP7275553B2 (ja) * 2018-12-10 2023-05-18 ソニーグループ株式会社 移動体、移動体の制御方法及びプログラム
JP2020102127A (ja) * 2018-12-25 2020-07-02 清水建設株式会社 埋設物可視化システム
JP2020134486A (ja) * 2019-02-26 2020-08-31 日本電気通信システム株式会社 位置測位装置、位置測位方法及びコンピュータプログラム
JP7385388B2 (ja) * 2019-07-22 2023-11-22 株式会社ダイヘン 自己位置推定装置
US11340696B2 (en) 2020-01-13 2022-05-24 Sony Interactive Entertainment Inc. Event driven sensor (EDS) tracking of light emitting diode (LED) array
JP7207830B2 (ja) * 2020-10-29 2023-01-18 日本電気株式会社 点検装置、点検装置の制御方法及び制御プログラム
JP7482757B2 (ja) * 2020-11-13 2024-05-14 三菱重工業株式会社 航空機の位置制御システム、航空機、及び航空機の位置制御方法
JP2024028683A (ja) * 2021-01-21 2024-03-05 ソニーグループ株式会社 移動体、情報処理方法及びコンピュータプログラム
US11681297B2 (en) * 2021-03-02 2023-06-20 Southwest Research Institute Autonomous vehicle and self-location estimating method in autonomous vehicle
JP2022146457A (ja) * 2021-03-22 2022-10-05 国立大学法人京都大学 自動走行システム
WO2022208588A1 (ja) * 2021-03-29 2022-10-06 三菱電機株式会社 位置推定装置、位置推定プログラムおよび位置推定方法
JPWO2023032277A1 (ja) * 2021-09-01 2023-03-09
JP7333565B1 (ja) * 2022-08-08 2023-08-25 学校法人 芝浦工業大学 飛行体および飛行体の制御方法
US20240155307A1 (en) * 2022-11-03 2024-05-09 X Development Llc Coordination of beacon signal scanning in an object tracking system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037323A (ja) * 2002-07-04 2004-02-05 National Aerospace Laboratory Of Japan 滞留型飛翔体を用いた測位システム
US20080294306A1 (en) * 2007-05-23 2008-11-27 Airbus France Method and device for monitoring a position indication of an aircraft
JP2010019703A (ja) * 2008-07-10 2010-01-28 Toyota Motor Corp 移動体用測位装置
JP2010066073A (ja) * 2008-09-09 2010-03-25 Nec Corp 移動体位置推定システム、移動体位置推定方法、及び移動体位置推定プログラム
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2012177564A (ja) * 2011-02-25 2012-09-13 Seiko Epson Corp 移動体測位方法、移動体測位装置
WO2013147822A1 (en) * 2012-03-29 2013-10-03 Intel Corporation Device, system and method of location estimation of a mobile device
JP2013205278A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 測位用マーカおよび撮像装置の位置・姿勢推定システム
JP2014174070A (ja) * 2013-03-12 2014-09-22 Mitsubishi Electric Corp 誘導装置
JP2014174040A (ja) * 2013-03-11 2014-09-22 Tobishima Corp 不均質物性の測定対象物につき行われる弾性波トモグラフィにおける発信点・物性状況(劣化状況)同時特定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4168524A (en) * 1977-09-29 1979-09-18 The Charles Stark Draper Laboratory, Inc. Airborne surveying apparatus and method
JP3850541B2 (ja) 1998-02-18 2006-11-29 富士重工業株式会社 高度計測装置
US7920943B2 (en) * 2005-01-24 2011-04-05 Ohio University Precision approach guidance system and associated method
FR2897712B1 (fr) * 2006-02-20 2008-04-04 Airbus France Sas Dispositif d'aide au pilotage d'un aeronef lors d'une phase d'approche en vue d'un atterrissage.
JP5398120B2 (ja) 2007-03-22 2014-01-29 古野電気株式会社 Gps複合航法装置
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
JP2009236545A (ja) 2008-03-26 2009-10-15 Mitsubishi Space Software Kk 画像処理装置及び画像処理システム及び画像処理方法及び画像処理プログラム
AU2013202111B2 (en) 2012-03-30 2016-03-31 Gallagher Group Limited A fence standard
EP3754381A1 (en) * 2013-12-10 2020-12-23 SZ DJI Technology Co., Ltd. Sensor fusion
JP6849298B2 (ja) 2019-12-09 2021-03-24 株式会社大一商会 遊技機

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037323A (ja) * 2002-07-04 2004-02-05 National Aerospace Laboratory Of Japan 滞留型飛翔体を用いた測位システム
US20080294306A1 (en) * 2007-05-23 2008-11-27 Airbus France Method and device for monitoring a position indication of an aircraft
JP2010019703A (ja) * 2008-07-10 2010-01-28 Toyota Motor Corp 移動体用測位装置
JP2010066073A (ja) * 2008-09-09 2010-03-25 Nec Corp 移動体位置推定システム、移動体位置推定方法、及び移動体位置推定プログラム
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2012177564A (ja) * 2011-02-25 2012-09-13 Seiko Epson Corp 移動体測位方法、移動体測位装置
WO2013147822A1 (en) * 2012-03-29 2013-10-03 Intel Corporation Device, system and method of location estimation of a mobile device
JP2013205278A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 測位用マーカおよび撮像装置の位置・姿勢推定システム
JP2014174040A (ja) * 2013-03-11 2014-09-22 Tobishima Corp 不均質物性の測定対象物につき行われる弾性波トモグラフィにおける発信点・物性状況(劣化状況)同時特定方法
JP2014174070A (ja) * 2013-03-12 2014-09-22 Mitsubishi Electric Corp 誘導装置

Also Published As

Publication number Publication date
US20210270610A1 (en) 2021-09-02
US20230288207A1 (en) 2023-09-14
JP7014243B2 (ja) 2022-02-01
WO2016059930A1 (ja) 2016-04-21
US20190137274A1 (en) 2019-05-09
US20170292841A1 (en) 2017-10-12
JP2023075162A (ja) 2023-05-30
US11668569B2 (en) 2023-06-06
JP6669072B2 (ja) 2020-03-18
US20190376791A1 (en) 2019-12-12
US11067396B2 (en) 2021-07-20
JP2022044671A (ja) 2022-03-17
US10436591B2 (en) 2019-10-08
JP7235144B2 (ja) 2023-03-08
US10203208B2 (en) 2019-02-12
JP2020112557A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
JP7014243B2 (ja) 装置、方法及びプログラム
US10060741B2 (en) Topology-based data gathering
US10969776B2 (en) Methods and apparatus for reducing energy consumed by drones during flight
CN103472503B (zh) 探空仪及基于ins的高空风探测方法
WO2018086122A1 (zh) 多路传感数据融合的方法和系统
US11798426B2 (en) Autonomous mission action alteration
JP2019073056A (ja) 無人航空機制御装置、無人航空機、データ処理装置、無人航空機制御方法および無人航空機制御処理用プログラム
JP2018112445A (ja) 演算装置、演算方法、演算システムおよびプログラム
JP2019006154A (ja) 飛行体、飛行制御システム、飛行制御方法、プログラム及び記録媒体
JP2018136205A (ja) 制御装置、光学装置、制御方法、無人航空機の追跡システムおよびプログラム
JP2010214979A (ja) 計算機及び着陸経路計算プログラム及び記録媒体
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
CN108733068A (zh) 飞行器
CN110906922A (zh) 无人机位姿信息的确定方法及装置、存储介质、终端
JP2020071580A (ja) 情報処理装置、飛行制御方法及び飛行制御システム
US10830906B2 (en) Method of adaptive weighting adjustment positioning
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端
CN116793340B (zh) 一种无人机自动着陆导航方法、装置及电子设备
Thalagala et al. MUN-FRL: A Visual Inertial LiDAR Dataset for Aerial Autonomous Navigation and Mapping
JP2018128376A (ja) 演算装置、演算方法およびプログラム
JP7020813B2 (ja) 移動体制御システム及びプログラム
JP2024021143A (ja) 3次元データ生成システム、及び3次元データ生成方法
JP2001091254A (ja) 位置算出装置および位置算出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R151 Written notification of patent or utility model registration

Ref document number: 6669072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151