JP7468523B2 - 移動体、位置推定方法、およびプログラム - Google Patents

移動体、位置推定方法、およびプログラム Download PDF

Info

Publication number
JP7468523B2
JP7468523B2 JP2021524753A JP2021524753A JP7468523B2 JP 7468523 B2 JP7468523 B2 JP 7468523B2 JP 2021524753 A JP2021524753 A JP 2021524753A JP 2021524753 A JP2021524753 A JP 2021524753A JP 7468523 B2 JP7468523 B2 JP 7468523B2
Authority
JP
Japan
Prior art keywords
zoom
moving body
imaging unit
imaging
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021524753A
Other languages
English (en)
Other versions
JPWO2020246261A1 (ja
Inventor
雄也 山口
誠 ダニエル 徳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020246261A1 publication Critical patent/JPWO2020246261A1/ja
Application granted granted Critical
Publication of JP7468523B2 publication Critical patent/JP7468523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Description

本開示は、移動体、位置推定方法、およびプログラムに関し、特に、自己位置推定の高精度化を実現することができるようにする移動体、位置推定方法、およびプログラムに関する。
近年、移動体において、カメラから得られる画像を用いて自己位置を推定するとともに、周囲の環境構造（マップ）を取得するＶｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization And Mapping）と呼ばれる技術が知られている。
例えば非特許文献１には、単眼カメラを用いたＳＬＡＭ技術が開示されている。
通常、自己位置推定を行うためには、カメラの移動前と移動後とで、カメラの画角内に共通の被写体が写っている必要がある。
Andrew J. Davison, "Real-Time Simultaneous Localization and Mapping with a Single Camera", Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410
カメラの画角については、視野角と空間分解能（距離精度）とがトレードオフとなることが一般的に知られている。
空中を飛行するドローンは、地上を移動する車両などと異なり、地表の近くから上空まであらゆる環境を移動することができる。そのため、ドローンにおいて自己位置推定を行う場合、被写体までの距離が遠くなることで空間分解能（距離精度）が不足し、自己位置推定の精度が低下してしまう。
本開示は、このような状況に鑑みてなされたものであり、自己位置推定の高精度化を実現することができるようにするものである。
本開示の移動体は、ズームレンズを有する撮像部と、自機の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定する撮像制御部と、前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、自己位置を推定する自己位置推定部とを備え、前記撮像制御部は、前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する移動体である。ズームパラメータには、ズームレンズのズーム倍率、撮像部のカメラパラメータが含まれる。
本開示の位置推定方法は、ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定し、前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する位置推定方法である。
本開示のプログラムは、プロセッサに、ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定し、前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する処理を実行させるためのプログラムである。
本開示においては、ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータが設定され、前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置が推定され、前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータがさらに調整される。
移動体の外観を示す図である。 撮像部を備える移動体の構成について説明する図である。 ジンバル構造を有する撮像部の構成について説明する図である。 移動体の構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 撮像部の詳細な構成例を示すブロック図である。 移動体の移動制御の流れについて説明するフローチャートである。 ズーム制御処理の流れについて説明するフローチャートである。 移動体の高度と視野角について説明する図である。 移動体の高度と視野角について説明する図である。 ズームレンズの駆動制御値とカメラパラメータの関係を示す図である。 ズーム制御処理の流れについて説明するフローチャートである。 移動体の移動速度と視野角について説明する図である。 ズーム制御処理の流れについて説明するフローチャートである。 ディスパリティの求め方について説明する図である。 ズーム制御処理の流れについて説明するフローチャートである。 オーバーラップ率について説明する図である。 測距デバイスをさらに備える移動体の構成について説明する図である。 自己位置推定が行われている間の処理の流れについて説明するフローチャートである。 自己位置推定結果の統合について説明する図である。 内部パラメータのキャリブレーションの流れについて説明するフローチャートである。 キャリブレーション時の撮像部の姿勢を示す図である。 外部パラメータのキャリブレーションの流れについて説明するフローチャートである。 外部パラメータのキャリブレーションの流れについて説明するフローチャートである。 移動体の制御システムの構成例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．Ｖｉｓｕａｌ ＳＬＡＭと本開示に係る技術の概要
２．移動体の構成と移動制御
３．ズーム制御処理の流れ１（高度に応じたズームパラメータ設定）
４．ズーム制御処理の流れ２（移動速度に応じたズームパラメータ調整）
５．ズーム制御処理の流れ３（ディスパリティに応じたズームパラメータ調整）
６．ズーム制御処理の流れ４（オーバーラップ率に応じたズームパラメータ調整）
７．測位デバイスを備える移動体の構成
８．キャリブレーションの流れ
９．移動体の制御システムの構成
＜１．Ｖｉｓｕａｌ ＳＬＡＭと本開示に係る技術の概要＞
Ｖｉｓｕａｌ ＳＬＡＭは、カメラから得られる画像を用いて自己位置を推定するとともに、周囲の環境構造（マップ）を取得する技術である。
Ｖｉｓｕａｌ ＳＬＡＭにおいてステレオカメラを用いる場合、左右のステレオ画像に写った特徴点の視差から被写体までの距離と方向が推定され、それらの特徴点の時間的変動から、カメラの移動量が推定される。
Ｖｉｓｕａｌ ＳＬＡＭにおいて単眼カメラを用いる場合、単眼カメラ自身の移動量に基づいて、連続するフレーム間に写った特徴点の視差から被写体までの距離と方向が推定され、それらの特徴点の時間的変動から、カメラの移動量が推定される。
単眼カメラを用いる場合、自身の移動量に基づいて視差を作り出す必要があるが、最初の移動量を推定するには、大きさが既知の被写体を撮像しながら移動を開始させたり、他の測距デバイスを用いて最初の移動量を決定したりするなどの初期化が必要となる。
ステレオカメラを用いる場合であっても、単眼カメラを用いる場合であっても、自己位置推定を行うためには、カメラの移動前と移動後とで、カメラの画角内に共通の被写体が写っている必要がある。
カメラの画角については、視野角と空間分解能（距離精度）とがトレードオフとなることが一般的に知られている。
空中を飛行するドローンは、地上を移動する車両などと異なり、地表の近くから上空まであらゆる環境を移動することができる。そのため、ドローンにおいて自己位置推定を行う場合、被写体までの距離が遠くなることで空間分解能（距離精度）が不足し、自己位置推定の精度が低下してしまう。
そこで、本開示に係る技術を適用した移動体は、高度に応じてズームレンズのズーム倍率を適切に制御することで、被写体までの距離を規定し難い環境下であっても、自己位置推定の高精度化を実現するように構成される。
＜２．移動体の構成と移動制御＞
（移動体の外観）
図１は、本開示に係る技術（本技術）を適用した移動体の外観を示す図である。
図１に示される移動体１０はドローンとして構成される。移動体１０は、例えば、あらかじめ設定された飛行経路に従って自律移動（自律飛行）する。移動体には、自律移動するドローンや車両、船舶、掃除機などの自律移動ロボットに加え、移動体に付属して移動する機器なども含まれる。以下においては、本開示に係る技術を、空中を飛行するドローンに適用した例について説明するが、本開示に係る技術は、ドローンの他、陸上を移動する自律走行車両、水上または水中を移動する自律航行船舶、屋内を移動する自律移動掃除機などの自律移動ロボットに適用することが可能である。
移動体１０には、自己位置推定を行うための画像を撮像する撮像部が搭載される。
図２に示されるように、移動体１０に搭載される撮像部２０は、移動体１０の機体底面に、電子駆動可能なアームＣＡを介して接続される。撮像部２０は、アームＣＡの関節によって俯角方向にその光軸を制御できる機構を備えている。これにより、撮像部２０の光軸は、少なくとも鉛直方向（俯角９０°）から水平方向（俯角０°）の間に固定される。
撮像部２０は、ズームレンズ２１を有している。詳細は後述するが、ズームレンズ２１は、移動体１０の高度に応じてそのズーム倍率が制御される。撮像部２０は、単眼カメラで構成されてもよいしステレオカメラで構成されてもよい。
また、図３に示されるように、撮像部２０は、移動体１０の機体底面に、電子駆動可能なジンバルＧＢを介して接続されるようにしてもよい。図３の例では、ジンバルＧＢは３軸の回転軸を有し、撮像部２０は、ジンバルＧＢによって俯角、方位角、および傾斜角の３方向に、その光軸を制御できる構成を備えている。ジンバルＧＢの回転軸は、必要に応じて、３軸のうちのいずれかに制限されてもよい。
撮像部２０がジンバルＧＢを介して接続される構成により、移動体１０の機体が傾いた場合であっても、撮像部２０の姿勢を一定に保つことができる。
なお、一般的なドローンには、ジンバルを介して接続された空撮用カメラが搭載されることがある。この空撮用カメラが本技術の移動体１０に搭載される場合には、撮像部２０は、空撮用カメラに剛体接続されるようにしてもよい。
（移動体の構成ブロック）
図４は、移動体１０の構成例を示すブロック図である。
移動体１０は、制御部５１、測位センサ５２、通信部５３、駆動機構５４、および記憶部５５を備えている。
制御部５１は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリなどで構成され、所定のプログラムを実行することにより、測位センサ５２、通信部５３、駆動機構５４、および記憶部５５を制御する。
測位センサ５２は、自機（移動体１０）の位置を取得可能なセンサであればよく、例えば、単焦点カメラや各種の測位デバイスなどとして構成される。また、測位センサ５２は、ソナー、レーダやＬｉＤＥＲなどを含むようにして構成されてもよい。測位センサ５２により収集された測位データは、例えば、移動体１０の自己位置の補正に用いられる。測位センサ５２は、必ずしも設けられなくともよい。
通信部５３は、ネットワークインタフェースなどで構成され、移動体１０を操縦するためのコントローラや、その他の任意の装置との間で、無線または有線による通信を行う。例えば、通信部５３は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。また、通信部５３は、ＧＰＳ（Global Positioning System）衛星から送信されてくるＧＰＳ情報を受信する。
駆動機構５４は、移動体１０を移動させるための機構である。この例では、移動体１０はドローンとして構成され、駆動機構５４は、飛行機構としてのモータやプロペラなどから構成される。
記憶部５５は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部５１の制御に従い、各種の情報を記憶する。例えば、記憶部５５は、Ｖｉｓｕａｌ ＳＬＡＭにより作成された環境構造（マップ）や過去に撮影した画像、画像上の特徴点の奥行き（３次元座標）を、自己位置情報と対応付けて記憶する。
（制御部の機能構成ブロック）
図５は、制御部５１の機能構成例を示すブロック図である。
図５に示される制御部５１の機能ブロックは、制御部５１を構成するプロセッサにより所定のプログラムが実行されることによって実現される。
制御部５１は、駆動制御部７１、撮像制御部７２、および自己位置推定部７３から構成される。
駆動制御部７１は、駆動機構５４を制御することで、移動体１０の移動を制御する。
撮像制御部７２は、ズームレンズ２１を有する撮像部２０を制御する。撮像部２０により撮像された画像は、自己位置推定部７３に供給される。
また、撮像制御部７２は、移動体１０の高度に応じて、撮像部２０のズームパラメータを設定する。ズームパラメータは、ズームレンズ２１のズーム倍率と、撮像部２０のカメラパラメータを含むものとする。移動体１０の高度は、自己位置推定部７３の自己位置推定結果から取得されてもよいし、測位センサ５２からの測位データから取得されてもよい。
自己位置推定部７３は、撮像部２０からの画像に基づいて、Ｖｉｓｕａｌ ＳＬＡＭにより自己位置を推定する。また、自己位置推定部７３は、通信部５３により受信されたＧＰＳ情報に基づいて、自己位置を推定してもよい。推定された自己位置を示す自己位置情報は、Ｖｉｓｕａｌ ＳＬＡＭにより作成された環境構造（マップ）や過去に撮影した画像、画像上の特徴点の奥行き（３次元座標）と対応付けられて、記憶部５５に記憶される。
（撮像部の構成ブロック）
図６は、撮像部２０の詳細な構成例を示すブロック図である。
図６に示される撮像部２０は、ズームレンズ２１に加え、イメージセンサ９１、画像処理部９２、およびズームレンズ制御部９３を備えている。
イメージセンサ９１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成される。イメージセンサ９１は、ズームレンズ２１を介して入射された被写体からの入射光（像光）を取り込み、撮像面上に結像された入射光の光量を電気信号に変換し、画像信号として画像処理部９２に出力する。
画像処理部９２は、イメージセンサ９１からの画像信号に対して、欠陥補正、収差補正、ノイズリダクションなどの画像補正処理を施す。さらに、画像処理部９２は、ズームレンズ制御部９３を制御することで、露光制御を行うためのＡＥ（Automatic Exposure）処理や、ズームレンズ２１のフォーカスを制御するためのコントラストＡＦ処理を行う。
ズームレンズ制御部９３は、撮像制御部７２によって設定されたズームパラメータに基づいて、ズームレンズ２１を制御する。
具体的には、ズームレンズ制御部９３は、ズームパラメータのうちのズーム倍率を、ズームレンズ２１の駆動制御値に変換することで、ズームレンズ２１を駆動するサーボを制御する。すなわち、ズームパラメータには、ズームレンズ２１の駆動制御値が含まれるということもできる。
なお、ズームパラメータのうちのカメラパラメータは、画像処理部９２が備える収差補正回路にも供給され、ズーム倍率に対応した収差補正が行われる。すなわち、ズーム倍率は、カメラパラメータによって所望の倍率に設定されということもできる。
（移動制御の流れ）
図７は、移動体１０の移動制御の流れについて説明するフローチャートである。
ステップＳ１１において、駆動制御部７１は、駆動機構５４を制御することで、移動体１０の離陸、すなわち移動（飛行）の開始を制御する。
ステップＳ１２において、撮像制御部７２は、撮像部２０のズームパラメータを設定するズーム制御処理を行う。
ステップＳ１３において、駆動制御部７１は、駆動機構５４を制御することで、移動体１０の着陸、すなわち移動（飛行）の終了を制御する。
なお、自己位置推定部７３は、常に、ズームパラメータが設定された撮像部２０により撮像された画像に基づいて、Ｖｉｓｕａｌ ＳＬＡＭにより自己位置を推定する自己位置推定処理を行っている。
以上のようにして、移動体１０は、空中を飛行しながら自己位置推定を行う。
以下では、ステップＳ１２のズーム制御処理の流れについて説明する。
＜３．ズーム制御処理の流れ１＞
図８は、高度に応じてズームパラメータを設定するズーム制御処理について説明するフローチャートである。
ステップＳ３１において、撮像制御部７２は、移動体１０の高度に応じて、ズームパラメータを設定する。ズームパラメータは、ズームレンズ２１のズーム倍率（ひいては、焦点距離や画角、ワイド端／テレ端）を決めるパラメータとされる。記憶部５５には、高度に対応するズームパラメータの値が配列されたＬＵＴ（Lookup table）が記憶されており、撮像制御部７２は、そのＬＵＴを参照することで、高度に応じたズームパラメータを設定する。
例えば、図９に示されるように、移動体１０が高高度Ｈ１を飛行する場合には、視野角が、面積Ｄの地表面が撮像される視野角θ１となるように、ズームパラメータが設定される。
一方、図１０に示されるように、移動体１０が低高度Ｈ２を飛行する場合には、視野角が、図９と同じ面積Ｄの地表面が撮像される視野角θ２（θ２＞θ１）となるように、ズームパラメータが設定される。
このように、撮像制御部７２は、移動体１０の高度が高いほど視野角が小さくなるように、ズームパラメータを設定する。
移動体１０の高度は、自己位置推定部７３による自己位置推定結果に基づいて判定されてもよいし、測位センサ５２により収集された測位データに基づいて判定されてもよい。
ステップＳ３２において、撮像制御部７２は、ズームレンズ２１を制御することで、ズームパラメータが設定された値となるように、ズームパラメータを変化させる。
ステップＳ３３において、撮像制御部７２は、移動体１０の高度が所定の高度になったか否かを判定する。所定の高度は、天候や風速といった気象条件などを鑑みて自動で設定された高度であってもよいし、あらかじめ設定された経路計画によって決められた高度であってもよい。
ステップＳ３３において、移動体１０の高度が所定の高度になったと判定されるまで、ステップＳ３１，Ｓ３２の処理、すなわち、高度に応じたズームパラメータの設定と、その値の制御が繰り返される。そして、ステップＳ３３において、移動体１０の高度が所定の高度になったと判定されると、ステップＳ３４に進む。
ステップＳ３４において、自己位置推定部７３は、測位センサ５２により収集された測位データに基づいて、推定した自己位置を補正する。
例えば、自己位置推定部７３は、画像と位置情報のペアをマップとして記憶部５５にあらかじめ登録しておき、撮像部２０により撮像された画像と似た画像に対応する位置情報を用いることで、自己位置を補正する。さらに、画像と位置情報のペアだけでなく、画像に写る特徴点の奥行き（３次元情報）を登録しておくようにしてもよい。この場合、自己位置推定部７３は、登録されている画像と、現在撮影されている画像との間の対応関係（移動量）を導出し、その移動量と、登録されている位置情報を用いることで、より高精度に自己位置を補正することもできる。
また、自己位置推定部７３は、通信部５３により受信されたＧＰＳ情報を用いて、自己位置を補正してもよい。さらに、自己位置推定部７３は、管制塔などの外部のサーバに、移動体１０の機体ＩＤや撮影されている画像を送信し、自機の位置の問い合わせを行うことで、自己位置を求めてもよい。
ステップＳ３５において、撮像制御部７２は、ズームパラメータを固定する。これにより、ズームレンズ２１のズーム倍率が、適切なズーム倍率に設定される。
以上の処理によれば、移動体１０の高度に応じてズーム倍率が制御されることで、視野角と空間分解能のトレードオフが解消される。したがって、被写体までの距離を規定し難い環境下であっても、自己位置推定の高精度化を実現することが可能となる。
例えば、単焦点カメラのみを搭載したドローンでは、高々１０ｍから１５ｍ上空での自己位置すら推定できなかったが、本技術を適用したドローンでは、１００ｍから２００ｍ上空での自己位置を推定することも可能となる。
（ズームパラメータの詳細）
ズームレンズ２１のズーム倍率は、ズームレンズ２１を駆動するサーボの駆動制御値を調整し、撮像部２０のカメラパラメータを変化させることで所望の倍率に設定される。
撮像部２０のカメラパラメータには、ズームレンズ２１の光学中心、焦点距離、さらには歪み係数を含む内部パラメータと、移動体１０本体と撮像部２０との間の並進、回転を含む外部パラメータが含まれる。さらに、撮像部２０がステレオカメラで構成される場合、撮像部２０のカメラパラメータには、左右のカメラ間の並進、回転を含む外部パラメータが含まれる。
ズームレンズ２１のレンズ鏡筒部の機械的なガタや、ズーム機構制御に係るシステム遅延などにより、ズームレンズ２１制御中のズーム倍率を画像に同期して正確に設定することは難しい。そのため、工場などにおけるキャリブレーションによって、図１１に示されるような、ズームレンズ２１の駆動制御値とカメラパラメータとの対応関係を、あらかじめ取得しておく必要がある。
上述したズーム制御処理においては、図１１に示されるような対応関係に基づいて、ズームレンズ２１制御中においても所望のズーム倍率の画像が得られるように、ズームレンズ２１の駆動制御値が変化させられる。
このとき、ズームレンズ２１の駆動制御値を高速に変化させると、被写体に動きボケが発生する可能性がある。そこで、被写体に動きボケが発生しない程度の速度で、ズームレンズ２１の駆動制御値を変化させることが望ましい。
また、ズームレンズ２１の駆動制御値とカメラパラメータとの対応関係において、調整可能なズームレンズ２１の駆動制御値の全てに対応するカメラパラメータを取得することは容易ではない。そこで、限定された数のズームレンズ２１の駆動制御値に対応するカメラパラメータを取得し、取得されたカメラパラメータ間の値は補間により求めるようにしてもよい。
撮像部２０のカメラパラメータは、自己位置推定に用いられる。
具体的には、自己位置推定を行う際、前処理として歪み補正などを行う必要がある。そのため、自己位置推定を行う際には、設定されたズームレンズ２１の駆動制御値に対応する内部パラメータ（歪み係数）に基づいて、歪み補正が行われる。
また、Ｖｉｓｕａｌ ＳＬＡＭにおいては、画像上の３次元座標と２次元座標の関係から撮像部２０の位置姿勢が求められる。
３次元座標は、基準フレームｆ（ｔ）において、視差から求められた奥行き、特徴点の２次元座標を、内部パラメータ（ズームレンズ２１の光学中心、焦点距離）を用いて逆投影することで求められる。２次元座標は、現在フレームｆ（ｔ＋１）において、基準フレームｆ（ｔ）と対応する特徴点を検出することで求められる。
このように、内部パラメータは、Ｖｉｓｕａｌ ＳＬＡＭにおいて３次元座標を求める際にも用いられる。
また、移動体１０本体と撮像部２０との間の外部パラメータは、特に、移動体１０が、撮像部２０に加えて測位デバイスが搭載される構成を採る場合の自己位置推定に用いられる。測位デバイスが搭載される移動体１０の構成については後述する。
＜４．ズーム制御処理の流れ２＞
ところで、上述したズーム制御処理では、高度に応じてズームパラメータが設定されるものとしたが、さらに、移動体１０の移動速度に応じてズームパラメータが調整されてもよい。
図１２は、移動速度に応じてズームパラメータを調整するズーム制御処理について説明するフローチャートである。
なお、図１２のフローチャートのステップＳ４１乃至Ｓ４３，Ｓ４５，Ｓ４６の処理は、図８のフローチャートのステップＳ３１乃至Ｓ３５の処理とそれぞれ同様であるので、その説明は省略する。
すなわち、ステップＳ４３において、移動体１０の高度が所定の高度になったと判定されると、ステップＳ４４において、撮像制御部７２は、ズームレンズ２１を制御することで、移動速度に応じてズームパラメータを調整する。ここでの移動速度は、天候や風速といった気象条件などを鑑みて自動で設定された最高速度、または、あらかじめ設定された経路計画によって決められた最高速度とされる。
例えば、図１３のＡに示されるように、移動体１０が、地表面に平行な方向に比較的高い移動速度ｖ１で移動する場合には、視野角が大きくなるようにズームパラメータが調整される。これにより、時刻ｔ－１におけるフレームＩｔ－１の被写体と、時刻ｔにおけるフレームＩｔの被写体に重なる部分ができる。
一方、図１３のＢに示されるように、移動体１０が、地表面に平行な方向に比較的低い移動速度ｖ２で移動する場合には、視野角が小さくなるようにズームパラメータが調整される。このように、移動速度がさほど高くない場合には、視野角が小さくても、時刻ｔ－１におけるフレームＩｔ－１の被写体と、時刻ｔにおけるフレームＩｔの被写体に重なる部分ができる。
このように、撮像制御部７２は、移動体１０の移動速度が高いほど視野角が大きくなるように、ズームパラメータを調整する。
これにより、移動体１０が高速移動する場合であっても、フレーム間で被写体を追従することができるので、自己位置推定の精度を保つことが可能となる。
図１１の処理においては、移動体１０の最高速度に応じてズームパラメータが調整されるものとしたが、移動体１０の移動中に実際の移動速度が検出され、その移動速度に応じて適応的にズームパラメータが調整されてもよい。
なお、移動体１０が速度を上げて移動する際、移動体１０の機体が傾くことがある。撮像部２０がジンバルＧＢを介して接続されている場合には、ジンバルＧＢを駆動することで、移動体１０の機体の傾きをキャンセルし、撮像部２０が地表面に対して一定の向きを保つように、撮像部２０の位置姿勢が制御されてもよい。
また、図１１の処理では、移動体１０の高度と移動速度の両方に応じてズームパラメータが調整されるものとしたが、移動体１０の高度と移動速度のいずれか一方に応じてズームパラメータが調整されてもよい。
＜５．ズーム制御処理の流れ３＞
撮像部２０により撮像された画像のディスパリティに応じて、ズームパラメータが調整されてもよい。
図１４は、画像のディスパリティに応じてズームパラメータを調整するズーム制御処理について説明するフローチャートである。
なお、図１４のフローチャートのステップＳ５１乃至Ｓ５３，Ｓ５６，Ｓ５７の処理は、図８のフローチャートのステップＳ３１乃至Ｓ３５の処理とそれぞれ同様であるので、その説明は省略する。
すなわち、ステップＳ５４において、撮像制御部７２は、撮像部２０により撮像された画像上の特徴点についてのディスパリティの指標値が、所定の範囲内の値であるか否かを判定する。
Ｖｉｓｕａｌ ＳＬＡＭにおいては、画像上の特徴点の奥行き（デプス）を精度良く求めることが重要であるが、特徴点についてのディスパリティとデプス分解能とは相関がある。
具体的には、ズームレンズが広角になるほど、遠方にある特徴点のディスパリティが小さくなり、デプス分解能が低くなる。例えば、例えばディスパリティが０．５ｐｉｘ以下になると、デプスが画像のノイズに埋もれ、正確な測位ができなくなってしまう。
一方、ディスパリティが大きくなると、特徴点の一致探索を行う処理コストが高くなってしまう。
そこで、まず、撮像制御部７２は、画像全体の特徴点のディスパリティを求める。
撮像部２０が単眼カメラで構成される場合、図１５のＡに示されるように、時刻ｔ－１におけるフレームＩｔ－１における特徴点に対応する点を、時刻ｔにおけるフレームＩｔにおけるエピポーラ線上で探索することで、特徴点のディスパリティが求められる。
撮像部２０がステレオカメラで構成される場合、図１５のＢに示されるように、ステレオ画像のうちの右眼画像Ｉｒｉｇｈｔにおける特徴点に対応する点を、左眼画像Ｉｌｅｆｔにおけるエピポーラ線上で探索することで、特徴点のディスパリティが求められる。
そして、撮像制御部７２は、画像全体の特徴点のディスパリティの平均値が所定の範囲内の値であるか否かを判定する。
画像全体の特徴点のディスパリティの平均値が所定の範囲内の値であると判定されなかった場合、ステップＳ５５に進み、撮像制御部７２は、画像全体の特徴点のディスパリティの平均値が所定の範囲内の値に収まるように、ズームパラメータ（視野角）を調整する。その後、ステップＳ５４に戻り、画像全体の特徴点のディスパリティの平均値が所定の範囲内の値であると判定されるまで、ステップＳ５５は繰り返される。
なお、画像全体の特徴点のディスパリティの平均値に限らず、画像全体の特徴点のディスパリティの代表値が所定の範囲内の値に収まるように、視野角が制御されてもよい。また、ディスパリティの代表値は、画像において安定的に検出された特徴点のディスパリティであってもよいし、画面中央部の領域の特徴点のディスパリティであってもよい。さらに、画像の各特徴点に対して重みを付け、その重み付き平均を算出することにより、ディスパリティの代表値が求められてもよい。
そして、画像全体の特徴点のディスパリティの平均値が所定の範囲内の値であると判定されると、ステップＳ５５はスキップされ、ステップＳ５６に進む。
このように、撮像制御部７２は、撮像部２０により撮像された画像上の特徴点についてのディスパリティの指標値に応じて、ズームパラメータをさらに調整する。
これにより、画像上の特徴点のデプスを精度良く求めることができるので、自己位置推定の精度を保つことが可能となる。
なお、図１３の処理においては、移動体１０の高度変化後にディスパリティの指標値に基づいてズームパラメータが調整されるものとしたが、移動体１０の移動中に求められたディスパリティの指標値に応じて適応的にズームパラメータが調整されてもよい。もちろん、移動体１０の高度のみではなく、高度と移動速度の少なくともいずれか応じてズームパラメータが調整された後に、ディスパリティの指標値に基づいてズームパラメータが調整されてもよい。
＜６．ズーム制御処理の流れ４＞
撮像部２０により撮像された画像のフレーム間のオーバーラップ率に応じて、ズームパラメータが調整されてもよい。
図１６は、画像のフレーム間のオーバーラップ率に応じてズームパラメータを調整するズーム制御処理について説明するフローチャートである。
なお、図１６のフローチャートのステップＳ６１乃至Ｓ６３，Ｓ６６，Ｓ６７の処理は、図８のフローチャートのステップＳ３１乃至Ｓ３５の処理とそれぞれ同様であるので、その説明は省略する。
すなわち、ステップＳ６４において、撮像制御部７２は、撮像部２０により撮像された画像のフレーム間のオーバーラップ率が、所定の閾値以下であるか否かを判定する。
具体的には、まず、図１７に示されるように、時刻ｔ－１におけるフレームＩｔ－１と、時刻ｔにおけるフレームＩｔとの間のマッチングが行われる。
ここで、Ｒ（Ｉｔ－１）を、フレームＩｔ－１上の特徴的なテクスチャ領域の画素数とし、Ｒ（Ｉｔ）を、フレームＩｔ上の特徴的なテクスチャ領域の画素数とすると、オーバーラップ率ＯＬＲは、以下の式（１）で表される。
Figure 0007468523000001
 ・・・（１）
式（１）における分母は、フレームＩｔ－１上のテクスチャ領域の画素数であり、式（１）における分子は、図１７中、フレームＩｔ－１とフレームＩｔとの間のマッチングにより一致したテクスチャ領域１００の画素数である。
なお、オーバーラップ率ＯＬＲは、フレームＩｔ－１とフレームＩｔとの間でマッチングしたテクスチャ領域の画素数を用いて表される以外にも、フレームＩｔ－１とフレームＩｔとの間でマッチングした特徴点の数を用いて表されてもよい。
このようにして求められたオーバーラップ率が、所定の閾値以下であると判定された場合、ステップＳ６５に進み、撮像制御部７２は、視野角が大きくなるように、ズームパラメータを調整する。その後、ステップＳ６４に戻り、オーバーラップ率が所定の閾値以下でないと判定されるまで、ステップＳ６５は繰り返される。
そして、オーバーラップ率が、所定の閾値以下でないと判定されると、ステップＳ６５はスキップされ、ステップＳ６６に進む。
このように、撮像制御部７２は、撮像部２０により撮像された画像のフレーム間のオーバーラップ率に応じて、ズームパラメータをさらに調整する。
これにより、フレーム間で共通の被写体を追従することができるので、自己位置推定の精度を保つことが可能となる。
なお、図１５の処理においては、移動体１０の高度変化後にオーバーラップ率に基づいてズームパラメータが調整されるものとしたが、移動体１０の移動中に求められたオーバーラップ率に応じて適応的にズームパラメータが調整されてもよい。もちろん、移動体１０の高度のみではなく、高度と移動速度の少なくともいずれか応じてズームパラメータが調整された後に、オーバーラップ率に基づいてズームパラメータが調整されてもよい。
＜７．測位デバイスを備える移動体の構成＞
図１８に示されるように、移動体１０には、撮像部２０に加えて、測位デバイス１２０が搭載されてもよい。
測位デバイス１２０は、図４の測位センサ５２に対応し、例えば、単焦点カメラ、ＲＴＫ（Real Time Kinematic）測位デバイス、ＧＰＳ測位デバイス、ＩＭＵ（Inertial Measurement Unit）などのデバイスのいずれか、または、これらの組み合わせにより構成される。
ズームレンズ２１を有する撮像部２０とは別に、測位デバイス１２０が設けられることで、移動体１０の離陸時および着陸時、高度変化に伴うズームパラメータの制御時にも、高精度な自己位置推定を行うことが可能となる。
（自己位置推定が行われている間の処理の流れ）
ここで、図１９のフローチャートを参照して、測位デバイス１２０を備える移動体１０において自己位置推定が行われている間の処理の流れについて説明する。
ステップＳ７１においては、撮像制御部７２によるズーム制御処理が開始されたか否かが判定される。
ズーム制御処理が開始されたと判定されるまで、処理は進まず、ズーム制御処理が開始されたと判定されると、ステップＳ７２に進む。
ステップＳ７２において、自己位置推定部７３は、撮像部２０により撮像された画像であるズームカメラ画像を用いた自己位置推定の信頼度を下げる。
その後、ステップＳ７３においては、撮像制御部７２によるズーム制御処理が終了したか否かが判定される。
ズーム制御処理が終了されたと判定されるまで、ステップＳ７３は繰り返される。すなわち、ズーム制御処理が終了し、ズームパラメータが固定されるまで、ズームカメラ画像を用いた自己位置推定の信頼度を下げた状態で、自己位置推定が行われる。
そして、ズーム制御処理が終了したと判定されると、ステップＳ７５に進む。
ステップＳ７４において、自己位置推定部７３は、ズームカメラ画像を用いた自己位置推定の信頼度を元に戻す。
以上の処理によれば、ズームパラメータが変化している最中は、ズームカメラ画像を用いた自己位置推定の信頼度を下げた状態で自己位置推定が行われるので、移動体１０の高度が変化している間も、自己位置推定を精度良く行うことが可能となる。
（自己位置推定結果の統合）
図１９の処理において、測位デバイス１２０が複数のデバイスから構成される場合、それぞれのデバイスの出力データを用いた自己位置推定結果を統合するようにしてもよい。
図２０は、複数のデバイスの出力データを用いた自己位置推定結果の統合について説明する図である。
図２０のＡは、イメージセンサ（単焦点カメラ）からの画像を用いたＶｉｓｕａｌ ＳＬＡＭの結果と、ＩＭＵからの加速度・角速度に基づいてＩＮＳ（Inertial Navigation System）により算出された位置・速度を統合する構成を示している。
図２０のＡにおいては、Ｖｉｓｕａｌ ＳＬＡＭの結果である相対位置と、ＩＮＳにより算出された位置・速度が、統合フィルタにより統合されることで、自己位置が推定される。統合フィルタには、例えばカルマンフィルタを用いることができる。
図２０のＢは、２つのイメージセンサからの画像を用いたＶｉｓｕａｌ ＳＬＡＭの結果それぞれと、ＩＭＵからの加速度・角速度に基づいてＩＮＳにより算出された位置・速度を統合する構成を示している。
図２０のＢにおいても、Ｖｉｓｕａｌ ＳＬＡＭの結果である相対位置それぞれと、ＩＮＳにより算出された位置・速度が、統合フィルタにより統合されることで、自己位置が推定される。
図２０のＣは、イメージセンサからの画像を用いたＶｉｓｕａｌ ＳＬＡＭの結果と、ＧＰＳセンサや高度計により測定された位置や高度を統合する構成を示している。
図２０のＣにおいては、Ｖｉｓｕａｌ ＳＬＡＭの結果である相対位置と、ＧＰＳセンサや高度計により測定された位置や高度が、統合フィルタにより統合されることで、自己位置が推定される。
このようにして、複数のデバイスの出力データを用いた自己位置推定結果が統合されることで、自己位置が推定されてもよい。
また、撮像部２０により撮像された画像を用いた（信頼度の低い）自己位置推定結果と、測位デバイス１２０の出力データを用いた自己位置推定結果が統合されてもよい。
＜８．キャリブレーションの流れ＞
ズームレンズを備えるカメラにおいては、正確なズーム倍率の画像を得るためには、カメラパラメータのキャリブレーションが必要となる。内部パラメータと外部パラメータのキャリブレーションは、例えば、非特許文献の“A flexible new technique for camera calibration”に開示されている技術を用いて行うことができる。
以下においては、移動体１０に搭載された撮像部２０のカメラパラメータのキャリブレーションの流れについて説明する。
（内部パラメータのキャリブレーション）
図２１は、内部パラメータのキャリブレーションの流れについて説明するフローチャートである。図２１の処理は、例えば、飛行中の移動体１０が、あらかじめ決められた目的地の上空に到達した時に実行される。目的地の地表面には、例えば既知の模様が描かれた被写体（キャリブレーションボードなど）が配置されている。
飛行中の移動体１０が目的地の上空に到達すると、ステップＳ８１において、駆動制御部７１は、駆動機構５４を制御することで、移動体１０の下降を制御する。
このとき、図２２に示されるように、撮像部２０のズームレンズ２１の光軸が鉛直方向（俯角９０°）に固定されるように、アームＣＡにより撮像部２０の姿勢が制御される。
ステップＳ８２において、撮像制御部７２は、ズームレンズ２１を制御することで、ズーム倍率を、キャリブレーションを行いたいズーム倍率に変更する。
さらに、ステップＳ８３において、撮像制御部７２は、撮像部２０を制御することで、地上の被写体を撮像する。
ステップＳ８４においては、被写体が所定の位置・大きさに写るか否かが判定される。
ステップＳ８４において、被写体が所定の位置・大きさに写ると判定されると、ステップＳ８５に進む。
ステップＳ８５においては、撮像部２０が、地上の被写体を所定回数撮像したか否かが判定される。
一方、ステップＳ８４において、被写体が所定の位置・大きさに写らないと判定されるか、ステップＳ８５において、撮像部２０が所定回数撮像していないと判定された場合、ステップＳ８６に進み、撮影位置が調整される。
例えば、被写体が所定の位置・大きさに写らない場合には、被写体が所定の位置・大きさに写るように、移動体１０の高度が変更される。
また例えば、撮像部２０が被写体を所定回数撮像していない場合には、移動体１０や撮像部２０の位置や姿勢が上下左右に変化されてもよい。
このようにして、被写体が所定の位置・大きさに写るようにして、撮像部２０により所定回数撮像されると、ステップＳ８６に進む。
ステップＳ８６において、撮像制御部７２は、所定回数の撮像により得られた複数枚の画像を用いて、内部パラメータのキャリブレーションを行う。
以上の処理が、キャリブレーションを行いたいズーム倍率について実行される。したがって、キャリブレーションを行いたいズーム倍率が複数ある場合には、図２１の処理が、それぞれのズーム倍率について繰り返し実行される。
なお、図２１の処理は、飛行中の移動体１０が、あらかじめ決められた目的地の上空に到達した時に実行されるものとしたが、出発地の地表面に被写体を配置することで、移動体１０が、出発地を離陸する時に実行されてもよい。
（移動体本体と撮像部との間の外部パラメータのキャリブレーション）
図２３は、移動体１０本体と撮像部２０との間の外部パラメータのキャリブレーションの流れについて説明するフローチャートである。図２３の処理は、図１８を参照して説明した、測位デバイス１２０を備える移動体１０が、例えば離陸地点（出発地）または着陸地点（目的地）の上空を移動している状態で実行される。
また、図２３の処理は、図２１の内部パラメータのキャリブレーションと並行して実行されてもよいし、図２１の内部パラメータのキャリブレーションとは別個に実行されてもよい。
なお、図２３のステップＳ９１乃至Ｓ９６における処理は、図２１のステップＳ８１乃至Ｓ８６における処理と基本的には同様であるので、その説明は省略する。
撮像部２０のズームレンズ２１の光軸は鉛直方向（俯角９０°）に固定されてもよいし、任意の方向に固定されてもよい。
外部パラメータには、ズームレンズ２１を含む撮像部２０内部での光軸のずれと、アームＣＡの傾きのずれが含まれる。アームＣＡの傾きのずれが小さい場合には、アームＣＡによりズームレンズ２１の光軸を鉛直方向（俯角９０°）に固定し、経年劣化による撮像部２０内部での光軸のずれのみのキャリブレーションを実行することができる。
すなわち、ステップＳ９７において、撮像制御部７２は、撮像部２０により撮像されたズームカメラ画像と、測位デバイス１２０を構成する単焦点カメラにより撮像された単焦点カメラ画像とで共通する特徴点を用いて、外部パラメータのキャリブレーションを行う。
外部パラメータのキャリブレーションは、図２４に示されるフローチャートに従って行われてもよい。
図２４の処理もまた、測位デバイス１２０を備える移動体１０が、離陸地点または着陸地点の上空を移動している状態で実行される。
ステップＳ１０１において、駆動制御部７１は、駆動機構５４を制御することで、あらかじめ登録された経路を移動する（外部パラメータのキャリブレーションを実行するために最適な動きをする）ように、移動体１０の移動を制御する。
ステップＳ１０２において、自己位置推定部７３は、撮像部２０により撮像されたズームカメラ画像を用いた自己位置推定を行う。
これと並行して、ステップＳ１０３において、自己位置推定部７３は、測位デバイス１２０を構成する単焦点カメラにより撮像された単焦点カメラ画像を用いた自己位置推定を行う。
そして、ステップＳ１０４において、撮像制御部７２は、ズームカメラ画像を用いた自己位置推定結果と、単焦点カメラ画像を用いた自己位置推定結果が一致するように、外部パラメータのキャリブレーションを行う。具体的には、撮像制御部７２は、外部パラメータを変数とするような最適化問題を解くことにより、外部パラメータのキャリブレーションを行う。
なお、図３に示されるように、撮像部２０が、ジンバルＧＢを介して移動体１０と接続されている場合、撮像部２０の姿勢は一定に保たれるため、ズームレンズ２１と単焦点カメラ（測位デバイス１２０）との相対的な位置関係は一定に保たれない。この場合、移動体１０の細かな姿勢変化については単焦点カメラで行われるものとし，その姿勢から随時撮像部２０との相対的な姿勢が求められるようにする。
特に、外部パラメータは、撮像部２０により撮像されたズームカメラ画像を用いた自己位置推定結果と、単焦点カメラにより撮像された単焦点カメラを用いた自己位置推定結果を統合した統合結果に影響を及ぼす。
具体的には、撮像部２０においてズームレンズ２１のズーム倍率を変化させた場合、その光軸に、例えば０．０１°などの微妙なずれが生じる可能性がある。この状態で、ズームカメラ画像を用いた自己位置推定結果と、単焦点カメラを用いた自己位置推定結果を統合した場合、例えば０．０１°ずつ、推定された撮像部２０の位置姿勢がずれてしまう。
これに対して、本技術の移動体１０においては、外部パラメータのキャリブレーションが行われるので、カメラパラメータに変化が生じた場合でも、定期的にそのメンテナンスを行うことができ、高精度な自己位置推定を行う状態を維持することが可能となる。
＜９．移動体の制御システムの構成＞
以上においては、移動体１０の制御部５１が、撮像部２０のズームパラメータを制御し、自己位置推定を行うものとした。これに限らず、移動体１０を制御する外部のコンピュータが、撮像部２０のズームパラメータを制御し、移動体１０の位置推定を行うようにしてもよい。
図２５は、移動体１０の制御システムの構成例を示す図である。
図２５において、移動体１０は、移動体１０を操縦するためのコントローラ２１０や携帯端末２２０と無線通信を行う。
コントローラ２１０や携帯端末２２０は、制御部５１と同様の機能を有する制御部を備えており、移動体１０の高度および移動速度の少なくともいずれかに応じて、撮像部２０のズームパラメータを設定したり、撮像部２０からの画像に基づいて自己位置を推定したりする。
図２５は、コンピュータのハードウェアの構成例を示すブロック図である。
上述したコントローラ２１０や携帯端末２２０は、図２５に示す構成を有するコンピュータにより実現される。
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ３１０が接続される。
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
なお、本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
ズームレンズを有する撮像部と、
自機の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定する撮像制御部と、
前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、自己位置を推定する自己位置推定部と
を備える移動体。
（２）
前記撮像制御部は、前記自機の高度が高いほど視野角が小さくなるように、前記ズームパラメータを変化させる
（１）に記載の移動体。
（３）
前記撮像制御部は、前記自機の移動速度が高いほど視野角が大きくなるように、前記ズームパラメータを調整する
（１）に記載の移動体。
（４）
前記撮像制御部は、前記撮像部により撮像された前記画像上の特徴点についてのディスパリティの指標値に応じて、前記ズームパラメータを調整する
（１）乃至（３）のいずれかに記載の移動体。
（５）
前記撮像制御部は、複数の前記特徴点についての前記ディスパリティの平均値が一定の範囲内の値となるように、前記ズームパラメータを調整する
（４）に記載の移動体。
（６）
前記撮像制御部は、複数の前記特徴点についての前記ディスパリティの代表値が一定の範囲内の値となるように、前記ズームパラメータを調整する
（４）に記載の移動体。
（７）
前記撮像部は、単眼カメラで構成され、
前記撮像制御部は、異なるフレーム間の前記指標値に応じて、前記ズームパラメータを調整する
（４）乃至（６）のいずれかに記載の移動体。
（８）
前記撮像部は、ステレオカメラで構成され、
前記撮像制御部は、ステレオ画像間の前記指標値に応じて、前記ズームパラメータを調整する
（４）乃至（６）のいずれかに記載の移動体。
（９）
前記撮像制御部は、前記撮像部により撮像された前記画像のフレーム間のオーバーラップ率に応じて、前記ズームパラメータを調整する
（１）乃至（３）のいずれかに記載の移動体。
（１０）
前記撮像制御部は、前記オーバーラップ率が所定の閾値以下である場合、視野角が大きくなるように、前記ズームパラメータを調整する
（９）に記載の移動体。
（１１）
前記オーバーラップ率は、前記フレーム間でマッチングしたテクスチャ領域の画素数を用いて表される
（９）または（１０）に記載の移動体。
（１２）
前記オーバーラップ率は、前記フレーム間でマッチングした特徴点の数を用いて表される
（９）または（１０）に記載の移動体。
（１３）
前記撮像部とは異なる測位デバイスをさらに備え、
前記自己位置推定部は、前記ズームパラメータが変化している最中、前記測位デバイスによる測位結果を用いて、前記自己位置を推定する
（１）乃至（１２）のいずれかに記載の移動体。
（１４）
前記自己位置推定部は、複数の前記測位デバイスによる前記測位結果を用いた自己位置推定結果を統合することで、前記自己位置を推定する
（１３）に記載の移動体。
（１５）
前記ズームパラメータは、前記ズームレンズの駆動制御値を含む
（１）乃至（１４）に記載の移動体。
（１６）
前記ズームパラメータは、前記撮像部の内部パラメータおよび外部パラメータを含む
（１）乃至（１５）に記載の移動体。
（１７）
前記内部パラメータは、前記ズームレンズの歪み係数を含む
（１６）に記載の移動体。
（１８）
ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、
前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定する
位置推定方法。
（１９）
プロセッサに、
ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、
前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定する
処理を実行させるためのプログラム。
１０ 移動体， ２０ 撮像部， ２１ ズームレンズ， ５１ 制御部， ５２ 測位センサ， ５３ 通信部， ５４ 駆動機構， ５５ 記憶部， ７１ 駆動制御部， ７２ 撮像制御部， ７３ 自己位置推定部， １２０ 測位デバイス

Claims (18)

  1. ズームレンズを有する撮像部と、
    自機の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定する撮像制御部と、
    前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、自己位置を推定する自己位置推定部と
    を備え、
    前記撮像制御部は、前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する
    移動体。
  2. 前記撮像制御部は、前記自機の高度が高いほど視野角が小さくなるように、前記ズームパラメータを変化させる
    請求項１に記載の移動体。
  3. 前記撮像制御部は、前記自機の移動速度が高いほど視野角が大きくなるように、前記ズームパラメータを調整する
    請求項１に記載の移動体。
  4. 前記撮像制御部は、前記撮像部により撮像された前記画像上の特徴点についてのディスパリティの指標値に応じて、前記ズームパラメータを調整する
    請求項１に記載の移動体。
  5. 前記撮像制御部は、複数の前記特徴点についての前記ディスパリティの平均値が一定の範囲内の値となるように、前記ズームパラメータを調整する
    請求項４に記載の移動体。
  6. 前記撮像制御部は、複数の前記特徴点についての前記ディスパリティの代表値が一定の範囲内の値となるように、前記ズームパラメータを調整する
    請求項４に記載の移動体。
  7. 前記撮像部は、単眼カメラで構成され、
    前記撮像制御部は、異なるフレーム間の前記指標値に応じて、前記ズームパラメータを調整する
    請求項４に記載の移動体。
  8. 前記撮像部は、ステレオカメラで構成され、
    前記撮像制御部は、ステレオ画像間の前記指標値に応じて、前記ズームパラメータを調整する
    請求項４に記載の移動体。
  9. 前記撮像制御部は、前記オーバーラップ率が所定の閾値以下である場合、視野角が大きくなるように、前記ズームパラメータを調整する
    請求項１に記載の移動体。
  10. 前記オーバーラップ率は、前記フレーム間でマッチングしたテクスチャ領域の画素数を用いて表される
    請求項１に記載の移動体。
  11. 前記オーバーラップ率は、前記フレーム間でマッチングした特徴点の数を用いて表される
    請求項１に記載の移動体。
  12. 前記撮像部とは異なる測位デバイスをさらに備え、
    前記自己位置推定部は、前記ズームパラメータが変化している最中、前記測位デバイスによる測位結果を用いて、前記自己位置を推定する
    請求項１に記載の移動体。
  13. 前記自己位置推定部は、複数の前記測位デバイスによる前記測位結果を用いた自己位置推定結果を統合することで、前記自己位置を推定する
    請求項１２に記載の移動体。
  14. 前記ズームパラメータは、前記ズームレンズの駆動制御値を含む
    請求項１２に記載の移動体。
  15. 前記ズームパラメータは、前記撮像部の内部パラメータおよび外部パラメータを含む
    請求項１２に記載の移動体。
  16. 前記内部パラメータは、前記ズームレンズの歪み係数を含む
    請求項１５に記載の移動体。
  17. ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、
    前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定し、
    前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する
    位置推定方法。
  18. プロセッサに、
    ズームレンズを有する撮像部を備える移動体の高度および移動速度の少なくともいずれかに応じて、前記撮像部のズームパラメータを設定し、
    前記ズームパラメータが設定された前記撮像部により撮像された画像に基づいて、前記移動体の位置を推定し、
    前記撮像部により撮像された前記画像のフレーム間のマッチングにより求められたオーバーラップ率に基づいて、前記自機の高度および移動速度の少なくともいずれかに応じて設定された前記ズームパラメータをさらに調整する
    処理を実行させるためのプログラム。
JP2021524753A 2019-06-05 2020-05-22 移動体、位置推定方法、およびプログラム Active JP7468523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019105206 2019-06-05
JP2019105206 2019-06-05
PCT/JP2020/020243 WO2020246261A1 (ja) 2019-06-05 2020-05-22 移動体、位置推定方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020246261A1 JPWO2020246261A1 (ja) 2020-12-10
JP7468523B2 true JP7468523B2 (ja) 2024-04-16

Family

ID=73652840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524753A Active JP7468523B2 (ja) 2019-06-05 2020-05-22 移動体、位置推定方法、およびプログラム

Country Status (3)

Country Link
US (1) US11989910B2 (ja)
JP (1) JP7468523B2 (ja)
WO (1) WO2020246261A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024053129A (ja) * 2021-02-19 2024-04-15 ソニーグループ株式会社 位置推定システム、移動体、位置推定方法及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017056904A (ja) 2015-09-18 2017-03-23 アイシン・エィ・ダブリュ株式会社 無人飛行体の制御システム、制御方法及び制御プログラム
WO2017104102A1 (ja) 2015-12-16 2017-06-22 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017138947A (ja) 2016-01-28 2017-08-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
JP2017144986A (ja) 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体及び飛行制御方法
US20180095464A1 (en) 2014-06-09 2018-04-05 X Development Llc Supervisory Control of an Unmanned Aerial Vehicle

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133878A (ja) 1984-07-25 1986-02-17 株式会社日立製作所 マニプレ−タの制御装置
JP2910698B2 (ja) 1996-10-15 1999-06-23 日本電気株式会社 三次元構造推定方法及び装置
US6130705A (en) * 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
CA2392410A1 (en) * 2002-07-04 2004-01-04 Dan Keith Andersen Method of aerial monitoring of forests
US7911497B2 (en) * 2003-04-25 2011-03-22 Lockheed Martin Corporation Method and apparatus for video on demand
US20100157056A1 (en) * 2007-05-20 2010-06-24 Rafael Advanced Defense Systems Ltd. Tracking and imaging data fusion
DE102009050187A1 (de) * 2009-10-21 2011-04-28 Gobandit Gmbh GPS/Video-Datenkommunikationssystem, Datenkommunikationsverfahren, sowie Vorrichtung zur Verwendung in einem GPS/Video-Datenkommunikationssystem
JP5538823B2 (ja) * 2009-11-06 2014-07-02 キヤノン株式会社 撮像装置
KR101640456B1 (ko) * 2010-03-15 2016-07-19 삼성전자주식회사 디스플레이 패널의 각 픽셀들의 개구부를 통해 촬영하는 촬영 장치 및 방법
US8823707B2 (en) * 2010-11-24 2014-09-02 Google Inc. Guided navigation through geo-located panoramas
US9602801B2 (en) * 2011-07-18 2017-03-21 Truality, Llc Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
JP5950197B2 (ja) * 2012-03-15 2016-07-13 パナソニックＩｐマネジメント株式会社 映像信号処理装置
JP2014154907A (ja) * 2013-02-05 2014-08-25 Canon Inc 立体撮像装置
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9723216B2 (en) * 2014-02-13 2017-08-01 Nvidia Corporation Method and system for generating an image including optically zoomed and digitally zoomed regions
JP6368142B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 情報処理装置、情報処理方法
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
US20160127695A1 (en) * 2014-10-30 2016-05-05 Motorola Solutions, Inc Method and apparatus for controlling a camera's field of view
CN106598063B (zh) 2015-10-14 2021-10-26 松下电器（美国）知识产权公司 无人飞行器及飞行控制方法
US10029790B2 (en) * 2016-01-28 2018-07-24 Panasonic Intellectual Property Corporation Of America Device that controls flight altitude of unmanned aerial vehicle
AU2016398621A1 (en) * 2016-03-24 2018-10-18 Motorola Solutions, Inc. Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
US10642271B1 (en) * 2016-08-26 2020-05-05 Amazon Technologies, Inc. Vehicle guidance camera with zoom lens
JP7052788B2 (ja) * 2017-03-14 2022-04-12 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム
US10957063B2 (en) * 2018-03-26 2021-03-23 Adobe Inc. Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
US11287835B2 (en) * 2019-03-21 2022-03-29 Wing Aviation Llc Geo-fiducials for UAV navigation
WO2022070808A1 (ja) * 2020-10-01 2022-04-07 富士フイルム株式会社 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095464A1 (en) 2014-06-09 2018-04-05 X Development Llc Supervisory Control of an Unmanned Aerial Vehicle
JP2017056904A (ja) 2015-09-18 2017-03-23 アイシン・エィ・ダブリュ株式会社 無人飛行体の制御システム、制御方法及び制御プログラム
JP2017144986A (ja) 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体及び飛行制御方法
WO2017104102A1 (ja) 2015-12-16 2017-06-22 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017138947A (ja) 2016-01-28 2017-08-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム

Also Published As

Publication number Publication date
US11989910B2 (en) 2024-05-21
US20220222851A1 (en) 2022-07-14
JPWO2020246261A1 (ja) 2020-12-10
WO2020246261A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
CN108323190B (zh) 一种避障方法、装置和无人机
US9409656B2 (en) Aerial photographing system
US8896697B2 (en) Video motion compensation and stabilization gimbaled imaging system
US7974460B2 (en) Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
CN111226154B (zh) 自动对焦相机和系统
CN108140245B (zh) 测距方法、装置以及无人机
CN112037260A (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
US20220086362A1 (en) Focusing method and apparatus, aerial camera and unmanned aerial vehicle
CN111953892B (zh) 无人飞行器、检查方法
FI3596570T4 (fi) Menetelmä polun määrittämiseksi objektiä pitkin, järjestelmä ja menetelmä objektin tutkimiseksi automaattisesti
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
Klingbeil et al. Towards autonomous navigation of an UAV-based mobile mapping system
CN113984019A (zh) 测量系统、测量方法以及测量用程序
WO2019205087A1 (zh) 图像增稳方法和装置
JP7362203B2 (ja) 無人移動体
JP7468523B2 (ja) 移動体、位置推定方法、およびプログラム
CN111699454B (zh) 一种飞行规划方法及相关设备
CN112985359B (zh) 影像获取方法及影像获取设备
JP6949930B2 (ja) 制御装置、移動体および制御方法
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2018227345A1 (zh) 控制方法和无人机
CN111630466A (zh) 信息处理装置、飞行控制方法以及飞行控制系统
JP6719738B2 (ja) 自律移動撮影制御システムおよび自律移動体
JP2019207467A (ja) ３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150