JPWO2020065719A1

JPWO2020065719A1 - 飛行体

Info

Publication number: JPWO2020065719A1
Application number: JP2019541488A
Authority: JP
Inventors: 鈴木　陽一; 陽一鈴木
Original assignee: Aeronext Inc
Current assignee: Aeronext Inc
Priority date: 2018-09-25
Filing date: 2018-09-25
Publication date: 2021-01-07
Anticipated expiration: 2038-09-25
Also published as: CN112839871A; WO2020065719A1; US20210387743A1; JP6631900B1

Abstract

【課題】精度良く自己の位置を推定することができるようにする。【解決手段】飛行体は、焦点距離の異なる２台のカメラと、２台のカメラのうち少なくとも焦点距離の短いカメラを搭載するスタビライザと、２台のカメラが撮影した画像に基づいて飛行体の移動速度を算出するフライトコントローラと、を備える。【選択図】図２

Description

本発明は、飛行体に関する。

飛行体の飛行位置をＧＰＳに依らずに推測する技術が知られている。たとえば、特許文献１には、超音波高度計とカメラとを用いて無人機の水平並進速度を求める手法として、多重解像度の手法を用いるオプティカルフロー法、特徴点検出器アルゴリズム、およびこれらを組み合わせた手法が開示されている。

特許第５８５４６５５号明細書

しかしながら、特許文献１に記載の手法では、高度が高くなると画像の解像度が下がり精度が落ちてしまう。

本発明はこのような背景を鑑みてなされたものであり、精度良く自己の位置を推定することのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、飛行体であって、焦点距離の異なる２台のカメラと、前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、を備えることとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、精度良く自己の位置を推定することができる。

本発明の一実施形態に係る飛行体１の構成例を示す図である。本実施形態に係る飛行体１の概要を説明する図である。焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の一例を示す図である。焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第２の例を示す図である。焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第３の例を示す図である。カメラ３および６ならびに距離計４を水平方向に向けて搭載した飛行体１の一例を示す図である。スタビライザ５に代えて積載部７を安定させる姿勢制御装置５１を設けた飛行体１の一例を示す図である。カメラ３および６ならびに距離計４を搭載した積載部７を複数設けた飛行体１の例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。

［項目１］
焦点距離の異なる２台のカメラと、
前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、
前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、
を備えることを特徴とする飛行体。
［項目２］
項目１に記載の飛行体であって、
前記２台のカメラのそれぞれが撮像した２つの撮像画像に基づいて、撮像された地点からの距離を算出する距離算出部を備えること、
を特徴とする飛行体。
［項目３］
項目１に記載の飛行体であって、
距離計をさらに備え、
前記スタビライザは前記焦点距離の短い前記カメラと前記距離計とを搭載すること、
を特徴とする飛行体。

図１は、本発明の一実施形態に係る飛行体１の構成例を示す図である。

フライトコントローラ１１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

フライトコントローラ１１はメモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。

メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ３や距離計４、センサ類１０３から取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。例えば、カメラ３で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。距離計４は対象物との間の距離を測定し、測定した距離をメモリ１０２に記憶することができる。距離計４は、たとえば、地面からの距離（高度）を測定し、あるいは天井までの距離を測定することができる。カメラ３および距離計４は、飛行体１にスタビライザ５を介して設置される。スタビライザ５は、ジンバル軸の交点が飛行体１の重心に位置するように配することが好適である。

フライトコントローラ１１は、飛行体１の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１０５を経由して飛行体１の推進機構（モータ１０６等）を制御する。モータ１０６によりプロペラ１０７が回転することで飛行体１の揚力を生じさせる。制御モジュールは、センサ類１０３の状態のうちの１つ以上を制御することができる。

フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部１０４と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部１０４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部１０４は、センサ類１０３で取得したデータ、フライトコントローラ１１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類１０３は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

図２は、本実施形態に係る飛行体１の概要を説明する図である。上述したように、飛行体１は、カメラ３および距離計４をスタビライザ５を介して本体２に搭載している。スタビライザ５を設けることにより、図１（ｂ）に示すように、飛行体１の本体２が傾斜したとしてもカメラ３および距離計４は略水平に保たれる。

距離計４はたとえば地面までの距離（高度）を測定することができる。距離計４は、たとえば、超音波の反射時間を測定することにより距離を求めることができる。なお、距離計４は、超音波に限らず、光学や赤外線、レーザなどを用いてもよく、任意の方式の距離計を採用することができる。

フライトコントローラ１１は、距離計４により測定した距離と、カメラ３が撮影した連続画像とに基づいて、飛行体１の水平方向の移動速度を計算することができる。たとえば、フライトコントローラ１１は、距離計４が測定した高度とカメラ３の画角とに基づいて１画素あたりの距離を計算し、単位時間当たりの移動距離から速度を算出することができる。なお、カメラ３が撮影した複数の画像に基づいて飛行体１の水平移動速度を計算する手法には、公知の手法を用いることができる。

図３は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の一例を示す図である。図３（ａ）に示すように、スタビライザ５には焦点距離の長い（望遠）カメラ３と距離計４とを搭載し、焦点距離の短い（広角）カメラ６はスタビライザ５を介さずに本体２に搭載する。フライトコントローラ１１は、２つのカメラ３および６が撮影した解像度の異なる２つの画像に基づいて、飛行体１の水平移動速度を計算することができる。図３（ｂ）に示すように、望遠のカメラ３をスタビライザ５に搭載することにより、高高度であってもカメラ３を安定させて高精細な画像を撮影することができる。また、距離計４を安定させて距離（高度）の測定も精度よく行うことができる。したがって、フライトコントローラ１１は水平移動速度を精度良く推定することが可能となる。

広角のカメラ６もスタビライザ５に搭載するようにしてもよい。図４は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第２の例を示す図である。図４（ａ）に示すように、焦点距離の異なる２台のカメラ３および６をスタビライザ５を介して本体２に搭載している。図４（ｂ）に示すように、飛行体１が傾いた場合であっても、スタビライザ５によりカメラ３および６ならびに距離計４は鉛直方向下方を向く。これにより、カメラ３および６を安定させて、解像度の異なる画像を高精細に撮影することができる。距離計４を安定させて距離（高度）の測定も精度よく行うことができる。したがって、フライトコントローラ１１は水平移動速度を精度良く推定することができる。

カメラ３および６ならびに距離計４は、鉛直方向上方に向けてもよい。図５は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第３の例を示す図である。図５（ａ）に示すように、カメラ３および６ならびに距離計４は本体２の上面に配される。これにより、カメラ３および６は鉛直方向上方の画像を撮影し、距離計４は鉛直方向上方に向けた距離を測定する。たとえば、大規模展示場などにおいて、床面がコンクリートやタイルで特徴点の抽出が困難な状況の場合であっても、天井を撮影してグリップさせ、天井までの距離を測定し、これらに基づいて水平移動距離を計算することができる。

カメラ３および６ならびに距離計４は、水平方向に向けてもよい。図６はカメラ３および６ならびに距離計４を水平方向に向けて搭載した飛行体１の一例を示す図である。図６の例では、スタビライザ５の各側面にカメラ３および６ならびに距離計４を搭載している。フライトコントローラ１１は、各側面について、２つのカメラ３および６が撮影した画像と、距離計４が測定した水平方向に存在する物体までの距離とに応じて、当該側面に平行する平面上における移動速度を推定することができる。これにより、たとえば屋内プールの水面上であっても、横の壁に向けたカメラ３および６ならびに距離計４により、飛行体１の水平方向の移動速度を推測することが可能となり、水面上を自律飛行することができるようになる。

スタビライザ５は、積載している物（たとえばカメラ３および距離計４）の姿勢を安定させる機構であればよい。図７は、スタビライザ５に代えて積載部７を安定させる姿勢制御機構５１を設けた飛行体１の一例を示す図である。姿勢制御機構５１は、飛行体１の本体２上面に配される支持部材５１１と、支持部材５１１に接続されるアーム５１２とを備える。アーム５１２の先端部には積載部７が設けられる。アーム５１２と支持部材５１１とはヒンジ５１３により回動可能に接続される。ヒンジ５１３は飛行体１の重心に設けられる。また、ヒンジ５１３は、直交する軸に対して回動可能に構成される。これにより、アーム５１２を飛行体１の重心を中心に３６０度回動させることができる。したがって、飛行体１の本体２が傾いても、図７（ｂ）に示すように、アーム５１２は鉛直方向に安定し、積載部７に搭載されたカメラ３および６ならびに距離計４は、鉛直方向下方を向いたままとなる。よって、カメラ３および６は高精細な画像を撮影することが可能となり、距離計４は安定的な距離（高度）を測定することが可能となる。

カメラ３および６を搭載した積載部７を複数設けてもよい。図８は、カメラ３および６ならびに距離計４を搭載した積載部７を複数設けた飛行体１の例を示す図である。図８の例では、矢印Ｆが飛行体１の進行方向前方を示し、上下が鉛直方向であるものとする。図８に示すように、支持部材５１１には、上下に２本のアーム５１２Ｕおよび５１２Ｄが回動可能に接続される。アーム５１２Ｕおよび５１２Ｄの先端には、カメラ３および６ならびに距離計４を搭載した面（以下搭載面という。）を上下に向ける積載部７Ｕおよび７Ｄが設けられる。また、アーム５１２Ｕおよび５１２Ｄには、飛行体１の左側に搭載面を向ける積載部７ＬＵおよび７ＬＤが設けられ、積載部７ＬＵおよび７ＬＤの逆側にも、それぞれ飛行体１の右側に搭載面を向ける積載部（不図示）が設けられる。これにより、飛行体１の上下左右のそれぞれについて、カメラ３および６が解像度の異なる画像を撮影し、距離計４が飛行体１の周辺物に対する距離を測定することができる。したがって、フラ一途コントローラ１１は、上下左右のいずれかの画像および距離を用いることで、飛行体１の上下左右前後方向の移動速度を推定することができる。

さらに図８に示すように、アーム５１２に対して傾斜したアーム５１４を接続し、アーム５１４の先端に積載部７を設け、鉛直方向に対して角度をつけた斜め方向の画像および距離を測定するようにしてもよい。図８の例では、アーム５１２の前後に４５度の傾斜を付けたアーム５１４が接続されている。飛行体１上側のアーム５１２Ｕには、飛行体１の前側上方４５度に搭載面を向ける積載部７ＦＵを設けたアーム５１４ＦＵと、飛行体１の後側上方４５度に搭載面を向ける積載部７ＢＵを設けたアーム５１４ＢＵとが接続される。また、飛行体１下側のアーム５１２Ｄには、飛行体１の前側下方４５度に搭載面を向ける積載部７ＦＤを設けたアーム５１４ＦＤと、飛行体１の後側下方４５度に搭載面を向ける積載部７ＢＤを設けたアーム５１４ＢＤとが接続される。このようにして、図８の例では、飛行体１の略３６０度の画像を撮影することができる。これにより、フライトコントローラ１１は、上下左右前後方向の移動速度を推定することができる。

以上説明したように、本実施形態の飛行体１によれば、飛行体１にカメラ３および距離計４をスタビライザ５を介して搭載しているので、カメラ３および距離計４の撮影および計測を行う方向を安定させることができる。これにより、画像および距離を用いた飛行体１の移動速度の推定精度を向上させることができる。このような本実施形態の飛行体１に係る構成は、ホビー用から産業用途まで、目的を問わず様々な飛行体において利用可能である。また、使用環境は屋外、屋内を問わない。カメラが撮影した画像と距離計が測定した距離とに応じて、飛行体１の移動速度を推定し、移動速度から飛行体１の位置を推定することができるので、橋の下や谷、洞窟などのＧＰＳが機能しない場所ではＧＰＳの代用とすることができる。また、ＧＰＳ信号の取得あるいはＧＰＳの使用になんらかの障害が起こった場合にバックアップとして機能させることができる。

また、焦点距離の異なる複数のカメラを搭載する場合には、より焦点距離の長いカメラの光軸にズレが生じると１画素あたりの距離から移動距離を求める場合に誤差が大きくなるところ、本実施形態の飛行体１によれば、より焦点距離の長いカメラ３をスタビライザ５により安定させることができる。したがって、移動速度の推測を高精度に行うことが可能となる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

たとえば、本実施形態では、距離計４が距離を計測することを前提としたが、これに限らず、距離計４を省略し、カメラ３および６による２つの画像を用いて、撮影されている物体からの距離を推定することもできる。これは一般的なステレオ画像の処理を用いることで実現可能である。この場合、カメラ３および６をスタビライザ５で安定させることで移動速度および距離（高度）の推定を精度良く行うことができる。

また、図７の例では、アーム５１２の先端部に設けた積載部７にカメラ３および６ならびに距離計４が配され、このカメラ３および６が撮影した画像と距離計４が測定した距離とに応じて飛行体１の移動速度を推定するものとしたが、フライトコントローラ１１は、アーム１２の長さ（ヒンジ５１３から積載部７の搭載面までの距離）に応じて、移動速度を補正すると好適である。

また、図８の例では、前後方向には斜め上および斜め下に積載部７の搭載面を向けるものとしたが、左右方向と同様に、前後方向を向けるようにしてもよい。

また、本実施形態では、カメラ３と距離計４とはスタビライザ５に固定されているものとしたが、距離計４を可動としてもよい。この場合に、フライトコントローラ１１は、カメラ３が撮影した画像中からグリップする点（すなわち、特徴量が抽出された点である。以下、グリップ点という。）を取得し、取得したグリップ点に向けて超音波やレーザを発するように距離計４の指向方向を変化させるべく距離計４を回動させてもよい。これにより、カメラ３からの画像を解析して移動速度を推定するに当たって用いられるグリップ点と、距離計４からの距離を測定する対象となる点とを略一致させることができる。これにより、画像における１画素あたりの距離を計算するにあたって、グリップ点が移動した距離（水平方向の距離）の算出に用いられるグリップ点までの距離を正確に求めることが可能となり、移動速度の推定精度を向上させることができる。

１飛行体
２本体
３カメラ
４距離計
５スタビライザ
６カメラ
７積載部
５１姿勢制御機構
５１１支持部材
５１２アーム
５１３ヒンジ

Claims

焦点距離の異なる２台のカメラと、
前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、
前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、
を備えることを特徴とする飛行体。
請求項１に記載の飛行体であって、
前記２台のカメラのそれぞれが撮像した２つの撮像画像に基づいて、撮像された地点からの距離を算出する距離算出部を備えること、
を特徴とする飛行体。
請求項１に記載の飛行体であって、
距離計をさらに備え、
前記スタビライザは前記焦点距離の短い前記カメラと前記距離計とを搭載すること、
を特徴とする飛行体。