JPWO2018185831A1 - 移動体、制御システム、制御方法及びプログラム - Google Patents

Abstract

移動体２０は、移動可能で撮像機能を備えた装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる、飛行可能な回転翼機である。表示物１０は、移動体２０に対して動作を通知したい位置に配置されており、移動体２０が行う動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されたものである。表示物１０においては、例えば、動作情報が手書きで媒体に記入されていたり、動作情報が媒体に印刷されていたり、動作情報が手書きないし印刷されたシールが構造物に貼付されていたり、或いは、動作情報が光学的な表示装置によって表示されている。移動体２０は表示物を撮像してその撮像結果を解析し、動作情報が示す動作を実行する。

Description

本発明は、移動体、制御システム、制御方法及びプログラムに関する。

ドローンと呼ばれる移動体を制御する仕組みとして、例えば特許文献１には、ユーザが操作するタブレットから移動体に対して制御コマンドを無線送信するシステムが開示されている。

特開２０１６−９４１８８号公報

特許文献１に記載された仕組みは、操作者の操作によって移動体をリアルタイムに遠隔制御するものであるが、将来的には、人間がわざわざリアルタイムに指示しなくても、移動体が自律的に自身の動作を制御することが望まれている。また、移動体は人間の居住空間においても飛行などの動作を行う装置であるため、その移動体の周りにいる人間にとっては移動体がどのように動作するのかを理解しやすいほうが望ましい。

本発明の目的は、操作者の操作によって移動体をリアルタイムに遠隔制御しなくても移動体が動作することが可能で且つ移動体がどのような動作を行うかを人間にとって理解しやすい技術を提供することにある。

課題を解決する手段

本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を実行する動作実行部とを備えることを特徴とする移動体を提供する。

前記動作情報は、前記動作情報は、前記移動体の移動に関する動作を示すようにしてもよい。

前記動作情報は、前記移動体が周囲の環境に対して行う動作を示すようにしてもよい。

前記動作情報は、条件及び当該条件を満たした場合に行う動作を示し、前記動作実行部は、前記動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行うようにしてもよい。

前記動作情報は、前記移動体の動作の制限を示すようにしてもよい。

前記動作情報は、前記移動体の動作に関する位置の範囲を示すようにしてもよい。

前記動作実行部は、前記撮像画像において筆跡を認識し、当該筆跡に応じて前記動作を実行するようにしてもよい。

前記表示物において複数の動作情報がそれぞれ異なる色で表示されており、前記動作実行部は、前記撮像画像における各動作情報を表示する色に応じた動作を実行するようにしてもよい。

また、本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部とを備えることを特徴とする制御システムを提供する。

また、本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップとを備えることを特徴とする制御方法を提供する。

また、本発明は、移動体が備えるコンピュータに、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップとを実行させるためのプログラムを提供する。

本発明によれば、操作者の操作によって移動体をリアルタイムに遠隔制御しなくても移動体が動作することが可能で且つ人間にとって移動体がどのような動作を行うかが理解しやすくなる。

本発明の一実施形態に係る制御システム１の概要を例示する図。 移動体２０のハードウェア構成を例示する図。 移動体２０の機能構成を例示する図。 表示物１０を例示する図。 表示物１０を例示する図。 移動体２０の動作を例示するフローチャート。 移動体２０の移動経路と表示物の表示内容との関係を例示する図。

１…制御システム、１０…表示物１０…移動体、２１…撮像部、２２…動作実行部、２２１…画像解析部、２２２…移動部、２２３…処理部、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…カメラ、２０７…測位装置、２０８…回転機構、２０９…処理機構。

１．構成
図１は、本発明の一実施形態に係る制御システム１の概要を例示する図である。制御システム１は、複数の表示物１０と、移動体２０とを備えている。移動体２０は、移動可能で撮像機能を備えた装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる、飛行可能な回転翼機である。表示物１０は、移動体２０に対して、その移動体２０が行う動作を通知する位置に配置されている。この表示物１０には、移動体２０が行う動作を示す動作情報が人間の解釈可能な（つまり人間が見ただけで意味が分かる）文字、記号又は図形の少なくともいずれか１によって表示されている。その表示形態は、例えば、動作情報が手書きで媒体に記入されているとか、動作情報が媒体に印刷されているとか、動作情報が手書きないし印刷されたシールが構造物に貼付されているとか、或いは、動作情報が光学的な表示装置によって表示されているなど、どのような形態であってもよい。

図２は、移動体２０のハードウェア構成を例示する図である。移動体２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、カメラ２０６、測位装置２０７、回転機構２０８及び処理機構２０９を有する。ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ＲＯＭ２０２は、例えば移動体２０の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、移動体２０において用いられるプログラムおよびデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより移動体２０はコンピュータ装置として機能し、後述する図３に示される機能が実現される。通信ＩＦ２０５は、移動体２０が外部装置とデータ通信を行う場合に、図示せぬネットワークを介した通信を行う。この通信は無線通信であってもよいし有線通信であってもよい。カメラ２０６は、例えば移動体２０の鉛直下方の空間を撮像し、撮像した画像を示す画像データを生成する。測位装置２０７は、例えばＧＰＳ（Global Positioning System）ユニットであり、移動体２０の位置を検出する。回転機構２０８は、移動体２０において揚力及び推進力を発生させる手段であり、プロペラ、シャフト、モータ、その他の駆動機構などを含む。処理機構２０９は決められた処理を行う機構であり、例えば移動体２０の行う動作が農薬散布であれば、農薬を貯留するタンクとその農薬を散布する散布装置などを含んでいる。

図３は、移動体２０の機能構成を例示する図である。移動体２０は、撮像部２１と、画像解析部２２１、移動部２２２及び処理部２２３を含む動作実行部２２とを有する。撮像部２１はカメラ２０６によって実現され、画像解析部２２１はＣＰＵ２０１によって実現され、移動部２２２はＣＰＵ２０１、測位装置２０７及び回転機構２０８によって実現され、処理部２２３は移動体２０のＣＰＵ２０１、カメラ２０６、測位装置２０７、回転機構２０８及び処理機構２０９によって実現される。撮像部２１は、撮像を行う手段であり、例えば表示物１０を撮像してその撮像画像を示す撮像画像データを生成する。画像解析部２２１は例えばＯＣＲ（Optical Character Recognition/Reader）等の画像認識技術や言語処理技術を利用して、撮像画像データを解析して動作情報の内容を特定する。移動部２２２及び処理部２２３は、特定された動作情報に応じた動作（例えば移動や農薬散布など）を行う。

図４は、表示物１０を例示する図である。図４（ａ）の例では、移動体２０が移動するときの高度及び速度と移動体２０が移動中に行う処理（１秒ごとに静止画撮影）とが文字で表示され、移動方向が矢印記号で表示されている。移動体２０はこのような表示物１０から、移動する方向、高度及び速度と、その移動中に行う処理とを読み取って、これら動作を実行する。

図４（ｂ）の例では、移動体２０が移動する方向とその移動中に行う処理（移動しながら動作撮影）とがいずれも文字で表示されている。図４（ｃ）の例では、移動体２０が移動する方向が矢印記号で表示され、その移動中に行う処理（動画撮影）が文字で表示されており、さらに、次の表示物１０の位置までの距離（１００ｍ）が文字で表示されている。移動体２０はこのような表示物１０から、移動する方向とその移動中に行う処理とを読み取って、これら動作を実行しながら次の表示物１０の位置へと向かい、指定された距離だけ移動すると表示物１０を探索する。

図４（ｄ）の例では、移動体２０が表示物１０の位置で行う処理（荷物投下）が文字で表示されている。移動体２０はこのような表示物１０から処理を読み取って、この動作を実行する。図４（ｅ）の例では、移動体２０が行う処理（農薬散布）とその動作を行う位置的範囲（表示物１０の位置を中心として半径１００ｍの円の範囲内）とが文字で表示されている。移動体２０はこのような表示物１０から処理と位置的範囲を読み取って、その位置的範囲において動作を実行する。図４（ｆ）の例では、移動体２０が行う処理（農薬散布）が文字で表示され、その動作を行う位置的範囲が文字、記号及び図形で表示されている。

図５（ａ）の例では、移動体２０に対する動作の制限（進入禁止）が文字で表示されている。移動体２０はこのような表示物１０から動作の制限を読み取って、それまでの進行方向を変更する。図５（ｂ）の例では、移動体２０に対する動作の制限（進入禁止）が文字で表示され、その制限の位置的範囲が文字、記号及び図形で表示されている。図５（ｃ）の例では、移動体２０に対する動作の制限（農薬散布しないということ）及びその制限の位置的範囲が文字で表示されている。移動体２０はこのような表示物１０から動作の制限を読み取って、それまで農薬散布を行っていたとしても、制限の位置的範囲においては農薬散布を中止する。

図５（ｄ）の例では、条件（エリアＡに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが文字で表示されている。エリアＡの位置は移動体２０が予め記憶しており、移動体２０はこのような表示物１０から条件及び動作を読み取って、その条件が満たされると、その動作を実行する。より具体的には、移動体２０の補助記憶装置２０４には、撮像画像の解析結果に相当する条件が記憶されている。例えば撮像画像に含まれるオブジェクト（植物の画像オブジェクト）の形状、色、大きさ等が所定の状態であれば害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・であることなどが記憶されている。移動体２０の動作実行部２２は、撮像画像に含まれるオブジェクトの形状、色、大きさ等を画像認識技術により解析し、その解析結果が補助記憶装置２０４に記憶されている条件（害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・）のいずれかに合致するか否かを判断する。そして、動作実行部２２は、解析結果が動作情報で指定された条件に合致する場合には、動作情報で指定された動作を実行する。

図５（ｅ）の例では、条件（エリアＡに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが或る色αの文字で表示されており、また、条件（エリアＢに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが別の色βの文字で表示されている。ここで、色αの文字で表示された動作情報は、色βの文字で表示された動作情報よりも優先される。従って、移動体２０はこのような表示物１０から条件及び動作を読み取ると、エリアＡ及びエリアＢについて害虫発生状況を調べ、エリアＡに害虫が発生していれば、エリアＢの害虫発生状況に関わらず、まずエリアＡについて動作（農薬散布）を実行する。一方、エリアＡに害虫が発生しておらずエリアＢに害虫が発生している場合、又は、エリアＡに害虫が発生していてエリアＡの農薬散布してもなお農薬が余っている場合には、移動体２０はエリアＢについて動作（農薬散布）を実行する。

図５（ｆ）の例では、条件と、その条件を満たした場合に移動体２０が行う動作を終了することがいずれも文字で表示されている。

以上のように、動作情報は、移動体２０の移動に関する動作を示すようにしてもよい。また、動作情報は、移動体２０が周囲の環境に対して行う動作（例えば撮像、荷物投下、農薬散布など）を示すようにしてもよい。動作情報は、条件及び当該条件を満たした場合に行う動作を示し、動作実行部２２は、動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行うようにしてもよい。また、動作情報は、移動体２０の動作の制限を示すようにしてもよい。また、動作情報は、移動体２０の動作に関する位置の範囲を示すようにしてもよい。また、表示物１０において複数の動作情報がそれぞれ異なる色で表示されており、動作実行部２２は、撮像画像における各動作情報を表示する色に応じた動作を実行するようにしてもよい。

２．動作
図６は、移動体２０の動作を例示するフローチャートである。図５において、移動体２０の移動部２２２は、予め与えられた指示に従い、回転機構２０８を駆動して所定の基地施設から離陸し、移動体２０を移動させる（ステップＳ１１）。この指示には、移動体２０が最初に撮像するべき表示物１０の位置を示す位置情報が含まれており、移動部２２２はその位置を目的地として移動体２０を移動させる。

移動部２２２は定期的に移動体２０の位置を検出しており、検出された位置が上記位置情報の示す位置に一致すると、撮像部２４が撮像を行いながら表示物１０を探索し、探索の結果発見した表示物１０の撮像を行う（ステップＳ１２）。

画像解析部２５は、撮像された撮像画像に含まれる表示物１０を解析して（ステップＳ１３）、表示物１０に表示された動作情報によって示される動作を決定する（ステップＳ１４）。動作実行部２２は、決定された動作を実行する（ステップＳ１５）。以降、全ての動作が終了するまで（ステップＳ１６；ＮＯ）、ステップＳ１２〜Ｓ１５の処理が繰り返される。全ての動作が終了すると（ステップＳ１６；ＹＥＳ）、移動体２０の処理は終了する。

図７は、移動体２０の移動経路と表示物の表示内容との関係を例示する図である。図に示すように、スタート地点Ｓからゴール地点Ｇに至るまでの移動体２０の移動経路において、要所となる地点（例えば前回撮像した表示物１０から一定の距離だけ離れた地点とか、それまでの移動体２０の動作が変更される地点）には表示物１０が配置されており、移動体２０はこの表示物１０に表示された動作情報（図７の例では、移動方向を示す矢印記号）に従って、動作（図７の例では、移動）する。

以上説明した本実施形態によれば、動作を特定するための動作情報を含む表示物１０を各所に配置するだけで、移動体２０がその表示物を解析して自律的に動作することが可能となる。この動作情報は、例えば人間が解釈できない符号化された情報（２次元バーコード等）ではなく、人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されるから、例えば人間が動作情報を自ら記入ないし入力して移動体２０に動作を指示することが容易となる。また、移動体２０の周囲にいる人間は、その移動体２０のどのように動作するかをおおよそ把握していないと、場合によっては移動体２０による不意の動作によって危険な状況になることが予想される。これに対し、本実施形態では、移動体２０の周囲にいる人間は表示物１０を見ることで、その移動体２０がどのような動作を行うかを容易に理解できるから、上記のような危険性が小さくなる。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

３−１．変形例１
動作実行部２２は、撮像画像において筆跡を認識し、当該筆跡に応じて動作を実行するようにしてもよい。具体的には、移動体２０に対して動作情報を与えることができる人間を１又は複数人の特定の人間に限定しておき、その人間の筆跡の特徴を補助記憶装置２０４に記憶させておく。動作実行部２２は、撮像画像において動作情報を示す筆跡を認識し、その筆跡が補助記憶装置２０４に記憶されているものと一致するときは、動作情報で指定された動作を実行する。一方、撮像画像において動作情報を示す筆跡が補助記憶装置２０４に記憶されているものと一致しないときは、動作実行部２２は、動作情報で指定された動作を実行しない。このようにすれば、権限の無い第３者が移動体２０に対して動作を指示する、というような不正行為を排除できる。

３−２．変形例２
図４に例示した表示物１０に表示される動作情報の表示形態は一例に過ぎず、動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されていれば、どのようなものであってもよい。なお、動作情報に含まれる条件は、自然環境に関する条件（例えば温度、湿度、降水量）を指定するものであってもよい。この場合、移動体２０は、これらの条件によって指定された自然環境に関する値（温度、湿度、降水量）を例えば移動体２０自身が備えるセンサや地上等に設置されたセンサから取得し、取得した値が上記条件を充足すると、動作情報にて指定された動作を行うようにする。

３−３．変形例３
本発明における移動体は、実施形態で例示した回転翼機のように空中を飛行する移動体２０に限定されず、例えば地面や水中を移動する移動体であってもよい。

３−４．変形例４
図３で例示した機能構成の一部が移動体２０以外の装置に実装されていてもよい。例えば、画像解析部２２１が、移動体２０とは別の外部装置（例えば移動体２０と通信可能なコンピュータ装置）により実現されてもよい。この場合、撮像部２１が撮像した撮像画像データが移動体２０の通信ＩＦ２０５経由で外部装置に送信され、その外部装置において、画像解析部が撮像画像に含まれる表示物１０を解析して、表示物１０に表示された動作情報によって示される動作を決定し、その動作を移動体２０に通知する。この通知に応じて、移動体２０の動作実行部２２が通知された動作を実行する。このように、本発明を制御システムの発明として把握することも可能である。つまり、本発明の制御システムは、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部とを備える。

なお、ＣＰＵ２０１により実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、これらのプログラムは、実施形態で説明したすべてのステップを実行させるものでなくてもよい。

Claims (11)

1. 移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、
   撮像された撮像画像を解析し、前記動作情報が示す動作を実行する動作実行部と
   を備えることを特徴とする移動体。
2. 前記動作情報は、前記移動体の移動に関する動作を示す
   ことを特徴とする請求項１に記載の移動体。
3. 前記動作情報は、前記移動体が周囲の環境に対して行う動作を示す
   ことを特徴とする請求項１又は２に記載の移動体。
4. 前記動作情報は、条件及び当該条件を満たした場合に行う動作を示し、
   前記動作実行部は、前記動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行う
   ことを特徴とする請求項１〜３のいずれか１項に記載の移動体。
5. 前記動作情報は、前記移動体の動作の制限を示す
   ことを特徴とする請求項１〜４のいずれか１項に記載の移動体。
6. 前記動作情報は、前記移動体の動作に関する位置の範囲を示す
   ことを特徴とする請求項１〜５のいずれか１項に記載の移動体。
7. 前記動作実行部は、前記撮像画像において筆跡を認識し、当該筆跡に応じて前記動作を実行する
   ことを特徴とする請求項１〜６のいずれか１項に記載の移動体。
8. 前記表示物において複数の動作情報がそれぞれ異なる色で表示されており、
   前記動作実行部は、前記撮像画像における各動作情報を表示する色に応じた動作を実行する
   ことを特徴とする請求項１〜７のいずれか１項に記載の移動体。
9. 移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、
   撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部と
   を備えることを特徴とする制御システム。
10. 移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、
    撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させるステップと
    を備えることを特徴とする制御方法。
11. 移動体が備えるコンピュータに、
    移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、
    撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップと
    を実行させるためのプログラム。

Images