JP6621942B2 - 遠隔制御システム、遠隔制御方法、およびプログラム - Google Patents

遠隔制御システム、遠隔制御方法、およびプログラム Download PDF

Info

Publication number
JP6621942B2
JP6621942B2 JP2018556030A JP2018556030A JP6621942B2 JP 6621942 B2 JP6621942 B2 JP 6621942B2 JP 2018556030 A JP2018556030 A JP 2018556030A JP 2018556030 A JP2018556030 A JP 2018556030A JP 6621942 B2 JP6621942 B2 JP 6621942B2
Authority
JP
Japan
Prior art keywords
analysis result
condition
image
image data
position data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018556030A
Other languages
English (en)
Other versions
JPWO2018109796A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2018109796A1 publication Critical patent/JPWO2018109796A1/ja
Application granted granted Critical
Publication of JP6621942B2 publication Critical patent/JP6621942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/91Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Selective Calling Equipment (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Description

本発明は、遠隔制御システム、遠隔制御方法、およびプログラムに関する。
人間が行う作業を支援する様々な仕組みが開発されている。例えば農作業を支援する仕組みとして、特許文献1には、移動可能で且つ農作業を行う複数の農業機械2と、各農業機械2において農作業データを収集して外部に送信するデータ収集装置3と、データ収集装置3から送信された農作業データを受信してサーバ5に送信する移動可能な複数の携帯端末4とを備えたシステムが開示されている。サーバ5に蓄積された農作業データは、農作業従事者等が作業日報を作成したり、作業計画を立てたり、各圃場の農作業実績をグラフ化したり、経営計画を作成するために用いられる。
特開2014−194601号公報
例えば特許文献1に記載の技術において、どのような農作業をいつ行うかという判断は農作業従事者に委ねられている。これに対し、本発明は、例えば農作業のような様々な処理を行うか否かの判断を人間に委ねなくても可能にすることを目的とする。
課題を解決する手段
本発明は、移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得手段と、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段と、前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断手段と、前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示手段と、前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御手段とを備えることを特徴とする遠隔制御システムを提供する。
また、本発明は、撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得手段と、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段と、前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断手段と、前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示手段とを備え、前記取得された位置データに基づくエリアは、当該位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアであることを特徴とする遠隔制御システムを提供する。
また、本発明は、移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段において、前記取得された画像データの解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップと、前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御ステップとを備えることを特徴とする遠隔制御方法を提供する。
また、本発明は、撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶ステップと、前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップとを備え、前記取得された位置データに基づくエリアは、当該位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアであることを特徴とする遠隔制御方法を提供する。
また、本発明は、1以上のコンピュータに、移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段において、前記取得された画像データの解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、
前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップと、前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御ステップとを実行させるためのプログラムを提供する。
また、本発明は、1以上のコンピュータに、撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶ステップと、前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップとを実行させるためのプログラムを提供する。
本発明によれば、人間の判断に委ねなくても、処理を行うか否かを判断することができる。
本発明の一実施形態に係る遠隔制御システム1の概要を例示する図。 移動体撮像装置20のハードウェア構成を例示する図。 遠隔制御装置10のハードウェア構成を例示する図。 遠隔制御装置10の補助記憶装置104に記憶される情報を例示する図。 遠隔制御装置10の補助記憶装置104に記憶される条件処理テーブルを例示する図。 遠隔制御システム1の機能構成を例示する図。 遠隔制御システム1の動作を例示するシーケンスチャート。
1…遠隔制御システム、10…遠隔制御装置、11…移動制御部、12…取得部、13…記憶部、14…判断部、15…指示部、16…履歴記憶部、20…移動体撮像装置、21…移動部、22…撮像部、23…送信部、24…位置検出部、30…制御対象装置、31…処理部、90…ネットワーク、101…CPU、102…RAM、103…ROM、104…補助記憶装置、105…通信IF、201…CPU、202…RAM、203…ROM、204…補助記憶装置、205…通信IF、206…カメラ、207…センサ、2081…回転機構。
1.構成
図1は、本発明の一実施形態に係る遠隔制御システム1の概要を例示する図である。遠隔制御システム1は、遠隔制御装置10と、移動体撮像装置20と、制御対象装置30と、これらの装置10〜30どうしを通信可能に接続するネットワーク90とを備えている。ネットワーク90は、例えばLAN(Local Area Network)またはWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいてもよい。制御対象装置30は、例えば田畑で栽培される植物に対して散水、追肥、農薬散布、収穫などの各種処理を行うための農業用機械である。移動体撮像装置30は、移動可能で撮像機能を備えた装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる飛行可能な回転翼機である。移動体撮像装置30は、遠隔制御装置10の指示に従い、田畑の上方を飛行して、その田畑で栽培されている植物の画像を撮像する。遠隔制御装置10は、移動体撮像装置30によって撮像された画像を解析し、その解析結果に応じて、植物にどのような処理を行うべきかを決定し、決定した処理を行うよう制御対象装置30に指示する。制御対象装置30は、指示された処理を自動的に又は農業従事者の操作に従って行う。
図2は、移動体撮像装置20のハードウェア構成を例示する図である。移動体撮像装置20は、CPU201(Central Processing Unit)、ROM(Read Only Memory)202、RAM(Random Access Memory)203、補助記憶装置204、通信IF205、カメラ206、センサ207及び回転機構208を有するCPU201は、各種の演算を行うプロセッサである。RAM202は、CPU201がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ROM203は、例えば移動体撮像装置20の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置204は、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶装置であり、移動体撮像装置20において用いられるプログラムおよびデータを記憶する。CPU201がこのプログラムを実行することにより、移動体撮像装置20はコンピュータ装置として機能し、後述する図6に示される機能が実現される。通信IF205は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。カメラ206は、例えば移動体撮像装置20の鉛直下方の空間を撮像し、撮像した画像を示す画像データを生成する。測位装置207は、例えばGPS(Global Positioning System)ユニットであり、移動体撮像装置20の位置を検出する。回転機構208は、移動体撮像装置20において浮力を発生させる手段であり、プロペラ、シャフト、モータ、その他の駆動機構などを含む。
図3は、遠隔制御装置10のハードウェア構成を例示する図である。遠隔制御装置10は、CPU101、ROM102、RAM103、補助記憶装置104、および通信IF105を有するコンピュータ装置である。CPU101は、各種の演算を行うプロセッサである。RAM102は、CPU101がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。ROM103は、例えば遠隔制御装置10の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置104は、例えばHDD又はSSDなどの不揮発性の記憶装置であり、遠隔制御装置10において用いられるプログラムおよびデータを記憶する。CPU101がこのプログラムを実行することにより、後述する図6に示される機能が実現される。通信IF105は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。
図4は、遠隔制御装置10の補助記憶装置104に記憶される情報を例示する図である。補助記憶装置104には、移動体撮像装置10において画像(ここでは動画)が撮像された日時、画像が撮像された位置を示す位置データ、撮像された画像を示す画像データ、撮像された画像が解析された結果、その解析の結果処理が必要とされるエリアの位置を示す処理対象位置データ、撮像された画像が画像認識技術により解析された解析結果、及び、必要とされる処理の内容が対応付けられて記憶される。
図5は、遠隔制御装置10の補助記憶装置104に記憶される条件処理テーブルを例示する図である。条件処理テーブルには、あらかじめ想定される、撮像された画像が解析された解析結果の条件と、その条件に合致する位置において必要な処理とが対応付けられている。例えば画像に含まれるオブジェクト(植物の画像オブジェクト)の形状、色、大きさ等が害虫発生症状という条件に合致する場合には、農薬散布という処理が実行されることなどがこの条件処理テーブルに規定されている。
図6は、遠隔制御システム1の機能構成を例示する図である。遠隔制御システム1は、移動部21、撮像部22、位置検出部23、送信部24、移動制御部11、取得部12、記憶部13、判断部14、指示部15、履歴記憶部16、及び処理部31を有する。この例では、移動部21、撮像部22、位置検出部23、及び送信部24が移動体撮像装置20に実装されており、移動制御部11、取得部12、記憶部13、判断部14、指示部15、及び履歴記憶部16が遠隔制御装置10に実装されており、処理部31が制御対象装置30に実装されている。
移動部21は移動体撮像装置20の回転機構208によって実現され、撮像部22は移動体撮像装置20のカメラ206によって実現され、位置検出部23は移動体撮像装置20の測位装置207によって実現され、送信部24は移動体撮像装置20の通信IF205によって実現される。移動制御部11は遠隔制御装置10のCPU101及び通信IF105によって実現され、取得部12は遠隔制御装置10の通信IF105によって実現され、記憶部13は遠隔制御装置10の補助記憶装置104によって実現され、判断部14は遠隔制御装置10のCPU101及び補助記憶装置104によって実現され、指示部15は遠隔制御装置10の通信IF105によって実現され、履歴記憶部16は遠隔制御装置10の補助記憶装置104によって実現される。
移動制御部11は、移動体撮像装置20の移動を制御するべく、移動部21に対し移動経路、移動速度、移動するときの高度、撮像を開始及び終了する時期などを含む移動指示を与える。移動部21は移動制御部11の移動指示に従い、移動体撮像装置20を移動させる。撮像部25は、移動体撮像装置20の移動に伴い、撮像の開始から終了に至る期間にわたって動画を撮像する。位置検出部23は、移動体撮像装置20の位置、つまり撮像される画像の位置を検出する。送信部24は、撮像部22によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを遠隔制御装置10に送信する。
取得部12は、送信部24から送信された画像データ及び位置データを取得する。記憶部13は、前述した条件処理テーブル、つまり、画像データの解析結果に関する条件と制御対象装置30が行う処理とを対応付けた情報を記憶している。判断部14は、取得部12によって取得された画像データを解析し、その解析結果が記憶部13に記憶されている条件に合致するか否かを判断する。指示部15は、判断部14による解析結果が記憶部13に記憶されている条件に合致する場合には、取得部12によって取得された位置データに基づいて処理対象となるエリアを特定し、そのエリアにおいて上記条件に対応付けられた処理を行うよう制御対象装置30に指示する。履歴記憶部16は、指示部15により指示された処理と当該処理が行われたエリアの位置とを処理履歴として記憶する。処理部31は、指示部15による指示に応じて処理を行う。
2.動作
図7は、遠隔制御システム1の動作を例示するシーケンスチャートである。図7において、遠隔制御装置10の移動制御部11は、ネットワーク90を介して移動部21に対して、移動経路、移動速度、移動するときの高度、撮像を開始及び終了する時期などを含む移動指示を与える(ステップS11)。この移動指示はこの遠隔制御システム1の管理者等により事前に作成されており、遠隔制御装置10に入力される。
移動体撮像装置20の移動部21は移動制御部11の移動指示に従い、回転機構208を駆動して移動体撮像装置20を移動させる。撮像部25は、移動体撮像装置20の移動に伴い、移動指示に含まれる撮像の開始から終了に至る期間にわたって動画を撮像する。位置検出部23は、移動体撮像装置20の位置、つまり撮像される画像の位置を定期的に(例えば10秒ごとに)検出する。送信部24は、撮像部22によって撮像された画像を示す画像データと、位置検出部23によって検出された位置を示す位置データとを、ネットワーク90を介して遠隔制御装置10に送信する。この送信処理は、移動体撮像装置20が飛行終了地点に設けられた基地施設に着陸してから行われてもよいし、移動体撮像装置20の飛行中に行われてもよい。
遠隔制御装置10の取得部12は、送信部24から送信された画像データ及び位置データを取得する。判断部14は、取得部12によって取得された画像データを解析する。具体的には、判断部14は、画像データが示す各画像に含まれるオブジェクトの形状、色、大きさ等を画像認識技術により解析し、その解析結果が記憶部13に記憶されている条件(害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・)のいずれかに合致するか否かを判断する。
遠隔制御装置10の指示部15は、記憶部13に記憶されている条件に合致するような解析結果となるような画像があった場合には、その画像に対応する位置データに基づいて、処理対象となるエリアの位置を特定する。より具体的には、指示部15は、記憶部13に記憶されている条件(害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・)に合致するような解析結果となる画像に対応する位置データを中心として所定の半径のエリアを処理対象とする。そして、指示部15は、条件処理テーブルにおいて上記条件に対応付けられた処理(農薬散布、散水、追肥、収穫・・・のいずれか)を読み出し、処理対象位置データとその処理とを含む処理指示を、ネットワーク90を介して制御対象装置30に送信する。履歴記憶部16は、指示部15により指示された処理と当該処理が行われるエリアの処理対象位置データとを処理履歴として記憶する。
制御対象装置30の処理部31は、指示部15による処理指示を受け取る。そして、制御対象装置30において、その処理指示に含まれる処理対象位置データが示すエリアにおいて、処理指示に含まれる処理が行われる。具体的には、制御対象装置30が処理をすべて自動で行うことが可能な場合には、制御対象装置30自身が処理対象位置データの示すエリアに移動して処理を実行する。また、少なくとも一部の処理を人間が補助ないし実行する場合には、例えば制御対象装置30において人間が処理指示を参照し、制御対象装置30を操作して処理対象位置データが示すエリアに移動し、そのエリアにて制御対象装置30を操作しながら処理を実行する。
本実施形態によれば、人間の判断に委ねなくても、農作業のような様々な処理を行うか否かを判断することができる。
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3−1.変形例1
本発明は、田畑で栽培される植物以外に、海洋や河川で養殖される海苔、魚類、貝類等の動植物、或いは、牧場で飼われる家畜等の動物に対する処理を行う場合であっても適用可能である。
3−2.変形例1
移動制御部11は、処理対象となるエリアに含まれる動植物の種類に応じて、移動体撮像装置20の移動を制御するようにしてもよい。例えば動植物の種類によっては低い高度で移動体撮像装置20が飛行しないと画像の解析ができないような場合には、移動制御部11は、比較的低い高度で飛行するよう移動体撮像装置20の移動を制御する。また、例えば動植物の種類によっては移動体撮像装置20の単位面積当たりの移動経路を密にしないと画像の解析ができないような場合、移動制御部11は、移動体撮像装置20の単位面積当たりの移動経路を密にした移動経路で飛行するよう移動体撮像装置20の移動を制御する。また、例えば動植物の種類によっては移動体撮像装置20の移動速度を遅くしないと画像の解析ができないような場合、移動制御部11は、比較的遅い速度で飛行するよう移動体撮像装置20の移動を制御する。
また、実施形態では、判断部14が画像を解析して必要な処理を選定していたが、これに代えて、例えばシステムの管理者等によって最初に処理が指定され、判断部14が画像を解析して、指定されたその処理を行うべきか否かを判断してもよい。この場合、移動制御部11は、指定された処理に応じて移動体撮像装置20の移動を制御してもよい。例えば散水という処理が指定された場合には、単位面積当たりの移動経路が疎で、比較的高い高度で速く移動しても画像の解析には十分であるため、移動制御部11はそのような移動をするよう移動体撮像装置20を制御する。一方、例えば農薬散布という処理が指定された場合には、単位面積当たりの移動経路が密で、比較的低い高度で遅く移動しないと十分な画像解析ができないため、移動制御部11はそのような移動をするよう移動体撮像装置20を制御する。
3−3.変形例3
制御対象装置30と移動体撮像装置20とが同一であってもよい。つまり、制御対象装置30として移動体撮像装置20を用いてもよい。この場合、移動体撮像装置20の送信部24は、撮像部22によって撮像された画像を示す画像データと、位置検出部23によって検出された位置を示す位置データとを、移動体撮像装置20の飛行中に送信してもよい。これに応じて、判断部14は直ちに、取得部12によって取得された画像データを解析し、その解析結果が記憶部13に記憶されている条件に合致するか否かを判断する。そして、指示部15は、判断部14による解析結果が記憶部13に記憶されている条件に合致する場合には、上記条件に対応付けられた処理を行うよう制御対象装置30に指示する。これらの処理が移動体撮像装置20の飛行中にリアルタイムに行われる。
3−4.変形例4
処理対象となるエリアは、画像が撮像された位置を含まないエリアであって、且つ、画像が撮像された位置と所定の位置関係にあるエリアであってもよい。例えば海洋において海苔を養殖する場合、赤潮等が発生する予兆は海苔の養殖地域よりも外洋側に現れることがある。そこで、移動体撮像装置20は海苔の養殖地域よりも外洋側を撮像し、その撮像した画像の解析によって赤潮等の発生が予測される場合には、海苔の養殖施設があるエリアに対して施設の移動や適切な薬剤の散布などを行う。この場合、処理対象となるエリアは、画像が撮像された位置を含まないエリアであって、且つ、画像が撮像された位置と所定の位置関係にあるエリアに相当する。
3−5.変形例5
指示部15は、履歴記憶部16によって記憶された処理履歴に基づいて制御対象装置30に指示する処理を決定する。例えば過去に農薬散布を行ったという処理履歴が記憶されているエリアに対して再び農薬散布を行う場合、指示部15は、その農薬の量を前回よりも少なくする処理の指示を行うといった例が考えられる。
3−6.変形例6
指示部15は、移動体撮像装置20によって画像が撮像された時期以前の、当該画像の位置における自然環境に関する情報(例えば温度、湿度、降水量)に基づいて、制御対象装置30に指示する処理を決定するようにしてもよい。例えば移動体撮像装置20によって画像が撮像された時期以前に降水量が極端に少ない場合には、指示部15は、その処理対象となるエリアにおいて散水量を通常よりも多くする処理の指示を行うといった例が考えられる。
3−7.変形例7
本発明における撮像装置は、実施形態で例示した回転翼機のような移動体撮像装置20に限定されず、地面を移動する車両に搭載される装置であってもよいし、スマートフォンやデジタルカメラのようにユーザにより携帯される装置であってもよい。また、本発明における撮像装置は必ずしも、移動可能な装置でなくてもよく、例えば既知の位置において既知の向きにカメラが向けられた状態で固定された装置であってもよい。
3−8.他の変形例
図6で例示した機能構成の一部は省略されてもよい。例えば、記憶部13は、遠隔制御システム1とは別の外部のコンピュータ装置により提供されてもよい。また、遠隔制御装置10および移動体撮像装置20における機能の分担は図6で例示したものに限定されない。実施形態においては遠隔制御装置10に実装されていた機能の一部を、移動体装置20に実装してもよい。例えば判断部14の一部又は全部の機能は移動体撮像装置20に実装されていてもよい。また、物理的に複数の装置からなるコンピュータ装置群が、遠隔制御システム1における遠隔制御装置10として機能してもよい。
CPU101およびCPU201等により実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、これらのプログラムは、実施形態で説明したすべてのステップを実行させるものでなくてもよい。

Claims (6)

  1. 移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得手段と、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段と、
    前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断手段と、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示手段と
    前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御手段と
    を備えることを特徴とする遠隔制御システム。
  2. 撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得手段と、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段と、
    前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断手段と、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示手段とを備え、
    前記取得された位置データに基づくエリアは、当該位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアである
    ことを特徴とする遠隔制御システム。
  3. 移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段において、前記取得された画像データの解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップと
    前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御ステップと
    を備えることを特徴とする遠隔制御方法。
  4. 撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶ステップと、
    前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップとを備え、
    前記取得された位置データに基づくエリアは、当該位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアである
    ことを特徴とする遠隔制御方法。
  5. 1以上のコンピュータに、
    移動可能な移動体装置である撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶手段において、前記取得された画像データの解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データに基づくエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップと
    前記処理が行われるエリアに含まれる動植物の種類に応じて、前記撮像装置の移動を制御する移動制御ステップと
    を実行させるためのプログラム。
  6. 1以上のコンピュータに、
    撮像装置によって撮像された画像を示す画像データと、当該画像の位置を示す位置データとを取得する取得ステップと、
    前記画像データの解析結果に関する条件と、制御対象装置が行う処理とを対応付けて記憶する記憶ステップと、
    前記取得された画像データを解析し、解析結果が前記記憶されている条件に合致するか否かを判断する判断ステップと、
    前記解析結果が前記記憶されている条件に合致する場合には、前記取得された位置データが示す位置を含まないエリアであって、且つ、当該位置データが示す位置と所定の位置関係にあるエリアにおいて、前記条件に対応付けられた前記処理を行うよう前記制御対象装置に指示する指示ステップと
    を実行させるためのプログラム。
JP2018556030A 2016-12-12 2016-12-12 遠隔制御システム、遠隔制御方法、およびプログラム Active JP6621942B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086866 WO2018109796A1 (ja) 2016-12-12 2016-12-12 遠隔制御システム、遠隔制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018109796A1 JPWO2018109796A1 (ja) 2019-10-24
JP6621942B2 true JP6621942B2 (ja) 2019-12-18

Family

ID=62558124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556030A Active JP6621942B2 (ja) 2016-12-12 2016-12-12 遠隔制御システム、遠隔制御方法、およびプログラム

Country Status (5)

Country Link
US (1) US10913533B2 (ja)
EP (1) EP3554094B1 (ja)
JP (1) JP6621942B2 (ja)
CN (1) CN110063061B (ja)
WO (1) WO2018109796A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7045122B2 (ja) * 2019-03-18 2022-03-31 株式会社ナイルワークス ドローン、ドローンの制御方法、および、ドローンの制御プログラム

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141641A1 (en) * 2003-01-21 2004-07-22 Mcdonald Miller Baird Seed image analyzer
WO2005022902A1 (ja) * 2003-09-01 2005-03-10 Matsushita Electric Industrial Co., Ltd. 送信機能付きカメラと携帯電話機、画像データ取得送信プログラム
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7756362B2 (en) * 2005-01-28 2010-07-13 Canon Kabushiki Kaisha Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US8417534B2 (en) * 2006-12-29 2013-04-09 Pioneer Hi-Bred International, Inc. Automated location-based information recall
US8254712B2 (en) * 2007-03-30 2012-08-28 Fujifilm Corporation Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP5181294B2 (ja) * 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
JP5111255B2 (ja) * 2008-06-20 2013-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、コンピュータプログラム及び記録媒体
WO2010125236A1 (en) * 2009-05-01 2010-11-04 Nokia Corporation Method and apparatus of collecting data for agricultural analysis
DK2437586T3 (en) * 2009-06-02 2018-11-19 Topcon Prec Agriculture Pty Ltd VEHICLE MANAGEMENT SYSTEM
JP2011254711A (ja) * 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機
JP5641813B2 (ja) * 2010-08-17 2014-12-17 キヤノン株式会社 撮像装置及び撮像方法、画像処理装置及び画像処理方法
JP2013179564A (ja) * 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置
CN103891305B (zh) 2012-03-12 2017-05-17 株式会社Ntt都科摩 远程控制系统、远程控制方法和通信装置
CN102854851A (zh) * 2012-07-25 2013-01-02 深圳市深芯半导体有限公司 互联网集成作业系统
JP5997039B2 (ja) * 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP6013253B2 (ja) 2013-03-28 2016-10-25 株式会社クボタ 農作業データ管理システム
US10083370B2 (en) * 2013-04-04 2018-09-25 Nec Corporation Identification system, identification method, matching device, and program
CN203399548U (zh) * 2013-08-04 2014-01-22 天津三兴宏高科技有限公司 一种设施农业自动化管理机
JP6270388B2 (ja) * 2013-09-13 2018-01-31 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP5574556B1 (ja) * 2013-09-26 2014-08-20 株式会社電通 視聴番組同定システム、方法およびプログラム
KR102066939B1 (ko) * 2013-09-27 2020-01-16 한화테크윈 주식회사 영상 감시 시스템
JP5499212B1 (ja) * 2013-10-23 2014-05-21 NEUSOFT Japan株式会社 遠隔操作受付システム、遠隔操作システム及びプログラム
CN103795974A (zh) * 2013-11-05 2014-05-14 陕西科技大学 一种监测大棚植物的移动摄像系统及方法
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
CN104007733B (zh) * 2014-06-05 2017-08-04 山东省农业科学院科技信息研究所 一种对农业集约化生产进行监控的系统及方法
JP6300658B2 (ja) * 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
KR101650924B1 (ko) * 2014-07-01 2016-08-24 주식회사 아이티엑스엠투엠 지능형 영상 분석 시스템 및 방법
JP6344473B2 (ja) * 2014-07-16 2018-06-27 株式会社リコー システム、機械、制御方法、プログラム
KR102369652B1 (ko) * 2014-12-23 2022-03-11 삼성전자주식회사 의료영상 장치, 영상 처리 장치 및 영상 융합 방법
JP2016131517A (ja) * 2015-01-19 2016-07-25 日本電信電話株式会社 操作決定装置、操作決定システム、操作決定方法、及び操作決定プログラム
CN104794189B (zh) * 2015-04-16 2018-05-08 惠州Tcl移动通信有限公司 一种图像筛选方法及筛选系统
JP6521763B2 (ja) * 2015-06-26 2019-05-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
EP3317624B1 (en) * 2015-07-05 2019-08-07 The Whollysee Ltd. Optical identification and characterization system and tags
US10484601B2 (en) * 2015-08-31 2019-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6314951B2 (ja) * 2015-10-08 2018-04-25 コニカミノルタ株式会社 画像形成システムおよびプログラム
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
US9870609B2 (en) * 2016-06-03 2018-01-16 Conduent Business Services, Llc System and method for assessing usability of captured images
US11055786B2 (en) * 2016-06-03 2021-07-06 Conduent Business Services, Llc Image segmentation system for verification of property roof damage
JP7121629B2 (ja) * 2018-10-25 2022-08-18 株式会社 ミックウェア 撮像装置、プログラム、およびコンテンツ共有システム

Also Published As

Publication number Publication date
EP3554094A1 (en) 2019-10-16
US20200070975A1 (en) 2020-03-05
CN110063061B (zh) 2022-02-22
CN110063061A (zh) 2019-07-26
JPWO2018109796A1 (ja) 2019-10-24
US10913533B2 (en) 2021-02-09
WO2018109796A1 (ja) 2018-06-21
EP3554094B1 (en) 2022-07-20
EP3554094A4 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
EP3741214B1 (en) Method for plantation treatment based on image recognition
KR102200314B1 (ko) 드론을 이용한 농작물 모니터링 시스템
CN113597874B (zh) 一种除草机器人及其除草路径的规划方法、装置和介质
US11109586B2 (en) System and methods for automated wildlife detection, monitoring and control
Kirkpatrick Technologizing agriculture
WO2017027069A1 (en) A system and method for optimizing chemigation of crops
Edan et al. Agriculture automation
CN114206110A (zh) 用于生成用于利用农业设备来处理田地的应用地图的方法
Brebner et al. Bumble bees strategically use ground level linear features in navigation
US11145009B2 (en) Method for supporting a user in an agricultural activity
JP6621942B2 (ja) 遠隔制御システム、遠隔制御方法、およびプログラム
Adhikari et al. IOT Based Precision Agri-Bot
WO2018185831A1 (ja) 移動体、制御システム、制御方法及びプログラム
Christensen et al. Sensing for weed detection
JPWO2018138771A1 (ja) 移動体、移動体制御方法、プログラム及び移動体制御システム
CN112153892B (zh) 用于苍蝇管理的装置
JP2022064532A (ja) 除草装置、自動除草方法及び自動除草プログラム
Niu et al. The Unmanned Ground Vehicles (UGVs) for Digital Agriculture
Padubidri et al. The Be-Hive Project—Counting Bee Traffic Based on Deep Learning and Pose Estimation
Pawar et al. Farmatron-pest detection and treatment using AI based drone
Tziridis et al. Information management and monitoring system for a grapes harvesting robot
Harjeet et al. Machine vision technology, deep learning, and IoT in agricultural industry
JP2022143047A (ja) 行動予測モデル生成装置、行動予測装置、行動予測モデル生成システム、行動予測モデル生成方法及びプログラム
Pal et al. Applications of Smart Farming Sensors: A Way Forward
Lawrence et al. Autonomous Agriculture: The Role of IoT, AI, and ML in Drone Operations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190604

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191120

R150 Certificate of patent or registration of utility model

Ref document number: 6621942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250