JPWO2020022259A1 - 圃場撮影用カメラ - Google Patents

圃場撮影用カメラ Download PDF

Info

Publication number
JPWO2020022259A1
JPWO2020022259A1 JP2020532380A JP2020532380A JPWO2020022259A1 JP WO2020022259 A1 JPWO2020022259 A1 JP WO2020022259A1 JP 2020532380 A JP2020532380 A JP 2020532380A JP 2020532380 A JP2020532380 A JP 2020532380A JP WO2020022259 A1 JPWO2020022259 A1 JP WO2020022259A1
Authority
JP
Japan
Prior art keywords
camera
bandpass filter
drone
image sensor
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020532380A
Other languages
English (en)
Other versions
JP6973829B2 (ja
Inventor
千大 和氣
千大 和氣
洋 柳下
洋 柳下
西片 丈晴
丈晴 西片
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nileworks Inc
Original Assignee
Nileworks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nileworks Inc filed Critical Nileworks Inc
Publication of JPWO2020022259A1 publication Critical patent/JPWO2020022259A1/ja
Application granted granted Critical
Publication of JP6973829B2 publication Critical patent/JP6973829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/06Roll-film cameras adapted to be loaded with more than one film, e.g. with exposure of one or the other at will
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/40UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/45UAVs specially adapted for particular uses or applications for releasing liquids or powders in-flight, e.g. crop-dusting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Catching Or Destruction (AREA)

Abstract

【課題】無人飛行体による生育状況の分析のための圃場の撮影に適したカメラを提供する。【解決策】レンズとビームスプリッターと二対のバンドパスフィルターとイメージセンサーを含み、レンズを通った光束がビームスプリッターにより二つの光束と第二の光束に分割され、それぞれのバンドパスフィルターを介してイメージセンサーに到達する構造のカメラを提供する。さらに、無人飛行体に反射光キャリブレーション用の部材を設け、常にカメラの画角内に入るようにすることで、外界の状況に影響されずに正確な反射光の測定を可能とする。【選択図】図7

Description

本願発明は、圃場撮影用カメラ、特に、無人飛行体(ドローン)に備えられ、作物の生育状況を把握するための画像分析に適したカメラに関する。
一般にドローンとも呼ばれる小型無人ヘリコプター(マルチコプター)の応用が進んでいる。その重要な応用分野の一つとして農地(圃場)の撮影による作物の生育状況の分析が挙げられる(たとえば、特許文献1)。ドローンにより、衛星写真等の手段と比較して比較的低コストで正確なリアルタイムの分析を行なうことができる。
作物の生育状況分析ではNDVI(Normalized Difference Vegetation Index)と呼ばれる指標が一般化している(たとえば、特許文献2)。NDVIの算出には、同じ圃場の赤外線光反射と遠赤外線光反射を同時に撮影することが必要である。このためには、マルチスペクトルカメラが使用されることが多いが、従来のマルチスペクトルカメラはドローンでの使用に最適化されているとは言えなかった。また、天候、機体の向き、太陽の位置等により時々刻々と変化する入射光の状態をリアルタイムに反映した正確な測定を行なうことは困難であった。
特許公開公報 特開2017−068533 特許公開公報 特開2010−166851
無人飛行体による生育状況の分析のための圃場の撮影に適したマルチスペクトルカメラを提供する。
本願発明は、無人飛行体に備えられる圃場撮影用のカメラであって、レンズとビームスプリッターと第一のバンドパスフィルターと第一のイメージセンサーと第二のバンドパスフィルターと第二のイメージセンサーとを含み、前記レンズを通った光束が前記ビームスプリッターにより第一の光束と第二の光束に分割され、前記第一の光束が前記第一のバンドパスフィルターを通って前記第一のイメージセンサーによって検知され、前記第二の光束が前記第二のバンドパスフィルターを通って前記第二のイメージセンサーによって検知されるカメラを提供することで上記課題を解決する。
また、本願発明は、前記第一のバンドパスフィルターと前記第一のイメージセンサー間の距離が前記第一のバンドパスフィルターと前記ビームスプリッター間の距離よりも短い段落0006に記載のカメラを提供することで上記課題を解決する。
また、本願発明は、前記第一のバンドパスフィルターと前記第一のイメージセンサーが略密着している段落0006に記載のカメラを提供することで上記課題を解決する。
また、本願発明は、前記第一のバンドパスフィルターまたは第二のバンドパスフィルターが近赤外光のみを透過する段落0006、段落0007、または、段落0008に記載のカメラを提供することで上記課題を解決する。
また、本願発明は、圃場撮影用のカメラを備えた無人飛行体であって、前記カメラに撮影され、圃場画像分析の際に撮影時の太陽光の情報を得るための反射光補正用部材が備えられた無人飛行体を提供することで上記課題を解決する。
また、本願発明は、前記反射光補正用部材の少なくとも前記カメラに向かう面がつや消し加工されている段落0010に記載の無人飛行体を提供することで上記課題を解決する。
また、本願発明は、前記反射光補正用部材の少なくとも前記カメラに向かう面が略球面である段落0010または段落0011に記載の無人飛行体を提供することで上記課題を解決する。
また、本願発明は、前記カメラは段落0006、段落0007、段落0008、または、段落0009に記載のカメラである段落0010、段落0011、または、段落0012に記載の無人飛行体を提供することで上記課題を解決する。
また、本願発明は、前記カメラの機体に対する角度が可変であり、前記カメラの地面に対する角度を一定に保つ機構を備えた段落0010、段落0011、段落0012、または、段落0013に記載の無人飛行体を提供することで上記課題を解決する。
無人飛行体による生育状況の分析のための圃場の撮影に適したカメラが提供される。
本願発明に係る農業用ドローンの実施例の平面図である。 本願発明に係る農業用ドローンの実施例の正面図である。 本願発明に係る農業用ドローンの実施例の右側面図である。 本願発明に係る農業用ドローンの実施例を使用した圃場撮影システムの全体概念図の例である。 本願発明に係る農業用ドローンの実施例の制御機能を表した模式図である。 本願発明に係る農業用ドローン向けカメラの構造を表した模式図である。 本願発明に係る農業用ドローン向け反射光補正用部材の動作原理を表した模式図である。 本願発明に係る農業用ドローン向けの反射光補正用部材の取付け方法の一例を表した図である。 本願発明に係る農業用ドローンのカメラの角度調整方法の一例を表した図である。
以下、図を参照しながら、本願発明を実施するための形態について説明する。図はすべて例示である
図1に本願発明に係るドローン(100)の実施例の平面図を、図2にその(進行方向側から見た)正面図を、図3にその右側面図を示す。なお、本願明細書において、ドローンとは、動力手段(電力、原動機等)、操縦方式(無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等)を問わず、複数の回転翼または飛行手段を有する飛行体全般を指すこととする
回転翼(101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b)(ローターとも呼ばれる)は、ドローン(100)を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリー消費量のバランスを考慮し、8機(2段構成の回転翼が4セット)備えられていることが望ましい。
モーター(102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4a、102-4b)は、回転翼(101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b)を回転させる手段(典型的には電動機だが発動機等であってもよい)であり、一つの回転翼に対して1機設けられていることが望ましい。1セット内の上下の回転翼(たとえば、101-1aと101-1b)、および、それらに対応するモーター(たとえば、102-1aと102-1b)は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転することが望ましい。なお、一部の回転翼(101-3b)、および、モーター(102-3b)が図示されていないが、その位置は自明であり、もし左側面図があったならば示される位置にある。図2、および、図3に示されるように、ローターが異物と干渉しないよう設けられたプロペラガードを支えるための放射状の部材は水平ではなくやぐら上の構造であることが望ましい。衝突時に当該部材がローター側に座屈し、ローターと干渉することを防ぐためである。
薬剤ノズル(103-1、103-2、103-3、103-4)は、薬剤を下方に向けて散布するための手段であり4機備えられていることが望ましい。なお、本願明細書において、薬剤とは、農薬、除草剤、液肥、殺虫剤、種、および、水などの圃場に散布される液体または粉体を一般的に指すこととする。
薬剤タンク(104)は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン(100)の重心に近い位置でかつ重心より低い位置に設けられていることが望ましい。薬剤ホース(105-1、105-2、105-3、105-4)は、薬剤タンク(104)と各薬剤ノズル(103-1、103-2、103-3、103-4)とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ(106)は、薬剤をノズルから吐出するための手段である。
図4に本願発明に係るドローン(100)を使用した圃場撮影用システムの実施例の全体概念図を示す。本図は模式図であって、縮尺は正確ではない。操縦器(401)は、使用者(402)の操作によりドローン(100)に指令を送信し、また、ドローン(100)から受信した情報(たとえば、位置、薬剤量、電池残量、カメラ映像等)を表示するための手段であり、コンピューター・プログラムを稼働する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本願発明に係るドローン(100)は自律飛行を行なうよう制御されることが望ましいが、離陸や帰還などの基本操作時、および、緊急時にはマニュアル操作が行なえるようになっていることが望ましい。操縦器(401)とドローン(100)はWi-Fi等による無線通信を行なうことが望ましい。
圃場(403)は、ドローン(100)による撮影の対象となる田圃や畑等である。実際には、圃場(403)の地形は複雑であり、事前に地形図が入手できない場合、あるいは、地形図と現場の状況が食い違っている場合がある。通常、圃場(403)は家屋、病院、学校、他作物圃場、道路、鉄道等と隣接している。また、圃場(403)内に、建築物や電線等の障害物が存在する場合もある。
基地局(404)は、Wi-Fi通信の親機機能等を提供する装置であり、RTK-GPS基地局としても機能し、ドローン(100)の正確な位置を提供できるようにすることが望ましい(Wi-Fi通信の親機機能とRTK-GPS基地局が独立した装置であってもよい)。営農クラウド(405)は、典型的にはクラウドサービス上で運営されているコンピューター群と関連ソフトウェアであり、操縦器(401)と携帯電話回線等で無線接続されていることが望ましい。営農クラウド(405)は、ドローン(100)が撮影した圃場(403)の画像を分析し、作物の生育状況を把握して、飛行ルートを決定するための処理を行なってよい。また、保存していた圃場(403)の地形情報等をドローン(100)に提供してよい。加えて、ドローン(100)の飛行および撮影映像の履歴を蓄積し、様々な分析処理を行なってもよい。
通常、ドローン(100)は圃場(403)の外部にある発着地点(406)から離陸し、圃場(403)の撮影を行なった後に、あるいは、充電等が必要になった時に発着地点(406)に帰還する。発着地点(406)から目的の圃場(403)に至るまでの飛行経路(侵入経路)は、営農クラウド(405)等で事前に保存されていてもよいし、使用者(402)が離陸開始前に入力してもよい。
図5に本願発明に係る農業用ドローンの実施例の制御機能を表した模式図を示す。フライトコントローラー(501)は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリー、関連ソフトウェア等を含む組み込み型コンピューターであってよい。フライトコントローラー(501)は、操縦器(401)から受信した入力情報、および、後述の各種センサーから得た入力情報に基づき、ESC(Electronic Speed Control)等の制御手段を介して、モーター(102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b)の回転数を制御することで、ドローン(100)の飛行を制御する。モーター(102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b)の実際の回転数はフライトコントローラー(501)にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼(101)に光学センサー等を設けて回転翼(101)の回転がフライトコントローラー(501)にフィードバックされる構成でもよい。
フライトコントローラー(501)が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっている。この場合において、不正なソフトウェアによる書き換えが行なわれないように、暗号化、チェックサム、電子署名、ウィルスチェックソフト等による保護を行ってもよい。また、フライトコントローラー(501)が制御に使用する計算処理の一部が、操縦器(401)上、または、営農支援クラウド(405)上や他の場所に存在する別のコンピューターによって実行されてもよい。フライトコントローラー(501)は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。
バッテリー(502)は、フライトコントローラー(501)、および、ドローンのその他の構成要素に電力を供給する手段であり、例えば充電式である。バッテリー(502)はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してフライトコントローラー(501)に接続されている。バッテリー(502)は電力供給機能に加えて、その内部状態(蓄電量、積算使用時間等)をフライトコントローラー(501)に伝達する機能を有するスマートバッテリーであってもよい。バッテリー(502)は多重化されていてもよく、本実施形態では第1バッテリー(502a)および第2バッテリー(502b)を有する。第1バッテリー(502a)および第2バッテリー(502b)は、互いに同等のものであってもよいし、互いに異なるバッテリー容量を有してもよいし、異なる機能を有するものでもよい。
フライトコントローラー(501)は、Wi-Fi子機機能(503)を介して、さらに、基地局(404)を介して操縦器(401)とやり取りを行ない、必要な指令を操縦器(401)から受信すると共に、必要な情報を操縦器(401)に送信できる。この場合に、通信には暗号化を施し、傍受、成り済まし、機器の乗っ取り等の不正行為を防止できるようになっている。基地局(404)は、Wi-Fiによる通信機能に加えて、RTK-GPS基地局の機能も備えていてもよい。RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール(504)により、ドローン(100)の絶対位置を数センチメートル程度の精度で測定可能となる。GPSモジュール(504)は重要性が高いため、二重化・多重化しており、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール(504)は別の衛星を使用するよう制御されている。
6軸ジャイロセンサー(505)はドローン機体の互いに直交する3方向の加速度を測定する手段(さらに、加速度の積分により速度を計算する手段)である。また、6軸ジャイロセンサー(505)は、上述の3方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサー(506)は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサー(507)は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザーセンサー(508)は、レーザー光の反射を利用してドローン機体と地表との距離を測定する手段であり、例えばIR(赤外線)レーザーを使用する。ソナー(509)は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサー類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサー(角速度センサー)、風力を測定するための風力センサーなどが追加されていてもよい。また、これらのセンサー類は、二重化または多重化されている。同一目的複数のセンサーが存在する場合には、フライトコントローラー(501)はそのうちの一つのみを使用し、それが障害を起こした際には、代替のセンサーに切り替えて使用するようにしてもよい。あるいは、複数のセンサーを同時に使用し、それぞれの測定結果が一致しない場合には障害が発生したと見なすようにしてもよい。
流量センサー(510)は薬剤の流量を測定するための手段であり、薬剤タンク(104)から薬剤ノズル(103)に至る経路の複数の場所に設けられている。液切れセンサー(511)は薬剤の量が所定の量以下になったことを検知するセンサーである。マルチスペクトルカメラ(512)は圃場(403)を撮影し、画像分析のためのデータを取得する手段である。障害物検知カメラ(513)はドローン障害物を検知するためのカメラであり、画像特性とレンズの向きがマルチスペクトルカメラ(512)とは異なるため、マルチスペクトルカメラ(512)とは別の機器であることが望ましい。スイッチ(514)はドローン(100)の使用者(402)が様々な設定を行なうための手段である。障害物接触センサー(515)はドローン(100)、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサーである。カバーセンサー(516)は、ドローン(100)の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサーである。薬剤注入口センサー(517)は薬剤タンク(104)の注入口が開放状態であることを検知するセンサーである。これらのセンサー類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。また、ドローン(100)外部の基地局(404)、操縦器(401)、または、その他の場所にセンサーを設けて、読み取った情報をドローンに送信してもよい。たとえば、基地局(404)に風力センサーを設け、風力・風向に関する情報をWi-Fi通信経由でドローン(100)に送信するようにしてもよい。
フライトコントローラー(501)はポンプ(106)に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ(106)の現時点の状況(たとえば、回転数等)は、フライトコントローラー(501)にフィードバックされる構成となっている。
LED(517)は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー(518)は、音声信号によりドローンの状態(特にエラー状態)を知らせるための出力手段である。Wi-Fi子機機能(519)は操縦器(401)とは別に、たとえば、ソフトウェアの転送などのために外部のコンピューター等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth(登録商標)、ZigBee(登録商標)、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカー(520)は、録音した人声や合成音声等により、ドローンの状態(特にエラー状態)を知らせる出力手段である。天候状態によっては飛行中のドローン(100)の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯(521)はドローンの状態(特にエラー状態)を知らせるストロボライト等の表示手段である。これらの入出力手段は、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
圃場の画像に基づいた作物の生育状況の分析には、赤色光(波長約680nm)と近赤外光(波長約780nm)の反射光による画像を取得してNDVIを計算することが求められる。この場合において、赤色光向けと近赤外光向けのそれぞれに独立したカメラを設けることは、視差の発生、および、重量・スペース・コストの増加という点で問題である。特に、バッテリーで稼働するドローンにおいては、バッテリー持続時間を延ばすためにも重量をできるだけ抑えることが重要である。
図6に本願発明に係るマルチスペクトルカメラ(512)の概念的構造図を示す(本図は模式図であり縮尺は正確ではない)。レンズ(601)は圃場を撮影するためのレンズであり複数のレンズの組み合わせ(レンズセット)であってもよいが、ドローン1機あたりにレンズ(601)(またはレンズセット)が1機のみ備えられていることが望ましい。ビームスプリッター(602)はレンズを通った光束の一部を透過し、一部を反射することで、光束を二方向に分割する装置であり、プリズムにより実現されていてよい。ビームスプリッター(602)は偏光ビームスプリッターであってもよい。
バンドパスフィルター(603)は特定の波長の範囲の光のみを通す光学フィルターである。第一のバンドパスフィルター(603-1)が赤色光(望ましくは、波長680±10ナノメートル))のみを透過し、第二のバンドパスフィルター(603-2)が近赤外光(望ましくは、波長780±10ナノメートル)のみを透過する構成であることが望ましい(逆に、第一のバンドパスフィルター(603-1)が近赤外光のみを透過し、第二のバンドパスフィルター(603-2)が赤外光のみを透過する構成であってもよい。)
イメージセンサー(604)は光を検出して画像情報に変換するためのセンサーであり、CMOSセンサーであってよい。第一のイメージセンサー(604-1)が第一のバンドパスフィルター(603-1)により透過した光を検出し、第二のイメージセンサー(604-2)が第二のバンドパスフィルター(603-1)により透過した光を検出する構成であってよい。屈折の影響を最小化し、かつ、できるだけ多くの光を検知して精度が高い画像を得るために、バンドパスフィルター(603)とそれに対応するイメージセンサー(604)は近い位置(望ましくは1ミリメートル以下)に配置することが好ましく、少なくともバンドパスフィルター(603)とビームスプリッター(602)の間の距離よりもバンドパスフィルター(603)とイメージセンサー(603)の間の距離の方が短いことが好ましい。また、バンドパスフィルター(603)と対応するイメージセンサー(603)とがほぼ密着した構造(たとえば、0.1ミリメートル以下の距離)であってもよい。
複数のビームスプリッター(602)の組み合わせにより、レンズ(601)を通った光束を3以上の光束に分割し、分割されたそれぞれの光束に対してバンドパスフィルター(603)とイメージセンサー(604)が備えられた構成であってもよい。
圃場等の対象物からの光がレンズ(601)、ビームスプリッター(602)、バンドパスフィルター(603)の順で経由してイメージセンサー(604)に到達する構成であれば、カメラの構成要素の物理的配置は図6のとおりでなくてもよい。
マルチスペクトルカメラ(512)で撮影した画像に基づいてNDVIを計算する際には、撮影時点の入射光(太陽光)の状況(強さと方向)がわかることが好ましい。仮に圃場の画像において特定波長光の強さが同等であっても、入射光の特性が異なれば作物の生育状況は大きく異なることがあるからである。このため、図7-aに示すように、マルチスペクトルカメラ(512)で撮影される画角内に常に入る位置に、補正(キャリブレーション)用に反射特性が既知である補正用部材(701)を備え、太陽光(702)を反射する補正用部材(701)の画像と圃場(403)の画像が常に同一画像内に入るようにすることで、撮影時の画像補正を行なえるようにすることが好ましい。図7-bに撮影された画像の模式図を示す。圃場の画像(703)と補正用部材の画像(704)が常に同一画像内に含まれることが望ましい。これにより、圃場の作物による太陽光の反射率を反射特性が既知である補正用部材(701)との相対値として知ることができ、太陽光の向き・強さ、雲の状態等に依存せず正確な反射率測定を行なうことができるようになり、結果的に正確なNDVIの測定が行なえるようになる。
補正用部材には、特定の入射光角度のみで強い反射光が発生しないような塗装および表面加工(マット仕上げ、つや消し仕上げ)を行なうことが好ましい。また、太陽光の入射角によって反射率が変わることがないよう、少なくともマルチスペクトルカメラ(512)に向かう側では球面状の形状を有することが好ましい。
補正用部材(701)は常にマルチスペクトルカメラ(512)で撮影される画角内にあり、かつ、機体自体の影に入らない位置に設けることが好ましい。たとえば、図8に示すようにドローン(100)の脚部(801)のひとつから支柱(802)により保持される位置に置いてよい。複数の補正用部材(701)を異なる位置に設け、機体の影になっていないもの(たとえば、反射光が最も強いもの)を画像補正用に選択するようにしてもよい。なお、図1、図2、図3にはこの補正用部材は示していない。
一般に、ドローン(100)は機体を傾けることで水平方向に移動する。このため、ホバリング(上空停止)時と水平飛行時において機体の対地角度が変化する。この対地角度の変化による反射光撮影の影響をなくすために、マルチスペクトルカメラ(512)のドローン(100)に対する取り付け角度をステッピングモーター等の手段により可変とすることが望ましい。
図9に本願発明に係る農業用ドローンのカメラの角度調整方法の一例を示す。図9-aはホバリング状態、図9-bは水平飛行時の図である。水平飛行時にドローン(100)の機体が進行方向に向かって傾いた場合の角度は、6軸ジャイロセンサー(505)等の手段により知ることができるため、機体の傾きにかかわらず、マルチスペクトルカメラ(512)の圃場に対する撮影角度αを一定に保つようにマルチスペクトルカメラ(512)のドローン(100)に対する取り付け角度を制御することが望ましい。代替の構成としてマルチスペクトルカメラ(512)に傾斜センサーを設けて傾きを一定に維持する制御を行なってもよい。


Claims (9)

  1. 無人飛行体に備えられる圃場撮影用のカメラであって、
    レンズとビームスプリッターと第一のバンドパスフィルターと第一のイメージセンサーと第二のバンドパスフィルターと第二のイメージセンサーとを含み、
    前記レンズを通った光束が前記ビームスプリッターにより第一の光束と第二の光束に分割され、
    前記第一の光束が前記第一のバンドパスフィルターを通って前記第一のイメージセンサーによって検知され、
    前記第二の光束が前記第二のバンドパスフィルターを通って前記第二のイメージセンサーによって検知されるカメラ。
  2. 前記第一のバンドパスフィルターと前記第一のイメージセンサー間の距離が前記第一のバンドパスフィルターと前記ビームスプリッター間の距離よりも短い請求項1に記載のカメラ。
  3. 前記第一のバンドパスフィルターと前記第一のイメージセンサーが略密着している請求項1に記載のカメラ。
  4. 前記第一のバンドパスフィルターまたは第二のバンドパスフィルターが近赤外光のみを透過する請求項1、請求項2、または、請求項3に記載のカメラ。
  5. 圃場撮影用のカメラを備えた無人飛行体であって、
    前記カメラに撮影され、圃場画像分析の際に撮影時の太陽光の情報を得るための反射光補正用部材が備えられた無人飛行体。
  6. 前記反射光補正用部材の少なくとも前記カメラに向かう面がつや消し加工されている請求項5に記載の無人飛行体。
  7. 前記反射光補正用部材の少なくとも前記カメラに向かう面が略球面である請求項5または請求項6に記載の無人飛行体。
  8. 前記カメラは請求項1、請求項2、請求項3、または、請求項4に記載のカメラである請求項5、請求項6、または、請求項7に記載の無人飛行体。
  9. 前記カメラの機体に対する角度が可変であり、前記カメラの地面に対する角度を一定に保つ機構を備えた請求項5、請求項6、請求項7、または、請求項8に記載の無人飛行体。

JP2020532380A 2018-07-23 2019-07-22 圃場撮影用カメラ Active JP6973829B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018137857 2018-07-23
JP2018137857 2018-07-23
PCT/JP2019/028645 WO2020022259A1 (ja) 2018-07-23 2019-07-22 圃場撮影用カメラ

Publications (2)

Publication Number Publication Date
JPWO2020022259A1 true JPWO2020022259A1 (ja) 2021-01-07
JP6973829B2 JP6973829B2 (ja) 2021-12-01

Family

ID=69180643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532380A Active JP6973829B2 (ja) 2018-07-23 2019-07-22 圃場撮影用カメラ

Country Status (2)

Country Link
JP (1) JP6973829B2 (ja)
WO (1) WO2020022259A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580573B (zh) * 2020-05-28 2021-05-07 北京中农绿源工程技术有限公司 一种设施农业温室监控系统
CN113296528B (zh) * 2021-06-08 2023-07-18 北京德中天地科技有限责任公司 对飞行器搭载的成像光谱仪的图像数据校准方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250185A (ja) * 2007-03-30 2008-10-16 Hamanasu Information:Kk 疑似近赤外画像の作成方法及び土壌水分量の測定方法
JP2012060411A (ja) * 2010-09-09 2012-03-22 Hamamatsu Metrix Kk マルチバンド1次元ラインセンサカメラ
WO2012073519A1 (ja) * 2010-12-02 2012-06-07 日本電気株式会社 葉面積指数計測システム、装置、方法及びプログラム
JP2013172193A (ja) * 2012-02-17 2013-09-02 Ntt Communications Kk 映像表示システム
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017183546A1 (ja) * 2016-04-18 2017-10-26 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2017221756A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 センシングシステム、センシング方法、及び、センシング装置
JP2018070010A (ja) * 2016-10-31 2018-05-10 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
JP2018105691A (ja) * 2016-12-26 2018-07-05 国立研究開発法人情報通信研究機構 無人航空機の方向検知システム、無人航空機の現在位置検知システム、無人航空機

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250185A (ja) * 2007-03-30 2008-10-16 Hamanasu Information:Kk 疑似近赤外画像の作成方法及び土壌水分量の測定方法
JP2012060411A (ja) * 2010-09-09 2012-03-22 Hamamatsu Metrix Kk マルチバンド1次元ラインセンサカメラ
WO2012073519A1 (ja) * 2010-12-02 2012-06-07 日本電気株式会社 葉面積指数計測システム、装置、方法及びプログラム
JP2013172193A (ja) * 2012-02-17 2013-09-02 Ntt Communications Kk 映像表示システム
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017183546A1 (ja) * 2016-04-18 2017-10-26 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2017221756A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 センシングシステム、センシング方法、及び、センシング装置
JP2018070010A (ja) * 2016-10-31 2018-05-10 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
JP2018105691A (ja) * 2016-12-26 2018-07-05 国立研究開発法人情報通信研究機構 無人航空機の方向検知システム、無人航空機の現在位置検知システム、無人航空機

Also Published As

Publication number Publication date
JP6973829B2 (ja) 2021-12-01
WO2020022259A1 (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
CN111556986B (zh) 无人机及其控制方法以及计算机可读取记录介质
JP6390013B2 (ja) 小型無人飛行機の制御方法
JP6762629B2 (ja) 圃場作物撮影方法および撮影用ドローン
JP6889502B2 (ja) ドローン、ドローンの制御方法、および、ドローン制御プログラム
JP6913979B2 (ja) ドローン
WO2019189929A1 (ja) 薬剤散布用ドローン
JP7045122B2 (ja) ドローン、ドローンの制御方法、および、ドローンの制御プログラム
JP6887142B2 (ja) 圃場画像分析方法
JP6982908B2 (ja) 運転経路生成装置、運転経路生成方法、および運転経路生成プログラム、ならびにドローン
JP6973829B2 (ja) 圃場撮影用カメラ
JP7008999B2 (ja) 運転経路生成システム、運転経路生成方法、および運転経路生成プログラム、ならびにドローン
JP7270265B2 (ja) 運転経路生成装置、運転経路生成方法、運転経路生成プログラム、およびドローン
WO2021152797A1 (ja) 農作物育成システム
WO2021152741A1 (ja) 農作物育成システム
WO2021205559A1 (ja) 表示装置、ドローンの飛行可否判定装置、ドローン、ドローンの飛行可否判定方法、およびコンピュータプログラム
JP6806403B2 (ja) ドローン、ドローンの制御方法、および、ドローン制御プログラム
JP7285557B2 (ja) 運転経路生成システム、運転経路生成方法、運転経路生成プログラム、およびドローン
WO2021224970A1 (ja) 測位システム、移動体、速度推定システム、測位方法、および速度推定方法
WO2020090671A1 (ja) ドローン、ドローンの制御方法、および、ドローン制御プログラム
JP7075127B2 (ja) 圃場分析方法、圃場分析プログラム、圃場分析装置、ドローンシステムおよびドローン
WO2020189553A1 (ja) 収穫量予測システム、収穫量予測方法、および収穫量予測プログラム、ならびに収穫時期予測システム
JP6996792B2 (ja) 薬剤の吐出制御システム、その制御方法、および、制御プログラム
WO2021205501A1 (ja) 再測量要否判定装置、測量システム、ドローンシステム、および再測量要否判定方法
WO2021192220A1 (ja) 飛行制御システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6973829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316803

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316803

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350