JP6880380B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP6880380B2
JP6880380B2 JP2019200149A JP2019200149A JP6880380B2 JP 6880380 B2 JP6880380 B2 JP 6880380B2 JP 2019200149 A JP2019200149 A JP 2019200149A JP 2019200149 A JP2019200149 A JP 2019200149A JP 6880380 B2 JP6880380 B2 JP 6880380B2
Authority
JP
Japan
Prior art keywords
image
imaging device
optical axis
deviation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019200149A
Other languages
English (en)
Other versions
JP2021071453A (ja
Inventor
邦彦 家富
邦彦 家富
斌 陳
斌 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2019200149A priority Critical patent/JP6880380B2/ja
Priority to CN202080004297.2A priority patent/CN112955925A/zh
Priority to PCT/CN2020/123276 priority patent/WO2021083049A1/zh
Publication of JP2021071453A publication Critical patent/JP2021071453A/ja
Application granted granted Critical
Publication of JP6880380B2 publication Critical patent/JP6880380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
特許文献1には、2つのセンシング装置によりセンシングで得られる測定値に基づいて、検査対象物の正規化植生指標を算出することが記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 国際公開第2017/221756号公報
複数の撮像装置により撮像される画像に基づいて正規化植生指標などの指標を算出する場合に、画像間の位置合わせの処理の負荷を抑制させることが望まれている。
本発明に係る画像処理装置は、予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置でよい。画像処理装置は、第1撮像装置の第1光軸と第2撮像装置の第2光軸との間のズレに関するズレ情報と、第1撮像装置及び第2撮像装置の高度を示す高度情報とを取得するように構成される回路を備えてよい。回路は、第1撮像装置により撮像された第1画像と、第2撮像装置により撮像された第2画像とを取得するように構成されてよい。回路は、ズレ情報及び高度情報に基づいて、第1画像と第2画像とを位置合わせするように構成されてよい。
ズレ情報は、第1光軸と第2光軸との成す角度を示す情報を含んでよい。
ズレ情報は、第1撮像装置の第1撮像面と第1光軸との第1交点と、第2撮像装置の第2撮像面と第2光軸との第2交点との間の距離を示す情報を含んでよい。
ズレ情報は、高度と、第1画像と第2画像との間の位置のズレ量との関係を示す情報を含んでよい。
ズレ情報は、予め定められた高度に対する第1画像と第2画像との間の位置のズレ量を示す情報を含んでよい。
第1撮像装置及び第2撮像装置は、移動体に搭載されてよい。
第1撮像装置及び第2撮像装置は、第1撮像装置及び第2撮像装置の姿勢を調整可能に支持する支持機構を介して移動体に搭載されてよい。
回路は、第1撮像装置及び第2撮像装置の姿勢状態を示す姿勢情報をさらに取得するように構成されてよい。回路は、姿勢情報にさらに基づいて、第1画像と第2画像とを位置合わせするように構成されてよい。
移動体は、飛行体でよい。
第1撮像装置及び第2撮像装置は、第1撮像装置及び第2撮像装置の姿勢を調整可能に支持する支持機構を介して移動体に搭載されてよい。回路は、第1撮像装置及び第2撮像装置の姿勢状態を示す姿勢情報を取得するように構成されてよい。回路は、姿勢情報に基づいて、第1撮像装置及び第2撮像装置の撮像方向と鉛直下向きの方向との成す角度が予め定められた角度以下であるか判断するように構成されてよい。回路は、角度が予め定められた角度以下である場合、ズレ情報及び高度情報に基づいて、第1画像と第2画像とを位置合わせするように構成されたよい。回路は、角度が予め定められた角度より大きい場合、ズレ情報、高度情報、及び姿勢情報に基づいて、第1画像と第2画像とを位置合わせするように構成されてよい。
第1撮像装置は、第1波長帯域の画像を撮像してよい。第2撮像装置は、第2波長帯域の画像を撮像してよい。
第1波長帯域は、近赤外領域の波長帯域でよい。第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域でよい。
本発明の一態様に係る画像処理装置は、予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置でよい。画像処理装置は、第1撮像装置の第1光軸と第2撮像装置の第2光軸との間のズレに関するズレ情報と、第1撮像装置及び第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得するように構成される回路を備えてよい。回路は、第1撮像装置により撮像された被写体を含む第1画像と、第2撮像装置により撮像された被写体を含む第2画像とを取得するように構成されてよい。回路は、ズレ情報及び距離情報に基づいて、第1画像と第2画像とを位置合わせするように構成されてよい。
第1撮像装置は、第1波長帯域の画像を撮像してよい。第2撮像装置は、第2波長帯域の画像を撮像してよい。
第1波長帯域は、近赤外領域の波長帯域でよい。第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域でよい。
ズレ情報は、第1光軸と第2光軸との成す角度を示す情報を含んでよい。
ズレ情報は、第1撮像装置の第1撮像面と第1光軸との第1交点と、第2撮像装置の第2撮像面と第2光軸との第2交点との間の距離を示す情報を含んでよい。
ズレ情報は、被写体までの距離と、第1画像と第2画像との間の位置ズレ量との関係を示す情報を含んでよい。
本発明の一態様に係る画像処理方法は、予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法でよい。画像処理方法は、第1撮像装置の第1光軸と第2撮像装置の第2光軸との間のズレに関するズレ情報と、第1撮像装置及び第2撮像装置の高度を示す高度情報とを取得する段階を備えてよい。画像処理方法は、第1撮像装置により撮像された第1画像と、第2撮像装置により撮像された第2画像とを取得する段階を備えてよい。画像処理方法は、ズレ情報及び高度情報に基づいて、第1画像と第2画像とを位置合わせする段階を備えてよい。
本発明の一態様に係る画像処理方法は、予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法でよい。画像処理方法は、第1撮像装置の第1光軸と第2撮像装置の第2光軸との間のズレに関するズレ情報と、第1撮像装置及び第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得する段階を備えてよい。画像処理方法は、第1撮像装置により撮像された被写体を含む第1画像と、第2撮像装置により撮像された被写体を含む第2画像とを取得する段階を備えてよい。画像処理方法は、ズレ情報及び距離情報に基づいて、第1画像と第2画像とを位置合わせする段階を備えてよい。
本発明の一態様に係るプログラムは、上記画像処理装置としてコンピュータを機能させるためのプログラムでよい。
本発明の一態様によれば、画像間の位置合わせの処理の負荷を抑制させることができる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
無人航空機(UAV)及び遠隔操作装置の外観の一例を示す図である。 UAVに搭載される撮像システムの外観の一例を示す図である。 UAVの機能ブロックの一例を示す図である。 撮像システムの機能ブロックの一例を示す図である。 UAVに搭載された撮像システムが撮像する様子の一例を示す図である。 光軸のズレ量の一例を示す図である。 画像同士の位置合わせについて説明するための図である。 UAVに搭載された撮像システムが撮像する様子の一例を示す図である。 画像処理プロセッサによる画像の位置合わせ処理の手順の一例を示すフローチャートである。 UAVに搭載される撮像システムの外観の他の一例を示す図である。 ハードウェア構成の一例を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像システム100を備える。ジンバル50、及び撮像システム100は、撮像システムの一例である。UAV10は、移動体の一例である。移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
撮像システム100は、所望の撮像範囲に含まれるオブジェクトを複数の波長帯域ごとに撮像する撮像用のマルチスペクトルカメラである。ジンバル50は、撮像システム100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像システム100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像システム100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像システム100を回転させることで、撮像システム100の姿勢を変更してよい。
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。撮像装置60は、撮像装置60の撮像範囲に含まれるオブジェクトの存在、及びオブジェクトまでの距離を計測してよい。撮像装置60は、撮像システム100の撮像方向に存在するオブジェクトを計測する計測装置の一例である。計測装置は、撮像システム100の撮像方向に存在するオブジェクトを計測する赤外線センサ、超音波センサなどの他のセンサでもよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像システム100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
図2は、UAV10に搭載される撮像システム100の外観の一例を示す図である。撮像システム100は、予め定められた複数の波長帯域ごとの画像データを撮像するマルチスペクトルカメラである。撮像システム100は、R用撮像装置110、G用撮像装置120、B用撮像装置130、RE用撮像装置140、及びNIR用撮像装置150を備える。撮像システム100は、R用撮像装置110、G用撮像装置120、B用撮像装置130、RE用撮像装置140、及びNIR用撮像装置150により撮像されたそれぞれの画像データをマルチスペクトル画像として記録することができる。マルチスペクトル画像は、例えば、農作物の健康状態及び活力についての予測をするために用いられてよい。
図3は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ32、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像システム100を備える。
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ32は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像システム100を制御するのに必要なプログラム等を格納する。メモリ32は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ32は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
UAV制御部30は、メモリ32に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度、経度、及び高度)、つまりUAV10の位置(緯度、経度、及び高度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
図4は、撮像システム100の機能ブロックの一例を示す。撮像システム100は、R用撮像装置110、G用撮像装置120、B用撮像装置130、RE用撮像装置140、及びNIR用撮像装置150を備える。撮像システム100は、画像処理プロセッサ180、送信部190、及びメモリ192を備える。
R用撮像装置110は、R用イメージセンサ112、及び光学系114を有する。R用イメージセンサ112は、光学系114により結像された像を撮像する。R用イメージセンサ112は、赤色領域の波長帯域の光を透過するフィルタを有し、赤色領域の波長帯域の画像信号であるR画像信号を出力する。赤色領域の波長帯域は、例えば、620nm〜750nmである。赤色領域の波長帯域は、赤色領域の特定の波長帯域でよく、例えば、663nm〜673nmでよい。
G用撮像装置120は、G用イメージセンサ122、及び光学系124を有する。G用イメージセンサ122は、光学系124により結像された像を撮像する。G用イメージセンサ122は、緑色領域の波長帯域の光を透過するフィルタを有し、緑色領域の波長帯域の画像信号であるG画像信号を出力する。緑色領域の波長帯域は、例えば、500nm〜570nmである。緑色領域の波長帯域は、緑色領域の特定の波長帯域でよく、例えば、550nm〜570nmでよい。
B用撮像装置130は、B用イメージセンサ132、及び光学系134を有する。B用イメージセンサ132は、光学系134により結像された像を撮像する。B用イメージセンサ132は、青色領域の波長帯域の光を透過するフィルタを有し、青色領域の波長帯域の画像信号であるB画像信号を出力する。青色領域の波長帯域は、例えば、450nm〜500nmである。青色領域の波長帯域は、青色領域の特定の波長帯域でよく、例えば、465nm〜485nmでよい。
RE用撮像装置140は、RE用イメージセンサ142、及び光学系144を有する。RE用イメージセンサ142は、光学系144により結像された像を撮像する。RE用イメージセンサ142は、レッドエッジ領域の波長帯域の光を透過するフィルタを有し、レッドエッジ領域の波長帯域の画像信号であるRE画像信号を出力する。レッドエッジ領域の波長帯域は、例えば、705nm〜745nmである。レッドエッジ領域の波長帯域は、712nm〜722nmでよい。
NIR用撮像装置150は、NIR用イメージセンサ152、及び光学系154を有する。NIR用イメージセンサ152は、光学系154により結像された像を撮像する。NIR用イメージセンサ152は、近赤外領域の波長帯域の光を透過するフィルタを有し、近赤外領域の波長帯域の画像信号であるNIR画像信号を出力する。近赤外領域の波長帯域は、例えば、800nm〜2500nmである。近赤外領域の波長帯域は、800nmから900nmでよい。
画像処理プロセッサ180は、R用撮像装置110、G用撮像装置120、B用撮像装置130、RE用撮像装置140、及びNIR用撮像装置150から出力されるそれぞれの画像信号に対して予め定められた画像処理を施す。画像処理プロセッサ180は、回路の一例である。画像処理プロセッサ180は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。
画像処理プロセッサ180は、いずれかのイメージセンサから出力された画像信号に基づいて、植物の状態を示す指標を算出する。画像処理プロセッサ180は、例えば、R画像信号及びNIR画像信号に基づいて、正規化植生指標(NDVI)を算出してよい。NDVIは、植物が多く存在するほど高い値を示す。NDVIは、葉が多い植物ほど高い値を示す。NDVIは、活性度の高い植物ほど高い値を示す。
ここで、NDVIは、以下の式で表される。
Figure 0006880380
IRは、近赤外線領域の反射率、Rは、可視領域の赤色の反射率を示す。
画像処理プロセッサ180は、例えば、G画像信号及びNIR画像信号に基づいて、gNDVI(Green Normalized Difference Vegetation Index)を算出してよい。gNDVIは、以下の式で表される。
Figure 0006880380
ここで、Gは、可視領域の青色の反射率を示す。
画像処理プロセッサ180は、R画像信号及びNIR画像信号に基づいて、SAVI(Solid Adjusted Vegetation Index)を算出してよい。SAVIは、以下の式で表される。
Figure 0006880380
SAVIは、土壌の反射率の違いを考慮した指標である。土壌の反射率の違いを考慮する点で、NDVIと異なる。Lは、植生が小さい場合には、1、大きい場合には、0.25である。
画像処理プロセッサ180は、NIR画像信号及びRE画像信号に基づいて、NDRE(Normalized Difference Red edge Index)を算出してよい。NDREは、以下の式で表される。
Figure 0006880380
ここで、NIRは、近赤外線の反射率、REは、レッドエッジの反射率を示す。NDREを用いることで、植生分布をより深く分析することができる。例えば、杉、及び檜の違いを分析することができる。
画像処理プロセッサ180は、ズレ量算出部170、ズレ補正部172、及び画像生成部174を有する。画像生成部174は、各イメージセンサから出力された画像信号の中から、予め定められた条件に従って、いずれかのイメージセンサから出力された画像信号を選択する。
画像生成部174は、R画像信号、G画像信号、及びB画像信号を選択してよい。画像生成部174は、R画像信号、G画像信号、及びB画像信号に基づいて、表示用の画像データを生成する。
画像生成部174は、R画像信号、及びNIR画像信号を選択してよい。画像生成部174は、R画像信号、及びNIR画像信号に基づいて、NDVIを示す画像データを生成する。
画像生成部174は、R画像信号、及びNIR画像信号を選択してよい。画像生成部174は、R画像信号、及びNIR画像信号に基づいてgNDVIを示す画像データを生成する。
送信部190は、表示用の画像データ、NDVIを示す画像データ及びgNDVIを示す画像データを表示装置に送信してよい。送信部190は、例えば、遠隔操作装置300に表示用の画像データを送信してよい。遠隔操作装置300は、表示部に表示用の画像データ、NDVIを示す画像データ、またはgNDVIを示す画像データをライブビューの画像として表示してよい。
画像生成部174は、R画像信号、G画像信号、B画像信号、RE画像信号、及びNIR画像信号に基づいて、予め定められた記録形式に従って記録用の画像データを生成してよい。画像生成部174は、R画像信号、G画像信号、B画像信号、RE画像信号、及びNIR画像信号から、RAW形式に従って記録用の画像データとしてRAWデータを生成してよい。画像生成部174は、R画像信号、G画像信号、B画像信号、RE画像信号、及びNIR画像信号のそれぞれを間引き処理せずにフル画素の記録用の画像データを生成してよい。画像生成部174は、記録用の画像データをメモリ192に格納してよい。メモリ192は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ192は、撮像システム100の筐体の内部に設けられてよい。メモリ192は、撮像システム100の筐体から取り外し可能に設けられてよい。
上記のように構成された撮像システム100のそれぞれの撮像装置の光軸は、異なる位置にある。したがって、画像生成部174が、複数の画像信号から複数の画像データを合成した画像データを生成するためには、それぞれの画像信号から生成される画像データ同士を位置合わせする必要がある。
それぞれの撮像装置の光軸が水平であれば、光軸間の距離に相当する画素数を考慮して、それぞれの画像データの位置合わせを行えばよい。しかしながら、製造工程において、それぞれの撮像装置の光軸が水平ではない状態にズレることがある。
例えば、図5に示すように、UAV10が飛行しながら、撮像方向が鉛直下向きの状態で、それぞれの撮像装置が画像を撮像する。
ここで、R用撮像装置110などの第1撮像装置の光軸501及びNIR用撮像装置150またはRE用撮像装置140などの第2撮像装置の光軸502が基準軸500に対してそれぞれ傾いている。このような場合、撮像システム100から被写体までの距離に応じて、第1撮像装置により撮像される第1画像と、第2撮像装置により撮像される第2画像との間の位置のズレ量が変化する。すなわち、撮像システム100から被写体までの距離に応じて、第1撮像装置により撮像される第1画像と、第2撮像装置により撮像される第2画像との間の画素のズレ量が変化する。
そこで、画像処理プロセッサ180は、第1撮像装置及び第2撮像装置から被写体までの距離に応じて、第1撮像装置により撮像される第1画像と、第2撮像装置により撮像される第2画像との間の画素のズレを補正する。例えば、UAV10が飛行しながら、撮像方向が鉛直下向きの状態で、地面の植物などを撮像する場合、第1撮像装置及び第2撮像装置の高度hを、第1撮像装置及び第2撮像装置から被写体までの距離とみなすことができる。そこで、画像処理プロセッサ180は、第1撮像装置及び第2撮像装置の高度hに応じて、第1撮像装置により撮像される第1画像と、第2撮像装置により撮像される第2画像との間の画素のズレを補正する。画像処理プロセッサ180は、補正後の第1画像と第2画像とを合成させた画像を生成して、遠隔操作装置300の表示部に表示させる。例えば、第1画像がR画像で、第2画像がNIR画像の場合、画像処理プロセッサ180は、補正後の第1画像及び第2画像のそれぞれの画素毎にNDVIを算出して、NDVIの値を画素値として示す画像を生成して、遠隔操作装置300の表示部に表示させる。
画像処理プロセッサ180は、光軸のズレに伴う画像間の位置ズレを補正すべく、ズレ量算出部170、及びズレ補正部172を含む。ズレ量算出部170は、第1撮像装置の第1光軸501と第2撮像装置の第2光軸502との間のズレに関するズレ情報と、第1撮像装置及び第2撮像装置の高度hを示す高度情報とを取得する。
ズレ情報は、第1光軸501と第2光軸502との成す角度を示す情報を含んでよい。ズレ情報は、第1光軸501と第2光軸502との成す角度として、第1光軸501と基準軸500との成す角度(θ1x,θ1y)と、第2光軸502と基準軸500との成す角度(θ2x,θ2y)とを示す情報を含んでよい。θ1x及びθ2xは、図5における紙面に平行な平面に投影した第1光軸501及び第2光軸502のそれぞれと基準軸500との成す角度を示す。θ1y及びθ2yは、図5における紙面に垂直で、かつ基準軸500を含む平面に投影した第1光軸501及び第2光軸502のそれぞれと基準軸500との成す角度を示す。NDVIを示す画像を生成する場合、ズレ情報は、図6に示すように、R用撮像装置110のx方向及びy方向の光軸と基準軸との成す角度、及びNIR用撮像装置150のx方向及びy方向の光軸と基準軸との成す角度を示す情報を含んでよい。
ズレ情報は、第1撮像装置と第2撮像装置との間の距離を示す情報を含んでよい。第1撮像装置の第1撮像面と第1光軸501との第1交点と、第2撮像装置の第2撮像面と第2光軸502との第2交点との間の距離aを示す情報を含んでよい。ズレ情報は、第1撮像面と第2撮像面との間のズレ量を示す情報を含んでよい。ズレ情報は、高度と、第1画像と第2画像との間の位置のズレ量との関係を示す情報を含んでよい。ズレ情報は、垂直方向(x方向)及び水平方向(y方向)のそれぞれについて、予め定められたXY座標系において画像を移動させるべき高度に応じた画素数を示してよい。
ズレ情報は、垂直方向(x方向)及び水平方向(y方向)のそれぞれについての画素数と高度との関係を示す情報を含んでよい。ズレ情報は、垂直方向(x方向)及び水平方向(y方向)のそれぞれについての画素数と被写体までの距離との関係を示す情報を含んでよい。
ズレ情報は、予め定められた高度に対する第1画像と第2画像との間の位置のズレ量を示す情報を含んでよい。ズレ情報は、垂直方向(x方向)及び水平方向(y方向)のそれぞれについて、予め定められた高度に対してXY座標系において画像を移動させるべき画素数を示す情報を含んでよい。ズレ情報は、予め定められた被写体までの距離における第1画像と第2画像との間の位置のズレ量を示す情報を含んでよい。
ズレ量算出部170は、ズレ情報をメモリ32などのメモリから取得してよい。ズレ量算出部170は、GPS受信機41または気圧高度計44などから、高度情報を取得してよい。ズレ量算出部170は、UAV10の高度を示す高度情報を、それぞれの撮像装置の高度を示す高度情報として、取得してよい。UAV10が予め定められた高度を飛行するように設定されている場合には、ズレ量算出部170は、UAV10の制御情報からUAV10の高度を示す高度情報を取得してもよい。
ズレ量算出部170は、ズレ情報及び高度情報に基づいて、XY座標系においてそれぞれの画像を移動させるべき方向及び画素数をズレ量として算出してよい。第1画像のズレ情報が、第1光軸501と基準軸500との成す角度(θ1x,θ1y)を示す場合、ズレ量算出部170は、第1画像のx方向の移動量diff1xを、h×tan(θ1x)、第1画像のy方向の移動量diff1yをh×tan(θ1y)として、算出してよい。ズレ量算出部170は、第1撮像装置の第1撮像面と第1光軸501との第1交点と基準軸500との間のx方向およびy方向の距離をそれぞれの方向の移動量に加算して、第1画像のx方向の移動量(画素数)及び第1画像のy方向の移動量(画素数)を算出してよい。同様に、第2画像のズレ情報が、第2光軸502と基準軸500との成す角度(θ2x,θ2y)を示す場合、ズレ量算出部170は、第2画像のx方向の移動量diff2xを、h×tan(θ2x)、第2画像のy方向の移動量diff2yをh×tan(θ2y)として、算出してよい。ズレ量算出部170は、第2撮像装置の第2撮像面と第2光軸502との第2交点と基準軸500との間のx方向およびy方向の距離をそれぞれの方向の移動量に加算して、第2画像のx方向の移動量(画素数)及び第1画像のy方向の移動量(画素数)を算出してよい。
ズレ補正部172は、ズレ量算出部170により算出されたズレ量に従って、それぞれの画像を移動させて、XY座標系上で画像同士の位置合わせを行う。画像生成部174は、位置合わせされた画像同士を重ね合わせて1つの画像を生成してよい。画像生成部174は、位置合わせされた画像同士を合成して1つの画像を生成してよい。
例えば、ズレ補正部172は、図7に示すように、第1画像のx方向の移動量diff1x(画素数)及び第1画像のy方向の移動量diff1y(画素数)だけ、第1画像601を移動させる。ズレ補正部172は、第2画像603のx方向の移動量diff2x(画素数)及び第2画像603のy方向の移動量diff2y(画素数)だけ、第2画像603を移動させることで、XY座標系上で第1画像及び第2画像の位置合わせを行ってよい。画像生成部174は、位置合わせされた第1画像602及び第2画像604を合成して、合成画像605を生成してよい。画像生成部174は、位置合わせされた第1画像602及び第2画像604のそれぞれの画素毎の画素値に基づいてNDVIなどの指標値を算出し、それぞれの指標値を画素値とする画像を合成画像605として生成してよい。画像生成部174は、位置合わせされた第1画像602及び第2画像604のうち、重畳する部分のみを合成画像605として切り出してよい。画像生成部174は、切り出された合成画像605の周囲に予め定められた画像を追加することで、予め定められたサイズの画像を生成してよい。画像生成部174は、切り出された合成画像605を、予め定められたサイズの画像に拡大することで、画像を生成してよい。
ところで、撮像システム100の撮像方向は、鉛直下向きでない場合もある。鉛直下向きでない場合、高度を被写体までの距離とみなすと、位置合わせの精度が低下する可能性がある。
例えば、図8に示すように、鉛直下向きを示す軸510と撮像システム100の基準軸500との成す角度がθgとなる方向が、撮像システム100の撮像方向になる場合もある。このような場合に、高度hを被写体までの距離とみなして、ズレ量算出部170が、ズレ量を算出すると、画像同士の位置合わせの精度が低下する可能性がある。
そこで、ズレ量算出部170は、高度hに基づいて被写体までの距離Tを、h/cos(θg)により算出してよい。
ズレ量算出部170は、ジンバル50から撮像システム100の姿勢を示す姿勢情報を取得してよい。ズレ量算出部170は、撮像装置100の姿勢情報として、撮像システム100の撮像方向を示す情報を取得してよい。ズレ量算出部170は、撮像装置100の姿勢情報として、鉛直下向きを示す軸と、撮像システム100の基準軸との成す角度θgを示す情報を取得してよい。ズレ量算出部170は、角度θgと、高度hとに基づいて、被写体までの距離Tを算出してよい。例えば、第1画像のズレ情報が、第1光軸501と基準軸500との成す角度(θ1x,θ1y)を示す場合、ズレ量算出部170は、第1画像のx方向の移動量diff1xを、T×tan(θ1x)、第1画像のy方向の移動量diff1yをT×tan(θ1y)として、算出してよい。同様に、第2画像のズレ情報が、第2光軸502と基準軸500との成す角度(θ2x,θ2y)を示す場合、ズレ量算出部170は、第2画像のx方向の移動量diff2xを、T×tan(θ2x)、第2画像のy方向の移動量diff2yをT×tan(θ2y)として、算出してよい。
ズレ量算出部170は、撮像システム100から被写体までの距離を示す距離情報を取得して、距離情報とズレ情報とに基づいてズレ量を算出してよい。ズレ量算出部170は、撮像システム100の撮像方向と鉛直下向きの方向との成す角度が予め定められた角度以下、例えば、10度以下、または5度以下の状態の場合、高度を被写体の距離とみなして、ズレ量を算出してよい。ズレ量算出部170は、撮像システム100の撮像方向と鉛直下向きの方向との成す角度が予め定められた角度より大きい場合には、高度情報と、姿勢情報とに基づいて、被写体までの距離を算出して、その被写体までの距離に基づいて、それぞれの画像のズレ量を算出してよい。ズレ量算出部170は、測距センサを介して被写体までの距離を示す距離情報を取得してもよい。
図9は、画像処理プロセッサ180による画像の位置合わせ処理の手順の一例を示すフローチャートである。
ズレ量算出部170は、ズレ情報、高度情報、及び姿勢情報を取得する(S100)。ズレ量算出部170は、ズレ情報、高度情報、及び姿勢情報に基づいて画像のズレ量を算出する(S102)。ズレ量算出部170は、姿勢情報に基づいて、撮像システム100の撮像方向と鉛直下向きの方向との間の成す角度θgを算出する。ズレ量算出部170は、高度情報に示される高度hと、撮像システム100の撮像方向と鉛直下向きの方向との間の成す角度θgとに基づいて、h/cos(θg)により、被写体までの距離を算出してよい。ズレ量算出部170は、角度θgが予め定められた閾値以下であれば、高度hを被写体までの距離と決定してよい。ズレ量算出部170は、撮像システム100が備える加速度センサまたは加速度センサからの撮像システム100の姿勢情報に基づいて、撮像システム100の撮像方向が鉛直下向きかどうかを判断してよい。
ズレ量算出部170は、ズレ情報と、被写体までの距離とに基づいて、第1撮像装置により撮像される第1画像のズレ量と、第2撮像装置により撮像される第2画像のズレ量とを算出してよい。第1画像のズレ情報が、第1光軸501と基準軸500との成す角度(θ1x,θ1y)を示す場合、ズレ量算出部170は、第1画像のx方向の移動量diff1xをT×tan(θ1x)、第1画像のy方向の移動量diff1yをT×tan(θ1y)として、算出してよい。同様に、第2画像のズレ情報が、第2光軸502と基準軸500との成す角度(θ2x,θ2y)を示す場合、ズレ量算出部170は、第2画像のx方向の移動量diff2xをT×tan(θ2x)、第2画像のy方向の移動量diff2yをT×tan(θ2y)として、算出してよい。
ズレ補正部172は、第1撮像装置により撮像された第1画像、及び第2撮像装置により撮像された第2画像を取得する(S104)。ズレ補正部172は、ズレ量に基づいて、XY座標系において第1画像及び第2画像を位置合わせする(S106)。ズレ補正部172は、XY座標系上で、第1画像をx方向にdiff1x、y方向にdiff1yだけ移動させることで、XY座標系上の第1画像の位置を補正し、XY座標系上で第2画像をx方向にdiff2x、y方向にdiff2yだけ移動させることで、XY座標系上の第2画像の位置を補正して、第1画像及び第2画像を位置合わせする。
画像生成部174は、位置合わせされた第1画像及び第2画像を合成して、表示画像を生成する(S108)。NDVIの値を画素値として示すNDVI画像を生成する場合、画像生成部174は、R画像である第1画像及びIR画像である第2画像のそれぞれの画素ごとに、NDVIを算出し、NDVI画像を表示画像として生成してよい。さらに、画像生成部174は、R画像、G画像、及びB画像を位置合わせして、RGB画像を生成してよい。画像生成部174は、NDVI画像とRGB画像とを重畳させた重畳画像を表示画像として生成してもよい。
画像生成部174は、遠隔操作装置300の表示部などに表示画像を送信する(S110)。表示部は、UAV10に搭載された撮像システム100で撮像された画像から生成されたNDVI画像をリアルタイムに表示できる。画像生成部174は、表示画像をメモリ192などに記憶させてよい。
画像処理プロセッサ180が、画像同士の位置合わせをパターンマッチングで行うことも考えられる。しかし、パターンマッチングで行う場合、画像処理プロセッサ180の処理能力を高くする必要がある。しかしながら、省電力化、軽量化、及びコスト削減などの観点から、UAV10に搭載される画像処理プロセッサ180の処理能力を高めることは好ましくない場合がある。
また、異なる波長帯域の画像同士、例えば、IR画像またはRE画像と、R画像またはG画像とのパターンマッチングを精度よく行うことは、RGB画像同士などの同一の波長帯域の画像同士のパターンマッチングに比べて容易ではない。
本実施形態によれば、撮像システム100の高度、または被写体までの距離に基づいて、画像のズレ量を算出して、画像同士の位置合わせを行うことができる。したがって、異なる波長帯域の画像同士の位置合わせもパターマンチングよりも容易に行うことができる。
図10は、UAV10に搭載される撮像システム100の外観の他の一例を示す図である。撮像システム100は、G用撮像装置120、B用撮像装置130、RE用撮像装置140、及びNIR用撮像装置150に加えて、RGB用撮像装置160を備える点で、図2に示す撮像システム100と異なる。RGB用撮像装置160は、通常のカメラと同様でよく、光学系と、イメージセンサを有する。イメージセンサは、ベイヤ配列で配置された、赤色領域の波長帯域の光を透過するフィルタ、緑色領域の波長帯域の光を透過するフィルタ、及び青色領域の波長帯域の光を透過するフィルタを有してよい。RGB用撮像装置160は、RGB画像を出力してよい。赤色領域の波長帯域は、例えば、620nm〜750nmでよい。緑色領域の波長帯域は、例えば、500nm〜570nmでよい。青色領域の波長帯域は、例えば、450nm〜500nmである。説明を簡単にするために、第1撮像装置と第2撮像装置の2つの撮像装置を例として説明した。しかしながら、実施形態で説明したように、撮像装置は2つに限られない。撮像装置が3つ以上でも同様に基準軸と光軸のずれ量を計算して画像の位置合わせを行うことができる。撮像装置は、R用撮像装置110、G用撮像装置120、B用撮像装置130、RE用撮像装置140、NIR用撮像装置150、及びRGB用撮像装置160である。すなわち、第1画像がR画像で、第2画像がNIR画像とした。しかしながら、第1画像がG画像で、第2画像がRGB画像としてもよい。
図11は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10 UAV
20 UAV本体
30 UAV制御部
32 メモリ
36 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像システム
110 R用撮像装置
112 R用イメージセンサ
114 光学系
120 G用撮像装置
122 G用イメージセンサ
124 光学系
130 B用撮像装置
132 B用イメージセンサ
134 光学系
140 RE用撮像装置
142 RE用イメージセンサ
144 光学系
150 NIR用撮像装置
152 NIR用イメージセンサ
154 光学系
160 RGB用撮像装置
170 ズレ量算出部
172 ズレ補正部
174 画像生成部
180 画像処理プロセッサ
190 送信部
192 メモリ
300 遠隔操作装置
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (20)

  1. 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置であって、
    前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置の高度を示す高度情報とを取得し、
    前記第1撮像装置により撮像された第1画像と、前記第2撮像装置により撮像された第2画像とを取得し、
    前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される回路を備え
    前記回路は、
    前記第1光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出し、
    前記第2光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出し、
    前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、画像処理装置。
  2. 前記ズレ情報は、前記第1光軸と前記第2光軸との成す角度を示す情報を含む、請求項1に記載の画像処理装置。
  3. 前記ズレ情報は、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点との間の距離を示す情報を含む、請求項2に記載の画像処理装置。
  4. 前記ズレ情報は、高度と、前記第1画像と前記第2画像との間の位置のズレ量との関係を示す情報を含む、請求項1から3の何れか1つに記載の画像処理装置。
  5. 前記ズレ情報は、予め定められた高度に対する前記第1画像と前記第2画像との間の位置のズレ量を示す情報を含む、請求項1から4の何れか1つに記載の画像処理装置。
  6. 前記第1撮像装置及び前記第2撮像装置は、移動体に搭載される、請求項1から5の何れか1つに記載の画像処理装置。
  7. 前記第1撮像装置及び前記第2撮像装置は、前記第1撮像装置及び前記第2撮像装置の姿勢を調整可能に支持する支持機構を介して前記移動体に搭載され、
    前記回路は、前記第1撮像装置及び前記第2撮像装置の姿勢状態を示す姿勢情報をさらに取得し、
    前記姿勢情報にさらに基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、請求項6に記載の画像処理装置。
  8. 前記移動体は、飛行体である、請求項6または7に記載の画像処理装置。
  9. 前記第1撮像装置及び前記第2撮像装置は、前記第1撮像装置及び前記第2撮像装置の姿勢を調整可能に支持する支持機構を介して前記移動体に搭載され、
    前記回路は、
    前記第1撮像装置及び前記第2撮像装置の姿勢状態を示す姿勢情報を取得し、
    前記姿勢情報に基づいて、前記第1撮像装置及び前記第2撮像装置の撮像方向と鉛直下向きの方向との成す角度が予め定められた角度以下であるか判断し、
    前記角度が予め定められた角度以下である場合、前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせし、
    前記角度が予め定められた角度より大きい場合、前記ズレ情報、前記高度情報、及び前記姿勢情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、請求項6から8の何れか1つに記載の画像処理装置。
  10. 前記第1撮像装置は、第1波長帯域の画像を撮像し、
    前記第2撮像装置は、第2波長帯域の画像を撮像する、請求項1から9の何れか1つに記載の画像処理装置。
  11. 前記第1波長帯域は、近赤外領域の波長帯域であり、
    前記第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域である、請求項10に記載の画像処理装置。
  12. 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置であって、
    前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得し、
    前記第1撮像装置により撮像された前記被写体を含む第1画像と、前記第2撮像装置により撮像された前記被写体を含む第2画像とを取得し、
    前記ズレ情報及び前記距離情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される回路を備え
    前記回路は、
    前記第1光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出し、
    前記第2光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出し、
    前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、画像処理装置。
  13. 前記第1撮像装置は、第1波長帯域の画像を撮像し、
    前記第2撮像装置は、第2波長帯域の画像を撮像する、請求項12に記載の画像処理装置。
  14. 前記第1波長帯域は、近赤外領域の波長帯域であり、
    前記第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域である、請求項13に記載の画像処理装置。
  15. 前記ズレ情報は、前記第1光軸と前記第2光軸との成す角度を示す情報を含む、請求項12から14の何れか1つに記載の画像処理装置。
  16. 前記ズレ情報は、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点との間の距離を示す情報を含む、請求項12から15の何れか1つに記載の画像処理装置。
  17. 前記ズレ情報は、被写体までの距離と、前記第1画像と前記第2画像との間の位置ズレ量との関係を示す情報を含む、請求項12から16の何れか1つに記載の画像処理装置。
  18. 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法であって、
    前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置の高度を示す高度情報とを取得する段階と、
    前記第1撮像装置により撮像された第1画像と、前記第2撮像装置により撮像された第2画像とを取得する段階と、
    前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
    を備え
    前記位置合わせする段階は、
    前記第1光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出する段階と、
    前記第2光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出する段階と、
    前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
    を含む、画像処理方法。
  19. 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法であって、
    前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得する段階と、
    前記第1撮像装置により撮像された前記被写体を含む第1画像と、前記第2撮像装置により撮像された前記被写体を含む第2画像とを取得する段階と、
    前記ズレ情報及び前記距離情報に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
    を備え
    前記位置合わせする段階は、
    前記第1光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出する段階と、
    前記第2光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出する段階と、
    前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせする段階とを含む、画像処理方法。
  20. 請求項1から17の何れか1つに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
JP2019200149A 2019-11-01 2019-11-01 画像処理装置、画像処理方法、及びプログラム Active JP6880380B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019200149A JP6880380B2 (ja) 2019-11-01 2019-11-01 画像処理装置、画像処理方法、及びプログラム
CN202080004297.2A CN112955925A (zh) 2019-11-01 2020-10-23 图像处理装置、图像处理方法以及程序
PCT/CN2020/123276 WO2021083049A1 (zh) 2019-11-01 2020-10-23 图像处理装置、图像处理方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019200149A JP6880380B2 (ja) 2019-11-01 2019-11-01 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021071453A JP2021071453A (ja) 2021-05-06
JP6880380B2 true JP6880380B2 (ja) 2021-06-02

Family

ID=75712993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019200149A Active JP6880380B2 (ja) 2019-11-01 2019-11-01 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP6880380B2 (ja)
CN (1) CN112955925A (ja)
WO (1) WO2021083049A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785937A (zh) * 2022-05-30 2022-07-22 浙江大华技术股份有限公司 光轴位置偏移量的确定方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826736B2 (en) * 2007-07-06 2010-11-02 Flir Systems Ab Camera and method for use with camera
JP2013045032A (ja) * 2011-08-26 2013-03-04 Fujifilm Corp 多眼撮像装置
US20130083199A1 (en) * 2011-10-04 2013-04-04 Fluke Corporation Thermal imaging camera with infrared lens focus adjustment
DE102014112666A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
EP3223505B1 (en) * 2014-11-21 2019-12-04 FUJIFILM Corporation Imaging device, imaging method, and program
US10395115B2 (en) * 2015-01-27 2019-08-27 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for robotic remote sensing for precision agriculture
CN110647005B (zh) * 2016-04-28 2022-03-04 深圳市大疆创新科技有限公司 用于获得球面全景图像的系统和方法
JP2018004420A (ja) * 2016-06-30 2018-01-11 株式会社リコー 装置、移動体装置、位置ずれ検出方法及び測距方法
CN106303240A (zh) * 2016-08-16 2017-01-04 捷西迪(广州)光学科技有限公司 无人飞机光轴变动补偿装置、方法和全景拍摄系统
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器
CN106572307A (zh) * 2016-11-01 2017-04-19 深圳岚锋创视网络科技有限公司 一种全景图像的生成方法、系统及拍摄装置
EP3547681B1 (en) * 2016-11-24 2021-01-20 FUJIFILM Corporation Image processing device, image capturing device, and image processing method
CN109118425A (zh) * 2017-06-22 2019-01-01 华为技术有限公司 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备
JP7069609B2 (ja) * 2017-09-01 2022-05-18 コニカミノルタ株式会社 作物栽培支援装置
CN107798656B (zh) * 2017-11-09 2021-05-18 南京齿贝犀科技有限公司 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法
JP6948917B2 (ja) * 2017-11-10 2021-10-13 ヤンマーパワーテクノロジー株式会社 散布作業機
CN108257183B (zh) * 2017-12-20 2021-02-23 歌尔光学科技有限公司 一种相机镜头光轴校准方法和装置

Also Published As

Publication number Publication date
WO2021083049A1 (zh) 2021-05-06
JP2021071453A (ja) 2021-05-06
CN112955925A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US11263761B2 (en) Systems and methods for visual target tracking
US10475209B2 (en) Camera calibration
WO2017147731A1 (en) Uav hardware architecture
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
CN110998241A (zh) 用于校准可移动对象的光学系统的系统和方法
WO2019100846A1 (zh) 无人机控制方法、无人机控制装置及计算机可读存储介质
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
WO2020198963A1 (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP6880380B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210092282A1 (en) Control device and control method
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
WO2021017914A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
JP6896962B2 (ja) 決定装置、飛行体、決定方法、及びプログラム
WO2021115166A1 (zh) 确定装置、飞行体、确定方法以及程序
JP6690106B1 (ja) 決定装置、撮像システム、及び移動体
JP2022053417A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2020107487A1 (zh) 图像处理方法和无人机
JP2020072289A (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
WO2023047799A1 (ja) 画像処理装置、画像処理方法及びプログラム
Murcia et al. A Low-Cost 3D Mapping System for Indoor Scenes Based on a 2D LiDAR On-Board an UGV
JP6884959B1 (ja) 制御装置、画像処理装置、撮像装置、移動体、制御方法、及びプログラム
JP2024008901A (ja) 3次元データ生成システム、3次元データ生成方法、及びマーカーメジャー
WO2018188086A1 (zh) 无人机及其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210409

R150 Certificate of patent or registration of utility model

Ref document number: 6880380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150