JP7218722B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、例えばリモートセンシングのための撮像画像の合成処理に好適な技術分野に関する。

例えば小型の飛行体に撮像装置を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
特許文献１には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。

特許第５１６２８９０号公報

例えば圃場の上空で飛行体を移動させながら飛行体に搭載した撮像装置で圃場を撮像していくことで、ある程度広い範囲をカバーした圃場の植生の撮像画像が得られる。即ち少しずつ場所がずれた各時点の撮像画像を合成することで、圃場の広い範囲をカバーする合成画像が得られる。このようにすることで、圃場の各部の植生状態のセンシングに有効である。

ここで飛行体に搭載された撮像装置により撮影された画像は、ある程度の重なりを持って撮像されたもので、互いに画像のマッチングを確認しながらステッチ処理が行われる。それらの画像は同じ位置が視差を持って撮像されていることを利用して、オルソ化が行われ、例えば真上から見た画像に変換される。
しかしながら、植物の視差画像を使ってオルソ画像を作るやり方では、植物の複雑度に比べて情報が少ないため、植物を真上から見た画像に変換するのは難しい。
その結果、画像から植生状態の雰囲気を確認するには役立つが、測定結果をセンシングデータとして数値化する場合には、多くの誤差と不安定さが含まれており、不十分なものであった。

そこで本技術は、例えばリモートセンシング等に好適な誤差の少ない画像等の情報を得ることができるようにすることを目的とする。

本技術に係る情報処理装置は、特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出部と、異なる時点に取得された複数の取得画像のそれぞれから前記抽出部が抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成部と、前記合成画像を用いて植物の植生状態及び植生指数の算出を行う算出部とを備え、前記抽出部は、第１の撮像装置で得られた各時刻の第１の撮像画像から、前記第１の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、前記第１の撮像装置とは異なる撮像方向とする第２の撮像装置で得られた各時刻の第２の撮像画像から、前記第２の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、を行い、前記合成部は、各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を行い、前記算出部は、前記第１の合成画像を用いて植物の植生状態の算出を行い、前記第２の合成画像を用いて植生指数の算出を行う。
即ち、各時点の撮像情報から、同じ情報領域の情報を抽出して合成情報を得る。このとき、複数の撮像装置で撮像された撮像画像を対象とする。そして各撮像装置での各時点の撮像画像から特定領域の画像を抽出し、合成画像を生成する。また各撮像装置の撮像画像について、画像の画角の中央（視野中央で入射角が小さい範囲）の画像領域を抽出し、それらを集めて複数の合成画像を生成する。

上記した情報処理装置においては、前記合成部は、前記抽出部が抽出した複数の前記特定領域の画像を撮像時刻順に並べてステッチ処理を行うことで合成画像を生成することが考えられる。
撮像装置を移動させながら各時刻で撮像することで、広い範囲を対象とした複数の撮像画像を得ることができる。これらの撮像画像から特定領域抽出し、時刻順に並べてステッチ処理を行う。

上記した情報処理装置においては、前記合成部は、ステッチ処理を行った画像について位置情報を用いた処理を行うことが考えられる。
例えばステッチ後の画像を、撮像画像に付加された位置情報を利用して、地図画像に重ね合わせる処理を行う。

上記した情報処理装置においては、前記抽出部は、取得画像に応じて前記特定領域を設定することが考えられる。
撮像画像からどの領域を特定領域として画像を切り出すかの判定を撮像画像に応じて実行する。
上記した情報処理装置においては、前記抽出部は、各時刻の撮像画像毎に特定の画像状態の領域を判定し、判定した領域を前記特定領域とすることが考えられる。
各撮像画像における各部の画像状態（例えば明るさ等）に応じて特定領域を可変的に設定する。
上記した情報処理装置においては、前記抽出部は、選択情報に応じて特定領域を設定することが考えられる。
撮像画像のどの領域を特定領域とするかは、ユーザの選択操作に応じたものとする。

上記した情報処理装置においては、前記抽出部は、ラインセンサ型の撮像装置で得られた各時刻の撮像画像から前記特定領域の画像を抽出する処理を行うことが考えられる。
ラインセンサ型の撮像装置では受光素子は一次元の線状に並ぶため、撮像される画像の各ラインの入射角度は同様となる。

本技術にかかる情報処理方法は、特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出手順と、異なる時点に取得された複数の取得画像のそれぞれから前記抽出手順で抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成手順と、前記合成画像を用いて植物の植生状態及び植生指数の算出を行う算出手順とを情報処理装置が実行し、前記抽出手順では、第１の撮像装置で得られた各時刻の第１の撮像画像から、前記第１の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、前記第１の撮像装置とは異なる撮像方向とする第２の撮像装置で得られた各時刻の第２の撮像画像から、前記第２の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、を実行し、前記合成手順では、各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を実行し、前記算出手順では、前記第１の合成画像を用いて植物の植生状態の算出を行い、前記第２の合成画像を用いて植生指数の算出を行う処理を実行する。
これにより各時点の撮像画像から、各撮像画像における同じ画像領域の画像を抽出して、それらの画像を合成する。
本技術にかかるプログラムは上記の各手順に相当する処理をコンピュータ装置に実行させるプログラムである。
これによりコンピュータ装置を用いて上記情報処理装置を容易に実現・提供できる。

本技術によれば、誤差が少なく例えば撮像情報をセンシングデータとして数値化する場合に好適な情報（画像情報等）を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態で実行する植生状態のリモートセンシングの説明図である。 実施の形態のカメラユニットのブロック図である。 実施の形態のセンシングシステムのブロック図である。 実施の形態の他のセンシングシステムのブロック図である。 実施の形態の情報処理装置を実現するコンピュータ装置のブロック図である。 比較例として画像合成の説明図である。 実施の形態及び比較例の合成画像の説明図である。 第１の実施の形態の撮像及び特定領域の抽出の説明図である。 第１の実施の形態の合成画像の説明図である。 第１の実施の形態の画像処理のフローチャートである。 第２の実施の形態の画像処理のフローチャートである。 第３の実施の形態の画像処理のフローチャートである。 第３の実施の形態で考慮する葉の鏡面反射の説明図である。 第３の実施の形態の抽出する画像の説明図である。 第３の実施の形態で考慮する葉の鏡面反射の説明図である。 第３の実施の形態の抽出する画像の説明図である。 第４の実施の形態の撮像及び特定領域の抽出の説明図である。 第５の実施の形態の撮像及び特定領域の抽出の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．植生状態のリモートセンシングの説明＞
＜２．装置構成＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．まとめ及び変形例＞

＜１．植生状態のリモートセンシングの説明＞
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて撮像画像の合成を行う情報処理装置について説明していくが、情報処理装置の説明に先立って、まず飛行体を用いたリモートセンシングに関して説明しておく。
図１Ａは圃場１００の様子を示している。昨今、図１Ａのように飛行体３００に搭載された撮像装置（カメラユニット２０）を用いて、植生状態をリモートセンシングする取り組みが行われている。

図１Ａにおける小型の飛行体３００は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場１００の上空を移動することができる。
飛行体３００にはカメラユニット２０が例えば下方を撮像するようにセットされている。飛行体３００が所定の経路で圃場１００の上空を移動する際に、カメラユニット２０は例えば定期的に静止画撮像を行ったり、或いは動画撮像を行うことで、各時点において撮像視野の範囲の画像を得ることができる。

図１Ｂにはカメラユニット２０による撮像視野を示している。例えばカメラユニット２０の内部のイメージセンサ４４に入射する被写体光の入射範囲θAL（画角）を示している。入射範囲θALは当然カメラユニット２０内の図示しないズームレンズ機構などを含むレンズ系４１により変化するが、通常、圃場１００の上空を移動して撮像している期間（少なくとも合成画像生成用の画像を得るための撮像を行う期間）は或る画角に固定されているとする。

カメラユニット２０がどのような撮像装置であるかは各種考えられる。
例えばカメラユニット２０の撮像によって得られる画像ファイル（或る時点の撮像画像）には分光計測画像を含むことが考えられる。即ちカメラユニット２０はマルチスペクトラムカメラとされ、撮像される画像としては、特定の２以上の波長領域の情報を有する測定画像を含む。
なおカメラユニット２０としてＲ（赤）、Ｇ（緑）、Ｂ（青）の可視光画像を撮像するカメラが併用されてもよい。
またカメラユニット２０として、赤波長領域（ＲＥＤ）と近赤外領域（ＮＩＲ：Near InfraRed）の撮像画像を得るカメラであり、得られる画像はＮＤＶＩ（Normalized Difference Vegetation Index）画像とするものが併用されても良い。

またカメラユニット２０で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、ＧＰＳ（Global Positioning System）データとしての位置情報（緯度／経度情報）、撮像装置情報（カメラの個体識別情報や機種情報等）、各画像データの情報（画サイズ、波長、撮像パラメータ等の情報）などが含まれている。

本実施の形態では、カメラユニット２０による撮像画像データの処理を入射角の異なる画像領域毎に集計処理することで、植生の密度と植生の活性度を分離し、より詳しい情報を獲得できるようにする。
例えば入射範囲θALで入射した被写体光がイメージセンサ４４によって光電変換され１枚の画像データとなる。このうちで、特定の入射角範囲θ１、θ２などとして入射された被写体光の画像領域を特定領域とする。
本実施の形態では、各時点で撮像される画像データから、このような特定領域の画像を集めて合成する処理を行うことになる。

この特定領域の画像を集めて合成した合成画像は、植生に関する各種の分析や観察に用いられる。例えば図示しない演算装置により、合成画像を用いて植生指数を求める処理を行うことが想定される。
環境ストレスの測定に用いる指数としては、
・ＰＲＩ（photochemical reflectance index）
・クロロフィル蛍光の大きさ
・クロロフィル蛍光インデックス
・ステート遷移反射率
等がある。

ＰＲＩは、キサントフィルサイクルの脱エポキシ化に伴い変化する分光反射率をインデックス化したものである。キサントフィルサイクルは、強光や水ストレスに伴う気孔閉塞といった、光合成しきれない過剰な光エネルギーを熱として放出する機構である。
ここではＰＲＩは、
ＰＲＩ＝（Ｒ５７０－Ｒ５３１）／（Ｒ５７０＋Ｒ５３１）
として算出されるものとする。なお、「Ｒ５７０」は波長５７０ｎｍの反射光強度、「Ｒ５３１」は波長５３１ｎｍの反射光強度である。

クロロフィル蛍光の大きさは、太陽光によって励起されるクロロフィル蛍光の大きさ（solar-induced chlorophyll fluorescence（ＳＩＦ））でもよいし、太陽光ではなくレーザーやＬＥＤを用いてクロロフィル蛍光を励起させてもよい。
クロロフィル蛍光インデックスは、クロロフィル蛍光をいくつかの波長に分けて測定し、例えば６８５ｎｍ、７３５ｎｍの２波長の比で表すものである。
クロロフィル蛍光を用いてストレス検出を行うこともできる。クロロフィル蛍光は植物の光合成に伴い植物から発せられる蛍光で、光により電子が励起した反応中心から一定時間内にエネルギーが抜き取られないと、高等植物では６８０ｎｍ～７７０ｎｍ前後の波長の蛍光としてエネルギーが放出される現象である。
放出されるエネルギーは入力光のエネルギーに対し０．５％～３％で、植物の光合成の状態に応じて変動し、強光や、水ストレスに伴う気孔閉塞といった光合成しきれない過剰な光エネルギーが多い場合に大きくなる。

カメラユニット２０を用いて撮像し、後述する本実施の形態の手法で生成した合成画像に基づいて、これらの指標を生成することで、植生の的確な分析、観察が可能となる。

＜２．装置構成＞
実施の形態の情報処理装置１０として機能する各種装置について説明する。
図２はカメラユニット２０の構成例を説明する。カメラユニット２０では、その信号処理部４５を本実施の形態の情報処理装置１０として機能させることができる。

図２に示すようにカメラユニット２０は、レンズ系４１、露光部４２、フィルタ４３、及びイメージセンサ４４を有する測定部２１と、信号処理部４５及びＩ／Ｆ部４６を有する処理部２２を有する。

カメラユニット２０において、被測定対象物等の被写体からの光（反射光）は、レンズ系４１とフィルタ４３を介してイメージセンサ４４に入射される。
レンズ系４１は入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなど各種レンズを含む入射光学系とされている。
フィルタ４３は被測定対象物についての測定しようとする波長を取り出すためのフィルタである。これは一般にイメージセンサ上に構成されるカラーフィルタとその前に配置されるＩＲカットフィルタなどを組み合わせたものを示しており、場合によってフィルタの一部は、露光部４２の前（入射側）やレンズ系４１の前などに置かれることもある。
露光部４２は、イメージセンサ４４において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ系４１等の光学系やアイリス（絞り）による開口量などを調整することで、露光制御を行う。

イメージセンサ４４は、そのセンサ面に、複数の画素が繰り返しパターンで２次元配列されたセンシング素子を有して構成される。
イメージセンサ４４は、フィルタ４３を通過した光を、センシング素子により検出することで、光の光量に応じた測定信号（画像データ）を信号処理部４５に出力する。

信号処理部４５は、イメージセンサ４４から出力される画像データに対し各種の信号処理を行いインターフェース部４６に出力する。
インターフェース部４６は信号処理部４５で処理された画像データその他の情報を外部機器に出力する。

ここで信号処理部４５を含むカメラユニット２０が本実施の形態の情報処理装置１０として機能する場合、信号処理部４５において図示のように抽出部１，合成部２，算出部３が設けられる。
抽出部１は、イメージセンサ４４によって得られた撮像画像について、例えば画像内の特定の位置範囲である特定領域の画像を抽出する処理を行う。
合成部２は、異なる時点に撮像された複数の撮像画像のそれぞれから抽出した複数の特定領域の画像を合成して合成画像を生成する処理を行う。
算出部３は合成部２が生成した合成画像を用いて各種の算出を行う。例えば植生の密集度や植物種の分散などの植生状態を表す値を算出したり、上述したＰＲＩ、クロロフィル蛍光の大きさ、クロロフィル蛍光インデックス、ステート遷移反射率等の植生指数の算出を行う。

具体的な処理例は後述するが、少なくとも抽出部１、合成部２としての機能をハードウエア又はソフトウエアにより具備することで、信号処理部４５（又は信号処理部４５を有するカメラユニット２０）は、請求項にいう情報処理装置に相当することになる。その場合、インターフェース部４６は信号処理部４５で生成された合成画像を外部機器に出力することができる。
また算出部３としての機能を備えることで、さらに植生状態や植生指数等の算出値を、インターフェース部４６を介して外部機器に出力することができる。

なお、システム構成によってはカメラユニット２０は、抽出部１、合成部２としての機能を備えない場合もあり得る。その場合、インターフェース部４６はカメラユニット２０による各時点の撮像画像を外部機器に送信する。
外部機器が抽出部１及び合成部２を備えた情報処理装置１０とされていることで、その外部機器によって合成画像が生成される。

そのようなシステム構成例を図３に示す。
この例では２つのカメラユニット２０Ａ、２０Ｂと、インターフェース部５０と、信号処理装置５１を示している。
カメラユニット２０Ａ、２０Ｂは、それぞれ図２のような構成を有するが、信号処理部４５は抽出部１及び合成部２としての機能を持たなくても良い。
例えばカメラユニット２０Ａ、２０Ｂはそれぞれ、は各時点の撮像画像をインターフェース５０に出力する。
インターフェース部５０はカメラユニット２０Ａ、２０Ｂからの各時点の撮像画像を信号処理装置５１に送信する。

信号処理装置５１は、例えばＰＣ（personal computer）やＦＰＧＡ（field-programmable gate array）などとして実現される。
この信号処理装置５１が抽出部１及び合成部２としての機能を備えることで、カメラユニット２０Ａで撮像した撮像画像に基づいて合成画像を生成することができ、またカメラユニット２０Ｂで撮像した撮像画像に基づいて合成画像を生成することができる。
また信号処理装置５１は算出部３としての機能を備えることで、植生状態や植生指数等の算出値を求めることができる。

なお図３では２つのカメラユニット２０Ａ、２０Ｂを示しているが、もちろん３以上のカメラユニット２０を有するシステム構成も考えられる。
また例えば１つのカメラユニット２０と信号処理装置５１を接続したシステム構成も考えられる。
さらにこれらの場合、カメラユニット２０（２０Ａ、２０Ｂ）の信号処理装部４５が抽出部１及び合成部２としての機能を備え、信号処理装置５１が抽出部１及び合成部２としての機能を備えないことも想定される。

図４は更に他のシステム構成を示している。これは遠隔地にあるサーバ６４が本実施の形態の情報処理装置１０として機能する例である。
図４には２つのカメラユニット２０Ａ、２０Ｂ、インターフェース部５０、信号処理装置６０、ルータ６１、基地局６２、ネットワーク６３、サーバ６４、ストレージ７０を示している。

信号処理装置６０は図３と同様にＰＣやＦＰＧＡなどとされるが、この場合、信号処理装置６０は抽出部１及び合成部２としての機能を備えなくてもよい。
ルータ６１は、例えばモバイル用のルータであり、基地局６２を介して、インターネット等のネットワーク６３に接続することができる。
信号処理装置６０は、カメラユニット２０Ａ、２０Ｂから取得した撮像画像を、ルータ６１を用いてサーバ６４に送信する。これにより撮像画像は基地局６２、ネットワーク６３を介してサーバ６４に取り込まれる。
サーバ６４は抽出部１及び合成部２としての機能を備える。これによりサーバ６４は受信した撮像画像について画像抽出及び合成処理を行い、合成画像を生成することができる。
ストレージ７０は、サーバ６４において信号処理装置６０から送信されてきた撮像画像の保存や、生成した合成画像の保存に用いられる。
またサーバ６４は算出部３としての機能を備えることも考えられる。これにより合成画像を用いて植生状態や植生指数等の算出値を求めることができる。

信号処理装置６０としてのＰＣ等は、サーバ６４にアクセスして、合成画像を閲覧したりダウンロードすることができる。
またサーバ６４が算出部３を有する場合、信号処理装置６０はサーバ６４にアクセスして、植生状態や植生指数等の算出値を閲覧したり取得したりすることもできる。

以上の図２，図３，図４の例のように、カメラユニット２０、ＰＣやＦＰＧＡ等の信号処理装置５１、或いはサーバ６４は、いずれも請求項にいう情報処理装置に相当する場合が想定される。
カメラユニット２０内の信号処理部４５は、例えばマイクロコンピュータなどとして、ソフトウエアにより抽出部１、合成部２、さらには算出部３としての機能を備えることが考えられる。
信号処理装置５１やサーバ６４は、例えば図５のようなハードウエア構成のコンピュータ装置１５０で実現される。

図５に示すようにコンピュータ装置１５０は、ＣＰＵ（Central Processing Unit）１５１、ＲＯＭ（Read Only Memory）１５２、ＲＡＭ（Random Access Memory）１５３を有して構成される。
ＣＰＵ１５１は、ＲＯＭ１５２に記憶されているプログラム、または記憶部１５９からＲＡＭ１５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１５１、ＲＯＭ１５２、およびＲＡＭ１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インターフェース１５５も接続されている。

入出力インターフェース１５５には、液晶パネル或いは有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ１５６、キーボード、マウスなどよりなる入力部１５７、スピーカ１５８、ＨＤＤ（Hard Disk Drive）などより構成される記憶部１５９、通信部１６０などが接続可能である。

ディスプレイ１５６はコンピュータ装置１５０と一体でも良いし別体の機器でもよい。例えば撮像画像や合成画像の表示、評価指標の表示などが行われる。
入力部１５７は、コンピュータ装置１５０を使用するユーザが用いる入力デバイスを意味する。
通信部１６０は、インターネットを含むネットワーク６３を介しての通信処理や、周辺各部の機器との間の通信を行う。

入出力インターフェース１５５にはまた、必要に応じてドライブ１６１が接続され、メモリカード１６２が装着され、メモリカード１６２から読み出されたコンピュータプログラムが、必要に応じて記憶部１５９にインストールされたり、ＣＰＵ１５１で処理したデータが記憶される。もちろんドライブ１６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。

このようなハードウエア構成において、実施の形態の情報処理装置１０としての処理、即ち抽出部１、合成部２としての処理、或いはさらに算出部３としての処理を行うことができる。即ちこれらの処理はＣＰＵ１５１で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図５のコンピュータ装置１５０にインストールされる。或いはそのプログラムが記憶部１５９としてのＨＤＤ等に予め記憶されていてもよい。そしてＣＰＵ１５１において当該プログラムが起動されることで、上記各部の機能が発現する。

なお、実施の形態の信号処理装置５１やサーバ６４は、図５のようなハードウエア構成のコンピュータ装置（情報処理装置）１５０が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図５のコンピュータ装置１５０は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置１５０としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置１０としての機能を搭載することができる。

＜３．第１の実施の形態＞
以下、第１の実施の形態としての画像処理を説明していくが、実施の形態の動作に先立って、まずは圃場１００のリモートセンシングの場合に容易に想定される画像合成の手法を、比較例として説明する。

図６Ａは圃場１００の上空に飛行体３００を飛ばしてカメラユニット２０で圃場１００を撮像している様子を示している。
図では圃場１００について領域ＡＲ１、ＡＲ２・・・ＡＲ７を示しているが、これは説明のために便宜的に領域を分けているのであって、実際に圃場１００が各領域に分かれている必要はない。
図６Ａは、ある時点ｔ１０においてカメラユニット２０で撮像できている視野範囲に領域ＡＲ１～ＡＲ５が含まれていることを示している。
圃場１００の全体をカバーするため、飛行体３００を矢印方向に移動させながら撮像を行っていく。

次の時点ｔ１１では、図６Ｂのように、カメラユニット２０によって領域ＡＲ２～ＡＲ６の範囲が撮像される。
さらに次の時点ｔ１２では、図６Ｃのように、カメラユニット２０によって領域ＡＲ３～ＡＲ７の範囲が撮像される。

これらの各時点ｔ１０，ｔ１１，ｔ１２においてカメラユニット２０で撮像される画像を画像Ｇ（ｔ１０）、Ｇ（ｔ１１）、Ｇ（ｔ１２）とする。
圃場１００の広い範囲について、植生の観察や分析のための画像を得るには、これらの各時点の画像を合成すればよい。
飛行体３００で移動されながらカメラユニット２０で撮像される画像Ｇ（Ｇ（ｔ１０）、Ｇ（ｔ１１）、Ｇ（ｔ１２）・・・）は、約９０％の重なりを持つようにされる。そして図６Ｄに示すように各画像のマッチングを確認しながらステッチ処理が行われる。
これらの画像Ｇは同じ位置が視差を持って撮像されていることを利用して、オルソ化が行われ、図６Ｅのような真上から見た画像に変換される。この画像はＲＧＢの可視光画像の場合もあれば、ＲＥＤとＮＩＲ画像から作成されるＮＤＶＩ画像であることもある。

しかし、植物の視差画像を使ってオルソ画像を作るやり方では、植物の複雑度に比べて情報が少ないため、植物を真上から見た画像に変換するのは難しい。その結果、画像から植生状態の雰囲気を確認するには役立つが、測定結果をセンシングデータとして数値化する場合には、多くの誤差と不安定さが含まれており、不十分なものとなってしまう。
図７Ｃに生成された合成画像の状態として不安定な誤差を多く含む画像を模式的に示している。

これに対して本実施の形態では、各時点の撮像画像Ｇについて、画像内の特定の位置範囲である特定領域の画像を抽出し、抽出した複数の特定領域の画像を合成して合成画像を生成することで、図７Ａ、図７Ｂのような誤差の少ない合成画像を得るものである。
この場合、特定領域としては、入射角の小さい画像領域（真下に近い領域：第１入射角範囲）と入射角が大きい画像領域（進行方向の画面の上の領域：第２入射角範囲）としており、それぞれの領域の画像データをそれぞれステッチしたものが、図７Ａの第１入射角画像と図７Ｂの第２入射角画像となる。

このように植生検査のために撮像された画像を、入射角範囲の異なる画像に分離し、それぞれでステッチ画像を作成する本実施の形態の処理の具体例を説明していく。

図８Ａ～図８Ｅは先の比較例の図６と同様に、各時点での撮像の様子を示している。
図８Ａは圃場１００の上空に飛行体３００を飛ばしてカメラユニット２０で圃場１００を撮像しているが、この時点ｔ１では圃場１００の領域ＡＲ１，ＡＲ２，ＡＲ３の画像が撮像されるとする。
図８Ｂの時点ｔ２では、領域ＡＲ１，ＡＲ２，ＡＲ３、ＡＲ４の画像が撮像される。
図８Ｃの時点ｔ３では、領域ＡＲ１～ＡＲ５の範囲の画像が撮像される。
図８Ｄの時点ｔ４では、領域ＡＲ２～ＡＲ６の範囲の画像が撮像される。
図８Ｅの時点ｔ５では、領域ＡＲ３～ＡＲ７の範囲の画像が撮像される。

ここでカメラユニット２０には先に図１Ｂに示したように被写体光の入射範囲θAL（画角）がレンズ系４１の状態で決まるが、その範囲内に図８に示す第１入射角範囲θ１、第２入射角範囲θ２が含まれているとする。
一例として第１入射角範囲θ１はほぼ真下となる入射角範囲である。
例えば図１Ｂに示すように第１入射角範囲θ１は、撮像素子であるイメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊを中心として±角度ａ１以内となる範囲である。即ち入射角度が最も小さくなる領域である。
また第２入射角範囲θ２は画角の中央からみて端部に寄った領域（入射角が大きい範囲）である。例えば図１Ｂにおいて、イメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊから第１の角度ａ３以上、第２の角度ａ４以下の範囲としている。

例えばこのような入射角範囲θ１、θ２として特定領域を設定し、各時点の撮像画像からこれらの特定領域を抽出する。
図８Ａの時点ｔ１の撮像画像からは、入射角範囲θ１、θ２の画像として、領域ＡＲ１、ＡＲ３を写した部分の画像が抽出される。これらの特定領域の画像を、領域と時点の符号により画像ＡＲ１（ｔ１）、ＡＲ３（ｔ１）として示している。
図８Ｂの時点ｔ２の撮像画像からは、入射角範囲θ１、θ２の画像として、それぞれ領域ＡＲ２、ＡＲ４を写した部分の画像ＡＲ２（ｔ２）、ＡＲ４（ｔ２）が抽出される。
図８Ｃの時点ｔ３の撮像画像からは、入射角範囲θ１、θ２の画像として、それぞれ領域ＡＲ３、ＡＲ５を写した部分の画像ＡＲ３（ｔ３）、ＡＲ５（ｔ３）が抽出される。
図８Ｄの時点ｔ４の撮像画像からは、入射角範囲θ１、θ２の画像として、それぞれ領域ＡＲ４、ＡＲ６を写した部分の画像ＡＲ４（ｔ４）、ＡＲ６（ｔ４）が抽出される。
図８Ｅの時点ｔ５の撮像画像からは、入射角範囲θ１、θ２の画像として、それぞれ領域ＡＲ５、ＡＲ７を写した部分の画像ＡＲ５（ｔ５）、ＡＲ７（ｔ５）が抽出される。
以降の時点の撮像画像からも同様に各特定領域の画像が抽出される。

そしてこのように抽出した特定領域の画像を集めて合成する。
各時点の入射角範囲θ１の画像ＡＲ１（ｔ１）～ＡＲ７（ｔ７）を集めて合成した画像は図９Ａのようになる。なお、画像ＡＲ６（ｔ６）、ＡＲ７（ｔ７）は図８Ｅの時点ｔ５より後の時点ｔ６，ｔ７の撮像画像から抽出された画像である。
これらの画像ＡＲ１（ｔ１）～ＡＲ７（ｔ７）は全て各時点でほぼ直下を写した画像となっている。このような第１入射角画像として図７Ａのような画像が得られる。

また各時点の入射角範囲θ２の画像ＡＲ１（ｔ－１）～ＡＲ７（ｔ５）を集めて合成した画像は図９Ｂのようになる。なお、画像ＡＲ２（ｔ０）、ＡＲ１（ｔ－１）は図８Ａの時点ｔ１より前の時点ｔ０，ｔ－１の撮像画像から抽出された画像である。
画像ＡＲ１（ｔ－１）～ＡＲ７（ｔ５）は全て各時点で飛行体３００の進行方向の斜め下方を写した画像となっている。このような第２入射角画像として図７Ｂのような画像が得られる。

図７Ａ，図７Ｂの合成画像はいずれも画像の無理な変換がないため、安定した精度の高い画像が得られる。
また、図７Ａの合成画像は、真上から見た画像で構成されているため、土の部分が映っており、植物の密度を観測することができる。
また、図７Ｂの合成画像は、植物を斜めから見た画像が集められているため、植物の状態、活性度だけを見ることができる。

このような合成画像を得るための本実施の形態の情報処理装置１０、即ち抽出部１と合成部２による処理例を図１０に示す。この処理は実際には、情報処理装置１０として機能する図２のカメラユニット２０の信号処理部４５、図３の信号処理装置５１、或いは図４のサーバ６４において実行される処理例となる。なおこの点は後述の第２，第３の実施の形態の処理例（図１１，図１２）も同様である。

情報処理装置１０は図１０のステップＳ１０１でデータ取得を行う。具体的には各時点での撮像画像を取得する処理となる。
ステップＳ１０２で情報処理装置１０は画像位置補正を行う。ここでは飛行体３００の姿勢情報（ＩＭＵ：Inertial Measurement Unit（慣性計測装置））を利用して、画像の入射角に応じた画像の歪補正を行う。

ステップＳ１０３で情報処理装置１０は画像の分離、即ち特定領域の画像の抽出を行う。例えば上記の例の場合、それぞれの撮像画像から入射角の小さい画像領域（真下に近い領域）の画像（入射角範囲θ１の画像）と入射角が大きい画像領域（進行方向の画面の上の領域）の画像（入射角範囲θ２の画像）を分離抽出する。

ステップＳ１０４で情報処理装置１０は画像合成を行う。
即ち情報処理装置１０は各時点の入射角範囲θ１の画像を集め、図９Ａのように撮像時刻順に並べてステッチ処理を行うことで入射角の小さい画像領域（真下に近い領域）のステッチ画像を生成する。また情報処理装置１０は各時点の入射角範囲θ２の画像を集め、図９Ｂのように撮像時刻順に並べてステッチ処理を行うことで入射角が大きい画像領域（進行方向にみて斜め下方の領域）のステッチ画像を生成する。これにより、２つのステッチ画像を得る。

ステップＳ１０５で情報処理装置１０は生成した合成画像データを保存し、ステップＳ１０６で終了判断を行う。
さらに処理を行う場合はステップＳ１０６からＳ１０１に戻って、他の撮像画像を用いた処理に移行する。終了する場合はステップＳ１０６から一連の処理を終える。

以上の処理により、各時点の撮像画像から特定領域を集めた合成画像が得られる。特定領域としては、入射角範囲θ１、θ２を想定したが、もちろんこれに限られない。 例えば入射角範囲θ１のみを特定領域として、１つの合成画像を生成するものでもよい。
また３つ以上の入射角範囲θ１、θ２、θ３・・・をそれぞれ特定領域として、３以上の合成画像を生成するようにしてもよい。
各入射角範囲θ１、θ２は、それぞれが完全に異なる入射角度範囲としたが、一部重複した入射角範囲としてもよい。
また、特定領域は入射角範囲θ１に基づいて決めるものでなくてもよい。例えばイメージセンサ４４の撮像素子の領域範囲として特定領域を設定してもよい。例えば撮像素子配列上での中央領域などとして特定領域を決めるような例である。
また撮像画像領域内で撮像画素（ピクセル）の範囲として、水平・垂直の両方向で範囲を設定し、それを特定領域として設定してもよい。
いずれにしても、撮像画像の一部が特定領域として設定されればよい。

なお、情報処理装置１０として算出部３を備える場合、例えばステップＳ１０６の後に、合成画像を用いて算出処理を行うことができる。
その場合、算出部３は図７Ａのようなほぼ真上からの画像の合成画像を用いて植物の密集度を算出し、また図７Ｂのような画角の中央からみて左又は右方向（又は上又は下方向）に寄った領域（入射角が大きい範囲）の画像の合成画像を用いて植物の密集度を算出することが考えられる。

＜４．第２の実施の形態＞
第２の実施の形態の処理例を図１１で説明する。図１０と同一の処理は同一のステップ番号を付して重複説明を避ける。
この図１１の処理例は先の図１０の処理にステップＳ１１０が追加されたものである。
情報処理装置１０は、ステップＳ１０４で画像合成を行ったら、ステップＳ１１０で地図画像処理を行う。
これはステッチ後の画像をＧＰＳの情報を利用して地図画像に重ね合わせることで、正確な位置情報との整合性をとる処理である。
入射角の大きな画像はＧＰＳとの位置がずれているため、その点も考慮して地図画像に重ね合わせが行われる。これによって正確な位置を反映した合成画像が得られることになる。

＜５．第３の実施の形態＞
第３の実施の形態の処理例を図１２で説明する。図１０と同一の処理は同一のステップ番号を付して重複説明を避ける。この図１２は先の図１０の処理にステップＳ１２０が追加された例である。
情報処理装置１０は、ステップＳ１２０で抽出画像の判断を行う。これは特定領域を設定する処理である。つまりステップＳ１０１で取得した各時点の撮像画像について、どの領域を抽出するかを設定する処理である。

例えばステップＳ１２０で情報処理装置１０は、特定領域とする画像領域を、撮像画像から判断して、適応的に切り替える処理を行う。
即ち入射角の小さい画像領域と大きい画像領域を分離する前に、どのような画像を切り出すかを、画像から判断する。
例えば植物は種類によって丈が違う。丈が長い植物程、入射角は小さくても、植生だけの画像を得ることが可能となる。
そこで例えば丈が長い植物の場合は、入射角範囲θ１は真下の画像領域（画像センターの入射は０度）、入射角範囲θ２は「入射角Ｘ度付近の画像領域」を選ぶ。
丈が短い植物の場合は、入射角範囲θ１は同じく真下の画像領域、入射角範囲θ２は「入射角Ｙ度付近の画像領域」を選ぶこととする。ここで、入射角Ｘと入射角Ｙの関係は、入射角Ｘ＜入射角Ｙという関係である。

撮像画像に写る圃場１００の画像において植物の葉の部分と土の部分は画像解析により判別しやすい。その場合、直下の画像領域において土の部分が多ければ丈の短い植物、少なければ丈の長い植物という判定ができる。
例えばこのような手法で植物の丈を判定し、上記のように特定領域の設定を切り替えることができる。
そしてこの場合、丈の長い植物については、入射角範囲θ２の画像についても、なるべく入射角の小さい領域の画像が選択されることになる。よって画像歪を抑えつつ、植生の状態、活性度を捉えることが可能となる。

ステップＳ１２０の処理としてのもう１つの具体例として、太陽光の状態に応じて、植物が陰になる入射角の画像と、日向になる入射角を特定し、それぞれの入射角の画像だけを抽出するように特定領域を設定することも可能である。
日陰の画像と、日向の画像では、太陽光のスペクトルが異なるため、それぞれの太陽光スペクトルに応じた補正を行う必要があるが、このような補正が容易となる。
また植生のストレス状態も、日向と日陰では異なるため、その差を測定することで、ストレス状態を見分けることも可能となる。

この場合、飛行体３００が飛行して撮像した各時点の撮像画像において、日向／日陰の領域がほぼ変わらない場合は、特定領域として入射角範囲θ１，θ２を１枚の撮像画像から設定することが考えられる。例えば周囲の地形により通常日向である位置や日陰である位置が決まり、飛行体３００との相対関係では、撮像画像に反映される日向／日陰位置があまり変わらない場合である。

一方、飛行体３００の進行に応じて、各時点の撮像画像内での日向／日陰の範囲が変化する場合もある。そこで、撮像画像毎に可変的に特定領域を設定してもよい。
即ち各撮像画像の日向の画像領域を第１の特定領域とし、各撮像画像の日陰の画像領域を第２の特定領域とする。
例えば撮像画像毎に画素領域の輝度分布、明度分布などを判定し、日向領域と日陰領域を特定し、それを第１，第２の特定領域として抽出する。
このようにすることで、撮像画像毎に日向／日陰の範囲が変化する場合でも、日向のみの画像を集めた合成画像や日陰のみの画像を集めた合成画像を得ることができる。

また太陽の位置、被写体の角度、カメラユニット２０への入射角によって、植物から反射される鏡面反射の量が変化する。植生の状態を検知するためには、できるだけ鏡面反射の量を抑える必要がある。そこで、もう１つの例として、植物の種類、成長度合いに応じて、最も鏡面反射が少ない入射角を特定し、その入射角の画像を集めるということも有効である。

図１３Ａに示すように、トマトなどの葉は比較的上を向いている場合が多い。光源からの光が正反射（鏡面反射）する方向は物質への入射角と反射角が等しくなる方向である。よってトマトの場合、図１３Ｂに示すような関係になる。即ち太陽４００からの光は入射角ＡＧ１、反射角ＡＧ２が等しくなる状態で、逆の方向に光が反射される。
図１４Ａ、図１４Ｂは圃場１００に対して飛行体３００が方向ＤＡ、ＤＢに飛行する状態を示している。方向ＤＡは太陽４００を背にして進行する方向で、方向ＤＢは太陽４００に向かうように進行する方向である。
そして図１４Ｃのように圃場１００上を飛行体３００が飛行する場合を考える。方向ＤＡに向かって飛行している際には、入射角範囲θ２の抽出画像は撮像画像の上側（飛行体３００の進行方向の画像：図１４Ａ参照）を採用し、逆に方向ＤＢに向かって飛行している際には、撮像画像の下側（飛行体３００の進行方向と逆側の画像：図１４Ｂ参照）を採用する。これにより鏡面反射が少ない画像を集めることができる。
なお真下（入射角範囲θ１）の画像は鏡面反射量が入射角範囲θ２の画像に比べて大きいが、同時に取得することで、角度による植生の違いを推測するのに役立つ。

また、図１５Ａに示すように、芝などの場合には、葉は、上に向かって立っている葉が多く、太陽４００からの光の鏡面反射の様子は図１５Ｂのようになることが多い。
そのような場合には、入射角範囲θ２として抽出する画像は、図１６Ａ、図１６Ｂに示すようにすることが考えられる。なお図１６Ｃは図１４Ｃと同様に圃場１００上の飛行体３００の飛行経路を示している。
図１６Ａに示すように、方向ＤＡに向かって飛行している際には、入射角範囲θ２の抽出画像は撮像画像の下側（飛行体３００の進行方向と逆側の画像）を採用し、逆に方向ＤＢに向かって飛行している際には、図１６Ｂに示すように、撮像画像の上側（飛行体３００の進行方向の画像）を採用する。

以上のように、撮像画像の状態によって、特定領域とする入射角範囲を適応的に切り替えたり、或いは特定領域となる領域自体を撮像画像毎に選択するという手法を採ることもできる。

また被写体が明確な場合には、どのような入射角で測定をするかを、あらかじめ決めておき、それに基づいてステップＳ１２０で抽出する特定領域を選択することも可能である。即ちステップＳ１２０では、どの入射角の画像領域を特定領域とするかを、予め入力された設定情報に基づいて決定するという処理を行うものでもよい。
これによりスタッフが圃場１００や植物の種類等に応じて臨機応変に、適切な合成画像を得ることができる設定を行うことができる。

＜６．第４の実施の形態＞
第４の実施の形態を図１７で説明する。
これはカメラユニット２０を入射角に合わせて複数台使用する例である。

図１７Ａ、図１７Ｂ、図１７Ｃは、先の図８Ｃ、図８Ｄ、図８Ｅと同様に時点ｔ３，ｔ４，ｔ５における撮像の様子を示している。
この例では図１７Ｄに示すように飛行体３００には２つのカメラユニット２０Ａ、２０Ｂを搭載している。カメラユニット２０Ａは撮像方向を真下とし、カメラユニット２０Ｂは撮像方向を飛行体３００の進行方向の斜め下方としている。即ちカメラユニット２０Ｂは、カメラユニット２０Ａによっては入射角が大きくなってしまう範囲を狙った撮像方向とする。

つまりこの例の場合、カメラユニット２０Ａにおける光軸Ｊに近い入射角範囲θ１（図１Ｂ参照）を特定領域とする。そしてカメラユニット２０Ａで撮像された各時刻の撮像画像から、入射角範囲θ１の画像領域を抽出し、第１の合成画像を生成する。
また、カメラユニット２０Ｂに関しても同じく光軸Ｊに近い入射角範囲θ１（図１Ｂ参照）を特定領域とする。そしてカメラユニット２０Ｂで撮像された各時刻の撮像画像から、入射角範囲θ１の画像領域を抽出し、第２の合成画像を生成する。

すると第１、第２の合成画像は、図７Ａ，図７Ｂと同様の、真下の画像と進行方向に見て斜め下方の画像となる。
但しこの場合、進行方向の斜め下方の合成画像もカメラユニット２０Ｂにおいて入射角が小さい範囲の画像を集めたものとなっている。つまりレンズ歪みの少ない画像となる。
このように、２台のカメラユニット２０Ａ、２０Ｂのそれぞれカメラセンターの画像を使って合成画像を生成することで、入射角および画角を小さくして、レンズ歪の少ない高画質な合成画像を得ることが可能となる。

＜７．第５の実施の形態＞
図１８により第５の実施の形態を説明する。
図１８Ａ、図１８Ｂ、図１８Ｃは、先の図８Ｃ、図８Ｄ、図８Ｅと同様に時点ｔ３，ｔ４，ｔ５における撮像の様子を示している。
この場合、図１８Ｄに示すようにラインセンサ型のカメラユニット２０ＡＬ，２０ＢＬを飛行体３００に搭載する。カメラユニット２０ＡＬは撮像方向を真下とし、カメラユニット２０ＢＬは撮像方向を飛行体３００の進行方向の斜め下方としている。

ラインセンサ型のカメラユニット２０ＡＬ，２０ＢＬは、イメージセンサ４４として受光素子が１次元の線状に配置されており、被写体との相対位置を変化させながら１ライン毎の撮像を行っていくものとなる。飛行体３００の進行とともに、１ラインずつの撮像を行っていくことで、圃場１００を上空から写した撮像画像を得る。

この場合、カメラユニット２０ＡＬの各時点の撮像画像は全体がほぼ同じ入射角度で得られた直下の画像となる。
またカメラユニット２０ＢＬの各時点の撮像画像は全体がほぼ同じ入射角度で得られた進行方向斜め下方の画像となる。
そしてカメラユニット２０ＡＬの各時点の撮像画像を用いて合成画像を生成し、またカメラユニット２０ＢＬの各時点の撮像画像を用いて合成画像を生成することで、合成画像としては全てのラインが同じ角度で撮像された画像を得ることが容易となる。

＜８．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置１０は、特定波長領域の情報を有する撮像画像を取得し、撮像画像について、画像内の特定の位置範囲である特定領域の画像を抽出する抽出部１と、異なる時点に撮像された複数の撮像画像のそれぞれから抽出部１が抽出した複数の特定領域の画像を合成して合成画像を生成する合成部２を備える。即ち、各時点の撮像画像から、各撮像画像における同じ画像領域の画像を抽出して、それらの画像を合成するようにする。
これにより、誤差が少なく測定結果をセンシングデータとして数値化する場合に好適な画像を得ることができる。
例えば各撮像画像の左右方向の中央部分などを特定領域とする。その場合、撮像装置に対する角度（例えば撮像素子に対する被写体光の入射角度）がほぼ同じ範囲の画像を集めた合成画像を得ることができる。
撮像装置を移動させながら撮像した場合に、撮像装置に対する相対位置がほぼ同じ画像としての移動範囲の撮像画像を得ることができる。
例えば植物の視差画像を使ってオルソ画像を作るやり方では、植物の複雑度に比べて情報が少ないため、植物を真上から見た画像に変換するのは難しいため、撮像画像をセンシングデータとして数値化する場合には多くの誤差と不安定さが含まれており不十分なものとなる。これに対して実施の形態では、例えば全面にわたって植物を真上から見たような画像（図７Ａ参照）を誤差を生じさせる大きな変換を行わず得ることが容易であり、植生状態のセンシングとして非常に好適となる。

各実施の形態では、特定領域は、カメラユニット２０のイメージセンサ４４に対する被写体光の入射角度が特定の入射角範囲である画像領域である例を述べた。そして各時点の撮像画像について、同じ入射角範囲の画像領域を抽出して合成する。
これにより、カメラユニット２０を飛行体３００により移動させながら撮像した場合に、ほぼ同じ入射角の被写体光による画像領域を集めて合成画像を得ることができる。
例えば撮像素子に対して最も入射角が小さい画像のみを集めて合成することで、歪みの少ない画像を得ることができる。
また例えば入射角が大きい領域の画像のみを集めて合成することで、画像全体が斜め方向から視認したような画像を得ることができる。

第１の実施の形態では、抽出部１は、撮像画像について、第１の特定領域の画像（入射角範囲θ１の画像）と第２の特定領域の画像（入射角範囲θ２の画像）を抽出する処理を行うものとした。そして合成部２は、異なる時点に撮像された複数の撮像画像のそれぞれから抽出された複数の第１の特定領域の画像を合成して第１の合成画像を生成する処理と、異なる時点に撮像された複数の撮像画像のそれぞれから抽出された複数の第２の特定領域の画像を合成して第２の合成画像を生成する処理とを行う例を述べた。つまり各時点の撮像画像から複数の合成画像を生成する。各合成画像は、例えば同じ入射角範囲の画像領域など、画像内の特定の位置範囲を集めた画像となる。
従って例えば入射角範囲が同様の画像を集めた複数の合成画像を生成することができる。例えば入射角範囲θ１の画像領域の合成画像として、カメラユニット２０から直下に見た状態の圃場１００の撮像画像が生成でき、同時に、カメラユニット２０から斜め下に見た状態の圃場１００の撮像画像が生成できる。
入射角度の異なる画像は、それぞれ各種の観察・分析のために適している点がある。このため多様な入射角画像が一度に得られることは、植生状態のリモートセンシングに非常に好適である。
もちろん、さらに抽出部が抽出した複数の第３の特定領域を合成して第３の合成画像を生成するなど、３以上の合成画像を生成することも可能である。
また入射角に応じた画像をそれぞれ集めることで、植物の状態を違った角度から評価するのに役立つ。例えば、真上から見た画像で構成されたものは、植物の成長度合に応じて、土の部分が映っているなど、植物の密度を観測するのに適している。植物を斜めから見た画像が集めることで、植物だけをとらえることができ、植物の状態、活性度を見るのに適している。

第１の実施の形態では、抽出部１は、特定領域の画像（入射角範囲θ１の画像）として、カメラユニット２０のイメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊを中心として±角度ａ１内となる範囲（図１Ｂ参照）の画像領域の画像を抽出する例を説明した。つまり画像の画角の中央（視野中央で入射角が小さい範囲）の画像領域を抽出し、それらを集めて複数の合成画像を生成する。
画角中央の画像は、画像歪みが小さい。従って被写体（例えば圃場）の広い範囲を画像歪みの小さい画像としての合成画像が得られる、このような合成画像は、画像歪みが影響する方式の植生情報の分析或いは観察に好適となる。
例えば図７Ａのような合成画像（第１入射角画像）として、画像の無理な変換がないため、安定した精度の高い画像が得られる。また、図７Ａの合成画像は、真上から見た画像で構成されているため、土の部分が映っており、植物の密度を観測することができる。

第１の実施の形態では、抽出部１は、特定領域の画像（入射角範囲θ２の画像）として、カメラユニット２０のイメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊから第１の角度ａ３以上、第２の角度ａ４以下の範囲（図１Ｂ参照）の画像領域の画像を抽出する例を述べた。
つまり画像の画角の中央からみて左又は右方向（又は上又は下方向）に寄った領域（入射角が大きい範囲）を特定領域とする。つまり画角として縁部に近い領域である。このような画像領域を抽出し、それらを集めて複数の合成画像を生成する。
画角縁部に近い画像は、斜め方向からの見た画像となる。圃場の画像として考えると、植物の葉によって土の部分が隠されたような画像となりやすい。そのため土の部分が分析のノイズになるような植生分析、観察に好適な画像を得ることができる。
例えば図７Ｂのような合成画像（第２入射角画像）として、植物を斜めから見た画像が集められているため、植物の状態、活性度だけを見ることができる。

各実施の形態のでは合成部２は、抽出部１が抽出した複数の特定領域の画像を撮像時刻順に並べてステッチ処理を行うことで合成画像を生成するものとしている（図９Ａ、図９Ｂ参照）。
撮像装置を移動させながら各時刻で撮像することで、広い範囲を対象とした複数の撮像画像を得ることができる。これらの撮像画像から特定領域抽出し、時刻順に並べてステッチ処理を行う。
例えば圃場の広い範囲の画像として、被写体光の入射角範囲が同様の画像を得ることができ、広い範囲の植生分析に好適となる。

第２の実施の形態では、合成部２はステッチ処理を行った画像について位置情報を用いた処理を行う例を挙げた。例えばステッチ後の画像を、撮像画像に付加されたＧＰＳの情報を利用して、地図画像に重ね合わせる処理を行う。
これにより位置関係が正確な合成画像を得ることができる。

第４の実施の形態では、抽出部１は、カメラユニット２０Ａで得られた各時刻の第１の撮像画像から特定領域の画像を抽出する処理と、カメラユニット２０Ｂで得られた各時刻の第２の撮像画像から特定領域の画像を抽出する処理とを行うこととした。また合成部２は、各時刻の第１の撮像画像から抽出された特定領域の画像を合成して第１の合成画像を生成する処理と、各時刻の第２の撮像画像から抽出された特定領域の画像を合成して第２の合成画像を生成する処理とを行う。
つまり複数の撮像装置（カメラユニット２０）で撮像された撮像画像を対象とする。そして各撮像装置での各時点の撮像画像から特定領域の画像を抽出し、合成画像を生成する。
この場合、複数のカメラユニット２０Ａ、２０Ｂによって撮像した撮像画像から、それぞれ特定の入射角範囲の画像を集めて合成画像を生成することができる。
例えば図１７で説明したように、カメラユニット２０Ａは飛行体３００の直下を向き、カメラユニット２０Ｂが飛行体３００の斜め下方を向くようにするなどして、広い範囲で撮像画像が得られるようにする。するとカメラユニット２０Ａの撮像方向の設定や、抽出する特定領域の選択により、植生状態のセンシング等の目的に応じて好適な画像を得易くすることができる。
なおもちろん、さらに多数のカメラユニット２０（例えばカメラユニット２０Ａ、２０Ｂに加え不図示のカメラユニット２０Ｃなど）を用いて、それぞれの撮像画像から特定領域を抽出して合成画像を得ることができる。
また複数のカメラユニット２０を用いる場合でも、１つのカメラユニット２０Ａから複数の特定領域（第１の特定領域と第２の特定領域）の画像を抽出するようにして、それぞれ合成画像を生成するようにしてもよい。例えばカメラユニット２０Ａで撮像した撮像画像について第１，第２の特定領域を設定して２つの合成画像を生成し、さらにカメラユニット２０Ｂで撮像した撮像画像について第１，第２の特定領域を設定して２つの合成画像を生成することとして、合計４つの合成画像を一度に生成することも可能である。

また第４の実施の形態においては、抽出部１は、カメラユニット２０Ａ、２０Ｂの撮像画像の両方について、特定領域の画像として、被写体光の入射角度がレンズ系光軸Ｊを中心として所定角度内となる範囲（入射角範囲θ１）の画像領域の画像を抽出する例を説明した。即ち各カメラユニット２０Ａ、２０Ｂの撮像画像について、画像の画角の中央（視野中央で入射角が小さい範囲）の画像領域を抽出し、それらを集めて複数の合成画像を生成する。
画角中央の画像は、画像歪みが小さい。従って被写体（例えば圃場）の広い範囲についての画像歪みの小さい合成画像が得られる。
例えば図１７で説明したように、カメラユニット２０Ａは飛行体３００の直下を向き、カメラユニット２０Ｂが飛行体３００の斜め下方を向くようにした場合、いずれも入射角が小さい範囲（光軸に近い範囲）の画像として、直下の視野となる画像と斜め下方の視野となる画像を得ることができる。つまりいずれも画像歪みが小さい画像として直下の画像と斜め下方の画像を得ることができる。

第３の実施の形態では、図１２のステップＳ１２０の処理として抽出部１は、撮像画像に応じて特定領域を設定する例を述べた。即ち撮像画像からどの領域を特定領域として画像を切り出すかの判定を撮像画像に応じて実行する。
これにより撮像画像に応じて、圃場１００等のセンシングの目的に沿った特定領域を抽出した合成画像を得ることができる。例えば、太陽光の照射状態に応じた特定領域設定などができる。

また第３の実施の形態のステップＳ１２０では、抽出部１は、各時刻の撮像画像毎に特定の画像状態の領域を判定し、判定した領域を特定領域としてもよい。即ち各撮像画像における各部の画像状態（例えば明るさ等）に応じて特定領域を可変的に設定する。
これにより例えば太陽光の照射状態が撮像画像毎に変化するような場合でも、日陰と日向などを的確に分離するための特定領域設定ができる。

また第３の実施の形態のステップＳ１２０では、抽出部１は、ユーザが予め設定した選択情報に応じて特定領域を設定してもよい。つまり撮像画像のどの領域を特定領域とするかは、ユーザの選択操作に応じたものとする。
これにより撮像画像に応じて、圃場等のセンシングの目的に沿った特定領域を抽出した合成画像を得ることができる。例えば、植物の種類に応じてユーザが特定領域を選択しておくことなどができる。

第５の実施の形態では、抽出部１は、ラインセンサ型のカメラユニット２０ＡＬ，２０ＢＬで得られた各時刻の撮像画像から特定領域の画像を抽出する処理を行う例を述べた。ラインセンサ型の撮像装置では受光素子は一次元の線状に並ぶため、撮像される画像の各ラインの入射角度は同様となる。従って合成画像としては全てのラインが同じ入射角の被写体光となった画像を得ることが容易になる。

図２、図３、図４の構成例で示したように、合成画像を用いて植物の植生状態を算出を行う算出部３を備える場合がある。
抽出部１は、特定領域の画像（入射角範囲θ１の画像）として、カメラユニット２０のイメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊを中心として±角度ａ１内となる範囲（図１Ｂ参照）の画像領域の画像を抽出し、合成部２が、異なる時点に撮像された複数の撮像画像のそれぞれから抽出部１が抽出した複数の特定領域の画像を合成して合成画像を生成する。この場合、算出部３はほぼ真上からの画像の合成画像を用いて植物の密集度を算出するようにする。
例えば図７Ａのような合成画像（第１入射角画像）として、画像の無理な変換がないため、安定した精度の高い画像が得られ、また植物に加え、土などの植物以外の部分も映っている。従って算出部３は植生状態の算出を適切に行うことができる。植生状態とは例えば植物の密度（密集度）や、1又は複数の植物種の分散などである。

また、抽出部１は、特定領域の画像（入射角範囲θ２の画像）として、カメラユニット２０のイメージセンサ４４に対する被写体光の入射角度がレンズ系光軸Ｊから第１の角度ａ３以上、第２の角度ａ４以下の範囲（図１Ｂ参照）の画像領域の画像を抽出し、合成部２が、異なる時点に撮像された複数の撮像画像のそれぞれから抽出部１が抽出した複数の特定領域の画像を合成して合成画像を生成する。この場合、算出部３は画角の中央からみて左又は右方向（又は上又は下方向）に寄った領域（入射角が大きい範囲）の画像の合成画像を用いて植物の密集度を算出する。
例えば図７Ｂのような合成画像（第２入射角画像）として、土の部分が分析のノイズになるような植生分析、観察に好適な画像が得られる。このため、算出部３はこのような合成画像を用いることで、ＰＲＩ等の植生指数の算出を精度良く実行できる。

なお各実施の形態においては抽出部１、合成部２は撮像画像を対象として処理を行うが、本技術における“撮像画像”とは、光電変換素子で得られた信号によって表現される情報の全てを含む。例えば可視光をそのまま表現した狭義の画像に限られない。

本発明の実施の形態のプログラムは、コンピュータ装置１５０のＣＰＵ１５１に、撮像画像内の特定領域の画像を抽出する抽出ステップ（Ｓ１０３）と、異なる時点に撮像された複数の撮像画像のそれぞれから抽出ステップで抽出した複数の特定領域の画像を合成して合成画像を生成する合成ステップ（Ｓ１０４）とをコンピュータ装置に実行させるプログラムである。
より具体的には、図１０、図１１、又は図１２の処理をコンピュータ装置１５０のＣＰＵ１５１に実行させるプログラムである。

このようなプログラムにより本実施の形態の情報処理装置１０の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出部と、
異なる時点に取得された複数の取得画像のそれぞれから前記抽出部が抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成部と、を備えた
情報処理装置。
（２）前記抽出部は、撮像装置によって撮像された撮像画像としての取得画像内の特定領域の画像を抽出する
上記（１）に記載の情報処理装置。
（３）前記特定領域は、撮像装置の撮像素子に対する被写体光の入射角度が特定の入射角範囲である画像領域である
上記（２）に記載の情報処理装置。
（４）前記抽出部は、
撮像画像について、第１の特定領域の画像と第２の特定領域の画像を抽出する処理を行い、
前記合成部は、
異なる時点に撮像された複数の撮像画像のそれぞれから前記抽出部が抽出した複数の前記第１の特定領域の画像を合成して第１の合成画像を生成する処理と、
異なる時点に撮像された複数の撮像画像のそれぞれから前記抽出部が抽出した複数の前記第２の特定領域の画像を合成して第２の合成画像を生成する処理と、を行う
上記（２）又は（３）に記載の情報処理装置。
（５）前記抽出部は、
前記特定領域の画像として、撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を抽出する
上記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）前記抽出部は、
前記特定領域の画像として、撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸から第１の角度以上、第２の角度以下の範囲の画像領域の画像を抽出する
上記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）前記合成部は、前記抽出部が抽出した複数の前記特定領域の画像を撮像時刻順に並べてステッチ処理を行うことで合成画像を生成する
上記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）前記合成部は、ステッチ処理を行った画像について位置情報を用いた処理を行う
上記（７）に記載の情報処理装置。
（９）前記抽出部は、
第１の撮像装置で得られた各時刻の第１の撮像画像から前記特定領域の画像を抽出する処理と、
第２の撮像装置で得られた各時刻の第２の撮像画像から前記特定領域の画像を抽出する処理と、を行い、
前記合成部は、
各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、
各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を行う
上記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記抽出部は、
前記第１の撮像画像及び前記第２の撮像画像の両方について、前記特定領域の画像として、撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を抽出する
上記（９）に記載の情報処理装置。
（１１）前記抽出部は、取得画像に応じて前記特定領域を設定する
上記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）前記抽出部は、各時刻の撮像画像毎に特定の画像状態の領域を判定し、判定した領域を前記特定領域とする
上記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１３）前記抽出部は、選択情報に応じて特定領域を設定する
上記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１４）前記抽出部は、
ラインセンサ型の撮像装置で得られた各時刻の撮像画像から前記特定領域の画像を抽出する処理を行う
上記（２）乃至（１３）のいずれかに記載の情報処理装置。
（１５）前記特定領域は、撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域であり、
前記合成部が、異なる時点に撮像された複数の撮像画像のそれぞれから前記抽出部が抽出した複数の前記特定領域の画像を合成して合成画像を生成するとともに、
前記合成画像を用いて植物の植生状態の算出を行う算出部を備えた
上記（２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）前記特定領域は、撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸から第１の角度以上、第２の角度以下の範囲の画像領域であり、
前記合成部が、異なる時点に撮像された複数の撮像画像のそれぞれから前記抽出部が抽出した複数の前記特定領域の画像を合成して合成画像を生成するとともに、
前記合成画像を用いて植生指数の算出を行う算出部を備えた
上記（２）乃至（１５）のいずれかに記載の情報処理装置。
（１７）特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出手順と、
異なる時点に取得された複数の取得画像のそれぞれから前記抽出手順で抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成手順と、
を情報処理装置が実行する情報処理方法。
（１８）特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出ステップと、
異なる時点に取得された複数の取得画像のそれぞれから前記抽出ステップで抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成ステップと、
をコンピュータ装置に実行させるプログラム。

１…抽出部、２…合成部、３…算出部、１０…情報処理装置、２０，２０Ａ，２０Ｂ，２０ＡＬ，２０ＢＬ…カメラユニット、４４…イメージセンサ、４５…信号処理部、５１…信号処理装置、６４…サーバ、１００…圃場、１５０…コンピュータ装置、３００…飛行体

Claims (9)

1. 特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出部と、
   異なる時点に取得された複数の取得画像のそれぞれから前記抽出部が抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成部と、
   前記合成画像を用いて植物の植生状態及び植生指数の算出を行う算出部と、
   を備え、
   前記抽出部は、
   撮像方向を真下とする第１の撮像装置で得られた各時刻の第１の撮像画像から、前記第１の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、
   撮像方向を斜め下方とする第２の撮像装置で得られた各時刻の第２の撮像画像から、前記第２の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、を行い、
   前記合成部は、
   各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、
   各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を行い、
   前記算出部は、
   前記第１の合成画像を用いて植物の植生状態の算出を行い、前記第２の合成画像を用いて植生指数の算出を行う
   情報処理装置。
2. 前記合成部は、前記抽出部が抽出した複数の前記特定領域の画像を撮像時刻順に並べてステッチ処理を行うことで合成画像を生成する
   請求項１に記載の情報処理装置。
3. 前記合成部は、ステッチ処理を行った画像について位置情報を用いた処理を行う
   請求項２に記載の情報処理装置。
4. 前記抽出部は、取得画像に応じて前記特定領域を設定する
   請求項１に記載の情報処理装置。
5. 前記抽出部は、各時刻の撮像画像毎に特定の画像状態の領域を判定し、判定した領域を前記特定領域とする
   請求項１に記載の情報処理装置。
6. 前記抽出部は、選択情報に応じて特定領域を設定する
   請求項１に記載の情報処理装置。
7. 前記抽出部は、
   ラインセンサ型の撮像装置で得られた各時刻の撮像画像から前記特定領域の画像を抽出する処理を行う
   請求項１に記載の情報処理装置。
8. 特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出手順と、
   異なる時点に取得された複数の取得画像のそれぞれから前記抽出手順で抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成手順と、
   前記合成画像を用いて植物の植生状態及び植生指数の算出を行う算出手順と、
   を情報処理装置が実行し、
   前記抽出手順では、
   撮像方向を真下とする第１の撮像装置で得られた各時刻の第１の撮像画像から、前記第１の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、
   撮像方向を斜め下方とする第２の撮像装置で得られた各時刻の第２の撮像画像から、前記第２の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、を実行し、
   前記合成手順では、
   各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、
   各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を実行し、
   前記算出手順では、
   前記第１の合成画像を用いて植物の植生状態の算出を行い、前記第２の合成画像を用いて植生指数の算出を行う処理を実行する
   情報処理方法。
9. 特定波長領域の情報を有する取得画像内の特定領域の画像を抽出する抽出ステップと、
   異なる時点に取得された複数の取得画像のそれぞれから前記抽出ステップで抽出した複数の前記特定領域の画像を合成して合成画像を生成する合成ステップと、
   前記合成画像を用いて植物の植生状態及び植生指数の算出を行う算出ステップと、
   をコンピュータ装置に実行させ、
   前記抽出ステップでは、
   撮像方向を真下とする第１の撮像装置で得られた各時刻の第１の撮像画像から、前記第１の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、
   撮像方向を斜め下方とする第２の撮像装置で得られた各時刻の第２の撮像画像から、前記第２の撮像装置の撮像素子に対する被写体光の入射角度がレンズ系光軸を中心として所定角度内となる範囲の画像領域の画像を前記特定領域の画像として抽出する処理と、を実行させ、
   前記合成ステップでは、
   各時刻の前記第１の撮像画像から抽出された前記特定領域の画像を合成して第１の合成画像を生成する処理と、
   各時刻の前記第２の撮像画像から抽出された前記特定領域の画像を合成して第２の合成画像を生成する処理と、を実行させ、
   前記算出ステップでは、
   前記第１の合成画像を用いて植物の植生状態の算出を行い、前記第２の合成画像を用いて植生指数の算出を行う処理を実行させる
   プログラム。

Images