JP6365668B2 - 情報処理装置、機器、情報処理システム、制御信号の生産方法、プログラム - Google Patents

Description

本発明は、情報処理装置、制御信号の生産方法、情報処理システム及びプログラムに関する。

近年、ＩＴ（情報管理技術）の進展に伴い、農業分野へもＩＴ技術が応用されてきている。例えば、施設園芸においては、植物工場という名で知られているが、植物を栽培する環境を管理して植物の栽培に適した状態となるように植物を栽培する環境を制御することにより、植物の生産性を高めることが検討されている。

植物工場において、植物を栽培する環境を制御する植物栽培システムは、栽培作業による負荷を低減して植物の供給を安定化することにより、植物の生産性を向上させる可能性があるものとして注目されている（例えば、特許文献１、特許文献２参照）。

特許文献１には、定点に配置されたカメラにより得られた植物の画像に基づいた情報と、標準的な植物の特徴を示す情報（標準データ）との類似性を判定することが記載されている。特許文献２には、カメラにより得られた画像から検出した植物の成長度合いを管理することが記載されている。

しかしながら、植物栽培システムにより植物を栽培する環境を制御して植物の生産性を高めるためには、植物の生産性に関する情報を効率良く収集することが不可欠である。しかし、特許文献１及び２に記載されたような技術では、植物自体の直接的な情報としては、カメラの輝度情報のみしか取得できておらず、植物の生産性に関する情報を効率的に収集できているとは言い難かった。

実開平５−１７５０５号公報 特開２０１３−５７２５号公報

このような問題に鑑み、本発明は、システム全体の効率化をはかり、植物のような対象の生産性の向上に寄与する情報処理装置、機械、制御信号の生産方法、情報処理システム及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明は、情報を処理して機器を制御する制御信号を生成する情報処理装置であって、撮像手段により撮像された特定の被写体の画像情報から生成される前記被写体の状態を示す第１の被写体状態情報を取得する取得手段と、 取得された前記第１の被写体状態情報に基づいて前記制御信号を生成する生成手段と、を有し、前記取得手段は、外部から所定の対象の動向を予測する予測情報を取得し、前記生成手段は、前記制御信号による植物の成長促進又は成長抑制の制御が行われない場合に前記予測情報に基づく前記機器を制御する制御信号を生成することを特徴とする。

本発明によればシステム全体の効率化をはかることができる。

発明の一実施形態における植物栽培システムのシステム構成を模式的に示す図である。 発明の一実施形態における全体的な制御を司るサーバ装置を含む情報通信システム構成を模式的に示す図である。 発明の一実施形態における機械の一例である作業機械を示す図である。 発明の一実施形態におけるセンサ装置の一種であるステレオカメラ装置の外観を示す図である。 発明の一実施形態におけるステレオカメラ装置の構成を示す図である。 発明の一実施形態におけるステレオカメラ装置に搭載されるＦＰＧＡの機能を機能ブロック図で示したものである。 発明の一実施形態におけるステレオカメラ装置で測距を行うための原理を説明する模式図である。 発明の一実施形態におけるステレオカメラ装置より検出できる画像を示す図である。 発明の一実施形態における、図８Ａの基準画像に対するブロックマッチング法による視差画像を示す概念図である。 発明の一実施形態における、図８Ａの基準画像に対するＳＧＭ法による視差画像を示す概念図である。 発明の一実施形態におけるステレオカメラ装置の基準画像における基準画素を示す概念図である。 発明の一実施形態におけるステレオカメラ装置により、基準画像のある領域（所定の基準画素）に対する比較画像の指定範囲におけるコスト（一致度または非類似度、類似度）を検出する過程を説明する図である。 発明の一実施形態におけるステレオカメラ装置で取得したずれ量とコスト値との関係を示す図である。 発明の一実施形態におけるステレオカメラ装置でコストを合成する過程を模式的に表現した図である。 発明の一実施形態におけるステレオカメラ装置でずれ量と合成したコスト値との関係を示す図である。 発明の一実施形態における偏光カメラ装置の外観を示す図である。 発明の一実施形態における偏光カメラ装置の構成を示す図である。 発明の一実施形態における偏光カメラ装置に搭載されたフィルタの正面図である。 発明の一実施形態における偏光カメラ装置に搭載されたフィルタと画素の対応を説明する図である。 発明の一実施形態におけるマルチスペクトルカメラ装置（測色カメラ装置）の外観を示す図である。 発明の一実施形態におけるマルチスペクトルカメラ装置（測色カメラ装置）の構成を示す図である（正面図）。 発明の一実施形態におけるマルチスペクトルカメラ装置（測色カメラ装置）の構成を示す図である（側面から見た断面図）。 発明の一実施形態におけるマルチスペクトルカメラ装置に搭載可能なフィルタと絞りを示す図である。 発明の一実施形態におけるマルチスペクトルカメラ装置の撮像画像を示す図である。 発明の一実施形態におけるマルチスペクトルカメラ装置の撮像画像におけるマクロピクセルの拡大図である。 発明の一実施形態におけるマルチスペクトルカメラ装置で測定できる波長と分光反射率の関係を示す図である。 発明の一実施形態におけるマルチスペクトルカメラ装置に搭載可能な他のフィルタと絞りの例である。 発明の一実施形態におけるマルチスペクトルカメラ装置に搭載可能な他のフィルタと絞りの例である。 植物の葉に対する典型的な分光反射スペクトルを示す図である。植物活性度の高い正常な葉及び植物活性度が低く枯れている葉、水ストレスをかけた葉の波長と分光反射率の様子が示されている。 発明の一実施形態における環境情報取得ユニット５００を示す概念図である。 発明の一実施形態における環境調整ユニット６００を示す概念図である。 発明の一実施形態における収穫時期予測処理を示すフローチャートである。 発明の一実施形態における収穫時期予測処理の他の例を示すフローチャートである。 発明の一実施形態における収穫時期調整処理を示すフローチャートである。 発明の一実施形態における害虫駆除処理を示すフローチャートである。 発明の一実施形態における補助光源照明処理を示すフローチャートである。 発明の一実施形態における収穫処理を示すフローチャートである。 ＰＲＩを説明するための図の一例である。 水ストレスとＰＲＩの対応関係を表すデータを植物栽培システムが取得する処理のフローチャート図の一例である。 水ストレスの程度とＰＲＩの関係の概念的な図の一例である。 育成月数と好ましいＰＲＩの関係の概念的な図の一例である。 植物栽培システムが灌漑制御を行う手順を示すフローチャート図の一例である。

１ ：植物栽培システム
１０ ：植物栽培施設
１００ ：作業機械
１０６ ：収穫装置
１０８ ：収穫バサミ
１１０ ：把持アーム
１１２ ：収穫ボックス
１１８ ：制御装置
４００ ：植物情報取得ユニット
４１０ ：ステレオカメラ装置
４３０ ：偏光カメラ装置
４５０ ：マルチスペクトルカメラ装置
５００ ：環境情報取得ユニット
６００ ：環境調整ユニット
７０４ ：サーバ
７０６、７０８ ：データベース
７１０、７１２ ：ユーザ端末
１５０１ ：システム
１５０２ ：情報通信システム
５００２ ：温度センサ
５００４ ：湿度センサ
５００６ ：照度センサ
５００８ ：風速センサ
５０１０ ：ＣＯ２濃度センサ
５０１２ ：水分センサ
５０１４ ：養分センサ
６００２ ：温度調整手段
６００４ ：湿度調整手段
６００６ ：照度調整手段
６００８ ：風速調整手段
６０１０ ：ＣＯ２濃度調整手段
６０１２ ：水分調整手段
６０１４ ：養分調整手段

以下、図１から図３１を用いて、本発明の実施形態について説明する。本実施の形態は、移動しながら作業を行ったり、移動した後に作業を行ったりする作業機械や建設機械等の走行機械、飛行機械、船舶、潜水機械、ロボット等の移動体自体と、それらの移動体に対して直接または間接的に制御を行い、所望の作業を実行するためのシステムについての一例を示すものである。本実施形態は上記のとおりさまざまな移動体に適用できるが、ここでは移動と作業の内容が直感的に分かりやすい作業機械を対象として基本的な構成や動作の説明を行う。

〔全体システムの概要〕
図１と図２を用いて、本実施形態における全体のシステムの概略を説明する。

＜植物栽培システムの構成＞
植物工場において植物の生産性を向上させることが課題となっており、本実施形態においては、上記課題を種々のカメラ装置を利用して解決する。なお、植物工場には、太陽光のみあるいは太陽光とＬＥＤ等の人工光を併用する太陽光利用型と太陽光を一切使わない完全制御型が存在するが、本実施形態では、太陽光と人工光を併用する太陽光利用型の植物工場を例にとって説明する。図１に本実施形態が適用される植物栽培システム１の構成を示す。図１における植物栽培システム１は、植物栽培施設１０内に、植物情報取得ユニット４００を備える作業機械１００と、環境情報取得ユニット５００と、環境調整ユニット６００と、を有する。それぞれの機械、装置の構成や動作は、後ほど詳細に説明が行われる。植物栽培施設１０内には、上下６段の棚にわたって敷き詰められた植物が存在し、各植物はいくつかのグループにまとめられたうえで、各グループごとに植物管理ＩＤが付されて管理されている。

図中の破線は、無線通信による情報の送受信を示しており、各ユニットは無線通信ネットワークを構築する。この無線通信は、図２で示す情報通信システム１５０２の無線アクセスポイント７００に接続される。このように各ユニットは連携して動作を行うことにより、効率良く情報の伝達を行うことができる。これらの無線通信を使った植物栽培システム１の動作は、後ほど詳細に説明される。

なお、図１は屋内の植物工場としての植物栽培システム１を示しているが、これに限られず、屋外の、例えば圃場のようなものも本実施形態に含まれる。

この植物工場の植物栽培施設１０におけるシステム１５０１と次に説明する情報通信システム１５０２とによって本実施形態における植物栽培システム１が構築される。
なお、図面の符号（図面内の番号）の後ろにつけられるアルファベットＡ、Ｂ、Ｃなどはその符号で示される装置や機械、部品等において、基本的な機能は同じであるが、異なる機能を有する場合に、それらを区別するためにつけられる。実施形態の説明において、これらの区別が不要な場合は、アルファベットは省略して説明を行う。この場合、アルファベットを有するすべての機械や装置がその説明の対象となる。

また、符号の後ろにハイフンと数字で示すものは、基本的に符号のみのものと同一または類似する機能を果たすが、構成が異なることを示す。今後の説明において、意識して区別していない場合は、符号の後ろのハイフンと数字は省略して説明を行う。この場合、符号のみのものと符号の後ろにハイフンと数字を有するすべての機械や装置がその説明の対象となる。

さらに、以後の説明で「ユーザ端末７１０、７１２」のように符号間に読点つけて連続で表現する場合には、基本的に「ある符合または／及び別の符号」または「すべての符号のうち少なくとも一つ」という意味である。上記の例だと、「ユーザ端末７１０または／及び７１２」または「ユーザ端末７１０と７１２のうち少なくとも一つ」である。

＜情報通信システム構成＞
図２は、本実施形態が適用される情報通信システム１５０２の構成を示す。情報通信システム１５０２は、無線アクセスポイント７００、インターネット７０２、サーバ７０４、データベース７０６、データベース７０８、ユーザ端末７１０、ユーザ端末７１２を含んでいる。

無線アクセスポイント７００、サーバ７０４、データベース７０６、７０８は、有線によってインターネット７０２に接続されているが、これに限られず無線接続でもよい。また、ユーザ端末７１０、７１２は、有線または無線によりインターネット７０２に直接接続されてもよいし、無線アクセスポイント７００やその他の中継器を介して接続されていてもよい。

無線アクセスポイント７００は、屋内用の無線ＬＡＮアクセスポイントであり、指向性アンテナ７０１を備えている。特定の方向から情報が通信されない場合には指向性アンテナ７０１には無指向性アンテナが使用されてもよい。また、無線アクセスポイント７００は、ルータタイプであって、ルーティング機能やネットワークアドレス変換（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ：ＮＡＴ）機能を有する。ルーティング機能により、ＴＣＰ／ＩＰネットワークにおいて、目的ホストまでのパケット送信時に、最適な経路を選択して送信することができる。また、ＮＡＴ機能により、２つのＴＣＰ／ＩＰネットワークの境界にあるルータやゲートウェイが、双方のＩＰアドレスを自動的に変換してデータを転送することができる。これらの機能によって、サーバ７０４などとの間で効率的な情報通信を行うことができる。

無線規格は、標準規格であるＩＥＥＥ８０２．１１シリーズに準拠しているものを使用するが、それに限られない。たとえば、移動体通信システムで使用される、Ｗ−ＣＤＭＡ（ＵＭＴＳ）方式やＣＤＭＡ２０００ １Ｘ方式、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）方式などであってもよい。

サーバ７０４は、ＣＰＵ（Central Processing Unit）７０４１、ＲＯＭ（Read Only Memory）７０４４、ＲＡＭ（Random Access Memory）７０４２、ソリッドステートドライブ（Solid State Drive：ＳＳＤ）７０４３、Ｉ／Ｆ（Interface）７０４５を含む。なお、ＳＳＤに加えて、またはＳＳＤに代えてハードディスクを備えていてもよい。ＣＰＵ７０４１は、サーバ７０４においてプログラムを実行する主体である。ＲＯＭ７０４４には、電源投入直後にＣＰＵ７０４１が処理すべき内容や最小限必要な命令群が記録されている。ＲＡＭ７０４２は、ＣＰＵ７０４１が処理するデータの一時保管のためのメモリである。このサーバ７０４は、作業機械１００や植物情報取得ユニット４００、環境情報取得ユニット５００、環境調整ユニット６００の制御を行う制御装置として機能する。

サーバ７０４は、無線アクセスポイント７００を介して、図１に示す植物工場の作業機械１００、環境情報取得ユニット５００、環境調整ユニット６００などと情報通信を行う。また、サーバ７０４は、データベース７０６、７０８、ユーザ端末７１０、７１２とも情報通信を行う。このサーバ７０４が実行する動作については後述する。サーバ７０４が実行する動作は、ＳＳＤに格納されたプログラムがＣＰＵによってＲＡＭに読み出され、ＲＡＭに読み出されたデータに基づいてＣＰＵにより実行される。なお、ＳＳＤに格納されたプログラムは、更新可能となっている。また、プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＳＤカード、ＵＳＢメモリなどの携帯可能な記録媒体に格納されていてもよく、その場合、それらの媒体からサーバ７０４が読み出してプログラムが実行される。また、サーバ７０４はインタフェースを介してインターネット７０２に接続される。

無線アクセスポイント７００は、サーバ７０４が作業機械１００等から情報を取得する取得手段として機能する。また、ＣＰＵやＲＯＭ、ＲＡＭは、作業機械１００等の制御を行うための制御信号を生成する生成手段として機能する。

ここで、本実施形態の植物栽培システム１は無線通信により情報のやりとりが行われるため、その情報を正確に送受するとともに、その送受信される情報に対するセキュリティを確保しなければならないという課題がある。このため、サーバ７０４は、作業機械１００やユーザ端末７１０、７１２等から取得した位置情報から、その作業機械１００やユーザ端末７１０、７１２等が植物工場や情報通信関連施設など特定の領域内に位置するか否かを判断する。特定の領域に位置する場合には、その作業機械１００やユーザ端末７１０、７１２等と認証処理を行い、認証に成功した場合にだけ、本実施形態の植物栽培システム１を適用する。すなわち、情報通信システム１５０２で通信される情報は暗号化されており、認証が成功した場合にだけ、復号のための鍵が付与され、意味のある情報通信が可能となる。一方、認証に失敗した場合には、情報の復号化ができないため、意味のある情報通信が行えず、情報通信システム１５０２が利用できなくなる。このようにして、情報通信システム１５０２の安全性を高めている。また、仮に作業機械１００が盗難にあった場合であっても、認証ができない場合には、その作業機械１００の使用ができないようにすれば、盗難防止に役立つ。なお、情報通信システム１５０２を利用するための機器が特定の領域内に位置するか否かを問わず、認証処理を行うものであってもよい。認証は本実施形態のように使用者のユーザＩＤ入力やパスワード入力によって行われてもよいし、各ユニット、または各ユニットを構成する装置が有する固有ＩＤを使って行ってもよい。また、安全性を考慮しない場合には、認証や暗号化、復号化の処理は不要である。

また、情報通信システム１５０２を含む植物栽培システム１を利用者（ユーザ）に提供する場合に、植物栽培システム１の利用について正確かつ容易に把握し、効率的に利用者に植物栽培システム１の利用料等を請求できるようにすることが望まれる。このため、サーバ７０４は、後述の課金処理（請求書発行）も行う。このようにサーバ７０４では多くの処理を行うため、ハイパフォーマンスでロバストなコンピュータが使用される。ただし、これまで説明した、または今後説明するサーバ７０４で行う処理を複数のサーバ（コンピュータ）が分担して行ってもよい。たとえば、植物栽培システム１の管理用のサーバ、認識・分析用サーバ、課金管理用サーバなどに分けて処理を行うこともできる。

またさらに、植物栽培システム１のようにシステムは複数の構成要素が連動して動作することにより成り立つため、植物栽培システム１内における構成要素の障害に対して素早く対処することが課題となる。この課題に対応するため、サーバ７０４は、作業機械１００等の各ユニットに故障等の障害が発生しないか監視する。障害を検知した場合には、サーバ７０４は、植物栽培システム１の提供者または植物栽培システム１によるサービス提供者及びユーザ端末７１０、７１２に自動的に通知するようになっている。なお、作業機械１００等が故障等の障害を検知した場合に、サーバ７０４からのクエリを待たずにサーバ７０４に通知してもよい。このように、植物栽培システム１は障害対応を行えるので、植物栽培システム１で不具合が生じた場合にサービス提供者等は早急に事態を把握でき、対応を行うことができる。

植物栽培システム１では、各種処理のために植物の認識を正確に行うことが課題の一つとなっている。そこで、この認識処理を正確に、迅速に行うためにデータベース７０６は、各種のデータを保管する。サーバ７０４は、このデータベース７０６に保管されているデータを使って、後述の認識処理を行う。データベース７０６に格納されるデータは、主として、画像データ（認識処理に使う標準パターンなど）とその画像データの属性や種類及びその種類に対応する作業機械１００の対応を示す情報である。画像データと属性や種類を示すデータ等は関連付けられた状態で保管される。なお、データベース７０６は、インターネット７０２を介して情報を提供するコンテンツデータを格納するものであってもよい。この場合も画像データとその属性や種類を示すデータ等は関連づけられている。このようなデータを蓄積すればするほど精度の高い認識処理を行うことができるようになる。

上記の認識処理に加え、植物工場における作業情報や作業対象である植物の状態などを蓄積し、上記の課金処理や将来の作業を効率的に行えるようにすることも重要である。このため、データベース７０８は、主として作業機械１００、環境情報取得ユニット５００など植物工場から送信される情報を格納するための保管場所である。たとえば、作業の開始時間、中断時間、終了時間や、作業が必要な場所の情報、肥料を与えた場所などの作業位置及び年月日時間、後述の正規化植生指数ＮＤＶＩ、害虫情報などである。このような情報をデータベース化して蓄積し、蓄積したデータを分析し、活用することで、将来の営農の効率化を図ることができる。すなわち、サーバ７０４等が蓄積した情報を分析して、植物の育成状況や出荷時期などに特定の傾向を導出し、その傾向に基づいて、たとえば、肥料をどの程度施せば、狙っている品質の植物や所望の時期に植物を得ることができるか等を割り出すことができる。とくに正規化植生指数ＮＤＶＩの値によって収穫時期を予期できるようになるので、植物工場で育成される植物から多くの情報を蓄積することが望ましい。

またさらに、作物の販売価格は需要と供給の関係により決定されるため、需要が高いタイミングでその作物を出荷することが望まれる。そこでデータベース７０８は市場からの出荷情報や在庫情報も記憶する。たとえば、出荷される植物（の包装）に対して無線タグやバーコードなどの識別可能な情報を付与する。出荷から市場に出回るまで移動や保管を行うタイミングで識別情報から作物の種類を取得し、逐次、データベース７０８に識別された情報や識別場所、識別時間などの情報を保管する。なお、識別された情報の取得は、無線タグ読み取り装置やバーコードリーダーなどを有するシステムにおいてなされ、識別時間情報や識別場所情報等の植物の追跡に必要な情報とともにインターネット７０２を経由してデータベース７０８に保管される。これにより本実施形態におけるユーザ（ユーザ端末７１０、７１２を使用）やサーバ７０４は植物の移動を追跡することができ、植物の需要の状況を判断できる。すなわち、消費者が好む植物は在庫が少ない、あるいは移動が早いので、サーバ７０４は（あるいはユーザがユーザ端末７１０、７１２を介して）データベース７０８に保管された情報を分析し、そのような植物を特定できる。そして、サーバ７０４は、このような消費者が好む植物については早く出荷できるように、環境調整ユニット６００などを制御してその施設内の環境の制御、すなわち肥料や水遣り、二酸化炭素の供給を行うなどして植物の生長を促進し、早期に収穫を行うことを可能とする。

また植物の収穫時期や収穫量を予測できるとシステム利用者（ユーザ）により大きな価値を提供できることになる。これを実現するため、サーバ７０４は、ユーザ端末７１０、７１２からの指示に応じて、後述する植物活性度（指標の１つである正規化植生指数ＮＤＶＩ）や水ストレスの度合いや散水や施肥の程度、日照時間、気温、湿度などの作物が実際に育成された条件（育成条件）とそれらの条件下での植物の育成度合い、収穫時期、収穫量などを使って多変量解析、分析を行うことができる。これらのデータが蓄積されればされるほど、高精度のアウトプット（収穫時期や収穫量）予測を行うことができる。なお、上記の育成条件は、植物工場にある作業機械１００等の各ユニットやインターネットを介して提供される環境に関するコンテンツ情報（天候情報など）、ユーザによる入力などのいずれかまたはそれらの組み合わせによって、サーバ７０４が取得することになる。なお、予測されたアウトプットは、例えば、ユーザ端末７１０、７１２に送信され、表示が行われる。また、このアウトプットの予測情報はインターネットなどの電気通信回線を通して、またはその予測情報を記録した記録媒体の提供を通じて他のユーザや顧客に対して独立して販売することができる情報財（Ｉｎｆｏｒｍａｔｉｏｎ Ｇｏｏｄｓ）でもある。

なお、データベース７０６、７０８は、サーバ７０４と別の構成として説明したが、データベース７０６、７０８の少なくとも一つをサーバ７０４内に存在させてもよい。この場合、ＳＳＤの領域を分割して、それぞれのデータベースを構成するようにしてもよい。またはデータベース７０６、データベース７０８の少なくとも一つを、インターネット７０２を介さずにサーバ７０４に有線または無線で接続してもよい。このようにすることで、インターネットを介しての通信を行わなくて良いので、データベースにアクセスする必要がある処理の迅速化を図ることができる。

ユーザ端末７１０は、タブレットタイプのコンピュータである。また、ユーザ端末７１２は、スマートフォン等のように使用する場所を選ばないモバイルタイプのコンピュータである。なお、ユーザ端末７１０や７１２は、タブレットタイプのコンピュータやモバイルタイプのコンピュータに限られず、デスクトップタイプのコンピュータや何かに組み込まれた組み込み式のコンピュータ、あるいは腕時計や眼鏡などウェアラブルタイプのコンピュータであってもよい。

これらのユーザ端末７１０、７１２は、各ユニットからの通知や情報を、サーバ７０４経由で取得することができる。たとえば、ユーザ端末７１０、７１２では、作業機械１００で取得した画像を表示することができる。サーバ７０４はこれらユーザ端末７１０、７１２と各ユニットとの間での情報のやり取りをモニタリングし、それらをデータベース７０６やデータベース７０８に記録する。なお、サーバ７０４でのモニタリングを行わない場合には、ユーザ端末７１０、７１２は、サーバ７０４を介さずに直接各ユニットと情報通信を行うことができる。

なお、本実施形態の情報通信システム１５０２はインターネット７０２経由で情報のやりとりを行う、いわゆるクラウドタイプのシステムであるが、これに限られず、たとえば、ユーザの施設内などに専用通信網を構築し、その専用通信網だけ、あるいはその専用通信網とインターネットの組み合わせにより情報のやりとりをおこなうものであってもよい。これにより、高速な情報伝達を行うことが可能となる。また、サーバ７０４の機能やそれが行う処理を作業機械１００、あるいはユニットを構成する各装置が備えていてもよい。これによってさらに作業機械１００が取得する画像データの処理速度を速めることができる。

なお、本実施形態の植物栽培システム１は図１に示すような植物工場におけるシステム１５０１と図２に示すような情報通信システム１５０２で構成されるが、上述の情報通信システム１５０２におけるサーバ７０４やデータベース７０６、７０８を植物工場におけるシステム１５０１における作業機械１００等の各ユニットに組み込むこともできる。

〔各ユニットの説明〕
続いて図３から図３１を使って、本実施形態における作業機械、作業機械に備え付けられるユニット、各種センサ装置、及び、植物工場内に設置される装置について説明する。

＜作業機械＞
植物栽培システム１の構成要素の一つである作業機械は、効率的な作業を実現するために、サーバ７０４からの指示あるいは自律走行に基づいて自動で走行し、自動で作業対象である植物などに対して作業を行うことができるものである。図３は主として作業機械１００の外観を示す図である。なお、他の図面において同じ符号がつけられている場合には、同様の機能を発揮するので説明を省略する場合がある。

作業機械１００は、駆動部１０２、収穫装置１０６、ステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０、無線通信用アンテナ１１４、制御装置１１８、及び、一組の前輪１２８と後輪１３０を備えている。ステレオカメラ装置４１０、偏光カメラ装置４３０及びマルチスペクトルカメラ装置４５０は、植物情報取得ユニット４００として構成される。

駆動部１０２は、作業機械１００の内部にあり、後輪１３０を駆動することにより作業機械１００を移動させる。

収穫装置１０６は、収穫バサミ１０８、把持アーム１１０及び収穫ボックス１１２を備え、不図示のモータや油圧シリンダ等により収穫バサミ１０８及び把持アーム１１０を上下移動及び開閉駆動させ、収穫ボックス１１２を上下左右移動させる。そして、ステレオカメラ装置４１０が取得する距離情報を用い、収穫作業を行う。収穫バサミ１０８は、制御装置１１８からの制御指示に基づいて対象部分を切断する。把持アーム１１０は、制御装置１１８からの制御指示に基づいて、収穫バサミ１０８が切断する部分を把持する。収穫ボックス１１２は、底部が開閉可能な箱形の部材であり、収穫バサミ１０８により切断された対象物を一時的に収容し、収容した対象物が所定量溜まった際に底部を開けることにより不図示のベルトコンベア上に対象物を載置させる。

ステレオカメラ装置４１０は、２つの光学系と撮像素子を備え、主として測距のためのステレオ画像を取得するための撮像センサ装置である。このステレオカメラ装置４１０は、測定対象までの距離や対象の大きさを検知したりするのに使われる装置であり、作業機械１００の作業、特に収穫作業に大きな役割を果たすものである。このステレオカメラ装置４１０は作業機械１００の先頭近傍に、鉛直軸に対して回転可能に設置される。ステレオカメラ装置４１０の回転は手動または制御装置１１８からの制御により行う。先頭付近に設置することで、前方の画像を取得しやすく、測距精度も高められる。なお、設置位置は先頭近傍に限られず、たとえば、無線通信用アンテナ１１４が設置されている作業機械１００上部のように作業機械１００の周囲を見渡しやすい箇所に設置してもよい。また、ステレオカメラ装置４１０が上下移動できるように鉛直軸が可動に構成されていても良い。これにより、上限段に敷き詰められる植物をくまなく撮影することが可能となる。また、作業機械１００の左右において植物を効率良く把握するため、作業機械１００両側面など複数設置してもよい。また、本実施形態のように回転は一軸だけの回転に限られず、所望の位置、角度の画像を得ることができるように複数軸に対して回転できるものであってもよい。この場合も手動または制御装置１１８による制御で回転することができる。このステレオカメラ装置４１０の構成等は後に詳細に説明される。偏光カメラ装置４３０は物体からの偏光情報を取得する撮像センサ装置であり、害虫発生状況等を取得することができる。すなわち、ナミハダニ等の色が薄く通常の輝度画像等では認識し難い害虫であっても、偏光情報によるハイコントラストな画像によって認識することができる。この偏光カメラ装置４３０は鉛直軸に対して回転可能に設置されている。また、本実施形態のように回転は一軸だけの回転に限られず、所望の位置、角度の画像を得ることができるように複数軸に対して回転できるものであってもよい。これらの回転動作は手動または制御装置１１８からの制御により行う。

マルチスペクトルカメラ装置４５０は物体からの分光情報を取得する撮像センサ装置であり、農作物生育状況等を取得することができる。このマルチスペクトルカメラ装置４５０は鉛直軸に対して回転可能に設置されている。マルチスペクトルカメラ装置４５０は後述するように複数のＬＥＤを備えており、ＬＥＤから所望の波長の光を出射して、その反射率を撮像画像という面で把握することができるので、農作物の正確な生育状況を観測することができる。また、本実施形態のように回転は一軸だけの回転に限られず、所望の位置、角度の画像を得ることができるように複数軸に対して回転できるものであってもよい。これらの回転動作は手動または制御装置１１８からの制御により行う。無線通信用アンテナ１１４は、他の作業機械１００やその他各ユニット、無線アクセスポイント７００などと無線通信で情報を送受信するためのアンテナである。無線信号を受信しやすいよう作業機械１００の上部に取り付けられている。この無線通信用アンテナ１１４は無線の中継も行うことができる。

制御装置１１８は、駆動部１０２、収穫装置１０６、ステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０、及び、無線通信用アンテナ１１４等と情報のやり取りを行い、作業機械１００の制御を行う。この制御装置１１８は、作業機械１００の内部に設置されている。制御装置１１８は、無線通信用アンテナ１１４を介してサーバ７０４やユーザ端末７１０、７１２と通信することができる。なお、制御装置１１８は、ＣＰＵやＲＡＭ、ＲＯＭ、メモリ等から構成されており、メモリに格納されたプログラムに基づいてＣＰＵが制御処理を実行する。

前輪１２８は、作業機械１００の移動や旋回動作を行うためのものである。後輪１３０は、駆動部１０２によって動力が伝達される箇所で、これらが回転することで作業機械１００が動くことになる。

なお、本実施形態における作業機械１００は、作業機械１００の外から情報を取得するためのセンサ装置として、ステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０を備えるが、すべて備えていなければならないわけではなく、取得したい情報に応じて使用するセンサ装置を設置すればよい。また、当然、これらのセンサ装置以外のセンサ、たとえば、赤外線センサや温度センサ、湿度センサなどを備えていてもよい。それらのセンサで取得した情報は、サーバ７０４に送信される。サーバ７０４は、データベース７０８にそれらの情報を保管し、収穫時期などの予測に利用する。

＜ステレオカメラ装置＞
Ａ．ステレオカメラ装置の構成
図４は、ステレオカメラ装置４１０の外観を示す。ステレオカメラ装置４１０はある領域を撮像して、作業機械１００の制御装置１１８やサーバ７０４、ユーザ端末７１０、７１２に伝達可能な画像データを生成するのに加え、撮像した画像内の各地点におけるステレオカメラ装置４１０からの距離情報（または視差情報）を取得するものである。もちろん、距離情報（または視差情報）も制御装置１１８等に伝達可能である。このステレオカメラ装置４１０は、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を応用した測距を行うことができる。ステレオカメラ装置４１０は、本体部２と、本体部２に設けられた一対の円筒状の撮像装置１０ａ及び撮像装置１０ｂとを備えている。なお、このステレオカメラ装置４１０は、回転軸を有する柱によって作業機械１００に回転可能に取り付けられる。この回転動作は手動または制御装置１１８からの制御により行う。

図５は、ステレオカメラ装置４１０の全体のハードウェア構成を示す。図５に示されているように、ステレオカメラ装置４１０は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を備えている。

このうち、撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを備えている。撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）によって実現される。なお、撮像装置１０ｂは撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂは、それぞれのレンズ光軸が互いに平行になるように設置されている。

なお、絞り１２ｂ、及び画像センサ１３ｂはそれぞれ絞り１２ａ、及び画像センサ１３ａと同じ構成であるため、それらについての説明は省略する。

また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ（Correlated Double Sampling）２１ａ、ＡＧＣ（Automatic Gain Control）２２ａ、ＡＤＣ（Analog Digital Converter）２３ａ、及びフレームメモリ２４ａを備えている。ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データ（基準画像）を記憶する。

同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。ただし、フレームメモリ２４ｂは比較画像を記憶する。

さらに、画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ（Field Programmable Gate Array）３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５及び上記ＦＰＧＡ３１〜Ｉ／Ｆ３５等の各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。

このうち、ＦＰＧＡ３１は、製造後に購入者や設計者が構成を設定できる集積回路であり、ここでは、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、ステレオカメラ装置４１０の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、作業機械１００の制御装置１１８と接続するためのインタフェースである。

なお、上記の画像処理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭやＳＤカード等である。

次に、図６は、ステレオカメラ装置４１０の主要部のハードウェア構成を示す。ＦＰＧＡ３１は、図６に示されているように、コスト（一致度または非類似度、類似度）算出部３１０、コスト合成部３２０、視差値導出部３３０を備えている。これらは、ＦＰＧＡの回路の一部であるが、ＲＯＭ３３に格納された画像処理用プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。

このうち、コスト算出部３１０は、基準画像Ｉａ内の基準画素の輝度値と、基準画素に対する比較画像Ｉｂ内におけるエピポーラ線上の複数の対応画素の候補の各輝度値とに基づいて、基準画素に対する各対応画素の候補のコスト値Ｃを算出する。
コスト合成部３２０は、コスト算出部３１０による一の基準画素に対する各対応画素の候補のコスト値と、コスト算出部３１０による他の基準画素に対する各対応画素の候補のコスト値とを合成し、合成コスト値Ｌｓを出力する。なお、この合成の処理は、後述の（式３）に基づいてコスト値Ｃから経路コスト値Ｌｒを算出した後、さらに、後述の（式４）に基づいて各放射線における経路コスト値Ｌｒを加算して、最終的に合成コスト値Ｌｓを算出する処理である。

視差値導出部３３０は、一の基準画素の基準画像における位置と、コスト合成部３２０による合成後の合成コスト値Ｌｓが最小となる対応画素の比較画像における位置とに基づいて視差値Δを導出し、各画素における視差値を示す視差画像Ｉｃを出力する。ここで得られた視差値Δと、撮像レンズ１１ａと撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂを用いて、後述の（式２）から距離Ｚを算出することができる。この距離Ｚを求める処理は視差値導出部３３０で行ってもよいし、ＣＰＵ３２またはサーバ７０４で行ってもよい。このようにしてステレオカメラ装置４１０は撮像した画像に対する視差を利用して撮像した画像の各地点までの距離情報（または視差情報）を得ることができる。なお、視差値を求める以外の画像処理や画像認識においては基準画像または比較画像のいずれか一方（すなわち、通常の単眼カメラで撮像した画像と同様に一方の画像センサ１３ａまたは１３ｂから得られる画像）を用いることができる。

Ｂ．ＳＧＭ法を用いた測距方法の説明
続いて、ステレオカメラ装置４１０による測距の方法、とくにＳＧＭ法を用いて視差値を求める方法について説明する。まず、図７から図１２を用いて、ＳＧＭ法を用いた測距方法の概略について説明する。

図７を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。また、以下では、説明を簡略化するため、複数画素からなる所定領域ではなく、一画素単位で説明する。

まず、図７で示される撮像装置１０ａ及び撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａ及び比較画像Ｉｂとする。なお、図７では、撮像装置１０ａ及び撮像装置１０ｂが平行等位に設置されているものとする。図７において、３次元空間内の物体Ｅ上のＳ点は、撮像装置１０ａ及び撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）及び比較画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像装置１０ｂ上の座標におけるＳｂ（ｘ'，ｙ）とを用いて、（式１）のように表される。
Δ＝ｘ'−ｘ （式１）
ここで、図７のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図７に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、（式２）により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／Δ （式２）
この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

続いて、図８から図１２を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図８Ａは基準画像、図８Ｂは、比較対象として、図８Ａに対するブロックマッチング法による視差画像、図８Ｃは図８Ａに対するＳＧＭ法による視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。ブロックマッチング法による視差画像は、ブロックマッチング法から導き出された画像であり、基準画像のエッジ部のようなテクスチャが強い部分の視差値のみが示された画像である。ＳＧＭ法の応用による視差画像は、ＳＧＭ法の応用技術によって、基準画像から導き出された画像であり、基準画像の各座標における視差値が示された画像である。図８Ｃでは色の濃淡により視差値の違いを示している。本例では、色が濃くなるにつれて視差値が小さくなることを示す。すなわち、色が濃くなるにつれて距離が長くなる。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図８Ａに示されている基準画像に基づいて、図８Ｃに示されているＳＧＭ法による視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図８Ａに示されている基準画像に基づいて、図８Ｂに示されているエッジ視差画像が導き出される。図８Ｂ及び図８Ｃにおける破線の円８０１内を比べると分かるように、ＳＧＭ法による視差画像は、ブロックマッチング法による視差画像に比べて、テクスチャが弱い領域等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、さらに、合成非類似度である合成コスト値（Ｓｙｎｔｈｅｓｉｓ Ｃｏｓｔ）を算出することで視差値を導出し、最終的に全ての画素における視差値を示す視差画像（ここでは、ＳＧＭ法による視差画像）を導き出す方法である。なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のようなテクスチャの強い部分の視差値のみが算出される。

次に、図９及び図１０を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、コスト値Ｃ（ｘ，ｙ，ｄ）をＣ（ｐ，ｄ）と表記する。図９Ａは基準画像における基準画素を示す概念図、図９Ｂは図９Ａの基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）シフト量（ずれ量）を算出する際の概念図である。図１０は、シフト量毎のコスト値を示すグラフである。

図９Ａに示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線（Ｅｐｉｐｏｌａｒ Ｌｉｎｅ）上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ+ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図９では、対応画素の候補ｑ（ｘ+ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ+ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図１０に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図１０では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、最小値を求めることが困難になる。すなわち、ブロックマッチング法では、テクスチャが弱い場合に、正確な測距ができない場合がある。

次に、図１１及び図１２を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図１１は、合成コスト値を導き出すための概念図である。図１２は、視差値毎の合成コスト値を示すグラフである。本実施形態における合成コスト値の算出は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する方法である。

ここで、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出すためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。(式３)は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であり、（式４）は、合成コスト値Ｌｓを算出するための式である。
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝ （式３）
ここで、ｒは、集約方向を示す。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒは、式３に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、基準画素ｐ（ｘ，ｙ）から離れた画素ほど、経路コスト値Ｌｒに影響を与えないようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（式３）に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図１１に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画素ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒを求め、ｒ方向に沿ってＬｒが求められる。

そして、図１１に示されているように、８方向のＬｒ０，Ｌｒ４５，Ｌｒ９０，Ｌｒ１３５，Ｌｒ１８０，Ｌｒ２２５，Ｌｒ２７０，Ｌｒ３１５求められ、最終的に（式４）に基づいて、合成コスト値Ｌｓが求められる。
Ｌｓ（ｐ，ｄ）＝ΣＬｒ （式４）
このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図１２に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図１２では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。

なお、ＳＧＭ法はブロックマッチング法に比べて処理時間がかかるので、測距の精度よりも処理を迅速に行う必要がある場合には、ブロックマッチング法により測距を行うようにしてもよい。この場合、図６におけるコスト合成部３２０の処理を行わず、視差値導出部３３０では、コスト算出部で算出されたコスト値から視差値を導出するようにする。

なお、ステレオカメラ装置４１０に撮像される物体が認識され、その距離がわかれば、その物体の大きさや長さがわかる。すなわち、ステレオカメラ装置４１０のＲＯＭ３３はその距離と一画素あたりの大きさ及び長さの関係のテーブルを記憶しているので、ＣＰＵ３２はその物体の大きさや長さも特定することができる。なお、ＲＯＭ３３が記憶しているのはテーブルでなく、距離と一画素あたりの関係式であってもよい。さらに、ステレオカメラ装置４１０内の処理ではなく、上記のようなテーブル等の大きさや長さの算出に必要なデータを有する、サーバ７０４や作業機械１００の制御装置１１８が物体の大きさや長さを算出するものであってもよい。

＜偏光カメラ装置＞
図１３は偏光カメラ装置４３０の構成を示す。
この偏光カメラ装置４３０は、輝度画像と輝度画像に対応する偏光比画像を得ることができるカメラ装置である。この偏光カメラ装置４３０は、取得される偏光比画像がハイコントラストであるため、輝度や分光の情報では認識できない物体であっても認識することができる。偏光カメラ装置４３０は、本体部４０と鏡筒部５０を有する。この偏光カメラ装置４３０は回転可能に作業機械１００に設置される。この回転動作は手動または制御装置１１８からの制御により行う。これによって、作業機械１００周辺に対してさまざまな方向にある対象物の偏光光を撮像し、害虫の認識等を行うことができる。

図１４はこの偏光カメラ装置４３０の構成を示す図である。図１４は側面からみた断面図である。本体部４０は、偏光フィルタ４２、センサ基板４３を構成する基板４３ａと受光素子アレイ４４、及びＦＰＧＡ４６を有する。鏡筒部５０は、ＬＥＤ５２、メインレンズ５４、絞り５６及び集光レンズ５８を有する。

偏光フィルタ４２は、Ｓ偏光を透過するＳ偏光透過領域とＰ偏光を透過するＰ偏光透過領域が二次元方向に交互に配列された光学フィルタである。受光素子アレイ４４は、複数の受光素子を有し、受光素子（以下「画素」という場合がある）ごとのカラーフィルタが実装されていないモノクロセンサである。また、受光素子アレイ４４は、光情報を電気情報に変換するセンサである。ＦＰＧＡ４６は、受光素子アレイ４４から出力されるＳ偏光とＰ偏光の電気情報に基づいて、輝度画像と偏光比画像を生成する画像生成部である。

この偏光カメラ装置４３０からの出力は、ＦＰＧＡ４６で生成された輝度画像と偏光比画像である。これらの情報が作業機械１００の制御装置１１８、サーバ７０４、ユーザ端末７１０、７１２等に伝達される。

ＬＥＤ５２は、鏡筒部５０の先端に等間隔に埋設状態で複数配置された光源である。ＬＥＤを光源とすることによって、撮影環境の影響を受けにくくなり、安定した偏光情報を得ることが可能となる。メインレンズ５４は物体Ｏｐからの反射光を絞り５６に導くレンズである。絞り５６は、通過する光の量を調整するために用いる遮蔽物である。集光レンズ５８は、絞り５６を通過した光を偏光フィルタ４２に導くためのレンズである。

ＬＥＤ５２やその他の光を受けた物体Ｏｐからの反射光は、メインレンズ５４に入射する。このメインレンズ５４に入射した光束におけるＳ偏光及びＰ偏光の成分が分離して取得される。

図１５Ａは、本実施形態に用いられる偏光フィルタ４２の正面図である。なお、図１５Ａの点線４２ａは偏光フィルタ４２と受光素子アレイ４４の一部を意味し、図１５Ａの下部に点線４２ａの拡大図が示されている。図１５Ｂは偏光フィルタ４２と画素の対応を説明する図である。偏光フィルタ４２は、Ｓ偏光を透過するＳ偏光透過領域とＰ偏光を透過するＰ偏光透過領域が二次元方向に交互に配列されている。したがって、取得されるＳ偏光画像とＰ偏光画像は、各々、画素が１つおきに抜け落ちた画像となる。ＦＰＧＡ４６では、まず抜け落ちた画素を、隣接する画素の値を用いて補間する処理を行う。これにより、Ｓ偏光画像とＰ偏光画像が取得される。続いて、Ｓ偏光画像とＰ偏光画像に基づいて、輝度画像及び偏光比画像が生成される。ここでいう偏光比画像の各画素を構成する偏光比は、取得した位相差の異なる偏光成分の特徴差を検出できれば良いので、下記の式６に示すように、Ｐ偏光成分とＳ偏光成分の差分であったり、式７に示すように、Ｐ偏光成分とＳ偏光成分の比と（Ｐ偏光成分＋Ｓ偏光成分）の比率であったり、式８に示すように、（Ｐ偏光成分−Ｓ偏光成分）と（Ｐ偏光成分＋Ｓ偏光成分）の比率であったりすれば良い。ここで式６などは差分であるが、本発明においてはこれら位相差のある偏光情報を利用する計算結果を総称して偏光比と呼ぶ。
偏光比＝Ｐ偏光成分／Ｓ偏光成分 …（式５）
偏光比＝Ｐ偏光成分−Ｓ偏光成分 …（式６）
偏光比＝｛（Ｐ偏光成分／Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）…（式７）
偏光比＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）…（式８）
なお、式７と式８における分母は正規化部分であるが、この正規化は、（Ｐ偏光成分＋Ｓ偏光成分）との差分等でもよい。また、これらの式の例では、位相の異なる偏光比情報としてＰ偏光情報とＳ偏光情報を利用しているが、これらは位相が異なれば良いので、円偏光成分を利用しても良い。また、輝度画像の各画素を構成する輝度は、輝度＝（Ｐ偏光成分＋Ｓ偏光成分）となる。

＜マルチスペクトルカメラ装置＞
図１６にマルチスペクトルカメラ装置４５０の外観を示す。このマルチスペクトルカメラ装置４５０は、撮像画像と撮像された画像における分光反射率を得ることができるカメラ装置である。このマルチスペクトルカメラ装置４５０は、ある一点ではなく、ある範囲（領域、面）における植物の状態を非接触・非破壊で一度に検出するのに適している。マルチスペクトルカメラ装置４５０は、本体部６０と鏡筒部７０を有する。このマルチスペクトルカメラ装置４５０は回転可能に作業機械１００に設置される。この回転動作は手動または制御装置１１８からの制御により行う。これによって、作業機械１００周辺に対してさまざまな方向にある対象物の反射光を撮像し、植物活性度や枝間の長さや葉の大きさなど育成状況を把握することができる。

図１７はこのマルチスペクトルカメラ装置４５０の構成を示す図である。図１７Ａが正面図、図１７Ｂが側面からみた断面図である。本体部６０は、マイクロレンズアレイ６２、受光素子アレイ６４、ＦＰＧＡ６６及び分光反射率算出部６８を有する。鏡筒部７０は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）７２、メインレンズ７４、絞り７６、フィルタ７８Ａ及び集光レンズ７９を有する。

マイクロレンズアレイ６２は、複数の小レンズが二次元方向に配列された光学素子である。受光素子アレイ６４は、複数の受光素子を有し、受光素子（以下「画素」という場合がある）ごとのカラーフィルタが実装されていないモノクロセンサである。また、受光素子アレイ６４は、光情報を電気情報に変換するセンサである。ＦＰＧＡ６６は、受光素子アレイ６４から出力される分光情報である電気情報に基づいて複数種類の分光画像を生成する分光画像生成部である。

分光反射率算出部６８は、ＣＰＵやＲＯＭ、ＲＡＭなどの半導体素子から構成されており、ＦＰＧＡ６６で生成された分光画像から画素ごとの分光反射率を算出する。

このマルチスペクトルカメラ装置４５０からの出力は、ＦＰＧＡ６６で生成された複数種類の分光画像とそれらの分光画像の各画素の分光反射率である。これらの情報が作業機械１００の制御装置１１８、サーバ７０４、ユーザ端末７１０、７１２等に伝達される。

ＬＥＤ７２は、鏡筒部７０の先端部に等間隔に埋設状態で複数配置された光源である。ＬＥＤを光源とすることによって、撮影環境の影響を受けにくくなり、安定した分光情報を得ることが可能となる。メインレンズ７４は物体Ｏｍからの反射光を絞り７６を経由してフィルタ７８Ａに導くレンズである。絞り７６は、通過する光の量を調整するために用いる遮蔽物である。フィルタ７８Ａは、分光透過率が空間的に連続的に変化する。すなわち、フィルタ７８Ａは複数の分光特性を有する。なお、フィルタ７８Ａの分光透過率の連続性の方向性は、１つの面内であれば限定されない。例えば、メインレンズ７４の光軸に直交する面において、図１７の右図中の上下方向、または、これに直交する方向、あるいは斜めに交差する方向などで連続性を有していればよい。集光レンズ７９は、フィルタ７８Ａを通過した光をマイクロレンズアレイ６２に導くためのレンズである。

ＬＥＤ７２やその他の光を受けた物体Ｏｍからの反射光は、メインレンズ７４に入射する。このメインレンズ７４に入射した光束が分光反射率測定の対象となる。メインレンズ７４に入射した光束は無数の光線の集合であり、それぞれの光線は絞り７６の異なる位置を通過する。メインレンズ７４で集光された前記反射光は、絞り７６で通過する光量が調整され、フィルタ７８Ａに入射する。なお、本実施形態では絞り７６はフィルタ７８Ａ上に存在するが、これに限られない。フィルタ７８Ａに入射した各光線は異なる分光透過率のフィルタを通過する。フィルタ７８Ａを通過した光線は、集光レンズ７９により集光され、マイクロレンズアレイ６２付近でいったん結像する。なお、メインレンズ７４の光軸と直交する方向に複数のマイクロレンズ（小レンズ）が配置されるようにマイクロレンズアレイ６２は設置される。いったん結像した各光線はマイクロレンズアレイ６２によって、それぞれ受光素子アレイ６４の別の位置に到達する。すなわち、受光素子アレイの受光面の位置は光線が通過したフィルタ７８Ａの位置に対応するので、物体Ｏｍのある一点の分光反射率を同時に測定することができる。

図１８は、本実施形態に用いられるフィルタ７８Ａ及び絞り７６の正面図である。フィルタ７８Ａの下部が短波長、上部が長波長の分光透過率ピークを持つ。この場合、撮影画像は、図１９に示すように、小さな円が並んだものとなる。円になるのはメインレンズ７４の絞り７６の形状が円であるためである。それぞれの小さな円を、ここでは「マクロピクセル」と呼ぶこととする。マクロピクセル７７を全て集めると１つの画像となる。各マクロピクセル７７は、マイクロレンズアレイ６２を構成する各小レンズ（マイクロレンズ）の直下に形成される。マクロピクセル７７の径とマイクロレンズの径はほぼ同じである。

図１７に示すように、マクロピクセル７７の上部はフィルタ７８Ａの下部を通過してきた光線が到達し、下部にはフィルタ７８Ａの上部を通過してきた光線が到達する。フィルタ７８Ａの下部が短波長、上部が長波長の分光透過率を持つような配置とすると、それに対応するように、マクロピクセル７７の上部には短波長、下部には長波長の光線が到達する。ＦＰＧＡ６６は、波長ごとの光線が到達する画素からの分光情報から分光画像を生成する。これにより所望の波長に対する分光画像が複数得られる。分光反射率算出部６８は、各マクロピクセル７７の行ごとの平均値を算出し、ＬＥＤ７２等の照明の分光強度、メインレンズ７４、集光レンズ７９の分光透過率、フィルタ７８Ａの分光透過率、受光素子アレイ６４の分光感度を考慮して計算することで分光反射率を求めることができる。

マクロピクセル７７の拡大図を図２０示す。ここでは、一つのマクロピクセル７７が１９×１９の画素の場合を考える。この一つのマクロピクセル７７から被検物としての物体Ｏｍのある点の分光反射率を求める。まず、最も短波長（λs）側の反射率を求める手順を述べる。マルチスペクトルカメラ装置４５０から得られるデータは受光素子からの出力値であり、出力値は受光素子に入射する光線量に対応している。光線量はＬＥＤ７２等の照明の分光強度、物体Ｏｍの分光反射率、光学系（メインレンズ７４、集光レンズ７９等）の分光透過率、フィルタ７８Ａの分光透過率、受光素子アレイ６４の分光感度の５つの特性の波長λsにおける値の積である。よって、物体Ｏｍのλsにおける反射率を求めるには、出力値を分光反射率以外の４つの値で除算すればよい。

ここでの出力値には、図２０の最下段の行の画素１９個の出力値の総和をマクロピクセル７７が形成されている面積で除した値を用いる。マクロピクセル７７が形成されている面積とは、図２０中黒く塗りつぶされている領域以外の光線が届いている面積のことである。これは各行の出力値を規格化するためである。以上の手順でλsでの反射率の相対値を得ることができる。絶対値は別途校正が必要となる。ＬＥＤ７２等の照明の分光強度、メインレンズ７４、集光レンズ７９の分光透過率、フィルタ７８Ａの分光透過率、受光素子アレイ６４の分光感度、マクロピクセル７７の各行の面積は設計時に既知である。以上の処理をマクロピクセル７７の各行に対して適用することで１９の波長における反射率を得ることができる。

その測定結果の一例を図２１に示す。横軸が波長、縦軸が分光反射率の相対値である。以上が一つのマクロピクセル７７に対する処理であり、全てのマクロピクセル７７に対して同じ処理を適用することで、二次元分光反射率を測定することが可能となるフィルタ７８Ａは、光学ガラスなどの透明基板に、薄膜を厚みがくさび状に変化するように蒸着することで作製することができる。本実施形態における薄膜の材質は五酸化ニオブであり、短波長側の材質は五酸化タンタルである。薄膜の膜厚は数十〜数百ｎｍである。膜厚の薄いほうが短波長、厚いほうが長波長に対応する。薄膜の厚みがくさび状（無段階）に変化するため、分光透過率も連続的に変化する。

光の干渉により分光透過率を制御しているので、透過光が強め合う条件が分光透過率のピーク波長に相当する。透明基板の厚みは、フィルタの保持が可能であればよい。絞り位置付近にレンズが近接している設計のレンズもあり、その場合は薄いほうがよい。例えば０．５ｍｍ程度である。上記のように、連続的な分光透過特性をもつフィルタ７８Ａを利用することで、連続的な分光反射率を撮影と同時に直接得ることができる。これにより、推定処理は不要となり、ノイズに対するロバスト性の高い二次元分光反射率を測定することができる。

次に図２２を使って、本実施形態のマルチスペクトルカメラ装置４５０に使用可能なフィルタの他の例を説明する。図２２Ａのフィルタ７８Ｂは、透過帯域毎に分割した構成を有している。すなわち、フィルタ７８Ｂは、４００ｎｍから５００ｎｍの波長域に対応するフィルタ７８Ｂａと、５００ｎｍから６００ｎｍの波長域に対応するフィルタ７８Ｂｂと、６００ｎｍから７００ｎｍの波長域に対応するフィルタ７８Ｂｃとから構成されている。したがって、フィルタ７８Ｂは、紫外域あるいは赤外域においても連続的に分光透過率が変化するフィルタである。各フィルタ７８Ｂａ、７８Ｂｂ、７８Ｂｃは、それぞれ空間的に連続的に分光透過率が変化するフィルタである。ここでは、図中上から下に向ってそれぞれ波長が大きくなっている。各フィルタ７８Ｂａ、７８Ｂｂ、７８Ｂｃの長手方向の向きは統一する必要はない。要するに、分光透過率が連続的に変化する領域が存在すればよく、方向性は関係ない。また、各フィルタ７８Ｂａ、７８Ｂｂ、７８Ｂｃは上記構成に限定されず、各々異なる波長域を少なくとも一部に有していればよい。各透過帯域は一例であり、これらの値に限定される趣旨ではない。このようにフィルタを分割することで、１画素に対応する波長幅を狭くすることができる。すなわち、波長的な分解能が高い分光反射率測定が可能となる。また、分割して配置することにより、細長いフィルタに比べ、狭い絞り径内で分光透過率の連続性を確保することができる。

なお、光を効率的に使うため、絞り７６の形状を四角などの多角形やその他所望の形状に形成してもよい。

図２３は、植物の葉に対する典型的な分光反射スペクトルを示す。実線２３０１は正常な葉（植物活性度が高い）、破線２３０２は枯れている葉（植物活性度が低い）のスペクトルである。この図の実線２３０１が示すように、植物活性度が高い正常な葉では波長が６６０ｎｍ近辺の可視赤域（及びそれよりも短い波長領域）２３０４で葉緑体の一種であるクロロフィルの吸収により反射率が低い。一方、近赤外域２３０５の７００ｎｍから１１００ｎｍでは反射率が高い。一方で植物活性度の低い枯れた葉では、クロロフィルが分解するため、可視赤域２３０４での吸収があまり行われずに正常な葉に比べて反射率が高くなる。なお、この傾向は植物の種類を問わず、同様であることが分かっている。そこで、可視赤域２３０４での分光反射率Ｒと近赤外域２３０５での分光反射率ＩＲから（式９）を用いて正規化植生指数（Normalized Difference Vegetation Index：ＮＤＶＩ）を求めることができる。
ＮＤＶＩ＝（ＩＲ−Ｒ）／（ＩＲ＋Ｒ） （式９）
通常、正規化植生指数ＮＤＶＩは−１から＋１までの値があり、値が大きいほど植物の活性度が高いことを示す。マルチスペクトルカメラ装置４５０を使えば、理論的には撮像領域すべてにおいて、正規化植生指数ＮＤＶＩを求めることができる。すなわち、図２２Ｂのフィルタ７８Ｃのように、可視赤域の６６０ｎｍの波長域に対応するフィルタ７８Ｃａと、近赤外域である７７０ｎｍの波長域に対応するフィルタ７８Ｃｂを本実施形態のマルチスペクトルカメラ装置４５０のフィルタとして採用する。なお、近赤外域として、７８５ｎｍや９００ｎｍの波長域に対応するフィルタをフィルタ７８Ｃｂに採用してもよい。この場合、７８５ｎｍはＬＥＤで容易に得られる波長である。ＬＥＤ７２の半分は波長が６６０ｎｍ付近の強度が高い光を照射するものを、残りの半分は波長が７７０ｎｍ付近で強度の高い光を照射できるものを設置する。このような構成で、マルチスペクトルカメラ装置４５０で対象の植物にＬＥＤ光の照射を行い、反射光の撮像を行う。そして、ＦＰＧＡ６６で波長６６０ｎｍにおける分光画像と波長７７０ｎｍにおける分光画像を得る。分光反射率算出部６８によりそれらの分光画像内の所望の位置または領域における分光反射率を求める。さらに、分光反射率算出部６８内のＣＰＵは（式９）を適用して正規化植生指数ＮＤＶＩを得る。なお、マルチスペクトルカメラ装置４５０内ではなく、分光画像や分光反射率情報を取得した作業機械１００の制御装置１１８またはサーバ７０４が（式９）を適用し、正規化植生指数ＮＤＶＩを求めてもよい。なお、農作物ごとの正規化植生指数ＮＤＶＩはデータベース７０８に送られ、蓄積される。また、ＦＰＧＡ６６が、上述の分光画像に基づいて画素ごとにＮＤＶＩ値を有するＮＤＶＩ画像を算出する構成としてもよい。なお、正規化植生指数ＮＤＶＩではなく、可視赤域（たとえば６６０ｎｍ）の波長の分光反射率だけを用いて植物の育成状況を把握してもよい。この可視赤領域において、植物活性度の違いによる分光反射率の変化が大きいからである。これにより、生育状況を把握できるとともに近赤外域における分光反射率の測定や正規化植生指数ＮＤＶＩの算出を省略でき、処理や判断の迅速化を図ることができる。一方、正規化植生指数ＮＤＶＩを求めれば、正規化されたより精密な育成状況（植物活性度）の情報を得ることができる。

また、正規化植生指数ＮＤＶＩの経日観測によって、収穫時期を正確に予期できる。たとえば、葉物野菜の場合、正規化植生指数ＮＤＶＩが最大時（植物活性度が最も高いとき）に収穫することが望ましい。この正規化植生指数ＮＤＶＩの最大値や最大をむかえる日は作物ごとに異なるので、植物ごとに収穫が望まれる正規化植生指数ＮＤＶＩの範囲を決める。これにはデータベース７０８に蓄積された正規化植生指数ＮＤＶＩのデータを使って、サーバ７０４あるいはユーザ端末７１０、７１２で行うことができる。たとえば、実験的に正規化植生指数ＮＤＶＩの極大値を過ぎるような同種の農作物を複数観測し、そのばらつき度合い等から収穫すべき正規化植生指数ＮＤＶＩの範囲（たとえば、レタスについてはＮＤＶＩが０．５から０．５５）を決める。そして、マルチスペクトルカメラ装置４５０等で求めた正規化植生指数ＮＤＶＩがその範囲内にある農作物を収穫すればよい。さらに、蓄積したデータから統計的に農作物ごとの正規化植生指数ＮＤＶＩの経日変化の傾向を求めることで収穫時期を予測できる。

さらに、マルチスペクトルカメラ装置４５０によれば、色から成果物（果実）などの品質（糖度）の判定を行うことができる。この場合、図２２Ａの透過帯域（４００ｎｍから５００ｎｍ（７８Ｂａ）、５００ｎｍから６００ｎｍ（７８Ｂｂ）、６００ｎｍから７００ｎｍ（７８Ｂｃ））毎に分割されたフィルタ７８Ｂを使用し、さらに受光素子アレイ６４の受光素子（画素）ごとにベイヤー配列でＲＧＢのカラーフィルタが配置されたカラーセンサを利用する。このＲＧＢカラーフィルタは、Ｂ（ブルー）では４７０ｎｍ付近に、Ｇ（グリーン）では５４０ｎｍ付近に、Ｒ（レッド）では６２０ｎｍ付近にそれぞれスペクトルのピーク（最大値）を有している。フィルタ７８Ｂを構成する各フィルタ（７８Ｂａと７８Ｂｂと７８Ｂｃ）と、カラーセンサにおける第２のフィルタを構成するＲＧＢの各フィルタの分光特性はそれぞれ異なっている。フィルタ７８Ｂを構成する各フィルタと、カラーセンサにおける第２のフィルタを構成する各フィルタを光線が通過することで、３×３＝９種類のバンドパスフィルタを通ったのと同様の分光情報を同時に取得することができる。しかしながら、厳密には、各々のフィルタの分光透過領域の部分のみ光は透過することができるため、本実施形態では実質的に、６種類の分光情報を取得することとなる。このように６種類の分光情報を得られれば、自然界のスペクトルを精度良く計測することができ、撮像した色を正確に認識することが可能となる。このマルチスペクトルカメラ装置は、可視光を精度よく測定できる測色カメラ装置を構成する。たとえば、ある種のイチゴのように熟して赤くなるほど糖度が増す果実では、マルチスペクトルカメラ装置（測色カメラ装置）４５０でその果実全体の分光画像における可視赤域における分光反射率を求めることができるので、その糖度の評価を行うことができる。

さらに、モモ果実のように果皮が薄い果実に対して、マルチスペクトルカメラ装置４５０によって近赤外領域の分光反射率を測定してそのスペクトル分布から糖度を評価することができる。

さらに、マルチスペクトルカメラ装置４５０によれば、非破壊・非接触で植物の緑葉などが含有する水分量を測定することができる。これは植物において水分が不足するとその植物に水ストレスがかかり、緑葉の表面の分光特性が変化するので、この変化をとらえることによって水分量を測定するものである。図２３に示すように可視赤域から近赤外域にかけて反射率が急に高まる領域（レッドエッジ）がある。植物は水ストレスがかかるとこの反射率が高まる領域が波長の短い青色側（左側）にずれることがわかっている（ブルーシフト）。図２３の点線２３０３は水ストレスを与えた場合のブルーシフトの様子を示す。このずれ量を検出できれば植物の葉内の水分量（水ストレスのかかり具合）を特定できる。そこで、この水ストレスの度合いを検出するために、マルチスペクトルカメラ装置４５０は、可視赤域から近赤外域にかけて反射率が急に高まる領域の複数の波長における反射率を測定するため、その複数の波長域に対応できる分光フィルタを備える。たとえば、その分光フィルタは、フィルタ７８Ａのように可視赤域から近赤外域にかけて連続的に変化するものであってもよいし、所望の波長（たとえば、７１５ｎｍ、７４０ｎｍ）を選択して透過させるフィルタであってもよい。

これら可視赤域から近赤外域にかけて反射率が急に高まる領域における所望の波長に対する反射率を計測し、基準となる反射率（たとえば水ストレスをかけていない状態における、それぞれの波長に対する分光反射率）と比較することでずれ量を検出することができる。この場合にＬＥＤ７２として、可視赤域から近赤外域にかけて反射率が急に高まる領域において所望の波長の光を出力できるＬＥＤを設置して、それらを使用してもよいし、ＬＥＤ７２による照射を行わずに太陽光を利用して反射率測定を行ってもよい。太陽光を利用する場合には、植物で反射した太陽光から取得した前記複数の波長における分光反射率を、圃場または作業機械１００に設置される標準白色板で反射された太陽光から得た反射率で除し、正規化されたレベル同士を比較することで、太陽光の光量変化による測定値の誤差の影響を少なくすることができる。なお、測定する分光反射率は、２つの波長に対するものに限られず、精度を上げるために３以上の波長に対して測定してもよい。このようにマルチスペクトルカメラ装置４５０によって植物の含有する水分量を測定することで、測定対象である植物に対して非破壊、非接触で、かつ、迅速な測定が可能となる。

なお、マルチスペクトルカメラ装置（測色カメラ装置）４５０を２台組み合わせて上述のステレオカメラ装置４１０と同様の原理で距離を測定するようにしてもよい。これにより、対象物の画像と分光情報及び距離情報（視差情報）を一回の撮像動作で取得することができる。

＜環境情報取得ユニット＞
図２４は、環境情報取得ユニット５００を示す概念図である。作業機械１００が備える植物情報取得ユニット４００（ステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０）が植物自体の情報を直接的に取得できるのに対し、環境情報取得ユニット５００は、環境情報を取得することにより間接的に植物の情報を推定するのに用いられる。環境情報取得ユニット５００は、植物栽培施設１０内の、温度、湿度、照度等の環境情報を取得し、サーバ７０４に、環境情報を送信する。環境情報取得ユニット５００は、温度センサ５００２と、湿度センサ５００４と、照度センサ５００６と、風速センサ５００８と、ＣＯ２濃度センサ５０１０と、水分センサ５０１２と、養分センサ５０１４と、各種センサを電気的に接続するバスライン５０１６と、無線通信手段５０１８と、を有している。なお、上記各センサは、簡単のため図２４中には１つずつ示しているが、実際には、植物栽培施設１０内の情報を満遍なく取得する必要があるため複数設けられる。

温度センサ５００２は、雰囲気温度を取得可能なサーミスタ等の汎用のセンサであって、植物栽培施設１０内の温度を取得する。湿度センサ５００４は、雰囲気湿度を取得可能な抵抗変化型や静電容量型等の汎用のセンサであって、植物栽培施設１０内の湿度を取得する。照度センサ５００６は、周囲光の照度を取得可能なフォトトランジスタやフォトダイオード等を用いた汎用のセンサであって、植物栽培施設１０内の照度を取得する。風速センサ５００８は、所定のケーシングに流路が設けられた少なくとも風速を検知可能なセンサであって、植物栽培施設１０内の風速を取得する。ＣＯ２濃度センサ５０１０は、雰囲気中のＣＯ２（二酸化炭素）の濃度を取得可能なＮＤＩＲ（Non Disperase Infrared Gas Analyzer）や光音響方式等の汎用のセンサであって、植物栽培施設１０内のＣＯ２濃度を取得する。水分センサ５０１２は、水分量を取得可能な抵抗変化型や静電容量型等の汎用のセンサであって、植物栽培施設１０内において植物が植設される土中あるいはウレタンフォーム等の中の水分量を取得する。養分センサ５０１４は、電気伝導度等の測定に基づいて養分濃度を取得可能な汎用のセンサであって、植物栽培施設１０内において植物が植設される土中あるいはウレタンフォーム等の中の養分量を取得する。無線通信手段５０１８は、温度センサ５００２等の各センサによって取得された環境情報と、各センサのＩＤとを、対応付けてサーバ７０４へ送信する。

＜環境調整ユニット＞
図２５は、環境調整ユニット６００を示す概念図である。環境調整ユニット６００は、サーバ７０４からの情報に基づいて、植物栽培施設１０内の、温度、湿度、照度等の環境を調整する。環境調整ユニット６００は、温度調整手段６００２と、湿度調整手段６００４と、照度調整手段６００６と、風速調整手段６００８と、ＣＯ２濃度調整手段６０１０と、水分調整手段６０１２と、養分調整手段６０１４と、各種センサを電気的に接続するバスライン６０１６と、無線通信手段６０１８と、を有している。上記各手段は、無線通信手段６０１８によって受信されるサーバ７０４からの制御信号に基づいて、制御される。

温度調整手段６００２は、植物栽培施設１０内全体の雰囲気調整により植物栽培施設１０内の温度を調整する。なお、温度調整手段６００２は、定点に冷暖房のための穴を有するパイプを張り巡らしたり、定点に向かって伸びるノズルを配設したりすることにより、植物の生長点や葉等の定点のみの温度を調整する構成としてもよい。最適温度あるいは昼夜の温度差等を考慮して温度調整することにより、光合成及び呼吸を調整し、植物の成長を促進または抑制させることができる。湿度調整手段６００４は、デシカント方式等の加湿・除湿技術により植物栽培施設１０内の湿度を調整する。湿度の制御により植物の蒸散の調整ができるため、植物の成長を促進または抑制させることが可能になる。照度調整手段６００６は、ＬＥＤ等であり、必要に応じてＯＮ／ＯＦＦの制御及び光量の調節が行われ、植物栽培施設１０内の照度を調整する。光は植物の光合成に大きな影響を与えるため、照度の制御により植物の成長も制御することが可能となる。風速調整手段６００８は、送風機による送風によって植物栽培施設１０内の風速を調整する。特に、植物の葉表面の風速を制御することにより、植物の蒸散量を調整することができ、成長の促進または抑制を行うことができる。ＣＯ２濃度調整手段６０１０は、外気の導入や燃料の燃焼等を行うことにより植物栽培施設１０内のＣＯ２を発生させ、ＣＯ２濃度を調整する。光合成及び呼吸によるＣＯ２交換速度はＣＯ２濃度に影響されるため、ＣＯ２濃度の制御によって、光合成及び呼吸の活性化、ひいては植物の成長促進が期待できる。なお、ＣＯ２濃度調整手段６０１０は、ＣＯ２の発生によらず、他の設備が発生させたＣＯ２を再利用することもできる。水分調整手段６０１２は、水分を供給することにより植物栽培施設１０内における土中あるいはウレタンフォーム中等の水分量を調整する。土等中の水分量は植物の蒸散に影響するため、植物の成長の調整にも寄与する。養分調整手段６０１４は、養液を供給することにより植物栽培施設１０内における土中あるいはウレタンフォーム中等の養分量を調整する。養分量を制御することにより、植物の成長を調整できる。

上記各調整手段は、通常は、予め定められた設定条件に、環境状態を保つ調整をするよう、サーバ７０４によって制御されている。

〔システムの動作〕
図２６から図３１を用いて、本実施形態における植物栽培システム１の動作について説明を行う。植物栽培システム１の動作において、これらの図のフローチャートで示す動作は代表的なものである。その他の動作や詳細な動作はすでに文章で説明が行われたか、これから説明が行われる。また、作業機械１００、サーバ７０４、ユーザ端末７１０、７１２、その他の環境情報取得ユニット５００、環境調整ユニット６００等との間における情報のやり取りは、すでに説明を行った有線または無線による通信によって直接または無線アクセスポイント等による中継を介して行われる。電波による無線が有効でない場合には、可視光または不可視光を用いた無線情報通信をおこなってもよい。

なお、これまでの説明及び以後の説明でサーバ７０４が主体となって動作を行うものは、正確にはサーバ内のＣＰＵがＳＳＤに格納されたプログラムにしたがって行う動作であるが、説明の簡単化のため、サーバ７０４が行うものとして説明する。また、これまでの説明及び以後の説明で作業機械１００が主体となって動作を行うものは、正確には作業機械１００に内蔵される制御装置１１８がそこに格納されたプログラムにしたがって行う動作であるが、説明の簡単化のため、作業機械１００が行うものとして説明する。さらに、これまでの説明及び以後の説明でユーザ端末７１０、７１２が主体となって動作を行うものは、正確にはユーザ端末７１０及び／またはユーザ端末７１２に内蔵されるＣＰＵが記録媒体に格納されたプログラム及び／またはユーザ端末の使用者の指示にしたがって行う動作であるが、説明の簡単化のため、まとめてユーザ端末７１０、７１２が行うものとして説明する。またさらに、これまで説明した、または今後説明される、その他の装置及びステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０、環境情報取得ユニット５００、環境調整ユニット６００等やデータベース７０６、７０８などの動作も、正確にはそれらが備えている制御プロセッサやＣＰＵがそれらの装置やデータベースに格納されているプログラムの沿って行う動作であるが、説明の簡単のために、その他の装置及びステレオカメラ装置４１０、偏光カメラ装置４３０、マルチスペクトルカメラ装置４５０、環境情報取得ユニット５００、環境調整ユニット６００等やデータベース７０６、７０８等が行う動作として説明される。

〔収穫時期予測処理：実施例１〕
図２６は、本実施形態における収穫時期予測処理を示すフローチャートである。
本実施形態の植物栽培システム１は、対象の植物の収穫時期を予測する収穫時期予測処理を行う。

具体的には、作業機械１００のマルチスペクトルカメラ装置４５０は、収穫時期予測の対象を含む一定範囲の輝度画像及び正規化植生指数ＮＤＶＩを取得するための画像（以下、ＮＤＶＩ画像という）を取得するとともに、植物の前に配置された不図示のプレート上の二次元コードから対象の植物（植物のグループ）の植物管理ＩＤを取得する（Ｓ１００Ａ）。植物管理ＩＤは、植物の種類を含むその他対象の情報が対応付けられてデータベース７０６に記憶されている。

マルチスペクトルカメラ装置４５０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ１０２Ａ）。

マルチスペクトルカメラ装置４５０は、取得されたＮＤＶＩ画像及び特定された植物の領域に基づいて、対象の植物に対応するＮＤＶＩ値を算出する（Ｓ１０４Ａ）。ここでのＮＤＶＩ値は、植物に対応する画像上における領域中の各画素のＮＤＶＩ値の平均等を利用する。

作業機械１００は、植物管理ＩＤ及び算出されたＮＤＶＩ値を、サーバ７０４へ送信する（Ｓ１０６Ａ）。サーバ７０４は、受信することによって植物管理ＩＤ及びＮＤＶＩ値を取得し、取得された植物管理ＩＤに基づいて、データベース７０６に記憶されたＮＤＶＩ関数Ｎ（ｄ）を取得する（Ｓ１０８Ａ）。ここでいうＮＤＶＩ関数Ｎ（ｄ）は、環境が前述の設定条件である場合に、一定期間における対象の植物のＮＤＶＩ値の時系列情報に基づいて求められた、経過日数ｄ（０〜収穫時期ｄｈ）とＮＤＶＩ値の関数である。少なくとも栽培開始から収穫時までは、経過日数ｄの経過に応じて植物の成長の程度、すなわちＮＤＶＩ値は増加するため、ＮＤＶＩ関数Ｎ（ｄ）はＮ'（ｄ）≧０を満たす単調増加の関数となり、したがってＮＤＶＩ値から植物が経過日数の何日目にあたるかが特定可能となる。

サーバ７０４は、取得されたＮＤＶＩ関数Ｎ（ｄ）及びＮＤＶＩ値から、現在日ｄｎを特定する（Ｓ１１０Ａ）。特定された現在日ｄｎ及び収穫時期ｄｈから収穫までの期間ｄｈ−ｄｎを算出し、算出された期間及びサーバ７０４内蔵の時計によって取得される現在日に基づいて収穫予測日ｄｐを特定する（Ｓ１１２Ａ）。

サーバ７０４は、ユーザ端末７１０，７１２を制御して特定された収穫予測日ｄｐに基づいた画面を表示させる制御信号を生成するか、または後述の収穫時期調整処理を行うための制御信号を生成する（Ｓ１１４Ａ）。生成された制御信号は、各種制御に用いられる。そして、Ｓ１１４Ａの処理を終えると、作業機械１００は次の植物グループが栽培されている位置近傍に移動し、Ｓ１００Ａの処理から本処理を再開する。

なお、Ｓ１０２ＡからＳ１０４Ａは、サーバ７０４で行っても良い。この場合、作業機械１００は、Ｓ１００Ａで取得した情報をサーバ７０４へ送信する。また、Ｓ１０６Ａの処理は不要となる。上記構成によれば、負荷のかかる処理をサーバ７０４で行うことができる。

また、ＮＤＶＩ画像を用いず、マルチスペクトルカメラ装置４５０でＮＤＶＩ値を取得する構成にしてもよい。 〔収穫時期予測処理：実施例２〕
図２７は、本実施形態における収穫時期予測処理の他の例を示すフローチャートである。
本実施形態の植物栽培システム１は、実施例１においてマルチスペクトルカメラ装置４５０により取得されるＮＤＶＩ値に加えて、または代えて、ステレオカメラ装置４１０により取得される植物サイズ値に基づいて、収穫時期予測処理を行うことができる。以下ではＮＤＶＩ値に加えて植物サイズ値を利用した例を示す。

作業機械１００のマルチスペクトルカメラ装置４５０は、収穫時期予測の対象を含む一定範囲の輝度画像及びＮＤＶＩ画像を取得する（Ｓ１００Ｂ）。また、作業機械１００のステレオカメラ装置４１０は、収穫時期予測の対象を含む一定範囲の輝度画像及び視差画像を取得するとともに、植物の前に配置されたプレート上の二次元コードから対象の植物（植物のグループ）の植物管理ＩＤを取得する（Ｓ１０１Ｂ）。ここで、植物管理ＩＤについては一般に比較的解像度の高いステレオカメラ装置４１０により取得しているが、マルチスペクトルカメラ装置４５０によって取得しても良い。

マルチスペクトルカメラ装置４５０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ１０２Ｂ）。

ステレオカメラ装置４１０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ１０３Ｂ）。

マルチスペクトルカメラ装置４５０は、取得されたＮＤＶＩ画像及び特定された植物の領域に基づいて、対象の植物に対応するＮＤＶＩ値を算出する（Ｓ１０４Ｂ）。

ステレオカメラ装置４１０は、取得された視差画像及び特定された植物の領域に基づいて、対象の植物に対応する植物サイズ値を算出する（Ｓ１０５Ｂ）。植物サイズ値は植物の大きさに対応するもので、例えば前回撮像した位置における同一対象物の枝間の距離を測定したり、葉の大きさを測定したりすることにより、ステレオカメラ装置４１０によって算出可能である。

作業機械１００は、植物管理ＩＤ及び算出されたＮＤＶＩ値及び植物サイズ値を、サーバ７０４へ送信する（Ｓ１０６Ｂ）。

サーバ７０４は、受信された植物管理ＩＤに基づいて、データベース７０６に記憶された収穫時期特定関数Ｈ（ｄ）を取得する（Ｓ１０８Ｂ）。ここでいう収穫時期特定関数Ｈ（ｄ）は、ＮＤＶＩ関数Ｎ（ｄ）と植物サイズ関数Ｓ（ｄ）によって定められる関数で、実施例１と同様、経過日数ｄ（０〜収穫時期ｄｈ）とＮＤＶＩ値及び植物サイズ値の関数である。もっとも簡単には、Ｈ（ｄ）＝αＮ（ｄ）＋βＳ（ｄ）（α≧０、β≧０）で定義される。αとβは重み係数であって、その種類の植物の収穫の基準としてＮＤＶＩと植物サイズのどちらを重視したいかによって定められる。したがって、収穫時期特定関数Ｈ（ｄ）と同様、ＩＤによって一意に特定される値となる。植物サイズ値もＮＤＶＩ値と同様、少なくとも収穫時期までは経過日数ｄの経過に応じて増加するため、収穫時期特定関数Ｈ（ｄ）は、Ｈ'（ｄ）≧０を満たす単調増加の関数となり、したがってＮＤＶＩ値及び植物サイズ値から植物が経過日数の何日目にあたるかが特定可能となる。

サーバ７０４は、取得された収穫時期特定関数Ｈ（ｄ）及びＮＤＶＩ値、植物サイズ値から、現在日ｄｎを特定する（Ｓ１１０Ｂ）。特定された現在日ｄｎ及び収穫時期ｄｈから収穫までの期間ｄｈ−ｄｎを算出し、算出された期間及びサーバ７０４内蔵の時計によって取得される現在日に基づいて収穫予測日ｄｐを特定する（Ｓ１１２Ｂ）。

サーバ７０４は、ユーザ端末７１０，７１２を制御して特定された収穫予測日ｄｐに基づいた画面を表示させる制御信号を生成するか、または後述の収穫時期調整処理を行うための制御信号を生成する（Ｓ１１４Ｂ）。生成された制御信号は、各種制御に用いられる。ユーザ端末７１０，７１２に対して画面表示を行う場合は、ユーザからの入力に呼応して画面が表示されるようにしてもよい。そして、Ｓ１１４Ｂの処理を終えると、作業機械１００は次の植物グループが栽培されている位置近傍に移動し、Ｓ１００Ｂの処理から本処理を再開する。

なお、Ｓ１０１ＢからＳ１０５Ｂは、サーバ７０４で行っても良い。この場合、作業機械１００は、S１００Ｂ及びＳ１０１Ｂで取得した情報をサーバ７０４へ送信する。また、Ｓ１０６Ｂの処理は不要となる。上記構成によれば、負荷のかかる処理をサーバ７０４で行うことができる。

本実施例における収穫時期予測処理を行う場合、マルチスペクトルカメラ装置４５０とステレオカメラ装置４１０は別体でも良いが、前述したようにマルチスペクトルカメラ装置４５０を２台組み合わせてステレオカメラ装置４１０と同様の原理で距離を測定できるようにした装置を用いるのがより好ましい。このような装置を用いることで、マルチスペクトルカメラ装置４５０の処理とステレオカメラ装置４１０の処理で用いる画像の一部を共通化でき、より高効率・高精度なシステムを実現できる。

なお、本実施例においては植物サイズをステレオカメラ装置４１０によって取得しているが、マルチスペクトルカメラ装置４５０によって撮像した植物の前のプレートの画像との対比により、植物サイズを算出することも可能である。

また、ＮＤＶＩ画像を用いず、マルチスペクトルカメラ装置４５０でＮＤＶＩ値を取得する構成にしてもよい。

〔収穫時期調整処理〕
図２８は、本実施形態における収穫時期調整処理を示すフローチャートである。本実施形態の植物栽培システム１は、対象の植物の収穫時期を調整する収穫時期調整処理を行う。具体的には、サーバ７０４は、ユーザ端末７１０からユーザによって入力される収穫希望日ｄｗを受信する（Ｓ２００）。この収穫希望日ｄｗは、ユーザによって入力された日そのものでも良い。また、ユーザによって入力される配達希望日から所定の配達日数を差し引くことにより得られる日であっても良く、このとき、ユーザは、希望の植物の注文をユーザ端末７１０から行うとともに、配達希望日及び配達希望地域を入力することとなる。サーバ７０４は、入力された配達希望日及び配達希望地域を受け付け、配達希望日からユーザの配達希望地域によって特定される配達日数を差し引くことにより、後述の収穫希望日を算出する。

サーバ７０４は、収穫希望日が算出された対象の植物グループをＩＤにより特定し、収穫時期予測処理のＳ１１２Ａ，Ｂによって得られた収穫予測日ｄｐが収穫希望日ｄｗより早いかを判断する（Ｓ２０２）。ｄｗ−ｄｐ＞０である場合（Ｓ２０２−Ｙ）、収穫予測日が収穫希望日に対して早いので、サーバ７０４は、植物の成長を抑制する制御条件を求め、その制御を行うための抑制信号を、環境調整ユニット６００へ送信する（Ｓ２０４）。

環境調整ユニット６００は、受信した抑制信号に基づいて、温度調整手段６００２や照度調整手段６００６等による環境調整によって植物の成長を抑制する制御を行う（Ｓ２０６）。例えば、温度調整手段６００２により対象の植物グループに対する環境温度を下げたり、照度調整手段６００６により照度を下げたりする。

一方、ｄｗ−ｄｐ＜０である場合（Ｓ２０２−Ｎ）、収穫予測日が収穫希望日に対して遅いので、サーバ７０４は、植物の成長を促進する制御を行うための制御条件を求め、その促進信号を、環境調整ユニット６００へ送信する（Ｓ２０８）。環境調整ユニット６００は、受信した促進信号に基づいて、温度調整手段６００２や照度調整手段６００６等による環境調整によって植物の成長を促進する制御を行う（Ｓ２１０）。例えば、温度調整手段６００２により対象の植物グループに対する環境温度を上げたり、照度調整手段６００６により照度を上げたり、ＣＯ２濃度調整手段６０１０によりＣＯ２濃度を上げたりする。上記制御は、収穫予測日ｄｐ及び収穫希望日ｄｗの日に基づいた制御であるが、植物栽培施設１０内の環境の急激な変化を伴ってしまう場合がある。そこで、日の時間微分値に基づいた制御をかけることで、環境に比較的急激な変化のない制御を行うこともできる。

なお、収穫予測日と収穫希望日が同じ場合（ｄｗ−ｄｐ＝０）には、これまでと同様の成長を行わせるための制御信号を環境調整ユニット６００へ送信する。

上記においては、抑制信号と促成信号を区別して説明しているが、ともに環境調整ユニット６００を制御する信号であり、区別しなくても良い。

また、これまでと同様の成長を行わせるための制御信号を送信する場合は、これに代えて、制御信号を送信しないようにしてもよい。

〔害虫駆除処理〕
図２９は、本実施形態における害虫駆除処理を示すフローチャートである。本実施形態の植物栽培システム１は、対象の植物に付着する害虫を駆除する害虫駆除処理を行う。

具体的には、作業機械１００の偏光カメラ装置４３０は、害虫駆除を要する可能性のある対象を含む一定範囲の輝度画像及び偏光比画像を取得するとともに、植物の前に配置されたプレート上の二次元コードから対象の植物（植物のグループ）の植物管理ＩＤを取得する（Ｓ３００）。

偏光カメラ装置４３０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ３０２）。偏光カメラ装置４３０は、取得された偏光比画像及び特定された植物の領域に基づいて対象の植物に付着する害虫の認識を行い、害虫の付着する領域が植物の領域のうちの対象領域（例えば葉）に占める植物占有割合Ｐを算出する（Ｓ３０４）。

偏光カメラ装置４３０は、算出した植物占有割合Ｐ及び植物管理ＩＤをサーバ７０４へ送信する（Ｓ３０６）。サーバ７０４は、受信することによって植物管理ＩＤ及び植物占有割合Ｐを取得し、取得された植物占有割合Ｐが予め定められた所定値Ｐ０（例えば５％）を上回るか判断する（Ｓ３０８）。

Ｐ＞Ｐ０の場合には（Ｓ３０８−Ｙ）、害虫駆除処理を行うことを示す駆除信号を生成してその駆除信号を作業機械１００へ送信するとともに、植物管理ＩＤとカウント値をデータベース７０６へ送信する（Ｓ３１０）。ここでのカウント値は、害虫駆除処理が何回行われたかをカウントするための指標値である。害虫駆除には一般的に農薬が用いられるため、植物の種類によっては人の健康面に配慮して回数を制限する必要がある。カウント値によって、害虫駆除処理の回数の管理を行うことができる。なお、上記回数は農薬散布の量を間接的に量ることのできる指標値であるが、直接的に量を示す情報を用いてもよい。

サーバ７０４は、カウント値によって数えられる回数が、予め定められた所定回数を超えるか判断する（Ｓ３１２）。作業機械１００は、Ｓ３１２で所定回数を超えていないと判断された場合（Ｓ３１２−Ｎ）、受信された駆除信号に基づいて、作業機械１００に設置されている不図示の農薬散布装置を用いて農薬を散布し、害虫駆除処理を行う（Ｓ３１４）。

その後、作業機械１００は、次の対象へと移動して害虫駆除処理を開始する（Ｓ３１６）。

一方で、Ｓ３１２で所定回数を超えると判断された場合（Ｓ３１２−Ｙ）及びＳ３０８においてＰ≦Ｐ０の場合には（Ｓ３０８−Ｎ）、害虫駆除処理を行わないことを示す非駆除信号を生成して作業機械１００へ送信する（Ｓ３１８）。

作業機械１００は、受信された非駆除信号に基づいて害虫駆除処理は実行されずに、次の対象へと移動して害虫駆除処理を開始する（Ｓ３１６）。この場合、サーバ７０４はユーザ端末７１０，７１２に害虫駆除できなかった旨を通知する。これによってユーザは、マニュアルで害虫駆除等を行うことができる。なお、Ｓ３１０で駆除信号を作業機械１００へ送信することなく、Ｓ３１６において害虫駆除処理を行わずに次の対象へと移動させる制御をする信号を生成する構成でも良い。

上記は偏光比画像を用いたが、分光画像を用いても良い。通常の輝度画像では認識できない害虫であっても、分光画像上では認識され得る。

〔補助光源照明処理〕
図３０は、本実施形態における補助光源照明処理を示すフローチャートである。本実施形態の植物栽培システム１は、太陽光を補助するための補助光源によって植物を照明する補助光源照明処理を行う。

具体的には、サーバ７０４は、インターネット経由で不図示の外部情報源から天気予報情報を取得する（Ｓ４００）。サーバ７０４は、取得された天気予報情報及び収穫時期調整処理によって特定される照度調整手段６００６としてのＬＥＤの照明条件から、ＬＥＤによる照明を行うか判断する。すなわち、サーバ７０４は、図２８で示すような収穫時期調整処理によって植物の成長を抑制する調整がなされるかを判断する（Ｓ４０２）。

植物の成長を抑制する調整がなされる場合（Ｓ４０２−Ｙ）には、ＬＥＤによる照明は逆効果となってしまうため、天気予報如何にかかわらずＬＥＤによる照明は行われない。

植物の成長を抑制する調整がなされない場合（Ｓ４０２−Ｎ）、サーバ７０４は、天気予報情報からＬＥＤによる照明を行うか判断する（Ｓ４０４）。

天気予報によって雨天等の予報がなされ、晴天時に比べて照度が不足するためＬＥＤによる照明を行うと判断された場合には（Ｓ４０４−Ｙ）、サーバ７０４は、ＬＥＤの照明を行うことを示す照明信号を生成して環境調整ユニット６００へ送信する（Ｓ４０６）。

環境調整ユニット６００は、受信された照明信号に基づいて、照度調整手段６００６としてのＬＥＤによる照明を行う（Ｓ４０８）。

一方、天気予報によって晴天の予報がなされ、照度は十分とみなしてＬＥＤによる照明は行わないと判断された場合には（Ｓ４０４−Ｎ）、ＬＥＤによる照明は行わない。なお、外部情報源とともに、または外部情報源に代えて、照度センサ５００６で得られる照度に基づくＬＥＤの照明制御を行っても良い。

〔収穫処理〕
図３１は、本実施形態における収穫処理を示すフローチャートである。本実施形態の植物栽培システム１は、要収穫状態にある対象の植物を収穫する収穫処理を行う。
具体的には、作業機械１００のマルチスペクトルカメラ装置４５０は、収穫するか否かの判断対象となる植物を含む一定範囲の輝度画像及びＮＤＶＩ画像を取得するとともに、植物の前に配置されたプレート上の二次元コードから対象の植物の植物管理ＩＤを取得する（Ｓ５００）。

マルチスペクトルカメラ装置４５０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ５０２）。

マルチスペクトルカメラ装置４５０は、現在日ｄｎにおいて、取得されたＮＤＶＩ画像及び特定された植物の領域に基づいて、対象の植物に対応するＮＤＶＩ値（ｄｎ）を算出する（Ｓ５０４）。

作業機械１００は、植物管理ＩＤ及び算出されたＮＤＶＩ値（ｄｎ）を、サーバ７０４へ送信する（Ｓ５０６）。サーバ７０４は、受信することによって植物管理ＩＤ及びＮＤＶＩ値を取得し、取得された植物管理ＩＤに基づいて、データベース７０６に記憶されたＮＤＶＩ値（ｄｈ）を取得する（Ｓ５０８）。ここでいうＮＤＶＩ値（ｄｈ）は、収穫時期ｄｈに対応するＮＤＶＩ値である。

サーバ７０４は、取得されたＮＤＶＩ値（ｄｈ）と作業機械１００から受信されたＮＤＶＩ値（ｄｎ）を比較し、対象の植物が要収穫状態にあるか判断する（Ｓ５１０）。ＮＤＶＩ値（ｄｎ）≧ＮＤＶＩ値（ｄｈ）、すなわちｄｎ≧ｄｈであって要収穫状態であると判断された場合（Ｓ５１０−Ｙ）、サーバ７０４は、収穫することを示す収穫信号を生成して作業機械１００へ送信する（Ｓ５１２）。

作業機械１００は、受信された収穫信号に応じて、ステレオカメラ装置４１０によって対象の植物を含む領域を撮像し、輝度画像及び視差画像を取得する（Ｓ５１４）。

ステレオカメラ装置４１０は、取得された輝度画像、及び記憶部に事前学習で記憶された特徴量に基づいて、対象の植物の認識を行い、植物に対応する画像上の領域を特定する（Ｓ５１６）。

ステレオカメラ装置４１０は、視差画像に基づいて特定された領域の距離情報を取得する（Ｓ５１８）。

作業機械１００は、取得された距離情報を用いて収穫のための切断位置を特定し、収穫装置１０６が有する収穫バサミ１０８、把持アーム１１０及び収穫ボックス１１２によって切断・収穫作業を行う（Ｓ５２０）。

その後、作業機械１００は、当該植物グループ内の植物の収穫処理が終わるまでは隣の植物へ、植物グループの全ての処理が終われば次のグループへと移動して収穫処理を開始する（Ｓ５２２）。

一方、Ｓ５１０においてＮＤＶＩ値（ｄｎ）＜ＮＤＶＩ値（ｄｈ）、すなわちｄｎ＜ｄｈであり要収穫状態でないと判断された場合（Ｓ５１０−Ｎ）、サーバ７０４は、収穫しないことを示す非収穫信号を生成して作業機械１００へ送信する（Ｓ５２４）。

作業機械１００は、非収穫信号に応じて、次の対象へと移動して収穫処理を開始する（Ｓ５２２）。

なお、収穫処理を行う場合、マルチスペクトルカメラ装置４５０とステレオカメラ装置４１０は別体でも良いが、前述したようにマルチスペクトルカメラ装置４５０を２台組み合わせてステレオカメラ装置４１０と同様の原理で距離を測定できるようにした装置を用いるのがより好ましい。このような装置を用いることで、マルチスペクトルカメラ装置４５０の処理とステレオカメラ装置４１０の処理で用いる画像の一部を共通化でき、より高効率・高精度なシステムを実現できる。

なお、収穫処理においては距離情報をステレオカメラ装置４１０によって取得しているが、マルチスペクトルカメラ装置４５０によって撮像した植物の前のプレートの画像との対比により、距離情報を取得することも可能である。その他、レーザレーダのような他の距離情報取得機器を利用することも可能である。

〔課金処理〕
上述のとおり、サーバ７０４（または課金管理用サーバ。以下同じ）は、課金処理（請求処理）も行う。システム提供者はシステム利用料を適切に回収できることで、経営を継続するとともに新たなサービスを開発したり、現在のサービスを改善したりすることが可能となるので、課金処理を技術によって自動的に正確かつ効率的に行えるようにすることが課題となる。

課金方法にはさまざまな形態があり、本実施形態の植物栽培システム１のユーザが選択できるようになっている。定額制の課金形態としては、i.図２で示すような情報通信システム１５０２の使用料、ii.図１で示すような植物工場のシステム（植物情報取得ユニット４００、環境情報取得ユニット５００、環境調整ユニット６００など）１５０１の賃貸料（装置１個当たり１００ドル／月、作業機械１個当たり２００ドル／月など）、iii.土地（植物工場）の賃貸料（１平方メートルあたり１５ドルなど）、がある。

システム利用開始時にシステム提供者と利用者の間で合意した課金の形態は、データベース７０８に登録される。サーバ７０４は、データベース７０８に登録された課金形態i〜iiiに対して、それぞれ単独の、または複数組み合わせたときの料金請求を定期的（たとえば、月ぎめ）でユーザ端末７１０、７１２に送信する。

従量制の課金形態としては、i.処理の種類、ii.処理時間、iii.処理箇所の大きさ、iv.サーバ７０４による分析実施、v.収穫日予測実施、vi市場の需要取得、vii植物栽培システム１内の情報通信量、のそれぞれ単独及び／または複数組み合わせ等がある。これらiからviiの情報（あるいはiからviiを生成するための情報）は、上述のようにサーバ７０４によりデータベース７０８に記録されている。たとえば、サーバ７０４は、iとiiの組み合わせに対して、処理の種類（収穫：５ドル／時間）と処理時間（２０時間）で計１００ドルの料金を発生させたり、iとiiiの組み合わせに対して作業の種類（整地：０．２ドル／平方メートル）と作業箇所の大きさ（１０００平方メートル）で計２００ドルの料金を発生させたりする。このように植物栽培システム１によれば所定の期間（たとえば１ヶ月間）における作業内容（作業の種類、作業時間、作業箇所の大きさ、作業を行った作業機械など）を特定することが容易にでき、その作業内容に応じた課金を行うことができる。また、サーバ７０４は、このiとiiなどの組み合わせに加え、たとえばvの収穫日予測（１回あたり１０ドル）を実施した回数（５回）で計５０ドルの料金を発生させることも可能である。これらiからviiは、作業ごとにデータベース７０８に登録される情報に基づいてサーバ７０４が算出し、一定期間（たとえば半年）ごとにユーザ端末７１０、７１２に料金請求を行う。

さらに植物栽培システム１は成功報酬型の課金形態も提供する。i.植物栽培システム１を使って収穫した植物に対する売上に対して一定の割合（たとえば２０％）を課金したり、ii.植物栽培システム１を使って植物を育てた場合に、収穫量が増加した分の売上げに対して一定の割合（たとえば５０％）で課金したり、iii.これらi、iiの課金に収穫した植物の市場価格を加味して料金を設定したり（たとえば、市場価格が基準価格に対して一定以上高騰した場合にi、iiの割合を増加させ、暴落した場合に低下させる）する。これらiからiiiを算出するための情報はデータベース７０８に記録されている。サーバ７０４は、データベース７０８に記憶されているデータからこれらの料金を算出し、一定期間（たとえば半年）ごとにユーザ端末７１０、７１２に料金請求を行う。

一方で、ユーザが一定の条件を満たした場合に料金を割り引いてもよい。たとえば、ユーザが植物栽培システム１に有益な情報（たとえば害虫の種類と発生場所及び発生規模）を与えた場合には、所定回数（１０回／月）を上限として１回当たり３ドルの割引を行うことができる。所定の金額を上限としてもよい。この場合もデータベース７０８にその情報が記録されているので、サーバ７０４はそれを参照して割引を行う。これにより、植物栽培システム１のシステム提供者は、今後の植物栽培システム１の効率的な運用に必要なデータを取得できるとともに、ユーザはシステム使用料の割引を受けられるので、両者にとって利点があることになる。

また、ユーザが作業機械１００などを遠隔操作等を通じて操作を行った場合に、自動制御のときよりもシステム使用料を低減することもできる。この場合の料金設定としては、植物栽培システム１によって提供される価値が高い順（自動制御、遠隔操作の順）に料金を高く設定する。サーバ７０４は、このような割引のための情報をデータベース７０６、７０８やサーバ７０４内のＳＳＤに記憶されたデータから取得し、割引料金を算出し、算出した料金を割り引いてユーザ端末７１０、７１２への料金請求を行う。サーバ７０４は、これらの定額制料金、従量制料金、成功報酬型料金を単独でも、組み合わせて一緒にでも請求することができる。この際、上記の割引も行われることになる。このように作業開始から作業完了まで、さらには収穫以後農作物の小売までの情報を植物栽培システム１は自動取得、自動集計できるので、正確かつ効率的な課金処理を行うことが可能となる。

なお、植物栽培システム１のユーザはユーザ端末７１０、７１２など用いて、クレジットカードやデビットカードその他の電子マネーを使って電子決済を行うことができる。または銀行振り込みでも対応できる。サーバ７０４がユーザ端末７１０、７１２に料金の請求を行ってから所定期日内に料金の支払いを確認できない場合には、督促を、ユーザ端末７１０、７１２に送付したり、郵送等の別の手段により送付したりできる。督促の送付から所定期日内に振込みを確認できない場合には、サーバ７０４はそのユーザが植物栽培システム１の一部または全部の使用を利用できないようにする。これにより、使用料を支払わないユーザによる植物栽培システム１の利用を制限できる。

〔ＰＲＩを用いた灌漑制御〕
ＮＤＶＩは急激には変化しにくい値であるため安定した育成制御が可能である反面、短周期に植物の状態を監視し育成を制御する指標としては適していない。そこで、ＰＲＩ（Photochemical / Physiological Reflectance Index）という指標を用いることが有効である。ＰＲＩは式（１０）により算出される。ただし、R531、R570はそれぞれ波長531nm、570nmの反射率である。
PRI = (R531 - R570) / (R531 + R570) （式１０）
図３２は、ＰＲＩを説明するための図の一例であり、植物の葉に対する５００〜６００nmの分光反射スペクトルが示されている。実線３２１は水ストレスが与えられていない葉の分光反射スペクトルであり、破線３２２は水ストレスが与えられた葉の分光反射スペクトルである。水ストレスが反射率に与える影響については図２３においても説明されているが、図３２の分光反射スペクトルも典型的なものといえる。すなわち、反射率の絶対値や波長に対する傾きは植物や気温、育成時期によって種々であるが、水ストレスは広い波長域に渡って反射率が大きくなるように変化させる。これは、植物に水ストレスが与えられると、葉に含まれる葉緑体の色素の性質が変化するため等によるものと考えられる。

このような変化は水ストレスが与えられてから１時間程度という比較的短い時間で生じるため、反射率の変化を監視できれば効果的な灌漑が可能になる。そして、この反射率の変化を監視するための有効な指標として上記のＰＲＩが考えられる。

また、ＰＲＩは光合成速度と高い正の相関があることが知られている（光合成速度が大きいほどＰＲＩは"１"に近づく）。光合成速度は植物に水ストレスが与えられると、葉の気孔が閉じて急激に低下することが知られている。したがって、光合成速度とＰＲＩに関する知見からもＰＲＩを用いて水ストレスを定量的に測定することが可能であることが裏付けられる。

すでに説明したようにマルチスペクトルカメラ装置４５０は、波長531nm、570nmの光の反射率をそれぞれ検出することができる。この場合、図２２Ｂのフィルタ７８Ｃにおいて、フィルタ７８Ｃａに531nmの波長域に対応するフィルタが採用され、フィルタ７８Ｃｂに570nmの波長域に対応するファイルが採用される。理論的には撮像領域すべてにおいてＰＲＩを求めることができる。

また、マルチスペクトルカメラ装置４５０が備える複数のＬＥＤ７２のうち約半分には531ｎｍ付近の波長が強いＬＥＤが採用され、残りの約半分には570ｎｍ付近の波長が強いＬＥＤが採用される。このような構成で、マルチスペクトルカメラ装置４５０は対象の植物にＬＥＤ光の照射を行い、反射光の撮像を行う。そして、ＦＰＧＡ６６は波長531ｎｍにおける分光画像と波長570ｎｍにおける分光画像を得る。分光反射率算出部６８はそれらの分光画像内の所望の位置または領域における分光反射率を求める。また、分光反射率算出部６８は（式１０）を用いてＰＲＩを算出する。ＦＰＧＡ６６が、上述の分光画像に基づいて画素ごとにＰＲＩを算出してもよい。

なお、マルチスペクトルカメラ装置４５０ではなく、分光画像や分光反射率情報を取得した作業機械１００の制御装置１１８またはサーバ７０４が（式１０）を用いて、ＰＲＩを算出してもよい。このようにして算出された植物ごとのＰＲＩはデータベース７０６に蓄積される。

ＰＲＩは、式（１０）から明らかなように"-1"から"+1"の値を取り得るが、実際に葉の反射率から算出されるＰＲＩはゼロ近辺の絶対値が小さい値をとることが多い。ＰＲＩの値がいくつであるから、水ストレスがない状態又は水ストレスが与えられている状態であるとサーバ７０４が断定することは一般には困難である。反射率は植物の種類や気温などにより影響されるためである。

しかし、植物工場のように安定した生育環境で育てられる植物であれば、マルチスペクトルカメラ装置４５０が、予め水ストレスが制御された状態で栽培対象の植物の反射光を測定しておくことができる。したがって、サーバ７０４は、水ストレスが制御された状態で観測された任意の植物の一定期間のＰＲＩを蓄積しておくことができる。例えば、単位時間に散布された水の量とＰＲＩの関係を蓄積しておくことができるので、ある植物における水ストレスとＰＲＩの値との関係をあらかじめ取得しておくことができる。また、どのくらいの水ストレスが植物の育成に有効かは、収穫後の検査や実際の試食などにより植物の管理者が把握できる。

このように予め蓄積された知見データが参照されることで好ましいＰＲＩの値が明らかになるので、ＰＲＩがある閾値（たとえば"０"）を下回った場合に、サーバ７０４が水分調整手段６０１２に対し灌漑を開始させる制御が可能になる。ＰＲＩは水ストレスに対して１時間に満たない極めて短い時間で値が変化するため、サーバ７０４はＰＲＩを数分間隔で観測することによって、適切な灌漑を行うことが可能である。植物栽培システム１はこのようなＰＲＩ観測−灌漑制御システムを構築することでそれぞれの植物に対し適切な灌漑を行うことができる。

なお、ＮＤＶＩは育成状況や収穫時期など比較的長い期間に対する制御の指標として用いることができるのに対して、ＰＲＩは水ストレスが加わった場合に短周期の制御を可能とする指標である。両者の指標を用いることで、育成期間の全般にわたって、サーバ７０４等が植物の質と収穫量を所望の状態にするための制御を行うことが可能となる。

図３３は、水ストレスとＰＲＩの対応関係を表すデータを植物栽培システム１が取得する処理のフローチャートである。以下では、サーバ７０４がＰＲＩを算出するものとする。

まず、植物栽培施設１０の環境調整ユニット６００は、サーバ７０４の制御や植物の管理者の操作に応じて水ストレスの制御を行う（Ｓ１）。水ストレスの制御は、水が十分な状態から作物の育成過程において許容される水分欠乏状態まで幅広く制御することが好ましい。

次に、作業機械１００のマルチスペクトルカメラ装置４５０は、植物の葉の画像を取得する（Ｓ２）。植物の葉の画像は、水ストレスを与えることと並行に行われ、水ストレスが与えられた後、時間的に安定した水ストレスの影響をサーバ７０４が観測できるように複数枚の画像が取得されることが好ましい。

マルチスペクトルカメラ装置４５０はステップＳ２で取得した画像をサーバ７０４へ送信する（Ｓ３）。また、水ストレスが与えられたか否かの二値でなく、与えられた水ストレスの程度が制御された場合は水ストレスの程度もサーバ７０４へ送信する。

次に、サーバ７０４は画像を受信し（Ｓ４）、サーバ７０４は（式１０）を用いてＰＲＩを算出する（Ｓ５）。

サーバ７０４は水ストレスとＰＲＩの対応関係を表すデータをデータベース７０６に蓄積させる（Ｓ６）。このようにして、ある植物の水ストレスの程度とＰＲＩの関係がデータベース７０６に蓄積される。

図３４Ａは水ストレスの程度とＰＲＩの関係の概念的な図の一例を示す。図３４Ａでは水ストレスが大きいほど（水が少ないほど）ＰＲＩが右下がりになっているが、この図はあくまで概念的なものであり、右上がりになっていてもよいし、一様に変化するとも限らない。

水ストレスがどの程度であればこの植物にとって好ましいかという知見は、農業などの従事者や収穫後の検査や実際の試食などから得られるので、図３４Ａから好ましいＰＲＩも決定できる。

ところで、好ましい水ストレスは植物の育成時期によって異なる場合がある。このため、植物の育成時期に対し定期的（例えば、１０日や１ヶ月ごと）にサーバ７０４が水ストレスの程度とＰＲＩの関係を取得することが好ましい。これにより、育成時期の全域に渡って好ましいＰＲＩを蓄積しておくことができる。

図３４Ｂは育成月数と好ましいＰＲＩの関係の概念的な図の一例を示す。図３４Ｂによればこの植物は、育成時期の前半で高いＰＲＩを示す水ストレスが与えられることが好適であり、育成時期の後半で低いＰＲＩを示す水ストレスが与えられることが好適であることが分かる。このような水ストレスは「水切り」と呼ばれる場合がある。例えば果実収穫前に「水切り」と呼ばれる意図的な水分欠乏状態に植物が置かれることによって果実の糖度を高める技術が知られている。予め定められた育成時期にこのような所望の水分欠乏状態に相当するＰＲＩの値がデータベース７０６に登録されていることで、サーバ７０４は自動的に水切りを実現することができる。したがって、図３４Ｂのような知見がデータベース７０６に蓄積されていれば、サーバ７０４がＰＲＩに基づいて意図的に好ましい水ストレス状態を作ることができる。

次に、図３５を用いて、水ストレスと好ましいＰＲＩの対応関係を表すデータを用いた灌漑制御について説明する。図３５は植物栽培システム１が灌漑制御を行う手順を示すフローチャートを示す。図３５の処理は例えば数分おきに繰り返し実行される。

作業機械のマルチスペクトルカメラ装置４５０は作物の画像を断続的に撮影する（Ｓ１）。画像の撮影間隔は１分毎程度が好ましい。

次に、マルチスペクトルカメラ装置４５０は取得した画像をサーバ７０４へ送信する（Ｓ２）。

サーバ７０４は画像を受信し（Ｓ３）、サーバ７０４は画像を解析してＰＲＩを算出する（Ｓ４）。

次に、サーバ７０４はＰＲＩをデータベース７０６のデータと照合し、水ストレスの状態を推定する（Ｓ５）。例えば、図３４Ｂから現在の育成月数のＰＲＩを読み出して、ステップＳ４で算出したＰＲＩと比較する。

次に、サーバ７０４は推定した水ストレスの状態に応じて灌漑する/しないを判断する（Ｓ６）。具体的には、ステップ５で推定した水ストレスの状態と、所望の水ストレスの状態との差分を埋めるように制御する。すなわち、所望の水ストレスの状態（ＰＲＩ）に対して推定された水ストレスの状態（ＰＲＩ）が水分欠乏状態であれば灌漑を行うと判断し、水分過剰状態であれば灌漑しないと判断する。

灌漑する場合（Ｓ７のＹｅｓ）、サーバ７０４は灌漑制御信号を生成して環境調整ユニット６００に送信する（Ｓ８）。

環境調整ユニット６００の水分調整手段６０１２は灌漑制御信号に応じた灌漑制御を行う（Ｓ９）。

以上のように、ＰＲＩを監視することで適切な灌漑が可能になる。なお、ＰＲＩの算出時には必ずしも波長531nm、570nmの反射率を用いる必要はなく、植物ごとに最適な波長の反射率を用いてよい。また、ＰＲＩを算出することなく任意の波長の反射率に基づいて水ストレスの状態を監視してもよい。

〔本実施形態に基づく発明〕
以上説明を行った本実施形態及び応用例には少なくとも次の特徴を有する発明が含まれる。
（１）情報を処理して作業機械１００やユーザ端末７１０，７１２等の機器を制御する制御信号を生成するサーバ７０４等の情報処理装置であって、マルチスペクトルカメラ装置４５０等の撮像手段により撮像された植物等の特定の被写体の分光画像情報等の画像情報から生成される被写体の状態を示すＮＤＶＩ値等の第１の被写体状態情報を取得する取得手段と、取得された第１の被写体状態情報に基づいて制御信号を生成する生成手段と、を有することを特徴とする。
（２）（１）であって、取得手段は、被写体の分光画像情報から生成される被写体の状態を示す第１の被写体状態情報を取得することを特徴とする。
（３）（１）であって、取得手段は、被写体の偏光画像情報から生成される被写体の状態を示す害虫の植物占有割合等の第１の被写体状態情報を取得することを特徴とする。
（４）（２）であって、取得手段は、被写体のＮＤＶＩ値を取得することを特徴とする。
（５）（１）〜（４）であって、取得手段は、第１の被写体状態情報に加えて分光画像情報、距離画像情報及び偏光画像情報の少なくとも１つから生成される被写体の状態を示す植物サイズ値等の第２の被写体状態情報を取得し、取得された第１及び第２の被写体状態情報に基づいて制御信号を生成することを特徴とする。
（６）（１）〜（５）であって、生成手段は、第１の被写体状態情報に基づいて収穫予測日等の推定情報を生成し、生成された推定情報及びユーザから入力される収穫希望日や配達希望日等の入力情報に基づいて、制御信号を生成することを特徴とする。
（７）（１）〜（６）であって、生成手段は、第１の被写体状態情報に基づいて、現在の被写体の状態を、収穫時期等の所定時期において要収穫状態等の所望の被写体の状態にするための植物の成長を促進または抑制する等の制御条件を求め、制御条件に基づいて制御信号を生成することを特徴とする。
（８）（１）〜（７）であって、生成手段は、制御信号による制御の量に関するカウント値等の量情報を生成し、量情報に基づいて、制御信号または制御信号による制御を行わないことを示す非制御信号を生成することを特徴とする。
（９）（１）〜（８）であって、取得手段は、外部情報源から天気予報等の所定の対象の動向を予測する予測情報を取得し、生成手段は、収穫時期調整処理等の制御信号によるＬＥＤの照明等の制御が行われる場合には予測情報に基づく制御信号は生成せず、制御信号による制御が行われない場合に予測情報に基づく制御信号を生成することを特徴とする。
（１０）（１）〜（９）のサーバ７０４等の情報処理装置からの制御信号によって制御される作業機械１００等の機器であって、制御信号に応じて機器から対象の植物等の対象物までの距離に関する距離情報を取得する取得手段と、取得された距離情報に基づいて対象物に対し収穫作業等の所定の作業を行う作業手段と、を有することを特徴とする。
（１１）情報を処理して作業機械１００やユーザ端末７１０，７１２等の機器を制御する制御信号を生成する植物栽培システム１等の情報処理システムであって、植物等の特定の被写体を撮像して分光画像情報を取得するマルチスペクトルカメラ装置等の撮像手段と、被写体の分光画像情報に基づいて生成される被写体の状態を示すＮＤＶＩ値等の被写体状態情報を算出する算出手段と、算出された被写体状態情報に基づいて制御信号を生成する生成手段と、を有することを特徴とする。
（１２）情報を処理して作業機械１００やユーザ端末７１０，７１２等の機器を制御する制御信号を生産する制御信号の生産方法であって、マルチスペクトルカメラ装置４５０等の撮像手段により撮像された植物等の特定の被写体の分光画像情報から生成される被写体の状態を示すＮＤＶＩ値等の被写体状態情報を取得する取得ステップと、取得された被写体状態情報に基づいて制御信号を生産する生産ステップと、を含むことを特徴とする。
（１３）サーバ７０４等のコンピュータに、情報を処理して作業機械１００やユーザ端末７１０，７１２等の機器を制御する制御信号の生成を実行させるためのプログラムであって、マルチスペクトルカメラ装置４５０等の撮像手段により撮像された植物等の特定の被写体の分光画像情報から生成される被写体の状態を示すＮＤＶＩ値等の被写体状態情報を取得する取得ステップと、取得された被写体状態情報に基づいて制御信号を生成する生成ステップと、を実行させることを特徴とする。

なお、本国際出願は、２０１４年７月１６日に出願した日本国特許出願２０１４−１４６１６１号及び２０１５年１月１５日に出願した日本国特許出願２０１５−００５７４５号に基づく優先権を主張するものであり、日本国特許出願２０１４−１４６１６１号、及び、日本国特許出願２０１５−００５７４５号の全内容を本国際出願に援用する。

以上、農業機械や圃場のシステムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

Claims (13)

1. 情報を処理して機器を制御する制御信号を生成する情報処理装置であって、
   撮像手段により撮像された特定の被写体の画像情報から生成される前記被写体の状態を示す第１の被写体状態情報を取得する取得手段と、
   取得された前記第１の被写体状態情報に基づいて前記制御信号を生成する生成手段と、を有し、
   前記取得手段は、外部から所定の対象の動向を予測する予測情報を取得し、
   前記生成手段は、前記制御信号による植物の成長促進又は成長抑制の制御が行われない場合に前記予測情報に基づく前記機器を制御する制御信号を生成することを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記取得手段は、前記被写体の分光画像情報から生成される前記被写体の状態を示す第１の被写体状態情報を取得することを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記取得手段は、前記被写体の偏光画像情報から生成される前記被写体の状態を示す第１の被写体状態情報を取得することを特徴とする情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記取得手段は、前記被写体のＮＤＶＩ値を取得することを特徴とする情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記取得手段は、前記被写体のＰＲＩ（Photochemical / Physiological Reflectance Index）を取得することを特徴とする情報処理装置。
6. 請求項１乃至５のいずれか１項に記載の情報処理装置であって、
   前記取得手段は、前記第１の被写体状態情報に加えて分光画像情報、距離画像情報及び偏光画像情報の少なくとも１つから生成される前記被写体の状態を示す第２の被写体状態情報を取得し、取得された第１及び第２の被写体状態情報に基づいて前記制御信号を生成することを特徴とする情報処理装置。
7. 請求項１乃至６のいずれか１項に記載の情報処理装置であって、
   前記生成手段は、前記第１の被写体状態情報に基づいて推定情報を生成し、生成された前記推定情報及びユーザから入力される入力情報に基づいて、前記制御信号を生成することを特徴とする情報処理装置。
8. 請求項１乃至７のいずれか１項に記載の情報処理装置であって、
   前記生成手段は、前記第１の被写体状態情報に基づいて、現在の被写体の状態を、所定時期において所望の被写体の状態にするための制御条件を求め、前記制御条件に基づいて前記制御信号を生成することを特徴とする情報処理装置。
9. 請求項１乃至８いずれか１項に記載の情報処理装置であって、
   前記生成手段は、前記制御信号による制御の量に関する量情報を生成し、前記量情報に基づいて、前記制御信号または前記制御信号による制御を行わないことを示す非制御信号を生成することを特徴とする情報処理装置。
10. 請求項１乃至９のいずれか１項に記載の情報処理装置からの制御信号によって制御される機器であって、
    前記制御信号に応じて前記機器から対象物までの距離に関する距離情報を取得する取得手段と、
    取得された前記距離情報に基づいて前記対象物に対し所定の作業を行う作業手段と、を有することを特徴とする機器。
11. 情報を処理して機器を制御する制御信号を生成する情報処理システムであって、
    特定の被写体を撮像して画像情報を取得する撮像手段と、
    前記被写体の画像情報に基づいて生成される前記被写体の状態を示す被写体状態情報を算出する算出手段と、
    算出された前記被写体状態情報に基づいて前記制御信号を生成する生成手段と、を有し、
    前記算出手段は、外部から所定の対象の動向を予測する予測情報を取得し、
    前記生成手段は、前記制御信号による植物の成長促進又は成長抑制の制御が行われない場合に前記予測情報に基づく前記機器を制御する制御信号を生成することを特徴とする情報処理システム。
12. 情報を処理して機器を制御する制御信号を生産する制御信号の生産方法であって、
    撮像手段により撮像された特定の被写体の画像情報から生成される前記被写体の状態を示す被写体状態情報を取得する取得ステップと、
    取得された前記被写体状態情報に基づいて前記制御信号を生産する生産ステップと、を含み、
    前記取得ステップでは、外部から所定の対象の動向を予測する予測情報を取得し、
    前記生産ステップでは、前記制御信号による植物の成長促進又は成長抑制の制御が行われない場合に前記予測情報に基づく前記機器を制御する制御信号を生成することを特徴とする制御信号の生産方法。
13. コンピュータに、情報を処理して機器を制御する制御信号の生成を実行させるためのプログラムであって、
    撮像手段により撮像された特定の被写体の画像情報から生成される前記被写体の状態を示す被写体状態情報を取得する取得ステップと、
    取得された前記被写体状態情報に基づいて前記制御信号を生成する生成ステップと、を実行させ、
    前記取得ステップでは、外部から所定の対象の動向を予測する予測情報を取得し、
    前記生成ステップでは、前記制御信号による植物の成長促進又は成長抑制の制御が行われない場合に前記予測情報に基づく前記機器を制御する制御信号を生成することを特徴とするプログラム。

Images