JP6932563B2 - 結果予測装置、結果予測方法、及びプログラム - Google Patents

Description

この発明は、多波長を記録した画像を用いて、撮影対象物の時間的な変化を予測しようとしたときに、多数の学習用教師データとAI技術を用いて予測器を作成し、精度の高い時間変化予測を行える、画像解析技術に関する。

屋外に設置された建造物や屋外で栽培される農作物は、工場内での生産活動と違って、単純に結果を予定通りに進めることができない。工業製品と違い、農作物の品質を均一に高めようとしても、気温や湿度、日照時間、水や肥料の量など、様々な要素が関与するため、野菜工場のような完全閉鎖系でなければそれらの環境を完全にコントロールできるわけではない。このため、どのように生育させ、どのようなタイミングで収穫すればよいか、収率と確実性の高い方法を模索することが続けられている。

例えば、トマトは成長過程が複雑であるため、最適な収穫日を正確に把握することが難しい。最適収穫日を予測する手法としては、積算温度や積算日照量などの数値を元にすることが従来行われていた。しかし、それだけでは情報が不足しており、十分な精度での解析はできなかった。

特許文献１では、センサデータとヘリコプターからの空撮による生育度測定装置と、マルチスペクトルカメラをそなえた個々の作物の観測を行うモニタリング装置のデータを元に、灌漑制御を行う手法が提案されている。スペクトルカメラは、主に育成中の作物の色を、多数の周波数域に亘って測定することで、従来のRBGデータだけのカメラよりも多くの情報を得ることができるカメラである。具体的には、水ストレスのある状態と無い状態でマルチスペクトルカメラを用いた観測を行い、光合成速度と相関のある指数ＰＲＩ（Photochemical / Physiological reflectance Index)を測定し、この観測したＰＲＩの値に基づいて水の供給をコントロールする灌漑制御を行うことが記載されている。

なお、スペクトルカメラで撮影された多波長画像の解析にあたっては、画像の特定部位を抽出し、その部位から波長強度のグラフを作成し、グラフの時間変化を解析することで予測することが一般に行われている。トマトやリンゴ、イチゴのように、収穫に適したタイミングで色彩が変わる野菜や果物において、得られる情報は特に多くなる。

また、特許文献２には、過去に蓄積された調査地域の画像や圃場の属性情報と、圃場の空撮画像と、気象データとを組み合わせて、作物の収率予想を行う手法が提案されている。

特許文献３には、納入された農産物の量から、出荷基準を満たす農産物の量を予測する予測プログラムが提案されている。

特開2016-49102号公報 特開2015-49号公報 特開2016-118895号公報

しかしながら、従来のカメラより得られる情報が増えたスペクトルカメラで撮影された多波長画像を解析することで、灌漑制御の効果を観測することはできても、最終的な結果が得られる時間軸上の未来予想となる収穫日の予測には情報が不足していた。生育過程の農産物の多波長画像を撮影しても、そのデータから収穫日を導き出す画一的な手法は存在しておらず、撮影した多波長画像から農産物の特定部位を抽出してグラフの解析を行うには研究者の高い技能と経験が必要であった。このため、実際には多波長画像を一枚ずつ解析するしかなく、枚数を増やして精度を確保することが難しかった。

また、多波長画像の成分値は波長の組み合わせとして記録されることが多いが、収穫日がどの成分（波長の組み合わせ）に関係しているかは未知であるため、すべての波長の組み合わせを精査する必要があり、多波長画像として情報を増やすために波長の数が多くなるほどに組み合わせ数が爆発的に増大し、解析することが困難となってしまった。

そこでこの発明は、スペクトルカメラによる多波長画像を用いて、農産物の収穫日やインフラの破損日のような未来時点の予測を行えるようにすることを目的とする。

この発明は、
結果予測対象である対象物について、スペクトルカメラによる多波長画像である多波長写真データを、最終結果前に間隔を空けて複数枚撮影して撮影日データとともに蓄積し、
予め多波長写真データを撮影した上記対象物の最終結果日までのデータを含む結果状態ラベルを、当該対象物の多波長写真データと関連付け、
上記多波長写真データと上記結果状態ラベルとを関連付けた教師用データ群により、上記多波長写真データの入力に対して上記結果状態ラベルを出力する分析パラメータをトレーニングし、
同種の対象物の最終結果前のサンプルについて、スペクトルカメラにより撮影した多波長画像である多波長写真データを、上記分析パラメータにより解析して、対応した上記結果状態ラベルを得ることで、上記の課題を解決したのである。

例えば、結果予測対象である対象物が農作物である場合には、最終結果とは収穫であり、最終結果日とは収穫日となる。結果予測対象が橋梁や高架、道路、トンネルなどの土木建築系インフラである場合には、最終結果とはひび割れや剥落などの破損であり、最終結果日とは破損発生日となる。この発明で取り扱う結果予測対象とは、時間経過とともに姿や状態が徐々に変化していくものの、その変化スケールが数日以上、場合によっては年単位に及ぶため、人間の目で見てもその最終結果に至る時点が明確に予測しにくいものであるとよい。

農作物を対象とする場合、準備段階としては、収穫しようとする農作物について、日々の状態を多波長画像で記録しておき、熟練経験者による判断で最適な収穫日を決定して収穫する。これにより、撮影しておいたそれぞれの多波長画像が最適な収穫日の何日前における記録であるかを示すデータ群を得ることができる。上記の収穫日までのデータとは、すなわち、実際に収穫した日の何日前であるかというデータを含む。これらを関連付けたデータセットによりトレーニングした上記分析パラメータを用い、未収穫の農作物の上記多波長写真データを入力すると、出力として最適な収穫日までの日数を上記結果状態ラベルとして得ることができる。これにより、それぞれの農作物の最適な収穫日を、以後は熟練経験者が介在しなくても決定できるだけでなく、人間の目には判断しきれない要素をも判断基準として収穫予想が可能になる。

また、上記結果状態ラベルには最終結果日までの日数だけでなく、農作物であれば糖度や等級といった収穫された農作物の品質や質量に関するデータを含めてもよい。インフラの破断であれば補修に必要な工事の見積など破損自体に関するデータを含めてもよい。

分析パラメータのトレーニングには一般的な機械学習における教師付きデータによるトレーニングの手法を用いることができる。

スペクトルカメラによる映像は、赤外線領域まで含めることができ、人間の目で見るよりも遙かに多くの情報を得ることができる。そのような多くの情報によりトレーニングされた分析パラメータを用いることで、より精度の高い収穫日の予測を行うことができる。

成熟までの間に色合いの変化に乏しい野菜や果実でも、撮影される茎や枝との大きさ比率や赤外線領域の変化などを判断基準として取り込むことができるため、多くの農作物において収穫の予測を行うことができる。また、年単位のスケールで取り扱うため人間の目には変化がわかりにくい屋外インフラであっても、表面のわずかな色彩変化などを取り込むことができるため、ある程度正確に予測を立てることができる。

この発明の一実施形態である収穫予測装置とその周辺装置の機能ブロック図 この発明の一実施形態である収穫予測方法の撮影ステップのフロー例図 この発明の一実施形態である収穫予測方法のトレーニングステップのフロー例図 この発明の一実施形態である収穫予測方法の予測ステップのフロー例図

以下、この発明について具体的な実施形態とともに詳細に説明する。この発明は、時間と共に状態が変化していく対象物が何らかの最終結果に到達する際の状況を予測する対象物の結果予測方法及び結果予測装置である。まず、結果予測方法及び結果予測装置の実施形態として、農作物の収穫予測方法、及びそれを実行できる収穫予測装置を説明する。

この発明の実施形態に係る収穫予測装置となる結果予測装置１１とその周辺装置の機能ブロック図を図１に示す。予測を行う結果予測装置１１は、トレーニングに用い、又は予測の対象とする画像データを保存するデータ保管装置３１と接続される。データ保管装置３１は結果予測装置１１と同一筐体でもよいし、別筐体でもよい。図１では別筐体である場合を示す。また、多波長画像を撮影するスペクトルカメラ１を有する。スペクトルカメラ１は撮影を制御する撮影用コンピュータ２と接続される。撮影用コンピュータ２は、直接接続又はネットワーク接続でデータ保管装置３１と繋がる。図１ではＬＡＮ経由で接続する場合を示す。

スペクトルカメラ１は、マルチスペクトルカメラやハイパースペクトルカメラと呼ばれる、一般的なＲＧＢ三原色のカメラよりも記録する波長が多いカメラである。何十もの波長でのデータの集合でもよいし、可視光域の広い範囲に亘るスペクトルデータでもよいし、赤外域や紫外域にまで亘るスペクトルデータでもよい。農作物の特徴は赤外線領域に出やすい傾向にあるため、赤外域から可視光域までをカバーするスペクトルで撮影できると好ましい。

このスペクトルカメラ１は、収穫前の農作物を撮影日データとともに撮影する。後述する教師用データに用いる教師用データ群としては、後日の実際の最終結果日までの日数が異なる多数のデータが必要となる。この最終結果日とは、農作物の場合、収穫日である。最適な収穫日のｎ日前と、ｎ＋１日前とでは異なる特徴があると考えられ、それをスペクトルカメラ１で観測し、それを特徴量として見出せるように後述する分析パラメータ２１をトレーニングする必要があるからである。

上記の教師用データ群はできるだけ多数であることが好ましい。このため、同一品種の農作物の別個体について撮影したデータを多数揃えるだけでなく、同一個体に対しても間隔を空けて複数回の撮影を行うことが望ましい。撮影間隔としては、１日ごとに撮影するか、それ以上に間隔を空けることが望ましい。収穫する日時の予測を定めるものであるため、基本的には日ごとのデータで事足りるためである。ただし、時刻単位で最終的な品質が大きく異なる農作物の場合は、３〜１２時間ごとに撮影してもよい。一方、撮影間隔が一週間を超えて空いてしまうと収穫日までのデータとしては精度が低下し、データ数も増やしにくい。このため、同一個体についての撮影間隔は７日以下であると好ましく、４日以下であるとより好ましい。このような撮影を、できるだけ多数の個体について行う。ただし、撮影間隔は個体ごとに異なっていてもよい。

一方、この発明にかかる結果予測装置１１によってこれから収穫日等の予測を行おうとする農作物の個体に対しては、一回の撮影によるデータでもこの発明による予測が可能である。

スペクトルカメラ１で撮影する映像は、基本的には農作物の果実など食べる部分を含むことが望ましい。ただし、品種によっては葉や茎の状態から作物の出来を判断することになる。食べる部分が土中にある根菜類や芋類では葉を撮影すると好ましい。一方、花の場合はつぼみ部分を含むことが必要である。

撮影用コンピュータ２はスペクトルカメラ１と接続され、スペクトルカメラ１の撮影を定期的に行うように制御する。農作物の正面に固定的に設置されるものでもよいし、農場に設置したレールに沿って動くものでもよいし、ドローンによって空中移動するものでもよい。接続は図１ではＵＳＢのような有線接続としているが、スペクトルカメラ１側に十分な無線接続機能があれば無線接続でもよい。

撮影用コンピュータ２は、スペクトルカメラ１を制御するカメラ操作ソフト３を有する。撮影用コンピュータ２がパソコンである場合には、カメラ操作ソフト３は画面上にスペクトルカメラ１を制御するための項目を表示し、ポインティングデバイスやキーボード等により操作を受け付ける。撮影用コンピュータ２がサーバである場合には、カメラ操作ソフト３はさらにネットワーク経由で接続されたパソコン、スマートフォン、タブレットなどから操作を受け付けるネットワークサーバ機能を有する。いずれの形態であっても、カメラ操作ソフト３によって、撮影しようとする農作物の写真を上記の撮影間隔を空けて定期的に撮影するように制御する。

撮影用コンピュータ２は、スペクトルカメラ１によって撮影された多波長画像である多波長写真データを撮影した日時データとともに記録する記憶部４を有する。記憶部４のハードウェアは磁気ディスクでもよいし、不揮発性半導体メモリでもよい。

撮影用コンピュータ２は、直接又は間接にデータ保管装置３１と接続されるネットワークインターフェースである撮影画像通信部５を有する。また、撮影用コンピュータ２を制御する撮影画像制御部６は、記憶部４へ上記多波長写真データが記録されたら、順次、又はバッチ式にデータ保管装置３１へ転送する。

データ保管装置３１は、大規模記憶装置を有するサーバであるとよい。順次画像を保管し、読み出すことができればよい。具体的には、市販のＮＡＳ（Network Attached Storage）を用いてもよいし、パソコンを流用してもよいし、専用のデータサーバでもよい。また、クラウド上に存在していてもよい。データ保管装置３１の通信インターフェースを制御する保管領域通信部３２が、撮影用コンピュータ２から上記多波長写真データを受信したら、データ保管装置３１を制御する保管領域制御部３３は、その多波長写真データを保管装置記憶部３４に記憶する。保管装置記憶部３４では、撮影された写真を撮影対象毎に分類したり、撮影した日時毎に分類したりして識別しやすいようにして保存する。例えば図１に示すように、教師用データ群に用いるデータを集めた学習用画像保管部３５と、これから収穫日等を予測しようとするデータを集めた予測用画像保管部３６とに分ける形態が挙げられる。学習用画像保管部３５ではさらに、撮影日毎にフォルダを分けたりしてよい。

結果予測装置１１は、データ保管装置３１に保管された上記多波長写真データについての収穫日との間で関連付けた登録と、それを用いた予測プログラム用の分析パラメータのトレーニングを行う。また、トレーニング後は、データ保管装置３１に保管された上記多波長写真データについて、収穫日の予測その他の収穫予想となる出力を得る。

まず、トレーニングまでに関与する構成要素について説明する。結果予測装置１１の学習画像制御部１２は、ネットワークインターフェースを制御する分析画像通信部１３を介して、データ保管装置３１から上記多波長写真データを読み出す。

結果予測装置１１の状態ラベル入力部１６は、読み出した個々の上記多波長写真データについて、撮影されたそれぞれの農作物の、その後実際の収穫日の入力を受け付ける。その入力を促すため、カラー化処理部１５が、読み出した上記多波長写真データを、人間の目に判別しやすいカラー画像に変換する。広いレンジに亘る映像は人間の目には認識しづらいことがあるためである。基本的には赤緑青（ＲＧＢ）の三色からなる映像であると好ましいが、白黒画像でも認識できるのならば利用可能である。また、単純な赤緑青だけに限定されず、赤外域や紫外域を含めた波長を適宜修正して擬似的なカラーとしてもよい。いずれの形態であっても、表示された農作物の写真を見て、作業者が実際の収穫日を認識できるようにする。

結果予測装置１１の状態ラベル入力部１６は上記の変換された画像をモニタに出力し、収穫日の入力を受け付ける。入力された収穫日と、それぞれの多波長写真データの撮影日付から、それぞれの多波長写真データが、収穫日から逆算して何日前のデータであるかを算出する。その収穫日までの日数データ（残日数データ）を、結果状態ラベルとしてそれぞれの多波長写真データと関連付けることになる。

なお、状態ラベル入力部１６の内容は人力による入力を要求する上記の内容に限られない。例えば、多波長写真データを予めハウスごとや畝ごとに分類しておけば、それらのハウスごと、畝ごとに一括して収穫した場合には、同一の収穫日となるため、バッチ処理で入力することができる。また、個々に収穫日が異なる場合でも、例えば、ＲＦＩＤなどで個々の農作物を管理するとともに、上記多波長写真データの撮影時にもＲＦＩＤにより個々の農作物を識別して撮影しておき、収穫出荷の処理を行ったデータを一括して読み込んで、結果状態ラベルとして入力できるようにしてもよい。

また、状態ラベル入力部１６で入力される結果状態ラベルは、残日数データだけに限定されない。収穫後に測定される糖度や水分量、塩分量、質量、評価された等級や出荷額などの、農業製品として必要なその他の情報を合わせて登録してもよい。

結果予測装置１１の状態ラベル付加部１７は、入力された上記結果状態ラベルを上記多波長写真データと関連付ける。関連付けられたこれらのデータ群を教師用データ群として利用する。このデータセットをそのまますぐに次のデータ前処理部１８へ送ってもよいし、一旦関連付けたデータをセットでデータ保管装置３１に送信して記録させてもよい。その場合、後述するトレーニングを後日行う際には、上記結果状態ラベルとともに上記多波長写真データを読み込むことができ、上記結果状態ラベルの入力を省略してトレーニングを行うことができる。

結果予測装置１１のデータ前処理部１８は、事前にユーザが設定した前処理フローに従って、読み込んだ上記多波長写真データの前処理を行い、この前処理を行った上で利用すると好ましい。後述するＡＩ学習部１９に読み込ませる前に、写真のホワイトバランスや彩度、明度、白度などを調整し、読み込ませるデータの撮影時の条件における主として農作物自体に寄らない違いが上記分析パラメータに影響を与えるのを最小限に留めるようにする。

結果予測装置１１のＡＩ学習部１９は、上記結果状態ラベルと関連付けられた上記多波長写真データである上記教師用データ群を読み込む。このとき上記多波長写真データは上記前処理をしてあると好ましい。上記多波長写真データを細分化して、ニューラルネットワークを有する人工知能ソフト２０に対する入力、上記結果状態ラベルを出力とする、教師用データとして、人工知能ソフトを動作させるニューラルネットワークの入出力間の分析パラメータ２１をトレーニングする。上記のニューラルネットワークは多層型のいわゆるディープラーニングに対応していることが望ましい。このトレーニングを出来るだけ多数の教師用データを用いて行い、分析パラメータ２１を調整する。結果予測装置１１はこのようにして調整した分析パラメータ２１を保存し、後述する収穫予測に用いる。

次に、結果予測である収穫予測に関与する構成要素について説明する。結果予測装置１１の予測画像制御部２２は、ネットワークインターフェースを制御する分析画像通信部１３を介して、データ保管装置３１から上記多波長写真データを読み出す。この読み出すデータは、テストでは上記結果状態ラベルの内容が反映している上記多波長写真データである。実際の予測で用いるのは、これから収穫しようとする農作物の個体について撮影された上記多波長写真データである。一度に多数のデータを読み込んでもよいし、収穫予測を得たい全ての上記多波長写真データを一度に読み込んでも良い。

結果予測装置１１のデータ前処理部１８は、収穫予測に用いる上記多波長写真データについても、上記と同様の前処理フローに従って前処理しておくと好ましい。読み込ませるデータ群のホワイトバランスや明度等を、トレーニングに用いたデータ群と同様の条件に調整されていることで、予測精度が向上する。

結果予測装置１１のＡＩ予測部２３は、収穫予測に用いる上記多波長写真データを読み込み、上記の調整した分析パラメータ２１を用いた人工知能ソフト２０への入力を行う。人工知能ソフト２０はその他、ニューラルネットワークの条件である関数や条件値を調整できるように別途入力用のコマンドを提供し、その値を反映させてもよい。入力に対して、人工知能ソフト２０は、上記結果状態ラベルの内容を導出する。この導出された上記結果状態ラベルは、トレーニングに用いた上記結果状態ラベルと同じ属性のパラメータを持つ。すなわち、収穫日までの日数の他に、上記の糖度や水分量、質量などを用いていれば、それらの性質も予測データとして導き出すことができる。導出した上記結果状態ラベルは結果予測装置１１の記憶部２５に保存する。

結果予測装置１１の予測ラベル出力部２４は、記憶部２５に導出された上記結果状態ラベルが保存されたら、その結果を読み込み、成形して出力する。具体的には、付属のモニタやプリンタなどに最適な収穫日とその他の収穫状態の予測を表示、印刷する。

この結果予測装置１１を用いた収穫予測方法の実施形態例を説明する。これらのフローは、撮影ステップと、トレーニングステップと、予測ステップとの三段階に分けられる。

まず、上記の撮影ステップについて図２のフロー例を用いて説明する（Ｓ１０１）。カメラ操作ソフト３を使って農作物個体の撮影を行い、上記多波長写真データを上記撮影日データとともにＨＤＤ等である記憶部４に格納する（Ｓ１０２）。撮影画像制御部６は上記多波長写真データの記憶部４への格納を監視し（Ｓ１０３）、多波長写真データのファイル生成を確認した場合は、撮影画像通信部５を介してデータ保管装置３１に上記多波長写真データを転送する（Ｓ１０４）。

データ保管装置３１の保管領域制御部３３は、保管領域通信部３２を介して上記多波長写真データを受信すると（Ｓ１１１）、学習用画像保管部３５および予測用画像保管部３６への多波長写真データのファイルの振り分けを行う（Ｓ１１２）。振り分け条件は、品種、農作地、撮影日など、特に限定されず、ユーザが任意に設定しておく。例えば、単一種の農作物について、撮影日ごとにフォルダを作成し、その中に上記多波長写真データを格納していく。ユーザは保管領域制御部３３に対し、上記多波長写真データを学習用画像保管部３５と予測用画像保管部３６のいずれに割り振るかを指定しておいてもよい。ここでは、上記教師用データ群に用いる上記多波長写真データであれば学習用画像保管部３５へ格納し（Ｓ１１３）、実際の予測を行うための上記多波長写真データであれば予測用画像保管部３６へ格納する（Ｓ１１４）。

次に上記のトレーニングステップについて図３のフロー例を用いて説明する。まず（Ｓ２０１）、結果予測装置１１は、初期化した分析パラメータ２１を有する人工知能ソフト２０を用意する（Ｓ２０２）。学習画像制御部１２は、分析画像通信部１３を介して保管領域制御部３３に上記教師用データ群の転送要求を送信し、学習用画像保管部３５から上記教師用データ群を受信する（Ｓ２０３）。このとき、結果予測装置１１の計算リソース等の事情に沿って、学習用画像保管部３５に格納されたすべての上記多波長写真データを要求してもよいし、一部の上記多波長写真データのみを要求してもよい。

カラー化処理部１５は、学習画像制御部１２が受信した学習用の多波長画像を赤・緑・青の３色からなるカラー画像に変換し、状態ラベル入力部１６へ転送する（Ｓ２１１）。
なお、この変換では上記３色以外の波長を用いて疑似的なカラー画像を生成しても良いし、すべての波長に適切な重みをつけてより詳細なカラー画像を生成しても良い。状態ラベル入力部１６は、カラー画像をモニタ（図示せず）に表示するとともに（Ｓ２１２）、カラー画像に写っている農作物の個体の収穫日データを含む結果状態ラベルの入力をキーボードなどの入力インターフェース（図示せず）から受け付け（Ｓ２１３）、入力を状態ラベル付加部１７に送信する（Ｓ２１４）。なお、Ｓ２１３の代わりに事前に用意した結果状態ラベルの一覧を入力として読み込んでも良い。

状態ラベル付加部１７は、状態ラベル入力部１６からの上記結果状態ラベルの送信を受けた場合は速やかに学習画像制御部１２に関連付けるべき学習用の上記教師用データ群を要求する（Ｓ２２１）。学習画像制御部１２は、状態ラベル付加部１７からの要求を受けた場合は速やかに上記多波長写真データをデータ前処理部１８に転送する。データ前処理部１８は入力された上記多波長写真データに、予め定めた前処理フローに従って明度等を揃える加工を施し（Ｓ２２２）、状態ラベル付加部へ前処理済み教師用データ群を転送する。状態ラベル付加部１７は、転送された前処理済み教師用データ群に対し上記の結果状態ラベルを付加し（Ｓ２２３）、ＡＩ学習部１９に転送する。

ＡＩ学習部１９は受信した前処理済み教師用データ群と関連付けた結果状態ラベルとをセットで人工知能ソフト２０に導入し、分析パラメータ２１の調整を行う（Ｓ２２４）。教師用データ群として、上記多波長写真データを入力し、出力される結果状態ラベルが収束するまでこれを繰り返し（Ｓ２２５）、最終的に得られた分析パラメータ２１を記憶部２５に保存する（Ｓ２２６）。

そして、上記の予測ステップについて、図４のフロー例を用いて説明する（Ｓ３０１）。予測画像制御部２２は、分析画像通信部１３を介して保管領域制御部３３に予測用画像の転送要求を送信し、予測用画像保管部３６から上記多波長写真データを受信し（Ｓ３０２）、ＡＩ予測部２３に通知する。このとき要求するのは、収穫日を含む上記結果状態ラベルを予測しようとする対象である個体の上記多波長写真データである。平均値をとって予測精度を上げるため、複数のデータを一度に読み込んでもよく、予測用画像保管部３６に格納されたすべての上記多波長写真データを要求してもよいし、一部の上記多波長写真データのみを要求してもよい。

ＡＩ予測部２３は、予測画像制御部２２からの通知に基づき、予測画像制御部２２に予測用の上記多波長写真データを用いるための前処理を要求する。予測画像制御部２２は、ＡＩ予測部２３からの要求を受けた場合は速やかに上記多波長写真データをデータ前処理部１８に転送する。データ前処理部１８は入力された上記多波長写真データに上記前処理フロー（Ｓ２２２）と同じ条件での加工を施し（Ｓ３０３）、ＡＩ予測部２３へ前処理済み予測用画像を転送する。ＡＩ予測部２３は受信した前処理済み予測用画像を人工知能ソフト２０に出力する。入力された前処理済み予測用画像と分析パラメータ２１を使って、人工知能ソフトは収穫予測ラベルの導出を行い（Ｓ３０４）、収穫予測ラベルの出力結果を結果予測装置１１の記憶部２５に保存する（Ｓ３０５）。予測ラベル出力部２４は記憶部２５を監視し、導出された収穫予測ラベルの生成を確認した場合は速やかに出力結果を読み込み、整形してモニタ（図示せず）に出力する（Ｓ３０６）。

この発明にかかる結果予測方法及び結果予測装置の他の実施形態として、インフラの老朽化予測方法、及びそれを実行できる老朽化予測装置が挙げられる。基本的な構成は図１に代表される結果予測装置１１と同様であり、スペクトルカメラ１で撮影する対象物が、老朽化を予測しようとするインフラとなる。ただし、インフラの老朽化にかかる時間は農作物の収穫までの時間よりも長く、月単位、又は年単位での撮影を、間隔を空けて周期的に行う。

撮影するインフラの対象としては、主にコンクリート製の土木インフラの表面を対象とする。トンネルや高架橋、ビルなどの、基本的に屋外にて風雨に曝されて劣化していくものが利用できる。コンクリートに含まれる水分の変化や、内部の鉄筋コンクリートの劣化に伴う金属イオンの溶出などを、コンクリート表面を撮影するスペクトルカメラ１によって情報として認識する。その他、鉄鋼製の鉄塔や橋梁、ワイヤーの表面における錆の進行をスペクトルカメラ１によって情報として認識してもよい。いずれの場合でも、老朽化の終点はそれらのインフラの破損日となる。

農作物の実施形態と同様に、教師用データ群に用いるデータと最終結果日にあたる破損日を予測しようとするデータの保管部を分けてもよいが、インフラの破損の発覚までは長い期間がかかるため、特にどちらに用いるかを限定せずに撮影を続けてデータを蓄積し、実際に破損を起こした対象物のデータを教師用データ群として用いるとよい。教師用データ群として使用できるデータ数が十分に揃ったら、トレーニングステップにより分析パラメータを調整した後に、未だ破損していない対象のデータについて、破損日の予測その他の結果予想となる出力を得る。

１ スペクトルカメラ
２ 撮影用コンピュータ
３ カメラ操作ソフト
４ 記憶部
５ 撮影画像通信部
６ 撮影画像制御部
１１ 結果予測装置
１２ 学習画像制御部
１３ 分析画像通信部
１５ カラー化処理部
１６ 状態ラベル入力部
１７ 状態ラベル付加部
１８ データ前処理部
１９ ＡＩ学習部
２０ 人工知能ソフト
２１ 分析パラメータ
２２ 予測画像制御部
２３ ＡＩ予測部
２４ 予測ラベル出力部
２５ 記憶部
３１ データ保管装置
３２ 保管領域通信部
３３ 保管領域制御部
３４ 保管装置記憶部
３５ 学習用画像保管部
３６ 予測用画像保管部

Claims (2)

1. 結果予測対象である対象物のサンプル群についてスペクトルカメラによって撮影された、撮影日データを含む、赤外域及び可視光域を含む多波長画像である多波長写真データの集合体であって、後日の最終結果日までの残日数が異なるデータが存在するデータ群について、結果状態ラベルを関連付けて教師用データ群を得る状態ラベル付加部を有し、
   上記結果状態ラベルは、後日の最終結果日までの残日数データを含み、かつ、最終結果後に確定するものであり、
   上記教師用データ群を読み込み、上記多波長写真データを入力に、上記結果状態ラベルを出力に設定したニューラルネットワークを有し、入出力間の分析パラメータを調整するＡＩ学習部を有し、
   上記対象物と同種の、最終結果前のサンプルについて撮影された上記多波長写真データを上記ニューラルネットワークに読み込み、調整された上記分析パラメータに従った、上記結果状態ラベルを予測される値として導出するＡＩ予測部
   を有する結果予測装置。
2. 結果予測対象である対象物について、スペクトルカメラによる赤外域及び可視光域を含む多波長画像である多波長写真データを、最終結果前に間隔を空けて複数枚撮影して撮影日データとともに蓄積し、
   予め上記多波長写真データを撮影した上記対象物の最終結果日までのデータを含む結果状態ラベルを、当該対象物の上記多波長写真データと関連付け、
   上記多波長写真データと上記結果状態ラベルとを関連付けた教師用データ群により、上記多波長写真データの入力に対して上記結果状態ラベルを出力する分析パラメータをトレーニングし、
   同種の対象物の最終結果前のサンプルについて、スペクトルカメラにより撮影した赤外域及び可視光域を含む多波長画像である多波長写真データを、上記分析パラメータにより解析して、対応した上記結果状態ラベルを得る結果予測方法。

Images