JP7039766B2 - 現場作業支援システム - Google Patents

Description

本発明は、情報処理システム等の技術に関し、特に、農業を含む現場の作業を支援するための技術に関する。

農業の現場、例えば農作物（対象物、作業対象物、等と記載する場合がある）が栽培される圃場（例えばビニールハウス）等の現場では、作業者によって、例えばトマト等の農作物を収穫する作業、および収穫した農作物を出荷する作業等が行われている。社会的課題として、農業等の現場における作業者の不足、作業者のスキルや経験等の不足、作業の負担や効率等がある。そこで、ＡＩ（人工知能）等を含むＩＴ技術を用いて農業等の現場の作業を支援するための仕組みが検討されている。

また、近年では、スマートフォンやスマートウォッチ等の他、スマートグラスを含むヘッドマウントディスプレイ（ＨＭＤ）等の技術が進展している。そこで、ＨＭＤ等の装置（スマートデバイス）を用いて、現場の作業を支援するための仕組みも検討されている。

上記に係わる先行技術例として、特許第６２６７８４１号公報（特許文献１）が挙げられる。特許文献１には、ウェアラブル端末表示システム等として、ウェアラブル端末の表示板に農作物の収穫時期を表示する旨が記載されている。

特許第６２６７８４１号公報

農業等の現場において、収穫や出荷の作業を行う作業者が、熟練者ではなく、未習熟者や低熟練者である場合、どの農作物を収穫や出荷すべきか等について判断しにくい場合があり、作業に難しさがある場合がある。作業者の作業の負担が大きく、作業の効率がよくない。就労者の人手不足、熟練者の不足、未習熟者への教育コスト等の課題もある。本発明は、ＡＩおよびスマートデバイス等を含むＩＴ技術を用いて、農業等の現場の作業を好適に支援することができる仕組みを提供する。

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の現場作業支援システムは、農業を含む現場の作業を支援するための現場作業支援システムであって、作業者に装着または携帯される作業者端末を備え、前記作業者端末は、カメラを用いて前記作業者の視界における農作物を含む作業対象物を撮影した第１画像を含む第１データを取得し、前記作業者端末または前記作業者端末に接続される計算機システムは、前記第１データを入力として、前記作業対象物の第２画像の学習が反映された第２データに基づいて前記作業対象物の状態を認識し、認識結果に基づいて前記作業を支援するための第３データを取得し、前記作業者端末は、前記第３データに基づいて前記作業者に対し前記作業を支援するための出力として、前記視界に対応付けられる前記第１画像内に前記作業対象物が有ること、を伝える出力を含む出力を行う。

本発明のうち代表的な実施の形態によれば、ＡＩおよびスマートデバイス等を含むＩＴ技術を用いて、農業等の現場の作業を好適に支援することができ、例えば営農のコストを低減し、効率を向上でき、未習熟者でも収穫や出荷の作業を容易に行うことができる。

本発明の実施の形態１の現場作業支援システムの構成を示す図である。 実施の形態１で、作業者端末の機能ブロック構成を示す図である。 実施の形態１で、上位システムとの連携を含むシステム構成例等を示す図である。 実施の形態１で、作業支援機能の処理概要等を示す図である。 実施の形態１で、予測支援機能の処理概要等を示す図である。 実施の形態１で、病害虫判別支援機能の処理概要等を示す図である。 実施の形態１の変形例における、作業支援機能の処理概要等を示す図である。 実施の形態１で、成熟度の規定例を示す図である。 実施の形態１で、トマトの色見本の例を示す図である。 実施の形態１で、きゅうりの型見本の例を示す図である。 実施の形態１で、ＡＩ機能に関する構成を示す図である。 実施の形態１で、認識結果の例を示す図である。 実施の形態１で、収穫作業支援表示の第１例を示す図である。 実施の形態１で、収穫作業支援表示の第２例を示す図である。 実施の形態１で、収穫作業支援表示の第３例を示す図である。 実施の形態１で、収穫作業支援表示の第４例を示す図である。 実施の形態１で、収穫作業支援表示の第５例を示す図である。 実施の形態１で、収穫作業支援表示の第６例を示す図である。 実施の形態１で、出荷作業支援の際の画像例を示す図である。 実施の形態１で、出荷作業支援表示の第１例を示す図である。 実施の形態１で、出荷作業支援表示の第２例を示す図である。 実施の形態１で、圃場の俯瞰の構成例を示す図である。 実施の形態１の変形例における、圃場の俯瞰の構成例を示す図である。 本発明の実施の形態２の現場作業支援システムにおける、実績検出部の構成を示す図である。 実施の形態２で、画像例その１を示す図である。 実施の形態２で、画像例その２を示す図である。 実施の形態２で、画像例その３を示す図である。 実施の形態２で、画像例その４を示す図である。 実施の形態２で、画像例その５を示す図である。 実施の形態２の変形例における被収穫判定部の構成を示す図である。 実施の形態２の変形例における相対位置関係の模式図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１～図２３を用いて、本発明の実施の形態１の現場作業支援システムについて説明する。

［現場作業支援システム］
実施の形態の現場作業支援システムは、主に、作業者端末１と、サーバ２（サーバ２を含む計算機システム）とを有する。本システムを利用する人としては、作業者Ｗ１、指示者Ｗ２がいる。作業者Ｗ１は、スマートデバイス（言い換えると可搬型情報機器）である作業者端末１を使用する。作業者端末１は、現場で作業者Ｗ１が使用する携帯端末１Ａやウェアラブル端末１Ｂである。作業者Ｗ１は、携帯端末１Ａを携帯するか、ウェアラブル端末１Ｂを装着する。作業者Ｗ１は、携帯端末１Ａとウェアラブル端末１Ｂの一方または両方を使用する。携帯端末１Ａは、例えばスマートフォンやタブレット端末である。ウェアラブル端末１Ｂは、例えばスマートウォッチやスマートグラスを含むＨＭＤである。作業者端末１は、作業支援機能４１を備える。作業支援機能４１は、サーバ２の機能との連携で、作業者Ｗ１に対し作業支援情報を出力する機能である。

作業者Ｗ１は、農業等の現場、例えば圃場（ビニールハウス等）において、農作業として農作物の収穫作業や出荷作業を行う就労者である。作業者Ｗ１は、外国人就労者や学生でもよい。作業者Ｗ１は、熟練者でもよい。指示者Ｗ２は、作業者Ｗ１に対して農作業に係わる指示を行う人であり、例えば営農家における雇用者、あるいはＪＡ（農業協同組合）等の人である。作業対象物３は、農作物であり、作業支援の対象物であり、具体例はトマトやきゅうりである。

なお、ＪＡは、営農の指導、管理、サポート、購買等の事業を行っている。ＪＡは、各農家の各農産物の収穫や出荷の状態（実績や予測等）をなるべく高精度に把握したい。しかしながら、従来では、ＪＡは、そのための手間やコストが大きくかかっている。

本システムは、作業者Ｗ１のスマートデバイス（作業者端末１）を用いて、作業者Ｗ１による作業を支援する。作業者Ｗ１は、作業者端末１を介して作業対象物３を見る。作業者端末１は、作業対象物３を含む画像を撮影する。本システムは、作業者端末１の画像を取得して、作業支援に用いる。本システムは、作業者端末１の画像を通じて、作業対象物３の状態をリアルタイムで判断し、作業誘導等の作業支援を提供する。本システムは、作業者端末１を通じて作業者Ｗ１に対し作業支援情報を出力する。出力は、画像表示に限らず、音声出力、振動や光による出力を含む。

本システムは、少なくとも、農作物（特に青果）の選別を含む収穫作業や出荷作業の際に適用できる。選別とは、例えば、農作物についての成熟度、等級、実寸、形状、病虫害の状態等の判断や選別である。出力する作業支援情報は、少なくとも、作業者Ｗ１の視界に見える農作物について、収穫が可能か否かの区別、あるいは収穫すべきか否かの区別等の、収穫支援情報（言い換えると収穫対象指示情報、収穫対象判別支援情報等）を含む。

本システムは、作業者Ｗ１が作業者端末１を携帯または装着するだけで容易に使用できる。作業者Ｗ１が、熟練者ではなく、作業のスキルや経験が低い未習熟者（初心者、低習熟者等）である場合でも、作業支援に従って、容易に収穫や出荷の作業ができる。本システムは、上記作業支援によって、熟練者のスキル・経験・ノウハウ等を、未習熟者に対し効率的に提供し、教育を図ることができる。未習熟者は、作業に係わるスキル等を向上できる。

本システムは、作業に係わる熟練者のスキル・経験等を、ＡＩ機能２０によって学習として実装および反映し、作業者Ｗ１に作業支援として提供する。本システムは、作業者端末１と連携するサーバ２等の計算機システムにおいてＡＩ機能２０等を有する。ＡＩ機能２０は、画像解析や機械学習等を含む機能である。ＡＩ機能２０の例としては、深層学習等の機械学習を用いる。ＡＩ機能２０は、作業対象物３の画像データを入力して機械学習を行う。画像は、作業者端末１のカメラで実際に農作物を撮影した画像でもよいし、後述の色見本等の画像でもよい。ＡＩ機能２０は、入力画像を学習することで、認識に係わる学習モデルを更新する。

ＡＩ機能２０は、入力画像から、画像内に写っている農作物の成熟度等の状態を認識し、認識結果を出力する。作業者端末１は、ＡＩ機能の認識結果を用いて、作業者Ｗ１に対し、作業支援情報、例えば収穫作業支援情報を出力する。作業者端末１は、例えば収穫対象物を表す画像を表示面５に表示する。作業者Ｗ１は、この作業支援情報に従って、収穫等の作業を容易に行うことができる。

スマートフォン等の携帯端末１Ａは、タッチパネル等の表示面５、およびカメラ６等を備える。カメラ６は、インカメラ６１やアウトカメラ６２がある。作業者Ｗ１は、カメラ６を用いて作業対象物３を撮影する。携帯端末１Ａの表示面５には、作業支援情報等が表示される。また、携帯端末１Ａは、作業支援情報に対応する音声をスピーカから出力し、作業支援情報に対応する振動や光を制御する。

ＨＭＤ等のウェアラブル端末１Ｂは、表示面５およびカメラ６等を備える。カメラ６は、視線検出用のカメラや測距センサ用のカメラ等を含む。ウェアラブル端末１Ｂは、ＨＭＤ等の場合には、本体と通信する操作器９も付属する。作業者Ｗ１は、操作器９を手に持って操作することもできる。表示面５は、透過型でもよいし、非透過型（ＶＲタイプ）でもよい。ＨＭＤの表示面５は、ユーザの視界の範囲に対応し、現実空間の作業対象物３の実像上に、作業支援情報に対応するＡＲ等による画像（仮想画像等と記載する場合がある）が重畳表示される。

事業者のサーバ２、ＤＢ、およびＰＣ等を含む計算機システムは、管理機能４０やＡＩ機能２０を備える。管理機能４０は、ユーザである複数の作業者Ｗ１や指示者Ｗ２、および複数の圃場等の現場について、情報を登録し、管理する機能である。例えば、ある営農家が複数の作業者Ｗ１や複数の圃場を有する場合には、管理機能４０は、それらの情報をまとめて管理する。本システムは、例えば通信網上のデータセンタやクラウドコンピューティングシステム等のサーバ２等で実装できる。作業者端末１は、通信網を介してサーバ２等と通信し連携する。サーバ２等は、各ユーザのデータを管理、集積、共有等し、各現場および各作業者Ｗ１に対する支援を行う。本システムは、作業者端末１とサーバ２等を含む計算機システムとで処理を分担する。分担の形態は各種が可能であり、実施の形態１では一例を示す。実施の形態１では、特に、計算処理負荷が比較的大きいＡＩ機能２０の処理について計算機システムが担当する。

本システムは、作業者端末１を通じて画像に基づいて、収穫や出荷の作業支援だけでなく、後述の他の支援も行う。本システムは、他の支援として、農作物の病害虫の状態の検知や対処支援を行う。本システムは、支援情報として、病害虫判別支援情報、農薬散布判断情報等を提供する。また、本システムは、他の支援として、農作物の収穫量（または出荷量）の予測を支援する。本システムは、支援情報として、収穫見込量等の予測情報を提供する。

［作業者端末１］
図２は、作業者端末１の機能ブロック構成を示す。本例では、作業者端末１がスマートグラスを含むＨＭＤである場合を示す。作業者端末１は、プロセッサ１０１、メモリ１０２、表示デバイス５０、カメラ６、センサ７、通信デバイス８０、マイク８１、スピーカ８２、操作ボタン８３、バッテリ８４を備え、これらはバス等を介して相互に接続されている。作業者端末１は、操作器９を含み、通信デバイス８０と操作器９とで通信を行う。

プロセッサ１０１は、作業者端末１の全体および各部を制御する。作業者端末１は、プロセッサ１０１を含むハードウェアおよびソフトウェアを用いて構成される処理部として、撮影部１１、対象物認識部１２、対象選択部１３、表示制御部１４、音声通知部１５、振動通知部１６、光通知部１７等を有する。

メモリ１０２には、プロセッサ１０１が扱うデータや情報が記憶されている。メモリ１０２には、制御プログラム１１０、アプリケーションプログラム１２０、設定情報１３０、撮影画像データ１４０、仮想画像データ（言い換えると作業支援データ）１５０等が格納されている。制御プログラム１１０は、作業支援機能４１等を実現するプログラムである。アプリケーションプログラム１２０は、ＨＭＤに元々備える各種のプログラムである。設定情報１３０は、システム設定情報やユーザ設定情報である。撮影画像データ１４０は、カメラ６で撮影した画像のデータである。仮想画像データ１５０は、表示面５に作業支援情報の画像を表示するためのデータである。

表示デバイス５０は、例えば、投射型表示デバイスであり、表示面５を構成するレンズ面に対し画像を投射表示する。なお、投射型表示デバイスに限らず適用可能である。表示デバイス５０は、携帯端末１Ａの場合にはタッチパネル等である。カメラ６は、ユーザである作業者Ｗ１の視界の正面方向を撮影する１個以上のカメラを含む。カメラ６は、視線検出センサを構成するカメラや、測距センサを構成するカメラを含む。センサ７は、公知のＧＰＳ受信機、地磁気センサ、加速度センサ、ジャイロセンサ等が挙げられる。作業者端末１は、センサ７の検出情報を用いて、作業者端末１または作業者Ｗ１の位置、方向、加速度等を検出し、制御に利用する。

通信デバイス８０は、各種の通信インタフェースに対応し、サーバ２との無線通信や操作器９との近距離通信等を行う部分である。マイク８１は、複数のマイクを含んでもよく、音声を入力し録音する音声入力装置である。スピーカ８２は、複数のスピーカを含んでもよく、音声を出力する音声出力装置である。操作ボタン８３は、作業者Ｗ１の入力操作を受け付ける。バッテリ８４は、充電に基づいて各部に電力を供給する。

［システム構成例および各機能］
図３は、図１の実施の形態１の現場作業視線システムと上位システムとの連携を含むシステム構成例、および上位システムの各機能の構成概要について示す。図３のシステム構成例は、作業者端末１およびサーバ２に加え、指示システム２０１、予測システム２０２、および生育管理システム２０３を有する。指示システム２０１、予測システム２０２、および生育管理システム２０３の構成内容については特に限定しない。図３の構成例は、事業者のサーバ２を含む計算機システムにおいて、指示システム２０１、予測システム２０２、および生育管理システム２０３が実装されている場合を示す。言い換えると、計算機システムに指示システム２０１等が内蔵されている。これに限らず、サーバ２を含む計算機システムに対し、外部に指示システム２０１等の上位システムが通信で接続されてもよい。

指示システム２０１は、収穫指示システムや出荷指示システムを含む。指示システム２０１は、指示者Ｗ２からの作業指示の入力を受け付ける。その作業指示は、例えば収穫作業指示として、成熟度の指定あるいは等級の指定等を伴う指示である。指示システム２０１は、指示者Ｗ２からの作業指示に基づいて、作業支援機能４１に対する作業指示を構成して与える。その作業指示は、作業支援情報のための表示対象情報を含む。例えば、成熟度の指定がある場合に、表示対象情報は、指定された成熟度に該当する収穫対象物を表す情報である。

本システムでは、現場の作業者Ｗ１以外の人を指示者Ｗ２として、本システム（例えばサーバ２または作業者端末１）に対し作業指示を行うことができ、その作業指示に合わせた作業支援情報（または作業指示情報）を生成し出力することができる。この作業支援情報（または作業指示情報）は、例えば収穫対象物を直接的に指定する情報である。上位の指示者Ｗ２からの作業指示は、例えば収穫対象物を間接的に表現する情報であり、例えば成熟度等を指定する情報である。ある成熟度が指定された場合、その成熟度の状態に該当する全農作物が収穫対象ということになる。このような作業指示は、出荷作業時に等級や実寸等を指定する場合にも同様に適用できる。本システムは、指示システム２０１を通じて、指示者Ｗ２からの作業指示に合わせた収穫対象指示等を作業支援として行うことができ、これにより、現場で作業者Ｗ１が収穫等を迷わないように、または迷い難くすることができる。

作業支援機能４１は、より詳しくは、収穫作業支援機能４１Ａと出荷作業支援機能４１Ｂとを含む。収穫作業支援機能４１Ａは、収穫作業時に支援を出力する機能である。出荷作業支援機能４１Ｂは、出荷作業時に支援を出力する機能である。作業支援機能４１は、指示システム２０１からの作業指示情報に従って、作業支援情報を出力する。例えば、作業支援機能４１は、作業支援の画像を表示面５に表示する。この画像は、作業対象を表す画像や、選別支援のための画像である。作業支援機能４１は、作業者端末１の位置等も把握する。

予測システム２０２は、収穫見込量や出荷見込量等を予測するシステムである。予測システム２０２は、収穫予測システムおよび出荷予測システムを含む。作業者端末１は、予測支援機能４２を備える。予測支援機能４２は、予測システム２０２と連携する。予測支援機能４２は、作業支援機能４１で処理された認識結果等の情報を利用し、現在時点の対象物の数量（例えば成熟度毎の数量）等の情報を、予測システム２０２に送信する。予測システム２０２は、その情報を用いて、収穫見込量等を予測し、予測結果である予測情報を出力する。予測システム２０２は、予測情報を例えば指示者Ｗ２またはＪＡ等のシステムに対し出力する。また、予測システム２０２は、予測情報を作業者端末１に応答してもよい。予測支援機能４２は、その予測情報を収穫予測として表示面５に出力してもよい。

予測支援システム４２は、認識結果における現在時点の対象物の数量（認識量）等の情報を用いて、所定の処理を行うことで、収穫実績等を把握してもよい。本システムは、作業支援を伴う農作物の収穫や出荷の作業に伴い、対象物の数量がわかるため、収穫や出荷の実績を情報として計測できる。本システムは、その実績情報を記録し、上位システムまたは指示者Ｗ２等に出力してもよい。

生育管理システム２０３は、圃場の農作物の生育管理を行うシステムである。生育管理システム２０３は、病害虫判断システムおよび農薬散布判断システムを含む。作業者端末１は、病害虫判別支援機能４３を備える。病害虫判別支援機能４３は、生育管理システム２０３と連携する。病害虫判別支援機能４３は、作業支援機能４１で処理された認識結果等の情報を利用し、対象物の病害虫の状態に関する情報を、生育管理システム２０３に送信する。生育管理システム２０３は、その情報を用いて、農薬散布や施肥や除去等の対処を判断し、対処情報を出力する。対処情報は、例えば農薬散布指示情報を含む。生育管理システム２０３は、対処情報を例えば指示者Ｗ２またはＪＡ等のシステムに対し出力する。生育管理システム２０３は、対処情報を作業者端末１に応答してもよい。作業者端末１は、病害虫の状態を表す作業支援情報を表示面５に対し出力する。また、作業者端末１は、生育管理システム２０３からの対処情報に基づいて、農薬散布指示等の作業支援情報を表示面５に対し出力する。なお、ＡＩ機能２０の機械学習の学習モデルは、対象物の位置、成熟度、等級、および病害虫の状態等をまとめて認識（推定等）することが可能である。他の形態では、ＡＩ機能２０は、成熟度や病害虫の状態毎に、別の機械学習の学習モデルを用いてもよい。

［作業支援機能］
図４は、作業者端末１とサーバ２との連携の構成における、作業支援機能４１の処理概要を示す。作業者Ｗ１の作業に伴い、作業者端末１の撮影部１１は、カメラ６を用いて、作業対象物３を撮影し、画像（対応する画像データ）を得る。画像は静止画や動画を含む。撮影部１１は、画像を撮影画像データ１４０として格納する。撮影は、可視光による写真撮影である。また、作業者端末１は、撮影の際に、画像だけでなく、センサ７等を用いて、日時、位置、方向等の情報を取得する。位置は、例えばＧＰＳ受信器による測位で取得できる位置情報（例えば緯度および経度）であるが、これに限らず、他の測位手段で取得する位置としてもよい。方向は、作業者Ｗ１の正面方向、作業者端末１の正面方向、およびカメラ６の撮影方向等に対応し、例えば地磁気センサまたは視線検出センサで計測できる。

対象物認識部１２は、撮影部１１からの画像を受け取り、ＡＩ機能２０を用いて、作業対象物３の状態に関する認識処理を行い、認識結果を得る。対象物認識部１２に入力される画像データ（入力画像）は、画像のＩＤ、日時、位置、方向等の情報を伴う。対象物認識部１２は、入力画像を要求と共にＡＩ機能２０に送信する。ＡＩ機能２０は、計算機システムにおいて構成されている画像解析や機械学習のモジュールを含む。機械学習は、学習モデルを含み、例えば深層学習を使用する。ＡＩ機能２０は、入力画像から認識処理を行い、認識結果を出力する。認識結果は、画像内での各対象物の位置、成熟度等の状態の情報を含む。ＡＩ機能２０は、認識結果を含む応答を作業者端末１の対象物認識部１２へ送信する。対象物認識部１２は、認識結果を記憶し、対象選択部１３へ渡す。

対象選択部１３は、対象物認識部１２の認識結果から、一部の情報を、表示対象として選択する。言い換えると、対象選択部１３は、認識結果から、一部の情報を、抽出、限定、絞り込み、またはフィルタリング等を行う。対象選択部１３は、認識結果の情報をすべて使用するのか、または一部の情報を使用するのか等を選択する。対象選択部１３は、例えば、成熟度や等級を用いて選択を行うことができる。対象選択部１３は、例えば、ユーザ設定またはユーザ指示に応じて選択を行うことができる。選択される一部の情報は、例えば、収穫対象物のみの収穫指示情報であり、その収穫指示情報は、例えば収穫対象物を表す画像を含み、非収穫対象物を表す画像を含まない。

対象選択部１３は、指示システム２０１からの作業指示がある場合には、その作業指示に従って選択を行う。対象選択部１３は、指示システム２０１からの作業指示に基づいて、例えば収穫対象の成熟度に該当する対象物のみを通知できるように、認識結果からの選択を行う。指示システム２０１は、例えば指示者Ｗ２からの作業指示に対応する収穫対象情報を対象選択部１３へ与える。この作業指示（収穫対象情報）は、例えば、収穫対象の成熟度の指定を含む収穫指示情報であり、例えば「収穫対象は成熟度３以上のトマト」等の情報である。他の例は「成熟度が１のトマトを収穫してください」等である。なお、指示者Ｗ２または指示システム２０１において指定される成熟度等は、任意の仕組みで決められる。一例は、出荷計画や受注情報等に基づいて、輸送距離等を考慮して、成熟度等が決められる。

表示制御部１４は、携帯端末１Ａの場合には、撮影部１１によって得た画像内に、対象選択部１３からの選択結果の位置および成熟度等を表す画像（仮想画像）を描画する。表示制御部１４は、ウェアラブル端末１Ｂの場合には、選択結果の位置および成熟度等を表す画像（仮想画像）を、表示面５において重畳表示する。

また、表示制御部１４と連携する処理部として、音声通知部１５、振動通知部１６、光通知部１７を有する。音声通知部１５は、作業支援のための音声をスピーカ８２から出力する。振動通知部１６は、作業支援のための振動を出力する。光通知部１７は、作業支援のための発光を制御する。

［予測支援機能］
図５は、作業者端末１とサーバ２との連携の構成における、予測支援機能４２の処理概要を示す。特に、収穫見込量予測支援を行う場合を説明する。作業者端末１は、前述の撮影部１１等に加え、対象圃場選択部２１、認識結果集計部２２、および認識結果送信部２３を有する。対象圃場選択部２１は、作業前に、収穫見込量予測のためのデータ収集を行う対象となる圃場（対応するエリア）を選択する。対象圃場選択部２１は、サーバ２のＤＢ２５０から圃場情報を参照することで、対象圃場を選択する。なお、サーバ２に対象圃場選択部２１を有してもよい。ＤＢ２５０は、複数の営農者および複数の圃場等を対象としてデータ収集を行うためのＤＢであり、圃場一覧を含む圃場情報等が格納されている。

撮影部１１や対象物識別部１２は、前述と同様の構成である。対象物識別部１２は、入力画像等に基づいて、ＡＩ機能２０と連携し、ＡＩ機能２０からの出力である認識結果を受け取る。この認識結果には、画像内の対象物の位置や数量や成熟度等の情報が含まれている。認識結果集計部２２は、対象物識別部１２からの認識結果を受け取り、認識結果における対象物の数量を、成熟度別の数量として集計する。認識結果送信部２３は、認識結果集計部２２からの集計結果情報および対象圃場選択部２１からの対象圃場情報を受け取り、それらを合わせた送信情報を作成し、サーバ２の予測システム２０２へ送信する。

この送信情報は、予測用の情報であり、例えば「２０１９年１月５日，圃場Ａ，成熟度１：１０個，成熟度２：１００個」といったように、現在日時、対象圃場、認識および計測された成熟度別の対象物の数量（認識量）の情報を含んでいる。予測システム２０２は、この送信情報を受け取って、ＤＢに集積し、対象圃場における未来日時での収穫見込量を予測する。予測時間単位については、例えば１日、１週、１月等が適用できる。予測結果情報は、例えば「２０１９年１月１２日，圃場Ａ，成熟度１：１５個，成熟度２：１５０個」といったように、未来日時、対象圃場、および成熟度別の収穫見込量、等の情報を含む。予測システム２０２は、例えば、時系列の履歴における送信情報の数量、現在時点での天候および天候予報等を用いて、未来日時の収穫見込量を予測する。この予測処理の仕組みや論理については特に限定しない。

予測システム２０２は、予測結果の情報を、上位システムまたは指示者Ｗ２、あるいは作業者Ｗ１等に提供する。例えば、ＪＡ等の人や上位システムは、収穫見込量等の予測情報を容易に得ることができる。これにより、ＪＡ等は、従来の圃場調査工数を低減でき、予測精度を向上できる。ＪＡ等は、各営農家の各農産物の収穫や出荷の状態（実績や予測等）をなるべく高精度に把握することができる。

［病害虫判別支援機能］
図６は、作業者端末１とサーバ２との連携の構成における、病害虫判別支援機能４３の処理概要を示す。作業者端末１は、前述の撮影部１１等に加え、対象圃場選択部２１、および認識結果送信部２３を有する。この構成では、対象物識別部１２およびＡＩ機能２０は、前述の機能に加え、病害虫の状態に関する認識機能を備えている。対象物識別部１２は、撮影部１１からの画像と、日時、位置、および方向等の情報とを受け取る。対象物識別部１２は、それらの情報をＡＩ機能２０に入力する。ＡＩ機能２０は、対象物の位置等に加え、対象物の病害虫の有無や種類等の状態を認識し、認識結果を対象物識別部１２に応答する。認識結果は、日時、対象圃場、位置（作業者Ｗ１および作業者端末１の位置）、病害虫の有無や種類、画像内での対象物の位置に対応付けられた病害虫の位置、等の情報を含む。なお、病害虫は、青果の部分のみに生じるとは限らず、茎や葉等の部分にも生じ得る。認識結果は、その場合の情報も含む。なお、農作物が熟しすぎて腐敗した場合、除去の対象となる。ＡＩ機能２０によってそのような状態も認識できる。

認識結果送信部２３は、対象物識別部１２からの認識結果を受け取り、対象圃場、位置（作業者Ｗ１および作業者端末１の位置）、および病害虫の状態に関する認識結果情報等を含む所定の送信情報を作成し、サーバ２の生育管理システム２０３へ送信する。サーバ２の生育管理システム２０３は、送信情報に基づいて、病害虫の状態に対処するための対処支援情報を作成し、指示者Ｗ２または上位システムへ送信する。サーバ２の生育管理システム２０３は、その対処支援情報を作業者端末１へ応答してもよい。対処は、農薬散布に限らず、施肥、除去等であってもよい。対処支援情報は、農薬散布指示情報を含む。農薬散布指示情報は、対象圃場内の農薬散布すべき位置または領域等の農薬散布箇所を指定する情報と、農薬の種類および散布量を指定する情報とを含む。

本システムは、指示者Ｗ２またはＪＡ等の人あるいは作業者Ｗ１は、圃場における農薬散布等の対処が必要な箇所を把握でき、対処漏れを防止できる。指示者Ｗ２等は、農薬散布箇所や散布量を抑制でき、効率的で低コストの対処が可能であり、農作物の品質等を向上できる。対処情報には、農作物の間引きの指示を含めてもよい。例えば、ある茎に対し、複数の対象物が結実しているが、一部に病害虫が生じているとする。生育管理システム２０３は、そのような状態を考慮し、間引き（対応する除去）を行うべき農作物を判断し、対処情報として与える。

［作業支援機能－変形例］
図７は、図４の作業支援機能４１に関する変形例の構成を示す。この変形例では、対象選択部１３は、サーバ２に設けられている。サーバ２のＡＩ機能２０は、対象物認識部２１からの画像等を入力し、認識処理を行い、認識結果を対象選択部１３に与える。対象選択部１３は、ＡＩ機能２０からの認識結果に対し、指示システム２０１からの作業指示情報等に従って、全部または一部の選択を行い、選択結果を対象物認識部１２へ送信する。このような構成でも、類似の効果が得られる。なお、対象選択部１３での選択に関してユーザ設定を行う形態も可能である。

［作業支援情報出力方式］
実施の形態１の現場作業支援システムにおいて、作業者端末１であるスマートデバイスは、前述のＡＩ機能２０の認識結果に基づいて、表示面５に作業支援情報を表示して作業者Ｗ１に伝達することができる。本システムは、その場合に作業者Ｗ１にとってわかりやすいように、および作業者Ｗ１が収穫等の判断をしやすいように、作業支援の表示を工夫する。作業者端末１の表示制御部１４は、表示面５に収穫対象物等を表す画像を表示する際に、表示態様を制御する。作業者端末１は、例えば、作業者Ｗ１の視界に対応する表示面５の範囲において、対象選択部１３を用いて選択を行うことで、収穫対象物のみを強調表示することができる。作業者端末１またはサーバ２は、対象選択部１３を用いて、出力候補となる作業支援情報から一部の情報のみを選択（フィルタリング等）する。また、作業者端末１は、作業者Ｗ１および作業者端末１の近傍に収穫対象物が存在する場合（例えば所定の距離範囲内の場合）、画像表示、音声出力、振動または光の出力等によって、通知や作業誘導等を行うことができる。

作業者Ｗ１は、ビニールハウス等の圃場において、農作物、栽培土壌、器具等に対する作業を行う。作業の動作は、例えば両手で農作物を持って収穫する動作等が挙げられる。そのため、作業者Ｗ１は、基本的には両手を使用する時間が多く、それ以外の作業（例えばＩＴ機器を操作する作業）のために手を離すことはなるべくしたくない。本システムは、例えば携帯端末１Ａの表示面５へ作業支援の画像を表示する。ただし、この場合、作業者Ｗ１が手に携帯端末１Ａを持って表示面５を見る必要はある。そのため、本システムでの出力方式は、物理的な表示面５への画像表示には限定せず、他の手段も提供する。本システムは、ウェアラブル端末１ＢのＡＲ等の仕組みを用いて、作業者Ｗ１の視界に対し作業支援情報を重畳表示することができる。その場合、作業者Ｗ１の手を自由にしやすく、作業者Ｗ１は作業がしやすい。また、本システムは、このような表示手段に限らず、作業者Ｗ１の手が空いていない場合でも、音声、振動、光等を用いて、作業支援情報を伝達することができる。

［成熟度］
作業対象物３となる農作物は、種別毎に、成熟度、等級、サイズ（実寸）等が規定されている場合がある。等級は、言い換えれば、品質に関する分類である。図８は、農作物がトマトである場合における成熟度に関する規定の例を示す。本例では、成熟度として１～６がある。この成熟度は、１が最も高く、６が最も低い。また、作業指示に応じた成熟度閾値の例として成熟度３以上とする場合を示す。この場合、成熟度１～３は、閾値以上であるため、例えば収穫対象物となり、成熟度４～６は、閾値未満であるため、非収穫対象物となる。このような成熟度（および後述の等級等）の規定は、農作物の種別や地域（例えば県）に応じて異なる設定とすることができる。なお、収穫対象となる成熟度としては、１～６のいずれの成熟度も、収穫対象となる場合がある。収穫対象となる成熟度は、例えば輸送距離や用途やニーズ等を鑑みて決められる。成熟度が５や６の物も収穫対象となる場合がある。

［色見本］
図９は、農作物がトマトである場合における色見本（言い換えると成熟度の基準）の画像例を示す。この色見本の画像例では、用紙において、成熟度＝１～６の６種類のトマトの実画像例が比較可能なように並列で記載されている。ＡＩ機能２０は、予め、このような色見本の画像を入力（言い換えると教師データ）として、認識のための機械学習を行う。これにより、ＡＩ機能２０の学習モデルは、トマトの成熟度に関する認識が可能となる。対象の業界において、予め、農作物等の対象物の色見本や型見本（形状等の基準）が用意されており、それらを機械学習に利用できる。

［等級］
図１０は、農作物がきゅうりである場合における等級に関する規定の例を示す。サイズ（実寸）に関しても同様に規定がある。本例では、型見本において規定されている等級としてＡ，Ｂ，Ｃがある。等級Ａは、形状が直線に近い個体が該当する。等級Ｂは、形状にある程度までの曲がりがある場合（等級Ｂ１）や、先端部の肩落ちがある場合（等級Ｂ２）の個体が該当する。等級Ｃは、等級Ｂよりもさらに形状に歪がある場合等が該当する。

ＡＩ機能２０は、予め、等級毎の個体の見本の画像を入力し、等級に関して機械学習を行う。これにより、ＡＩ機能２０の学習モデルは、きゅうりの等級に関する認識が可能となる。同様に、ＡＩ機能２０は、農作物の実寸に関して、機械学習に基づいて認識が可能となる。また、ＡＩ機能２０は、画像内の対象物のサイズと、測距センサを用いて検出した距離とを用いて、対象物の実寸を計算してもよい。

［ＡＩ機能］
図１１等を用いて、ＡＩ機能２０について補足する。図１１は、ＡＩ機能２０についての説明図を示す。作業者端末１は、撮影部１１によって、被写体として作業対象物３の農作物を含む画像を取得する。画像１１１は、入力画像例を示し、例えば３個のトマト等が写っている。この画像１１１には、ＩＤ、日時、位置、方向等の情報を伴う。作業者端末１は、入力画像１１１を対象物認識部２２に入力する。対象物認識部２２は、入力画像１１１等のデータをＡＩ機能２０に送信する。なお、対象物認識部２２内にＡＩ機能２０を含む構成でもよい。対象物認識部２１またはＡＩ機能２０は、画像を含むデータを入力し、対象物に関する認識処理を行い、認識結果を含むデータを出力する。

出力のデータにおける認識結果１１２は、画像１１１内における対象物のＩＤ、種別、成熟度、位置または領域の情報を含む。種別は、例えばトマト、きゅうり等の農産物の分類の推定値である。図１１の認識結果１１２は、例えば個体１１１ａに関する情報の例を示す。個体１１１ａに対応する対象物のＩＤが００１であり、種別がＡ（トマト）であり、成熟度が３である。対象物の位置がＬ１である。対象物の位置Ｌ１は、位置座標等で表される。対象物の位置に対応する領域は、矩形や円形の領域で表されてもよい。領域が円形領域である場合には、中心点座標（ｃｘ，ｃｙ）および半径（ｒ）等で表されてもよいし、楕円領域の場合には楕円率等で表されてもよい。領域が矩形領域である場合には、例えば左上および右下の２点の座標｛（ｘ１，ｙ１），（ｘ２，ｙ２）｝で表されてもよいし、中心点座標と幅と高さ等で表されてもよい。

なお、病害虫判別支援の場合には、出力の認識結果は、病害虫の位置、種別等の情報を含む。出力のデータは、成熟度に限らず、農作物の等級、実寸等の情報を含んでもよい。成熟度や等級は、前述の見本に基づいた認識結果として得られる。

対象物認識部１２およびＡＩ機能２０の認識処理の詳細例は以下の通りである。ＡＩ機能２０は、画像（静止画、動画、またはカメラのストリーミング映像等）を入力する。ＡＩ機能２０は、入力画像データの形式が動画である場合には、その動画から１画像フレームずつ順に切り出して、認識処理対象となる画像フレーム（すなわち静止画）として入力する。ＡＩ機能２０は、入力画像フレームについて、その画像内の対象物の種別、位置、成熟度等を認識し、認識処理結果を出力する。

図１２は、ＡＩ機能２０の認識結果の出力の具体構成例を示す。図１１の画像１１１に対応する入力画像フレームは、例えば横（ｘ）が１２８０画素、縦（ｙ）が７２０画素を有する。画像フレームの左上の画素を原点として位置座標（ｘ，ｙ）＝（０，０）とする。この画像１１１の例では、対象物として例えば３個のトマト（青果）の個体（対象物ＯＢ１，ＯＢ２，ＯＢ３で示す）として写っている。図１２では、例えば対象物ＯＢ１に関する位置の認識結果を示す。この対象物ＯＢ１の位置は、対応する矩形領域で表されている。この矩形領域は、左上の頂点の画素ｐ１の位置座標（ｘ１，ｙ１）と右下の頂点の画素ｐ２の位置座標（ｘ２，ｙ２）との２点で表されている。例えば、点ｐ１（ｘ１，ｙ１）＝（２７４，７０）、点ｐ２（ｘ２，ｙ２）＝（６９０，４４８）である。また、この対象物ＯＢ１の種別の認識結果は「Ａ（トマト）」であり、成熟度の認識結果は「３」である。なお、矩形領域を中心点、幅、高さで規定する場合、例えば対象物ＯＢ１については、中心点の位置座標＝（４８２，２５９）、幅＝４１６、高さ＝３７８となる。

対象物認識部１２は、画像内の複数の対象物を同様に認識でき、複数の対象物の認識結果情報をまとめて出力できる。認識結果の出力の形式は例えばテーブル１１３のようにできる。このテーブル１１３は、行毎に対象物の認識結果情報が格納されており、列として、対象物ＩＤ、種別、成熟度、位置座標｛ｘ１，ｙ１，ｘ２，ｙ２｝等を有する。

収穫作業支援の場合、本システムは、指示システム２０１から、収穫対象の成熟度の指定を含む作業指示を受け取る。この場合、対象選択部１３は、その成熟度の指定に応じて、認識結果から、一部の情報を、収穫対象物の情報として選択する。これにより、表示すべきデータが絞り込まれる。例えば、作業指示で「成熟度が３以上」と指定された場合で、上記テーブル１１３の認識結果データについて対象選択部１３によって一部を選択する場合、選択結果は、テーブル１１４のようになる。テーブル１１４の選択結果は、テーブル１１３の１行目のトマト（対象物ＩＤ＝００１）のデータのみが抽出されている。

［作業支援表示（１）］
作業支援情報の出力方式が表示である場合の出力例について以下に説明する。図１３は、作業者端末１の表示面５における収穫作業支援情報の表示例を示す。本例は、図１１の画像１１１の例と対応している。画像１３１は、圃場の一箇所で撮影された画像であり、農作物（青果だけでなく茎や葉を含む）の例として複数のトマトが写っている。作業者端末１は、画像１３１内の対象物に対し、収穫対象物を表す画像１３２を表示する。この画像１３２の例は、対象物ＯＢ１の領域を囲む赤色の枠画像である。作業者端末１の表示制御部１４は、対象物（例えば対象物ＯＢ１）の成熟度（例えば成熟度３）に応じて、枠画像（例えば画像１３２）の色、形状、大きさ、枠線の太さ等を異ならせるように制御する。また、作業者端末１は、枠画像を、対象物の形状に応じて、矩形、円形（楕円を含む）、三角形等、枠画像の形状を異ならせるように制御する。枠画像の形状は、対象物の輪郭になるべく合わせると好ましいが、それに限らず、対象物の領域を包含する矩形や円形等でもよい。本例では、対象物の種別がトマトであることに合わせて、枠画像の形状を円形としている。画像１３２内で、非収穫対象物のトマトには枠画像が表示されていない。作業者Ｗ１は、収穫対象物を表す画像１３２に着目し、それに対応する個体を容易に収穫できる。

［作業支援表示（２）］
図１４は、表示面５に収穫作業支援情報の画像を表示する場合の他の表示例を示す。本例では、画像１４１は、複数のトマトの個体が写っている。作業者端末１は、認識結果（対応する選択結果）の対象物の情報に基づいて、表示面５内に、各個体の対象物を表す画像として枠画像を重畳表示する。枠画像として、実線の円形の枠画像（例えば画像ｇ１，ｇ２）は、成熟度１かつ収穫対象物を表し、例えば赤色の太い枠線で表示される。破線の円形の枠画像（例えば画像ｇ３）は、成熟度２かつ非収穫対象物を表す。破線の円形の枠画像（例えば画像ｇ４，ｇ５）は、成熟度３かつ非収穫対象物を表し、例えば黄色の細い枠線で表示される。また、本例は、対象物毎に成熟度の数字を一緒に表示する場合を示すが、この表示を省略してもよい。

収穫作業支援情報の表示内容は、ユーザ（作業者Ｗ２等）の指示または設定に従って変更できる。本例では、成熟度３以上の対象物（トマト）について支援表示を行う設定の場合であり、成熟度４以下の対象物については枠画像等は表示されていない。また、本例では、成熟度１，２，３を区別して表示する設定の場合であり、成熟度に応じて異なる枠画像が表示されている。また、本例では、作業者Ｗ２からの収穫作業指示として「成熟度１の収穫」を受けた場合に、成熟度１の対象物について収穫対象物であることを表す枠画像（画像ｇ１，ｇ２）を表示している。また、本例では、表示面５内に、その枠画像（画像ｇ１等）が成熟度１の収穫対象物を表す旨の説明画像の表示もされている。

作業者Ｗ１は、このような収穫作業支援の表示を見ることで、どの対象物を収穫すべきかを容易に認識できる。作業者Ｗ１は、視界において実線の枠画像に着目した場合、その枠画像が収穫対象物（または収穫指示）を表しているので、その対象物を容易に収穫作業ができる。

［作業支援表示（３）］
図１５は、表示面５での収穫作業支援情報の他の表示例を示す。図１５の画像１５１は、認識結果（対応する選択結果）の全部の対象物の情報を表示する例を示す。この画像１５１内には、複数のトマトの個体（例えば個体Ｔ１，Ｔ２，Ｔ３等）が写っている。この画像１５１の例では、農作物以外にも、栽培土壌（畝）、通路、支持棒、ワイヤ、テープ、カバー等が写っている。本例は、列状の通路上の作業者Ｗ１および作業者端末１の位置から、斜め左方向を撮影した場合を示す。この画像は、手前側にトマトの実や茎が写っており、その奥の下側には、畝やカバーが写っており、その奥には隣りの通路が写っており、さらに奥には隣りの畝やカバー等が写っている。

実線の円形の枠画像（例えば枠画像Ｇ１，Ｇ２）は、収穫対象物を表す画像であり、本例では成熟度が３以上（成熟度１，２，３）に該当する対象物を表す。破線の円形の枠画像（例えば枠画像Ｇ３）は、非収穫対象物を表す画像であり、本例では成熟度が３未満（成熟度４，５，６）に該当する対象物を表す。また、本例は、作業者Ｗ１と対象物との距離に応じて枠画像の枠線の太さを変えて表示する場合を示す。作業者端末１は、距離が小さく近い対象物ほど、枠線の太さを太くして表示する。作業者Ｗ１は、このような収穫作業支援の画像を見ることで、視界の空間において対象物がどの程度存在するかや、成熟度の分布状況等を、わかりやすく認識できる。

本例では、全部の情報を表示するので、画像１５１内において、収穫対象物にも非収穫対象物にも両方に枠画像が表示されている。この枠画像は、収穫対象か否かに応じて例えば異なる色で表示されている。例えば、収穫対象は赤色の実線の枠画像とされ、非収穫対象は黄色の破線の枠画像とされる。枠画像は、対象物の成熟度に応じて異なる色とされてもよい。例えば、成熟度として１～６の６段階がある場合に、各成熟度に対応付けて枠画像の色が設定されていてもよいし、所定の成熟度の範囲の規定に応じて枠画像の色が設定されてもよい。例えば、６種類の色を設ける場合、赤、橙、黄、緑、青、グレーとしてもよい。例えば、３種類の範囲に応じた３種類の色を設ける場合、赤、黄、緑としてもよい。例えば、成熟度閾値を用いて、成熟度１，２の場合には第１範囲として赤色とし、成熟度３，４の場合には第２範囲として黄色とし、成熟度５，６の場合には第３範囲として緑色としてもよい。作業者Ｗ１は、赤色の枠画像が付いている個体を収穫する。作業者Ｗ１は、黄色の枠画像が付いた個体については、成熟が不足しているので収穫すべきではないと認識できる。

枠画像の枠の大きさは、画像内での対象物（青果）の大きさに合わせて表示されている。画像内でサイズが小さい枠画像については、生育のサイズが小さい実であるか、作業者Ｗ１の位置から奥に離れた位置にある実である。作業者Ｗ１は、サイズが大きい枠画像で示す対象物から順に着目して収穫作業を行うことができる。作業者端末１は、画像内でのサイズが閾値未満となる対象物または枠画像については、表示しないように、選択を行ってもよい。例えば、画像１５１において、奥に写っている複数の実は、隣りの通路に面する実であり、作業者が今いる通路からはすぐには収穫できない。この場合、その実（対応する対象物）については、収穫対象であるとしても、枠画像を表示しないようにしてもよい。これにより、表示の情報量を減らし、作業者Ｗ１の認知の負荷を下げることができる。

他の表示制御例として、枠画像の色を、色見本に基づいた成熟度毎の色に合わせるようにしてもよい。

［作業支援表示（４）］
図１６は、表示面５での収穫作業支援情報の他の表示例を示す。この画像１６１は、認識結果のうち対象選択部１２によって選択した一部の対象物の情報を表示する例を示す。この画像１６１では、収穫対象物のみに実線の円形の赤色の枠画像（例えば枠画像Ｇ１，Ｇ２）が表示されている。作業者Ｗ１は、この枠画像が示す収穫対象物に着目して、容易に収穫作業ができる。

なお、後述のように、対象物に病害虫がある場合には、病害虫の状態を表す所定の枠画像も表示される。例えば、個体Ｔｘ１に病害虫がある場合には、病害虫の状態を表す枠画像Ｇｘ１が表示される。枠画像Ｇｘ１は、例えば紫色で一点鎖線の枠線とされている。

また、作業者端末１は、画像内の対象物について、作業者Ｗ１および作業者端末１の位置からのその対象物の位置までの距離に応じて、枠画像の態様を異ならせてもよい。作業者端末１は、作業者Ｗ１の視点および作業者端末１の位置からの対象物の位置までの距離を、例えば画像解析処理や測距センサを用いることで検出可能である。作業者端末１は、その距離情報を用いて、対象物の枠画像の色、形状、大きさ等を制御する。

画像１５１や画像１６１の例では、距離に応じて枠画像の枠線の太さを異ならせている。例えば、作業者端末１は、距離が小さいほど、すなわち、作業者Ｗ１から近い対象物ほど、枠線の太さを太くして目立つようにする。これにより、作業者Ｗ１は、自分から近い対象物から順に着目して、収穫または判断を行うことができる。

［作業支援表示（５）］
図１７は、表示面５での収穫作業支援情報の他の表示例を示す。この画像１７１では、収穫対象物を表す画像として、枠画像ではなく、矢印線と番号とを結んだ画像としている。画像１７１内で、対象物の位置に対しある程度離れた位置で、他の対象物と重ならない位置に、番号の画像が表示されている。番号の画像を表示する位置は、表示面５の端としてもよい。番号の画像は、例えば円形の枠画像とした場合を示し、円形の枠線の色や線の太さについては、例えば成熟度に応じて変えてもよい。また、この番号は、成熟度に限らず、収穫の順序を表す番号としてもよい。例えば、作業者Ｗ１からの距離が近い対象物の順に、１，２，……と順序の番号が付与されてもよい。

［作業支援表示（６）］
図１８は、表示面５での収穫作業支援情報の他の表示例を示す。作業者端末１は、視線検出センサの視線検出結果の視線情報を用いて、視線方向の先の点（例えば点Ｅ１）を中心とした一部の範囲（例えば範囲１８２）内のみに、対象物の情報を表示する。本例では、範囲１８２内に、収穫対象および非収穫対象を表す各枠画像が表示されている。なお、範囲１８２を表す画像を表示してもよいし、表示しなくてもよい。範囲１８２は、矩形に限らず楕円等も可能である。

この表示制御を行う場合の第１例は以下の通りである。作業者端末１は、視線検出センサを用いて作業者Ｗ１の視線方向を検出する。作業者端末１は、検出した視線方向の先の画像内の点の位置を計算する。作業者端末１は、その点の位置を中心として所定の大きさの範囲を設定する。作業者端末１は、その範囲（例えば範囲１８２）を、認識処理に係わる検出エリアとして設定する。対象物認識部１２およびＡＩ機能２０は、画像データのうちのこの検出エリアを対象として認識処理を行う。この場合、処理対象データが削減されるので、認識処理の計算量を削減できる。

第２例は以下の通りである。作業者端末１は、検出した視線方向の先の画像内の点の位置を中心として所定の大きさの範囲（例えば範囲１８２）を設定する。対象物認識部１２およびＡＩ機能２０は、画像データの全領域を対象として認識処理を行う。作業者端末１の対象選択部１３は、認識結果の情報から、その範囲１８２に該当する一部の情報のみを表示する。

［出荷作業の場合］
図１９は、出荷作業支援に関する説明図を示す。図１９の画像１９１は、出荷作業の際に、作業者Ｗ１によって収穫された複数のきゅうりの個体がテーブル面上に並べられている場合の画像例を示す。本例では、この画像１９１内には、きゅうりの個体Ｋ１～Ｋ５を有する。作業者Ｗ１は、出荷作業時には、これらの個体を、等級や実寸等の観点で選別し、選別した個体群毎に箱詰めや包装等して出荷する。作業者Ｗ１は、この選別を含む出荷作業の際に、特に出荷作業支援機能を用いる。作業者端末１は、このような画像１９１を入力し、対象物認識部１２およびＡＩ機能２０によって認識する。ＡＩ機能２０は、この画像１９１を入力として、認識結果として、対象物毎の等級や実寸の情報を出力する。作業者端末１の表示制御部１４は、対象物認識部１２の認識結果（対応する選択結果）に基づいて、画像内に、出荷作業支援情報として、対象物毎の等級や実寸の情報を表示する。

図２０は、表示面５で図１９の画像１９１上に出荷作業支援情報を重畳表示する例を示す。本例では、出荷作業支援情報として、等級および実寸を表す画像１９２が、画像１９１内の対象物の近傍の位置、例えば下側の位置に表示されている。この画像１９２は、例えば文字画像である。本例では、５個の個体Ｋ１～Ｋ５について、文字画像は、左から順に、“Ｓ”，“Ｍ”，“Ｌ”，“Ｂ”，“Ｃ”となっている。本例では、等級Ａの品については、それぞれ実寸を表す文字画像が表示されている。例えばＳはスモール，Ｍはミドル，Ｌはラージを表す。これらの表示は、等級のみ、実寸のみ、またはそれらの両方として選択できる。作業者Ｗ１は、このような出荷作業支援情報を見ることで、各個体の等級および実寸をわかりやすく認識でき、等級毎および実寸毎の個体の選別を含む出荷作業を容易に行うことができる。

図２１は、出荷作業支援に関する他の表示例を示す。本例では、出荷作業支援情報の画像は、個体毎に枠画像とする場合を示す。例えば、個体Ｋ１～Ｋ３には、個体毎に、矩形の赤色の枠画像が表示されている。この枠画像は、等級Ａを表している。前述の収穫作業支援の際の作業指示の説明と同様に、出荷作業支援の際にも、指示者Ｗ２からの出荷作業指示に従った作業支援出力が可能である。例えば、指示者Ｗ２は、出荷作業指示として、等級Ａの出荷（または選別）を指示する。作業者端末１の対象選択部１３は、この作業指示に従って、認識結果から、等級Ａに該当する一部の情報を選択し、それに対応する出荷作業支援情報を表示面５に表示する。本例では、等級Ａに該当する個体Ｋ１～Ｋ３について、出荷対象（または出荷指示）を表す枠画像が表示されている。表示面５には、枠画像が出荷対象（等級Ａ）であることを表す説明画像も表示されている。

他の表示制御例として、画像内で収穫対象や出荷対象となる複数の対象物の個体が隣接している場合には、それらの複数の対象物についてグループとして１つにまとめた枠画像等を表示してもよい。

出荷作業時には、図１９のような画像を入力とした認識結果に基づいて、収穫実績または出荷実績をカウントすることができる。把握された実績情報は、上位システム等でも利用可能となる。

［作業支援－音声］
作業支援情報の出力方式が音声である場合の出力例については以下が挙げられる。作業者端末１は、選択結果の情報に基づいて、少なくとも、画像内に収穫対象物が有る場合には、そのことを表す所定の音声（例えば「ピンポン」等）を出力する。また、作業者端末１は、音声合成機能を用いて、直接的に、「それは収穫対象です」、「収穫対象物が有ります」等の音声を出力してもよい。また、作業者端末１は、画像内での収穫対象物の位置または作業者Ｗ１からの方向や距離に応じて、出力音を異ならせるように制御してもよい。例えば、画像の中心付近と、それに対する左側、右側、上側、および下側等で、概略的にいくつかの領域に区分する。作業者端末１は、画像内のどの領域に対象物が写っているか（それは作業者Ｗ１および作業者端末１と対象物との位置や方向の関係と対応している）に応じて、音を変えてもよい。また、例えば、画像内での対象物の位置が中心に近付いた場合には「ピンポン」等と出力し、中心から離れた場合には「ブー」等と出力してもよい。あるいは、対象物に近付いた場合には音量を上げる等、音量を変える制御を用いてもよい。また、作業者端末１は、作業者Ｗ１と対象物との位置関係に応じて、収穫対象物の位置等を通知してもよい。例えば「右側に収穫対象物があります」等の音声としてもよい。

また、作業者端末１は、作業者Ｗ１からみた対象物の方向に応じて、スピーカ８２（特に複数のスピーカを含むマルチスピーカまたはステレオスピーカ）からの音声出力を異ならせるように制御してもよい。例えば、作業者Ｗ１からみて右側に対象物がある場合には、マルチスピーカの右側スピーカから音が聞こえるようにし、左側に対象物がある場合には、左側スピーカから音が聞こえるようにする。

出力を音声のみとし、表示は無い方式とする場合、制御例としては、作業者端末１のカメラ６の方向（概略的には作業者Ｗ１の頭が向いている方向と対応する）にある農作物を対象として、収穫対象か否かを表す音声を出力してもよい。あるいは、作業者端末１は、カメラ６の画像から、作業者Ｗ１が対象物に手を伸ばした状態、または対象物を手に取った状態、あるいは作業者Ｗ１が対象物に近付いた状態等を判断し、その時に収穫対象を表す音声を出力してもよい。

［作業支援－振動、光］
作業支援情報の出力方式が振動や光である場合の出力例については以下が挙げられる。作業者端末１は、選択結果の情報に基づいて、少なくとも、画像内に収穫対象物が有る場合には、そのことを表す所定の振動または所定の光を出力する。作業者端末１は、収穫対象物の位置または向きまたは作業者からの距離に応じて、振動の種類や強さ、発光の種類や強さ等を異ならせるように制御してもよい。作業者端末１は、例えば、作業者Ｗ１が対象物に近付いたか離れたかによって、振動の状態または発光の状態を変えるようにしてもよい。振動や発光の種類は、例えばオン／オフのパターンで規定されてもよい。発光の場合、例えば、発光持続時間、点滅、光量等で区別できる。圃場が暗い場合には、光で伝達することも有効である。

なお、上記表示、音声、振動および光等の出力方式は、組合せで用いてもよい。また、圃場内にスピーカ装置や発光装置を備えている場合には、作業者端末１からその装置へ連携することで、作業者端末１ではなくその装置から、音声、振動、光等を出力させてもよい。発光装置としては、レーザーポインタ装置等を用いてよい。圃場内にレーザーポインタ装置が設置されてもよい。発光装置は、レーザー光等の光を、例えば収穫対象物へ向けてその対象物を指し示すように出射してもよい。作業者Ｗ１は、その光から収穫対象物等を認識できる。

［圃場］
図２２は、ある圃場（圃場Ａ）の俯瞰のマップの構成を示す。作業者端末１は、前述の病害虫判別支援機能４３に関しては、表示面５で、病害虫が有る領域を表す画像を表示してもよいし、農薬散布すべき領域を表す画像を表示してもよい。特に、作業者端末１は、表示面５に、図２２のような圃場の簡易的なマップを表示し、このマップ上に、病害虫が有る領域や、農薬散布すべき領域を表す画像を表示してもよい。領域２２１は、病害虫が検出された対象物の領域に対応した、農薬散布箇所の領域例を示す。この領域２２１の情報は、前述の図６の対処支援情報に含まれている。

また、位置ｗ１，ｗ２，ｗ３は、作業者Ｗ１がいる位置の例を示す。方向ｄ１，ｄ２，ｄ３は、カメラ６の撮影方向の例を示す。いずれの位置や方向でも、作業支援が可能である。

また、本システムの他の利用方法として、まず作業者Ｗ１が圃場の各通路に沿って各畝の農作物についてカメラ６による撮影を一通り行う。これにより、作業者端末１およびサーバ２は、取得したデータをまとめて認識処理し、その結果から、圃場における農作物の状態を表すマップを作成してもよい。このマップには、収穫対象物の位置や成熟度、病害虫の状態等が記載される。

［効果等］
上記のように、実施の形態１の現場作業支援システムによれば、以下のような効果が得られる。まず、収穫や出荷の作業支援機能４１に関しては、作業者Ｗ１に対し、具体的でわかりやすい収穫指示や出荷指示を提供できる。そのため、作業者Ｗ１が未習熟者の場合でも、熟練者のスキルや経験に近いレベルで、収穫や出荷の際の選別等の判断が容易にできる。作業者Ｗ１は、作業支援の出力に従って、容易に作業を行うことができ、作業の負荷を低くすることができ、効率的に作業ができる。また、作業支援出力は、未習熟者のスキル等の向上にも寄与できる。営農者は、作業者Ｗ１が未習熟者でも、収穫等の作業を行わせることができ、営農のコスト低減や効率向上等が実現できる。

予測支援機能４２に関しては、コスト低減、予測精度向上等が実現できる。従来のＪＡ等では、収穫量等の予測に関して、各農家へ出向いてヒヤリングする必要がある等、大きな手間やコストがかかっていた。予測支援機能４２によれば、通信や処理を通じたデータ収集に基づいて、収穫見込量等の予測情報を提供できる。よって、従来かかっていた手間やコストを低減できる。予測支援機能４２によれば、短時間でデータ収集でき、実際の圃場での対象物の生育の状況の把握に基づいて予測ができるので、予測精度を向上できる。

病害虫判別支援機能４３に関しては、コスト低減、作業漏れ防止等を実現できる。病害虫判別支援機能４３によれば、病害虫の状態に関する認識結果および位置情報等を合わせることで、農薬散布等の対処支援を効率的に提供できる。営農者は、支援に従って、圃場における限定された指定の箇所に、指定の散布量で農薬散布の作業を実施すればよい。営農者は、農薬散布漏れを防止でき、農薬代や農薬散布工数を低減でき、コスト低減や効率向上が実現できる。

農作物の収穫や出荷は、輸送距離や出荷日数等に応じて、どの成熟度や等級で行うと好適であるかが異なる。本システムによれば、指示者Ｗ２の作業指示に応じて、成熟度等に応じた作業支援出力を行うことができる。農業の場合、現場の圃場では、農作物の種別や個体毎に状態が日々変化する。本システムは、このような農作物の特性を考慮した作業支援が可能である。

なお、特許文献１のような従来技術例のシステムの場合、現場の作業者が、農作物の収穫を行うべきか否かを判断する必要がある。そのため、未習熟者の場合には、収穫等の判断が難しい場合がある。実施の形態１のシステムによれば、作業者Ｗ１が未習熟者であっても、どの農作物を収穫すべきかが容易に判断できる。

［変形例］
実施の形態１のシステムの変形例として以下も可能である。作業者端末１は、ＡＩ機能２０を用いて、作業者Ｗ１が現在いる通路に面する対象物を判断し、表示面５に表示する作業支援情報を選択してもよい。これにより、表示面５には、作業者Ｗ１が現在いる通路で収穫できる対象物についての枠画像等が表示される。表示面５には、例えば隣の通路で収穫すべき対象物についての枠画像が表示されない。よって、作業者Ｗ１は、効率的に収穫作業が可能である。

図２３は、変形例における、ある圃場の俯瞰のマップの構成を示す。ある圃場において、所定の固定的な位置にカメラ装置５００（例えば４台）が設置されている。また、各カメラ装置５００には図示しないスピーカ装置等も併設されている。作業者Ｗ１の作業者端末１は、各カメラ装置５００や各スピーカ装置と連携する。各カメラ装置５００は、所定の方向を撮影して画像を取得し、作業者端末１またはサーバ２へ送信する。作業者端末１またはサーバ２は、その画像を用いて、前述と同様に対象物の認識を行い、認識結果に基づいて作業支援情報を出力する。例えば、位置ｗ１にいる作業者Ｗ１の作業者端末１の表示面５に、収穫作業支援情報が表示される。

この場合の収穫作業支援情報は、作業者Ｗ１がいる位置ｗ１に対し、収穫対象物がある位置を通知や誘導するような情報としてもよい。星マークで示す位置は、収穫対象物がある位置を示す。作業者端末１は、このような圃場のマップ上に、各収穫対象物の位置を表する画像を表示してもよい。その際の収穫対象物の位置の通知等の出力は、前述のように、表示、音声、振動、光等の各手段を用いることができる。圃場内に複数の装置（例えば複数のスピーカ装置５００）が設置されている場合には、それらの複数の装置の位置を区別して、出力する装置を制御することで、対象物の位置等を作業者Ｗ１に伝えることが可能である。上記のように、撮影手段（カメラ６またはカメラ装置５００）と認識手段（ＡＩ機能２０）とが離れている形態も可能である。

カメラ装置５００は、被写体として作業者Ｗ１を含めて撮影してもよい。作業者端末１は、カメラ６またはカメラ装置５００を用いて、画像内の農作物および作業者Ｗ１の手等を検出することで、収穫等の動作を判断し、実績として計測してもよい。例えば、画像内に認識された対象物に対し、作業者Ｗ１が手を伸ばして収穫する。その場合、画像において対象物が写らない状態になることで、収穫されたと推定できる。

実施の形態１のシステムは、サーバ２を含む構成としたが、これに限らず、作業者端末１のみで実現してもよい。作業者Ｗ１の位置の検出手段は、ＧＰＳ受信器に限らず、ビーコン、ＲＦＩＤタグ、屋内測位システム等を適用してもよい。画像を取得するためのカメラについては、作業者Ｗ１が着用するヘルメットや作業服等に備えるカメラを用いる構成としもよい。作業者端末１は、農作業用に、防塵、防水、耐熱、放熱等の機能を持たせてもよい。画像表示や音声出力は、各国の言語に依存しないユニバーサルデザインとすると好ましい。ＡＩ機能２０は、現場の光の状態（例えば天候、朝昼夜等）を考慮して認識処理を行ってもよい。実施の形態１のシステムのうち、作業支援機能４１、予測支援機能４２、または病害虫判別支援機能４３の一部の機能のみを備えるシステムも可能である。ユーザ設定に応じて一部の機能のみを利用できる形態でもよい。

（実施の形態２）
図２４～図３１を用いて、本発明の実施の形態２の現場作業支援システムについて説明する。実施の形態２の基本的な構成は実施の形態１と同様であり、以下では、実施の形態２における実施の形態１とは異なる構成部分について説明する。実施の形態２では、実施の形態１に機能（実績検出機能と記載する場合がある）が追加されている。この実績検出機能は、画像の認識に基づいて、対象物の収穫や出荷の際の個数を推定・カウントして、実績として把握する機能である。実施の形態２で、作業支援出力を行う部分については実施の形態１と同様である。なお、以下では、この機能について、収穫の場合で説明するが、出荷の場合にも、同様に適用可能である。

前述の図３の予測支援機能４２および予測システム２０２は、収穫見込量等の予測を行うが、その予測の精度を高めるために、収穫等の実績量、例えば収穫個数等を把握・使用することが有効である。そこで、実施の形態２では、実施の形態１のシステムに、図２４のように、実績検出機能に対応する実績検出部３０（特に収穫検出部）が追加されている。実績検出部３０は、対象物認識部１２（図４または図５）からの画像の認識結果３０１、および撮影部１１からの画像３０２に基づいて、作業者Ｗ１（図１）による収穫等の作業の際の、収穫等される対象物の個数（例えば収穫個数）を推定しカウントする。実績検出部３０は、そのカウントの結果である収穫個数を含む情報を、収穫実績３０６として記憶および出力する。前述の予測支援機能４２および予測支援システム２０２は、実績検出部３０による検出結果の収穫実績３０５を用いて、収穫見込量等の予測処理を行うことができる。また、このシステムは、この機能を用いて把握した収穫実績３０６等の情報を、図３の指示者Ｗ２や上位システムに出力してもよいし、作業者端末１で出力（例えば表示面５に収穫個数を表示）してもよい。

これにより、実施の形態２の現場作業支援システムは、前述の作業支援出力（例えば図１３）を伴う農作物の収穫や出荷の作業に伴い、対象物の数量を効率的に計測でき、実績として把握できる。このシステムの機能を用いる場合、従来の現場での収穫等の数量の計測方法よりも、作業負荷が少なく、高精度に計測・把握ができる。従来の現場では、例えば収穫実績を把握する場合、作業負荷やコストも考慮し、収穫物の概略的な数量の計測までに留まっている場合が多い。計測方法は、例えば複数の収穫物をまとめて収容した箱等の単位での概略的な重量の計測や、箱等の単位での個数の計測が挙げられる。それに対し、このシステムの機能によれば、作業支援出力に従った収穫等の動作に伴って、自動的に収穫個数等を計測できる。なお、予測支援機能４２および予測支援システム２０２が無い形態の場合でも、この実績検出機能による実績の把握は有用である。

［実績検出機能］
図２４は、実施の形態２の現場作業支援システムにおける特徴的な部分として、実績検出部３０の構成を示す。実績検出部３０は、図１の作業者端末１またはサーバ２の少なくとも一方で実装される。実績検出部３０は、例えば図３および図５の予測支援機能４２および予測システム２０２の一部として実装されてもよいし、それらとは独立で連携する実績検出機能および実績検出システムとして実装されてもよい。本例では、実績検出部３０は、サーバ２でのプログラム処理等によって実現されるとする。なお、実績検出部３０は、収穫の場合の収穫検出部と、出荷の場合の出荷検出部とを含むが、図２４では収穫検出部の場合を示す。

実績検出部３０は、図４または図５の対象物認識部１２から出力される認識結果３０１（認識結果情報）と、撮影部１１から出力される画像３０２とを入力する。画像３０２と認識結果３０１は、時点が対応している情報である。実績検出部３０は、さらに、図４の指示システム２０１または対象選択部１３等から出力される、収穫対象情報を含む作業指示３１０（作業指示情報）を入力して利用してもよい。認識結果３０１には、前述の図１２のように、画像内の個々の対象物の情報が含まれている。作業指示情報３１０には、前述のように、例えば「収穫対象は成熟度３以上のトマト」といった収穫対象情報、言い換えると対象物を選択・限定するための情報が含まれている。また、対象物選択部１３（図４または図７）から出力される選択結果情報を用いてもよい。その場合、その選択結果情報は、前述の図１２等のように、収穫作業指示等に従って、対象物が選択済みである。

図２４の実績検出部３０は、プログラム処理等によって実現される、より詳細な処理部として、収穫対象検出部３１、作業者検出部３２、距離算出部３３、被収穫判定部３４、および条件設定部３５を含む。実績検出部３０は、時系列上の各時点の画像（図４の撮影部１１が出力する画像）毎に、同様に処理を繰り返す。

実績検出部３０による処理フローの概略は以下の通りである。まず、第１ステップで、収穫対象検出部３１は、認識結果３０１および作業指示３１０の情報を用いて、画像において収穫対象物が認識されているか否か、および認識されている場合にはその収穫対象物を検出する。ここでの収穫対象物とは、作業指示および作業支援出力に該当している、作業者Ｗ１が収穫すべき作業対象物３である。収穫個数は収穫対象物の種類（例えばトマト）毎にカウントされる。収穫対象検出部３１は、画像内に複数の収穫対象物がある場合には、各収穫対象物を検出する。収穫対象検出部３１は、検出結果情報である収穫対象物情報３０３を出力する。収穫対象物情報３０３は、各収穫対象物のＩＤや画像内の位置情報を含む。

さらに、収穫対象検出部３１は、認識結果３０１に加え、作業指示３１０の収穫対象情報（または対象選択部１３からの選択結果情報）を用いて、検出する収穫対象物を絞り込んでもよい。例えば、収穫対象情報として「成熟度３以上のトマト」のように指定されている場合、収穫対象検出部３１は、画像内の対象物のうちその指定に該当する収穫対象物を検出する。作業指示情報３１０等を用いて絞り込む場合、実績検出の精度や効率をより高める効果が期待できる。

一方、第２ステップで、作業者検出部３２は、入力の画像３０２を用いて、第１ステップの認識結果３０１と対応する同じ時点の画像３０２内に、作業者Ｗ１の手等の身体部位（作業者物体と記載する）が含まれているか否か、および含まれている場合にはその作業者物体を検出する。作業者検出部３２は、ＡＩ機能２０（図４）と同様に、画像解析や機械学習に基づいて、作業者物体を検出する。検出対象である作業者物体は、手や腕に限らず、収穫等の作業の際に用いられる作業手袋や、ハサミ等の道具、あるいは機械としてもよい。この作業者物体は、予め、実績検出部３０を構成するプログラム等で規定できる。作業者検出部３２は、検出結果である作業者物体情報３０４を出力する。作業者物体情報３０４は、作業者物体のＩＤや画像内の位置情報を含む。なお、変形例としては、ＡＩ機能２０（図４）に、画像から作業者物体を検出する機能を持たせ、対象物認識部１２からの認識結果３０１に、作業者物体の認識結果情報を含ませてもよい。この場合、作業者検出部３２は、入力の認識結果３０１に基づいて作業者物体を検出すればよい。

上記第１ステップで収穫対象物が検出され、第２ステップで作業者物体が検出された場合、第３ステップで、距離算出部３３は、入力の収穫対象物情報３０３と作業者物体情報３０４を用いて、画像内における収穫対象物と作業者物体との距離ＤＳＴを算出する（後述の図２５等）。この距離ＤＳＴは、収穫動作および被収穫を判定するための、収穫対象物と作業者物体との遠近や重なりの状態に関するパラメータである。距離算出部３３は、算出結果の距離ＤＳＴを含む距離情報３０５を出力する。

第４ステップで、被収穫判定部３４は、入力の距離情報３０５と所定の条件に基づいて、収穫対象物が手等の作業者物体によって収穫された（「被収穫」と記載する）かどうかを判定し、判定結果に応じて収穫個数をカウントする。被収穫判定部３４は、この判定処理の際には、条件設定部３５で予め設定されている閾値等の条件を用いる。本例では、閾値として、距離閾値ＴＤ、時間閾値ＴＴ１（第１時間閾値）、時間閾値ＴＴ２（第２時間閾値）がある。なお、この条件の閾値等は、判定処理方式に応じて変えてもよいし、ユーザ設定を可能としてもよい。

第４ステップは、より詳細には以下のステップＡ，Ｂ，Ｃ，Ｄを含む。被収穫判定部３４は、まずステップＡで、収穫対象物と作業者物体との距離ＤＳＴが、所定の距離閾値ＴＤ以下か否か（ＤＳＴ≦ＴＤ）を判断する。この判断は、言い換えると、収穫対象物に手等の作業者物体が十分に近いかどうかの判断である。

ステップＡで距離ＤＳＴが所定の距離閾値ＴＤ以下である場合、さらに、ステップＢで、被収穫判定部３４は、その距離ＤＳＴが小さい状態（例えば画像フレーム数に対応する時間Ｔ１）が、所定の時間閾値ＴＴ１以上継続するか（Ｔ１≧ＴＴ１）を判断する。この判断は、収穫対象物が手等の作業者物体によって把持等されているかどうかの判断に対応する。この判断では、一時的に重なる場合を除外するように、ある程度の時間（ＴＴ１）を用いる。

ステップＢで所定の時間閾値ＴＴ１以上継続する場合、さらに、ステップＣで、被収穫判定部３４は、時系列上、画像内で収穫対象物が認識されなくなったかどうか、および認識されなくなった場合にはその認識されない時間（例えば画像フレーム数に対応する時間Ｔ２）が所定の時間（第２時間閾値ＴＴ２）以上継続するか（Ｔ２≧ＴＴ２）を判断する。この判断では、収穫動作がされた場合に収穫対象物が手等の作業者物体とともに画像の外に出ること等によって認識されなくなることを利用する。

ステップＣで収穫対象物が認識されない時間が所定の時間以上継続した場合、被収穫判定部３４は、収穫対象物が収穫された（「被収穫」）と判定する。そして、ステップＤで、被収穫判定部３４は、収穫個数パラメータ値を１増やすようにカウントする。被収穫判定部３４は、判定結果である現在までの収穫個数を含む実績情報３０６を記憶および出力する。その後、第１ステップに戻って同様に繰り返しである。

なお、実績検出部３０によって収穫個数をカウントする対象となる期間は、例えばユーザによって開始時と終了時、または機能のオンとオフを指定する操作がされる方式等を適用できる。

上記のように、実績検出部３０は、画像内における収穫対象物と手等の作業者物体との遠近や重なり等の状態を判断することで、収穫動作を判断し収穫個数をカウントする。まとめると、上記判定処理方式における第４ステップでは、被収穫判定部３４は、収穫対象物と作業者物体との距離ＤＳＴが、所定値以下で、かつ、その状態が所定時間以上継続し、かつ、その後に収穫対象物が認識されない状態が所定時間以上継続する場合に、被収穫と判定する。

上記のように、実施の形態２における実績検出機能によれば、作業支援出力を伴う農作物の収穫や出荷の作業に伴い、対象物の数量を効率的に計測でき、実績として把握できる。また、この実績検出機能によれば、収穫指示等の作業指示や作業支援出力の情報と、収穫個数等の実績情報とにおいて、照合や差分判断も可能である。この照合に基づいて、例えば、作業支援出力として指定された収穫対象物に対し、作業者Ｗ１が実際に収穫動作を行ったかどうか等も把握可能である。

［画像例］
以下では、図２５～図２９のような画像例を用いて、収穫判定に係わる具体的処理例を示す。図２５は、ある時点の画像について、収穫対象物および作業者物体の検出結果の具体例を示す。画像内において、収穫対象物２５１と作業者物体２５２とが検出されている。ここでは、収穫対象物の位置は、２次元画像（横軸をｘ、縦軸をｙとする）内の位置として、物体領域の中心位置として規定される。収穫対象物２５１の位置Ｐｔは（ｔｘ，ｔｙ）である。ここでは、認識結果３０１に基づいた収穫対象物２５１の領域を矩形の枠で示す。作業者物体２５２は、作業者Ｗ１の右手の場合であり、説明上、透過的な領域として模式的に図示している。作業者物体の位置は、同様に、２次元画像内の位置として、物体領域の中心位置として規定される。作業者物体２５２の位置Ｐｗは（ｗｘ，ｗｙ）である。ここでは、画像３０２に基づいた作業者物体２５２の領域を破線枠で示す。画像内には、収穫対象物が含まれない場合もあるし、複数個の収穫対象物が含まれる場合もある。本例では、画像内に、「成熟度３以上のトマト」に該当する１個の収穫対象物２５１が含まれ検出されている。

作業者Ｗ１は、作業支援出力（例えば図１３）に応じた収穫動作として、この収穫対象物２５１に右手を伸ばして取ろうとしている。検出対象となる作業者物体の例として、このような手としてもよい。作業者検出部３２は、手の形状や色等を検出してもよい。これに限らず、作業者Ｗ１が手に作業手袋を装着している場合には、その作業手袋を検出対象としてもよい。また、作業者Ｗ１が作業用のハサミ等の道具を持って使用している場合や、作業用の機械を使用している場合には、その道具や機械等を検出対象としてもよい。また例えば、予め、作業手袋等に所定のマーカを付与しておき、そのマーカを検出対象としてもよい。作業者検出部３２は、そのマーカを作業者物体として扱って検出すればよい。また、そのマーカは、バーコード等のコードとしてもよい。これらの手段を用いることで、画像内から作業者物体をより検出しやすくなる等の効果が期待できる。

また、１つの画像内には、作業者Ｗ１の左手と右手など、複数の作業者物体が検出できる場合もあり得る。その場合にも、実施の形態２のシステムは、それぞれの作業者物体を検出し、作業者物体毎に同様の処理を適用すればよい。例えば、実績検出部３０は、画像内に両手が含まれている場合、収穫対象物との距離ＤＳＴが近い方の手を用いて判定を行ってもよい。

図２５中の距離ＤＳＴ（特にＤＳＴ１）は、画像内における収穫対象物２５１の位置Ｐｔ（ｔｘ，ｔｙ）と作業者物体２５２の位置Ｐｗ（ｗｘ，ｗｙ）との距離である。距離ＤＳＴは、例えば以下の式で算出できる。 ＤＳＴ＝√｛（ｗｘ－ｔｘ）^２＋（ｗｙ－ｔｙ）^２｝

図２６は、図２５の画像の時点よりも後の時点の画像の例であり、特に、作業者Ｗ１の頭や視界が殆ど動いていない場合を示す。この画像では、収穫対象物２５１の位置Ｐｔは変わっていないが、作業者物体２５２の位置Ｐｗが、位置Ｐｔに近付いている。距離ＤＳＴは、小さくなり、特にＤＳＴ２（ＤＳＴ２＜ＤＳＴ１）となっている。また、この距離ＤＳＴ２は、距離閾値ＴＤ以内となっている。比較のために、距離閾値ＴＤの例も図示している。距離閾値ＴＤは、例えば収穫対象物や手の標準的なサイズを考慮して設定できる。本例では、画像の奥行き方向（ｚとする）において、収穫対象物２５１の上、すなわち作業者Ｗ１に近い側に、作業者物体２５２が一部重なっている。

図２７は、さらに、図２６よりも後の時点の画像の例であり、特に、手である作業者物体２５２が、収穫対象物２５１の上に殆ど重なり、距離ＤＳＴ（特にＤＳＴ３）が０に近い状態を示す。この状態は、作業者Ｗ１が手で収穫対象物２５１を掴んでいる状態等に対応する。なお、このような状態の場合、収穫対象物２５１は、手等の作業者物体２５２で隠されることで、認識されていない場合もあり得る。収穫対象物２５１は、手よりも前側にある場合には、認識されている可能性が高い。手等の作業者物体２５２は、収穫対象物２５１よりも奥側にある場合には、認識されない場合もあり得る。

図２８は、さらに、作業者Ｗ１による収穫動作によって画像内で収穫対象物２５１および手等の作業者物体２５２が図２７の状態から移動した後の状態の時の画像例を示す。作業者Ｗ１は、収穫対象物２５１を持った手を、前側（画像での右下方向）に移動させている。

図２９は、さらに、作業者Ｗ１による収穫動作によって収穫対象物２５１および作業者物体２５２が画像内から検出されなくなった状態の時の画像例を示す。図２８または図２９のようにして、画像内から収穫対象物２５１が検出されない状態が所定時間以上継続した場合、前述のように被収穫として判定される。

［変形例－収穫動作判定］
図３０は、変形例における被収穫判定の際の画像例を示す。図２４の特に被収穫判定部３４による被収穫判定は、上記のように距離ＤＳＴをベースとして行う形態に限らず可能である。変形例では、被収穫判定部３４は、作業者物体による特定の動作である収穫動作の判定に基づいて、被収穫を判定する。この特定の動作は、作業者検出部３２またはＡＩ機能２０において、検出対象として予め規定される。例えば、収穫対象物がトマトである場合、作業者Ｗ１は、収穫動作の際に、そのトマトを手または作業手袋によって包み込むように持つ。図３０の画像例では、作業手袋等の作業者物体２５２によって、収穫対象物２５１であるトマトが、包み込むように持たれており、収穫対象物２５１自体は認識されていない。この変形例では、画像からこのような特定の動作に対応する画像部分を認識・判別できるように、予め、画像を入力とする機械学習や画像解析等によって、判別器３４ａを作成しておく。例えば、収穫動作を撮影した複数の画像３２０を教師情報として判別器３４ａに入力して機械学習を行っておく。

図３０での実績検出部３０は、図２４のような距離算出部３３は不要である。図３０の被収穫判定部３４は、収穫動作を判別できる判別器３４ａを備える。被収穫判定部３４は、図示の例のような画像３０２を入力し、画像３０２から、判別器３４ａによって、作業者物体２５２による特定の動作である収穫動作を判別し検出する。被収穫判定部３４は、画像３０２内から、収穫動作を検出した場合、あるいは、さらに、収穫動作に伴って収穫対象物２５１を認識できない状態が所定時間以上継続した等の条件を満たした場合に、被収穫と判定する。なお、この方式を用いる場合でも、収穫動作として学習・判別する対象は、右手または左手による片手としてもよいし、両手としてもよいし、作業用の道具等としてもよい。これらは、教師として入力する画像しだいで学習・判別可能である。

［変形例－相対位置関係］
図３１は、変形例として、図２４の被収穫判定部３４による収穫判定に関する他の処理例を示す。この変形例では、画像内の複数の物体の間での相対位置関係を利用する。図３１の（Ａ）の画像内では、例として、収穫対象物Ａ、非収穫対象物Ｂおよび非収穫対象物Ｃ、ならびに作業者物体Ｄである左手が認識されている。なお、これらの物体に限らず、画像解析等に基づいて、画像内から他の任意の物体が認識されていてもよい。４つの物体の位置を点｛ａ，ｂ，ｃ，ｄ｝で示す。ここで、収穫対象物Ａに着目した場合、他の各物体（Ｂ，Ｃ，Ｄ）との相対的な位置関係を、点線で示す。例えば、収穫対象物Ａ（点ａ）は、非収穫対象物Ｂ（点ｂ）との間では、距離Ｄａｂを含む相対位置関係を有する。

図３１の（Ｂ）は、（Ａ）の状態から、作業者Ｗ１が手（作業者物体Ｄ）によって収穫対象物Ａを掴んで動かした状態を示す。なお、ここでは（Ａ）と（Ｂ）の画像間で、作業者Ｗ１の頭の位置や視界が概略静止しているとする。収穫対象物Ａは、画像内での位置が移動しており、移動を破線矢印で示す。この移動に伴い、収穫対象物Ａと他の物体、例えば非収穫対象物Ｂとの距離Ｄａｂ等の相対位置関係が変化している。被収穫判定部３４は、収穫対象物Ａの被収穫の判定のために、収穫対象物Ａが元の位置（例えば点ａ）から十分に離れたかを判断する。このために、被収穫判定部３４は、例えば、収穫対象物Ａ（点ａ）と非収穫対象物Ｂ（点ｂ）との距離Ｄａｂの変化、例えば、移動前後での差分が、所定の閾値以上に大きくなった場合、被収穫と判定する。また、距離Ｄａｂのように１つの相対位置関係の判断のみだと、非収穫対象物Ｂの方が動かされた場合もあり得る。よって、距離Ｄａｃのように、もう１つの相対位置関係を判断することで、より確実に判定可能である。

被収穫判定部３４は、上記のように、画像内の物体間の相対的位置関係の変化を判断することでも、収穫対象物Ａの被収穫（対応する収穫動作）を判定でき、収穫個数をカウントできる。また、画像内で収穫対象物Ａが認識できない時には、代わりに、収穫対象物Ａを掴んでいる手（作業者物体Ｄ）の位置を用いて、被収穫を判定してもよい。なお、時系列上で、作業者Ｗ１の頭の位置が動く場合等には、各時点の画像の内容も変動し、画像内での各物体の位置が変動する。その場合でも、物体同士の相対的な位置関係を用いるので、上記と同様に、被収穫を判定可能である。

［変形例－作業支援情報］
実施の形態２の変形例として、実績検出部３０は、図４の表示制御部１４等を含む出力制御部が出力する作業支援情報４を用いて、収穫等の判定を同様に行ってもよい。例えば、実績検出部３０は、画像内における作業支援情報４（例えば図１３の収穫対象物を囲むような収穫対象物を表す画像１３２）と作業者物体との距離等の状態に応じて、被収穫を判定する。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…作業者端末（スマートデバイス）、１Ａ…携帯端末、１Ｂ…ウェラブル端末、２…サーバ、３…作業対象物（対象物、農作物）、４…作業支援情報、５…表示面、６…カメラ、６１…インカメラ、６２…アウトカメラ、４０…管理機能、４１…作業支援機能、４２…ＡＩ機能、Ｗ１…作業者、Ｗ２…指示者。

Claims (4)

1. 農業を含む現場の作業を支援するための現場作業支援システムであって、
   作業者に装着または携帯される作業者端末を備え、
   前記作業者端末は、カメラを用いて前記作業者の視界における農作物を含む作業対象物を撮影した第１画像を含む第１データを取得し、
   前記作業者端末または前記作業者端末に接続される計算機システムは、前記第１データを入力として、前記作業対象物の第２画像の学習が反映された第２データに基づいて前記作業対象物の状態を認識し、認識結果に基づいて前記作業を支援するための第３データを取得し、
   前記作業者端末は、前記第３データに基づいて前記作業者に対し前記作業を支援するための出力として、前記視界に対応付けられる前記第１画像内に前記作業対象物が有ること、を伝える出力を含む出力を行い、
   前記作業者端末は、前記作業者または前記作業者端末と前記作業対象物との距離を検出し、
   前記出力は、前記距離に応じて、種類が異なる出力とされる、
   現場作業支援システム。
2. 農業を含む現場の作業を支援するための現場作業支援システムであって、
   作業者に装着または携帯される作業者端末を備え、
   前記作業者端末は、カメラを用いて前記作業者の視界における農作物を含む作業対象物を撮影した第１画像を含む第１データを取得し、
   前記作業者端末または前記作業者端末に接続される計算機システムは、前記第１データを入力として、前記作業対象物の第２画像の学習が反映された第２データに基づいて前記作業対象物の状態を認識し、認識結果に基づいて前記作業を支援するための第３データを取得し、
   前記作業者端末は、前記第３データに基づいて前記作業者に対し前記作業を支援するための出力として、前記視界に対応付けられる前記第１画像内に前記作業対象物が有ること、を伝える出力を含む出力を行い、
   前記作業者端末は、
   前記作業者の視線の方向を検出し、
   前記視線の方向に合わせて、前記第３データのうち一部のデータを選択し、前記視界に対応付けられる前記第１画像内に一部の前記作業対象物が有ること、を伝える出力を行う、
   現場作業支援システム。
3. 農業を含む現場の作業を支援するための現場作業支援システムであって、
   作業者に装着または携帯される作業者端末を備え、
   前記作業者端末は、カメラを用いて前記作業者の視界における農作物を含む作業対象物を撮影した第１画像を含む第１データを取得し、
   前記作業者端末または前記作業者端末に接続される計算機システムは、前記第１データを入力として、前記作業対象物の第２画像の学習が反映された第２データに基づいて前記作業対象物の状態を認識し、認識結果に基づいて前記作業を支援するための第３データを取得し、
   前記作業者端末は、前記第３データに基づいて前記作業者に対し前記作業を支援するための出力として、前記視界に対応付けられる前記第１画像内に前記作業対象物が有ること、を伝える出力を含む出力を行い、
   前記作業者端末と前記計算機システムとの少なくとも一方で構成される実績検出機能を備え、
   前記実績検出機能は、前記第１データに基づいて、収穫または出荷の対象物と、前記作業者の身体の一部に対応付けられた作業者物体とを検出し、前記第１画像内での前記対象物と前記作業者物体との距離を算出し、前記距離の状態に基づいて、前記作業者による前記対象物の収穫または出荷の動作を判定し、前記動作に基づいて、前記対象物の収穫または出荷の個数をカウントし、実績として記憶および出力する、
   現場作業支援システム。
4. 請求項３記載の現場作業支援システムにおいて、
   前記実績検出機能は、前記第１画像の時系列上で、前記距離が距離閾値以内である状態が第１時間以上継続し、その後、前記第１画像内から前記対象物が検出されない状態が第２時間以上継続した場合、前記収穫または出荷の動作がされたと判定する、
   現場作業支援システム。

Images