JP6267841B1 - ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム - Google Patents
ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Download PDFInfo
- Publication number
- JP6267841B1 JP6267841B1 JP2017554091A JP2017554091A JP6267841B1 JP 6267841 B1 JP6267841 B1 JP 6267841B1 JP 2017554091 A JP2017554091 A JP 2017554091A JP 2017554091 A JP2017554091 A JP 2017554091A JP 6267841 B1 JP6267841 B1 JP 6267841B1
- Authority
- JP
- Japan
- Prior art keywords
- crop
- wearable terminal
- harvest time
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000003306 harvesting Methods 0.000 claims abstract description 107
- 230000003190 augmentative effect Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000010191 image analysis Methods 0.000 claims description 7
- 241000219109 Citrullus Species 0.000 description 16
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 9
- 241000675108 Citrus tangerina Species 0.000 description 8
- 240000007124 Brassica oleracea Species 0.000 description 6
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 6
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 6
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 6
- 241000219315 Spinacia Species 0.000 description 4
- 235000009337 Spinacia oleracea Nutrition 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D91/00—Methods for harvesting agricultural products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Abstract
【課題】ウェアラブル端末の視界に入った農作物の種類を特定して、予測した収穫時期をウェアラブル端末の表示板に拡張現実として表示する。【解決手段】ウェアラブル端末の表示板に、農作物の収穫時期を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った農作物の画像を取得する画像取得手段と、画像を解析して農作物の種類を特定する特定手段と、種類に応じて判定基準を選択する選択手段と、判定基準に基づいて画像を解析して色およびサイズを判定する判定手段と、判定の結果に基づいて農作物の収穫時期を予測する予測手段と、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して予測された収穫時期を拡張現実として表示する収穫時期表示手段と、を備えるウェアラブル端末表示システムを提供する。【選択図】図１
Description
本発明は、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、予測された収穫時期を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
近年、農業のＩＴ化が進んでいる。例えば、面倒な入力作業をなくすために、農作物に対して行われた農作業の情報を自動的に収集するとともに、農産物に対する信頼性の高い生産履歴情報を提供する装置が提供されている（特許文献１）。
しかしながら、特許文献１の装置は、農作業をしながら農作物の収穫時期を把握できない問題がある。
本発明は、上記課題に鑑み、ウェアラブル端末の視界に入った農作物の種類を特定して、予測した収穫時期をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第１の特徴に係る発明は、ウェアラブル端末の表示板に、農作物の収穫時期を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った農作物の画像を取得する画像取得手段と、画像を解析して農作物の種類を特定する特定手段と、種類に応じて判定基準を選択する選択手段と、判定基準に基づいて画像を解析して色およびサイズを判定する判定手段と、判定の結果に基づいて農作物の収穫時期を予測する予測手段と、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して予測された収穫時期を拡張現実として表示する収穫時期表示手段と、を備えるウェアラブル端末表示システムを提供する。
第１の特徴に係る発明は、ウェアラブル端末の表示板に、農作物の収穫時期を表示するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った農作物の画像を取得する画像取得ステップと、画像を解析して農作物の種類を特定する特定ステップと、種類に応じて判定基準を選択する選択ステップと、判定基準に基づいて画像を解析して色およびサイズを判定する判定ステップと、判定の結果に基づいて農作物の収穫時期を予測する予測ステップと、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して予測された収穫時期を拡張現実として表示する収穫時期表示ステップと、を備えるウェアラブル端末表示方法を提供する。
第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った農作物の画像を取得する画像取得ステップと、画像を解析して農作物の種類を特定する特定ステップと、種類に応じて判定基準を選択する選択ステップと、判定基準に基づいて画像を解析して色およびサイズを判定する判定ステップと、判定の結果に基づいて農作物の収穫時期を予測する予測ステップと、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して予測された収穫時期を拡張現実として表示する収穫時期表示ステップと、をさせるためのプログラムを提供する。
ウェアラブル端末の表示板に農作物の収穫時期を表示できるので、農作業をしながら農作物の収穫時期を把握できる。
以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、予測された収穫時期を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことである。
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、選択手段、判定手段、予測手段、収穫時期表示手段、を備える。図示しないが、同様に、気象取得手段、端末位置取得手段、音取得手段、モード受付手段、検出手段、アクション結果表示手段、撮像方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
画像取得手段は、ウェアラブル端末の視界に入った農作物の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムな画像の方が好ましい。また、ガイドラインを表示して撮像させる場合には、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く農作物を特定できる。
特定手段は、画像を解析して農作物の種類を特定する。例えば、農作物が、キャベツなのか、ほうれん草なのか、蜜柑なのか、スイカなのか、を特定する。また、映った全ての農作物の種類を特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある農作物を特定対象として特定してもよい。視界の中央にある農作物だけを特定対象として特定することで特定に要する時間を大幅に短縮できる。また、機械学習によって画像解析の精度を向上させてもよい。例えば、農作物の過去画像を教師データとして機械学習を行う。また、農作物の農作物位置を推測する場合には、農作物位置と画像解析とから、農作物の種類を特定してもよい。
選択手段は、農作物の種類に応じて判定基準を選択する。農作物が、キャベツなのか、ほうれん草なのか、蜜柑なのか、スイカなのか、によって、収穫時期を予測する基準となる判定基準が異なるので選択する必要がある。更には、スイカの場合は、スイカを叩いた音で収穫時期を予測する判定基準にもなる。
判定手段は、判定基準に基づいて画像を解析して色およびサイズを判定する。農作物の種類によって見るべき色やサイズが異なるので、農作物の種類に応じた判定基準に基づいて判定する。例えば、蜜柑の場合は、蜜柑の場合は、果皮の色がどのぐらい橙色に色づいたか、どのぐらいのサイズに成長したか、を判定基準にする。例えば、キャベツの場合は、外側の葉が虫食いしていた方が良いが、虫食いも色で判定できる。また、農作物の音を取得する場合には、判定基準に基づいて、画像を解析して色およびサイズを判定し、取得された音を判定してもよい。例えば、スイカの場合、スイカを叩いた音が収穫時期の判定に使用される。農作物によっては、農作物の音も判定の要素になるケースがある。
予測手段は、判定の結果に基づいて農作物の収穫時期を予測する。例えば、判定の結果に基づいて、収穫時期は３日後と予測する。また、判定の結果によっては、収穫時期を正確に予測できない場合もあるので、その場合は例えば、収穫時期は３日後〜５日後などと幅を持たせて予測してもよい。また、気象によっても収穫時期にずれが生じるので、気象予報を取得する場合は、判定の結果と気象予報とに基づいて農作物の収穫時期を予測してもよい。また、収穫時期のモードを受け付ける場合には、判定の結果に基づいて、農作物に対してモードにおける収穫時期を予測してもよい。また、機械学習によって予測の精度を向上させてもよい。例えば、予測した過去の収穫時期を教師データとして機械学習を行う。
収穫時期表示手段は、ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記予測された収穫時期を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた農作物に対して、破線で描かれた収穫時期を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた農作物に対して収穫時期を拡張現実で表示することで、農作業をしながら農作物の収穫時期がいつ頃になるのかを把握できる。拡張現実として表示する収穫時期は、表示板を透過して見える農作物に重なるように表示しても良いが、農作物が見づらくなるので、収穫時期の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。また、表示する農作物の選択を受け付ける場合には、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、収穫時期を拡張現実として表示してもよい。
気象取得手段は、農作物が育っている場所の気象予報を取得する。気象予報は、気象庁などの外部のデータベースから取得してもよいし、内部にデータベースを用意して記憶してもよい。住所などから農作物が育っている場所が分かる。また、端末位置を取得する場合には、端末位置を農作物が育っている場所とみなして気象予報を取得してもよい。
端末位置取得手段は、ウェアラブル端末の端末位置を取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得できる。これ以外から取得してもよい。
音取得手段は、ウェアラブル端末のマイクから農作物の音を取得する。例えば、スイカの場合、スイカを叩いた音が収穫時期の判定に使用される。農作物によっては、農作物の音も判定の要素になるケースがある。
モード受付手段は、収穫時期のモードの選択を受け付ける。例えば、美味しい収穫時期のモード、高値がつく収穫時期のモード、輸送期間を考慮した収穫時期のモード、乾燥農作物にするときの収穫時期のモード、などである。他にも様々なモードがある。
検出手段は、表示された収穫時期に対するアクションを検出する。農作業の画像を取得して画像解析をすることで、収穫時期に対するアクションを検出できる。例えば、収穫時期に従って収穫したのか収穫していないのかを検出する。また、ウェアラブル端末のセンサ情報や、農作業者に装着されたセンサ情報などから、収穫時期に対するアクションを検出してもよい。
アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、アクションに応じた結果を拡張現実として表示する。例えば、収穫時期を消すアクションを検出したら収穫時期の表示を消してよい。例えば、収穫時期に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
撮像方向取得手段は、ウェアラブル端末の撮像方向を取得する。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これ以外から取得してもよい。
推測手段は、端末位置と撮像方向とに基づいて、農作物の農作物位置を推測する。端末位置と撮像方向が分かっていれば、撮像された農作物の位置を推測することができる。
ガイドライン表示手段は、ウェアラブル端末の表示板に、農作物を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
選択受付手段は、ウェアラブル端末の表示板を透過して見える農作物に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える農作物を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える農作物にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える農作物にカーソルを合わせることで選択対象の選択を受け付けてもよい。
[動作の説明]
[動作の説明]
次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、予測された収穫時期を拡張現実として表示する方法である。
ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、選択ステップ、判定ステップ、予測ステップ、収穫時期表示ステップ、を備える。図示しないが、同様に、気象取得ステップ、端末位置取得ステップ、音取得ステップ、モード受付ステップ、検出ステップ、アクション結果表示ステップ、撮像方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
画像取得ステップは、ウェアラブル端末の視界に入った農作物の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムな画像の方が好ましい。また、ガイドラインを表示して撮像させる場合には、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く農作物を特定できる。
特定ステップは、画像を解析して農作物の種類を特定する。例えば、農作物が、キャベツなのか、ほうれん草なのか、蜜柑なのか、スイカなのか、を特定する。また、映った全ての農作物の種類を特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある農作物を特定対象として特定してもよい。視界の中央にある農作物だけを特定対象として特定することで特定に要する時間を大幅に短縮できる。また、機械学習によって画像解析の精度を向上させてもよい。例えば、農作物の過去画像を教師データとして機械学習を行う。また、農作物の農作物位置を推測する場合には、農作物位置と画像解析とから、農作物の種類を特定してもよい。
選択ステップは、農作物の種類に応じて判定基準を選択する。農作物が、キャベツなのか、ほうれん草なのか、蜜柑なのか、スイカなのか、によって、収穫時期を予測する基準となる判定基準が異なるので選択する必要がある。更には、スイカの場合は、スイカを叩いた音で収穫時期を予測する判定基準にもなる。
判定ステップは、判定基準に基づいて画像を解析して色およびサイズを判定する。農作物の種類によって見るべき色やサイズが異なるので、農作物の種類に応じた判定基準に基づいて判定する。例えば、蜜柑の場合は、蜜柑の場合は、果皮の色がどのぐらい橙色に色づいたか、どのぐらいのサイズに成長したか、を判定基準にする。例えば、キャベツの場合は、外側の葉が虫食いしていた方が良いが、虫食いも色で判定できる。また、農作物の音を取得する場合には、判定基準に基づいて、画像を解析して色およびサイズを判定し、取得された音を判定してもよい。例えば、スイカの場合、スイカを叩いた音が収穫時期の判定に使用される。農作物によっては、農作物の音も判定の要素になるケースがある。
予測ステップは、判定の結果に基づいて農作物の収穫時期を予測する。例えば、判定の結果に基づいて、収穫時期は３日後と予測する。また、判定の結果によっては、収穫時期を正確に予測できない場合もあるので、その場合は例えば、収穫時期は３日後〜５日後などと幅を持たせて予測してもよい。また、気象によっても収穫時期にずれが生じるので、気象予報を取得する場合は、判定の結果と気象予報とに基づいて農作物の収穫時期を予測してもよい。また、収穫時期のモードを受け付ける場合には、判定の結果に基づいて、農作物に対してモードにおける収穫時期を予測してもよい。また、機械学習によって予測の精度を向上させてもよい。例えば、予測した過去の収穫時期を教師データとして機械学習を行う。
収穫時期表示ステップは、ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記予測された収穫時期を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた農作物に対して、破線で描かれた収穫時期を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた農作物に対して収穫時期を拡張現実で表示することで、農作業をしながら農作物の収穫時期がいつ頃になるのかを把握できる。拡張現実として表示する収穫時期は、表示板を透過して見える農作物に重なるように表示しても良いが、農作物が見づらくなるので、収穫時期の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。また、表示する農作物の選択を受け付ける場合には、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、収穫時期を拡張現実として表示してもよい。
気象取得ステップは、農作物が育っている場所の気象予報を取得する。気象予報は、気象庁などの外部のデータベースから取得してもよいし、内部にデータベースを用意して記憶してもよい。住所などから農作物が育っている場所が分かる。また、端末位置を取得する場合には、端末位置を農作物が育っている場所とみなして気象予報を取得してもよい。
端末位置取得ステップは、ウェアラブル端末の端末位置を取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得できる。これ以外から取得してもよい。
音取得ステップは、ウェアラブル端末のマイクから農作物の音を取得する。例えば、スイカの場合、スイカを叩いた音が収穫時期の判定に使用される。農作物によっては、農作物の音も判定の要素になるケースがある。
モード受付ステップは、収穫時期のモードの選択を受け付ける。例えば、美味しい収穫時期のモード、高値がつく収穫時期のモード、輸送期間を考慮した収穫時期のモード、乾燥農作物にするときの収穫時期のモード、などである。他にも様々なモードがある。
検出ステップは、表示された収穫時期に対するアクションを検出する。農作業の画像を取得して画像解析をすることで、収穫時期に対するアクションを検出できる。例えば、収穫時期に従って収穫したのか収穫していないのかを検出する。また、ウェアラブル端末のセンサ情報や、農作業者に装着されたセンサ情報などから、収穫時期に対するアクションを検出してもよい。
アクション結果表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、アクションに応じた結果を拡張現実として表示する。例えば、収穫時期を消すアクションを検出したら収穫時期の表示を消してよい。例えば、収穫時期に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
撮像方向取得ステップは、ウェアラブル端末の撮像方向を取得する。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これ以外から取得してもよい。
推測ステップは、端末位置と撮像方向とに基づいて、農作物の農作物位置を推測する。端末位置と撮像方向が分かっていれば、撮像された農作物の位置を推測することができる。
ガイドライン表示ステップは、ウェアラブル端末の表示板に、農作物を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
選択受付ステップは、ウェアラブル端末の表示板を透過して見える農作物に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える農作物を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える農作物にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える農作物にカーソルを合わせることで選択対象の選択を受け付けてもよい。
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
Claims (12)
- ウェアラブル端末の表示板に、農作物の収穫時期を表示するウェアラブル端末表示システムであって、
前記ウェアラブル端末の視界に入った農作物の画像を取得する画像取得手段と、
前記画像を解析して、前記農作物の種類を特定する特定手段と、
前記種類に応じて、判定基準を選択する選択手段と、
前記判定基準に基づいて、前記画像を解析して色およびサイズを判定する判定手段と、
前記判定の結果に基づいて、前記農作物の収穫時期を予測する予測手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記予測された収穫時期を拡張現実として表示する収穫時期表示手段と、
を備えるウェアラブル端末表示システム。 - 前記特定手段は、前記ウェアラブル端末の視界の中央にある農作物を特定対象として特定する
請求項１に記載のウェアラブル端末表示システム。 - 前記農作物が育っている場所の気象予報を取得する気象取得手段を備え、
前記予測手段は、前記判定の結果と、前記取得された気象予報と、に基づいて、前記農作物の収穫時期を予測する
請求項１に記載のウェアラブル端末表示システム。 - 前記ウェアラブル端末の端末位置を取得する端末位置取得手段を備え、
前記気象取得手段は、前記ウェアラブル端末の端末位置を前記農作物が育っている場所とみなして、前記農作物が育っている場所の気象予報を取得する
請求項３に記載のウェアラブル端末表示システム。 - 前記ウェアラブル端末のマイクから、前記農作物の音を取得する音取得手段を備え
前記判定手段は、前記判定基準に基づいて、前記画像を解析して色およびサイズを判定し、前記取得された音を判定する
請求項１に記載のウェアラブル端末表示システム。 - 前記収穫時期のモードの選択を受け付けるモード受付手段を備え、
前記予測手段は、前記判定の結果に基づいて、前記農作物に対して、前記モードにおける収穫時期を予測する
請求項１に記載のウェアラブル端末表示システム。 - 前記表示された収穫時期に対するアクションを検出する検出手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、
を備える請求項１に記載のウェアラブル端末表示システム。 - 前記ウェアラブル端末の端末位置を取得する端末位置取得手段と、
前記ウェアラブル端末の撮像方向を取得する撮像方向取得手段と、
前記端末位置と前記撮像方向とに基づいて、前記農作物の農作物位置を推測する推測手段と、
を備え、
前記特定手段は、前記農作物位置と前記画像解析とから、前記農作物の種類を特定する
請求項１に記載のウェアラブル端末表示システム。 - 前記ウェアラブル端末の表示板に、前記農作物を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
前記画像取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する
請求項１に記載のウェアラブル端末表示システム。 - 前記ウェアラブル端末の表示板を透過して見える前記農作物に対して、選択対象の選択を受け付ける選択受付手段を備え、
前記収穫時期表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記収穫時期を拡張現実として表示する
請求項１に記載のウェアラブル端末表示システム。 - ウェアラブル端末の表示板に、農作物の収穫時期を表示するウェアラブル端末表示方法であって、
前記ウェアラブル端末の視界に入った農作物の画像を取得する画像取得ステップと、
前記画像を解析して、前記農作物の種類を特定する特定ステップと、
前記種類に応じて、判定基準を選択する選択ステップと、
前記判定基準に基づいて、前記画像を解析して色およびサイズを判定する判定ステップと、
前記判定の結果に基づいて、前記農作物の収穫時期を予測する予測ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記予測された収穫時期を拡張現実として表示する収穫時期表示ステップと、
を備えるウェアラブル端末表示方法。 - コンピュータに、
前記ウェアラブル端末の視界に入った農作物の画像を取得する画像取得ステップと、
前記画像を解析して、前記農作物の種類を特定する特定ステップと、
前記種類に応じて、判定基準を選択する選択ステップと、
前記判定基準に基づいて、前記画像を解析して色およびサイズを判定する判定ステップと、
前記判定の結果に基づいて、前記農作物の収穫時期を予測する予測ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記農作物に対して、前記予測された収穫時期を拡張現実として表示する収穫時期表示ステップと、
をさせるためのプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/016941 WO2018198319A1 (ja) | 2017-04-28 | 2017-04-28 | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6267841B1 true JP6267841B1 (ja) | 2018-01-24 |
| JPWO2018198319A1 JPWO2018198319A1 (ja) | 2019-06-27 |
Family
ID=61020799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017554091A Active JP6267841B1 (ja) | 2017-04-28 | 2017-04-28 | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10643073B2 (ja) |
| JP (1) | JP6267841B1 (ja) |
| WO (1) | WO2018198319A1 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6638121B1 (ja) * | 2018-08-30 | 2020-01-29 | 株式会社エヌ・ティ・ティ・データＣｃｓ | 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム |
| WO2020026358A1 (ja) * | 2018-07-31 | 2020-02-06 | 株式会社オプティム | コンピュータシステム、収穫時期予測方法及びプログラム |
| DE112019000045T5 (de) | 2018-07-31 | 2020-08-06 | Information System Engineering Inc. | Informationsdienstleistungssystem und Informationsdienstleistungsverfahren |
| DE112020000044T5 (de) | 2019-10-31 | 2022-03-24 | Information System Engineering Inc. | Informationsbereitstellungssystem |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| KR102588643B1 (ko) * | 2022-12-05 | 2023-10-16 | 주식회사 어밸브 | 스마트팜 내의 작물 수율을 예측하는 방법, 및 이를 이용하는 스마트팜 관리 서버 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220130036A1 (en) * | 2019-01-21 | 2022-04-28 | Sony Group Corporation | Information processing apparatus, electronic device and method |
| WO2020203764A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社日立システムズ | 現場作業支援システム |
| US11003308B1 (en) | 2020-02-03 | 2021-05-11 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| TWI818334B (zh) * | 2021-10-19 | 2023-10-11 | 國立中興大學 | 以手機影像推估穀粒含水量及收穫時期的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192022A (ja) * | 2010-03-15 | 2011-09-29 | Japan Research Institute Ltd | 農作物モニタリング方法、農作物モニタリングシステム及び農作物モニタリング装置 |
| JP2015177397A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | ヘッドマウントディスプレイおよび農作業補助システム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3951025B2 (ja) | 2003-09-18 | 2007-08-01 | 独立行政法人農業・食品産業技術総合研究機構 | 農作業履歴管理装置、農作業履歴管理方法および農作業履歴管理プログラム |
| CN105009197B (zh) * | 2013-02-22 | 2018-01-16 | 索尼公司 | 图像显示装置、图像显示方法、存储介质以及监测系统 |
| WO2016127094A1 (en) * | 2015-02-06 | 2016-08-11 | The Climate Corporation | Methods and systems for recommending agricultural activities |
| US10713697B2 (en) * | 2016-03-24 | 2020-07-14 | Avante International Technology, Inc. | Farm product exchange system and method suitable for multiple small producers |
| KR101810877B1 (ko) * | 2016-09-02 | 2018-01-25 | 순천대학교 산학협력단 | 과일 수확 시기 예측 시스템 및 그 방법 |
-
2017
- 2017-04-28 WO PCT/JP2017/016941 patent/WO2018198319A1/ja active Application Filing
- 2017-04-28 JP JP2017554091A patent/JP6267841B1/ja active Active
- 2017-04-28 US US15/749,897 patent/US10643073B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192022A (ja) * | 2010-03-15 | 2011-09-29 | Japan Research Institute Ltd | 農作物モニタリング方法、農作物モニタリングシステム及び農作物モニタリング装置 |
| JP2015177397A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | ヘッドマウントディスプレイおよび農作業補助システム |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6999223B2 (ja) | 2018-07-31 | 2022-01-18 | 株式会社オプティム | コンピュータシステム、収穫時期予測方法及びプログラム |
| JPWO2020026358A1 (ja) * | 2018-07-31 | 2021-08-26 | 株式会社オプティム | コンピュータシステム、収穫時期予測方法及びプログラム |
| US11341714B2 (en) | 2018-07-31 | 2022-05-24 | Information System Engineering Inc. | Information service system and information service method |
| DE112019000045T5 (de) | 2018-07-31 | 2020-08-06 | Information System Engineering Inc. | Informationsdienstleistungssystem und Informationsdienstleistungsverfahren |
| WO2020026358A1 (ja) * | 2018-07-31 | 2020-02-06 | 株式会社オプティム | コンピュータシステム、収穫時期予測方法及びプログラム |
| CN112639869A (zh) * | 2018-08-30 | 2021-04-09 | 株式会社Ntt数据Ccs | 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序 |
| WO2020044480A1 (ja) * | 2018-08-30 | 2020-03-05 | 株式会社エヌ・ティ・ティ・データＣｃｓ | 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム |
| JP6638121B1 (ja) * | 2018-08-30 | 2020-01-29 | 株式会社エヌ・ティ・ティ・データＣｃｓ | 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム |
| US11935282B2 (en) | 2018-08-30 | 2024-03-19 | Ntt Data Ccs Corporation | Server of crop growth stage determination system, growth stage determination method, and storage medium storing program |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
| DE112020000044T5 (de) | 2019-10-31 | 2022-03-24 | Information System Engineering Inc. | Informationsbereitstellungssystem |
| KR102588643B1 (ko) * | 2022-12-05 | 2023-10-16 | 주식회사 어밸브 | 스마트팜 내의 작물 수율을 예측하는 방법, 및 이를 이용하는 스마트팜 관리 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2018198319A1 (ja) | 2019-06-27 |
| US10643073B2 (en) | 2020-05-05 |
| US20200019780A1 (en) | 2020-01-16 |
| WO2018198319A1 (ja) | 2018-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6267841B1 (ja) | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム | |
| Corcoran et al. | Automated detection of koalas using low-level aerial surveillance and machine learning | |
| US11961192B2 (en) | Mapping sensor data using a mixed-reality cloud | |
| US20150054655A1 (en) | Usage Data for Marine Electronics Device | |
| US20180247361A1 (en) | Information processing apparatus, information processing method, wearable terminal, and program | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| JP6495561B1 (ja) | 土地用途判定システム、土地用途判定方法およびプログラム | |
| US20210142484A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JPWO2019106733A1 (ja) | 生育状況または病害虫発生状況の予測システム、方法およびプログラム | |
| KR20180086776A (ko) | 태깅 어플리케이션을 이용하여 식물 식별 정보를 태깅 및 분석하는 방법, 이를 실행하는 휴대용 스마트 기기 및 이를 포함하는 식물 생육정보 분석 시스템 | |
| US11335044B2 (en) | Display system of a wearable terminal, display method of the wearable terminal, and program | |
| US20200116506A1 (en) | Crowd control using individual guidance | |
| CN114842476A (zh) | 水印检测方法及装置、模型训练方法及装置 | |
| JPWO2019069958A1 (ja) | サーバ装置、ニオイセンサデータ解析方法、及びプログラム | |
| KR101824203B1 (ko) | 대상 개체 계수 장치 및 대상 개체 계수 장치의 대상 개체 계수 방법 | |
| US10372297B2 (en) | Image control method and device | |
| US11651248B2 (en) | Farm data annotation and bias detection | |
| US20210278242A1 (en) | Wearable terminal display system, wearable terminal display method and program | |
| WO2019021446A1 (ja) | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム | |
| WO2018179230A1 (ja) | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム | |
| KR102590772B1 (ko) | 속잎 줄기 길이 측정 장치 및 속잎 줄기 길이 측정 방법 | |
| JP6845446B2 (ja) | 音声内容記録システム、方法及びプログラム | |
| WO2019021447A1 (ja) | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム | |
| WO2018216221A1 (ja) | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム | |
| WO2020022215A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171013 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171013 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6267841 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |