JP7156412B2 - remote harvesting system - Google Patents
remote harvesting system Download PDFInfo
- Publication number
- JP7156412B2 JP7156412B2 JP2021001271A JP2021001271A JP7156412B2 JP 7156412 B2 JP7156412 B2 JP 7156412B2 JP 2021001271 A JP2021001271 A JP 2021001271A JP 2021001271 A JP2021001271 A JP 2021001271A JP 7156412 B2 JP7156412 B2 JP 7156412B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- harvesting
- information
- harvest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003306 harvesting Methods 0.000 title claims description 93
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004069 differentiation Effects 0.000 claims description 6
- 241000220225 Malus Species 0.000 description 79
- 235000021016 apples Nutrition 0.000 description 22
- 238000000034 method Methods 0.000 description 20
- 239000004984 smart glass Substances 0.000 description 19
- 235000013399 edible fruits Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 239000002420 orchard Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 244000017020 Ipomoea batatas Species 0.000 description 1
- 235000002678 Ipomoea batatas Nutrition 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
特許法第30条第2項適用 (1)トッパンプレスリリース 掲載日:令和2年10月26日 掲載アドレス:https://www.toppan.co.jp/news/2020/10/newsrelease_201026_1.html(2)展示日:令和2年11月15日 展示会名:Osaka Food Lab(りんごマルシェ内)Application of Article 30,
本発明は、実際の農場等の作物収穫場所にいなくても遠隔で収穫物を指定し収穫指示を行うことを可能とする遠隔収穫システムに関する技術である。
本発明は、例えば、果物や野菜などを作る農場、果樹園などに撮像装置を設置し、撮影した農作物(収穫物)の画像を顧客に送信することで、顧客が遠隔で疑似的に好みの農作物を刈り取る経験を行うための技術である。
なお、本明細書で顧客とは、一般消費者に限定されず、収穫物を収穫者する者以外を指す。
The present invention relates to a remote harvesting system that enables a user to remotely designate a harvested product and issue a harvesting instruction without being at a crop harvesting place such as an actual farm.
In the present invention, for example, an imaging device is installed in a farm where fruits and vegetables are grown, an orchard, etc., and an image of crops (harvested products) photographed is transmitted to the customer, so that the customer can remotely simulate the desired image. It is a technique for experiencing harvesting crops.
In this specification, the customer is not limited to a general consumer, and refers to a person other than a harvester.
従来、消費者(非生産者)は、果実や野菜などの農作物を入手する場合、スーパーなどの小売店で購入する。また、個々の農作物の生育状態を実際に見て、気に入った特定の農作物を入手したい場合には、消費者は直接に農家など収穫場所に出向く必要があった。
これに対し、特許文献1には、消費者やバイヤーが栽培農家に出向くことなく、温室や果樹園等の栽培圃場で選択しながら果実を収穫する形に近い形で購入できる果実の遠隔収穫システムが記載されている。この従来のシステムでは、映像を用いて一般消費者等が遠隔地から映像IDや座標軸を指定することで、所望の農作物を入手することができる。
しかし、この従来技術にあっては、果実を含む風景を撮像した映像からだけでは、素人である一般消費者には、風景画像中における選択対象となる果実の存在が分かり難かったり、各果実の適正な収穫時期か否かの判断が難しかったりするという問題があった。
Conventionally, consumers (non-producers) purchase agricultural products such as fruits and vegetables at retail stores such as supermarkets. In addition, when consumers want to actually see the growth state of individual crops and obtain a particular crop they like, they have to go directly to a harvesting place such as a farmer.
On the other hand, in
However, in this prior art, it is difficult for general consumers who are amateurs to understand the presence of fruits to be selected in the landscape image only from the image of the scenery including the fruits, and the image of each fruit is difficult to understand. There was a problem that it was difficult to judge whether it was a proper harvest time.
本発明は、上記のような点に着目してなされたものであり、顧客が、遠隔で取得した風景画像から収穫物(農作物など)を特定しやすくすることを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to make it easier for a customer to identify crops (such as crops) from a landscape image obtained remotely.
課題解決のために、本発明の一態様は、収穫者側の第1のシステムと顧客側の第2のシステムとが通信手段を介してデータの授受を行うシステムであって、第1のシステムは、収穫物を含む風景を撮像可能な収穫側撮像部と、上記収穫側撮像部が撮像した風景画像を表示可能な収穫側画像表示部と、を備え、上記第2のシステムは、通信手段を介して、上記収穫側撮像部が撮像した風景画像を取得する画像受信部と、上記画像受信部が受信した風景画像を表示する顧客側画像表示部とを備え、更に、上記収穫側撮像部が撮像した風景画像中の収穫物を抽出する抽出部と、上記抽出部の抽出情報に基づき、上記抽出部が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部と、を有し、上記顧客側画像表示部が表示する風景画像は、上記強調処理部の処理で収穫物を強調表示された風景画像である、ことを要旨とする遠隔収穫システムである。 To solve the problem, one aspect of the present invention is a system in which a first system on the harvester side and a second system on the customer side exchange data via communication means, wherein the first system comprises a harvesting-side imaging section capable of imaging a landscape including harvested products, and a harvesting-side image display section capable of displaying the landscape image captured by the harvesting-side imaging section, wherein the second system comprises communication means and a customer side image display unit for displaying the landscape image received by the image receiving unit, and further comprising: the harvesting side imaging unit an extracting unit for extracting the crops in the landscape image captured by the above, and based on the extraction information of the extracting unit, the landscape image extracted by the extracting unit is processed to highlight the image of the crops. and an emphasis processing unit, wherein the landscape image displayed by the customer-side image display unit is a landscape image in which harvested products are highlighted by the processing of the emphasis processing unit. be.
また、本発明の他の態様は、上記構成の遠隔収穫システムに用いられ、上記第1のシステムと第2のシステムとのデータの授受を仲介するサーバーであって、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第2のシステムに提供する画像提供部を備えると共に、上記抽出部及び上記強調処理部を有し、上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第2のシステムに提供する、遠隔収穫システム用のサーバーである。 Another aspect of the present invention is a server that is used in the remote harvesting system configured as described above and mediates transmission and reception of data between the first system and the second system, wherein the harvesting-side imaging unit captures and an image providing unit for receiving the landscape image received from the landscape image and providing the received landscape image to the second system, the extracting unit and the enhancement processing unit, wherein the image providing unit includes the extracting unit and the A server for a remote harvesting system that provides a second system with a landscape image processed by the enhancement processing unit.
本発明の態様によれば、通信手段を介して取得した風景画像に写っている選択対象となる各収穫物を、顧客が当該風景画像から特定しやすくなる。
この結果、本発明の対象によれば、例えば、一般消費者でも農作物の存在や、適正な収穫時期の判断がしやすくなる。
According to the aspect of the present invention, it becomes easier for the customer to specify each crop to be selected from the landscape image acquired via the communication means.
As a result, according to the object of the present invention, for example, even general consumers can easily judge the presence of agricultural products and the appropriate harvest time.
次に、本発明に実施形態について説明する。
ここで、同一の構成要素については便宜上の理由がない限り同一の符号を付けて説明する。また、各図面において、各構成要素は誇張されて記載されていることがあり、構成要素の構想なども実際のシステムとは相違させて図示していることがある。また、本発明は、以下の実施形態に限定されるものではなく、その主旨を逸脱しない限りにおいて、適宜の組合せや変形によって具体化でき、そのような変更や改良を加えた形態も本発明に含まれ得る。
Next, embodiments of the present invention will be described.
Here, the same components will be described with the same reference numerals unless there is a reason for convenience. In addition, in each drawing, each component may be exaggerated, and the concept of the component may be illustrated differently from the actual system. In addition, the present invention is not limited to the following embodiments, and can be embodied by appropriate combinations and modifications as long as they do not deviate from the gist of the invention. can be included.
以下に説明する例では、主として、収穫物が農作物の一種であるリンゴの場合を例に挙げて説明する。
ただし、本発明が対象とする収穫物は、リンゴなどの樹に成る農作物に限定されず、地面近傍に成るイチゴや白菜などの農作物であっても良い。また、収穫物は、農作物に限定されず、家畜などの動物や魚類、卵、自生のキノコなどでもよい。
また、本実施形態では、撮像する収穫物は収穫前の収穫物とするが、本発明は、掘り起こしたサツマイモのなどの、収穫後の農作物を含む風景を撮像対象としても良い。
In the example described below, a case where the harvested product is apples, which is a type of crop, will be mainly described as an example.
However, the harvested products targeted by the present invention are not limited to agricultural crops that grow on trees such as apples, and may be agricultural crops such as strawberries and Chinese cabbage that grow near the ground. Harvested products are not limited to agricultural products, and may be animals such as livestock, fish, eggs, wild mushrooms, and the like.
Also, in the present embodiment, harvested products to be imaged are harvested products before harvesting, but in the present invention, scenery including harvested crops such as dug up sweet potatoes may also be imaged.
本実施形態の遠隔収穫システムは、図1に示すように、第1のシステム1と、第2のシステム3と、サーバー2とを備え、第1のシステム1と第2のシステム3とが無線通信手段を介してデータの授受を行うシステムである。
第1のシステム1は、農家側(収穫者側)に設けられたシステムである。
第2のシステム3は、受信した風景画像からリンゴ(収穫物)を選択して第1のシステム1に収穫指示を行う顧客側のシステムである。なお、顧客は、収穫物を購入したい一般消費者でも良いし、農家の管理者でも良い。
サーバー2は、第1のシステム1と第2のシステム3とのデータの授受を仲介するシステムである。サーバー2は、第1のシステム1に統合されて入れも良い。
As shown in FIG. 1, the remote harvesting system of this embodiment includes a
The
The
The
<第1のシステム1>
第1のシステム1は、図2に示すように、収穫側撮像部10、収穫側画像表示部11、収穫物特定部12、報知部14、及び収穫側通信部13を備える。
[収穫側撮像部10]
収穫側撮像部10は、収穫物を含む風景を撮像可能な装置である。収穫側撮像部10は、スマートグラスのカメラ部、携帯カメラ、携帯端末のカメラ部などから構成される。収穫側撮像部10を2以上有していてもよい。
収穫物撮像部は、例えば、5fpsのフレームレートで連続的に撮像する静止画(風景画像)を、収穫側通信部13を介してサーバー2に連続的に送信すると共に、当該風景画像を、収穫側画像表示部11に供給する。撮像した風景画像を不図示の記憶部に記憶しておいてもよい。撮像した風景画像はカラー画像とする。3D画像であってもよい。また、送信する風景画像は、これらに限るものではなく、フレームレートを30fps以上としたいわゆる動画などを用いてもよい。
<
The
[Harvesting side imaging unit 10]
The harvesting-
The harvest imaging unit continuously transmits still images (scenery images) continuously captured at a frame rate of, for example, 5 fps to the
本実施形態では、収穫者が、収穫側撮像部10を有する装置を所持して、収穫対象のリンゴの映しながら移動するとする。収穫者の移動は、収穫側撮像部10を収穫者が身に付けて歩くようにしても良いし、収穫側撮像部10を車やカートなどに取り付けて移動するようにしてもよい。
In the present embodiment, it is assumed that a harvester carries a device having the harvesting-
[収穫側画像表示部11]
収穫側画像表示部11は、収穫側撮像部10から取得した風景画像を表示するディスプレイ装置である。収穫側画像表示部11が2以上あってもよい。本実施形態では、収穫側撮像部10と共に収穫側画像表示部11を移動させる場合を例示するが、収穫側画像表示部11を収穫側撮像部10とは別の者が有していても良い。
収穫側画像表示部11は、例えば、収穫側撮像部10が取得した最新の風景画像を表示する。また、例えば、収穫側画像表示部11は、最新の風景画像と共に、第2のシステム3で選択された風景画像を表示可能としてもよい。
収穫側画像表示部11は、スマートグラスの表示部、携帯端末の表示部などから構成される。
[Harvesting side image display unit 11]
The harvesting-side
The harvesting-side
The harvesting-side
[収穫物特定部12]
収穫物特定部12は、第2のシステム3の位置情報送信部35が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を収穫側画像表示部11に表示する処理を行う。
例えば、収穫物特定部12は、収穫側画像表示部11が表示する、第2のシステム3で選択された風景画像(第1の風景画像と呼ぶ)、若しくは最新の風景画像(第2の風景画像と呼ぶ)に対し、上記位置特定情報で特定された収穫物の位置にポインタ画像を重ねる(付加する)処理を実行する。この場合、ポインタ画像が収穫物の特定情報となる。
ここで、第1の風景画像は、第2のシステム3に送った風景画像を第1のシステム1が保存したものを用いることができる。
[Harvest identification unit 12]
Based on the position specifying information of the harvest transmitted by the position
For example, the
Here, the scenery image sent to the
例えば、顧客からの位置特定情報に応じた指示(ポインタなど)情報が、スマートグラスのレンズに投影され、スマートグラスを装着している収穫者が実際に目で見ている視覚情報に重なって見えるように処理を行ってもよい。この場合、顧客側の画像とその時に収穫者側がレンズ越しに見ている視界との同期(位置合わせ)を取るために、座標軸の補正処理を行ったうえでポインタなどをスマートグラスのレンズに投影する。 For example, instructions (pointers, etc.) information in response to location-specific information from customers is projected onto the lenses of smart glasses, and appears superimposed on the visual information that the harvester wearing the smart glasses actually sees. may be processed as follows. In this case, in order to synchronize (align) the customer's image with the field of view that the harvester sees through the lens at that time, the coordinate axes are corrected before projecting the pointer, etc. onto the lens of the smart glasses. do.
リンゴ(収穫物)の位置特定情報がユニバーサル座標の場合には、現在表示中の風景画像の特定位置のユニバーサル座標から、その風景画像中の指定されたリンゴの位置を特定すればよい。リンゴの位置特定情報が、例えばリンゴを指定した風景画像を特定する画像特定情報と、その風景画像中の指定したリンゴの位置情報とであれば、上記特定する画像特定情報と現在の風景画像との補間などから、現在の風景画像中のリンゴの位置を特定する。又は、その上記特定の風景画像にリンゴの位置を表示して、現在の風景画像とは別に表示するようにしてもよい。 When the position specifying information of the apple (harvest) is universal coordinates, the position of the specified apple in the landscape image can be specified from the universal coordinates of the specific position of the currently displayed landscape image. If the position specifying information of the apple is, for example, the image specifying information specifying the scenery image specifying the apple and the position information of the apple specified in the scenery image, the image specifying information to be specified and the current scenery image. Identify the position of the apple in the current landscape image, such as by interpolation of . Alternatively, the position of the apple may be displayed on the specific landscape image, and displayed separately from the current landscape image.
ここで、第1の風景画像を用いる場合、第2のシステム3から取得したポインタの座標を第1のシステム1が保存している画像に重ねる(同じ画像なので)ことで実現すればよい。
第2の風景画像を用いる場合、画像の位置合わせ処理を行う手法を用いることで実現できる。例えば以下の方法を用いればよい。
すなわち、複数コマ前の画像(タブレットに送った画像)と現在の画像の差分をスマートグラス側(第1のシステム1)、タブレット側(第2のシステム3)、又はサーバー2で算出を行い、その結果を鑑みてポインタ座標を動かす処理を行い、第2の風景画像にポインタを重ねる。画像同士の差分は公知の画像処理で行うことができる。このとき、「ポインタを動かす」処理でも良いし、ポインタの座標を固定し「画像自体を動かす」処理でも良い。
Here, when using the first landscape image, the coordinates of the pointer obtained from the
When the second landscape image is used, it can be realized by using a method of performing image alignment processing. For example, the following method may be used.
That is, the difference between the image several frames before (the image sent to the tablet) and the current image is calculated on the smart glass side (first system 1), the tablet side (second system 3), or the
なお、高精度のGPSを用いれば、基準画像と共に基準画像のGPS情報、第一の端末の加速度センサーなどの情報を保存しておき、基準画像と現在の画像のGPS、加速度センサーの情報から、相対的な位置関係を算出し、画像が全く重なっていない場合でもどの程度のずれがあるか算出することはでき、例えば現在の画像をもう少し左の方にもっていけば基準画像と重なる場合は左の方に異動するように促すような表示を行い、画面上で重なったときに、ポインタ情報を重ねて表示するようにしてもよい。 If a high-precision GPS is used, the GPS information of the reference image and information such as the acceleration sensor of the first terminal are saved together with the reference image. It is possible to calculate the relative positional relationship and calculate the degree of displacement even if the images do not overlap at all. It is also possible to make a display prompting the user to move to the direction of and, when overlapping on the screen, display the pointer information overlaid on the screen.
また、サーバーが処理する場合、スマートグラス側から受信した画像(動画の場合は切り出した静止画)を基準画像としてサーバー内で保存し、この基準画像に処理をして顧客タブレットに送信し、顧客タブレットからは特定情報の座標情報のみを取得し、基準画像に重ねる処理を行いスマートグラスに送信し、スマートグラスは映すだけでも良い。現実的には、画像自体をスマートグラスに送信せずにサーバーにアクセスさせて表示する方が好ましい。ちなみに、ポイントの基点情報を収穫場所に物理的に設置(ポールなどで構成)し、撮影した画像上でその設置した基点情報からの位置として、表示することもできる。
なお、風景画像とポインタを重ねる作業は第1のシステムで行わなくてもよく、第2のシステムで風景画像とポインタを重ねて第1のシステムに送信しても良い。
また、スマートグラスとは別に、収穫側画像表示部11としてタブレットを有していても良い。
In addition, when the server processes, the image received from the smart glasses side (in the case of video, a still image cut out) is saved as a reference image in the server, and this reference image is processed and sent to the customer tablet, and the customer It is also possible to acquire only the coordinate information of the specific information from the tablet, superimpose it on the reference image, send it to the smart glasses, and display it on the smart glasses. Realistically, it is preferable to access the server and display the image itself without sending it to the smart glasses. By the way, it is also possible to physically set the base point information of the point at the harvesting place (constituted by a pole or the like) and display it as a position from the set base point information on the photographed image.
Note that the first system does not need to superimpose the landscape image and the pointer, and the second system may superimpose the landscape image and the pointer and transmit them to the first system.
Moreover, a tablet may be provided as the harvesting-side
[報知部14]
報知部14は、第1のシステム1が上記の位置特定情報を取得すると、停止指示を報知する。報知指示は、例えば、音声によって、「停止して下さい」となどと、収穫側画像表示部11の操作者に通報する。収穫側画像表示部11に「一時停止」などの警告画像を表示するようにしても良い。
これによって、収穫側撮像部10が撮像している最新の風景画像中に、顧客が選択したリンゴが映っている可能性を高めることができる。
<サーバー2>
サーバー2は、図3に示すように、画像提供部20及びデータベース24を備える。本実施形態のサーバー2は、更に、抽出部21、強調処理部22、及び情報付加部23を備える。
[Notification unit 14]
The
As a result, it is possible to increase the possibility that the apple selected by the customer appears in the latest landscape image captured by the harvesting-
<
The
[画像提供部20]
画像提供部20は、収穫側撮像部10が撮像した風景画像を受信し、受信した風景画像を第2のシステム3に提供する処理を行う。受信した画像は、適宜データベース24に格納する。
なお、画像提供部20は、抽出部21、強調処理部22、情報付加部23の処理が実行された風景画像については、抽出部21、強調処理部22、情報付加部23の処理で加工後の風景画像を、受信した風景画像として第2のシステム3に提供する処理を行う。
[Image providing unit 20]
The
Note that the
[抽出部21]
抽出部21は、収穫側撮像部10が撮像した風景画像中の収穫物を抽出する処理を実行する。
本実施形態の抽出部21は、画像提供部20が受信した風景画像について、風景画像中の収穫物を抽出する処理を実行する。
本実施形態の抽出部21では、りんごの色(赤色:成熟度を表現する色)に基づき、HSVの数値の範囲を指定して画像中のリンゴの抽出処理をしている。収穫物の抽出は、輪郭での判断に基づく抽出など、公知の抽出技術を用いれば良い。
[Extraction unit 21]
The extracting
The extracting
The
リンゴやトマト、ブドウ、ナシ、みかんなど、収穫物の色が周囲の背景と大きく異なる場合は、色情報を用いて抽出することが好適である。さらに輪郭の形状情報を組み合わせることで精度を向上させることができる。また、周囲と温度が異なるものが対象となる場合、温度センサーを組み合わせ、温度情報を用いて抽出してもよい。
ここで、風景画像から、機械学習に基づき、リンゴの抽出を行ったり、リンゴの画像からリンゴの成熟度などの表示(差別化情報の表示)を行ったりしても良い。
なお、風景画像中において、部分的に見えているリンゴは、その一部露出している部分のみで1つのりんごとして扱ってもよいし、リンゴの形状を復元するように推定してリンゴを抽出するようにしてもよい。
When the color of harvested products such as apples, tomatoes, grapes, pears, and mandarin oranges is significantly different from the surrounding background, it is preferable to extract using color information. Furthermore, by combining contour shape information, accuracy can be improved. In addition, when an object whose temperature is different from the surroundings is targeted, a temperature sensor may be combined to extract using temperature information.
Here, apples may be extracted from the landscape image based on machine learning, and apple maturity and the like may be displayed (differentiation information display) from the apple image.
It should be noted that a partially visible apple in a landscape image may be treated as a single apple with only the partially exposed portion, or an apple may be extracted by estimating so as to restore the shape of the apple. You may make it
[強調処理部22]
強調処理部22は、抽出部21の抽出情報に基づき、抽出部21が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う。
本実施形態の強調処理部22は、画像提供部20が受信した風景画像について、風景画像中の収穫物を強調表示する処理を実行する。
強調表示としては、例えば、図5に示すように、タブレット4の表示部に表示される風景画像に対し、抽出したリンゴ101を枠102で囲む強調表示や、抽出したリンゴ101以外の風景(背景)を、カラー画像から白黒画像にしたり全面的に白や灰色にしたりする強調表示や、リンゴである旨の注釈をつけるような強調表示がある。これにより、選択可能なリンゴを浮き上がられる強調処理が実行される。
他の強調表示としては、例えば、リンゴを囲む枠が揺れたり、動いたり、色が変わったり、点滅させたりしても良い。また抽出したリンゴ(収穫物)を擬人化して、リンゴから吹き出しが出たり、リンゴに表情を付けたりしても良い。
[Enhancement processing unit 22]
Based on the extraction information of the
The highlighting
As the highlighting, for example, as shown in FIG. 5, the landscape image displayed on the display unit of the
Other highlighting may include, for example, the frame surrounding the apple swaying, moving, changing color, or blinking. It is also possible to anthropomorphize an extracted apple (harvested product) so that a speech bubble comes out of the apple or an expression is given to the apple.
[情報付加部23]
情報付加部23は、抽出部21が抽出処理を行った風景画像に対し、風景画像中の各リンゴ(収穫物)について選択判断情報を付加する処理を実行する。
例えば、抽出したリンゴを囲む枠内の赤色(農作物の成熟部の色)の面積を演算し、演算した面積を枠に紐付けて数字表示を行う(図5の符号103を参照、図5では数字は省略されている)。演算した面積に基づき、風景画像中における、面積の大きいリンゴ順の番号を選択判断情報として表示させるようにしても良いし、符号103の位置に、色区分により選択情報を表示しても良い。この情報が、リンゴ選択の判断情報(差別化情報)となる。
[Information addition unit 23]
The
For example, the area of red (the color of the mature part of the crop) in the frame surrounding the extracted apple is calculated, and the calculated area is linked to the frame and displayed numerically (see
他の収穫物を選択する判断情報(差別化情報)としては、例えば下記のようなもの例示できる。
・画像認識により、各リンゴの外傷を強調する。
・画像認識により、形によりランク付けを行う。
・光透過からクロロフィル含有量を推定して、熟度を表示する。
・光透過から近赤外光Brix値を推定して、糖度を表示する。
・光透過からリンゴの密の状態を表示する。
・光透過からリンゴ内部の内部褐変の状態を表示する。
・香りセンサーが取得した情報を用いて、リンゴの香りの情報を表示する。
・超音波センサーが取得した情報を用いて、叩いたときの音の情報を表示する。
・温度が判断材料とされる収穫物であれば温度(サーモ)情報を表示する。
・摩擦センサーで取得した情報を用いて、収穫物の手触りの情報を表示する。
Examples of judgment information (differentiation information) for selecting other crops include the following.
・By image recognition, the injury of each apple is emphasized.
・Ranking is performed according to shape by image recognition.
・Indicates ripeness by estimating chlorophyll content from light transmission.
・The Brix value of near-infrared light is estimated from the light transmission, and the sugar content is displayed.
・Displays the dense state of apples from light transmission.
・Displays the state of internal browning inside the apple from light transmission.
・Display apple scent information using the information acquired by the scent sensor.
・Uses the information acquired by the ultrasonic sensor to display information about the sound when struck.
- Temperature (thermo) information is displayed for harvested products for which temperature is a criterion for judgment.
・Displays information on the texture of the harvest using the information acquired by the friction sensor.
なお、この場合、触覚が伝わるようなグローブなどを第2のシステム側に設けることが好ましい。
なお、収穫物を選択する判断情報(差別化情報)は、対象とする収穫物に応じて、その収穫物の判断情報(差別化情報)を提示するようにすればよい。
なお、抽出部21、強調処理部22、情報付加部23の処理は、例えば、図6に示すように、第2のシステム3が有し、第2のシステム3で実行しても良いし、第1のシステム1が有していても良い。
In this case, it is preferable to provide a glove or the like on the side of the second system so that a tactile sensation can be transmitted.
Note that the judgment information (differentiation information) for selecting the harvested product may be presented according to the target harvested product (differentiation information).
The processes of the
<第2のシステム3>
第2のシステム3は、タブレットやPCのアプリケーションで構成される。
第2のシステム3は、図4に示すように、顧客側通信部31、画像受信部32、顧客側画像表示部33、収穫物指定部34、位置情報送信部35を備える。
顧客側通信部31は、通信手段を介してサーバー2との間でデータの授受を実行する。
<
The
The
The customer-
[画像受信部32]
画像受信部32は、顧客側通信部31を介して、サーバー2から、収穫側撮像部10が撮像した風景画像を取得する。
[顧客側画像表示部33]
顧客側画像表示部33は、画像受信部32が受信した風景画像を表示する。
ここで、画像受信部32が取得した風景画像は、抽出部21、強調処理部22、情報付加部23の処理が施された後の風景画像であるが、これに限定されない。
例えば、連続的に画像受信部32が取得し、顧客側画像表示部33が連続的に表示する風景画像から、顧客の選択で特定の風景画像を特定し、その特定した画像情報をサーバー2側に送り、その特定した風景画像に対してのみ、抽出部21、強調処理部22、情報付加部23の処理を実行し、画像受信部32が加工後の賦形画像を再度、サーバー2側から取得する構成であって良い。
[Image receiving unit 32]
The
[Customer side image display unit 33]
The customer-side
Here, the scenery image acquired by the
For example, a specific landscape image is selected by the customer from landscape images continuously acquired by the
[収穫物指定部34]
収穫物指定部34は、顧客側画像表示部33が表示する風景画像から、当該画像中の特定の収穫物を選択する処理を実行する。
例えば、収穫物指定部34は、図5のように、連続的に変化する風景画像中の特定のリンゴ(収穫物)を棒5などでタッチされたと判定すると、そのタッチされたリンゴが選択されたと判定する。
[Harvest designation unit 34]
The
For example, when the
[位置情報送信部35]
位置情報送信部35は、収穫物指定部34によって収穫物が選択されたと判定すると、選択された収穫物の座標(風景画像における接触した位置の座標)を、収穫物指定部34が選択した収穫物の位置特定情報として、通信手段を介して第1のシステム1に送信する。
座標は、収穫場所の特定位置を起点からのユニバーサル座標であることが好ましい。例えば、リンゴを指定した画像のユニバーサル座標から指定したリンゴのユニバーサル座標を演算する。また、収穫物の位置特定情報は、例えばリンゴを指定した風景画像を特定する画像特定情報と、その風景画像中の指定した収穫物の相対位置情報とから構成されていてもよい。
[Location information transmission unit 35]
When the position
The coordinates are preferably universal coordinates starting from a specific location in the harvesting area. For example, the universal coordinates of a specified apple are calculated from the universal coordinates of an image in which an apple is specified. Further, the harvest position specifying information may be composed of, for example, image specifying information for specifying a landscape image designating an apple, and relative position information of the harvest designating within the landscape image.
ここで、上述のように、第1又は第2の風景画像を用いた風景画像にポインタ画像を重ねる処理をサーバーで処理しても良い。
第1の風景画像を用いる場合、第2のシステム3から取得したポインタの座標を、第1のシステム1から受信してデータベース24で保存している画像に重ねることで実現する。
第2の風景画像を用いる場合、例えば、複数コマ前の画像(タブレットに送った画像)と現在の画像の差分をサーバー2で算出を行い、その結果を鑑みてポインタ座標を動かすことで処理する。画像同士の差分は公知の画像処理で行うことができる。このとき、「ポインタを動かす」処理でも良いし、ポインタの座標を固定し「画像自体を動かす」処理でも良い。
Here, as described above, the server may process the process of superimposing the pointer image on the scenery image using the first or second scenery image.
When using the first scenery image, the coordinates of the pointer obtained from the
When using the second landscape image, for example, the
そして、サーバー2が処理する場合、スマートグラス側から受信した画像(動画の場合は切り出した静止画)を基準画像としてサーバー2内で保存し、この基準画像に処理をして顧客タブレットに送信し、顧客タブレットからは特定情報の座標情報のみを取得し、基準画像に重ねる処理を行いスマートグラスに送信し、スマートグラスは映すだけでも良い。現実的には、画像自体をスマートグラスに送信せずにサーバーにアクセスさせて表示する方が好ましい。ちなみに、ポイントの基点情報を収穫場所に物理的に設置(ポールなどで構成)し、撮影した画像上でその設置した基点情報からの位置として、表示することもできる。
Then, when the
(動作その他)
本実施形態では、収穫者が、収穫可能なリンゴを含む風景を収穫側撮像部10で連続的に撮像し、その撮像した風景画像が連続的に、顧客側に提示される。
顧客は顧客側画像表示部33に連続して表示される風景画像を見て、欲しいリンゴが見つかったら、そのリンゴを指や棒5でタッチすることで、そのリンゴを選択する。リンゴの選択がなされると、選択されたことが第1のシステム1に送信され、収穫者に、リンゴが選択されたことが通知されると共に、選択されたリンゴの情報が収穫側画像表示部11で特定される。そして、収穫者は、選択されたリンゴを収穫する。
(Other operations)
In this embodiment, the harvester continuously captures the scenery including apples that can be harvested by the harvesting-
The customer looks at the scenery images continuously displayed on the customer side
本実施形態では、顧客側に対し、選択可能なリンゴを強調表示した風景画像を提供する。この結果、連続して変化する風景画像中の各リンゴを視認しやすくなり、リンゴの指定が容易となる。
更に本実施形態では、各リンゴに対して差別化情報を付与しているために、顧客は、どのリンゴを選べばよいか、判断基準を得ることもできて、リンゴの選択がより容易となる。
これによって、一般消費者でも、移り変わる風景画像中のリンゴの存在を視認しやすくなり、且つ、顧客(一般消費者)が、連続的に送られてくる風景画像に基づき、遠隔で疑似的に好みのリンゴを刈り取りのための指示を行うことが可能となる。
In this embodiment, the customer is provided with a landscape image in which selectable apples are highlighted. As a result, each apple in the landscape image that changes continuously becomes easier to see, and it becomes easier to specify the apple.
Furthermore, in the present embodiment, each apple is provided with differentiating information, so that the customer can obtain criteria for determining which apple to choose, making it easier to select apples. .
As a result, even general consumers can easily visually recognize the presence of apples in the changing landscape images, and customers (general consumers) can remotely simulate their preferences based on the landscape images that are continuously sent. It is possible to give instructions for harvesting apples.
例えば、各赤色の面積の情報を表示することで、リンゴの成熟状態や大きさが、リンゴ選択情報として顧客に提示される。
また、顧客がリンゴの選択を行った際に、停止指示を収穫者側に報知することで、現在撮像中の風景画像に、顧客が選択したリンゴが位置するようになって、より精度良く指定されたリンゴの収穫が可能となる。
なお、収穫前に、「このリンゴを収穫するか否か」の問い合わせを第1のシステム1から第2のシステム3に送るようにして、より確実に指定されたリンゴを収穫可能としてもよい。
For example, by displaying information on each red area, the ripening state and size of apples are presented to the customer as apple selection information.
In addition, when the customer selects an apple, by notifying the harvester of a stop instruction, the apple selected by the customer will be positioned in the landscape image that is currently being captured, allowing for more accurate designation. It is possible to harvest apples that have been harvested.
Before harvesting, the
ここで、上記説明では、リアル画像を連続して送信し、顧客が同期された風景画像からリンゴの選択を遠隔で実行する場合を例示しているが、これに限定されない。
すなわち、第1のシステム1と第2のシステム3とで、風景画像の同期を必ずしも取らなくても良い。例えば、所定時間(例えば数時間)単位に、第1のシステム1で風景画像を撮像して、順次、サーバー2のデータベース24に格納しておき、第2のシステム3では、データベース24に格納されている風景画像を順次、受信してリンゴの選択処理を実行するようにしてもよい。この場合には、顧客が、好きな時間に、じっくりと時間を掛けてリンゴの選択が可能となる。
Here, the above description exemplifies a case in which real images are continuously transmitted and the customer remotely selects an apple from a synchronized scenery image, but the present invention is not limited to this.
That is, the
また、リンゴの選択が行われた際に、停止指示を収穫者側に報知することで、現在の風景画像中に選択されたリンゴが位置するようになる。この結果、より精度良く指定されたリンゴの収穫が可能となる。上記説明では、リンゴの指定時に停止指示(リンゴの特定情報)を第1のシステム1側に送信しているが、これに限定してない。例えば、リンゴの選択前に、リンゴを選択しようとする風景画像と顧客が認識したときに、第1のシステム1側に撮像する画像撮像の位置の停止指示を送るようにしても良い。
In addition, when the apples are selected, the selected apples are positioned in the current landscape image by notifying the harvester of a stop instruction. As a result, it becomes possible to harvest apples specified with higher accuracy. In the above description, a stop instruction (specific information about apple) is sent to the
これによって、顧客から収穫者側に、スマートグラスなどの収穫側撮像部10を動かさないように指示をすることで、収穫者が撮像している現在の風景画像(スマートグラスの場合には、スマートグラス装着者がリアルに見ている視界)と、リンゴ選択の風景画像とのずれを少なくすることが可能となる。
このとき、例えば、スマートグラスの右目側に現在のリアル画像を映し、左目側にリンゴ選択がなされた風景画像を映すようにしてもよい。
また、収穫者側における収穫側画像表示部11として、スマートグラスとは別に、タブレットを有していても良い。すなわち、収穫側画像表示部11が2つ以上あっても良い。
また、収穫者側で、収穫側撮像部10を有する収穫者と、収穫側画像表示部11を見ている収穫者が別の者であってもよい。
As a result, the customer instructs the harvester not to move the harvesting-
At this time, for example, the current real image may be displayed on the right eye side of the smart glasses, and the landscape image with the apple selected may be displayed on the left eye side.
In addition, the harvester may have a tablet as the harvesting-side
Also, on the harvester side, the harvester who has the harvesting-
(その他)
本実施形態では、以下のような構成も取ることができる。
(1)収穫者側の第1のシステム1と顧客側の第2のシステム3とが通信手段を介してデータの授受を行うシステムであって、第1のシステム1は、収穫物を含む風景を撮像可能な収穫側撮像部10と、上記収穫側撮像部10が撮像した風景画像を表示可能な収穫側画像表示部11と、を備え、上記第2のシステム3は、通信手段を介して、上記収穫側撮像部10が撮像した風景画像を取得する画像受信部32と、上記画像受信部32が受信した風景画像を表示する顧客側画像表示部33とを備え、更に、上記収穫側撮像部10が撮像した風景画像中の収穫物を抽出する抽出部21と、上記抽出部21の抽出情報に基づき、上記抽出部21が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部22と、を有し、上記顧客側画像表示部33が表示する風景画像は、上記強調処理部22の処理で収穫物を強調表示された風景画像である、ことを特徴とする遠隔収穫システム。
(others)
In this embodiment, the following configuration can also be taken.
(1) A system in which a
(2)上記収穫側撮像部10は、収穫前の収穫物を含む風景を撮像する、ことを特徴とする遠隔収穫システム。
(3)上記風景画像はカラー画像であり、上記強調表示は、風景画像中の収穫物以外の画像を白黒画像にする、収穫物を枠で囲む表示とする、又は注釈を付けることで行うことを特徴とする遠隔収穫システム。
(4)更に、風景画像中の各収穫物の選択判断情報を風景画像上に付加する情報付加部23を備え、上記顧客側画像表示部33が表示する風景画像は、上記選択判断情報が付加された風景画像である、ことを特徴とする遠隔収穫システム。
(2) A remote harvesting system characterized in that the harvesting-
(3) The scenery image is a color image, and the above-mentioned highlighting is performed by making images other than the crops in the scenery image black-and-white images, by enclosing the crops in a frame, or by attaching an annotation. A remote harvesting system characterized by:
(4) Further, an
(5)上記第2のシステム3は、上記顧客側画像表示部33が表示する風景画像から、当該風景画像中の特定の収穫物を選択する収穫物指定部34と、上記収穫物指定部34が選択した収穫物の位置特定情報を、通信手段を介して第1のシステム1に送信する位置情報送信部35と、を備え、上記第1のシステム1は、上記位置情報送信部35が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を上記収穫側画像表示部11に表示する収穫物特定部12を備える、ことを特徴とする遠隔収穫システム。
(5) The
(6)上記収穫物特定部12は、上記収穫側画像表示部11に表示される風景画像に、上記収穫物の特定情報を付加することを特徴とする遠隔収穫システム。
(7)上記第1のシステム1は、上記位置特定情報を取得すると、停止指示を報知する報知部14を備える、ことを特徴とする遠隔収穫システム。
(8)上記抽出部21及び上記強調処理部22は、第2のシステム3が有することを特徴とする遠隔収穫システム。
(6) A remote harvesting system, wherein the
(7) The remote harvesting system, wherein the
(8) A remote harvesting system, wherein the
(9)上記第1のシステム1と第2のシステム3とのデータの授受を仲介するサーバー2を有し、上記サーバー2は、上記収穫側撮像部10が撮像した風景画像を受信し、受信した風景画像を、上記第2のシステム3に提供する画像提供部20を備え、上記抽出部21及び強調処理部22は、上記サーバー2に設けられ、上記画像提供部20は、上記抽出部21及び強調処理部22での処理で加工後の風景画像を、第2のシステム3に提供する、ことを特徴とする遠隔収穫システム。
(9) It has a
(10)上記記載の遠隔収穫システムに用いられ、上記第1のシステムと第2のシステムとのデータの授受を仲介するサーバーであって、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第2のシステムに提供する画像提供部を備えると共に、上記抽出部及び上記強調処理部を有し、上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第2のシステムに提供する、遠隔収穫システム用のサーバー。 (10) A server that is used in the remote harvesting system described above and mediates transmission and reception of data between the first system and the second system, and receives a landscape image captured by the harvesting-side imaging unit; An image providing unit for providing the received scenery image to the second system, and the extracting unit and the enhancement processing unit, wherein the image providing unit performs processing in the extraction unit and the enhancement processing unit. A server for a remote harvesting system that provides processed landscape images to a second system.
1 第1のシステム
2 サーバー
3 第2のシステム
4 タブレット
5 棒
10 収穫側撮像部
11 収穫側画像表示部
12 収穫物特定部
13 収穫側通信部
14 報知部
20 画像提供部
21 抽出部
22 強調処理部
23 情報付加部
24 データベース
31 顧客側通信部
32 画像受信部
33 顧客側画像表示部
34 収穫物指定部
35 位置情報送信部
101 リンゴ
102 枠
1
Claims (6)
第1のシステムは、収穫物を含む風景を撮像可能な収穫側撮像部と、上記収穫側撮像部が撮像した風景画像を表示可能な収穫側画像表示部と、を備え、
上記第2のシステムは、通信手段を介して、上記収穫側撮像部が撮像した風景画像を取得する画像受信部と、上記画像受信部が受信した風景画像を表示する顧客側画像表示部とを備え、
更に、上記収穫側撮像部が撮像した風景画像中の収穫物を抽出する抽出部と、
上記抽出部の抽出情報に基づき、上記抽出部が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部と、を有し、
上記顧客側画像表示部が表示する風景画像は、上記強調処理部の処理で収穫物を強調表示された風景画像であり、
上記第2のシステムは、上記顧客側画像表示部が表示する風景画像から、当該風景画像中の特定の収穫物を選択する収穫物指定部と、上記収穫物指定部が選択した収穫物の位置特定情報を、通信手段を介して第1のシステムに送信する位置情報送信部と、を備え、
上記第1のシステムは、上記位置情報送信部が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を上記収穫側画像表示部に表示する収穫物特定部を備え、
上記第1のシステムは、上記位置特定情報を取得すると、停止指示を報知する報知部を備え、
上記停止指示は、現在撮像中の風景画像に、撮像する画像の位置の停止を指示する情報である、
ことを特徴とする遠隔収穫システム。 A system in which a first system on the harvester side and a second system on the customer side exchange data via communication means,
A first system includes a harvesting-side imaging unit capable of imaging a landscape including harvested products, and a harvesting-side image display unit capable of displaying the landscape image captured by the harvesting-side imaging unit,
The second system comprises, via a communication means, an image receiving section that acquires the scenery image captured by the harvesting side imaging section, and a customer side image display section that displays the scenery image received by the image receiving section. prepared,
Furthermore, an extraction unit for extracting the crop in the landscape image captured by the harvest-side imaging unit;
an enhancement processing unit that performs processing to highlight and display an image of harvested products in the scenery image extracted by the extraction unit based on the extraction information of the extraction unit;
the landscape image displayed by the customer-side image display unit is a landscape image in which harvested products are highlighted by the processing of the emphasis processing unit ;
The second system includes a crop designating unit that selects a specific crop in the landscape image from the landscape image displayed by the customer-side image display unit; a location information transmission unit that transmits the specific information to the first system via the communication means;
The first system includes a harvest specifying unit that displays, on the harvest-side image display unit, harvest specifying information corresponding to the position specifying information of the harvest, based on the position specifying information of the harvest transmitted by the position information transmitting unit. with
The first system includes a notification unit that notifies a stop instruction when the position specifying information is acquired,
The stop instruction is information that instructs the scenery image currently being captured to stop the position of the image to be captured.
A remote harvesting system characterized by:
上記顧客側画像表示部が表示する風景画像は、上記選択判断情報が付加された風景画像であり、
上記選択判断情報は、収穫物を選択するための収穫物に関する差別化情報である、
ことを特徴とする請求項1又は請求項2に記載した遠隔収穫システム。 Furthermore, an information addition unit for adding selection judgment information for each harvest in the landscape image to the landscape image,
the landscape image displayed by the customer-side image display unit is a landscape image to which the selection judgment information is added ;
The selection judgment information is differentiation information about the harvest for selecting the harvest,
3. The remote harvesting system according to claim 1 or 2, characterized in that:
上記サーバーは、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第2のシステムに提供する画像提供部を備え、
上記抽出部及び強調処理部は、上記サーバーに設けられ、
上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第2のシステムに提供する、
ことを特徴とする請求項1~請求項5のいずれか1項に記載した遠隔収穫システム。 Having a server that mediates transmission and reception of data between the first system and the second system,
The server includes an image providing unit that receives the scenery image captured by the harvesting side imaging unit and provides the received scenery image to the second system,
The extraction unit and the enhancement processing unit are provided in the server,
The image providing unit provides the landscape image processed by the extraction unit and the enhancement processing unit to the second system.
The remote harvesting system according to any one of claims 1 to 5 , characterized in that:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021001271A JP7156412B2 (en) | 2021-01-07 | 2021-01-07 | remote harvesting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021001271A JP7156412B2 (en) | 2021-01-07 | 2021-01-07 | remote harvesting system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022106354A JP2022106354A (en) | 2022-07-20 |
JP7156412B2 true JP7156412B2 (en) | 2022-10-19 |
Family
ID=82457169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021001271A Active JP7156412B2 (en) | 2021-01-07 | 2021-01-07 | remote harvesting system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7156412B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004258983A (en) | 2003-02-26 | 2004-09-16 | Nec Fielding Ltd | Remote harvesting system and method of fruit, mediation system, farm system and program therefor |
JP2006309327A (en) | 2005-04-26 | 2006-11-09 | Ishihara Shoji Kk | Fruit selling system |
JP2007006716A (en) | 2005-06-28 | 2007-01-18 | Ntt Facilities Inc | Farm crop-monitoring system |
JP2011192022A (en) | 2010-03-15 | 2011-09-29 | Japan Research Institute Ltd | Farm product monitoring method, farm product monitoring system, and farm product monitoring device |
JP2011197832A (en) | 2010-03-17 | 2011-10-06 | Japan Research Institute Ltd | Field crop sales method, field crop sales system and field crop sales apparatus |
JP2013033394A (en) | 2011-08-02 | 2013-02-14 | Nikon Corp | Sales processing system, robot, plant-cultivation plant, sales processing method, and program |
JP2017134585A (en) | 2016-01-27 | 2017-08-03 | 秋田県 | Harvesting proper time determination support device and harvesting proper time determination support program |
JP2019164803A (en) | 2019-04-18 | 2019-09-26 | パイオニア株式会社 | Display control device, control method, program, and storage medium |
JP2020074141A (en) | 2020-01-08 | 2020-05-14 | 株式会社日本総合研究所 | Information processing apparatus, program, information processing system and data structure |
-
2021
- 2021-01-07 JP JP2021001271A patent/JP7156412B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004258983A (en) | 2003-02-26 | 2004-09-16 | Nec Fielding Ltd | Remote harvesting system and method of fruit, mediation system, farm system and program therefor |
JP2006309327A (en) | 2005-04-26 | 2006-11-09 | Ishihara Shoji Kk | Fruit selling system |
JP2007006716A (en) | 2005-06-28 | 2007-01-18 | Ntt Facilities Inc | Farm crop-monitoring system |
JP2011192022A (en) | 2010-03-15 | 2011-09-29 | Japan Research Institute Ltd | Farm product monitoring method, farm product monitoring system, and farm product monitoring device |
JP2011197832A (en) | 2010-03-17 | 2011-10-06 | Japan Research Institute Ltd | Field crop sales method, field crop sales system and field crop sales apparatus |
JP2013033394A (en) | 2011-08-02 | 2013-02-14 | Nikon Corp | Sales processing system, robot, plant-cultivation plant, sales processing method, and program |
JP2017134585A (en) | 2016-01-27 | 2017-08-03 | 秋田県 | Harvesting proper time determination support device and harvesting proper time determination support program |
JP2019164803A (en) | 2019-04-18 | 2019-09-26 | パイオニア株式会社 | Display control device, control method, program, and storage medium |
JP2020074141A (en) | 2020-01-08 | 2020-05-14 | 株式会社日本総合研究所 | Information processing apparatus, program, information processing system and data structure |
Also Published As
Publication number | Publication date |
---|---|
JP2022106354A (en) | 2022-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10515488B2 (en) | Image processing device, image processing method, and program | |
JP2010207118A (en) | End effector for harvesting fruit | |
KR101846301B1 (en) | Crops grow and management system using automatic control device | |
CN109997174A (en) | Augmented reality spectrum inspection | |
US20180025480A1 (en) | Apparatus and method for analysis of growing items | |
JP2020024672A (en) | Information processor, information processing method and program | |
JP2015177397A (en) | Head-mounted display, and farm work assistance system | |
JP5842444B2 (en) | Sales processing system, sales processing method and program | |
US20160379369A1 (en) | Wireless aircraft and methods for outputting location information of the same | |
KR101843335B1 (en) | Method for transaction based on image and apparatus for performing the method | |
JP2013005726A (en) | Information providing system, information providing device, information providing method, and program | |
JP7039766B2 (en) | On-site work support system | |
US20220189329A1 (en) | System and method for assisting with the pruning of plants | |
US11836970B2 (en) | Tracking objects with changing appearances | |
JP7156412B2 (en) | remote harvesting system | |
NZ538732A (en) | Method and computer program for providing visual information to a viewer | |
JP7259888B2 (en) | Harvesting device, harvesting system, harvesting method and computer program | |
US20220392214A1 (en) | Scouting functionality emergence | |
KR102145970B1 (en) | Crops dealing system based on live broadcast of crops growing | |
JP2018169991A (en) | Food evaluation device, food evaluation program, food evaluation method, plant evaluation device, plant evaluation program, and plant evaluation method | |
JP2021043810A (en) | Mandarin orange evaluation device and mandarin orange evaluation system | |
WO2020022215A1 (en) | Information processing device, information processing method, and program | |
Tamura et al. | BerryScope: AR Strawberry Picking Aid | |
JP2023057569A (en) | Information processing device and work support system | |
JP2023108877A (en) | Estimation device, method for controlling estimation device and estimation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210128 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7156412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |