WO2016009688A1 - システム、機械、制御方法、プログラム - Google Patents
システム、機械、制御方法、プログラム Download PDFInfo
- Publication number
- WO2016009688A1 WO2016009688A1 PCT/JP2015/061542 JP2015061542W WO2016009688A1 WO 2016009688 A1 WO2016009688 A1 WO 2016009688A1 JP 2015061542 W JP2015061542 W JP 2015061542W WO 2016009688 A1 WO2016009688 A1 WO 2016009688A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- work
- agricultural machine
- target
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 255
- 230000008569 process Effects 0.000 claims description 162
- 230000003595 spectral effect Effects 0.000 claims description 120
- 230000033001 locomotion Effects 0.000 claims description 111
- 238000003384 imaging method Methods 0.000 claims description 87
- 230000005540 biological transmission Effects 0.000 claims description 65
- 238000010248 power generation Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 description 122
- 238000004891 communication Methods 0.000 description 91
- 238000012545 processing Methods 0.000 description 83
- 241000196324 Embryophyta Species 0.000 description 64
- 230000002159 abnormal effect Effects 0.000 description 51
- 239000003337 fertilizer Substances 0.000 description 45
- 230000003287 optical effect Effects 0.000 description 44
- 238000012544 monitoring process Methods 0.000 description 34
- 230000005856 abnormality Effects 0.000 description 33
- 230000008859 change Effects 0.000 description 33
- 238000003306 harvesting Methods 0.000 description 33
- 238000005259 measurement Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 31
- 230000000694 effects Effects 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 25
- 238000001514 detection method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 239000000463 material Substances 0.000 description 23
- 230000010287 polarization Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 22
- 241000607479 Yersinia pestis Species 0.000 description 21
- 238000002834 transmittance Methods 0.000 description 20
- 235000013399 edible fruits Nutrition 0.000 description 17
- 230000004720 fertilization Effects 0.000 description 17
- 239000000446 fuel Substances 0.000 description 17
- 230000012010 growth Effects 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 14
- 238000005507 spraying Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 239000002689 soil Substances 0.000 description 13
- 239000011521 glass Substances 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 238000003708 edge detection Methods 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 10
- 239000007921 spray Substances 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000002485 combustion reaction Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 239000000575 pesticide Substances 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 238000009331 sowing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 208000005156 Dehydration Diseases 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 239000004033 plastic Substances 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000009333 weeding Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009313 farming Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000005499 meniscus Effects 0.000 description 4
- 238000010899 nucleation Methods 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000003502 gasoline Substances 0.000 description 3
- 239000003673 groundwater Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- NBIIXXVUZAFLBC-UHFFFAOYSA-N Phosphoric acid Chemical compound OP(O)(O)=O NBIIXXVUZAFLBC-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 2
- 235000019804 chlorophyll Nutrition 0.000 description 2
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 235000003228 Lactuca sativa Nutrition 0.000 description 1
- 241000289619 Macropodidae Species 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910000147 aluminium phosphate Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000003763 chloroplast Anatomy 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004459 forage Substances 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- ZKATWMILCYLAPD-UHFFFAOYSA-N niobium pentoxide Inorganic materials O=[Nb](=O)O[Nb](=O)=O ZKATWMILCYLAPD-UHFFFAOYSA-N 0.000 description 1
- URLJKFSTXLNXLG-UHFFFAOYSA-N niobium(5+);oxygen(2-) Chemical group [O-2].[O-2].[O-2].[O-2].[O-2].[Nb+5].[Nb+5] URLJKFSTXLNXLG-UHFFFAOYSA-N 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- BPUBBGLMJRNUCC-UHFFFAOYSA-N oxygen(2-);tantalum(5+) Chemical group [O-2].[O-2].[O-2].[O-2].[O-2].[Ta+5].[Ta+5] BPUBBGLMJRNUCC-UHFFFAOYSA-N 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- PBCFLUZVCVVTBY-UHFFFAOYSA-N tantalum pentoxide Inorganic materials O=[Ta](=O)O[Ta](=O)=O PBCFLUZVCVVTBY-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/001—Steering by means of optical assistance, e.g. television cameras
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Abstract
Description
100A、100C トラクター
110 ステレオカメラ装置
112 112-2 レーザレーダ装置
113 マルチスペクトルカメラ装置
310 コスト算出部
320 コスト合成部
330 視差値導出部
350、360 農作物
500、555 圃場モニタリング装置
501 全天球カメラ装置
550 状態モニタリング装置
704 サーバー
705 映像サーバー
706、708 データベース
707 操作管理用サーバー
710、712 ユーザ端末
850 スプリンクラー
1100 ヘリコプター
1500 全体システム
1501 システム
1502 情報通信システム
<圃場におけるシステム構成>
圃場における農作業において、トラクターなどの農業機械の移動および農業機械を使った作業の効率化を図ることが課題となっており、可能な限り人の手を使わずに自動制御でそれらを行うことが望まれている。図1に本実施形態が適用される圃場におけるシステム1501の構成を示す。本実施形態の全体システム1500は、図1のシステム1501と図2の情報通信システム1502の全体である。以下では、全体システム1500について述べた場合でも、システム1501、又は、情報通信システム1502の説明の場合があるし、システム1501、又は、情報通信システム1502について述べた場合でも、全体システム1500の説明の場合がある。
図2は、本実施形態が適用される情報通信システムの構成を示す。本情報通信システム1502は、無線アクセスポイント700、インターネット702、サーバー704、データベース706、データベース708、ユーザ端末710、ユーザ端末712を含んでいる。
〔農業機械、装置の説明〕
続いて図3から図31を使って、本実施形態における農業機械、農業機械等に備え付けられる各種センサ装置、圃場に設置される装置について説明する。
全体システム1500の構成要素の一つである農業機械は、効率的な作業を実現するために、サーバー704からの指示に基づいて自動で走行し、自動で作業対象である農作物(第一の対象の一例である)や土壌(第二の対象の一例である)などに対して作業を行うことができるものである。図3は主として農業機械100Aの外観を示す図である。なお、他の図面において同じ符号がつけられているときには、同様の機能を発揮するので説明を省略する場合がある。
支持装置108は、原動機102Aや伝動装置104、作業装置106Aをそれぞれ適所に保持する部分である。
図5は、図3または4の伝動装置104を詳細に説明する図である。この伝動装置104が農業機械100や作業装置106を移動させるための手段となる。図中の実線は運動エネルギーの伝達を、破線は電気信号の伝達を、一点鎖線は電気の供給線を示す。図5は原動機102の動力発生源が内燃機関(エンジン)であり、後輪二輪駆動の例である。原動機102の動力発生源が電気モータの例は図6に示す。なお、駆動方式は二輪駆動に限られず、四輪駆動でもよい。
原動機102-2は、モータコントローラと電動機(モータ)を含むパワーユニットである。この伝動装置104-2は、モータによる回転数や回転方向を制御するので、基本的に図5で説明した変速装置204は不要だが、よりスムーズな走行を行うために変速装置204はあってもよい。
電気モータによる駆動では、モータ特性により、モータの回転数が低い場合(すなわち、低速で移動する場合)でもトルクを高くできるので、自動車などと比較して低速で作業を行う農業機械に適している。また、後述のように自動でバッテリ224-2への充電を行うことができるので、一連の農作業について人手をかけずに効率的に行うことが可能となる。なお、伝動装置104-2はモータを車輪内に入れこむ、インホイールモータ方式で駆動するものであってもよい。
A.ステレオカメラ装置の構成
図7は、ステレオカメラ装置110の外観を示す。ステレオカメラ装置110はある領域を撮像して、農業機械100の制御装置118やサーバー704、ユーザ端末710、712に伝達可能な画像データを生成するのに加え、撮像した画像内の各地点におけるステレオカメラ装置110からの距離情報(または視差値情報)を取得するものである。もちろん、距離情報(または視差値情報)も制御装置118等に伝達可能である。このステレオカメラ装置110は、Semi-Global Matching(SGM)法を応用した測距を行うことができる。
続いて、ステレオカメラ装置110による測距の方法、とくにSGM法を用いて視差値を求める方法について説明する。まず、図10から図15を用いて、SGM法を用いた測距方法の概略について説明する。
Δ=x'-x (式1)
ここで、図10のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(x',y')と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
Z=(B×f)/Δ (式2)
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
Lr(p,d)=C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2} (式3)
ここで、rは、集約方法を示す。min{}は、最小値を求める関数である。Lrは、式3に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、基準画素p(x,y)から離れた画素ほど、経路コスト値Lrに影響を与えないようなパラメータになっている。例えば、P1=48、P2=96である。
また、(式3)に示されているように、Lr(p,d)は、基準画素p(x,y)におけるコスト値Cに、図14に示されているr方向の各画素における各画素の経路コスト値Lrの最小値を加算することで求められる。このように、r方向の各画素におけるLrを求めるため、最初は、基準画素p(x,y)のr方向の一番端の画素からLrを求め、r方向に沿ってLrが求められる。 そして、図14に示されているように、8方向のLr0,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315求められ、最終的に(式4)に基づいて、合成コスト値Lsが求められる。
Ls(p,d)=ΣLr (式4)
このようにして算出された合成コスト値Ls(p,d)は、図15に示されているように、シフト量d毎に示されるグラフによって表すことができる。図15では、合成コスト値Lsは、シフト量d=3の場合が最小値となるため、視差値Δ=3として算出される。
図16はレーザレーダ装置112の構成を示す。レーザレーダ装置112による形状情報は第一のデジタル情報、第三のデジタル情報の一例である。また、レーザレーダ装置112による距離情報は第二のデジタル情報、第四のデジタル情報の一例である。レーザレーダ装置112は、パルスレーザ光を対象物へ照射し、反射したパルスレーザ光の帰還時間tを計測し、その照射点までの距離Lを(式5)を使って算出する。
L=c×t/2 (式5) ただし、cは光速
さらにレーザレーダ装置112は二次元方向にレーザ光をスキャンできるので、対象物各点への方位を求め、対象物の形状の測定を行うこともできる。
図17にマルチスペクトルカメラ装置113の外観を示す。マルチスペクトルカメラ装置113による分光情報は第二のデジタル情報、第四のデジタル情報の一例である。このマルチスペクトルカメラ装置113は、撮像画像と撮像された画像における分光反射率を得ることができるカメラ装置である。このマルチスペクトルカメラ装置113は、ある一点ではなく、ある範囲(領域、面)における植物の状態を非接触・非破壊で一度に検出するのに適している。マルチスペクトルカメラ装置113は、本体部400と鏡筒部402を有する。このマルチスペクトルカメラ装置113は回転可能に農業機械100に設置される。この回転動作は手動または制御装置118からの制御により行う。これによって、農業機械100周辺に対してさまざまな方向にある対象物の反射光を撮像し、植物活性度や枝間の長さや葉の大きさなど育成状況を把握することができる。
NDVI=(IR-R)/(IR+R) (式6)
通常、正規化植生指数NDVIは-1から+1までの値があり、値が大きいほど植物の活性度が高いことを示す。マルチスペクトルカメラ装置113を使えば、理論的には撮像領域すべてにおいて、この正規化植生指数NDVIを求めることができる。すなわち、図23Bのフィルタ440のように、可視赤域2404の660nmの波長域に対応するフィルタ440aと、近赤外域2405である770nmの波長域に対応するフィルタ440bを本実施形態のマルチスペクトルカメラ装置113のフィルタとして採用する。なお、近赤外域2405として、785nmや900nmの波長域に対応するフィルタをフィルタ440bに採用してもよい。この場合、785nmはレーザダイオード(LD)で容易に得られる波長である。LED404の半分は波長が660nm付近の強度が高い光を照射するものを、残りの半分は波長が770nm付近で強度の高い光を照射できるものを設置する。このような構成で、マルチスペクトルカメラ装置113で対象の植物にLED光の照射を行い、反射光の撮像を行う。そして、FPGA418で波長660nmにおける分光画像と波長770nmにおける分光画像を得る。分光反射率算出部420によりそれらの分光画像内の所望の位置または領域における分光反射率を求める。さらに、分光反射率算出部420内のCPUは(式6)を適用して正規化植生指数NDVIを得る。なお、マルチスペクトルカメラ装置113内ではなく、分光画像や分光反射率情報を取得した農業機械100の制御装置118またはサーバー704が(式6)を適用し、正規化植生指数NDVIを求めてもよい。なお、農作物ごとの正規化植生指数NDVIはデータベース708に送られ、蓄積される。なお、正規化植生指数NDVIではなく、可視赤域(たとえば660nm)2404の波長の分光反射率だけを用いて植物の育成状況を把握してもよい。この可視赤域2404において、植物活性度の違いによる分光反射率の変化が大きいからである。これにより、生育状況を把握できるとともに近赤外域2405における分光反射率の測定や正規化植生指数NDVIの算出を省略でき、処理や判断の迅速化を図ることができる。一方、正規化植生指数NDVIを求めれば、正規化されたより精密な育成状況(植物活性度)の情報を得ることができる。
広大な圃場を管理する場合、広範囲にわたる農作物の育成状況などの状態を迅速に認識することが望まれる。図25は、このマルチスペクトルカメラ装置113を使った状態モニタリング装置550を示す。この状態モニタリング装置550は、圃場などにおける農作物の活性度や土壌等を広範囲で素早く測定するための装置である。状態モニタリング装置550は、マルチスペクトルカメラ装置113と、マルチスペクトルカメラ装置113を水平軸に対して回転可能に保持する保持部450と、保持部450を鉛直軸に対して回転可能に保持する回転ステージ452と、太陽光エネルギーを電気エネルギーに変換する太陽電池を複数並べ相互接続されたソーラーパネル456と、ソーラーパネル456で発生させた電気を蓄電する蓄電池とマルチスペクトルカメラ装置113へ命令やマルチスペクトルカメラ装置113からの情報の入出力制御や通信制御、保持部450や回転ステージ452の回転制御を行う制御部を格納した格納部454Aと、格納部454A内の制御部と接続され、農業機械100やサーバー704、ユーザ端末710、712と無線通信を行うための無線アンテナ458と、マルチスペクトルカメラ装置113等を周辺環境から保護する透明なガラス製のカバー462と、状態モニタリング装置550を高い位置に支持する柱460を備えている。この状態モニタリング装置550の通信や各種制御、撮像は蓄電池に蓄えられた電気エネルギーを利用して動作する。なお、蓄電池の電気エネルギー不足や蓄電池を使用しない場合には、外部からの電力を使用してもよい。また、カバー462は透明であればガラス製でなくてもよく、たとえばアクリルなどの樹脂製であってもよい。このカバー462の上方にはソーラーパネル456が、下方には格納部454Aが設置される。また、このカバー462内にマルチスペクトルカメラ装置113、保持部450、回転ステージ452が設置される。この状態モニタリング装置550は、ユーザ端末710、712やサーバー704、農業機械100からの送信された情報に基づき、周辺領域の農作物を撮像し、それらの農作物の植物活性度を調べる。なお、この撮像においてはLED404を使わずに、反射した太陽光を撮像してもよい。また、制御部と無線アンテナ458は、無線アクセスポイントとしても機能し、無線の中継を行うことができる。これにより、無線通信を行える領域を拡大することができる。また、制御部は、農業機械100やサーバー704、ユーザ端末710、712のいずれかからの指示により、当該農業機械100の位置を特定するための信号を、無線アンテナ458を経由して送信する。農業機械100は、合計3つ以上の状態モニタリング装置550または圃場モニタリング装置500から送信される信号の受信信号の強度(または減衰)または受信時間差から現在の位置を特定できる。
一般的なカメラ装置は、一回で一方向しか撮像を行うことしかできない。したがって、そのようなカメラ装置を使って周囲すべてをモニタリングする場合には、カメラ装置を回転させるなどの操作を行わなければならず、モニタリング装置の大型化や回転機構を設けるためのコストも必要になる。さらには稼動部があるということで一般的に故障が生じやすい。このため広大な圃場におけるモニタリングにおいては、一回の撮影で、できるだけ広い範囲を撮像できることが望まれる。図26は、全天球カメラ装置501を使った圃場モニタリング装置500を示す。全天球カメラ装置501はセンサの一例である。全天球カメラ装置501は一度の撮像で、そのカメラの周囲360度を撮像できるもので、圃場に設置することで、圃場はもちろんのこと、たとえば空の画像から天候のモニタリングも行うこともできる。また、この圃場モニタリング装置500によれば、日照量の評価などを広い領域で行うことができる。図26において、図25と同一の符号をつけた構成は、図25を用いて説明したものと同一の機能を果たすのでここでの説明は省略する。454Bは、状態モニタリング装置550のように蓄電池と制御部を格納する格納部であるが、この制御部はマルチスペクトルカメラ装置113ではなく全天球カメラ装置501への指示や当該全天球カメラ装置501からの情報の入出力制御を行う点と回転制御は行わない点で状態モニタリング装置550の制御部と異なる。
図27から図30を使って本実施形態における全天球カメラ装置501を説明する。図27は、全天球カメラ装置501の正面外観図である。このカメラは魚眼(広角)レンズを備えた2つの光学系A、Bと本体部502を有する。
図28は、全天球カメラ装置501の光学系を示す図である。図28において、符号A、Bで示す部分は撮像光学系を示している。2個の撮像光学系A、Bは何れも180度より広い画角を持つ広角レンズと、この広角レンズによる像を撮像する撮像素子IA、IBとにより構成されている。即ち、撮像光学系Aは、レンズLA1~LA3により構成される前群、反射面を構成する直角プリズムPA、レンズLA4~LA7により構成される後群により構成されている。そして、レンズLA4の物体側に開口絞りSAが配置されている。撮像光学系Bは、レンズLB1~LB3により構成される前群、反射面を構成する直角プリズムPB、レンズLB4~LB7により構成される後群により構成されている。そして、レンズLB4の物体側に開口絞りSBが配置されている。
条件(1)7.0<d/f<9.0
を満足する。
条件(1)の意義について説明すると、条件(1)のパラメータ:d/fが小さくなることは、全系の焦点距離:fが長くなるか、前群の光軸と反射面との交点と前側主点との距離:dが小さくなることを意味する。焦点距離:fが大きくなれば、広角レンズの光軸上のレンズ全長が長くなるので、コンパクト化の観点からこれを適当な値に設定すると、その条件においては距離:dが小さくなることを意味する。dが小さくなると、レンズLA3(LB3)とプリズムPA(PB)との間隔が狭くなり、レンズLA3(LB3)に必要な屈折力を確保するためのレンズ肉厚に対する制限が厳しくなる。そして、条件(1)の下限値を下回ると、レンズLA3(LB3)の所望の肉厚、形状を加工できなくなったり、加工が難しくなったりする。図28において、撮像光学系A、Bは、図における左右方向において、なるべく近接させることが全天球カメラ装置501の小型化の目的に沿う。反射面は直角プリズムPA、PBの斜面であるので、この斜面同士をなるべく近接させることが、上記小型化に有効である。条件(1)において、パラメータ:d/fが大きくなることは、前群の光軸と反射面との交点と前側主点との距離:dが大きくなることを意味し、これは前群が大型化することを意味する。このような前群の大型化は、全天球カメラ装置501の小型化を困難にする。この場合、前群の大きさの増大による全天球カメラ装置501の大型化を吸収する方法として、プリズムPA、PBの斜面同士を近接させた状態で、撮像光学系AとBとを図1の上下方向へずらして配置することが考えられる。しかしこのようにすると、各撮像光学系の広角レンズの前群の光軸同士が、図28で上下方向にずれるので、このズレ量が程度を超えれば視差の影響が大きくなる。視差の影響を有効に抑えつつ、前群の大型化を許容できるのは、パラメータ:d/fが条件(1)の上限より小さい場合である。上記距離:dと焦点距離:fとの比:d/fに対する条件を、全天球カメラ装置501について規制するのが
条件(4)16≦(d1+d2)/f<21
であり、視差の影響を抑えつつ、条件(4)の下限を超えると、プリズムPAとPBの反射面同士が干渉してしまうし、上限を超えると視差の影響を無視できなくなる。
条件(3)nd≧1.8
は、プリズムPA、PBの材質として、d線に対する屈折率:ndが1.8より大きいものを用いるべきことを定めている。プリズムPA、PBは、前群からの光を後群に向かって内部反射させるので、結像光束の光路はプリズム内を通る。プリズムの材料が条件(3)を満足するような高屈折率であると、プリズム内の光学的な光路長が、実際の光路長より長くなり、光線を屈曲させる距離を広げることができる。前群・プリズム・後群における前群と後群の間の光路長を機械的な光路長よりも長くでき、広角レンズをコンパクトに構成できる。また、開口絞りSA、SBの近くにプリズムPA、PBを配置することにより、小さいプリズムを用いるができ、広角レンズ相互の間隔を小さくできる。プリズムPA、PBは、前群と後群の間に配置される。広角レンズの前群は、180度以上の広画角の光線を取り込む機能をもち、後群は収差補正の結像に効果的に機能する。プリズムを上記の如く配置することにより、プリズムの配置ずれや製造公差の影響を受けにくい。
次に、図29を用いて本実施形態の全天球カメラ装置501の構成を示す。図29に示されているように、全天球カメラ装置501は、撮像光学系A、B、撮像素子IA、IB、画像処理ユニット504、撮像制御ユニット506、CPU510、ROM512、Static Random Access Memory(SRAM)514、Dynamic Random Access Memory(DRAM)516、操作部518、ネットワークI/F520、及び、通信部522を備えている。撮像素子IA、IBは、広角レンズによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCDセンサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。撮像素子IA、IBは、各々、画像処理ユニット504とはパラレルI/Fバスで接続されている。さらに、撮像素子IA、IBは、撮像制御ユニット506とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット504及び撮像制御ユニット506は、バス508を介してCPU510と接続される。さらに、バス508には、ROM512、SRAM514、DRAM516、操作部518、ネットワークI/F520、通信部522も接続される。画像処理ユニット504は、撮像素子IA、IBから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図30Cに示されているような正距円筒画像のデータを作成する。撮像制御ユニット506は、一般に撮像制御ユニット506をマスタデバイス、撮像素子IA、IBをスレーブデバイスとして、I2Cバス等のシリアルI/Fバスを利用して、撮像素子IA、IBのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU510から受け取る。また、該撮像制御ユニット506は、同じくシリアルI/Fバスを利用して、撮像素子IA、IBのレジスタ群のステータスデータ等を取り込み、CPU510に送る。また、撮像制御ユニット506は、操作部518のシャッターボタンが押下されたタイミングで、撮像素子IA、IBに画像データの出力を指示する。なお、圃場モニタリング装置500においてはこの操作部518は省略され、ネットワークI/F520と接続される、格納部454に格納された制御部からの指示に基づいて撮像されることになる。
図31は圃場モニタリング装置の他の例を示す。この圃場モニタリング装置555は上述の圃場モニタリング装置500と異なり、ソーラーパネル456や無線アンテナ458を透明のカバー462と接触させずに、柱470を介して上方に設置している。その他の構成は圃場モニタリング装置500と同じである。このようにすることで、少しだけ上方の画像を取得したい場合にもソーラーパネルが邪魔にならずにすむ。また、図31の圃場モニタリング装置555において、全天球カメラ装置501に代えて、図25に示すマルチスペクトルカメラ装置113、保持部450、回転ステージ452を備え、それらを制御する制御器を有する状態モニタリング装置550を構成してもよい。
圃場モニタリング装置500、550、状態モニタリング装置555は、圃場内に複数設置されているが、圃場の大きさが小さく、1個でモニタリングできる場合には1個だけでもよい。圃場モニタリング装置500、555、状態モニタリング装置550はセンサの一例である。
手動によらず農業機械100に移動および作業を行わせるためには、その動作を実行する前に作業箇所や作業内容等を設定する必要がある。図32と図33は農業機械100が圃場で移動や作業を行うために、サーバー704、ユーザ端末710、712、農業機械100において行う初期設定を説明するためのフローチャートである。これらの図に沿って説明を行う。なお、基本的に左側に農業機械100が行う動作、中央にサーバー704が行う動作、右側にユーザ端末710、712が行う動作を示すが、図によってはそれらのうちの一つまたは二つが行う動作として説明がなされている。
続いて、図34から図56を用いて通常の作業開始から作業終了までの動作を説明する。農業に限らず、移動と作業を行う機械の自動制御においては、作業開始位置まで機械を移動させ、作業を行い、作業完了後に機械保管する位置まで機械を移動させる必要がある。図34は作業開始から作業完了(保管位置への移動)までの大まかな動作を示す。図中において、S162、S170およびS180の工程は別途、図35Aなどを利用した説明で定義される処理である。
農業機械100が作業開始位置まで到達すると、農業機械100は作業開始位置に到達した旨をサーバー704に送信する(S164)。
図37Bで示す処理の一例として、図38から図42を用いて、レーザレーダ装置112を使った圃場の均平化作業について説明する(なお、この例ではS264の作業リソース確認工程は不要なので省略される)。均平化作業は、これまで説明してきた図1で説明した圃場におけるシステム1501と図2で説明した情報通信システム1502による全体システム1500のほかに、圃場内でレーザ受光装置(図39の例における610)またはレーザ照射装置(図42の例における618)など特別な装置が必要となるが、自動運転および自動作業の基本的な動作はこれまで説明を行った動作と同様である。このレーザレーダ装置112は水平画角60度の範囲でレーザ光を照射できるので、通常のレーザを使って整地する場合(レーザレベラーを使用する場合)と比較して手間をかけず効率的な均平化作業を行うことができる。さらにレーザレーダ装置112を回転させることで、レーザ受光装置の設置位置の変更回数をさらに減少させることができる。
この処理について、図41を用いて説明を行う。
農作物などの作業対象ごとに作業の必要性を判断し、必要な場合にのみその作業対象に対して作業を行うことで全体の作業の効率化を図ることができる。図43から図47を用いて、今度は圃場におけるシステム1501と図2で説明した情報通信システム1502とによる全体システム1500によって自動制御により行うことができる、作物等の状況に応じて個別に行う作業の動作について説明を行う。なお、個別に行う作業としては、施肥、播種、移植、収穫、除草、農薬散布・噴霧、散水、刈払などがあるが、ここでは主として施肥を例に挙げて、作業の様子の説明を行う。なお、システム1501の動作は施肥以外の農作物等ごとに個別に行う作業に対しても適用することができる。
自動制御による移動や作業を行う場合に、その移動や作業が中断するような場合にも自動的に対処することが望まれる。とくに燃料切れによる移動不可などの中断事由が発生する以前にその中断を予測することで、手動によらなければ復帰ができなくなる前に処理を講じておくことが望ましい。図48から図51を用いて、農業機械100の燃料(バッテリ)残量が少なくなったり、肥料などの作業リソースが少なくなったりした場合の作業中断の処理について説明を行う。なお、圃場モニタリング装置500,555によって、何らかの異常を検知した場合のように燃料やバッテリ、作業リソース以外の事情で作業が中断される特別な場合については、図52から図56を用いて詳細に説明がなされる。
圃場が広大になればなるほど、たとえば害獣などが侵入するなど異常が発生した場合にマニュアルで追い払うことは大変である。そこで、そのような場合でも自動的に異常に対応できることが望ましい。図52から図56を用いて、圃場において異常の発生を検知した場合の動作を説明する。図52は、圃場モニタリング装置500を通じて、異常イベントを検知した場合(本例では、農作物に被害を与える可能性のある異常源(主に動物のいわゆる害獣)1000を検知した場合)に、自動制御の農業機械100を使って異常源1000を観測しにいき、異常源1000への対処を行う様子を示すものである。図中の破線は無線通信による情報の送受信を示すものである。この例では、圃場モニタリング装置500と農業機械100の間で情報のやり取りを行っているが、これに限らず、サーバー704を介した情報のやりとりでもよい。また、異常の内容は圃場に害獣が侵入したというものに限られず、人的あるいは自然の力によって発生する異常事態すべてを含む。たとえば、火事や見知らぬ者の不法侵入などである。
S204またはS223の工程からS224の工程に進むと、農業機械100は(最初だけ作業を中断させ、異常内容確認を行わせるための)S470の工程の指示、およびS472の異常箇所の位置情報を受信する(S500)。そして、農業機械100は、異常箇所の位置情報にあわせて進行経路を再計算する(S501)。害獣が侵入する場合のように異常箇所は常に所定の箇所にとどまっているとは限らないので、農業機械100はS500の工程で毎度異常箇所の位置情報を受信する。そして、位置が変わる場合にはS501の工程で農業機械100は進行経路の更新を行うことになる。農業機械100は、本来の作業を中断し、S400からS444で定義される作業中断時の処理を行う(S502)。そして、S502の工程が終了するとS226の工程に進むことになる。
これまで説明した農業機械100は主としてトラクターの例であったが、図57および図58は、本実施形態における農業機械100の他の例を示す。図57は移動式のスプリンクラーによる散水作業の様子を、図58はヘリコプター(クアッドコプター)による肥料散布作業の様子を示す。
図57で示す技術は、農業機械100としてスプリンクラー850を使ったセンターピボット灌漑である。スプリンクラー850は、アルミニウム製の散水管856を複数連結したものを三角構造(トラス構造)の塔854に搭載し、この塔854を車輪852で移動させながら散水を行う。散水管856の各所に散水口858と各散水口858への水の供給を制御する電子弁860を備える。蒸発による損失を防いで農作物350や360の近くで水を撒いたほうが効率的である。このため、散水管856から下に枝分かれさせたドロップ型の散水口858を使っているが、これに限られない。このスプリンクラー850は一端を中心として円を描くように移動する。そして、その中心となる側から、くみ上げた地下水を供給する。
図58は、農業機械100としてヘリコプター(クアッドコプター)1100を利用して液体の肥料802Bの散布作業を行っている様子を示す。このヘリコプター1100は、ヘリコプター1100本体から伸びたアーム先端付近に設置される4つのローターヘッド1102と、そのローターヘッド1102によって回転可能に接続されている4枚のローター1104を備え、それらのローター1104を回転させることにより、飛行を行う。このヘリコプター1100は、他に少なくとも、GPS用アンテナ120、無線通信用アンテナ114、ローター1104の回転制御も含めてヘリコプター1100の制御を行う制御装置118C、ステレオカメラ装置110、マルチスペクトルカメラ装置113、制御装置118Cの制御に応じて農薬散布を行う作業装置106E、着地する場合に着地点である地表などに接地するランディングギア1106を備えている。ステレオカメラ装置110は、ヘリコプター1100が水平飛行している状態において鉛直軸と直交する方向に制御装置118Cによって回転可能にヘリコプター1100に設置される。そして、ヘリコプター1100はステレオカメラ装置110を地面に向けることで、農作物などの状況を確認したり、地表とヘリコプター1100との間の距離を計測して高度を特定したりすることができる。高度は、第二のデジタル情報又は第四のデジタル情報の一例である。
これまでの例は、本実施形態の全体システム1500により農業機械100、スプリンクラー850、ヘリコプター1100などの進行および作業を手動操作によらない自動制御により行う例である。一方、システム利用者において、農業機械100の移動や作業を自分の目で見ながら行いたいというニーズが存在する。特に自動制御で行うことが難しい緻密な作業や細かい移動制御をシステム利用者自らが行いたい場合がある。全体システム1500を応用すると、システム利用者(ユーザ)は遠隔操作により農業機械100などを動作させることもできる。図59にこの遠隔操作を行うための情報通信システム1502の一例を示す。遠隔操作は、ユーザ端末710、712を使用してユーザが農業機械100を操作することをいう。この場合、ユーザが農業機械100に乗車しながらユーザ端末710、712を操作する、または農業機械100など近傍で操作する場合も遠隔操作に含まれる。
上述のとおり、サーバー704(または課金管理用サーバー。以下同じ)は、課金処理(請求処理)も行う。システム提供者はシステム利用料を適切に回収できることで、経営を継続するとともに新たなサービスを開発したり、現在のサービスを改善したりすることが可能となるので、課金処理を技術によって自動的に正確かつ効率的に行えるようにすることが課題となる。課金方法にはさまざまな形態があり、本実施形態の全体システム1500のユーザが選択できるようになっている。定額制の課金形態としては、
I図2または図59で示すような情報通信システム1502の使用料
II図1で示すような圃場のシステム(圃場モニタリング装置500、555、状態モニタリング装置550、農業機械100など)1501の賃貸料(装置を1個当たり100ドル/月、農業機械を1個当たり200ドル/月など)
III土地(圃場)の賃貸料(1平方メートルあたり15ドルなど)、がある。
図60は本実施形態の応用の実施形態における移動体(作業体)の他の一例として、建設作業機械(ロードローラー)1200を示す。この建設作業機械1200は、重量が重く、接地面積の大きな車輪(ローラー)2000を持ち、その車輪の重量によって路面一面に圧力をかける作業を行いながら走行し、軟らかい地面を固める。建設作業機械1200は、さらに内燃機関による原動機102D、伝動装置104D、支持装置108D、ステレオカメラ装置110、無線通信用アンテナ114、手動操作部116、制御装置118D、GPS用アンテナ120、舵取り装置116、一対の照明灯124D、一組の超音波ソナー装置126D、及び、一組の後輪130Bを備えている。この建設作業機械1200は、図2または図59で示すのと同等の情報通信システム1502と無線通信により接続されている。
以上説明を行った本実施形態および応用例には少なくとも次の発明が含まれる。
(1)手動操作によらず移動と対象に対する作業を行う機械であって、複数種類の情報に基づいて前記移動を行い、複数種類の情報に基づいて前記作業を行う機械である。この機械は農業機械、建設機械、飛行機械などあらゆる機械を含む(以下同様)。手動操作によらない(自動制御に基づく)移動を制御するための複数種類の情報とは、無線による位置特定のための情報やステレオカメラ装置その他の測距装置により取得する画像情報や距離情報、あるいはある場所に設置されたモニタリングカメラなどのカメラ装置で取得した画像情報やその画像情報に基づく距離情報などが該当する。手動操作によらない(自動制御に基づく)作業を制御するための複数種類の情報とは、撮像素子で取得した画像情報や分光画像情報、距離情報、反射率情報(分光反射率情報)、偏光画像情報、レーザ装置により取得した形状情報や距離情報などが該当する。このように、手動操作によらない移動を制御するための複数種類の情報と手動操作によらない作業を制御するための複数種類の情報はともに少なくとも二次元で表される(面の)情報を含んでいる。(1)の機械において、前記移動を行うための情報の一つは画像情報であってもよいし、形状に関する情報であってもよい。さらには(1)の機械において、前記作業を行うための情報の一つが画像情報であってもよいし、形状に関する情報であってもよい。なお、これらの機械がステレオカメラ装置を有する場合、それにより取得する距離情報を用いて移動と作業の両方の制御を行うことができる。この機械による手動操作によらない移動と対象に対する作業は、通常、交互または同時に行うものである(以下同様)。
前記作業に関する情報を生成する作業情報生成装置と、受信した情報を蓄積し、蓄積した情報に基づいて所定の期間における作業内容を特定する制御装置に、前記作業情報生成装置で生成した情報を送信する送信装置と、を備えた機械である。
この場合、前記作業に関する情報は、作業の開始と終了に関する情報を含んでもよい。さらに、前記作業に関する情報は作業の中断と再開に関する情報を含んでもよい。
前記制御装置は、受信した前記作業に関する情報を蓄積し、蓄積した情報に基づいて所定期間における作業内容を特定し、提示するシステムである。
この場合、前記移動の修正は、前記画像情報から得られる距離に関する情報に基づいて行われる機械であってもよい。さらにこの距離に関する情報は、地表との距離に関する情報であってもよい。またさらに、前記制御装置は、前記画像情報から前記機械の進行方向に存在する物体の認識を行い、認識結果に応じて前記移動の修正を行ってもよい。そして、
前記制御装置は、前記物体の認識ができない場合、ユーザに前記物体の種類の特定を促すものでも、前記物体を回避するように前記移動の修正を行うものであってもよい。
以上、農業機械や圃場のシステムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
Claims (16)
- 第一の対象に対する動作を行う第一の動作装置と、
前記第一の対象からアナログ情報を取得する少なくとも一つのセンサと、
該センサにより取得したアナログ情報から取得される前記第一の対象に関する複数種類のデジタル情報のうち、少なくとも一種類の第一のデジタル情報に基づいて前記第一の対象を特定し、前記第一のデジタル情報とは異なる少なくとも一種類の第二のデジタル情報に基づいて前記特定した第一の対象に対する前記第一の動作装置による動作を制御する制御装置と、を備えたシステム。 - 前記第一の動作装置は、動力発生源で発生した動力を、移動のために伝達する伝動装置である、請求項1に記載のシステム。
- 前記センサは、前記第一の対象で反射した光を取得する二つの撮像素子を備えたステレオカメラであり、
前記制御装置は、前記第一のデジタル情報として前記第一の対象のデジタル画像情報を、前記第二のデジタル情報として前記第一の対象までの距離に関する情報を取得し、前記第一の対象のデジタル画像情報により前記第一の対象を特定し、前記第一の対象までの距離に関する情報に基づいて前記特定した前記第一の対象に対する前記伝動装置による移動を制御する請求項2に記載のシステム。 - 前記第二のデジタル情報は、前記第一の対象の状態を特定する情報であり、
前記第一の動作装置は、前記第一の対象に対して作業を行う作業装置であり、
前記制御装置は、前記第一の対象の状態を特定する情報に基づいて前記特定した第一の対象に対する前記作業装置による作業を制御する請求項1に記載のシステム。 - 前記センサは、前記第一の対象で反射した光をP偏光成分とS偏光成分に分離して情報を取得するものであり、
前記第一の対象の状態を特定する情報は、前記第一の対象のP偏光成分によるデジタル画像情報と前記第一の対象のS偏光成分によるデジタル画像情報の少なくとも一方のデジタル画像情報から取得した情報であり、
前記制御装置は、少なくとも一方の前記デジタル画像情報から取得した情報に基づいて、前記特定した第一の対象に対する前記作業装置による作業の実施を行う請求項4に記載のシステム。 - 前記センサは、前記第一の対象で反射した光を分光して取得するマルチスペクトルカメラであり、
前記第一の対象の状態を特定する情報は、前記第一の対象の分光反射率に関する情報であり、
前記制御装置は、前記第一の対象の分光反射率に関する情報に基づいて、前記特定した第一の対象に対する前記作業装置による作業の実施の判断を行う請求項4に記載のシステム。 - 前記第一の対象とは異なる第二の対象に動作を行う第二の動作装置を備え、
前記制御装置は、前記複数種類のデジタル情報のうち、少なくとも一種類の第三のデジタル情報に基づいて前記第二の対象を特定し、前記第三のデジタル情報とは異なる少なくとも一種類の第四のデジタル情報に基づいて前記特定した第二の対象に対する前記第二の動作装置による動作を制御する、請求項2または3に記載のシステム。 - 前記第四のデジタル情報は、前記第二の対象の状態を特定する情報であり、
前記第二の動作装置は、前記第二の対象に対して作業を行う作業装置であり、
前記制御装置は、前記第二の対象の状態を特定する情報に基づいて前記特定した第二の対象に対する前記作業装置による作業を制御する請求項7に記載のシステム。 - 前記センサは、前記第二の対象で反射した光をP偏光成分とS偏光成分に分離して情報を取得するものであり、
前記第二の対象の状態を特定する情報は、前記第二の対象のP偏光成分によるデジタル画像情報と前記第二の対象のS偏光成分によるデジタル画像情報の少なくとも一方のデジタル画像情報から取得した情報であり、
前記制御装置は、少なくとも一方の前記デジタル画像情報から取得した情報に基づいて、前記特定した第二の対象に対する前記作業装置による作業の実施を行う請求項8に記載のシステム。 - 前記センサは、前記第一の対象で反射した光を分光して取得するマルチスペクトルカメラであり、
前記第二の対象の状態を特定する情報は、前記第二の対象の分光反射率に関する情報であり、
前記制御装置は、前記第二の対象の分光反射率に関する情報に基づいて、前記特定した第二の対象に対する前記作業装置による作業の実施の判断を行う請求項8に記載のシステム。 - 請求項2、3、7,8、9、10のいずれか一項に記載のシステムを備え、前記伝動装置による移動を行う機械であって、
前記制御装置は、前記特定した第一の対象を回避して移動を行うよう前記伝動装置による移動の制御を行う、機械。 - 請求項4ないし6のいずれか一項に記載のシステムを備え、
前記制御装置は、前記特定した第一の対象に対して前記第一の対象の状態に応じた作業を行うよう前記作業装置の作業の制御を行う、機械。 - 請求項8ないし10のいずれか一項に記載のシステムを備え、
前記制御装置は、前記特定した第二の対象に対して前記第二の対象の状態に応じた作業を行うよう前記作業装置の作業の制御を行う、機械。 - センサで取得した情報に基づいて対象に対応した動作の制御を行う制御方法であって、
前記センサで取得した前記対象に関するアナログ情報から前記対象に関する複数種類のデジタル情報を取得する工程と、
該工程により取得した前記対象に関する複数種類のデジタル情報のうち、少なくとも一種類のデジタル情報に基づいて前記対象を特定し、他の少なくとも一種のデジタル情報に基づいて前記特定した対象に対する動作を制御する工程と、を含む制御方法。 - コンピュータに、
センサで取得した対象に関するアナログ情報から前記対象に関する複数種類のデジタル情報を取得する工程と、
該工程により取得した前記対象に関する複数種類のデジタル情報のうち、少なくとも一種類のデジタル情報に基づいて前記対象を特定し、他の少なくとも一種のデジタル情報に基づいて前記特定した対象に対する動作を制御する工程と、を実行させるためのプログラム。 - 請求項15に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016534298A JP6344473B2 (ja) | 2014-07-16 | 2015-04-15 | システム、機械、制御方法、プログラム |
CN201580037887.4A CN106687877A (zh) | 2014-07-16 | 2015-04-15 | 系统,机械,控制方法和程序 |
EP15822571.4A EP3171241A4 (en) | 2014-07-16 | 2015-04-15 | System, machine, control method, and program |
US15/405,663 US20170131718A1 (en) | 2014-07-16 | 2017-01-13 | System, machine, and control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-146163 | 2014-07-16 | ||
JP2014146163 | 2014-07-16 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/405,663 Continuation US20170131718A1 (en) | 2014-07-16 | 2017-01-13 | System, machine, and control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016009688A1 true WO2016009688A1 (ja) | 2016-01-21 |
Family
ID=55078193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/061542 WO2016009688A1 (ja) | 2014-07-16 | 2015-04-15 | システム、機械、制御方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170131718A1 (ja) |
EP (1) | EP3171241A4 (ja) |
JP (2) | JP6344473B2 (ja) |
CN (1) | CN106687877A (ja) |
WO (1) | WO2016009688A1 (ja) |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106843062A (zh) * | 2017-03-08 | 2017-06-13 | 江苏大学 | 智能变量施肥控制系统及控制方法 |
JP2017158532A (ja) * | 2016-03-03 | 2017-09-14 | 株式会社リコー | 農作業用装置および農作業用装置の制御方法 |
WO2017187909A1 (ja) * | 2016-04-28 | 2017-11-02 | ヤンマー株式会社 | 無線通信システム |
CN107390699A (zh) * | 2017-09-04 | 2017-11-24 | 广西民族大学 | 一种甘蔗种植机的路线规划系统及其路线规划方法 |
WO2017221756A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | センシングシステム、センシング方法、及び、センシング装置 |
JP2018014045A (ja) * | 2016-07-22 | 2018-01-25 | 株式会社クボタ | 作業車 |
CN107678041A (zh) * | 2016-08-02 | 2018-02-09 | 三星电子株式会社 | 用于检测对象的系统和方法 |
WO2018059648A1 (en) * | 2016-09-29 | 2018-04-05 | Agro Intelligence Aps | A system and a method for optimizing the trajectory to be followed when weeding crops |
JP2018106596A (ja) * | 2016-12-28 | 2018-07-05 | ラピスセミコンダクタ株式会社 | 地表移動検出装置、無線タグ、地表移動検出方法及び災害救助支援システム |
JP2018117560A (ja) * | 2017-01-24 | 2018-08-02 | 株式会社クボタ | 作業車 |
JP2018164439A (ja) * | 2017-03-28 | 2018-10-25 | ヤンマー株式会社 | 作業車両の自律走行システム |
WO2018201961A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳乐动机器人有限公司 | 三角测距激光雷达 |
JP2018170991A (ja) * | 2017-03-31 | 2018-11-08 | ヤンマー株式会社 | 農作業車両の自律走行システム |
JP2019049896A (ja) * | 2017-09-11 | 2019-03-28 | 井関農機株式会社 | 自動運転システム |
WO2019078336A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 撮像装置および信号処理装置 |
WO2019091725A1 (de) * | 2017-11-10 | 2019-05-16 | Zf Friedrichshafen Ag | Verfahren und anzeigegerät zum führen einer arbeitsmaschine |
CN109857096A (zh) * | 2017-11-30 | 2019-06-07 | 井关农机株式会社 | 作业车辆 |
KR20190073444A (ko) * | 2017-03-03 | 2019-06-26 | 얀마 가부시키가이샤 | 주행 경로 특정 시스템 |
JP2019160289A (ja) * | 2018-03-07 | 2019-09-19 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
WO2019187883A1 (ja) | 2018-03-29 | 2019-10-03 | ヤンマー株式会社 | 作業車両用の障害物検知システム |
JP2019175343A (ja) * | 2018-03-29 | 2019-10-10 | 西日本電信電話株式会社 | 情報収集装置、情報収集方法及びコンピュータープログラム |
JP2019170309A (ja) * | 2018-03-29 | 2019-10-10 | ヤンマー株式会社 | 作業車両 |
JPWO2018109796A1 (ja) * | 2016-12-12 | 2019-10-24 | 株式会社オプティム | 遠隔制御システム、遠隔制御方法、およびプログラム |
JP2019187352A (ja) * | 2018-04-27 | 2019-10-31 | 井関農機株式会社 | 作業車両 |
JPWO2018123268A1 (ja) * | 2016-12-27 | 2019-10-31 | パナソニックIpマネジメント株式会社 | 測位システム、基地局および測位方法 |
CN110525539A (zh) * | 2019-09-29 | 2019-12-03 | 江苏省肿瘤医院 | 一种赤霉病数据原位采集车 |
WO2020111096A1 (ja) * | 2018-11-27 | 2020-06-04 | 株式会社ナイルワークス | 作業計画装置、作業計画装置の制御方法、および、その制御プログラム、ならびにドローン |
JP2020103128A (ja) * | 2018-12-27 | 2020-07-09 | 株式会社クボタ | 管理機 |
JP2020113304A (ja) * | 2016-07-22 | 2020-07-27 | 株式会社クボタ | 作業車 |
JP2020110158A (ja) * | 2016-09-05 | 2020-07-27 | 株式会社クボタ | 作業車自動走行システム及び走行経路管理装置 |
JP2020119600A (ja) * | 2020-04-21 | 2020-08-06 | ヤンマーパワーテクノロジー株式会社 | 自律走行システム |
JP2020126307A (ja) * | 2019-02-01 | 2020-08-20 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の目標経路生成システム |
JP2020152473A (ja) * | 2019-03-18 | 2020-09-24 | 住友重機械工業株式会社 | 作業機械 |
WO2022131176A1 (ja) * | 2020-12-15 | 2022-06-23 | Hapsモバイル株式会社 | 制御装置、プログラム、システム、及び方法 |
JP2023513975A (ja) * | 2020-12-30 | 2023-04-05 | 広東視場科技有限公司 | 自動運転車プラットフォームに基づく作物マルチスペクトル採取分析システム |
US11726485B2 (en) | 2016-09-05 | 2023-08-15 | Kubota Corporation | Autonomous work vehicle travel system, travel route managing device, travel route generating device, and travel route determining device |
US20230380345A1 (en) * | 2020-08-17 | 2023-11-30 | Deere & Company | Close loop control of an illumination source based on sample heating |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11064152B2 (en) * | 2014-10-15 | 2021-07-13 | IL Holdings, LLC | Remote fishery management system |
CN105021225B (zh) * | 2015-07-08 | 2017-07-14 | 江苏大学 | 一种温室智能移动检测平台 |
US10620300B2 (en) | 2015-08-20 | 2020-04-14 | Apple Inc. | SPAD array with gated histogram construction |
US10282821B1 (en) * | 2015-08-27 | 2019-05-07 | Descartes Labs, Inc. | Observational data processing and analysis |
JP6363579B2 (ja) * | 2015-09-30 | 2018-07-25 | 株式会社クボタ | 圃場管理システム |
US20170099476A1 (en) * | 2015-10-01 | 2017-04-06 | Samsung Electronics Co., Ltd. | Photographing device and method of controlling the same |
DE102015118767A1 (de) * | 2015-11-03 | 2017-05-04 | Claas Selbstfahrende Erntemaschinen Gmbh | Umfelddetektionseinrichtung für landwirtschaftliche Arbeitsmaschine |
US9976284B2 (en) * | 2016-07-18 | 2018-05-22 | Caterpillar Inc. | Control system for headlights of a machine |
WO2018101351A1 (ja) | 2016-12-02 | 2018-06-07 | 株式会社クボタ | 走行経路管理システム及び走行経路決定装置 |
US10599959B2 (en) * | 2017-04-05 | 2020-03-24 | International Business Machines Corporation | Automatic pest monitoring by cognitive image recognition with two cameras on autonomous vehicles |
US10531603B2 (en) * | 2017-05-09 | 2020-01-14 | Cnh Industrial America Llc | Agricultural system |
JP6853591B2 (ja) * | 2017-05-17 | 2021-03-31 | inaho株式会社 | 農作業装置、農作業管理システム、及びプログラム |
WO2018220609A1 (en) * | 2017-06-01 | 2018-12-06 | Osr Enterprises Ag | A system and method for fusing information of a captured environment |
US20180359023A1 (en) * | 2017-06-09 | 2018-12-13 | Keysight Technologies, Inc. | System integration of solar panels/cells and antennas (span system) |
DE102017113726A1 (de) * | 2017-06-21 | 2018-12-27 | Claas E-Systems Kgaa Mbh & Co Kg | Landwirtschaftliche Arbeitsmaschine |
EP3646057A1 (en) | 2017-06-29 | 2020-05-06 | Apple Inc. | Time-of-flight depth mapping with parallax compensation |
CN107389130B (zh) * | 2017-07-17 | 2023-04-28 | 西南交通大学 | 智能灌溉巡检车以及灌溉方法 |
DE112018003986T5 (de) * | 2017-08-04 | 2020-04-16 | Sony Corporation | Steuervorrichtung, steuerverfahren, programm und mobileinheit |
RU2662907C1 (ru) * | 2017-08-24 | 2018-07-31 | Владимир Эльич Пашковский | Способ борьбы с засветкой астрономических приборов светом уличных осветительных приборов |
US10955552B2 (en) | 2017-09-27 | 2021-03-23 | Apple Inc. | Waveform design for a LiDAR system with closely-spaced pulses |
WO2019125349A1 (en) | 2017-12-18 | 2019-06-27 | Montrose Laboratories Llc | Time-of-flight sensing using an addressable array of emitters |
CN108170145A (zh) * | 2017-12-28 | 2018-06-15 | 浙江捷尚人工智能研究发展有限公司 | 基于激光雷达的机器人避障系统及其应用方法 |
CN108362326B (zh) * | 2018-01-03 | 2020-12-18 | 江苏大学 | 一种悬轨式温室综合信息自动巡航监测装置 |
CN108495078A (zh) * | 2018-01-24 | 2018-09-04 | 青岛理工大学 | 一种小麦割根施肥手动对行监控系统 |
CA3089518A1 (en) * | 2018-01-25 | 2019-08-01 | Eleos Robotics Inc. | Autonomous unmanned ground vehicle for pest control |
US11061144B2 (en) * | 2018-01-30 | 2021-07-13 | Valmont Industries, Inc. | System and method for GPS alignment using real-time kinetics |
WO2019185930A1 (en) * | 2018-03-30 | 2019-10-03 | Positec Power Tools (Suzhou) Co., Ltd | Self-moving device, working system, automatic scheduling method and method for calculating area |
US11150648B2 (en) * | 2018-04-03 | 2021-10-19 | Deere & Company | Overhead power cable detection and avoidance |
CN108303938A (zh) * | 2018-04-28 | 2018-07-20 | 湖南文理学院 | 一种用于水田作业的智能化履带式拖拉机 |
CN108713362A (zh) * | 2018-05-28 | 2018-10-30 | 苏州格目软件技术有限公司 | 一种基于植被光谱分析的自动化农业机械 |
US11419261B2 (en) * | 2018-06-25 | 2022-08-23 | Deere & Company | Prescription cover crop seeding with combine |
CN108873900B (zh) * | 2018-06-27 | 2020-11-20 | 北京航空航天大学 | 一种机器人行走时越过障碍物的方法 |
US20200015408A1 (en) * | 2018-07-16 | 2020-01-16 | Alan Dean Armstead | Autonomously Operated Agricultural Vehicle and Method |
US11738643B2 (en) | 2019-02-27 | 2023-08-29 | Clark Equipment Company | Display integrated into door |
CA3108621A1 (en) | 2018-08-06 | 2020-02-13 | Clark Equipment Company | Augmented loader controls |
JP7034866B2 (ja) * | 2018-08-20 | 2022-03-14 | 株式会社クボタ | 収穫機 |
US10820472B2 (en) | 2018-09-18 | 2020-11-03 | Cnh Industrial America Llc | System and method for determining soil parameters of a field at a selected planting depth during agricultural operations |
US20200110403A1 (en) * | 2018-10-08 | 2020-04-09 | Cnh Industrial America Llc | Agricultural data center systems, networks, and methods |
US20200110423A1 (en) * | 2018-10-08 | 2020-04-09 | Cnh Industrial America Llc | Real-time communications between agricultural machines |
US20200122711A1 (en) * | 2018-10-19 | 2020-04-23 | GEOSAT Aerospace & Technology | Unmanned ground vehicle and method for operating unmanned ground vehicle |
US11343967B1 (en) * | 2018-11-14 | 2022-05-31 | Cv Robotics Booster Club | Robotic automation of mechanical field harvesting of broccoli plants |
AU2019390300B2 (en) | 2018-11-28 | 2023-12-14 | The Toro Company | Autonomous ground surface treatment system and method of operation of such a system |
US11921218B2 (en) * | 2018-11-30 | 2024-03-05 | Garmin Switzerland Gmbh | Marine vessel LIDAR system |
DE102018221250A1 (de) * | 2018-12-07 | 2020-06-10 | Robert Bosch Gmbh | Verfahren und System zur Steuerung einer landwirtschaftlichen Maschine |
US20220046859A1 (en) * | 2018-12-11 | 2022-02-17 | Tevel Aerobotics Technologies Ltd. | System and method for selective harvesting at night or under poor visibility conditions, night dilution and agriculture data collection |
US10721458B1 (en) * | 2018-12-14 | 2020-07-21 | Ambarella International Lp | Stereoscopic distance measurements from a reflecting surface |
JP7174619B2 (ja) * | 2018-12-27 | 2022-11-17 | ヤンマーパワーテクノロジー株式会社 | 圃場管理装置 |
CN109814551A (zh) * | 2019-01-04 | 2019-05-28 | 丰疆智慧农业股份有限公司 | 谷物处理自动驾驶系统、自动驾驶方法以及自动识别方法 |
CN109631903A (zh) * | 2019-01-04 | 2019-04-16 | 丰疆智慧农业股份有限公司 | 谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法 |
CN109753003B (zh) * | 2019-01-30 | 2019-10-29 | 农业农村部南京农业机械化研究所 | 秸秆捡拾粉碎播后覆盖复式作业机具配套控制装置及方法 |
RU2710163C1 (ru) * | 2019-02-04 | 2019-12-24 | Открытое акционерное общество "Авангард" | Устройство позиционирования мобильных агрегатов при возделывании агрокультур |
CN113330328A (zh) | 2019-02-11 | 2021-08-31 | 苹果公司 | 使用脉冲束稀疏阵列的深度感测 |
DE102019201915A1 (de) * | 2019-02-14 | 2020-08-20 | Zf Friedrichshafen Ag | Steuerung von Landmaschinen basierend auf Kombination aus Abstandsensorik und Kamera |
DE102019202040B4 (de) * | 2019-02-15 | 2022-01-27 | Zf Friedrichshafen Ag | Sichere autonome Landmaschine |
CN109813852B (zh) * | 2019-03-08 | 2024-03-05 | 山东农业大学 | 一种田间小麦高通量表型信息获取装置及其控制方法 |
WO2020192905A1 (en) * | 2019-03-27 | 2020-10-01 | Volvo Truck Corporation | A method for controlling a vehicle |
WO2020210607A1 (en) * | 2019-04-10 | 2020-10-15 | Kansas State University Research Foundation | Autonomous robot system for steep terrain farming operations |
US11126188B2 (en) * | 2019-04-15 | 2021-09-21 | Caterpillar Inc. | System and method for maintaining a work surface at a worksite |
US11500094B2 (en) | 2019-06-10 | 2022-11-15 | Apple Inc. | Selection of pulse repetition intervals for sensing time of flight |
WO2020257796A1 (en) * | 2019-06-21 | 2020-12-24 | SmarTerra LLC | Turf maintenance system |
US11778934B2 (en) * | 2019-07-02 | 2023-10-10 | Bear Flag Robotics, Inc. | Agricultural lane following |
US11352768B2 (en) * | 2019-07-16 | 2022-06-07 | Caterpillar Inc. | Locking out a machine to prohibit movement |
US11555900B1 (en) | 2019-07-17 | 2023-01-17 | Apple Inc. | LiDAR system with enhanced area coverage |
US20220248589A1 (en) * | 2019-08-06 | 2022-08-11 | The Toro Company | Vehicle with detection system for detecting ground surface and sub-surface objects, and method for controlling vehicle |
JP7342541B2 (ja) * | 2019-09-06 | 2023-09-12 | オムロン株式会社 | ハウス管理システム、ハウス管理装置、ハウス管理方法及びプログラム |
CN110502021B (zh) * | 2019-09-24 | 2022-07-15 | 一米信息服务(北京)有限公司 | 一种农机作业路径规划方法及系统 |
US11906424B2 (en) | 2019-10-01 | 2024-02-20 | The Regents Of The University Of California | Method for identifying chemical and structural variations through terahertz time-domain spectroscopy |
CA3153366A1 (en) | 2019-11-12 | 2021-05-20 | Clark Equipment Company | Display integrated into door |
JP7415480B2 (ja) * | 2019-11-25 | 2024-01-17 | コベルコ建機株式会社 | 作業支援サーバおよび作業支援システム |
US11733359B2 (en) | 2019-12-03 | 2023-08-22 | Apple Inc. | Configurable array of single-photon detectors |
US20210186005A1 (en) * | 2019-12-21 | 2021-06-24 | Verdant Robotics Inc. | Agricultural delivery system to apply one or more treatments with micro-precision to agricultural objects autonomously |
CN111552281A (zh) * | 2020-04-13 | 2020-08-18 | 程国军 | 一种智能耕种系统及其装置 |
US11852621B2 (en) | 2020-04-23 | 2023-12-26 | Cnh Industrial Canada, Ltd. | System and method for monitoring tilled floor conditions using a tilled floor sensing assembly |
DE102020117477A1 (de) * | 2020-07-02 | 2022-01-05 | Claas E-Systems Gmbh | System zur Bestimmung der Position einer Kamera einer Kameraanordnung bezüglich einer Bodenebene |
US11536608B2 (en) | 2021-01-04 | 2022-12-27 | Argo AI, LLC | Systems and methods for characterizing spectral reflectance of real world objects |
CN112868300A (zh) * | 2021-02-25 | 2021-06-01 | 欧美英 | 一种园林艺术用花种播种装置 |
CN113075145A (zh) * | 2021-04-17 | 2021-07-06 | 上海市测绘院 | 基于云计算的多光谱激光智能识别设备 |
US11681028B2 (en) | 2021-07-18 | 2023-06-20 | Apple Inc. | Close-range measurement of time of flight using parallax shift |
IT202100019664A1 (it) * | 2021-07-23 | 2023-01-23 | Cnh Ind Italia Spa | Metodo per l’identificazione di una traiettoria in una piantagione di alberi da frutto quali aranceti |
US20230046882A1 (en) * | 2021-08-11 | 2023-02-16 | Deere & Company | Obtaining and augmenting agricultural data and generating an augmented display |
KR102620280B1 (ko) * | 2021-08-20 | 2024-01-03 | (주)카탈로닉스 | 관수 및 시비를 위한 이동형 로봇 시스템 |
US20230133026A1 (en) * | 2021-10-28 | 2023-05-04 | X Development Llc | Sparse and/or dense depth estimation from stereoscopic imaging |
WO2024038330A1 (en) * | 2022-08-16 | 2024-02-22 | Precision Planting Llc | Systems and methods for biomass identification |
CN115644054B (zh) * | 2022-11-14 | 2023-08-15 | 浙江农业商贸职业学院 | 一种用于智慧农业的果树传粉授粉装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03208105A (ja) * | 1989-09-28 | 1991-09-11 | Tennant Co | 床面積を処理する方法及び機械の誘導システム |
JPH06133624A (ja) * | 1992-10-27 | 1994-05-17 | Yanmar Agricult Equip Co Ltd | 収穫装置 |
JP2004280451A (ja) * | 2003-03-14 | 2004-10-07 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2012084121A (ja) * | 2010-09-16 | 2012-04-26 | Ricoh Co Ltd | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
JP2013020543A (ja) * | 2011-07-13 | 2013-01-31 | Yamaha Motor Co Ltd | 車両用障害物検出装置及びそれを用いた車両 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5977517A (ja) * | 1982-10-27 | 1984-05-04 | Kubota Ltd | 走行車輌 |
JPH0397012A (ja) * | 1989-09-11 | 1991-04-23 | Honda Motor Co Ltd | 自走型作業ロボット |
JP2001112102A (ja) * | 1999-10-05 | 2001-04-20 | Denso Corp | 移動ロボット |
JP2002318620A (ja) * | 2001-04-19 | 2002-10-31 | Toshiba Tec Corp | ロボットクリーナ |
JP2006039760A (ja) * | 2004-07-23 | 2006-02-09 | Victor Co Of Japan Ltd | 移動ロボット |
DE102006055858A1 (de) * | 2006-11-27 | 2008-05-29 | Carl Zeiss Ag | Verfahren und Anordnung zur Steuerung eines Fahrzeuges |
US9188980B2 (en) * | 2008-09-11 | 2015-11-17 | Deere & Company | Vehicle with high integrity perception system |
JP5291420B2 (ja) * | 2008-09-26 | 2013-09-18 | 日産自動車株式会社 | 障害物回避装置及び自走車両 |
EP2439716B1 (en) * | 2010-09-16 | 2013-11-13 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
US8498786B2 (en) * | 2010-10-14 | 2013-07-30 | Deere & Company | Material identification system |
JP5872399B2 (ja) * | 2012-07-06 | 2016-03-01 | 本田技研工業株式会社 | 配置決定方法、配置決定装置及び移動体 |
CA2829914C (en) * | 2012-12-07 | 2016-07-05 | The Boeing Company | Forest sensor deployment and monitoring system |
-
2015
- 2015-04-15 EP EP15822571.4A patent/EP3171241A4/en not_active Withdrawn
- 2015-04-15 JP JP2016534298A patent/JP6344473B2/ja active Active
- 2015-04-15 CN CN201580037887.4A patent/CN106687877A/zh active Pending
- 2015-04-15 WO PCT/JP2015/061542 patent/WO2016009688A1/ja active Application Filing
-
2017
- 2017-01-13 US US15/405,663 patent/US20170131718A1/en not_active Abandoned
-
2018
- 2018-05-24 JP JP2018099275A patent/JP2018160257A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03208105A (ja) * | 1989-09-28 | 1991-09-11 | Tennant Co | 床面積を処理する方法及び機械の誘導システム |
JPH06133624A (ja) * | 1992-10-27 | 1994-05-17 | Yanmar Agricult Equip Co Ltd | 収穫装置 |
JP2004280451A (ja) * | 2003-03-14 | 2004-10-07 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2012084121A (ja) * | 2010-09-16 | 2012-04-26 | Ricoh Co Ltd | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
JP2013020543A (ja) * | 2011-07-13 | 2013-01-31 | Yamaha Motor Co Ltd | 車両用障害物検出装置及びそれを用いた車両 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3171241A4 * |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017158532A (ja) * | 2016-03-03 | 2017-09-14 | 株式会社リコー | 農作業用装置および農作業用装置の制御方法 |
WO2017187909A1 (ja) * | 2016-04-28 | 2017-11-02 | ヤンマー株式会社 | 無線通信システム |
JPWO2017221756A1 (ja) * | 2016-06-22 | 2019-04-18 | ソニー株式会社 | センシングシステム、センシング方法、及び、センシング装置 |
WO2017221756A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | センシングシステム、センシング方法、及び、センシング装置 |
JP2020113304A (ja) * | 2016-07-22 | 2020-07-27 | 株式会社クボタ | 作業車 |
JP2018014045A (ja) * | 2016-07-22 | 2018-01-25 | 株式会社クボタ | 作業車 |
CN107640108A (zh) * | 2016-07-22 | 2018-01-30 | 株式会社久保田 | 作业车 |
CN107640108B (zh) * | 2016-07-22 | 2022-05-10 | 株式会社久保田 | 作业车 |
CN107678041A (zh) * | 2016-08-02 | 2018-02-09 | 三星电子株式会社 | 用于检测对象的系统和方法 |
JP2020110158A (ja) * | 2016-09-05 | 2020-07-27 | 株式会社クボタ | 作業車自動走行システム及び走行経路管理装置 |
US11726485B2 (en) | 2016-09-05 | 2023-08-15 | Kubota Corporation | Autonomous work vehicle travel system, travel route managing device, travel route generating device, and travel route determining device |
US11129323B2 (en) | 2016-09-29 | 2021-09-28 | Agro Intelligence Aps | System and a method for optimizing the trajectory to be followed when weeding crops |
WO2018059648A1 (en) * | 2016-09-29 | 2018-04-05 | Agro Intelligence Aps | A system and a method for optimizing the trajectory to be followed when weeding crops |
JPWO2018109796A1 (ja) * | 2016-12-12 | 2019-10-24 | 株式会社オプティム | 遠隔制御システム、遠隔制御方法、およびプログラム |
JP7113178B2 (ja) | 2016-12-27 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 測位システム、基地局および測位方法 |
JPWO2018123268A1 (ja) * | 2016-12-27 | 2019-10-31 | パナソニックIpマネジメント株式会社 | 測位システム、基地局および測位方法 |
JP2018106596A (ja) * | 2016-12-28 | 2018-07-05 | ラピスセミコンダクタ株式会社 | 地表移動検出装置、無線タグ、地表移動検出方法及び災害救助支援システム |
JP2018117560A (ja) * | 2017-01-24 | 2018-08-02 | 株式会社クボタ | 作業車 |
KR20190073444A (ko) * | 2017-03-03 | 2019-06-26 | 얀마 가부시키가이샤 | 주행 경로 특정 시스템 |
KR102365444B1 (ko) * | 2017-03-03 | 2022-02-18 | 얀마 파워 테크놀로지 가부시키가이샤 | 주행 경로 특정 시스템 |
EP3591488A4 (en) * | 2017-03-03 | 2020-11-04 | Yanmar Power Technology Co., Ltd. | TRAVEL ITINERARY SPECIFICATION SYSTEM |
CN110325936A (zh) * | 2017-03-03 | 2019-10-11 | 洋马株式会社 | 行驶路径特定系统 |
CN106843062B (zh) * | 2017-03-08 | 2019-04-30 | 江苏大学 | 智能变量施肥控制系统及控制方法 |
CN106843062A (zh) * | 2017-03-08 | 2017-06-13 | 江苏大学 | 智能变量施肥控制系统及控制方法 |
JP2018164439A (ja) * | 2017-03-28 | 2018-10-25 | ヤンマー株式会社 | 作業車両の自律走行システム |
JP2018170991A (ja) * | 2017-03-31 | 2018-11-08 | ヤンマー株式会社 | 農作業車両の自律走行システム |
WO2018201961A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳乐动机器人有限公司 | 三角测距激光雷达 |
CN107390699B (zh) * | 2017-09-04 | 2023-07-28 | 广西民族大学 | 一种甘蔗种植机的路线规划系统及其路线规划方法 |
CN107390699A (zh) * | 2017-09-04 | 2017-11-24 | 广西民族大学 | 一种甘蔗种植机的路线规划系统及其路线规划方法 |
JP2019049896A (ja) * | 2017-09-11 | 2019-03-28 | 井関農機株式会社 | 自動運転システム |
US11431911B2 (en) | 2017-10-19 | 2022-08-30 | Sony Corporation | Imaging device and signal processing device |
WO2019078336A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 撮像装置および信号処理装置 |
JP7259756B2 (ja) | 2017-10-19 | 2023-04-18 | ソニーグループ株式会社 | 撮像装置および信号処理装置 |
JPWO2019078336A1 (ja) * | 2017-10-19 | 2020-12-17 | ソニー株式会社 | 撮像装置および信号処理装置 |
WO2019091725A1 (de) * | 2017-11-10 | 2019-05-16 | Zf Friedrichshafen Ag | Verfahren und anzeigegerät zum führen einer arbeitsmaschine |
JP2019097454A (ja) * | 2017-11-30 | 2019-06-24 | 井関農機株式会社 | 作業車両 |
CN109857096A (zh) * | 2017-11-30 | 2019-06-07 | 井关农机株式会社 | 作业车辆 |
JP7225763B2 (ja) | 2018-03-07 | 2023-02-21 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
JP2019160289A (ja) * | 2018-03-07 | 2019-09-19 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
JP2019175343A (ja) * | 2018-03-29 | 2019-10-10 | 西日本電信電話株式会社 | 情報収集装置、情報収集方法及びコンピュータープログラム |
KR20200139126A (ko) | 2018-03-29 | 2020-12-11 | 얀마 파워 테크놀로지 가부시키가이샤 | 작업 차량용의 장애물 검지 시스템 |
JP2019170309A (ja) * | 2018-03-29 | 2019-10-10 | ヤンマー株式会社 | 作業車両 |
WO2019187883A1 (ja) | 2018-03-29 | 2019-10-03 | ヤンマー株式会社 | 作業車両用の障害物検知システム |
JP2019187352A (ja) * | 2018-04-27 | 2019-10-31 | 井関農機株式会社 | 作業車両 |
JP7217894B2 (ja) | 2018-11-27 | 2023-02-06 | 株式会社ナイルワークス | 作業計画装置、作業計画装置の制御方法、および、その制御プログラム、ならびにドローン |
JPWO2020111096A1 (ja) * | 2018-11-27 | 2021-10-14 | 株式会社ナイルワークス | 作業計画装置、作業計画装置の制御方法、および、その制御プログラム、ならびにドローン |
WO2020111096A1 (ja) * | 2018-11-27 | 2020-06-04 | 株式会社ナイルワークス | 作業計画装置、作業計画装置の制御方法、および、その制御プログラム、ならびにドローン |
JP7085980B2 (ja) | 2018-12-27 | 2022-06-17 | 株式会社クボタ | 管理機 |
JP2020103128A (ja) * | 2018-12-27 | 2020-07-09 | 株式会社クボタ | 管理機 |
JP2020126307A (ja) * | 2019-02-01 | 2020-08-20 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の目標経路生成システム |
JP7258613B2 (ja) | 2019-03-18 | 2023-04-17 | 住友重機械工業株式会社 | 作業機械 |
JP2020152473A (ja) * | 2019-03-18 | 2020-09-24 | 住友重機械工業株式会社 | 作業機械 |
CN110525539B (zh) * | 2019-09-29 | 2020-06-09 | 江苏省肿瘤医院 | 一种赤霉病数据原位采集车 |
CN110525539A (zh) * | 2019-09-29 | 2019-12-03 | 江苏省肿瘤医院 | 一种赤霉病数据原位采集车 |
JP7248619B2 (ja) | 2020-04-21 | 2023-03-29 | ヤンマーパワーテクノロジー株式会社 | 自律走行システム |
JP2020119600A (ja) * | 2020-04-21 | 2020-08-06 | ヤンマーパワーテクノロジー株式会社 | 自律走行システム |
JP2022063315A (ja) * | 2020-04-21 | 2022-04-21 | ヤンマーパワーテクノロジー株式会社 | 自律走行システム |
US20230380345A1 (en) * | 2020-08-17 | 2023-11-30 | Deere & Company | Close loop control of an illumination source based on sample heating |
WO2022131176A1 (ja) * | 2020-12-15 | 2022-06-23 | Hapsモバイル株式会社 | 制御装置、プログラム、システム、及び方法 |
JP2023513975A (ja) * | 2020-12-30 | 2023-04-05 | 広東視場科技有限公司 | 自動運転車プラットフォームに基づく作物マルチスペクトル採取分析システム |
JP7374511B2 (ja) | 2020-12-30 | 2023-11-07 | 広東視場科技有限公司 | 自動運転車プラットフォームに基づく作物マルチスペクトル採取分析システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016009688A1 (ja) | 2017-04-27 |
EP3171241A4 (en) | 2017-12-13 |
CN106687877A (zh) | 2017-05-17 |
JP6344473B2 (ja) | 2018-06-27 |
EP3171241A1 (en) | 2017-05-24 |
JP2018160257A (ja) | 2018-10-11 |
US20170131718A1 (en) | 2017-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6344473B2 (ja) | システム、機械、制御方法、プログラム | |
JPWO2016009688A6 (ja) | システム、機械、制御方法、プログラム | |
JP6365668B2 (ja) | 情報処理装置、機器、情報処理システム、制御信号の生産方法、プログラム | |
US20210090274A1 (en) | Identifying and treating plants using depth information in a single image | |
US20190129036A1 (en) | Detector for an optical detection of at least one object | |
Latif | An agricultural perspective on flying sensors: State of the art, challenges, and future directions | |
JP2016049102A (ja) | 圃場管理システム、圃場管理方法、プログラム | |
JP2015062412A (ja) | 不要植物の除去システム | |
CN105046909A (zh) | 一种基于小型无人机的农业辅助定损方法 | |
Marín et al. | Urban lawn monitoring in smart city environments | |
US11816874B2 (en) | Plant identification using heterogenous multi-spectral stereo imaging | |
WO2022107588A1 (ja) | 移動体、制御ユニット、データ生成ユニット、移動体の動作を制御する方法、およびデータを生成する方法 | |
US20220101554A1 (en) | Extracting Feature Values from Point Clouds to Generate Plant Treatments | |
US20230288942A1 (en) | Mobile machine, data generation unit, and method of generating data | |
Moreno et al. | Proximal sensing for geometric characterization of vines: A review of the latest advances | |
WO2022147156A1 (en) | Generating a ground plane for obstruction detection | |
KR20230094918A (ko) | 드론을 이용한 자동화 방제 관리 시스템 및 그 방법 | |
Hutsol et al. | Robotic technologies in horticulture: analysis and implementation prospects | |
WO2022107586A1 (ja) | 移動体、制御ユニット、および移動体の動作を制御する方法 | |
WO2023276226A1 (ja) | 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 | |
WO2023276228A1 (ja) | 列検出システム、列検出システムを備える農業機械、および、列検出方法 | |
WO2024095993A1 (ja) | 列検出システム、列検出システムを備える農業機械、および列検出方法 | |
Martinsanz et al. | Image Processing in Agriculture and Forestry | |
Abinaya et al. | Efficiency of IDRONE Technology in Finding Pest-Free Solutions for Tea Farming-Looper Caterpillar and Tea Leaf Hopper | |
Nagel | Computational Contributions to the Automation of Agriculture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15822571 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016534298 Country of ref document: JP Kind code of ref document: A |
|
REEP | Request for entry into the european phase |
Ref document number: 2015822571 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2015822571 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |