JP7099723B2 - 圃場管理装置、圃場管理方法、及びプログラム - Google Patents
圃場管理装置、圃場管理方法、及びプログラム Download PDFInfo
- Publication number
- JP7099723B2 JP7099723B2 JP2019509728A JP2019509728A JP7099723B2 JP 7099723 B2 JP7099723 B2 JP 7099723B2 JP 2019509728 A JP2019509728 A JP 2019509728A JP 2019509728 A JP2019509728 A JP 2019509728A JP 7099723 B2 JP7099723 B2 JP 7099723B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- failure
- phenomenon caused
- irrigation
- sky
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 122
- 238000003973 irrigation Methods 0.000 claims description 107
- 230000002262 irrigation Effects 0.000 claims description 107
- 239000002689 soil Substances 0.000 claims description 64
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 37
- 238000012706 support-vector machine Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 239000003621 irrigation water Substances 0.000 description 18
- 238000009826 distribution Methods 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009313 farming Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G25/00—Watering gardens, fields, sports grounds or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/38—Investigating fluid-tightness of structures by using light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/24—Earth materials
- G01N33/246—Earth materials for water content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G25/00—Watering gardens, fields, sports grounds or the like
- A01G25/16—Control of watering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
- G01N22/04—Investigating moisture content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Agronomy & Crop Science (AREA)
- Economics (AREA)
- Animal Husbandry (AREA)
- Immunology (AREA)
- Environmental & Geological Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Geology (AREA)
- Remote Sensing (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Water Supply & Treatment (AREA)
- Environmental Sciences (AREA)
- Artificial Intelligence (AREA)
Description
圃場施設の故障に起因する現象の画像と、圃場施設の正常な稼働に起因する現象の画像とを用いて前記圃場施設の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、学習モデル生成部と、
対象領域の上空画像を取得する、画像取得部と、
前記学習モデル生成部が生成した前記学習モデルに、前記画像取得部が取得した前記上空画像を適用して、前記画像取得部が取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、画像特定部と、
前記画像特定部が特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、故障箇所特定部と、
を備えている、ことを特徴とする。
(a)圃場施設の故障に起因する現象の画像と、圃場施設の正常な稼働に起因する現象の画像とを用いて前記圃場施設の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、ステップと、
(b)対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、ステップと、
を有する、ことを特徴とする。
コンピュータに、
(a)圃場施設の故障に起因する現象の画像と、圃場施設の正常な稼働に起因する現象の画像とを用いて前記圃場施設の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、ステップと、
(b)対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、ステップと、
を実行させることを特徴とする。
以下、本発明の実施の形態1における、圃場管理装置、圃場管理方法、及びプログラムについて、図1~図6を参照しながら説明する。
最初に、本実施の形態1における圃場管理装置の構成について図1を用いて説明する。図1は、本発明の実施の形態1における圃場管理装置の構成を示すブロック図である。
次に、本発明の実施の形態1における圃場管理装置10の動作について図4~図6を用いて説明する。また、本実施の形態1では、圃場管理装置10を動作させることによって、圃場管理方法が実施される。よって、本実施の形態1における圃場管理方法の説明は、以下の圃場管理装置10の動作説明に代える。
本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップA1~A4(又は図5に示すステップB1~B3)と、図6に示すステップC1~C3とを実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態1における圃場管理装置10と圃場管理方法とを実現することができる。この場合、コンピュータのプロセッサは、学習モデル生成部11、画像取得部12、画像特定部13、及び故障箇所特定部14として機能し、処理を行なう。
続いて、本実施の形態2における、圃場管理装置、圃場管理方法、及びプログラムについて図7~図11を用いて説明する。
最初に、本実施の形態2における圃場管理装置の構成につい説明する。本実施の形態2における圃場管理装置は、図1に示した圃場管理装置10と同様の構成を有している。このため、以下の説明では、適宜図1を参酌する。但し、本実施の形態2では、故障現象画像、正常現象画像、及び上空画像として、レーダ画像が用いられ、この点で、実施の形態1と異なっている。以下、実施の形態1との相違点を中心に説明する。
次に、本発明の実施の形態2における圃場管理装置の動作について図9~図11を用いて説明する。また、本実施の形態2でも、本実施の形態2における圃場管理装置10を動作させることによって、圃場管理方法が実施される。本実施の形態2における圃場管理方法の説明は、以下の圃場管理装置10の動作説明に代える。
本実施の形態2におけるプログラムも、コンピュータに、図9に示すステップD1~D4(又は図10に示すステップE1~E3)と、図11に示すステップF1~F3とを実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態2における圃場管理装置と圃場管理方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、学習モデル生成部11、画像取得部12、画像特定部13、及び故障箇所特定部14として機能し、処理を行なう。
続いて、本実施の形態3における、圃場管理装置、圃場管理方法、及びプログラムについて図12及び図13を用いて説明する。
最初に、本実施の形態3における圃場管理装置の構成について図12を用いて説明する。図12は、本発明の実施の形態3における圃場管理装置の構成を示すブロック図である。
次に、本発明の実施の形態3における圃場管理装置20の動作について図13を用いて説明する。また、本実施の形態3では、圃場管理装置20を動作させることによって、圃場管理方法が実施される。よって、本実施の形態3における圃場管理方法の説明は、以下の圃場管理装置20の動作説明に代える。
本実施の形態3におけるプログラムは、コンピュータに、図4に示すステップA1~A4(又は図5に示すステップB1~B3)と、図9に示すステップD1~D4(又は図10に示すステップE1~E3)と、図13に示すステップG1~G5とを実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態3における圃場管理装置20と圃場管理方法とを実現することができる。この場合、コンピュータのプロセッサは、可視画像用学習モデル生成部21、レーダ画像用学習モデル生成部22、画像取得部23、画像特定部24、及び故障箇所特定部25として機能し、処理を行なう。
以下、本発明の実施の形態4における、圃場管理装置、圃場管理方法、及びプログラムについて、図14~図16を参照しながら説明する。
最初に、本実施の形態4における圃場管理装置の構成について図14を用いて説明する。図14は、本発明の実施の形態4における圃場管理装置の構成を示すブロック図である。
次に、本発明の実施の形態4における圃場管理装置30の動作について図16を用いて説明する。また、本実施の形態4では、圃場管理装置30を動作させることによって、圃場管理方法が実施される。よって、本実施の形態4における圃場管理方法の説明は、以下の圃場管理装置30の動作説明に代える。
本実施の形態4におけるプログラムは、コンピュータに、図4に示すステップA1~A4(又は図5に示すステップB1~B3)と、図16に示すステップH1~H4を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態4における圃場管理装置30と圃場管理方法とを実現することができる。この場合、コンピュータのプロセッサは、学習モデル生成部31、画像取得部32、画像特定部33、故障箇所特定部34、及び土壌推定部36として機能し、処理を行なう。
ここで、実施の形態1~4におけるプログラムを実行することによって、圃場管理装置を実現するコンピュータについて図17を用いて説明する。図17は、本発明の実施の形態1~4における圃場管理装置を実現するコンピュータの一例を示すブロック図である。
圃場施設の故障に起因する現象の画像と、圃場施設の正常な稼働に起因する現象の画像とを用いて前記圃場施設の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、学習モデル生成部と、
対象領域の上空画像を取得する、画像取得部と、
前記学習モデル生成部が生成した前記学習モデルに、前記画像取得部が取得した前記上空画像を適用して、前記画像取得部が取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、画像特定部と、
前記画像特定部が特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、故障箇所特定部と、
を備えている、ことを特徴とする圃場管理装置。
前記圃場施設の故障に起因する現象の画像から、前記圃場施設の故障に起因する現象の特徴量を抽出し、
前記圃場施設の正常な稼働に起因する現象の画像から、前記圃場施設の正常な稼働に起因する現象の特徴量を抽出し、
サポートベクトルマシンを用いて、前記圃場施設の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
付記1に記載の圃場管理装置。
付記1に記載の圃場管理装置。
付記1~3のいずれかに記載の圃場管理装置。
付記1~3のいずれかに記載の圃場管理装置。
前記画像取得部は、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記画像特定部は、
前記学習モデル生成部が生成した前記学習モデルに、前記画像取得部が取得した前記対象領域の上空からの可視画像を適用して、前記画像取得部が取得した前記対象領域の上空からの可視画像における、前記圃場施設の故障に起因する現象の可視画像を特定し、
更に、前記第2の学習モデル生成部が生成した前記第2の学習モデルに、前記画像取得部が取得した前記対象領域の上空からのレーダ画像を適用して、前記画像取得部が取得した前記対象領域の上空からのレーダ画像における、前記圃場施設の故障に起因する現象のレーダ画像を特定し、
前記故障箇所特定部は、
前記画像特定部が特定した前記圃場施設の故障に起因する現象の可視画像と、前記圃場施設の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記4に記載の圃場管理装置。
前記圃場施設の故障に起因する現象が、灌漑用水の漏水によって生じる現象である、
付記1~6のいずれかに記載の圃場管理装置。
前記故障箇所特定部が、前記画像特定部が特定した前記圃場施設の故障に起因する現象の画像と、前記土壌推定部が推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記7に記載の圃場管理装置。
(b)対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、ステップと、
を有する、ことを特徴とする圃場管理方法。
前記圃場施設の故障に起因する現象の画像から、前記圃場施設の故障に起因する現象の特徴量を抽出し、
前記圃場施設の正常な稼働に起因する現象の画像から、前記圃場施設の正常な稼働に起因する現象の特徴量を抽出し、
サポートベクトルマシンを用いて、前記圃場施設の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
付記9に記載の圃場管理方法。
付記9に記載の圃場管理方法。
付記9~11のいずれかに記載の圃場管理方法。
付記9~11のいずれかに記載の圃場管理方法。
前記(b)のステップにおいて、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記(c)のステップにおいて、
前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記対象領域の上空からの可視画像を適用して、前記(b)のステップで取得した前記対象領域の上空からの可視画像における、前記圃場施設の故障に起因する現象の可視画像を特定し、
更に、前記(e)のステップで生成した前記第2の学習モデルに、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像を適用して、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像における、前記圃場施設の故障に起因する現象のレーダ画像を特定し、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記圃場施設の故障に起因する現象の可視画像と、前記圃場施設の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記12に記載の圃場管理方法。
前記圃場施設の故障に起因する現象が、灌漑用水の漏水によって生じる現象である、
付記9~14のいずれかに記載の圃場管理方法。
前記(d)のステップにおいて、
前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像と、前記(f)のステップで推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記15に記載の圃場管理方法。
(a)圃場施設の故障に起因する現象の画像と、圃場施設の正常な稼働に起因する現象の画像とを用いて前記圃場施設の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、ステップと、
(b)対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、前記圃場施設の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像に基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、ステップと、
を実行させるプログラム。
前記圃場施設の故障に起因する現象の画像から、前記圃場施設の故障に起因する現象の特徴量を抽出し、
前記圃場施設の正常な稼働に起因する現象の画像から、前記圃場施設の正常な稼働に起因する現象の特徴量を抽出し、
サポートベクトルマシンを用いて、前記圃場施設の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
付記17に記載のプログラム。
付記17に記載のプログラム。
付記17~19のいずれかに記載のプログラム。
付記17~19のいずれかに記載のプログラム。
(e)圃場施設の故障に起因する現象のレーダ画像と、圃場施設の正常な稼働に起因する現象のレーダ画像とを用いて前記圃場施設の故障に起因する現象のレーダ画像の特徴量を学習することによって、第2の学習モデルを生成する、ステップを実行させる、命令を更に含み、
前記(b)のステップにおいて、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記(c)のステップにおいて、
前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記対象領域の上空からの可視画像を適用して、前記(b)のステップで取得した前記対象領域の上空からの可視画像における、前記圃場施設の故障に起因する現象の可視画像を特定し、
更に、前記(e)のステップで生成した前記第2の学習モデルに、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像を適用して、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像における、前記圃場施設の故障に起因する現象のレーダ画像を特定し、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記圃場施設の故障に起因する現象の可視画像と、前記圃場施設の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記20に記載のプログラム。
前記圃場施設の故障に起因する現象が、灌漑用水の漏水によって生じる現象である、
付記17~22のいずれかに記載のプログラム。
(f)前記対象領域の土中の水分量を推定する、ステップを実行させる、命令を更に含み、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記圃場施設の故障に起因する現象の画像と、前記(c)のステップで推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記圃場施設の故障箇所を特定する、
付記23に記載のプログラム。
11 学習モデル生成部
12 画像取得部
13 画像特定部
14 故障箇所特定部
15 学習モデル
20 圃場管理装置(実施の形態3)
21 可視画像用学習モデル生成部
22 レーダ画像用学習モデル生成部
23 画像取得部
24 画像特定部
25 故障箇所特定部
26 可視画像用学習モデル
27 レーダ画像用学習モデル
30 圃場管理装置(実施の形態4)
31 学習モデル生成部
32 画像取得部
33 画像特定部
34 故障箇所特定部
35 学習モデル
36 土壌推定部
37 土中推定モデル
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (21)
- 圃場における灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを用いて前記灌漑設備の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、学習モデル生成部と、
前記圃場を上空から撮像可能な人工衛星、航空機又はドローンから、前記圃場の対象領域の上空画像を取得する、画像取得部と、
前記学習モデル生成部が生成した前記学習モデルに、前記画像取得部が取得した前記上空画像を適用して、前記画像取得部が取得した前記上空画像における、前記灌漑設備の故障に起因する現象の画像を特定する、画像特定部と、
前記画像特定部が特定した前記灌漑設備の故障に起因する現象の画像に基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、故障箇所特定部と、
を備え、
前記灌漑設備の故障に起因する現象の画像は、前記灌漑設備のパイプの裂傷と、前記灌漑設備の故障により生じる水たまりと、前記圃場における畝の崩れと、前記圃場における農作物の成長の変化と、のいずれかを示す画像であり、
前記灌漑設備の正常な稼働に起因する現象の画像は、前記灌漑設備の故障に起因する現象を含まない画像である、
圃場管理装置。 - 前記学習モデル生成部が、サポートベクトルマシンを用いて、前記灌漑設備の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
請求項1に記載の圃場管理装置。 - 前記学習モデル生成部が、ディープラーニングによって、前記灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを識別する分類器を作成し、作成した前記分類器を前記学習モデルとする、
請求項1に記載の圃場管理装置。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、可視画像である、
請求項1~3のいずれか一つに記載の圃場管理装置。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、レーダ画像である、
請求項1~3のいずれかに記載の圃場管理装置。 - 前記灌漑設備の故障に起因する現象のレーダ画像と、前記灌漑設備の正常な稼働に起因する現象のレーダ画像とを用いて前記灌漑設備の故障に起因する現象のレーダ画像の特徴量を学習することによって、第2の学習モデルを生成する、第2の学習モデル生成部を更に備え、
前記画像取得部は、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記画像特定部は、
前記学習モデル生成部が生成した前記学習モデルに、前記画像取得部が取得した前記対象領域の上空からの可視画像を適用して、前記画像取得部が取得した前記対象領域の上空からの可視画像における、前記灌漑設備の故障に起因する現象の可視画像を特定し、
更に、前記第2の学習モデル生成部が生成した前記第2の学習モデルに、前記画像取得部が取得した前記対象領域の上空からのレーダ画像を適用して、前記画像取得部が取得した前記対象領域の上空からのレーダ画像における、前記灌漑設備の故障に起因する現象のレーダ画像を特定し、
前記故障箇所特定部は、
前記画像特定部が特定した前記灌漑設備の故障に起因する現象の可視画像と、前記灌漑設備の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項4に記載の圃場管理装置。 - 前記対象領域の土中の水分量を推定する土壌推定部を更に備え、
前記故障箇所特定部が、前記画像特定部が特定した前記灌漑設備の故障に起因する現象の画像と、前記土壌推定部が推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項6に記載の圃場管理装置。 - コンピュータが、
(a)圃場における灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを用いて前記灌漑設備の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、ステップと、
(b)前記圃場を上空から撮像可能な人工衛星、航空機又はドローンから、前記圃場の対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、前記灌漑設備の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の画像に基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、ステップと、
を実行し、
前記灌漑設備の故障に起因する現象の画像は、前記灌漑設備のパイプの裂傷と、前記灌漑設備の故障により生じる水たまりと、前記圃場における畝の崩れと、前記圃場における農作物の成長の変化と、のいずれかを示す画像であり、
前記灌漑設備の正常な稼働に起因する現象の画像は、前記灌漑設備の故障に起因する現象を含まない画像である、
圃場管理方法。 - 前記(a)のステップにおいて、サポートベクトルマシンを用いて、前記灌漑設備の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
請求項8に記載の圃場管理方法。 - 前記(a)のステップにおいて、ディープラーニングによって、前記灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを識別する分類器を作成し、作成した前記分類器を前記学習モデルとする、
請求項8に記載の圃場管理方法。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、可視画像である、
請求項8~10のいずれか一つに記載の圃場管理方法。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、レーダ画像である、
請求項8~10のいずれかに記載の圃場管理方法。 - (e)前記灌漑設備の故障に起因する現象のレーダ画像と、前記灌漑設備の正常な稼働に起因する現象のレーダ画像とを用いて前記灌漑設備の故障に起因する現象のレーダ画像の特徴量を学習することによって、第2の学習モデルを生成する、ステップを更に有し、
前記(b)のステップにおいて、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記(c)のステップにおいて、
前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記対象領域の上空からの可視画像を適用して、前記(b)のステップで取得した前記対象領域の上空からの可視画像における、前記灌漑設備の故障に起因する現象の可視画像を特定し、
更に、前記(e)のステップで生成した前記第2の学習モデルに、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像を適用して、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像における、前記灌漑設備の故障に起因する現象のレーダ画像を特定し、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の可視画像と、前記灌漑設備の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項11に記載の圃場管理方法。 - 前記コンピュータが、
(f)前記対象領域の土中の水分量を推定する、ステップを更に実行し、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の画像と、前記(c)のステップで推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項13に記載の圃場管理方法。 - コンピュータに、
(a)圃場における灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを用いて前記灌漑設備の故障に起因する現象の画像の特徴量を学習することによって、学習モデルを生成する、ステップと、
(b)前記圃場を上空から撮像可能な人工衛星、航空機又はドローンから、前記圃場の対象領域の上空画像を取得する、ステップと、
(c)前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記上空画像を適用して、前記(b)のステップで取得した前記上空画像における、
前記灌漑設備の故障に起因する現象の画像を特定する、ステップと、
(d)前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の画像に基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、ステップと、
を実行し、
前記灌漑設備の故障に起因する現象の画像は、前記灌漑設備のパイプの裂傷と、前記灌漑設備の故障により生じる水たまりと、前記圃場における畝の崩れと、前記圃場における農作物の成長の変化と、のいずれかを示す画像であり、
前記灌漑設備の正常な稼働に起因する現象の画像は、前記灌漑設備の故障に起因する現象を含まない画像である、
プログラム。 - 前記(a)のステップにおいて、サポートベクトルマシンを用いて、前記灌漑設備の故障に起因する現象の画像の特徴量を学習し、その学習結果を示す前記学習モデルを生成する、
請求項15に記載のプログラム。 - 前記(a)のステップにおいて、ディープラーニングによって、前記灌漑設備の故障に起因する現象の画像と、前記灌漑設備の正常な稼働に起因する現象の画像とを識別する分類器を作成し、作成した前記分類器を前記学習モデルとする、
請求項15に記載のプログラム。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、可視画像である、
請求項15~17のいずれかに記載のプログラム。 - 前記灌漑設備の故障に起因する現象の画像、前記灌漑設備の正常な稼働に起因する現象の画像、及び前記上空画像が、レーダ画像である、
請求項15~17のいずれかに記載のプログラム。 - 前記プログラムが、前記コンピュータに、
(e)前記灌漑設備の故障に起因する現象のレーダ画像と、前記灌漑設備の正常な稼働に起因する現象のレーダ画像とを用いて前記灌漑設備の故障に起因する現象のレーダ画像の特徴量を学習することによって、第2の学習モデルを生成する、ステップを実行させる、命令を更に含み、
前記(b)のステップにおいて、対象領域の上空からの可視画像と、前記対象領域の上空からのレーダ画像とを取得し、
前記(c)のステップにおいて、
前記(a)のステップで生成した前記学習モデルに、前記(b)のステップで取得した前記対象領域の上空からの可視画像を適用して、前記(b)のステップで取得した前記対象領域の上空からの可視画像における、前記灌漑設備の故障に起因する現象の可視画像を特定し、
更に、前記(e)のステップで生成した前記第2の学習モデルに、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像を適用して、前記(b)のステップで取得した前記対象領域の上空からのレーダ画像における、前記灌漑設備の故障に起因する現象のレーダ画像を特定し、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の可視画像と、前記灌漑設備の故障に起因する現象のレーダ画像とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項18に記載のプログラム。 - 前記プログラムが、前記コンピュータに、
(f)前記対象領域の土中の水分量を推定する、ステップを実行させる、命令を更に含み、
前記(d)のステップにおいて、
前記(c)のステップで特定した前記灌漑設備の故障に起因する現象の画像と、前記(c)のステップで推定した前記対象領域の土中の水分量とに基づいて、前記対象領域における前記灌漑設備の故障箇所を特定する、
請求項20に記載のプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017066190 | 2017-03-29 | ||
JP2017066190 | 2017-03-29 | ||
PCT/JP2018/011828 WO2018181041A1 (ja) | 2017-03-29 | 2018-03-23 | 圃場管理装置、圃場管理方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018181041A1 JPWO2018181041A1 (ja) | 2020-01-16 |
JP7099723B2 true JP7099723B2 (ja) | 2022-07-12 |
Family
ID=63676023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019509728A Active JP7099723B2 (ja) | 2017-03-29 | 2018-03-23 | 圃場管理装置、圃場管理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11461884B2 (ja) |
EP (1) | EP3605435A4 (ja) |
JP (1) | JP7099723B2 (ja) |
WO (1) | WO2018181041A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112021009659A2 (pt) | 2018-12-10 | 2021-08-17 | The Climate Corporation | mapeamento de anomalias de campo com o uso de imagens digitais e modelos de aprendizado de máquina. |
WO2020184241A1 (ja) * | 2019-03-08 | 2020-09-17 | Assest株式会社 | 農作物の収穫量予測プログラム、栽培環境判別プログラム |
JP6696651B1 (ja) * | 2019-04-01 | 2020-05-20 | Assest株式会社 | 栽培環境判別プログラム |
JP6696650B1 (ja) * | 2019-04-01 | 2020-05-20 | Assest株式会社 | 飼育環境判別プログラム |
WO2020223803A1 (en) * | 2019-05-07 | 2020-11-12 | Les Systèmes Flyscan Inc. | System and method for determining an indication of a presence of a leak of hazardous material using a trained classification module |
JP7289271B2 (ja) * | 2020-02-18 | 2023-06-09 | 五洋建設株式会社 | 粘性土特性推定方法、粘性土を用いた施工方法、粘性土特性推定装置、およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160202227A1 (en) | 2015-01-14 | 2016-07-14 | Accenture Global Services Limited | Precision agriculture system |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005085059A (ja) * | 2003-09-10 | 2005-03-31 | Sec:Kk | 農作業決定支援用予測システム |
JP4810206B2 (ja) * | 2005-11-30 | 2011-11-09 | 株式会社東芝 | 道路走行支援システム |
JP5674499B2 (ja) | 2011-02-07 | 2015-02-25 | 株式会社日立製作所 | センシング装置 |
JP2013210207A (ja) | 2012-03-30 | 2013-10-10 | Nec Corp | レーダ画像の目標識別装置、目標識別方法、及び目標識別プログラム |
US9152881B2 (en) * | 2012-09-13 | 2015-10-06 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
US20150254800A1 (en) * | 2014-03-06 | 2015-09-10 | F12 Solutions, Llc | Nitrogen status determination in growing crops |
US9948898B2 (en) * | 2014-08-22 | 2018-04-17 | Verizon Patent And Licensing Inc. | Using aerial imaging to provide supplemental information about a location |
US10697951B2 (en) * | 2014-12-15 | 2020-06-30 | Textron Systems Corporation | In-soil data monitoring system and method |
MX2017014648A (es) * | 2015-05-15 | 2018-04-11 | Airfusion Inc | Aparato portatil y metodo para apoyo de decision para fusion y analisis de datos de sensores multiples automatizados en tiempo real. |
US10025983B2 (en) * | 2015-09-21 | 2018-07-17 | The Climate Corporation | Ponding water detection on satellite imagery |
JP6998537B2 (ja) | 2015-09-28 | 2022-01-18 | パナソニックIpマネジメント株式会社 | 光反射体用成形材料、光反射体及び発光装置 |
US10359336B2 (en) * | 2016-12-09 | 2019-07-23 | Verizon Patent And Licensing Inc. | Leak detection in irrigation systems |
US10664702B2 (en) * | 2016-12-30 | 2020-05-26 | International Business Machines Corporation | Method and system for crop recognition and boundary delineation |
US10586105B2 (en) * | 2016-12-30 | 2020-03-10 | International Business Machines Corporation | Method and system for crop type identification using satellite observation and weather data |
US10726558B2 (en) * | 2017-02-27 | 2020-07-28 | Dolphin AI, Inc. | Machine learning-based image recognition of weather damage |
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
US20200134384A1 (en) * | 2017-09-14 | 2020-04-30 | Mitsubishi Electric Corporation | Abnormality detection device |
-
2018
- 2018-03-23 JP JP2019509728A patent/JP7099723B2/ja active Active
- 2018-03-23 EP EP18776388.3A patent/EP3605435A4/en active Pending
- 2018-03-23 US US16/496,644 patent/US11461884B2/en active Active
- 2018-03-23 WO PCT/JP2018/011828 patent/WO2018181041A1/ja unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160202227A1 (en) | 2015-01-14 | 2016-07-14 | Accenture Global Services Limited | Precision agriculture system |
Also Published As
Publication number | Publication date |
---|---|
EP3605435A1 (en) | 2020-02-05 |
WO2018181041A1 (ja) | 2018-10-04 |
EP3605435A4 (en) | 2020-02-05 |
JPWO2018181041A1 (ja) | 2020-01-16 |
US20200380663A1 (en) | 2020-12-03 |
US11461884B2 (en) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7099723B2 (ja) | 圃場管理装置、圃場管理方法、及びプログラム | |
Wang et al. | A unified convolutional neural network integrated with conditional random field for pipe defect segmentation | |
US10013720B1 (en) | Utilizing a 3D scanner to estimate damage to a roof | |
CN107735794B (zh) | 使用图像处理的状况检测 | |
CN107835997B (zh) | 使用计算机视觉的用于电力线走廊监测的植被管理 | |
CN110096994B (zh) | 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 | |
US8233712B2 (en) | Methods of segmenting a digital image | |
US11348272B2 (en) | Vegetation index calculation apparatus, vegetation index calculation method, and computer readable recording medium | |
US8965107B1 (en) | Feature reduction based on local densities for bundle adjustment of images | |
Alharbi et al. | Automatic counting of wheat spikes from wheat growth images | |
Giuliani et al. | Using crowdsourced web content for informing water systems operations in snow-dominated catchments | |
JPWO2018173577A1 (ja) | 植生指標算出装置、植生指標算出方法、及びプログラム | |
D’Amico et al. | A deep learning approach for automatic mapping of poplar plantations using Sentinel-2 imagery | |
US20210097850A1 (en) | Wildfire defender | |
Galdran et al. | A no-reference quality metric for retinal vessel tree segmentation | |
Yang et al. | Towards accurate image stitching for drone-based wind turbine blade inspection | |
CN113112510A (zh) | 一种语义分割的森林火灾检测方法、控制器及存储介质 | |
CN111680704A (zh) | 海洋红线新增人类活动斑块自动化快速提取方法和装置 | |
US20230101112A1 (en) | Technology configured to enable fault detection and condition assessment of underground stormwater and sewer pipes | |
CN117409341A (zh) | 基于无人机照明的图像分析方法及系统 | |
KR102283452B1 (ko) | 작물 이미지의 병해충 검출 방법 및 장치 | |
US20240193946A1 (en) | Bird detection and species determination | |
JP5352435B2 (ja) | 分類画像作成装置 | |
JP2020204800A (ja) | 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム | |
KR102320262B1 (ko) | 재난피해영역의 피해규모 추정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210812 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210820 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210824 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211119 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211124 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220104 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220419 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220531 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7099723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |