JP7388816B2 - 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム - Google Patents

生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム Download PDF

Info

Publication number
JP7388816B2
JP7388816B2 JP2019014117A JP2019014117A JP7388816B2 JP 7388816 B2 JP7388816 B2 JP 7388816B2 JP 2019014117 A JP2019014117 A JP 2019014117A JP 2019014117 A JP2019014117 A JP 2019014117A JP 7388816 B2 JP7388816 B2 JP 7388816B2
Authority
JP
Japan
Prior art keywords
information
vegetation
growth
management system
discarded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019014117A
Other languages
English (en)
Other versions
JP2020120601A (ja
Inventor
秀吾 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2019014117A priority Critical patent/JP7388816B2/ja
Priority to CA3127302A priority patent/CA3127302A1/en
Priority to EP19912417.3A priority patent/EP3919381A4/en
Priority to AU2019427946A priority patent/AU2019427946B2/en
Priority to US17/310,158 priority patent/US20220057375A1/en
Priority to PCT/JP2019/051292 priority patent/WO2020158290A1/ja
Publication of JP2020120601A publication Critical patent/JP2020120601A/ja
Application granted granted Critical
Publication of JP7388816B2 publication Critical patent/JP7388816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098Plants or trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/40UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • G01C15/008Active optical surveying means combined with inclination sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0214Airborne
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0216Vehicle borne
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/121Correction signals

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Botany (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Toxicology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Description

本発明は、圃場等の植物等の生育状況を管理する生育情報管理装置、生育情報管理システム、生育情報管理装置の制御方法及び生育情報管理プログラムに関するものである。
従来から作物等の植物を栽培する圃場における植物の生育状況のデータを収集するための装置が提案されている(例えば、特許文献1等)。
かかる装置は圃場の植物等に測定光を照射し、その反射光を受光し、この受光した反射光を解析することで植物の生育状況を把握する構成となっている。
特開2016―223971号公報 特開2017―184640号公報 特許第5522913号公報
しかし、かかる装置は、トラクタ等に配置された状態で、測定光を照射するため、装置が配置されるトラクタ等の機器の傾きや位置ずれ等の位置変化により正確に植物等に測定光を照射できず、これにより、植物の生育状況を把握することができないという問題があった。
そこで、本発明は、配置される機器等の位置変化にもかかわらず植物等の生育状況を精度良く把握することができる生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラムを提供することを目的とする。
前記目的は、本発明によれば、他の機器と、前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムであって、前記他の機器の位置情報を取得する位置情報取得部と、前記他の機器の傾斜情報を取得する傾斜計測部と、を有し、前記位置情報取得部と前記傾斜計測部を駆動させながら前記植生情報を取得し、直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄し、前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完し、前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成することを特徴とする生育情報管理システムにより達成される。
前記構成によれば、他の機器(例えば、UAV等)の位置変化(例えば、傾斜や位置ずれ等)で、生育情報管理装置(例えば、レーザ式生育センサ装置等)の測定光の照射方向が変化し、照射方向が対象領域等から外れることがあっても、生育情報を補正することで、植物等の生育状況を精度良く把握することができる。
したがって、本発明の生育情報管理装置では、配置される機器等の位置変化にもかかわらず植物等の生育状況を精度良く把握できる。
また、前記構成によれば、他の機器の位置変化は傾斜計測部(例えば、傾斜計等)及び/又は位置情報取得部(例えば、GPS装置等)により検知することができるので、他の機器の傾きのみならず、他の機器自体の位置ずれ等があっても精度良く、その変化を把握することができる。
また、前記構成によれば、測定光の照射方向の変化情報が、所定領域範囲内の変化情報を逸脱するときは、その生成された生育情報を破棄するので、誤った生育情報に基づいて植物等の生育状況を把握することを未然に防止することができる。
また、前記構成によれば、破棄した生育情報を近傍の生育情報に基づいて推定するので、より真実に近い生育情報を推定し、補完することができ、生育情報の取得対象である全体の圃場等の生育情報を精度良く取得することができる。
好ましくは、前記生育情報管理システムにおいて、前記植物が圃場に配置され、前記他の機器が無人航空機(UAV(Unmanned aerial vehicle))又はトラクタであり、前記位置情報の許容範囲が、前記圃場内であることを特徴とする。
好ましくは、前記生育情報管理システムにおいて、前記圃場の全ての領域について前記植生情報又は破棄情報を生成した後に前記植生情報を補完し、前記植生情報の補完は、前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報の平均値情報に基づいて実行されることを特徴とする。
好ましくは、前記生育情報管理システムにおいて、前記無人航空機の飛行情報は、前記圃場の情報から作成することを特徴とする。
前記目的は、本発明によれば、他の機器と、前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムの制御方法であって、前記他の機器の位置情報を取得する位置情報取得部と前記他の機器の傾斜情報を取得する傾斜計測部を駆動させながら前記植生情報を取得し、直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄し、前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完し、前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成することを特徴とする生育情報管理システムの制御方法により達成される。
前記目的は、本発明によれば、他の機器と、前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムに、前記他の機器の位置情報を取得する位置情報取得部と前記他の機器の傾斜情報を取得する傾斜計測部を駆動させながら前記植生情報を取得する機能、直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄する機能、前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完する機能、前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成する機能、を実行させるための生育情報管理システムの制御プログラムにより達成される。
本発明は、配置される機器等の位置変化にもかかわらず植物等の生育状況を精度良く把握することができる生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラムを提供することができるという利点がある。
本発明の生育情報管理装置である例えば、レーザ式生育センサ装置が、他の機器である例えば、ドローンとも呼ばれるUAV(Unmanned aerial vehicle:無人航空機)に装着されている状態を示す概略図である。 図1のレーザ式生育センサ装置を備えるUAVの主な構成を示す概略ブロック図である。 図1のレーザ式生育センサ装置の主な構成を示す概略ブロック図である。 センサ装置側第1の各種情報記憶部の主な構成を示す概略ブロック図である。 センサ装置側第2の各種情報記憶部の主な構成を示す概略ブロック図である。 本実施の形態に係るUAV及びレーザ式生育センサ装置等を利用して、圃場の植物の生育状況の情報を取得する工程を示す概略フローチャートである。 本実施の形態に係るUAV及びレーザ式生育センサ装置等を利用して、圃場の植物の生育状況の情報を取得する工程を示す他の概略フローチャートである。 圃場及びUAVの飛行ルートを示す概略図である。 実際にレーザ式生育センサ装置が取得した1回毎の植生指数情報(T1等)を示す概略説明図である。 UAVの飛行姿勢が傾斜している状態を示す概略図である。 位置情報付き植生指数情報記憶部に記憶されている位置情報付き植生指数情報を示す概略説明図である。 本発明の他の実施形態を示す概略図である。
以下、この発明の好適な実施の形態を添付図面等を参照しながら、詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
図1は、本発明の生育情報管理装置である例えば、レーザ式生育センサ装置100が、他の機器である例えば、ドローンとも呼ばれるUAV(Unmanned aerial vehicle:無人航空機)1に装着されている状態を示す概略図である。
(UAV1の主な構成について)
先ず、図1に示す「UAV1」の主な構成について説明する。
UAV1は、図1の示すようにUAV本体部10と、複数、例えば、4個のプロペラ20a、20b等を有している。
すなわち、UAV1は、このプロペラ20a、20b等で浮上する構成となっている。
図2は、図1のレーザ式生育センサ装置100を備えるUAV1の主な構成を示す概略ブロック図である。
図2に示すように、本実施の形態では、UAV1やレーザ式生育センサ装置100等に指示情報等を送信する「UAV用リモートコントローラ50」を有している。
このUAV用リモートコントローラ50は、地上で操作者が操作することができる構成となっている。
また、レーザ式生育センサ装置100は、UAV1と通信可能な構成となっている。
UAV1は、図2に示すように、「UAV制御部11」を有し、UAV制御部11は、図2に示す「UAV側通信装置12」、「モータ13」、「電池14」、「GPS装置15」、「高度計」及び「UAV側各種情報記憶部18」等を制御する構成となっている。
以下、各構成について説明する。
通信装置12は、UAV用リモートコントローラ50やレーザ式生育センサ装置100と通信するための装置である。
電池14から電力の供給を受けて、モータ13が、図1にも示すプロペラ20a等を回転させる構成となっている。
また、GPS装置15は、グローバル・ポジショニング・システム(Global Positioning System)で「全地球測位システム」とも呼ばれ、24個の衛星が発射した時刻信号の電波の到達時間などから,地球上の電波受信機の位置を3次元測位する装置である。
したがって、このGPS装置15で、位置を測位することで、UAV1の位置(緯度及び経度等)を精度良く把握することができる構成となっている。
このGPS装置15が、位置情報取得部の一例となっている。
「高度計16」は、例えば、電波高度計で、目標物からの電波の反射時間を計測し、距離を計測、UAV1の絶対高度を測定する構成となっている。
また、この高度計16は、電波高度計に限らず、「気圧センサ」の気圧変化で高度を測定する構成としても構わない。
この傾斜センサ17が、傾斜計測部の一例となっている。
「UAV側各種情報記憶部18」は、UAV1で使用する各種情報を記憶する記憶部となっている。
なお、UAV1は、上述の他にも各種センサを有している。
例えば、周囲の障害物の検知用センサとして「超音波センサ」、飛行速度を検知(大気圧から速度を検出)するための「気圧センサ」、方位(コンパス)を測定するための「磁気センサ」及び主に機体の速度や変位(位置の変化)を取得するための「加速度センサ」等である。
(レーザ式生育センサ装置100の主な構成について)
図3は、図1のレーザ式生育センサ装置100の主な構成を示す概略ブロック図である。
図3に示すように、レーザ式生育センサ装置100は、センサ装置側制御部101を有し、「レーザ発光装置102」、「レーザ受光装置103」、「センサ側通信装置104」及び「傾斜センサ105」を制御する構成となっている。
図3示す「レーザ発光装置102」は、異なる波長を有するレーザである「第1の測定光」と「第2の測定光」を有し、第1測定光としては、例えば、赤の波長帯域の光であり、第2の測定光としては、例えば、赤外の波長帯域の光である。
これら第1の測定光と第2の測定光は、図1に示すように、同一の植物Pに対し照射される。
そして、この反射光を図3の「レーザ受光装置103」が受光し、それらの反射率を取得することで、当該植物Pの生育状態、具体的には、植物Pに含まれる栄養素の量を把握することができる構成となっている。
この栄養素の量は、植物の生育情報である測定生育情報である例えば、正規化差植生指数(NDVI)情報(以下「植生指数情報」という。)であるが、この正規化差植生指数(NDVI)情報については後述する。
なお、本実施の形態では、植物の生育情報をレーザ光で測定したが、本発明はこれに限らず、衛星写真、生育状況を測定できるセンサにて生育情報を取得しても構わない。
また、「センサ側通信装置104」は、他の装置等と通信するための
装置である。
また、「傾斜センサ105」は、レーザ式生育センサ装置100の傾斜角度に比例してセンサが出力され、そのまま傾斜角度として利用できる構成となっている。
傾斜センサ105としては、例えば、「振り子式」や「フロート式」等がある。
「振り子式」は、振り子の錘に対するケース等の傾きを回転角センサ(磁気抵抗素子、エンコーダ等)で検出するもので、「フロート式」は、液体を用いて液面の傾きを静電容量化等で検出するものである。
また、図3に示すように、レーザ式生育センサ装置100は、「センサ装置側第1の各種情報記憶部110」及び「センサ装置側第2の各種情報記憶部120」も有する。
図4及び図5は、それぞれ「センサ装置側第1の各種情報記憶部110」及び「センサ装置側第2の各種情報記憶部120」の主な構成を示す概略ブロック図である。これらの記憶部110等の内容については後述する。
また、本実施の形態では、図2に示すように、レーザ式生育センサ装置100やUAV1に着脱可能なコンピュータであるPC70が備えられている。
このPC70は、後述するように、UAV1の飛行等の前にレーザ式生育センサ装置100及びUAV1に装着され、データログ開始等の必要な情報の入力等を行った後、取り外される構成となっている。
また、図1のUAV1及びレーザ式生育センサ装置100等は、コンピュータを有し、コンピュータは、図示しないCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を有し、これらは、バス等を介して接続されている
(本実施の形態の動作例等について)
本実施の形態では、例えば、植物Pの畑である圃場Xを有している利用者が、自己の図1のUAV1を圃場Xの上空で飛行させて、植物Pの生育状況の情報を取得する例を用いて、以下説明する。
図6及び図7は、本実施の形態に係るUAV1及びレーザ式生育センサ装置100等を利用して、圃場Xの植物Pの生育状況の情報を取得する工程を示す概略フローチャートである。
(ST1)
UAV1の飛行前に、図2に示すように、PC70をUAV1及びレーザ式生育センサ装置100に装着し、データログ開始等の必要な情報の入力等を行い、PC70は、取り外される。
具体的には、PC70には、測定対象の圃場情報から作成した例えば、高度、緯度、経度、速度等のUAV1の飛行情報である「UAV飛行ルート情報」を記憶し、このUAV飛行ルート情報をレーザ式生育センサ装置100に入力等する。
次いで、図6のステップ(以下「ST」とする。)1へ進む、ST1では、PC70から取得した「UAV飛行ルート情報」をUAV1の図4の「UAV飛行ルート情報記憶部111」に記憶する。
図8は、圃場X及びUAV1の飛行ルートを示す概略図である。
図8では、圃場XにおけるUAV1の飛行ルートを破線の矢印Fで示している。
UAV1に装着されるレーザ式生育センサ装置100のレーザ発光装置102から照射されるレーザの照射角度は、例えば、45°(度)となっている。
したがって、UAV1の飛行ルート(高度、緯度、経度、速度等)は、圃場Xの植物Pが、この照射角度内に収まるように予め定められる。
すなわち、図8の圃場Xでは、全部で32回のレーザ照射で圃場Xの全体の植物Pに対しレーザ照射を完了し、その反射光を受光するように計算して定められる。
図8では、UAV1の予め定めた1回のレーザ照射の領域をS1乃至S32として、示している。
(ST2)
次いで、ST2へ進む。ST2では、操作者が図2の「UAV用リモートコントローラ50」を操作し、図1のUAV1を飛行させると、UAV1は、図4の「UAV飛行ルート情報記憶部111」の「UAV事項ルート情報」に従い、飛行を開始する。
そして、UAV1は、レーザ式生育センサ装置100の「位置情報付き植生指数情報生成処理部(プログラム)112」が動作し、UAV1のGPS装置15、レーザ式生育センサ装置100の傾斜センサ105等のセンサを駆動させながらレーザ式生育センサ装置100のレーザ発光装置102がレーザ照射し、レーザ受光装置103が受光したレーザ光に基づいて、生育情報である例えば、「植生指数(NDVI)」を求め、位置情報等と関連付けた「位置情報付き植生指数情報」として図4の「位置情報付き植生指数情報記憶部113」に記憶する。
具体的には、レーザ発光装置102が2つの波長の異なるレーザ光(第1の測定光(赤)と第2の測定光(赤外))を同一の地点の植物Pに照射すると共に、レーザ受光装置103が、それぞれの反射光を取得し、反射率(赤のレーザの反射率(R)、赤外のレーザの反射率(IR))を記憶する。
ところで、レーザ式生育センサ装置100には、予め「植生指数計算式」、例えば、「植生指数(NDVI)=(IRーR)/(IR+R)」が記憶されている。
この植生指数は、植物P等の栄養素の量等を示すものである。
したがって、レーザ式生育センサ装置100は、上記の計算式に、上記の反射率を代入することで、植生指数を得ることができる構成となっている。
本実施の形態では、植物の生育指数を求める方法として植生指数を挙げたが、植物の生育状況を示すものであれば、他の手法でも構わない。
これで取得されたデータを示すのが図9である。図9は、実際にレーザ式生育センサ装置100が取得した1回毎の植生指数情報(T1等)を示す概略説明図である。
実際に図9の1回(T1等)の植生指数情報を得られると、ST3へ進む。
なお、このときUAV1は、図9の1回毎の植生指数情報(T1等)を取得するためにレーザを照射したときの傾斜センサ17の測定値及びGPS装置15の測位情報(緯度及び経度)等を記憶する。
(ST3)
次いで、ST3に進む。ST3では、図4の「傾斜許容範囲角度判断処理部(プログラム)114」が動作し、直前(例えば図8のT1等)のUAV1の傾斜センサ17の測定値を参照し、直前の「傾斜センサ測定値」の傾斜角度が図4の「傾斜許容範囲角度情報記憶部115」の「傾斜許容範囲角度情報」の範囲内か否かを判断する。
図4の「傾斜許容範囲角度情報記憶部115」の「傾斜許容範囲角度情報」には、UAV1の傾斜角度によって,レーザ発光装置102の照射するレーザ光が、図7の圃場Xから外れる角度に関する情報が記憶されている。
すなわち、例えば、図1に示すように、UAV1の飛行姿勢が圃場Xに対して略水平であれば、レーザの照射範囲は、圃場X内となり、問題はないが、図10に示すように、一定範囲以上、UAV1が傾斜すると、レーザの照射範囲が圃場Xを外れてしまうことになる。
図10は、UAV1の飛行姿勢が傾斜している状態を示す概略図である。
このように,圃場X外に照射したレーザの反射光をレーザ式生育センサ装置100が受光し、植生指数情報を生成しても、その情報は誤った情報となる。
このため、本実施の形態では、UAV1の傾斜範囲が許容範囲であるか否かの情報を有している。
なお、このUAV1の傾斜情報によるレーザの照射範囲の変化が、「他の機器の位置変化に伴う測定光の照射方向の変化情報」の一例となっている。
また、「傾斜許容範囲角度情報」が、「所定領域内の変化情報」の一例となっている。
(ST4)
ST4で、直前(例えば、図9のT1の「傾斜センサ測定値」の傾斜角度が図4の「傾斜許容範囲角度情報記憶部115」の「傾斜許容範囲角度情報」の範囲内であると判断されると、ST5へ進む。
(ST5)
ST5では、図4の「UAV飛行位置範囲判断処理部(プログラム)116」が動作し、UAV1の飛行位置許容範囲を記憶する図4の「UAV飛行位置許容範囲記憶部117」と図4の「UAV飛行ルート情報記憶部111」を参照する。
この「UAV飛行位置許容範囲記憶部117」には、UAV1が図4の「UAV飛行ルート情報記憶部111」に記憶されている「緯度及び経度」情報から風等の影響で外れた場合、どの程度までであれば、レーザ式生育センサ装置100のレーザ発光装置102から照射されるレーザが図8の圃場Xから外れないかの範囲の情報が記憶されている。
したがって、UAV1が、この「UAV飛行位置許容範囲記憶部117」のUAV飛行位置許容範囲情報内でない場合は、照射されたレーザ光は、圃場Xから外れるため、反射光を受光し、植生指数情報を生成しても、誤った情報となる。
したがって、直前(例えば、図9のT1等)のGPS装置15の「GPS測位位置」の緯度、経度が「UAV飛行ルート情報」を基準とした「UAV飛行位置許容範囲」内であるか否かを判断する。
(ST6、ST7)
そして、ST6で、範囲内であると判断されると、ST7へ進む。ST7では、図5の「UAV飛行ルート終了判断処理部(プログラム)121」が動作し、図4の「UAV飛行ルート情報記憶部111」を参照し、予め定めたUAV飛行ルート情報を終了したか否かを判断する。
(ST8)
ST8で、上述の例では、図9のT1の領域が終了しただけなので、終了しないとして、ST2へ戻り、図9のT2の領域について、同様の処理を行い、これを図9のT32の領域まで繰り返す。
本実施の形態の図9の例では、T5、T11、T14,T15、T18、T22、T23、T27、T29及びT31の領域では、ST4又はST6で「範囲外」と判断される。
そして、この場合、図6に示すように、この領域で取得された図4の「位置情報付き植生指数情報記憶部113」に記憶された情報は「破棄」される。
このように、圃場X外に照射されたレーザの反射光に基づく誤った植生指数情報は、「破棄」されるため、生成された植生情報は信頼性の高い植生情報となる。
そして、本実施の形態では、図9のT1乃至T32の全て領域で「植生指数情報」の生成又は破棄が行われるとST9へ進む。
(ST9)
ST9では、図5の「破棄データ処理部(プログラム)122」が動作し、図4の「位置情報付き植生指数情報記憶部113」の位置情報付き植生指数情報に「破棄データ」が存在するか否かを判断する。
図11は、「位置情報付き植生指数情報記憶部113」に記憶されている位置情報付き植生指数情報を示す概略説明図である。
図11は、上述の「位置情報付き植生指数情報」であるため、「破棄データ」が存在し、具体的には、T5、T11、T14、T15、T18、T22、T23、T27、T29及びT31の領域が「破棄データ」となっている。
(ST10、ST11)
したがって、ST10で、「破棄データ」が存在するときは、ST11へ進む。ST11では、図5の「破棄データ処理部(プログラム)122」が動作し、図4の「位置情報付き植生指数情報記憶部113」の位置情報付き植生指数情報の「破棄データ」の前後の「位置情報付き植生指数情報]の平均値で破棄データを推定し、補完する。
例えば、図11の破棄データであるT5の領域は、T4及びT6の領域の植生指数情報の平均値等で補完する。T14及びT15の「破棄データ」は、T13及びT16の領域の植生指数情報の平均値等で補完する。
また、「破棄データ」の前後の植生指数情報が存在しない場合、直前又は直後の「位置情報付き植生指数情報]で補完する構成としても良い。
そして、このように「破棄データ」を補完した「植生指数情報」が図4の「位置情報付き植生指数情報記憶部113」に記憶され、破棄データの存在しない「位置情報付き植生指数情報」となる。
(ST12)
次いで、ST12へ進む。ST12では、図5の「植生指数マップ生成処理部(プログラム)123」が動作し、図4の「位置情報付き植生指数情報記憶部113」の「位置情報付き植生指数情報」に基づき、植生指数マップを生成し、図5の「植生指数マップ記憶部124」に記憶する。
したがって、この植生指数マップの情報を利用することで、圃場Xの植物Pの生育状況を正確に把握することができ、施肥量等を判断することができる。
本実施の形態では、レーザ生育センサ装置100に「傾斜センサ105」等を搭載し、UAV1に「GPS装置15」等を搭載した例で説明したが、本発明はこれに限らず、レーザ生育センサ装置100が「GPS装置15」等を備える構成としても構わない。
なお、本実施の形態では、UAV1にレーザ生育センサ装置100を装着した例で説明したが、本発明はこれに限らず、図12に示す「トラクタ200」に「レーザ生育センサ装置100」を装着しても構わない。
図12は、本発明の他の実施形態を示す概略図である。
図12の場合は、トラクタ200又はレーザ生育センサ装置100に「傾斜センサ」や「GPS装置」等が搭載されることになる。
さらに、本実施の形態では、全ての構成がUAV1及びレーザ生育センサ装置100に配置される例で説明したが、本発明はこれに限らず、レーザ生育センサ装置は、レーザの反射光の受光又は、反射光に基づく「植生指数情報」までの処理を行い、そのデータを地上の操作者のコンピュータ(PC等、例えば、図2のPC70等)に送信し、PC70等で、その後の処理をするシステムとしても良い。
この場合は、本システムが「生育情報管理システム」の一例となり、レーザ生育センサ装置が「情報収集装置」の一例となる。また、PC等が「生育情報生成装置」の一例となる。
以上説明した本実施形態においては、装置として実現される場合を例に挙げて説明したが、本発明は、これに限定されず、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD-ROM、DVDなど)光磁気ディスク(MO)、半導体メモリなどの記憶媒体に格納され頒布されてもよい。
また、記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であればよい。記憶媒体の記憶形式は、特には限定されない。
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本発明における記憶媒体は、コンピュータと独立した媒体には限定されず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づいて本実施形態における各処理を実行すればよく、1つのパソコン等からなる装置であってもよいし、複数の装置がネットワーク接続されたシステム等であってもよい。
また、本発明におけるコンピュータとは、パソコンには限定されず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
以上、本発明の実施形態について説明した。しかし、本発明は、上記実施形態に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。
1・・・UAV、10・・・UAV本体部、11・・・UAV制御部、12・・・通信装置、13・・・モータ、14・・・電池、15・・・GPS装置、16・・・高度計、17・・・傾斜センサ、18・・・UAV側各種情報記憶部、20a、20b・・・プロペラ、50・・・UAV用リモートコントローラ、100・・・レーザ式生育センサ装置、101・・・センサ装置側制御部、102・・・レーザ発光装置、103・・・レーザ受光装置、104・・・ディスプレイ、105・・・各種情報入力部、110・・・センサ装置側第1の各種情報記憶部、111・・・UAV飛行ルート情報記憶部、112・・・位置情報付き植生指数情報生成処理部(プログラム)、113・・・位置情報付き植生指数情報記憶部、114・・・傾斜許容範囲角度判断処理部(プログラム)、115・・・傾斜許容範囲角度情報記憶部、116・・・UAV飛行位置範囲判断処理部(プログラム)、117・・・UAV飛行位置許容範囲記憶部、120・・・センサ装置側第2の各種情報記憶部、121・・・UAV飛行ルート終了判断処理部(プログラム)、122・・・破棄データ処理部(プログラム)、123・・・植生指数マップ生成処理部(プログラム)、124・・・植生指数マップ記憶部、F・・・飛行ルート、P・・・植物、X・・・圃場

Claims (6)

  1. 他の機器と、
    前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムであって、
    前記他の機器の位置情報を取得する位置情報取得部と、
    前記他の機器の傾斜情報を取得する傾斜計測部と、を有し、
    前記位置情報取得部と前記傾斜計測部を駆動させながら前記植生情報を取得し、
    直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄し、
    前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完し、
    前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成することを特徴とする生育情報管理システム。
  2. 前記植物が圃場に配置され、
    前記他の機器が無人航空機(UAV(Unmanned aerial vehicle))又はトラクタであり、
    前記位置情報の許容範囲が、前記圃場内であることを特徴とする請求項1に記載の生育情報管理システム。
  3. 前記圃場の全ての領域について前記植生情報又は破棄情報を生成した後に前記植生情報を補完し、
    前記植生情報の補完は、前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報の平均値情報に基づいて実行されることを特徴とする請求項2に記載の生育情報管理システム。
  4. 前記無人航空機の飛行情報は、前記圃場の情報から作成することを特徴とする請求項2に記載の生育情報管理システム。
  5. 他の機器と、
    前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムの制御方法であって、
    前記他の機器の位置情報を取得する位置情報取得部と前記他の機器の傾斜情報を取得する傾斜計測部を駆動させながら前記植生情報を取得し、
    直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄し、
    前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完し、
    前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成することを特徴とする生育情報管理システムの制御方法
  6. 他の機器と、
    前記他の機器に装着された状態で、植物に測定光を照射し、受光した反射光に基づいて、その植生情報を取得する生育情報管理装置と、を有する生育情報管理システムに、
    前記他の機器の位置情報を取得する位置情報取得部と前記他の機器の傾斜情報を取得する傾斜計測部を駆動させながら前記植生情報を取得する機能
    直前の前記傾斜計測部の測定値又は直前の前記位置情報取得部の前記位置情報が、許容範囲内に該当しないときは、前記該当しない前記植生情報を破棄する機能
    前記破棄された前記植生情報の前後の前記位置情報に対応する前記植生情報に基づいて、前記破棄された前記植生情報を補完する機能
    前記補完された前記植生情報と破棄されていない前記植生情報に基づいて、前記植物の植生指数マップを生成する機能、を実行させるための生育情報管理システムの制御プログラム
JP2019014117A 2019-01-30 2019-01-30 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム Active JP7388816B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019014117A JP7388816B2 (ja) 2019-01-30 2019-01-30 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム
CA3127302A CA3127302A1 (en) 2019-01-30 2019-12-26 Growth information management apparatus, growth information management system, method for controlling growth information management apparatus, and growth information management program
EP19912417.3A EP3919381A4 (en) 2019-01-30 2019-12-26 GROWTH INFORMATION MANAGEMENT DEVICE, GROWTH INFORMATION MANAGEMENT SYSTEM, CONTROL METHOD OF GROWTH INFORMATION MANAGEMENT DEVICE AND GROWTH INFORMATION MANAGEMENT PROGRAM
AU2019427946A AU2019427946B2 (en) 2019-01-30 2019-12-26 Growth information management device, growth information management system, growth information management device control method and growth information management program
US17/310,158 US20220057375A1 (en) 2019-01-30 2019-12-26 Growth information management apparatus, growth information management system, method for controlling growth information management apparatus, and growth information management program
PCT/JP2019/051292 WO2020158290A1 (ja) 2019-01-30 2019-12-26 生育情報管理装置、生育情報管理システム、生育情報管理装置の制御方法及び生育情報管理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019014117A JP7388816B2 (ja) 2019-01-30 2019-01-30 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム

Publications (2)

Publication Number Publication Date
JP2020120601A JP2020120601A (ja) 2020-08-13
JP7388816B2 true JP7388816B2 (ja) 2023-11-29

Family

ID=71839978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019014117A Active JP7388816B2 (ja) 2019-01-30 2019-01-30 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム

Country Status (6)

Country Link
US (1) US20220057375A1 (ja)
EP (1) EP3919381A4 (ja)
JP (1) JP7388816B2 (ja)
AU (1) AU2019427946B2 (ja)
CA (1) CA3127302A1 (ja)
WO (1) WO2020158290A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124932A (ja) 2005-11-02 2007-05-24 National Agriculture & Food Research Organization 植物生育情報処理システム
WO2016181743A1 (ja) 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
JP2018042524A (ja) 2016-09-16 2018-03-22 株式会社トプコン 施肥量情報管理装置、施肥量情報管理装置の制御方法及び施肥量情報管理プログラム
JP2018044913A (ja) 2016-09-16 2018-03-22 株式会社トプコン Uav測定装置及びuav測定システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5114848A (ja) 1974-07-23 1976-02-05 Inst Elektroswarki Patona Hisetsushokuindakutansukaimenpitsukuatsupu
WO2011160159A1 (en) * 2010-06-25 2011-12-29 Cambium Land & Water Management Pty. Ltd. A system and a method for generating a spectral image for a plot of land
US10151839B2 (en) * 2012-06-01 2018-12-11 Agerpoint, Inc. Systems and methods for determining crop yields with high resolution geo-referenced sensors
WO2016186523A1 (en) * 2015-05-21 2016-11-24 C-Dax Limited Plant matter sensor
JP6473664B2 (ja) 2015-06-02 2019-02-20 株式会社トプコン 植物用波長センサ装置
JP6823232B2 (ja) 2016-04-01 2021-02-03 株式会社トプコン 施肥マップ作成方法と施肥マップ作成システムと施肥マップ作成装置と施肥マップ作成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124932A (ja) 2005-11-02 2007-05-24 National Agriculture & Food Research Organization 植物生育情報処理システム
WO2016181743A1 (ja) 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
JP2018042524A (ja) 2016-09-16 2018-03-22 株式会社トプコン 施肥量情報管理装置、施肥量情報管理装置の制御方法及び施肥量情報管理プログラム
JP2018044913A (ja) 2016-09-16 2018-03-22 株式会社トプコン Uav測定装置及びuav測定システム

Also Published As

Publication number Publication date
US20220057375A1 (en) 2022-02-24
EP3919381A1 (en) 2021-12-08
AU2019427946B2 (en) 2023-10-26
EP3919381A4 (en) 2022-03-09
CA3127302A1 (en) 2020-08-06
JP2020120601A (ja) 2020-08-13
WO2020158290A1 (ja) 2020-08-06
AU2019427946A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US11960295B2 (en) 3-D image system for vehicle control
EP2856273B1 (en) Pose estimation
EP1870789B1 (fr) Système de détection d'obstacles au voisinage d'un point de poser
US20120173185A1 (en) Systems and methods for evaluating range sensor calibration data
KR102247523B1 (ko) 농기계 및 그의 자율 주행 방법
FR3033924A1 (fr) Procede d'assistance automatique a l'atterrissage d'un aeronef
Harris et al. Cooperative acoustic navigation of underwater vehicles without a DVL utilizing a dynamic process model: Theory and field evaluation
JP7388816B2 (ja) 生育情報管理システム、生育情報管理システムの制御方法及び生育情報管理システムの制御プログラム
US20200293066A1 (en) Aircraft
CN105372671A (zh) 一种基于无人机的电力线三维重建系统
KR20190119213A (ko) 농기계 및 그의 자율 주행 방법
EP2407953B1 (fr) Procédé d'aide au pilotage amélioré pour aéronef
JP2007033258A (ja) 被観測対象物の観測方法及び装置
JP2013108961A (ja) 測位装置及びプログラム
JP7374977B2 (ja) 樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム
WO2023086236A1 (en) Method, apparatus, and computer readable medium for a multi-source reckoning system
KR102556319B1 (ko) 무인 항공기 기반 비파괴 검사 시스템 및 방법
KR102698676B1 (ko) 자율주행 가능한 궤도식 다목적 작물 수확기
WO2018127903A1 (en) Autonomous takeoff and landing by an aircraft
RU2722599C1 (ru) Способ коррекции бесплатформенной инерциальной навигационной системы беспилотного летательного аппарата малой дальности с использованием интеллектуальной системы геопространственной информации
CN117761638B (zh) 一种基于时间同步关系的着舰引导雷达校准评估方法
JP7200191B2 (ja) 計測システムおよび計測方法
KR102404727B1 (ko) 농작업 기계에서의 자율 주행 경로 생성 방법
Rahman Studies on tracked dynamic model and optimum harvesting area for path planning of robot combine harvester
Rovira Más et al. Global Navigation Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7388816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150