JPWO2019167208A1 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JPWO2019167208A1
JPWO2019167208A1 JP2020503194A JP2020503194A JPWO2019167208A1 JP WO2019167208 A1 JPWO2019167208 A1 JP WO2019167208A1 JP 2020503194 A JP2020503194 A JP 2020503194A JP 2020503194 A JP2020503194 A JP 2020503194A JP WO2019167208 A1 JPWO2019167208 A1 JP WO2019167208A1
Authority
JP
Japan
Prior art keywords
work
unit
sub
area
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503194A
Other languages
English (en)
Other versions
JP6848121B2 (ja
Inventor
恵二 室
恵二 室
直紀 亀山
直紀 亀山
秀明 島村
秀明 島村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2019167208A1 publication Critical patent/JPWO2019167208A1/ja
Application granted granted Critical
Publication of JP6848121B2 publication Critical patent/JP6848121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/12Sunshine duration recorders
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00Watering gardens, fields, sports grounds or the like
    • A01G25/16Control of watering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation

Abstract

簡便な手法により、植物の育成状態を適切に管理する。情報処理装置が、植物を育成する作業領域を撮像する撮像部から作業領域の画像のデータを取得する画像取得部と、画像取得部が取得したデータを解析して、作業領域に含まれる複数のサブエリアのそれぞれにおける日照条件を決定する日照条件決定部とを備える。

Description

本発明は、情報処理装置及びプログラムに関する。
近年、GPS信号を利用して自己位置を推定し、予め定められた領域の内部を自律走行する作業機械が開発されている。(例えば、特許文献1または2を参照されたい)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2016−185099号公報
[特許文献2] 特開2013−223531号公報
解決しようとする課題
自律走行式の作業機械を植物の育成に利用する場合、簡便な手法により、植物の生育状態を適切に管理することが望まれている。
一般的開示
本発明の第1の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、植物を育成する作業領域の少なくとも一部を撮像する撮像部から作業領域の少なくとも一部の画像のデータを取得する画像取得部を備える。上記の情報処理装置は、例えば、画像取得部が取得したデータを解析して、作業領域の少なくとも一部に含まれる複数のサブエリアのそれぞれにおける日照条件を決定する日照条件決定部を備える。
上記の情報処理装置は、日照条件決定部が決定した作業領域の各サブエリアにおける日照条件に基づいて、複数のサブエリアのそれぞれを示す識別情報と、当該サブエリアにおける日照条件を示す情報とが対応付けられたマップ情報を生成するマップ生成部を備えてよい。上記の情報処理装置は、日照条件決定部が決定した作業領域の各サブエリアにおける日照条件に基づいて、(i)複数のサブエリアのそれぞれを示す識別情報と、(ii)当該サブエリアにおいて、植物の育成に関する作業を実施するタイミングと、(iii)当該サブエリアにおける作業の種類及び強度の少なくとも一方とが対応付けられた作業スケジュール情報を生成する作業スケジュール生成部を備えてよい。上記の情報処理装置において、作業の種類は、種蒔き、剪定、芝刈り、草刈り、給水、施肥、土入れ、及び、除草の少なくとも1つであってよい。
上記の情報処理装置は、複数のサブエリアの少なくとも1つにおける植物の現実の生育状態を示す情報を取得する生育状態取得部を備えてよい。上記の情報処理装置において、作業スケジュール生成部は、生育状態取得部が取得した情報に基づいて、作業スケジュール情報を更新してよい。上記の情報処理装置において、植物の現実の生育状態を示す情報は、自律移動型の作業機に搭載され、作業を実施する作業部の負荷を示す情報であってよい。上記の情報処理装置は、作業スケジュール生成部が生成した作業スケジュール情報に基づいて、作業領域において作業を実施する作業機を制御する制御部を備えてよい。
本発明の第2の態様においては、プログラムが提供される。上記のプログラムは、例えば、コンピュータを、上記の情報処理装置として機能させるためのプログラムである。
上記のプログラムは、例えば、コンピュータに、植物を育成する作業領域の少なくとも一部を撮像する撮像部から作業領域の少なくとも一部の画像のデータを取得する画像取得段階を実行させるためのプログラムである。上記のプログラムは、例えば、コンピュータに、画像取得段階において取得されたデータを解析して、作業領域の少なくとも一部に含まれる複数のサブエリアのそれぞれにおける日照条件を決定する日照条件決定段階を実行させるためのプログラムである。
上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読記録媒体であってもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
情報処理装置120の内部構成の一例を概略的に示す。 管理システム200のシステム構成の一例を概略的に示す。 芝刈機210の内部構成の一例を概略的に示す。 制御ユニット380の内部構成の一例を概略的に示す。 管理サーバ230の内部構成の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一又は類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。また、技術的に大きな矛盾が生じない範囲において、同一の名称を有し、異なる参照番号が付された2以上の要素のそれぞれは、互いに同様の構成を有してよい。
[情報処理装置120の概要]
図1は、情報処理装置120の一実施形態の内部構成の一例を概略的に示す。本実施形態において、情報処理装置120は、例えば、画像取得部122を備える。情報処理装置120は、日照条件決定部124を備えてもよい。本実施形態において、情報処理装置120は、植物10が栽培される作業領域102の内部の各位置における日照条件を決定する。
作業領域102の内部では、植物10を育成するための作業が実施される。作業領域102の位置及び範囲は、特に限定されない。領域の範囲は、当該領域の大きさ及び形状を表してよい。作業領域102は、任意の地理的範囲を有してよい。作業領域102は、予め定められた地理的範囲を有してよい。植物10を育成するための作業の種類としては、種蒔き、剪定、芝刈り、草刈り、給水、施肥、土入れ、除草などが例示される。
本実施形態において、作業領域102の内部には、複数のサブエリア104が含まれる。サブエリア104は、物理的な地理的境界によって区切られた領域であってもよく、仮想的な地理的境界によって区切られた領域であってもよい。
物理的な地理的境界としては、(i)天然に又は人工的に形成された構造物により規定される境界、(ii)散布された化学物質により規定される境界、(iii)可視光線、赤外線、紫外線などの電磁波により規定される境界、(iv)磁界により規定される境界、(v)音波又は超音波により規定される境界などが例示される。天然に形成された構造物としては、窪み、段差、斜面、湖沼、川などが例示される。人工的に形成された構造物としては、通路、溝、トンネル、建築物、ワイヤ、ロープ、フェンス、ネット、点字ブロックなどが例示される。仮想的な地理的境界としては、ジオフェンス、バーチャルワイヤなどが例示される。バーチャルワイヤは、複数の構造物の間に設定された仮想的な線により示される地理的境界であってよい。
作業領域102の内部に含まれるサブエリア104の個数、並びに、サブエリア104の大きさ及び形状は、特に限定されない。しかしながら、複数のサブエリア104が、配置漏れ及び重複配置のないように、作業領域102の内部に万遍なく配されることが好ましい。複数のサブエリア104のそれぞれの大きさは同一であってもよく、異なってもよい。複数のサブエリア104のそれぞれの形状は同一であってもよく、異なってもよい。
作業領域102の内部に配されるサブエリア104の個数は、固定されていてもよく、可変であってもよい。例えば、予め定められたイベントの発生をトリガとして、作業領域102の一部を構成する特定の領域に配されるサブエリア104の個数が変更される。具体的には、隣接して配される複数のサブエリア104が仮想的に結合して、単一のサブエリア104が形成されてもよい。単一のサブエリア104が、隣接して配される複数のサブエリア104に仮想的に分割されてもよい。作業領域102の内部の特定の領域に配されるサブエリア104の個数は、要求される推定精度に応じて調整されてもよい。
[情報処理装置120の各部の概要]
本実施形態において、画像取得部122は、作業領域102の少なくとも一部を撮像する撮像部110から、作業領域102の少なくとも一部の画像のデータを取得する。本実施形態において、日照条件決定部124は、画像取得部122が取得したデータを解析して、作業領域102の少なくとも一部に含まれる複数のサブエリア104のそれぞれにおける日照条件を決定する。
[情報処理装置120の各部の具体的な構成]
情報処理装置120の各部は、ハードウェアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウェア及びソフトウエアにより実現されてもよい。情報処理装置120を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。
上記の情報処理装置は、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、スピーカ、振動装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のプログラムを記憶してよい。上記のプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該プログラムによって規定された動作を実行させる。上記のプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。
上記のプログラムは、コンピュータを、情報処理装置120として機能させるためのプログラムであってよい。上記のコンピュータは、クラウドサービスを提供するコンピュータであってもよく、クライアント−サーバシステムを実現するコンピュータであってもよい。上記のコンピュータは、(i)自律移動機能を有する作業機械に搭載されたコンピュータであってもよく、(ii)作業機械の外部のコンピュータであって、通信ネットワークを介して作業機械を制御するコンピュータであってもよい。
上記のプログラムは、コンピュータに、情報処理装置120における各種の情報処理に関する1又は複数の手順を実行させるためのプログラムであってもよい。情報処理装置120における各種の情報処理に関する1又は複数の手順は、植物を育成する作業領域の少なくとも一部を撮像する撮像部から作業領域の少なくとも一部の画像のデータを取得する画像取得段階を有してよい。上記の手順は、画像取得部段階において取得されたデータを解析して、作業領域の少なくとも一部に含まれる複数のサブエリアのそれぞれにおける日照条件を決定する日照条件決定段階を有してもよい。
[管理システム200の概要]
図2は、管理システム200のシステム構成の一例を概略的に示す。本実施形態において、管理システム200は、1又は複数の芝刈機210と、1又は複数の撮像装置220と、管理サーバ230と、1又は複数の給水装置240とを備える。管理システム200は、1又は複数のユーザ端末22を備えてもよい。
本実施形態においては、説明を簡単にすることを目的として、管理サーバ230が、芝刈機210及び撮像装置220が撮像した画像のデータを利用して、芝12が栽培される作業領域202の内部の各部における日照条件を決定する場合を例として、管理システム200の詳細を説明する。しかしながら、管理システム200は本実施形態に限定されない。他の実施形態において、ユーザ端末22、芝刈機210、撮像装置220、管理サーバ230及び給水装置240の少なくとも1つが、芝刈機210及び撮像装置220の少なくとも一方が撮像した画像のデータを利用して、作業領域202の内部の各部における日照条件を決定してもよい。
本実施形態において、作業領域202の内部には、複数のサブエリア204が含まれる。サブエリア204は、物理的な地理的境界によって区切られた領域であってもよく、仮想的な地理的境界によって区切られた領域であってもよい。作業領域202は、作業領域102と同様の構成を有してよい。サブエリア204は、サブエリア104と同様の構成を有してよい。
芝12は、植物の一例であってよい。芝刈機210は、移動体及び作業機械の一例であってよい。撮像装置220は、撮像部の一例であってよい。ユーザ端末22は、情報処理装置の一例であってよい。芝刈機210は、情報処理装置の一例であってよい。撮像装置220は、情報処理装置の一例であってよい。管理サーバ230は、情報処理装置の一例であってよい。給水装置240は、情報処理装置の一例であってよい。
管理システム200の各部は、互いに情報を送受してもよい。例えば、芝刈機210は、通信ネットワーク20を介して、ユーザ端末22及び管理サーバ230の少なくとも一方との間で、情報を送受する。芝刈機210は、通信ネットワーク20を介して、撮像装置220及び給水装置240の少なくとも一方との間で、情報を送受してもよい。
撮像装置220は、通信ネットワーク20を介して、ユーザ端末22、芝刈機210及び管理サーバ230の少なくとも1つとの間で、情報を送受してもよい。給水装置240は、通信ネットワーク20を介して、ユーザ端末22、芝刈機210及び管理サーバ230の少なくとも1つとの間で、情報を送受してもよい。
本実施形態において、通信ネットワーク20は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク20は、無線パケット通信網、インターネット、P2Pネットワーク、専用回線、VPN、電力線通信回線などを含んでもよい。通信ネットワーク20は、(i)携帯電話回線網などの移動体通信網を含んでもよく、(ii)無線MAN(例えば、WiMAX(登録商標)である。)、無線LAN(例えば、WiFi(登録商標)である。)、Bluetooth(登録商標)、Zigbee(登録商標)、NFC(Near Field Communication)などの無線通信網を含んでもよい。
本実施形態において、ユーザ端末22は、管理システム200又は芝刈機210のユーザが利用する通信端末であり、その詳細については特に限定されない。ユーザ端末22としては、パーソナルコンピュータ、携帯端末などが例示される。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。
本実施形態において、管理システム200は、作業領域202を管理する。例えば、管理システム200は、作業領域202において実施される作業の対象となる物体(作業対象と称する場合がある。)の状態を管理してもよい。芝12は、作業対象の一例であってよい。管理システム200は、作業領域202において実施される作業を管理してもよい。例えば、管理システム200は、作業のスケジュールを管理する。作業のスケジュールは、作業の実施時期、作業の実施場所、作業の実施主体、作業対象、及び、作業の内容の少なくとも1つを規定する情報であってよい。
本実施形態において、管理システム200は、芝刈機210を管理する。芝刈機210は、作業の実施主体の一例であってよい。例えば、管理システム200は、芝刈機210の状態を管理する。例えば、管理システム200は、芝刈機210の位置、進行方向、進行速度、エネルギー残量(例えば、バッテリの残量である)、芝刈機210が実施する作業のスケジュールなどを管理する。
本実施形態において、管理システム200は、撮像装置220を管理する。例えば、管理システム200は、撮像装置220の撮像方向及び撮像条件の少なくとも一方を制御する。本実施形態において、管理システム200は、給水装置240を管理する。例えば、管理システム200は、給水装置が実施する給水作業のスケジュールを管理する。
なお、本実施形態においては、説明を簡単にすることを目的として、管理システム200が芝刈機210、撮像装置220及び給水装置240を管理する実施形態を例として、管理システム200の詳細を説明する。しかしながら、管理システム200は、本実施形態に限定されない。他の実施形態において、管理システム200は、芝刈機210、撮像装置220及び給水装置240の少なくとも1つを管理しなくてもよい。さらに他の実施形態において、管理システム200は、芝刈機210、撮像装置220及び給水装置240とは異なる他の種類の作業機械を管理してもよい。他の種類の作業機械により実施される作業としては、種蒔き、剪定、施肥、土入れ、除草、除雪、掃除、運搬、監視、警備、警護などが例示される。
[管理システム200の各部の概要]
本実施形態において、芝刈機210は、自律移動機能を有し、作業領域202の内部を自律的に走行する。なお、芝刈機210は、ユーザの遠隔操作により移動してもよい。芝刈機210は、作業領域202の内部で生育している芝12を切断する。芝刈機210は、芝12を切断しながら走行してもよく、芝12を切断することなく走行してもよい。芝刈機210の詳細は後述される。
芝刈機210は、作業機械の一例であってよい。作業機械は、芝刈機210に限定されない。作業機械は、陸上を走行する移動体であってもよく、空中を飛行する移動体であってもよく、水中又は水上を航行する移動体であってもよい。作業機械の他の例としては、空中を飛行するドローン、ヘリコプター、飛行船等が例示される。作業機械は、自律移動機能を有してよい。
本実施形態において、撮像装置220は、作業領域202の内部又は周辺に設置される。撮像装置220は、作業領域202の少なくとも一部を撮像する。撮像装置220は、撮像された画像のデータを、管理サーバ230に送信する。撮像装置220は、撮像方向及び撮像条件の少なくとも一方を示す情報を、管理サーバ230に送信してもよい。撮像装置220は、管理サーバ230からの制御信号に基づいて、各種の処理を実行してよい。
撮像装置220は、撮像装置220の設置場所における気象条件を測定するための機器を備えてよい。気象条件としては、気温、湿度、風速、風向き、照度などが例示される。撮像装置220は、撮像装置220の設置場所における気象条件を示す情報を、管理サーバ230に送信してもよい。
撮像装置220は、撮像装置220の設置場所における日射量及び照度の少なくとも一方を測定するための機器を備えてよい。撮像装置220は、撮像装置220の設置場所における日射量及び照度の少なくとも一方を示す情報を、管理サーバ230に送信してもよい。
本実施形態において、管理サーバ230は、作業領域202に関する各種の情報を管理する。例えば、管理サーバ230は、複数のサブエリア204のそれぞれを識別するエリア識別情報と、当該エリア識別情報により識別されるサブエリア204の日照条件を示す照度パラメータとが対応付けられた情報(マップ情報と称される場合がある。)を管理する。管理サーバ230は、マップ情報の生成、更新、削除、検索などの処理を実行してよい。照度パラメータは、日照条件を示す情報の一例であってよい。
管理サーバ230は、管理システム200を構成する機器の状態を管理してよい。管理サーバ230は、管理システム200を構成する機器の動作を制御してもよい。管理サーバ230は、芝12の生育状態を管理してもよい。管理サーバ230は、作業領域202において実施される各種の作業を管理してもよい。例えば、管理サーバ230は、上記の各種の作業のスケジュールを作成する。管理サーバ230は、上記の各種の作業のスケジュールの進捗を管理してもよい。管理サーバ230の詳細は後述される。
本実施形態において、給水装置240は、作業領域202に水を供給する。給水装置240は、肥料成分の溶解した水を、作業領域202に供給してもよい。給水装置240は、作業領域202の内部に水を散布するスプリンクラーを有してよい。給水装置240は、管理サーバ230からの制御信号に基づいて、給水作業を実施してよい。
給水装置240は、給水装置240の設置場所における気象条件を測定するための機器を備えてよい。気象条件としては、気温、湿度、風速、風向きなどが例示される。給水装置240は、給水装置240の設置場所における気象条件を示す情報を、管理サーバ230に送信してもよい。
給水装置240は、給水装置240の設置場所における日射量及び照度の少なくとも一方を測定するための機器を備えてよい。給水装置240は、給水装置240の設置場所における日射量及び照度の少なくとも一方を示す情報を、管理サーバ230に送信してもよい。
[管理システム200の各部の具体的な構成]
管理システム200の各部は、ハードウェアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウェア及びソフトウエアにより実現されてもよい。管理システム200の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。管理システム200の各部は、その少なくとも一部が、仮想サーバ上又はクラウドシステム上で実現されてもよい。管理システム200の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。管理システム200は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
管理システム200を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。上記の情報処理装置は、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、スピーカ、振動装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のプログラムを記憶してよい。上記のプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該プログラムによって規定された動作を実行させる。上記のプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。
上記のプログラムは、コンピュータに、管理システム200における各種の情報処理に関する1又は複数の手順を実行させるためのプログラムであってもよい。上記のコンピュータは、ユーザ端末22、芝刈機210、撮像装置220、管理サーバ230及び給水装置240の少なくとも1つに搭載されたコンピュータであってよい。
[芝刈機210の概要]
図3及び図4を用いて、芝刈機210の概要を説明する。図3は、芝刈機210の内部構成の一例を概略的に示す。本実施形態において、芝刈機210は、筐体302を備える。本実施形態において、芝刈機210は、筐体302の下部に、一対の前輪312と、一対の後輪314とを備える。芝刈機210は、一対の後輪314のそれぞれを駆動する一対の走行用モータ316を備えてよい。
本実施形態において、芝刈機210は、作業ユニット320を備える。作業ユニット320は、例えば、ブレードディスク322と、カッターブレード324と、作業用モータ326と、シャフト328とを有する。芝刈機210は、作業ユニット320の位置を調整する位置調整部330を備えてもよい。
ブレードディスク322は、シャフト328を介して、作業用モータ326に連結される。カッターブレード324は、芝を切断するための刈刃であってよい。カッターブレード324は、ブレードディスク322に取り付けられ、ブレードディスク322と一緒に回転する。作業用モータ326は、ブレードディスク322を回転させる。ブレードディスク322及びカッターブレード324は、作業対象を切断するための切断部材の一例であってよい。
本実施形態において、芝刈機210は、筐体302の内部又は筐体302の上に、バッテリユニット340と、ユーザインタフェース350と、撮像ユニット364と、照度センサ366と、センサユニット370と、制御ユニット380とを備える。撮像ユニット364は、撮像部の一例であってよい。制御ユニット380は、制御部の一例であってよい。
本実施形態において、バッテリユニット340は、芝刈機210の各部に電力を供給する。本実施形態において、ユーザインタフェース350は、ユーザの入力を受け付ける。ユーザインタフェース350は、ユーザに情報を出力する。ユーザインタフェース350としては、キーボード、ポインティングデバイス、マイク、タッチパネル、ディスプレイ、スピーカなどが例示される。
本実施形態において、撮像ユニット364は、芝刈機210の周囲を撮像する。撮像ユニット364は、作業領域202の少なくとも一部を撮像してよい。撮像ユニット364は、撮像された画像のデータを、管理サーバ230に送信してよい。撮像ユニット364は、撮像方向及び撮像条件の少なくとも一方を示す情報を、管理サーバ230に送信してもよい。撮像ユニット364は、制御ユニット380からの制御信号に基づいて、各種の処理を実行してよい。
撮像ユニット364は、芝刈機210の周囲の気象条件を測定するための機器を備えてよい。気象条件としては、気温、湿度、風速、風向きなどが例示される。撮像ユニット364は、撮像ユニット364の周囲の気象条件を示す情報を、管理サーバ230に送信してもよい。
照度センサ366は、芝刈機210の上面における照度を測定する。照度センサ366は、芝刈機210の上面における日射量を測定してもよい。照度センサ366は、出力データを、管理サーバ230に送信してよい。
本実施形態において、センサユニット370は、各種センサを備える。センサユニット370は、各種の内界センサを備えてよい。センサユニット370は、各種の外界センサを備えてよい。センサとしては、ミリ波センサ、近接検知センサ、加速度センサ、角速度センサ、車輪速センサ、荷重センサ、空転検知センサ、磁気センサ、地磁気センサ(方位センサ、電子コンパスなどと称される場合がある)、土壌水分センサなどが例示される。センサユニット370は、各種センサの出力を制御ユニット380に送信してよい。
本実施形態において、制御ユニット380は、芝刈機210の動作を制御する。一実施形態によれば、制御ユニット380は、一対の走行用モータ316を制御して、芝刈機210の移動を制御する。他の実施形態によれば、制御ユニット380は、作業用モータ326を制御して、芝刈機210の作業を制御する。
制御ユニット380は、管理サーバ230からの指示に基づいて、芝刈機210を制御してもよい。管理サーバ230が生成した作業スケジュールを示す情報に基づいて、芝刈機210を制御してよい。制御ユニット380は、管理サーバ230が生成した命令に従って、芝刈機210を制御してもよい。制御ユニット380の詳細は後述される。
図4は、制御ユニット380の内部構成の一例を概略的に示す。本実施形態において、制御ユニット380は、通信制御部410と、走行制御部420と、作業ユニット制御部430と、入出力制御部440とを備える。
本実施形態において、通信制御部410は、芝刈機210の外部の機器との通信を制御する。通信制御部410は、1又は複数の通信方式に対応した通信インタフェースであってもよい。外部の機器としては、ユーザ端末22、撮像装置220、管理サーバ230、給水装置240などが例示される。
本実施形態において、走行制御部420は、走行用モータ316を制御して、芝刈機210の移動を制御する。走行制御部420は、芝刈機210の自律走行を制御する。例えば、走行制御部420は、芝刈機210の移動モード、進行速度、進行方向、及び、移動ルートの少なくとも1つを制御する。走行制御部420は、走行用モータ316の電流値を監視してよい。
本実施形態において、作業ユニット制御部430は、作業ユニット320を制御する。作業ユニット制御部430は、作業ユニット320の作業モード、作業の種類、作業の強度、及び、作業を実施するタイミングの少なくとも1つを制御してよい。例えば、作業ユニット制御部430は、作業用モータ326を制御して、作業ユニット320の作業の強度を制御する。作業ユニット制御部430は、位置調整部330を制御して、作業ユニット320の作業の強度を制御してもよい。作業ユニット制御部430は、作業用モータ326の電流値を監視してよい。
本実施形態において、入出力制御部440は、ユーザインタフェース350、撮像ユニット364、照度センサ366及びセンサユニット370の少なくとも1つからの入力を受け付ける。入出力制御部440は、ユーザインタフェース350に情報を出力する。入出力制御部440は、ユーザインタフェース350、撮像ユニット364、照度センサ366及びセンサユニット370の少なくとも1つを制御してもよい。
図5は、管理サーバ230の内部構成の一例を概略的に示す。本実施形態において、管理サーバ230は、通信制御部510と、要求処理部520と、マップ管理部530と、機器管理部540と、生育状態管理部550と、作業計画管理部560とを備える。
マップ管理部530は、情報処理装置、画像取得部、日照条件決定部、及び、マップ生成部の一例であってよい。作業計画管理部560は、作業スケジュール生成部の一例であってよい。
本実施形態において、通信制御部510は、管理サーバ230の外部の機器との通信を制御する。通信制御部510は、1又は複数の通信方式に対応した通信インタフェースであってもよい。外部の機器としては、ユーザ端末22、芝刈機210、撮像装置220、給水装置240などが例示される。本実施形態において、要求処理部520は、外部の機器からの要求を受け付ける。要求処理部520は、外部の機器からの要求を処理する。
本実施形態において、マップ管理部530は、マップ情報を管理する。例えば、マップ管理部530は、マップ情報の生成、更新、削除及び検索などの処理を実行する。一実施形態において、マップ管理部530は、作業領域202に含まれる全てのサブエリア204のマップ情報を管理する。他の実施形態において、マップ管理部530は、作業領域202に含まれるサブエリア204のうち、一部のサブエリア204ついて、当該サブエリアのマップ情報を管理する。
本実施形態において、マップ管理部530は、芝刈機210から、撮像ユニット364が作業領域202の少なくとも一部を撮像した画像のデータを取得する。マップ管理部530は、芝刈機210から、当該画像が撮像された日時を示す情報を取得してもよい。マップ管理部530は、芝刈機210から、当該画像が撮像された時の気象条件を示す情報を取得してもよい。
本実施形態において、マップ管理部530は、撮像装置220から、撮像装置220が作業領域202の少なくとも一部を撮像した画像のデータを取得する。マップ管理部530は、撮像装置220から、当該画像が撮像された日時を示す情報を取得してもよい。マップ管理部530は、撮像装置220から、当該画像が撮像された時の気象条件を示す情報を取得してもよい。
マップ管理部530は、芝刈機210の照度センサ366から、芝刈機210の上面における日射量及び照度の少なくとも一方を示すデータを取得してもよい。マップ管理部530は、撮像装置220から、撮像装置220の設置場所における日射量及び照度の少なくとも一方を示すデータを取得してもよい。マップ管理部530は、給水装置240から、給水装置240の設置場所における日射量及び照度の少なくとも一方を示すデータを取得してもよい。
本実施形態において、マップ管理部530は、作業領域202に含まれる複数のサブエリア204のそれぞれについて、当該サブエリアにおける日照条件を決定する。例えば、マップ管理部530は、作業領域202に含まれる複数のサブエリア204のそれぞれについて、当該サブエリアにおける日照条件を示す照度パラメータを算出する。照度パラメータの一例としては、(i)予め定められた期間における、日射量[W/m]の統計値、(ii)予め定められた期間における、日照時間[時間/日]の統計値、(iii)予め定められた期間における、単位期間当たりの積算日射量[MJ/m]の統計値などが例示される。
日照時間は、1日のうちで、日照計で測定される直達日射量が予め定められた閾値以上である時間として定義される。予め定められた閾値は、例えば120W/mである。なお、予め定められた閾値は国又は地域によって異なってもよい。予め定められた期間としては、1週間、10日、1ヵ月、3ヵ月、6ヶ月などが例示される。単位期間としては、1時間、3時間、6時間、9時間、1日、1週間、10日、1ヵ月などが例示される。
照度パラメータは、連続的な数値により表されてもよく、段階的な区分により表されてもよい。例えば、連続的な数値により表される照度パラメータが、n段階評価(nは、2以上の整数である。)、評価関数、学習器などにより評価されることで、当該照度パラメータが、段階的な区分により表される。
マップ管理部530は、予め定められた期間ごとに照度パラメータを算出してもよい。マップ管理部530は、天候の種類ごとに、各サブエリアの照度パラメータを算出してもよい。天候の種類としては、晴れ、曇り、雨、雪などが例示される。
なお、照度パラメータは、日射量又は日照時間に関するパラメータであればよく、その算出方法は特に限定されない。照度パラメータの他の例としては、(iv)予め定められた期間における、特定のサブエリア204又は作業領域202の内部若しくは周辺の特定の地点の日射量(B)[W/m]に対する、対象となるサブエリア204の日射量(A)[W/m]の割合(A/B)の統計値、(v)予め定められた期間における、特定のサブエリア204又は作業領域202の内部若しくは周辺の特定の地点の日照時間(D)[時間/日]に対する、対象となるサブエリア204の日照時間(C)[時間/日]の割合(C/D)の統計値、(vi)予め定められた期間における、特定のサブエリア204又は作業領域202の内部若しくは周辺の特定の地点の単位期間当たりの積算日射量(F)[MJ/m]に対する、対象となるサブエリア204の単位期間当たりの積算日射量(E)[MJ/m]の割合(E/F)の統計値などが例示される。
照度パラメータは、日射量、日照時間及び単位期間当たりの積算日射量の少なくとも1つと、気象条件に関する他の要因との組み合わせにより算出されてもよい。気象条件に関する他の要因としては、天候の種類、気温、湿度、風速、風向きなどが例示される。
マップ管理部530は、芝刈機210及び撮像装置220が撮像した複数の画像のそれぞれを解析して、照度パラメータを算出してよい。マップ管理部530は、芝刈機210及び撮像装置220の少なくとも一方が撮像した複数の画像の解析結果と、芝刈機210の照度センサ366、撮像装置220及び給水装置240の少なくとも1つが取得した、日射量及び照度の少なくとも一方を示すデータとに基づいて、照度パラメータを算出してもよい。
一実施形態において、マップ管理部530は、まず、芝刈機210及び撮像装置220が撮像した複数の画像のそれぞれを解析して、各画像中の1又は複数のサブエリア204を認識する。マップ管理部530は、各画像に含まれる1又は複数のサブエリア204のそれぞれについて、識別情報と、各画像における位置及び範囲とを特定してよい。次に、マップ管理部530は、各画像により含まれる1又は複数のサブエリア204のそれぞれの明るさを決定する。1又は複数のサブエリア204のそれぞれの明るさは、連続的な数値により表されてもよく、段階的な区分により表されてもよい。
これにより、作業領域202に含まれる複数のサブエリア204のそれぞれについて、当該サブエリアの識別情報と、当該サブエリアの明るさを示す情報とが対応付けられたデータベースが作成される。マップ管理部530は、上記のデータベースに格納された情報に基づいて、各種の日照パラメータを算出することができる。
他の実施形態において、マップ管理部530は、まず、芝刈機210及び撮像装置220が撮像した複数の画像のそれぞれを解析して、各画像を、明るさのレベルに基づいて、複数の領域に分割する。次に、マップ管理部530は、各画像の複数の領域のそれぞれに含まれる1又は複数のサブエリア204を認識する。マップ管理部530は、各領域に含まれる1又は複数のサブエリア204のそれぞれの識別情報を特定してよい。マップ管理部530は、各領域に含まれる1又は複数のサブエリア204のそれぞれについて、当該サブエリアの面積に対する、当該領域に含まれる部分の面積の割合を算出してもよい。
これにより、作業領域202に含まれる複数のサブエリア204のそれぞれについて、当該サブエリアの識別情報と、当該サブエリアの明るさを示す情報とが対応付けられたデータベースが作成される。マップ管理部530は、上記のデータベースに格納された情報に基づいて、各種の日照パラメータを算出することができる。
本実施形態において、機器管理部540は、管理システム200を構成する各種の機器を管理する。例えば、機器管理部540は、芝刈機210、撮像装置220及び給水装置240の少なくとも1つを制御する。機器管理部540は、管理システム200に関連する各種の機器に関する情報を管理してもよい。例えば、機器管理部540は、芝刈機210、撮像装置220及び給水装置240の少なくとも1つから、当該機器の状態に関する情報を取得する。機器管理部540は、ユーザ端末22に関する情報を管理してもよい。
本実施形態において、生育状態管理部550は、芝12の生育状態に関する情報を管理する。生育状態管理部550は、作業領域202に含まれる複数のサブエリア204のそれぞれにおける、芝12の生育状態に関する情報を管理してもよい。生育状態管理部550は、作業領域202に含まれる複数のサブエリア204の少なくとも1つにおける、芝12の生育状態に関する情報を管理してもよい。
芝12の生育状態としては、芝12の生育ステージ、芝12の生育状況などが例示される。芝12の生育状況を示す情報としては、芝12の色、芝12の太さ、芝12の密度などが例示される。芝12がよく生育する程、作業ユニット320の負荷が大きくなることが考えられる。そこで、芝12の生育状況を示す情報は、作業ユニット320の負荷を示す情報であってもよい。作業ユニット320の負荷としては、作業用モータ326の負荷、カッターブレード324の消耗具合などが例示される。
生育状態管理部550は、芝12の生育環境に関する情報を管理してもよい。芝12の生育環境としては、サブエリア204の土壌に関する情報などが例示される。
本実施形態において、作業計画管理部560は、芝刈機210が実施する作業のスケジュールを管理する。作業計画管理部560は、芝刈機210の作業スケジュールを計画してよい。作業計画管理部560は、芝刈機210の作業スケジュールの進捗を管理してよい。作業計画管理部560は、給水装置240の作業スケジュールを計画してよい。作業計画管理部560は、給水装置240の作業スケジュールの進捗を管理してよい。
作業計画管理部560は、作業領域202に含まれる複数のサブエリア204のそれぞれの照度パラメータに基づいて、作業スケジュールを計画してよい。作業スケジュールは、(i)複数のサブエリア204のそれぞれを示す識別情報と、(ii)当該サブエリアにおいて、芝12の育成に関する作業を実施するタイミングと、(iii)当該サブエリアにおける作業の種類及び強度の少なくとも一方とが対応付けられた情報であってよい。作業の種類は、種蒔き、剪定、芝刈り、草刈り、給水、施肥、土入れ、及び、除草の少なくとも1つであってよい。作業計画管理部560は、生育状態管理部550が取得情報に基づいて、作業スケジュールを更新してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。例えば、図1の実施形態について説明した事項を、他の図面に関連して説明される他の実施形態に適用することができる。その様な変更または改良を加えた形態もまた、本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 植物、12 芝、20 通信ネットワーク、22 ユーザ端末、102 作業領域、104 サブエリア、110 撮像部、120 情報処理装置、122 画像取得部、124 日照条件決定部、200 管理システム、202 作業領域、204 サブエリア、210 芝刈機、220 撮像装置、230 管理サーバ、240 給水装置、302 筐体、312 前輪、314 後輪、316 走行用モータ、320 作業ユニット、322 ブレードディスク、324 カッターブレード、326 作業用モータ、328 シャフト、330 位置調整部、340 バッテリユニット、350 ユーザインタフェース、364 撮像ユニット、366 照度センサ、370 センサユニット、380 制御ユニット、410 通信制御部、420 走行制御部、430 作業ユニット制御部、440 入出力制御部、510 通信制御部、520 要求処理部、530 マップ管理部、540 機器管理部、550 生育状態管理部、560 作業計画管理部

Claims (8)

  1. 植物を育成する作業領域の少なくとも一部を撮像する撮像部から前記作業領域の前記少なくとも一部の画像のデータを取得する画像取得部と、
    前記画像取得部が取得した前記データを解析して、前記作業領域の前記少なくとも一部に含まれる複数のサブエリアのそれぞれにおける日照条件を決定する日照条件決定部と、
    を備える、情報処理装置。
  2. 前記日照条件決定部が決定した前記作業領域の各サブエリアにおける日照条件に基づいて、前記複数のサブエリアのそれぞれを示す識別情報と、当該サブエリアにおける前記日照条件を示す情報とが対応付けられたマップ情報を生成するマップ生成部をさらに備える、
    請求項1に記載の情報処理装置。
  3. 前記日照条件決定部が決定した前記作業領域の各サブエリアにおける日照条件に基づいて、(i)前記複数のサブエリアのそれぞれを示す識別情報と、(ii)当該サブエリアにおいて、前記植物の育成に関する作業を実施するタイミングと、(iii)当該サブエリアにおける前記作業の種類及び強度の少なくとも一方とが対応付けられた作業スケジュール情報を生成する作業スケジュール生成部をさらに備える、
    請求項1又は請求項2に記載の情報処理装置。
  4. 前記作業の種類は、種蒔き、剪定、芝刈り、草刈り、給水、施肥、土入れ、及び、除草の少なくとも1つである、
    請求項3に記載の情報処理装置。
  5. 前記複数のサブエリアの少なくとも1つにおける前記植物の現実の生育状態を示す情報を取得する生育状態取得部をさらに備え、
    前記作業スケジュール生成部は、前記生育状態取得部が取得した情報に基づいて、前記作業スケジュール情報を更新する、
    請求項3又は請求項4に記載の情報処理装置。
  6. 前記植物の現実の生育状態を示す情報は、自律移動型の作業機に搭載され、前記作業を実施する作業部の負荷を示す情報である、
    請求項5に記載の情報処理装置。
  7. 前記作業スケジュール生成部が生成した前記作業スケジュール情報に基づいて、前記作業領域において作業を実施する作業機を制御する制御部をさらに備える、
    請求項3から請求項5までの何れか一項に記載の情報処理装置。
  8. コンピュータを、請求項1から請求項7までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
JP2020503194A 2018-02-28 2018-02-28 情報処理装置及びプログラム Active JP6848121B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/007662 WO2019167208A1 (ja) 2018-02-28 2018-02-28 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019167208A1 true JPWO2019167208A1 (ja) 2020-10-22
JP6848121B2 JP6848121B2 (ja) 2021-03-24

Family

ID=67806045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503194A Active JP6848121B2 (ja) 2018-02-28 2018-02-28 情報処理装置及びプログラム

Country Status (4)

Country Link
US (1) US20200375098A1 (ja)
EP (1) EP3761069A4 (ja)
JP (1) JP6848121B2 (ja)
WO (1) WO2019167208A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022117867A (ja) * 2021-02-01 2022-08-12 トヨタ自動車株式会社 照度提供装置および照度収集システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031A (ja) * 1996-06-14 1998-01-06 Mitsubishi Heavy Ind Ltd 擬似樹木型集合プランター装置
JP2017090442A (ja) * 2015-11-02 2017-05-25 日本ユニシス株式会社 日射量推定装置、及び日射量推定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1014403A (ja) * 1996-07-01 1998-01-20 Maeda Corp 日照量と芝生の成育との関係調査装置
JP2006105745A (ja) * 2004-10-04 2006-04-20 Matsushita Electric Works Ltd 屋外設置型データ収集装置
JP2013223531A (ja) 2012-04-19 2013-10-31 Sharp Corp 自走式空気清浄機
JP6035995B2 (ja) * 2012-08-17 2016-11-30 大日本印刷株式会社 気象情報生成装置、プログラム及び通信システム
DE102013107492A1 (de) * 2013-07-15 2015-01-15 Koubachi AG System zur Überwachung und Steuerung von Aktivitäten zumindest eines Gartengeräts innerhalb zumindest eines Aktivitätsgebiets
EP3236732B1 (en) * 2014-12-23 2019-12-11 Husqvarna AB Lawn monitoring and maintenance via a robotic vehicle
JP6129231B2 (ja) 2015-03-27 2017-05-17 本田技研工業株式会社 芝刈機
US10034421B2 (en) * 2015-07-24 2018-07-31 Irobot Corporation Controlling robotic lawnmowers
CN108885277B (zh) * 2016-04-18 2021-05-11 索尼公司 信息处理设备和信息处理方法
US10952369B2 (en) * 2017-04-24 2021-03-23 Kubota Corporation Grass management system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031A (ja) * 1996-06-14 1998-01-06 Mitsubishi Heavy Ind Ltd 擬似樹木型集合プランター装置
JP2017090442A (ja) * 2015-11-02 2017-05-25 日本ユニシス株式会社 日射量推定装置、及び日射量推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中 圭: "小型マルチコプターを用いた近接リモートセンシングによる水稲生育マップの作成", 日本リモートセンシング学会誌, vol. 第36巻,第4号, JPN6018019141, 2016, pages 373 - 387, ISSN: 0004393020 *

Also Published As

Publication number Publication date
EP3761069A1 (en) 2021-01-06
WO2019167208A1 (ja) 2019-09-06
EP3761069A4 (en) 2021-02-17
US20200375098A1 (en) 2020-12-03
JP6848121B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
JP7119061B2 (ja) 制御装置、作業機、プログラム及び制御方法
KR102229095B1 (ko) 무인기 작업 방법 및 장치
US10713777B2 (en) Organism growth prediction system using drone-captured images
JP6635910B2 (ja) 情報処理装置、給水システム、情報処理システム及びプログラム
WO2019167204A1 (ja) 制御装置、作業機及びプログラム
JP6560392B1 (ja) 制御装置、警備システム及びプログラム
WO2018003078A1 (ja) 無線航空機の飛行制御システム、無線航空機の飛行制御方法、及び無線航空機の飛行制御プログラム
US11175374B2 (en) Location estimation apparatus, moving object, location estimation method, and computer readable storage medium
US11313663B2 (en) Location estimation apparatus, moving object, location estimation method, and computer-readable storage medium
US20200356093A1 (en) Management apparatus, management system, moving object, and computer readable storage medium
DE112018007178T5 (de) Steuervorrichtung, bewegliches objekt, steuerverfahren und programm
JP6848121B2 (ja) 情報処理装置及びプログラム
WO2015173825A1 (en) Method and system for lawn care
US20200379463A1 (en) Control apparatus, moving object, control method, and computer readable storage medium
CN112888302A (zh) 草地维护系统
WO2019167209A1 (ja) 制御装置、作業機及びプログラム
KR20230051351A (ko) 스카우팅 드론과 오토로봇을 이용한 스마트 농업 시스템
CN117908451A (zh) 一种基于集群机器人的农田环境检测及管理系统
WO2023220326A1 (en) Smart implements

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210303

R150 Certificate of patent or registration of utility model

Ref document number: 6848121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150