JP7152836B2 - 無人飛行体のアクションプラン作成システム、方法及びプログラム - Google Patents

無人飛行体のアクションプラン作成システム、方法及びプログラム Download PDF

Info

Publication number
JP7152836B2
JP7152836B2 JP2019515021A JP2019515021A JP7152836B2 JP 7152836 B2 JP7152836 B2 JP 7152836B2 JP 2019515021 A JP2019515021 A JP 2019515021A JP 2019515021 A JP2019515021 A JP 2019515021A JP 7152836 B2 JP7152836 B2 JP 7152836B2
Authority
JP
Japan
Prior art keywords
flight
aerial
action plan
area
air vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515021A
Other languages
English (en)
Other versions
JPWO2018198313A1 (ja
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2018198313A1 publication Critical patent/JPWO2018198313A1/ja
Application granted granted Critical
Publication of JP7152836B2 publication Critical patent/JP7152836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Catching Or Destruction (AREA)
  • Navigation (AREA)

Description

本発明は、無人飛行体のアクションプラン作成システム、方法及びプログラムに関する。
これまで、海においては、海苔の養殖が広く行われている。海苔を養殖する際、海苔に細菌が寄生し、赤錆色の斑を生じ、海苔の葉状体が切れる赤腐れ病という病気が起こり得ることが知られている。海苔を養殖するにあたっては、赤腐れ病をはじめとした海苔の病害防除が大きな課題となる。
田畑についても同様に、大豆や稲をはじめとした農作物に害虫が付着するのを防止することが大きな課題となる。
ところで、海苔や田畑に病害が生じてしまった場合、病害が広がるのを防止するため、病害の箇所を迅速に把握し、病害が生じた箇所に対し、素早く適切な措置をとる必要がある。とはいうものの、海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。
労力を軽減するため、海苔の養殖場や田畑を上空から撮影し、撮影した画像から病害の有無を把握することが提案されている。中でも、無人飛行体を利用した空撮は、本物の飛行機やヘリコプターを使用した場合よりもコストダウンが図れ、また、低空で狭い場所でも安全に撮影することができるとともに、撮影目標に接近して撮影できるので質の高い写真やビデオ映像を得ることができ、構造物の保全状況の確認や高所の点検、高所からの地上観測など多方面で実施されている。
無人飛行体を用いた空撮方法として、無人飛行体の飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影することが提案されている(例えば、特許文献1参照)。この方法によると、無人飛行体に搭載したカメラで撮影対象物の映像を正確に、かつ、カメラフレーム内で十分な大きさに拡大して捉え、高精細な映像データとして記録することができる。
特開2006-027448号公報
ところで、無人飛行体を飛行させる前に地図上でフライトプランを作成し、操作者による手動による操作ではなく、自動で無人飛行体を操作する技術も提案されている。自動で無人飛行体を飛行させ、空撮させる際、飛行経路、飛行高度、飛行速度、カメラ角度、カメラ解像度など、多岐に渡るパラメータを設定する必要がある。これらのパラメータは、例えば、海苔の赤腐れ病を検知するため、大豆への害虫付着を検知するため等、撮影の目的に依存する。そこで、これらのパラメータ設定を、撮影の目的にしたがい、マニュアル操作でなく、可能な限り自動化することが望まれている。
本発明は、このような要望に鑑みてなされたものであり、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、地図データベースとアクションプランデータベースとを備える無人飛行体のアクションプラン作成システムであって、
前記地図データベースを参照して地図を表示する地図表示手段と、
前記地図表示手段によって表示される地図に描画された結果に基づいて、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるエリア受付手段と、
前記エリアに前記無人飛行体を飛行させる目的であって、収穫物に付着する害虫の上空からの検知と、前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む目的の入力を受け付ける目的受付手段と、
前記アクションプランデータベースを参照し、前記エリアと前記目的とに応じて、当該エリアをくまなく撮影可能な往復ルートである前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する作成手段と、
前記作成手段によって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御する制御手段と、を備え、
前記フライトプランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
前記撮影プランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含み、
前記アクションプランデータベースの情報を、前記無人飛行体の飛行を通じた人工知能の学習、又は、前記無人飛行体を飛行させる目的の追加に応じて更新する、
無人飛行体のアクションプラン作成システムを提供する。
第1の特徴に係る発明によれば、地図データベースとアクションプランデータベースとを備える無人飛行体のアクションプラン作成システムにおいて、作成手段は、アクションプランデータベースを参照し、エリア受付手段によって受け付けられたエリアと、目的受付手段によって受け付けられた目的とに応じて、当該エリアをくまなく撮影可能な往復ルートである無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する。エリア受付手段によってエリアが受け付けられ、目的受付手段によって空撮の目的が受け付けられているため、飛行経路、飛行高度、飛行速度などといったフライトプランや、カメラ角度、カメラ解像度などといった撮影プランを、受け付けたエリア及び目的に合わせて正確に設定したアクションプランを設定することが可能となる。また、アクションプランデータベースの情報を、前記無人飛行体の飛行を通じた人工知能の学習、又は、前記無人飛行体を飛行させる目的の追加に応じて更新する。これにより、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することができる。
また、海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。第1の特徴に係る発明によると、収穫物に付着する上空からの害虫の検知と、収穫物の病変の上空からの検知とから選択される少なくとも一方の目的に合わせたアクションプランが作成されるので、収穫物に付着する害虫の上空からの検知、収穫物の病変の上空からの検知に要する労力を省力化させることが可能となる。
また、第1の特徴に係る発明によると、無人飛行体の飛行経路、飛行高度、及び飛行速度から選択される少なくとも一つを含むフライトプランと、空撮装置のカメラ角度、及びカメラ解像度から選択される少なくとも一つを含む撮影プランとが設定されるため、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システムを提供することができる。
第2の特徴に係る発明は、第1の特徴に係る発明であって、
地図を表示する地図表示手段をさらに備え、
前記エリア受付手段は、前記地図表示手段によって表示される地図に描画された結果に基づいて、前記無人飛行体に飛行させる前記エリアの指定を受け付ける、アクションプラン作成システムを提供する。
第2の特徴に係る発明によると、地図表示手段によって表示される地図に描画された結果に基づいて、無人飛行体に飛行させるエリアの指定が可能となる。これにより、操作者にとってよりいっそう簡便に設定することの可能なアクションプラン作成システムを提供できる。
本発明によれば、自動で無人飛行体を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システムを提供することができる。
図1は、本実施形態における、無人飛行体10によるアクションプラン作成システム1のハードウェア構成とソフトウェア機能を示すブロック図である。 図2は、本実施形態におけるアクションプラン作成方法を示すフローチャートである。 図3は、飛行エリアを入力するときの画像表示装置34での表示例の一例である。 図4は、飛行目的を入力するときの画像表示装置34での表示例の一例である。 図5は、アクションプランデータベース334の一例である。
以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
<無人飛行体のアクションプラン作成システム1の構成>
図1は、本実施形態におけるアクションプラン作成システム1のハードウェア構成とソフトウェア機能を説明するためのブロック図である。アクションプラン作成システム1は、空撮装置を有する無人飛行体10と、この無人飛行体10と無線通信できるように接続され、無人飛行体10を操縦するコントローラ20と、無人飛行体10の飛行ルートを入力したり、無人飛行体10が撮影した映像を編集したりするコンピュータ30とを含んで構成される。なお、本実施形態では、適宜、無人飛行体10の自動操縦を可能にする。無人飛行体10を自動操縦する場合、コントローラ20は、なくてもよい。
〔無人飛行体10〕
無人飛行体10は、撮影対象を空から撮影可能な装置であれば、特に限定されない。例えば、無人飛行体10は、ラジコン飛行機であってもよいし、ドローンと呼ばれる無人飛行体であってもよい。以下では、無人飛行体10がドローンであるものとして説明する。
無人飛行体10は、無人飛行体10の電源として機能する電池11と、電池11から供給される電力で動作するモーター12と、モーター12の動作によって回転し、無人飛行体10を浮上及び飛行させるローター13とを備える。
また、無人飛行体10は、無人飛行体10の動作を制御する制御部14と、制御部14に無人飛行体10の位置情報を伝える位置検出部15と、制御部14からの制御信号にしたがってモーター12を駆動するドライバー回路16と、制御部14からの制御信号にしたがって撮影対象を空撮するカメラ17と、制御部14のマイクロコンピューターで実行される制御プログラム等があらかじめ格納されるとともに、カメラ17が撮影した画像を記憶する記憶部18とを備える。
そして、無人飛行体10は、コントローラ20との間で無線通信する無線通信部19を備える。
これらの構成要素は、所定形状の本体構造体(フレーム等)に搭載されている。所定形状の本体構造体(フレーム等)については、既知のドローンと同様なものを採用すればよい。
[電池11]
電池11は、1次電池又は2次電池であり、無人飛行体10内の各構成要素に電力を供給する。電池11は、無人飛行体10に固定されていてもよいし、着脱可能としてもよい。
[モーター12、ローター13]
モーター12は、電池11から供給される電力でローター13を回転させるための駆動源として機能する。ローター13が回転することで、無人飛行体10を浮上及び飛行させることができる。
[制御部14]
制御部14は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。
また、制御部14は、所定のプログラムを読み込むことで、制御モジュール141を実現する。
制御部14は、モーター12を制御して無人飛行体10の飛行制御(上昇、下降、水平移動などの制御)を行う。また、制御部14は、無人飛行体10に搭載されているジャイロ(図示省略)を使用して、モーター12を制御して無人飛行体10の姿勢制御を行う。
[位置検出部15]
位置検出部15は、LIDAR(Laser Imaging Detection and Ranging)技術と、GPS(Global Positioning System)技術とを含んで構成される。これらLIDAR技術とGPS技術とを併用して、無人飛行体が実際に飛行する位置の緯度、経度、高さを検出する。
[ドライバー回路16]
ドライバー回路16は、制御部14からの制御信号より指定された電圧をモーター12に印加する機能を有する。これにより、ドライバー回路16は、制御部14からの制御信号にしたがってモーター12を駆動させることができる。
[カメラ17]
カメラ17は、空撮装置として機能する。カメラ17は、レンズにより取り込んだ光学像をCCDやCMOS等の撮像素子によって画像信号に変換(撮像)する。カメラ17の種類は、撮影対象の画像解析手法によって適宜選択すればよい。
[記憶部18]
記憶部18は、データやファイルを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。記憶部18には、制御部14のマイクロコンピューターで実行される制御プログラム等をあらかじめ格納するための制御プログラム格納領域181と、USBメモリ、SDカード等、携帯型の記録媒体を通じて移された、コンピュータ30の記憶部33に記憶されていたアクションプランを格納するアクションプラン記憶領域182と、カメラ17によって撮影された画像データを、位置検出部15で検出した3次元座標データ(カメラ17が撮影した画像の撮影位置に相当する点の緯度、経度、高さのデータ)とともに記憶する画像データ記憶領域183とを有する。
なお、画像データを構成する画像は、静止画であってもよいし、動画であってもよい。また、画像データ格納領域に格納されるデータは、USBメモリ、SDカード等、携帯型の記録媒体を通じ、コンピュータ30に移すことができる。
[無線通信部19]
無線通信部19は、コントローラ20と無線通信可能に構成され、コントローラ20から遠隔制御信号を受信する。
〔コントローラ20〕
コントローラ20は、無人飛行体10を操縦する機能を有する。コントローラ20は、ユーザが無人飛行体10を操縦するため等に使用する操作部21と、コントローラ20の動作を制御する制御部22と、制御部22のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部23と、無人飛行体10との間で無線通信する無線通信部24と、ユーザに所定の画像を表示する画像表示部25とを備える。
無線通信部24は、無人飛行体10と無線通信可能に構成され、無人飛行体10に向けて遠隔制御信号を受信する。
画像表示部25は、無人飛行体10を操縦する操縦装置と一体であってもよいし、操縦装置とは別体であってもよい。操縦装置と一体であれば、ユーザが使用する装置の数を少なくすることができ、利便性が高まる。操縦装置と別体である場合、画像表示部25として、無人飛行体10の無線通信部19と無線接続可能な、スマートフォン、タブレット端末等の携帯端末装置が挙げられる。操縦装置と別体である場合、画像表示部25を有しない既存の操縦装置であっても応用可能というメリットを有する。
〔コンピュータ30〕
コンピュータ30は、無人飛行体10のアクションプランを入力する機能や、無人飛行体10が撮影した映像を画像表示部34に表示する機能を有する。コンピュータ30は、ユーザが指令情報等を入力するための入力部31と、コンピュータ30の動作を制御する制御部32と、制御部32のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部33と、ユーザに所定の画像を表示する画像表示部34とを備える。
制御部32は、所定のプログラムを読み込むことで、地図表示モジュール321と、エリア受付モジュール322と、目的受付モジュール323と、作成モジュール324とを実現する。
記憶部33には、空撮する場所の周辺の地図情報が格納される地図データベース331と、ユーザが入力した無人飛行体10の飛行エリアに関する情報を記憶するエリア記憶領域332と、ユーザが入力した無人飛行体10の飛行目的に関する情報を記憶する目的記憶領域333と、無人飛行体のフライトプラン及び撮影プランを含むアクションプランに関するデータベースであるアクションプランデータベース334と、制御部32が作成したアクションプランを記憶するアクションプラン記憶領域335と、USBメモリ、SDカード等、携帯型の記録媒体を通じて移された、無人飛行体10の記憶部18に記憶されていた画像データを格納する画像データ記憶領域336とを有する。
<アクションプラン作成システム1を用いたアクションプラン作成方法を示すフローチャート>
図2は、アクションプラン作成システム1を用いたアクションプラン作成方法を示すフローチャートである。上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について説明する。
〔ステップS10:地図の表示〕
まず、アクションプラン作成システム1のコンピュータ30の制御部32は、地図表示モジュール321を実行し、地図データベース331を参照して、画像表示部34に、無人飛行体10が飛行する予定の地域の周辺の地図を表示させる。
〔ステップS11:飛行エリアの指定を受付〕
続いて、コンピュータ30の制御部32は、エリア受付モジュール322を実行し、画像表示部34に表示される地図上から、カメラ17を有する無人飛行体10に飛行させるエリアの指定を受け付ける。
ユーザは、画像表示部34に表示された地図に描画することで、無人飛行体10の飛行エリアを入力する。飛行エリアの入力操作方法は特に限定されるものでなく、マウスによる入力操作であってもよいし、タッチパネルによる入力操作であってもよい。
図3は、そのときの画像表示装置34での表示例の一例である。画像表示装置34には、無人飛行体10が飛行する予定の地域の周辺の地図が表示される。そして、地図上には、離陸地点、着陸地点のほか、ユーザが入力した飛行エリアの情報が表示されている。
ユーザが入力した飛行予定ルートの情報は、エリア記憶領域332に記憶される。
〔ステップS12:飛行目的の入力〕
続いて、コンピュータ30の制御部32は、目的受付モジュール323を実行し、ステップS11の処理で受け付けたエリアに無人飛行体10を飛行させる目的の入力を受け付ける。飛行目的の入力操作方法は特に限定されるものでなく、マウスによる入力操作であってもよいし、タッチパネルによる入力操作であってもよい。
図4は、そのときの画像表示装置34での表示例の一例である。画像表示装置34には、「飛行目的を選択してください」との文字が表示され、その下には、選択肢として、「大豆の害虫検知」、「稲の病害検知」、「海苔の赤腐れ病検知」、「その他」と表示されている。「その他」が選択された場合、文字入力により、新たな選択肢を追加できるようにすればよい。
ユーザが入力した飛行目的の情報は、目的記憶領域333に記憶される。
〔ステップS13:アクションプランの作成〕
続いて、コンピュータ30の制御部32は、作成モジュール324を実行し、ステップS11の処理で受け付けた飛行エリアと、ステップS12の処理で受け付けた目的とに応じて、無人飛行体10のフライトプラン及び撮影プランを含むアクションプランを作成する。
この処理において、制御部32は、記憶部33に予め記憶されているアクションプランデータベース334を参照する。
図5は、アクションプランデータベース334の概略構成を示す一例である。アクションプランデータベース334には、飛行目的に応じた無人飛行体10のアクションプランが登録されている。
アクションプランは、フライトプラン及び撮影プランを含んで構成される。フライトプランは、無人飛行体10の飛行条件を示し、飛行経路、飛行高度、飛行速度等を含む。撮影プランは、無人飛行体10が搭載するカメラ17の撮影条件を示し、カメラ角度、カメラ解像度等を含む。
例えば、飛行エリアとして、海上にある海苔の養殖場一体が指定され、飛行目的として、海苔の赤腐れ病の検知が指定されたとする。
この場合、制御部32は、フライトプランの飛行経路として、「エリア内をくまなく飛行する往復ルートを作成」を設定し、制御部32は、フライトプランの飛行高度として、「m上空」とセットし、フライトプランの飛行速度として、「0.5m/s」とセットする。この場合、制御部32は、ステップS11の処理で設定した飛行エリア内をm上空から撮影したときに、飛行エリア内をくまなく撮影できるような往復ルートを作成する。
また、制御部32は、撮影プランのカメラ角度として、「上空から真下に向けて撮影」とセットし、撮影プランのカメラ解像度として、「高(1300万画素)」とセットする。
ステップS13の処理で作成した情報は、アクションプラン記憶領域335に記憶される。そして、アクションプラン記憶領域335に記憶された情報は、USBメモリ、SDカード等、携帯型の記録媒体を介して無人飛行体10のアクションプラン記憶領域182にセットされる。
なお、アクションプランデータベース334の情報は、実際の飛行を通じた人工知能(AI)の学習によって適宜更新されることが好ましい。また、アクションプランデータベース334の情報は、ステップS12の処理において新たな飛行目的が追加される毎に適宜更新されることが好ましい。
〔ステップS14:アクションプランにしたがって飛行・空撮〕
続いて、無人飛行体10の制御部14は、制御モジュール141を実行し、アクションプラン記憶領域182にセットされた条件にしたがって、無人飛行体10の飛行、及びカメラ17による空撮を制御する。
カメラ17によって空撮された画像のデータは、画像データ記憶領域183に格納される。なお、画像は、静止画であってもよいし、動画であってもよい。
そして、アクションプランを終えると、無人飛行体10の制御部14は、カメラ17を用いた空撮を終了し、無人飛行体10を着陸させる。そして、画像データ記憶領域183に記憶された情報は、USBメモリ、SDカード等、携帯型の記録媒体を介してコンピュータ30の画像データ記憶領域336にセットされる。
〔ステップS15:空撮画像のチェック〕
続いて、コンピュータ30の制御部32は、画像データ記憶領域336を読み出し、ステップS14の処理で空撮した画像を画像表示部34に表示する。この処理により、ユーザは、「大豆の害虫検知」、「稲の病害検知」、「海苔の赤腐れ病検知」等といった所期の飛行目的を達成することができる。ステップS15の処理を終えると、アクションプラン作成システム1は、本実施形態に係るアクションプラン作成方法の一連の処理を終了する。
本実施形態に記載の発明によれば、コンピュータ30の制御部32は、作成モジュール324を実行し、エリア受付モジュール322の実行によって受け付けられたエリアと、目的受付モジュール323の実行によって受け付けられた目的とに応じて、無人飛行体10のフライトプラン及び撮影プランを含むアクションプランを作成する。そのため、飛行経路、飛行高度、飛行速度などといったフライトプランや、カメラ角度、カメラ解像度などといった撮影プランを、受け付けたエリア及び目的に合わせて正確に設定したアクションプランを設定することが可能となる。これにより、自動で無人飛行体10を飛行させ、空撮させる際に必要なパラメータの入力を簡便化したアクションプラン作成システム1を提供することができる。
また、本実施形態に記載の発明は、制御部32が画像表示部34に地図を表示させ、制御部32がエリア受付モジュール322を実行する際、画像表示部34によって表示される地図に描画された結果に基づいて、無人飛行体10に飛行させるエリアの指定を受け付けることが好ましい。これにより、操作者にとってよりいっそう簡便に設定することの可能なアクションプラン作成システム1を提供できる。
また、本実施形態に記載の発明は、目的受付モジュール323の実行によって受け付けられた目的が、収穫物に付着する害虫の検知と、収穫物の病変の検知とから選択される少なくとも一方を含むことが好ましい。海苔の養殖や農作物の栽培規模は、数万平方メートルと広大であり、病害の箇所を迅速かつ確実に把握するには、多大な労力を要する。本実施形態に記載の発明によると、収穫物に付着する害虫の検知と、収穫物の病変の検知とから選択される少なくとも一方の目的に合わせたアクションプランが作成されるので、収穫物に付着する害虫の検知、収穫物の病変の検知に要する労力を省力化させることが可能となる。
また、本実施形態に記載の発明において、フライトプランは、無人飛行体10の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含むことが好ましく、撮影プランは、カメラ17のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含むことが好ましい。これにより、自動で無人飛行体10を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システム1を提供することができる。
また、本実施形態に記載の発明において、無人飛行体10の制御部14は、制御モジュール14を実行し、コンピュータの制御部32が作成モジュール324を実行することによって作成されたアクションプランに基づいて、無人飛行体10の飛行とカメラ17の空撮とを制御することが好ましい。これにより、作成モジュール324の実行によって作成されたアクションプランに基づいて、無人飛行体10の飛行とカメラ17の空撮とが制御されるため、自動で無人飛行体10を飛行させ、空撮させる際に必要なパラメータの入力をよりいっそう簡便化したアクションプラン作成システム1を提供することができる。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 無人飛行体のアクションプラン作成システム
10 無人飛行体
11 電池
12 モーター
13 ローター
14 制御部
141 制御モジュール
15 位置検出部
16 ドライバー回路
17 カメラ
18 記憶部
181 制御プログラム格納領域
182 アクションプラン記憶領域
183 画像データ記憶領域
19 無線通信部
20 コントローラ
30 コンピュータ
31 入力部
32 制御部
321 地図表示モジュール
322 エリア受付モジュール
323 目的受付モジュール
324 作成モジュール
33 記憶部
331 地図データベース
332 エリア記憶領域
333 目的記憶領域
334 アクションプランデータベース
335 アクションプラン記憶領域
336 画像データ記憶領域
34 画像表示部

Claims (3)

  1. 地図データベースとアクションプランデータベースとを備える無人飛行体のアクションプラン作成システムにおいて、
    前記地図データベースを参照して地図を表示する地図表示手段と、
    前記地図表示手段によって表示される地図に描画された結果に基づいて、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるエリア受付手段と、
    前記エリアに前記無人飛行体を飛行させる目的であって、収穫物に付着する害虫の上空からの検知と、前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む目的の入力を受け付ける目的受付手段と、
    前記アクションプランデータベースを参照し、前記エリアと前記目的とに応じて、当該エリアをくまなく撮影可能な往復ルートである前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成する作成手段と、
    前記作成手段によって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御する制御手段と、を備え、
    前記フライトプランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
    前記撮影プランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含み、
    前記アクションプランデータベースの情報を、前記無人飛行体の飛行を通じた人工知能の学習、又は、前記無人飛行体を飛行させる目的の追加に応じて更新する、
    無人飛行体のアクションプラン作成システム。
  2. 地図データベースとアクションプランデータベースとを備える無人飛行体のアクションプラン作成システムが実行する無人飛行体のアクションプラン作成方法であって、
    前記地図データベースを参照して地図を表示するステップと、
    前記地図表示するステップによって表示される地図に描画された結果に基づいて、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるステップと、
    前記エリアに前記無人飛行体を飛行させる目的であって、収穫物に付着する害虫の上空からの検知と、前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む目的の入力を受け付けるステップと、
    前記アクションプランデータベースを参照し、前記エリアと前記目的とに応じて、当該エリアをくまなく撮影可能な往復ルートである前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成するステップと、
    前記アクションプランを作成するステップによって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御するステップと、を備え、
    前記フライトプランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
    前記撮影プランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含み、
    前記アクションプランデータベースの情報を、前記無人飛行体の飛行を通じた人工知能の学習、又は、前記無人飛行体を飛行させる目的の追加に応じて更新する、
    無人飛行体のアクションプラン作成方法。
  3. 地図データベースとアクションプランデータベースとを備える無人飛行体のアクションプラン作成システムに、
    前記地図データベースを参照して地図を表示するステップと、
    前記地図表示するステップによって表示される地図に描画された結果に基づいて、空撮装置を有する無人飛行体に飛行させるエリアの指定を受け付けるステップと、
    前記エリアに前記無人飛行体を飛行させる目的であって、収穫物に付着する害虫の上空からの検知と、前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む目的の入力を受け付けるステップと、
    前記アクションプランデータベースを参照し、前記エリアと前記目的とに応じて、当該エリアをくまなく撮影可能な往復ルートである前記無人飛行体のフライトプラン及び撮影プランを含むアクションプランを作成するステップと、
    前記アクションプランを作成するステップによって作成されたアクションプランに基づいて、前記無人飛行体の飛行と前記空撮装置の空撮とを制御するステップと、
    を実行させるためのプログラムであって、
    前記フライトプランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記無人飛行体の飛行経路と、飛行高度と、飛行速度とから選択される少なくとも一つを含み、
    前記撮影プランは、前記エリアと、前記収穫物に付着する害虫の上空からの検知と前記収穫物の病変の上空からの検知とから選択される少なくとも一方を含む前記目的とに応じて、前記空撮装置のカメラ角度と、カメラ解像度とから選択される少なくとも一つを含み、
    前記アクションプランデータベースの情報を、前記無人飛行体の飛行を通じた人工知能の学習、又は、前記無人飛行体を飛行させる目的の追加に応じて更新する、
    プログラム。
JP2019515021A 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム Active JP7152836B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016935 WO2018198313A1 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018198313A1 JPWO2018198313A1 (ja) 2020-04-02
JP7152836B2 true JP7152836B2 (ja) 2022-10-13

Family

ID=63920193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515021A Active JP7152836B2 (ja) 2017-04-28 2017-04-28 無人飛行体のアクションプラン作成システム、方法及びプログラム

Country Status (4)

Country Link
US (1) US11543836B2 (ja)
JP (1) JP7152836B2 (ja)
CN (1) CN110914780B (ja)
WO (1) WO2018198313A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188818A1 (ja) 2019-03-20 2020-09-24 日本電気株式会社 無人機制御システム、方法、無人機、指示端末、及びコンピュータ可読媒体
US11492113B1 (en) * 2019-04-03 2022-11-08 Alarm.Com Incorporated Outdoor security camera drone system setup
EP3967599A4 (en) * 2019-05-09 2022-07-13 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM
JP6765738B1 (ja) * 2019-06-21 2020-10-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
WO2021237625A1 (zh) * 2020-05-28 2021-12-02 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
JP6917516B1 (ja) 2020-12-24 2021-08-11 Kddi株式会社 飛行管理システム及び飛行管理方法
JP6965468B1 (ja) 2021-01-26 2021-11-10 Kddi株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163012A1 (ja) 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
WO2016178268A1 (ja) 2015-05-01 2016-11-10 株式会社日立製作所 圃場管理装置、圃場管理方法、及び記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178253B1 (en) * 1997-10-10 2001-01-23 Case Corporation Method of determining and treating the health of a crop
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
WO2015006675A2 (en) * 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
AU2015245950B2 (en) * 2014-04-10 2016-12-01 Ninox Robotics Pty Ltd Baiting method and apparatus for pest control
US11080798B2 (en) * 2014-09-12 2021-08-03 The Climate Corporation Methods and systems for managing crop harvesting activities
JP6387782B2 (ja) 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CA2964275A1 (en) * 2014-10-21 2016-04-28 Tolo, Inc. Remote detection of insect infestation
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
US10217188B2 (en) * 2014-11-12 2019-02-26 SlantRange, Inc. Systems and methods for aggregating and facilitating the display of spatially variable geographic data acquired by airborne vehicles
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
US11021266B2 (en) * 2015-02-11 2021-06-01 Aerovironment, Inc. Pod operating system for a vertical take-off and landing (VTOL) unmanned aerial vehicle (UAV)
US10028426B2 (en) * 2015-04-17 2018-07-24 360 Yield Center, Llc Agronomic systems, methods and apparatuses
US10139279B2 (en) * 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
CN105046909A (zh) * 2015-06-17 2015-11-11 中国计量学院 一种基于小型无人机的农业辅助定损方法
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US9969492B2 (en) * 2015-09-04 2018-05-15 Nutech Ventures Crop height estimation with unmanned aerial vehicles
US9508263B1 (en) * 2015-10-20 2016-11-29 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
KR102623403B1 (ko) * 2015-11-08 2024-01-12 어그로잉 리미티드 항공 이미지 획득 및 분석을 위한 방법
US9613538B1 (en) * 2015-12-31 2017-04-04 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
US10331931B2 (en) * 2016-02-05 2019-06-25 The Climate Corporation Modeling trends in crop yields
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
WO2018071727A1 (en) * 2016-10-12 2018-04-19 Aker Technologies, Inc. System for monitoring crops and soil conditions
US10313575B1 (en) * 2016-11-14 2019-06-04 Talon Aerolytics, Inc. Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
KR20180062267A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
CN106585992A (zh) * 2016-12-15 2017-04-26 上海土是宝农业科技有限公司 一种无人机智能识别、精确喷洒农药的方法及系统
CN110418572A (zh) * 2017-03-12 2019-11-05 株式会社尼罗沃克 作物拍摄用无人机
JP6894970B2 (ja) * 2017-04-20 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行経路確定方法、情報処理装置、プログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163012A1 (ja) 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
WO2016178268A1 (ja) 2015-05-01 2016-11-10 株式会社日立製作所 圃場管理装置、圃場管理方法、及び記録媒体

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"いよいよロボットが本気で働く Internet of Things ヒト、モノ、コトがつながる社会へ IoTビジネス調査報告書 [特別編]",PC-Webzine,PC-Webzine編集局,2015.11.25発行,Vol.286,32-33ページ
古賀一彦,"見える化で切り拓く次世代農業",映像情報インダストリアル,産業開発機構,2016.04.01発行、第48巻,第4号,67-70ページ
杉浦綾,"UAVからの時系列画像によるバレイショ疫病の病徴評価",第57回システム制御情報学会研究発表講演会講演論文予稿集,システム制御情報学会,2013.05.15発行
窪田新之助,"日本発「ロボットAI農業」の凄い未来",講談社+α新書,講談社,2017.2.20発行,122-129ページ,158-164ページ
窪田新之助,"病害虫バトルの最前線 いまどきの防除は「多角化」が主流",農業ビジネスマガジン,イカロス出版,2016.08.30発行,2016 SUMMER vol.14,010-014ページ

Also Published As

Publication number Publication date
CN110914780A (zh) 2020-03-24
US11543836B2 (en) 2023-01-03
JPWO2018198313A1 (ja) 2020-04-02
WO2018198313A1 (ja) 2018-11-01
US20200317335A1 (en) 2020-10-08
CN110914780B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
JP7152836B2 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
US11794890B2 (en) Unmanned aerial vehicle inspection system
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
US20170192418A1 (en) Unmanned aerial vehicle inspection system
WO2018112831A1 (zh) 无人机及其控制方法
CN114594792A (zh) 用于控制可移动物体的设备和方法
US9846921B2 (en) Dynamic image masking system and method
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
WO2019230604A1 (ja) 検査システム
WO2020166350A1 (ja) 無人航空機、通信方法、およびプログラム
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2021212501A1 (zh) 轨迹生成方法、遥控终端、可移动平台、系统及计算机可读存储介质
JP6495562B1 (ja) 無人飛行体による空撮システム、方法及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
JP2020072289A (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP6495559B2 (ja) 点群処理システム
JP6847424B2 (ja) 検出装置、検出方法、コンピュータプログラム及び学習モデル
JP2021033482A (ja) 飛行体の支援システム
JP6495560B2 (ja) 点群処理システム
US20220229433A1 (en) Maneuvering support apparatus, maneuvering support method, and computer-readable recording medium
WO2022205294A1 (zh) 无人机的控制方法、装置、无人机及存储介质
Persson et al. Real-time image processing on handheld devices and UAV
WO2018188086A1 (zh) 无人机及其控制方法
JP2022053417A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211229

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211229

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220111

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220125

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220401

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220830

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220927

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7152836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150