JP6512679B2 - 情報システム、上空地図情報出力方法、およびプログラム - Google Patents

情報システム、上空地図情報出力方法、およびプログラム Download PDF

Info

Publication number
JP6512679B2
JP6512679B2 JP2013174202A JP2013174202A JP6512679B2 JP 6512679 B2 JP6512679 B2 JP 6512679B2 JP 2013174202 A JP2013174202 A JP 2013174202A JP 2013174202 A JP2013174202 A JP 2013174202A JP 6512679 B2 JP6512679 B2 JP 6512679B2
Authority
JP
Japan
Prior art keywords
information
map
map information
unit
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013174202A
Other languages
English (en)
Other versions
JP2015042201A (ja
Inventor
伊藤 誠
伊藤  誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micware Co Ltd
Original Assignee
Micware Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micware Co Ltd filed Critical Micware Co Ltd
Priority to JP2013174202A priority Critical patent/JP6512679B2/ja
Publication of JP2015042201A publication Critical patent/JP2015042201A/ja
Application granted granted Critical
Publication of JP6512679B2 publication Critical patent/JP6512679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Toys (AREA)

Description

本発明は、地図情報を出力する端末装置等に関するものである。
従来、飛行型のラジコン模型が開発されている(非特許文献1参照)。
"EP キャリバー 450V"、[online]、京商株式会社、[2013年7月30日検索]、インターネット[URL;http://www.kyosho.com/jpn/products/rc/detail.html?product_id=102194]
飛行体の位置に対応する地図を、地上の端末装置において出力することができなかった。
本第一の発明の端末装置は、端末装置と、飛行体とを備える情報システムを構成する端末装置であって、端末装置は、地図上の位置を示す情報である1以上の地図位置情報を有する情報であり、地図を示す情報である地図情報が格納される地図情報格納部と、飛行体の3次元の位置を示す情報である飛行体位置情報を、飛行体から受信する受信部と、地図情報と、受信部が受信した飛行体位置情報とを用いて、飛行体位置情報が示す飛行体の位置を視点とする地図である上空地図を示す上空地図情報を取得する上空地図情報取得部と、上空地図情報取得部が取得した上空地図情報を出力する出力部とを備え、飛行体は、飛行体位置情報を取得する飛行体位置情報取得部と、飛行体位置情報取得部が取得した飛行体位置情報を、端末装置に送信する飛行体送信部とを備える情報システムを構成する端末装置である。
このような構成により、飛行体の位置に対応する地図を、地上の端末装置において出力することができる。
また、本第二の発明の端末装置は、第一の発明に対して、端末装置は、視点の角度を示す情報である視点角度情報が格納される視点角度情報格納部をさらに備え、上空地図情報取得部は、地図情報と、受信部が受信した飛行体位置情報と、視点角度情報とを用いて、飛行体位置情報が示す位置における始点角度情報が示す視点の角度に対応する地図上の位置を略中心とする上空地図を示す上空地図情報を取得する情報システムを構成する端末装置である。
このような構成により、飛行体の位置および当該位置における視点の角度に対応する地図を、地上の端末装置において出力することができる。
また、本第三の発明の端末装置は、第一または第二の発明に対して、端末装置は、飛行体を操作するコントローラであり、飛行体を操作する指示である操作指示を受け付ける受付部と、受付部が受け付けた操作指示を、飛行体に送信する送信部とを備え、飛行体は、端末装置から、操作指示を受信する飛行体受信部をさらに備え、飛行体は、飛行体受信部が受信した操作指示に従い飛行を行う情報システムを構成する端末装置である。
このような構成により、飛行体の位置に対応する地図を、飛行体を操作するコントローラにおいて出力することができる。
本発明による端末装置等によれば、飛行体の位置に対応する地図を、地上の端末装置において出力することができる。
実施の形態1における情報システム1の概念図 同端末装置11および飛行体12のブロック図 同端末装置11の全体動作について説明するフローチャート 同飛行体12の全体動作について説明するフローチャート 同上空地図情報の例を示す図 同上空地図情報の例を示す図 同上空地図情報の例を示す図 同端末装置11および飛行体12のブロック図 上記実施の形態におけるコンピュータシステムの概観図 上記実施の形態におけるコンピュータシステムのブロック図
以下、本発明による端末装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、本実施の形態において説明する各情報の形式、内容などは、あくまで例示であり、各情報の持つ意味を示すことができれば、形式、内容などは問わない。
(実施の形態1)
本実施の形態において、端末装置11と飛行体12とを備える情報システム1について説明する。端末装置11は、飛行体12から、飛行体12の位置を示す情報を受信し、当該受信した情報が示す位置に対応する地図を示す情報を取得し、当該取得した情報を出力する。また、飛行体12は、自身の位置を示す情報を取得し、当該取得した情報を、端末装置11に送信する。
図1は、本実施の形態における情報システム1の概念図である。図1において、端末装置11と飛行体12とは、通信手段13を介して通信が可能な状態にある。端末装置11は、通常、飛行体12を操作するコントローラであるが、そうでなくてもよい。当該コントローラは、例えば、飛行体12を操作する専用の装置や、飛行体12を操作するためのアプリがインストールされた携帯電話(スマートフォン)などである。また、飛行体12は、通常、いわゆるラジコン飛行機やラジコンヘリなどの飛行型の模型であるが、そうでなくてもよい。また、飛行体12は、通常、端末装置11からの指示に従い飛行を行う物体(いわゆる遠隔操作により飛行を行うことができる物体)であるが、そうでなくてもよい。また、通信手段13は、通常、無線であるが、有線であってもよい。また、通信手段13は、例えば、いわゆるラジオ(ラジオコントロール)や、無線LAN(アドホック通信)などである。
図2は、本実施の形態における端末装置11および飛行体12のブロック図である。端末装置11は、地図情報格納部111、視点角度情報格納部112、受付部113、受信部114、送信部115、上空地図情報取得部116、出力部117を備える。また、飛行体12は、飛行体位置情報取得部121、飛行体受信部122、飛行体送信部123を備える。
地図情報格納部111には、地図を示す情報である地図情報が格納される。当該「地図」は、例えば、地形図や、地勢図、地質図、土地利用図、住宅地図、路線図、道路地図、ガイドマップ、いわゆる略地図、航空写真、衛星写真、当該写真に記号や文字等が記入されたものなどである。また、「地図」は、例えば、鳥瞰図や、立体的な地図(3次元の地図)、平面的な地図(2次元の地図)などである。
また、地図情報は、例えば、地図の画像である。画像は、例えば、ラスタデータや、ベクタデータである。画像がラスタデータである場合、地図情報は、複数の縮尺に対応した画像を有していてもよい。複数の縮尺に対応した画像とは、例えば、同一地域について、縮尺が大きい画像や、縮尺が中程度の画像、縮尺が小さい画像などである。また、地図情報は、地図をタイル状に分割したものであってもよい。また、地図情報は、カーナビゲーションで用いられるKIWIフォーマットのものであってもよい。
また、地図情報は、通常、1以上の位置情報を有する。「位置情報」とは、位置を示す情報である。また、当該「位置」は、通常、地図上の地点の位置である。「地点」とは、例えば、地図上の道路やビル、駅などの構造物や、山や池、森などの自然物などである。また、当該「位置」は、通常、緯度および経度および高度(高さ)である。つまり、「位置情報」が示す位置は、通常、3次元である。つまり、地図情報は、通常、ビル、駅などの構造物、山などの自然物を含むオブジェクトの高さの情報も含む。また、当該「位置」は、例えば、地図上の座標であってもよい。
また、地図情報は、例えば、1以上の位置情報の集合であってもよい。通常、当該1以上の位置情報により、地図上の地形や建物などの形状が示される。
なお、地図情報格納部111に格納されている地図情報を、以下、適宜、格納地図情報とする。また、格納地図情報が有する位置情報を、以下、適宜、地図位置情報とする。
視点角度情報格納部112には、視点の角度を示す情報である視点角度情報が格納される。当該「視点の角度」とは、飛行体12の位置を視点としたときの当該視点の角度である。また、「視点の角度」とは、飛行体12の垂直方向の角度である。つまり、「視点角度情報」とは、垂直方向に対する方向を示す情報である。また、「視点角度情報」は、例えば、地図に対する視点の角度を示す情報でもある。また、「視点角度情報」は、角度を示す角度情報である。
例えば、飛行体12がいわゆる真正面を向いている場合の視点の角度を「0°」とする場合、飛行体12がいわゆる真下を向いている場合の視点の角度は、「90°」となる。また、例えば、飛行体12がいわゆる真下を向いている場合の視点の角度を「0°」とする場合、飛行体12がいわゆる真正面を向いている場合の視点の角度は、「−90°」または「90°」となる。つまり、視点の角度の基準となる方向は、真下でも真正面でもよい。
また、視点角度情報格納部112には、例えば、視点角度情報が予め格納されていてもよい。また、視点角度情報格納部112には、例えば、後述の受付部113が受け付けた視点角度情報が蓄積されてもよい。
受付部113は、情報および指示を受け付ける。当該情報は、例えば、視点角度情報である。当該視点角度情報は、通常、視点角度情報格納部112に蓄積される。また、当該指示は、例えば、操作指示である。「操作指示」とは、飛行体12を操作する指示である。また、「操作指示」は、例えば、飛行体12を制御する制御信号であると考えてもよい。また、「操作指示」は、例えば、飛行を開始する指示や、左に旋回する指示、右に旋回する指示、上昇する指示、下降する指示、飛行を終了する指示などである。
また、受付部113は、例えば、電源ONの指示や、電源OFFの指示などを受け付けてもよい。なお、受付部113がこれらの指示を受け付けた場合、端末装置11は、通常、当該受け付けた指示に応じた処理を行う。
また、受け付けとは、タッチパネルや、操作用のレバーなどの入力デバイスから入力された情報の取得、光ディスクや磁気ディスク、半導体メモリなどの記録媒体に格納されている情報の取得、有線もしくは無線の通信回線を介して送信された情報の受信などを含む概念である。
また、受付部113における情報や指示などの入力手段は、メニュー画面によるものや、タッチパネルなど、何でもよい。受付部113は、メニュー画面の制御ソフトウェアや、タッチパネル等の入力手段のデバイスドライバなどで実現され得る。
受信部114は、飛行体12の位置を示す位置情報(以下、適宜、飛行体位置情報という)を受信する。
送信部115は、受付部113が受け付けた操作指示を、飛行体12に送信する。
上空地図情報取得部116は、上空地図情報を取得する。「上空地図情報」とは、上空地図を示す地図情報である。また、「上空地図」とは、飛行体12の位置を視点とする地図である。また、「飛行体12の位置」は、受信部114が受信した飛行体位置情報により示される位置である。また、「飛行体位置情報が示す位置を視点とする地図を示す地図情報」を、以下、適宜、「飛行体位置情報に対応する上空地図情報」と表記する。
また、上空地図情報取得部116は、通常、少なくとも、格納地図情報と、飛行体位置情報とを用いて、上空地図情報を取得する。また、上空地図情報取得部116は、例えば、格納地図情報と、飛行体位置情報と、視点角度情報とを用いて、上空地図情報を取得してもよい。例えば、格納地図情報と、飛行体位置情報とを用いる場合、上空地図情報取得部116は、飛行体位置情報が示す飛行体12の位置を視点とする地図である上空地図を示す上空地図情報を取得する。また、例えば、格納地図情報と、飛行体位置情報と、視点角度情報とを用いる場合、飛行体位置情報が示す位置における始点角度情報が示す視点の角度に対応する地図上の位置を略中心とする上空地図を示す上空地図情報を取得する。
具体的に、上空地図情報取得部116は、例えば、格納地図情報が示す地図上の位置を示す地図位置情報を算出するための算出式を予め保持している。当該算出式は、例えば、飛行体位置情報を代入するための変数を有する。また、当該算出式は、例えば、視点角度情報を代入するための変数を有していてもよい。また、当該算出式は、例えば、いわゆるプログラムであってもよい。そして、上空地図情報取得部116は、当該算出式を用いて、地図位置情報を算出する。そして、上空地図情報取得部116は、算出した地図位置情報が示す位置を略中心とする上空地図情報を、格納地図情報を用いて取得する。当該「略中心」には、「中心」も含まれる。また、「格納地図情報を用いて取得する」とは、格納地図情報から、上空地図情報を取得すること、または、格納地図情報を用いて、上空地図情報を作成することである。
例えば、格納地図情報が画像である場合、上空地図情報取得部116は、例えば、算出した地図位置情報が示す位置を略中心とする予め決められた大きさの画像を、格納地図情報である画像から切り出す。そして、上空地図情報取得部116は、当該切り出した画像を、上空地図情報として取得する。また、上空地図情報取得部116は、例えば、切り出した画像を、いわゆるチルト方向に傾けてもよい。当該傾きの角度は、通常、視点角度情報が示す角度である。
また、例えば、格納地図情報が1以上の位置情報の集合である場合、上空地図情報取得部116は、例えば、算出した地図位置情報が示す位置を略中心とする予め決められた領域内の位置を示す位置情報を、格納地図情報から取得する。そして、上空地図情報取得部116は、取得した位置情報と、視点角度情報とを用いて、当該取得した1以上の各位置情報が示す位置に対応する画像上の座標を算出する。そして、上空地図情報取得部116は、算出した座標を用いて、いわゆるレンダリングやテクスチャマッピングなどを行うことにより、上空地図情報である画像を作成する。
なお、飛行体位置情報を用いて上空地図情報を取得する方法や手順など(飛行体位置情報に対応する上空地図情報を取得する方法や手順など)は、公知であるので、詳細な説明を省略する。例えば、一の画像(ここでは、格納地図情報)から当該画像の一部を切り出したり、画像をチルト方向に傾けたりする画像処理を行うソフトウェアとして、例えば、GIMP(http://www.gimp.org/)や、Paint.NET(http://www.getpaint.net/)などが利用可能である。また、例えば、画像上の座標を算出するための情報(ここでは、位置情報)を用いて画像(ここでは、上空地図情報)を作成するソフトウェアとして、例えば、カシミール3D(http://www.kashmir3d.com/)や、OpenGL(http://www.opengl.org/)、DirectX(http://www.microsoft.com/ja-jp/directx/default.aspx)などが利用可能である。
また、上空地図情報取得部116は、通常、受信部114が飛行体位置情報を受信するたびに、上空地図画像を取得する。
また、上空地図情報取得部116は、例えば、地図上の地点の高さが記された上空地図を示す上空地図情報を取得してもよい。当該上空地図は、例えば、ビルの屋上に当該ビルの高さや、山の山頂に当該山の標高などが記された地図である。
この場合、上空地図情報取得部116は、例えば、当該地点の高さを示す情報や、当該高さを記す位置を示す情報などを有する上空地図情報を取得する。
また、上空地図情報取得部116は、例えば、地図上の地点が、それらの高さに応じて色分けされた上空地図を示す上空地図情報を取得してもよい。当該上空地図は、例えば、高さが0mから30mまでのビルは、緑色、高さが30mから60mまでのビルは、黄色、高さが60m以上のビルは、赤色に色分けされた地図である。
この場合、上空地図情報取得部116は、例えば、高さに関する条件(以下、適宜、高さ条件とする)と、当該高さに対応する色を示す情報(以下、適宜、色情報とする)との対応表を予め保持している。そして、上空地図情報取得部116は、地図上の各地点について、当該地点の高さが満たす高さ条件に対応付いている色情報を取得する。そして、上空地図情報取得部116は、当該取得した色情報が示す色により、当該色情報の取得の対象となる地点を着色する。
また、上空地図情報取得部116は、例えば、地図上の地点が、その高さと、飛行体位置情報により示される飛行体の高度との差に応じて色分けされた上空地図を示す上空地図情報を取得してもよい。当該上空地図は、例えば、飛行体が高度50mで飛行している場合、高さが0mから10mまでのビルは、緑色、高さが10mから30mまでのビルは、黄色、高さが30m以上のビルは、赤色に色分けされた地図である。
この場合、上空地図情報取得部116は、例えば、飛行体の高度との差に関する条件(以下、適宜、高度差条件とする)と、当該差に対応する色を示す色情報との対応表を予め保持している。そして、上空地図情報取得部116は、地図上の各地点について、当該高さと飛行体の高度との差を算出する。そして、上空地図情報取得部116は、算出した差が満たす高度差条件に対応付いている色情報を取得する。そして、上空地図情報取得部116は、当該取得した色情報が示す色により、当該色情報の取得の対象となる地点を着色する。
また、上空地図情報取得部116は、通常、MPUやメモリ等から実現され得る。また、上空地図情報取得部116などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。なお、上空地図情報取得部116などは、ハードウェア(専用回路)で実現されてもよい。
出力部117は、上空地図情報取得部116が取得した上空地図情報を出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。なお、送信や蓄積、処理結果の引渡しについては、出力対象が最終的にユーザに提示されるものとする。
また、出力部117は、ディスプレイやスピーカーなどの出力デバイスを含むと考えてもよいし、含まないと考えてもよい。出力部117は、出力デバイスのドライバソフトまたは、出力デバイスのドライバソフトと出力デバイスなどで実現され得る。
飛行体12を構成する飛行体位置情報取得部121は、飛行体位置情報を取得する。飛行体位置情報取得部121は、通常、定期的に飛行体位置情報を取得する。また、飛行体位置情報取得部121は、通常、衛星航法システム(GPS受信機など)や、移動体通信用の基地局から位置情報を受信する装置などから、飛行体位置情報を取得する。この場合、飛行体位置情報取得部121は、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。また、飛行体位置情報取得部121の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
飛行体受信部122は、端末装置11から、操作指示を受信する。なお、飛行体受信部122が操作指示を受信した場合、飛行体12は、通常、当該操作指示に従い飛行を行う。また、当該飛行の制御は、通常、図示しない飛行体制御部が行う。なお、飛行体制御部が操作指示に従って行う飛行の制御の方法や手順などは、公知であるので、詳細な説明を省略する。
飛行体送信部123は、飛行体位置情報を、端末装置11に送信する。当該飛行体位置情報は、飛行体位置情報取得部121が取得した飛行体位置情報である。
なお、地図情報格納部111、視点角度情報格納部112は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。また、地図情報格納部111などに所定の情報が記憶される過程は、問わない。例えば、当該所定の情報は、記録媒体や、通信回線、入力デバイスなどを介して地図情報格納部111などに記憶されてもよい。
また、受信部114、飛行体受信部122は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されてもよい。
また、送信部115、飛行体送信部123は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されてもよい。
次に、情報システム1の全体動作について説明する。なお、所定の情報におけるi番目の情報は、「情報[i]」と記載するものとする。まず、端末装置11の全体動作について、図3のフローチャートを用いて説明する。
(ステップS301)端末装置11は、受付部113が電源ONの指示を受け付けたか否かを判断する。受け付けた場合は、ステップS302に進み、そうでない場合は、ステップS301に戻る。
(ステップS302)端末装置11は、電源ONの処理を行う。
(ステップS303)送信部115は、受付部113が操作指示を受け付けたか否かを判断する。受け付けた場合は、ステップS304に進み、そうでない場合は、ステップS305に進む。
(ステップS304)送信部115は、ステップS303で受け付けた操作指示を、飛行体12に送信する。
(ステップS305)上空地図情報取得部116は、受信部114が飛行体位置情報を受信したか否かを判断する。受信した場合は、ステップS306に進み、そうでない場合は、ステップS309に進む。
(ステップS306)上空地図情報取得部116は、視点角度情報格納部112に格納されている視点角度情報を取得する。
(ステップS307)視点角度情報格納部112は、地図情報格納部111に格納されている地図情報と、ステップS305で受信した飛行体位置情報と、ステップS306で取得した視点角度情報とを用いて、上空地図情報を取得する。
(ステップS308)出力部117は、ステップS307で取得した上空地図情報を出力する。
(ステップS309)端末装置11は、受付部113が電源OFFの指示を受け付けたか否かを判断する。受け付けた場合は、ステップS310に進み、そうでない場合は、ステップS303に戻る。
(ステップS310)端末装置11は、電源OFFの処理を行う。そして、ステップS301に戻る。
なお、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
次に、飛行体12の全体動作について、図4のフローチャートを用いて説明する。
(ステップS401)飛行体12は、図示しない飛行体受付部が電源ONの指示を受け付けたか否かを判断する。受け付けた場合は、ステップS402に進み、そうでない場合は、ステップS401に戻る。
(ステップS402)飛行体12は、電源ONの処理を行う。
(ステップS403)飛行体位置情報取得部121は、飛行体位置情報の取得を開始する。以降、飛行体位置情報取得部121は、通常、飛行体12の電源がOFFになるまで、飛行体位置情報を定期的に取得し続ける。
(ステップS404)飛行体12は、飛行体受信部122が操作指示を受信したか否かを判断する。受信した場合は、ステップS405に進み、そうでない場合は、ステップS406に進む。
(ステップS405)飛行体12は、ステップS404で受信した飛行指示に従い飛行を行う。
(ステップS406)飛行体送信部123は、飛行体位置情報取得部121が飛行体位置情報を取得したか否かを判断する。取得した場合は、ステップS407に進み、そうでない場合は、ステップS408に進む。
(ステップS407)飛行体送信部123は、飛行体位置情報取得部121が取得した飛行体位置情報を、端末装置11に送信する。
(ステップS408)飛行体12は、図示しない飛行体受付部が電源OFFの指示を受け付けたか否かを判断する。受け付けた場合は、ステップS409に進み、そうでない場合は、ステップS404に戻る。
(ステップS409)飛行体12は、電源OFFの処理を行う。そして、ステップS401に戻る。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
(具体例)
次に、情報システム1の動作の具体例について説明する。なお、本具体例において、飛行体12は、ヘリコプター型のラジコン模型(以下、ラジコンヘリ)であるものとする。また、端末装置11は、当該ラジコンヘリのコントローラであるものとする。また、コントローラは、いわゆるタッチパネルを備えているものとする。また、ラジコンヘリが備える飛行体位置情報取得部121は、定期的に、飛行体位置情報を取得しているものとする。
(例1)
本例において、ユーザが入力した視点角度情報を用いて上空地図情報を取得する例について説明する。なお、本例において、地図情報格納部111には、いわゆる航空写真の画像である地図情報(以下、適宜、航空写真という)が格納されているものとする。また、当該画像を構成する1以上の各画素には、当該画素に対応する位置を示す位置情報が対応付いているものとする。当該位置情報は、地図位置情報であり、経度を示す情報(以下、適宜、経度情報)と、緯度を示す情報(以下、適宜、移動情報という)と、高度を示す情報(以下、適宜、高度情報という)とを有するものとする。
まず、ユーザがコントローラを操作し、ラジコンヘリの操作を開始したとする。このとき、コントローラが備える受付部113は、ユーザがコントローラを操作するたびに、操作指示を受け付ける。また、送信部115は、受付部113が操作指示を受け付けるたびに、当該受け付けた操作指示を、ラジコンヘリに送信する。また、このとき、ラジコンヘリが備える飛行体受信部122は、コントローラから送信された操作指示を受信する。また、ラジコンヘリは、飛行体受信部122が送信指示を受信するたびに、当該受信した操作指示に従い飛行を行う。
次に、ラジコンヘリが備える飛行体位置情報取得部121が、飛行体位置情報を取得したとする。当該飛行体位置情報は、経度情報と、緯度情報と、高度情報とを有するものとする。すると、飛行体送信部123は、当該取得した飛行体位置情報を、コントローラに送信する。
次に、コントローラが備える受信部114は、ラジコンヘリから送信された飛行体位置情報を受信する。すると、上空地図情報取得部116は、受信した飛行体位置情報が有する経度情報および緯度情報が示す経緯度に対応する座標である地図情報格納部111に格納されている航空写真上の座標を特定する。当該「座標を特定する」とは、座標値を取得することである。また、当該座標を、以下、中心座標とする。
次に、上空地図情報取得部116は、受信した飛行体位置情報が有する高度情報を用いて、航空写真から切り出す範囲を決定する。「切り出す範囲を決定する」とは、切り出す画像のサイズを算出することである。このとき、上空地図情報取得部116は、例えば、切り出す画像のサイズを算出するための算出式を予め保持しており、当該算出式に高度情報を代入することにより、切り出す画像のサイズを算出する。
次に、上空地図情報取得部116は、取得した座標値が中心であり、算出したサイズである画像を、地図情報格納部111に格納されている航空写真から切り出し、取得する。当該取得した画像は、例えば、図5である。
次に、出力部117は、図5の画像を画面出力する。これにより、図5の画像が、タッチパネルに表示される。
次に、ユーザがタッチパネルに指で触れ、その指を下から上にスワイプしたとする。すると、受付部113は、当該スワイプの量に応じた視点角度情報を受け付ける。例えば、スワイプの量が小さいほど、視点角度情報(視点角度情報が示す角度)は、小さくなる。また、例えば、スワイプの量が大きいほど、視点角度情報(視点角度情報が示す角度)は、大きくなる。また、当該受け付けた視点角度情報は、通常、視点角度情報格納部112に蓄積される。また、当該受け付けた視点角度情報は、例えば、視点角度情報格納部112に蓄積されなくてもよい。
次に、上空地図情報取得部116は、上記において取得し、出力部117が出力している画像を、受け付けた視点角度情報に応じてチルト方向に傾ける。当該傾けられた画像は、例えば、図6である。そして、出力部117は、図6の画像を出力する。
(例2)
本例において、地図情報格納部111に、1以上の位置情報の集合である地図情報が格納されており、当該地図情報を用いて、上空地図情報を取得する例について説明する。なお、本例において、視点角度情報は、視点角度情報格納部112に予め格納されているものとする。また、飛行体位置情報の送受信の例などは、例1と同様であるので、説明を省略する。
まず、上空地図情報取得部116は、視点角度情報格納部112に格納されている視点角度情報を取得する。
次に、上空地図情報取得部116は、受信した飛行体位置情報(経度情報、緯度情報、高度情報)と、取得した視点角度情報とを用いて、飛行体の位置、および当該位置における角度に対応する経緯度を算出する。当該経緯度は、例えば、三角関数などを用いることにより算出可能である。
次に、上空地図情報取得部116は、算出した経緯度からの距離が予め決められた条件を満たす位置を示す1以上の位置情報を、地図情報格納部111に格納されている地図情報から取得する。当該予め決められた条件は、距離に関する条件であり、上空地図情報取得部116が保持している。また、取得した位置情報は、3次元空間上の位置を示す。
次に、上空地図情報取得部116は、取得した1以上の位置情報が示す3次元空間上の位置を、2次元空間に射影したときの座標値を算出する。つまり、上空地図情報取得部116は、3次元空間上の位置に対応する2次元空間上の位置を算出する。
次に、上空地図情報取得部116は、算出した2次元空間上の位置を用いて、いわゆるレンダリングやテクスチャマッピングなどを行い、立体的な地図の画像を作成する。当該画像は、例えば、図7である。
次に、出力部117は、図7の画像を画面出力する。
以上、本実施の形態による情報システム1によれば、飛行体の位置を示す位置情報を、飛行体を操作する端末装置に送信することができる。また、飛行体の位置に対応する地図を、飛行体を操作する端末装置において出力することができる。
また、本実施の形態による情報システム1によれば、例えば、飛行体に、地上を撮影するためのカメラなどを搭載することが困難な場合でも、飛行体の位置を視点とする地上の地図を、端末装置にて出力することができる。
また、本実施の形態による情報システム1によれば、例えば、飛行体に搭載されているカメラの精度が悪く、当該カメラで撮影した航空写真に写っている物体などの認識が困難である場合でも、端末装置にて解像度の高い航空写真を出力することができる。
また、本実施の形態による情報システム1によれば、例えば、上空の視界が悪く、飛行体に搭載されているカメラで撮影した航空写真に写っている物体などの認識が困難である場合でも、端末装置にて鮮明な航空写真を出力することができる。
また、本実施の形態による情報システム1によれば、例えば、飛行体から端末装置に送信される情報は、飛行体位置情報のみであるため、飛行体から端末装置に送信する情報の通信データ量を削減することができる。
なお、本実施の形態において、飛行体12は、飛行体角度情報を取得する飛行体角度情報取得部を備えていてもよい。「飛行体角度情報」とは、飛行体12の角度を示す情報である。また、「飛行体12の角度」とは、飛行体12の垂直方向の角度である。また、「飛行体角度情報」は、角度情報である。
また、飛行体12が飛行体角度情報取得部を備える場合、飛行体送信部123は、通常、飛行体位置情報取得部121が取得した飛行体位置情報と共に、飛行体角度情報を、端末装置11に送信する。また、端末装置11が備える受信部114は、飛行体位置情報と共に、飛行体角度情報を受信する。また、当該受信した飛行体角度情報は、視点角度情報として、視点角度情報格納部112に蓄積される。
また、本実施の形態において、端末装置11は、例えば、視点方向情報が格納される視点方向情報格納部を備えていてもよい。「視点方向情報」とは、視点の方向を示す情報である。また、「視点の方向」とは、飛行体12の位置を視点としたときの当該視点の方向である。また、「視点の方向」とは、方位や、方角などである。つまり、「視点方向情報」とは、水平方向に対する方向を示す情報である。また、「視点方向情報」は、方向を示す方向情報である。
また、視点方向情報格納部には、例えば、視点方向情報が予め格納されていてもよい。また、視点方向情報格納部には、例えば、受付部113が視点方向情報を受け付け、当該受け付けた視点方向情報が蓄積されてもよい。
また、端末装置11が視点方向情報格納部を備える場合、上空地図情報取得部116は、通常、視点方向情報格納部に格納されている視点方向情報も用いて、上空地図情報を取得する。なお、視点方向情報も用いて上空地図情報を取得する方法や手順などは、公知であるので、説明を省略する。
また、端末装置11が視点方向情報格納部を備える場合、飛行体12は、例えば、飛行体方向情報を取得する飛行体方向情報取得部を備えていてもよい。「飛行体方向情報」とは、飛行体12の方向を示す情報である。また、「飛行体12の方向」とは、方位や、方角などである。また、「飛行体方向情報」は、方向情報である。
また、飛行体12が飛行体方向情報取得部を備える場合、飛行体送信部123は、通常、飛行体位置情報取得部121が取得した飛行体位置情報と共に、飛行体方向情報を、端末装置11に送信する。また、端末装置11が備える受信部114は、飛行体位置情報と共に、飛行体方向情報を受信する。また、当該受信した飛行体方向情報は、視点方向情報として、視点方向情報格納部に蓄積される。
また、飛行体角度情報取得部、飛行体方向情報取得部は、それぞれ、通常、いわゆるジャイロセンサーから飛行体角度情報、飛行体方向情報を取得する。この場合、飛行体角度情報取得部および飛行体方向情報取得部は、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。また、飛行体角度情報取得部および飛行体方向情報取得部の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
また、端末装置11が視点方向情報格納部を備える場合、および、飛行体12が飛行体角度情報取得部および飛行体方向情報取得部を備える場合のブロック図は、図8である。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されてもよいことは言うまでもない。
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよいし、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
また、上記各実施の形態における端末装置11を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、地図上の位置を示す情報である1以上の地図位置情報を有する情報であり、地図を示す情報である地図情報が格納される地図情報格納部にアクセス可能なコンピュータを、飛行体の3次元の位置を示す情報である飛行体位置情報を、飛行体から受信する受信部と、前記地図情報と、前記受信部が受信した飛行体位置情報とを用いて、当該飛行体位置情報が示す飛行体の位置を視点とする地図である上空地図を示す上空地図情報を取得する上空地図情報取得部と、前記上空地図情報取得部が取得した上空地図情報を出力する出力部として機能させるためのプログラムである。
また、上記各実施の形態における飛行体を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、飛行体位置情報を取得する飛行体位置情報取得部と、前記飛行体位置情報取得部が取得した飛行体位置情報を、端末装置に送信する飛行体送信部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。
また、上記プログラムは、サーバなどからダウンロードされることによって実行されてもよいし、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよいし、複数であってもよい。つまり、集中処理を行ってもよいし、あるいは分散処理を行ってもよい。
また、図9は、前述のプログラムを実行して、前述の実施の形態の端末装置等を実現するコンピュータシステム9の概観図である。前述の実施の形態は、コンピュータハードウェア、およびその上で実行されるコンピュータプログラムで実現され得る。
図9において、コンピュータシステム9は、CD−ROMドライブ9011、FDドライブ9012を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図10は、コンピュータシステム9のブロック図である。図10において、コンピュータ901は、CD−ROMドライブ9011、FDドライブ9012に加えて、MPU9013と、ブートアッププログラム等のプログラムを記憶するためのROM9014と、MPU9013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM9015と、アプリケーションプログラム、システムプログラム、およびデータを記憶するためのハードディスク9016と、CD−ROMドライブ9011、FDドライブ9012、MPU9013等を相互に接続するバス9017とを備える。ここでは図示しないが、コンピュータ901は、さらに、LANへの接続を提供するネットワークカードを備えていてもよい。
コンピュータシステム9に、前述の実施の形態の端末装置等の機能を実行させるプログラムは、CD−ROM9101、またはFD9102に記憶されて、CD−ROMドライブ9011またはFDドライブ9012に挿入され、さらにハードディスク9016に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク9016に記憶されてもよい。プログラムは実行の際にRAM9015にロードされる。プログラムは、CD−ROM9101、FD9102またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、前述の実施の形態の端末装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム9がどのように動作するかは周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる端末装置は、飛行体の位置を示す位置情報を、飛行体を操作する端末装置に送信することができる。また、飛行体の位置に対応する地図を、飛行体を操作する端末装置において出力することができるという効果を有し、ラジコン模型の位置に対応する地図を表示するラジコン模型のコントローラ等として有用である。
1 情報システム
11 端末装置
12 飛行体
111 地図情報格納部
112 視点角度情報格納部
113 受付部
114 受信部
115 送信部
116 上空地図情報取得部
117 出力部
121 飛行体位置情報取得部
122 飛行体受信部
123 飛行体送信部

Claims (5)

  1. 末装置と、飛行体とを備える情報システムであって、
    記端末装置は、
    図を示す3次元の地図情報が格納される地図情報格納部と、
    記飛行体の3次元の位置を示す飛行体位置情報を、前記飛行体から受信する受信部と、
    記地図情報と、前記受信部が受信した前記飛行体位置情報とを用いて、前記飛行体位置情報が示す前記飛行体の位置を視点とする上空地図情報を取得する上空地図情報取得部と、
    記上空地図情報取得部が取得した前記上空地図情報を出力する出力部とを備え
    前記地図情報は、前記地図上の位置を示す地図位置情報と、1以上の構造物の高さの情報および形状を示す情報を有し、
    前記上空地図情報取得部は、前記構造物の前記地図上の高さと前記飛行体の高度との差に応じて、前記1以上の各構造物の形状を示す情報を用いて、前記構造物ごとに色分けされた3次元の上空地図情報を取得し、
    記飛行体は
    前記飛行体位置情報を取得する飛行体位置情報取得部と、
    記飛行体位置情報取得部が取得した前記飛行体位置情報を、前記端末装置に送信する飛行体送信部とを備える情報システム。
  2. 記端末装置は、前記視点の角度を示す視点角度情報が格納される視点角度情報格納部をさらに備え、
    記上空地図情報取得部は、前記地図情報と、前記受信部が受信した前記飛行体位置情報と、前記視点角度情報とを用いて、前記飛行体位置情報が示す位置における前点角度情報が示す前記視点の角度に対応する前記地図上の位置を略中心とする上空地図を示す前記上空地図情報を取得する請求項1記載の情報システム。
  3. 記端末装置は、前記飛行体を操作するコントローラであり、
    記飛行体を操作する操作指示を受け付ける受付部と、
    記受付部が受け付けた前記操作指示を、前記飛行体に送信する送信部とを備え、
    記飛行体は、前記端末装置から、前記操作指示を受信する飛行体受信部をさらに備え、
    記飛行体は、前記飛行体受信部が受信した前記操作指示に従い飛行を行う請求項1または請求項2記載の情報システム。
  4. 図を示す3次元の地図情報が格納される地図情報格納部と、受信部と、上空地図情報取得部と、出力部とを用いて行われる上空地図情報出力方法であって、前記地図情報は、前記地図上の位置を示す地図位置情報と、1以上の構造物の高さの情報および形状を示す情報を有し、
    記受信部が、飛行体の3次元の位置を示す飛行体位置情報を、前記飛行体から受信する受信ステップと、
    記上空地図情報取得部が、前記地図情報と、前記受信部が受信した前記飛行体位置情報とを用いて前記行体位置情報が示す前記飛行体の位置を視点とする上空地図情報を取得する上空地図情報取得ステップとを備え
    前記上空地図情報取得ステップにおいて、前記構造物の前記地図上の高さと前記飛行体の高度との差に応じて、前記1以上の各構造物の形状を示す情報を用いて、前記構造物ごとに色分けされた3次元の上空地図情報を取得し、
    記出力部が、前記上空地図情報取得ステップで取得された前記上空地図情報を出力する出力ステップをさらに備える上空地図情報出力方法。
  5. 図を示す3次元の地図情報が格納される地図情報格納部にアクセス可能なコンピュータのプログラムであって、前記地図情報は、前記地図上の位置を示す地図位置情報と、1以上の構造物の高さの情報および形状を示す情報を有し、
    行体の3次元の位置を示す飛行体位置情報を、前記飛行体から受信する受信部と
    記地図情報と、前記受信部が受信した前記飛行体位置情報とを用いて、前記飛行体位置情報が示す前記飛行体の位置を視点とする上空地図情報を取得する上空地図情報取得部と
    記上空地図情報取得部が取得した前記上空地図情報を出力する出力部として機能させるためのプログラムであって、
    前記上空地図情報取得部は、前記構造物の前記地図上の高さと前記飛行体の高度との差に応じて、前記1以上の各構造物の形状を示す情報を用いて、前記構造物ごとに色分けされた3次元の上空地図情報を取得するものとして、コンピュータを機能させるためのプログラム
JP2013174202A 2013-08-26 2013-08-26 情報システム、上空地図情報出力方法、およびプログラム Active JP6512679B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013174202A JP6512679B2 (ja) 2013-08-26 2013-08-26 情報システム、上空地図情報出力方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013174202A JP6512679B2 (ja) 2013-08-26 2013-08-26 情報システム、上空地図情報出力方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015042201A JP2015042201A (ja) 2015-03-05
JP6512679B2 true JP6512679B2 (ja) 2019-05-15

Family

ID=52696063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013174202A Active JP6512679B2 (ja) 2013-08-26 2013-08-26 情報システム、上空地図情報出力方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6512679B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4166910A1 (en) * 2021-10-12 2023-04-19 Honeywell International Inc. Methods and systems for providing contextual building height information to aircraft operators

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628600A (ja) * 1992-07-09 1994-02-04 Furuno Electric Co Ltd 地図表示装置
JP2919734B2 (ja) * 1993-12-28 1999-07-19 川崎重工業株式会社 航空機用地図表示装置
JPH11187363A (ja) * 1997-12-24 1999-07-09 Mitsubishi Electric Corp 移動局映像伝送システム
JP2000181346A (ja) * 1998-12-15 2000-06-30 Fujitsu Ltd 映像地図連携システム
DE59908421D1 (de) * 1999-05-21 2004-03-04 Siemens Ag Verfahren zum Gewinnen einer dreidimensionalen Kartendarstellung und Navigationssystem
JP3430405B2 (ja) * 2000-09-13 2003-07-28 北海道放送株式会社 マイクロ波伝送見通しエリア表示ナビゲーションシステム
FR2826759B1 (fr) * 2001-06-29 2003-11-14 Thales Sa Procede de zoom
JP4174559B2 (ja) * 2001-10-26 2008-11-05 独立行政法人 宇宙航空研究開発機構 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法
JP2006281830A (ja) * 2005-03-31 2006-10-19 Yamaha Motor Co Ltd カメラの視点表示システム
JP2007230367A (ja) * 2006-03-01 2007-09-13 Yamaha Motor Co Ltd 無人ヘリコプタ基地局のモニタ表示システムおよびこれを用いた無人ヘリコプタの異常判別システム
JP2007241085A (ja) * 2006-03-10 2007-09-20 Mitsubishi Electric Corp 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法
JP2007272085A (ja) * 2006-03-31 2007-10-18 Pioneer Electronic Corp 情報表示装置、情報表示方法及び情報表示用プログラム
JP2007290605A (ja) * 2006-04-26 2007-11-08 Yamaha Motor Co Ltd 無人ヘリコプタ
JP5166349B2 (ja) * 2009-05-22 2013-03-21 株式会社日立製作所 固定翼機、固定翼機システムおよび固定翼機の着陸方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4166910A1 (en) * 2021-10-12 2023-04-19 Honeywell International Inc. Methods and systems for providing contextual building height information to aircraft operators

Also Published As

Publication number Publication date
JP2015042201A (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
US20240027774A1 (en) Information processing device that displays a virtual object relative to real space
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
US9324298B2 (en) Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
CN112955713A (zh) 用于在可移动物体环境中进行实时地图构建的技术
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US11367257B2 (en) Information processing apparatus, information processing method, and storage medium
JP6090321B2 (ja) 情報処理装置及びプログラム
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
US11082639B2 (en) Image display method, image display system, flying object, program, and recording medium
US20140152562A1 (en) Display controller, display system, storage medium and method
JP4902236B2 (ja) 三次元地図表示装置、三次元地図表示プログラム及び三次元地図表示プログラムを記録した記録媒体
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
JP6665402B2 (ja) コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP2015074277A (ja) 飛行体制御システム、端末装置、情報処理方法、およびプログラム
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
CN113677412B (zh) 信息处理装置、信息处理方法和程序
JP6512679B2 (ja) 情報システム、上空地図情報出力方法、およびプログラム
CN115699134A (zh) 在可移动物体环境中使用紧凑有效载荷绘图的技术
CN111868656B (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
US20160362190A1 (en) Synthetic vision
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
WO2023032292A1 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
KR102204435B1 (ko) 무인항공기를 이용한 증강현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 기록매체
JP2020098635A (ja) コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R150 Certificate of patent or registration of utility model

Ref document number: 6512679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250