JP6615053B2 - Mobile terminal with popup information function and popup information system - Google Patents

Mobile terminal with popup information function and popup information system Download PDF

Info

Publication number
JP6615053B2
JP6615053B2 JP2016119640A JP2016119640A JP6615053B2 JP 6615053 B2 JP6615053 B2 JP 6615053B2 JP 2016119640 A JP2016119640 A JP 2016119640A JP 2016119640 A JP2016119640 A JP 2016119640A JP 6615053 B2 JP6615053 B2 JP 6615053B2
Authority
JP
Japan
Prior art keywords
information
pop
mobile terminal
popup
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016119640A
Other languages
Japanese (ja)
Other versions
JP2017223567A (en
Inventor
祐太 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016119640A priority Critical patent/JP6615053B2/en
Publication of JP2017223567A publication Critical patent/JP2017223567A/en
Application granted granted Critical
Publication of JP6615053B2 publication Critical patent/JP6615053B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

この発明は、ポップアップ情報機能付き移動端末及び、ポップアップ情報システムに関するものである。   The present invention relates to a mobile terminal with a pop-up information function and a pop-up information system.

従来、移動体の位置を元に、近隣に存在する情報をポップアップ情報として表示する技術が提案されている(例えば、特許文献1参照)。特許文献1のシステムでは、カーナビゲーションシステムにおける利用を目的として、車両の周辺に存在する観光情報等を画面上に、地図と重ねてポップアップ表示する。   Conventionally, a technique for displaying information existing in the vicinity as pop-up information based on the position of a moving body has been proposed (see, for example, Patent Document 1). In the system of Patent Literature 1, for the purpose of use in a car navigation system, sightseeing information and the like existing around the vehicle are displayed in a pop-up on the screen, overlapping the map.

特開2009−068866号公報JP 2009-068866 A

特許文献1に記載する観光情報表示装置では、データベース等に登録されているポップアップ情報の位置情報と、移動体の現在地、移動経路とに基づいて、移動体の画面に表示する地図と重ねてポップアップ情報の表示を行う。そして、各ポップアップ情報の表示、非表示の判断は、移動体からの距離や、表示するポップアップの数により制限できる。   In the tourist information display device described in Patent Document 1, a pop-up is superimposed on a map to be displayed on the screen of the moving body based on the position information of the pop-up information registered in the database and the present location and moving route of the moving body. Display information. The display / non-display determination of each pop-up information can be limited by the distance from the moving body and the number of pop-ups to be displayed.

しかし、狭い範囲に表示すべきポップアップ情報が大量に登録されている場合は、多数の表示がオーバラップして、ユーザが本当に欲しい情報が画面上で判別できなくなり、表示数を制限すると、今度はユーザにとって必要なポップアップ情報が画面に表示されないという課題があった。   However, if a large amount of pop-up information that should be displayed in a narrow range is registered, many displays overlap, making it impossible to determine the information that the user really wants on the screen. There is a problem that pop-up information necessary for the user is not displayed on the screen.

この発明は、上記のような課題を解決するためになされたものであり、移動端末の周囲にポップアップ情報を表示すべき対象が大量に存在する場合でも、簡単な設定でポップアップ情報の表示の重複を避け、ユーザによる情報の見落としを防ぐことができるポップアップ情報機能付き移動端末及び、ポップアップ情報システムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and even when there are a large number of objects to display pop-up information around a mobile terminal, duplication of display of pop-up information with simple settings. It is an object of the present invention to provide a mobile terminal with a pop-up information function and a pop-up information system that can prevent information from being overlooked by a user.

この発明に係る、ポップアップ情報機能付き移動端末は、
移動端末の周囲に存在するポップアップ情報表示対象に関する情報をポップアップ情報として画面表示するポップアップ情報機能付き移動端末であって、
カメラと、前記カメラで捉えた背景映像を連続的に表示する画面と、前記移動端末の現在位置情報を取得するGPSアンテナと、前記カメラが正対する方位を取得する地磁気センサと、
前記移動端末から、どれだけ離れた前記ポップアップ情報表示対象までの前記ポップアップ情報を前記画面に表示させるかを設定する取得範囲及び、前記カメラが正対する方位からの差を角度で設定するオフセットを設定する表示設定情報と、
前記移動端末に表示する複数の前記ポップアップ情報表示対象の位置及び、その位置に関する諸情報をポップアップ情報として保存したポップアップ情報ファイルと、
前記移動端末の現在位置を取得し、前記カメラが正対する方位を取得し、前記カメラの視野角を取得する基本情報取得部と、
前記移動端末の前記現在位置を元に、前記移動端末から前記取得範囲以内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報を、前記ポップアップ情報ファイルから取得するポップアップ情報取得部と、
前記ポップアップ情報取得部により取得した前記ポップアップ情報から、
前記移動端末から見て前記方位から前記オフセットで設定された角度の範囲内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報のグループB1と、
前記移動端末から見て前記方位から前記オフセットで設定された角度の範囲外、かつ、前記視野角の範囲内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報のグループB2とを仕分けるポップアップ情報仕分部と、
前記グループB1及び前記グループB2に属する前記ポップアップ情報を前記画面に表示するポップアップ情報表示部とを備え、
前記グループB2に属する前記ポップアップ情報の表示情報量は、前記グループB1に属する前記ポップアップ情報の表示情報量より少ないものである。
According to the present invention, a mobile terminal with a pop-up information function,
A mobile terminal with a pop-up information function that displays information on a pop-up information display target existing around the mobile terminal as pop-up information,
A camera, a screen that continuously displays a background image captured by the camera, a GPS antenna that acquires current position information of the mobile terminal, a geomagnetic sensor that acquires a azimuth facing the camera,
Set an acquisition range for setting the pop-up information from the mobile terminal to the pop-up information display target to be displayed on the screen, and an offset for setting the difference from the azimuth facing the camera in angle Display setting information to be
Pop-up information file storing a plurality of pop-up information display target positions to be displayed on the mobile terminal, and various pieces of information regarding the positions as pop-up information,
A basic information acquisition unit that acquires a current position of the mobile terminal, acquires a direction in which the camera is directly facing, and acquires a viewing angle of the camera;
Based on the current position of the mobile terminal, the pop-up information acquisition unit that acquires the pop-up information related to the pop-up information display target existing within the acquisition range from the mobile terminal, from the pop-up information file;
From the popup information acquired by the popup information acquisition unit,
A group B1 of the pop-up information related to the pop-up information display target existing within an angle range set by the offset from the azimuth as seen from the mobile terminal;
Pop-up information sorting unit for sorting the pop-up information group B2 related to the pop-up information display target that exists outside the range of angles set by the offset from the azimuth as viewed from the mobile terminal and within the range of the viewing angle When,
A pop-up information display unit for displaying the pop-up information belonging to the group B1 and the group B2 on the screen;
The display information amount of the pop-up information belonging to the group B2 is smaller than the display information amount of the pop-up information belonging to the group B1.

この発明に係る、ポップアップ情報システムは、
前記ポップアップ情報機能付き移動端末と、
前記移動端末に備えた通信用のアンテナと、
前記移動端末とネットワークを介して接続されたサーバとからなり、
前記サーバは、前記移動端末の前記ポップアップ情報取得部と同機能を有するサーバポップアップ情報取得部と、前記移動端末の前記ポップアップ情報ファイルと同構成を有するサーバポップアップ情報ファイルと、前記サーバポップアップ情報ファイルにデータを追加、編集、削除するポップアップ情報登録部とを備え、
前記移動端末は、前記画面に表示すべき前記ポップアップ情報を前記サーバから取得するものである。
The pop-up information system according to this invention is
The mobile terminal with the pop-up information function;
A communication antenna provided in the mobile terminal;
A server connected to the mobile terminal via a network;
The server includes a server popup information acquisition unit having the same function as the popup information acquisition unit of the mobile terminal, a server popup information file having the same configuration as the popup information file of the mobile terminal, and the server popup information file. With a pop-up information registration section to add, edit, and delete data
The mobile terminal acquires the pop-up information to be displayed on the screen from the server.

この発明に係る、ポップアップ情報機能付き移動端末及び、ポップアップ情報システムは、上記のように構成されたものなので、移動端末の周囲にポップアップ情報を有するポップアップ情報表示対象が大量に存在する場合でも、多数のポップアップ情報が画面上で重なり合って、欲しい情報を見逃してしまうことを防止できる。   Since the mobile terminal with pop-up information function and the pop-up information system according to the present invention are configured as described above, a large number of pop-up information display objects having pop-up information exist around the mobile terminal. It is possible to prevent the pop-up information from overlapping on the screen and missing the desired information.

この発明の実施の形態1に係るポップアップ情報機能付き移動端末の構成を示す図である。It is a figure which shows the structure of the mobile terminal with a pop-up information function which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る移動端末の画面に映し出された背景映像にオーバラップさせて表示されたポップアップ情報を示す図である。It is a figure which shows the pop-up information displayed by making it overlap with the background image | video projected on the screen of the mobile terminal which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る移動端末と、ポップアップ情報表示対象との位置関係を示す図である。It is a figure which shows the positional relationship of the mobile terminal which concerns on Embodiment 1 of this invention, and a pop-up information display object. この発明の実施の形態1に係る表示設定情報の構成を示す図である。It is a figure which shows the structure of the display setting information which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係るポップアップ情報ファイルの1レコード構成を示す図である。It is a figure which shows 1 record structure of the pop-up information file which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る移動端末のポップアップ情報の表示フローを示す図である。It is a figure which shows the display flow of the pop-up information of the mobile terminal which concerns on Embodiment 1 of this invention. この発明の実施の形態2に係るポップアップ情報システムの構成を示す図である。It is a figure which shows the structure of the pop-up information system which concerns on Embodiment 2 of this invention.

実施の形態1.
以下、本発明の実施の形態1に係るポップアップ情報機能付き移動端末を、図を用いて説明する。
図1は、この発明の実施の形態1に係るポップアップ情報機能付き移動端末10の構成を示す図である。
図2は、移動端末10の画面10dに映し出された背景映像にオーバラップさせて表示されたポップアップ情報を示す図である。
図3は、移動端末10と、ポップアップ情報表示対象P1〜P6との位置関係を示す図である。
Embodiment 1 FIG.
Hereinafter, a mobile terminal with a pop-up information function according to Embodiment 1 of the present invention will be described with reference to the drawings.
1 is a diagram showing a configuration of a mobile terminal 10 with a pop-up information function according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing pop-up information displayed so as to overlap with the background video displayed on the screen 10 d of the mobile terminal 10.
FIG. 3 is a diagram illustrating a positional relationship between the mobile terminal 10 and the pop-up information display targets P1 to P6.

移動端末10は、ハードウェア構成として、カメラ10cと、カメラ10cで捉えた背景映像を連続的に表示する画面10dと、移動端末10の位置情報をGPS衛星から取得するGPSセンサ10gと、カメラ10cが正対する方位を取得する地磁気センサ10Tとを備える。   The mobile terminal 10 has, as a hardware configuration, a camera 10c, a screen 10d that continuously displays a background image captured by the camera 10c, a GPS sensor 10g that acquires position information of the mobile terminal 10 from a GPS satellite, and a camera 10c. Is provided with a geomagnetic sensor 10T that acquires the azimuth that is directly opposite.

移動端末10は、移動端末利用者19が携帯する。移動端末10の画面10d上には、カメラ10cによって捉えられた背景映像にオーバラップさせて、当該背景映像中の特定の位置に存在するポップアップ情報表示対象PN(例えば、配電盤等の具体的な設置物)に関する情報を表示する。移動端末利用者19が、移動端末10(カメラ10c)をパンすると、背景映像もオーバラップ表示されているポップアップ情報JNもリアルタイムに変化する。   The mobile terminal user 19 carries the mobile terminal 10. On the screen 10d of the mobile terminal 10, a pop-up information display target PN (for example, a specific installation of a switchboard or the like) existing at a specific position in the background video is overlapped with the background video captured by the camera 10c. Information on the object). When the mobile terminal user 19 pans the mobile terminal 10 (camera 10c), the pop-up information JN in which the background video and the overlap display are also changed in real time.

移動端末10は、データとして、表示設定情報14とポップアップ情報ファイル15とを備える。表示設定情報14は、カメラ10cで捉えた背景映像にオーバラップさせて、画面10dに表示させるポップアップ情報の表示内容を設定するために用いるデータである。また、ポップアップ情報ファイル15は、移動端末10に表示すべきポップアップ情報表示対象PNの位置及び、その位置に関する諸情報を1レコードとして、これを複数レコード保存したファイルである。   The mobile terminal 10 includes display setting information 14 and a pop-up information file 15 as data. The display setting information 14 is data used to set the display content of the pop-up information that is displayed on the screen 10d so as to overlap the background image captured by the camera 10c. Further, the pop-up information file 15 is a file in which a plurality of records are stored with the position of the pop-up information display target PN to be displayed on the mobile terminal 10 and various information regarding the position as one record.

また、移動端末10は、表示設定部13と、基本情報取得部16と、ポップアップ情報取得部12と、ポップアップ情報仕分部17と、ポップアップ情報表示部11とを備える。表示設定部13は、表示設定情報14を編集する機能を有する。基本情報取得部16は、GPSセンサ10gから移動端末10の現在位置を取得したり、地磁気センサ10Tを用いて、カメラ10cが正対する方位を取得したり、カメラ10cの視野角を取得する機能を有する。ポップアップ情報取得部12は、移動端末10の現在位置情報を元に、表示設定情報14に設定された諸条件に合致するポップアップ情報JNをポップアップ情報ファイル15から取得する機能を有する。ポップアップ情報仕分部17は、ポップアップ情報取得部12が取得したポップアップ情報JNをグループに仕分ける機能を有し、ポップアップ情報表示部11は、ポップアップ情報仕分部17により仕分けられた各グループのポップアップ情報JNを、画面10dの所定の位置に所定の構成で表示する機能を有する。   In addition, the mobile terminal 10 includes a display setting unit 13, a basic information acquisition unit 16, a popup information acquisition unit 12, a popup information sorting unit 17, and a popup information display unit 11. The display setting unit 13 has a function of editing the display setting information 14. The basic information acquisition unit 16 has a function of acquiring the current position of the mobile terminal 10 from the GPS sensor 10g, using the geomagnetic sensor 10T, acquiring the direction in which the camera 10c is directly facing, and acquiring the viewing angle of the camera 10c. Have. The pop-up information acquisition unit 12 has a function of acquiring, from the pop-up information file 15, pop-up information JN that matches various conditions set in the display setting information 14 based on the current position information of the mobile terminal 10. The pop-up information sorting unit 17 has a function of sorting the pop-up information JN acquired by the pop-up information acquiring unit 12 into groups, and the pop-up information display unit 11 stores the pop-up information JN of each group sorted by the pop-up information sorting unit 17. , And a function of displaying in a predetermined configuration at a predetermined position on the screen 10d.

図4は、表示設定情報14の構成を示す図である。
移動端末利用者19は、表示設定部13を用いて、表示設定情報14を設定する。取得範囲31は、移動端末10から、どれだけ離れたポップアップ情報表示対象PNまでのポップアップ情報JNを画面表示させるかを設定する項目である。100mと設定すると、移動端末利用者19の現在地から100mの範囲にあるポップアップ情報表示対象PNについてのポップアップ情報JNが画面表示の対象となる。
FIG. 4 is a diagram showing the configuration of the display setting information 14.
The mobile terminal user 19 uses the display setting unit 13 to set the display setting information 14. The acquisition range 31 is an item for setting how much pop-up information JN from the mobile terminal 10 to the pop-up information display target PN is displayed on the screen. When set to 100 m, the pop-up information JN for the pop-up information display target PN in the range of 100 m from the current location of the mobile terminal user 19 is the screen display target.

端末ユーザ区分32は、移動端末利用者19の所属を示す項目である。例えば、点検者、管理者等が考えられる。ユーザ区分を利用して、表示制限を設けることも可能である。   The terminal user classification 32 is an item indicating the affiliation of the mobile terminal user 19. For example, an inspector or a manager can be considered. It is also possible to set display restrictions using user classifications.

オフセット35は、カメラ10cが正対する方位から差を度数で設定する。オフセット35に「10度」と設定すると、カメラ10cが正対している方位+−10度の範囲にある、図3に示すポップアップ情報表示対象P1、2に対応する図2に示すポップアップ情報J1、J2のみが、名称43、値44等の内容の表示対象となる。背景画面に映っていて、かつ、取得範囲31内に存在するが、方位Qからオフセット35の範囲内に無いポップアップ情報表示対象P3、P4のポップアップ情報J3、J4は、アイコンのみで表示される。   The offset 35 sets the difference in degrees from the azimuth facing the camera 10c. When the offset 35 is set to “10 degrees”, the popup information J1 shown in FIG. 2 corresponding to the popup information display targets P1 and P2 shown in FIG. Only J2 is a display target of contents such as the name 43 and the value 44. Pop-up information J3 and J4 of the pop-up information display targets P3 and P4 that are displayed on the background screen and are within the acquisition range 31 but not within the range of the offset 35 from the direction Q are displayed only with icons.

図5は、ポップアップ情報ファイル15の1レコード(ポップアップ情報表示対象PNにつき1レコード)の構成を示す図である。設定店所ID41は、ポップアップID42を登録した店所のIDを登録する項目である。ポップアップID42は、ポップアップ情報JNを識別するIDである。ポップアップID42がユニークな値であれば、設定店所ID41は無くても良い。   FIG. 5 is a diagram showing a configuration of one record (one record per popup information display target PN) of the popup information file 15. The setting store ID 41 is an item for registering the ID of the store where the pop-up ID 42 is registered. The pop-up ID 42 is an ID for identifying the pop-up information JN. If the pop-up ID 42 is a unique value, the setting store ID 41 may be omitted.

名称43は、ポップアップID42に対する名称を登録する項目である。値44は、ポップアップ情報JNとして表示すべき内容を登録する項目である。ユーザ区分45は、ポップアップ情報JNを表示すべき移動端末10のユーザ区分を登録する。例えば、「点検者」と登録されている場合は、当該ポップアップ情報JNは、「点検者」が保持している移動端末10にのみ表示されることになる。   The name 43 is an item for registering a name for the pop-up ID 42. A value 44 is an item for registering contents to be displayed as the pop-up information JN. The user classification 45 registers the user classification of the mobile terminal 10 that should display the pop-up information JN. For example, when “inspector” is registered, the pop-up information JN is displayed only on the mobile terminal 10 held by the “inspector”.

緯度46は、ポップアップID42に対応するポップアップ情報表示対象PNが存在する緯度を登録する項目である。経度47は、ポップアップID42に対応するポップアップ情報表示対象PNが存在する経度を登録する項目である。アイコン48は、移動端末10の画面10d上に当該ポップアップ情報JNとしてアイコンだけを表示する場合に利用するアイコンの種類を登録する項目である。   The latitude 46 is an item for registering the latitude where the popup information display target PN corresponding to the popup ID 42 exists. The longitude 47 is an item for registering the longitude in which the popup information display target PN corresponding to the popup ID 42 exists. The icon 48 is an item for registering the type of icon used when only the icon is displayed as the pop-up information JN on the screen 10d of the mobile terminal 10.

次に、移動端末10の画面に、カメラ10cにより捉えられた背景映像に、ポップアップ情報JNをオーバラップさせて画面10dに表示する手順に付いて説明する。
図6は、移動端末10のポップアップ情報JNの表示フローを示す図である。
Next, a procedure for overlapping the pop-up information JN with the background video captured by the camera 10c on the screen of the mobile terminal 10 and displaying it on the screen 10d will be described.
FIG. 6 is a diagram illustrating a display flow of the pop-up information JN of the mobile terminal 10.

まず、基本情報取得部16を用いて、GPSセンサ10gから移動端末10の現在の位置を取得し、地磁気センサ10Tから、カメラ10cのレンズが正対する方位Qを取得し、カメラ10cからカメラ10cの現在の視野角Sを取得する(S001)。次に、ポップアップ情報取得部12により、表示設定情報14の取得範囲31に記載された範囲内に存在するポップアップ情報表示対象PNのポップアップ情報JNを取得する(S002)。具体的には、ポップアップ情報ファイル15の中から、移動端末10の位置から取得範囲31に設定された距離内にあり、かつ、表示設定情報14の端末ユーザ区分32と、ユーザ区分45が一致するポップアップ情報JN(グループA)を取得する。   First, the basic information acquisition unit 16 is used to acquire the current position of the mobile terminal 10 from the GPS sensor 10g, the azimuth Q that the lens of the camera 10c faces directly from the geomagnetic sensor 10T, and the camera 10c to the camera 10c. The current viewing angle S is acquired (S001). Next, the pop-up information acquisition unit 12 acquires the pop-up information JN of the pop-up information display target PN existing within the range described in the acquisition range 31 of the display setting information 14 (S002). Specifically, it is within the distance set in the acquisition range 31 from the position of the mobile terminal 10 in the pop-up information file 15, and the terminal user classification 32 and the user classification 45 of the display setting information 14 match. Pop-up information JN (group A) is acquired.

なお、各ポップアップ情報表示対象PNの位置は、ポップアップ情報ファイル15に設定した緯度46と経度47から分かる。移動端末10の位置と、各ポップアップ情報表示対象PNとの位置から、移動端末10の位置から各ポップアップ情報表示対象PNまでの距離が算出できる。したがって、図3の例では、ポップアップ情報表示対象P5以外のポップアップ情報表示対象P1〜P4、P6に対応するポップアップ情報J1〜J4、J6が取得されることになる。また、移動端末10の位置と、各ポップアップ情報表示対象PNとの位置から、移動端末10の位置から見た、各ポップアップ情報表示対象PNの方位が算出できる。   Note that the position of each popup information display target PN is known from the latitude 46 and longitude 47 set in the popup information file 15. From the position of the mobile terminal 10 and the position of each pop-up information display target PN, the distance from the position of the mobile terminal 10 to each pop-up information display target PN can be calculated. Therefore, in the example of FIG. 3, the pop-up information J1 to J4 and J6 corresponding to the pop-up information display targets P1 to P4 and P6 other than the pop-up information display target P5 are acquired. Further, from the position of the mobile terminal 10 and the position of each pop-up information display target PN, the orientation of each pop-up information display target PN viewed from the position of the mobile terminal 10 can be calculated.

次に、取得されたポップアップ情報(グループA)の中から、ポップアップ情報仕分部17により、現在の視野角S内に存在するポップアップ情報表示対象PNのポップアップ情報JN(グループB)を抽出し(S003)、更に、グループBのポップアップ情報JNを、次のグループB1とグループB2の2グループに仕分ける(S004)。グループB1は、移動端末10から見て、カメラ10cが向いている方位Qから、プラスマイナス、オフセット35に設定された角度の範囲内に存在するポップアップ情報表示対象PNに関するポップアップ情報JNを集めたグループである。グループB2は、それ以外のポップアップ情報表示対象PNに関するポップアップ情報JNを集めたグループである。図2、図3では、ポップアップ情報J1、J2がグループB1に属し、ポップアップ情報J3、J4がグループB2に属し、ポップアップ情報J6は、グループAに属するが、グループB1、B2には属しない。   Next, the pop-up information sorting unit 17 extracts the pop-up information JN (group B) of the pop-up information display target PN existing within the current viewing angle S from the acquired pop-up information (group A) (S003). Further, the pop-up information JN of the group B is sorted into two groups, the next group B1 and group B2 (S004). The group B1 is a group in which the pop-up information JN related to the pop-up information display target PN existing within the range of angles set to plus / minus and offset 35 from the direction Q facing the camera 10c when viewed from the mobile terminal 10 is collected. It is. The group B2 is a group that collects pop-up information JN related to the other pop-up information display target PN. 2 and 3, the pop-up information J1 and J2 belong to the group B1, the pop-up information J3 and J4 belong to the group B2, and the pop-up information J6 belongs to the group A, but does not belong to the groups B1 and B2.

次に、ポップアップ情報表示部11により、グループB1、グループB2に属するポップアップ情報JNを画面10dに表示されている背景映像にオーバラップさせて表示する。図2に示すように、画面10dの左右方向の中央が方位Qである。画面の横幅が視野角Sに対応する。よって、画面10dには、方位Qを中央として、左右に視野角Sの範囲の背景映像が映っている。グループB1に該当するポップアップ情報JNは、「ポップアップID」、「名称」、「値」の項目を表示する。表示位置は、横方向には、ポップアップ情報JNを表示する枠Wの横方向の中央位置が、画面10d上における、移動端末10から当該ポップアップ情報表示対象PNを見た方位と一致する位置とする。   Next, the pop-up information display unit 11 displays the pop-up information JN belonging to the groups B1 and B2 so as to overlap the background video displayed on the screen 10d. As shown in FIG. 2, the center in the left-right direction of the screen 10d is the direction Q. The width of the screen corresponds to the viewing angle S. Therefore, the background image in the range of the viewing angle S is shown on the left and right of the screen 10d with the direction Q as the center. The pop-up information JN corresponding to the group B1 displays items of “pop-up ID”, “name”, and “value”. The display position is a position in the horizontal direction where the horizontal center position of the frame W displaying the pop-up information JN coincides with the orientation on the screen 10d when the pop-up information display target PN is viewed from the mobile terminal 10. .

縦方向の位置は、画面下部とする。複数のポップアップ情報JNの枠Wが重複する場合は、移動端末10からの距離が近いポップアップ情報表示対象PNのポップアップ情報JNが画面下側となるように表示する(図2では、ポップアップ情報J1がポップアップ情報J2より上に表示されている)。   The vertical position is at the bottom of the screen. When the frames W of the plurality of pop-up information JN overlap, the pop-up information JN of the pop-up information display target PN having a short distance from the mobile terminal 10 is displayed on the lower side of the screen (in FIG. 2, the pop-up information J1 is displayed). Pop-up information J2 is displayed above).

グループB2に属するポップアップ情報JN(図2では、ポップアップ情報J3、J4)は、アイコンのみを表示する。使用するアイコン48は、アイコンファイル18から取得する。アイコン48の表示位置は、グループB1と基本的に同じである。   The pop-up information JN (pop-up information J3, J4 in FIG. 2) belonging to the group B2 displays only icons. The icon 48 to be used is acquired from the icon file 18. The display position of the icon 48 is basically the same as that of the group B1.

上述のように、移動端末10の位置から各ポップアップ情報表示対象PNまでの距離は算出できる。画面表示する各ポップアップ情報JNに、各ポップアップ情報表示対象PNまでの距離を併せて表示することも可能である。   As described above, the distance from the position of the mobile terminal 10 to each popup information display target PN can be calculated. It is also possible to display the distance to each popup information display target PN together with each popup information JN displayed on the screen.

この発明の実施の形態1に係るポップアップ情報機能付き移動端末10によれば、移動端末10の画面10dの中央(方位Q)から、オフセット35で指定した角度内に位置し、かつ、移動端末10の現在の位置から取得範囲31で指定した距離以内にあるポップアップ情報表示対象PNに対応するポップアップ情報JNは詳細に表示し、オフセット35で指定した角度外に位置し、かつ、移動端末10の現在の位置から取得範囲31で指定した距離以内にあるその他のポップアップ情報表示対象PNに対応するポップアップ情報JNは、アイコンだけで表示する。したがって、移動端末10の周囲にポップアップ情報JNを有するポップアップ情報表示対象PNが大量に存在する場合でも、多数のポップアップ情報JNが画面10d上で重なり合って、欲しい情報を見逃してしまうことを防止できる。   According to the mobile terminal 10 with the pop-up information function according to the first embodiment of the present invention, the mobile terminal 10 is located within an angle designated by the offset 35 from the center (direction Q) of the screen 10d of the mobile terminal 10. Pop-up information JN corresponding to the pop-up information display target PN within the distance specified by the acquisition range 31 from the current position of the current position is displayed in detail, located outside the angle specified by the offset 35, and the current position of the mobile terminal 10 The pop-up information JN corresponding to the other pop-up information display target PN within the distance specified by the acquisition range 31 from the position of is displayed only with an icon. Therefore, even when there are a large number of pop-up information display target PNs having the pop-up information JN around the mobile terminal 10, it is possible to prevent many pieces of pop-up information JN from overlapping on the screen 10d and missing the desired information.

また、オフセット35、取得範囲31を簡単に変更できるので、ポップアップ情報表示対象PNの密度に合わせて、最適な画面構成を得ることができる。   Further, since the offset 35 and the acquisition range 31 can be easily changed, an optimal screen configuration can be obtained in accordance with the density of the pop-up information display target PN.

また、ユーザが移動端末10の向きを変えれば、その時のカメラ10cが正対する方位を中心としてオフセット35で指定した角度以内に存在するポップアップ情報JNの内容を詳細に表示できるので、まず、アイコンを目当てに既知のポップアップ情報表示対象PNを探し出し、次に、当該アイコンが画面10dの中央寄りに表示されるようにカメラ10cを向けるだけで、容易に詳細なポップアップ情報JNにアクセスできる。   Further, if the user changes the orientation of the mobile terminal 10, the contents of the pop-up information JN existing within the angle specified by the offset 35 with the camera 10c facing the current direction as the center can be displayed in detail. Detailed pop-up information JN can be easily accessed simply by searching for a known pop-up information display target PN for the purpose and then pointing the camera 10c so that the icon is displayed near the center of the screen 10d.

なお、本実施の形態では、複数のポップアップ情報表示対象PNに対するそれぞれのポップアップ情報JNをフル表示する場合に、移動端末10からの位置が近いものを下側としたが、上下にはランダムに表示し、移動端末10からポップアップ情報表示対象PNまでの距離を計算して表示してもよい。   In this embodiment, when the pop-up information JN for a plurality of pop-up information display objects PN is displayed in full, the one close to the position from the mobile terminal 10 is set as the lower side, but is displayed randomly at the top and bottom. Then, the distance from the mobile terminal 10 to the pop-up information display target PN may be calculated and displayed.

更に、ポップアップID42等の文字、又は枠WをM段階に色分けして表示するように設定しておけば、取得範囲31の値をMで割ることにより、ポップアップ情報表示対象PNまでのおおよその距離が分かるようすることもできる。   Furthermore, if the character such as the pop-up ID 42 or the frame W is set to be displayed in different colors in M stages, the approximate distance to the pop-up information display target PN is obtained by dividing the value of the acquisition range 31 by M. Can be made to understand.

また、本実施の形態では、グループB2に属するポップアップ情報JNは、アイコン表示としたが、グループB2に属するポップアップ情報JNの方が、グループB1に属するポップアップ情報JNより表示される情報量が少なければ、例えば、名称だけを表示してもよい。   In this embodiment, the pop-up information JN belonging to the group B2 is displayed as an icon. However, the pop-up information JN belonging to the group B2 should be displayed in a smaller amount than the pop-up information JN belonging to the group B1. For example, only the name may be displayed.

また、本実施の形態ではオフセット35として角度を設定したが、画面10dの横方向中央が方位Qを向き、画面全体の視野角Sは分かっているので、画面中央から、横方向に所定の範囲を表すオフセット35を「長さ」で指定することも可能である。オフセット35の値を画面10dの横幅で除し、さらに視野角Sを乗ずることにより、オフセット35について上述した「角度」を得ることができるからである。   In this embodiment, the angle is set as the offset 35. However, since the horizontal center of the screen 10d faces the azimuth Q, and the viewing angle S of the entire screen is known, a predetermined range in the horizontal direction from the screen center. It is also possible to designate an offset 35 representing “length”. This is because the “angle” described above for the offset 35 can be obtained by dividing the value of the offset 35 by the horizontal width of the screen 10 d and multiplying by the viewing angle S.

実施の形態2.
以下、本発明の実施の形態2に係る、ポップアップ情報システム200を図を用いて実施の形態1と異なる部分を中心に説明する。
図7は、ポップアップ情報システム200の構成を示す図である。ポップアップ情報システム200は、移動端末210と、ネットワーク4を介して接続可能なサーバ20とからなる。移動端末210は、実施の形態1で説明した移動端末10に、ネットワーク4に接続するためのアンテナ10aを備えたものである。サーバ20は、サーバ管理者29が操作する。
Embodiment 2. FIG.
Hereinafter, the pop-up information system 200 according to the second embodiment of the present invention will be described with a focus on differences from the first embodiment with reference to the drawings.
FIG. 7 is a diagram showing the configuration of the pop-up information system 200. The pop-up information system 200 includes a mobile terminal 210 and a server 20 that can be connected via the network 4. The mobile terminal 210 is provided with the antenna 10 a for connecting to the network 4 to the mobile terminal 10 described in the first embodiment. The server 20 is operated by the server administrator 29.

サーバ20は、移動端末10のポップアップ情報取得部12と同等の機能を有するサーバポップアップ情報取得部22と、移動端末10のポップアップ情報ファイル15と同等の内容を有するサーバポップアップ情報ファイル25と、サーバポップアップ情報ファイル25にデータを追加、編集、削除するポップアップ情報登録部23とを備える。   The server 20 includes a server pop-up information acquisition unit 22 having the same function as the pop-up information acquisition unit 12 of the mobile terminal 10, a server pop-up information file 25 having the same content as the pop-up information file 15 of the mobile terminal 10, and a server pop-up. And a pop-up information registration unit 23 for adding, editing, and deleting data to the information file 25.

本実施の形態では、移動端末210のポップアップ情報取得部212は、サーバポップアップ情報取得部22にデータの取得を依頼する。そして、ポップアップ情報仕分部217、ポップアップ情報表示部211は、サーバ20のサーバポップアップ情報ファイル25のデータを利用して移動端末210の画面10dに表示するポップアップ情報を仕分け、表示する。その他については、実施の形態1と同じである。   In the present embodiment, the pop-up information acquisition unit 212 of the mobile terminal 210 requests the server pop-up information acquisition unit 22 to acquire data. Then, the pop-up information sorting unit 217 and the pop-up information display unit 211 sort and display the pop-up information to be displayed on the screen 10d of the mobile terminal 210 using the data of the server pop-up information file 25 of the server 20. Others are the same as those in the first embodiment.

なお、移動端末210とサーバ20との通信ができない場合は、移動端末210内にキャッシュしておいたポップアップ情報ファイル215から必要なデータを取得する。   If communication between the mobile terminal 210 and the server 20 is not possible, necessary data is acquired from the pop-up information file 215 cached in the mobile terminal 210.

この発明の実施の形態2に係るポップアップ情報システムによれば、実施の形態1に係るポップアップ情報機能付き移動端末と同様の効果の他に、サーバポップアップ情報ファイル25の保守が容易にできる利点がある。 According to the pop-up information system according to the second embodiment of the present invention, in addition to the same effects as the mobile terminal with the pop-up information function according to the first embodiment, there is an advantage that the server pop-up information file 25 can be easily maintained. .

尚、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。   It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.

10,210 移動端末、10T 地磁気センサ、10a アンテナ、
10c カメラ、10d 画面、10g GPSセンサ、
11,211 ポップアップ情報表示部、12,212 ポップアップ情報取得部、
13 表示設定部、14 表示設定情報、15 ポップアップ情報ファイル、
16 基本情報取得部、17,217 ポップアップ情報仕分部、
19 移動端末利用者、Q 方位、S 視野角、W 枠、20 サーバ、
22 サーバポップアップ情報取得部、23 サーバポップアップ情報登録部、
25 サーバポップアップ情報ファイル、29 サーバ管理者、31 取得範囲、
32 端末ユーザ区分、35 オフセット、41 設定店所ID、
42 ポップアップID、43 名称、44 値、45 ユーザ区分、46 緯度、
47 経度、48 アイコン、J1〜JN ポップアップ情報、
P1〜PN ポップアップ情報表示対象、200 ポップアップ情報システム。
10,210 mobile terminal, 10T geomagnetic sensor, 10a antenna,
10c camera, 10d screen, 10g GPS sensor,
11, 211 popup information display part, 12,212 popup information acquisition part,
13 Display setting section, 14 Display setting information, 15 Pop-up information file,
16 Basic information acquisition unit, 17, 217 Pop-up information sorting unit,
19 Mobile terminal user, Q direction, S viewing angle, W frame, 20 server,
22 server popup information acquisition unit, 23 server popup information registration unit,
25 Server popup information file, 29 Server administrator, 31 Acquisition range,
32 terminal user classification, 35 offset, 41 setting store ID,
42 pop-up ID, 43 name, 44 value, 45 user category, 46 latitude,
47 longitude, 48 icons, J1-JN popup information,
P1 to PN popup information display target, 200 popup information system.

Claims (8)

移動端末の周囲に存在するポップアップ情報表示対象に関する情報をポップアップ情報として画面表示するポップアップ情報機能付き移動端末であって、
カメラと、前記カメラで捉えた背景映像を連続的に表示する画面と、前記移動端末の現在位置情報を取得するGPSアンテナと、前記カメラが正対する方位を取得する地磁気センサと、
前記移動端末から、どれだけ離れた前記ポップアップ情報表示対象までの前記ポップアップ情報を前記画面に表示させるかを設定する取得範囲及び、前記カメラが正対する方位からの差を角度で設定するオフセットを設定する表示設定情報と、
前記移動端末に表示する複数の前記ポップアップ情報表示対象の位置及び、その位置に関する諸情報をポップアップ情報として保存したポップアップ情報ファイルと、
前記移動端末の現在位置を取得し、前記カメラが正対する方位を取得し、前記カメラの視野角を取得する基本情報取得部と、
前記移動端末の前記現在位置を元に、前記移動端末から前記取得範囲以内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報を、前記ポップアップ情報ファイルから取得するポップアップ情報取得部と、
前記ポップアップ情報取得部により取得した前記ポップアップ情報から、
前記移動端末から見て前記方位から前記オフセットで設定された角度の範囲内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報のグループB1と、
前記移動端末から見て前記方位から前記オフセットで設定された角度の範囲外、かつ、前記視野角の範囲内に存在する前記ポップアップ情報表示対象に関する前記ポップアップ情報のグループB2とを仕分けるポップアップ情報仕分部と、
前記グループB1及び前記グループB2に属する前記ポップアップ情報を前記画面に表示するポップアップ情報表示部とを備え、
前記グループB2に属する前記ポップアップ情報の表示情報量は、前記グループB1に属する前記ポップアップ情報の表示情報量より少ないポップアップ情報機能付き移動端末。
A mobile terminal with a pop-up information function that displays information on a pop-up information display target existing around the mobile terminal as pop-up information,
A camera, a screen that continuously displays a background image captured by the camera, a GPS antenna that acquires current position information of the mobile terminal, a geomagnetic sensor that acquires a azimuth facing the camera,
Set an acquisition range for setting the pop-up information from the mobile terminal to the pop-up information display target to be displayed on the screen, and an offset for setting the difference from the azimuth facing the camera in angle Display setting information to be
Pop-up information file storing a plurality of pop-up information display target positions to be displayed on the mobile terminal, and various pieces of information regarding the positions as pop-up information,
A basic information acquisition unit that acquires a current position of the mobile terminal, acquires a direction in which the camera is directly facing, and acquires a viewing angle of the camera;
Based on the current position of the mobile terminal, the pop-up information acquisition unit that acquires the pop-up information related to the pop-up information display target existing within the acquisition range from the mobile terminal, from the pop-up information file;
From the popup information acquired by the popup information acquisition unit,
A group B1 of the pop-up information related to the pop-up information display target existing within an angle range set by the offset from the azimuth as seen from the mobile terminal;
Pop-up information sorting unit for sorting the pop-up information group B2 related to the pop-up information display target that exists outside the range of angles set by the offset from the azimuth as viewed from the mobile terminal and within the range of the viewing angle When,
A pop-up information display unit for displaying the pop-up information belonging to the group B1 and the group B2 on the screen;
A mobile terminal with a pop-up information function, wherein a display information amount of the pop-up information belonging to the group B2 is smaller than a display information amount of the pop-up information belonging to the group B1.
前記ポップアップ情報表示部は、
前記画面上、横方向において、前記移動端末から前記ポップアップ情報表示対象を見た方位と一致する位置に前記ポップアップ情報を表示する請求項1に記載のポップアップ情報機能付き移動端末。
The pop-up information display part
The mobile terminal with a pop-up information function according to claim 1, wherein the pop-up information is displayed at a position on the screen in a horizontal direction that coincides with a direction in which the pop-up information display target is viewed from the mobile terminal.
複数の前記ポップアップ情報が前記画面上で重なる場合は、前記移動端末から近い方を前記画面の下側に表示する請求項2に記載のポップアップ情報機能付き移動端末。 The mobile terminal with a pop-up information function according to claim 2, wherein when a plurality of the pop-up information overlaps on the screen, the one closer to the mobile terminal is displayed on the lower side of the screen. 前記グループB2に属する前記ポップアップ情報は、アイコンで表示する請求項1から請求項3のいずれか1項に記載のポップアップ情報機能付き移動端末。 The mobile terminal with a pop-up information function according to any one of claims 1 to 3, wherein the pop-up information belonging to the group B2 is displayed as an icon. 前記表示設定情報を編集する表示設定部を備えた請求項1から請求項4のいずれか1項に記載のポップアップ情報機能付き移動端末。 The mobile terminal with a pop-up information function according to any one of claims 1 to 4, further comprising a display setting unit that edits the display setting information. 前記ポップアップ情報表示部は、前記ポップアップ情報の表示色を、前記移動端末から前記ポップアップ情報表示対象までの距離に応じて変更する請求項1から請求項5のいずれか1項に記載のポップアップ情報機能付き移動端末。 The popup information display unit according to any one of claims 1 to 5, wherein the popup information display unit changes a display color of the popup information according to a distance from the mobile terminal to the popup information display target. Mobile terminal with. 前記ポップアップ情報表示部は、前記ポップアップ情報に併せて、前記ポップアップ情報表示対象までの距離を表示する請求項1から請求項6のいずれか1項に記載のポップアップ情報機能付き移動端末。 The mobile terminal with a pop-up information function according to any one of claims 1 to 6, wherein the pop-up information display unit displays a distance to the pop-up information display target together with the pop-up information. 請求項1から請求項7のいずれか1項に記載のポップアップ情報機能付き移動端末と、
前記移動端末に備えた通信用のアンテナと、
前記移動端末とネットワークを介して接続されたサーバとからなり、
前記サーバは、前記移動端末の前記ポップアップ情報取得部と同機能を有するサーバポップアップ情報取得部と、前記移動端末の前記ポップアップ情報ファイルと同構成を有するサーバポップアップ情報ファイルと、前記サーバポップアップ情報ファイルにデータを追加、編集、削除するポップアップ情報登録部とを備え、
前記移動端末は、前記画面に表示すべき前記ポップアップ情報を前記サーバから取得するポップアップ情報システム。
A mobile terminal with a pop-up information function according to any one of claims 1 to 7,
A communication antenna provided in the mobile terminal;
A server connected to the mobile terminal via a network;
The server includes a server popup information acquisition unit having the same function as the popup information acquisition unit of the mobile terminal, a server popup information file having the same configuration as the popup information file of the mobile terminal, and the server popup information file. With a pop-up information registration section to add, edit, and delete data,
The pop-up information system in which the mobile terminal acquires the pop-up information to be displayed on the screen from the server.
JP2016119640A 2016-06-16 2016-06-16 Mobile terminal with popup information function and popup information system Active JP6615053B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016119640A JP6615053B2 (en) 2016-06-16 2016-06-16 Mobile terminal with popup information function and popup information system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016119640A JP6615053B2 (en) 2016-06-16 2016-06-16 Mobile terminal with popup information function and popup information system

Publications (2)

Publication Number Publication Date
JP2017223567A JP2017223567A (en) 2017-12-21
JP6615053B2 true JP6615053B2 (en) 2019-12-04

Family

ID=60687008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016119640A Active JP6615053B2 (en) 2016-06-16 2016-06-16 Mobile terminal with popup information function and popup information system

Country Status (1)

Country Link
JP (1) JP6615053B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210067784A (en) * 2019-11-29 2021-06-08 삼성전자주식회사 Electronic device for providing geo-fencing service and method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059136A (en) * 2004-08-20 2006-03-02 Seiko Epson Corp Viewer apparatus and its program
JP4771047B2 (en) * 2005-03-22 2011-09-14 株式会社デンソー Information display system for vehicles
JP5095321B2 (en) * 2007-09-11 2012-12-12 クラリオン株式会社 Sightseeing information display device, navigation device, and sightseeing information display system
KR20100055254A (en) * 2008-11-17 2010-05-26 엘지전자 주식회사 Method for providing poi information for mobile terminal and apparatus thereof
JP4816748B2 (en) * 2009-03-06 2011-11-16 ソニー株式会社 Navigation device and navigation method
JP4917191B1 (en) * 2010-12-24 2012-04-18 パイオニア株式会社 Image control apparatus and image control method
JP2015105903A (en) * 2013-12-02 2015-06-08 パイオニア株式会社 Navigation device, head-up display, control method, program, and storage medium
JP6627214B2 (en) * 2014-11-10 2020-01-08 日本精機株式会社 Information display device, control method, program, and storage medium

Also Published As

Publication number Publication date
JP2017223567A (en) 2017-12-21

Similar Documents

Publication Publication Date Title
US8331611B2 (en) Overlay information over video
US8812990B2 (en) Method and apparatus for presenting a first person world view of content
US8543917B2 (en) Method and apparatus for presenting a first-person world view of content
US8499234B2 (en) System for communication through spatial bulletin board
US20110043627A1 (en) Locative Video for Situation Awareness
US20130155181A1 (en) Point of interest (poi) data positioning in image
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US20140301645A1 (en) Method and apparatus for mapping a point of interest based on user-captured images
TWI410608B (en) Use the point of interest information to display the system and method of the smartphone lens image
US20110279478A1 (en) Virtual Tagging Method and System
CN112101339B (en) Map interest point information acquisition method and device, electronic equipment and storage medium
AU2011211601A1 (en) Method for providing information on object within view of terminal device, terminal device for same and computer-readable recording medium
US20140019179A1 (en) Forestry and Urban Forestry Project Tracking
US20090171980A1 (en) Methods and apparatus for real estate image capture
US9836826B1 (en) System and method for providing live imagery associated with map locations
US20070100542A1 (en) Method for computer-based determination of a position in a map, navigation device and mobile radio telephone
US9529803B2 (en) Image modification
CN105956091A (en) Extended information acquisition method and device
CN107656961A (en) A kind of method for information display and device
CN111260182A (en) Method, device and storage medium for on-site checking and evidence obtaining of natural resource asset audit
JP2012242202A (en) In-vehicle system
CN105917329B (en) Information display device and information display program
JP6615053B2 (en) Mobile terminal with popup information function and popup information system
Galvin Crime Scene Documentation: Preserving the Evidence and the Growing Role of 3D Laser Scanning
KR101762349B1 (en) Method for providing augmented reality in outdoor environment, augmented reality providing server performing the same, and storage medium storing the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6615053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250