JP7155195B2 - Information processing device, information processing method and information processing program - Google Patents

Information processing device, information processing method and information processing program Download PDF

Info

Publication number
JP7155195B2
JP7155195B2 JP2020097121A JP2020097121A JP7155195B2 JP 7155195 B2 JP7155195 B2 JP 7155195B2 JP 2020097121 A JP2020097121 A JP 2020097121A JP 2020097121 A JP2020097121 A JP 2020097121A JP 7155195 B2 JP7155195 B2 JP 7155195B2
Authority
JP
Japan
Prior art keywords
information
map
terminal device
user
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020097121A
Other languages
Japanese (ja)
Other versions
JP2021189116A (en
Inventor
孝太 坪内
潤一 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2020097121A priority Critical patent/JP7155195B2/en
Publication of JP2021189116A publication Critical patent/JP2021189116A/en
Application granted granted Critical
Publication of JP7155195B2 publication Critical patent/JP7155195B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

所定の空間における音を種別ごとに集積した音統計データベースを構成する技術が開示されている。 A technique is disclosed for constructing a sound statistical database in which sounds in a predetermined space are accumulated for each type.

特開2016-180791号公報JP 2016-180791 A

しかしながら、上記の従来技術では、所定の空間に設置した録音装置等を用いた定点観測を想定している。そのため、建物の室内等の特定の場所の環境分析はできても、環境情報に基づいて、地図上におけるユーザの位置を訂正することはできなかった。 However, the above conventional technology assumes fixed-point observation using a recording device or the like installed in a predetermined space. Therefore, even if it is possible to analyze the environment of a specific place such as the inside of a building, it is not possible to correct the user's position on the map based on the environmental information.

本願は、上記に鑑みてなされたものであって、環境情報に基づいて地図上におけるユーザの位置を訂正することを目的とする。 The present application has been made in view of the above, and aims to correct the user's position on the map based on the environmental information.

本願に係る情報処理装置は、センサを有するユーザの端末装置が同時期に取得したセンサ情報と位置情報とを取得する取得部と、前記センサ情報に基づいて前記端末装置のコンテキストを推定する推定部と、前記位置情報から特定される地図上のコンテキストと、前記端末装置のコンテキストとを比較する比較部と、前記比較の結果に応じて、地図上の前記ユーザの位置を補正する補正部と、を備え、前記比較部は、前記比較の結果、地図上のコンテキストと前記端末装置のコンテキストとが一致しない場合には、誤っているのが前記位置情報の方であるか、地図情報の方であるかを判断することを特徴とする。 An information processing apparatus according to the present application includes an acquisition unit that acquires sensor information and position information simultaneously acquired by a user's terminal device having a sensor, and an estimation unit that estimates the context of the terminal device based on the sensor information. a comparison unit that compares the context on the map specified from the location information and the context of the terminal device; a correction unit that corrects the location of the user on the map according to the comparison result ; and , if the result of the comparison is that the context on the map and the context of the terminal device do not match, the comparison unit is configured to determine whether the location information is incorrect or the map information is incorrect. It is characterized by determining whether there is

実施形態の一態様によれば、環境情報に基づいて地図上におけるユーザの位置を訂正することができる。 According to one aspect of an embodiment, the user's position on the map can be corrected based on the environmental information.

図1は、実施形態に係る情報処理方法の概要を示す説明図である。FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment. 図2は、実施形態に係る情報処理システムの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of an information processing system according to the embodiment; 図3は、実施形態に係る端末装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a terminal device according to the embodiment; 図4は、実施形態に係る情報提供装置の構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of an information providing apparatus according to the embodiment; 図5は、ユーザ情報データベースの一例を示す図である。FIG. 5 is a diagram showing an example of the user information database. 図6は、センサ情報データベースの一例を示す図である。FIG. 6 is a diagram showing an example of a sensor information database. 図7は、地図情報データベースの一例を示す図である。FIG. 7 is a diagram showing an example of a map information database. 図8は、実施形態に係る処理手順を示すフローチャートである。FIG. 8 is a flow chart showing a processing procedure according to the embodiment. 図9は、ハードウェア構成の一例を示す図である。FIG. 9 is a diagram illustrating an example of a hardware configuration;

以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for implementing an information processing apparatus, an information processing method, and an information processing program according to the present application (hereinafter referred to as "embodiments") will be described in detail with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Also, in the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.

〔1.情報処理方法の概要〕
まず、図1を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。図1は、実施形態に係る情報処理方法の概要を示す説明図である。なお、図1では、環境情報に基づいて地図上の位置を訂正する場合を例に挙げて説明する。
[1. Outline of information processing method]
First, an outline of an information processing method performed by an information processing apparatus according to an embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment. In addition, in FIG. 1, the case where the position on a map is corrected based on environmental information is mentioned as an example, and is demonstrated.

図1に示すように、情報処理システム1は、端末装置10と情報提供装置100とを含む。端末装置10と情報提供装置100とは、それぞれネットワークN(図2参照)を介して有線又は無線で互いに通信可能に接続される。 As shown in FIG. 1 , the information processing system 1 includes a terminal device 10 and an information providing device 100 . The terminal device 10 and the information providing device 100 are communicably connected to each other by wire or wirelessly via a network N (see FIG. 2).

端末装置10は、ユーザUにより利用されるスマートフォンやタブレット等のスマートデバイスであり、4G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置10は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。ここでは、スマートフォンを例に説明する。 The terminal device 10 is a smart device such as a smartphone or tablet used by the user U, and can communicate with any server device via a wireless communication network such as 4G (Generation) or LTE (Long Term Evolution). It is a portable terminal device that can The terminal device 10 has a screen such as a liquid crystal display, which has a touch panel function. accepts the operation of An operation performed on an area where content is displayed on the screen may be an operation on the content. In addition, the terminal device 10 may be an information processing device such as a desktop PC (Personal Computer) or a notebook PC as well as a smart device. Here, a smartphone is used as an example.

情報提供装置100は、ユーザUの端末装置10から、端末装置10に搭載された各種センサ(Sensor:検知器)の出力であるセンサ情報(センサデータ)とユーザ情報と位置情報とを取得する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。ここでは、情報提供装置100は、不特定多数の端末装置10のそれぞれから、センサ情報とユーザ情報と位置情報とを取得し、センサ情報とユーザ情報と位置情報とを紐づけてデータベースに記憶する。そして、情報提供装置100は、センサ情報と位置情報とに基づいて地図上のユーザUの位置を補正する。 The information providing device 100 acquires sensor information (sensor data) output from various sensors (sensors) mounted on the terminal device 10, user information, and position information from the terminal device 10 of the user U. It is a processing device, and is realized by a server device, a cloud system, or the like. Here, the information providing device 100 acquires sensor information, user information, and location information from each of an unspecified number of terminal devices 10, associates the sensor information, user information, and location information, and stores them in a database. . Then, the information providing device 100 corrects the position of the user U on the map based on the sensor information and the position information.

センサ情報は、例えば環境音、気圧、照度等である。また、ユーザ情報は、ユーザU又は端末装置10を一意に識別するための識別情報等である。情報提供装置100は、ユーザを特定する必要がなく、センサ情報と位置情報のみで十分である場合には、ユーザ情報を取得しなくてもよい。 The sensor information is, for example, environmental sounds, atmospheric pressure, illuminance, and the like. User information is identification information or the like for uniquely identifying the user U or the terminal device 10 . The information providing apparatus 100 does not need to acquire user information when it is not necessary to specify a user and only sensor information and position information are sufficient.

例えば、情報提供装置100は、ユーザUの位置情報(端末装置10の位置情報)から特定される地図上のコンテキストと、センサ情報に基づく端末装置10のコンテキストとを比較し、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、地図上におけるユーザUの位置情報を、端末装置10のコンテキストと地図上のコンテキストとが一致する場所に補正する。ここで、コンテキストとは、周囲の環境や状況等である。また、地図上におけるユーザUの位置情報は、端末装置10の画面上に表示されていてもよい。 For example, the information providing device 100 compares the context on the map specified from the position information of the user U (position information on the terminal device 10) and the context of the terminal device 10 based on the sensor information, and compares the context on the map. If the context of the terminal device 10 does not match, the position information of the user U on the map is corrected to a location where the context of the terminal device 10 and the context on the map match. Here, the context is the surrounding environment, situation, or the like. Also, the position information of the user U on the map may be displayed on the screen of the terminal device 10 .

具体的には、情報提供装置100は、ユーザUの位置情報から特定される地図上のコンテキストが「川の流れが聞こえてこないはずの場所」であるにもかかわらず、センサ情報に基づく端末装置10のコンテキストでは「川の流れが聞こえる」ならば、地図上の「川の流れが聞こえる」場所にユーザUの位置情報を補正する。 Specifically, although the context on the map specified from the location information of the user U is "a place where you should not hear the flow of the river", the information providing apparatus 100 detects the terminal device based on the sensor information. In context 10, if "you can hear the river flowing", then the location information of the user U is corrected to the place where you can "hear the river flowing" on the map.

具体的な補正方法としては、情報提供装置100は、「川の流れ」の音量から「川の両端の縁(両岸)から3m離れた場所」と推定し、「現在位置から最寄りの川までを直線距離で結ぶ線」と「川の両岸のうち最も近い岸から3mの場所」との接点にユーザUの位置情報を補正する。補正については、標高などの物理的制約(崖、谷等)との整合性も反映しても良い。また、単に「川の音」から「川の両端の縁(両岸)から3m以内の場所」と推定し、「現在位置から最寄りの川までを直線距離で結ぶ線」と「川の両岸のうち最も近い岸から3mの場所」との接点にユーザUの位置情報を補正してもよい。 As a specific correction method, the information providing apparatus 100 estimates from the sound volume of "river flow" that it is "a place 3 m away from both edges (both banks) of the river", and "from the current position to the nearest river". The position information of the user U is corrected to the point of contact between the line connecting the two with a straight line distance and the place 3 m from the nearest bank of both banks of the river. Consistency with physical constraints such as elevation (cliffs, valleys, etc.) may also be reflected in the correction. Also, based on the ``sound of the river'', it is simply estimated to be ``a place within 3m from both edges (both banks) of the river'', and ``a straight line connecting the current position to the nearest river'' and ``both banks of the river''. The location information of the user U may be corrected to the point of contact with "the place 3 m from the nearest shore".

なお、川は一例に過ぎない。実際には、波の音が聞こえる海辺や湖沼、風の吹く音の強い渓谷、車両が走行している道路(一般道路、高速道路等)や鉄道、工事中の工事現場、BGM(Back Ground Music)やアナウンスが流れている店舗内等、特徴的な音を発生させる場所や対象物であればよい。また、環境音に加え、又は代えて、照度や光度から「森の中」や「トンネル内」、「建物内」や「移動体の中」等を推定してもよい。 Rivers are just one example. In reality, the seaside and lakes where you can hear the sound of waves, valleys with strong wind blowing sounds, roads (general roads, highways, etc.) and railways where vehicles are running, construction sites under construction, background music (BGM) ) or inside a store where announcements are being made, as long as it is a place or object that generates a characteristic sound. In addition to or instead of environmental sounds, it is also possible to estimate "inside a forest", "inside a tunnel", "inside a building", "inside a moving body", etc. from the illuminance and luminosity.

〔1-1.データ収集から地図上の位置の訂正までの情報処理方法の概要〕
まず、図1を参照して、データ収集から地図上の位置の訂正までの情報処理方法の概要について説明する。
[1-1. Outline of information processing method from data collection to correction of position on the map]
First, with reference to FIG. 1, an outline of an information processing method from data collection to correction of a position on a map will be described.

図1に示すように、情報提供装置100は、各地に所在する複数のユーザUの端末装置10のそれぞれからセンサ情報とユーザ情報と位置情報とを取得する(ステップS1)。 As shown in FIG. 1, the information providing device 100 acquires sensor information, user information, and location information from each of the terminal devices 10 of a plurality of users U located in various places (step S1).

このとき、端末装置10は移動中であってもよいし、一か所に留まっていてもよい。また、情報提供装置100は、各地を移動する同じ端末装置10からセンサ情報とユーザ情報と位置情報とを受信してもよい。センサ情報は、例えば環境音、気圧、照度等である。 At this time, the terminal device 10 may be moving or staying at one place. Also, the information providing apparatus 100 may receive sensor information, user information, and location information from the same terminal apparatus 10 that moves from place to place. The sensor information is, for example, environmental sounds, atmospheric pressure, illuminance, and the like.

ここで、位置情報は、ユーザUの位置情報であり、端末装置10がセンサ情報を取得した時点での位置情報である。なお、位置情報も広義ではセンサ情報に該当する。また、センサ情報や位置情報には、端末装置10がそのセンサ情報や位置情報を取得した日時に関する情報も含まれる。 Here, the location information is the location information of the user U, and is the location information when the terminal device 10 acquires the sensor information. Position information also corresponds to sensor information in a broad sense. The sensor information and location information also include information about the date and time when the terminal device 10 acquired the sensor information and location information.

そして、情報提供装置100は、センサ情報を種別毎に分類(カテゴライズ)する(ステップS2)。 Then, the information providing apparatus 100 classifies (categorizes) the sensor information by type (step S2).

例えば、情報提供装置100は、センサ情報に含まれる音から環境音を抽出し、その環境音を、音の種別毎に分類(カテゴライズ)する。音の種別とは、例えば川の流れの音、波音、列車や自動車の走行音等である。 For example, the information providing apparatus 100 extracts environmental sounds from the sounds included in the sensor information, and classifies (categorizes) the environmental sounds by sound type. The types of sound are, for example, the sound of river flow, the sound of waves, the running sound of trains and automobiles, and the like.

そして、情報提供装置100は、端末装置10から受信したセンサ情報とユーザ情報と位置情報とを紐づけて記憶する(ステップS3)。 Then, the information providing apparatus 100 associates and stores the sensor information, the user information, and the position information received from the terminal device 10 (step S3).

例えば、情報提供装置100は、センサ情報とユーザ情報と位置情報とを紐づけてデータベースに蓄積し、所定の期間(例えば、一週間/一か月/半年/1年等)保持する。なお、実際には、期間を定めず、蓄積し続けてもよい。 For example, the information providing apparatus 100 associates sensor information, user information, and location information, accumulates them in a database, and holds them for a predetermined period (for example, one week/one month/half a year/one year). Note that, in practice, accumulation may be continued without specifying a period.

なお、情報提供装置100は、環境音を音の種別毎に分類した場合、音の種別毎に、ユーザ情報と位置情報とに紐づけて記憶する。 When the environmental sounds are classified by sound type, the information providing apparatus 100 stores the user information and the position information in association with each sound type.

そして、情報提供装置100は、センサ情報を分析し、端末装置10のコンテキストを推定する(ステップS4)。 The information providing device 100 then analyzes the sensor information and estimates the context of the terminal device 10 (step S4).

例えば、情報提供装置100は、センサ情報に含まれる環境音に、音を発する対象物Rの音が含まれている場合、端末装置10のコンテキストは「Rの音が聞こえる」環境や状況等であると推定する。なお、音を発する対象物Rは、例えば、川、道路、鉄道等である。 For example, when the environmental sound included in the sensor information includes the sound of an object R that emits a sound, the information providing apparatus 100 sets the context of the terminal device 10 to an environment or situation in which "the sound of R can be heard." Assume there is. Note that the object R that emits sound is, for example, a river, a road, a railroad, or the like.

そして、情報提供装置100は、ユーザUの位置情報から特定される地図上のコンテキストと、センサ情報に基づく端末装置10のコンテキストとを比較する(ステップS5)。 Then, the information providing device 100 compares the context on the map specified from the position information of the user U and the context of the terminal device 10 based on the sensor information (step S5).

そして、情報提供装置100は、比較の結果、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、地図上におけるユーザUの位置情報を補正する(ステップS6)。 Then, when the context on the map does not match the context of the terminal device 10 as a result of the comparison, the information providing device 100 corrects the positional information of the user U on the map (step S6).

例えば、情報提供装置100は、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、地図上におけるユーザUの位置情報を、端末装置10のコンテキストと地図上のコンテキストとが一致する場所に補正する。 For example, when the context on the map and the context of the terminal device 10 do not match, the information providing device 100 sets the location information of the user U on the map to Correct for location.

具体的には、情報提供装置100は、ユーザUの位置情報から特定される地図上のコンテキストが「Rの音が聞こえてこないはずの場所」であるにもかかわらず、センサ情報に基づく端末装置10のコンテキストでは「Rの音が聞こえる」ならば、「Rの音が聞こえる」場所であり、推定される実際の位置P(推定位置)にユーザUの位置情報を補正する。 Specifically, although the context on the map specified from the position information of the user U is "a place where the sound of R should not be heard", the information providing apparatus 100 detects the terminal device based on the sensor information. In context 10, if "the sound of R is heard", the position information of the user U is corrected to the estimated actual position P (estimated position), which is the place where the "sound of R is heard".

ここでは、情報提供装置100は、「Rの音」から「Rから距離Dだけ離れた場所」と推定し、「現在位置からRまでを直線距離で結ぶ線」と「Rから距離Dだけ離れた場所」との接点を実際の位置Pと推定し、その推定される実際の位置PにユーザUの位置情報を補正する。距離Dについては任意に設定可能である。例えば、距離Dは3mとしてもよい。 Here, the information providing apparatus 100 estimates "a place at a distance D from R" from "the sound of R", and "a line connecting the current position to R with a straight line distance" and "a place at a distance D from R". The actual position P is estimated to be the point of contact with the place where the user U is located, and the position information of the user U is corrected to the estimated actual position P. The distance D can be set arbitrarily. For example, the distance D may be 3m.

また、情報提供装置100は、ユーザUの位置情報から特定される地図上のコンテキストが「反響音が聞こえてこないはずの場所」であるにもかかわらず、センサ情報に基づく端末装置10のコンテキストでは「反響音が聞こえる」ならば、現在位置から最寄りのトンネルや洞穴、構造物等の内部にユーザUの位置情報を補正する。 In addition, although the context on the map specified from the position information of the user U is "a place where echoes should not be heard", the information providing apparatus 100 determines that the context of the terminal device 10 based on the sensor information is If "the reverberating sound is heard", the positional information of the user U is corrected to the inside of the nearest tunnel, cave, structure, or the like from the current position.

そして、情報提供装置100は、位置情報が補正されたユーザUの端末装置10に対して、補正された位置情報を提供する(ステップS7)。 Then, the information providing device 100 provides the corrected position information to the terminal device 10 of the user U whose position information has been corrected (step S7).

あるいは、情報提供装置100は、比較の結果、地図上に該当する場所や対象物が存在しない場合には、必要に応じて、地図情報を補正する(ステップS8)。 Alternatively, the information providing apparatus 100 corrects the map information as necessary when the corresponding location or object does not exist on the map as a result of the comparison (step S8).

例えば、情報提供装置100は、移動中のユーザUの位置情報から特定される地図上のコンテキストが「地図上にRが存在しない場所」であるにもかかわらず、センサ情報に基づく端末装置10のコンテキストでは「Rの音が聞こえる」状況であるならば、地図情報を補正し、地図上においてユーザUの位置情報から距離Dの位置に対象物Rを示すアイコン等を追加する。あるいは、情報提供装置100は、現在の地図情報を、地図上に対象物Rが含まれる地図情報に変更し、その地図上において対象物Rから距離Dの位置にユーザUの位置情報を補正する。なお、情報提供装置100は、地図検索サイト等において提供される地図情報を補正してもよい。 For example, although the context on the map specified from the position information of the moving user U is "a place where R does not exist on the map", the information providing apparatus 100 determines whether the terminal device 10 based on the sensor information In the context, if the situation is "the sound of R is heard", the map information is corrected, and an icon or the like indicating the object R is added at a position of the distance D from the position information of the user U on the map. Alternatively, the information providing apparatus 100 changes the current map information to map information including the object R on the map, and corrects the position information of the user U to the position of the distance D from the object R on the map. . The information providing apparatus 100 may correct map information provided on a map search site or the like.

この場合、地図上におけるユーザUの位置情報が、「地図上にRが存在しない場所」から「地図上にRが存在する場所」に補正されることになる。すなわち、情報提供装置100は、地図情報を補正することで、相対的にユーザUの位置情報を補正する。 In this case, the position information of the user U on the map is corrected from "a place where R does not exist on the map" to "a place where R exists on the map". That is, the information providing apparatus 100 relatively corrects the location information of the user U by correcting the map information.

そして、情報提供装置100は、その地図上に位置情報が表示されているユーザUの端末装置10に対して、補正された地図情報を提供する(ステップS9)。 Then, the information providing device 100 provides the corrected map information to the terminal device 10 of the user U whose position information is displayed on the map (step S9).

〔2.情報処理システムの構成例〕
次に、図2を用いて、実施形態に係る情報提供装置100が含まれる情報処理システム1の構成について説明する。図2は、実施形態に係る情報処理システム1の構成例を示す図である。図2に示すように、実施形態に係る情報処理システム1は、端末装置10と情報提供装置100とを含む。これらの各種装置は、ネットワークNを介して、有線又は無線により通信可能に接続される。ネットワークNは、例えば、LAN(Local Area Network)や、インターネット等のWAN(Wide Area Network)である。
[2. Configuration example of information processing system]
Next, the configuration of the information processing system 1 including the information providing device 100 according to the embodiment will be described with reference to FIG. FIG. 2 is a diagram showing a configuration example of the information processing system 1 according to the embodiment. As shown in FIG. 2, the information processing system 1 according to the embodiment includes a terminal device 10 and an information providing device 100. As shown in FIG. These various devices are communicatively connected via a network N by wire or wirelessly. The network N is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network) such as the Internet.

また、図2に示す情報処理システム1に含まれる各装置の数や種類は図示したものに限られない。例えば、図2では、図示の簡略化のため、端末装置10を1種類のみ示したが、これはあくまでも例示であって限定されるものではなく、2種類以上であってもよい。 Further, the number and types of devices included in the information processing system 1 shown in FIG. 2 are not limited to those illustrated. For example, in FIG. 2, only one type of terminal device 10 is shown for simplification of illustration, but this is only an example and is not limited, and two or more types may be used.

端末装置10は、ユーザUによって使用される情報処理装置であって、各種センサを有し、持ち運んだり移動させたりすることが可能な小型の可搬型機器や移動型機器である。例えば、端末装置10は、スマートフォンやタブレット端末等のスマートデバイスである。なお、実際には、フィーチャーフォン、PC(Personal Computer)、PDA(Personal Digital Assistant)、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス(Wearable Device)、スマートグラス、スマートスピーカ、360度カメラ等であってもよい。 The terminal device 10 is an information processing device used by the user U, and is a small portable or mobile device that has various sensors and can be carried or moved. For example, the terminal device 10 is a smart device such as a smart phone or a tablet terminal. In fact, feature phones, PCs (Personal Computers), PDAs (Personal Digital Assistants), car navigation systems, wearable devices such as smart watches and head-mounted displays, smart glasses, smart speakers, 360-degree cameras etc.

また、かかる端末装置10は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)等の無線通信網や、Bluetooth(登録商標)、無線LAN(Local Area Network)等の近距離無線通信を介してネットワークNに接続し、情報提供装置100と通信することができる。 In addition, the terminal device 10 is compatible with wireless communication networks such as LTE (Long Term Evolution), 4G (4th Generation), 5G (5th Generation: fifth generation mobile communication system), Bluetooth (registered trademark), wireless LAN (Local It is possible to communicate with the information providing apparatus 100 by connecting to the network N via short-range wireless communication such as Area Network).

情報提供装置100は、例えばPCやサーバ装置、あるいはメインフレーム又はワークステーション等である。なお、情報提供装置100は、クラウドコンピューティングにより実現されてもよい。 The information providing device 100 is, for example, a PC, a server device, a mainframe, a workstation, or the like. Note that the information providing apparatus 100 may be realized by cloud computing.

〔3.端末装置の構成例〕
次に、図3を用いて、端末装置10の構成について説明する。図3は、端末装置10の構成例を示す図である。図3に示すように、端末装置10は、通信部11と、表示部12と、入力部13と、測位部14と、センサ部20と、制御部30(コントローラ)と、記憶部40とを備える。
[3. Configuration example of terminal device]
Next, the configuration of the terminal device 10 will be described using FIG. FIG. 3 is a diagram showing a configuration example of the terminal device 10. As shown in FIG. As shown in FIG. 3, the terminal device 10 includes a communication unit 11, a display unit 12, an input unit 13, a positioning unit 14, a sensor unit 20, a control unit 30 (controller), and a storage unit 40. Prepare.

(通信部11)
通信部11は、ネットワークN(図2参照)と有線又は無線で接続され、ネットワークNを介して、情報提供装置100との間で情報の送受信を行う。例えば、通信部11は、NIC(Network Interface Card)やアンテナ等によって実現される。
(Communication unit 11)
The communication unit 11 is connected to the network N (see FIG. 2) by wire or wirelessly, and transmits and receives information to and from the information providing apparatus 100 via the network N. FIG. For example, the communication unit 11 is implemented by a NIC (Network Interface Card), an antenna, or the like.

(表示部12)
表示部12は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)である。また、表示部12は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
(Display unit 12)
The display unit 12 is a display device that displays various information such as position information. For example, the display unit 12 is a liquid crystal display (LCD) or an organic EL display (Organic Electro-Luminescent Display). Also, the display unit 12 is a touch panel display, but is not limited to this.

(入力部13)
入力部13は、ユーザUから各種操作を受け付ける入力デバイスである。入力部13は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部12がタッチパネル式のディスプレイである場合、表示部12の一部が入力部13として機能する。なお、入力部13は、ユーザUから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
(Input unit 13)
The input unit 13 is an input device that receives various operations from the user U. FIG. The input unit 13 has, for example, buttons and the like for inputting characters, numbers, and the like. Moreover, when the display unit 12 is a touch panel display, a part of the display unit 12 functions as the input unit 13 . Note that the input unit 13 may be a microphone or the like that receives voice input from the user U. FIG. The microphone may be wireless.

(測位部14)
測位部14は、GPS(Global Positioning System)の衛星から送出される信号(電波)を受信し、受信した信号に基づいて、自装置である端末装置10の現在位置を示す位置情報(例えば、緯度および経度)を取得する。すなわち、測位部14は、端末装置10の位置を測位する。なお、GPSは、GNSS(Global Navigation Satellite System)の一例に過ぎない。
(Positioning unit 14)
The positioning unit 14 receives signals (radio waves) transmitted from GPS (Global Positioning System) satellites, and based on the received signals, position information (for example, latitude and longitude). That is, the positioning unit 14 positions the position of the terminal device 10 . GPS is merely an example of GNSS (Global Navigation Satellite System).

また、測位部14は、GPS以外にも、種々の手法により位置を測位することができる。例えば、測位部14は、位置補正等のための補助的な測位手段として、下記のように、端末装置10の様々な通信機能を利用して位置を測位してもよい。 Also, the positioning unit 14 can measure the position by various methods other than GPS. For example, the positioning unit 14 may measure the position using various communication functions of the terminal device 10 as described below as auxiliary positioning means for position correction and the like.

(Wi-Fi測位)
例えば、測位部14は、端末装置10のWi-Fi(登録商標)通信機能や、各通信会社が備える通信網を利用して、端末装置10の位置を測位する。具体的には、測位部14は、Wi-Fi通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置10の位置を測位する。
(Wi-Fi positioning)
For example, the positioning unit 14 measures the position of the terminal device 10 using the Wi-Fi (registered trademark) communication function of the terminal device 10 or the communication network provided by each communication company. Specifically, the positioning unit 14 performs Wi-Fi communication or the like and measures the position of the terminal device 10 by measuring the distance to a nearby base station or access point.

(ビーコン測位)
また、測位部14は、端末装置10のBluetooth(登録商標)機能を利用して位置を測位してもよい。例えば、測位部14は、Bluetooth機能によって接続されるビーコン(beacon)発信機と接続することにより、端末装置10の位置を測位する。
(beacon positioning)
The positioning unit 14 may also use the Bluetooth (registered trademark) function of the terminal device 10 to measure the position. For example, the positioning unit 14 measures the position of the terminal device 10 by connecting with a beacon transmitter connected by the Bluetooth function.

(地磁気測位)
また、測位部14は、予め測定された構造物の地磁気のパターンと、端末装置10が備える地磁気センサとに基づいて、端末装置10の位置を測位する。
(geomagnetic positioning)
Further, the positioning unit 14 positions the position of the terminal device 10 based on the geomagnetism pattern of the structure measured in advance and the geomagnetic sensor provided in the terminal device 10 .

(RFID測位)
また、例えば、端末装置10が駅改札や店舗等で使用される非接触型ICカードと同等のRFID(Radio Frequency Identification)タグの機能を備えている場合、もしくはRFIDタグを読み取る機能を備えている場合、端末装置10によって決済等が行われた情報とともに、使用された位置が記録される。測位部14は、かかる情報を取得することで、端末装置10の位置を測位してもよい。また、位置は、端末装置10が備える光学式センサや、赤外線センサ等によって測位されてもよい。
(RFID positioning)
Further, for example, if the terminal device 10 has an RFID (Radio Frequency Identification) tag function equivalent to a contactless IC card used at station ticket gates, stores, etc., or has a function of reading an RFID tag In this case, the location used is recorded together with the information that the payment was made by the terminal device 10 . The positioning unit 14 may measure the position of the terminal device 10 by acquiring such information. Also, the position may be measured by an optical sensor provided in the terminal device 10, an infrared sensor, or the like.

測位部14は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置10の位置を測位してもよい。 The positioning unit 14 may measure the position of the terminal device 10 using one or a combination of the positioning means described above, if necessary.

(センサ部20)
センサ部20は、端末装置10に搭載される各種のセンサを含む。図3に示す例では、センサ部20は、加速度センサ21と、ジャイロセンサ22と、気圧センサ23と、気温センサ24と、音センサ25と、光センサ26と、磁気センサ27と、画像センサ(カメラ)28とを備える。
(Sensor unit 20)
The sensor unit 20 includes various sensors mounted on the terminal device 10 . In the example shown in FIG. 3, the sensor unit 20 includes an acceleration sensor 21, a gyro sensor 22, an atmospheric pressure sensor 23, an air temperature sensor 24, a sound sensor 25, an optical sensor 26, a magnetic sensor 27, and an image sensor ( camera) 28.

なお、上記した各センサ21~28は、あくまでも例示であって限定されるものではない。すなわち、センサ部20は、各センサ21~28のうちの一部を備える構成であってもよいし、各センサ21~28に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。 The sensors 21 to 28 described above are only examples and are not limited. That is, the sensor unit 20 may be configured to include a part of the sensors 21 to 28, or may include other sensors such as a humidity sensor in addition to or instead of the sensors 21 to 28. .

加速度センサ21は、例えば、3軸加速度センサであり、端末装置10の移動方向、速度、および、加速度等の端末装置10の物理的な動きを検知する。ジャイロセンサ22は、端末装置10の角速度等に基づいて3軸方向の傾き等の端末装置10の物理的な動きを検知する。気圧センサ23は、例えば端末装置10の周囲の気圧を検知する。 The acceleration sensor 21 is, for example, a three-axis acceleration sensor, and detects physical movements of the terminal device 10 such as movement direction, speed, and acceleration of the terminal device 10 . The gyro sensor 22 detects physical movements of the terminal device 10 such as inclination in three axial directions based on the angular velocity of the terminal device 10 and the like. The atmospheric pressure sensor 23 detects the atmospheric pressure around the terminal device 10, for example.

端末装置10は、上記した加速度センサ21やジャイロセンサ22、気圧センサ23等を備えることから、これらの各センサ21~23等を利用した歩行者自律航法(PDR:Pedestrian Dead-Reckoning)等の技術を用いて端末装置10の位置を測位することが可能になる。これにより、GPS等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。 Since the terminal device 10 includes the above-described acceleration sensor 21, gyro sensor 22, barometric pressure sensor 23, etc., techniques such as pedestrian dead-reckoning (PDR: Pedestrian Dead-Reckoning) using these sensors 21 to 23, etc. , the position of the terminal device 10 can be determined. This makes it possible to acquire indoor position information that is difficult to acquire with a positioning system such as GPS.

例えば、加速度センサ21を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ22を利用して、ユーザUの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ23で検知した気圧から、ユーザUの端末装置10が存在する高度やフロアの階数を知ることもできる。 For example, a pedometer using the acceleration sensor 21 can calculate the number of steps, walking speed, and distance walked. In addition, by using the gyro sensor 22, it is possible to know the traveling direction, the direction of the line of sight, and the inclination of the body of the user U. Also, from the atmospheric pressure detected by the atmospheric pressure sensor 23, the altitude at which the terminal device 10 of the user U is present and the number of floors can be known.

気温センサ24は、例えば端末装置10の周囲の気温を検知する。音センサ25は、例えば端末装置10の周囲の音を検知する。光センサ26は、端末装置10の周囲の照度を検知する。磁気センサ27は、例えば端末装置10の周囲の地磁気を検知する。画像センサ28は、端末装置10の周囲の画像を撮像する。 The temperature sensor 24 detects the temperature around the terminal device 10, for example. The sound sensor 25 detects sounds around the terminal device 10, for example. The optical sensor 26 detects the illuminance around the terminal device 10 . The magnetic sensor 27 detects, for example, geomagnetism around the terminal device 10 . The image sensor 28 captures an image around the terminal device 10 .

上記した気圧センサ23、気温センサ24、音センサ25、光センサ26および画像センサ28は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置10の周囲の環境や状況等を検知することができる。また、端末装置10の周囲の環境や状況等から、端末装置10の位置情報の精度を向上させることが可能になる。 The atmospheric pressure sensor 23, the temperature sensor 24, the sound sensor 25, the optical sensor 26, and the image sensor 28 described above detect the atmospheric pressure, temperature, sound, and illuminance, respectively, or capture an image of the surroundings to detect the terminal device 10. It is possible to detect the surrounding environment and situations. In addition, it is possible to improve the accuracy of the location information of the terminal device 10 based on the surrounding environment and situation of the terminal device 10 .

(制御部30)
制御部30は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部30は、送信部31と、受信部32と、処理部33とを備える。
(control unit 30)
The control unit 30 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM, an input/output port, and various circuits. Also, the control unit 30 may be configured by hardware such as an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The control unit 30 includes a transmission unit 31 , a reception unit 32 and a processing unit 33 .

(送信部31)
送信部31は、例えば入力部13を用いてユーザUにより入力された各種情報や、端末装置10に搭載された各センサ21~28によって検知された各種情報、測位部14によって測位された端末装置10の位置情報等を、通信部11を介して情報提供装置100へ送信することができる。
(Sending unit 31)
The transmission unit 31 receives, for example, various information input by the user U using the input unit 13, various information detected by the sensors 21 to 28 mounted on the terminal device 10, and the terminal device positioned by the positioning unit 14. 10 can be transmitted to the information providing device 100 via the communication unit 11 .

(受信部32)
受信部32は、通信部11を介して、情報提供装置100から提供される各種情報や、情報提供装置100からのセンサ情報の要求を受信することができる。
(Receiver 32)
The receiving unit 32 can receive various types of information provided by the information providing device 100 and requests for sensor information from the information providing device 100 via the communication unit 11 .

(処理部33)
処理部33は、表示部12等を含め、端末装置10全体を制御する。例えば、処理部33は、送信部31によって送信される各種情報や、受信部32によって受信された情報提供装置100からの各種情報を表示部12へ出力して表示させることができる。
(Processing unit 33)
The processing unit 33 controls the entire terminal device 10 including the display unit 12 and the like. For example, the processing unit 33 can output various types of information transmitted by the transmitting unit 31 and various types of information received by the receiving unit 32 from the information providing apparatus 100 to the display unit 12 for display.

(記憶部40)
記憶部40は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。かかる記憶部40には、各種プログラムや各種データ等が記憶される。
(storage unit 40)
The storage unit 40 is realized by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as HDD (Hard Disk Drive), SSD (Solid State Drive), or optical disk. be. Various programs, various data, and the like are stored in the storage unit 40 .

〔4.情報提供装置の構成例〕
次に、図4を用いて、実施形態に係る情報提供装置100の構成について説明する。図4は、実施形態に係る情報提供装置100の構成例を示す図である。図4に示すように、情報提供装置100は、通信部110と、記憶部120と、制御部130とを有する。
[4. Configuration example of information providing device]
Next, the configuration of the information providing device 100 according to the embodiment will be described using FIG. FIG. 4 is a diagram showing a configuration example of the information providing device 100 according to the embodiment. As shown in FIG. 4, the information providing device 100 has a communication section 110, a storage section 120, and a control section .

(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(図2参照)と有線又は無線で接続される。
(Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Also, the communication unit 110 is connected to the network N (see FIG. 2) by wire or wirelessly.

(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図4に示すように、記憶部120は、ユーザ情報データベース121と、センサ情報データベース122と、地図情報データベース123とを有する。
(storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 4 , storage unit 120 has user information database 121 , sensor information database 122 , and map information database 123 .

(ユーザ情報データベース121)
ユーザ情報データベース121は、ユーザUに関する各種情報を記憶する。例えば、ユーザ情報データベース121は、ユーザUの属性等の種々の情報を記憶する。図5は、ユーザ情報データベース121の一例を示す図である。図5に示した例では、ユーザ情報データベース121は、「ユーザID(Identifier)」、「年齢」、「性別」、「自宅」、「勤務地」、「端末ID」といった項目を有する。
(User information database 121)
The user information database 121 stores various information about the user U. FIG. For example, the user information database 121 stores various information such as user U attributes. FIG. 5 is a diagram showing an example of the user information database 121. As shown in FIG. In the example shown in FIG. 5, the user information database 121 has items such as "user ID (Identifier)", "age", "sex", "home", "work place", and "terminal ID".

「ユーザID」は、ユーザUを識別するための識別情報を示す。また、「年齢」は、ユーザIDにより識別されるユーザUの年齢を示す。なお、「年齢」は、例えば35歳等、ユーザIDにより識別されるユーザUの具体的な年齢であってもよい。また、「性別」は、ユーザIDにより識別されるユーザUの性別を示す。 “User ID” indicates identification information for identifying the user U. FIG. "Age" indicates the age of the user U identified by the user ID. Note that the "age" may be a specific age of the user U identified by the user ID, such as 35 years old. "Gender" indicates the gender of the user U identified by the user ID.

また、「自宅」は、ユーザIDにより識別されるユーザUの自宅の位置情報を示す。なお、図5に示す例では、「自宅」は、「LC11」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。 "Home" indicates location information of the home of the user U identified by the user ID. In the example shown in FIG. 5, "home" is represented by an abstract code such as "LC11", but may be latitude/longitude information or the like. Also, for example, "home" may be an area name or an address.

また、「勤務地」は、ユーザIDにより識別されるユーザUの勤務地(学生の場合は学校)の位置情報を示す。なお、図5に示す例では、「勤務地」は、「LC12」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。 Further, "place of work" indicates location information of the place of work of the user U identified by the user ID (school in the case of a student). In the example shown in FIG. 5, the "place of work" is illustrated as an abstract code such as "LC12", but may be latitude/longitude information or the like. Also, for example, the "place of work" may be an area name or an address.

また、「端末ID」は、ユーザIDにより識別されるユーザUが現在利用している端末装置10(稼働中の端末装置)を識別するための識別情報を示す。なお、「端末ID」は、複数であってもよい。すなわち、1人のユーザUが複数の端末装置を同時に利用してもよい。また、「端末ID」は、端末装置10の種別を示す情報を含んでいてもよい。 "Terminal ID" indicates identification information for identifying the terminal device 10 currently used by the user U identified by the user ID (terminal device in operation). It should be noted that the number of "terminal IDs" may be plural. That is, one user U may use a plurality of terminal devices at the same time. Also, the “terminal ID” may include information indicating the type of the terminal device 10 .

例えば、図5に示す例において、ユーザID「U1」により識別されるユーザUの年齢は、「20代」であり、性別は、「男性」であることを示す。また、例えば、ユーザID「U1」により識別されるユーザUは、自宅が「LC11」であることを示す。また、例えば、ユーザID「U1」により識別されるユーザUは、勤務地が「LC12」であることを示す。また、例えば、ユーザID「U1」により識別されるユーザUは端末ID「D1」により識別される端末装置10を利用していることを示す。 For example, in the example shown in FIG. 5, the age of the user U identified by the user ID "U1" is "twenties" and the gender is "male". Also, for example, user U identified by user ID "U1" indicates that home is "LC11". Also, for example, the user U identified by the user ID "U1" indicates that the place of work is "LC12". Also, for example, it indicates that the user U identified by the user ID "U1" uses the terminal device 10 identified by the terminal ID "D1".

ここで、図5に示す例では、「U1」、「LC11」、「LC12」および「D1」といった抽象的な値を用いて図示するが、「U1」、「LC11」、「LC12」および「D1」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。 Here, in the example shown in FIG. 5, abstract values such as "U1", "LC11", "LC12" and "D1" are used, but "U1", "LC11", "LC12" and " D1” stores information such as specific character strings and numerical values. Hereinafter, abstract values may also be illustrated in diagrams relating to other information.

なお、ユーザ情報データベース121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報データベース121は、ユーザUの端末装置10に関する各種情報を記憶してもよい。また、ユーザ情報データベース121は、ユーザUのデモグラフィック(人口統計学的属性)、サイコグラフィック(心理学的属性)、ジオグラフィック(地理学的属性)、ベヘイビオラル(行動学的属性)等の属性に関する情報を記憶してもよい。例えば、ユーザ情報データベース121は、氏名、家族構成、職業、職位、収入、資格、居住形態(戸建、マンション等)、車の有無、通学・通勤時間、通学・通勤経路、定期券区間(駅、路線等)、利用頻度の高い駅(自宅・勤務地の最寄駅以外)、行動履歴(利用頻度の高い位置情報)、習い事(場所、時間帯等)、趣味、興味、ライフスタイル等の情報を記憶してもよい。また、ユーザ情報データベース121は、ユーザUが検索エンジン等に入力した検索クエリ(検索キーワード)に関する情報を記憶してもよい。 The user information database 121 is not limited to the above, and may store various types of information depending on the purpose. For example, the user information database 121 may store various information about the user U's terminal device 10 . In addition, the user information database 121 is related to attributes of the user U, such as demographics (demographic attributes), psychographics (psychological attributes), geographic (geographical attributes), and behavioral (behavioral attributes). Information may be stored. For example, the user information database 121 includes name, family structure, occupation, job title, income, qualification, residence type (detached house, condominium, etc.), presence or absence of car, commute time, commute route, commuter pass section (station , routes, etc.), stations with high frequency of use (other than the nearest station to home/work place), behavior history (location information with high frequency of use), lessons (place, time of day, etc.), hobbies, interests, lifestyle, etc. Information may be stored. The user information database 121 may also store information on search queries (search keywords) that the user U has entered into a search engine or the like.

(センサ情報データベース122)
センサ情報データベース122は、センサ出力に関する各種情報を記憶する。例えば、センサ情報データベース122は、ユーザUの端末装置10からのセンサ情報とユーザ情報と位置情報とを紐づけて記憶する。図6は、センサ情報データベース122の一例を示す図である。図6に示した例では、センサ情報データベース122は、「ユーザID」、「取得日時」、「センサ情報」、「位置情報」、「コンテキスト」といった項目を有する。
(Sensor information database 122)
The sensor information database 122 stores various information regarding sensor outputs. For example, the sensor information database 122 associates and stores sensor information, user information, and position information from the user U's terminal device 10 . FIG. 6 is a diagram showing an example of the sensor information database 122. As shown in FIG. In the example shown in FIG. 6, the sensor information database 122 has items such as "user ID", "acquisition date and time", "sensor information", "position information", and "context".

「ユーザID」は、端末装置10から取得したユーザ情報であって、当該端末装置10を使用するユーザUを識別するための識別情報を示す。なお、「ユーザID」は、当該端末装置10を識別するための識別情報であってもよい。すなわち、「ユーザID」は、「端末ID」であってもよい。 “User ID” is user information acquired from the terminal device 10 and indicates identification information for identifying the user U who uses the terminal device 10 . Note that the “user ID” may be identification information for identifying the terminal device 10 . That is, the "user ID" may be the "terminal ID".

「取得日時」は、端末装置10がセンサ情報とユーザ情報と位置情報とを取得した日時を示す。なお、情報提供装置100が端末装置10からリアルタイムでセンサ情報とユーザ情報と位置情報とを取得している場合には、情報提供装置100が端末装置10からセンサ情報とユーザ情報と位置情報とを取得した日時であってもよい。また、「取得日時」は、年月日時分秒に限らず、曜日、昼間/夜間等に関する情報を含んでいてもよい。 “Acquisition date and time” indicates the date and time when the terminal device 10 acquired the sensor information, the user information, and the position information. Note that when the information providing apparatus 100 acquires the sensor information, the user information, and the location information from the terminal device 10 in real time, the information providing apparatus 100 acquires the sensor information, the user information, and the location information from the terminal device 10. It may be the date and time of acquisition. Also, the "acquisition date and time" is not limited to the year, month, day, hour, minute, and second, and may include information related to the day of the week, daytime/nighttime, and the like.

「センサ情報」は、端末装置10の各種センサの出力(検知結果)を示す。「センサ情報」は、例えば環境音、気圧、照度等である。なお、環境音は、音の種別毎に分類(カテゴライズ)されて記憶される。 “Sensor information” indicates outputs (detection results) of various sensors of the terminal device 10 . "Sensor information" is, for example, environmental sound, air pressure, illuminance, and the like. The environmental sounds are classified (categorized) by sound type and stored.

「位置情報」は、端末装置10がセンサ情報を取得した時点での位置情報を示す。「位置情報」は、例えばGPSやPDR等で測位した位置情報である。 “Positional information” indicates positional information at the time when the terminal device 10 acquires the sensor information. "Positional information" is positional information determined by GPS, PDR, or the like, for example.

「コンテキスト」は、センサ情報に基づいて推定された端末装置10の周囲の環境や状況を示す。「コンテキスト」は、例えば「川の流れが聞こえる」、「反響音が聞こえる」、「列車の通過音が聞こえる」等を示す。 “Context” indicates the environment and situation around the terminal device 10 estimated based on the sensor information. The "context" indicates, for example, "I can hear the flow of the river", "I can hear echoes", and "I can hear the sound of passing trains".

例えば、図6に示す例において、ユーザID「U1」により識別されるユーザUの端末装置10は、取得日時「取得日時#A」に、センサ情報「センサ情報#11」と位置情報「位置情報#11」とを取得していることを示す。また、ユーザID「U1」により識別されるユーザUは、コンテキスト「コンテキスト#11」が示す環境や状況に置かれていることを示す。 For example, in the example shown in FIG. 6, the terminal device 10 of the user U identified by the user ID "U1" has the sensor information "sensor information #11" and the location information "location information" in the acquisition date "acquisition date #A". #11” is acquired. Also, it indicates that the user U identified by the user ID "U1" is placed in the environment and situation indicated by the context "context #11".

なお、センサ情報データベース122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、センサ情報データベース122は、センサ情報を保管する有効期限に関する情報を記憶してもよい。また、センサ情報データベース122は、センサ情報の分析結果(環境の評価結果)に関する情報を記憶してもよい。また、センサ情報データベース122は、端末装置10のユーザUが入力したセンサ情報取得時の状況等に関するコメントに関する情報を記憶してもよい。なお、コメントは、テキストでも音声でもよい。 Note that the sensor information database 122 may store various types of information, not limited to the above, depending on the purpose. For example, the sensor information database 122 may store information regarding expiration dates for storing sensor information. In addition, the sensor information database 122 may store information related to sensor information analysis results (environmental evaluation results). Further, the sensor information database 122 may store information related to comments about the situation at the time of sensor information acquisition input by the user U of the terminal device 10 . The comment may be text or voice.

(地図情報データベース123)
地図情報データベース123は、地図に関する各種情報を記憶する。図7は、地図情報データベース123の一例を示す図である。図7に示した例では、地図情報データベース123は、「地図ID」、「地図情報」、「ユーザID」、「ユーザ位置」、「コンテキスト」といった項目を有する。
(Map information database 123)
The map information database 123 stores various types of map-related information. FIG. 7 is a diagram showing an example of the map information database 123. As shown in FIG. In the example shown in FIG. 7, the map information database 123 has items such as "map ID", "map information", "user ID", "user position", and "context".

「地図ID」は、地図を識別するための識別情報を示す。なお、地図は、地図であってもよいし、新たに生成された地図であってもよい。 "Map ID" indicates identification information for identifying a map. Note that the map may be a map or a newly generated map.

「地図情報」は、ユーザUからの要求に応じてユーザUに提供される地図情報を示す。ここでは、「地図情報」は、ユーザUの位置情報が表示されている地図情報を示す。 "Map information" indicates map information provided to the user U in response to a request from the user U. Here, “map information” indicates map information in which user U's position information is displayed.

「ユーザID」は、地図上に現在位置が表示されているユーザUを識別するための識別情報を示す。なお、「ユーザID」は、当該端末装置10を識別するための識別情報であってもよい。すなわち、「ユーザID」は、「端末ID」であってもよい。 "User ID" indicates identification information for identifying the user U whose current position is displayed on the map. Note that the “user ID” may be identification information for identifying the terminal device 10 . That is, the "user ID" may be the "terminal ID".

「ユーザ位置」は、地図上に表示されているユーザUの位置情報を示す。「ユーザ位置」は、例えばGPSやPDR等で測位した位置情報である。 "User position" indicates position information of the user U displayed on the map. The “user position” is position information obtained by positioning using GPS, PDR, or the like, for example.

「コンテキスト」は、地図上におけるユーザUの現在位置の周囲の環境や状況を示す。「コンテキスト」は、例えば「川の流れが聞こえてこないはずの場所」、「反響音が聞こえてこないはずの場所」、「列更の通過音が聞こえる場所」等を示す。 "Context" indicates the surrounding environment and situation of the user U's current position on the map. The 'context' indicates, for example, 'a place where the flow of the river should not be heard', 'a place where echoes should not be heard', 'a place where the sound of passing trains can be heard', and the like.

例えば、図7に示す例において、地図ID「U1」により識別される地図は、地図情報「地図情報#1」において、ユーザID「U1」により識別されるユーザUの現在位置を示すユーザ位置「位置情報#1」を表示しており、コンテキスト「コンテキスト#11」が示す環境や状況であることを示す。 For example, in the example shown in FIG. 7, the map identified by the map ID "U1" is the user position "U1" indicating the current position of the user U identified by the user ID "U1" in the map information "map information #1". Position information #1” is displayed, indicating that the environment and situation are indicated by the context “context #11”.

なお、地図情報データベース123は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、地図情報データベース123は、地図が示す地域名や、地図上の地形や地理に関する情報、その他の詳細情報や補足情報等を記憶してもよい。また、地図情報データベース123は、ユーザUが入力した地図に関するコメント等を記憶してもよい。 It should be noted that the map information database 123 may store various types of information, not limited to the above, depending on the purpose. For example, the map information database 123 may store area names indicated by the map, information on topography and geography on the map, other detailed information, supplementary information, and the like. In addition, the map information database 123 may store comments on the map input by the user U, and the like.

(制御部130)
図4に戻り、説明を続ける。制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報提供装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図4に示す例では、制御部130は、取得部131と、集積部132と、推定部133と、比較部134と、補正部135と、出力部136を有する。
(control unit 130)
Returning to FIG. 4, the description is continued. The control unit 130 is a controller, and for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like controls the information providing apparatus 100. Various programs (corresponding to an example of an information processing program) stored in the internal storage device are executed by using a storage area such as a RAM as a work area. In the example shown in FIG. 4 , the control section 130 has an acquisition section 131 , an accumulation section 132 , an estimation section 133 , a comparison section 134 , a correction section 135 and an output section 136 .

(取得部131)
取得部131は、通信部110を介して、各地に所在する複数のユーザUの端末装置10のそれぞれからセンサ情報(センサデータ)とユーザ情報と位置情報とを取得する。なお、ユーザを特定する必要がなく、センサ情報と位置情報のみで十分である場合には、ユーザ情報を取得しなくてもよい。
(Acquisition unit 131)
The acquisition unit 131 acquires sensor information (sensor data), user information, and location information from each of the terminal devices 10 of multiple users U located in various locations via the communication unit 110 . Note that if there is no need to specify the user and only the sensor information and the position information are sufficient, the user information does not need to be acquired.

(集積部132)
集積部132は、端末装置10から受信したセンサ情報とユーザ情報と位置情報とを紐づけてデータベースに集積する。なお、集積部132は、取得部131の一部であってもよい。
(Collecting unit 132)
The accumulation unit 132 associates the sensor information, the user information, and the location information received from the terminal device 10 and accumulates them in a database. Note that the accumulation unit 132 may be part of the acquisition unit 131 .

また、集積部132は、端末装置10から受信したセンサ情報に音が含まれている場合、その音から環境音のみを抽出する。例えば、集積部132は、センサ情報に含まれる音をフィルタリングして環境音のみを抽出してもよい。また、集積部132は、環境音を、音の種別毎に分類(カテゴライズ)する。すなわち、集積部132は、環境音の抽出部や分類部としても機能する。 Further, when the sensor information received from the terminal device 10 includes sound, the accumulation unit 132 extracts only the environmental sound from the sound. For example, the accumulation unit 132 may filter sounds included in sensor information to extract only environmental sounds. The accumulation unit 132 also classifies (categorizes) the environmental sounds by sound type. That is, the accumulation unit 132 also functions as an environmental sound extraction unit and a classification unit.

なお、集積部132は、機械学習に基づくモデルを用いて、端末装置10から受信したセンサ情報に含まれる音から環境音を抽出してもよい。この場合、集積部132は、例えば端末装置10から受信したセンサ情報に含まれる音と、音の種別毎に分類(カテゴライズ)した環境音との組を正解データとしてモデルに学習させてもよい。そして、集積部132は、学習済モデルに対して、センサ情報に含まれる音を入力することにより、音の種別毎に分類した環境音を抽出する。すなわち、集積部132は、センサ情報に含まれる音を入力した際にモデルが出力した環境音を、抽出結果としてもよい。 Note that the accumulation unit 132 may extract environmental sounds from sounds included in the sensor information received from the terminal device 10 using a model based on machine learning. In this case, the accumulation unit 132 may cause the model to learn sets of sounds included in the sensor information received from the terminal device 10 and environmental sounds categorized by type of sound, for example, as correct data. Then, the accumulation unit 132 extracts environmental sounds classified by sound type by inputting sounds included in the sensor information to the trained model. That is, the accumulation unit 132 may use the environmental sound output by the model when the sound included in the sensor information is input as the extraction result.

なお、モデルは、任意の種別のモデルが採用可能である。例えば、集積部132は、SVM(Support Vector Machine)やDNN(Deep Neural Network)をモデルとして採用してもよい。ここで、DNNは、CNN(Convolutional Neural Network)やRNN(Recurrent Neural Network)であってもよい。また、RNNは、LSTM(Long short-term memory)等であってもよい。すなわち、モデルは、任意の形式のモデルが採用可能である。また、モデルは、例えば、CNNとRNNとを組み合わせたモデル等、複数のモデルを組み合わせることで実現されるモデルであってもよい。 Any type of model can be adopted as the model. For example, the accumulation unit 132 may adopt SVM (Support Vector Machine) or DNN (Deep Neural Network) as a model. Here, the DNN may be a CNN (Convolutional Neural Network) or an RNN (Recurrent Neural Network). Also, the RNN may be LSTM (Long short-term memory) or the like. That is, any model can be adopted as the model. The model may also be a model realized by combining a plurality of models, such as a model combining CNN and RNN.

学習は、例えばディープニューラルネットワーク(DNN:Deep Neural Network)を利用したディープラーニング(深層学習)等である。また、データマイニングやその他の機械学習アルゴリズムを利用してもよい。集積部132は、上述した各種の学習手法により、モデルの学習を行う。 Learning is, for example, deep learning using a deep neural network (DNN: Deep Neural Network). Data mining and other machine learning algorithms may also be used. The accumulation unit 132 learns the model using the various learning methods described above.

(推定部133)
推定部133は、センサ情報を分析し、端末装置10のコンテキストを推定する。例えば、推定部133は、センサ情報に含まれる環境音に、川の流れの音が含まれている場合、端末装置10のコンテキストは「川の流れが聞こえる」環境や状況等であると推定する。
(Estimation unit 133)
The estimation unit 133 analyzes sensor information and estimates the context of the terminal device 10 . For example, when the environmental sound included in the sensor information includes the sound of a river flowing, the estimating unit 133 estimates that the context of the terminal device 10 is an environment or situation in which "a river can be heard". .

なお、基本的に、地図上のコンテキストは、地図情報とユーザUの位置情報から特定される。但し、推定部133は、地図情報を分析し、ユーザUの位置情報から地図上のコンテキストを推定してもよい。 Note that, basically, the context on the map is identified from the map information and the user's U location information. However, the estimation unit 133 may analyze the map information and estimate the context on the map from the user U's location information.

(比較部134)
比較部134は、ユーザUの位置情報から特定される地図上のコンテキストと、センサ情報に基づく端末装置10のコンテキストとを比較する。
(Comparator 134)
The comparison unit 134 compares the context on the map specified from the position information of the user U and the context of the terminal device 10 based on the sensor information.

比較部134は、比較の結果、地図上のコンテキストと端末装置10のコンテキストとが一致している場合には、地図上におけるユーザUの位置情報が正しいと判断し、現状を維持する。 If the comparison result shows that the context on the map matches the context of the terminal device 10, the comparison unit 134 determines that the position information of the user U on the map is correct, and maintains the current status.

また、比較部134は、比較の結果、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、地図上におけるユーザUの位置情報を補正する必要があるか否かを判断する。具体的には、比較部134は、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、誤っているのがユーザUの位置情報の方であるか、地図情報の方であるかを判断する。 Further, when the comparison result shows that the context on the map and the context of the terminal device 10 do not match, the comparison unit 134 determines whether or not it is necessary to correct the position information of the user U on the map. Specifically, when the context on the map and the context of the terminal device 10 do not match, the comparison unit 134 determines that the location information of the user U or the map information is incorrect. to judge whether

なお、比較部134は、誤っているのがユーザUの位置情報の方であるか、地図情報の方であるかを判断する場合、地図上の同じ位置又はその周囲に存在する複数のユーザUのセンサ情報と位置情報の組に基づいて判断してもよい。 Note that when the comparison unit 134 determines whether the error is in the position information of the user U or in the map information, the comparison unit 134 determines whether the position information of the user U or the map information is incorrect. may be determined based on a set of sensor information and position information.

(補正部135)
補正部135は、比較部134による比較の結果、誤っているのがユーザUの位置情報の方であると判断された場合には、地図上におけるユーザUの位置情報を補正する。例えば、補正部135は、地図上におけるユーザUの位置情報を、端末装置10のコンテキストと地図上のコンテキストとが一致する場所に補正する。
(Correction unit 135)
When it is determined as a result of the comparison by the comparison unit 134 that the position information of the user U is incorrect, the correction unit 135 corrects the position information of the user U on the map. For example, the correction unit 135 corrects the position information of the user U on the map to a place where the context of the terminal device 10 and the context on the map match.

また、補正部135は、比較部134による比較の結果、誤っているのが地図情報の方であると判断された場合には、地図情報を補正する。例えば、補正部135は、移動中のユーザUの位置情報から特定される地図上のコンテキストが「地図上に川が存在しない場所」であるにもかかわらず、センサ情報に基づく端末装置10のコンテキストでは「川の流れが聞こえる」状況であるならば、地図情報を補正し、地図上においてユーザUの位置情報から所定範囲内に川を示すアイコン等を追加する。あるいは、情報提供装置100は、現在の地図情報を、地図上に川が含まれる地図情報に変更し、その地図上において川から所定の距離にユーザUの位置情報を補正する。この場合、補正部135は、新たに地図を生成してもよいし、既存の地図を更新してもよい。例えば、補正部135は、地図検索サイト等において提供される地図情報を補正してもよい。また、補正部135は、補正部135の一部であってもよい。 Further, when it is determined as a result of the comparison by the comparison unit 134 that the map information is erroneous, the correction unit 135 corrects the map information. For example, the correction unit 135 corrects the context of the terminal device 10 based on the sensor information even though the context on the map specified from the position information of the moving user U is “a place where no river exists on the map”. Then, if the situation is such that "the flow of the river can be heard", the map information is corrected, and an icon or the like indicating the river is added within a predetermined range from the position information of the user U on the map. Alternatively, the information providing apparatus 100 changes the current map information to map information including the river on the map, and corrects the position information of the user U to a predetermined distance from the river on the map. In this case, the correction unit 135 may generate a new map or update an existing map. For example, the correction unit 135 may correct map information provided on a map search site or the like. Also, the correction unit 135 may be a part of the correction unit 135 .

(出力部136)
出力部136は、通信部110を介して、ユーザUの端末装置10に対して、補正部135により補正された地図上におけるユーザUの位置情報を送信する。また、出力部136は、ユーザUの端末装置10に対して、補正部135により補正された地図情報を送信する。
(Output unit 136)
The output unit 136 transmits the position information of the user U on the map corrected by the correction unit 135 to the terminal device 10 of the user U via the communication unit 110 . Also, the output unit 136 transmits the map information corrected by the correction unit 135 to the user U's terminal device 10 .

〔5.処理手順〕
次に、図8を用いて実施形態に係る情報提供装置100による処理手順について説明する。図8は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報提供装置100の制御部130によって繰り返し実行される。
[5. Processing procedure]
Next, a processing procedure performed by the information providing apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 8 is a flow chart showing a processing procedure according to the embodiment. Note that the processing procedure described below is repeatedly executed by the control unit 130 of the information providing apparatus 100 .

図8に示すように、情報提供装置100は、各地に所在する複数のユーザUの端末装置10のそれぞれからセンサ情報(センサデータ)とユーザ情報と位置情報とを取得する(ステップS101)。 As shown in FIG. 8, the information providing device 100 acquires sensor information (sensor data), user information, and location information from each of the terminal devices 10 of a plurality of users U located in various places (step S101).

そして、情報提供装置100は、センサ情報を種別毎に分類(カテゴライズ)する(ステップS102)。 Then, the information providing apparatus 100 classifies (categorizes) the sensor information by type (step S102).

そして、情報提供装置100は、センサ情報とユーザ情報と位置情報とを紐づけてデータベースに記憶する(ステップS103)。 Then, the information providing apparatus 100 associates the sensor information, the user information, and the position information and stores them in the database (step S103).

例えば、情報提供装置100は、センサ情報に含まれる音から環境音を抽出し、抽出された環境音を音の種別毎に分類(カテゴライズ)し、分類された環境音を音の種別毎にユーザ情報と位置情報とに紐づけて記憶する。 For example, the information providing apparatus 100 extracts environmental sounds from the sounds included in the sensor information, classifies (categorizes) the extracted environmental sounds for each sound type, and classifies the classified environmental sounds for each sound type for the user. Information and location information are linked and stored.

そして、情報提供装置100は、センサ情報を分析し、端末装置10のコンテキストを推定する(ステップS104)。 The information providing device 100 then analyzes the sensor information and estimates the context of the terminal device 10 (step S104).

そして、情報提供装置100は、ユーザUの位置情報から特定される地図上のコンテキストと、センサ情報に基づく端末装置10のコンテキストとを比較する(ステップS105)。 Then, the information providing device 100 compares the context on the map specified from the position information of the user U and the context of the terminal device 10 based on the sensor information (step S105).

このとき、情報提供装置100は、比較の結果、地図上のコンテキストと端末装置10のコンテキストとが一致する場合(ステップS105;Yes)には、現状を維持し、処理を終了する。 At this time, if the result of the comparison shows that the context on the map matches the context of the terminal device 10 (step S105; Yes), the information providing device 100 maintains the current state and terminates the process.

情報提供装置100は、比較の結果、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合(ステップS105;No)には、地図上におけるユーザUの位置情報を補正する必要があるか否かを判断する(ステップS106)。 When the context on the map and the context of the terminal device 10 do not match as a result of the comparison (step S105; No), the information providing device 100 determines whether it is necessary to correct the position information of the user U on the map. (step S106).

すなわち、情報提供装置100は、地図上のコンテキストと端末装置10のコンテキストとが一致しない場合には、誤っているのがユーザUの位置情報の方であるか、地図情報の方であるかを判断する。 That is, when the context on the map and the context of the terminal device 10 do not match, the information providing device 100 determines whether the location information of the user U or the map information is incorrect. to decide.

そして、情報提供装置100は、ユーザUの位置情報の方に誤りがあり、地図上におけるユーザUの位置情報を補正する必要があると判断した場合(ステップS106;Yes)、地図上におけるユーザUの位置情報を補正する(ステップS107)。 Then, when the information providing apparatus 100 determines that there is an error in the position information of the user U and that it is necessary to correct the position information of the user U on the map (step S106; Yes), the position information of the user U on the map is corrected (step S107).

そして、情報提供装置100は、位置情報が補正されたユーザUの端末装置10に対して、補正された位置情報を提供する(ステップSS108)。 Then, the information providing device 100 provides the corrected position information to the terminal device 10 of the user U whose position information has been corrected (step SS108).

また、情報提供装置100は、地図情報の方に誤りがあり、地図上におけるユーザUの位置情報を補正する必要がないと判断した場合(ステップS106;No)には、地図情報を補正する(ステップS109)。 Further, when the information providing apparatus 100 determines that there is an error in the map information and that it is not necessary to correct the position information of the user U on the map (step S106; No), it corrects the map information ( step S109).

そして、情報提供装置100は、その地図上に位置情報が表示されているユーザUの端末装置10に対して、補正された地図情報を提供する(ステップSS110)。 Then, the information providing device 100 provides the corrected map information to the terminal device 10 of the user U whose position information is displayed on the map (step SS110).

〔6.変形例〕
上述した端末装置10および情報提供装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
[6. Modification]
The terminal device 10 and the information providing device 100 described above may be implemented in various different forms other than the above embodiments. So, below, the modification of embodiment is demonstrated.

上記の実施形態において、端末装置10がユーザUの衣服のポケットや鞄(バッグ、リュック、ポーチ)等の中にしまわれている可能性もある。そこで、端末装置10は、ユーザUにより使用(操作、動画視聴等)されている場合にのみ、センサ情報を情報提供装置100に送信するようにしてもよい。例えば、情報提供装置100は、端末装置10が何らかのアプリケーションプログラム(アプリ)等を起動している場合にはセンサ情報を取得し、何らアプリ等を起動していない場合にはセンサ情報を取得しないようにする。もしくは、情報提供装置100は、端末装置10が非スリープ状態の場合にはセンサ情報を取得し、端末装置10がスリープ状態の場合にはセンサ情報を取得しないようにする。なお、「センサ情報を取得しない」には、「センサ情報を取得しても記憶しない」ことを含む。 In the above-described embodiment, the terminal device 10 may be put away in the pocket of the user U's clothes, bag (bag, rucksack, pouch), or the like. Therefore, the terminal device 10 may transmit sensor information to the information providing device 100 only when it is being used by the user U (operation, video viewing, etc.). For example, the information providing apparatus 100 acquires sensor information when the terminal device 10 is running some application program (app), and does not acquire sensor information when no app is running. to Alternatively, the information providing apparatus 100 acquires sensor information when the terminal device 10 is in a non-sleep state, and does not acquire sensor information when the terminal device 10 is in a sleep state. Note that "does not acquire sensor information" includes "does not store sensor information even if acquired".

また、情報提供装置100は、センサ情報とともに、端末装置10の操作履歴等を取得し、端末装置10がユーザUにより所定時間以上(例えば5分以上)使用されていない場合には、端末装置10がユーザUの衣服のポケットや鞄等の中にしまわれていると推定し、端末装置10からのセンサ情報を取得しないようにしてもよい。 In addition, the information providing apparatus 100 acquires the operation history of the terminal device 10 and the like together with the sensor information. is stored in the pocket of user U's clothes, bag, or the like, and the sensor information from the terminal device 10 may not be acquired.

また、情報提供装置100は、センサ情報(環境音、気圧、照度等)又はその変化等に基づいて、端末装置10がユーザUの衣服のポケットや鞄等の中にしまわれていると推定した場合には、端末装置10からのセンサ情報を取得しないようにしてもよい。 Further, the information providing apparatus 100 presumes that the terminal device 10 is stored in the user U's clothing pocket, bag, or the like, based on sensor information (environmental sound, air pressure, illuminance, etc.) or changes thereof. In some cases, the sensor information from the terminal device 10 may not be acquired.

また、上記の実施形態においては、地図上におけるユーザの現在位置を補正しているが、実際には、過去のセンサ情報に基づいて、ユーザの過去の行動履歴(ロケーション履歴)を補正してもよい。例えば、ユーザの過去の行動履歴に含まれる各位置情報の取得時点におけるセンサ情報を分析し、ある位置情報において、その位置ではあり得ない環境音等が検出されている場合には、行動履歴における当該位置情報を、その環境音等が検出される位置に補正する。 Further, in the above embodiment, the user's current position on the map is corrected. good. For example, by analyzing the sensor information at the time of acquisition of each location information included in the user's past action history, if an environmental sound that is impossible at that location is detected at a certain location information, The position information is corrected to the position where the environmental sound or the like is detected.

また、上記の実施形態において、情報提供装置100は、センサ情報(環境音、気圧、照度等)又はその変化等に基づいて、屋内測位のキャリブレーション(較正)を実施してもよい。例えば、情報提供装置100は、屋内測位において、この場所でこんな音が聞こえるはずがないと判断した場合には、キャリブレーションを実施する。例えば、屋内測位をやり直す。あるいは、その場所でのセンサ情報を再取得(再計測)する。あるいは、情報提供装置100は、この音が聞こえるのは店舗Aの前のはずなので、実際の位置は店舗Aの前だと判断し、キャリブレーションデータに用いる形で電波測位マップを補正する。 Further, in the above embodiment, the information providing apparatus 100 may perform indoor positioning calibration based on sensor information (environmental sound, atmospheric pressure, illuminance, etc.) or changes thereof. For example, in indoor positioning, if the information providing apparatus 100 determines that such a sound cannot be heard in this place, it performs calibration. For example, redo indoor positioning. Alternatively, the sensor information at that location is reacquired (remeasured). Alternatively, since the sound should be heard in front of the store A, the information providing apparatus 100 determines that the actual position is in front of the store A, and corrects the radio positioning map using the calibration data.

なお、情報提供装置100は、ユーザUの端末装置10内の一機能として実装されてもよい。例えば、情報提供装置100は、ユーザUの端末装置10のうちの一台であってもよい。 Note that the information providing device 100 may be implemented as one function in the user U's terminal device 10 . For example, the information providing device 100 may be one of the user U's terminal devices 10 .

〔7.効果〕
上述してきたように、本願に係る情報提供装置100は、取得部131と、補正部135とを備える。取得部131は、センサを有するユーザUの端末装置10が同時期に取得したセンサ情報と位置情報とを取得する。補正部135は、センサ情報と位置情報とに基づいて地図上のユーザUの位置を補正する。このように、本願に係る情報提供装置100は、HaaS(Hardware as a Service)を活用して、環境情報に基づいて地図上におけるユーザの位置を訂正することができる。
[7. effect〕
As described above, the information providing device 100 according to the present application includes the acquisition section 131 and the correction section 135 . The acquisition unit 131 acquires the sensor information and the position information simultaneously acquired by the terminal device 10 of the user U having the sensor. The correction unit 135 corrects the position of the user U on the map based on the sensor information and position information. Thus, the information providing apparatus 100 according to the present application can utilize HaaS (Hardware as a Service) to correct the user's position on the map based on the environment information.

〔8.ハードウェア構成〕
また、上述した実施形態に係る端末装置10や情報提供装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置100を例に挙げて説明する。図9は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
[8. Hardware configuration]
Also, the terminal device 10 and the information providing device 100 according to the above-described embodiments are implemented by a computer 1000 configured as shown in FIG. 9, for example. The information providing apparatus 100 will be described below as an example. FIG. 9 is a diagram illustrating an example of a hardware configuration; The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output I/F (Interface) 1060, an input I/F 1070, and a network I/F 1080 are buses. It has a form connected by 1090.

演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。 The arithmetic device 1030 operates based on programs stored in the primary storage device 1040 and the secondary storage device 1050, programs read from the input device 1020, and the like, and executes various processes. The arithmetic unit 1030 is implemented by, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or the like.

一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USBメモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。 The primary storage device 1040 is a memory device such as a RAM (Random Access Memory) that temporarily stores data used for various calculations by the arithmetic device 1030 . The secondary storage device 1050 is a storage device in which data used for various calculations by the arithmetic device 1030 and various databases are registered. State Drive), flash memory, or the like. The secondary storage device 1050 may be an internal storage or an external storage. Also, the secondary storage device 1050 may be a removable storage medium such as a USB memory or an SD (Secure Digital) memory card. Also, the secondary storage device 1050 may be a cloud storage (online storage), a NAS (Network Attached Storage), a file server, or the like.

出力I/F1060は、ディスプレイ、プロジェクタ、およびプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。 The output I/F 1060 is an interface for transmitting information to be output to the output device 1010 that outputs various information such as a display, a projector, and a printer. (Digital Visual Interface), HDMI (registered trademark) (High Definition Multimedia Interface), and other standardized connectors. Also, the input I/F 1070 is an interface for receiving information from various input devices 1020 such as a mouse, keyboard, keypad, buttons, scanner, etc., and is realized by, for example, USB.

また、出力I/F1060および入力I/F1070はそれぞれ出力装置1010および入力装置1020と無線で接続してもよい。すなわち、出力装置1010および入力装置1020は、ワイヤレス機器であってもよい。 Also, the output I/F 1060 and the input I/F 1070 may be wirelessly connected to the output device 1010 and the input device 1020, respectively. That is, output device 1010 and input device 1020 may be wireless devices.

また、出力装置1010および入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060および入力I/F1070も、入出力I/Fとして一体化していてもよい。 Also, the output device 1010 and the input device 1020 may be integrated like a touch panel. In this case, the output I/F 1060 and the input I/F 1070 may also be integrated as an input/output I/F.

なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。 Note that the input device 1020 includes, for example, optical recording media such as CDs (Compact Discs), DVDs (Digital Versatile Discs), PDs (Phase change rewritable discs), magneto-optical recording media such as MOs (Magneto-Optical discs), and tapes. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like.

ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。 Network I/F 1080 receives data from other devices via network N and sends the data to arithmetic device 1030, and also transmits data generated by arithmetic device 1030 via network N to other devices.

演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。 Arithmetic device 1030 controls output device 1010 and input device 1020 via output I/F 1060 and input I/F 1070 . For example, arithmetic device 1030 loads a program from input device 1020 or secondary storage device 1050 onto primary storage device 1040 and executes the loaded program.

例えば、コンピュータ1000が情報提供装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。 For example, when the computer 1000 functions as the information providing device 100 , the arithmetic device 1030 of the computer 1000 implements the functions of the control unit 130 by executing a program loaded on the primary storage device 1040 . Further, arithmetic device 1030 of computer 1000 may load a program acquired from another device via network I/F 1080 onto primary storage device 1040 and execute the loaded program. Further, the arithmetic unit 1030 of the computer 1000 may cooperate with another device via the network I/F 1080, and call functions, data, etc. of the program from another program of the other device for use.

〔9.その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
[9. others〕
Although the embodiments of the present application have been described above, the present invention is not limited by the contents of these embodiments. In addition, the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range. Furthermore, the components described above can be combined as appropriate. Furthermore, various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 Further, among the processes described in the above embodiments, all or part of the processes described as being automatically performed can be manually performed, or the processes described as being performed manually can be performed manually. All or part of this can also be done automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.

例えば、上述した情報提供装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現する等、構成は柔軟に変更できる。 For example, the information providing apparatus 100 described above may be implemented by a plurality of server computers, and depending on the function, may be implemented by calling an external platform or the like using an API (Application Programming Interface), network computing, or the like. can be changed flexibly.

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Also, the above-described embodiments and modifications can be appropriately combined within a range that does not contradict the processing content.

また、上述してきた「部(section、module、unit)」は、「手段」や「回路」等に読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means", "circuit", or the like. For example, the acquisition unit can be read as acquisition means or an acquisition circuit.

1 情報処理システム
10 端末装置
14 測位部
20 センサ部
100 情報提供装置
110 通信部
120 記憶部
121 ユーザ情報データベース
122 センサ情報データベース
123 地図情報データベース
130 制御部
131 取得部
132 集積部
133 推定部
134 比較部
135 補正部
136 出力部
1 information processing system 10 terminal device 14 positioning unit 20 sensor unit 100 information providing device 110 communication unit 120 storage unit 121 user information database 122 sensor information database 123 map information database 130 control unit 131 acquisition unit 132 accumulation unit 133 estimation unit 134 comparison unit 135 correction unit 136 output unit

Claims (8)

センサを有するユーザの端末装置が同時期に取得したセンサ情報と位置情報とを取得する取得部と、
前記センサ情報に基づいて前記端末装置のコンテキストを推定する推定部と、
前記位置情報から特定される地図上のコンテキストと、前記端末装置のコンテキストとを比較する比較部と、
前記比較の結果に応じて、地図上の前記ユーザの位置を補正する補正部と、
を備え
前記比較部は、前記比較の結果、地図上のコンテキストと前記端末装置のコンテキストとが一致しない場合には、誤っているのが前記位置情報の方であるか、地図情報の方であるかを判断する
ことを特徴とする情報処理装置。
an acquisition unit that acquires sensor information and location information acquired at the same time by a user's terminal device having a sensor;
an estimation unit that estimates the context of the terminal device based on the sensor information;
a comparison unit that compares the context on the map specified from the location information and the context of the terminal device;
a correction unit that corrects the position of the user on the map according to the result of the comparison ;
with
If the comparison result shows that the context on the map and the context of the terminal device do not match, the comparison unit determines whether the location information is incorrect or the map information is incorrect. to decide
An information processing device characterized by:
前記センサ情報に含まれる音から環境音を抽出する抽出部と、
をさらに備え、
前記推定部は、前記環境音に基づいて前記端末装置のコンテキストを推定する
ことを特徴とする請求項に記載の情報処理装置。
an extraction unit that extracts an environmental sound from the sound included in the sensor information;
further comprising
The information processing device according to claim 1 , wherein the estimation unit estimates the context of the terminal device based on the environmental sound.
前記比較部は、地図上のコンテキストに含まれる対象物の位置と前記端末装置のコンテキストに含まれる対象物の位置とが一致しない場合には、誤っているのが前記位置情報の方であると判断する
ことを特徴とする請求項1又は2に記載の情報処理装置。
When the position of the object included in the context on the map and the position of the object included in the context of the terminal device do not match, the comparison unit determines that the position information is erroneous. 3. The information processing apparatus according to claim 1, wherein the determination is made.
前記補正部は、誤っているのが前記位置情報の方であると判断された場合には、地図上の前記ユーザの位置を補正する
ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
4. The correcting unit corrects the position of the user on the map when it is determined that the position information is erroneous. The information processing device according to .
前記比較部は、前記端末装置のコンテキストに含まれる対象物が地図上のコンテキストには含まれていない場合には、誤っているのが前記地図情報の方であると判断する
ことを特徴とする請求項のいずれか1つに記載の情報処理装置。
The comparison unit determines that the map information is erroneous when the object included in the context of the terminal device is not included in the context on the map. The information processing apparatus according to any one of claims 1 to 4 .
前記補正部は、誤っているのが前記地図情報の方であると判断された場合に、地図を補正し、相対的に地図上の前記ユーザの位置を補正する
ことを特徴とする請求項のいずれか1つに記載の情報処理装置。
2. The correction unit corrects the map and relatively corrects the position of the user on the map when it is determined that the map information is erroneous. 6. The information processing device according to any one of 1 to 5 .
情報処理装置が実行する情報処理方法であって、
センサを有するユーザの端末装置が同時期に取得したセンサ情報と位置情報とを取得する取得工程と、
前記センサ情報に基づいて前記端末装置のコンテキストを推定する推定工程と、
前記位置情報から特定される地図上のコンテキストと、前記端末装置のコンテキストとを比較する比較工程と、
前記比較の結果に応じて、地図上の前記ユーザの位置を補正する補正工程と、
を含み、
前記比較工程では、前記比較の結果、地図上のコンテキストと前記端末装置のコンテキストとが一致しない場合には、誤っているのが前記位置情報の方であるか、地図情報の方であるかを判断する
ことを特徴とする情報処理方法。
An information processing method executed by an information processing device,
an acquisition step of acquiring sensor information and location information simultaneously acquired by a terminal device of a user having a sensor;
an estimation step of estimating the context of the terminal device based on the sensor information;
a comparing step of comparing the context on the map identified from the location information and the context of the terminal device;
a correction step of correcting the position of the user on the map according to the result of the comparison ;
including
In the comparison step, if the result of the comparison is that the context on the map and the context of the terminal device do not match, it is determined whether the location information or the map information is erroneous. to decide
An information processing method characterized by:
センサを有するユーザの端末装置が同時期に取得したセンサ情報と位置情報とを取得する取得手順と、
前記センサ情報に基づいて前記端末装置のコンテキストを推定する推定手順と、
前記位置情報から特定される地図上のコンテキストと、前記端末装置のコンテキストとを比較する比較手順と、
前記比較の結果に応じて、地図上の前記ユーザの位置を補正する補正手順と、
をコンピュータに実行させ
前記比較手順では、前記比較の結果、地図上のコンテキストと前記端末装置のコンテキストとが一致しない場合には、誤っているのが前記位置情報の方であるか、地図情報の方であるかを判断する
ことを特徴とする情報処理プログラム。
an acquisition procedure for acquiring sensor information and location information simultaneously acquired by a terminal device of a user having a sensor;
An estimation procedure for estimating the context of the terminal device based on the sensor information;
a comparison procedure for comparing the context on the map identified from the location information and the context of the terminal device;
a correction procedure for correcting the position of the user on the map according to the result of the comparison ;
on the computer, and
In the comparison procedure, if the result of the comparison is that the context on the map and the context of the terminal device do not match, it is determined whether the location information or the map information is erroneous. to decide
An information processing program characterized by:
JP2020097121A 2020-06-03 2020-06-03 Information processing device, information processing method and information processing program Active JP7155195B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020097121A JP7155195B2 (en) 2020-06-03 2020-06-03 Information processing device, information processing method and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020097121A JP7155195B2 (en) 2020-06-03 2020-06-03 Information processing device, information processing method and information processing program

Publications (2)

Publication Number Publication Date
JP2021189116A JP2021189116A (en) 2021-12-13
JP7155195B2 true JP7155195B2 (en) 2022-10-18

Family

ID=78849303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020097121A Active JP7155195B2 (en) 2020-06-03 2020-06-03 Information processing device, information processing method and information processing program

Country Status (1)

Country Link
JP (1) JP7155195B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011038983A (en) 2009-08-18 2011-02-24 Jvc Kenwood Holdings Inc Information display device, route setting method, and program
JP2012073088A (en) 2010-09-28 2012-04-12 Sony Corp Position information providing device, position information providing method, position information providing system and program
JP2016191710A (en) 2016-06-14 2016-11-10 株式会社横須賀テレコムリサーチパーク Positioning device and positioning program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011038983A (en) 2009-08-18 2011-02-24 Jvc Kenwood Holdings Inc Information display device, route setting method, and program
JP2012073088A (en) 2010-09-28 2012-04-12 Sony Corp Position information providing device, position information providing method, position information providing system and program
JP2016191710A (en) 2016-06-14 2016-11-10 株式会社横須賀テレコムリサーチパーク Positioning device and positioning program

Also Published As

Publication number Publication date
JP2021189116A (en) 2021-12-13

Similar Documents

Publication Publication Date Title
JP7041700B2 (en) Information processing equipment, information processing methods and information processing programs
JP7155195B2 (en) Information processing device, information processing method and information processing program
JP7098689B2 (en) Information processing equipment, information processing methods and information processing programs
JP7155196B2 (en) Information processing device, information processing method and information processing program
JP2023027548A (en) Device, method, and program for processing information
JP2022110843A (en) Information processing device, information processing method and information processing program
JP7244458B2 (en) Information processing device, information processing method and information processing program
JP7025480B2 (en) Information processing equipment, information processing methods and information processing programs
JP7388744B2 (en) Information processing device, information processing method, and information processing program
JP7317901B2 (en) Information processing device, information processing method and information processing program
JP7337123B2 (en) Information processing device, information processing method and information processing program
JP7372210B2 (en) Information processing device, information processing method, and information processing program
JP7145247B2 (en) Information processing device, information processing method and information processing program
JP7095040B2 (en) Information processing equipment, information processing methods and information processing programs
JP7077431B1 (en) Information processing equipment, information processing methods and information processing programs
JP7145997B2 (en) Information processing device, information processing method and information processing program
JP7459021B2 (en) Information processing device, information processing method, and information processing program
JP2023127393A (en) Information processing device, information processing method, and information processing program
JP2023179878A (en) Information processing device, information processing method and information processing program
JP2023043762A (en) Information processing device, information processing method, and information processing program
JP2023043778A (en) Information processing device, information processing method, and information processing program
JP2023041527A (en) Information processing device, information processing method, and information processing program
JP2023041526A (en) Information processing device, information processing method, and information processing program
JP2023089777A (en) Information processing device, information processing method, and information processing program
JP2023089778A (en) Information processing device, information processing method, and information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350