JP6384898B2 - Route guidance system, method and program - Google Patents

Route guidance system, method and program Download PDF

Info

Publication number
JP6384898B2
JP6384898B2 JP2014001622A JP2014001622A JP6384898B2 JP 6384898 B2 JP6384898 B2 JP 6384898B2 JP 2014001622 A JP2014001622 A JP 2014001622A JP 2014001622 A JP2014001622 A JP 2014001622A JP 6384898 B2 JP6384898 B2 JP 6384898B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
information
image
route
unit
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014001622A
Other languages
Japanese (ja)
Other versions
JP2015129696A (en )
Inventor
加藤 晴久
晴久 加藤
柳原 広昌
広昌 柳原
Original Assignee
Kddi株式会社
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、現在地から目的地までの経路を案内する経路案内システム、方法及びプログラムに関し、特に、位置を計測するための対象を提示するとともに更新を自動化できる経路案内システム、方法及びプログラムに関する。 The present invention, route guidance system for guiding a route from the current position to the destination, relates to a method and a program, particularly relates to a route guidance system, method and program that can automate updates with presenting an object for measuring the position .

現在地から目的地までの経路を案内する方法としては、以下のような方法が公開されている。 As a method for guiding a route to the destination from the current location, methods, such as have been published below.

GPS(Global Positioning System;全地球測位システム)による経路案内では、複数の衛星からの電波を受信することで現在位置を計測し、目的地までの経路情報を提供することが可能である。 GPS; the route guidance by the (Global Positioning System Global Positioning System) to measure the current position by receiving radio waves from a plurality of satellites, it is possible to provide route information to the destination. また、無線LANによる経路案内では、複数の無線アクセスポイントからの電波を受信し、三角測量などにより現在位置を計測し、目的地までの経路情報を提供することが可能である。 Further, the route guidance by a wireless LAN, receives radio waves from a plurality of wireless access points, and measures the present position due to triangulation, it is possible to provide route information to the destination.

特許文献1では、固定した場所に設置されたICタグを読み取ることで、端末の位置を知るとともに、携帯端末本体にもICタグを設置して、携帯端末同士の位置関係を取得できるようにすることを提案している。 In Patent Document 1, by reading the IC tag installed in a fixed location, with knowing the location of the terminal, also installed IC tag to the mobile terminal body to be able to obtain the positional relationship between the mobile terminal it is proposed. 固定したICタグとの位置関係に加えて、移動する携帯端末同士の位置関係を分析することにより、携帯端末の位置をより高い精度で特定することができる。 In addition to the positional relationship between the fixed IC tag, by analyzing the positional relationship between the mobile terminal between a moving, it is possible to specify the position of the portable terminal with higher accuracy.

特許文献2では、看板や標識等の文字を画像認識することで、撮影対象のテキスト情報と、事前に登録されたテキスト情報に紐づく位置情報とに基づき、前記画像が撮影された地点を特定する方法を提案している。 In Patent Document 2, the signs and characters signs, etc. By image recognition, based on the position information brute string in the text information to be imaged, text information registered in advance, identify the point at which the image was captured It has proposed a method of.

特開2012-137296号公報 JP 2012-137296 JP 特開2013-145176号公報 JP 2013-145176 JP

GPSによる経路案内では、屋内や高層ビル等の遮蔽物により衛星からの電波を受信できない場合に、正確な現在位置を計測することが困難になるという問題がある。 The route guidance by GPS, if it can not receive radio waves from satellites by the shielding materials such as indoors or high-rise buildings, there is a problem that it is difficult to measure the accurate current position.

無線LANによる経路案内では、複数の無線アクセスポイントを設置することで、屋内でも現在位置を計測することが可能であるため、GPSによる経路案内の問題を解決できる。 The route guidance by a wireless LAN, by installing a plurality of radio access points, because also it is possible to measure the current position indoors, can solve the problem of route guidance by GPS. しかし、複数の無線の電波干渉やマルチパスがある場合に、正確な現在位置を計測することが困難になるという問題がある。 However, when a plurality of radio wave interference and multipath, there is a problem that it is difficult to measure the accurate current position. また、無線アクセスポイントを追加・削除・変更する度に設置情報を格納するデータベースを更新する必要があるなど、運用開始後の保守コストがかかるという問題がある。 In addition, such as there is a need to update the database that stores the installation information every time you add, delete or change the wireless access point, there is a problem that it takes a long maintenance costs after the start of operation.

特許文献1では、位置情報を保持させたICタグを設置することで、GPSによる経路案内における問題を解決できる。 In Patent Document 1, by installing the IC tag is held positional information, it is possible to solve the problem in the route guidance by GPS. また、一般的にICタグは無線LANより通信範囲が狭いため、現在位置の計測精度が高く、無線LANによる経路案内の問題も、その一部は解決できる。 Further, generally the IC tag is because from the communication range is narrow a wireless LAN, high measurement accuracy of the current position, a problem of route guidance by a wireless LAN, some of which can be solved. ただ、計測精度を高めるためにはICタグを広範に設置する必要があるため、設置等に関してコストがかかるという問題は残る。 However, since in order to increase the measurement accuracy, it is necessary to widely installed IC tag, remains a problem that costs for Installation like such. そこで、特許文献1ではICタグの設置コスト低減と計測の高精度化を両立させるため、固定したICタグの増幅器として携帯端末を利用するが、十分な数の携帯端末がICタグの近傍に存在しない状況では、位置を全く計測できないという問題がある。 Therefore, present in the vicinity of the installation cost and achieve both high accuracy of measurement, utilizes a portable terminal as an amplifier of fixed IC tag, a sufficient number of the mobile terminal is an IC tag of an IC tag in Patent Document 1 in the non situation, there is a problem that can not be measured position at all.

特許文献2は、既存の看板や標識などを利用するので、GPSによる経路案内の問題および特許文献1の設置コストに関する問題を解決できる。 Patent Document 2, since the use of such existing billboards and signs, it is possible to solve the problem related problems and installation costs of the patent document 1 route guidance by GPS. しかし、コンビニエンスストアの看板など、同一文字列が複数の異なる場所(同一系列の異なる店舗等)にそれぞれ存在する場合、現在位置を誤認する恐れがある。 However, such as the convenience store of the sign, when the same character string is present in a plurality of different locations (the same series of different stores, etc.), there is a risk of mistaking the current position. また、そもそも、ユーザに提供される情報は平面の地図上における現在位置のみであり、撮像して認識させる対象をユーザに知らしめる手段を提供していないので、実用上の問題がある。 Further, in the first place, the information provided to the user is only the current position on the plane of the map, since it offers a means to notify the target to be recognized by imaging the user, there is a practical problem. 第一に、ユーザは何を撮影すれば良いのか分からないという問題があり、さらに第二に、実際に見えている景色との関係でユーザは目的地へ向けてどのように移動すればよいか分からない、という問題がある。 First, the user there is a problem that does not know what to do shooting, further to the second, a user in relation to the scenery that actually appear may be moved so as to how towards the destination I do not know, there is a problem in that.

本発明は上記実情に鑑みて提案されたもので、位置を計測するための対象を提示することでユーザに対して直感的な経路案内を行うことができる経路案内システム、方法及びプログラムを提供することを第一の目的とする。 The present invention has been proposed in view of the above circumstances, the route guidance system which can perform an intuitive route guidance to the user by presenting a target for measuring the position, to provide a method and program the first aim. さらに、当該提示すべき対象の更新を容易にすることを第二の目的とする。 Further, to facilitate the updating of the target to be the presentation with a second object.

上記目的を達成するため、本発明は、ユーザの存在する現在地より、ユーザが入力する目的地へ至る経路案内を行う経路案内システムであって、前記ユーザの存在する現在地における情景を撮像画像として取得する撮像部と、前記撮像画像より所定の撮像対象を認識することで前記現在地を決定する認識部と、前記決定された現在地より前記ユーザが入力する目的地へと至る経路を探索する探索部と、ユーザに情報を提示する提示部と、前記探索された経路に応じた経路案内のための提示情報であって、当該経路上における情景画像を含む提示情報を、前記提示部に提示させるように制御する制御部と、前記認識部が所定の撮像対象を認識するための所定の画像特徴量及び前記認識部が前記現在地を決定するための所定の撮像対象に対応する To achieve the above object, the present invention is obtained from the current position of the user is present, a route guidance system for performing route guidance that leads to the destination which the user inputs, the scene in the current location to the presence of the user as a captured image an imaging unit that includes a recognition unit for determining the current position by recognizing the predetermined imaging target from the captured image, and a search unit that the user from the determined current position to search for a route to a destination to be input a presentation unit for presenting information to a user, a presentation information for route guidance in accordance with the searched route, the presentation information including the scene image on the route, so as to present to the presentation unit a control unit for controlling, the recognition unit is corresponding to the predetermined imaging target for a predetermined image feature amount for recognizing a predetermined imaging target and the recognition unit determines the current location 置情報と、前記探索部が前記経路を探索する対象としての経路構造情報と、前記制御部の制御により前記提示部に提示させる対象としての、位置情報に対応付けられた情景画像を含む提示情報と、を記憶する記憶部と、を備える経路案内システムであることを第一の特徴とする。 Presentation information including the location information, and the route structure information as a target of the search section to search the route, as the object to be presented on the presentation unit under control of the control unit, the scene image associated with the position information When, the first being a route guidance system comprising: a storage unit, a for storing.

また、本発明は、上記第一の特徴に加えてさらに、前記認識部が前記現在地を決定することに成功した場合には、当該成功した際の撮像画像を当該決定された現在地の位置情報を紐付けて記憶部に記憶させ、失敗した場合には記憶させず、前記成功した際の撮像画像を、前記紐付けられた位置情報における、前記提示部に提示させる対象としての情景画像または当該情景画像の候補として記憶することにより、情景画像の経時変化を最新の認識対象及び提示対象として反映させることを第二の特徴とする。 The present invention, in addition to the first feature, when the recognition unit has succeeded in determining the current location, the location information on the current location of the captured image is the determination of when the the successful string attached and stored in the storage unit, not stored in the case of failure, the captured image at the time of the successful, in the cord Tagged position information, scenery image or the scene as a target to be presented to the presentation unit by storing as a candidate for an image, the second feature to reflect a temporal change of the scene image as the latest recognized and presented objects.

また、本発明は、コンピュータを上記経路案内システムとして機能させる経路案内プログラムであることを第三の特徴とする。 The present invention is directed to the third, characterized in that the computer is a path guidance program to function as the route guidance system.

さらに、本発明は、 ユーザの存在する現在地より、ユーザが入力する目的地へ至る経路案内を行うようにソフトウエアによりコンピュータを機能させる経路案内システムが備える経路案内方法であって、前記ユーザの存在する現在地における情景を撮像画像として取得する撮像ステップと、前記撮像画像より所定の撮像対象を認識することで前記現在地を決定する認識ステップと、前記決定された現在地より前記ユーザが入力する目的地へと至る経路を探索する探索ステップと、前記探索された経路に応じた経路案内のための提示情報であって、当該経路上における情景画像を含む提示情報を、ユーザに情報を提示する提示デバイスに提示させるように制御する制御ステップと、を備え、前記認識ステップは、所定の撮像対象を前記認識する Furthermore, the present invention is, from the current position of the user is present, a route guidance method comprising the route guidance system that causes a computer to function by software to perform route guidance leading to the destination that the user enters, the presence of the user to an imaging step of acquiring the scene as captured image in the current location, a recognition step of determining the current position by recognizing the predetermined imaging target from the captured image, to the destination which the user inputs from the determined current location a search step of searching for a route and provides a presentation information for route guidance in accordance with the searched route, the presentation information including the scene image on the route, the presentation device for presenting information to the user and a control step of controlling so as to present, the recognition step, the recognized predetermined imaging target めの所定の画像特徴量及び現在地を前記決定するための所定の撮像対象に対応する位置情報を参照して実行され、前記探索ステップは、前記経路を探索する対象としての経路構造情報を参照して実行され、前記制御ステップは、位置情報に対応付けられた情景画像を含む提示情報を参照して実行されるとともに、前記提示情報は、前記撮像ステップで取得した撮像画像について、前記認識ステップが前記現在地を決定することに成功した場合には、当該成功した際の撮像ステップで取得した撮像画像を当該決定された現在地の位置情報を紐付けて記憶部に記憶させ、失敗した場合には記憶させないことにより情景画像の経時変化を反映させる経路案内方法であることを第四の特徴とする。 Runs a predetermined image feature amount and the current position of the eye with reference to the position information corresponding to the predetermined imaging target for the determination, said search step refers to the routing structure information as a target for searching for the route runs Te, the control step, while being executed by referring to the presentation information including the scene image associated with the location information, the presentation information, for the captured image acquired in the image pickup step, said recognition step If successful in determining the current location, the captured image acquired by the imaging step in the the success is stored in the storage unit in association with position information of the current location, which is the decision, in case of failure stored the fourth being a route guidance method to reflect the time course of scene images by not let.

上記第一、第三又は第四の特徴によれば、ユーザに対して、撮像対象でもある経路上の情景画像を提示することで、直感的な経路案内を行うことが可能となる。 The first, according to the third or fourth aspect, the user, by presenting the scene image on a route which is also the imaging target, it is possible to perform an intuitive route guidance.

上記第二の特徴によれば、現在地の特定に成功した撮像画像が情景画像またはその候補として記憶されるので、提示対象の更新が容易になる。 According to the second aspect, since the captured image identification has succeeded location is stored as a scene image, or a candidate, updating of the presented objects is facilitated.

一実施形態に係る経路案内システムの機能ブロック図である。 It is a functional block diagram of a route guidance system according to one embodiment. 経路案内システムを経路案内サーバ及び携帯端末で実現する場合の構成の、一実施形態を示す図である。 The configuration for realizing the route guidance system in the route guiding server and a mobile terminal is a diagram showing an embodiment. 記憶部が記憶している情報のデータ構造を示す図である。 Storage unit is a diagram showing a data structure of information stored. 記憶部が記憶している情報のデータ構造を、地図情報としての観点から概念的に示す図である。 The data structure of information storage unit is storing a diagram conceptually showing in terms of the map information. 提示する画像情報の第二実施形態を説明するための、また、撮像画像の傾き及び/又は方向に応じた誘導情報を説明するための、図である。 For explaining a second embodiment of the presented image information, also for explaining guidance information corresponding to the inclination and / or direction of the captured image, a diagram. 一実施形態に係る経路案内システムの動作のフローチャートである。 It is a flowchart of the operation of the route guidance system according to one embodiment.

図1は、本発明の一実施形態に係る経路案内システムの機能ブロック図である。 Figure 1 is a functional block diagram of a route guidance system according to an embodiment of the present invention. 経路案内システム10は、入力部1、撮像部2、認識部3、探索部4、制御部5、提示部6及び記憶部7を備える。 Route guidance system 10 includes an input unit 1, the imaging unit 2, a recognition unit 3, the search unit 4, the control unit 5, the presentation unit 6 and a storage unit 7.

経路案内システム10は、その全ての機能部が、経路案内を利用するユーザが保持するスマートフォン等の携帯端末によって実現されてもよいし、一部の機能部が携帯端末ではなく、別途の経路案内サーバによって実現されてもよい。 Route guidance system 10, all of the functional units may be realized by a mobile device such as a smartphone held by the user to use the route guidance, not part of the functional unit is a mobile terminal, a separate route guidance it may be implemented by the server. 図2は、経路案内システムを経路案内サーバ及び携帯端末によって機能部の役割を分担して実現する場合の構成の、一実施形態を示す図である。 2, the configuration of the case of implementing by sharing the role of functional unit route guidance system by the route guiding server and a mobile terminal is a diagram showing an embodiment.

図2では、各ユーザが保持する携帯端末30A,30B等がそれぞれ、経路案内を利用するユーザ側にて必要となる入出力を実現するための最低限の構成として、入力部1、撮像部2及び提示部6を備え、経路案内サーバ20が、その余の構成である認識部3、探索部4、制御部5及び記憶部7を備えた例が示されている。 In Figure 2, the mobile terminal 30A in which each user holds, 30B, etc., respectively, as a minimum configuration for implementing the input and output needed by the user side utilizing the route guidance, the input unit 1, the imaging unit 2 and includes a presenting unit 6, the route guiding server 20, the recognition unit 3 is other constitution, a search unit 4, an example having a control unit 5, and a storage unit 7 is shown. 図2では、携帯端末は30A, 30Bの2台の例が示されているが、ユーザ数に応じた任意台数を取ることができる。 In Figure 2, the mobile terminal 30A, but two examples of 30B is shown, it is possible to take any number corresponding to the number of users. 携帯端末30A,30B等と経路案内サーバ20との間では、ネットワーク等による周知の通信によって、本発明の実施に必要な各種の情報をやりとりすればよい。 The mobile terminal 30A, in between 30B or the like and the route guiding server 20, by a well-known communication by network or the like, may be exchanged various information necessary for the practice of the present invention.

図2の構成の変形例として、経路案内サーバ20側にある認識部3、探索部4、制御部5 及び記憶部7の全て又は一部を、携帯端末30A,30B等の側が備えることも可能である。 As a modification of the structure of FIG. 2, the recognition unit 3 in the path guiding server 20 side, the search unit 4, all or part of the control unit 5, and a storage unit 7, the mobile terminal 30A, can also be provided in the side 30B such it is. なお、少なくとも記憶部7は、1台の経路案内サーバ20が備えるようにして、複数のユーザで記憶部7を共有するようにすれば、後述するような更新情報の恩恵を、複数ユーザの存在によってより効果的に得られるようになる。 At least the storage unit 7, as provided in one of the route guiding server 20, if to share a storage unit 7 by a plurality of users, the benefits of the update information as will be described later, the presence of a plurality of users become more effectively provides the.

図1(又は図2)に示す、経路案内システム10の各部の機能は、以下の通りである。 1 (or FIG. 2), each part of the functions of the route guidance system 10 is as follows.

入力部1は、ユーザによる手動での目的地の入力を受け付ける。 The input unit 1 receives a destination input manually by the user. 入力手段には、キーボードやタッチパネルによる文字入力、メニュー画面を介しての目的地一覧からの選択入力、地図画面を介しての地図上の位置及び/又は地名等からの選択入力その他を利用でき、入力部1は当該入力手段をユーザに提供する。 The input means, available character input from the keyboard or the touch panel, select input from the destination list through the menu screen, the other selection input from the position and / or place names on the map through the map screen, input unit 1 provides the input means to the user. また、目的地までの経路について、距離、費用、所要時間、経路の分岐数、階段の設置数等に基づく徒歩の際の高低差その他の、優先する経路の種別を、経路案内の際のオプション設定として入力してもよい。 In addition, the route to the destination, distance, cost, duration, number of branches of the route, the height difference of the time of walking based on the installation such as the number of stairs in the other, the type of the preferred route, options at the time of route guidance it may be input as the setting. 入力された目的地及び優先経路種別は、目的地情報及び優先経路種別情報として、探索部4へ出力される。 Destination and priority route type, which is input, as the destination information and the priority path type information is output to the search unit 4.

入力部1ではまた、提示部6で表示された表示情報をユーザが操作するための入力を受け付け、操作情報として制御部5へ出力する。 The input unit 1 also display information displayed by the presentation unit 6 user accepts the input for operating to output to the controller 5 as operation information.

記憶部7は、経路案内システム10が機能するために必要となる種々の情報を、管理者等によるマニュアル設定等によって予め記憶しており、当該各情報を、各機能部の必要に応じてその参照に供する。 Storage unit 7, various information necessary for the functioning of the route guidance system 10 has stored in advance by manual setting or the like by an administrator or the like, the respective information, as needed for each functional unit that subjected to reference. 記憶部7は特に、認識部3、探索部4及び制御部5に対し、それぞれ必要となる情報をその参照に供する。 Storage unit 7 in particular, the recognition unit 3, to the search unit 4 and the control unit 5, providing information required respectively to the reference.

図3は、上記各部の参照に供するべく記憶部7が記憶している情報の、データ構造を示す図である。 3, the information storing unit 7 to provide a reference of the respective parts are stored is a diagram showing the data structure. 図3にて、[1]は主として認識部3の参照に供し、[2]は主として探索部4の参照に供し、[3]は主として制御部5の参照に供するための情報のデータ構造を示している。 In Figure 3, [1] is subjected to reference mainly recognition unit 3, [2] is subjected to mainly reference search unit 4, the data structure information for providing a reference [3] mainly controller 5 shows. なお、当該[1]〜[3]のデータ構造を有する各情報は、それぞれ互いに独立したものではなく、各ID(撮像対象ID及びノードID)によって互いに関連付けられている。 Each information having a data structure of the [1] to [3], not independent of each other, respectively, are associated with each other by each ID (imaging target ID and the node ID). 記憶部7は、当該関連付けを含めて各情報を記憶している。 Storage unit 7 stores each information including the association. 以下、当該[1]〜[3]を説明する。 Hereinafter, explaining the [1] to [3].

[1]に示すデータ構造の情報は主に、認識部3が撮像対象を認識して撮像画像の現在地情報の取得するために供されるものであり、各々の撮像対象に対して、その画像特徴量と地図配置情報とを対応づけて構成されている。 [1] Information data structure is mainly shown in, which recognition unit 3 is provided in order to obtain location information of the captured image to recognize the imaged object, for each of the imaged object, the image It is configured in association with the feature quantity and the map location information. すなわち、個別の撮像対象の識別子である撮像対象ID101に、画像特徴量102と地図配置情報103とが対応付けられている。 That is, the imaging subject ID101 is an identifier of an individual being imaged, and the image feature amount 102 and the map location information 103 is associated. 地図配置情報103は、当該撮像対象の地図上における配置を特定する情報であって、ノードID104及び位置情報105を下位構造として含む。 Map location information 103 is information for specifying the placement of the imaging target on the map, including node ID104 and location information 105 as a substructure.

ここで、ノードID104は、[2]のノードID204(及び[3]のノードID304)と同種のものであり、[2]の説明において後述する。 Here, the node ID104 is of the same type (node ​​ID304 of and [3]) node [2] ID 204, described later in the description of [2]. また、位置情報105は当該撮像対象の物理的な位置を特定する情報であり、下位構造として例えば、経度106、緯度107、フロア108及び方位109を含んで構成することができる。 The position information 105 is information for specifying the physical location of the imaging target, for example, as a substructure, can be configured to include a longitude 106, latitude 107, a floor 108 and azimuth 109. フロア108は、当該撮像対象が建物の内部等に配置されている場合の、フロア(何階であるか)の情報である。 Floor 108, in a case where the imaging target is placed inside of a building, the information of the floor (which floor a either). 方位109は、当該撮像対象が、経路案内において目印として利用される際に、どの方位に見えるかを特定する情報である。 Orientation 109, the imaging target, when utilized as a landmark in the route guidance is information specifying whether visible to any orientation.

なお、位置情報105は種々の実施形態が可能である。 The position information 105 is susceptible to various embodiments. [1]に示す下位構造の一部が省略され、変更され、及び/又はその他の属性が追加される形で、位置情報105が与えられていてもよい。 Are partially omitted in the lower structure shown in [1], is changed, and / or in the form of other attributes are added, it may be given a position information 105. 例えば、経度106及び緯度107に代えて所定のxy座標値として与えられていてもよい。 For example, it may be given as a predetermined xy coordinate values ​​in place of longitude 106 and latitude 107. フロアが存在しない屋外等であれば、フロア108は、連続値を取る高度情報に置き換えてもよい。 If outdoors the floor is not present, floor 108 may be replaced with altitude information to take continuous values. また、位置情報105が、空間的な配置を表すグラフ構造や画像、3Dモデル等の立体構造その他の形式で与えられていてもよい。 The position information 105, the graph structure and images representing a spatial arrangement, may be given in three-dimensional structure other forms such as 3D models.

[2]に示すデータ構造の情報は主に、探索部4での探索処理のために供されるものである。 Information in the data structure shown in [2] is primarily intended to be subjected to the search process of the search section 4. 当該情報のうち、ノードID204の各々に対して、対応する隣接ノードIDリスト121を対応付けることにより、周知のグラフ構造を取っている部分を、経路構造情報と称する。 Among the information, for each node ID 204, by associating the corresponding adjacent node ID list 121, a portion taking a well-known graph structure, referred to as the path structure information. 当該経路構造情報は、探索部4での探索処理に利用される。 The pathway structure information is used to search processing by the search unit 4.

なお、周知のように、1つのノードID204のノードとその隣接ノードIDリスト121の各ノードとの間にエッジを設ける構造を、ノードID204が与えられた全ノードについて組み合わせることで、ノード集合とノード間のエッジ集合とからなるグラフ構造が得られる。 As is well known, a structure in which an edge between the nodes of one node ID204 and its respective node in the adjacent node ID list 121, the node ID204 Combining for all nodes given, node set and a node graph structure consisting of an edge set between is obtained. また、ノード間のエッジが、当該各ノードが表す地図上の位置の間を実際に行き来する際に利用する経路に対応するように、ノード及びエッジは予め設定される。 The edge between the nodes, so as to correspond to the route to be used when actually alternate between positions on the map where the respective node represents, nodes and edges are set in advance.

また、[2]ではノードID204に対してさらに、当該ノードに対応する撮像対象IDリスト122及び位置情報205が対応付けられているが、これらは、経路構造情報とは別途の情報であり、探索部4での探索処理においては必要とされない。 Also, [2] In addition to the node ID 204, although imaging target ID list 122 and the position information 205 corresponding to the node is associated, these are the pathway structure information is separate information, search not required in the search processing in the section 4. 当該リスト122については、図4を参照して後述する。 For the list 122 will be described later with reference to FIG. 位置情報205は、[1]の位置情報105と同種類の情報であって、当該ノードの位置を特定するものである。 Position information 205 is a same type of information as the position information 105 of [1], is to determine the location of the node.

[3]に示すデータ構造の情報は、制御部5での制御のもとで提示部6に表示して経路案内を実施するために供されるものであり、当該経路案内の際に表示するための情景画像の各々が、情景画像ID131と、その実際の内容としての情景画像132と、当該画像が取得された時刻133と、当該画像に対応する地図配置情報303と、を対応付けた構成で記憶部7に記憶されている。 Information in the data structure shown in [3] is displayed on the presentation unit 6 under the control of the control unit 5 is intended to be subjected to implement route guidance is displayed on the time of said route guidance each scene image for is a scenery image ID 131, associated with the scene image 132 as its actual content, the time 133 that the image has been acquired, the map location information 303 corresponding to the image, the configuration It is stored in the storage unit 7 in. 地図配置情報303は、当該情景画像132に対してその地図上の位置を特定する情報であり、[1]に示す撮像対象に対する地図配置情報103と同様の構成を取り、対応するノードID304及び位置情報305を下位構造として含む。 Map location information 303 is information for specifying a position on the map with respect to the scenery image 132, it takes the same configuration as the map placement information 103 for imaging target shown in [1], corresponding node ID304 and position including information 305 as a lower structure. 位置情報305も、位置情報105と同様の構成を取る。 Position information 305 is also the same configuration and location information 105.

図4は、以上の図3でそのデータ構造を説明した記憶部7が記憶している情報のうち[1],[2]に関して、その具体的な内容を、地図情報としての観点からの概念的な例によって示す図である。 4, out of the information storing unit 7 explained the data structure in Figure 3 above is stored [1], with respect to [2], the specific content, the concept of terms as map information It shows specific examples. 図4では、[A]に実際の経路案内の対象となるフィールドの例として市街地(の一部)が、[B]に当該市街地を対象として記憶部7に予めマニュアル等で設定されるノード及び撮像対象の例が、[C]に当該市街地を対象として構成され記憶部7に予めマニュアル等で設定されるグラフ構造の例が、それぞれ示されている。 In Figure 4, urban Examples of subject to field of the actual route guidance to [A] (part of) the node and set in advance manuals in the storage unit 7 as a target the urban area [B] examples of the imaging object is an example of a graph structure which is set in advance manuals in the storage unit 7 is configured as a subject the city to [C] are shown respectively.

[A]では、南北に延びる通路S1,S2と、東西に延びる通路S3,S4とで区画分けけされた市街地が示され、通路S1とそれぞれ通路S3,S4と、の交差点の位置がそれぞれ、ノードN1,N2に設定され、また、通路S2とそれぞれ通路S3,S4と、の交差点の位置がそれぞれ、ノードN3及びN4に設定される。 In [A], a passage S1, S2 extending in the north-south passages S3, extending east to west, S4 compartments separated by a morning the city are shown, respectively passage S3, S4 and passage S1, the position of the intersection, respectively, is set to the node N1, N2, also respectively passages S3, S4 and path S2, the position of the intersection, respectively, are set to the nodes N3 and N4. 各ノードN1〜N4の近辺にはそれぞれ建物B1〜B4が存在し、また、各ノードN1〜N4の中央の区画には建物B5が存在している。 There are respectively near building B1~B4 of each node N1-N4, also building B5 is present in the middle section of each node N1-N4.

[B]では、各ノードの近辺に存在する撮像対象を予め登録する例が示されている。 In [B], examples of previously registering the imaged object that exists in the vicinity of each node is shown. 例えば、ノードN1に対しては、当該ノードN1の位置、すなわち通路S1及びS3の交差点、において見える所定の対象物(例えば、建物B1及びB5に配置された特定の看板など)が3個、撮像対象O11,O12,O13として登録される。 For example, for node N1, the position of the node N1, i.e. the intersection of passages S1 and S3, predetermined object visible in (e.g., such as a particular billboard disposed buildings B1 and B5) are three, imaging It is registered as the target O11, O12, O13. 撮像対象O11,O12,O13の各々についてはさらに、図3の[1]で示したように、画像特徴量及び地図配置情報が登録される。 Imaging object O11, O12, for each O13 Furthermore, as shown in [1] in FIG. 3, the image feature amount and the map location information is registered. 当該登録の際に、地図配置情報103において、当該撮像対象O11,O12,O13がノードN1に対応付けられた旨が、ノードID104においてそれぞれ設定され、また、当該撮像対象O11,O12,O13の位置が、位置情報105においてそれぞれ設定される。 During the registration, the map location information 103, indicating that the imaged object O11, O12, O13 is associated with the node N1, respectively set in a node ID 104, The position of the imaging target O11, O12, O13 There are set respectively in the position information 105.

同様に、ノードN2では撮像対象O21〜O24が登録され、ノードN3では撮像対象O31,O32が登録され、ノードN4では撮像対象O41〜O44が登録され、当該各撮像対象に対してそれぞれさらに、画像特徴量及び地図配置情報が登録される。 Similarly, registered imaging target O21~O24 the node N2, the node in the N3 imaging object O 31, O32 is registered, the imaging target O41~O44 the node N4 is registered, each further with respect to the each imaging object image feature amount and the map location information is registered. このように、図3の[1]では各撮像対象を主体としてデータ構造を説明したが、当該データ構造のもとで、各ノードに対応付けられた1以上の撮像対象が存在しており、図3の[2]に示す「対応する撮像対象IDリスト122」として、これを明示的に管理し登録することができる。 Having thus described a data structure mainly of the imaging target in [1] in FIG. 3, under the data structure, there are one or more of the imaging object associated with each node, as "the corresponding imaging object ID list 122," as shown in [2] in FIG. 3, which explicitly managed it can be registered. (すなわち、[1]のみからでも各ノードに対応する1以上の撮像対象の情報は得られるが、実際に集計してリスト化した情報として、[2]のリスト122を得ることができる。) (I.e., as the information is one or more imaging target information for each node even from only obtained, which was actually aggregated to listed [1], it is possible to obtain a list 122 of [2].)

[C]では、図3の[2]のデータ要素204及び121、すなわち、経路構造情報の具体例として、各ノードN1〜N4のグラフ構造が示されている。 In [C], the data elements 204 and 121 of [2] in FIG. 3, i.e., as a specific example of the route structure information, graph structure for each node N1~N4 is shown. ノードN1,N2間、N1,N3間、N2,N4間、N3,N4間に隣接関係が存在し、それぞれエッジE12,E13,E24,E34が存在している。 Between the nodes N1, N2, N1, between N3, N2, between N4, it exists adjacency between N3, N4, respectively edge exists E12, E13, E24, E34. ここで、各エッジは経路案内で示される経路の各要素部分に対応しており、当該経路構造情報におけるグラフ上の経路として、本発明による経路案内の結果が与えられることとなる。 Here, each edge corresponds to each element portion of the path indicated by the route guidance, as a route on a graph in the route structure information, so that the result of route guidance according to the invention is given.

なお、図4の例では、各ノードの位置の近辺に存在する対象物を、撮像対象に設定するものとして説明した。 In the example of FIG. 4, the object existing in the vicinity of the position of each node has been described as being set to an imaging target. 一般には、必ずしも近辺に存在せずとも、各ノードの位置から見える(撮像可能である)のであれば、任意の対象物を撮像対象に設定することができ、各ノードの位置と設定される撮像対象の位置との物理的な距離が大きく離れていてもよい。 In general, without necessarily exist near, if visible from the position of each node (which can be captured), it is possible to set an arbitrary object in the imaging target, the imaging is set to the position of each node physical distance between the position of the target may be far apart. 対応するノード位置と撮像対象の位置との関係は、図3の[1]に示す位置情報105に含めることができる。 Relationship between the corresponding node position and the imaging target position, can be included in the position information 105 shown in [1] in FIG.

以上、図3及び4を参照して、記憶部7の記憶している情報を主として形式的な観点から説明した。 Above with reference to FIGS. 3 and 4, have been described information stored in the storage unit 7 mainly formal point of view. 当該情報の利用等の詳細に関してはさらに、認識部3、探索部4及び制御部5等の説明の際に、併せて説明する。 Further with respect to details of the use or the like of the information, the recognition unit 3, in the description such as a search section 4 and the control unit 5, together it will be described.

撮像部2は、ユーザ操作を受けて、ユーザが現に存在している地点においてユーザが見ている情景の撮像を行い、その撮像画像を得て認識部3へと渡す。 Imaging unit 2 receives a user operation, performs imaging of a scene that the user is looking at the point where the user exists actually passes to the recognition unit 3 obtains the captured image. ここで、当該撮像される情景には、記憶部7に予め記憶された撮像対象が含まれていることが、本発明の動作において基本的には想定されている。 Here, the scene is the imaging is that it contains prestored imaging target in the storage unit 7, basically in operation of the present invention are contemplated. 予め記憶される撮像対象には具体的には、街頭上又は建物内その他にて予め設置されている種々の所定の対象物、例えば既存標識やQRコード(登録商標)、マーカー、ポスター等の一部あるいは全てを利用できる。 Specifically the imaging subject to be pre-stored, various predetermined object which has previously been installed in Additional street or on a building, for example, the existing label and QR code (registered trademark), a marker, one posters part or available to all.

撮像部2における撮像は、ユーザ操作により、ユーザが望むタイミング毎になされてもよいし、所定のサンプリング周期で連続的になされてもよい。 Imaging in the imaging unit 2, by a user operation, may be made for each timing desired by the user, it may be continuously performed at a predetermined sampling period. 撮像部2には、携帯端末に標準装備されるデジタルカメラ等を用いることができる。 The imaging unit 2, can be used such as a digital camera is standard on the mobile terminal.

認識部3は、撮像部2で得た撮像画像より画像特徴量を抽出し、記憶部7に記憶された所定の撮像対象ごとの画像特徴量(図3の[1]の画像特徴量102)に対して照合することで、当該撮像画像に含まれる撮像対象を認識すると共に、当該認識された撮像対象と紐付いた位置情報及びノード情報(図3の[1]の位置情報105及びノードID104)を、当該撮像画像が撮像された現在地情報として得て、探索部4へと渡す。 Recognition unit 3 extracts image features from the captured image obtained by the imaging unit 2, an image feature amount of each predetermined imaging target stored in the storage unit 7 (image characteristic amount 102 of [1] in FIG. 3) by matched against, recognizes the imaging target included in the captured image, the recognized position information and the node information with the imaging target and the cord was (position information 105 and node ID104 of [1] in FIG. 3) to afford as the current position information to which the captured image was captured, and passes to the search unit 4.

認識部3ではまた、撮像画像から撮像対象が認識され現在地情報を得ることに成功した場合は、当該撮像画像を、当該現在地における最新の状況を表すものとして更新等を促すべく、記憶部7へと送信してもよい。 The recognition unit 3 also when the imaging object from the captured image was successfully obtained recognize the current position information, the captured image, to prompt updating such as representing the latest situation in the current location, the storage unit 7 it may be sent. 記憶部7では当該受信した撮像画像を、当該時点における最新の画像として新たなID及びタイムスタンプ(図3の[3]の情景画像ID131及び時刻133)を付与したうえで、新たに利用する情景画像(図3の[3]の情景画像132)として、あるいはその候補として、保存することができる。 The in the storage unit 7 the received captured image, a new ID and a time stamp as the latest image (scene images ID131 and time 133 of [3] in FIG. 3) after having granted at that time, scene utilizing newly as an image (scene image 132 of [3] in FIG. 3), or as the candidate, it may be stored. この際、図3における地図配置情報303の内容は、認識された撮像対象における地図配置情報103の内容とすればよい。 At this time, the contents of the map layout information 303 in FIG. 3 may be the contents of the map layout information 103 in the recognized imaged.

なお、認識部3にて現在地情報を得ることができなかった場合には、対応する撮像画像の記憶部7への送信は行わない。 In the case where by the recognition unit 3 has not been possible to obtain current position information, transmission to the memory unit 7 of the corresponding captured image is not performed. すなわち、現在地情報を得ることに失敗した場合には、撮像画像を情景画像あるいはその候補として記憶部7で保存する処理は実施されない。 That is, if it fails to obtain the current location information, the process of storing in the storage unit 7 the captured image as a scene image or the candidate is not performed.

認識部3による撮像対象の認識においては、画像特徴量を利用した周知手法を利用することができる。 In recognition of the imaging target by the recognition unit 3, it can be utilized known method using an image feature amount. すなわち、まず、事前の準備作業として管理者等のマニュアル作業等により、所定の撮像対象から抽出した画像特徴量を当該撮像対象の位置情報と紐付けて予め記憶部7に格納しておく。 That is, first, the manual work such as the manager or the like as a pre-preparation work, previously stored in the storage unit 7 the image features extracted from a predetermined imaging target in association with the position information of the imaging object. この際マニュアル作業等でさらに、地図配置情報も付与することで、図3の[1]のような情報が予め用意される。 In this case a further manual intervention or the like and also to impart the map location information, information such as [1] in FIG. 3 is prepared in advance. 次に、撮像部2で撮像された撮像画像から認識部3が抽出した画像特徴量と、記憶部7に格納された画像特徴量とを照合することで対応する撮像対象を特定し、当該特定された撮像対象に紐付いた位置情報を取得すればよい。 Then, identify the image feature amount recognition unit 3 extracts from the captured photographed image by the imaging unit 2, the corresponding imaging object by collating the image feature amount stored in the storage unit 7, the specific may acquire the position information with straps to the imaging object it is.

ここで、画像特徴量は、画像の拡大縮小、回転等に頑強な性質を持つことが望ましい。 Here, the image feature amount, image scaling, it is desirable to have a robust nature to the rotation or the like. 例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)、Fernsなどを利用することができる。 For example, SIFT (Scale Invariant Feature Transform) and SURF (Speeded Up Robust Features), or the like can be used Ferns. また、画像特徴量の照合には、撮像画像の画像特徴量と記憶部7の画像特徴量の組み合わせにおいて、差異が最小となる最適な組み合わせを選択する。 Further, the collation of the image feature amount, in combination with the image feature amount and the image feature amount storage unit 7 of the captured image, selecting the optimum combination of differences is minimized. 例えば、SIFTでは特徴量同士のドット積を求め、最も類似する特徴量と2番目に類似する特徴量を選択する。 For example, we obtain the dot product of the feature quantity between the SIFT, selects the most similar feature value and the feature amount that is similar to the second. 前者との類似度と後者との類似度との比が予め設定した閾値を超えた場合、前者を対応関係にある画像特徴量として推定する。 If the ratio of the similarity between the similarity and the latter with the former exceeds the preset threshold, it estimates as the image feature amount in the former relationship. 最後に、一定数以上の対応関係が得られた撮像対象に紐付いた位置情報を取得する。 Finally, to obtain the position information with straps to the imaging object correspondence between the predetermined number or more is obtained.

なお、撮像画像には一般に、1つ以上の撮像対象が含まれているので、認識部3は以上の手法によって、可能な限り全ての撮像対象を特定し、全体として最も合致したノードに対応する位置情報を、現在地位置として出力する。 In general the captured image, because it contains one or more of the imaging subject, the recognition unit 3 above method, to identify all of the imaging object as possible, corresponding to the most matched node as a whole the position information is output as current location position. この際、ノードに対応する撮像対象の数に応じた規格化を施して、最も合致したノードを決定してよい。 At this time, by performing normalization in accordance with the number of imaging object corresponding to the node may determine the best match node. 例えば、ある撮像画像に対する撮像対象の認識結果として、図4の[B]の例で、ノードN3における全ての撮像対象O31,O32と、同じく2個ではあるが実際には全4個中の半分に過ぎないノードN4における撮像対象O41,O42と、が得られた場合、当該撮像画像の現在地位置を、複数ある撮像対象がより多くの割合で合致したノードN3の位置であるとして出力する。 For example, as a recognition result of the image pickup subject for a captured image, in the example of [B] in FIG. 4, all the imaging object O31 at the node N3, and O32, as well there is actually a half of all the four in the two If imaged O41, O 42, it is obtained at the node N4 merely outputs the current location position of the captured image, as plurality of imaging target is the position of the node N3 that matches with more percentage. (すなわち、ノードN3では2/2=100%の割合で合致し、ノードN4では2/4=50%の割合で合致している。)その他の手法で最も合致するノードを決定してもよい。 (I.e., matched at a rate of 2/2 = 100% In the node N3, are consistent with a rate of 2/4 = 50% the node N4.) May be determined best match nodes in other methods .

以上のように、本発明では、各ノードに対応する複数の撮像対象を記憶部7に予め登録しておくことにより、一部の撮像対象が変更された場合(例えば、ある1枚だけの看板が変更された場合)であっても、当該ノードに対応する位置情報を、現在地情報として取得することができるという効果がある。 As described above, in the present invention, by registering in advance a plurality of imaging subjects for each node in the storage unit 7, when a part of the imaging object is changed (for example, only one is signboard there is also a case where it is changed), the position information corresponding to the node, there is an effect that it is possible to obtain a current position information. また、この際の撮像画像を記憶部7へと送信することで、一部の撮像対象が変更された場合であっても、変更後の情景画像を自動取得できるという効果がある。 Further, by transmitting the captured image when the to storage unit 7, even when a part of the imaging object is changed, there is an effect that a scenery image of the changed can be automatically acquired. 従って、当該送信の際は、複数の撮像対象のうち、認識に成功したものと失敗したものとの区別の情報も併せて送信することが好ましい。 Therefore, when the transmission among a plurality of the imaging target, it is preferable that together transmits information distinction to have failed as a successful recognition.

探索部4は、認識部3で得た現在地情報と、ユーザ入力として入力部1から得た目的地情報と、記憶部7に記憶された経路構造情報と、を入力として、当該経路構造情報上において、現在地から目的地へと至る経路情報を探索により求めて出力し、制御部5に渡す。 Searching unit 4, as the input and the current position information obtained by the recognition unit 3, and the destination information obtained from the input unit 1 as a user input, and the route structure information stored in the storage unit 7, and on the route structure information in, and outputs obtained by searching the routing information leading to the destination from the current position, and passes to the control unit 5.

具体的には、探索部4は、記憶部7に格納された経路構造情報(図3の[2])を読み出し、現在地から目的地への経路を探索する。 Specifically, the search unit 4 reads out the storage unit 7 stores route structure information ([2] in FIG. 3), searches for a route to the destination from the current position. 経路構造情報は図4の[C]のようなグラフとして構成されているので、探索部4は、当該グラフにおいて現在地のノードと目的地のノードとを定めたうえで、A*アルゴリズム等の既存の手法を適用し、最短経路としての経路を決定する。 Since pathway structure information is constituted as a graph as shown in [C] in FIG. 4, the search unit 4 in terms of defining the current location of the node and the destination node in the graph, the existing etc. A * algorithm applying the method to determine the path of the shortest path. あるいは、全数探索を実施しても良い。 Alternatively, it may be carried out exhaustive search. なお、最短経路の決定のためには、記憶部7における経路構造情報において予めエッジに、対応する実際の経路を移動する際の物理的な距離を設定しておけばよい。 In order to determine the shortest path, to advance the edge in the path structure information in the storage unit 7, it is sufficient to set the physical distance when moving the corresponding actual path.

当該探索の結果、複数の経路が存在する場合は、ユーザ入力として入力部1で入力された優先経路種別に従って、最短経路以外にも分岐が少ない経路や階段が少ない経路等を選択するようにしてもよい。 Results of the search, if a plurality of paths are present, according to the priority route type input by the input unit 1 as a user input, so as to select a branch less path and stairs is small route and the like in addition to the shortest path it may be. 階段の少なさや分岐の少なさ等の優先経路種別の特性はそれぞれ、経路構造情報におけるエッジやノードの重み等として、所定基準で数値化して、予め記憶部7に設定しておけばよい。 Each characteristic of the priority path type lack such a lack or branched stairs, as a weight or the like of the edges and nodes in the path structure information, and digitized at a predetermined reference may be set in advance in the memory unit 7.

制御部5は、探索部4が探索した経路情報と、認識部3が求めた現在位置情報と、に応じた提示情報を、記憶部7から読みだして、提示部6へと渡す。 Control unit 5 includes a path information search section 4 searches the current position information recognition unit 3 was determined, the presentation information in accordance with, and reads from the storage unit 7, and passes to the presentation unit 6. そして、提示部6は当該提示情報をユーザに提供し、経路案内を実現する。 The presentation unit 6 provides the presentation information to the user, to realize a route guidance. 当該読みだされ提示部6で提示される提示情報としては、探索された経路に関連する画像情報、地図情報、文字情報及び音声情報の一部または全てを利用することができるが、本発明では少なくとも画像情報を提示し、その他の情報は補助的なものとして提示することが好ましい。 The presentation information presented by the presenting unit 6 read out the image information associated with the searched route, map information, can utilize some or all of the character information and audio information, in the present invention presenting at least the image information, and other information is preferably presented as auxiliary.

当該提示するための、経路に関連する各情報は以下(1)〜(4)の通りである。 For the presentation, the information associated with the path is as follows (1) to (4). なお、当該情報を複数提示する際には、複数提示する情報の種類に応じた所定のレイアウト等を用いて提示すればよい。 Note that when a plurality presenting the information may be presented using a predetermined layout or the like according to the type of information to be multiple presentation.

(1)経路に関連する画像情報には、第一実施形態として、図3の[3]で説明した記憶部7に予め登録されている情景画像のうち、経路上で現在地の次に到達するノードに対応する情景画像を利用することができる。 (1) The image information related to the path, as the first embodiment, among the scene image registered beforehand in the storage unit 7 described in [3] in FIG. 3, to reach the next location on the path it can be utilized scenery image corresponding to the node. すなわち、ユーザの立場では、当該情景画像と同じ情景が見える場所が次に向かうべき場所であり、事前にその画像が提示されることにより、ユーザは経路の直感的な把握が可能となる。 That is, in the perspective of the user, an the scenery image and the location where to is directed next to the same scene is visible, by advance the image is presented, the user can intuitively grasp the route.

また、第二実施形態として、経路に関連する画像情報には、経路上の各ノードにおいて記憶部7に予め登録されている情景画像を、当該経路の順に並べたものを利用することができる。 Further, as a second embodiment, the image information associated with the path, it is possible to utilize what the scene image registered beforehand in the storage unit 7 at each node on the path, arranged in order of the route. 経路探索の結果、ノード1, 2, …, nが得られたとする。 The route search result, node 1, 2, ..., and n is obtained. すなわち、ノード1が現在地であり、ユーザは経路に従いノード2,3,…の順に移動して、ノードnが目的地であるとする。 That is, the node 1 is the current position, the user nodes 2 and 3 in accordance with the route, go ... in this order, the node n is assumed to be the destination. この場合、ノード1, 2, …, nに対応する情景画像1,2, …, nをこの順に並べたものとして、画像情報を用意する。 In this case, node 1, 2, ..., scene images 1 and 2 corresponding to the n, ..., n as those arranged in this order, is prepared image information. あるいは、現在地のノード1の画像は省略して、ノード 2, …, nに対応する情景画像2, …, nをこの順に並べたものとして、画像情報を用意してもよい。 Alternatively, the image of the node location 1 is omitted, node 2, ..., scene image 2 corresponding to the n, ..., n as those arranged in this order, may be prepared image information. 第二実施形態においても、ユーザは経路上で順次向かうべき場所の情景画像が提示されるので、経路の直感的な把握が可能となる。 Also in the second embodiment, since the user places the scene image to sequentially directed along the path is presented, it is possible to intuitively understand the route.

ここで、複数の情景画像を並べる際には、複数の画像を表示するための種々の周知のレイアウト手法やグラフィック手法を利用できる。 Here, when arranging the plurality of scene images, and a variety of well-known layout techniques and graphic techniques for displaying a plurality of images. また、単に並べるだけでなく、入力部1を介してユーザ操作の入力を制御部5にて受け付け、複数の画像のうちユーザが特に見たいもののみを、あるいは特に見たいものを重点的に、制御部5の制御のもと提示部6で提示させるようにすることができる。 Moreover, not only arranging, receiving by the control unit 5 inputs a user operation via the input unit 1, the only thing the user wants particularly seen among the plurality of images, or what you want particular see focus, the control of the control unit 5 can be adapted to present under presenting unit 6.

なお、上記第二実施形態におけるノード2の情景画像2のみで画像情報を用意したものが、第一実施形態である。 Incidentally, those prepared image information in only scene image 2 of node 2 in the second embodiment is the first embodiment.

図5は、第二実施形態等にて提示される画像情報を模式的に示す図である。 Figure 5 is a diagram showing an image information presented by the second embodiment and the like schematically. 図5では、提示部6の表示画面D1内において、その下段側に一連の情景画像G1,G2,G3,G4,G5が、互いに重なり合いつつ画像サイズが変化する形でサムネイルとして表示されると共に、入力部1を介してユーザに指定された情景画像G3を拡大させて強調表示した画像G30が、上段側に示されている。 In Figure 5, in the display screen D1 of the presentation unit 6, together with a series of scene images on the lower side G1, G2, G3, G4, G5 is displayed as a thumbnail in the form of a change in image size while overlapping each other, through the input unit 1 image G30 which is highlighted by enlarging the scenery image G3 designated by the user is shown in the upper stage.

図5の例にて、ユーザは、画像G1〜G5と同じ情景が見える箇所を順次移動することで、当該画像G1〜G5を案内表示として利用して、経路に従った移動が可能となる。 In the example of FIG. 5, the user can sequentially move the position of the same scene as the image G1~G5 appear, by using the image G1~G5 as guide display, it is possible to move in accordance with the route. この際、特に確認したい画像については、ユーザが指定することにより拡大表示が可能であり、図5ではユーザが指定した画像G3が拡大されて画像G30として表示されている。 In this case, the image is to be confirmed in particular, is capable of enlarged display when the user specifies an image G3 designated by the user in FIG. 5 are represented as larger as the image G30. なお、表示画面D1内にはさらに、矢印A30が重畳して表示されているが、これについては第二実施形態とは別途の例を説明するためのものであり、後述する。 Incidentally, even more in the display screen D1, but arrows A30 is displayed superimposed, for which are intended to illustrate the separate example and the second embodiment will be described later. (図5は当該異なる2つの例を説明するために、併用する。) (Fig. 5 in order to explain the two different examples, in combination.)

(2)経路に関連する地図情報には、地図画像データ上に探索された経路及び現在地を重畳して表示したもの等の、経路案内における周知の情報を利用できる。 (2) The map information associated with the route can be used, such as those displayed by superimposing the searched route and the current position on the map image data, the known information in the route guidance. なお、一般に地図は画像であるが、本発明における提示情報の用語として特に、上記(1)の「画像情報」には地図画像そのものは含まれないものとし、地図そのもの以外(地図上に付加する情報を含む)によって経路案内を実現するための画像を意味する用語として用いる。 Note that generally the map is a picture, particularly as terms of presentation information in the present invention, the "image information" above (1) shall not be included in the map image itself, added on addition map itself (Map used as a term for an image for realizing route guidance by including information).

(3)経路に関連する文字情報には、経路上で現在地の次に到達すべきノードへの到達の仕方に関するもの(例えば、「○○交差点を右折して下さい」)や、経路途中の住所やランドマークの情報等の、経路案内における周知の情報を利用できる。 (3) The character information related to the route, those on how to reach the node to be reached in the next You are here on the route (for example, "Please turn right at the ○○ intersection") and, in the middle of the path address of information, and the like of and landmarks, you can use the well-known of the information in the route guidance. (4)経路に関連する音声情報には、当該文字情報を音声化したものを利用できる。 (4) The associated audio information to the route can be used those of the character information vocalized. なお、当該地図情報、文字情報及び音声情報も、記憶部7に管理者等のマニュアル設定等により予め登録しておく。 Incidentally, the map information, character information and audio information is also registered in advance by manual setting of the administrator or the like in the storage unit 7.

なお、(3)の文字情報及び(4)の音声情報の提示においてもそれぞれ、(1)の画像情報における第二実施形態で説明したように、経路の順番に応じた形で提示を実施するようにしてもよい。 Incidentally, to implement the presented character information and each even presentation of audio information (4), as described in the second embodiment of the image information (1), a form corresponding to the order of the path of the (3) it may be so. (1)の画像情報における情景画像については、前述のように、図3の[3]のようなデータ構造の情報として予め記憶部7に設定しておくが、(3)の文字情報及び(4)の音声情報も同様のデータ構造の情報として、予め記憶部7に記憶させておく。 The scenery image in the image information (1), as described above, but is set in advance in the memory unit 7 as information of a data structure, such as [3] in FIG. 3, and character information (3) ( as the information of the audio information same data structure of 4), previously stored in the storage unit 7. すなわち、図3の[3]における情景画像132の部分を、文字情報や音声情報で置き換えたものとして記憶させておく。 That is, the portion of the scene image 132 in [3] in FIG. 3, advance is stored as being replaced by the character information or audio information.

以上、(1)〜(4)として、ユーザに対して経路案内サービスを提供するための、制御部5の制御により記憶部7から読み出して提示部6へ提示させる提示情報の各種類を説明した。 Above, (1) as to (4), describes each type of presentation information to be presented to provide a route guidance service to a user, the presentation unit 6 reads out from the storage unit 7 under the control of the control section 5 . 当該各種の提示情報を提示するに際してはさらに、ユーザの置かれた状況に応じて適切な経路案内を実現するための工夫を施すことが可能である。 Furthermore when presenting the various presentation information, it is possible to apply the measure for realizing the appropriate route guidance according to the situation it placed the user.

図6は、一実施形態に係る経路案内システム10の動作のフローチャートである。 Figure 6 is a flowchart of the operation of the route guidance system 10 according to one embodiment. 以下、図6を参照して当該動作における各ステップを説明すると共に、上記ユーザの状況に応じた適切な提示情報による経路案内の実現について説明する。 Referring to FIG. 6 while explaining each step in the operation, it will be described implementation of route guidance by suitable presentation information according to the situation of the user.

ステップS1では、管理者等が情報を構築して、経路案内システム10に登録する。 In step S1, the administrator or the like to build an information, and registers the route guidance system 10. 具体的には、図3で説明した情報をマニュアル等で取得して、記憶部7に記憶させる。 Specifically, to get manually like the information described in FIG. 3, in the storage unit 7. なお、当該ステップS1は、経路案内システム10が経路案内を行うことができるようにするための準備段階に相当し、次のステップS2以降が実際の経路案内の段階となる。 Incidentally, the step S1 corresponds to a preparation for the route guidance system 10 to be able to perform route guidance, subsequent step S2 is the actual stage of the route guidance.

ステップS2では、経路案内システム10が、ユーザより目的地入力を入力部1にて受け付け、また、当該ユーザの操作により撮像部2にて、当該ユーザの見ている現在地の撮像画像を取得する。 In step S2, the route guidance system 10 receives a destination input by the input unit 1 by the user, also in the imaging unit 2 by the operation of the user, acquires a captured image location looking for the user. ステップS3では、経路案内システム10が、ステップS2で得た目的地及び撮像画像を用いて、認識部3及び探索部4を機能させることにより、経路探索を実施する。 In step S3, the route guidance system 10, using the destination and the captured image obtained at step S2, by functioning the recognition unit 3 and the search section 4 performs the route search. ステップS4では、経路案内システム10が、ステップS3の経路探索結果に応じて、制御部5及び提示部6を機能させることにより、ユーザに経路案内のために提示情報を提示する。 In step S4, the route guidance system 10, in accordance with the route search result in the step S3, by functioning the control unit 5 and the presentation unit 6, which presents the presentation information for route guidance to the user.

以上、当該ステップS2〜S4により、ユーザの立場では、新規に経路案内を利用すべく、目的地入力と撮像画像の取得を行った後、最初の経路案内の情報として、現在地と目的地への経路とに応じた提示情報が提示されることとなる。 Above, by the steps S2 to S4, the position of the user, to take advantage of route guidance new, after the acquisition of destination input the captured image, as the information of the first route guidance, your location and destination so that the presentation information corresponding to the path is presented. ステップS5以降では、ユーザは目的地へ到達すべく移動しながら、継続して経路案内システム10を利用し、ユーザのその時の状況に応じた経路案内の情報を継続して受け取ることとなる。 In step S5 after the user while moving in order to reach the destination, using to route guidance system 10 continuously, so that the to continue receiving information of route guidance according to the situation at that time of the user.

ステップS5では、ユーザが新たに撮像部2で現在地の撮像画像を取得したか否かが経路案内システム10によって判定され、取得されていれば、当該取得した時点における最新の経路案内の情報を提供すべく、ステップS6以降へと進む。 In step S5, the user is determined anew whether or not acquired the captured image location in the image pickup unit 2 by the route guidance system 10, if it is acquired, providing information about the latest route guidance at the time of the acquired Subeku, the process proceeds to step S6 or later. 取得されていなければ、取得されるまで当該ステップS5を繰り返す。 If not acquired, it repeats the step S5 until the acquisition.

すなわち、本発明においては、ユーザがその時点における撮像画像を取得したことをトリガとして、経路案内システム10がその時点における経路案内を実現する。 That is, in the present invention, as a trigger that the user has acquired the captured image at that time, the route guidance system 10 realizes the route guidance at that time. なお、撮像部2の説明にて前述のように、ユーザによる撮像画像の取得は、ユーザが望む時点ごとにユーザが撮像の操作を行うことによってなされてもよいし、撮像部2を眼鏡等のウェアラブル端末に付随させる等の形で構成しておき、所定のフレームレートで連続的に撮像画像が取得されてもよい。 As described previously in the description of the image pickup unit 2, acquires the image captured by the user, may be made by performing an operation the user is captured every time the user wishes, the imaging section 2 such as glasses leave configured in the form of such to be attached to the wearable device, continuously captured image at a predetermined frame rate may be acquired.

ステップS6では、ステップS5で取得した撮像画像を用いて、認識部3が現在地を特定し、ステップS7へ進む。 In step S6, using the captured image acquired in step S5, the recognition unit 3 identifies the current location, the process proceeds to step S7. なお、現在地はノードとして特定される。 Note that the current position is identified as a node. また、ステップS6における特定においては、撮像画像から所定の撮像対象を認識できない等により、現在地が特定できない場合も、特定不可能な旨を結果として得たうえで、ステップS7へ進む。 Also, in certain at step S6, the like can not recognize a predetermined imaging target from the captured image, even if the current position can not be identified, after obtaining the effect can not identified as a result, the process proceeds to step S7.

ステップS7では、ステップS6で特定された現在地が経路から逸脱しているか否かを認識部3が判定し、逸脱していればステップS8へと進み、逸脱していなければステップS9へと進む。 In step S7, whether the current location identified deviates from the route determined recognition unit 3 in step S6, if the deviation proceeds to step S8, the process proceeds to step S9 if not deviate. 具体的には、現在地とされたノードが、当該時点においてユーザへの提示対象となっている最新の経路情報を構成するノードでない場合には、逸脱していると判定し、それ以外の場合には逸脱していないと判定する。 Specifically, the current position and node is, if not nodes of the latest route information that is the presentation object to the user in the time, it is determined as a departure, otherwise It determines that does not deviate.

ステップS8では、探索部4が、当該経路より逸脱している現在地から、ステップS2で受け付けた目的地への経路を改めて探索し直すことで、ユーザへの提示対象としての経路情報を最新のものへと更新し、対応した提示情報を制御部5の制御のもとで提示部6に提示して、ステップS5へ戻る。 In step S8, the search unit 4, from the current position deviating from the route, by re-again searching for a route to the destination that has been received in step S2, that the route information of the presented objects to a user of the latest to the update, and it presents the presentation unit 6 a corresponding presentation information under the control of the control unit 5 returns to step S5.

ステップS8における提示情報としては、上記(1)〜(4)として説明した画像情報等に加えてさらに、以前に提示した経路から逸脱した旨の情報(逸脱した旨を注意喚起する情報等)及び/又は逸脱したために経路が再設定された旨の情報を含むようにしてよい。 The presentation information in step S8, the above (1) to (4) as in addition to the image information and the like described previously deviant that information from the route presented in (deviant noted arouse information to the effect, etc.) and / or pathway may be to include the information that has been reconfigured to deviate. 当該逸脱した旨の提示の態様は、画像、文字、音声その他の種々が可能である。 Aspects of the presentation to the effect that the deviation is an image, text, audio and other variously.

ステップS8の実例として例えば、図4に示したフィールドで経路案内を行うこととなり、ユーザに当初提示された経路情報が、[C]に示すノードで「N1→N2→N4」であり、最初の地点N1から途中N2を経由して目的地N4へ向かうものであったとする。 For example Illustrative of step S8, will be carried out route guidance by the field shown in FIG. 4, the route information initially presented to the user is the "N1 → N2 → N4" in the node shown in [C], first and were those directed to the destination N4 through the middle of N2 from the point N1. この場合、移動している途中でユーザの取得した撮像画像により、現在地がN3であると特定された場合には、経路から逸脱しているので、改めて経路が探索され、新たに経路「N3→N4」がユーザへの提示対象として設定されることとなる。 In this case, by the way the user of the acquired captured image is moving, if the current position is identified as the N3 Since deviates from the path, is again route search, a new path "N3 → so that the N4 "is set as the presentation object to the user.

ステップS9では、ステップS6で特定された現在地が目的地であるか否かを認識部3が確認し、目的地である場合にはステップS10へと進み、それ以外の場合にはステップS11へと進む。 In step S9, the recognition unit 3 checks whether the identified current location of the destination in step S6, the process proceeds to step S10 if it is the destination, and otherwise to step S11 move on. ステップS10では、制御部5の制御により提示部6に目的地へ到達した旨の提示情報が提示され、図6のフローは終了する。 In step S10, the presentation information to the effect that has reached the destination is presented on the presentation unit 6 under the control of the control unit 5, the flow of FIG. 6 is terminated. 当該目的地へ到達した旨の提示の態様は、画像、文字、音声その他の種々が可能である。 Aspects of the presentation indicative of the reach the destination is an image, text, audio and other variously.

ステップS11では、当該時点での経路情報上における現在地に対応した提示情報を制御部5の制御のもとで提示部6に提示して、ステップS5へ戻る。 At step S11, and present the presentation unit 6 the presentation information corresponding to the current position on the route information at that time under the control of the control unit 5 returns to step S5. なお、ステップS11へ至る場合として、ステップS6で現在地をノードとして特定できた場合と、特定できなかった場合とがある。 As it may lead to step S11, in the case that could determine location as nodes in step S6, and a case can not be identified.

ここで、特定できなかった場合は、経路案内システム10の側の判断として、ユーザは経路に沿って正しく移動しているものの、現在地は特定できなかったものと判断する。 Here, the case can not be identified, as determined on the side of the route guidance system 10, although the user is moving correctly along the path, the current location is determined that could not be identified. そして、提示情報としては、直近の過去で現在地が特定できた際のものと同様のものを用いればよい。 Then, as the presentation information may be used the same ones when it was identified location on the most recent past. なお、現在地を特定できなかった事情としては、現在地が経路上のノード間の位置であって撮像対象の存在しない場所である、現在地はノード位置であるが(撮影方向などの影響で)撮像対象が撮像されていない、等がある。 As the circumstances could not identify the current location is a location that does not exist in the imaging target current position is at a position between nodes on the path, (under the influence of such as the shooting direction), but the current location is a node position imaging target but not captured, and the like.

一方、特定できた場合には、上記(1)〜(4)として説明した画像情報等に加えてさらに、当該時点に即した情報を提示情報として提示することができる。 On the other hand, if it can be identified, above (1) to (4) in addition to the image information and the like described as can present information based on the time as the presentation information. 当該提示には以下のような種々の実施形態が可能である。 To the presentation can be variously modified as follows.

一実施形態では、現在地をノードiとし、経路上の次のノードをi+1とした際に、経路に沿ってノードiからノードi+1へと到達するための情報(以下、誘導情報と呼ぶ)を、現在地に応じた形で提示するようにしてよい。 In one embodiment, the current location to a node i, when the next node on the path to the i + 1, the information for reaching from node i along the path to node i + 1 (hereinafter, the guide information called), it may be to present a form that corresponds to the current location. 誘導情報は、記憶部7に予め設定しておく。 Guide information is set in advance in the storage unit 7. 誘導情報は、上記(1)〜(4)の態様で構成することができる。 Guide information can be configured in the manner of (1) to (4).

また、誘導情報を画像として構成し、当該現在地を特定する際に用いた撮像画像に重畳させることで、提示情報としてユーザに提示してもよい。 Further, constitute a guide information as an image, by superimposing the current position on the captured image used when specifying, it may be presented to the user as the presentation information. この場合、ユーザの現に見ている情景にそのまま情報が重畳されるので、非常に直感的な経路案内が可能となる。 In this case, since it is information actually seen that scene of the user is superimposed, it is possible to very intuitive route guidance.

例えば、撮像画像に重畳させる画像としての誘導情報を、現在地から見て次のノードi+1の位置がどの傾き(水平方向に対する傾き)及び/又は方向(水平面上における方向)にあるかを示す情報とし、画像として表示させる際には、撮像画像の傾き及び/又は方向からの相対的変化として表示させる。 For example, indicating the guidance information as an image to be superimposed on the captured image, in which the inclination as viewed from the current location the location of the next node i + 1 (tilt with respect to the horizontal direction) and / or the direction (direction in the horizontal plane) and information, when displaying the image, to be displayed as a relative change from the slope and / or direction of the captured image. なお、撮像画像の傾き及び方向については、周知のセンサ(重力センサや方位センサ等)を用いることにより、撮像部2の傾き及び方向として撮像画像と共に取得すればよい。 Note that the inclination and direction of the captured image by using a known sensor (gravity sensor and an azimuth sensor, etc.) may be obtained together with the captured image as inclination and direction of the imaging unit 2.

図5の矢印A30は、当該撮像画像の傾き及び/又は方向に応じた誘導情報の例であり、撮像画像の傾き及び/又は方向において、次のノードi+1へ進むための傾き及び/又は方向がどのようになるかを、空間に配置された矢印の画像として表現したものである。 Arrow A30 in FIG. 5 is an example of guidance information according to the inclination and / or direction of the captured image, in a tilt and / or direction of the captured image, the inclination to proceed to the next node i + 1 and / or or direction is how is a representation as an image of an arrow which is disposed in the space. 当該矢印A30により、ユーザは駅の改札に進むべきことを直感的に把握できる。 By the arrow A30, the user can intuitively recognize that it should proceed to the ticket gate of the station. なお、前述の説明では画像G30は、ユーザが指定した情景画像G3を拡大したものとして説明したが、矢印A30を重畳させる対象としての画像G30は、撮像画像である。 Incidentally, the image G30 by the foregoing description has been described as an enlarged scene image G3 designated by the user, the image G30 as a target for superimposing the arrow A30 is an imaging image. (図5では、2つの例を説明するために、画像G30の役割を併用させている。) (In FIG. 5, in order to explain the two examples, thereby together the role of image G30.)

また、一実施形態では、地図構造情報を構成する各ノードにおいて、経路案内のための画像情報を記憶部7にて記憶させておき、且つその画像情報に、位置情報も定義しておき、現在地のノードiに対して、撮像画像に対して当該定義された位置情報の位置において重畳させたものを提示するようにしてもよい。 Further, in one embodiment, at each node of the map structure information, may be stored image information for route guidance in the storage unit 7, and the image information, position information also have defined, current position respect of node i, may be presented that are superimposed at the position of the position information corresponding defined the captured image.

具体的には、周知のAR(拡張現実)タグと同様の手法を利用して、撮像画像に対して重畳させて提示することができる。 Specifically, by utilizing the known AR (Augmented Reality) same manner as the tag, it can be presented superposed on the captured image. ただし、本発明においては、現実空間に配置するARタグそのものは不要であり、ARタグによって重畳されるのと同様の情報を、位置情報を予め定義した画像情報として重畳させて提示する。 However, in the present invention, AR tag itself be located in physical space is not required, the information similar to that superimposed by AR tag presented by superimposed as image information predefined location. このためには、各ノードiに対して、当該ノード位置から見た相対的な位置情報を定義した画像情報を用意しておけばよい。 For this purpose, for each node i, it is sufficient to prepare the image information defining the relative position information seen from the node positions.

当該ARタグと同様の手法によって重畳される画像情報の内容については、経路に関連する所定内容とすることができる。 The contents of the image information to be superimposed by the same method as the AR tag may be a predetermined content related to the route. 例えば、経路に沿って進む際の方向を平面的又は空間的な矢印その他の画像によって、あるいは文字などによって、示すことができる。 For example, the planar or spatial arrow Other Pictures direction when traveling along the path or the like characters, can be shown. 例えば、図4のフィールドの例で、経路「N1→N2→N4」の案内を行う場合に、ユーザがN1の側からN2に到達して撮像画像を取得した際に、当該撮像画像上における通路S1上に、右折すべき旨の看板としての画像情報を重畳させたものを提示するようにすることができる。 For example, in the example of the field of FIG. 4, when the guidance route "N1 → N2 → N4", when the user has acquired the captured image to reach from the side of N1 to N2, the passage on the captured image on S1, it can be made to present the one obtained by superimposing the image information as signboard indicating to turn right.

また、画像情報の内容として、経路自体が複数見えている中のどれであるかを、その領域を視覚表示することによって示すものを内容とすることができる。 Further, as the content of the image information, the on which of in the route itself is visible more can whose contents are shown by visually displaying the region. 例えば、上記例で、経路「N1→N2→N4」の案内を行う場合に、ユーザがN1の側からN2に到達して撮像画像を取得した際に、通路S4のうちN4へ至る側の部分のみを枠で囲んで表示してよい。 For example, in the above example, when the guidance route "N1 → N2 → N4", when the user has acquired the captured image to reach from the side of N1 to N2, the side portions of the leading to the N4 of the passage S4 only it may be displayed enclosed by a frame.

また、上記ARタグと同様の手法における画像情報は、各ノードに複数設定しておき、ユーザが取得した撮像画像における傾き及び/又は方向に合致するもののみを、撮像画像に対して重畳させるようにしてもよい。 The image information in the AR tag similar approach leave more set in each node, only those that meet the slope and / or direction in the captured image obtained by the user, so as to be superimposed on the captured image it may be. なお、撮像画像における傾き及び/又は方向については前述同様、センサ等にて取得しておく。 Incidentally, for the inclination and / or direction in the captured image previously acquired in the same manner as described above, sensors or the like.

例えば、図4のフィールドの例では、経路「N1→N2→N4」に沿ってN2に到達して撮像画像を取得した場合と、経路「N4→N2→N1」に沿ってN2に到達して撮像画像を取得した場合とでは、同じ場所N2であっても、方向が異なるので、別種類の画像を重畳させるようにしてもよい。 For example, in the example of the field of FIG. 4, a case of acquiring a captured image to reach the N2 along the path "N1 → N2 → N4", to reach the N2 along the path "N4 → N2 → N1" in the case of acquiring a captured image, even in the same place N2, since the direction is different, it may be to superimpose different types of images.

また、上記傾き及び/又は方向に合致するもののみを重畳させる際にさらに、当該傾き及び/又は方向から定まる所定範囲内に位置情報が存在する画像情報のみを、撮像画像に対して重畳させて提示するようにしてもよい。 Also, further in that superimposes only those that meet the above inclination and / or direction, only the image information positional information within a predetermined range determined from the slope and / or direction are present, it is superimposed on the captured image it may be presented. 当該所定範囲は、当該傾き及び/又は方向において見えることが想定される所定範囲として設定すればよい。 The predetermined range may be set as the predetermined range may appear in the inclination and / or direction is assumed.

例えば、撮像画像の傾き(水平方向の傾き)に応じて定まる水平方向の範囲内に限定して、画像情報を重畳させるようにしてもよく、撮像画像が下を向いて近辺の地面のみ狭く写している場合には、当該近辺の地面に限定して、撮像画像が広く水平方向を写している場合には、当該広く見えている水平方向の範囲において、画像情報を重畳させてよい。 For example, it is limited to the range of the horizontal direction determined according to the inclination of the captured image (horizontal gradient), may be caused to superimpose the image information, copy narrowed only ground near captured image facing down If it has, in limited on the ground of the vicinity, if the captured image is transcribed wide horizontal, in horizontal extent which is visible the wide may superimpose image information.

また、上記ARタグと同様の手法の画像情報を撮像画像に重畳させるに際して、本発明では特に、一般にARタグに要求される3次元空間上の位置情報の代わりに、より簡素化された情報として、対応するノードから見た際の傾き及び/又は方向のみを設定しておくようにしてもよい。 Further, when superposing the image information of the same technique as the AR tag in the captured image, particularly in the present invention, generally instead of the position information in a three-dimensional space required for the AR tag, as information that is more simplified , it is advisable to set only the inclination and / or direction when viewed from the corresponding node. そして、当該ノードにおいて取得された撮像画像における傾き及び/又は方向に所定範囲内で合致する画像情報のみを重畳対象として選別するようにしてもよい。 Then, it is also possible to sort only the image information that matches the inclination and / or direction in the obtained captured image in the nodes within a predetermined range as a superimposition target.

また、以上のARタグと同様の手法の画像情報を、ARタグによって所定位置に表示させるようにしてもよい。 Further, the image information of the same technique as above AR tag may be displayed in place by AR tag. この場合、位置情報が不要となる代わりに、ARタグを認識するための特徴量などの情報を記憶部7に記憶させておく必要がある。 In this case, instead of the position information is not required, it is necessary to store information such as feature amount for recognizing an AR tag in the storage unit 7. ARタグは、認識部3で認識させる撮像対象によって実現されてもよい。 AR tag may be implemented by an imaging target to be recognized by the recognition unit 3.

以下、本発明における補足事項を述べる。 Hereinafter, described supplementary matters in the present invention.

(1)記憶部7で予め記憶させておく情景画像は、ユーザが情景を認識可能であれば足り、実際に自然画像として取得したもの以外にも、当該自然画像を加工したもの(重要なランドマーク等のみを抜粋したもの等)や、イラスト、CG(コンピュータグラフィック)等を用いてもよい。 (1) scenery image to be stored in advance in the storage unit 7, the user sufficient recognize if a scene, in addition to those obtained as actually a natural image is also obtained by processing the natural image (important land such as the excerpt of only mark or the like) and, illustration, CG (may also be using a computer graphics), and the like.

(2)認識部3では、以上の説明のように所定の撮像対象から画像特徴量を抽出して現在地を特定する実施形態に代えて、次のようにしてもよい。 (2) the recognition unit 3, instead of the embodiment to identify the current location to extract image features from a predetermined imaging target, as explained above, may be as follows. すなわち、可視光通信、赤外光通信等の送信装置による明滅情報に位置情報を埋め込んでおき、認識部3では当該明滅情報を解析することによって現在地を取得してよい。 That is, visible light communication, embeds the position information in the blink information by transmitting apparatus infrared optical communication, it may acquire the current location by analyzing the recognition unit 3 in the blink information. この場合、所定の撮像対象及びその画像特徴量等を記憶部7に設定しておくことが不要となるが、案内対象となるフィールドにおいて予め、上記機能を有する通信装置を設置しておく必要がある。 In this case, although it unnecessary to set a predetermined imaging target and the image feature amount and the like in the storage unit 7 in advance in a field on which a guide target, is necessary to install a communication apparatus with the above function is there. なお、撮像部2においては明滅情報を得るべく、所定期間に渡る動画像として撮像を実施する必要があるが、経路案内のための情報を重畳する撮像画像としては、当該所定期間内にて得られるものを用いればよい。 Incidentally, to obtain the flickering information in the imaging unit 2, it is necessary to perform imaging as a moving image over a predetermined time period, the captured image for superimposing information for route guidance, resulting in the the predetermined period the may be used those.

(3)経路案内のためにユーザに提示する情景画像は、地図構造情報上のノード毎に用意しておくが、さらなる属性として、時間帯ごと、傾き及び/又は方向ごと、天気ごと、に用意しておいて、ユーザが撮像画像を取得した際の属性に合致するものを提示対象とするようにしてもよい。 (3) scene image to be presented to the user for route guidance is are prepared for each node on the map structure information, as a further attribute, prepared each time period, each slope and / or direction, each weather, the sure you, the user may be set as the presented objects for matches the attribute when acquiring the captured image. 例えば、時間帯の属性を設けておき、ユーザが撮像画像を取得したのが昼の場合と夜の場合とで対応する別の情景画像を提示するようにしてよい。 For example, may be provided the attributes of the time zone, the user may be to present a different scene image corresponding in the case of night and when having obtained the captured image is daylight. 一般に(屋内等でなければ)昼と夜とでは情景は異なるので、当該区別を設けることで適切な経路案内が実現可能である。 Since generally (unless indoors, etc.) scene in the day and night are different, appropriate route guidance by providing the distinction is feasible.

(4)認識部3で現在地の認識に成功した際は、対応する撮像画像が記憶部7に記憶されるが、当該記憶された後は、自動で常に最新の撮像画像を対応する情景画像として利用するようにしてもよいし、当初設定されているものを継続して利用してもよい。 (4) upon successful recognition unit 3 to the recognition of the current location is the corresponding captured image is stored in the storage unit 7, after being the storage, as a scenery image to always correspond to the latest captured image is automatically may be utilized, it may be utilized to continue what is initially set. 当該継続して利用する場合でも、記憶部7は随時最新の撮像画像が蓄積されるので、管理者等がマニュアルで適切な画像を選択して、新たな情景画像として設定することができる。 Even when utilized in the continuous, since the storage unit 7 the latest captured image any time are accumulated, can be an administrator or the like selects the appropriate image manually, it is set as a new scene image.

(5)図6の説明においては、ステップS11において、現在地における当該時点に即した種々の提示情報を提示するものとして説明したが、同様の種々の情報を、初回に経路探索がなされたステップS4においても提示してよい。 (5) In the description of Figure 6, in step S11, has been described as presenting a variety of presentation information based on the point in the current position, the same variety of information, route search is made in the first step S4 it may be also presented in.

10…経路案内システム、1…入力部、2…撮像部、3…認識部、4…探索部、5…制御部、6…提示部、7…記憶部 10 ... route guidance system, 1 ... input unit, 2 ... imaging unit, 3 ... recognition unit, 4 ... search section, 5 ... control unit, 6 ... presenting unit, 7 ... storage unit

Claims (20)

  1. ユーザの存在する現在地より、ユーザが入力する目的地へ至る経路案内を行う経路案内システムであって、 You are here than the presence of a user, a route guidance system that performs route guidance that leads to the destination for the user to input,
    前記ユーザの存在する現在地における情景を撮像画像として取得する撮像部と、 An imaging unit that acquires scene in the current position of presence of the user as a captured image,
    前記撮像画像より所定の撮像対象を認識することで前記現在地を決定する認識部と、 A recognition unit for determining the current position by recognizing the predetermined imaging target from the captured image,
    前記決定された現在地より前記ユーザが入力する目的地へと至る経路を探索する探索部と、 A search unit for searching for a route to a destination of the user inputs from the determined current location,
    ユーザに情報を提示する提示部と、 And a presentation unit for presenting information to a user,
    前記探索された経路に応じた経路案内のための提示情報であって、当該経路上における情景画像を含む提示情報を、前記提示部に提示させるように制御する制御部と、 A presentation information for route guidance in accordance with the searched route, and a control unit for the presentation information including the scene image on the route, performs control so as to be presented to the presentation unit,
    前記認識部が所定の撮像対象を認識するための所定の画像特徴量及び前記認識部が前記現在地を決定するための所定の撮像対象に対応する位置情報と、前記探索部が前記経路を探索する対象としての経路構造情報と、前記制御部の制御により前記提示部に提示させる対象としての、位置情報に対応付けられた情景画像を含む提示情報と、を記憶する記憶部と、を備え、 The position information the recognition unit is corresponding to the predetermined imaging target for a predetermined image characteristic amount and the recognition unit for recognizing a predetermined imaging target to determine the current position, the search unit searches the route comprising a pathway structure information as a target, as a target to be presented to the presentation unit under control of the control unit, a storage unit for storing, and presenting information including scenery image associated with the position information, and
    前記認識部が前記現在地を決定することに成功した場合には、当該成功した際の撮像画像を当該決定された現在地の位置情報を紐付けて記憶部に記憶させ、失敗した場合には記憶させないことにより情景画像の経時変化を最新の認識対象として反映させることを特徴とする経路案内システム。 When the recognition unit has succeeded in determining the current location, the captured image upon the success is stored in the storage unit in association with positional information on the current location that the determined, not stored on failure route guidance system characterized by reflecting the latest recognition target changes with time of the scene image by.
  2. 前記所定の撮像対象の種類に、予め設置されている既存標識、QRコード(登録商標)、マーカー及びポスターのうちの一部又は全てが含まれることを特徴とする請求項1に記載の経路案内システム。 The type of the predetermined imaging target, previously installed by being existing label, QR code (registered trademark), route guidance according to claim 1, characterized in that contains some or all of the markers and poster system.
  3. 前記記憶部が、前記成功した際の撮像画像を、前記紐付けられた位置情報における、前記提示部に提示させる対象としての情景画像または当該情景画像の候補として記憶することにより情景画像の経時変化を最新の提示情報として反映させることを特徴とする請求項1に記載の経路案内システム。 The storage unit, the captured image at the time of the successful, in the cord Tagged location information, temporal change of scene images by storing a candidate of the scene image or the scene image as an object to be presented on the presentation unit the route guidance system according to claim 1, characterized in that to reflect the latest presentation information.
  4. ユーザは前記目的地と併せてさらに経路優先種別を入力し、 The user can enter additional path first type together with the destination,
    前記探索部は、前記入力された経路優先種別を考慮して経路を探索することを特徴とする請求項1ないし3のいずれかに記載の経路案内システム。 The search unit, a route guidance system according to any one of claims 1 to 3, characterized in that searches for a route in consideration of the path first type is the input.
  5. 前記制御部は、前記探索された経路に応じた画像情報、地図情報、文字情報、音声情報の全て又は一部を含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし4のいずれかに記載の経路案内システム。 Wherein the control unit, image information corresponding to the searched route, map information, text information, the presentation information including all or some of the audio information, and controls so as to present to the presentation unit route guidance system according to any one of claims 1 to 4.
  6. 前記制御部は、前記探索された経路の各箇所における画像情報、文字情報、音声情報の全て又は一部を含む提示情報を、前記探索された経路に応じた順番で、前記提示部に提示させるように制御することを特徴とする請求項1ないし4のいずれかに記載の経路案内システム。 Wherein the control unit, image information in each location of the searched route, text information, the presentation information including all or some of the audio information, in the order corresponding to the searched route, is presented on the presentation unit route guidance system according to any one of claims 1 to 4, wherein the controller controls so.
  7. 前記制御部は、前記決定された現在地の次に前記探索された経路上で到達すべき箇所の情景画像を含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし6のいずれかに記載の経路案内システム。 Wherein the control unit claims, characterized in that the presentation information including scenery image point to be reached on the searched route to the next on the determined current position is controlled so as to be presented to the presentation unit 1 to 6 route guidance system according to any one of the.
  8. 前記制御部は、前記探索された経路に沿って到達すべき各箇所の情景画像を到達すべき順に並べたものを含む提示画像を、前記提示部に提示させるように制御することを特徴とする請求項1ないし7のいずれかに記載の経路案内システム。 Wherein the control unit, the presentation image, including those arranged scenery image of the searched respective locations to be reached along the path in order to be reached, and controlling so as to be presented to the presentation unit route guidance system according to any one of claims 1 to 7.
  9. 前記制御部は、前記決定された現在地の次に前記探索された経路上で到達すべき箇所への誘導情報を含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし8のいずれかに記載の経路案内システム。 Wherein, claims and controlling the presentation information including guidance information to point to be reached on the searched route to the next on the determined current location, so as to present to the presentation unit route guidance system according to any one of claims 1 to 8.
  10. 前記制御部は、前記誘導情報を前記撮像画像に重畳させたものを含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし9のいずれかに記載の経路案内システム。 Wherein the control unit, the route according to the presentation information, in any one of claims 1 to 9, characterized by controlling so as to be presented to the presentation unit, including those obtained by superimposing the guiding information to the captured image guidance system.
  11. 前記重畳させる誘導情報が、前記撮像画像において、前記決定された現在地の次に前記探索された経路上で到達すべき箇所への傾き及び/又は方向を、前記撮像画像の傾き及び/又は方向からの相対的変化として示すものであることを特徴とする請求項10に記載の経路案内システム。 Guide information for the superimposition is, in the captured image, the slope and / or direction to the point to be reached on the searched route to the next of the determined current location, from the slope and / or direction of the captured image route guidance system according to claim 10, characterized in that it shows a relative change.
  12. 前記制御部は、前記決定された現在地に応じた画像情報であって、前記撮像画像に重畳されることによって前記探索された経路をその他の経路と区別してユーザに認識させるための画像情報を含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし11のいずれかに記載の経路案内システム。 Wherein the control unit is an image information corresponding to the determined current location, including image information for causing the user to recognize and distinguish it from other routes the searched route by being superimposed on the captured image route guidance system according to any one of claims 1 to 11 presented information, and controls so as to present to the presentation unit.
  13. 前記制御部は、前記決定された現在地と、前記撮像画像の傾き及び/又は方向と、に応じた画像情報であって、前記撮像画像に重畳されることによって前記探索された経路をユーザに認識させるための画像情報を含む提示情報を、前記提示部に提示させるように制御することを特徴とする請求項1ないし12のいずれかに記載の経路案内システム。 Wherein the control unit includes a current position said determined an image information corresponding to a slope and / or direction of the captured image, recognizes the searched route by being superimposed on the captured image to the user route guidance system according to any one of claims 1 to 12 to present information including image information, and controlling so as to be presented to the presentation unit for causing.
  14. 前記画像情報は、位置情報と、傾き及び/又は方向と、によって区別されることで予め複数が用意されており、 Wherein the image information includes position information, and tilt and / or direction is pre plurality ready by being distinguished by,
    前記制御部は、前記複数の中から、前記決定された現在地の位置情報と、前記撮像画像の傾き及び/又は方向に対する所定範囲内にある傾き及び/方向と、に合致するもののみを前記重畳させることを特徴とする請求項13に記載の経路案内システム。 The control unit, from the plurality, wherein the position information of the determined current location, the inclination and / directions within a predetermined range for the inclination and / or direction of the captured image, the superimposed only those that meet the route guidance system according to claim 13, characterized in that to.
  15. 前記認識部が決定した現在地が、既に前記探索部で探索された経路から逸脱している場合には、前記探索部は、当該決定した現在地より、前記入力された目的地へ至る経路を再探索することを特徴とする請求項1ないし14のいずれかに記載の経路案内システム。 The current location recognizing section is determined, if already deviated from the route searched by the searching unit, the searching unit, from the current position that the determined, re-searching a route to the input destination route guidance system according to any one of claims 1 to 14, characterized in that.
  16. 前記再探索がなされた場合には、ユーザにその旨を通知することを特徴とする請求項15に記載の経路案内システム。 Wherein if the re-search has been made, the route guidance system according to claim 15, characterized in that notifies the user.
  17. 前記情景画像は、属性ごとに用意されており、 The scenery image is prepared for each attribute,
    前記制御部は、属性ごとに用意された情景画像のうち、前記撮像画像の属性に一致するものを選択し、当該選択された情景画像を含む提示情報を前記提示部に提示させるように制御することを特徴とする請求項1ないし16のいずれかに記載の経路案内システム。 Wherein, among been scenery image prepared for each attribute, the select the one that matches the attributes of the captured image, controls to present the presentation information including the selected scene image to said presentation unit route guidance system according to any one of claims 1 to 16, characterized in that.
  18. 前記属性が、時間帯であることを特徴とする請求項17に記載の経路案内システム。 Route guidance system according to claim 17 wherein the attribute, which is a time zone.
  19. コンピュータを、請求項1ないし18のいずれかに記載の経路案内システムとして機能させることを特徴とする経路案内プログラム。 Computer, route guidance program for causing to function as a route guidance system according to any one of claims 1 to 18.
  20. ユーザの存在する現在地より、ユーザが入力する目的地へ至る経路案内を行うようにソフトウエアによりコンピュータを機能させる経路案内システムが備える経路案内方法であって、 From the current position of the user is present, a route guidance method comprising the route guidance system that causes a computer to function by software to perform route guidance leading to the destination that the user enters,
    前記ユーザの存在する現在地における情景を撮像画像として取得する撮像ステップと、 An imaging step of acquiring scene in the current position of presence of the user as a captured image,
    前記撮像画像より所定の撮像対象を認識することで前記現在地を決定する認識ステップと、 A recognition step of determining the current position by recognizing the predetermined imaging target from the captured image,
    前記決定された現在地より前記ユーザが入力する目的地へと至る経路を探索する探索ステップと、 A search step of searching for a route to a destination by the user from the determined current location is input,
    前記探索された経路に応じた経路案内のための提示情報であって、当該経路上における情景画像を含む提示情報を、ユーザに情報を提示する提示デバイスに提示させるように制御する制御ステップと、を備え、 A presentation information for route guidance in accordance with the searched route, a control step of the presentation information including the scene image on the route, performs control so as to be presented to the presentation device for presenting information to a user, equipped with a,
    前記認識ステップは、所定の撮像対象を前記認識するための所定の画像特徴量及び現在地を前記決定するための所定の撮像対象に対応する位置情報を参照して実行され、前記探索ステップは、前記経路を探索する対象としての経路構造情報を参照して実行され、前記制御ステップは、位置情報に対応付けられた情景画像を含む提示情報を参照して実行されるとともに、 The recognition step is performed by referring to the location information corresponding to a predetermined imaging target for the determining the predetermined image feature amount and the current position for the recognition of predetermined imaging target, the search step, the be performed with reference to routing structure information as a target for searching for a route, the control step, while being executed by referring to the presentation information including the scene image associated with the position information,
    前記提示情報は、前記撮像ステップで取得した撮像画像について、前記認識ステップが前記現在地を決定することに成功した場合には、当該成功した際の撮像ステップで取得した撮像画像を当該決定された現在地の位置情報を紐付けて記憶部に記憶させ、失敗した場合には記憶させないことにより情景画像の経時変化を反映させることを特徴とする経路案内方法。 The presentation information, for the captured image acquired in the imaging step, if the recognition step has succeeded in determining the current location, the captured image acquired by the imaging step in the the success was the determined current location route guidance method of the position information string attached and stored in the storage unit, in case of failure is characterized in that to reflect the time course of scene images by not stored.
JP2014001622A 2014-01-08 2014-01-08 Route guidance system, method and program Active JP6384898B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014001622A JP6384898B2 (en) 2014-01-08 2014-01-08 Route guidance system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014001622A JP6384898B2 (en) 2014-01-08 2014-01-08 Route guidance system, method and program

Publications (2)

Publication Number Publication Date
JP2015129696A true JP2015129696A (en) 2015-07-16
JP6384898B2 true JP6384898B2 (en) 2018-09-05

Family

ID=53760521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014001622A Active JP6384898B2 (en) 2014-01-08 2014-01-08 Route guidance system, method and program

Country Status (1)

Country Link
JP (1) JP6384898B2 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517911B2 (en) * 1993-10-29 2004-04-12 トヨタ自動車株式会社 The vehicle navigation system
JP3779577B2 (en) * 2001-09-04 2006-05-31 株式会社東芝 Display method in a navigation device
JP2005221407A (en) * 2004-02-06 2005-08-18 Matsushita Electric Ind Co Ltd Navigation system
JP2006105640A (en) * 2004-10-01 2006-04-20 Hitachi Ltd Navigation system
JP2008044309A (en) * 2006-08-21 2008-02-28 Canon Inc Printer
JP4068661B1 (en) * 2006-10-13 2008-03-26 株式会社ナビタイムジャパン Navigation system, the mobile terminal device and route guidance method
JP2010122093A (en) * 2008-11-20 2010-06-03 Alpine Electronics Inc Portable navigation device and its route searching method
JP5294827B2 (en) * 2008-12-22 2013-09-18 三洋電機株式会社 Image collection apparatus, server apparatus and an image collection delivery system
JP2011094992A (en) * 2009-10-27 2011-05-12 Jvc Kenwood Holdings Inc Navigation device, navigation method and navigation program
JP5898856B2 (en) * 2011-04-28 2016-04-06 富士通テン株式会社 Server device, the vehicle-mounted device, the program, an information processing system and vehicle terminal
JP2013145176A (en) * 2012-01-13 2013-07-25 Toshiba Corp Road guide system

Also Published As

Publication number Publication date Type
JP2015129696A (en) 2015-07-16 application

Similar Documents

Publication Publication Date Title
US20110137561A1 (en) Method and apparatus for measuring geographic coordinates of a point of interest in an image
US8131118B1 (en) Inferring locations from an image
US7587276B2 (en) Displaying images in a network or visual mapping system
US20120240077A1 (en) Method and apparatus for displaying interactive preview information in a location-based user interface
US20110050909A1 (en) Photographer's guidance systems
US20120013609A1 (en) Method and apparatus for presenting a first person world view of content
US20090096875A1 (en) Camera-fitted information retrieval device
US20120113143A1 (en) Augmented reality system for position identification
US20120059720A1 (en) Method of Operating a Navigation System Using Images
US7359797B2 (en) System and method for displaying images in an online directory
US8164599B1 (en) Systems and methods for collecting and providing map images
US20120127201A1 (en) Apparatus and method for providing augmented reality user interface
US20100149399A1 (en) Image capturing apparatus, additional information providing server, and additional information filtering system
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20130162665A1 (en) Image view in mapping
US20130147837A1 (en) Augmented reality personalization
US20110141141A1 (en) Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
CN101769747A (en) Intelligent tour conducting system and method for scenery spots
JP2003287434A (en) Image information searching system
JP2004048674A (en) Information presentation system of visual field agreement type, portable information terminal, and server
CN103424113A (en) Indoor positioning and navigating method of mobile terminal based on image recognition technology
US8271497B2 (en) Information processing apparatus and information processing method outputting information on movement of person
US20140002440A1 (en) On Demand Image Overlay
CN102142005A (en) System, terminal, server, and method for providing augmented reality
JP2006091390A (en) Information display system and method, program and information display terminal device for making computer perform information display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160729

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180802

R150 Certificate of patent or registration of utility model

Ref document number: 6384898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150