WO2006035476A1 - 位置特定サーバ及び移動体端末 - Google Patents

位置特定サーバ及び移動体端末 Download PDF

Info

Publication number
WO2006035476A1
WO2006035476A1 PCT/JP2004/014061 JP2004014061W WO2006035476A1 WO 2006035476 A1 WO2006035476 A1 WO 2006035476A1 JP 2004014061 W JP2004014061 W JP 2004014061W WO 2006035476 A1 WO2006035476 A1 WO 2006035476A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference data
information
unit
mobile terminal
candidate
Prior art date
Application number
PCT/JP2004/014061
Other languages
English (en)
French (fr)
Inventor
Ikuko Takanashi
Kouji Wakimoto
Hitoshi Sawada
Yutaka Oe
Tadahiro Yamashita
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Vodafone K.K.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha, Vodafone K.K. filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to PCT/JP2004/014061 priority Critical patent/WO2006035476A1/ja
Publication of WO2006035476A1 publication Critical patent/WO2006035476A1/ja

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252Radio frequency fingerprinting
    • G01S5/02521Radio frequency fingerprinting using a radio-map
    • G01S5/02522The radio-map containing measured values of non-radio values

Definitions

  • the present invention relates to a position information service system that provides information for specifying a position from an image photographed by a terminal.
  • GPS Global Positioning System
  • GPS, gyroscopes, and vehicle speed pulses are used for measuring and tracking the position of a car in car navigation. GPS positioning is also corrected by map matching with power roads that include errors in the direction of travel obtained by the gyro. However, even if car navigation map matching is applied as it is, it is difficult to understand the movement of pedestrians.
  • Japanese Patent Laid-Open No. 9 190413 information processing device: Ricoh
  • a recognition device A device for recognizing the location of a user such as “A office meeting room” or “B office corridor” by using a neural network, and using the recognized location name for PDA user information management, etc. is there.
  • Such location recognition is realized by an information processing device that maintains the location information of offices A and B and has learned the characteristics of conference rooms and corridors.
  • Patent Document 1 Japanese Patent Laid-Open No. 9-190413
  • the present invention has been made in order to eliminate the above-described drawbacks of the prior art.
  • the purpose of the present invention is to pinpoint the user's position obtained by GPS, PHS (registered trademark), or the like.
  • PHS registered trademark
  • the user decides a specific target and shoots Therefore, it is an object to realize position specification.
  • This provides a service that can identify the user's location without having to prepare a huge amount of reference data. It is possible to provide information according to the location and navigation from there to the destination.
  • the location server according to the present invention includes:
  • a communication unit that receives, from a mobile terminal, approximate position information that can generally specify a position where the mobile terminal exists and photo information taken by a shooting unit of the mobile terminal.
  • Candidate selection unit that selects reference data to be compared based on the relationship between the approximate position information and the position information.
  • Collation evaluation unit that evaluates collation results and determines acceptance / rejection of reference data
  • a position specifying unit for specifying position information stored in association with the reference data in the reference data database when it is determined that the reference data is adopted.
  • a rough position of the user is obtained by causing the user to shoot as many objects in the town, such as signs or signs of the same color, mark, shape, etc. Can be narrowed down.
  • Maintenance such as when a signboard is changed can be handled by all stores by simply changing the original reference data.
  • the location information of the new stores can be added, so there is no need for maintenance.
  • FIG. 1 is a configuration diagram of a position specifying system according to the first embodiment.
  • a terminal (mobile terminal) 100 includes a rough position acquisition unit 1, a photographing unit 2, a display unit 3, and a communication unit 4a.
  • the approximate position acquisition unit 1 is a functional module that obtains the approximate position A with the terminal 100
  • the photographing unit 2 is a functional module that captures the photograph B with the terminal 100
  • the display unit 3 is the map received from the server 200.
  • the communication unit 4a is a communication function module with the server 200.
  • the server (location specifying server) 200 includes a candidate selection unit 10, a map selection unit 15, a reference data database 40, a map database 41, a communication unit 4b, and a matching processing device 150.
  • the candidate selection unit 10 selects a candidate set C as a target at the position based on the received information on the approximate position A and the information in the reference data database 40.
  • the reference data selected in candidate set C is called candidate data.
  • the map selection unit 15 selects a map D corresponding to the position from the map database 41.
  • the communication unit 4b is a communication function module with the terminal.
  • the collation processing device 150 receives the selected candidate set C and the map D as input, a collation unit 20 that collates the candidate set C with the photo B, and a collation evaluation unit 21 that evaluates the collation result. Based on the evaluation result, the position specifying unit 22 for specifying the shooting position and the specified position mark It consists of a map display unit 23 placed on the map.
  • FIG. 2 is a diagram showing a processing flow of the server according to the first embodiment.
  • the server 200 receives the approximate position information A from the terminal 100 when there is a position specifying request from the terminal 100. Then, a reference image candidate set C corresponding to the position information indicating the range of the approximate position is searched from the reference data database 40 (step ST101).
  • the terminal 100 acquires the approximate position information A by the approximate position acquisition unit 1 such as GPS in response to a request from Sano or voluntarily, and sends the acquired approximate position information A to the server 200. It is configured to transmit.
  • the approximate position acquisition unit 1 such as GPS in response to a request from Sano or voluntarily
  • FIG. 3 is a diagram showing an example of the reference data database according to the first embodiment.
  • a signboard of a combination store with thousands of stores in various places is photographed, and the portion of the signboard cut out is stored as reference data. Since a combination uses the same signboard at each branch, it is possible to handle a single type of reference data without having to prepare reference data for the signboard of a certain combination company for each branch.
  • the location information of the stores in each location is stored in association with longitude and latitude, using the photo from the front of the sign of the convenience store as reference data.
  • the reference data is not limited to photographs, but may be 2D images, 3D Computer Graphics (CG), logos, character strings, sounds, and the like.
  • the location information may be other information such as a base station area of a mobile phone. For example, assuming that the candidate data selected in ST101 is “Psuper” and “SMART”, the following explanation is continued.
  • the collation unit 20 performs matching (collation) between the photograph B taken by the user and each reference data of the candidate set C selected as a candidate, and the collation evaluation unit 21 evaluates the matching (collation) result. (Step ST103).
  • each candidate data that is reference data is shifted slightly from the upper left force of the photograph B as shown in FIG.
  • the part with the highest matching evaluation result in Photo B is regarded as the matching location, and the evaluation score at that part is evaluated for each candidate data.
  • the price point is made by comparing the reference data with the color histogram of the photograph. If the number of colors is large, the color may vary depending on the shooting conditions, etc., even if the sign is the same.
  • step ST104 It is checked whether there is more candidate data of evaluation points for the set threshold! /, Value (step ST104). Among them, the candidate data with the highest evaluation score is selected (step ST1 05). The higher the rating, the more likely it is that the sign or mark is the same. The photo taken by the user does not necessarily include a specific object. In such a case, if a match with another sign is made, the wrong decision is made and a value is set.
  • FIG. 5 is a diagram showing an example in which the position is narrowed down on the map.
  • the approximate position A of the user is represented by a circle, and the narrowed position is represented by an ellipse.
  • the GPS and base station information alone can provide rough area information. However, in this system, the user's position can be narrowed down by collating the photo with the reference data.
  • the reference data database 41 includes the reference data that is an image when the mobile terminal holder has photographed the target object for specifying the position during movement, and the reference data.
  • the communication unit 46 associates and stores the position information of the mobile terminal from the mobile terminal, the approximate position information that can generally specify the position of the mobile terminal, and the photo information captured by the imaging unit 2 of the mobile terminal.
  • the candidate selection unit 10 selects reference data to be collated from the reference data database 41 based on the relationship between the approximate position information and the position information, and the collation unit 20 selects the selected reference data and Collation with the above-described photo information is performed, and the collation evaluation unit 21 evaluates the collation result and determines whether or not the reference data is accepted. Then, when it is determined that the reference data is adopted, the position specifying unit 22 specifies the position information stored in the reference data database 41 in association with the reference data.
  • the map selection unit 15 performs map information based on the position information specified by the position specifying unit 22.
  • the map display unit 23 adds information for visually identifying the position based on the position information to the selected map information, and the added map information is transmitted to the mobile terminal via the communication unit 4b. To provide.
  • a force indicating a configuration in which the verification processing device 150 is placed on a server can be mounted on a terminal.
  • the approximate position acquisition unit 1 acquires approximate position information that can generally specify the position of the moving object
  • the photographing unit 2 obtains photographic information by taking a picture
  • the communication unit 4a transmits the above approximate position information to the server 200, receives reference data to be collated and position information corresponding to the reference data from the server 200, and receives the reference information provided in the terminal 100.
  • the combining unit 20 compares the received reference data with the above photographic information, and the matching evaluation unit 21 provided in the terminal 100 evaluates the comparison result and determines whether or not the reference data is accepted. Then, when it is determined that the reference data is adopted, the position specifying unit 22 provided in the terminal 100 specifies the position of the mobile terminal based on the position information corresponding to the reference data.
  • the candidate data is compared with every part of the photograph B, and the matching is shown.
  • the shooting target is arranged in the center
  • only candidate data and the center portion of the shot photo are collated.
  • the photograph B is divided into a plurality of divisions such as 9 divisions and 12 divisions, the central area is designated, and only the central portion is compared and collated with the candidate data. Select a candidate with a high evaluation score.
  • the central part may be specified by specifying coordinates.
  • the collation unit collates only a part of the photographic information.
  • Embodiment 4 In Embodiment 1, based on position information associated with reference data captured from one direction (usually the front direction), the position specifying unit specifies a shooting position that further narrows down the approximate position.
  • reference data that captures various distances and angular forces for each target is prepared, and information such as distance and angle associated with these reference data is used to further position. The form to narrow down is explained.
  • FIG. 6 is a diagram illustrating a processing flow of the server according to the fourth embodiment.
  • FIG. 7 is a diagram showing an example of a reference data database according to the fourth embodiment. As shown in the figure, for each reference data, prepare a photograph of various distances and angular forces taken only by a signboard photograph and a logo mark front image for each store. In addition, taking into consideration that the characteristics of shooting differ depending on the terminal, it is effective to prepare photographs taken from various distances and angles for each type of terminal.
  • FIG. 8 is a diagram showing the relationship between the distance and angle during shooting. With this information, the direction of the signboard can be determined.
  • the angle of the reference data is 0 for the front of the signboard, +30 if the central force is 30 degrees to the right, and 20 if it is 20 degrees to the left.
  • the writing method is not limited to this.
  • the corresponding reference data is narrowed down to specify the position.
  • the priority and threshold values of conditions for narrowing down candidates can be determined according to the situation. It is determined according to the accuracy of the position acquisition unit and direction information acquisition unit, the type and amount of data to be prepared, and the like.
  • Candidates are narrowed down based on the approximate position information (ST101), matching is performed (ST103), and if a high collation evaluation result is obtained, the position is specified using the distance and angle information. If the evaluation score is higher than the threshold value (ST104), the candidate with the highest evaluation is selected (ST105).
  • the position is specified by the distance and angle information of the reference data (ST160).
  • the location identifying unit 22 takes a picture by comparing it with reference data corresponding to the type of terminal. Because the distance and angle from the target can be identified based on the size of the signboard and logo mark and the degree of distortion of the signage depending on the shooting angle, the pinpoint position can be further narrowed down.
  • the reference data database 41 stores information indicating the positional relationship with the target object in association with the reference data
  • the position specifying unit 22 stores the information in association with the reference data. The position is determined using information indicating the positional relationship!
  • This embodiment is effective when data from various positions and angles are sufficiently prepared.
  • FIG. 9 is a diagram showing a processing flow of the server according to the fifth embodiment.
  • the distance of the signboard power is estimated from the internal parameters of the camera and the length of the signboard, and the angle to the signboard is estimated by converting the photographed photograph.
  • the camera parameter value of the camera serving as the imaging unit is required. Therefore, it is necessary to receive the terminal power of the parameters (zoom, focus, etc.) of the photographing unit at the time of photographing, and to convert the photographed photo B based on it. If the shooting unit is a mobile phone camera and the parameters are determined according to the model of the terminal, you need to know the model of the terminal.
  • FIG. 10 is a diagram illustrating a processing flow of the server according to the sixth embodiment.
  • candidates are narrowed down based on the approximate position information, the distance of the signage force is estimated based on the internal parameters of the camera and the length of the signboard, and the angle with respect to the signboard is estimated by converting the photographed photograph. (ST150).
  • the position is specified by the distance and angle information of the matched reference data (ST1
  • the narrowing down by the approximate position may be performed after estimating the distance and angle.
  • the photographing unit 2 of the terminal 100 is taking the photo B at his / her own position.
  • the photographing is performed. A form that considers the case of requesting the location without being described will be described.
  • FIG. 11 is a configuration diagram of the position specifying system according to the seventh embodiment.
  • a candidate presentation unit 30 is added.
  • the candidate presentation unit 30 is a functional module that presents the candidate set C selected by the candidate selection unit 10 to the terminal.
  • FIG. 12 is a diagram illustrating a processing flow of the server according to the seventh embodiment.
  • candidate data is searched by the approximate position A, and a candidate set C is generated (step ST101).
  • the operation is the same as in the first embodiment. If there is no photo, the candidate set C is presented to the user, and a request is made to select a store near the candidate from among the candidates (step ST111).
  • collation processing device 150 receives selected candidate set C and map D as input, and collation unit 20 collates candidate set C with photo B, and collation evaluation unit 21 Evaluate with. Based on the result, the position specifying unit 22 specifies the photographed position.
  • the map display unit 23 arranges a mark at the specified position on the map data selected by the map selection unit 15, and communicates the map D on which the position mark is arranged. Transmit from the unit 4b to the communication unit 4a.
  • the terminal 100 displays the map D received by the communication unit 4a on the display unit 3.
  • the candidate presenting unit 30 presents the identification information of the reference data selected by the candidate selecting unit 10 to the mobile terminal 100 via the communication unit 4b as a photographing target candidate.
  • the present embodiment is based on the seventh embodiment, and checks whether each type of store in the candidate set C has two or more location information, and if there are multiple stores, The form which excludes candidate power is also demonstrated.
  • FIG. 13 is a diagram illustrating a processing flow of the server according to the eighth embodiment. If you have multiple locations, there are more than one store of the same type in the area, so you cannot determine which of the photos the user has taken. Therefore, the reference data of that type of store is excluded from the candidates, and the other types of stores are set as a candidate set C ′ (step ST110). The candidate set C ′ is presented to the user, and a request is made to select a nearby store from the candidates and take a picture (step ST111).
  • the candidate presenting unit excludes the candidate data from the target candidates for imaging.
  • the verification processing device 150 is placed on the Sano 200, and the configuration is shown.
  • the present invention can be used not only outdoors but also indoors. Even indoors, it is possible to obtain an approximate position and further shoot the signboard of the store to narrow down the position information.
  • the data stored in the database is limited to a specific target, the amount of data is not necessarily enormous.
  • the approximate position acquisition unit 1 has been shown to obtain the approximate position from GPS and base station information.
  • An approximate position such as “near” or “near the station” may be designated.
  • the present invention also applies to a force that is effective for specifying a position when a person is walking and her position is no longer weak, but also when moving by other moving means such as a car other than walking. There is an effect.
  • a certain specific image is selected from images that are constantly shot by a camera mounted on a moving object such as a car. It is also effective to extract the target.
  • FIG. 14 is a configuration diagram of the position specifying system according to the fourteenth embodiment.
  • the terminal 100 acquires the absolute direction when shooting.
  • the azimuth information acquisition unit 5 is provided.
  • FIG. 15 is a diagram showing an example of a reference data database according to the fourteenth embodiment.
  • the reference data database contains absolute bearing information when a user on the road looks at the front of the signboard. As the direction information, more accurate direction information may be held.
  • FIG. 17 is a diagram showing a processing flow of the server according to the fourteenth embodiment. ST102,
  • ST111 may be omitted.
  • search and narrow down reference data candidates having absolute orientation information corresponding to the absolute orientation information of the mobile terminal. For example, within the approximate position of the camera, Psuper and S
  • the reference data database includes the absolute orientation information of the signboard.
  • FIG. 18 is a diagram showing an example of a reference data database according to the fifteenth embodiment.
  • the reference data database contains absolute heading information for users on the road looking at the front of the sign and length information for the sign.
  • FIG. 19 is a diagram illustrating the relationship between the distance and the angle during shooting.
  • FIG. 20 is a diagram showing a process flow of the server according to the sixteenth embodiment.
  • candidates are narrowed down based on the approximate position information (ST101), and matching is performed (ST103). If the evaluation point of the high evaluation is above the threshold (ST104), select some candidates with high evaluation (ST120).
  • the distance of the signboard force and the relative angle to the signboard are estimated by converting the photographed photograph (ST150).
  • the estimated distance and the distance between the reference data, and the absolute orientation of the mobile terminal and the "(absolute) orientation + opposite) angle" of the reference data are the closest candidates. select. Then, the position is specified by the distance and angle of the reference data (ST155).
  • FIG. 21 is a diagram showing a processing flow of the server according to the seventeenth embodiment.
  • the narrowing down by the approximate position may be performed after estimating the distance and angle.
  • candidates for reference data having direction information corresponding to the direction information of the mobile terminal are searched, collated, and evaluated.
  • the server 200 and the terminal 100 are a kind of computer, and each element can execute processing by a program. It is also possible to store the program in a storage medium so that the computer can read the program from the storage medium.
  • FIG. 22 is a diagram illustrating a hardware configuration example of the server 200 and the terminal 100.
  • An arithmetic device 2201, a data storage device 2202, a memory 2203, and a communication interface 2204 are connected to the bus.
  • the data storage device 2202 is, for example, a ROM (Read Only Memory) or a hard disk.
  • the memory 2203 is usually a RAM (Random Access Memory).
  • the communication interface 2204 is used for communication between the server 200 and the terminal 100 via the network.
  • the program is normally stored in the data storage device 2202, and is loaded into the memory 2203 and sequentially read into the arithmetic device 2201 for processing.
  • FIG. 1 is a configuration diagram of a position specifying system according to a first embodiment.
  • FIG. 2 is a diagram showing a processing flow of the server according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a reference data database according to the first embodiment.
  • FIG. 4 is a diagram showing a concept of matching.
  • FIG. 5 is a diagram showing an example in which positions are narrowed down on a map.
  • FIG. 6 is a diagram showing a processing flow of the server according to the fourth embodiment.
  • FIG. 7 is a diagram showing an example of a reference data database according to the fourth embodiment.
  • FIG. 8 is a diagram showing the relationship between distance and angle during shooting.
  • FIG. 9 shows a process flow of the server according to the fifth embodiment.
  • FIG. 10 is a diagram showing a process flow of a server according to the sixth embodiment.
  • FIG. 11 is a configuration diagram of a position specifying system according to a seventh embodiment.
  • FIG. 12 shows a processing flow of the server according to the seventh embodiment.
  • FIG. 13 is a diagram showing a processing flow of the server according to the eighth embodiment.
  • FIG. 14 is a configuration diagram of a position specifying system according to a fourteenth embodiment.
  • FIG. 15 is a diagram showing an example of a reference data database according to the fourteenth embodiment.
  • FIG. 16 is a diagram showing an example in which positions are narrowed down on a map.
  • FIG. 17 shows a process flow of the server according to the fourteenth embodiment.
  • FIG. 18 shows an example of a reference data database according to the fifteenth embodiment.
  • FIG. 19 is a diagram showing the relationship between distance and angle during shooting.
  • FIG. 20 shows a processing flow of the server according to the sixteenth embodiment.
  • FIG. 21 is a diagram showing a process flow of the server according to the seventeenth embodiment.
  • FIG. 22 is a diagram illustrating a hardware configuration example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

 端末で撮影した画像により位置を特定する情報を提供する位置情報サービスシステムに係り、膨大な参照データを用意しなくても、ユーザの位置を特定できるサービスを提供することを課題とする。参照データデータベース41は、店舗の看板等の対象物を撮影した場合のイメージである参照データとその位置情報を対応付けて記憶し、通信部46は、移動体端末から、移動体端末の位置を概ね特定する情報と写真情報を受信し、候補選択部10は、照合を行う参照データを参照データデータベース41から選択し、照合部20は、参照データと写真情報との照合を行い、照合評価部21は、照合結果を評価する。位置特定部22は、参照データを採用すると判定した場合に、当該参照データに対応する位置情報を特定する。

Description

明 細 書
位置特定サーバ及び移動体端末
技術分野
[0001] 本発明は、端末で撮影した画像により位置を特定する情報を提供する位置情報サ 一ビスシステムに関する。
背景技術
[0002] GPS (Global Positioning System)付きの携帯電話が普及し、位置の測位が 可能となった。し力 歩行者が歩く場所は、ビル陰、地下街など GPSで測位できない ところが多い。また GPSで測位ができても、 10m以上の誤差が生じる場合がある。
[0003] カーナビゲーシヨンにおける車の位置の測定や追跡には、 GPS、ジャイロ、車速パ ルスなどが使われている。 GPSによる測位も、ジャイロによって得られる進行方向にも 誤差が含まれる力 道路とのマップマッチングで補正している。しかしカーナビのマツ プマッチングをそのまま適用しても、歩行者の動きを把握することは難しい。
[0004] また、人間の場合、ある建物に入って反対側力も外に出る、電車に乗って全く違う 場所に移動する、地下街を歩いていて地上に上がる、というように、長い間 GPSで測 位できずに場所を移動することが、車と比べて多ぐこのような場合は、地図を持って いても自分のいる位置や方位がわ力もず、立ち尽くしてしまうことがある。
[0005] 車の場合、駐車場などでは入り口と出口が別の場所にある場合がこれに相当する 力 出口には左〇〇方面、右△△方面などの標識がある。また、標識がない場合で も、短い距離を走るだけで、上述のカーナビにより、どの道路をどちら向きに走ってい るかを特定できる。
[0006] これに対して、人間の場合、 GPSによって得られる測位結果力 ナビゲーシヨンを 行っても、細い道が何本も並んでいるような場合に、誤差が 10mもあると、全く違う道 を進んでしまう場合がある。
[0007] 従って、 GPSや、それ以上に誤差の大きい携帯電話の基地局による測位結果や、
PHS (登録商標) (Personal Handyphone System)による測位結果では十分で はなぐ初期位置をピンポイントに絞り込むことが重要である。 [0008] 例えば、特開平 9 190413 (情報処理装置:リコー)は、 GPSや PHS (登録商標) で測位した位置情報と、その位置でユーザが撮影した写真の特徴情報が認識装置 に送られ、ニューラルネットによって「A事務所の会議室」「B事務所の廊下」のように ユーザの居る場所を認識し、認識された場所の名称を、 PDAのユーザ情報管理など に利用するための装置である。このような場所の認識は、 A事務所や B事務所の位置 情報を保持し、会議室や廊下等の特徴を学習済みの情報処理装置により実現される
[0009] しかしながら、上記情報処理装置で場所を認識するためには、場所ごとの位置情 報の取得や写真撮影という学習に伴う作業を行う必要があって手間が掛かる。特に、 対応するエリアが増えると、学習量 (データ量)が膨大になり、更に、特定したい場所 が増える度に、写真を撮り、学習させる必要がある。従って、広いエリアへの対応は 容易ではない。
[0010] また、それぞれの場所のどういう風景を撮影するかという条件が決まっていないため 、撮影する度に、またユーザごとに少しずつ撮影の対象や、撮影する角度が違うなど 撮影結果が違うことが予想され、認識の正解率を上げるのが困難である。
[0011] また、場所の見た目(壁紙、ドア、または看板など)が変わる度に、各場所で学習し 直す必要があり、メンテナンスに手間が掛かると言う問題がある。
[0012] また、同じ会議室でも撮影する向きによって得られる写真も違うため、そのような違 いに対応するために、同じ場所に対しても複数の写真を学習すると、更に手間が掛 かる。
[0013] 各場所の写真を DB (database)に蓄え、 DB内の写真との画像照合を行うことも可 能である力 エリアが広がるほどデータ量が増えるという問題がある。
特許文献 1:特開平 9—190413号公報
発明の開示
発明が解決しょうとする課題
[0014] 本発明は、上記した従来技術の欠点を除くためになされたものであって、その目的 とするところは、 GPS、 PHS (登録商標)などで得られたユーザの位置をピンポイント に絞り込む位置特定システムに係り、特定の対象を決めて、ユーザが撮影することに より、位置の特定を実現することを課題とする。これにより膨大な参照データを用意し なくても、ユーザの位置を特定できるサービスを提供する。そして、その位置に応じた 情報や、そこから目的地へのナビゲーシヨンなどを提供可能となる。
[0015] 前述の特定の対象として、例えば、コンビニ、銀行など支店が多数ある店舗の看板 、ロゴマーク、信号機、標識、特徴的な建物や看板の形状などを対象として限定する ことで、データベース等に蓄える参照データとして、対象の種類ごとにパターンを用 意し、それらの位置情報を蓄えておくことで、参照データの何百倍、何千倍もの対象 を扱うことができる。
課題を解決するための手段
[0016] 本発明に係る位置特定サーバは、
移動体端末とデータ通信が可能なサーバであって、以下の要素を有することを特 徴とする
(1)移動体端末所持者が移動中に位置を特定する為に目印とする対象物を撮影し た場合のイメージである参照データと、当該参照データの位置情報を対応付けて記 憶する参照データデータベース
(2)移動体端末から、移動体端末の存在する位置を概ね特定し得る概略位置情報と 、移動体端末の撮影部で撮影した写真情報とを受信する通信部
(3)上記概略位置情報と上記位置情報の関係に基づいて、照合を行う参照データを 参照データデータベース力 選択する候補選択部
(4)選択した参照データと、上記写真情報との照合を行う照合部
(5)照合結果を評価し、参照データの採否を判定する照合評価部
(6)参照データを採用すると判定した場合に、参照データデータベースで当該参照 データに対応付けて記憶して 、る位置情報を特定する位置特定部。
発明の効果
[0017] 以上のように、本発明では、同じ色、マーク、形状の看板、あるいは標識など、町中 に多く存在するものを撮影の対象としてユーザに撮影させることで、ユーザのおおま かな位置を絞り込むことが可能となる。
[0018] 蓄える参照データが少ないと、データ収集の手間が掛カもないという利点の他に、 画像照合を行うパターンが限られるため、照合の正解率が高くなるという効果がある。 コンビ-や銀行などは、地方によって店舗数の違いがある力 そのエリアに応じて、 対象とする店を決めることもできる。
[0019] 看板が変わった場合などのメンテナンスも、もととなる参照データを変更するだけで 、全店舗に対応できる。また、店舗が新しく増えた場合は、新しい店舗の位置情報を 追加すれば良いので、メンテナンスに手間が掛カもない。
[0020] 屋外に限らず、 GPSでの測位が不可能な屋内でも利用できる。
[0021] また、方位情報を持つことにより、方位情報がない場合に比べて、照合をする前に 、可能性のあるデータを絞り込むことができる。また、同じ種類の店舗が近くに存在す る場合に、看板の向いている向きの違いにより特定することができる。
発明を実施するための最良の形態
[0022] 実施の形態 1.
図 1は、実施の形態 1に係る位置特定システムの構成図である。端末 (移動体端末) 100は、概略位置取得部 1、撮影部 2、表示部 3、及び通信部 4aを有している。概略 位置取得部 1は、端末 100で概略位置 Aを得る機能モジュールであり、撮影部 2は、 端末 100で写真 Bを撮影する機能モジュールであり、表示部 3は、サーバ 200から受 信した地図や提示内容を表示する機能モジュールであり、通信部 4aは、サーバ 200 との間の通信機能モジュールである。
[0023] サーバ (位置特定サーバ) 200は、候補選択部 10、地図選択部 15、参照データデ ータベース 40、地図データベース 41、通信部 4b、及び照合処理装置 150を有して いる。候補選択部 10は、受信した概略位置 Aの情報と、参照データデータベース 40 の情報により、その位置で対象となる候補集合 Cを選択する。候補集合 Cで選ばれた 参照データを、候補データと呼ぶ。また、地図選択部 15は、地図データベース 41か ら位置に対応した地図 Dを選択する。通信部 4bは、端末との間の通信機能モジユー ルである。
[0024] 照合処理装置 150は、選ばれた候補集合 Cと地図 Dを入力として、候補集合 Cと写 真 Bとの照合を行う照合部 20と、照合結果の評価を行う照合評価部 21と、その評価 結果に基づいて、撮影した位置を特定する位置特定部 22と、特定した位置マークを 地図上に配置する地図表示部 23とからなる。
[0025] 次に動作について説明する。図 2は、実施の形態 1に係るサーバの処理フローに示 す図である。サーバ 200は、端末 100から位置特定の要求があった場合に、端末 10 0から概略位置情報 Aを受信する。そして、その概略位置の範囲内を示す位置情報 に対応する参照画像の候補集合 Cを参照データデータベース 40から検索する (ステ ップ ST101)。
[0026] 尚、端末 100は、サーノくからの要求に応じて、あるいは自発的に、 GPSなど概略位 置取得部 1で概略位置情報 Aを取得し、取得した概略位置情報 Aをサーバ 200に送 信するように構成されている。
[0027] 図 3は、実施の形態 1に係る参照データデータベースの例を示す図である。ここで は、各地に数千の店舗を有するコンビ-の看板を写真で撮影して、看板だけを切り 出した部分を参照データとして蓄積している。コンビ-は、各支店で同じ看板を使つ ているため、あるコンビ-会社の看板に対する参照データを支店ごとに用意する必要 はなぐ 1種類の参照データで対応可能である。この場合は、コンビニの看板の正面 からの写真を参照データとして、各地の店舗の位置情報を経度、緯度で対応付けて 記憶している。
[0028] ただし、参照データは、写真とは限らず、 2次元画像、 3次元 Computer Graphic s (CG)、ロゴマーク、文字列、音声などでもよい。また位置情報も経度 ·緯度以外に、 例えば、携帯電話の基地局エリアなど他の情報でもよい。例えば、 ST101で選択さ れた候補データが、 "Psuper" と" SMART"であったと想定して以下の説明を続け る。
[0029] 照合部 20で、ユーザが撮影した写真 Bと、候補として選択した候補集合 Cの各参照 データとのマッチング (照合)を行 、、照合評価部 21でマッチング(照合)結果を評価 する(ステップ ST103)。
[0030] 図 3のように、参照データが看板部分の写真である場合には、図 4に示すように、参 照データである各候補データを、撮影写真 Bの左上力 少しずつずらした各部位で 照合度を調べる。候補データごとに、写真 Bの中でマッチング評価結果が一番高い 部位をマッチした場所として、その部位での評価点を、それぞれの候補データの評 価点とする。照合の方法としては、例えば、参照データと撮影写真の色のヒストグラム を比較して評価する。色数が多いと、同じ看板であっても、撮影条件などによって色 に違いが出ることがあるため、減色するなど対象の特徴に応じて調整する。
[0031] 設定されたしき!/、値に対して、それ以上の評価点の候補データがあるか調べる (ス テツプ ST104)。その中で、一番評価点の高い候補データを選択する (ステップ ST1 05)。評価点が高いほど、同じ看板やマークである可能性が高いはずである力 ユー ザが撮影した写真が、特定の対象を含んでいるとは限らない。その様な場合に、他の 看板にマッチしたと 、う間違った判断をしな 、ためにしき 、値を設ける。
[0032] 例えば、選択された候補データが" Psuper"の看板であった場合には、ユーザはこ の" Psuper"の看板を撮影できる数 m程度のエリアに居ることがわかる。つまり、当該 位置情報に基づいて、その近隣の範囲にユーザの所在位置が特定される。図 5は、 地図上で位置が絞り込まれた例を示す図である。この例では、ユーザの概略位置 A が円で表されており、絞り込まれた位置が楕円で表されている。
[0033] GPSや基地局情報のみでは、概略的なエリア情報しかわ力もな 、が、本システム では、写真と参照データの照合により、ユーザの位置を絞り込むことができる。
[0034] コンビ-の看板や標識などは、色が特徴的であるため、写真の照合で、色の特徴を 利用した例を示したが、ロゴマークの形状などによる照合も有効である。
[0035] 上述のように、参照データデータベース 41は、移動体端末所持者が移動中に位置 を特定する為に目印とする対象物を撮影した場合のイメージである参照データと、当 該参照データの位置情報を対応付けて記憶し、通信部 46は、移動体端末から、移 動体端末の存在する位置を概ね特定し得る概略位置情報と、移動体端末の撮影部 2で撮影した写真情報とを受信し、候補選択部 10は、上記概略位置情報と上記位置 情報の関係に基づいて、照合を行う参照データを参照データデータベース 41から選 択し、照合部 20は、選択した参照データと、上記写真情報との照合を行い、照合評 価部 21は、照合結果を評価し、参照データの採否を判定する。そして、位置特定部 22は、参照データを採用すると判定した場合に、参照データデータベース 41で当該 参照データに対応付けて記憶して 、る位置情報を特定する。
[0036] また、地図選択部 15は、位置特定部 22で特定した位置情報に基づ 、て、地図情 報を選択し、地図表示部 23は、選択した地図情報に対して、位置情報による位置を 視覚的に判別可能な情報を付加し、当該付加した地図情報を通信部 4bを介して移 動体端末へ提供する。
[0037] 実施の形態 2.
図 1の構成では、照合処理装置 150をサーバ上に置いた構成を示している力 この 装置を端末上に搭載することも可能である。
[0038] つまり、端末 100上で、概略位置取得部 1は、移動体の位置を概ね特定し得る概略 位置情報を取得し、撮影部 2は、写真の撮影により、写真情報を得、通信部 4aは、上 記概略位置情報をサーバ 200に送信し、更に、サーバ 200から、照合を行う参照デ ータと、当該参照データに対応する位置情報とを受信し、端末 100に設けられた照 合部 20は、受信した参照データと、上記写真情報との照合を行い、端末 100に設け られた照合評価部 21は、照合結果を評価し、参照データの採否を判定する。そして 、端末 100に設けられた位置特定部 22は、参照データを採用すると判定した場合に 、参照データに対応する位置情報に基づ 、て移動体端末の位置を特定する。
[0039] 実施の形態 3.
実施の形態 1では、候補データを撮影写真 Bのあらゆる部分と比較し、照合する形 態を示した。しかし、一般には撮影の対象を中央に配置するように撮影することから、 本実施の形態では、候補データと撮影写真の中央部分だけを照合する。
[0040] 照合部 20で照合をする際に、撮影写真 Bを 9分割、 12分割のように複数に分割し、 中央の領域を指定してその中央部位のみと、候補データを比較'照合し、評価点の 高い候補を選択する。また、座標を指定して中央部位を指定してもよい。
[0041] このように対象が中央に配置されることに着目することで、比較する写真上の領域 力 、さくすることができ、照合の時間が短縮される。また、対象となる部位だけをサー バに送信するようにすることもできる。
[0042] さらに、余分な部位との照合を行わな 、為、正解率が上がる。また、たまたま評価結 果が良い他の部位を誤って選択するような誤動作が減る。
[0043] 上述のように、照合部は、写真情報の一部だけを対象として照合を行う。
[0044] 実施の形態 4. 実施の形態 1では、一つの方向(通常、正面方向)から捉えた参照データに対応付 けられている位置情報に基づいて、位置特定部で、概略位置を更に絞り込んだ撮影 位置を特定する形態について説明した。本実施の形態では、それぞれの対象を様 々な距離、角度力 捉えた参照データを用意し、それらの参照データに対応付けら れている距離や角度等の情報を用いることにより、更に位置を絞り込む形態について 説明する。図 6は、実施の形態 4に係るサーバの処理フローに示す図である。
[0045] 図 7は、実施の形態 4に係る参照データデータベースの例を示す図である。図に示 すように、各参照データについて、店舗ごとの看板の写真やロゴマークの正面ィメー ジだけでなぐ様々な距離、角度力も撮影した写真を用意する。また、端末によって 撮影の特性が異なることに鑑み、各端末の種類ごとに、様々な距離、角度から撮影し た写真を用意することが有効である。
[0046] 図 3に示した例に比べて、各店舗の看板の左側と右側から捉えた参照データが追 加され、更にそれらに対応付けられる位置情報も記憶されている。図 8は、撮影時の 距離と角度の関係を示す図である。これらの情報によって、看板の向きがわかる。参 照データの角度は、看板の正面が 0、中心力 右側に 30度の場合に + 30、左側に 2 0度の場合に 20としている。但し、このような書き方に限らない。
[0047] 概略位置、マッチング結果、距離、相対的な角度などの条件を元に、対応する参 照データを絞り込み、位置を特定する。候補を絞り込む際の条件の優先順位やしき い値は、状況に応じて決定可能である。位置取得部、方位情報取得部の精度、用意 するデータの種類、量などに応じて決定する。
[0048] 概略位置情報により候補を絞り込み(ST101)、マッチングを行い(ST103)、照合 評価が高い結果が出れば、その距離、角度情報を用いて位置を特定する。 評価の 高いものの評価点がしきい値以上なら(ST104)、その中で一番評価の高い候補を 選択する(ST105)。
[0049] しき 、値以上のものがな ヽ場合は、ユーザに再度撮影し直す、正面から撮影しても らう等を依頼する、または、より詳細な評価手順を踏むなどの別の処理を施す。
[0050] その参照データの距離と角度の情報により位置を特定する(ST160)。つまり、位 置特定部 22において、端末の種類に対応した参照データと比較することで、撮影し た看板やロゴマークの大きさや撮影角度の違いによる看板の歪み具合に依拠して、 対象からの距離と角度を特定できるため、更に絞り込んだピンポイントの位置を特定 できる。
[0051] 店舗の種類を決めるために都合の良 、データを参照データデータベースに用意し ておき、まず店舗の種類を決定してから、次に距離と方位を確定するのに適したデー タを用いて、 2段階に分けて照合を行うようにしてもょ 、。
[0052] 上述のように、参照データデータベース 41は、参照データと対応付けて、当該対象 物との位置関係を示す情報を記憶し、位置特定部 22は、当該参照データに対応付 けて記憶して!/、る位置関係を示す情報を用いて、位置を判定する。
[0053] 本実施の形態は、様々な位置、角度からのデータを十分に用意している場合など に有効である。
[0054] 実施の形態 5.
本実施の形態では、概略位置情報により候補を絞り込み、マッチングを行い、次に 距離、相対的な角度情報カゝら可能性の高い候補を選択する例を示す。図 9は、実施 の形態 5に係るサーバの処理フローに示す図である。
[0055] 評価の高いものの評価点がしきい値以上なら(ST104)、そのうち評価の高いいく つかの候補を選択する(ST120)。
[0056] しき 、値以上のものがな 、場合は、ユーザに再度撮影し直す、正面から撮影して もらう等を依頼する、または、より詳細な評価手順を踏むなどの別の処理を施す。
[0057] カメラの内部パラメータと看板の長さから看板力もの距離を推定し、撮影した写真を 変換することにより看板に対する角度を推定する。
[0058] 撮影した画像の大きさや歪みによって、距離や角度を決定するためには、撮影部 であるカメラのカメラパラメータの値が必要になる。従って、撮影した際の撮影部のパ ラメータ (ズーム、フォーカスなど)を端末力も受信し、それに基づいて、撮影写真 Bを 変換する必要がある。撮影部が携帯電話のカメラで、端末の機種によってパラメータ がー意に決まって 、る場合は、端末の機種がわかればょ 、。
[0059] そして、その距離及び角度に一番近い候補を選択し、その参照データの距離と角 度により、位置を特定する(ST155)。 [0060] 実施の形態 6.
図 10は、実施の形態 6に係るサーバの処理フローに示す図である。
[0061] 本実施の形態では、概略位置情報により候補を絞り込み、カメラの内部パラメータと 看板の長さに基づいて看板力 の距離を推定し、撮影した写真を変換することにより 看板に対する角度を推定する(ST150)。
[0062] 次に、推定した距離、角度に近いいくつかの候補を選択し (ST151)、更にその中 で、マッチングの評価点が高いものを選択する(ST105)。
[0063] そして、マッチングした参照データの距離と角度の情報により位置を特定する(ST1
60)
尚、概略位置による絞込みは、距離と角度を推定した後でも良い。
[0064] 実施の形態 7.
実施の形態 1では、ユーザが位置特定を要求した際に、端末 100の撮影部 2で自ら の位置での写真 Bを撮影していることを前提としていたが、実施の形態 7では、撮影 をせずに位置特定の要求をする場合も考慮した形態について述べる。
[0065] 図 11は、実施の形態 7に係る位置特定システムの構成図である。本実施の形態で は、候補提示部 30が追加されている。候補提示部 30は、候補選択部 10で選択され た候補集合 Cを端末に提示する機能モジュールである。
[0066] 動作について説明する。図 12は、実施の形態 7に係るサーバの処理フローに示す 図である。まず、概略位置 Aによって候補データを検索し、候補集合 Cを生成する (ス テツプ ST101)。ユーザが撮影した自らの位置の写真がある場合は、実施の形態 1と 同様に動作する。写真がない場合には、候補集合 Cをユーザに提示し、候補の中か ら、近 、店舗を選んで写真撮影をすることを要求する (ステップ ST111)。
[0067] その後の流れは、ステップ ST102から ST107に示すように実施の形態 1と同様で ある。ユーザがその位置における写真 Bを撮影したら、照合処理装置 150は、選ばれ た候補集合 Cと地図 Dを入力とし、照合部 20で候補集合 Cと写真 Bとの照合を行い、 照合評価部 21で評価を行う。その結果に基づいて、位置特定部 22で、撮影した位 置を特定する。地図表示部 23は、地図選択部 15で選択された地図データの上に、 特定された位置にマークを配置して、そして、位置マークを配置した地図 Dを、通信 部 4bから通信部 4aに送信する。端末 100は、通信部 4aで受信した当該地図 Dを、 表示部 3で表示する。
[0068] 上述のように、候補提示部 30は、候補選択部 10で選択した参照データの識別情 報を、撮影の対象候補として、通信部 4bを介して移動体端末 100へ提示する。
[0069] 実施の形態 8.
本実施の形態は、実施の形態 7をベースにして、候補集合 Cのうち、各種類の店舗 が二つ以上の位置情報を持っていないか調べ、店舗が複数ある場合には、当該種 類の店舗を候補力も除外する形態について説明する。
[0070] 図 13は、実施の形態 8に係るサーバの処理フローに示す図である。複数の位置情 報を持っている場合には、そのエリアに同じ種類の店舗が 2箇所以上存在するため、 ユーザがそれらのうちのどれを撮影したか特定できない。従って、その種類の店舗の 参照データを候補から外し、それ以外の種類の店舗を候補集合 C'とする (ステップ S T110)。候補集合 C'をユーザに提示し、候補の中から、近い店舗を選んで写真撮 影をすることを要求する (ステップ ST111)。
[0071] 上述のように、候補提示部は、選択された候補データ中に同じ種類の対象物に係 る候補データが複数有る場合には、当該候補データを撮影の対象候補から除外す る。
[0072] 実施の形態 9.
図 11の構成では、照合処理装置 150をサーノ 200上に置 、た構成を示して 、る
1S この装置を端末 loo上に搭載することも可能である。
[0073] 実施の形態 10.
GPSや携帯電話の基地局により概略位置情報 Aを得る場合の形態を述べたが、本 発明は、屋外に限らず、屋内でも利用可能である。屋内においても、おおよその位置 を得て、更に店の看板などを撮影して、位置情報を絞り込むことが可能である。
[0074] 例えば、一つの地下街の中だけでは、コンビ-や銀行などがそれほど多くは存在し ない可能性が高い。従って、店舗以外に、地下街や駅構内にある行き先表示板や各 鉄道会社のマークなど、一つの参照データで複数の位置に対応できるものを対象と すると効率的である。 [0075] 実施の形態 11.
上述の実施の形態では、主に看板やロゴマークなどの画像を照合する例にっ 、て 述べたが、信号機、標識、行き先表示板、住所表示、または特徴的な形状の建物、 鉄塔等のように、対象の種類は様々である。また、照合のキーとして、画像の色につ いての例を述べたが、画像でも、色以外の情報 (エッジ情報など)も照合のキーとなる 。また、画像上の文字を抽出して文字を認識することもできる。更に、看板や建物の 3 次元的な形状をもとにマッチングを行うこともできる。その際、参照データデータべ一 スには、文字認識のための辞書や 3次元マッチングのための 3次元 DB等が必要とな る。
[0076] 実施の形態 12.
データベースに蓄えるデータは、特定の対象に限られているため、必ずしもデータ 量は、膨大にならない。上述の形態では、データベースのデータをサーバ上に設け る構成としている力 ユーザの居る位置に応じて周辺のデータだけをダウンロードし て、端末内ですベての処理を行うことも可能である。
[0077] 実施の形態 13.
概略位置取得部 1について、 GPSや基地局情報などにより概略位置を求めることを 例として示したが、人が自分の位置を知りたい場合は、端末のメニューなどから、「〇
〇近辺」、「△△駅近く」というような概略位置を指定してもよい。
[0078] 本発明は、人が歩いていて、自分の位置がわ力もなくなったときに位置を特定する のに有効である力 徒歩以外に、車など他の移動手段により移動する場合にも同様 の効果がある。
[0079] 撮影部 2にお ヽて、ユーザが特定の対象を撮影する例を示したが、車などの移動 物体に搭載されているカメラが常時撮影している映像の中から、ある特定の対象を抽 出することも有効である。
[0080] 実施の形態 14.
本実施の形態では、実施の形態 1の応用例として、参照データデータベースに、看 板の絶対的な方位情報を含む場合について述べる。図 14は、実施の形態 14に係る 位置特定システムの構成図である。端末 100は撮影の際の絶対的な方位を取得す る方位情報取得部 5を備えて 、る。
[0081] 図 15は、実施の形態 14に係る参照データデータベースの例を示す図である。参照 データデータベースは、道路にいるユーザが看板正面を見る際の絶対的な方位情 報を含む。方位情報としては、もっと精度の高い方位情報を保持しても良い。図 16は
、地図上で位置が絞り込まれた例を示す図である。
[0082] 図 17は、実施の形態 14に係るサーバの処理フローを示す図である。尚、 ST102,
ST111は、省略しても構わない。 ST125で、撮影写真と候補データとの照合を行う 前に、移動体端末の絶対的な方位情報と対応する絶対的な方位情報をもつ、参照 データの候補を検索し、絞り込む。例えば、カメラのある概略位置内に、 Psuperと S
MARTがあり、カメラの方角が南西だったとする。この場合、その概略範囲内で、方 位情報が南西の参照データだけを選択して候補とする。
[0083] このように、絶対的な方位情報が無!、場合に比べて、照合をする前に可能性のある データを絞り込むことができる点で有効である。以下は、実施の形態 1と同様である。
[0084] 実施の形態 15.
本実施の形態では、実施の形態 4の応用例として、参照データデータベースに、看 板の絶対的な方位情報を含む場合につ!、て述べる。
[0085] 図 18は、実施の形態 15に係る参照データデータベースの例を示す図である。参照 データデータベースは、道路にいるユーザが看板正面を見る絶対的な方位情報、お よび看板の長さ情報を含む。図 19は、撮影時の距離と角度の関係を示す図である。
[0086] 実施の形態 16.
図 20は、実施の形態 16に係るサーバの処理フローを示す図である。まず概略位置 情報により、候補を絞り込み(ST101)、マッチングを行う(ST103)。評価の高いもの の評価点がしきい値以上なら(ST104)、そのうち評価の高いいくつかの候補を選択 する(ST120)。
[0087] しき 、値以上のものが無 、場合は、ユーザに再度撮影し直す、正面力も撮影しても らう等を依頼する、または、より詳細な評価手順を踏むなど、別の処理を施す。
[0088] カメラの内部パラメータと看板の長さ情報により、看板力 の距離を、撮影した写真 を変換することにより看板に対する相対的な角度を推定する(ST150)。 [0089] 推定した距離と参照データの距離、および、移動体端末の絶対的な方位と参照デ ータの「(絶対的な)方位 +湘対的な)角度」が、一番近い候補を選択する。そして、 その参照データの距離と角度により、位置を特定する(ST155)。
[0090] 実施の形態 17.
図 21は、実施の形態 17に係るサーバの処理フローを示す図である。まず概略位置 情報により、候補を絞り込み (ST101)、カメラの内部パラメータと看板の長さ情報に より、看板力 の距離を推定し、撮影した写真を変換することにより看板に対する相対 的な角度を推定する(ST150)。
[0091] 推定した距離と参照データの距離、および、移動体端末の絶対的な方位と参照デ ータの「 (絶対的な)方位 +湘対的な)角度」が、より近 、候補を検索し (ST151)、 その中でマッチング評価が一番高いものを選択する(ST105)。そして、その参照デ ータの距離と角度により、位置を特定する(ST160)
尚、概略位置による絞込みは、距離と角度を推定した後でも良い。具体例として、 S T103で、撮影写真と候補データとの照合を行う前に、移動体端末の方位情報と対 応する方位情報をもつ、参照データの候補を検索し、照合し、評価する。
[0092] 例えば、カメラのある概略位置内に、 Psuperと SMARTがあるとする。カメラの向い ている方位が南西だったとする。 Psuperの「西、 + 30度」「南、 45度」、 SMARTの 「南西、—10度」というの力 方位的に近いため、候補として選択する。これらの候補と の照合を行 、、マッチングの評価が高 、ものを選択する。
[0093] サーバ 200及び端末 100は、一種のコンピュータであり、各要素はプログラムにより 処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体から コンピュータに読み取られるよう〖こすることもできる。
[0094] 図 22は、サーバ 200及び端末 100のハードウェア構成例を示す図である。バスに 、演算装置 2201、データ記憶装置 2202、メモリ 2203、通信インタフェース 2204が 接続されている。データ記憶装置 2202は、例えば ROM (Read Only Memory) やハードディスクである。メモリ 2203は、通常 RAM (Random Access Memory) である。通信インタフェース 2204は、ネットワークを介するサーバ 200と端末 100間 の通信に用いられる。 [0095] プログラムは、通常データ記憶装置 2202に記憶されており、メモリ 2203にロードさ れた状態で、順次演算装置 2201に読み込まれ処理を行う。
図面の簡単な説明
[0096] [図 1]実施の形態 1に係る位置特定システムの構成図である。
[図 2]実施の形態 1に係るサーバの処理フローを示す図である。
[図 3]実施の形態 1に係る参照データデータベースの例を示す図である。
[図 4]照合の概念を示す図である。
[図 5]地図上で位置が絞り込まれた例を示す図である。
[図 6]実施の形態 4に係るサーバの処理フローを示す図である。
[図 7]実施の形態 4に係る参照データデータベースの例を示す図である。
[図 8]撮影時の距離と角度の関係を示す図である。
[図 9]実施の形態 5に係るサーバの処理フローに示す図である。
[図 10]実施の形態 6に係るサーバの処理フローに示す図である。
[図 11]実施の形態 7に係る位置特定システムの構成図である。
[図 12]実施の形態 7に係るサーバの処理フローを示す図である。
[図 13]実施の形態 8に係るサーバの処理フローを示す図である。
[図 14]実施の形態 14に係る位置特定システムの構成図である。
[図 15]実施の形態 14に係る参照データデータベースの例を示す図である。
[図 16]地図上で位置が絞り込まれた例を示す図である。
[図 17]実施の形態 14に係るサーバの処理フローを示す図である。
[図 18]実施の形態 15に係る参照データデータベースの例を示す図である。
[図 19]撮影時の距離と角度の関係を示す図である。
[図 20]実施の形態 16に係るサーバの処理フローを示す図である。
[図 21]実施の形態 17に係るサーバの処理フローを示す図である。
[図 22]ハードウェア構成例を示す図である。

Claims

請求の範囲 [1] 移動体端末とデータ通信が可能なサーバであって、以下の要素を有することを特 徴とする位置特定サーバ
(1)移動体端末所持者が移動中に位置を特定する為に目印とする対象物を撮影し た場合のイメージである参照データと、当該参照データの位置情報を対応付けて記 憶する参照データデータベース
(2)移動体端末から、移動体端末の存在する位置を概ね特定し得る概略位置情報と 、移動体端末の撮影部で撮影した写真情報とを受信する通信部
(3)上記概略位置情報と上記位置情報の関係に基づいて、照合を行う参照データを 参照データデータベース力 選択する候補選択部
(4)選択した参照データと、上記写真情報との照合を行う照合部
(5)照合結果を評価し、参照データの採否を判定する照合評価部
(6)参照データを採用すると判定した場合に、参照データデータベースで当該参照 データに対応付けて記憶して 、る位置情報を特定する位置特定部。
[2] 位置特定サーバは、更に、候補選択部で選択した参照データの識別情報を、撮影 の対象候補として、通信部を介して移動体端末へ提示する候補提示部を有すること を特徴とする請求項 1記載の位置特定サーバ。
[3] 位置特定サーバは、更に、位置特定部で特定した位置情報に基づ!、て、地図情報 を選択する地図選択部と、
選択した地図情報に対して、位置情報による位置を視覚的に判別可能な情報を付 加し、当該付加した地図情報を通信部を介して移動体端末へ提供する地図表示部 とを有することを特徴とする請求項 1記載の位置特定サーバ。
[4] 照合部は、写真情報の一部だけを対象として照合を行うことを特徴とする請求項 1 記載の位置特定サーバ。
[5] 参照データデータベースは、更に、参照データと対応付けて、当該対象物との位置 関係を示す情報を記憶し、
位置特定部は、更に、当該参照データに対応付けて記憶している位置関係を示す 情報を用いて、位置を判定することを特徴とする請求項 1記載の位置特定サーバ。 [6] 候補提示部は、選択された候補データ中に同じ種類の対象物に係る候補データが 複数有る場合には、当該候補データを撮影の対象候補から除外することを特徴とす る請求項 1記載の位置特定サーバ。
[7] 通信部は、更に、移動体端末から、移動体端末が向いている絶対的な方位情報を 受信することを特徴とする請求項 1記載の位置特定サーバ。
[8] 参照データデータベースは、更に、参照データと対応付けて、歩行者から見える当 該対象物の絶対的な方位情報を記憶し、
位置特定部は、更に、当該参照データに対応付けて記憶している絶対的な方位情 報を用いて、位置を判定することを特徴とする請求項 1記載の位置特定サーバ。
[9] 以下の要素を有することを特徴とする移動体端末
(1)移動体の位置を概ね特定し得る概略位置情報を取得する概略位置取得部
(2)写真の撮影により、写真情報を得る撮影部
(3)上記概略位置情報を位置特定サーバに送信し、更に、位置特定サーバから、照 合を行う参照データと、当該参照データに対応する位置情報とを受信する通信部
(4)受信した参照データと、上記写真情報との照合を行う照合部
(5)照合結果を評価し、参照データの採否を判定する照合評価部
(6)参照データを採用すると判定した場合に、参照データに対応する位置情報に基 づ 、て移動体端末の位置を特定する位置特定部。
[10] 移動体端末は、更に、移動体の向きを概ね特定し得る絶対的な方位情報を取得す る方位情報取得部を有することを特徴とする請求項 9記載の移動体端末。
PCT/JP2004/014061 2004-09-27 2004-09-27 位置特定サーバ及び移動体端末 WO2006035476A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/014061 WO2006035476A1 (ja) 2004-09-27 2004-09-27 位置特定サーバ及び移動体端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/014061 WO2006035476A1 (ja) 2004-09-27 2004-09-27 位置特定サーバ及び移動体端末

Publications (1)

Publication Number Publication Date
WO2006035476A1 true WO2006035476A1 (ja) 2006-04-06

Family

ID=36118628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/014061 WO2006035476A1 (ja) 2004-09-27 2004-09-27 位置特定サーバ及び移動体端末

Country Status (1)

Country Link
WO (1) WO2006035476A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003415A (ja) * 2007-03-26 2009-01-08 Nec (China) Co Ltd 地図データ更新方法および装置
WO2011145482A1 (ja) * 2010-05-17 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、移動端末及び端末位置特定方法
WO2013112461A1 (en) * 2012-01-27 2013-08-01 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末
JP2014524577A (ja) * 2011-08-19 2014-09-22 クゥアルコム・インコーポレイテッド 屋内測位のためのロゴ検出
JP2019139664A (ja) * 2018-02-14 2019-08-22 清水建設株式会社 位置検出装置、位置検出システム、及び位置検出方法
CN110501012A (zh) * 2019-07-23 2019-11-26 恒大智慧科技有限公司 一种商场店铺导航方法、计算机设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001235534A (ja) * 2000-02-25 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 位置情報補正装置と方法及び位置情報補正プログラムを記録した記録媒体
JP2003240593A (ja) * 2002-02-20 2003-08-27 National Institute Of Advanced Industrial & Technology 携帯者の現在位置および方位推定方法
JP2003263104A (ja) * 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001235534A (ja) * 2000-02-25 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 位置情報補正装置と方法及び位置情報補正プログラムを記録した記録媒体
JP2003240593A (ja) * 2002-02-20 2003-08-27 National Institute Of Advanced Industrial & Technology 携帯者の現在位置および方位推定方法
JP2003263104A (ja) * 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003415A (ja) * 2007-03-26 2009-01-08 Nec (China) Co Ltd 地図データ更新方法および装置
WO2011145482A1 (ja) * 2010-05-17 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、移動端末及び端末位置特定方法
CN102893129A (zh) * 2010-05-17 2013-01-23 株式会社Ntt都科摩 终端位置确定系统、移动终端以及终端位置确定方法
JP2014524577A (ja) * 2011-08-19 2014-09-22 クゥアルコム・インコーポレイテッド 屋内測位のためのロゴ検出
KR101570195B1 (ko) * 2011-08-19 2015-11-18 퀄컴 인코포레이티드 실내 포지셔닝을 위한 로고 검출
WO2013112461A1 (en) * 2012-01-27 2013-08-01 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末
JP2019139664A (ja) * 2018-02-14 2019-08-22 清水建設株式会社 位置検出装置、位置検出システム、及び位置検出方法
CN110501012A (zh) * 2019-07-23 2019-11-26 恒大智慧科技有限公司 一种商场店铺导航方法、计算机设备及可读存储介质

Similar Documents

Publication Publication Date Title
US9449228B1 (en) Inferring locations from an image
CN109029444B (zh) 一种基于图像匹配和空间定位的室内导航系统及导航方法
US8180146B2 (en) Method and apparatus for recognizing and localizing landmarks from an image onto a map
JP4591353B2 (ja) 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム
CN104748738B (zh) 室内定位导航方法和系统
US8929604B2 (en) Vision system and method of analyzing an image
US9324003B2 (en) Location of image capture device and object features in a captured image
CN110298269B (zh) 场景图像定位方法、装置、设备及可读存储介质
CN106646566A (zh) 乘客定位方法、装置及系统
KR100533033B1 (ko) 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
WO2012046671A1 (ja) 測位システム
WO2016149918A1 (zh) 用户地理位置的确定
CN103632626A (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN103778261A (zh) 一种基于移动云计算图像识别的自助导游方法及系统
CN109740479A (zh) 一种车辆重识别方法、装置、设备及可读存储介质
EP4089370B1 (en) Method and device for verifying a current location and orientation of a user using landmarks
WO2006035476A1 (ja) 位置特定サーバ及び移動体端末
JP2000047579A (ja) 地図データベース更新装置
KR20190029412A (ko) 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버
CN114969221A (zh) 一种更新地图的方法及相关设备
Ecklbauer A mobile positioning system for android based on visual markers
CN111537954A (zh) 一种实时高动态融合定位方法及装置
Shahid et al. Images based indoor positioning using AI and crowdsourcing
KR102555668B1 (ko) 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP