WO2019106847A1 - カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器 - Google Patents

カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器 Download PDF

Info

Publication number
WO2019106847A1
WO2019106847A1 PCT/JP2017/043365 JP2017043365W WO2019106847A1 WO 2019106847 A1 WO2019106847 A1 WO 2019106847A1 JP 2017043365 W JP2017043365 W JP 2017043365W WO 2019106847 A1 WO2019106847 A1 WO 2019106847A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
information device
facility
mark
mark object
Prior art date
Application number
PCT/JP2017/043365
Other languages
English (en)
French (fr)
Inventor
川前　治
嶋田　堅一
奥　万寿男
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2017/043365 priority Critical patent/WO2019106847A1/ja
Priority to JP2019556529A priority patent/JP7001711B2/ja
Publication of WO2019106847A1 publication Critical patent/WO2019106847A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Definitions

  • the present invention relates to a position information system using a camera captured image, and a camera-equipped information device used therefor.
  • the present invention relates to a position information system suitable for use in a complex facility including a plurality of service facilities such as an airport, a station, a stadium, and a shopping mall, a store, a restaurant, and an event venue.
  • An information device in which a wireless network, a camera, a display, a position sensor, and the like are integrated with an information device configured by a CPU (Central Processing Unit) and a memory is widely used.
  • a smartphone or a tablet PC Personal Computer
  • a GPS (Global Positioning System) sensor is used as the position sensor.
  • the GPS sensor receives radio waves transmitted from GPS satellites to determine the position of the receiving terminal.
  • radio waves from GPS satellites may be unstable in the indoor facility, and the estimated distance from a mobile base station or an access point of a wireless LAN (Local Area Network) of the IEEE 802.11 standard It may be used.
  • a wireless LAN Local Area Network
  • it is a radio wave measurement that does not primarily measure the location, and due to the influence of the surrounding environment, its accuracy is at most about 10 m to 200 m. It is done.
  • Patent Document 1 discloses a method of detecting a current position using a captured image of a camera.
  • block information in which an address is described is photographed by a camera, and the current position is grasped.
  • Patent Document 1 holds landscape images from each point as a database, collates a photographed image of a camera with a landscape image of the database, and grasps the current position. According to this method, although it is necessary to create and hold a database of landscape images, there is a problem that in order to obtain high accuracy, it becomes a huge database.
  • the present invention has been made in view of the above-mentioned point, and its object is to provide a position information using a camera-captured image in an indoor facility without installing a new sign and not requiring a huge landscape database.
  • System and camera provided information device.
  • the present invention is a position information system using an image captured by a camera of a camera-equipped information device, as an example, and an object in an indoor facility is a mark object, and the mark object And a facility map service device including means for holding a database of data sets consisting of image data and installation data and transmitting part or all of the database to the camera-equipped information device, the camera-equipped information device comprising A method of extracting an object having a significant size from a camera image captured by the camera and comparing the image data of the database to identify a mark object in the camera image; and a plurality of mark objects in the camera image To detect the current position of the camera-equipped information device and the direction of the camera And means.
  • the present invention it is possible to provide a position information system using a camera captured image which does not need to newly install a sign or the like in an indoor facility and does not require a huge database, and a camera-equipped information device used for the system. be able to.
  • FIG. 1 is a diagram showing an outline of a position information system using a camera shot image according to a first embodiment.
  • FIG. 2 is a block diagram of a facility map service apparatus in Embodiment 1.
  • FIG. 2 is a block diagram of a camera-equipped information device in Embodiment 1. It is a mark object database in Example 1. 7 is a camera-captured image in Embodiment 1.
  • FIG. 8 is an explanatory diagram of a method of detecting the position and the direction from two mark objects in the first embodiment.
  • FIG. 8 is an explanatory diagram of a method of detecting the position and the direction from three mark objects in the first embodiment.
  • FIG. 8 is an explanatory diagram of another method of detecting the position and the direction from two mark objects in the first embodiment.
  • FIG. 1 is a diagram showing an outline of a position information system using a camera shot image according to a first embodiment.
  • FIG. 2 is a block diagram of a facility map service apparatus in Embodiment 1.
  • FIG. 8 is a processing flow diagram of a camera-equipped information apparatus of the position information system using a camera shot image in the first embodiment.
  • FIG. 18 is a modification of the camera of the camera-equipped information apparatus in the second embodiment.
  • FIG. 16 is a block diagram of a facility map service device in a third embodiment.
  • FIG. 18 is a block diagram of a camera-equipped information apparatus in a third embodiment.
  • FIG. 17 is a print guide map of the complex in Example 4.
  • FIG. It is a guide map database in Example 4.
  • FIG. 18 is a processing flow diagram of a position information system using a camera shot image in a fourth embodiment. It is an example which displays a current position on a camera-equipped information apparatus in a fourth embodiment.
  • FIG. 1 is a view showing an outline of a position information system using a camera shot image in the present embodiment.
  • 1 is a facility map service device
  • 2 is a network
  • 3 is a complex which is an indoor facility
  • 4 is an access point
  • 311, 312 and 313 are floors 1 to 3 of the complex 3, 321 respectively.
  • ... 330 are mark objects which are characteristic objects serving as marks in the indoor facility. Specifically, it is a guide sign of a service facility, a store name such as a store, a signboard or panel on which a logo is displayed, or a product or the like displayed on a window.
  • 5 is an information device with a camera
  • 6 is a user.
  • mark objects 321 to 330, 321 and 326 are panels of store logos
  • 322 and 327 are products displayed in the shop's show window
  • 323, 325 and 329 are facilities service pictogram panels
  • 328 and 330 Is a signboard or the like of a store
  • 324 is a facility facility (in FIG. 1, a security camera is taken as an example).
  • a mark object database is configured by a data set combining the size of the substance of these objects and the position data arranged (hereinafter, the database is called DB (Data Base)).
  • DB Data Base
  • the user 6 who is on the third floor 311 holds the camera-equipped information device 5 and shoots the inside of the complex 3 with the camera built in the camera-equipped information device 5, and uses the camera captured image to mark objects Check current position with DB.
  • the wireless network function built in the camera-equipped information device 5 receives the provision of the service of the facility map service device 1, for example, downloads the guide map of the complex facility and displays it on the display built in the camera-equipped information device 5. .
  • a pointer or the like corresponding to the detected current position information is superimposed and displayed on the display, so that the user 6 can know where in the complex 3.
  • FIG. 2 is a block diagram of the facility map service device 1 in the present embodiment.
  • the facility map service device 1 includes a facility map service server 10 and an external storage 11, and the facility map service server 10 includes a network IF (Interface) 101, a CPU 102, a RAM 103, an internal storage 104, and an external storage IF 106.
  • the internal storage 104 holds a facility map service program 105, and the facility map service program 105 is expanded on the RAM 103 and executed by the CPU 102.
  • the external storage 11 holds a facility map DB 12 and a mark object DB 13.
  • the facility map DB 12 and a part of the mark object DB 13 are read from the facility map service program 105 as necessary, and downloaded to the camera-equipped information device 5 through the network IF 101.
  • FIG. 3 is a block diagram of the camera-equipped information device 5 in the present embodiment.
  • the camera-equipped information device 5 includes a camera 501, a GPS sensor 502, a gyro sensor 503, an acceleration sensor 504, an azimuth sensor 505, a video processor 506, a graphic processor 507, a display with touch panel 508, a microphone / speaker 509, mobile communication. It comprises an IF 510, a wireless LAN IF 511, a CPU 512, a RAM 513, an FROM (Flash ROM) 514, an EXT IF (external IF) 521, and an external terminal 522.
  • the mobile communication IF 510 is an interface for mobile communication represented by 4G
  • the wireless LAN IF 511 is an interface for a wireless LAN of the IEEE 802.11 standard.
  • services such as facility map DB 12 and mark object DB 13 are downloaded from facility map service device 1 via external access point 4 and network 2 Get provided.
  • the FROM 514 includes, as programs, a facility map service application 515, a camera cooperation process 516, a mark object extraction process 517, a position / direction detection process 518, a map information cooperation process 519, and a download DB 520 in its lower hierarchy. These programs are expanded in the RAM 513 and executed by the CPU 512.
  • the facility map DB 12 and the mark object DB 13 related to the target complex are downloaded and stored in the download DB 520.
  • the camera cooperation process 516 performs photographing with the camera 501 and takes in a camera photographed image.
  • a mark object extraction process 517 extracts an object (a block having a significant size) which may be a mark object from the camera-captured image, and collates it with the image data of the mark object DB stored in the download DB 520. , Identify the mark object shown in the camera shot image.
  • the position / direction detection process 518 detects the current position of the camera-equipped information device 5 and the direction in which the camera is directed, using a plurality of specified mark objects. The method of detection will be described later with reference to FIGS.
  • the map information cooperation process 519 reads the facility map DB stored in the download DB 520, and displays the map data on the display unit of the display with touch panel 508. Furthermore, the detected current position and the direction of the camera are superimposed on map data as graphic data such as a pointer.
  • FIG. 4 shows a mark object DB 13 in the present embodiment. Note that the database is not limited to the illustrated format, and any format may be used as long as it has the same function.
  • the mark object DB 13 includes the facility name 131 and the data of the reference point 132 in the facility as reference data, and the data of the mark object is described corresponding to the items shown in 133.
  • No. 0001 is the mark object 329 in FIG. 1, and the image data of the mark object 329, entity size, position on the N (north)-S (south) axis, E (east)-W (west) axis Position and H (height) position data constitute one mark object.
  • the image data is, for example, bitmap data or JPEG data.
  • the entity size is data indicating the size of the entity of the mark object, and is described as H (longitudinal) x W (horizontally) with m (meter) as a unit.
  • the position on the N-S axis, the position on the E-W axis, and the position data of H indicate the relative position from the reference point 132 as m (meter) as a unit.
  • the mark objects 325, 324, and 321 are mark objects which exist in plural in the complex 3 of the facility name 131. Even though the image data and the size data are common, there are positional data corresponding to the existing number because the mounting position is different.
  • FIG. 5 shows a camera-captured image in the present embodiment.
  • the camera shot image is displayed on the touch panel display 508.
  • the background is omitted because it does not relate to the present embodiment.
  • Mark objects 324, 323, 322, 321 are photographed in the camera photographed image.
  • the image data of the mark object may be used in a plurality of places in the complex facility 3, and the current position of the camera-equipped information device 5 can not be identified by merely collating one mark object. Therefore, in the present embodiment, the current position is specified by a combination of a plurality of mark objects.
  • the mark objects 324, 323, 322, 321 are photographed, and in the complex 3 shown in FIG.
  • the image is The accuracy of the extraction by adding multiple images taken with the camera and processing that removes multiple changes from the mark object or removes the mark object taken at a position lower than a predetermined height It is possible to improve the In addition, by storing mark objects whose positions are correctly detected from the result of detecting the current position a plurality of times and using the mark objects with priority, detection accuracy can be improved.
  • the direction of the camera-equipped information device 5 is determined using the direction sensor 505 of the camera-equipped information device 5 at the time of shooting with a camera, as shown in FIG.
  • Orientation information may be used to specify the position.
  • FIG. 6 is an explanatory diagram of a method of detecting the current position and the direction of the camera from the mark object in the present embodiment.
  • two mark objects MO1 and MO2 are used.
  • the central coordinate position and the size are described in the drawing.
  • the size of the entity of the mark object MO1 (331) is derived from the item of the entity size of the mark object DB. Assuming that this is SO1, the distance r1 between the camera-equipped information device 5 and the mark object MO1 can be calculated as a condition under which an object of the area SO1 is photographed with the area S1 from the known camera magnification. A point which is a distance r1 between the camera-equipped information apparatus 5 and the mark object MO1 is not one point, but is a curved surface Q1 as a set.
  • a curved surface Q2 in which the distance between the camera-equipped information device 5 and the mark object MO2 is r2 is obtained.
  • a line at which the curved surfaces Q1 and Q2 intersect is a candidate for the position of the camera-equipped information device 5.
  • the position A of the camera-equipped information device 5 can be determined by searching for a point A where the distance between the mark object MO1 and MO2 is L12 in the camera-captured image at a point on the line.
  • the direction of the camera of the camera-equipped information device 5 is determined as a vector v from the current position A to the origin of the camera captured image.
  • FIG. 7 is an explanatory diagram of a method of detecting the current position and the direction of the camera from the three mark objects in the present embodiment.
  • a mark object MO3 is added to FIG.
  • the distance r3 is determined by comparing the area of the entity and the area S3 of the image captured by the camera, and the curved surface Q3 is determined from the distance r3.
  • the point at which the curved surfaces Q1, Q2 and the curved surface Q3 intersect can be obtained as the position A of the camera-equipped information device 5.
  • the orientation of the camera of the camera-equipped information device 5 is determined as a vector v from the current position A to the origin of the camera-captured image, as in FIG.
  • the position of the camera-equipped information device 5 can be detected with high accuracy.
  • FIG. 8 is an example of detecting the position of the camera-equipped information device 5 by a process different from the method described in FIG. 6 and FIG.
  • the mark object MO4 and the mark object MO5 are extracted from the camera shot image.
  • the camera-equipped information device can grasp what kind of lens is attached and what kind of focus setting is taken. That is, since the angle of view is known, the angle of the object in the captured image is known. Therefore, in the image captured by the camera 501, it is possible for the camera-equipped information device 5 to detect in which direction of the image the target object appears with respect to the camera-equipped information device.
  • the direction sensor of the camera-equipped information device 5 can know the direction of the image taken by the camera. Therefore, the position of the camera-equipped information device 5 can be obtained from the angle of the two mark objects and the direction thereof.
  • the position may be determined using three or more mark objects instead of the direction of the direction sensor, or the position may be determined by a combination of the direction of the direction sensor and the angles of the plurality of mark objects.
  • the relationship between the setting of the camera 501 and the position of the target object of the captured image may be stored in a memory (not shown) of the camera-equipped information device 5.
  • FIG. 9 is a processing flow diagram of the camera-equipped information device 5 of the position information system using a camera captured image in the present embodiment.
  • the facility map service application 515 is stopped, and the GPS sensor 502 grasps the current position.
  • the facility map service application 515 is activated (S11).
  • the facility map service application 515 may be performed manually.
  • the facility map service application 515 downloads data corresponding to the complex facility 3 from the facility map DB 12 of the facility map service apparatus 1 and the mark object DB 13 (in the figure, the mark object is described as MO). To do (S12).
  • the periphery of the complex 3 is photographed by the camera 501 (S13), an object of significant size is detected from the camera photographed images (S14), and the detected object is downloaded to the download DB 520. It collates with the image data of object DB, and recognizes the object which corresponded in the predetermined
  • the current position and the direction of the camera are obtained from the distance between the camera-equipped information device 5 and the mark object by the method described with reference to FIGS. 5 to 8 (S16).
  • map data of the facility guide map is displayed on the display 508 of the information device with a camera from the facility map DB downloaded to the download DB 520 (S19). Further, graphic data such as a pointer indicating the current position and the direction of the camera obtained in S16 are superimposed and displayed on the facility guide map (S20).
  • the movement locus is held by the acceleration sensor 504, the azimuth sensor 505, etc. from the position information detected last time, and movement to the current position The locus is also displayed superimposed (S22).
  • a present Example demonstrates the form of the camera of information apparatus with a camera.
  • FIG. 10 is a modification of the camera of the information apparatus with a camera in the present embodiment.
  • the external camera 51 is connected to the external terminal 522 of the camera-equipped information device 5 to perform camera shooting.
  • the external camera 51 is a camera capable of wide-angle shooting, and is suitable for capturing a mark object.
  • a camera capable of photographing around 360 ° can also be used as the external camera 51.
  • FIG. 10B uses the camera-equipped information device 5 including two cameras, the OUT camera 501 b and the IN camera 501 a.
  • the OUT camera 501 b and the IN camera 501 a are provided facing in different directions by 180 °, and capture of the mark object in a wide range is enabled by using captured images from both cameras.
  • FIG. 10C uses the camera-equipped information device 5 including a stereo camera 501c capable of photographing the same subject with two cameras and measuring the distance between the subject and the camera by parallax of the two cameras.
  • the distance of the mark object can be measured with high accuracy.
  • the present embodiment it is easy to capture the mark object, and the measurement accuracy of the distance from the mark object can be improved.
  • a present Example demonstrates the example which performs the process which concerns on detection of positional information not in the information apparatus 5 with a camera but in the plant
  • FIG. 11 is a block diagram of a facility map service apparatus in the present embodiment.
  • the same functions as those of FIG. 2 are denoted by the same reference numerals, and the description thereof will be omitted.
  • a camera image captured by the camera-equipped information device 5 of FIG. 12 described later is received.
  • the mark object extraction process 108 extracts significant objects and collates with the mark object DB 11 to extract a mark object.
  • the position / direction detection process 109 detects the position of the camera-equipped information device 5 and the direction of the camera by the detection method described with reference to FIGS. 5 to 8 using the extracted mark object.
  • the detected position of the camera-equipped information device 5 and the detected camera orientation are transmitted to the camera-equipped information device 5 in the position information transmission process 110.
  • map data around the detected position of the camera-equipped information device 5 is transmitted from the facility map DB 12 to the camera-equipped information device 5 in the map information transmission process 111.
  • FIG. 12 is a block diagram of a camera-equipped information apparatus in the present embodiment.
  • the same functions as those of FIG. 3 are denoted by the same reference numerals, and the description thereof will be omitted. 12 differs from FIG. 3 in that a camera image transmission process 523, a position information reception process 524, a map information cooperation process 525, and a map information download DB 526 are provided in the lower layer of the facility map service application 515.
  • the user 6 When the user 6 tries to detect the current position, the user 6 captures an image of the surroundings with the camera 501, and transmits a camera image to the facility map service device 1 in the camera image transmission process 523.
  • the position information receiving process 524 the position information detected by the facility map service device 1 is received.
  • the map information download DB 526 downloads and holds a part of the facility map DB 12 as map data around the detected position of the camera-equipped information device 5, and the map data and the current position information are processed by the map information cooperation process 525 At this time, the superimposed display processing is performed, and the display with the touch panel 508 is displayed.
  • the same effects as in the first embodiment can be obtained. Furthermore, since the facility map service device 1 is in charge of the processing process relating to position detection, the camera-equipped information device suitable for the demand for reducing the processing load of the camera-equipped information device 5 and reducing power consumption Can be provided.
  • an image obtained by photographing a printed matter such as a facility guide map with the camera-equipped information device 5 will be described as map data of the facility map.
  • FIG. 13 is a guide map (hereinafter referred to as a print guide map) of the complex in the present embodiment.
  • the print guide map 7 is distributed, for example, at the information corner of the complex 3.
  • 70a is a floor reference point indicating the upper left corner of the floor diagram of the printing guide map 7
  • 70b is a floor reference point indicating the lower right corner of the floor diagram of the printing guide map 7
  • 71 is a QR code of a two-dimensional bar code. (Registered trademark).
  • the QR code 71 a method of accessing the URI of the facility map service device 1, which is connection information of the facility map service device 1, is described.
  • the user 6 looks at the print guide map 7 and contrasts the store name written in the print guide map 7 with the signboard etc. of the store in the vicinity to visually recognize the user's current position to the destination, Do the move.
  • the facility map service device 1 indicated by the QR code 71 is accessed.
  • the facility map service apparatus 1 holds a guide map DB 14 described below.
  • FIG. 14 shows a guide map DB 14 in the present embodiment.
  • the facility map DB 12 and the guide map DB 14 are used interchangeably in the facility map service device 1 of FIG. 2 described above.
  • the database is not limited to the illustrated format, and any format may be used as long as it has the same function.
  • the guide map DB 14 includes the facility name 141 and the reference point 142 as reference data, and the floor of the upper left corner 70 a of the print guide map 7 and the lower right corner 70 b of the print guide map 7 among the 143 items
  • the actual position data of the reference point is described as the difference from the reference point.
  • the facility name 141 and the reference point 142 are the same as the facility name 131 of the mark object DB 13 and the reference point 132, and indicate that they are DBs of the same complex facility 3.
  • FIG. 15 shows a process flow of the camera-equipped information device 5 in the present embodiment.
  • the same functions as those of FIG. 9 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the camera-equipped information device 5 used in the present embodiment is basically the same as the camera-equipped information device 5 shown in FIG. 3, but the processing contents of the map information cooperation process 519 and the download DB 520 are slightly different.
  • the facility map service application 515 is activated in S11, the guide map (printed matter) 7 is photographed by the camera 50 (S31), and the facility map service application 1 described in the QR code 71 included in the photographed image 1 (S32) to download the associated mark object DB 13 and save it in the download DB 520 (S33).
  • S13 to S16 are the same as those in FIG.
  • the guide map (printed material) 7 is photographed by the camera 50, the arrangement information of the mark object may be extracted and the mark object DB 13 may be downloaded instead.
  • S34 it is confirmed whether the current position obtained in S16 is in the map.
  • the confirmation may be combined with the positioning result by GPS. If the current position is outside the map, the facility map service application 515 ends (S18).
  • the current position is within the map, it is photographed by the camera-equipped information device 5, the floor reference points 70a and 70b of the guide map (printed matter) 7 displayed on the display 508 are read, and the reference position of display is determined (S35). After that, S20 to S22 are the same as those in FIG.
  • FIG. 16 is an example in which the current position is displayed on the camera-equipped information device in the present embodiment.
  • 5 is an information device with a camera
  • 508 is a display with a touch panel
  • 7a is a print guide map photographed by the camera
  • 70c and 70d are reference points of the print guide map photographed similarly by the camera.
  • Reference numeral 71a denotes a QR code captured by a camera.
  • FIG. 16 shows an example in which graphic data such as a pointer indicating the current position and the direction of the camera are superimposed and displayed on the print guide map 7a on the screen of the display 508 in S20, where the print guide map 7a is a camera It is an image which has been continuously taken and displayed on the display.
  • a pointer 72 indicating the current position and the direction of the camera is superimposed and displayed like AR (Argument Reality).
  • the upper left corner 70a of the floor diagram of the printing guide map 7 and the lower corner 70b of the floor diagram of the printing guide map 7 download the mark object DB 13 with the QR code 71 of the two-dimensional barcode.
  • the method for capturing the placement relationship of mark objects is not limited to this, and for example, a printing guide map is scanned to extract characters and marks of a signboard, and their relative placement relationship is determined. The same processing is possible by this.
  • accurate position detection can be performed by detecting the distance from the mark object having known position data and the direction using a camera image captured by the camera-equipped information device 5. .
  • a mark object application of an existing sign, a signboard, etc. is possible, and it is not necessary to install a dedicated object for position detection.
  • the facility map DB is not required, and an image of a guide map (printed matter) taken by a camera can be handled in the same manner as map data, and the construction of the system is further simplified.
  • the guide map is not limited to the printed matter, and the same operation can be performed with a floor map installed in a facility photographed by a camera.
  • part or all of the functions and the like of the invention may be implemented by hardware or software. Also, hardware and software may be used in combination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Telephone Function (AREA)

Abstract

従来、カメラ撮影画像を用いて位置検出を行うには、位置情報システムの構築として大掛かりなものとなっていた。　それを解決するために、本発明は、カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、屋内施設内の物体をマークオブジェクトとして、該マークオブジェクトの画像データと設置データからなるデータセットのマークオブジェクトＤＢを作成し、保持する施設マップサービス装置を有し、カメラ付き情報機器は、ユーザが撮影するカメラ画像から物体抽出を行い、抽出した物体をマークオブジェクトＤＢの画像データと照合してマークオブジェクトを特定する。さらに、特定した複数個のマークオブジェクトの位置データからカメラ付き情報機器の位置を検知し、検知した位置情報を表示する。

Description

カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
　本発明は、カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器に関する。特に、空港、駅、スタジアム、ショッピングモールなど複数のサービス施設、店舗、レストラン、イベント会場などを備える複合施設において用いるのに好適な位置情報システムに関する。
　ＣＰＵ（Central Processing Unit）とメモリ等で構成する情報機器に、無線ネットワーク、カメラ、ディスプレイ、位置センサ等を一体化した情報機器が広く利用されている。具体的には、スマートフォン、タブレットＰＣ（Personal Computer）であり、地図データを無線ネットワークでダウンロードし、ディスプレイに表示した地図上に位置センサで得る現在位置を重畳表示させることができる。
　位置センサとしては、ＧＰＳ（Global Positioning System）センサが用いられる。ＧＰＳセンサは、ＧＰＳ衛星から送信される電波を受信して、受信端末の位置を求める。一方、ＧＰＳ衛星からの電波は、屋内施設内で受信が不安定になる場合があり、補助的にモバイル基地局やIEEE802.11規格の無線ＬＡＮ（Local Area Network）のアクセスポイントからの推定距離を用いる場合もある。しかし、モバイル基地局や無線ＬＡＮのアクセスポイントを利用する場合でも、所詮位置計測を主目的とはしない電波での計測であり、周囲環境の影響により、その精度はせいぜい１０ｍ～２００ｍ程度であるとされている。
　このため屋内施設である複合施設において、個別のサービス施設や店舗等を検索するために現在位置を把握するといった用途には不向きで、各複合施設が提供する印刷物であるガイドマップに頼らざるを得ない。
　一方、カメラの撮影画像を用いて現在位置を検知する方法が、特許文献１で開示されている。特許文献１で開示されている第一の方法では、住所が記載されている街区情報をカメラで撮影し、現在位置を把握する。この方法を屋内施設に適用するには、街区情報に相当する標識を新たに設置することが必要であり、高い精度を得るには、標識を多数設置する必要があるという課題がある。
　特許文献１で開示する第二の方法は、各地点からの風景画像をデータベースとして保持し、カメラの撮影画像とデータベースの風景画像とを照合し、現在位置を把握する。この方法によれば、風景画像のデータベースを作成し、保持する必要があるが、高い精度を得るためには、膨大なデータベースとなってしまうという課題がある。
特開２００４－２２６１７０号公報
　前記特許文献１では、街区情報に相当する標識を新たに設置する、もしくは膨大な風景画像のデータベースを作成し、保持する必要があり、位置情報システムの構築は、大掛かりなものとなる。
　本発明は、上記の点を鑑みてなされたものであり、その目的は、屋内施設において、新たな標識を設置することなく、さらに莫大な風景データベースを必要としない、カメラ撮影画像を用いる位置情報システム、及びカメラ付き情報機器を提供することにある。
　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、屋内施設内の物体をマークオブジェクトとして、マークオブジェクトの画像データと設置データからなるデータセットのデータベースを保持し、データベースの一部、もしくは全部をカメラ付き情報機器に送信する手段とを備えた施設マップサービス装置を有し、カメラ付き情報機器は、カメラで撮影するカメラ画像から有意の大きさを持つ物体を抽出して、データベースの画像データと比較してカメラ画像に写っているマークオブジェクトを特定する手段と、カメラ画像に写っている複数のマークオブジェクトを組み合わせて用いカメラ付き情報機器の現在位置とカメラの方向を検知する手段とを備える。
　本発明によれば、新たに標識等を屋内施設内に設置する必要がなく、また膨大なデータベースを必要としないカメラ撮影画像を用いる位置情報システム、及び該システムに用いるカメラ付き情報機器を提供することができる。
実施例１におけるカメラ撮影画像を用いる位置情報システムの概要を示す図である。 実施例１における施設マップサービス装置のブロック図である。 実施例１におけるカメラ付き情報機器のブロック図である。 実施例１におけるマークオブジェクトデータベースである。 実施例１におけるカメラ撮影画像である。 実施例１における２つのマークオブジェクトから位置及び方向を検出する方法の説明図である。 実施例１における３つのマークオブジェクトから位置及び方向を検出する方法の説明図である。 実施例１における２つのマークオブジェクトから位置及び方向を検出する他の方法の説明図である。 実施例１におけるカメラ撮影画像を用いる位置情報システムのカメラ付き情報機器の処理フロー図である。 実施例２におけるカメラ付き情報機器のカメラの変形例である。 実施例３における施設マップサービス装置のブロック図である。 実施例３におけるカメラ付き情報機器のブロック図である。 実施例４における複合施設の印刷ガイドマップである。 実施例４おけるガイドマップデータベースである。 実施例４におけるカメラ撮影画像を用いる位置情報システムの処理フロー図である。 実施例４におけるカメラ付き情報機器に現在位置を表示する例である。
　以下、図面を参照しながら本発明の実施例について説明する。
　図１は、本実施例におけるカメラ撮影画像を用いる位置情報システムの概要を示す図である。図１において、１は施設マップサービス装置、２はネットワーク、３は屋内施設である複合施設、４はアクセスポイント、３１１、３１２、３１３は、それぞれ複合施設３の１階～３階のフロア、３２１～３３０は、屋内施設内の目印となる特徴的な物体であるマークオブジェクトである。具体的には、サービス施設の案内標識、店舗等の店名、ロゴが表示されている看板あるいはパネル、ウインドウに飾った商品等である。さらに、５はカメラ付き情報機器、６はユーザである。
　マークオブジェクト３２１～３３０において、３２１、３２６は店舗のロゴのパネルであり、３２２、３２７は店舗のショーウィンドウに展示されている商品、３２３、３２５、３２９は施設サービスのピクトグラムのパネル、３２８、３３０は店舗の看板等であり、３２４は施設設備である（図１では、防犯カメラを例としてあげている）。これらの物体の実体の大きさと配置されている位置データを組み合わせたデータセットでマークオブジェクトデータベースを構成する（以降データベースをＤＢ（Data Base）と称する）。なお、図１では、図示の混雑を避けるため、図中の全てのマークオブジェクトを採番しているものではなく、さらには、図示したマークオブジェクトは、実際の複合施設３に存在するものの一例に過ぎない。
　図１において、３階フロア３１１にいるユーザ６は、カメラ付き情報機器５を保持し、カメラ付き情報機器５に内蔵するカメラで、複合施設３内を撮影し、カメラ撮影画像を用いてマークオブジェクトＤＢと照合し現在位置を検知する。
　また、カメラ付き情報機器５に内蔵する無線ネットワーク機能で、施設マップサービス装置１のサービスの提供を受け、例えば、複合施設のガイドマップをダウンロードして、カメラ付き情報機器５に内蔵するディスプレイに表示する。該ディスプレイには、検知した現在位置情報に対応したポインタ等を重畳表示させ、ユーザ６は複合施設３内のどこにいるのかを知ることができる。
　図２は、本実施例における施設マップサービス装置１のブロック図である。図２において、施設マップサービス装置１は、施設マップサービスサーバ１０と外部ストレージ１１で構成され、施設マップサービスサーバ１０は、ネットワークＩＦ（Interface）１０１、ＣＰＵ１０２、ＲＡＭ１０３、内部ストレージ１０４、外部ストレージＩＦ１０６から成る。さらに、内部ストレージ１０４は、施設マップサービスプログラム１０５を保持し、該施設マップサービスプログラム１０５は、ＲＡＭ１０３に展開され、ＣＰＵ１０２で実行される。
　また、外部ストレージ１１には、施設マップＤＢ１２とマークオブジェクトＤＢ１３を保持する。該施設マップＤＢ１２とマークオブジェクトＤＢ１３の一部は、必要に応じて施設マップサービスプログラム１０５から読み出され、ネットワークＩＦ１０１を介して、前記カメラ付情報機器５へダウンロードされる。
　図３は、本実施例におけるカメラ付き情報機器５のブロック図である。図３において、カメラ付き情報機器５は、カメラ５０１、ＧＰＳセンサ５０２、ジャイロセンサ５０３、加速度センサ５０４、方位センサ５０５、ビデオプロセッサ５０６、グラフィックプロセッサ５０７、タッチパネル付ディスプレイ５０８、マイク・スピーカ５０９、モバイル通信ＩＦ５１０、無線ＬＡＮＩＦ５１１、ＣＰＵ５１２、ＲＡＭ５１３、ＦＲＯＭ（Flash ROM）５１４、ＥＸＴＩＦ（外部IF）５２１、外部端子５２２より構成される。モバイル通信ＩＦ５１０は、４Ｇに代表されるモバイル通信用のインタフェースであり、無線ＬＡＮＩＦ５１１は、前記IEEE802.11規格の無線ＬＡＮ用インタフェースである。この２つのインタフェースは、用途や通信環境に適した１つが選択され、外部のアクセスポイント４、ネットワーク２を介して、施設マップサービス装置１から、施設マップＤＢ１２とマークオブジェクトＤＢ１３のダウンロード等のサービスの提供を受ける。
　さらに、ＦＲＯＭ５１４は、プログラムとして、施設マップサービスアプリ５１５、その下位階層にカメラ連携プロセス５１６、マークオブジェクト抽出プロセス５１７、位置・方向検出プロセス５１８、マップ情報連携プロセス５１９、及びダウンロードＤＢ５２０を含む。これらのプログラムは、ＲＡＭ５１３に展開され、ＣＰＵ５１２で実行される。
　施設マップサービスアプリ５１５では、はじめに対象とする複合施設に関する施設マップＤＢ１２とマークオブジェクトＤＢ１３をダウンロードし、ダウンロードＤＢ５２０に格納する。カメラ連携プロセス５１６は、カメラ５０１で撮影を行い、カメラ撮影画像を取り込む。マークオブジェクト抽出プロセス５１７は、該カメラ撮影画像からマークオブジェクトである可能性のある物体（有意の大きさを持つ塊）を抽出し、ダウンロードＤＢ５２０に格納しているマークオブジェクトＤＢの画像データと照合し、カメラ撮影画像に映っているマークオブジェクトを特定する。
　該特定したマークオブジェクトを複数個用い、位置・方向検出プロセス５１８では、カメラ付き情報機器５の現在位置、及びカメラを向けている方向を検出する。検出する方法については、図５～図７にて後述する。
　マップ情報連携プロセス５１９は、ダウンロードＤＢ５２０に格納している施設マップＤＢを読み出し、地図データをタッチパネル付ディスプレイ５０８のディスプレイ部に表示させる。さらに、検出した現在位置、及びカメラの方向をポインタ等のグラフィックデータとして、地図データに重畳する。
　図４は、本実施例におけるマークオブジェクトＤＢ１３である。なお、データベースとしては図示した形式にとらわれるものでなく、同等の機能を有するものであればいかなる形式のものであっても良い。
　図４において、マークオブジェクトＤＢ１３は、施設名１３１と施設内の基準点１３２のデータを参照データとして含み、１３３に示す項目に対応して、マークオブジェクトのデータが記載されている。
　図４では、No.0001からNo.0012のマークオブジェクトを例として記載しているが、これに限るものでない。No.0001は、図１のマークオブジェクト３２９であり、マークオブジェクト３２９の、画像データ、実体サイズ、Ｎ（北）－Ｓ（南）軸での位置、Ｅ（東）－Ｗ（西）軸での位置、Ｈ（高さ）の位置データ、がひとつのマークオブジェクトを構成する。画像データは、例えばビットマップデータや、ＪＰＥＧデータである。実体が商品のような立体的なものである場合には、複数の方向から写した画像データを記載しても良い。実体サイズはマークオブジェクトの実体の大きさを示すデータであり、ｍ（メートル）をユニットとして、Ｈ（縦）×Ｗ（横）で記している。Ｎ－Ｓ軸での位置、Ｅ－Ｗ軸での位置、Ｈの位置データは、前記基準点１３２からの相対位置を、ｍ（メートル）をユニットとして記している。
　マークオブジェクト３２５、３２４、３２１は、施設名１３１の複合施設３に複数個存在するマークオブジェクトである。画像データやサイズデータは共通であっても、取り付け位置が異なるため、存在する数の分、位置データがある。
　図５は、本実施例におけるカメラ撮影画像である。カメラ撮影画像は、前記タッチパネル付ディスプレイ５０８に表示する。図５において、背景は本実施例に係るものではないため省略している。カメラ撮影画像内には、マークオブジェクト３２４、３２３、３２２、３２１が撮影されている。
　マークオブジェクトの画像データは、複合施設３内の複数個所で使われている場合があり、ひとつのマークオブジェクトを照合するだけでは、カメラ付き情報機器５の現在位置を特定できない。このため本実施例では、複数個のマークオブジェクトの組み合わせで現在位置の特定を行う。図５に示した例では、マークオブジェクト３２４、３２３、３２２、３２１が撮影されており、図１に示した複合施設３において、３階フロア３１１で、エレベータの右側に位置し、左方向を撮影した画像であることがわかる。カメラで撮影した画像は、複数枚撮影して、変化があったものはマークオブジェクトから除く処理や、所定の高さより低い位置に撮影されたマークオブジェクトを除く処理などを加えることで、抽出の精度を向上させることが可能となる。また、現在位置を複数回検出した結果から、正しく位置検出したマークオブジェクトを記憶しておき、優先的にそのマークオブジェクトを使用するようにすると、検出精度を向上させることが出来る。
　なお、カメラ付き情報機器５の方向については、後述する図６や図７の方法で求める前に、カメラ撮影時のカメラ付き情報機器５の方位センサ５０５を用い、図５のカメラ撮影画像の現在位置の特定をするのに方位情報を用いてもよい。
　図６は、本実施例におけるマークオブジェクトから現在位置、及びカメラの方向を検出する方法の説明図である。図６では、２つのマークオブジェクト、ＭＯ１、ＭＯ２を用いる。マークオブジェクトＭＯ１の中心は、例えばカメラ撮影画像の中心を原点とする座標位置（Ｘ１、Ｙ１）にあり、撮影された大きさは面積でＳ１（＝Ｈ１×Ｗ１）である。マークオブジェクトＭＯ２についても同様、図中に中心座標位置、大きさを記している。
　マークオブジェクトＭＯ１（３３１）の実体の大きさは、マークオブジェクトＤＢの実体サイズの項目から導出される。これをＳＯ１とすると、面積ＳＯ１の物体が、既知であるカメラ倍率から面積Ｓ１で撮影される条件として、カメラ付き情報機器５とマークオブジェクトＭＯ１の距離ｒ１が算出できる。カメラ付き情報機器５とマークオブジェクトＭＯ１の距離ｒ１である地点は１点ではなく、集合として曲面Ｑ１となる。
　同様に、カメラ付き情報機器５とマークオブジェクトＭＯ２の距離がｒ２である曲面Ｑ２が求められる。曲面Ｑ１とＱ２が交差する線がカメラ付き情報機器５の位置の候補である。該線上の地点で、カメラ撮影画像内で、マークオブジェクトＭＯ１とＭＯ２の距離がＬ１２となる地点Ａを探索することにより、カメラ付き情報機器５の位置Ａを決定することができる。
　また、カメラ付き情報機器５のカメラの向きに関しては、現在位置Ａからカメラ撮影画像の原点を向いたベクトルｖとして決定する。
　図７は、本実施例における３つのマークオブジェクトから現在位置、及びカメラの方向を検出する方法の説明図である。図７では、図６に対して、マークオブジェクトＭＯ３が追加されている。マークオブジェクトＭＯ３に対しても、前述のマークオブジェクトＭＯ１、ＭＯ２と同様に、実体の面積とカメラで撮影した画像の面積Ｓ３との対比により距離ｒ３を求め、さらに距離ｒ３から曲面Ｑ３を求める。曲面Ｑ１、Ｑ２と曲面Ｑ３の交差する点をカメラ付き情報機器５の位置Ａとして求めることができる。
　また、カメラ付き情報機器５のカメラの向きに関しては、図６と同様、現在位置Ａからカメラ撮影画像の原点を向いたベクトルｖとして決定する。
　図６および図７の方法によれば、設置位置が既知のマークオブジェクトからカメラ付き情報機器５の距離、方向を知ることができるため、カメラ付き情報機器５の位置を精度よく検知できる。
　図８は、図６および図７に記した方法とは異なる処理でカメラ付き情報機器５の位置を検知する一例である。図８において、カメラ撮影画像からマークオブジェクトＭＯ４とマークオブジェクトＭＯ５が抽出されたとする。そして、カメラ付き情報機器５に搭載されたカメラ５０1は、どのようなレンズが装着されているか、どのようなフォーカス設定で撮影したかは、カメラ付き情報機器が把握することが出来る。すなわち、画角がわかるため撮影された画像内の対象物の角度がわかる。そのため、カメラ５０１によって撮影された画像において、画像のどの位置に映った対象物がカメラ付き情報機器に対してどの方向にあるかは、カメラ付き情報機器５が検知することが可能である。
　図８では、カメラ撮影画像からマークオブジェクトＭＯ４とマークオブジェクトＭＯ５の角度がθ１２であると検知できる。また、カメラ付き情報機器５の方位センサにより、カメラが撮影した画像の方向を知ることができる。そのため、２つのマークオブジェクトの角度とその方位から、カメラ付き情報機器５の位置を求めることが出来る。ここで、方位センサの方位ではなく、３つ以上のマークオブジェクトを用いて位置を求めても構わないし、方位センサの方位と複数のマークオブジェクトの角度の組合せにより、位置を求めても構わない。なお、カメラ５０１の設定と、撮影された画像の対象物の位置の関係は、カメラ付き情報機器５のメモリ(図示しない)に記憶しておいても構わない。
　図９は、本実施例におけるカメラ撮影画像を用いる位置情報システムのカメラ付き情報機器５の処理フロー図である。図９において、カメラ付き情報機器５は、複合施設３の外にあるときには、施設マップサービスアプリ５１５は停止しており、ＧＰＳセンサ５０２よって、現在位置が把握されている。この状態で、ＧＰＳセンサ５０２が複合施設３に来たことを検知すると（Ｓ１０）、施設マップサービスアプリ５１５を起動する（Ｓ１１）。なお、施設マップサービスアプリ５１５は、手動で行っても良い。
　起動されると、施設マップサービスアプリ５１５は、施設マップサービス装置１の施設マップＤＢ１２、マークオブジェクトＤＢ１３（図中ではマークオブジェクトをＭＯと記載している）から、複合施設３に対応するデータをダウンロードする（Ｓ１２）。
　次に、カメラ５０１で複合施設３内の周辺の撮影を行い（Ｓ１３）、カメラ撮影画像の中から、有意の大きさの物体を検知し（Ｓ１４）、検知した物体をダウンロードＤＢ５２０にダウンロードしたマークオブジェクトＤＢの画像データと照合し、所定の誤差範囲で一致した物体をマークオブジェクトとして認識する（Ｓ１５）。
　認識されたマークオブジェクトは、図５～図８で説明した方法によって、カメラ付き情報機器５とマークオブジェクトの距離により現在位置、及びカメラの方向を求める（Ｓ１６）。
　Ｓ１６で求められた現在位置が複合施設内であるかを確認する（Ｓ１７）。確認は、ＧＰＳによる測位結果を併用しても良い。現在位置が複合施設外であれば、施設マップサービスアプリ５１５を終了する（Ｓ１８）。
　現在位置が複合施設内であれば、ダウンロードＤＢ５２０にダウンロードした施設マップＤＢから施設ガイドマップの地図データをカメラ付き情報機器のディスプレイ５０８に表示する（Ｓ１９）。さらに、Ｓ１６で求めた現在位置とカメラの方向を表すポインタ等のグラフィックデータを、施設ガイドマップに重畳表示する（Ｓ２０）。
　カメラ付き情報機器５の移動軌跡を表示する場合（Ｓ２１のＹｅｓ）には、前回検知した位置情報から、前記加速度センサ５０４、方位センサ５０５等で移動軌跡を保持しておき、現在位置までの移動軌跡も重畳表示する（Ｓ２２）。
　Ｓ２１のＮｏもしくはＳ２２からは、再び位置検知を行う前の待機状態として、Ｓ１３の前に戻る。
　以上、本実施例によれば、カメラ付き情報機器５で撮影するカメラ画像を用いて、既知の位置データを持つマークオブジェクトからの距離、方向を検知することにより、精度の良い位置検知が可能となる。また、マークオブジェクトとしては、既設の標識、看板等の応用が可能であり、位置検知のための専用物を設置する必要がないという利点がある。
　本実施例は、カメラ付き情報機器のカメラの形態について説明する。
　図１０は、本実施例におけるカメラ付き情報機器のカメラの変形例である。図１０（ａ）は、カメラ付き情報機器５の外部端子５２２に外部カメラ５１を接続して、カメラ撮影を行う。外部カメラ５１は広角撮影が可能なカメラで、マークオブジェクトを捉えるのに好適である。３６０°周囲を撮影可能なカメラも外部カメラ５１として使用可能である。
　図１０（ｂ）は、ＯＵＴカメラ５０１ｂとＩＮカメラ５０１ａの２つのカメラを備えるカメラ付き情報機器５を用いる。ＯＵＴカメラ５０１ｂとＩＮカメラ５０１ａは、１８０°異なる方向を向いて備えられており、両方のカメラからの撮影画像を用いることにより、マークオブジェクトの広い範囲での捕捉を可能とする。
　図１０（ｃ）は、２つのカメラで同じ被写体を撮影し、２つのカメラの視差によって被写体とカメラとの距離測定が可能なステレオカメラ５０１ｃを備えるカメラ付き情報機器５を用いる。マークオブジェクトの距離を精度高く測定可能となる。
　以上、本実施例によれば、マークオブジェクトの捕捉が容易になり、また、マークオブジェクトからの距離の測定精度が向上するなどの効果がある。
　本実施例は、位置情報の検出に係るプロセスを、カメラ付き情報機器５ではなく、施設マップサービス装置１で実行する例について説明する。
　図１１は、本実施例における施設マップサービス装置のブロック図である。図１１において、図２と同じ機能については同一の符号を付し、その説明は省略する。図１１において図２と異なる点は、施設マップサービスプログラム１０５の下位層に、カメラ画像受信プロセス１０７、マークオブジェクト抽出プロセス１０８、位置・方向検出プロセス１０９、位置情報送信プロセス１１０、マップ情報送信プロセス１１１を有する点である。
　図１１において、カメラ画像受信プロセス１０７では、後述する図１２のカメラ付き情報機器５が撮影するカメラ画像を受信する。受信したカメラ画像から、マークオブジェクト抽出プロセス１０８は、有意の物体を抽出し、マークオブジェクトＤＢ１１と照合して、マークオブジェクトを抽出する。位置・方向検出プロセス１０９は、抽出したマークオブジェクトを用い、前記図５～図８で説明した検知方法で、カメラ付き情報機器５の位置、及びカメラの向きを検出する。検出したカメラ付き情報機器５の位置、及びカメラの向きは、位置情報送信プロセス１１０で、カメラ付き情報機器５に送信する。さらに、検出したカメラ付き情報機器５の位置の周辺のマップデータを、施設マップＤＢ１２からマップ情報送信プロセス１１１で、カメラ付き情報機器５に送信する。
　図１２は、本実施例におけるカメラ付き情報機器のブロック図である。図１２において、図３と同じ機能については同一の符号を付し、その説明は省略する。図１２において図３と異なる点は、施設マップサービスアプリ５１５の下位層に、カメラ画像送信プロセス５２３、位置情報受信プロセス５２４、マップ情報連携プロセス５２５、マップ情報ダウンロードＤＢ５２６を有する点である。
　ユーザ６は、現在位置を検出しようとすると、カメラ５０１で周辺を撮影し、カメラ画像をカメラ画像送信プロセス５２３で、施設マップサービス装置１に送信する。また、位置情報受信プロセス５２４では、前記施設マップサービス装置１で検出した位置情報を受信する。さらに、マップ情報ダウンロードＤＢ５２６は、検出したカメラ付き情報機器５の位置の周辺のマップデータとして、施設マップＤＢ１２の一部をダウンロードして保持し、該マップデータと現在位置情報をマップ情報連携プロセス５２５で重畳表示処理して、タッチパネル付ディスプレイ５０８に表示させる。
　以上説明したように、本実施例においても、実施例１と同様の効果がある。さらに、施設マップサービス装置１で、位置検出に係る処理プロセスを担っているので、カメラ付き情報機器５の処理負荷を軽減させ、消費電力を抑えたいという要求に対して好適なカメラ付き情報機器を提供できる。
　本実施例では、施設マップの地図データとして、施設ガイドマップ等の印刷物をカメラ付き情報機器５で撮影して得る画像を用いる点について説明する。
　図１３は、本実施例における複合施設のガイドマップ（以下印刷ガイドマップと記す）である。印刷ガイドマップ７は、例えば複合施設３のインフォメーションコーナで配布されているものである。図１３において、７０ａは、印刷ガイドマップ７のフロア図の左上のかど、７０ｂは、印刷ガイドマップ７のフロア図の右下のかどを示すフロア参照点であり、７１は二次元型バーコードのＱＲコード（登録商標）である。ＱＲコード７１には、施設マップサービス装置１の接続情報である、施設マップサービス装置１のＵＲＩへのアクセス方法が記してある。
　一般に、ユーザ６は、印刷ガイドマップ７を見て、印刷ガイドマップ７に書かれている店舗名と視認する周辺の店舗の看板等とを対比させて、自分の現在位置を類推しながら、目的地への移動を行う。これに対して、本実施例では、印刷ガイドマップをカメラで撮影するとともに、ＱＲコード７１が示す施設マップサービス装置１にアクセスする。施設マップサービス装置１には、前述のマークオブジェクトＤＢ１３のほか、下記するガイドマップＤＢ１４を保持している。
　図１４は、本実施例におけるガイドマップＤＢ１４である。本実施例においては、前述の図２の施設マップサービス装置１で、施設マップＤＢ１２とガイドマップＤＢ１４を置換して用いられる。なお、データベースとしては図示した形式にとらわれるものでなく、同等の機能を有するものであればいかなる形式のものであっても良い。
　図１４において、ガイドマップＤＢ１４は、施設名１４１、基準点１４２を参照データとして含み、１４３の項目の内、印刷ガイドマップ７の左上のかど７０ａ、及び、印刷ガイドマップ７の右下のかど７０ｂ、のフロア参照点の実際の位置データが、基準点からの差として記載されている。施設名１４１、基準点１４２はマークオブジェクトＤＢ１３の施設名１３１、基準点１３２と同じであり、同じ複合施設３のＤＢであることを示している。
　図１５に、本実施例におけるカメラ付き情報機器５の処理フローを示す。図１５において、図９と同じ機能については同一の符号を付し、その説明は省略する。また、本実施例に用いられるカメラ付き情報機器５は、基本的に図３に示したカメラ付き情報機器５と同一であるが、マップ情報連携プロセス５１９、ダウンロードＤＢ５２０の処理内容が若干異なる。
　図１５の処理フローにて、Ｓ１１で施設マップサービスアプリ５１５を起動し、ガイドマップ（印刷物）７をカメラ５０で撮影し（Ｓ３１）、撮影画像に含まれるＱＲコード７１に記載の施設マップサービスアプリ１にアクセスし（Ｓ３２）、関連するマークオブジェクトＤＢ１３をダウンロードし、ダウンロードＤＢ５２０に保存する（Ｓ３３）。以降、Ｓ１３からＳ１６は、図９と同じなので、その説明は省略する。なお、ガイドマップ（印刷物）７をカメラ５０で撮影したときにマークオブジェクトの配置情報を抽出し、マークオブジェクトＤＢ１３をダウンロードする代わりとしてもよい。
　Ｓ３４において、Ｓ１６で求められた現在位置がマップ内であるかを確認する。確認は、ＧＰＳによる測位結果を併用しても良い。現在位置がマップ外であれば、施設マップサービスアプリ５１５は終了する（Ｓ１８）。
　現在位置がマップ内であれば、カメラ付き情報機器５で撮影し、ディスプレイ５０８に表示しているガイドマップ（印刷物）７のフロア参照点７０ａ、７０ｂを読み取り、表示の参照位置を決める（Ｓ３５）。以降、Ｓ２０からＳ２２は、図９と同じなので、その説明は省略する。
　図１６は、本実施例におけるカメラ付き情報機器に現在位置を表示する例である。図１６において、５はカメラ付き情報機器、５０８はタッチパネル付ディスプレイ、７ａはカメラで撮影されている印刷ガイドマップ、７０ｃ、７０ｄは、同様カメラで撮影されている印刷ガイドマップの参照点である。また７１ａはカメラで撮影されているＱＲコードである。
　図１６は、Ｓ２０で、現在位置とカメラの方向を表すポインタ等のグラフィックデータをディスプレイ５０８の画面上の印刷ガイドマップ７ａに重畳表示した例を示しており、ここで、印刷ガイドマップ７ａは、カメラで撮影を継続していて、ディスプレイに表示している画像である。図１６においては、現在位置、及びカメラの方向を示すポインタ７２が、ＡＲ（Argument Reality）のように、重畳表示される。
　なお、本実施例では、印刷ガイドマップ７のフロア図の左上のかど７０ａ、印刷ガイドマップ７のフロア図の右下のかど７０ｂは、二次元型バーコードのＱＲコード７１により、マークオブジェクトＤＢ１３をダウンロードして用いる例により示したが、マークオブジェクトの配置関係を取り込む方法はこれに限定されず、例えば、印刷ガイドマップをスキャンして、看板の文字やマークを抽出し、それらの相対的な配置関係を求めることによっても、同様の処理が可能となる。
　以上、本実施例よれば、カメラ付き情報機器５で撮影するカメラ画像を用いて、既知の位置データを持つマークオブジェクトからの距離、方向を検知することにより、精度の良い位置検知が可能となる。また、マークオブジェクトとしては、既設の標識、看板等の応用が可能であり、位置検知のための専用物を設置する必要がない。さらに、施設マップＤＢを必要とせず、ガイドマップ（印刷物）をカメラで撮影した画像を地図データと同等に扱うことができ、システムの構築がさらに簡易化される。もちろん、ガイドマップは印刷物に限定されることはなく、施設に設置されたフロアマップをカメラで撮影したものでも同様の操作が可能である。
　以上、実施例について説明したが、本発明はこれらに限るものでなく、例えば、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに、文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。
　また、発明の機能等は、それらの一部または全部を、ハードウェアで実装してもよいし、ソフトウェアで実装してもよい。また、ハードウェアとソフトウェアを併用しても良い。
１：施設マップサービス装置、２：ネットワーク、３：複合施設、４：アクセスポイント、５、カメラ付き情報機器、６：ユーザ、７：印刷ガイドマップ、３２１～３３０：マークオブジェクト、１０：施設マップサービスサーバ、１２：施設マップＤＢ、１３：マークオブジェクトＤＢ、７０ａ、７０ｂ：フロア参照点、７１：ＱＲコード、１４；ガイドマップＤＢ、７２：ポインタ、１０５：施設マップサービスプログラム、１０７：カメラ画像受信プロセス、１０８：マークオブジェクト抽出プロセス、１０９：位置・方向検出プロセス、１１０：位置情報送信プロセス、１１１：マップ情報送信プロセス、５０１：カメラ、５０２：ＧＰＳセンサ、５０５：方位センサ５０８：タッチパネル付ディスプレイ、５１０：モバイル通信ＩＦ、５１１：無線ＬＡＮＩＦ、５１２：ＣＰＵ、５１３：ＲＡＭ、５１５：ＦＲＯＭ、５１６：カメラ連携プロセス、５１７：マークオブジェクト抽出プロセス、５１８：位置・方向検出プロセス、５１９：マップ情報連携プロセス、５２０：ダウンロードＤＢ、５２１：ＥＸＴＩＦ、５２２：外部端子、５２３：カメラ画像送信プロセス、５２４：位置情報受信プロセス、５２５：マップ情報連携プロセス、５２６：マップ情報ダウンロードＤＢ

Claims (12)

  1. 　カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、
    屋内施設内の物体をマークオブジェクトとして、該マークオブジェクトの画像データと設置データからなるデータセットのデータベースを保持し、該データベースの一部、もしくは全部を前記カメラ付き情報機器に送信する手段とを備えた施設マップサービス装置を有し、
    前記カメラ付き情報機器は、前記カメラで撮影するカメラ画像から有意の大きさを持つ物体を抽出して、前記データベースの画像データと比較して、前記カメラ画像に写っているマークオブジェクトを特定する手段と、前記カメラ画像に写っている複数のマークオブジェクトを組み合わせて用い前記カメラ付き情報機器の現在位置と前記カメラの方向を検知する手段とを備えることを特徴とする位置情報システム。
  2. 　請求項１に記載の位置情報システムであって、
    前記屋内施設は、サービス施設、店舗などを有する複合施設であって、
    前記マークオブジェクトは、前記複合施設において、サービス施設の案内標識、施設設備、店舗の名前やロゴを表したパネル、展示されている商品であることを特徴とする位置情報システム。
  3. 　請求項１または２に記載の位置情報システムであって、
    前記施設マップサービス装置は、前記屋内施設内の地図データのデータベースを保持し、該データベースの一部、もしくは全部を前記カメラ付き情報機器に送信する手段を備え、
    前記カメラ付き情報機器は、前記屋内施設内の地図データと、前記検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを重畳表示する手段とを備えることを特徴とする位置情報システム。
  4. 　請求項３に記載の位置情報システムであって、
    前記施設マップサービス装置は、前記地図データ内の位置の参照点のデータベースを保持する手段と、該データベースの一部、もしくは全部をカメラ付き情報機器に送信する手段とを備え、
    前記カメラ付き情報機器は、前記屋内施設内の地図を撮影して、前記検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを、撮影している地図に重畳表示する手段とを備えることを特徴とする位置情報システム。
  5. 　請求項１または２に記載の位置情報システムであって、
    前記カメラ付き情報機器の現在位置と前記カメラの方向を検知する手段は、前記カメラ画像に写っているマークオブジェクトの実体と前記カメラ付き情報機器との距離を求める手段を含むことを特徴とする位置情報システム。
  6. 　請求項５に記載の位置情報システムであって、
    前記カメラ画像に写っているマークオブジェクトの実体と前記カメラ付き情報機器との距離を求める手段は、前記カメラ画像内のマークオブジェクトの大きさと、該マークオブジェクトの実体の大きさとの比率を用いて計算するものであること特徴とする位置情報システム。
  7. 　カメラ付き情報機器であって、
    ＣＰＵと、プログラムを実行するメモリと、ネットワーク接続手段と、カメラと、ディスプレイと、さらにプログラムを格納するメモリを備え、
    該プログラムを格納するメモリは、ネットワーク接続手段を介し、屋内施設内の物体をマークオブジェクトとして該マークオブジェクトの画像データと設置データからなるデータセットのデータベースをダウンロードするプロセスと、前記カメラを撮影制御するプロセスと、前記カメラで撮影する画像から有意の大きさを持つ物体を抽出して、前記マークオブジェクトの画像データと比較して、カメラ画像に写っているマークオブジェクトを特定するプロセスと、該カメラ画像内の複数のマークオブジェクトを組み合わせて用いカメラ付き情報機器の現在位置と前記カメラの方向を検知するプロセスと、地図データと検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを重畳表示するプロセスと、を有するプログラムを格納することを特徴とするカメラ付き情報機器。
  8. 　カメラ付き情報機器であって、
    　ＣＰＵと、プログラムを実行するメモリ、ネットワーク接続手段と、カメラと、ディスプレイと、さらにプログラムを格納するメモリを備え、
    該プログラムを格納するメモリは、ネットワーク手段制御を介してカメラ撮影する画像を送信するプロセスと、カメラ付き情報機器の位置情報を受信するプロセスと、前記位置情報の周辺の地図データを受信するプロセスと、該地図データと前記受信したカメラ付き情報機器の現在位置を重畳表示するプロセスと、を有するプログラムを格納することを特徴とするカメラ付き情報機器。
  9. 　請求項７に記載のカメラ付き情報機器であって、
    前記地図データは、前記カメラで撮影する地図データであって、
    該地図データは、位置の参照点マークとネットワーク手段で接続する施設マップサービスの接続情報を含むマークとを含むことを特徴とするカメラ付き情報機器。
  10. 　請求項７または８に記載のカメラ付き情報機器であって、
    外部接続端子を備え、該外部接続端子に広角カメラを接続して用いることを特徴とするカメラ付き情報機器。
  11. 　請求項７に記載のカメラ付き情報機器であって、
    複数個のカメラを備え、該複数個のカメラの撮影画像から前記マークオブジェクトを特定することを特徴とするカメラ付き情報機器。
  12. 　請求項７または８に記載のカメラ付き情報機器であって、
    カメラ撮影している被写体とカメラとの距離測定可能なカメラを備え、該カメラで測定する距離を用いて、カメラ付き情報機器の現在位置とカメラの方向を検知することを特徴とするカメラ付き情報機器。
PCT/JP2017/043365 2017-12-01 2017-12-01 カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器 WO2019106847A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/043365 WO2019106847A1 (ja) 2017-12-01 2017-12-01 カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
JP2019556529A JP7001711B2 (ja) 2017-12-01 2017-12-01 カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043365 WO2019106847A1 (ja) 2017-12-01 2017-12-01 カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器

Publications (1)

Publication Number Publication Date
WO2019106847A1 true WO2019106847A1 (ja) 2019-06-06

Family

ID=66665581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043365 WO2019106847A1 (ja) 2017-12-01 2017-12-01 カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器

Country Status (2)

Country Link
JP (1) JP7001711B2 (ja)
WO (1) WO2019106847A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021038958A (ja) * 2019-08-30 2021-03-11 ヤフー株式会社 生成装置、生成方法、および生成プログラム
JP2021038959A (ja) * 2019-08-30 2021-03-11 ヤフー株式会社 生成装置、生成方法、および生成プログラム
JP2022531187A (ja) * 2019-06-27 2022-07-06 浙江商▲湯▼科技▲開▼▲発▼有限公司 測位方法及び装置、電子機器並びに記憶媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101013A (ja) * 2004-09-28 2006-04-13 Hitachi Ltd 案内情報表示装置
JP2010091356A (ja) * 2008-10-07 2010-04-22 Kddi Corp 位置推定システム、位置推定サーバおよび位置推定方法
JP2010210257A (ja) * 2009-03-06 2010-09-24 Sony Corp ナビゲーション装置及びナビゲーション方法
JP2012108053A (ja) * 2010-11-18 2012-06-07 Toshiba Tec Corp 携帯情報端末装置及び制御プログラム
JP2012216935A (ja) * 2011-03-31 2012-11-08 Jvc Kenwood Corp 情報処理システム、検索装置、及びプログラム
WO2014196178A1 (ja) * 2013-06-04 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 誘導方法及び誘導システム
JP2015129696A (ja) * 2014-01-08 2015-07-16 Kddi株式会社 経路案内システム、方法、プログラム及びそのデータ構造
JP2016164518A (ja) * 2015-03-06 2016-09-08 日本電信電話株式会社 屋内位置情報測位システム及び屋内位置情報測位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101013A (ja) * 2004-09-28 2006-04-13 Hitachi Ltd 案内情報表示装置
JP2010091356A (ja) * 2008-10-07 2010-04-22 Kddi Corp 位置推定システム、位置推定サーバおよび位置推定方法
JP2010210257A (ja) * 2009-03-06 2010-09-24 Sony Corp ナビゲーション装置及びナビゲーション方法
JP2012108053A (ja) * 2010-11-18 2012-06-07 Toshiba Tec Corp 携帯情報端末装置及び制御プログラム
JP2012216935A (ja) * 2011-03-31 2012-11-08 Jvc Kenwood Corp 情報処理システム、検索装置、及びプログラム
WO2014196178A1 (ja) * 2013-06-04 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 誘導方法及び誘導システム
JP2015129696A (ja) * 2014-01-08 2015-07-16 Kddi株式会社 経路案内システム、方法、プログラム及びそのデータ構造
JP2016164518A (ja) * 2015-03-06 2016-09-08 日本電信電話株式会社 屋内位置情報測位システム及び屋内位置情報測位方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022531187A (ja) * 2019-06-27 2022-07-06 浙江商▲湯▼科技▲開▼▲発▼有限公司 測位方法及び装置、電子機器並びに記憶媒体
JP7245363B2 (ja) 2019-06-27 2023-03-23 浙江商▲湯▼科技▲開▼▲発▼有限公司 測位方法及び装置、電子機器並びに記憶媒体
US12020463B2 (en) 2019-06-27 2024-06-25 Zhejiang Sensetime Technology Development Co., Ltd. Positioning method, electronic device and storage medium
JP2021038958A (ja) * 2019-08-30 2021-03-11 ヤフー株式会社 生成装置、生成方法、および生成プログラム
JP2021038959A (ja) * 2019-08-30 2021-03-11 ヤフー株式会社 生成装置、生成方法、および生成プログラム
JP7039535B2 (ja) 2019-08-30 2022-03-22 ヤフー株式会社 生成装置、生成方法、および生成プログラム

Also Published As

Publication number Publication date
JPWO2019106847A1 (ja) 2020-12-17
JP7001711B2 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104936283B (zh) 室内定位方法、服务器和系统
CN106767810B (zh) 一种基于移动终端的wifi和视觉信息的室内定位方法及系统
US8531514B2 (en) Image providing system and image providing method
US8750559B2 (en) Terminal and method for providing augmented reality
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
EP3096290B1 (en) Method and system for determining camera pose
US20160327946A1 (en) Information processing device, information processing method, terminal device, and setting method
WO2013162140A1 (ko) 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
CN106646566A (zh) 乘客定位方法、装置及系统
JP4969053B2 (ja) 携帯端末装置及び表示方法
CN103424113A (zh) 移动终端基于图像识别技术的室内定位与导航方法
WO2019106847A1 (ja) カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
JP2016018463A (ja) 状態変化管理システム及び状態変化管理方法
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
CN105890616A (zh) 通过街景服务实现路线指引的方法和系统
JP5843288B2 (ja) 情報提示システム
KR20190059120A (ko) 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템
KR20160070874A (ko) 모바일 기기를 이용한 위치기반 시설물 관리 시스템
CN104748739A (zh) 一种智能机增强现实实现方法
CN107193820B (zh) 位置信息获取方法、装置及设备
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
CN113137958A (zh) 一种rtk主机的放样控制方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019556529

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933378

Country of ref document: EP

Kind code of ref document: A1