WO2018150515A1 - 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法 - Google Patents

画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法 Download PDF

Info

Publication number
WO2018150515A1
WO2018150515A1 PCT/JP2017/005709 JP2017005709W WO2018150515A1 WO 2018150515 A1 WO2018150515 A1 WO 2018150515A1 JP 2017005709 W JP2017005709 W JP 2017005709W WO 2018150515 A1 WO2018150515 A1 WO 2018150515A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
inclination
image database
database
Prior art date
Application number
PCT/JP2017/005709
Other languages
English (en)
French (fr)
Inventor
健 宮本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201780086070.5A priority Critical patent/CN110268438B/zh
Priority to JP2019500108A priority patent/JP6580286B2/ja
Priority to DE112017006794.4T priority patent/DE112017006794B4/de
Priority to US16/474,243 priority patent/US20190362517A1/en
Priority to PCT/JP2017/005709 priority patent/WO2018150515A1/ja
Publication of WO2018150515A1 publication Critical patent/WO2018150515A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Definitions

  • the present invention relates to an image database construction apparatus that generates an image database for estimating the position of a terminal indoors, a position and inclination estimation apparatus that estimates the position of a terminal using the image database, and an image database construction method.
  • Non-Patent Document 1 As a method for obtaining an accurate position and inclination of a terminal, there has been a method using an image registered in advance (see, for example, Non-Patent Document 1). This is an image data that is linked to all indoor images and position and tilt information, and this image data is accumulated and prepared as a database. When estimating the position of the terminal, the image taken at the terminal position is stored in the database. The most similar image is searched by collating with all the images in it, and the position and inclination of the image are output.
  • the conventional method for estimating the position and inclination has the following problems in order to collate images that are similar to the photographed image from all indoor images. That is, the first problem is deterioration of real-time property. As the number of image data stored in the database increases, the calculation cost increases and the real-time property deteriorates. The second problem is that it is difficult to identify the same scene. For example, if similar data at different positions, i.e., image data with different positions but similar subject shapes, is stored in the database, an inaccurate matching result may be obtained. It was.
  • a satellite positioning system such as GPS (Global Positioning System) may be used as a means for obtaining the position of the terminal.
  • GPS Global Positioning System
  • indoor positioning using such a satellite positioning system is difficult, and positioning accuracy for obtaining an accurate position of the terminal is insufficient. Therefore, it is difficult to apply to an apparatus for estimating the position and inclination indoors.
  • the method using the satellite positioning system does not provide accurate matching results because the positioning accuracy in the height direction is insufficient. It is difficult to estimate the position and inclination of an indoor terminal from a point using a satellite positioning system.
  • the position and inclination estimation apparatus also includes an image database storing image information obtained by grouping images having shooting position and inclination information in a plurality of areas, and which of the plurality of areas belongs to the image database.
  • An area detection unit that detects an image, an image acquisition unit that acquires an image of an imaging target, an image acquired by the image acquisition unit, and an image stored in the image database, the same region detected by the region detection unit
  • a database collation unit that collates only the images belonging to the image, and a position and inclination estimation unit that outputs the position and inclination of the collation result image as an estimation result in the database collation unit.
  • the image database construction device associates a captured image, an acquired position and inclination of the captured image, and region information, and generates associated image information as an image database.
  • the position and inclination estimation device collates only images belonging to the same region as the region detected by the region detection unit among the images stored in the image database. Thereby, real-time property can be improved and an accurate position and inclination estimation result can be obtained.
  • FIG. 1 is a configuration diagram of an image database construction apparatus according to the present embodiment.
  • the illustrated image database construction apparatus includes an area detection unit 1, a sensor information acquisition unit 2, a positional relationship calculation unit 3, and an image database generation unit 4.
  • the area detection unit 1 is a processing unit that detects which area is located among a plurality of indoor areas as area information.
  • the sensor information acquisition unit 2 is an information acquisition unit provided with an image acquisition unit 2a and a distance measurement unit 2b.
  • the image acquisition unit 2a is an apparatus that acquires an indoor image
  • the distance measurement unit 2b is a processing unit that measures distance information indicating the distance between the shooting target of the shot image and the acquisition position of the shot image.
  • the positional relationship calculation unit 3 is a calculation unit that calculates the acquisition position and inclination of each captured image based on the captured image and distance information acquired by the sensor information acquisition unit 2.
  • the image database generation unit 4 uses the acquired position and inclination of the captured image calculated by the positional relationship calculation unit 3, the captured image acquired by the sensor information acquisition unit 2, and the region information detected by the region detection unit 1 as image information. This is a processing unit that generates this image information as the image database 5 in association.
  • FIG. 2 is a hardware configuration diagram of the image database construction apparatus shown in FIG.
  • the image database construction device 100 includes an RFID (Radio Frequency IDentification) receiver 101, a camera 102, a distance sensor 103, and a calculator 104.
  • the RFID receiver 101 is a receiver that communicates with an RFID tag 105 provided for each of a plurality of indoor areas and detects which RFID tag 105 is recognized.
  • the camera 102 is a device that acquires a color image.
  • the distance sensor 103 is a device that acquires a distance image (an image of the distance corresponding to each pixel).
  • the computer 104 is a device for acquiring data from the RFID receiver 101, the camera 102, and the distance sensor 103 and generating the image database 5 of FIG. 1 based on these data, and is configured by, for example, a personal computer or a smartphone. ing.
  • the RFID receiver 101 in FIG. 2 constitutes the area detection unit 1 in FIG. 1, the camera 102 constitutes the image acquisition unit 2a, and the distance sensor 103 constitutes the distance measurement unit 2b.
  • the computer 104 realizes the functions of the positional relationship calculation unit 3 and the image database generation unit 4. The realization of these functions is configured by the processor of the computer 104 executing software corresponding to the positional relationship calculation unit 3 and the image database generation unit 4.
  • the area detection unit 1 to image database generation unit 4 of FIG. 1 have the following functions.
  • the area detection unit 1 communicates with the RFID tag 105 and recognizes its attribute (which area).
  • the sensor information acquisition unit 2 acquires a plurality of color images and a pair of distance information corresponding to these color images.
  • the positional relationship calculation unit 3 connects the information acquired by the sensor information acquisition unit 2 to create three-dimensional point cloud data, and estimates the acquisition position and inclination of each color image and distance information pair.
  • the image database generation unit 4 associates the acquired position and inclination of the captured image estimated by the positional relationship calculation unit 3, the captured image, and the region information as image information, and generates this image information as the image database 5.
  • FIG. 3 shows a state in which two rooms are viewed from above.
  • Each room (room 1, room 2) corresponds to each area, and a first RFID tag 105a and a second RFID tag 105b are provided near the entrance of each room.
  • the operation of constructing such an image database for two rooms will be described with reference to the flowchart of FIG.
  • the region detection unit 1 recognizes the first RFID tag 105a (region detection step: step ST1). Thereafter, a color image of the room 1 is acquired by the image acquisition unit 2a of the sensor information acquisition unit 2 (information acquisition step: step ST2), and a distance image is acquired by the distance measurement unit 2b (information acquisition step: step ST3).
  • the positional relationship calculation unit 3 joins the data acquired by the sensor information acquisition unit 2, and calculates the position and inclination of the device that performs color image acquisition and distance image measurement (calculation step: step ST4).
  • An example of the position and inclination obtained here is a value based on the position and inclination at the start of measurement.
  • a method for connecting a pair of color image and distance information a method using a point that is a feature of the image (for example, literature: Taguchi, Y, Jian, YD, Ramlingam, S: Point-Plane SLAM for Hand-Held 3D Sensors, Robotics and Automation (ICRA), 2014 IEEE International Conference on 6-10 May 2013.
  • the measurement is ended (step ST5-YES).
  • the positional relationship calculation unit 3 increases the accuracy of the position and inclination of the sensor using Bundle Adjustment or the like (step ST6). After that, it is determined whether the measurement of all the rooms has been completed (step ST7). If the measurement has not been completed, the process returns to step ST1 and the above processing is repeated. End the build operation. In this case, since the measurement of the room 2 has not been performed yet, “NO” is determined in the step ST7, and a color image and distance information are acquired at each position as indicated by a dotted line 111 in FIG. The process of ST6 is performed.
  • the database shown in FIG. 5 is created by the image database generation unit 4 (image database generation step). As shown in FIG. 5, a pair of an image, distance information, position, and inclination is registered for each RFID. For comparison, a conventional database is shown in FIG. Compared with the database of FIG. 6, the database by the image database construction apparatus of this embodiment has images grouped for each RFID.
  • FIG. 7 is a configuration diagram of the position and inclination estimation apparatus.
  • the position and inclination estimation apparatus according to the present embodiment includes an area detection unit 1, an image acquisition unit 2 a, a database collation unit 11, and a position and inclination estimation unit 12.
  • the region detection unit 1 and the image acquisition unit 2a are the same as the region detection unit 1 and the image acquisition unit 2a in the image database construction device, but are provided in a terminal that is an estimation target of the position and inclination estimation device.
  • the database collation unit 11 collates only images having the same region information as the region information detected by the region detection unit 1 among the images acquired by the image acquisition unit 2a and the images stored in the image database 5.
  • the position and inclination estimation unit 12 is a processing unit that outputs the position and inclination of the image specified by the database collation unit 11 as an estimation result.
  • the image database 5 is a database generated by the image database construction device.
  • FIG. 8 is a hardware configuration diagram of the position and inclination estimation apparatus shown in FIG.
  • the position and inclination estimation apparatus 200 includes an RFID receiver 101, a camera 102, and a computer 201.
  • the RFID receiver 101 and the camera 102 are the same as the RFID receiver 101 and the camera 102 in the image database construction apparatus 100.
  • the computer 201 is a device for acquiring data from the RFID receiver 101 and the camera 102 and estimating the position and inclination of the terminal based on these data, and is configured by, for example, a personal computer or a smartphone.
  • the RFID receiver 101 in FIG. 8 constitutes the area detection unit 1 in FIG. 7, and the camera 102 constitutes the image acquisition unit 2a.
  • the computer 201 realizes the functions of the database collation unit 11 and the position and inclination estimation unit 12. The realization of these functions is configured by the processor of the computer 201 executing software corresponding to the database collation unit 11 and the position and inclination estimation unit 12.
  • the area detection unit 1 to the position and inclination estimation unit 12 of FIG. 7 have the following functions.
  • the area detection unit 1 communicates with the RFID tag 105 and recognizes its attribute (which area).
  • the image acquisition unit 2a acquires a color image taken from the terminal position.
  • the database collation unit 11 collates the image database 5 based on the color image acquired by the image acquisition unit 2a and the region information detected by the region detection unit 1, and the position and inclination estimation unit 12
  • the position and inclination of the image of 11 collation results are output as estimation results.
  • the user contacts the RFID tag 105 and the RFID receiver 101 to read the RFID tag 105 (step ST11), and inputs information about a room where the terminal is located.
  • This input may be manually input by the user to the RFID receiver 101 (database collation unit 11), or the information of the RFID tag 105 from the RFID receiver 101 is directly used as room information. You may make it give to the database collation part 11).
  • the terminal has entered the room 1 of the first RFID tag 105a shown in FIG.
  • the database collation unit 11 collates with the data in the image database 5 (step ST13).
  • the image of RFID (1) is collated in the image database shown in FIG.
  • an image most similar to the image acquired in step ST12 is extracted.
  • the position and inclination estimation unit 12 estimates the position and inclination of the terminal based on the distance information of the terminal added to the image extracted in step ST13 + the position t and inclination R of the terminal (step ST14).
  • the first effect is a reduction in calculation time.
  • collation with the image database 5 is only image data corresponding to the specified area. Therefore, the number of collated images can be reduced as compared with the conventional case.
  • the collation is performed only with the image of the RFID (1) and is not collated with the image of the RFID (2), so that the calculation time can be reduced.
  • there is an improvement in distinguishability of similar scenes For example, even when the room 1 and the room 2 shown in FIG. 3 have the same pattern, the terminal position can be accurately estimated because the room 1 and the room 2 are identified and collated. .
  • RFID is used as the region specifying means.
  • any device that can uniquely specify the region such as a beacon, can be used in the same manner.
  • the area detection unit that detects which of the plurality of areas the captured image belongs to, and the imaging target of the captured image
  • An information acquisition unit that acquires distance information indicating a distance between the object and the acquisition position of the captured image, a calculation unit that calculates a shooting position and an inclination of the captured image based on the distance information, and imaging of the captured image
  • An image database generation unit that generates an image database in which a position and an inclination and a captured image are associated as image information, and generates an image database by grouping image information of images belonging to the same region Therefore, when estimating the position and inclination of an image, it is possible to improve the real-time property and obtain an accurate position and inclination estimation result. It is possible to provide an image database.
  • the plurality of regions are associated with the regions detected by the region detection unit in a one-to-one relationship, so that the regions can be identified easily and reliably. it can.
  • the area detection unit since the area detection unit detects an area using RFID, the area can be identified easily and reliably.
  • an image database that stores image information obtained by grouping images having shooting position and inclination information in a plurality of areas, and any of the plurality of areas
  • An area detection unit that detects whether the image belongs to an image acquisition unit, an image acquisition unit that acquires an image of the object to be photographed, an image acquired by the image acquisition unit, and an image stored in the image database.
  • a database collation unit that collates only images belonging to the same region, and a position and inclination estimation unit that outputs the position and inclination of the image of the collation result as an estimation result in the database collation unit.
  • accurate position and inclination estimation results can be obtained.
  • the plurality of areas are associated with the areas detected by the area detection unit on a one-to-one basis, so that the areas can be identified easily and reliably. Can do.
  • the area detecting unit detects the area using the RFID, so that the area can be identified easily and reliably.
  • the image database construction method using the image database construction device described in the first embodiment in which one of a plurality of regions is a captured image.
  • Embodiment 2 uses an image database construction device that performs grouping based on signal values obtained at a plurality of indoor positions and generates an image database, and an image database constructed by the image database construction device. And a position and inclination estimation device for estimating the inclination.
  • FIG. 10 is a configuration diagram of the image database construction apparatus according to the second embodiment.
  • the illustrated image database construction apparatus includes an area detection unit 1a, a sensor information acquisition unit 2, a positional relationship calculation unit 3, and an image database generation unit 4a.
  • the area detection unit 1a is a processing unit that measures values of signals set at a plurality of indoor positions as values corresponding to areas.
  • the image database generation unit 4a groups the position and inclination calculation information of each captured image calculated by the positional relationship calculation unit 3 using the signal values measured by the area detection unit 1a, and the grouped shootings are performed. It is a processing unit that associates an image, the acquisition position and inclination of the captured image, and a signal value, and generates associated image information as an image database 5a.
  • FIG. 11 is a hardware configuration diagram of the image database construction apparatus shown in FIG.
  • the image database construction device 100a includes a wireless LAN receiver 106, a camera 102, a distance sensor 103, and a computer 104a.
  • the wireless LAN receiver 106 is a receiver for communicating with a wireless LAN access point 107 provided for each of a plurality of indoor areas and measuring the signal strength (RSSI: Received Signal Strength Indicator).
  • RSSI Received Signal Strength Indicator
  • the camera 102 and the distance sensor 103 have the same configuration as the camera 102 and the distance sensor 103 in the image database construction device 100 of the first embodiment.
  • the wireless LAN receiver 106 in FIG. 11 constitutes the area detection unit 1a in FIG. 10, the camera 102 constitutes the image acquisition unit 2a, and the distance sensor 103 constitutes the distance measurement unit 2b.
  • the computer 104a realizes the functions of the positional relationship calculation unit 3 and the image database generation unit 4a. The realization of these functions is configured by the processor of the computer 104a executing software corresponding to the positional relationship calculation unit 3 and the image database generation unit 4a.
  • FIG. 12 shows a state where two rooms are viewed from above. An access point 107a and an access point 107b are installed in the room 1, and an access point 107c and an access point 107d are installed in the room 2. The operation of constructing such an image database for two rooms will be described with reference to the flowchart of FIG.
  • the positional relationship calculation unit 3 increases the accuracy of the position and inclination of the sensor using Bundle Adjustment or the like (step ST26).
  • the image database generation unit 4a performs color image and distance information grouping based on the signal intensity obtained in step ST24 (image database generation step: step ST27).
  • the grouping method there is an unsupervised learning method such as a K-means method or Spectral Clustering.
  • step ST28 it is determined whether or not the measurement for all the rooms has been completed. If the measurement has not been completed, the process from step ST21 is repeated. Exit. In this case, since the measurement of the room 2 is not performed, “NO” is determined in the step ST28, the color image and the distance information are acquired at the respective positions as indicated by the dotted line 113 in FIG. 12, and the steps ST21 to ST27 are performed. Perform the process.
  • the room 1 and the room 2 are measured, and when the measurement result is converted into a database by the image database generation unit 4a, an image database shown in FIG. 14 is created (image database generation step).
  • image database generation step for each signal, a pair of an image, distance information, position, and inclination is registered.
  • the signal 1 and the signal 2 are signals corresponding to the room 1 and the room 2 shown in FIG. 12, but may not necessarily correspond to the room depending on the size of the room and the number of the access points 107. For example, when a room is large and there are many access points 107, a plurality of groups may be formed in one room.
  • FIG. 15 is a configuration diagram of the position and inclination estimation apparatus.
  • the position and inclination estimation apparatus according to the present embodiment includes an area detection unit 1a, an image acquisition unit 2a, a database collation unit 11a, a position and inclination estimation unit 12a, and an image database 5a.
  • the image acquisition unit 2a and the region detection unit 1a are the same as the image acquisition unit 2a and the region detection unit 1a in the image database construction device.
  • the database collating unit 11a collates only the image having the same signal value as the signal value detected by the area detecting unit 1a out of the image acquired by the image acquiring unit 2a and the image stored in the image database 5a.
  • the position and inclination estimation unit 12a is a processing unit that outputs the position and inclination of the image specified by the database collation unit 11a as an estimation result.
  • the image database 5a is a database generated by the image database construction device 100a.
  • FIG. 16 is a hardware configuration diagram of the position and inclination estimation apparatus shown in FIG.
  • the position and inclination estimation apparatus 200a includes a wireless LAN receiver 106, a camera 102, and a computer 201a.
  • the wireless LAN receiver 106 and the camera 102 are the same as the wireless LAN receiver 106 and the camera 102 of the image database construction apparatus 100a shown in FIG.
  • the computer 201a is a device for acquiring data from the wireless LAN receiver 106 and the camera 102 and estimating the position and inclination of the terminal based on these data, and is configured by, for example, a personal computer or a smartphone.
  • the wireless LAN receiver 106 in FIG. 16 constitutes the area detection unit 1a in FIG. 15, and the camera 102 constitutes the image acquisition unit 2a.
  • the computer 201a realizes the functions of the database collation unit 11a and the position and inclination estimation unit 12a. The realization of these functions is configured by the processor of the computer 201a executing software corresponding to the database collation unit 11a and the position and inclination estimation unit 12a.
  • the image acquisition unit 2a to the position and inclination estimation unit 12a in FIG. 15 have the following functions.
  • the image acquisition unit 2a acquires a color image taken from the terminal position.
  • the area detection unit 1a obtains the signal strength with each access point 107.
  • the database collation unit 11a collates the image database 5a based on the color image acquired by the image acquisition unit 2a and the signal intensity measured by the area detection unit 1a, and the position and inclination estimation unit 12a The position and inclination of the image of 11 collation results are output as estimation results.
  • the database collation unit 13a first collates the image database 5a based on the signal strength (step ST32). Further, when an image is acquired by the image acquisition unit 2a (step ST33), the database collation unit 13a collates images from the collation results of step ST32 (step ST34). That is, the database collation unit 13a first roughly estimates the terminal position based on the signal intensity from the region detection unit 1a, and then collates with image data corresponding to the rough estimation result.
  • step ST32 collation is performed only with the image of signal 1 in the image database 5a shown in FIG. Then, from the color image of signal 1, the one most similar to the image acquired in step ST33 is extracted. Next, the position and inclination estimation unit 14 estimates the terminal position and inclination based on the terminal distance information added to the image extracted in step ST34 + the terminal position t and inclination R (step ST35).
  • the first effect is a reduction in calculation time.
  • collation with the image database 5a is only image data corresponding to the specified signal. Therefore, the number of collated images can be reduced as compared with the conventional case. For example, in the above example, a plurality of color images corresponding to the signal 1 shown in FIG. 14 and the image acquired by the image acquisition unit 2a are collated. Since image matching with the color image corresponding to the signal 2 is not performed, calculation time can be reduced.
  • a second effect there is an improvement in distinguishability of similar scenes. For example, even if the room 1 and the room 2 shown in FIG. 12 have the same interior pattern, the pre-processing for roughly determining the position of the user based on the signal strength from each access point is performed. Can be estimated.
  • RSSI is used as the value of the signal detected by the region detection unit 1a.
  • the present invention is not limited to this, and the signal strength with the beacon, UWB ( Any one of the signal strength of the Ultra Wide Band, the distance to the access point (ToF: Time of Flight), and the measured value of the geomagnetic sensor may be used.
  • the region detection unit measures the set signal values as values corresponding to the regions at a plurality of positions
  • the image database generation unit The image acquisition position and inclination calculated by the calculation unit are grouped using the signal value measured by the area detection unit, and the signal value, the acquisition position and inclination of the grouped image, and the image are displayed as an image. Since it is related as information and image information is generated as an image database, it is possible to improve the real-time property and obtain an accurate position and inclination estimation result when estimating the position and inclination of the image.
  • a database can be provided.
  • the region detection unit is any one of RSSI, beacon signal strength, UWB signal strength, distance to the access point, and measurement value of the geomagnetic sensor. Since one is measured as the value of the set signal, a special device is not required for signal measurement, and the region can be easily and reliably specified.
  • the area detection unit measures the set signal values as values corresponding to the areas at a plurality of positions, and the image database stores the signal values. Since the database collation unit collates only the same image as the signal value detected by the area detection unit among the images stored in the image database, the database collation unit When estimating the inclination, the real-time property can be improved and an accurate position and inclination estimation result can be obtained.
  • the region detection unit is any one of RSSI, beacon signal strength, UWB signal strength, distance to the access point, and measurement value of the geomagnetic sensor. Since one is measured as the value of the set signal, a special device is not required for signal measurement, and the region can be easily and reliably specified.
  • the image database construction device, the position and inclination estimation device, and the image database construction method according to the present invention relate to a configuration for obtaining the position and inclination of a terminal using previously registered images, and It is suitable for use in an application that superimposes and displays additional information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

領域検出部（１）は撮影された画像が複数の領域のうちのどの領域に属するかを検出する。センサ情報取得部（２）は、撮影画像と距離情報とを取得する。位置関係計算部（３）は、センサ情報取得部（２）で取得した撮影画像と距離情報とに基づいて、各撮影画像の取得位置及び傾きを算出する。画像データベース生成部（４）は、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付け、かつ、同じ領域に属する画像の画像情報をグルーピングして画像データベース（５）を生成する。

Description

画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法
　本発明は、屋内で端末の位置を推定するための画像データベースを生成する画像データベース構築装置と、画像データベースを用いて端末の位置を推定する位置及び傾き推定装置と、画像データベース構築方法に関する。
　例えば、特定の対象に付加情報を重畳表示するＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を使ったアプリケーションなどを開発する場合、端末の位置情報のみでは不十分であり、端末の傾きの情報が必要である。また、このようなアプリケーションでは、端末の位置情報としても、正確な位置を推定する必要がある。
　端末の正確な位置と傾きを求める方法として、従来、予め登録した画像を用いる方法があった（例えば、非特許文献１参照）。これは、屋内の全ての画像と位置及び傾き情報と紐付けて画像データとし、この画像データを蓄積してデータベースとして用意し、端末の位置を推定する場合は、端末位置で撮影した画像をデータベース中の全ての画像と照合することで最も似ている画像を探索してその画像の位置と傾きを出力するものである。
Esra Ataer-Cansizoglu, Yuichi Taguchi, Srikumar Ramlingam,and Yohei Miki : Calibration of Non-Overlapping Cameras Using an External SLAM System, Image Processing (ICIP), 2016 IEEE International Conference on 25-28 Sept 2016
　しかしながら、従来の位置と傾きを推定する方法では、屋内の全ての画像の中から、撮影した画像に類似するものを照合するため、次のような課題があった。すなわち、第一の課題としてリアルタイム性の悪化があった。これはデータベースに格納する画像データの数が多いほど計算コストがかかり、リアルタイム性が悪化する。第二の課題として、同一シーンの識別が困難な点があった。例えば、異なる位置の似たシーン、すなわち、異なる位置であるが、被写体の形状が類似するような画像データがデータベースに格納されている場合、不正確な照合結果が得られてしまう可能性があった。
　なお、端末の位置を求める手段としては、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）といった衛星測位システムを用いることも考えられる。しかしながら、このような衛星測位システムを用いて屋内での測位は困難であり、かつ、端末の正確な位置を求めるための測位精度が不十分である。従って、屋内における位置及び傾きを推定する装置に適用するのは困難である。特に、ビルといった多層階で類似する画像データが存在する場合、衛星測位システムを用いた方法では、高さ方向の測位精度が不十分であるため、正確な照合結果が得られず、このような点からも衛星測位システムを用いて屋内の端末の位置と傾きを推定するのは困難である。
　この発明は、かかる問題を解決するためになされたもので、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベース構築装置及び画像データベース構築装置を提供することを目的とする。
　この発明に係る画像データベース構築装置は、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出部と、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えたものである。
　また、この発明に係る位置及び傾き推定装置は、撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影対象物の画像を取得する画像取得部と、画像取得部で取得した画像と、画像データベースに格納された画像のうち、領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えたものである。
　この発明に係る画像データベース構築装置は、撮影画像と撮影画像の取得位置及び傾きと、領域情報とを関連付け、関連付けられた画像情報を画像データベースとして生成するようにしたものである。これにより、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。
　また、この発明に係る位置及び傾き推定装置は、画像データベースに格納された画像のうち、領域検出部で検出された領域と同一の領域に属する画像のみを照合するようにしたものである。これにより、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。
この発明の実施の形態１の画像データベース構築装置の構成図である。 この発明の実施の形態１の画像データベース構築装置のハードウェア構成図である。 この発明の実施の形態１の画像データベース構築装置を適用する部屋の説明図である。 この発明の実施の形態１の画像データベース構築装置の動作を示すフローチャートである。 この発明の実施の形態１の画像データベース構築装置で生成される画像データベースの一例を示す説明図である。 従来の画像データベースの説明図である。 この発明の実施の形態１の位置及び傾き推定装置の構成図である。 この発明の実施の形態１の位置及び傾き推定装置のハードウェア構成図である。 この発明の実施の形態１の位置及び傾き推定装置の動作を示すフローチャートである。 この発明の実施の形態２の画像データベース構築装置の構成図である。 この発明の実施の形態２の画像データベース構築装置のハードウェア構成図である。 この発明の実施の形態２の画像データベース構築装置を適用する部屋の説明図である。 この発明の実施の形態２の画像データベース構築装置の動作を示すフローチャートである。 この発明の実施の形態２の画像データベース構築装置で生成される画像データベースの一例を示す説明図である。 この発明の実施の形態２の位置及び傾き推定装置の構成図である。 この発明の実施の形態２の位置及び傾き推定装置のハードウェア構成図である。 この発明の実施の形態２の位置及び傾き推定装置の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、本実施の形態による画像データベース構築装置の構成図である。
　図示の画像データベース構築装置は、領域検出部１、センサ情報取得部２、位置関係計算部３、画像データベース生成部４を備える。領域検出部１は、屋内の複数の領域のうち、どの領域に位置するかを領域情報として検出する処理部である。センサ情報取得部２は、画像取得部２ａと距離測定部２ｂと備えた情報取得部である。画像取得部２ａは、屋内の画像を取得する装置であり、距離測定部２ｂは、撮影画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を測定する処理部である。位置関係計算部３は、センサ情報取得部２で取得した撮影画像と距離情報とに基づいて、各撮影画像の取得位置と傾きを算出する算出部である。画像データベース生成部４は、位置関係計算部３で算出した撮影画像の取得位置及び傾きと、センサ情報取得部２で取得した撮影画像と、領域検出部１で検出した領域情報とを画像情報として関連付け、この画像情報を画像データベース５として生成する処理部である。
　図２は、図１に示した画像データベース構築装置のハードウェア構成図である。図２において、画像データベース構築装置１００は、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）受信機１０１、カメラ１０２、距離センサ１０３、計算機１０４を備える。ＲＦＩＤ受信機１０１は、屋内の複数の領域毎に設けられたＲＦＩＤタグ１０５と通信を行い、どのＲＦＩＤタグ１０５を認識したかを検知する受信機である。カメラ１０２はカラー画像を取得する装置である。距離センサ１０３は、距離画像（各ピクセルに対応する距離を画像化したもの）を取得する装置である。計算機１０４は、ＲＦＩＤ受信機１０１、カメラ１０２及び距離センサ１０３からのデータを取得し、これらデータに基づいて図１の画像データベース５を生成するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。
　図２におけるＲＦＩＤ受信機１０１は図１における領域検出部１を構成し、カメラ１０２は画像取得部２ａを、距離センサ１０３は距離測定部２ｂを構成している。計算機１０４は、位置関係計算部３と画像データベース生成部４の機能を実現している。これら機能の実現は、位置関係計算部３と画像データベース生成部４とに対応したソフトウェアを計算機１０４のプロセッサが実行することにより構成されるものである。
　図１の画像データベース構築装置を図２のような構成とした場合、図１の領域検出部１～画像データベース生成部４は次のような機能を有する。領域検出部１は、ＲＦＩＤタグ１０５と通信を行ってその属性（どの領域であるか）を認識する。センサ情報取得部２は複数のカラー画像と、これらのカラー画像に対応する距離情報のペアを取得する。位置関係計算部３は、センサ情報取得部２で取得した情報をつなぎ合わせて、３次元の点群データを作成すると共に、各カラー画像と距離情報のペアの取得位置及び傾きを推定する。画像データベース生成部４は、位置関係計算部３で推定された撮影画像の取得位置及び傾きと、撮影画像と、領域情報とを画像情報として関連付け、この画像情報を画像データベース５として生成する。
　次に、実施の形態１の画像データベース構築装置の動作について説明する。
　図３は、二つの部屋を上から見た状態を示している。それぞれの部屋（部屋１、部屋２）は各領域に対応するもので、各部屋の出入り口付近に第１のＲＦＩＤタグ１０５ａと第２のＲＦＩＤタグ１０５ｂが設けられている。このような二つの部屋の画像データベース構築の動作を図４のフローチャートを用いて説明する。
　まず、図３における部屋１のデータを点線１１０に示すように取得するとして説明する。領域検出部１にて第１のＲＦＩＤタグ１０５ａを認識する（領域検出ステップ：ステップＳＴ１）。その後、センサ情報取得部２の画像取得部２ａで部屋１のカラー画像を取得すると共に（情報取得ステップ：ステップＳＴ２）、距離測定部２ｂで距離画像を取得する（情報取得ステップ：ステップＳＴ３）。次いで、位置関係計算部３により、センサ情報取得部２で取得したデータをつなぎ合わせ、カラー画像の取得と距離画像の測定を行う装置の位置と傾きを計算する（算出ステップ：ステップＳＴ４）。ここで求める位置と傾きの一例としては、測定開始時点の位置と傾きを基準とした値である。カラー画像と距離情報のペアを繋ぎ合わせる方法の一例としては、画像の特徴となる点を用いる方法（例えば、文献：Taguchi, Y, Jian, Y-D, Ramlingam, S: Point-Plane SLAM for Hand-Held 3D Sensors, Robotics and Automation（ICRA），2014 IEEE International Conference on 6-10 May 2013に記載されている方法）がある。以上、ステップＳＴ２～ステップＳＴ４の処理を一つの部屋に対して行った後、測定を終了する（ステップＳＴ５－ＹＥＳ）。さらに、位置関係計算部３にて、センサの位置と傾きを、Ｂｕｎｄｌｅ　Ａｄｊｕｓｔｍｅｎｔなどを用いて高精度化する（ステップＳＴ６）。その後は、全ての部屋の測定が終了したかを判定し（ステップＳＴ７）、終了していない場合はステップＳＴ１に戻って上記の処理を繰り返し、全ての部屋の測定が終了した場合は、画像データベース構築の動作を終了する。この場合、まだ部屋２の測定が行われていないため、ステップＳＴ７では「ＮＯ」となり、図３の点線１１１に示すようにそれぞれの位置でカラー画像と距離情報を取得して、ステップＳＴ２～ステップＳＴ６の処理を行う。
　このような方法で、部屋１と部屋２とについて測定すると、図５に示すデータベースが画像データベース生成部４によって作成される（画像データベース生成ステップ）。図５に示す通り、ＲＦＩＤ毎に、画像、距離情報、位置及び傾きのペアが登録されている。比較のため、従来のデータベースを図６に示す。図６のデータベースに比べて、本実施の形態の画像データベース構築装置によるデータベースはＲＦＩＤ毎に画像がグループ化されている。
　次に、実施の形態１の位置及び傾き推定装置について説明する。
　図７は、位置及び傾き推定装置の構成図である。本実施の形態の位置及び傾き推定装置は、領域検出部１、画像取得部２ａ、データベース照合部１１、位置及び傾き推定部１２を備える。領域検出部１及び画像取得部２ａは、画像データベース構築装置における領域検出部１及び画像取得部２ａと同様であるが、位置及び傾き推定装置の推定対象となる端末に設けられているものである。データベース照合部１１は、画像取得部２ａで取得した画像と、画像データベース５に格納された画像のうち、領域検出部１で検出された領域情報と同一の領域情報を有する画像のみを照合し、いずれかの画像を特定する処理部である。位置及び傾き推定部１２は、データベース照合部１１で特定された画像の位置と傾きを推定結果として出力する処理部である。画像データベース５は、画像データベース構築装置で生成されたデータベースである。
　図８は、図７に示した位置及び傾き推定装置のハードウェア構成図である。図８において、位置及び傾き推定装置２００は、ＲＦＩＤ受信機１０１、カメラ１０２、計算機２０１を備える。ＲＦＩＤ受信機１０１及びカメラ１０２は画像データベース構築装置１００におけるＲＦＩＤ受信機１０１及びカメラ１０２と同様である。計算機２０１は、ＲＦＩＤ受信機１０１及びカメラ１０２からのデータを取得し、これらデータに基づいて端末の位置と傾きを推定するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。
　図８におけるＲＦＩＤ受信機１０１は図７における領域検出部１を構成し、カメラ１０２は画像取得部２ａを構成している。計算機２０１は、データベース照合部１１と位置及び傾き推定部１２の機能を実現している。これら機能の実現は、データベース照合部１１と位置及び傾き推定部１２とに対応したソフトウェアを計算機２０１のプロセッサが実行することにより構成されるものである。
　図７の位置及び傾き推定装置を図８のような構成とした場合、図７の領域検出部１～位置及び傾き推定部１２は次のような機能を有する。領域検出部１は、ＲＦＩＤタグ１０５と通信を行ってその属性（どの領域であるか）を認識する。画像取得部２ａは端末位置から撮影されたカラー画像を取得する。データベース照合部１１は、画像取得部２ａで取得されたカラー画像と領域検出部１で検出された領域情報とに基づいて画像データベース５の照合を行い、位置及び傾き推定部１２は、データベース照合部１１の照合結果の画像の位置と傾きとを推定結果として出力する。
　次に、実施の形態１の位置及び傾き推定装置の動作を図９のフローチャートを用いて説明する。
　ユーザがＲＦＩＤタグ１０５とＲＦＩＤ受信機１０１とを接触させてＲＦＩＤタグ１０５の読み取りを行い（ステップＳＴ１１）、端末が位置する部屋の情報を入力する。なお、この入力はユーザが手入力でＲＦＩＤ受信機１０１（データベース照合部１１）に入力しても良いし、ＲＦＩＤ受信機１０１からのＲＦＩＤタグ１０５の情報を直接部屋の情報としてＲＦＩＤ受信機１０１（データベース照合部１１）に与えるようにしても良い。なお、ここでは、端末は図３に示す第１のＲＦＩＤタグ１０５ａの部屋１に入ったとする。このような状態で、画像取得部２ａにより部屋１内の画像データを取得すると（ステップＳＴ１２）、データベース照合部１１は、画像データベース５中のデータと照合する（ステップＳＴ１３）。ここでは、図５に示した画像データベース中、ＲＦＩＤ（１）の画像とのみ照合を行う。そして、ＲＦＩＤ（１）のカラー画像の中から、ステップＳＴ１２で取得した画像と最も類似するものを抽出する。次いで、位置及び傾き推定部１２は、ステップＳＴ１３で抽出された画像に付与されている端末の距離情報＋端末の位置ｔと傾きＲに基づいて端末の位置と傾きを推定する（ステップＳＴ１４）。
　このように、実施の形態１の位置及び傾き推定装置によれば、第１の効果として、計算時間の削減がある。本実施の形態では、画像データベース５との照合は特定された領域に対応した画像データのみである。従って、従来に比べて、画像の照合枚数を削減することができる。例えば、上記例では、照合はＲＦＩＤ（１）の画像とのみ行われ、ＲＦＩＤ（２）の画像とは照合しないため、計算時間を削減することができる。第２の効果として、類似シーンの識別性向上がある。例えば、図３に示す部屋１と部屋２とが同様の模様の内装であった場合でも、部屋１と部屋２とを識別して照合を行うため、正確に端末位置の推定を行うことができる。
　なお、上記画像データベース構築装置及び位置及び傾き推定装置では、領域の特定手段としてＲＦＩＤを用いたが、例えばビーコン等、領域を一意に特定することのできる手段であれば同様に用いることができる。
　以上説明したように、実施の形態１の画像データベース構築装置によれば、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出部と、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。
　また、実施の形態１の画像データベース構築装置によれば、複数の領域は、領域検出部で検出する領域と一対一に関連付けられているようにしたので、領域を容易かつ確実に特定することができる。
　また、実施の形態１の画像データベース構築装置によれば、領域検出部はＲＦＩＤを用いて領域を検出するようにしたので、領域を容易かつ確実に特定することができる。
　また、実施の形態１の位置及び傾き推定装置によれば、撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影対象物の画像を取得する画像取得部と、画像取得部で取得した画像と、画像データベースに格納された画像のうち、領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えたので、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。
　また、実施の形態１の位置及び傾き推定装置によれば、複数の領域は、領域検出部で検出する領域と一対一に関連付けられているようにしたので、領域を容易かつ確実に特定することができる。
　また、実施の形態１の位置及び傾き推定装置によれば、領域検出部はＲＦＩＤを用いて領域を検出するようにしたので、領域を容易かつ確実に特定することができる。
　また、実施の形態１の画像データベース生成方法によれば、実施の形態１に記載の画像データベース構築装置を用いた画像データベース構築方法であって、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出ステップと、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得ステップと、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出ステップと、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成ステップであって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成ステップとを備えたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。
実施の形態２．
　実施の形態２は、屋内の複数の位置で得られた信号の値に基づいてグルーピングを行って画像データベースを生成する画像データベース構築装置と、画像データベース構築装置で構築された画像データベースを用いて位置と傾きを推定する位置及び傾き推定装置である。
　図１０は、実施の形態２による画像データベース構築装置の構成図である。図示の画像データベース構築装置は、領域検出部１ａ、センサ情報取得部２、位置関係計算部３、画像データベース生成部４ａを備える。ここで、センサ情報取得部２及び位置関係計算部３は、実施の形態１と同様の構成であるため、ここでの説明は省略する。領域検出部１ａは、屋内の複数の位置における設定された信号の値を領域に対応した値として測定する処理部である。画像データベース生成部４ａは、位置関係計算部３で計算された各撮影画像の位置と傾きの算出情報を、領域検出部１ａで測定された信号の値を用いてグルーピングし、このグルーピングされた撮影画像とその撮影画像の取得位置及び傾きと、信号の値とを関連付け、関連付けられた画像情報を画像データベース５ａとして生成する処理部である。
　図１１は、図１０に示した画像データベース構築装置のハードウェア構成図である。図１１において、画像データベース構築装置１００ａは、無線ＬＡＮ受信機１０６、カメラ１０２、距離センサ１０３、計算機１０４ａを備える。無線ＬＡＮ受信機１０６は、屋内の複数の領域毎に設けられた無線ＬＡＮのアクセスポイント１０７と通信を行い、その信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｏｒ）を測定するための受信機である。カメラ１０２及び距離センサ１０３は実施の形態１の画像データベース構築装置１００におけるカメラ１０２及び距離センサ１０３と同様の構成である。計算機１０４ａは、無線ＬＡＮ受信機１０６、カメラ１０２及び距離センサ１０３からのデータを取得し、これらデータに基づいて図１０の画像データベース５ａを生成するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。
　図１１における無線ＬＡＮ受信機１０６は図１０における領域検出部１ａを構成し、カメラ１０２は画像取得部２ａを、距離センサ１０３は距離測定部２ｂを構成している。計算機１０４ａは、位置関係計算部３と画像データベース生成部４ａの機能を実現している。これら機能の実現は、位置関係計算部３と画像データベース生成部４ａに対応したソフトウェアを計算機１０４ａのプロセッサが実行することにより構成されるものである。
　次に、実施の形態２の画像データベース構築装置の動作について説明する。
　図１２は、二つの部屋を上から見た状態を示している。部屋１にはアクセスポイント１０７ａとアクセスポイント１０７ｂが設置され、部屋２にはアクセスポイント１０７ｃとアクセスポイント１０７ｄが設置されている。このような二つの部屋の画像データベース構築の動作を図１３のフローチャートを用いて説明する。
　まず、図１２における部屋１のデータを点線１１２のように取得するとして説明する。図１３のフローチャートにおいて、ステップＳＴ２１～ステップＳＴ２３は、実施の形態１の図４におけるステップＳＴ２～ステップＳＴ４と同様であるため、ここでの説明は省略する。実施の形態２では、領域検出部１ａにより、部屋１内の複数の位置でアクセスポイント１０７との通信を行い、そのアクセスポイント１０７からの信号強度（ＲＳＳＩ）を測定する（領域検出ステップ：ステップＳＴ２４）。これにより、それぞれの位置で、その位置におけるアクセスポイント１０７ａ～１０７ｄに対応した信号強度を求めることができる。以上、ステップＳＴ２１～ステップＳＴ２４の処理を一つの部屋に対して行った後、測定を終了する（ステップＳＴ２５－ＹＥＳ）。さらに、位置関係計算部３にて、センサの位置と傾きを、Ｂｕｎｄｌｅ　Ａｄｊｕｓｔｍｅｎｔなどを用いて高精度化する（ステップＳＴ２６）。次に、画像データベース生成部４ａは、ステップＳＴ２４で求めた信号強度を元に、カラー画像と、距離情報のグルーピングを行う（画像データベース生成ステップ：ステップＳＴ２７）。グルーピング方法の一例としては、Ｋ－ｍｅａｎｓ法や、Ｓｐｅｃｔｒａｌ　Ｃｌｕｓｔｅｒｉｎｇなどの、教師なし学習の方法がある。
　その後は、全ての部屋の測定が終了したかを判定し（ステップＳＴ２８）、終了していない場合はステップＳＴ２１からの処理を繰り返し、全ての部屋の測定が終了した場合は、画像データベース構築の動作を終了する。この場合、部屋２の測定が行われていないため、ステップＳＴ２８では「ＮＯ」となり、図１２の点線１１３に示すようにそれぞれの位置でカラー画像と距離情報を取得して、ステップＳＴ２１～ステップＳＴ２７の処理を行う。
　このような方法で、部屋１と部屋２とについて測定し、その測定結果を画像データベース生成部４ａによってデータベース化すると、図１４に示す画像データベースが作成される（画像データベース生成ステップ）。図１４に示す通り、信号毎に、画像、距離情報、位置及び傾きのペアが登録されている。ここで信号１及び信号２とは、図１２に示す部屋１と部屋２とに対応した信号であるが、部屋の大きさやアクセスポイント１０７の数によって必ずしも部屋に対応していない場合もある。例えば、部屋が広くアクセスポイント１０７が数多く存在する場合は、一つの部屋で複数のグループが形成される場合がある。
　次に、実施の形態２の位置及び傾き推定装置について説明する。
　図１５は、位置及び傾き推定装置の構成図である。本実施の形態の位置及び傾き推定装置は、領域検出部１ａ、画像取得部２ａ、データベース照合部１１ａ、位置及び傾き推定部１２ａ、画像データベース５ａを備える。画像取得部２ａ及び領域検出部１ａは、画像データベース構築装置における画像取得部２ａ及び領域検出部１ａと同様である。データベース照合部１１ａは、画像取得部２ａで取得した画像と、画像データベース５ａに格納された画像のうち、領域検出部１ａで検出された信号の値と同一の信号の値を有する画像のみを照合し、いずれかの画像を特定する処理部である。位置及び傾き推定部１２ａは、データベース照合部１１ａで特定された画像の位置と傾きを推定結果として出力する処理部である。また、画像データベース５ａは、画像データベース構築装置１００ａで生成されたデータベースである。
　図１６は、図７に示した位置及び傾き推定装置のハードウェア構成図である。図１６において、位置及び傾き推定装置２００ａは、無線ＬＡＮ受信機１０６、カメラ１０２、計算機２０１ａを備える。無線ＬＡＮ受信機１０６及びカメラ１０２は、図１１に示した画像データベース構築装置１００ａの無線ＬＡＮ受信機１０６及びカメラ１０２と同様である。計算機２０１ａは、無線ＬＡＮ受信機１０６及びカメラ１０２からのデータを取得し、これらデータに基づいて端末の位置と傾きを推定するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。
　図１６における無線ＬＡＮ受信機１０６は図１５における領域検出部１ａを構成し、カメラ１０２は画像取得部２ａを構成している。計算機２０１ａは、データベース照合部１１ａと位置及び傾き推定部１２ａの機能を実現している。これら機能の実現は、データベース照合部１１ａと位置及び傾き推定部１２ａとに対応したソフトウェアを計算機２０１ａのプロセッサが実行することにより構成されるものである。
　図１５の位置及び傾き推定装置を図１６のような構成とした場合、図１５の画像取得部２ａ～位置及び傾き推定部１２ａは次のような機能を有する。画像取得部２ａは端末位置から撮影されたカラー画像を取得する。領域検出部１ａは、各アクセスポイント１０７との信号強度を求める。データベース照合部１１ａは、画像取得部２ａで取得されたカラー画像と領域検出部１ａで測定された信号強度とに基づいて画像データベース５ａの照合を行い、位置及び傾き推定部１２ａは、データベース照合部１１の照合結果の画像の位置と傾きとを推定結果として出力する。
　次に、実施の形態２の位置及び傾き推定装置の動作を図１７のフローチャートを用いて説明する。
　領域検出部１ａがその位置における各アクセスポイントからの信号強度を検出すると（ステップＳＴ３１）、データベース照合部１３ａは、先ず、信号強度に基づく画像データベース５ａの照合を行う（ステップＳＴ３２）。また、画像取得部２ａで画像が取得される（ステップＳＴ３３）と、データベース照合部１３ａは、ステップＳＴ３２の照合結果の中から画像の照合を行う（ステップＳＴ３４）。すなわち、データベース照合部１３ａは、先ず、領域検出部１ａからの信号強度に基づいて端末の位置を大まかに推定し、次に、この大まかな推定結果に対応した画像データと照合を行う。例えば、ステップＳＴ３２による照合では信号１であった場合、図１４に示す画像データベース５ａ中、信号１の画像とのみ照合を行う。そして、信号１のカラー画像の中から、ステップＳＴ３３で取得した画像と最も類似するものを抽出する。次いで、位置及び傾き推定部１４は、ステップＳＴ３４で抽出された画像に付与されている端末の距離情報＋端末の位置ｔと傾きＲに基づいて端末の位置と傾きを推定する（ステップＳＴ３５）。
　このように、実施の形態２の位置及び傾き推定装置によれば、第１の効果として、計算時間の削減がある。本実施の形態では、画像データベース５ａとの照合は特定された信号に対応した画像データのみである。従って、従来に比べて、画像の照合枚数を削減することができる。例えば、上記例では、図１４に示す信号１に対応する複数のカラー画像と、画像取得部２ａで取得した画像とを照合する。信号２に対応するカラー画像とは画像照合しないため、計算時間の削減が見込まれる。第２の効果として、類似シーンの識別性向上がある。例えば、図１２に示す部屋１と部屋２とが同様の模様の内装であった場合でも、各アクセスポイントからの信号強度によってユーザの位置を大まかに判断する前処理を行うため、正確に端末位置の推定を行うことができる。
　なお、上記の画像データベース構築装置及び位置及び傾き推定装置では、領域検出部１ａが検出する信号の値としてＲＳＳＩを用いたが、これに限定されるものではなく、ビーコンとの信号強度、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）の信号強度、アクセスポイントへの距離（ＴｏＦ：Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）及び地磁気センサの測定値のうち、いずれか一つを用いてもよい。
　以上説明したように、実施の形態２の画像データベース構築装置によれば、領域検出部は、複数の位置において、設定された信号の値を領域に対応した値として測定し、画像データベース生成部は、算出部で算出した画像の取得位置及び傾きを、領域検出部で測定された信号の値を用いてグルーピングし、信号の値と、グルーピングされた画像の取得位置及び傾きと、画像とを画像情報として関連付け、画像情報を画像データベースとして生成するようにしたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。
　また、実施の形態２の画像データベース構築装置によれば、領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを設定された信号の値として測定するようにしたので、信号測定のために特別な装置を必要とせず、領域を容易かつ確実に特定することができる。
　また、実施の形態２の位置及び傾き推定装置によれば、領域検出部は、複数の位置において、設定された信号の値を領域に対応した値として測定すると共に、画像データベースは、信号の値を用いてグルーピングされており、データベース照合部は、画像データベースに格納された画像のうち、領域検出部で検出された信号の値と同一の画像のみを照合するようにしたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。
　また、実施の形態２の位置及び傾き推定装置によれば、領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを設定された信号の値として測定するようにしたので、信号測定のために特別な装置を必要とせず、領域を容易かつ確実に特定することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　以上のように、この発明に係る画像データベース構築装置と位置及び傾き推定装置並びに画像データベース構築方法は、予め登録した画像を用いて端末の位置と傾きを求める構成に関するものであり、特定の対象に付加情報を重畳表示するアプリケーションに用いるのに適している。
　１，１ａ　領域検出部、２　センサ情報取得部、２ａ　画像取得部、２ｂ　距離測定部、３　位置関係計算部、４，４ａ　画像データベース生成部、５，５ａ　画像データベース、６　信号測定部、１１，１１ａ　データベース照合部、１２，１２ａ　位置及び傾き推定部１、１００，１００ａ　画像データベース構築装置、１０１　ＲＦＩＤ受信機、１０２　カメラ、１０３　距離センサ、１０４，１０４ａ，２０１，２０１ａ　計算機、１０５　ＲＦＩＤタグ、１０６　無線ＬＡＮ受信機、１０７　アクセスポイント、２００，２００ａ　位置及び傾き推定装置。

Claims (11)

  1. 　撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、
    　前記撮影された画像の撮影対象物と前記撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、
    　前記距離情報に基づいて、前記撮影された画像の撮影位置及び傾きを算出する算出部と、
    　前記撮影された画像の撮影位置及び傾きと、前記撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えた画像データベース構築装置。
  2. 　前記複数の領域は、前記領域検出部で検出する領域と一対一に関連付けられていることを特徴とする請求項１記載の位置及び傾き推定装置。
  3. 　領域検出部はＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を用いて前記領域を検出することを特徴とする請求項２記載の画像データベース構築装置。
  4. 　前記領域検出部は、複数の位置において、設定された信号の値を前記領域に対応した値として測定し、
    　前記画像データベース生成部は、前記算出部で算出した前記画像の取得位置及び傾きを、前記領域検出部で測定された信号の値を用いてグルーピングし、前記信号の値と、前記グルーピングされた前記画像の取得位置及び傾きと、当該画像とを画像情報として関連付け、当該画像情報を画像データベースとして生成することを特徴とする請求項１記載の画像データベース構築装置。
  5. 　前記領域検出部は、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｏｒ）、ビーコンとの信号強度、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）の信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを前記設定された信号の値として測定することを特徴とする請求項４記載の画像データベース構築装置。
  6. 　撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、
    　複数の領域のうちのどの領域に属するかを検出する領域検出部と、
    　撮影対象物の画像を取得する画像取得部と、
    　前記画像取得部で取得した画像と、前記画像データベースに格納された画像のうち、前記領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、
    　前記データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えた位置及び傾き推定装置。
  7. 　前記複数の領域は、前記領域検出部で検出する領域と一対一に関連付けられていることを特徴とする請求項６記載の位置及び傾き推定装置。
  8. 　前記領域検出部はＲＦＩＤを用いて領域を検出することを特徴とする請求項６記載の位置及び傾き推定装置。
  9. 　前記領域検出部は、複数の位置において、設定された信号の値を前記領域に対応した値として測定すると共に、
    　前記画像データベースは、前記信号の値を用いてグルーピングされており、
    　前記データベース照合部は、前記画像データベースに格納された画像のうち、前記領域検出部で検出された信号の値と同一の画像のみを照合することを特徴とする請求項６記載の位置及び傾き推定装置。
  10. 　前記領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを前記設定された信号の値として測定することを特徴とする請求項９記載の位置及び傾き推定装置。
  11. 　請求項１に記載の画像データベース構築装置を用いた画像データベース構築方法であって、
    　撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出ステップと、
    　前記撮影された画像の撮影対象物と前記撮影画像の取得位置との距離を示す距離情報を取得する情報取得ステップと、
    　前記距離情報に基づいて、前記撮影された画像の撮影位置及び傾きを算出する算出ステップと、
    　前記撮影された画像の撮影位置及び傾きと、前記撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成ステップであって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成ステップとを備えた画像データベース構築方法。
PCT/JP2017/005709 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法 WO2018150515A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780086070.5A CN110268438B (zh) 2017-02-16 2017-02-16 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法
JP2019500108A JP6580286B2 (ja) 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法
DE112017006794.4T DE112017006794B4 (de) 2017-02-16 2017-02-16 Verfahren zur Orts- und Neigungsschätzung
US16/474,243 US20190362517A1 (en) 2017-02-16 2017-02-16 Image database creation device, location and inclination estimation device, and image database creation method
PCT/JP2017/005709 WO2018150515A1 (ja) 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005709 WO2018150515A1 (ja) 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法

Publications (1)

Publication Number Publication Date
WO2018150515A1 true WO2018150515A1 (ja) 2018-08-23

Family

ID=63169178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005709 WO2018150515A1 (ja) 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法

Country Status (5)

Country Link
US (1) US20190362517A1 (ja)
JP (1) JP6580286B2 (ja)
CN (1) CN110268438B (ja)
DE (1) DE112017006794B4 (ja)
WO (1) WO2018150515A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11408966B2 (en) * 2018-11-14 2022-08-09 International Business Machines Corporation Location detection using a single beacon
US11810323B2 (en) * 2018-12-28 2023-11-07 Ntt Docomo, Inc. Position estimation system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004191339A (ja) * 2002-12-13 2004-07-08 Sharp Corp 位置情報検索方法、位置情報検索装置、位置情報検索端末、及び、位置情報検索システム
JP2004260304A (ja) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd 画像管理システム
JP2007172197A (ja) * 2005-12-21 2007-07-05 Hitachi Ltd 画像入力装置、画像出力装置及び画像入出力システム
WO2013146582A1 (ja) * 2012-03-29 2013-10-03 日本電気株式会社 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010105633A1 (en) * 2009-03-16 2010-09-23 Nokia Corporation Data processing apparatus and associated user interfaces and methods
US8933993B1 (en) * 2012-01-16 2015-01-13 Google Inc. Hybrid local and cloud based method for pose determination of a mobile device
CN103150330B (zh) * 2013-01-16 2015-12-23 中南大学 一种基于局部对象和块匹配的扫描证书图像检索方法
CN103149222A (zh) * 2013-02-28 2013-06-12 重庆大学 射线实时成像中缺陷检测方法
CN104936283B (zh) 2014-03-21 2018-12-25 中国电信股份有限公司 室内定位方法、服务器和系统
EP3026596A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing System for identifying a location of a mobile tag reader

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004191339A (ja) * 2002-12-13 2004-07-08 Sharp Corp 位置情報検索方法、位置情報検索装置、位置情報検索端末、及び、位置情報検索システム
JP2004260304A (ja) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd 画像管理システム
JP2007172197A (ja) * 2005-12-21 2007-07-05 Hitachi Ltd 画像入力装置、画像出力装置及び画像入出力システム
WO2013146582A1 (ja) * 2012-03-29 2013-10-03 日本電気株式会社 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUKO UEMATSU: "Augmented Reality: Foundation 2: Geometrical Registration Technique", IPSJ MAGAZINE, vol. 51, 15 April 2010 (2010-04-15), pages 373 - 378, ISSN: 0447-8053 *

Also Published As

Publication number Publication date
CN110268438A (zh) 2019-09-20
JP6580286B2 (ja) 2019-09-25
JPWO2018150515A1 (ja) 2019-11-07
DE112017006794B4 (de) 2025-02-06
CN110268438B (zh) 2023-08-25
US20190362517A1 (en) 2019-11-28
DE112017006794T5 (de) 2019-10-10

Similar Documents

Publication Publication Date Title
KR101686171B1 (ko) 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
US9470511B2 (en) Point-to-point measurements using a handheld device
CN100369487C (zh) 物体检测装置、物体检测服务器以及物体检测方法
CN108921894B (zh) 对象定位方法、装置、设备和计算机可读存储介质
CN106291517A (zh) 基于位置与视觉信息优化的室内云机器人角度定位方法
TW201715476A (zh) 運用擴增實境技術之導航系統
KR101885961B1 (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
Ruotsalainen et al. Visual-aided two-dimensional pedestrian indoor navigation with a smartphone
Heya et al. Image processing based indoor localization system for assisting visually impaired people
EP3005238B1 (en) Method and system for coordinating between image sensors
Liu et al. A low-cost and scalable framework to build large-scale localization benchmark for augmented reality
KR101573289B1 (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
Li et al. Joint intrinsic and extrinsic lidar-camera calibration in targetless environments using plane-constrained bundle adjustment
JP6580286B2 (ja) 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法
KR20170058612A (ko) 영상 기반 실내측위 방법 및 그의 시스템
EP3726253A1 (en) Video enhanced location estimates
CN109612455A (zh) 一种室内定位方法及系统
JP7677160B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
TW201621273A (zh) 行動定位裝置及其定位方法
JP7110727B2 (ja) ビーコン発信機位置抽出システム及びビーコン発信機位置抽出方法
US9245343B1 (en) Real-time image geo-registration processing
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
US20220018950A1 (en) Indoor device localization
US10965876B2 (en) Imaging system, imaging method, and not-transitory recording medium
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896865

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500108

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17896865

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 112017006794

Country of ref document: DE