WO2021176837A1 - 位置推定装置 - Google Patents

位置推定装置 Download PDF

Info

Publication number
WO2021176837A1
WO2021176837A1 PCT/JP2021/000317 JP2021000317W WO2021176837A1 WO 2021176837 A1 WO2021176837 A1 WO 2021176837A1 JP 2021000317 W JP2021000317 W JP 2021000317W WO 2021176837 A1 WO2021176837 A1 WO 2021176837A1
Authority
WO
WIPO (PCT)
Prior art keywords
position estimation
unit
building
positioning object
estimation device
Prior art date
Application number
PCT/JP2021/000317
Other languages
English (en)
French (fr)
Inventor
川浦　健央
智晴 中野
利宏 妻鹿
智祐 成井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Publication of WO2021176837A1 publication Critical patent/WO2021176837A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Definitions

  • This disclosure relates to a position estimation device.
  • the efficiency of the maintenance work can be improved by obtaining the position coordinates of the workers in the building. Specifically, based on the position coordinates of the worker in the building, it is possible to remotely instruct the worker of the route to the equipment to be maintained.
  • a mobile communication terminal such as a smartphone is used.
  • a worker is made to carry a communication terminal, and the position coordinates of the worker are obtained by a sensor or the like mounted on the communication terminal.
  • GPS Global Positioning System
  • GPS Global Positioning System
  • PDR Pedestrian autonomous navigation
  • a positioning method for position coordinates positioning by image matching, as exemplified in Patent Document 1, is known.
  • a worker uses the camera function of a communication terminal to take an image of the surroundings.
  • the imaging position coordinates can be obtained by comparing this captured image with building structure data such as 3D-CAD (Three-Dimensional Computer-Aided Design) data or BIM (Building Information Modeling) data of the building.
  • 3D-CAD Three-CAD (Three-Dimensional Computer-Aided Design) data
  • BIM Building Information Modeling
  • the position or a plurality of aspects of the present disclosure is intended to make it possible to reduce the calculation load of position estimation while suppressing a decrease in accuracy of position estimation.
  • the position estimation device is a position estimation device carried in a building, and includes a PDR position estimation unit that estimates the position coordinates in the building by pedestrian autonomous navigation and the inside of the building.
  • the distance between the imaging unit to be imaged, the position coordinates of the positioning object selected from the equipment in the building based on the structural data of the building, and the current position coordinates estimated by the PDR position estimation unit is a predetermined proximity distance.
  • a determination unit that executes an operation of prompting the carrier to image the positioning object by the imaging unit, the positioning object included in the image captured in the building captured by the imaging unit, and the above. It is provided with an image matching position estimation unit that estimates the imaging position coordinates by performing image matching with the positioning object included in the structural data of the building.
  • FIG. 1 It is a figure which illustrates the hardware configuration of the position estimation apparatus which concerns on this embodiment. It is a figure which illustrates the reference coordinate axis which becomes the reference of the positioning of the position estimation apparatus which concerns on this embodiment. It is a figure which illustrates the functional block of the position estimation apparatus which concerns on this embodiment. It is a figure which illustrates 3D data as structural data of a building. It is a figure exemplifying the two-dimensional data as the structural data of a building. It is a figure which illustrates the position measurement process which concerns on this embodiment. It is a figure which illustrates the position estimation flow which concerns on this embodiment. It is a figure which exemplifies the image pickup function notification for prompting a carrier to take an image.
  • FIG. 1 illustrates the hardware configuration of the position estimation device 10 according to the present embodiment.
  • the position estimation device 10 may be a communication terminal that can be carried by a worker who performs maintenance and inspection of a building, and may be a portable communication terminal such as a smartphone or a tablet terminal.
  • the position estimation device 10 is carried by a worker and used in a building to be maintained and inspected.
  • the position estimation device 10 includes a CPU (Central Processing Unit) 12, an acceleration sensor 14, a gyro sensor 16, a geomagnetic sensor 18, an imager 20, a GPS receiver 22, a vibrator 24, an input device 26, a system memory 28, and a storage 30. It includes a GPU (Graphics Processing Unit) 32, a frame memory 34, a RAMDAC (Random Access Memory Digital-to-Analog Converter) 36, and a display device 38.
  • the CPU 12 is a central arithmetic element that executes the position estimation process according to the present embodiment.
  • the system memory 28 is a storage device used by an OS (Operating System) executed by the CPU 12.
  • the storage 30 is an external storage device, and stores, for example, a program for executing a position estimation process described later.
  • the GPU 32 is an arithmetic unit for image processing, and is mainly operated when performing position estimation by image matching, which will be described later.
  • the frame memory 34 is a storage device that stores an image captured by the imager 20 and further processed by the GPU 32.
  • the RAMDAC 36 converts the image data stored in the frame memory 34 into an analog signal for the display device 38, which is an analog display.
  • the acceleration sensor 14 measures the acceleration of the position estimation device 10. As illustrated in FIG. 2, the acceleration sensor 14 can measure accelerations in three orthogonal axes, respectively. That is, the accelerations in the axial directions of the X-axis and the Y-axis, which are parallel to the display surface of the display device 38 and whose axes are orthogonal to each other, and the Z-axis, which is orthogonal to the display surface of the display device 38, are the acceleration sensor 14. Measured by.
  • the gyro sensor 16 measures the angular velocity of the position estimation device 10.
  • the gyro sensor 16 measures rotation around three orthogonal axes, as illustrated in FIG. That is, the pitch angle, which is the rotation around the X-axis, the roll angle, which is the rotation around the Y-axis, and the azimus angle (also called the yaw angle), which is the rotation around the Z-axis, are measured by the gyro sensor 16. Further, the geomagnetic sensor 18 detects the inclination of the position estimation device 10 from the magnetic north.
  • the acceleration sensor 14, the gyro sensor 16, and the geomagnetic sensor 18 are composed of so-called micromachines such as MEMS (Micro Electro Mechanical Systems), for example.
  • the GPS receiver 22 receives a GPS signal, which is a positioning signal, from a GPS satellite.
  • GPS signals include latitude, longitude, and altitude position coordinate information. As will be described later, it becomes difficult to receive GPS signals from GPS satellites indoors. Therefore, the position coordinate estimation based on the GPS signal is mainly performed when the position estimation device 10 is carried outdoors.
  • the imager 20 is, for example, a camera device mounted on a smartphone, and is capable of capturing a still image and a moving image of the inside of a building.
  • the imager 20 includes, for example, an image pickup device such as a CMOS (Complementary Metal Oxide Sensor) or a CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Sensor
  • CCD Charge Coupled Device
  • the input device 26 can input characters or the altitude of a positioning object described later.
  • the input device 26 may be a touch panel integrated with the display device 38.
  • the display device 38 can display an image captured by the image pickup device 20, a character message input by the input device 26, an attribute of a positioning object described later, and the like.
  • the vibrator 24 is, for example, a vibrator, and is vibration-driven by a positioning calculation switching determination unit 44 (see FIG. 3) at an imaging point of a positioning object, as will be described later.
  • the vibrator 24 is composed of, for example, a linear resonance actuator, an eccentric rotating mass type motor, or a piezo actuator.
  • FIG. 3 illustrates a functional block diagram of the position estimation device 10.
  • the CPU 12 or the GPU 32 is a position estimation program stored in the system memory 28 or the storage 30, or stored in a non-transient storage medium such as a DVD or a hard disk of a computer. It consists of executing.
  • FIG. 3 shows a state in which a part of the hardware configuration illustrated in FIG. 1 and a functional block are mixed.
  • the position estimation device 10 includes an acceleration sensor 14, a gyro sensor 16, and a geomagnetic sensor 18 as a hardware configuration.
  • the position estimation device 10 includes a measurement unit 15, an imaging unit 21, a GPS reception unit 23, an input unit 27, a vibration unit 25, a display unit 39, a PDR position estimation unit 40, and a NW (Neural Network) storage unit 41.
  • Image matching position estimation unit 42, positioning calculation switching determination unit 44 building structure data storage unit 46, positioning object selection unit 48, position coordinate storage unit 50, message display control unit 52, and GPS signal determination unit 54.
  • the measuring unit 15 includes an acceleration sensor 14, a gyro sensor 16, and a geomagnetic sensor 18.
  • the image pickup unit 21 is composed of an image pickup device 20.
  • the GPS receiving unit 23 is a receiving unit composed of the GPS receiver 22.
  • the input unit 27 is composed of an input device 26.
  • the vibrating unit 25 is composed of a vibrating device 24.
  • the display unit 39 is composed of a display device 38.
  • the PDR position estimation unit 40, image matching position estimation unit 42, positioning calculation switching determination unit 44, positioning object selection unit 48, position coordinate storage unit 50, message display control unit 52, and GPS signal determination unit 54 are CPU 12 or GPU 32. Is configured by reading the program stored in the storage 30 into the system memory 28 and executing the program. Further, the GPU 32 appropriately uses the frame memory 34 or the like when executing the program.
  • a program may be provided through a network, or may be recorded and provided on a recording medium. That is, such a program may be provided as, for example, a program product.
  • the NW storage unit 41 and the building structure data storage unit 46 are composed of the storage 30.
  • the PDR position estimation unit 40 estimates the position coordinates in the building by pedestrian autonomous navigation. Details of position coordinate estimation based on pedestrian autonomous navigation will be described later.
  • the NW storage unit 41 stores, for example, a neural network for image recognition that has been learned by an external server or the like. For example, segmented and annotated data of each equipment in the image, which is image data in the building, is prepared as training data. Using this training data, a multi-layer neural network machine-learned by supervised learning is formed. This learned neural network is stored in the NW storage unit 41.
  • the image matching position estimation unit 42 refers to the neural network stored in the NW storage unit 41, and refers to the positioning object included in the captured image in the building captured by the imaging unit 21 and the building structure data storage unit 46.
  • the imaging position coordinates are estimated by performing image matching with the positioning object in the structural data of the building stored in. The details of the position coordinate estimation by image matching will be described later.
  • the positioning calculation switching determination unit 44 determines whether to use the PDR position estimation unit 40 or the image matching position estimation unit 42 when estimating the position coordinates of the position estimation device 10 according to the flowchart of FIG. 7, which will be described later. ..
  • the building structure data storage unit 46 stores the structure data of the building where the worker (the carrier of the position estimation device 10) performs maintenance and inspection work.
  • the structural data of the building for example, the building structure data storage unit 46 stores the three-dimensional structure data as illustrated in FIG.
  • This three-dimensional storage data may be, for example, 3D-CAD data.
  • the 3D-CAD data includes the three-dimensional structure and arrangement information of the movable equipment such as the desk 66 or the chair 68 in addition to the fixedly arranged equipment such as the wall-mounted guide light 60, the door 62 or the pillar 64. ..
  • the three-dimensional coordinates of these facilities installed in the building are stored in the world coordinate system.
  • the guide light 60 a group of three-dimensional coordinate points of the actual dimensions of the guide light 60 is stored in the world coordinate system.
  • an arbitrary point of the building is the origin, and the distance of each equipment from this origin is expressed in a three-dimensional Cartesian coordinate system.
  • the building structure data storage unit 46 stores the attributes of each facility in addition to the three-dimensional coordinate point cloud. For example, attributes such as equipment names such as guide lights or doors are stored in the building structure data storage unit 46 together with the three-dimensional coordinate point cloud.
  • the attribute information includes a unique (non-overlapping) facility ID for each facility.
  • the building structure data storage unit 46 may store BIM data instead of the 3D-CAD data.
  • the BIM data includes management information such as cost, installation date, maintenance and inspection date, in addition to the three-dimensional coordinate point cloud and attributes of each facility as described above.
  • a two-dimensional structure such as 2D-CAD (Two-Dimensional Computer-Aided Design) data as illustrated in FIG. 5 or the like is stored. Data may be stored.
  • plan view data is constructed for each floor.
  • the distance of each facility from the origin of the two-dimensional coordinates common to each floor is expressed by a two-dimensional coordinate point cloud.
  • the two-dimensional structure and arrangement information of the movable equipment such as the desk 66 or the chair 68 are also included. included.
  • the positioning object selection unit 48 selects the positioning object Obj_k required for image matching position estimation. As will be described later, the positioning object selection unit 48 selects a plurality of positioning objects Obj_k from the equipment in the building based on the structural data of the building stored in the building structure data storage unit 46.
  • FIG. 6 illustrates a position estimation process using the position estimation device 10 according to the present embodiment.
  • the position estimation device 10 is carried by the worker 80 and enters the building 100 from the outside. Outdoors, the position coordinates of the position estimation device 10 are estimated by receiving GPS signals from GPS satellites 82. When the position estimation device 10 enters the building 100 and it becomes difficult to receive GPS signals, the position estimation flow illustrated in FIG. 7 is executed.
  • position estimation by image matching and position estimation based on pedestrian autonomous navigation are alternately executed.
  • the position estimation by image matching is intermittently executed, the calculation load can be reduced as compared with the case where the position estimation by image matching is always performed. As the calculation load is reduced, the power consumption of the portable position estimation device 10 can be suppressed.
  • a positioning object is selected when executing the position estimation flow according to this embodiment.
  • the positioning object refers to the equipment that is the target (or reference) of image matching among the equipment in the building.
  • the positioning object may be equipment fixedly arranged in the building, and for example, guide lights 60, 70, door 62, pillar 64, and the like are selected as candidates for the positioning object.
  • the image captured by the imaging unit 21 includes the entire image of the positioning object
  • the small equipment is more suitable as the positioning object than the large equipment.
  • the wall-mounted guide light 60 and the indoor unit 72 of the air conditioner are selected as the positioning objects.
  • the positioning object is selected by the positioning object selection unit 48 (see FIG. 3).
  • the positioning object selection unit 48 stores a correction interval L, which is an interval for performing position estimation by image matching. For example, 10 m is set as the correction interval L. In this case, the position estimation by image matching is executed every 10 m, and the position estimation based on the pedestrian autonomous navigation is executed during that time.
  • FIG. 7 illustrates the position estimation flow according to the present embodiment.
  • the current position coordinates of the position estimation device 10 are transmitted to the positioning calculation switching determination unit 44 (FIG. 3) from the PDR position estimation unit 40, the image matching position estimation unit 42, and the GPS signal determination unit 54 when outdoors. ..
  • the positioning calculation switching determination unit 44 obtains the separation distance D between the current position (X, Y, Z) of the position estimation device 10 and the three-dimensional coordinates (X0, Y0, Z0) of the positioning object Obj_k closest to the traveling direction (X0, Y0, Z0). S20).
  • the direction of travel can be obtained from the difference between the current position and the position immediately before it.
  • the current position coordinates of the position estimation device 10 may be, for example, the focal coordinates in the imaging unit 21 of the position estimation device 10.
  • the three-dimensional coordinates (X0, Y0, Z0) of the positioning object Obj_k which is a three-dimensional point cloud, may be a representative point (for example, the center of gravity point) of the positioning object Obj_k.
  • the positioning calculation switching determination unit 44 determines the separation distance D between the current position (X, Y, Z) of the position estimation device 10 and the three-dimensional coordinates (X0, Y0, Z0) of the positioning object Obj_k closest to the traveling direction. Determines whether or not exceeds a predetermined proximity distance Dth (S22).
  • the positioning calculation switching determination unit 44 causes the PDR position estimation unit to execute the position coordinate estimation based on the pedestrian autonomous navigation (S30).
  • the positioning calculation switching determination unit 44 executes an operation of prompting the worker (carryer) to image the positioning object by the imaging unit 21 (S24).
  • This operation is shown as an imaging function notification in FIG.
  • the image pickup function notification may be, for example, a notification for displaying a message (imaging message) prompting the display unit 39 (also serving as the input unit 27) for imaging, as illustrated in FIG.
  • the attributes (guide lights, etc.) of the positioning object to be imaged may be displayed in the image pickup message.
  • an alarm function may be executed in order to make the worker (carryer) aware of the captured message.
  • the positioning calculation switching determination unit 44 outputs a vibration command to the vibration unit 25.
  • an alarm sound may be output from the built-in speaker (not shown) of the smartphone, which is the position estimation device 10.
  • the positioning calculation switching determination unit 44 may activate the imaging function of the imaging unit 21 at the same time as displaying the imaging message and executing the alarm function. In this way, the worker can surely perform the imaging of the positioning object.
  • the positioning calculation switching determination unit 44 determines whether or not the imaging by the imaging unit 21 is completed (S26). If imaging has not been performed yet, the imaging function notification (imaging message display and alarm output) is continued.
  • the image matching position estimation is executed based on the captured image (S28).
  • the positioning calculation switching determination unit 44 outputs a position estimation calculation command to the image matching position estimation unit 42.
  • the positioning calculation switching determination unit 44 outputs a calculation command (position estimation command) to either the PDR position estimation unit 40 or the image matching position estimation unit 42, and also outputs the PDR position estimation unit 40 and the image matching position estimation unit 42.
  • a pause command for calculation (position estimation) may be sent to the other side of 42.
  • the positions of the PDR position estimation unit 40 and the image matching position estimation unit 42 are determined according to the distance D between the position estimation device 10 and the positioning object Obj_k. Estimates are switched. Therefore, for example, when the distance D between the position estimation device 10 and the positioning object Obj_k exceeds the threshold distance Dth, the PDR position estimation unit 40 obtains the current position coordinates as described above. Further, when the distance D between the obtained current position coordinates and the position coordinates of the positioning object Obj_k becomes the proximity distance Dth or less, the positioning calculation switching determination unit 44 outputs an imaging function notification, and further, an image matching position estimation unit.
  • the current position coordinates (imaging position coordinates) are estimated by 42.
  • FIG. 9 illustrates a flow of position coordinate estimation using image matching.
  • the imaging unit 21 and its inclusion are included by solving the so-called PnP problem (Perceptive n-Point) of obtaining an image of an object whose position and shape are known and the position and orientation of the imaging unit 21 that captures the image.
  • the position coordinates (imaging position coordinates) of the position estimation device 10 can be estimated.
  • the image matching position estimation unit 42 acquires an image captured by the imaging unit 21, for example, as shown in FIG. 10 in the building. Further, the image matching position estimation unit 42 extracts the positioning object Obj_k in the captured image. For example, the image matching position estimation unit 42 performs segmentation and annotation on the captured image using the trained neural network, and identifies the guide light 60, which is the positioning object Obj_k, from the captured image. In other words, the image matching position estimation unit 42 identifies the image area of the guide light 60 from the captured image, and recognizes that the object in the further specified image area is the guide light 60 of the positioning object Obj_k.
  • the image matching position estimation unit 42 uses the two-dimensional coordinates (u) of the guide light 60', which is the positioning object Obj_k in the recognized captured image, at a specific point on the projection surface P1. , V) is obtained (S40).
  • the specific points may be arbitrary points in the positioning object Obj_k.
  • the four corners of the front rectangle on which the figure is drawn may be designated as the specific points.
  • the image matching position estimation unit 42 calls the building structure data from the building structure data storage unit 46, and extracts the equipment selected for the positioning object Obj_k, which is the same as the one captured in the building structure data space. (S42). For example, the image matching position estimation unit 42 acquires the attribute information of the currently selected positioning object Obj_k from the positioning object selection unit 48, and has the same equipment as the equipment selected for the positioning object Obj_k (for example, the same equipment ID). The equipment (to have) is extracted as the positioning object Obj_k in the building structure data.
  • the image matching position estimation unit 42 obtains the three-dimensional coordinates (X, Y, Z) of the specific point of the positioning object Obj_k extracted from the building structure data (S44). For example, the four corners of the rectangle in front of the positioning object Obj_k are selected as specific points.
  • the image matching position estimation unit 42 temporarily inputs the imaging position coordinates (absolute coordinates) of the imaging unit 21 (S46).
  • the imaging position coordinates refer to the three-dimensional position coordinates and the posture in the world coordinate system of the imaging unit 21.
  • a mathematical formula including the imaging position coordinates is described as the following mathematical formula (1).
  • the imaging position coordinates of the imaging unit 21 may be the focal coordinates in the imaging unit 21.
  • the coordinates (u', v') on the projection plane can be obtained (S48).
  • the image matching position estimation unit 42 obtains the difference between the obtained coordinates (u', v') and the specific point coordinates (u, v) on the projection surface of the positioning object Obj_k, and the difference is equal to or less than a predetermined threshold value. It is determined whether or not it has become (S50).
  • the flow returns to step S46, and the temporary input of the imaging position coordinates is performed again.
  • the image matching position estimation unit 42 is used to obtain the coordinates (u', v').
  • the image pickup position coordinates are taken as the image pickup position coordinates of the image pickup unit 21 and the position estimation device 10 including the image pickup unit 21 (S52).
  • the estimation of the absolute coordinates by this image matching may be executed for a plurality of specific points of one positioning object Obj_k.
  • the imaging position coordinates of the imaging unit 21 may be obtained by solving the P4P problem in which four specific points are extracted from one positioning object Obj_k and the position coordinates are obtained for each of them.
  • the position estimation device 10 is provided with an altitude input unit for inputting the altitude of the positioning object Obj_k.
  • the input unit 27 (see FIG. 3) may have the function of the altitude input unit.
  • the floor height of the floor corresponding to the floor plan is selected. Is input from the input unit 27.
  • FIG. 12 illustrates an image matching position estimation flow when two-dimensional structure data is used as building structure data.
  • the three-dimensional coordinate input step (S44) is replaced with the two-dimensional coordinate input step (S43) as compared with the image matching position estimation flow of FIG. 9, and the altitude (Z) of the specific point of the positioning object Obj_k. ) Is added. Since the processing contents of the steps having the same numbers as those in FIG. 9 are the same, the description thereof will be omitted below as appropriate.
  • the altitude (Z) of the specific point is carried by the position estimation device 10. It is input by a person (worker) (S45). As a result, the three-dimensional coordinates of the specific point are obtained, and the flow is further advanced to the temporary input (S46) of the imaging position coordinates.
  • FIG. 13 illustrates a position estimation flow using pedestrian autonomous navigation by the PDR position estimation unit 40 (see FIG. 3).
  • the PDR position estimation unit 40 measures the gravitational acceleration from the measured value of the acceleration sensor 14 (S60).
  • the gravitational acceleration is obtained based on the acceleration in the X-axis, Y-axis, and Z-axis directions exemplified in FIG. 2 and the initial posture of the position estimation device 10.
  • the initial attitude refers to the combined direction of the pitch angle around the X-axis, the roll angle around the Y-axis, and the azimuth angle around the Z-axis. You can get a posture.
  • the PDR position estimation unit 40 obtains the rotation matrix R shown in the following mathematical formula (2) (S62).
  • Rx ( ⁇ ) indicates a rotation matrix centered on the X axis
  • Ry ( ⁇ ) indicates a rotation matrix centered on the Y axis
  • Rz ( ⁇ ) indicates a rotation matrix centered on the Z axis. ..
  • the PDR position estimation unit 40 converts the acceleration (rawAx, rawAy, rawAz) measured by the acceleration sensor 14 into the acceleration (Ax, Ay, Az) of the world coordinate system using the following mathematical formula (3) (S64). ).
  • the PDR position estimation unit 40 uses the following mathematical formula (4) to subtract the gravitational acceleration (G0x, G0y, G0z) in each axial direction from the acceleration (Ax, Ay, Az), and the acceleration (ax, ay, az) is obtained (S66).
  • the PDR position estimation unit 40 double-integrates the acceleration (ax, ay, az) using the following mathematical formula (5) (S68). As a result, the relative position (dx, dy, dz) of the position estimation device 10 can be obtained (S70).
  • the relative position (dx, dy, dz) represents the displacement of the position estimation device 10 before the measurement by the acceleration sensor 14 from the position coordinates. Therefore, the PDR position estimation unit 40 obtains the current position coordinates B (X, Y, Z) by adding the obtained relative positions (dx, dy, dz) to the position coordinates (S72).
  • the position estimation using the pedestrian autonomous navigation is performed by measuring 6 points (Rx (-pitch), Ry (-roll), Rz (-azimuth), rawAx) obtained from the acceleration sensor 14 and the gyro sensor 16. , RawAy, rawAz), it is understood that the calculation load is lighter than the image matching position estimation that requires segmentation or annotation of the captured image.
  • ⁇ Work support function using position coordinates> By performing the position estimation as described above, various work support can be executed. For example, by obtaining the position coordinates of the position estimation device 10, the location of the worker in the building can be remotely grasped.
  • the smartphone which is the position estimation device 10
  • the smartphone can be communicated from a remote management center, and the worker who carries the smartphone can be instructed on the route to the equipment to be maintained and inspected.
  • maintenance work can be shared among a plurality of workers.
  • the worker inputs a message regarding the equipment to be maintained and inspected from the input unit of the position estimation device 10.
  • the maintenance / inspection message “compressor” relating to the outdoor unit 74 is set in a state where the angle of the imaging unit 21 of the position estimation device 10 is determined so that the image of the outdoor unit 74 is displayed on the display unit 39. "The wiring is being removed due to a machine failure" is input from the input unit 27.
  • the input maintenance / inspection message is stored in the message display control unit 52 (see FIG. 3) in association with the input position coordinates and their posture (angle).
  • the maintenance / inspection message, the input position coordinates, and the posture are also shared with the other position estimation device 10.
  • the message display control unit 52 changes the display unit.
  • the maintenance / inspection message is superimposed and displayed on the captured image displayed on the 39. As a result, the maintenance and inspection work contents for the outdoor unit 74 can be shared.
  • the position estimation in the building is mainly performed.
  • the maintenance and inspection of the building as illustrated in FIG. 15, the maintenance and inspection of the outdoor unit 74 and the like installed on the roof of the building 100 may be performed.
  • position estimation based on GPS signals may be performed in addition to position estimation based on pedestrian autonomous navigation and image matching.
  • FIG. 16 illustrates a flowchart when performing position estimation based on GPS signals in addition to position estimation based on pedestrian autonomous navigation and image matching. This flowchart is obtained by adding steps S80 to S86 to the flowchart of FIG. 7. Since the processing contents of the steps overlapping with FIG. 7 are the same, the description thereof will be omitted as appropriate.
  • the GPS signal determining unit 54 determines whether or not the intensity of the GPS signal is less than a predetermined intensity threshold. (S80).
  • step S20 determines whether to perform position estimation by pedestrian autonomous navigation or position estimation by image matching.
  • step S80 when the intensity of the GPS signal is equal to or higher than the predetermined intensity threshold value, the GPS signal determination unit 54 determines whether or not the current altitude Z of the position estimation device 10 is equal to or lower than the predetermined threshold altitude Zth. (S82).
  • the GPS signal determination unit 54 discards the received GPS signal and advances the flow to step S20 (S84). That is, the position estimation by the GPS signal is suspended.
  • the GPS signal determination unit 54 stores the latitude, longitude, and altitude information obtained from the received GPS signal in the position coordinate storage unit 50. Send to. As a result, the current position coordinates of the position estimation device 10 are updated (S86).
  • the GPS signal determination unit 54 sends the acceptance / rejection of the GPS signal to the positioning calculation switching determination unit 44.
  • the GPS signal determination unit 54 transmits a reception load notification to the positioning calculation switching determination unit 44.
  • the positioning calculation switching determination unit 44 determines whether to perform position estimation by pedestrian autonomous navigation or position estimation by image matching.
  • the acceptance notification is transmitted from the GPS signal determination unit 54 to the positioning calculation switching determination unit 44.
  • the positioning calculation switching determination unit 44 suspends the switching determination of position estimation (pedestrian autonomous navigation / image matching).
  • a plurality of positioning objects Obj_k have been selected, but in a small building or the like, only one positioning object Obj may be selected.
  • the guide light 60 provided at the entrance of the building is selected as the positioning object Obj.
  • the position estimation of the position estimation device 10 may be performed only by the position estimation by the pedestrian autonomous navigation.
  • the device includes a PDR position estimation unit, an imaging unit, a determination unit, and an image matching position estimation unit.
  • the PDR position estimation unit estimates the position coordinates in the building by pedestrian autonomous navigation.
  • the imaging unit images the inside of the building.
  • the determination unit is used when the distance between the position coordinates of the positioning object selected from the equipment in the building based on the structural data of the building and the current position coordinates estimated by the PDR position estimation unit is less than or equal to the predetermined proximity distance.
  • the operation of prompting the carrier to image the positioning object by the image pickup unit is executed.
  • the image matching position estimation unit estimates the imaging position coordinates by performing image matching between the positioning object included in the image captured in the building captured by the imaging unit and the positioning object included in the structural data of the building.
  • the position coordinate estimation by pedestrian autonomous navigation and the position coordinate estimation by image matching with the positioning object are performed in combination.
  • the error due to the position coordinate estimation by pedestrian autonomous navigation is corrected by the position coordinate estimation by image matching.
  • the position coordinate estimation by image matching is executed intermittently, the calculation load of the position estimation device is reduced as compared with the case where the estimation is always executed.
  • an object selection unit for selecting a positioning object may be provided.
  • the object selection unit selects a plurality of positioning objects according to a predetermined correction interval.
  • a display unit that displays the attributes of the positioning object may be provided when the distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes equal to or less than the close distance.
  • the image capture target is notified to the carrier, and the positioning object can be reliably imaged.
  • an input unit and a display control unit may be provided.
  • a message is input to the input section.
  • the display control unit causes the display unit to superimpose the message on the captured image in the building imaged at the input position coordinates. ..
  • each position estimation device When a plurality of workers who perform maintenance and inspection of a building carry their own position estimation devices, the above-mentioned superimposed display function is provided in each position estimation device, so that a message such as the work content in the input position coordinates can be sent. Can be shared among workers.
  • a structural data storage unit for storing 3D-CAD data or BIM data may be provided as the structural data of the building.
  • a structural data storage unit for storing 2D-CAD data and an altitude input unit for inputting the altitude of the positioning object may be provided as the structural data of the building.
  • the determination unit suspends the position estimation by the PDR position estimation unit when the distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes equal to or less than a predetermined proximity distance.
  • the position estimation by the image matching position estimation unit may be executed.
  • a receiving unit that receives GPS signals and a GPS signal determination unit that suspends position estimation by GPS signals when the altitude of the current position coordinates exceeds a predetermined threshold value may be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)

Abstract

ＰＤＲ位置推定部（４０）は、歩行者自律航法により建物内の位置座標推定を行う。撮像部（２１）は、建物内を撮像する。測位演算切替判定部（４４）は、建物の構造データに基づいて建物内の設備から選択された測位オブジェクトの位置座標と、ＰＤＲ位置推定部（４０）により推定された現在位置座標との距離が所定の近接距離以下になった時に、撮像部（２１）による測位オブジェクトの撮像を携行者に促す動作を実行する。画像マッチング位置推定部（４２）は、撮像部（２１）により撮像された建物内の撮像画像に含まれる測位オブジェクトと、建物の構造データに含まれる測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する。

Description

位置推定装置
　本開示は、位置推定装置に関する。
　例えば、建物内の保守作業を行う際に、当該建物内の作業員の位置座標を求めることで、保守作業の効率化が図られる。具体的には、建物内の作業員の位置座標をもとに、遠隔から作業員に対して保守対象の設備までの経路を指示することができる。
　作業員の位置座標を求めるデバイスとして、例えば、スマートフォン等の携帯通信端末が用いられる。作業員に通信端末を携行させ、当該通信端末に搭載されたセンサ等により、作業員の位置座標が求められる。
　例えば、通信端末を用いた位置座標の測位システムとして、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）が知られている。
　また、位置座標の測定手法として、歩行者自律航法（ＰＤＲ）が知られているが、ＰＤＲでは、加速度センサ、磁気センサ又はジャイロセンサによって、位置の変位が求められる。
　さらに、位置座標の測位手法として、例えば、特許文献１に例示されるような、画像マッチングによる測位が知られている。例えば、作業員が通信端末のカメラ機能を用いて周囲を撮像する。この撮像画像と、建物の３Ｄ－ＣＡＤ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ　Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データ又はＢＩＭ（Ｂｕｉｌｄｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｏｄｅｌｉｎｇ）データ等の建物構造データとを対比することで、撮像位置座標が求められる。
特開２０１８－１３２５２８号公報
　しかしながら、作業員が建物内にいる場合、ＧＰＳ衛星からの信号（ＧＰＳ信号）を通信端末が受信し難くなるため、位置推定ができなくなる。また、ＰＤＡによる位置推定は、センサの誤差が蓄積されるため、位置推定が行われる距離が長くなるほど推定精度が低下する。さらに、画像マッチングによる位置推定を行う場合、ニューラルネットワーク等の、人工知能（ＡＩ）を用いた演算が実行される。この演算は比較的負荷が大きく、画像マッチングによる位置推定を常時行う場合、通信端末の演算負荷が過大となる。
　そこで、本開示の位置又は複数の態様は、位置推定の精度低下を抑制しつつ、位置推定の演算負荷の軽減を可能とすることを目的とする。
　本開示の一態様に係る位置推定装置は、建物内に携行される、位置推定装置であって、歩行者自律航法により前記建物内の位置座標推定を行うＰＤＲ位置推定部と、前記建物内を撮像する撮像部と、前記建物の構造データに基づいて前記建物内の設備から選択された測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、前記撮像部による前記測位オブジェクトの撮像を携行者に促す動作を実行する判定部と、前記撮像部により撮像された前記建物内の撮像画像に含まれる前記測位オブジェクトと、前記建物の構造データに含まれる前記測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する画像マッチング位置推定部と、を備える。
　本開示の一又は複数の態様によれば、位置推定の精度低下を抑制しつつ、通信端末の演算負荷が軽減可能となる。
本実施形態に係る位置推定装置のハードウェア構成を例示する図である。 本実施形態に係る位置推定装置の測位の基準となる基準座標軸を例示する図である。 本実施形態に係る位置推定装置の機能ブロックを例示する図である。 建物の構造データとして、３次元データを例示する図である。 建物の構造データとして、２次元データを例示する図である。 本実施形態に係る位置測定プロセスを例示する図である。 本実施形態に係る位置推定フローを例示する図である。 携行者に撮像を促すための、撮像機能通知を例示する図である。 画像マッチングによる位置推定フローを例示する図である。 建物内の撮像画像を例示する図である。 ＰｎＰ問題に基づく位置推定プロセスを説明する図である。 ２次元データを用いた画像マッチングによる位置推定フローを例示する図である。 歩行者自律航法に基づく位置推定フローを例示する図である。 撮像画像にメッセージが重畳表示されたときの例を示す図である。 本実施形態に係る位置測定プロセスの別例を示す図である。 ＧＰＳ信号に基づく位置推定の可否を判定するフローを例示する図である。
　図１には、本実施形態に係る位置推定装置１０のハードウェア構成が例示される。位置推定装置１０は、建物の保守点検を行う作業員が携行可能な通信端末であってよく、例えば、スマートフォン又はタブレット端末等の、携帯用の通信端末であってよい。例えば、位置推定装置１０は、作業員に携行され、保守点検対象の建物内にて使用される。
　位置推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２、加速度センサ１４、ジャイロセンサ１６、地磁気センサ１８、撮像器２０、ＧＰＳ受信機２２、振動器２４、入力装置２６、システムメモリ２８、ストレージ３０、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３２、フレームメモリ３４、ＲＡＭＤＡＣ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ　Ｄｉｇｉｔａｌ－ｔｏ－Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）３６、及び表示装置３８を備える。
　ＣＰＵ１２は、本実施形態に係る位置推定プロセスを実行する中心的な演算素子である。
　システムメモリ２８は、ＣＰＵ１２によって実行されるＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）が使用する記憶装置である。
　ストレージ３０は、外部記憶装置であって、例えば、後述する位置推定プロセスを実行するためのプログラムが記憶される。
　ＧＰＵ３２は、画像処理用の演算装置であって、後述する画像マッチングによる位置推定を行う際に主に稼働される。フレームメモリ３４は、撮像器２０により撮像されさらにＧＰＵ３２により演算処理された画像を記憶する記憶装置である。
　ＲＡＭＤＡＣ３６は、フレームメモリ３４に記憶された画像データを、アナログディスプレイである表示装置３８向けのアナログ信号に変換する。
　加速度センサ１４は、位置推定装置１０の加速度を測定する。加速度センサ１４は、図２に例示されるように、直交する３軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示装置３８の表示面に平行であって、軸同士が直交するＸ軸及びＹ軸、並びに、表示装置３８の表示面に直交するＺ軸のそれぞれの軸方向の加速度が、加速度センサ１４によって測定される。
　ジャイロセンサ１６は、位置推定装置１０の角速度を測定する。ジャイロセンサ１６は、図２に例示されるように、直交する３軸周りの回転を測定する。つまり、Ｘ軸周りの回転であるピッチ角、Ｙ軸周りの回転であるロール角、及び、Ｚ軸周りの回転であるアジマス角（ヨー角とも呼ばれる）が、ジャイロセンサ１６により測定される。また、地磁気センサ１８は、位置推定装置１０の磁北からの傾きを検出する。
　加速度センサ１４、ジャイロセンサ１６、及び地磁気センサ１８は、例えばＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）等のいわゆるマイクロマシンから構成される。
　ＧＰＳ受信機２２は、ＧＰＳ衛星から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。後述するように、屋内ではＧＰＳ衛星からのＧＰＳ信号の受信が困難となる。したがって、主に位置推定装置１０が屋外に携行されているときに、ＧＰＳ信号に基づく位置座標推定が行われる。
　撮像器２０は、例えばスマートフォンに搭載されたカメラデバイスであり、建物内の様子を静止画及び動画にて撮像可能となっている。撮像器２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像デバイスを含んで構成される。
　入力装置２６は、文字、又は後述する測位オブジェクトの高度を入力可能となっている。例えば、入力装置２６は、表示装置３８と一体化されたタッチパネルであってよい。表示装置３８は、撮像器２０の撮像画像、入力装置２６により入力された文字メッセージ、又は後述する測位オブジェクトの属性等を表示可能となっている。
　振動器２４は、例えば、バイブレータであり、後述するように、測位オブジェクトの撮像地点において、測位演算切替判定部４４（図３参照）により振動駆動される。振動器２４は、例えば、リニア共振アクチュエータ、偏心回転質量型のモータ、又はピエゾアクチュエータから構成される。
　図３には、位置推定装置１０の機能ブロック図が例示される。この機能ブロック図は、例えば、システムメモリ２８若しくはストレージ３０に記憶されるか、又は、ＤＶＤ若しくはコンピュータのハードディスク等の、非一過性の記憶媒体に記憶された位置推定プログラムを、ＣＰＵ１２又はＧＰＵ３２が実行することで構成される。
　図３には、図１にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で示される。具体的に図３に例示されるように、位置推定装置１０は、ハードウェア構成として、加速度センサ１４、ジャイロセンサ１６及び地磁気センサ１８を備える。さらに位置推定装置１０は、機能ブロックとして、測定部１５、撮像部２１、ＧＰＳ受信部２３、入力部２７、振動部２５、表示部３９、ＰＤＲ位置推定部４０、ＮＷ（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）記憶部４１、画像マッチング位置推定部４２、測位演算切替判定部４４、建物構造データ記憶部４６、測位オブジェクト選択部４８、位置座標記憶部５０、メッセージ表示制御部５２、及び、ＧＰＳ信号判定部５４を備える。
　例えば、測定部１５は、加速度センサ１４、ジャイロセンサ１６及び地磁気センサ１８により構成される。
　撮像部２１は、撮像器２０により構成される。
　ＧＰＳ受信部２３は、ＧＰＳ受信機２２により構成される受信部である。
　入力部２７は、入力装置２６により構成される。
　振動部２５は、振動器２４により構成される。
　表示部３９は、表示装置３８により構成される。
　ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、測位演算切替判定部４４、測位オブジェクト選択部４８、位置座標記憶部５０、メッセージ表示制御部５２、及び、ＧＰＳ信号判定部５４は、ＣＰＵ１２又はＧＰＵ３２が、ストレージ３０に記憶されているプログラムをシステムメモリ２８に読み出し、そのプログラムを実行することで構成される。また、ＧＰＵ３２は、そのプログラムを実行する際に、適宜、フレームメモリ３４等を利用する。なお、このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　ＮＷ記憶部４１及び建物構造データ記憶部４６は、ストレージ３０により構成される。
　ＰＤＲ位置推定部４０は、歩行者自律航法により、建物内の位置座標推定を行う。歩行者自律航法に基づく位置座標推定の詳細は後述される。
　ＮＷ記憶部４１には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば建物内の画像データであって、画像内の各設備のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成される。この学習済みのニューラルネットワークが、ＮＷ記憶部４１に記憶される。
　画像マッチング位置推定部４２は、ＮＷ記憶部４１に記憶されているニューラルネットワークを参照して、撮像部２１により撮像された、建物内の撮像画像に含まれる測位オブジェクトと、建物構造データ記憶部４６に記憶された、建物の構造データ内の測位オブジェクトとの画像マッチングを行うことで、撮像位置座標を推定する。なお、画像マッチングによる位置座標推定の詳細は後述される。
　測位演算切替判定部４４は、位置推定装置１０の位置座標推定に当たり、ＰＤＲ位置推定部４０を用いるか、又は画像マッチング位置推定部４２を用いるかを、後述する図７のフローチャートに則って判定する。
　建物構造データ記憶部４６には、作業員（位置推定装置１０の携行者）が保守点検作業を行う建物の構造データが記憶される。建物の構造データとして、例えば、建物構造データ記憶部４６には、図４に例示されるような３次元構造データが記憶される。
　この３次元記憶データは、例えば、３Ｄ－ＣＡＤデータであってよい。３Ｄ－ＣＡＤデータには、壁設置型の誘導灯６０、ドア６２又は柱６４等の固定配置された設備に加えて、机６６又は椅子６８等の可動設備の３次元構造及び配置情報も含まれる。具体的には、これらの設備の、建物内に設置された３次元座標が世界座標系で記憶される。例えば、誘導灯６０であれば、誘導灯６０の実寸法の３次元座標点群が世界座標系で記憶される。例えば、世界座標系では、建物の任意の点が原点となり、この原点からの各設備の距離が３次元の直交座標系で表現される。
　また、建物構造データ記憶部４６には、３次元座標点群に加えて、各設備の属性が記憶される。例えば、誘導灯又はドアといった設備名等の属性が、３次元座標点群とともに建物構造データ記憶部４６に記憶される。なお、同一名称の設備が建物内に複数設置されている場合には、設備ごとにユニークな（重複のない）設備ＩＤが属性情報に含まれる。
　また、建物構造データ記憶部４６には、３Ｄ－ＣＡＤデータに代えて、ＢＩＭデータが記憶されてよい。ＢＩＭデータは、上記のような各設備の３次元座標点群及び属性に加えて、コスト、設置年月日又は保守点検日等の管理情報も含まれる。
　また、建物構造データ記憶部４６には、図４のような３次元構造データに代えて、図５に例示されるような２Ｄ－ＣＡＤ（Ｔｗｏ－Ｄｉｍｅｎｓｉｏｎａｌ　Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データ等の２次元構造データが記憶されていてもよい。このような２次元構造データでは、フロア別に平面図データが構築される。また、各階で共通する２次元座標の原点からの、各設備の距離が、２次元座標点群にて表現される。例えば、２次元構造データには、ドア６２、柱６４又は床埋め込み式の誘導灯７０等の固定配置される設備に加えて、机６６又は椅子６８等の可動設備の２次元構造及び配置情報も含まれる。
　測位オブジェクト選択部４８は、画像マッチング位置推定に必要な測位オブジェクトＯｂｊ＿ｋを選択する。後述されるように、測位オブジェクト選択部４８は、建物構造データ記憶部４６に記憶された建物の構造データに基づいて、当該建物内の設備から、複数の測位オブジェクトＯｂｊ＿ｋを選択する。
＜位置推定フロー＞
　図６には、本実施形態に係る位置推定装置１０を使用した位置推定プロセスが例示される。位置推定装置１０は、作業員８０に携行され、屋外から建物１００内に入る。屋外ではＧＰＳ衛星８２からＧＰＳ信号を受信することで、位置推定装置１０の位置座標が推定される。位置推定装置１０が建物１００内に入り、ＧＰＳ信号の受信が困難になると、図７に例示される位置推定フローが実行される。
　図６に例示されるように、本実施形態に係る位置推定プロセスでは、画像マッチングによる位置推定と、歩行者自律航法に基づく位置推定とが交互に実行される。歩行者自律航法に基づく位置推定が途中で画像マッチングによる位置推定に置き換えられることで、歩行者自律航法に基づく誤差の蓄積が抑制される。また、画像マッチングによる位置推定が間欠的に実行されることで、常時画像マッチングによる位置推定を行う場合と比較して、演算負荷を軽減できる。演算負荷の軽減にともない、携帯型の位置推定装置１０の電力消費を抑制可能となる。
　本実施形態に係る位置推定フローの実行に際して、測位オブジェクトが選択される。測位オブジェクトとは、建物内の設備のうち、画像マッチングの対象（又は基準）となる設備を指す。測位オブジェクトは、建物内に固定配置された設備であればよく、例えば、誘導灯６０，７０、ドア６２又は柱６４等が測位オブジェクトの候補に選ばれる。
　なお、撮像部２１による撮像画像中に測位オブジェクトの全体像が含まれることが好適であることから、大型の設備よりも小型の設備の方が測位オブジェクトとしては好適である。例えば、図６の例では、測位オブジェクトとして、壁設置型の誘導灯６０と、空調設備の室内機７２とが測位オブジェクトとして選択される。
　測位オブジェクトの選択は、測位オブジェクト選択部４８（図３参照）により実行される。測位オブジェクト選択部４８には、画像マッチングによる位置推定を行う間隔である、補正間隔Ｌが記憶される。例えば、補正間隔Ｌとして１０ｍが設定される。この場合、１０ｍごとに画像マッチングによる位置推定が実行され、その間は歩行者自律航法に基づく位置推定が実行される。
　図７には、本実施形態に係る位置推定フローが例示される。測位演算切替判定部４４（図３）には、位置推定装置１０の現在位置座標が、ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、及び屋外に居る時にはＧＰＳ信号判定部５４から送信される。
　測位演算切替判定部４４は、位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄを求める（Ｓ２０）。なお、進行方向は現在位置とその直前の位置との差分から求めることが出来る。
　なお、位置推定装置１０の現在位置座標は、例えば位置推定装置１０の撮像部２１内の焦点座標であってよい。また上述したように、３次元点群であるところの測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）は、測位オブジェクトＯｂｊ＿ｋの代表点（例えば重心点）であってよい。
　次に、測位演算切替判定部４４は、位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄが所定の近接距離Ｄｔｈを超過するか否かを判定する（Ｓ２２）。
　位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄが所定の近接距離Ｄｔｈを超過する場合、測位演算切替判定部４４は、歩行者自律航法に基づく位置座標推定をＰＤＲ位置推定部に実行させる（Ｓ３０）。
　一方、離間距離Ｄが所定の近接距離Ｄｔｈ以下である場合、測位演算切替判定部４４は、撮像部２１による測位オブジェクトの撮像を作業員（携行者）に促す動作を実行する（Ｓ２４）。この動作は、図７において撮像機能通知と示される。撮像機能通知は、例えば図８に例示されるように、表示部３９（入力部２７も兼ねる）に撮像を促すメッセージ（撮像メッセージ）を表示する通知であってよい。また、撮像メッセージには、撮像すべき測位オブジェクトの属性（誘導灯等）が表示されてよい。
　加えて、撮像メッセージを作業員（携行者）に気付かせるために、アラーム機能が実行されてもよい。例えば、測位演算切替判定部４４は、振動部２５に対して振動指令を出力する。またこれに加えて、位置推定装置１０であるところのスマートフォンの内蔵スピーカ（図示せず）からアラーム音が出力されてもよい。さらに、測位演算切替判定部４４は、撮像メッセージの表示及びアラーム機能の実行と併せて、撮像部２１の撮像機能を起動させてもよい。このようにして、測位オブジェクトの撮像を作業員に確実に実行させることが出来る。
　図７に戻り、測位演算切替判定部４４は、撮像部２１による撮像が完了したか否かを判定する（Ｓ２６）。まだ撮像が行われていない場合には、撮像機能通知（撮像メッセージ表示及びアラーム出力）が継続される。
　一方、ステップＳ２６にて撮像が行われた場合には、その撮像画像に基づいて、画像マッチング位置推定が実行される（Ｓ２８）。測位演算切替判定部４４は、画像マッチング位置推定部４２に対して、位置推定の演算指令を出力する。
　なお、測位演算切替判定部４４は、ＰＤＲ位置推定部４０及び画像マッチング位置推定部４２の何れか一方に演算指令（位置推定指令）を出力するとともに、ＰＤＲ位置推定部４０及び画像マッチング位置推定部４２のその他方に、演算（位置推定）の休止指令を送ってもよい。
　このようにして、図７に例示される位置推定フローでは、位置推定装置１０と、測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄに応じて、ＰＤＲ位置推定部４０と、画像マッチング位置推定部４２との位置推定が切り替えられる。したがって、例えば、位置推定装置１０と、測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄが閾値である近接距離Ｄｔｈを超過するときには、上述のようにＰＤＲ位置推定部４０によって現在位置座標が求められる。さらに、求められた現在位置座標と、測位オブジェクトＯｂｊ＿ｋの位置座標との離間距離Ｄが近接距離Ｄｔｈ以下になると、測位演算切替判定部４４により、撮像機能通知が出力され、さらに画像マッチング位置推定部４２による現在位置座標（撮像位置座標）の推定が行われる。
＜画像マッチングを用いた位置推定＞
　図９には、画像マッチングを利用した位置座標推定のフローが例示される。このフローでは、位置及び形状が既知の物体の画像と、それを撮影した撮像部２１の位置及び姿勢を求める、いわゆるＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ　ｎ－Ｐｏｉｎｔ）を解くことで、撮像部２１及びこれを含む位置推定装置１０の位置座標（撮像位置座標）が推定可能となる。
　画像マッチング位置推定部４２は、撮像部２１が撮像した、例えば、図１０のような、建物内の撮像画像を取得する。さらに、画像マッチング位置推定部４２は、撮像画像中の測位オブジェクトＯｂｊ＿ｋを抽出する。例えば、画像マッチング位置推定部４２は、撮像画像に対して、学習済みニューラルネットワークを用いてセグメンテーション及びアノテーションを行い、当該撮像画像から、測位オブジェクトＯｂｊ＿ｋである誘導灯６０を特定する。言い換えると、画像マッチング位置推定部４２は、撮像画像から誘導灯６０の画像領域を特定し、さらに特定された画像領域の物体が測位オブジェクトＯｂｊ＿ｋの誘導灯６０であると認識する。
　さらに、画像マッチング位置推定部４２は、図１１に例示されるように、認識された撮像画像中の測位オブジェクトＯｂｊ＿ｋである誘導灯６０′の、投影面Ｐ１上の特定点における２次元座標（ｕ，ｖ）を求める（Ｓ４０）。特定点とは、測位オブジェクトＯｂｊ＿ｋ中の任意の点であってよく、例えば、直方体の誘導灯６０の場合、図が描画された正面の矩形の４隅をそれぞれ特定点としてよい。
　次に、画像マッチング位置推定部４２は、建物構造データ記憶部４６から、建物構造データを呼び出し、当該建物構造データ空間における、撮像されたものと同一の、測位オブジェクトＯｂｊ＿ｋに選択された設備を抽出する（Ｓ４２）。例えば、画像マッチング位置推定部４２は、測位オブジェクト選択部４８から、現在選択されている測位オブジェクトＯｂｊ＿ｋの属性情報を取得し、測位オブジェクトＯｂｊ＿ｋに選択された設備と同一の（例えば同一の設備ＩＤを持つ）設備を、建物構造データ内の測位オブジェクトＯｂｊ＿ｋとして抽出する。
　さらに、画像マッチング位置推定部４２は、建物構造データから抽出された測位オブジェクトＯｂｊ＿ｋの特定点の３次元座標（Ｘ，Ｙ，Ｚ）を求める（Ｓ４４）。例えば、測位オブジェクトＯｂｊ＿ｋの正面の矩形の４隅が特定点として選択される。
　画像マッチング位置推定部４２は、撮像部２１の撮像位置座標（絶対座標）を仮入力する（Ｓ４６）。撮像位置座標は、撮像部２１の世界座標系における３次元位置座標及び姿勢を指す。当該撮像位置座標を含んだ数式が下記数式（１）のように記載される。なお、ここで、撮像部２１の撮像位置座標とは、撮像部２１内の焦点座標であってよい。
Figure JPOXMLDOC01-appb-M000001
　仮入力された撮像位置座標と測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ，Ｙ，Ｚ）を数式（１）に代入することで、投影面上の座標（ｕ′，ｖ′）が得られる（Ｓ４８）。画像マッチング位置推定部４２は、求められた座標（ｕ′，ｖ′）と、測位オブジェクトＯｂｊ＿ｋの投影面における特定点座標（ｕ，ｖ）との差を求め、この差が所定の閾値以下になったか否かを判定する（Ｓ５０）。
　当該差分が閾値を超過する場合に、ステップＳ４６までフローが戻り、撮像位置座標の仮入力が再度行われる。一方、座標（ｕ′，ｖ′）と座標（ｕ，ｖ）との差が閾値以下になった場合、画像マッチング位置推定部４２は、座標（ｕ′，ｖ′）を求める際に用いられた撮像位置座標を撮像部２１及びこれを含む位置推定装置１０の撮像位置座標とする（Ｓ５２）。
　この画像マッチングによる絶対座標の推定は、一つの測位オブジェクトＯｂｊ＿ｋの複数の特定点に対して実行されてもよい。例えば、一つの測位オブジェクトＯｂｊ＿ｋから４点の特定点を抽出して、それぞれについて位置座標を求める、Ｐ４Ｐ問題を解くことで、撮像部２１の撮像位置座標が求められてもよい。
＜２次元データを用いた位置推定＞
　図９の例では、建物構造データとして３次元構造データが用いられたが、２Ｄ－ＣＡＤ等の２次元構造データが用いられてもよい。この場合、位置推定装置１０には、測位オブジェクトＯｂｊ＿ｋの高度を入力する高度入力部が設けられる。例えば、入力部２７（図３参照）が当該高度入力部の機能を備えていてもよい。
　例えば、図５のような平面図が建物構造データとして用いられる場合であって、測位オブジェクトＯｂｊ＿ｋとして床埋め込み型の誘導灯７０が選択された場合に、当該平面図に対応するフロアの床高さが入力部２７から入力される。
　図１２には、建物構造データとして２次元構造データが用いられるときの、画像マッチング位置推定フローが例示される。このフローでは、図９の画像マッチング位置推定フローと比較して、３次元座標入力ステップ（Ｓ４４）が２次元座標入力ステップ（Ｓ４３）に置き換えられ、また、測位オブジェクトＯｂｊ＿ｋの特定点の高度（Ｚ）を入力するステップ（Ｓ４５）が追加されている。なお、図９と同一番号のステップは処理内容が同一であるため、以下では適宜説明が省略される。
　図１２のフローにおいて、２次元構造データから測位オブジェクトＯｂｊ＿ｋの特定点の２次元座標（Ｘ，Ｙ）が求められた（Ｓ４３）後に、当該特定点の高度（Ｚ）が位置推定装置１０の携行者（作業員）により入力される（Ｓ４５）。これにより特定点の３次元座標が得られ、さらに撮像位置座標の仮入力（Ｓ４６）にフローが進められる。
＜歩行者自律航法を用いた位置推定＞
　図１３には、ＰＤＲ位置推定部４０（図３参照）による、歩行者自律航法を用いた位置推定フローが例示される。
　ＰＤＲ位置推定部４０は、加速度センサ１４の測定値から、重力加速度を測定する（Ｓ６０）。例えば、重力加速度は、図２に例示されたＸ軸、Ｙ軸、及びＺ軸方向の加速度と、位置推定装置１０の初期姿勢に基づいて求められる。初期姿勢は、Ｘ軸周りのピッチ角、Ｙ軸周りのロール角、及びＺ軸周りのアジマス角を合成した向きを指しており、例えば、地磁気センサ１８による磁北からの傾きを求めることで、初期姿勢が得られる。
　さらに、ＰＤＲ位置推定部４０は、下記数式（２）に示される回転行列Ｒを求める（Ｓ６２）。なお、下記数式（２）において、Ｒｘ（θ）はＸ軸中心の回転行列を示し、Ｒｙ（θ）はＹ軸中心の回転行列を示し、Ｒｚ（θ）はＺ軸中心の回転行列を示す。
Figure JPOXMLDOC01-appb-M000002
　さらに、ＰＤＲ位置推定部４０は、下記数式（３）を用いて、加速度センサ１４が測定した加速度（ｒａｗＡｘ，ｒａｗＡｙ，ｒａｗＡｚ）を世界座標系の加速度（Ａｘ，Ａｙ，Ａｚ）に変換する（Ｓ６４）。
Figure JPOXMLDOC01-appb-M000003
　次に、ＰＤＲ位置推定部４０は、下記数式（４）を用いて、加速度（Ａｘ，Ａｙ，Ａｚ）から各軸方向の重力加速度（Ｇ０ｘ，Ｇ０ｙ，Ｇ０ｚ）を除いた加速度（ａｘ，ａｙ，ａｚ）を求める（Ｓ６６）。
Figure JPOXMLDOC01-appb-M000004
　さらに、ＰＤＲ位置推定部４０は、下記数式（５）を用いて、加速度（ａｘ，ａｙ，ａｚ）を２重積分する（Ｓ６８）。これにより、位置推定装置１０の相対位置（ｄｘ，ｄｙ，ｄｚ）が求められる（Ｓ７０）。
Figure JPOXMLDOC01-appb-M000005
　相対位置（ｄｘ，ｄｙ，ｄｚ）は、加速度センサ１４による測定前の位置推定装置１０の位置座標からの変位を表す。そこでＰＤＲ位置推定部４０は、当該位置座標に求められた相対位置（ｄｘ，ｄｙ，ｄｚ）を加えることで、現在位置座標Ｂ（Ｘ，Ｙ，Ｚ）を求める（Ｓ７２）。
　このように、歩行者自律航法を用いた位置推定は、加速度センサ１４及びジャイロセンサ１６から得た６点の測定値（Ｒｘ（－ｐｉｔｃｈ），Ｒｙ（－ｒｏｌｌ），Ｒｚ（－ａｚｉｍｕｔｈ），ｒａｗＡｘ，ｒａｗＡｙ，ｒａｗＡｚ）を演算するのみで足りることから、撮像画像のセグメンテーション又はアノテーションを要する画像マッチング位置推定よりも、演算負荷が軽いことが理解される。
＜位置座標を利用した作業支援機能＞
　上述のような位置推定を行うことで、種々の作業支援が実行可能となる。例えば、位置推定装置１０の位置座標が求められることで、建物内の作業員の所在が遠隔から把握可能となる。例えば、位置推定装置１０であるところのスマートフォンに、遠隔の管理センターから通信し、当該スマートフォンの携行者である作業員に、保守点検対象の設備までの経路を指示することが出来る。
　また、図３に例示されるように、位置推定装置１０の入力部２７から保守点検メッセージを入力することで、複数の作業員に亘って保守作業の共有が可能となる。例えば、作業員が位置推定装置１０の入力部から、保守点検対象の設備に関するメッセージを入力する。例えば、図１４に例示されるように、室外機７４の画像が表示部３９に映るように位置推定装置１０の撮像部２１のアングルを定めた状態で、当該室外機７４に関する保守点検メッセージ「圧縮機不良のため配線取り外し中」が入力部２７より入力される。
　入力された保守点検メッセージは、入力位置座標及びその姿勢（アングル）と関連付けられてメッセージ表示制御部５２（図３参照）に記憶される。この保守点検メッセージ、入力位置座標及び姿勢が、他の位置推定装置１０にも共有される。当該他の位置推定装置１０の現在位置座標と入力位置座標とが一致し、図１４と同一の姿勢（アングル）にて撮像部２１により撮像が行われると、メッセージ表示制御部５２は、表示部３９に表示される撮像画像に保守点検メッセージを重畳表示させる。これにより、室外機７４に対する保守点検作業内容の共有化が図られる。
＜ＧＰＳと本実施形態に係る位置推定を組み合わせた手法＞
　上述の実施形態では、主に建物内における位置推定が行われた。一方、建物の保守点検では、図１５に例示されるように、建物１００の屋上に設置された室外機７４等の保守点検が行われる場合がある。このような場合を考慮して、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定が行われてもよい。
　図１６には、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定を行うときの、フローチャートが例示される。このフローチャートは、図７のフローチャートに、ステップＳ８０～Ｓ８６を加えたものである。図７と重複するステップについては、処理内容が同一であることから、適宜、説明が省略される。
　ＧＰＳ受信部２３（図３参照）がＧＰＳ衛星８２（図１５参照）からＧＰＳ信号を受信すると、ＧＰＳ信号判定部５４は、ＧＰＳ信号の強度が所定の強度閾値未満であるか否かを判定する（Ｓ８０）。
　ＧＰＳ信号の強度が所定の強度閾値未満である場合、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定するために、フローはステップＳ２０に進む。
　一方、ステップＳ８０にて、ＧＰＳ信号の強度が所定の強度閾値以上である場合、ＧＰＳ信号判定部５４は、位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈ以下であるか否かを判定する（Ｓ８２）。
　一般的に、ＧＰＳを用いた測位システムでは、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。そこで、受信したＧＰＳ信号に含まれる高度値が使用に耐え得る精度を有するか否かが、位置推定装置１０の高度Ｚに応じて定められる。
　位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈを超過する場合、ＧＰＳ信号判定部５４は受信したＧＰＳ信号を破棄して、フローをステップＳ２０に進める（Ｓ８４）。つまり、当該ＧＰＳ信号による位置推定が休止される。
　一方、位置推定装置１０の現在の高度Ｚが、閾値高度Ｚｔｈ以下である場合に、ＧＰＳ信号判定部５４は、受信したＧＰＳ信号から得られた緯度、経度、高度情報を、位置座標記憶部５０に送る。これにより位置推定装置１０の現在位置座標が更新される（Ｓ８６）。
　またＧＰＳ信号判定部５４は、ＧＰＳ信号の受入可否を測位演算切替判定部４４に送る。ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れが不可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入負荷通知が送信される。これを受けて測位演算切替判定部４４は、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定する。
　一方、ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れ可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入通知が送信される。これを受けて測位演算切替判定部４４は、位置推定の切替判定（歩行者自律航法／画像マッチング）を休止する。
＜別の実施形態＞
　上述の実施形態では、測位オブジェクトＯｂｊ＿ｋが複数選択されていたが、小規模の建物等においては、一つの測位オブジェクトＯｂｊのみが選択されてもよい。例えば、建物入口に設けられた誘導灯６０が測位オブジェクトＯｂｊとして選択される。この誘導灯６０による画像マッチング位置推定により現在位置座標が推定された後は、歩行者自律航法による位置推定のみにて、位置推定装置１０の位置推定が行われてもよい。
　本実施の形態は、建物内に携行される、位置推定装置に関する。当該装置は、ＰＤＲ位置推定部、撮像部、判定部、及び画像マッチング位置推定部を備える。ＰＤＲ位置推定部は、歩行者自律航法により建物内の位置座標推定を行う。撮像部は、建物内を撮像する。判定部は、建物の構造データに基づいて建物内の設備から選択された測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、撮像部による測位オブジェクトの撮像を携行者に促す動作を実行する。画像マッチング位置推定部は、撮像部により撮像された建物内の撮像画像に含まれる測位オブジェクトと、建物の構造データに含まれる測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する。
　上記構成によれば、歩行者自律航法による位置座標推定と、測位オブジェクトとの画像マッチングによる位置座標推定とが併用して行われる。歩行者自律航法による位置座標推定による誤差は、画像マッチングによる位置座標推定により補正される。さらに、画像マッチングによる位置座標推定が間欠的に実行されるため、当該推定が常時実行される場合と比較して、位置推定装置の演算負荷は軽減される。
　また上記構成において、測位オブジェクトを選択するオブジェクト選択部が設けられてよい。この場合、オブジェクト選択部は、所定の補正間隔に応じて、複数の測位オブジェクトを選択する。
　補正間隔に応じて、均等に測位オブジェクトが選択されることで、歩行者自律航法による誤差の蓄積が均等化される。
　また上記構成において、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が近接距離以下になった時に、測位オブジェクトの属性を表示する表示部を備えてもよい。
　測位オブジェクトの属性が示されることで、撮像対象が携行者に知らされることになり、測位オブジェクトを確実に撮像可能となる。
　また上記構成において、入力部及び表示制御部が設けられてもよい。入力部にはメッセージが入力される。表示制御部は、メッセージが入力された入力位置座標と現在位置座標とが一致するときに、表示部に対して、当該入力位置座標にて撮像された建物内の撮像画像にメッセージを重畳表示させる。
　建物の保守点検を行う複数の作業員にそれぞれ位置推定装置を携行させたときに、上記のような重畳表示機能が各位置推定装置に設けられることで、入力位置座標における作業内容等のメッセージを作業員間で共有できる。
　また上記構成において、建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部が設けられてもよい。
　また上記構成において、建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、測位オブジェクトの高度が入力される高度入力部が設けられてもよい。
　また上記構成において、判定部は、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、ＰＤＲ位置推定部による位置推定を休止させるとともに、画像マッチング位置推定部による位置推定を実行させてもよい。
　また上記構成において、ＧＰＳ信号を受信する受信部と、現在位置座標の高度が所定の閾値高度を超過するときに、ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部とが設けられてもよい。
　ＧＰＳによる測位では、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。このような、ＧＰＳ信号を受信したときの位置座標の高度に応じて、ＧＰＳ信号による位置推定の可否を判定することで、高度成分の推定精度の低下が抑制される。
　１０　位置推定装置、１２　ＣＰＵ、１４　加速度センサ、１６　ジャイロセンサ、１８　地磁気センサ、２１　撮像部、２３　ＧＰＳ受信部、２５　振動部、２７　入力部、２８　システムメモリ、３０　ストレージ、３４　フレームメモリ、３９　表示部、４０　ＰＤＲ位置推定部、４２　画像マッチング位置推定部、４４　測位演算切替判定部、４６　建物構造データ記憶部、４８　測位オブジェクト選択部、５０　位置座標記憶部、５２　メッセージ表示制御部、５４　ＧＰＳ信号判定部、６０　誘導灯、１００　建物。

Claims (8)

  1. 　建物内に携行される、位置推定装置であって、
    　歩行者自律航法により前記建物内の位置座標推定を行うＰＤＲ位置推定部と、
    　前記建物内を撮像する撮像部と、
    　前記建物の構造データに基づいて前記建物内の設備から選択された測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、前記撮像部による前記測位オブジェクトの撮像を携行者に促す動作を実行する判定部と、
    　前記撮像部により撮像された前記建物内の撮像画像に含まれる前記測位オブジェクトと、前記建物の構造データに含まれる前記測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する画像マッチング位置推定部と、
    を備える、位置推定装置。
  2. 　請求項１に記載の位置推定装置であって、
    　前記測位オブジェクトを選択するオブジェクト選択部をさらに備え、
    　前記オブジェクト選択部は、所定の補正間隔に応じて、複数の前記測位オブジェクトを選択する、位置推定装置。
  3. 　請求項２に記載の位置推定装置であって、
    　前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が前記近接距離以下になった時に、前記測位オブジェクトの属性を表示する表示部を備える、位置推定装置。
  4. 　請求項３に記載の位置推定装置であって、
    　メッセージが入力される入力部と、
    　前記メッセージが入力された入力位置座標と現在位置座標とが一致するときに、前記表示部に対して、当該入力位置座標にて撮像された前記建物内の撮像画像に前記メッセージを重畳表示させる表示制御部と、
    を備える、位置推定装置。
  5. 　請求項１～４の何れか一つに記載の位置推定装置であって、
    　前記建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部を備える、
    位置推定装置。
  6. 　請求項１～４の何れか一つに記載の位置推定装置であって、
    　前記建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、
    　前記測位オブジェクトの高度が入力される高度入力部を備える、
    位置推定装置。
  7. 　請求項１～６の何れか一つに記載の位置推定装置であって、
    　前記判定部は、前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、前記ＰＤＲ位置推定部による位置推定を休止させるとともに、前記画像マッチング位置推定部による位置推定を実行させる、
    位置推定装置。
  8. 　請求項１～７の何れか一つに記載の位置推定装置であって、
    　ＧＰＳ信号を受信する受信部と、
    　現在位置座標の高度が所定の閾値高度を超過するときに、前記ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部と、
    を備える、位置推定装置。
PCT/JP2021/000317 2020-03-04 2021-01-07 位置推定装置 WO2021176837A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020036564A JP7466335B2 (ja) 2020-03-04 2020-03-04 位置推定装置
JP2020-036564 2020-03-04

Publications (1)

Publication Number Publication Date
WO2021176837A1 true WO2021176837A1 (ja) 2021-09-10

Family

ID=77613583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000317 WO2021176837A1 (ja) 2020-03-04 2021-01-07 位置推定装置

Country Status (2)

Country Link
JP (1) JP7466335B2 (ja)
WO (1) WO2021176837A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015055534A (ja) * 2013-09-11 2015-03-23 株式会社リコー 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
JP2016125956A (ja) * 2015-01-07 2016-07-11 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015055534A (ja) * 2013-09-11 2015-03-23 株式会社リコー 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
JP2016125956A (ja) * 2015-01-07 2016-07-11 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム

Also Published As

Publication number Publication date
JP7466335B2 (ja) 2024-04-12
JP2021139701A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US20160327946A1 (en) Information processing device, information processing method, terminal device, and setting method
US10012509B2 (en) Utilizing camera to assist with indoor pedestrian navigation
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
JP2015055534A (ja) 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
CN103776443A (zh) 一种利用图像信息码提供校正信息的自主导航系统
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN111247389A (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
WO2021176837A1 (ja) 位置推定装置
JP6681101B2 (ja) 検査システム
Zhou et al. Vision-based precision localization of UAVs for sensor payload placement and pickup for field monitoring applications
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6991525B1 (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
WO2020226102A1 (ja) 歩行者自律航法装置、方法、及びプログラム
KR20190013176A (ko) 드론을 이용한 구조물의 변화 탐지 방법 및 장치
JP2023072355A (ja) 飛行体の撮影場所決定装置、飛行体の撮影場所決定方法及び飛行体の撮影場所決定プログラム
JP6684012B1 (ja) 情報処理装置および情報処理方法
Vintervold Camera-based integrated indoor positioning
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7467206B2 (ja) 映像管理支援システムおよび映像管理支援方法
US20220309699A1 (en) Information processing apparatus, information processing method, program, and information processing system
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21763811

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21763811

Country of ref document: EP

Kind code of ref document: A1