WO2020226102A1 - 歩行者自律航法装置、方法、及びプログラム - Google Patents

歩行者自律航法装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020226102A1
WO2020226102A1 PCT/JP2020/018110 JP2020018110W WO2020226102A1 WO 2020226102 A1 WO2020226102 A1 WO 2020226102A1 JP 2020018110 W JP2020018110 W JP 2020018110W WO 2020226102 A1 WO2020226102 A1 WO 2020226102A1
Authority
WO
WIPO (PCT)
Prior art keywords
acceleration
sensor
autonomous navigation
gyro sensor
error
Prior art date
Application number
PCT/JP2020/018110
Other languages
English (en)
French (fr)
Inventor
小長井　俊介
瀬下　仁志
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Publication of WO2020226102A1 publication Critical patent/WO2020226102A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments

Definitions

  • the present invention relates to a pedestrian autonomous navigation system, a method, and a program, and more particularly to a pedestrian autonomous navigation system, a method, and a program for a pedestrian to perform autonomous navigation indoors.
  • GPS Global Positioning System
  • a signal from a beacon device that emits radio waves, sound waves, or optical signals at regular intervals is received by a terminal device that measures the position, and the position of the terminal device is measured from the signal strength and arrival time.
  • a dedicated radio beacon device by diverting the radio waves of the wireless LAN (Local Area Network) base station used for Internet communication, and the terminal device sends a beacon signal and is known.
  • the method using autonomous navigation technology does not require the installation and operation costs of the beacon device, but has the problem that the terminal device requires a gyro sensor, a speed sensor, a geomagnetic sensor, and the like.
  • Consumer mobile terminals such as smartphones (hereinafter, simply referred to as “mobile terminals”) that have been widely used in recent years may be provided with a gyro sensor, an acceleration sensor, and a geomagnetic sensor (hereinafter, also referred to as “sensor group”). It has become commonplace. Those skilled in the art can come up with a method of performing indoor positioning by autonomous navigation technology using a group of sensors provided in a mobile terminal.
  • a vibration type semiconductor sensor is generally used for the gyro sensor built in the mobile terminal.
  • This vibration type gyro sensor has a problem that the angular velocity detection accuracy is lower than that of the optical laser gyro sensor used in the system described in Non-Patent Document 1.
  • a speed sensor that detects the speed from the number of rotations of the tire is used.
  • the direction of the sensor is tracked by the gyro sensor, and then the acceleration detected by the acceleration sensor is used as the gravity acceleration. It is necessary to calculate the velocity by integrating the vectors excluding. In this case, there is a problem that errors are accumulated with the passage of time due to noise included in the detected values of the gyro sensor and the acceleration sensor.
  • This "zero speed correction” tells the system that the sensor is in a stationary state from the outside, and determines that the sensor data detected at that time is the deviation (drift) of the sensor to be corrected.
  • This is a method of correcting the velocity, which is the integration of acceleration, and the moving distance, which is the integration of velocity.
  • this teaching is implemented so that a user of the system explicitly uses a "pen computer” which is a component of a terminal device of the system.
  • autonomous navigation including inertial navigation is essentially a means of estimating the relative position from the measurement start position, it is necessary to teach the system the measurement start position.
  • the position finally obtained by GPS which can be judged to have sufficiently high accuracy together with map matching, is set as the initial position. It is possible to give the same initial position to a mobile terminal owned by a pedestrian, but unlike a car navigation system that can be expected to use autonomous navigation for a short time such as when passing through a tunnel, pedestrians cannot be positioned by GPS. It is conceivable to move continuously for a long time in an indoor space or an underground space.
  • the mobile terminal that performs positioning receives the beacon signal emitted from the beacon device, you can correct the position to the preset position of the beacon device, and you can use it for autonomous navigation. You can think of a way to set it as an initial position. According to this method, the number of beacon devices that need to be installed can be significantly reduced as compared with indoor positioning using only the beacon device, and the cost related to the beacon device can be reduced.
  • the frequency with which the user of the mobile terminal performing positioning performs the zero speed correction operation can be reduced, and the convenience of the user can be improved.
  • the error accumulated in the mobile terminal is within the allowable range for indoor pedestrian navigation applications, and the number of beacon devices required in a building with a large floor area is also required to install the beacon device. There is a problem that it grows.
  • the present invention has been made in view of the above circumstances, and is a pedestrian autonomous navigation device, a method, and a method capable of estimating a stationary state by a simple method when performing zero speed correction of pedestrian autonomous navigation.
  • the purpose is to provide a program.
  • the pedestrian autonomous navigation device includes an acceleration sensor for measuring acceleration, a gyro sensor for measuring angular velocity, and an acceleration measured by the acceleration sensor is equal to or less than a threshold value.
  • the environmental information acquisition unit that acquires environmental information about the surrounding environment
  • the determination unit that determines whether or not the own device is in a stationary state from the environmental information acquired by the environmental information acquisition unit, and the determination.
  • the error of the acceleration sensor is corrected and the error of the acceleration sensor is corrected so that the acceleration measured by the acceleration sensor and the speed obtained from the acceleration are both zero.
  • the error of the gyro sensor is corrected so that the angular velocity measured by the gyro sensor becomes zero, and the zero velocity correction of autonomous navigation is performed by the value of the acceleration sensor and the value of the gyro sensor that have corrected the error. It is equipped with a correction unit to perform.
  • the environmental information acquisition unit controls the external space to be continuously photographed by using a camera.
  • the determination unit detects an optical flow that indicates the movement of a feature point of a specific object included in the external space as a vector from a plurality of images taken by the camera, and the magnitude of the detected optical flow. When is equal to or less than the threshold value, it is determined that the own device is in a stationary state.
  • the specific object is at least one of the floor and the ceiling.
  • the environmental information acquisition unit controls to collect environmental sounds by using a microphone, and the above-mentioned
  • the determination unit detects the door opening sound, which is the sound of opening the door, from the analysis result of the environmental sound obtained by collecting the sound by the microphone, it determines that the own device is in a stationary state.
  • the pedestrian autonomous navigation system according to the fifth disclosure is the pedestrian autonomous navigation system according to the fourth disclosure, using map data provided in advance from an external server device, the acceleration sensor and the gyro sensor. Further, a map matching unit for correcting the current position of the pedestrian estimated by the above to the position of the door located closest to the current position is provided.
  • a directional mark is provided on the floor or ceiling located in front of the door.
  • the image control unit controls the image of the floor or ceiling provided with the mark by using a camera, and the camera photographs the image.
  • a direction estimation unit for estimating the direction of the own device from the direction of the mark obtained above is further provided.
  • the acceleration sensor measures the acceleration
  • the gyro sensor measures the angular velocity
  • the environmental information acquisition unit measures the acceleration sensor.
  • Zero speed correction for autonomous navigation is performed according to the value of.
  • the program according to the eighth disclosure measures the acceleration by the acceleration sensor, measures the angular velocity by the gyro sensor, and when the measured acceleration is equal to or less than the threshold value, the surrounding environment.
  • the acceleration measured by the acceleration sensor is determined from the acquired environmental information.
  • the error of the acceleration sensor is corrected so that the velocity obtained from the acceleration becomes zero
  • the error of the gyro sensor is corrected so that the angular velocity measured by the gyro sensor becomes zero.
  • the computer is made to perform zero speed correction of autonomous navigation based on the value of the acceleration sensor and the value of the gyro sensor that have corrected the error.
  • the pedestrian autonomous navigation device, method, and program according to the present disclosure it is possible to estimate the stationary state by a simple method when performing zero speed correction of pedestrian autonomous navigation.
  • the installation density of the beacon device that constitutes the indoor pedestrian navigation system can be reduced in combination with autonomous navigation, and the cost related to the installation and operation of the beacon device can be reduced.
  • the zero speed correction which is a problem when realizing an indoor pedestrian navigation system by autonomous navigation by using the gyro sensor and the acceleration sensor built in many general-purpose mobile terminals, is applied to the gyro sensor and the acceleration sensor. This is achieved by environmental observation using a camera or microphone built into many general-purpose mobile terminals, which is independent of the acceleration sensor.
  • a pedestrian autonomous navigation system that can be used for an indoor pedestrian navigation system that is low in cost and highly convenient for pedestrians is provided.
  • FIG. 1 is a diagram showing an example of the configuration of the pedestrian autonomous navigation system 90 according to the first embodiment.
  • the pedestrian autonomous navigation system 90 includes a pedestrian autonomous navigation device 10A, a base station 60, and a server device 70.
  • a general-purpose mobile terminal such as a smartphone or tablet terminal carried by a pedestrian (hereinafter, also referred to as a "user") is applied to the pedestrian autonomous navigation system 10A.
  • the pedestrian autonomous navigation system 10A is connected to a network N such as the Internet via a base station 60.
  • the base station 60 is connected to the pedestrian autonomous navigation system 10A by wireless communication realized by an arbitrary wireless communication standard.
  • the base station 60 is, for example, a base station for wireless communication such as an access point in the wireless LAN standard and eNodeB in LTE (Long Term Evolution).
  • a general-purpose computer device such as a server computer or a personal computer is applied to the server device 70.
  • the server device 70 is connected to the network N and provides map data and the like to the pedestrian autonomous navigation system 10A via the base station 60.
  • FIG. 2 is a block diagram showing an example of the electrical configuration of the pedestrian autonomous navigation system 10A according to the first embodiment.
  • the pedestrian autonomous navigation device 10A includes a control unit 12, a storage unit 14, a display unit 16, an operation unit 18, and a communication unit 20.
  • the control unit 12 includes a CPU (Central Processing Unit) 12A, a ROM (Read Only Memory) 12B, a RAM (Random Access Memory) 12C, and an input / output interface (I / O) 12D, and each of these units is via a bus. Are connected to each other.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • I / O input / output interface
  • Each functional unit including the storage unit 14, the display unit 16, the operation unit 18, and the communication unit 20 is connected to the I / O 12D.
  • Each of these functional units can communicate with the CPU 12A via the I / O 12D.
  • the control unit 12 may be configured as a sub-control unit that controls a part of the operation of the pedestrian autonomous navigation system 10A, or as a part of the main control unit that controls the entire operation of the pedestrian autonomous navigation system 10A. It may be configured. For example, an integrated circuit such as an LSI (Large Scale Integration) or an IC (Integrated Circuit) chipset is used for a part or all of each block of the control unit 12. An individual circuit may be used for each of the above blocks, or a circuit in which a part or all of them are integrated may be used. The blocks may be provided integrally with each other, or some blocks may be provided separately. In addition, a part of each of the above blocks may be provided separately. The integration of the control unit 12 is not limited to the LSI, and a dedicated circuit or a general-purpose processor may be used.
  • the storage unit 14 for example, an SSD (Solid State Drive), a flash memory, or the like is used.
  • the storage unit 14 stores a pedestrian autonomous navigation processing program for performing the pedestrian autonomous navigation processing according to the present embodiment.
  • the pedestrian autonomous navigation processing program may be stored in the ROM 12B.
  • the pedestrian autonomous navigation processing program may be pre-installed in, for example, the pedestrian autonomous navigation device 10A.
  • the pedestrian autonomous navigation processing program may be realized by storing it in a non-volatile storage medium or distributing it via the network N and appropriately installing it in the pedestrian autonomous navigation device 10A.
  • non-volatile storage media include CD-ROM (Compact Disc Read Only Memory), magneto-optical disk, HDD, DVD-ROM (Digital Versatile Disc Read Only Memory), flash memory, memory card, and the like.
  • the display unit 16 for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Electro Luminescence) display, or the like is used.
  • the display unit 16 integrally has a touch panel.
  • the operation unit 18 is provided with various buttons for operation input, for example.
  • the display unit 16 and the operation unit 18 receive various operation inputs from the user of the own device.
  • the communication unit 20 is connected to a network N such as the Internet via the base station 60, and can communicate with the server device 70.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the pedestrian autonomous navigation system 10A according to the first embodiment.
  • the pedestrian autonomous navigation device 10A includes a camera 22, a sensor group 24, a map storage unit 14A, a sensor acquisition unit 30, an environmental information acquisition unit 32, and a determination unit. It includes 34, a correction unit 36, a position estimation unit 38, and an output unit 40.
  • the CPU 12A of the pedestrian autonomous navigation device 10A writes the pedestrian autonomous navigation processing program stored in the storage unit 14 into the RAM 12C and executes it, thereby executing the sensor acquisition unit 30, the environmental information acquisition unit 32, and the determination unit 34. , The correction unit 36, the position estimation unit 38, and the output unit 40.
  • the pedestrian autonomous navigation processing program is a program that is activated when the autonomous navigation mode is set according to a predetermined operation by the user.
  • a CCD Charge Coupled Device
  • the camera 22 may be provided on the display surface side of the own device, or may be provided on both the display surface side and the back surface side of the own device.
  • the display surface is a surface on the side where the above-mentioned display unit 16 is provided.
  • the sensor group 24 includes an acceleration sensor and a gyro sensor as an example.
  • a geomagnetic sensor may be included.
  • An acceleration sensor is a sensor that measures acceleration. The velocity is derived by integrating the acceleration, and the distance is derived by integrating the velocity.
  • a 3-axis acceleration sensor having 3 detection axes is applied. Since the 3-axis acceleration sensor can measure the gravitational acceleration, it is possible to detect the inclination of the own device.
  • the gyro sensor is a sensor that measures the angular velocity.
  • the angular velocity is a quantity that represents the speed of rotation of the own device, and the angle of rotation is derived by integrating the angular velocity.
  • the gyro sensor has three detection axes: a pitch angle that represents rotation around the X axis (pitching), a roll angle that represents rotation around the Y axis (rolling), and around the Z axis.
  • a relatively inexpensive vibration type gyro sensor is used as the gyro sensor, an optical laser gyro sensor may be used.
  • the geomagnetic sensor is a sensor that measures the magnetic field strength.
  • the value of the geomagnetic sensor indicates the north direction with declination and dip.
  • the attitude of the own device can be derived by using it together with the estimation result of the gravitational acceleration from the acceleration sensor.
  • the map storage unit 14A is configured as a part of the above-mentioned storage unit 14.
  • the map storage unit 14A stores map data provided by the external server device 70.
  • the sensor acquisition unit 30 When the autonomous navigation mode is set, the sensor acquisition unit 30 periodically acquires sensor information from each sensor of the sensor group 24 and sends the acquired sensor information to the position estimation unit 38. The sensor acquisition unit 30 determines whether or not the acceleration measured by the acceleration sensor is equal to or less than the threshold value. Specifically, the sensor acquisition unit 30 sends sensor information to the position estimation unit 38 when the acceleration is greater than the threshold value, and notifies the environment information acquisition unit 32 when the acceleration is equal to or less than the threshold value.
  • the position estimation unit 38 estimates the current position of a user walking indoors, for example, using the sensor information obtained from the sensor acquisition unit 30. Specifically, the position estimation unit 38 estimates the user's moving distance and traveling direction from sensor information, and cumulatively obtains the current position from past measurement points, a method called dead reckoning for pedestrians. Estimate using.
  • the measurement result of the acceleration sensor is used as an example for the moving distance
  • the measurement result of the gyro sensor is used as an example for the traveling direction.
  • the position referred to here represents a position on the map indicated by latitude and longitude.
  • the output unit 40 displays the current position of the user by adding a mark as the current position, displaying the position coordinates, or the like on the map displayed on the display unit 16 of the display surface of the own device.
  • the user walks to the destination by autonomous navigation while looking at this display.
  • the user grips the pedestrian autonomous navigation device 10A with one or both hands, but at this time, the pedestrian autonomous navigation device 10A is gripped in a substantially horizontal state with the display unit 16 facing up. To.
  • the environment information acquisition unit 32 controls to continuously photograph the external space using the camera 22. I do. As a result, a plurality of images of the external space can be obtained. These plurality of images are an example of environmental information regarding the surrounding environment.
  • the term "continuous" as used herein includes taking pictures at a predetermined time interval (for example, an interval of 1 second or more and 5 seconds or less). Further, as described above, the pedestrian autonomous navigation system 10A is held by the user in a substantially horizontal state with the display unit 16 facing up.
  • the above notification may be used as a trigger to automatically shoot the external space, or the above notification may be used as a trigger to display a message prompting the user to take a picture of the external space and take a picture according to the user's operation. May be good.
  • the determination unit 34 detects an optical flow that indicates the movement of a feature point of a specific object included in the external space as a vector from a plurality of images taken by the camera 22. Then, when the magnitude of the detected optical flow is equal to or less than the threshold value, the determination unit 34 determines that the own device is in a stationary state.
  • the specific object referred to here is, for example, at least one of a floor and a ceiling if it is indoors. Moreover, if it is outdoors, it may be a road surface or the like. By targeting these floors and ceilings for shooting, shooting is performed in a series of flows of autonomous navigation, so that it is possible to determine the stationary state without imposing a burden on the user.
  • a camera 22 provided on the back side of the display surface of the own device that is, the back side of the own device is used.
  • a camera 22 provided on the display surface side of the own device is used.
  • cameras 22 provided on the back side and the display surface side of the own device are used.
  • FIG. 4 is a diagram provided for explaining the method of estimating the optical flow according to the first embodiment.
  • the solutions of (u, v) will be multiple. Therefore, the solution (u, v) closest to the correct answer is estimated from the plurality of solution candidates.
  • this optical flow There are many known techniques for estimating this optical flow, and as an example, it may be estimated by using the "Lucas-Kanade method", the “Horn-Schunk method”, or the like. As a result, the optical flow is estimated and a unique solution (u, v) is obtained. That is, the magnitude of the optical flow is derived. If the magnitude of this optical flow is equal to or less than the threshold value, it can be determined that the own device is not moving, that is, the own device is in a stationary state.
  • the correction unit 36 corrects the error of the acceleration sensor so that when the determination unit 34 determines that the own device is in a stationary state, both the acceleration measured by the acceleration sensor and the speed obtained from the acceleration become zero.
  • the error of the gyro sensor is corrected so that the angular velocity measured by the gyro sensor becomes zero
  • the zero speed of autonomous navigation is corrected by the value of the accelerometer and the value of the gyro sensor that have corrected the error. ..
  • the term "zero" as used herein does not mean only a perfect zero, but may include a pre-allowed error.
  • the so-called drift error is accumulated in the gyro sensor as time passes, so that the gyro sensor is corrected together with the acceleration sensor.
  • FIG. 5 is a flowchart showing an example of the processing flow by the pedestrian autonomous navigation processing program according to the first embodiment.
  • the processing by the pedestrian autonomous navigation processing program is realized by the CPU 12A of the pedestrian autonomous navigation device 10A writing the pedestrian autonomous navigation processing program stored in the storage unit 14 into the RAM 12C and executing it.
  • the pedestrian autonomous navigation processing program is started and each step shown below is executed.
  • step 100 of FIG. 5 the CPU 12A acquires sensor information from each of the acceleration sensor and the gyro sensor of the sensor group 24 as the sensor acquisition unit 30.
  • step 102 the CPU 12A, as the sensor acquisition unit 30, determines whether or not the acceleration is equal to or less than the threshold value based on the sensor information acquired in step 100.
  • the CPU 12A determines that the acceleration is equal to or less than the threshold value (in the case of an affirmative determination)
  • the CPU 12A notifies the environment information acquisition unit 32 to that effect, and proceeds to step 104.
  • the CPU 12A determines that the acceleration is larger than the threshold value (in the case of a negative determination)
  • the CPU 12A sends the sensor information to the position estimation unit 38, and proceeds to step 112.
  • step 104 the CPU 12A controls the environment information acquisition unit 32 to continuously shoot the external space using the camera 22 in response to the notification from the sensor acquisition unit 30.
  • step 106 the CPU 12A, as the determination unit 34, vectorizes the movement of the feature points of a specific object (for example, floor, ceiling, etc.) included in the external space from the plurality of images taken in step 104. Detect the optical flow indicated by.
  • a specific object for example, floor, ceiling, etc.
  • step 108 the CPU 12A, as the determination unit 34, determines whether or not the own device is in the stationary state based on the result of comparing the magnitude of the optical flow detected in step 106 with the threshold value. Specifically, the CPU 12A determines that the own device is in a stationary state when the magnitude of the optical flow is equal to or less than the threshold value, and when the magnitude of the optical flow is larger than the threshold value, the own device is in the stationary state. Judge that there is no. When the CPU 12A determines that the own device is in a stationary state (in the case of an affirmative determination), the CPU 12A proceeds to step 110, and when it determines that the own device is not in a stationary state (in the case of a negative determination), returns to step 100 and processes. repeat.
  • step 110 the CPU 12A, as the correction unit 36, corrects the error of the acceleration sensor so that both the acceleration measured by the acceleration sensor and the speed obtained from the acceleration become zero, and the angular velocity measured by the gyro sensor.
  • the error of the gyro sensor is corrected so that the value becomes zero, the value of the acceleration sensor corrected for the error and the value of the gyro sensor are used to correct the zero speed of the autonomous navigation, and the process proceeds to step 114.
  • step 112 the CPU 12A estimates the current position of the user as the position estimation unit 38 using the sensor information obtained from the sensor acquisition unit 30, and proceeds to step 114. Specifically, as described above, the CPU 12A estimates the user's moving distance and traveling direction from the obtained sensor information, and cumulatively obtains the current position from the past measurement points, which is a method called dead reckoning for pedestrians. Estimate using.
  • step 114 the CPU 12A, as the sensor acquisition unit 30, determines whether or not the autonomous navigation mode has been canceled and the end of positioning has been instructed.
  • the CPU 12A determines that the end of positioning has not been instructed (in the case of a negative determination)
  • the pedestrian The series of processing by the autonomous navigation processing program is completed.
  • the gyro sensor and the acceleration sensor provide zero speed correction, which is a problem when performing autonomous navigation using the gyro sensor and the acceleration sensor built in many general-purpose mobile terminals. It can be easily realized by environmental observation using a camera built in many general-purpose mobile terminals, which is independent of the above.
  • FIG. 6 is a block diagram showing an example of the functional configuration of the pedestrian autonomous navigation system 10B according to the second embodiment.
  • the pedestrian autonomous navigation device 10B includes a sensor group 24, a map storage unit 14A, a door opening sound storage unit 14B, a microphone 26, a sensor acquisition unit 30, and an environment. It includes an information acquisition unit 42, a determination unit 44, a correction unit 46, a position estimation unit 38, and an output unit 40.
  • the CPU 12A of the pedestrian autonomous navigation device 10B writes the pedestrian autonomous navigation processing program stored in the storage unit 14 into the RAM 12C and executes it, thereby executing the sensor acquisition unit 30, the environmental information acquisition unit 42, and the determination unit 44. , The correction unit 46, the position estimation unit 38, and the output unit 40.
  • the components having the same functions as the pedestrian autonomous navigation system 10A shown in the first embodiment are designated by the same reference numerals, and the repeated description thereof will be omitted.
  • the microphone 26 is a microphone built in the own device, collects environmental sounds, and converts the collected environmental sounds into electric signals.
  • the door opening sound storage unit 14B is configured as a part of the above-mentioned storage unit 14.
  • the door opening sound storage unit 14B stores in advance frequency distribution data of various door opening sounds provided by the external server device 70.
  • the door opening sound here means the sound of the door opening.
  • the door may be an automatic opening / closing type door or a manual opening / closing type door.
  • the environmental information acquisition unit 42 controls to collect the environmental sound by using the microphone 26. ..
  • the environmental sound collected in this way is an example of environmental information regarding the surrounding environment.
  • the above notification may be used as a trigger to automatically collect the environmental sound, or the above notification may be used as a trigger to display a message prompting the user to collect the environmental sound and collect the sound according to the user's operation. May be done.
  • the determination unit 44 analyzes the environmental sound obtained by collecting the sound by the microphone 26. Specifically, since the environmental sounds include a plurality of sounds having different frequencies, frequency distribution data for each of the plurality of sounds is acquired. Then, it is analyzed whether the acquired frequency distribution data of each sound matches or resembles the frequency distribution data of the door opening sound stored in advance in the door opening sound storage unit 14B. Then, when the door opening sound is detected from the analysis result of the environmental sound, the determination unit 44 determines that the user is waiting for the door to open in front of the door, that is, the own device is in a stationary state. To do.
  • the correction unit 46 corrects the error of the acceleration sensor so that when the determination unit 44 determines that the own device is in a stationary state, both the acceleration measured by the acceleration sensor and the speed obtained from the acceleration become zero.
  • the error of the gyro sensor is corrected so that the angular velocity measured by the gyro sensor becomes zero, and the zero speed of autonomous navigation is corrected by the value of the accelerometer and the value of the gyro sensor that have corrected the error. ..
  • FIG. 7 is a flowchart showing an example of the processing flow by the pedestrian autonomous navigation processing program according to the second embodiment.
  • the processing by the pedestrian autonomous navigation processing program is realized by the CPU 12A of the pedestrian autonomous navigation device 10B writing the pedestrian autonomous navigation processing program stored in the storage unit 14 into the RAM 12C and executing it.
  • the pedestrian autonomous navigation processing program is started and each step shown below is executed.
  • step 120 of FIG. 7 the CPU 12A acquires sensor information from each of the acceleration sensor and the gyro sensor of the sensor group 24 as the sensor acquisition unit 30.
  • step 122 the CPU 12A, as the sensor acquisition unit 30, determines whether or not the acceleration is equal to or less than the threshold value based on the sensor information acquired in step 120.
  • the CPU 12A determines that the acceleration is equal to or less than the threshold value (in the case of an affirmative determination)
  • the CPU 12A notifies the environment information acquisition unit 42 to that effect, and proceeds to step 124.
  • the CPU 12A determines that the acceleration is larger than the threshold value (in the case of a negative determination)
  • the CPU 12A sends the sensor information to the position estimation unit 38, and proceeds to step 132.
  • step 124 the CPU 12A controls the environmental information acquisition unit 42 to collect the environmental sound using the microphone 26 in response to the notification from the sensor acquisition unit 30.
  • step 126 the CPU 12A analyzes the environmental sound obtained by collecting the sound in step 124 as the determination unit 44. Specifically, the CPU 12A analyzes whether the frequency distribution data of each sound included in the environmental sound matches or resembles the frequency distribution data of the door opening sound stored in advance in the door opening sound storage unit 14B.
  • step 128 the CPU 12A, as the determination unit 44, determines whether or not the own device is in a stationary state based on the analysis result of the environmental sound in step 126. Specifically, the CPU 12A determines that the own device is in a stationary state when the door opening sound is detected from the analysis result, and when the door opening sound is not detected from the analysis result, the own device is in the stationary state. Judge that there is no. When the CPU 12A determines that the own device is in a stationary state (in the case of an affirmative determination), the CPU 12A proceeds to step 130, and when it determines that the own device is not in a stationary state (in the case of a negative determination), returns to step 120 and processes. repeat.
  • step 130 the CPU 12A, as the correction unit 46, corrects the error of the acceleration sensor so that both the acceleration measured by the acceleration sensor and the speed obtained from the acceleration become zero, and the angular velocity measured by the gyro sensor.
  • the error of the gyro sensor is corrected so that the value becomes zero, and the zero speed correction of the autonomous navigation is performed according to the value of the acceleration sensor and the value of the gyro sensor that have corrected the error, and the process proceeds to step 134.
  • step 132 the CPU 12A estimates the current position of the user as the position estimation unit 38 using the sensor information obtained from the sensor acquisition unit 30, and proceeds to step 134. Specifically, as described above, the CPU 12A estimates the user's moving distance and traveling direction from the obtained sensor information, and cumulatively obtains the current position from the past measurement points, which is a method called dead reckoning for pedestrians. Estimate using.
  • step 134 the CPU 12A, as the sensor acquisition unit 30, determines whether or not the autonomous navigation mode has been canceled and the end of positioning has been instructed.
  • the CPU 12A determines that the end of positioning has not been instructed (in the case of a negative determination)
  • the pedestrian The series of processing by the autonomous navigation processing program is completed.
  • the gyro sensor and the acceleration sensor provide zero speed correction, which is a problem when performing autonomous navigation using the gyro sensor and the acceleration sensor built in many general-purpose mobile terminals. It can be easily realized by environmental observation using a microphone built in many general-purpose mobile terminals, which is independent of the above.
  • FIG. 8 is a block diagram showing an example of the functional configuration of the pedestrian autonomous navigation system 10C according to the third embodiment.
  • the pedestrian autonomous navigation device 10C includes a camera 22, a sensor group 24, a map storage unit 14A, a door opening sound storage unit 14B, a microphone 26, and a sensor acquisition unit. 30, the environment information acquisition unit 42, the determination unit 44, the correction unit 46, the position estimation unit 38, the output unit 40, the map matching unit 48, the shooting control unit 50, and the orientation estimation unit 52. I have.
  • the CPU 12A of the pedestrian autonomous navigation device 10C writes the pedestrian autonomous navigation processing program stored in the storage unit 14 into the RAM 12C and executes it, thereby executing the sensor acquisition unit 30, the environmental information acquisition unit 42, and the determination unit 44. , The correction unit 46, the position estimation unit 38, the output unit 40, the map matching unit 48, the imaging control unit 50, and the orientation estimation unit 52.
  • the components having the same functions as the pedestrian autonomous navigation system 10B shown in the second embodiment are designated by the same reference numerals, and the repeated description thereof will be omitted.
  • the map matching unit 48 uses the map data stored in the map storage unit 14A to set the current position of the user estimated by the acceleration sensor and the gyro sensor of the sensor group 24 to the door closest to the current position. Correct to the position.
  • the current position is estimated based on the sensor information obtained from the sensor group 24, so this current position contains some errors and may deviate from the actual position. is there. Therefore, the map data is used to correct this deviation to the optimum location.
  • the position of the door located closest to the user's current position is considered to be optimal, the position of the door is corrected.
  • FIG. 9 is a diagram provided for explaining a method of estimating the orientation of the pedestrian autonomous navigation system 10C according to the third embodiment.
  • the upper view of FIG. 9 shows the mark M provided on the floor in front of the door D, and the lower figure of FIG. 9 shows an image of the mark M taken.
  • the mark M shown in the upper part of FIG. 9 is a mark having directionality, and is an arrow as an example.
  • the direction of this arrow represents north in the world coordinate system. That is, the orientation of the mark M is associated with the orientation in the world coordinate system in advance.
  • the direction of the arrow of the mark M is along the opening direction of the door D. Therefore, when viewed from the user, the right side is north, the left side is south, the front side is west, and the rear side is east.
  • the photographing control unit 50 controls the camera 22 to photograph the floor provided with the mark M.
  • the pedestrian autonomous navigation system 10C is held by the user in a substantially horizontal state with the display unit 16 facing up. At this time, it is desirable that the user is in a position facing the door D.
  • the mark M may be automatically photographed using the above determination as a trigger, or a message prompting the user to photograph the mark M may be displayed using the above determination as a trigger, and the image may be photographed according to the user's operation. May be good.
  • the orientation estimation unit 52 estimates the orientation of its own device from the orientation of the mark M obtained by photographing with the camera 22. Specifically, in the image shown in the lower part of FIG. 9, the arrow of the mark M points to the right side. That is, the right side of the user is north, and it is estimated that this user is walking toward the west. That is, the orientation of the own device is estimated to be westward. Then, the orientation estimation unit 52 sends the estimated orientation of the own device to the position estimation unit 38.
  • the mark M is provided on the floor, but the mark M may be provided on the ceiling, or may be provided on both the floor and the ceiling.
  • the current position of the user is corrected to the position of the door by using the map matching together. Therefore, the current position of the user can be estimated with high accuracy.
  • the orientation of the own device is estimated by photographing a directional mark provided on the floor or ceiling in front of the door. Therefore, even when the influence of the drift error of the gyro sensor is large or the environment where the geomagnetic field deviation is large because a large amount of metal such as reinforced concrete is contained, the orientation of the own device can be estimated accurately.
  • the embodiment may be in the form of a program for allowing the computer to function as each part of the pedestrian autonomous navigation system.
  • the embodiment may be in the form of a non-transitory storage medium that can be read by a computer that stores the program.
  • the configuration of the pedestrian autonomous navigation system described in the above embodiment is an example, and may be changed depending on the situation within a range that does not deviate from the purpose.
  • processing flow of the program described in the above embodiment is also an example, and even if unnecessary steps are deleted, new steps are added, or the processing order is changed within a range that does not deviate from the purpose. Good.
  • the processing according to the embodiment is realized by the software configuration by using the computer by executing the program has been described, but the present invention is not limited to this.
  • the embodiment may be realized by, for example, a hardware configuration or a combination of a hardware configuration and a software configuration.

Abstract

歩行者自律航法のゼロ速度補正を行う際に、簡便な手法で静止状態を推定することができる歩行者自律航法装置、方法、及びプログラムを提供する。　歩行者自律航法装置１０Ａは、ジャイロセンサ及び加速度センサを含むセンサ群２４と、加速度センサにより計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得する環境情報取得部３２と、取得された環境情報から、自装置が静止状態であるか否かを判定する判定部３４と、自装置が静止状態であると判定された場合に、加速度センサにより計測された加速度及び加速度から得られる速度が共にゼロになるように、加速度センサの誤差を補正し、かつ、ジャイロセンサにより計測された角速度がゼロになるように、ジャイロセンサの誤差を補正し、誤差の補正を行った加速度センサの値及びジャイロセンサの値によって自律航法のゼロ速度補正を行う補正部３６と、を備える。

Description

歩行者自律航法装置、方法、及びプログラム
　本発明は、歩行者自律航法装置、方法、及びプログラムに係り、特に、屋内において歩行者が自律航法を行うための歩行者自律航法装置、方法、及びプログラムに関する。
　従来、ＧＰＳ（Global Positioning System）に代表される端末装置の位置を計測する技術が広く用いられている。また、屋内での端末装置の位置計測に対するニーズも存在する。
　このニーズに対応する技術として、一定間隔で電波や音波又は光信号を発信するビーコン装置からの信号を、位置計測を行う端末装置で受信し、その信号強度や到達時間から端末装置の位置を計測する技術や、インターネット通信に利用されている無線ＬＡＮ（Local Area Network）基地局の電波を流用することで専用の電波ビーコン装置の設置を不要とする技術、端末装置がビーコン信号を発信し、既知の場所に設置された単数又は複数のアンテナ・マイク・カメラ等でビーコン信号を受信することで端末装置の位置を計測する技術等が存在する。
　また、カーナビゲーションシステムにおいて、トンネル等のように、ＧＰＳによる測位ができない場所での測位補完に用いられる、速度センサ、ジャイロセンサ、及び地磁気センサ等を用いた自律航法技術が存在する。この自律航法技術を歩行者の測位に適用する検討が行われている（例えば、非特許文献１を参照）。
「消防活動が困難な空間における消防活動支援情報システム開発の報告書(平成15年5月13日)」, 消防活動が困難な空間における消防活動支援情報システムの開発プロジェクトチーム, 総務省消防庁, http://www.fdma.go.jp/neuter/topics/pdfIdx/150513_1.html, 目次：http://www.fdma.go.jp/html/new/pdf/150513_hou/mokuji.pdf, PP.28-29 http://www.fdma.go.jp/html/new/pdf/150513_hou/28-29.pdf
　しかしながら、ビーコン装置を利用する技術においては、ビーコン装置の設置及び運用にコストがかかり、ビーコン装置の設置場所も必要になる、という問題がある。
　また、端末装置からビーコン信号を発信する技術においては、アンテナ・マイク・カメラ等の受信側設備の設置及び運用にコストがかかる、という問題がある。
　また、インターネット通信に利用されている無線ＬＡＮ基地局の電波を流用することで専用の電波ビーコン装置の設置を不要とする技術においては、ビーコン装置の設置及び運用コストを必要としないが、測位を目的として設計・設置されたものではない無線ＬＡＮ基地局からの信号は、屋内測位に適切な信号強度分布を形成できず、高精度な測位を実現することが困難である、という問題がある。
　また、自律航法技術を用いる方法においては、ビーコン装置の設置及び運用コストを必要としないが、端末装置にジャイロセンサ、速度センサ、及び地磁気センサ等を必要とする、という問題がある。
　近年広く利用されているスマートフォン等の民生用携帯端末（以下、単に「携帯端末」という。）では、ジャイロセンサ、加速度センサ、及び地磁気センサ（以下、「センサ群」ともいう。）を備えることが一般的になっている。当業者であれば、携帯端末に具備されたセンサ群を用いた自律航法技術により屋内測位を行う方法を想到し得る。
　しかし、携帯端末が内蔵するジャイロセンサには、一般的に、振動式の半導体センサが用いられている。この振動式のジャイロセンサは、非特許文献１に記載のシステムで用いられている光学式のレーザージャイロセンサと比較して、角速度検出精度が低い、という問題がある。
　また、カーナビゲーションシステムでは、タイヤの回転数から速度を検出する速度センサが用いられている。このカーナビゲーションシステムの速度センサに対して、携帯端末が内蔵する加速度センサで移動速度を得るためには、ジャイロセンサによるセンサの向きの追跡を行ったうえで加速度センサにより検出される加速度から重力加速度を除いたベクトルの積分によって速度を算出する必要がある。この場合、ジャイロセンサ及び加速度センサの検出値に含まれるノイズによって、時間の経過とともに誤差が累積する、という問題がある。
　また、加速度センサによる速度算出を行う場合、加速度センサの出力値が０（ゼロ）であるときに、センサが静止しているのか、あるいは、等速運動をしているのかを原理的に判別することができない、という問題がある。
　非特許文献１に記載のシステムにおいても、速度を加速度センサにより検出した加速度の積分によって求めており、上述の問題を解消するために、自律航法技術分野の慣性航法技術における「ゼロ速度補正」と呼ばれる手法が用いられている。
　この「ゼロ速度補正」は、システムに対してセンサが静止状態にあることを外部から教示することで、その時点で検出されるセンサデータが補正すべきセンサのズレ（ドリフト）であると判断し、加速度の積分である速度、及び速度の積分である移動距離の補正を行う手法である。非特許文献１においては、この教示をシステムのユーザがシステムの端末装置の構成要素である「ペンコンピュータ」を用いて明示的に行うように実装されている。
　当業者であれば、上記実装を携帯端末に適用する場合、携帯端末のタッチスクリーン又は物理的なボタンを介して、ユーザが静止状態であることを携帯端末に教示する方法を想到し得る。しかし、上述したように、携帯端末が内蔵するジャイロセンサは、非特許文献１に記載のシステムで用いられているレーザージャイロセンサと比較して精度が低い。このため、累積誤差が大きくなりすぎる前に「ゼロ速度補正」を実行する必要がある。この場合、非特許文献１に記載のシステムと比較して、高い頻度で「ゼロ速度補正」を繰り返すことが必要となり、ユーザの利便性を損なうことになる。
　また、慣性航法を含む自律航法は、本質的に測定開始位置からの相対位置を推定する手段であるため、測定開始位置をシステムに教示する必要がある。一般的に、カーナビゲーションシステムにおいては、ＧＰＳ信号が受信できなくなった場合に、マップマッチングと併せて十分に精度が高いと判断できるＧＰＳによって最後に得られた位置を初期位置としている。歩行者が持つ携帯端末においても同様な初期位置の与え方は可能であるが、トンネル通過時等の短時間の自律航法利用が想定できるカーナビゲーションシステムと異なり、歩行者はＧＰＳによる測位が不可能な屋内空間や地下空間を長時間継続して移動することが考えられる。
　このため、歩行者向けの屋内測位に自律航法を適用するためには、屋内において間欠的に参照位置を与えることができる方法を併用することが望ましい。これは従来の屋内測位で用いられているビーコン装置を適切な密度で配置することで実現可能である。
　当業者であれば、測位を行う携帯端末がビーコン装置から発せられるビーコン信号を受信した場合に、その位置をあらかじめ設定されているビーコン装置の位置に位置補正することで、そこを自律航法の新たな初期位置として設定する方法を想到し得る。この方法によれば、ビーコン装置のみを用いた屋内測位と比較して、設置が必要なビーコン装置の数を大幅に削減可能であり、ビーコン装置に係るコストの低減が可能である。
　また、測位を行う携帯端末のユーザがゼロ速度補正の操作を行う頻度を低減でき、ユーザの利便性を高めることもできる。
　しかしながら、携帯端末に蓄積される誤差が屋内歩行者ナビゲーションの用途の許容範囲内に収まる密度で、ビーコン装置を設置するためには、床面積の大きな建物においては必要とされるビーコン装置の数も大きくなる、という問題がある。
　また、測位を行う携帯端末において、ビーコン装置からのビーコン信号を受信可能な範囲の広さより精密な測位が困難になる、という問題がある。
　本発明は、上記の事情に鑑みてなされたものであり、歩行者自律航法のゼロ速度補正を行う際に、簡便な手法で静止状態を推定することができる歩行者自律航法装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の開示に係る歩行者自律航法装置は、加速度を計測する加速度センサと、角速度を計測するジャイロセンサと、前記加速度センサにより計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得する環境情報取得部と、前記環境情報取得部により取得された環境情報から、自装置が静止状態であるか否かを判定する判定部と、前記判定部により自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行う補正部と、を備えている。
　また、第２の開示に係る歩行者自律航法装置は、第１の開示に係る歩行者自律航法装置において、前記環境情報取得部が、カメラを用いて外部空間を連続的に撮影する制御を行い、前記判定部が、前記カメラにより撮影して得られた複数の画像から、前記外部空間に含まれる特定の物体の特徴点の動きをベクトルで示すオプティカルフローを検出し、検出したオプティカルフローの大きさが閾値以下である場合に、自装置が静止状態であると判定する。
　また、第３の開示に係る歩行者自律航法装置は、第２の開示に係る歩行者自律航法装置において、前記特定の物体が、床及び天井の少なくとも一方とされている。
　また、第４の開示に係る歩行者自律航法装置は、第１の開示に係る歩行者自律航法装置において、前記環境情報取得部が、マイクを用いて環境音を集音する制御を行い、前記判定部が、前記マイクにより集音して得られた環境音の分析結果から、扉が開く音である開扉音が検出された場合に、自装置が静止状態であると判定する。
　また、第５の開示に係る歩行者自律航法装置は、第４の開示に係る歩行者自律航法装置において、予め外部のサーバ装置から提供された地図データを用いて、前記加速度センサ及び前記ジャイロセンサにより推定される歩行者の現在位置を、前記現在位置の最も近くに位置する扉の位置に補正するマップマッチング部、を更に備えている。
　また、第６の開示に係る歩行者自律航法装置は、第４又は第５の開示に係る歩行者自律航法装置において、前記扉の前に位置する床又は天井に方向性を有する目印が設けられており、前記判定部により自装置が静止状態であると判定された場合に、カメラを用いて前記目印が設けられた床又は天井を撮影する制御を行う撮影制御部と、前記カメラにより撮影して得られた前記目印の向きから、自装置の向きを推定する向き推定部と、を更に備えている。
　一方、上記目的を達成するために、第７の開示に係る歩行者自律航法方法は、加速度センサが、加速度を計測し、ジャイロセンサが、角速度を計測し、環境情報取得部が、前記加速度センサにより計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得し、判定部が、前記環境情報取得部により取得された環境情報から、自装置が静止状態であるか否かを判定し、補正部が、前記判定部により自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行う。
　更に、上記目的を達成するために、第８の開示に係るプログラムは、加速度センサにより加速度を計測し、ジャイロセンサにより角速度を計測し、計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得し、取得された環境情報から、自装置が静止状態であるか否かを判定し、自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行うことを、コンピュータに実行させる。
　以上説明したように、本開示に係る歩行者自律航法装置、方法、及びプログラムによれば、歩行者自律航法のゼロ速度補正を行う際に、簡便な手法で静止状態を推定することができる。
　具体的に、自装置が内蔵するジャイロセンサ及び加速度センサとは独立した観測手段（カメラ又はマイク）によって静止状態を推定して自律航法のゼロ速度補正を行うことが可能となる。これにより、加速度センサによる速度推定の本質的な制限である、等速運動と静止状態とを判別することができる。
　また、ユーザにより自装置が静止状態であることを明示的に教示する操作の頻度を低減することが可能となり、ユーザの利便性を高めることができる。
　また、自律航法と組み合わせて屋内歩行者ナビゲーションシステムを構成するビーコン装置の設置密度を低減可能となり、ビーコン装置の設置及び運用に関わるコストを削減することができる。
第１の実施形態に係る歩行者自律航法システムの構成の一例を示す図である。 第１の実施形態に係る歩行者自律航法装置の電気的な構成の一例を示すブロック図である。 第１の実施形態に係る歩行者自律航法装置の機能的な構成の一例を示すブロック図である。 第１の実施形態に係るオプティカルフローの推定方法の説明に供する図である。 第１の実施形態に係る歩行者自律航法処理プログラムによる処理の流れの一例を示すフローチャートである。 第２の実施形態に係る歩行者自律航法装置の機能的な構成の一例を示すブロック図である。 第２の実施形態に係る歩行者自律航法処理プログラムによる処理の流れの一例を示すフローチャートである。 第３の実施形態に係る歩行者自律航法装置の機能的な構成の一例を示すブロック図である。 第３の実施形態に係る歩行者自律航法装置の向きの推定方法の説明に供する図である。
　以下、図面を参照して、本開示を実施するための形態の一例について詳細に説明する。
　本実施形態においては、多くの汎用的な携帯端末に内蔵されているジャイロセンサ及び加速度センサを用いて自律航法による屋内歩行者ナビゲーションシステムを実現する際に課題となるゼロ速度補正を、ジャイロセンサ及び加速度センサとは独立した、多くの汎用的な携帯端末に内蔵されているカメラ又はマイクを用いた環境観測によって実現する。本実施形態においては、低コストで、かつ、歩行者にとって利便性の高い屋内歩行者ナビゲーションシステムに利用可能な歩行者自律航法装置を提供する。
[第１の実施形態]
　図１は、第１の実施形態に係る歩行者自律航法システム９０の構成の一例を示す図である。
　図１に示すように、本実施形態に係る歩行者自律航法システム９０は、歩行者自律航法装置１０Ａと、基地局６０と、サーバ装置７０と、を備えている。
　歩行者自律航法装置１０Ａには、歩行者（以下、「ユーザ」ともいう。）が携帯するスマートフォンやタブレット端末等の汎用的な携帯端末が適用される。歩行者自律航法装置１０Ａは、基地局６０を介して、インターネット等のネットワークＮに接続されている。
　基地局６０は、歩行者自律航法装置１０Ａと、任意の無線通信規格により実現される無線通信により接続されている。基地局６０は、例えば、無線ＬＡＮ規格におけるアクセスポイント、ＬＴＥ（Long Term Evolution）におけるｅＮｏｄｅＢ等の無線通信における基地局である。
　サーバ装置７０には、サーバコンピュータやパーソナルコンピュータ等の汎用的なコンピュータ装置が適用される。サーバ装置７０は、ネットワークＮに接続されており、基地局６０を介して、歩行者自律航法装置１０Ａに地図データ等を提供する。
　図２は、第１の実施形態に係る歩行者自律航法装置１０Ａの電気的な構成の一例を示すブロック図である。
　図２に示すように、本実施形態に係る歩行者自律航法装置１０Ａは、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を備えている。
　制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。
　Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。
　制御部１２は、歩行者自律航法装置１０Ａの一部の動作を制御するサブ制御部として構成されてもよいし、歩行者自律航法装置１０Ａの全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
　記憶部１４としては、例えば、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る歩行者自律航法処理を行うための歩行者自律航法処理プログラムが記憶される。なお、この歩行者自律航法処理プログラムは、ＲＯＭ１２Ｂに記憶されていてもよい。
　歩行者自律航法処理プログラムは、例えば、歩行者自律航法装置１０Ａに予めインストールされていてもよい。歩行者自律航法処理プログラムは、不揮発性の記憶媒体に記憶して、又はネットワークＮを介して配布して、歩行者自律航法装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
　表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有している。操作部１８には、例えば、操作入力用の各種のボタンが設けられている。表示部１６及び操作部１８は、自装置のユーザから各種の操作入力を受け付ける。通信部２０は、基地局６０を介して、インターネット等のネットワークＮに接続されており、サーバ装置７０との間で通信が可能とされる。
　図３は、第１の実施形態に係る歩行者自律航法装置１０Ａの機能的な構成の一例を示すブロック図である。
　図３に示すように、本実施形態に係る歩行者自律航法装置１０Ａは、カメラ２２と、センサ群２４と、地図記憶部１４Ａと、センサ取得部３０と、環境情報取得部３２と、判定部３４と、補正部３６と、位置推定部３８と、出力部４０と、を備えている。
　歩行者自律航法装置１０ＡのＣＰＵ１２Ａは、記憶部１４に記憶されている歩行者自律航法処理プログラムをＲＡＭ１２Ｃに書き込んで実行することにより、上記のセンサ取得部３０、環境情報取得部３２、判定部３４、補正部３６、位置推定部３８、及び出力部４０として機能する。なお、歩行者自律航法処理プログラムは、ユーザによる所定の操作に従って自律航法モードが設定された場合に起動するプログラムである。
　カメラ２２には、例えば、ＣＣＤ（Charge Coupled Device）等が適用される。カメラ２２は、自装置の表示面側に設けられていてもよいし、自装置の表示面側及び背面側の両方に設けられていてもよい。なお、表示面とは、上述の表示部１６が設けられている側の面である。
　センサ群２４には、一例として、加速度センサ及びジャイロセンサが含まれる。なお、地磁気センサが含まれていてもよい。加速度センサは、加速度を計測するセンサである。加速度を積分することで速度が導出され、速度を積分することで距離が導出される。本実施形態では、一例として、検出軸が３軸である３軸加速度センサが適用される。３軸加速度センサでは、重力加速度を計測することができるため、自装置の傾きを検出することが可能とされる。
　また、ジャイロセンサは、角速度を計測するセンサである。角速度は、自装置の回転の速さを表す量であり、角速度を積分することで回転した角度が導出される。ジャイロセンサには検出軸が３軸あり、Ｘ軸周りの回転（縦揺れ）を表すピッチ（Pitch）角、Ｙ軸周りの回転（横揺れ）を表すロール（Roll）角、及び、Ｚ軸周りの回転（偏揺れ）を表すヨー（Yaw）角がある。なお、ジャイロセンサには、比較的安価な振動式のジャイロセンサが用いられるが、光学式のレーザージャイロセンサを用いてもよい。
　また、地磁気センサは、磁界強度を計測するセンサである。地磁気センサの値は、偏角・伏角を伴った北方向を示す。加速度センサからの重力加速度の推定結果と合わせて利用することで、自装置の姿勢が導出される。
　地図記憶部１４Ａは、上述の記憶部１４の一部として構成されている。地図記憶部１４Ａには、外部のサーバ装置７０から提供された地図データが記憶されている。
　センサ取得部３０は、自律航法モードが設定されると、センサ群２４の各センサからのセンサ情報を定期的に取得し、取得したセンサ情報を位置推定部３８に送る。センサ取得部３０は、加速度センサにより計測された加速度が閾値以下であるか否かを判定する。具体的に、センサ取得部３０は、加速度が閾値より大きい場合、センサ情報を位置推定部３８に送り、加速度が閾値以下である場合、その旨を環境情報取得部３２に通知する。
　位置推定部３８は、センサ取得部３０から得られたセンサ情報を用いて、例えば、屋内を歩行するユーザの現在の位置を推定する。具体的には、位置推定部３８は、センサ情報からユーザの移動距離及び進行方向を推定し、現在の位置を過去の計測点から累積的に求める歩行者向けデッドレコニング（Dead Reckoning）と呼ばれる手法を用いて推定する。移動距離には、一例として、加速度センサの計測結果が利用され、進行方向には、一例として、ジャイロセンサの計測結果が利用される。なお、ここでいう位置とは、緯度及び経度で示される地図上の位置を表している。
　出力部４０は、自装置の表示面の表示部１６に表示された地図に、現在の位置としてマークを付与する、位置座標を表示する等の方法により、ユーザの現在の位置を表示する。ユーザはこの表示を見ながら自律航法により目的地まで歩行する。なお、この自律航法を行う場合、ユーザは片手又は両手で歩行者自律航法装置１０Ａを把持するが、この際、歩行者自律航法装置１０Ａの表示部１６を上にして略水平な状態に把持される。
　環境情報取得部３２は、センサ取得部３０からの通知、つまり、加速度センサにより計測された加速度が閾値以下である旨の通知を受け取ると、カメラ２２を用いて外部空間を連続的に撮影する制御を行う。これにより外部空間を撮影した画像が複数枚得られる。この複数枚の画像は、周囲の環境に関する環境情報の一例である。なお、ここでいう連続的とは、所定の時間間隔（例えば、１秒以上５秒以下の間隔）で撮影されることを含む。また、上述したように、歩行者自律航法装置１０Ａは、表示部１６を上にして略水平な状態でユーザに把持されている。この場合、上記通知をトリガとして、自動的に外部空間の撮影を行ってもよいし、上記通知をトリガとして、外部空間を撮影するように促すメッセージを表示させ、ユーザの操作に従って撮影を行ってもよい。
　判定部３４は、カメラ２２により撮影して得られた複数の画像から、外部空間に含まれる特定の物体の特徴点の動きをベクトルで示すオプティカルフローを検出する。そして、判定部３４は、検出したオプティカルフローの大きさが閾値以下である場合に、自装置が静止状態であると判定する。ここでいう特定の物体とは、屋内であれば、一例として、床及び天井の少なくとも一方である。また、屋外であれば、路面等であってもよい。これらの床や天井を撮影対象とすることで、自律航法の一連の流れの中で撮影が行われるため、ユーザに負担をかけることなく、静止状態の判定が可能とされる。なお、床を撮影する場合、自装置の表示面の裏側、すなわち、自装置の背面側に設けられたカメラ２２が用いられる。天井を撮影する場合、自装置の表示面側に設けられたカメラ２２が用いられる。床及び天井を撮影する場合、自装置の背面側及び表示面側の各々に設けられたカメラ２２が用いられる。ここで、図４を参照して、オプティカルフローの推定方法について具体的に説明する。
　図４は、第１の実施形態に係るオプティカルフローの推定方法の説明に供する図である。
　図４に示すように、動きベクトルＶ（ｕ、ｖ）でユーザに対して相対的に移動する物体（ここでは床）を連続的に撮影した場合を想定する。画像Ａでは、時刻ｔで輝度Ａ（ｘ、ｙ）の特徴点Ｐ１が、画像Ｂでは、時刻ｔ＋ｄｔで輝度Ｂ（ｘ＋ｕ、ｙ＋ｖ）の点に移動したとする。これらの画像Ａ、Ｂに対して次のように仮定する。
（ａ）画素が移動しても画素値は不変である。
（ｂ）画像は微分可能な程度に滑らかである。
（ｃ）画素の移動量は小さい（１画素以下）とする。
　つまり、画像Ａにおける座標（ｘ、ｙ）の輝度値（画素値）をＡ（ｘ、ｙ）とし、画像Ｂにおける座標（ｘ＋ｕ、ｙ＋ｖ）の輝度値をＢ（ｘ＋ｕ、ｙ＋ｖ）とした場合、仮定（ａ）から、以下に示す式（１）が成立する。
　Ｂ（ｘ＋ｕ、ｙ＋ｖ）＝Ａ（ｘ、ｙ）　　　　　　　　　　　　　　　　　　　（１）
　また、仮定（ｂ）、(ｃ)から、Ｂ（ｘ＋ｕ、ｙ＋ｖ）を一次項までテイラー展開すると、以下に示す式（２）が得られる。
　Ｂ（ｘ＋ｕ、ｙ＋ｖ）＝Ｂ（ｘ、ｙ）＋（∂Ｂ／∂ｘ）ｕ＋（∂Ｂ／∂ｙ）ｖ　（２）
　式（２）を式（１）に代入すると、以下に示す式（３）が得られる。
　（∂Ｂ／∂ｘ）ｕ＋（∂Ｂ／∂ｙ）ｖ＝－（Ｂ（ｘ、ｙ）－Ａ（ｘ、ｙ））
　（∂Ｂ／∂ｘ）ｕ＋（∂Ｂ／∂ｙ）ｖ＝－ΔＢ
　Ｂｘｕ＋Ｂｙｖ＝－ΔＢ　　　　　　　　　　　　　　　　　　　　　　　　　（３）
　上記式（３）は、オプティカルフローの拘束方程式と呼ばれる式である。
　但し、上記式（３）を解いても、（ｕ、ｖ）の解が複数になってしまう。このため、複数の解の候補の中から、最も正解に近い解（ｕ、ｖ）を推定する。このオプティカルフローの推定方法には、多くの公知技術が存在するが、一例として、「Ｌｕｃａｓ－Ｋａｎａｄｅ法」や、「Ｈｏｒｎ－Ｓｃｈｕｎｋ法」等を用いて推定すればよい。これにより、オプティカルフローが推定され、一意の解（ｕ、ｖ）が得られる。すなわち、オプティカルフローの大きさが導出される。このオプティカルフローの大きさが閾値以下であるということは、自装置が移動していない、つまり、自装置が静止状態であると判定することができる。
　補正部３６は、判定部３４により自装置が静止状態であると判定された場合に、加速度センサにより計測された加速度及び加速度から得られる速度が共にゼロになるように、加速度センサの誤差を補正し、かつ、ジャイロセンサにより計測された角速度がゼロになるように、ジャイロセンサの誤差を補正し、誤差の補正を行った加速度センサの値及びジャイロセンサの値によって自律航法のゼロ速度補正を行う。ここでいう「ゼロ」とは、完全なゼロのみを意味するものではなく、予め許容される誤差を含んでいてもよい。なお、自律航法におけるゼロ速度補正では、ジャイロセンサについても、時間が経過するにつれて、所謂ドリフト誤差が蓄積されるため、加速度センサと共に補正される。
　次に、図５を参照して、第１の実施形態に係る歩行者自律航法装置１０Ａの作用を説明する。
　図５は、第１の実施形態に係る歩行者自律航法処理プログラムによる処理の流れの一例を示すフローチャートである。歩行者自律航法処理プログラムによる処理は、歩行者自律航法装置１０ＡのＣＰＵ１２Ａが、記憶部１４に記憶されている歩行者自律航法処理プログラムをＲＡＭ１２Ｃに書き込んで実行することにより、実現される。
　まず、歩行者自律航法装置１０Ａに対して、ユーザによる所定の操作に従って、自律航法モードが設定されると、歩行者自律航法処理プログラムが起動され、以下に示す各ステップが実行される。
　図５のステップ１００では、ＣＰＵ１２Ａが、センサ取得部３０として、センサ群２４の加速度センサ及びジャイロセンサの各々からセンサ情報を取得する。
　ステップ１０２では、ＣＰＵ１２Ａが、センサ取得部３０として、ステップ１００で取得したセンサ情報に基づいて、加速度が閾値以下であるか否かを判定する。ＣＰＵ１２Ａは、加速度が閾値以下であると判定した場合（肯定判定の場合）、その旨を環境情報取得部３２に通知し、ステップ１０４に移行する。一方、ＣＰＵ１２Ａは、加速度が閾値よりも大きいと判定した場合（否定判定の場合）、センサ情報を位置推定部３８に送り、ステップ１１２に移行する。
　ステップ１０４では、ＣＰＵ１２Ａが、環境情報取得部３２として、センサ取得部３０からの通知を受けて、カメラ２２を用いて外部空間を連続的に撮影する制御を行う。
　ステップ１０６では、ＣＰＵ１２Ａが、判定部３４として、ステップ１０４で撮影して得られた複数の画像から、外部空間に含まれる特定の物体（例えば、床、天井等。）の特徴点の動きをベクトルで示すオプティカルフローを検出する。
　ステップ１０８では、ＣＰＵ１２Ａが、判定部３４として、ステップ１０６で検出したオプティカルフローの大きさと閾値とを比較した結果に基づいて、自装置が静止状態であるか否かを判定する。具体的には、ＣＰＵ１２Ａは、オプティカルフローの大きさが閾値以下である場合に、自装置が静止状態であると判定し、オプティカルフローの大きさが閾値より大きい場合に、自装置が静止状態ではないと判定する。ＣＰＵ１２Ａは、自装置が静止状態であると判定した場合（肯定判定の場合）、ステップ１１０に移行し、自装置が静止状態ではないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。
　ステップ１１０では、ＣＰＵ１２Ａが、補正部３６として、加速度センサで計測された加速度及び加速度から得られる速度が共にゼロになるように、加速度センサの誤差を補正し、かつ、ジャイロセンサにより計測された角速度がゼロになるように、ジャイロセンサの誤差を補正し、誤差の補正を行った加速度センサの値及びジャイロセンサの値によって自律航法のゼロ速度補正を行い、ステップ１１４に移行する。
　一方、ステップ１１２では、ＣＰＵ１２Ａが、位置推定部３８として、センサ取得部３０から得られたセンサ情報を用いて、ユーザの現在の位置を推定し、ステップ１１４に移行する。具体的に、ＣＰＵ１２Ａは、上述したように、得られたセンサ情報からユーザの移動距離及び進行方向を推定し、現在の位置を過去の計測点から累積的に求める歩行者向けデッドレコニングと呼ばれる手法を用いて推定する。
　ステップ１１４では、ＣＰＵ１２Ａが、センサ取得部３０として、自律航法モードが解除され、測位の終了が指示されたか否かを判定する。ＣＰＵ１２Ａは、測位の終了が指示されていないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返し、測位の終了が指示されたと判定した場合（肯定判定の場合）、本歩行者自律航法処理プログラムによる一連の処理を終了する。
　このように本実施形態によれば、多くの汎用的な携帯端末に内蔵されているジャイロセンサ及び加速度センサを用いて自律航法を行う際に、課題となるゼロ速度補正を、ジャイロセンサ及び加速度センサとは独立した、多くの汎用的な携帯端末に内蔵されているカメラを用いた環境観測によって簡便に実現することができる。
[第２の実施形態]
　上記第１の実施形態では、カメラを用いた環境観測によってゼロ速度補正を行う形態について説明した。本実施形態では、マイクを用いた環境観測によってゼロ速度補正を行う形態について説明する。
　図６は、第２の実施形態に係る歩行者自律航法装置１０Ｂの機能的な構成の一例を示すブロック図である。
　図６に示すように、本実施形態に係る歩行者自律航法装置１０Ｂは、センサ群２４と、地図記憶部１４Ａと、開扉音記憶部１４Ｂと、マイク２６と、センサ取得部３０と、環境情報取得部４２と、判定部４４と、補正部４６と、位置推定部３８と、出力部４０と、を備えている。
　歩行者自律航法装置１０ＢのＣＰＵ１２Ａは、記憶部１４に記憶されている歩行者自律航法処理プログラムをＲＡＭ１２Ｃに書き込んで実行することにより、上記のセンサ取得部３０、環境情報取得部４２、判定部４４、補正部４６、位置推定部３８、及び出力部４０として機能する。なお、第１の実施形態で示した歩行者自律航法装置１０Ａと同一の機能を有する構成要素には、同一の符号を付し、その繰り返しの説明は省略する。
　マイク２６は、自装置に内蔵されているマイクロフォンであり、環境音を集音し、集音した環境音を電気信号に変換する。
　開扉音記憶部１４Ｂは、上述の記憶部１４の一部として構成されている。開扉音記憶部１４Ｂには、外部のサーバ装置７０から提供された各種の開扉音の周波数分布データが予め記憶されている。ここでいう開扉音とは、扉が開く音を意味する。なお、扉とは、自動開閉式の扉でもよいし、手動開閉式の扉でもよい。
　環境情報取得部４２は、センサ取得部３０からの通知、つまり、加速度センサにより計測された加速度が閾値以下である旨の通知を受け取ると、マイク２６を用いて環境音を集音する制御を行う。これにより集音された環境音は、周囲の環境に関する環境情報の一例である。この場合、上記通知をトリガとして、自動的に環境音の集音を行ってもよいし、上記通知をトリガとして、環境音を集音するように促すメッセージを表示させ、ユーザの操作に従って集音を行ってもよい。
　判定部４４は、マイク２６により集音して得られた環境音の分析を行う。具体的に、環境音の中には周波数の異なる複数の音が含まれているため、これら複数の音の各々についての周波数分布データを取得する。そして、取得した各音の周波数分布データについて、開扉音記憶部１４Ｂに予め記憶されている開扉音の周波数分布データと一致又は類似するかの分析を行う。そして、判定部４４は、環境音の分析結果から開扉音が検出された場合に、ユーザが扉の前で扉が開くのを待っている状態、つまり、自装置が静止状態であると判定する。
　補正部４６は、判定部４４により自装置が静止状態であると判定された場合に、加速度センサにより計測された加速度及び加速度から得られる速度が共にゼロになるように、加速度センサの誤差を補正し、かつ、ジャイロセンサにより計測された角速度がゼロになるように、ジャイロセンサの誤差を補正し、誤差の補正を行った加速度センサの値及びジャイロセンサの値によって自律航法のゼロ速度補正を行う。
　次に、図７を参照して、第２の実施形態に係る歩行者自律航法装置１０Ｂの作用を説明する。
　図７は、第２の実施形態に係る歩行者自律航法処理プログラムによる処理の流れの一例を示すフローチャートである。歩行者自律航法処理プログラムによる処理は、歩行者自律航法装置１０ＢのＣＰＵ１２Ａが、記憶部１４に記憶されている歩行者自律航法処理プログラムをＲＡＭ１２Ｃに書き込んで実行することにより、実現される。
　まず、歩行者自律航法装置１０Ｂに対して、ユーザによる所定の操作に従って、自律航法モードが設定されると、歩行者自律航法処理プログラムが起動され、以下に示す各ステップが実行される。
　図７のステップ１２０では、ＣＰＵ１２Ａが、センサ取得部３０として、センサ群２４の加速度センサ及びジャイロセンサの各々からセンサ情報を取得する。
　ステップ１２２では、ＣＰＵ１２Ａが、センサ取得部３０として、ステップ１２０で取得したセンサ情報に基づいて、加速度が閾値以下であるか否かを判定する。ＣＰＵ１２Ａは、加速度が閾値以下であると判定した場合（肯定判定の場合）、その旨を環境情報取得部４２に通知し、ステップ１２４に移行する。一方、ＣＰＵ１２Ａは、加速度が閾値よりも大きいと判定した場合（否定判定の場合）、センサ情報を位置推定部３８に送り、ステップ１３２に移行する。
　ステップ１２４では、ＣＰＵ１２Ａが、環境情報取得部４２として、センサ取得部３０からの通知を受けて、マイク２６を用いて環境音を集音する制御を行う。
　ステップ１２６では、ＣＰＵ１２Ａが、判定部４４として、ステップ１２４で集音して得られた環境音を分析する。具体的に、ＣＰＵ１２Ａは、環境音に含まれる各音の周波数分布データについて、開扉音記憶部１４Ｂに予め記憶されている開扉音の周波数分布データと一致又は類似するかの分析を行う。
　ステップ１２８では、ＣＰＵ１２Ａが、判定部４４として、ステップ１２６での環境音の分析結果に基づいて、自装置が静止状態であるか否かを判定する。具体的には、ＣＰＵ１２Ａは、分析結果から開扉音が検出された場合に、自装置が静止状態であると判定し、分析結果から開扉音が検出されない場合に、自装置が静止状態ではないと判定する。ＣＰＵ１２Ａは、自装置が静止状態であると判定した場合（肯定判定の場合）、ステップ１３０に移行し、自装置が静止状態ではないと判定した場合（否定判定の場合）、ステップ１２０に戻り処理を繰り返す。
　ステップ１３０では、ＣＰＵ１２Ａが、補正部４６として、加速度センサで計測された加速度及び加速度から得られる速度が共にゼロになるように、加速度センサの誤差を補正し、かつ、ジャイロセンサにより計測された角速度がゼロになるように、ジャイロセンサの誤差を補正し、誤差の補正を行った加速度センサの値及びジャイロセンサの値によって自律航法のゼロ速度補正を行い、ステップ１３４に移行する。
　一方、ステップ１３２では、ＣＰＵ１２Ａが、位置推定部３８として、センサ取得部３０から得られたセンサ情報を用いて、ユーザの現在位置を推定し、ステップ１３４に移行する。具体的に、ＣＰＵ１２Ａは、上述したように、得られたセンサ情報からユーザの移動距離及び進行方向を推定し、現在の位置を過去の計測点から累積的に求める歩行者向けデッドレコニングと呼ばれる手法を用いて推定する。
　ステップ１３４では、ＣＰＵ１２Ａが、センサ取得部３０として、自律航法モードが解除され、測位の終了が指示されたか否かを判定する。ＣＰＵ１２Ａは、測位の終了が指示されていないと判定した場合（否定判定の場合）、ステップ１２０に戻り処理を繰り返し、測位の終了が指示されたと判定した場合（肯定判定の場合）、本歩行者自律航法処理プログラムによる一連の処理を終了する。
　このように本実施形態によれば、多くの汎用的な携帯端末に内蔵されているジャイロセンサ及び加速度センサを用いて自律航法を行う際に、課題となるゼロ速度補正を、ジャイロセンサ及び加速度センサとは独立した、多くの汎用的な携帯端末に内蔵されているマイクを用いた環境観測によって簡便に実現することができる。
[第３の実施形態]
　上記第２の実施形態では、マイクを用いた環境観測によってゼロ速度補正を行う形態について説明した。本実施形態では、更に、マップマッチング技術を用いて、ユーザの現在位置を補正する形態について説明する。
　図８は、第３の実施形態に係る歩行者自律航法装置１０Ｃの機能的な構成の一例を示すブロック図である。
　図８に示すように、本実施形態に係る歩行者自律航法装置１０Ｃは、カメラ２２と、センサ群２４と、地図記憶部１４Ａと、開扉音記憶部１４Ｂと、マイク２６と、センサ取得部３０と、環境情報取得部４２と、判定部４４と、補正部４６と、位置推定部３８と、出力部４０と、マップマッチング部４８と、撮影制御部５０と、向き推定部５２と、を備えている。
　歩行者自律航法装置１０ＣのＣＰＵ１２Ａは、記憶部１４に記憶されている歩行者自律航法処理プログラムをＲＡＭ１２Ｃに書き込んで実行することにより、上記のセンサ取得部３０、環境情報取得部４２、判定部４４、補正部４６、位置推定部３８、出力部４０、マップマッチング部４８、撮影制御部５０、及び向き推定部５２として機能する。なお、第２の実施形態で示した歩行者自律航法装置１０Ｂと同一の機能を有する構成要素には、同一の符号を付し、その繰り返しの説明は省略する。
　マップマッチング部４８は、地図記憶部１４Ａに記憶されている地図データを用いて、センサ群２４の加速度センサ及びジャイロセンサにより推定されるユーザの現在位置を、現在位置の最も近くに位置する扉の位置に補正する。自律航法を行う場合、センサ群２４から得たセンサ情報に基づいて現在位置を推定するため、この現在位置には多少の誤差が含まれており、実際の位置とはズレが生じている場合がある。このため、地図データを用いて、このズレを最適と考えられる場所に補正する。ここでは、ユーザの現在位置の最も近くに位置する扉の位置が最適と考えられるため、当該扉の位置に補正する。
　次に、図９を参照して、歩行者自律航法装置１０Ｃの向きを推定する方法について説明する。
　図９は、第３の実施形態に係る歩行者自律航法装置１０Ｃの向きの推定方法の説明に供する図である。図９の上図には、扉Ｄの前の床に設けられた目印Ｍを示し、図９の下図には、目印Ｍを撮影した画像を示す。
　図９の上図に示す目印Ｍは、方向性を有するマークであり、一例として、矢印である。この矢印の向きが世界座標系での北を表している。つまり、目印Ｍの向きには、世界座標系での方位が予め対応付けられている。この例では、目印Ｍの矢印の向きは、扉Ｄの開方向に沿っている。従って、ユーザから見て、右側が北、左側が南、前側が西、後側が東となる。
　撮影制御部５０は、判定部４４により自装置が静止状態であると判定された場合に、カメラ２２を用いて目印Ｍが設けられた床を撮影する制御を行う。ここで、歩行者自律航法装置１０Ｃは、表示部１６を上にして略水平な状態でユーザに把持されている。このとき、ユーザは扉Ｄに正対する位置にいることが望ましい。この場合、上記判定をトリガとして、自動的に目印Ｍの撮影を行ってもよいし、上記判定をトリガとして、目印Ｍを撮影するように促すメッセージを表示させ、ユーザの操作に従って撮影を行ってもよい。
　向き推定部５２は、カメラ２２により撮影して得られた目印Ｍの向きから、自装置の向きを推定する。具体的に、図９の下図に示す画像では、目印Ｍの矢印が右横を向いている。つまり、ユーザから見て右横が北であり、このユーザは西に向けて歩いていると推定される。つまり、自装置の向きは西向きと推定される。そして、向き推定部５２は、推定した自装置の向きを位置推定部３８に送る。
　なお、上記では、目印Ｍを床に設けた場合について示したが、目印Ｍを天井に設けるようにしてもよいし、床及び天井の両方に設けるようにしてもよい。
　このように本実施形態によれば、マップマッチングを併用することで、ユーザの現在位置が扉の位置に補正される。このため、ユーザの現在位置を精度良く推定することができる。また、扉の前の床又は天井に設けられた方向性を有する目印を撮影することによって自装置の向きが推定される。このため、ジャイロセンサのドリフト誤差の影響が大きい場合や鉄筋コンクリート等の金属を多く含むため地磁気の狂いが大きい環境であっても、自装置の向きを精度良く推定することができる。
　以上、実施形態として歩行者自律航法装置を例示して説明した。実施形態は、コンピュータを、歩行者自律航法装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な非一時的（non-transitory）記憶媒体の形態としてもよい。
　その他、上記実施形態で説明した歩行者自律航法装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
　また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
　また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０Ａ、１０Ｂ、１０Ｃ　歩行者自律航法装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ 地図記憶部
１４Ｂ 開扉音記憶部
１６ 表示部
１８ 操作部
２０ 通信部
２２ カメラ
２４ センサ群
２６ マイク
３０ センサ取得部
３２、４２ 環境情報取得部
３４、４４ 判定部
３６、４６ 補正部
３８ 位置推定部
４０ 出力部
４８ マップマッチング部
５０ 撮影制御部
５２ 向き推定部
６０ 基地局
７０ サーバ装置
９０ 歩行者自律航法システム

Claims (8)

  1. 　加速度を計測する加速度センサと、
    　角速度を計測するジャイロセンサと、
    　前記加速度センサにより計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得する環境情報取得部と、
    　前記環境情報取得部により取得された環境情報から、自装置が静止状態であるか否かを判定する判定部と、
    　前記判定部により自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行う補正部と、
    　を備えた歩行者自律航法装置。
  2. 　前記環境情報取得部は、カメラを用いて外部空間を連続的に撮影する制御を行い、
    　前記判定部は、前記カメラにより撮影して得られた複数の画像から、前記外部空間に含まれる特定の物体の特徴点の動きをベクトルで示すオプティカルフローを検出し、検出したオプティカルフローの大きさが閾値以下である場合に、自装置が静止状態であると判定する請求項１に記載の歩行者自律航法装置。
  3. 　前記特定の物体は、床及び天井の少なくとも一方である請求項２に記載の歩行者自律航法装置。
  4. 　前記環境情報取得部は、マイクを用いて環境音を集音する制御を行い、
    　前記判定部は、前記マイクにより集音して得られた環境音の分析結果から、扉が開く音である開扉音が検出された場合に、自装置が静止状態であると判定する請求項１に記載の歩行者自律航法装置。
  5. 　予め外部のサーバ装置から提供された地図データを用いて、前記加速度センサ及び前記ジャイロセンサにより推定される歩行者の現在位置を、前記現在位置の最も近くに位置する扉の位置に補正するマップマッチング部、
    　を更に備えた請求項４に記載の歩行者自律航法装置。
  6. 　前記扉の前に位置する床又は天井に方向性を有する目印が設けられており、
    　前記判定部により自装置が静止状態であると判定された場合に、カメラを用いて前記目印が設けられた床又は天井を撮影する制御を行う撮影制御部と、
    　前記カメラにより撮影して得られた前記目印の向きから、自装置の向きを推定する向き推定部と、
    　を更に備えた請求項４又は５に記載の歩行者自律航法装置。
  7. 　加速度センサが、加速度を計測し、
    　ジャイロセンサが、角速度を計測し、
    　環境情報取得部が、前記加速度センサにより計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得し、
    　判定部が、前記環境情報取得部により取得された環境情報から、自装置が静止状態であるか否かを判定し、
    　補正部が、前記判定部により自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行う、
    　歩行者自律航法方法。
  8. 　加速度センサにより加速度を計測し、
    　ジャイロセンサにより角速度を計測し、
    　計測された加速度が閾値以下である場合に、周囲の環境に関する環境情報を取得し、
    　取得された環境情報から、自装置が静止状態であるか否かを判定し、
    　自装置が静止状態であると判定された場合に、前記加速度センサにより計測された加速度及び前記加速度から得られる速度が共にゼロになるように、前記加速度センサの誤差を補正し、かつ、前記ジャイロセンサにより計測された角速度がゼロになるように、前記ジャイロセンサの誤差を補正し、前記誤差の補正を行った前記加速度センサの値及び前記ジャイロセンサの値によって自律航法のゼロ速度補正を行うことを、コンピュータに実行させるためのプログラム。
PCT/JP2020/018110 2019-05-09 2020-04-28 歩行者自律航法装置、方法、及びプログラム WO2020226102A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019088997A JP2020183920A (ja) 2019-05-09 2019-05-09 歩行者自律航法装置、方法、及びプログラム
JP2019-088997 2019-05-09

Publications (1)

Publication Number Publication Date
WO2020226102A1 true WO2020226102A1 (ja) 2020-11-12

Family

ID=73044203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018110 WO2020226102A1 (ja) 2019-05-09 2020-04-28 歩行者自律航法装置、方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2020183920A (ja)
WO (1) WO2020226102A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924935A (zh) * 2021-02-25 2021-06-08 浙江大学 基于单声波基站的移动智能终端室内定位方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002754A (ja) * 2007-06-20 2009-01-08 Pioneer Electronic Corp 停止判断装置、ナビゲーション装置、停止判断方法、停止判断プログラムおよび記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002754A (ja) * 2007-06-20 2009-01-08 Pioneer Electronic Corp 停止判断装置、ナビゲーション装置、停止判断方法、停止判断プログラムおよび記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924935A (zh) * 2021-02-25 2021-06-08 浙江大学 基于单声波基站的移动智能终端室内定位方法及装置
CN112924935B (zh) * 2021-02-25 2023-10-27 浙江大学 基于单声波基站的移动智能终端室内定位方法及装置

Also Published As

Publication number Publication date
JP2020183920A (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
JP6665572B2 (ja) 制御プログラム、制御方法およびコンピュータ
EP3014476B1 (en) Using movement patterns to anticipate user expectations
EP3168571B1 (en) Utilizing camera to assist with indoor pedestrian navigation
US9599473B2 (en) Utilizing magnetic field based navigation
US9116000B2 (en) Map-assisted sensor-based positioning of mobile devices
KR101728123B1 (ko) 지구 자기장을 이용한 동시 로컬리제이션 및 매핑
US11333508B2 (en) Congestion degree estimation method, number-of-people estimation method, congestion degree estimation program, number-of-people estimation program and number-of-people estimation system
US20160252354A1 (en) Method and system for multiple pass smoothing
JP6174105B2 (ja) 判定装置、判定方法及び判定プログラム
JP2013195143A (ja) 位置検出装置、電子機器、位置検出システム、及びプログラム
CN103776443A (zh) 一种利用图像信息码提供校正信息的自主导航系统
JP5742794B2 (ja) 慣性航法装置及びプログラム
JP2021099303A (ja) 粒子フィルタを使用した位置特定方法、プログラム、及びシステム
US10451708B2 (en) Backtracking indoor trajectories using mobile sensors
US20200158533A1 (en) Step-length calculating device, portable terminal, position-information providing system, step-length calculating device control method, and program
CN110426725B (zh) 一种精确定位室内用户移动终端的方法
WO2020226102A1 (ja) 歩行者自律航法装置、方法、及びプログラム
JP2017227656A (ja) 判定装置、判定方法及び判定プログラム
KR101831891B1 (ko) 위치 추정 장치, 위치 추정 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
KR101525224B1 (ko) 자동촬영모드를 가지는 휴대용 단말기
JP2016138864A (ja) 測位装置、測位方法、コンピュータプログラム、及び記憶媒体
WO2020226103A1 (ja) 位置情報提供装置、方法、及びプログラム
Asano et al. A robust pedestrian dead-reckoning positioning based on pedestrian behavior and sensor validity
TWI632390B (zh) Adaptive weighting positioning method
WO2021176837A1 (ja) 位置推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20801539

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20801539

Country of ref document: EP

Kind code of ref document: A1