WO2022255190A1 - 歩行者装置およびその測位方法 - Google Patents

歩行者装置およびその測位方法 Download PDF

Info

Publication number
WO2022255190A1
WO2022255190A1 PCT/JP2022/021411 JP2022021411W WO2022255190A1 WO 2022255190 A1 WO2022255190 A1 WO 2022255190A1 JP 2022021411 W JP2022021411 W JP 2022021411W WO 2022255190 A1 WO2022255190 A1 WO 2022255190A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
camera
information
image
positioning
Prior art date
Application number
PCT/JP2022/021411
Other languages
English (en)
French (fr)
Inventor
剛 上野
洋一 中川
陽平 沈
Original Assignee
パナソニックホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックホールディングス株式会社 filed Critical パナソニックホールディングス株式会社
Priority to CN202280039846.9A priority Critical patent/CN117642602A/zh
Publication of WO2022255190A1 publication Critical patent/WO2022255190A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Definitions

  • the present disclosure relates to a pedestrian device that is carried by a pedestrian and performs positioning to acquire the pedestrian's position information, and a positioning method thereof.
  • a safe driving support wireless system that uses ITS (Intelligent Transport System) exchanges vehicle location information with in-vehicle terminals to avoid accidents between vehicles and to prevent accidents between vehicles and pedestrians. Accidents between vehicles and pedestrians are avoided by exchanging location information between the in-vehicle terminal and the pedestrian terminal.
  • ITS Intelligent Transport System
  • In-vehicle terminals and pedestrian terminals mainly acquire the position information of vehicles and pedestrians by satellite positioning, but various positioning methods such as positioning using PDR (Pedestrian Dead Reckoning) can be adopted. can be done. At this time, in order to prevent traffic accidents, a positioning method capable of acquiring highly accurate position information is desired.
  • PDR pedestrian Dead Reckoning
  • Pedestrians change their speed and direction of movement more remarkably than vehicles, etc. Therefore, in positioning for acquiring the position information of the current location of pedestrians, even if the positioning method according to the above-mentioned conventional technology is adopted as it is, it will not be possible. Accurate positioning may not be possible. Moreover, when positioning a pedestrian using a camera image of the road surface, it is desirable to reduce the processing load.
  • the present disclosure provides a pedestrian device and a positioning method thereof that can reduce the processing load when positioning the pedestrian using a camera image that captures the road surface on which the pedestrian travels. Main purpose.
  • the pedestrian device of the present disclosure includes a foot camera that sequentially generates foot camera images by photographing the road surface at the feet of the pedestrian, Surrounding cameras that sequentially generate surrounding camera images of a person, road surface registration information that associates position information of the registered points with a plurality of road surface camera images taken of the road surface at the registered points, and included in the surrounding camera images that photograph the surroundings a memory for storing fixed object registration information in which position information is associated with characteristic information on fixed objects that are stored; extracting feature information about an object included in the camera image surrounding the pedestrian, and comparing the feature information about the object with the feature information about the fixed object in the fixed-object registration information to obtain the position information in the fixed-object registration information; is used to perform temporary positioning of the pedestrian, based on the result of the temporary positioning, a part of the plurality of road surface camera images stored in the memory is extracted as a matching candidate image, and the foot camera image and the Each matching candidate image is matched, and position information of the registered point associated with the matching candidate image that has been successfully matched is acquired as
  • a pedestrian device positioning method of the present disclosure is a pedestrian device positioning method for acquiring current position information of a pedestrian, wherein a camera captures a road surface at the foot of the pedestrian, thereby obtaining a foot camera image. are sequentially generated, and at least one of the front, back, left, and right directions of the pedestrian is captured by a camera, thereby sequentially generating camera images around the pedestrian, and capturing the road surface at the registered point.
  • the road surface registration information in which the position information of the registered point is associated with each other, and the fixed object registration information in which the position information is associated with the characteristic information on the fixed object included in the surrounding camera image of the surroundings are stored in the memory, Characteristic information about an object included in a camera image around a pedestrian is extracted, and by comparing the characteristic information about the object with the characteristic information about the fixed object in the fixed-object registration information, the position information in the fixed-object registration information is determined. to perform provisional positioning of the pedestrian using the foot camera image; The position information of the registration point associated with the matching candidate image for which matching is successful is obtained as the position information of the current location of the pedestrian.
  • FIG. 2 is a flowchart showing operation procedures of the vehicle-mounted terminal 2 according to the first embodiment; Flow diagram showing the operation procedure of the roadside unit 3 according to the first embodiment Block diagram showing a schematic configuration of a pedestrian terminal according to the second embodiment Flow diagram showing the operation procedure of the pedestrian terminal according to the second embodiment Block diagram showing a schematic configuration of a pedestrian terminal according to the third embodiment Flow diagram showing the operation procedure of the pedestrian terminal according to the third embodiment Flow diagram showing the operation procedure of the pedestrian terminal according to the first modification of the third embodiment Flow diagram showing the operation procedure of the pedestrian terminal according to the second modification of the third embodiment
  • a first invention that has been made to solve the above-mentioned problems is a foot camera that sequentially generates foot camera images by photographing the road surface at the feet of the pedestrian, and at least one of the front, back, left, and right directions of the pedestrian.
  • road surface registration information in which the position information of the registered point is associated with a plurality of road surface camera images obtained by photographing the road surface of the registered point, and the surroundings a memory for storing fixed object registration information in which position information is associated with feature information on fixed objects included in captured peripheral camera images; wherein the processor extracts feature information about an object included in the pedestrian surrounding camera image, and compares the feature information about the object with the feature information about the fixing object in the fixing object registration information to determine the fixing object Performing provisional positioning of the pedestrian using the position information in the object registration information, and extracting part of the plurality of road surface camera images stored in the memory as matching candidate images based on the result of the provisional positioning.
  • matching candidate images extracted from road camera images based on the result of provisional positioning are compared with feet camera images, and position information of registered points associated with matching candidate images that have been successfully matched is obtained. Since the current location information of the pedestrian is acquired, the processing load can be reduced when positioning the pedestrian using camera images (foot camera image and road surface camera image) of the road surface on which the pedestrian travels.
  • a second aspect of the invention further comprises a receiver for receiving satellite positioning signals, wherein the processor acquires the fixture registration information from another device according to the position information obtained from the satellite positioning signals, The acquired fixed product registration information is stored in the memory.
  • the foot camera and the surrounding camera are composed of one 360-degree camera.
  • the foot camera image and the pedestrian surrounding camera image can be acquired as needed without complicating the configuration of the pedestrian device.
  • the processor is capable of interrupting the provisional positioning, sequentially calculates the movement amount of the pedestrian while interrupting the provisional positioning, and based on the calculation result of the movement amount, A part of the plurality of road surface camera images stored in the memory is extracted as the matching candidate image.
  • the processor performs self-position estimation processing based on pedestrian autonomous navigation, and self-position estimation based on the pedestrian surrounding camera image generated by the surrounding camera. It is configured to be acquired by at least one of the processes.
  • the amount of movement of the pedestrian can be obtained through simple processing.
  • the processor repeatedly executes the provisional positioning of the pedestrian, sequentially stores the results of the provisional positioning in the memory, and uses the surrounding camera based on the pedestrian surrounding camera image. Determining whether or not blocking occurs in the imaging area, and if it is determined that blocking has occurred in the imaging area of the surrounding camera, the past temporary positioning result stored in the memory is used as the latest temporary positioning result. Configure to acquire.
  • the processor is capable of interrupting the provisional positioning, sequentially calculating the movement amount of the pedestrian while interrupting the provisional positioning, and based on the calculation result of the movement amount, extracting a part of the plurality of road surface camera images stored in the memory as the matching candidate image, and calculating the duration of the shielding when it is determined that the shielding has occurred in the shooting area of the surrounding cameras;
  • the duration of the shielding is equal to or greater than a threshold
  • the temporary positioning is interrupted, and the amount of movement of the pedestrian is estimated by self-position estimation processing based on pedestrian autonomous navigation and the pedestrian generated by the surrounding camera. It is configured to acquire by at least one of the self-position estimation processing based on surrounding camera images.
  • An eighth aspect of the invention further comprises a communication unit that performs wireless communication with at least one of an in-vehicle device mounted on a vehicle and a roadside device, wherein the processor determines that the imaging area of the surrounding camera is shielded. In this case, a message regarding the occurrence of the shielding is transmitted to at least one of the in-vehicle device and the roadside device performing the wireless communication via the communication unit.
  • a ninth aspect of the present invention is a positioning method for a pedestrian device for acquiring current position information of a pedestrian, wherein a camera photographs the road surface at the foot of the pedestrian, and sequentially captures the foot camera image.
  • camera images of the pedestrian in at least one of the front, back, left, and right directions of the pedestrian, sequentially generating camera images of the pedestrian's surroundings, and converting a plurality of road surface camera images of the road surface of the registered point into a plurality of camera images of the road surface of the registered point.
  • Road surface registration information in which position information is associated with each other, and fixed object registration information in which position information is associated with characteristic information about a fixed object included in a peripheral camera image of the surroundings, are stored in a memory, and the pedestrian surroundings are stored.
  • Characteristic information about an object included in a camera image is extracted, and by comparing the characteristic information about the object with the characteristic information about the fixed matter in the fixed matter registration information, the position information in the fixed matter registration information is used to perform the Performing provisional positioning of a pedestrian, extracting part of the plurality of road surface camera images stored in the memory as matching candidate images based on the results of the provisional positioning, and extracting the foot camera image and each of the matching candidate images. are respectively collated, and the position information of the registered point associated with the collation candidate image for which collation is successful is acquired as the position information of the current location of the pedestrian.
  • matching candidate images extracted from road camera images based on the result of provisional positioning are compared with feet camera images, and position information of registered points associated with matching candidate images that have been successfully matched is obtained. Since the current location information of the pedestrian is acquired, the processing load can be reduced when positioning the pedestrian using camera images (foot camera image and road surface camera image) of the road surface on which the pedestrian travels.
  • FIG. 1 is an overall configuration diagram of a traffic safety support system according to the first embodiment.
  • the traffic safety support system supports traffic safety of pedestrians W and vehicles V, and includes a pedestrian terminal 1 (pedestrian device), an in-vehicle terminal 2 (in-vehicle device), and a roadside device 3. there is
  • ITS communication is performed between the pedestrian terminal 1, the vehicle-mounted terminal 2, and the roadside device 3.
  • This ITS communication is radio communication using a frequency band (for example, 700 MHz band or 5.8 GHz band) employed in a safe driving support radio system using ITS (Intelligent Transport System).
  • the ITS communication between the pedestrian terminal 1 and the vehicle-mounted terminal 2 is appropriately referred to as pedestrian-to-vehicle communication
  • the ITS communication between the pedestrian terminal 1 and the roadside device 3 is referred to as road-walking communication.
  • ITS communication between the in-vehicle terminal 2 and the roadside device 3 is called road-to-vehicle communication.
  • ITS communication is also performed between the on-vehicle terminals 2, and this ITS communication is called inter-vehicle communication.
  • the pedestrian terminal 1 is owned by a pedestrian W who is its user.
  • the pedestrian terminal 1 transmits and receives messages including position information and the like to and from the vehicle-mounted terminal 2 by ITS communication (inter-pedestrian communication).
  • ITS communication inter-pedestrian communication
  • the pedestrian terminal 1 determines the risk of collision between the pedestrian W and the vehicle, and performs an action to alert the pedestrian W when there is a risk of collision.
  • the in-vehicle terminal 2 is mounted on the vehicle V.
  • the in-vehicle terminal 2 transmits and receives messages including position information and the like to and from the pedestrian terminal 1 by ITS communication (inter-vehicle communication).
  • ITS communication inter-vehicle communication
  • the vehicle-mounted terminal 2 determines the risk of collision between the pedestrian W and the vehicle V, and performs an operation to alert the driver of the vehicle V when there is a risk of collision.
  • the action of calling attention by the in-vehicle terminal 2 may be performed using, for example, a car navigation device.
  • the roadside unit 3 is installed at a road intersection or the like.
  • the roadside device 3 distributes various types of information such as traffic information to the pedestrian terminal 1 and the in-vehicle terminal 2 by ITS communication (road-to-foot communication, road-to-vehicle communication).
  • ITS communication road-to-foot communication, road-to-vehicle communication
  • the roadside device 3 notifies the in-vehicle terminal 2 and the pedestrian terminal 1 of the presence of the vehicle V and the pedestrian W located in the vicinity of the device by ITS communication (road-to-vehicle communication, road-to-walk communication).
  • ITS communication road-to-vehicle communication, road-to-walk communication
  • the pedestrian terminal 1 is equipped with a camera 11 (foot camera, surrounding camera).
  • the camera 11 captures a camera image of the road surface at the feet of the pedestrian W (hereinafter referred to as a foot camera image) and a camera image of the front (moving direction) of the pedestrian W (hereinafter referred to as a front camera image). , can be generated.
  • the foot camera image and the front camera image can be generated at a predetermined frame rate as frame images forming a video (moving image).
  • the camera 11 is provided integrally with the body of the pedestrian terminal 1 .
  • the camera 11 may be provided separately from the main body of the pedestrian terminal 1 in consideration of the convenience of photographing (direction of photographing, angle of view, etc.). In that case, the camera 11 is communicably connected to the main body of the pedestrian terminal 1 by wire or wirelessly.
  • the camera 11 can be composed of a plurality of cameras (see the foot camera 11A and the front camera 11B in FIG. 6) that respectively generate the foot camera image and the front camera image.
  • the camera 11 may be composed of a single camera (for example, a 360-degree camera) capable of capturing a wide range so as to generate a foot camera image and a front camera image (or images corresponding to them).
  • Pedestrian terminal 1 is equipped with one camera capable of photographing a wide range (that is, capable of covering a required photographing area), so that foot camera images and front camera images can be obtained without complicating the configuration. can be obtained accordingly.
  • the camera 11 generates a foot camera image that captures the road surface at the feet of the pedestrian W and a front camera image that captures the front of the pedestrian W is shown.
  • the front camera 11B (surrounding camera) may be any camera capable of generating an image (pedestrian surrounding camera image) of at least one of the front, rear, right, and left directions of the pedestrian W.
  • the camera 11 may photograph the rear of the pedestrian W (the direction opposite to the moving direction) instead of photographing the front of the pedestrian W.
  • the camera 11 is one camera capable of photographing a wide range so as to generate camera images in at least one of the front, back, left, and right directions of the pedestrian W (or equivalent images) in addition to the foot camera image.
  • it may be configured by a 360-degree camera). It should be noted that the orientation (shooting direction) of the camera 11 does not need to strictly match any of the front, rear, left, or right of the pedestrian W.
  • the pedestrian terminal 1 is a spectacle-type wearable device (smart glasses) worn on the head of the pedestrian W.
  • the pedestrian terminal 1 has an AR display and has a function of realizing AR (Augmented Reality) on the AR display.
  • AR is realized by superimposing and displaying a virtual object on an AR display in a real space within the real field of view of the pedestrian W.
  • FIG. The AR display displays, as virtual objects, an image representing the risk of collision with a vehicle, an image of a vehicle that is not directly visible to the pedestrian W at an intersection that is not in the line of sight, and the like.
  • the pedestrian terminal 1 may be configured by a plurality of devices capable of communicating with each other.
  • the pedestrian terminal 1 is composed of a head-mounted device that is worn on the head of the pedestrian W, and a main device that is provided separately from the head-mounted device and arranged outside the head of the pedestrian W. may be configured.
  • FIG. 2 is an explanatory diagram showing an overview of the image matching process performed by the pedestrian terminal 1.
  • FIG. 3 is an explanatory diagram showing how registered points are set.
  • FIG. 4 is an explanatory diagram showing registered contents of the image position DB.
  • FIG. 5 is an explanatory diagram showing an outline of provisional positioning performed by the pedestrian terminal 1. As shown in FIG. Although the pedestrian terminal has been described in this embodiment, it is also possible to apply a similar mechanism to an in-vehicle terminal.
  • the road surface gradually deteriorates over time.
  • road markings such as white lines are drawn on road surfaces with special paint (traffic paint).
  • Deterioration such as cracks occurs in the road marking.
  • Deterioration such as chipping also occurs in the asphalt pavement material.
  • Such road surface deterioration has unique characteristics for each point. Therefore, it is possible to identify the point where the camera image was taken based on its unique characteristics.
  • camera images obtained by photographing the road surface at a plurality of registered points in advance are associated with the position information of each registered point, and an image position DB constructed in the roadside unit 3. (database) as road surface registration information (see FIG. 4).
  • the camera 11 photographs the road surface at the foot of the pedestrian and outputs the foot camera image in real time.
  • image collation processing is executed to collate the road surface camera image of the registration point registered in the image position DB with the real-time foot camera image output from the camera 11.
  • the position information corresponding to the road camera image of the registered point that has been successfully collated is acquired as the position information of the current location of the pedestrian.
  • the surrounding area of the intersection where the roadside unit 3 is installed specifically, the roadside unit 3 is installed.
  • the intersection and a section of a predetermined range of the road connected to the intersection are the target range of the image position DB.
  • registration points are set at predetermined intervals (for example, 25 cm).
  • Pedestrians usually pass through crosswalks at intersections and sidewalks and roadside strips on roads connected to intersections, so registration points are set on the roads (i.e., walking paths) that the pedestrians travel. .
  • the pedestrian terminal 1 captures a real-time foot camera image of the road surface at the foot of the pedestrian. is periodically output from the camera.
  • image collation processing is performed using the real-time foot camera image, and the current location of the pedestrian is specified by successful image collation at the timing when the pedestrian reaches the registered point.
  • the walking direction of the pedestrian is obtained by the image matching process. That is, if the orientation of the camera image, for example, the orientation above the camera image (north, south, east, and west) is registered in the image position DB, the camera image registered in the image position DB is rotated by the image matching process, and the camera By matching the orientation with the real-time foot camera image output from 11, the direction above the real-time foot camera image, that is, the walking direction of the pedestrian can be obtained.
  • the pedestrian terminal 1 selects a camera image (hereinafter referred to as a matching candidate image) that is more suitable as a matching target for the real-time foot camera image from the camera images registered in the image position DB. Matching candidate extraction processing is performed.
  • the pedestrian terminal 1 performs provisional positioning of the pedestrian W.
  • the pedestrian terminal 1 acquires rough position information (hereinafter referred to as provisional positioning information) of the pedestrian W's current location.
  • provisional positioning information has lower accuracy than position information obtained by image matching processing.
  • 3D map information (fixed object registration information) is registered in a 3D map DB (database) built in advance on the cloud.
  • This 3D map information is visual feature information (
  • a plurality of feature points) are associated with their position information.
  • Pedestrian terminal 1 extracts feature information (here, a plurality of feature points) about an object (including a fixed object such as a building) included in a front camera image output from camera 11 in real time, and extracts feature information about the object.
  • feature information here, a plurality of feature points
  • an object including a fixed object such as a building
  • provisional positioning of the pedestrian is performed.
  • Publicly known techniques such as Area Learning and VPS (Visual Positioning Service) can be employed for such provisional positioning by the pedestrian terminal 1 .
  • the pedestrian terminal 1 when the pedestrian W moves in the direction indicated by the arrow D, the pedestrian terminal 1 reaches a position where the building A (object) as a fixed object can be photographed by the camera 11.
  • provisional positioning of the pedestrian W can be performed. conduct.
  • Pedestrian terminal 1 identifies the temporary current location of its own device (ie, pedestrian W) based on the result of temporary positioning (ie, temporary positioning information), and captures a camera image of the road surface near the temporary current location. Extract as matching candidate images.
  • the pedestrian terminal 1 acquires in advance a part of the 3D map information (fixed object registration information) registered in the 3D map DB on the cloud, and uses the acquired information. It can be stored in the memory of its own device. For example, the pedestrian terminal 1 receives satellite positioning signals, and based on rough position information of the current location of the pedestrian W specified based on the satellite positioning signals, the pedestrian terminal 1 is required for provisional positioning (that is, the pedestrian W Only the 3D map information (corresponding to the surrounding area) should be acquired from the 3D map DB. As a result, the pedestrian terminal 1 can reduce the time required to acquire the 3D map information and the data amount of the 3D map information stored in the memory of its own device.
  • the 3D map DB for the pedestrian terminal 1 to acquire 3D map information is provided in any other device (for example, a computer such as a server) that can communicate with the pedestrian terminal 1 via a communication network. can be
  • the real-time front camera image output from the camera 11 will include buildings B and C as fixed objects.
  • the pedestrian terminal 1 uses a plurality of feature points (indicated by black circles here) in the building B and building C included in the real-time front camera image to enable walking. Temporary positioning for the person W can be performed sequentially.
  • the 3D map information may be stored not only in the 3D map DB constructed on the cloud, but also in the memory provided in the roadside units 3 located around the walking route. In that case, the roadside device 3 only needs to store three-dimensional map information about the area around itself.
  • the pedestrian terminal 1 can perform pre-reading image matching.
  • the pedestrian's past position for example, the registered point where the previous image matching was performed, or the pedestrian's position obtained by the previous temporary positioning
  • the acceleration sensor 12 and the gyro sensor 13 Fig. 6
  • the next registration point that the pedestrian W will reach is predicted, and based on the prediction result, the foot camera registered in the image position DB
  • a foot camera image to be collated is extracted from the images, and the extracted foot camera image and the real-time foot camera image output from the camera 11 are collated.
  • the traveling state of the pedestrian W the traveling direction of the pedestrian W measured based on the detection result of the gyro sensor 13 and the moving speed of the pedestrian W measured based on the detection result of the acceleration sensor 12 are combined. Based on the travel direction and moving speed of the pedestrian thus obtained, the registered point that the pedestrian W will reach next is predicted. It is also possible to predict the registered point that the pedestrian W will reach next based only on the traveling direction of the pedestrian W. In this case, the registered point located further in the traveling direction of the pedestrian W is selected as the registered point that the pedestrian W will reach next.
  • processing is performed to predict the next registered point that the pedestrian will reach based on the progress of the pedestrian.
  • PDR positioning may be performed to estimate the current location of the person, and based on the results, the next registered point to be reached by the pedestrian may be predicted.
  • the pedestrian terminal 1 can speed up the image matching process. Also, the processing load of the processor related to image collation is reduced.
  • FIG. 6 is a block diagram showing a schematic configuration of the pedestrian terminal 1 and the roadside machine 3. As shown in FIG.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, a wireless communication unit 16, a memory 17, and a processor 18. .
  • the camera 11 includes a foot camera 11A that captures the foot of the pedestrian and a front camera 11B that captures the front of the pedestrian.
  • the acceleration sensor 12 detects the acceleration generated in the pedestrian's body.
  • the gyro sensor 13 detects angular velocity generated in the pedestrian's body.
  • the pedestrian terminal 1 may be provided with another motion sensor.
  • the satellite positioning unit 14 includes a receiver that receives satellite positioning signals from satellites in satellite positioning systems such as GPS (Global Positioning System) and QZSS (Quasi-Zenith Satellite System).
  • the satellite positioning unit 14 measures the position of its own device from the received satellite positioning signal and acquires the position information (latitude and longitude) of its own device as the pedestrian's position information.
  • the ITS communication unit 15 broadcasts messages to the vehicle-mounted terminal 2 and the roadside device 3 through ITS communication (vehicle-to-pedestrian communication, roadside-to-walk communication), and also receives messages transmitted from the vehicle-mounted terminal 2 and the roadside device 3. receive.
  • ITS communication vehicle-to-pedestrian communication, roadside-to-walk communication
  • the wireless communication unit 16 transmits messages to the roadside device 3 and receives messages transmitted from the roadside device 3 by wireless communication such as WiFi (registered trademark).
  • the ITS communication unit 15 and the wireless communication unit 16 have known hardware such as antennas and communication circuits for communicating with other devices.
  • the memory 17 stores map information, programs executed by the processor 18, and the like.
  • the memory 17 stores road surface registration information acquired from the image position DB, that is, camera images and position information for each registered point.
  • the memory 17 also stores 3D map information acquired from the 3D map DB, that is, feature information and position information regarding fixed objects such as buildings located around the road surface on the walking route.
  • the pedestrian terminal 1 when the pedestrian terminal 1 approaches an intersection, it acquires the road surface registration information of the image position DB regarding the surrounding area of the intersection from the roadside device 3 installed at the intersection. Further, by building a 3D map DB in the roadside device 3 , the pedestrian terminal 1 may acquire 3D map information of the 3D map DB regarding the surrounding area from the roadside device 3 .
  • the processor 18 performs various processes by executing programs stored in the memory 17 .
  • the processor 18 performs message control processing, collision determination processing, alert control processing, speed measurement processing, direction measurement processing, temporary positioning processing, matching candidate extraction processing, and image matching processing. , and position information acquisition processing.
  • Pedestrian terminal 1 may execute various kinds of processing by a plurality of processors. Moreover, the pedestrian terminal 1 may acquire the processing result by causing another information processing device to execute part of the above processing.
  • the processor 18 controls transmission and reception of ITS communication messages between the onboard terminal 2 and the roadside device 3 . Also, the processor 18 controls transmission and reception of wireless communication messages with the roadside device 3 .
  • the processor 18 determines whether the vehicle collides with the pedestrian based on the vehicle position information included in the vehicle information obtained from the on-vehicle terminal 2 and the pedestrian position information obtained by the satellite positioning unit 14. Determine if there is any danger.
  • the processor 18 controls to perform a predetermined alerting action (for example, outputting sound or vibrating) to the pedestrian when it is determined in the collision determination process that there is a risk of collision.
  • a predetermined alerting action for example, outputting sound or vibrating
  • the processor 18 measures the speed of the pedestrian based on the detection result of the acceleration sensor 12.
  • acceleration occurs in the pedestrian's body, and the walking pitch of the pedestrian is obtained based on the state of change in this acceleration.
  • the speed is calculated from the walking pitch and stride length.
  • the stride length may be set based on the pedestrian's attribute (adult, child, etc.) registered in the pedestrian terminal 1 .
  • the processor 18 measures the walking direction of the pedestrian based on the detection result of the gyro sensor 13.
  • the processor 18 collates the feature information about the object included in the real-time front camera image output from the front camera 11B with the feature information about the fixed object such as the building included in the 3D map information. .
  • the processor 18 acquires provisional positioning information based on the collation result.
  • the processor 18 extracts, from the camera images registered in the image position DB, matching candidate images suitable as matching targets for real-time foot camera images based on the provisional positioning information. More specifically, the processor 18 extracts the road surface camera images included in the road surface registration information related to the registration points around the rough location of the pedestrian's current location in the temporary positioning information as matching candidate images.
  • the processor 18 predicts a registered point (predicted point) that the pedestrian will reach next based on the pedestrian's past position, moving speed, and traveling direction, and based on the prediction result, matches a matching candidate. Images may be extracted.
  • the processor 18 matches the real-time foot camera image output from the camera 11 with the matching candidate image extracted in the matching candidate extraction process. At this time, the processor 18 extracts feature information (information on feature points) from the real-time foot camera image and the matching candidate image, respectively, and compares the feature information to perform matching of the camera images. Note that this image collation processing may be performed using AI (artificial intelligence).
  • the processor 18 acquires the position information associated with the camera image of the registration point successfully matched in the image matching process as the position information of the pedestrian's current location.
  • the in-vehicle terminal 2 is also equipped with a processor and memory (not shown), and executes a program stored in the memory to perform the same message control processing, collision determination processing, and alert control as the pedestrian terminal 1. processing, etc. can be performed.
  • the roadside device 3 includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor .
  • the ITS communication unit 31 broadcasts messages to the pedestrian terminal 1 and the vehicle-mounted terminal 2 through ITS communication (road-to-foot communication, road-to-vehicle communication), and also transmits messages from the pedestrian terminal 1 and the vehicle-mounted terminal 2. Receive messages.
  • the wireless communication unit 32 transmits messages to the pedestrian terminal 1 and receives messages transmitted from the pedestrian terminal 1 by wireless communication such as WiFi (registered trademark).
  • the ITS communication unit 31 and the wireless communication unit 32 have known hardware such as antennas and communication circuits for communicating with other devices.
  • the memory 33 stores programs and the like executed by the processor 34 .
  • the memory 33 stores the road surface registration information of the image position DB (see FIG. 4).
  • the memory 33 may also store 3D map information in a 3D map DB.
  • the processor 34 performs various processes by executing programs stored in the memory 33 .
  • the processor 34 performs message control processing and image position DB management processing.
  • the processor 34 controls transmission and reception of ITS communication messages between the pedestrian terminal 1 and the in-vehicle terminal 2 . Also, the processor 34 controls transmission and reception of wireless communication messages with the pedestrian terminal 1 .
  • the processor 34 manages the image position DB (see FIG. 4). A camera image and position information for each registered point are registered in this image position DB. In this embodiment, registration information of the image position DB is delivered to the pedestrian terminal 1 in response to a request from the pedestrian terminal 1 .
  • FIG. 7 and 8 are flowcharts showing the operation procedure of the pedestrian terminal 1.
  • FIG. 9 is a flow diagram showing the operation procedure of the vehicle-mounted terminal 2.
  • FIG. 10 is a flowchart showing the operation procedure of the roadside unit 3. As shown in FIG.
  • the satellite positioning unit 14 first acquires the pedestrian's location information (ST101). Next, the processor 18 determines whether or not the pedestrian information is to be transmitted based on the pedestrian position information, specifically whether or not the user has entered a dangerous area (ST102).
  • the ITS communication unit 15 performs ITS communication including pedestrian information (pedestrian ID, location information, etc.) according to the transmission instruction from the processor 18. is transmitted to the vehicle-mounted terminal 2 and the roadside device 3 (ST103).
  • the in-vehicle terminal 2 when the in-vehicle terminal 2 receives an ITS communication (pedestrian-to-vehicle communication) message from the pedestrian terminal 1 (Yes in ST201), the in-vehicle terminal 2, based on the vehicle position information included in the message, automatically A collision determination is made as to whether or not there is a risk of the vehicle colliding with a pedestrian (ST202).
  • ITS communication peer-to-vehicle communication
  • the in-vehicle terminal 2 performs a predetermined warning action for the driver (ST203). Specifically, the in-vehicle terminal 2 causes the car navigation device to perform an attention-calling action (for example, voice output, screen display, etc.) as the attention-calling action.
  • the vehicle-mounted terminal 2 instructs an automatic driving ECU (running control device) to perform a predetermined collision avoidance operation.
  • the processor 34 receives the message.
  • the terminal ID and location information of the pedestrian terminal 1 included in the received message are acquired (ST302).
  • the processor 34 determines whether or not the pedestrian terminal 1 is located around (inside or near the target area) the target area of the registration information of the image position DB based on the pedestrian position information. (ST303).
  • the ITS communication unit 31 responds to the transmission instruction from the processor 34 so that the pedestrian terminal 1 is in its own database (memory 17) Sends to the pedestrian terminal 1 an ITS communication message including DB usage information indicating that the registered information in 17) can be used (ST304).
  • the processor 18 is instructed to transmit.
  • the wireless communication unit 16 transmits a wireless communication message requesting DB registration information (here, road surface registration information in the image position DB) to the roadside device 3 (ST112).
  • DB registration information may include 3D map information of the 3D map DB.
  • the processor 34 transmits In response to the instruction, wireless communication section 32 transmits a wireless communication message including DB registration information to pedestrian terminal 1 (ST312).
  • all the road surface registration information in the image position DB of the roadside unit 3 may be transmitted to the pedestrian terminal 1, but only some of the road surface registration information that the pedestrian terminal 1 is likely to use is It may be sent to the terminal 1. Specifically, road surface registration information within a predetermined range around the pedestrian terminal 1 , particularly within a predetermined range positioned in the direction in which the pedestrian is traveling, may be transmitted to the pedestrian terminal 1 .
  • the processor 18 receives The DB registration information included in the received message is registered in the database of its own device (ST122).
  • the processor 18 acquires the pedestrian's location information (ST131).
  • This pedestrian position information (provisional positioning information) is obtained as a result of provisional positioning by the pedestrian terminal 1 . More specifically, the processor 18 extracts feature information about objects included in the front camera image output from the camera 11 in real time, and extracts the feature information from fixed objects such as buildings included in the three-dimensional map information. By collating with the feature information about the pedestrian, the position information (absolute position information) of the pedestrian is acquired. In step ST131, the processor 18 may acquire the pedestrian's position information based on the received satellite positioning signal instead of executing the provisional positioning. The pedestrian position information acquired in step ST131 is sequentially stored in the memory 17 .
  • the pedestrian terminal 1 acquires the three-dimensional map information of the range necessary for the provisional positioning in step ST131 from the three-dimensional map DB built on the cloud, and stores it in its own database. can be done.
  • the processor 18 acquires a real-time foot camera image of the pedestrian's feet captured by the camera 11 (ST132). This real-time foot camera image is repeatedly acquired at predetermined time intervals. Also, the processor 18 measures the moving speed of the pedestrian based on the detection result of the acceleration sensor 12 (ST133). Also, the processor 18 measures the traveling direction (moving direction) of the pedestrian based on the detection result of the gyro sensor 13 (ST134).
  • the processor 18 extracts matching candidates to be matched with the real-time foot camera image acquired in step ST132 based on the pedestrian's position information (i.e., temporary current location) acquired in step ST131.
  • An image is extracted (ST135).
  • the processor 18 can extract road surface camera images corresponding to registered points located within a predetermined range from the pedestrian's temporary current location as matching candidate images. At this time, the processor 18 may limit the matching candidate images to be extracted to those corresponding to the registration points positioned generally in the front-rear direction of the pedestrian (the traveling direction and its opposite direction).
  • the processor 18 collates the matching candidate image extracted from the database of its own device with the real-time foot camera image output from the camera 11 as image matching processing (ST136).
  • step ST135 the processor 18, based on the past position of the pedestrian (for example, the position of the pedestrian obtained by the previous temporary positioning), the moving speed, and the traveling direction, the registered point to be reached next by the pedestrian ( Prediction point) may be predicted, and matching candidate images may be extracted based on the prediction result.
  • the processor 18 collates the extracted matching candidate image with the real-time foot camera image output from the camera 11 at the timing when the pedestrian arrives at the predicted point (prefetch image matching). )can do.
  • the processor 18 performs the position information acquisition process. Then, the position information associated with the road surface camera image of the successfully collated registered point is acquired as the position information of the pedestrian's current location (ST138).
  • the pedestrian terminal 1 can repeatedly execute steps ST131 to ST138.
  • the roadside device 3 provides the pedestrian terminal 1 with the road surface camera image of the registration point, and the pedestrian terminal 1 performs the image matching process.
  • the feature information (information on feature points) extracted from the road surface camera image of the point may be provided to the pedestrian terminal 1 .
  • the pedestrian terminal 1 compares the feature information of the registered point acquired from the roadside device 3 with the feature information extracted from the real-time foot camera image in the image matching process. Further, an image of a characteristic portion may be cut out from the road camera image of the registered point, and the image collation processing may be performed using the image of the characteristic portion. By doing so, the capacity of the road surface registration information in the image position DB distributed from the roadside device 3 to the pedestrian terminal 1 can be reduced, and the load of wireless communication between the roadside device 3 and the pedestrian terminal 1 can be reduced. can be done.
  • the communication means of the roadside device 3 and the pedestrian terminal 1 may all be cellular communication, the functions of the roadside device 3 may be arranged on the cloud, and image position DB management in a wider range may be performed.
  • the pedestrian terminal 1 matches the matching candidate image extracted from the road surface camera image based on the result of the provisional positioning with the foot camera image, and associates the matching candidate image with the successfully matched matching candidate image.
  • the processing load on the processor 18 can be reduced.
  • FIG. 11 is a block diagram showing a schematic configuration of the pedestrian terminal 1 according to the second embodiment.
  • FIG. 12 is a flow diagram showing the operation procedure of the pedestrian terminal 1 according to the second embodiment.
  • items not particularly mentioned below are the same as those of the first embodiment.
  • the same reference numerals are assigned to the same constituent elements as in the first embodiment, and detailed description thereof will be omitted.
  • the processor 18 performs relative positioning processing in addition to various processing in the first embodiment.
  • the processor 18 acquires the reference position of the pedestrian (here, the latest pedestrian By sequentially calculating the amount of movement from the current position of the pedestrian) and integrating the amounts of movement, new position information of the current position of the pedestrian is acquired.
  • the processor 18 uses the camera 11 (front camera 11B) to perform self-position estimation and environment map creation based on the known Visual SLAM (Simultaneous Localization and Mapping) technology. It is also possible to sequentially calculate the amount of movement from the reference position.
  • Visual SLAM Simultaneous Localization and Mapping
  • the processor 18 executes steps ST431 to ST438 (hereinafter referred to as positioning based on the absolute position) similar to steps ST131 to ST138 shown in FIG. .
  • the processing load of the processor 18 is relatively high because the position information of the pedestrian's current location is acquired by repeatedly performing the provisional positioning (positioning of the absolute position).
  • the processor 18 suspends positioning based on the absolute position as long as the positioning error is within a predetermined range, and performs positioning based on the relative position with a relatively small processing load in the meantime. , to obtain the location information of the pedestrian's current location.
  • the processor 18 calculates the movement amount and orientation of the pedestrian from the reference position of the pedestrian by relative positioning processing, and then, based on the calculation results of the movement amount and orientation, new walking is performed.
  • the position information of the person's current location is obtained (ST439).
  • the reference position of the pedestrian the current position of the pedestrian acquired in step ST438 is used immediately after the positioning based on the absolute position is shifted to the positioning based on the relative position.
  • a new position calculated by relative position based positioning is used.
  • the processor 18 extracts a matching candidate image to be matched with the real-time foot camera image based on the new position acquired in step ST439, similar to the matching candidate extraction process in step ST436 (ST440).
  • the processor 18 sequentially calculates the movement amount and orientation of the pedestrian while interrupting the provisional positioning based on the absolute position, performs provisional positioning based on the calculation results of the movement amount and orientation, and stores the results in the memory. It is possible to extract a part of the plurality of road surface camera images obtained as matching candidate images.
  • the processor 18 matches the matching candidate image extracted from the database of its own device with the latest foot camera image output from the camera 11 (ST441).
  • the processor 18 as position information acquisition processing, converts the position information associated with the road surface camera image of the registration point that has been successfully matched to the current position of the pedestrian. It is acquired as information (ST443).
  • the processor 18 determines whether or not the measurement error due to the relative position is within the allowable range, and if it is within the allowable range (Yes in ST444), returns to step ST439 to continue positioning based on the relative position. . On the other hand, when the measurement error due to the relative position exceeds the allowable range (No in ST444), the processor 18 returns to step ST431 to finish the positioning based on the relative position, and again executes the positioning based on the absolute position.
  • FIG. 13 is a block diagram showing a schematic configuration of the pedestrian terminal 1 according to the third embodiment.
  • FIG. 14 is a flow diagram showing the operation procedure of the pedestrian terminal 1 according to the third embodiment.
  • matters not particularly mentioned below are the same as those in the first or second embodiment.
  • the same reference numerals are given to the same constituent elements as in the first or second embodiment, and detailed description thereof will be omitted.
  • the processor 18 performs shielding detection processing in addition to various processing in the first embodiment.
  • the processor 18 determines whether shielding has occurred in the imaging area of the front camera 11B.
  • the pedestrian terminal 1 avoids using an inappropriate front camera image when the shooting area of the front camera 11B is blocked, and stably acquires the position information of the pedestrian's current location. can do.
  • the processor 18 acquires the pedestrian's position information (ST531) in the same manner as in step ST131 shown in FIG. Subsequently, the processor 18 detects whether or not the front camera 11B is shielded by shielding detection processing. The information is acquired as the current location information of the pedestrian (that is, the latest temporary positioning result) (ST533). As a result, the pedestrian terminal 1 avoids using an inappropriate front camera image when the shooting area of the front camera 11B is blocked, and stably acquires the position information of the pedestrian's current location. can do.
  • the processor 18 can determine that the forward camera 11B is blocked, for example, when acquisition of the pedestrian's position information fails in step ST531 or when there is an abnormality in the position information. .
  • the processor 18 determines that the front camera 11B is shielded when a shielding object (for example, an object that can hinder execution of Area Learning or VPS) is detected in the front camera image based on known technology. can do.
  • a shielding object for example, an object that can hinder execution of Area Learning or VPS
  • steps ST534 to ST540 which are respectively similar to steps ST132 to ST138 shown in FIG.
  • step ST531 When one omnidirectional camera (360-degree camera) is used as the camera 11, in step ST531, a partial image area in the camera image obtained by photographing by the omnidirectional camera is used as the front camera image. Also, in step ST534, a partial image area in the camera image obtained by photographing with the omnidirectional camera is used as the foot camera image.
  • step ST532 When the pedestrian terminal 1 is blocked in step ST532 (Yes in ST532), the pedestrian terminal 1 returns to step ST531, and photographs the direction other than the front of the pedestrian, which is not affected by the blocked object, with the omnidirectional camera. It is also possible to obtain a camera image (or a part of the image area) that has been captured, and use a camera image in a direction other than the front as the front camera image. In that case, step ST533 can be omitted.
  • the omnidirectional camera as described above can be similarly applied to other embodiments and modifications of the present disclosure.
  • FIG. 15 is a flow diagram showing the operation procedure of the pedestrian terminal 1 according to the first modified example of the third embodiment.
  • items not particularly mentioned below are the same as those of the third embodiment.
  • detailed description is omitted by assigning the same reference numerals to the same components as in the third embodiment.
  • the processor 18 acquires the positional information of the pedestrian and detects whether or not the front camera is blocked, similarly to steps ST531 and ST532 shown in FIG. Detect (ST631, ST632).
  • the processor 18 determines whether or not the duration of the shielding is equal to or longer than a preset threshold (ST633).
  • the processor 18 calculates the amount of movement of the pedestrian from the reference position of the pedestrian by relative positioning processing in the same manner as in step ST439 of FIG. Then, new position information of the pedestrian's current location is obtained (ST635).
  • the reference position of the pedestrian when the relative positioning in step ST635 is first executed, the position of the pedestrian acquired in the previous step ST634 is used, and after that, it is calculated by the previous relative positioning. The new position is used.
  • the processor 18 executes steps ST636 to ST642 similar to steps ST534 to ST540 shown in FIG. 14, respectively.
  • steps ST636 to ST642 similar to steps ST534 to ST540 shown in FIG. 14, respectively.
  • the processor 18 determines whether or not the duration of shielding is equal to or greater than a preset threshold value (ST633). Either can be used.
  • FIG. 16 is a flow diagram showing the operation procedure of the pedestrian terminal 1 according to the second modified example of the third embodiment.
  • matters not particularly mentioned below are the same as those of the third embodiment.
  • detailed description is omitted by assigning the same reference numerals to the same components as in the third embodiment.
  • the processor 18 acquires the positional information of the pedestrian and detects whether or not the front camera is blocked (ST731) in the same manner as in steps ST531 and ST532 shown in FIG. , ST732).
  • the processor 18 detects that the front camera is shielded (Yes in ST732)
  • the processor 18 transmits an ITS communication message including the pedestrian information (pedestrian ID, position information, etc.) to inter-vehicle communication and inter-walk communication. It transmits to the vehicle and the roadside unit by communication (ST733).
  • the in-vehicle device can be notified of the situation in which the front of the pedestrian is blocked, so the safety of the pedestrian and the vehicle is enhanced.
  • the embodiment has been described as an example of the technology disclosed in this application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like. Further, it is also possible to combine the constituent elements described in the above embodiments to create new embodiments.
  • the pedestrian device and the positioning method thereof according to the present disclosure have the effect of reducing the processing load when positioning the pedestrian using a camera image that captures the road surface on which the pedestrian travels. It is useful as a pedestrian device that is carried by a person and performs positioning for acquiring the position information of the pedestrian, and a positioning method thereof.
  • ITS communication unit 1 pedestrian terminal (pedestrian device) 2 In-vehicle terminal (in-vehicle device) 3 Roadside device 11 Camera 11A Foot camera 11B Front camera 12 Acceleration sensor 13 Gyro sensor 14 Satellite positioning unit 15 ITS communication unit 16 Wireless communication unit 17 Memory 18 Processor 31 ITS communication unit 32 Wireless communication unit 33 Memory 34 Processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合の処理負荷を軽減する。 【解決手段】歩行者端末１は、足元カメラ画像および歩行者周囲カメラ画像を生成するカメラ１１と、登録地点の路面カメラ画像にその位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像中の定着物の特徴情報にその位置情報を対応づけた定着物登録情報を記憶するメモリ１７と、プロセッサ１８と、を備え、プロセッサは、歩行者周囲カメラ画像から抽出した物体の特徴情報と、定着物の特徴情報との比較により、定着物登録情報における位置情報を用いて歩行者の仮測位を実行し、仮測位の結果に基づき路面カメラ画像から抽出した各照合候補画像と、足元カメラ画像とをそれぞれ照合し、照合が成功した照合候補画像に対応付けられた登録地点の位置情報を、歩行者の現在地の位置情報として取得する。

Description

歩行者装置およびその測位方法
　本開示は、歩行者によって所持され、その歩行者の位置情報を取得するための測位を行う歩行者装置およびその測位方法に関する。
　ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末と歩行者端末との間で交換することで、車両と歩行者との事故を回避する。
　車載端末や歩行者端末では、主に衛星測位により車両や歩行者の位置情報を取得するが、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な位置情報を取得できる測位方法が望まれる。
　そこで、車両や歩行者の周辺をカメラで撮影して、そのカメラ画像に基づいて、車両や歩行者の位置を測定することが考えられる。このようなカメラ画像を用いた測位方法に関連するものとして、道路を撮影したカメラ画像に基づいて、道路の路面に描かれた白線を検知して、車両の位置情報として、車両が走行する走行レーンを認識する技術が知られている（特許文献１－３参照）。また、前方を撮影したカメラ画像に写るランドマークとなる物体（道路の周辺の建物など）に着目して、自装置の位置を測定する技術も知られている。
特許第２７５４８７１号公報 特許第３３３３２２３号公報 特開平６－１４９３６０号公報
　歩行者は、車両等と比べて移動速度や進行方向の変化が顕著であるため、歩行者の現在地の位置情報を取得するための測位では、上記従来技術による測位方法をそのまま採用しても高精度な測位ができない場合がある。また、道路の路面を撮影したカメラ画像を用いて歩行者の測位を行う場合には、その処理負荷を軽減することが望まれる。
　本開示は、以上の背景に鑑み、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、処理負荷を軽減できる歩行者装置およびその測位方法を提供することを主な目的とする。
　本開示の歩行者装置は、歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、前記プロセッサは、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。
　本開示の歩行者装置の測位方法は、歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、歩行者の足元の路面をカメラで撮影することにより、足元カメラ画像を順次生成し、さらに前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。
　本開示によれば、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、画像照合の処理負荷を軽減できる。
第１実施形態に係る交通安全支援システムの全体構成図 第１実施形態に係る歩行者端末で行われる画像照合処理の概要を示す説明図 第１実施形態に係る登録地点の設定状況を示す説明図 第１実施形態に係る画像位置ＤＢの登録内容を示す説明図 第１実施形態に係る歩行者端末で行われる仮測位処理の概要を示す説明図 第１実施形態に係る歩行者端末及び路側機の概略構成を示すブロック図 第１実施形態に係る歩行者端末１の動作手順を示すフロー図 第１実施形態に係る歩行者端末１の動作手順を示すフロー図 第１実施形態に係る車載端末２の動作手順を示すフロー図 第１実施形態に係る路側機３の動作手順を示すフロー図 第２実施形態に係る歩行者端末の概略構成を示すブロック図 第２実施形態に係る歩行者端末の動作手順を示すフロー図 第３実施形態に係る歩行者端末の概略構成を示すブロック図 第３実施形態に係る歩行者端末の動作手順を示すフロー図 第３実施形態の第１変形例に係る歩行者端末の動作手順を示すフロー図 第３実施形態の第２変形例に係る歩行者端末の動作手順を示すフロー図
　前記課題を解決するためになされた第１の発明は、歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、前記プロセッサは、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。
　これによると、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、処理負荷を軽減できる。
　また、第２の発明は、衛星測位信号を受信する受信機を更に備え、前記プロセッサは、前記衛星測位信号から得られた位置情報に応じて前記定着物登録情報を他の装置から取得し、その取得した定着物登録情報を前記メモリに記憶させる構成とする。
　これによると、衛星測位信号から得られた位置情報に応じて必要な範囲の定着物登録情報のみを取得することができる。
　また、第３の発明は、前記足元カメラおよび前記周囲カメラは、１つの３６０度カメラからなる構成とする。
　これによると、歩行者装置の構成を複雑化することなく、足元カメラ画像および歩行者周囲カメラ画像を必要に応じて取得することができる。
　また、第４の発明は、前記プロセッサは、前記仮測位を中断可能であり、前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出する構成とする。
　これによると、比較的処理負荷の大きい仮測位を中断し、比較的処理負荷の小さい移動量の算出を行うことによって照合候補画像を抽出することにより、プロセッサの処理負荷を軽減することが可能となる。
　また、第５の発明は、前記プロセッサは、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する構成とする。
　これによると、歩行者の移動量を簡易な処理によって取得することができる。
　また、第６の発明は、前記プロセッサは、前記歩行者の前記仮測位を繰り返し実行し、前記仮測位の結果を前記メモリに順次記憶し、前記歩行者周囲カメラ画像に基づき、前記周囲カメラの撮影領域における遮蔽の発生の有無を判定し、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記メモリに記憶された過去の前記仮測位の結果を、最新の仮測位の結果として取得する構成とする。
　これによると、周囲カメラの撮影領域において遮蔽が発生した場合に、不適切な歩行者周囲カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。
　また、第７の発明は、前記プロセッサは、前記仮測位を中断可能であり、前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出し、前記周囲カメラの撮影領域における前記遮蔽が発生したと判定した場合、前記遮蔽の継続時間を算出し、前記遮蔽の継続時間が閾値以上となった場合、前記仮測位を中断し、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する構成とする。
　これによると、周囲カメラの撮影領域に発生した遮蔽の継続時間が大きくなった場合には、歩行者の移動量に基づき現在地の位置情報を適切に取得することができる。
　また、第８の発明は、車両に搭載された車載装置および路側機の少なくとも一方と無線通信を行う通信部を更に備え、前記プロセッサは、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記通信部を介して前記無線通信を行う前記車載装置および前記路側機の少なくとも一方に前記遮蔽の発生に関するメッセージを送信する構成とする。
　これによると、歩行者の周囲（例えば、前方）が遮蔽されている状況を車載装置に対して通知できるため、歩行者および車両の安全性が高まる。
　また、第９の発明は、歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、歩行者の足元の路面をカメラで撮影することにより、さらに足元カメラ画像を順次生成し、前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。
　これによると、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、処理負荷を軽減できる。
　以下、本開示の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態に係る交通安全支援システムの全体構成図である。
　交通安全支援システムは、歩行者Ｗ及び車両Ｖの交通安全を支援するものであり、歩行者端末１（歩行者装置）と、車載端末２（車載装置）と、路側機３と、を備えている。
　歩行者端末１、車載端末２、および路側機３の間ではＩＴＳ通信が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。なお、本実施形態では、適宜に歩行者端末１と車載端末２との間でのＩＴＳ通信を歩車間通信と呼称し、歩行者端末１と路側機３との間でのＩＴＳ通信を路歩間通信と呼称し、車載端末２と路側機３との間でのＩＴＳ通信を路車間通信と呼称する。また、車載端末２同士の間でもＩＴＳ通信が行われ、このＩＴＳ通信は車車間通信と呼称する。
　歩行者端末１は、そのユーザである歩行者Ｗが所持する。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により、車載端末２との間で位置情報などを含むメッセージを送受信する。これにより、歩行者端末１は、歩行者Ｗと車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者Ｗに対する注意喚起動作を行う。
　車載端末２は、車両Ｖに搭載される。この車載端末２は、ＩＴＳ通信（歩車間通信）により、歩行者端末１との間で位置情報などを含むメッセージを送受信する。これにより、車載端末２は、歩行者Ｗと車両Ｖとの衝突の危険性を判定し、衝突の危険性がある場合には、車両Ｖの運転者に対する注意喚起動作を行う。なお、車載端末２による注意喚起動作は、例えばカーナビゲーション装置などを用いて行われるとよい。
　路側機３は、道路の交差点などに設置される。この路側機３は、ＩＴＳ通信（路歩間通信、路車間通信）により、歩行者端末１及び車載端末２に対して、交通情報などの各種の情報を配信する。また、路側機３は、ＩＴＳ通信（路車間通信、路歩間通信）により、自装置の周辺に位置する車両Ｖや歩行者Ｗの存在を、車載端末２や歩行者端末１に通知する。これにより、車両Ｖや歩行者Ｗは、見通し外の交差点における衝突を防止することができる。
　歩行者端末１は、カメラ１１（足元カメラ、周囲カメラ）を備えている。カメラ１１は、歩行者Ｗの足元の路面を撮影したカメラ画像（以下、足元カメラ画像という。）と、歩行者Ｗの前方（移動方向）を撮影したカメラ画像（以下、前方カメラ画像という。）と、を生成可能である。足元カメラ画像および前方カメラ画像は、映像（動画）を構成するフレーム画像として所定のフレームレートで生成され得る。本実施形態では、カメラ１１は、歩行者端末１の本体と一体に設けられている。ただし、カメラ１１は、撮影の便宜（撮影方向や画角等）を考慮して歩行者端末１の本体とは別体に設けられてもよい。その場合、カメラ１１は、歩行者端末１の本体と有線または無線により通信可能に接続される。
　カメラ１１は、足元カメラ画像および前方カメラ画像をそれぞれ生成する複数のカメラ（図６における足元カメラ１１Ａおよび前方カメラ１１Ｂを参照）から構成され得る。あるいは、カメラ１１は、足元カメラ画像および前方カメラ画像（またはそれらに相当する画像）を生成可能なように、広範囲を撮影できる１つのカメラ（例えば、３６０度カメラ）によって構成されてもよい。歩行者端末１は、広範囲に撮影可能な（すなわち、必要な撮影領域をカバー可能な）１つのカメラを備えることにより、その構成を複雑化することなく、足元カメラ画像および前方カメラ画像を必要に応じて取得することができる。
　本実施形態では、説明の便宜上、カメラ１１が、歩行者Ｗの足元の路面を撮影した足元カメラ画像および歩行者Ｗの前方を撮影した前方カメラ画像を生成する例を示すが、前方カメラ画像の代わりに、他の方向を撮影したカメラ画像が生成されてもよい。つまり、前方カメラ１１Ｂ（周囲カメラ）は、歩行者Ｗの前後左右のうちの少なくとも一方向を撮影した画像（歩行者周囲カメラ画像）を生成可能なカメラであればよい。例えば、プライバシー保護のため、カメラ１１は、歩行者Wの前方を撮影することに代えて、歩行者Wの後方（移動方向と逆方向）を撮影してもよい。あるいは、カメラ１１は、足元カメラ画像に加え、歩行者Ｗの前後左右のうちの少なくとも一方向のカメラ画像（またはそれらに相当する画像）を生成可能なように、広範囲を撮影できる１つのカメラ（例えば、３６０度カメラ）によって構成されてもよい。なお、カメラ１１の向き（撮影方向）は、歩行者Ｗの前後左右のいずれかに対して厳密に一致する必要はない。
　図１に示す例では、歩行者端末１は、歩行者Ｗの頭部に装着される眼鏡型のウェアラブルデバイス（スマートグラス）である。歩行者端末１は、ＡＲディスプレイを有し、そのＡＲディスプレイにおいてＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。ＡＲは、歩行者Ｗの現実の視界に入る実空間上に仮想オブジェクトがＡＲディスプレイに重畳表示されることによって実現される。ＡＲディスプレイには、仮想オブジェクトとして、車両との衝突の危険性を表す画像や、見通し外の交差点において歩行者Ｗから直接視認できない車両の画像などが表示される。なお、歩行者端末１は、相互に通信可能な複数の装置によって構成されてもよい。例えば、歩行者端末１は、歩行者Ｗの頭部に装着されるヘッドマウント装置と、そのヘッドマウント装置とは別体として設けられ、歩行者Ｗの頭部以外に配置される本体装置とで構成されてもよい。
　次に、第１実施形態に係る歩行者端末１で行われる画像照合測位の概要について説明する。図２は、歩行者端末１で行われる画像照合処理の概要を示す説明図である。図３は、登録地点の設定状況を示す説明図である。図４は、画像位置ＤＢの登録内容を示す説明図である。図５は、歩行者端末１で行われる仮測位の概要を示す説明図である。本実施の形態では歩行者端末について述べたが、車載端末へ同様の仕組みを応用することも可能である。
　道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料（トラフィックペイント）で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、その固有の特徴に基づいて、カメラ画像が撮影された地点を特定することができる。
　本実施形態では、予め複数の登録地点の路面を撮影したカメラ画像（以下、路面カメラ画像という。）が、各登録地点の位置情報と対応付けられて、路側機３に構築された画像位置ＤＢ（データベース）に路面登録情報として登録される（図４参照）。一方、歩行者端末１では、カメラ１１が、歩行者の足元の路面を撮影して、足元カメラ画像をリアルタイムに出力する。そして、歩行者端末１では、図２に示すように、画像位置ＤＢに登録された登録地点の路面カメラ画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合する画像照合処理が実行され、照合が成功した登録地点の路面カメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する。
　また、本実施形態では、図３に示すように、路側機３が交差点に設置されている場合、その路側機３が設置された交差点の周辺エリア、具体的には、路側機３が設置された交差点と、その交差点に接続された道路の所定範囲の区間が、画像位置ＤＢの対象範囲となる。この対象範囲内に、所定間隔（例えば２５ｃｍ）をおいて登録地点が設定される。なお、歩行者は、通常、交差点の横断歩道や、交差点に接続された道路の歩道や路側帯を通行するため、この歩行者が通行する道（すなわち、歩行経路）に登録地点が設定される。
　したがって、図２に示すように、歩行者が、交差点の横断歩道や、道路の歩道や路側帯を通行すると、歩行者端末１では、歩行者の足元の路面が撮影されたリアルタイムの足元カメラ画像が定期的にカメラから出力される。歩行者端末１では、そのリアルタイムの足元カメラ画像を用いて画像照合処理が行われ、歩行者が登録地点に到達したタイミングで、画像照合が成功することで、歩行者の現在地が特定される。
　また、画像照合処理により、歩行者の進行方向が求められる。すなわち、カメラ画像の向き、例えばカメラ画像の上方の方位（東西南北）が、画像位置ＤＢに登録されていれば、画像照合処理により、画像位置ＤＢに登録されたカメラ画像を回転させて、カメラ１１から出力されるリアルタイムの足元カメラ画像と向きを一致させることで、リアルタイムの足元カメラ画像の上方の方位、すなわち、歩行者の進行方向が求められる。
　画像照合処理では、画像位置ＤＢに登録された多くの（または全ての）のカメラ画像をリアルタイムの足元カメラ画像の照合候補とすると、迅速な処理（リアルタイムの処理）が難しくなる場合がある。そこで、歩行者端末１は、画像照合処理を実行するにあたり、リアルタイムの足元カメラ画像の照合対象としてより適したカメラ画像（以下、照合候補画像という。）を、画像位置ＤＢに登録されたカメラ画像から抽出する照合候補抽出処理を行う。
　照合候補抽出処理において、歩行者端末１は、歩行者Ｗに対して仮測位を行う。その結果、歩行者端末１は、歩行者Ｗの現在地の大まかな位置情報（以下、仮測位情報という。）を取得する。一般的に仮測位情報は、画像照合処理によって得られる位置情報よりも低い精度となる。
　本実施形態では、予めクラウド上に構築された３次元地図ＤＢ（データベース）に３次元地図情報（定着物登録情報）が登録される。この３次元地図情報は、歩行者の歩行経路における路面の周辺を撮影したカメラ画像（周辺カメラ画像）に含まれる定着物（建物、橋などの構造物）の輪郭などにおける視覚的な特徴情報（ここでは、複数の特徴点）に、それらの位置情報が対応づけられたものである。歩行者端末１は、カメラ１１からリアルタイムに出力される前方カメラ画像に含まれる物体（建造物等の定着物を含む）に関する特徴情報（ここでは、複数の特徴点）を抽出し、その物体に関する特徴情報を、３次元地図情報に含まれる定着物に関する特徴情報と照合（比較）することにより、歩行者に対する仮測位を行う。そのような歩行者端末１による仮測位には、Area Learning（エリアラーニング）やVPS（Visual Positioning Service）などの公知の技術を採用することができる。
　図５に示す例では、歩行者Ｗが矢印Ｄで示す方向に移動する場合に、歩行者端末１は、定着物としての建物Ａ（物体）をカメラ１１で撮影可能な位置に到達すると、リアルタイムの前方カメラ画像に含まれる建物Ａにおける複数の特徴点（ここでは、黒丸で示した部位）を、３次元地図情報に含まれる複数の特徴点と照合することにより、歩行者Ｗに対する仮測位を行う。歩行者端末１は、仮測位の結果（すなわち、仮測位情報）に基づき、自装置（すなわち、歩行者Ｗ）の仮の現在地を特定し、その仮の現在地付近の路面を撮影したカメラ画像を照合候補画像として抽出する。
　また、歩行者端末１は、照合候補画像を抽出するにあたり、クラウド上の３次元地図ＤＢに登録された３次元地図情報（定着物登録情報）の一部を予め取得し、その取得した情報を自装置のメモリに記憶することができる。例えば、歩行者端末１は、衛星測位信号を受信することにより、その衛星測位信号に基づき特定される歩行者Ｗの現在地の大まかな位置情報に基づき、仮測位に必要な（すなわち、歩行者Ｗの周辺のエリアに対応する）３次元地図情報のみを３次元地図ＤＢから取得するとよい。これにより、歩行者端末１は、３次元地図情報の取得にかかる時間や、自装置のメモリに記憶する３次元地図情報のデータ量を低減することができる。なお、歩行者端末１が３次元地図情報を取得するための３次元地図ＤＢは、通信ネットワークを介して歩行者端末１と通信可能な任意の他の装置（例えば、サーバなどのコンピュータ）に設けられ得る。
　更に、歩行者Ｗの移動にともなって、カメラ１１から出力されるリアルタイムの前方カメラ画像には、定着物としての建物Ｂおよび建物Ｃが含まれることになる。歩行者端末１は、上述の建物Ａの場合と同様に、リアルタイムの前方カメラ画像に含まれる建物Ｂおよび建物Ｃにおける複数の特徴点（ここでは、黒丸で示した部位）を用いることにより、歩行者Ｗに対する仮測位を順次行うことができる。
　なお、３次元地図情報は、クラウド上に構築される３次元地図ＤＢに限らず、歩行経路の周辺に位置する路側機３が備えるメモリに記憶されてもよい。その場合、路側機３は、自装置の周辺のエリアに関する３次元地図情報のみを記憶すればよい。
　また、歩行者端末１では、先読み画像照合を行うこともできる。この先読み画像照合では、歩行者の過去位置（例えば、前回の画像照合が行われた登録地点や、前回の仮測位によって得られた歩行者の位置）と、加速度センサ１２及びジャイロセンサ１３（図６参照）の検出結果から求められる歩行者Ｗの進行状態とに基づいて、次に歩行者Ｗが到達する登録地点が予測され、その予測結果に基づいて、画像位置ＤＢに登録された足元カメラ画像の中から、照合対象となる足元カメラ画像が抽出されて、その抽出された足元カメラ画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とが照合される。
　例えば、歩行者Ｗの進行状態として、ジャイロセンサ１３の検出結果に基づいて測定される歩行者Ｗの進行方向と、加速度センサ１２の検出結果に基づいて測定される歩行者Ｗの移動速度とが求められ、この歩行者の進行方向と移動速度とに基づいて、次に歩行者Ｗが到達する登録地点が予測される。なお、歩行者Ｗの進行方向のみに基づいて、次に歩行者Ｗが到達する登録地点を予測することもできる。この場合、歩行者Ｗの進行方向の先に位置する登録地点が、次に歩行者Ｗが到達する登録地点として選択される。
　なお、先読み画像照合では、歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測する処理が行われるが、このとき、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）により歩行者の現在地を推定するＰＤＲ測位が行われ、その結果に基づいて、次に歩行者が到達する登録地点が予測されるものとしてもよい。
　このような先読み画像照合により、歩行者端末１では、画像照合処理の高速化を図ることができる。また、画像照合に係るプロセッサの処理負荷が軽減される。
　次に、第１実施形態に係る歩行者端末１及び路側機３の概略構成について説明する。図６は、歩行者端末１及び路側機３の概略構成を示すブロック図である。
　歩行者端末１は、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。
　カメラ１１は、歩行者の足元を撮影する足元カメラ１１Ａと、歩行者の前方を撮影する前方カメラ１１Ｂとを備える。
　加速度センサ１２は、歩行者の身体に発生する加速度を検出する。ジャイロセンサ１３は、歩行者の身体に発生する角速度を検出する。なお、歩行者端末１は、その他のモーションセンサが設けられてもよい。
　衛星測位部１４は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにおいて、衛星から衛星測位信号を受信する受信機を含む。衛星測位部１４は、受信した衛星測位信号から自装置の位置を測定して、自装置の位置情報（緯度経度）を歩行者の位置情報として取得する。
　ＩＴＳ通信部１５は、ＩＴＳ通信（歩車間通信、路歩間通信）により、メッセージをブロードキャストで車載端末２や路側機３に送信し、また、車載端末２や路側機３から送信されるメッセージを受信する。
　無線通信部１６は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを路側機３に送信し、また、路側機３から送信されるメッセージを受信する。ＩＴＳ通信部１５及び無線通信部１６は、他の装置と通信を行うためのアンテナや通信回路などの公知のハードウェアを有する。
　メモリ１７は、地図情報や、プロセッサ１８で実行されるプログラムなどを記憶する。本実施形態では、メモリ１７は、画像位置ＤＢから取得した路面登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。また、メモリ１７は、３次元地図ＤＢから取得した３次元地図情報、すなわち、歩行経路における路面の周辺に位置する建造物等の定着物に関する特徴情報及び位置情報を記憶する。なお、本実施形態では、歩行者端末１が、交差点に近づいた際に、その交差点に設置された路側機３から、交差点の周辺エリアに関する画像位置ＤＢの路面登録情報を取得する。また、路側機３に３次元地図ＤＢが構築されることにより、歩行者端末１は、周辺エリアに関する３次元地図ＤＢの３次元地図情報を路側機３から取得してもよい。
　プロセッサ１８は、メモリ１７に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１８が、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、仮測位処理と、照合候補抽出処理と、画像照合処理と、位置情報取得処理とを行う。なお、歩行者端末１は、各種の処理を複数のプロセッサによって実行してもよい。また、歩行者端末１は、上記処理の一部を他の情報処理装置に実行させることにより、その処理結果を取得してもよい。
　メッセージ制御処理では、プロセッサ１８が、車載端末２及び路側機３との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ１８が、路側機３との間での無線通信のメッセージの送受信を制御する。
　衝突判定処理では、プロセッサ１８が、車載端末２から取得した車両情報に含まれる車両の位置情報、及び衛星測位部１４で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。
　注意喚起制御処理では、プロセッサ１８が、衝突判定処理で衝突の危険性があると判定された場合に、歩行者に対する所定の注意喚起動作（例えば音声出力や振動など）を行うように制御する。
　速度測定処理では、プロセッサ１８が、加速度センサ１２の検出結果に基づいて歩行者の速度を測定する。歩行者が歩行すると、歩行者の身体に加速度が発生し、この加速度の変化状況に基づいて、歩行者の歩行ピッチが求められる。また、歩行ピッチと歩幅から速度が算出される。なお、歩幅は、歩行者端末１に登録された歩行者の属性（大人、子供など）に基づいて設定されるようにしてもよい。
　方向測定処理では、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて歩行者の進行方向を測定する。
　仮測位処理では、プロセッサ１８が、前方カメラ１１Ｂから出力されるリアルタイムの前方カメラ画像に含まれる物体に関する特徴情報と、３次元地図情報に含まれる建造物等の定着物に関する特徴情報とを照合する。プロセッサ１８は、その照合結果に基づき仮測位情報を取得する。
　照合候補抽出処理では、プロセッサ１８が、仮測位情報に基づき、リアルタイムの足元カメラ画像の照合対象として適した照合候補画像を、画像位置ＤＢに登録されたカメラ画像から抽出する。より詳細には、プロセッサ１８は、仮測位情報における歩行者の現在地の大まかな位置から、その位置の周辺の登録地点に関する路面登録情報に含まれる路面カメラ画像を照合候補画像として抽出する。
　また、照合候補抽出処理では、プロセッサ１８が、歩行者の過去位置、移動速度及び進行方向に基づき次に歩行者が到達する登録地点（予測地点）を予測し、その予測結果に基づいて照合候補画像を抽出してもよい。
　画像照合処理では、プロセッサ１８が、カメラ１１から出力されるリアルタイムの足元カメラ画像と、照合候補抽出処理で抽出した照合候補画像とを照合する。このとき、プロセッサ１８が、リアルタイムの足元カメラ画像及び照合候補画像からそれぞれ特徴情報（特徴点の情報）を抽出して、各々の特徴情報を比較することで、カメラ画像の照合が行われる。なお、この画像照合処理は、ＡＩ（人工知能）を用いて行われるようにしてもよい。
　位置情報取得処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。
　なお、車載端末２も、プロセッサおよびメモリ（図示せず）を搭載し、メモリに記憶されたプログラムを実行することで、歩行者端末１と同様のメッセージ制御処理、衝突判定処理、および注意喚起制御処理などを行うことができる。
　路側機３は、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。
　ＩＴＳ通信部３１は、ＩＴＳ通信（路歩間通信、路車間通信）により、メッセージをブロードキャストで歩行者端末１や車載端末２に送信し、また、歩行者端末１や車載端末２から送信されるメッセージを受信する。
　無線通信部３２は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを歩行者端末１に送信し、また、歩行者端末１から送信されるメッセージを受信する。ＩＴＳ通信部３１及び無線通信部３２は、他の装置と通信を行うためのアンテナや通信回路などの公知のハードウェアを有する。
　メモリ３３は、プロセッサ３４で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ３３が、画像位置ＤＢ（図４参照）の路面登録情報を記憶する。また、メモリ３３は、３次元地図ＤＢの３次元地図情報を記憶してもよい。
　プロセッサ３４は、メモリ３３に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３４が、メッセージ制御処理と、画像位置ＤＢ管理処理と、を行う。
　メッセージ制御処理では、プロセッサ３４が、歩行者端末１及び車載端末２との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ３４が、歩行者端末１との間での無線通信のメッセージの送受信を制御する。
　画像位置ＤＢ管理処理では、プロセッサ３４が、画像位置ＤＢ（図4参照）を管理する。この画像位置ＤＢには、登録地点ごとのカメラ画像及び位置情報が登録される。本実施形態では、歩行者端末１からの要求に応じて、画像位置ＤＢの登録情報が歩行者端末１に配信される。
　次に、第１実施形態に係る歩行者端末１、車載端末２、及び路側機３の動作手順について説明する。図７，図８は、歩行者端末１の動作手順を示すフロー図である。図９は、車載端末２の動作手順を示すフロー図である。図１０は、路側機３の動作手順を示すフロー図である。
　図７（Ａ）に示すように、歩行者端末１では、まず、衛星測位部１４が、歩行者の位置情報を取得する（ＳＴ１０１）。次に、プロセッサ１８が、歩行者の位置情報に基づいて、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する（ＳＴ１０２）。
　ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、プロセッサ１８の送信指示に応じて、ＩＴＳ通信部１５が、歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを、車載端末２及び路側機３に送信する（ＳＴ１０３）。
　図９に示すように、車載端末２では、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ２０１でＹｅｓ）、メッセージに含まれる車両の位置情報などに基づいて、自車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ２０２）。
　ここで、自車両が歩行者に衝突する危険性がある場合には（ＳＴ２０２でＹｅｓ）、車載端末２は、運転者に対する所定の注意喚起動作を行う（ＳＴ２０３）。具体的には、車載端末２は、注意喚起動作として、カーナビゲーション装置に注意喚起動作（例えば音声出力や画面表示など）を行わせる。なお、自車両が自動運転車両である場合には、車載端末２は、自動運転ＥＣＵ（走行制御装置）に対して、所定の衝突回避動作を行うように指示する。
　図１０（Ａ）に示すように、路側機３では、ＩＴＳ通信部３１が、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ３０１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる歩行者端末１の端末ＩＤと位置情報とを取得する（ＳＴ３０２）。次に、プロセッサ３４が、歩行者の位置情報に基づいて、歩行者端末１が、画像位置ＤＢの登録情報の対象エリアの周辺（対象エリアの内部または近傍）に位置するか否かを判定する（ＳＴ３０３）。
　ここで、歩行者端末１が対象エリアの周辺に位置する場合には（ＳＴ３０３でＹｅｓ）、プロセッサ３４の送信指示に応じて、ＩＴＳ通信部３１が、歩行者端末１が自装置のデータベース（メモリ１７）の登録情報を利用できる旨のＤＢ利用情報を含むＩＴＳ通信のメッセージを歩行者端末１に送信する（ＳＴ３０４）。
　図７（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部１５が、路側機３から、ＤＢ利用情報を含むＩＴＳ通信のメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ１８の送信指示に応じて、無線通信部１６が、ＤＢ登録情報（ここでは、画像位置ＤＢの路面登録情報）を要求する無線通信のメッセージを路側機３に送信する（ＳＴ１１２）。なお、ＤＢ登録情報には、３次元地図ＤＢの３次元地図情報が含まれてもよい。
　図１０（Ｂ）に示すように、路側機３では、無線通信部３２が、歩行者端末１から、ＤＢ登録情報を要求する無線通信のメッセージを受信すると（ＳＴ３１１でＹｅｓ）、プロセッサ３４の送信指示に応じて、無線通信部３２が、ＤＢ登録情報を含む無線通信のメッセージを歩行者端末１に送信する（ＳＴ３１２）。
　このとき、路側機３の画像位置ＤＢの全ての路面登録情報が歩行者端末１に送信されてもよいが、歩行者端末１が利用する可能性が高い一部の路面登録情報のみが歩行者端末１に送信されてもよい。具体的には、歩行者端末１の周辺の所定範囲内、特に歩行者の進行方向に位置する所定範囲内の路面登録情報が歩行者端末１に送信されてもよい。
　図７（Ｃ）に示すように、歩行者端末１では、無線通信部１６が、路側機３から、ＤＢ登録情報を含む無線通信のメッセージを受信すると（ＳＴ１２１でＹｅｓ）、プロセッサ１８が、受信したメッセージに含まれるＤＢ登録情報を、自装置のデータベースに登録する（ＳＴ１２２）。
　次に、図８に示すように、歩行者端末１では、プロセッサ１８が、歩行者の位置情報を取得する（ＳＴ１３１）。この歩行者の位置情報（仮測位情報）は、歩行者端末１による仮測位の結果として得られる。より詳細には、プロセッサ１８が、カメラ１１からリアルタイムに出力される前方カメラ画像に含まれる物体に関する特徴情報を抽出し、それらの特徴情報を、３次元地図情報に含まれる建造物等の定着物に関する特徴情報と照合することにより、歩行者の位置情報（絶対位置の情報）を取得する。ステップＳＴ１３１では、プロセッサ１８が、仮測位を実行する代わりに、受信した衛星測位信号に基づき歩行者の位置情報を取得してもよい。ステップＳＴ１３１において取得された歩行者の位置情報は、メモリ１７に順次記憶される。
　なお、歩行者端末１では、ステップＳＴ１３１での仮測位に必要な範囲の３次元地図情報をクラウド上に構築された３次元地図ＤＢから取得し、それを自装置のデータベースに格納しておくことができる。
　また、プロセッサ１８が、カメラ１１による歩行者の足元を撮影したリアルタイムの足元カメラ画像を取得する（ＳＴ１３２）。このリアルタイムの足元カメラ画像は、所定の時間間隔で繰り返し取得される。また、プロセッサ１８が、加速度センサ１２の検出結果に基づいて、歩行者の移動速度を測定する（ＳＴ１３３）。また、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて、歩行者の進行方向（移動方向）を測定する（ＳＴ１３４）。
　次に、プロセッサ１８が、照合候補抽出処理として、ステップＳＴ１３１において取得した歩行者の位置情報（すなわち、仮の現在地）に基づき、ステップＳＴ１３２で取得したリアルタイムの足元カメラ画像の照合対象となる照合候補画像を抽出する（ＳＴ１３５）。
　より詳細には、ステップＳＴ１３５において、プロセッサ１８は、歩行者の仮の現在地から所定の範囲内に位置する登録地点に対応する路面カメラ画像を照合候補画像として抽出することができる。このとき、プロセッサ１８は、抽出する照合候補画像を、歩行者の概ね前後方向（進行方向およびその逆方向）に位置する登録地点に対応するものに限定してもよい。
　次に、プロセッサ１８が、画像照合処理として、自装置のデータベースから抽出した照合候補画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合する（ＳＴ１３６）。
　なお、プロセッサ１８は、ステップＳＴ１３５において、歩行者の過去位置（例えば、前回の仮測位によって得られた歩行者の位置）、移動速度、及び進行方向に基づき次に歩行者が到達する登録地点（予測地点）を予測し、その予測結果に基づいて照合候補画像を抽出してもよい。これにより、プロセッサ１８は、ステップＳＴ１３６において、歩行者がその予測地点に到達したタイミングで、その抽出された照合候補画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合（先読み画像照合）することができる。
　この画像照合処理で照合が成功する、すなわち、自装置のデータベースから抽出した照合候補画像と、リアルタイムの足元カメラ画像とが一致する場合には（ＳＴ１３７でＹｅｓ）、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点の路面カメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ１３８）。歩行者端末１は、上記ステップＳＴ１３１～ＳＴ１３８を繰り返し実行することができる。
　なお、本実施形態では、路側機３が、登録地点の路面カメラ画像を歩行者端末１に提供して、歩行者端末１において画像照合処理が行われるものとしたが、路側機３が、登録地点の路面カメラ画像から抽出された特徴情報（特徴点の情報）を歩行者端末１に提供するものとしてもよい。この場合、歩行者端末１では、画像照合処理において、路側機３から取得した登録地点の特徴情報と、リアルタイムの足元カメラ画像から抽出された特徴情報との照合が行われる。また、登録地点の路面カメラ画像から特徴のある部分の画像を切り出して、その特徴のある部分の画像を用いて画像照合処理が行われるものとしてもよい。このようにすると、路側機３から歩行者端末１に配信する画像位置ＤＢの路面登録情報の容量を削減して、路側機３と歩行者端末１との間の無線通信の負荷を軽減することができる。
　また、路側機３と歩行者端末１の通信手段を全てセルラー通信として、路側機３の機能をクラウド上に配置し、より広い範囲の画像位置ＤＢ管理をするようにしてもよい。
　このように、歩行者端末１は、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、プロセッサ１８の処理負荷を軽減できる。
（第２実施形態）
　次に、第２実施形態に係る交通安全支援システムについて説明する。図１１は、第２実施形態に係る歩行者端末１の概略構成を示すブロック図である。図１２は、第２実施形態に係る歩行者端末１の動作手順を示すフロー図である。なお、第２実施形態に関し、以下で特に言及しない事項については第１実施形態と同様である。また、第２実施形態では、第１実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
　第２実施形態では、図１１に示すように、プロセッサ１８が、第１実施形態における各種の処理に加え、相対測位処理を行う。相対測位処理では、プロセッサ１８は、加速度センサ１２やジャイロセンサ１３を用いた歩行者自律航法（ＰＤＲ）に基づき、歩行者の基準位置（ここでは、位置情報取得処理によって取得された最新の歩行者の現在地の位置）からの移動量を順次算出し、それらの移動量を積算することにより、新たな歩行者の現在地の位置情報を取得する。また、相対測位処理では、プロセッサ１８は、公知のVisual SLAM（Simultaneous Localization and Mapping）技術に基づき、カメラ１１（前方カメラ１１Ｂ）を利用して自己位置推定及び環境地図作成を実行し、歩行者の基準位置からの移動量を順次算出することもできる。
　また、第２実施形態では、図１２に示すように、プロセッサ１８は、図８に示したステップＳＴ１３１～ＳＴ１３８とそれぞれ同様のステップＳＴ４３１～ＳＴ４３８（以下、絶対位置に基づく測位という。）を実行する。この絶対位置に基づく測位では、仮測位（絶対位置の測位）を繰り返し行うことにより歩行者の現在地の位置情報を取得するため、プロセッサ１８の処理負荷が比較的高い。
　そこで、第２実施形態では、更にプロセッサ１８は、測位誤差が所定の範囲内である限りにおいて絶対位置に基づく測位を中断し、その間に比較的処理負荷の小さい相対位置に基づく測位を行うことにより、歩行者の現在地の位置情報を取得する。
　相対位置に基づく測位では、まず、プロセッサ１８は、相対測位処理によって歩行者の基準位置からの歩行者の移動量と向きを算出することにより、その移動量と向きの算出結果に基づき新たな歩行者の現在地の位置情報を取得する（ＳＴ４３９）。ここで、歩行者の基準位置としては、絶対位置に基づく測位から相対位置に基づく測位に移行した直後には、ステップＳＴ４３８で取得される歩行者の現在地の位置が用いられ、その後は、前回の相対位置に基づく測位によって算出された新たな位置が用いられる。
　次に、プロセッサ１８が、ステップＳＴ４３６の照合候補抽出処理と同様に、ステップＳＴ４３９において取得した新たな位置に基づき、リアルタイムの足元カメラ画像の照合対象となる照合候補画像を抽出する（ＳＴ４４０）。このように、プロセッサ１８は、絶対位置による仮測位を中断する間に、歩行者の移動量と向きを順次算出し、その移動量と向きの算出結果に基づき仮測位を実施し、メモリに記憶された複数の路面カメラ画像の一部を照合候補画像として抽出することができる。
　次に、プロセッサ１８が、画像照合処理として、自装置のデータベースから抽出した照合候補画像と、カメラ１１から出力される最新の足元カメラ画像とを照合する（ＳＴ４４１）。
　この画像照合処理で照合が成功すると（ＳＴ４４２でＹｅｓ）、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点の路面カメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ４４３）。
　その後、プロセッサ１８は、相対位置による測定誤差が許容範囲内にあるか否かを判定し、許容範囲内にある場合（ＳＴ４４４でＹｅｓ）、ステップＳＴ４３９に戻ることにより相対位置に基づく測位を継続する。一方、プロセッサ１８は、相対位置による測定誤差が許容範囲を超えた場合（ＳＴ４４４でＮｏ）、ステップＳＴ４３１に戻ることにより、相対位置に基づく測位を終了し、再び絶対位置に基づく測位を実行する。
（第３実施形態）
　次に、第３実施形態に係る交通安全支援システムについて説明する。図１３は、第３実施形態に係る歩行者端末１の概略構成を示すブロック図である。図１４は、第３実施形態に係る歩行者端末１の動作手順を示すフロー図である。なお、第３実施形態に関し、以下で特に言及しない事項については第１または第２実施形態と同様である。また、第３実施形態では、第１または第２実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
　第３実施形態では、図１３に示すように、プロセッサ１８が、第１実施形態における各種の処理に加え、遮蔽検知処理を行う。遮蔽検知処理では、プロセッサ１８が、前方カメラ１１Ｂの撮影領域における遮蔽が発生したか否かを判定する。これにより、歩行者端末１では、前方カメラ１１Ｂの撮影領域において遮蔽が発生した場合に、不適切な前方カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。
　また、第３実施形態では、図１４に示すように、プロセッサ１８は、図８に示したステップＳＴ１３１と同様に、歩行者の位置情報を取得する（ＳＴ５３１）。続いて、プロセッサ１８は、遮蔽検知処理により前方カメラ１１Ｂの遮蔽の有無を検知し、遮蔽が生じている場合（ＳＴ５３２でＹｅｓ）、前回のステップＳＴ５３１の処理において正常に取得された歩行者の位置情報を、今回の歩行者の位置情報（すなわち、最新の仮測位の結果）として取得する（ＳＴ５３３）。これにより、歩行者端末１では、前方カメラ１１Ｂの撮影領域において遮蔽が発生した場合に、不適切な前方カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。
　ステップＳＴ５３２において、プロセッサ１８は、例えば、ステップＳＴ５３１における歩行者の位置情報の取得が失敗した場合またはその位置情報に異常がある場合に、前方カメラ１１Ｂの遮蔽が生じていると判定することができる。あるいは、プロセッサ１８は、前方カメラ画像において公知の技術に基づき遮蔽物（例えば、Area LearningやVPSなどの実行を阻害し得る物体）を検出した場合に、前方カメラ１１Ｂの遮蔽が生じていると判定することができる。
　その後、プロセッサ１８は、図８に示したステップＳＴ１３２～ＳＴ１３８とそれぞれ同様のステップＳＴ５３４～ＳＴ５４０を実行する。
　カメラ１１として、１つの全天球カメラ（３６０度カメラ）が用いられる場合、ステップＳＴ５３１では、全天球カメラの撮影によって得られるカメラ画像における一部の画像領域が前方カメラ画として用いられる。また、ステップＳＴ５３４では、全天球カメラの撮影によって得られるカメラ画像における一部の画像領域が足元カメラ画像として用いられる。
　また、歩行者端末１は、ステップＳＴ５３２において遮蔽が生じている場合（ＳＴ５３２でＹｅｓ）、ステップＳＴ５３１に戻り、当該遮蔽物の影響を受けない歩行者の前方以外の方向を全天球カメラによって撮影したカメラ画像（または一部の画像領域）を取得し、その前方以外の方向のカメラ画像を前方カメラ画像として用いることもできる。その場合、ステップＳＴ５３３は省略することができる。上述のような全天球カメラは、本開示における他の実施形態や変形例にも同様に適用することができる。
（第３実施形態の第１変形例）
　次に、第３実施形態の第１変形例に係る交通安全支援システムについて説明する。図１５は、第３実施形態の第１変形例に係る歩行者端末１の動作手順を示すフロー図である。なお、第１変形例に関し、以下で特に言及しない事項については第３実施形態と同様である。また、第１変形例では、第３実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
　第１変形例では、図１５に示すように、プロセッサ１８が、図１４に示したステップＳＴ５３１およびＳＴ５３２と同様に、プロセッサ１８が、歩行者の位置情報を取得し、前方カメラの遮蔽の有無を検知する（ＳＴ６３１、ＳＴ６３２）。プロセッサ１８は、前方カメラの遮蔽を検知すると（ＳＴ６３２でＹｅｓ）、その遮蔽の継続時間が予め設定した閾値以上であるか否かを判定する（ＳＴ６３３）。
　そこで、プロセッサ１８は、遮蔽の継続時間が予め設定した閾値以下の場合は（ＳＴ６３３でＮｏ）、図１４のステップＳＴ５３３と同様に、前回のステップＳＴ６３１の処理において正常に取得された歩行者の位置情報を、今回の歩行者の位置情報として取得する（ＳＴ６３４）。一方、プロセッサ１８は、遮蔽の継続時間が閾値以上となると（ＳＴ６３３でＹｅｓ）、図１２のステップＳＴ４３９と同様に、相対測位処理によって歩行者の基準位置からの歩行者の移動量を算出することにより、新たな歩行者の現在地の位置情報を取得する（ＳＴ６３５）。ここで、歩行者の基準位置としては、ステップＳＴ６３５における相対測位を最初に実行する際には、前回のステップＳＴ６３４で取得された歩行者の位置が用いられ、その後は、前回の相対測位によって算出された新たな位置が用いられる。
　続いて、プロセッサ１８は、図１４に示したステップＳＴ５３４～ＳＴ５４０とそれぞれ同様のステップＳＴ６３６～ＳＴ６４２を実行する。これにより、前方カメラ１１Ｂの撮影領域に発生した遮蔽の継続時間が大きくなった場合には、歩行者の移動量に基づき現在地の位置情報を適切に取得することができる。なお、プロセッサ１８は、ステップＳＴ６３９の照合候補抽出処理において、遮蔽の継続時間が予め設定した閾値以上であるか否かの判定（ＳＴ６３３）の結果に応じて、ステップＳＴ６３４またはＳＴ６３５で取得した位置のいずれかを用いることができる。
（第３実施形態の第２変形例）
　次に、第３実施形態の第２変形例に係る交通安全支援システムについて説明する。図１６は、第３実施形態の第２変形例に係る歩行者端末１の動作手順を示すフロー図である。なお、第２変形例に関し、以下で特に言及しない事項については第３実施形態と同様である。また第２変形例では、第３実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
　第２変形例では、図１６に示すように、プロセッサ１８は、図１４に示したステップＳＴ５３１およびＳＴ５３２と同様に、歩行者の位置情報を取得し、前方カメラの遮蔽の有無を検知する（ＳＴ７３１、ＳＴ７３２）。プロセッサ１８（ＩＴＳ通信部１５）は、前方カメラの遮蔽を検知すると（ＳＴ７３２でＹｅｓ）、その歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを歩車間通信および歩路間通信によってそれぞれ車両および路側機に送信する（ＳＴ７３３）。これにより、歩行者の前方が遮蔽されている状況を車載装置に対して通知できるため、歩行者および車両の安全性が高まる。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本開示に係る歩行者装置およびその測位方法は、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、処理負荷を軽減することができる効果を有し、歩行者によって所持され、その歩行者の位置情報を取得するための測位を行う歩行者装置およびその測位方法などとして有用である。
１　歩行者端末（歩行者装置）
２　車載端末（車載装置）
３　路側機
１１　カメラ
１１Ａ　足元カメラ
１１Ｂ　前方カメラ
１２　加速度センサ
１３　ジャイロセンサ
１４　衛星測位部
１５　ＩＴＳ通信部
１６　無線通信部
１７　メモリ
１８　プロセッサ
３１　ＩＴＳ通信部
３２　無線通信部
３３　メモリ
３４　プロセッサ

Claims (9)

  1. 　歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、
    　前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、
    　登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、
    　前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、
    　前記プロセッサは、
    　前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、
    　前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、
    　前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、
    　前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、
    　照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する、歩行者装置。
  2. 　衛星測位信号を受信する受信機を更に備え、
    　前記プロセッサは、前記衛星測位信号から得られた位置情報に応じて前記定着物登録情報を他の装置から取得し、その取得した定着物登録情報を前記メモリに記憶させる、請求項１に記載の歩行者装置。
  3. 　前記足元カメラおよび前記周囲カメラは、１つの３６０度カメラからなる、請求項１に記載の歩行者装置。
  4. 　前記プロセッサは、
    　前記仮測位を中断可能であり、
    　前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、
    　前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出する、請求項１に記載の歩行者装置。
  5. 　前記プロセッサは、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する、請求項４に記載の歩行者装置。
  6. 　前記プロセッサは、
    　前記歩行者の前記仮測位を繰り返し実行し、
    　前記仮測位の結果を前記メモリに順次記憶し、
    　前記歩行者周囲カメラ画像に基づき、前記周囲カメラの撮影領域における遮蔽の発生の有無を判定し、
    　前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記メモリに記憶された過去の前記仮測位の結果を、最新の仮測位の結果として取得する、請求項１に記載の歩行者装置。
  7. 　前記プロセッサは、
    　前記仮測位を中断可能であり、
    　前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、
    　前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出し、
    　前記周囲カメラの撮影領域における前記遮蔽が発生したと判定した場合、前記遮蔽の継続時間を算出し、
    　前記遮蔽の継続時間が閾値以上となった場合、前記仮測位を中断し、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する、請求項６に記載の歩行者装置。
  8. 　車両に搭載された車載装置および路側機の少なくとも一方と無線通信を行う通信部を更に備え、
    　前記プロセッサは、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記通信部を介して前記無線通信を行う前記車載装置および前記路側機の少なくとも一方に前記遮蔽の発生に関するメッセージを送信する、請求項６または請求項７に記載の歩行者装置。
  9. 　歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、
    　歩行者の足元の路面をカメラで撮影することにより、足元カメラ画像を順次生成し、
    　さらに前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、
    　登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、
    　前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、
    　前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、
    　前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、
    　前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、
    　照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する、歩行者装置の測位方法。
PCT/JP2022/021411 2021-06-02 2022-05-25 歩行者装置およびその測位方法 WO2022255190A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280039846.9A CN117642602A (zh) 2021-06-02 2022-05-25 行人装置及其定位方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-092883 2021-06-02
JP2021092883A JP2022185298A (ja) 2021-06-02 2021-06-02 歩行者装置およびその測位方法

Publications (1)

Publication Number Publication Date
WO2022255190A1 true WO2022255190A1 (ja) 2022-12-08

Family

ID=84323153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021411 WO2022255190A1 (ja) 2021-06-02 2022-05-25 歩行者装置およびその測位方法

Country Status (3)

Country Link
JP (1) JP2022185298A (ja)
CN (1) CN117642602A (ja)
WO (1) WO2022255190A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953330B2 (en) * 2021-10-18 2024-04-09 Here Global B.V. Method to increase the discoverability of shared vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2017156844A (ja) * 2016-02-29 2017-09-07 株式会社パナソニックシステムネットワークス開発研究所 歩行者端末装置、歩車間通信システム及び歩行者端末送信方法
JP2018004560A (ja) * 2016-07-07 2018-01-11 株式会社リコー 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2022085369A1 (ja) * 2020-10-22 2022-04-28 パナソニック株式会社 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2017156844A (ja) * 2016-02-29 2017-09-07 株式会社パナソニックシステムネットワークス開発研究所 歩行者端末装置、歩車間通信システム及び歩行者端末送信方法
JP2018004560A (ja) * 2016-07-07 2018-01-11 株式会社リコー 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2022085369A1 (ja) * 2020-10-22 2022-04-28 パナソニック株式会社 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953330B2 (en) * 2021-10-18 2024-04-09 Here Global B.V. Method to increase the discoverability of shared vehicles

Also Published As

Publication number Publication date
JP2022185298A (ja) 2022-12-14
CN117642602A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
JP5901779B2 (ja) 画像データベース地図サービスからアシストシステム内にデータを移す方法
US10005464B2 (en) Autonomous vehicle operation at multi-stop intersections
KR102027408B1 (ko) 디지털 맵을 생성하기 위한 방법 및 시스템
JP5435306B2 (ja) 画像処理システム及び位置測位システム
US20220215751A1 (en) Moving object and driving support system for moving object
US10480949B2 (en) Apparatus for identifying position of own vehicle and method for identifying position of own vehicle
EP3147884B1 (en) Traffic-light recognition device and traffic-light recognition method
JP2016212675A (ja) 物体認識システム
CN114127822B (zh) 信息处理装置、信息处理方法以及信息处理程序
US20200174492A1 (en) Autonomous driving method and system using road view or aerial view map information
WO2022085369A1 (ja) 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法
CN112485815A (zh) 精确定位信息和gnss定位信息之间的定位差的分布式信息生成装置及方法
KR20180130671A (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
WO2022255190A1 (ja) 歩行者装置およびその測位方法
CN108827325B (zh) 对数据进行定位的方法、设备和计算机可读的存储介质
CN105283873B (zh) 用于发现经过车辆的一个或多个人员的方法和系统
CN113611131B (zh) 车辆通行方法、装置、设备及计算机可读存储介质
JP7164639B2 (ja) 車両システム
CN115205384A (zh) 导盲方法、装置及可读存储介质
KR102309833B1 (ko) 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
JP2023058334A (ja) 歩行者装置、移動体装置、測位システム、および測位方法
JP2023058368A (ja) 歩行者装置、移動体装置、測位システム、および測位方法
JP7495384B2 (ja) トップビューセンサデータを用いた交通推定を向上させるための方法およびシステム
JP7132368B2 (ja) 車両システム
JP7164640B2 (ja) 車両システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815940

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280039846.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815940

Country of ref document: EP

Kind code of ref document: A1