WO2022085369A1 - 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法 - Google Patents

歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法 Download PDF

Info

Publication number
WO2022085369A1
WO2022085369A1 PCT/JP2021/035302 JP2021035302W WO2022085369A1 WO 2022085369 A1 WO2022085369 A1 WO 2022085369A1 JP 2021035302 W JP2021035302 W JP 2021035302W WO 2022085369 A1 WO2022085369 A1 WO 2022085369A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
information
image
registration
camera image
Prior art date
Application number
PCT/JP2021/035302
Other languages
English (en)
French (fr)
Inventor
剛 上野
浩章 須藤
亨 岡田
俊光 林
陽平 沈
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US18/032,015 priority Critical patent/US20230343208A1/en
Priority to CN202180072515.0A priority patent/CN116390702A/zh
Publication of WO2022085369A1 publication Critical patent/WO2022085369A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Definitions

  • This disclosure is necessary for a pedestrian device that is possessed by a pedestrian and performs positioning to measure the current position of the pedestrian, an information collection device that collects information necessary for positioning with the pedestrian device, and positioning with the pedestrian device. It relates to a base station device that provides various information to a pedestrian device, a positioning method performed by the pedestrian device, a user management method using the pedestrian device, an information collection method, and a facility monitoring method.
  • ITS Intelligent Transport System
  • In-vehicle terminals and pedestrian terminals mainly acquire position information of vehicles and pedestrians by satellite positioning, but various positioning methods such as positioning using PDR (Pedestrian Dead Reckoning) should be adopted. Can be done. At this time, in order to prevent a traffic accident, a positioning method capable of acquiring highly accurate position information is desired.
  • PDR pedestrian Dead Reckoning
  • the present disclosure discloses a pedestrian device, an information gathering device, and a base station device that can measure the current position of a pedestrian with high accuracy, and can further speed up the processing and reduce the processing load.
  • the main purpose is to provide a positioning method.
  • the pedestrian device of the present disclosure associates a camera that captures the road surface at the feet of a pedestrian, a sensor that detects the behavior of the pedestrian, and a camera image that captures the road surface at the registration point in advance with the position information of the registration point. Based on the memory that stores the registration information and the progress state of the pedestrian obtained from the detection result of the sensor, the registration point that the pedestrian will reach next is predicted, and the camera extracted from the memory based on the prediction result.
  • a processor that performs image matching positioning by collating an image with a camera image output in real time from the camera and acquiring the position information corresponding to the camera image of the registered point where the matching was successful as the position information of the pedestrian's current location. And, the configuration is provided.
  • the information collecting device of the present disclosure is an information collecting device that collects the registration information stored in the pedestrian device according to the first invention, and is a camera that photographs the road surface at the feet of a pedestrian and the camera.
  • image parallax measurement that measures the distance between two points on the road surface based on the parallax of the camera image output from, the registration points are sequentially set on the road surface, and the camera image and the position information at the registration points are input.
  • the configuration includes a processor that collects the associated registration information.
  • the base station device of the present disclosure is a base station device that provides information to the pedestrian device according to the first invention, and is a camera image of a road surface of a registered point in an area around the own device and a registered point.
  • the communication so as to distribute the registration information to the memory that stores the registration information associated with the position information, the communication unit that communicates with the pedestrian device, and the pedestrian device around the own device. It is configured to include a processor for controlling the unit.
  • the positioning method of the present disclosure is a positioning method for acquiring the position information of the pedestrian's current location, and includes a camera that captures the road surface at the feet of the pedestrian, a sensor that detects the behavior of the pedestrian, and a registration point in advance.
  • a pedestrian device including a memory for storing registration information in which the position information of a registration point is associated with a camera image of the road surface of the pedestrian
  • the processor is a pedestrian obtained from the detection result of the sensor. Based on the progress state, the registration point where the pedestrian will reach next is predicted, and the camera image extracted from the memory based on the prediction result is collated with the camera image output from the camera in real time.
  • the configuration is such that image matching positioning is performed to acquire the position information corresponding to the camera image of the registered point where the pedestrian has succeeded as the position information of the current location of the pedestrian.
  • the current position of a pedestrian can be measured with high accuracy according to the interval between registered points. Further, pre-reading image collation is performed to narrow down the camera images to be collated from the registered camera images based on the progress state of the pedestrian. Therefore, since the number of camera images to be collated in image collation is reduced, the speed of image collation can be increased. In addition, the load on the processor related to image matching can be reduced.
  • Explanatory drawing which shows registration contents of image position DB which concerns on 1st modification of 1st Embodiment A block diagram showing a schematic configuration of a pedestrian terminal 1 and a roadside machine 3 according to a second modification of the first embodiment.
  • Explanatory drawing which shows the situation of DB information collection using the DB information collection terminal 5 which concerns on 2nd Embodiment A block diagram showing a schematic configuration of the DB information collecting terminal 5 according to the second embodiment.
  • Overall configuration diagram of the passenger management system according to the fourth embodiment Explanatory drawing which shows registration contents of image position DB and passenger management DB which concerns on 4th Embodiment
  • the first invention made to solve the above-mentioned problems is a camera that captures the road surface at the feet of a pedestrian, a sensor that detects the behavior of the pedestrian, and a camera image that captures the road surface at the registration point in advance.
  • the registration point to which the pedestrian will reach next is predicted, and based on the prediction result.
  • the camera image extracted from the memory is collated with the camera image output from the camera in real time, and the position information corresponding to the camera image of the registered point where the matching is successful is acquired as the position information of the pedestrian's current location. It is configured to include a processor for performing image matching positioning.
  • the current position of a pedestrian can be measured with high accuracy according to the interval between registered points. Further, pre-reading image collation is performed to narrow down the camera images to be collated from the registered camera images based on the progress state of the pedestrian. Therefore, since the number of camera images to be collated in image collation is reduced, the speed of image collation can be increased. In addition, the load on the processor related to image matching can be reduced.
  • the second invention also includes a communication unit that communicates with the base station device that holds the registration information about the area around the own device, and the communication unit has the own device approaching the base station device. At that time, the registration information is received from the base station apparatus, and the memory is configured to store the registration information received by the communication unit.
  • the pedestrian device when the pedestrian device approaches the base station device, it is sufficient to receive the registration information about the surrounding area from the base station device and store it in the memory, which reduces the communication load of the pedestrian device and reduces the memory capacity. It can be kept small.
  • the processor when the processor detects a specific event based on the detection result of the sensor, the processor acquires the position information of the current location of the pedestrian by the image matching positioning, and the specific event is detected. If not, the position information of the current location of the pedestrian is acquired by satellite positioning or positioning by pedestrian autonomous navigation based on the detection result of the sensor.
  • image matching positioning is performed, so that the frequency of image matching positioning is reduced, so that the load on the processor related to image matching is reduced. Can be done.
  • the fourth invention is configured such that the specific event is at least one of a sudden acceleration of a pedestrian and a sudden change of direction.
  • the fifth invention is an information collecting device for collecting the registration information stored in the pedestrian device according to the first invention, and is a camera for photographing the road surface at the feet of a pedestrian and an output from the camera.
  • image parallax measurement that measures the distance between two points on the road surface based on the parallax of the camera image to be performed, registration points are sequentially set on the road surface, and the camera image at the registration point and the position information are associated with each other. It is configured to include a processor that collects registration information.
  • a pedestrian can collect registration information of the target section only by carrying an information collecting device and walking on the target section. Therefore, the work of collecting the registration information can be efficiently performed.
  • the registration point is based on the installation position of the base station device which is the origin. You may try to acquire the absolute position information (latitude and longitude) of.
  • the sixth invention is a base station device that provides information to the pedestrian device according to the first invention, and is a camera image of a road surface of a registered point in an area around the own device and position information of the registered point.
  • the communication unit that stores the registration information associated with the above, the communication unit that communicates with the pedestrian device, and the communication unit that distributes the registration information to the pedestrian devices around the own device. It is configured to include a processor to be controlled.
  • the pedestrian device when the pedestrian device approaches the base station device, the pedestrian device only needs to receive the registration information about the surrounding area from the base station device and store it in the memory, which reduces the communication load of the pedestrian device. At the same time, the memory capacity of the pedestrian device can be kept small.
  • the seventh invention is a positioning method for acquiring the position information of the pedestrian's current location, which includes a camera for photographing the road surface at the feet of the pedestrian, a sensor for detecting the behavior of the pedestrian, and a pre-registered point.
  • a pedestrian device including a memory for storing registration information in which the position information of a registration point is associated with a camera image of a road surface and a processor
  • the processor determines the progress of the pedestrian from the detection result of the sensor. Based on the state, the registration point where the pedestrian will reach next is predicted, and the camera image extracted from the memory based on the prediction result is collated with the camera image output from the camera in real time, and the collation is performed.
  • the configuration is such that image matching positioning is performed to acquire the position information corresponding to the camera image of the successful registration point as the position information of the current location of the pedestrian.
  • the current position of the pedestrian can be measured with high accuracy, and the processing speed can be increased and the processing load can be reduced.
  • the eighth invention is a user management method for managing a place where a user having a pedestrian device according to the first invention stays, and the memory of the pedestrian device is at the registration point.
  • the registration information associated with the location information of the registration point and the location information indicating whether or not the registration point is included in the specific location is stored in the camera image, and the processor of the pedestrian apparatus collates the image. Based on the location information associated with the camera image of the successful registration point, it is determined whether or not the user is in the specific location.
  • the ninth invention is a user management method for managing the stay status of a user who possesses the pedestrian device according to the first invention, wherein the memory of the pedestrian device is the same.
  • the pedestrian is stored in the camera image of the registration point, in which the registration information associated with the position information of the registration point and the identification information indicating which of the plurality of specific areas in the facility the registration point is located is stored.
  • the processor of the apparatus is configured to identify a specific area in which the user stays based on the identification information associated with the camera image of the registration point where the collation was successful.
  • the tenth invention is an information collecting method in which the weather information collecting device collects the weather information of the current location of the pedestrian device according to the first invention, and the memory of the pedestrian device is the registration point.
  • the registration information associated with the weather information related to the weather at the time of shooting is stored in the camera image together with the position information of the registration point, and the processor of the pedestrian device corresponds to the camera image of the registration point where the collation was successful.
  • the attached weather information is acquired as the weather information of the current location of the pedestrian device, and the communication unit is controlled so as to transmit the weather information to the weather information collecting device.
  • the collected weather information may be statistically processed as necessary and then distributed to the user device, whereby the weather information in fine area units can be distributed.
  • the eleventh invention is a facility monitoring method for detecting that a user possessing the pedestrian device according to the first invention has entered a specific area in the facility, and the memory of the pedestrian device.
  • the camera image of the registered point is stored with the registered information in which the position information of the registered point and the area information indicating whether or not the registered point is included in the specific area are associated with the camera image of the registered point.
  • the processor is configured to determine whether or not a pedestrian has entered a specific area based on the area information associated with the camera image of the registration point where the collation was successful.
  • FIG. 1 is an overall configuration diagram of a traffic safety support system according to the first embodiment.
  • This traffic safety support system supports the traffic safety of pedestrians and vehicles, and includes a pedestrian terminal 1 (pedestrian device), an in-vehicle terminal 2 (in-vehicle device), a roadside device 3 (roadside device), and the like. It is equipped with.
  • ITS communication is performed between the pedestrian terminal 1, the in-vehicle terminal 2, and the roadside device 3.
  • This ITS communication is a wireless communication using a frequency band (for example, 700 MHz band or 5.8 GHz band) adopted in a safe driving support wireless system using ITS (Intelligent Transport System).
  • ITS communication between the pedestrian terminal 1 and the in-vehicle terminal 2 is appropriately referred to as pedestrian-to-vehicle communication
  • ITS communication between the pedestrian terminal 1 and the roadside device 3 is referred to as pedestrian-to-vehicle communication.
  • the ITS communication between the in-vehicle terminal 2 and the roadside device 3 is referred to as inter-vehicle communication, and is referred to as road-vehicle inter-vehicle communication. Further, ITS communication is also performed between the in-vehicle terminals 2, and this ITS communication is referred to as vehicle-to-vehicle communication.
  • the pedestrian terminal 1 is owned by a pedestrian.
  • the pedestrian terminal 1 transmits and receives a message including position information to and from the in-vehicle terminal 2 by ITS communication (pedestrian-to-vehicle communication), determines the risk of collision between the pedestrian and the vehicle, and determines the risk of collision. If there is a danger, a warning activation action for pedestrians is performed.
  • the pedestrian terminal 1 is a glasses-type wearable device (smart glasses) worn on the head of a pedestrian, and has a function of realizing AR (Augmented Reality). ..
  • the in-vehicle terminal 2 is mounted on the vehicle.
  • a message including position information is transmitted and received between the pedestrian terminal 1 and the pedestrian terminal 1 by ITS communication (pedestrian-to-vehicle communication) to determine the risk of collision between the pedestrian and the vehicle, and the collision occurs. If there is a danger, a warning to the driver will be activated. It should be noted that the alert activation work may be performed using, for example, a car navigation device.
  • the roadside machine 3 is installed at an intersection of roads and the like.
  • the roadside machine 3 distributes various information such as traffic information to the pedestrian terminal 1 and the in-vehicle terminal 2 by ITS communication (road-to-step communication, road-to-vehicle communication). Further, the roadside unit 3 notifies the in-vehicle terminal 2 and the pedestrian terminal 1 of the existence of vehicles and pedestrians located in the vicinity of the own device by ITS communication (road-to-vehicle communication, road-to-step communication). This makes it possible to prevent a collision at an intersection outside the line of sight.
  • FIG. 2 is an explanatory diagram showing the camera 11 of the pedestrian terminal 1.
  • the pedestrian terminal 1 includes a camera 11.
  • the camera 11 photographs the road surface at the feet of pedestrians.
  • the camera 11 is provided with a posture holding mechanism that appropriately holds the posture (shooting angle) of the camera 11 regardless of the inclination of the pedestrian's head. As a result, even if the head shakes when the pedestrian walks, it is possible to always acquire a camera image of the pedestrian's feet.
  • the pedestrian's body for example, legs
  • the shooting angle of the camera may be slightly tilted forward.
  • the posture holding mechanism may be, for example, a configuration in which the camera 11 is swingably supported and is provided so as to always face downward by a weight. Further, a spring may be provided to suppress the lateral shaking of the camera 11 due to the tilt of the pedestrian's head and the vertical shaking of the camera 11 according to the walking of the pedestrian. Further, the posture of the camera 11 may be controlled by an actuator so as to suppress the shaking of the camera 11 based on the detection result of the gyro sensor that detects the posture of the camera 11.
  • the pedestrian terminal 1 is a glasses-type wearable device (smart glasses).
  • a virtual object is superimposed and displayed on a real space that enters the user's real field of view, and AR is realized.
  • the AR display displays an image showing the danger of a collision with a vehicle, an image of a vehicle that cannot be directly seen by a pedestrian at an intersection outside the line of sight, and the like.
  • the pedestrian terminal 1 may be composed of a head mount portion mounted on the user's head and a main body portion carried by the user.
  • the white cane 21 with wheels used by the visually impaired is provided with a camera 11 for photographing the road surface on which a pedestrian walks.
  • a posture holding mechanism for appropriately holding the posture (shooting angle) of the camera 11 may be provided. This makes it possible to improve the convenience of the visually impaired. Further, since the white cane 21 with wheels has less vertical movement than a general white cane, there is an advantage that the camera 11 is less likely to shake up and down.
  • a camera 11 is attached to a school bag 22 carried on the back of a pedestrian (child) so as to photograph the road surface under the foot behind the pedestrian.
  • the camera 11 may be attached to the lower surface or the rear surface of the school bag 22.
  • the camera 11 since the camera 11 is arranged away from the pedestrian's body, it is possible to prevent the road surface at the feet of the pedestrian from being largely hidden by the pedestrian's body.
  • FIG. 3 is an explanatory diagram showing an outline of an image collation process performed by the pedestrian terminal 1.
  • FIG. 4 is an explanatory diagram showing the setting status of the registration point.
  • FIG. 5 is an explanatory diagram showing the registered contents of the image position DB.
  • the road surface gradually deteriorates over time.
  • road markings such as white lines are drawn with special paint (traffic paint).
  • Deterioration such as cracks occurs in this road marking.
  • deterioration also occurs in the asphalt pavement material.
  • Such a deteriorated state of the road surface has unique characteristics for each point. Therefore, it is possible to identify the point where the camera image is taken based on the characteristics of the road surface.
  • the camera image obtained by photographing the road surface of the registration point in advance is registered in the image position DB (database) constructed in the roadside machine 3 in association with the position information of the registration point (see FIG. 5). ).
  • the camera 11 photographs the road surface at the feet of the pedestrian and outputs the camera image in real time.
  • the camera image output from the camera 11 in real time is appropriately referred to as a "real-time camera image”.
  • the pedestrian terminal 1 collates the camera image of the registration point registered in the image position DB with the real-time camera image output from the camera 11, and the registration point where the collation is successful.
  • the position information corresponding to the camera image of the pedestrian is acquired as the position information of the current location of the pedestrian.
  • the roadside machine 3 when the roadside machine 3 is installed at an intersection, the area around the intersection where the roadside machine 3 is installed, specifically, the roadside machine 3 is installed.
  • the intersection and the section of the predetermined range of the road connected to the intersection become the target range of the image position DB, and the registration points are set within the target range at predetermined intervals (for example, 25 cm). Since pedestrians usually pass through the pedestrian crossing of an intersection, the sidewalk of a road connected to the intersection, or a roadside zone, a registration point is set in a portion where the pedestrian passes.
  • the pedestrian terminal 1 displays a real-time camera image of the road surface at the feet of the pedestrian.
  • the image is periodically output from the camera and collated, and when the pedestrian reaches the registered point, the image collation succeeds and the current location of the pedestrian is specified.
  • the direction of travel of the pedestrian is obtained by the image matching process. That is, if the orientation of the camera image, for example, the upward orientation of the camera image (north, south, east, and west) is registered in the image position DB, the camera image registered in the image position DB is rotated by the image matching process to rotate the camera. By matching the direction with the real-time camera image output from 11, the upper direction of the real-time camera image, that is, the traveling direction of the pedestrian is obtained.
  • look-ahead image collation is performed.
  • the next pedestrian is based on the registration point where the previous image collation was performed and the progress state of the pedestrian obtained from the detection results of the acceleration sensor 12 and the gyro sensor 13 (see FIG. 6).
  • the registration point to be reached is predicted, and based on the prediction result, the camera image to be collated is extracted from the camera images registered in the image position DB, and the extracted camera image and the camera 11 are used. It is collated with the real-time camera image output from.
  • the traveling direction of the pedestrian measured based on the detection result of the gyro sensor 13 and the movement of the pedestrian measured based on the detection result of the acceleration sensor 12.
  • the speed is obtained, and the registration point to which the pedestrian will reach next is predicted based on the traveling direction and the moving speed of the pedestrian. It is also possible to predict the registration point where the pedestrian will reach next based only on the traveling direction of the pedestrian. In this case, the registration point located ahead of the pedestrian's traveling direction is selected as the registration point to be reached by the pedestrian next.
  • a process of predicting the registration point to which the pedestrian will reach next is performed based on the progress state of the pedestrian.
  • PDR positioning that estimates the current location of the person may be performed, and based on the result, the registration point that the pedestrian will reach next may be predicted.
  • look-ahead image collation is performed to narrow down the camera images to be collated from the camera images registered in the image position DB based on the progress state of the pedestrian. Therefore, since the number of camera images to be collated in image collation is reduced, the speed of image collation can be increased. In addition, the load on the processor related to image matching can be reduced.
  • FIG. 6 is a block diagram showing a schematic configuration of the pedestrian terminal 1 and the roadside machine 3.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, a wireless communication unit 16, a memory 17, and a processor 18. ..
  • the pedestrian terminal 1 is a glasses-type wearable device (smart glasses), it is provided with an AR display (not shown).
  • Camera 11 captures the feet of pedestrians.
  • the acceleration sensor 12 detects the acceleration generated in the pedestrian's body.
  • the gyro sensor 13 detects the angular velocity generated in the pedestrian's body.
  • other motion sensors may be provided.
  • the satellite positioning unit 14 measures the position of its own device by a satellite positioning system such as GPS (Global Positioning System) or QZSS (Quasi-Zenith Satellite System), and acquires the position information (latitude and longitude) of its own device.
  • a satellite positioning system such as GPS (Global Positioning System) or QZSS (Quasi-Zenith Satellite System)
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • the ITS communication unit 15 broadcasts a message to the in-vehicle terminal 2 and the roadside device 3 by ITS communication (pedestrian-to-vehicle communication, roadside communication), and also transmits a message transmitted from the in-vehicle terminal 2 and the roadside device 3. Receive.
  • ITS communication peer-to-vehicle communication, roadside communication
  • the wireless communication unit 16 transmits a message to the roadside unit 3 by wireless communication such as WiFi (registered trademark), and also receives a message transmitted from the roadside unit 3.
  • wireless communication such as WiFi (registered trademark)
  • the memory 17 stores map information, a program executed by the processor 18, and the like. Further, in the present embodiment, the memory 17 stores the registration information of the image position DB, that is, the camera image and the position information for each registration point. In the present embodiment, when the pedestrian terminal 1 approaches the intersection, the registration information of the image position DB regarding the area around the intersection is acquired from the roadside machine 3 installed at the intersection.
  • the processor 18 performs various processes by executing the program stored in the memory 17.
  • the processor 18 has a message control process, a collision determination process, an alert control process, a speed measurement process, a direction measurement process, a collation point prediction process, a camera image extraction process, and an image collation process. And the position information acquisition process.
  • the processor 18 controls the transmission / reception of ITS communication messages between the vehicle-mounted terminal 2 and the roadside device 3. Further, the processor 18 controls the transmission / reception of wireless communication messages to / from the roadside machine 3.
  • the processor 18 collides with a pedestrian based on the vehicle position information included in the vehicle information acquired from the in-vehicle terminal 2, the pedestrian position information acquired by the satellite positioning unit 14, and the like. Determine if there is a danger.
  • the processor 18 controls to perform a predetermined alert activation operation (for example, voice output, vibration, etc.) for a pedestrian when it is determined by the collision determination process that there is a risk of collision.
  • a predetermined alert activation operation for example, voice output, vibration, etc.
  • the processor 18 measures the speed of a pedestrian based on the detection result of the acceleration sensor 12.
  • acceleration is generated in the pedestrian's body, and the walking pitch of the pedestrian is obtained based on the change state of the acceleration.
  • the speed is calculated from the walking pitch and stride length.
  • the stride length may be set based on the attributes (adults, children, etc.) of the pedestrian registered in the pedestrian terminal 1.
  • the processor 18 measures the traveling direction of the pedestrian based on the detection result of the gyro sensor 13.
  • the processor 18 predicts the next registered point to be reached by the pedestrian based on the position information of the pedestrian's current location, the moving speed, and the traveling direction.
  • the collation point prediction process may be performed at the timing when the pedestrian reaches the registered point and acquires the position information of the pedestrian's current location by image collation positioning.
  • the processor 18 extracts the camera image to be collated from the image position DB of the own device based on the predicted registration point. At this time, only the camera images of the predicted registration points need to be extracted, but a plurality of camera images included in a predetermined range around the predicted registration points may be extracted. Further, when a plurality of registered points to be reached by the pedestrian are predicted next, the camera images of the plurality of predicted registered points may be extracted.
  • the processor 18 collates the real-time camera image output from the camera 11 with the camera image of the registration point extracted by the camera image extraction process. At this time, the processor 18 extracts feature information (feature point information) from the real-time camera image and the camera image at the registration point, and compares the feature information with each other to collate the camera images. Note that this image matching process may be performed using AI (artificial intelligence).
  • the processor 18 acquires the position information associated with the camera image of the registration point where the collation was successful in the image collation process as the position information of the current location of the pedestrian.
  • the in-vehicle terminal 2 is also equipped with a processor and a memory (not shown), and by executing a program stored in the memory, it is possible to perform message control processing, collision determination processing, alert control processing, and the like. ..
  • the roadside machine 3 includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor 34.
  • the ITS communication unit 31 broadcasts a message to the pedestrian terminal 1 and the in-vehicle terminal 2 by ITS communication (road-to-walk communication, road-to-vehicle communication), and is also transmitted from the pedestrian terminal 1 and the in-vehicle terminal 2. Receive a message.
  • the wireless communication unit 32 transmits a message to the pedestrian terminal 1 by wireless communication such as WiFi (registered trademark), and also receives a message transmitted from the pedestrian terminal 1.
  • wireless communication such as WiFi (registered trademark)
  • the memory 33 stores a program or the like executed by the processor 34. Further, in the present embodiment, the memory 33 stores the registration information of the image position DB (see FIG. 5), that is, the camera image and the position information for each registration point.
  • the processor 34 performs various processes by executing the program stored in the memory 33.
  • the processor 34 performs message control processing and image position DB management processing.
  • the processor 34 controls the transmission and reception of ITS communication messages between the pedestrian terminal 1 and the in-vehicle terminal 2. Further, the processor 34 controls the transmission / reception of wireless communication messages to / from the pedestrian terminal 1.
  • the processor 34 manages the image position DB (see FIG. 5). Camera images and position information for each registration point are registered in this image position DB. In the present embodiment, the registration information of the image position DB is delivered to the pedestrian terminal 1 in response to the request from the pedestrian terminal 1.
  • the registered information of the image position DB is not particularly limited, but it may be collected by the DB information collecting method described in the second embodiment.
  • FIG. 7 and 8 are flow charts showing the operation procedure of the pedestrian terminal 1.
  • FIG. 9 is a flow chart showing an operation procedure of the in-vehicle terminal 2.
  • FIG. 10 is a flow chart showing an operation procedure of the roadside machine 3.
  • the satellite positioning unit 14 acquires the position information of the pedestrian (ST101).
  • the processor 18 determines whether or not the pedestrian information is transmitted based on the pedestrian position information, specifically, whether or not the user has entered the dangerous area (ST102).
  • the ITS communication unit 15 responds to the transmission instruction of the processor 18 and performs ITS communication including pedestrian information (pedestrian ID, position information, etc.). Message is transmitted to the vehicle-mounted terminal 2 and the roadside machine 3 (ST103).
  • the vehicle-mounted terminal 2 itself is based on the vehicle position information included in the message.
  • a collision determination is made as to whether or not there is a risk of the vehicle colliding with a pedestrian (ST202).
  • the in-vehicle terminal 2 performs a predetermined alert activation operation for the driver (ST203). Specifically, the in-vehicle terminal 2 causes the car navigation device to perform an alert activation operation (for example, voice output, screen display, etc.) as an alert activation operation.
  • the in-vehicle terminal 2 instructs the automatic driving ECU (travel control device) to perform a predetermined collision avoidance operation.
  • the processor 34 receives the message in the roadside machine 3.
  • the terminal ID and the position information of the pedestrian terminal 1 included in the message are acquired (ST302).
  • the processor 34 determines whether or not the pedestrian terminal 1 is located in the vicinity of the target area (inside or near the target area) of the registration information of the image position DB based on the position information of the pedestrian. (ST303).
  • the ITS communication unit 31 responds to the transmission instruction of the processor 34, and the pedestrian terminal 1 is the image position DB of its own device.
  • a message of ITS communication including DB usage information indicating that the registration information of the above can be used is transmitted to the pedestrian terminal 1 (ST304).
  • the ITS communication unit 15 receives the ITS communication message including the DB usage information from the roadside unit 3 (Yes in ST111)
  • the transmission instruction of the processor 18 is instructed.
  • the wireless communication unit 16 transmits a wireless communication message requesting DB registration information (registration information of the image position DB) to the roadside machine 3 (ST112).
  • the wireless communication unit 32 when the wireless communication unit 32 receives a wireless communication message requesting DB registration information from the pedestrian terminal 1 (Yes in ST311), the wireless communication unit 32 transmits the processor 34. In response to the instruction, the wireless communication unit 32 transmits a wireless communication message including DB registration information (registration information of the image position DB) to the pedestrian terminal 1 (ST312).
  • DB registration information registration information of the image position DB
  • all the registered information of the image position DB of the roadside machine 3 may be transmitted to the pedestrian terminal 1, but only a part of the registered information that is likely to be used by the pedestrian terminal 1 walks. It may be transmitted to the pedestrian terminal 1. Specifically, the registration information within a predetermined range around the pedestrian terminal 1, particularly within a predetermined range located in the traveling direction of the pedestrian may be transmitted to the pedestrian terminal 1.
  • the processor 18 receives the message.
  • the DB registration information (registration information of the image position DB) included in the message is registered in the image position DB of the own device (ST122).
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14 (ST131). Further, the processor 18 acquires a real-time camera image of the foot of a pedestrian taken by the camera 11 (ST132). Further, the processor 18 measures the moving speed of the pedestrian based on the detection result of the acceleration sensor 12 (ST133). Further, the processor 18 measures the traveling direction of the pedestrian based on the detection result of the gyro sensor 13 (ST134).
  • the processor 18 predicts the registration point to be reached by the pedestrian next based on the position information of the pedestrian's current location, the moving speed, and the traveling direction as the collation point prediction process (ST135).
  • the processor 18 extracts the camera image to be collated from the image position DB of the own device based on the predicted registration point as the camera image extraction process (ST136).
  • the processor 18 collates the camera image extracted from the image position DB of the own device with the real-time camera image output from the camera 11 as an image collation process (ST137).
  • the processor 18 performs the position information acquisition process. As a result, the position information associated with the camera image of the registered point where the collation was successful is acquired as the position information of the current location of the pedestrian (ST139).
  • the roadside machine 3 provides the camera image of the registration point to the pedestrian terminal 1, and the image matching process is performed on the pedestrian terminal 1.
  • the roadside machine 3 is the registration point.
  • the feature information (information of the feature points) extracted from the camera image of the pedestrian terminal 1 may be provided.
  • the feature information of the registered point acquired from the roadside machine 3 is collated with the feature information extracted from the real-time camera image.
  • an image of a characteristic portion may be cut out from the camera image of the registration point, and an image collation process may be performed using the image of the characteristic portion.
  • the communication means of the roadside machine 3 and the pedestrian terminal 1 may be all cellular communication, the functions of the roadside machine 3 may be arranged on the cloud, and the image position DB management in a wider range may be performed.
  • FIG. 11 is an explanatory diagram showing the registered contents of the image position DB according to the first modification of the first embodiment.
  • the condition of the road surface under the feet of pedestrians varies depending on changes in the environment. For example, in the case of rainfall, the road surface becomes wet, and in the case of snowfall, the road surface becomes snowy, which is significantly different from the case of sunny or cloudy weather. Also, in the case of nighttime, the road surface becomes dark, which is significantly different from the case of daytime.
  • camera images of the road surface under the feet of pedestrians are collected for each weather (for example, sunny weather, rainfall, snowfall, etc.), and the camera images for each weather are registered in the image position DB. (See FIG. 11 (A)).
  • the pedestrian terminal 1 when the camera image of the registered point registered in the image position DB and the real-time camera image are collated, the camera image for each weather and the real-time camera image are collated with respect to one registered point.
  • the camera image is collected for each time zone (for example, daytime and nighttime), and the camera image for each time zone is registered in the image position DB (see FIG. 11B).
  • the camera image for each time zone and the real-time camera image are collated with respect to one registration point. Will be done.
  • the camera image for each different environment is collated with the real-time camera image, so the difference in the road surface condition according to the change in the environment has an effect on the image collation. It can be suppressed.
  • the camera image for each time zone is registered in the image position DB, but in order to suppress the influence of the difference in the brightness of the road surface according to the time zone on the image matching, the pedestrian A light for illuminating the road surface under the feet may be provided on the pedestrian terminal 1.
  • FIG. 12 is a block diagram showing a schematic configuration of a pedestrian terminal 1 and a roadside machine 3 according to a second modification of the first embodiment.
  • the position information of the pedestrian's current location by the satellite positioning unit 14, the real-time camera image by the camera 11, and the information on the moving speed and the traveling direction of the pedestrian are on the roadside by wireless communication. It is transmitted to the machine 3.
  • the processor 34 first predicts the registration point that the pedestrian will reach next based on the position information of the pedestrian's current location, the moving speed, and the moving direction as the collation point prediction process.
  • the processor 34 extracts the camera image to be collated from the image position DB of the own device based on the predicted registration point as the camera image extraction process.
  • the processor 34 collates the real-time camera image acquired from the pedestrian terminal 1 with the camera image extracted from the image position DB of the own device as an image collation process.
  • the processor 34 When the collation is successful in this image collation process, that is, when the camera image extracted from the image position DB of the own device matches the real-time camera image, the processor 34 performs the collation as the position information acquisition process, and the registration point where the collation is successful.
  • the position information associated with the camera image of the pedestrian is acquired as the position information of the current location of the pedestrian.
  • the wireless communication unit 32 transmits the position information of the pedestrian's current location to the pedestrian terminal 1.
  • the image matching positioning may be performed on the roadside machine 3 at all times, but in a normal state, the image matching positioning is performed on the pedestrian terminal 1, and in a specific state, for example, the battery of the pedestrian terminal 1. Image matching positioning may be performed in the roadside machine 3 only when the remaining capacity is small.
  • the image matching positioning may be performed on the roadside machine 3 only when the pedestrian possessing the pedestrian terminal 1 corresponds to a specific attribute. For example, in the case of an elderly person, it is desired to suppress the power consumption of the pedestrian terminal 1 so that the pedestrian terminal 1 does not require much time and effort to charge. Therefore, when the pedestrian who possesses the pedestrian terminal 1 is an elderly person, the image matching positioning may be performed by the roadside machine 3.
  • FIG. 13 is an explanatory diagram showing the status of DB information collection using the DB information collection terminal 5.
  • the DB information collecting terminal 5 includes a camera 51 like the pedestrian terminal 1 of the first embodiment (see FIG. 2).
  • the camera 51 captures a moving image of the road surface under the feet of a pedestrian and outputs a camera image (frame) at each time.
  • a camera image in which the road surface at a predetermined registration point is photographed is extracted from the camera image at each time as a camera image to be registered in the image position DB.
  • a worker carries a DB information collection terminal 5 and walks on a target section (sidewalk, pedestrian crossing, roadside zone) around the roadside machine 3. Meanwhile, the DB information collecting terminal 5 sequentially collects the registration information of the image position DB, that is, the camera image of the road surface of the registration point and the position information of the registration point. The camera image and position information for each registration point collected by the DB information collection terminal 5 are registered in the image position DB constructed in the roadside machine 3.
  • the registration points where the camera image and the position information are registered in the image position DB are set at predetermined intervals (for example, 25 cm intervals) on the road surface of the target section (see FIG. 4). Specifically, a point separated from the registration point by a predetermined interval with respect to the previous registration point is set as the next registration point. At this time, the position of the next registration point with respect to the previous registration point is determined by measuring the distance between the two points on the road surface by the image parallax survey.
  • the disparity generated by the change in the shooting position of the camera 11 is detected, and the camera 11 is measured based on the disparity.
  • Three-dimensional information of the road surface (plane) at the feet as a reference is obtained, and the distance from the camera 11 to the road surface at the feet is measured based on the three-dimensional information, and the operator is based on the principle of three-point survey. The distance between two points on the road surface at the feet of the camera is calculated.
  • the position information of the next registration point is required based on the position information of the previous registration point, the interval between the registration points, and the traveling direction of the worker.
  • the interval between registered points affects the measurement accuracy of image matching positioning, and by reducing the interval between registered points, the measurement accuracy of image matching positioning can be improved. For example, if the distance between the registration points is 25 cm, which is half of the standard stride of 50 cm, the measurement accuracy of image matching positioning is 25 cm.
  • the registration point where the camera image and the position information are registered in the image position DB is set based on the installation point of the roadside machine 3. Therefore, the worker may carry the DB information collecting terminal 5 and start walking from the vicinity of the roadside machine 3. In this case, the camera image and the position information are collected in order from the registered point closest to the roadside machine 3. For example, when the roadside machine 3 is installed at the corner of an intersection, the worker leaves the roadside machine 3 so as to pass through a pedestrian crossing in the intersection or a road (sidewalk, roadside zone) connected to the intersection. You just have to walk in the direction.
  • FIG. 14 is a block diagram showing a schematic configuration of the DB information collecting terminal 5.
  • the DB information collecting terminal 5 includes a camera 51, a display unit 52, an input unit 53, a memory 54, and a processor 55.
  • the camera 51 captures the road surface at the feet of the worker.
  • the display unit 52 displays various operation screens.
  • the input unit 53 detects an input operation by an operator.
  • the memory 54 stores a program or the like executed by the processor 55.
  • the processor 55 performs various processes by executing the program stored in the memory 54.
  • the processor 55 performs image parallax survey processing and DB information collection processing.
  • the processor 55 detects the disparity generated by the change in the shooting position of the camera 51 with respect to the camera image (frame) at each time sequentially output from the camera 51, and based on the disparity. , Acquires three-dimensional information of the road surface (plane) at the feet with reference to the camera 51, measures the distance from the camera 51 to the road surface at the feet based on the three-dimensional information, and performs a three-point measurement to the operator. Calculate the distance between two points on the road surface at your feet.
  • the processor 55 extracts the camera image of the registration point from the camera image (frame) of each time sequentially output from the camera 51, and associates the camera image and the position information of the first registration point with each other. And save it in memory.
  • the position information (latitude / longitude) of the registered point is calculated from the distance between the two points acquired by the image parallax survey with reference to the position information (latitude / longitude) of the installation point of the roadside machine 3.
  • the DB information collection terminal 5 is a glasses-type wearable device (smart glasses), but the DB information collection terminal 5 may be a smartphone.
  • the application for collecting DB information is installed on the smartphone.
  • a camera 51 for photographing the road surface under the feet of the worker is attached to the body (for example, the head) of the worker.
  • the camera 51 is connected to the smartphone by wireless communication or wired communication, and a camera image of the road surface under the feet of the worker is transmitted to the smartphone.
  • the position information (latitude / longitude) of the installation point of the roadside machine 3 is input by the operator using the input unit 53, but communication with the roadside machine 3, for example, ITS communication. Or wireless communication or the like, the position information of the installation point of the roadside machine 3 may be acquired from the roadside machine 3.
  • FIG. 15 is a flow chart showing an operation procedure of the DB information collecting terminal 5.
  • the processor 55 acquires the position information (latitude / longitude) of the installation point of the roadside machine 3 in response to the input operation of the operator using the input unit 53 (ST501).
  • the processor 55 performs image parallax measurement and acquires the position information (latitude / longitude) of the first registered point based on the position information (latitude / longitude) of the installation point of the roadside machine 3 (ST502).
  • the processor 55 extracts the camera image of the first registration point from the camera images (frames) at each time sequentially output from the camera 51 (ST503).
  • the processor 55 associates the camera image and the position information of the first registration point with each other and stores them in the memory 54 (ST504).
  • the processor 55 determines whether or not to continue collecting DB information (ST505).
  • the processor 55 when continuing to collect DB information (Yes in ST505), the processor 55 performs image parallax measurement, and the position of the current registration point is based on the position information (latitude / longitude) of the previous registration point. Get information (latitude and longitude) (ST506).
  • the processor 55 extracts the camera image of the registration point this time from the camera image (frame) at each time sequentially output from the camera 51 (ST507). Then, the processor 55 associates the camera image and the position information of the registered point with each other and saves them in the memory 54 (ST508).
  • the processor 55 determines whether or not to continue collecting DB information.
  • the same operation as described above is repeated.
  • the process ends.
  • the DB information collecting terminal 5 collects the registration information of the image position DB, that is, the camera image of the road surface of the registration point and the position information of the registration point for each registration point. be able to.
  • the collected camera images and position information for each registration point are registered in the image position DB of the roadside machine 3.
  • FIG. 16 is a block diagram showing a schematic configuration of the roadside machine 3 according to the modified example of the second embodiment.
  • the camera 51 of the DB information collection terminal 5 captures the road surface under the feet of the worker, so that the camera image for each registered point is collected.
  • the roadside machine 3 is provided with a camera 35 for collecting camera images for each registered point.
  • the camera 35 photographs the road surface of a road (pedestrian crossing, sidewalk, roadside belt, etc.) on which pedestrians pass.
  • the processor 34 extracts the camera image for each registered point from the captured image of the camera 11 as the DB information collection process. Further, the processor 34 acquires the relative position information of the registration point with respect to the own device based on the position of the registration point on the captured image of the camera 11, and the relative position information of the registration point is obtained. , Acquires the absolute position information (latitude / longitude) of the registered point based on the position information of the installation point of the own device.
  • a method of acquiring relative position information for example, a three-point survey using the parallax of the camera 11 installed on the roadside machine 3 and a distance measurement result by a radar (not shown) installed on the roadside machine 3 are used. A method of positioning based on the above can be considered.
  • image matching positioning is performed only when a specific event requiring image matching positioning is detected.
  • image matching positioning is required when the moving speed of the pedestrian suddenly increases (sudden acceleration) or when the traveling direction of the pedestrian suddenly changes (sudden change of direction).
  • Image matching positioning is performed as a specific event.
  • the sudden acceleration of the pedestrian may be detected when the change (acceleration) of the moving speed of the pedestrian obtained from the detection result of the acceleration sensor 12 becomes equal to or more than a predetermined threshold value. Further, it is assumed that the sudden change in the direction of the pedestrian is detected when the change in the traveling direction (angular velocity) of the pedestrian obtained from the detection result of the gyro sensor 13 becomes equal to or more than a predetermined threshold value. good.
  • satellite positioning and PDR positioning are performed. That is, the position information of the pedestrian is acquired by the satellite positioning and the PDR positioning that are periodically performed until the next specific event is detected and the image matching positioning is performed.
  • the processor 18 calculates the movement distance and the movement direction based on the previous measurement position based on the detection results of the acceleration sensor 12 and the gyro sensor 13, and estimates the current position of the pedestrian.
  • image matching positioning is required when the moving speed of the pedestrian suddenly increases (sudden acceleration) or when the moving direction of the pedestrian suddenly changes (sudden change of direction). Image matching positioning is performed as a specific event. As a result, the accuracy of the position information of the pedestrian can be ensured.
  • image matching positioning may be performed only for people who are relatively prone to traffic accidents, such as the elderly and children. Further, image matching positioning may be performed only in a place where there are many traffic accidents. Further, image matching positioning may be performed when the elderly or children are present in a place other than the route that is frequently used.
  • the pedestrian terminal 1 possessed by the elderly or children may notify the pedestrian terminal 1 in which the guardian waits for the image matching positioning information obtained as a result of the image matching positioning, or the obtained image matching positioning information may be used. Based on this, warnings may be given to the elderly and children. As a result, it is possible to further strengthen the monitoring of the elderly and children.
  • image matching positioning may be performed.
  • the guardian's pedestrian terminal 1 may notify the pedestrian terminal 1 of the elderly or the child to instruct the pedestrian terminal 1 to perform image matching positioning. As a result, it is possible to further strengthen measures against wandering of the elderly and measures against lost children of children.
  • the face information of the elderly or the child is registered in the guardian's pedestrian terminal 1 in advance, and when the face of the elderly or the child cannot be recognized from the guardian's pedestrian terminal 1, protection is performed.
  • the pedestrian terminal 1 of the person notifies the pedestrian terminal 1 of the elderly or the child to instruct the execution of image matching positioning, and the pedestrian terminal 1 of the elderly or the child sends this instruction information.
  • image matching positioning may be performed.
  • the pedestrian terminal 1 acquires the registration information of the image position DB from the roadside machine 3 and performs image matching positioning.
  • satellite positioning may not be possible due to the shielding of satellite radio waves, such as in a tunnel, or the accuracy of satellite positioning may decrease due to the influence of radio wave multipath or reflected waves, such as in a skyscraper town.
  • the position information of the pedestrian can be acquired by PDR positioning, but if the continuous section of PDR positioning becomes long, the reliability of the position information decreases.
  • pedestrian position information is acquired by satellite positioning, and if there is a problem with satellite positioning such as in a tunnel or in a skyscraper, satellite positioning is changed to PDR positioning, and then PDR positioning is performed. If the continuation section of is long, the PDR positioning may be changed to the image matching positioning. Further, the satellite positioning may be directly changed to the image matching positioning.
  • FIG. 17 is a flow chart showing an operation procedure of the pedestrian terminal 1.
  • the operation procedure of the roadside machine 3 is the same as that of the first embodiment (see FIG. 1).
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14, and then the processor 18 is the same as in the first embodiment (see FIG. 8). However, based on the detection result of the gyro sensor 13, processing (ST131 to ST134) until the movement direction of the pedestrian is measured is performed.
  • the processor 18 determines whether or not a specific event requiring image matching positioning is detected (ST141).
  • the specific event is when the moving speed of the pedestrian suddenly increases (sudden acceleration) or when the traveling direction of the pedestrian suddenly changes (sudden change of direction). This specific event is detected based on the moving speed of the pedestrian obtained from the detection result of the acceleration sensor 12 and the traveling direction of the pedestrian obtained from the detection result of the gyro sensor 13.
  • the processor 18 acquires pedestrian position information by PDR positioning (ST142).
  • FIG. 18 is an overall configuration diagram of the passenger management system according to the fourth embodiment.
  • FIG. 19 is an explanatory diagram showing the registered contents of the image position DB and the passenger management DB.
  • a registration point is set for each seat or aisle in the bus so that the place where the passenger stays is specified, and regarding the registration point in the vehicle, in addition to the position information of the registration point, In-vehicle location information (boarding location information) indicating where the registration point is in the vehicle is registered in the image position DB in association with the camera image (see FIG. 19A).
  • the pedestrian terminal 1 possessed by the passenger, when the camera image of the registration point registered in the image position DB and the real-time camera image are successfully matched in the image matching process, the matching is successful.
  • the position information (latitude and longitude) associated with the camera image is acquired as the position information of the current position of the pedestrian. Further, the pedestrian terminal 1 determines whether or not a passenger is on board based on the in-vehicle location information associated with the camera image of the registration point where the collation was successful, and further, when the passenger is on board. To identify which seat the passenger is sitting in.
  • the camera 11 of the pedestrian terminal 1 photographs the feet of passengers (pedestrians).
  • the camera image shows the seat surface and armrests of the seat on which the passenger sits, and the floor surface between the passenger and the front seat.
  • the camera image shows the floor surface or a part of the seat under the passenger's feet.
  • the positional relationship, pattern, deterioration state (state of cracks, etc.) of the object reflected in the camera image becomes a unique feature of the point, and the current location of the passenger is specified by the image matching process.
  • the crew member possesses the crew member terminal 101 (base station device).
  • notification information including boarding state information indicating whether or not a passenger is on board, in-vehicle location information indicating a place where a passenger stays, and the like is transmitted from the pedestrian terminal 1.
  • the crew terminal 101 displays the notification information received from the pedestrian terminal 1 as it is or after performing necessary statistical processing.
  • passengers are managed by the crew terminal 101 using the passenger management DB.
  • Passenger information (passenger ID, passenger name), boarding status information, in-vehicle location information, and location information (latitude / longitude) are registered in this passenger management DB.
  • the passenger ID is the terminal ID of the pedestrian terminal 1 acquired from the pedestrian terminal 1.
  • Boarding status information is information indicating whether or not a passenger is on board.
  • the in-car location information is information indicating the place where the passenger stays. When the passenger is sitting in a seat, the in-vehicle location information is seat information (seat number) that identifies the seat in which the passenger sits. Further, when the passenger is in the aisle, the in-vehicle location information is the aisle information for identifying the aisle in which the passenger is.
  • the position information (latitude / longitude) is the position information of the pedestrian terminal 1 acquired from the pedestrian terminal 1. This position information is included in the wireless communication message received from the pedestrian terminal 1 when the pedestrian is on board, and the ITS received from the pedestrian terminal 1 when the pedestrian is not on board. Included in communication messages.
  • the pedestrian terminal 1 can recognize whether or not a passenger possessing the own device is on board. Then, the boarding status information indicating whether or not the passengers are on board is provided from the pedestrian terminal 1 to the crew terminal 101, so that all the passengers are on board the crew who possesses the crew terminal 101. You can easily confirm the boarding.
  • the boarding confirmation for bus passengers has been described, but the configuration for this embodiment also applies to boarding confirmation for passengers of other vehicles such as trains, aircraft, and ships. can do. Further, the configuration related to this embodiment can also be applied to admission confirmation for users of facilities such as event venues and concert halls.
  • the image matching positioning may be performed only when it is determined that the passengers of the bus are outside the specific place at the specific time.
  • the specific time can be set to the bus departure time from a predetermined time before the bus departure time
  • the specific place can be set to a place separated from the bus by a predetermined distance or more.
  • FIG. 20 is a block diagram showing a schematic configuration of a pedestrian terminal 1 and a crew terminal 101.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, and a wireless communication unit 16. , A memory 17, and a processor 18.
  • the processor 18 of the pedestrian terminal 1 has a message control process, a collision determination process, an alert control process, a speed measurement process, a direction measurement process, and a collation point. Prediction processing, camera image extraction processing, image collation processing, and position information acquisition processing are performed. Further, in the present embodiment, the processor 18 performs the boarding determination process.
  • the processor 18 determines whether or not a passenger is on board based on the in-vehicle location information (seat number and aisle information) associated with the camera image of the registration point where the collation was successful in the image collation process. judge. Specifically, if there is in-vehicle location information associated with the camera image of the registered point where the collation was successful, it is determined that the passenger is on board. On the other hand, if there is no in-vehicle location information associated with the camera image of the registered point where the collation was successful, it is determined that the passenger is not on board.
  • boarding status information indicating whether or not a passenger is on board is generated.
  • the crew terminal 101 (base station apparatus) includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor 34, similarly to the roadside unit 3 of the first embodiment (see FIG. 6). There is. Further, in the present embodiment, the crew terminal 101 is provided with a display 36.
  • the memory 33 stores the registration information of the image position DB (see FIG. 19A).
  • the position information of the registration point and the in-vehicle location information related to the registration point are registered in the image position DB in association with the camera image for each registration point.
  • the memory 33 stores the registration information of the passenger management DB (see FIG. 19B).
  • passenger information (passenger ID, passenger name), boarding status information indicating whether or not the passenger is on board, and in-vehicle location information regarding the place where the passenger stays in the vehicle (seat, passage, etc.) And the position information (latitude and longitude) are registered.
  • the display 36 displays the analysis result information generated by the processor 34.
  • the processor 34 performs message control processing and image position DB management processing in the same manner as the roadside machine 3 of the first embodiment (see FIG. 6). Further, in the present embodiment, the processor 34 performs passenger management DB management processing, analysis processing, and analysis result display processing.
  • the processor 34 manages the passenger management DB (see FIG. 19B).
  • the processor 34 performs statistical processing and the like using the registration information of the passenger management DB. Specifically, the processor 34 generates, as analysis result information, a list or the like that allows passengers to check the boarding status at a glance.
  • the processor 34 controls the display 36 so as to display the analysis result information. This allows crew members such as drivers and guides to check the boarding status of passengers.
  • the crew terminal 101 has a function as a base station device similar to the roadside machine 3 of the first embodiment, manages a passenger management DB, and uses the registration information as a pedestrian terminal.
  • the in-vehicle terminal mounted on the bus may have a function as a base station device.
  • the crew terminal 101 is supposed to perform the analysis process using the registration information of the passenger management DB, but the registration information of the passenger management DB is uploaded from the crew terminal 101 to the management server and managed.
  • the analysis process may be performed on the server.
  • FIG. 21 is a flow chart showing an operation procedure of the pedestrian terminal 1.
  • FIG. 22 is a flow chart showing an operation procedure of the crew terminal 101.
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14 the processor 18 However, as the position information acquisition process, processing (ST131 to ST139) is performed until the position information associated with the camera image of the registered point where the collation is successful is acquired as the position information of the current location of the pedestrian.
  • the processor 18 is based on the in-vehicle location information (seat number and passage information) associated with the camera image of the registration point where the collation was successful in the image collation process, and the passengers. Determines whether or not a passenger is on board and generates boarding status information indicating whether or not a passenger is on board (ST151).
  • the wireless communication unit 16 transmits a wireless communication message including notification information to the crew terminal 101 (ST152).
  • notification information passenger information (passenger ID, passenger name), boarding status information indicating whether or not the passenger is on board, and a place where the passenger stays (seat, passage, etc.) are related. Includes in-car location information (seat numbers and passage information) and location information (latitude and longitude).
  • the processor 34 receives the message.
  • the notification information included in, specifically, passenger information (passenger ID, passenger name), boarding status information, in-vehicle location information, and location information (latitude / longitude) are registered in the passenger management DB (ST322). ..
  • the processor 34 performs analysis processing (statistical processing) as necessary on the registration information of the passenger management DB, and generates analysis result information to be provided to staff such as a clerk (ST323).
  • the processor 34 controls the display 36 so as to display the analysis result information indicating the boarding status of the passenger (ST324). This allows crew members such as drivers and guides to check the boarding status of passengers.
  • FIG. 23 is an overall configuration diagram of the customer management system according to the fifth embodiment.
  • FIG. 24 is an explanatory diagram showing the registered contents of the image position DB and the customer management DB.
  • the length of the stay time indicates the customer's high interest in the product. Further, when the number of customers staying in front of a display case or the like is measured, the number of customers represents the number of customers who are interested in the product.
  • Such information on the customer's stay status (stay time, number of people, etc.) can be utilized for facility management operations such as marketing.
  • the customer can be identified by the terminal ID acquired from the pedestrian terminal 1 possessed by the customer, individual guidance regarding the product that the customer is interested in is provided to the customer based on the information on the customer's stay status. Can be done.
  • an area in front of the product in which the customer who sees the displayed product stays is set adjacent to the product display area in which the display case for displaying the product is installed, and the area is set for each product display area.
  • the product information (identification information) related to the product corresponding to the front product area is registered in the image position DB in association with the camera image ( See FIG. 24 (A)).
  • the pedestrian terminal 1 owned by the customer is a registered point where the matching is successful when the camera image of the registration point registered in the image position DB and the real-time camera image are successfully matched in the image matching process.
  • the position information associated with the camera image is acquired as the position information of the current location of the pedestrian. Further, the pedestrian terminal 1 determines whether or not the pedestrian is in the product front area and which product front area the pedestrian is in, based on the product information associated with the camera image of the registration point where the collation was successful. To judge.
  • the pedestrian terminal 1 measures the staying time, that is, the time during which the customer stays in the pre-product area as information regarding the stay status of the customer in the pre-product area.
  • the number of people staying may be measured as information on the staying status of customers in the area in front of the product.
  • the camera 11 of the pedestrian terminal 1 photographs the feet of the customer (pedestrian).
  • This camera image shows the floor surface under the customer's feet, and the pattern and deterioration state of the floor material (state such as cracks) are unique characteristics of that point, so the customer's current location can be identified by image matching processing. Will be done.
  • the camera image also shows the sides of the installations (display shelves, display cases, display stands, etc.) in the product display area and the wall surface of the building. It becomes a unique feature of.
  • the store terminal 111 (base station device) is installed in the store.
  • the store terminal 111 has the same configuration as the roadside machine 3 of the first embodiment (see FIG. 6).
  • an image position DB is constructed, and the registration information of the image position DB is distributed to the pedestrian terminal 1 existing in the store.
  • the image position DB may be constructed on a management server installed in a store or the like, and the registration information of the image position DB may be distributed to the pedestrian terminal 1 via the store terminal 111.
  • the customer is managed by using the customer management DB in the store terminal 111.
  • customer management DB customer ID, customer attribute information (age, gender), product information (product number, product name), and staying time are registered.
  • the customer ID is the terminal ID of the pedestrian terminal 1 possessed by the customer, and is acquired from the pedestrian terminal 1.
  • the customer attribute information is information related to the customer (pedestrian) attribute, and is acquired from the pedestrian terminal 1.
  • the product information is information that identifies a product corresponding to the area in front of the product in which the customer stayed, that is, a product in which the customer is interested.
  • the staying time is the time when the customer stays in the pre-product area.
  • this embodiment it is possible to acquire information (stay time, etc.) regarding the stay status of the customer in the area in front of the product.
  • This information on the customer's stay status can be used for store marketing and the like.
  • the customer's stay status (stay time, number of people, etc.) is measured for each area in front of the product, and the information on the customer's stay status is utilized for facility management operations.
  • the stay status of visitors (stay time, number of people, etc.) is measured for each area such as attraction areas and show areas, and information on the stay status of visitors is provided. , May be used for facility management work.
  • the analysis process using the registered information of the customer management DB is performed, but in the entertainment facilities such as theme parks, the same analysis is performed, for example, regarding the area (attraction area, etc.) where the visitors are highly interested. Analysis is possible.
  • the pedestrian terminal 1 displays the product information associated with the camera image of the registration point where the collation was successful on the screen, thereby promoting the understanding of the customer's product.
  • the pedestrian terminal 1 may acquire the detailed information of the product from the store terminal 111 and display the detailed information on the screen.
  • the customer management system can be configured as a user monitoring system by changing the purpose of use. For example, it can be used as a measure against lost children in commercial facilities such as shopping malls and entertainment facilities such as theme parks. Specifically, if the distance between the parent and the child becomes larger than the predetermined value after registering as a family member in each pedestrian terminal 1 in advance and entering the facility, the child's pedestrian terminal Image matching positioning may be executed in No. 1 so that the current location of the child can be grasped in detail. In this case, the frequency of image matching positioning may be changed according to the distance between the parent and the child.
  • FIG. 25 is a block diagram showing a schematic configuration of the pedestrian terminal 1 and the store terminal 111.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, and a wireless communication unit 16. , A memory 17, and a processor 18.
  • the memory 17 stores the terminal ID of the own device, the attribute information (age, gender, etc.) of the customer who owns the own device, and the like, in addition to the program executed by the processor 18.
  • the processor 18 includes a message control process, a collision determination process, an alert control process, a speed measurement process, a direction measurement process, a collation point prediction process, and a camera. Image extraction processing, image collation processing, and position information acquisition processing are performed. Further, in the present embodiment, the processor 18 performs the product information acquisition process and the stay time measurement process.
  • the processor 18 determines whether or not the customer is in the product front area based on the product information (product number, product name, etc.) associated with the camera image of the registration point where the collation was successful in the image collation process. If the customer is in the pre-product area, the product information associated with the camera image of the registration point where the collation was successful is acquired as the product information related to the product corresponding to the pre-product area where the customer stayed. do.
  • the processor 18 enters the area in front of the product and the customer leaves the area in front of the product based on the time when the matching is successful in the camera image associated with the product information.
  • the time of leaving the area is acquired, and the staying time, that is, the time of the customer staying in the area in front of the product is measured based on the time of entering the area and the time of leaving the area.
  • the store terminal 111 (base station device) includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor 34, similarly to the roadside unit 3 of the first embodiment (see FIG. 6). There is.
  • the memory 33 stores the registration information of the image position DB (see FIG. 24 (A)).
  • the position information of the registration point and the product information related to the registration point are registered in the image position DB in association with the camera image for each registration point.
  • the product information related to the product corresponding to the product front area is registered in the image position DB.
  • the memory 33 stores the registration information of the customer management DB (see FIG. 24 (B)).
  • customer management DB customer ID, customer attribute information (age, gender), product information (product number, product name) related to the product corresponding to the product pre-product area where the customer stayed, and the customer pre-product area The length of stay you have been in is registered.
  • the processor 34 performs message control processing and image position DB management processing in the same manner as the roadside machine 3 of the first embodiment (see FIG. 6). Further, in the present embodiment, the processor 34 performs a customer management DB management process, an analysis process, and an analysis result distribution process.
  • the processor 34 manages the customer management DB (see FIG. 24B).
  • the processor 34 performs statistical processing and the like using the registration information of the customer management DB.
  • the processor 34 controls the wireless communication unit 32 so that the analysis result information acquired in the analysis process is distributed to the user terminal 112 possessed by the staff such as the store manager and the store clerk.
  • Information distribution to the user terminal 112 is not limited to wireless communication.
  • FIG. 26 is a flow chart showing an operation procedure of the pedestrian terminal 1.
  • FIG. 27 is a flow chart showing an operation procedure of the store terminal 111.
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14, and then the processor 18 However, as the position information acquisition process, processing (ST131 to ST139) is performed until the position information associated with the camera image of the registered point where the collation is successful is acquired as the position information of the current location of the pedestrian.
  • the processor 18 is based on the product information (product number, product name, etc.) associated with the camera image of the registration point where the collation was successful in the image collation process. It is determined whether or not the customer is in the product front area, and if the customer is in the product front area, the product information associated with the camera image of the registration point where the matching was successful is transferred to the product front area where the customer stayed. Acquired as product information related to the corresponding product (ST161).
  • the processor 18 determines the area entry time when the customer enters the area in front of the product based on the time when the collation is successful in the camera image to which the product information is associated in the image collation process.
  • the time of leaving the area where the customer has left is acquired from the area in front of the product, and the staying time is measured based on the time of entering the area and the time of leaving the area (ST162).
  • the wireless communication unit 16 transmits a wireless communication message including notification information to the store terminal 111 (ST163).
  • notification information the terminal ID of the own device, the attribute information of the customer who owns the own device, the product information (product number, product name, etc.) about the area in front of the product where the customer stayed, and so on. Including staying time.
  • the processor 34 includes the received message.
  • Notification information specifically, the terminal ID of the pedestrian terminal 1, the attribute information of the customer who owns the pedestrian terminal 1, and the product information (product number, product name, etc.) related to the area in front of the product where the customer stayed.
  • the staying time is registered in the customer management DB (see FIG. 24 (B)) (ST332).
  • the processor 34 executes analysis processing (statistical processing) as necessary for the registered information in the customer management DB, and generates analysis result information (list, etc.) to be provided to staff such as a clerk. (ST333).
  • the wireless communication unit 32 transmits a wireless communication message including the analysis result information to the user terminal 112 possessed by the staff (ST334).
  • the analysis result information is displayed on the user terminal 112 possessed by the staff.
  • the stay time measurement process is performed on the pedestrian terminal 1, but the stay time measurement process may be performed on the store terminal 111.
  • the shooting time (collation success time) of the camera image at the registration point where the collation was successful in the image collation process may be transmitted from the pedestrian terminal 1 to the store terminal 111.
  • the analysis process using the registration information of the customer management DB is performed in the store terminal 111, but the registration information of the customer management DB is uploaded from the store terminal 111 to the management server and managed.
  • the analysis process may be performed on the server.
  • FIG. 28 is an overall configuration diagram of the weather information distribution system according to the sixth embodiment.
  • the road surface condition of the road that pedestrians pass through varies depending on the weather. For example, in the case of fine weather, the road surface is dry, but in the case of rainfall, the road surface becomes wet, in the case of snowfall, the road surface becomes snowy, and in the case of heavy rain, the road surface becomes flooded. It will be in the state of being. Therefore, the pedestrian terminal 1 can estimate the weather at the current location of the pedestrian based on the camera image of the road surface under the pedestrian's feet.
  • the camera images for each registration point are collected for each weather (sunny weather, rainfall, snowfall, etc.), and are associated with the camera images for each registration point, and the position information of the registration point and the camera image are displayed.
  • the weather information related to the weather at the time of shooting is registered in the image position DB of the roadside machine 3.
  • the registered contents of this image position DB are the same as those of the first modification of the first embodiment (see FIG. 11A).
  • the pedestrian terminal 1 corresponds to the camera image of the registered point where the matching is successful when the matching of the camera image of the registered point registered in the image position DB and the real-time camera image is successful in the image matching process.
  • the attached position information is acquired as the position information of the current location of the pedestrian.
  • the pedestrian terminal 1 acquires the weather information associated with the camera image of the registered point where the collation was successful as the weather information of the current location of the pedestrian.
  • the pedestrian terminal 1 uploads the position information and the weather information of the pedestrian's current location to the weather information distribution server 121 (weather information collecting device).
  • the weather information distribution server 121 is configured as a cloud computer.
  • the weather information distribution server 121 can communicate with the pedestrian terminal 1 via the cellular communication network, and collects the position information and the weather information of the current location of the pedestrian from the pedestrian terminal 1. Further, the weather information distribution server 121 statistically processes the position information and the weather information of the current location of the pedestrian collected from the pedestrian terminal 1 to generate the local weather information. Further, the weather information distribution server 121 can communicate with the user terminal 122 via the Internet, and distributes the local weather information to the user terminal 122.
  • the local weather information is information related to the weather in each region.
  • the current location of the pedestrian is set as the measurement point, and the weather information for each measurement point is acquired from the position information and the weather information of the current location of each pedestrian.
  • the weather information for each measurement point is mapped on the map, local weather information is generated. For example, by allocating the weather information for each measurement point to each section in which the target area is divided into a mesh shape, the weather information for each section is generated as the local weather information.
  • the weather information distribution server 121 collects the position information and the weather information of the pedestrian's current location from the pedestrian terminal 1, so that detailed local weather information can be generated.
  • the size (vertical and horizontal dimensions) of the local weather information section can be set to 1 m or less.
  • camera images for each registered point may be collected by weather and registered in the image position DB, but the weather information does not require high accuracy like the position information. Only for some of the registered points that have been appropriately thinned out, the camera images for each registered point may be collected for each weather and registered in the image position DB.
  • FIG. 29 is a block diagram showing a schematic configuration of the pedestrian terminal 1 and the roadside machine 3.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, and a wireless communication unit 16. , A memory 17, and a processor 18. Further, in the present embodiment, the pedestrian terminal 1 includes a cellular communication unit 19.
  • the cellular communication unit 19 communicates with the weather information distribution server 121 via the cellular communication network.
  • the processor 18 of the pedestrian terminal 1 has a message control process, a collision determination process, an alert control process, a speed measurement process, a direction measurement process, and a collation point. Prediction processing, camera image extraction processing, image collation processing, and position information acquisition processing are performed. Further, in the present embodiment, the processor 18 performs the weather information acquisition process.
  • the processor 18 collates the camera image for each weather (sunny weather, rainfall, snowfall, etc.) registered in the image position DB with the real-time camera image output from the camera 11.
  • the processor 18 acquires the weather information associated with the camera image of the registration point where the collation was successful in the image collation process as the weather information of the pedestrian's current location.
  • the weather information acquired in this weather determination process is transmitted from the cellular communication unit 19 to the weather information distribution server 121.
  • the roadside machine 3 includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor 34, as in the first embodiment (see FIG. 6).
  • the memory 33 of the roadside machine 3 stores the registration information of the image position DB.
  • camera images for each registered point are collected for each weather (sunny weather, rainfall, snowfall, etc.), associated with the camera image for each registered point, and the position information of the registered point and the time when the camera image is taken.
  • the weather information regarding the weather of the roadside machine 3 is registered in the image position DB of the roadside machine 3.
  • the communication means of the roadside machine 3 and the pedestrian terminal 1 are all cellular communication, and the functions of the roadside machine 3 are arranged on the cloud computer to manage a wide range of image position DBs. May be good. This makes it possible to acquire a wider range of weather information, not limited to the weather information around the roadside machine 3.
  • FIG. 30 is a flow chart showing an operation procedure of the pedestrian terminal 1.
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14 the processor 18 However, as the position information acquisition process, processing (ST131 to ST139) is performed until the position information associated with the camera image of the registered point where the collation is successful is acquired as the position information of the current location of the pedestrian.
  • the processor 18 obtains the weather information (information such as fine weather, rainfall, snowfall, etc.) associated with the camera image of the registration point where the collation was successful in the image collation process. It is acquired as the weather information of the pedestrian's current location (ST171).
  • the weather information information such as fine weather, rainfall, snowfall, etc.
  • the cellular communication unit 19 transmits the weather information acquired in the weather information acquisition process to the weather information distribution server 121 (ST172).
  • FIG. 31 is an overall configuration diagram of the facility monitoring system according to the seventh embodiment.
  • FIG. 32 is an explanatory diagram showing the registered contents of the image position DB.
  • a dangerous area on the track side of the white line provided on the platform, an entry prohibited area that prohibits the entry of outsiders, etc. are set as a warning area (specific area) in this warning area.
  • area information indicating whether or not the registered points are included in the alert area is registered in the image position DB in association with the camera image (FIG. 32). reference).
  • the pedestrian terminal 1 corresponds to the camera image of the registered point where the matching is successful when the matching of the camera image of the registered point registered in the image position DB and the real-time camera image is successful in the image matching process.
  • the attached position information (latitude and longitude) is acquired as the position information of the pedestrian's current location. Further, the pedestrian terminal 1 alerts the pedestrian when it is determined that the pedestrian is in the alert area based on the area information associated with the camera image of the registration point where the collation was successful.
  • the premises terminal 131 (base station device) is installed around the home.
  • the premises terminal 131 has the same configuration as the roadside machine 3 of the first embodiment (see FIG. 6).
  • an image position DB is constructed, and the registration information of the image position DB is distributed to the pedestrian terminal 1 existing in the vicinity of the home.
  • the image position DB may be constructed on a management server installed in the premises of a station or the like, and the registration information of the image position DB may be distributed to the pedestrian terminal 1 via the premises terminal 131. ..
  • the pedestrian when a pedestrian enters a warning area such as a danger area on the railroad side from the white line provided on the platform, the pedestrian is alerted, so that the facility user, especially the visually impaired, is visually impaired. It is possible to ensure the safety of people.
  • FIG. 33 is a block diagram showing a schematic configuration of the pedestrian terminal 1 and the premises terminal 131.
  • the pedestrian terminal 1 includes a camera 11, an acceleration sensor 12, a gyro sensor 13, a satellite positioning unit 14, an ITS communication unit 15, and a wireless communication unit 16. , A memory 17, and a processor 18.
  • the processor 18 of the pedestrian terminal 1 has a message control process, a collision determination process, an alert control process, a speed measurement process, a direction measurement process, and a collation point. Prediction processing, camera image extraction processing, image collation processing, and position information acquisition processing are performed. Further, in the present embodiment, the processor 18 performs the area determination process.
  • the processor 18 determines whether or not the pedestrian is in the attention area based on the area information associated with the camera image of the registration point where the collation was successful in the image collation process.
  • an alert activation operation for the pedestrian is performed.
  • a voice may be output from a speaker provided in the pedestrian terminal 1 or a vibrator provided in the pedestrian terminal 1 may be vibrated.
  • the premises terminal 131 (base station device) includes an ITS communication unit 31, a wireless communication unit 32, a memory 33, and a processor 34, similarly to the roadside unit 3 of the first embodiment (see FIG. 6). There is.
  • the memory 33 of the premises terminal 131 stores the registration information of the image position DB.
  • the position information of the registration point and the area information indicating that the registration point is within the attention area are registered in the image position DB in association with the camera image for each registration point.
  • FIG. 34 is a flow chart showing the operation procedure of the pedestrian terminal 1.
  • the same processing as that of the roadside machine 3 of the first embodiment is performed.
  • the processor 18 acquires the position information of the pedestrian by the satellite positioning unit 14, and then the processor 18 However, as the position information acquisition process, processing (ST131 to ST139) is performed until the position information associated with the camera image of the registered point where the collation is successful is acquired as the position information of the current location of the pedestrian.
  • the area determination process whether the pedestrian is in the alert area based on the area information associated with the camera image of the registration point where the collation was successful in the image collation process. It is determined whether or not (ST181).
  • the processor 18 controls the speaker, the vibrator, and the like so as to perform a predetermined alert activation operation for the pedestrian (ST182).
  • the facility monitoring system can be similarly applied not only to pedestrians but also to vehicles (motorcycles, bicycles, electric wheelchairs, agricultural machinery, senior cars, etc.).
  • image matching positioning may be performed when it is detected that the vehicle is performing meandering driving, rapid acceleration / deceleration, speed violation, or the like based on a camera image taken by a camera mounted on the vehicle.
  • a warning to the driver, automatic braking, a report to the police, etc. may be given. As a result, it is possible to prevent the fanning operation and the like.
  • the pedestrian device, information gathering device, base station device, and positioning method according to the present disclosure can measure the current position of a pedestrian with high accuracy, and further speed up the processing and reduce the processing load.
  • Pedestrian terminal (pedestrian device) 2 In-vehicle terminal (in-vehicle device) 3 Roadside unit (base station equipment) 5 DB information collection terminal (information collection device) 11 Camera 12 Acceleration sensor 13 Gyro sensor 14 Satellite positioning unit 15 ITS communication unit 16 Wireless communication unit 17 Memory 18 Processor 19 Cellular communication unit 21 White cane 22 Landsell 31 ITS communication unit 32 Wireless communication unit 33 Memory 34 Processor 35 Camera 36 Display 51 Camera 52 Display 53 Input 54 Memory 55 Processor 101 Crew terminal (base station device) 111 Store terminal (base station equipment) 112 User terminal 121 Weather information distribution server 122 User terminal 131 Private terminal (base station equipment)

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減できるようにする。 【解決手段】歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、プロセッサが、センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいてメモリより抽出したカメラ画像と、カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う。

Description

歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法
 本開示は、歩行者が所持して歩行者の現在位置を測定する測位を行う歩行者装置、歩行者装置での測位に必要な情報を収集する情報収集装置、歩行者装置での測位に必要な情報を歩行者装置に提供する基地局装置、及び歩行者装置で行われる測位方法、並びに歩行者装置を利用した利用者管理方法、情報収集方法、施設監視方法に関するものである。
 ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末と歩行者端末との間で交換することで、車両と歩行者との事故を回避する。
 車載端末や歩行者端末では、主に衛星測位により車両や歩行者の位置情報を取得するが、PDR(歩行者自律航法:Pedestrian Dead Reckoning)を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な位置情報を取得できる測位方法が望まれる。
 そこで、車両や歩行者の周辺をカメラで撮影して、そのカメラ画像に基づいて、車両や歩行者の位置を測定することが考えられる。このようなカメラ画像を用いた測位方法に関連するものとして、道路を撮影したカメラ画像に基づいて、道路の路面に描かれた白線を検知して、車両の位置情報として、車両が走行する走行レーンを認識する技術が知られている(特許文献1~3参照)。また、前方を撮影したカメラ画像に写るランドマークとなる物体(道路の周辺の建物など)に着目して、自装置の位置を測定する技術も知られている。
特許第2754871号公報 特許第3333223号公報 特開平6-149360号公報
 さて、歩行者の場合、移動速度や進行方向の変化が顕著なため、PDR測位などを採用しても、高精度な測位ができないという問題があった。また、歩行者の前方を撮影したカメラ画像では、前を歩く歩行者などが遮蔽物となって、歩行者の現在地を測定する上で重要となるランドマークとなる物体が隠れてしまい、カメラ画像を利用した測位方法でも、高精度な測位ができないという問題があった。また、歩行者端末は歩行者が所持するために小型化が要求され、この歩行者端末で高精度な測位を行うにあたっては、処理の高速化を図ると共に、処理の負荷を軽減することが望まれる。
 そこで、本開示は、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる歩行者装置、情報収集装置、基地局装置、及び測位方法を提供することを主な目的とする。
 本開示の歩行者装置は、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、を備える構成とする。
 また、本開示の情報収集装置は、第1の発明に係る歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、歩行者の足元の路面を撮影するカメラと、前記カメラから出力されるカメラ画像の視差に基づいて路面上の2点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、を備える構成とする。
 また、本開示の基地局装置は、第1の発明に係る歩行者装置に情報を提供する基地局装置であって、自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、歩行者装置との間で通信を行う通信部と、自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、を備える構成とする。
 また、本開示の測位方法は、歩行者の現在地の位置情報を取得する測位方法であって、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、前記プロセッサが、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う構成とする。
 本開示によれば、登録地点の間隔に応じて、歩行者の現在位置を高精度に測定することができる。さらに、歩行者の進行状態に基づいて、登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。
第1実施形態に係る交通安全支援システムの全体構成図 第1実施形態に係る歩行者端末1のカメラ11を示す説明図 第1実施形態に係る歩行者端末1で行われる画像照合処理の概要を示す説明図 第1実施形態に係る登録地点の設定状況を示す説明図 第1実施形態に係る画像位置DBの登録内容を示す説明図 第1実施形態に係る歩行者端末1及び路側機3の概略構成を示すブロック図 第1実施形態に係る歩行者端末1の動作手順を示すフロー図 第1実施形態に係る歩行者端末1の動作手順を示すフロー図 第1実施形態に係る車載端末2の動作手順を示すフロー図 第1実施形態に係る路側機3の動作手順を示すフロー図 第1実施形態の第1変形例に係る画像位置DBの登録内容を示す説明図 第1実施形態の第2変形例に係る歩行者端末1及び路側機3の概略構成を示すブロック図 第2実施形態に係るDB情報収集端末5を用いたDB情報収集の状況を示す説明図 第2実施形態に係るDB情報収集端末5の概略構成を示すブロック図 第2実施形態に係るDB情報収集端末5の動作手順を示すフロー図 第2実施形態の変形例に係る路側機3の概略構成を示すブロック図 第3実施形態に係る歩行者端末1の動作手順を示すフロー図 第4実施形態に係る乗客管理システムの全体構成図 第4実施形態に係る画像位置DB及び乗客管理DBの登録内容を示す説明図 第4実施形態に係る歩行者端末1及び乗務員端末101の概略構成を示すブロック図 第4実施形態に係る歩行者端末1の動作手順を示すフロー図 第4実施形態に係る乗務員端末101の動作手順を示すフロー図 第5実施形態に係る顧客管理システムの全体構成図 第5実施形態に係る画像位置DB及び顧客管理DBの登録内容を示す説明図 第5実施形態に係る歩行者端末1及び店舗端末111の概略構成を示すブロック図 第5実施形態に係る歩行者端末1の動作手順を示すフロー図 第5実施形態に係る店舗端末111の動作手順を示すフロー図 第6実施形態に係る天気情報配信システムの全体構成図 第6実施形態に係る歩行者端末1及び路側機3の概略構成を示すブロック図 第6実施形態に係る歩行者端末1の動作手順を示すフロー図 第7実施形態に係る施設監視システムの全体構成図 第7実施形態に係る画像位置DBの登録内容を示す説明図 第7実施形態に係る歩行者端末1及び構内端末131の概略構成を示すブロック図 第7実施形態に係る歩行者端末1の動作手順を示すフロー図
 前記課題を解決するためになされた第1の発明は、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、を備える構成とする。
 これによると、登録地点の間隔に応じて、歩行者の現在位置を高精度に測定することができる。さらに、歩行者の進行状態に基づいて、登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。
 また、第2の発明は、自装置の周辺エリアに関する前記登録情報を保持する基地局装置との間で通信を行う通信部を備え、前記通信部は、自装置が前記基地局装置に近づいた際に、その基地局装置から前記登録情報を受信し、前記メモリは、前記通信部により受信した前記登録情報を記憶する構成とする。
 これによると、歩行者装置が基地局装置に近づいた際に、その基地局装置から周辺エリアに関する登録情報を受け取ってメモリに記憶すればよく、歩行者装置の通信負荷を軽減すると共にメモリ容量を小さく抑えることができる。
 また、第3の発明は、前記プロセッサは、前記センサの検出結果に基づいて特定事象が検知されると、前記画像照合測位により、歩行者の現在地の位置情報を取得し、前記特定事象が検知されないと、衛星測位または前記センサの検出結果に基づく歩行者自律航法による測位により、歩行者の現在地の位置情報を取得する構成とする。
 これによると、画像照合測位を必要とする特定事象が検知された場合に、画像照合測位が行われることから、画像照合測位の頻度が減少するため、画像照合に係るプロセッサの負荷を軽減することができる。
 また、第4の発明は、前記特定事象が、歩行者の急加速および急な向きの変更の少なくともいずれかである構成とする。
 これによると、歩行者の移動速度が急に速くなった場合(急加速)や、歩行者の移動方向が急に変化した場合(急な向きの変更)には、歩行者自律航法による測位による位置情報の信頼度が低下するため、このような場合を特定事象として検知して、画像照合測位を行うことで、歩行者の位置情報の精度を確保することができる。
 また、第5の発明は、第1の発明に係る歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、歩行者の足元の路面を撮影するカメラと、前記カメラから出力されるカメラ画像の視差に基づいて路面上の2点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、を備える構成とする。
 これによると、歩行者(作業者)が情報収集装置を所持して対象区間を歩行するだけで、その対象区間の登録情報を収集することができる。このため、登録情報を収集する作業を効率よく行うことができる。なお、画像視差測量では、前回の登録地点を基準にした今回の登録地点の相対的な位置情報を取得できるだけであるため、例えば、原点となる基地局装置の設置位置を基準にして、登録地点の絶対的な位置情報(緯度経度)を取得するようにしてもよい。
 また、第6の発明は、第1の発明に係る歩行者装置に情報を提供する基地局装置であって、自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、歩行者装置との間で通信を行う通信部と、自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、を備える構成とする。
 これによると、歩行者装置が基地局装置に近づいた際に、その基地局装置から周辺エリアに関する登録情報を歩行者装置が受け取ってメモリに記憶すればよく、歩行者装置の通信負荷を軽減すると共に歩行者装置のメモリ容量を小さく抑えることができる。
 また、第7の発明は、歩行者の現在地の位置情報を取得する測位方法であって、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、前記プロセッサが、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う構成とする。
 これによると、第1の発明と同様に、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる。
 また、第8の発明は、第1の発明に係る歩行者装置を所持した利用者が滞在する場所を管理する利用者管理方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定場所に含まれるか否かを表す場所情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記場所情報に基づいて、利用者が前記特定場所にいるか否かを判定する構成とする。
 これによると、利用者が特定場所にいるか否かに関する情報を取得することができる。そして、例えば、乗り物の乗客が滞在する客室を特定場所とすると、乗客が乗り物に搭乗しているか否かの搭乗確認を行うことができる。
 また、第9の発明は、第1の発明に係る歩行者装置を所持した利用者の施設内での滞在状況を管理する利用者管理方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が施設内の複数の特定エリアのいずれに位置するかを表す識別情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記識別情報に基づいて、利用者が滞在する特定エリアを識別する構成とする。
 これによると、施設内で利用者がどの特定エリアに滞在しているかに関する情報を取得することができる。そして、例えば、商業施設において、陳列された商品を見る利用者(顧客)が滞在するエリアを特定エリアとすると、商品に対する利用者の関心の度合いに関する情報を収集することができる。また、娯楽施設において、アトラクションを見る利用者が滞在するエリアを特定エリアとすると、アトラクションに対する利用者の関心の度合いに関する情報を収集することができる。
 また、第10の発明は、第1の発明に係る歩行者装置の現在地の天気情報を天気情報収集装置が収集する情報収集方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、撮影時の天気に関する天気情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記天気情報を、前記歩行者装置の現在地の天気情報として取得して、その天気情報を前記天気情報収集装置に送信するように通信部を制御する構成とする。
 これによると、登録地点ごとの天気情報を収集することができる。なお、収集した天気情報を必要に応じて統計処理した上でユーザ装置に配信するようにしてもよく、これにより、細かいエリア単位の天気情報を配信することができる。
 また、第11の発明は、第1の発明に係る歩行者装置を所持した利用者が、施設内の特定エリアに進入したことを検知する施設監視方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定エリアに含まれるか否かを表すエリア情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記エリア情報に基づいて、歩行者が特定エリアに進入したか否かを判定する構成とする。
 これによると、施設内の特定エリアに利用者が進入したことを検知することができる。なお、特定エリアに歩行者が進入した場合に、歩行者に対する注意喚起が行われるものとすると、施設の利用者、特に視覚障害者などの安全を確保することができる。
 以下、本開示の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
 図1は、第1実施形態に係る交通安全支援システムの全体構成図である。
 この交通安全支援システムは、歩行者及び車両の交通安全を支援するものであり、歩行者端末1(歩行者装置)と、車載端末2(車載装置)と、路側機3(路側装置)と、を備えている。
 歩行者端末1、車載端末2、および路側機3の間ではITS通信が行われる。このITS通信は、ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムで採用されている周波数帯(例えば700MHz帯や5.8GHz帯)を利用した無線通信である。なお、本実施形態では、適宜に歩行者端末1と車載端末2との間でのITS通信を歩車間通信と呼称し、歩行者端末1と路側機3との間でのITS通信を路歩間通信と呼称し、車載端末2と路側機3との間でのITS通信を路車間通信と呼称する。また、車載端末2同士の間でもITS通信が行われ、このITS通信は車車間通信と呼称する。
 歩行者端末1は、歩行者が所持する。この歩行者端末1では、ITS通信(歩車間通信)により車載端末2との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者に対する注意喚起動作を行う。図1に示す例では、歩行者端末1が、歩行者の頭部に装着される眼鏡型のウェアラブルデバイス(スマートグラス)であり、AR(拡張現実:Augmented Reality)を実現する機能を備えている。
 車載端末2は、車両に搭載される。この車載端末2では、ITS通信(歩車間通信)により歩行者端末1との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、例えばカーナビゲーション装置などを用いて行われるとよい。
 路側機3は、道路の交差点などに設置される。この路側機3では、ITS通信(路歩間通信、路車間通信)により、歩行者端末1及び車載端末2に対して、交通情報などの各種の情報を配信する。また、路側機3は、ITS通信(路車間通信、路歩間通信)により、自装置の周辺に位置する車両や歩行者の存在を、車載端末2や歩行者端末1に通知する。これにより、見通し外の交差点における衝突を防止することができる。
 次に、第1実施形態に係る歩行者端末1のカメラ11について説明する。図2は、歩行者端末1のカメラ11を示す説明図である。
 図2(A)に示すように、歩行者端末1は、カメラ11を備えている。このカメラ11は、歩行者の足元の路面を撮影する。このカメラ11には、歩行者の頭部の傾きに関係なく、カメラ11の姿勢(撮影角度)を適切に保持する姿勢保持機構が設けられている。これにより、歩行者が歩行する際などに頭部が揺れても、常に歩行者の足元を撮影したカメラ画像を取得することができる。なお、カメラ11が真下を撮影すると、カメラ画像に歩行者の身体(例えば脚など)が大きく写り、歩行者の足元の路面が歩行者の身体に隠れた状態となる場合があるため、カメラ11の撮影角度が前方に少し傾いた状態となるようにしてもよい。
 なお、姿勢保持機構としては、例えば、揺動可能に支持されカメラ11が、重りにより常に下方を向くように設けられた構成とすればよい。また、歩行者の頭部の傾きによるカメラ11の横向きの揺れや、歩行者の歩行に応じたカメラ11の縦向きの揺れを抑制するスプリングが設けられた構成としてもよい。また、カメラ11の姿勢を検出するジャイロセンサの検出結果に基づいて、カメラ11の揺れを抑制するようにアクチュエータによりカメラ11の姿勢が制御される構成としてもよい。
 また、図2(A)に示す例では、歩行者端末1が、眼鏡型のウェアラブルデバイス(スマートグラス)である。この歩行者端末1のARディスプレイでは、ユーザの現実の視界に入る実空間上に仮想オブジェクトが重畳表示されて、ARが実現される。このARディスプレイには、仮想オブジェクトとして、車両との衝突の危険性を表す画像や、見通し外の交差点において歩行者から直接視認できない車両の画像などが表示される。なお、歩行者端末1は、ユーザの頭部に装着されるヘッドマウント部と、ユーザが携帯する本体部とで構成されるようにしてもよい。
 一方、図2(B)に示す例では、視覚障害者が使用する車輪付きの白杖21に、歩行者が歩行する路面を撮影するカメラ11が設けられている。この場合、カメラ11の姿勢(撮影角度)を適切に保持する姿勢保持機構が設けられるようにしてもよい。これにより、視覚障害者の利便性を高めることができる。また、車輪付きの白杖21は、一般的な白杖と比べて、上下の動きが少ないため、カメラ11に上下の揺れが生じにくい利点も得られる。
 また、図2(C)に示す例では、歩行者(児童)が背中に背負うランドセル22に、カメラ11が歩行者の後側の足下の路面を撮影するように取り付けられている。この場合、ランドセル22の下面や後面などにカメラ11が取り付けられた構成とすればよい。この構成では、歩行者の身体から離してカメラ11が配置されるため、歩行者の足元の路面が歩行者の身体に大きく隠れた状態となることを避けることができる。
 次に、第1実施形態に係る歩行者端末1で行われる画像照合測位の概要について説明する。図3は、歩行者端末1で行われる画像照合処理の概要を示す説明図である。図4は、登録地点の設定状況を示す説明図である。図5は、画像位置DBの登録内容を示す説明図である。
 道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料(トラフィックペイント)で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、路面の特徴に基づいて、カメラ画像が撮影された地点を特定することができる。
 そこで、本実施形態では、予め登録地点の路面を撮影したカメラ画像が、登録地点の位置情報と対応付けて、路側機3に構築された画像位置DB(データベース)に登録される(図5参照)。一方、歩行者端末1では、カメラ11が、歩行者の足元の路面を撮影して、カメラ画像をリアルタイムに出力する。なお、カメラ11からリアルタイムに出力されるカメラ画像を適宜に「リアルタイムのカメラ画像」と呼称する。そして、歩行者端末1では、図3に示すように、画像位置DBに登録された登録地点のカメラ画像と、カメラ11から出力されるリアルタイムのカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する。
 また、本実施形態では、図4に示すように、路側機3が交差点に設置されている場合、その路側機3が設置された交差点の周辺エリア、具体的には、路側機3が設置された交差点と、その交差点に接続された道路の所定範囲の区間が、画像位置DBの対象範囲となり、この対象範囲内に、所定間隔(例えば25cm)をおいて登録地点が設定される。なお、歩行者は、通常、交差点の横断歩道や、交差点に接続された道路の歩道や路側帯を通行するため、この歩行者が通行する部分に登録地点が設定される。
 したがって、図3に示すように、歩行者が、交差点の横断歩道や、道路の歩道や路側帯を通行すると、歩行者端末1では、歩行者の足元の路面が撮影されたリアルタイムのカメラ画像が定期的にカメラから出力されて画像照合が行われ、歩行者が登録地点に到達したタイミングで、画像照合が成功することで、歩行者の現在地が特定される。
 また、画像照合処理により、歩行者の進行方向が求められる。すなわち、カメラ画像の向き、例えばカメラ画像の上方の方位(東西南北)が、画像位置DBに登録されていれば、画像照合処理により、画像位置DBに登録されたカメラ画像を回転させて、カメラ11から出力されるリアルタイムのカメラ画像と向きを一致させることで、リアルタイムのカメラ画像の上方の方位、すなわち、歩行者の進行方向が求められる。
 また、本実施形態では、先読み画像照合が行われる。この先読み画像照合では、前回の画像照合が行われた登録地点と、加速度センサ12及びジャイロセンサ13(図6参照)の検出結果から求められる歩行者の進行状態とに基づいて、次に歩行者が到達する登録地点が予測され、その予測結果に基づいて、画像位置DBに登録されたカメラ画像の中から、照合対象となるカメラ画像が抽出されて、その抽出されたカメラ画像と、カメラ11から出力されるリアルタイムのカメラ画像とが照合される。
 ここで、本実施形態では、歩行者の進行状態として、ジャイロセンサ13の検出結果に基づいて測定される歩行者の進行方向と、加速度センサ12の検出結果に基づいて測定される歩行者の移動速度とが求められ、この歩行者の進行方向と移動速度とに基づいて、次に歩行者が到達する登録地点が予測される。なお、歩行者の進行方向のみに基づいて、次に歩行者が到達する登録地点を予測することもできる。この場合、歩行者の進行方向の先に位置する登録地点が、次に歩行者が到達する登録地点として選択される。
 なお、先読み画像照合では、歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測する処理が行われるが、このとき、PDR(歩行者自律航法:Pedestrian Dead Reckoning)により歩行者の現在地を推定するPDR測位が行われ、その結果に基づいて、次に歩行者が到達する登録地点が予測されるものとしてもよい。
 このように本実施形態では、歩行者の進行状態に基づいて、画像位置DBに登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。
 次に、第1実施形態に係る歩行者端末1及び路側機3の概略構成について説明する。図6は、歩行者端末1及び路側機3の概略構成を示すブロック図である。
 歩行者端末1は、カメラ11と、加速度センサ12と、ジャイロセンサ13と、衛星測位部14と、ITS通信部15と、無線通信部16と、メモリ17と、プロセッサ18と、を備えている。なお、歩行者端末1が、眼鏡型のウェアラブルデバイス(スマートグラス)である場合、図示しないARディスプレイを備えている。
 カメラ11は、歩行者の足下を撮影する。
 加速度センサ12は、歩行者の身体に発生する加速度を検出する。ジャイロセンサ13は、歩行者の身体に発生する角速度を検出する。なお、その他のモーションセンサが設けられるものとしてもよい。
 衛星測位部14は、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System)などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報(緯度経度)を取得する。
 ITS通信部15は、ITS通信(歩車間通信、路歩間通信)により、メッセージをブロードキャストで車載端末2や路側機3に送信し、また、車載端末2や路側機3から送信されるメッセージを受信する。
 無線通信部16は、例えばWiFi(登録商標)などの無線通信により、メッセージを路側機3に送信し、また、路側機3から送信されるメッセージを受信する。
 メモリ17は、地図情報や、プロセッサ18で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ17が、画像位置DBの登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。なお、本実施形態では、歩行者端末1が、交差点に近づいた際に、その交差点に設置された路側機3から、交差点の周辺エリアに関する画像位置DBの登録情報を取得する。
 プロセッサ18は、メモリ17に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ18が、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。
 メッセージ制御処理では、プロセッサ18が、車載端末2及び路側機3との間でのITS通信のメッセージの送受信を制御する。また、プロセッサ18が、路側機3との間での無線通信のメッセージの送受信を制御する。
 衝突判定処理では、プロセッサ18が、車載端末2から取得した車両情報に含まれる車両の位置情報、及び衛星測位部14で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。
 注意喚起制御処理では、プロセッサ18が、衝突判定処理で衝突の危険性があると判定された場合に、歩行者に対する所定の注意喚起動作(例えば音声出力や振動など)を行うように制御する。
 速度測定処理では、プロセッサ18が、加速度センサ12の検出結果に基づいて歩行者の速度を測定する。歩行者が歩行すると、歩行者の身体に加速度が発生し、この加速度の変化状況に基づいて、歩行者の歩行ピッチが求められる。また、歩行ピッチと歩幅から速度が算出される。なお、歩幅は、歩行者端末1に登録された歩行者の属性(大人、子供など)に基づいて設定されるようにしてもよい。
 方向測定処理では、プロセッサ18が、ジャイロセンサ13の検出結果に基づいて歩行者の進行方向を測定する。
 照合地点予測処理では、プロセッサ18が、歩行者の現在地の位置情報、移動速度及び進行方向に基づいて、次に歩行者が到達する登録地点を予測する。なお、照合地点予測処理は、歩行者が登録地点に到達して、画像照合測位により、歩行者の現在地の位置情報を取得したタイミングで行われるようにすればよい。
 カメラ画像抽出処理では、プロセッサ18が、予測される登録地点に基づいて、自装置の画像位置DBから、照合対象となるカメラ画像を抽出する。このとき、予測される登録地点のカメラ画像のみを抽出すればよいが、予測される登録地点の周辺の所定範囲に含まれる複数のカメラ画像を抽出するようにしてもよい。また、次に歩行者が到達する登録地点が複数予測される場合に、その複数の予測される登録地点のカメラ画像を抽出するようにしてもよい。
 画像照合処理では、プロセッサ18が、カメラ11から出力されるリアルタイムのカメラ画像と、カメラ画像抽出処理で抽出した登録地点のカメラ画像とを照合する。このとき、プロセッサ18が、リアルタイムのカメラ画像及び登録地点のカメラ画像からそれぞれ特徴情報(特徴点の情報)を抽出して、各々の特徴情報を比較することで、カメラ画像の照合が行われる。なお、この画像照合処理は、AI(人工知能)を用いて行われるようにしてもよい。
 位置情報取得処理では、プロセッサ18が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。
 なお、車載端末2も、プロセッサおよびメモリ(図示せず)を搭載し、メモリに記憶されたプログラムを実行することで、メッセージ制御処理、衝突判定処理、および注意喚起制御処理などを行うことができる。
 路側機3は、ITS通信部31と、無線通信部32と、メモリ33と、プロセッサ34と、を備えている。
 ITS通信部31は、ITS通信(路歩間通信、路車間通信)により、メッセージをブロードキャストで歩行者端末1や車載端末2に送信し、また、歩行者端末1や車載端末2から送信されるメッセージを受信する。
 無線通信部32は、例えばWiFi(登録商標)などの無線通信により、メッセージを歩行者端末1に送信し、また、歩行者端末1から送信されるメッセージを受信する。
 メモリ33は、プロセッサ34で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ33が、画像位置DB(図5参照)の登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。
 プロセッサ34は、メモリ33に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ34が、メッセージ制御処理と、画像位置DB管理処理と、を行う。
 メッセージ制御処理では、プロセッサ34が、歩行者端末1及び車載端末2との間でのITS通信のメッセージの送受信を制御する。また、プロセッサ34が、歩行者端末1との間での無線通信のメッセージの送受信を制御する。
 画像位置DB管理処理では、プロセッサ34が、画像位置DB(図5参照)を管理する。この画像位置DBには、登録地点ごとのカメラ画像及び位置情報が登録される。本実施形態では、歩行者端末1からの要求に応じて、画像位置DBの登録情報が歩行者端末1に配信される。
 なお、画像位置DBの登録情報は、特に限定されないが、第2実施形態に記載されたDB情報収集方法で収集されるようにするとよい。
 次に、第1実施形態に係る歩行者端末1、車載端末2、及び路側機3の動作手順について説明する。図7,図8は、歩行者端末1の動作手順を示すフロー図である。図9は、車載端末2の動作手順を示すフロー図である。図10は、路側機3の動作手順を示すフロー図である。
 図7(A)に示すように、歩行者端末1では、まず、衛星測位部14が、歩行者の位置情報を取得する(ST101)。次に、プロセッサ18が、歩行者の位置情報に基づいて、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する(ST102)。
 ここで、歩行者情報を送信する状況であれば(ST102でYes)、プロセッサ18の送信指示に応じて、ITS通信部15が、歩行者情報(歩行者ID及び位置情報など)を含むITS通信のメッセージを、車載端末2及び路側機3に送信する(ST103)。
 図9に示すように、車載端末2では、歩行者端末1からのITS通信(歩車間通信)のメッセージを受信すると(ST201でYes)、メッセージに含まれる車両の位置情報などに基づいて、自車両が歩行者に衝突する危険性があるか否かの衝突判定を行う(ST202)。
 ここで、自車両が歩行者に衝突する危険性がある場合には(ST202でYes)、車載端末2は、運転者に対する所定の注意喚起動作を行う(ST203)。具体的には、車載端末2は、注意喚起動作として、カーナビゲーション装置に注意喚起動作(例えば音声出力や画面表示など)を行わせる。なお、自車両が自動運転車両である場合には、車載端末2は、自動運転ECU(走行制御装置)に対して、所定の衝突回避動作を行うように指示する。
 図10(A)に示すように、路側機3では、ITS通信部31が、歩行者端末1からのITS通信(歩車間通信)のメッセージを受信すると(ST301でYes)、プロセッサ34が、受信したメッセージに含まれる歩行者端末1の端末IDと位置情報とを取得する(ST302)。次に、プロセッサ34が、歩行者の位置情報に基づいて、歩行者端末1が、画像位置DBの登録情報の対象エリアの周辺(対象エリアの内部または近傍)に位置するか否かを判定する(ST303)。
 ここで、歩行者端末1が対象エリアの周辺に位置する場合には(ST303でYes)、プロセッサ34の送信指示に応じて、ITS通信部31が、歩行者端末1が自装置の画像位置DBの登録情報を利用できる旨のDB利用情報を含むITS通信のメッセージを歩行者端末1に送信する(ST304)。
 図7(B)に示すように、歩行者端末1では、ITS通信部15が、路側機3から、DB利用情報を含むITS通信のメッセージを受信すると(ST111でYes)、プロセッサ18の送信指示に応じて、無線通信部16が、DB登録情報(画像位置DBの登録情報)を要求する無線通信のメッセージを路側機3に送信する(ST112)。
 図10(B)に示すように、路側機3では、無線通信部32が、歩行者端末1から、DB登録情報を要求する無線通信のメッセージを受信すると(ST311でYes)、プロセッサ34の送信指示に応じて、無線通信部32が、DB登録情報(画像位置DBの登録情報)を含む無線通信のメッセージを歩行者端末1に送信する(ST312)。
 このとき、路側機3の画像位置DBの全ての登録情報が歩行者端末1に送信されるようにしてもよいが、歩行者端末1が利用する可能性が高い一部の登録情報のみが歩行者端末1に送信されるようにしてもよい。具体的には、歩行者端末1の周辺の所定範囲内、特に歩行者の進行方向に位置する所定範囲内の登録情報が歩行者端末1に送信されるようにしてもよい。
 図7(C)に示すように、歩行者端末1では、無線通信部16が、路側機3から、DB登録情報を含む無線通信のメッセージを受信すると(ST121でYes)、プロセッサ18が、受信したメッセージに含まれるDB登録情報(画像位置DBの登録情報)を、自装置の画像位置DBに登録する(ST122)。
 次に、図8に示すように、歩行者端末1では、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得する(ST131)。また、プロセッサ18が、カメラ11による歩行者の足元を撮影したリアルタイムのカメラ画像を取得する(ST132)。また、プロセッサ18が、加速度センサ12の検出結果に基づいて、歩行者の移動速度を測定する(ST133)。また、プロセッサ18が、ジャイロセンサ13の検出結果に基づいて、歩行者の進行方向を測定する(ST134)。
 次に、プロセッサ18が、照合地点予測処理として、歩行者の現在地の位置情報、移動速度及び進行方向に基づいて、次に歩行者が到達する登録地点を予測する(ST135)。
 次に、プロセッサ18が、カメラ画像抽出処理として、予測した登録地点に基づいて、自装置の画像位置DBから、照合対象となるカメラ画像を抽出する(ST136)。
 次に、プロセッサ18が、画像照合処理として、自装置の画像位置DBから抽出したカメラ画像と、カメラ11から出力されるリアルタイムのカメラ画像とを照合する(ST137)。
 この画像照合処理で照合が成功する、すなわち、自装置の画像位置DBから抽出したカメラ画像と、リアルタイムのカメラ画像とが一致する場合には(ST138でYes)、プロセッサ18が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する(ST139)。
 なお、本実施形態では、路側機3が、登録地点のカメラ画像を歩行者端末1に提供して、歩行者端末1において画像照合処理が行われるものとしたが、路側機3が、登録地点のカメラ画像から抽出された特徴情報(特徴点の情報)を歩行者端末1に提供するものとしてもよい。この場合、歩行者端末1では、画像照合処理において、路側機3から取得した登録地点の特徴情報と、リアルタイムのカメラ画像から抽出された特徴情報との照合が行われる。また、登録地点のカメラ画像から特徴のある部分の画像を切り出して、その特徴のある部分の画像を用いて画像照合処理が行われるものとしてもよい。このようにすると、路側機3から歩行者端末1に配信する画像位置DBの登録情報の容量を削減して、路側機3と歩行者端末1との間の無線通信の負荷を軽減することができる。
 また、路側機3と歩行者端末1の通信手段を全てセルラー通信として、路側機3の機能をクラウド上の配置し、より広い範囲の画像位置DB管理をするようにしてもよい。
(第1実施形態の第1変形例)
 次に、第1実施形態の第1変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図11は、第1実施形態の第1変形例に係る画像位置DBの登録内容を示す説明図である。
 歩行者の足下の路面の状態は、環境の変化に応じて異なる。例えば、降雨の場合には、路面は濡れた状態になり、降雪の場合には、路面は積雪した状態になり、晴天や曇天の場合とは大きく異なる。また、夜間の場合には、路面は暗い状態になり、昼間の場合とは大きく異なる。
 そこで、本実施形態では、歩行者の足下の路面が撮影されたカメラ画像が天気(例えば晴天、降雨、降雪など)ごとに収集されて、その天気ごとのカメラ画像が画像位置DBに登録される(図11(A)参照)。歩行者端末1では、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像とが照合される際に、1つの登録地点に関して天気ごとのカメラ画像とリアルタイムのカメラ画像とが照合される。
 また、本実施形態では、カメラ画像が時間帯(例えば昼間、夜間)ごとに収集されて、その時間帯ごとのカメラ画像が画像位置DBに登録される(図11(B)参照)。歩行者端末1では、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像とが照合される際に、1つの登録地点に関して時間帯ごとのカメラ画像とリアルタイムのカメラ画像とが照合される。
 このように本変形例では、異なる環境(天気や時間帯)ごとのカメラ画像とリアルタイムのカメラ画像とが照合されるため、環境の変化に応じた路面の状態の相違が画像照合に与える影響を抑えることができる。
 なお、本変形例では、時間帯ごとのカメラ画像が画像位置DBに登録されるものとしたが、時間帯に応じた路面の明るさの相違が画像照合に与える影響を抑えるため、歩行者の足下の路面を照明するライトが歩行者端末1に設けられるようにしてもよい。
(第1実施形態の第2変形例)
 次に、第1実施形態の第2変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図12は、第1実施形態の第2変形例に係る歩行者端末1及び路側機3の概略構成を示すブロック図である。
 第1実施形態では、歩行者端末1において画像照合測位が行われるものとした。
 一方、本変形例では、路側機3において画像照合測位が行われる。
 具体的には、歩行者端末1では、衛星測位部14による歩行者の現在地の位置情報と、カメラ11によるリアルタイムのカメラ画像と、歩行者の移動速度及び進行方向の情報とが無線通信により路側機3に送信される。
 路側機3では、まず、プロセッサ34が、照合地点予測処理として、歩行者の現在地の位置情報、移動速度及び移動方向に基づいて、次に歩行者が到達する登録地点を予測する。
 次に、プロセッサ34が、カメラ画像抽出処理として、予測した登録地点に基づいて、自装置の画像位置DBから、照合対象となるカメラ画像を抽出する。
 次に、プロセッサ34が、画像照合処理として、歩行者端末1から取得したリアルタイムのカメラ画像と、自装置の画像位置DBから抽出したカメラ画像とを照合する。
 この画像照合処理で照合が成功する、すなわち、自装置の画像位置DBから抽出したカメラ画像と、リアルタイムのカメラ画像とが一致すると、プロセッサ34が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。
 次に、プロセッサ34の送信指示に応じて、無線通信部32が、歩行者の現在地の位置情報を歩行者端末1に送信する。
 このように本変形例では、路側機3において画像照合測位が行われるため、歩行者端末1のプロセッサ18の負荷が軽減される。また、歩行者端末1の電力消費が抑制される。
 なお、常時、路側機3において画像照合測位が行われるものとしてもよいが、通常の状態では、歩行者端末1において画像照合測位が行われ、特定の状態、例えば、歩行者端末1のバッテリーの残容量が少ない場合にのみ、路側機3において画像照合測位が行われるものとしてもよい。
 また、歩行者端末1を所持する歩行者が特定の属性に該当する場合にのみ、路側機3において画像照合測位が行われるものとしてもよい。例えば、高齢者の場合、歩行者端末1の電力消費を抑制して、歩行者端末1の充電にあまり手間がかからない構成とすることが望まれる。そこで、歩行者端末1を所持する歩行者が高齢者である場合に、路側機3において画像照合測位が行われるものとしてもよい。
(第2実施形態)
 次に、第2実施形態に係るDB情報収集システムについて説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図13は、DB情報収集端末5を用いたDB情報収集の状況を示す説明図である。
 本実施形態では、DB情報収集端末5(情報収集装置)を用いて、路側機3に構築される画像位置DBの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とが収集される。
 DB情報収集端末5は、第1実施形態(図2参照)の歩行者端末1と同様に、カメラ51を備える。このカメラ51が、歩行者の足下の路面を動画で撮影し、各時刻のカメラ画像(フレーム)を出力する。DB情報収集端末5では、この各時刻のカメラ画像から、所定の登録地点の路面が撮影されたカメラ画像が、画像位置DBに登録するカメラ画像として抽出される。
 具体的には、図13に示すように、作業者(歩行者)が、DB情報収集端末5を所持して、路側機3の周辺の対象区間(歩道や横断歩道や路側帯)を歩行し、その間に、DB情報収集端末5が、画像位置DBの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とを順次収集する。このDB情報収集端末5で収集された登録地点ごとのカメラ画像及び位置情報は、路側機3に構築される画像位置DBに登録される。
 また、本実施形態では、画像位置DBにカメラ画像及び位置情報が登録される登録地点が、対象区間の路面上に所定間隔(例えば25cm間隔)で設定される(図4参照)。具体的には、前の登録地点を基準にして、その登録地点から所定間隔だけ離れた地点が次の登録地点に設定される。このとき、画像視差測量により、路面上の2点間の距離を測定することで、前の登録地点を基準にした次の登録地点の位置が決定される。
 この画像視差測量では、カメラ11から順次出力される各時刻のカメラ画像(フレーム)に関して、カメラ11の撮影位置が変化することで発生する視差を検出して、その視差に基づいて、カメラ11を基準にした足元の路面(平面)の3次元情報が得られ、その3次元情報に基づいて、カメラ11から足元の路面までの距離が測定されて、3点測量の原理に基づいて、作業者の足元の路面上の2点間の距離が算出される。
 また、DB情報収集端末5では、前の登録地点の位置情報と、登録地点の間隔と、作業者の進行方向とに基づいて、次の登録地点の位置情報が求められる。
 ここで、登録地点の間隔は、画像照合測位の測定精度に影響を及ぼし、登録地点の間隔を小さくすることで、画像照合測位の測定精度を高めることができる。例えば、登録地点の間隔を、標準的な歩幅である50cmの半分の25cmとすると、画像照合測位の測定精度は25cmとなる。
 また、本実施形態では、画像位置DBにカメラ画像及び位置情報が登録される登録地点が、路側機3の設置地点を基準にして設定される。このため、作業者は、DB情報収集端末5を所持して、路側機3の近傍から歩行を開始すればよい。この場合、路側機3に近い登録地点から順にカメラ画像及び位置情報が収集される。例えば、路側機3が交差点の角に設置されている場合、作業者は、交差点内の横断歩道や、交差点に接続された道路(歩道、路側帯)を通行するように、路側機3から離れる向きに歩行すればよい。
 次に、第2実施形態に係るDB情報収集端末5の概略構成について説明する。図14は、DB情報収集端末5の概略構成を示すブロック図である。
 DB情報収集端末5は、カメラ51と、表示部52と、入力部53と、メモリ54と、プロセッサ55と、を備えている。
 カメラ51は、作業者の足元の路面を撮影する。
 表示部52は、各種の操作画面を表示する。入力部53は、作業者による入力操作を検出する。
 メモリ54は、プロセッサ55で実行されるプログラムなどを記憶する。
 プロセッサ55は、メモリ54に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ55が、画像視差測量処理と、DB情報収集処理とを行う。
 画像視差測量処理では、プロセッサ55が、カメラ51から順次出力される各時刻のカメラ画像(フレーム)に関して、カメラ51の撮影位置が変化することで発生する視差を検出して、その視差に基づいて、カメラ51を基準にした足元の路面(平面)の3次元情報を取得し、その3次元情報に基づいて、カメラ51から足元の路面までの距離を測定して、3点測量により、作業者の足元の路面上の2点間の距離を算出する。
 DB情報収集処理では、プロセッサ55が、カメラ51から順次出力される各時刻のカメラ画像(フレーム)から、登録地点のカメラ画像を抽出し、最初の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリに保存する。このとき、登録地点の位置情報(緯度経度)は、路側機3の設置地点の位置情報(緯度経度)を基準として、画像視差測量で取得した2点間の距離から算出される。
 なお、図13に示した例では、DB情報収集端末5が、眼鏡型のウェアラブルデバイス(スマートグラス)であるが、このDB情報収集端末5は、スマートフォンでもよい。この場合、DB情報収集用のアプリケーションがスマートフォンにインストールされる。また、作業者の足下の路面を撮影するカメラ51が、作業者の身体(例えば頭部)に装着される。カメラ51は、無線通信または有線通信でスマートフォンと接続され、作業者の足下の路面が撮影されたカメラ画像が、スマートフォンに送信される。
 また、本実施形態では、路側機3の設置地点の位置情報(緯度経度)を、作業者が入力部53を用いて入力するものとしたが、路側機3との間の通信、例えばITS通信や無線通信などにより、路側機3の設置地点の位置情報を路側機3から取得するものとしてもよい。
 次に、第2実施形態に係るDB情報収集端末5の動作手順について説明する。図15は、DB情報収集端末5の動作手順を示すフロー図である。
 DB情報収集端末5では、まず、プロセッサ55が、入力部53を用いた作業者の入力操作に応じて、路側機3の設置地点の位置情報(緯度経度)を取得する(ST501)。
 次に、プロセッサ55が、画像視差測量を行い、路側機3の設置地点の位置情報(緯度経度)を基準として、最初の登録地点の位置情報(緯度経度)を取得する(ST502)。次に、プロセッサ55が、カメラ51から順次出力される各時刻のカメラ画像(フレーム)から、最初の登録地点のカメラ画像を抽出する(ST503)。そして、プロセッサ55が、最初の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリ54に保存する(ST504)。
 次に、プロセッサ55が、DB情報の収集を継続するか否かを判定する(ST505)。
 ここで、DB情報の収集を継続する場合には(ST505でYes)、プロセッサ55が、画像視差測量を行い、前回の登録地点の位置情報(緯度経度)を基準として、今回の登録地点の位置情報(緯度経度)を取得する(ST506)。
 次に、プロセッサ55が、カメラ51から順次出力される各時刻のカメラ画像(フレーム)から、今回の登録地点のカメラ画像を抽出する(ST507)。そして、プロセッサ55が、今回の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリ54に保存する(ST508)。
 次に、ST505に戻り、プロセッサ55が、DB情報の収集を継続するか否かを判定する。ここで、DB情報の収集を継続する場合には(ST505でYes)、前記と同様の動作が繰り返される。一方、DB情報の収集を継続しない場合には(ST505でNo)、処理を終了する。
 このように本実施形態では、DB情報収集端末5が、画像位置DBの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とを、登録地点ごとに収集することができる。収集された登録地点ごとのカメラ画像及び位置情報は、路側機3の画像位置DBに登録される。
(第2実施形態の変形例)
 次に、第2実施形態の変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図16は、第2実施形態の変形例に係る路側機3の概略構成を示すブロック図である。
 第2実施形態では、DB情報収集端末5のカメラ51が、作業者の足下の路面を撮影することで、登録地点ごとのカメラ画像が収集されるものとした。
 一方、本変形例では、路側機3が、登録地点ごとのカメラ画像を収集するためのカメラ35を備えている。このカメラ35は、歩行者が通行する道路(横断歩道や歩道や路側帯など)の路面を撮影する。
 路側機3では、プロセッサ34が、DB情報収集処理として、カメラ11の撮影画像から、登録地点ごとのカメラ画像を抽出する。また、プロセッサ34が、カメラ11の撮影画像上での登録地点の位置に基づいて、自装置を基準にした登録地点の相対的な位置情報を取得し、その登録地点の相対的な位置情報と、自装置の設置地点の位置情報とに基づいて、登録地点の絶対的な位置情報(緯度経度)を取得する。相対的な位置情報の取得方法としては、例えば、路側機3に設置されたカメラ11の視差を利用した3点測量や、路側機3に設置されたレーダ(図示せず)による距離の測定結果に基づいて測位する方法等が考えられる。
(第3実施形態)
 次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。
 第1実施形態では、歩行者端末1において、常時、画像照合測位が行われるものとした。
 一方、本実施形態では、画像照合測位を必要とする特定事象が検知された場合にのみ、画像照合測位が行われる。本実施形態では、歩行者の移動速度が急に速くなった場合(急加速)や、歩行者の進行方向が急に変化した場合(急な向きの変更)を、画像照合測位を必要とする特定事象として、画像照合測位が行われる。
 ここで、歩行者の急加速は、加速度センサ12の検出結果から求められる歩行者の移動速度の変化(加速度)が所定のしきい値以上となった場合に検知されるものとすればよい。また、歩行者の急な向きの変更は、ジャイロセンサ13の検出結果から求められる歩行者の進行方向の変化(角速度)が所定のしきい値以上となった場合に検知されるものとすればよい。
 また、本実施形態では、画像照合測位を必要とする特定事象が検知されない場合には、衛星測位とPDR測位が行われる。すなわち、次に特定事象が検知されて画像照合測位が行われるまでの間は、定期的に行われる衛星測位とPDR測位により、歩行者の位置情報が取得される。PDR測位では、プロセッサ18が、加速度センサ12及びジャイロセンサ13の検出結果に基づいて、前回の測定位置を基準にした移動距離及び移動方向を算出して、現在の歩行者の位置を推定する。
 ここで、歩行者の移動速度が急に速くなった場合(急加速)や、歩行者の移動方向が急に変化した場合(急な向きの変更)には、PDR測位による位置情報の信頼度が低下する。そこで、本実施形態では、歩行者の移動速度が急に速くなった場合(急加速)や、歩行者の移動方向が急に変化した場合(急な向きの変更)を、画像照合測位を必要とする特定事象として、画像照合測位が行われる。これにより、歩行者の位置情報の精度を確保することができる。
 なお、高齢者や児童などのように、比較的交通事故を起こしやすい人物に対してのみ、画像照合測位が行われてもよい。また、交通事故が多い場所に対してのみ、画像照合測位が行われてもよい。さらに、高齢者や児童が普段通る頻度の高い経路以外の場所に存在する場合に、画像照合測位が行われてもよい。高齢者や児童が持つ歩行者端末1は、画像照合測位の結果得られた画像照合測位情報を保護者が待つ歩行者端末1に通知してもよく、または、得られた画像照合測位情報に基づき高齢者や児童に対して警告を行ってもよい。これにより、高齢者や児童の見守りをさらに強化することができる。
 さらに、高齢者や児童と保護者との距離が所定以上になったと判定された場合に、画像照合測位が行われてもよい。また、保護者が必要と判断した場合に、保護者の歩行者端末1から、高齢者や児童が持つ歩行者端末1に画像照合測位を行うように指示する情報を通知してもよい。これにより、高齢者の徘徊対策や児童の迷子対策をさらに強化することができる。
 別の方法として、高齢者や児童の顔情報をあらかじめ保護者の歩行者端末1に登録しておき、高齢者や児童の顔が保護者の歩行者端末1から認識できなくなった場合に、保護者の歩行者端末1から、高齢者や児童が持つ歩行者端末1に画像照合測位の実行を指示する旨の情報を通知し、高齢者や児童が持つ歩行者端末1は、この指示情報を受信した場合に、画像照合測位を行ってもよい。
 また、PDR測位の継続区間が長くなると、測位誤差が累積されることで、位置情報の信頼度が低下する。そこで、PDR測位の継続区間(PDR測位が連続して実施された区間)の距離が所定のしきい値以上となった場合を、画像照合測位を必要とする特定事象として、画像照合測位が行われるものとしてもよい。
 このように本実施形態では、画像照合測位を必要とする特定事象が検知された場合に、画像照合測位が行われることから、画像照合測位の頻度が減少するため、画像照合に係るプロセッサ18の負荷が軽減される。
 ところで、本実施形態では、歩行者が交差点の周辺エリアに入ると、歩行者端末1が、路側機3から画像位置DBの登録情報を取得して、画像照合測位を行うものとした。一方、トンネル内のように衛星電波の遮蔽により衛星測位が不能となる場合や、高層ビル街のように電波のマルチパスや反射波の影響により衛星測位の精度が低下する場合がある。この場合、PDR測位により歩行者の位置情報を取得することができるが、PDR測位の継続区間が長くなると、位置情報の信頼度が低下する。
 そこで、通常状態では衛星測位により歩行者の位置情報を取得し、トンネル内や高層ビル街のように衛星測位に支障が生じた場合には、衛星測位からPDR測位に変更し、さらに、PDR測位の継続区間が長くなった場合には、PDR測位から画像照合測位に変更するものとしてもよい。また、衛星測位から直接、画像照合測位に変更するものとしてもよい。
 次に、第3実施形態に係る歩行者端末1の動作手順について説明する。図17は、歩行者端末1の動作手順を示すフロー図である。なお、路側機3の動作手順は第1実施形態(図1参照)と同様である。
 歩行者端末1では、第1実施形態(図7(A),(B),(C)参照)と同様の処理が行われる。
 また、図17に示すように、歩行者端末1では、第1実施形態(図8参照)と同様に、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得してから、プロセッサ18が、ジャイロセンサ13の検出結果に基づいて、歩行者の移動方向を測定するまでの処理(ST131~ST134)が行われる。
 次に、本実施形態では、プロセッサ18が、画像照合測位を必要とする特定事象が検知されたか否かを判定する(ST141)。なお、特定事象とは、歩行者の移動速度が急に速くなった場合(急加速)や、歩行者の進行方向が急に変化した場合(急な向きの変更)である。この特定事象は、加速度センサ12の検出結果から求められる歩行者の移動速度や、ジャイロセンサ13の検出結果から求められる歩行者の進行方向に基づいて検知される。
 ここで、画像照合測位を必要とする特定事象が検知されると(ST141でYes)、ST135の照合地点予測処理に進む。この照合地点予測処理以降の動作(ST135~ST139)は、第1実施形態(図8参照)と同様である。
 一方、画像照合測位を必要とする特定事象が検知されない場合には(ST141でNo)、プロセッサ18が、PDR測位により歩行者の位置情報を取得する(ST142)。
(第4実施形態)
 次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図18は、第4実施形態に係る乗客管理システムの全体構成図である。図19は、画像位置DB及び乗客管理DBの登録内容を示す説明図である。
 団体旅行でバスを利用する場合、出発地や途中の休憩地から出発する際に、全ての乗客がバスに搭乗していることを確認する搭乗確認が必要である。このような搭乗確認を、乗客の顔と名前とを覚えている旅行幹事が行う場合にはさほど面倒ではないが、バスの乗務員(運転手やガイド)が搭乗確認を行おうとするとかなり面倒であり、乗務員が搭乗確認を効率よく行えることが望まれる。
 そこで、本実施形態では、乗客が滞在する場所が特定されるように、バスの車内の各座席や通路に登録地点が設定され、この車内の登録地点に関して、登録地点の位置情報の他に、登録地点が車内のどこであるかを表す車内場所情報(搭乗場所情報)が、カメラ画像に対応付けて画像位置DBに登録される(図19(A)参照)。
 一方、乗客が所持する歩行者端末1は、画像照合処理において、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報(緯度経度)を、歩行者の現在地の位置情報として取得する。また、歩行者端末1は、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報に基づいて、乗客が搭乗しているか否かを判定し、さらに、乗客が搭乗している場合に、乗客がどの座席に座っているかを特定する。
 なお、本実施形態では、第1実施形態と同様に、歩行者端末1のカメラ11が、乗客(歩行者)の足下を撮影する。ここで、乗客が座席に座っている場合には、カメラ画像に、乗客が座る座席の座面や肘掛けや、前の座席との間の床面が写る。一方、乗客が車内の通路にいる場合には、カメラ画像に、乗客の足下の床面や座席の一部が写る。このようなカメラ画像に写る物体の位置関係や模様や劣化状態(ひび割れなどの状態)などが、その地点の固有の特徴となることで、画像照合処理により乗客の現在地が特定される。
 また、本実施形態では、乗務員が、乗務員端末101(基地局装置)を所持する。この乗務員端末101では、乗客が搭乗しているか否かを表す搭乗状態情報や、乗客が滞在する場所を表す車内場所情報などを含む通知情報が歩行者端末1から送信される。乗務員端末101では、歩行者端末1から受信した通知情報がそのまま、あるいは必要な統計処理が施された上で表示される。
 また、図19(B)に示すように、乗務員端末101では、乗客管理DBを用いて乗客が管理される。この乗客管理DBには、乗客情報(乗客ID、乗客名)と、搭乗状態情報と、車内場所情報と、位置情報(緯度経度)とが登録されている。
 乗客IDは、歩行者端末1から取得した歩行者端末1の端末IDである。搭乗状態情報は、乗客が搭乗しているか否かを表す情報である。車内場所情報は、乗客が滞在する場所を表す情報である。乗客が座席に座っている場合には、車内場所情報は、乗客が座る座席を識別する座席情報(座席番号)となる。また、乗客が通路にいる場合には、車内場所情報は、乗客がいる通路を識別する通路情報となる。位置情報(緯度経度)は、歩行者端末1から取得した歩行者端末1の位置情報である。この位置情報は、歩行者が搭乗している場合には、歩行者端末1から受信した無線通信のメッセージに含まれ、歩行者が搭乗していない場合には、歩行者端末1から受信したITS通信のメッセージに含まれる。
 このように本実施形態では、歩行者端末1が、自装置を所持した乗客が搭乗しているか否かを認識することができる。そして、乗客が搭乗しているか否かを表す搭乗状態情報などが歩行者端末1から乗務員端末101に提供されることで、乗務員端末101を所持した乗務員が、全ての乗客が搭乗していることを確認する搭乗確認を簡単に行うことができる。
 なお、本実施形態では、バスの乗客を対象にした搭乗確認について説明したが、本実施形態に関する構成は、他の乗り物、例えば列車、航空機、船舶などの乗客を対象にした搭乗確認にも適用することができる。さらに、本実施形態に関する構成は、イベント会場やコンサートホールなどの施設の利用者を対象にした入場確認にも適用することができる。
 また、本実施形態においては、バスの乗客が特定時刻に特定場所以外にいると判定された場合にのみ、画像照合測位が行われるようにしてもよい。例えば、特定時刻は、バス発車時刻の所定時間前からバス発車時刻に設定することができ、特定場所は、バスから所定距離以上離れた場所に設定することができる。
 次に、第4実施形態に係る歩行者端末1及び乗務員端末101の概略構成について説明する。図20は、歩行者端末1及び乗務員端末101の概略構成を示すブロック図である。
 歩行者端末1は、第1実施形態(図6参照)と同様に、カメラ11と、加速度センサ12と、ジャイロセンサ13と、衛星測位部14と、ITS通信部15と、無線通信部16と、メモリ17と、プロセッサ18と、を備えている。
 歩行者端末1のプロセッサ18は、第1実施形態(図6参照)と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ18が、搭乗判定処理を行う。
 搭乗判定処理では、プロセッサ18が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報(座席番号や通路情報)に基づいて、乗客が搭乗しているか否かを判定する。具体的には、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報がある場合には、乗客が搭乗しているものと判定される。一方、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報がない場合には、乗客が搭乗していないものと判定される。この搭乗判定処理により、乗客が搭乗しているか否かを表す搭乗状態情報が生成される。
 乗務員端末101(基地局装置)は、第1実施形態(図6参照)の路側機3と同様に、ITS通信部31と、無線通信部32と、メモリ33と、プロセッサ34と、を備えている。また、本実施形態では、乗務員端末101が、ディスプレイ36を備えている。
 メモリ33は、画像位置DB(図19(A)参照)の登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点に関する車内場所情報とが、画像位置DBに登録される。
 また、メモリ33は、乗客管理DB(図19(B)参照)の登録情報を記憶する。この乗客管理DBには、乗客情報(乗客ID、乗客名)と、乗客が搭乗しているか否かを表す搭乗状態情報と、車内で乗客が滞在する場所(座席、通路など)に関する車内場所情報と、位置情報(緯度経度)とが登録されている。
 ディスプレイ36は、プロセッサ34で生成した分析結果情報を表示する。
 プロセッサ34は、第1実施形態(図6参照)の路側機3と同様に、メッセージ制御処理と、画像位置DB管理処理と、を行う。また、本実施形態では、プロセッサ34が、乗客管理DB管理処理と、分析処理と、分析結果表示処理と、を行う。
 乗客管理DB管理処理では、プロセッサ34が、乗客管理DB(図19(B)参照)を管理する。
 分析処理では、プロセッサ34が、乗客管理DBの登録情報を用いて統計処理などを行う。具体的には、プロセッサ34が、分析結果情報として、乗客の搭乗状況を一目で確認できる一覧表などを生成する。
 分析結果表示処理では、プロセッサ34が、分析結果情報を表示するようにディスプレイ36を制御する。これにより、運転手やガイドなどの乗務員が、乗客の搭乗状況を確認することができる。
 なお、本実施形態では、乗務員端末101が、第1実施形態の路側機3と同様の基地局装置としての機能を有しており、乗客管理DBを管理して、その登録情報を歩行者端末1に配信するものとしたが、バスに搭載された車載端末が、基地局装置としての機能を有するものとしてもよい。
 また、本実施形態では、乗務員端末101において、乗客管理DBの登録情報を用いた分析処理が行われるものとしたが、乗客管理DBの登録情報が乗務員端末101から管理サーバにアップロードされて、管理サーバにおいて分析処理が行われるものとしてもよい。
 次に、第4実施形態に係る歩行者端末1及び乗務員端末101の動作手順について説明する。図21は、歩行者端末1の動作手順を示すフロー図である。図22は、乗務員端末101の動作手順を示すフロー図である。
 歩行者端末1では、第1実施形態(図7(A),(B),(C)参照)と同様の処理が行われる。
 一方、乗務員端末101では、第1実施形態(図10(A),(B)参照)の路側機3と同様の処理が行われる。
 また、図21に示すように、歩行者端末1では、第1実施形態(図8参照)と同様に、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得してから、プロセッサ18が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理(ST131~ST139)が行われる。
 次に、本実施形態では、プロセッサ18が、搭乗判定処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報(座席番号や通路情報)に基づいて、乗客が搭乗しているか否かを判定して、乗客が搭乗しているか否かを表す搭乗状態情報を生成する(ST151)。
 次に、プロセッサ18の送信指示に応じて、無線通信部16が、通知情報を含む無線通信のメッセージを乗務員端末101に送信する(ST152)。この無線通信のメッセージには、通知情報として、乗客情報(乗客ID、乗客名)と、乗客が搭乗しているか否かを表す搭乗状態情報と、乗客が滞在する場所(座席、通路など)に関する車内場所情報(座席番号や通路情報)と、位置情報(緯度経度)とが含まれる。
 一方、図22に示すように、乗務員端末101では、無線通信部32が、歩行者端末1から、通知情報を含む無線通信のメッセージを受信すると(ST321でYes)、プロセッサ34が、受信したメッセージに含まれる通知情報、具体的には、乗客情報(乗客ID、乗客名)と、搭乗状態情報と、車内場所情報と、位置情報(緯度経度)とを、乗客管理DBに登録する(ST322)。
 次に、プロセッサ34が、乗客管理DBの登録情報に対して、必要に応じた分析処理(統計処理)を行って、店員などのスタッフに提供する分析結果情報を生成する(ST323)。
 次に、プロセッサ34が、乗客の搭乗状況を表す分析結果情報を表示するようにディスプレイ36を制御する(ST324)。これにより、運転手やガイドなどの乗務員が、乗客の搭乗状況を確認することができる。
(第5実施形態)
 次に、第5実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図23は、第5実施形態に係る顧客管理システムの全体構成図である。図24は、画像位置DB及び顧客管理DBの登録内容を示す説明図である。
 ショッピングモールなどの商業施設では、商品を陳列する陳列ケースなどの前に顧客が滞在している時間を測定すると、その滞在時間の長さは、顧客の商品に対する関心の高さを表している。また、陳列ケースなどの前に滞在している顧客の人数を測定すると、その顧客の人数は、商品に対して関心を示す顧客の人数を表している。
 このため、このような顧客の滞在状況(滞在時間、滞在人数など)に関する情報は、マーケティングなどの施設運営業務に活用することができる。また、顧客が所持する歩行者端末1から取得した端末IDにより顧客を識別できるため、顧客の滞在状況に関する情報に基づいて、顧客が関心を示す商品に関する個別な案内などを顧客に対して行うことができる。
 そこで、本実施形態では、商品を陳列する陳列ケースなどが設置された商品陳列エリアに隣接して、陳列された商品を見る顧客が滞在する商品前エリアが、商品陳列エリアごとに設定され、その商品前エリアに位置する登録地点に関しては、登録地点の位置情報の他に、商品前エリアに対応する商品に関する商品情報(識別情報)が、カメラ画像に対応付けて画像位置DBに登録される(図24(A)参照)。
 一方、顧客が所持する歩行者端末1は、画像照合処理において、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。また、歩行者端末1は、照合が成功した登録地点のカメラ画像に対応付けられた商品情報に基づいて、歩行者が商品前エリアにいるか否か、さらに、歩行者がどの商品前エリアにいるかを判定する。
 また、本実施形態では、歩行者端末1が、商品前エリアの顧客の滞在状況に関する情報として、滞在時間、すなわち、顧客が商品前エリアに滞在していた時間を測定する。なお、商品前エリアの顧客の滞在状況に関する情報として、滞在人数を測定するようにしてもよい。
 なお、本実施形態では、第1実施形態と同様に、歩行者端末1のカメラ11が、顧客(歩行者)の足下を撮影する。このカメラ画像には、顧客の足下の床面が写り、床材の模様や劣化状態(ひび割れなどの状態)が、その地点の固有の特徴となることで、画像照合処理により顧客の現在地が特定される。また、カメラ画像には、床面の他に、商品陳列エリアの設置物(陳列棚、陳列ケース、陳列台など)の側面や、建物の壁面が写り、これらの模様や劣化状態も、その地点の固有の特徴となる。
 また、本実施形態では、店舗端末111(基地局装置)が、店舗に設置される。この店舗端末111は、第1実施形態(図6参照)の路側機3と同様の構成を有している。この店舗端末111では、画像位置DBが構築され、画像位置DBの登録情報が、店舗内に存在する歩行者端末1に配信される。なお、画像位置DBが、店舗などに設置された管理サーバに構築されて、その画像位置DBの登録情報が、店舗端末111を介して歩行者端末1に配信されるようにしてもよい。
 また、本実施形態では、図24(B)に示すように、店舗端末111において、顧客管理DBを用いて顧客が管理される。この顧客管理DBには、顧客IDと、顧客の属性情報(年齢、性別)と、商品情報(商品番号、商品名)と、滞在時間とが登録されている。
 顧客IDは、顧客が所持する歩行者端末1の端末IDであり、歩行者端末1から取得する。顧客の属性情報は、顧客(歩行者)の属性に関する情報であり、歩行者端末1から取得する。商品情報は、顧客が滞在した商品前エリアに対応する商品、すなわち、顧客が関心を示した商品を識別する情報である。滞在時間は、顧客が商品前エリアに滞在した時間である。
 このように本実施形態では、商品前エリアにおける顧客の滞在状況に関する情報(滞在時間など)を取得することができる。この顧客の滞在状況に関する情報は、店舗のマーケティングなどに活用することができる。
 なお、本実施形態では、ショッピングモールなどの商業施設において、商品前エリアごとの顧客の滞在状況(滞在時間、滞在人数など)を測定して、顧客の滞在状況に関する情報を、施設運営業務に活用するものとしたが、テーマパークなどの娯楽施設において、アトラクションエリアやショーエリアなどのエリアごとの入場者の滞在状況(滞在時間、滞在人数など)を測定して、入場者の滞在状況に関する情報を、施設運営業務に活用するものとしてもよい。
 また、本実施形態では、顧客管理DBの登録情報を用いた分析処理が行われるが、テーマパークなどの娯楽施設においても、同様の分析、例えば入場者の関心が高いエリア(アトラクションエリアなど)に関する分析が可能である。
 また、歩行者端末1が、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を画面表示することで、顧客の商品に関する理解を促進するのに役立てるサービスも考えられる。この場合、歩行者端末1が、商品の詳細情報を店舗端末111から取得して、その詳細情報を画面表示してもよい。
 また、本実施形態に係る顧客管理システムは、その利用目的を変更して利用者監視システムとして構成することもできる。例えば、ショッピングモールなどの商業施設やテーマパークなどの娯楽施設などにおける迷子対策として活用することができる。具体的には、予め各自の歩行者端末1に家族であることを登録しておき、施設に入場した後、親と子供との距離が所定値より大きくなった場合に、子供の歩行者端末1において画像照合測位が実行されて、子供の現在地を詳細に把握できるようにしてもよい。この場合、親と子供との距離に応じて、画像照合測位の頻度を変更するようにしてもよい。
 次に、第5実施形態に係る歩行者端末1及び店舗端末111の概略構成について説明する。図25は、歩行者端末1及び店舗端末111の概略構成を示すブロック図である。
 歩行者端末1は、第1実施形態(図6参照)と同様に、カメラ11と、加速度センサ12と、ジャイロセンサ13と、衛星測位部14と、ITS通信部15と、無線通信部16と、メモリ17と、プロセッサ18と、を備えている。
 メモリ17は、プロセッサ18で実行されるプログラムの他に、自装置の端末ID、及び自装置を所持する顧客の属性情報(年齢、性別など)などを記憶する。
 プロセッサ18は、第1実施形態(図6参照)と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ18が、商品情報取得処理と、滞在時間測定処理とを行う。
 商品情報取得処理では、プロセッサ18が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報(商品番号や商品名など)に基づいて、顧客が商品前エリアにいるか否かを判定し、顧客が商品前エリアにいる場合には、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を、顧客が滞在した商品前エリアに対応する商品に関する商品情報として取得する。
 滞在時間測定処理では、プロセッサ18が、商品情報が対応付けられたカメラ画像で照合が成功した時刻に基づいて、商品前エリアに顧客が進入したエリア進入時刻と、その商品前エリアから顧客が退出したエリア退出時刻とを取得して、そのエリア進入時刻とエリア退出時刻とに基づいて、滞在時間、すなわち、顧客が商品前エリアに滞在していた時間を測定する。
 なお、本実施形態では、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報に基づいて、顧客がどの商品前エリアにいるかを判定するようにしたが、位置情報取得処理で取得した顧客の現在地の位置情報と、商品前エリアの範囲を表すエリアマップ情報とに基づいて、顧客がどの商品前エリアにいるかを判定するようにしてもよい。
 店舗端末111(基地局装置)は、第1実施形態(図6参照)の路側機3と同様に、ITS通信部31と、無線通信部32と、メモリ33と、プロセッサ34と、を備えている。
 メモリ33は、画像位置DB(図24(A)参照)の登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点に関する商品情報とが、画像位置DBに登録される。なお、登録地点が商品前エリアに位置する場合に、その商品前エリアに対応する商品に関する商品情報が、画像位置DBに登録される。
 また、メモリ33は、顧客管理DB(図24(B)参照)の登録情報を記憶する。この顧客管理DBには、顧客IDと、顧客の属性情報(年齢、性別)と、顧客が滞在した商品前エリアに対応する商品に関する商品情報(商品番号、商品名)と、顧客が商品前エリアに滞在していた滞在時間とが登録されている。
 プロセッサ34は、第1実施形態(図6参照)の路側機3と同様に、メッセージ制御処理と、画像位置DB管理処理と、を行う。また、本実施形態では、プロセッサ34が、顧客管理DB管理処理と、分析処理と、分析結果配信処理と、を行う。
 顧客管理DB管理処理では、プロセッサ34が、顧客管理DB(図24(B)参照)を管理する。
 分析処理では、プロセッサ34が、顧客管理DBの登録情報を用いて統計処理などを行う。
 分析結果配信処理では、プロセッサ34が、分析処理で取得した分析結果情報を、店舗管理者や店員などのスタッフが所持するユーザ端末112に配信するように無線通信部32を制御する。なお、ユーザ端末112への情報配信は、無線通信に限定されない。
 次に、第5実施形態に係る歩行者端末1及び店舗端末111の動作手順について説明する。図26は、歩行者端末1の動作手順を示すフロー図である。図27は、店舗端末111の動作手順を示すフロー図である。
 歩行者端末1では、第1実施形態(図7(A),(B),(C)参照)と同様の処理が行われる。
 一方、店舗端末111では、第1実施形態(図10(A),(B)参照)の路側機3と同様の処理が行われる。
 また、図26に示すように、歩行者端末1では、第1実施形態(図8参照)と同様に、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得してから、プロセッサ18が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理(ST131~ST139)が行われる。
 次に、本実施形態では、プロセッサ18が、商品情報取得処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報(商品番号や商品名など)に基づいて、顧客が商品前エリアにいるか否かを判定し、顧客が商品前エリアにいる場合には、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を、顧客が滞在した商品前エリアに対応する商品に関する商品情報として取得する(ST161)。
 また、プロセッサ18が、滞在時間測定処理として、画像照合処理において、商品情報が対応付けられたカメラ画像で照合が成功した時刻に基づいて、商品前エリアに顧客が進入したエリア進入時刻と、その商品前エリアから顧客が退出したエリア退出時刻とを取得して、そのエリア進入時刻とエリア退出時刻とに基づいて、滞在時間を測定する(ST162)。
 次に、プロセッサ18の送信指示に応じて、無線通信部16が、通知情報を含む無線通信のメッセージを店舗端末111に送信する(ST163)。この無線通信のメッセージには、通知情報として、自装置の端末IDと、自装置を所持する顧客の属性情報と、顧客が滞在した商品前エリアに関する商品情報(商品番号や商品名など)と、滞在時間とを含む。
 図27に示すように、店舗端末111では、無線通信部32が、歩行者端末1から、通知情報を含む無線通信のメッセージを受信すると(ST331でYes)、プロセッサ34が、受信したメッセージに含まれる通知情報、具体的には、歩行者端末1の端末IDと、歩行者端末1を所持する顧客の属性情報と、顧客が滞在した商品前エリアに関する商品情報(商品番号や商品名など)と、滞在時間とを、顧客管理DB(図24(B)参照)に登録する(ST332)。
 次に、プロセッサ34が、顧客管理DBの登録情報に対して、必要に応じた分析処理(統計処理)を実行して、店員などのスタッフに提供する分析結果情報(一覧表など)を生成する(ST333)。
 次に、プロセッサ34の送信指示に応じて、無線通信部32が、分析結果情報を含む無線通信のメッセージを、スタッフが所持するユーザ端末112に送信する(ST334)。これにより、スタッフが所持するユーザ端末112に、分析結果情報が表示される。
 なお、本実施形態では、歩行者端末1において滞在時間測定処理が行われるものとしたが、店舗端末111において滞在時間測定処理が行われるものとしてもよい。この場合、画像照合処理で照合が成功した登録地点のカメラ画像の撮影時刻(照合成功時刻)が歩行者端末1から店舗端末111に送信されるものとすればよい。
 また、本実施形態では、店舗端末111において、顧客管理DBの登録情報を用いた分析処理が行われるものとしたが、顧客管理DBの登録情報が店舗端末111から管理サーバにアップロードされて、管理サーバにおいて分析処理が行われるものとしてもよい。
(第6実施形態)
 次に、第6実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図28は、第6実施形態に係る天気情報配信システムの全体構成図である。
 歩行者が通行する道路の路面状態は、天気に応じて異なる。例えば、晴天の場合には路面は乾いた状態であるが、降雨の場合には路面は濡れた状態になり、降雪の場合には路面は積雪した状態になり、豪雨の場合には路面は浸水した状態になる。このため、歩行者端末1は、歩行者の足下の路面を撮影したカメラ画像に基づいて、歩行者の現在地の天気を推定することができる。
 そこで、本実施形態では、登録地点ごとのカメラ画像が、天気(晴天、降雨、降雪など)別に収集されて、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、カメラ画像の撮影時の天気に関する天気情報とが、路側機3の画像位置DBに登録される。なお、この画像位置DBの登録内容は、第1実施形態の第1変形例(図11(A)参照)と同様である。
 一方、歩行者端末1は、画像照合処理において、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。また、歩行者端末1は、照合が成功した登録地点のカメラ画像に対応付けられた天気情報を、歩行者の現在地の天気情報として取得する。そして、歩行者端末1は、歩行者の現在地の位置情報及び天気情報を天気情報配信サーバ121(天気情報収集装置)にアップロードする。
 天気情報配信サーバ121は、クラウドコンピュータとして構成される。この天気情報配信サーバ121は、セルラー通信網を介して歩行者端末1と通信を行うことができ、歩行者の現在地の位置情報及び天気情報を、歩行者端末1から収集する。また、天気情報配信サーバ121は、歩行者端末1から収集した歩行者の現在地の位置情報及び天気情報を統計処理して、ローカル天気情報を生成する。また、天気情報配信サーバ121は、インターネットを介してユーザ端末122と通信を行うことができ、ローカル天気情報をユーザ端末122に配信する。
 ここで、ローカル天気情報とは、地域ごとの天気に関する情報である。統計処理では、歩行者の現在地を測定地点として、各歩行者の現在地の位置情報及び天気情報から、測定地点ごとの天気情報を取得する。この測定地点ごとの天気情報が地図上にマッピングされると、ローカル天気情報が生成される。例えば、対象エリアをメッシュ状に分割した各区画に、測定地点ごとの天気情報を振り分けることで、区画ごとの天気情報がローカル天気情報として生成される。
 このように本実施形態では、天気情報配信サーバ121が、歩行者の現在地の位置情報及び天気情報を、歩行者端末1から収集するため、詳細なローカル天気情報を生成することができる。例えば、画像位置DBの登録地点の間隔を25cmとした場合、ローカル天気情報の区画の大きさ(縦横寸法)を1m以下に設定することもできる。
 なお、全ての登録地点に関して、登録地点ごとのカメラ画像が天気別に収集されて画像位置DBに登録されるようにしてもよいが、天気情報には位置情報のような高い精度は要求されないため、適当に間引きされた一部の登録地点に関してのみ、登録地点ごとのカメラ画像が天気別に収集されて画像位置DBに登録されるようにしてもよい。
 次に、第6実施形態に係る歩行者端末1及び路側機3の概略構成について説明する。図29は、歩行者端末1及び路側機3の概略構成を示すブロック図である。
 歩行者端末1は、第1実施形態(図6参照)と同様に、カメラ11と、加速度センサ12と、ジャイロセンサ13と、衛星測位部14と、ITS通信部15と、無線通信部16と、メモリ17と、プロセッサ18と、を備えている。また、本実施形態では、歩行者端末1が、セルラー通信部19を備えている。
 セルラー通信部19は、セルラー通信網を介して、天気情報配信サーバ121との間で通信を行う。
 歩行者端末1のプロセッサ18は、第1実施形態(図6参照)と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ18が、天気情報取得処理を行う。
 画像照合処理では、プロセッサ18が、画像位置DBに登録された天気(晴天、降雨、降雪など)ごとのカメラ画像と、カメラ11から出力されるリアルタイムのカメラ画像とを照合する。
 天気情報取得処理では、プロセッサ18が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた天気情報を、歩行者の現在地の天気情報として取得する。この天気判定処理で取得した天気情報は、セルラー通信部19から天気情報配信サーバ121に送信される。
 路側機3は、第1実施形態(図6参照)と同様に、ITS通信部31と、無線通信部32と、メモリ33と、プロセッサ34と、を備えている。
 路側機3のメモリ33は、画像位置DBの登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像が、天気(晴天、降雨、降雪など)別に収集されて、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、カメラ画像の撮影時の天気に関する天気情報とが、路側機3の画像位置DBに登録される。
 なお、本実施形態においては、路側機3と歩行者端末1の通信手段を全てセルラー通信とし、路側機3の機能をクラウドコンピュータ上に配置することで、広範囲の画像位置DB管理をする構成としてもよい。これにより、路側機3周辺の天気情報に限定されない、より広い範囲の天気情報の取得が可能となる。
 次に、第6実施形態に係る歩行者端末1の動作手順について説明する。図30は、歩行者端末1の動作手順を示すフロー図である。
 歩行者端末1では、第1実施形態(図7(A),(B),(C)参照)と同様の処理が行われる。
 また、路側機3では、第1実施形態(図10(A),(B)参照)と同様の処理が行われる。
 また、図30に示すように、歩行者端末1では、第1実施形態(図8参照)と同様に、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得してから、プロセッサ18が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理(ST131~ST139)が行われる。
 次に、本実施形態では、プロセッサ18が、天気情報取得処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた天気情報(晴天、降雨、降雪などの情報)を、歩行者の現在地の天気情報として取得する(ST171)。
 次に、プロセッサ18の送信指示に応じて、セルラー通信部19が、天気情報取得処理で取得した天気情報を天気情報配信サーバ121に送信する(ST172)。
(第7実施形態)
 次に、第7実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図31は、第7実施形態に係る施設監視システムの全体構成図である。図32は、画像位置DBの登録内容を示す説明図である。
 鉄道の駅では、ホームを歩行する歩行者(乗客)が、ホームから転落したり、列車と接触したりする事故が発生する。このようなホームでの事故は、歩行者が視覚障害者などである場合に頻発する。このため、ホームに設けられた白線より線路側の危険エリアに歩行者が立ち入った場合に、歩行者に対する注意喚起を行うことが望まれる。
 そこで、本実施形態では、ホームに設けられた白線より線路側の危険エリアや、部外者の立ち入りを禁止する進入禁止エリアなどを、注意喚起エリア(特定エリア)として、この注意喚起エリア内に位置する登録地点に関しては、登録地点の位置情報の他に、登録地点が注意喚起エリアに含まれるか否かを表すエリア情報が、カメラ画像に対応付けて画像位置DBに登録される(図32参照)。
 一方、歩行者端末1は、画像照合処理において、画像位置DBに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報(緯度経度)を、歩行者の現在地の位置情報として取得する。また、歩行者端末1は、照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるものと判定すると、歩行者に対する注意喚起を行う。
 また、本実施形態では、構内端末131(基地局装置)が、ホームの周辺に設置される。この構内端末131は、第1実施形態(図6参照)の路側機3と同様の構成を有している。この構内端末131では、画像位置DBが構築され、画像位置DBの登録情報が、ホームの周辺に存在する歩行者端末1に配信される。なお、画像位置DBが、駅の構内などに設置された管理サーバに構築されて、その画像位置DBの登録情報が、構内端末131を介して歩行者端末1に配信されるようにしてもよい。
 このように本実施形態では、ホームに設けられた白線より線路側の危険エリアなどの注意喚起エリアに歩行者が進入すると、歩行者に対する注意喚起が行われるため、施設の利用者、特に視覚障害者などの安全を確保することができる。
 次に、第7実施形態に係る歩行者端末1及び構内端末131の概略構成について説明する。図33は、歩行者端末1及び構内端末131の概略構成を示すブロック図である。
 歩行者端末1は、第1実施形態(図6参照)と同様に、カメラ11と、加速度センサ12と、ジャイロセンサ13と、衛星測位部14と、ITS通信部15と、無線通信部16と、メモリ17と、プロセッサ18と、を備えている。
 歩行者端末1のプロセッサ18は、第1実施形態(図6参照)と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ18が、エリア判定処理を行う。
 エリア判定処理では、プロセッサ18が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定する。
 このエリア判定処理で、歩行者が注意喚起エリア内にいるものと判定されると、歩行者に対する注意喚起動作が行われる。注意喚起動作としては、例えば、歩行者端末1に設けられたスピーカーから音声を出力したり、歩行者端末1に設けられたバイブレータを振動させたりすればよい。
 なお、本実施形態では、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定するようにしたが、位置情報取得処理で取得した歩行者の現在地の位置情報と、注意喚起エリアの範囲を表すエリアマップ情報とに基づいて、歩行者が注意喚起エリア内にいるか否かを判定するようにしてもよい。
 構内端末131(基地局装置)は、第1実施形態(図6参照)の路側機3と同様に、ITS通信部31と、無線通信部32と、メモリ33と、プロセッサ34と、を備えている。
 構内端末131のメモリ33は、画像位置DBの登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点が注意喚起エリア内であることを表すエリア情報とが、画像位置DBに登録される。
 次に、第7実施形態に係る歩行者端末1の動作手順について説明する。図34は、歩行者端末1の動作手順を示すフロー図である。
 歩行者端末1では、第1実施形態(図7(A),(B),(C)参照)と同様の処理が行われる。
 一方、構内端末131では、第1実施形態(図10(A),(B)参照)の路側機3と同様の処理が行われる。
 また、図34に示すように、歩行者端末1では、第1実施形態(図8参照)と同様に、プロセッサ18が、衛星測位部14による歩行者の位置情報を取得してから、プロセッサ18が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理(ST131~ST139)が行われる。
 次に、本実施形態では、プロセッサ18が、エリア判定処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定する(ST181)。
 ここで、歩行者が注意喚起エリア内にいる場合には(ST181でYes)、プロセッサ18が、歩行者に対する所定の注意喚起動作を行うようにスピーカーやバイブレータなどを制御する(ST182)。
 なお、本実施形態に係る施設監視システムは、歩行者だけでなく、車両(自動二輪、自転車、電動車いす、農機、シニアカーなど)にも同様に適用できる。例えば、車両に搭載したカメラで撮影されたカメラ画像に基づき、車両が蛇行運転、急加減速、スピード違反などを行っていることが検知された場合に、画像照合測位が行われてもよい。また、状況によっては、運転者への警告、自動ブレーキ、警察への通報などが行われてもよい。これにより、煽り運転などの防止を行うことができる。
 以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
 本開示に係る歩行者装置、情報収集装置、基地局装置、及び測位方法は、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる効果を有し、歩行者が所持して歩行者の現在位置を測定する測位を行う歩行者装置、歩行者装置での測位に必要な情報を収集する情報収集装置、歩行者装置での測位に必要な情報を歩行者装置に提供する基地局装置、及び歩行者装置で行われる測位方法などとして有用である。
1 歩行者端末(歩行者装置)
2 車載端末(車載装置)
3 路側機(基地局装置)
5 DB情報収集端末(情報収集装置)
11 カメラ
12 加速度センサ
13 ジャイロセンサ
14 衛星測位部
15 ITS通信部
16 無線通信部
17 メモリ
18 プロセッサ
19 セルラー通信部
21 白杖
22 ランドセル
31 ITS通信部
32 無線通信部
33 メモリ
34 プロセッサ
35 カメラ
36 ディスプレイ
51 カメラ
52 表示部
53 入力部
54 メモリ
55 プロセッサ
101 乗務員端末(基地局装置)
111 店舗端末(基地局装置)
112 ユーザ端末
121 天気情報配信サーバ
122 ユーザ端末
131 構内端末(基地局装置)

Claims (11)

  1.  歩行者の足元の路面を撮影するカメラと、
     歩行者の挙動を検出するセンサと、
     予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、
     前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、
    を備えることを特徴とする歩行者装置。
  2.  自装置の周辺エリアに関する前記登録情報を保持する基地局装置との間で通信を行う通信部を備え、
     前記通信部は、自装置が前記基地局装置に近づいた際に、その基地局装置から前記登録情報を受信し、
     前記メモリは、前記通信部により受信した前記登録情報を記憶することを特徴とする請求項1に記載の歩行者装置。
  3.  前記プロセッサは、
     前記センサの検出結果に基づいて特定事象が検知されると、前記画像照合測位により、歩行者の現在地の位置情報を取得し、
     前記特定事象が検知されないと、衛星測位または前記センサの検出結果に基づく歩行者自律航法による測位により、歩行者の現在地の位置情報を取得することを特徴とする請求項1に記載の歩行者装置。
  4.  前記特定事象が、歩行者の急加速および急な向きの変更の少なくともいずれかであることを特徴とする請求項3に記載の歩行者装置。
  5.  請求項1に記載の歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、
     歩行者の足元の路面を撮影するカメラと、
     前記カメラから出力されるカメラ画像の視差に基づいて路面上の2点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、
    を備えることを特徴とする情報収集装置。
  6.  請求項1に記載の歩行者装置に情報を提供する基地局装置であって、
     自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、
     歩行者装置との間で通信を行う通信部と、
     自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、
    を備えることを特徴とする基地局装置。
  7.  歩行者の現在地の位置情報を取得する測位方法であって、
     歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、
     前記プロセッサが、
     前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うことを特徴とする測位方法。
  8.  請求項1に記載の歩行者装置を所持した利用者が滞在する場所を管理する利用者管理方法であって、
     前記歩行者装置の前記メモリが、
     前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定場所に含まれるか否かを表す場所情報を対応付けた前記登録情報を記憶し、
     前記歩行者装置の前記プロセッサが、
     照合が成功した登録地点のカメラ画像に対応付けられた前記場所情報に基づいて、利用者が前記特定場所にいるか否かを判定することを特徴とする利用者管理方法。
  9.  請求項1に記載の歩行者装置を所持した利用者の施設内での滞在状況を管理する利用者管理方法であって、
     前記歩行者装置の前記メモリが、
     前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が施設内の複数の特定エリアのいずれに位置するかを表す識別情報を対応付けた前記登録情報を記憶し、
     前記歩行者装置の前記プロセッサが、
     照合が成功した登録地点のカメラ画像に対応付けられた前記識別情報に基づいて、利用者が滞在する特定エリアを識別することを特徴とする利用者管理方法。
  10.  請求項1に記載の歩行者装置の現在地の天気情報を天気情報収集装置が収集する情報収集方法であって、
     前記歩行者装置の前記メモリが、
     前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、撮影時の天気に関する天気情報を対応付けた前記登録情報を記憶し、
     前記歩行者装置の前記プロセッサが、
     照合が成功した登録地点のカメラ画像に対応付けられた前記天気情報を、前記歩行者装置の現在地の天気情報として取得して、その天気情報を前記天気情報収集装置に送信するように通信部を制御することを特徴とする情報収集方法。
  11.  請求項1に記載の歩行者装置を所持した利用者が、施設内の特定エリアに進入したことを検知する施設監視方法であって、
     前記歩行者装置の前記メモリが、
     前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定エリアに含まれるか否かを表すエリア情報を対応付けた前記登録情報を記憶し、
     前記歩行者装置の前記プロセッサが、
     照合が成功した登録地点のカメラ画像に対応付けられた前記エリア情報に基づいて、歩行者が特定エリアに進入したか否かを判定することを特徴とする施設監視方法。
PCT/JP2021/035302 2020-10-22 2021-09-27 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法 WO2022085369A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/032,015 US20230343208A1 (en) 2020-10-22 2021-09-27 Pedestrian device, information collection device, base station device, positioning method, user management method, information collection method, and facility monitoring method
CN202180072515.0A CN116390702A (zh) 2020-10-22 2021-09-27 行人装置、信息收集装置、基站装置、定位方法、使用者管理方法、信息收集方法以及设施监视方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-177332 2020-10-22
JP2020177332A JP2022068577A (ja) 2020-10-22 2020-10-22 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法

Publications (1)

Publication Number Publication Date
WO2022085369A1 true WO2022085369A1 (ja) 2022-04-28

Family

ID=81289866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035302 WO2022085369A1 (ja) 2020-10-22 2021-09-27 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法

Country Status (4)

Country Link
US (1) US20230343208A1 (ja)
JP (1) JP2022068577A (ja)
CN (1) CN116390702A (ja)
WO (1) WO2022085369A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255190A1 (ja) * 2021-06-02 2022-12-08 パナソニックホールディングス株式会社 歩行者装置およびその測位方法
CN116430820A (zh) * 2023-06-14 2023-07-14 四川磊蒙机械设备有限公司 一种智能制造生产线安全监控系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230332912A1 (en) * 2022-04-19 2023-10-19 Ford Global Technologies, Llc Systems and methods for guiding a visually impaired passenger using rideshare services

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721476A (ja) * 1993-06-23 1995-01-24 Tokyo Electric Power Co Inc:The 禁止区域の侵入監視方法及び装置
WO2013088517A1 (ja) * 2011-12-13 2013-06-20 株式会社日立製作所 停立人物の向き推定方法
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
CN103637900A (zh) * 2013-12-20 2014-03-19 北京航空航天大学 基于图像识别的智能导盲杖
JP2020508440A (ja) * 2017-02-21 2020-03-19 ブラスウェイト ヘイリーBRATHWAITE,Haley パーソナルナビゲーションシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721476A (ja) * 1993-06-23 1995-01-24 Tokyo Electric Power Co Inc:The 禁止区域の侵入監視方法及び装置
WO2013088517A1 (ja) * 2011-12-13 2013-06-20 株式会社日立製作所 停立人物の向き推定方法
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
CN103637900A (zh) * 2013-12-20 2014-03-19 北京航空航天大学 基于图像识别的智能导盲杖
JP2020508440A (ja) * 2017-02-21 2020-03-19 ブラスウェイト ヘイリーBRATHWAITE,Haley パーソナルナビゲーションシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255190A1 (ja) * 2021-06-02 2022-12-08 パナソニックホールディングス株式会社 歩行者装置およびその測位方法
CN116430820A (zh) * 2023-06-14 2023-07-14 四川磊蒙机械设备有限公司 一种智能制造生产线安全监控系统及方法
CN116430820B (zh) * 2023-06-14 2023-08-25 四川磊蒙机械设备有限公司 一种智能制造生产线安全监控系统及方法

Also Published As

Publication number Publication date
CN116390702A (zh) 2023-07-04
US20230343208A1 (en) 2023-10-26
JP2022068577A (ja) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2022085369A1 (ja) 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法
US10540882B2 (en) Accident notifications
CN110419070B (zh) 信息提供系统、服务器、移动终端和计算机程序
US11493348B2 (en) Methods for executing autonomous rideshare requests
JP7191051B2 (ja) 車両システム、自動運転車両、車両制御方法、プログラム、およびサーバ装置
JP6923306B2 (ja) 車両運転支援システム
CN110710264A (zh) 通信控制装置、通信控制方法和计算机程序
CN109979218B (zh) 自主移动体以及信息收集系统
EP3702983A1 (en) Transportation system and method
US10553113B2 (en) Method and system for vehicle location
KR101176947B1 (ko) Cctv를 이용한 인파정보 제공시스템
JP7041700B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2020030717A (ja) 歩行者装置、路側装置、車載装置、路歩間通信システム、歩車間通信システム、および情報配信方法
US20220066043A1 (en) Vehicle with automatic report function and server apparatus
CN113071514B (zh) 管理系统及方法、自动驾驶系统及车辆、计算机可读介质
US20210158290A1 (en) System for delivery of a shipment at a vehicle
WO2022255190A1 (ja) 歩行者装置およびその測位方法
US11107302B2 (en) Methods and systems for emergency event management
WO2023250290A1 (en) Post drop-off passenger assistance
JP2018077603A (ja) 交通情報提供装置、交通情報提供プログラム、交通情報提供方法および交通情報提供システム
WO2020121718A1 (ja) 情報処理装置、情報処理方法、移動体及び移動体制御方法
JP2022126035A (ja) 自動運転車両の管理装置
RU2751474C2 (ru) Способ получения информации о вакантных парковочных местах, как коммерческих, так и общедоступных
JP7297325B2 (ja) 自動販売機システム
JP2020052454A (ja) 歩行者装置、車載装置、情報収集システムおよび情報収集方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21882510

Country of ref document: EP

Kind code of ref document: A1