WO2011108052A1 - 道路状況管理システム及び道路状況管理方法 - Google Patents

道路状況管理システム及び道路状況管理方法 Download PDF

Info

Publication number
WO2011108052A1
WO2011108052A1 PCT/JP2010/007353 JP2010007353W WO2011108052A1 WO 2011108052 A1 WO2011108052 A1 WO 2011108052A1 JP 2010007353 W JP2010007353 W JP 2010007353W WO 2011108052 A1 WO2011108052 A1 WO 2011108052A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
road
unit
transmission
Prior art date
Application number
PCT/JP2010/007353
Other languages
English (en)
French (fr)
Inventor
章裕 鈴木
森岡 幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012502897A priority Critical patent/JP5551236B2/ja
Priority to CN201080063282.XA priority patent/CN102741900B/zh
Priority to US13/577,146 priority patent/US9092981B2/en
Publication of WO2011108052A1 publication Critical patent/WO2011108052A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station

Definitions

  • the present invention relates to a road condition management system and a road condition management method for managing a road condition such as a sign, and more specifically, a road condition management system and a road condition for acquiring road condition information by a vehicle and managing the road condition. It relates to the management method.
  • a road condition management system that acquires road condition information by a vehicle and manages the road condition information.
  • This system includes an in-vehicle device provided in a vehicle for acquiring road condition information and an information server for managing road condition information.
  • the in-vehicle device includes a camera for photographing a road condition and a recognition device that performs image recognition on a captured image obtained by the camera and detects the road condition.
  • the information server collects and manages information on road conditions detected by the vehicle.
  • a manager of a road management organization such as a public security authority grasps that the road condition is abnormal and repairs the road condition. Etc. can be taken.
  • the vehicle-mounted device can be mounted on a police car, for example.
  • Patent Document 1 describes a system that acquires an image of a road by an in-vehicle device mounted on a vehicle, detects a road condition by performing image recognition on the image, and sends information result of the image recognition to an information center.
  • 1 is a system.
  • the information center uses the difference between the image recognition result acquired from the in-vehicle device and the image recognition result of the same position accumulated in the past to Seeking confidence.
  • the present invention has been made in view of the above problems, and its purpose is based on the premise that the state of road conditions is confirmed by human (confirmer) 's cognitive ability more reliably than image recognition processing by software. It is to provide a road condition management system convenient for a confirmer to make such a confirmation.
  • the road condition management system includes a vehicle-mounted device and an information server.
  • the in-vehicle device includes a camera attached to the vehicle so as to photograph the outside of the vehicle, an image recognition unit that performs image recognition for detecting a road condition with respect to a photographed image obtained by the camera, and a photographed image.
  • a transmission image information generation unit that generates transmission image information including, a road situation information database that stores road situation information, and a transmission result when the recognition result by the image recognition unit is different from the road situation information stored in the road situation information database.
  • a transmission image information output unit that outputs image information.
  • the information server includes a reception unit that receives transmission image information, a captured image output unit that outputs a captured image included in the transmitted image information so that a confirmer can visually confirm the captured image, and a captured image output from the output unit. And an input unit for inputting the confirmation result.
  • Another aspect of the present invention is an in-vehicle device that detects a road condition with respect to a camera attached to the vehicle so as to photograph the outside of the vehicle and a captured image obtained by the camera.
  • An image recognition unit for performing image recognition, a transmission image information generation unit for generating transmission image information including a captured image, a road condition information database storing road condition information, and a recognition result by the image recognition unit is a road condition
  • it has a configuration including a transmission image information output unit that outputs transmission image information.
  • Still another aspect of the present invention is an information server for managing road conditions, and the information server includes a captured image obtained by photographing with a camera attached to the vehicle so as to photograph the outside of the vehicle.
  • a reception unit that receives transmission image information, a captured image output unit that outputs a captured image included in the transmitted image information so that the confirmer can visually confirm, and a confirmation result of the captured image output by the confirmer from the captured image output unit
  • an input unit for inputting is an input unit for inputting.
  • Yet another aspect of the present invention is a road condition management method executed using a road condition management system including an in-vehicle device and an information server.
  • a road condition management system including an in-vehicle device and an information server.
  • image recognition for detecting road conditions is performed on a captured image obtained by shooting with the outside camera and the result of the image recognition is different from the road condition information stored in the in-vehicle device database
  • the transmission image information including the captured image is output, and the information server accepts the transmission image information and outputs the captured image included in the transmission image information so that the confirmer can visually confirm the output.
  • the photographed image is confirmed, and the confirmation result is input.
  • Still another aspect of the present invention is a program, which is a camera installed in an in-vehicle device having a camera attached to the vehicle so as to photograph the outside of the vehicle, and a road situation information database storing road situation information.
  • An image recognition step for performing image recognition for detecting a road condition
  • a transmission image information generation step for generating transmission image information including the captured image
  • recognition by the image recognition step When the result is different from the road situation information stored in the road situation information database, the transmission image information is transmitted when the recognition result of the image recognition step is different from the road situation information stored in the road situation information database.
  • the transmission image information output step for outputting is executed.
  • Still another aspect of the present invention is a program, which is a captured image obtained by photographing with a camera attached to a vehicle so as to photograph the outside of the vehicle in an information server for managing road conditions.
  • a reception step for receiving transmission image information including: a captured image output step for allowing a confirmer to visually confirm a captured image included in the transmission image information; and a confirmer for the captured image output in the captured image output step
  • the confirmation result receiving step for receiving the confirmation result is executed.
  • the confirmer visually confirms the photographed image, so that the correct state of the road condition can be grasped, and the confirmer visually confirms only the photographed image that needs to be confirmed instead of all the photographed images. Since the result of the confirmation can be input, it is possible to provide a road condition management system having an effect that the burden on the confirmer can be suppressed.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of the road facility management system according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing the configuration of the road facility information database of the in-vehicle device in the embodiment of the present invention.
  • 4A is a diagram showing a situation where a road sign behind a tree is photographed.
  • FIG. 4B is a diagram showing an image obtained by photographing a road sign behind a tree.
  • FIG. 5 is a diagram showing a syntax of transmission image information transmitted from the in-vehicle device to the information server in the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of the road facility management system according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing the configuration of the
  • FIG. 6 is a block diagram showing the configuration of the information server in the embodiment of the present invention.
  • FIG. 7 is a diagram showing the configuration of the confirmation list in the embodiment of the present invention.
  • FIG. 8 is a diagram showing the configuration of the road facility management information database of the information server in the embodiment of the present invention.
  • FIG. 9 is a diagram showing a confirmation screen (status: abnormality detection) in the embodiment of the present invention.
  • FIG. 10 is a diagram showing a confirmation screen (status: new facility detection) in the embodiment of the present invention.
  • FIG. 11 is an operation flowchart of the vehicle-mounted device according to the embodiment of the present invention.
  • FIG. 12 is an operation flowchart of the reference image transmission determination process of the in-vehicle device in the embodiment of the present invention.
  • FIG. 13 is an operation flow diagram when the transmission information of the information server is received in the embodiment of the present invention.
  • FIG. 14 is an operation flowchart for causing a confirmer to confirm a captured image in the embodiment
  • the road condition management system includes a vehicle-mounted device and an information server.
  • the in-vehicle device includes a camera attached to the vehicle so as to photograph the outside of the vehicle, an image recognition unit that performs image recognition for detecting a road condition with respect to a photographed image obtained by the camera, and a photographed image.
  • a transmission image information generation unit that generates transmission image information including, a road situation information database that stores road situation information, and a transmission result when the recognition result by the image recognition unit is different from the road situation information stored in the road situation information database.
  • a transmission image information output unit that outputs image information.
  • the information server includes a reception unit that receives transmission image information, a captured image output unit that outputs a captured image included in the transmitted image information so that a confirmer can visually confirm the captured image, and a captured image output from the output unit. And an input unit for inputting the confirmation result.
  • the in-vehicle device outputs the transmission image information when the result of performing the image recognition on the captured image is different from the road condition information stored in the database, and the information server allows the confirmer to visually check the captured image. Since the photographer outputs a captured image output unit so that it can be confirmed by the computer and an input unit for the confirmation person to input the confirmation result of the photographed image output from the output unit, the confirmer visually confirms the photographed image. In addition to being able to grasp the exact state of the road conditions, the confirmer can visually confirm only the captured images that need to be confirmed, not all the captured images, and input the results of the confirmation. Can be suppressed.
  • the information server includes a road condition management information database storing road condition management information for managing the road condition, and updates the road condition management information database according to the confirmation result.
  • the road status management information database of the information server is updated to reflect the result of visual confirmation by the confirmer, so that accurate information on the road status can be managed by the information server.
  • the in-vehicle device updates the road condition information database according to the confirmation result.
  • the database of the in-vehicle device is updated accordingly, and thereafter the transmitted image information is not sent for the same road condition. Can avoid double checking for the same road conditions.
  • the vehicle-mounted device receives the image information from the transmission image information output unit when no road condition corresponding to the road condition information stored in the road condition information database is detected by the image recognition unit. Outputs transmission image information.
  • This configuration allows the confirmer to check the captured image when the camera cannot capture the road conditions that should exist according to the in-vehicle device database. By confirming the captured image, the confirmer needs to take measures such as repairing the road condition, such as the road condition being concealed or damaged, or simply behind the large vehicle. It is possible to determine whether or not a response such as repair of the road condition is unnecessary, such as failure to photograph the road condition or inaccurate image recognition.
  • the in-vehicle device generates transmission image information in the transmission image information generation unit when the image recognition unit detects a road condition that is not stored in the road condition information database.
  • the confirmer confirms the photographed image.
  • the confirmer can determine whether the road condition is surely present or whether there is actually a new road condition such as an image recognition error.
  • the road condition management information includes a reference image
  • the information server includes a reference selection unit that selects a reference image corresponding to the photographed image from the road condition management information database.
  • the image output unit outputs the reference image selected by the reference selection unit together with the captured image.
  • the confirmer can confirm the photographed image while comparing it with the reference image, so that it is possible to conveniently determine whether there is an abnormality in the road condition.
  • the road condition management information includes a plurality of reference images for one road condition, and the reference selection unit has the most photographed image and photographing condition output by the photographed image output unit. Select a close reference image.
  • the confirmer can confirm a reference image similar to the photographed image and the photographing condition together with the photographed image, so that it is possible to make a more accurate determination as to whether there is an abnormality in the road conditions.
  • the transmission image information output unit has a reliability of image recognition by the image recognition unit even when the detection result by the image recognition unit matches the road condition information stored in the road condition information database. If it is higher, transmission image information specifying the captured image as a reference image candidate is output, and the information server stores the reference image candidate as a reference image of the road situation management information in the road situation management information database.
  • the information server can store, as a reference image, a captured image with high image recognition reliability obtained by the in-vehicle device.
  • the reliability of image recognition is the degree of coincidence between a road condition pattern stored in advance and a pattern included in a photographed image.
  • the information server can store a captured image that is close to a road condition pattern stored in advance as a reference image.
  • the information server corresponds to the photographed image with respect to the in-vehicle device when the reference image corresponding to the photographed image included in the transmission image information is not stored in the road condition management information server.
  • a required image request unit that requests a reference image candidate is provided, and the transmission image information output unit outputs transmission image information including a captured image corresponding to the captured image in response to the request.
  • reference image candidates can be acquired from the in-vehicle device.
  • the captured image output unit transmits a transmission image having a high confirmation priority among the plurality of pieces of transmission image information.
  • the captured image included in the information is output with priority.
  • the confirmer does not need to confirm the photographed image with respect to the same road condition, and can confirm with priority the one of the plurality of photographed images.
  • the confirmation priority is obtained based on at least one of the photographing time zone of the photographed image, the vehicle type, and the vehicle speed at the time of photographing included in the transmission image information.
  • This configuration gives priority to captured images that are easier for the confirmer to confirm.
  • the information server includes a confirmation list storage unit for storing the transmission image information received by the reception unit, and the captured image output unit transmits the transmission image information stored in the confirmation list storage unit. Is output.
  • the information server stores the received transmission image information in the confirmation list storage unit once instead of prompting the confirmer with the captured image included in the transmission image information immediately after receiving the transmission image information.
  • a plurality of pieces of transmission image information can be acquired for the same road condition, and the confirmer can be confirmed with a captured image having a high priority.
  • the transmission image information output unit of the in-vehicle device transmits the transmission image information to the information server by wireless communication
  • the reception unit of the information server receives the transmission image information from the in-vehicle device by wireless communication.
  • transmission image information can be transmitted and received using wireless communication between the in-vehicle device and the information server.
  • the transmission image information output unit of the in-vehicle device records the transmission image information on a recording medium, and the reception unit of the information server reads the transmission image information from the storage medium.
  • transmission image information can be exchanged between the in-vehicle device and the information server using a recording medium.
  • Another aspect of the present invention is an in-vehicle device that detects a road condition with respect to a camera attached to the vehicle so as to photograph the outside of the vehicle and a captured image obtained by the camera.
  • An image recognition unit for performing image recognition, a transmission image information generation unit for generating transmission image information including a captured image, a road condition information database storing road condition information, and a recognition result by the image recognition unit is a road condition
  • it has a configuration including a transmission image information output unit that outputs transmission image information.
  • This configuration is convenient for visual confirmation by the confirmer because an image that needs to be confirmed by the confirmer can be output from the captured images obtained by the camera.
  • Still another aspect of the present invention is an information server for managing road conditions, and the information server includes a captured image obtained by photographing with a camera attached to the vehicle so as to photograph the outside of the vehicle.
  • a reception unit that receives transmission image information, a captured image output unit that outputs a captured image included in the transmitted image information so that the confirmer can visually confirm, and a confirmation result of the captured image output by the confirmer from the captured image output unit
  • an input unit for inputting is an input unit for inputting.
  • This configuration allows the confirmer to visually check the photographed image and input the confirmation result, thereby accurately managing road condition information.
  • Yet another aspect of the present invention is a road condition management method executed using a road condition management system including an in-vehicle device and an information server.
  • a road condition management system including an in-vehicle device and an information server.
  • image recognition for detecting road conditions is performed on a captured image obtained by shooting with the outside camera and the result of the image recognition is different from the road condition information stored in the in-vehicle device database
  • the transmission image information including the captured image is output, and the information server accepts the transmission image information and outputs the captured image included in the transmission image information so that the confirmer can visually confirm the output.
  • the photographed image is confirmed, and the confirmation result is input.
  • the confirmer visually confirms the photographed image, so that the correct state of the road condition can be grasped and the confirmer can confirm not all the photographed images. Since only necessary photographed images can be visually confirmed and the result of the confirmation can be input, the burden on the confirmer can be suppressed.
  • Still another aspect of the present invention is a program, which is a camera installed in an in-vehicle device having a camera attached to the vehicle so as to photograph the outside of the vehicle, and a road situation information database storing road situation information.
  • An image recognition step for performing image recognition for detecting a road condition
  • a transmission image information generation step for generating transmission image information including the captured image
  • recognition by the image recognition step When the result is different from the road situation information stored in the road situation information database, the transmission image information is transmitted when the recognition result of the image recognition step is different from the road situation information stored in the road situation information database.
  • the transmission image information output step for outputting is executed.
  • This program can also output an image that needs to be confirmed by the confirmer from among the captured images obtained by the camera, similar to the above-described in-vehicle device, and is convenient for the confirming by the confirmer.
  • Still another aspect of the present invention is a program, which is a captured image obtained by photographing with a camera attached to a vehicle so as to photograph the outside of the vehicle in an information server for managing road conditions.
  • a reception step for receiving transmission image information including: a captured image output step for allowing a confirmer to visually confirm a captured image included in the transmission image information; and a confirmer for the captured image output in the captured image output step
  • the confirmation result receiving step for receiving the confirmation result is executed.
  • the confirmer can visually confirm the photographed image and input the confirmation result, so that the road condition information can be managed accurately.
  • the road condition management system includes an in-vehicle device and an information server.
  • FIG. 1 is a block diagram showing the configuration of the in-vehicle device of the present embodiment
  • FIG. 2 is a diagram showing the configuration of the road facility management system of the present embodiment.
  • the road facility management system 100 includes a plurality of in-vehicle devices 10 that are mounted on a plurality of vehicles C and generate transmission image information, and transmission image information from the plurality of in-vehicle devices 10. And an information server 30 for managing road facilities.
  • the in-vehicle device 10 captures a road facility S including a road sign and a traffic light with a camera, performs image recognition on the captured image, detects the road facility S, and generates transmission image information including the captured image.
  • the in-vehicle device 10 transmits the transmission image information to the information server 30 by wireless communication.
  • the information server 30 includes a main body 301 used as arithmetic processing means and storage means, a monitor 302 used as display means, a keyboard 303 and a mouse 304 used as input means.
  • the information server 30 receives transmission image information from the plurality of in-vehicle devices 10 respectively mounted on the plurality of vehicles C, and displays a captured image included in the transmission image information on the monitor 302.
  • An operator (confirmer) of the information server visually confirms the captured image displayed on the monitor 302 of the information server 30 and inputs a confirmation result using the keyboard 303 and the mouse 304.
  • the information server 30 performs processing such as addition and change of road facility management information based on the input confirmation result.
  • the administrator of the road management organization confirms the confirmation result input by the confirmer and takes necessary measures such as repair of the road facility.
  • the in-vehicle device 10 includes a camera 11, an image recognition unit 12, a transmission image information generation unit 13, a determination unit 14, a facility grasping unit 15, a GPS (Global Positioning System) 16, a road facility information database 17, A vehicle information acquisition unit 18, a database update unit 19, a transmission unit 20, and a server request reception unit 21 are included.
  • GPS Global Positioning System
  • the in-vehicle device 10 is attached to the vehicle C at such a position and angle that the camera 11 can photograph the front of the vehicle C.
  • the camera 11 always captures the front of the vehicle C and generates a captured image in front of the vehicle C.
  • the captured image generated by the camera 11 is input to the image recognition unit 12 and the transmission image information generation unit 13.
  • the in-vehicle device 10 may include a plurality of cameras 11.
  • the in-vehicle device 10 may include, for example, a camera that captures the front of the vehicle C and a camera that captures the side of the vehicle C.
  • the image recognition unit 12 inputs a captured image generated by the camera 11 and performs image recognition for detecting a road facility on the image.
  • the image recognition unit 12 stores road facility patterns such as road signs and traffic lights.
  • the image recognition unit 12 detects a pattern that matches the stored pattern of the road facility from the photographed image by performing image recognition on the photographed image.
  • the image recognition unit 12 is connected to the GPS 16.
  • the image recognition unit 12 determines the positioning information of the GPS 16 when the image is captured (that is, the position information of the vehicle C) and the recognition reliability when the road facility is detected.
  • the determination unit 14 is notified of the image recognition result including it.
  • the recognition reliability is a score indicating the degree of coincidence between the road facility pattern stored in advance in the image recognition unit 12 and the pattern detected in the photographed image, and is a value of, for example, 60 to 100. . Note that when the score is less than 60, recognition fails, so the recognition reliability in the recognition result when the road facility is recognized is always 60 or more.
  • the determination unit 14 determines whether or not to transmit transmission image information including the captured image generated by the camera 11 to the information server 30. If the determination unit 14 determines to transmit the transmission image information to the information server 30, the determination unit 14 instructs the transmission image information generation unit 13 and the transmission unit 20 to perform transmission.
  • the transmission image information generation unit 13 receives an instruction to transmit the transmission image information from the determination unit 14, the transmission image information, the shooting position information obtained from the GPS 16, the vehicle information, the vehicle information, Transmission image information is generated by attaching metadata including vehicle information at the time of shooting acquired from the acquisition unit 18 and output to the transmission unit 20.
  • the transmission unit 20 wirelessly transmits the transmission image information generated by the transmission image information generation unit 13 to the information server 30.
  • FIG. 3 is a diagram showing the configuration of the road facility information database 17.
  • the road facility information database 17 stores road facility information including road facility ID, position information, road facility type, and road facility status for each road facility installed on the road.
  • the road facility ID is identification information unique to each road facility, and is information composed of a combination of letters and numbers.
  • the position information is information on the position where the road facility is installed, and is information including latitude and longitude.
  • the road facility type is information indicating the type of road facility, such as “traffic light”, “stop” for road signs, “pedestrian crossing”, “speed regulation”, and the like.
  • the road facility status is information indicating the state of the road facility, and is, for example, “normal”, “damaged”, “hidden”, “removed”, or the like.
  • the facility grasping unit 15 is connected to the GPS 16 and the road facility information database 17, acquires positioning information (position information of the vehicle C) from the GPS 16, and corresponds to the current position of the vehicle C in the road facility information database 17. Search road facility information. If there is road facility information corresponding to the current position of the vehicle C in the road facility information database 17, the facility grasping unit 15 extracts it. When the facility grasping unit 15 extracts the road facility information corresponding to the current position of the vehicle C, the facility grasping unit 15 notifies the determination unit 14 of the road facility information.
  • the determination unit 14 performs an abnormality determination process, a new facility determination process, and a reference image transmission determination process. Hereinafter, it demonstrates in order.
  • the determining unit 14 recognizes the image recognized by the image recognizing unit 12 with respect to the image taken at that position. It is determined whether or not the result is notified.
  • the determination unit 14 determines that the road facility is normal if the image recognition unit 12 has notified the image recognition result of detecting the road facility corresponding to the road facility information notified from the facility grasping unit 15.
  • the determination unit 14 determines that the road facility is abnormal when the image recognition result of detecting the road facility corresponding to the road facility information notified from the facility grasping unit 15 is not notified from the image recognition unit 12. .
  • FIG. 4A is a diagram showing a situation in which a road sign S (“stop”) behind a tree is photographed
  • FIG. 4B is a photograph of a road sign behind a tree. It is a figure which shows the image obtained by doing. Even if the image recognition unit 12 performs image recognition on the captured image of FIG. 4B, the “stop” road sign cannot be detected.
  • the situation shown in FIG. 4 needs to be handled by a road facility manager because the road sign S is concealed by a tree and is difficult for the driver of the vehicle to see.
  • the determination unit 14 When the determination unit 14 has not been notified from the image recognition unit 12 of the image recognition result of detecting the road facility corresponding to the road facility information notified from the facility grasping unit 15, that is, the determination unit 14 has an abnormality in the road facility. In the case of determining that there is, there is actually an abnormality in the road facility as in the example of FIG. 4 (if the road facility manager needs to respond), and there is actually no abnormality in the road facility. Case (when no action is required by the road facility manager). As a case where an abnormality actually occurs, for example, as shown in FIG. 4B, when the road facility is hidden behind a tree, when the road facility is collapsed, the road facility is lost. There are cases.
  • the image recognition unit When the image recognition result of detecting the road facility corresponding to the road facility information notified from the facility grasping unit 15 is not notified from the image recognition unit 12, but the road facility actually has no abnormality, the image recognition unit When the image recognition by 12 is not performed correctly, or when the road facility is not photographed by the camera 11 due to being blocked by a large vehicle such as a truck, the GPS positioning information is not accurate, and the actually captured position and positioning information There is a case where there is a deviation between
  • the determination unit 14 includes the image recognition result obtained by detecting the road facility corresponding to the road facility information notified from the facility grasping unit 15 including the case where there is actually no abnormality in the road facility. If it is not notified from, it is determined that the road facility is abnormal.
  • the determination unit 14 instructs the road facility information generation unit 13 to generate transmission image information, and instructs the transmission unit 20 to transmit the transmission image information.
  • the determination unit 14 determines that the road facility is a new road facility, the determination unit 14 instructs the transmission image information generation unit 13 to generate transmission image information, and instructs the transmission unit 20 to transmit the transmission image information. As a result of determining whether or not there is noise in the positioning information of the GPS 16, if it is determined that there is noise, the determination unit 14 performs correction by map matching.
  • the determination unit 14 when the determination unit 14 receives the image recognition result that the road facility has been detected and the road facility information at the position corresponding to the image recognition result is not input from the facility determination unit 15, the determination unit 14 The unit 15 may be requested to collate road facility information at the position.
  • the facility grasping unit 15 refers to the road facility information database 17 to search for road facility information at the position, and reports the search result to the determination unit 14.
  • the determination unit 14 confirms this report, and when there is no road facility information corresponding to the position, the determination unit 14 determines that the road facility recognized by the image recognition unit 12 for the position is a new road facility.
  • reference image transmission determination processing by the determination unit 14 will be described.
  • a confirmer visually confirms a photographed image that has been determined to have an abnormality in a road facility, it is selected from the road facility management information database 35 of the information server 30.
  • the reference image corresponding to the position is displayed together with the captured image that has been determined that the road facility is abnormal.
  • the confirmer confirms whether or not the road facility included in the photographed image that has been determined that the road facility is abnormal while actually confirming the road facility in the normal state in the reference image. Can be judged.
  • the reference image transmission determination process is a process for determining whether or not to transmit a captured image generated by the camera 11 as a reference image candidate to the information server 30 in order to use the captured image as the reference image.
  • the determination unit 14 receives the image of the image recognition unit 12 for the image corresponding to the position.
  • the recognition result if the image recognition result indicating that the road facility corresponding to the road facility information input from the facility grasping unit 15 is detected is notified, it is determined that the road facility is normal. In this case, since the road facility is normal, it is not necessary to transmit the captured image from the in-vehicle device 10 to the information server 30. However, if the road facility is clearly photographed in this photographed image, it can be used by the information server 30 as the above-mentioned reference image candidate.
  • the determination unit 14 when the determination unit 14 determines that the road facility is normal, the determination unit 14 further sets the recognition reliability of image recognition in the image recognition unit 12 for the captured image.
  • the recognition reliability is a score indicating the matching degree of pattern matching in image recognition by the image recognition unit 12.
  • the determination unit 14 determines to transmit this as a reference image candidate. If the determination unit 14 determines to transmit a captured image as a reference image candidate, the determination unit 14 instructs the transmission image information generation unit 13 to generate transmission image information, and instructs the transmission unit 20 to transmit the transmission image information.
  • the transmission image information generation unit 13 Upon receiving an instruction from the determination unit 14 to generate transmission image information, the transmission image information generation unit 13 generates transmission image information.
  • the transmission image information is generated by attaching metadata to the captured image acquired from the camera 11.
  • FIG. 5 is a diagram showing the syntax of the transmission image information in the present embodiment.
  • the transmission image information includes a status, a shooting position, a vehicle ID, a vehicle type, a vehicle speed, a shooting date and time, a road facility type, a recognition reliability, and a shot image.
  • the status is any one of “abnormality detection”, “new facility detection”, and “reference image”.
  • transmission image information whose status is “abnormality detection” is generated.
  • transmission image information whose status is “new facility detection” is generated.
  • transmission image information whose status is “new facility detection” is generated.
  • transmission image information whose status is “reference image” is generated.
  • the photographing position is positioning information when an image in which the road facility is detected by the image recognition unit 12 is photographed, and this information is given from the GPS 16 to the transmission image information generation unit 13.
  • the vehicle ID is identification information unique to each vehicle. This information is stored in advance in the transmission image information generation unit 13.
  • the vehicle type is information indicating the type of vehicle, for example, “passenger car”, “medium-sized bus”, “large truck”, and the like, and this information is stored in advance in the transmission image information generation unit 13.
  • the vehicle speed is a traveling speed of the vehicle when an image in which the road facility is detected by the image recognition unit 12 is captured, and this information is given from the vehicle information acquisition unit 18 to the transmission image information generation unit 13.
  • the vehicle information acquisition part 18 acquires vehicle information, such as a vehicle speed, using CAN (Controller Area Network).
  • the shooting date and time is information on the date and time when the image where the road facility is detected by the image recognition unit 12 is shot, and this information is given to the transmission image information generation unit 13 from a digital clock (not shown).
  • the road facility type is information indicating the type of road facility, for example, “traffic light”, “stop”, “pedestrian crossing”, “speed regulation”, etc. for road signs, and this information is road facility information database 17.
  • the recognition reliability is a score indicating the degree of coincidence between the road facility pattern stored in advance in the image recognition unit 12 and the pattern detected in the captured image, and this information is generated by the image recognition unit 12.
  • the data is given to the transmission image information generation unit 13 via the determination unit 14.
  • the photographed image is a still image photographed at the photographing date and time or a moving image (video) photographed for several seconds before and after the photographing date and time, and is given from the camera 11 to the transmission image information generating unit 13.
  • the transmission image information generation unit 13 may switch whether the captured image in the transmission image information is a still image or a moving image based on the speed of the vehicle and the transmission band margin of the transmission unit 20. In this case, when the speed of the vehicle acquired from the vehicle information acquisition unit 18 is high, or when there is a margin in the transmission band by the transmission unit 20, the transmission image information generation unit 13 uses the captured image in the transmission image information as a moving image. Otherwise, the captured image in the transmission image information is a still image.
  • the transmission image information generation unit 13 generates transmission image information when receiving an instruction from the determination unit 14, and also generates transmission image information when receiving a request for image transmission from the server request reception unit 21.
  • the transmission image information generation unit 13 inputs the transmission image information to the transmission unit 20.
  • the transmission unit 20 transmits and receives information to and from the information server 30 by wireless communication.
  • the transmission unit 20 transmits the transmission image information toward the information server 30 in accordance with the transmission instruction from the determination unit 14.
  • the transmission unit 20 receives a server request and database update information from the information server 30.
  • the server request received by the transmission unit 20 is processed by the server request reception unit 21.
  • the database update information received by the transmission unit 20 is processed by the database update unit 19.
  • the server request reception unit 21 instructs the transmission image information generation unit 13 to generate transmission image information according to the server request.
  • the server request will be described later.
  • the database update unit 19 updates the road facility information stored in the road facility information database 17 according to the information. The configuration of the in-vehicle device 10 has been described above.
  • FIG. 6 is a block diagram showing the configuration of the information server 30 in the present embodiment.
  • the information server 30 includes a transmission unit 31, an information determination unit 32, a confirmation list storage unit 33, a reference selection unit 34, a road facility management information database 35, a user interface 36, a database update unit 37, and a necessary unit.
  • An image request unit 38 is included.
  • the user interface 36 includes a display unit 361 and an input reception unit 362.
  • the display unit 361 is realized by the monitor 302 and the software that drives the monitor 302 in FIG. 2
  • the input receiving unit 362 is realized by the keyboard 303 and the mouse 304 and the software that drives them in FIG. 2, and the information server 30 in FIG.
  • the other components are realized by the hardware of the main body 301 in FIG. 2 and the software executed thereby.
  • the transmission unit 31 transmits and receives information to and from the in-vehicle device 10 by wireless communication.
  • the transmission unit 31 passes this to the information determination unit 32.
  • the transmission unit 31 transmits the update information to the in-vehicle device 10.
  • the transmission unit 31 transmits the server request to the in-vehicle device 10.
  • the information determination unit 32 sets the status (any one of “abnormality detection”, “new facility detection”, and “reference image”) included in the transmission image information. In response, the following processing is performed.
  • the information determination unit 32 performs a confirmation list update process.
  • the information determination unit 32 passes the transmission image information to the database update unit 37.
  • the database update unit 37 performs reference image update processing. Further, the information determination unit 32 performs a confirmation process for causing the confirmer to confirm the captured image.
  • confirmation list update processing Upon receiving the transmission image information from the transmission unit 31, the information determination unit 32 confirms the status in the metadata included in the transmission image information, and the status is “abnormality detection” or “new facility detection”. If so, a confirmation list update process is performed. Before describing the confirmation list update process by the information determination unit 32, first, presentation of confirmation target information using the confirmation list and the confirmation list will be described.
  • transmission image information related to the road facility may be transmitted from the plurality of vehicle-mounted devices 10 to the information server 30.
  • transmission image information related to a certain road facility is sent from the vehicle-mounted device 10
  • the confirmer immediately confirms, whether the captured image included in the transmission image information is abnormal in the road facility or a new
  • the information server 30 first receives the transmission image information regarding a certain road facility, and immediately confirms whether the road facility is abnormal or a new road facility with the confirmer. Rather than letting it go, let the confirmer check after a certain period of time.
  • the information server 30 uses the transmission image information that is easy for the confirmer to check among the plurality of pieces of transmission image information. Ask the confirmer to confirm.
  • the information server 30 includes a confirmation list storage unit 33.
  • FIG. 7 is a diagram showing a configuration of confirmation waiting information in the confirmation list stored in the confirmation list storage unit 33.
  • the confirmation list is a list in which a plurality of pieces of confirmation waiting information shown in FIG. 7 are listed.
  • the confirmation waiting information is configured by collecting a plurality of pieces of transmission image information for each piece of position information (captured position) related to the transmission image information transmitted from the in-vehicle device 10.
  • the confirmation waiting information includes position information, earliest shooting date and time, and a plurality of pieces of transmission image information.
  • the position information in the confirmation waiting information has a certain range, and the transmission image information in which the positioning information included in the metadata is within the range is combined into one confirmation waiting information.
  • the shooting date / time of the captured image of the transmission image information received first by the information server 30 is set as the earliest shooting date / time. Also, confirmation priority information is added to each transmission image information in the confirmation waiting information.
  • the information determination unit 32 when receiving the transmission image information whose status is “abnormality detection” or “new facility detection” from the transmission unit 31, the information determination unit 32 obtains the confirmation priority and sets the transmission image information in the transmission image information.
  • the confirmation priority is a priority when the confirmer visually confirms the captured image included in the transmission image information. That is, when there are a plurality of photographed images that the confirmer should visually confirm with respect to one road facility, the confirmer displays the images in order from the one with the highest priority.
  • the confirmation priority is obtained based on the shooting date / time, vehicle type, and vehicle speed in the metadata included in the transmission image information. Specifically, for example, the priority is lowered when the shooting date is night, and the priority is raised when it is daytime. This is because the road facility is more likely to appear clearly in the captured image during the daytime. Further, for example, when the vehicle type is a passenger car, the priority is lowered, when the vehicle type is a medium-sized bus, the priority is medium, and when the vehicle type is a large truck, the priority is increased. This is because the higher the position where the vehicle-mounted device 10 is installed, such as a large truck, is more likely to clearly show the road facility in the captured image.
  • the priority when the vehicle speed is 50 km / h or higher, the priority is lowered, and when the vehicle speed is less than 30 km / h or less than 50 km / h, the priority is set to medium, and the vehicle speed is less than 30 km / h. If there is, increase the priority. This is because there is a high possibility that the road facility appears more clearly in the captured image as the vehicle speed decreases.
  • the information determination unit 32 refers to the shooting date and time, the vehicle type, and the vehicle speed on the basis of the above, and takes the average of each priority as the confirmation priority. Note that the information determination unit 32 obtains the confirmation priority in consideration of the image reliability in the metadata included in the transmission image information, or may use the image reliability as it is as the confirmation priority.
  • the information determination unit 32 When the information determination unit 32 obtains the confirmation priority for the transmission image information received by the transmission unit 31, the information determination unit 32 updates the confirmation list stored in the confirmation list storage unit 33.
  • the number of pieces of transmission image information related to the same position information stored in the confirmation list is limited to a predetermined number (for example, 3).
  • the information determination unit 32 preferentially stores transmission image information having a high confirmation priority in the confirmation list storage unit 33.
  • the information determination unit 32 has the confirmation priority of the newly received transmission image information as When the confirmation priority of the transmission image information having the lowest confirmation priority among the transmission image information already stored is lower than the confirmation priority of the transmission image information, the newly received transmission image information is deleted, and the newly received transmission image information When the confirmation priority is higher than the confirmation priority of the transmission image information with the lowest confirmation priority among the transmission image information already stored, the transmission image information with the lowest confirmation priority is deleted, The newly received transmission image information is added to the confirmation list.
  • the confirmation priority is obtained, and the obtained confirmation priority is saved in the confirmation list storage unit 33. If it is higher than the confirmation priority of the image information, it is replaced with the transmission image information already stored, and the obtained confirmation priority is higher than the confirmation priority of the transmission image information stored in the confirmation list storage unit 33. If it is lower, the transmission image information is deleted. Further, it is not necessary to limit the number of transmission image information stored in the confirmation list storage unit 33 for one road facility. In this case, the confirmation priority is obtained for all received transmission image information, and is stored in the confirmation list storage unit 33.
  • the confirmation list update process has been described above.
  • reference image update processing Next, reference image update processing will be described.
  • the database update unit 37 Upon receiving the transmission image information whose status is “reference image” from the information determination unit 32, the database update unit 37 performs a reference image update process. Before describing the reference image update process by the database update unit 37, first, the road facility management information database 35 will be described.
  • FIG. 8 is a diagram showing the configuration of the road facility management information database 35.
  • the road facility management information database 35 stores road facility management information shown in FIG. 8 for each road facility.
  • the road facility management information includes a road facility ID, a road facility type, position information, a road facility status, and a plurality of transmission image information.
  • the number of transmission image information to be stored for each road facility is limited to a predetermined number (6 in the present embodiment).
  • the content and data format of the road facility ID, road facility type, position information, and road facility status are the same as the road facility ID, road facility type, and position information stored in the road facility information database 17 of the vehicle-mounted device 10, respectively. is there.
  • the captured image in the transmission image information included in the road facility management information becomes the reference image.
  • the road facility manager searches the road facility management information for which the road facility status is “damaged”, “hidden”, or “removed” to find the road facility in which the problem occurs, It can be repaired.
  • the initial value of the road facility status is “Normal”. That is, when the road facility management information database 35 is first constructed and when road facility management information of a new road facility is added based on the transmission image information, the road facility status becomes “normal”.
  • transmission image information whose status is “abnormality detection” is sent from the in-vehicle device 10 and the road facility management information database 35 is updated based on this, the road facility status is changed according to the contents of the update. It will be changed to “damage”, “concealment”, or “removal”.
  • the update of the road facility management information database 35 based on the confirmation result of the manager will be described later.
  • the database update unit 37 When the database update unit 37 newly receives transmission image information from the information determination unit 32, the database update unit 37 refers to the metadata of the transmission image information and identifies the road facility.
  • the database update unit 37 searches the road facility management information database 35. If the road facility management information database 35 does not have the road facility management information of the road facility, the database update unit 37 newly adds the road facility management information database 35 to the road facility management information database 35. Road facility management information is created, and the newly received transmission image information is added to the road facility management information. If there is road facility management information corresponding to the newly received transmission image information as a result of searching the road facility management information database 35, the database update unit 37 has already transmitted the upper limit number of transmission images in the road facility management information. Check if the information is included. If the number of transmission image information does not reach the upper limit, newly received transmission image information is added to the road facility management information.
  • the recognition reliability of the transmission image information included in the road facility management information is checked.
  • the road facility management information database 35 is not updated, and the new Delete the transmitted image information received in If the newly received transmission image information is higher than the recognition reliability of any transmission image information included in the road facility management information, the transmission image information with the lowest recognition reliability is deleted and newly received.
  • the transmitted image information is added to the road facility management information.
  • the information determination unit 32 further performs a confirmation process for causing the confirmer to confirm the image.
  • the information determination unit 32 confirms whether or not the captured image confirmation processing is performed on the user interface 36. If the captured image confirmation processing is not performed on the user interface 36, the information determination unit 32 stores the confirmation list. By referring to the confirmation list of the unit 33, it is checked whether there is confirmation waiting information for which a predetermined time (for example, 72 hours) has passed since the earliest photographing date / time. If there is confirmation waiting information for which a predetermined time has passed, the transmission image information having the highest confirmation priority in the confirmation waiting information is output to the reference selection unit 34.
  • the information determination unit 32 has been described above.
  • the reference selection unit 34 When the reference selection unit 34 receives the transmission image information for the confirmer to confirm from the information determination unit 32 (hereinafter, this transmission image information is referred to as “confirmation target information”), the reference selection unit 34 searches the road facility management information database 35. Then, the road facility management information corresponding to the confirmation target information is extracted. When there is only one transmission image information in the road facility management information, the reference selection unit 34 selects the transmission image information as reference information.
  • the extracted road facility management information includes a plurality of pieces of transmission image information
  • transmission image information whose shooting condition of the shot image is closest to the shooting condition of the shooting image of the confirmation target information is selected as reference information.
  • the degree of approximation of the shooting condition of the shot image is determined based on the shooting time zone, the vehicle type, the vehicle speed at the time of shooting, the distance from the shooting position to the road facility, and whether the shot image is a still image or a moving image.
  • the shooting time zone is determined with reference to the shooting date and time in the metadata.
  • the vehicle type is determined with reference to the vehicle type in the metadata. When the vehicle types are the same, the degree of approximation is the highest.
  • the vehicle speed at the time of shooting refers to the vehicle speed in the metadata
  • the vehicle speed at the time of shooting the captured image (hereinafter referred to as “check target image”) included in the confirmation target information The difference is determined based on whether the difference is larger or smaller than a predetermined threshold. Whether the shooting position is far or close to the road facility is determined based on whether the distance between the position information of the road facility and the shooting position of the transmission image information is larger or smaller than a predetermined threshold. Whether the captured image is a still image or a moving image is determined by the data format of the captured image.
  • the reference selection unit 34 sends the reference information selected in this way and the confirmation target information received from the information determination unit 32 to the display unit 361.
  • the road management information is usually not stored in the road facility management information database 35 for the road facility.
  • the reference selection unit 34 outputs only the confirmation target information to the display unit 361.
  • the reference selection unit 34 extracts other transmission image information related to the road facility from the confirmation list storage unit 33.
  • the image information may be output to the display unit 361 together with the transmission image information already received from the information determination unit 32. That is, in this case, a plurality of pieces of confirmation target information are output to the display unit 361 instead of having no reference information.
  • the transmission image information received from the information determination unit 32 is stored again in the confirmation list storage unit 33 for a certain period of time. You may make it wait for elapse. If other transmission image information is transmitted during this fixed time, the reference selection unit 34 can output a plurality of pieces of confirmation target information to the display unit 361.
  • the reference selection unit 34 requests a necessary image from the necessary image request unit 38.
  • the necessary image request unit 38 generates a server request and transmits it to the plurality of in-vehicle devices 10 via the transmission unit 31.
  • FIG. 9 and 10 are examples of confirmation screens displayed on the display unit 361 of the user interface 36.
  • FIG. FIG. 9 is an example of a confirmation screen when the status of the confirmation target information is “abnormality detection”.
  • the confirmation screen 60 includes a confirmation basic information area 601, an image area 602, and an input area 603.
  • the confirmation basic information area 601 includes information on the photographing position, photographing time, and road facility type of the confirmation target information.
  • the road facility type (“sign (70 km speed limit)”) and the content (“removal”) input in the input area 603 are displayed in association with each other.
  • the confirmation target image and the reference image are displayed side by side.
  • the confirmation target image is displayed as “latest image”, and the reference image is displayed as “reference image”. When there is no reference image, only the confirmation target image is displayed in the image area 602.
  • the input area 603 constitutes the input receiving unit 362 and is used by the confirmer to input the confirmation result by operating the keyboard 303 and the mouse 304.
  • the input area 603 is configured to select whether to update the database. In addition, it is configured to select how the confirmation target image is different from the reference image when the database is updated.
  • the options at that time are “damage”, “correction”, “concealment”, and “removal”.
  • When “correction” is selected how to correct the road facility type is further selected.
  • “Correct” is selected and the road facility type is selected, the road facility type in the confirmation basic information area 601 is changed accordingly.
  • the input area 603 is further provided with “execute” and “cancel” buttons. When the “Cancel” button is designated, the item selected in the input area 603 is canceled. When the “execute” button is designated, the selected item is confirmed, and the selected item is notified from the input receiving unit 362 to the database update unit 37.
  • FIG. 10 is an example of a confirmation screen when the status of the confirmation target information is “new facility detection”.
  • the confirmation screen 70 includes a confirmation basic information area 701, an image area 702, and an input area 703.
  • the confirmation basic information area 701 includes information on the photographing position, photographing time, and road facility type of the confirmation target information.
  • the road facility type (“sign (70 km speed limit)”) and “new detection” are displayed in association with each other.
  • the confirmation target image is displayed as “latest image”. When there is a reference image, the reference image is displayed in the image area 702 along with the confirmation target image.
  • the input area 703 constitutes the input receiving unit 362 and is used by the confirmer to input the confirmation result by operating the keyboard 303 and the mouse 304.
  • the input area 703 is configured to select whether transmission image information relating to the confirmation image is added to the road facility management information database 35 as road facility management information.
  • the transmission image information is added to the road facility management information database 35, is it added according to the content of the road facility type indicated in the confirmation basic information area 701 or is added after correcting the road facility type? Is configured to select.
  • “correction” it is further configured to select how to correct the road facility type.
  • “Correct” is selected and the road facility type is selected, the road facility type in the confirmation basic information area 701 is changed accordingly.
  • the input area 703 is further provided with “execute” and “cancel” buttons.
  • “Cancel” button When the “Cancel” button is designated, the item selected in the input area 703 is canceled.
  • the “execute” button When the “execute” button is designated, the selected item is confirmed, and the selected item is notified from the input receiving unit 362 to the database update unit 37.
  • the database updating unit 37 When the database updating unit 37 receives a notification from the input receiving unit 362 to update the road facility management information database 35 or to add new road facility management information to the road facility management information database 35, the road facility management information is updated accordingly.
  • the information database 35 is updated.
  • the database update unit 37 receives a notification of addition of new road facility management information from the input reception unit 362 to the database as an input of a confirmer for the confirmation target image for new facility detection, the database update unit 37 displays the transmission image information.
  • the new road facility management information is added to the road facility management information database 35 as new road facility management information. At this time, if correction is selected for the road facility type, the road facility type of the transmission image information is corrected in accordance with the selected correction content and added as new road facility management information.
  • the database update unit 37 When the database update unit 37 receives a database update notification from the input reception unit 362 as an input of the confirmer for the confirmation target image for abnormality detection, the database update unit 37 updates the road facility management information database 35 according to the specified update content. Update.
  • the database update unit 37 sets the road facility status to “corrupted”, “concealed”, or Change to “Removal”.
  • the road facility management information database 35 stores up to six types of transmission image information one by one, but the database update unit 37 stores the original information stored in the update.
  • the transmission image information confirmed by the confirmer is newly stored in the road facility management information database 35 as road facility management information.
  • the update content input by the input receiving unit 362 is “correction”, the road facility type is corrected according to the correction content, the road facility status is “normal”, and the transmission image information is changed to the road. Saved in the facility management information database 35.
  • the database update unit 37 updates the road facility status for the road facility and does not delete the original road facility management information when the update content is “damaged”, “concealed”, or “removed”.
  • the transmission image information confirmed by the confirmer may be added to the road facility management information of the road facility. In this case, if the abnormality is resolved by the road facility manager, the original road facility management information can be reused as information on the road facility.
  • the road facility management information database 35 When the road facility management information database 35 is updated, the road facility management information database 35 notifies the database update information including the updated contents to all the in-vehicle devices 10 using the transmission unit 31. As described above, in each in-vehicle device 10, the transmission unit 20 receives this database update information and updates the road facility information database 17 accordingly. In this way, by updating the road facility information database 17 in all the in-vehicle devices 10, even when there is an abnormality in the road facility, the information is reflected in the road facility management information database 35 of the information server 30. The in-vehicle device 10 does not send the transmission image information whose status is “abnormality detection”, and it is possible to avoid checking the road facility once confirmed by the confirmer.
  • the in-vehicle device 10 when the road facility is repaired by the road facility manager and returned to a normal state, when the in-vehicle device 10 captures the road facility, the captured image is different from the information in the road facility information database 17. Therefore, the in-vehicle device 10 sets this as “abnormality detection” and transmits the transmission image information to the information server 30.
  • the checker can check whether the image has been repaired and returned to a normal state by using the image of the road facility that has been repaired and returned to a normal state as a check target image using the image in which the abnormality has occurred as a reference image.
  • FIG. 11 is an operation flowchart of the in-vehicle device 10.
  • the in-vehicle device 10 first monitors whether the road facility information or the image recognition result is notified to the determination unit 14. Specifically, it is determined whether road facility information is notified from the facility grasping unit 15 to the determining unit 14 (step S101). If there is no notification (NO in step S101), it is next determined whether or not the image recognition result of the road facility is notified from the image recognition unit 12 to the determination unit 14 (step S102). If there is no notification (NO in step S102), the process returns to step S101 to monitor whether the road facility information or the image recognition result is continuously notified.
  • step S101 If the road facility information is notified from the facility grasping unit 15 to the determination unit 14 (YES in step S101), whether the image recognition result corresponding to the road facility information is notified from the image recognition unit 12 to the determination unit 14 It is determined whether or not (step S103). If the image recognition result corresponding to the road facility information is not notified (NO in step S103), the transmission image information generation unit 13 generates transmission image information including a captured image corresponding to the road facility information. Then, the generated transmission image information is transmitted from the transmission unit 20 to the information server 30 (step S104). At this time, the status of the transmission image information is “abnormality detection”. On the other hand, when the image recognition result corresponding to the road facility information is notified in step S103 (YES in step S103), the process proceeds to a reference image transmission determination process.
  • step S105 When the image recognition result of the road facility is notified in step S102 (YES in step S102), it is determined whether or not there is noise in the positioning information of GPS 16 (step S105).
  • the transmission image information generation unit 13 generates transmission image information including a captured image related to the image recognition result, and transmits the generated transmission image information to the information server 30 from the transmission unit 20 (step S106). At this time, the status of the transmission image information is “new facility detection”.
  • the process proceeds to reference image transmission determination processing after correction by map matching.
  • step S105 If it is determined in step S105 that there is no noise in the positioning information of the GPS 16, whether the road facility information related to the image recognition result notified in step S102 is in the road facility information database 17 is searched again. You may go. As a result of this search, if the road facility information is certainly not in the road facility information database 17, the process proceeds to step S ⁇ b> 106, and the transmission image information including the captured image related to the image recognition result is transmitted to the transmission image information generation unit 13. And the generated transmission image information may be transmitted from the transmission unit 20 to the information server 30.
  • FIG. 12 is an operation flowchart of the reference image transmission determination process in the in-vehicle device 10.
  • the image recognition unit 12 sets the recognition reliability for the captured image related to the reference image transmission determination process (step S111).
  • a score indicating the degree of coincidence of pattern matching in image recognition by the image recognition unit 12 is set as the recognition reliability.
  • the result of the image recognition is already notified to the determination unit 14 in step S102 or step S103 of the flow of FIG. 10 (road facility is detected).
  • the score of pattern matching exceeds at least a threshold value (eg, 60) at which road facilities are detected.
  • a threshold for example, 80
  • the transmission image information generation unit 13 When the recognition reliability is equal to or higher than the predetermined threshold (YES in step S112), the transmission image information generation unit 13 generates transmission image information including the captured image, and the generated transmission image information is transmitted to the transmission unit 20. To the information server 30 (step S113). At this time, the status of the transmission image information is “reference image”. If the recognition reliability is less than the predetermined threshold (NO in step S112), the process is terminated as it is.
  • FIG. 13 is an operation flowchart when the information server 30 receives the transmission image information.
  • the information server 30 first performs status determination (step S122).
  • the status determination process is performed by confirming the status in the metadata included in the transmission image information received by the information determination unit 32.
  • the process proceeds to step S123, and the information determination unit 32 performs a confirmation list update process.
  • the process proceeds to step S131, and the database update unit 37 performs reference image update processing.
  • step S123 it is determined whether there is confirmation waiting information for the same position as the image transmission information in the confirmation list of the confirmation list storage unit 33 (step S123). If there is no confirmation wait information for the same position in the confirmation list (NO in step S123), new confirmation wait information including the image transmission information is created (step S124).
  • position information refers to information on the shooting position in the metadata included in the image transmission information, and is also included in the image transmission information.
  • the shooting date and time in the metadata is “first shooting date and time” (see FIG. 7).
  • step S123 If confirmation waiting information for the same position is already in the confirmation list (YES in step S123), whether or not the number of pieces of transmission image information included in the confirmation waiting information is a predetermined upper limit value (for example, 3). Is determined (step S125). If the number of pieces of transmission image information has not reached the upper limit value (NO in step S125), the transmission image information is added to the confirmation wait information (step S126). If the number of pieces of transmission image information has already reached the upper limit (YES in step S125), a confirmation priority of the transmission image information is obtained (step S127), and the obtained confirmation priority is included in the confirmation waiting information. It is determined whether it is lower than the confirmation priority of all transmitted image information (step S128).
  • a predetermined upper limit value for example, 3
  • step S1228 If the obtained confirmation priority is lower than the confirmation priority of all transmission image information included in the confirmation waiting information (YES in step S128), the transmission image information is deleted (step S129), and the process is terminated. To do.
  • the obtained confirmation priority is higher than the confirmation priority of any transmission image information included in the confirmation waiting information (NO in step S128), the confirmation priority is determined from the transmission image information included in the confirmation waiting information. The transmission image information with the lowest priority is deleted, and the newly received transmission image information is added to the confirmation waiting information instead (step S130).
  • step S131 it is determined whether or not the road facility management information database 35 has road facility management information for the same position as the newly received image transmission information (step S131). If there is no road facility management information for the same position (NO in step S131), new road facility management information including the image transmission information is created (step S132).
  • the “road facility ID” (see FIG. 8) is given by the database updating unit 37 so as not to overlap with other road facility management information, and “location information” (FIG. 8).
  • Reference refers to the information of the shooting position in the metadata included in the image transmission information, and the road facility type in the metadata included in the image transmission information is “road facility type” (see FIG. 8). And
  • step S133 If road facility management information for the same position already exists in the road facility management information database 35 (YES in step S131), the number of pieces of transmission image information included in the road facility management information is set to a predetermined upper limit (for example, 6) is determined (step S133). If the number of transmission image information has not reached the upper limit value (NO in step S133), the transmission image information is added to the road facility management information (step S134). If the number of transmission image information has already reached the upper limit (YES in step S133), the recognition reliability of the transmission image information is higher than the recognition reliability of all transmission image information included in the road facility management information. It is determined whether it is low (step S135).
  • a predetermined upper limit for example, 6
  • the transmission image information is deleted (step S136). ) End the process.
  • the recognition reliability of the transmission image information is higher than the recognition reliability of any transmission image information included in the road facility management information (NO in step S135), the transmission image included in the road facility management information Of the information, the transmission image information with the lowest recognition reliability is deleted, and the newly received transmission image information is added to the road facility management information instead (step S136). The operation when the information server 30 receives the transmission image information has been described above.
  • FIG. 14 is an operation flow diagram of the information server for allowing the confirmer to confirm the captured image.
  • the information server 30 first determines whether or not the interface 36 is busy (step S141). In this step, it is determined that a certain road facility is busy when the confirmation process of the photographed image is being performed by the interface 36, and the busy condition is determined when the confirmation process of the photographed image is not being performed. Judge that there is no. If it is busy (YES in step S141), step S141 is repeated again to wait until it is no longer busy.
  • step S141 If it is not busy at step S141 (NO at step S141), the confirmation waiting information with the earliest photographing date / time is specified in the confirmation list of the confirmation list storage unit 33, and a predetermined time ( It is determined whether or not 72 hours have elapsed (step S142). If the predetermined time has not elapsed (NO in step S142), the process returns to step S141. When the predetermined time or more has already elapsed from the earliest shooting date / time of the confirmation waiting information (YES in step S142), the information determination unit 32 determines the confirmation priority of the transmission image information in the confirmation waiting information. The highest transmission image information is output to the reference selection unit 34 as confirmation target information (step S143).
  • the reference selection unit 34 selects, from the transmission image information stored in the road facility management information database 35, transmission image information whose shooting target conditions are closer to the confirmation target information as reference information (step S144). At this time, if the corresponding transmission image information is not in the road facility management information database 35, the reference information is not selected. Next, the reference selection unit 34 outputs the confirmation target information and the reference information to the user interface 36 (Step S145).
  • the information server 30 when the information server 30 receives the transmission image information whose status is “abnormality detection” or “new facility detection” from the in-vehicle device 10, the information server 30 checks the captured image included in the transmission image information. However, when the reliability of the received transmission image information is extremely high, the information determination unit 32 omits the confirmation by the confirmer and based on the transmission image information, the road facility management information
  • the database 35 may be updated directly.
  • the information determination unit 323 refers to the recognition reliability included in the transmission image information, and updates the transmission image information in the database when the value is equal to or greater than a predetermined threshold value (for example, 95 or more). Output directly to the unit 37.
  • the database update unit 37 receives the transmission image information from the information determination unit 32, the database update unit 37 updates the road facility management information database 35 based on the transmission image information.
  • road facility information including position information is stored in the road facility information database 17, and the facility grasping unit 15 of the in-vehicle device 10 has corresponding position information based on the positioning information of the GPS 16.
  • Road facility information has been extracted, but road facility information database 17 stores road facility information including direction information of the road facility in addition to position information, and facility grasping unit 15 adds the positioning information,
  • the corresponding road facility information may be extracted in consideration of the traveling direction of the vehicle C obtained from the in-vehicle gyro sensor.
  • the road facility direction information is information indicating from which direction the road facility can be seen. Accordingly, it is possible to prevent the vehicle C traveling in the down lane from detecting the sign for the up lane and determining “abnormality detection”.
  • the road facility information database 17 of the in-vehicle device 10 is used to detect an abnormality or a new facility from an image taken by the camera 11, but this road facility information database 17 is used.
  • information for driving assistance may be given to the driver of the vehicle C.
  • the in-vehicle device 10 searches the road facility information database 17 for road facility information corresponding to the current position of the vehicle, and presents the road facility information to the driver by voice or the like. For example, if there is a sign “Stop” ahead of the current position of the vehicle and the road facility status is “Concealed,” “The sign is concealed, but it is paused.” A voice output is issued to alert the driver.
  • the contents of the road facility information database 17 may be given to the navigation system. In this case, the navigation system can guide the driver where the road facility is located, including the status of the road facility.
  • the road facility information is transferred from the in-vehicle device 10 to the information server 20 by storing the road facility information in a recording medium such as a flash memory in the in-vehicle device 10. You may carry out by reading road facility information from a medium.
  • a road facility management system that mainly manages road facilities such as signs is described as an example of the road state management system of the present invention.
  • the road state management system of the present invention is a road facility.
  • the system may also manage other road conditions such as a depressed portion of a road due to an earthquake or heavy rain, a hole formed in the road, or a fallen object on the road.
  • the database road condition information database
  • the confirmer confirms the road abnormality as described above, the database (road condition information database) corresponding to the road facility information database 17 is updated.
  • the road abnormality may be deleted from the road condition information database.
  • the road facility management system has an effect of being able to grasp an accurate state of a road situation and suppressing a burden on a confirmer, and obtains road situation information with a vehicle. It is useful as a road condition management system for managing road conditions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

 本発明は、道路状況の正確な状態を把握できるとともに、確認者の負担を抑えることのできる道路状況管理システムを提供する。道路施設を管理するための道路施設管理システム(100)は、車載機(10)及び情報サーバ(30)で構成される。車載機(10)は、車両の外部を撮影するよう車両に取り付けられるカメラ(11)と、撮影画像に対して、道路施設を検出するための画像認識を行う画像認識部(12)と、撮影画像を含む送信画像情報を生成する送信画像情報生成部(13)と、道路施設情報を記憶した道路施設情報データベース(17)と、画像認識部(12)による認識結果が道路施設情報データベース(17)に記憶された道路施設情報と異なる場合に、送信画像情報を出力する伝送部(20)とを備えている。情報サーバ(30)は、送信画像情報を受け付ける伝送部(31)と、送信画像情報に含まれる撮影画像を、確認者が目視で確認できるよう表示する表示部(361)と、確認者が表示部(361)に表示された撮影画像の確認結果を入力するための入力受付部(362)とを備えている。

Description

道路状況管理システム及び道路状況管理方法 関連する出願
 本出願では、2010年3月3日に日本国に出願された特許出願番号2010-046596の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
 本発明は、標識等の道路状況を管理する道路状況管理システム及び道路状況管理方法に関し、具体的には車両にて道路状況の情報を取得して道路状況を管理する道路状況管理システム及び道路状況管理方法に関するものである。
 従来より、車両にて道路状況の情報を取得して道路状況情報を管理する道路状況管理システムが知られている。このシステムは、道路状況の情報を取得するために車両に備えられる車載機と、道路状況の情報を管理する情報サーバからなる。車載機は、道路状況を撮影するためのカメラと、カメラで得られた撮影画像に対して画像認識を行って道路状況を検出する認識装置とを有している。情報サーバは、車両にて検出された道路状況の情報を収集して、管理する。
 このような道路状況管理システムを利用することにより、例えば、公安当局等の道路管理機関の管理者(道路状況管理者)は、道路状況に異常があることを把握して、道路状況を修理する等の対応をとることができる。この場合には、車載機は例えば警察車両に搭載することができる。
 このような道路状況管理システムでは、道路状況の管理を自動化するために、車載機において、カメラで道路状況を撮影し、認識装置のソフトウェアで画像認識を行うという手段を採用している。よって、情報サーバにて管理する道路状況情報の信頼度を向上させるためには、画像認識の精度を向上させる必要がある。
 車両に搭載した車載機によって、道路の画像を取得して、その画像に対して画像認識を行うことで道路状況を検出して、画像認識の結果情報を情報センタに送るシステムとしては、特許文献1に記載のシステムがある。このシステムでは、画像認識の結果の信頼性を向上すべく、情報センタでは、車載機から取得した画像認識の結果と過去に蓄積された同位置の画像認識の結果との差から、画像認識の確信度を求めている。
特開2004-171159号公報
 しかしながら、特許文献1のシステムでは、単に画像認識の確信度を求め、又は確信度の平均を求めているのみであるので、画像認識の結果の信頼度の低い道路状況の情報が存在してしまう。
 さらに、特許文献1のシステムでは、道路状況の検出はソフトウェアによる画像認識処理に依存しているが、画像認識処理では誤認識の可能性があるため、情報の確実性を高めるためには複数のサンプルデータが必要になるとともに、どれだけのサンプルデータを集めれば十分な確実性が得られるかが不明確である。
 本発明は、上記の問題に鑑みてなされたものであり、その目的は、ソフトウェアによる画像認識処理よりも確実な人間(確認者)の認知能力によって道路状況の状態を確認することを前提として、確認者がそのような確認をするのに便利な道路状況管理システムを提供することである。
 本発明の一態様は、道路状況を管理するための道路状況管理システムであって、この道路状況管理システムは、車載機と情報サーバを含む構成を有している。車載機は、車両の外部を撮影するよう車両に取り付けられるカメラと、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、撮影画像を含む送信画像情報を生成する送信画像情報生成部と、道路状況情報を記憶した道路状況情報データベースと、画像認識部による認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力部とを備える構成を有している。情報サーバは、送信画像情報を受け付ける受付部と、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、確認者が出力部より出力された撮影画像の確認結果を入力するための入力部とを備える構成を有している。
 本発明の別の態様は、車載機であって、この車載機は、車両の外部を撮影するよう車両に取り付けられるカメラと、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、撮影画像を含む送信画像情報を生成する送信画像情報生成部と、道路状況情報を記憶した道路状況情報データベースと、画像認識部による認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力部とを備える構成を有している。
 本発明のさらに別の態様は、道路状況を管理するための情報サーバであって、この情報サーバは、車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付部と、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、確認者が撮影画像出力部より出力された撮影画像の確認結果を入力するための入力部とを備える構成を有している。
 本発明のさらに別の態様は、車載機及び情報サーバを含む道路状況管理システムを用いて実行される道路状況管理方法であって、この道路状況管理方法は、車載機にて、カメラで車両の外部を撮影し、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行い、画像認識の結果が、車載機のデータベースに記憶された道路状況情報と異なる場合に、撮影画像を含む送信画像情報を出力し、情報サーバにて、送信画像情報を受け付け、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力し、確認者が、出力された撮影画像を確認して、確認結果を入力する構成を有している。
 本発明のさらに別の態様は、プログラムであって、このプログラムは、車両の外部を撮影するよう車両に取り付けられるカメラと、道路状況情報を記憶した道路状況情報データベースとを有する車載機に、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識ステップと、撮影画像を含む送信画像情報を生成する送信画像情報生成ステップと、画像認識ステップによる認識結果が道路状況情報データベースに記憶された道路状況情報と異なるか否かを判定するステップと、画像認識ステップによる認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力ステップとを実行させる。
 本発明のさらに別の態様は、プログラムであって、このプログラムは、道路状況を管理するための情報サーバに、車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付ステップと、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力ステップと、撮影画像出力ステップにて出力された撮影画像に対する確認者による確認結果を受け付ける確認結果受付ステップとを実行させる。
 本発明は、確認者が撮影画像を目視で確認するので、道路状況の正確な状態を把握できるとともに、確認者は、すべての撮影画像ではなく確認が必要な撮影画像のみを目視で確認して、その確認の結果を入力できるので、確認者の負担を抑えることができるという効果を有する道路状況管理システムを提供することができるものである。
 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図1は、本発明の実施の形態における車載機の構成を示すブロック図 図2は、本発明の実施の形態における道路施設管理システムの構成を示す図 図3は、本発明の実施の形態における車載機の道路施設情報データベースの構成を示す図 図4(a)は、樹木の陰になっている道路標識を撮影する状況を示す図 図4(b)は、樹木の陰になっている道路標識を撮影して得られた画像を示す図 図5は、本発明の実施の形態における車載機から情報サーバに送信される送信画像情報のシンタックスを示す図 図6は、本発明の実施の形態における情報サーバの構成を示すブロック図 図7は、本発明の実施の形態における確認リストの構成を示す図 図8は、本発明の実施の形態における情報サーバの道路施設管理情報データベースの構成を示す図 図9は、本発明の実施の形態における確認画面(ステータス:異常検出)を示す図 図10は、本発明の実施の形態における確認画面(ステータス:新規施設検出)を示す図 図11は、本発明の実施の形態における車載機の動作フロー図 図12は、本発明の実施の形態における車載機のリファレンス画像送信判定処理の動作フロー図 図13は、本発明の実施の形態における情報サーバの送信画像情報受信時の動作フロー図 図14は、本発明の実施の形態における確認者に撮影画像を確認させるための動作フロー図
 以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、特許請求の範囲を限定するものではない。
 本発明の一態様は、道路状況を管理するための道路状況管理システムであって、この道路状況管理システムは、車載機と情報サーバを含む構成を有している。車載機は、車両の外部を撮影するよう車両に取り付けられるカメラと、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、撮影画像を含む送信画像情報を生成する送信画像情報生成部と、道路状況情報を記憶した道路状況情報データベースと、画像認識部による認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力部とを備える構成を有している。情報サーバは、送信画像情報を受け付ける受付部と、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、確認者が出力部より出力された撮影画像の確認結果を入力するための入力部とを備える構成を有している。
 この構成により、車載機は、撮影画像に対して画像認識を行った結果がデータベースに記憶された道路状況情報と異なる場合に送信画像情報を出力し、情報サーバは、撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、確認者が出力部より出力された撮影画像の確認結果を入力するための入力部とを備えるので、確認者が撮影画像を目視で確認することで、道路状況の正確な状態を把握できるとともに、確認者は、すべての撮影画像ではなく確認が必要な撮影画像のみを目視で確認して、その確認の結果を入力できるので、確認者の負担を抑えることができる。
 上記の道路状況管理システムにおいて、情報サーバは、道路状況を管理するための道路状況管理情報を記憶した道路状況管理情報データベースを備え、確認結果に従って、道路状況管理情報データベースを更新する。
 この構成により、情報サーバの道路状況管理情報データベースは、確認者が目視で確認した結果を反映するよう更新されるので、情報サーバにて道路状況の正確な情報を管理できる。
 上記の道路状況管理システムにおいて、車載機は、確認結果に従って、道路状況情報データベースを更新する。
 この構成により、確認者が道路状況の異常や新規の道路状況を確認した後には、それに従って車載機のデータベースが更新され、その後は同じ道路状況について送信画像情報が送られてこなくなるため、確認者が同一の道路状況について重複して確認することを避けられる。
 上記の道路状況管理システムにおいて、車載機は、画像認識部にて、道路状況情報データベースに記憶されている道路状況情報に対応する道路状況が検出されなかったときに、送信画像情報出力部にて送信画像情報を出力する。
 この構成により、車載機のデータベースに従えば存在するはずの道路状況をカメラで撮影できなかった場合に、確認者が撮影画像を確認することになる。確認者は、撮影画像を確認することで、その道路状況が隠蔽されており、又は破損している等、道路状況の修理等の対応が必要であるか、又は単に大型車両の陰になってその道路状況を撮影できなかった、又は画像認識が不正確であっただけである等、道路状況の修理等の対応が不要であるかを判断できる。
 上記の道路状況管理システムにおいて、車載機は、画像認識部にて、道路状況情報データベースに記憶されていない道路状況が検出されたときに、送信画像情報生成部にて送信画像情報を生成する。
 この構成により、車載機のデータベースには記憶されていない道路状況をカメラで撮影した場合に、確認者が撮影画像を確認することになる。確認者は、撮影画像を確認することで、その道路状況が確かに存在するのか、又は画像認識に誤りがある等、実際には新規の道路状況はないのかを判断できる。
 上記の道路状況管理システムにおいて、道路状況管理情報には、リファレンス画像が含まれており、情報サーバは、撮影画像に対応するリファレンス画像を道路状況管理情報データベースから選択するリファレンス選択部を備え、撮影画像出力部は、撮影画像とともに、リファレンス選択部にて選択されたリファレンス画像を出力する。
 この構成により、確認者は、撮影画像をリファレンス画像と比較しながら確認できるので、道路状況に異常があるか等を便利に判断できる。
 上記の道路状況管理システムにおいて、道路状況管理情報には、一の道路状況について複数のリファレンス画像が含まれており、リファレンス選択部は、撮影画像出力部にて出力する撮影画像と撮影条件が最も近いリファレンス画像を選択する。
 この構成により、確認者は、撮影画像とともに、その撮影画像と撮影条件の似たリファレンス画像を確認できるので、道路状況に異常があるか等について、より正確な判断ができる。
 上記の道路状況管理システムにおいて、送信画像情報出力部は、画像認識部による検出結果が道路状況情報データベースに記憶された道路状況情報と一致する場合にも、画像認識部による画像認識の信頼度が高い場合には、撮影画像をリファレンス画像候補として指定した送信画像情報を出力し、情報サーバは、リファレンス画像候補を道路状況管理情報のリファレンス画像として道路状況管理情報データベースに記憶する。
 この構成により、情報サーバは、車載機で得られた画像認識の信頼度が高い撮影画像をリファレンス画像として記憶することができる。
 上記の道路状況管理システムにおいて、画像認識の信頼度は、予め記憶された道路状況のパターンと撮影画像に含まれるパターンの一致度である。
 この構成により、情報サーバは、予め記憶された道路状況のパターンに近い撮影画像をリファレンス画像として記憶することができる。
 上記の道路状況管理システムにおいて、情報サーバは、送信画像情報に含まれる撮影画像に対応するリファレンス画像が道路状況管理情報サーバに記憶されていないときは、車載機に対して当該撮影画像に対応するリファレンス画像候補を要求する必要画像要求部を備え、送信画像情報出力部は、要求に応じて撮影画像に対応する撮影画像を含む送信画像情報を出力する。
 この構成により、情報サーバにリファレンス画像がない場合に、車載機からリファレンス画像候補を取得することができる。
 上記の道路状況管理システムにおいて、撮影画像出力部は、一の道路状況について、受付部が複数の送信画像情報を受け付けた場合において、当該複数の送信画像情報のうち、確認優先度の高い送信画像情報に含まれる撮影画像を優先して出力する。
 この構成により、確認者は、同一の道路状況について、重複して撮影画像を確認する必要がなくなるとともに、複数の撮影画像のうちの優先度の高いものを優先して確認できる。
 上記の道路状況管理システムにおいて、確認優先度は、送信画像情報に含まれる撮影画像の撮影時間帯、車両種別、及び撮影時の車両速度の少なくともいずれか1つに基づいて求められる。
 この構成により、確認者がより確認をしやすい撮影画像が優先される。
 上記の道路状況管理システムにおいて、情報サーバは、受付部にて受け付けた送信画像情報を保存するための確認リスト保存部を備え、撮影画像出力部は、確認リスト保存部に保存された送信画像情報を出力する。
 この構成により、情報サーバは、送信画像情報を受け付けても直ちにこれに含まれる撮影画像でもって確認者に確認をさせるのではなく、受け付けた送信画像情報をいったん確認リスト保存部に保存するので、同一の道路状況について複数の送信画像情報を取得することができ、確認者にそのうちの優先度の高い撮影画像で確認をさせることができる。
 上記の道路状況管理システムにおいて、車載機の送信画像情報出力部は、無線通信により情報サーバに送信画像情報を送信し、情報サーバの受付部は、無線通信により車載機から送信画像情報を受信する。
 この構成により、車載機と情報サーバとの間の無線通信を利用して送信画像情報の送受信をすることができる。
 上記の道路状況管理システムにおいて、車載機の送信画像情報出力部は、記録媒体に送信画像情報を記録し、情報サーバの受付部は、記憶媒体から送信画像情報を読み出す。
 この構成により、車載機と情報サーバとの間で、記録媒体を利用して送信画像情報の受け渡しをすることができる。
 本発明の別の態様は、車載機であって、この車載機は、車両の外部を撮影するよう車両に取り付けられるカメラと、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、撮影画像を含む送信画像情報を生成する送信画像情報生成部と、道路状況情報を記憶した道路状況情報データベースと、画像認識部による認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力部とを備える構成を有している。
 この構成により、カメラによる撮影で得られた撮影画像の中から、確認者による確認が必要な画像を出力できるので、確認者の目視による確認に便利である。
 本発明のさらに別の態様は、道路状況を管理するための情報サーバであって、この情報サーバは、車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付部と、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、確認者が撮影画像出力部より出力された撮影画像の確認結果を入力するための入力部とを備える構成を有している。
 この構成により、確認者は、撮影画像を目視で確認して、その確認結果を入力できるので、道路状況の情報を正確に管理できる。
 本発明のさらに別の態様は、車載機及び情報サーバを含む道路状況管理システムを用いて実行される道路状況管理方法であって、この道路状況管理方法は、車載機にて、カメラで車両の外部を撮影し、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行い、画像認識の結果が、車載機のデータベースに記憶された道路状況情報と異なる場合に、撮影画像を含む送信画像情報を出力し、情報サーバにて、送信画像情報を受け付け、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力し、確認者が、出力された撮影画像を確認して、確認結果を入力する構成を有している。
 この方法によっても、上記の道路状況管理システムと同様に、確認者が撮影画像を目視で確認するので、道路状況の正確な状態を把握できるとともに、確認者は、すべての撮影画像ではなく確認が必要な撮影画像のみを目視で確認して、その確認の結果を入力できるので、確認者の負担を抑えることができる。
 本発明のさらに別の態様は、プログラムであって、このプログラムは、車両の外部を撮影するよう車両に取り付けられるカメラと、道路状況情報を記憶した道路状況情報データベースとを有する車載機に、カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識ステップと、撮影画像を含む送信画像情報を生成する送信画像情報生成ステップと、画像認識ステップによる認識結果が道路状況情報データベースに記憶された道路状況情報と異なるか否かを判定するステップと、画像認識ステップによる認識結果が道路状況情報データベースに記憶された道路状況情報と異なる場合に、送信画像情報を出力する送信画像情報出力ステップとを実行させる。
 このプログラムによっても、上記の車載機と同様に、カメラによる撮影で得られた撮影画像の中から、確認者による確認が必要な画像を出力でき、確認者の目視による確認に便利である。
 本発明のさらに別の態様は、プログラムであって、このプログラムは、道路状況を管理するための情報サーバに、車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付ステップと、送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力ステップと、撮影画像出力ステップにて出力された撮影画像に対する確認者による確認結果を受け付ける確認結果受付ステップとを実行させる。
 このプログラムによっても、上記の情報サーバと同様に、確認者は、撮影画像を目視で確認して、その確認結果を入力できるので、道路状況の情報を正確に管理できる。
 以下、本発明の実施の形態の道路状況管理システムについて説明する。なお、道路状況管理システムの管理の対象となる道路状況には、標識、信号機等の道路施設のほか、道路上にできた穴や、道路上の落下物、建物等が含まれる。本実施の形態では、道路状況管理システムの一例として、標識又は信号機等の道路施設を管理する道路施設管理システムを説明する。本実施の形態の道路施設管理システムは、車載機と情報サーバを含んでいる。図1は、本実施の形態の車載機の構成を示すブロック図であり、図2は、本実施の形態の道路施設管理システムの構成を示す図である。まず、図2を参照して道路施設管理システムの構成及びその動作の概要を説明し、その後に車載機及び情報サーバの構成及び動作を説明する。
 図2に示すように、本実施の形態の道路施設管理システム100は、複数の車両Cにそれぞれ搭載されて送信画像情報を生成する複数の車載機10と、複数の車載機10から送信画像情報を取得して道路施設を管理する情報サーバ30を有している。
 車載機10は、道路標識や信号機を含む道路施設Sをカメラで撮影し、この撮影画像に対して画像認識を行って道路施設Sを検出して、撮影画像を含む送信画像情報を生成する。車載機10は、無線通信によって情報サーバ30に送信画像情報を送信する。情報サーバ30は、演算処理手段や記憶手段として用いられる本体301と、表示手段として用いられるモニタ302と、入力手段として用いられるキーボード303、マウス304とを備えている。情報サーバ30は、複数の車両Cにそれぞれ搭載された複数の車載機10から、送信画像情報を受信し、送信画像情報に含まれる撮影画像をモニタ302に表示する。情報サーバの操作者(確認者)は、情報サーバ30のモニタ302に表示された撮影画像を目視で確認して、キーボード303及びマウス304を用いて確認結果を入力する。情報サーバ30は、入力された確認結果に基づいて、道路施設管理情報の追加、変更等の処理を行う。道路施設に異常があった場合には、道路管理機関の管理者(道路施設管理者)が、確認者により入力された確認結果を確認して、道路施設の修理等の必要な措置を講じる。
(車載機10の構成)
 次に、車載機10について説明する。図1に示すように、車載機10は、カメラ11、画像認識部12、送信画像情報生成部13、判定部14、施設把握部15、GPS(Global Positioning System)16、道路施設情報データベース17、車両情報取得部18、データベース更新部19、伝送部20、及びサーバ要求受付部21を有している。
 車載機10は、カメラ11が車両Cの前方を撮影できるような位置及び角度で、車両Cに取り付けられる。カメラ11は、常時車両Cの前方を撮影しており、車両Cの前方の撮影画像を生成する。カメラ11で生成された撮影画像は、画像認識部12及び送信画像情報生成部13に入力される。なお、車載機10は、複数のカメラ11を有してよい。この場合、車載機10は、例えば、車両Cの前方を撮影するカメラと、車両Cの側方を撮影するカメラを含んでよい。
 画像認識部12は、カメラ11で生成された撮影画像を入力して、この画像に対して道路施設を検出するための画像認識を行う。このために、画像認識部12には、道路標識や信号機等の道路施設のパターンが記憶されている。画像認識部12は、撮影画像に対して画像認識を行うことで、記憶された道路施設のパターンに合致するパターンを撮影画像から検出する。また、画像認識部12は、GPS16に接続されている。画像認識部12は、撮影画像から道路施設を検出したときに、その画像を撮影したときのGPS16の測位情報(即ち車両Cの位置情報)と、その道路施設を検出したときの認識信頼度を含む画像認識結果を判定部14に通知する。この認識信頼度は、画像認識部12に予め記憶されている道路施設のパターンと撮影画像中で検出されたパターンとの一致度を示すスコアであり、例えば60~100のいずれかの値である。なお、スコアが60未満であるときは、認識失敗となるため、道路施設が認識された場合の認識結果における認識信頼度は必ず60以上となる。
 判定部14は、カメラ11にて生成された撮影画像を含む送信画像情報を情報サーバ30に送信するか否かを判定する。判定部14は、送信画像情報を情報サーバ30に送信すると判定した場合には、送信画像情報生成部13及び伝送部20に送信を指示する。送信画像情報生成部13は、判定部14から送信画像情報の送信の指示を受けると、カメラ11から入力された撮影画像に対して、撮影日時、GPS16から得た撮影時の測位情報、車両情報取得部18から取得した撮影時の車両情報等を含むメタデータを添付して、送信画像情報を生成し、伝送部20に出力する。伝送部20は、判定部14から送信情報送信の指示を受けると、送信画像情報生成部13で生成された送信画像情報を無線で情報サーバ30に送信する。
 図3は、道路施設情報データベース17の構成を示す図である。道路施設情報データベース17には、道路に設置された各道路施設について、道路施設IDと、位置情報と、道路施設種別と、道路施設ステータスからなる道路施設情報が記憶されている。道路施設IDは、各道路施設について固有の識別情報であり、英字及び数字の組合せからなる情報である。位置情報は、道路施設が設置された位置の情報であり、緯度及び経度からなる情報である。道路施設種別は、道路施設の種別を示す情報であり、例えば、「信号機」、道路標識について「止まれ」、「横断歩道」、「速度規制」等である。道路施設ステータスは、道路施設の状態を示す情報であり、例えば、「正常」、「破損」、「隠蔽」、「撤去」等である。
 施設把握部15は、GPS16及び道路施設情報データベース17に接続されており、GPS16から測位情報(車両Cの位置情報)を取得して、道路施設情報データベース17中で車両Cの現在位置に対応する道路施設情報を検索する。施設把握部15は、道路施設情報データベース17中で車両Cの現在位置に対応する道路施設情報が存在した場合には、それを抽出する。施設把握部15は、車両Cの現在位置に対応する道路施設情報を抽出したときには、判定部14にその道路施設情報を通知する。
 判定部14は、異常判定処理、新規施設判定処理、及びリファレンス画像送信判定処理を行う。以下、順に説明する。
[異常判定処理]
 施設把握部15にて車両Cの現在位置に対応する道路施設情報が抽出されて判定部14に通知されると、判定部14は、その位置で撮影された画像に対する画像認識部12の画像認識結果が通知されているか否かを判断する。判定部14は、施設把握部15から通知された道路施設情報に対応する道路施設を検出した画像認識結果が画像認識部12から通知されていれば、その道路施設は正常であると判定する。判定部14は、施設把握部15から通知された道路施設情報に対応する道路施設を検出した画像認識結果が画像認識部12から通知されていない場合は、その道路施設に異常があると判定する。
 図4(a)は、樹木の陰になっている道路標識S(「止まれ」)を撮影する状況を示す図であり、図4(b)は、樹木の陰になっている道路標識を撮影して得られた画像を示す図である。画像認識部12が図4(b)の撮影画像に対して画像認識を行っても、「止まれ」の道路標識を検出できない。図4に示す状況は、道路標識Sが樹木に隠蔽されて車両のドライバから見難い状態になっているため、道路施設管理者による対応が必要である。
 判定部14が、施設把握部15から通知された道路施設情報に対応する道路施設を検出した画像認識結果が画像認識部12から通知されていない場合、すなわち判定部14がその道路施設に異常があると判定する場合としては、図4の例のように実際に道路施設に何らかの異常が生じている場合(道路施設管理者による対応が必要な場合)と、実際には道路施設に異常はない場合(道路施設管理者による対応は不要である場合)が含まれる。実際に異常が生じている場合としては、例えば、図4(b)のように道路施設が樹木の陰に隠れてしまっている場合、道路施設が倒れていている場合、道路施設がなくなってしまっている場合等がある。施設把握部15から通知された道路施設情報に対応する道路施設を検出した画像認識結果が画像認識部12から通知されていないが、実際には道路施設に異常はない場合としては、画像認識部12による画像認識が正確に行えなかった場合、トラック等の大型車両に遮られてカメラ11で道路施設を撮影できなかった場合、GPSの測位情報が正確でなく、実際に撮影した位置と測位情報との間にずれが生じている場合等がある。
 このように、判定部14は、実際には道路施設に異常がない場合も含めて、施設把握部15から通知された道路施設情報に対応する道路施設を検出した画像認識結果が画像認識部12から通知されていない場合は、その道路施設に異常があると判定する。判定部14は、道路施設に異常があると判定したときは、道路施設情報生成部13に送信画像情報を生成するよう指示し、伝送部20に送信画像情報を伝送するよう指示する。
[新規施設判定処理]
 次に、判定部14による新規施設判定処理を説明する。上述のように、画像認識部12は、画像認識部12による画像認識の結果、道路施設が検出されると、その画像認識結果を判定部14に通知する。判定部14は、道路施設が検出されたという画像認識結果が画像認識部12から通知されているが、その画像認識結果に対応する位置の道路施設情報が施設把握部15から通知されていない場合には、まず、GPS16の測位情報にノイズがあるか否かを判断する。判断の結果、GPS16の測位情報にノイズがない場合には、判定部14は、画像認識部12にて検出された道路施設は新規の道路施設であると判定する。すなわち、この場合は、道路施設情報データベース17に格納されていない新たな道路施設をカメラ11で撮影したことになる。判定部14は、新規の道路施設であると判定すると、送信画像情報生成部13に送信画像情報を生成するよう指示し、伝送部20に送信画像情報を伝送するよう指示する。GPS16の測位情報にノイズがあるか否かを判断した結果、ノイズがあると判断したときは、判定部14は、マップマッチングによる補正を行う。
 なお、判定部14は、道路施設が検出されたという画像認識結果を受けた場合において、その画像認識結果に対応する位置の道路施設情報が施設把握部15から入力されていないときに、施設把握部15に当該位置における道路施設情報の照合を要求してもよい。この場合は、施設把握部15は道路施設情報データベース17を参照して、当該位置における道路施設情報を検索して、検索結果を判定部14に報告する。判定部14は、この報告を確認して、なお当該位置に対応する道路施設情報がない場合に、当該位置について画像認識部12で認識された道路施設を新規の道路施設であると判定する。
[リファレンス画像送信判定処理]
 次に、判定部14によるリファレンス画像送信判定処理を説明する。詳しくは後述するが、本実施の形態では、道路施設に異常があるとの判定を受けた撮影画像を確認者が目視で確認する際には、情報サーバ30の道路施設管理情報データベース35から選択された、その位置に対応するリファレンス画像が、道路施設に異常があるとの判定を受けた撮影画像とともに表示される。これにより、確認者は、リファレンス画像で正常な状態の道路施設を確認しながら、道路施設に異常があるとの判定を受けた撮影画像に含まれる道路施設に実際に異常が生じているか否かを判断できる。リファレンス画像送信判定処理は、カメラ11で生成された撮影画像をこのリファレンス画像として用いるためにリファレンス画像候補として情報サーバ30に送信するか否かを判定する処理である。
 上述のように、異常判定処理では、判定部14は、施設把握部15から車両Cの現在位置に対応する道路施設情報が入力されると、その位置に対応する画像に対する画像認識部12の画像認識結果を参照し、施設把握部15から入力された道路施設情報に対応する道路施設を検出した旨の画像認識結果が通知されていれば、その道路施設は正常であると判定する。この場合は、道路施設は正常であるので、車載機10から撮影画像を情報サーバ30に送信する必要はない。しかし、この撮影画像において道路施設が鮮明に撮影されているのであれば、上述のリファレンス画像候補として情報サーバ30で用いることができる。そこで、判定部14は、道路施設が正常であると判定した場合には、さらに、その撮影画像について、画像認識部12における画像認識の認識信頼度を設定する。認識信頼度は、画像認識部12による画像認識におけるパターンマッチングの一致度を示すスコアである。判定部14は、画像認識の認識信頼度が80以上である場合には、これをリファレンス画像候補として送信すると判定する。判定部14は、リファレンス画像候補として撮影画像を送信すると判定すると、送信画像情報生成部13に送信画像情報を生成するよう指示し、伝送部20に送信画像情報を伝送するよう指示する。
 次に、送信画像情報生成部13について説明する。送信画像情報生成部13は、判定部14から送信画像情報を生成するよう指示を受けると、送信画像情報を生成する。送信画像情報は、カメラ11から取得した撮影画像にメタデータを添付することで生成される。
 図5は、本実施の形態における送信画像情報のシンタックスを示す図である。図5に示すように、送信画像情報は、ステータス、撮影位置、車両ID、車両種別、車両速度、撮影日時、道路施設種別、認識信頼度、及び撮影画像からなる。ステータスは、「異常検出」、「新規施設検出」、「リファレンス画像」のいずれかである。判定部14が異常判定処理により道路施設に異常があると判定した場合に、ステータスが「異常検出」である送信画像情報が生成される。判定部14が新規施設判定処理により新規の道路施設であると判定した場合に、ステータスが「新規施設検出」である送信画像情報が生成される。判定部14がリファレンス画像送信判定処理で撮影画像をリファレンス画像候補として送信すると判定した場合に、ステータスが「リファレンス画像」である送信画像情報が生成される。
 撮影位置は、画像認識部12にて道路施設が検出された画像が撮影されたときの測位情報であり、この情報はGPS16から送信画像情報生成部13に与えられる。車両IDは、各車両に固有の識別情報である、この情報は予め送信画像情報生成部13に記憶されている。車両種別は、車両の種別を示す情報であり、例えば「乗用車」、「中型バス」、「大型トラック」等であり、この情報は予め送信画像情報生成部13に記憶されている。車両速度は、画像認識部12にて道路施設が検出された画像が撮影されたときの車両の走行速度であり、この情報は車両情報取得部18から送信画像情報生成部13に与えられる。なお、車両情報取得部18は、CAN(Controller Area Network)を利用して、車両速度等の車両情報を取得する。
 撮影日時は、画像認識部12にて道路施設が検出された画像が撮影されたときの年月日及び時刻の情報であり、この情報は図示しないデジタルクロックから送信画像情報生成部13に与えられる。道路施設種別は、道路施設の種別を示す情報であり、例えば、「信号機」、道路標識について「止まれ」、「横断歩道」、「速度規制」等であり、この情報は、道路施設情報データベース17から施設把握部15、判定部14を経て、送信画像情報生成部13に与えられる。認識信頼度は、画像認識部12に予め記憶されている道路施設のパターンと撮影画像中で検出されたパターンとの一致度を示すスコアであり、この情報は画像認識部12で生成されて、判定部14を経て、送信画像情報生成部13に与えられる。
 撮影画像は、撮影日時に撮影された静止画像、又は撮影日時の前後の数秒間に撮影された動画像(映像)であり、カメラ11から送信画像情報生成部13に与えられる。送信画像情報生成部13は、車両の速度や伝送部20による伝送帯域の余裕に基づいて、送信画像情報における撮影画像を静止画像とするか動画像とするかを切り替えてよい。この場合、送信画像情報生成部13は、車両情報取得部18より取得した車両の速度が速い場合や、伝送部20による伝送帯域に余裕がある場合には、送信画像情報における撮影画像を動画像とし、そうでない場合には送信画像情報における撮影画像を静止画像とする。
 送信画像情報生成部13は、判定部14から指示を受けた場合に送信画像情報を生成するほか、サーバ要求受付部21から画像送信の要求を受けた場合にも送信画像情報を生成する。送信画像情報生成部13は、判定部14から指示を受け、又はサーバ要求受付部21から画像送信の要求を受けて、送信画像情報を生成すると、その送信画像情報を伝送部20に入力する。
 伝送部20は、無線通信により情報サーバ30と間で情報の送受信を行う。伝送部20は、送信画像情報生成部13から送信画像情報が入力されると、判定部14からの送信の指示に従って、情報サーバ30に向けて送信画像情報を送信する。伝送部20は、情報サーバ30からサーバ要求及びデータベース更新情報を受信する。伝送部20が受信したサーバ要求はサーバ要求受付部21で処理される。伝送部20が受信したデータベース更新情報はデータベース更新部19で処理される。
 サーバ要求受付部21は、伝送部20で受信したサーバ要求を受けると、そのサーバ要求に従って送信画像情報生成部13に送信画像情報を生成するよう指示する。サーバ要求については後述する。データベース更新部19は、伝送部20で受信したデータベース更新情報を受けると、その情報に従って道路施設情報データベース17に格納されている道路施設情報を更新する。以上、車載機10の構成について説明した。
(情報サーバ30の構成)
 次に、情報サーバ30の構成を説明する。図6は、本実施の形態における情報サーバ30の構成を示すブロック図である。図6に示すように、情報サーバ30は、伝送部31、情報判定部32、確認リスト保存部33、リファレンス選択部34、道路施設管理情報データベース35、ユーザインターフェース36、データベース更新部37、及び必要画像要求部38を有している。ユーザインターフェース36は、表示部361及び入力受付部362を有している。表示部361は、図2におけるモニタ302及びこれを駆動するソフトウェアによって実現され、入力受付部362は、図2におけるキーボード303及びマウス304及びこれらを駆動するソフトウェアによって実現され、図6の情報サーバ30のその他の構成要素は、図2における本体301のハードウェア及びそれによって実行されるソフトウェアによって実現される。
 伝送部31は、無線通信により車載機10との間で情報の送受信を行う。伝送部31は、車載機10から送信画像情報を受信すると、これを情報判定部32に渡す。伝送部31は、また、道路施設管理情報データベース35が更新された場合に、その更新情報を車載機10に送信する。伝送部31はさらに、必要画像要求部38にて画像の要求(サーバ要求)があった場合に、そのサーバ要求を車載機10に送信する。
 情報判定部32は、車載機10から送信画像情報が送られてきた場合に、その送信画像情報に含まれるステータス(「異常検出」、「新規施設検出」、「リファレンス画像」のいずれか)に応じて、以下のように処理を行う。情報判定部32は、ステータスが「異常検出」又は「新規施設検出」であるときは、確認リスト更新処理を行う。情報判定部32は、ステータスが「リファレンス画像」であるときは、その送信画像情報をデータベース更新部37に渡す。データベース更新部37は、ステータスが「リファレンス画像」である送信画像情報を受け取ると、リファレンス画像更新処理を行う。さらに、情報判定部32は、撮影画像を確認者に確認させる確認処理を行う。以下、順に説明する。
[確認リスト更新処理]
 情報判定部32は、伝送部31から送信画像情報を受けると、その送信画像情報に含まれているメタデータ中のステータスを確認して、ステータスが「異常検出」又は「新規施設検出」であるときは、確認リスト更新処理を行う。情報判定部32による確認リスト更新処理の説明する前に、まず、確認リスト及び確認リストを用いた確認対象情報の提示について説明する。
 道路施設に異常があり、又は新規の道路施設があった場合には、複数の車載機10から情報サーバ30にその道路施設に関する送信画像情報が送信されてくることがある。車載機10からある道路施設に関する送信画像情報が送られてきたときに、確認者が直ちに確認すると、その送信画像情報に含まれる撮影画像が、道路施設に異常があるか否か、又は新規の道路施設があるか否かを確認者が確認し難い撮影画像である場合がある。よって、本実施の形態の情報サーバ30は、ある道路施設に関して最初に送信画像情報を受信してから、この道路施設に異常があるか、又は新規の道路施設であるかを直ちに確認者に確認させるのではなく、一定期間が経過した後に、確認者に確認をさせる。こうすることで、この一定期間の間に複数の車載機10からその道路施設に関する送信画像情報が送信されてくることが期待できる。さらに、情報サーバ30は、一定時間が経過した後に、同一の道路施設に関する複数の送信画像情報がある場合は、その複数の送信画像情報のうち、確認者が確認をしやすい送信画像情報でもって確認者に確認させる。このために、情報サーバ30は、確認リスト保存部33を有する。
 図7は、確認リスト保存部33に保存される確認リストの確認待ち情報の構成を示す図である。確認リストは、複数の図7に示す確認待ち情報が列挙されたものである。確認待ち情報は、車載機10から送信されてきた送信画像情報に係る位置情報(撮影した位置)ごとに、複数の送信画像情報をまとめて構成される。確認待ち情報には、位置情報、最先撮影日時、及び複数の送信画像情報が含まれている。ここで、確認待ち情報中の位置情報はある程度の範囲を有しており、メタデータに含まれる測位情報がその範囲内にある送信画像情報が一つの確認待ち情報にまとめられる。また、その確認待ち情報に含まれる送信画像情報のうち、最初に情報サーバ30が受信した送信画像情報の撮影画像の撮影日時が最先撮影日時とされる。また、確認待ち情報中の各送信画像情報には、確認優先度の情報が付加されている。
 確認リスト更新処理では、情報判定部32は、伝送部31からステータスが「異常検出」又は「新規施設検出」である送信画像情報を受けたときに、確認優先度を求めてその送信画像情報に付与する。確認優先度とは、送信画像情報に含まれる撮影画像を確認者に目視で確認させる際の優先度である。即ち、一の道路施設について確認者が目視で確認すべき撮影画像が複数ある場合に、優先度の高いものから順に表示部に表示して確認者に確認させる。
 確認優先度は、送信画像情報に含まれているメタデータ中の撮影日時、車両種別、及び車両速度に基づいて求められる。具体的には、例えば、撮影日時が、夜間である場合は優先度を低くし、昼間である場合は優先度を高くする。昼間の方が撮影画像中に道路施設が明確に現れている可能性が高いからである。また、例えば、車両種別が、乗用車である場合は優先度を低くし、中型バスである場合は優先度を中程度にし、大型トラックである場合は優先度を高くする。大型トラックのように車載機10が設置される位置が高い方が撮影画像中に道路施設が明確に現れている可能性が高いからである。さらに、例えば車両速度が50km/h以上である場合は優先度を低くし、車両速度が30km/h、50km/h未満である場合は優先度を中程度にし、車両速度が30km/h未満である場合は優先度を高くする。車両の速度が遅いほど撮影画像中に道路施設が明確に現れている可能性が高いからである。
 情報判定部32は、上記のような基準で撮影日時、車両種別、及び車両速度を参照して各優先度の平均をとって確認優先度とする。なお、情報判定部32は、送信画像情報に含まれているメタデータ中の画像信頼度も加味して確認優先度を求め、又は画像信頼度をそのまま確認優先度としてもよい。
 情報判定部32は、伝送部31で受信した送信画像情報について確認優先度を求めると、確認リスト保存部33に保存されている確認リストを更新する。確認リストに保存する同一の位置情報に係る送信画像情報の数は所定の数(例えば3)に制限されている。情報判定部32は、この所定の枚数を超える送信画像情報が送信されてきたときは、確認優先度が高い送信画像情報を優先して確認リスト保存部33に保存する。即ち、情報判定部32は、確認リスト保存部33に同一の位置情報に係る送信画像情報が既に所定の上限数だけ保存されている場合において、新たに受けた送信画像情報の確認優先度が、すでに保存されている送信画像情報のうちの確認優先度が最も低い送信画像情報の確認優先度よりも低いときは、当該新たに受けた送信画像情報は削除し、新たに受けた送信画像情報の確認優先度が、すでに保存されている送信画像情報のうちの確認優先度が最も低い送信画像情報の確認優先度よりも高いときは、当該確認優先度が最も低い送信画像情報を削除して、当該新たに受けた送信画像情報を確認リストに追加する。
 なお、確認リスト保存部33に保存する同一の位置情報に係る送信画像情報を1つだけとしてもよい。この場合には、一の道路施設について2つ目以降の送信画像情報を受けた場合には、確認優先度を求めて、求めた確認優先度が、確認リスト保存部33に保存されている送信画像情報の確認優先度よりも高い場合には、既に保存されている送信画像情報と置き換え、求めた確認優先度が、確認リスト保存部33に保存されている送信画像情報の確認優先度よりも低い場合には、その送信画像情報を削除する。また、一の道路施設についての確認リスト保存部33に保存する送信画像情報の数に制限を設けなくてもよい。この場合には、受信したすべての送信画像情報について確認優先度を求めた上で、確認リスト保存部33に保存する。以上、確認リスト更新処理について説明した。
[リファレンス画像更新処理]
 次に、リファレンス画像更新処理について説明する。データベース更新部37は、情報判定部32からステータスが「リファレンス画像」である送信画像情報を受けると、リファレンス画像更新処理を行う。データベース更新部37によるリファレンス画像更新処理の説明する前に、まず、道路施設管理情報データベース35について説明する。
 図8は、道路施設管理情報データベース35の構成を示す図である。道路施設管理情報データベース35には、道路施設ごとに、図8に示す道路施設管理情報が記憶されている。道路施設管理情報には、道路施設ID、道路施設種別、位置情報、道路施設ステータス、及び複数の送信画像情報が含まれる。道路施設管理情報データベース35では、各道路施設について、保存しておく送信画像情報の数が所定数(本実施の形態では6)に制限されている。道路施設ID、道路施設種別、位置情報、及び道路施設ステータスの内容及びデータ形式は、それぞれ車載機10の道路施設情報データベース17に記憶されている道路施設ID、道路施設種別、位置情報と同じである。道路施設管理情報に含まれる送信画像情報中の撮影画像がリファレンス画像となる。なお、道路施設管理者は、道路施設ステータスが、「破損」、「隠蔽」、又は「撤去」となっている道路施設管理情報を検索することで、問題が生じている道路施設を探し出して、修理等の対応をすることができる。
 道路施設ステータスの初期値は「正常」である。即ち、最初に道路施設管理情報データベース35を構築したとき、及び送信画像情報に基づいて新規の道路施設の道路施設管理情報を追加した場合には、道路施設ステータスは「正常」となる。車載機10からステータスが「異常検出」である送信画像情報が送られてきて、これに基づいて道路施設管理情報データベース35を更新する際には、その更新の内容に応じて、道路施設ステータスが「破損」、「隠蔽」、「撤去」のいずれかに変更される。管理者の確認結果に基づく道路施設管理情報データベース35の更新については後述する。
 データベース更新部37は、情報判定部32から新たに送信画像情報を受けると、その送信画像情報のメタデータを参照して、道路施設を特定する。データベース更新部37は、道路施設管理情報データベース35を検索して、道路施設管理情報データベース35に当該道路施設の道路施設管理情報がない場合には、道路施設管理情報データベース35に新たに当該道路施設の道路施設管理情報を作成して、新たに受け付けた送信画像情報をその道路施設管理情報に追加する。データベース更新部37は、道路施設管理情報データベース35を検索した結果、新たに受信した送信画像情報に対応する道路施設管理情報があった場合には、その道路施設管理情報に既に上限数の送信画像情報が含まれているかを確認する。送信画像情報の数が上限数に達していなければ、新たに受け付けた送信画像情報をその道路施設管理情報に追加する。
 道路施設管理情報に既に上限数の送信画像情報が含まれている場合には、その道路施設管理情報に含まれる送信画像情報の認識信頼度を調べる。新たに受け付けた送信画像情報の認識信頼度がその道路施設管理情報に含まれるすべての送信画像情報の認識信頼度よりも低い場合には、道路施設管理情報データベース35の更新は行わず、その新たに受け付けた送信画像情報を削除する。新たに受け付けた送信画像情報が、道路施設管理情報に含まれるいずれかの送信画像情報の認識信頼度よりも高い場合には、認識信頼度の最も低い送信画像情報を削除するとともに、新たに受け付けた送信画像情報を道路施設管理情報に追加する。
[確認処理]
 情報判定部32は、さらに、確認者に画像の確認させるための確認処理を行う。情報判定部32は、ユーザインターフェース36にて撮影画像の確認処理が行われているか否かを確認して、ユーザインターフェース36にて撮影画像の確認処理が行われていない場合には、確認リスト保存部33の確認リストを参照して、最先撮影日時から一定時間(例えば72時間)経過している確認待ち情報がないかを調べる。一定時間を経過している確認待ち情報があれば、その確認待ち情報における確認優先度が最も高い送信画像情報をリファレンス選択部34に出力する。以上、情報判定部32について説明した。
 次に、リファレンス選択部34について説明する。リファレンス選択部34は、情報判定部32から、確認者に確認させるための送信画像情報を受けると(以下、この送信画像情報を「確認対象情報」という)、道路施設管理情報データベース35を検索して、その確認対象情報に対応する道路施設管理情報を抽出する。道路施設管理情報に送信画像情報が一つしかない場合には、リファレンス選択部34は、その送信画像情報をリファレンス情報として選択する。
 抽出した道路施設管理情報に複数の送信画像情報がある場合には、撮影画像の撮影条件が確認対象情報の撮影画像の撮影条件に最も近い送信画像情報をリファレンス情報として選択する。撮影画像の撮影条件の近似度は、撮影時間帯、車両種別、撮影時の車両速度、撮影位置から道路施設までの距離、撮影画像が静止画像であるか動画像であるかに基づいて判断する。ここで、撮影時間帯は、メタデータのうちの撮影日時を参照して判断する。車両種別は、メタデータのうちの車両種別を参照して判断する。車両種別が同じである場合に最も近似度が高くなるが、車両種別が異なる場合でも大型バスと大型トラックは大型車であるため車両種別が似ているとして、近似度は比較的高くする。撮影時の車両速度は、メタデータのうちの車両速度を参照し、確認対象情報に含まれる撮影画像(以下、「確認対象画像」という)撮影時の車両速度とリファレンス画像撮影時の車両速度との差が所定の閾値より大きいか小さいかで判断する。撮影位置が道路施設まで遠いか近いかは、その道路施設の位置情報と、当該送信画像情報の撮影位置との距離が所定の閾値より大きいか小さいかで判断する。撮影画像が静止画像であるか動画像であるかは、撮影画像のデータ形式で判断する。
 これにより、確認対象画像とリファレンス画像とが似た条件で撮影された画像になり、確認者は確認がしやすくなる。例えば、確認対象画像が、夜間に撮影された動画像である場合には、リファレンス画像も夜間に撮影された動画像とする。リファレンス選択部34は、このようにして選択したリファレンス情報と情報判定部32から受けた確認対象情報とを表示部361に送る。
 確認対象情報のステータスが「新規施設検出」である場合は、通常は、その道路施設について、道路施設管理情報データベース35に道路管理情報が保存されていない。この場合は、リファレンス選択部34は、確認対象情報のみを表示部361に出力する。なお、ある道路施設について、道路施設管理情報データベース35に道路管理情報が保存されていない場合に、リファレンス選択部34は、確認リスト保存部33から当該道路施設に係る他の送信画像情報を取り出して、既に情報判定部32から受けている送信画像情報とともに表示部361に出力してもよい。即ち、この場合には、リファレンス情報がない代わりに、複数の確認対象情報が表示部361に出力されることになる。この場合に、確認リスト保存部33に当該道路施設に係る他の送信画像情報がない場合には、情報判定部32から受けている送信画像情報を再度確認リスト保存部33に保存して一定時間が経過するのを待つようにしてもよい。この一定時間の間に他の送信画像情報が送信されてくれば、リファレンス選択部34は、複数の確認対象情報を表示部361に出力できる。
 リファレンス選択部34は、上記のように、ある道路施設について、道路施設管理情報データベース35に道路施設管理情報がなかった場合には、必要画像要求部38に必要な画像を要求する。必要画像要求部38は、サーバ要求を生成して、伝送部31を介して複数の車載機10に伝送する。
 図9及び図10は、ユーザインターフェース36の表示部361に表示される確認画面の例である。図9は、確認対象情報のステータスが「異常検出」である場合の確認画面の例である。この確認画面60は、確認基礎情報領域601、画像領域602、及び入力用領域603を含んでいる。確認基礎情報領域601には、確認対象情報の撮影位置、撮影時刻、及び道路施設種別の情報が含まれる。図の例では、道路施設種別(「標識(70km速度制限)」)と入力用領域603で入力された内容(「撤去」)とが対応付けられて表示されている。画像領域602には、確認対象画像とリファレンス画像が並んで表示される。確認対象画像は「最新の画像」として表示され、リファレンス画像は「リファレンス用画像」として表示される。なお、リファレンス画像がない場合には、画像領域602には確認対象画像のみが表示される。
 入力用領域603は、入力受付部362を構成し、キーボード303やマウス304を操作することで、確認者が確認結果を入力するために用いられる。入力用領域603は、データベースを更新するかしないかを選択するよう構成されている。また、データベースを更新する場合において確認対象画像がリファレンス画像とどのように異なるかを選択するよう構成されている。その際の選択肢は、「破損」、「修正」、「隠蔽」、「撤去」である。「修正」を選択した場合には、さらに、道路施設種別をどのように修正するかを選択する。「修正」を選択して道路施設種別を選択すると、確認基礎情報領域601の道路施設種別がそれに応じて変更される。入力用領域603にはさらに「実行」及び「キャンセル」のボタンが設けられている。「キャンセル」のボタンを指定すると、入力用領域603で選択した事項がキャンセルされる。「実行」のボタンを指定すると、選択した事項が確定し、入力受付部362から選択した事項がデータベース更新部37に通知される。
 図10は、確認対象情報のステータスが「新規施設検出」である場合の確認画面の例である。この確認画面70は、確認基礎情報領域701、画像領域702、及び入力用領域703を含んでいる。確認基礎情報領域701には、確認対象情報の撮影位置、撮影時刻、及び道路施設種別の情報が含まれる。図の例では、道路施設種別(「標識(70km速度制限)」)と「新規検出」とが対応付けられて表示されている。画像領域702には、確認対象画像が「最新の画像」として表示される。なお、リファレンス画像がある場合には、画像領域702には確認対象画像と並んでリファレンス画像が表示される。
 入力用領域703は、入力受付部362を構成し、キーボード303やマウス304を操作することで、確認者が確認結果を入力するために用いられる。入力用領域703は、確認用画像にかかる送信画像情報を道路施設管理情報として道路施設管理情報データベース35に追加するかしないかを選択するよう構成されている。また、送信画像情報を道路施設管理情報データベース35に追加する場合には、確認基礎情報領域701に示された道路施設種別の通りの内容で追加するか、道路施設種別を修正して追加するかを選択するよう構成されている。「修正」を選択した場合には、さらに、道路施設種別をどのように修正するかを選択するよう構成されている。「修正」を選択して道路施設種別を選択すると、確認基礎情報領域701の道路施設種別がそれに応じて変更される。入力用領域703にはさらに「実行」及び「キャンセル」のボタンが設けられている。「キャンセル」のボタンを指定すると、入力用領域703で選択した事項がキャンセルされる。「実行」のボタンを指定すると、選択した事項が確定し、入力受付部362から選択した事項がデータベース更新部37に通知される。
 データベース更新部37は、入力受付部362から道路施設管理情報データベース35を更新し、又は道路施設管理情報データベース35に新たな道路施設管理情報を追加する旨の通知を受けると、それに従って道路施設管理情報データベース35を更新する。データベース更新部37は、新規施設検出の確認対象画像に対する確認者の入力として、入力受付部362からデータベースへの新規の道路施設管理情報の追加の通知を受けた場合には、その送信画像情報を新規の道路施設管理情報として道路施設管理情報データベース35に追加する。その際に、道路施設種別について修正が選択されていれば、選択された修正内容に従ってその送信画像情報の道路施設種別を修正した上で新規の道路施設管理情報として追加する。
 データベース更新部37は、異常検出の確認対象画像に対する確認者の入力として、入力受付部362からデータベースの更新の通知を受けた場合には、指定された更新内容に従って、道路施設管理情報データベース35を更新する。入力受付部362で入力された更新内容が「破損」、「隠蔽」、又は「撤去」であるときは、データベース更新部37は、それに応じて道路施設ステータスを「破損」、「隠蔽」、又は「撤去」に変更する。上述のように、道路施設管理情報データベース35には、最大で6種類の送信画像情報が各1つずつ記憶されているが、データベース更新部37は、更新の際には、記憶されている元の送信画像情報をすべて削除して、確認者によって確認された送信画像情報を道路施設管理情報として道路施設管理情報データベース35に新たに保存する。このとき、入力受付部362で入力された更新内容が「修正」であるときは、その修正内容に従って、道路施設種別を修正して、道路施設ステータスは「正常」として、その送信画像情報を道路施設管理情報データベース35に保存する。
 なお、データベース更新部37は、更新内容が「破損」、「隠蔽」、又は「撤去」である場合に、その道路施設について道路施設ステータスを更新するとともに、元の道路施設管理情報を削除せずに残しておいて、確認者が確認した送信画像情報(破損、隠蔽、撤去等の異常が検出された送信画像情報)をその道路施設の道路施設管理情報に追加してもよい。この場合には、道路施設管理者によって、その異常が解消されれば、もとの道路施設管理情報をその道路施設の情報として再利用できる。
 道路施設管理情報データベース35は、道路施設管理情報を更新すると、伝送部31を用いてその更新内容を含むデータベース更新情報をすべての車載機10に通知する。上記したように、各車載機10では、伝送部20でこのデータベース更新情報を受け付けて、それに従って道路施設情報データベース17を更新する。このように、すべての車載機10において道路施設情報データベース17を更新することで、道路施設に異常があった場合にも、情報サーバ30の道路施設管理情報データベース35にその情報が反映された後には、車載機10から、ステータスが「異常検知」である送信画像情報が送られてくることがなくなり、確認者が一度確認した道路施設を重複して確認することを避けられる。また、道路施設管理者によって道路施設が修理されて正常な状態に戻った場合において、その道路施設を車載機10が撮影したときは、撮影画像が道路施設情報データベース17の情報と異なることになるので、車載機10はこれを「異常検出」として、送信画像情報を情報サーバ30に送信する。確認者は、異常が発生している画像をリファレンス画像として、修理されて正常な状態に戻った道路施設の画像を確認対象画像として、修理されて正常な状態に戻ったか否かを確認できる。
 以上のように構成された道路施設管理システム100について、図面を参照してその動作を説明する。まず、車載機10の動作を説明し、次に情報サーバ30の動作を説明する。
 図11は、車載機10の動作フロー図である。車載機10は、まず、判定部14に道路施設情報又は画像認識結果が通知されるのを監視する。具体的には、施設把握部15より判定部14に道路施設情報が通知されたか否かを判断する(ステップS101)。通知がなかった場合(ステップS101にてNO)には、次に、画像認識部12より判定部14に道路施設の画像認識結果が通知されたか否かを判断する(ステップS102)。通知がなかった場合(ステップS102にてNO)には、ステップS101に戻って、引き続き道路施設情報又は画像認識結果が通知されるのを監視する。
 施設把握部15より判定部14に道路施設情報が通知された場合には(ステップS101にてYES)、画像認識部12より判定部14に当該道路施設情報に対応する画像認識結果が通知されたか否かを判断する(ステップS103)。当該道路施設情報に対応する画像認識結果が通知されていない場合(ステップS103でNO)には、送信画像情報生成部13にてその道路施設情報に対応する撮影画像を含む送信画像情報を生成して、生成された送信画像情報を伝送部20より情報サーバ30に送信する(ステップS104)。このとき、送信画像情報のステータスは、「異常検出」とする。一方、ステップS103にて、当該道路施設情報に対応する画像認識結果が通知されている場合(ステップS103でYES)には、リファレンス画像送信判定処理に移行する。
 ステップS102にて、道路施設の画像認識結果が通知された場合(ステップS102にてYES)には、GPS16の測位情報にノイズがあるか否かを判断し(ステップS105)、ノイズがなければ、送信画像情報生成部13にてその画像認識結果に係る撮影画像を含む送信画像情報を生成して、生成された送信画像情報を伝送部20より情報サーバ30に送信する(ステップS106)。このとき、送信画像情報のステータスは、「新規施設検出」とする。一方、ステップS105にて、GPS16の測位情報にノイズがある場合(ステップS105でYES)には、マップマッチングによる補正をした上で、リファレンス画像送信判定処理に移行する。なお、ステップS105にてGPS16の測位情報にノイズがないと判断された場合に、ステップS102にて通知された画像認識結果に係る道路施設情報が、道路施設情報データベース17にあるか、再度検索を行ってもよい。この検索の結果、確かに当該道路施設情報が道路施設情報データベース17にない場合に、ステップS106に移行して、送信画像情報生成部13にてその画像認識結果に係る撮影画像を含む送信画像情報を生成して、生成された送信画像情報を伝送部20より情報サーバ30に送信してもよい。
 図12は、車載機10におけるリファレンス画像送信判定処理の動作フロー図である。まず、画像認識部12にて、リファレンス画像送信判定処理に係る撮影画像について認識信頼度が設定される(ステップS111)。ここでは、既に説明したように、画像認識部12による画像認識におけるパターンマッチングの一致度を示すスコアが認識信頼度として設定される。次に、その認識信頼度が所定の閾値以上であるか否かを判断する(ステップS112)。リファレンス画像送信判定処理が行われる場合には、既に図10のフローのステップS102又はステップS103にて画像認識の結果が判定部に14に通知されている(道路施設が検出されている)ので、パターンマッチングのスコアは、少なくとも道路施設が検出されたとされる閾値(例えば60)を超えている。ステップS112では、撮影画像において、単に道路施設を検出するだけでなく、より確かに道路施設が認識できるかを判断するため、この画像認識の際の閾値よりもより高い閾値(例えば80)が用いられる。
 認識信頼度が所定の閾値以上である場合(ステップS112でYES)は、送信画像情報生成部13にてその撮影画像を含む送信画像情報を生成して、生成された送信画像情報を伝送部20より情報サーバ30に送信する(ステップS113)。このとき、送信画像情報のステータスは、「リファレンス画像」とする。認識信頼度が所定の閾値未満である場合(ステップS112でNO)は、そのまま処理を終了する。
 図13は、情報サーバ30が送信画像情報を受信した際の動作フロー図である。情報サーバ30は、伝送部31にて送信画像情報を受信する(ステップS121)と、まず、ステータス判定を行う(ステップS122)。ステータス判定処理は、情報判定部32が受信した送信画像情報に含まれるメタデータ中のステータスを確認することで行われる。ステータスが「異常検出」又は「新規施設検出」であるときは、ステップS123に移行して、情報判定部32が確認リスト更新処理を行う。ステータスが「リファレンス画像」であるときは、ステップS131に移行して、データベース更新部37がリファレンス画像更新処理を行う。
 確認リスト更新処理では、まず、確認リスト保存部33の確認リスト中に、その画像送信情報と同一の位置についての確認待ち情報があるか否かを判断する(ステップS123)。同一の位置についての確認待ち情報が確認リストにない場合には(ステップS123でNO)、当該画像送信情報を含む新規の確認待ち情報を作成する(ステップS124)。新規の確認待ち情報を作成する場合には、「位置情報」(図7参照)は、当該画像送信情報に含まれるメタデータ中の撮影位置の情報を参照し、また、当該画像送信情報に含まれるメタデータ中の撮影日時を「最先撮影日時」(図7参照)とする。
 同一の位置についての確認待ち情報が確認リストに既にある場合には(ステップS123でYES)、その確認待ち情報に含まれる送信画像情報の数が、所定の上限値(例えば3)であるか否かを判断する(ステップS125)。送信画像情報の数が上限値に達していなければ(ステップS125でNO)、当該送信画像情報を確認待ち情報に加える(ステップS126)。送信画像情報の数が既に上限値に達している場合(ステップS125でYES)には、当該送信画像情報の確認優先度を求め(ステップS127)、求めた確認優先度が当該確認待ち情報に含まれるすべての送信画像情報の確認優先度より低いかを判断する(ステップS128)。求めた確認優先度が、当該確認待ち情報に含まれるすべての送信画像情報の確認優先度より低い場合(ステップS128でYES)には、当該送信画像情報を削除して(ステップS129)処理を終了する。求めた確認優先度が、当該確認待ち情報に含まれるいずれかの送信画像情報の確認優先度より高い場合(ステップS128でNO)には、当該確認待ち情報に含まれる送信画像情報のうち、確認優先度が最も低い送信画像情報を削除して、代わりに、当該新たに受信した送信画像情報を確認待ち情報に加える(ステップS130)。
 ステップS122にてステータス判定をした結果、ステータスが「リファレンス画像」であるときは、ステップS131に移行して、データベース更新部37がリファレンス画像更新処理を行う。リファレンス画像更新処理では、まず、道路施設管理情報データベース35に、新たに受信したその画像送信情報と同一の位置についての道路施設管理情報があるか否かを判断する(ステップS131)。同一の位置についての道路施設管理情報がない場合には(ステップS131でNO)、当該画像送信情報を含む新規の道路施設管理情報を作成する(ステップS132)。新規の道路施設管理情報を作成する場合には、「道路施設ID」(図8参照)は他の道路施設管理情報と重複しないようにデータベース更新部37が付与し、「位置情報」(図8参照)は、当該画像送信情報に含まれるメタデータ中の撮影位置の情報を参照し、また、当該画像送信情報に含まれるメタデータ中の道路施設種別を「道路施設種別」(図8参照)とする。
 同一の位置についての道路施設管理情報が道路施設管理情報データベース35に既にある場合には(ステップS131でYES)、その道路施設管理情報に含まれる送信画像情報の数が、所定の上限値(例えば6)であるか否かを判断する(ステップS133)。送信画像情報の数が上限値に達していなければ(ステップS133でNO)、当該送信画像情報を道路施設管理情報に加える(ステップS134)。送信画像情報の数が既に上限値に達している場合(ステップS133でYES)には、その送信画像情報の認識信頼度が当該道路施設管理情報に含まれるすべての送信画像情報の認識信頼度より低いかを判断する(ステップS135)。その送信画像情報の認識信頼度が、当該道路施設管理情報に含まれるすべての送信画像情報の認識信頼度より低い場合(ステップS135でYES)には、その送信画像情報を削除して(ステップS136)処理を終了する。その送信画像情報の認識信頼度が、当該道路施設管理情報に含まれるいずれかの送信画像情報の認識信頼度より高い場合(ステップS135でNO)には、当該道路施設管理情報に含まれる送信画像情報のうち、認識信頼度が最も低い送信画像情報を削除して、代わりに、当該新たに受信した送信画像情報を道路施設管理情報に加える(ステップS136)。以上、情報サーバ30が送信画像情報を受信した際の動作について説明した。
 次に、情報処理サーバ40において確認者に撮影画像を確認させるための動作を説明する。図14は、確認者に撮影画像を確認させるための情報サーバの動作フロー図である。情報サーバ30は、まずインターフェース36がビジーであるか否かを判断する(ステップS141)。このステップでは、ある道路施設についてインターフェース36にて撮影画像の確認処理が行われている最中であればビジーと判断し、撮影画像の確認処理が行われている最中でなければ、ビジーではないと判断する。ビジーであるときは(ステップS141でYES)、再度ステップS141を繰り返して、ビジーでなくなるのを待つ。
 ステップS141で、ビジーでない場合(ステップS141でNO)は、確認リスト保存部33の確認リストにおいて、最先撮影日時が最も古い確認待ち情報を特定し、その最先撮影日時から既に所定の時間(例えば72時間)経過しているか否かを判断する(ステップS142)。所定の時間以上経過していない場合(ステップS142でNO)には、ステップS141に戻る。確認待ち情報の最先撮影日時から既に所定の時間以上経過している場合(ステップS142でYES)には、情報判定部32は、その確認待ち情報中の送信画像情報のうちの確認優先度が最も高い送信画像情報を確認対象情報としてリファレンス選択部34に出力する(ステップS143)。リファレンス選択部34は、道路施設管理情報データベース35に記憶されている送信画像情報の中から、その確認対象情報と撮影条件がより近い送信画像情報をリファレンス情報として選択する(ステップS144)。なお、このとき対応する送信画像情報が道路施設管理情報データベース35にない場合にはリファレンス情報の選択は行わない。次に、リファレンス選択部34は、確認対象情報及びリファレンス情報をユーザインターフェース36に出力する(ステップS145)。
 以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
 例えば、上記の実施の形態では、情報サーバ30は、車載機10からステータスが「異常検出」又は「新規施設検出」である送信画像情報を受け取ると、送信画像情報に含まれる撮影画像を確認者に確認させる処理を行ったが、情報判定部32は、受け付けた送信画像情報の信頼度が極めて高い場合には、確認者による確認を省略して、その送信画像情報に基づいて道路施設管理情報データベース35を直接更新してもよい。この場合は、情報判定部323は、送信画像情報に含まれる認識信頼度を参照して、その値が極めて高い所定の閾値以上(例えば95以上)であるときは、その送信画像情報をデータベース更新部37に直接出力する。そして、データベース更新部37は情報判定部32から送信画像情報を受けると、その送信画像情報に基づいて道路施設管理情報データベース35を更新する。
 また、上記実施の形態では、道路施設情報データベース17に位置情報を含む道路施設情報を記憶しておき、車載機10の施設把握部15が、GPS16の測位情報に基づいて対応する位置情報を有する道路施設情報を抽出していたが、道路施設情報データベース17に、位置情報に加えて道路施設の方向情報も含む道路施設情報を記憶しておき、施設把握部15が、測位情報に加えて、車載のジャイロセンサから得られる車両Cの進行方向も考慮して対応する道路施設情報を抽出してもよい。ここで、道路施設の方向情報とは、その道路施設がどちらの方向から見えるかを示す情報である。これにより、上り車線用の標識を下り車線を走行する車両Cが検出できずに「異常検知」と判断してしまうことを防ぐことができる。
 また、上記の実施の形態では、車載機10の道路施設情報データベース17は、カメラ11で撮影した画像から、異常又は新規施設を検出するために用いられたが、この道路施設情報データベース17を用いて、車両Cのドライバに運転支援のための情報を与えるようにしてもよい。この場合、車載機10は、車両の現在位置に対応する道路施設情報を道路施設情報データベース17から検索し、その道路施設情報を音声等でドライバに提示する。例えば、車両の現在位置の進行方向の先に「止まれ」の標識があり、その道路施設ステータスが「隠蔽」である場合には、「この先、標識が隠蔽されていますが、一時停止です」という音声出力をしてドライバの注意を喚起する。さらに、道路施設情報データベース17の内容をナビゲーションシステムに与えてもよい。この場合、ナビゲーションシステムは、道路施設のステータスも含めて、どこにどのような道路施設があるかをドライバに案内できる。
 また、上記の実施の形態では、車載機10から情報サーバ20への道路施設情報の受け渡しは、車載機10にてフラッシュメモリ等の記録媒体に道路施設情報を記憶し、情報サーバ20がこの記録媒体から道路施設情報を読み出すことで行ってもよい。
 また、上記の実施の形態では、本発明の道路状況管理システムの一例として、主に標識等の道路施設を管理する道路施設管理システムを説明したが、本発明の道路状況管理システムは、道路施設だけでなく、地震や大雨等による道路の陥没箇所、道路にできた穴、道路上の落下物等の他の道路状況も管理するシステムであってよい。このようなシステムにおいて、上記のような道路の異常を確認者が認知したときは、道路施設情報データベース17に相当するデータベース(道路状況情報データベース)を更新するとともに、例えば標識の場合には道路施設補修者に、建物等の建造物の場合にはその補修者にも情報を提供し、当該補修者が後日補修工事等を終えた場合には、確認者が補修内容の確認を行なった後、道路状況情報データベースから道路の異常を削除すればよい。
 以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
 以上のように、本発明にかかる道路施設管理システムは、道路状況の正確な状態を把握できるとともに、確認者の負担を抑えることができるという効果を有し、車両で道路状況の情報を取得して道路状況を管理する道路状況管理システム等として有用である。
 10 車載機
 11 カメラ
 12 画像認識部
 13 送信画像情報生成部
 14 判定部
 15 施設把握部
 16 GPS
 17 道路施設情報データベース
 18 車両情報取得部
 19 データベース更新部
 20 伝送部
 21 サーバ要求受付部
 30 情報サーバ
 31 伝送部
 32 情報判定部
 33 確認リスト保存部
 34 リファレンス選択部
 35 道路施設管理情報データベース
 36 ユーザインターフェース
 361 表示部
 362 入力受付部
 37 データベース更新部
 38 必要画像要求部
 60 確認画面(異常検出)
 601 確認基礎情報領域
 602 画像領域
 603 入力用領域
 70 確認画面(新規施設検出)
 701 確認基礎情報領域
 702 画像領域
 703 入力用領域
 100 道路施設管理システム
 

Claims (20)

  1.  道路状況を管理するための道路状況管理システムであって、
     前記道路状況管理システムは、車載機と情報サーバを含み、
     前記車載機は、
      車両の外部を撮影するよう車両に取り付けられるカメラと、
      前記カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、
      前記撮影画像を含む送信画像情報を生成する送信画像情報生成部と、
      道路状況情報を記憶した道路状況情報データベースと、
      前記画像認識部による認識結果が前記道路状況情報データベースに記憶された道路状況情報と異なる場合に、前記送信画像情報を出力する送信画像情報出力部とを備え、
     前記情報サーバは、
      前記送信画像情報を受け付ける受付部と、
      前記送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、
      確認者が前記出力部より出力された撮影画像の確認結果を入力するための入力部とを備えることを特徴とする道路状況管理システム。
  2.  前記情報サーバは、道路状況を管理するための道路状況管理情報を記憶した道路状況管理情報データベースを備え、前記確認結果に従って、前記道路状況管理情報データベースを更新することを特徴とする請求項1に記載の道路状況管理システム。
  3.  前記車載機は、前記確認結果に従って、前記道路状況情報データベースを更新することを特徴とする請求項1に記載の道路状況管理システム。
  4.  前記車載機は、前記画像認識部にて、前記道路状況情報データベースに記憶されている道路状況情報に対応する道路状況が検出されなかったときに、前記送信画像情報出力部にて前記送信画像情報を出力することを特徴とする請求項1に記載の道路状況管理システム。
  5.  前記車載機は、前記画像認識部にて、前記道路状況情報データベースに記憶されていない道路状況が検出されたときに、前記送信画像情報生成部にて前記送信画像情報を生成することを特徴とする請求項1に記載の道路状況管理システム。
  6.  前記道路状況管理情報には、リファレンス画像が含まれており、
     前記情報サーバは、前記撮影画像に対応する前記リファレンス画像を前記道路状況管理情報データベースから選択するリファレンス選択部を備え、
     前記撮影画像出力部は、前記撮影画像とともに、前記リファレンス選択部にて選択されたリファレンス画像を出力することを特徴とする請求項1に記載の道路状況管理システム。
  7.  前記道路状況管理情報には、一の道路状況について複数のリファレンス画像が含まれており、
     前記リファレンス選択部は、前記撮影画像出力部にて出力する撮影画像と撮影条件が最も近いリファレンス画像を選択することを特徴とする請求項6に記載の道路状況管理システム。
  8.  前記送信画像情報出力部は、前記画像認識部による検出結果が前記道路状況情報データベースに記憶された道路状況情報と一致する場合にも、前記画像認識部による画像認識の信頼度が高い場合には、前記撮影画像をリファレンス画像候補として指定した前記送信画像情報を出力し、
     前記情報サーバは、前記リファレンス画像候補を前記道路状況管理情報のリファレンス画像として前記道路状況管理情報データベースに記憶することを特徴とする請求項6に記載の道路状況管理システム。
  9.  前記画像認識の信頼度は、予め記憶された道路状況のパターンと撮影画像に含まれるパターンの一致度であることを特徴とする請求項8の道路状況管理システム。
  10.  前記情報サーバは、前記送信画像情報に含まれる撮影画像に対応するリファレンス画像が前記道路状況管理情報サーバに記憶されていないときは、前記車載機に対して当該撮影画像に対応するリファレンス画像候補を要求する必要画像要求部を備え、
     前記送信画像情報出力部は、前記要求に応じて前記撮影画像に対応する撮影画像を含む送信画像情報を出力することを特徴とする請求項6に記載の道路状況管理システム。
  11.  前記撮影画像出力部は、一の道路状況について、前記受付部が複数の送信画像情報を受け付けた場合において、当該複数の送信画像情報のうち、確認優先度の高い送信画像情報に含まれる撮影画像を優先して出力することを特徴とする請求項1に記載の道路状況管理システム。
  12.  前記確認優先度は、前記送信画像情報に含まれる撮影画像の撮影時間帯、車両種別、及び撮影時の車両速度の少なくともいずれか1つに基づいて求められることを特徴とする請求項11に記載の道路状況管理システム。
  13.  前記情報サーバは、前記受付部にて受け付けた送信画像情報を保存するための確認リスト保存部を備え、
     前記撮影画像出力部は、前記確認リスト保存部に保存された送信画像情報を出力することを特徴とする請求項11に記載の道路状況管理システム。
  14.  前記車載機の前記送信画像情報出力部は、無線通信により前記情報サーバに前記送信画像情報を送信し、
     前記情報サーバの前記受付部は、無線通信により前記車載機から前記送信画像情報を受信することを特徴とする請求項1に記載の道路状況管理システム。
  15.  前記車載機の前記送信画像情報出力部は、記録媒体に前記送信画像情報を記録し、
     前記情報サーバの前記受付部は、前記記憶媒体から前記送信画像情報を読み出すことを特徴とする請求項1に記載の道路状況管理システム。
  16.  車両の外部を撮影するよう車両に取り付けられるカメラと、
     前記カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識部と、
     前記撮影画像を含む送信画像情報を生成する送信画像情報生成部と、
     道路状況情報を記憶した道路状況情報データベースと、
     前記画像認識部による認識結果が前記道路状況情報データベースに記憶された道路状況情報と異なる場合に、前記送信画像情報を出力する送信画像情報出力部と、
     を備えることを特徴とする車載機。
  17.  道路状況の情報を管理するための情報サーバであって、
     車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付部と、
     前記送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力部と、
     確認者が前記撮影画像出力部より出力された撮影画像の確認結果を入力するための入力部と、
     を備えることを特徴とする情報サーバ。
  18.  車載機及び情報サーバを含む道路状況管理システムを用いて実行される道路状況管理方法であって、
     車載機にて、
      カメラで車両の外部を撮影し、
      前記カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行い、
      前記画像認識の結果が、前記車載機のデータベースに記憶された道路状況情報と異なる場合に、前記撮影画像を含む送信画像情報を出力し、
     情報サーバにて、
      前記送信画像情報を受け付け、
      前記送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力し、
      確認者が、出力された撮影画像を確認して、確認結果を入力することを特徴とする道路状況管理方法。
  19.  車両の外部を撮影するよう車両に取り付けられるカメラと、道路状況情報を記憶した道路状況情報データベースとを有する車載機に、
     前記カメラによる撮影で得られた撮影画像に対して、道路状況を検出するための画像認識を行う画像認識ステップと、
     前記撮影画像を含む送信画像情報を生成する送信画像情報生成ステップと、
     前記画像認識ステップによる認識結果が前記道路状況情報データベースに記憶された道路状況情報と異なるか否かを判定するステップと、
     前記画像認識ステップによる認識結果が前記道路状況情報データベースに記憶された道路状況情報と異なる場合に、
     前記送信画像情報を出力する送信画像情報出力ステップと、
     を実行させることを特徴とするプログラム。
  20.  道路状況を管理するための情報サーバに、
     車両の外部を撮影するよう車両に取り付けられたカメラによる撮影で得られた撮影画像を含む送信画像情報を受け付ける受付ステップと、
     前記送信画像情報に含まれる撮影画像を確認者が目視で確認できるよう出力する撮影画像出力ステップと、
     前記撮影画像出力ステップにて出力された撮影画像に対する確認者による確認結果を受け付ける確認結果受付ステップと、
     を実行させることを特徴とするプログラム。
PCT/JP2010/007353 2010-03-03 2010-12-20 道路状況管理システム及び道路状況管理方法 WO2011108052A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012502897A JP5551236B2 (ja) 2010-03-03 2010-12-20 道路状況管理システム及び道路状況管理方法
CN201080063282.XA CN102741900B (zh) 2010-03-03 2010-12-20 道路状况管理系统及道路状况管理方法
US13/577,146 US9092981B2 (en) 2010-03-03 2010-12-20 Road condition management system and road condition management method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-046596 2010-03-03
JP2010046596 2010-03-03

Publications (1)

Publication Number Publication Date
WO2011108052A1 true WO2011108052A1 (ja) 2011-09-09

Family

ID=44541738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007353 WO2011108052A1 (ja) 2010-03-03 2010-12-20 道路状況管理システム及び道路状況管理方法

Country Status (4)

Country Link
US (1) US9092981B2 (ja)
JP (1) JP5551236B2 (ja)
CN (1) CN102741900B (ja)
WO (1) WO2011108052A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013152587A (ja) * 2012-01-25 2013-08-08 Toyota Motor Corp 移動体情報処理システム
JP2015114118A (ja) * 2013-12-09 2015-06-22 株式会社トヨタマップマスター 経路探索装置及びその方法、並びに経路を探索するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
CN104851295A (zh) * 2015-05-22 2015-08-19 北京嘀嘀无限科技发展有限公司 获取路况信息的方法和系统
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム
JP2017187322A (ja) * 2016-04-01 2017-10-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America インフラ検査装置、インフラ検査方法及びインフラ検査システム
JP2018010406A (ja) * 2016-07-12 2018-01-18 株式会社デンソー 監視システム
JP2018025865A (ja) * 2016-08-08 2018-02-15 トヨタ自動車株式会社 送信要否判定装置及び進路計画システム
EP3296463A1 (en) 2016-09-07 2018-03-21 Toshiba Infrastructure Systems & Solutions Corporation Crack analysis device, method and program
JP2019507933A (ja) * 2016-03-10 2019-03-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両用インフラ検出装置、信号の発生方法および修理情報の提供方法
CN109872533A (zh) * 2019-02-21 2019-06-11 弈人(上海)科技有限公司 一种基于空间数据的车道级实时交通情报处理方法
JP2019211416A (ja) * 2018-06-08 2019-12-12 スズキ株式会社 運転支援装置
JP2019220858A (ja) * 2018-06-20 2019-12-26 株式会社Nttドコモ センサ情報共有システム、センサ情報共有サーバ及びセンサ情報報告装置
JP2020042323A (ja) * 2018-09-06 2020-03-19 日立オートモティブシステムズ株式会社 運転支援装置、運転支援システム、及び運転支援方法
US10648922B2 (en) 2015-07-21 2020-05-12 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
WO2020137069A1 (ja) * 2018-12-28 2020-07-02 株式会社Nttドコモ 位置推定システム
JP2020135321A (ja) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 運転支援システム及びサーバ装置
JP2020177677A (ja) * 2020-07-02 2020-10-29 日本電気株式会社 画像収集装置、画像収集システム、画像収集方法及びプログラム
JP2020201889A (ja) * 2019-06-13 2020-12-17 株式会社デンソーテン データ収集システム、車載装置およびデータ収集方法
JP2021076883A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
JP2021149592A (ja) * 2020-03-19 2021-09-27 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5668042B2 (ja) * 2012-10-31 2015-02-12 東芝テック株式会社 商品読取装置、商品販売データ処理装置および商品読取プログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US9514543B2 (en) * 2014-06-26 2016-12-06 Amazon Technologies, Inc. Color name generation from images and color palettes
US10073860B2 (en) 2014-06-26 2018-09-11 Amazon Technologies, Inc. Generating visualizations from keyword searches of color palettes
US9727983B2 (en) 2014-06-26 2017-08-08 Amazon Technologies, Inc. Automatic color palette based recommendations
US9542704B2 (en) 2014-06-26 2017-01-10 Amazon Technologies Inc. Automatic image-based recommendations using a color palette
US9922050B2 (en) 2014-06-26 2018-03-20 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and color palette trends
US9659032B1 (en) 2014-06-26 2017-05-23 Amazon Technologies, Inc. Building a palette of colors from a plurality of colors based on human color preferences
US10235389B2 (en) 2014-06-26 2019-03-19 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes
US9311889B1 (en) 2014-06-26 2016-04-12 Amazon Technologies, Inc. Image-based color palette generation
US9652868B2 (en) 2014-06-26 2017-05-16 Amazon Technologies, Inc. Automatic color palette based recommendations
US9996579B2 (en) 2014-06-26 2018-06-12 Amazon Technologies, Inc. Fast color searching
US9177391B1 (en) 2014-06-26 2015-11-03 Amazon Technologies, Inc. Image-based color palette generation
US9524563B2 (en) 2014-06-26 2016-12-20 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9792303B2 (en) 2014-06-26 2017-10-17 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and keyword trends
US9898487B2 (en) 2014-06-26 2018-02-20 Amazon Technologies, Inc. Determining color names from keyword searches of color palettes
US9401032B1 (en) 2014-06-26 2016-07-26 Amazon Technologies, Inc. Image-based color palette generation
US10120880B2 (en) 2014-06-26 2018-11-06 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9679532B2 (en) 2014-06-26 2017-06-13 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9697573B1 (en) 2014-06-26 2017-07-04 Amazon Technologies, Inc. Color-related social networking recommendations using affiliated colors
US10691744B2 (en) 2014-06-26 2020-06-23 Amazon Technologies, Inc. Determining affiliated colors from keyword searches of color palettes
US9916613B1 (en) 2014-06-26 2018-03-13 Amazon Technologies, Inc. Automatic color palette based recommendations for affiliated colors
US10223427B1 (en) 2014-06-26 2019-03-05 Amazon Technologies, Inc. Building a palette of colors based on human color preferences
US10255295B2 (en) 2014-06-26 2019-04-09 Amazon Technologies, Inc. Automatic color validation of image metadata
US9245350B1 (en) 2014-06-26 2016-01-26 Amazon Technologies, Inc. Image-based color palette generation
US10169803B2 (en) 2014-06-26 2019-01-01 Amazon Technologies, Inc. Color based social networking recommendations
US10430857B1 (en) 2014-08-01 2019-10-01 Amazon Technologies, Inc. Color name based search
US9558411B1 (en) * 2014-08-29 2017-01-31 Google Inc. Plane estimation for contextual awareness
US9785649B1 (en) 2014-09-02 2017-10-10 Amazon Technologies, Inc. Hue-based color naming for an image
US9633448B1 (en) 2014-09-02 2017-04-25 Amazon Technologies, Inc. Hue-based color naming for an image
US10553111B2 (en) 2015-05-29 2020-02-04 Huawei Technologies Co., Ltd. Traffic information update method and apparatus
US20170046581A1 (en) * 2015-08-11 2017-02-16 Here Global B.V. Sending Navigational Feature Information
DE102015220821A1 (de) * 2015-10-26 2017-04-27 Robert Bosch Gmbh Steuern eines Kraftfahrzeugs
FR3044150B1 (fr) * 2015-11-23 2017-12-29 Valeo Schalter & Sensoren Gmbh Procede de diagnostic d'un capteur de vehicule automobile
FR3044149B1 (fr) * 2015-11-23 2018-06-15 Valeo Schalter Und Sensoren Gmbh Procede de controle de l'etat d'une infastructure de route
GB201605137D0 (en) * 2016-03-25 2016-05-11 Jaguar Land Rover Ltd Virtual overlay system and method for occluded objects
JP2017208750A (ja) * 2016-05-20 2017-11-24 ローム株式会社 映像監視装置、映像表示システム、及び車両
US10347122B2 (en) 2016-07-12 2019-07-09 Denson Corporation Road condition monitoring system
CN106183981B (zh) * 2016-07-19 2018-08-07 乐视汽车(北京)有限公司 基于汽车的路障检测方法、装置及汽车
CN106448225B (zh) * 2016-08-25 2019-12-10 深圳市元征科技股份有限公司 一种路段信息共享方法及装置
CN109789878B (zh) * 2016-10-03 2022-04-29 日立安斯泰莫株式会社 车载电子控制装置
US10891496B2 (en) * 2016-11-01 2021-01-12 Mitsubishi Electric Corporation Information presentation method
CN108205647A (zh) * 2016-12-20 2018-06-26 乐视汽车(北京)有限公司 道路状况监测方法、装置及电子设备
US11073401B1 (en) * 2017-03-10 2021-07-27 Skydio, Inc. Road network optimization based on vehicle telematics information
JPWO2018230563A1 (ja) * 2017-06-16 2020-02-27 本田技研工業株式会社 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法
JP7139584B2 (ja) * 2017-08-17 2022-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN107798898A (zh) * 2017-10-27 2018-03-13 咪咕互动娱乐有限公司 一种路况信息通知的方法、电子设备和存储介质
JP6760251B2 (ja) * 2017-12-15 2020-09-23 株式会社デンソー 道路地図生成システム及び道路地図生成方法
CN107909535B (zh) * 2017-12-21 2021-07-23 福州信诺通信息技术有限公司 基于移动互联网的路政管理方法及系统
US10599152B2 (en) * 2018-02-12 2020-03-24 Ford Global Technologies, Llc Earthquake emergency management system for automotive vehicles
JP6940682B2 (ja) * 2018-03-13 2021-09-29 本田技研工業株式会社 情報生成装置及びプログラム
US10974727B2 (en) 2018-06-26 2021-04-13 Ford Global Technologies, Llc Transportation infrastructure communication and control
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
JP7128723B2 (ja) * 2018-11-12 2022-08-31 本田技研工業株式会社 画像管理装置、路面情報管理システム、車両、プログラム、及び、画像管理方法
US10870351B2 (en) * 2018-12-12 2020-12-22 Here Global B.V. Method and apparatus for augmented reality based on localization and environmental conditions
JP2020094959A (ja) * 2018-12-14 2020-06-18 ヤフー株式会社 経路探索装置、経路探索方法、及び経路探索プログラム
JP7247592B2 (ja) 2019-01-16 2023-03-29 株式会社デンソー 異常検出装置、異常検出プログラム、異常検出方法及び異常検出システム
US11702081B2 (en) 2019-02-14 2023-07-18 Honda Motor Co., Ltd. System and method for road condition monitoring
JP2020166584A (ja) * 2019-03-29 2020-10-08 トヨタ自動車株式会社 画像情報収集システム及び車両
JP7358762B2 (ja) * 2019-04-02 2023-10-11 トヨタ自動車株式会社 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
TWI717102B (zh) * 2019-11-14 2021-01-21 黃玄 基於影像辨識之交通路況車聯網系統
JP7230783B2 (ja) * 2019-11-15 2023-03-01 トヨタ自動車株式会社 服装情報取得システムおよび服装情報取得方法
CN111611884A (zh) * 2020-05-07 2020-09-01 广州诚安路桥检测有限公司 一种道路安全设施巡查系统及方法
US11769238B2 (en) 2020-05-18 2023-09-26 Roadbotics, Inc. Systems and methods for creating and/or analyzing three-dimensional models of infrastructure assets
CN114758322B (zh) * 2022-05-13 2022-11-22 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123289A (ja) * 1998-10-13 2000-04-28 Hitachi Ltd 走行環境情報収集装置および情報提供システム
JP2001023090A (ja) * 1999-07-02 2001-01-26 Nec Corp 車両救援システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189700A (ja) * 1992-01-10 1993-07-30 Hitachi Ltd 状態通知システム
KR100366716B1 (ko) 1998-10-13 2003-01-06 가부시키가이샤 자나비 인포메틱스 방송형 정보제공 시스템 및 주행환경 정보수집 장치
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP3332158B2 (ja) * 1999-11-08 2002-10-07 横河電機株式会社 監視システム
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
US20030212567A1 (en) * 2002-05-07 2003-11-13 Hitachi Ltd. Witness information service with image capturing and sharing
JP3721577B2 (ja) * 2002-07-23 2005-11-30 横河電機株式会社 監視システム
JP4093026B2 (ja) 2002-11-18 2008-05-28 日本電気株式会社 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP3988683B2 (ja) * 2003-06-12 2007-10-10 株式会社日立製作所 画像情報取得システム及び車載端末
US7920716B2 (en) * 2003-12-25 2011-04-05 Fujitsu Limited Vehicle search system and vehicle search method
JP4926400B2 (ja) * 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
CN100414572C (zh) * 2005-01-11 2008-08-27 肖禄生 一种城市路况信息实时发布及应用系统
JP4345832B2 (ja) 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
JP5023830B2 (ja) * 2007-06-18 2012-09-12 株式会社デンソー Dsrc車載装置およびそれを用いた表示システム
JP5050771B2 (ja) * 2007-10-12 2012-10-17 株式会社Jvcケンウッド 情報提供装置、情報提供方法及びプログラム
GB2460857A (en) * 2008-06-12 2009-12-16 Geoffrey Mark Timothy Cross Detecting objects of interest in the frames of a video sequence by a distributed human workforce employing a hybrid human/computing arrangement
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123289A (ja) * 1998-10-13 2000-04-28 Hitachi Ltd 走行環境情報収集装置および情報提供システム
JP2001023090A (ja) * 1999-07-02 2001-01-26 Nec Corp 車両救援システム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013152587A (ja) * 2012-01-25 2013-08-08 Toyota Motor Corp 移動体情報処理システム
JP2015114118A (ja) * 2013-12-09 2015-06-22 株式会社トヨタマップマスター 経路探索装置及びその方法、並びに経路を探索するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
CN104851295A (zh) * 2015-05-22 2015-08-19 北京嘀嘀无限科技发展有限公司 获取路况信息的方法和系统
US10648922B2 (en) 2015-07-21 2020-05-12 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
EP3848509A1 (en) 2015-07-21 2021-07-14 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
EP3854941A1 (en) 2015-07-21 2021-07-28 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
JP2019507933A (ja) * 2016-03-10 2019-03-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両用インフラ検出装置、信号の発生方法および修理情報の提供方法
JP2017187322A (ja) * 2016-04-01 2017-10-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America インフラ検査装置、インフラ検査方法及びインフラ検査システム
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム
JP2018010406A (ja) * 2016-07-12 2018-01-18 株式会社デンソー 監視システム
JP2018025865A (ja) * 2016-08-08 2018-02-15 トヨタ自動車株式会社 送信要否判定装置及び進路計画システム
EP3296463A1 (en) 2016-09-07 2018-03-21 Toshiba Infrastructure Systems & Solutions Corporation Crack analysis device, method and program
US10389984B2 (en) 2016-09-07 2019-08-20 Toshiba Infrastructure Systems & Solutions Corporation Crack analysis device, crack analysis method, and crack analysis program
JP7059817B2 (ja) 2018-06-08 2022-04-26 スズキ株式会社 運転支援装置
JP2019211416A (ja) * 2018-06-08 2019-12-12 スズキ株式会社 運転支援装置
JP2019220858A (ja) * 2018-06-20 2019-12-26 株式会社Nttドコモ センサ情報共有システム、センサ情報共有サーバ及びセンサ情報報告装置
JP7136600B2 (ja) 2018-06-20 2022-09-13 株式会社Nttドコモ センサ情報共有システム、センサ情報共有サーバ及びセンサ情報報告装置
JP2020042323A (ja) * 2018-09-06 2020-03-19 日立オートモティブシステムズ株式会社 運転支援装置、運転支援システム、及び運転支援方法
JP7085646B2 (ja) 2018-12-28 2022-06-16 株式会社Nttドコモ 位置推定システム
WO2020137069A1 (ja) * 2018-12-28 2020-07-02 株式会社Nttドコモ 位置推定システム
JPWO2020137069A1 (ja) * 2018-12-28 2021-10-14 株式会社Nttドコモ 位置推定システム
JP2020135321A (ja) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 運転支援システム及びサーバ装置
JP7205695B2 (ja) 2019-02-18 2023-01-17 トヨタ自動車株式会社 運転支援システム
US11508161B2 (en) 2019-02-18 2022-11-22 Toyota Jidosha Kabushiki Kaisha Driving support system and server device
CN109872533A (zh) * 2019-02-21 2019-06-11 弈人(上海)科技有限公司 一种基于空间数据的车道级实时交通情报处理方法
JP2020201889A (ja) * 2019-06-13 2020-12-17 株式会社デンソーテン データ収集システム、車載装置およびデータ収集方法
JP7344014B2 (ja) 2019-06-13 2023-09-13 株式会社デンソーテン 車載装置、データ収集装置、データ収集システムおよびデータ収集方法
JP2021076883A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
JP2021149592A (ja) * 2020-03-19 2021-09-27 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム
JP7356383B2 (ja) 2020-03-19 2023-10-04 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム
JP2020177677A (ja) * 2020-07-02 2020-10-29 日本電気株式会社 画像収集装置、画像収集システム、画像収集方法及びプログラム
JP7216923B2 (ja) 2020-07-02 2023-02-02 日本電気株式会社 画像収集装置、画像収集システム、画像収集方法及びプログラム

Also Published As

Publication number Publication date
CN102741900B (zh) 2014-12-10
JPWO2011108052A1 (ja) 2013-06-20
CN102741900A (zh) 2012-10-17
US20130033603A1 (en) 2013-02-07
US9092981B2 (en) 2015-07-28
JP5551236B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5551236B2 (ja) 道路状況管理システム及び道路状況管理方法
CN106462729B (zh) 车辆图像数据管理系统和方法
JP5585194B2 (ja) 事故状況記録システム
JP4718396B2 (ja) ランドマーク認識システム
JP6398501B2 (ja) 車載カメラ診断装置
WO2015129045A1 (ja) 画像取得システム、端末、画像取得方法および画像取得プログラム
JP6323074B2 (ja) 表示物情報表示装置
JP6815262B2 (ja) 交通違反検知装置、システム、交通違反検知方法およびプログラム
JP6509361B2 (ja) 駐車支援装置及び駐車支援方法
JP2017107429A (ja) 道路異常判定装置、道路異常報知システムおよび道路異常報知方法
JP4677981B2 (ja) 自車位置特定方法及び自車位置特定装置
JP2012098105A (ja) 事故発生場所周辺の映像収集システム
JP2020087217A (ja) 情報提供システム、サーバ、車載装置、車両、プログラム及び情報提供方法
JP6838522B2 (ja) 画像収集システム、画像収集方法、画像収集装置、および記録媒体
JP6048246B2 (ja) 車間距離計測装置及び車間距離計測方法
JP7537477B2 (ja) 画像収集装置、画像収集システム、ドライブレコーダ、画像収集方法及びプログラム
JP2020126357A (ja) 交通管理システム、制御方法、及び車両
JP2017182757A (ja) 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム
WO2020031806A1 (ja) データ構造、記憶媒体、記憶装置及び受信装置
KR20050095807A (ko) 번호판 인식을 이용한 속력위반차량 검색시스템 및 그 방법
JP4983558B2 (ja) 車両用運転支援装置
JP2009037062A (ja) 地図データ更新装置、及び地図データ更新システム
JP2012137320A (ja) 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体
JP2007225911A (ja) 道路地図情報収集方法、道路地図情報収集システムおよび道路地図情報処理装置
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080063282.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846959

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012502897

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13577146

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10846959

Country of ref document: EP

Kind code of ref document: A1