WO2022162855A1 - 車載装置、路面画像の送信方法及びプログラム記録媒体 - Google Patents

車載装置、路面画像の送信方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2022162855A1
WO2022162855A1 PCT/JP2021/003148 JP2021003148W WO2022162855A1 WO 2022162855 A1 WO2022162855 A1 WO 2022162855A1 JP 2021003148 W JP2021003148 W JP 2021003148W WO 2022162855 A1 WO2022162855 A1 WO 2022162855A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
road
abnormality
sensor
Prior art date
Application number
PCT/JP2021/003148
Other languages
English (en)
French (fr)
Inventor
一気 尾形
慎太郎 知久
陽子 田中
佑機 辻
航生 小林
慶 柳澤
菜摘 横山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/003148 priority Critical patent/WO2022162855A1/ja
Priority to US18/274,671 priority patent/US20240092366A1/en
Priority to JP2022577935A priority patent/JPWO2022162855A5/ja
Publication of WO2022162855A1 publication Critical patent/WO2022162855A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present invention relates to an in-vehicle device, a road surface image transmission method, and a program recording medium.
  • Patent Literature 1 discloses a road abnormality collection system capable of shortening the time required to identify a portion of a road that requires repair.
  • the in-vehicle device of this road anomaly collection system includes means for recording travel history data of the vehicle while traveling on the road, means for detecting road anomalies while traveling on the road, and means for identifying and reporting an abnormal location on the road based on the abnormality and the travel history data of the vehicle; means for transmitting to a management center together with location information of the place.
  • the management center is provided with road abnormality accumulation means for storing and accumulating images and location information of abnormal places on the road transmitted from the in-vehicle device.
  • Patent Document 2 discloses a center-side system and a vehicle-side system that enable the vehicle to know the damaged road before traveling.
  • the center-side system has a center-side receiving unit that receives vehicle vibration information, which is information about vibrations occurring in the probe vehicle, and probe vehicle position information, which is information about the position of the probe vehicle, from the vehicle-side system. Prepare. Based on the vehicle vibration information and the probe vehicle position information received by the center-side receiving unit, the center-side system includes a traffic condition estimating unit that estimates damaged roads, and a center that transmits the estimation results of the traffic condition estimating unit to the outside. and a side transmitter.
  • Patent Literature 1 an abnormal spot on a road is detected by abnormal acceleration or the like when a vehicle passes over it.
  • the in-vehicle camera is oriented toward the front of the vehicle, there is a problem that it is not possible to photograph local road anomalies after the anomaly is detected.
  • road abnormalities can be detected, there are cases in which road administrators have to go to the site to investigate.
  • Japanese Unexamined Patent Application Publication No. 2002-100000 a user goes to an abnormal location, takes a picture of a damaged part of the road using a digital camera or the like, and manages the pictures taken with the digital camera or the like via an in-vehicle device. Transmission to the center is performed (see paragraphs 0024-0025).
  • Patent document 2 also does not consider the above point, and although the damaged road is estimated based on the vehicle vibration information and the vehicle position information, it does not mention the function of photographing the local road abnormality. Not done.
  • An object of the present invention is to provide an in-vehicle device, a road surface image transmission method, and a program recording medium that can contribute to facilitating diagnosis of road abnormalities based on images received from vehicles.
  • an abnormal section identification unit that identifies a road section where there is a high possibility that an abnormality has occurred on the road surface based on the output value of a sensor mounted on the vehicle; and a camera mounted on the vehicle.
  • an image selection unit that selects an image of the specified road section from a plurality of images captured at predetermined time intervals in , and a transmission unit that transmits the selected image to a predetermined server.
  • an in-vehicle device equipped with a camera and a sensor identifies a road section where there is a high possibility that an abnormality has occurred on the road surface based on the output value of the sensor,
  • a road surface image transmission method for selecting an image of the specified road section from a plurality of images captured by a camera at predetermined time intervals and transmitting the selected image to a predetermined server.
  • the method is tied to a specific machine, the on-board equipment of the vehicle, which is equipped with cameras and sensors.
  • a computer program (hereinafter referred to as "program") is provided for realizing each function of the in-vehicle device described above.
  • This program is input to the computer device via an input device or an external communication interface, stored in a storage device, and drives the processor according to predetermined steps or processes.
  • this program can display the results of processing, including intermediate states, at each stage via a display device as required, or can communicate with the outside via a communication interface.
  • a computer device for that purpose typically includes a processor, a storage device, an input device, a communication interface, and optionally a display device, which are interconnected by a bus, as an example.
  • the program can also be recorded on a computer-readable (non-transitory) storage medium.
  • FIG. 1 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to a first embodiment of the present invention;
  • FIG. It is a figure for demonstrating operation
  • FIG. 4 is a flow chart showing the operation of the in-vehicle device according to the first embodiment of the present invention
  • FIG. 5 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to a second embodiment of the present invention
  • It is a flowchart showing operation
  • It is a figure which shows an example of the image which the vehicle-mounted apparatus of the 2nd Embodiment of this invention produces.
  • FIG. 11 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to a third embodiment of the present invention; It is a flowchart showing operation
  • connection lines between blocks in drawings and the like referred to in the following description include both bidirectional and unidirectional connections.
  • the unidirectional arrows schematically show the flow of main signals (data) and do not exclude bidirectionality.
  • a program is executed via a computer device, and the computer device includes, for example, a processor, a storage device, an input device, a communication interface, and, if necessary, a display device.
  • this computer device is configured to be able to communicate with internal or external devices (including computers) via a communication interface, regardless of whether it is wired or wireless. Also, although there are ports or interfaces at the input/output connection points of each block in the figure, they are omitted from the drawing.
  • an in-vehicle device 20 including an abnormal section identification unit 23, an image selection unit 24, and a transmission unit 25 can be implemented.
  • the abnormal section identification unit 23 identifies road sections where there is a high possibility that an abnormality has occurred on the road surface, based on the output value of the sensor 22 mounted on the vehicle.
  • the image selection unit 24 selects an image of the specified road section from among a plurality of images captured at predetermined time intervals by the camera 21 mounted on the vehicle.
  • the image captured by the camera 21 may be a moving image. In that case, a plurality of frames forming a moving image will be used. Also, if this moving image is encoded using a frame prediction method, an I frame close to the intended timing should be selected.
  • the transmission unit 25 is configured to be able to transmit the selected image to a predetermined server.
  • FIG. 2 is a diagram for explaining an example of the operation of the in-vehicle device 20 of this embodiment.
  • Images P 0 to P 6 show images captured by the camera 21 at timings t 0 to t 6 while the vehicle V is traveling from left to right in FIG. Since the camera 21 mounted on the vehicle V captures the front, the image P i captured at the time t i captures the road surface that the vehicle V passes after the time t i+1 . In other words, when an abnormality is detected on the road surface at time t i , the road surface is reflected in the image before time t i ⁇ 1 .
  • a pothole PH exists in the section through which the vehicle V passes from time t4 to t5.
  • an acceleration sensor that measures vertical acceleration is used as the sensor, the presence of the pothole PH is detected in the vertical direction when the tire of the vehicle V passes over the pothole PH after time t4. can be detected by changes in the acceleration of However, the photographed image immediately after time t5 is P5 , and the pothole PH is not shown.
  • the in-vehicle device 20 of the present embodiment identifies a road section (time t 4 to t 5 ) where there is a high possibility that an abnormality has occurred on the road surface.
  • the in-vehicle device 20 further selects an image P 3 that captures the road surface of the specified road section (time t 4 to t 5 ) at the closest position from among the plurality of images captured by the camera 21. select.
  • the in - vehicle device 20 transmits the selected image P3 to a predetermined server. This allows the given server to obtain the presence of the pothole PH and its set of images.
  • the rule for selecting an image obtained by photographing a specified road section from a plurality of images is not limited to the example shown in FIG.
  • the distance between the photographing position of the image showing the pothole PH and the position of the pothole PH when the camera 21 is installed at the depression angle ⁇ 1 is represented by D1.
  • the depression angle of the camera 21 is ⁇ 2, which is smaller than ⁇ 1
  • the photographing position of the image showing the pothole PH and the position of the pothole PH are D2, which is longer than D1.
  • the image selection unit 24 selects a past image by tracing back the traveling time of D 1 (D 2 ), which is a distance determined by the position and the angle of view of the camera 21, so that it is possible that an abnormality has occurred on the road surface. It is possible to select an image that captures a road section with a high probability.
  • the rule for selecting an image obtained by photographing a specified road section from a plurality of images changes depending on the mounting position and angle of view of the camera of the vehicle V, so it is necessary to appropriately set for each vehicle.
  • FIG. 4 is a diagram showing the configuration of the first embodiment of the present invention.
  • a configuration is shown in which a road management server 100 and a vehicle 200 equipped with an in-vehicle device are connected via a network.
  • a configuration may be adopted in which a plurality of vehicles 200 transmit images to the road management server 100.
  • the road management server 100 receives an image of the road on which an abnormality was observed from the vehicle 200 and allows the road administrator to view it.
  • the road administrator refers to the browsed images to determine whether or not road repair is necessary and to formulate a long-term repair plan.
  • the vehicle 200 has a road inspection function and has a function of transmitting measurement data such as crack rate, rut amount, and IRI (International Roughness Index)
  • IRI International Roughness Index
  • FIG. 5 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to the first embodiment of the present invention.
  • vehicle 200 including camera 201, sensor 202, abnormal section identification unit 203, image selection unit 204, transmission unit 205, and image storage unit 206 is shown.
  • the in-vehicle device can be configured to include the abnormal section identification unit 203, the image selection unit 204, and the transmission unit 205 among these.
  • at least one of the camera 201, the sensor 202, and the image storage unit 206 may be included in the in-vehicle device.
  • the camera 201 is a camera that photographs the road surface in front of the vehicle at predetermined time intervals.
  • the type of camera 201 can be selected according to the type of road anomaly to be detected. Therefore, the camera 201 may be an optical camera that captures images in the visible light range, an infrared camera, or a TOF (Time of Flight) camera that can measure distance using the reflection time of light.
  • TOF Time of Flight
  • the sensor 202 is a sensor capable of measuring at least one of the vehicle 200's speed, acceleration, and tire rotation speed.
  • a sensor capable of measuring acceleration in the vertical direction (Z direction) of the vehicle 200 is used.
  • An acceleration sensor provided for IRI measurement can also be used as such an acceleration sensor.
  • the abnormal section identification unit 203 identifies an abnormal section of the road based on changes in acceleration measured by the sensor 202 .
  • FIG. 6 is a diagram for explaining the operation of the abnormal section identification unit 203. As shown in FIG. As shown in the upper part of FIG. 6, when a crack cr occurs in the road surface ahead of the vehicle V traveling on the road, the sensor 202 measures the vibration transmitted through the tires. The interval t 11 to t 12 in which this vibration occurs and its observation time can be specified as an abnormal interval.
  • the image accumulation unit 206 accumulates images captured by the camera 201 for a predetermined period.
  • FIG. 7 is a diagram showing an example of image information accumulated in the image accumulation unit 206. As shown in FIG. In the example of FIG. 7, images captured by the camera 201 are accumulated every second. Since the storage capacity of the image storage unit 206 is limited, images after a certain period of time have passed are deleted from the image storage unit 206 .
  • the image selection unit 204 selects an image obtained by photographing the abnormal section identified by the abnormal section identification unit 203 from the images accumulated in the image accumulation unit 206 and transmits the image to the transmission unit 205 .
  • the image obtained by photographing the abnormal section is a past image obtained by photographing the position of the tire when the sensor observes the abnormality. Therefore, the image selection unit 204 extracts an image at a time preceding the time when the abnormal value of the sensor 202 corresponding to the abnormal section was observed by the travel time of a predetermined distance. It is possible to select an image that captures an abnormal section that has been detected.
  • the image of the position of the tire at the time when the sensor observes the abnormality is the distance D 1 (D 2 ) corresponding to the position and depression angle of the camera 201 and the time calculated based on the vehicle speed. It can be obtained by selecting images in the past by the number of minutes (see FIG. 3). For example, if it takes N seconds for the vehicle V to travel the distance D 1 (D 2 ), the crack cr in FIG. You can select an image that has Furthermore, in selecting the past images, the time required for observing (detecting) an abnormality may be taken into consideration. If the time required for observation (detection) of this abnormality is n, the image obtained by photographing the crack cr in FIG. can. In addition, when the abnormality is continuous like the crack cr in FIG. 6, the image selection unit continuously selects images so that the number of images corresponding to the length of the crack is selected. become.
  • an image in which an abnormal section is captured is selected using the image capturing time, but it is also possible to specify an image using position information.
  • the abnormal section identification unit 203 needs to identify the abnormal section by a combination of position information such as latitude and longitude obtained by GPS (Global Positioning System).
  • GPS Global Positioning System
  • the image captured by the camera 201 is associated with the position information obtained by the GPS.
  • the image selection unit 204 selects an image obtained by photographing an abnormal section specified by a combination of position information using the position information of the subject (road) or the like.
  • the transmission unit 205 transmits the selected image to the road management server 100 .
  • the form of connection between the transmission unit 205 and the network may be via a wireless communication network provided by a mobile communication carrier, or via a roadside unit placed near the road. may be
  • FIG. 8 is a flow chart showing the operation of the vehicle-mounted device according to the first embodiment of the present invention.
  • images are captured by the camera 201 at predetermined time intervals and stored in the image storage unit 206 .
  • the in-vehicle device mounted in the vehicle 200 performs the processing shown in FIG. 8 at predetermined time intervals.
  • the abnormal section identification unit 203 of the in-vehicle device checks whether there is an abnormality on the road surface based on the measured value of the sensor 202 (step S001).
  • the image selection unit 204 selects an image of the road surface determined to have an abnormality from the images accumulated in the image accumulation unit 206. (step S002). If it is determined that there is no road surface abnormality (No in step S001), the in-vehicle device omits subsequent processing.
  • the image selection unit 204 selects an image of the road surface determined to have an abnormality from among the images accumulated in the image accumulation unit 206 (step S002).
  • the transmission unit 205 transmits the selected image to the road management server 100 (step S003). For example, when the vehicle V travels through the section where the crack cr exists in FIG. 6, the in-vehicle device continuously transmits images of the road surface where the crack cr exists.
  • this embodiment it is possible not only to detect the presence or absence of an abnormality on the road surface, but also to send an image of the road surface with the abnormality to the road management server 100. This eliminates the need for the road administrator or the like to dispatch personnel to the site, thereby facilitating the diagnosis of road abnormalities.
  • FIG. 9 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to the second embodiment of the invention.
  • a structural difference from the first embodiment shown in FIG. 5 is that a position specifying unit 207 and an image processing unit 208 are added to the vehicle 200a. Since other configurations are substantially the same as those of the first embodiment, the differences will be mainly described below.
  • the position specifying unit 207 includes a GPS module and specifies the position of the vehicle 200a.
  • the image processing unit 208 processes the image selected by the image selection unit 204 by adding the vehicle position information specified by the position specifying unit 207, and then sends the processed image to the transmission unit 205.
  • FIG. 10 is a flow chart showing the operation of the vehicle-mounted device according to the second embodiment of the present invention.
  • the difference from the operation of the in-vehicle device of the first embodiment shown in FIG. 8 is that image processing is added after selecting the image of the abnormal location in step S002. The difference will be mainly described below.
  • the image processing unit 208 After the image selection unit 204 selects an image of the road surface determined to have an abnormality from among the images accumulated in the image accumulation unit 206 (step S002), the image processing unit 208 Output the image.
  • the image processing unit 208 requests the position specifying unit 207 to specify the current position of the vehicle 200a, and receives the position information of the vehicle 200a (step S004).
  • the image processing unit 208 adds vehicle position information as additional information to the image selected by the image selection unit 204 in step S002 (step S005).
  • the transmission unit 205 transmits the processed image to the road management server 100 (step S003a).
  • FIG. 11 is a diagram showing an example of an image created by the in-vehicle device of this embodiment.
  • the character "abnormality detected" and the position information (latitude and longitude information) of the vehicle are added to the upper left of the image of the cracked road. Since this position information is not the position where the image was captured, but the position where the sensor detected the abnormality, it can be said that it indicates the position of the abnormal spot on the road.
  • position information latitude and longitude information
  • position information is not limited to the example in FIG.
  • information on the road on which the abnormality was detected (prefectural road No. XX) and position information on the road (10 m from the YY intersection) may be added. good.
  • position information can be created by, for example, using map information or the like to determine the corresponding road and its relative position from latitude and longitude information.
  • FIG. 13 is a functional block diagram showing the configuration of a vehicle equipped with an in-vehicle device according to the third embodiment of the invention.
  • a structural difference from the first embodiment shown in FIG. 5 is that an abnormal region extraction unit 209 and an image processing unit 208b are added to the vehicle 200b. Since other configurations are substantially the same as those of the first embodiment, the differences will be mainly described below.
  • the abnormal region extracting unit 209 uses an area detector created in advance to identify a region in the image in which a road abnormality has occurred, and the image processing unit 208b, the information of the area where the road abnormality occurs in the image is output.
  • the area detector can be created by machine learning, for example, by preparing a teacher data set labeled with an image of a road prepared in advance and its abnormal mode.
  • the image processing unit 208b sends the image selected by the image selection unit 204 to the abnormal area extraction unit 209, and requests identification of the area in the image where the road abnormality occurs.
  • the image processing unit 208b selects the image selected by the image selection unit 204 so that the road abnormality is detected. Perform processing to emphasize the area where it occurs.
  • the image processing unit 208 b sends the processed image to the transmission unit 205 .
  • FIG. 14 is a flow chart showing the operation of the in-vehicle device according to the third embodiment of the present invention.
  • the difference from the operation of the in-vehicle device of the first embodiment shown in FIG. 8 is that image processing is added after selecting the image of the abnormal location in step S002. The difference will be mainly described below.
  • the image selecting unit 204 selects an image of the road surface determined to have an abnormality from among the images accumulated in the image accumulating unit 206 (step S002)
  • the selected image is sent to the image processing unit 208b.
  • the image processing unit 208b requests the abnormal area extracting unit 209 to identify an area of the road in the image received from the image selecting unit 204, where the road is abnormal. receive information on the area where the abnormality is occurring (step S104).
  • the image processing unit 208b uses the information on the area in the image where the road abnormality has occurred to change the area in the image in which the road abnormality has occurred selected by the image selection unit 204 in step S002. is processed to emphasize (step S105).
  • the transmission unit 205 transmits the processed (enhanced) image to the road management server 100 (step S003b).
  • FIG. 15 and 16 are diagrams showing examples of images created by the in-vehicle device of this embodiment.
  • an arrow and a dotted line surrounding the cracked portion are added to the cracked portion of the image of the cracked road.
  • the section length in which the crack was detected is displayed as "Crack detected continuously for 15 m".
  • processing for emphasizing an area where an abnormality has occurred is not limited to the examples of FIGS. 15 and 16.
  • processing for emphasizing the outline of the cracked portion, processing for coloring, or the like may be performed.
  • the sensor 202 is an acceleration sensor, but the sensor 202 may be information from various gauges installed in the vehicle. For example, when a vehicle travels over an abnormal portion of the road surface such as a crack, a decrease in vehicle speed and an increase in the amount of depression of the accelerator are observed due to an increase in rolling friction. Using these changes, the abnormal section identifying unit 203 may identify abnormal sections of the road. Similarly, when a vehicle travels over an abnormal portion of the road surface such as a crack, a decrease in tire rotation speed and an increase in accelerator depression amount are observed due to an increase in rolling friction. Using these changes, the abnormal section identifying unit 203 may identify abnormal sections of the road.
  • running state information indicating the running state of vehicle 200 (vehicle speed, acceleration, shift position, engine speed, accelerator depression amount, etc.) to the image transmitted by transmission unit 205 .
  • the road surface anomalies are described as potholes and cracks, but the road surface anomalies are not limited to these. Any road surface anomaly that can be detected by a vehicle sensor, or any other anomaly may be used.
  • the procedures shown in the above-described first to third embodiments can be realized by a program that causes a computer (9000 in FIG. 17) functioning as an in-vehicle device to realize the functions of these devices.
  • a computer is exemplified by a configuration comprising a CPU (Central Processing Unit) 9010, a communication interface 9020, a memory 9030, and an auxiliary storage device 9040 in FIG. That is, the CPU 9010 in FIG. 17 may execute an abnormal section identification processing program and an image selection program to update each calculation parameter held in the auxiliary storage device 9040 or the like.
  • a CPU Central Processing Unit
  • each part (processing means, function) of each device shown in the above-described first to third embodiments executes the above-described processing using the hardware in the processor installed in these devices. It can be implemented by a computer program that causes
  • the sensor is a sensor that measures at least one of speed, acceleration, and tire rotation speed
  • the abnormal section identification unit, A configuration can be adopted in which a section in which the road surface is highly likely to have an abnormality is identified based on the change pattern of the output value of the sensor.
  • the vehicle-mounted device described above further comprises: An image processing unit that adds information about the specified road section to the image to be transmitted to the predetermined server, The transmission unit A configuration can be adopted in which the processed image is transmitted to the predetermined server.
  • the image processing unit of the vehicle-mounted device may be configured to add information indicating the shooting location of the image selected by the image selection unit.
  • the above-described in-vehicle device includes an abnormal area extraction unit that analyzes the image selected by the image selection unit and extracts an abnormal area,
  • the image processing section may be configured to carry out processing for highlighting the region extracted by the abnormal region extraction section.
  • the vehicle-mounted device described above can have a function of adding information indicating the running state of the vehicle to the image to be transmitted to the predetermined server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両から受信した画像による道路の異常の診断を容易化する。車載装置は、車両に搭載されたセンサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定する異常区間特定部と、前記車両に搭載されたカメラにて所定の時間間隔で撮影した複数の画像から、前記特定した道路区間を撮影した画像を選択する画像選択部と、所定のサーバーに対し、前記選択した画像を送信可能な送信部と、を備える。

Description

車載装置、路面画像の送信方法及びプログラム記録媒体
　本発明は、車載装置、路面画像の送信方法及びプログラム記録媒体に関する。
　近年、専用の路面性状測定車を用いる方法のほか、通信機能を備えた車両を用いて道路の路面の状態を測定し、当該車両からデータを収集することで道路の点検を効率化する試みが行われている。例えば、特許文献１には、道路の修繕が必要な箇所を特定するのに要する時間を短縮することができるという道路異常収集システムが開示されている。具体的には、この道路異常収集システムの車載装置は、道路を走行中に前記車両の走行履歴データを記録する手段と、道路を走行中に道路の異常を検知する手段と、前記検知した道路の異常と前記車両の走行履歴データとに基づいて、道路の異常場所を特定して報知する手段と、前記特定された道路の異常場所をカメラで撮影した画像を、前記特定された道路の異常場所の位置情報と共に、管理センタへ送信する手段とを備えると記載されている。そして、前記管理センタは、前記車載装置から送信された前記道路の異常場所の画像及び位置情報を記憶して蓄積する道路異常蓄積手段を備える。
　特許文献２には、車両が破損道路を走行前に知ることが可能になるというセンター側システム及び車両側システムが開示されている。同文献によると、センター側システムは、プローブ車両に生じた振動に関する情報である車両振動情報と、プローブ車両の位置に関する情報であるプローブ車両位置情報とを車両側システムから受信するセンター側受信部を備える。そして、センター側システムは、センター側受信部で受信した車両振動情報及びプローブ車両位置情報に基づいて、破損道路を推定する交通状況推定部と、交通状況推定部の推定結果を外部に送信するセンター側送信部とを備える。
特開２００７－７２６６７号公報 国際公開第２０１３／０８４２８７号
　以下の分析は、本発明者によって与えられたものである。特許文献１によれば、道路の異常箇所は車両がその上を通過した段階で加速度の異常等によって検出される。一方、車載カメラは車両の前面を指向しているため、異常検知後の撮影では、局所的な道路の異常を撮影できないという問題点がある。このため、道路の異常を検出できるが、わざわざ道路管理者が現地に赴き調査をしなければならないというケースが生じている。例えば、特許文献１においても、ユーザが異常発生地点に出向き、デジタルカメラ等を使用して道路の破損個所を撮影し、車載装置を介して、前記デジタルカメラ等を使用して撮影した画像を管理センタに送信することが行われている（段落００２４－００２５参照）。
　特許文献２においても上記の点は考慮されておらず、車両振動情報及び前記車両位置情報に基づいた破損道路の推定が行われるものの、当該局所的な道路の異常を撮影する機能については何ら触れられていない。
　本発明は、車両からの受信した画像による道路の異常の診断の容易化に貢献できる車載装置、路面画像の送信方法及びプログラム記録媒体を提供することを目的とする。
　第１の視点によれば、車両に搭載されたセンサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定する異常区間特定部と、前記車両に搭載されたカメラにて所定の時間間隔で撮影された複数の画像から、前記特定した道路区間を撮影した画像を選択する画像選択部と、所定のサーバーに対し、前記選択した画像を送信する送信部と、を備える車載装置が提供される。
　第２の視点によれば、カメラと、センサーと、を搭載した車両の車載装置が、前記センサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定し、前記カメラにて所定の時間間隔で撮影された複数の画像から、前記特定した道路区間を撮影した画像を選択し、所定のサーバーに対し、前記選択した画像を送信する路面画像の送信方法が提供される。本方法は、カメラと、センサーと、を搭載した車両の車載装置という、特定の機械に結びつけられている。
　第３の視点によれば、上記した車載装置の各機能を実現するためのコンピュータプログラム（以下、「プログラム」）が提供される。このプログラムは、コンピュータ装置に入力装置又は外部から通信インターフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させる。また、このプログラムは、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と通信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。
　本発明によれば、車両からの受信した画像による道路の異常の診断を容易化することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第１の実施形態の構成を示す図である。 本発明の第１の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。 本発明の第１の実施形態の車載装置の異常区間特定部の動作を説明するための図である。 本発明の第１の実施形態の車載装置の画像蓄積部に蓄積される画像情報の一例を示す図である。 本発明の第１の実施形態の車載装置の動作を表したフローチャートである。 本発明の第２の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。 本発明の第２の実施形態の車載装置の動作を表したフローチャートである。 本発明の第２の実施形態の車載装置が作成する画像の一例を示す図である。 本発明の第２の実施形態の車載装置が作成する画像の一例を示す図である。 本発明の第３の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。 本発明の第３の実施形態の車載装置の動作を表したフローチャートである。 本発明の第３の実施形態の車載装置が作成する画像の一例を示す図である。 本発明の第３の実施形態の車載装置が作成する画像の一例を示す図である。 本発明の車両に搭載されるコンピュータの構成を示す図である。
　はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。
　本発明は、その一実施形態において、図１に示すように、異常区間特定部２３と、画像選択部２４と、送信部２５と、を備える車載装置２０にて実現できる。
　より具体的には、異常区間特定部２３は、車両に搭載されたセンサー２２の出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定する。
　画像選択部２４は、車両に搭載されたカメラ２１にて所定の時間間隔で撮影された複数の画像の中から、前記特定した道路区間を撮影した画像を選択する。なお、カメラ２１により撮影される画像は動画であってもよい。その場合、動画を構成する複数のフレームが用いられることになる。また、この動画が、フレーム予測方式を用いて符号化されている場合、意図したタイミングに近いＩフレームを選択すればよい。
　送信部２５は、所定のサーバーに対し、前記選択した画像を送信可能に構成されている。
　図２は、本実施形態の車載装置２０の動作の一例を説明するための図である。画像Ｐ０～Ｐ６は、車両Ｖが図２の左から右に走行する過程で、時刻ｔ０～ｔ６のタイミングでカメラ２１により撮影された画像を示す。車両Ｖに搭載されたカメラ２１は前方を写しているため、時刻ｔｉで撮影された画像Ｐｉは、時刻ｔｉ＋１以降に車両Ｖが通過する路面を写している。換言すると、時刻ｔｉで路面に異常が検知された場合、その路面は、時刻ｔｉ－１以前の画像に写っていることになる。
　図２の例では、時刻ｔ４～ｔ５に車両Ｖが通行する区間に、ポットホールＰＨが存在している。例えば、センサーとして鉛直方向の加速度を計測する加速度センサーが用いられている場合、ポットホールＰＨの存在は、時刻ｔ４の後に、車両ＶのタイヤがポットホールＰＨの上を通過した際の鉛直方向の加速度の変化により検出できる。しかしながら、直後の時刻ｔ５の撮影画像は、Ｐ５であり、ポットホールＰＨは写っていない。
　そこで、本実施形態の車載装置２０は、前記センサー２２の出力値に基づいて、路面に異常が生じている可能性の高い道路区間（時刻ｔ４～ｔ５）を特定する。車載装置２０は、さらに、カメラ２１にて撮影された複数の画像の中から、前記特定した道路区間（時刻ｔ４～ｔ５）の路面を最も近くの位置で撮影している画像Ｐ３を選択する。そして、車載装置２０は、前記選択した画像Ｐ３を所定のサーバーに送信する。これにより、前記所定のサーバーは、ポットホールＰＨの存在と、その画像の組を入手することが可能となる。
　以上のように本実施形態によれば、車両から受信した画像による道路の異常の診断を容易化することが可能となる。その理由は、道路の異常の有無に加えて、当該異常を的確に捉えた画像を所定のサーバーに送信する構成を採用したことにある。
　なお、複数の画像から特定した道路区間を撮影した画像を選択するルールは図２の例に限られず、車両Ｖに搭載されたカメラ２１の位置と画角によって決定される。例えば、図３の上段に示すように、カメラ２１が俯角θ１で設置されている場合のポットホールＰＨが写っている画像の撮影位置と、ポットホールＰＨの位置との距離はＤ１で表される。カメラ２１の俯角がθ１より小さいθ２である場合、ポットホールＰＨが写っている画像の撮影位置と、ポットホールＰＨの位置は、Ｄ１より長いＤ２となる。従って、画像選択部２４は、カメラ２１の位置と画角によって決定される距離のＤ１（Ｄ２）の走行時間だけ遡って過去の画像を選択することで、路面に異常が生じている可能性の高い道路区間を撮影した画像を選択することができる。このように、複数の画像から特定した道路区間を撮影した画像を選択するルールは、車両Ｖのカメラの取付位置や画角によって変わるので、車両毎に適切に設定する必要がある。
［第１の実施形態］
　続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図４は、本発明の第１の実施形態の構成を示す図である。図４を参照すると、道路管理サーバ１００と、車載装置を搭載した車両２００とがネットワークを介して接続された構成が示されている。なお、図４の例では、１台の車両２００が示されているが、複数の車両２００が道路管理サーバ１００に画像を送信する構成であってもよい。
　道路管理サーバ１００は、車両２００から、異常が観測された道路の画像を受信し、道路管理者に閲覧させる。道路管理者は、閲覧した画像を参照して、道路の補修の要否や長期的な修繕の計画を立案する。また、車両２００が、道路の点検機能を備えており、ひび割れ率、わだち掘れ量、ＩＲＩ（国際ラフネス指数；Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｒｏｕｇｈｎｅｓｓ　Ｉｎｄｅｘ）等の測定データを送信する機能を備えている場合、道路管理サーバ１００が、これらのデータの管理、分析を行ってもよい。
　図５は、本発明の第１の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。図５を参照すると、カメラ２０１と、センサー２０２と、異常区間特定部２０３と、画像選択部２０４と、送信部２０５と、画像蓄積部２０６と、を備えた車両２００の構成が示されている。車載装置は、このうちの異常区間特定部２０３と、画像選択部２０４と、送信部２０５と、を含む構成とすることができる。もちろん、車載装置に、カメラ２０１、センサー２０２、及び、画像蓄積部２０６の少なくとも１つ以上が含まれていてもよい。
　カメラ２０１は、所定の時間間隔で車両の前方の路面を撮影するカメラである。カメラ２０１の種類は、検出したい道路の異常の種類に応じて選択することができる。従って、カメラ２０１は、可視光域で撮影を行う光学カメラのほか、赤外線カメラや光の反射時間を用いて距離を測定できるＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラであってもよい。
　センサー２０２は、車両２００の速度、加速度、タイヤ回転数のうち少なくとも１つ以上を計測可能なセンサーである。本実施形態では、車両２００の鉛直方向（Ｚ方向）の加速度を測定可能なセンサーを用いるものとして説明する。なお、このような加速度センサーとしてＩＲＩの測定用に備えられた加速度センサーを用いることもできる。
　異常区間特定部２０３は、センサー２０２にて計測された加速度の変化に基づいて道路の異常区間を特定する。図６は、異常区間特定部２０３の動作を説明するための図である。図６の上段に示すように、道路を走行中の車両Ｖの進行先の路面にひび割れｃｒが発生している場合、タイヤを介して伝わった振動がセンサー２０２にて計測される。この振動が生じている区間ｔ１１～ｔ１２とその観測時刻を異常区間として特定することができる。
　画像蓄積部２０６は、カメラ２０１にて撮影された画像を所定期間蓄積する。図７は、画像蓄積部２０６に蓄積される画像情報の一例を示す図である。図７の例では、１秒おきに、カメラ２０１にて撮影された画像が蓄積されている。なお、画像蓄積部２０６の記憶容量は限りがあるため、一定経過後の画像は画像蓄積部２０６から削除される。
　画像選択部２０４は、画像蓄積部２０６に蓄積された画像の中から前記異常区間特定部２０３にて特定された異常区間を撮影した画像を選択し、送信部２０５に送る。前記異常区間を撮影した画像は、前記センサーで異常を観測した時点のタイヤの位置を撮影している過去の画像となる。従って、画像選択部２０４は、異常区間に対応するセンサー２０２の異常値を観測した観測時刻から所定距離の走行時間分だけ遡った時刻の画像を取り出すことで、前記異常区間特定部２０３にて特定された異常区間を撮影した画像を選択することができる。前述のように、前記センサーで異常を観測した時点のタイヤの位置を撮影した画像は、カメラ２０１の位置・俯角に応じた距離Ｄ１（Ｄ２）と、車速とに基づいて計算される時間分だけ過去の画像を選択することで得ることができる（図３参照）。例えば、車両Ｖが距離Ｄ１（Ｄ２）を走行するのにＮ秒要する場合、センサーで異常を観測した時刻からＮ秒分だけ過去の画像を選択することで、図６のひび割れｃｒを撮影した画像を選ぶことができる。さらに、上記過去の画像の選択にあたり、異常の観測（検出）に要する時間を考慮に入れてもよい。この異常の観測（検出）に要する時間をｎとした場合、センサーで異常を観測した時刻からＮ＋ｎ秒分だけ過去の画像を選択することで、図６のひび割れｃｒを撮影した画像を選ぶことができる。また、図６のひび割れｃｒのように、異常が連続している場合、画像選択部が連続して画像の選択動作を続けることで、ひび割れの長さに応じた数の画像が選択されることになる。
　なお、上記の例では画像の撮影時刻を用いて異常区間を撮影した画像を選択するものとして説明したが、位置情報を用いて画像を特定することも可能である。この場合、異常区間特定部２０３にて、異常区間がＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）で得られた緯度経度等の位置情報の組み合わせで特定されていることが必要となる。また、カメラ２０１で撮影された画像にもＧＰＳで得られた位置情報が紐づけられている必要がある。この場合、画像選択部２０４は、位置情報の組み合わせで特定されている異常区間を撮影した画像を、被写体（道路）の位置情報等を用いて選択することになる。
　送信部２０５は、道路管理サーバ１００に対し、前記選択した画像を送信する。なお、送信部２０５とネットワークとの接続形態は、移動体通信事業者の提供する無線通信網を介したものであってもよいし、また、道路の近傍に配置された路側機を介したものであってもよい。
　続いて、本実施形態の動作について図面を参照して詳細に説明する。図８は、本発明の第１の実施形態の車載装置の動作を表したフローチャートである。以下の説明では、カメラ２０１にて所定の時間間隔で画像が撮影され、画像蓄積部２０６に蓄積されているものとして説明する。車両２００に搭載された車載装置は、所定の時間間隔で、図８に示した処理を行う。まず、車載装置の異常区間特定部２０３は、センサー２０２の測定値により、路面の異常の有無を確認する（ステップＳ００１）。
　路面の異常ありと判定した場合（ステップＳ００１のＹｅｓ）、画像選択部２０４は、画像蓄積部２０６に蓄積された画像の中から、異常が発生していると判定した路面を撮影した画像を選択する（ステップＳ００２）。なお、路面の異常なしと判定した場合（ステップＳ００１のＮｏ）、車載装置は以降の処理を省略する。
　路面の異常ありと判定した場合、画像選択部２０４は、画像蓄積部２０６に蓄積された画像の中から、異常が発生していると判定した路面を撮影した画像を選択する（ステップＳ００２）。
　最後に送信部２０５が道路管理サーバ１００に対し、前記選択した画像を送信する（ステップＳ００３）。例えば、図６のひび割れｃｒの存在する区間を車両Ｖが走行した場合、車載装置は、そのひび割れｃｒが存在する路面の画像を連続して送信することになる。
　以上説明したように、本実施形態によれば、路面の異常の有無を検出するだけでなく、その異常が発生した路面を撮影した画像を道路管理サーバ１００に送信することが可能となる。これにより、道路管理者等が要員を現地に派遣する必要がなくなり、道路の異常の診断を容易化されることになる。
［第２の実施形態］
　続いて、車載装置が送信する画像に、道路の異常の診断をさらに容易化する情報を付加するようにした第２の実施形態について説明する。図９は、本発明の第２の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。図５に示した第１の実施形態との構成上の相違点は、車両２００ａに位置特定部２０７と、画像加工部２０８とが追加されている点である。その他の構成は第１の実施形態とほぼ同様であるので、以下、その相違点を中心に説明する。
　位置特定部２０７は、ＧＰＳモジュールを含んで構成され、車両２００ａの位置を特定する。
　画像加工部２０８は、画像選択部２０４にて選択された画像に対して位置特定部２０７で特定した自車位置情報を追加する加工を行ってから、送信部２０５に加工後の画像を送る。
　続いて、本実施形態の動作について図面を参照して詳細に説明する。図１０は、本発明の第２の実施形態の車載装置の動作を表したフローチャートである。図８に示した第１の実施形態の車載装置の動作との相違点は、ステップＳ００２の異常箇所を撮影した画像の選択後に画像加工処理が追加されている点である。以下、その相違点を中心に説明する。
　画像選択部２０４が、画像蓄積部２０６に蓄積された画像の中から、異常が発生していると判定した路面を撮影した画像を選択した後（ステップＳ００２）、画像加工部２０８に、選択した画像を出力する。画像加工部２０８は、位置特定部２０７に対し、車両２００ａの現在位置の特定を要求し、車両２００ａの位置情報を受け取る（ステップＳ００４）。
　次に、画像加工部２０８は、ステップＳ００２で画像選択部２０４が選択した画像に、付加情報として、自車位置情報を追加する（ステップＳ００５）。
　最後に送信部２０５が道路管理サーバ１００に対し、前記加工後の画像を送信する（ステップＳ００３ａ）。
　図１１は、本実施形態の車載装置が作成する画像の一例を示す図である。図１１の例では、ひび割れが生じている道路の画像の左上に、「異常検出中」という文字と、車両の位置情報（緯度経度情報）が付加されている。この位置情報は、画像の撮影位置ではなくセンサーが異常を検出した位置であるのでほぼ道路の異常箇所の位置を示していると言える。このような位置情報（緯度経度情報）が付加された画像を道路管理者に提供することで、ひび割れが生じている道路の位置の把握が容易化される。
　画像に、位置情報を付加する形態は、図１１の例に限られない。例えば、図１２に示すように、緯度経度情報に代えて、異常を検出した道路の情報（県道ＸＸ号）と、その道路中の位置情報（ＹＹ交差点から１０ｍ）といった位置情報を付加してもよい。このような位置情報は、例えば、地図情報等を用いて、緯度経度情報から、該当する道路と、その相対的な位置を割り出すことで作成することができる。
［第３の実施形態］
　続いて、車載装置が送信する画像に、異常箇所の特定を容易化する情報を付加するようにした第３の実施形態について説明する。図１３は、本発明の第３の実施形態の車載装置が搭載された車両の構成を表した機能ブロック図である。図５に示した第１の実施形態との構成上の相違点は、車両２００ｂに異常領域抽出部２０９と、画像加工部２０８ｂとが追加されている点である。その他の構成は第１の実施形態とほぼ同様であるので、以下、その相違点を中心に説明する。
　異常領域抽出部２０９は、画像加工部２０８ｂから画像が入力されると、事前に作成した領域検出器を用いて、前記画像中の道路の異常が発生している領域を特定し、画像加工部２０８ｂに対し、画像中の道路の異常が発生している領域の情報を出力する。なお、領域検出器は、例えば、事前に用意した道路の画像とその異常モードをラベルとする教師データセットを用意し、機械学習により作成することができる。
　画像加工部２０８ｂは、画像選択部２０４にて選択された画像を異常領域抽出部２０９に送り、画像中の道路の異常が発生している領域の特定を要求する。異常領域抽出部２０９から、前記画像中の道路の異常が発生している領域の情報を受け取ると、画像加工部２０８ｂは、画像選択部２０４にて選択された画像に対し、前記道路の異常が発生している領域を強調する加工を行う。さらに、画像加工部２０８ｂは、送信部２０５に対し、加工後の画像を送る。
　続いて、本実施形態の動作について図面を参照して詳細に説明する。図１４は、本発明の第３の実施形態の車載装置の動作を表したフローチャートである。図８に示した第１の実施形態の車載装置の動作との相違点は、ステップＳ００２の異常箇所を撮影した画像の選択後に画像加工処理が追加されている点である。以下、その相違点を中心に説明する。
　画像選択部２０４が、画像蓄積部２０６に蓄積された画像の中から、異常が発生していると判定した路面を撮影した画像を選択した後（ステップＳ００２）、画像加工部２０８ｂに、選択した画像を出力する。画像加工部２０８ｂは、異常領域抽出部２０９に対し、画像選択部２０４から受け取った画像中の道路の異常が発生している領域の特定を要求し、異常領域抽出部２０９から前記画像中の道路の異常が発生している領域の情報を受け取る（ステップＳ１０４）。
　次に、画像加工部２０８ｂは、前記画像中の道路の異常が発生している領域の情報を用いて、ステップＳ００２で画像選択部２０４が選択した画像中の道路の異常が発生している領域を強調する加工を行う（ステップＳ１０５）。
　最後に送信部２０５が道路管理サーバ１００に対し、前記加工後（強調後）の画像を送信する（ステップＳ００３ｂ）。
　図１５と図１６は、本実施形態の車載装置が作成する画像の一例を示す図である。図１５の例では、ひび割れが生じている道路の画像のひび割れの箇所に矢印と、ひび割れ部分を囲う点線が追加されている。このような強調表示がなされた画像を道路管理者に提供することで、画像中のひび割れが生じている領域の把握が容易化される。図１６の例では、図１５に加え、「ひび割れ、１５ｍ連続検出中」とのひび割れを検出した区間長が表示されている。
　なお、異常が発生している領域を強調する加工としては図１５、図１６の例に限られない。例えば、ひび割れ部分の輪郭を強調する処理や彩色する処理等を行ってもよい。
　以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステムの構成、各要素の構成、データの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
　例えば、上記した実施形態では、センサー２０２が加速度センサーである例を挙げて説明したが、センサー２０２として、車両に備えられた各種の計器の情報を用いてもよい。例えば、車両がひび割れ等の路面の異常箇所を走行すると、転がり摩擦の増加により車速の減少や、アクセル踏み込み量の増加が観測される。これらの変化を用いて、異常区間特定部２０３が道路の異常区間を特定するようにしてもよい。同様に、車両がひび割れ等の路面の異常箇所を走行すると、転がり摩擦の増大によりタイヤの回転数の減少や、アクセル踏み込み量の増加が観測される。これらの変化を用いて、異常区間特定部２０３が道路の異常区間を特定するようにしてもよい。また、この場合において、送信部２０５が送信する画像に、車両２００の走行状態（車速、加速度、シフト位置、エンジン回転数、アクセル踏み込み量等）を示す走行状態情報を付加することも好ましい。道路管理者に、このような走行状態を提供することで、ひび割れ等の路面の異常箇所の特定をさらに容易化することができる。
　また、上記した各実施形態では、路面の異常が、ポットホール及びひび割れを取り扱った例を挙げて説明したが、路面の異常は、これらに限られない。車両のセンサによって検知できる路面の異常であればよく、その他の異常であってもよい。
　また、上記した第１～第３の実施形態に示した手順は、車載装置として機能するコンピュータ（図１７の９０００）に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１７のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１０、通信インターフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１７のＣＰＵ９０１０にて、異常区間特定処理プログラムや画像選択プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。
　即ち、上記した第１～第３の実施形態に示した各装置の各部（処理手段、機能）は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
　最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による車載装置参照）
［第２の形態］
　上記した車載装置の画像選択部は、
　前記車両のカメラが撮影した画像の中から、前記センサーで異常を観測した時点のタイヤの位置を撮影している画像を選択することで前記特定した道路区間を撮影した画像を選択する構成を採ることができる。
［第３の形態］
　上記した車載装置の画像選択部は、前記車両のカメラの位置と、前記カメラの画角とに基づいて決定した距離の走行時間に相当する時間分の過去の画像を選択することにより、前記センサーで異常を観測した時点のタイヤの位置を撮影している画像を選択する構成を採ることができる。
［第４の形態］
　上記した車載装置において、センサーは、速度、加速度、タイヤ回転数の少なくとも１つ以上を計測するセンサーであり、
　前記異常区間特定部は、
　前記センサーの出力値の変化パターンに基づいて、前記路面に異常が生じている可能性の高い区間を特定する構成を採ることができる。
［第５の形態］
　上記した車載装置は、さらに、
　前記所定のサーバーに対し、送信する画像に、前記特定した道路区間に関する情報を付加する画像加工部を備え、
　前記送信部は、
　前記所定のサーバーに対し、前記加工後の画像を送信する構成を採ることができる。
［第６の形態］
　上記した車載装置の前記画像加工部は、前記画像選択部が選択した画像の撮影地点を示す情報を付加する構成を採ることができる。
［第７の形態］
　上記した車載装置は、前記画像選択部が選択した画像を分析して異常領域を抽出する異常領域抽出部を備え、
　前記画像加工部は、前記異常領域抽出部が抽出した領域を強調表示する加工を行う構成を採ることができる。
［第８の形態］
　上記した車載装置は、前記所定のサーバーに対し送信する画像に、前記車両の走行状態を示す情報を付加する機能を備えることができる。
［第９の形態］
（上記第２の視点による路面画像の送信方法参照）
［第１０の形態］
（上記第３の視点によるプログラム参照）
　なお、上記第９～第１０の形態は、第１の形態と同様に、第２～第８の形態に展開することが可能である。
　なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
　２０　車載装置
　２１、２０１　カメラ
　２２、２０２　センサー
　２３、２０３　異常区間特定部
　２４、２０４　画像選択部
　２５、２０５　送信部
　１００　道路管理サーバ
　２００、２００ａ、２００ｂ、Ｖ　車両
　２０６　画像蓄積部
　２０７　位置特定部
　２０８、２０８ｂ　画像加工部
　２０９　異常領域抽出部
　ＰＨ　ポットホール
　ｃｒ　ひび割れ
　９０００　コンピュータ
　９０１０　ＣＰＵ
　９０２０　通信インターフェース
　９０３０　メモリ
　９０４０　補助記憶装置

Claims (10)

  1. 　車両に搭載されたセンサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定する異常区間特定部と、
    　前記車両に搭載されたカメラにて所定の時間間隔で撮影した複数の画像から、前記特定した道路区間を撮影した画像を選択する画像選択部と、
    　所定のサーバーに対し、前記選択した画像を送信可能な送信部と、
    　を備える車載装置。
  2. 　前記画像選択部は、
    　前記車両のカメラが撮影した画像の中から、前記センサーで異常を観測した時点のタイヤの位置を撮影している画像を選択することで前記特定した道路区間を撮影した画像を選択する請求項１の車載装置。
  3. 　前記画像選択部は、
    　前記車両のカメラの位置と、前記カメラの画角とに基づいて決定した距離の走行時間に相当する時間分の過去の画像を選択することにより、前記センサーで異常を観測した時点のタイヤの位置を撮影している画像を選択する請求項２の車載装置。
  4. 　前記センサーは、速度、加速度、タイヤ回転数の少なくとも１つ以上を計測するセンサーであり、
    　前記異常区間特定部は、
    　前記センサーの出力値の変化パターンに基づいて、前記路面に異常が生じている可能性の高い区間を特定する請求項１から３いずれか一の車載装置。
  5. 　さらに、
    　前記所定のサーバーに対し、送信する画像に、前記特定した道路区間に関する情報を付加する画像加工部を備え、
    　前記送信部は、
    　前記所定のサーバーに対し、前記加工後の画像を送信する請求項１から４いずれか一の車載装置。
  6. 　前記画像加工部は、前記画像選択部が選択した画像の撮影地点を示す情報を付加する請求項５の車載装置。
  7. 　さらに、
    　前記画像選択部が選択した画像を分析して異常領域を抽出する異常領域抽出部を備え、
    　前記画像加工部は、前記異常領域抽出部が抽出した領域を強調表示する加工を行う、
    請求項５又は６の車載装置。
  8. 　前記所定のサーバーに対し送信する画像に、前記車両の走行状態を示す情報を付加する請求項１から７いずれか一の車載装置。
  9. 　カメラと、センサーと、を搭載した車両の車載装置が、
    　前記センサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定し、
    　前記カメラにて所定の時間間隔で撮影された複数の画像から、前記特定した道路区間を撮影した画像を選択し、
    　所定のサーバーに対し、前記選択した画像を送信する、
    　路面画像の送信方法。
  10. 　カメラと、センサーと、を搭載した車両の車載装置に、
    　前記センサーの出力値に基づいて、路面に異常が生じている可能性の高い道路区間を特定する処理と、
    　前記カメラにて所定の時間間隔で撮影された複数の画像から、前記特定した道路区間を撮影した画像を選択する処理と、
    　所定のサーバーに対し、前記選択した画像を送信する処理と、
    　を実行させるプログラムを記録したプログラム記録媒体。
PCT/JP2021/003148 2021-01-29 2021-01-29 車載装置、路面画像の送信方法及びプログラム記録媒体 WO2022162855A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/003148 WO2022162855A1 (ja) 2021-01-29 2021-01-29 車載装置、路面画像の送信方法及びプログラム記録媒体
US18/274,671 US20240092366A1 (en) 2021-01-29 2021-01-29 On-vehicle apparatus, road surface image transmission method, and recording medium storing program
JP2022577935A JPWO2022162855A5 (ja) 2021-01-29 車載装置、路面画像の送信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/003148 WO2022162855A1 (ja) 2021-01-29 2021-01-29 車載装置、路面画像の送信方法及びプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2022162855A1 true WO2022162855A1 (ja) 2022-08-04

Family

ID=82652793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003148 WO2022162855A1 (ja) 2021-01-29 2021-01-29 車載装置、路面画像の送信方法及びプログラム記録媒体

Country Status (2)

Country Link
US (1) US20240092366A1 (ja)
WO (1) WO2022162855A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145928A1 (ja) * 2016-02-25 2017-08-31 株式会社村田製作所 検知装置および路面情報システム、並びに車両
JP2018120409A (ja) * 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム
JP2020180437A (ja) * 2019-04-23 2020-11-05 ダットジャパン株式会社 路面評価システム、路面評価方法、および路面評価プログラム
JP2021002163A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 ドライブレコーダ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145928A1 (ja) * 2016-02-25 2017-08-31 株式会社村田製作所 検知装置および路面情報システム、並びに車両
JP2018120409A (ja) * 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム
JP2020180437A (ja) * 2019-04-23 2020-11-05 ダットジャパン株式会社 路面評価システム、路面評価方法、および路面評価プログラム
JP2021002163A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 ドライブレコーダ

Also Published As

Publication number Publication date
US20240092366A1 (en) 2024-03-21
JPWO2022162855A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
CN105976450A (zh) 无人驾驶车辆的数据处理方法和装置、黑匣子系统
US9779311B2 (en) Integrated control system and method using surveillance camera for vehicle
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
JP6640769B2 (ja) 情報処理装置、モビリティデータ収集システム
AU2018202825A1 (en) Vehicle image data management system and method
US11333517B1 (en) Distributed collection and verification of map information
EP2682925B1 (en) Vehicle monitoring method and system
KR20170012300A (ko) 실시간 도로 상황 모니터링 방법 및 설비
JP2020061079A (ja) 交通違反車両識別システム、サーバ、及び車両制御プログラム
Orhan et al. Road hazard detection and sharing with multimodal sensor analysis on smartphones
KR102507905B1 (ko) 경찰차를 활용한 포트홀 실시간 탐지 장치
CN109993847A (zh) 一种基于区块链的收集交通事故信息的架构及工作方法
JP2017117005A (ja) 事故通知システム、通知システム、車載通知装置及び事故通知方法
US10708547B2 (en) Using vehicle sensor data to monitor environmental and geologic conditions
WO2020194539A1 (ja) 構造物の変位計測装置
CN108810514A (zh) 通过图像报告进行的事件重建
WO2022162855A1 (ja) 車載装置、路面画像の送信方法及びプログラム記録媒体
WO2020194540A1 (ja) 構造物の変位計測装置
KR101768380B1 (ko) 자동차 도로 노면진단 시스템
CN114166234A (zh) 基于路害度量选择导航路线和路害识别预警的系统、方法、装置、处理器及计算机存储介质
Kataoka et al. A smartphone-based probe data platform for road management and safety in developing countries
KR101294285B1 (ko) 도로 위치기반 적응형 영상 및 차량정보 수집 시스템 및 방법
JP2004090879A (ja) 事故状況記録装置、過失診断システム、事故情報記録方法、過失診断方法、及びプログラム
KR102418635B1 (ko) 도로에서의 데이터 기반 사고 감지 및 영상 전송 시스템
JP7089103B1 (ja) 事故分析装置、事故分析方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21922871

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18274671

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022577935

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21922871

Country of ref document: EP

Kind code of ref document: A1