WO2023058142A1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2023058142A1
WO2023058142A1 PCT/JP2021/036921 JP2021036921W WO2023058142A1 WO 2023058142 A1 WO2023058142 A1 WO 2023058142A1 JP 2021036921 W JP2021036921 W JP 2021036921W WO 2023058142 A1 WO2023058142 A1 WO 2023058142A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
feature change
feature
vehicles
Prior art date
Application number
PCT/JP2021/036921
Other languages
English (en)
French (fr)
Inventor
孝介 八木
智 岸上
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/036921 priority Critical patent/WO2023058142A1/ja
Publication of WO2023058142A1 publication Critical patent/WO2023058142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Definitions

  • the present disclosure relates to an information processing device, a program, and an information processing method.
  • vehicle data such as a wide variety of sensor data and control data has come to be created in automobiles.
  • vehicle data there is a growing social demand for clarification of the causes of accidents, and recording of video data on the vehicle side by a drive recorder is becoming common as vehicle data.
  • a traffic information providing system described in Patent Document 1 receives radio waves from ITS on-board devices mounted on a plurality of vehicles near intersections and emits radio waves to detect radio wave emission sources.
  • a source detection device an imaging unit installed near an intersection to capture an image including a plurality of vehicles entering the intersection, an image captured by the imaging unit, and a plurality of ITSs ( Intelligent Transport Systems) and DSRC (Dedicated Short Range Communications) roadside radio equipment that identifies vehicles that have changed course in an intersection by comparing the position of the vehicle-mounted device with the map data of the intersection.
  • ITSs Intelligent Transport Systems
  • DSRC Dedicated Short Range Communications
  • an object of one or more aspects of the present disclosure is to enable easy association between a vehicle that outputs vehicle data and a vehicle included in outside video data.
  • An information processing apparatus can indicate characteristics of a target vehicle that is a vehicle to be detected, and vehicle data acquisition for acquiring vehicle data that is data acquired inside the target vehicle.
  • a vehicle exterior image data acquisition unit that acquires vehicle exterior image data that is image data representing an image including the plurality of vehicles captured from the outside of a plurality of vehicles;
  • a first feature change detection unit that generates first feature change data indicating a change; and a change in the feature of each of the plurality of vehicles that identifies the change of the feature of each of the plurality of vehicles from the outside video data
  • a second feature change detection unit for generating a plurality of second feature change data indicating a change in one of the features, each of the plurality of second feature change data, and the first feature change data; identifying a similarity indicating the degree of similarity between the vehicles, identifying a second feature change data having the highest similarity, and identifying a source of the second feature change data among the plurality of vehicles; and a similarity identifying unit that determines that
  • a program can indicate a feature of a target vehicle, which is a vehicle to be detected, to a computer, and vehicle data for acquiring vehicle data, which is data acquired inside the target vehicle.
  • vehicle data for acquiring vehicle data, which is data acquired inside the target vehicle.
  • an acquisition unit an acquisition unit for acquiring outside image data that is image data taken from the outside of a plurality of vehicles and showing an image including the plurality of vehicles, and a change in the characteristics of the target vehicle from the vehicle data.
  • a first feature change detection unit for generating first feature change data indicating a change in the feature of each of the plurality of vehicles from the vehicle exterior image data, each of which identifies one of the plurality of vehicles a second feature change detection unit that generates a plurality of second feature change data indicating changes in one of the features; and a combination of each of the plurality of second feature change data and the first feature change data Identifying similarity indicating the degree of similarity, identifying one piece of second feature change data with the highest similarity, and generating the one piece of second feature change data among the plurality of vehicles. It is characterized in that one vehicle functions as a similarity identification unit that determines that one vehicle matches the target vehicle.
  • An information processing method can indicate the characteristics of a target vehicle that is a vehicle to be detected, acquires vehicle data that is data acquired inside the target vehicle, and obtains a plurality of Exterior image data, which is image data representing an image including the plurality of vehicles captured from the outside of the vehicle, is acquired, and first feature change data indicating changes in the feature of the target vehicle is generated from the vehicle data. and identifying changes in the characteristics of each of the plurality of vehicles from the outside image data, and generating a plurality of second characteristic change data each representing a change in the characteristics of one of the plurality of vehicles.
  • FIG. 1 is a block diagram schematically showing the configuration of a data analysis system including a data analysis device according to an embodiment
  • FIG. It is a schematic diagram which shows an example of the image
  • 1 is a block diagram schematically showing the configuration of a data analysis device according to an embodiment
  • FIG. (A) to (C) are schematic diagrams for explaining the outline of processing in the data analysis device.
  • (A) and (B) are schematic diagrams for explaining a process in which a vehicle-by-vehicle tracking unit tracks each vehicle from an image.
  • 1A-1C are schematic diagrams for explaining detection of a blinking state of brake lights of a vehicle being tracked;
  • FIG. 8 is a flowchart illustrating an example of processing performed by a similarity identifying unit; It is a block diagram for demonstrating the hardware structural example of a data-analysis apparatus.
  • FIG. 8 is schematic diagrams for explaining the process of identifying a vehicle using the timing of changes in opening and closing of doors.
  • FIG. 1 is a block diagram schematically showing the configuration of a data analysis system 100 including a data analysis device 120 according to an embodiment.
  • the data analysis system 100 includes roadside cameras 110A, 110B, and 110C as exterior cameras, and a data analysis device 120 as an information processing device.
  • the roadside cameras 110A, 110B, and 110C are cameras as imaging devices arranged on the side of the road 101.
  • the roadside cameras 110A, 110B, and 110C transmit external image data, which is image data representing images of the vehicles 102A to 102G traveling on the road 101, to the data analysis device 120 by wire or wirelessly.
  • the outside image data is imaged from the outside of the plurality of vehicles 102A-102G, and indicates an image including any of the plurality of vehicles 102A-102G according to location and time.
  • the vehicles 102A to 102G wirelessly transmit various data acquired inside the vehicles 102A to 102G to the data analysis device 120 as vehicle data.
  • any one of the roadside cameras 110A, 110B, and 110C is referred to as the roadside camera 110 when there is no need to distinguish between the roadside cameras 110A, 110B, and 110C.
  • the number of roadside cameras 110 is not particularly limited.
  • any one of the vehicles 102A to 102G will be referred to as the vehicle 102 when there is no need to distinguish between the vehicles 102A to 102G.
  • FIG. 2 is a schematic diagram showing an example of an image captured by the roadside camera 110B.
  • three vehicles 102A to 102C are reflected in an image Im1, which is a frame captured at a certain moment.
  • the roadside camera 110 takes an image with a wide field of view to some extent, and a plurality of vehicles 102 are often captured in the image.
  • the image of the roadside camera 110 may include a scene further ahead of the vehicle 102 several cars ahead or a child who may run out.
  • the data analysis device 120 links and analyzes the outside image data and the vehicle data to perform more efficient acceleration/deceleration control, preparatory actions to prevent accidents, or estimation of the causes of accidents in consideration of surrounding conditions. It can be carried out.
  • vehicle data and outside video data are linked for analysis, it is necessary to identify which vehicle 102 in the video shown by the outside video data is the transmission source of the vehicle data. For example, when the vehicle 102A and the vehicle 102B in the image Im1 shown in FIG. Otherwise, it is not possible to analyze the causal relationship such as whether the preceding vehicle 102A brakes and the following vehicle 102B also brakes, or whether the following vehicle 102B independently brakes.
  • Identification of the vehicle 102 in the video is generally performed by recognizing the license plate. There are limits to where you can go.
  • FIG. 3 is a block diagram schematically showing the configuration of the data analysis device 120 according to the embodiment.
  • the data analysis device 120 includes a vehicle data acquisition unit 121, an outside video data acquisition unit 122, a data selection unit 123, a first feature change detection unit 124, a second feature change detection unit 125, and a similarity identification unit. and a portion 128 .
  • the vehicle data acquisition unit 121 acquires vehicle data transmitted from the vehicle 102 .
  • the vehicle 102 that has sent the vehicle data is to be detected from the video of the outside video data, so the vehicle 102 that has sent the vehicle data is also called a target vehicle.
  • the vehicle exterior image data acquisition unit 122 acquires vehicle exterior image data from the roadside camera 110 .
  • the data selection unit 123 selects data to be compared from the vehicle data acquired by the vehicle data acquisition unit 121 and the vehicle exterior image data acquired by the vehicle exterior image data acquisition unit 122 .
  • the data selected from the vehicle data is also called selected vehicle data
  • the selected outside video data from the outside video data is also called selected outside video data.
  • the data selection unit 123 selects data that can be compared between the vehicle data acquired by the vehicle data acquisition unit 121 and the vehicle exterior image data acquired by the vehicle exterior image data acquisition unit 122 . Then, the data selection unit 123 provides the selected vehicle data and the selected outside video data to the first feature change detection unit 124 and the second feature change detection unit 125 . Furthermore, the data selection unit 123 also instructs the first feature change detection unit 124 and the second feature change detection unit 125 about the method of comparing the selected vehicle data and the selected outside-vehicle video data.
  • the data selection unit 123 may select and compare data according to predetermined conditions, for example. At this time, the data selection unit 123 may select a combination of data that can be compared between the vehicle data and the video data outside the company at a predetermined timing. For example, the data selection unit 123 selects the external video based on information such as the recording time of various information held by the vehicle data acquired by the vehicle data acquisition unit 121, the movement route in that time period, or the vehicle position. It may be determined whether or not comparison is possible by determining whether or not information of the same time period and the same area is included in the external image data acquired by the data acquisition unit 122 .
  • the data selection unit 123 receives input from the operator, for example, via an input unit (not shown), or via the vehicle data acquisition unit 121 or the vehicle exterior image data acquisition unit 122, thereby selecting data to be selected and comparison data.
  • the method should be specified.
  • the first feature change detection unit 124 uses the selected vehicle data from the data selection unit 123 to detect a feature change in the vehicle 102 that has transmitted the selected vehicle data, and uses feature change data indicating the feature change. Generate some first feature change data. The generated first feature change data is given to the similarity identifying section 128 .
  • the second feature change detection unit 125 uses the selected vehicle exterior image data from the data selection unit 123 to detect feature changes for each vehicle 102, and generates second feature change data representing the feature changes. Generate feature change data.
  • the second feature change detection unit 125 includes a vehicle-specific tracking unit 126 and a vehicle-specific feature change detection unit 127 .
  • the vehicle-by-vehicle tracking unit 126 tracks each vehicle 102 in the video indicated by the selected vehicle exterior video data.
  • the vehicle-by-vehicle feature change detection unit 127 generates second feature change data indicating changes in the features of the vehicle 102 for each vehicle 102 tracked by the vehicle-by-vehicle tracking unit 126 .
  • the second feature change data for each vehicle 102 is provided to the similarity identifying section 128 .
  • the similarity specifying unit 128 compares the first feature change data and the second feature change data for each vehicle 102 according to the comparison method from the first feature change detection unit 124 . Then, the similarity specifying unit 128 determines the vehicle 102 that generated the second feature change data having the highest degree of similarity to the first feature change data and the vehicle 102 that generated the first feature change data.
  • the similarity identifying unit 128 identifies similarity indicating the degree of similarity between each of the plurality of second feature change data and the first feature change data. Then, the similarity identifying unit 128 identifies one piece of second feature change data with the highest similarity, and is the generator of the identified piece of second feature change data among the plurality of vehicles 102. One vehicle 102 is determined to match the target vehicle. Specifically, the similarity specifying unit 128 determines the similarity based on the degree of correlation between the time series indicated by the first feature change data and the time series indicated by each of the plurality of second feature change data. Identify.
  • the data selection unit 123 selects data related to brake lamps from the vehicle data acquired by the vehicle data acquisition unit 121 . Specifically, data representing a brake pedal operation signal, a brake lamp control signal, a brake lamp power supply voltage, or a detection result of a brake lamp monitor sensor is selected as the selected vehicle data. Note that the data selection unit 123 selects one or a plurality of data that are less likely to be inconsistent with the actual lighting state of the brake lamps and that can be easily compared from among these data.
  • the data selection unit 123 selects data that can detect the state of the brake lamp of the vehicle 102 from the outside image data acquired by the outside image data acquisition unit 122 .
  • the data selection unit 123 selects the outside image data including the image at the time when the vehicle data was acquired as the selected outside image data.
  • the first feature change detection unit 124 detects the first feature change data as shown in FIG. , it is possible to generate data indicating a characteristic change signal SS indicating a change in turn-on and turn-off of the brake lamp according to time.
  • the characteristic change signal SS changes when the brake lamp is turned on and when the brake lamp is turned off.
  • the first feature change detection unit 124 uses the first feature change data as "time t1: brake lamp ON” and "time t2: brake lamp OFF”. It is also possible to generate data indicating
  • FIG. 4B is a schematic diagram showing an image captured by the roadside camera 110B.
  • the images here are captured as moving images and can be handled as time-series sequence images.
  • a plurality of vehicles 102A, 102B, and 102C are shown in the video. Depending on the timing, there are also vehicles 102A and 102B whose brake lamps are lit.
  • the vehicle exterior image data acquisition unit 122 acquires image data representing such images as vehicle exterior image data. From only the image shown in FIG. 4(B), it is not possible to identify which of the vehicles 102A, 102B, and 102C has transmitted the data shown in FIG. 4(A).
  • the vehicle-by-vehicle tracking unit 126 of the second feature change detection unit 125 identifies the image portions corresponding to each of the vehicles 102A to 102C in the video shown by the video data that is the selected vehicle exterior video data. , tracks each of the vehicles 102A-102C.
  • FIGS. 5A and 5B are schematic diagrams for explaining the process of tracking each vehicle 102 from the image by the vehicle-by-vehicle tracking unit 126.
  • FIG. FIG. 5A shows how the vehicle-by-vehicle tracking unit 126 tracks the vehicle 102A in the video.
  • the vehicle-by-vehicle tracking unit 126 recognizes the vehicle 102 within one frame by image recognition, assigns an identifier to it, and compares it with the identification results in the preceding and succeeding frames. , the vehicle position in the image, the size of the vehicle, and the continuous variation of the shape and/or color of the vehicle. Continuous change indicates, for example, that there is no jump in change or that the degree of change is the lowest.
  • FIG. 5(B) shows an example of tracking the vehicle 102A using the continuity of vehicle positions in the video. Even if vehicle 102A, vehicle 102B, and vehicle 102C are not distinguished at the time of vehicle recognition, vehicle 102A can be tracked as the vehicle 102 whose position change is the most continuous.
  • the vehicle-by-vehicle feature change detection unit 127 identifies changes in the feature of turning on and off the brake lamps from changes in brightness of the image portion corresponding to the tracked vehicle 102 for each time. Generate second feature change data. Thereby, for example, as shown in FIG. Then, second feature change data representing the feature change signal S3 of the vehicle 102C is obtained.
  • FIGS. 6A to 6C are schematic diagrams for explaining the detection of the blinking state of the brake lights of tracked vehicle 102A.
  • the vehicle-specific feature change detection unit 127 estimates the position of the brake lamp from the shape of the vehicle 102 recognized by performing image recognition on the image portion of the vehicle 102 .
  • the lighting state of the brake lamp can be estimated by detecting changes in luminance and color near the estimated position of the brake lamp.
  • FIG. 6(B) shows the luminance change of the red component of the image near the estimated brake lamp position.
  • a change in brightness detected from an image is affected by changes in the position and posture of the vehicle 102, the influence of external light, the reaction speed of the image sensor, and the like. For this reason, it is difficult to directly use the change in brightness as data indicating the turn-on and turn-off of the brake lamp.
  • the vehicle-by-vehicle characteristic change detection unit 127 estimates the blinking state of the brake lamp using a technique such as filtering, edge detection, or pattern matching, and for example, a second characteristic change signal indicating a characteristic change signal as shown in FIG. 6(C). generate feature change data for
  • the vehicle-by-vehicle characteristic change detection unit 127 can generate the second characteristic change data in a similar manner for a lighting device such as a direction indicator or a headlight in addition to the brake lamp. Further, when the brake lights cannot be confirmed from the image, the vehicle-specific feature change detection unit 127 can also generate the second feature change data from a driving operation that does not directly cause a change in appearance, such as an accelerator operation. For example, the vehicle-by-vehicle feature change detection unit 127 detects a feature change by estimating velocity or acceleration from a change in vehicle position in the video, thereby generating second feature change data. can also In this case, data from the vehicle speed sensor or data from the acceleration sensor can be used as the first characteristic change data to be compared.
  • the brake lamps of the vehicle 102A are turned on in the first half. After that, the brake lamp of the vehicle 102B is on. Also, the brake lamp lighting period of the vehicle 102B is longer than the brake lamp lighting period of the vehicle 102A.
  • the similarity specifying unit 128 detects the signal most similar to the feature change signal SS shown in FIG. 4A from among the feature change signals S1 to S3 shown in FIG. 4C. By doing so, the vehicle 102 that has sent the control signal corresponding to the characteristic change signal SS can be associated with the vehicle 102 in the image. Details of this processing will be described.
  • the characteristic change signal SS shown in FIG. 4A is a brake lamp control signal acquired by a control system mounted on a vehicle 102 . This is defined as a change in the characteristics of the target vehicle.
  • the characteristic change signals S1 to S3 shown in FIG. 4(C) are signals indicating the blinking state of the brake lamps for each vehicle 102 estimated by analyzing the video imaged by the roadside camera 110B. This is assumed to be a change in characteristics of each vehicle captured by the roadside camera 110B.
  • the timing at which the internal brake lamp control signal changes should match the timing at which the brake lamp turns on and off as observed from the outside.
  • the vehicle-specific feature change detection unit 127 compares each of the feature change signals S1 to S3 shown in FIG. 4(C) with the feature change signal SS shown in FIG. 4(A), For example, the correlation between the lighting time, the lighting time, the duration of the lighting state, and the number of times of blinking is investigated.
  • vehicle 102B which is the source of characteristic change signal S2 having the highest similarity to characteristic change signal SS, can be identified as the transmission source of the data corresponding to FIG. 4A.
  • the data transmission source vehicle 102 By specifying the data transmission source vehicle 102 as one of the images captured by the roadside camera 110, the image of the roadside camera 110 assuming that the data other than the brake lamp used for the specification belongs to the specified vehicle 102. It will be possible to analyze in cooperation with In addition, it becomes possible to analyze not only one vehicle 102 but also a plurality of vehicles 102 including the relationship with the movement of other vehicles 102 .
  • the roadside camera 110 detects that the vehicle 102A traveling in front of the vehicle 102B changed lanes just before that. If it can be confirmed from the video, it is possible to analyze the meaning and causal relationship, such as "the vehicle accelerated because there was a clear space in front due to the lane change of the preceding vehicle.”
  • the correlation of feature changes is detected between the feature change signal SS and each of the feature change signals S1 to S3. They do not always change at exactly the same timing due to delays due to data processing. Therefore, when making a comparison to detect a correlation, it is necessary to consider the overall time lag, the time fluctuations of individual change points, noise, etc., and allow a certain amount of lag before performing the comparison. be. Therefore, the vehicle-by-vehicle feature change detection unit 127 needs to increase the accuracy of correlation detection by performing comparison and consistency confirmation not only at one change point but also at a plurality of change points.
  • this time lag represents the time lag between systems and between data, and this time lag
  • the data can be synchronized. For example, it is possible to correct the deviation between the time information of the system on the vehicle side in FIG. 4A and the time stamp value of the roadside camera 110 in FIG. 4B.
  • the similarity identifying unit 128 selects one signal from the plurality of feature change signals S1 to S3, and compares the selected signal with the feature change signal indicated by the first feature change data. do. At this time, the similarity identifying unit 128 compares the similarities while shifting the selected signals in the time direction in order to consider delays, fluctuations, etc., finds the point of time when the similarity is the highest, and determines the similarity at this time. Used as an evaluation value.
  • FIGS. 7A to 7C are schematic diagrams for explaining the process of comparing similarities while shifting selected signals in the time direction. Similar to FIG. 4A, FIG. 7A shows the feature change signal SS indicated by the first feature change data.
  • the characteristic change signal is a signal indicating blinking of the brake lamp indicated by the brake lamp control signal sent from a certain vehicle 102 .
  • the comparison method instructed by the data selection unit 123 indicates that the similarity is evaluated using the timing at which the brake lamp turns on and the timing at which it turns off.
  • FIG. 7B shows an example of shifting the characteristic change signal S1 of the vehicle 102A indicated by the second characteristic change data in FIG. 4C in the time direction.
  • the similarity specifying unit 128 shifts the feature change signal S1 to the feature change signals S1#1 to S1#3 to determine the similarity with the feature change signal SS.
  • the similarity specifying unit 128 compares the timings of turning on and the timings of turning off, and calculates the similarity by, for example, averaging the squares of the respective deviations. In this case, the smaller the mean square value, the stronger the correlation and the higher the similarity. For example, when the characteristic change signal S1#2 has the smallest value, the value at this time is detected as the similarity of the vehicle 102A.
  • FIG. 7(C) shows an example of shifting the characteristic change signal S2 of the vehicle 102B indicated by the second characteristic change data in FIG. 4(C) in the time direction.
  • the similarity specifying unit 128 shifts the feature change signal S2 to the feature change signals S2#1 and S2#2 to determine the similarity with the feature change signal SS.
  • the similarity identifying unit 128 compares the timings of lighting and the timings of turning off, and takes the difference, for example, as the similarity by taking the mean square. In this case, the smaller the mean square value, the higher the similarity. For example, when the characteristic change signal S2 has the smallest value, the value at this time is detected as the similarity of the vehicle 102B.
  • the similarity specifying unit 128 detects changes in the characteristics of all the vehicles 102A to 102C included in the video shown by the video data, that is, the blinking states of the brake lights, in any one of the vehicles 102A to 102C. It compares and evaluates the similarity with the brake lamp control signal sent. Then, the similarity specifying unit 128 can determine that the vehicle 102B with the highest similarity among the vehicles 102A to 102C has sent the brake lamp control signal.
  • FIG. 8 is a flow chart showing an example of the processing performed by the similarity identification unit 128 described above. As described above, the vehicle corresponding to the data transmission source can be specified from the plurality of vehicles 102 in the video.
  • a comparison method of calculating similarity by comparing timings of changes in brake lamps has been described, but the present embodiment is not limited to such a comparison method.
  • time-series classification using machine learning, pattern similarity, or the like may be used.
  • a lighting device such as a direction indicator or a headlight, speed, acceleration, steering wheel operation, or the like.
  • the data analysis device 120 described above includes, for example, a first communication I/F 11, a second communication I/F 12, an auxiliary storage device 13, and a main memory 14 as shown in FIG. and a processor 15 .
  • the first communication I/F 11 is an interface that performs wireless communication.
  • the second communication I/F 12 is an interface that performs wireless or wired communication.
  • the auxiliary storage device 13 is a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the main memory 14 is volatile memory.
  • the processor 15 is a control circuit such as a CPU (Central Processing Unit).
  • the vehicle data acquisition unit 121 can be implemented by the first communication I/F 11 .
  • the outside video data acquisition unit 122 can be realized by the second communication I/F 12 .
  • the data selection unit 123, the first feature change detection unit 124, the second feature change detection unit 125, and the similarity identification unit 128 read programs stored in the auxiliary storage device 13 into the main memory 14, and can be realized by the processor 15 executing.
  • Such a program may be provided through a network, or recorded on a recording medium and provided. That is, such programs may be provided as program products, for example.
  • the present embodiment is not limited to such an example.
  • other data such as other lighting devices, speed, acceleration or sound may be used to identify the vehicle 102 .
  • Combinations of data that can be used to identify the vehicle 102 are listed below as modified examples. The data listed here do not necessarily have to be used all at once. Only one of a plurality of data may be used. Also, a plurality of data may be combined and used.
  • the vehicle data may be any data that can identify the lighting and extinguishing of the lighting device provided in the target vehicle.
  • the vehicle data may be data indicating a lighting control signal for controlling blinking of a lighting device, or data indicating a lighting monitoring sensor signal for monitoring blinking of a lighting device.
  • the lighting control signal includes a signal indicating voltage or current for controlling blinking of the lighting device.
  • the first feature change detection unit 124 generates the first feature change data indicating the time series of lighting and extinguishing of the lighting device from the vehicle data.
  • the second feature change detection unit 125 analyzes the video represented by the selected vehicle exterior video data to generate a plurality of second feature change data indicating the time series of lighting and extinguishing of the lighting devices of the plurality of vehicles 102. to generate Specifically, the second feature change detection unit 125 estimates the installation position of the lighting device from the video represented by the vehicle exterior video data, and detects changes in color and brightness in the vicinity of that position to generate a feature change signal. Second feature change data can be generated that indicates .
  • similarity can be identified by comparing the type of lighting device, the left and right direction of the direction indicator, the timing of turning on, and the timing of turning off.
  • Modification 2 Changes in vehicle 102 motion or position, such as vehicle 102 speed, acceleration, angular acceleration, direction, lane changes, left or right turns, hard braking or collisions, can be used to determine vehicle The vehicle 102 that has transmitted the data can be identified.
  • the vehicle data may be any data that can specify the position or movement of the target vehicle.
  • vehicle data data indicating speed sensor value, acceleration sensor value, angular acceleration sensor value, azimuth sensor value, longitude/latitude/altitude value, accelerator opening, brake pedal depression force value, or steering wheel operation amount may be used. can be done.
  • the first feature change detection unit 124 generates the first feature change data representing the time series of the position or movement of the target vehicle from the vehicle data.
  • the second feature change detection unit 125 generates a plurality of second feature change data indicating the time series of the position or movement of each of the plurality of vehicles by analyzing the video indicated by the selected vehicle exterior video data.
  • the speed data obtained by arranging the speed sensor values in time series or the acceleration data obtained by arranging the acceleration sensor values in time series and the outside video data are specified. Similarity can be identified by calculating the strength of correlation with velocity data or acceleration data.
  • the acceleration data has a correlation with the accelerator operation or brake operation of the vehicle
  • the timing or period of the accelerator operation or brake operation specified by the vehicle data and the accelerator operation or brake operation specified from the outside video data Similarities can be identified by comparing timing or duration.
  • similarities can be detected by comparing changes in orientation or motion of the vehicle 102 in the video with changes in steering maneuvers indicated by the vehicle data. Also, by comparing the change in orientation of the vehicle 102 in the video with the change in orientation of the vehicle 102 indicated by the angular acceleration sensor value or the azimuth angle sensor value, which is vehicle data, similarity can be identified. .
  • Modification 3 A front vehicle that is the vehicle 102 in front of the vehicle 102, a rear vehicle that is a vehicle behind the vehicle 102, or a side vehicle that is a vehicle 102 on the side of the vehicle 102. Using changes in the type or color of the vehicle behind or on the side, or changes in the positional relationship or distance to objects on the road around the vehicle or objects near the road, multiple The vehicle 102 that has transmitted the vehicle data can be specified from the vehicle 102 in the above.
  • the vehicle data may be any data that can specify the distance or positional relationship between the target vehicle and objects (for example, vehicles or targets) around the target vehicle.
  • the vehicle data includes the detection result of the radar (LADAR) mounted on the vehicle 102, the detection result of the lidar (LiDAR) mounted on the vehicle 102, and the stereo camera mounted on the vehicle 102. Images, images captured by a camera mounted on the vehicle 102, detection results thereof or distances estimated from the images, and data indicating image recognition results recognized from these images can be used.
  • the first feature change detection unit 124 generates first feature change data indicating the time series of the distance or positional relationship between the target vehicle and the object from the vehicle data.
  • the second feature change detection unit 125 analyzes the video represented by the selected vehicle exterior video data to obtain second feature change data indicating the time series of distances or positional relationships between each of the plurality of vehicles and objects. Generate. For example, the second feature change detection unit 125 analyzes the video represented by the vehicle exterior video data to detect the vehicle 102, detect the interval between the vehicles 102, detect objects around the road, and estimate the position of objects around the road.
  • estimation of the distance between road surrounding objects and the vehicle 102, or detection of the type or color of the vehicle changes in the positional relationship or distance with the vehicle in front, the vehicle behind, or the vehicle on the side, the vehicle in front, the vehicle behind, or A change in the type or color of the side vehicle, or a change in the position or distance of the vehicle 102 from road or near road targets can be identified.
  • the similarity can be identified by comparing the change timing identified from the vehicle data and the change timing identified from the outside video data.
  • Modification 4 By comparing the timing of changes in the content of the display device outside the vehicle that displays a message or the like from the vehicle 102 to the outside of the vehicle, it is possible to identify the vehicle 102 that has transmitted vehicle data from a plurality of vehicles 102 included in the image data outside the vehicle. can be specified.
  • the vehicle data may be data capable of specifying the display contents of the vehicle exterior display device, which is a device for displaying to the outside of the vehicle, provided in the target vehicle.
  • vehicle data control data for controlling an external display device can be used.
  • the first feature change detection unit 124 generates first feature change data indicating a time series of changes in display content from vehicle data.
  • the second characteristic change detection unit 125 analyzes the image indicated by the selected vehicle exterior image data, and if any of the plurality of vehicles 102 is equipped with an exterior display device, the image is included in the image. Second feature change data is generated that indicates a time series of changes in the display content of the display device outside the vehicle.
  • Modification 5 By using the opening/closing of the door of the vehicle 102, the vehicle 102 that has transmitted the vehicle data can be identified from among the plurality of vehicles 102 included in the outside video data.
  • the vehicle data may be any data that can identify the opening and closing of the door of the target vehicle.
  • the vehicle data data indicating detection results of a door sensor, an acoustic sensor, an acceleration sensor and an angular acceleration sensor, or data indicating an image captured by a camera mounted on the vehicle 102 can be used.
  • data indicating the detection result of the door sensor is obtained, it is possible to identify whether the door is open or closed based on the change in the value of the door sensor.
  • the door open/closed state can be specified by analyzing the video imaged by the cabin-side camera of the vehicle 102 .
  • it is also possible to estimate the door opening/closing timing by analyzing the detection result of the acoustic sensor or the angular velocity sensor.
  • the first feature change detection unit 124 generates first feature change data indicating the time series of opening and closing of the door of the target vehicle from the vehicle data.
  • the second feature change detection unit 125 generates second feature change data indicating the time series of opening and closing of the doors of each of the plurality of vehicles 102 by analyzing the video indicated by the selected vehicle exterior video data. For example, the second feature change detection unit 125 analyzes external video data from a surveillance camera installed in a parking lot, or analyzes acoustic sensor data from a microphone installed in a parking lot. can identify the open/close status of the door.
  • FIGS. 10A to 10C are schematic diagrams for explaining the process of specifying the vehicle 102 using the timing of changes in door opening/closing.
  • FIG. 10(A) shows a characteristic change signal SS# indicating the detection result of door opening/closing detection by a door sensor mounted on the vehicle 102 .
  • the opening and closing of the door can be directly detected by the door sensor. Therefore, when the detection result of the door sensor is obtained, the feature change signal SS# shown in FIG. 10A can be obtained from the detection result of the door sensor.
  • FIG. 10(B) is an image of a surveillance camera in a parking lot.
  • Image Im2 is the frame at time t1
  • image Im3 is the frame at time t2
  • image Im4 is the frame at time t3.
  • the second characteristic change detection unit 125 can estimate the opening/closing timing of the door.
  • the second feature change detection unit 125 may use a change in the image of the vehicle 102 and the movement of the person as input and estimate the door opening/closing timing by machine learning.
  • FIG. 10(C) shows the characteristic change signal S4 obtained from the door opening/closing estimated as described above.
  • data from the door sensors of the vehicle 102 cannot be used directly.
  • data from an aftermarket drive recorder it is also possible to detect the closing of the door from the signals of acoustic sensors, acceleration sensors, angular acceleration sensors, or the like. If the drive recorder is equipped with an in-vehicle camera, the opening and closing of the door can also be detected from the image from the in-vehicle camera.
  • signal S5 indicates the value detected by the acoustic sensor when the door is closed
  • signal S6 indicates the value detected by the acceleration sensor when the door is closed.
  • FIG. 10(A) when an acoustic sensor or an acceleration sensor is used, data processing is performed from the reaction of the sensor to detect the reaction when the door is opened and closed. will be detected. However, by measuring in advance the amount of deviation between the opening and closing of the door and the detection by the sensor, the amount of deviation can be corrected.
  • the data obtained outside the vehicle 102 and the data inside the vehicle 102 are obtained by using the data and the situations that routinely occur in the vehicle 102 during normal operation. can be linked with the data acquired by As a result, the vehicle 102 can be specified and data can be linked without creating a special system or calibration information in advance.
  • 100 data analysis system 110 roadside camera, 120 data analysis device, 121 vehicle data acquisition unit, 122 vehicle exterior image data acquisition unit, 123 data selection unit, 124 first feature change detection unit, 125 second feature change detection unit, 126 tracking unit for each vehicle, 127 feature change detection unit for each vehicle, 128 similarity identification unit.

Abstract

データ解析装置（１２０）は、対象車両の内部で取得されたデータである車両データを取得する車両データ取得部（１２１）と、複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部（１２２）と、車両データから、対象車両の特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部（１２４）と、車外映像データから、複数の車両の各々の特徴の変化を特定し、それぞれが複数の車両の内の一つの特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部（１２５）と、複数の第２の特徴変化データの各々と、第１の特徴変化データとの類似の程度を示す類似性を特定し、類似性が最も高い一つの第２の特徴変化データを特定し、複数の車両の内、特定された一つの第２の特徴変化データの生成元である一つの車両を、対象車両と一致すると判断する類似性特定部（１２８）とを備える。

Description

情報処理装置、プログラム及び情報処理方法
　本開示は、情報処理装置、プログラム及び情報処理方法に関する。
　自動車の運行に関係した各種自動化により、自動車内で多種多量のセンサーデータ又は制御データ等の車両データが作られるようになってきた。また、事故原因解明の社会的要求が高まっており、車両データとして、ドライブレコーダーによる車両側での映像データの記録も一般的になりつつある。
　また、道路管理目的からいわゆる路側カメラ又は交差点カメラ等のように、道路設備側に設置され、路面状態又は車両の動きを検出する車外カメラも普及している。車外カメラとして、道路側方に配置されている路側カメラの他、駐車場等では防犯目的等により監視カメラが設置されていることも多い。
　車両データ及び車外カメラからの映像データである車外映像データを連携させて、高度なデータ解析又はサービスの提供を行うことが提案されてきている。その際、多数の自動車が映り込んでいるカメラ映像等のように、複数の自動車が含まれている車外映像データと、個別の自動車の内部で発生した車両データとを連携させるには、車両データが、車外映像データに含まれている複数の自動車の何れの自動車のものであるのかを対応付ける必要がある。
　例えば、従来の技術として、特許文献１に記載されている交通情報提供システムは、交差点付近で、複数の車両に搭載されたＩＴＳ車載器からの電波を受信して電波発射源を検出する電波発射源検出装置と、交差点付近に設置され、交差点に進入する複数の車両を含む映像を撮像する撮像ユニットと、撮像ユニットにより撮像された映像と、電波発射源検出装置により検出された複数のＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｒａｎｓｐｏｒｔ　Ｓｙｓｔｅｍｓ）車載器の位置と、交差点の地図データとを照合して、交差点内で進路を変えた車両を特定するＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）路側無線装置とを備える。
特開２００９－１１０１５３号公報
　従来の技術の場合、映像、地図データ及び電波発射源検出装置の検出結果の位置的な対応関係を取るために、ＤＳＲＣ路側無線装置を設置する際に、較正作業を行う必要がある。例えば、専用装置を用いてＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）の座標を計測し、その座標が映像内のどこに相当するのかの対応付けデータを作成する等が必要である。このようにして作られた対応付けデータは、撮像ユニットの設置位置、向き又は画角等の撮像条件が変わると意味をなさないため、撮像条件が変わると、再度の較正作業が必要となる。このため、従来のシステムは、実運用で使用するのは困難であった。
　そこで、本開示の一又は複数の態様は、車両データを出力する車両と、車外映像データに含まれている車両との対応付けを簡便に行うことができるようにすることを目的とする。
　本開示の一態様に係る情報処理装置は、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部と、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部と、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部と、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部と、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部と、を備えることを特徴とする。
　本開示の一態様に係るプログラムは、コンピュータを、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部、及び、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部、として機能させることを特徴とする。
　本開示の一態様に係る情報処理方法は、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得し、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得し、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成し、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成し、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断することを特徴とする。
　本開示の一又は複数の態様によれば、車両データを出力する車両と、車外映像データに含まれている車両との対応付けを簡便に行うことができる。
実施の形態に係るデータ解析装置を含むデータ解析システムの構成を概略的に示すブロック図である。 路側カメラで撮像された映像の一例を示す概略図である。 実施の形態に係るデータ解析装置の構成を概略的に示すブロック図である。 （Ａ）～（Ｃ）は、データ解析装置での処理の概略を説明するための概略図である。 （Ａ）及び（Ｂ）は、車両別追跡部が映像の中から車両毎に追跡を行う処理を説明するための概略図である。 （Ａ）～（Ｃ）は、追跡されている車両のブレーキランプの点滅状態の検出を説明するための概略図である。 （Ａ）～（Ｃ）は、選択された信号を時間方向にずらしながら類似性を比較する処理を説明するための概略図である。 類似性特定部が行っている処理の一例を示すフローチャートである。 データ解析装置のハードウェア構成例を説明するためのブロック図である。 （Ａ）～（Ｃ）は、ドアの開閉変化のタイミングを用いて車両を特定する処理を説明するための概略図である。
実施の形態．
　図１は、実施の形態に係るデータ解析装置１２０を含むデータ解析システム１００の構成を概略的に示すブロック図である。
　データ解析システム１００は、車外カメラとしての路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃと、情報処理装置としてのデータ解析装置１２０とを備える。
　路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、道路１０１の脇に配置された撮像装置としてのカメラである。路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、道路１０１を走行する車両１０２Ａ～１０２Ｇの映像を示す映像データである車外映像データを、有線又は無線でデータ解析装置１２０に送信する。車外映像データは、複数の車両１０２Ａ～１０２Ｇの外部から撮像され、場所及び時間に応じて、その複数の車両１０２Ａ～１０２Ｇの何れかを含む映像を示す。
　車両１０２Ａ～１０２Ｇは、車両１０２Ａ～１０２Ｇのそれぞれの内部で取得された各種データを車両データとして、無線でデータ解析装置１２０に送信する。
　路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃを区別する必要がない場合には、路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃの何れか一つを路側カメラ１１０という。図１には、三台の路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃが示されているが、路側カメラ１１０の数については、特に限定はない。
　また、車両１０２Ａ～１０２Ｇを区別する必要がない場合には、車両１０２Ａ～１０２Ｇの何れか一つを車両１０２という。
　図２は、路側カメラ１１０Ｂで撮像された映像の一例を示す概略図である。
　この例では、撮像されたある瞬間のフレームである画像Ｉｍ１に三台の車両１０２Ａ～１０２Ｃが映り込んでいる。
　路側カメラ１１０は、ある程度広い視野で撮像を行っており、映像内に複数の車両１０２が映り込むことも多い。
　路側カメラ１１０で撮影された映像からは、車両１０２に搭載されているセンサー又は撮像装置等で検知できない情報を得ることができる。例えば、路側カメラ１１０の映像には、数台前の車両１０２のさらに前方の様子、又は、飛び出しの可能性のある子供の姿等が含まれる場合がある。
　データ解析装置１２０は、車外映像データと、車両データとを連携させて解析することにより、より効率の良い加速減速制御、事故を防ぐ予備動作、又は、事故時に周辺状況も考慮した原因推定等を行うことができる。
　車両データと、車外映像データとを連携させて解析を行う場合、車外映像データで示される映像内のどの車両１０２が、車両データの送信元であるのかを特定する必要がある。
　例えば、図２に示されている画像Ｉｍ１内の車両１０２Ａと、車両１０２Ｂとで前後してブレーキ操作が行われた場合、送信された車両データと、画像Ｉｍ１内の車両１０２との対応が取れなければ、先行車両１０２Ａでブレーキが踏まれたから、後続車両１０２Ｂでもブレーキが踏まれたのか、又は、後続車両１０２Ｂで、単独でブレーキが踏まれたのか等の因果関係を解析することができない。
　また、車両１０２から認識できない死角からの飛び出しが、路側カメラ１１０の車外映像データから検知された場合に、どの車両１０２に急ブレーキの指示を送るべきなのかを特定することもできなくなる。
　さらに、車外映像データで示される映像内に一台の車両１０２が映り込んでいる場合にも、例えば、図１に示されている路側カメラ１１０Ａの映像と、路側カメラ１１０Ｂの映像との両方にその車両１０２が映っていると、どちらの路側カメラ１１０の映像に映っている車両１０２が車両データの送付元であるのかを特定する必要がある。
　映像内の車両１０２の特定は、一般には、ナンバープレートを認識することで行われるが、映像からナンバープレートを確認するためには、道路１０１の上部にカメラを設置する必要があり、それを設置できる場所に制限がある。
　そこで、本実施の形態は、データ解析装置１２０において、車両データと、車外映像データとを簡単に連携させる例を説明する。
　図３は、実施の形態に係るデータ解析装置１２０の構成を概略的に示すブロック図である。
　データ解析装置１２０は、車両データ取得部１２１と、車外映像データ取得部１２２と、データ選定部１２３と、第１の特徴変化検出部１２４と、第２の特徴変化検出部１２５と、類似性特定部１２８とを備える。
　車両データ取得部１２１は、車両１０２から送信された車両データを取得する。データ解析装置１２０では、車両データを送ってきた車両１０２を、車外映像データの映像内から検出する対象とするため、車両データを送ってきた車両１０２を対象車両ともいう。
　車外映像データ取得部１２２は、路側カメラ１１０から車外映像データを取得する。
　データ選定部１２３は、車両データ取得部１２１で取得された車両データと、車外映像データ取得部１２２で取得された車外映像データとから、比較を行うデータを選定する。ここで、車両データの内、選定されたデータを選定車両データともいい、車外映像データの内、選定された車外映像データを選定車外映像データともいう。
　例えば、データ選定部１２３は、車両データ取得部１２１で取得された車両データと、車外映像データ取得部１２２で取得された車外映像データとの間で比較可能なデータを選定する。そして、データ選定部１２３は、選定されたデータである選定車両データ及び選定車外映像データを、第１の特徴変化検出部１２４及び第２の特徴変化検出部１２５に与える。さらに、データ選定部１２３は、選定車両データと、選定車外映像データとの比較方法についても、第１の特徴変化検出部１２４及び第２の特徴変化検出部１２５に指示する。
　なお、データ選定部１２３は、例えば、予め定められた条件に従い、データの選定及び比較を行ってよい。このとき、データ選定部１２３は、所定のタイミングで、車両データと、社外映像データとの間で比較可能なデータの組み合わせを選定してもよい。例えば、データ選定部１２３は、車両データ取得部１２１で取得された車両データが保持している各種情報の記録時間、その時間帯における移動経路、又は、車両位置等の情報に基づいて、社外映像データ取得部１２２で取得された社外映像データに同一時間帯及び同一のエリアの情報が含まれているか否かを判定することで、比較可能か否かを判定してもよい。
　また、データ選定部１２３は、例えば、図示しない入力部を介して、又は、車両データ取得部１２１若しくは車外映像データ取得部１２２を介して、オペレータからの入力を受け付けることで、選定するデータ及び比較方法を特定すればよい。
　第１の特徴変化検出部１２４は、データ選定部１２３からの選定車両データを用いて、選定車両データを送信してきた車両１０２における特徴の変化を検出し、その特徴の変化を示す特徴変化データである第１の特徴変化データを生成する。生成された第１の特徴変化データは、類似性特定部１２８に与えられる。
　第２の特徴変化検出部１２５は、データ選定部１２３からの選定車外映像データを用いて、車両１０２毎に、特徴の変化を検出し、その特徴の変化を示す特徴変化データである第２の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、車両別追跡部１２６と、車両別特徴変化検出部１２７とを備える。
　車両別追跡部１２６は、選定車外映像データで示される映像において、各々の車両１０２を追跡する。
　車両別特徴変化検出部１２７は、車両別追跡部１２６が追跡している車両１０２別に、車両１０２における特徴の変化を示す第２の特徴変化データを生成する。車両１０２別の第２の特徴変化データは、類似性特定部１２８に与えられる。
　類似性特定部１２８は、第１の特徴変化検出部１２４からの比較方法に従って、第１の特徴変化データと、車両１０２別の第２の特徴変化データとを比較する。そして、類似性特定部１２８は、第１の特徴変化データに対して類似の程度が最も高い第２の特徴変化データの生成元の車両１０２と、第１の特徴変化データの生成元の車両１０２とを対応付ける。
　例えば、類似性特定部１２８は、複数の第２の特徴変化データの各々と、第１の特徴変化データとの類似の程度を示す類似性を特定する。そして、類似性特定部１２８は、その類似性が最も高い一つの第２の特徴変化データを特定し、複数の車両１０２の内、特定された一つの第２の特徴変化データの生成元である一つの車両１０２を、対象車両と一致すると判断する。
　具体的には、類似性特定部１２８は、第１の特徴変化データで示される時系列と、複数の第２の特徴変化データの各々で示される時系列とが相関する程度により、類似性を特定する。
　以上のデータ解析装置１２０での処理を、図４～図７を用いて詳細に説明する。
　ここでは、車両１０２のブレーキ操作に基づいて、比較を行う場合を例に説明する。
　このような場合、データ選定部１２３は、車両データ取得部１２１で取得された車両データの中から、ブレーキランプに関連するデータを選定する。具体的には、ブレーキペダル操作信号、ブレーキランプの制御信号、ブレーキランプの電源電圧又はブレーキランプモニターセンサーの検知結果を示すデータを選定車両データとして選定する。なお、データ選定部１２３は、これらのデータの中から実際のブレーキランプの点灯状態と齟齬が生じにくく、比較を行いやすい一又は複数のデータを選定する。
　また、データ選定部１２３は、車外映像データ取得部１２２が取得した車外映像データの中から、車両１０２のブレーキランプの状態を検出できるデータを選定する。例えば、データ選定部１２３は、車両データが取得された時間の映像を含む車外映像データを選定車外映像データとして選定する。
　そして、選定車両データとして、ブレーキランプの制御信号を示すデータが選定された場合、第１の特徴変化検出部１２４は、図４（Ａ）に示されているように、第１の特徴変化データとして、時間に応じて、ブレーキランプの点灯及び消灯の変化を示す特徴変化信号ＳＳを示すデータを生成することができる。特徴変化信号ＳＳは、ブレーキランプ点灯時および消灯時に信号が変化している。
　なお、このような場合、第１の特徴変化検出部１２４は、第１の特徴変化データとして、「時間ｔ１：ブレーキランプ点灯」及び「時間ｔ２：ブレーキランプ消灯」といったように、時間と、イベントとを示すデータを生成することも可能である。
　図４（Ｂ）は、路側カメラ１１０Ｂにより撮像された映像を示す概略図である。ここでの映像は、動画として撮像されており、時系列のシーケンス画像として取り扱うことができる。映像内に複数の車両１０２Ａ、１０２Ｂ、１０２Ｃが写っている。タイミングによってはブレーキランプの点灯している車両１０２Ａ、１０２Ｂも存在する。車外映像データ取得部１２２は、このような映像を示す映像データを車外映像データとして取得する。
　図４（Ｂ）に示されている映像だけからでは、車両１０２Ａ、車両１０２Ｂ及び車両１０２Ｃのどれが、図４（Ａ）のデータを送信してきたのかを特定することはできない。
　そこで、第２の特徴変化検出部１２５の車両別追跡部１２６は、選定車外映像データである映像データで示されている映像において、車両１０２Ａ～１０２Ｃの各々に対応する画像部分を特定することで、車両１０２Ａ～１０２Ｃの各々を追跡する。
　図５（Ａ）及び（Ｂ）は、車両別追跡部１２６が映像の中から車両１０２毎に追跡を行う処理を説明するための概略図である。
　図５（Ａ）は、車両別追跡部１２６が映像内で車両１０２Ａを追跡している様子を示している。
　例えば、映像内で特定の車両１０２を追跡する場合、車両別追跡部１２６は、画像認識により１フレーム内での車両１０２を認識して識別子を付け、前後のフレームでの識別結果と比較しながら、画像内での車両位置、車両の大きさ、並びに、車両の形状及び色の少なくとも何れか一つの変化が連続することを用いて追跡を行う。変化が連続することは、例えば、変化に飛躍がないこと、又は、変化の度合いが最も低いことを示す。
　図５（Ｂ）は、映像内での車両位置の連続性を用いて車両１０２Ａの追跡を行っている例を示している。車両認識の時点で車両１０２Ａ、車両１０２Ｂ及び車両１０２Ｃの区別がついていなくても、車両１０２の位置の変化が最も連続的になるものを車両１０２Ａとして追跡することができる。
　図３に戻り、車両別特徴変化検出部１２７は、追跡されている車両１０２に対応する画像部分の輝度の変化から、ブレーキランプの点灯及び消灯という特徴の変化を時間毎に特定することで、第２の特徴変化データを生成する。これにより、例えば、図４（Ｃ）に示されているように、車両１０２Ａの特徴変化信号Ｓ１を示す第２の特徴変化データ、車両１０２Ｂの特徴変化信号Ｓ２を示す第２の特徴変化データ、及び、車両１０２Ｃの特徴変化信号Ｓ３を示す第２の特徴変化データが得られる。
　図６（Ａ）～（Ｃ）は、追跡されている車両１０２Ａのブレーキランプの点滅状態の検出を説明するための概略図である。
　図６（Ａ）では、車両別特徴変化検出部１２７は、車両１０２の画像部分において画像認識を行うことにより認識された車両１０２の形状から、ブレーキランプの位置を推定している。ブレーキランプの点灯状態の推定は、このブレーキランプの推定位置付近での輝度及び色の変化を検出することにより行うことができる。
　図６（Ｂ）は、推定されたブレーキランプの位置の付近の映像の赤色成分の輝度変化を示している。映像から検出される輝度変化には、車両１０２の位置及び姿勢の変化、外光の影響、又は、撮像素子の反応速度等の影響を受ける。このため、輝度の変化を、そのままブレーキランプの点灯及び消灯を示すデータとして使用するのは困難である。
　そこで、車両別特徴変化検出部１２７は、フィルタリング、エッジ検出又はパターンマッチング等の手法を用いてブレーキランプの点滅状態を推定し、例えば、図６（Ｃ）のような特徴変化信号を示す第２の特徴変化データを生成する。
　なお、車両別特徴変化検出部１２７は、ブレーキランプの他にも方向指示器又は前照灯等の灯火装置でも同様の手法で、第２の特徴変化データを生成することができる。
　また、ブレーキランプが映像から確認できない場合、車両別特徴変化検出部１２７は、アクセル操作等外観の変化を直接的に引き起こさない運転操作から、第２の特徴変化データを生成することもできる。例えば、車両別特徴変化検出部１２７は、映像内での車両位置の変化から、速度又は加速度を推定することにより、その特徴の変化を検出することで、第２の特徴変化データを生成することもできる。この場合、比較対象となる第１の特徴変化データとしては、車速センサーのデータ又は加速度センサーのデータを使用することができる。
　図４（Ｃ）に示されている時間幅の中では、その前半で車両１０２Ａのブレーキランプが点灯する。その後、車両１０２Ｂのブレーキランプが点灯している。また、車両１０２Ａのブレーキランプの点灯期間よりも、車両１０２Ｂのブレーキランプ点灯期間の方が長くなっている。
　そして、類似性特定部１２８は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３の中から、図４（Ａ）に示されている特徴変化信号ＳＳに最も類似する信号を検出することにより、特徴変化信号ＳＳに対応する制御信号を送ってきた車両１０２と、映像内の車両１０２との対応付けを行うことができる。この処理の詳細を説明する。
　上述のように、図４（Ａ）に示されている特徴変化信号ＳＳは、ある車両１０２に搭載されている制御システムで取得された、ブレーキランプの制御信号である。これを対象車両側の特徴の変化とする。
　図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３は、路側カメラ１１０Ｂで撮像された映像を解析することで推定された車両１０２毎のブレーキランプの点滅状態を示す信号である。これを路側カメラ１１０Ｂ側でとらえた車両別の特徴の変化とする。
　同一の車両１０２であれば、内部のブレーキランプの制御信号が変化するタイミングと、外部から観察されたブレーキランプの点灯及び消灯のタイミングとは、一致するはずである。
　そこで、車両別特徴変化検出部１２７は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３の各々と、図４（Ａ）に示されている特徴変化信号ＳＳとを比較し、例えば、点灯の時間、消灯の時間、点灯状態の継続期間、及び、点滅の回数等の相関関係を調べる。
　具体的には、特徴変化信号Ｓ１と、特徴変化信号ＳＳとを比較した場合、点滅回数は一致するものの、点灯時間、消灯時間、及び、点灯状態の継続期間は一致しない。
　特徴変化信号Ｓ２と、特徴変化信号ＳＳとを比較した場合、点灯回数、点灯時刻、消灯時間、及び、点灯時間の継続期間が一致している。
　特徴変化信号Ｓ３と、特徴変化信号ＳＳをと比較した場合、点灯回数を含め特徴の変化の一致は見られない。
　このため、特徴変化信号ＳＳに最も類似性が高い特徴変化信号Ｓ２の元となった車両１０２Ｂが、図４（Ａ）に対応するデータの送信元であると特定することができる。
　データ送信元の車両１０２を、路側カメラ１１０で撮像された映像の中の１台として特定することにより、特定に使用したブレーキランプ以外のデータも特定された車両１０２のものとして路側カメラ１１０の映像と連携して解析することができるようになる。また、一つの車両１０２のみでなく、他の車両１０２の動きとの関係も含めて、複数の車両１０２に関連する解析を行うことができるようになる。
　例えば、図示されてはいないが、車両１０２Ｂから加速したことを示すデータが送られてきた場合に、車両１０２Ｂの前を走行している車両１０２Ａが、その直前に車線変更したことが路側カメラ１１０の映像から確認できれば、「先行車両の車線変更により、前方が空いたため加速した」というように、意味及び因果関係を解析することができる。
　以上の説明では、特徴変化信号ＳＳと、特徴変化信号Ｓ１～Ｓ３のそれぞれとの間で、特徴の変化の相関関係を検出しているが、実際には、検出方式の違い、並びに、転送及びデータ処理による遅延等により、全く同じタイミングで変化するとは限らない。
　そこで、相関関係を検出するために比較を行う際に、全体的な時間のずれ、個別の変化点の時間の揺らぎ、又は、ノイズ等を考慮し、ある程度のずれを許容しつつ比較する必要がある。そこで、車両別特徴変化検出部１２７は、１箇所の変化点だけではなく、複数箇所の変化点での比較及び整合性確認を行うことにより、相関関係の検出の確度を高める必要がある。
　また、全体的な時間のずれを考慮することにより複数の変化点での一致度が向上する場合、この時間のずれはシステム間及びデータ間の時間のずれを表しており、この時間のずれの分を補正することにより、データ間の同期を取ることができる。
　例えば、図４（Ａ）の車両側のシステムの時間情報と、図４（Ｂ）の路側カメラ１１０のタイムスタンプ値のずれを補正することができる。
　次に、類似性特定部１２８での処理について説明する。
　例えば、第１の特徴変化データが図４（Ａ）に示されている特徴変化信号ＳＳを示す場合、類似性特定部１２８は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３を示す第２の特徴変化データの中から、特徴の変化が最も近いものを検出する。
　具体的には、類似性特定部１２８は、複数の特徴変化信号Ｓ１～Ｓ３から一つの信号を選択して、選択された信号と、第１の特徴変化データで示される特徴変化信号とを比較する。この時、類似性特定部１２８は、遅延又は揺らぎ等を考慮するため、選択された信号を時間方向にずらしながら類似性を比較し、最も類似性が高い時点を探し出し、この時の類似性を評価値として使用する。
　図７（Ａ）～（Ｃ）は、選択された信号を時間方向にずらしながら類似性を比較する処理を説明するための概略図である。
　図７（Ａ）は、図４（Ａ）と同様に、第１の特徴変化データで示される特徴変化信号ＳＳを表している。ここでは、特徴変化信号は、ある車両１０２から送られてきたブレーキランプの制御信号で示されるブレーキランプの点滅を示す信号となっている。ここでは、データ選定部１２３から指示された比較方法が、ブレーキランプが点灯に変わるタイミングと、それが消灯に変わるタイミングとを用いて、類似性の評価を行うことを示しているものとする。
　図７（Ｂ）は、図４（Ｃ）における、第２の特徴変化データで示される、車両１０２Ａの特徴変化信号Ｓ１を時間方向にずらす例を示している。
　図７（Ｂ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ１を、特徴変化信号Ｓ１＃１～Ｓ１＃３のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでは、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど、相関が強く、類似性が高いことになる。例えば、特徴変化信号Ｓ１＃２が最も値が小さい場合には、このときの値を車両１０２Ａの類似性として検出する。
　図７（Ｃ）は、図４（Ｃ）における、第２の特徴変化データで示される、車両１０２Ｂの特徴変化信号Ｓ２を時間方向にずらす例を示している。
　図７（Ｃ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ２を、特徴変化信号Ｓ２＃１～Ｓ２＃２のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでも、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど類似性が高いことになる。例えば、特徴変化信号Ｓ２が最も値が小さい場合には、このときの値を車両１０２Ｂの類似性として検出する。
　以上のように、類似性特定部１２８は、映像データで示されている映像に含まれている全ての車両１０２Ａ～１０２Ｃの特徴の変化、すなわちブレーキランプの点滅状態を、車両１０２Ａ～１０２Ｃの何れか送られてきたブレーキランプの制御信号との類似性を比較して、評価する。そして、類似性特定部１２８は、車両１０２Ａ～１０２Ｃの内、最も類似性の高い車両１０２Ｂが、ブレーキランプの制御信号を送ってきたものと判断することができる。
　図８は、以上の類似性特定部１２８が行っている処理の一例を示すフローチャートである。
　以上のようにして、映像内の複数の車両１０２から、データ送信元と対応する車両を特定することができる。
　なお、以上の例では、ブレーキランプの変化のタイミングを比較することで、類似性を算出する比較方法を説明したが、本実施の形態は、このような比較方法に限定されない。例えば、機械学習を用いた時系列分類、又は、パターン類似等が使用されてもよい。
　また、ブレーキランプのみを使用した例としたが、方向指示器若しくは前照灯等の灯火装置、速度、加速度、又は、ハンドル操作等を使用することも可能である。
　以上に記載されたデータ解析装置１２０は、例えば、図９に示されているような、第１の通信Ｉ／Ｆ１１と、第２の通信Ｉ／Ｆ１２と、補助記憶装置１３と、主メモリ１４と、プロセッサ１５とを備えるコンピュータ１０で実現することができる。
　第１の通信Ｉ／Ｆ１１は、無線を用いて通信を行うインタフェースである。
　第２の通信Ｉ／Ｆ１２は、無線又は有線を用いて通信を行うインタフェースである。
　補助記憶装置１３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置である。
　主メモリ１４は、揮発性のメモリである。
　プロセッサ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の制御回路である。
　例えば、車両データ取得部１２１は、第１の通信Ｉ／Ｆ１１により実現することができる。
　車外映像データ取得部１２２は、第２の通信Ｉ／Ｆ１２により実現することができる。
　データ選定部１２３、第１の特徴変化検出部１２４、第２の特徴変化検出部１２５及び類似性特定部１２８は、補助記憶装置１３に記憶されているプログラムを主メモリ１４に読み出して、そのプロセッサをプロセッサ１５が実行することで実現することができる。
　このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　以上に記載した実施の形態では、ブレーキランプを用いた例を説明したが、本実施の形態は、このような例に限定されない。例えば、他の灯火装置、速度、加速度又は音響等の他のデータを用いて車両１０２を特定することもできる。
　以下、車両１０２の特定に使用可能なデータの組み合わせを変形例として列挙する。ここに列挙したデータは、必ずしも全てを同時に使用する必要があるわけではない。複数のデータのうち１つだけを利用してもよい。また複数のデータが組み合わされて使用されてもよい。
　変形例１．
　ブレーキランプ、方向指示器、車幅灯又は前照灯等の灯火装置の点灯及び消灯の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
　この場合、車両データは、対象車両に備えられている灯火装置の点灯及び消灯を特定することのできるデータであればよい。例えば、車両データとしては、灯火装置の点滅を制御するための灯火制御信号を示すデータ、又は、灯火装置の点滅を監視するための灯火監視センサー信号を示すデータを用いることができる。なお、灯火制御信号は、灯火装置の点滅を制御するための電圧又は電流を示す信号を含む。
　第１の特徴変化検出部１２４は、車両データから、灯火装置の点灯及び消灯の時系列を示す前記第１の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２のそれぞれの灯火装置の点灯及び消灯の時系列を示す複数の第２の特徴変化データを生成する。具体的には、第２の特徴変化検出部１２５は、車外映像データで示される映像から灯火装置の設置位置を推定し、その付近の色と輝度の変化を検出することで、その特徴変化信号を示す第２の特徴変化データを生成することができる。
　この場合、灯火装置の種類、方向指示器に関しては左右の方向、点灯のタイミング、及び、消灯のタイミングを比較することで、類似性を特定することができる。
　変形例２．
　車両１０２の速度、加速度、角加速度、方向、車線変更、右左折、急ブレーキ又は衝突といった車両１０２の動き又は位置の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
　この場合、車両データは、対象車両の位置又は動きを特定することのできるデータであればよい。例えば、車両データとしては、速度センサー値、加速度センサー値、角加速度センサー値、方位角センサー値、経度緯度高度値、アクセル開度、ブレーキペダル踏力値、又は、ハンドル操作量を示すデータを用いることができる。
　第１の特徴変化検出部１２４は、車両データから対象車両の位置又は動きの時系列を示す前記第１の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両のそれぞれの位置又は動きの時系列を示す複数の第２の特徴変化データを生成する。
　車両データが速度センサー値又は加速度センサー値である場合には、その速度センサー値を時系列に並べた速度データ又はその加速度センサー値を時系列に並べた加速度データと、車外映像データから特定された速度データ又は加速度データとの相関の強さを算出することで、類似性を特定することができる。
　また、加速度データは、車両のアクセル操作又はブレーキ操作と相関関係があるため、車両データで特定されるアクセル操作又はブレーキ操作のタイミング又は期間と、車外映像データから特定されるアクセル操作又はブレーキ操作のタイミング又は期間とを比較することにより、類似性を特定することができる。
　さらに、映像内の車両１０２の向き又は動きの変化と、車両データで示されるハンドル操作の変化とを比較することで、類似性を検出することができる。
　また、映像内の車両１０２の向きの変化と、車両データである角加速度センサー値又は方位角センサー値から示される車両１０２の向きの変化とを比較することで、類似性を特定することができる。
　変形例３．
　車両１０２の前方の車両１０２である前方車両、車両１０２の後方の車両である後方車両、若しくは、車両１０２の側方の車両１０２である側方車両との位置関係若しくは距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
　この場合、車両データは、対象車両と、対象車両の周囲の物体（例えば、車両又は目標物）との距離又は位置関係を特定することのできるデータであればよい。例えば、車両データとしては、車両１０２に搭載されているレーダー（ＬＡＤＡＲ）の検出結果、車両１０２に搭載されているライダー（ＬｉＤＡＲ）の検出結果、車両１０２に搭載されているステレオカメラで撮像された映像、車両１０２に搭載されているカメラで撮像された映像、それらの検出結果又は映像から推定された距離、それらの映像から認識された画像認識結果を示すデータを用いることができる。
　第１の特徴変化検出部１２４は、車両データから、対象車両と、物体との距離又は位置関係の時系列を示す第１の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両の各々と、物体との距離又は位置関係の時系列を示す第２の特徴変化データを生成する。
　例えば、第２の特徴変化検出部１２５は、車外映像データで示される映像を解析することで、車両１０２の検出、車両１０２の間隔の検出、道路周辺物の検出、道路周辺物の位置の推定、道路周辺物と車両１０２との距離推定、又は、車両の種類若しくは色の検出を行うことにより、前方車両、後方車両若しくは側方車両との位置関係又は距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両１０２の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を特定することができる。
　この場合、車両データから特定される変化のタイミングと、車外映像データから特定される変化のタイミングとを比較にすることで、類似性を特定することができる。
　変形例４．
　車両１０２から車外に向かってメッセージ等を表示する車外表示装置の内容の変化のタイミングを比較することで、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
　この場合、車両データは、対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであればよい。
　例えば、車両データとしては、車外表示装置を制御するための制御データを用いることができる。
　第１の特徴変化検出部１２４は、車両データから表示内容の変化の時系列を示す第１の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２の何れかが車外表示装置を備えている場合には、その映像に含まれている車外表示装置の表示内容の変化の時系列を示す第２の特徴変化データを生成する。
　このような場合、車外表示装置が表示している内容の変化のタイミングを比較することで、類似性を特定することができる。
　変形例５．
　車両１０２のドアの開閉を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
　この場合、車両データは、対象車両のドアの開閉を特定することのできるデータであればよい。
　例えば、車両データとしては、ドアセンサー、音響センサー、若しくは、加速度センサー及び角加速度センサーの検出結果を示すデータ、又は、車両１０２に搭載されているカメラで撮像された映像を示すデータを用いることができる。
　具体的には、ドアセンサーの検出結果を示すデータが得られる場合は、ドアセンサーの値変化によりドアの開閉を特定することができる。また、ドアセンサーの検出結果を示すデータが得られない場合でも、車両１０２の車室側カメラで撮像された映像を解析することで、ドア開閉状況を特定することができる。さらに、音響センサー又は角速度センサーの検出結果を解析してドア開閉のタイミングを推定することもできる。
　第１の特徴変化検出部１２４は、車両データから対象車両のドアの開閉の時系列を示す第１の特徴変化データを生成する。
　第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２の各々のドアの開閉の時系列を示す第２の特徴変化データを生成する。
　例えば、第２の特徴変化検出部１２５は、駐車場に設置されている監視カメラからの車外映像データを解析すること、又は、駐車場に設置されているマイクからの音響センサーデータを解析することで、ドアの開閉状況を特定することができる。
　ここで、駐車場の監視カメラと連携を行う場合を説明する。
　図１０（Ａ）～（Ｃ）は、ドアの開閉変化のタイミングを用いて車両１０２を特定する処理を説明するための概略図である。
　図１０（Ａ）は、車両１０２に搭載されているドアセンサーによるドアの開閉検出の検出結果を示す特徴変化信号ＳＳ＃を示している。
　ドアの開閉は、直接的には、ドアセンサーにより検出することができる。このため、ドアセンサーの検出結果が得られる場合は、そのドアセンサーの検出結果から、図１０（Ａ）に示されている特徴変化信号ＳＳ＃を取得することができる。
　図１０（Ｂ）は、駐車場の監視カメラの映像である。画像Ｉｍ２は、時間ｔ１におけるフレーム、画像Ｉｍ３は、時間ｔ２におけるフレーム、及び、画像Ｉｍ４は、時間ｔ３におけるフレームである。
　以上のような画像Ｉｍ１～Ｉｍ３を解析することにより、第２の特徴変化検出部１２５は、ドアの開閉のタイミングを推定することができる。ここでは、第２の特徴変化検出部１２５は、車両１０２の映像における変化及び人の動きを入力として、機械学習によりドアの開閉のタイミングを推定してもよい。
　図１０（Ｃ）は、以上のようにして推定されたドアの開閉から取得される特徴変化信号Ｓ４を示す。
　このような場合、ドアの開閉のタイミングを比較することで、類似性を検出することができる。
　車両１０２のドアセンサーのデータを直接使用できない場合もある。例えば、後付けのドライブレコーダーからデータを得る場合である。そのような場合、音響センサー、加速度センサー又は角加速度センサー等の信号からドアを閉じたことを検出することもできる。ドライブレコーダーに車室内カメラがある場合には車室内カメラ映像からドアの開閉を検出することもできる。
　図１０（Ａ）において、信号Ｓ５は、ドアを閉めた際における音響センサーで検出された値を示し、信号Ｓ６は、ドアを閉めた際における加速度センサーで検出された値を示している。
　図１０（Ａ）に示されているように、音響センサー又は加速度センサーを用いる場合には、センサーの反応からデータ処理を行いドア開閉時の反応を検出するため、実際のドア開閉よりも遅れて検出されることになる。しかしながら、ドアの開閉と、センサーでの検出とのずれ量を予め測定しておくことで、そのずれ量を補正することができる。
　以上のように、本実施の形態によれば、通常の運行において日常的に車両１０２で発生する状況と、データとを使用して、車両１０２の外部で取得されるデータと、車両１０２の内部で取得されるデータとを連携させることができる。これにより、特別なシステム又は事前の較正情報の作成等を行わずに、車両１０２を特定してデータの連携を行うことができる。
　１００　データ解析システム、　１１０　路側カメラ、　１２０　データ解析装置、　１２１　車両データ取得部、　１２２　車外映像データ取得部、　１２３　データ選定部、　１２４　第１の特徴変化検出部、　１２５　第２の特徴変化検出部、　１２６　車両別追跡部、　１２７　車両別特徴変化検出部、　１２８　類似性特定部。

Claims (8)

  1. 　検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部と、
    　複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部と、
    　前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部と、
    　前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部と、
    　前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部と、を備えること
    　を特徴とする情報処理装置。
  2. 　前記車両データは、前記対象車両に備えられている灯火装置の点灯及び消灯を特定することのできるデータであり、
    　前記第１の特徴変化検出部は、前記車両データから、前記灯火装置の点灯及び消灯の時系列を示す前記第１の特徴変化データを生成し、
    　前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両のそれぞれの前記灯火装置の点灯及び消灯の時系列を示す前記複数の第２の特徴変化データを生成し、
    　前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
    　を特徴とする請求項１に記載の情報処理装置。
  3. 　前記車両データは、前記対象車両の位置又は動きを特定することのできるデータであり、
    　前記第１の特徴変化検出部は、前記車両データから前記対象車両の位置又は動きの時系列を示す前記第１の特徴変化データを生成し、
    　前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両のそれぞれの位置又は動きの時系列を示す前記複数の第２の特徴変化データを生成し、
    　前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
    　を特徴とする請求項１に記載の情報処理装置。
  4. 　前記車両データは、前記対象車両と、前記対象車両の周囲の物体との距離又は位置関係を特定することのできるデータであり、
    　前記映像には、前記物体も含まれており、
    　前記第１の特徴変化検出部は、前記車両データから、前記対象車両と、前記物体との距離又は位置関係の時系列を示す前記第１の特徴変化データを生成し、
    　前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の各々と、前記物体との距離又は位置関係の時系列を示す前記第２の特徴変化データを生成し、
    　前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
    　を特徴とする請求項１に記載の情報処理装置。
  5. 　前記車両データは、前記対象車両のドアの開閉を特定することのできるデータであり、
    　前記第１の特徴変化検出部は、前記車両データから前記ドアの開閉の時系列を示す前記第１の特徴変化データを生成し、
    　前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の各々のドアの開閉の時系列を示す前記第２の特徴変化データを生成し、
    　前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
    　を特徴とする請求項１に記載の情報処理装置。
  6. 　前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、
    　前記第１の特徴変化検出部は、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データを生成し、
    　前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データを生成し、
    　前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
    　を特徴とする請求項１に記載の情報処理装置。
  7. 　コンピュータを、
    　検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部、
    　複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部、
    　前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部、
    　前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部、及び、
    　前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部、として機能させること
    　を特徴とするプログラム。
  8. 　検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得し、
    　複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得し、
    　前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成し、
    　前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成し、
    　前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、
    　前記類似性が最も高い一つの第２の特徴変化データを特定し、
    　前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断すること
    　を特徴とする情報処理方法。
PCT/JP2021/036921 2021-10-06 2021-10-06 情報処理装置、プログラム及び情報処理方法 WO2023058142A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036921 WO2023058142A1 (ja) 2021-10-06 2021-10-06 情報処理装置、プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036921 WO2023058142A1 (ja) 2021-10-06 2021-10-06 情報処理装置、プログラム及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2023058142A1 true WO2023058142A1 (ja) 2023-04-13

Family

ID=85803286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036921 WO2023058142A1 (ja) 2021-10-06 2021-10-06 情報処理装置、プログラム及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2023058142A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128386A (ja) * 2020-02-10 2021-09-02 ソフトバンク株式会社 情報処理装置、方法及びプログラム、並びに、交通リスク低減装置
JP2021131623A (ja) * 2020-02-18 2021-09-09 ソフトバンク株式会社 交通リスク低減プログラム、情報処理装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128386A (ja) * 2020-02-10 2021-09-02 ソフトバンク株式会社 情報処理装置、方法及びプログラム、並びに、交通リスク低減装置
JP2021131623A (ja) * 2020-02-18 2021-09-09 ソフトバンク株式会社 交通リスク低減プログラム、情報処理装置及び方法

Similar Documents

Publication Publication Date Title
US11328444B2 (en) Signal processing apparatus, signal processing method, program, mobile object, and signal processing system
CN106255899B (zh) 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
US11688174B2 (en) System and method for determining vehicle data set familiarity
JP3766909B2 (ja) 走行環境認識方法および装置
US11836985B2 (en) Identifying suspicious entities using autonomous vehicles
WO2020033365A1 (en) Determining relative velocity based on an expected configuration
US11216689B2 (en) Detection of emergency vehicles
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
US20200074851A1 (en) Control device and control method
CN111386563B (zh) 教师数据生成装置
JP7367031B2 (ja) 自動運転車両におけるセンサ同期性データ分析に用いるシステム
US11403943B2 (en) Method and system for vehicle navigation using information from smart node
CN110097783A (zh) 车辆预警方法及系统
CN113808418B (zh) 路况信息显示系统、方法、车辆、计算机设备和存储介质
JP3356058B2 (ja) 車両用後方モニタシステム
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
WO2021053763A1 (ja) 運転支援装置、運転支援方法及びプログラム
CN114764523A (zh) 利用自主驾驶车辆的模型训练和车载验证的系统和方法
WO2023058142A1 (ja) 情報処理装置、プログラム及び情報処理方法
US20220406186A1 (en) Information processing device, information processing method, and program
CN113771845A (zh) 预测车辆轨迹的方法、装置、车辆和存储介质
US20230073038A1 (en) Hierarchical processing of traffic signal face states
CN113156939A (zh) 无人驾驶声波与光感协调探测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959884

Country of ref document: EP

Kind code of ref document: A1