WO2022209373A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022209373A1
WO2022209373A1 PCT/JP2022/005882 JP2022005882W WO2022209373A1 WO 2022209373 A1 WO2022209373 A1 WO 2022209373A1 JP 2022005882 W JP2022005882 W JP 2022005882W WO 2022209373 A1 WO2022209373 A1 WO 2022209373A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
super
vehicle
processing device
resolution
Prior art date
Application number
PCT/JP2022/005882
Other languages
English (en)
French (fr)
Inventor
崇史 正根寺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2023510620A priority Critical patent/JPWO2022209373A1/ja
Publication of WO2022209373A1 publication Critical patent/WO2022209373A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing program for calculating the distance between vehicles traveling on a road.
  • an object of the present disclosure is to provide a technique for accurately calculating the distance between vehicles traveling on roads with a low load.
  • An information processing device includes: a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device; A target region extraction unit that extracts a target region that is a target of super-resolution processing from the candidate region; A super-resolution processing unit that generates a super-resolution image by performing super-resolution processing on the target region; Equipped with
  • the information processing apparatus extracts a target area from the environmental image instead of the entire environmental image and performs super-resolution processing. This makes it possible to suppress an increase in processing load and suppress a decrease in processing speed.
  • the target region extraction unit is determining whether the distance to the object is greater than or equal to a threshold;
  • the target area may be extracted from the candidate areas when it is determined that the distance is equal to or greater than the threshold.
  • the information processing device extracts an object at a relatively long distance as a target area for super-resolution processing. This is because relatively close-range objects are relatively sharp in the environment image. For this reason, even without super-resolution processing, there is a high possibility that objects can be accurately extracted from relatively low-resolution environmental images. As a result, it is possible to further suppress an increase in processing load and a decrease in processing speed.
  • the target area extraction unit may set the threshold value based on environmental information around the imaging device.
  • the information processing apparatus variably sets the distance threshold for extracting the target area from the candidate areas based on the environment information.
  • the information processing device ensures the safety of scenes in which the image quality of the environment image is estimated to be low, while suppressing an increase in the processing load in scenes in which the image quality of the environment image is estimated to be high. It becomes possible to suppress the decrease in speed.
  • the environment information may indicate weather, illuminance and/or brightness.
  • the information processing apparatus ensures safety in scenes where the image quality of the environment image is estimated to be low (nighttime, rainy weather, etc.), and on the other hand, in scenes where the image quality of the environment image is estimated to be high. (daytime, fine weather, etc.), it is possible to suppress an increase in the processing load and suppress a decrease in the processing speed.
  • the target region extraction unit is setting a first threshold as the threshold when the image quality of the environmental image is estimated to be low based on the environmental information; If the image quality is not estimated to be low, a second threshold larger than the first threshold may be set as the threshold.
  • the information processing apparatus variably sets the distance threshold for extracting the target area from the candidate areas based on the environment information.
  • the information processing apparatus performs super-resolution processing on a relatively close object in a scene in which the image quality of the environment image is estimated to be low.
  • the information processing apparatus does not perform super-resolution processing on relatively close objects in a scene in which the environmental image is estimated to have high image quality. This ensures the safety of scenes where the image quality of the environment is estimated to be low, while suppressing the increase in processing load and the decrease in processing speed in scenes where the image quality of the environment image is estimated to be high. becomes possible.
  • the object is at least part of a vehicle;
  • the area of interest may include a license plate of the vehicle.
  • the size of the license plate and/or the size of the letters on the license plate is smaller than the size of the back of the vehicle. For this reason, it may be difficult to extract the license plate and/or license plate characters from the environmental image and accurately calculate the size of a distant vehicle or, depending on the weather and time of day, a relatively nearby vehicle.
  • the information processing apparatus extracts the minimum area including only the license plate as much as possible from the environmental image, instead of the entire environmental image, and performs super-resolution processing. . This makes it possible to extract the license plate and/or characters on the license plate and accurately calculate the size while suppressing an increase in processing load and a decrease in processing speed.
  • the target area may include license plates of neighboring vehicles that are vehicles traveling in the same lane as the specific vehicle or adjacent lanes.
  • the information processing device does not extract all license plates as target areas for super-resolution processing, but instead extracts license plates of nearby vehicles as target areas for super-resolution processing.
  • the vehicle does not perform automatic braking or the like directly due to a vehicle traveling in a lane distant from the adjacent lane (distant vehicle).
  • the vehicle executes automatic braking or the like directly due to the distant vehicle after the distant vehicle moves into the adjacent lane and becomes a neighboring vehicle. Therefore, there is no need to perform super-resolution processing on license plates of distant vehicles. As a result, it is possible to further suppress an increase in processing load and a decrease in processing speed.
  • the target area extraction unit may determine whether the distance from the specific vehicle to the neighboring vehicle is equal to or greater than the threshold as the distance to the object.
  • the information processing device can perform automatic braking or the like for automatic driving or non-automatic driving.
  • a license plate determination unit that determines the size of the license plate of the neighboring vehicle and/or the size of characters on the license plate based on the super-resolution image generated by the super-resolution processing unit; a distance calculation unit that calculates the distance between the specific vehicle and the neighboring vehicle based on the size; may be further provided.
  • the information processing device determines the license plate size and/or the character size of the license plate of the neighboring vehicle, and calculates the distance from the vehicle to the neighboring vehicle based on the determined size.
  • Vehicles come in various sizes, but the size of the license plate and/or the size of characters on the license plate are uniformly defined by standards. Therefore, the distance from the vehicle to the neighboring vehicle can be calculated by detecting the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle.
  • the license plate determination unit determines the size of the license plate of the neighboring vehicle and/or the size of characters on the license plate, which are included in the candidate area;
  • the distance calculation unit may calculate a distance between the specific vehicle and the neighboring vehicle based on the size.
  • the information processing apparatus does not extract license plates of all nearby vehicles as target areas for super-resolution processing, but extracts the license plates of relatively distant nearby vehicles as target areas for super-resolution processing. Extract as This is because the license plates of nearby vehicles at relatively close range are relatively sharp in the environment image. Therefore, there is a high possibility that the license plate can be accurately extracted from the relatively low-resolution environmental image without super-resolution processing. As a result, it is possible to further suppress an increase in processing load and a decrease in processing speed.
  • the candidate area detection includes periodically detecting the candidate area at a first timing,
  • the target region extraction unit may periodically extract the target region at a second timing that is less frequent than the first timing.
  • the target area extracting unit By having the target area extracting unit periodically detect the target area at the relatively infrequent second timing, it is possible to suppress an increase in processing load and a decrease in processing speed.
  • the super-resolution processing unit may periodically generate the super-resolution image at the second timing.
  • the imaging device may be a monocular camera.
  • Monocular cameras have lower performance than stereo cameras, etc., but by performing super-resolution processing on the necessary target area, it is possible to improve the accuracy of distance calculation while using the environmental images of monocular cameras with low processing load. I can plan.
  • the specific vehicle may have the information processing device and the imaging device.
  • this embodiment can measure the distance and positional relationship to neighboring vehicles traveling in front of or in the vicinity of a specific vehicle, it can contribute to the increasing demand for vehicle safety in advanced driving support systems.
  • the specific vehicle may be an automated driving vehicle.
  • This embodiment can measure the distance and positional relationship to neighboring vehicles traveling in front of or in the vicinity of a specific vehicle, so it can contribute to autonomous driving.
  • the information processing device and the imaging device may be provided in a roadside unit.
  • the imaging device of the roadside unit may capture the specific vehicle and neighboring vehicles to acquire the environment image, and the information processing device of the roadside unit may calculate the distance between the specific vehicle and the neighboring vehicle from the environmental image.
  • the data can be used for safety purposes, such as verification of accidents in the field. It can also contribute to the growing demand for vehicle safety in advanced driver assistance systems and automated driving.
  • An information processing method includes: Detecting a candidate area containing a specific object from an environmental image acquired by an imaging device, extracting a target region to be super-resolution processed from the candidate region; A super-resolution image is generated by subjecting the target region to super-resolution processing.
  • An information processing program includes the processor of the information processing device, a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device; A target region extraction unit that extracts a target region that is a target of super-resolution processing from the candidate region; A super-resolution processing unit that generates a super-resolution image by performing super-resolution processing on the target region; operate as
  • 1 shows a functional configuration of an information processing device according to an embodiment of the present disclosure
  • 4 shows an operational flow of the information processing apparatus
  • An example of candidate regions detected from an environmental image is schematically shown.
  • Another example of a candidate region detected from an environmental image is schematically shown. It is a figure for demonstrating a 1st threshold value and a 2nd threshold value.
  • 4 schematically shows processing timings of a candidate region detection unit, a target region extraction unit, and a super-resolution processing unit;
  • FIG. 1 shows a functional configuration of an information processing device according to one embodiment of the present disclosure.
  • the information processing device 10 is mounted on the vehicle 1, for example.
  • the vehicle may be an autonomous vehicle or a non-autonomous vehicle.
  • the vehicle 1 has at least an imaging device 11 and may further have a radar device 12 (Radar: Radio Detecting and Ranging) and/or a lidar device 13 (LiDAR: Light Detection and Ranging).
  • a radar device 12 Radar: Radio Detecting and Ranging
  • LiDAR Light Detection and Ranging
  • the imaging device 11 is, for example, a monocular camera, but may be another camera (stereo camera, etc.).
  • the imaging device 11 always captures the environment in front of the vehicle 1 to acquire an environment image.
  • the environment in front of the vehicle 1 means, when the vehicle 1 is traveling on a road, the driving lane in which the vehicle 1 is driving, adjacent lanes adjacent to the driving lane (oncoming lanes without a median strip and and/or same-direction lanes), further lanes, sidewalks, environments including vehicles and pedestrians on the road, buildings, etc.
  • the radar device 12 measures the time it takes to emit radio waves and receive the reflected radio waves, measures the distance and direction to objects (vehicles, etc.) existing in the environment in front of the vehicle 1, and uses color tones and functions. Always generate represented ranging information.
  • the lidar device 13 measures the time it takes to emit a laser beam and receive the reflected laser beam, measures the distance and direction to an object (such as a vehicle) existing in the environment in front of the vehicle 1, and measures the color tone and the direction of the object. Always generate ranging information expressed as a function.
  • the information processing apparatus 10 loads an information processing program recorded in a ROM into a RAM and executes it by a CPU (processor), whereby a candidate area detection unit 110, a target area extraction unit 120, a super-resolution processing unit 130, a number It operates as the plate determination unit 140 and the distance calculation unit 150 .
  • a CPU processor
  • the information processing device 10 controls the vehicle 1 (which may be referred to as a specific vehicle) and neighboring vehicles (the same driving lane as the specific vehicle 1 or an adjacent vehicle). (vehicles running in the lane). Specifically, the information processing device 10 determines the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle, and calculates the distance from the vehicle 1 to the neighboring vehicle based on the determined size. Vehicles come in various sizes, but the size of the license plate and/or the size of characters on the license plate are uniformly defined by standards. Therefore, the distance from the vehicle 1 to the neighboring vehicle can be calculated by detecting the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle.
  • the size of the license plate and/or the size of the letters on the license plate are smaller than the size of the back of the car body. For this reason, it may be difficult to extract the license plate and/or license plate characters from the environmental image and accurately calculate the size of a distant vehicle or, depending on the weather and time of day, a relatively nearby vehicle.
  • the information processing apparatus 10 of the present embodiment aims to accurately calculate the distance between the vehicle 1 and neighboring vehicles with low load.
  • FIG. 2 shows the operation flow of the information processing device.
  • the candidate area detection unit 110 acquires the environment image that the imaging device 11 constantly acquires.
  • the candidate area detection unit 110 detects candidate areas from the environment image (step S101). If the vehicle 1 has the radar device 12 and/or the lidar device 13, the candidate area detection unit 110 further acquires ranging information that the radar device 12 and/or the lidar device 13 constantly generates.
  • the candidate area detection unit 110 detects candidate areas from the environment image with high accuracy by fusing the environment image and the distance measurement information.
  • a candidate area is an area that contains a specific object.
  • a particular object includes at least part of a vehicle.
  • the particular object may be the entire vehicle, the license plate of the vehicle, or other parts of the vehicle (headlamps, taillamps, wing mirrors, etc.).
  • Candidate area detection section 110 periodically detects candidate areas at a first timing.
  • FIG. 3 schematically shows an example of candidate areas detected from an environmental image.
  • the candidate area detection unit 110 detects candidate areas 210 and 220 from the environmental image 200 .
  • Candidate regions 210, 220 include vehicles 211, 221, respectively.
  • Candidate areas 210 and 220 are rectangular areas containing vehicles 211 and 221, respectively.
  • the candidate area detection unit 110 extracts all candidate areas including the vehicle from the environment image 200 regardless of the position and distance of the vehicle. Specifically, the candidate area detection unit 110 detects the driving lane in which the vehicle 1 is driving, adjacent lanes adjacent to the driving lane (opposing lanes without a median strip and/or lanes in the same driving direction), and further lanes. Extract all candidate regions that include a moving vehicle.
  • the target region extraction unit 120 extracts a target region (ROI: Region of Interest) from the candidate regions (steps S102 to S108).
  • the area of interest includes the license plate of the vehicle. More specifically, the target area extraction unit 120 extracts the license plate of the vehicle from the candidate area by edge detection, and treats the extracted area as the target area. In other words, the target area is the minimal area that contains only the license plate as much as possible.
  • the target area is an area to be subjected to super-resolution processing.
  • Super-resolution processing is a technique for generating a high-resolution image from a low-resolution image.
  • a technique of generating a high-resolution image by synthesizing a plurality of time-series low-resolution images and a technique of generating a high-resolution image from one low-resolution image by deep learning are known.
  • the target region extraction unit 120 periodically detects the target region at the second timing.
  • the second timing is less frequent than the first timing.
  • a method for extracting a target region by the target region extraction unit 120 will be specifically described below.
  • the target area extracting unit 120 determines whether the vehicle included in the candidate area is a vehicle traveling in the same lane as the specific vehicle 1 or an adjacent lane (referred to as a neighboring vehicle) (step S102).
  • FIG. 4 schematically shows another example of candidate areas detected from the environmental image.
  • the target region extraction unit 120 extracts the lanes L1, L2, and L3 from the environment image 300 using a known image analysis technique, and converts the extracted lanes L1, L2, and L3 into candidate regions 310 and 320.
  • the positional relationship and distance between the vehicles 311 and 321 included are determined. If the vehicle 311 included in the candidate area 310 is not a neighboring vehicle with respect to the specific vehicle 1, for example, the vehicle 311 traveling in the lane L1 (far vehicle 311), the specific vehicle 1 does not perform automatic braking or the like directly because of the distant vehicle 311. In other words, the specific vehicle 1 executes automatic braking or the like directly due to the distant vehicle 311 after the distant vehicle 311 moves to the adjacent lane L2 and becomes a neighboring vehicle.
  • step S102, NO there is no need to calculate the distance from the specific vehicle 1 to the distant vehicle 311 (step S102, NO).
  • the vehicle 321 included in the candidate area 320 is a neighboring vehicle with respect to the specific vehicle 1, the specific vehicle 1 may perform automatic braking or the like directly due to the neighboring vehicle 321. Therefore, the information processing device 10 calculates the distance from the specific vehicle 1 to the neighboring vehicle 321 (step S102, YES).
  • the nearby vehicle 321 in the environment image 300 does not include a license plate (for example, the vehicle on the lower right in FIG. 4), the information processing apparatus 10 may calculate the distance to the nearby vehicle 321 using another method. good.
  • the lidar device 13, the radar device. 12 can be used.
  • the target area extraction unit 120 determines environmental information around the imaging device 11 (that is, environmental information around the vehicle 1). Environmental information indicates, for example, weather, illuminance and/or luminance. Specifically, the target region extraction unit 120 determines whether the current time zone is daytime (step S103). For example, the target region extraction unit 120 may determine the current time zone based on the illuminance and/or brightness of the environment image. Alternatively, the target area extraction unit 120 may determine the current time zone based on the detection results of the illuminance sensor and/or the brightness sensor mounted on the vehicle 1 . Alternatively, target region extracting section 120 may additionally determine the current time zone based on the actual time indicated by a clock or timer.
  • the image quality of the environmental information is relatively high in the daytime, while the image quality of the environmental information is relatively low in the evening or at night due to insufficient illuminance and/or luminance. Since there are cases where the illumination is low even during the daytime, such as when the vehicle is traveling in a tunnel, it is better to make a supplementary determination of the time period based on the actual time.
  • the target area extraction unit 120 further determines whether the current weather is fine (step S104). For example, the target region extraction unit 120 may determine the current weather based on the illuminance and/or brightness of the environment image. Alternatively, the target area extraction unit 120 may determine the current weather based on the detection results of the illuminance sensor and/or brightness sensor mounted on the vehicle 1 . Alternatively, the target area extraction unit 120 may determine the current weather based on whether a vibration sensor (rain sensor) installed on the windshield or the like detects vibration due to rain or snow. If the weather is fine, the image quality of the environment information is estimated to be relatively high. On the other hand, if it is raining or snowing, the image quality of the environment information is estimated to be relatively low.
  • a vibration sensor rain sensor
  • FIG. 5 is a diagram for explaining the first threshold and the second threshold.
  • the target region extracting unit 120 determines the distance for extracting the target region from the candidate regions based on the environmental information around the imaging device 11 (that is, the environmental information around the vehicle 1).
  • Set a threshold Specifically, the target region extraction unit 120 sets the first threshold TH1 as the distance threshold in a scene where the image quality of the environmental image is estimated to be low based on the environmental information (weather, illuminance and/or brightness, etc.).
  • Scenes in which the image quality of the environment image is estimated to be low include, for example, when the current time zone is not daytime (evening or nighttime) (step S103, NO), and when the current weather is not fine weather (rainy weather or snow). Yes) (step S104, NO).
  • the first threshold TH1 is, for example, 5 m.
  • the target region extracting unit 120 does not estimate that the image quality of the environment image is low (estimated that it is relatively high) based on the environmental information (weather, illuminance and/or brightness, etc.).
  • the second threshold TH2 is set as the distance threshold (step S106). Scenes in which the image quality of the environment image is estimated to be high are, for example, when the current time zone is daytime (step S103, YES) and when the current weather is fine (step S104, YES).
  • the second threshold TH2 is greater than the first threshold TH1, eg, 15 m. That is, the threshold (first threshold TH1 or second threshold TH2) is variable.
  • the target region extraction unit 120 determines that the distance from the vehicle 1 to a specific object (neighboring vehicle) included in the candidate region of the environment image is a threshold (that is, the set first threshold TH1 or second threshold TH2). It is determined whether or not the above is satisfied (step S107). In other words, as shown in (A), the target region extracting unit 120 determines whether the distance from the vehicle 1 to the neighboring vehicle is equal to or greater than the first threshold TH1 in a scene in which the image quality of the environment image is estimated to be low. That is, it is determined whether or not a nearby vehicle is traveling in the super-resolution area A1 farther than the first threshold TH1.
  • the target region extraction unit 120 determines whether or not the distance from the vehicle 1 to the neighboring vehicle is equal to or greater than the second threshold TH2 in a scene in which the image quality of the environment image is estimated to be high. That is, it is determined whether or not a nearby vehicle is traveling in the super-resolution area A2 farther than the second threshold TH2.
  • the target area extraction unit 120 may determine the distance from the vehicle 1 to neighboring vehicles based on the size of the rectangle that is the candidate area.
  • the distance from the vehicle 1 to the nearby vehicle 211 is long, and if the size of the candidate area 220 is large, the distance from the vehicle 1 to the nearby vehicle 221 is short.
  • the distance from the vehicle 1 to the neighboring vehicle is determined not only by the size of the rectangle, which is the candidate area, but also by the vanishing point in the environmental image in the perspective method and the distance measurement information generated by the radar device 12 and/or the lidar device 13. Further, it may be calculated based on the following.
  • the target area extraction unit 120 When the distance from the vehicle 1 to a specific object (neighboring vehicle) included in the candidate area is equal to or greater than a threshold (that is, the set first threshold TH1 or second threshold TH2), the target area extraction unit 120 (Step S107, YES), the target area is extracted from the candidate area including the nearby vehicle (Step S108).
  • the area of interest includes license plates of neighboring vehicles.
  • the target area is an area to be subjected to super-resolution processing.
  • the target area extracting unit 120 targets the license plates of neighboring vehicles traveling a relatively long distance (greater than or equal to the threshold value) from the vehicle 1 for super-resolution processing.
  • the target region extracting unit 120 determines that the distance from the vehicle 1 to a specific object (neighboring vehicle) included in the candidate region is less than the threshold (that is, the set first threshold TH1 or second threshold TH2). If there is (step S107, NO), the target area is not extracted from the candidate areas. In short, the target region extraction unit 120 does not subject the license plates of nearby vehicles traveling relatively short distance (less than the threshold value) from the vehicle 1 to super-resolution processing.
  • the target region extraction unit 120 extracts a target including the license plate 212 from the neighboring vehicle 211 (that is, the vehicle 211 traveling a long distance) included in the small-sized candidate region 210 (step S107, YES). A region 213 is extracted (step S108). On the other hand, the target region extracting unit 120 extracts a target region 223 including a license plate 222 from neighboring vehicles 221 (that is, vehicles 221 traveling a short distance) included in the large-sized candidate region 220 (step S107, NO). do not do.
  • the super-resolution processing unit 130 generates a super-resolution image by performing super-resolution processing on the target area (that is, the area including the license plate) extracted from the candidate area of the environment image (step S109).
  • Super-resolution processing is a technique for generating a high-resolution image from a low-resolution image.
  • Super-resolution processing unit 130 as super-resolution processing, for example, a technique of synthesizing a plurality of time-series continuous low-resolution images to generate a high-resolution image, deep learning from one low-resolution image Techniques that produce high-resolution images may be used.
  • the super-resolution processing unit 130 periodically executes super-resolution processing at a second timing.
  • FIG. 6 schematically shows processing timings of the candidate area detection unit, the target area extraction unit, and the super-resolution processing unit.
  • the candidate area detection unit 110 periodically detects candidate areas at the first timing (step S101).
  • the target region extraction unit 120 periodically detects the target region at the second timing (steps S102 to S108).
  • the super-resolution processing unit 130 periodically executes super-resolution processing at a second timing (step S109).
  • the second timing is less frequent than the first timing.
  • the first timing is every 33 milliseconds and the second timing is every 100 milliseconds, which is less frequent than every 33 milliseconds.
  • the first timing is timing at 30 fps (frames per second)
  • the second timing is timing at 10 fps, which is less frequent than 30 fps.
  • the target region extraction unit 120 detects the target region periodically at a relatively low frequency second timing, and the super-resolution processing unit 130 performs super-resolution processing, thereby suppressing an increase in the processing load, It becomes possible to suppress a decrease in processing speed.
  • License plate determination unit 140 uses a known image analysis technique to cut out license plates of nearby vehicles from the super-resolution image (step S109) generated by super-resolution processing unit 130, and further extracts license plate characters. To analyze. The license plate determination unit 140 determines the size of the license plate and/or the size of characters on the license plate based on the super-resolution processing unit 130 (step S110).
  • the license plate determination unit 140 uses a known image analysis technique from the candidate region of the environment image, The license plates of nearby vehicles are cut out, and the characters on the license plates are analyzed. The license plate determining unit 140 determines the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle included in the candidate area (step S110).
  • the license plate determination unit 140 determines the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle of the distant neighboring vehicle from the super-resolution image. On the other hand, the license plate determination unit 140 determines the size of the license plate and/or the size of characters on the license plate of the nearby vehicle of the nearby vehicle from the environmental image (lower resolution image than the super-resolution image). do.
  • the distance calculation unit 150 calculates the distance between the specific vehicle 1 and neighboring vehicles based on the size determined by the license plate determination unit 140 (the size of the license plate and/or the size of characters on the license plate) (step S111).
  • the vehicle 1 has an information processing device 10, an imaging device 11, a radar device 12 and/or a lidar device 13 as onboard units.
  • the roadside unit may have the information processing device 10 , the imaging device 11 , the radar device 12 and/or the lidar device 13 .
  • the imaging device 11 of the roadside unit photographs the specific vehicle 1 and neighboring vehicles to obtain an environmental image
  • the information processing device 10 of the roadside unit calculates the distance between the specific vehicle 1 and the neighboring vehicles from the environmental image. good. It can also be applied to a security camera system installed in a parking lot or the like instead of a roadside unit.
  • the super-resolution image generated by the super-resolution processing unit 130 (step S109) and/or the characters of the license plate analyzed by the license plate determination unit 140 (step S110) are associated with the environment image constantly acquired by the imaging device 11. , may be stored in a non-volatile storage device.
  • the specific vehicle 1 has the information processing device 10 and the imaging device 11 as in this embodiment, data can be used as a drive recorder for the specific vehicle 1 .
  • the storage device may be provided locally in the specific vehicle 1 or in a server device connected to the specific vehicle 1 via a network.
  • the storage device may be provided in a server device connected to a security camera system such as a roadside unit or a parking lot via a network.
  • the information processing apparatus 10 extracts a region including a license plate as a target region for super-resolution processing and performs super-resolution processing.
  • the target of super-resolution processing is not limited to license plates, and super-resolution processing may be performed on other objects.
  • the information processing apparatus 10 may extract a region including a road sign as a target region for super-resolution processing and perform super-resolution processing.
  • a road sign is located at a high position, such as on a support, and close to the road shoulder. Therefore, in the rectangular environmental image, there is a high possibility that the road sign will appear in the upper left quarter area when driving in the left lane, and in the upper right quarter area when driving in the right lane.
  • the information processing apparatus 10 may use such areas in the environmental image that appear frequently as candidate areas.
  • the information processing apparatus 10 does not constantly and regularly detect the candidate area (step S101) as in the present embodiment, but rather an area in the environment image that appears frequently (for example, upper right 1 /4 area) may always be treated as a candidate area.
  • the information processing apparatus 10 may extract a region including road signs from the candidate regions as a target region for super-resolution processing, and perform super-resolution processing.
  • the information processing apparatus 10 may extract a region including the parking frame of the parking lot as a target region for super-resolution processing and perform super-resolution processing.
  • the information processing device 10 may perform super-resolution processing on the parking frame and determine whether or not the parking space is empty. This technology can be applied to an automatic parking function when the specific vehicle 1 is an automatic driving vehicle.
  • the information processing device 10 controls the vehicle 1 (which may be referred to as a specific vehicle) and neighboring vehicles (the same driving lane as the specific vehicle 1 or an adjacent vehicle). (vehicles running in the lane). Specifically, the information processing device 10 determines the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle, and calculates the distance from the vehicle 1 to the neighboring vehicle based on the determined size. Vehicles come in various sizes, but the size of the license plate and/or the size of characters on the license plate are uniformly defined by standards. Therefore, the distance from the vehicle 1 to the neighboring vehicle can be calculated by detecting the size of the license plate and/or the size of characters on the license plate of the neighboring vehicle.
  • the size of the license plate and/or the size of the letters on the license plate are smaller than the size of the back of the car body. For this reason, it may be difficult to extract the license plate and/or license plate characters from the environmental image and accurately calculate the size of a distant vehicle or, depending on the weather and time of day, a relatively nearby vehicle.
  • a method of performing super-resolution processing on the entire environmental image is conceivable.
  • a technique of generating a high-resolution image by synthesizing a plurality of time-series low-resolution images and a technique of generating a high-resolution image from one low-resolution image by deep learning are known.
  • both the method of synthesizing in time series and the method using deep learning require a huge amount of computation for super-resolution processing. Therefore, in the field of in-vehicle sensing cameras, which require real-time processing of a large number of recognition algorithms, it is difficult to apply super-resolution to the entire environmental image in terms of processing load and processing speed.
  • the information processing apparatus 10 extracts the minimum area including only the license plate as much as possible from the environment image, instead of the entire environment image, and performs super-resolution processing. do. This makes it possible to suppress an increase in processing load and suppress a decrease in processing speed.
  • the information processing apparatus 10 does not extract all license plates as target areas for super-resolution processing, but rather neighboring vehicles (vehicles traveling in the same lane as the specific vehicle 1 or adjacent lanes). license plate is extracted as a target area for super-resolution processing.
  • the vehicle 1 does not perform automatic braking or the like directly due to a vehicle traveling in a lane distant from the adjacent lane (distant vehicle).
  • the vehicle 1 executes automatic braking or the like directly caused by the distant vehicle after the distant vehicle moves into the adjacent lane and becomes a neighboring vehicle. Therefore, there is no need to perform super-resolution processing on license plates of distant vehicles. As a result, it is possible to further suppress an increase in processing load and a decrease in processing speed.
  • the information processing apparatus 10 does not extract license plates of all nearby vehicles as target areas for super-resolution processing, but rather extracts the license plates of relatively distant nearby vehicles through super-resolution processing. is extracted as the target region of This is because the license plates of nearby vehicles at relatively close range are relatively sharp in the environment image. Therefore, there is a high possibility that the license plate can be accurately extracted from the relatively low-resolution environmental image without super-resolution processing. As a result, it is possible to further suppress an increase in processing load and a decrease in processing speed.
  • the information processing apparatus 10 variably sets the distance threshold for extracting the target area from the candidate areas based on the environmental information (weather, illuminance and/or luminance). As a result, the information processing apparatus 10 performs super-resolution processing on the license plates of nearby vehicles relatively close to the vehicle 1 in a scene where the image quality of the environment image is estimated to be low (nighttime, rainy weather, etc.). On the other hand, the information processing apparatus 10 does not perform super-resolution processing on the license plates of nearby vehicles relatively close to the vehicle 1 in scenes where the image quality of the environment image is estimated to be high (daytime, fine weather, etc.). This ensures the safety of scenes where the image quality of the environment is estimated to be low, while suppressing the increase in processing load and the decrease in processing speed in scenes where the image quality of the environment image is estimated to be high. becomes possible.
  • the environmental information weather, illuminance and/or luminance
  • the present disclosure may have the following configurations.
  • a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device;
  • a target region extraction unit that extracts a target region that is a target of super-resolution processing from the candidate region;
  • a super-resolution processing unit that generates a super-resolution image by performing super-resolution processing on the target region;
  • An information processing device comprising: (2) The information processing device according to (1) above, The target region extraction unit is determining whether the distance to the object is greater than or equal to a threshold; An information processing apparatus that extracts the target area from the candidate areas when it is determined that the distance is equal to or greater than the threshold.
  • the threshold is variable, The target area extracting unit sets the threshold value based on environmental information around the imaging device. Information processing device. (4) The information processing device according to (3) above, The information processing device, wherein the environmental information indicates weather, illuminance and/or brightness. (5) The information processing device according to (3) or (4) above, The target region extraction unit is setting a first threshold as the threshold when the image quality of the environmental image is estimated to be low based on the environmental information; When the image quality is not estimated to be low, the information processing apparatus sets a second threshold larger than the first threshold as the threshold.
  • the object is at least part of a vehicle;
  • the information processing device, wherein the target area includes a license plate of the vehicle.
  • the information processing device according to any one of (1) to (5) above The information processing device, wherein the target area includes license plates of neighboring vehicles that are vehicles traveling in the same lane as the specific vehicle or adjacent lanes.
  • the information processing device according to (7) above The information processing apparatus, wherein the target area extracting unit determines whether a distance from the specific vehicle to the neighboring vehicle is equal to or greater than the threshold as the distance to the object.
  • a license plate determination unit that determines the size of the license plate of the neighboring vehicle and/or the size of characters on the license plate based on the super-resolution image generated by the super-resolution processing unit; a distance calculation unit that calculates the distance between the specific vehicle and the neighboring vehicle based on the size;
  • An information processing device further comprising: (10) The information processing device according to any one of (7) to (9) above, When the target region extracting unit determines that the distance to the object is less than the threshold value, the target region extracting unit does not extract the target region from the candidate regions, The license plate determination unit determines the size of the license plate of the neighboring vehicle and/or the size of characters on the license plate, which are included in the candidate area; The information processing device, wherein the distance calculation unit calculates a distance between the specific vehicle and the neighboring vehicle based on the size.
  • the candidate area detection includes periodically detecting the candidate area at a first timing, The information processing apparatus, wherein the target region extracting unit periodically extracts the target region at a second timing that is lower in frequency than the first timing. (12) The information processing device according to (11) above, The information processing apparatus, wherein the super-resolution processing unit periodically generates the super-resolution image at the second timing. (13) The information processing device according to any one of (1) to (12) above, The information processing device, wherein the imaging device is a monocular camera. (14) The information processing device according to any one of (7) to (10) above, The specific vehicle includes the information processing device and the imaging device.
  • the information processing device according to (14) above, The information processing device, wherein the specific vehicle is an automatic driving vehicle. (16) The information processing device according to any one of (1) to (13) above, The information processing device and the imaging device are provided in a roadside unit. (17) Detecting a candidate area containing a specific object from an environmental image acquired by an imaging device, extracting a target region to be super-resolution processed from the candidate region; An information processing method for generating a super-resolution image by subjecting the target region to super-resolution processing.
  • the processor of the information processing device a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device;
  • a target region extraction unit that extracts a target region that is a target of super-resolution processing from the candidate region;
  • a super-resolution processing unit that generates a super-resolution image by performing super-resolution processing on the target region;
  • Information processing program a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device.
  • the processor of the information processing device a candidate area detection unit that detects a candidate area containing a specific object from the environment image acquired by the imaging device;
  • a target region extraction unit that extracts a target region that is a target of super-resolution processing from the candidate region;
  • a super-resolution processing unit that generates a super-resolution image by performing super-resolution processing on the target region;
  • a non-transitory computer-readable recording medium for recording an information processing program operated as a non-transitory computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】正確に且つ低負荷で道路を走行する車両同士の距離を算出する。 【解決手段】情報処理装置は、撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、を具備する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、道路を走行する車両同士の距離を算出する情報処理装置、情報処理方法及び情報処理プログラムに関する。
　先進運転支援システム（ADAS：Advanced Driver-Assistance Systems）における車両の安全性の要求の高まりや自動運転車両技術の発展に伴い、道路を走行する車両同士の距離や位置関係を測定する技術が探求されている。
特開２００９－４９９７９号公報 特開２０２０－７２４５７号公報
　道路を走行する車両同士の距離や位置関係を測定する技術は、正確に且つ低負荷で情報処理することが望ましい。
　以上のような事情に鑑み、本開示の目的は、正確に且つ低負荷で道路を走行する車両同士の距離を算出する技術を提供することにある。
　本開示の一形態に係る情報処理装置は、
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
　を具備する。
　環境画像から特定のオブジェクトを抽出してサイズを正確に算出するために、環境画像の全体を超解像処理する方法が考えられる。しかしながら、超解像処理の演算量は膨大であり、処理負荷及び処理速度の問題がある。これに対して、本実施形態では、情報処理装置は、環境画像の全体ではなく、環境画像から対象領域を抽出し、超解像処理する。これにより、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記対象領域抽出部は、
　　前記オブジェクトまでの距離が閾値以上であるか否かを判断し、
　　前記距離が前記閾値以上であると判断すると、前記候補領域から前記対象領域を抽出してもよい。
　本実施形態では、情報処理装置は、比較的遠距離のオブジェクトを超解像処理の対象領域として抽出する。何故なら、比較的近距離のオブジェクトは、環境画像中比較的鮮明である。このためため、超解像処理しなくても、比較的低解像度の環境画像から、オブジェクトを正確に抽出できる可能性が高いためである。これにより、さらに、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記閾値は、可変であり、
　前記対象領域抽出部は、前記撮像装置の周囲の環境情報に基づいて、前記閾値を設定してもよい。
　本実施形態では、情報処理装置は、環境情報に基づいて、候補領域から対象領域を抽出するための距離の閾値を可変に設定する。これにより、情報処理装置は、環境画像の画質が低いと推定されるシーンの安全性を担保し、一方で、環境画像の画質が高いと推定されるシーンでは、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記環境情報は、天候、照度及び／又は輝度を示してもよい。
　本実施形態では、情報処理装置は、環境画像の画質が低いと推定されるシーンで（夜間、雨天等）の安全性を担保し、一方で、環境画像の画質が高いと推定されるシーンでは（昼間、晴天等）、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記対象領域抽出部は、
　　前記環境情報に基づき前記環境画像の画質が低いと推定される場合、前記閾値として第１の閾値を設定し、
　　前記画質が低いと推定されない場合、前記閾値として前記第１の閾値より大きい第２の閾値を設定してもよい。
　本実施形態では、情報処理装置は、環境情報に基づいて、候補領域から対象領域を抽出するための距離の閾値を可変に設定する。これにより、情報処理装置は、環境画像の画質が低いと推定されるシーンでは、比較的近いオブジェクトを超解像処理する。一方、情報処理装置は、環境画像の画質が高いと推定されるシーンでは、比較的近いオブジェクトを超解像処理しない。これにより、環境画像の画質が低いと推定されるシーンの安全性を担保し、一方で、環境画像の画質が高いと推定されるシーンでは、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記オブジェクトは、車両の少なくとも一部であり、
　前記対象領域は、前記車両のナンバープレートを含んでもよい。
　ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、車体背面のサイズに比べて小さい。このため、遠方の車両や、天候や時間帯によっては比較的近くの車両も、環境画像からナンバープレート及び／又はナンバープレートの文字を抽出してサイズを正確に算出するのが難しい場合がある。これに対して、本実施形態では、情報処理装置は、環境画像の全体ではなく、環境画像から、可能な限りナンバープレートのみを含む最小限の領域を対象領域として抽出し、超解像処理する。これにより、処理負荷の上昇を抑え、処理速度の低下を抑えつつ、ナンバープレート及び／又はナンバープレートの文字を抽出してサイズを正確に算出することが可能になる。
　前記対象領域は、特定車両と同じ走行車線又は隣接車線を走行する車両である近隣車両のナンバープレートを含んでもよい。
　本実施形態では、情報処理装置は、全てのナンバープレートを超解像処理の対象領域として抽出するのではなく、近隣車両のナンバープレートを超解像処理の対象領域として抽出する。何故なら、隣接車線より離れた車線を走行する車両（遠方車両）を直接的な原因として車両が自動ブレーキ等を実行することは無い。言い換えれば、遠方車両を直接的な原因として車両が自動ブレーキ等を実行するのは、遠方車両が隣接車線に移動して来て、近隣車両になってからである。このため、遠方車両のナンバープレートを超解像処理する必要が無い。これにより、さらに、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記対象領域抽出部は、前記オブジェクトまでの距離として、前記特定車両から前記近隣車両までの距離が前記閾値以上であるか否かを判断してもよい。
　情報処理装置は、特定車両と近隣車両との距離を算出することで、自動運転を実行するため又は非自動運転で自動ブレーキ等を実行することができる。
　前記超解像処理部が生成した超解像画像に基づき、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断するナンバープレート判断部と、
　前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出する距離算出部と、
　をさらに具備してもよい。
　情報処理装置は、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを判断し、判断したサイズに基づき、車両から近隣車両までの距離を算出する。車両のサイズは各種まちまちであるが、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、規格で一律に定められている。このため、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを検出すれば、車両から近隣車両までの距離を算出することができる。
　前記対象領域抽出部は、前記オブジェクトまでの距離が前記閾値未満であると判断すると、前記候補領域から前記対象領域を抽出せず、
　前記ナンバープレート判断部は、前記候補領域に含まれる、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断し、
　前記距離算出部は、前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出してもよい。
　本実施形態では、情報処理装置は、全ての近隣車両のナンバープレートを超解像処理の対象領域として抽出するのではなく、比較的遠距離の近隣車両のナンバープレートを超解像処理の対象領域として抽出する。何故なら、比較的近距離の近隣車両のナンバープレートは、環境画像中比較的鮮明である。このためため、超解像処理しなくても、比較的低解像度の環境画像から、ナンバープレートを正確に抽出できる可能性が高いためである。これにより、さらに、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記候補領域検出は、第１のタイミングで定期的に前記候補領域を検出し、
　前記対象領域抽出部は、前記第１のタイミングより低頻度である第２のタイミングで定期的に前記対象領域を抽出してもよい。
　対象領域抽出部が、比較的低頻度の第２のタイミングで定期的に対象領域を検出することで、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記超解像処理部は、前記第２のタイミングで定期的に前記超解像画像を生成してもよい。
　超解像処理部が、比較的低頻度の第２のタイミングで定期的に超解像処理を実行することで、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　前記撮像装置は、単眼カメラでもよい。
　単眼カメラはステレオカメラ等に比べて低性能だが、必要な対象領域を超解像処理することで、処理負荷の低い単眼カメラの環境画像を使用しながらも、距離算出の正確性を高めることを図れる。
　前記特定車両は、前記情報処理装置及び前記撮像装置を有してもよい。
　本実施形態は、特定車両の前方や近隣を走行する近隣車両までの距離や位置関係を測定することができるので、先進運転支援システムにおける車両の安全性の要求の高まりに貢献できる。
　前記特定車両は、自動運転車両でもよい。
　本実施形態は、特定車両の前方や近隣を走行する近隣車両までの距離や位置関係を測定することができるので、自動運転に貢献できる。
　前記情報処理装置及び前記撮像装置は、ロードサイドユニットに設けられてもよい。
　本実施形態では、ロードサイドユニットの撮像装置が、特定車両及び近隣車両を撮影して環境画像を取得し、ロードサイドユニットの情報処理装置が環境画像から特定車両及び近隣車両の距離を算出すればよい。現場での事故の検証などの安全目的としてデータを利用することができる。また、先進運転支援システムにおける車両の安全性の要求の高まりや自動運転に貢献できる。
　本開示の一形態に係る情報処理方法は、
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出し、
　前記候補領域から、超解像処理の対象である対象領域を抽出し、
　前記対象領域を超解像処理することにより、超解像画像を生成する。
　本開示の一形態に係る情報処理プログラムは、
　情報処理装置のプロセッサを、
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
　として動作させる。
本開示の一実施形態に係る情報処理装置の機能的構成を示す。 情報処理装置の動作フローを示す。 環境画像から検出される候補領域の一例を模式的に示す。 環境画像から検出される候補領域の別の一例を模式的に示す。 第１の閾値及び第２の閾値を説明するための図である。 候補領域検出部、対象領域抽出部及び超解像処理部の処理タイミングを模式的に示す。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　１．情報処理装置の機能的構成
　図１は、本開示の一実施形態に係る情報処理装置の機能的構成を示す。
　情報処理装置１０は、例えば、車両１に搭載される。車両は、自動運転車両でもよいし、非自動運転車両でもよい。車両１は、少なくとも撮像装置１１を有し、さらに、レーダ装置１２（Radar：Radio Detecting and Ranging）及び／又はライダ装置１３（LiDAR：Light Detection and Ranging）を有してもよい。
　撮像装置１１は、例えば、単眼カメラであるが、その他のカメラ（ステレオカメラ等）でもよい。撮像装置１１は、常時、車両１の前方の環境を撮影して環境画像を取得する。以下の説明において、車両１の前方の環境とは、車両１が道路を走行している場合、車両１が走行する走行車線、走行車線に隣接する隣接車線（中央分離帯の存在しない対向車線及び／又は同一走行方向車線）、さらに別の車線、歩道、道路上の車両や歩行者、建造物等を含む環境を意味する。
　レーダ装置１２は、電波を射出し、反射した電波を受信するまでの時間を計測し、車両１の前方の環境に存在する物体（車両等）までの距離や方向を測定し、色調や関数で表現された測距情報を常時生成する。
　ライダ装置１３は、レーザ光を射出し、反射したレーザ光を受信するまでの時間を計測し、車両１の前方の環境に存在する物体（車両等）までの距離や方向を測定し、色調や関数で表現された測距情報を常時生成する。
　情報処理装置１０は、ＣＰＵ（プロセッサ）がＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、候補領域検出部１１０、対象領域抽出部１２０、超解像処理部１３０、ナンバープレート判断部１４０及び距離算出部１５０として動作する。
　情報処理装置１０は、自動運転を実行するため又は非自動運転で自動ブレーキ等を実行するため、車両１（特定車両と称することがある）と、近隣車両（特定車両１と同じ走行車線又は隣接車線を走行する車両）との距離を算出する。具体的には、情報処理装置１０は、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを判断し、判断したサイズに基づき、車両１から近隣車両までの距離を算出する。車両のサイズは各種まちまちであるが、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、規格で一律に定められている。このため、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを検出すれば、車両１から近隣車両までの距離を算出することができる。
　一方、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、車体背面のサイズに比べて小さい。このため、遠方の車両や、天候や時間帯によっては比較的近くの車両も、環境画像からナンバープレート及び／又はナンバープレートの文字を抽出してサイズを正確に算出するのが難しい場合がある。
　以上のような事情に鑑み、本実施形態の情報処理装置１０は、車両１と近隣車両との距離を、正確に且つ低負荷に算出することを図る。
　２．情報処理装置の動作フロー
　図２は、情報処理装置の動作フローを示す。
　候補領域検出部１１０は、撮像装置１１が常時取得する環境画像を取得する。候補領域検出部１１０は、環境画像から、候補領域を検出する（ステップＳ１０１）。なお、車両１がレーダ装置１２及び／又はライダ装置１３を有する場合には、候補領域検出部１１０は、レーダ装置１２及び／又はライダ装置１３が常時生成する測距情報をさらに取得する。候補領域検出部１１０は、環境画像と測距情報とをフュージョンすることにより、精度良く、環境画像から候補領域を検出する。
　候補領域は、特定のオブジェクトを含む領域である。特定のオブジェクトは、車両の少なくとも一部を含む。例えば、特定のオブジェクトは、車両全体でもよいし、車両のナンバープレートでもよいし、車両の他の一部（ヘッドランプ、テールランプ、ウィングミラー等）でもよい。候補領域検出部１１０は、第１のタイミングで定期的に候補領域を検出する。
　図３は、環境画像から検出される候補領域の一例を模式的に示す。
　候補領域検出部１１０は、環境画像２００から、候補領域２１０、２２０を検出する。候補領域２１０、２２０は、それぞれ、車両２１１、２２１を含む。候補領域２１０、２２０は、それぞれ、車両２１１、２２１を含む矩形の領域である。なお、候補領域検出部１１０は、車両の位置や距離に関係なく、環境画像２００から、車両を含む候補領域を全て抽出する。具体的には、候補領域検出部１１０は、車両１が走行する走行車線、走行車線に隣接する隣接車線（中央分離帯の存在しない対向車線及び／又は同一走行方向車線）、さらに別の車線を走行する車両を含む候補領域を全て抽出する。
　対象領域抽出部１２０は、候補領域から、対象領域（ROI：Region of Interest）を抽出する（ステップＳ１０２乃至ステップＳ１０８）。対象領域は、車両のナンバープレートを含む。より具体的には、対象領域抽出部１２０は、候補領域から、車両のナンバープレートをエッジ検出により抽出し、抽出した領域を対象領域として扱う。言い換えれば、対象領域は、可能な限りナンバープレートのみを含む最小限の領域である。対象領域とは、超解像処理の対象となる領域である。超解像処理とは、低解像度画像から高解像度画像を生成する技術である。例えば、時系列的に連続する複数の低解像度画像を合成して高解像度画像を生成する技術や、ディープラーニングにより１個の低解像度画像から高解像度画像を生成する技術が知られている。対象領域抽出部１２０は、第２のタイミングで定期的に対象領域を検出する。第２のタイミングは、第１のタイミングより低頻度である。以下、対象領域抽出部１２０が対象領域を抽出する手法を具体的に説明する。
　対象領域抽出部１２０は、候補領域に含まれる車両が、特定車両１と同じ走行車線又は隣接車線を走行する車両（近隣車両と称する）であるか否かを判断する（ステップＳ１０２）。
　図４は、環境画像から検出される候補領域の別の一例を模式的に示す。
　具体的には、対象領域抽出部１２０は、公知の画像解析技術を用いて、環境画像３００から車線Ｌ１、Ｌ２、Ｌ３を抽出し、抽出した車線Ｌ１、Ｌ２、Ｌ３に対する候補領域３１０、３２０に含まれる車両３１１，３２１の位置関係や距離を判断する。候補領域３１０に含まれる車両３１１が、特定車両１に対して近隣車両でない場合、例えば、特定車両１の走行する走行車線Ｌ３に隣接する隣接車線Ｌ２より離れた車線Ｌ１を走行する車両３１１（遠方車両３１１と称する）である場合、この遠方車両３１１を直接的な原因として特定車両１が自動ブレーキ等を実行することは無い。言い換えれば、遠方車両３１１を直接的な原因として特定車両１が自動ブレーキ等を実行するのは、遠方車両３１１が隣接車線Ｌ２に移動して来て、近隣車両になってからである。このため、特定車両１から遠方車両３１１までの距離を算出する必要は無い（ステップＳ１０２、ＮＯ）。一方、候補領域３２０に含まれる車両３２１が、特定車両１に対して近隣車両である場合、近隣車両３２１を直接的な原因として特定車両１が自動ブレーキ等を実行する可能性がある。このため、情報処理装置１０は、特定車両１から近隣車両３２１までの距離を算出する（ステップＳ１０２、ＹＥＳ）。なお、環境画像３００内の近隣車両３２１がナンバープレートを含まない場合（例えば、図４の右下の車両）、情報処理装置１０は、その他の方法で近隣車両３２１までの距離を算出してもよい。例えば、対象物の画像の下端の座標位置を基にした方法（遠近法の原理に基づき、画像下部に下端が存在するほど近い対象物で上部ほど遠方と判断する方法)、ライダ装置１３、レーダ装置１２を利用する方法が挙げられる。
　対象領域抽出部１２０は、撮像装置１１の周囲の環境情報（即ち、車両１の周囲の環境情報）を判断する。環境情報は、例えば、天候、照度及び／又は輝度を示す。具体的には、対象領域抽出部１２０は、現在の時間帯が昼間であるか否かを判断する（ステップＳ１０３）。例えば、対象領域抽出部１２０は、環境画像の照度及び／又は輝度に基づき現在の時間帯を判断してもよい。あるいは、対象領域抽出部１２０は、車両１に搭載された照度センサ及び／又は輝度センサの検出結果に基づき現在の時間帯を判断してもよい。あるいは、対象領域抽出部１２０は、補足的に、時計やタイマが示す実時刻に基づき現在の時間帯を判断してもよい。昼間であれば環境情報の画質が相対的に高いと推定され、一方、夕方や夜間であれば照度及び／又は輝度が不十分であり環境情報の画質が相対的に低いと推定される。なお、昼間の時刻でもトンネル走行中等、照度が低いケースもあるため、実時刻に基づく時間帯の判断は補足的に行うのがよい。
　対象領域抽出部１２０は、さらに、現在の天候が晴れであるか否かを判断する（ステップＳ１０４）。例えば、対象領域抽出部１２０は、環境画像の照度及び／又は輝度に基づき現在の天候を判断してもよい。あるいは、対象領域抽出部１２０は、車両１に搭載された照度センサ及び／又は輝度センサの検出結果に基づき現在の天候を判断してもよい。あるいは、対象領域抽出部１２０は、フロントガラス等に設置された振動センサ（レインセンサ）が降雨や降雪による振動を検出したかに基づき現在の天候を判断してもよい。晴天であれば環境情報の画質が相対的に高いと推定され、一方、雨天や雪であれば環境情報の画質が相対的に低いと推定される。
　図５は、第１の閾値及び第２の閾値を説明するための図である。
　（Ａ）に示す様に、対象領域抽出部１２０は、撮像装置１１の周囲の環境情報（即ち、車両１の周囲の環境情報）に基づいて、候補領域から対象領域を抽出するための距離の閾値を設定する。具体的には、対象領域抽出部１２０は、環境情報（天候、照度及び／又は輝度等）に基づき環境画像の画質が低いと推定されるシーンでは、距離の閾値として第１の閾値ＴＨ１を設定する（ステップＳ１０５）。環境画像の画質が低いと推定されるシーンとは、例えば、現在の時間帯が昼間でない（夕方や夜間である）場合（ステップＳ１０３、ＮＯ）、現在の天候が晴天でない（雨天や雪）である）場合（ステップＳ１０４、ＮＯ）である。第１の閾値ＴＨ１は、例えば、５ｍである。
　一方、（Ｂ）に示す様に、対象領域抽出部１２０は、環境情報（天候、照度及び／又は輝度等）に基づき環境画像の画質が低いと推定されない（相対的に高いと推定される）場合、距離の閾値として第２の閾値ＴＨ２を設定する（ステップＳ１０６）。環境画像の画質が高いと推定されるシーンとは、例えば、現在の時間帯が昼間である場合（ステップＳ１０３、ＹＥＳ）、現在の天候が晴天である場合（ステップＳ１０４、ＹＥＳ）である。第２の閾値ＴＨ２は、第１の閾値ＴＨ１より大きく、例えば、１５ｍである。即ち、閾値（第１の閾値ＴＨ１又は第２の閾値ＴＨ２）は、可変である。
　対象領域抽出部１２０は、車両１から、環境画像の候補領域に含まれる特定のオブジェクト（近隣車両）までの距離が、閾値（即ち、設定された第１の閾値ＴＨ１又は第２の閾値ＴＨ２）以上であるか否かを判断する（ステップＳ１０７）。言い換えれば、（Ａ）に示す様に、対象領域抽出部１２０は、環境画像の画質が低いと推定されるシーンでは、車両１から近隣車両までの距離が第１の閾値ＴＨ１以上であるか否か、即ち、近隣車両が第１の閾値ＴＨ１より遠くの超解像エリアＡ１を走行しているか否かを判断する。あるいは、（Ｂ）に示す様に、対象領域抽出部１２０は、環境画像の画質が高いと推定されるシーンでは、車両１から近隣車両までの距離が第２の閾値ＴＨ２以上であるか否か、即ち、近隣車両が第２の閾値ＴＨ２より遠くの超解像エリアＡ２を走行しているか否かを判断する。
　例えば、対象領域抽出部１２０は、候補領域である矩形のサイズに基づき、車両１から近隣車両までの距離を判断すればよい。図３の例では、候補領域２１０のサイズが小さければ車両１から近隣車両２１１まで遠距離であり、候補領域２２０のサイズが大きければ車両１から近隣車両２２１まで近距離である。なお、車両１から近隣車両までの距離は、候補領域である矩形のサイズだけでなく、遠近法における環境画像中の消失点や、レーダ装置１２及び／又はライダ装置１３が生成する測距情報にさらに基づきに基づき算出してもよい。
　対象領域抽出部１２０は、車両１から候補領域に含まれる特定のオブジェクト（近隣車両）までの距離が、閾値（即ち、設定された第１の閾値ＴＨ１又は第２の閾値ＴＨ２）以上である場合（ステップＳ１０７、ＹＥＳ）、その近隣車両を含む候補領域から、対象領域を抽出する（ステップＳ１０８）。対象領域は、近隣車両のナンバープレートを含む。対象領域とは、超解像処理の対象となる領域である。要するに、対象領域抽出部１２０は、車両１から比較的遠距離（閾値以上）を走行する近隣車両のナンバープレートを、超解像処理の対象とする。
　一方、対象領域抽出部１２０は、車両１から候補領域に含まれる特定のオブジェクト（近隣車両）までの距離が、閾値（即ち、設定された第１の閾値ＴＨ１又は第２の閾値ＴＨ２）未満である場合（ステップＳ１０７、ＮＯ）、候補領域から対象領域を抽出しない。要するに、対象領域抽出部１２０は、車両１から比較的近距離（閾値未満）を走行する近隣車両のナンバープレートを、超解像処理の対象としない。
　図３の例では、対象領域抽出部１２０は、小サイズの候補領域２１０に含まれる近隣車両２１１（即ち、遠距離を走行する車両２１１）から（ステップＳ１０７、ＹＥＳ）、ナンバープレート２１２を含む対象領域２１３を抽出する（ステップＳ１０８）。一方、対象領域抽出部１２０は、大サイズの候補領域２２０に含まれる近隣車両２２１（即ち、近距離を走行する車両２２１）から（ステップＳ１０７、ＮＯ）、ナンバープレート２２２を含む対象領域２２３を抽出しない。
　超解像処理部１３０は、環境画像の候補領域から抽出した対象領域（即ち、ナンバープレートを含む領域）を超解像処理することにより、超解像画像を生成する（ステップＳ１０９）。超解像処理とは、低解像度画像から高解像度画像を生成する技術である。超解像処理部１３０は、超解像処理として、例えば、時系列的に連続する複数の低解像度画像を合成して高解像度画像を生成する技術や、ディープラーニングにより１個の低解像度画像から高解像度画像を生成する技術を利用すればよい。超解像処理部１３０は、第２のタイミングで定期的に超解像処理を実行する。
　図６は、候補領域検出部、対象領域抽出部及び超解像処理部の処理タイミングを模式的に示す。
　上記の様に、候補領域検出部１１０は、第１のタイミングで定期的に候補領域を検出する（ステップＳ１０１）。対象領域抽出部１２０は、第２のタイミングで定期的に対象領域を検出する（ステップＳ１０２乃至ステップＳ１０８）。超解像処理部１３０は、第２のタイミングで定期的に超解像処理を実行する（ステップＳ１０９）。第２のタイミングは、第１のタイミングより低頻度である。例えば、第１のタイミングは３３ミリ秒毎であり、第２のタイミングは３３ミリ秒毎より低頻度の１００ミリ秒毎である。あるいは、第１のタイミングは３０ｆｐｓ（frames per second：フレーム毎秒）となるタイミングであり、第２のタイミングは３０ｆｐｓより低頻度の１０ｆｐｓとなるタイミングである。比較的低頻度の第２のタイミングで定期的に、対象領域抽出部１２０が対象領域を検出し、超解像処理部１３０が超解像処理を実行することで、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　ナンバープレート判断部１４０は、超解像処理部１３０が生成した超解像画像（ステップＳ１０９）から、公知の画像解析技術を用いて、近隣車両のナンバープレートを切り出し、さらに、ナンバープレートの文字を解析する。ナンバープレート判断部１４０は、ナンバープレート判断部１４０は、超解像処理部１３０に基づき、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを判断する（ステップＳ１１０）。
　あるいは、対象領域抽出部１２０が候補領域から対象領域を抽出しなかった場合は（ステップＳ１０７、ＮＯ）、ナンバープレート判断部１４０は、環境画像の候補領域から、公知の画像解析技術を用いて、近隣車両のナンバープレートを切り出し、さらに、ナンバープレートの文字を解析する。ナンバープレート判断部１４０は、候補領域に含まれる、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを判断する（ステップＳ１１０）。
　要するに、ナンバープレート判断部１４０は、遠距離の近隣車両の近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを、超解像画像から判断する。一方、ナンバープレート判断部１４０は、近距離の近隣車両の近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを、環境画像（超解像画像に比べて低解像度の画像）から判断する。
　距離算出部１５０は、ナンバープレート判断部１４０が判断したサイズ（ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズ）に基づき、特定車両１と近隣車両との距離を算出する（ステップＳ１１１）。
　３．変形例
　本実施形態では、車両１が、オンボードユニットとして、情報処理装置１０と、撮像装置１１と、レーダ装置１２及び／又はライダ装置１３とを有する。これに代えて、ロードサイドユニットが、情報処理装置１０と、撮像装置１１と、レーダ装置１２及び／又はライダ装置１３とを有してもよい。この場合、ロードサイドユニットの撮像装置１１が、特定車両１及び近隣車両を撮影して環境画像を取得し、ロードサイドユニットの情報処理装置１０が環境画像から特定車両１及び近隣車両の距離を算出すればよい。ロードサイドユニットに代えて、駐車場等に設置されたセキュリティカメラシステムにも応用可能である。
　超解像処理部１３０が生成した超解像画像（ステップＳ１０９）及び／又はナンバープレート判断部１４０が解析したナンバープレートの文字（ステップＳ１１０）を、撮像装置１１が常時取得する環境画像と関連付けて、不揮発性の記憶装置に記憶してもよい。本実施形態の様に、特定車両１が情報処理装置１０及び撮像装置１１を有する場合、特定車両１のドライブレコーダとしてデータを利用することができる。この場合、記憶装置は、特定車両１のローカル又は特定車両１とネットワークで接続されたサーバ装置に設けられればよい。変形例の様に、ロードサイドユニットや駐車場等のセキュリティカメラシステムが情報処理装置１０及び撮像装置１１を有する場合、現場での事故の検証などの安全目的としてデータを利用することができる。この場合、記憶装置は、ロードサイドユニットや駐車場等のセキュリティカメラシステムとネットワークで接続されたサーバ装置に設けられればよい。
　本実施形態では、情報処理装置１０は、超解像処理の対象である対象領域として、ナンバープレートを含む領域を抽出して超解像処理した。超解像処理の対象は、ナンバープレートに限定されず、他の対象物を超解像処理してもよい。例えば、情報処理装置１０は、超解像処理の対象である対象領域として、道路標識を含む領域を抽出して超解像処理してもよい。道路標識は、支柱の上など高い位置且つ路肩に近い位置にある。このため、矩形の環境画像中、左車線走行の場合は左上１／４の領域に、右車線走行の場合は右上１／４の領域に、道路標識が出現する可能性が高い。情報処理装置１０は、この様に出現頻度の高い環境画像中の領域を候補領域としてもよい。言い換えれば、情報処理装置１０は、本実施形態の様に常時定期的に候補領域を検出する（ステップＳ１０１）のではなく、環境画像中の出現頻度の高い環境画像中の領域（例えば、右上１／４の領域）を常に候補領域として扱ってもよい。この場合、情報処理装置１０は、この候補領域から、超解像処理の対象である対象領域として、道路標識を含む領域を抽出し、超解像処理すればよい。
　あるいは、情報処理装置１０は、超解像処理の対象である対象領域として、駐車場の駐車枠を含む領域を抽出して超解像処理してもよい。とりわけ、広い駐車場の場合、遠方の駐車枠の検出が困難である場合がある。情報処理装置１０は、駐車枠を超解像処理し、空車か否かを判断すればよい。この技術は、特定車両１が自動運転車両の場合、自動駐車機能に応用可能である。
　４．結語
　先進運転支援システム（ADAS：Advanced Driver-Assistance Systems）における車両の安全性の要求の高まりや自動運転車両技術の発展に伴い、道路を走行する車両同士の距離や位置関係を測定する技術が探求されている。
　情報処理装置１０は、自動運転を実行するため又は非自動運転で自動ブレーキ等を実行するため、車両１（特定車両と称することがある）と、近隣車両（特定車両１と同じ走行車線又は隣接車線を走行する車両）との距離を算出する。具体的には、情報処理装置１０は、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを判断し、判断したサイズに基づき、車両１から近隣車両までの距離を算出する。車両のサイズは各種まちまちであるが、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、規格で一律に定められている。このため、近隣車両のナンバープレートのサイズ及び／又はナンバープレートの文字のサイズを検出すれば、車両１から近隣車両までの距離を算出することができる。
　一方、ナンバープレートのサイズ及び／又はナンバープレートの文字のサイズは、車体背面のサイズに比べて小さい。このため、遠方の車両や、天候や時間帯によっては比較的近くの車両も、環境画像からナンバープレート及び／又はナンバープレートの文字を抽出してサイズを正確に算出するのが難しい場合がある。
　環境画像からナンバープレート及び／又はナンバープレートの文字を抽出してサイズを正確に算出するために、環境画像の全体を超解像処理する方法が考えられる。例えば、時系列的に連続する複数の低解像度画像を合成して高解像度画像を生成する技術や、ディープラーニングにより１個の低解像度画像から高解像度画像を生成する技術が知られている。しかしながら、時系列で合成する手法及びディープラーニングを用いる手法のいずれも、超解像処理の演算量が膨大である。このため、リアルタイムで多数の認識アルゴリムの処理が要求される車載センシングカメラ分野では、処理負荷及び処理速度の点から、環境画像の全体に対し超解像を適用することは難しい。
　これに対して、本実施形態では、情報処理装置１０は、環境画像の全体ではなく、環境画像から、可能な限りナンバープレートのみを含む最小限の領域を対象領域として抽出し、超解像処理する。これにより、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　さらに、本実施形態では、情報処理装置１０は、全てのナンバープレートを超解像処理の対象領域として抽出するのではなく、近隣車両（特定車両１と同じ走行車線又は隣接車線を走行する車両）のナンバープレートを超解像処理の対象領域として抽出する。何故なら、隣接車線より離れた車線を走行する車両（遠方車両）を直接的な原因として車両１が自動ブレーキ等を実行することは無い。言い換えれば、遠方車両を直接的な原因として車両１が自動ブレーキ等を実行するのは、遠方車両が隣接車線に移動して来て、近隣車両になってからである。このため、遠方車両のナンバープレートを超解像処理する必要が無い。これにより、さらに、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　さらに、本実施形態では、情報処理装置１０は、全ての近隣車両のナンバープレートを超解像処理の対象領域として抽出するのではなく、比較的遠距離の近隣車両のナンバープレートを超解像処理の対象領域として抽出する。何故なら、比較的近距離の近隣車両のナンバープレートは、環境画像中比較的鮮明である。このためため、超解像処理しなくても、比較的低解像度の環境画像から、ナンバープレートを正確に抽出できる可能性が高いためである。これにより、さらに、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　さらに、本実施形態では、情報処理装置１０は、環境情報（天候、照度及び／又は輝度）に基づいて、候補領域から対象領域を抽出するための距離の閾値を可変に設定する。これにより、情報処理装置１０は、環境画像の画質が低いと推定されるシーンでは（夜間、雨天等）、車両１から比較的近い近隣車両のナンバープレートを超解像処理する。一方、情報処理装置１０は、環境画像の画質が高いと推定されるシーンでは（昼間、晴天等）、車両１から比較的近い近隣車両のナンバープレートを超解像処理しない。これにより、環境画像の画質が低いと推定されるシーンの安全性を担保し、一方で、環境画像の画質が高いと推定されるシーンでは、処理負荷の上昇を抑え、処理速度の低下を抑えることが可能になる。
　本開示は、以下の各構成を有してもよい。
　（１）
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　前記対象領域抽出部は、
　　前記オブジェクトまでの距離が閾値以上であるか否かを判断し、
　　前記距離が前記閾値以上であると判断すると、前記候補領域から前記対象領域を抽出する
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　前記閾値は、可変であり、
　前記対象領域抽出部は、前記撮像装置の周囲の環境情報に基づいて、前記閾値を設定する
　情報処理装置。
　（４）
　上記（３）に記載の情報処理装置であって、
　前記環境情報は、天候、照度及び／又は輝度を示す
　情報処理装置。
　（５）
　上記（３）又は（４）に記載の情報処理装置であって、
　前記対象領域抽出部は、
　　前記環境情報に基づき前記環境画像の画質が低いと推定される場合、前記閾値として第１の閾値を設定し、
　　前記画質が低いと推定されない場合、前記閾値として前記第１の閾値より大きい第２の閾値を設定する
　情報処理装置。
　（６）
　上記（１）乃至（５）の何れかに記載の情報処理装置であって、
　前記オブジェクトは、車両の少なくとも一部であり、
　前記対象領域は、前記車両のナンバープレートを含む
　情報処理装置。
　（７）
　上記（１）乃至（５）の何れかに記載の情報処理装置であって、
　前記対象領域は、特定車両と同じ走行車線又は隣接車線を走行する車両である近隣車両のナンバープレートを含む
　情報処理装置。
　（８）
　上記（７）に記載の情報処理装置であって、
　前記対象領域抽出部は、前記オブジェクトまでの距離として、前記特定車両から前記近隣車両までの距離が前記閾値以上であるか否かを判断する
　情報処理装置。
　（９）
　上記（７）又は（８）に記載の情報処理装置であって、
　前記超解像処理部が生成した超解像画像に基づき、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断するナンバープレート判断部と、
　前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出する距離算出部と、
　をさらに具備する情報処理装置。
　（１０）
　上記（７）乃至（９）の何れかに記載の情報処理装置であって、
　前記対象領域抽出部は、前記オブジェクトまでの距離が前記閾値未満であると判断すると、前記候補領域から前記対象領域を抽出せず、
　前記ナンバープレート判断部は、前記候補領域に含まれる、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断し、
　前記距離算出部は、前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出する
　情報処理装置。
　（１１）
　上記（１）乃至（１０）の何れかに記載の情報処理装置であって、
　前記候補領域検出は、第１のタイミングで定期的に前記候補領域を検出し、
　前記対象領域抽出部は、前記第１のタイミングより低頻度である第２のタイミングで定期的に前記対象領域を抽出する
　情報処理装置。
　（１２）
　上記（１１）に記載の情報処理装置であって、
　前記超解像処理部は、前記第２のタイミングで定期的に前記超解像画像を生成する
　情報処理装置。
　（１３）
　上記（１）乃至（１２）の何れかに記載の情報処理装置であって、
　前記撮像装置は、単眼カメラである
　情報処理装置。
　（１４）
　上記（７）乃至（１０）の何れかに記載の情報処理装置であって、
　前記特定車両は、前記情報処理装置及び前記撮像装置を有する
　情報処理装置。
　（１５）
　上記（１４）に記載の情報処理装置であって、
　前記特定車両は、自動運転車両である
　情報処理装置。
　（１６）
　上記（１）乃至（１３）の何れかに記載の情報処理装置であって、
　前記情報処理装置及び前記撮像装置は、ロードサイドユニットに設けられる
　情報処理装置。
　（１７）
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出し、
　前記候補領域から、超解像処理の対象である対象領域を抽出し、
　前記対象領域を超解像処理することにより、超解像画像を生成する
　情報処理方法。
　（１８）
　情報処理装置のプロセッサを、
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
　として動作させる
　情報処理プログラム。
　（１９）
　情報処理装置のプロセッサを、
　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
　として動作させる
　情報処理プログラムを記録する
　非一過性のコンピュータ読み取り可能な記録媒体。
　本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　１　車両
　１０　情報処理装置
　１１　撮像装置
　１１０　候補領域検出部
　１２　レーダ装置
　１２０　対象領域抽出部
　１３　ライダ装置
　１３０　超解像処理部
　１４０　ナンバープレート判断部
　１５０　距離算出部

Claims (18)

  1. 　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
    　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
    　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記対象領域抽出部は、
    　　前記オブジェクトまでの距離が閾値以上であるか否かを判断し、
    　　前記距離が前記閾値以上であると判断すると、前記候補領域から前記対象領域を抽出する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記閾値は、可変であり、
    　前記対象領域抽出部は、前記撮像装置の周囲の環境情報に基づいて、前記閾値を設定する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記環境情報は、天候、照度及び／又は輝度を示す
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、
    　前記対象領域抽出部は、
    　　前記環境情報に基づき前記環境画像の画質が低いと推定される場合、前記閾値として第１の閾値を設定し、
    　　前記画質が低いと推定されない場合、前記閾値として前記第１の閾値より大きい第２の閾値を設定する
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記オブジェクトは、車両の少なくとも一部であり、
    　前記対象領域は、前記車両のナンバープレートを含む
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記対象領域は、特定車両と同じ走行車線又は隣接車線を走行する車両である近隣車両のナンバープレートを含む
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記対象領域抽出部は、前記オブジェクトまでの距離として、前記特定車両から前記近隣車両までの距離が前記閾値以上であるか否かを判断する
    　情報処理装置。
  9. 　請求項７に記載の情報処理装置であって、
    　前記超解像処理部が生成した超解像画像に基づき、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断するナンバープレート判断部と、
    　前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出する距離算出部と、
    　をさらに具備する情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記対象領域抽出部は、前記オブジェクトまでの距離が前記閾値未満であると判断すると、前記候補領域から前記対象領域を抽出せず、
    　前記ナンバープレート判断部は、前記候補領域に含まれる、前記近隣車両の前記ナンバープレートのサイズ及び／又は前記ナンバープレートの文字のサイズを判断し、
    　前記距離算出部は、前記サイズに基づき、前記特定車両と前記近隣車両との距離を算出する
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記候補領域検出は、第１のタイミングで定期的に前記候補領域を検出し、
    　前記対象領域抽出部は、前記第１のタイミングより低頻度である第２のタイミングで定期的に前記対象領域を抽出する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記超解像処理部は、前記第２のタイミングで定期的に前記超解像画像を生成する
    　情報処理装置。
  13. 　請求項１に記載の情報処理装置であって、
    　前記撮像装置は、単眼カメラである
    　情報処理装置。
  14. 　請求項７に記載の情報処理装置であって、
    　前記特定車両は、前記情報処理装置及び前記撮像装置を有する
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記特定車両は、自動運転車両である
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、
    　前記情報処理装置及び前記撮像装置は、ロードサイドユニットに設けられる
    　情報処理装置。
  17. 　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出し、
    　前記候補領域から、超解像処理の対象である対象領域を抽出し、
    　前記対象領域を超解像処理することにより、超解像画像を生成する
    　情報処理方法。
  18. 　情報処理装置のプロセッサを、
    　撮像装置が取得した環境画像から、特定のオブジェクトを含む候補領域を検出する候補領域検出部と、
    　前記候補領域から、超解像処理の対象である対象領域を抽出する対象領域抽出部と、
    　前記対象領域を超解像処理することにより、超解像画像を生成する超解像処理部と、
    　として動作させる
    　情報処理プログラム。
PCT/JP2022/005882 2021-03-31 2022-02-15 情報処理装置、情報処理方法及び情報処理プログラム WO2022209373A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023510620A JPWO2022209373A1 (ja) 2021-03-31 2022-02-15

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-060547 2021-03-31
JP2021060547 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022209373A1 true WO2022209373A1 (ja) 2022-10-06

Family

ID=83458776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005882 WO2022209373A1 (ja) 2021-03-31 2022-02-15 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2022209373A1 (ja)
WO (1) WO2022209373A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019589A (ja) * 2008-07-08 2010-01-28 Toyota Motor Corp 車間距離検出装置、ドライブレコーダ装置
JP2012063869A (ja) * 2010-09-14 2012-03-29 Nippon Signal Co Ltd:The ナンバープレート読み取り装置
JP2015232765A (ja) * 2014-06-09 2015-12-24 住友電気工業株式会社 画像生成装置、コンピュータプログラム及び画像生成方法
JP2017021787A (ja) * 2015-07-14 2017-01-26 パナソニックＩｐマネジメント株式会社 識別媒体認識装置および識別媒体認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019589A (ja) * 2008-07-08 2010-01-28 Toyota Motor Corp 車間距離検出装置、ドライブレコーダ装置
JP2012063869A (ja) * 2010-09-14 2012-03-29 Nippon Signal Co Ltd:The ナンバープレート読み取り装置
JP2015232765A (ja) * 2014-06-09 2015-12-24 住友電気工業株式会社 画像生成装置、コンピュータプログラム及び画像生成方法
JP2017021787A (ja) * 2015-07-14 2017-01-26 パナソニックＩｐマネジメント株式会社 識別媒体認識装置および識別媒体認識方法

Also Published As

Publication number Publication date
JPWO2022209373A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
US9836657B2 (en) System and method for periodic lane marker identification and tracking
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US10147002B2 (en) Method and apparatus for determining a road condition
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
JP5892876B2 (ja) 車載用環境認識装置
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US8180561B2 (en) Vehicle-installation obstacle detection apparatus
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
JP6082802B2 (ja) 物体検知装置
RU2017109073A (ru) Обнаружение и прогнозирование движения пешеходов с помощью обращенной назад камеры
US20100098297A1 (en) Clear path detection using segmentation-based method
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
WO2003001473A1 (en) Vision-based collision threat detection system_
CN105825185A (zh) 车辆防碰撞预警方法及装置
US11436839B2 (en) Systems and methods of detecting moving obstacles
Lin et al. Lane departure and front collision warning using a single camera
KR20190059894A (ko) 카메라 영상에서 대상의 감지
KR20080004832A (ko) 차량 검출 방법 및 장치
CN111145569A (zh) 一种道路监测、车辆行驶控制方法、装置及车路协同系统
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
KR20080004833A (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
KR20150145685A (ko) 위치정보를 이용한 제동대상 인식 장치 및 그 방법
JP2013134609A (ja) 縁石検出装置及びプログラム
WO2022209373A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779600

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551364

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023510620

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779600

Country of ref document: EP

Kind code of ref document: A1