WO2023007776A1 - 画像処理装置及び画像処理システム - Google Patents

画像処理装置及び画像処理システム Download PDF

Info

Publication number
WO2023007776A1
WO2023007776A1 PCT/JP2022/004663 JP2022004663W WO2023007776A1 WO 2023007776 A1 WO2023007776 A1 WO 2023007776A1 JP 2022004663 W JP2022004663 W JP 2022004663W WO 2023007776 A1 WO2023007776 A1 WO 2023007776A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
imaging device
processing unit
recognition target
processing system
Prior art date
Application number
PCT/JP2022/004663
Other languages
English (en)
French (fr)
Inventor
耕太 入江
寛知 齋
貴清 安川
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112022001075.4T priority Critical patent/DE112022001075T5/de
Priority to CN202280028085.7A priority patent/CN117136552A/zh
Priority to JP2023538219A priority patent/JP7500881B2/ja
Priority to US18/565,413 priority patent/US20240265693A1/en
Publication of WO2023007776A1 publication Critical patent/WO2023007776A1/ja
Priority to JP2024091082A priority patent/JP2024107104A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to an image processing device and an image processing system, and more particularly to an image processing device and an image processing system suitable for being mounted on a vehicle.
  • Patent Literature 1 discloses an outdoor camera and an indoor camera that are installed separately in the vertical direction, an image processing device, and a first image captured by the outdoor camera and at least a part of the imaging range of the first image. receiving a second image captured by an indoor camera included in the second image, and determining whether the first image or the second image is abnormal based on the common portion in the imaging range of the first image and the second image. Then, in the technique disclosed in Patent Document 1, when an abnormality occurs in either one of the outdoor camera and the indoor camera, the abnormal attachment of foreign matter or fogging is removed.
  • the present invention provides an image processing apparatus and an image processing system that can ensure redundancy and perform control even when the imaging apparatus itself fails or malfunctions.
  • an image processing apparatus provides a first image pickup apparatus and a second image pickup apparatus which is installed vertically away from the first image pickup apparatus to view the outside world from the interior of a vehicle through a window glass.
  • an image processing device for recognizing a recognition target based on image data captured by a second imaging device, wherein the first image processing recognizes a first recognition target based on the image data of the first imaging device and a second image processing unit that recognizes a second recognition target different from the first recognition target based on image data of the first imaging device and the second imaging device,
  • the first recognition target is recognized by the second image processing unit when a predetermined condition is satisfied.
  • an image processing system for recognizing a recognition target by capturing an image of the outside world through a window glass from a vehicle interior, comprising: a first imaging device; a second imaging device vertically spaced apart from the device; a first image processing unit electrically connected to at least the first imaging device; a second image processing unit electrically connected to an imaging device, wherein the first image processing unit recognizes a first recognition target based on image data of the first imaging device; The second image processing unit recognizes a second recognition target different from the first recognition target based on the image data of the first imaging device and the second imaging device, is characterized in that the first recognition target is recognized by the second image processing unit.
  • FIG. 1A and 1B are a front view and a side view of a vehicle equipped with an image processing system according to an embodiment of the present invention
  • FIG. 1 is an overall schematic configuration diagram of an image processing system of Example 1 according to an embodiment of the present invention
  • FIG. 2 is a functional block diagram of an image processing device that configures the image processing system according to the first embodiment
  • FIG. 1 is a bird's-eye view showing an example of a vehicle equipped with the image processing system according to the first embodiment existing at an intersection with a traffic light
  • 5 is a flow chart showing a processing flow of an image processing apparatus that constitutes the image processing system according to the first embodiment
  • 8 is a flow chart showing another processing flow of the image processing apparatus according to the first embodiment
  • FIG. 1 is an overall schematic configuration diagram of an image processing system of Example 1 according to an embodiment of the present invention
  • FIG. 2 is a functional block diagram of an image processing device that configures the image processing system according to the first embodiment
  • FIG. 1 is a bird's-eye view showing an
  • FIG. 10 is a general schematic configuration diagram showing a modification of the image processing system according to the first embodiment; 8 is a functional block diagram of the image processing apparatus shown in FIG. 7; FIG. FIG. 10 is a diagram showing an example of wiper positions in retraction mode in Example 2 according to another example of the present invention; FIG. 11 is a diagram showing another example of the wiper position in the retraction mode of the second embodiment; FIG. 11 is a diagram showing another example of the wiper position in the retraction mode of the second embodiment; It is a figure which shows the wiper position at the time of normal mode.
  • FIG. 1 is a front view and a side view of a vehicle equipped with an image processing system according to one embodiment of the present invention.
  • the image processing system according to the present invention includes a first imaging device 2a installed above a windowpane (windshield) 6, and an imaging device 2a installed below the windowpane (windshield) 6. and a second image pickup device 2 b and an image processing device 3 .
  • the second imaging device 2b is vertically spaced apart from the first imaging device 2a.
  • FOV Field Of View
  • FOV Field Of View
  • the second imaging device 2b can easily recognize a distant object (picture a distant object).
  • the FOV of the first imaging device 2a and the FOV of the second imaging device 2b may be the same.
  • the first imaging device 2a and the second imaging device 2b are realized by, for example, a camera, a CCD (Charge Coupled Device), an image sensor, or the like. Further, as shown in the side view of FIG. 1, the first imaging device 2a and the second imaging device 2b are electrically connected to the image processing device 3 via signal lines.
  • the signal line may be wired or wireless.
  • FIG. 2 is an overall schematic configuration diagram of an image processing system of Example 1 according to one embodiment of the present invention.
  • the image processing system 1 includes a first imaging device 2a, a second imaging device 2b, and an image processing device 3.
  • the image processing device 3 includes a first image processing unit 3a having a recognition function for basic ADAS (Advanced Driver-Assistance Systems) and an advanced ADAS/ADS (Automated Driving System: AD ) is provided with a second image processing unit 3b having a recognition function.
  • the first imaging device 2a is electrically connected to a first image processing section 3a and a second image processing section 3b, which constitute the image processing device 3, via signal lines.
  • the second imaging device 2b is electrically connected to the first image processing section 3a and the second image processing section 3b, which constitute the image processing device 3, via signal lines.
  • the output of the first image processing section 3 a forming the image processing device 3 and the output of the second image processing section 3 b forming the image processing device 3 are input to the vehicle control section 4 .
  • the first image processing section 3a and the second image processing section 3b are configured to be able to communicate with each other.
  • FIG. 3 is a functional block diagram of the image processing device 3 that constitutes the image processing system 1 according to this embodiment.
  • the first image processing unit 3a constituting the image processing device 3 includes an input I/F 11a, a preprocessing unit 12a, a first object recognition unit 13a, an output I/F 14a, a database 15a, and a communication It consists of an I/F 16a, which can communicate (data transfer) with each other via an internal bus 17a.
  • the preprocessing unit 12a and the first object recognition unit 13a include, for example, a processor such as a CPU (not shown), a ROM that stores various programs, a RAM that temporarily stores data in the calculation process, and a memory such as an external storage device.
  • a processor such as a CPU reads out various programs stored in a ROM and executes them, and stores the calculation results, which are the execution results, in a RAM or an external storage device.
  • the first image processing unit 3a is desirably mounted in, for example, one ECU (Electronic Control Unit).
  • the input I/F 11a acquires image data of 30 frames or 60 frames per second from the first imaging device 2a and the second imaging device 2b. Note that the number of frames per second is not limited to this.
  • the input I/F 11a can determine that the first imaging device 2a is defective when image data is not acquired from the first imaging device 2a. Similarly, when image data is not acquired from the second imaging device 2b, it can be determined that the second imaging device 2b is defective.
  • the input I/F 11a transfers the image data acquired from the first imaging device 2a to the preprocessing section 12a via the internal bus 17a.
  • the preprocessing unit 12a performs edge enhancement processing, smoothing processing, normalization processing, or the like on image data from the first imaging device 2a transferred from the input I/F 11a.
  • the image data obtained by the first imaging device 2a is effective in normalization processing because the brightness varies depending on the imaging time zone, the weather, or the like.
  • the preprocessing unit 12a can determine that the first imaging device 2a is defective when the luminance of the image data obtained by the first imaging device 2a is clearly abnormal and normalization processing is difficult.
  • the preprocessing unit 12a transfers the preprocessed image data to the first object recognition unit 13a via the internal bus 17a.
  • the first object recognition unit 13a recognizes the first recognition target from the preprocessed image data transferred from the preprocessing unit 12a using a CNN (Convolution Neural Network) such as U-Net.
  • the first recognition target is, for example, a lane, a vehicle, a two-wheeled vehicle, a pedestrian, or the like.
  • the configuration is not limited to using CNN.
  • template matching processing may be performed using data stored in a database 15a, which will be described later. good.
  • the first object recognition unit 13a receives the lane recognition result, the vehicle recognition result, the two-wheeled vehicle recognition result, the pedestrian recognition result, etc.
  • the database 15a pre-stores data on lanes, vehicles, motorcycles, pedestrians, and the like.
  • the second image processing unit 3b constituting the image processing device 3 includes an input I/F 11b, a preprocessing unit 12b, a first object recognition unit 13b, an output I/F 14b, a database 15b, It is composed of a communication I/F 16b, a second object recognition section 18b, and a database 19b, which can communicate (data transfer) with each other via an internal bus 17b.
  • the preprocessing unit 12b, the first object recognition unit 13b, and the second object recognition unit 18b include, for example, a processor such as a CPU (not shown), a ROM that stores various programs, and temporarily stores data of the calculation process.
  • a processor such as a CPU reads and executes various programs stored in a ROM, and stores the results of execution in a RAM or an external storage device.
  • the second image processing unit 3b is desirably mounted in one ECU, for example.
  • the input I/F 11b acquires image data of 30 frames or 60 frames per second from the first imaging device 2a and the second imaging device 2b. Note that the number of frames per second is not limited to this.
  • the input I/F 11b can determine that the first imaging device 2a is defective when image data is not acquired from the first imaging device 2a. Similarly, when image data is not acquired from the second imaging device 2b, it can be determined that the second imaging device 2b is defective.
  • the input I/F 11b transfers the image data acquired from the first imaging device 2a and the second imaging device 2b to the preprocessing section 12b via the internal bus 17b.
  • the preprocessing unit 12b performs edge enhancement processing, smoothing processing, normalization processing, or the like on the image data by the first imaging device 2a and the image data by the second imaging device 2b transferred from the input I/F 11b. Apply.
  • the image data obtained by the first image pickup device 2a and the second image pickup device 2b are effective in normalization processing because the brightness varies depending on the image pickup time period or the weather.
  • the preprocessing unit 12b uses the first imaging device 2a or the second imaging device 2b It can be determined that the imaging device 2b is defective.
  • the preprocessing unit 12b transfers image data obtained by the first imaging device 2a, which is image data after preprocessing, to the first object recognition unit 13b via the internal bus 17b. Also, the image data obtained by the second imaging device 2b, which is the image data after preprocessing, is transferred to the second object recognition section 18b via the internal bus 17b. Since the first object recognition unit 13b is the same as the first object recognition unit 13a, description thereof is omitted here. The first object recognition unit 13b operates when the first imaging device 2a or the first image processing unit 3a, which will be described later, fails.
  • the second object recognition unit 18b recognizes the second recognition object from the image data obtained by the second imaging device 2b, which is the image data after the preprocessing transferred from the preprocessing unit 12b, by using a CNN (Convolution Neural Network) such as U-Net. ).
  • the second recognition target includes, for example, any one of the display state of a traffic light, a road sign, a free space, a 3D sensing distance, and the like.
  • the free space means an area in which the own vehicle can move. In other words, it means an area where there are no obstacles to the movement of the own vehicle.
  • the 3D sensing distance means that three-dimensional information can be obtained by stereoscopic viewing using the first imaging device 2a and the second imaging device 2b, and the distance between the target object (for example, a traffic light, etc.) and the own vehicle. It is the distance between and can be measured with higher accuracy.
  • the configuration is not limited to using CNN.
  • template matching processing may be performed using data stored in a database 19b, which will be described later. good.
  • the second object recognition unit 18b transmits signal recognition results, road sign recognition results, free space recognition results, 3D sensing distance recognition results, etc. as the recognition results of the second recognition target via the internal bus 17b and the output I/F 14b. is output to the vehicle control unit 4 and used to execute advanced ADAS/AD functions.
  • the database 19b pre-stores data necessary for recognizing display states of traffic lights, road signs, free spaces, 3D sensing distances, and the like.
  • the communication I/F 16b and the communication I/F 16a constituting the first image processing unit 3a described above mutually transmit and receive monitoring signals at predetermined intervals to detect an abnormality on the counterpart side. That is, although the monitoring signal was transmitted from the communication I/F 16b constituting the second image processing unit 3b to the communication I/F 16a constituting the first image processing unit 3a, the first image processing unit 3a If no response signal is transmitted from the communication I/F 16a that constitutes the first image processing unit 3a, it is determined that the first image processing unit 3a is defective.
  • the second image processing unit 3b is not transmitted from the communication I/F 16b constituting the second image processing unit 3b, it is determined that the second image processing unit 3b is defective.
  • the case where the monitoring signals are mutually transmitted and received between the first image processing section 3a and the second image processing section 3b is described as an example, but the present invention is not limited to this.
  • the vehicle control unit 4 transmits monitoring signals to the first image processing unit 3a and the second image processing unit 3b, and response signals from the first image processing unit 3a and the second image processing unit 3b It may be determined that the first image processing section 3a or the second image processing section 3b is defective based on the presence or absence of reception.
  • FIG. 4 is a bird's-eye view showing an example in which a vehicle equipped with the image processing system 1 according to this embodiment is present at an intersection with a traffic light.
  • FIG. 4 shows a situation in which the own vehicle SV equipped with the image processing system 1 according to the present embodiment stops before the intersection because the display state of the traffic light 5 is "red".
  • the example shown in FIG. 4 shows the case where the FOV of the first image pickup device 2a and the FOV of the second image pickup device 2b are the same, and the two-wheeled vehicle as the first recognition target is positioned within the FOV as the own vehicle SV. The vehicle is stopped in front of the same lane (first recognition target), and another vehicle OV as the first recognition target is entering the intersection from the right side.
  • a traffic light 5 exists as a second recognition target within the FOV.
  • the second recognition target is an object having a predetermined height from the road surface, and the predetermined height is set to 3 m or 5 m, for example.
  • 3 m corresponds to the road sign (not shown) which is the second recognition target
  • 5 m corresponds to the height of the traffic signal 5 .
  • the predetermined height is not limited to 3m and 5m.
  • FIG. 5 is a flow chart showing the processing flow of the image processing device 3 that constitutes the image processing system 1 according to this embodiment.
  • step S110 the input I/F 11a of the first image processing unit 3a and the input I/F 11b of the second image processing unit 3b constituting the image processing device 3 are connected to the first imaging device 2a and the second imaging device. Image data is acquired from 2b.
  • step S111 it is determined whether or not the first imaging device 2a or the first image processing unit 3a is defective under a predetermined condition. Determination of whether or not the first imaging device 2a is defective is performed by the input I/F 11a and the preprocessing unit 12a that constitute the first image processing unit 3a, or the second image processing unit 3b, as described above. The input I/F 11b and the preprocessing unit 12b determine. Whether the first image processing unit 3a is defective or not is determined by the communication I/F 16b constituting the second image processing unit 3b or the vehicle control unit 4 as described above. If the determination result satisfies the predetermined condition, the process proceeds to step S112, and if the determination result does not satisfy the predetermined condition, the process proceeds to step S116.
  • step S112 the mode is shifted to the degenerate mode.
  • step S113 the preprocessing unit 12b constituting the second image processing unit 3b performs the above-described preprocessing on the acquired image data from the second imaging device 2b, and the preprocessed image The data is transferred to the first object recognition section 13b via the internal bus 17b.
  • step S114 the second object recognition unit 18b that constitutes the second image processing unit 3b is stopped, and the first object recognition unit 13b recognizes the lane, vehicle, motorcycle, and pedestrian that are the first recognition targets. etc.
  • step S115 the first object recognition unit 13b constituting the second image processing unit 3b converts the lane recognition result, the vehicle recognition result, the two-wheeled vehicle recognition result, the pedestrian recognition result, etc. It outputs to the control unit 4 via the internal bus 17b and the output I/F 14b. This stops execution of advanced ADAS/AD functions, but is used to execute ADAS functions. That is, redundancy is ensured.
  • step S116 the preprocessing unit 12a constituting the first image processing unit 3a and the preprocessing unit 12b constituting the second image processing unit 3b perform The above-described preprocessing is performed on the image data from the imaging device 2b.
  • step S117 the first object recognition section 13a constituting the first image processing section 3a recognizes the first recognition target. That is, lanes, vehicles, two-wheeled vehicles, pedestrians, etc., which are the first recognition targets, are recognized.
  • step S118 the second object recognition section 18b constituting the second image processing section 3b recognizes the second recognition target. That is, the display state of traffic lights, road signs, free space, 3D sensing distance, etc., which are the second recognition targets, are recognized.
  • step S119 the first object recognition unit 13a constituting the first image processing unit 3a converts the lane recognition result, the vehicle recognition result, the motorcycle recognition result, the pedestrian recognition result, etc. It outputs to the control unit 4 via the internal bus 17a and the output I/F 14a.
  • the second object recognition unit 18b that constitutes the second image processing unit 3b outputs the signal recognition result, the road sign recognition result, the free space recognition result, the 3D sensing distance recognition result, etc. as the recognition result of the second recognition target.
  • step S118 is executed after step S117, but the present invention is not limited to this, and steps S117 and S118 may be executed in parallel.
  • FIG. 6 is a flowchart showing another processing flow of the image processing device 3 according to this embodiment.
  • step S110 the input I/F 11a of the first image processing unit 3a and the input I/F 11b of the second image processing unit 3b that constitute the image processing device 3 are connected to the first imaging device.
  • Image data is acquired from 2a and the second imaging device 2b.
  • step S211 it is determined whether or not the second imaging device 2b or the second image processing unit 3b is defective under a predetermined condition. Determination of whether or not the second imaging device 2b is defective is performed by the input I/F 11a and the preprocessing unit 12a that constitute the first image processing unit 3a, or the second image processing unit 3b, as described above. The input I/F 11b and the preprocessing unit 12b determine. Whether or not the second image processing unit 3b is defective is determined by the communication I/F 16a constituting the first image processing unit 3a or the vehicle control unit 4 as described above. If the determination result satisfies the predetermined condition, the process proceeds to step S112, and if the determination result does not satisfy the predetermined condition, the process proceeds to step S116.
  • step S112 the mode is shifted to the degenerate mode.
  • the preprocessing unit 12a constituting the first image processing unit 3a performs the above-described preprocessing on the acquired image data from the first imaging device 2a, and the preprocessed image The data is transferred to the first object recognition section 13a via the internal bus 17a.
  • step S214 the first object recognition unit 13a constituting the first image processing unit 3a recognizes the lane, vehicle, motorcycle, pedestrian, etc., which are the first recognition targets.
  • step S215 the first object recognition unit 13a constituting the first image processing unit 3a converts the lane recognition result, the vehicle recognition result, the motorcycle recognition result, the pedestrian recognition result, etc. It outputs to the control unit 4 via the internal bus 17a and the output I/F 14a. This stops execution of advanced ADAS/AD functions, but is used to execute ADAS functions. That is, redundancy is ensured.
  • step S116 the preprocessing unit 12a constituting the first image processing unit 3a and the preprocessing unit 12b constituting the second image processing unit 3b perform The above-described preprocessing is performed on the image data from the imaging device 2b.
  • step S117 the first object recognition section 13a constituting the first image processing section 3a recognizes the first recognition target. That is, lanes, vehicles, two-wheeled vehicles, pedestrians, etc., which are the first recognition targets, are recognized.
  • step S118 the second object recognition section 18b constituting the second image processing section 3b recognizes the second recognition target. That is, the display state of traffic lights, road signs, free space, 3D sensing distance, etc., which are the second recognition targets, are recognized.
  • step S119 the first object recognition unit 13a constituting the first image processing unit 3a converts the lane recognition result, the vehicle recognition result, the motorcycle recognition result, the pedestrian recognition result, etc. It outputs to the control unit 4 via the internal bus 17a and the output I/F 14a.
  • the second object recognition unit 18b that constitutes the second image processing unit 3b outputs the signal recognition result, the road sign recognition result, the free space recognition result, the 3D sensing distance recognition result, etc. as the recognition result of the second recognition target.
  • step S118 is executed after step S117, but the present invention is not limited to this, and steps S117 and S118 may be executed in parallel.
  • FIG. 7 is an overall schematic configuration diagram showing a modification of the image processing system according to this embodiment.
  • the image processing system 10 includes a first imaging device 2a, a second imaging device 2b, and an image processing device 3.
  • the image processing device 3 includes a first image processing section 3a having recognition functions for basic ADAS and a second image processing section 3b having recognition functions for advanced ADAS/ADS.
  • the first imaging device 2a is electrically connected to a first image processing section 3a and a second image processing section 3b, which constitute the image processing device 3, via signal lines.
  • the second imaging device 2b is electrically connected only to the second image processing section 3b constituting the image processing device 3 via a signal line. This point is different from the image processing system 1 shown in FIG.
  • the output of the first image processing section 3 a forming the image processing device 3 and the output of the second image processing section 3 b forming the image processing device 3 are input to the vehicle control section 4 .
  • FIG. 8 is a functional block diagram of the image processing device 3 shown in FIG.
  • the first image processing unit 3a constituting the image processing device 3 includes an input I/F 11a, a preprocessing unit 12a, a first object recognition unit 13a, an output I/F 14a, a database 15a, and a communication It consists of an I/F 16a, which can communicate (data transfer) with each other via an internal bus 17a.
  • the preprocessing unit 12a and the first object recognition unit 13a include, for example, a processor such as a CPU (not shown), a ROM that stores various programs, a RAM that temporarily stores data in the calculation process, and a memory such as an external storage device.
  • a processor such as a CPU reads out various programs stored in a ROM and executes them, and stores the calculation results, which are the execution results, in a RAM or an external storage device.
  • the first image processing unit 3a is desirably mounted in one ECU, for example.
  • the input I/F 11a acquires 30 or 60 frames of image data per second from the first imaging device 2a. Note that the number of frames per second is not limited to this.
  • the input I/F 11a can determine that the first imaging device 2a is defective when image data is not acquired from the first imaging device 2a.
  • the input I/F 11a transfers the image data acquired from the first imaging device 2a to the preprocessing section 12a via the internal bus 17a.
  • the preprocessing unit 12a performs edge enhancement processing, smoothing processing, normalization processing, or the like on image data from the first imaging device 2a transferred from the input I/F 11a.
  • the image data obtained by the first imaging device 2a is effective in normalization processing because the brightness varies depending on the imaging time zone, the weather, or the like.
  • the preprocessing unit 12a can determine that the first imaging device 2a is defective when the luminance of the image data obtained by the first imaging device 2a is clearly abnormal and normalization processing is difficult.
  • the preprocessing unit 12a transfers the preprocessed image data to the first object recognition unit 13a via the internal bus 17a.
  • the first object recognition unit 13a recognizes the first recognition target from the preprocessed image data transferred from the preprocessing unit 12a using a CNN such as U-Net.
  • the first recognition target is, for example, a lane, a vehicle, a two-wheeled vehicle, a pedestrian, or the like.
  • the configuration is not limited to using CNN.
  • template matching processing may be performed using data stored in a database 15a, which will be described later. good.
  • the first object recognition unit 13a receives the lane recognition result, the vehicle recognition result, the two-wheeled vehicle recognition result, the pedestrian recognition result, etc.
  • the database 15a pre-stores data on lanes, vehicles, motorcycles, pedestrians, and the like.
  • the input I/F 11a of the first image processing section 3a constituting the image processing device 3 acquires image data from the first imaging device 2a. Further, the input I/F 11b of the second image processing section 3b constituting the image processing device 3 acquires image data from the first imaging device 2a and the second imaging device 2b.
  • the preprocessing section 12a that constitutes the first image processing section 3a performs the above-described preprocessing on the acquired image data from the first imaging device 2a. Also, the preprocessing unit 12b that constitutes the second image processing unit 3b performs the above-described preprocessing on the acquired image data from the first imaging device 2a and the second imaging device 2b.
  • the input I/F 11a of the first image processing section 3a constituting the image processing device 3 acquires image data from the first imaging device 2a. Further, the input I/F 11b of the second image processing section 3b constituting the image processing device 3 acquires image data from the first imaging device 2a and the second imaging device 2b.
  • step S211 in FIG. 6 it is determined whether or not the second imaging device 2b or the second image processing unit 3b is defective under a predetermined condition.
  • the input I/F 11b and the preprocessing section 12b that constitute the second image processing section 3b determine whether or not the second imaging device 2b is defective.
  • the preprocessing section 12a constituting the first image processing section 3a performs the above-described preprocessing on the acquired image data from the first imaging device 2a. Also, the preprocessing unit 12b that constitutes the second image processing unit 3b performs the above-described preprocessing on the acquired image data from the first imaging device 2a and the second imaging device 2b.
  • the modified example differs from the image processing system 1 described above in that only the second image processing unit 3b determines whether or not the second imaging device 2b is defective.
  • FIGS. 9 to 11 show an example of the wiper position in the retraction mode of embodiment 2 according to another embodiment of the present invention.
  • a configuration is added in which the wiper is temporarily operated in the degenerate mode and stopped at a position that does not interfere with the FOV (field of view) of the second imaging device 2b. different from 1. Only the added points will be described below.
  • FIG. 12 is a diagram showing wiper positions in the normal mode. As shown in FIG. 12, there is concern that the lower portion of the FOV (field of view) of the second imaging device 2b is blocked by the wiper L52. As shown in the first embodiment described above, in the degenerate mode due to the failure of the first imaging device 2a, the image processing device 3 executes processing based on the image data obtained only from the second imaging device 2b. There must be. For that purpose, the FOV (field of view) of the second imaging device 2b must be made as wide as possible.
  • wiper R21 and wiper L22 are driven by one actuator and motor. 5 and 6 in the first embodiment, the wiper R21 and the wiper L22 temporarily operate synchronously, and the wiper R21 and the wiper L22 operate as shown in FIG. It stops at a position that sandwiches the second imaging device 2b and does not obstruct the FOV (field of view) of the second imaging device 2b.
  • FOV field of view
  • wiper R31 and wiper L32 are driven by one actuator and motor. 5 and 6 in the first embodiment, the wiper R31 and the wiper L32 temporarily operate in synchronization, and the wiper R31 and the wiper L32 operate as shown in FIG. Stop at the turn-around position of the reciprocating motion.
  • the wiper R41 and the wiper L42 are each provided with a motor. Therefore, when the retraction mode is entered, only one wiper, the wiper L42, is moved to a predetermined position and stopped. .
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • Reference Signs List 1 10 Image processing system 2a First imaging device 2b Second imaging device 3 Image processing device 3a First image processing unit 3b Second image processing unit 4 Vehicle control unit 5 Traffic light 6 Window glass (windshield) 11a, 11b Input I/F 12a, 12b Preprocessing unit 13a, 13b First object recognition unit 14a, 14b Output I /F, 15a, 15b... database, 16a, 16b... communication I/F, 17a, 17b... internal bus, 18b... second object recognition section, 19b... database, 21, 31, 41, 51... wiper R, 22, 32, 42, 52 Wiper L

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置自体が故障又は不調となった場合であっても、冗長性を確保し制御を行い得る画像処理装置及び画像処理システムを提供する。画像処理装置３は、車両の車室内から窓ガラス６を介して外界を第１の撮像装置２ａ及び第１の撮像装置２ａと鉛直方向に離間し設置された第２の撮像装置２ｂにて撮像された画像データに基づき、認識対象を認識するものであって、第１の撮像装置２ａの画像データに基づき第１の認識対象を認識する第１の画像処理部３ａ、及び第１の撮像装置２ａと第２の撮像装置２ｂの画像データに基づき第１の認識対象とは異なる第２の認識対象を認識する第２の画像処理部３ｂを有する。所定の条件が満たされた場合、第１の認識対象を第２の画像処理部３ｂで認識する。

Description

画像処理装置及び画像処理システム
　本発明は、画像処理装置及び画像処理システムに係り、特に車両に搭載するに好適な画像処理装置及び画像処理システムに関する。
　近年自動車の安全技術への関心が非常に高まっている。これを受け自動車関連企業などを中心にさまざまな予防安全システムが実用化されている。　
　例えば特許文献１には、鉛直方向に離間して設置された室外カメラ及び室内カメラと、画像処理装置を備え、室外カメラによる第１画像と、第１画像の撮像範囲の少なくとも一部を撮像範囲に含む室内カメラによる第２画像を受信し、第１画像と第２画像との撮像範囲における共通部分に基づいて、第１画像または第２画像の異常を判定する技術が開示されている。そして、特許文献１に開示される技術では、室外カメラ及び室内カメラのうちいずれか１つのカメラに異常が発生した場合に、当該異常である異物の付着或いは曇りを除去する。
特開２０１９―１２５９４２号公報
　しかしながら、特許文献１に開示される技術では、室外カメラ又は室内カメラ（撮像装置）自体が故障又は不調となった場合に冗長性を維持し制御を行う点については何ら考慮されていない。　
　そこで、本発明は、撮像装置自体が故障又は不調となった場合であっても、冗長性を確保し制御を行い得る画像処理装置及び画像処理システムを提供する。
　上記課題を解決するため、本発明に係る画像処理装置は、車両の車室内から窓ガラスを介して外界を第１の撮像装置及び前記第１の撮像装置と鉛直方向に離間し設置された第２の撮像装置にて撮像された画像データに基づき、認識対象を認識する画像処理装置であって、前記第１の撮像装置の画像データに基づき第１の認識対象を認識する第１の画像処理部と、前記第１の撮像装置及び前記第２の撮像装置の画像データに基づき前記第１の認識対象とは異なる第２の認識対象を認識する第２の画像処理部と、を有し、所定の条件が満たされた場合、前記第１の認識対象を前記第２の画像処理部で認識することを特徴とする。
　また、本発明に係る画像処理システムは、車両の車室内から窓ガラスを介して外界を撮像し、認識対象を認識する画像処理システムであって、第１の撮像装置と、前記第１の撮像装置と鉛直方向に離間し設置された第２の撮像装置と、少なくとも前記第１の撮像装置に電気的に接続された第１の画像処理部と、前記第１の撮像装置及び前記第２の撮像装置に電気的に接続された第２の画像処理部と、を有し、前記第１の画像処理部は、前記第１の撮像装置の画像データに基づき第１の認識対象を認識し、前記第２の画像処理部は、前記第１の撮像装置及び前記第２の撮像装置の画像データに基づき前記第１の認識対象とは異なる第２の認識対象を認識し、所定の条件が満たされた場合、前記第１の認識対象を前記第２の画像処理部で認識することを特徴とする。
　本発明によれば、撮像装置自体が故障又は不調となった場合であっても、冗長性を確保し制御を行い得る画像処理装置及び画像処理システムを提供することが可能となる。　
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施形態に係る画像処理システムを搭載した車両の正面図及び側面図である。 本発明の一実施例に係る実施例１の画像処理システムの全体概略構成図である。 実施例１に係る画像処理システムを構成する画像処理装置の機能ブロック図である。 実施例１に係る画像処理システムを搭載した車両が信号機の有る交差点に存在する場合の一例を示す俯瞰図である。 実施例１に係る画像処理システムを構成する画像処理装置の処理フローを示すフローチャートである。 実施例１に係る画像処理装置の他の処理フローを示すフローチャートである。 実施例１に係る画像処理システムの変形例を示す全体概略構成図である。 図７に示す画像処理装置の機能ブロック図である。 本発明の他の実施例に係る実施例２の縮退モード時のワイパー位置の一例を示す図である。 実施例２の縮退モード時のワイパー位置の他の一例を示す図である。 実施例２の縮退モード時のワイパー位置の他の一例を示す図である。 通常モード時のワイパー位置を示す図である。
　図１は、本発明の一実施形態に係る画像処理システムを搭載した車両の正面図及び側面図である。図１の側面図に示すように、本発明に係る画像処理システムは、窓ガラス（ウィンドシールド）６の上部に設置された第１の撮像装置２ａ、窓ガラス（ウィンドシールド）６の下部に設置された第２の撮像装置２ｂ、及び、画像処理装置３から構成される。図１の正面図に示すように、第２の撮像装置２ｂは鉛直方向に第１の撮像装置２ａと離間して設置されている。ここで、第１の撮像装置２ａのＦＯＶ（Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ：視野）よりも第２の撮像装置２ｂのＦＯＶを狭くすることが望ましい。これは、第２の撮像装置２ｂがより遠方の物体を認識（遠方を撮像）し易くするなるためである。但しこれに限らず、第１の撮像装置２ａのＦＯＶと第２の撮像装置２ｂのＦＯＶを同一としても良い。第１の撮像装置２ａ及び第２の撮像装置２ｂは、例えば、カメラ、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、又はイメージセンサ等で実現される。また、図１の側面図に示すように、第１の撮像装置２ａと第２の撮像装置２ｂは、それぞれ信号線を介して画像処理装置３に電気的に接続されている。なお、信号線は有線或いは無線を問わない。　
　以下、図面を用いて本発明の実施例について説明する。
　[画像処理システム１の構成]　
　図２は、本発明の一実施例に係る実施例１の画像処理システムの全体概略構成図である。図２に示すように、画像処理システム１は、第１の撮像装置２ａ、第２の撮像装置２ｂ、及び画像処理装置３より構成される。画像処理装置３は、基本ＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍｓ：先進運転支援システム）向け認識機能を有する第１の画像処理部３ａと、高度ＡＤＡＳ／ＡＤＳ（　Ａｕｔｏｍａｔｅｄ　Ｄｒｉｖｉｎｇ　Ｓｙｓｔｅｍ：自動運転システム、以下ではＡＤと称する）向け認識機能を有する第２の画像処理部３ｂを備える。第１の撮像装置２ａは、画像処理装置３を構成する第１の画像処理部３ａ及び第２の画像処理部３ｂと信号線を介して電気的に接続されている。同様に、第２の撮像装置２ｂは、画像処理装置３を構成する第１の画像処理部３ａ及び第２の画像処理部３ｂと信号線を介して電気的に接続されている。画像処理装置３を構成する第１の画像処理部３ａの出力及び画像処理装置３を構成する第２の画像処理部３ｂの出力は、車両制御部４へ入力される。詳細後述するが、第１の画像処理部３ａと第２の画像処理部３ｂは、相互に通信可能に構成されている。
　[画像処理装置３の構成]　
　図３は、本実施例に係る画像処理システム１を構成する画像処理装置３の機能ブロック図である。図３に示すように、画像処理装置３を構成する第１の画像処理部３ａは、入力Ｉ／Ｆ１１ａ、前処理部１２ａ、第１物体認識部１３ａ、出力Ｉ／Ｆ１４ａ、データベース１５ａ、及び通信Ｉ／Ｆ１６ａから構成され、これらは内部バス１７ａを介して相互に通信（データ転送）可能となっている。ここで、前処理部１２ａ及び第１物体認識部１３ａは、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置等の記憶装置にて実現されると共に、ＣＰＵ等のプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、第１の画像処理部３ａは、例えば、１つのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）に実装されることが望ましい。
　入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａと第２の撮像装置２ｂから、１秒間に３０フレーム又は６０フレームの画像データを取得する。なお、１秒間のフレーム数はこれに限られるものではない。入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａから画像データが取得されない場合、第１の撮像装置２ａが失陥であると判定できる。同様に、第２の撮像装置２ｂから画像データが取得されない場合、第２の撮像装置２ｂが失陥であると判定できる。入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａから取得した画像データを前処理部１２ａへ内部バス１７ａを介して転送する。
　前処理部１２ａは、例えば、入力Ｉ／Ｆ１１ａより転送された第１の撮像装置２ａによる画像データに対し、輪郭強調処理或いは平滑化処理又は正規化処理等を施す。第１の撮像装置２ａによる画像データは、撮像時間帯或いは天候等により輝度が変動するため正規化処理が有効となる。なお、前処理部１２ａは、第１の撮像装置２ａによる画像データの輝度が明らかに異常であり正規化処理が困難な場合、第１の撮像装置２ａが失陥であると判定できる。前処理部１２ａは、前処理後の画像データを第１物体認識部１３ａへ内部バス１７ａを介して転送する。
　第１物体認識部１３ａは、前処理部１２ａより転送された前処理後の画像データから第１の認識対象をＵ－Ｎｅｔ等のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて認識する。ここで、第１の認識対象とは、例えば、レーン、車両、二輪車、歩行者等である。なお、前処理後の画像データから第１の認識対象を認識するに際し、ＣＮＮを用いる形態に限らず、例えば、後述するデータベース１５ａに格納されたデータを用いてテンプレートマッチング処理を実行する構成としても良い。第１物体認識部１３ａは、第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を、内部バス１７ａ及び出力Ｉ／Ｆ１４ａを介して車両制御部４へ出力し、ＡＤＡＳ機能の実行に用いられる。　
　データベース１５ａは、レーン、車両、二輪車、歩行者等のデータが予め格納されている。
　また、図３に示すように、画像処理装置３を構成する第２の画像処理部３ｂは、入力Ｉ／Ｆ１１ｂ、前処理部１２ｂ、第１物体認識部１３ｂ、出力Ｉ／Ｆ１４ｂ、データベース１５ｂ、通信Ｉ／Ｆ１６ｂ、第２物体認識部１８ｂ、及びデータベース１９ｂから構成され、これらは内部バス１７ｂを介して相互に通信（データ転送）可能となっている。ここで、前処理部１２ｂ、第１物体認識部１３ｂ、及び第２物体認識部１８ｂは、例えば、図示しないＣＰＵ等のプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵ等のプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、第２の画像処理部３ｂは、例えば、１つのＥＣＵに実装されることが望ましい。
　入力Ｉ／Ｆ１１ｂは、第１の撮像装置２ａと第２の撮像装置２ｂから、１秒間に３０フレーム又は６０フレームの画像データを取得する。なお、１秒間のフレーム数はこれに限られるものではない。入力Ｉ／Ｆ１１ｂは、第１の撮像装置２ａから画像データが取得されない場合、第１の撮像装置２ａが失陥であると判定できる。同様に、第２の撮像装置２ｂから画像データが取得されない場合、第２の撮像装置２ｂが失陥であると判定できる。入力Ｉ／Ｆ１１ｂは、第１の撮像装置２ａ及び第２の撮像装置２ｂから取得した画像データを前処理部１２ｂへ内部バス１７ｂを介して転送する。
　前処理部１２ｂは、例えば、入力Ｉ／Ｆ１１ｂより転送された第１の撮像装置２ａによる画像データ及び第２の撮像装置２ｂによる画像データ対し、輪郭強調処理或いは平滑化処理又は正規化処理等を施す。第１の撮像装置２ａ及び第２の撮像装置２ｂによる画像データは、撮像時間帯或いは天候等により輝度が変動するため正規化処理が有効となる。なお、前処理部１２ｂは、第１の撮像装置２ａ又は第２の撮像装置２ｂによる画像データの輝度が明らかに異常であり正規化処理が困難な場合、第１の撮像装置２ａ又は第２の撮像装置２ｂが失陥であると判定できる。前処理部１２ｂは、前処理後の画像データである第１の撮像装置２ａによる画像データを第１物体認識部１３ｂへ内部バス１７ｂを介して転送する。また、前処理後の画像データである第２の撮像装置２ｂによる画像データを第２物体認識部１８ｂへ内部バス１７ｂを介して転送する。第１物体認識部１３ｂは、第１物体認識部１３ａと同様であるため、ここでは説明を省略する。なお、第１物体認識部１３ｂは、後述する第１の撮像装置２ａ又は第１の画像処理部３ａが失陥した場合に動作する。
　第２物体認識部１８ｂは、前処理部１２ｂより転送された前処理後の画像データである第２の撮像装置２ｂによる画像データから第２の認識対象をＵ－Ｎｅｔ等のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて認識する。ここで、第２の認識対象は、例えば、信号機の表示状態、道路標識、フリースペース、３Ｄセンシング距離等のいずれかを含む。ここで、フリースペースとは、自車両が移動できる領域を意味する。換言すれば、自車両の移動に際し障害となる物体がない領域を意味する。また、３Ｄセンシング距離とは、第１の撮像装置２ａと第２の撮像装置２ｂを用いてステレオ視することにより、３次元情報を得ることができ、対象物体（例えば、信号機等）と自車両との距離であり、より高精度に計測することが可能となる。なお、前処理後の画像データから第２の認識対象を認識するに際し、ＣＮＮを用いる形態に限らず、例えば、後述するデータベース１９ｂに格納されたデータを用いてテンプレートマッチング処理を実行する構成としても良い。第２物体認識部１８ｂは、第２の認識対象の認識結果として、信号認識結果、道路標識認識結果、フリースペース認識結果、３Ｄセンシング距離認識結果等を、内部バス１７ｂ及び出力Ｉ／Ｆ１４ｂを介して車両制御部４へ出力し、高度ＡＤＡＳ／ＡＤ機能の実行に用いられる。　
　データベース１９ｂは、信号機の表示状態、道路標識、フリースペース、３Ｄセンシング距離等を認識するために必要なデータが予め格納されている。
　通信Ｉ／Ｆ１６ｂは、上述の第１の画像処理部３ａを構成する通信Ｉ／Ｆ１６ａと、例えば、所定の周期でモニタリング信号を相互に送受信し、相手側の異常を検知する。すなわち、第２の画像処理部３ｂを構成する通信Ｉ／Ｆ１６ｂより、第１の画像処理部３ａを構成する通信Ｉ／Ｆ１６ａへモニタリング信号を送信したにもかかわらず、第１の画像処理部３ａを構成する通信Ｉ／Ｆ１６ａより応答信号の送信がない場合には、第１の画像処理部３ａが失陥であると判定する。一方、第１の画像処理部３ａを構成する通信Ｉ／Ｆ１６ａより、第２の画像処理部３ｂを構成する通信Ｉ／Ｆ１６ｂへモニタリング信号を送信したにもかかわらず、第２の画像処理部３ｂを構成する通信Ｉ／Ｆ１６ｂより応答信号の送信がない場合には、第２の画像処理部３ｂが失陥であると判定する。　
　なお、本実施例では、第１の画像処理部３ａ及び第２の画像処理部３ｂ間で相互にモニタリング信号を送受信する場合を一例として説明したがこれに限られるものではない。例えば、車両制御部４が、第１の画像処理部３ａ及び第２の画像処理部３ｂへモニタリング信号を送信し、第１の画像処理部３ａ及び第２の画像処理部３ｂからの応答信号の受信の有無により、第１の画像処理部３ａ又は第２の画像処理部３ｂが失陥であると判定する構成としても良い。
　図４は、本実施例に係る画像処理システム１を搭載した車両が信号機の有る交差点に存在する場合の一例を示す俯瞰図である。図４では、本実施例に係る画像処理システム１を搭載した自車両ＳＶが信号機５の表示状態が「赤」であるため交差点の手前にて停車している状況を示している。図４に示す例では、第１の撮像装置２ａのＦＯＶと第２の撮像装置２ｂのＦＯＶとが同一の場合を示しており、ＦＯＶ内に第１の認識対象としての二輪車が自車両ＳＶと同一のレーン（第１の認識対象）の前方に停車しており、第１の認識対象としての他車両ＯＶが右側より交差点内に侵入している。また、ＦＯＶ内に第２の認識対象としての信号機５が存在している。信号機５に代表されるように、第２の認識対象は、路面から所定の高さを有する物体であり、上記所定の高さとして例えば、３ｍ、５ｍが設定される。ここで３ｍは第２の認識対象である道路標識（図示せず）、５ｍは信号機５の高さに相当する。但し、所定の高さは、３ｍ、５ｍに限定されるものではない。
　[画像処理装置３の処理フロー]　
　次に、本実施例に係る画像処理装置３の具体的な処理動作について以下に説明する。図５は、本実施例に係る画像処理システム１を構成する画像処理装置３の処理フローを示すフローチャートである。
　ステップＳ１１０では、画像処理装置３を構成する第１の画像処理部３ａの入力Ｉ／Ｆ１１ａ及び第２の画像処理部３ｂの入力Ｉ／Ｆ１１ｂが、第１の撮像装置２ａ及び第２の撮像装置２ｂより画像データを取得する。
　ステップＳ１１１では、所定の条件、すなわち、第１の撮像装置２ａ又は第１の画像処理部３ａが失陥であるか否かを判定する。第１の撮像装置２ａが失陥か否かの判定は、上述の通り、第１の画像処理部３ａを構成する入力Ｉ／Ｆ１１ａ及び前処理部１２ａ若しくは、第２の画像処理部３ｂを構成する入力Ｉ／Ｆ１１ｂ及び前処理部１２ｂが判定する。また、第１の画像処理部３ａが失陥か否かの判定は、上述の通り第２の画像処理部３ｂを構成する通信Ｉ／Ｆ１６ｂ若しくは、車両制御部４が判定する。判定の結果が所定の条件を満たす場合には、ステップＳ１１２へ進み、一方、判定の結果が所定の条件を満たさない場合には、ステップＳ１１６へ進む。
　ステップＳ１１２では、縮退モードに移行する。そしてステップＳ１１３にて、第２の画像処理部３ｂを構成する前処理部１２ｂが、取得された第２の撮像装置２ｂからの画像データに対し上述の前処理を実行し、前処理後の画像データを第１物体認識部１３ｂへ内部バス１７ｂを介して転送する。　
　次にステップＳ１１４にて、第２の画像処理部３ｂを構成する第２物体認識部１８ｂが停止し、第１物体認識部１３ｂが第１の認識対象である、レーン、車両、二輪車、歩行者等を認識する。
　ステップＳ１１５では、第２の画像処理部３ｂを構成する第１物体認識部１３ｂが第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を車両制御部４へ内部バス１７ｂ及び出力Ｉ／Ｆ１４ｂを介して出力する。これにより、高度ＡＤＡＳ／ＡＤ機能の実行は停止されるものの、ＡＤＡＳ機能の実行に用いられる。すなわち、冗長性が確保される。
　一方、ステップＳ１１６では、第１の画像処理部３ａを構成する前処理部１２ａ及び第２の画像処理部３ｂを構成する前処理部１２ｂが、取得された第１の撮像装置２ａ及び第２の撮像装置２ｂからの画像データに対し上述の前処理を実行する。　
　ステップＳ１１７では、第１の画像処理部３ａを構成する第１物体認識部１３ａが、第１の認識対象を認識する。すなわち、第１の認識対象である、レーン、車両、二輪車、歩行者等を認識する。
　ステップＳ１１８では、第２の画像処理部３ｂを構成する第２物体認識部１８ｂが、第２の認識対象を認識する。すなわち、第２の認識対象である、信号機の表示状態、道路標識、フリースペース、３Ｄセンシング距離等を認識する。　
　ステップＳ１１９では、第１の画像処理部３ａを構成する第１物体認識部１３ａが第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を車両制御部４へ内部バス１７ａ及び出力Ｉ／Ｆ１４ａを介して出力する。また、第２の画像処理部３ｂを構成する第２物体認識部１８ｂが第２の認識対象の認識結果として、信号認識結果、道路標識認識結果、フリースペース認識結果、３Ｄセンシング距離認識結果等を車両制御部４へ内部バス１７ｂ及び出力Ｉ／Ｆ１４ｂを介し出力する。これにより、高度ＡＤＡＳ／ＡＤ機能及びＡＤＡＳ機能の実行に用いられる。　
　本実施例では、ステップＳ１１７の後にステップＳ１１８を実行する構成としたがこれに限られず、ステップＳ１１７及びステップＳ１１８を並列に実行しても良い。
　図６は、本実施例に係る画像処理装置３の他の処理フローを示すフローチャートである。図６に示すように、ステップＳ１１０では、画像処理装置３を構成する第１の画像処理部３ａの入力Ｉ／Ｆ１１ａ及び第２の画像処理部３ｂの入力Ｉ／Ｆ１１ｂが、第１の撮像装置２ａ及び第２の撮像装置２ｂより画像データを取得する。
　ステップＳ２１１では、所定の条件、すなわち、第２の撮像装置２ｂ又は第２の画像処理部３ｂが失陥であるか否かを判定する。第２の撮像装置２ｂが失陥か否かの判定は、上述の通り、第１の画像処理部３ａを構成する入力Ｉ／Ｆ１１ａ及び前処理部１２ａ若しくは、第２の画像処理部３ｂを構成する入力Ｉ／Ｆ１１ｂ及び前処理部１２ｂが判定する。また、第２の画像処理部３ｂが失陥か否かの判定は、上述の通り第１の画像処理部３ａを構成する通信Ｉ／Ｆ１６ａ若しくは、車両制御部４が判定する。判定の結果が所定の条件を満たす場合には、ステップＳ１１２へ進み、一方、判定の結果が所定の条件を満たさない場合には、ステップＳ１１６へ進む。
　ステップＳ１１２では、縮退モードに移行する。そしてステップＳ２１３にて、第１の画像処理部３ａを構成する前処理部１２ａが、取得された第１の撮像装置２ａからの画像データに対し上述の前処理を実行し、前処理後の画像データを第１物体認識部１３ａへ内部バス１７ａを介して転送する。　
　次にステップＳ２１４にて、第１の画像処理部３ａを構成する第１物体認識部１３ａが第１の認識対象である、レーン、車両、二輪車、歩行者等を認識する。
　ステップＳ２１５では、第１の画像処理部３ａを構成する第１物体認識部１３ａが第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を車両制御部４へ内部バス１７ａ及び出力Ｉ／Ｆ１４ａを介して出力する。これにより、高度ＡＤＡＳ／ＡＤ機能の実行は停止されるものの、ＡＤＡＳ機能の実行に用いられる。すなわち、冗長性が確保される。
　一方、ステップＳ１１６では、第１の画像処理部３ａを構成する前処理部１２ａ及び第２の画像処理部３ｂを構成する前処理部１２ｂが、取得された第１の撮像装置２ａ及び第２の撮像装置２ｂからの画像データに対し上述の前処理を実行する。　
　ステップＳ１１７では、第１の画像処理部３ａを構成する第１物体認識部１３ａが、第１の認識対象を認識する。すなわち、第１の認識対象である、レーン、車両、二輪車、歩行者等を認識する。
　ステップＳ１１８では、第２の画像処理部３ｂを構成する第２物体認識部１８ｂが、第２の認識対象を認識する。すなわち、第２の認識対象である、信号機の表示状態、道路標識、フリースペース、３Ｄセンシング距離等を認識する。　
　ステップＳ１１９では、第１の画像処理部３ａを構成する第１物体認識部１３ａが第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を車両制御部４へ内部バス１７ａ及び出力Ｉ／Ｆ１４ａを介して出力する。また、第２の画像処理部３ｂを構成する第２物体認識部１８ｂが第２の認識対象の認識結果として、信号認識結果、道路標識認識結果、フリースペース認識結果、３Ｄセンシング距離認識結果等を車両制御部４へ内部バス１７ｂ及び出力Ｉ／Ｆ１４ｂを介し出力する。これにより、高度ＡＤＡＳ／ＡＤ機能及びＡＤＡＳ機能の実行に用いられる。　
　本実施例では、ステップＳ１１７の後にステップＳ１１８を実行する構成としたがこれに限られず、ステップＳ１１７及びステップＳ１１８を並列に実行しても良い。
　＜画像処理システムの変形例＞　
　図７は、本実施例に係る画像処理システムの変形例を示す全体概略構成図である。図７に示すように、画像処理システム１０は、第１の撮像装置２ａ、第２の撮像装置２ｂ、及び画像処理装置３より構成される。画像処理装置３は、基本ＡＤＡＳ向け認識機能を有する第１の画像処理部３ａと、高度ＡＤＡＳ／ＡＤＳ向け認識機能を有する第２の画像処理部３ｂを備える。第１の撮像装置２ａは、画像処理装置３を構成する第１の画像処理部３ａ及び第２の画像処理部３ｂと信号線を介して電気的に接続されている。これに対し、第２の撮像装置２ｂは、画像処理装置３を構成する第２の画像処理部３ｂのみと信号線を介して電気的に接続されている。この点が上述の図２に示した画像処理システム１と異なる。画像処理装置３を構成する第１の画像処理部３ａの出力及び画像処理装置３を構成する第２の画像処理部３ｂの出力は、車両制御部４へ入力される。
　図８は、図７に示す画像処理装置３の機能ブロック図である。図８に示すように、画像処理装置３を構成する第１の画像処理部３ａは、入力Ｉ／Ｆ１１ａ、前処理部１２ａ、第１物体認識部１３ａ、出力Ｉ／Ｆ１４ａ、データベース１５ａ、及び通信Ｉ／Ｆ１６ａから構成され、これらは内部バス１７ａを介して相互に通信（データ転送）可能となっている。ここで、前処理部１２ａ及び第１物体認識部１３ａは、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置等の記憶装置にて実現されると共に、ＣＰＵ等のプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、第１の画像処理部３ａは、例えば、１つのＥＣＵに実装されることが望ましい。
　入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａから、１秒間に３０フレーム又は６０フレームの画像データを取得する。なお、１秒間のフレーム数はこれに限られるものではない。入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａから画像データが取得されない場合、第１の撮像装置２ａが失陥であると判定できる。入力Ｉ／Ｆ１１ａは、第１の撮像装置２ａから取得した画像データを前処理部１２ａへ内部バス１７ａを介して転送する。
　前処理部１２ａは、例えば、入力Ｉ／Ｆ１１ａより転送された第１の撮像装置２ａによる画像データに対し、輪郭強調処理或いは平滑化処理又は正規化処理等を施す。第１の撮像装置２ａによる画像データは、撮像時間帯或いは天候等により輝度が変動するため正規化処理が有効となる。なお、前処理部１２ａは、第１の撮像装置２ａによる画像データの輝度が明らかに異常であり正規化処理が困難な場合、第１の撮像装置２ａが失陥であると判定できる。前処理部１２ａは、前処理後の画像データを第１物体認識部１３ａへ内部バス１７ａを介して転送する。
　第１物体認識部１３ａは、前処理部１２ａより転送された前処理後の画像データから第１の認識対象をＵ－Ｎｅｔ等のＣＮＮを用いて認識する。ここで、第１の認識対象とは、例えば、レーン、車両、二輪車、歩行者等である。なお、前処理後の画像データから第１の認識対象を認識するに際し、ＣＮＮを用いる形態に限らず、例えば、後述するデータベース１５ａに格納されたデータを用いてテンプレートマッチング処理を実行する構成としても良い。第１物体認識部１３ａは、第１の認識対象の認識結果として、レーン認識結果、車両認識結果、二輪車認識結果、歩行者認識結果等を、内部バス１７ａ及び出力Ｉ／Ｆ１４ａを介して車両制御部４へ出力し、ＡＤＡＳ機能の実行に用いられる。
  データベース１５ａは、レーン、車両、二輪車、歩行者等のデータが予め格納されている。
　なお、画像処理装置３を構成する第２の画像処理部３ｂについては、上述の図３と同様であるため説明を省略する。
　次に、本実施例に係る画像処理装置３の具体的な処理動作については、上述の図５及び図６とほぼ同様であるため、以下では異なる点のみについて説明する。
　図５におけるステップＳ１１０では、画像処理装置３を構成する第１の画像処理部３ａの入力Ｉ／Ｆ１１ａが第１の撮像装置２ａより画像データを取得する。また、画像処理装置３を構成する第２の画像処理部３ｂの入力Ｉ／Ｆ１１ｂが、第１の撮像装置２ａ及び第２の撮像装置２ｂより画像データを取得する。
　図５におけるステップＳ１１６では、第１の画像処理部３ａを構成する前処理部１２ａは、取得された第１の撮像装置２ａからの画像データに対し上述の前処理を実行する。また、第２の画像処理部３ｂを構成する前処理部１２ｂが、取得された第１の撮像装置２ａ及び第２の撮像装置２ｂからの画像データに対し上述の前処理を実行する。
　図６におけるステップＳ１１０では、画像処理装置３を構成する第１の画像処理部３ａの入力Ｉ／Ｆ１１ａが第１の撮像装置２ａより画像データを取得する。また、画像処理装置３を構成する第２の画像処理部３ｂの入力Ｉ／Ｆ１１ｂが、第１の撮像装置２ａ及び第２の撮像装置２ｂより画像データを取得する。
　図６におけるステップＳ２１１では、所定の条件、すなわち、第２の撮像装置２ｂ又は第２の画像処理部３ｂが失陥であるか否かを判定する。第２の撮像装置２ｂが失陥か否かの判定は、第２の画像処理部３ｂを構成する入力Ｉ／Ｆ１１ｂ及び前処理部１２ｂが判定する。
　図６におけるステップＳ１１６では、第１の画像処理部３ａを構成する前処理部１２ａは、取得された第１の撮像装置２ａからの画像データに対し上述の前処理を実行する。また、第２の画像処理部３ｂを構成する前処理部１２ｂが、取得された第１の撮像装置２ａ及び第２の撮像装置２ｂからの画像データに対し上述の前処理を実行する。
　以上のように、変形例では、第２の撮像装置２ｂが失陥か否かの判定を第２の画像処理部３ｂのみが行う点が上述の画像処理システム１と異なる。
　以上の通り本実施例によれば、撮像装置自体が故障又は不調となった場合であっても、冗長性を確保し制御を行い得る画像処理装置及び画像処理システムを提供することが可能となる。
　図９から図１１に本発明の他の実施例に係る実施例２の縮退モード時のワイパー位置の一例を示す。本実施例では、上述の実施例１に加え、縮退モード時にワイパーを一時的に動作させ、第２の撮像装置２ｂのＦＯＶ（視野）を妨げない位置で停止させる構成を追加した点が実施例１と異なる。以下では追加した点のみ説明する。
　まず、図１２は、通常モード時のワイパー位置を示す図である。図１２に示すように、第２の撮像装置２ｂのＦＯＶ（視野）の下部がワイパーＬ５２により遮蔽される点が危惧される。上述の実施例１に示したように、第１の撮像装置２ａが失陥したことによる縮退モード時においては、第２の撮像装置２ｂのみによる画像データに基づき画像処理装置３が処理を実行しなければならない。そのためには、第２の撮像装置２ｂのＦＯＶ（視野）を可能な限り広くする必要がある。
　図９に示す例では、ワイパーＲ２１及びワイパーＬ２２は、１つのアクチュエータ及びモータで駆動される場合を示している。上述の実施例１における図５及び図６のステップＳ１１２において縮退モードに移行されると、ワイパーＲ２１及びワイパーＬ２２が一時的に同期して動作し、図９に示すようにワイパーＲ２１及びワイパーＬ２２が第２の撮像装置２ｂを挟むような位置であって、第２の撮像装置２ｂのＦＯＶ（視野）を妨げない位置で停止する。
　図１０に示す例では、ワイパーＲ３１及びワイパーＬ３２は、１つのアクチュエータ及びモータで駆動される場合を示している。上述の実施例１における図５及び図６のステップＳ１１２において縮退モードに移行されると、ワイパーＲ３１及びワイパーＬ３２が一時的に同期して動作し、図９に示すようにワイパーＲ３１及びワイパーＬ３２が往復運動の折り返しの位置で停止する。
　図１１に示す例では、ワイパーＲ４１及びワイパーＬ４２は、モータがそれぞれのワイパーに設けられているため、縮退モードに移行されると、一方のワイパーであるワイパーＬ４２のみを所定の位置に動かし停止する。
　以上の通り本実施例によれば、実施例１の効果に加え、縮退モード時における第２の撮像装置の撮像視野を確実に確保することが可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
１，１０…画像処理システム、２ａ…第１の撮像装置、２ｂ…第２の撮像装置、３…画像処理装置、３ａ…第１の画像処理部、３ｂ…第２の画像処理部、４…車両制御部、５…信号機、６…窓ガラス（ウィンドシールド）、１１ａ，１１ｂ…入力Ｉ／Ｆ、１２ａ，１２ｂ…前処理部、１３ａ，１３ｂ…第１物体認識部、１４ａ，１４ｂ…出力Ｉ／Ｆ、１５ａ，１５ｂ…データベース、１６ａ，１６ｂ…通信Ｉ／Ｆ、１７ａ，１７ｂ…内部バス、１８ｂ…第２物体認識部、１９ｂ…データベース、２１，３１，４１，５１…ワイパーＲ、２２，３２，４２，５２…ワイパーＬ

Claims (14)

  1. 　車両の車室内から窓ガラスを介して外界を第１の撮像装置及び前記第１の撮像装置と鉛直方向に離間し設置された第２の撮像装置にて撮像された画像データに基づき、認識対象を認識する画像処理装置であって、
    　前記第１の撮像装置の画像データに基づき第１の認識対象を認識する第１の画像処理部と、
    　前記第１の撮像装置及び前記第２の撮像装置の画像データに基づき前記第１の認識対象とは異なる第２の認識対象を認識する第２の画像処理部と、を有し、
    　所定の条件が満たされた場合、前記第１の認識対象を前記第２の画像処理部で認識することを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記所定の条件とは、前記第１の撮像装置の失陥又は前記第１の画像処理部の失陥であることを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記第１の画像処理部又は前記第２の画像処理部が、前記第１の撮像装置の失陥を判定し、
    　前記第２の画像処理部が、前記第１の画像処理部の失陥を判定し、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記第２の画像処理部が前記第１の認識対象を認識することを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記第２の画像処理部は、前記第２の撮像装置の画像データに基づき前記第１の認識対象を認識することを特徴とする画像処理装置。
  5. 　請求項３に記載の画像処理装置において、
    　前記第２の認識対象は、少なくとも、路面から所定の高さ以上に存在する物体を含むことを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記第１の認識対象は、レーン、車両、二輪車、及び歩行者を含み、
    　前記第２の認識対象は、信号機の表示状態、道路標識、自車両の移動に際し障害となる物体がない領域であるフリースペース、及び３Ｄセンシング距離のいずれかを含むことを特徴とする画像処理装置。
  7. 　請求項３に記載の画像処理装置において、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記窓ガラスの上のワイパーを前記第２の撮像装置の撮像視野を妨げない位置に停止させることを特徴とする画像処理装置。
  8. 　車両の車室内から窓ガラスを介して外界を撮像し、認識対象を認識する画像処理システムであって、
    　第１の撮像装置と、
    　前記第１の撮像装置と鉛直方向に離間し設置された第２の撮像装置と、
    　少なくとも前記第１の撮像装置に電気的に接続された第１の画像処理部と、
    　前記第１の撮像装置及び前記第２の撮像装置に電気的に接続された第２の画像処理部と、を有し、
    　前記第１の画像処理部は、前記第１の撮像装置の画像データに基づき第１の認識対象を認識し、
    　前記第２の画像処理部は、前記第１の撮像装置及び前記第２の撮像装置の画像データに基づき前記第１の認識対象とは異なる第２の認識対象を認識し、
    　所定の条件が満たされた場合、前記第１の認識対象を前記第２の画像処理部で認識することを特徴とする画像処理システム。
  9. 　請求項８に記載の画像処理システムにおいて、
    　前記所定の条件とは、前記第１の撮像装置の失陥又は前記第１の画像処理部の失陥であることを特徴とする画像処理システム。
  10. 　請求項９に記載の画像処理システムにおいて、
    　前記第１の画像処理部又は前記第２の画像処理部が、前記第１の撮像装置の失陥を判定し、
    　前記第２の画像処理部が、第１の画像処理部の失陥を判定し、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記第２の画像処理部が前記第１の認識対象を認識することを特徴とする画像処理システム。
  11. 　請求項１０に記載の画像処理システムにおいて、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記第２の画像処理部は、前記第２の撮像装置の画像データに基づき前記第１の認識対象を認識することを特徴とする画像処理システム。
  12. 　請求項１０に記載の画像処理システムにおいて、
    　前記第２の認識対象は、少なくとも、路面から所定の高さ以上に存在する物体を含むことを特徴とする画像処理システム。
  13. 　請求項１２に記載の画像処理システムにおいて、
    　前記第１の認識対象は、レーン、車両、二輪車、及び歩行者を含み、
    　前記第２の認識対象は、信号機の表示状態、道路標識、自車両の移動に際し障害となる物体がない領域であるフリースペース、及び３Ｄセンシング距離のいずれかを含むことを特徴とする画像処理システム。
  14. 　請求項１０に記載の画像処理システムにおいて、
    　前記所定の条件が満たされた場合、縮退モードに移行し、前記窓ガラスの上のワイパーを前記第２の撮像装置の撮像視野を妨げない位置に停止させることを特徴とする画像処理システム。
PCT/JP2022/004663 2021-07-29 2022-02-07 画像処理装置及び画像処理システム WO2023007776A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112022001075.4T DE112022001075T5 (de) 2021-07-29 2022-02-07 Bildverarbeitungseinrichtung und bildverarbeitungssystem
CN202280028085.7A CN117136552A (zh) 2021-07-29 2022-02-07 图像处理装置及图像处理系统
JP2023538219A JP7500881B2 (ja) 2021-07-29 2022-02-07 画像処理装置及び画像処理システム
US18/565,413 US20240265693A1 (en) 2021-07-29 2022-02-07 Image processing apparatus and image processing system
JP2024091082A JP2024107104A (ja) 2021-07-29 2024-06-05 画像処理装置及び画像処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-124063 2021-07-29
JP2021124063 2021-07-29

Publications (1)

Publication Number Publication Date
WO2023007776A1 true WO2023007776A1 (ja) 2023-02-02

Family

ID=85086651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004663 WO2023007776A1 (ja) 2021-07-29 2022-02-07 画像処理装置及び画像処理システム

Country Status (5)

Country Link
US (1) US20240265693A1 (ja)
JP (2) JP7500881B2 (ja)
CN (1) CN117136552A (ja)
DE (1) DE112022001075T5 (ja)
WO (1) WO2023007776A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259966A (ja) * 2001-03-05 2002-09-13 Toyota Motor Corp 周辺認識装置
WO2019181591A1 (ja) * 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 車載ステレオカメラ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074482B2 (ja) 2018-01-17 2022-05-24 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259966A (ja) * 2001-03-05 2002-09-13 Toyota Motor Corp 周辺認識装置
WO2019181591A1 (ja) * 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 車載ステレオカメラ

Also Published As

Publication number Publication date
CN117136552A (zh) 2023-11-28
JP7500881B2 (ja) 2024-06-17
JPWO2023007776A1 (ja) 2023-02-02
DE112022001075T5 (de) 2023-11-30
JP2024107104A (ja) 2024-08-08
US20240265693A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
KR101565007B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
EP3127771B1 (en) Driver assistance apparatus and vehicle including the same
US10331963B2 (en) Camera apparatus and in-vehicle system capturing images for vehicle tasks
JP6971020B2 (ja) 異常検出装置および異常検出方法
JP4420011B2 (ja) 物体検知装置
US20180134285A1 (en) Autonomous driving apparatus and vehicle including the same
CN108986510A (zh) 一种面向路口的智能化本地动态地图实现系统及实现方法
US11029150B2 (en) Object distance detection device
CN111221342A (zh) 一种自动驾驶汽车环境感知系统
KR20150137488A (ko) 카메라, 및 이를 구비한 차량
US20200108717A1 (en) Apparatus and method for controlling speed
CN109733283A (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
JP4848644B2 (ja) 障害物認識システム
CN114932902B (zh) 一种基于车联网技术的鬼探头预警避让方法及系统
JP5936258B2 (ja) 運転支援装置
WO2022244356A1 (en) Light interference detection during vehicle navigation
CN113448096B (zh) 车辆用显示装置
JP2017129543A (ja) ステレオカメラ装置及び車両
WO2023007776A1 (ja) 画像処理装置及び画像処理システム
KR20160131196A (ko) 장애물 감지 장치
JP6891082B2 (ja) 物体距離検出装置
JP5723561B2 (ja) 運転支援装置
US11152726B2 (en) Connector device and connector system
US20190111918A1 (en) Vehicle system with safety features

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023538219

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022001075

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22848860

Country of ref document: EP

Kind code of ref document: A1