WO2022215348A1 - 物標検出装置 - Google Patents

物標検出装置 Download PDF

Info

Publication number
WO2022215348A1
WO2022215348A1 PCT/JP2022/005723 JP2022005723W WO2022215348A1 WO 2022215348 A1 WO2022215348 A1 WO 2022215348A1 JP 2022005723 W JP2022005723 W JP 2022005723W WO 2022215348 A1 WO2022215348 A1 WO 2022215348A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
sensor
information
detection information
fusion
Prior art date
Application number
PCT/JP2022/005723
Other languages
English (en)
French (fr)
Inventor
俊輔 松尾
耕太 入江
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to US18/552,253 priority Critical patent/US20240159895A1/en
Priority to DE112022000744.3T priority patent/DE112022000744T5/de
Priority to JP2023512841A priority patent/JPWO2022215348A1/ja
Publication of WO2022215348A1 publication Critical patent/WO2022215348A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a target detection device.
  • Driving assistance to achieve various objectives, including reducing traffic accidents, reducing the burden on drivers, improving fuel efficiency to reduce the burden on the global environment, and providing means of transportation for vulnerable people to realize a sustainable society.
  • Systems and automated driving systems are being developed.
  • a plurality of sensors (cameras, radars, etc.) are installed in the vehicle in order to monitor the surroundings of the vehicle instead of the driver.
  • a system has been developed that uses the recognition results of a plurality of sensors mounted on a vehicle to automatically apply brakes to specific objects such as pedestrians and vehicles.
  • Patent Document 1 discloses a moving target discrimination unit that discriminates whether or not an object detected by a radar device is a moving target, and an object extraction unit that extracts a specific object from an image captured by a camera unit.
  • An object recognition device is disclosed that includes a unit.
  • the specific object discriminating section discriminates whether or not the object detected by the radar device is a specific object based on the discrimination result of the moving target discriminating section and the extraction result of the object extracting section.
  • the present invention has been made in view of such problems, and provides a target detection device that can appropriately determine the reliability of a target.
  • a target object detection device is a target object detection device for detecting a target around a vehicle based on sensor information measured by a plurality of sensors, comprising a first sensor, a second sensor, and the An integration processing unit that integrates the target detection information of the first sensor and the target detection information of the second sensor for each cycle, and the integration that manages the integration result of the integration processing unit in chronological order as an integration history A history management unit, and a reliability determination unit that determines reliability of a target type based on the integrated history and target detection information of the first sensor and the second sensor.
  • the target detection information of the first sensor includes target type information.
  • the present invention it is possible to provide a target detection device that can appropriately determine the reliability of a target.
  • FIG. 1 is a functional block diagram of a target detection device (sensor fusion device 1) according to a first embodiment
  • FIG. 5 is a flowchart for explaining a procedure for determining reliability and adding detailed type information in a reliability determination unit 50 and a detailed type assigning unit 60
  • FIG. 4 is a schematic diagram illustrating reliability determination and addition of detailed type information according to one scenario
  • FIG. 4 is a schematic diagram illustrating reliability determination and addition of detailed type information according to one scenario
  • FIG. 4 is a schematic diagram illustrating reliability determination and addition of detailed type information according to one scenario
  • FIG. 4 is a schematic diagram illustrating reliability determination and addition of detailed type information according to one scenario
  • FIG. 7 is a functional block diagram of a target detection device (sensor fusion device 1) according to a second embodiment
  • FIG. 10 is a schematic diagram illustrating reliability determination and addition of detailed type information according to a second embodiment according to one scenario;
  • FIG. 1 is a functional block diagram of a target detection device (sensor fusion device 1) according to the first embodiment.
  • the sensor fusion device 1 of the first embodiment includes an observation information processing unit 20, an integration processing unit 30, an integration history management unit 40, a reliability determination unit 50, and a detailed classification assignment a portion 60;
  • the sensor fusion device 1 also receives output signals from the first sensor 10a, the second sensor 10b, and the own vehicle behavior detection sensor 10c.
  • the first sensor 10a and the second sensor 10b are sensors that detect targets around the vehicle.
  • the first sensor 10a is a sensor capable of determining the type of the target based on image data of the captured target. far-infrared camera).
  • the second sensor 10b is a sensor that can determine the presence and position of a target but does not have the function of determining the type of the target. , TOF (Time of Flight) sensor, or a combination thereof.
  • the own vehicle behavior detection sensor 10c is a group of sensors that detect the speed, steering angle, yaw rate, etc. of the own vehicle.
  • the vehicle behavior detection sensor 10c includes a wheel speed sensor, a steering angle sensor, an acceleration sensor, a gyro sensor, and the like.
  • the detection information of the first sensor 10a includes at least the position, speed, type, and target ID of the detected target
  • the detection information of the second sensor 10b includes at least the position, speed, and object ID of the detected target. Includes a tag ID.
  • the sensor fusion device 1 (electronic control device) and various sensors (first sensor 10a, second sensor 10b, etc.) according to the present embodiment include a computer (microcomputer) including an arithmetic device, a memory, and an input/output device.
  • the computing device includes a processor and executes programs stored in memory. Part of the processing performed by the arithmetic device by executing the program may be executed by another arithmetic device (for example, hardware such as FPGA (Field Programmable Gate Array) and ASIC (Application Specific Integrated Circuit)).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the memory includes ROM and RAM, which are non-volatile storage elements.
  • the ROM stores immutable programs (eg, BIOS) and the like.
  • RAM is a high-speed and volatile memory device such as DRAM (Dynamic Random Access Memory) and a non-volatile memory device such as SRAM (Static Random Access Memory). Stores data that is used at times.
  • the input/output device is an interface that performs external transmission of processing content by electronic control devices and sensors and reception of data from the outside according to a predetermined protocol.
  • a program executed by the arithmetic unit is stored in a non-volatile memory, which is a non-temporary storage medium of the electronic control unit or sensor.
  • the observation information processing unit 20 receives the detection information of the first sensor 10a and the second sensor 10b, and also receives the speed, steering angle, yaw rate, etc. of the vehicle output from the vehicle behavior detection sensor 10c. It has the function of uniform conversion to the format.
  • the code given as the target ID is the same code when the same target is tracked in the time direction.
  • the above format includes at least time and coordinate information.
  • the time indicates, for example, fusion execution timing, and the coordinates are, for example, the center of the vehicle as the origin, the front of the vehicle as the x-axis, and the left side of the vehicle. refers to the coordinate system with the y-axis.
  • the integration processing unit 30 receives target detection information output from the observation information processing unit 20 and performs integration processing, which will be described later.
  • the integration processing unit 30 includes a grouping unit 30a that groups a plurality of pieces of detection information, an integration unit 30b that integrates the detection information of the grouped targets to generate or update a fusion target, and an integration and time processing unit of the detection information.
  • a prediction updating unit 30c for performing prediction update for tracking the same target in the series.
  • the grouping unit 30a uses at least position information among the target detection information to determine whether or not a plurality of pieces of detection information are detection information for the same target. Group the detected information as a set of information. A plurality of pieces of detection information grouped by the grouping unit 30a are integrated by the integration unit 30b, converted into fusion targets, and given the same target ID. The grouping by the grouping section 30a and the integration processing by the integration section 30b are performed at predetermined intervals.
  • the grouping unit 30a prioritizes the sameness determination between the plurality of pieces of detection information for grouping in the previous cycle. Identity determination is performed between the obtained estimation information of the fusion target and a plurality of pieces of detection information obtained in the current cycle.
  • the identity determination for the fusion target estimation information obtained in the previous cycle is included in at least the position information of the fusion target estimation information obtained in the previous cycle and a plurality of detection information obtained in the current cycle. location information.
  • a plurality of pieces of detection information grouped by the grouping unit 30a are output to the integrating unit 30b.
  • the integration unit 30b integrates the grouped pieces of detection information to generate or update a fusion target.
  • the detection error characteristics of the first sensor 10a and the second sensor 10b are given as parameters to the integration unit 30b in advance, and integration is performed based on the positions and velocities corrected according to the parameters of the error characteristics. can be done.
  • the error characteristics may be defined by a covariance matrix, and the positions and velocities calculated by probability averaging may be used for integration.
  • the error characteristics of each sensor may be estimated during integration processing in the integration unit 30b instead of being given to the integration unit 30b in advance.
  • the detection information of the first sensor 10a and the second sensor 10b may include data of such error characteristics.
  • the integration unit 30b outputs the detection result as the fusion target.
  • the detection information of one sensor is grouped, it is expressed as "integrated" as a fusion target.
  • the position and speed information in the fusion target may be the same as the information detected by the sensor, or may indicate the internally estimated position and speed in chronological order according to the information detected by the sensor.
  • the fusion target information which is the result of the integrated processing of the detection information in the integration unit 30b, is output to the prediction update unit 30c. Further, the fusion target and the detection information of the first sensor 10 a and the second sensor 10 b included in the fusion target are output to the integrated history management unit 40 .
  • the integrated history management unit 40 has a function of managing the generated or updated fusion target information in chronological order.
  • the prediction update unit 30c uses the execution cycle of the integrated processing, position and speed information included in the fusion target detection information, and the speed, steering angle, yaw rate, etc. of the vehicle output from the vehicle behavior detection sensor 10c. Then, the estimated value of the fusion target in the next cycle of integration processing is calculated. For example, the prediction updating unit 30c uses at least the velocity of the fusion target and the execution cycle of the integration process to calculate the change in the position of the target over time, and estimates the position of the fusion target based on the calculated change in the position over time. By doing so, the estimated information of the fusion target can be obtained. It should be noted that the position and speed of the target may be estimated by using the speed, steering angle, yaw rate, etc. of the own vehicle and considering the turning behavior of the own vehicle. The estimation information of the fusion target obtained by the prediction updating unit 30c is output to the grouping unit 30a as described above.
  • the integrated history management unit 40 receives the fusion target output from the integration processing unit 30 and the detection information of the first sensor 10a and the second sensor 10b included in the fusion target, and stores the fusion target in chronological order. Stored and managed for each target ID. Information managed by the integrated history management unit 40 is output to the reliability determination unit 50 and the detailed type assignment unit 60 .
  • the reliability determination unit 50 receives the integration history of the fusion target from the integration history management unit 40, determines the reliability of the fusion target based on the integration history, and uses the reliability information, which is the determination result, as the fusion object. given to the mark. Further, the detailed type providing unit 60 provides the fusion target with the type of the target indicated by the fusion target and information on the reliability thereof as detailed type information. The information generated by the detailed type assigning unit 60 is output to the driving control device 2, and vehicle control including automatic driving and driving assistance is executed.
  • each fusion target is determined according to the contents of the detection information of the fusion target obtained in the previous period and the contents of the detection information of the fusion target in the current period.
  • the confidence level of the particular class (pedestrian, car, cyclist, etc.) indicated is determined.
  • the reliability is classified into at least three categories of "definite", "past", and "divided” in descending order of reliability.
  • One of the basic criteria for reliability determination is that the reliability is determined to be high when grouping is performed based on the detection information of the first sensor 10a. Another criterion is that the current cycle grouping is more reliable than the previous cycle grouping.
  • “split” has the lowest reliability. Specifically, regarding one fusion target, the detection information of the first sensor 10a is not grouped in the current cycle, while the detection information of the first sensor 10a is grouped in the previous cycle. If there is another detection information of 10a in this cycle, the reliability is determined as “split”. The reason why "split" is less reliable than "past” is that, unlike "past", the consistency of grouping between multiple cycles is not maintained.
  • the grouping of the current period is said to be more correct. Based on policy, it would be correct for a given fusion target not to integrate its detection information. In other words, the fact that the detection information of the first sensor was grouped in the previous cycle was actually an error, and the consistency of the grouping is not maintained in a plurality of cycles. Therefore, it is judged that the reliability of "split" is lower than that of "past".
  • the integrated history management unit 40 receives the results of grouping and integration of detected information from the integration processing unit 30 for each cycle, and manages the integration history for each cycle.
  • the reliability determination unit 50 determines the reliability of the specific type in the fusion target obtained for each cycle.
  • the detailed classification giving unit 60 gives the fusion target a detailed classification, which is the reliability determination result.
  • the reliability determination unit 50 receives the detection information obtained in the current cycle, and the integration processing unit 30 groups the detection information into the fusion target related to the target ID in the current cycle, and obtains the specific type information. is given (step S100). If the determination result is affirmative (YES), the process proceeds to step S130, and "confirmed" is assigned as the reliability information for the fusion target that has been grouped and assigned specific type information. On the other hand, if the determination in step S100 is negative (NO), the process proceeds to step S110.
  • step S110 the reliability determination unit 50 receives the detection information obtained in the previous cycle from the integrated history management unit 40, groups the detection information into the corresponding fusion targets in the previous cycle, and obtains specific type information. It is determined whether or not it has been given (step S110). If YES, the process proceeds to step S120. If NO, the reliability is not determined and the process ends (END).
  • step S120 the detection information related to the specific type grouped and assigned in the previous period exists in another (as a fusion target with another target ID) in the current period. It is determined whether or not to If the determination result in step S120 is YES, in step S140 it is determined that the reliability of the specific type of the fusion target is "split", and detailed type information indicating that is added. On the other hand, if the determination result in step S130 is NO, in step S150 it is determined that the reliability of the specific type of the fusion target is "past", and detailed type information indicating that is added. As described above, the procedure for judging reliability and adding detailed type information is completed.
  • FIG. 3 is a schematic diagram illustrating the procedure for determining the reliability and detailed type when the pedestrian 200 crosses in front of the vehicle 210.
  • FIG. In the following description, it is assumed that time progresses in the order of (B) ⁇ (C) ⁇ (D) in FIG.
  • the detection range CFOV of the first sensor (camera) 10a is indicated by a dashed sector
  • the detection range RFOV of the second sensor (radar) 10b is indicated by a solid sector.
  • Detected information C1 and C2 of the first sensor 10a are indicated by circles
  • detected information R1 of the second sensor 10b is indicated by a square.
  • a fusion target F1 that is generated by integrating a plurality of pieces of detection information and to which detailed type information of "confirmed" is assigned with respect to a predetermined specific type is indicated by a solid-line ellipse.
  • the fusion target F2 determined to be "split" is indicated by a dotted ellipse.
  • the pedestrian 200 when a pedestrian 200 crosses in front of a vehicle 210, in the situation (B), the pedestrian 200 is in the detection range CFOV of the first sensor 10a and the detection range CFOV of the second sensor 10b. It exists in the overlapping part of the detection range RFOV and is detected simultaneously by both sensors 10a and 10b.
  • the integration unit 30b integrates the grouped detection information to generate the fusion target F1.
  • the pedestrian 200 is still within the detection range CFOV of the first sensor 10a, but has moved outside the detection range RFOV of the second sensor 10b.
  • the pedestrian 200 has already moved outside the detection range RFOV of the second sensor 10b. Detected as target R1. Internal interpolation means that the sensor behaves as if it continues to detect the target by interpolating the target moving outside the detection range at the detection end in order to prevent the control target from not being detected.
  • FIG. 4A shows a case where a vehicle 210 turning left (turning left) approaches a pedestrian 200 walking parallel to the left side of the vehicle.
  • FIG. 4(B) shows the situation before the vehicle 210 starts to turn left, and the pedestrian 200 exists in the overlapping portion of the detection range CFOV of the first sensor 10a and the detection range RFOV of the second sensor 10b. do.
  • the detection information of both sensors 10a and 10b indicates the same position information.
  • the vehicle 210 starts turning left, and the pedestrian 200 moves to the left of the vehicle 210. Proximity to the sides.
  • step 110 it is determined whether or not the detection information is grouped in the fusion target F1 in the previous period and specific type information is added. In this example, a determination of YES is made, and the process proceeds to step S120.
  • step S120 it is determined whether or not the detection information related to the specific type grouped and determined in the fusion target object F1 in the previous cycle exists in the current cycle (step S120).
  • the determination is NO because the fusion target F1' is determined to have an unknown type.
  • FIG. 5 shows the determination procedure when another preceding vehicle 230 is traveling in front of the own vehicle 210 and the preceding vehicle 230 passes a manhole 220 on the road on the way.
  • another preceding vehicle 230 is traveling in front of the own vehicle 210 at approximately the same speed.
  • the manhole 220 is not detected because it is blocked by 230 .
  • the second sensor 10b does not detect the manhole 220, but detects only another preceding vehicle 230 as a target.
  • the integration unit 30b integrates the grouped detection information to generate the fusion target F1.
  • FIG. 5C assumes that the preceding vehicle 230 has just passed through the manhole 220 .
  • FIG. 5(D) shows a case where the preceding vehicle 230 continues to travel further and travels to the front away from the manhole 220 .
  • step S100 the determination in step S100 is NO
  • step S110 the subsequent step S110 is YES
  • step S120 is YES
  • the detection information of the preceding vehicle 230 by the first sensor 10a and the detection information of the manhole 220 by the second sensor 10b are erroneously integrated and identified.
  • the determination procedure of FIG. 2 even if an erroneous determination of reliability is once made in one cycle, the error is corrected in the next cycle, ensuring the accuracy of the determination of reliability. can be done.
  • the pedestrian 200 is walking in parallel in front of the own vehicle 210, but there is an obstacle 240 (such as a fence) on the way. It shows a case where it becomes invisible from the own vehicle 210 .
  • an obstacle 240 such as a fence
  • the vehicle 210 is traveling forward, but the pedestrian 200 is still positioned to the left front of the vehicle 210 and is not obstructed by the obstacle 240.
  • Various types of detection information are in a state as shown in FIG. 6(B).
  • the situation shown in FIG. can get.
  • the first sensor 10a cannot capture the image of the pedestrian 200, and the detection information of the first sensor 10a has not been obtained.
  • the second sensor 10b continuously obtains detection information based on the above-described internal interpolation function and the like, detects it as the target R1, and integrates it into the fusion target F1.
  • NO is determined in step S100
  • YES is determined in step S110
  • the determination of the specific type of the fusion target is highly reliable. This makes it possible to improve the accuracy of automatic driving and driving assistance.
  • the integrated history management unit 40 manages the integrated result of integrating the detection information of each sensor obtained in each cycle, and the integrated result obtained in the previous cycle and the integrated result obtained in the current cycle. By comparing , it is possible to make a determination with high reliability regarding the determination of the specific type.
  • FIG. 7 is a functional block diagram of a target detection device (sensor fusion device 1) according to the second embodiment.
  • the same reference numerals are given to the same configurations as in the first embodiment (FIG. 1), and duplicate descriptions will be omitted below.
  • the integrated processing unit 30 has a movement prediction unit 30d. It differs from the first embodiment.
  • the movement prediction unit 30d predicts movement prediction information such as the movement speed and movement direction of the target according to the detection information of the first sensor 10a and the second sensor 10b and the detection information of the own vehicle behavior detection sensor 10c.
  • the grouping unit 30a and the integration unit 30b of the integration processing unit 30 perform grouping and integration according to these prediction results of the movement prediction unit 30d.
  • the movement prediction information predicted by the movement prediction unit 30d includes, in addition to the moving speed and direction of the target, the acceleration, the continuous deviation of the position, the direction of the target obtained from image recognition (for example, the direction of the pedestrian's face, line of sight), etc., and is not limited to a specific combination.
  • the situation in FIG. 8(B) is the same as the situation in FIG. 3(B).
  • the integration unit 30b integrates the grouped detection information to generate the fusion target F1.
  • the situation in FIG. 8(C) is similar to the situation in FIG. 3(C).
  • the pedestrian 200 is still within the detection range CFOV of the first sensor 10a, but has moved outside the detection range RFOV of the second sensor 10b.
  • the detection information (target C2) of the first sensor 10a is different from the detection information of the second sensor 10b.
  • target R2 is not grouped with the same target ID.
  • Target C2 is merged into fusion target F1' and target R2 is merged into another fusion target F2.
  • the grouping unit 30a and the integration unit 30b combine the detection information (target C2) of the first sensor 10a into a fusion target F1′ that is integrated based on the degree of matching with the previous period regarding the movement prediction information.
  • the second embodiment in addition to obtaining the same effect as the first embodiment, by referring to the movement prediction information, it is possible to determine the specific type of fusion target. Regarding the determination, it becomes possible to make the determination with higher reliability.
  • each configuration, function, processing unit, processing means, etc. described above may be realized by hardware, for example, by designing a part or all of them with an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing a program to execute. Information such as programs, tables, and files that implement each function can be stored in storage devices such as memory, hard disks, SSD (Solid State Drives), or recording media such as IC cards, SD cards, DVDs, and BDs. can.
  • control lines and information lines shown in the attached drawings show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for implementation. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

物標の信頼度の判定を適切に実行する。この物標検出装置は、複数のセンサにより計測されたセンサ情報に基づいて、車両周辺の物標を検出する。この装置は、第１センサと、第２センサと、前記第１センサの物標の検出情報と、前記第２センサの物標の検出情報とを周期毎に統合する統合処理部と、前記統合処理部の統合結果を統合履歴として時系列で管理する統合履歴管理部と、前記統合履歴と、前記第１センサ及び前記第２センサの物標の検出情報とに基づいて物標の種別の信頼度を判定する信頼度判定部とを備える。前記第１センサの物標の検出情報には、前記物標の種別情報が含まれる。

Description

物標検出装置
　本発明は、物標検出装置に関する。
　交通事故の低減、ドライバーの負荷軽減、地球環境負荷の低減に向けた燃費改善、サステナブルな社会の実現に向けた交通弱者への移動手段の提供などを含む様々な目的を実現すべく、運転支援システム及び自動運転システムが開発されている。これら運転支援システム及び自動運転システムでは、ドライバーの代わりに車両周辺を監視するため、車両に複数のセンサ（カメラ、レーダーなど）が設けられる。また、車両に搭載した複数センサの認識結果を用い、歩行者や車両等特定対象に対して自動ブレーキを行うシステムが開発されている。
　例えば、特許文献１には、レーダ装置により検知された物体が移動物標であるか否かを判別する移動物標判別部と、カメラユニットにより撮像された画像から特定の物体を抽出する物体抽出部とを備えた物体認識装置が開示されている。特定物判別部は、移動物標判別部の判別結果と物体抽出部の抽出結果とに基づいてレーダ装置により検知された物体が特定の物体であるか否かが判別される。
　しかしながら、特許文献１の装置では、レーダ装置及びカメラユニットの両センサで同時検出した物標を対象に、各センサや両センサでの検出回数を数えることで種別の信頼度を判定しているため、両センサで同時検出後にカメラ検知範囲外に物体が移動した場合には、物標の信頼度の判定を適切に実行することができない。物標の信頼度判定を適切に実行できない場合、自動ブレーキの実施判断が適切に実行されなくなる虞がある。
特開２０１４－２１５２４号公報
　本発明は、このような課題に鑑みてなされたものであり、物標の信頼度の判定を適切に実行することができる物標検出装置を提供するものである。
　本発明に係る物標検出装置は、複数のセンサにより計測されたセンサ情報に基づいて、車両周辺の物標を検出する物標検出装置であって、第１センサと、第２センサと、前記第１センサの物標の検出情報と、前記第２センサの物標の検出情報とを周期毎に統合する統合処理部と、前記統合処理部の統合結果を統合履歴として時系列で管理する統合履歴管理部と、前記統合履歴と、前記第１センサ及び前記第２センサの物標の検出情報とに基づいて物標の種別の信頼度を判定する信頼度判定部とを備える。前記第１センサの物標の検出情報には、前記物標の種別情報が含まれる。
　本発明によれば、物標の信頼度の判定を適切に実行することができる物標検出装置を提供することができる。
第１の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。 信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明するフローチャートである。 信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。 信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。 信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。 信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。 第２の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。 第２の実施の形態における信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。
　以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
　本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
［第１の実施の形態］
　図１は、第１の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。図１に示すように、第１の実施の形態のセンサフュージョン装置１は、観測情報処理部２０と、統合処理部３０と、統合履歴管理部４０と、信頼度判定部５０と、詳細種別付与部６０とを有する。また、センサフュージョン装置１には、第１センサ１０ａ、第２センサ１０ｂ、自車挙動検知センサ１０ｃの出力信号が入力される。
　第１センサ１０ａ及び第２センサ１０ｂは、自車周辺の物標を検知するセンサである。一例として、第１センサ１０ａは、撮像された物標の画像データ等に基づき、物標の種別が判定可能なセンサであり、例えばカメラ（可視光カメラ、近赤外カメラ、中赤外カメラ、遠赤外カメラ）である。第２センサ１０ｂは、物標の存在及び位置は判定可能であるが、物標の種別の判定をする機能は有さないセンサであり、例えばミリ波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）、ソナー、ＴＯＦ（Time of Flight）センサ、又はそれらを組み合わせのセンサであり得る。自車挙動検知センサ１０ｃは、自車の速度、舵角、ヨーレート等を検知するセンサ群である。一例として、車輪速センサ、舵角センサ、加速度センサ、ジャイロセンサ等が自車挙動検知センサ１０ｃに含まれる。
　第１センサ１０ａの検出情報には少なくとも検出された物標の位置、速度、種別、物標ＩＤが含まれ、第２センサ１０ｂの検出情報には少なくとも検出された物標の位置、速度、物標ＩＤが含まれる。本実施の形態のセンサフュージョン装置１（電子制御装置）や各種センサ（第１センサ１０ａや第２センサ１０ｂなど）は、演算装置、メモリ及び入出力装置を含む計算機（マイコン）を内部に含んでいる。
　演算装置は、プロセッサを含み、メモリに格納されたプログラムを実行する。演算装置がプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア）で実行してもよい。
　メモリは、不揮発性の記憶素子であるＲＯＭ及びＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子、及びＳＲＡＭ（Static Random Access Memory）のような不揮発性の記憶素子であり、演算装置が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。
　入出力装置は、所定のプロトコルに従って、電子制御装置やセンサによる処理内容の外部送信及び外部からのデータ受信を行うインターフェースである。演算装置が実行するプログラムは、電子制御装置やセンサの非一時的記憶媒体である不揮発性のメモリに格納される。
　観測情報処理部２０は、第１センサ１０ａ及び第２センサ１０ｂの検出情報を入力されると共に、自車挙動検知センサ１０ｃから出力される自車の速度、舵角、ヨーレート等を入力され、既定フォーマットに統一変換する機能を有する。なお、物標ＩＤとして与えられる符号は、時間方向で同じ物標をトラッキングしている際は同一の符号とされる。また、前述のフォーマットには少なくとも時刻と座標の情報が含まれており、時刻は例えばフュージョン実行タイミングを指し、座標は例えば自車中心を原点、自車の前方をｘ軸、自車の左方をｙ軸とする座標系を指す。
　統合処理部３０は、観測情報処理部２０から出力された物標の検出情報を入力され、後述する統合処理を行う。統合処理部３０は、複数の検出情報をグルーピングするグルーピング部３０ａと、グルーピングされた物標の検出情報を統合してフュージョン物標の生成又は更新を行う統合部３０ｂと、検出情報の統合及び時系列での同一物標のトラッキングを行うための予測更新を行う予測更新部３０ｃとを備える。
　グルーピング部３０ａは、物標の検出情報のうち、少なくとも位置の情報を用いて、複数の検出情報が同一物標の検出情報であるか否かを判定し、同一物標の判定された複数の検出情報を１組の情報としてグルーピングする。グルーピング部３０ａでグルーピングされた複数の検出情報は、統合部３０ｂにおいて統合されてフュージョン物標に変換され、同一の物標ＩＤを付与される。グルーピング部３０ａにおけるグルーピング、及び統合部３０ｂにおける統合処理は、所定の周期毎に実行される。
　なお、予測更新部３０ｃにより前周期のフュージョン物標の推定情報が得られた場合は、グルーピング部３０ａは、グルーピングのための複数の検出情報間の同一性判定よりも優先して、前周期で得られたフュージョン物標の推定情報と、今周期に得られた複数の検出情報との間の同一性判定を行う。前周期で得られたフュージョン物標の推定情報に対する同一性判定は、少なくとも前周期で得られたフュージョン物標の推定情報の位置の情報と、今周期に得られた複数の検出情報に含まれる位置の情報とを用いて実行される。前周期で得られたフュージョン物標の推定情報が今周期に得られた検出情報と同一だと判定された場合、その複数の検出情報に付与される物標ＩＤは、同一だと判定された前周期のフュージョン物標の物標ＩＤと同一とされる。
　グルーピング部３０ａにおいてグルーピングされた複数の検出情報は、統合部３０ｂに出力される。統合部３０ｂは、グルーピングされた複数の検出情報を統合してフュージョン物標を生成又は更新する。統合処理においては、例えば第１センサ１０ａ及び第２センサ１０ｂの検知の誤差特性を予めパラメータとして統合部３０ｂに予め与え、誤差特性のパラメータに従って補正された位置や速度に基づき、統合を実行することができる。または、誤差特性を共分散行列で定義し、確率平均により算出した位置・速度を採用して統合を実行しても良い。
　また、各センサの誤差特性は、予め統合部３０ｂに与える代わりに、統合部３０ｂにおける統合処理中に推定しても良い。また、第１センサ１０ａ及び第２センサ１０ｂの検出情報に、そのような誤差特性のデータを含ませても良い。また、フュージョン物標に含まれるセンサの検出情報が１個であったとしても、統合部３０ｂはその検出結果をフュージョン物標として出力する。以降の説明で、センサの１個の検出情報がグルーピングされた場合でも、フュージョン物標として「統合」するという表現をする。フュージョン物標中の位置や速度の情報は、センサの検出情報と同一であってもよいし、センサの検出情報に従い、時系列で内部推定した位置及び速度を示すものであってもよい。
　統合部３０ｂにおける検出情報の統合処理の結果であるフュージョン物標の情報は、予測更新部３０ｃへ出力される。また、フュージョン物標及びフュージョン物標に含まれる第１センサ１０ａ及び第２センサ１０ｂの検出情報は統合履歴管理部４０に出力される。統合履歴管理部４０は、生成又は更新されたフュージョン物標の情報を、時系列で管理する機能を有する。
　予測更新部３０ｃは、統合処理の実行周期、フュージョン物標の検出情報に含まれる位置及び速度の情報、及び自車挙動検知センサ１０ｃから出力される自車の速度、舵角、ヨーレート等を用いて、次の統合処理の周期におけるフュージョン物標の推定値を算出する。例えば、予測更新部３０ｃは、少なくともフュージョン物標の速度及び統合処理の実行周期を用いて物標の位置の時間変化を算出し、算出した位置の時間変化に基づいてフュージョン物標の位置を推定することにより、フュージョン物標の推定情報を得ることができる。なお、自車の速度、舵角、ヨーレート等を用いて、自車の旋回挙動を考慮して物標の位置及び速度を推定してもよい。予測更新部３０ｃで求められたフュージョン物標の推定情報は、前述のようにグルーピング部３０ａに出力される。
　統合履歴管理部４０は、統合処理部３０から出力されたフュージョン物標、及びフュージョン物標に含まれる第１センサ１０ａ及び第２センサ１０ｂの検出情報を入力され、フュージョン物標を時系列に、物標ＩＤ毎に記憶・管理する。統合履歴管理部４０で管理される情報は、信頼度判定部５０及び詳細種別付与部６０に出力される。
　信頼度判定部５０は、統合履歴管理部４０からフュージョン物標の統合履歴を入力され、統合履歴に基づいてフュージョン物標の信頼度を判定し、その判定結果である信頼度の情報をフュージョン物標に付与する。また、詳細種別付与部６０は、フュージョン物標が示す物標の種類と、その信頼度に関する情報を、詳細種別情報としてフュージョン物標に付与する。詳細種別付与部６０で生成された情報は、運転制御装置２に出力され、自動運転や運転支援などを含む自動車の制御が実行される。
　この第１の実施の形態の信頼度判定部５０では、統合履歴管理部４０より得られた前周期のフュージョン物標と、今周期のフュージョン物標の組合せから、歩行者や車両などの物標の種別に関するフュージョン物標の信頼度を判定する。具体的には、信頼度判定部５０において、前周期で得られたフュージョン物標における検出情報の内容と、今周期のフュージョン物標における物標の検出情報の内容とに従い、各フュージョン物標が示す特定種別（歩行者、車、自転車など）の信頼度が判定される。本実施の形態では、一例として、信頼度は、信頼度が高い順に「確定」、「過去」、「分裂」の少なくとも３つに区分される。なお、信頼度判定の基本的な判定基準の１つは、第１センサ１０ａの検出情報に基づいてグルーピングがされている場合には信頼度は高いと判定する、というものである。別の判定基準の１つは、前周期のグルーピングよりも今周期のグルーピングの方がより信頼性が高い、というものである。
　特定種別の判定結果の中で信頼度が最も高い「確定」は、今周期において第１センサ１０ａの検出情報がフュージョン物標として統合されている場合に判定される。「確定」の種別信頼度が最も高い理由は、信頼度が高い第１センサ１０ａの検出情報が今周期において得られており、考え得る統合の組合せとして最も信頼性が高いからである。
　「確定」に次いで２番目に信頼度が高い「過去」は、今周期では第１センサ１０ａの検出情報がグルーピングされていないが、前周期では第１センサ１０ａの検出情報がグルーピングされている場合に付与される。
　「過去」の信頼度が「確定」に次いで２番目に高い理由は、前周期と今周期の間でのグルーピングの一貫性が保たれている一方で、「確定」とは異なり、今周期では第１センサ１０ａの検出情報がグルーピングされていないからである。例えば、前周期にグルーピングしていた第１センサ１０ａの検出情報が今周期では存在せず、第１センサ１０ａの検出情報がグルーピングされていない場合、それは物標が第１センサ１０ａの検知範囲（検出範囲）の外に移動した等により第１センサ１０ａが当該物標を検知しなくなり、その検出情報がセンサフュージョン装置１に入力されなくなったことを意味する。つまり、前周期にグルーピングしていた第１センサ１０ａの検出情報が今周期に存在しない場合は、今周期にその検出情報がグルーピングされないことは必然であるため、複数の周期間でグルーピングの一貫性は保たれていると言える。したがって、「過去」は「確定」に次いで信頼度が高いと判定される。
　信頼度の３つの区分のうち、「分裂」は最も信頼度が低い。具体的には、一のフュージョン物標に関し、今周期では第１センサ１０ａの検出情報がグルーピングされていない一方、前周期では第１センサ１０ａの検出情報がグルーピングされており、更に、第１センサ１０ａの検出情報が今周期に他に存在する場合、信頼度が「分裂」と判定される。「分裂」が「過去」よりも信頼度が低い理由は、「過去」とは異なり、複数の周期間のグルーピングの一貫性が保たれていないからである。
　あるフュージョン物標が前周期にグルーピングしていた第１センサの検出情報が、今周期に他のフュージョン物標の第１センサの検出情報として存在している場合、今周期のグルーピングがより正しいという方針に基づくと、あるフュージョン物標はその検出情報を統合しないことが正しいということになる。つまり、前周期に第１センサの検出情報をグルーピングしていたことは実際には誤りであったということになり、複数の周期間でのグルーピングの一貫性が保たれないことになる。したがって、「過去」よりも「分裂」の信頼度が低いと判断される。
　次に、図２のフローチャートを参照して、信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明する。このフローチャートの手順は、統合処理の各周期において、物標ＩＤ毎に実行される。
　統合履歴管理部４０は、周期毎に検出情報のグルーピング及び統合の結果を統合処理部３０から受領し、その統合の履歴を周期毎に管理する。信頼度判定部５０は、その周期毎に得られたフュージョン物標における特定種別の信頼度を判定する。詳細種別付与部６０は、その信頼度の判定結果である詳細種別をフュージョン物標に付与する。
　まず、信頼度判定部５０は、今周期に得られた検出情報を受領して、統合処理部３０が、今周期において当該物標ＩＤに係るフュージョン物標に検出情報をグルーピングして特定種別情報を付与したか否かを判定する（ステップＳ１００）。判定結果が肯定的（ＹＥＳ）の場合にはステップＳ１３０へ移行し、そのグルーピングされ特定種別情報が付与されたフュージョン物標に関し、信頼度情報として「確定」が付与される。一方、ステップＳ１００の判定が否定的（ＮＯ）の場合には、ステップＳ１１０へ移行する。
　ステップＳ１１０では、信頼度判定部５０は、前周期において得られた検出情報を統合履歴管理部４０から受領して、前周期において、対応するフュージョン物標に検出情報をグルーピングして特定種別情報を付与していたか否かが判定される（ステップＳ１１０）。ＹＥＳであればステップＳ１２０に移行する。ＮＯであれば、信頼度の判定は行わず、処理は終了する（ＥＮＤ）。
　ステップＳ１１０の判定結果がＹＥＳである場合、ステップＳ１２０では、前周期でグルーピングされて付与された特定種別に係る検出情報が、今周期において他に（別の物標ＩＤのフュージョン物標として）存在するか否かが判定される。ステップＳ１２０の判定結果がＹＥＳの場合、ステップＳ１４０において、当該フュージョン物標の特定種別の信頼度は「分裂」であると判断され、その旨を示す詳細種別情報が付与される。一方、ステップＳ１３０の判定結果がＮＯの場合、ステップＳ１５０において、当該フュージョン物標の特定種別の信頼度は「過去」であると判断され、その旨を示す詳細種別情報が付与される。以上のようにして、信頼度の判定、及び詳細種別情報の付与の手順が終了する。
　次に、図３～図６を参照して、様々なシナリオを想定して、図２の判定手順がどのように実行されるかを説明する。
　図３は、自車２１０の前方を歩行者２００が横切る際における信頼度及び詳細種別の判定の手順を説明する概略図である。以下、図３において、（Ｂ）→（Ｃ）→（Ｄ）の順に時間が進んでいくものとして説明する。
　図３において、第１センサ（カメラ）１０ａの検知範囲ＣＦＯＶを破線の扇形で示し、第２センサ（レーダ）１０ｂの検知範囲ＲＦＯＶを実線の扇形で示している。また、第１センサ１０ａの検出情報Ｃ１、Ｃ２を円形で、第２センサ１０ｂの検出情報Ｒ１を四角形で示している。また、複数の検出情報を統合して生成され、所定の特定種別に関し「確定」の詳細種別情報が付与されたフュージョン物標Ｆ１を実線の楕円形で示している。また、「分裂」と判定されたフュージョン物標Ｆ２を点線の楕円形で示している。
　また、図３（Ｂ）～（Ｄ）中の表は、各瞬間（ｔ＝ｔ１、ｔ２、ｔ３）における第１センサ１０ａ及び第２センサ１０ｂの検知結果、及び統合部３０ｂの統合結果を示したものである。ただし、図３（Ｂ）～（Ｄ）は、信頼度判定の説明の容易化のため、一部の統合結果を抜粋して示したものであり、必ずしも連続する周期を示したものではない。
　図３（Ａ）に示すように、自車２１０の前方を歩行者２００が横切る場合において、（Ｂ）の状況では、歩行者２００は、第１センサ１０ａの検知範囲ＣＦＯＶ及び第２センサ１０ｂの検知範囲ＲＦＯＶの重複部分に存在し、両センサ１０ａ、１０ｂにより同時に検知されている。第１センサ１０ａでは、歩行者２００は物標ＩＤ＝１の歩行者の物標Ｃ１と検知され、第２センサ１０ｂでは物標ＩＤ＝1の種別不明の物標Ｒ１と検知される。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の歩行者の物標Ｃ１の検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ１の検出情報とを、検出情報の位置情報の一致に基づき、物標ＩＤ＝1の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。
　統合履歴管理部４０は、物標ＩＤ＝１を付与されたフュージョン物標Ｆ１を、今周期（ｔ＝ｔ１）の統合の結果として保持する。信頼度判定部５０は、図２のステップＳ１００の動作として、今周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したか否かを判定する。この（Ｂ）の状況ではステップＳ１００でＹＥＳの判定がされ、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ１に付与される。
　図３（Ｂ）の後、歩行者２００が更に右方向へ向かって進み、統合処理部３０が次の周期（ｔ＝ｔ２）に移行すると、図３（Ｃ）のような状況に移行する。図３（Ｃ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にあり、且つ第２センサ１０ｂの検知範囲ＲＦＯＶ内にある。従って、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とは、その位置情報の一致に基づいてグルーピングされ、物標ＩＤ＝１のフュージョン物標Ｆ１に統合される。ステップＳ１００ではＹＥＳの判定がされ、特定種別＝歩行者、信頼度＝「確定」の判定がなされ、その詳細種別情報がフュージョン物標Ｆ１に付与される。
　図３（Ｃ）の後、歩行者２００が更に右方向に向かって自車２１０を横切り、統合処理部３０が更に次の周期（ｔ＝ｔ３）に移行すると、図３（Ｄ）のような状況に移行する。図３（Ｄ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にはあるものの、第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動している。
　歩行者２００は、既に第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動しているが、第２センサ１０ｂの内部補間機能より、第２センサ１０ｂは歩行者２００を物標ＩＤ＝１の種別不明物標Ｒ１として検知する。内部補間とは、制御対象の未検知を防ぐため、検知範囲外に移動する物標を検知端で補間することで、物標を検知し続けているかのようにセンサが振る舞うことである。
　一方、第１センサ１０ａは、検知範囲ＣＦＯＶ内に歩行者２００を含んでいるため、歩行者２００を検知し、特定種別＝歩行者と判定する。しかし、第２センサ１０ｂの検出情報の位置情報と、第１センサ１０ａの検出情報の位置情報とが一致しないため、第１センサ１０ａの検出情報は、第２センサ１０ｂの検出情報とは同一の物標ＩＤにグルーピングされない。物標ＩＤ＝１の第１センサ１０ａの検出情報は、グルーピングがなされなかったため、別の物標ＩＤ＝２のフュージョン物標Ｆ２にグルーピングされ、特定種別＝歩行者、信頼度＝「確定」と認定される。従って、図３（Ｄ）の状況では、ステップＳ１００において、物標ＩＤ＝１のフュージョン物標Ｆ１’についてはＮＯの判定がなされ、ステップＳ１１０へ移行する。一方、物標ＩＤ＝２のフュージョン物標Ｆ２についてはＹＥＳの判定がなされ、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報が付与される。
　物標ＩＤ＝１のフュージョン物標Ｆ１’については、続くステップＳ１１０では、前周期において、物標ＩＤ＝１のフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したか否かが判断される。この図３（Ｄ）の場合には、図３（Ｃ）（ｔ＝ｔ２）において、物標ＩＤ＝１のフュージョン物標Ｆ１に対し、特定種別＝歩行者との特定種別情報が付与されているため、ステップＳ１１０においてＹＥＳの判断がなされ、ステップＳ１２０に移行する。そして、ステップＳ１２０では、特定種別＝歩行者と判定された他のフュージョン物標Ｆ２が存在するため、ＹＥＳの判定となり、物標ＩＤ＝１のフュージョン物標Ｆ１’に関して、特定種別＝歩行者、信頼度＝「分裂」との詳細種別情報が付与される。以上のようにして、図３の場合では、信頼度に関し「分裂」との判定がなされる。
　次に、図４を参照して更に別の場合について説明する。図４（Ａ）は、左へ旋回（左折）している自車２１０が、その左側を平行に歩いている歩行者２００に接近する場合を示している。図４（Ｂ）は、自車２１０が左折を開始する前の状況を示しており、歩行者２００は、第１センサ１０ａの検知範囲ＣＦＯＶ及び第２センサ１０ｂの検知範囲ＲＦＯＶの重複部分に存在する。両センサ１０ａ、１０ｂの検出情報は、同じ位置情報を示している。歩行者２００は、第１センサ１０ａの検出情報により物標ＩＤ＝1で特定種別＝歩行者の物標Ｃ１と認識されると共に、第２センサ１０ｂの検出情報により、物標ＩＤ＝1で特定種別＝不明の物標Ｒ１と認識される。従って、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とが、位置情報の一致に基づいて、同一の物標ＩＤ＝１にグルーピングされ、統合されてフュージョン物標Ｆ１が生成される。
　統合履歴管理部４０は、物標ＩＤ＝１のフュージョン物標Ｆ１を、今周期の統合履歴のデータとして記憶・管理する。また、信頼度判定部５０では、ステップＳ１００でのＹＥＳの判定により、このフュージョン物標に対し、特定種別＝歩行者、信頼度＝「確定」の詳細種別情報をフュージョン物標Ｆ１に付与する。
　次に、図４（Ｃ）に示すように、統合処理部３０が次の周期（ｔ＝ｔ２）に移行する段階では、自車２１０が左折を開始し、歩行者２００が自車２１０の左側側部に近接する。ここでは、歩行者２００は第２センサ１０ｂの検知範囲ＲＦＯＶには存在する一方で、第１センサ１０ａの検知範囲ＣＦＯＶとの関係では死角となり、歩行者２００は検知範囲ＣＦＯＶ内には存在しない。従って、ｔ＝ｔ２の周期では、第２センサ１０ｂの検出情報のみが得られ、その検出情報が、物標ＩＤ＝１のフュージョン物標Ｆ１’において、特定種別＝不明の物標Ｒ１として統合される。
　信頼度判定部５０では、物標ＩＤ＝１のフュージョン物標Ｆ１’に関し、ステップＳ１００の判定を実行し、ＮＯと判定する。次に、ステップ１１０において、前周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与しているか否かを判定する。この例では、ＹＥＳの判定がなされ、ステップＳ１２０に移行する。続いて、ステップＳ１２０では、前周期においてフュージョン物標Ｆ１にグルーピングされ判定された特定種別に係る検出情報が今周期に他に存在するか否かを判定される（ステップＳ１２０）。ここでは、図４（Ｃ）で説明したように、種別は不明との判定がフュージョン物標Ｆ１’においてなされているため、ＮＯとの判定がされる。以上のようにして、図４の場合では、物標ＩＤ＝１のフュージョン物標Ｆ１’の信頼度に関し「過去」との判定がなされる。
　図５は、自車２１０の前方を別の先行車２３０が走行しており、その途中で路面上のマンホール２２０を先行車２３０が通過する場合における判定の手順を示している。図５（Ａ）のように、自車２１０の前方を別の先行車２３０が略同速度で走行しているが、その前方にマンホール２２０がある場合、第１センサ１０ａは、別の先行車２３０により遮られるため、マンホール２２０を検知しない。また、第２センサ１０ｂも、同様にマンホール２２０は検知せず、別の先行車２３０のみを物標として検知する。
　この場合、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とは、略同一の位置情報を有しており、第１センサ１０ａでは、先行車２３０は物標ＩＤ＝１の車両の物標Ｃ２ｃと検知され、第２センサ１０ｂでは、物標ＩＤ＝1の種別不明の物標Ｒ１ｃと検知される。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の車両の物標Ｃ２ｃの検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ２ｃの検出情報とを、検出情報の位置情報の一致に基づき、物標ＩＤ＝１の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。
　統合履歴管理部４０は、物標ＩＤ＝１を付与されたフュージョン物標Ｆ１を、今周期（ｔ＝ｔ１）の統合の結果として保持する。信頼度判定部５０は、図２のステップＳ１００の動作として、今周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したかどうかが判定する。この（Ｂ）の状況ではステップＳ１００でＹＥＳの判定がされ、特定種別＝車両、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ１に付与される。
　図５（Ｂ）の後、先行車２３０が更に路面上を走行して、マンホール２２０を通過し、統合処理部３０が次の周期（ｔ＝ｔ２）に移行すると、図５（Ｃ）のような状況に移行する。ここで、図５（Ｃ）は、先行車２３０がマンホール２２０を通過した直後であるとする。この場合、第１センサ１０ａにより先行車２３０が検知されて、物標ＩＤ＝１で特定種別＝車両と検知する一方、第２センサ１０ｂによりマンホール２２０が検知され、物標ＩＤ＝１で特定種別＝不明と検知することがあり得る。この場合、第１センサ１０ａの検出情報（物標Ｃ２ｃ）と、第２センサ１０ｂの検出情報（物標Ｒ２ｍ）とはグルーピング及び統合されるべきではないが、位置情報が略一致することから、誤って統合され、物標ＩＤ＝１のフュージョン物標Ｆ１’として統合され得る。
　続く図５（Ｄ）は、先行車２３０が更に走行を続け、マンホール２２０から離れた前方まで走行した場合を示している。統合処理部３０は、更に次の周期（ｔ＝ｔ３）に移行している。この場合、第１センサ１０ａにより先行車２３０が検知され、特定種別＝車両とする検出情報が得られる一方、第２センサ１０ｂによりマンホール２２０が検知され、特定種別＝不明とする検出情報が得られたとしても、両検出情報は、位置情報が異なることから、それぞれ異なるフュージョン物標（Ｆ２（ＩＤ＝２）、Ｆ１’’（ＩＤ＝１））に統合される。
　フュージョン物標Ｆ２では、特定種別＝車両との判定がなされているので、ステップＳ１００ではＹＥＳの判定がなされ、特定種別＝車両、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ２に付与される。一方、フュージョン物標Ｆ１’’では、特定種別＝不明の判定がなされているので、ステップＳ１００ではＮＯの判定がなされ、続くステップＳ１１０ではＹＥＳ、ステップＳ１２０ではＹＥＳの判定がなされ、特定種別＝車両、信頼度＝「分裂」との詳細種別情報が付与される。
　上述したように、この図５のケースでは、（Ｃ）の時点では、第１センサ１０ａによる先行車２３０の検出情報と、第２センサ１０ｂによるマンホール２２０の検出情報とが誤って統合され、特定種別＝車両、信頼度=「確定」との詳細種別情報が誤って付与されているが、次の（Ｄ）の時点においては、これが「分裂」に修正されている。このように、図２の判定手順によれば、一の周期において一旦誤った信頼度の判定がなされたとしても、次の周期においてこれを修正され、信頼度の判定の正確性を担保することができる。
　図６を参照して、更に別の場合について説明する。この図６は、自車２１０の前方を、歩行者２００が並行して歩行しているが、途中に障害物２４０（塀など）があり、ある時点において歩行者２００が障害物２４０により遮られ自車２１０から見えなくなる場合を示している。
　図６（Ａ）に示すように、自車２１０が前方に走行しているが、歩行者２００はまだ自車２１０の左前方に位置していて、障害物２４０に遮られていない状況では、各種検出情報は図６（Ｂ）に示すような状況となる。第１センサ１０ａにより、歩行者２００が検出され、物標ＩＤ＝１の、特定種別＝歩行者と認識される一方、第２センサ１０ｂにより、物標ＩＤ＝１の特定種別＝不明と認識される。第１センサ１０ａの検出情報（物標Ｃ１）と、第２センサ１０ｂの検出情報（物標Ｒ２）とは、その位置情報の一致から、統合処理部３０においてフュージョン物標Ｆ１（物標ＩＤ＝１）に統合される。
　続いて、自車２１０、歩行者２００が共に前方に進行し、第１センサ１０ａと歩行者２００との間を障害物２４０が遮る状態となると、一例として図６（Ｃ）のような状況が得られる。第１センサ１０ａは、歩行者２００の画像を捉えることができず、第１センサ１０ａの検出情報は得られていない。一方、第２センサ１０ｂは、前述の内部補間機能などに基づき、引き続き検出情報が得られ、物標Ｒ１として検出され、フュージョン物標Ｆ１に統合される。この図６（Ｃ）の状況では、ステップＳ１００でＮＯ、ステップＳ１１０でＹＥＳ、ステップＳ１２０でＮＯの判定がなされ、特定種別＝歩行者、信頼度＝「過去」との判定がなされる。
　以上、図３～図６などの様々な具体例を示して説明したように、この第１の実施の形態のセンサフュージョン装置１によれば、フュージョン物標の特定種別の判定に関し、高い信頼度をもって判定を行うことができ、自動運転や運転支援の精度を高めることが可能になる。具体的には、統合履歴管理部４０にて各周期で得られた各センサの検出情報を統合した統合結果を管理し、前周期で得られた統合結果と、今周期で得られた統合結果を比較することにより、特定種別の判定に関し、高い信頼度をもって判定することが可能になる。
［第２の実施の形態］
　次に、図７及び図８を参照して、第２の実施の形態の物標検出装置を説明する。図７は、第２の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。図７において、第１の実施の形態（図１）と同一の構成については同一の参照符号を付し、以下では重複する説明は省略する。
　この第２の実施の形態のセンサフュージョン装置１は、第１の実施の形態のセンサフュージョン装置１と同様の構成要素に加え、統合処理部３０が移動予測部３０ｄを有している点で、第１の実施の形態と異なっている。移動予測部３０ｄは、第１センサ１０ａ及び第２センサ１０ｂの検出情報、自車挙動検知センサ１０ｃの検出情報に従って、物標の移動速度や移動方向などの移動予測情報を予測する。移動予測部３０ｄでのこれらの予測結果に従って、統合処理部３０のグルーピング部３０ａ及び統合部３０ｂは、グルーピング及び統合を実行する。移動予測部３０ｄで予測される移動予測情報は、物標の移動速度や方向の他、加速度、位置の連続偏差、画像認識から得られた物標の向き（例えば、歩行者の顔の向き、視線）等を含み、特定の組合せには限定されない。
　次に、第２の実施の形態の信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明する。手順自体は第１の実施の形態（図２）と同様であるが、前述のように、統合処理部３０でのグルーピング及び統合処理において、移動予測情報が参照される。
　図８を参照して、具体的なシナリオに当てはめて説明を行う。ここでは、図３と同様に、歩行者２００が自車２１０の前を横切る場合を例にとって説明する。図４～図６のような動作が行われる場合にも、略同様の説明が当て嵌まる。
　図８（Ｂ）の状況は、図３（Ｂ）の状況と同様である。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の歩行者の物標Ｃ１の検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ１の検出情報とを、検出情報の位置情報に加え、移動予測情報の一致に基づき、物標ＩＤ＝1の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。
　図８（Ｃ）の状況も、図３（Ｃ）の状況と同様である。物標の位置情報だけでなく、移動予測情報も用いたグルーピングにより、図８（Ｃ）において、前周期（ｔ＝ｔ１）まで第１センサ１０ａの歩行者の検出情報をグルーピングしていた物標ＩＤ＝１のフュージョン物標Ｆ１は、今周期（ｔ＝ｔ２）も第１センサ１０ａの検出情報を統合させることができる。
　図８（Ｃ）の後、歩行者２００が更に右方向に向かって自車２１０を横切り、統合処理部３０が更に次の周期（ｔ＝ｔ３）に移行すると、図８（Ｄ）のような状況に移行する。図８（Ｄ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にはあるものの、第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動している。しかし、第２センサ１０ｂの内部補間機能により、特定種別＝不明の検出情報（物標Ｒ２）が得られる。一方、第１センサ１０ａでは、検知範囲ＣＦＯＶ内に歩行者２００を含んでいるため、歩行者２００を検知し、特定種別＝歩行者の検出情報（物標Ｃ２）が得られる。
　第２センサ１０ｂの検出情報の位置情報と、第１センサ１０ａの検出情報の位置情報とが一致しないため、第１センサ１０ａの検出情報(物標Ｃ２)は、第２センサ１０ｂの検出情報と（物標Ｒ２）は同一の物標ＩＤにグルーピングされない。物標Ｃ２はフュージョン物標Ｆ１’に統合され、物標Ｒ２は別のフュージョン物標Ｆ２に統合される。
　このとき、グルーピング部３０ａ及び統合部３０ｂは、移動予測情報に関する前周期との一致度の高さに基づき、第１センサ１０ａの検出情報(物標Ｃ２)が統合されたフュージョン物標Ｆ１’に、前周期のフュージョン物標Ｆ１と同一の物標ＩＤ＝１を割り当てる。フュージョン物標Ｆ２には別の物標ＩＤ＝２が割り当てられる。フュージョン物標Ｆ１’においては、第１センサ１０ａでの物標の識別結果に基づき、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報が付与される。フュージョン物標Ｆ２においては、第２センサ１０ｂの検出情報のみが得られているため、特定種別＝不明との識別情報が付与される。
　以上説明したように、第２の実施の形態によれば、第１の実施の形態と同一の効果が得られることに加え、移動予測情報が参照されることにより、フュージョン物標の特定種別の判定に関し、一層高い信頼度をもって判定を行うことが可能になる。
［その他］
　本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ、ＢＤ等の記録媒体に格納することができる。
　また、添付の図面に示した制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
１…センサフュージョン装置
２…   運転制御装置
１０ａ…第１センサ
１０ｂ…第２センサ
１０ｃ…自車挙動検知センサ
２０… 観測情報処理部
３０… 統合処理部
３０ａ…グルーピング部
３０ｂ…統合部
３０ｃ…予測更新部
４０…統合履歴管理部
５０…信頼度判定部
２００…歩行者
２１０…自車
２２０…マンホール
２３０…先行車
２４０…障害物

Claims (7)

  1. 　複数のセンサにより計測されたセンサ情報に基づいて、車両周辺の物標を検出する物標検出装置であって、 
    　第１センサと、
    　第２センサと、
    　前記第１センサの物標の検出情報と、前記第２センサの同左物標の検出情報とを周期毎に統合する統合処理部と、
    　前記統合処理部の統合結果を統合履歴として時系列で管理する統合履歴管理部と、
    　前記統合履歴と、前記第１センサ及び前記第２センサの同上物標の検出情報とに基づいて物標の種別の信頼度を判定する信頼度判定部と
    を備え、
    　前記第１センサの物標の検出情報には、前記物標の種別情報が含まれる
    ことを特徴とする物標検出装置。 
  2. 　前記第１センサ、及び前記第２センサは、前記物標の位置情報を検出情報として出力するよう構成され、
    　前記統合処理部は、前記位置情報に従い、前記統合を実行する、請求項１に記載の物標検出装置。
  3. 　前記統合履歴管理部は、前記統合結果として、フュージョン物標の物標ＩＤ、及び物標種別を時系列で管理する、請求項１に記載の物標検出装置。
  4. 　前記信頼度判定部は、
    　今周期において一のフュージョン物標に検出情報をグルーピングして特定種別情報を付与したか否かを判定する第１のステップと、
    　前周期において、対応するフュージョン物標に検出情報をグルーピングして特定種別情報を付与していたか否かを判定する第２のステップと、
    　前周期でグルーピングされて付与された特定種別に係る検出情報が、今周期において他に存在するか否かを判定する第３のステップと
    を実行可能に構成される、請求項１に記載の物標検出装置。
  5. 　前記信頼度判定部は、前記第１～第３のステップの判定の結果に従い、前記特定種別情報の判定の信頼度を判定する、請求項４に記載の物標検出装置。
  6. 　前記第１センサ、及び前記第２センサは、前記物標の位置情報を検出情報として出力するよう構成され、
    　前記統合処理部は、前記物標の移動を予測する移動予測部を更に備え、
    　前記統合処理部は、前記位置情報と、前記移動予測部による前記物標の移動の予測に従い、前記統合を実行する、請求項１に記載の物標検出装置。
  7. 　自車の挙動を検知する自車挙動検知センサを更に備える、請求項１に記載の物標検出装置。
PCT/JP2022/005723 2021-04-08 2022-02-14 物標検出装置 WO2022215348A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/552,253 US20240159895A1 (en) 2021-04-08 2022-02-14 Target detection device
DE112022000744.3T DE112022000744T5 (de) 2021-04-08 2022-02-14 Zieldetektionsvorrichtung
JP2023512841A JPWO2022215348A1 (ja) 2021-04-08 2022-02-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-065863 2021-04-08
JP2021065863 2021-04-08

Publications (1)

Publication Number Publication Date
WO2022215348A1 true WO2022215348A1 (ja) 2022-10-13

Family

ID=83546318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005723 WO2022215348A1 (ja) 2021-04-08 2022-02-14 物標検出装置

Country Status (4)

Country Link
US (1) US20240159895A1 (ja)
JP (1) JPWO2022215348A1 (ja)
DE (1) DE112022000744T5 (ja)
WO (1) WO2022215348A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2014222462A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 衝突緩和装置
JP2018205879A (ja) * 2017-05-31 2018-12-27 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5806647B2 (ja) 2012-07-12 2015-11-10 本田技研工業株式会社 物体認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2014222462A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 衝突緩和装置
JP2018205879A (ja) * 2017-05-31 2018-12-27 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム

Also Published As

Publication number Publication date
US20240159895A1 (en) 2024-05-16
JPWO2022215348A1 (ja) 2022-10-13
DE112022000744T5 (de) 2023-11-23

Similar Documents

Publication Publication Date Title
JP6404634B2 (ja) 予測的な先進運転支援システムの一貫性のある挙動生成
KR102659056B1 (ko) 주변 v2v 신호와 자체 차량의 센싱신호의 융합 시스템 및 방법
US11789141B2 (en) Omnidirectional sensor fusion system and method and vehicle including the same
US20200167576A1 (en) Method, Computer Program Product, and Driver Assistance System for Determining One or More Lanes of a Road in an Environment of a Vehicle
US20210001883A1 (en) Action selection device, computer readable medium, and action selection method
US10482332B2 (en) Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
KR20150028258A (ko) 정보 이용을 위한 방법 및 시스템
CN111341148A (zh) 用于处理多重反射信号的机动车的控制系统以及控制方法
EP3467545A1 (en) Object classification
US11919544B2 (en) Method and device for operating an automated vehicle
US20220281476A1 (en) Aiming device, driving control system, and method for calculating correction amount for sensor data
US11541885B2 (en) Location prediction for dynamic objects
WO2022215348A1 (ja) 物標検出装置
KR20200133122A (ko) 차량 충돌 방지 장치 및 방법
JP6756507B2 (ja) 環境認識装置
JP6834020B2 (ja) 物体認識装置および物体認識方法
JP7374057B2 (ja) 信号処理装置
CN110709727A (zh) 用于检测迎面车辆的车辆系统
US11577753B2 (en) Safety architecture for control of autonomous vehicle
US20230258792A1 (en) Object Tracking Method by Using Sensor Fusion Technology and Vehicle Driving System by the Same
KR102682215B1 (ko) 레이더 센서 포인트 클라우드 데이터를 이용한 물체 검출 기술
WO2024084690A1 (ja) 情報処理装置及び情報処理方法
US20240166204A1 (en) Vehicle Collision Threat Assessment
JP7454353B2 (ja) 処理装置、及びそれを用いた外界認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22784333

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023512841

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022000744

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 18552253

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 22784333

Country of ref document: EP

Kind code of ref document: A1