WO2021171958A1 - 物体認識システム、および物体認識方法 - Google Patents

物体認識システム、および物体認識方法 Download PDF

Info

Publication number
WO2021171958A1
WO2021171958A1 PCT/JP2021/004229 JP2021004229W WO2021171958A1 WO 2021171958 A1 WO2021171958 A1 WO 2021171958A1 JP 2021004229 W JP2021004229 W JP 2021004229W WO 2021171958 A1 WO2021171958 A1 WO 2021171958A1
Authority
WO
WIPO (PCT)
Prior art keywords
object recognition
image data
detection
recognition
image
Prior art date
Application number
PCT/JP2021/004229
Other languages
English (en)
French (fr)
Inventor
悠人 小島
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112021001304.1T priority Critical patent/DE112021001304T5/de
Priority to US17/904,712 priority patent/US20230074680A1/en
Publication of WO2021171958A1 publication Critical patent/WO2021171958A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This disclosure relates to an object recognition system and an object recognition method.
  • An object recognition system that recognizes an object from an image of an in-vehicle camera is generally known.
  • this object recognition device an area is extracted from the entire image to perform object recognition.
  • recognition processing is performed even in an empty image area where an object clearly does not exist. Therefore, there is a possibility that the calculation time for object recognition will be longer.
  • a first detection device that generates image data having a predetermined imaging region and a first detection device are used.
  • a second detection device that detects a specific region in which an object is likely to exist with respect to a detection region including at least a part of the predetermined imaging region.
  • An object recognition device that executes a recognition process for classifying an image pickup target with respect to the image data based on the specific area.
  • An object recognition system is provided.
  • the first detection device may be a camera that captures a visible image
  • the second detection device may be a millimeter wave radar that detects the specific region with millimeter waves.
  • the detection area may be the distance image data generated by the second detection device.
  • the second detection device may detect the specific area based on the distance information in the distance image data.
  • the object recognition device may execute a recognition process on the image data in the area corresponding to the specific area in the image data.
  • the object recognition device executes the recognition process on the object recognition area corresponding to the specific area based on the information on the image pickup range of the first detection device and the information on the image pickup range of the second detection device. May be good.
  • the object recognition device may execute the recognition process by a recognizer that has performed supervised learning with image data as an input and a category to be imaged as a teacher.
  • the object recognition device may recognize at least a car, a motorcycle, and a person.
  • a vehicle control device for controlling an automobile may be further provided based on the recognition result of the object recognition device.
  • the object recognition device is Based on the information regarding the imaging range of the first detection device and the information regarding the imaging range of the second detection device, the coordinates of the image data generated by the first detection device and the distance image data generated by the second detection device.
  • a camera position information conversion unit that generates a conversion formula that associates with the coordinates of
  • a recognition area extraction unit that extracts an object recognition area corresponding to the specific area based on the conversion formula, and a recognition area extraction unit. It may have a recognizer that takes image data in the object recognition area as input and outputs a category to be imaged.
  • the present disclosure includes a first detection step of generating image data having a predetermined imaging region, and a first detection step.
  • An object recognition method comprising the above is provided.
  • the first detection step is a step of capturing a visible image
  • the second detection step may be a step of detecting a specific region in which an object is likely to exist with respect to the detection region using millimeter waves. ..
  • the detection area may be distance image data having distance information.
  • the specific region may be detected based on the distance information in the distance image data.
  • the recognition process is executed for the object recognition area corresponding to the specific area based on the information regarding the image pickup range of the first detection step and the information regarding the image pickup range of the second detection step. May be good.
  • the object recognition process may recognize at least a car, a motorcycle, and a person.
  • the explanatory view which shows the structural example of the object recognition system which concerns on embodiment of this disclosure.
  • the figure which shows the example of the image data obtained by the object recognition system. A block diagram showing a detailed configuration of an object recognition system.
  • the flowchart which shows the recognition processing example of the object recognition system.
  • FIG. 1 is a diagram schematically showing a configuration example of the object recognition system 1 according to the embodiment of the present disclosure.
  • the object recognition system 1 is, for example, a system that can be mounted on an automobile, and is a system that can recognize an area of an object such as an automobile from an image.
  • the object recognition system 1 includes a camera 10, a millimeter wave radar 20, an object recognition device 30, a vehicle control device 40, and a display unit 50.
  • the camera 10 generates image data having a predetermined imaging region.
  • the camera 10 is a camera that captures a visible image, and the imaging range of the camera 10 and the imaging range of the millimeter-wave radar 20 can be geometrically associated with each other.
  • the camera 10 captures image data at predetermined intervals.
  • the millimeter wave radar 20 is, for example, a 79 gigahertz (GHz) band millimeter wave radar capable of detecting a wide angle.
  • the millimeter-wave radar 20 detects a specific region in which an object is likely to exist with respect to a detection region including at least a part of a predetermined imaging region.
  • the camera 10 according to the present embodiment corresponds to the first detection device, and the millimeter wave radar 20 according to the present embodiment corresponds to the second detection device.
  • the object recognition device 30 executes a recognition process for classifying an image to be imaged with respect to an image captured by the camera 10 based on a specific area.
  • the vehicle control device 40 automatically brakes the vehicle based on the recognition result of the object recognition device 30.
  • the display unit 50 is, for example, a liquid crystal monitor.
  • the display unit 50 displays an image output by the object recognition device 30.
  • FIG. 2 is a diagram showing an example of image data obtained by the object recognition system 1.
  • the image 700 is an image generated by the millimeter-wave radar 20, and is a so-called bird's-eye view in which the vertical axis r indicates the distance and the horizontal axis X indicates the length in the horizontal direction. That is, the image 700 is a diagram configured by imitating a view of the front of the millimeter wave radar 20 as viewed from above.
  • Region 704a is a region corresponding to an automobile.
  • the image 702 is an image captured by the camera 10, and the recognition area 704b is a region corresponding to the area 704a. Let y be the coordinate in the vertical direction of the image 702, and let Image_height be the length in the vertical direction.
  • the image 704c is image data obtained by cutting out the recognition area 704b.
  • FIG. 3 is a block diagram showing a detailed configuration of the object recognition system 1.
  • the camera 10 has an image sensor 100 and a camera backend 102.
  • the image sensor 100 is composed of a plurality of image pickup elements, converts an optical image into image data, and outputs the optical image.
  • the camera back end 102 is composed of, for example, an interface (IF) board and a common board.
  • the camera back end 102 has an image signal receiving unit 102a composed of an interface board and an image signal conversion unit 102b composed of a common board.
  • the image signal receiving unit 102a receives the image data generated by the image sensor 100 and outputs it to the image signal converting unit 102b.
  • the image signal conversion unit 102b performs noise reduction processing, reduction processing, and the like, and outputs the noise reduction processing to the object recognition device 30.
  • the millimeter wave radar 20 has a radar 200 and a radar backend 202.
  • the radar 200 has, for example, a transmitting antenna 200a and a receiving antenna 200b.
  • the transmitting antenna 200a emits a 79 GH band millimeter-wave radio wave capable of wide-angle distance detection.
  • the transmitting antenna 200a according to the present embodiment emits a millimeter-wave radio wave in the 79 GH band, but the present invention is not limited to this.
  • the transmitting antenna 200a may emit millimeter waves having a frequency of 30 GHz to 300 GHz.
  • the receiving antenna 200b converts the returned radio wave into a millimeter wave signal, which is reflected by the object.
  • the radar backend 202 is composed of, for example, an interface board and a common board. That is, the radar backend 202 has a millimeter wave signal processing unit 202a, a millimeter wave signal conversion unit 202b, and an object detection unit 202c.
  • the millimeter-wave signal processing unit 202a generates a millimeter-wave signal with a synthesizer, and transmits radio waves from the transmitting antenna 200a.
  • the millimeter-wave signal conversion unit 202b calculates the distance value and the speed to the reflector for each output angle of the radio wave based on the millimeter-wave signal output by the receiving antenna 200b.
  • the millimeter wave signal conversion unit 202b generates an image 700 in which the vertical axis represents the distance r to the reflecting object and the horizontal axis represents the distance orthogonal to the vertical axis. That is, the image 700 is distance image data having distance information.
  • the object detection unit 202c detects the object region 704a from the image 700 generated by the millimeter wave signal conversion unit 202b. For example, the object detection unit 202c performs clustering by labeling processing using the distance value in the image 700, and detects the clustered object region as a specific region 704a having a high possibility of the existence of an object.
  • the object recognition device 30 includes a camera position information conversion unit 300, a recognition area extraction unit 302, a recognition device 304, and a recognition result transmission unit 306.
  • the camera position information conversion unit 300 is, for example. It is possible to generate conversion-related information, for example, a conversion formula that associates the position coordinates in the bird's-eye view image 700 generated by the millimeter-wave signal conversion unit 202b with the position coordinates in the image 702 captured by the camera 10. The details of the conversion process of the camera position information conversion unit 300 will be described later with reference to FIGS. 7 and 8.
  • the recognition area extraction unit 302 extracts the recognition area 704b in the image 702 corresponding to the specific area 704a detected by the object detection unit 202c by using the conversion information generated by the camera position information conversion unit 300.
  • the recognition area extraction unit 302 can also enlarge or reduce the recognition area.
  • the recognizer 304 is, for example, a neural network that has undergone supervised learning.
  • This recognizer is, for example, a neural network in which an image is used as input data and a teacher signal is learned as a category such as a car, a motorcycle, a bicycle, or a person.
  • the recognizer 304 uses, for example, the image 704c in the recognition area 704b as input data, and outputs a recognition signal having category information of the object in the image of an automobile, a motorcycle, a bicycle, a person, etc. to the vehicle control device 40. ..
  • the recognizer 304 can also output the reliability of the recognition result as a numerical value of 0.0 to 1.0. The higher the value, the higher the reliability of the recognition result.
  • the recognizer 304 outputs a distance signal having distance information to the object in the image 704c to the vehicle control device 40 based on the specific area information in the bird's-eye view image corresponding to the recognition area.
  • the recognizer is configured by a neural network, but the present invention is not limited to this. For example, any type of recognizer that takes an image as an input and outputs an image category does not matter.
  • FIG. 4 is a diagram showing an arrangement example of each component of the object recognition system 1.
  • the image sensor 100 of the camera 10 is arranged inside the windshield of an automobile, and the radar 200 of the millimeter wave radar 20 is arranged on the front bumper.
  • the camera back end 102, the radar back end 204, the common substrate constituting the object recognition device 30, and the like are arranged in the cabin of the automobile. Further, between the camera back end 102, the radar back end 204, and the common substrate constituting the object recognition device 30. Signals are input and output by high-speed inter-board communication.
  • FIG. 5 is a diagram showing an example of an image output from the object recognition device 30 to the display unit 50.
  • the object recognition device 30 outputs a camera image and an image showing a recognition result for the camera image to the display unit 50.
  • the image showing the recognition result a frame showing the recognition area, the recognition result, and the reliability are displayed.
  • FIG. 6 is a diagram schematically showing a camera 10 arranged on the side surface of an automobile and a millimeter wave radar 20. As shown in FIG. 5, it is also possible to arrange the camera 10 and the millimeter wave radar 20 on the side surface of the automobile to recognize an object in the side surface direction.
  • Equation (1) is an equation showing the relationship between the vertical coordinates r of the image 700 and the vertical coordinates y of the image 702.
  • FIG. 7 is a diagram illustrating an angle when calculating Eq. (1) from information such as the mounting position of the camera 10 and the mounting position of the millimeter wave radar 20. That is, the optical axis of the camera 10 is L, the mounting angle of the camera 10 is ⁇ c, and the object angle is ⁇ r.
  • FIG. 8 is a diagram for explaining the distance between the camera 10 and the millimeter wave radar 20 and the angle at the time of calculation. That is, the vertical distance between the camera 10 and the millimeter wave radar 20 is hc, and the horizontal distance between the camera 10 and the millimeter wave radar 20 is rs. Further, the vertical imaging range of the camera 10 is indicated by an angle ⁇ fov.
  • the r of the image 700 and the vertical coordinate y of the image 702 can be calculated by the equation (1). That is, it is possible to associate the vertical coordinates of the image 700 with the vertical coordinates of the image 702 by the equation (1).
  • the horizontal coordinates can be calculated by the relationship between the angle ⁇ fov indicating the horizontal imaging range of the camera 10 and the distance r.
  • FIG. 9 is a flowchart showing an example of recognition processing of the object recognition system 1.
  • the millimeter-wave signal conversion unit 202b receives the millimeter-wave signal output by the receiving antenna 200b (step S100), and the millimeter-wave signal conversion unit 202b has a distance value and a speed to a reflector for each output angle of radio waves. Is calculated (step S102). Subsequently, a distance image is generated in which the vertical axis indicates the distance to the reflecting object and the horizontal axis indicates the distance orthogonal to the vertical axis.
  • the object detection unit 202c detects the object region 704a from the distance image. For example, the object detection unit 202c performs clustering by labeling processing using the distance value in the distance image, and detects the clustered object region as a specific region having a high possibility of existence of the object (step S104). Subsequently, the object detection unit 202c determines whether or not to transmit the detected specific area to the object recognition device 30 (step S106). For example, if the specific area is equal to or larger than a predetermined area, it is determined to be transmitted to the object recognition device 30 (YES in step S106), and the coordinate information of the specific area is output to the recognition area extraction unit 302.
  • step S106 when it is determined that the object is not transmitted to the object recognition device 30 (NO in step S106), the process from step S100 is repeated.
  • the recognition area extraction unit 302 converts the coordinate information of the specific area into the coordinates of the image of the camera 10 according to the equation (1) (step S108), receives the camera image from the camera 10 (step S110), and makes an object from the received image.
  • the recognition area is extracted (step S112). Subsequently, the recognition area extraction unit 302 outputs the object recognition area to the recognition device 304 (step S114).
  • the recognizer 304 performs recognition processing on the camera image in the object recognition area (step S116). Then, the recognizer 304 outputs the output to the vehicle control device 40 and the display unit 50, and ends the process.
  • the object recognition device 30 executes the recognition process for the area 704b of the camera image corresponding to the area 704a recognized by the millimeter wave radar 20.
  • the recognition area 704b is limited to the area where the object is likely to exist, so that the processing speed of the object recognition device 30 is further shortened.
  • a first detection device that generates image data having a predetermined imaging region
  • a second detection device that detects a specific region in which an object is likely to exist with respect to a detection region including at least a part of the predetermined imaging region.
  • An object recognition device that executes a recognition process for classifying an image pickup target with respect to the image data based on the specific area.
  • An object recognition system equipped with.
  • the first detection device is a camera that captures a visible image
  • the second detection device is a millimeter wave radar that detects the specific area with millimeter waves.
  • the object recognition device performs the recognition process on the object recognition area corresponding to the specific area based on the information on the image pickup range of the first detection device and the information on the image pickup range of the second detection device.
  • the object recognition system according to any one of (1) to (5) to be executed.
  • the object recognition system according to any one of (1) to (8), further including a vehicle control device that controls an automobile based on the recognition result of the object recognition device.
  • the object recognition device is Based on the information regarding the imaging range of the first detection device and the information regarding the imaging range of the second detection device, the coordinates of the image data generated by the first detection device and the distance image data generated by the second detection device.
  • a camera position information conversion unit that generates a conversion formula that associates with the coordinates of
  • a recognition area extraction unit that extracts an object recognition area corresponding to the specific area based on the conversion formula, and a recognition area extraction unit.
  • the object recognition system according to any one of (1) to (9), further comprising a recognizer that inputs image data in the object recognition area and outputs a category to be imaged.
  • An object recognition method comprising.
  • the first detection step is a step of capturing a visible image
  • the second detection step is a step of detecting a specific region in which an object is likely to exist with respect to the detection region by millimeter waves. , (11).
  • the object recognition step performs the recognition process on the object recognition area corresponding to the specific area based on the information on the image pickup range of the first detection step and the information on the image pickup range of the second detection step.
  • the object recognition method according to any one of (11) to (15) to be executed.
  • Object recognition system 10: Camera 10: Millimeter wave radar, 30: Object recognition device, 40: Vehicle control device, 300: Camera position information conversion unit, 302: Recognition area extraction unit, 304: Recognizer.

Abstract

［課題］物体認識の処理時間をより短縮可能な物体認識システム、および物体認識方法を提供する。 ［解決手段］上記の課題を解決するために、本開示では、所定の撮像領域を有する画像データを生成する第１検出装置と、所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出装置と、特定領域に基づいて、画像データに対して撮像対象を分類する認識処理を実行する物体認識装置と、を備える物体認識システムが提供される。

Description

物体認識システム、および物体認識方法
　本開示は、物体認識システム、および物体認識方法に関する。
　車載カメラの画像から物体認識を行う物体認識システムが一般に知られている。この物体認識装置では、画像全体から領域を抽出し、物体認識を行っている。ところが、物体が明らかに存在しない空の画像領域などにも認識処理を行う場合がある。このため、物体認識の演算時間がより多くかかってしまう恐れがある。
特開２００１－２９６３５７号公報
　物体認識の処理時間をより短縮可能な物体認識システム、および物体認識方法を提供する。
　上記の課題を解決するために、本開示では、所定の撮像領域を有する画像データを生成する第１検出装置と、
　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出装置と、
　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識装置と、
　を備える物体認識システムが提供される。
　前記第１検出装置は可視画像を撮像するカメラであり、前記第２検出装置は、ミリ波で前記特定領域を検出するミリ波レーダであってもよい。
　前記検出領域は、前記第２検出装置が生成した距離画像データであってもよい。
　前記第２検出装置は、前記距離画像データにおける距離情報基づき、前記特定領域を検出してもよい。
　前記物体認識装置は、前記画像データ内の前記特定領域に対応する領域内の画像データに対して認識処理を実行してもよい。
　前記物体認識装置は、前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行してもよい。
　前記物体認識装置は、画像データを入力とし、撮像対象のカテゴリを教師とする教師あり学習を行った認識器により前記認識処理を実行してもよい。
　前記物体認識装置は、自動車、バイク、及び人の内の少なくとも自動車を認識してもよい。
　前記物体認識装置の認識結果に基づき、自動車を制御する車両制御装置を更に有してもよい。
　前記物体認識装置は、
　前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記第１検出装置が生成した画像データの座標と、前記第２検出装置が生成した距離画像データの座標とを関連付ける変換式を生成するカメラ位置情報変換部と、
　前記変換式に基づき、前記特定領域に対応する物体認識領域を抽出する認識領域抽出部と、
　前記物体認識領域内の画像データを入力とし、撮像対象のカテゴリを出力する認識器とを、有してもよい。
　上記の課題を解決するために、本開示では、所定の撮像領域を有する画像データを生成する第１検出工程と、
　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出工程と、
　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識工程と、
　を備える物体認識方法が提供される。
　前記第１検出工程は、可視画像を撮像する工程であり、前記第２検出工程は、ミリ波で前記検出領域に対して物体の存在可能性が高い特定領域を検出する工程であってもよい。
　前記検出領域は、距離情報を有する距離画像データであってもよい。
　前記第２検出工程は、前記距離画像データにおける距離情報基づき、前記特定領域を検出してもよい。
　前記物体認識工程は、前記第１検出工程の撮像範囲に関する情報と、前記第２検出工程の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行してもよい。
　前記物体認識工程は、自動車、バイク、及び人の内の少なくとも自動車を認識してもよい。
本開示の実施の形態に係る物体認識システムの構成例を示す説明図。 物体認識システムにより得られる画像データ例を示す図。 物体認識システムの詳細な構成を示すブロック図。 物体認識システムの各構成部の配置例を示す図。 物体認識装置から表示部に出力される画像例を示す図。 自動車の側面に配置されたカメラと、ミリ波レーダとを模式的に示す図。 （１）式を演算する際の角度を説明する図。 カメラとミリ波レーダとの間の距離、及び演算する際の角度を説明する図。 物体認識システムの認識処理例を示すフローチャート。
　以下、図面を参照して、物体認識システム、および物体認識方法の実施形態について説明する。以下では、物体認識システム、物体認識システム、および物体認識方法の主要な構成部品分を中心に説明するが、物体認識システム、および物体認識方法には、図示又は説明されていない構成部品分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部品分や機能を除外するものではない。
　（一実施形態）
　図１は、本開示の実施の形態に係る物体認識システム１の構成例を模式的に示す図である。物体認識システム１は、例えば自動車に搭載可能なシステムであり、画像中から自動車などの対象物の領域を認識可能なシステムである。
　この物体認識システム１は、カメラ１０と、ミリ波レーダ２０と、物体認識装置３０と、車両制御装置４０と、表示部５０とを備える。カメラ１０は、所定の撮像領域を有する画像データを生成する。このカメラ１０は、可視画像を撮像するカメラであり、カメラ１０の撮像範囲と、ミリ波レーダ２０の撮像範囲と、を幾何学的に対応付けることが可能である。このカメラ１０は、所定の間隔で画像データを撮像する。
　ミリ波レーダ２０は、例えば広角な距離検知が可能な７９ギガヘルツ（ＧＨz）帯のミリ波レーダである。ミリ波レーダ２０は、所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する。なお、本実施形態に係るカメラ１０が、第１検出装置に対応し、本実施形態に係るミリ波レーダ２０が、第２検出装置に対応する。
　物体認識装置３０は、特定領域に基づいて、カメラ１０が撮像した画像に対して撮像対象を分類する認識処理を実行する。車両制御装置４０は、物体認識装置３０の認識結果に基づいて、自動車の自動制動などを行う。
　表示部５０は、例えば液晶モニタである。表示部５０は、物体認識装置３０の出力する画像を表示する。
　図２を参照にしつつ、図３に基づき、物体認識システム１の詳細な構成を説明する。図２は、物体認識システム１により得られる画像データ例を示す図である。画像７００は、ミリ波レーダ２０が生成した画像であり、縦軸ｒが距離、横軸Ｘが水平方向の長さを示す所謂鳥瞰図である。すなわち、この画像７００は、ミリ波レーダ２０の前方を上方から見た図を模して構成した図である。領域７０４ａは自動車に対応する領域である。また、画像７０２は、カメラ１０が撮像した画像であり、認識領域７０４ｂは、領域７０４ａに対応する領域である。画像７０２の縦方向の座標をｙとし、縦方向の長さをＩｍａｇｅ＿ｈｅｉｇｈｔとする。画像７０４ｃは、認識領域７０４ｂを切り出した画像データである。
　図３は、物体認識システム１の詳細な構成を示すブロック図である。図３に示すように、カメラ１０は、イメージセンサ１００と、カメラバックエンド１０２とを有する。イメージセンサ１００は、複数の撮像素子で構成され、光学像を画像データに変換して出力する。
　カメラバックエンド１０２は、例えば、インターフェース（ＩＦ）基板と共通基板とで構成される。このカメラバックエンド１０２は、インターフェース基板により構成される画像信号受信部１０２ａと、共通基板により構成される画像信号変換部１０２ｂとを有する。画像信号受信部１０２ａは、イメージセンサ１００が生成した画像データを受信し、画像信号変換部１０２ｂに出力する。画像信号変換部１０２ｂは、ノイズ低減処理、縮小処理などを行い物体認識装置３０に出力する。
　ミリ波レーダ２０は、レーダ２００と、レーダバックエンド２０２とを有する。レーダ２００は、例えば送信アンテナ２００ａと、受信アンテナ２００ｂと有する。送信アンテナ２００ａは、広角な距離検知が可能な７９ＧＨ帯のミリ波の電波を放出する。なお、本実施形態に係る送信アンテナ２００ａは、７９ＧＨ帯のミリ波の電波を放出するが、これに限定されない。例えば、送信アンテナ２００ａは、周波数にして３０ＧＨｚから３００ＧＨｚのミリ波を放出してもよい。受信アンテナ２００ｂは、対象物により反射し、戻ってきた電波をミリ波信号に変換する。
　レーダバックエンド２０２は、インターフェース基板と共通基板とで例えば構成される。すなわち、このレーダバックエンド２０２は、ミリ波信号処理部２０２ａと、ミリ波信号変換部２０２ｂと、物体検出部２０２ｃとを有する。
　ミリ波信号処理部２０２ａは、シンセサイザーでミリ波の信号を生成し、送信アンテナ２００ａから電波を送信する。
　　ミリ波信号変換部２０２ｂは、受信アンテナ２００ｂが出力するミリ波信号に基づき、電波の出力角度別の反射物までの距離値、速度を演算する。これにより、例えば、ミリ波信号変換部２０２ｂは、縦軸が反射物までの距離rであり、横軸が縦軸に直交する距離を示す画像７００を生成する。すなわち、この画像７００は、距離情報を有する距離画像データである。
　物体検出部２０２ｃは、ミリ波信号変換部２０２ｂが生成した画像７００内から物体領域７０４ａを検出する。例えば、物体検出部２０２ｃは、画像７００内の距離値を用いてラベリング処理によるクラスタリングを行い、クラスタリングした物体領域を物体の存在可能性が高い特定領域７０４ａとして検出する。
　物体認識装置３０は、カメラ位置情報変換部３００と、認識領域抽出部３０２と、認識器３０４と、認識結果送信部３０６とを有する。
　　カメラ位置情報変換部３００は、例えば。ミリ波信号変換部２０２ｂが生成した鳥瞰画像７００内の位置座標と、カメラ１０が撮像した画像７０２内の位置座標を対応付ける変換関係の情報、例えば変換式を生成することが可能である。なお、カメラ位置情報変換部３００の変換処理の詳細は、図７及び図８を用いて後述する。
　認識領域抽出部３０２は、カメラ位置情報変換部３００が生成した変換情報を用いて、物体検出部２０２ｃが検出した特定領域７０４ａに対応する画像７０２内の認識領域７０４ｂを抽出する。認識領域抽出部３０２は、認識領域を拡大、縮小することも可能である。
　認識器３０４は、例えば教師あり学習をしたニューラルネットワークである。この認識器は、例えば画像を入力データとし、教師信号を自動車、バイク、自転車、人などのカテゴリとして学習したニューラルネットワークである。これにより、認識器３０４は、例えば認識領域７０４ｂ内の画像７０４ｃを入力データとし、自動車、バイク、自転車、人などの画像中における対象物のカテゴリ情報を有する認識信号を車両制御装置４０に出力する。また、認識器３０４は、認識結果の信頼度を０．０～１．０の数値で出力することも可能である。数値が高くなるに従い、認識結果の信頼度が高いことを示している。
　また、認識器３０４は、認識領域に対応する鳥瞰画像内の特定領域情報に基づき、画像７０４ｃ中の対象物までの距離情報を有す距離信号を車両制御装置４０に出力する。なお、本実施形態では、認識器をニューラルネットワークで構成するが、これに限定されない。例えば、画像を入力とし、画像のカテゴリを出力する認識器ならその種類は問わないものである。
　図４は、物体認識システム１の各構成部の配置例を示す図である。図５に示すようにカメラ１０のイメージセンサ１００は、自動車のフロントガラスの内側に配置され、ミリ波レーダ２０のレーダ２００は、フロントバンパに配置される。一方で、カメラバックエンド１０２、レーダバックエンド２０４、及び物体認識装置３０を構成する共通基板などは自動車のキャビン内に配置される。また、カメラバックエンド１０２、レーダバックエンド２０４、物体認識装置３０を構成する共通基板間は。高速基板間通信により信号の入出力を行う。
　図５は、物体認識装置３０から表示部５０に出力される画像例を示す図である。図５に示すように、物体認識装置３０は、カメラ画像と、カメラ画像に対する認識結果を示す画像を表示部５０に出力する。例えば、認識結果を示す画像には、認識領域を示す枠と、認識結果と、信頼度とが表示される。
　図６は、自動車の側面に配置されたカメラ１０と、ミリ波レーダ２０とを模式的に示す図である。図５に示すように、カメラ１０と、ミリ波レーダ２０とを自動車の側面に配置し、側面方向の対象物を認識することも可能である。
　ここで、図２を参照しつつ図７、８を用いて、画像７００の縦座標ｒと画像７０２における縦座標ｙと、の関係を説明する。（１）式は、画像７００の縦座標ｒと画像７０２における縦座標ｙとの関係を示す式である。
　図７は、カメラ１０の取り付け位置と、ミリ波レーダ２０の取り付け位置の情報などから（１）式を演算する際の角度を説明する図である。すなわち、カメラ１０の光軸をＬとし、カメラ１０の取り付け角度をθｃとし、対象物角度をθｒとする。
　図８は、カメラ１０とミリ波レーダ２０との間の距離、及び演算する際の角度を説明する図である。すなわち、カメラ１０とミリ波レーダ２０と間の垂直距離をｈｃとし、カメラ１０とミリ波レーダ２０と間の水平距離をｒｓとする。また、カメラ１０の垂直方向の撮像範囲を角度θｆｏｖで示す。このような配置関係にある場合には、画像７００のｒと画像７０２における縦座標ｙは、（１）式で演算可能である。つまり（１）式により、画像７００の縦座標と画像７０２の縦座標を関連付けることが可能である。同様に、水平方向の座標は、カメラ１０の水平方向の撮像範囲を示す角度θｆｏｖと距離ｒとの関係で演算可能である。
Figure JPOXMLDOC01-appb-M000001
　図９は、物体認識システム１の認識処理例を示すフローチャートである。
　まず、ミリ波信号変換部２０２ｂは、受信アンテナ２００ｂが出力するミリ波信号を受信し（ステップＳ１００）し、ミリ波信号変換部２０２ｂは、電波の出力角度別の反射物までの距離値、速度を演算する（ステップＳ１０２）。続けて、縦軸が反射物までの距離であり、横軸が縦軸に直交する距離を示す距離画像を生成する。
　次に、物体検出部２０２ｃは、距離画像内から物体領域７０４ａを検出する。例えば、物体検出部２０２ｃは、距離画像内の距離値を用いてラベリング処理によるクラスタリングを行い、クラスタリングした物体領域を物体の存在可能性が高い特定領域として検出する（ステップＳ１０４）。続けて、物体検出部２０２ｃは、検出した特定領域を物体認識装置３０に送信するか否かを判定する（ステップＳ１０６）。例えば、特定領域が所定の面積以上であれば、物体認識装置３０に送信する判定し（ステップＳ１０６のＹＥＳ）、特定領域の座標情報を認識領域抽出部３０２に出力する。
　一方で、物体認識装置３０に送信しないと判定する場合（ステップＳ１０６のＮＯ）、ステップＳ１００からの処理をくり返す。
　認識領域抽出部３０２は、特定領域の座標情報をカメラ１０の画像の座標に（１）式に従い変換し（ステップＳ１０８）、カメラ１０からカメラ画像を受信し（ステップＳ１１０）、受信した画像から物体認識領域を抽出する（ステップＳ１１２）。続けて、認識領域抽出部３０２は、物体認識領域を認識器３０４に出力する（ステップＳ１１４）。
　次に、認識器３０４は、物体認識領域のカメラ画像に認識処理を行う（ステップＳ１１６）。そして、認識器３０４は、車両制御装置４０及び表示部５０に出力し、処理を終了する。
　以上説明したように、本実施形態によれば、ミリ波レーダ２０で物体認識した領域７０４ａに対応するカメラ画像の領域７０４bに対して、物体認識装置３０が認識処理を実行することとした。これにより、認識領域７０４bが、物体が存在する可能性の高い領域に限定されるので物体認識装置３０の処理速度がより短縮化される。
　なお、本技術は以下のような構成を取ることができる。
　（１）所定の撮像領域を有する画像データを生成する第１検出装置と、
　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出装置と、
　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識装置と、
　を備える物体認識システム。
　（２）前記第１検出装置は可視画像を撮像するカメラであり、前記第２検出装置は、ミリ波で前記特定領域を検出するミリ波レーダである、（１）に記載の物体認識システム。
　（３）前記検出領域は、前記第２検出装置が生成した距離画像データである、（２）に記載の物体認識システム。
　（４）前記第２検出装置は、前記距離画像データにおける距離情報基づき、前記特定領域を検出する、（３）に記載の物体認識システム。
　（５）前記物体認識装置は、前記画像データ内の前記特定領域に対応する領域内の画像データに対して認識処理を実行する、（１）乃至（４）のいずれか一項に記載の物体認識システム。
　（６）前記物体認識装置は、前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行する、（１）乃至（５）のいずれか一項に記載の物体認識システム。
　（７）前記物体認識装置は、画像データを入力とし、撮像対象のカテゴリを教師とする教師あり学習を行った認識器により前記認識処理を実行する、（１）乃至（６）のいずれか一項に記載の物体認識システム。
　（８）前記物体認識装置は、自動車、バイク、及び人の内の少なくとも自動車を認識する、（１）乃至（７）のいずれか一項に記載の物体認識システム。
　（９）前記物体認識装置の認識結果に基づき、自動車を制御する車両制御装置を更に有する、（１）乃至（８）のいずれか一項に記載の物体認識システム。
　（１０）前記物体認識装置は、
　前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記第１検出装置が生成した画像データの座標と、前記第２検出装置が生成した距離画像データの座標とを関連付ける変換式を生成するカメラ位置情報変換部と、
　前記変換式に基づき、前記特定領域に対応する物体認識領域を抽出する認識領域抽出部と、
　前記物体認識領域内の画像データを入力とし、撮像対象のカテゴリを出力する認識器とを、有する、（１）乃至（９）のいずれか一項に記載の物体認識システム。
　（１１）所定の撮像領域を有する画像データを生成する第１検出工程と、
　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出工程と、
　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識工程と、
　を備える物体認識方法。
　（１２）前記第１検出工程は、可視画像を撮像する工程であり、前記第２検出工程は、ミリ波で前記検出領域に対して物体の存在可能性が高い特定領域を検出する工程である、（１１）に記載の物体認識方法。
　（１３）前記検出領域は、距離情報を有する距離画像データである、（１２）に記載の物体認識方法。
　（１４）前記第２検出工程は、前記距離画像データにおける距離情報基づき、前記特定領域を検出する、（１３）に記載の物体認識方法。
　（１５）前記物体認識工程は、前記画像データ内の前記特定領域に対応する領域内の画像データに対して認識処理を実行する、（１１）乃至（１４）のいずれか一項に記載の物体認識方法。
　（１６）前記物体認識工程は、前記第１検出工程の撮像範囲に関する情報と、前記第２検出工程の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行する、（１１）乃至（１５）のいずれか一項に記載の物体認識方法。
　（１７）前記物体認識工程は、画像データを入力とし、撮像対象のカテゴリを教師とする教師あり学習を行った認識器により前記認識処理を実行する、（１１）乃至（１６）のいずれか一項に記載の物体認識方法。
　（１８）前記物体認識工程は、自動車、バイク、及び人の内の少なくとも自動車を認識する、（１１）乃至（１６）のいずれか一項に記載の物体認識方法。
　１：物体認識システム、１０：カメラ１０：ミリ波レーダ、３０：物体認識装置、４０：車両制御装置、３００：カメラ位置情報変換部、３０２：認識領域抽出部、３０４：認識器。

Claims (18)

  1. 　所定の撮像領域を有する画像データを生成する第１検出装置と、
    　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出装置と、
    　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識装置と、
    　を備える物体認識システム。
  2. 　前記第１検出装置は可視画像を撮像するカメラであり、前記第２検出装置は、ミリ波で前記特定領域を検出するミリ波レーダである、請求項１に記載の物体認識システム。
  3. 　前記検出領域は、前記第２検出装置が生成した距離画像データである、請求項２に記載の物体認識システム。
  4. 　前記第２検出装置は、前記距離画像データにおける距離情報に基づき、前記特定領域を検出する、請求項３に記載の物体認識システム。
  5. 　前記物体認識装置は、前記画像データ内の前記特定領域に対応する領域内の画像データに対して認識処理を実行する、請求項１に記載の物体認識システム。
  6. 　前記物体認識装置は、前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行する、請求項１に記載の物体認識システム。
  7. 　前記物体認識装置は、画像データを入力とし、撮像対象のカテゴリを教師とする教師あり学習を行った認識器により前記認識処理を実行する、請求項１に記載の物体認識システム。
  8. 　前記物体認識装置は、自動車、バイク、及び人の内の少なくとも自動車を認識する、請求項１に記載の物体認識システム。
  9. 　前記物体認識装置の認識結果に基づき、自動車を制御する車両制御装置を更に有する、請求項１に記載の物体認識システム。
  10. 　前記物体認識装置は、
    　前記第１検出装置の撮像範囲に関する情報と、前記第２検出装置の撮像範囲に関する情報に基づき、前記第１検出装置が生成した画像データの座標と、前記第２検出装置が生成した距離画像データの座標とを関連付ける変換式を生成するカメラ位置情報変換部と、
    　前記変換式に基づき、前記特定領域に対応する物体認識領域を抽出する認識領域抽出部と、
    　前記物体認識領域内の画像データを入力とし、撮像対象のカテゴリを出力する認識器とを、有する、請求項１に記載の物体認識システム。
  11. 　所定の撮像領域を有する画像データを生成する第１検出工程と、
    　前記所定の撮像領域の少なくとも一部を含む検出領域に対して物体の存在可能性が高い特定領域を検出する第２検出工程と、
    　前記特定領域に基づいて、前記画像データに対して撮像対象を分類する認識処理を実行する物体認識工程と、
    　を備える物体認識方法。
  12. 　前記第１検出工程は、可視画像を撮像する工程であり、前記第２検出工程は、ミリ波で前記検出領域に対して物体の存在可能性が高い特定領域を検出する工程である、
    　請求項１１に記載の物体認識方法。
  13. 　前記検出領域は、距離情報を有する距離画像データである、請求項１２に記載の物体認識方法。
  14. 　前記第２検出工程は、前記距離画像データにおける距離情報基づき、前記特定領域を検出する、請求項１３に記載の物体認識方法。
  15. 　前記物体認識工程は、前記画像データ内の前記特定領域に対応する領域内の画像データに対して認識処理を実行する、請求項１１に記載の物体認識方法。
  16. 　前記物体認識工程は、前記第１検出工程の撮像範囲に関する情報と、前記第２検出工程の撮像範囲に関する情報に基づき、前記特定領域に対応する物体認識領域に対して前記認識処理を実行する、請求項１１に記載の物体認識方法。
  17. 　前記物体認識工程は、画像データを入力とし、撮像対象のカテゴリを教師とする教師あり学習を行った認識器により前記認識処理を実行する、請求項１１に記載の物体認識方法。
  18. 　前記物体認識工程は、自動車、バイク、及び人の内の少なくとも自動車を認識する、請求項１１に記載の物体認識方法。
PCT/JP2021/004229 2020-02-27 2021-02-05 物体認識システム、および物体認識方法 WO2021171958A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112021001304.1T DE112021001304T5 (de) 2020-02-27 2021-02-05 Objekterkennungssystem und objekterkennungsverfahren
US17/904,712 US20230074680A1 (en) 2020-02-27 2021-02-05 Object recognition system and object recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020032087A JP2023046417A (ja) 2020-02-27 2020-02-27 物体認識システム、および物体認識方法
JP2020-032087 2020-02-27

Publications (1)

Publication Number Publication Date
WO2021171958A1 true WO2021171958A1 (ja) 2021-09-02

Family

ID=77490479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004229 WO2021171958A1 (ja) 2020-02-27 2021-02-05 物体認識システム、および物体認識方法

Country Status (4)

Country Link
US (1) US20230074680A1 (ja)
JP (1) JP2023046417A (ja)
DE (1) DE112021001304T5 (ja)
WO (1) WO2021171958A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509413A (ja) * 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2012198774A (ja) * 2011-03-22 2012-10-18 Toyota Central R&D Labs Inc 規範車速算出装置及びプログラム
JP2014142202A (ja) * 2013-01-22 2014-08-07 Denso Corp 車載物標検出装置
US20190120955A1 (en) * 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4308405B2 (ja) 2000-04-14 2009-08-05 富士通テン株式会社 物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509413A (ja) * 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2012198774A (ja) * 2011-03-22 2012-10-18 Toyota Central R&D Labs Inc 規範車速算出装置及びプログラム
JP2014142202A (ja) * 2013-01-22 2014-08-07 Denso Corp 車載物標検出装置
US20190120955A1 (en) * 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Also Published As

Publication number Publication date
DE112021001304T5 (de) 2023-03-16
US20230074680A1 (en) 2023-03-09
JP2023046417A (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
JP4857840B2 (ja) 物体検出方法および物体検出装置
JP6722066B2 (ja) 周辺監視装置及び周辺監視方法
JP2001099930A (ja) 周辺監視センサ
EP3531398B1 (en) Rear lateral side warning apparatus and method with learning of driving pattern
KR20200040391A (ko) 차량용 레이더의 보완 장치 및 방법
JP5718726B2 (ja) 車両周辺監視装置
JP2003217099A (ja) 車載型周辺監視装置
WO2006058360A1 (en) Integrated vehicular system for low speed collision avoidance
US20230040994A1 (en) Information processing apparatus, information processing system, information processing program, and information processing method
WO2023071992A1 (zh) 多传感器信号融合的方法、装置、电子设备及存储介质
US20200108837A1 (en) Device, method, and system for controling road curvature of vehicle
CN112784679A (zh) 车辆避障方法和装置
JP3470268B2 (ja) 目標抽出方法
WO2021171958A1 (ja) 物体認識システム、および物体認識方法
JP4261321B2 (ja) 歩行者検出装置
US11808876B2 (en) Vehicular radar system with vehicle to infrastructure communication
JP5012163B2 (ja) 検出装置及びプログラム
CN112672047B (zh) 图像采集系统及图像处理方法
JP4394476B2 (ja) 車両用運転支援装置
KR102391173B1 (ko) 인공지능 기계학습이 적용된 레이더 센서 개발 방법
CN113204025B (zh) 车身状态的确定系统及方法
US20230281774A1 (en) See-through camera apparatus
JP2018097792A (ja) 移動体検出装置及び移動体検出システム
JP2002048866A (ja) 乱気流検出装置及び乱気流検出方法
CN114953885A (zh) 车辆振动噪声控制系统、集成底盘结构以及新能源汽车

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761514

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21761514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP