WO2021229866A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2021229866A1
WO2021229866A1 PCT/JP2021/003652 JP2021003652W WO2021229866A1 WO 2021229866 A1 WO2021229866 A1 WO 2021229866A1 JP 2021003652 W JP2021003652 W JP 2021003652W WO 2021229866 A1 WO2021229866 A1 WO 2021229866A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
image
unit
image processing
difference
Prior art date
Application number
PCT/JP2021/003652
Other languages
English (en)
French (fr)
Inventor
フェリペ ゴメズカバレロ
雅幸 竹村
健 志磨
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112021001483.8T priority Critical patent/DE112021001483T5/de
Priority to CN202180032580.0A priority patent/CN115485721A/zh
Publication of WO2021229866A1 publication Critical patent/WO2021229866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to, for example, an in-vehicle image processing device for image-based obstacle detection and recognition in an environment near the own vehicle.
  • an object detection device using images has been used to detect moving objects and static objects (obstacles) in the vicinity.
  • the above image-based object detection device can be used for monitoring systems that detect intrusions or abnormalities, or in-vehicle systems that support safe driving of automobiles.
  • such devices display the surrounding environment to the driver and / or detect moving or static objects (obstacles) around the vehicle and have the potential for collisions between the vehicle and the obstacles. It is configured to notify the driver of certain risks and automatically stop the vehicle based on the decision system to avoid a collision between the vehicle and an obstacle.
  • obstacles moving or static objects
  • an object detection device for example, a device that performs a bird's-eye view conversion of an image of the surroundings of a vehicle and detects an obstacle by using a difference between two time-dependent bird's-eye view conversion images (hereinafter, also referred to as a bird's-eye view image). It is known (see Patent Documents 1 and 2).
  • Patent Documents 1 and 2 use the difference between two temporally different bird's-eye view converted images in detecting an obstacle.
  • the own vehicle and the target obstacle are in the collision path, the speed at which the own vehicle and the target obstacle (pedestrian, etc.) approach the collision point is the same, and therefore the target obstacle and the self until they reach the collision point.
  • the system When the system is used in a scenario where the relative angle to the vehicle remains the same, it produces the effect of minimizing the movement of the target obstacle on the image acquired by the sensor mounted on the vehicle. It reduces the amount of difference between the images captured by the sensor, which can lead to false positives or false object detection results, which can reduce the reliability of the system.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to appropriately cluster difference data of a target moving obstacle even if the relative angle of the target moving obstacle to the own vehicle remains constant.
  • an object of the present invention is to appropriately cluster difference data of a target moving obstacle even if the relative angle of the target moving obstacle to the own vehicle remains constant.
  • For obstacle detection and recognition that can be (grouped) and can improve the reliability of obstacle detection and recognition even if the differential data of the target obstacle is reduced, as in the collision path scenario. It is to provide an image processing apparatus.
  • the image processing device is an image processing device that detects surrounding objects reflected in an image, and is an image difference calculation unit that calculates difference data of a plurality of bird's-eye views images at different times.
  • the difference data clustering unit that clusters the difference data
  • the cluster connection unit that connects the clusters based on the characteristics of the bird's-eye view image using the result of the difference data clustering unit, and the combination result of the cluster connection unit. It has a cluster coupling determination unit that determines based on the characteristics of an object.
  • the difference data clusters are combined using the cluster coupling unit, and then the appropriate coupling is executed using the cluster coupling determination unit.
  • the obstacle detection can be performed by appropriately clustering (grouping) the difference data of the target moving obstacle, so that the obstacle detection and recognition can be performed.
  • the reliability or accuracy of the data can be increased, and therefore false obstacle detection can be avoided even in a collision path scenario.
  • the difference data of the target obstacle is obtained by clustering (grouping) the difference data of the target moving obstacle, combining the difference data clusters, and determining that the appropriate cluster connection is executed. Even when it is reduced, the reliability or accuracy of obstacle detection and recognition can be improved.
  • it is a diagram illustrating an image space acquired by a sensor and converted by an image conversion unit, and a difference calculated by an image difference calculation unit.
  • It is a figure which shows two different periods of a situation which a own vehicle and a target pedestrian are moving toward a collision point, (a) shows the previous period, and (b) shows the present period.
  • It is a figure explaining the difference data grouping of the situation where the own vehicle and the target pedestrian are moving toward a collision point.
  • the image processing unit 110 has a configuration in which a CPU, RAM, ROM, etc. are connected via a bus, and the CPU executes various control programs stored in the ROM to operate the entire system. To control.
  • two camera sensors (hereinafter, may be simply referred to as a camera or a sensor) are paired as a single in-vehicle stereo camera and correspond to the sensing unit 111.
  • this does not limit the devices used in other configurations in which a single monocular camera is used as the sensing unit 111.
  • FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment of the present invention.
  • the image processing device 110 of the present embodiment is mounted on a vehicle (own vehicle), for example, and converts the surrounding image captured by the camera sensor (sensing unit 111) into a bird's-eye view, and converts a plurality of bird's-eye views at different times (time). It is a device that detects and recognizes obstacles (surrounding objects reflected in the image) using the difference between the images (overhead images).
  • the image processing device 110 includes a sensing unit 111 including two camera sensors located at the same height, an image acquisition unit 121, an image conversion unit 131, an image difference calculation unit 141, a difference data clustering unit 151, and a cluster combination.
  • a unit 161, a cluster coupling determination unit 171, an obstacle detection unit 181 and a control application processing unit 191 are provided.
  • the image acquisition unit 121 processes the image acquired by one or both of the two camera sensors corresponding to the sensing unit 111 in order to adjust the image characteristics for further processing. This process includes, but is not limited to, image resolution adjustment that allows the input image to be reduced or enlarged to change the resulting image size, and identification of the input image from the original input image for further processing.
  • Image interest area selection may be included to crop (crop) the area of. The parameters used for image resolution adjustment and image interest area selection can be controlled based on the current driving environment and conditions (speed, turning speed, etc.).
  • the image conversion unit 131 has a function of performing geometrical image conversion of the image acquired and processed by the image acquisition unit 121 based on a specific geometric formula or conversion table calculated or adjusted in advance.
  • This image transformation may include, but is not limited to, affine transformations such as rotation, scaling, shearing, and bird's-eye view transformations where flat ground is considered a reference.
  • the acquired images CT21 and CT22 are converted by the image conversion unit 131, resulting in a bird's-eye view conversion image CT31 and a bird's-eye view conversion image CT32.
  • the image difference calculation unit 141 has a function of calculating a difference image showing a difference between at least two images having different times converted by the image conversion unit 131.
  • Known methods including but not limited to, simple interpixel difference calculations and filter-based image difference calculations can be applied to the difference calculations.
  • the difference image CT41 showing the difference data P0D that can be generated from the pedestrian P0 and the difference data OB0D that can be generated from the predetermined object OB0 is a bird's-eye view conversion image CT31 corresponding to the previous period and the current period.
  • the image difference calculation unit 141 Calculated by the image difference calculation unit 141 based on the bird's-eye view conversion image CT32 corresponding to the above, and by using the motion data of the own vehicle to adjust / align the image before executing the image difference calculation process. Will be done.
  • the cluster connection unit 161 has a function of combining (combining) clusters of difference data created by the difference data clustering unit 151 based on the characteristics of the cluster group and the difference image. For example, individual clusters that are in the same radial position with respect to their vehicle (on the difference image) tend to belong to the same target obstacle and therefore meet a given set of conditions (eg, a given size or number of pixels). If so, they can be combined into a single group. Other methods of joining clusters together can also be included.
  • the cluster connection determination unit 171 has a function of determining the reliability of a plurality of cluster connections performed by the cluster connection unit 161. This determination is, in principle, based on a predetermined set of conditions regarding the observable features of the subject obstacle (eg, feasible size / shape if the subject is a pedestrian). This determination results in the activation or cancellation of the join operation performed by the cluster join unit 161.
  • the join operation is valid, the cluster (join) joined by the cluster join portion 161 is maintained as it is.
  • the join operation is canceled, the clusters joined by the cluster join portion 161 are separated and returned to the original state before the operation performed by the cluster join portion 161.
  • An exemplary determination is a test of a given coupled cluster against a discriminator (such as a pedestrian discriminator) corresponding to the target obstacle class for which the system is focused on detection, depending on the resulting discriminant score.
  • Coupled clusters can be activated or canceled.
  • Other methods can be used, such as pixel brightness analysis and comparison between merged clusters, or edge (pixels in an image whose brightness changes rapidly) analysis and comparison between merged clusters. It can also include other methods of determining multiple cluster joins.
  • the obstacle detection unit 181 is a cluster enabled by the image acquired by the image acquisition unit 121, the difference image calculated by the image difference calculation unit 141, the result of the difference data clustering unit 151, and the result of the cluster combination determination unit 171. Using the result of the joint portion 161 it has a function of detecting a three-dimensional object reflected in an image and calculating the position thereof.
  • obstacle detection refers to a process in which at least the following tasks are executed. That is, target object detection (position in image space), target object identification (automobile / vehicle, two-wheeled vehicle, bicycle, pedestrian, pole, etc.), distance measurement of the target object from the own vehicle in three-dimensional space, target object. Speed / speed calculation.
  • the control application processing unit 191 has a function of determining a control application to be executed by the vehicle equipped with the image processing device 110 according to the obstacle recognized by the obstacle detection unit 181.
  • the vehicle V and the pedestrian P1 are moving at the same speed toward the collision point CP1 (intersection, etc.), whereby X as the vehicle V and the pedestrian P1 approach the collision point CP1.
  • X as the vehicle V and the pedestrian P1 approach the collision point CP1.
  • the change in the position of the pedestrian P1 with respect to the vehicle V is clearly visible in the coordinates of CT11 and CT12, but the effect of a certain relative angle between the pedestrian P1 and the vehicle V is the effect of the sensor (sensing unit) indicated by the CT21 and CT22. It is reflected in the minimum motion shown in both the image acquired by 111) and their corresponding transformations shown by CT31 and CT32, and subsequently affects the difference image calculated by the image difference calculator 141. ..
  • FIG. 4 shows an example of the result obtained by the image difference calculation unit 141.
  • the data from the old period (CT31) is first aligned with the data from the new period (CT32) and an image difference calculation is performed based on a known method, eg, a filter-based image difference.
  • a filter-based image difference For example, a simple approach based on the adjacent pixel difference filter score is implemented to calculate the difference between two bird's-eye view images. Pairs of pixels in the vicinity of the reference pixel in the filter (eg, diagonally separated) are compared, their luminance differences are calculated, and then the filter results for two different images on the same reference pixel are compared. , Calculate the difference count of the final value.
  • the arrangement used for pixel comparison is called a filter.
  • the shape, number, and comparison direction of the analyzed pixels that define the filter (eg, diagonal, horizontal, vertical, etc.) can be adjusted based on the application.
  • the result of the task executed by the difference data clustering unit 151 (here, after noise removal) is shown in CT411, based on a clustering method considering the distance (in image space) to the cluster center candidate between each difference pixel.
  • Difference data pixels are grouped and in the illustrated scenario, two are represented by a cluster (gr1) (eg, corresponding to the upper body of the pedestrian P1) and a cluster (gr2) (eg, corresponding to the lower body of the pedestrian P1). Become a different cluster.
  • the result of the task performed by the cluster coupling unit 161 is shown in CT412, and the cluster (gr1) and the cluster (gr2) are one coupled cluster (hereinafter referred to as a cluster group) based on the characteristics of the cluster group and the difference image. Also referred to as) (gr11).
  • This characteristic is not limited to this, but the low difference count pixel (that is, the difference in brightness between a plurality of bird's-eye view images) existing between the clusters (s12) coupled before noise removal is a predetermined value. Smaller pixels) (see also CT41 in FIG. 4), space between candidate clusters (spacing), vehicle position (specifically, camera position) (represented by the center of the bottom of the CT412 coordinates).
  • the cluster (gr11) is one of the same target obstacles standing on the ground at a predetermined distance from the vehicle V in the space indicated by the image converted by the image conversion unit 131 (overhead image conversion considered to be based on a flat ground). You can think of it as a department.
  • the cluster coupling determination unit 171 uses the cluster group (gr11) as an input for the determination process. For example, a bounding box (such as that in CT22 of FIG. 3B) corresponding to the size and position of the cluster group (gr11) in the image captured by the sensor is calculated and the data inside such a bounding box is Processed with one or more discriminators pre-trained to identify target obstacles (adult pedestrians, child pedestrians, bicycles, etc.), the results of one or more discriminators are Used to determine if the cluster group (gr11) is a valid cluster combination or if the cluster group (gr11) is canceled and separated into the original cluster (gr1) and the cluster (gr2). ..
  • a bounding box such as that in CT22 of FIG. 3B
  • Another exemplary metric for determining the outcome of cluster coupling is, for example, an assessment of the luminance differences between the coupled groups on the image transformed by the image transformant 131 and the space (interval) between them. ..
  • Other methods for evaluating the binding result are used in the same manner as the above method, as well as a combination of such methods.
  • the result of the task executed by the cluster coupling determination unit 171 is shown in CT413 (when it is valid) and CT414 (when it is canceled).
  • CT413 the cluster group (gr11) is maintained as it is, and in CT414, the cluster is maintained.
  • the group (gr11) is separated into the original cluster (gr1) and the cluster (gr2).
  • the image processing device 110 for obstacle detection and recognition is The sensing unit 111, which can capture an image of the scene in front of the device to which the device is attached, An image acquisition unit 121 that processes an image acquired by the sensing unit 111 and adjusts its characteristics (including, but not limited to, image size, image resolution, and image interest region). An image conversion unit 131 that performs a desired geometric image conversion on an image acquired and processed by the image acquisition unit 121, An image difference calculation unit 141 that calculates a difference image showing a difference between at least two images acquired and processed by the image acquisition unit 121 and converted by the image conversion unit 131.
  • Data clustering (grouping) is performed at the pixel level for the difference image calculated by the image difference calculation unit 141 using a predetermined clustering method, and a cluster (group) that may represent an obstacle in the environment near the own vehicle.
  • the differential data clustering unit 151 which creates a list of A cluster coupling unit 161 that executes data binding on the data calculated by the differential data clustering unit 151 so that two or more clusters can be combined into a single cluster group according to their characteristics.
  • a cluster connection determination unit 171 that determines the cluster connection result calculated by the cluster connection unit 161 based on a predetermined condition set and determines whether or not the combination result is valid.
  • An obstacle detection unit 181 that performs object detection and object recognition using the image acquired by the image acquisition unit 121 and the results of the difference data clustering unit 151, the cluster coupling unit 161 and the cluster coupling determination unit 171. It comprises a control application processing unit 191 that determines a control application to be executed by the device provided with the image processing device 110 based on the current state which may include at least the output from the obstacle detection unit 181.
  • the image processing device 110 has an image difference calculation unit 141 that calculates the difference data of a plurality of bird's-eye views images having different times, a difference data clustering unit 151 that clusters the difference data, and the difference data clustering.
  • a cluster coupling unit 161 that binds clusters to each other based on the characteristics of the bird's-eye view image using the results of the unit 151, and a cluster coupling determination unit 171 that determines the coupling result of the cluster coupling unit 161 based on the characteristics of the target object. , Have.
  • the configuration and operation of the image processing device 110 for obstacle detection and recognition according to the present embodiment have been described above.
  • the image processing device 110 according to the present embodiment appropriately clusters (groups) the difference data of the target moving obstacle even if the relative angle of the target moving obstacle to the own vehicle remains constant in the vicinity of the intersection or the like. By doing so, the reliability of obstacle recognition can be improved, and at the same time, the erroneous object detection rate can be reduced, the accuracy of object detection can be improved, and the running safety can be improved.
  • the present invention is not limited to the above-described embodiment, and includes various modified forms.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
  • Image processing device 111 Sensing unit 121 Image acquisition unit 131 Image conversion unit 141 Image difference calculation unit 151 Difference data clustering unit 161 Cluster connection unit 171 Cluster connection determination unit 181 Obstacle detection unit 191 Control application processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

対象移動障害物の自車両に対する相対角度が一定のままであっても、対象移動障害物の差分データを適切にクラスタリング（グループ化）でき、衝突経路のシナリオのように、対象障害物の差分データが減少しても、障害物の検出および認識の信頼性を向上させることのできる、障害物検出および認識のための画像処理装置を提供する。時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部１４１と、前記差分データをクラスタリングする差分データクラスタリング部１５１と、前記差分データクラスタリング部１５１の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部１６１と、前記クラスター結合部１６１の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部１７１と、を有する。

Description

画像処理装置
　本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。
　近年、近傍の移動物体および静的物体（障害物）を検出するために、画像を用いた物体検出装置が使用されている。
　上記の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途で使用することができる。
　車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。
　このような物体検出装置として、例えば、車両周囲を撮像した画像を俯瞰変換し、時間的に異なる二つの俯瞰変換画像（以下、俯瞰画像とも称する）の差分を用いて障害物を検出する装置が知られている（特許文献１、２参照）。
特許第６００３９８６号公報 特開２０１６－１３４７６４号公報
　しかし、上記特許文献１、２に記載された装置は、障害物を検出するに当たって、時間的に異なる二つの俯瞰変換画像の差分を使用している。
　よって、自車両と対象障害物が衝突経路にあり、自車両と対象障害物（歩行者など）が衝突点に近づく速度が同じであり、したがってそれらが衝突点に到達するまで対象障害物と自車両との相対角度が同じままであるシナリオで当該システムが使用される場合、自車両に搭載されたセンサによって取得された画像上で対象障害物の動きが最小になる効果を生み出し、これにより、センサによって取り込まれた画像間の差異量を減少させるので、誤検出または誤った物体検出結果を生み出し、システムの信頼性を低下させる可能性がある。
　本発明は、上記事情に鑑みてなされたもので、本発明の目的は、対象移動障害物の自車両に対する相対角度が一定のままであっても、対象移動障害物の差分データを適切にクラスタリング（グループ化）でき、衝突経路のシナリオのように、対象障害物の差分データが減少しても、障害物の検出および認識の信頼性を向上させることのできる、障害物検出および認識のための画像処理装置を提供することである。
　上記目的を達成すべく、本発明に係る画像処理装置は、画像に映る周囲の物体を検出する画像処理装置であって、時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部と、前記差分データをクラスタリングする差分データクラスタリング部と、前記差分データクラスタリング部の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部と、前記クラスター結合部の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部と、を有する。
　本発明に係る画像処理装置は、この構成を採用することにより、クラスター結合部を使用して差分データクラスターを結合し、次にクラスター結合判定部を使用して適切な結合が実行されていると判定することにより、対象障害物の差分データが減少しても、対象移動障害物の差分データを適切にクラスタリング（グループ化）することによって障害物検出を行うことができるため、障害物検出および認識の信頼性ないし精度を高めることができ、したがって、衝突経路のシナリオでも、誤った障害物検出を回避することができる。
　本発明によれば、対象移動障害物の差分データをクラスタリング（グループ化）し、差分データクラスターを結合し、適切なクラスター結合が実行されていると判定することにより、対象障害物の差分データが減少するときでも、障害物検出および認識の信頼性ないし精度を向上させることができる。
　上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施形態に係る画像処理装置の概略構成図である。 例示的なシナリオにおいて、センサにより取得され、画像変換部により変換された画像空間、そして画像差分算出部により算出された差分を説明する図である。 自車両および対象歩行者が衝突点に向かって移動している状況の２つの異なる期間を示し、（ａ）は以前の期間、（ｂ）は現在の期間を示す図である。 自車両および対象歩行者が衝突点に向かって移動している状況の差分画像（差分データ）算出を説明する図である。 自車両および対象歩行者が衝突点に向かって移動している状況の差分データグループ化を説明する図である。
　以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。
　図１～図５を参照して、本実施形態の画像処理装置１１０の構成および動作について説明する。図示は省略するが、画像処理装置１１０は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。
　以下に説明する構成では、２台のカメラセンサ（以下、単にカメラもしくはセンサと称することがある）が単一の車載ステレオカメラとして一対とされ、センシング部１１１に対応している。ただし、これは、単一の単眼カメラがセンシング部１１１として使用される他の構成で使用される装置を制限するものではない。
　図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１１０は、例えば車両（自車両）に搭載され、カメラセンサ（センシング部１１１）で撮像した周囲の画像を俯瞰変換し、時間的に（時刻が）異なる複数の俯瞰変換画像（俯瞰画像）の差分を用いて障害物（画像に映る周囲の物体）を検出および認識する装置である。
　図１において、画像処理装置１１０は、同じ高さに位置する２つのカメラセンサを含むセンシング部１１１、画像取得部１２１、画像変換部１３１、画像差分算出部１４１、差分データクラスタリング部１５１、クラスター結合部１６１、クラスター結合判定部１７１、障害物検出部１８１、制御アプリケーション処理部１９１を備える。
（画像取得部）
　画像取得部１２１は、さらなる処理のために画像特性を調整するために、センシング部１１１に対応する２つのカメラセンサの一方または両方により取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る（トリミングする）画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。
（画像変換部）
　画像変換部１３１は、予め計算または調整された特定の幾何学式または変換テーブルに基づいて、画像取得部１２１により取得および処理された画像の幾何学的画像変換を行う機能を有する。この画像変換には、これに限定されるものではないが、回転、拡大縮小、剪断、および平らな地面が基準と見なされる俯瞰画像変換などのアフィン変換が含まれ得る。
　例えば、図２に示すように、取得された画像ＣＴ２１およびＣＴ２２は、画像変換部１３１により変換され、結果として、俯瞰変換画像ＣＴ３１および俯瞰変換画像ＣＴ３２になる。
（画像差分算出部）
　画像差分算出部１４１は、画像変換部１３１により変換された時刻が異なる少なくとも２つの画像間の差異を示す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。
　例えば、図２に示すように、歩行者Ｐ０から生じ得る差分データＰ０Ｄおよび所定の物体ＯＢ０から生じ得る差分データＯＢ０Ｄを示す差分画像ＣＴ４１は、以前の期間に対応する俯瞰変換画像ＣＴ３１および現在の期間に対応する俯瞰変換画像ＣＴ３２に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、画像差分算出部１４１により計算される。
（差分データクラスタリング部）
　差分データクラスタリング部１５１は、画像差分算出部１４１により計算された差分画像の画素をクラスタリング（グループ化）する機能を有する。点（画素）間の距離を考慮した既知のクラスタリング手法が、このタスクに採用できる（例えば、K-meansアルゴリズム）。したがって、結果は、互いに近く、道路の上の対象障害物を表し得る差分画素（差分データ）のクラスターになる（図２とともに図４、図５を参照）。
（クラスター結合部）
　クラスター結合部１６１は、クラスターグループおよび差分画像の特性に基づいて、差分データクラスタリング部１５１により作成された差分データのクラスター同士を結合する（組み合わせる）機能を有する。例えば、（差分画像上で）自車両に対して同じ放射状位置にある個々のクラスターは、同じ対象障害物に属する傾向があるため、所定の条件セット（例えば、所定のサイズまたは画素数）を満たす場合、単一のグループに結合され得る。クラスター同士を結合する他の方法も含めることができる。
（クラスター結合判定部）
　クラスター結合判定部１７１は、クラスター結合部１６１が行う複数のクラスター結合の信頼性を判定する機能を有する。この判定は、原則として、対象障害物の観測可能な特徴（例えば、対象が歩行者の場合、実行可能なサイズ/形状）に関する所定の条件セットに基づいて行われる。この判定は、結果として、クラスター結合部１６１が行う結合操作の有効化またはキャンセルとなる。結合操作が有効であると、クラスター結合部１６１により結合されたクラスター（の結合）はそのまま維持される。結合操作がキャンセルされると、クラスター結合部１６１により結合されたクラスターは分離され、クラスター結合部１６１が行う操作の前の元の状態に戻る。
　例示的な判定としては、システムが検出に焦点を合わせている対象障害物クラスに対応する識別器（歩行者識別器など）に対する所定の結合クラスターのテストがあり、結果としての識別スコアに応じて、結合クラスターは有効化またはキャンセルされ得る。画素輝度解析とマージされたクラスター間の比較、または、エッジ（輝度が急激に変化する画像内の画素）解析とマージされたクラスター間の比較など、他の方法を使用することができる。また、複数のクラスター結合を判断する他の方法も含めることができる。
（障害物検出部）
　障害物検出部１８１は、画像取得部１２１が取得した画像、画像差分算出部１４１が計算した差分画像、差分データクラスタリング部１５１の結果、および、クラスター結合判定部１７１の結果により有効化されたクラスター結合部１６１の結果を用いて、画像に映る立体物を検出し、その位置を算出する機能を有する。
　本明細書において、「障害物検出」とは、少なくとも次のタスクが実行される処理を指すことに留意されたい。つまり、対象物体検出（画像空間内の位置）、対象物体識別（自動車/車両、二輪車両、自転車、歩行者、ポールなど）、３次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さの計算である。
（制御アプリケーション処理部）
　制御アプリケーション処理部１９１は、障害物検出部１８１により認識された障害物に応じて、当該画像処理装置１１０が搭載された車両が実行する制御アプリケーションを決定する機能を有する。
　ここで、画像処理装置１１０を車両Ｖの周囲を監視するシステムとして適用する場合について、図３（ａ）、（ｂ）を参照して説明する。図３（ａ）、（ｂ）は、図３（ｂ）が図３（ａ）の後に起こり、既知の期間で区切られた異なる時間フレームでのシナリオを示している。上から見たシーンはそれぞれＣＴ１１およびＣＴ１２で示され、センシング部１１１に対応するセンサにより取得された画像に見られるシーンはそれぞれＣＴ２１およびＣＴ２２で示され、画像変換部１３１により変換された、取得されたシーンの画像はそれぞれＣＴ３１およびＣＴ３２で示されている。
　以下で説明するケースでは、車両Ｖと歩行者Ｐ１は、衝突点ＣＰ１（交差点など）に向かって同じ速度で移動しており、これにより、車両Ｖと歩行者Ｐ１が衝突点ＣＰ１に近づくにつれてＸ１（Ｐ１～ＣＰ１）、Ｚ１（Ｖ～ＣＰ１）、およびＸ２（Ｐ１～ＣＰ１）、Ｚ２（Ｖ～ＣＰ１）で示される距離が減少する場合でも、図３（ａ）において角度（θ１）および図３（ｂ）において角度（θ２）で示されるように、車両Ｖと歩行者Ｐ１との間の一定の相対角度となる。車両Ｖに対する歩行者Ｐ１の位置の変化は、ＣＴ１１およびＣＴ１２の座標で明確に見えるが、歩行者Ｐ１と車両Ｖの間の一定の相対角度の影響は、ＣＴ２１およびＣＴ２２で示されるセンサ（センシング部１１１）により取得される画像、および、ＣＴ３１およびＣＴ３２で示されるそれらの対応する変換の両方に示される最小の動きに反映され、以降、画像差分算出部１４１により計算される差分画像に影響を与える。
（画像差分算出部の処理例）
　画像差分算出部１４１による結果の一例を図４に示す。図４では、古い期間からのデータ（ＣＴ３１）が新しい期間からのデータ（ＣＴ３２）に最初に位置合わせされ、既知の方法、例えばフィルタベースの画像差分に基づいて画像差分計算を実行する。例えば、隣接画素差分フィルタスコアに基づく簡単なアプローチが実装され、２つの俯瞰画像間の差分を計算する。（例えば、斜めに分離された）フィルタ内の基準画素の近隣の画素のペアが比較され、それらの輝度差を計算し、次に同じ基準画素上の２つの異なる画像に対するフィルタの結果を比較し、最終的な値の差分カウントを計算する。この単純なアプローチでは、値の差分カウントが多いほど、２つの画像間の差分が大きくなるため、そのような差を画像内の動きに関連付けることができる。そのため、値の差分カウントに対して閾値を設定することは、信頼できる差分と見なされ、ノイズ除去を実行することができる。そして、ノイズ除去後の結果としての差分画像は、さらなる処理のために準備される。
　なお、画素比較に使用される配置はフィルタと呼ばれる。フィルタを定義する解析される画素の形状、数、および比較方向（例えば、斜め、水平、垂直など）は、アプリケーションに基づいて調整できる。
　ノイズ除去前の差分画像の例示的な結果はＣＴ４１で示されており、上記で説明したようなシナリオにおいて、歩行者Ｐ１の特定の部分のみが２つの異なる期間で取得されたデータ間で移動しているように見えることが分かる（このケースでは、上半身と下半身、および真ん中の非常に低い差分カウントの、例えば低い差分カウントのいくつかの画素の部分）。なお、ＣＴ４１において、画素に対応する四角の大きさは、画像間の差分の大きさ（強弱）を表している。
（差分データクラスタリング部、クラスター結合部、クラスター結合判定部の処理例）
　次に、差分データクラスタリング部１５１、クラスター結合部１６１、およびクラスター結合判定部１７１が実行するタスクについて、図５に基づいて説明する。差分データクラスタリング部１５１が実行するタスクの結果（ここでは、ノイズ除去後）はＣＴ４１１に示されており、各差分画素間のクラスター中心候補に対する（画像空間の）距離を考慮したクラスタリング方法に基づいて、差分データ画素がグループ化され、説明されたシナリオにおいては、クラスター（ｇｒ１）（例えば歩行者Ｐ１の上半身に対応）とクラスター（ｇｒ２）（例えば歩行者Ｐ１の下半身に対応）で示される２つの異なるクラスターになる。
　クラスター結合部１６１が実行するタスクの結果はＣＴ４１２に示されており、クラスター（ｇｒ１）およびクラスター（ｇｒ２）は、クラスターグループおよび差分画像の特性に基づいて一つの結合されたクラスター（以下、クラスターグループとも称する）（ｇｒ１１）に結合される。この特性には、これに限定されるものではないが、ノイズ除去前に結合されたクラスター間（ｓ１２）に存在していた低差分カウント画素（つまり、複数の俯瞰画像間の輝度差が所定値よりも小さい画素）の量（図４のＣＴ４１を併せて参照）、候補クラスター間の空間（間隔）、車両位置（詳しくは、カメラ位置）（ＣＴ４１２の座標の底部中心で表される）に対する各クラスターの角度の類似性の少なくとも一つが含まれ得る。クラスター（ｇｒ１１）は、画像変換部１３１（平らな地面が基準と考えられる俯瞰画像変換）が変換する画像が示す空間において、車両Ｖから所定の距離で地面に立っている同じ対象障害物の一部と考えることができる。
　そして、クラスター結合判定部１７１は、クラスターグループ（ｇｒ１１）を判定処理のための入力とする。例えば、センサにより取り込まれる画像内のクラスターグループ（ｇｒ１１）のサイズおよび位置に対応するバウンディングボックス（図３（ｂ）のＣＴ２２内のものなど）が計算され、そのようなバウンディングボックスの内側のデータは、対象障害物（大人の歩行者、子どもの歩行者、自転車など）を識別するために事前にトレーニングされた１つまたは複数の識別器で処理され、１つまたは複数の識別器の結果は、クラスターグループ（ｇｒ１１）が有効なクラスターの組み合わせであるか、またはクラスターグループ（ｇｒ１１）がキャンセルされ、元のクラスター（ｇｒ１）とクラスター（ｇｒ２）に分離されるものかを判断するために使用される。クラスター結合の結果を判断するための別の例示的なメトリックは、例えば、画像変換部１３１が変換する画像上の結合されたグループ間の輝度差およびそれらの間の空間（間隔）の評価である。結合結果を評価する他の方法は、このような方法の組み合わせだけでなく、上記の方法と同様に使用される。クラスター結合判定部１７１が実行するタスクの結果はＣＴ４１３（有効である場合）、ＣＴ４１４（キャンセルされる場合）に示されており、ＣＴ４１３では、クラスターグループ（ｇｒ１１）がそのまま維持され、ＣＴ４１４では、クラスターグループ（ｇｒ１１）は元のクラスター（ｇｒ１）とクラスター（ｇｒ２）に分離される。
　クラスター結合判定部１７１の結果を用いることにより、衝突点ＣＰ１（交差点など）付近において、画像に映る立体物検出および位置算出を行うことができ、車両が実行する制御アプリケーションを決定することができる。
　以上で説明したように、図１に示される本実施形態に係る障害物検出および認識のための画像処理装置１１０は、
　当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部１１１と、
　センシング部１１１によって取得された画像を処理し、その特性（これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む）を調整する画像取得部１２１と、
　画像取得部１２１によって取得されて処理された画像に対して所望の幾何学的画像変換を実行する画像変換部１３１と、
　画像取得部１２１によって取得されて処理され、画像変換部１３１によって変換された少なくとも２つの画像間の差分を示す差分画像を算出する画像差分算出部１４１と、
　画像差分算出部１４１によって算出された差分画像に対して、所定のクラスタリング手法を用いて画素レベルでデータクラスタリング（グループ化）を行い、自車両近傍環境の障害物を表す可能性のあるクラスター（グループ）のリストを作成する差分データクラスタリング部１５１と、
　２つ以上のクラスターをそれらの特性に応じて単一のクラスターグループに結合できるように、差分データクラスタリング部１５１によって計算されたデータに対して、データ結合を実行するクラスター結合部１６１と、
　所定の条件セットに基づいて、クラスター結合部１６１によって計算されたクラスター結合結果を判定し、結合結果が有効か否かを判定するクラスター結合判定部１７１と、
　画像取得部１２１によって取得された画像と、差分データクラスタリング部１５１およびクラスター結合部１６１およびクラスター結合判定部１７１の結果とを用いて、物体検出および物体認識を行う障害物検出部１８１と、
　障害物検出部１８１からの出力を少なくとも含み得る現在の状態に基づいて、当該画像処理装置１１０が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部１９１と、を備える。
　すなわち、本実施形態に係る画像処理装置１１０は、時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部１４１と、前記差分データをクラスタリングする差分データクラスタリング部１５１と、前記差分データクラスタリング部１５１の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部１６１と、前記クラスター結合部１６１の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部１７１と、を有する。
　上記の処理を採用することにより、画像平面の観測される動きの欠如によって生じる空きスペースが候補グループ間にある場合でも、歩行者Ｐ１に対応するすべての差分データをグループ化できる。したがって、車両Ｖおよび歩行者Ｐ１が衝突点ＣＰ１に向かって同じ速度で移動している場合でも、歩行者Ｐ１を正しく検出および認識でき、システムの安定性および信頼性が向上する。
　以上、本実施形態に係る障害物検出および認識のための画像処理装置１１０の構成および動作について説明した。本実施形態に係る画像処理装置１１０は、交差点付近などにおいて、対象移動障害物の自車両に対する相対角度が一定のままであっても、対象移動障害物の差分データを適切にクラスタリング（グループ化）することにより、障害物認識の信頼性を高めることができ、同時に、誤った物体検出率を低減でき、物体検出の精度を高めて走行安全性を高めることができる。
　現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の趣旨および範囲内の全ての変更は、添付の特許請求の範囲内にあるものと意図される。
　また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１１０　画像処理装置
１１１　センシング部
１２１　画像取得部
１３１　画像変換部
１４１　画像差分算出部
１５１　差分データクラスタリング部
１６１　クラスター結合部
１７１　クラスター結合判定部
１８１　障害物検出部
１９１　制御アプリケーション処理部

Claims (4)

  1. 　画像に映る周囲の物体を検出する画像処理装置であって、
    　時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部と、
    　前記差分データをクラスタリングする差分データクラスタリング部と、
    　前記差分データクラスタリング部の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部と、
    　前記クラスター結合部の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部と、を有する、画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記俯瞰画像の特徴は、前記クラスター間に存在していた前記複数の俯瞰画像間の輝度差が所定値よりも小さい画素の量、前記クラスター間の間隔、または、前記画像を取得するセンサ位置に対する各クラスターの角度の類似性の少なくとも一つを含む、画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記クラスター結合判定部は、前記俯瞰画像内で結合されたクラスターグループのサイズおよび位置に対応するバウンディングボックス内のデータを、前記対象物体を識別するための識別器で処理することによって、前記クラスター結合部の結合結果を判定する、画像処理装置。
  4. 　請求項１に記載の画像処理装置において、
    　前記クラスター結合判定部は、前記クラスター結合部が行う結合操作が有効である場合、前記クラスター結合部により結合されたクラスター同士の結合を維持し、前記クラスター結合部が行う結合操作がキャンセルされる場合、前記クラスター結合部により結合されたクラスター同士を元の状態に分離する、画像処理装置。
PCT/JP2021/003652 2020-05-14 2021-02-02 画像処理装置 WO2021229866A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112021001483.8T DE112021001483T5 (de) 2020-05-14 2021-02-02 Bildverarbeitungsvorrichtung
CN202180032580.0A CN115485721A (zh) 2020-05-14 2021-02-02 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020085359A JP7379268B2 (ja) 2020-05-14 2020-05-14 画像処理装置
JP2020-085359 2020-05-14

Publications (1)

Publication Number Publication Date
WO2021229866A1 true WO2021229866A1 (ja) 2021-11-18

Family

ID=78511549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003652 WO2021229866A1 (ja) 2020-05-14 2021-02-02 画像処理装置

Country Status (4)

Country Link
JP (1) JP7379268B2 (ja)
CN (1) CN115485721A (ja)
DE (1) DE112021001483T5 (ja)
WO (1) WO2021229866A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008130015A (ja) * 2006-11-24 2008-06-05 Nikon Corp 被写体識別プログラム、および被写体識別装置
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2017163374A (ja) * 2016-03-10 2017-09-14 株式会社デンソー 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム
JP2018074411A (ja) * 2016-10-31 2018-05-10 株式会社デンソーテン 物体検出装置及び物体検出方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498448B2 (en) 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
JP6003986B2 (ja) 2012-07-27 2016-10-05 日産自動車株式会社 立体物検出装置、立体物検出方法及び異物検出装置
JP6454554B2 (ja) 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008130015A (ja) * 2006-11-24 2008-06-05 Nikon Corp 被写体識別プログラム、および被写体識別装置
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2017163374A (ja) * 2016-03-10 2017-09-14 株式会社デンソー 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム
JP2018074411A (ja) * 2016-10-31 2018-05-10 株式会社デンソーテン 物体検出装置及び物体検出方法

Also Published As

Publication number Publication date
JP2021179849A (ja) 2021-11-18
JP7379268B2 (ja) 2023-11-14
DE112021001483T5 (de) 2023-01-12
CN115485721A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
CN102997900B (zh) 外界识别方法、装置以及车辆系统
US8019122B2 (en) Vehicle side image recognition method and apparatus
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
US20050102070A1 (en) Vehicle image processing device
CN109871732B (zh) 停车格辨识系统及其方法
US11236991B2 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
US20190001910A1 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
US10796167B2 (en) Periphery recognition device
CN113297881A (zh) 一种目标检测方法及相关装置
US20220171975A1 (en) Method for Determining a Semantic Free Space
JPH11142168A (ja) 環境認識装置
JP2022550762A (ja) 衝突認識手段を用いた動力車両の周辺領域内にある離れたターゲット車両を追跡するための方法
WO2021229866A1 (ja) 画像処理装置
JPH08315299A (ja) 車両の外部環境認識装置
JP6816163B2 (ja) 少なくとも１つの物体を捕捉する方法、センサー装置のデバイス、センサー装置及び少なくとも１つのセンサー装置を備えるドライバー支援システム
EP3683718A1 (en) Driver assistance system and method for a motor vehicle
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
US11417115B2 (en) Obstacle recognition device
JP7225079B2 (ja) 障害物認識装置
WO2024004325A1 (ja) 外界認識装置及び外界認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803879

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21803879

Country of ref document: EP

Kind code of ref document: A1