JP7363574B2 - object detection device - Google Patents
object detection device Download PDFInfo
- Publication number
- JP7363574B2 JP7363574B2 JP2020032116A JP2020032116A JP7363574B2 JP 7363574 B2 JP7363574 B2 JP 7363574B2 JP 2020032116 A JP2020032116 A JP 2020032116A JP 2020032116 A JP2020032116 A JP 2020032116A JP 7363574 B2 JP7363574 B2 JP 7363574B2
- Authority
- JP
- Japan
- Prior art keywords
- grid
- votes
- coordinates
- detected
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、自身の車両(以下、自車という)の周辺に存在する物体を検知する物体検知装置に関するものである。 The present invention relates to an object detection device that detects objects existing around a vehicle (hereinafter referred to as the vehicle).
従来より、ソナーなどを用いて自車の周辺に存在する物体を検知し、その検知結果を自動駐車などの車両制御に用いている。例えば、物体検知装置として、特許文献1に提案されているものがある。
Conventionally, objects such as sonar have been used to detect objects around the vehicle, and the detection results are used for vehicle control such as automatic parking. For example, there is an object detection device proposed in
この装置には、投票数算出部、クラスター設定部、グリッド判別部および移動物体判別部が備えられている。投票数算出部は、レーダセンサなどの測距センサによる検出点の検出結果に基づいて、グリッドマップのグリッド毎に、測距センサの検出点が含まれる数である投票数を算出する。クラスター設定部は、測距センサによる検出点の検出結果に基づいて、検出点のクラスタリングにより、検知対象の物体であるクラスターをグリッドマップ上に設定する。グリッド判別部は、複数回算出されたグリッド毎の投票数の合計値に基づいて、クラスターが占有するグリッドから静止グリッドと移動グリッドとを判別する。移動物体判定部は、クラスターが占有するグリッドに含まれる静止グリッドおよび移動グリッドの配置に基づいて、クラスターが移動物体であるか静止物体であるか判定する。これらを用いて、自車の周辺に存在する物体を検知すると共に、検知対象の物体であるクラスターが移動物体であるか静止物体であるかを判定できるようにしている。 This device includes a vote count calculation section, a cluster setting section, a grid discrimination section, and a moving object discrimination section. The vote number calculation unit calculates the number of votes, which is the number including the detection points of the distance measurement sensor, for each grid of the grid map based on the detection results of the detection points by the distance measurement sensor such as a radar sensor. The cluster setting unit sets clusters, which are objects to be detected, on the grid map by clustering the detection points based on the detection results of the detection points by the distance measuring sensor. The grid determining unit determines whether the grid occupied by the cluster is a stationary grid or a moving grid based on the total number of votes for each grid calculated multiple times. The moving object determination unit determines whether the cluster is a moving object or a stationary object based on the arrangement of a stationary grid and a moving grid included in the grid occupied by the cluster. Using these, it is possible to detect objects around the vehicle and to determine whether a cluster of objects to be detected is a moving object or a stationary object.
しかしながら、特許文献1ではグリッドマップを用いて移動物体と静止物体の判定が行えるようにしているが、そのグリッドマップを用いて物体の座標を作成すると、グリッドで抽象化することによる量子化誤差が発生する。
However, in
本発明は上記点に鑑みて、グリッドマップを用いてグリッドに抽象化しても、量子化誤差の発生を抑制でき、精度良い物体検知を行うことが可能な物体検知装置を提供することを目的とする。 In view of the above points, an object of the present invention is to provide an object detection device that can suppress the occurrence of quantization errors and perform accurate object detection even when abstracted into a grid using a grid map. do.
上記目的を達成するため、本願請求項1に記載の発明は、自車(V)の周囲を複数のグリッドに分割したグリッドマップを用いて自車の周囲に存在する物体(100)を検知する物体検知装置であって、探査波を出力すると共に該探査波が物体で反射してきた反射波を取得することで物体の位置を測定する測距センサ(10)のセンシング情報を入力し、グリッドマップを用いて、測距センサのセンシング情報に含まれる物体が検知された位置となる検知座標を示したグリッドマップを作成する物体認識部(31)と、検知座標と対応するグリッドである主グリッドおよび該主グリッドの周囲に位置する周囲グリッドに対して所定の投票数を設定することで、自車の周囲に存在する物体の位置を示したグリッドマップを作成するグリッド作成部(32)と、グリッド作成部が作成するグリッドマップ中における投票数が所定の閾値を超えるグリッドを物体の存在するグリッドとして特定し、該特定されたグリッドと対応する検知座標を実際の物体の検知座標とする物体特定部(33)と、を有し、グリッド作成部は、主グリッドに閾値よりも小さな第1投票数を設定すると共に、周囲グリッドに第1投票数よりも小さな第2投票数を設定し、かつ、物体認識部で作成するグリッドマップ中において、検知座標が複数含まれている主グリッド、および、隣り合って連続している主グリッドには閾値より大きな数値の投票数を設定する。 In order to achieve the above object, the invention according to claim 1 detects objects (100) existing around the own vehicle using a grid map in which the surroundings of the own vehicle (V) are divided into a plurality of grids. The sensing information of the distance sensor (10), which is an object detection device and measures the position of an object by outputting a search wave and acquiring the reflected wave of the search wave reflected by an object, is input, and a grid map is generated. an object recognition unit (31) that creates a grid map showing the detection coordinates of the detected position of the object included in the sensing information of the ranging sensor, and a main grid that is a grid corresponding to the detection coordinates; a grid creation unit (32) that creates a grid map showing the positions of objects around the host vehicle by setting a predetermined number of votes for surrounding grids located around the main grid; an object identification unit that identifies a grid in which the number of votes exceeds a predetermined threshold value in the grid map created by the creation unit as a grid in which an object exists, and sets detection coordinates corresponding to the identified grid as actual detection coordinates of the object; (33), the grid creation unit sets a first number of votes smaller than the threshold value in the main grid, and sets a second number of votes smaller than the first number in the surrounding grid, and In the grid map created by the object recognition unit, a voting number larger than a threshold value is set for a main grid that includes a plurality of detected coordinates and for main grids that are adjacent and continuous.
このように、測距センサのセンシング情報に含まれる物体の検知座標を解像度の低いグリッドマップ上におけるグリッドに変換し、主グリッドおよび周囲グリッドに投票数を設定している。また、投票数を閾値と比較することで物体が存在するグリッドを特定している。そして、グリッドマップに基づいて物体の存在が検知されたグリッドについて、そのグリッドの座標を出力するのではなく、測距センサでの物体の検知座標をそのまま出力するようにしている。 In this way, the detected coordinates of the object included in the sensing information of the ranging sensor are converted to grids on a grid map with low resolution, and the number of votes is set for the main grid and surrounding grids. Furthermore, the grid in which the object exists is identified by comparing the number of votes with a threshold value. Then, for a grid in which the presence of an object is detected based on the grid map, the coordinates of the grid are not output, but the coordinates detected by the distance sensor are output as they are.
このため、グリッドの座標を出力するよりも、より物体の位置を的確に示したデータを出力できる。しがたって、グリッドマップを用いてグリッドに抽象化しても、そのグリッドに対応する検知座標を出力することで、量子化誤差の発生を抑制でき、精度良い物体検知を行うことが可能になる。 Therefore, data that more accurately indicates the position of the object can be output than outputting grid coordinates. Therefore, even if the object is abstracted into a grid using a grid map, by outputting detection coordinates corresponding to the grid, it is possible to suppress the occurrence of quantization errors and perform accurate object detection.
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 Note that the reference numerals in parentheses attached to each component etc. indicate an example of the correspondence between the component etc. and specific components etc. described in the embodiments to be described later.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Embodiments of the present invention will be described below based on the drawings. Note that in each of the following embodiments, parts that are the same or equivalent to each other will be described with the same reference numerals.
(第1実施形態)
本実施形態にかかる物体検知装置が備えられた車両制御システムについて説明する。ここでは、車両制御として、自動駐車を行う駐車支援制御を実行するものを例に挙げて説明するが、物体検知装置での物体検知結果に基づいて車両制御を行うものであれば、他の制御を行うものであっても構わない。
(First embodiment)
A vehicle control system equipped with an object detection device according to this embodiment will be described. Here, vehicle control will be explained using as an example parking assist control that performs automatic parking. It doesn't matter if it's something that does this.
図1に示すように、車両制御システム1は、ソナー10、物体検知装置を構成する電子制御装置(以下、ECUという)30、各種アクチュエータ40および表示器50を備えた構成とされている。
As shown in FIG. 1, the
ソナー10は、測距センサに相当するものである。ソナー10は、所定のサンプリング周期毎に、探査波として超音波を出力すると共にその反射波を取得することで得られた物標との相対速度や相対距離および物標が存在する方位角などの位置の測定結果をセンシング情報としてECU30へ逐次出力する。ソナー10は、物体を検知した場合には、その検知した位置の座標である検知座標をセンシング情報に含めて出力している。物体の検知座標については、移動三角測量法を用いて特定しており、自車の移動に伴って物体までの距離が変化することから、サンプリング周期毎の測定結果の変化に基づいて特定している。
The
ここではソナー10を1つのみ図示しているが、実際には、車両に対して複数箇所に備えられる。ソナー10としては、例えば前後のバンパーに車両左右方向に複数個並べて配置されたフロントソナーや、車両の側方位置に配置されたサイドソナーが挙げられる。ソナー10のサンプリング周期は、ソナー10の配置場所に応じて設定されており、例えばフロントソナーでは第1周期、サイドソナーでは第1周期以下の第2周期とされている。
Although only one
なお、ここでは測距センサとしてソナー10を例に挙げるが、測距センサとしては、ミリ波レーダやLIDAR(Light Detection and Ranging)なども挙げられる。ミリ波レーダは、探査波としてミリ波を用いた測定、LIDARは、探査波としてレーザ光を用いた測定を行うものであり、共に、例えば車両の前方などの所定範囲内に探査波を出力し、その出力範囲内において測定を行う。
Here, the
ECU30は、物体の検知を行うと共に自動駐車を行うための駐車支援制御を実現するための各種制御を行うものであり、CPU、ROM、RAM、I/Oなどを備えたマイクロコンピュータによって構成されている。具体的には、ECU30は、ソナー10のセンシング情報に基づいてグリッドマップを作成することで自車の周囲に存在する物体を検知し、その物体の検知座標を選定する。さらに、本実施形態の場合には、ECU30は、物体の検知結果に基づいて駐車支援制御を行い、駐車支援制御に基づいて各種アクチュエータ40を制御して自動駐車を行わせる。具体的には、ECU30は、各種制御を実行する機能部として、物体認識部31、グリッド作成部32、出力選定部33および制御部34を備えた構成とされている。
The ECU 30 performs various controls to detect objects and realize parking support control for automatic parking, and is composed of a microcomputer equipped with a CPU, ROM, RAM, I/O, etc. There is. Specifically, the ECU 30 detects objects existing around the vehicle by creating a grid map based on sensing information from the
物体認識部31は、ソナー10から入力されるセンシング情報に基づき、自車の周辺を複数のグリッドに分割したグリッドマップを用いて自車の周辺の物体の位置を示したグリッドマップを作成する。例えば、物体認識部31は、自車を中心として自車よりも大きな数m×数mの範囲のグリッドマップを作成している。グリッドマップは、平面視で自車両の周囲を格子状に区分けして複数のグリッドに分割したマップである。ここでは、物体認識部31は、例えば数~十数cmの正方形を1グリッド、つまり1単位領域として、自車の前後方向および自車の左右方向において格子状に区分けしたグリッドマップを作成している。そして、物体認識部31は、物体の検知座標がグリッドマップ上のどのグリッドに配置されるかを認識する。
The
なお、ソナー10の解像度は高く、グリッドマップをより細かいグリッドで構成することも可能であるが、メモリ容量や処理負荷の低減のために、グリッドサイズを大きくとることでデータを間引いて粗くしてもよい。このため、グリッドマップを用いて物体の検知座標をグリッドに抽象化すると、上記したように量子化誤差が発生することになる。
Note that the resolution of the
グリッド作成部32は、物体認識部31でのグリッドマップ上のどのグリッドに物体の検知座標が配置されるかの認識結果に基づいて、検知座標を投票数で表したグリッドへ変換する。投票数は物体の存在確率を示す指標となる値であり、ここでは投票数が大きい値であるほど物体の存在確率が高いことを示している。具体的には、ソナー10からのセンシング情報に含まれる検知座標と対応するグリッドを主グリッド、主グリッドの周囲に位置するグリッドを周囲グリッドとして、それぞれに対応する投票数を設定する。これにより、グリッド作成部32は、ソナー10のセンシング情報に含まれる検知座標を反映したグリッドマップを作成している。
The
一例を挙げると、図2に示すように、ソナー10のセンシング情報が示す物体の検知座標、すなわちソナー10が物体の存在を検知した位置を示す座標と対応するグリッドを主グリッドとしている。本図では、図の中心が主グリッドとなる場合を示している。また、主グリッドの周囲に位置するグリッドを周囲グリッドとしている。そして、主グリッドについては第1投票数、周辺グリッドについては第1投票数より少ない第2投票数を設定する。本実施形態の場合は主グリッドに隣り合う8つの周囲グリッドとして、この8つの周囲グリッドそれぞれに第2投票数を設定している。例えば、第1投票数については正の投票数、ここではXを設定している。第2投票数についても正の投票数、ここではYを設定している。なお、ここでは第1投票数および第2投票数を共に正の投票数としたが、第1投票数については正の投票数、第2投票数については0もしくは負の投票数など、投票数がすべて正である必要はない。
For example, as shown in FIG. 2, the main grid is a grid corresponding to the detection coordinates of the object indicated by the sensing information of the
また、投票数の設定については、検知座標ごとに行う。すなわち、同じグリッドに2つの検知座標がある場合、そのグリッドは主グリッドになるが、2つ分の第1投票数を加算することで投票数を設定する。第1投票数がXである場合には、2つ分の投票数となる2×Xがその主グリッドの投票数として設定される。周囲グリッドについても同様であり、2つ分の第2投票数を加算することで投票数が設定される。さらに、隣り合うグリッドに検知座標が含まれている場合には、検知座標が含まれているグリッドは、主グリッドであり、かつ、周辺グリッドでもあるため、第1投票数に隣り合う主グリッドの数分の第2投票数を加算した投票数が設定される。 Furthermore, the number of votes is set for each detected coordinate. That is, if there are two detected coordinates in the same grid, that grid becomes the main grid, but the number of votes is set by adding the first numbers of votes for the two grids. When the first number of votes is X, 2×X, which is the number of votes for two, is set as the number of votes for that main grid. The same applies to the surrounding grid, and the number of votes is set by adding the two second numbers of votes. Furthermore, if the detected coordinates are included in adjacent grids, the grid containing the detected coordinates is both the main grid and the peripheral grid, so the first vote count is the number of adjacent main grids. The number of votes obtained by adding the second number of votes for several minutes is set.
出力選定部33は、物体特定部に相当し、グリッド作成部32で作成されたグリッドマップから物体の存在するグリッドを特定し、そのグリッドに存在すると検知された物体の検知座標を制御部34に出力する。例えば、出力選定部33は、投票数の閾値を記憶しており、グリッドマップ中の各グリッドの投票数が閾値未満であれば物体が存在しないグリッドと判定し、閾値以上であれば物体が存在するグリッドと判定する。ここでは、閾値をThに設定しており、投票数の合計値がTh以上になったグリッドを物体が存在しているグリッドと特定している。閾値Thについては任意に設定可能であるが、例えばX<Th≦X+Yを満たすようにしている。そして、物体認識部31で作成したグリッドマップのうち、ここで物体が存在すると特定されたグリッドと対応する物体の検知座標を実際の物体の検知座標として制御部34に出力している。
The output selection unit 33 corresponds to an object identification unit, and identifies a grid where an object exists from the grid map created by the
このとき、物体の存在するグリッドの座標を制御部34に出力することも考えられる。しかしながら、ソナー10の解像度が高く、グリッドマップのデータの解像度が低くて粗いため、ソナー10のセンシング情報が示す検知座標をそのまま出力した方が、より詳細なデータとなる。例えば、物体の存在するグリッドの座標を出力する場合、そのグリッドの中心座標を出力することになる。しかし、物体の検知座標とグリッドの中心座標とは必ずしも一致している訳ではない。このため、グリッドの座標を出力するよりも、物体の検知座標をそのまま出力した方が、より物体の位置を的確に示したデータを出力できる。しがたって、グリッドマップを用いてグリッドに抽象化しても、そのグリッドに対応する検知座標を出力することで、量子化誤差の発生を抑制でき、精度良い物体検知を行うことが可能になる。
At this time, it is also possible to output the coordinates of the grid where the object exists to the
また、ソナー10のセンシング情報に含まれる検知座標が同じグリッドに複数存在している場合には、複数の検知座標をそれぞれ出力でき、1つの粗いグリッドのデータが出力されるよりも、より正確なデータを出力できる。
In addition, if there are multiple detected coordinates included in the sensing information of the
さらに、単にソナー10のセンシング情報に含まれる物体の検知座標をそのまま出力すれば良いため、改めてグリッドの座標を算出したり記憶したりする必要がなく、ECU30のメモリ容量および処理負荷の低減を図ることができる。
Furthermore, since it is sufficient to simply output the detected coordinates of the object included in the sensing information of the
そして、物体の検知座標が1つ存在するグリッドについては閾値以下の投票数が加算されるようにしておき、同一グリッドや隣接するグリッドにも物体の検知座標が存在している場合に、そのグリッドの投票数が閾値を超えるようにしている。このため、物体の検知座標が1つのみノイズ的に含まれていても、その検知座標に対応する主グリッドの投票数が閾値を超えない。したがって、グリッドマップを用いて検知座標をグリッドに量子化することで、ノイズ除去を図ることも可能となる。 Then, for a grid in which there is one detected coordinate of an object, the number of votes below the threshold value is added, and if the detected coordinates of an object also exist in the same grid or an adjacent grid, that grid The number of votes for exceeds a threshold. Therefore, even if only one detected coordinate of an object is included as noise, the number of votes for the main grid corresponding to that detected coordinate does not exceed the threshold value. Therefore, by quantizing the detected coordinates into a grid using a grid map, it is also possible to remove noise.
制御部34は、自動駐車を行うための駐車支援制御を行う。駐車支援制御では、現在位置から駐車予定位置までの駐車経路生成や、生成した駐車経路に沿って自車を移動させる経路追従制御、駐車支援制御に関する表示制御を実行している。駐車経路生成は、出力選定部33から伝えられる物体の検知座標に基づいて行われる。例えば、制御部34は、物体の検知座標を避けるように駐車経路を生成する。経路追従制御は、駐車経路生成によって生成された駐車経路に沿って自車を移動させるために、加減速制御や操舵制御などの車両運動制御を行う制御である。また、制御部34は、駐車支援制御中に新たに駐車経路中に物体が検知された場合には、駐車経路を再生成したり、その物体が移動するまで経路追従制御での自車の移動を停止させることで、物体との接触が避けられるようにしている。
The
表示制御は、駐車支援制御に係わる表示を行うことでドライバに駐車支援制御中であることを伝えたり、駐車経路や自車の様子、例えば駐車経路中のどの位置を移動中であるかなどの表示を制御するものである。制御部34は、表示制御として表示器50を制御している。
Display control displays information related to parking assistance control to inform the driver that parking assistance control is in progress, and to display information such as the parking route and the state of the own vehicle, such as where on the parking route the driver is moving. It controls the display. The
なお、本実施形態では、ECU30を1つで構成し、そのECU30内に各機能部を備えた構成としているが、複数のECUを組み合わせた構成としても良く、一部のみ、例えば制御部34だけを1つもしくは複数のECUで構成したものとしても良い。制御部34を複数のECUで構成する場合の各種ECUとしては、例えば、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECUおよびブレーキECU等が挙げられる。
Note that in this embodiment, the
具体的には、制御部34は、図示しないが、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、シフトポジションセンサ等の各センサから出力される検出信号を取得している。そして、制御部34は、取得した検出信号より各部の状態を検出し、駐車経路に追従して自車を移動させるべく、各種アクチュエータ40に対して制御信号を出力する。
Specifically, although not shown, the
各種アクチュエータ40は、自車の走行や停止に係わる各種走行制御デバイスであり、電子制御スロットル41、ブレーキアクチュエータ42、EPS(Electric Power Steering)モータ43、トランスミッション44等がある。これら各種アクチュエータ40が制御部34からの制御信号に基づいて制御され、自車Vの走行方向や舵角、制駆動トルクが制御される。それにより、駐車経路に従って自車を移動させて駐車予定位置に駐車させるという経路追従制御を含む駐車支援制御が実現される。
The various actuators 40 are various driving control devices related to running and stopping the own vehicle, and include an electronically controlled
表示器50は、ナビゲーションシステムにおけるディスプレイ(以下、ナビディスプレイという)51やメータに備えられるディスプレイ(以下、メータディスプレイという)52などで構成される。ここでは、駐車支援制御中に、ナビディスプレイ51やメータディスプレイ52に駐車経路や駐車経路中のどの位置に自車が移動中であるかの表示を行うようにしている。
The display device 50 includes a
以上のようにして、本実施形態にかかる車両制御システム1が構成されている。次に、本実施形態にかる車両制御システム1の作動について説明する。なお、車両制御システム1のECU30で行われる駐車支援制御としては、駐車経路生成、経路追従制御、表示制御を行っているが、これらについては上記の通りであるため、説明を省略する。ここでは、駐車経路生成に用いるグリッドマップ作成や物体の検知座標の出力を含む物体検知について、図3を参照して説明する。図3は、ECU30が実行する物体検知処理のフローチャートである。この物体検知処理は、イグニッションスイッチなどの自車の起動スイッチがオンされている際に、所定の制御周期毎、例えばソナー10のサンプリング周期よりも短い周期毎に実行される。ECU30のうちの物体認識部31、グリッド作成部32および出力選定部33が処理部として機能して、この物体検知処理を行っている。
The
まず、ステップS100では、ソナー認識が行われたか否か、つまりソナー10から出力されるセンシング情報に物体が認識されたことを示す情報が含まれているか否かが判定される。そして、ソナー10のセンシング情報に物体が認識されたことを示す情報が含まれていればステップS110に進み、含まれていなければ本処理を繰り返す。
First, in step S100, it is determined whether sonar recognition has been performed, that is, whether the sensing information output from the
そして、ソナー10で物体が検知された場合には、ステップS110以降の各処理が実行される。ステップS110では、ソナー10のセンシング情報に含まれる検知座標と対応するグリッドを検索する。このグリッドが今回の制御周期における主グリッドになる。この処理は、検知座標ごとに行われ、検知座標ごとに主グリッドが設定される。ステップS115では、ステップS110で検索した主グリッドの投票数を加算する。つまり、先の制御周期までに作成していたグリッドマップ中において、今回の制御周期における主グリッドの投票数を加算する。ここでは、投票数として第1投票数となるXを加算しており、同じグリッド中に2つの検知座標が含まれている場合には、そのグリッドについては2つ分の第1投票数が加算されて投票数が2×Xになる。
If an object is detected by the
ステップS120では、主グリッドの周囲に位置する8つの周囲グリッドに投票数を加算する。ここでは投票数として第2投票数となるYを加算している。周囲グリッドについても、検知座標ごとに設定される主グリッドそれぞれに設定されるため、同じグリッドに2つ検知座標が含まれている主グリッドの周囲グリッドについては、2つ分の第2投票数が加算されて投票数が2×Yになる。また、隣り合うグリッドに検知座標が含まれている場合には、連続して隣り合うように主グリッドが設定されることになるが、お互いがもう一方の主グリッドに対する周囲グリッドでもある。このため、隣り合う主グリッドについては、主グリッドとして加算された第1投票数に対して周囲グリッドとして加算される第2投票数が加算され、投票数がX+Yになる。このようにして、グリッドマップが更新される。 In step S120, the number of votes is added to eight surrounding grids located around the main grid. Here, Y, which is the second number of votes, is added as the number of votes. Surrounding grids are also set for each main grid that is set for each detection coordinate, so for the surrounding grid of a main grid that contains two detection coordinates in the same grid, the second vote count for two The votes are added up and the number of votes becomes 2×Y. Further, when adjacent grids include detection coordinates, the main grids are set to be consecutively adjacent, but each grid is also a surrounding grid for the other main grid. Therefore, for adjacent main grids, the second number of votes added as the surrounding grid is added to the first number of votes added as the main grid, and the number of votes becomes X+Y. In this way, the grid map is updated.
続いて、ステップS140に進み、出力選定処理を行う。すなわち、ステップS130で作成したグリッドマップから物体の存在するグリッドを特定し、そのグリッドに存在すると検知された物体の検知座標を制御部34に出力する。具体的には、グリッドマップの中から投票数の合計値が閾値以上、ここではTh以上のグリッドを物体が存在しているグリッドと判定する。そして、ソナー10のセンシング情報に含まれていた検知座標のうち、物体が存在しているグリッドと判定されたものと対応する検知座標を制御部34に出力する。
Next, the process advances to step S140, and output selection processing is performed. That is, the grid in which the object exists is specified from the grid map created in step S130, and the detected coordinates of the object detected to exist in the grid are output to the
このようにして、駐車経路生成に用いるグリッドマップ作成や物体の検知座標の出力を含む物体検知が完了し、制御部34に物体の検知座標が伝えられる。なお、ここで説明した各処理のうち、ステップS100、S110の処理は物体認識部31、ステップS120、S130の処理はグリッド作成部32、ステップS140の処理は出力選定部33によって実行される。
In this way, object detection including creation of a grid map used for parking route generation and output of the detected coordinates of the object is completed, and the detected coordinates of the object are transmitted to the
そして、制御部34に物体の検知座標が伝えられると、制御部34において、駐車支援制御としては、駐車経路生成、経路追従制御、表示制御が実行される。これにより、物体を避けるようにして駐車経路が作成されたのち、各種アクチュエータ40が制御されて駐車経路に追従した自動駐車が行われると共に、表示器50にて駐車経路や駐車経路中のどの位置に自車が移動中であるかの表示が行われる。
When the detected coordinates of the object are transmitted to the
以上説明したように、本実施形態の車両制御システム1では、ソナー10のセンシング情報に含まれる物体の検知座標を解像度の低いグリッドマップ上におけるグリッドに変換し、主グリッドおよび周囲グリッドに投票数を設定している。また、投票数を閾値と比較することで物体が存在するグリッドを特定している。そして、グリッドマップに基づいて物体の存在が検知されたグリッドについて、そのグリッドの座標を出力するのではなく、ソナー10での物体の検知座標をそのまま出力するようにしている。このため、グリッドの座標を出力するよりも、より物体の位置を的確に示したデータを出力できる。しがたって、グリッドマップを用いてグリッドに抽象化しても、そのグリッドに対応する検知座標を出力することで、量子化誤差の発生を抑制でき、精度良い物体検知を行うことが可能になる。
As explained above, in the
また、ソナー10のセンシング情報に含まれる検知座標が同じグリッドに複数存在している場合には、複数の検知座標をそれぞれ出力でき、1つの粗いグリッドのデータが出力されるよりも、より正確なデータを出力できる。
In addition, if there are multiple detected coordinates included in the sensing information of the
さらに、単にソナー10のセンシング情報に含まれる物体の検知座標をそのまま出力すれば良いため、改めてグリッドの座標を算出したり記憶したりする必要がなく、ECU30のメモリ容量および処理負荷の低減を図ることができる。
Furthermore, since it is sufficient to simply output the detected coordinates of the object included in the sensing information of the
また、物体の検知座標が1つ存在する毎に、主グリッドおよび周囲グリッドに投票数を設定している。そして、物体の検知座標が1つ存在するグリッドについては閾値以下の投票数が加算されるようにしておき、同一グリッドや隣接するグリッドにも物体の検知座標が存在している場合に、そのグリッドの投票数が閾値を超えるようにしている。このため、物体の検知座標が1つのみノイズ的に含まれていても、その検知座標に対応する主グリッドの投票数が閾値を超えない。したがって、グリッドマップを用いて検知座標をグリッドに量子化することで、ノイズ除去を図ることが可能となる。 Furthermore, the number of votes is set in the main grid and surrounding grids for each detected coordinate of an object. Then, for a grid in which there is one detected coordinate of an object, the number of votes below the threshold value is added, and if the detected coordinates of an object also exist in the same grid or an adjacent grid, that grid The number of votes for exceeds a threshold. Therefore, even if only one detected coordinate of an object is included as noise, the number of votes for the main grid corresponding to that detected coordinate does not exceed the threshold value. Therefore, by quantizing the detected coordinates into a grid using a grid map, it is possible to remove noise.
具体的に、図4および図5を参照して、上記した物体検知処理のメカニズムについて説明する。図4は、比較例であり、物体の検知座標をグリッドに変換したのちに、物体の存在するグリッドの座標を出力する場合の様子を示している。図5は、本実施形態の一例であり、物体の検知座標をグリッドに変換したのちに、物体の存在するグリッドと対応するソナー10での物体の検知座標を出力する場合の様子を示している。
Specifically, the mechanism of the object detection processing described above will be explained with reference to FIGS. 4 and 5. FIG. 4 is a comparative example, and shows a case where the detected coordinates of an object are converted into a grid and then the coordinates of the grid where the object exists are output. FIG. 5 is an example of this embodiment, and shows a case where the detected coordinates of an object are converted into a grid and then the detected coordinates of the object by the
まず、図4に基づいて比較例について説明する。図4の(1)に示すように、ソナー10から入力されるセンシング情報に基づき、自車の周辺を複数のグリッドに分割したグリッドマップを用いて自車の周辺の物体の位置を示したグリッドマップを作成する。すなわち、自車を中心とした所定範囲のグリッドマップを作成し、そのグリッドマップ上のどのグリッドに物体の検知座標が配置されているかを認識する。
First, a comparative example will be described based on FIG. 4. As shown in (1) of FIG. 4, a grid that shows the positions of objects around the vehicle using a grid map that divides the area around the vehicle into multiple grids based on sensing information input from the
続いて、図4中の(2)に示すように、グリッドマップ上のどのグリッドに物体の検知座標が配置されているかの認識結果に基づいて、検知座標を投票数で表したグリッドに変換する。このとき、同じグリッド中に物体の検知座標が複数含まれていれば、その数分の投票数が設定されるようにする。このため、図中右上の主グリッドについては、物体の検知座標が2つ含まれていることから2つ分の投票数となる2×Xがその主グリッドの投票数として設定される。一方、図中左上の主グリッドについては、物体の検知座標が1つしか含まれていないことから1つ分の投票数となるXがその主グリッドの投票数として設定される。また、下から2段目に、物体の検知座標が含まれる隣接した2つは、主グリッドであり、かつ、周辺グリッドでもあるため、第1投票数と第2投票数を加算したX+Yが投票数として設定される。 Next, as shown in (2) in Figure 4, based on the recognition result of which grid on the grid map the object's detected coordinates are placed, the detected coordinates are converted into a grid expressed by the number of votes. . At this time, if a plurality of detected coordinates of an object are included in the same grid, the number of votes corresponding to the number of detected coordinates is set. Therefore, since the main grid in the upper right corner of the figure includes two detected coordinates of objects, 2×X, which is the number of votes for two, is set as the number of votes for that main grid. On the other hand, since the main grid at the upper left in the figure includes only one detected coordinate of an object, X, which is the number of votes for one, is set as the number of votes for that main grid. In addition, the two adjacent grids containing the detected coordinates of the object in the second row from the bottom are both the main grid and the peripheral grid, so X+Y, which is the sum of the number of first votes and the number of second votes, is the number of votes. Set as a number.
この後、投票数が閾値、ここではTh以上となっているグリッドが物体の存在しているグリッドとして特定される。このとき、(3)に示されるように、図中左上のグリッドについては、投票数がXとなっていて、閾値となるTh以上ではないため、グリッドの座標が出力されないようにできる。このため、ノイズ的にソナー10でのセンシング情報に物体の検知座標として含まれていたとしても、それを除去することができる。
Thereafter, grids whose number of votes is greater than or equal to a threshold value, Th in this case, are identified as grids in which objects exist. At this time, as shown in (3), the number of votes for the upper left grid in the figure is X, which is not greater than the threshold Th, so the coordinates of the grid can be prevented from being output. Therefore, even if noise is included in the sensing information from the
また、投票数が閾値を超えて物体が存在すると特定されたグリッドについては、そのグリッドの座標、具体的にはそのグリッドの中心座標が制御部34に出力される。このため、図中右上のグリッドにおいては、(1)の段階では物体の検知座標が2つ含まれていたにもかかわらず出力されるのは1座標のみになってしまう。また、図中右上のグリッドも、下から二段目の隣接する2つのグリッドも、実際の物体の検知座標はグリッドの中心座標と一致していないのに、出力されるのはグリッドの中心座標になってしまう。したがって、物体の位置を的確に示したデータを出力することができない。
Further, for a grid in which the number of votes exceeds a threshold and an object is identified as being present, the coordinates of that grid, specifically the center coordinates of that grid, are output to the
次に、図5に基づいて本実施形態について説明する。図5の(1)、(2)については、図4(1)、(2)と同様である。そして、図5(2)に示すように検知座標が投票数で表したグリッドに変換されると、その後、投票数が閾値以上となっているグリッドが物体の存在しているグリッドとして特定される。このとき、(3)に示されるように、図中左上のグリッドについては、投票数がXとなっていて、閾値となるTh以上ではないため、グリッドの座標が出力されないようにできる。このため、ノイズ的にソナー10でのセンシング情報に物体の検知座標として含まれていたとしても、それを除去することができる。
Next, this embodiment will be described based on FIG. 5. (1) and (2) in FIG. 5 are the same as those in FIG. 4 (1) and (2). Then, as shown in Figure 5 (2), when the detected coordinates are converted into a grid expressed by the number of votes, the grid where the number of votes is greater than or equal to a threshold is identified as the grid where the object is present. . At this time, as shown in (3), the number of votes for the upper left grid in the figure is X, which is not greater than the threshold Th, so the coordinates of the grid can be prevented from being output. Therefore, even if noise is included in the sensing information from the
また、投票数が閾値を超えて物体が存在すると特定されたグリッドについては、そのグリッドの座標ではなく、そのグリッドに含まれるソナー10での物体の検知座標がそのまま制御部34に出力される。つまり、図5中の(1)と(2)を比較し、(2)において物体が存在すると特定されたグリッドに含まれる(1)で示された物体の検知座標を抽出して出力する。このため、図中右上のグリッドにおいては、(1)の段階では物体の検知座標が2つ含まれていれば、それがそのまま2座標として出力される。また、図中右上のグリッドも、下から二段目の隣接する2つのグリッドも、実際の物体の検知座標はグリッドの中心座標と一致していないが、その一致していない座標のまま正確に出力される。したがって、物体の位置を的確に示したデータを出力することができる。
Further, for a grid in which the number of votes exceeds the threshold and it is specified that an object exists, the coordinates detected by the
(他の実施形態)
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
(Other embodiments)
Although the present disclosure has been described based on the embodiments described above, it is not limited to the embodiments, and includes various modifications and modifications within equivalent ranges. In addition, various combinations and configurations, as well as other combinations and configurations that include only one, more, or fewer elements, are within the scope and scope of the present disclosure.
(1)例えば、上記第1実施形態で説明した投票数や物体と検知する際に用いる所定の閾値の数値については一例を示したに過ぎず、任意に設定可能である。例えば、第1投票数をX、第2投票数をYとしたが、第1投票数、第2投票数を他の数値にしても良い。また、第1、第2投票数を必ずしも正の値にする必要はなく、0や負の値に設定しても良い。また、物体が存在しているグリッドと判定する閾値についても、投票数に対応した値にすれば良く、例えば第1投票数、第2投票数を他の数値に設定するのであれば、閾値もそれに合わせて設定すればよい。 (1) For example, the number of votes and the numerical value of the predetermined threshold value used when detecting an object described in the first embodiment are merely examples, and can be set arbitrarily. For example, although the first number of votes is X and the second number of votes is Y, the first number of votes and the second number of votes may be other values. Further, the first and second voting numbers do not necessarily have to be positive values, and may be set to 0 or negative values. In addition, the threshold value for determining a grid where an object exists may be set to a value that corresponds to the number of votes. For example, if the number of first votes and the number of second votes are set to other values, the threshold value can also be set to a value that corresponds to the number of votes. You can set it accordingly.
また、同じグリッドにソナー10での検知座標が複数含まれる場合に、その数分の第1投票数を加算してそのグリッドの投票数を設定するようにしたが、必ずしもその数分の第1投票数を加算する必要はない。すなわち、検知座標が複数含まれるグリッドについては、物体の存在する確率が高いことから、検知座標の数分の第1投票数を加算するという手法を含めて、閾値以上となる所定値が投票数として設定されるようにしておけば良い。
In addition, when the same grid contains multiple coordinates detected by the
(2)また、第1実施形態では、ソナー10のセンシング情報に基づいてグリッドマップを作成し、物体検知を行ったが、ソナー10以外の他のセンサのセンシング情報に基づいてグリッドマップを作成しても良い。また、ソナー10および他のセンサのいずれかで構成される多種類のセンサを用いて、多種類のセンサそれぞれのセンシング情報に基づいてグリッドマップを作成して物体検知を行うこともできる。
(2) Furthermore, in the first embodiment, a grid map was created based on the sensing information of the
例えば、物体認識部31にて、多種類のセンサそれぞれのセンシング情報に基づいて物体の検知座標を示したグリッドマップを作成したのち、それを統合して物体の検知座標を示した1つのグリッドマップを作成する。その後、グリッド作成部32にて、その検知座標を投票数で表したグリッドへ変換する。そして、物体認識部31で作成したグリッドマップとグリッド作成部32が作成したグリッドに変換後のグリッドマップとを比較し、物体が存在すると特定されたグリッドに含まれる物体の識別座標を出力する。
For example, the
このときに比較に用いる物体認識部31で作成したグリッドとしては、統合後のグリッドとしても良いし、多種類のセンサそれぞれのセンシング情報に基づいて作成したグリッドマップとしても良い。統合後のグリッドマップとする場合、多種類のセンサそれぞれの特性に基づいて、より正確な物体の検知座標を出力することが可能になる。すなわち、ソナー10などの測距センサは物体幅方向の測定は不得意であるが物体までの距離の測定は得意であり、車載カメラは物体までの距離の測定は不得意であるが物体幅方向の測定は得意である。このため、多種類のセンサそれぞれのセンシング情報に基づいて作成したグリッドマップを統合することでセンサフュージョンを行うことができ、得意とする特性を生かしたグリッドマップにできる。このように、多種類のセンサの特性を考慮した統合グリッドマップを作成することで、物体の検知精度を高めることが可能となり、1つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。
The grid created by the
(3)上記第1実施形態では、ソナー10のセンシング情報が示す物体の検知座標と対応する主グリッドに加えて、その周囲に位置する周囲グリッドのすべてについて投票数を加算するようにしているが、そのうちの一部だけにしても良い。また、周囲グリッドについて投票数を異ならせても良い。
(3) In the first embodiment, in addition to the main grid corresponding to the detected coordinates of the object indicated by the sensing information of the
例えば、ソナー10の場合、幅方向の検知精度はあまり高くないが、物体までの距離の検知精度は高いため、物体を認識した場合、その物体よりも近い位置には何もない可能性が高い。このため、周囲グリッドのうち検知座標のグリッドよりもソナー10に近い側に相当するグリッドについては、投票数を加算しないもしくは他のグリッドよりも投票数の加算を小さくするようにしても良い。
For example, in the case of
(4)上記第1実施形態では、自車の起動スイッチがオンされている際に図3に示した物体検知処理が実行されるようにしたが、起動スイッチがオンされている際に常に実行されなくても良い。例えば、駐車支援制御の実行を指示する図示しないスイッチがオンされた際に、物体検知処理が実行されるようにしても良い。つまり、物体検知処理の結果が用いられる制御の実行が指示された際に、物体検知処理も実行されるようにすれば良い。 (4) In the first embodiment described above, the object detection process shown in FIG. 3 is executed when the starting switch of the host vehicle is turned on, but it is always executed when the starting switch is turned on. It doesn't have to be done. For example, the object detection process may be executed when a switch (not shown) instructing execution of parking assistance control is turned on. In other words, when the execution of control using the result of the object detection process is instructed, the object detection process may also be executed.
(5)なお、本開示に記載の処理部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の処理部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 (5) Note that the processing unit and its method described in the present disclosure are provided by configuring a processor and memory programmed to execute one or more functions embodied by a computer program. It may also be realized by a dedicated computer. Alternatively, the processing units and techniques described in this disclosure may be implemented by a dedicated computer provided by a processor configured with one or more dedicated hardware logic circuits. Alternatively, the processing unit and the method described in the present disclosure may be implemented by a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. It may be implemented by one or more dedicated computers configured. The computer program may also be stored as instructions executed by a computer on a computer-readable non-transitory tangible storage medium.
1 車両制御システム
10 ソナー
30 ECU
31 物体認識部
32 グリッド作成部
33 出力選定部
34 制御部
40 アクチュエータ
50 表示器
1
31
Claims (3)
探査波を出力すると共に該探査波が前記物体で反射してきた反射波を取得することで、前記物体の位置を測定する測距センサ(10)のセンシング情報を入力し、前記グリッドマップを用いて、前記測距センサのセンシング情報に含まれる前記物体が検知された位置となる検知座標を示したグリッドマップを作成する物体認識部(31)と、
前記検知座標と対応するグリッドである主グリッドおよび該主グリッドの周囲に位置する周囲グリッドに対して所定の投票数を設定することで、前記自車の周囲に存在する前記物体の位置を示したグリッドマップを作成するグリッド作成部(32)と、
前記グリッド作成部が作成する前記グリッドマップ中における投票数が所定の閾値を超えるグリッドを前記物体の存在するグリッドとして特定し、該特定されたグリッドと対応する前記検知座標を実際の前記物体の検知座標とする物体特定部(33)と、を有し、
前記グリッド作成部は、前記主グリッドに前記閾値よりも小さな第1投票数を設定すると共に、前記周囲グリッドに前記第1投票数よりも小さな第2投票数を設定し、かつ、前記物体認識部で作成するグリッドマップ中において、前記検知座標が複数含まれている前記主グリッド、および、隣り合って連続している前記主グリッドには前記閾値より大きな数値の投票数を設定する、物体検知装置。 An object detection device that detects objects (100) existing around the own vehicle using a grid map in which the surroundings of the own vehicle (V) are divided into a plurality of grids,
Sensing information of a ranging sensor (10) that measures the position of the object by outputting a search wave and acquiring a reflected wave from the search wave reflected by the object is input, and using the grid map, , an object recognition unit (31) that creates a grid map indicating the detection coordinates of the detected position of the object included in the sensing information of the ranging sensor;
The position of the object existing around the own vehicle is indicated by setting a predetermined number of votes for a main grid that is a grid corresponding to the detected coordinates and a surrounding grid located around the main grid. a grid creation unit (32) that creates a grid map;
A grid in which the number of votes in the grid map created by the grid creation unit exceeds a predetermined threshold is identified as a grid in which the object exists, and the detection coordinates corresponding to the identified grid are used to detect the actual object. It has an object specifying unit (33) that uses coordinates ,
The grid creation unit sets a first number of votes smaller than the threshold for the main grid, and sets a second number of votes smaller than the first number of votes for the surrounding grid, and the object recognition unit In the grid map created by the object detection device, the object detection device sets a voting number larger than the threshold value to the main grid that includes a plurality of the detection coordinates and to the main grids that are adjacent to each other and are continuous. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032116A JP7363574B2 (en) | 2020-02-27 | 2020-02-27 | object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032116A JP7363574B2 (en) | 2020-02-27 | 2020-02-27 | object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135192A JP2021135192A (en) | 2021-09-13 |
JP7363574B2 true JP7363574B2 (en) | 2023-10-18 |
Family
ID=77660912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032116A Active JP7363574B2 (en) | 2020-02-27 | 2020-02-27 | object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7363574B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758518B (en) * | 2023-08-22 | 2023-12-01 | 安徽蔚来智驾科技有限公司 | Environment sensing method, computer device, computer-readable storage medium and vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129446A (en) | 2016-01-20 | 2017-07-27 | トヨタ自動車株式会社 | Object detector |
JP2017187422A (en) | 2016-04-07 | 2017-10-12 | トヨタ自動車株式会社 | Nearby article detection apparatus |
JP2018132873A (en) | 2017-02-14 | 2018-08-23 | 株式会社デンソー | Information processing apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3460512B1 (en) * | 2017-09-21 | 2022-11-16 | Arriver Software AB | A vehicle radar for environmental detection |
-
2020
- 2020-02-27 JP JP2020032116A patent/JP7363574B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129446A (en) | 2016-01-20 | 2017-07-27 | トヨタ自動車株式会社 | Object detector |
JP2017187422A (en) | 2016-04-07 | 2017-10-12 | トヨタ自動車株式会社 | Nearby article detection apparatus |
JP2018132873A (en) | 2017-02-14 | 2018-08-23 | 株式会社デンソー | Information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2021135192A (en) | 2021-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11740352B2 (en) | Obstacle recognition device, vehicle system including the same, and method thereof | |
US20200104613A1 (en) | Vacant parking space detection apparatus and vacant parking space detection method | |
US11628832B2 (en) | Parking assistance device | |
US11332126B2 (en) | Parking assistance apparatus | |
US20210387616A1 (en) | In-vehicle sensor system | |
JP6558214B2 (en) | Automatic driving device | |
US11305762B2 (en) | Driving assistance apparatus | |
US20200247415A1 (en) | Vehicle, and control apparatus and control method thereof | |
US11878705B2 (en) | Method and apparatus for generating test case for dynamic verification of autonomous driving system | |
WO2021172535A1 (en) | Object detecting device | |
JP7363574B2 (en) | object detection device | |
US20220176980A1 (en) | Arithmetic operation device for automobiles | |
US20220297599A1 (en) | Driving support device, driving support method, and storage medium | |
JP7363575B2 (en) | object detection device | |
JP7318563B2 (en) | PARKING ASSIST DEVICE AND PARKING ASSIST METHOD | |
CN109816991A (en) | Driving ancillary equipment | |
WO2016063533A1 (en) | In-vehicle object determining apparatus | |
CN115066358A (en) | Parking assistance device and parking assistance method | |
JP6619725B2 (en) | Travel control device and travel control method | |
CN112652006A (en) | Method of sensing objects in the surroundings of a vehicle, data processing device, computer program product and computer-readable data medium | |
JP7471927B2 (en) | Obstacle detection device, vehicle, obstacle detection system, and obstacle detection method | |
JP7302582B2 (en) | vehicle control system | |
US20230093819A1 (en) | Parking assistance device | |
US20240249568A1 (en) | Vehicle surroundings monitoring device, vehicle surroundings monitoring method, and recording medium | |
US11613259B2 (en) | Vehicle control device, vehicle control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |