JP7102765B2 - Vehicle control device - Google Patents

Vehicle control device Download PDF

Info

Publication number
JP7102765B2
JP7102765B2 JP2018025060A JP2018025060A JP7102765B2 JP 7102765 B2 JP7102765 B2 JP 7102765B2 JP 2018025060 A JP2018025060 A JP 2018025060A JP 2018025060 A JP2018025060 A JP 2018025060A JP 7102765 B2 JP7102765 B2 JP 7102765B2
Authority
JP
Japan
Prior art keywords
vehicle
control device
parking
road marking
map data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018025060A
Other languages
Japanese (ja)
Other versions
JP2019139696A (en
Inventor
優 田中
豊治 日与川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018025060A priority Critical patent/JP7102765B2/en
Publication of JP2019139696A publication Critical patent/JP2019139696A/en
Application granted granted Critical
Publication of JP7102765B2 publication Critical patent/JP7102765B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、車両制御装置に関する。 An embodiment of the present invention relates to a vehicle control device.

近年、駐車場内の所定の降車領域で車両から乗員が降車した後、所定の指示に応じて車両が降車領域から空きの駐車領域へ自動で移動して駐車する自動駐車と、当該自動駐車が完了した後、所定の呼び出しに応じて車両が駐車領域から出庫して所定の乗車領域へ自動で移動して停車する自動出庫と、を含む自動バレー駐車を実現するための技術が検討されている。 In recent years, after an occupant disembarks from a vehicle in a predetermined disembarkation area in a parking lot, the vehicle automatically moves from the disembarkation area to an empty parking area according to a predetermined instruction and parks, and the automatic parking is completed. After that, a technique for realizing automatic valet parking including automatic warehousing in which a vehicle leaves the parking area in response to a predetermined call, automatically moves to a predetermined boarding area and stops, is being studied.

特開2015-41348号公報JP-A-2015-41348

上記のような自動バレー駐車などといった、自動走行が前提となる技術においては、自動走行中における車両の現在位置(実位置)を正確に把握することが重要となる。この点に関して、従来から、車輪速センサなどの検出値を用いて車両の実位置を推定する手法(いわゆるオドメトリ)が知られている。しかしながら、この手法においては、車両の移動距離が大きくなる程、推定結果の誤差が累積されて大きくなっていくため、車両の実位置を正確に把握することができない場合がある。 In technologies that require automatic driving, such as automatic volleyball parking as described above, it is important to accurately grasp the current position (actual position) of the vehicle during automatic driving. Regarding this point, a method (so-called odometry) for estimating the actual position of the vehicle by using a detected value of a wheel speed sensor or the like has been conventionally known. However, in this method, as the moving distance of the vehicle increases, the error of the estimation result is accumulated and increases, so that it may not be possible to accurately grasp the actual position of the vehicle.

これに対して、車両の周辺の状況を撮像する車載カメラによって得られた画像データから車両の実位置の推定のもととなるデータ(たとえば駐車場の路面標示に関する路面標示データ)を取得する画像認識機能と、当該画像認識機能によって取得されたデータを所定のデータ(たとえば駐車場の地図データ)と照合することで車両の実位置を推定する位置推定機能と、当該位置推定機能によって推定された実位置に基づいて車両の走行制御を行う走行制御機能と、を車両制御装置に持たせることで、自動走行中における車両の実位置の正確な把握を実現することが考えられる。 On the other hand, an image of acquiring data (for example, road surface marking data related to road surface marking of a parking lot) that is a basis for estimating the actual position of the vehicle from image data obtained by an in-vehicle camera that captures the situation around the vehicle. Estimated by the recognition function, the position estimation function that estimates the actual position of the vehicle by collating the data acquired by the image recognition function with predetermined data (for example, map data of the parking lot), and the position estimation function. By equipping the vehicle control device with a travel control function that controls the travel of the vehicle based on the actual position, it is conceivable to realize an accurate grasp of the actual position of the vehicle during automatic traveling.

車両制御装置が複数のコンピュータを含んでいる構成においては、上述した各機能を実現するために要求されるコンピュータの性能を踏まえて、上述した各機能を複数のコンピュータに適切に分担させることができれば、自動走行中における車両の実位置の正確な把握を効率的に実現することが可能になる。 In a configuration in which the vehicle control device includes a plurality of computers, if the above-mentioned functions can be appropriately shared by the plurality of computers based on the performance of the computers required to realize the above-mentioned functions. , It becomes possible to efficiently grasp the actual position of the vehicle during automatic driving.

たとえば、走行制御機能は、車両の挙動に関わるため、走行制御機能を実現するコンピュータには、処理能力の高さ(処理速度)が要求される。一方、画像認識機能は、画像データという比較的大容量のデータを扱うため、画像認識機能を実現するコンピュータには、処理速度もある程度は要求されるが、どちらかというと、大容量のデータを扱う能力の方が要求される。 For example, since the travel control function is related to the behavior of the vehicle, a computer that realizes the travel control function is required to have a high processing capacity (processing speed). On the other hand, since the image recognition function handles a relatively large amount of data called image data, a computer that realizes the image recognition function is required to have a certain amount of processing speed, but if anything, a large amount of data is used. The ability to handle is required.

ここで、地図データが比較的小容量である場合、位置推定機能を実現するコンピュータには、大容量のデータを扱う能力はそれほど要求されない。 Here, when the map data has a relatively small capacity, the computer that realizes the position estimation function is not so required to have the ability to handle a large amount of data.

以上を踏まえて、実施形態の課題の一つは、地図データが比較的小容量である場合に、自動走行中における車両の実位置の正確な把握を効率的に実現することが可能な車両制御装置を提供することである。 Based on the above, one of the issues of the embodiment is vehicle control capable of efficiently grasping the actual position of the vehicle during automatic driving when the map data has a relatively small capacity. To provide a device.

実施形態にかかる車両制御装置は、車両の周辺の状況を撮像する車載カメラによって得られる画像データを取得する画像データ取得部と、画像データに基づく画像認識処理を実施することで車両が走行する駐車場の路面に設置された路面標示に関する路面標示データを取得する路面標示データ取得部と、を含む画像認識装置と、路面標示の絶対位置を含む駐車場の地図データを取得する地図データ取得部と、路面標示データ取得部により取得された路面標示データと地図データ取得部により取得された地図データとを照合することで車両の実位置を推定する位置推定部と、を含む位置推定装置と、車両の自動走行で辿るべき走行経路を取得する経路取得部と、当該経路取得部により取得された走行経路と位置推定部により推定された実位置とに基づいて車両の走行状態を制御することで走行経路に基づいた自動走行を実施する走行制御部と、を含む走行制御装置と、を実現する複数のコンピュータを備え、複数のコンピュータのうち、画像認識装置を実現する第1コンピュータと走行制御装置を実現する第2コンピュータとは互いに異なり、位置推定装置を実現する第3コンピュータと走行制御装置を実現する第2コンピュータとは互いに同一である。 The vehicle control device according to the embodiment includes an image data acquisition unit that acquires image data obtained by an in-vehicle camera that captures the situation around the vehicle, and a parking vehicle in which the vehicle travels by performing image recognition processing based on the image data. An image recognition device including a road surface marking data acquisition unit that acquires road surface marking data related to the road surface marking installed on the road surface of the parking lot, and a map data acquisition unit that acquires map data of the parking lot including the absolute position of the road surface marking. A position estimation device including a position estimation unit that estimates the actual position of the vehicle by collating the road surface marking data acquired by the road surface marking data acquisition unit with the map data acquired by the map data acquisition unit, and the vehicle. By controlling the running state of the vehicle based on the route acquisition unit that acquires the travel route to be followed by the automatic travel, the travel route acquired by the route acquisition unit, and the actual position estimated by the position estimation unit. A running control unit that implements automatic running based on a route, a running control device including a running control device, and a plurality of computers that realize the running control device. The second computer that realizes the position estimation device is different from each other, and the third computer that realizes the position estimation device and the second computer that realizes the travel control device are the same as each other.

このような構成を備えた車両制御装置によれば、処理能力の高さが要求される走行制御装置と、大容量のデータを扱う能力が要求される画像認識装置と、を互いに別々のコンピュータによって実現することができる。また、地図データが比較的小容量である場合において、大容量のデータを扱う能力がそれほど要求されない位置推定装置を、処理能力の高さが要求される(つまり大容量のデータを扱う能力はそれほど要求されない)走行制御装置と同一のコンピュータによって実現することができる。これらの結果、地図データが比較的小容量である場合に、要求される性能に応じて複数のコンピュータに処理を分担させることができるので、自動走行中における車両の実位置の正確な把握を効率的に実現することができる。 According to the vehicle control device having such a configuration, the travel control device, which is required to have high processing power, and the image recognition device, which is required to be able to handle a large amount of data, are separated from each other by computers. It can be realized. Further, when the map data has a relatively small capacity, a position estimation device that does not require much ability to handle a large amount of data is required to have a high processing capacity (that is, the ability to handle a large amount of data is not so large). It can be realized by the same computer as the driving control device (not required). As a result, when the map data has a relatively small volume, it is possible to divide the processing among multiple computers according to the required performance, so it is efficient to accurately grasp the actual position of the vehicle during automatic driving. Can be realized.

上述した車両制御装置は、駐車場に対応して設けられた管制装置であって、地図データを保持するとともに駐車場内の状況に応じた走行経路を生成する管制装置と通信するための通信装置をさらに備え、位置推定装置の地図データ取得部は、通信装置を介して地図データを管制装置から取得し、走行制御装置の経路取得部は、通信装置を介して走行経路を管制装置から取得する。このような構成によれば、地図データおよび走行経路を通信によって外部から容易に取得することができる。 The vehicle control device described above is a control device provided corresponding to a parking lot, and is a communication device for holding map data and communicating with a control device that generates a traveling route according to the situation in the parking lot. Further, the map data acquisition unit of the position estimation device acquires the map data from the control device via the communication device, and the route acquisition unit of the travel control device acquires the travel route from the control device via the communication device. According to such a configuration, the map data and the traveling route can be easily acquired from the outside by communication.

また、上述した車両制御装置において、自動走行は、降車領域と乗車領域と駐車領域とを含む駐車場において、降車領域で車両から乗員が降車した後、所定の指示に応じて車両が降車領域から駐車領域へ自動で移動して駐車する自動駐車と、当該自動駐車が完了した後、所定の呼び出しに応じて車両が駐車領域から出庫して乗車領域へ自動で移動して停車する自動出庫と、を含む。このような構成によれば、自動バレー駐車の自動走行中における車両の実位置の正確な把握を効率的に実現することができる。 Further, in the vehicle control device described above, in the automatic traveling, in the parking lot including the disembarkation area, the boarding area, and the parking area, after the occupant disembarks from the vehicle in the disembarkation area, the vehicle departs from the disembarkation area according to a predetermined instruction. Automatic parking that automatically moves to the parking area and parks, and automatic warehousing that the vehicle automatically moves from the parking area to the boarding area and stops after the automatic parking is completed. including. According to such a configuration, it is possible to efficiently grasp the actual position of the vehicle during the automatic traveling of the automatic valley parking.

図1は、実施形態にかかる自動バレー駐車システムにおける自動駐車の一例を示した例示的かつ模式的な図である。FIG. 1 is an exemplary and schematic diagram showing an example of automatic parking in the automatic valley parking system according to the embodiment. 図2は、実施形態にかかる自動バレー駐車システムにおける自動出庫の一例を示した例示的かつ模式的な図である。FIG. 2 is an exemplary and schematic diagram showing an example of automatic warehousing in the automatic valet parking system according to the embodiment. 図3は、実施形態にかかる管制装置のハードウェア構成を示した例示的かつ模式的なブロック図である。FIG. 3 is an exemplary and schematic block diagram showing the hardware configuration of the control device according to the embodiment. 図4は、実施形態にかかる車両制御システムのシステム構成を示した例示的かつ模式的なブロック図である。FIG. 4 is an exemplary and schematic block diagram showing the system configuration of the vehicle control system according to the embodiment. 図5は、実施形態にかかる管制装置および車両制御装置の機能的構成を示した例示的かつ模式的なブロック図である。FIG. 5 is an exemplary and schematic block diagram showing the functional configurations of the control device and the vehicle control device according to the embodiment. 図6は、実施形態にかかる車両制御装置が車両の実位置を推定する状況の具体例を示した例示的かつ模式的な図である。FIG. 6 is an exemplary and schematic diagram showing a specific example of a situation in which the vehicle control device according to the embodiment estimates the actual position of the vehicle. 図7は、実施形態にかかる管制装置および車両制御装置が自動駐車の際に実行する処理の流れを示した例示的かつ模式的なシーケンス図である。FIG. 7 is an exemplary and schematic sequence diagram showing a flow of processing executed by the control device and the vehicle control device according to the embodiment at the time of automatic parking. 図8は、実施形態にかかる管制装置および車両制御装置が自動出庫の際に実行する処理の流れを示した例示的かつ模式的なシーケンス図である。FIG. 8 is an exemplary and schematic sequence diagram showing a flow of processing executed by the control device and the vehicle control device according to the embodiment at the time of automatic delivery. 図9は、実施形態にかかる車両制御装置が自動走行中に実行する実位置の推定処理の概略的な流れを示した例示的かつ模式的なフローチャートである。FIG. 9 is an exemplary and schematic flowchart showing a schematic flow of an actual position estimation process executed by the vehicle control device according to the embodiment during automatic driving. 図10は、実施形態にかかる車両制御装置が自動走行中に実行する実位置の推定処理の詳細な流れを示した例示的かつ模式的なフローチャートである。FIG. 10 is an exemplary and schematic flowchart showing a detailed flow of the actual position estimation process executed by the vehicle control device according to the embodiment during automatic driving.

以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments will be described with reference to the drawings. The configurations of the embodiments described below, and the actions and results (effects) brought about by the configurations are merely examples, and are not limited to the contents described below.

<実施形態>
まず、図1および図2を参照して、実施形態にかかる自動バレー駐車システムの概略について説明する。ここで、自動バレー駐車システムとは、白線などといった区画線Lで区画された1以上の駐車領域Rを有する駐車場Pにおいて、以下に説明するような自動駐車および自動出庫を含む自動バレー駐車を実現するためのシステムである。なお、実施形態にかかる駐車場Pは、駐車領域Rの他にも、降車領域P1と、乗車領域P2と、を有している。
<Embodiment>
First, the outline of the automatic valley parking system according to the embodiment will be described with reference to FIGS. 1 and 2. Here, the automatic valet parking system means automatic valet parking including automatic parking and automatic warehousing as described below in a parking lot P having one or more parking areas R partitioned by a lane L such as a white line. It is a system to realize. The parking lot P according to the embodiment has a disembarkation area P1 and a boarding area P2 in addition to the parking area R.

図1は、実施形態にかかる自動バレー駐車システムにおける自動駐車の一例を示した例示的かつ模式的な図であり、図2は、実施形態にかかる自動バレー駐車システムにおける自動出庫の一例を示した例示的かつ模式的な図である。 FIG. 1 is an exemplary and schematic diagram showing an example of automatic parking in the automatic valet parking system according to the embodiment, and FIG. 2 shows an example of automatic warehousing in the automatic valet parking system according to the embodiment. It is an exemplary and schematic diagram.

図1および図2に示されるように、自動バレー駐車においては、駐車場P内の所定の降車領域P1で車両Vから乗員Xが降車した後、所定の指示に応じて車両Vが降車領域P1から空きの駐車領域Rへ自動で移動して駐車する自動駐車(図1の矢印C1参照)と、当該自動駐車が完了した後、所定の呼び出しに応じて車両Vが駐車領域Rから出庫して所定の乗車領域P2へ自動で移動して停車する自動出庫(図2の矢印C2参照)と、が実行される。なお、所定の指示および所定の呼び出しは、乗員Xによる端末装置Tの操作によって実現される。 As shown in FIGS. 1 and 2, in automatic valet parking, after the occupant X gets off from the vehicle V in the predetermined disembarkation area P1 in the parking lot P, the vehicle V disembarks in response to the predetermined instruction P1. Automatic parking (see arrow C1 in FIG. 1) that automatically moves from the parking area R to an empty parking area R and parks the vehicle, and after the automatic parking is completed, the vehicle V leaves the parking area R in response to a predetermined call. Automatic warehousing (see arrow C2 in FIG. 2), which automatically moves to a predetermined boarding area P2 and stops, is executed. The predetermined instruction and the predetermined call are realized by the operation of the terminal device T by the occupant X.

また、図1および図2に示されるように、自動バレー駐車システムは、駐車場Pに設けられた管制装置101と、車両Vに搭載された車両制御システム102と、を有している。管制装置101と車両制御システム102とは、無線通信によって互いに通信可能に構成されている。 Further, as shown in FIGS. 1 and 2, the automatic valley parking system includes a control device 101 provided in the parking lot P and a vehicle control system 102 mounted on the vehicle V. The control device 101 and the vehicle control system 102 are configured to be able to communicate with each other by wireless communication.

管制装置101は、駐車場Pの地図データの管理(保持を含む)を行うように構成されている。地図データは、上述した区画線Lや後述するマーカM(図6参照)などといった、駐車場Pの路面に固定的に設置された路面標示の(正規の)絶対位置を特定するための情報を含んでいる。なお、ここで言及している絶対位置は、路面標示が有する方向性(絶対方位)も含みうる概念である。つまり、路面標示が所定の向き(方向性)を持った線状の標示を含んでいる場合、地図データからは、路面標示が設けられた絶対位置のみならず、路面標示に含まれる線状の標示によって表される絶対方位も特定可能である。 The control device 101 is configured to manage (including holding) the map data of the parking lot P. The map data provides information for identifying the (regular) absolute position of the road markings fixedly installed on the road surface of the parking lot P, such as the above-mentioned lane marking L and the marker M (see FIG. 6) described later. Includes. The absolute position referred to here is a concept that can include the directionality (absolute direction) of the road marking. That is, when the road marking includes a linear marking having a predetermined direction (direction), the map data shows not only the absolute position where the road marking is provided but also the linear marking included in the road marking. The absolute orientation represented by the markings can also be specified.

また、管制装置101は、駐車場P内の状況を撮像する1以上の監視カメラ103から得られる画像データや、駐車場P内に設けられる各種のセンサ(不図示)などから出力されるデータを受け取ることで駐車場P内の状況を監視し、監視結果に基づいて、駐車領域Rを管理するように構成されている。以下では、駐車場P内の状況を監視するために管制装置101が受け取る情報を総称してセンサデータと記載することがある。 Further, the control device 101 outputs image data obtained from one or more surveillance cameras 103 that capture the situation in the parking lot P, data output from various sensors (not shown) provided in the parking lot P, and the like. By receiving the data, the situation in the parking lot P is monitored, and the parking area R is managed based on the monitoring result. In the following, the information received by the control device 101 for monitoring the situation in the parking lot P may be collectively referred to as sensor data.

なお、実施形態において、駐車場Pにおける降車領域P1、乗車領域P2、および駐車領域Rの数や配置などは、図1および図2に示された例に制限されるものではない。実施形態の技術は、図1および図2に示された駐車場Pとは異なる様々な構成の駐車場に適用可能である。 In the embodiment, the number and arrangement of the disembarkation area P1, the boarding area P2, and the parking area R in the parking lot P are not limited to the examples shown in FIGS. 1 and 2. The technique of the embodiment is applicable to parking lots having various configurations different from the parking lot P shown in FIGS. 1 and 2.

次に、図3および図4を参照して、実施形態にかかる管制装置101および車両制御システム102の構成について説明する。なお、図3および図4に示される構成は、あくまで一例であり、実施形態にかかる管制装置101および車両制御システム102の構成は、種々に設定(変更)可能である。 Next, the configurations of the control device 101 and the vehicle control system 102 according to the embodiment will be described with reference to FIGS. 3 and 4. The configurations shown in FIGS. 3 and 4 are merely examples, and the configurations of the control device 101 and the vehicle control system 102 according to the embodiment can be set (changed) in various ways.

まず、図3を参照して、実施形態にかかる管制装置101のハードウェア構成について説明する。 First, the hardware configuration of the control device 101 according to the embodiment will be described with reference to FIG.

図3は、実施形態にかかる管制装置101のハードウェア構成を示した例示的かつ模式的なブロック図である。図3に示されるように、実施形態にかかる管制装置101は、PC(Personal Computer)などといった一般的な情報処理装置と同様のコンピュータ資源を有している。 FIG. 3 is an exemplary and schematic block diagram showing the hardware configuration of the control device 101 according to the embodiment. As shown in FIG. 3, the control device 101 according to the embodiment has the same computer resources as a general information processing device such as a PC (Personal Computer).

図3に示される例において、管制装置101は、プロセッサ301と、メモリ302と、通信装置303と、入出力インターフェース(I/F)304と、ストレージ305と、を有している。これらのハードウェアは、データバス350を介して互いに接続されている。 In the example shown in FIG. 3, the control device 101 includes a processor 301, a memory 302, a communication device 303, an input / output interface (I / F) 304, and a storage 305. These hardware are connected to each other via the data bus 350.

プロセッサ301は、たとえばCPU(Central Processing Unit)などによって構成され、管制装置101を統括的に制御する。プロセッサ301は、メモリ302やストレージ305などに記憶された各種の制御プログラム(コンピュータプログラム)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。 The processor 301 is configured by, for example, a CPU (Central Processing Unit) or the like, and controls the control device 101 in an integrated manner. The processor 301 reads various control programs (computer programs) stored in the memory 302, the storage 305, and the like, and realizes various functions according to the instructions specified in the various control programs.

メモリ302は、たとえばROM(Read Only Memory)やRAM(Random Access Memory)などを含み、プロセッサ301により実行される各種の処理に必要なデータの保存や、当該プロセッサ301の作業領域の提供などを実現する。 The memory 302 includes, for example, a ROM (Read Only Memory) and a RAM (Random Access Memory), and realizes storage of data necessary for various processes executed by the processor 301, provision of a work area of the processor 301, and the like. do.

通信装置303は、管制装置101と外部装置との間の通信を実現する。たとえば、通信装置303は、管制装置101と車両V(車両制御システム102)との間の無線通信による信号の送受信を実現する。 The communication device 303 realizes communication between the control device 101 and the external device. For example, the communication device 303 realizes transmission / reception of a signal by wireless communication between the control device 101 and the vehicle V (vehicle control system 102).

入出力インターフェース304は、管制装置101と外部装置との接続を実現するインターフェースである。外部装置としては、たとえば、管制装置101のオペレータが使用する入出力デバイスなどが考えられる。 The input / output interface 304 is an interface that realizes the connection between the control device 101 and the external device. As the external device, for example, an input / output device used by the operator of the control device 101 can be considered.

ストレージ305は、たとえばHDD(Hard Disk Drive)やSSD(Solid State Drive)などによって構成された補助記憶装置である。 The storage 305 is an auxiliary storage device configured by, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

次に、図4を参照して、実施形態にかかる車両制御システム102のシステム構成について説明する。 Next, the system configuration of the vehicle control system 102 according to the embodiment will be described with reference to FIG.

図4は、実施形態にかかる車両制御システム102のシステム構成を示した例示的かつ模式的なブロック図である。図4に示されるように、車両制御システム102は、制動システム401と、加速システム402と、操舵システム403と、変速システム404と、障害物センサ405と、走行状態センサ406と、通信装置407と、車載カメラ408と、モニタ装置409と、車両制御装置410と、車載ネットワーク450と、を有している。 FIG. 4 is an exemplary and schematic block diagram showing the system configuration of the vehicle control system 102 according to the embodiment. As shown in FIG. 4, the vehicle control system 102 includes a braking system 401, an acceleration system 402, a steering system 403, a speed change system 404, an obstacle sensor 405, a traveling state sensor 406, and a communication device 407. It has an in-vehicle camera 408, a monitor device 409, a vehicle control device 410, and an in-vehicle network 450.

制動システム401は、車両Vの減速を制御する。制動システム401は、制動部401aと、制動制御部401bと、制動部センサ401cと、を有している。 The braking system 401 controls the deceleration of the vehicle V. The braking system 401 includes a braking unit 401a, a braking control unit 401b, and a braking unit sensor 401c.

制動部401aは、たとえば、ブレーキペダルなどを含んだ、車両Vを減速させるための装置である。 The braking unit 401a is a device for decelerating the vehicle V, including, for example, a brake pedal.

制動制御部401bは、たとえば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECU(Electronic Control Unit)である。制動制御部401bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、制動部401aを作動させることで、車両Vの減速度合を制御する。 The braking control unit 401b is an ECU (Electronic Control Unit) composed of a computer having a hardware processor such as a CPU, for example. The braking control unit 401b drives an actuator (not shown) based on an instruction from the vehicle control device 410 to operate the braking unit 401a to control the deceleration of the vehicle V.

制動部センサ401cは、制動部401aの状態を検出するための装置である。たとえば、制動部401aがブレーキペダルを含む場合、制動部センサ401cは、制動部401aの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ401cは、検出した制動部401aの状態を車載ネットワーク450に出力する。 The braking unit sensor 401c is a device for detecting the state of the braking unit 401a. For example, when the braking unit 401a includes a brake pedal, the braking unit sensor 401c detects the position of the brake pedal or the pressure acting on the brake pedal as the state of the braking unit 401a. The braking unit sensor 401c outputs the detected state of the braking unit 401a to the vehicle-mounted network 450.

加速システム402は、車両Vの加速を制御する。加速システム402は、加速部402aと、加速制御部402bと、加速部センサ402cと、を有している。 The acceleration system 402 controls the acceleration of the vehicle V. The acceleration system 402 includes an acceleration unit 402a, an acceleration control unit 402b, and an acceleration unit sensor 402c.

加速部402aは、たとえば、アクセルペダルなどを含んだ、車両Vを加速させるための装置である。 The acceleration unit 402a is a device for accelerating the vehicle V, including, for example, an accelerator pedal.

加速制御部402bは、たとえば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。加速制御部402bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、加速部402aを作動させることで、車両Vの加速度合を制御する。 The acceleration control unit 402b is an ECU configured by a computer having a hardware processor such as a CPU, for example. The acceleration control unit 402b controls the acceleration ratio of the vehicle V by driving an actuator (not shown) based on an instruction from the vehicle control device 410 and operating the acceleration unit 402a.

加速部センサ402cは、加速部402aの状態を検出するための装置である。たとえば、加速部402aがアクセルペダルを含む場合、加速部センサ402cは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ402cは、検出した加速部402aの状態を車載ネットワーク450に出力する。 The acceleration unit sensor 402c is a device for detecting the state of the acceleration unit 402a. For example, when the acceleration unit 402a includes an accelerator pedal, the acceleration unit sensor 402c detects the position of the accelerator pedal or the pressure acting on the accelerator pedal. The acceleration unit sensor 402c outputs the detected state of the acceleration unit 402a to the vehicle-mounted network 450.

操舵システム403は、車両Vの進行方向を制御する。操舵システム403は、操舵部403aと、操舵制御部403bと、操舵部センサ403cと、を有している。 The steering system 403 controls the traveling direction of the vehicle V. The steering system 403 includes a steering unit 403a, a steering control unit 403b, and a steering unit sensor 403c.

操舵部403aは、たとえば、ステアリングホイールやハンドルなどを含んだ、車両Vの転舵輪を転舵させる装置である。 The steering unit 403a is a device for steering the steering wheels of the vehicle V, including, for example, a steering wheel and a steering wheel.

操舵制御部403bは、たとえば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。操舵制御部403bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、操舵部403aを作動させることで、車両Vの進行方向を制御する。 The steering control unit 403b is an ECU configured by a computer having a hardware processor such as a CPU, for example. The steering control unit 403b controls the traveling direction of the vehicle V by driving an actuator (not shown) based on an instruction from the vehicle control device 410 and operating the steering unit 403a.

操舵部センサ403cは、操舵部403aの状態を検出するための装置である。たとえば、操舵部403aがステアリングホイールを含む場合、操舵部センサ403cは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部403aがハンドルを含む場合、操舵部センサ403cは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ403cは、検出した操舵部403aの状態を車載ネットワーク450に出力する。 The steering unit sensor 403c is a device for detecting the state of the steering unit 403a. For example, when the steering unit 403a includes a steering wheel, the steering unit sensor 403c detects the position of the steering wheel or the rotation angle of the steering wheel. When the steering unit 403a includes a steering wheel, the steering unit sensor 403c may detect the position of the steering wheel or the pressure acting on the steering wheel. The steering unit sensor 403c outputs the detected state of the steering unit 403a to the vehicle-mounted network 450.

変速システム404は、車両Vの変速比を制御する。変速システム404は、変速部404aと、変速制御部404bと、変速部センサ404cと、を有している。 The shifting system 404 controls the gear ratio of the vehicle V. The shifting system 404 includes a shifting unit 404a, a shifting control unit 404b, and a shifting unit sensor 404c.

変速部404aは、たとえば、シフトレバーなどを含んだ、車両Vの変速比を変更するための装置である。 The transmission unit 404a is a device for changing the gear ratio of the vehicle V, including, for example, a shift lever.

変速制御部404bは、たとえば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。変速制御部404bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、変速部404aを作動させることで、車両Vの変速比を制御する。 The shift control unit 404b is an ECU configured by a computer having a hardware processor such as a CPU, for example. The shift control unit 404b controls the gear ratio of the vehicle V by driving an actuator (not shown) based on an instruction from the vehicle control device 410 and operating the shift control unit 404a.

変速部センサ404cは、変速部404aの状態を検出するための装置である。たとえば、変速部404aがシフトレバーを含む場合、変速部センサ404cは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ404cは、検出した変速部404aの状態を車載ネットワーク450に出力する。 The transmission sensor 404c is a device for detecting the state of the transmission 404a. For example, when the transmission 404a includes a shift lever, the transmission sensor 404c detects the position of the shift lever or the pressure acting on the shift lever. The speed change sensor 404c outputs the detected state of the speed change 404a to the vehicle-mounted network 450.

障害物センサ405は、車両Vの周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ405は、たとえば、障害物までの距離を検出するソナーなどといった測距センサを含んでいる。障害物センサ405は、検出した情報を車載ネットワーク450に出力する。 The obstacle sensor 405 is a device for detecting information about obstacles that may exist around the vehicle V. The obstacle sensor 405 includes a range finder such as a sonar that detects a distance to an obstacle. The obstacle sensor 405 outputs the detected information to the in-vehicle network 450.

走行状態センサ406は、車両Vの走行状態を検出するための装置である。走行状態センサ406は、たとえば、車両Vの車輪速を検出する車輪速センサや、車両Vの前後方向または左右方向の加速度を検出する加速度センサや、車両Vの旋回速度(角速度)を検出するジャイロセンサなどを含んでいる。走行状態センサ406は、検出した走行状態を車載ネットワーク450に出力する。 The traveling state sensor 406 is a device for detecting the traveling state of the vehicle V. The traveling state sensor 406 is, for example, a wheel speed sensor that detects the wheel speed of the vehicle V, an acceleration sensor that detects the acceleration in the front-rear direction or the left-right direction of the vehicle V, and a gyro that detects the turning speed (angle speed) of the vehicle V. Includes sensors and more. The traveling state sensor 406 outputs the detected traveling state to the in-vehicle network 450.

通信装置407は、車両制御システム102と外部装置との間の通信を実現する。たとえば、通信装置407は、車両制御システム102と管制装置101との間の無線通信による信号(データ)の送受信や、車両制御システム102と端末装置Tとの間の無線通信による信号(データ)の送受信などを実現する。 The communication device 407 realizes communication between the vehicle control system 102 and the external device. For example, the communication device 407 transmits and receives signals (data) by wireless communication between the vehicle control system 102 and the control device 101, and signals (data) by wireless communication between the vehicle control system 102 and the terminal device T. Realize transmission and reception.

車載カメラ408は、車両Vの周辺の状況を撮像するための装置である。たとえば、車載カメラ408は、車両Vの前方、後方、および側方(左右両方)の路面を含む領域を撮像するように複数設けられる。車載カメラ408によって得られた画像データは、車両Vの周辺の状況の監視(障害物の検出も含む)に使用される。車載カメラ408は、得られた画像データを車両制御装置410に出力する。なお、以下では、車載カメラ408から得られる画像データと、車両制御システム102に設けられる上述した各種のセンサから得られるデータと、を総称してセンサデータと記載することがある。 The in-vehicle camera 408 is a device for capturing the situation around the vehicle V. For example, a plurality of vehicle-mounted cameras 408 are provided so as to image an area including a road surface in front of, behind, and sideways (both left and right) of the vehicle V. The image data obtained by the in-vehicle camera 408 is used for monitoring the situation around the vehicle V (including detection of obstacles). The vehicle-mounted camera 408 outputs the obtained image data to the vehicle control device 410. In the following, the image data obtained from the vehicle-mounted camera 408 and the data obtained from the various sensors provided in the vehicle control system 102 may be collectively referred to as sensor data.

モニタ装置409は、車両Vの車室内のダッシュボードなどに設けられる。モニタ装置409は、表示部409aと、音声出力部409bと、操作入力部409cと、を有している。 The monitoring device 409 is provided on a dashboard or the like in the vehicle interior of the vehicle V. The monitor device 409 includes a display unit 409a, an audio output unit 409b, and an operation input unit 409c.

表示部409aは、車両制御装置410の指示に応じて画像を表示するための装置である。表示部409aは、たとえば、液晶ディスプレイ(LCD:Liquid Crystal Display)や、有機ELディスプレイ(OELD:Organic Electroluminescent Display)などによって構成される。 The display unit 409a is a device for displaying an image in response to an instruction from the vehicle control device 410. The display unit 409a is composed of, for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Electroluminescent Electroluminescent Display), or the like.

音声出力部409bは、車両制御装置410の指示に応じて音声を出力するための装置である。音声出力部409bは、たとえば、スピーカによって構成される。 The voice output unit 409b is a device for outputting voice in response to an instruction from the vehicle control device 410. The audio output unit 409b is composed of, for example, a speaker.

操作入力部409cは、車両V内の乗員の入力を受け付けるための装置である。操作入力部409cは、たとえば、表示部409aの表示画面に設けられるタッチパネルや、物理的な操作スイッチなどによって構成される。操作入力部409cは、受け付けた入力を車載ネットワーク450に出力する。 The operation input unit 409c is a device for receiving the input of the occupant in the vehicle V. The operation input unit 409c is composed of, for example, a touch panel provided on the display screen of the display unit 409a, a physical operation switch, or the like. The operation input unit 409c outputs the received input to the vehicle-mounted network 450.

車両制御装置410は、車両制御システム102を統括的に制御するための複数のECU400を有している。複数のECU400は、物理的に互いに独立して設けられており、それぞれがプロセッサ400aおよびメモリ400bといったハードウェアを有したコンピュータとして構成されている。また、複数のECU400は、車載ネットワーク450を介して互いに通信可能に接続されている。なお、実施形態では、物理的に独立した複数のECU400の集まりが便宜的に車両制御装置410として定義されているに過ぎない。つまり、実施形態では、車両制御装置410という大きな1つの物理的な単位が想定されているわけではない。 The vehicle control device 410 has a plurality of ECUs 400 for comprehensively controlling the vehicle control system 102. The plurality of ECUs 400 are physically provided independently of each other, and each is configured as a computer having hardware such as a processor 400a and a memory 400b. Further, the plurality of ECUs 400 are connected to each other so as to be able to communicate with each other via the in-vehicle network 450. In the embodiment, a group of a plurality of physically independent ECUs 400 is only defined as a vehicle control device 410 for convenience. That is, in the embodiment, one large physical unit called the vehicle control device 410 is not assumed.

プロセッサ400aは、たとえばCPUなどによって構成され、車両制御装置410を統括的に制御する。プロセッサ400aは、メモリ400bなどに記憶された各種の制御プログラム(コンピュータプログラム)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。 The processor 400a is composed of, for example, a CPU or the like, and controls the vehicle control device 410 in an integrated manner. The processor 400a reads out various control programs (computer programs) stored in the memory 400b or the like, and realizes various functions according to the instructions specified in the various control programs.

メモリ400bは、たとえばROMやRAMなどを含み、プロセッサ400aにより実行される各種の処理に必要なデータの保存や、当該プロセッサ400aの作業領域の提供などを実現する。 The memory 400b includes, for example, a ROM or RAM, and realizes storage of data necessary for various processes executed by the processor 400a, provision of a work area of the processor 400a, and the like.

なお、図4には、ECU400が有するハードウェアとしてプロセッサ400aおよびメモリ400bのみが代表的に例示されているが、ECUがこれら以外のハードウェア(たとえばストレージなど)を有していてもよいことは言うまでもない。また、図4には、複数のECU400のうちの1つに車載カメラ408およびモニタ装置409が接続された構成が例示されている。しかしながら、この構成はあくまで一例である。実施形態において、複数のECU400と車載カメラ408との接続関係は、適宜設定(変更)されうるし、複数のECU400とモニタ装置409との接続関係も、適宜設定(変更)されうる。 Although only the processor 400a and the memory 400b are typically exemplified as the hardware possessed by the ECU 400 in FIG. 4, it is possible that the ECU may have hardware other than these (for example, storage). Needless to say. Further, FIG. 4 illustrates a configuration in which the vehicle-mounted camera 408 and the monitoring device 409 are connected to one of the plurality of ECUs 400. However, this configuration is just an example. In the embodiment, the connection relationship between the plurality of ECUs 400 and the vehicle-mounted camera 408 can be appropriately set (changed), and the connection relationship between the plurality of ECUs 400 and the monitoring device 409 can also be appropriately set (changed).

車載ネットワーク450は、制動システム401と、加速システム402と、操舵システム403と、変速システム404と、障害物センサ405と、走行状態センサ406と、通信装置407と、モニタ装置409の操作入力部409cと、車両制御装置410と、を通信可能に接続する。 The in-vehicle network 450 includes a braking system 401, an acceleration system 402, a steering system 403, a speed change system 404, an obstacle sensor 405, a traveling state sensor 406, a communication device 407, and an operation input unit 409c of the monitor device 409. And the vehicle control device 410 are communicably connected.

ところで、上述した自動バレー駐車システムのような、自動走行が前提となる技術においては、自動走行中における車両Vの現在位置(実位置)を正確に把握することが重要となる。この点に関して、従来から、車輪速センサなどの検出値を用いて車両Vの実位置を推定する手法(いわゆるオドメトリ)が知られている。しかしながら、この手法においては、車両Vの移動距離が大きくなる程、推定結果の誤差が累積されて大きくなっていくため、車両Vの実位置を正確に把握することができない場合がある。 By the way, in a technique such as the above-mentioned automatic valley parking system that is premised on automatic driving, it is important to accurately grasp the current position (actual position) of the vehicle V during automatic driving. Regarding this point, a method (so-called odometry) for estimating the actual position of the vehicle V by using a detected value of a wheel speed sensor or the like has been conventionally known. However, in this method, as the moving distance of the vehicle V increases, the error of the estimation result is accumulated and increases, so that the actual position of the vehicle V may not be accurately grasped.

これに対して、車載カメラ408によって得られた画像データから車両Vの実位置の推定のもととなるデータ(たとえば駐車場Pの路面標示に関する路面標示データ)を取得する画像認識機能と、当該画像認識機能によって取得されたデータを所定のデータ(たとえば駐車場Pの地図データ)と照合することで車両Vの実位置を推定する位置推定機能と、当該位置推定機能によって推定された実位置を考慮して車両Vの走行制御を行う走行制御機能と、を車両制御装置410に持たせることで、自動走行中における車両Vの実位置の正確な把握を実現することが考えられる。 On the other hand, an image recognition function that acquires data (for example, road surface marking data related to the road surface marking of the parking lot P) that is the basis for estimating the actual position of the vehicle V from the image data obtained by the in-vehicle camera 408, and the said A position estimation function that estimates the actual position of the vehicle V by collating the data acquired by the image recognition function with predetermined data (for example, map data of the parking lot P) and an actual position estimated by the position estimation function. It is conceivable that the vehicle control device 410 is provided with a travel control function for controlling the travel of the vehicle V in consideration of the fact that the actual position of the vehicle V can be accurately grasped during automatic traveling.

車両制御装置410が複数のECU400を有している実施形態のような構成においては、上述した各機能を実現するために要求されるECU400の性能を踏まえて、上述した各機能を複数のECU400に適切に分担させることができれば、自動走行中における車両の実位置の正確な把握を効率的に実現することが可能になる。 In a configuration such as an embodiment in which the vehicle control device 410 has a plurality of ECUs 400, each of the above-mentioned functions is added to the plurality of ECUs 400 based on the performance of the ECU 400 required to realize each of the above-mentioned functions. If it can be shared appropriately, it will be possible to efficiently grasp the actual position of the vehicle during automatic driving.

たとえば、走行制御機能は、車両Vの挙動に関わるため、走行制御機能を実現するECU400には、処理能力の高さ(処理速度)が要求される。一方、画像認識機能は、画像データという比較的大容量のデータを扱うため、画像認識機能を実現するECU400には、処理速度もある程度は要求されるが、どちらかというと、大容量のデータを扱う能力の方が要求される。 For example, since the travel control function is related to the behavior of the vehicle V, the ECU 400 that realizes the travel control function is required to have a high processing capacity (processing speed). On the other hand, since the image recognition function handles a relatively large amount of data called image data, the ECU 400 that realizes the image recognition function is required to have a certain amount of processing speed, but if anything, a large amount of data is used. The ability to handle is required.

ここで、地図データが比較的小容量である場合、位置推定機能を実現するECU400には、大容量のデータを扱う能力はそれほど要求されない。 Here, when the map data has a relatively small capacity, the ECU 400 that realizes the position estimation function is not so required to have the ability to handle a large amount of data.

以上を踏まえて、実施形態は、上述した各機能を複数のECU400に以下のように分担させることで、地図データが比較的小容量である場合に、自動走行中における車両Vの実位置の正確な把握を効率的に実現する。 Based on the above, in the embodiment, by assigning each of the above-mentioned functions to a plurality of ECUs 400 as follows, when the map data has a relatively small capacity, the actual position of the vehicle V during automatic driving is accurate. Efficiently realize a clear grasp.

図5は、実施形態にかかる管制装置101と車両制御装置410に含まれるECU400との機能的構成を示した例示的かつ模式的なブロック図である。図5に示される機能モジュール群は、ソフトウェアとハードウェアとの協働によって実現される。つまり、図5に示される例において、管制装置101の機能モジュール群は、プロセッサ301がメモリ302などに記憶された所定の制御プログラムを読み出して実行した結果として実現され、車両制御装置410の機能モジュール群は、各ECU400のプロセッサ400aがメモリ400bなどに記憶された所定の制御プログラムを読み出して実行した結果として実現される。なお、実施形態では、図5に示される機能モジュール群の一部または全部が専用のハードウェア(回路)のみによって実現されてもよい。 FIG. 5 is an exemplary and schematic block diagram showing a functional configuration of the control device 101 according to the embodiment and the ECU 400 included in the vehicle control device 410. The functional module group shown in FIG. 5 is realized by the collaboration between software and hardware. That is, in the example shown in FIG. 5, the functional module group of the control device 101 is realized as a result of the processor 301 reading and executing a predetermined control program stored in the memory 302 or the like, and the functional module of the vehicle control device 410. The group is realized as a result of the processor 400a of each ECU 400 reading and executing a predetermined control program stored in the memory 400b or the like. In the embodiment, a part or all of the functional module group shown in FIG. 5 may be realized only by dedicated hardware (circuit).

図5に示されるように、実施形態にかかる管制装置101は、機能的構成として、通信処理部501と、センサデータ取得部502と、駐車場データ管理部503と、誘導経路生成部504と、を有している。 As shown in FIG. 5, the control device 101 according to the embodiment has, as functional configurations, a communication processing unit 501, a sensor data acquisition unit 502, a parking lot data management unit 503, a guidance route generation unit 504, and the like. have.

通信処理部501は、車両制御装置410との間で実行される無線通信を制御する。たとえば、通信処理部501は、車両制御装置410との間で所定のデータを送受信することで車両制御装置410の認証を行ったり、自動駐車および自動出庫が完了した際に車両制御装置410から出力される所定の完了通知を受信したり、駐車場Pの地図データや後述する誘導経路などを必要に応じて車両制御装置410に送信したりする。 The communication processing unit 501 controls the wireless communication executed with the vehicle control device 410. For example, the communication processing unit 501 authenticates the vehicle control device 410 by transmitting and receiving predetermined data to and from the vehicle control device 410, and outputs from the vehicle control device 410 when automatic parking and automatic warehousing are completed. The predetermined completion notification is received, and the map data of the parking lot P, the guidance route described later, and the like are transmitted to the vehicle control device 410 as needed.

センサデータ取得部502は、駐車場P内に設けられる監視カメラ103や各種のセンサ(不図示)などから上述したセンサデータを取得する。センサデータ取得部502により取得されるセンサデータ(特に監視カメラ103から得られる画像データ)は、たとえば、駐車領域Rの空き状況の把握などに使用することが可能である。 The sensor data acquisition unit 502 acquires the above-mentioned sensor data from a surveillance camera 103 provided in the parking lot P, various sensors (not shown), and the like. The sensor data (particularly the image data obtained from the surveillance camera 103) acquired by the sensor data acquisition unit 502 can be used, for example, for grasping the availability of the parking area R.

駐車場データ管理部503は、駐車場Pに関するデータ(情報)を管理する。たとえば、駐車場データ管理部503は、駐車場Pの地図データや、駐車領域Rの空き状況などを管理する。たとえば、駐車場データ管理部503は、自動駐車が行われる際、空いている駐車領域Rの中から1つの駐車領域Rを選択し、選択した1つの駐車領域Rを、自動駐車における車両Vの到達目標である目標駐車領域として指定する。また、駐車場データ管理部503は、自動駐車が完了した後に車両Vが再び移動して駐車領域Rが変更された場合、センサデータ取得部502から取得されるセンサデータに基づいて、変更後の駐車領域Rを特定する。 The parking lot data management unit 503 manages data (information) related to the parking lot P. For example, the parking lot data management unit 503 manages the map data of the parking lot P, the availability of the parking area R, and the like. For example, when automatic parking is performed, the parking lot data management unit 503 selects one parking area R from the vacant parking areas R, and uses the selected parking area R as the vehicle V in the automatic parking. Designate as the target parking area, which is the goal to be reached. Further, when the vehicle V moves again and the parking area R is changed after the automatic parking is completed, the parking lot data management unit 503 changes the parking area data based on the sensor data acquired from the sensor data acquisition unit 502. Identify the parking area R.

誘導経路生成部504は、自動駐車および自動出庫が行われる際に車両制御装置410に指示する誘導経路を生成する。より具体的に、誘導経路生成部504は、自動駐車が行われる際においては、降車領域P1から目標駐車領域へ至る概略的な経路を誘導経路として生成し、自動出庫が行われる際においては、目標駐車領域(自動駐車後に車両Vが移動している場合には車両Vが現在駐車している駐車領域R)から乗車領域P2へ至る概略的な経路を誘導経路として生成する。 The guidance route generation unit 504 generates a guidance route instructed to the vehicle control device 410 when automatic parking and automatic warehousing are performed. More specifically, the guidance route generation unit 504 generates a rough route from the disembarkation area P1 to the target parking area as a guidance route when automatic parking is performed, and when automatic parking is performed, the guidance route generation unit 504 generates a rough route from the disembarkation area P1 to the target parking area. A rough route from the target parking area (when the vehicle V is moving after automatic parking, the parking area R in which the vehicle V is currently parked) to the boarding area P2 is generated as a guidance route.

ここで、図5に示されるように、実施形態では、上述した位置推定機能を担う論理的(機能的)な単位としての位置推定装置520と上述した走行制御機能を担う論理的な単位としての走行制御装置530とが同一のECU412によって実現され、上述した画像認識機能を担う論理的な単位としての画像認識装置510がECU412とは別のECU411によって実現されている。これにより、位置推定装置520が扱う地図データが比較的小容量である場合において、大容量のデータを扱う能力が主に要求される処理をECU411に担わせ、大容量のデータを扱う能力がそれほど要求されない処理を別のECU412に担わせることができるので、効率性を高めることができる。なお、図5には、2つのECU411および412のみが図示されているが、実施形態にかかる車両制御装置410は、ECU411および412以外のECU400も含みうる。 Here, as shown in FIG. 5, in the embodiment, the position estimation device 520 as a logical (functional) unit responsible for the above-mentioned position estimation function and the above-mentioned logical unit for carrying out the traveling control function. The travel control device 530 is realized by the same ECU 412, and the image recognition device 510 as a logical unit having the above-mentioned image recognition function is realized by an ECU 411 different from the ECU 412. As a result, when the map data handled by the position estimation device 520 has a relatively small volume, the ECU 411 is mainly responsible for the processing that requires the ability to handle a large amount of data, and the ability to handle a large amount of data is not so great. Since the unrequired processing can be carried out by another ECU 412, the efficiency can be improved. Although only two ECUs 411 and 412 are shown in FIG. 5, the vehicle control device 410 according to the embodiment may include an ECU 400 other than the ECUs 411 and 412.

以下、画像認識装置510、位置推定装置520、および走行制御装置530のそれぞれの機能的構成について具体的に説明する。 Hereinafter, the functional configurations of the image recognition device 510, the position estimation device 520, and the travel control device 530 will be specifically described.

画像認識装置510は、機能的構成として、画像データ取得部511と、路面標示データ取得部512と、を有している。なお、画像認識装置510は、位置推定装置520および走行制御装置530を実現するECU412とは別のECU411によって実現されているが、ECU411とECU412とは、車載ネットワーク450を介して互いに通信可能であるので、画像認識装置510は、位置推定装置520および走行制御装置530と通信可能である。 The image recognition device 510 has an image data acquisition unit 511 and a road marking data acquisition unit 512 as a functional configuration. The image recognition device 510 is realized by an ECU 411 different from the ECU 412 that realizes the position estimation device 520 and the travel control device 530, but the ECU 411 and the ECU 412 can communicate with each other via the vehicle-mounted network 450. Therefore, the image recognition device 510 can communicate with the position estimation device 520 and the travel control device 530.

画像データ取得部511は、車載カメラ408によって得られる画像データを取得する。この画像データは、駐車場Pの路面の状況を表す情報を含んでいるものとする。 The image data acquisition unit 511 acquires the image data obtained by the vehicle-mounted camera 408. It is assumed that this image data includes information representing the condition of the road surface of the parking lot P.

路面標示データ取得部512は、画像データ取得部511により取得される画像データに基づく画像認識処理を実施することで、上述した区画線L(図1参照)や後述するマーカM(図6参照)などといった、駐車場Pの路面に設置された路面標示に関する路面標示データを取得する。路面標示データは、路面標示の画像データ上での位置(方位を含みうる)を示すデータである。この路面標示データからは、車両Vに対する路面標示の画像データ上での相対位置(相対方位を含みうる)を算出することができる。 The road marking data acquisition unit 512 performs image recognition processing based on the image data acquired by the image data acquisition unit 511, thereby performing the above-mentioned division line L (see FIG. 1) and the marker M (see FIG. 6) described later. Obtain road marking data related to road markings installed on the road surface of parking lot P. The road marking data is data indicating the position (which may include the direction) of the road marking on the image data. From this road marking data, it is possible to calculate the relative position (which may include the relative orientation) on the image data of the road marking with respect to the vehicle V.

位置推定装置520は、地図データ取得部521と、位置推定部522と、を有している。 The position estimation device 520 has a map data acquisition unit 521 and a position estimation unit 522.

地図データ取得部521は、駐車場Pの地図データを、通信装置407を介して管制装置101から取得する。前述したように、この地図データからは、路面標示の(正規の)絶対位置を特定することが可能である。 The map data acquisition unit 521 acquires the map data of the parking lot P from the control device 101 via the communication device 407. As mentioned above, it is possible to identify the (regular) absolute position of the road marking from this map data.

位置推定部522は、画像認識装置510の路面標示データ取得部512により取得された路面標示データと、地図データ取得部521により取得された地図データと、を照合することで、車両Vの実位置を推定する。より具体的に、位置推定部522は、路面標示データに基づいて、車両Vに対する路面標示の相対位置(相対方位を含みうる)を算出し、当該相対位置と、オドメトリに基づいて推定される車両Vの計算上の実位置と、に基づいて、路面標示の計算上の絶対位置(絶対方位を含みうる)を算出する。そして、位置推定部522は、路面標示データに基づいて算出された路面標示の計算上の絶対位置と、地図データに基づいて特定された路面標示の(正規の)絶対位置と、を照合することで、車両Vの(正規の)実位置を推定する。 The position estimation unit 522 collates the road marking data acquired by the road marking data acquisition unit 512 of the image recognition device 510 with the map data acquired by the map data acquisition unit 521, thereby collating the actual position of the vehicle V with the map data. To estimate. More specifically, the position estimation unit 522 calculates the relative position (which may include the relative orientation) of the road marking with respect to the vehicle V based on the road marking data, and the vehicle estimated based on the relative position and the odometry. Based on the calculated actual position of V, the calculated absolute position (which may include the absolute orientation) of the road marking is calculated. Then, the position estimation unit 522 collates the calculated absolute position of the road marking calculated based on the road marking data with the (regular) absolute position of the road marking specified based on the map data. Then, the (regular) actual position of the vehicle V is estimated.

走行制御装置530は、経路取得部531と、走行制御部532と、を有している。なお、走行制御装置530は、位置推定装置520と同一のECU412によって実現されているため、位置推定装置520と走行制御装置530とは、互いに通信可能である。 The travel control device 530 includes a route acquisition unit 531 and a travel control unit 532. Since the travel control device 530 is realized by the same ECU 412 as the position estimation device 520, the position estimation device 520 and the travel control device 530 can communicate with each other.

経路取得部531は、車両Vの自動走行で辿るべき走行経路としての誘導経路を、通信装置407を介して管制装置101から取得する。 The route acquisition unit 531 acquires a guidance route as a travel route to be followed by the automatic traveling of the vehicle V from the control device 101 via the communication device 407.

走行制御部532は、制動システム401や加速システム402、操舵システム403、変速システム404などを制御することで、降車領域P1からの発進制御や、降車領域P1から駐車領域Rへの走行制御(駐車制御を含む)、駐車領域Rから乗車領域P2への走行制御(出庫制御を含む)、乗車領域P2への停車制御などといった、自動駐車および自動出庫を実現するための各種の走行制御を実行するように、車両Vの走行状態を制御する。 The travel control unit 532 controls the braking system 401, the acceleration system 402, the steering system 403, the speed change system 404, and the like to control the start from the disembarkation area P1 and the travel control from the disembarkation area P1 to the parking area R (parking). (Including control), running control from the parking area R to the boarding area P2 (including leaving control), stopping control to the boarding area P2, etc., to execute various running controls to realize automatic parking and automatic leaving. As described above, the traveling state of the vehicle V is controlled.

より具体的に、走行制御部532は、経路取得部531により取得された誘導経路と、位置推定装置520の位置推定部522により推定された車両Vの実位置と、に基づいて車両Vの走行状態を制御することで、誘導経路に基づいた自動走行を実施する。なお、走行制御部532は、車載カメラ408によって得られる画像データや、車両制御システム102に設けられる各種のセンサから出力されるデータなども、制御に使用することができる。これにより、状況に応じた誘導経路の調整なども実施することが可能になる。 More specifically, the travel control unit 532 travels the vehicle V based on the guidance route acquired by the route acquisition unit 531 and the actual position of the vehicle V estimated by the position estimation unit 522 of the position estimation device 520. By controlling the state, automatic driving based on the guidance route is carried out. The travel control unit 532 can also use image data obtained by the vehicle-mounted camera 408, data output from various sensors provided in the vehicle control system 102, and the like for control. This makes it possible to adjust the guidance route according to the situation.

以上のような構成により、実施形態にかかる車両制御装置410は、車両Vの自動走行中に、オドメトリによって車両Vの現在位置を推定する。そして、車両制御装置410は、車載カメラ408によって得られる画像データと、管制装置101から取得される地図データとに基づいて、オドメトリによる推定結果をその累積誤差をキャンセルするように補正し、自動走行中における車両Vの現在位置(実位置)を推定する。 With the above configuration, the vehicle control device 410 according to the embodiment estimates the current position of the vehicle V by odometry during the automatic traveling of the vehicle V. Then, the vehicle control device 410 corrects the estimation result by the odometry so as to cancel the cumulative error based on the image data obtained by the in-vehicle camera 408 and the map data acquired from the control device 101, and automatically travels. Estimate the current position (actual position) of the vehicle V inside.

すなわち、実施形態にかかる車両制御装置410は、自動走行の実施中に、まず、車載カメラ408によって得られる画像データから、車両Vの周辺に位置する路面標示に関する路面標示データを検出することで、車両Vに対する路面標示の画像データ上での相対位置を算出する。そして、車両制御装置410は、路面標示の相対位置に基づいて算出される路面標示の計算上の絶対位置と、管制装置101から取得される地図データから特定される路面標示の正規の絶対位置と、の差分に基づいて、オドメトリに基づく推定結果を補正し、補正後の値を、車両Vの現在位置(実位置)の正規の推定値として設定する。 That is, the vehicle control device 410 according to the embodiment first detects the road marking data related to the road markings located around the vehicle V from the image data obtained by the in-vehicle camera 408 during the automatic traveling. The relative position on the image data of the road marking with respect to the vehicle V is calculated. Then, the vehicle control device 410 sets the absolute position in the calculation of the road marking calculated based on the relative position of the road marking and the regular absolute position of the road marking specified from the map data acquired from the control device 101. Based on the difference between, and, the estimation result based on the odometry is corrected, and the corrected value is set as a normal estimated value of the current position (actual position) of the vehicle V.

たとえば、実施形態にかかる車両制御装置410は、以下に説明する例のように、路面標示として区画線LおよびマーカMが設置された路面を車両Vが自動走行によって走行している場合に、車両Vの側方の状況を表す画像データであるサイド画像データに基づいて、区画線Lのうち車両Vに近い側の端部EおよびマーカMの位置に関する路面標示データを検出する。そして、車両制御装置410は、検出した路面標示データに基づいて、車両Vを基準とした区画線Lの端部EおよびマーカMの位置を表す相対位置を算出する。そして、車両制御装置410は、区画線LおよびマーカMの相対位置に基づいて算出される当該区画線LおよびマーカMの計算上の絶対位置と、駐車場Pの地図データから特定される区画線Lの正規の絶対位置とを照合し、照合結果に基づいて、自動走行中における車両Vの実位置を推定する。 For example, the vehicle control device 410 according to the embodiment is a vehicle when the vehicle V is automatically traveling on a road surface on which a lane marking L and a marker M are installed as road markings, as in the example described below. Based on the side image data which is the image data representing the situation on the side of V, the road marking data regarding the positions of the end E and the marker M on the side of the pavement L closer to the vehicle V is detected. Then, the vehicle control device 410 calculates a relative position representing the position of the end portion E and the marker M of the lane marking L with respect to the vehicle V based on the detected road marking data. Then, the vehicle control device 410 determines the absolute position in the calculation of the lane marking L and the marker M calculated based on the relative positions of the lane marking L and the marker M, and the lane marking specified from the map data of the parking lot P. The actual position of the vehicle V during automatic driving is estimated by collating with the regular absolute position of L and based on the collation result.

図6は、実施形態にかかる車両制御装置410が車両Vの実位置を推定する状況の具体例を示した例示的かつ模式的な図である。図6に示される例では、車両Vが、当該車両Vの左側方に位置する3本の区画線L61~L63と交差する方向に自動走行によって走行している。また、図6に示される例では、区画線L61の端部E61と区画線L62の端部E62との間にマーカM61が設置されており、区画線L62の端部E62と区画線L63の端部との間にもマーカM62が設置されている。 FIG. 6 is an exemplary and schematic diagram showing a specific example of a situation in which the vehicle control device 410 according to the embodiment estimates the actual position of the vehicle V. In the example shown in FIG. 6, the vehicle V is automatically traveling in the direction intersecting the three lane markings L61 to L63 located on the left side of the vehicle V. Further, in the example shown in FIG. 6, a marker M61 is installed between the end E61 of the lane marking L61 and the end E62 of the lane marking L62, and the end E62 of the lane marking L62 and the end of the lane marking L63. A marker M62 is also installed between the parts.

図6に示される例では、車両Vの左側部(たとえばサイドミラー)に設けられる車載カメラ408の撮像範囲は、区画線L61の端部E61と、マーカM61と、区画線L62の端部E62と、を含む領域A61に対応している。したがって、車両制御装置410は、車両Vの左側部に設けられる車載カメラ408によって得られる1つのサイド画像データに対して白線検出処理などの画像認識処理を実施することで、区画線L61の端部E61とマーカM61と区画線L62の端部E62とのそれぞれの路面標示データを取得する。 In the example shown in FIG. 6, the imaging range of the vehicle-mounted camera 408 provided on the left side portion (for example, the side mirror) of the vehicle V is the end portion E61 of the lane marking L61, the marker M61, and the end portion E62 of the lane marking L62. Corresponds to the area A61 including. Therefore, the vehicle control device 410 performs image recognition processing such as white line detection processing on one side image data obtained by the in-vehicle camera 408 provided on the left side portion of the vehicle V, thereby performing image recognition processing such as white line detection processing on the end portion of the lane marking L61. The road marking data of each of the E61, the marker M61, and the end portion E62 of the lane marking L62 is acquired.

そして、車両制御装置410は、取得した路面標示データを利用して、車両Vを基準とした、区画線L61(の端部E61)とマーカM61と区画線L62(の端部E62)とのそれぞれの相対位置を算出し、算出した相対位置と、オドメトリに基づく推定結果と、を利用して、区画線L61(の端部E61)とマーカM61と区画線L62(の端部E62)とのそれぞれの計算上の絶対位置を特定する。 Then, the vehicle control device 410 uses the acquired road marking data to reference the vehicle V as a reference to the lane marking L61 (end E61), the marker M61, and the lane L62 (end E62), respectively. The relative position of is calculated, and the calculated relative position and the estimation result based on the odometry are used to form the marking line L61 (end E61), the marker M61, and the marking line L62 (end E62), respectively. Identify the calculated absolute position of.

そして、車両制御装置410は、管制装置101から地図データを取得し、当該地図データから、区画線L61(の端部E61)とマーカM61と区画線L62(の端部E62)とのそれぞれの正規の絶対位置を特定する。そして、車両制御装置410は、計算上の絶対位置と正規の絶対位置との差分をとり、当該差分に基づいて、オドメトリによる推定結果のずれを補正し、補正後の値を、車両Vの実位置として推定する。このようにして、自動走行中における車両Vの実位置の正確な推定が実現される。 Then, the vehicle control device 410 acquires map data from the control device 101, and from the map data, the normality of the lane marking L61 (end E61), the marker M61, and the lane L62 (end E62), respectively. Identify the absolute position of. Then, the vehicle control device 410 takes a difference between the calculated absolute position and the normal absolute position, corrects the deviation of the estimation result by the odometry based on the difference, and sets the corrected value as the actual value of the vehicle V. Estimate as a position. In this way, accurate estimation of the actual position of the vehicle V during automatic driving is realized.

なお、上述した図6に示される例では、区画線L61およびL62とマーカM61との3つの路面標示が、車両Vの実位置の推定に利用されている。しかしながら、車両Vの実位置の推定に用いられる路面標示の個数は、2つ以下であってもよいし、4つ以上であってもよい。また、実施形態では、区画線LおよびマーカM以外の路面標示に基づいて車両Vの実位置の推定が行われてもよい。 In the example shown in FIG. 6 described above, three road markings of the lane markings L61 and L62 and the marker M61 are used to estimate the actual position of the vehicle V. However, the number of road markings used to estimate the actual position of the vehicle V may be two or less, or four or more. Further, in the embodiment, the actual position of the vehicle V may be estimated based on the road markings other than the lane marking L and the marker M.

次に、図7~図10を参照して、実施形態にかかる自動バレー駐車システムで実行される処理について説明する。 Next, the process executed by the automatic valley parking system according to the embodiment will be described with reference to FIGS. 7 to 10.

図7は、実施形態にかかる管制装置101および車両制御装置410が自動駐車の際に実行する処理の流れを示した例示的かつ模式的なシーケンス図である。この図7に示される処理シーケンスは、乗員Xが降車領域P1で端末装置Tを操作することで、自動駐車のトリガとなる所定の指示を行った場合に開始する。 FIG. 7 is an exemplary and schematic sequence diagram showing a flow of processing executed by the control device 101 and the vehicle control device 410 according to the embodiment at the time of automatic parking. The processing sequence shown in FIG. 7 starts when the occupant X operates the terminal device T in the disembarkation area P1 to give a predetermined instruction that triggers automatic parking.

図7に示される処理シーケンスでは、まず、S701において、管制装置101と車両制御装置410とが通信を確立する。このS701においては、識別情報(ID)の送受信による認証や、管制装置101の監視下での自動走行を実現するための運行権限の譲受などが実行される。 In the processing sequence shown in FIG. 7, first, in S701, the control device 101 and the vehicle control device 410 establish communication. In this S701, authentication by sending and receiving identification information (ID), transfer of operation authority for realizing automatic driving under the supervision of the control device 101, and the like are executed.

S701で通信が確立すると、管制装置101(通信処理部501)は、S702において、駐車場Pの地図データを車両制御装置410に送信する。 When communication is established in S701, the control device 101 (communication processing unit 501) transmits the map data of the parking lot P to the vehicle control device 410 in S702.

そして、管制装置101(駐車場データ管理部503)は、S703において、駐車領域Rの空きを確認し、空いている1つの駐車領域Rを、車両Vに与える目標駐車領域として指定する。 Then, the control device 101 (parking lot data management unit 503) confirms the vacancy of the parking area R in S703, and designates one vacant parking area R as the target parking area to be given to the vehicle V.

そして、管制装置101(誘導経路生成部504)は、S704において、自動駐車の際に車両Vが辿るべき、降車領域P1からS703で指定した目標駐車領域への誘導経路を生成する。 Then, the control device 101 (guidance route generation unit 504) generates a guidance route from the disembarkation area P1 to the target parking area designated in S703, which the vehicle V should follow during automatic parking in S704.

そして、管制装置101(通信処理部501)は、S705において、S704で生成された誘導経路を車両制御装置410に送信する。 Then, the control device 101 (communication processing unit 501) transmits the guidance route generated in S704 to the vehicle control device 410 in S705.

一方、車両制御装置410(位置推定装置520)は、S702で管制装置101から送信された地図データが通信装置407を介して受信された後のS706において、降車領域P1内における初期位置を推定する。初期位置とは、降車領域P1からの発進の起点となる、降車領域P1内における車両Vの現在位置(実位置)である。初期位置の推定には、上述した自動走行中における実位置の推定と同様に、車載カメラ408によって得られる画像データに基づく画像認識装置510の画像認識処理の結果が利用されうる。なお、図7に示される例では、S706の処理がS705の処理の前に実行されているが、S706の処理は、S705の処理の後に実行されてもよい。 On the other hand, the vehicle control device 410 (position estimation device 520) estimates the initial position in the disembarkation area P1 in S706 after the map data transmitted from the control device 101 in S702 is received via the communication device 407. .. The initial position is the current position (actual position) of the vehicle V in the disembarkation area P1 which is the starting point of starting from the disembarkation area P1. For the estimation of the initial position, the result of the image recognition processing of the image recognition device 510 based on the image data obtained by the in-vehicle camera 408 can be used in the same manner as the estimation of the actual position during the automatic traveling described above. In the example shown in FIG. 7, the process of S706 is executed before the process of S705, but the process of S706 may be executed after the process of S705.

S706で初期位置が推定され、かつ、S705で管制装置101から送信された誘導経路が通信装置407を介して受信されると、車両制御装置410(走行制御装置530)は、S707において、S706で推定された初期位置などに基づいて、実際の自動駐車の際に辿るべき、誘導経路に基づいた走行経路を生成する。 When the initial position is estimated in S706 and the guidance path transmitted from the control device 101 in S705 is received via the communication device 407, the vehicle control device 410 (travel control device 530) is in S707 at S706. Based on the estimated initial position and the like, a travel route based on the guidance route to be followed during actual automatic parking is generated.

そして、車両制御装置410(走行制御装置530)は、S708において、降車領域P1からの発進制御を実行する。 Then, the vehicle control device 410 (travel control device 530) executes the start control from the disembarkation area P1 in S708.

そして、車両制御装置410(走行制御装置530)は、S709において、S707で生成された走行経路に沿った走行制御を実行する。この走行制御は、上述したような画像認識装置510による画像認識処理の結果を利用した位置推定装置520による実位置の推定を伴って実行される。なお、実位置の推定時に実行される処理の流れについては、後で別の図面を参照しながらより詳細に説明するため、ここではこれ以上の説明を省略する。 Then, the vehicle control device 410 (travel control device 530) executes the travel control along the travel path generated in S707 in S709. This travel control is executed with the estimation of the actual position by the position estimation device 520 using the result of the image recognition processing by the image recognition device 510 as described above. Since the flow of processing executed at the time of estimating the actual position will be described in more detail later with reference to another drawing, further description will be omitted here.

そして、車両制御装置410(走行制御装置530)は、S710において、目標駐車領域への駐車制御を実行する。 Then, the vehicle control device 410 (travel control device 530) executes parking control to the target parking area in S710.

そして、S710における駐車制御が完了すると、車両制御装置410(走行制御装置530)は、S711において、通信装置407を介して駐車完了の通知を管制装置101に送信する。 Then, when the parking control in S710 is completed, the vehicle control device 410 (travel control device 530) transmits a parking completion notification to the control device 101 via the communication device 407 in S711.

以上のようにして、自動バレー駐車における自動駐車が実現される。 As described above, automatic parking in automatic valley parking is realized.

図8は、実施形態にかかる管制装置101および車両制御装置410が自動出庫の際に実行する処理の流れを示した例示的かつ模式的なシーケンス図である。この図8に示される処理シーケンスは、乗員Xが乗車領域P2で端末装置Tを操作することで、自動出庫のトリガとなる所定の呼び出しを行った場合に開始する。 FIG. 8 is an exemplary and schematic sequence diagram showing a flow of processing executed by the control device 101 and the vehicle control device 410 according to the embodiment at the time of automatic delivery. The processing sequence shown in FIG. 8 starts when the occupant X operates the terminal device T in the boarding area P2 to make a predetermined call that triggers automatic delivery.

図8に示される処理シーケンスでは、まず、S801において、管制装置101と車両制御装置410とが通信を確立する。このS801においては、上述した図7のS701と同様に、識別情報(ID)の送受信による認証や、管制装置101の監視下での自動走行を実現するための運行権限の譲受などが実行される。 In the processing sequence shown in FIG. 8, first, in S801, the control device 101 and the vehicle control device 410 establish communication. In this S801, as in the case of S701 in FIG. 7 described above, authentication by sending and receiving identification information (ID), transfer of operation authority for realizing automatic driving under the supervision of the control device 101, and the like are executed. ..

S801で通信が確立すると、管制装置101(通信処理部501)は、S802において、駐車場Pの地図データを車両制御装置410に送信する。 When communication is established in S801, the control device 101 (communication processing unit 501) transmits the map data of the parking lot P to the vehicle control device 410 in S802.

そして、管制装置101(駐車場データ管理部503)は、S803において、通信相手の車両制御装置410を搭載した車両Vが現在位置している駐車領域Rを確認する。実施形態では、このS803の処理が、監視カメラ103によって得られる画像データなどに基づいて実行される。 Then, the control device 101 (parking lot data management unit 503) confirms the parking area R in which the vehicle V equipped with the vehicle control device 410 of the communication partner is currently located in S803. In the embodiment, the process of S803 is executed based on the image data obtained by the surveillance camera 103 and the like.

そして、管制装置101(誘導経路生成部504)は、S804において、自動出庫の際に車両Vが辿るべき、S803で確認された駐車領域Rから乗車領域P2への誘導経路を生成する。 Then, the control device 101 (guidance route generation unit 504) generates a guidance route from the parking area R confirmed in S803 to the boarding area P2, which the vehicle V should follow at the time of automatic warehousing in S804.

そして、管制装置101(通信処理部501)は、S805において、S804で生成された誘導経路を車両制御装置410に送信する。 Then, the control device 101 (communication processing unit 501) transmits the guidance route generated in S804 to the vehicle control device 410 in S805.

一方、車両制御装置410(位置推定装置520)は、S802で管制装置101から送信された地図データが通信装置407を介して受信された後のS806において、車両Vが現在止まっている駐車領域R内における出庫位置を推定する。出庫位置とは、駐車領域Rからの出庫の起点となる、駐車領域R内における車両Vの現在位置(実位置)である。出庫位置の推定には、上述した自動走行中における実位置の推定と同様に、車載カメラ408によって得られる画像データに基づく画像認識装置510の画像認識処理の結果が利用されうる。なお、図8に示される例では、S806の処理がS805の処理の前に実行されているが、S806の処理は、S805の処理の後に実行されてもよい。 On the other hand, the vehicle control device 410 (position estimation device 520) has a parking area R in which the vehicle V is currently stopped in S806 after the map data transmitted from the control device 101 in S802 is received via the communication device 407. Estimate the delivery position within. The warehousing position is the current position (actual position) of the vehicle V in the parking area R, which is the starting point of warehousing from the parking area R. For the estimation of the delivery position, the result of the image recognition process of the image recognition device 510 based on the image data obtained by the in-vehicle camera 408 can be used in the same manner as the estimation of the actual position during the automatic traveling described above. In the example shown in FIG. 8, the process of S806 is executed before the process of S805, but the process of S806 may be executed after the process of S805.

S806で出庫位置が推定され、かつ、S805で管制装置101から送信された誘導経路が通信装置407を介して受信されると、車両制御装置410(走行制御装置530)は、S807において、S806で推定された出庫位置などに基づいて、実際の自動出庫の際に辿るべき、誘導経路に基づいて走行経路を生成する。 When the delivery position is estimated in S806 and the guidance route transmitted from the control device 101 in S805 is received via the communication device 407, the vehicle control device 410 (travel control device 530) is in S807 at S806. Based on the estimated delivery position and the like, a travel route is generated based on the guidance route to be followed in the actual automatic delivery.

そして、車両制御装置410(走行制御装置530)は、S808において、駐車領域Rからの出庫制御を実行する。 Then, the vehicle control device 410 (travel control device 530) executes the exit control from the parking area R in S808.

そして、車両制御装置410(走行制御装置530)は、S809において、S807で生成された走行経路に沿った走行制御を実行する。この走行制御も、図7のS709における走行制御と同様に、上述したような画像認識装置510による画像認識処理の結果を利用した位置推定装置520による実位置の推定を伴って実行される。 Then, the vehicle control device 410 (travel control device 530) executes the travel control along the travel path generated in S807 in S809. Similar to the travel control in S709 of FIG. 7, this travel control is also executed with the estimation of the actual position by the position estimation device 520 using the result of the image recognition processing by the image recognition device 510 as described above.

そして、車両制御装置410(走行制御装置530)は、S810において、乗車領域P2への停車制御を実行する。 Then, the vehicle control device 410 (travel control device 530) executes stop control in the boarding area P2 in S810.

そして、S810における停車制御が完了すると、車両制御装置410(走行制御装置530)は、S811において、通信装置407を介して出庫完了の通知を管制装置101に送信する。 Then, when the vehicle stop control in S810 is completed, the vehicle control device 410 (travel control device 530) transmits a notification of the completion of delivery to the control device 101 via the communication device 407 in S811.

以上のようにして、自動バレー駐車における自動出庫が実現される。 As described above, automatic warehousing in automatic valley parking is realized.

図9は、実施形態にかかる車両制御装置410が自動走行中に実行する実位置の推定処理の概略的な流れを示した例示的かつ模式的なフローチャートである。この図9に示される処理フローは、図7に示されるS709や、図8に示されるS809などにおける車両Vの自動走行中に繰り返し実行される。 FIG. 9 is an exemplary and schematic flowchart showing a schematic flow of an actual position estimation process executed by the vehicle control device 410 according to the embodiment during automatic driving. The processing flow shown in FIG. 9 is repeatedly executed during the automatic traveling of the vehicle V in S709 shown in FIG. 7, S809 shown in FIG. 8, and the like.

図9に示される処理フローでは、まず、S901において、車両制御装置410(画像認識装置510)は、車載カメラ408から画像データを取得する。 In the processing flow shown in FIG. 9, first, in S901, the vehicle control device 410 (image recognition device 510) acquires image data from the vehicle-mounted camera 408.

そして、S902において、車両制御装置410(画像認識装置510)は、白線認識処理などを含む画像認識処理を実行することで、S901で取得された画像データから、当該画像データ上における路面標示の位置などに関する路面標示データを取得する。 Then, in S902, the vehicle control device 410 (image recognition device 510) executes an image recognition process including a white line recognition process, and from the image data acquired in S901, the position of the road surface marking on the image data. Acquire road surface marking data related to such.

そして、S903において、車両制御装置410(位置推定装置520)は、路面標示データと地図データとを照合し、車両Vの実位置を推定する。そして、処理が終了する。 Then, in S903, the vehicle control device 410 (position estimation device 520) collates the road marking data with the map data and estimates the actual position of the vehicle V. Then, the process ends.

以下、図9のS903で実行される実位置の推定処理の内容についてより詳細に説明する。 Hereinafter, the content of the actual position estimation process executed in S903 of FIG. 9 will be described in more detail.

図10は、実施形態にかかる車両制御装置410が自動走行中に実行する実位置の推定処理の詳細な流れを示した例示的かつ模式的なフローチャートである。 FIG. 10 is an exemplary and schematic flowchart showing a detailed flow of the actual position estimation process executed by the vehicle control device 410 according to the embodiment during automatic driving.

図10に示される処理フローでは、まず、S1001において、車両制御装置410(位置推定装置520)は、車両Vの実位置に関する前回の推定値に、センサデータに基づく変化量、つまりオドメトリによって推定された車両Vの位置の変化量を加算することで、オドメトリに基づく車両Vの計算上の実位置を算出する。 In the processing flow shown in FIG. 10, first, in S1001, the vehicle control device 410 (position estimation device 520) is estimated by the amount of change based on the sensor data, that is, the odometry, from the previous estimated value regarding the actual position of the vehicle V. By adding the amount of change in the position of the vehicle V, the actual position of the vehicle V calculated based on the odometry is calculated.

そして、S1002において、車両制御装置410(位置推定装置520)は、画像認識装置510の画像認識処理の結果として得られる路面標示データに基づく、S1001で算出した実位置を基準とした路面標示の相対位置を算出する。このS1002で算出された路面標示の相対位置と、S1001で算出された車両Vの計算上の実位置と、を利用すれば、路面標示の計算上の絶対位置を特定することができる。 Then, in S1002, the vehicle control device 410 (position estimation device 520) is relative to the road markings based on the actual position calculated in S1001 based on the road marking data obtained as a result of the image recognition processing of the image recognition device 510. Calculate the position. By using the relative position of the road marking calculated in S1002 and the calculated actual position of the vehicle V calculated in S1001, the absolute position in the calculation of the road marking can be specified.

そして、S1003において、車両制御装置410(位置推定装置520)は、通信装置407を介して取得された地図データに基づく、路面標示の正規の絶対位置を特定する。たとえば、車両制御装置410(位置推定装置520)は、地図データに含まれる全ての路面標示の絶対位置から、S1002の算出結果を利用して特定される路面標示の計算上の絶対位置に近いものを抽出することで、次のS1004の処理において計算上の絶対位置との差分をとる対象となる路面標示の正規の絶対位置を特定する。 Then, in S1003, the vehicle control device 410 (position estimation device 520) specifies the regular absolute position of the road marking based on the map data acquired via the communication device 407. For example, the vehicle control device 410 (position estimation device 520) is close to the calculated absolute position of the road marking specified by using the calculation result of S1002 from the absolute positions of all the road markings included in the map data. Is extracted to specify the normal absolute position of the road marking to be different from the calculated absolute position in the next processing of S1004.

そして、S1004において、車両制御装置410(位置推定装置520)は、S1002の算出結果に基づいて特定された路面標示の計算上の絶対位置と、S1003で特定された路面標示の正規の絶対位置と、の差分をとり、当該差分に基づき、S1001の算出値、つまりオドメトリに基づく車両Vの実位置の算出値を補正する。 Then, in S1004, the vehicle control device 410 (position estimation device 520) has the absolute position in the calculation of the road marking specified based on the calculation result of S1002 and the regular absolute position of the road marking specified in S1003. , And based on the difference, the calculated value of S1001, that is, the calculated value of the actual position of the vehicle V based on the odometry is corrected.

そして、S1005において、車両制御装置410(位置推定装置520)は、S1004の補正後の値を、車両Vの正規の実位置として推定する。実施形態では、このS1005の推定結果に基づいて、走行制御装置530による車両Vの自動走行時に必要となる各種のパラメータ(車速や舵角、進行方向など)の設定が行われる。 Then, in S1005, the vehicle control device 410 (position estimation device 520) estimates the corrected value of S1004 as the normal actual position of the vehicle V. In the embodiment, various parameters (vehicle speed, steering angle, traveling direction, etc.) required for automatic traveling of the vehicle V by the traveling control device 530 are set based on the estimation result of S1005.

以上説明したように、実施形態にかかる車両制御装置410は、画像認識装置510、位置推定装置520、および走行制御装置530を実現する複数のECU400を有している。そして、画像認識装置510と走行制御装置530とが互いに異なるECU400によって実現され、位置推定装置520と走行制御装置530とが互いに同一のECU400によって実現される。 As described above, the vehicle control device 410 according to the embodiment has a plurality of ECUs 400 that realize the image recognition device 510, the position estimation device 520, and the travel control device 530. Then, the image recognition device 510 and the travel control device 530 are realized by different ECUs 400, and the position estimation device 520 and the travel control device 530 are realized by the same ECU 400.

実施形態によれば、上記の構成に基づいて、処理能力の高さが要求される走行制御装置530と、大容量のデータを扱う能力が要求される画像認識装置510と、を互いに別々のECU400によって実現することができる。また、地図データが比較的小容量である場合において、大容量のデータを扱う能力が要求されない位置推定装置520を、処理能力の高さが要求される(つまり大容量のデータを扱う能力はそれほど要求されない)走行制御装置530と同一のECU400によって実現することができる。これらの結果、地図データが比較的小容量である場合に、要求される性能に応じて複数のコンピュータに処理を分担させることができるので、自動走行中における車両Vの実位置の正確な把握を効率的に実現することができる。 According to the embodiment, the traveling control device 530, which is required to have a high processing capacity, and the image recognition device 510, which is required to have the ability to handle a large amount of data, are separated from each other by the ECU 400 based on the above configuration. Can be realized by. Further, when the map data has a relatively small capacity, the position estimation device 520, which does not require the ability to handle a large amount of data, is required to have a high processing capacity (that is, the ability to handle a large amount of data is not so large). It can be realized by the same ECU 400 as the travel control device 530 (not required). As a result, when the map data has a relatively small capacity, the processing can be shared by a plurality of computers according to the required performance, so that the actual position of the vehicle V during automatic driving can be accurately grasped. It can be realized efficiently.

さらに、実施形態において、同一のECU412によって実現される位置推定装置520および走行制御装置530は、それぞれ、地図データおよび走行経路を、通信装置407を介して管制装置101から取得する。このような構成によれば、地図データおよび走行経路が、管制装置101から通信装置407(および車載ネットワーク450)を介してECU412まで同一の経路で取得されるので、データの送受信の効率化を図ることができる。 Further, in the embodiment, the position estimation device 520 and the travel control device 530 realized by the same ECU 412 acquire the map data and the travel route from the control device 101 via the communication device 407, respectively. According to such a configuration, the map data and the traveling route are acquired from the control device 101 to the ECU 412 via the communication device 407 (and the in-vehicle network 450) by the same route, so that the efficiency of data transmission / reception is improved. be able to.

<変形例>
なお、上述した実施形態では、本発明の技術が自動バレー駐車システムに適用される場合が例示されている。しかしながら、本発明の技術は、駐車場内に適切な路面標示が設置され、当該路面標示の絶対位置に関するデータを取得可能な駐車システムであれば、自動バレー駐車システム以外の駐車システムにも適用可能である。
<Modification example>
In the above-described embodiment, the case where the technique of the present invention is applied to the automatic valley parking system is exemplified. However, the technique of the present invention can be applied to a parking system other than the automatic valley parking system as long as the appropriate road marking is installed in the parking lot and the data regarding the absolute position of the road marking can be obtained. be.

また、上述した実施形態では、地図データを通信によって管制装置101から取得する構成が例示されている。しかしながら、変形例として、地図データを予め車両制御装置410に記憶しておく構成も考えられる。 Further, in the above-described embodiment, a configuration in which map data is acquired from the control device 101 by communication is exemplified. However, as a modification, a configuration in which map data is stored in the vehicle control device 410 in advance is also conceivable.

同様に、上述した実施形態では、走行経路(誘導経路)を通信によって管制装置101から取得する構成が例示されている。しかしながら、変形例として、車載カメラ408や車両Vに設けられる各種センサから取得される情報などに基づいて、走行経路を車両制御装置410側のみで適宜生成する構成も考えられる。 Similarly, in the above-described embodiment, a configuration in which a traveling route (guidance route) is acquired from the control device 101 by communication is exemplified. However, as a modification, a configuration is also conceivable in which a traveling route is appropriately generated only on the vehicle control device 410 side based on information acquired from various sensors provided in the vehicle-mounted camera 408 and the vehicle V.

以上、本発明の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments and modifications of the present invention have been described above, the above-described embodiments and modifications are merely examples, and the scope of the invention is not intended to be limited. The novel embodiments and modifications described above can be implemented in various forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and the equivalent scope thereof.

101 管制装置
400 ECU(コンピュータ)
407 通信装置
408 車載カメラ
410 車両制御装置
411 ECU(第1コンピュータ)
412 ECU(第2コンピュータ、第3コンピュータ)
510 画像認識装置
511 画像データ取得部
512 路面標示データ取得部
520 位置推定装置
521 地図データ取得部
522 位置推定部
530 走行制御装置
531 経路取得部
532 走行制御部
L、L61~L63 区画線(路面標示)
M、M61、M62 マーカ(路面標示)
P 駐車場
P1 降車領域
P2 乗車領域
R 駐車領域
V 車両
101 Control device 400 ECU (computer)
407 Communication device 408 In-vehicle camera 410 Vehicle control device 411 ECU (first computer)
412 ECU (2nd computer, 3rd computer)
510 Image recognition device 511 Image data acquisition unit 512 Road marking data acquisition unit 520 Position estimation device 521 Map data acquisition unit 522 Position estimation unit 530 Travel control device 531 Route acquisition unit 532 Travel control unit L, L61 to L63 Section line (road marking) )
M, M61, M62 markers (road markings)
P Parking lot P1 Disembarkation area P2 Boarding area R Parking area V Vehicle

Claims (3)

車両の周辺の状況を撮像する車載カメラによって得られる画像データを取得する画像データ取得部と、前記画像データに基づく画像認識処理を実施することで前記車両が走行する駐車場の路面に設置された路面標示に関する路面標示データを取得する路面標示データ取得部と、を含む画像認識装置と、
前記路面標示の絶対位置を含む前記駐車場の地図データを取得する地図データ取得部と、前記路面標示データ取得部により取得された前記路面標示データと前記地図データ取得部により取得された前記地図データとを照合することで前記車両の正規の実位置を推定する位置推定部と、を含む位置推定装置と、
前記車両の自動走行で辿るべき走行経路を取得する経路取得部と、当該経路取得部により取得された前記走行経路と前記位置推定部により推定された前記正規の実位置とに基づいて前記車両の走行状態を制御することで前記走行経路に基づいた前記自動走行を実施する走行制御部と、を含む走行制御装置と、
を実現する複数のコンピュータを備え、
前記複数のコンピュータのうち、前記画像認識装置を実現する第1コンピュータと前記走行制御装置を実現する第2コンピュータとは互いに異なり、前記位置推定装置を実現する第3コンピュータと前記走行制御装置を実現する前記第2コンピュータとは互いに同一であ
前記位置推定部は、前記路面標示データに基づいて算出される前記車両に対する前記路面標示の相対位置と、オドメトリに基づいて推定される前記車両の計算上の実位置と、に基づいて、前記路面標示の計算上の絶対位置を算出し、前記路面標示の計算上の絶対位置と、前記地図データに基づいて特定された前記路面標示の正規の絶対位置と、の差分に基づいて、前記計算上の実位置を補正し、補正後の前記計算上の実位置を前記正規の実位置とする、
車両制御装置。
It is installed on the road surface of the parking lot where the vehicle travels by performing an image data acquisition unit that acquires image data obtained by an in-vehicle camera that captures the situation around the vehicle and image recognition processing based on the image data. An image recognition device including a road marking data acquisition unit for acquiring road marking data related to road marking, and an image recognition device including the road marking data acquisition unit.
A map data acquisition unit that acquires map data of the parking lot including the absolute position of the road marking, the road marking data acquired by the road marking data acquisition unit, and the map data acquired by the map data acquisition unit. A position estimation device including a position estimation unit that estimates the normal actual position of the vehicle by collating with and
The vehicle 's A travel control device including a travel control unit that performs the automatic travel based on the travel route by controlling the travel state, and
Equipped with multiple computers to realize
Among the plurality of computers, the first computer that realizes the image recognition device and the second computer that realizes the travel control device are different from each other, and the third computer that realizes the position estimation device and the travel control device are realized. The second computer is the same as the second computer.
The position estimation unit determines the road surface based on the relative position of the road marking with respect to the vehicle calculated based on the road marking data and the calculated actual position of the vehicle estimated based on odometry. The calculated absolute position of the marking is calculated, and the calculation is based on the difference between the calculated absolute position of the road marking and the regular absolute position of the road marking specified based on the map data. The actual position of is corrected, and the corrected actual position in the calculation is set as the regular actual position.
Vehicle control device.
前記駐車場に対応して設けられた管制装置であって、前記地図データを保持するとともに前記駐車場内の状況に応じた前記走行経路を生成する管制装置と通信するための通信装置をさらに備え、
前記位置推定装置の前記地図データ取得部は、前記通信装置を介して前記地図データを前記管制装置から取得し、
前記走行制御装置の前記経路取得部は、前記通信装置を介して前記走行経路を前記管制装置から取得する、
請求項1に記載の車両制御装置。
A control device provided corresponding to the parking lot, further provided with a communication device for holding the map data and communicating with the control device for generating the travel route according to the situation in the parking lot.
The map data acquisition unit of the position estimation device acquires the map data from the control device via the communication device, and obtains the map data from the control device.
The route acquisition unit of the travel control device acquires the travel route from the control device via the communication device.
The vehicle control device according to claim 1.
前記自動走行は、降車領域と乗車領域と駐車領域とを含む前記駐車場において、前記降車領域で前記車両から乗員が降車した後、所定の指示に応じて前記車両が前記降車領域から前記駐車領域へ自動で移動して駐車する自動駐車と、当該自動駐車が完了した後、所定の呼び出しに応じて前記車両が前記駐車領域から出庫して前記乗車領域へ自動で移動して停車する自動出庫と、を含む、
請求項1または2に記載の車両制御装置。
In the automatic running, in the parking lot including a disembarkation area, a boarding area, and a parking area, after a occupant disembarks from the vehicle in the disembarkation area, the vehicle moves from the disembarkation area to the parking area according to a predetermined instruction. Automatic parking that automatically moves to and parks, and automatic parking that the vehicle leaves the parking area and automatically moves to the boarding area and stops in response to a predetermined call after the automatic parking is completed. ,including,
The vehicle control device according to claim 1 or 2.
JP2018025060A 2018-02-15 2018-02-15 Vehicle control device Active JP7102765B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018025060A JP7102765B2 (en) 2018-02-15 2018-02-15 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025060A JP7102765B2 (en) 2018-02-15 2018-02-15 Vehicle control device

Publications (2)

Publication Number Publication Date
JP2019139696A JP2019139696A (en) 2019-08-22
JP7102765B2 true JP7102765B2 (en) 2022-07-20

Family

ID=67694173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025060A Active JP7102765B2 (en) 2018-02-15 2018-02-15 Vehicle control device

Country Status (1)

Country Link
JP (1) JP7102765B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656048B1 (en) * 2018-12-28 2024-04-11 현대자동차주식회사 Automated Valet Parking System and method, infrastructure and vehicle thereof
JP7053560B2 (en) * 2019-12-13 2022-04-12 本田技研工業株式会社 Parking assistance system and its control method
JP6949096B2 (en) 2019-12-13 2021-10-13 本田技研工業株式会社 Parking support system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081986A1 (en) 2015-11-11 2017-05-18 日立オートモティブシステムズ株式会社 Object-detecting device
JP2017117188A (en) 2015-12-24 2017-06-29 Kyb株式会社 Vehicle guiding device and vehicle guiding system including vehicle guiding device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329746B2 (en) * 2013-10-04 2018-05-23 株式会社デンソーアイティーラボラトリ Traffic control system, traffic control method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081986A1 (en) 2015-11-11 2017-05-18 日立オートモティブシステムズ株式会社 Object-detecting device
JP2017117188A (en) 2015-12-24 2017-06-29 Kyb株式会社 Vehicle guiding device and vehicle guiding system including vehicle guiding device

Also Published As

Publication number Publication date
JP2019139696A (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN109747635B (en) Vehicle control device and parking system
JP7069772B2 (en) Vehicle control system, parking lot control system and automatic valley parking system
JP7048353B2 (en) Driving control device, driving control method and program
JP6996246B2 (en) Vehicle control device
JP2019160086A (en) Parking control device and vehicle control device
JP7275520B2 (en) vehicle controller
JP7102765B2 (en) Vehicle control device
EP3133454B1 (en) Method and apparatus for controlling a vehicle having automated driving control capabilities
JP7251190B2 (en) Vehicle cruise control system
JP6970215B2 (en) Vehicle control device, vehicle with it, and control method
US20220371579A1 (en) Driving assistance apparatus, vehicle, and driving assistance method
JP2021068304A (en) Automatic parking system
JP2020032860A (en) Vehicle control device, automatic operation control system, and vehicle control method
JPWO2019106788A1 (en) Vehicle control device, vehicle, and vehicle control method
KR20220121186A (en) Vehicle control method, vehicle control system, and vehicle
KR20180012128A (en) Apparatus for estimating 3d position of vehicle and method thereof
JP7192308B2 (en) Vehicle communication control device, vehicle communication control system, vehicle communication control method, and vehicle communication control program
US20190176839A1 (en) Object recognition apparatus, object recognition method, and vehicle
JP6595647B2 (en) Travel control device, vehicle, and travel control method
JP6776543B2 (en) Vehicle control system
JP7139618B2 (en) Vehicle controller and parking lot
US20200180510A1 (en) Parking Assistance Method and Parking Assistance Device
JP7192309B2 (en) Vehicle control device and vehicle control method
US20210300439A1 (en) Vehicle control device
JP2020091789A (en) Collision avoidance assistance device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210114

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7102765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150