JP7085404B2 - Automatic parking control device and automatic parking control system - Google Patents
Automatic parking control device and automatic parking control system Download PDFInfo
- Publication number
- JP7085404B2 JP7085404B2 JP2018090363A JP2018090363A JP7085404B2 JP 7085404 B2 JP7085404 B2 JP 7085404B2 JP 2018090363 A JP2018090363 A JP 2018090363A JP 2018090363 A JP2018090363 A JP 2018090363A JP 7085404 B2 JP7085404 B2 JP 7085404B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- user
- recommended position
- operation terminal
- recommended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本発明は、自動駐車制御装置、及び自動駐車制御システムに関する。 The present invention relates to an automatic parking control device and an automatic parking control system.
ユーザが車外から車両を遠隔操作する技術において、ユーザと、ユーザ周辺の物体との相対位置、及び相対速度に基づいて、ユーザと周辺の物体とが衝突し得る危険な状態にある場合に、ユーザに危険を通知すること、が知られている。
(例えば、特許文献1参照)。
In the technique of remotely controlling a vehicle from outside the vehicle, the user is in a dangerous state where the user and the surrounding object may collide with each other based on the relative position and the relative speed of the user and the object around the user. It is known to notify the danger.
(See, for example, Patent Document 1).
しかしながら、ユーザが車外から車両を遠隔操作して所定の駐車スペースに駐車させる場合、従来の技術におけるユーザ通知では、確実でない場合があった。
本発明は、より確実な通知を行うことができる自動駐車制御装置、及び自動駐車制御システムを提供することを目的とする。
However, when the user remotely controls the vehicle from outside the vehicle to park the vehicle in a predetermined parking space, the user notification in the conventional technique may not be reliable.
An object of the present invention is to provide an automatic parking control device and an automatic parking control system capable of performing more reliable notification.
本発明は、車両を遠隔操作する操作端末に対するユーザの操作にしたがって、前記車両を自動運転制御によって所定駐車スペースに駐車させる自動駐車制御装置であって、前記所定駐車スペースまでの走行経路を算出する経路算出部と、車外における前記ユーザの推奨位置を、前記走行経路に基づいて算出する推奨位置算出部と、前記ユーザに前記推奨位置を提示する提示部と、前記操作端末と前記車両との距離が所定距離を越えた場合に、前記車両の移動の停止を指示する停止制御器と、を備え、前記推奨位置算出部は、前記走行経路の全区間に亘り、前記車両と前記操作端末との距離が前記所定距離以下に維持され、かつ、前記車両が通過する範囲を除外した位置を前記推奨位置として算出し、前記走行経路の全区間に亘って、前記車両と前記操作端末との距離が所定距離以下に維持される位置が存在しない場合、前記走行経路内の互いに異なる所定箇所を基点とした所定距離の範囲ごとに前記推奨位置を算出し、前記提示部は、前記車両の移動に合わせて、前記推奨位置を順に前記ユーザに提示することを特徴とする。 The present invention is an automatic parking control device that parks the vehicle in a predetermined parking space by automatic driving control according to a user's operation on an operation terminal that remotely controls the vehicle, and calculates a travel route to the predetermined parking space. The route calculation unit, the recommended position calculation unit that calculates the recommended position of the user outside the vehicle based on the travel route, the presentation unit that presents the recommended position to the user, and the distance between the operation terminal and the vehicle. The vehicle is provided with a stop controller for instructing the vehicle to stop moving when the vehicle exceeds a predetermined distance, and the recommended position calculation unit covers the entire section of the travel route of the vehicle and the operation terminal. A position where the distance is maintained below the predetermined distance and the range excluding the range through which the vehicle passes is calculated as the recommended position, and the distance between the vehicle and the operation terminal is calculated over the entire section of the travel route. When there is no position maintained below the predetermined distance, the recommended position is calculated for each predetermined distance range with different predetermined points in the travel route as the base point, and the presenting unit adjusts to the movement of the vehicle. The recommended position is presented to the user in order .
本発明は、上記自動駐車制御装置において、前記提示部は、前記推奨位置をプロジェクタから路面に投影することを特徴とする。 The present invention is characterized in that, in the automatic parking control device, the presentation unit projects the recommended position from a projector onto a road surface.
本発明は、上記自動駐車制御装置において、前記提示部は、前記車両、又は/及び前記操作端末に設けられた表示器に、前記推奨位置を表示することを特徴とする。 The present invention is characterized in that, in the automatic parking control device, the presenting unit displays the recommended position on a display provided on the vehicle and / or the operation terminal.
本発明は、上記自動駐車制御装置において、前記車両の周囲の人を検知する人物検知器を備え、前記提示部は、前記推奨位置に人が位置することを前記表示器の表示により前記ユーザが認識可能にすることを特徴とする。 INDUSTRIAL APPLICABILITY The present invention includes a person detector for detecting a person around the vehicle in the automatic parking control device, and the presenting unit indicates that the person is located at the recommended position by the user by displaying the display. It is characterized by making it recognizable.
本発明は、車両を遠隔操作する操作端末と、前記操作端末に対するユーザの操作にしたがって、前記車両を自動運転制御によって所定駐車スペースに駐車させる自動駐車制御装置と、を備えた自動駐車制御システムにおいて、前記自動駐車制御装置は、前記所定駐車スペースまでの走行経路を算出する経路算出部と、車外における前記ユーザの推奨位置を、前記走行経路に基づいて算出する推奨位置算出部と、前記推奨位置を前記ユーザに提示する提示部と、前記操作端末と前記車両との距離が所定距離を越えた場合に、前記車両の移動の停止を指示する停止制御器と、を備え、前記推奨位置算出部は、前記走行経路の全区間に亘り、前記車両と前記操作端末との距離が前記所定距離以下に維持され、かつ、前記車両が通過する範囲を除外した位置を前記推奨位置として算出し、前記走行経路の全区間に亘って、前記車両と前記操作端末との距離が所定距離以下に維持される位置が存在しない場合、前記走行経路内の互いに異なる所定箇所を基点とした所定距離の範囲ごとに前記推奨位置を算出し、前記提示部は、前記車両の移動に合わせて、前記推奨位置を順に前記ユーザに提示することを特徴とする。
The present invention is an automatic parking control system including an operation terminal for remotely operating a vehicle and an automatic parking control device for parking the vehicle in a predetermined parking space by automatic driving control according to a user's operation on the operation terminal. The automatic parking control device includes a route calculation unit that calculates a travel route to the predetermined parking space, a recommended position calculation unit that calculates a user's recommended position outside the vehicle based on the travel route, and the recommended position. The recommended position calculation unit includes a presentation unit that presents the vehicle to the user, and a stop controller that instructs the user to stop the movement of the vehicle when the distance between the operation terminal and the vehicle exceeds a predetermined distance. Calculates as the recommended position a position where the distance between the vehicle and the operation terminal is maintained at the predetermined distance or less and the range excluding the range through which the vehicle passes is excluded over the entire section of the travel route. When there is no position where the distance between the vehicle and the operation terminal is maintained below a predetermined distance over the entire section of the travel route, each predetermined distance range with different predetermined locations in the travel route as a base point. The recommended position is calculated, and the presenting unit presents the recommended position to the user in order in accordance with the movement of the vehicle .
本発明によれば、より確実な通知を行うことができる。 According to the present invention, more reliable notification can be given.
以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る自動駐車制御システム1の説明図である。
自動駐車制御システム1は、ユーザ6による操作端末8の操作にしたがって、車両2を自動運転して所定の駐車スペース(以下、「駐車予定スペースと言う」)4Aに自動的に駐車させることで、ユーザ6による車両2の駐車を支援するシステムである。なお、本実施形態では、車両2の周囲に複数の駐車スペース4が存在し、これらの中の1つが駐車予定スペース4Aに選択される場合を例示するが、車両2の周囲に駐車スペース4が1つだけの場合であってもよい。
自動駐車制御システム1は、図1に示すように、車両2を遠隔操作するための操作端末8と、車両2に設けられ、当該車両2を自動運転する機能を有した車載システム10と、を備え、操作端末8と車載システム10とが相互に無線通信する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an explanatory diagram of an automatic
The automatic
As shown in FIG. 1, the automatic
操作端末8は、ユーザ6の操作を受け付ける機能、及び各種情報を表示する機能を有したモバイル型の電子機器であり、典型的には、スマートフォンやラップトップコンピュータである。操作端末8は、ユーザ6による駐車支援の開始操作や駐車予定スペース4Aの選択操作といった各種の操作を受け付け、操作結果を車載システム10に送信する。
また操作端末8は、車載システム10から受信した情報を表示してユーザ6に提示する。この情報の1つには、車載システム10から無線通信によって伝送される全方位カメラ画像9が挙げられる。全方位カメラ画像9は、図2に示すように、車両2の上方(本実施形態では真上)から当該車両2の全方位を視た画像である。
この全方位カメラ画像9は、車両2が自動運転により移動している間、リアルタイムに表示され、ユーザ6は、車両2の全方位を全方位カメラ画像9に基づいて確認できるようになっている。
The
Further, the
The omnidirectional camera image 9 is displayed in real time while the
車載システム10は、操作端末8において駐車予定スペース4Aの選択操作が成された場合に、車両2を自動運転制御して、当該車両2を駐車予定スペース4Aに収まるように移動させる。この場合において、車載システム10は、操作端末8と車両2との離間距離が所定距離R(例えば6メートル)を超えた場合に、車両2を直ちに停車させるようになっている。
The in-
なお、操作端末8と車両2との間の無線通信方式は、少なくとも所定距離R以上の通信範囲を担保できる方式であれば任意であり、例えばWi-Fi(登録商標)やBluetooth(登録商標)を用いることができる。
The wireless communication method between the
次いで、操作端末8、及び車載システム10の各々について詳述する。
Next, each of the
図3は、操作端末8の概略構成を示す図である。
操作端末8は、無線送受器20と、表示器22と、駐車予定スペース選択操作部23と、車両動作スイッチ24と、描画制御器26と、を備える。
操作端末8として用いられるモバイル型の電子機器は、図3に示す構成の他にも、CPUやMPUなどのプロセッサと、ROMやRAMなどのメモリデバイスと、HDDやSSDなどのストレージ装置と、ユーザ操作を受け付ける操作入力装置と、各種の周辺機器などを接続するためのインターフェース回路と、を備え、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、操作端末8の各部を制御している。
FIG. 3 is a diagram showing a schematic configuration of the
The
In addition to the configuration shown in FIG. 3, the mobile electronic device used as the
無線送受器20は、プロセッサの制御の下、車載システム10との間で無線通信し、各種のデータを送受する。
表示器22は、プロセッサの制御の下、無線送受器20が車載システム10から受信している全方位カメラ画像9を表示する。また表示器22には、タッチ操作を受け付ける操作入力機能を有したタッチパネルディスプレイが用いられている。
The wireless transmitter /
The
駐車予定スペース選択操作部23は、ユーザ6が全方位カメラ画像9に写っている駐車スペース4の中から所望のものを駐車予定スペース4Aとして選択するために操作される操作部である。この駐車予定スペース選択操作部23には、表示器22のタッチパネルディスプレイが用いられる。
The planned parking space
車両動作スイッチ24は、駐車予定スペース4Aの選択後に、ユーザ6が車両2の自動運転制御を指示し、実際に車両2の移動を開始させるための操作スイッチである。なお、当該操作スイッチは、上記タッチパネルディスプレイに表示されたスイッチでもよいし、メカニカルスイッチでもよい。
The
描画制御器26は、プロセッサの制御の下、車載システム10からリモート操作推奨位置Prが入力された場合、図2に示すように、当該リモート操作推奨位置Prを全方位カメラ画像9に重ねて表示器22に表示させる。
リモート操作推奨位置Prは、車両2が自動運転制御により駐車のために移動している間、操作端末8と車両2との離間距離が所定距離Rを超える事がなく、なおかつ、車両2が通過することもない範囲である。
したがって、ユーザ6は、リモート操作推奨位置Prから車両2を遠隔操作することで、車両2との離間距離に起因した停車を生じさせることなく、なおかつ、安全な位置で、車両2を遠隔操作することができる。
When the remote operation recommended position Pr is input from the in-
In the remote operation recommended position Pr, the separation distance between the
Therefore, by remotely controlling the
なお、操作端末8には、上記の他にも、車両2の遠隔操作により当該車両2を駐車させるために一般に設けられる各種の機能(例えば、ユーザ6が自動駐車支援を受けるために車載システム10を起動させるための操作スイッチなど)が設けられている。
In addition to the above, the
図4は、車載システム10の概略構成を示す図である。
車載システム10は、4台のカメラ30と、無線送受器32と、車両動作制御器34と、表示器36と、プロジェクタ38と、自動駐車制御装置40と、を備え、これらがCAN(Controller Area Network)などの車載ネットワークに通信可能に接続されている。
FIG. 4 is a diagram showing a schematic configuration of the in-
The in-
4台のカメラ30のそれぞれは、車両2の周囲を撮影し、カメラ映像を当該自動駐車制御装置40に出力する撮影手段である。車両2には、全方位カメラ画像9の生成に必要なカメラ映像を得るために、1台のカメラ30が車両2の前端部(例えば、フロントバンパ)の車幅方向中央から前方を撮影し、他の1台のカメラ30が車両2の後端部(例えばリアバンパ)の車幅方向中央から後方を撮影し、他の1台のカメラ30が車両2の右側部(例えば右ドアミラー)から右側方を撮影し、残り1台のカメラ30が車両2の左側部(例えば左ドアミラー)から左側方を撮影する。
無線送受器32は、自動駐車制御装置40の制御の下、操作端末8との間で無線通信する。
Each of the four
The wireless transmitter /
車両動作制御器34は、自動駐車制御装置40が指定した経路に沿って車両2が移動するように当該車両2を自動運転制御する機能を実現するECU(Electronic Control Unit)を備える。ECUは、CPUやMPUなどのプロセッサと、ROMやRAMなどのメモリデバイスと、HDDやSSDなどのストレージ装置と、各種の周辺機器や車載ネットワークなどを接続するためのインターフェース回路と、を備える電子回路である。そして、車両動作制御器34は、車両2に設けられた各種センサの検出値に基づいて、車両2の動力源(エンジンやモータ)、操舵角、アクセル、ブレーキといった自動走行に要する各部を、車載ネットワークを通じて制御ことで、自動駐車制御装置40が指定する経路に沿って車両2を移動させる。
The
表示器36は、自動駐車制御装置40から出力された信号に基づいて、各種情報を表示するものであり、操作端末8の表示器22と同様に、上述した全方位カメラ画像9やリモート操作推奨位置Prを表示する。
プロジェクタ38は、自動駐車制御装置40から出力された信号に基づいて、各種の投影像を地面に投影する投影装置であり、本実施形態では、プロジェクタ38は、リモート操作推奨位置Prを路面に投影する。
The
The
自動駐車制御装置40は、全方位カメラ画像9の生成機能、リモート操作推奨位置Prの特定機能、及び、車両動作制御器34を用いて駐車予定スペース4Aに収まるように車両2を自動運転制御する機能を有し、ECUを備えている。ECUは、上述の通り、ECUは、プロセッサと、メモリデバイスと、各種の周辺機器や車載ネットワークなどを接続するためのインターフェース回路と、を備えた電子回路であり、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、図4に示す各部の機能が実現する。
The automatic
すなわち、自動駐車制御装置40は、全方位カメラ画像生成器50と、人物検知器52と、駐車位置・経路算出器54と、操作可能エリア算出・判定器56と、操作エリア定義入力器58と、自動運転指示器60と、を備える。
That is, the automatic
全方位カメラ画像生成器50は、4台のカメラ30のカメラ映像に基づいて、上記全方位カメラ画像9を生成し、人物検知器52、及び駐車位置・経路算出器54に出力する。
具体的には、全方位カメラ画像生成器50は、車両2の前方、後方、右側方、及び左側方を撮影したカメラ映像の各々を、車両2を上方から視た画像に変換し、変換後の各カメラ映像を車両2の位置(例えば中心O:図2)を基準に合成し、図2に示すような全方位カメラ画像9を得る。
The omnidirectional
Specifically, the omnidirectional
人物検知器52は、車両2の周囲に居る人物を検知する。
具体的には、人物検知器52は、全方位カメラ画像9に写っている人物を画像認識することで当該人物を検知する。駐車支援動作時において、ユーザ6が車外から車両2を遠隔操作する場合には、例えば図2に示すように、車外に存在するユーザ6が人物検知器52によって検知される。
The
Specifically, the
駐車位置・経路算出器54は、車両2の周囲の駐車スペース4を検知する駐車スペース検知部54Aと、駐車予定スペース4Aを設定する駐車予定スペース設定部54Bと、及び、駐車予定スペース4Aまでの当該車両2の走行経路を算出する経路算出部54Cと、を備える。
The parking position /
駐車スペース検知部54Aは、全方位カメラ画像9に写っている駐車スペース4を画像認識することで当該駐車スペース4を検知する。
詳細には、車両1台分の駐車スペース4は、前掲図1に示すように平面視矩形を成し、少なくとも車幅方向Mの境界が車両全長方向Nに延びる一対の駐車区画線K1で区画され、車両全長方向Nの境界が一対の駐車区画線K2で区画されている。したがって、駐車スペース検知部54Aは、これら駐車区画線K1、K2を画像認識により検知することで、個々の駐車スペース4を検知する。
The parking
Specifically, the
駐車予定スペース設定部54Bは、操作端末8に対するユーザ操作(駐車予定スペース4Aの選択操作)に基づいて、駐車スペース検知部54Aによって検知されている駐車スペース4のいずれかを駐車予定スペース4Aを設定する。
The parking schedule
経路算出部54Cは、全方位カメラ画像9に基づいて、車両2と駐車予定スペース4Aの相対位置関係や、車両2の周囲に存在する走行可能なスペースなどの情報を特定し、これらの情報に基づいて、現在位置から駐車予定スペース4Aまでの当該車両2の走行経路を算出する。この走行経路において、車両2が切り返しを行う場合は、当該切り返しが行われる地点(以下、「切り返し地点Pt」と言う:図6)も特定される。なお、切り返しとは、車両2の現在位置から駐車予定スペース4Aに、そのまま前進または後進しただけでは入りきらない場合に、前進または後進し、前進または後進だけで駐車予定スペース4Aに入りきる位置に現在位置を変更する動作のことである。
The
操作可能エリア算出・判定器56は、遠隔操作可能なユーザの立ち位置の範囲(以下、「操作可能エリアQ」と言う:図6)を上述の所定距離Rに基づいて特定する。すなわち、操作可能エリアは、車両2から所定距離Rの範囲である。この場合において、操作可能エリア算出・判定器56は、車両2が自動運転により移動を開始するスタート位置Ps、1又は複数の切り返し地点Pt、及び駐車予定位置Puの各々を基点とし、それぞれごとに操作可能エリアQを特定する。
また、操作可能エリア算出・判定器56は、これらの操作可能エリアQに基づいて上述のリモート操作推奨位置Pr(図6)を算出する推奨位置算出部56Aと、リモート操作推奨位置Prをプロジェクタ38、表示器36、及び操作端末8に出力することでユーザ6に提示する提示部56Bと、を備える。
The operable area calculation / determining
Further, the operable area calculation /
操作エリア定義入力器58は、リモート操作推奨位置Prに係るユーザ設定を操作可能エリア算出・判定器56に与えるものである。本実施形態では、操作エリア定義入力器58は、リモート操作推奨位置Prと、車両2が通過する通過範囲Qu(図6)との離間距離(「クリアランス」とも呼ぶ)を操作可能エリア算出・判定器56にユーザ設定として与える。操作エリア定義入力器58は、かかるユーザ設定を、例えば操作入力装置や記録メディア読取装置などの任意の入力装置からユーザ設定を取得する。
The operation area
自動運転指示器60は、ユーザ6によって車両動作スイッチ24が操作され、自動運転開始が指示された場合に、車両2を上述の走行経路に沿って自動運転制御により移動させることを車両動作制御器34に指示する。
また自動運転指示器60は、停止制御器60Aを備えている。停止制御器60Aは、車両2と操作端末8の離間距離をリアルタイムで監視し、離間距離が上記所定距離Rを越えた場合に、車両動作制御器34に車両2の停車を指示し、車両2の移動を直ちに停止させる。
なお、車両2と操作端末8の離間距離を測定する手法は任意である。かかる手法には、例えば全方位カメラ画像9に写った車両2とユーザ6とを画像認識して測定する手法、無線送受器32における受信電界強度などに基づいて測定する手法、操作端末8から位置情報(例えばGPS情報など)を取得する手法などが挙げられる。
The
Further, the
The method of measuring the distance between the
次いで、本実施形態の動作について説明する。 Next, the operation of this embodiment will be described.
図5は、自動駐車制御システム1の動作を示すフローチャートである。
ユーザ6が車両2を遠隔操作により駐車される場合、操作端末8を操作し、車載システム10の自動駐車制御装置40に対して動作開始を指示する。自動駐車制御装置40では、かかる指示が入力されると、全方位カメラ画像生成器50がカメラ30のカメラ映像に基づいて、全方位カメラ画像9を生成し、駐車位置・経路算出器54に出力する(ステップS1)。
次いで、駐車位置・経路算出器54が車両2の周囲に存在する駐車スペース4を画像認識により検知し(ステップS2)、そして自動駐車制御装置40のプロセッサが、駐車スペース4の検知結果を全方位カメラ画像9とともに無線送受器32を通じて操作端末8に送信する(ステップS3)。
FIG. 5 is a flowchart showing the operation of the automatic
When the
Next, the parking position /
この結果、操作端末8では、描画制御器26が駐車スペース4の検知結果を全方位カメラ画像9に重畳して表示器22に表示し、ユーザ6による駐車予定スペース4Aの選択操作を待ち受ける。そして、ユーザ6が駐車予定スペース選択操作部23を操作して駐車予定スペース4Aを選択すると、操作端末8は、無線送受器20を通じて、駐車予定スペース4Aの選択結果を自動駐車制御装置40に送信する。
As a result, in the
自動駐車制御装置40は駐車予定スペース4Aの選択結果を受信すると(ステップS4:YES)、駐車位置・経路算出器54が車両2の現在位置をスタート位置Psとし、駐車予定スペース4Aを駐車予定位置Puとして走行経路を算出する(ステップS5)。また、この走行経路の算出に際し、切り返しが必要な場合には、その切り返し地点Ptでの切り返しを含む走行経路が算出される。
When the automatic
次いで、操作可能エリア算出・判定器56の推奨位置算出部56Aは、スタート位置Ps、切り返し地点Pt、及び駐車予定位置Puの各々を基点とし、それぞれごとに操作可能エリアQを特定し(ステップS6)、それぞれの操作可能エリアQに基づいて、リモート操作推奨位置Prを算出する。具体的には、推奨位置算出部56Aは、全ての操作可能エリアQが重複する重複領域Qtが存在するか否かを判断し(ステップS7)、その判断結果に応じて、リモート操作推奨位置Prを算出する。
Next, the recommended
詳述すると、図6に示すように、全ての操作可能エリアQが重複する重複領域Qtが存在する場合、その重複領域Qtは、車両2の走行経路の全区間に亘り、車両2と操作端末8との離間距離が所定距離R以下に維持される領域となっている。したがって、ユーザ6が重複領域Qtで操作端末8を用いて車両2を遠隔操作することで、車両2の走行経路の全区間において、離間距離に起因した車両2の停止を生じさせることなく、車両2を駐車予定スペース4Aに自動運転により駐車させることができることになる。
More specifically, as shown in FIG. 6, when there is an overlapping region Qt in which all the operable areas Q overlap, the overlapping region Qt covers the entire section of the traveling route of the
そこで、本実施形態では、前掲図5に示すように、重複領域Qtが存在する場合(ステップS7:YES)、推奨位置算出部56Aは、重複領域Qtから車両2の通過範囲Quを除外した範囲をリモート操作推奨位置Prとして算出する(ステップS8)。なお、通過範囲Quは、車両2の車幅、及び、上記クリアランスに基づいて特定される。
Therefore, in the present embodiment, as shown in FIG. 5 above, when the overlapping region Qt exists (step S7: YES), the recommended
一方、重複領域Qtが存在しない場合、いずれかの操作可能エリアQにユーザ6が留まって遠隔操作すると、車両2の移動中に、車両2と操作端末8との離間距離が所定距離Rを越えてしまう。このため、ユーザ6は、車両2の移動に合わせ、各操作可能エリアQを順に移動する必要がある。本実施形態では、前掲図5に示すように、操作位置案内処理を実行することで(ステップS9)、ユーザ6に操作可能エリアQ間の移動が適切に案内されるようになっている。なお、この操作位置案内処理については後述する。
On the other hand, when the overlapping area Qt does not exist, when the
さて、推奨位置算出部56Aがリモート操作推奨位置Prを算出すると(ステップS8)、提示部56Bは、そのリモート操作推奨位置Prをプロジェクタ38、表示器36、及び操作端末8に出力する。この結果、車両2にあっては、プロジェクタ38がリモート操作推奨位置Prを路面に投影し、また表示器36がリモート操作推奨位置Prを全方位カメラ画像9に重畳して表示する。さらに、操作端末8にあっては、リモート操作推奨位置Prが全方位カメラ画像9に重畳されて表示器22に表示される(ステップS10)。
これにより、ユーザ6は、路面の投影像や車両2の表示器36の表示、操作端末8の表示からリモート操作推奨位置Prを把握し、リモート操作推奨位置Prに移動することができる。
When the recommended
As a result, the
次いで、自動駐車制御装置40では、人物検知器52が車両2の周囲に居るユーザ6を検知し、当該ユーザ6がリモート操作推奨位置Prの中に位置する場合には、その旨をユーザ6が認識できるように表示を変更する(ステップS11)。かかる表示の変更としては、例えば、ユーザ6が位置するリモート操作推奨位置Prを強調表示したり、ユーザ6がリモート操作推奨位置Prに居る旨のメッセージを表示する、等が挙げられる。この表示の変更により、ユーザ6は、自身がリモート操作推奨位置Prに居ることを確実に把握できる。
Next, in the automatic
ユーザ6がリモート操作推奨位置Prに移動し、操作端末8の車両動作スイッチ24を操作すると、操作端末8から自動駐車制御装置40に、車両2の自動運転開始が指示される。
When the
自動駐車制御装置40では、自動運転開始が指示されると(ステップS12:YES)、自動運転指示器60が車両動作制御器34を用いて車両2を自動運転制御し、走行経路に沿って車両2を移動させ、車両2を駐車予定スペース4Aに収める(ステップS13)。
In the automatic
なお、このステップS13では、自動運転指示器60が操作端末8と車両2との離間距離を監視し、ユーザ6がリモート操作推奨位置Pr以外の場所に位置する等して、離間距離が所定距離Rを越えた場合には、車両動作制御器34に、車両2を直ちに停止させる。
上述の通り、ユーザ6は、リモート操作推奨位置Prに立って遠隔操作することで、車両2の走行経路の全区間に亘って、離間距離が所定距離Rを越ええることはないため、離間距離に起因した停車を生じさせることなく、車両2をスムーズに駐車させることができることとなる。
In this step S13, the
As described above, the
次いで、上記操作位置案内処理について説明する。
上述の通り、操作位置案内処理は、重複領域Qtが存在しない場合(図5:ステップS5:NO)に、車両2の移動に合わせて、操作可能エリアQの間の移動をユーザ6に案内する処理である。本実施形態では、この操作位置案内処理において、操作可能エリアQごとにリモート操作推奨位置Prをユーザ6に案内し、ユーザ6が速やかに各操作可能エリアQを移動できるようにしている。
Next, the operation position guidance process will be described.
As described above, the operation position guidance process guides the
図7は、操作位置案内処理のフローチャートである。
操作位置案内処理において、自動駐車制御装置40の推奨位置算出部56Aは、各操作可能エリアQについてリモート操作推奨位置Prを算出するために、次の処理を実行する。すなわち、推奨位置算出部56Aは、ユーザ6が順に移動する2つの操作可能エリアQごとに、各々の近接領域Qvを特定する(ステップS20)。
FIG. 7 is a flowchart of the operation position guidance process.
In the operation position guidance process, the recommended
近接領域Qvは、図8に示すように、2つの操作可能エリアQの各々の範囲内で、両者が最も近接する箇所を含む領域(例えば、2つの操作可能エリアQの中心を結ぶ直線Lを含む範囲)である。かかる近接領域Qvでユーザ6が操作端末8を用いて車両2を遠隔操作することで、ユーザ6が次の操作可能エリアQに移動する際の移動距離を小さくでき、ユーザビリティの向上が図られる。
As shown in FIG. 8, the proximity region Qv is a region (for example, a straight line L connecting the centers of the two operable areas Q) including the points where they are closest to each other within the range of each of the two operable areas Q. Included range). By remotely controlling the
なお、2つの操作可能エリアQに重複部分がある場合には、当該重複部分が近接領域Qvに設定される。
また、2つの操作可能エリアQの離間距離が上記所定距離Rを越えている場合には、推奨位置算出部56Aは、両者の間に所定距離Rよりも小さな1又は複数の操作可能エリアQを新規に追加した後に、上記近接領域Qvを求める。
If there is an overlapping portion in the two operable areas Q, the overlapping portion is set in the proximity area Qv.
Further, when the separation distance between the two operable areas Q exceeds the predetermined distance R, the recommended
次いで、推奨位置算出部56Aは、図7に示すように、この近接領域Qvから車両2の通過範囲Quを除外した範囲を、各操作可能エリアQにおけるリモート操作推奨位置Prとして特定する(ステップS21)。そして、操作可能エリア算出・判定器56の提示部56Bは、1番目(すなわちスタート位置Psを基点とした)の操作可能エリアQのリモート操作推奨位置Prを、プロジェクタ38、表示器36、及び操作端末8に出力する。この結果、車両2にあっては、プロジェクタ38がリモート操作推奨位置Prを路面に投影し、また表示器36がリモート操作推奨位置Prを全方位カメラ画像9に重畳して表示する。さらに、操作端末8にあっては、リモート操作推奨位置Prが全方位カメラ画像9に重畳されて表示器22に表示される(ステップS22)。
これにより、ユーザ6は、路面の投影像や車両2の表示器36の表示、操作端末8の表示から、最初に移動すべきリモート操作推奨位置Prを把握し、そこに速やかに移動することができる。
Next, as shown in FIG. 7, the recommended
As a result, the
次いで、自動駐車制御装置40では、人物検知器52が車両2の周囲に居るユーザ6を検知し、当該ユーザ6が、現在表示中のリモート操作推奨位置Prの中に位置する場合には、その旨をユーザ6が認識できる表示に変更する(ステップS23)。そして、ユーザ6がリモート操作推奨位置Prに移動し、操作端末8の車両動作スイッチ24を操作すると、操作端末8から自動駐車制御装置40に、車両2の自動運転が指示される。
Next, in the automatic
自動駐車制御装置40では、自動運転が指示されると(ステップS24:YES)、自動運転指示器60が車両動作制御器34を用いて車両2を自動運転制御し、走行経路に沿った車両2の移動を開始させる(ステップS25)。このステップS25においても、図5のステップS13と同様に、自動運転指示器60が操作端末8と車両2との離間距離を監視し、ユーザ6がリモート操作推奨位置Pr以外の場所に位置する等して、離間距離が所定距離Rを越えた場合には、車両動作制御器34に、車両2を直ちに停止させる。
In the automatic
車両2の自動運転制御による移動の間、提示部56Bは、ユーザ6が次の操作可能エリアQに移動すべきか否かを判断する(ステップS26)。本実施形態では、この判断は、ユーザ6が現在位置するリモート操作推奨位置Prから車両2までの離間距離が一定距離(<所定距離R)に達したか否かに基づいて判断される。
そして、ユーザ6が操作可能エリアQを移動すべき場合(ステップS26:YES)、提示部56Bは、次の操作可能エリアQのリモート操作推奨位置Prを、プロジェクタ38、表示器36、及び操作端末8に出力する。これにより、ユーザ6が次に移動すべきリモート操作推奨位置Prが路面に投影され、また表示器36、及び操作端末8に、そのリモート操作推奨位置Prが全方位カメラ画像9に重畳して表示される(ステップS27)。
ユーザ6は、路面の投影像や表示器36、操作端末8の表示により、リモート操作推奨位置Prが変わったこと、及び、そのリモート操作推奨位置Prを把握し、そこに速やかに移動することができる。
During the movement of the
Then, when the
The
次いで、自動駐車制御装置40では、上記ステップS23と同様に、人物検知器52が車両2の周囲に居るユーザ6を検知し、当該ユーザ6が、現在表示中のリモート操作推奨位置Prの中に位置する場合には、その旨をユーザ6が認識できる表示に変更する(ステップS28)。この表示の変更により、ユーザ6は、変更後のリモート操作推奨位置Prに自身が位置したことを確実に確認できる。
Next, in the automatic
そして、車両2が駐車予定スペース4Aに収まって自動運転制御が完了した場合に(ステップS29:YES)、本処理は終了され、それまでの間は(ステップS29:NO)、ステップS25からステップS28までの処理が繰り返し実行される。これにより、自動運転制御か完了するまでの間、車両2の現在位置に対して適切なリモート操作推奨位置Prや、その切り替わりが投影や表示によりユーザ6に提示される。
Then, when the
本実施形態によれば、次の効果を奏する。 According to this embodiment, the following effects are obtained.
本実施形態の自動駐車制御装置40は、駐車予定スペース4Aまでの走行経路に基づいて、車外におけるユーザ6のリモート操作推奨位置Prを算出し、当該リモート操作推奨位置Prをユーザ6に提示する。
これにより、車両2を適切に遠隔操作可能な位置がユーザ6に通知され、当該ユーザ6に対する通知が従来よりも確実に行うことができる。
The automatic
As a result, the
本実施形態の自動駐車制御装置40は、操作端末8と車両2との離間距離が所定距離Rを越えた場合に、車両2の移動の停止を指示する停止制御器60Aを備え、推奨位置算出部56Aは、走行経路の全区間に亘り、車両2と操作端末8との離間距離が所定距離R以下に維持され、かつ、車両2が通過する通過範囲Quを除外した位置をリモート操作推奨位置Prとして算出する。
これにより、車両2の移動の間、操作端末8と車両2との離間距離に起因した車両停止を生じさせることなく遠隔操作可能な位置(リモート操作推奨位置Pr)をユーザ6に適切に通知することができる。
The automatic
As a result, during the movement of the
本実施形態の自動駐車制御装置40は、走行経路の全区間に亘って車両2と操作端末8との離間距離が所定距離R以下に維持される位置が存在しない場合、走行経路内の互いに異なる所定箇所を基点とした所定距離の範囲(すなわち、操作可能エリアQ)ごとに、リモート操作推奨位置Prを算出する。加えて、この自動駐車制御装置40は、車両2の移動に合わせて、リモート操作推奨位置Prを順にユーザ6に提示する。
これにより、操作端末8と車両2との離間距離に起因した車両停止を生じさせることがない遠隔操作可能な位置(リモート操作推奨位置Pr)を、車両2の移動に合わせて、ユーザ6に適切に通知することができる。
The automatic
As a result, the position where the remote control is possible (remote control recommended position Pr) that does not cause the vehicle stop due to the distance between the
本実施形態の自動駐車制御装置40は、リモート操作推奨位置Prをプロジェクタ38から路面に投影するので、ユーザ6は、リモート操作推奨位置Prを、その投影像から容易に把握できる。
Since the automatic
本実施形態の自動駐車制御装置40は、車両2、及び操作端末8のそれぞれに設けられた表示器36、22に、リモート操作推奨位置Prを表示するので、ユーザ6は、車両2の中と外のどちらに居ても、リモート操作推奨位置Prを把握できる。
Since the automatic
本実施形態の自動駐車制御装置40は、リモート操作推奨位置Prに人が位置することを表示器36、22の表示によりユーザ6が認識可能にする。
これにより、ユーザ6は、自身がリモート操作推奨位置Prに位置することを確実に確認でき、その位置で自動駐車のための遠隔操作を開始できる。
The automatic
As a result, the
上述した実施形態は、あくまでも本発明の一実施の態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。 The above-described embodiment is merely an example of one embodiment of the present invention, and can be arbitrarily modified and applied without departing from the spirit of the present invention.
例えば、上述した実施形態において、人物検知器52は画像認識を用いて、車両2の周囲の人を検知したが、これに限らず、各種のセンサを用いて人を検知してもよい。
For example, in the above-described embodiment, the
上述した車載システム10において、カメラ30、無線送受器32、表示器36、プロジェクタ38、及び車両動作制御器34の全部、又は一部を自動駐車制御装置40が備えてもよい。
In the vehicle-mounted
また、図4に示す機能ブロックは、本願発明を理解容易にするために、車載システム10、及び、自動駐車制御装置40の構成要素を主な処理内容に応じて分類して示した概略図であり、これらの構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
Further, the functional block shown in FIG. 4 is a schematic diagram showing the components of the in-
また、自動駐車制御装置40の各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアにより実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
Further, the processing of each component of the automatic
1 自動駐車制御システム
2 車両
4A 駐車予定スペース(所定駐車スペース)
6 ユーザ
8 操作端末
9 全方位カメラ画像
10 車載システム
30 カメラ
38 プロジェクタ
40 自動駐車制御装置
50 全方位カメラ画像生成器
52 人物検知器
54 駐車位置・経路算出器
54C 経路算出部
56 操作可能エリア算出・判定器
56A 推奨位置算出部
56B 提示部
60 自動運転指示器
60A 停止制御器
K1、K2 駐車区画線
Pr リモート操作推奨位置
Ps スタート位置
Pt 切り返し地点
Pu 駐車予定位置
Q 操作可能エリア
Qt 重複領域
Qu 通過範囲
Qv 近接領域
R 所定距離
1 Automatic
6
Claims (5)
前記所定駐車スペースまでの走行経路を算出する経路算出部と、
車外における前記ユーザの推奨位置を、前記走行経路に基づいて算出する推奨位置算出部と、
前記ユーザに前記推奨位置を提示する提示部と、
前記操作端末と前記車両との距離が所定距離を越えた場合に、前記車両の移動の停止を指示する停止制御器と、を備え、
前記推奨位置算出部は、
前記走行経路の全区間に亘り、前記車両と前記操作端末との距離が前記所定距離以下に維持され、かつ、前記車両が通過する範囲を除外した位置を前記推奨位置として算出し、
前記走行経路の全区間に亘って、前記車両と前記操作端末との距離が所定距離以下に維持される位置が存在しない場合、前記走行経路内の互いに異なる所定箇所を基点とした所定距離の範囲ごとに前記推奨位置を算出し、
前記提示部は、
前記車両の移動に合わせて、前記推奨位置を順に前記ユーザに提示する
ことを特徴とする自動駐車制御装置。 An automatic parking control device for parking a vehicle in a predetermined parking space by automatic driving control according to a user's operation on an operation terminal for remotely controlling the vehicle.
A route calculation unit that calculates a travel route to the predetermined parking space,
A recommended position calculation unit that calculates the recommended position of the user outside the vehicle based on the traveling route,
A presentation unit that presents the recommended position to the user,
A stop controller for instructing the stop of movement of the vehicle when the distance between the operation terminal and the vehicle exceeds a predetermined distance is provided.
The recommended position calculation unit is
A position where the distance between the vehicle and the operation terminal is maintained at the predetermined distance or less and the range excluding the range through which the vehicle passes is calculated as the recommended position over the entire section of the travel route.
When there is no position where the distance between the vehicle and the operation terminal is maintained at a predetermined distance or less over the entire section of the travel route, a range of predetermined distances based on different predetermined locations in the travel route. Calculate the recommended position for each
The presentation unit is
An automatic parking control device characterized in that the recommended positions are presented to the user in order according to the movement of the vehicle.
前記推奨位置をプロジェクタから路面に投影する
ことを特徴とする請求項1記載の自動駐車制御装置。 The presentation unit is
The automatic parking control device according to claim 1 , wherein the recommended position is projected from a projector onto a road surface.
前記車両、又は/及び前記操作端末に設けられた表示器に、前記推奨位置を表示する
ことを特徴とする請求項1または2に記載の自動駐車制御装置。 The presentation unit is
The automatic parking control device according to claim 1 or 2 , wherein the recommended position is displayed on the vehicle and / or the display provided on the operation terminal.
前記提示部は、
前記推奨位置に人が位置することを前記表示器の表示により前記ユーザが認識可能にする
ことを特徴とする請求項3に記載の自動駐車制御装置。 Equipped with a person detector that detects people around the vehicle,
The presentation unit is
The automatic parking control device according to claim 3 , wherein the user can recognize that a person is located at the recommended position by displaying the display.
前記操作端末に対するユーザの操作にしたがって、前記車両を自動運転制御によって所定駐車スペースに駐車させる自動駐車制御装置と、
を備えた自動駐車制御システムにおいて、
前記自動駐車制御装置は、
前記所定駐車スペースまでの走行経路を算出する経路算出部と、
車外における前記ユーザの推奨位置を、前記走行経路に基づいて算出する推奨位置算出部と、
前記推奨位置を前記ユーザに提示する提示部と、
前記操作端末と前記車両との距離が所定距離を越えた場合に、前記車両の移動の停止を指示する停止制御器と、を備え、
前記推奨位置算出部は、
前記走行経路の全区間に亘り、前記車両と前記操作端末との距離が前記所定距離以下に維持され、かつ、前記車両が通過する範囲を除外した位置を前記推奨位置として算出し、
前記走行経路の全区間に亘って、前記車両と前記操作端末との距離が所定距離以下に維持される位置が存在しない場合、前記走行経路内の互いに異なる所定箇所を基点とした所定距離の範囲ごとに前記推奨位置を算出し、
前記提示部は、
前記車両の移動に合わせて、前記推奨位置を順に前記ユーザに提示する
ことを特徴とする自動駐車制御システム。 An operation terminal that remotely controls the vehicle and
An automatic parking control device that parks the vehicle in a predetermined parking space by automatic driving control according to a user's operation on the operation terminal.
In an automatic parking control system equipped with
The automatic parking control device is
A route calculation unit that calculates a travel route to the predetermined parking space,
A recommended position calculation unit that calculates the recommended position of the user outside the vehicle based on the traveling route,
A presentation unit that presents the recommended position to the user,
A stop controller for instructing the stop of movement of the vehicle when the distance between the operation terminal and the vehicle exceeds a predetermined distance is provided.
The recommended position calculation unit is
A position where the distance between the vehicle and the operation terminal is maintained at the predetermined distance or less and the range excluding the range through which the vehicle passes is calculated as the recommended position over the entire section of the travel route.
When there is no position where the distance between the vehicle and the operation terminal is maintained at a predetermined distance or less over the entire section of the travel route, a range of predetermined distances based on different predetermined locations in the travel route. Calculate the recommended position for each
The presentation unit is
The recommended positions are presented to the user in order as the vehicle moves.
An automatic parking control system that features that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090363A JP7085404B2 (en) | 2018-05-09 | 2018-05-09 | Automatic parking control device and automatic parking control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090363A JP7085404B2 (en) | 2018-05-09 | 2018-05-09 | Automatic parking control device and automatic parking control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019196065A JP2019196065A (en) | 2019-11-14 |
JP7085404B2 true JP7085404B2 (en) | 2022-06-16 |
Family
ID=68538208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090363A Active JP7085404B2 (en) | 2018-05-09 | 2018-05-09 | Automatic parking control device and automatic parking control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7085404B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7097866B2 (en) * | 2019-09-24 | 2022-07-08 | 本田技研工業株式会社 | Remote parking system |
JP7000401B2 (en) * | 2019-11-21 | 2022-01-19 | 本田技研工業株式会社 | Vehicle control device, vehicle, operation method and program of vehicle control device |
JP2023014606A (en) * | 2021-07-19 | 2023-01-31 | 株式会社小糸製作所 | Control device of vehicle |
CN113830076B (en) * | 2021-09-17 | 2023-12-19 | 东风柳州汽车有限公司 | Parking method, device, equipment and storage medium |
WO2023120682A1 (en) * | 2021-12-23 | 2023-06-29 | 株式会社J-QuAD DYNAMICS | Automatic unloading system and automatic unloading method |
CN114312758B (en) * | 2022-01-04 | 2023-08-08 | 岚图汽车科技有限公司 | Remote vehicle moving control method, device, equipment and readable storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007295033A (en) | 2006-04-20 | 2007-11-08 | Toyota Motor Corp | Remote operation controller and operation terminal thereof |
JP2008174192A (en) | 2007-01-22 | 2008-07-31 | Aisin Aw Co Ltd | Parking support method and parking support device |
JP2017007399A (en) | 2015-06-17 | 2017-01-12 | 日産自動車株式会社 | Parking support device and method |
-
2018
- 2018-05-09 JP JP2018090363A patent/JP7085404B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007295033A (en) | 2006-04-20 | 2007-11-08 | Toyota Motor Corp | Remote operation controller and operation terminal thereof |
JP2008174192A (en) | 2007-01-22 | 2008-07-31 | Aisin Aw Co Ltd | Parking support method and parking support device |
JP2017007399A (en) | 2015-06-17 | 2017-01-12 | 日産自動車株式会社 | Parking support device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2019196065A (en) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085404B2 (en) | Automatic parking control device and automatic parking control system | |
CN108140319B (en) | Parking assistance method and parking assistance device | |
CN110709909B (en) | Parking control method and parking control device | |
WO2019030923A1 (en) | Parking control method and parking control device | |
US11305756B2 (en) | Parking control method and parking control apparatus | |
US11423784B2 (en) | Method for controlling a parking operation of a motor vehicle | |
CN111183067B (en) | Parking control method and parking control device | |
JP2007161119A (en) | Car parking supporting system, car parking facility device and car parking supporting device | |
WO2019030922A1 (en) | Parking control method and parking control device | |
JP7363906B2 (en) | Parking support method and parking support device | |
US11208147B2 (en) | Parking assistance device, parking assistance method, and non-transitory computer readable medium | |
JP4910787B2 (en) | Parking assistance device and method, parking position setting device and method, recording medium, and program | |
JP2014196009A (en) | Parking assistant, portable terminal used for parking assistant, and program | |
JP2006248383A (en) | Parking support apparatus | |
US11584364B2 (en) | Vehicle control device, vehicle, operation method for vehicle control device and storage medium | |
JP6881594B2 (en) | Parking control method and parking control device | |
JP2020011668A (en) | Parking support device and control method for the same | |
JP2019077420A (en) | Parking control method and parking control device | |
JP3179570U (en) | Auxiliary guidance device for vehicle reverse parking | |
JP6911607B2 (en) | Parking control method and parking control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7085404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |