JP7145105B2 - 車両制御システム、車両制御方法、およびプログラム - Google Patents

車両制御システム、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP7145105B2
JP7145105B2 JP2019038538A JP2019038538A JP7145105B2 JP 7145105 B2 JP7145105 B2 JP 7145105B2 JP 2019038538 A JP2019038538 A JP 2019038538A JP 2019038538 A JP2019038538 A JP 2019038538A JP 7145105 B2 JP7145105 B2 JP 7145105B2
Authority
JP
Japan
Prior art keywords
vehicle
user
predetermined device
reproduction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019038538A
Other languages
English (en)
Other versions
JP2020142555A (ja
Inventor
嘉崇 味村
八州志 照田
順平 野口
悠記 原
浩 山中
龍馬 田口
雄太 高田
智衣 杉原
優輝 茂木
翼 芝内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019038538A priority Critical patent/JP7145105B2/ja
Priority to US16/798,497 priority patent/US11541906B2/en
Priority to CN202010133682.9A priority patent/CN111717218A/zh
Publication of JP2020142555A publication Critical patent/JP2020142555A/ja
Application granted granted Critical
Publication of JP7145105B2 publication Critical patent/JP7145105B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、車両制御システム、車両制御方法、およびプログラムに関する。
従来、車両を自動的に制御することについて研究が進められている。これに関連し、車両がユーザのいない状況で走行する場合に、走行に関係ない装置(例えば、空調装置)の機能を停止させたりすることで消費電力を減らす技術が開示されている(例えば、特許文献1)。
特開2018-154141号公報
しかしながら、従来の技術では、ユーザ降車後に機能を停止させた後でユーザが再度乗車する時にも、降車時に停止された機能がそのまま停止された状態が保たれ、ユーザが不満を覚える場合があった。
本発明は、このような事情を考慮してなされたものであり、ユーザの満足度を向上させることができる車両制御システム、車両制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る車両制御システム、車両制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る車両制御システムは、車両の周辺状況を認識する認識部と、前記認識部の認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を制御する運転制御部と、前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限する環境制御部と、前記環境制御部は、前記運転制御部が駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現する再現部と、を備える車両制御システムである。
(2):上記(1)の態様において、前記認識部により前記ユーザが乗車することを指示したことの認識結果を取得する取得部を更に備え、前記再現部は、前記取得部により前記ユーザが乗車することを指示したことの認識結果が取得された場合に、前記運転制御部が駐車エリアから移動して前記ユーザを迎えに行くと判定し、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現するように前記環境制御部に指示するものである。
(3):上記(1)または(2)の態様において、前記再現部は、前記ユーザにより乗車中に使用された前記所定装置の前記作動状態を再現するものである。
(4):上記(3)の態様において、前記再現部は、前記ユーザにより乗車中に使用されていない、または使用が停止された所定装置の前記作動状態を再現しないものである。
(5):上記(4)の態様において、前記所定装置には、コンテンツ再生装置、空調装置、ワイパー装置、照明装置、エージェント装置のうち一部または全部が含まれるものである。
(6):上記(5)の態様において、前記環境制御部は、前記認識部により前記ユーザが前記車両に乗車することが認識されたタイミングで前記所定装置の作動状態が再現されるよう、前記所定装置の作動開始タイミングを調整するものである。
(7):上記(1)から(6)のいずれかの態様において、前記所定装置は、コンテンツ再生装置を含み、前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させるものである。
(8):上記(1)または(6)の態様において、前記所定装置は、コンテンツ再生装置を含み、前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点で再生していたコンテンツを最初からコンテンツを再生させるものである。
(9):上記(8)の態様において、前記再現部は、ユーザを識別可能な情報を取得可能であり、取得した迎えに行くユーザが前記所定装置の作動状態を制限したタイミングで前記車両を降車したユーザとは異なる場合、再現を行わないものである。
(10):上記(1)、(6)または(9)のいずれかの態様において、前記所定装置は、コンテンツ再生装置を含み、前記環境制御部が、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させるか、前回の乗車終了時点で再生していたコンテンツを最初からコンテンツを再生させるかを選択可能であるものである。
(11):上記(7)、(9)または(10)のいずれかの態様において、前記環境制御部は、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させる場合、前記停止位置よりも所定時間遡った再生位置からコンテンツ情報の再生を再開するものである。
(12):上記(1)から(9)のいずれかの態様において、前記所定装置が空調装置を含み、前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるときに、前記作動状態となるよう前記空調装置の作動開始タイミングおよび作動具合を調整するものである。
(13):この発明の一態様に係る車両制御方法は、車両の周辺状況を認識し、認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御し、前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限する車両制御方法であり、駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現する、車両制御方法である。
(14):この発明の一態様に係るプログラムは、車両制御装置に、車両の周辺状況を認識させ、認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御させ、前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限するプログラムであり、駐車エリアから移動してユーザを迎えに行く運転制御をさせる場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現させる、プログラムである。
(1)~(14)によれば、ユーザの満足度を向上させることができる。
実施形態に係る車両制御システム1の構成図である。 第1制御部120、第2制御部160、第3制御部170、および再現部180の機能構成図である。 自走駐車イベントが実行される場面を模式的に示す図である。 駐車場管理装置400の構成の一例を示す図である。 再現設定情報192の一例を示す図である。 実施形態に係る車両制御システム1によるユーザ降車時の一連の処理の流れの一例を示すフローチャートである。 実施形態に係る車両制御システム1によるユーザ再乗車時の一連の処理の流れの一例を示すフローチャートである。 所定装置230にコンテンツ再生装置が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。 所定装置230に空調装置が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。 所定装置230にエージェント装置が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御システム、車両制御方法、およびプログラムの実施形態について説明する。
[全体構成]
図1は、実施形態に係る車両制御システム1の構成図である。車両制御システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両制御システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、車室内カメラ18と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220と、所定装置230とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。自動運転制御装置100は、「車両制御装置」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両制御システム1が搭載される車両(以下、自車両M)の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両制御システム1から物体認識装置16が省略されてもよい。
車室内カメラ18は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。車室内カメラ18は、自車両Mの車室内の任意の箇所に取り付けられ、自車両Mの車室内を撮像する。車室内カメラ18は、ステレオカメラであってもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、自車両Mの周辺に存在する他車両または他装置と通信する。
HMI30は、自車両Mのユーザに対して各種情報を提示すると共に、ユーザによる入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いてユーザにより入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160と、第3制御部170と、再現部180と、記憶部190とを備える。第1制御部120と第2制御部160のそれぞれは、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部190のHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで記憶部190のHDDやフラッシュメモリにインストールされてもよい。
記憶部190は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)などにより実現される。記憶部190は、例えば、プロセッサによって読み出されて実行されるプログラムや、再現設定情報192などを格納する。再現設定情報192については後述する。
図2は、第1制御部120、第2制御部160、第3制御部170、および再現部180の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。第1制御部120および第2制御部160は、「運転制御部」の一例である。
認識部130は、周辺認識部132と、駐車スペース認識部134とを備える。周辺認識部132は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、周辺認識部132は、例えば、自車両Mが走行している車線(走行車線)を認識する。例えば、周辺認識部132は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、周辺認識部132は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、周辺認識部132は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
周辺認識部132は、走行車線を認識する際に、走行車線に対する自車両Mの位置や姿勢を認識する。周辺認識部132は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、走行車線に対する自車両Mの相対位置として認識してもよい。
また、周辺認識部132は、車室内カメラ18によって撮像された画像や、ドアセンサ(不図示)、温湿度センサ(不図示)等のセンシング結果に基づいて、車室内の様子(例えば、ユーザの着座位置やユーザの動き、車室内の温度や湿度などの車室空間情報)をさらに認識する。
駐車スペース認識部134の機能の詳細については後述する。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、自車両Mの周辺状況に対応できるように、自車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、バレーパーキングなどにおいて無人走行して駐車する自走駐車イベントなどがある。バレーパーキングとは、乗車や降車が行われる停止エリアと離れた場所に駐車エリアがある駐車場の形態をいう。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。行動計画生成部140は、自走駐車イベントを実行する場合に起動する自走駐車制御部142を備える。自走駐車制御部142の機能の詳細については後述する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第3制御部170は、後述する再現部180による再現開始指示に基づいて、所定装置230の作動を制御し、ユーザが車両Mを降車するタイミングで所定装置230の作動状態を制限する。所定装置230の作動状態を制御する。第3制御部170は、「環境制御部」の一例である。
再現部180は、認識部130の認識結果に基づいて、第1制御部120および第2制御部160が駐車エリアから移動してユーザを迎えに行く運転制御をする場合、ユーザが車両Mに乗車するタイミングで所定装置230の作動状態を再現するよう、第3制御部170に再現開始指示を出力する。
また、再現部180は、所定の周期で所定装置230の作動状態を再現設定情報192に格納してもよい。その場合、再現部180は、ユーザを識別するための情報(ユーザIDやユーザの顔画像など)を取得可能であって、所定装置230の作動状態には、ユーザを識別する情報やユーザによる設定状態や操作結果などが含まれる。
第3制御部170は、例えば、取得部172と、駐車時制御部174とを備える。取得部172は、再現部180により出力される再現開始指示を取得する。また、取得部172は、周辺認識部132による認識結果や、通信装置20による送受信結果を取得してもよい。駐車時制御部174は、自車両Mが駐車場内を走行する際に、取得部172の取得した再現開始指示に基づいて所定装置230の作動状態を再現する。なお、駐車時制御部174は、再現開始指示を取得したタイミングで所定装置230の作動状態の再現を開始してもよいし、所定装置230の作動状態の再現内容に応じて再現のための制御量や制御タイミングを調整してもよい。詳細の処理については後述する。
図2に戻り、第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
所定装置230は、ユーザにとって快適環境を提供する機能を有する装置である。所定装置230は、例えば、コンテンツ再生装置231や、空調装置232、ワイパー装置233、室内灯照明装置234、エージェント装置235の一部または全部が含まれる。
コンテンツ再生装置231は、記憶媒体に記憶されたコンテンツ情報(例えば、映像や音楽、電子書籍)または通信装置20経由で取得したコンテンツ情報(例えば、テレビ、ラジオ、ポッドキャストなど)を再生する装置である。コンテンツ再生装置231は、例えば、音楽再生装置231-1や映像再生装置231-2を備える。音楽再生装置231-1は、例えば、記憶媒体に格納された音楽コンテンツ情報や、ラジオ等により放送される音楽を再生する装置である。映像再生装置231-2は、例えば、記憶媒体に格納された映像コンテンツ情報等の映像を再生する装置である。映像再生装置231-2は、ユーザ全員に対して同一の映像を再生するものでもよいし、運転操舵を担当しない後部座席のユーザに対して映像を再生するものであってもよい。
空調装置232は、車室内の空気の状態を調整することにより、車室内の環境を調整する。空調装置232の動作は、例えば、ユーザの操作を受け付けたエアコンECUによって制御される。
ワイパー装置233は、ワイパーブレード(不図示)と、ワイパーアーム(不図示)と、モータ(不図示)と、ワイパー制御部(不図示)を含む。ワイパーブレードは、ワイパーアームを介して、モータに連結される。ワイパーブレードは、例えばフロントウインドシールド上を往復運動してフロントウインドシールドに付着した雨滴や雪、付着物を払拭する。なお、ワイパーブレードは、リアウインドウや、フロントウインドシールドにも設けられていてもよい。また、ワイパー装置233には、レインセンサ等のセンサがさらに含まれてもよい。
室内灯照明装置234は、照明灯(不図示)と、照明灯制御部(不図示)とを含む。照明灯は、照明灯制御部の制御に基づいて自車両Mの車室内を照明する。室内灯制御部は、照明灯を制御して、照射光のオン/オフや照明の強さを調整する。また、室内灯照明装置234には、ドアセンサや照度センサ等のセンサがさらに含まれてもよい。
エージェント装置235とは、自車両Mのユーザと音声対話を行ったり、ユーザ同士の対話を支援したりする機能(以下、エージェント機能)を有する装置である。エージェント機能は、ある種の人工知能的機能を持つソフトウェアエージェント(インテリジェントエージェント)によって実現される。
[自走駐車イベント-入庫時]
自走駐車制御部142は、例えば、通信装置20によって駐車場管理装置400から取得された情報に基づいて、自車両Mを駐車スペース内に駐車させる。図3は、自走駐車イベントが実行される場面を模式的に示す図である。道路Rdから訪問先施設に至るまでの経路には、ゲート300-inおよび300-outが設けられている。自車両Mは、手動運転または自動運転によって、ゲート300-inを通過して停止エリア310まで進行する。停止エリア310は、訪問先施設に接続されている車寄せエリア320に面している。車寄せエリア320には、雨や雪を避けるための庇が設けられている。
自車両Mは、停止エリア310でユーザを下した後、無人で自動運転を行い、駐車エリアPA内の駐車スペースPSまで移動する自走駐車イベントを開始する。自走駐車イベントの開始トリガは、例えば、ユーザによる何らかの操作であってもよいし、駐車場管理装置400から無線により所定の信号を受信したことであってもよい。なお、自走駐車制御部142は、停止エリア310でユーザを下した後、所定装置230のうち走行に関係しない機能を停止させてもよい。自走駐車制御部142は、自走駐車イベントを開始する場合、通信装置20を制御して駐車リクエストを駐車場管理装置400に向けて発信する。そして、自車両Mは、停止エリア310から駐車エリアPAまで、駐車場管理装置400の誘導に従って、或いは自力でセンシングしながら移動する。
図4は、駐車場管理装置400の構成の一例を示す図である。駐車場管理装置400は、例えば、通信部410と、駐車制御部420と、記憶部430とを備える。記憶部430には、駐車場地図情報432、駐車スペース状態テーブル434などの情報が格納されている。
通信部410は、自車両Mその他の車両と無線により通信する。駐車制御部420は、通信部410により取得された情報と、記憶部430に格納された情報とに基づいて、車両を駐車スペースPSに誘導する。駐車場地図情報432は、駐車エリアPAの構造を幾何的に表した情報である。また、駐車場地図情報432は、駐車スペースPSごとの座標を含む。駐車スペース状態テーブル434は、例えば、駐車スペースPSの識別情報である駐車スペースIDに対して、空き状態であるか、満車(駐車中)状態であるかを示す状態と、満状態である場合の駐車中の車両の識別情報である車両IDとが対応付けられたものである。
駐車制御部420は、通信部410が車両から駐車リクエストを受信すると、駐車スペース状態テーブル434を参照して状態が空き状態である駐車スペースPSを抽出し、抽出した駐車スペースPSの位置を駐車場地図情報432から取得し、取得した駐車スペースPSの位置までの好適な経路を、通信部410を用いて車両に送信する。また、駐車制御部420は、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。
経路を受信した車両(以下、自車両Mであるものとする)では、自走駐車制御部142が、経路に基づく目標軌道を生成する。また、目標となる駐車スペースPSが近づくと、駐車スペース認識部134が、駐車スペースPSを区画する駐車枠線などを認識し、駐車スペースPSの詳細な位置を認識して自走駐車制御部142に提供する。自走駐車制御部142は、これを受けて目標軌道を補正し、自車両Mを駐車スペースPSに駐車させる。
なお、上記の説明に限らず、自走駐車制御部142は、通信に依らず、カメラ10、レーダ装置12、ファインダ14、または物体認識装置16による検出結果に基づいて空き状態の駐車スペースを自ら発見し、発見した駐車スペース内に自車両Mを駐車させてもよい。
[自走駐車イベント-出庫時]
自走駐車制御部142および通信装置20は、自車両Mが駐車中も動作状態を維持している。自走駐車制御部142は、例えば、通信装置20がユーザの端末装置から駐車エリアPAから移動して停止エリア310でユーザを乗車させることを要求する迎車リクエストを受信した場合、自車両Mのシステムを起動させ、自車両Mを停止エリア310まで移動させる。この際に、自走駐車制御部142は、通信装置20を制御して駐車場管理装置400に発進リクエストを送信する。駐車場管理装置400の駐車制御部420は、入庫時と同様に、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。停止エリア310まで自車両Mを移動させてユーザを乗せると自走駐車制御部142は動作を停止し、以降は手動運転、或いは別の機能部による自動運転が開始される。なお、自走駐車制御部142は、自車両Mが停止エリア310への移動を開始する際や、停止エリア310に到着した際に、ユーザの端末装置に対して自車両Mの状態や位置に関する情報を通知するように通信装置20を制御してもよい。以下の説明において、出庫時の自走駐車イベントの結果、停止エリア310に自車両Mが到着してユーザが乗車することを「次回乗車」と称する場合がある。
なお、上記の説明に限らず、自走駐車制御部142は、通信に依らず、カメラ10、レーダ装置12、ファインダ14、または物体認識装置16による検出結果に基づいて空き状態の駐車スペースを自ら発見し、発見した駐車スペース内に自車両Mを駐車させてもよい。出庫時に関しても同様に、通信に依らず、自ら停止エリア310まで自車両Mを移動させてもよい。
[作動状態の再現]
再現部180は、認識部130により自車両Mのユーザが自車両Mから降車すること(または降車したこと)の認識結果を取得した場合、再現設定情報192に所定装置230の作動状態を一時記憶させる。さらに、駐車時制御部174は、第2制御部160が自動運転で駐車エリアPAから停止エリア310に移動してユーザを迎えに行くよう自車両Mを制御する場合、ユーザが自車両Mに次回乗車するタイミングで所定装置230の作動状態が再現されるように制御する。
「再現」とは、前回乗車中または降車時にユーザによって使用された所定装置230の作動状態をそっくりそのまま作り出すことであってもよいし、前回降車時の所定装置230の作動状態に似た状態を作り出すことであってもよい。また、前回降車時の所定装置230の作動状態に基づいてユーザにとって好適な状態を作り出すことであってもよい。なお、「再現」には、前回乗車中または降車時にユーザによって使用されていない、または使用が停止された所定装置230を作動させないことが含まれてもよい。
また、駐車時制御部174は、周辺認識部132によりユーザが自車両Mに次回乗車することが認識されたタイミングに基づいて所定装置230の作動状態が再現されるよう、所定装置230の作動開始タイミングを調整する。作動開始タイミングは、主としてユーザが自車両Mに次回乗車するタイミング(自車両Mのドアが開くタイミング)であるが、それ以前に所定装置230の作動を開始するものであってもよい。
駐車時制御部174は、再現設定情報192を参照して、所定装置230の作動状態を再現する。図5は、再現設定情報192の一例を示す図である。図示の例のように、再現設定情報192には、所定装置230の各装置に作動状態を再現させるか否かの設定や、再現する際の制御内容などが対応付けられる。これらの設定は、自車両Mの購入時に販売者や管理者によりあらかじめ設定されるものであってもよいし、ユーザにより自車両Mの乗車時または降車時に設定されてもよい。
再現部180は、例えば、所定装置230がワイパー装置233を含む場合、図5に示した再現設定情報192に基づいてワイパー装置233には再現を行わせないと決定する。同様に、再現部180は、所定装置230が室内灯照明装置234を含む場合、図5に示した再現設定情報192に基づいて室内灯照明装置234には再現を行わせないと決定する。ワイパー装置233および室内灯照明装置234のように、装置自身に備わるセンサのセンシング結果等に基づいて機能のオン/オフが自動で設定される装置は、駐車時制御部174による再現を要しないと設定されてもよい。
また、再現部180は、例えば、所定装置230が空調装置232、音楽再生装置231-1、映像再生装置231-2、およびエージェント装置235のいずれかを含む場合、図5に示した再現設定情報192に基づいて再現を行うと決定する。駐車時制御部174は、再現設定情報192に記憶されたドア開時の状態に基づいて所定装置230の制御内容を決定する。
[空調装置の制御]
ユーザが空調装置232に対して各種設定(温度の設定や、風向の設定、風量の設定、湿度の設定、消臭芳香剤散布の設定、空気清浄機能の設定など)を行っていた状態で、自車両Mから降車した場合、降車時に設定されていた設定情報が再現設定情報192として一時記憶させる。駐車時制御部174は、再現部180による再現開始指示を取得部172が取得した場合、すなわち再現部180によってユーザが次回乗車することの認識結果が取得され再現開始指示が第3制御部170に出力された場合に、周辺認識部132により認識された車室空間情報と再現設定情報192とに基づいて、ユーザが次回乗車するタイミングでその再現設定情報192に記憶された車室内の環境(温度や湿度等)が実現されるよう空調装置の作動開始タイミングおよび作動具合を調整して、あらかじめ車室空間を快適な状態にしておく。
再現部180は、例えば、迎車リクエストを受信したタイミングで、自車両Mの位置および車寄せエリア320の位置に基づいて、車寄せエリア320に到着しユーザを乗せるまでの時間を予測する。また、再現部180は、迎車リクエストを受信したタイミングの車室空間情報と再現設定情報192との乖離度合(空調装置232などが備える温湿度センサが検出した現在温度と設定温度の温度差や湿度差)の情報を取得する。駐車時制御部174は、例えば、上記の乖離度合が所定の度合以上である場合に、停止エリア310への移動中に、空調装置232を作動開始させたり、冷房機能、暖房機能、湿度調整機能等を強めたり弱めたりする制御を行う。駐車時制御部174は、予測したユーザを乗せるまでの時間に基づいて上述の調整度合を決定する。例えば、駐車時制御部174は、迎車リクエストを受信したタイミングの車室内の温度が35度であり、再現設定情報192に記憶された車室内の温度が28度である場合、車寄せエリア320に到着時に車室内の温度が28度になるように、迎車リクエストを受信した直後に空調装置232を作動させ、作動状態を調整する。駐車時制御部174は、このような調整により車室空間情報と再現設定情報192との乖離度合が解消されるように空調装置232を制御する。
[コンテンツ再生装置の制御]
また、駐車時制御部174は、例えば、所定装置230の対象機能がコンテンツ再生装置231である場合、ユーザが自車両Mから降車時に再生していた音楽または映像の停止位置から再生することで再生状態を再現する。駐車時制御部174は、音楽または映像の停止位置を含む作動状態の情報を再現設定情報192に一時記憶させ、ユーザが自車両Mに次回乗車するタイミング(例えば、自車両Mのドアが開くタイミング)で、停止位置から再生を再開させることで再生状態を再現する。
また、駐車時制御部174は、ユーザ降車時に再生していたコンテンツ情報の最初(例えば、曲または物語の区切りのよい再生位置)から再生するように再現してもよい。ユーザが自車両Mに乗車するために自車両Mのドアが開かれるタイミングで、コンテンツ再生装置231に前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させるか、前回の乗車終了時点で再生していたコンテンツを最初からコンテンツを再生させるかについてはユーザにより選択可能であり、駐車時制御部174はその選択結果に応じて再生位置を決定する。コンテンツの再生を再現することには、前回降車時の停止位置よりも所定時間(例えば、10~20[s]程度)遡った再生位置からコンテンツ情報の再生を再開することが含まれてもよい。このとき、どの程度遡って再生位置からコンテンツ情報の再生を再開するかは、自車両Mのドアが開いてから自車両Mが発進するまでの見込み時間などによって調整されるものであってもよいし、乗員ユーザによってあらかじめ設定されるものであってもよい。
なお、再現部180は、周辺認識部132または通信装置20を通じて迎えに行くユーザを識別可能な情報が取得可能であって、前回降車したユーザとは異なるユーザが乗車する場合には、上述のように再現設定情報192に基づいたコンテンツ再生装置231の再生状態の再現を行わなくてもよい。
[エージェント装置の制御]
また、駐車時制御部174は、例えば、所定装置230の対象機能がエージェント装置235である場合、ユーザとの音声対話記録(エージェントの発話内容)や、ユーザ同士の対話記録を引き継いで作動状態を再現する。例えば、エージェント装置235は、前回乗車時にユーザにより「この近くでレストランを探しておいて。」のような依頼がされていた場合、その依頼への応答結果を提供する。また、前回乗車時にユーザにより「次に乗るときにトランクの荷物を移動させるとリマインドして。」のような依頼がされていた場合、そのリマインド情報を提供する。また、前回乗車時にユーザと連続した会話をしていた場合(例えば、エージェントがクイズを提供してユーザが回答する前であった場合や、エージェントとユーザがしりとりをしていた場合)には、その会話の続きを再開することであってもよい。この場合、駐車時制御部174は、「先ほどの会話が途中でしたが再開しますか?」のように、ユーザに問いかけその応答結果に応じて会話の続きを再開するか否かを決定してもよい。
[処理フロー]
以下、フローチャートを用いて、実施形態に係る車両制御システム1による一連の処理の流れについて説明する。図6および7は、実施形態に係る車両制御システム1による一連の処理の流れの一例を示すフローチャートである。
図6は、実施形態に係る車両制御システム1によるユーザ降車時の一連の処理の流れの一例を示すフローチャートである。
まず、周辺認識部132は、車両周辺の状況を認識する(ステップS100)。次に、再現部180は、所定装置230の作動状態を再現設定情報192として一時記憶する(ステップS102)。次に、周辺認識部132は、自車両Mのユーザが自車両Mから降車したか否かを判定する(ステップS104)。降車したと判定されなかった場合、周辺認識部132は、一定時間経過後に再度ステップS100の処理を実施する。ユーザが降車したと判定された場合、本フローチャートの処理を終了する。
上述のフローチャートに示すように、再現部180は、ステップS100からステップS104の処理をユーザが降車するまで繰り返して実施することで、ユーザが降車した際の一時記憶を再現設定情報192に記憶させることができる。
図7は、実施形態に係る車両制御システム1によるユーザ次回乗車時の一連の処理の流れの一例を示すフローチャートである。
まず、自走駐車制御部142は迎車リクエストを受け付け、出庫時の自走駐車イベントを開始する(ステップS200)。次に、再現部180は、所定装置230の作動状態が再現設定情報192に記憶されているか否かを判定する(ステップS202)。記憶されている場合、再現部180は、その再現設定情報192に基づいて所定装置230の作動制御を行うことで第3制御部170に作動状態を再現させる(ステップS204)。一時記憶されていない場合、本フローチャートの処理を終了する。
なお、図7のステップS202の処理において、前回降車したユーザと今回降車するユーザとが同一であるか否かの判定が併せて行われてもよい。その場合、例えば、ユーザが同一でない場合には作動状態の一時記憶がないと判定される。
図8~図10は、所定装置230の作動状態の再現処理の流れの一例を示すフローチャートである。図8~図10は、図7に示したフローチャートのステップS204の処理に該当する。
図8は、所定装置230にコンテンツ再生装置231が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。
まず、再現部180は、再現設定情報192に記憶されたコンテンツ再生装置231の作動状態の一時記憶を呼び出す(ステップS300)。次に、駐車時制御部174は、再現設定情報192から所定装置230であるコンテンツ再生装置231の再生条件(コンテンツ情報の最初から再生するか、コンテンツ情報の一時記憶された停止位置から再生を再開するか)を取得する(ステップS302)。
次に、周辺認識部132は、自車両Mのドアが開いたか否かを判定する(ステップS304)。ドアが開いたと判定されなかった場合、周辺認識部132は、一定時間経過後に再度ステップS304の処理を行う。ドアが開いたと判定された場合、取得部172は周辺認識部132による認識結果を取得して駐車時制御部174に取得結果を出力し、駐車時制御部174はステップS302において決定したようにコンテンツ再生装置231にコンテンツ情報を再生させる(ステップS306)。なお、ステップS306においてコンテンツ情報の一時記憶された停止位置から再生を再開する場合、駐車時制御部174は前回降車時の停止位置よりも所定時間遡った再生位置からコンテンツ情報の再生を再開してもよい。以上、本フローチャートの処理の説明を終了する。
図9は、所定装置230に空調装置232が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。
まず、再現部180は、再現設定情報192に記憶された空調装置232の作動状態の一時記憶を呼び出す(ステップS400)。次に、取得部172は周辺認識部132により認識された車室内の温度や湿度といった車室空間情報、および自車両Mがユーザを乗せるまでの移動時間を取得し(ステップS402)、取得した各種情報に基づいて、空調制御を行う(ステップS404)。以上、本フローチャートの処理の説明を終了する。
図10は、所定装置230にエージェント装置235が含まれる場合の作動状態の再現処理の流れの一例を示すフローチャートである。
まず、再現部180は、再現設定情報192に記憶されたエージェント装置235の作動状態の一時記憶を呼び出す(ステップS500)。次に、周辺認識部132は、自車両Mのドアが開いたか否かを判定する(ステップS502)。ドアが開いたと判定されなかった場合、周辺認識部132は、一定時間経過後に再度ステップS502の処理を行う。ドアが開いたと判定された場合、取得部172は周辺認識部132により認識された認識結果を取得し、駐車時制御部174は取得部172により取得された結果に基づいて、エージェント装置235によるエージェント機能を開始させる(ステップS504)。以上、本フローチャートの処理の説明を終了する。
以上説明した実施形態によれば、自車両Mの周辺状況を認識する認識部130と、自車両Mの快適環境を提供する所定装置230の作動状態を再現させる再現部180と、自車両Mの快適環境を提供する所定装置230の作動を制御する第3制御部170と、を備え、再現部180は、認識部130によりユーザが自車両Mから降車することが認識された場合、所定装置の作動状態を再現設定情報192に記憶させ、認識部130によりユーザが自車両Mに次回乗車することが認識された場合に、再現部180は第3制御部170に再現設定情報192に記憶された所定装置230の作動状態を再現させることにより、ユーザの状況に応じて好適な快適環境の制御が実現され、ユーザの満足度を向上させることができる。
[ハードウェア構成]
図11は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM100-3、ブートプログラムなどを格納するROM100-4、フラッシュメモリやHDDなどの記憶装置100-5、ドライブ装置100-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100-3に展開されて、CPU100-2によって実行される。これによって、第1制御部120、第2制御部160、第3制御部170および再現部180のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺状況を認識し、
認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御し、
前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限する車両制御方法であり、
駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現する、
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、上記の実施形態においては自車両Mが自律的に駐車場に入庫したり駐車場から出庫して迎車したりするものとして説明したが、ユーザのうち運転者が入庫または出庫の運転を行うものであってもよい。その場合、第3制御部170は、運転者が降車するタイミングの所定装置230の作動状態を再現するよう制御してもよい。また、自車両Mに複数のユーザが乗降し、そのユーザの乗降タイミングが異なる場合(例えば、運転者が車寄せエリア320で他のユーザを降車させる場合)、先に車寄せエリア320で降車したユーザを再現の基準として、所定装置230の作動状態を再現させるものであってもよいし、他のユーザを降車させた後に運転者が駐車場で降車したタイミングを再現の基準として、所定装置230の作動状態を再現させるものであってもよい。また、再現部180は、コンテンツを再生させていたユーザが認識されている場合には、そのユーザが乗車することを推定した場合、またはそのユーザが乗車することを認識した場合に作動状態を再現させてもよい。再現部180は、例えば、どのユーザの所定装置230の作動状態を再現させるかの設定をあらかじめHMI30などを介して受け付け、その設定に応じて第3制御部170に作動状態を再現させる。
また、再現部180は、前回降車したユーザとは異なるユーザが乗車する場合には、上述のようにコンテンツ再生装置231以外の所定装置230であっても、再現を行わなくてもよい。再現部180は、例えば、前回降車したユーザとは異なるユーザが乗車する場合には、所定装置230のうち空調装置232やエージェント装置235の設定を自車両Mの所有者などによってあらかじめ設定された標準の設定(デフォルト設定)にする。
1…車両制御システム、100…自動運転制御装置、120…第1制御部、130…認識部、132…周辺認識部、134…駐車スペース認識部、140…行動計画生成部、142…自走駐車制御部、160…第2制御部、170…第3制御部、172…取得部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、230…所定装置、400…駐車場管理装置、M…自車両

Claims (14)

  1. 車両の周辺状況を認識する認識部と、
    前記認識部の認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御する運転制御部と、
    前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限する環境制御部と、
    前記運転制御部が駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現する再現部と、
    を備え
    前記所定の装置は、人工知能機能を有するエージェント装置であり、
    前記再現部は、前回の前記ユーザと前記エージェント装置との音声会話が途中で終了している場合に、前記ユーザに前回の音声会話の内容を引き継いで前記作動状態を再現するか否かを問い合わせ、前記ユーザからの問い合わせ結果に基づいて、前記所定装置の前記作動状態を制御する、
    車両制御システム。
  2. 前記認識部により前記ユーザが乗車することを指示したことの認識結果を取得する取得部を更に備え、
    前記再現部は、前記取得部により前記ユーザが乗車することを指示したことの認識結果が取得された場合に、前記運転制御部が駐車エリアから移動して前記ユーザを迎えに行くと判定し、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現するように前記環境制御部に指示する、
    請求項1に記載の車両制御システム。
  3. 前記再現部は、前記ユーザにより乗車中に使用された前記所定装置の前記作動状態を再現する、
    請求項1または2に記載の車両制御システム。
  4. 前記再現部は、前記ユーザにより乗車中に使用されていない、または使用が停止された所定装置の前記作動状態を再現しない、
    請求項3に記載の車両制御システム。
  5. 前記所定装置には、コンテンツ再生装置、空調装置、ワイパー装置、照明装置、エージェント装置のうち一部または全部が含まれる、
    請求項4に記載の車両制御システム。
  6. 前記環境制御部は、前記認識部により前記ユーザが前記車両に乗車することが認識されたタイミングで前記所定装置の作動状態が再現されるよう、前記所定装置の作動開始タイミングを調整する、
    請求項5に記載の車両制御システム。
  7. 前記所定装置は、コンテンツ再生装置を含み、
    前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させる、
    請求項1から6のうちいずれか1項に記載の車両制御システム。
  8. 前記所定装置は、コンテンツ再生装置を含み、
    前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点で再生していたコンテンツを最初からコンテンツを再生させる、
    請求項1または6に記載の車両制御システム。
  9. 前記再現部は、ユーザを識別可能な情報を取得可能であり、取得した迎えに行くユーザが前記所定装置の作動状態を制限したタイミングで前記車両を降車したユーザとは異なる場合、再現を行わない、
    請求項8に記載の車両制御システム。
  10. 前記所定装置は、コンテンツ再生装置を含み、
    前記環境制御部が、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記コンテンツ再生装置に、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させるか、前回の乗車終了時点で再生していたコンテンツを最初からコンテンツを再生させるかを選択可能である、
    請求項1、6または9のうちいずれか1項に記載の車両制御システム。
  11. 前記環境制御部は、前回の乗車終了時点でのコンテンツの停止位置からコンテンツを再生させる場合、前記停止位置よりも所定時間遡った再生位置からコンテンツ情報の再生を再開する、
    請求項7、9または10のうちいずれか1項に記載の車両制御システム。
  12. 前記所定装置が空調装置を含み、
    前記環境制御部は、前記ユーザが前記車両に乗車するために前記車両のドアが開かれるタイミングで、前記ユーザにより乗車中に使用された前記所定装置の作動状態となるよう前記空調装置の作動開始タイミングおよび作動具合を調整する、
    請求項1から9のうちいずれかに記載の車両制御システム。
  13. 車両制御装置が、
    車両の周辺状況を認識し、
    認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御し、
    前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限し、
    駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現する車両制御方法であり
    前記所定の装置は、人工知能機能を有するエージェント装置であり、
    前回の前記ユーザと前記エージェント装置との音声会話が途中で終了している場合に、前記ユーザに前回の音声会話の内容を引き継いで前記作動状態を再現するか否かを問い合わせ、前記ユーザからの問い合わせ結果に基づいて、前記所定装置の前記作動状態を制御する、
    車両制御方法。
  14. 車両制御装置に、
    車両の周辺状況を認識することと、
    認識結果に基づいて、前記車両の操舵および速度の少なくとも一方を運転制御することと、
    前記車両の快適環境を提供する所定装置の作動を制御し、ユーザが前記車両を降車するタイミングで前記所定装置の作動状態を制限することと、
    駐車エリアから移動してユーザを迎えに行く運転制御をする場合、前記ユーザが前記車両に乗車するタイミングで前記所定装置の作動状態を再現することと、
    を含む車両制御処理を実行させるためのプログラムであり、
    前記所定の装置は、人工知能機能を有するエージェント装置であり、
    前回の前記ユーザと前記エージェント装置との音声会話が途中で終了している場合に、前記ユーザに前回の音声会話の内容を引き継いで前記作動状態を再現するか否かを問い合わせ、前記ユーザからの問い合わせ結果に基づいて、前記所定装置の前記作動状態を制御することを実行させる、
    ためのプログラム。
JP2019038538A 2019-03-04 2019-03-04 車両制御システム、車両制御方法、およびプログラム Active JP7145105B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019038538A JP7145105B2 (ja) 2019-03-04 2019-03-04 車両制御システム、車両制御方法、およびプログラム
US16/798,497 US11541906B2 (en) 2019-03-04 2020-02-24 Vehicle control device, vehicle control method, and storage medium
CN202010133682.9A CN111717218A (zh) 2019-03-04 2020-02-28 车辆控制系统、车辆控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019038538A JP7145105B2 (ja) 2019-03-04 2019-03-04 車両制御システム、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020142555A JP2020142555A (ja) 2020-09-10
JP7145105B2 true JP7145105B2 (ja) 2022-09-30

Family

ID=72334837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019038538A Active JP7145105B2 (ja) 2019-03-04 2019-03-04 車両制御システム、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11541906B2 (ja)
JP (1) JP7145105B2 (ja)
CN (1) CN111717218A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243389B2 (ja) * 2019-03-29 2023-03-22 マツダ株式会社 車両走行制御装置
CN113132486A (zh) * 2021-04-20 2021-07-16 阿波罗智联(北京)科技有限公司 一种数据处理方法、装置、电子设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205737A (ja) 2008-02-27 2009-09-10 Toshiba Alpine Automotive Technology Corp ディスク再生装置及びディスク再生方法
JP2015219811A (ja) 2014-05-20 2015-12-07 トヨタ自動車株式会社 車両制御システム
JP2017073125A (ja) 2015-09-14 2017-04-13 富士通株式会社 行動推奨のための会話生成
JP2017211539A (ja) 2016-05-26 2017-11-30 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
JP2017538618A (ja) 2014-11-26 2017-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両の動作のための方法及び装置
WO2018025668A1 (ja) 2016-08-02 2018-02-08 ユニロボット株式会社 会話処理装置、及びプログラム
JP2018060192A (ja) 2016-09-30 2018-04-12 本田技研工業株式会社 発話装置およびコミュニケーション装置
JP2018060248A (ja) 2016-09-30 2018-04-12 本田技研工業株式会社 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
US20180265094A1 (en) 2017-03-15 2018-09-20 GM Global Technology Operations LLC Systems and methods for implementing user preferences for vehicles
JP2018154141A (ja) 2017-03-15 2018-10-04 株式会社デンソー 自動駐車支援装置および自動駐車支援方法
JP2018169494A (ja) 2017-03-30 2018-11-01 トヨタ自動車株式会社 発話意図推定装置および発話意図推定方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02198047A (ja) * 1989-01-26 1990-08-06 Isuzu Motors Ltd 車載オーディオ・ビデオ制御装置
JPH09109804A (ja) * 1995-10-20 1997-04-28 Mitsubishi Electric Corp 車載機器の自動調整装置
US20110119626A1 (en) * 2009-11-19 2011-05-19 Robert Bosch Gmbh Entertainment system smart keys
DE102013201168A1 (de) * 2013-01-24 2014-07-24 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
US9172747B2 (en) * 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US20140316607A1 (en) * 2013-04-18 2014-10-23 Ford Global Technologeis, Llc Occupant presence detection and identification
KR101575266B1 (ko) * 2014-09-17 2015-12-07 현대자동차 주식회사 차량용 인포테인먼트 시스템의 자동 제어방법, 및 차량용 인포테인먼트시스템을 포함하는 차량
EP3201913A4 (en) * 2014-10-01 2018-06-06 Xbrain Inc. Voice and connection platform
KR101614735B1 (ko) * 2014-12-08 2016-04-22 현대자동차주식회사 Avn 단말, 이를 포함하는 차량, 및 차량의 제어방법
KR101716218B1 (ko) * 2015-11-10 2017-03-15 현대자동차주식회사 차량 및 그 제어방법
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
JP6734154B2 (ja) * 2016-08-31 2020-08-05 株式会社Subaru 車両制御装置
AU2016428136A1 (en) * 2016-10-25 2019-05-23 Rovi Guides, Inc. Systems and methods for resuming a media asset
US10372141B2 (en) * 2017-05-24 2019-08-06 Uber Technologies, Inc. Systems and methods for controlling autonomous vehicles that provide a vehicle service to users
CN108099816A (zh) * 2017-12-25 2018-06-01 芜湖皖江知识产权运营中心有限公司 一种用于智能出行的车辆语音输入控制方法
JP6831344B2 (ja) * 2018-02-07 2021-02-17 株式会社Subaru 管制装置
CN108725357B (zh) * 2018-05-15 2022-06-03 上海博泰悦臻网络技术服务有限公司 基于人脸识别的参数控制方法、系统与云端服务器
WO2020115863A1 (ja) * 2018-12-06 2020-06-11 本田技研工業株式会社 データ開示装置、データ開示方法、及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205737A (ja) 2008-02-27 2009-09-10 Toshiba Alpine Automotive Technology Corp ディスク再生装置及びディスク再生方法
JP2015219811A (ja) 2014-05-20 2015-12-07 トヨタ自動車株式会社 車両制御システム
JP2017538618A (ja) 2014-11-26 2017-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両の動作のための方法及び装置
JP2017073125A (ja) 2015-09-14 2017-04-13 富士通株式会社 行動推奨のための会話生成
JP2017211539A (ja) 2016-05-26 2017-11-30 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
WO2018025668A1 (ja) 2016-08-02 2018-02-08 ユニロボット株式会社 会話処理装置、及びプログラム
JP2018060192A (ja) 2016-09-30 2018-04-12 本田技研工業株式会社 発話装置およびコミュニケーション装置
JP2018060248A (ja) 2016-09-30 2018-04-12 本田技研工業株式会社 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
US20180265094A1 (en) 2017-03-15 2018-09-20 GM Global Technology Operations LLC Systems and methods for implementing user preferences for vehicles
JP2018154141A (ja) 2017-03-15 2018-10-04 株式会社デンソー 自動駐車支援装置および自動駐車支援方法
JP2018169494A (ja) 2017-03-30 2018-11-01 トヨタ自動車株式会社 発話意図推定装置および発話意図推定方法

Also Published As

Publication number Publication date
US11541906B2 (en) 2023-01-03
CN111717218A (zh) 2020-09-29
JP2020142555A (ja) 2020-09-10
US20200283020A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP7125369B2 (ja) 駐車場管理装置、駐車場管理方法、およびプログラム
JP7139284B2 (ja) 車両制御装置、駐車場管理装置、車両制御方法、およびプログラム
JP6692899B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7123844B2 (ja) 駐車場管理装置、駐車場管理方法、およびプログラム
JP7096783B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6642398B2 (ja) 自動運転システム
JP7210334B2 (ja) 車両制御装置、車両制御システム、車両制御方法、およびプログラム
JP7190393B2 (ja) 車両制御装置、車両管理装置、車両制御方法、およびプログラム
JP7096192B2 (ja) 駐車管理装置、駐車管理装置の制御方法、およびプログラム
JP2020166633A (ja) 管理装置、管理方法、およびプログラム
JP7125910B2 (ja) 車両管理装置、車両管理方法、およびプログラム
CN111986505B (zh) 控制装置、上下车设施、控制方法及存储介质
JP7159108B2 (ja) 管理装置、管理方法、およびプログラム
JP2020166632A (ja) 駐車管理装置、駐車管理装置の制御方法、およびプログラム
JP2020138611A (ja) 車両制御装置、車両制御システム、車両制御方法、およびプログラム
JP7145105B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN111752270A (zh) 车辆控制系统、车辆控制方法及存储介质
JP2020201700A (ja) 管理装置、車両管理方法、プログラム、および車両管理システム
CN112037561B (zh) 信息处理装置、信息处理方法及存储介质
JP7110153B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7123840B2 (ja) 車両制御装置、監視システム、車両制御方法、およびプログラム
JP7175796B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7111640B2 (ja) 車両制御システム、車両制御方法、及びプログラム
JP7123836B2 (ja) 車両制御システム、車両制御方法、及びプログラム
JP7101630B2 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220916

R150 Certificate of patent or registration of utility model

Ref document number: 7145105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150