JP6662935B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

車両制御装置、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP6662935B2
JP6662935B2 JP2018043448A JP2018043448A JP6662935B2 JP 6662935 B2 JP6662935 B2 JP 6662935B2 JP 2018043448 A JP2018043448 A JP 2018043448A JP 2018043448 A JP2018043448 A JP 2018043448A JP 6662935 B2 JP6662935 B2 JP 6662935B2
Authority
JP
Japan
Prior art keywords
vehicle
occupant
unit
information
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018043448A
Other languages
English (en)
Other versions
JP2019156067A (ja
Inventor
峰史 廣瀬
峰史 廣瀬
直人 安田
直人 安田
祐季 押谷
祐季 押谷
岩本 進
進 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018043448A priority Critical patent/JP6662935B2/ja
Priority to CN201910055692.2A priority patent/CN110239538B/zh
Priority to US16/282,337 priority patent/US10706711B2/en
Publication of JP2019156067A publication Critical patent/JP2019156067A/ja
Application granted granted Critical
Publication of JP6662935B2 publication Critical patent/JP6662935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Emergency Alarm Devices (AREA)
  • Navigation (AREA)

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。
従来、タクシーなどの旅客自動車で、乗客が降車時に忘れ物をしていないかの確認する、忘れ物検知技術が開示されている(例えば、特許文献1)。特許文献1に記載の技術では、乗客の乗降時の赤外線による撮像データを比較解析し、乗客の乗車前に車室内に存在しなかった物品が、乗客の降車時に存在する場合に忘れ物があると判定する。
特開2015−41344号公報
しかしながら、従来の技術は、忘れ物の検知と自動運転時の運転制御と対応付けて処理を行うものではなかった。このため、自動運転時に忘れ物が看過される可能性があった。
本発明は、このような事情を考慮してなされたものであり、乗員の忘れ物を、より効果的に防止することができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
(1):自動運転車両の車内状況を示す状況情報を取得する状況情報取得部と、前記状況情報取得部により取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出する検出部と、前記検出部による検出結果に基づいて、前記自動運転車両を制御する制御部とを備えるものである。
(2):(1)において、前記検出部は、前記自動運転車両の乗員の特性を示す情報を取得し、取得した前記乗員の特性を示す情報に応じて、前記忘れ物を検出する際の基準を変更するものである。
(3):(2)において、前記検出部は、前記自動運転車両の乗員が、前記自動運転車両の所有者であるか、一時的な利用者であるかに応じて、前記忘れ物を検出する際の基準を変更するものである。
(4):(2)または(3)において、前記制御部は、前記検出部により前記忘れ物が検出された場合、前記乗員が前記自動運転車両を降車した後に予め決められていた挙動と異なる挙動で前記自動運転車両を走行させるものである。
(5):(4)において、前記異なる挙動には、前記自動運転車両を発進させないこと、または、前記予め決められていた挙動において設定されている目的地と異なる目的地に走行させることが含まれるものである。
(6):(2)から(5)のいずれかにおいて、前記状況情報取得部は、前記乗員が降車することを予測し、前記制御部は、前記状況情報取得部により前記乗員が降車することが予測された場合、収容スペースに収容されている前記忘れ物を、前記収容スペースに付随する排出機構に指示して車内の空間に排出させるものである。
(7):(2)から(6)のいずれかにおいて、前記状況情報取得部は、前記乗員が降車することを予測し、前記状況情報取得部により前記乗員が降車することが予測された場合、前記忘れ物があること、または、前記忘れ物の位置の少なくとも一方を含む通知情報を、通知部に出力させるものである。
(8):(7)において、前記通知部は、前記乗員が降車した後に、前記乗員が降車した位置を含む所定範囲よりも外側の目的地に向かって前記自動運転車両が走行することが設定されている場合、前記通知情報を出力するものである。
(9):(2)から(8)のいずれかにおいて、前記検出部は、記憶部に記憶された参照情報であって、前記忘れ物がない状態での車内の状況に基づく参照情報を用いて前記忘れ物を検出し、前記乗員により登録された登録情報、または、前記状況情報の少なくとも一方に基づいて前記参照情報を学習する学習部をさらに備えるものである。
(10):(9)において、前記学習部は、前記乗員が降車する前の状況と、前記乗員が降車した後の状況との比較結果に基づいて、前記参照情報を学習するものである。
(11):(1)から(10)のいずれかにおいて、前記検出部は、前記自動運転車両の車内に残されている物のうち、所定条件を満たす物を前記忘れ物として検出するものである。
(12):コンピュータが、自動運転車両の車内設備の使用状況を示す状況情報を取得し、取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出し、検出結果に基づいて、前記自動運転車両を制御する、車両制御方法である。
(13):コンピュータに、自動運転車両の車内設備の使用状況を示す状況情報を取得させ、取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出させ、検出結果に基づいて、前記自動運転車両を制御させる、プログラムである。
(1)〜(13)によれば、乗員の忘れ物を、より効果的に防止することができる。
また、(4)〜(11)によれば、乗員の忘れ物が検出された場合に、乗員による忘れ物の回収を目的とした挙動をするように、自動運転車両を制御することができる。
車両制御システム1の構成を示す図である。 実施形態に係る車両制御装置5を利用した車両制御システム1の構成図である。 第1制御部120および第2制御部160の機能構成図である。 忘れ物管理部150による物品の検出レベルの設定の例を示す図である。 忘れ物管理部150による、忘れ物を検出する処理の流れの一部を示すフローチャートである。 忘れ物管理部150による、忘れ物を検出する処理の流れの一部を示すフローチャートである。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。
(第1の実施形態)
[全体構成]
図1は、第1の実施形態に係る車両制御システム1の構成図である。車両制御システム1は、一以上のプロセッサ(コンピュータ)により実現される。車両制御システム1は、例えば、一以上の車両制御装置5と、一以上の端末装置300と、管理装置500とを備える。車両制御装置5は、自動運転機能を備える自動運転車両に搭載される車載装置である。自動運転車両は、例えば、オーナーXの自家用車である。つまり、オーナーXは、自動運転車両の所有者である。端末装置300は、オーナーXの所有する端末装置であり、例えば、スマートフォンなどの携帯電話やタブレット端末、ノートパソコン、PDA(Personal Digital Assistant)などの、少なくとも通信機能と情報入出力機能を有する可搬型端末装置である。管理装置500は、車両制御装置5や端末装置300と通信し、各種情報を提供する。
車両制御装置5と、端末装置300と、管理装置500とは、ネットワークNWによって互いに接続されており、このネットワークNWを介して互いに通信する。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダなどのうちの一部または全部を含む。
なお車両Mは、車両Mの所有者、および所有者が利用許可を与えた者のみが利用してもよいし、ライドシェア車両や、レンタカー車両、タクシー車両であってもよい。ライドシェア車両とは、複数の利用者によって一つ以上の車両を共同で利用する態様で使用される車両である。
[端末装置]
端末装置300は、例えば、車両Mの乗員が保持するスマートフォンや、タブレット型コンピュータ等である。車両Mの乗員は、端末装置300を操作して、車両Mを利用する時間や、利用時の目的地、乗員の行動予定等を入力または管理することができる。端末装置300には、スケジュール管理のためのアプリケーションプログラムがインストールされている。アプリケーションプログラムは、例えば、自動車メーカーの管理下にあるサーバによって提供される。端末装置300は、乗員によって入力された情報を車両Mに送信する。乗員によって入力された情報(例えば、目的地や利用時間)は、車両Mのナビゲーション装置に取得され管理される。なお、車両Mの乗員は、端末装置300を操作する代わりに、車両MのHMI30を操作して、車両Mを利用する時間や、利用時の目的地、乗員の行動予定等を入力してもよい。
[管理装置]
管理装置500は、例えば、乗員のスケジュールを一元的に管理する管理サーバの機能を有する。管理装置500は、例えば、自動車メーカーまたはライドシェアの管理業者によって管理・運営され、端末装置300から送信された乗員のスケジュールを取得し、管理装置500の記憶部(不図示)に記憶されたカレンダーと取得したスケジュールと対応させた情報であるスケジュール情報を記憶部に記憶させる。また、管理装置500は、車両Mがライドシェア車両である場合、乗員のスケジュールに加えて、どの乗員にどの車両を割り当てる予定かを規定するスケジュールも併せて管理する。
管理装置500は、端末装置300からスケジュールを取得したタイミングで、或いは所定のタイミングで端末装置300と同期し、乗員のスケジュール情報を更新する。管理装置500は、乗員のスケジュールの問い合わせがあった場合に、車両Mに乗員のスケジュール情報を提供する。また、管理装置500は、車両に設けられたHMI30の操作によって入力された情報に基づいて乗員のスケジュールを更新してもよい。
[車両制御装置]
次に、車両制御装置5について説明する。図2は、第1の実施形態に係る車両制御装置5の構成図である。車両制御システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両制御装置5は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物品認識装置16と、通信装置20と、HMI30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両制御システム1が搭載される車両(以下、車両M)の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺にミリ波などの電波を放射すると共に、物品によって反射された電波(反射波)を検出して少なくとも物品の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物品の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、車両Mの任意の箇所に取り付けられる。
物品認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物品の位置、種類、速度などを認識する。物品認識装置16は、認識結果を自動運転制御装置100に出力する。物品認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両制御システム1から物品認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
車内カメラ70、車内設備72、および車内設備センサ74のうち少なくとも一つによる検出結果によって、車室内の物品の存在、位置等を検出する。車内カメラ70は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。車内カメラ70は、シートの足下やトランク内部等も含めた車両Mの各所に取り付けられる。
車内設備72は、自動運転車両に搭載された設備であって、例えば、カップホルダ、物入れポケット、ダッシュボードに設けられた収容ボックス、雑誌入れポケット、DVD再生装置、CD再生装置、その他の情報処理装置、安全装置、ETC車載器、課金処理装置、決済処理装置などが含まれる。車内設備72は、使用状況を示す情報を取得し、自動運転制御装置100に出力する。例えば、車内設備72は、収容スペースに収容された物を検出する検出部などを備え、検出部による検出結果に基づいて使用状況を示す情報を取得する。また、車内設備72は、通知部72Aを備える。通知部72Aは、例えば、乗員の視界に入る箇所に設置された、LED(light emitting diode)などの表示装置である。
車内設備センサ74は、シート座面、シート足下、トランク内部等、乗員が何らかの物品を一時的に設置または収納する収容スペースに設置し、乗員の持ち込んだ物品の存在をセンシングする。車内設備センサ74は、例えば、圧力センサ、赤外線センサ、電流センサ等である。また、車室内の物品にICタグが付与されている場合や、微弱電波を発信する物品である場合には、車内設備センサ74はICタグや微弱電波を用いて、物品を検出してもよい。車内設備センサ74は、車内カメラ70や車内設備72によって物品の存在を認識し難い箇所に設置する。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160とを備える。第1制御部120と第2制御部160は、それぞれ、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。
図3は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10、レーダ装置12、およびファインダ14から物品認識装置16を介して入力された情報に基づいて、車両Mの周辺にある物品の位置、および速度、加速度等の状態を認識する。物品の位置は、例えば、車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物品の位置は、その物品の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物品の「状態」とは、物品の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、車両Mが走行している車線(走行車線)を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、走行車線を認識する際に、走行車線に対する車両Mの位置や姿勢を認識する。認識部130は、例えば、車両Mの基準点の車線中央からの乖離、および車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する車両Mの基準点の位置などを、走行車線に対する車両Mの相対位置として認識してもよい。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、車両Mの周辺状況に対応できるように、車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。行動計画生成部140のイベント決定部142、目標軌道生成部144、および忘れ物管理部150の機能については、後述する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
図3に戻り、第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECUとを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[忘れ物管理部の機能]
忘れ物管理部150は、例えば、状況情報取得部151と、検出部152と、決定部153と、学習部154と、検出レベル情報155と、参照情報156とを備える。状況情報取得部151は、状況情報を取得する。状況情報とは、例えば、乗員が誰であるか、乗員によって車内に持ち込まれた物品が何か、および乗員の乗降予定等の情報である。検出部152は、状況情報取得部151の取得した状況情報から、自動運転車両の車内に残されている、乗員の忘れ物と推測されるもの(以下、忘れ物候補)を検出する。忘れ物候補は、乗員の忘れ物である場合もあるが、乗員が意図的に車内に残している物品、すなわち、忘れ物として通知されるべきでない物品である場合もある。決定部153は、検出部152によって検出された忘れ物候補を乗員に通知するか否かを判定し、その判定結果に基づいて所定の挙動を行うよう、車両Mの運転制御を行う。所定の挙動については後述する。学習部154は、状況情報取得部151の認識結果や、検出部152の検出結果、および決定部153の判定結果を記憶し、学習する。検出レベル情報155は、忘れ物候補として検出する基準の設定を記憶する。参照情報156は、忘れ物候補として検出する物品および、忘れ物候補として検出しない物品の情報を記憶する。検出レベル情報155および参照情報156は、記憶部の一例である。
[状況情報取得部の機能]
状況情報取得部151は、例えば、乗員が車両Mの所有者や、車両Mの所有者が利用許可を与えた者(例えば、車両Mが個人所有車である場合には所有者の家族、車両Mが社用車である場合には社員)であるか、ゲストであるかを識別する。ゲストとは、例えば、ライドシェア乗員や、レンタカーやタクシーを利用する乗員といった、車両Mの一時的な利用者である。以下の説明では、ライドシェア乗員をゲストの一例として用いる。状況情報取得部151は、認識部130または車内カメラ70の認識した乗員の顔認証を行ってもよいし、指紋や虹彩など他の身体的特徴による生体認証を行ってもよい。また、状況情報取得部151は、例えば乗員が、ライドシェア利用に際して発行された認証キー(現物の鍵でもよいし、QRコード(登録商標)やトークン等のデータによる認証でもよい)によって車両を開錠したことでライドシェア乗員であると認識してもよい。なお、状況情報取得部151は、管理装置500から、ライドシェア乗員を識別する情報を取得してもよい。状況情報取得部151は、乗員の認識結果を検出部152に出力する。状況情報取得部151によって識別される、乗員が車両Mの所有者や、車両Mの所有者が利用許可を与えた者であるか、ゲストであるかは、乗員の特性の一例である。
状況情報取得部151は、例えば、乗員の乗車前の撮像データを解析して、車内備品を認識する。車内備品とは、車両Mの所有者によって、車両Mに置いたままにすることを前提として設置された物品である。車内備品は、例えば、クッション、ティッシュボックス、タイヤチェーン等である。状況情報取得部151は、車内カメラ70によって認識された物品の輪郭や位置を解析し、その解析結果を保持する。
また、状況情報取得部151は、例えば、乗員の乗車前後の撮像データを比較することで、乗員の持ち込んだ物品を認識する。状況情報取得部151は、車内カメラ70によって認識された物品の輪郭や位置を解析し、その解析結果を保持する。また、状況情報取得部151は、車内設備72、車内設備センサ74による認識結果に基づいて、車室内の物品の存在を認識する。状況情報取得部151は、車両Mの乗員の乗車前(車両Mの開錠時)や、発車時、乗車中等に取得した撮像データを前後比較し、その比較結果に基づいて、物品の存在すること、または物品が存在しないこと(乗員によって回収されたこと)を認識する。状況情報取得部151は、物品の認識結果を検出部152に出力する。
また、状況情報取得部151は、例えば、識別した乗員に関連する乗降予定を、HMI30や、端末装置300、管理装置500等から取得する。
状況情報取得部151は、車両Mの乗員の挙動を認識し、乗員が降車することを予測する。状況情報取得部151は、例えば、車両Mの駆動源が停止した場合や、予め取得した乗員の降車予定の目的地に到着した場合、乗員の降車予定時刻が到達した場合、乗員が身支度する様子が認識された場合、車両Mの駆動源が停止した場合、乗員がシートベルトを外した場合などといった、乗員の降車が想定される条件のうち、少なくともいずれか一つが満たされる場合や、実際に乗員が降車のために車両ドアを開錠した場合に、乗員が降車すると予測し、忘れ物候補の検出処理を行うよう検出部152に指示を出力する。
[検出部の機能]
検出部152は、状況情報取得部151から忘れ物候補の検出指示が出力された場合、乗員の認識結果や、乗員の持ち込んだ物品の認識結果に基づいて、乗員が降車することを認識し、忘れ物候補を検出する。検出部152は、例えば、車内備品が認識された場合には、忘れ物候補ではないと認識し、車内備品でない物品が認識された場合には、忘れ物候補であると認識する。
検出部152は、状況情報取得部151によって認識された、乗員が降車するという認識結果に基づいて、忘れ物候補の検出処理を行う。また、検出部152は、状況情報取得部151から出力された乗員の認識結果に基づいて、忘れ物候補の検出度合を調整する。検出部152は、例えば、乗員が車両Mの所有者であると判定した場合、車両Mの所有者によって予め設定された物品のうち、検出レベルの高い物品は忘れ物候補として通知し、検出レベルの低い物品は忘れ物候補として通知しないといった調整を行う。検出部152は、例えば、乗員がゲストであると判定した場合、検出レベルの設定に関わらず、ゲストの持ち込んだ物品の全てを忘れ物候補として検出する。検出部152は、検出した忘れ物候補に関する情報を、決定部153に出力する。
図4は、乗員によって予め設定された、物品の検出レベルの設定リストの内容の一例を示した図である。図4では、例えば、検出レベルを4段階(高い、やや高い、やや低い、低い)で設定する。乗員は、図4に示すように、例えば、財布を検出レベルが「高い」の物品であり、バッグを検出レベルが「やや低い」物品であると設定する。設定リストに登録される物品情報(例えば、財布やバッグ)は、「参照情報」の一例である。設定リストは、例えば、検出レベル情報155に記憶される。なお、図4の例においては、物品に対する検出レベルの設定の例を示したが、例えば、収容スペースに対して検出レベルの設定を行ってもよい。設定リストは、例えば、グローブボックスに収納した物品は、検出レベルが「低い」と設定する。設定リストにより規定される条件は、「所定条件」の一例である。
なお、設定リストにおける物品の設定と、収容スペースの設定とのどちらの検出レベルが優先されるかは、いずれか高い検出レベルを採用してもよいし、車両Mの所有者によって設定可能であってもよい。検出部152は、例えば、検出レベルが「低い」設定の収容スペースであるダッシュボードの収容ボックスに、検出レベルが「高い」設定の物品である財布が収納されている場合、物品の設定を優先して、検出レベルが「高い」と設定する。
また、検出部152は、検出した忘れ物候補が、乗員によって回収されたか否かを検出する。検出部152は、乗員によって取り残された忘れ物候補の存在を検出した場合、決定部153に検出結果を出力する。
検出部152は、参照情報に未登録の物品を検出した場合、初期設定として、検出レベルを「高い」として、設定リストに記憶してもよい。また、検出部152は、乗員が車両Mの所有者であって、設定リストに未登録の物品の存在を検知した場合、HMI30を介して、乗員に未登録の物品を設定リストに登録するよう促してもよい。
また、検出部152は、例えば、検出した忘れ物候補が不用品(ごみ)であって、車内清掃によって回収できる程度の大きさである場合、不用品を忘れ物候補として検出する対象から除外してもよい。
[決定部の機能]
決定部153は、検出部152から出力された忘れ物候補の検出結果に基づいて、忘れ物候補の通知処理を行う。また、決定部153は、忘れ物候補の通知処理の結果、乗員によって忘れ物候補が取り残された場合に、所定の挙動を選択し、イベント決定部142に、選択結果を出力する。
決定部153は、所有者によって設定リストの検出レベルが所定のレベル以上である物品を、忘れ物候補として通知するよう設定される。決定部153は、例えば、図4で示す設定リストにおいて、検出レベルが「高い」、「やや高い」の物品を忘れ物候補として検出した場合に、乗員に通知するが、検出レベルが「やや低い」、「低い」の物品を忘れ物候補として検出した場合には、乗員に通知しないといった制御を行う。所定のレベルは、所有者によって可変であってよい。
決定部153は、検出部152から出力された指示に基づいて、乗員に忘れ物候補の通知情報を出力する通知処理を行う。決定部153は、乗員に通知する忘れ物候補の情報や、忘れ物候補を通知する方法を決定する。通知する忘れ物候補の情報は、忘れ物候補があること、または、忘れ物候補の置かれている位置のうち、少なくとも一方を含む。忘れ物候補の通知情報は、例えば、忘れ物候補が設定リストに登録済の物品であって、物品の名称が設定されている場合には、その名称を含んでもよい。忘れ物候補を通知する方法とは、例えば、HMI30のスピーカやブザーを用いた音による通知や、HMI30のディスプレイにメッセージを表示したり、通知部72AのLEDを点灯させる等の視覚に訴える通知である。
なお、忘れ物候補が車内設備72に収容されている物品である場合、決定部153は、車内設備72の排出機構に、忘れ物候補の物品を車室空間に排出するように指示してもよい。排出とは、例えば、車内設備72がDVD再生装置である場合、DVD再生装置に備わるディスク取り出しボタンが押下された場合の挙動のことである。なお、排出とは、車内設備72が忘れ物候補の物品を制御できる状態を保つ挙動のことを指し、例えば、忘れ物候補を車内設備72から物理的に離れた場所に移動させること(例えば、物品を車室内の床面に落とすこと)は排出には含まない。決定部153は、例えば、車内設備72がディスク取り出しボタンを備えるDVD再生装置であって、DVDが忘れ物候補である場合には、ディスク取り出し口に備わるディスク排出駆動源(例えば、ディスクの挿入・排出時に駆動するモータ)に対して、そのDVDを車両Mの車室空間に排出するよう指示する。
また、決定部153は、既に乗員によって車両Mの車両ドアが施錠された場合であっても、乗員に忘れ物候補を通知する場合には、忘れ物候補の通知と連動して自動的に車両ドアを開錠したり、パワーウインドウを操作して広く開けることで、乗員が車両ドアを開錠する手間を省いて、忘れ物を取りやすくするような車両制御を行なってもよい。
決定部153は、検出部152から出力された、取り残された忘れ物候補の存在の検出結果に基づいて、例えば、所有者の端末装置300に取り残された忘れ物候補の存在を通知する。乗員は、取り残された忘れ物候補が、忘れ物であれば、端末装置300を介して、車両Mに忘れ物を取りに行くための応答を行う。乗員は、取り残された忘れ物候補が、意図的に車内に残している物品であって、忘れ物でなければ、端末装置300を介して、忘れ物ではないため回収しないことを応答する。なお、忘れ物が車内設備72に収容されていた物品である場合であって、忘れ物候補として検知した際にその物品を車室空間に排出した場合、決定部153は、その物品を再度車内設備72に収容してもよい。
また、決定部153は、検出部152から出力された、取り残された忘れ物候補の存在の検出結果や、乗員の忘れ物候補の存在の通知に対する応答に基づいて、所定の挙動を選択する。所定の挙動とは、例えば、乗員の降車後に車両Mを別の目的地に向かわせる予定であった場合でも、車両Mを発進させないことである。
決定部153は、例えば、設定リストの検出レベルに基づいて、所定の挙動を選択してもよい。決定部153は、例えば、設定リストの検出レベルが「高い」であれば車両Mを発進させないが、検出レベルが「やや高い」であれば、車両Mを次の目的地に向かわせずに近くの駐車スペースで所定時間待機させ、所有者から連絡があったら降車位置(または所有者の指定する場所)に移動するように選択する。
[学習部の機能]
学習部154は、例えば、検出部152から出力された、取り残された忘れ物候補の存在の検出結果や、乗員の忘れ物候補の存在の通知に対する応答に基づいて、学習部154は、検出レベル情報155や参照情報156を学習する。
また、車両Mに複数の乗員が乗車中である場合、車両Mの所有者が乗車しているところにゲストが相乗りしている最中に、車両Mの所有者がゲストから土産物をもらうといった、物品の所有者が変化することがある。その場合、ゲストの降車時に、土産物をゲストの忘れ物として検出することは望ましくない。したがって、学習部154は、状況情報取得部151によって取得された車室内での乗員の会話を解析し、その解析結果を学習して、設定リストを適宜更新してもよい。
[参照情報]
参照情報156は、例えば、車両Mの所有者によって、車両Mに持ち込んだ物品のうち、忘れている場合には必ず通知してほしい物品の設定を、忘れ物候補として検出する対象として記憶する。また、参照情報156は、例えば、車両Mの所有者によって、車両Mに持ち込んだ物品のうち、車内備品(タイヤチェーン等)を忘れ物候補として検出する対象から除外してよいものとして記憶する。
参照情報156は、車内カメラ70によって撮像された物品の撮像データを記憶してもよいし、所有者によってHMI30や端末装置300を介して設定された情報を記憶してもよい。また、参照情報156は、車両Mの所有者があらかじめPC(Personal Computer)等の車両Mや車両制御システム1の外部から物品に関する情報を登録し、その登録情報を記憶してもよい。
参照情報156は、記憶結果を、例えば、物品の認識結果(撮像データの特性や、ICタグ情報)と、物品の名称、物品の検出レベル、物品が車内備品であるかのフラグ設定等が紐付いた設定リストとして記憶する。
[イベント決定部の機能]
イベント決定部142は、忘れ物管理部150から出力された指示に基づいて、自動運転のイベントを設定して目標軌道生成部144に出力する。
イベント決定部142は、忘れ物管理部150によって乗員の忘れ物が検出された場合、予め決められていた挙動とは異なる挙動で車両Mを走行させる場合がある。イベント決定部142は、例えば、車両Mの乗員の乗降予定から、行動計画生成部140が乗員の降車スペースから離れた場所に移動する、無人自動運転イベントを予定していた場合であっても、忘れ物管理部150によって乗員の忘れ物候補が検出された場合には、乗員の降車スペースから離れた場所に駐車して待機したり、降車場所から発進せずに乗員からの応答があるまで降車場所で待機したりするといった、予定とは異なる挙動を選択する。なお、イベント決定部142は、忘れ物管理部150によって全く同一の忘れ物が検出された場合であっても、乗員の降車スペース近辺で待機する予定であった場合には、予定通りの挙動を選択してもよい。
また、イベント決定部142は、管理装置500から、直近の予定だけではなく、例えば、車両Mの乗員の予定に基づいて、車両Mの移動予定を取得し、必要に応じて更新する。車両Mの移動予定は、例えば、車両Mにいつ、誰が乗車するかについて、最短で数時間程度、長ければ数日程度の予定に関する情報である。車両Mの移動予定は、車両Mの所有者によって設定されてもよいし、車両Mがライドシェア車両として利用される場合、管理装置500の管理者によって設定されてもよい。
[目標軌道生成部の機能]
目標軌道生成部144は、イベント決定部142から出力された自動運転のイベントに基づいて、目標軌道を生成する。目標軌道生成部144は、例えば、乗員の降車場所から駐車スペースに移動する無人自動運転イベントを出力された場合、降車場所から駐車スペースに向かうための目標軌道を生成する。目標軌道生成部144は、第2制御部160に目標軌道を出力する。
[処理フロー]
図5および図6は、忘れ物管理部150によって忘れ物が検出された場合の車両制御システム1の運転制御処理の流れの一例を示すフローチャートである。図5は、忘れ物候補の検出処理の流れの一例である。
まず、状況情報取得部151は、状況情報に基づいて車内備品を検出する(ステップS100)。次に、状況情報取得部151は、乗員が乗車したか否かを判定する(ステップS102)。乗員が乗車したと判定されなかった場合、状況情報取得部151は、一定時間経過後に再度ステップS102の処理を行う。乗員が乗車したと判定した場合、状況情報取得部151は、乗員の特性を取得する(ステップS104)。次に、状況情報取得部151は、状況情報に基づいて乗員の持ち込み物品を検出する(ステップS106)。
次に、検出部152は、乗員が降車すると予測されたか否かを判定する(ステップS108)。乗員が降車すると予測されたと判定されなかった場合、検出部152は、一定時間経過後に再度ステップS108の処理を行う。乗員が降車すると予測されたと判定した場合、検出部152は、状況情報に基づいて忘れ物候補を検出する(ステップS110)。次に、検出部152は、乗員の特性を示す情報に基づいて、乗員の特性に応じた忘れ物候補を抽出する(ステップS112)。次に、決定部153は、忘れ物候補に関する情報を通知する(ステップS114)。次に、決定部153は、収容スペースから忘れ物候補を排出する(ステップS116)。
図5は、忘れ物が取り残された場合の運転制御処理の流れの一例である。状況情報取得部151は、乗員が降車したか否かを判定する(ステップS200)。乗員が降車したと判定されなかった場合、状況情報取得部151は、一定時間経過後に再度ステップS118の処理を行う。乗員が降車したと判定した場合、検出部152は、状況情報に基づいて取り残された忘れ物候補を検出する(ステップS202)。次に、決定部153は、車両Mの所有者の端末装置300に忘れ物候補に関する情報を通知する(ステップS204)。次に、イベント決定部142は、所定の挙動で自動運転車両を走行させる(ステップS206)。これにより、本フローチャートの処理は、終了する。
上述したように第1の実施形態の車両制御システム1によれば、状況情報に基づいて、乗員の降車時に車両M内の忘れ物候補を検知して通知する忘れ物管理部150によって、乗員の忘れ物を防止する車両制御ができる。また、第1の実施形態の車両制御システム1によれば、通知する忘れ物管理部150によって乗員の持ち込んだ物品または物品の収容スペースの設定に応じて忘れ物候補を検出することで、車両Mの所有者によって設定された車内備品と、忘れ物候補とを識別することができる。また、第1の実施形態の車両制御システム1によれば、忘れ物候補が車両M内に取り残された場合に、忘れ物管理部150によって乗員に通知され、乗員によって忘れ物であると応答された場合には乗員の回収を前提とした走行予定に変更され、その変更に則した所定の挙動の走行イベントを決定するイベント決定部142と、走行イベントに基づいた目標軌道を生成して自動運転車両を走行させる目標軌道生成部144とによって、乗員による忘れ物の回収がし易くなるような車両制御ができる。
(第2の実施形態)
次に、第2の実施形態の車両制御システム1について説明する。以下の説明において、第1の実施形態で説明した内容と同様の機能を有する部分については、同様の名称および符号を付するものとし、その機能に関する具体的な説明は省略する。
第2の実施形態の車両制御システム1においては、忘れ物管理部150の一部または全部は車両制御装置5の外部に配置されてもよい。忘れ物管理部150は、例えば、複数のライドシェア車両を制御する管理装置500上で稼働する。したがって、以下では、主に忘れ物管理部150が車両制御装置5の外部に配置された場合の変更点を中心に説明する。また、第2の実施形態の車両制御システム1においては、主として、車両Mがライドシェア車両である場合を想定して説明する。
[管理装置500上で稼働する、忘れ物管理部150]
忘れ物管理部150は、車両制御装置5の通信装置20を介して、乗員Mの状況情報の認識結果を出力される。忘れ物管理部150は、忘れ物候補の通知処理や、所定の挙動の選択処理を行い、その処理結果を車両制御装置5に出力する。なお、学習部154に記憶される学習結果は、自動車メーカーまたはライドシェアの管理業者のサービス提供対象であるすべてのライドシェア乗員の忘れ物の検出に利用されてもよい。
[乗員の乗降予定に応じた、忘れ物の検出度合の調整]
管理装置500は、複数のライドシェア車両を利用する乗員の乗降予定と、各乗員の設定リストを併せて管理する。忘れ物管理部150は、各乗員の乗降予定に基づいて、車両Mの忘れ物候補の検出度合の決定を行う。
決定部153は、乗員の予定情報に基づいて、乗員が一時降車する予定であるか、最終降車する予定であるかに応じて、乗員に忘れ物候補の存在を通知する検出レベルを調整とする。最終降車とは、例えば、乗員が車両Mを降車後に、乗員と車両Mとが物理的に所定範囲(例えば、車両Mから1[km]程度)よりも外側に離れる場合、次回乗車予定時間までが一定時間(例えば、2[時間]程度)以上である場合、次に異なるライドシェア乗員が乗車予定である場合のことである。一時的な降車とは、最終降車にあてはまらない降車であって、例えば、乗員と車両Mとが物理的に所定範囲内に留まる場合や、次回乗車予定時間までが一定時間以内の降車である場合のことである。決定部153は、例えば、乗員が最終降車する予定である場合には、すべての忘れ物候補を必ず通知するが、乗員が一時降車する予定である場合には、忘れ物候補のうち検出レベルが「高い」、「やや高い」の物品のみ通知する。
また、決定部153は、乗員の予定情報に基づいて、検出レベルに応じた通知様態を段階的に変化させてもよい。決定部153は、例えば、乗員が5分程度の降車する場合には、忘れ物候補の通知は行わなくてもよいが、10分以上降車する場合には、検出レベルが「高い」の忘れ物候補は通知する、といった通知様態の制御を行う。
[忘れ物の検出時のライドシェア車両の乗降予定調整]
車両Mがライドシェア車両である場合に乗員の忘れ物が取り残された場合、決定部153は、例えば、車両Mの次の目的地を変更する。このとき管理装置500は、必要に応じて、次に車両Mを利用する予定であったライドシェア乗員に、他の車両を割り当てる。決定部153は、忘れ物をした乗員から連絡があった場合に、忘れ物をした乗員の指定場所に車両Mを向かわせることができるよう、車両Mの目的地を当初の予定よりも、忘れ物をした乗員の降車位置から近い範囲に限定してもよい。また、決定部153は、当初の予定通り走行するが、忘れ物をした乗員から連絡があったら、忘れ物をした乗員の指定場所に自車両Mを向かわせてもよい。車両Mの次の目的地を変更することは、「所定の挙動」の他の一例である。
また、決定部153は、忘れ物をした乗員から一定時間以上応答が得られない場合には、例えば、ライドシェアの管理業者の設定する回収場所に、次の目的地を変更する。決定部153は、忘れ物をした乗員に、回収場所に忘れ物を届けたことを連絡する。
上述したように第2の実施形態の車両制御システム1によれば、第1の実施形態と同様の効果を奏する他、特に車両Mがライドシェア車両である場合であっても、忘れ物管理部150によって、乗員の乗降予定に基づいて忘れ物候補として検出する度合を調整したり、乗員が忘れ物をした場合の車両Mの好適な挙動を選択することができるといった、乗員の忘れ物を防止するための、より好適な車両制御が実現できる。
なお、上述の実施形態においては、忘れ物候補は有体物である例を挙げたが、忘れ物候補は、乗員によって車内設備72に記憶された情報(例えば、写真データや音楽データ)であってもよい。決定部153は、忘れ物候補が車内設備72に記憶された情報である場合、例えば、忘れ物候補である情報を、忘れ物候補の持ち主と推測される乗員のみが通信できる管理装置500の記憶部に一時保存してから、車内装置72から削除する処理を行ってもよい。
[ハードウェア構成]
図6は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100−1、CPU100−2、ワーキングメモリとして使用されるRAM(Random Access Memory)100−3、ブートプログラムなどを格納するROM(Read Only Memory)100−4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置100−5、ドライブ装置100−6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100−1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100−5には、CPU100−2が実行するプログラム100−5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100−3に展開されて、CPU100−2によって実行される。これによって、イベント決定部142、目標軌道生成部144、および忘れ物管理部150のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
自動運転車両の車内状況を示す状況情報を取得し、
取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出し、
検出結果に基づいて、前記自動運転車両を制御する
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両制御システム、5…車両制御装置、10…カメラ、12…レーダ装置、14…ファインダ、16…物品認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、70…車内カメラ、72…車内設備、72A…通知部、74…車内設備センサ、100…自動運転制御装置、120…第1制御部、130…認識部、140…行動計画生成部、142…イベント決定部、144…目標軌道生成部、150…忘れ物管理部、151…状況情報取得部、152…検出部、153…決定部、154…学習部、155…検出レベル情報、156…参照情報、160…第2制御部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、300…端末装置、500…管理装置、M…車両

Claims (12)

  1. 自動運転車両の車内状況を示す状況情報を取得する状況情報取得部と、
    前記状況情報取得部により取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出する検出部と、
    前記検出部による検出結果に基づいて、前記自動運転車両を制御する制御部と、
    を備え、
    前記検出部は、前記自動運転車両の乗員の特性を示す情報を取得し、取得した前記乗員の特性を示す情報に応じて、前記忘れ物を検出する際の基準を変更する、
    車両制御装置。
  2. 前記検出部は、前記自動運転車両の乗員が、前記自動運転車両の所有者であるか、一時的な利用者であるかに応じて、前記忘れ物を検出する際の基準を変更する、
    請求項に記載の車両制御装置。
  3. 前記制御部は、前記検出部により前記忘れ物が検出された場合、前記乗員が前記自動運転車両を降車した後に予め決められていた挙動と異なる挙動で前記自動運転車両を走行させる、
    請求項1または2に記載の車両制御装置。
  4. 前記異なる挙動には、前記自動運転車両を発進させないこと、または、前記予め決められていた挙動において設定されている目的地と異なる目的地に走行させることが含まれる、
    請求項に記載の車両制御装置。
  5. 前記状況情報取得部は、前記乗員が降車することを予測し、
    前記制御部は、前記状況情報取得部により前記乗員が降車することが予測された場合、収容スペースに収容されている前記忘れ物を、前記収容スペースに付随する排出機構に指示して車内の空間に排出させる、
    請求項1から4のうちいずれか一項に記載の車両制御装置。
  6. 前記状況情報取得部は、前記乗員が降車することを予測し、
    前記状況情報取得部により前記乗員が降車することが予測された場合、前記忘れ物があること、または、前記忘れ物の位置の少なくとも一方を含む通知情報を、通知部に出力させる、
    請求項1から5のうちいずれか一項に記載の車両制御装置。
  7. 前記通知部は、前記乗員が降車した後に、前記乗員が降車した位置を含む所定範囲よりも外側の目的地に向かって前記自動運転車両が走行することが設定されている場合、前記通知情報を出力する、
    請求項に記載の車両制御装置。
  8. 前記検出部は、記憶部に記憶された参照情報であって、前記忘れ物がない状態での車内の状況に基づく参照情報を用いて前記忘れ物を検出し、
    前記乗員により登録された登録情報、または、前記状況情報の少なくとも一方に基づいて前記参照情報を学習する学習部をさらに備える、
    請求項1から7のいずれか一項に記載の車両制御装置。
  9. 前記学習部は、前記乗員が降車する前の状況と、前記乗員が降車した後の状況との比較結果に基づいて、前記参照情報を学習する、
    請求項に記載の車両制御装置。
  10. 前記検出部は、前記自動運転車両の車内に残されている物のうち、所定条件を満たす物を前記忘れ物として検出する、
    請求項1から9のいずれか一項に記載の車両制御装置。
  11. コンピュータが、
    自動運転車両の車内設備の使用状況を示す状況情報を取得し、
    取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出し、
    検出結果に基づいて、前記自動運転車両を制御
    前記自動運転車両の乗員の特性を示す情報を取得し、取得した前記乗員の特性を示す情報に応じて、前記忘れ物を検出する際の基準を変更する、
    車両制御方法。
  12. コンピュータに、
    自動運転車両の車内設備の使用状況を示す状況情報を取得させ、
    取得された前記状況情報に基づいて、前記自動運転車両の車内に残されている忘れ物を検出させ、
    検出結果に基づいて、前記自動運転車両を制御させ
    前記自動運転車両の乗員の特性を示す情報を取得させ、取得した前記乗員の特性を示す情報に応じて、前記忘れ物を検出する際の基準を変更させる、
    プログラム。
JP2018043448A 2018-03-09 2018-03-09 車両制御装置、車両制御方法、およびプログラム Active JP6662935B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018043448A JP6662935B2 (ja) 2018-03-09 2018-03-09 車両制御装置、車両制御方法、およびプログラム
CN201910055692.2A CN110239538B (zh) 2018-03-09 2019-01-21 车辆控制装置、车辆控制方法及存储介质
US16/282,337 US10706711B2 (en) 2018-03-09 2019-02-22 Vehicle control device, vehicle control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018043448A JP6662935B2 (ja) 2018-03-09 2018-03-09 車両制御装置、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019156067A JP2019156067A (ja) 2019-09-19
JP6662935B2 true JP6662935B2 (ja) 2020-03-11

Family

ID=67841971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018043448A Active JP6662935B2 (ja) 2018-03-09 2018-03-09 車両制御装置、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US10706711B2 (ja)
JP (1) JP6662935B2 (ja)
CN (1) CN110239538B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139345A (ja) * 2018-02-07 2019-08-22 株式会社Subaru 管制装置
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
JP7063172B2 (ja) * 2018-07-31 2022-05-09 トヨタ自動車株式会社 情報処理装置、乗車車両調整方法及び乗車車両調整プログラム
JP7047697B2 (ja) * 2018-10-05 2022-04-05 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法、及び運転支援用コンピュータプログラム
JP2021057707A (ja) * 2019-09-27 2021-04-08 トヨタ自動車株式会社 車室内検出装置及び車室内検出システム
CN112802149B (zh) * 2019-11-13 2023-03-21 阿里巴巴集团控股有限公司 车道线的生成方法、生成装置、电子设备及存储介质
JP7055785B2 (ja) * 2019-12-18 2022-04-18 矢崎総業株式会社 車載装置
US11776332B2 (en) * 2019-12-23 2023-10-03 Robert Bosch Gmbh In-vehicle sensing module for monitoring a vehicle
US11062416B1 (en) * 2020-02-28 2021-07-13 Sos Lab Co., Ltd. Shared vehicle service providing method performed by server communicating with user device of passenger and autonomous vehicle
JP2021162959A (ja) * 2020-03-30 2021-10-11 本田技研工業株式会社 収容領域管理装置
DE102020109389A1 (de) 2020-04-03 2021-10-07 Ford Global Technologies, Llc Bauteil, Modulanordnung und Verfahren zur Erkennung von zurückgelassenen Gegenständen sowie Fahrzeug und Computerprogramm
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
US11882500B2 (en) 2020-11-02 2024-01-23 Ford Global Technologies, Llc Systems and methods for tracking luggage in a vehicle
US20220198196A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Providing access to an autonomous vehicle based on user's detected interest
JP7314961B2 (ja) 2021-02-24 2023-07-26 トヨタ自動車株式会社 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム
US11475755B2 (en) * 2021-03-02 2022-10-18 Gm Cruise Holdings Llc Forgotten mobile device detection and management
CN114863669B (zh) * 2022-04-29 2023-04-25 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19833451C1 (de) * 1998-07-24 1999-08-19 Siemens Ag Diebstahlschutzsystem für ein Kraftfahrzeug
US7012533B2 (en) * 2003-09-11 2006-03-14 Younse Jack M Occupant detection and notification system for use with a child car seat
US7408445B1 (en) * 2005-02-23 2008-08-05 Bill Cunningham Proximity activated vehicle signaling system
JP4262703B2 (ja) * 2005-08-09 2009-05-13 本田技研工業株式会社 能動型騒音制御装置
US7419027B2 (en) * 2005-08-30 2008-09-02 Motorola, Inc. System and method of increasing safety to occupants in a vehicle
US20070268119A1 (en) * 2006-05-18 2007-11-22 Daryl Cram Child abandonment avoidance system for automobiles
DE102006042976A1 (de) * 2006-09-13 2008-04-03 Siemens Ag Zugangsanordnung für ein Fahrzeug
DE102007044398B4 (de) * 2007-09-18 2012-10-04 Continental Automotive Gmbh Diebstahlschutzsystem für ein Fahrzeug und Verfahren zum Betreiben eines Diebstahlschutzsystems
JP2010182189A (ja) * 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
JP5451168B2 (ja) * 2009-04-28 2014-03-26 アルプス電気株式会社 車両のキーレスエントリー装置
US8629767B2 (en) * 2011-12-20 2014-01-14 GM Global Technology Operations LLC System for providing a mobile electronic device reminder
US8941478B2 (en) * 2012-03-30 2015-01-27 GM Global Technology Operations LLC System for providing a reminder to remove a mobile electronic device from a vehicle
US8779947B2 (en) * 2012-04-05 2014-07-15 GM Global Technology Operations LLC Vehicle-related messaging methods and systems
US9014920B1 (en) * 2012-07-02 2015-04-21 Ricardo Torres Vehicle occupants alert and alarm system
US9123244B2 (en) * 2013-03-15 2015-09-01 Denso International America, Inc. Vehicle tracking of personal devices with response system
JP6343769B2 (ja) * 2013-08-23 2018-06-20 中嶋 公栄 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
US9836717B2 (en) * 2014-01-09 2017-12-05 Ford Global Technologies, Llc Inventory tracking system classification strategy
US10062227B2 (en) * 2014-01-09 2018-08-28 Ford Global Technologies, Llc Contents inventory tracking system and protocol
US9255810B2 (en) * 2014-01-09 2016-02-09 Ford Global Technologies, Llc Vehicle contents inventory system interface
US20160203703A1 (en) * 2015-01-09 2016-07-14 Vinelight, Llc Pet Emergency Notification System
US10276017B2 (en) * 2015-05-08 2019-04-30 Kerry CAPERELL Alert system capable of indicating the nature of an object, person, or pet
US9881483B2 (en) * 2015-08-14 2018-01-30 Jaguar Land Rover Limited Vehicle based system for managing personal items
US9734695B2 (en) * 2015-10-13 2017-08-15 Nissan North America, Inc. Activity monitoring apparatus
US10297130B2 (en) * 2015-10-25 2019-05-21 Igor Friedman System for indicating the presence of a child within a vehicle by sending a signal to a mobile device after a predetermined amount of time
DE102015121113A1 (de) * 2015-12-04 2017-06-08 Valeo Schalter Und Sensoren Gmbh Verfahren zum autonomen Einparken eines Kraftfahrzeugs mit Innenraumsüberwachung, Fahrerassistenzsystem sowie Kraftfahrzeug
JP2017182301A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 自動輸送車両及び自動輸送システム
US9604571B1 (en) * 2016-04-05 2017-03-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for warning a third party about a temperature condition for a forgotten occupant based on estimated temperature
IL247307A0 (en) * 2016-08-16 2016-12-29 Kharbawi Shareef A method and system integrated into the door handle that warns of the presence of objects in the vehicle
US9847004B1 (en) * 2016-09-02 2017-12-19 Atieva, Inc. Vehicle child detection and response system
US20180065504A1 (en) * 2016-09-02 2018-03-08 Atieva, Inc. Vehicle Child Detection and Response System
US10479328B2 (en) * 2016-11-04 2019-11-19 Ford Global Technologies, Llc System and methods for assessing the interior of an autonomous vehicle
US10147294B2 (en) * 2016-12-21 2018-12-04 GM Global Technology Operations LLC Method and apparatus for providing reminder of occupant
US10776640B2 (en) * 2017-01-06 2020-09-15 International Business Machines Corporation Enhanced vehicle monitoring
JP7064508B2 (ja) * 2017-05-08 2022-05-10 チェイス,アーノルド 自律走行車両強化システムのためのモバイル機器
US20190122460A1 (en) * 2017-10-14 2019-04-25 HueCore, Inc. Integrating vehicle alarms, cameras, and mobile devices
US10214118B1 (en) * 2017-12-01 2019-02-26 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for automated passenger seat adjustments in a vehicle
JP2020004252A (ja) * 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
US10282625B1 (en) * 2018-10-01 2019-05-07 Eric John Wengreen Self-driving vehicle systems and methods
US10289922B1 (en) * 2018-09-18 2019-05-14 Eric John Wengreen System for managing lost, mislaid, or abandoned property in a self-driving vehicle
US10223844B1 (en) * 2018-09-18 2019-03-05 Wesley Edward Schwie Self-driving vehicle systems and methods
DE102018008244A1 (de) * 2018-10-18 2019-04-11 Daimler Ag Verfahren zur Detektion eines vergessenen Gegenstandes eines Fahrgasts in einem Fahrzeug

Also Published As

Publication number Publication date
CN110239538B (zh) 2022-07-12
JP2019156067A (ja) 2019-09-19
CN110239538A (zh) 2019-09-17
US20190279487A1 (en) 2019-09-12
US10706711B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
JP6662935B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6776288B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7032295B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6710714B2 (ja) 車両管理システム、車両管理方法、およびプログラム
JP7096183B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7236307B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2020166766A (ja) 駐車管理装置、駐車管理装置の制御方法、およびプログラム
JP2020152197A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020160705A (ja) 車両制御装置、車両制御方法、およびプログラム
CN111731206A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2020152198A (ja) 車両制御システム、車両制御方法、及びプログラム
JP7080684B2 (ja) 車両利用システム、および車両利用方法
US20210188325A1 (en) Control device and control method
CN111688708B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7112358B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7237684B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7123840B2 (ja) 車両制御装置、監視システム、車両制御方法、およびプログラム
JP2020166419A (ja) 車両制御装置、車両制御方法、及びプログラム
JP7101630B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2020144791A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020140445A (ja) 車両制御システム、車両制御方法、及びプログラム
CN111683852A (zh) 车辆控制系统、车辆控制方法及程序
CN112009478B (zh) 车辆控制系统、车辆控制方法及存储介质
JP2020140348A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2021098408A (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6662935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150