JP7018852B2 - 判定装置、判定方法および判定プログラム - Google Patents

判定装置、判定方法および判定プログラム Download PDF

Info

Publication number
JP7018852B2
JP7018852B2 JP2018160686A JP2018160686A JP7018852B2 JP 7018852 B2 JP7018852 B2 JP 7018852B2 JP 2018160686 A JP2018160686 A JP 2018160686A JP 2018160686 A JP2018160686 A JP 2018160686A JP 7018852 B2 JP7018852 B2 JP 7018852B2
Authority
JP
Japan
Prior art keywords
vehicle
driving state
determination
automatic driving
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018160686A
Other languages
English (en)
Other versions
JP2020035157A (ja
Inventor
孝太 坪内
晃輔 渡辺
真由美 羽田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2018160686A priority Critical patent/JP7018852B2/ja
Publication of JP2020035157A publication Critical patent/JP2020035157A/ja
Application granted granted Critical
Publication of JP7018852B2 publication Critical patent/JP7018852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、判定装置、判定方法および判定プログラムに関する。
近年、一部または全部の運転操作を人が行わなくとも自動制御により車両を走行させる自動運転システムが提案されている。この種の自動運転システムでは、周辺車両との車車間通信により、周辺車両が自動運転状態であるか手動運転状態であるかの制御状態に関する情報を取得する技術がある。
特許第6241531号公報
しかしながら、上記した技術は、車車間通信を前提としたものであるため、車車間通信を行うことができない周辺車両については、制御状態を精度良く判定することは容易ではない。
また、例えば、携帯電話等の端末装置を所持したユーザが車両に乗車した場合に、かかる車両の制御状態を端末装置が自動で判定することは容易ではない。
本願は、上記に鑑みてなされたものであって、車両の制御状態を精度良く判定することができる判定装置、判定方法および判定プログラムを提供することを目的とする。
本願に係る判定装置は、取得部と、判定部とを備える。前記取得部は、走行中の車両の挙動に関する挙動情報を取得する。前記判定部は、前記取得部によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する。
実施形態の一態様によれば、車両の制御状態を精度良く判定することができるという効果を奏する。
図1は、実施形態に係る判定処理の一例を示す図である。 図2は、実施形態に係る車両システムの構成例を示す図である。 図3は、実施形態に係る判定装置の構成例を示す図である。 図4は、ユーザ情報の一例を示す図である。 図5は、判定部による判定処理を示す図である。 図6は、判定部による判定処理を示す図である。 図7は、判定部による判定処理を示す図である。 図8は、実施形態に係る判定装置が実行する処理の手順を示すフローチャートである。 図9は、実施形態に係る判定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
まず、図1を用いて、実施形態に係る判定装置が行う判定処理の一例について説明する。図1は、実施形態に係る判定処理の一例を示す図である。図1では、判定装置1であるサーバ装置が、例えばユーザ端末50のセンサに基づいて車両Cの挙動に関する挙動情報を取得し、かかる挙動情報に基づいて車両Cが自動運転状態(すなわち、自動運転車)であるか否かを判定する判定処理を行う場合について説明する。また、図1では、判定装置1は、サーバ装置であり、上記の判定結果に基づいて、車両Cの制御状態に応じたコンテンツをナビゲーション装置100へ配信する。
なお、自動運転状態とは、人が行う運転操作の一部または全部を自動制御して車両Cを走行させる制御状態である。具体的には、自動運転状態とは、走行環境の認識や周辺状況の監視、ならびに、発進・加速、操舵、および、制動・停止等の一部または全部の運転操作を、車両Cの制御システムが行う制御状態である。
自動運転状態は、例えば、NHTSA(米国運輸省道路交通安全局)が策定した自動化レベルにおける「レベル4」、あるいは、米国のSAE(Society of Automotive Engineers)が策定した自動化レベルにおける「レベル4」および「レベル5」に該当する高度自動運転もしくは完全自動運転である。したがって、車両Cの運転者は、自動運転中である場合、手動運転時に比べて、周囲に意識を集中しなくてよい。なお、車両Cの自動運転状態は、上記した高度自動運転あるいは完全自動運転に限定されるものではなく、運転操作の一部を自動制御する半自動運転であってもよい。
一方、車両Cが自動運転状態ではない制御状態とは、手動運転状態であり、人が運転操作を全部行って車両Cを走行させる制御状態である。具体的には、手動運転状態とは、車両Cの発進・加速、操舵、および、制動・停止等の全部の運転操作を人が行う制御状態である。なお、自動運転状態が上記した高度自動運転や完全自動運転である場合、自動運転状態ではない制御状態は、上記した半自動運転の状態であってもよい。
実施形態に係る判定処理では、まず、判定装置1は、走行中の車両Cの挙動に関する挙動情報をユーザ端末50から取得する(ステップS1)。挙動情報には、車両Cの位置変化や、走行振動、ふらつき、走行経路に関する情報が含まれる。判定装置1は、例えば、ユーザ端末50に搭載された加速度センサや、ジャイロセンサ、カメラ、マイク等のセンサ値に基づいて挙動情報を取得する。あるいは、判定装置1は、ナビゲーション装置100を介して車載センサ(車速センサ等)から挙動情報を取得してもよい。
つづいて、実施形態に係る判定装置1は、取得した挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する(ステップS2)。換言すれば、判定装置1は、車両Cを人が運転しているか否かを推定する。例えば、実施形態に係る判定装置1は、車両Cのふらつきが通常よりも少ない場合や、車両Cの走行経路が通常とは異なる場合(例えば、経路のバリエーションが手動運転状態よりも少ない、あるいは、多い場合)等に自動運転状態であると判定する。なお、自動運転状態の判定処理の詳細については後述する。
つまり、実施形態に係る判定装置1は、車両Cの実際の挙動から自動運転状態であるか手動運転状態であるかを判定することで、車両Cの制御システムから制御状態を示す情報を取得せずとも自動運転状態を精度良く判定することができる。従って、実施形態に係る判定方法によれば、車両Cの制御状態を精度良く判定することができる。
さらに、判定装置1は、自車両(車両C)に限らず、他車両の挙動情報を取得し、他車両の挙動情報に基づいて他車両が自動運転状態であるか否かを判定することもできる。なお、他車両の挙動情報は、自車両に乗車したユーザが所持するユーザ端末50のカメラや、自車両の車載カメラのカメラ画像を解析して取得してもよく、あるいは、他車両に乗車した他ユーザのユーザ端末から他車両の挙動情報を取得してもよい。
このように、実施形態に係る判定方法によれば、他車両の挙動情報に基づいて制御状態を判定することで、車車間通信を行うことができない他車両の制御状態についても精度良く判定することができる。
つづいて、ステップS2で自動運転状態と判定した場合、判定装置1は、自動運転状態に応じたコンテンツを決定し、ナビゲーション装置100へ配信する(ステップS3)。なお、サーバ装置としての判定装置1のコンテンツ配信先は、ナビゲーション装置100に限定されるものではなく、ユーザ端末50であってもよい。
サーバ装置としての判定装置1が配信するコンテンツは、例えば、テレビ番組等の動画コンテンツや、広告コンテンツ、天気予報に関するコンテンツ、検索コンテンツ、ウェブページに関するコンテンツ等がある。なお、判定装置1は、ユーザから要求があった場合に、コンテンツを配信してもよく、あるいは、能動的にコンテンツを配信する、いわゆるプッシュ通知による配信を行ってもよい。
例えば、サーバ装置としての判定装置1は、自動運転状態に応じたコンテンツの配信方法として、例えば、コンテンツの配信頻度や、配信量等を増やしたりする配信方法を行う。あるいは、サーバ装置としての判定装置1は、自動運転状態に応じたコンテンツとして、例えば、映画コンテンツ等の手動運転状態時には集中して視聴できないようなコンテンツを配信してもよい。
つまり、サーバ装置としての判定装置1は、自動運転状態では、運転者が運転に集中する必要がなくなり、ナビゲーション装置100の表示画面に表示されたコンテンツを集中して見ることができるため、手動運転状態時よりもコンテンツの配信を増やしたり、手動運転時には集中して視聴できないコンテンツを配信する。これにより、ユーザである車両Cの乗員の満足度を高めつつ、広告コンテンツ等を配信することで、ビジネス機会を拡大することができる。
なお、判定装置1は、コンテンツ配信に限らず、例えば、自動運転状態時には、運転者の眠気状態や、車両Cの周辺への集中状態の監視を許可する処理を行ってもよいが、かかる点については後述する。
また、判定装置1がサーバ装置として機能する場合について説明したが、例えば、判定装置1がユーザ端末50として機能してもよく、あるいは、判定装置1がナビゲーション装置100として機能してもよい。
あるいは、判定装置1が行うすべての機能を、サーバ装置1、ユーザ端末50およびナビゲーション装置100で分担して行ってもよい。また、判定装置1は、車両C内に配置されたPC(Personal Computer)に実装される、いわゆるエッジコンピューティングであってもよい。
例えば、エッジコンピューティングとしての判定装置1は、上記の判定処理に関するプログラム情報をサーバ装置が学習し、学習結果のみを車両C内に配置されたPCである判定装置1に記憶しておく。これにより、例えば、トンネル等のように、サーバ装置と通信ができない状況であっても、ユーザ端末50および判定装置1間での通信により自動運転状態の判定を行うことができる。
また、上記では、サーバ装置としての判定装置1は、自車両が自動運転状態である場合に、自車両の乗員に対してコンテンツを配信したが、これに限らず、例えば、自車両のユーザ端末50により取得した他車両の挙動状態に基づいて他車両の自動運転状態を判定し、判定結果に基づいて他車両のナビゲーション装置等にコンテンツを配信してもよい。
次に、図2を用いて、実施形態に係る車両システムSの構成について説明する。図2は、実施形態に係る車両システムSの構成例を示す図である。図2に示すように、実施形態に係る車両システムSは、サーバ装置としての判定装置1と、ユーザ端末50と、ナビゲーション装置100とを含む。判定装置1、ユーザ端末50およびナビゲーション装置100は、ネットワークNを介して接続される。ネットワークNは、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。
サーバ装置としての判定装置1は、ユーザ端末50から取得した挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する処理を行う。また、判定装置1は、自動運転状態に応じたコンテンツ配信や、運転者の監視を行う。
ユーザ端末50は、車両Cの乗員であるユーザが所持する端末装置である。ユーザ端末50は、例えば、スマートデバイス(スマートフォン、あるいはタブレット)、携帯電話、パーソナルコンピュータ等である。ユーザ端末50は、例えば、加速度センサや、ジャイロセンサ等の車両Cの挙動の変化を検出するセンサを備え、かかるセンサにより検出された挙動情報を判定装置1へ送信する。
ナビゲーション装置100は、例えば、ユーザにより指定された目的地までの経路設定や、経路案内を行うナビゲーション機能を有する車載装置である。また、ナビゲーション装置100は、例えば、CAN(Controller Area Network)等の車載ネットワークCNを介して、各種車載センサに接続される。具体的には、車載センサとして、車速センサ100aや、カメラ100b、GPS100cに接続される。なお、上記の車載センサは
一例であって、車両Cの挙動等の車両情報を取得可能なセンサであれば任意のセンサを採用可能である。
車速センサ100aは、例えば、車両Cの時間あたりの車輪回転数に基づいて車両Cの走行速度を検出するセンサである。カメラ100bは、車両Cの周辺や、車室内の状況を撮像する撮像装置である。GPS100cは、全地球測位システム(GPS:Global Positioning System)であり、GPS衛星から受信した信号に基づいて車両Cの現在位置を検出する測位装置である。
ナビゲーション装置100は、車載センサの情報をナビゲーション機能に使用したり、挙動情報として判定装置1へ送信したりすることができる。
なお、判定装置1は、1台の車両Cのユーザ端末50およびナビゲーション装置100に接続される場合を示したが、複数台の車両Cのユーザ端末50およびナビゲーション装置100に接続されてもよい。
次に、図3を用いて、実施形態に係る判定装置1の構成について説明する。図3は、実施形態に係る判定装置1の構成例を示す図である。
図3に示すように、判定装置1は、通信部2と、制御部3と、記憶部4とを備える。制御部3は、取得部31と、判定部32と、配信部33と、監視部34とを備える。
通信部2は、たとえば、NIC(Network Interface Card)等によって実現される。通信部2は、ネットワークNと有線または無線で接続され、ネットワークNを介して、ユーザ端末50およびナビゲーション装置100の間で情報の送受信を行う。
記憶部4は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部4は、ユーザ情報41を記憶する。
ユーザ情報41は、車両Cの乗員であるユーザに関する情報を含む情報である。図4は、ユーザ情報41の一例を示す図である。図4に示すように、ユーザ情報41には、「ユーザID」、「年齢」、「性別」、「運転歴」、「所有車」および「運転特性」といった項目が対応付けられる。
「ユーザID」は、ユーザを識別する識別情報である。「年齢」は、ユーザの年齢を示す情報である。「性別」は、ユーザの性別に関する情報である。「運転歴」は、ユーザの運転の経歴に関する情報である。「運転歴」は、例えば、免許取得後からの経過年数や、実際に車を所有して運転していた年数である。なお、「運転歴」は、所有車を買い替えた場合には、各所有者毎の運転年数であってもよい。「所有車」、ユーザが所有している車両に関する情報であり、例えば、車種や、車名等の情報である。「運転特性」は、ユーザの手動運転状態時における運転の特性である運転特性を示す特性情報である。
図4では、「運転特性」として、経路特性や操作特性等がある。経路特性とは、ユーザが手動運転状態時にどのような経路を走行するかの特性を示す。「下道派」とは、例えば、遠方へ出かける場合に、高速道路よりも一般道を走行する傾向にあることを示す。他の経路特性として、例えば、どのような道路種(例えば、国道や、県道、私道等)を走行する傾向にあるかの特性や、右または左旋回のいずれの方向への旋回を好む傾向にあるかの特性等であってもよい。つまり、経路特性とは、ユーザが普段の手動運転状態時において、走行経路としてどのような経路を好んで走行するかを示す経路の嗜好性とも言える。
また、操作特性とは、ユーザが手動運転状態時にどのような運転操作を行うかの特性を示す。「ウインカー遅い」とは、例えば、右左折や、車線変更時におけるウインカーの操作タイミングが所定値(例えば、道路交通法で定められた値)よりも遅い傾向にあることを示す。他の操作特性として、例えば、赤信号時等にどのようなブレーキングを行う傾向にあるかの特性や、トンネル通過時や、夜間のヘッドライトの点灯タイミングの傾向に関する特性等であってもよい。あるいは、操作特性は、車線の左寄りを走行する傾向にあるなどの車両Cの走行位置の特性であってもよい。つまり、操作特性は、ユーザが普段の手動運転状態時において、どのような運転操作(タイミングや度合い等)を好んで行うかを示す運転操作の嗜好性とも言える。このような「運転特性」は、例えば、サーバ装置がユーザの走行履歴をもとに学習してもよく、ユーザから入力を受け付けてもよい。
制御部3は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、判定装置1内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部3は、たとえば、コントローラであり、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
なお、取得部31、判定部32、配信部33および監視部34は、それぞれ一部または全部がASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。
制御部3は、走行中の車両Cの挙動に関する挙動情報を取得し、取得した挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する。また、制御部3は、自動運転状態に応じたコンテンツの配信や、運転者の状態監視を行う。
取得部31は、走行中の車両Cの挙動に関する挙動情報を取得する。まず、取得部31は、挙動情報の取得に先立って、車両Cが走行中であるか否かを判定する。例えば、取得部31は、車速センサ100aの車速が所定値以上である場合や、カメラ100bの画像が抽出される特徴点の位置変化が所定値以上である場合、GPS100cによる車両Cの位置変化が所定値以上である場合に車両Cが走行中であると判定する。
あるいは、取得部31は、ユーザ端末50に搭載された加速度センサやジャイロセンサのセンサ値に基づいて車両Cが走行中であるか否かを判定することもできる。
また、取得部31は、車両Cの走行経路に関する経路情報を取得する。経路情報は、例えば、ナビゲーション装置100で設定された走行予定の経路であってもよく、あるいは、車両Cが実際に走行した経路であってもよい。
また、取得部31は、挙動情報として、車両Cのふらつきに関するふらつき情報や、運転操作に関する操作情報等を取得するが、かかる点については図5~図7で後述する。
判定部32は、取得部31によって取得された挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する。例えば、判定部32は、取得部31によって取得された挙動情報と、記憶部4に記憶されたユーザ情報41とを比較することで判定処理を行う。
具体的には、判定部32は、取得した挙動情報における挙動と、ユーザ情報41の「運転特性」に基づく挙動とが異なる場合に、自動運転状態であると判定する。より具体的には、判定部32は、取得した挙動情報に基づく走行経路が、「運転特性」の経路特性と合っていない場合に、自動運転状態であると判定する。
例えば、判定部32は、経路特性として、走行経路のバリエーションの少なさ(あるいは、多さ)に基づいて判定する。具体的には、判定部32は、手動運転状態時には、右左折旋回を頻繁に行ったり、あるいは、県道、私道を好んで走行する、すなわち走行経路のバリエーションが多い運転者が運転しているにも関わらず、実際の走行経路が国道を走行する、すなわち走行経路のバリエーションが少ない場合には、自動運転状態であると判定する。
つまり、判定部32は、実際の走行経路(走行予定の経路を含む)が、手動運転状態の経路特性と合っていない場合、運転者が運転しない、すなわち、自動運転状態であると判定する。このように、例えば、走行経路のバリエーション等といった経路特性から制御状態を判定することで、精度良く自動運転状態を判定することができる。
また、判定部32は、経路特性以外に、車両Cのふらつきに関するふらつき情報に基づいて制御状態を判定することもできる。かかる点について、図5および図6を用いて説明する。
図5および図6は、判定部32による判定処理を示す図である。図5および図6に示すように、ふらつき情報の概念としては、2通りある。1つ目は、図5に示す同一車線内におけるふらつき幅に関する情報であり、2つ目は、図6に示す複数の車線間における車線変更の頻度に関する情報である。まず、図5を用いて、同一車線内におけるふらつき幅について説明する。
図5では、同一車線内を走行する車両Cと、車両Cの車幅方向における中央位置CPのふらつき幅Wを示している。かかるふらつき幅Wは、例えば、中央位置CP(あるいは車両Cの所定の基準位置)から両側車線のうちいずれか一方の車線までの最大距離および最小距離の差分により表すことができる。なお、車両C(自車両および他車両を含む)の中央位置CPから車線までの距離は、例えば、カメラ100bの画像から車線を認識することで算出可能である。
判定部32は、車両Cのふらつきが所定ふらつき条件を満たす場合に、自動運転状態であると判定する。具体的には、図5に示すように、判定部32は、同一車線内におけるふらつき幅Wが所定の閾値未満、すなわち、ふらつきが小さい場合に、車両Cが自動運転状態であると判定する。一方、判定部32は、同一車線内におけるふらつき幅Wが所定の閾値以上、すなわち、ふらつきが大きい場合に、車両Cが自動運転状態でない、つまり、手動運転状態であると判定する。
このように、判定部32は、車両Cのふらつきに基づいて制御状態を判定することで、車両Cが自動運転状態であることを精度良く判定することができる。
なお、判定部32は、車両Cのふらつき幅W以外に、例えば、同一車線内における車両Cの走行位置に基づいて制御状態を判定することもできる。具体的には、判定部32は、車両Cの中央位置CPが右側よりも左側の車線に近い場合には、手動運転状態であると判定し、中央位置CPが両側に対して略同じ(あるいは自動制御により定められて走行位置)である場合には、自動運転状態であると判定する。これにより、車両Cの制御状態を精度良く判定することができる。
次に、図6を用いて、2つ目のふらつき情報の概念である、複数の車線間における車線変更の頻度について説明する。図6では、2車線の道路を車両Cが車線変更する場合について説明する。
なお、車線変更の検出は、例えば、GPS100cに基づく車両Cの位置変化や、カメラ100bから認識した車線の位置を車両Cが跨いだか否かに基づいて行うことができる。
図6に示すように、判定部32は、複数の車線間における車線変更の頻度が所定回数以上の場合、すなわち、頻繁に車線変更を行った場合、手動運転状態であると判定する。一方、判定部32は、複数の車線間における車線変更の頻度が所定回数未満の場合、自動運転状態であると判定する。
つまり、判定部32は、車両Cが不必要に車線変更を行った場合、手動運転状態であると判定する。このように、判定部32は、車両Cの車線変更の頻度により制御状態を判定することで、自動運転状態を精度良く判定することができる。
なお、判定部32は、例えば、道路上に落下した障害物を避ける場合や、速度が極端に遅い前方車両を追い抜く場合等には、上記の判定における車線変更としてカウントしない。
また、図6では、2車線の道路における車線変更の頻度について説明したが、3車線以上の道路における車線変更の頻度であってもよい。
また、判定部32は、挙動情報に基づく挙動と、ユーザ情報41の操作特性とを比較して制御状態を判定してもよい。かかる点について、図7を用いて説明する。
図7は、判定部32による判定処理を示す図である。図7では、操作特性として、車両Cのウインカー(左)を出すタイミングを例に挙げて説明する。他車両のウインカーを出すタイミングは、例えば、後方を走行する自車両のカメラの画像により検出されたウインカー点灯位置から、交差点等の所定の位置までの距離(あるいは車速に基づく到達時間でもよい)により検出可能であり、また、自車両のウインカーを出すタイミングは、例えば、ユーザ端末50の音声認識機能によりウインカー操作時の操作音を検出した位置から、上記の所定の位置までの距離により検出可能である。
判定部32は、挙動情報に基づく挙動がユーザ情報41の操作特性と合っていない場合に、自動運転状態であると判定する。例えば、図7に示すように、通常のウインカーのタイミングよりも実際のタイミングが遅い操作特性を有する運転者の車両Cにおいて、ウインカーのタイミングが常に基準値である距離Dで一定である場合、判定部32は、挙動情報であるウインカーのタイミングが運転者の操作特性と合っていないとして、自動運転状態であると判定する。
つまり、手動運転状態の場合には、ウインカーのタイミングが距離Dよりも短くなるという操作特性にも関わらず、実際に取得した挙動情報におけるウインカーのタイミングが距離Dで一定の場合に、運転者の操作に出されたウインカーではない、すなわち、自動運転状態であると判定する。
なお、判定部32は、ウインカーのタイミングに関する操作特性が未知の運転者については、例えば、距離Dからのバラつきに基づいて車両Cの制御状態を判定してもよい。
また、図7では、操作特性として、ウインカーのタイミングを例に挙げて説明したが、操作特性は、ウインカーのタイミングに限らない。例えば、操作特性として、車両Cの加速度合いや、減速度合い、信号機で停止するまでの減速操作(ブレーキを操作するか、エンジンブレーキを併用するか等)、トンネル時や夜間時におけるヘッドライドの点灯タイミング等であってもよい。
このように、判定部32は、運転者の操作特性と、挙動とを比較することで、車両Cの制御状態を精度良く判定することができる。
なお、判定部32は、挙動情報以外に、例えば、天気情報や、車両固有の情報(車種や、形状、窓の有無、運転者の着座位置、運転者の向き等の情報)をさらに加味して判定処理を行ってもよい。例えば、判定部32は、天気情報を加味することで、雨等の車両Cがふらつきやすい状況を考慮した判定処理を行うことができるため、制御状態の判定精度をさらに高めることができる。
また、判定部32は、例えば、車両Cの制御状態を判定するための判定モデルを生成し、かかる判定モデルを用いて判定処理を行うことができる。例えば、判定モデルは、過去の挙動情報を説明変数とし、過去の制御状態が自動運転状態であるか否かを教師データ(目的変数)として生成される。なお、説明変数として、挙動情報以外に、上記した天気情報や、車両固有の情報を用いてもよい。
また、判定部32は、例えば、上記した運転特性をif-then形式のルールの条件として用いた分類学習を行い、学習結果に基づいて自動運転状態である否かを判定してもよい。また、判定部32は、各運転特性を重み付けして算出されたスコアを自動運転状態の確率として算出して判定処理を行ってもよい。あるいは、判定部32は、例えば、各運転特性をニューラルネットワーク等の機械学習の入力とすることで積み上げられた確率のスコアを自動運転状態の確率として判定処理を行うこともできる。
配信部33は、車両Cの制御状態に基づいてコンテンツの配信を行う。具体的には、配信部33は、判定部32によって車両Cが自動運転状態であると判定された場合、自動運転状態に応じたコンテンツを車両Cの乗員へ配信する。
例えば、配信部33は、判定部32によって車両Cが自動運転状態であると判定された場合、手動運転状態である場合と比べて、コンテンツの配信頻度や、配信量を増やす。例えば、配信部33は、自動運転状態である場合、運転者が運転以外の他のことに集中できるため、広告コンテンツの配信頻度を増やしたり、例えば、映画等の視聴時間が比較的長い動画コンテンツを配信する。
あるいは、配信部33は、判定部32によって自動運転状態と判定された場合のみ配信可能に設定されたコンテンツを配信してもよい。かかる例としては、ゲームコンテンツ等の専用のコントローラを使用するコンテンツ等がある。
このように、配信部33は、自動運転状態である場合に、コンテンツの配信を増やすことで、広告コンテンツ等の広告ビジネスの拡大を図ったり、あるいは、運転中には見れないような比較的長い動画コンテンツを配信することで、運転者の満足度を向上させたりすることができる。
なお、配信部33によるコンテンツの配信タイミングは、ユーザである運転者や他の乗員からの要求をトリガとしてもよく、あるいは、いわゆるプッシュ通知により、ユーザの要求とは無関係なトリガ(例えば、現在時刻や、走行位置等)としてもよい。
監視部34は、判定部32によって車両Cが自動運転状態であると判定された場合、車両Cの乗員の状態について、自動運転状態に応じた監視を行う。例えば、監視部34は、判定部32によって車両Cが自動運転状態であると判定された場合、手動運転状態である場合と比べて、車両Cの運転者の状態の監視を強化する。
監視部34は、運転者の眠気状態、および、運転者の周辺への集中状態のうち少なくとも一方の状態を監視する。例えば、監視部34は、車内カメラで撮像した運転者の顔画像から認識される瞼の開き度合いや、視線方向等、または、心拍数や体温等の生体情報をもとに眠気状態を監視する。
また、監視部34は、車内カメラで撮像した運転者の顔画像から認識される視線方向や、車内マイクにより認識した運転者の会話等をもとに周辺への集中状態を監視する。
例えば、監視部34は、眠気状態に基づいて眠気がある場合や、周辺への集中が切れている場合等には、運転者に対して、眠気覚ましや、周辺への集中を促す等の警告を行う。このように、監視部34は、運転者の眠気や周辺への集中を保つように監視を強化することで、自動運転状態から手動運転状態へ切り替わる場合に、運転者が戸惑うことを抑えることができる。
次に、図8を用いて、実施形態に係る判定装置1が実行する処理の手順について説明する。図8は、実施形態に係る判定装置1が実行する処理の手順を示すフローチャートである。
図8に示すように、まず、取得部31は、車両Cが走行中か否かを判定する(ステップS101)。なお、取得部31は、車両Cが走行中でない、つまり、停止中である場合(ステップS101,No)、ステップS101の処理を繰り返す。
取得部31は、車両Cが走行中であると判定した場合(ステップS101,Yes)、車両Cの挙動に関する挙動情報を取得する(ステップS102)。
つづいて、判定部32は、取得部31が取得した挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する(ステップS103)。つづいて、配信部33は、判定部32によって自動運転状態であると判定された場合(ステップS103,Yes)、コンテンツの配信を増やす(ステップS104)。
つづいて、監視部34は、判定部32によって自動運転状態であると判定された場合、運転者の状態の監視を強化し(ステップS105)、処理を終了する。なお、ステップS104およびステップS105の処理は、処理順が互いに入れ替わってもよい。また、ステップS104およびステップS105の処理のうち、少なくとも一方のみが行われてもよい。
一方、ステップS103において、配信部33は、判定部32によって自動運転状態でないと判定された場合(ステップS103,No)、コンテンツの配信を増やさずに通常配信を行う(ステップS106)。
つづいて、監視部34は、判定部32によって自動運転状態でないと判定された場合、運転者の状態の監視を強化せずに通常監視を行い(ステップS107)、処理を終了する。なお、ステップS106およびステップS107の処理は、処理順が互いに入れ替わってもよい。また、ステップS106およびステップS107の処理のうち、少なくとも一方のみが行われてもよい。
また、上述してきた実施形態にかかる判定装置1は、例えば図9に示すような構成のコンピュータ1000によって実現される。図10は、実施形態に係る判定装置1の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを、ネットワークNを介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを、入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態にかかる判定装置1として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部3の機能を実現する。また、HDD1400には、記憶部4内のデータが格納される。コンピュータ1000のCPU1100は、これらのプログラムを、記録媒体1800から読み取って実行するが、他の例として、他の装置から、ネットワークNを介してこれらのプログラムを取得してもよい。
上述してきたように、実施形態に係る判定装置1は、取得部31と、判定部32とを備える。取得部31は、走行中の車両Cの挙動に関する挙動情報を取得する。判定部32は、取得部31によって取得された挙動情報に基づいて車両Cが自動運転状態であるか否かを判定する。
これにより、車両Cの制御状態が自動運転状態であるか手動運転状態であるかを精度良く判定することができる。
また、実施形態に係る判定装置1は、記憶部4をさらに備える。記憶部4は、車両Cの運転者の手動運転状態における運転特性を示す特性情報を含むユーザ情報41を記憶する。判定部32は、挙動情報に基づく挙動と、運転特性に基づく挙動とが異なる場合に、自動運転状態であると判定する。
このように、手動運転状態における運転特性に基づいて車両Cの制御状態を判定することで、車両Cの自動運転状態を精度良く判定することができる。
また、特性情報は、運転者の走行経路に関する経路特性を含む。取得部31は、車両Cの走行経路に関する経路情報を含む挙動情報を取得する。判定部32は、挙動情報に基づく走行経路が経路特性と合っていない場合に、自動運転状態であると判定する。
このように、例えば、走行経路のバリエーション等といった経路特性から制御状態を判定することで、精度良く自動運転状態を判定することができる。
また、特性情報は、運転者の運転操作に関する操作特性を含む。判定部32は、挙動情報に基づく挙動が操作特性と合っていない場合に、自動運転状態であると判定する。
このように、例えば、運転者の運転特性から制御状態を判定することで、精度良く自動運転状態を判定することができる。
また、取得部31は、車両Cのふらつきに関するふらつき情報を含む挙動情報を取得する。判定部32は、ふらつきが所定のふらつき条件を満たす場合に、自動運転状態であると判定する。
このように、車両Cのふらつきに基づいて制御状態を判定することで、車両Cの自動運転状態を精度良く判定することができる。
また、ふらつき情報は、同一車線内におけるふらつき幅W、および、複数の車線間における車線変更の頻度の少なくともに一方の情報を含む。
このように、同一車線内または複数の車線間における車両Cのふらつきに基づいて制御状態を判定することで、車両Cの自動運転状態を精度良く判定することができる。
また、実施形態に係る判定装置1は、配信部33をさらに備える。配信部33は、判定部32によって自動運転状態であると判定された場合、自動運転状態に応じたコンテンツを車両Cの乗員へ配信する。
これにより、自動運転状態における車両Cの乗員に合ったコンテンツを配信できるため、車両Cの乗員の満足度を向上させることができる。
また、配信部33は、判定部32によって自動運転状態であると判定された場合、車両Cが手動運転状態である場合と比べて、コンテンツの配信を増やす。
これにより、自動運転状態である場合に、コンテンツの配信を増やすことで、広告コンテンツ等の広告ビジネスの拡大を図ったり、あるいは、運転中には見れないような比較的長い動画コンテンツを配信することで、運転者の満足度を向上させたりすることができる。
また、実施形態に係る判定装置1は、監視部34をさらに備える。監視部34は、判定部32によって自動運転状態である判定された場合、車両Cの乗員の状態について、自動運転状態に応じた監視を行う。
これにより、自動運転状態における車両Cの乗員の状態について、自動運転状態に合った適切な監視を行うことができる。
また、監視部34は、判定部32によって自動運転状態であると判定された場合、車両Cが手動運転状態である場合と比べて、監視を強化する。
このように、乗員の状態の監視を強化することで、自動運転状態における状態の変化をいち早く検出することができる。
また、監視部34は、運転者の眠気状態、および、運転者の周辺への集中状態のうち少なくとも一方の状態を監視する。
これにより、運転者の眠気や周辺への集中を保つように監視を強化することで、自動運転状態から手動運転状態へ切り替わる場合に、運転者が戸惑うことを抑えることができる。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部31は、取得手段や取得回路に読み替えることができる。
1 判定装置
2 通信部
3 制御部
4 記憶部
31 取得部
32 判定部
33 配信部
34 監視部
41 ユーザ情報
50 ユーザ端末
100 ナビゲーション装置
100a 車速センサ
100b カメラ
100c GPS
C 車両
S 車両システム

Claims (15)

  1. 走行中の車両の挙動に関する挙動情報を取得する取得部と、
    前記取得部によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定部と
    前記判定部によって前記自動運転状態であると判定された場合、前記自動運転状態に応じたコンテンツを前記車両の乗員へ配信する配信部と、
    を備え
    前記配信部は、
    前記判定部によって前記自動運転状態であると判定された場合、前記車両が手動運転状態である場合と比べて、前記コンテンツの配信頻度または配信量を増やすこと
    を特徴とする判定装置。
  2. 走行中の車両の挙動に関する挙動情報を取得する取得部と、
    前記取得部によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定部と、
    前記判定部によって前記自動運転状態であると判定された場合のみ配信可能に設定されたコンテンツを前記車両の乗員へ配信する配信部と、
    を備えることを特徴とする判定装置。
  3. 前記車両の運転者の手動運転状態における運転特性を示す特性情報を記憶する記憶部をさらに備え、
    前記判定部は、
    前記挙動情報に基づく前記挙動と、前記運転特性に基づく挙動とが異なる場合に、前記自動運転状態であると判定すること
    を特徴とする請求項1または2に記載の判定装置。
  4. 前記特性情報は、
    前記運転者の走行経路に関する経路特性を含み
    前記取得部は、
    前記車両の走行経路に関する経路情報を含む前記挙動情報を取得し、
    前記判定部は、
    前記挙動情報に基づく前記走行経路が前記経路特性と合っていない場合に、前記自動運転状態であると判定すること
    を特徴とする請求項に記載の判定装置。
  5. 前記特性情報は、
    前記運転者の運転操作に関する操作特性を含み、
    前記判定部は、
    前記挙動情報に基づく前記挙動が前記操作特性と合っていない場合に、前記自動運転状態であると判定すること
    を特徴とする請求項またはに記載の判定装置。
  6. 前記取得部は、
    前記車両のふらつきに関するふらつき情報を含む前記挙動情報を取得し、
    前記判定部は、
    前記ふらつきが所定のふらつき条件を満たす場合に、前記自動運転状態であると判定すること
    を特徴とする請求項1~のいずれか1つに記載の判定装置。
  7. 前記ふらつき情報は、
    同一車線内におけるふらつき幅、および、複数の車線間における車線変更の頻度の少なくとも一方の情報を含むこと
    を特徴とする請求項に記載の判定装置。
  8. 前記配信部は、
    前記判定部によって前記自動運転状態であると判定された場合、前記車両が手動運転状態である場合と比べて、前記コンテンツの配信を増やすこと
    を特徴とする請求項1~7のいずれか1つに記載の判定装置。
  9. 前記判定部によって前記自動運転状態であると判定された場合、前記車両の乗員の状態について、前記自動運転状態に応じた監視を行う監視部をさらに備えること
    を特徴とする請求項1~8のいずれか1つに記載の判定装置。
  10. 前記監視部は、
    前記判定部によって前記自動運転状態であると判定された場合、前記車両が手動運転状態である場合と比べて、前記監視を強化すること
    を特徴とする請求項9に記載の判定装置。
  11. 前記監視部は、
    運転者の眠気状態、および、前記運転者の周辺への集中状態のうち少なくとも一方の前記状態を監視すること
    を特徴とする請求項9または10に記載の判定装置。
  12. コンピュータが実行する判定方法であって、
    走行中の車両の挙動に関する挙動情報を取得する取得工程と、
    前記取得工程によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定工程と
    前記判定工程によって前記自動運転状態であると判定された場合、前記自動運転状態に応じたコンテンツを前記車両の乗員へ配信する配信工程と、
    を含み、
    前記配信工程は、
    前記判定工程によって前記自動運転状態であると判定された場合、前記車両が手動運転状態である場合と比べて、前記コンテンツの配信頻度または配信量を増やすこと
    を特徴とする判定方法。
  13. 走行中の車両の挙動に関する挙動情報を取得する取得手順と、
    前記取得手順によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定手順と
    前記判定手順によって前記自動運転状態であると判定された場合、前記自動運転状態に応じたコンテンツを前記車両の乗員へ配信する配信手順と、
    をコンピュータに実行させ
    前記配信手順は、
    前記判定手順によって前記自動運転状態であると判定された場合、前記車両が手動運転状態である場合と比べて、前記コンテンツの配信頻度または配信量を増やすこと
    を特徴とする判定プログラム。
  14. コンピュータが実行する判定方法であって、
    走行中の車両の挙動に関する挙動情報を取得する取得工程と、
    前記取得工程によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定工程と、
    前記判定工程によって前記自動運転状態であると判定された場合のみ配信可能に設定されたコンテンツを前記車両の乗員へ配信する配信工程と、
    を含むことを特徴とする判定方法。
  15. 走行中の車両の挙動に関する挙動情報を取得する取得手順と、
    前記取得手順によって取得された前記挙動情報に基づいて前記車両が自動運転状態であるか否かを判定する判定手順と、
    前記判定手順によって前記自動運転状態であると判定された場合のみ配信可能に設定されたコンテンツを前記車両の乗員へ配信する配信手順と、
    をコンピュータに実行させることを特徴とする判定プログラム。
JP2018160686A 2018-08-29 2018-08-29 判定装置、判定方法および判定プログラム Active JP7018852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018160686A JP7018852B2 (ja) 2018-08-29 2018-08-29 判定装置、判定方法および判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018160686A JP7018852B2 (ja) 2018-08-29 2018-08-29 判定装置、判定方法および判定プログラム

Publications (2)

Publication Number Publication Date
JP2020035157A JP2020035157A (ja) 2020-03-05
JP7018852B2 true JP7018852B2 (ja) 2022-02-14

Family

ID=69668211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018160686A Active JP7018852B2 (ja) 2018-08-29 2018-08-29 判定装置、判定方法および判定プログラム

Country Status (1)

Country Link
JP (1) JP7018852B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021789A1 (ja) * 2021-08-19 2023-02-23 住友電気工業株式会社 車載装置、交通情報作成装置、通知方法、交通情報作成方法、通知プログラムおよび交通情報作成プログラム
JPWO2023032276A1 (ja) * 2021-09-01 2023-03-09

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014181020A (ja) 2013-03-21 2014-09-29 Denso Corp 走行制御装置
JP2018039292A (ja) 2016-09-05 2018-03-15 日産自動車株式会社 運転支援方法及び運転支援装置
WO2018105074A1 (ja) 2016-12-08 2018-06-14 三菱電機株式会社 報知制御装置および報知制御方法
JP2018101199A (ja) 2016-12-19 2018-06-28 株式会社デンソー 運転支援装置
JP2018101400A (ja) 2016-12-20 2018-06-28 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC 自律走行車の個人運転好みの認識方法及びシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014181020A (ja) 2013-03-21 2014-09-29 Denso Corp 走行制御装置
JP2018039292A (ja) 2016-09-05 2018-03-15 日産自動車株式会社 運転支援方法及び運転支援装置
WO2018105074A1 (ja) 2016-12-08 2018-06-14 三菱電機株式会社 報知制御装置および報知制御方法
JP2018101199A (ja) 2016-12-19 2018-06-28 株式会社デンソー 運転支援装置
JP2018101400A (ja) 2016-12-20 2018-06-28 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC 自律走行車の個人運転好みの認識方法及びシステム

Also Published As

Publication number Publication date
JP2020035157A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
US10503988B2 (en) Method and apparatus for providing goal oriented navigational directions
US20230219580A1 (en) Driver and vehicle monitoring feedback system for an autonomous vehicle
US11273836B2 (en) Method and system for human-like driving lane planning in autonomous driving vehicles
US11232350B2 (en) System and method for providing road user classification training using a vehicle communications network
JP6027280B1 (ja) 提供システム
JP6575818B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US10803746B2 (en) System and method for providing an infrastructure based safety alert associated with at least one roadway
JPWO2020100539A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2020213280A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN108538086A (zh) 辅助驾驶员进行道路车道变更
WO2019122952A1 (en) Method and system for personalized motion planning in autonomous driving vehicles
CN110738870A (zh) 用于避免碰撞路线的系统和方法
JP2016016765A (ja) 情報提供装置、通信システム及び情報提供方法
US10989554B2 (en) System and method for emotion navigation routing
US20190378414A1 (en) System and method for providing a smart infrastructure associated with at least one roadway
US11548515B2 (en) Systems and methods for managing driver habits
JPWO2020100585A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7018852B2 (ja) 判定装置、判定方法および判定プログラム
US20210291837A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
US20190147264A1 (en) Concentration determination apparatus, concentration determination method, and program for concentration determination
EP3729001A1 (en) Method and system for human-like driving lane planning in autonomous driving vehicles
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
JP6443323B2 (ja) 運転支援装置
US10969240B2 (en) Systems and methods for controlling vehicle systems using experience attributes
WO2019122953A1 (en) Method and system for self capability aware route planning in autonomous driving vehicles

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7018852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250