JP7172321B2 - 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム - Google Patents

運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム Download PDF

Info

Publication number
JP7172321B2
JP7172321B2 JP2018170749A JP2018170749A JP7172321B2 JP 7172321 B2 JP7172321 B2 JP 7172321B2 JP 2018170749 A JP2018170749 A JP 2018170749A JP 2018170749 A JP2018170749 A JP 2018170749A JP 7172321 B2 JP7172321 B2 JP 7172321B2
Authority
JP
Japan
Prior art keywords
vehicle
passenger
behavior
driving
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170749A
Other languages
English (en)
Other versions
JP2020042642A (ja
Inventor
真実 加藤
雅人 遠藤
孝広 志賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018170749A priority Critical patent/JP7172321B2/ja
Priority to US16/539,675 priority patent/US11332147B2/en
Priority to CN201910854084.8A priority patent/CN110895738A/zh
Publication of JP2020042642A publication Critical patent/JP2020042642A/ja
Application granted granted Critical
Publication of JP7172321B2 publication Critical patent/JP7172321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for

Description

本発明は、自動運転制御された車両の運転を評価する運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラムに関する。
運転が運転手によって行われる従来の車両では、運転手の運転技術が車両の乗り心地に大きく影響する。このため、例えば特許文献１では、運転手のアクセル、ブレーキ、又はハンドルの操作によって生じる加速度の影響が低減されるように、車両の座席の傾き等を乗客の着座状態に応じて制御し、乗客の感じる車両の乗り心地を向上させることが提案されている。
特許文献１に記載の技術では、乗員状態検出部が、車内カメラ及びシートセンサの出力から乗員の状態を検出する。そして、シート制御部が、乗員状態及び車両表情又は挙動に基づいて、シート位置調節機構、背もたれ角度調節機構、シートベルト制御機構、ランバーサポート機構、クッション制御機構、振り子機構を制御して座席の座り心地を設定する。
一方で、運転が自動制御によって行われる自動運転車両では、自動運転制御の性能及び機能が車両の乗り心地に大きく影響する。自動運転制御の性能及び機能は、属人的な運転手の運転技術と比較して、乗客の感じる車両の乗り心地がより向上されるように、車両の運転の評価に基づいてアップデートすることが容易である。
例えば、非特許文献１には、車両の運転を制御するための車両制御Ｉ／Ｆ（インターフェース）を開示して、車両メーカー以外のメーカーが車両制御ソフトウェア等を含む自動運転キットを開発することを可能とした自動運転車両について記載されている。非特許文献１に記載の自動運転車両では、自動運転制御の性能及び機能がアップデート可能となるように自動運転キットが構成される。これにより、サービスとしてのモビリティ（Ｍｏｂｉｌｉｔｙ－ａｓ－ａ－Ｓｅｒｖｉｃｅ：ＭａａＳ）に合わせて自動運転制御の性能及び機能を最適化することが可能となる。
特開２００６－８０９８号公報
トヨタ自動車、モビリティサービス専用EV"e-Palette Concept"［平成３０年８月３１日検索］、インターネット＜URL：https://newsroom.toyota.co.jp/jp/corporate/20508200.html＞
しかし、運転手及び乗務員が存在しない自動運転車両では、乗客に車両の乗り心地の評価を依頼することが難しい。このため、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする技術が求められている。
そこで、本発明は、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする運転評価装置を提供することを目的とする。
本発明の一つの実施形態に係る運転評価装置は、自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定する推定部と、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価する評価部と、を有する。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする運転評価装置が提供される。
この運転評価装置において、推定部は、車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときの乗客の表情又は挙動に基づいて、乗客の感じた車両の乗り心地を推定することが好ましい。これにより、自動運転制御ユニットの性能差又は機能差が特に表れやすい車両の運動状態の制御について評価が行われるため、その性能及び機能をアップデートすることが容易となる。
また、この運転評価装置において、推定部は、乗客の表情又は挙動を表す情報を受信する度に、受信した当該情報に基づいて所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、所定の感情を表す表情又は挙動を乗客が示したと判定した場合に、乗客の感じた車両の乗り心地が否定的であったと推定し、評価部は、車両の乗り心地が否定的であったと推定された回数に応じて、自動運転制御された車両の運転を評価することが好ましい。
特に、乗客の表情又は挙動を表す情報は、車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときに車両の撮像部で撮影された乗客の映像であり、推定部は、映像上の乗客が所定の感情を表す表情又は挙動を示したと判定した場合に、乗客の感じた車両の乗り心地が否定的であったと推定することが好ましい。これにより、乗客の映像に基づいて、乗客の感じた車両の乗り心地が推定される。
また、乗客の表情又は挙動を表す情報は、車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときに車両の集音部で記録された乗客の音声であり、推定部は、音声に所定の感情を表す挙動を示す所定のフレーズが含まれていた場合に、或いは音声のパワーが所定の閾値を超えた場合に、乗客の感じた車両の乗り心地が否定的であったと推定することが好ましい。これにより、乗客の音声に基づいて、乗客の感じた車両の乗り心地が推定される。
また、この運転評価装置において、推定部は、車両に乗車中の複数の乗客のうちの所定人数以上について車両の乗り心地が否定的であると推定された場合に、車両の乗り心地が否定的であったと推定することが好ましい。これにより、自動運転制御された車両２の運転の評価精度が向上する。
また、この運転評価装置において、推定部は、危険を回避するための自動運転制御が行われた結果として車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えた場合の乗客の表情又は挙動に基づいては、乗客の感じた車両の乗り心地を推定しないことが好ましい。これにより、自動運転制御された車両２の運転の評価精度が更に向上する。
また、この運転評価装置において、記憶部を更に備え、評価部は、車両に搭載されて車両を自動運転制御する自動運転制御ユニットによる車両の運転の評価結果と、自動運転制御ユニットの種類又はバージョンに関する情報とを、対応付けて記憶部に記憶することが好ましい。これにより、自動運転制御ユニットの種類又はバージョンごとに運転を評価して、その性能及び機能をアップデートすることが容易となる。
また、本発明の他の実施形態に係る運転評価装置は、乗客の表情又は挙動を表す情報を取得する取得部を搭載した車両からネットワークを介して乗客の表情又は挙動を表す情報を受信するサーバとして構成される。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とするサーバが提供される。
また、本発明の更に他の実施形態に係る運転評価装置は、乗客の表情又は挙動を表す情報を取得する取得部とともに車両に搭載された車載装置として構成される。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする車載装置が提供される。
また、本発明の実施形態に係る運転評価システムは、ネットワークを介して互いに通信可能に接続されたサーバと車載装置とを有する運転評価システムであって、自動運転制御された車両に乗車中の乗客の表情又は挙動を表す情報を取得する取得部から乗客の表情又は挙動を表す情報を収集してサーバに送信する車載装置と、車載装置から受信した乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定し、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価するサーバと、を有する。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする運転評価システムが提供される。
また、本発明の実施形態に係る運転評価方法は、自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定し、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価する。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする運転評価方法が提供される。
また、本発明の実施形態に係る運転評価用コンピュータプログラムは、自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定し、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価することをコンピュータに実行させる。これにより、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする運転評価用コンピュータプログラムが提供される。
本発明に係る運転評価装置は、自動運転制御された車両の運転の評価を自動的かつ適切に行うことができる。
第１実施形態に係る運転評価システムの構成の一例を示す図である。 第１実施形態に係る運転評価システムにおける自動運転制御された車両の運転の評価処理の一例を示すシーケンス図である。 第１実施形態に係る車両のハードウェア構成図である。 第１実施形態に係る車載装置における自動運転制御された車両の運転の評価に用いるための情報の収集処理の一例を示すフローチャートである。 第１実施形態に係るサーバのハードウェア構成図である。 第１実施形態に係るサーバの制御部の機能ブロック図である。 第１実施形態に係るサーバにおける乗り心地推定処理の一例を示すフローチャートである。 第１実施形態に係る推定部において、乗客の感じた車両の乗り心地を三通りの推定値に点数化して推定する場合の乗り心地推定処理を説明するための図である。 第１実施形態に係るサーバにおける自動運転制御された車両の運転の評価処理の一例を示すフローチャートである。 第２実施形態に係る車載装置の制御部の機能ブロック図である。 第２実施形態に係る車載装置における乗り心地推定処理の一例を示すフローチャートである。 第２実施形態に係る車載装置における自動運転制御された車両の運転の評価処理の一例を示すフローチャートである。
乗客の感じる車両の乗り心地は、アクセル、ブレーキ、又はハンドルの操作によって生じる加速度の大きさの他に、加速度の時間的な変化に乗客が慣れているかによっても大きく影響されることが知られている。このため、自動運転制御された車両の運転の評価は、実際に乗客が感じた車両の乗り心地に基づいて行われることが好ましい。
しかし、運転手及び乗務員が存在しない自動運転車両では、乗客に車両の乗り心地の評価を依頼することが難しいという課題がある。また、乗客に車両の乗り心地の評価を依頼できたとしても、多忙な乗客が自動運転車両の乗り心地を評価することを煩わしく感じる可能性があり、乗り心地の評価が粗雑に行われて車両の運転の評価精度が低下するおそれがある。
そこで、本発明の一つの実施形態に係る運転評価装置は、自動運転制御された車両に乗車中の乗客の表情又は挙動を表す情報であって例えば車内カメラで撮影した乗客の映像に基づいて、乗客の感じた車両の乗り心地を推定する。そして、運転評価装置は、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価する。
これにより、本発明では、多忙な乗客を煩わすことなく、実際に乗客が感じた車両の乗り心地に基づいて、自動運転制御された車両の運転の評価が自動的かつ適切に行われる。
以下、本発明の好適な実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。
［第１実施形態］
図１は、第１実施形態に係る運転評価システム１の構成の一例を示す図である。本実施形態の運転評価システム１は、車載装置２０と、サーバ３０と、携帯端末４０とを有する。本実施形態のサーバ３０は、運転評価装置の一例である。
図１に示された車両２は、タクシー、バス、ライドシェア等のモビリティサービスを提供する自動運転車両である。車両２には、モビリティサービスを利用する乗客４が乗車中である。車両２は、車載装置２０及び自動運転制御ユニット２１を搭載している。
車載装置２０は、自動運転制御された車両２の運転を評価するための乗客４の表情又は挙動を表す情報として、例えば車内カメラ２１４で撮影した乗客４の映像を収集してサーバ３０に送信する。また、自動運転制御ユニット２１は、車両２の運転を自動制御する。自動運転制御ユニット２１は、自動運転制御の性能及び機能がアップデート可能となるように構成される。
サーバ３０は、車載装置２０から受信した乗客４の表情又は挙動を表す情報に基づいて乗客４の感じた車両２の乗り心地を推定し、乗り心地の推定結果に基づいて、自動運転制御ユニット２１によって自動運転制御された車両２の運転を評価する。
車両２が提供するモビリティサービスを利用しようとする利用客４ｂは、利用客４ｂの携帯する携帯電話機又はタブレットコンピュータ等の携帯端末４０を操作して、サーバ３０に車両２の配車を依頼する。
これら車載装置２０、サーバ３０、及び携帯端末４０は、光通信回線等で構成されるネットワーク５を介して互いに通信可能となっている。サーバ３０は、例えば不図示のゲートウェイ等を介してネットワーク５と接続される。また、車載装置２０及び携帯端末４０は、例えば不図示の無線基地局等を介してネットワーク５と接続される。
図２は、第１実施形態に係る運転評価システム１における自動運転制御された車両２の運転の評価処理の一例を示すシーケンス図である。図２に示されたシーケンス図において、サーバ３０と、車両２及び携帯端末４０との間の通信は、ネットワーク５を介して行われる。
サーバ３０は、モビリティサービスを利用しようとする利用客４ｂの携帯端末４０から、配車の依頼とともに利用客４ｂの現在地及び目的地に関する情報を受信する（ステップＳ２０１）。利用客４ｂの現在地及び目的地の情報は、例えば、施設名、住所、又は経度と緯度の組み合わせにより指定される。
すると、サーバ３０は、利用客４ｂの現在地から一定距離内に存在する車両２を検索し、検索された少なくとも一つの車両２の中から利用可能な車両２を選択して、利用客４ｂの現在地まで移動するように車両２に配車の指示を送信する（ステップＳ２０２）。
なお、車両２がライドシェアサービスを提供する場合は、既に車両２に他の乗客４が乗車している可能性がある。この場合、サーバ３０は、例えば、検索された少なくとも一つの車両２の中から、車両２に既に乗車中の他の乗客４の目的地の方向と利用客４ｂの目的地の方向とが同方向である車両２を選択するようにしてもよい。
サーバ３０から配車の指示を受信すると、車両２の自動運転制御ユニット２１は、配車の指示とともに受信した利用客４ｂの現在地へ車両２を移動させる（ステップＳ２０３）。
配車された車両２に利用客４ｂが乗車すると、車両２の自動運転制御ユニット２１は、利用客４ｂが車両２に乗車したことを例えば車内カメラ２１４で検知してサーバ３０に通知する（ステップＳ２０４）。なお、利用客４ｂが車両２に乗車したことを車両２の自動運転制御ユニット２１が通知する代わりに、利用客４ｂ自身が携帯端末４０を操作して車両２に乗車したことを通知してもよい。
サーバ３０は、利用客４ｂが車両２に乗車したことを受信すると、車両２の現在地から利用客４ｂの目的地までの車両２の走行ルートを生成する。或いは、車両２の例えばカーナビゲーションシステムが、配車の指示とともに受信した利用客４ｂの現在地及び目的地に関する情報に基づいて、走行ルートを作成してもよい。
なお、車両２がライドシェアサービスを提供する場合は、車両２に既に乗車中の他の乗客４の目的地と利用客４ｂの目的地のうち、車両２の現在地から最も近い目的地までの走行ルートが生成される。
サーバ３０は、必要に応じて車両２の自動運転制御ユニット２１に走行ルートを送信し、走行ルートに従って自動運転するように車両２の自動運転制御ユニット２１に対して指示する（ステップＳ２０５）。すると、車両２の自動運転制御ユニット２１は、走行ルートに従って目的地まで車両２の自動運転を開始する（ステップＳ２０６）。
以下、車両２に乗車した利用客４ｂのことを乗客４という。車両２が自動運転制御ユニット２１によって自動運転されている間、車両２の車載装置２０は、車両２に乗車中の乗客４の表情又は挙動を表す情報を定期的に収集する（ステップＳ２０７）。ここで、乗客４の表情又は挙動を表す情報は、例えば、車内カメラ２１４で撮影した乗客４の映像、又は車載マイクロフォンで記録した乗客４の発した音声とすることができる。
また、車載装置２０は、車両２が自動運転されている間、自動運転制御ユニット２１によるアクセル、ブレーキ、又はハンドルの制御によって生じた車両２の加速度を含む車両２の運動状態を示す情報を定期的に収集する（ステップＳ２０８）。車両２の運動状態を示す情報は、車両２の速度又は角速度等の情報を更に含んでもよい。
なお、ステップＳ２０７及びステップＳ２０８において、乗客４の表情又は挙動を表す情報の収集処理と、車両２の運動状態を示す情報の収集処理とは、並行して行われることができる。
次に、車両２の車載装置２０は、収集した乗客４の表情又は挙動を表す情報と車両２の運動状態を示す情報を、サーバ３０に送信する（ステップＳ２０９）。ここで、車載装置２０は、乗客４の表情又は挙動を表す情報と車両２の運動状態を示す情報を収集すると直ぐにサーバ３０へ送信するようにしてもよいし、収集した情報を記憶部等に一旦保持して、後でまとめてサーバ３０へ送信してもよい。
次に、サーバ３０は、受信した車両２の運動状態が所定の運動状態となったときの一以上の乗客４の表情又は挙動を表す情報に基づいて、乗客４の感じた車両２の乗り心地を推定する（ステップＳ２１０）。ここで、車両２の運動状態を示す情報は、例えば、自動運転制御によって生じた車両２の加速度、速度、又は角速度とすることができ、所定の運動状態は、例えば、加速度、速度、又は角速度の絶対値が所定の閾値を超えた状態とすることができる。特に、運動状態を示す情報が加速度の場合、所定の運動状態は、車両２の進行方向又は左右方向の加速度の絶対値が所定の閾値を超えた状態とすることができる。乗客４の表情又は挙動を表す情報に基づいて車両２の乗り心地を推定する具体的な手法については、後で図７を参照しながら説明する。
これにより、自動運転制御ユニット２１の性能差又は機能差が特に表れやすい車両２の運動状態の制御について評価が行われるため、自動運転制御ユニット２１の性能及び機能をアップデートすることが容易となる。
ここで、サーバ３０は、車両２の車載装置２０から情報を受信すると直ぐに乗客４の感じた車両２の乗り心地を推定するようにしてもよいし、受信した情報を記憶部等に一旦保持して、乗客４の感じた車両２の乗り心地を後でまとめて推定してもよい。
また、ステップＳ２０９において、車両２の車載装置２０は、車両２の運動状態が所定の運動状態となったときを含む一定期間に収集された乗客４の表情又は挙動を表す情報のみを、サーバ３０に送信するようにしてもよい。これにより、車載装置２０からサーバ３０へ送信される情報量が低減される。この場合、車両２の車載装置２０は、車両２の運動状態を示す情報をサーバ３０に送信することを省略してもよい。
車両２が目的地に到着すると、車両２の自動運転制御ユニット２１は、乗客４が車両２から降車したことを例えば車内カメラ２１４で検知してサーバ３０に通知する（ステップＳ２１１）。なお、乗客４が車両２から降車したことを車両２の自動運転制御ユニット２１が通知する代わりに、乗客４自身が携帯端末４０を操作して車両２から降車したことを通知してもよい。
サーバ３０は、乗客４が車両２から降車したことを受信すると、推定された乗客４の感じた車両２の乗り心地に基づいて、自動運転制御された車両２の運転を評価する（ステップＳ２１２）。乗客４の感じた車両２の乗り心地に基づいて車両２の運転を評価する具体的な手法については、後で図９を参照しながら説明する。
図３は、第１実施形態に係る車両２のハードウェア構成図である。車両２は、車内ネットワークを介して互いに接続された、車載装置２０、車両制御ユニット２１０、車外カメラ２１１、測距センサ２１２、測位センサ２１３、車内カメラ２１４、加速度センサ２１５、及び車外通信機器２１６を有する。また、車両２は、自動運転制御ユニット２１を更に有する。車内ネットワークは、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）規格に準拠したネットワークとされる。
車載装置２０は、車両２に乗車中の乗客４の表情又は挙動を表す情報を収集してサーバ３０に送信する。車載装置２０は、信号線を介して互いに接続された、制御部２００、記憶部２０１、及び車内通信インターフェース（Ｉ／Ｆ）２０２を有する。
制御部２００は、車載装置２０において制御及び演算を行うコンピュータプログラムを実行する一以上のプロセッサ及びその周辺回路とすることができる。
記憶部２０１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光記録媒体、又は半導体メモリ等の記憶媒体を有し、制御部２００において実行されるコンピュータプログラムを記憶する。また、記憶部２０１は、制御部２００が車内ネットワークを介して車両２の他の車載機器から受信したデータ、又は制御部２００によって生成されたデータ等を記憶する。
車内通信Ｉ／Ｆ２０２は、車載装置２０が車両２の他の車載機器と車内ネットワークを介して通信するための通信Ｉ／Ｆ回路である。
車両制御ユニット２１０は、少なくとも一つの自動運転制御ユニット２１を有し、自動運転制御ユニット２１から出力される制御信号に従って、車両２のアクセル、ブレーキ、及びハンドルを制御する。また、車両制御ユニット２１０は、後述の車外カメラ２１１、測距センサ２１２、測位センサ２１３、加速度センサ２１５から出力される信号を自動運転制御ユニット２１に渡す。
自動運転制御ユニット２１は、車両２の運転を自動制御する。自動運転制御ユニット２１は、例えば、自動運転制御の性能及び機能がアップデート可能となるように構成される。これにより、車両２の提供するモビリティサービスに合わせて自動運転制御ユニット２１の性能及び機能を最適化することが可能となる。なお、自動運転制御ユニット２１の性能及び機能を向上させる必要性が低い用途においては、自動運転制御ユニット２１は、必ずしもアップデート可能に構成されなくてもよい。
車外カメラ２１１は、車両２の周囲の映像を撮影して出力する。車外カメラ２１１によって撮影された映像は、自動運転制御ユニット２１が車両２の運転を自動制御するために利用される。車外カメラ２１１は、車両２の周囲の人又は物体が明瞭に撮影されるように、例えば、撮像面を車外に向けて、車両２のフロントガラスの近くに配置される。
測距センサ２１２は、車両２の前方に存在する物体までの距離を方位ごとに計測して出力する。測距センサ２１２によって計測された距離情報は、同様に自動運転制御ユニット２１が車両２の運転を自動制御するために利用される。測距センサ２１２は、例えば、車両２に設置されたＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）とされる。
測位センサ２１３は、車両２の現在地を示す位置情報を生成して車載装置２０に出力する。測位センサ２１３によって生成された位置情報は、自動運転制御ユニット２１が車両２の運転を自動制御するために利用されるほか、サーバ３０が車両２の現在地を把握できるように、ネットワーク５を介してサーバ３０へ送信される。測位センサ２１３は、例えば、車両２に設置されたカーナビゲーションシステムのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とされる。
車内カメラ２１４は、撮像部及び取得部の一例であり、車両２に乗車中の乗客４の映像を撮影して車載装置２０に出力する。車内カメラ２１４によって撮影された乗客４の映像は、乗客４の感じた車両２の乗り心地を推定するための乗客４の表情又は挙動を表す情報の一例として利用される。車内カメラ２１４は、乗車中の乗客４の表情又は挙動が明瞭に撮影されるように、例えば、乗客４が着座する座席の前方の天井、又は前方座席の後面等に配置される。
加速度センサ２１５は、車両２に発生した加速度を計測して出力する。加速度センサ２１５によって計測された加速度は、自動運転制御ユニット２１が車両２の運転を自動制御するために利用されるほか、車両２の運動状態を示す情報としてネットワーク５を介してサーバ３０へ送信される。加速度センサ２１５が計測する加速度の方向は、車両２の少なくとも一つの所定の空間方向であればよく、例えば、車両２の進行方向、又はハンドル操作により車両２が進行方向を変えたときに乗客４に作用する慣性力の方向とすることができる。
車外通信機器２１６は、無線通信機能を有する車載の端末であり、例えば、車載のナビゲーションシステム、或いは非特許文献１に記載のＤＣＭ（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）とされる。車外通信機器２１６は、例えば、ネットワーク５と不図示のゲートウェイ等を介して接続される不図示の無線基地局にアクセスすることで、無線基地局を介してネットワーク５と接続される。
図４は、第１実施形態に係る車載装置２０における自動運転制御された車両２の運転の評価に用いるための情報の収集処理の一例を示すフローチャートである。制御部２００は、以下のフローチャートに従って、情報収集処理を定期的に実行する。図２のシーケンス図と重複する内容については説明を省略する。
車両２が自動運転制御ユニット２１によって自動運転されている間、制御部２００は、例えば車内カメラ２１４で撮影した乗客４の映像を、車両２に乗車中の乗客４の表情又は挙動を表す情報として取得する（ステップＳ４０１）。また、制御部２００は、例えば加速度センサ２１５で測定した車両２の加速度の情報を、車両２の運動状態を示す情報として取得する（ステップＳ４０２）。
その後、制御部２００は、取得した乗客４の表情又は挙動を表す情報と車両２の運動状態を示す情報を、車外通信機器２１６を介してサーバ３０に送信する（ステップＳ４０３）。
図５は、第１実施形態に係るサーバ３０のハードウェア構成図である。サーバ３０は、制御部３００、記憶部３０１、及び通信Ｉ／Ｆ３０２を有する。また、図６は、第１実施形態に係るサーバ３０の制御部３００の機能ブロック図である。
制御部３００は、サーバ３０において制御及び演算を行うコンピュータプログラムを実行する一以上のプロセッサ及びその周辺回路とすることができる。制御部３００は、推定部３０３、及び評価部３０４を有する。推定部３０３、及び評価部３０４は、例えば、コンピュータプログラムを記載したソフトウェアモジュール又はファームウェアとして実現される。推定部３０３、及び評価部３０４が行う処理については、後で図７及び図９のフローチャートを参照しながら説明する。
記憶部３０１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光記録媒体、又は半導体メモリ等の記憶媒体を有し、制御部３００において実行されるコンピュータプログラムを記憶する。また、記憶部３０１は、制御部３００がネットワーク５を介して受信したデータ、又は制御部３００によって生成されたデータ等を記憶する。また、記憶部３０１は、車両２に関する情報、及び利用客４ｂ（乗客４）に関する情報等を記憶する。
通信Ｉ／Ｆ３０２は、サーバ３０を例えばゲートウェイ等を介してネットワーク５と接続するための通信Ｉ／Ｆ回路である。通信Ｉ／Ｆ３０２は、車載装置２０、及び携帯端末４０とネットワーク５を介して通信可能に構成される。
制御部３００の推定部３０３は、自動運転制御された車両２に乗車中の一以上の乗客４の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客４が示したか否かを判定し、判定結果に応じて乗客４の感じた車両２の乗り心地を推定する。以下、推定部３０３が行う乗り心地推定処理について説明する。
図７は、第１実施形態に係るサーバ３０における乗り心地推定処理の一例を示すフローチャートである。推定部３０３は、以下のフローチャートに従って、乗り心地推定処理を定期的に実行する。図２のシーケンス図と重複する内容については説明を省略する。
車両２が自動運転制御ユニット２１によって自動運転されている間、推定部３０３は、乗客４の表情又は挙動を表す情報と車両２の運動状態を示す情報を、通信Ｉ／Ｆ３０２を介して車両２の車載装置２０から受信する（ステップＳ７０１）。
次に、推定部３０３は、車両２の運動状態が所定の運動状態であったか否かを判定し（ステップＳ７０２）、車両２の運動状態が所定の運動状態でなかった場合は（ステップＳ７０２：Ｎｏ）、乗り心地推定処理を終了する。
一方、車両２の運動状態が所定の運動状態であった場合（ステップＳ７０２：Ｙｅｓ）、推定部３０３は、車両２の運動状態が所定の運動状態となったときの乗客４の表情又は挙動に基づいて、乗客４の感じた車両２の乗り心地を推定する（ステップＳ７０３）。
以下、乗客４の表情又は挙動を表す情報に基づいて車両２の乗り心地を推定する具体的な手法について、いくつかの例を示す。
例えば、推定部３０３は、車内カメラ２１４で撮影した乗客４の映像について映像解析処理を実施し、映像上の乗客４が例えば驚き等の所定の感情を表す表情を示した場合に、乗客４の感じた車両２の乗り心地が否定的であったと推定する。或いは、推定部３０３は、車内カメラ２１４で撮影した乗客４の映像について映像解析処理を実施し、映像上の乗客４が驚きを表す例えばつり革又は手摺りを掴む挙動を示した場合に、乗客４の感じた車両２の乗り心地が否定的であったと推定する。
ここで、所定の感情を表す表情又は挙動を乗客４が示したか否かを、乗客４の映像から判定する映像解析処理の手法としては、例えば機械学習技術が利用できる。具体的には、推定部３０３は、人間の画像が入力されたときに、その人間が驚き等の所定の感情を表す表情又は挙動を示しているか否かを出力するように予め学習させた推定器に、映像の各フレーム画像を入力する。この推定器は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とすることができる。そして、推定部３０３は、推定器から出力される、フレーム画像上の乗客４が所定の感情を表す表情又は挙動を示しているか否かの判定結果に応じて、所定の感情を表す表情又は挙動を乗客４が示したか否かを推定する。
また、推定部３０３は、乗客４の感じた車両２の乗り心地を、否定的であったか否かの二通りで推定する代わりに、乗客４の感じた車両２の乗り心地を、三通り以上の推定値に点数化して推定してもよい。
図８は、第１実施形態に係る推定部３０３において、乗客４の感じた車両２の乗り心地を三通りの推定値に点数化して推定する場合の乗り心地推定処理を説明するための図である。
推定部３０３は、例えば、乗客４の表情及び挙動を表す映像のフレーム画像８０１について映像解析処理を実施する。そして、推定部３０３は、フレーム画像８０１上の乗客４が驚きを表す表情と、更に別の驚きを表す例えばつり革等を掴む挙動の両方を示していると判定したときは、乗客４の感じた車両２の乗り心地を「－２点」（非常に悪い）と推定する。
或いは、推定部３０３は、別のフレーム画像８０２、８０３について映像解析処理を実施し、乗客４が驚きを表す表情と挙動のうちのいずれか一方を示していると判定したときは、乗客４の感じた車両２の乗り心地を「－１点」（悪い）と推定する。また或いは、推定部３０３は、更に別のフレーム画像８０４について映像解析処理を実施し、乗客４が驚きを表す表情と挙動のいずれも示さなかったと判定したときは、乗客４の感じた車両２の乗り心地を「０点」（普通）と推定する。
また、推定部３０３は、車内カメラ２１４で撮影した乗客４の映像を解析して乗客４の肌の色等の変化から乗客４の心拍数を推定し、乗客４の心拍数が所定以上変化した場合に、乗客４の感じた車両２の乗り心地が否定的であったと推定してもよい。
また、車両２がライドシェアサービスを提供する場合、推定部３０３は、車両２に乗車中の複数の乗客４のうちの所定人数以上について同時に車両２の乗り心地が否定的であると推定された場合に、車両２の乗り心地が否定的であったと推定するようにしてもよい。ここで、同時とは、複数の乗客４の表情又は挙動が、車両２の同一の運動状態の変化に反応して表れたことをいう。これにより、例えば一人の乗客４が携帯端末４０でニュース等を見てただ驚いただけのような、一部の乗客４の特殊な表情又は挙動に基づいて車両２の運転の評価が行われることが抑制されるため、自動運転制御された車両２の運転の評価精度が向上する。
制御部３００の評価部３０４は、乗り心地の推定結果に基づいて、自動運転制御された車両２の運転を評価する。以下、評価部３０４が行う車両２の運転の評価処理について説明する。
図９は、第１実施形態に係るサーバ３０における自動運転制御された車両２の運転の評価処理の一例を示すフローチャートである。図２のシーケンス図と重複する内容については説明を省略する。
まず、図７に示した乗り心地推定処理が、推定部３０３によって行われる（ステップＳ９０１）。
次に、評価部３０４は、乗客４が車両２から降車したか否かを判定する（ステップＳ９０２）。乗客４が車両２から降車していない場合（ステップＳ９０２：Ｎｏ）、乗客４が車両２から降車するまで、乗り心地推定処理が推定部３０３によって行われる。
一方、乗客４が車両２から降車した場合（ステップＳ９０２：Ｙｅｓ）、評価部３０４は、乗り心地の推定結果に基づいて、自動運転制御された車両２の運転の評価を行う（ステップＳ９０３）。
評価部３０４は、車両２の乗り心地が否定的であったと推定された回数に応じて、例えば、車両２の乗り心地が否定的であったと推定された回数を所定の初期スコアから減点して、自動運転制御された車両２の運転の評価を算出する。或いは、評価部３０４は、三通り以上に点数化された乗り心地の推定値に応じて、例えば、点数化された乗り心地の推定値の絶対値の合計値を所定の初期スコアから減点して、自動運転制御された車両２の運転の評価を算出する。そして、評価部３０４は、車両２の運転の評価処理を終了する。
評価部３０４によって算出された運転の評価の情報は、記憶部３０１に保存されて、或いは通信Ｉ／Ｆ３０２を介して別のサーバに送信されて、自動運転制御ユニット２１の性能及び機能をアップデートするための評価情報として利用される。
評価部３０４は、アップデート可能に構成された自動運転制御ユニット２１による車両２の運転の評価結果と、自動運転制御ユニット２１の種類又はバージョンに関する情報とを、対応付けて記憶部３０１に記憶するようにしてもよい。これにより、自動運転制御ユニット２１によって自動運転制御された車両２の運転の評価が、自動運転制御ユニット２１の種類又はバージョンごとに行われるため、自動運転制御ユニット２１の性能及び機能をアップデートすることが容易となる。
以上のように、本実施形態のサーバは、自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報を車両から受信する。また、サーバは、受信した乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定する。そして、サーバは、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価する。
これにより、多忙な乗客を煩わすことなく、実際に乗客が感じた車両の乗り心地に基づいて、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とするサーバ、運転評価システム、運転評価方法、及びコンピュータプログラムが提供される。
［第２実施形態］
図１０は、第２実施形態に係る車載装置２０の制御部２００の機能ブロック図である。本実施形態の車載装置２０は運転評価装置の一例であり、車載装置２０の制御部２００は、推定部２０３、及び評価部２０４を有する。これらの推定部２０３、及び評価部２０４は、サーバ３０の推定部３０３、及び評価部３０４と同等の機能を有する。その他については第１実施形態と同じであるため、以下では第１実施形態と異なる点について説明する。
制御部２００の推定部２０３、及び評価部２０４は、例えば、コンピュータプログラムを記載したソフトウェアモジュール又はファームウェアとして実現される。推定部２０３、及び評価部２０４が行う処理については、後で図１１及び図１２のフローチャートを参照しながら説明する。
本実施形態の推定部２０３、及び評価部２０４は、自動運転制御された車両２の運転の評価を、サーバ３０の支援を受けることなく単独で行うことが可能である。これにより、例えばサーバ３０と車載装置２０との間のネットワーク５を介した通信が切断されたような場合であっても、車両２の運転の評価処理が、車載装置２０の推定部２０３、及び評価部２０４によって実施される。
制御部２００の推定部２０３は、自動運転制御された車両２に乗車中の一以上の乗客４の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客４が示したか否かを判定し、判定結果に応じて乗客４の感じた車両２の乗り心地を推定する。以下、推定部２０３が行う乗り心地推定処理について説明する。
図１１は、第２実施形態に係る車載装置２０における乗り心地推定処理の一例を示すフローチャートである。推定部２０３は、以下のフローチャートに従って、乗り心地推定処理を定期的に実行する。ステップＳ１１０１～Ｓ１００２の処理は、図４のステップＳ４０１～Ｓ４０２と同じであるため説明は省略する。
推定部２０３は、車両２の運動状態が所定の運動状態であったか否かを判定し（ステップＳ１１０３）、車両２の運動状態が所定の運動状態でなかった場合は（ステップＳ１１０３：Ｎｏ）、乗り心地推定処理を終了する。
一方、車両２の運動状態が所定の運動状態であった場合（ステップＳ１１０３：Ｙｅｓ）、推定部２０３は、車両２の運動状態が所定の運動状態となったときの乗客４の表情又は挙動に基づいて、乗客４の感じた車両２の乗り心地を推定する（ステップＳ１１０４）。
制御部２００の評価部２０４は、乗り心地の推定結果に基づいて、自動運転制御された車両２の運転を評価する。以下、評価部２０４が行う車両２の運転の評価処理について説明する。
図１２は、第２実施形態に係る車載装置２０における自動運転制御された車両２の運転の評価処理の一例を示すフローチャートである。
まず、図１１に示した乗り心地推定処理が、推定部２０３によって行われる（ステップＳ１２０１）。
次に、評価部２０４は、乗客４が車両２から降車したか否かを判定する（ステップＳ１２０２）。乗客４が車両２から降車していない場合（ステップＳ１２０２：Ｎｏ）、乗客４が車両２から降車するまで、乗り心地推定処理が推定部２０３によって行われる。
一方、乗客４が車両２から降車した場合（ステップＳ１２０２：Ｙｅｓ）、評価部２０４は、乗り心地の推定結果に基づいて、自動運転制御された車両２の運転の評価を行う（ステップＳ１２０３）。そして、評価部２０４は、車両２の運転の評価処理を終了する。
以上のように、本実施形態の車載装置は、自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報を収集する。また、車載装置は、受信した乗客の表情又は挙動を表す情報に基づいて、所定の感情を表す表情又は挙動を乗客が示したか否かを判定し、判定結果に応じて乗客の感じた車両の乗り心地を推定する。そして、車載装置は、乗り心地の推定結果に基づいて、自動運転制御された車両の運転を評価する。
これにより、多忙な乗客を煩わすことなく、実際に乗客が感じた車両の乗り心地に基づいて、自動運転制御された車両の運転の評価を自動的かつ適切に行うことを可能とする車載装置、運転評価方法、及びコンピュータプログラムが提供される。
上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、上述の実施形態の構成は、組み合わせて実施することもできる。例えば、車両２の車載装置２０の推定部２０３及び評価部２０４とサーバ３０の推定部３０３及び評価部３０４とが、協調的に動作して車両２の運転を評価することも可能である。例えば、車載装置２０の推定部２０３が、乗客４の表情又は挙動を表す情報に基づいて乗客４の感じた車両２の乗り心地を推定し、サーバ３０の評価部３０４が、推定された乗り心地に基づいて車両２の運転を評価する構成とすることもできる。
また、道路に飛び出した人又は物体を回避したり、前方車両との衝突を回避したりするために、自動運転制御ユニット２１が、急なアクセル、ブレーキ、又はハンドルの操作を行うこともある。しかし、この結果として車両２の運動状態が所定の運動状態となったとしても、このような自動運転制御は止むを得ないものであって、必ずしも自動運転制御ユニット２１の性能及び機能が低いことを示すものではない。
そこで、推定部は、危険を回避するための自動運転制御が行われた結果として車両２の運動状態が所定の運動状態となった場合の乗客４の表情又は挙動に基づいては、乗客４の感じた車両２の乗り心地を推定しないようにしてもよい。この場合、危険を回避するための自動運転制御が行われたか否かの情報は、自動運転制御ユニット２１からサーバ３０に送信される。これにより、自動運転制御された車両２の運転の評価精度が向上する。
また、他の変形例によれば、推定部は、例えば車載マイクロフォン等の集音部で記録された乗客４の音声について音声認識処理を実施し、音声に所定の感情を表す挙動を示す所定のフレーズが含まれていた場合に、乗り心地が否定的であったと推定してもよい。所定のフレーズは、例えば「危ない」、「びっくりした」等とすることができる。これにより、自動運転制御された車両２の運転の評価精度が向上する。この場合、車載マイクロフォンは、乗車中の乗客４の音声が明瞭に記録されるように、例えば、乗客４が着座する座席の前方の天井、又は前方座席の後面等に配置される。
或いは、より単純に、推定部は、車両２の運動状態が所定の運動状態となったときの音声について所定長のフレームごとにパワーを算出し、音声のパワーが所定の閾値を超えた場合に、乗客４の感じた車両２の乗り心地が否定的であったと推定してもよい。
１ 運転評価システム
２ 車両
４ 乗客
４ｂ 利用客
５ ネットワーク
２０ 車載装置（運転評価装置）
２１ 自動運転制御ユニット
３０ サーバ（運転評価装置）
４０ 携帯端末
２００ 制御部
２０１ 記憶部
２０２ 車内通信Ｉ／Ｆ
２０３ 推定部
２０４ 評価部
２１０ 車両制御ユニット
２１１ 車外カメラ
２１２ 測距センサ
２１３ 測位センサ
２１４ 車内カメラ（撮像部、取得部）
２１５ 加速度センサ
２１６ 車外通信機器
３００ 制御部
３０１ 記憶部
３０２ 通信Ｉ／Ｆ
３０３ 推定部
３０４ 評価部

Claims (12)

  1. 自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報を受信する度に、受信した当該情報に基づいて、所定の感情を表す表情又は挙動を前記乗客が示したか否かを判定し、前記所定の感情を表す表情又は挙動を前記乗客が示したと判定した場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定する推定部と、
    前記車両の乗り心地が否定的であったと推定された回数に応じて、自動運転制御された前記車両の運転を評価する評価部と、
    を有する運転評価装置。
  2. 前記推定部は、前記車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときの前記乗客の表情又は挙動に基づいて、前記乗客の感じた前記車両の乗り心地を推定する、
    請求項１に記載の運転評価装置。
  3. 前記乗客の表情又は挙動を表す情報は、前記車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときに前記車両の撮像部で撮影された前記乗客の映像であり、
    前記推定部は、前記映像上の前記乗客が前記所定の感情を表す表情又は挙動を示したと判定した場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定する、
    請求項１に記載の運転評価装置。
  4. 前記乗客の表情又は挙動を表す情報は、前記車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えたときに前記車両の集音部で記録された前記乗客の音声であり、
    前記推定部は、前記音声に前記所定の感情を表す挙動を示す所定のフレーズが含まれていた場合に、或いは前記音声のパワーが所定の閾値を超えた場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定する、
    請求項１又は３に記載の運転評価装置。
  5. 前記推定部は、前記車両に乗車中の複数の前記乗客のうちの所定人数以上について前記車両の乗り心地が否定的であると推定された場合に、前記車両の乗り心地が否定的であったと推定する、
    請求項１、３又は４に記載の運転評価装置。
  6. 前記推定部は、危険を回避するための自動運転制御が行われた結果として前記車両の加速度、速度、又は角速度の絶対値が所定の閾値を超えた場合の前記乗客の表情又は挙動に基づいては、前記乗客の感じた前記車両の乗り心地を推定しない、
    請求項１から５のいずれか一項に記載の運転評価装置。
  7. 記憶部を更に備え、
    前記評価部は、前記車両に搭載されて前記車両を自動運転制御する自動運転制御ユニットによる前記車両の運転の評価結果と、前記自動運転制御ユニットの種類又はバージョンに関する情報とを、対応付けて前記記憶部に記憶する、
    請求項１から６のいずれか一項に記載の運転評価装置。
  8. 前記運転評価装置は、前記乗客の表情又は挙動を表す情報を取得する取得部を搭載した前記車両からネットワークを介して前記乗客の表情又は挙動を表す情報を受信するサーバとして構成される、
    請求項１から７のいずれか一項に記載の運転評価装置。
  9. 前記運転評価装置は、前記乗客の表情又は挙動を表す情報を取得する取得部とともに前記車両に搭載された車載装置として構成される、
    請求項１から７のいずれか一項に記載の運転評価装置。
  10. ネットワークを介して互いに通信可能に接続されたサーバと車載装置とを有する運転評価システムであって、
    自動運転制御された車両に乗車中の乗客の表情又は挙動を表す情報を取得する取得部から前記乗客の表情又は挙動を表す情報を収集して前記サーバに送信する前記車載装置と、
    前記車載装置から受信した前記乗客の表情又は挙動を表す情報を受信する度に、受信した当該情報に基づいて、所定の感情を表す表情又は挙動を前記乗客が示したか否かを判定し、前記所定の感情を表す表情又は挙動を前記乗客が示したと判定した場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定し、前記車両の乗り心地が否定的であったと推定された回数に応じて、自動運転制御された前記車両の運転を評価する前記サーバと、
    を有する運転評価システム。
  11. 自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報を受信する度に、受信した当該情報に基づいて、所定の感情を表す表情又は挙動を前記乗客が示したか否かを判定し、前記所定の感情を表す表情又は挙動を前記乗客が示したと判定した場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定し、
    前記車両の乗り心地が否定的であったと推定された回数に応じて、自動運転制御された前記車両の運転を評価する、
    運転評価方法。
  12. 自動運転制御された車両に乗車中の一以上の乗客の表情又は挙動を表す情報を受信する度に、受信した当該情報に基づいて、所定の感情を表す表情又は挙動を前記乗客が示したか否かを判定し、前記所定の感情を表す表情又は挙動を前記乗客が示したと判定した場合に、前記乗客の感じた前記車両の乗り心地が否定的であったと推定し、
    前記車両の乗り心地が否定的であったと推定された回数に応じて、自動運転制御された前記車両の運転を評価する、
    ことをコンピュータに実行させるための運転評価用コンピュータプログラム。
JP2018170749A 2018-09-12 2018-09-12 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム Active JP7172321B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018170749A JP7172321B2 (ja) 2018-09-12 2018-09-12 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム
US16/539,675 US11332147B2 (en) 2018-09-12 2019-08-13 Driving evaluation apparatus, driving evaluation system, and driving evaluation method
CN201910854084.8A CN110895738A (zh) 2018-09-12 2019-09-10 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018170749A JP7172321B2 (ja) 2018-09-12 2018-09-12 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020042642A JP2020042642A (ja) 2020-03-19
JP7172321B2 true JP7172321B2 (ja) 2022-11-16

Family

ID=69720503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170749A Active JP7172321B2 (ja) 2018-09-12 2018-09-12 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム

Country Status (3)

Country Link
US (1) US11332147B2 (ja)
JP (1) JP7172321B2 (ja)
CN (1) CN110895738A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112654548B (zh) * 2020-05-09 2022-04-05 华为技术有限公司 一种自适应优化自动驾驶系统的方法及装置
JP7302533B2 (ja) * 2020-05-29 2023-07-04 トヨタ自動車株式会社 サーバ装置、情報処理システム、制御装置、乗合車両、及び情報処理システムの動作方法
CN111861128B (zh) * 2020-06-20 2024-03-22 清华大学 自动驾驶车辆人机协同操纵过程的接管舒适性评价方法、系统及存储介质
JP7371587B2 (ja) * 2020-08-11 2023-10-31 トヨタ自動車株式会社 サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法
JP7375705B2 (ja) * 2020-08-11 2023-11-08 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム
CN112288280A (zh) * 2020-10-30 2021-01-29 大陆投资(中国)有限公司 一种评价提供出行服务的司机的系统及方法
CN112353393B (zh) * 2020-11-09 2022-03-22 清华大学 一种智能驾驶汽车乘员状态检测系统
KR102467013B1 (ko) * 2020-11-24 2022-11-15 주식회사 오비고 자율주행 차량으로부터 획득된 운행 데이터 및 자율주행 차량의 탑승자로부터 획득된 피드백 데이터를 이용하여 자율주행 차량의 자율주행 네트워크를 학습할 수 있도록 지원하는 방법 및 장치
CN113370984A (zh) * 2021-06-30 2021-09-10 中国科学技术大学先进技术研究院 基于多指标的自动驾驶车辆舒适度综合评价方法及系统
CN113581215B (zh) * 2021-09-01 2022-08-05 国汽智控(北京)科技有限公司 车辆的控制方法、装置及车辆
WO2023145173A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 処理方法、処理システム、処理プログラム、マップ生成方法、記憶媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169980A (ja) 2014-03-05 2015-09-28 シャープ株式会社 運転監視装置
JP2016007989A (ja) 2014-06-26 2016-01-18 クラリオン株式会社 車両制御装置及び車両制御方法
US20160264131A1 (en) 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control
JP2017021519A (ja) 2015-07-09 2017-01-26 三菱電機株式会社 運転評価装置およびナビゲーション装置
JP2017136922A (ja) 2016-02-02 2017-08-10 富士通テン株式会社 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法
JP2017211703A (ja) 2016-05-23 2017-11-30 三菱電機株式会社 運転評価装置および運転評価プログラム
JP2018062197A (ja) 2016-10-11 2018-04-19 株式会社デンソー 車両の安全走行システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006008098A (ja) 2004-05-28 2006-01-12 Fujitsu Ten Ltd 座席制御装置
JP2009227075A (ja) 2008-03-21 2009-10-08 Toyota Central R&D Labs Inc 乗員姿勢補助装置、及びプログラム
JP2010247804A (ja) * 2009-04-20 2010-11-04 Aisin Seiki Co Ltd 姿勢制御装置
JP5556523B2 (ja) * 2010-09-13 2014-07-23 トヨタ自動車株式会社 車両の制御装置
JP5662881B2 (ja) * 2011-06-20 2015-02-04 カヤバ工業株式会社 鉄道車両用制振装置
CN103926997A (zh) * 2013-01-11 2014-07-16 北京三星通信技术研究有限公司 一种基于用户的输入确定情绪信息的方法和终端
JP6311543B2 (ja) * 2014-09-05 2018-04-18 株式会社デンソー 車両用緊急通報装置
JP6213489B2 (ja) * 2015-01-29 2017-10-18 マツダ株式会社 車両用乗員感情対応制御装置
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
JP6358197B2 (ja) 2015-08-31 2018-07-18 マツダ株式会社 運転支援制御装置
JP6418217B2 (ja) * 2015-12-18 2018-11-07 トヨタ自動車株式会社 通信システムで実行される情報集約方法
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN107609458A (zh) * 2016-07-20 2018-01-19 平安科技（深圳）有限公司 基于人脸表情识别的情绪反馈方法及装置
KR101891612B1 (ko) * 2016-09-30 2018-08-24 엘지전자 주식회사 자율 주행 차량
US11204606B2 (en) * 2016-10-18 2021-12-21 Honda Motor Co., Ltd. Vehicle control device
JP6671577B2 (ja) * 2016-11-07 2020-03-25 Ｇｒｏｏｖｅ Ｘ株式会社 人を識別する自律行動型ロボット
JP6575932B2 (ja) * 2017-03-29 2019-09-18 マツダ株式会社 車両運転支援システム
JP6555647B2 (ja) * 2017-03-30 2019-08-07 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP6628441B2 (ja) * 2017-05-16 2020-01-08 みこらった株式会社 自動車及び自動車用プログラム
US20190064800A1 (en) * 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities
CN107856672B (zh) * 2017-09-22 2019-07-26 上海工程技术大学 一种驾驶员乘坐舒适性定量评价方法
CN107608270A (zh) * 2017-09-30 2018-01-19 北京奇虎科技有限公司 汽车性能的分析方法及装置
CN108248608B (zh) * 2017-12-28 2019-09-17 北京百度网讯科技有限公司 用于评估驾驶系统的舒适度的方法和装置
EP3779921A4 (en) * 2018-03-30 2021-04-28 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, MOBILE DEVICE, PROCESS AND PROGRAM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169980A (ja) 2014-03-05 2015-09-28 シャープ株式会社 運転監視装置
JP2016007989A (ja) 2014-06-26 2016-01-18 クラリオン株式会社 車両制御装置及び車両制御方法
US20160264131A1 (en) 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control
JP2017021519A (ja) 2015-07-09 2017-01-26 三菱電機株式会社 運転評価装置およびナビゲーション装置
JP2017136922A (ja) 2016-02-02 2017-08-10 富士通テン株式会社 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法
JP2017211703A (ja) 2016-05-23 2017-11-30 三菱電機株式会社 運転評価装置および運転評価プログラム
JP2018062197A (ja) 2016-10-11 2018-04-19 株式会社デンソー 車両の安全走行システム

Also Published As

Publication number Publication date
JP2020042642A (ja) 2020-03-19
US20200079383A1 (en) 2020-03-12
CN110895738A (zh) 2020-03-20
US11332147B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
JP7172321B2 (ja) 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム
JP6962280B2 (ja) 車両制御方法、車両制御システム、及び車両制御装置
JP6520506B2 (ja) 車両の走行制御システム
WO2016035268A1 (ja) 車両の走行制御システム
CN107886045B (zh) 设施满意度计算装置
JP6827197B2 (ja) 情報推定システム及び情報推定方法
JP2017024653A (ja) 乗員情報取得装置及び車両制御システム
JP2018060192A (ja) 発話装置およびコミュニケーション装置
US20170270916A1 (en) Voice interface for a vehicle
JP2020052471A (ja) 乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラム
CN111047891B (zh) 驾驶辅助装置、车辆、驾驶辅助系统、驾驶辅助方法及存储介质
CN111261154A (zh) 智能体装置、智能体提示方法及存储介质
US20230054224A1 (en) Information processing device, information processing method, and non-transitory computer readable storage medium
JP6619316B2 (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
JP2022048769A (ja) 開放型車両
JP7331792B2 (ja) 情報処理装置、情報処理システム、プログラム、及び車両
KR102293589B1 (ko) 차량 탑재용 정보 처리 장치, 차량간 정보 처리 시스템 및 정보 처리 시스템
JP7077895B2 (ja) 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム
JP2021113041A (ja) 自動運転支援装置
US20230131693A1 (en) Motion sickness reduction system and information processor for motion sickness reduction
US20230316826A1 (en) Information processing apparatus, computer-readable storage medium, and information processing method
JP6739017B1 (ja) 観光支援装置、該装置が搭載されたロボット、観光支援システム、及び観光支援方法
JP7302533B2 (ja) サーバ装置、情報処理システム、制御装置、乗合車両、及び情報処理システムの動作方法
JP2022152450A (ja) 経路案内装置、経路探索方法、経路探索プログラム及び記録媒体
WO2020250645A1 (ja) 車載通信装置、車両遠隔操作システム、通信方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220818

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220826

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R151 Written notification of patent or utility model registration

Ref document number: 7172321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151