JP6723494B1 - 情報提示装置、情報提示方法、及び、情報提示プログラム - Google Patents

情報提示装置、情報提示方法、及び、情報提示プログラム Download PDF

Info

Publication number
JP6723494B1
JP6723494B1 JP2020509533A JP2020509533A JP6723494B1 JP 6723494 B1 JP6723494 B1 JP 6723494B1 JP 2020509533 A JP2020509533 A JP 2020509533A JP 2020509533 A JP2020509533 A JP 2020509533A JP 6723494 B1 JP6723494 B1 JP 6723494B1
Authority
JP
Japan
Prior art keywords
information
stimulus
driver
steering wheel
grip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2020509533A
Other languages
English (en)
Other versions
JPWO2021048946A1 (ja
Inventor
貴士 太田
貴士 太田
道学 吉田
道学 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6723494B1 publication Critical patent/JP6723494B1/ja
Publication of JPWO2021048946A1 publication Critical patent/JPWO2021048946A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/027Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems between relatively movable parts of the vehicle, e.g. between steering wheel and column
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/046Adaptations on rotatable parts of the steering wheel for accommodation of switches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/06Rims, e.g. with heating means; Rim covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報提示装置(103)は、移動体(100)運転手とステアリングホイール(200)との接触状態に関する把持検出情報と、ステアリングホイール(200)と手掌等との接触パターンを示すパターン情報とに基づいて、運転手がステアリングホイール(200)を把持している手掌等の部位を判別し、手掌等の部位の情報を含む把持情報を生成する把持検出部(340)と、移動体(100)が移動体(100)の周囲に位置する障害物と接触する可能性がある場合に、障害物を回避するよう運転手を誘導する刺激情報を把持情報に基づいて生成する刺激生成部(350)とを備える。

Description

本発明は、情報提示装置、情報提示方法、及び、情報提示プログラムに関する。
近年、安全意識の高まりにより、衝突回避システム、接近警告システム等の運転支援機能を搭載した自動車が一般的になってきている。これらのシステムは、主に音により運転手に情報を伝達する。音により情報を伝達する場合、音の強弱、鳴動パターン等により危険の深刻度を運転手に伝達することができるが、どの方向にどのような危険があるか等の情報を伝達することができない。また、音による不用意な警告は、かえって運転手の混乱、緊張等を招く原因となることがある。
音に代わり、インストルメントパネルに警告灯を設置することにより視覚情報を提示する手法もある。しかし、この手法を採用する場合、運転手は情報を確認するために視線を前方から外す必要があるため、運転手の前方に対する注意の欠如を招く。
特許文献1では、情報を提示する手段としてステアリングホイールに触提示装置を実装することにより、車両運転時に車両周囲の環境情報を触覚により運転手に提示する技術が示唆されている。
特許文献1には、対象物が自車両に接近している場合に、対象物の方向、自車両の進行すべき方向等の方向に関する情報を、ステアリングホイール円周上に設置された触覚提示装置がステアリングホイールの振動等、特定パターンの刺激を発生させることにより、運転手に提示する技術が開示されている。
特開2010−018204号公報
しかしながら、特許文献1の技術では、
把持領域に基づいて把持腕が左右どちらであるかを判定し、
運転手は、対象物の方向等の情報を受け取るために、左右の手それぞれにより、ステアリングホイールの指定された位置を把持する必要がある。
そのため、右左折をする際に左右の手の把持領域を入れ替えた場合、又は、把持方法に運転手固有の癖がある場合等において、把持腕の左右の判定結果が反転すること、又は、運転手がステアリングホイールを把持していることを認識できないこと等があるため、これらの場合に、触覚提示装置が運転手に提示する刺激に対応する刺激情報を適切に生成することができないことがある。
従って、特許文献1の技術には、運転手がステアリングホイールの限定された領域を定められた腕により把持していない限り、運転手に対して情報を伝達する刺激情報を適切に生成することができないという課題がある。
本発明は、ステアリングホイールに実装された触提示装置が利用することができる刺激情報であって、運転手がステアリングホイールを把持している領域と腕とによらず、運転手に情報を伝達する刺激情報を適切に生成することを目的とする。
本発明の情報提示装置は、
刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置において、
前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信し、
人間が前記ステアリングホイールを把持しているときの、前記ステアリングホイールと手掌等との接触パターンを示すパターン情報を記憶しているパターンデータベースから前記パターン情報を受信し、
前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別し、前記手掌等の部位の情報を含む把持情報を生成する把持検出部と、
前記移動体が前記移動体の周囲に位置する障害物と接触する可能性がある場合に、前記手掌等を刺激することにより前記障害物を回避するよう前記運転手を誘導する前記刺激情報を前記把持情報に基づいて生成する刺激生成部と
を備える。
本発明の情報提示装置によれば、
把持検出部が、ステアリングホイールが備える把持検出センサから受信した把持検出情報と、パターンデータベースから受信したパターン情報とに基づいて把持情報を生成し、
刺激生成部が、把持情報に基づいて刺激情報を生成することにより、
ステアリングホイールに実装された触提示装置が利用することができる刺激情報であって、運転手がステアリングホイールを把持している領域と腕とによらず、運転手に情報を適切に伝達する刺激情報を生成することができる。
実施の形態1及び2に係る情報提示装置103を備える移動体100の構成図。 移動体100が備えるステアリングホイール200の構成図であり、(a)はステアリングホイール200の正面図、(b)は(a)に示すA−A断面図。 環境検出センサ101の移動体100への搭載例。 実施の形態1に係る情報提示装置103の構成図。 実施の形態1に係る刺激生成部350の構成図。 実施の形態1に係る情報提示装置103のハードウェア構成図。 実施の形態1に係る情報提示装置103の動作を示すフローチャート。 パターン情報の例を示す図であり、(a)は運転手の手掌等における強度分布、(b)はステアリングホイール200における強度分布、(c)は(b)に示すステアリングホイール200の展開のイメージ。 把持検出処理における把持検出部340の入出力データを示す図。 実施の形態1に係る把持検出部340の動作を示すフローチャート。 実施の形態1に係る刺激生成部350が生成する刺激情報の例を示す図であり、(a)は右回転パターンを説明するグラフ、(b)は左回転パターンを説明するグラフ、(c)は刺激位置を示す図。 実施の形態1に係る刺激生成部350の動作を示すフローチャート。 移動体100が車線をはみ出し、移動体100と他車とが接触することが予想される場合のイメージ。 移動体100が車線変更を行い、移動体100と他車とが接触することが予想される場合のイメージ。 実施の形態1に係る変形例の動作を示すフローチャート。 実施の形態2に係る情報提示装置103の構成図。 実施の形態2に係る情報提示装置103の動作を示すフローチャート。 実施の形態2に係る刺激生成部360が生成する刺激情報を説明する図であり、(a)は移動体100の周囲の方位を示す図、(b)は右手と方位の対応を示す図、(c)は左手と方位の対応を示す図。 実施の形態2に係る刺激生成部360が生成する刺激情報を示す図であり、(a)は移動体100の周囲の方位を示す図、(b)は右手と方位の対応を示す図。 実施の形態2に係る刺激生成部360が生成する刺激情報の例を示す図であり、(a)は刺激パターン1を説明するグラフ、(b)は刺激パターン2を説明するグラフ、(c)は刺激位置を示す図。 運転手の死角に位置する障害物が移動体100に接近しているイメージを表す図。 運転手の死角に位置する障害物が移動体100に接近しているイメージを表す図。
実施の形態1.
以下、本実施の形態について、図面を参照しながら詳細に説明する。
***構成の説明***
図1は、本実施の形態に係る情報提示装置103を搭載している移動体100の構成例を示す図である。
本図に示すように、移動体100は、環境検出センサ101と、状態検出センサ102と、情報提示装置103と、ステアリングホイール200とを搭載している。
移動体100は、典型的には車両であるが、船、飛行機等、移動時に人間が方向を制御する必要がある任意の物体であって良い。
図2は、ステアリングホイール200の構成例を示す図である。
本図の左側にステアリングホイール200の典型例を示し、右側にステアリングホイール200のBA断面における断面図を示す。
本図に示すように、ステアリングホイール200は、触覚提示装置201と、把持検出センサ202とを有する。
ステアリングホイール200の形状は、典型的には楕円形状であるが、異なる形状であっても良い。
ステアリングホイール200の通常把持部の表面は、運転手が通常把持部のどの部位を把持した場合であっても、手掌等のいずれかの部位が触覚提示装置201に接触するよう、触覚提示装置201により覆われている。
通常把持部は、
ステアリングホイール200の内、運転手が移動体100の方向制御時に、通常、把持する部分のことであり、
ステアリングホイール200が楕円形状である場合、ステアリングホイール200の外周部分である。
移動体100の方向制御には、移動体100が正面方向に移動することを維持することが含まれる。
触覚提示装置201は、運転手の手掌等に刺激を与えることにより、手掌等の触覚を介して運転手に情報を伝える装置である。
触覚提示装置201は、具体例として、電極を用いて運転手に電気刺激を与える。本例において、触覚提示装置201は、典型的には、触覚提示処理部(図示せず)からの信号に対応する箇所の電極を用いて電気刺激を手掌等に出力することにより、障害物を回避するよう運転手を誘導する。この際、触覚提示装置201は、電気刺激の強度と、刺激位置とを調整する。なお、触覚提示装置201は、実施の形態2において、運転手に障害物の位置と脅威とを伝達する。
触覚提示装置201は、超音波により手掌等に触覚刺激を与えるものであっても良く、一部が物理的に可動することにより手掌等の特定の位置を刺激するデバイスを内蔵するものであっても良く、他の手法により手掌等に触覚刺激を与えるものであっても良く、複数種類の刺激を手掌等に与えるものであっても良い。
環境検出センサ101は、
移動体100の周辺の環境を示す環境情報を検出し、
障害物と、歩行者と、車両と等を検知するためのセンサ群であり、
複数種類のセンサから構成されて良い。
環境情報は、具体例として、移動体100と移動体100の周囲に存在する物体との距離情報と、移動体100の周囲の画像情報とを含む。
環境検出センサ101を構成するセンサの個数は、任意であって良い。
環境検出センサ101を構成するセンサは、
周囲の情報を取得できる任意のセンサであって良く、
具体例として、LiDAR(Light Detection And Ranging)、ミリ波レーダー、ソナー等の対象物までの距離を計測するセンサ、カメラ等の周辺環境を画像として取得するセンサ等である。
図3は、環境検出センサ101の移動体100への搭載例を示す図である。
本図において、4つの環境検出センサ101が移動体100の前と、後と、4隅とに取り付けられおり、これらの環境検出センサ101が移動体100の周辺の情報を取得している様子を円の一部により表している。
状態検出センサ102は、
移動体100の状態を示す移動体情報を検出し、
移動体100の速度、加速度、及び/又は、操舵角等の、移動体100の状態を取得するためのセンサ群であり、
複数種類のセンサから構成されて良い。
状態検出センサ102を構成するセンサの個数は、任意であって良い。
移動体情報は、具体例として、移動体100の速度と加速度と旋回速度と操舵角とを含む。
状態検出センサ102を構成するセンサは、具体例として、GPS(Global Positioning System)、INS(登録商標、Internal Navigation System)等の移動体100の運動状態を取得することができるセンサ、ロータリーエンコーダ等の移動体100への入力を検出するセンサである。
状態検出センサ102が取得した情報は、情報提示装置103による移動体100の軌道予測に用いられる。
情報提示装置103は、
環境検出センサ101と、状態検出センサ102との情報を制御し、触覚提示装置201に送る情報を決定し、
環境検出センサ101と、状態検出センサ102とから取得した情報を、内部モジュールを用いて処理することにより、適切な触覚情報を生成する。
図4は、本実施の形態に係る情報提示装置103の構成例を示す図である。
本図に示すように、情報提示装置103は、障害物検出部300と、軌道予測部310と、危険判定部320と、軌道算出部330と、把持検出部340と、刺激生成部350と、通信部(インタフェイス)380と、記録部390とから構成される。なお、記録部390は本図に示していない。
障害物検出部300は、
環境検出センサ101からのデータに基づいて移動体100の周辺の障害物を検出し、
典型的には、検出した障害物までの距離と、移動体100の進行方向と障害物とが成す角度と、障害物のサイズとから成る障害物情報を算出する。障害物検出部300は、障害物の形状等、他の障害物に関する情報を障害物情報に含めても良い。
障害物検出部300は、複数の障害物を検出した場合、障害物毎に障害物情報を算出する。
軌道予測部310は、状態検出センサ102から取得した移動体情報に基づいて移動体100の予測軌道を算出する。
危険判定部320は、
典型的には、障害物検出部300が算出した障害物情報と、軌道予測部310が算出した移動体100の予測軌道とに基づき、移動体100が障害物と接触する可能性があるか否かを判定する。
危険判定部320は、障害物が複数ある場合、障害物毎に上記の処理を実行する。
軌道算出部330は、
危険判定部320が移動体100と接触する可能性があると判定した障害物を回避する軌道を算出し、
算出した軌道を通るために必要な速度と操舵角とを算出する。
軌道算出部330は、危険度が高い障害物が複数ある場合、危険度が高い障害物全ての障害物を回避する軌道等を算出する。
把持検出部340は、典型的には、
記録部390が記録している把持検出情報であって、運転手とステアリングホイール200との接触状態に関する把持検出情報と、パターンDB(データベース)501が記憶しているパターン情報とに基づいて把持情報を生成し、
生成した把持情報を、記録部390に記録する。
把持情報は、
運転手がステアリングホイール200を把持している手掌等の部位の情報を含み、
典型的には、把持領域と、把持腕と、把持指とを含む情報であり、
把持腕が左右両腕である場合、それぞれの腕について、把持領域と、把持指との情報を含む。
把持領域は、運転手がステアリングホイール200を把持しているときに運転手の1の腕先とステアリングホイール200とが接触している領域であって、ステアリングホイール200上の領域のことである。
手掌等は、手掌と、指と等、運転手がステアリングホイール200を把持した際に、運転手とステアリングホイール200とが、通常、接触することがある部分のことである。
把持腕は、ステアリングホイール200を把持している1の腕のことである。
把持指は、ステアリングホイール200を把持している1の腕先にある少なくとも1の指のことである。
パターンDB501は、パターン情報を記憶しているデータベースである。
パターン情報は、
人間がステアリングホイール200を把持しているときの、手掌等とステアリングホイール200との接触パターンを示す情報であり、
人間がステアリングホイール200を把持しているときの、手の位置と、把持検出センサ202の出力との関係を表す情報であり、
把持検出部340が、把持腕と把持指とを判別する際に必要な情報である。
パターン情報の形式は、任意であって良い。
パターン情報は、具体例として、
運転手がステアリングホイール200を把持しているときに発生する手掌等の各部位における圧力又は静電容量の閾値と、各部位の位置関係と、部位の大きさと等の、運転手が手掌等をステアリングホイール200に置いているときに取得することができる特徴を含む情報であり、
ステアリングホイール200を把持しているそれぞれの手について、手の部位の位置関係と、圧力又は静電容量との関係に関する情報である。
パターン情報は、圧力又は静電容量の分布を示す情報であっても良い。
把持検出部340は、典型的には、パターン情報を比較対象として用いる。
刺激生成部350は、典型的には、記録部390が記録している制御情報に従うよう運転手を誘導する刺激情報を生成する。
刺激情報は、触覚提示装置201が運転手に与える刺激の情報であり、典型的には、刺激位置と刺激パターンとを含む。
刺激位置は、触覚提示装置201上の位置であって、触覚提示装置201が運転手の手掌等を刺激する位置である。
刺激パターンは、具体例として、触覚提示装置201が運転手の手掌等を刺激する部位、刺激する部位に関する順序、タイミング等から成る。
図5は、刺激生成部350の構成例を示す図である。
刺激生成部350は、本図に示すように、位置調整部351と、パターン生成部352と、位置決定部353とから成る。
通信部380は、情報提示装置103が外部の機器と通信するためのインタフェイスである。通信部380の通信方法は、有線と無線とを問わない。
記録部390は、情報提示装置103の各部の処理において必要な情報を記録している。情報提示装置103の記録部390以外の各部は、記録部390に情報を記録することができる。
把持検出センサ202は、
運転手がステアリングホイール200を把持していることを検出するセンサであり、
圧力センサであっても良く、静電容量式のセンサであっても良く、他のセンサであっても良い。
把持検出センサ202が圧力センサである場合、運転手がステアリングホイール200を把持することにより、運転手の手掌等とステアリングホイール200との接触部分に圧力が発生するため、把持検出センサ202は、把持領域の接触強度を検出することができる。
把持検出センサ202が静電容量式のセンサである場合、運転手がステアリングホイール200を把持する際に、手掌等とステアリングホイール200との隙間の差異によって静電容量が変化するため、把持検出センサ202は、把持領域を検出することができる。
把持検出センサ202は、複数種類のセンサを組み合わせたものであっても良い。
図6は、情報提示装置103のハードウェア構成例を示す図である。
本図に示すように、情報提示装置103は、プロセッサ10と、メモリ11と、記憶装置12と、通信IF13とから構成される。
情報提示装置103として用いられる装置は、具体例として、ECU(Electric Control Unit)である。
プロセッサ10は、
情報提示プログラムと、OS(Operating System)19と等を実行するプロセッシング装置であり、
メモリ11と接続されており、演算に必要なデータの一時記憶、及び/又は、データの保存を行い、メモリ11に格納されたプログラムを読み出して実行する。
プロセッシング装置は、
IC(Integrated Circuit)と呼ばれることもあり、
具体例として、CPU(Central Prosessing Unit)である。
情報提示装置103は、プロセッサ10を代替する複数のプロセッサを備えていても良い。これら複数のプロセッサは、プログラムの各機能を分担して実行する。それぞれのプロセッサは、具体例として、CPUである。
メモリ11は、プログラムの処理途中のデータを一時的に記憶するストレージであり、具体例として、RAM(Randam Access Memory)、フラッシュメモリ、又は、これらを組み合わせたものである。
記録部390は、メモリ11から構成される。
記憶装置12は、
情報提示プログラムと、プロセッサ10によって実行される各プログラムと、SW16と、各プログラムの実行時に使用されるデータと等を記憶し、
具体例として、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)である。
通信IF13は、
情報提示装置103が使用するデータを受信するレシーバと、情報提示装置103が出力するデータを送信するトランスミッタとを備え、
プロセッサ10からの指示に従って環境検出センサ101及び/又は状態検出センサ102が出力するデータを受信し、触覚提示装置201にデータを送信し、
具体例として、Ethernet(登録商標)、又は、CAN(Controller Area Network)である。
通信部380は、通信IFから構成される。
なお、通信IF13は、複数のポートであっても良い。
SW16は、本実施の形態のソフトウェア構成を示し、障害物検出部300と、軌道予測部310と、危険判定部320と、軌道算出部330と、把持検出部340と、刺激生成部350と、OS19とから構成される。
OS19は、プロセッサ10によって記憶装置12からロードされ、メモリ11に展開され、プロセッサ10によって実行される。
情報提示プログラムは、メモリ11からプロセッサ10に読み込まれ、プロセッサ10によって実行される。
情報提示装置103の機能は、情報提示プログラムによって実現される。
情報提示プログラムが扱うデータ等は、メモリ11、記憶装置12、又は、プロセッサ10内のレジスタ又はキャッシュメモリに記憶される。
通信IF13が取得するデータと、情報提示プログラムの算出結果とは、典型的には、メモリ11に記憶される。メモリ11及び記憶装置12に記憶されたデータ等は、プロセッサ10からの要求に応じて入出力される。
情報提示プログラムは、コンピュータ読取可能な媒体に記録されて提供されても良く、記憶媒体に格納されて提供されても良く、プログラムプロダクトとして提供されても良い。
OS19と、SW16とは、メモリ11に記憶されていても良い。
記録部390は、記憶装置12から構成されても良く、メモリ11と記憶装置12とから構成されても良い。
***動作の説明***
情報提示装置103の動作手順は、情報提示方法に相当する。また、情報提示装置103の動作を実現するプログラムは、情報提示プログラムに相当する。
情報提示装置103は、障害物を回避するよう運転手を誘導する情報を、運転手の触覚を介して運転手に伝達する。
本実施の形態において、典型的には、移動体100が稼働している間、
環境検出センサ101は、環境情報を常時検出しており、
状態検出センサ102は、移動体情報を常時検出している。
図7は、情報提示装置103の動作を示すフローチャートの例である。情報提示装置103は、本図に示す処理の順序を適宜変更して良く、一部の処理を並行して実行しても良い。
(ステップS101:環境検出処理)
障害物検出部300は、
環境検出センサ101が検出した移動体100の周囲の環境情報を、通信部380を介して取得し、
取得した環境情報を記録部390に記録する。
(ステップS102:状態検出処理)
軌道予測部310は、
状態検出センサ102が検出した移動体情報を、通信部380を介して取得し、
取得した移動体情報を記録部390に記録する。
(ステップS103:障害物検出処理)
障害物検出部300は、
記録部390が記録している環境情報に基づいて障害物を検出し、
障害物検出部300は、少なくとも1の障害物を検出した場合、障害物の情報を障害物情報として記録部390に記録する。
障害物検出部300が障害物を検出する手法は、任意であって良い。
障害物検出部300は、具体例として、
カメラが取得した画像を画像処理することにより障害物領域を検出し、
LiDAR及び/又はミリ波レーダー等が取得した情報に基づいて、移動体100と検出した障害物領域との距離を算出し、
障害物領域と、算出した距離とに基づいて、移動体100と、障害物領域の障害物とが接触する可能性があるか否かを判定する。
危険判定部320は、記録部390が記録している障害物情報に基づいて、移動体100と、検出した障害物とが接触する可能性があるか否かを判定する。
危険判定部320は、障害物情報に複数の障害物が含まれている場合、移動体100と、それぞれの障害物とが接触する可能性があるか否かを判定する。
情報提示装置103は、
危険判定部320が、移動体100と、検出した障害物の内少なくとも1つとが接触する可能性があると判定した場合、ステップS104に進み、
それ以外の場合、ステップS101に進む。
(ステップS104:軌道予測処理)
軌道予測部310は、
記録部390が記録している移動体情報に基づいて、移動体100の軌道を予測し、
予測した軌道を軌道予測情報として記録部390に格納する。
軌道予測部310は、具体例として、
ジャイロセンサが取得した情報に基づいて移動体100の旋回速度を算出し、
加速度センサ及び/又は車輪速センサが取得した情報に基づいて移動体100の走行速度を算出し、
旋回速度と、走行速度とに基づいて移動体100の軌道を予測する。
(ステップS105:回避軌道算出処理)
軌道算出部330は、
記録部390が記録している障害物情報と軌道予測情報とに基づいて、障害物を回避することができる回避起動を算出し、
回避軌道を通るために必要な制御情報とを算出し、
算出した回避情報と制御情報とを記録部390に格納する。
制御情報は、具体例として、回避軌道を通るために必要な操舵角の情報である。
(ステップS106:把持検出処理)
把持検出部340は、
把持検出センサ202から把持検出情報を取得し、
取得した把持検出情報を記録部390に格納し、
取得した把持検出情報と、パターンDB501が記憶しているパターン情報とに基づいて把持情報を生成し、
生成した把持情報を記録部390に記録する。
(ステップS107:刺激生成処理)
刺激生成部350は、
記録部390が記録している把持情報と制御情報とに基づいて刺激情報を生成し、
生成した刺激情報を記録部390に記録する。
刺激生成部350は、具体例として、制御情報が示す方向にステアリングを回転するよう運転手を誘導する刺激情報を生成する。
(ステップS108:送信処理)
刺激生成部350は、記録部390が記録している刺激情報を、通信部380を介して触覚提示装置201に送信する。
触覚提示装置201は、受信した刺激情報に基づいて運転手の手掌等を刺激することにより、運転手に情報を提示する。
***把持検出処理の動作の説明***
図8は、パターン情報の例を説明する図である。
本図の左上に示す図は、人が棒状の物体を把持しているときの、圧力の分布の例と、静電容量の分布の例とを示す図である。
人が棒状の物体を把持しているとき、通常、手掌等と棒状の物体との間における圧力と静電容量とは、本図に示すように、第1手指の付け根の母指球と、第5手指付け根の小指球と、第1手指から第5手指までの各指先と等において高くなる。
本図の右側に示す図は、運転手がステアリングホイール200を把持しているときの、把持領域周辺の圧力分布の例を示す図である。右下に示す図は、展開のイメージに示すように把持領域周辺の表面部分を展開した図であり、把持領域周辺の圧力分布の例を示す図である。
パターンDB501は、具体例として、本図に示す圧力分布と手の部位とを結びつけた情報をパターン情報として記録している。
把持検出部340は、具体例として、このようなパターン情報と、把持検出情報とを比較することにより、把持腕と、把持指とを判別する。
図9は、把持検出処理における把持検出部340の入出力データを示す図である。
本図に示すように、把持検出部340は、把持検出処理において、
把持検出情報と、パターン情報とを受信し、
把持情報を記録部390に出力する。
図10は、把持検出部340の把持検出処理における動作を示すフローチャートの例である。把持検出部340は、本図に示す処理の順序を適宜変更しても良い。
(ステップS201:情報取得処理)
把持検出部340は、
把持検出部340が把持検出センサ202から把持検出情報を取得した場合に、取得した把持検出情報を記録部390に記録し、ステップS202に進み、
それ以外の場合、本ステップの処理を続ける。
(ステップS202:特定処理)
把持検出部340は、
記録部390が記録している把持検出情報に基づいて把持領域を特定し、
特定した把持領域を記録部390に記録する。
把持検出部340は、把持領域が複数ある場合、それぞれの把持領域を特定する。
(ステップS203:判別処理)
把持検出部340は、
パターンDB501からパターン情報を読み出し、
記録部390が記録している把持検出情報と、パターン情報とを比較することにより、把持領域毎に、把持腕と把持指とを判別し、
判別した把持腕と把持指とを、把持領域と対応させて記録部390に記録する。
把持検出部340は、把持腕と把持指とを判別する手法として任意の手法を採用して良く、具体例として、テンプレートマッチング、又は、機械学習に基づく手法を採用する。
把持検出部340は、具体例として、母指球と、第1手指と等の運転手が物体を把持する際に確実に接触する部位を規準とし、これらの部位からの距離、位置関係、及び/又は、出力の強度の閾値等と、パターン情報とを比較することによって、把持腕と把持指とを判別する。
***刺激生成処理の動作の説明***
ステップS107に示す刺激生成処理を説明する。
刺激生成部350は、具体例として、仮現運動という現象が発生するような刺激に対応する刺激情報を生成する。本例における刺激情報の刺激は、一定時間おきに刺激位置を順次変更することにより、あたかも把持領域が動いているかのように運転手に錯覚させるものである。本例において、触覚提示装置201は、刺激情報に基づいてステアリングホイール200を左回転又は右回転するよう運転手を誘導する。
以下、本例における刺激情報について具体的に説明する。
図11は、刺激情報の例を示す図である。
本図において、
p11からp18は、刺激情報の刺激位置を表しており、
右回転パターンは、ステアリングホイール200を右回転するよう運転手を誘導する場合における、時刻と、刺激力と、刺激位置との関係を表した図であり、
左回転パターンは、右回転パターンにおける右回転を左回転に読み替えることを除いて右回転パターンと同様である。
刺激力は、刺激の強度のことである。
刺激生成部350は、ステアリングホイール200を右回転するよう運転手を誘導する場合、右回転パターンに示す刺激情報を生成する、即ち、一定時間おきに刺激位置を順に変えながら手掌等に刺激を与えることに対応する刺激情報を生成する。
触覚提示装置201は、右回転パターンに示す刺激情報に基づいて手掌等を刺激する場合、時刻t1においてp11に刺激力Faの刺激を与え、時刻t2においてp12に刺激力Faの刺激を与えるというように順に刺激を与えることにより、右回転の仮現運動を生じさせる。
刺激生成部350は、ステアリングホイール200を左回転するよう運転手を誘導する場合、左回転パターンに示す刺激情報を生成する。
なお、刺激生成部350は、運転手が左手又は右手のみでステアリングホイール200を把持している場合、把持している手のみを刺激する刺激情報を、両手を刺激する刺激情報と同様に生成する。
図12は、刺激生成部350の動作を示すフローチャートの例である。刺激生成部350は、本図に示す処理の順序を適宜変更しても良い。
刺激生成部350は、運転手がステアリングホイール200を両手で把持しているか片手で把持しているかに関わらず、同様に本フローチャートの処理を実行する。
(ステップS301:有効判断処理)
位置調整部351は、記録部390が記録している把持情報に基づいて、有効部位情報を生成する。
有効部位情報は、運転手の手掌等の部位であって、触覚提示装置201が運転手に有効な刺激を与えることができる部位の情報を含む。
(ステップS302:パターン生成処理)
パターン生成部352は、記録部390が記録している制御情報に基づいて、典型的には、刺激力と、出力周波数とを含む刺激パターンを生成する。
(ステップS303:位置選択処理)
位置決定部353は、
位置調整部351が生成した有効部位情報と、パターン生成部352が生成した刺激パターンとに基づいて、仮現運動が生じるような刺激位置を選択し、
刺激位置と、刺激パターンとに基づいて刺激情報を生成し、
生成した刺激情報を記録部390に記録する。
位置決定部353は、運転手が両手を用いてステアリングホイール200を把持しており、運転手が両手とも五指を用いてステアリングホイール200を把持している場合、具体例として、ステアリングホイール200を左回転するよう運転手を誘導する場合、図11のp11からp18に対応する刺激位置を選択する。
***実施の形態1の特徴***
情報提示装置103は、
刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイール200を備える移動体100のステアリングホイール200に刺激情報を送信する情報提示装置103において、
ステアリングホイール200から運転手とステアリングホイール200との接触状態に関する把持検出情報を受信し、人間がステアリングホイール200を把持しているときの、ステアリングホイール200と手掌等との接触パターンを示すパターン情報を記憶しているパターンデータベース501からパターン情報を受信し、把持検出情報と、パターン情報とに基づいて、運転手がステアリングホイール200を把持している手掌等の部位を判別し、手掌等の部位の情報を含む把持情報を生成する把持検出部340と、
移動体100が移動体100の周囲に位置する障害物と接触する可能性がある場合に、手掌等を刺激することにより障害物を回避するよう運転手を誘導する刺激情報を把持情報に基づいて生成する刺激生成部350と
を備える。
情報提示装置103は、
移動体100から移動体100の周辺の環境を示す環境情報を受信する障害物検出部300と、
環境情報に基づいて、障害物を検出し、移動体100と障害物とが接触する可能性があるか否かを判定する危険判定部320と
を備える。
情報提示装置103は、
移動体100から移動体100の速度と加速度と旋回速度と操舵角とを含む移動体情報を受信し、移動体情報に基づいて移動体100の軌道を予測して軌道予測情報を生成する軌道予測部310と、
軌道予測情報に基づいて制御情報を生成する軌道算出部330と
を備え、
刺激生成部350は、把持情報と、制御情報とに基づいて刺激情報を生成する。
刺激生成部350は、仮現運動が発生するような刺激に対応する刺激情報を生成する。
刺激生成部350は、刺激情報に対応する刺激を、運転手の左手と右手とを交互に刺激する刺激であって、運転手の左手の第5手指から第2手指の付け根を1箇所ずつ順に刺激する刺激であって、運転手の右手の第2手指から第5手指の付け根を1箇所ずつ順に刺激する刺激であって、一定時間おきに刺激する箇所を変更する刺激とすることにより、ステアリングホイール200を右回転するよう運転手を誘導する。
***実施の形態1の効果の説明***
以上のように、本実施の形態によれば、
把持検出部340が、ステアリングホイール200が備える把持検出センサ202から受信した把持検出情報と、パターンDB501から受信したパターン情報とに基づいて把持情報を生成し、
刺激生成部350が、把持情報に基づいて刺激情報を生成することにより、
ステアリングホイール200に実装された触提示装置が利用することができる刺激情報であって、運転手がステアリングホイール200を把持している領域と腕とによらず、運転手に情報を適切に伝達する刺激情報を生成することができる。
本実施の形態によれば、図8に示すような、把持腕と、把持指と、圧力分布と等の強度分布に関するパターン情報を記憶しているパターンDB501からパターン情報を取得した場合、パターン情報と、把持検出情報に基づいて検出した強度分布とを比較し、把持腕と、把持指とを判別し、把持腕及び/又は把持指の位置に応じて運転手に刺激を与える刺激情報を生成することができる。
そのため、本実施の形態によれば、運転手が代わった場合、又は、運転手が持ち方を変更した場合であっても、適切な位置に刺激を与えることにより運転手を誘導する刺激情報を生成することができる。
従って、本実施の形態によれば、運転手がより安全に移動体100を運転することを支援することができる。
また、本実施の形態によれば、把持検出部340が、把持腕だけではなく、ステアリングホイール200を把持している手掌及び五指の部位を判別することができる。そのため、刺激生成部350は、把持方法と関係なく、把持領域の範囲内において刺激位置を適切に選択することができる。
具体例として、移動体100の運転手が、旋回時にステアリングホイール200の左側を右手で、右側を左手で把持している場合であっても、左右の手に適切な刺激を提示する刺激情報を生成することができる。ステアリングホイール200の左側は、ステアリングホイール200を回していない状態において、運転手から見たステアリングホイール200の左側のことである。
本実施の形態によれば、把持方法に関わらず運転手の把持状態を検出することができるため、運転手が旋回時に腕を交差した場合、指の欠損がある等、障害を持つ人が移動体100を運転している場合であっても、把持方法に応じた刺激を与える刺激情報を生成することができる。
また、移動体100の運転手が、運転中に、前方不注意等により車線逸脱し、移動体100と障害物とが接触する可能性が生じた場合、又は、車線変更時に運転手の死角から接近した障害物と移動体100とが接触する可能性が生じた場合であっても、
刺激生成部350が、制御情報が示す方向に操舵するよう運転手を誘導する刺激に対応する刺激情報を生成し、
触覚提示装置201が、刺激情報に基づいて運転手に情報を提示することにより、障害物を回避するよう運転手を誘導することができる。
以下、本実施の形態に係る効果について、図を用いて説明する。
図13は、移動体100が車線をはみ出し、移動体100と他車とが接触することが予想される場合のイメージを表す図である。
移動体100が本図に示すように、移動体100が、車線をはみ出し、他車と接触する可能性がある危険判定部320が予測した場合、
刺激生成部350は、図11の左回転パターンに示すような刺激情報を生成し、
触覚提示装置201は、左回転パターンに示すような刺激情報に基づいて運転手の手掌等を刺激して仮現運動を発生させることによって、ステアリングホイール200を左回転するよう運転手を誘導する。
従って、本実施の形態によれば、移動体100が車線をはみ出し、他車と接触する可能性がある場合、移動体100が車線をはみ出さないよう運転手を誘導する刺激情報を生成することができる。
図14は、移動体100が車線変更を行い、移動体100と他車とが接触することが予想される場合のイメージを表す図である。
移動体100が本図に示すように、移動体100が、車線をはみ出し、他車と接触する可能性があることを危険判定部320とが予測した場合、
刺激生成部350は、図11の左回転パターンに示すような刺激情報を生成し、
触覚提示装置201は、左回転パターンに示すような刺激情報に基づいて運転手の手掌等を刺激して仮現運動を発生させることによって、移動体100が車線変更することを抑止するよう運転手を誘導する。
従って、本実施の形態によれば、移動体100が車線変更等を行う際に他車と接触する可能性がある場合、車線を維持するよう運転手を誘導する刺激情報を生成することができる。
<変形例1>
情報提示装置103は、移動体100に搭載されていなくても良い。
本変形例において、情報提示装置103は、通信部380を介して移動体100と通信する。
<変形例2>
情報提示装置103は、移動体100が備える環境検出センサ101から環境情報を取得しなくても良い。
本変形例において、情報提示装置103は、具体例として、車車間通信を用いて他車から環境情報を取得しても良く、路車間通信を用いて路側に設置された通信装置から環境情報を取得しても良く、一般的な通信網を用いて中央制御装置等から環境情報を取得しても良い。
同様に、情報提示装置103は、
移動体100が備える状態検出センサ102から移動体情報を取得しなくても良く、
移動体100が備えるパターンDB501からパターン情報を取得しなくても良い。
<変形例3>
情報提示装置103は、障害物検出部300を備えなくても良い。
本変形例において、情報提示装置103は、通信部380を介して障害物情報を取得する。
<変形例4>
情報提示装置103は、軌道予測部310を備えなくても良い。
本変形例において、情報提示装置103は、通信部380を介して軌道予測情報を取得する。
<変形例5>
情報提示装置103は、危険判定部320を備えなくても良い。
本変形例において、情報提示装置103は、
通信部380を介して障害物と接触する可能性があるか否かに関する情報を取得し、
障害物と接触する可能性があるか否かに関する情報を生成するために必要な情報を通信部380を介して外部に送信しても良い。
<変形例6>
情報提示装置103は、軌道算出部330を備えなくても良い。
本変形例において、情報提示装置103は、
通信部380を介して制御情報を取得し、
制御情報を生成するために必要な情報を通信部380を介して外部に送信しても良い。
<変形例7>
情報提示装置103は、複数のコンピュータから構成されても良い。
<変形例8>
危険判定部320は、障害物と接触する可能性があるか否かを判定する際に、軌道予測情報を考慮しても良い。
図15は、本変形例における情報提示装置103の動作を示すフローチャートの例である。
本変形例において、
情報提示装置103は、ステップS103の処理を実行する前にステップS104の処理を実行し、
ステップS103において、危険判定部320は、記録部390が記録している障害物情報と軌道予測情報とに基づいて、障害物と接触する可能性があるか否かを判定する。
<変形例9>
危険判定部320は、検出した障害物が移動している場合、障害物の軌道を予測し、予測した軌道を考慮して障害物と接触するか否かを判定しても良い。
<変形例10>
把持検出部340は、把持領域を検出しなくても良い。
本変形例において、把持検出部340は、典型的には、把持検出センサ202が検出した把持領域の情報を取得して用いる。
<変形例11>
把持検出部340は、把持指を判定しなくても良い。
本変形例において、刺激生成部350は、典型的には、把持領域の把持指以外の部分を刺激する刺激情報を生成する。
<変形例12>
刺激生成部350は、刺激する時間間隔を設定することにより、ステアリングホイール200を回す量を運転手に伝えても良い。
本変形例において、刺激生成部350は、典型的には、
ステアリングホイール200を大きく回すよう運転手を誘導する場合、刺激する時間間隔が短い刺激情報を生成し、
ステアリングホイール200を小さく回すよう運転手を誘導する場合、刺激する時間間隔が長い刺激情報を生成する。
<変形例13>
触覚提示装置201と、把持検出センサ202との位置関係は、任意であって良い。
<変形例14>
触覚提示装置201と、把持検出センサ202とを、ステアリングホイール200の全周に配置せず、一般的な運転手が把持する領域にのみ配置しても良い。
<変形例15>
本実施の形態では、各機能構成要素をソフトウェアで実現する場合を説明した。しかし、変形例として、各機能構成要素はハードウェアで実現されても良い。
各機能構成要素がハードウェアで実現される場合には、情報提示装置103は、プロセッサ10に代えて、電子回路17を備える。あるいは、図示しないが、情報提示装置103は、プロセッサ10、メモリ11、及び/又は記憶装置12に代えて、電子回路17を備える。電子回路17は、各機能構成要素(及びメモリ11と記憶装置12)の機能を実現する専用の電子回路である。電子回路を、処理回路と呼ぶこともある。
電子回路17は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路17で実現してもよいし、各機能構成要素を複数の電子回路17に分散させて実現してもよい。
あるいは、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
前述したプロセッサ10とメモリ11と記憶装置12と電子回路17とを、総称して「プロセッシングサーキットリー」という。つまり、各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
実施の形態2.
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。
***構成の説明***
図16は、本実施の形態に係る情報提示装置103の構成例を示す図である。
本図に示すように、情報提示装置103は、
危険判定部320と、軌道算出部330と、刺激生成部350とを備えず、
危険度算出部321と、刺激生成部360とを備える。
障害物検出部300と、軌道予測部310と、把持検出部340とは、実施の形態1と同様である。
危険度算出部321は、
典型的には、障害物検出部300が算出した障害物情報と、軌道予測部310が算出した移動体100の予測軌道とに基づいて、障害物情報に含まれる障害物の危険度を算出する。
危険度算出部321は、障害物情報に複数の障害物が含まれる場合、障害物毎に危険度を算出する。
刺激生成部360は、記録部390が記録している障害物情報と把持情報と危険度情報とに基づいて、刺激情報を生成する。
刺激生成部360は、危険度が高い障害物が複数ある場合、典型的には、危険度が高い障害物全てに対応する刺激情報を生成する。
***動作の説明***
本実施の形態に係る情報提示装置103は、
運転手に警告する警告装置として機能し、
移動体100の周囲に障害物が存在する場合、運転手の手掌等の触覚を介して運転手に警告し、
刺激によりステアリングホイール200を操作するよう運転手を誘導しない。
図17は、情報提示装置103の動作を示すフローチャートの例である。情報提示装置103は、本図に示す処理の順序を適宜変更しても良い。
情報提示装置103は、
ステップS104と、ステップS105との処理を実行する代わりに、ステップS114の処理を実行し、
ステップS107の処理を実行する代わりに、ステップS117の処理を実行する。
(ステップS114:危険度算出処理)
危険度算出部321は、
記録部390が記録している障害物情報に含まれる障害物の危険度を、障害物と移動体100との距離、及び/又は、移動体100の速度等に基づいて算出し、
算出した危険度に基づいて危険度情報を生成し、
生成した危険度情報を記録部390に記録する。
危険度算出部321は、任意の手法により障害物の危険度を算出して良い。
(ステップS117:刺激生成処理)
刺激生成部360は、
記録部390が記録している障害物情報と把持情報と危険度情報とに基づいて刺激情報を生成し、
生成した刺激情報を記録部390に記録する。
(ステップS303:位置選択処理)
刺激生成部360は、仮現運動が生じるような刺激位置を選択する代わりに、障害物の位置を運転手に伝えることができるような刺激位置を選択する。
刺激生成部360が生成する刺激情報の例を、図を用いて説明する。
図18は、把持領域と、方位とを対応付けた刺激情報を説明する図である。
本図において、
運転手は、両手を用い、両手とも5指を用いてステアリングホイール200を把持しており、
運転手の両腕の第2手指から第5手指の付け根は、ステアリングホイール200に密着しているものとする。
情報提示装置103は、具体例として、本図に示すように、把持領域と、方位とを対応付ける。
情報提示装置103は、本図に示すように、
移動体100の周囲の方位を角度により表し、
移動体100の正面方向を0度とし、
方位として、移動体100の正面方向と各方向とが成す角度であって、移動体100を真上から見た場合の時計回り方向の角度を用い、
運転手の右手を車両の正面方向に対して右側の方位と対応させ、
運転手の左手を車両の正面方向に対して左側の方位と対応させる。
刺激生成部360は、具体例として、
右手の第2手指付近を0度と対応させ、
右手の第2手指から第4手指の領域を45度から135度までと対応させ、
第5手指付近を180度と対応させる。
本例において、
刺激生成部360は、障害物が位置する方位に対応する箇所を刺激する刺激情報を生成し、
触覚提示装置201は、前記刺激情報に基づいて運転手の手掌等を刺激することにより、運転手に対して障害物が位置する方位を直感的に伝達することができる。
図19は、図18と同様の図であり、運転手が右手のみによりステアリングホイール200を把持している場合における刺激情報を説明する図である。
刺激生成部360が運転手の両手を刺激する刺激情報を生成する場合と異なる点について、以下で説明する。
刺激生成部360は、運転手が右手のみによりステアリングホイール200を把持している場合、具体例として、
右手の第2手指付近を0度から45度までと315度から360度までとに対応させ、
右手の第2手指から第4手指の領域を45度から135度までと、225度から315度までとに対応させ、
第5手指付近を135度から225度までと対応させる。
刺激生成部360は、運転手が左手のみによりステアリングホイール200を把持している場合、本例と同様に刺激情報を生成する。
刺激生成部360は、刺激力によって移動体100と障害物との距離、及び/又は、障害物の危険度を運転手に伝えても良い。
図20は、図21と図22とに示す状況において刺激生成部360が生成する刺激情報の例を示す図であって、時刻と刺激力との関係を示す図である。
図21と図22とは、運転手の死角に位置する障害物が移動体100に接近しているイメージを示す図である。センサ視野は、環境検出センサ101が検知している範囲を示す。運転手視野は、移動体100の運転手の視野を示す。
本例において、刺激生成部360は、
左方向に歩行者が存在することを知らせるために、p20を刺激パターン1に示すように刺激し、
右方向に車両が存在することを知らせるために、p21を刺激パターン2に示すように刺激する。
本例において、
歩行者の方が車両よりも移動体100に近いため、刺激パターン1の刺激の周期は刺激パターン2の刺激の周期よりも短く、
車両の方が歩行者よりも危険度が高いため、刺激パターン2の刺激力は刺激パターン1の刺激力よりも大きい。
なお、車両の危険度が歩行者の危険度よりも高くなくても良い。
***実施の形態2の特徴***
情報提示装置103は、
刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイール200を備える移動体100のステアリングホイール200に刺激情報を送信する情報提示装置103において、
ステアリングホイール200から運転手とステアリングホイール200との接触状態に関する把持検出情報を受信し、人間がステアリングホイール200を把持しているときの、ステアリングホイール200と手掌等との接触パターンを示すパターン情報を記憶しているパターンデータベース501からパターン情報を受信し、把持検出情報と、パターン情報とに基づいて、運転手がステアリングホイール200を把持している手掌等の部位を判別し、手掌等の部位の情報を含む把持情報を生成する把持検出部340と、
移動体100と、移動体100の周囲に障害物が存在する場合に、手掌等を刺激することにより運転手に障害物の危険度を伝える刺激情報を把持情報に基づいて生成する刺激生成部360と
を備える。
情報提示装置103は、
移動体100から移動体100の周辺の環境を示す環境情報を受信する障害物検出部300と、
環境情報に基づいて、障害物を検出し、障害物の危険度を算出する危険度算出部321と
を備え、
刺激生成部360は、把持情報と、危険度とに基づいて刺激情報を生成する。
刺激生成部360は、刺激情報に対応する刺激を、障害物が位置する方位であって、移動体100の進行方向に対する方位に対応する運転手の手の部位を刺激する刺激であって、障害物の危険度に応じた強さの刺激とする。
***実施の形態2の効果の説明***
以上のように、本実施の形態によれば、移動体100の運転手が移動体100の運転中に、障害物とは異なる方向に視線を向けている場合であっても、運転手が視野外の障害物を感知することができる刺激に対応する刺激情報を生成することができる。
また、本実施の形態によれば、移動体100に対する障害物の方位と、手掌等の部位とを対応付けることと、刺激力を障害物の危険度に応じたものとすることにより、運転手が障害物の存在を感知することができるだけではなく、障害物の方位と危険度とを直感的に感知することもできる刺激に対応する刺激情報を生成することができる。
従って、本実施の形態によれば、移動体100の運転手に対して、障害物が移動体100に接近していることを警告するだけではなく、具体的に、どの方位に、どの程度の距離に障害物が迫ってきているかについても警告する刺激に対応する刺激情報を生成することができる。
<変形例16>
情報提示装置103は、危険度算出部321を備えなくても良い。
本変形例において、情報提示装置103は、
通信部380を介して危険度情報を取得し、
危険度情報を生成するために必要な情報を通信部380を介して外部に送信しても良い。
<変形例17>
刺激生成部360は、障害物が複数ある場合、障害物に対応する刺激箇所全てを順に刺激する刺激情報を生成しても良い。
***他の実施の形態***
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態1から2で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。
10 プロセッサ、11 メモリ、12 記憶装置、13 通信IF、16 SW、17 電子回路、19 OS、100 移動体、101 環境検出センサ、102 状態検出センサ、103 情報提示装置、200 ステアリングホイール、201 触覚提示装置、202 把持検出センサ、300 障害物検出部、310 軌道予測部、320 危険判定部、321 危険度算出部、330 軌道算出部、340 把持検出部、350 刺激生成部、351 位置調整部、352 パターン生成部、353 位置決定部、360 刺激生成部、380 通信部、390 記録部、501 パターンDB(パターンデータベース)。

Claims (12)

  1. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置において、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信し、人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信し、前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別し、前記手掌等の部位の情報を含む把持情報を生成する把持検出部と、
    前記移動体が前記移動体の周囲に位置する障害物と接触する可能性がある場合に、前記手掌等を刺激することにより前記障害物を回避するよう前記運転手を誘導する前記刺激情報を前記把持情報に基づいて生成する刺激生成部と
    を備える情報提示装置。
  2. 前記移動体から前記移動体の周辺の環境を示す環境情報を受信する障害物検出部と、
    前記環境情報に基づいて、前記障害物を検出し、前記移動体と前記障害物とが接触する可能性があるか否かを判定する危険判定部と
    を備える請求項1に記載の情報提示装置。
  3. 前記移動体から前記移動体の速度と加速度と旋回速度と操舵角とを含む移動体情報を受信し、前記移動体情報に基づいて前記移動体の軌道を予測して軌道予測情報を生成する軌道予測部と、
    前記軌道予測情報に基づいて制御情報を生成する軌道算出部と
    を備え、
    前記刺激生成部は、前記把持情報と、前記制御情報とに基づいて前記刺激情報を生成する請求項1又は2に記載の情報提示装置。
  4. 前記刺激生成部は、仮現運動が発生するような刺激に対応する前記刺激情報を生成する請求項1から3のいずれか1項に記載の情報提示装置。
  5. 前記刺激生成部は、前記刺激情報に対応する刺激を、前記運転手の左手と右手とを交互に刺激する刺激であって、前記運転手の左手の第5手指から第2手指の付け根を1箇所ずつ順に刺激する刺激であって、前記運転手の右手の第2手指から第5手指の付け根を1箇所ずつ順に刺激する刺激であって、一定時間おきに刺激する箇所を変更する刺激とすることにより、前記ステアリングホイールを右回転するよう運転手を誘導する請求項4に記載の情報提示装置。
  6. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置において、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信し、人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信し、前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別し、前記手掌等の部位の情報を含む把持情報を生成する把持検出部と、
    前記移動体と、前記移動体の周囲に障害物が存在する場合に、前記手掌等を刺激することにより前記運転手に前記障害物の危険度を伝える前記刺激情報を前記把持情報に基づいて生成する刺激生成部と
    を備える情報提示装置。
  7. 前記移動体から前記移動体の周辺の環境を示す環境情報を受信する障害物検出部と、
    前記環境情報に基づいて、前記障害物を検出し、前記障害物の危険度を算出する危険度算出部と
    を備え、
    前記刺激生成部は、前記把持情報と、前記危険度とに基づいて前記刺激情報を生成する請求項6に記載の情報提示装置。
  8. 前記刺激生成部は、前記刺激情報に対応する刺激を、前記障害物が位置する方位であって、前記移動体の進行方向に対する方位に対応する前記運転手の手の部位を刺激する刺激であって、前記障害物の危険度に応じた強さの刺激とする請求項6又は7に記載の情報提示装置。
  9. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置における情報提示方法において、
    把持検出部が、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信し、
    人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信し、
    前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別し、前記手掌等の部位の情報を含む把持情報を生成し、
    刺激生成部が、
    前記移動体が前記移動体の周囲に位置する障害物と接触する可能性がある場合に、前記手掌等を刺激することにより前記障害物を回避するよう前記運転手を誘導する前記刺激情報を前記把持情報に基づいて生成する情報提示方法。
  10. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置であるコンピュータに、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信させ、
    人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信させ、
    前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別させ、前記手掌等の部位の情報を含む把持情報を生成させ、
    前記移動体が前記移動体の周囲に位置する障害物と接触する可能性がある場合に、前記手掌等を刺激することにより前記障害物を回避するよう前記運転手を誘導する前記刺激情報を前記把持情報に基づいて生成させる情報提示プログラム。
  11. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置における情報提示方法において、
    把持検出部が、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信し、
    人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信し、
    前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別し、前記手掌等の部位の情報を含む把持情報を生成し、
    刺激生成部が、
    前記移動体と、前記移動体の周囲に障害物が存在する場合に、前記手掌等を刺激することにより前記運転手に前記障害物の危険度を伝える前記刺激情報を前記把持情報に基づいて生成する情報提示方法。
  12. 刺激に対応する刺激情報に基づいて運転手に情報を提示するステアリングホイールを備える移動体の前記ステアリングホイールに前記刺激情報を送信する情報提示装置であるコンピュータに、
    前記ステアリングホイールから前記運転手と前記ステアリングホイールとの接触状態に関する把持検出情報を受信させ、
    人が手掌等を用いて棒状の物体を把持しているときに前記棒状の物体に生じる強度分布であって、物理現象の強度を示す強度分布と、手の部位とを結びつけたパターン情報を記憶しているパターンデータベースから前記パターン情報を受信させ、
    前記把持検出情報と、前記パターン情報とに基づいて、前記運転手が前記ステアリングホイールを把持している手掌等の部位を判別させ、前記手掌等の部位の情報を含む把持情報を生成させ、
    前記移動体と、前記移動体の周囲に障害物が存在する場合に、前記手掌等を刺激することにより前記運転手に前記障害物の危険度を伝える前記刺激情報を前記把持情報に基づいて生成させる情報提示プログラム。
JP2020509533A 2019-09-11 2019-09-11 情報提示装置、情報提示方法、及び、情報提示プログラム Expired - Fee Related JP6723494B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/035660 WO2021048946A1 (ja) 2019-09-11 2019-09-11 情報提示装置、情報提示方法、及び、情報提示プログラム

Publications (2)

Publication Number Publication Date
JP6723494B1 true JP6723494B1 (ja) 2020-07-15
JPWO2021048946A1 JPWO2021048946A1 (ja) 2021-03-18

Family

ID=71523932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509533A Expired - Fee Related JP6723494B1 (ja) 2019-09-11 2019-09-11 情報提示装置、情報提示方法、及び、情報提示プログラム

Country Status (5)

Country Link
US (1) US20220144331A1 (ja)
JP (1) JP6723494B1 (ja)
CN (1) CN114340975B (ja)
DE (1) DE112019007608T5 (ja)
WO (1) WO2021048946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113650624A (zh) * 2021-08-30 2021-11-16 东风柳州汽车有限公司 驾驶提醒方法、设备、存储介质及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162554A (ja) * 2007-01-04 2008-07-17 Toyota Motor Corp 操舵制御装置及びその制御方法
JP2009001094A (ja) * 2007-06-20 2009-01-08 Tokai Rika Co Ltd 操舵装置
JP2010018204A (ja) * 2008-07-11 2010-01-28 Nippon Soken Inc 情報提示装置および情報提示システム
JP2011005893A (ja) * 2009-06-23 2011-01-13 Nissan Motor Co Ltd 車両の走行制御装置および車両の走行制御方法
WO2011125478A1 (ja) * 2010-04-02 2011-10-13 シャープ株式会社 車両用警告装置
JP2015156096A (ja) * 2014-02-20 2015-08-27 トヨタ自動車株式会社 入力装置および入力取得方法
JP2016049956A (ja) * 2014-09-02 2016-04-11 トヨタ自動車株式会社 把持状態判定装置、把持状態判定方法、入力装置、入力取得方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10027922A1 (de) * 2000-06-06 2002-01-24 Bosch Gmbh Robert Verfahren zum Detektieren der Position von Händen auf einem Lenkrad
JP2013079056A (ja) * 2011-09-21 2013-05-02 Jvc Kenwood Corp 車両における操作対象装置の制御装置及び運転者特定方法
US9159221B1 (en) * 2012-05-25 2015-10-13 George Stantchev Steering wheel with remote control capabilities
JP5884742B2 (ja) * 2013-01-21 2016-03-15 トヨタ自動車株式会社 ユーザインタフェース装置および入力取得方法
JP6192390B2 (ja) * 2013-07-05 2017-09-06 キヤノン株式会社 光電変換装置、光電変換システム
JP2014227000A (ja) * 2013-05-21 2014-12-08 日本電産エレシス株式会社 車両制御装置、その方法およびそのプログラム
US9623907B2 (en) * 2014-01-13 2017-04-18 Harman International Industries, Inc. Haptic language through a steering mechanism
US20150307022A1 (en) * 2014-04-23 2015-10-29 Ford Global Technologies, Llc Haptic steering wheel
WO2016125304A1 (ja) * 2015-02-06 2016-08-11 三菱電機株式会社 車載機器操作装置および車載機器操作システム
CN205113412U (zh) * 2015-07-20 2016-03-30 比亚迪股份有限公司 车辆转向盘和具有其的车辆
JP2018025848A (ja) * 2016-08-08 2018-02-15 株式会社東海理化電機製作所 操作入力装置
DE102016216590A1 (de) * 2016-09-01 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zur Erzeugung und Übermittlung einer Fahrerinformation
DE102016217772A1 (de) * 2016-09-16 2018-03-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Betriebsverfahren und elektronische Steuereinheit zur Steuerung eines zumindest teilweise automatisiert fahrbaren Fahrzeugs
US10525986B2 (en) * 2018-06-11 2020-01-07 Harman International Industries, Incorporated System and method for steering wheel haptic notification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162554A (ja) * 2007-01-04 2008-07-17 Toyota Motor Corp 操舵制御装置及びその制御方法
JP2009001094A (ja) * 2007-06-20 2009-01-08 Tokai Rika Co Ltd 操舵装置
JP2010018204A (ja) * 2008-07-11 2010-01-28 Nippon Soken Inc 情報提示装置および情報提示システム
JP2011005893A (ja) * 2009-06-23 2011-01-13 Nissan Motor Co Ltd 車両の走行制御装置および車両の走行制御方法
WO2011125478A1 (ja) * 2010-04-02 2011-10-13 シャープ株式会社 車両用警告装置
JP2015156096A (ja) * 2014-02-20 2015-08-27 トヨタ自動車株式会社 入力装置および入力取得方法
JP2016049956A (ja) * 2014-09-02 2016-04-11 トヨタ自動車株式会社 把持状態判定装置、把持状態判定方法、入力装置、入力取得方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113650624A (zh) * 2021-08-30 2021-11-16 东风柳州汽车有限公司 驾驶提醒方法、设备、存储介质及装置
CN113650624B (zh) * 2021-08-30 2024-01-19 东风柳州汽车有限公司 驾驶提醒方法、设备、存储介质及装置

Also Published As

Publication number Publication date
CN114340975B (zh) 2023-11-28
WO2021048946A1 (ja) 2021-03-18
DE112019007608T5 (de) 2022-06-02
JPWO2021048946A1 (ja) 2021-03-18
US20220144331A1 (en) 2022-05-12
CN114340975A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109476318B (zh) 用于车辆的触觉通知系统
JP6934618B2 (ja) ジェスチャ入力システム及びジェスチャ入力方法
JP6409699B2 (ja) 自動運転システム
KR101795902B1 (ko) 차량 시스템
US9827811B1 (en) Vehicular haptic feedback system and method
US20180326992A1 (en) Driver monitoring apparatus and driver monitoring method
JP4760272B2 (ja) 車両周辺監視装置及びセンサユニット
CN108073893B (zh) 使用距离数据检测植物
CN113165645A (zh) 用于警告车辆驾驶员的设备和方法
JP2018188028A (ja) 運転者監視装置、及び運転者監視方法
US11372100B2 (en) Radar object classification and communication using smart targets
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP6723494B1 (ja) 情報提示装置、情報提示方法、及び、情報提示プログラム
JP6819173B2 (ja) 運転支援方法及び運転支援装置
JP2008006920A (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP4446853A1 (en) Device and method for controlling mouse using gaze recognition
KR102291870B1 (ko) 초음파 햅틱을 이용한 주행 경보 방법 및 장치
KR20240151533A (ko) 시선 인식을 이용한 마우스 제어 장치 및 방법
Zhang et al. Design of Intelligent Obstacle Avoidance Gloves Based on Tactile Channel
CN118579098A (zh) 触觉式人机界面系统
JP2023114943A (ja) 車両制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6723494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees