JPWO2020157800A1 - 表示制御装置、表示制御システム、及び、表示制御方法 - Google Patents

表示制御装置、表示制御システム、及び、表示制御方法 Download PDF

Info

Publication number
JPWO2020157800A1
JPWO2020157800A1 JP2020568890A JP2020568890A JPWO2020157800A1 JP WO2020157800 A1 JPWO2020157800 A1 JP WO2020157800A1 JP 2020568890 A JP2020568890 A JP 2020568890A JP 2020568890 A JP2020568890 A JP 2020568890A JP WO2020157800 A1 JPWO2020157800 A1 JP WO2020157800A1
Authority
JP
Japan
Prior art keywords
display
display control
driver
touch
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020568890A
Other languages
English (en)
Other versions
JP7042931B2 (ja
Inventor
友樹 渡邊
友樹 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020157800A1 publication Critical patent/JPWO2020157800A1/ja
Application granted granted Critical
Publication of JP7042931B2 publication Critical patent/JP7042931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741Instruments adapted for user detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

表示制御装置(16)は、近接検知装置(12)から送信された、タッチ操作面(11a)の前方に設定される検出範囲内に存在する物体の検出結果に基づいて、検出範囲内にドライバーの手が存在するか否かを判定する近接判定部(21)と、近接判定部(21)が検出範囲内にドライバーの手が存在すると判定した場合に、タッチ操作面(11a)の操作割当を変更する割当変更部(23a)と、割当変更部(23a)によってタッチ操作面(11a)の操作割当が変更された場合に、その変更した操作割当(111,112)に対応した表示割当(14b,14c)をHUD(14)に表示させるための割当情報を、当該HUD(14)に出力する表示出力部(26a)とを備える。

Description

この発明は、タッチ操作面の操作割当を変更可能とする表示制御装置、表示制御システム、及び、表示制御方法に関する。
従来、車載機器の操作メニューを、ヘッドアップディスプレイ(Head Up Display:以下、HUDと称す)に重ね合わせて表示し、その表示内容を見ながら、車載機器を操作可能とした表示制御装置が提供されている。これにより、車両のドライバーは、フロントガラス越しに車両前方の景色を確認しながら、HUDに表示された操作メニューを、少ない視線移動量で選択することができる。このような、従来の表示制御装置は、例えば、特許文献1に開示されている。
特開2017−114191号公報
上記従来の表示制御装置は、ドライバーのジェスチャーに応じて、HUDの表示内容を切り替え可能とするものである。従って、上記従来の表示制御装置は、ドライバーのジェスチャーを適切に検出しなければならず、誤検知を防止するためには、ジェスチャーを検出するためのセンサを、高精度なものとする必要がある。
この発明は、上記のような課題を解決するためになされたもので、高精度なセンサを必要とすることなく、タッチ操作面へのタッチ操作を行うことができる表示制御装置を提供することを目的とする。
この発明に係る表示制御装置は、近接検知装置から送信された、タッチ操作面の前方に設定される検出範囲内に存在する物体の検出結果に基づいて、検出範囲内にドライバーの手が存在するか否かを判定する近接判定部と、近接判定部が検出範囲内にドライバーの手が存在すると判定した場合に、タッチ操作面の操作割当を変更する割当変更部と、割当変更部によってタッチ操作面の操作割当が変更された場合に、その変更した操作割当に対応した表示割当をヘッドアップディスプレイに表示させるための割当情報を、ヘッドアップディスプレイに出力する表示出力部とを備えることを特徴とするものである。
この発明によれば、高精度なセンサを必要とすることなく、タッチ操作面へのタッチ操作を行うことができる。
実施の形態1に係る表示制御装置を備えた表示制御システムの構成を示したブロック図である。 実施の形態1に係る表示制御装置の構成を示したブロック図である。 図3Aは実施の形態1に係る表示制御装置のハードウェア構成例を示した図である。図3Bは実施の形態1に係る表示制御装置の他のハードウェア構成例を示した図である。 実施の形態1に係る表示制御装置の動作手順を示したフローチャートである。 実施の形態1に係る表示制御装置によって連動して表示制御されるタッチ操作面、ナビゲーション画面、及び、HUDの表示画面を示した図である。 実施の形態2に係る表示制御装置によるHUDの表示制御を示した図である。 実施の形態3に係る表示制御装置によるHUDの表示制御を示した図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
先ず、実施の形態1に係る表示制御システムの構成について、図1を用いて説明する。図1は、実施の形態1に係る表示制御装置を備えた表示制御システムの構成を示したブロック図である。
実施の形態1に係る表示制御システムは、車両に設置されたシステムである。この表示制御システムは、ナビゲーション装置11、近接検知装置12、道路情報受信器13、HUD14、スピーカ15、及び、表示制御装置16を備えている。
ナビゲーション装置11は、車室内の前部に設けられている。このナビゲーション装置11は、ディスプレイ及びタッチパネルを備えている。ディスプレイの前面とタッチパネルの後面とは、重ね合わされている。ディスプレイは、例えば、液晶パネルである。
即ち、ディスプレイの前面は、ナビゲーション画面を構成し、タッチパネルの前面は、タッチ操作面を構成している。タッチ操作面は、車両の乗員の手によるタッチ操作を受け付けるものである。また、タッチパネルは、タッチセンサを有している。このタッチセンサは、乗員のタッチ操作面へのタッチ位置を検出するものである。
近接検知装置12は、タッチ操作面に近づいてくる物体を検出するものである。この近接検知装置12は、例えば、一対の発光素子及び受光素子を有しており、発光素子から発せられた赤外光を物体が反射し、この反射した赤外光を受光素子が受けことにより、物体を検出する。近接検知装置12の検出範囲は、タッチ操作面から見て車室側の方向に設定されている。具体的には、近接検知装置12の検出範囲は、タッチ操作面から前方に向けて所定の距離で、且つ、当該タッチ操作面の直上に位置する空間領域に設定されている。即ち、検出範囲は、乗員の手がタッチ操作面をタッチ操作するときに、当該乗員の手が通過する範囲に設定されるものである。これにより、近接検知装置12は、例えば、一対の発光素子及び受光素子を、タッチ操作面の左右両側部にそれぞれ配置することにより、乗員の手が運転席側から近づいてくる場合と、乗員の手が助手席側から近づいてくる場合とを判別することができる。
道路情報受信器13は、交通情報及び道路状況に関する情報を受信するものである。
HUD14は、ドライバーの前方に設けられている。このHUD14は、走行中の自車両に関する車両情報及び道路案内情報を表示するものである。また、HUD14は、ドライバーの手が近接検知装置12によって検出されると、その表示割当をオーディオ操作モードに関する表示画面及びエアコン操作モードに関する表示画面に切り替え表示する。
スピーカ15は、オーディオ操作モードにおける音声、及び、ドライバーに対する警告音等を出力する。
表示制御装置16は、ナビゲーション装置11、近接検知装置12、及び、道路情報受信器13から得られた各種の情報に基づいて、HUD14の表示及びスピーカ15の出力を制御するものである。また、表示制御装置16は、タッチ操作面の操作割当及びHUD14の表示割当を変更するものである。
次に、実施の形態1に係る表示制御装置の構成について、図2を用いて説明する。図2は、実施の形態1に係る表示制御装置の構成を示したブロック図である。
表示制御装置16は、近接判定部21、運転負荷取得部22、操作モード制御部23、タッチ検知部24、タッチ判定部25、及び、動作指示部26を備えている。
近接判定部21は、近接検知装置12から送信された物体の検出結果に基づいて、ドライバーの手が検出範囲内に存在するか否かを判定し、その判定結果を操作モード制御部23に出力する。
運転負荷取得部22は、道路情報受信器13から送信された交通情報及び道路状況に関する情報を、ドライバーの運転に対する負荷に関する運転負荷情報として取得し、この取得した運転負荷情報を、操作モード制御部23に出力する。また、運転負荷取得部22は、取得した運転負荷が高いか否かを判定する機能を有している。なお、運転負荷が高い状態とは、例えば、ドライバーが、直ぐに、ハンドル操作またはペダル操作あるいはシフト操作等を必要とする状態のことである。
操作モード制御部23は、近接判定部21から送信された判定結果に基づいて、ナビゲーション操作モード、または、オーディオ操作モード及びエアコン操作モードを選択し、その選択結果をタッチ判定部25及び動作指示部26に出力する。また、操作モード制御部23は、運転負荷取得部22から送信された運転負荷情報を、動作指示部26に出力する。
操作モード制御部23は、割当変更部23aを有している。この割当変更部23aは、近接判定部21が検出範囲内にドライバーの手が存在すると判定した場合に、タッチ操作面の操作割当を、オーディオ操作モードの操作割当及びエアコン操作モードの操作割当に変更する。また、割当変更部23aは、近接判定部21から、ドライバーの手と助手席の乗員の手とが存在するという判定結果を受けた場合に、ドライバーの手がタッチ操作しようとする操作割当を優先する。
なお、タッチ操作面の操作割当とは、タッチ操作面上に設定されたタッチ操作範囲のことである。例えば、オーディオ操作モードの操作割当とは、オーディオ操作のためにタッチ操作面上に設定されたタッチ操作範囲のことである。また、エアコン操作モードの操作割当とは、エアコン操作のためにタッチ操作面上に設定されたタッチ操作範囲のことである。
タッチ検知部24は、乗員の手がタッチ操作面にタッチした場合に、タッチセンサから、そのタッチ操作面におけるタッチ位置に関するタッチ位置情報を取得し、そのタッチ位置情報をタッチ判定部25に出力する。
タッチ判定部25は、操作モード制御部23から送信された選択結果、及び、タッチ検知部24から送信されたタッチ位置情報に基づいて、乗員の手がタッチ操作面にタッチすることによって選択した操作割当の種類を判定する。
動作指示部26は、操作モード制御部23から送信された選択結果、及び、タッチ判定部25から送信された判定結果に基づいて、ナビゲーション装置11、HUD14、及び、スピーカ15のうち、少なくともいずれか1つに対して、動作指示を行う。この動作指示部26は、表示出力部26a及び音声出力部26bを有している。
表示出力部26aは、割当変更部23aによってタッチ操作面の操作割当がオーディオ操作モードの操作割当及びエアコン操作モードの操作割当に変更された場合に、その2つの操作割当に対応した、オーディオ操作モードの表示割当及びエアコン操作モードの表示割当をHUD14に表示させるための割当情報を、当該HUD14に出力するものである。また、表示出力部26aは、ドライバーに対する警告をHUD14に表示させるための警告情報を、当該HUD14に出力するものである。
音声出力部26bは、ドライバーに対する警告をスピーカ15から発生させるための警告情報を、当該スピーカ15に出力するものである。
次に、実施の形態1に係る表示制御装置のハードウェア構成について、図3を用いて説明する。図3Aは、実施の形態1に係る表示制御装置のハードウェア構成例を示した図である。図3Bは、実施の形態1に係る表示制御装置の他のハードウェア構成例を示した図である。
図3Aに示す如く、表示制御装置16は、コンピュータにより構成されており、当該コンピュータは、プロセッサ41及びメモリ42を有している。メモリ42には、そのコンピュータを、近接判定部21、運転負荷取得部22、操作モード制御部23、タッチ検知部24、タッチ判定部25、及び、動作指示部26として機能させるためのプログラムが記憶されている。メモリ42に記憶されているプログラムをプロセッサ41が読み出して実行することにより、近接判定部21、運転負荷取得部22、操作モード制御部23、タッチ検知部24、タッチ判定部25、及び、動作指示部26の機能が実現される。
または、図3Bに示す如く、表示制御装置16は、処理回路43を有するものであっても良い。この場合、近接判定部21、運転負荷取得部22、操作モード制御部23、タッチ検知部24、タッチ判定部25、及び、動作指示部26の機能が処理回路43により実現されるものであっても良い。
または、表示制御装置16は、プロセッサ41、メモリ42、及び、処理回路43を有するものであっても良い(不図示)。この場合、近接判定部21、運転負荷取得部22、操作モード制御部23、タッチ検知部24、タッチ判定部25、及び、動作指示部26の機能のうちの一部の機能がプロセッサ41及びメモリ42により実現されて、残余の機能が処理回路43により実現されるものであっても良い。
プロセッサ41は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)のうちの少なくとも一つを用いたものである。
メモリ42は、例えば、半導体メモリ又は磁気ディスクのうちの少なくとも一方を用いたものである。より具体的には、メモリ42は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、SSD(Solid State Drive)又はHDD(Hard Disk Drive)のうちの少なくとも一つを用いたものである。
処理回路43は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、SoC(System−on−a−Chip)又はシステムLSI(Large−Scale Integration)のうちの少なくとも一つを用いたものである。
次に、実施の形態1に係る表示制御装置の動作について、図4を用いて説明する。図4は、実施の形態1に係る表示制御装置の動作手順を示したフローチャートである。
ステップST1において、近接判定部21は、ドライバーの手が検出範囲内に存在するか否かを判定する。ここで、近接判定部21が、ドライバーの手が検出範囲内に存在すると判定した場合には、表示制御装置16の動作は、ステップST2に進む。一方、近接判定部21が、ドライバーの手が検出範囲内に存在しないと判定した場合には、表示制御装置16の動作は、ステップST1を繰り返す。
ステップST2において、運転負荷取得部22は、取得した運転負荷が高いか否かを判定する。ここで、運転負荷取得部22が、運転負荷が高くないと判定した場合には、表示制御装置16の動作は、ステップST3に進む。一方、運転負荷取得部22が、運転負荷が高いと判定した場合には、表示制御装置16の動作は、ステップST4に進む。
ステップST3において、割当変更部23aは、タッチ操作面の操作割当を、オーディオ操作モードの操作割当及びエアコン操作モードの操作割当に変更する。
一方、ステップST4において、表示出力部26aは、ドライバーに対する警告をHUD14に表示させるための警告情報を、当該HUD14に出力する。このとき、音声出力部26bは、ドライバーに対する警告をスピーカ15から発生させるための警告情報を、当該スピーカ15に出力しても構わない。
ステップST5において、タッチ検知部24は、タッチ操作面にオーディオ操作モードの操作割当及びエアコン操作モードの操作割当が設定されてから、一定時間内において、ドライバーの手がタッチ操作面にタッチしたか否かを判定する。ここで、タッチ検知部24が、ドライバーの手がタッチ操作面にタッチしたと判定した場合には、表示制御装置16の動作は、ステップST6に進む。一方、タッチ検知部24が、ドライバーの手がタッチ操作面にタッチしていないと判定した場合には、表示制御装置16の動作は、ステップST7に進む。
ステップST6において、表示出力部26aは、2つの操作割当に対応した2つの表示割当をHUD14に表示させるための割当情報を、当該HUD14に出力する。即ち、HUD14の表示割当は、オーディオ操作モードの操作割当に対応した表示割当、及び、エアコン操作モードの操作割当に対応した表示割当に変更される。
一方、ステップST7において、割当変更部23aは、タッチ操作面の操作割当を、オーディオ操作モードの操作割当及びエアコン操作モードの操作割当から、元の操作割当に戻す。そして、表示制御装置16の動作は、ステップST1に戻る。
次に、実施の形態1に係る表示制御システムにおけるナビゲーション画面及びタッチ操作面とHUDの表示画面との対応関係について、図5を用いて説明する。図5は、実施の形態1に係る表示制御装置によって連動して表示制御されるタッチ操作面、ナビゲーション画面、及び、HUDの表示画面を示した図である。なお、図5は、ドライバーの手が検出範囲内に存在する場合を想定したものである。
割当変更部23aは、ドライバーの手が検出範囲内に存在する場合に、ナビゲーション装置11におけるナビゲーション画面11bの表示内容を変更することなく、タッチ操作面11aの上半分部を、オーディオ操作モードの操作割当111に変更し、タッチ操作面11aの下半分部分を、エアコン操作モードの操作割当112に変更する。
これに対応して、表示出力部26aは、HUD14の上半分部分に、オーディオ操作モードの表示割当14bを表示させ、HUD14の下半分部分に、エアコン操作モードの表示割当14cを表示させる。
また、表示出力部26aは、ドライバーの手が操作割当111,112をタッチ操作する場合に、ドライバーの手の動きに連動する表示をHUD14に表示させるための連動情報を、当該HUD14に出力する。これにより、HUD14に表示されたアイコン14dの位置は、タッチ操作面11aをタッチ操作するドライバーの手の位置と対応している。アイコン14dの動きは、タッチ操作面11aをタッチ操作するドライバーの手の動きと連動する。
従って、表示制御装置16は、オーディオ操作モード及びエアコン操作モードに切り替えても、ナビゲーション画面11bの表示内容を変更しないため、ドライバーは、ナビゲーション画面11bに表示される道路案内情報を、そのまま見続けることができる。また、表示制御装置16は、オーディオ操作モード及びエアコン操作モードに切り替えても、ナビゲーション画面11bの表示内容を変更しないため、助手席の乗員がそのナビゲーション画面11bを利用して何かを視聴している場合であっても、その視聴を妨げることはない。なお、表示制御装置16は、オーディオ操作モード及びエアコン操作モードへの切り替え時において、ナビゲーション画面11bの表示内容を変更しても構わない。
表示制御装置16は、タッチ操作面11aをタッチ操作するドライバーの手の動きに連動して、HUD14に表示されたアイコン14dを動かすことができるため、ドライバーは、HUD14に表示されたアイコン14dを見ることで、自分の手がタッチ操作面11a上においてどこの位置にあるのかを、確認することができる。
表示制御装置16は、ドライバーの手を検出するための検出範囲を、タッチ操作面11aから前方に向けて所定の距離で、且つ、当該タッチ操作面11aの直上に設定することにより、オーディオ操作及びエアコン操作に関係のないステアリング操作及びシフト操作等によるドライバーの手の動きを誤検知することがない。なお、上記検出範囲は、必ずしも、タッチ操作面11aの直上に設定する必要はない。
以上より、実施の形態1に係る表示制御装置16は、近接検知装置12から送信された、タッチ操作面11aの前方に設定される検出範囲内に存在する物体の検出結果に基づいて、当該検出範囲内にドライバーの手が存在するか否かを判定する近接判定部21と、近接判定部21が検出範囲内にドライバーの手が存在すると判定した場合に、タッチ操作面11aの操作割当を変更する割当変更部23aと、割当変更部23aによってタッチ操作面11aの操作割当が変更された場合に、その変更した操作割当111,112に対応した表示割当14b,14cをHUD14に表示させるための割当情報を、当該HUD14に出力する表示出力部26aとを備えている。これにより、表示制御装置16は、高精度なセンサを必要とすることなく、タッチ操作面11aへのタッチ操作を行うことができる。近接検知装置12は、予め設定した検出範囲内において、物体の存在有無を検出するものであるため、例えば、ドライバーのジェスチャー等を検出可能とするセンサと比べて、精度が粗い検知装置となっている。
割当変更部23aは、変更した前記タッチ操作面の操作割当111,112を、2分割で設定する。これにより、表示制御装置16は、オーディオ操作モードの操作割当111及びエアコン操作モードの操作割当112を大まかにすることができるので、タッチ操作面11aに対するタッチ操作性を向上させることができる。
表示出力部26aは、2分割の表示割当14b,14cをHUD14に表示させるための割当情報を、当該HUD14に出力する。これにより、表示制御装置16は、オーディオ操作モードの表示割当14b及びエアコン操作モードの表示割当14cを、上下2段表示とすることにより、使用頻度の高いオーディオ操作モード及びエアコン操作モードを探す手間を省くと共に、ドライバーのタッチ操作面11aへのタッチ操作回数を減らすことができる。
表示制御装置16は、近接検知装置12の検出範囲をタッチ操作面11aの直上に設定する。これにより、表示制御装置16は、オーディオ操作及びエアコン操作に関係のないステアリング操作及びシフト操作等によるドライバーの手の動きの誤検知を防止することができる。
割当変更部23aは、タッチ操作面11aにおけるオーディオ操作モードの操作割当111及びエアコン操作モードの操作割当112を、ナビゲーション画面11bの表示内容を変更することなく、タッチ操作可能とする。これにより、表示制御装置16は、ドライバーのタッチ操作面11aへのタッチ操作が行われる場合であっても、ナビゲーション画面11bの視聴を妨げることはない。
割当変更部23aは、近接判定部21から、ドライバーの手と助手席の乗員の手とが存在するという判定結果を受けた場合に、ドライバーの手がタッチ操作しようとする操作割当を優先する。これにより、表示制御装置16は、助手席の乗員が、操作モードの変更に気付かず、タッチ操作しようとした場合であっても、ドライバーによる操作モードの変更を優先することができる。
例えば、助手席の乗員がタッチ操作面11aにおいてチャプター等のボタン操作を行っている状態で、ドライバーの手がタッチ操作面11aにタッチした場合には、表示制御装置16は、ナビゲーション画面11bの表示内容を変更することなく、操作モードを変更するため、ボタンは、ナビゲーション画面11bに表示されるものの、タッチ操作面11aには割り当てされていない。
表示出力部26aは、ドライバーのハンドル操作が必要となるときに、近接判定部21によってドライバーの手が検出範囲内に存在すると判定された場合に、ドライバーに対する警告をHUD14に表示させるための警告情報を、当該HUD14に出力する。これにより、表示制御装置16は、ドライバーに対して、ハンドル操作に専念させることができる。
表示出力部26aは、割当変更部23aによって変更されたタッチ操作面11aの操作割当111,112を、ドライバーの手がタッチ操作する場合に、ドライバーの手の動きに連動する表示をHUD14に表示させるための連動情報を、当該HUD14に出力する。これにより、表示制御装置16は、ドライバーがHUD14に表示されたアイコン14dを見ることにより、当該ドライバーに対して、自分の手がタッチ操作面11a上においてどこの位置にあるのかを、容易に確認させることができる。
実施の形態1に係る表示制御システムは、表示制御装置16と、タッチ操作面11aを有するタッチパネルが設けられるナビゲーション装置11と、タッチ操作面11aの操作割当111,112に対応する表示割当14b,14cを表示するHUD14とを備えている。これにより、表示制御システムは、高精度なセンサを必要とすることなく、タッチ操作面11aへのタッチ操作を行うことができる。
実施の形態1に係る表示制御方法は、近接検知装置12から送信された、タッチ操作面11aの前方に設定される検出範囲内に存在する物体の検出結果に基づいて、当該検出範囲内にドライバーの手が存在するか否かを、近接判定部21によって判定し、近接判定部21が検出範囲内にドライバーの手が存在すると判定した場合に、タッチ操作面11aの操作割当を、割当変更部23aによって変更し、割当変更部23aによってタッチ操作面11aの操作割当が変更された場合に、その変更した操作割当111,112に対応した表示割当14b,14cをHUD14に表示させるための割当情報を、表示出力部26aによって、HUD14に出力する。これにより、表示制御方法は、高精度なセンサを必要とすることなく、タッチ操作面11aへのタッチ操作を行うことができる。
実施の形態2.
実施の形態2に係る表示制御装置について、図6を用いて説明する。図6は、実施の形態2に係る表示制御装置によるHUDの表示制御を示した図である。なお、図6は、ドライバーの手が検出範囲内に存在してから、当該ドライバーのハンドル操作が必要となるまで、時間がある場合を想定している。
表示出力部26aは、ドライバーの手が検出範囲内に存在すると、現在の表示割当14aを、上下2分割の表示割当14b,14cに切り替える。そして、表示出力部26aは、ドライバーの次のハンドル操作まで所定時間以上ある場合に、ドライバーの次のハンドル操作に対応した道路情報表示割当14eをHUD14に追加表示させるための追加表示情報を、当該HUD14に出力する。これにより、HUD14は、表示割当14b,14cの表示に加えて、道路情報表示割当14eを追加表示する。この道路情報表示割当14eは、ドライバーの次のハンドル操作に対応した道路情報を表示するための範囲である。
以上より、実施の形態2に係る表示制御装置16の表示出力部26aは、ドライバーの次のハンドル操作に対応した道路情報表示割当14eをHUD14に追加表示させるための追加表示情報を、当該HUD14に出力する。これにより、表示制御装置16は、次のハンドル操作までに時間があると思っているドライバーが、オーディオ操作またはエアコン操作を行っているときに、当該ドライバーに対して、間もなく、ハンドル操作が必要であることを通知することができる。
実施の形態3.
実施の形態3に係る表示制御装置について、図7を用いて説明する。図7は、実施の形態3に係る表示制御装置によるHUDの表示制御を示した図である。なお、図7は、ドライバーの手が検出範囲内に存在して、操作モードがオーディオ操作モード及びエアコン操作モードに切り替わった場合を想定している。
表示出力部26aは、例えば、タッチ操作面11aにおける操作割当111,112のうち、操作割当111がタッチ操作されると、HUD14に対して、表示割当14b,14cの表示から、オーディオ操作モードに関する複数のコマンド操作ボタン141〜144の表示に切り替えさせる。
HUD14は、例えば、音楽を再生または停止するためのコマンド操作ボタン141、音楽を早送りまたは巻き戻しするためのコマンド操作ボタン142、音量を調整するためのコマンド操作ボタン143、及び、楽曲を選択するためのコマンド操作ボタン144を一括表示するだけでなく、コマンド切り替えボタン145についても同時に表示する。
コマンド切り替えボタン145は、上述した、オーディオ操作モードに関する複数のコマンド操作ボタン141〜144の一括表示から、ナビゲーション操作モードに関する複数のコマンド操作ボタンの一括表示、または、エアコン操作モードに関する複数のコマンド操作ボタンの一括表示に切り替えるためのものである。また、コマンド切り替えボタン145は、全ての操作モードにおけるコマンド操作ボタンの一括表示において、常に表示される。
即ち、表示出力部26aは、操作割当111とは別の操作割当112に対応したコマンド操作ボタンの表示に切り替え可能とするコマンド切り替えボタン145をHUD14に表示するためのボタン表示情報を、当該HUD14に出力する。これにより、表示出力部26aは、タッチ操作面11aへの1回のタッチ操作で、オーディオ操作モードに関する複数のコマンド操作ボタン141〜144の一括表示から、ナビゲーション操作モードに関する複数のコマンド操作ボタンの一括表示、または、エアコン操作モードに関する複数のコマンド操作ボタンの一括表示に切り替えることができる。
以上より、実施の形態3に係る表示制御装置16の表示出力部26aは、操作割当111とは別の操作割当112に対応したコマンド操作ボタンの表示に切り替え可能とするコマンド切り替えボタン145をHUD14に表示するためのボタン表示情報を、当該HUD14に出力する。これにより、表示制御装置16は、1度に表示するコマンド操作ボタン数量を適切に設定することができる。この結果、表示制御装置16は、ドライバーが、多種多様なコマンド操作ボタンの中から、操作対象となるコマンド操作ボタンを選択する際に、その操作対象となるコマンド操作ボタンを探すまでの時間を短くすることができる。よって、表示制御装置16は、ドライバーがHUD14を注視する時間を短くすることができる。
なお、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは、各実施の形態における任意の構成要素の変形、もしくは、各実施の形態における任意の構成要素の省略が可能である。
この発明に係る表示制御装置、表示制御システム、及び、表示制御方法は、検出範囲内にドライバーの手が存在した場合に、タッチ操作面の操作割当を変更し、その変更した操作割当に対応した表示割当をヘッドアップディスプレイに表示させることができるので、タッチ操作面の操作割当を変更可能とする表示制御装置、表示制御システム、及び、表示制御方法に適している。
11 ナビゲーション装置、11a タッチ操作面、111,112 操作割当、11b ナビゲーション画面、12 近接検知装置、13 道路情報受信器、14 HUD、14a〜14c 表示割当、14d アイコン、14e 道路情報表示割当、141〜144 コマンド操作ボタン、145 コマンド切り替えボタン、15 スピーカ、16 表示制御装置、21 近接判定部、22 運転負荷取得部、23 操作モード制御部、23a 割当変更部、24 タッチ検知部、25 タッチ判定部、26 動作指示部、26a 表示出力部、26b 音声出力部、41 プロセッサ、42 メモリ、43 処理回路。

Claims (12)

  1. 近接検知装置から送信された、タッチ操作面の前方に設定される検出範囲内に存在する物体の検出結果に基づいて、前記検出範囲内にドライバーの手が存在するか否かを判定する近接判定部と、
    前記近接判定部が前記検出範囲内にドライバーの手が存在すると判定した場合に、前記タッチ操作面の操作割当を変更する割当変更部と、
    前記割当変更部によって前記タッチ操作面の操作割当が変更された場合に、その変更した操作割当に対応した表示割当をヘッドアップディスプレイに表示させるための割当情報を、前記ヘッドアップディスプレイに出力する表示出力部とを備える
    ことを特徴とする表示制御装置。
  2. 前記割当変更部は、
    変更した前記タッチ操作面の操作割当を、2分割で設定する
    ことを特徴とする請求項1記載の表示制御装置。
  3. 前記表示出力部は、
    2分割の表示割当を前記ヘッドアップディスプレイに表示させるための前記割当情報を、前記ヘッドアップディスプレイに出力する
    ことを特徴とする請求項1記載の表示制御装置。
  4. 前記近接検知装置の検出範囲は、前記タッチ操作面の直上に設定される
    ことを特徴とする請求項1記載の表示制御装置。
  5. 前記割当変更部は、
    変更した前記タッチ操作面の操作割当を、ナビゲーション画面の表示内容を変更することなく、タッチ操作可能とする
    ことを特徴とする請求項1記載の表示制御装置。
  6. 前記割当変更部は、
    前記近接判定部から、ドライバーの手と助手席の乗員の手とが存在するという判定結果を受けた場合に、ドライバーの手がタッチ操作しようとする操作割当を優先する
    ことを特徴とする請求項5記載の表示制御装置。
  7. 前記表示出力部は、
    ドライバーのハンドル操作が必要となるときに、前記近接判定部によってドライバーの手が前記検出範囲内に存在すると判定された場合に、
    ドライバーに対する警告を前記ヘッドアップディスプレイに表示させるための警告情報を、前記ヘッドアップディスプレイに出力する
    ことを特徴とする請求項1記載の表示制御装置。
  8. 前記表示出力部は、
    前記割当変更部によって変更された前記タッチ操作面の操作割当を、ドライバーの手がタッチ操作する場合に、
    ドライバーの手の動きに連動する表示を前記ヘッドアップディスプレイに表示させるための連動情報を、前記ヘッドアップディスプレイに出力する
    ことを特徴とする請求項1記載の表示制御装置。
  9. 前記表示出力部は、
    ドライバーの次のハンドル操作に対応した道路情報表示割当を前記ヘッドアップディスプレイに追加表示させるための追加表示情報を、前記ヘッドアップディスプレイに出力する
    ことを特徴とする請求項1記載の表示制御装置。
  10. 前記表示出力部は、
    別の操作割当に対応したコマンド操作ボタンの表示に切り替え可能とするコマンド切り替えボタンを前記ヘッドアップディスプレイに表示するためのボタン表示情報を、前記ヘッドアップディスプレイに出力する
    ことを特徴とする請求項1記載の表示制御装置。
  11. 請求項1から請求項10のうちのいずれか1項記載の表示制御装置と、
    前記タッチ操作面を有するタッチパネルが設けられるナビゲーション装置と、
    前記タッチ操作面の操作割当に対応する表示割当を表示する前記ヘッドアップディスプレイとを備える
    ことを特徴とする表示制御システム。
  12. 近接検知装置から送信された、タッチ操作面の前方に設定される検出範囲内に存在する物体の検出結果に基づいて、前記検出範囲内にドライバーの手が存在するか否かを、近接判定部によって判定し、
    前記近接判定部が前記検出範囲内にドライバーの手が存在すると判定した場合に、前記タッチ操作面の操作割当を、割当変更部によって変更し、
    前記割当変更部によって前記タッチ操作面の操作割当が変更された場合に、その変更した操作割当に対応した表示割当をヘッドアップディスプレイに表示させるための割当情報を、表示出力部によって、前記ヘッドアップディスプレイに出力する
    ことを特徴とする表示制御方法。
JP2020568890A 2019-01-28 2019-01-28 表示制御装置、表示制御システム、及び、表示制御方法 Active JP7042931B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002740 WO2020157800A1 (ja) 2019-01-28 2019-01-28 表示制御装置、表示制御システム、及び、表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2020157800A1 true JPWO2020157800A1 (ja) 2021-09-09
JP7042931B2 JP7042931B2 (ja) 2022-03-28

Family

ID=71841440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568890A Active JP7042931B2 (ja) 2019-01-28 2019-01-28 表示制御装置、表示制御システム、及び、表示制御方法

Country Status (3)

Country Link
US (1) US20210379995A1 (ja)
JP (1) JP7042931B2 (ja)
WO (1) WO2020157800A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318576B2 (ja) * 2020-03-18 2023-08-01 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両
US20220297704A1 (en) * 2021-03-18 2022-09-22 Wind River Systems, Inc. Detecting Vehicle Infotainment User Position

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000071809A (ja) * 1998-06-16 2000-03-07 Fujikura Ltd 車載用入力装置
JP2015085807A (ja) * 2013-10-30 2015-05-07 トヨタ車体株式会社 車載用表示システム
US20150130759A1 (en) * 2013-11-11 2015-05-14 Hyundai Motor Company Display apparatus, vehicle equipped with the display apparatus and control method for the display apparatus
US20150291032A1 (en) * 2014-04-10 2015-10-15 Lg Electronics Inc. Vehicle Control Apparatus And Method Thereof
JP2017114191A (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000071809A (ja) * 1998-06-16 2000-03-07 Fujikura Ltd 車載用入力装置
JP2015085807A (ja) * 2013-10-30 2015-05-07 トヨタ車体株式会社 車載用表示システム
US20150130759A1 (en) * 2013-11-11 2015-05-14 Hyundai Motor Company Display apparatus, vehicle equipped with the display apparatus and control method for the display apparatus
US20150291032A1 (en) * 2014-04-10 2015-10-15 Lg Electronics Inc. Vehicle Control Apparatus And Method Thereof
JP2017114191A (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置

Also Published As

Publication number Publication date
JP7042931B2 (ja) 2022-03-28
WO2020157800A1 (ja) 2020-08-06
US20210379995A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US20180232057A1 (en) Information Processing Device
EP2726970B1 (en) Vehicle operation device and vehicle operation method
JP4836050B2 (ja) 車載電子機器用入力システム
JP6269343B2 (ja) 車両用操作装置
WO2009128148A1 (ja) 遠隔操作装置
JP2008260519A (ja) 操作ユニットおよび操作方法
US20070013676A1 (en) Display apparatus
US20190322176A1 (en) Input device for vehicle and input method
JP2007331692A (ja) 車載電子装置およびタッチパネル装置
JP4649933B2 (ja) 車両用情報表示装置
WO2016084360A1 (ja) 車両用表示制御装置
JP2007042029A (ja) 表示装置およびプログラム
JP2006264615A (ja) 車両用表示装置
JP7042931B2 (ja) 表示制御装置、表示制御システム、及び、表示制御方法
US20220155088A1 (en) System and method for point of interest user interaction
US20130201126A1 (en) Input device
US20190187797A1 (en) Display manipulation apparatus
WO2019111515A1 (ja) 入力装置、及び、入力方法
US9262997B2 (en) Image display apparatus
JP2008114772A (ja) 表示装置
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
JP6414288B2 (ja) 車両用操作装置
JP2001325072A (ja) タッチ操作入力装置
JP2011107900A (ja) 入力表示装置
US11126282B2 (en) System and method for touchpad display interaction with interactive and non-interactive regions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150