JP7002207B2 - 自動車用表示装置 - Google Patents

自動車用表示装置 Download PDF

Info

Publication number
JP7002207B2
JP7002207B2 JP2017070374A JP2017070374A JP7002207B2 JP 7002207 B2 JP7002207 B2 JP 7002207B2 JP 2017070374 A JP2017070374 A JP 2017070374A JP 2017070374 A JP2017070374 A JP 2017070374A JP 7002207 B2 JP7002207 B2 JP 7002207B2
Authority
JP
Japan
Prior art keywords
display
automobile
avoidance
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017070374A
Other languages
English (en)
Other versions
JP2018173733A (ja
Inventor
徳昭 田口
雅俊 保科
隆良 仲井
俊介 真壁
寛基 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017070374A priority Critical patent/JP7002207B2/ja
Publication of JP2018173733A publication Critical patent/JP2018173733A/ja
Application granted granted Critical
Publication of JP7002207B2 publication Critical patent/JP7002207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、自動車用表示装置に係り、特に、自動運転される自動車に搭乗した搭乗者に対して自動車の走行画像を表示する自動車用表示装置に関する。
従来から、自動運転される自動車に搭乗した搭乗者に対して自動車の走行画像を表示する自動車用表示装置が用いられている。この自動車用表示装置により自動車の走行画像を表示することで搭乗者が自動車の走行環境を把握することができ、自動運転される自動車に搭乗者が安心して搭乗することができる。
しかしながら、搭乗者は、自動車の走行の変化を事前に把握することができないため不安になるおそれがあった。
そこで、搭乗者が自動車の走行の変化を事前に把握する技術として、例えば、特許文献1には、自動運転中の自車両が次に取ろうとしている走行行動を搭乗者に直観的かつ瞬間的に分かり易く予告表示する車両用画像表示システムが提案されている。この車両用画像表示システムは、自車両の走行行動を視覚的なイメージ画像として予告表示させるため、搭乗者が自動車の走行の変化を事前に把握することができる。
特開2016-182891号公報
しかしながら、特許文献1の車両用画像表示システムは、自動車の走行において安全性が低い回避区間の走行画像、例えば道路上の障害物を回避する回避区間の走行画像も表示するため、その走行画像を視認した搭乗者を不安にさせるおそれがあった。
この発明は、このような従来の問題点を解消するためになされたもので、自動車の自動運転に対する搭乗者の不安を抑制する自動車用表示装置を提供することを目的とする。
この発明に係る自動車用表示装置は、自動車が走行する道路の安全性を確認しつつ自動運転される自動車に配置され、自動車の走行画像を取得して表示する自動車用表示装置であって、取得される走行画像を順次格納する画像メモリと、自動車に搭乗する搭乗者に対して走行画像を表示する表示部と、道路の安全性が所定の値より低い回避区間を通過した後に、回避区間の走行画像を画像メモリから読み出して表示部に表示させる表示制御部とを備えるものである。
ここで、表示制御部は、回避区間を通過中に表示部における走行画像の表示を消去または一時停止させることが好ましい。
また、表示制御部は、回避区間を通過中に搭乗者に対する警報を表示部に表示させることができる。
また、自動車を回避区間で制御するために算出される複数の回避制御候補を取得して、複数の回避制御候補にそれぞれ応じた自動車の複数の動作結果を算出する動作算出部をさらに有し、表示制御部は、動作算出部で算出された複数の動作結果を表示部に表示させることができる。
この発明によれば、表示制御部が自動車の走行における安全性が所定の値より低い回避区間を通過した後に回避区間の走行画像を画像メモリから読み出して表示部に表示させるので、自動車の自動運転に対する搭乗者の不安を抑制する自動車用表示装置を提供することが可能となる。
この発明の実施の形態1に係る自動車用表示装置を備えた自動車の構成を示す図である。 自動車用表示装置の構成を示すブロック図である。 回避区間において自動車が回避制御される様子を示す図である。 実施の形態2に係る自動車用表示装置の構成を示すブロック図である。
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態1
図1に、この発明の実施の形態1に係る自動車用表示装置を備えた自動車の構成を示す。この自動車は、自動運転と手動運転とを切り換え可能に構成されたものであり、運転席1と、運転席1の前方に配置されたインストルメントパネル2と、運転席1とインストルメントパネル2との間に配置されたステアリング3と、インストルメントパネル2に配置された自動車用表示装置4と、インストルメントパネル2に配置された運転制御部5とを有する。
インストルメントパネル2は、車室の前部を車幅方向に延びるように配置され、自動運転と手動運転とを切り換えるスイッチなどの様々な車載機器が設けられている。なお、自動運転としては、自動車の運転を完全に制御するものだけでなく、搭乗者Dの運転を部分的に支援する運転支援システムも含むものである。
ステアリング3は、手動運転時に搭乗者Dが自動車を操舵するためのものであり、自動運転時には収納可能に形成されている。
自動車用表示装置4は、運転席1に座る搭乗者Dに対して自動車が走行する走行画像を表示するものであり、搭乗者Dの前方において視認可能な位置に配置されている。
運転制御部5は、搭乗者Dによる自動運転と手動運転の切り換えに応じて自動車の運転を制御するものである。運転制御部5は、図示しない記憶部と位置取得部とを有し、自動運転時には、記憶部に予め記憶された地図データと位置取得部から得られる自動車の現在の位置とに基づいて自動車が目的地まで走行する経路を算出し、その経路に基づいて自動車の運転を制御する。また、運転制御部5は、手動運転時には搭乗者Dによるステアリング3などの操作量に応じて自動車の運転を制御する。
次に、自動車用表示装置4および運転制御部5の構成について詳細に説明する。
図2示すように、運転制御部5は、画像取得部6を有し、この画像取得部6に安全性算出部7、操作制御部8および操作部9が順次接続されている。
画像取得部6は、自動車が道路を走行する走行画像を取得するもので、自動車のフロントガラスの上縁部近傍に配置されている。画像取得部6としては、例えば自動車の走行画像を撮影するカメラなどから構成することができる。
安全性算出部7は、画像取得部6で取得された走行画像に基づいて自動車が走行する道路の安全性を算出する。
操作制御部8は、安全性算出部7で算出された安全性に基づいて自動運転の制御量を算出する。すなわち、操作制御部8は、道路の安全性が予め設定された安全値以上である場合には安全に走行可能な安全区間と判断し、地図データと自動車の現在の位置とに基づいて算出された通常の制御量に従って操作部9を制御する。また、操作制御部8は、道路の安全性が予め設定された安全値より低い場合には回避行動が必要な回避区間と判断し、その回避行動を行う回避制御量を算出して回避制御量に従って操作部9を制御する。ここで、回避制御量としては、例えば、制動量および転舵量などが挙げられる。
操作部9は、自動車を操作、例えば制動および転舵などを行うものである。
一方、自動車用表示装置4は、運転制御部5の操作制御部8に接続された表示制御部11を有し、この表示制御部11に表示部12および画像メモリ15がそれぞれ接続されている。表示部12は、画像表示部13および警報表示部14を有し、この画像表示部13および警報表示部14がそれぞれ表示制御部11に接続されている。
画像メモリ15は、運転制御部5の画像取得部6で取得された走行画像を順次格納する。
表示部12は、自動車に搭乗する搭乗者Dに対して情報を表示するものである。画像表示部13は、搭乗者Dに対して画像取得部6で取得された走行画像を表示する。また、警報表示部14は、搭乗者Dに対して警報を表示する。
表示制御部11は、操作制御部8で算出される回避区間の情報に基づいて、自動車が回避区間を通過した後に、回避区間の走行画像を画像メモリ15から読み出して表示部12の画像表示部13に表示させる。また、表示制御部11は、操作制御部8で算出される回避区間の情報に基づいて、自動車が回避区間を通過中に搭乗者Dに対する警報を表示部12の警報表示部14に表示させる。
なお、安全性算出部7、操作制御部8、回避区間算出部10および表示制御部11は、CPUと、CPUに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。
次に、この実施の形態の動作について説明する。
まず、図1に示すように、運転席1に座る搭乗者Dがステアリング3を操舵して自動車が運転される。ここで、自動車が自動運転される場合には、運転制御部5が、地図データと自動車の現在の位置とに基づいて自動車が走行する走行経路を算出し、その走行経路に基づいて自動車を制御する。
この時、運転制御部5は、自動車が走行する道路の安全性を確認しつつ自動車の自動運転を制御する。すなわち、図2に示すように、運転制御部5の画像取得部6が道路を走行する自動車の走行画像を撮影し、その走行画像が画像取得部6から安全性算出部7に出力される。安全性算出部7は、画像取得部6から走行画像が入力されると、その走行画像に基づいて自動車が走行する道路の安全性を算出する。安全性算出部7は、算出された安全性を操作制御部8に出力する。
安全性算出部7から操作制御部8に道路の安全性が入力されると、操作制御部8は、予め設定された安全値に基づいて自動車が走行する道路が安全区間であるか、または回避区間であるかを判定する。この時、操作制御部8は、道路の安全性が安全値以上である場合には安全区間であると判定し、通常の制御量に従って操作部9を制御する。また、操作制御部8は、道路の安全性が安全値より低い場合には回避区間であると判定し、回避制御量に従って操作部9を制御する。
例えば、図3に示すように、自動車Mが道路Rの通常区間T1を走行している時に前方に障害物Pが検出されると、操作制御部8は、道路Rの安全性が安全値より低い回避区間であると判定し、障害物Pと自動車Mの相対位置情報などに基づいて回避制御量を算出する。例えば、操作制御部8は、制動を行う回避区間T2を設定すると共に転舵を行う回避区間T3を設定し、回避区間T2における制動量と回避区間T3における転舵量をそれぞれ算出する。ここで、制動量としては、制動を開始および終了するタイミング、すなわち自動車Mが回避区間T2に進入および通過するタイミング、並びに、回避区間T2における制動の度合いなどが挙げられる。また、転舵量としては、自動車Mが回避区間T3に進入および通過するタイミング並びに回避区間T3における転舵の度合いなどが挙げられる。
操作制御部8は、算出された制動量と転舵量に従って操作部9を制御し、自動車Mを回避区間T2において制動させた後、回避区間T3において右側へ転舵することで、障害物Pを回避することができる。このように、運転制御部5が、安全性に基づいて自動運転を制御するため、自動車Mを安全に走行させることができる。
ここで、操作制御部8は、算出された通常区間T1、回避区間T2および回避区間T3の制御情報を自動車用表示装置4の表示制御部11にも出力する。また、操作制御部8は、画像取得部6で撮影された走行画像を表示制御部11に順次出力する。
表示制御部11は、操作制御部8から入力された通常区間T1、回避区間T2および回避区間T3の制御情報に基づいて表示部12の表示を制御する。具体的には、表示制御部11は、自動車Mが通常区間T1を走行している間は、操作制御部8から入力される自動車Mの走行画像を画像表示部13に順次表示させる。続いて、表示制御部11は、自動車Mが回避区間T2に進入するタイミングで、画像表示部13における走行画像の表示を消去すると共に警報表示部14に搭乗者Dに対する警報を表示させる。そして、表示制御部11は、自動車Mが回避区間T3を通過するまで、画像表示部13における走行画像の表示を消去すると共に警報表示部14に警報を表示する。
このように、表示制御部11は、自動車Mが回避区間T2およびT3を通過中に画像表示部13における走行画像の表示を消去するため、自動車Mの回避行動に不安を感じる搭乗者Dに対して走行画像を視認させることによりさらに不安が増大することを抑制し、搭乗者Dが混乱して2次的な事故が引き起こされるのを防ぐことができる。なお、表示制御部11は、自動車Mが回避区間T2およびT3を通過中に画像表示部13における走行画像の表示を一時停止させてもよい。
また、表示制御部11は、自動車Mが回避区間T2およびT3を通過中に搭乗者Dに対する警報を警報表示部14に表示させるため、搭乗者Dが自動車Mの回避行動を認識することができ、自動車Mの回避行動に対する不安を抑制することができる。
なお、この回避区間T2およびT3において、表示制御部11は、操作制御部8から入力される回避区間T2およびT3の走行画像を画像メモリ15に順次格納している。
続いて、表示制御部11は、自動車Mが回避区間T3を通過して通常区間T1に進入するタイミングで、画像表示部13における走行画像の表示を復帰させると共に警報表示部14に表示された警報を消す。そして、通常区間T1において、表示制御部11は、操作制御部8から入力される自動車Mの走行画像を画像表示部13に順次表示させる。
ここで、表示制御部11は、回避区間T2およびT3を通過した後において道路Rの安全性が予め設定された安全値以上である時、例えば通常区間T1を走行している時および停車している時などに、回避区間T2およびT3の走行画像を画像メモリ15から読み出して画像表示部13に表示させる。例えば、表示制御部11は、自動車Mが回避区間T2に進入するタイミングおよび回避区間T3を通過したタイミングに基づいて画像メモリ15を検索し、回避区間T2およびT3に対応する走行画像フレームを画像メモリ15から読み出して画像表示部13に表示することができる。
これにより、自動車Mの回避行動による不安が解消された時に回避区間T2およびT3の走行画像を搭乗者Dに確認させることができ、自動車Mが障害物Pを危険なく回避する様子を搭乗者Dが落ち着いた状態で確認することで、自動車Mの自動運転に対する搭乗者Dの不安を抑制することができる。
本実施の形態によれば、自動車Mが回避区間T2およびT3を通過した後に、表示制御部11が回避区間T2およびT3の走行画像を画像メモリ15から読み出して画像表示部13に表示させるため、自動車Mの自動運転に対する搭乗者Dの不安を抑制することができる。
実施の形態2
実施の形態1では、表示制御部11は、回避区間T2およびT3に対応する実際の走行画像のみを画像表示部13に表示させたが、実際の走行制御とは異なる制御による自動車の走行結果を算出して、その走行結果を走行画像と共に画像表示部13に表示させることもできる。
例えば、図4に示すように、実施の形態1において操作制御部8と表示制御部11に動作算出部21を新たに接続することができる。
動作算出部21は、自動車Mを回避区間T2およびT3で制御するために操作制御部8で算出される複数の回避制御候補を取得して、複数の回避制御候補にそれぞれ応じた自動車Mの複数の動作結果を算出する。
表示制御部11は、動作算出部21で算出された回避区間T2およびT3の複数の動作結果を表示部12に表示させる。
まず、実施の形態1と同様に、操作制御部8が、自動車Mを回避区間T2およびT3で制動および転舵させるための回避制御を算出する。この時、操作制御部8は、回避区間T2およびT3で実施する可能性のある複数の回避制御候補を算出している。例えば、操作制御部8は、回避区間T2およびT3で制動および転舵を行う第1の回避制御候補と共に、回避区間T2で制動のみを行う第2の回避制御候補および回避区間T3で転舵のみを行う第3の回避制御候補を算出する。そして、操作制御部8は、回避行動の安全性に基づいて3つの回避制御候補を順位付けし、最も安全性が高い第1の回避制御候補に基づいて操作部9を制御する。
ここで、操作制御部8は、3つの回避制御候補を自動車用表示装置4の動作算出部21に出力する。動作算出部21は、操作制御部8から3つの回避制御候補が入力されると、3つの回避制御候補にそれぞれ応じた自動車Mの複数の動作結果を算出する。例えば、第2の回避制御候補に応じて回避区間T2で制動のみを行った動作結果としては、自動車Mが第2の回避制御候補により停止した時の障害物Pと自動車Mとの距離を算出することができる。また、第3の回避制御候補に応じて回避区間T3で転舵のみを行った動作結果としては、自動車Mが第3の回避制御候補により転舵した時の障害物Pと自動車Mとの距離を算出することができる。
この時、動作算出部21は、算出された複数の動作結果に基づいて自動車Mの動作をシミュレーションし、模擬的な走行画像を生成することが好ましい。
算出された自動車Mの複数の動作結果は、動作算出部21から表示制御部11に出力される。表示制御部11は、動作算出部21から自動車Mの複数の動作結果が入力されると、その複数の動作結果を走行画像と共に画像表示部13に表示させる。
これにより、搭乗者Dが複数の動作結果を比較することができ、自動車Mが最も安全性が高い第1の回避制御候補で制御されたことを搭乗者Dが確認することで、自動車Mの自動運転に対する搭乗者Dの不安を確実に抑制することができる。
なお、搭乗者Dは、複数の動作結果を比較した時に実際の動作結果より好ましい動作結果が存在する場合には、図示しない制御選択部により複数の回避制御候補から好ましい回避制御候補を選択することができる。これにより、今後、安全算出部7により今回と同様の安全性が算出された場合には、操作制御部8は、搭乗者Dにより選択された回避制御候補により自動車Mを回避制御することができ、自動車Mの回避制御を最適化することができる。
本実施の形態によれば、動作算出部21が複数の回避制御候補にそれぞれ応じた自動車Mの複数の動作結果を算出し、表示制御部11が動作算出部21で算出された複数の動作結果を表示部12に表示させるため、搭乗者Dが複数の動作結果を比較することができ、自動車Mの自動運転に対する搭乗者Dの不安を確実に抑制することができる。
なお、上記の実施の形態1および2では、安全性算出部7は、画像取得部6で取得された走行画像に基づいて自動車Mが走行する道路の安全性を算出したが、道路の安全性を算出することができればよく、走行画像に限られるものではない。例えば、レーザレーダ、ミリ波レーダおよび超音波センサなどのセンサから取得される周辺情報に基づいて道路の安全性を算出することもできる。この時、画像取得部6は、表示制御部11に直接接続することができる。
また、上記の実施の形態1および2では、表示制御部11は、回避区間T2およびT3を通過中に表示部12における走行画像の表示を消去させたが、回避区間T2およびT3の安全性に応じて走行画像を表示するか否かを選択することができる。例えば、表示制御部11は、回避区間T2およびT3の安全性がある程度高い場合には表示部12に走行画像を表示し、回避区間T2およびT3の安全性が低い場合には表示部12における走行画像の表示を消去することができる。
1 運転席、2 インストルメントパネル、3 ステアリング、4 自動車用表示装置、5 運転制御部、6 画像取得部、7 安全性算出部、8 操作制御部、9 操作部、11 表示制御部、12 表示部、13 画像表示部、14 警報表示部、15 画像メモリ、21 動作算出部、D 搭乗者、M 自動車、R 道路、T1 通常区間、T2,T3 回避区間、P 障害物。

Claims (2)

  1. 自動車が走行する道路の安全性を確認しつつ自動運転される前記自動車に設置されたカメラにより撮影した走行画像を取得して表示する自動車用表示装置であって、
    取得される前記走行画像を順次格納する画像メモリと、
    前記自動車に搭乗する搭乗者に対して前記走行画像を表示する表示部と、
    前記自動車の自動運転中、前記自動車が走行する前記道路の前記安全性が所定の値以上の安全区間では、前記走行画像を順次表示し、前記自動車が走行する前記道路の前記安全性が前記所定の値より低い回避区間では、前記走行画像の表示を消去または一次停止させ、前記回避区間を通過した後に、前記回避区間の前記走行画像を前記画像メモリから読み出して前記表示部に表示させる表示制御部とを備える自動車用表示装置。
  2. 前記表示制御部は、前記回避区間を通過中に前記搭乗者に対する警報を前記表示部に表示させる請求項1記載の自動車用表示装置。
JP2017070374A 2017-03-31 2017-03-31 自動車用表示装置 Active JP7002207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017070374A JP7002207B2 (ja) 2017-03-31 2017-03-31 自動車用表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017070374A JP7002207B2 (ja) 2017-03-31 2017-03-31 自動車用表示装置

Publications (2)

Publication Number Publication Date
JP2018173733A JP2018173733A (ja) 2018-11-08
JP7002207B2 true JP7002207B2 (ja) 2022-01-20

Family

ID=64106624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017070374A Active JP7002207B2 (ja) 2017-03-31 2017-03-31 自動車用表示装置

Country Status (1)

Country Link
JP (1) JP7002207B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750763A (zh) * 2022-04-22 2022-07-15 重庆长安汽车股份有限公司 一种场景重构的优化方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002264692A (ja) 2001-03-09 2002-09-18 Nissan Motor Co Ltd 車両用表示装置
JP2015031978A (ja) 2013-07-31 2015-02-16 日産自動車株式会社 情報提供装置及び方法
JP2016182891A (ja) 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002264692A (ja) 2001-03-09 2002-09-18 Nissan Motor Co Ltd 車両用表示装置
JP2015031978A (ja) 2013-07-31 2015-02-16 日産自動車株式会社 情報提供装置及び方法
JP2016182891A (ja) 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法

Also Published As

Publication number Publication date
JP2018173733A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
US11230284B2 (en) Driving assistance apparatus and driving assistance method
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
KR102276096B1 (ko) 디스플레이 유닛 상에 디스플레이하기 위한 부가 정보의 삽입을 계산하기 위한 방법, 상기 방법을 수행하기 위한 장치 그리고 자동차 및 컴퓨터 프로그램
US10449971B2 (en) Travel control device
US9522700B2 (en) Driving support apparatus for vehicle and driving support method
EP2988098B1 (en) Driver assistance system with non-static symbol of fluctuating shape
CN108569205B (zh) 图像显示装置
JP6252365B2 (ja) 安全確認支援システム、安全確認支援方法
JP6939774B2 (ja) 運転支援システムおよび表示装置
CN108140314A (zh) 停车辅助方法及停车辅助装置
KR20190003657A (ko) 운전 제어 방법 및 운전 제어 장치
JP2016182891A (ja) 車輌用画像表示システム及び方法
JP2005078414A (ja) 車両走行支援装置
KR20150061422A (ko) 자동 주차 보조 시스템
CN107650794A (zh) 流动通道检测和显示系统
JP2006309552A (ja) 車両用表示装置
US12319305B2 (en) Display control device, display control method, and recording medium
JP2008222167A (ja) 乗員特定装置
JP2005297810A (ja) 車両用表示システム及びプログラム
JP2018100008A (ja) 車両用表示装置
JP6991794B2 (ja) 車両用表示装置および表示制御方法
JP7002207B2 (ja) 自動車用表示装置
JP2008044529A (ja) 駐車支援装置、自動車、及び駐車支援方法
US20230347915A1 (en) Method and System for Predicting the Functional Quality of a Driver Assistance Function
JP2020077126A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250