JP7130994B2 - 車載機、後退判定方法、及び後退判定プログラム - Google Patents
車載機、後退判定方法、及び後退判定プログラム Download PDFInfo
- Publication number
- JP7130994B2 JP7130994B2 JP2018043971A JP2018043971A JP7130994B2 JP 7130994 B2 JP7130994 B2 JP 7130994B2 JP 2018043971 A JP2018043971 A JP 2018043971A JP 2018043971 A JP2018043971 A JP 2018043971A JP 7130994 B2 JP7130994 B2 JP 7130994B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- reversing
- unit
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
特許文献1記載の車両運転評価システムでは、主制御部がシフトポジションセンサ、ウインカセンサ、ブレーキセンサなどに接続されている。例えば、特許文献1に記載されているような車両運転評価システムを、車両の購入後に取り付ける、いわゆる後付けしようとした場合、前記主制御部を前記シフトポジションセンサなどに接続しなければならず、車両への後付け作業に手間を要する。また、後付けで前記主制御部を前記シフトポジションセンサなどに接続できない場合、自車両に後進シーンが到来したと特定することができず、運転者の後方確認動作を正しく検出できないという課題があった。
車両に後付けで搭載される車載機であって、
前記車両の位置情報を取得する位置取得部と、
該位置取得部で取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出部と、
前記車両に生じる前後方向の加速度を測定する加速度測定部と、
前記速度算出部で算出された前記車両の速度と、前記加速度測定部で測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定部とを備えていることを特徴としている。
前記車両の運転者の画像を撮像する撮像部と、
該撮像部で撮像された前記運転者の画像から前記運転者の顔の向き又は視線の方向の少なくともいずれかを検出する向き検出部と、
該向き検出部で検出された前記運転者の顔の向き又は視線の方向の少なくともいずれかを用いて、前記運転者の脇見を判定する脇見判定部とを備え、
前記処理切替部が、前記後退判定部により前記車両の後退が判定された場合に、前記脇見判定部の処理を後退時用に切り替えるものであることを特徴としている。
前記車両の位置情報を取得する位置取得ステップと、
該位置取得部で取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出ステップと、
前記車両に生じる前後方向の加速度を測定する加速度測定ステップと、
前記速度算出ステップで算出された前記車両の速度と、前記加速度測定ステップで測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定ステップとを含むステップを備えていることを特徴としている。
前記少なくとも1つのコンピュータに、
前記車両の位置情報を取得する位置取得ステップと、
該位置取得ステップで取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出ステップと、
前記車両に生じる前後方向の加速度を測定する加速度測定ステップと、
前記速度算出ステップで算出された前記車両の速度と、前記加速度測定ステップで測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定ステップとを実行させることを特徴としている。
図1は、実施の形態に係る車載機の特徴部分を示す機能構成ブロック図である。
車載機10は、車両2に後付けで搭載される装置であり、例えば、車両2の運転者の状態をモニタリングする装置、又は運転者の運転評価に用いるデータを取得して、外部へ送信する装置として適用される。
運転者の運転評価に用いるデータには、運転者の状態、車両の位置、及び車両の挙動のうちの少なくともいずれかが含まれている。
運転者の運転評価には、例えば、運転者の運転操作行為に関する評価、交差点における安全確認動作に関する評価、運転時の集中状態に関する評価などが含まれる。
交差点における安全確認動作には、通過した各交差点での運転者の安全確認のタイミング、確認角度、確認時間、又は交差点への進入速度などが含まれている。
運転時の集中状態には、運転者の眠気の検出状態(時間、頻度)、脇見の検出状態(時間、頻度)などが含まれている。
さらに、車載機10は、後退判定部19adにより車両2の後退が判定された場合に、所定の処理を後退時用に切り替える処理切替部19aeを備えている。
例えば、後退判定部19adは、速度算出部19abにより車両2の停車状態を示す速度(例えば、速度=0)が算出された後、加速度測定部19acにより車両2に生じる後方向の加速度(負の値の加速度)が測定された場合に、車両2が後退していると判定する。
処理切替部19aeは、後退判定部19adにより車両2の後退が判定された場合に、運転者の脇見を判定する脇見判定処理を後退時用に切り替える処理を行ってもよい。運転者の脇見状態は、運転者の顔の向き又は視線の方向の少なくともいずれかを用いて判定される。
図2は、実施の形態に係る車載機10の要部を概略的に示すブロック図である。
車載機10は、プラットフォーム部11及びドライバモニタリング部20を含んで構成されている。また、車載機10にドライブレコーダ部30が接続されている。
なお、角速度センサ13には、鉛直軸回りの1軸ジャイロセンサの他、左右方向の水平軸回り(ピッチ方向)の角速度も検出する2軸ジャイロセンサ、さらに前後方向の水平軸回り(ロール方向)の角速度も検出する3軸ジャイロセンサを用いてもよい。これらジャイロセンサには、振動式ジャイロセンサの他、光学式、機械式のジャイロセンサを用いることができる。
ドライバカメラ21は、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御するカメラ制御部などを含んで構成されている。
車外カメラ31は、車両2の前方の画像を撮像するカメラであり、車内カメラ32は、車両2の室内の画像を撮像するカメラである。車外カメラ31と車内カメラ32は、例えば、可視光カメラで構成され得るが、近赤外線カメラなどで構成してもよい。
車外カメラ31と車内カメラ32は、それぞれ所定のフレームレート(例えば、毎秒30~60フレーム)で画像を撮像し、車外カメラ31と車内カメラ32で撮像された画像と撮像日時などのデータがプラットフォーム部11へ送出され、プラットフォーム部11のRAM19b又は記憶部17に記憶される。なお、ドライブレコーダ部30は車外カメラ31のみ備えた構成としてもよい。
運転評価システム1は、車両2に乗車している運転者3の安全確認動作を評価するためのシステムであって、少なくとも1台以上の車両2に搭載される車載機10と、各車載機10から取得したデータを用いて、各運転者3の運転評価を行う、少なくとも1つ以上のサーバ装置40とを含んで構成されている。
通信ユニット41は、通信ネットワーク4を介して、車載機10や事業者端末80などとの間で各種のデータや信号の送受信を実現するための通信装置で構成されている。
サーバコンピュータ50は、1つ以上のCPUを含んで構成される中央処理装置と、制御プログラムが記憶されたメインメモリとを含んで構成されている。前記中央処理装置は、前記メインメモリ中の制御プログラムに従って、各種処理を実行するようになっている。
記憶ユニット60は、例えば、ハードディスクドライブ、ソリッドステートドライブなど、1つ以上の大容量記憶装置で構成されている。
図4は、実施の形態に係る車載機10におけるドライバモニタリング部20が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバカメラ21で画像が撮像されるタイミング(例えば、毎フレーム、又は所定間隔のフレーム毎)で実行される。
視線の方向は、例えば、様々な顔の向きと視線方向の目の画像の特徴量(目尻、目頭、瞳孔の相対位置、又は強膜(いわゆる白目)部分と虹彩(いわゆる黒目)部分の相対位置、濃淡、テクスチャーなど)とを予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで検出してもよい。または、前記3次元顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線方向として検出してもよい。
車載機10からサーバ装置40に送信されるデータには、車載機10の識別情報(シリアルナンバー等)、後退時脇見の識別記号、後退時脇見の検出日時、運転者の顔の向き(ピッチ、ヨー、ロール)、視線の方向(ピッチ、ヨー)、目開度(右目、左目)、車両の加速度(少なくとも前後)、角速度(ヨー)、運転者画像、車外画像、及び車両の位置情報(緯度、経度)、走行速度などが含まれている。なお、サーバ装置40に送信されるデータの構造は、図7に示した構造に限定されるものではないが、少なくとも車載機10の識別情報(シリアルナンバー等)、後退時脇見の識別記号、後退時脇見の検出日時、及び運転者画像が含まれていることが好ましい。
例えば、速度算出部19abにより車両2の停車状態を示す速度=0が算出された後、加速度測定部19acにより車両2に生じる後方向の加速度が測定された場合に、車両2が後退していると判定される。
したがって、車載機10が車両2に後付けされる場合であっても、車両2のシフトポジションの信号など、車両2の各種装置からの信号を取得しなくても、車両2の後退を正確に判定することができる。また、車載機10を車両2に容易に取り付けることができる。
例えば、後退判定部19adにより車両2の後退が判定された場合に、脇見判定処理が後退時用に切り替えられる。したがって、車両2の後退時に、後方確認のために運転者3が顔の向きを大きく変えた場合に、脇見であると誤判定されることなく、後方確認動作を正確に検出することができる。
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
車両(2)に後付けで搭載される車載機(10)であって、
前記車両(2)の位置情報を取得する位置取得部(19aa)と、
該位置取得部(19aa)で取得した前記車両(2)の位置情報を用いて、前記車両(2)の速度を算出する速度算出部(19ab)と、
前記車両(2)に生じる前後方向の加速度を測定する加速度測定部(19ac)と、
前記速度算出部(19ab)で算出された前記車両(2)の速度と、前記加速度測定部(19ac)で測定された前記車両(2)に生じる前後方向の加速度とに基づいて、前記車両(2)の後退を判定する後退判定部(19ad)とを備えていることを特徴とする車載機。
車両(2)の後退を判定する後退判定方法であって、
前記車両(2)の位置情報を取得する位置取得ステップ(S12)と、
該位置取得ステップ(S12)で取得した前記車両(2)の位置情報を用いて、前記車両(2)の速度を算出する速度算出ステップ(S13)と、
前記車両に生じる前後方向の加速度を測定する加速度測定ステップ(S15)と、
前記速度算出ステップ(S13)で算出された前記車両(2)の速度と、前記加速度測定ステップ(S15)で測定された前記車両(2)に生じる前後方向の加速度とに基づいて、前記車両(2)の後退を判定する後退判定ステップ(S17)とを含むステップを備えていることを特徴とする後退判定方法。
車両(2)の後退を判定する処理を少なくとも1つのコンピュータ(19)に実行させるための後退判定プログラムであって、
前記少なくとも1つのコンピュータ(19)に、
前記車両(2)の位置情報を取得する位置取得ステップ(S12)と、
該位置取得ステップ(S12)で取得した前記車両(2)の位置情報を用いて、前記車両(2)の速度を算出する速度算出ステップ(S13)と、
前記車両(2)に生じる前後方向の加速度を測定する加速度測定ステップ(S15)と、
前記速度算出ステップ(S13)で算出された前記車両(2)の速度と、前記加速度測定ステップ(S3)で測定された前記車両(2)に生じる前後方向の加速度とに基づいて、前記車両(2)の後退を判定する後退判定ステップ(S17)とを実行させることを特徴とする後退判定プログラム。
2 車両
3 運転者
4 通信ネットワーク
10 車載機
11 プラットフォーム部
12 加速度センサ
13 角速度センサ
14 GPS受信部
14a アンテナ
15 通信部
16 報知部
17 記憶部
18 外部インターフェース(外部I/F)
19 制御部
19a CPU
19aa 位置取得部
19ab 速度算出部
19ac 加速度測定部
19ad 後退判定部
19ae 処理切替部
19b RAM
19c ROM
20 ドライバモニタリング部
21 ドライバカメラ(撮像部)
22 画像解析部
23 インターフェース(I/F)
30 ドライブレコーダ部
31 車外カメラ
32 車内カメラ
40 サーバ装置(運転評価装置)
41 通信ユニット
50 サーバコンピュータ
60 記憶ユニット
80 事業者端末
Claims (6)
- 車両に後付けで搭載される車載機であって、
前記車両の位置情報を取得する位置取得部と、
該位置取得部で取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出部と、
前記車両に生じる前後方向の加速度を測定する加速度測定部と、
前記速度算出部で算出された前記車両の速度と、前記加速度測定部で測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定部と、
該後退判定部により前記車両の後退が判定された場合に、所定の処理を後退時用に切り替える処理切替部と、
前記車両の運転者の画像を撮像する撮像部と、
該撮像部で撮像された前記運転者の画像から前記運転者の顔の向き又は視線の方向の少なくともいずれかを検出する向き検出部と、
該向き検出部で検出された前記運転者の顔の向き又は視線の方向の少なくともいずれかを用いて、前記運転者の脇見を判定する脇見判定部とを備え、
前記処理切替部が、前記後退判定部により前記車両の後退が判定された場合に、前記脇見判定部の処理を前進時用から後退時用に切り替えるものであり、
該後退時用の前記脇見判定部の処理が、前記運転者が後方を目視で確認しているかを判定する目視判定処理を含み、
前記脇見判定部が、前記目視判定処理において前記運転者が後方を目視で確認していないと判定した場合に、後退時脇見発生、又は後退時後方未確認と判定するものであることを特徴とする車載機。 - 前記目視判定処理が、前記向き検出部で検出された前記運転者の顔の向き又は視線の方向の少なくともいずれかと、これらの向きが継続している時間とに基づいて判定するものであることを特徴とする請求項1記載の車載機。
- 前記後退判定部が、
前記速度算出部により前記車両の停車状態を示す速度が算出された後、前記加速度測定部により前記車両に生じる後方向の加速度が測定された場合に、前記車両が後退していると判定するものであることを特徴とする請求項1又は請求項2記載の車載機。 - 少なくとも1つのコンピュータが車両の後退を判定する後退判定方法であって、
前記少なくとも1つのコンピュータが、
前記車両の位置情報を取得する位置取得ステップと、
該位置取得ステップで取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出ステップと、
前記車両に生じる前後方向の加速度を測定する加速度測定ステップと、
前記速度算出ステップで算出された前記車両の速度と、前記加速度測定ステップで測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定ステップと、
該後退判定ステップにより前記車両の後退が判定された場合に、所定の処理を後退時用に切り替える処理切替ステップとを含むステップを実行し、
前記所定の処理が、前記車両の運転者の画像を撮像する撮像部で撮像された前記運転者の画像から検出された前記運転者の顔の向き又は視線の方向の少なくともいずれかを用いて、前記運転者の脇見を判定する脇見判定処理を含み、
前記処理切替ステップが、前記後退判定ステップにより前記車両の後退が判定された場合に、前記脇見判定処理を前進時用から後退時用に切り替えるステップであり、
該後退時用の前記脇見判定処理が、前記運転者が後方を目視で確認しているかを判定する目視判定処理を含み、
前記脇見判定処理が、前記目視判定処理において前記運転者が後方を目視で確認していないと判定した場合に、後退時脇見発生、又は後退時後方未確認と判定することを特徴とする後退判定方法。 - 前記目視判定処理が、前記運転者の顔の向き又は視線の方向の少なくともいずれかと、これらの向きが継続している時間とに基づいて判定する処理であることを特徴とする請求項4記載の後退判定方法。
- 車両の後退を判定する処理を少なくとも1つのコンピュータに実行させるための後退判定プログラムであって、
前記少なくとも1つのコンピュータに、
前記車両の位置情報を取得する位置取得ステップと、
該位置取得ステップで取得した前記車両の位置情報を用いて、前記車両の速度を算出する速度算出ステップと、
前記車両に生じる前後方向の加速度を測定する加速度測定ステップと、
前記速度算出ステップで算出された前記車両の速度と、前記加速度測定ステップで測定された前記車両に生じる前後方向の加速度とに基づいて、前記車両の後退を判定する後退判定ステップと、
該後退判定ステップにより前記車両の後退が判定された場合に、所定の処理を後退時用に切り替える処理切替ステップとを実行させ、
前記所定の処理が、前記車両の運転者の画像を撮像する撮像部で撮像された前記運転者の画像から検出された前記運転者の顔の向き又は視線の方向の少なくともいずれかを用いて、前記運転者の脇見を判定する脇見判定処理を含み、
前記処理切替ステップが、前記後退判定ステップにより前記車両の後退が判定された場合に、前記脇見判定処理を前進時用から後退時用に切り替えるステップであり、
該後退時用の前記脇見判定処理が、前記運転者が後方を目視で確認しているかを判定する目視判定処理を含み、
前記脇見判定処理が、前記目視判定処理において前記運転者が後方を目視で確認していないと判定した場合に、後退時脇見発生、又は後退時後方未確認と判定することを特徴とする後退判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018043971A JP7130994B2 (ja) | 2018-03-12 | 2018-03-12 | 車載機、後退判定方法、及び後退判定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018043971A JP7130994B2 (ja) | 2018-03-12 | 2018-03-12 | 車載機、後退判定方法、及び後退判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019158496A JP2019158496A (ja) | 2019-09-19 |
JP7130994B2 true JP7130994B2 (ja) | 2022-09-06 |
Family
ID=67994772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043971A Active JP7130994B2 (ja) | 2018-03-12 | 2018-03-12 | 車載機、後退判定方法、及び後退判定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7130994B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007213164A (ja) | 2006-02-07 | 2007-08-23 | Toyota Motor Corp | 脇見運転防止装置 |
JP2007233795A (ja) | 2006-03-02 | 2007-09-13 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP2015141432A (ja) | 2014-01-27 | 2015-08-03 | 株式会社デンソー | 車両運転評価システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6364731B2 (ja) * | 2013-09-27 | 2018-08-01 | 日産自動車株式会社 | 車両用後方画像提示装置 |
JP6361415B2 (ja) * | 2014-09-24 | 2018-07-25 | 株式会社デンソー | 車両用画像処理装置 |
-
2018
- 2018-03-12 JP JP2018043971A patent/JP7130994B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007213164A (ja) | 2006-02-07 | 2007-08-23 | Toyota Motor Corp | 脇見運転防止装置 |
JP2007233795A (ja) | 2006-03-02 | 2007-09-13 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP2015141432A (ja) | 2014-01-27 | 2015-08-03 | 株式会社デンソー | 車両運転評価システム |
Also Published As
Publication number | Publication date |
---|---|
JP2019158496A (ja) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9041789B2 (en) | System and method for determining driver alertness | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP6693489B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
CN104680714A (zh) | 用于向用户发送提醒的方法及系统 | |
JP6683185B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
JP7224118B2 (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
JP2019106041A (ja) | 運転評価報告書、車載機、運転評価報告書作成装置、運転評価報告書作成システム、及び運転評価報告書作成のためのコンピュータプログラム | |
JP7114953B2 (ja) | 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム | |
US20210052156A1 (en) | Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP6432702B1 (ja) | 算出システム、指標算出方法、およびコンピュータプログラム | |
WO2019117004A1 (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体 | |
JP7099036B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP7060841B2 (ja) | 運転評価装置、運転評価方法、及び運転評価プログラム | |
JP7130994B2 (ja) | 車載機、後退判定方法、及び後退判定プログラム | |
JP6950597B2 (ja) | 車載機、運転評価システム、情報処理方法、及びプログラム | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP2019159926A (ja) | 運転者交替促進装置、該装置が搭載された運転評価システム、及びコンピュータプログラム | |
JP7298351B2 (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム | |
JP7068606B2 (ja) | 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム | |
JP7075048B2 (ja) | 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
JP7070827B2 (ja) | 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム | |
JP7135913B2 (ja) | 運転評価画面の表示方法、プログラム、運転評価システム、及び運転評価画面 | |
JP7235438B2 (ja) | 運転評価装置、運転評価方法、及びコンピュータプログラム | |
JP2023047835A (ja) | 車載装置および搭乗者モニタリング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |