JP7295790B2 - 車載機、処理装置及びプログラム - Google Patents
車載機、処理装置及びプログラム Download PDFInfo
- Publication number
- JP7295790B2 JP7295790B2 JP2019223066A JP2019223066A JP7295790B2 JP 7295790 B2 JP7295790 B2 JP 7295790B2 JP 2019223066 A JP2019223066 A JP 2019223066A JP 2019223066 A JP2019223066 A JP 2019223066A JP 7295790 B2 JP7295790 B2 JP 7295790B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- vehicle
- position vector
- feature amount
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Description
[1]
車両の運行情報を取得する取得部と、
前記運行情報から複数種類の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、
前記評価値に応じて、前記運転者の状態を通知する出力部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第1再帰型ニューラルネットワークと、
前記第1再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第2再帰型ニューラルネットワークと、を有し、
前記運行情報を、自車両の左端を基準とした左車線への左位置ベクトル、又は、前記自車両の右端を基準とした右車線への右位置ベクトル、である位置ベクトル、としたとき、
前記特徴量算出部は、
走行開始後の時刻tが走行開始から所定期間経過した時刻tωを上回る場合に、
時刻(t-tω)から前記時刻tまでの前記位置ベクトルの1σであるPσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの1σであるPσ(1、tω)を差し引いたPと、
前記時刻(t-tω)から前記時刻tまでの前記位置ベクトルの-1σであるNσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの-1σであるNσ(1、tω)を差し引いたNと、を前記特徴量として算出する、
車載機であること。
[2]
[1]に記載の車載機において、
前記第1再帰型ニューラルネットワーク及び前記第2再帰型ニューラルネットワークは各々、LSTM(Long short-term memory)層から構成されている、
車載機であること。
[3]
[1]又は[2]に記載の車載機において、
所定期間内に算出された前記特徴量を時系列特徴量として抽出する時系列特徴量抽出部をさらに備え、
前記評価値算出部は、前記時系列特徴量を入力とする、
車載機であること。
[4]
車両の運行情報を取得する取得部と、
前記運行情報から複数の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第1再帰型ニューラルネットワークと、
前記第1再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第2再帰型ニューラルネットワークと、を有し、
前記運行情報を、自車両の左端を基準とした左車線への左位置ベクトル、又は、前記自車両の右端を基準とした右車線への右位置ベクトル、である位置ベクトル、としたとき、
前記特徴量算出部は、
走行開始後の時刻tが走行開始から所定期間経過した時刻tωを上回る場合に、
時刻(t-tω)から前記時刻tまでの前記位置ベクトルの1σであるPσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの1σであるPσ(1、tω)を差し引いたPと、
前記時刻(t-tω)から前記時刻tまでの前記位置ベクトルの-1σであるNσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの-1σであるNσ(1、tω)を差し引いたNと、を前記特徴量として算出する、
処理装置であること。
[5]
コンピュータに、[4]に記載の前記取得部、前記特徴量算出部及び前記評価値算出部の機能を実現させるためのプログラムであること。
更に、特徴量算出部は、運行情報と、初期運行情報と、の双方に基づいて特徴量を算出する。これにより、特徴量の個人差がなくなり、より一層精度よく運転者の状態を示す評価値を求めることができる。
により、より一層精度よく運転者の状態を示す評価値を求めることができる。
本発明の実施形態における車載機10の構成例を図1に示す。図1に示した車載機10は、例えばタクシー、トラック、バスのような業務用車両など様々な車両に搭載した状態で使用され、運転手の状態を自動検出するために利用される。検出対象の代表的な状態として、ここでは運転手の居眠りの状態を想定している。しかし、この車載機10は居眠りに限らず、様々な状態の検知に利用できる。
危険を報知するための機能が追加されている。しかし、本発明の車載機はドライブレコーダに限らず、様々な種類の車載機に本発明の機能を搭載できる。
図1に示した車載機10の入力には、車載カメラ30が接続されている。この車載カメラ30は、例えば自動車の前方の窓付近に固定され、自動車の進行方向前方の路面や風景などの状況を撮影できる方向に向けられている。なお、複数台の車載カメラ30を必要に応じて用いることができる。車載カメラ30の撮影内容を表す撮影信号SG1が車載機10に入力される。
期間Ls内に算出された特徴量xを時系列特徴量xtとして抽出する。時刻tにおける特徴量xt={xt (1),xt (2),…,xt (n)}とするとき、時刻tのときの時系列特徴量をxt (1)={xt-Ls+k (1),xt-Ls+2k (1),…,xt (1)}、x(2)={xt-Ls+k (2),xt-Ls+2k (2),…,xt (2)}、…、x(n)={xt-Ls+k (n),xt-Ls+2k (n),…,xt (n)}として抽出する。
<運行データ検出機能13の動作>
図1に示した運行データ検出機能13は、以下に示す2種類の運行情報D1、D2をそれぞれ検出する。
D2:自動車右端を基準として右車線への右位置ベクトルpr(図2参照)
上述した位置ベクトルpl、prは、車載カメラ10により10Hzで撮影される白線の途切れや、複数の白線の合流、白線以外の部分(縁石、隣接車線を走行する車両のバンパーなど)の誤検出により、精度が低くなることがある。データスクリーニング部14は、位置ベクトル(運行情報D1、D2)の時系列データから白線検出の精度が低い区域を除去する。
U(t)=|pl(t)-pr(t)|+d …(1)
d:車幅
t+10秒)を除去する。ただし、上記αは、蓄積したドライブレコーダのデータから経験的に決定する。
発明者らは、運転者の眠気が車両制御の変化に表れる(例えば眠気時に車両が少し偏って走行する)、との仮説をもとに、運転者A~Eにドライビングシミュレータを模擬運転させた。そして、本発明者らは、運転者A~Eの眠気レベルがレベル1~2の時と、眠気レベルが3~4の時と、それぞれ位置ベクトルplを測定した。結果を図3及び図4に示す。なお、眠気レベルについては、表1に示すように運転者の表情から判定している。
Pσ(ts、te)=m(ts、te)+σ(ts、te) …(2)
Nσ(ts、te)=m(ts、te)-σ(ts、te) …(3)
m(ts、te):位置ベクトルの平均、σ(ts、te):位置ベクトルの標準偏差
)、N(t)は、下記の式(4)、式(5)で表すことができる。
Dr=P(t)-P(t-tω) …(6)
Dl=N(t)-N(t-tω) …(7)
S(t)=P(t)-N(t) if t>tω …(8)
A(t)=|P(t)-N(t)| if t>tω …(9)
時系列特徴量抽出部16は、特徴量xt={xt (1),xt (2),…,xt (n)}である{Pr、Nr、Pl、Nl、Dr、Dl、Sr、Sl、Ar、Al、Cr、Cl}についてそれぞれ上述したように時系列特徴量を抽出する。抽出した時刻tにおける時系列特徴量は下記のベクトルで表される。
xt (1)={Prt-Ls+k,Prt-Ls+2k,…,Prt}
xt (2)={Nrt-Ls+k,Nrt-Ls+2k,…,Nrt}
…
xt (n)={Clt-Ls+k,Clt-Ls+2k,…,Clt}
評価値算出部17の構成を図5に示す。同図に示すように、評価値算出部17は、第1再帰型ニューラルネットワークとしてのLSTM層17Aと、結合層17Bと、第2再帰型ニューラルネットワークとしてのLSTM層17Cと、Dense層17D、17Eと、を有している。LSTM層17Aは、特徴量x毎に設けられている。本実施形態では、評価値算出部17には、12個の特徴量xが入力されているため、LSTM層17Aも12個、設けられている。
ここで、xi(t)は第1層のユニットiに対する入力であり、本実施形態では、図5に示すように、時系列特徴量として抽出したベクトルが入力される。wは結合の際の重みで、bはバイアス項であり、fは活性化関数である。
7Aと同様の構成である。LSTM層17Cからの出力は、Dense層17Dに入力される。Dense層17Dは、入力層を出力層に全結合するニューラルネットワーク(以下、NN)から構成され、Dense層17Dからの出力がDense層16Eに入力される。Dense層17Eも、入力層を出力層に全結合するNNから構成される。Dense層16Eの出力層の数は1つであり、このDense層17Eからの出力が評価値Dyとなる。なお、Dense層17D、17Eの損失関数としては、本実施形態では二乗誤差(ランプ関数)が用いられる。
<概要の説明>
次に、上述した評価値算出部17が適切に評価値Dyを算出するために必要な学習処理を実現するための学習処理システム40について説明する。図6に学習処理システム40の構成例を示す。
ドライビングシミュレータ41とそれに付随する装置の位置関係を図7に示す。本実施形態では、学習処理で利用可能な実験データを取得するために、図7に示したドライビングシミュレータ41を利用する。
図7に示した学習処理装置50は、学習処理に用いる入力データとして、情報記録装置46が記録した模擬運転の記録情報から求めた時系列特徴量xtと、正解値の特定処理47によって得られた各時点の評価値Dyの正解値とを組み合わせて学習処理を実行する。
<効果>
上述した実施形態によれば、評価値算出部17が、RNNを拡張した2つのLSTM層16A、16Dで構成されている。これにより、運行情報D1、D2の時系列データに基づいて評価値Dyを求めることができ、精度よく運転者の状態を示す評価値を求めることができる。
比較例1としては、上述した特許文献1に記載された眠気レベルの推定方法を採用する
。特許文献1に記載された推定方法では、ドラレコから、速度や加速度に加えて、自車における白線までの距離や横移動速度、白線と白線との消失点移動量などの特徴を取得し、重回帰分析によって眠気レベルを推定する。
比較例2としては、feed-forward neural network(FFNN)による眠気レベルの推定
方法を採用する。比較例2としては、説明変数をx={Pr、Nr、Pl、Nl、Dr、Dl、Sr、Sl、Ar、Al、Cr、Cl}、目的変数を眠気レベルとし、FFNNをベースとしている。
評価指標として、本発明品、比較例1、2で推定した推定眠気レベルと正解眠気レベルとの平均絶対誤差(MAE)および次式(16)で表される眠気の立ち上がり誤差(TE)を用いる。
推定していることが考えられる。
また、上述した実施形態によれば、運行情報D1、D2は、左位置ベクトルplと、右位置ベクトルprと、から構成されている。これにより、運転者の状態に対する依存度が高い左位置ベクトルplと、右位置ベクトルprと、に基づいて評価値Dyを求めることにより、より一層精度よく運転者の状態を示す評価値を求めることができる。
[1]
車両の運行情報(D1、D2)を取得する取得部(13)と、
前記運行情報(D1、D2)から複数種類の特徴量(x)を算出する特徴量算出部(15)と、
複数種類の前記特徴量(x)を入力、前記車両の運転者の状態を表す評価値(Dy)を
出力、として機械学習された評価値算出部(17)と、
前記評価値(Dy)に応じて、前記運転者の状態を通知する出力部(19)と、を備え、
前記評価値算出部(17)は、
複数種類の前記特徴量(x)が入力され、複数種類の前記特徴量(x)それぞれに対応する出力を出力する第1再帰型ニューラルネットワーク(17A)と、
前記第1再帰型ニューラルネットワーク(17A)からの複数の出力を結合する結合層(17B)と、
前記結合層か(17B)らの出力が入力される第2再帰型ニューラルネットワーク(17C)と、を有する、
車載機(10)であること。
[2]
[1]に記載の車載機(10)において、
前記第1再帰型ニューラルネットワーク(17A)及び前記第2再帰型ニューラルネットワーク(17C)は各々、LSTM(Long short-term memory)層から構成されている、
車載機(10)であること。
[3]
[1]又は[2]に記載の車載機(10)において、
所定期間(Ls)内に算出された前記特徴量(x)を時系列特徴量として抽出する時系列特徴量抽出部(16)をさらに備え、
前記評価値算出部(17)は、前記時系列特徴量を入力とする、
車載機(10)であること。
[4]
[1]~[3]の何れか1項に記載の車載機(10)において、
前記運行情報(D1、D2)は、前記車両の基準位置から左車線まで左位置ベクトル(pl)と、前記車両の前記基準位置から右車線までの右位置ベクトル(pr)と、から構成されている、
車載機(10)であること。
[5]
[4]に記載の車載機(10)において、
前記左位置ベクトル(pl)及び前記右位置ベクトル(pr)から求められる道路幅(U)の変化量に基づいて、前記左位置ベクトル(pl)及び前記右位置ベクトル(pr)の時系列データから検出精度が低い区間を判定して、除去するデータスクリーニング部(14)を備えた、
車載機(10)であること。
[6]
[1]~[5]何れか1項に記載の車載機(10)において、
前記特徴量算出部(15)は、前記運行情報と、運転開始から一定期間(tω)内に取得した初期運行情報と、の双方に基づいて前記特徴量を算出する、
車載機(10)であること。
[7]
車両の運行情報(D1、D2)を取得する取得部(13)と、
前記運行情報(D1、D2)から複数の特徴量(x)を算出する特徴量算出部(15)と、
複数種類の前記特徴量(x)を入力、前記車両の運転者の状態を表す評価値(Dy)を出力、として機械学習された評価値算出部(17)と、を備え、
前記評価値算出部(17)は、
複数種類の前記特徴量(x)が入力され、複数種類の前記特徴量(x)それぞれに対応する出力を出力する第1再帰型ニューラルネットワーク(17A)と、
前記第1再帰型ニューラルネットワーク(17A)からの複数の出力を結合する結合層(17B)と、
前記結合層からの出力が入力される第2再帰型ニューラルネットワーク(17C)と、を有する、
処理装置であること。
[8]
コンピュータに、[7]に記載の前記取得部(13)、前記特徴量算出部(15)及び前記評価値算出部(17)の機能を実現させるためのプログラムであること。
13 運行データ検出機能(取得部)
14 データスクリーニング部
15 特徴量算出部
16 時系列特徴量抽出部
17 評価値算出部
17A LSTM層(第1再帰型ニューラルネットワーク)
17B 結合層
17C LSTM層(第2再帰型ニューラルネットワーク)
19 音声出力部(出力部)
Ls 所定期間
D1、D2 運行情報
Dy 評価値
pl 左位置ベクトル
pr 右位置ベクトル
tω 一定時間
U 道路幅
x 特徴量
Claims (5)
- 車両の運行情報を取得する取得部と、
前記運行情報から複数種類の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、
前記評価値に応じて、前記運転者の状態を通知する出力部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第1再帰型ニューラルネットワークと、
前記第1再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第2再帰型ニューラルネットワークと、を有し、
前記運行情報を、自車両の左端を基準とした左車線への左位置ベクトル、又は、前記自車両の右端を基準とした右車線への右位置ベクトル、である位置ベクトル、としたとき、
前記特徴量算出部は、
走行開始後の時刻tが走行開始から所定期間経過した時刻tωを上回る場合に、
時刻(t-tω)から前記時刻tまでの前記位置ベクトルの1σであるPσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの1σであるPσ(1、tω)を差し引いたPと、
前記時刻(t-tω)から前記時刻tまでの前記位置ベクトルの-1σであるNσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの-1σであるNσ(1、tω)を差し引いたNと、を前記特徴量として算出する、
車載機。 - 請求項1に記載の車載機において、
前記第1再帰型ニューラルネットワーク及び前記第2再帰型ニューラルネットワークは各々、LSTM(Long short-term memory)層から構成されている、
車載機。 - 請求項1又は2に記載の車載機において、
所定期間内に算出された前記特徴量を時系列特徴量として抽出する時系列特徴量抽出部をさらに備え、
前記評価値算出部は、前記時系列特徴量を入力とする、
車載機。 - 車両の運行情報を取得する取得部と、
前記運行情報から複数の特徴量を算出する特徴量算出部と、
複数種類の前記特徴量を入力、前記車両の運転者の状態を表す評価値を出力、として機械学習された評価値算出部と、を備え、
前記評価値算出部は、
複数種類の前記特徴量が入力され、複数種類の前記特徴量それぞれに対応する出力を出力する第1再帰型ニューラルネットワークと、
前記第1再帰型ニューラルネットワークからの複数の出力を結合する結合層と、
前記結合層からの出力が入力される第2再帰型ニューラルネットワークと、を有し、
前記運行情報を、自車両の左端を基準とした左車線への左位置ベクトル、又は、前記自車両の右端を基準とした右車線への右位置ベクトル、である位置ベクトル、としたとき、
前記特徴量算出部は、
走行開始後の時刻tが走行開始から所定期間経過した時刻tωを上回る場合に、
時刻(t-tω)から前記時刻tまでの前記位置ベクトルの1σであるPσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの1σであるPσ(1、tω)を差し引いたPと、
前記時刻(t-tω)から前記時刻tまでの前記位置ベクトルの-1σであるNσ(t-tω,t)から、前記走行開始から前記時刻tωまでの前記位置ベクトルの-1σであるNσ(1、tω)を差し引いたNと、を前記特徴量として算出する、
処理装置。 - コンピュータに、請求項4に記載の前記取得部、前記特徴量算出部及び前記評価値算出部の機能を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223066A JP7295790B2 (ja) | 2019-12-10 | 2019-12-10 | 車載機、処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223066A JP7295790B2 (ja) | 2019-12-10 | 2019-12-10 | 車載機、処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021092962A JP2021092962A (ja) | 2021-06-17 |
JP7295790B2 true JP7295790B2 (ja) | 2023-06-21 |
Family
ID=76312487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019223066A Active JP7295790B2 (ja) | 2019-12-10 | 2019-12-10 | 車載機、処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7295790B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109006A (ja) | 2002-09-19 | 2004-04-08 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2011059856A (ja) | 2009-09-08 | 2011-03-24 | Nissan Motor Co Ltd | 車両用運転特性検出装置、車両用運転特性検出方法および自動車 |
JP2015084253A (ja) | 2015-01-08 | 2015-04-30 | マツダ株式会社 | ドライバ感情推定装置 |
JP2018028906A (ja) | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム |
JP2019139277A (ja) | 2018-02-06 | 2019-08-22 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
-
2019
- 2019-12-10 JP JP2019223066A patent/JP7295790B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109006A (ja) | 2002-09-19 | 2004-04-08 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2011059856A (ja) | 2009-09-08 | 2011-03-24 | Nissan Motor Co Ltd | 車両用運転特性検出装置、車両用運転特性検出方法および自動車 |
JP2015084253A (ja) | 2015-01-08 | 2015-04-30 | マツダ株式会社 | ドライバ感情推定装置 |
JP2018028906A (ja) | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム |
JP2019139277A (ja) | 2018-02-06 | 2019-08-22 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021092962A (ja) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11375338B2 (en) | Method for smartphone-based accident detection | |
US20230219580A1 (en) | Driver and vehicle monitoring feedback system for an autonomous vehicle | |
US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
US9472083B2 (en) | Direct observation event triggering of drowsiness | |
EP2201496B1 (en) | Inattentive state determination device and method of determining inattentive state | |
US9586591B1 (en) | Real-time driver observation and progress monitoring | |
Gat et al. | A monocular vision advance warning system for the automotive aftermarket | |
US10655978B2 (en) | Controlling an autonomous vehicle based on passenger behavior | |
US20170301107A1 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
JP2019523943A (ja) | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 | |
Hoogendoorn | Empirical research and modeling of longitudinal driving behavior under adverse conditions | |
JP7474160B2 (ja) | 情報処理装置 | |
JP7295790B2 (ja) | 車載機、処理装置及びプログラム | |
WO2022240823A1 (en) | Online driver delay and frequency response model | |
JP2018045451A (ja) | 車両制御装置 | |
JP4906678B2 (ja) | 交通安全教示システム | |
US11961395B2 (en) | Driving assistance device, driving assistance method, and storage medium in which program is stored | |
JP7446040B1 (ja) | シミュレータ | |
WO2022230630A1 (ja) | 電子機器、電子機器の制御方法、及びプログラム | |
WO2020250574A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
Bulygin et al. | Methodology for in-the-Wild Driver Monitoring Dataset Formation | |
CN117064386A (zh) | 感知反应时间确定方法、装置、设备、介质和程序产品 | |
Basu et al. | Using Facial Analysis to Combat Distracted Driving in Autonomous Vehicles | |
US20220225917A1 (en) | Electronic device, system and method for predicting the performance of an individual human during a visual perception task | |
KR20210064641A (ko) | 운전 준비도를 계산하고 유지하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210804 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230327 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230404 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |