JP7204717B2 - 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 - Google Patents
環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 Download PDFInfo
- Publication number
- JP7204717B2 JP7204717B2 JP2020163483A JP2020163483A JP7204717B2 JP 7204717 B2 JP7204717 B2 JP 7204717B2 JP 2020163483 A JP2020163483 A JP 2020163483A JP 2020163483 A JP2020163483 A JP 2020163483A JP 7204717 B2 JP7204717 B2 JP 7204717B2
- Authority
- JP
- Japan
- Prior art keywords
- environmental data
- data
- space
- architecture
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
- 少なくとも一つの第1ノードは、(例えば、長い)入力シーケンスを格納及びリコールするように適合され、例えば、(例えば、長い)入力シーケンスがイベントとしてモデル化され、
- 少なくとも一つの第2ノードは、生データからプロトタイプを抽出し保存するように適合され、各プロトタイプは、実世界の(その環境内のツールの)操作を、類似する特徴を用いて特徴付ける、代表的なデータのまとまりである。
(式1)
A:R+→[0, 1],
A(0)=1,
A(z1)>A(z2) z1<z2のときかつそのときに限り成立する。
次式を求めることによって、
(式2)
行列xに属する新たな点mを行列y上に圧縮することと、
次式を求めることによって、
(式3)
行列yに属する新たな点tを行列x上に復元することと、を含み、
ここで、μx(P、m)及びμy(Q、t)は、BiMapの各点と、対応する各空間における新たな点との間の距離ベクトルであり、BiMapは、式2(圧縮)及び式3(復元)によって与えられるxの点とyの点との間の対応関係である。
が使用されてマップ歪み指数(MDI: Map Distortion Index)を評価することができる。実際、このコンピュータに基づく方法によって得られたマッピング精度は、アトラスBiMap=(P、Q)内の点に対する近接性に依存する。この依存性は、学習したもの、すなわち、式2又は式3の解の中から最小のアクティベーションの歪みを有している点を探索することによって表現される。MDIを評価する可能性は、より正確なアトラスを有するためのX空間内の点セクションスキームと、MPF内のコンテキストのチェックをサポート又は実現する固有の異常検出機構との両方をもたらす。
- 少なくとも一つのセンサで環境データをキャプチャすることと、
- 高次元の環境データを上記に規定した低次元マップに圧縮してデータの双方向圧縮を実現するためのコンピュータに基づく方法を実現することと、
- 環境データがコンピュータに基づくモデルの学習段階の間にキャプチャされた場合、キャプチャされたデータは、予め評価されている既知の予め記録されたデータに対応し、異なる特性を有するデータをどの程度良好に分離するかによりマップの品質を決定することによって、圧縮データのマップを評価することと、
- 環境データが前記学習段階の後にキャプチャされた場合、前記圧縮データに新たな点を追加し、オペレータの状態に対応するように使用する人間に近い意思決定を示す信号を生成することと、を含む。
(式1)
2つのメトリック空間X=(x、μx)及びY=(y、μy)であって、xは次元が第2空間yの次元より大きい又は等しい第1空間であり、μxは空間xの第1メトリックであり、μyは空間yの第2メトリックであり、Pは第1空間xに属するn個の点の第1集合であり、d(.,.)は正方行列の空間上の対称距離関数であり、一方、A1及びA2は次のプロパティを保持する任意の2つの関数である。
- A:R+→[0, 1],すなわち、全ての正の実数値に対して規定された関数であって、0と1を含む0と1の間の値を生成する。
- A(0)=1,すなわち、Aは値1を生成する引数0の関数である。
すなわち、Aは引数が増加するにつれて極限0に収束する関数である。
- A(z1)>A(z2) z1<z2のときかつそのときに限り成立する。すなわち、Aは単調減少関数である。
(式2)
次式を求めることによって空間yに属する新たな点tを空間Xに復元することができる。
(式3)
ここで、μx(P、m)及びμy(Q、t)は、BiMapの各点と、対応する各空間における新たな点との間の距離ベクトルであり、BiMap(P, Q)は、点の対応関係であり、式1を求める。
- 学習されたメモリを変更することなく、本記載のプロセスを経ることで、新しい音を評価する。
- BiMapによって実行される低次元クラスタリングを分析することによって、同様の判断を得る音の共通の特性を推論する。
- マップ上で異常な行動を強調することで、人間の判断の信頼性を向上させる。
- 所望の判断から音を発生させる。全てのステップが可逆的であることから、予想される判断を有する新しい音は、生成されたBiMap上のそれらの位置から出発して合成することができる。
本明細書に開示される発明は以下の実施形態を含む。
(1)高次元データを低次元マップに圧縮することによって、データの双方向圧縮を実現するコンピュータに基づく方法であって、前記方法は、1より大きな第1の次元を有するデータであって、少なくとも一つのセンサによってキャプチャされ送信されたデータ、を受信することと、前記データ又は前記データから得られる属性を、前記第1の次元よりも小さい第2の次元を用いて圧縮データに圧縮することとを含み、
2つのメトリック空間X=(x、μx)及びY=(y、μy)であって、xは次元が第2空間yの次元より大きい又は等しい第1空間であり、μxは前記第1空間xの第1メトリックであり、μyは前記第2空間yの第2メトリックである前記2つのメトリック空間に対して、前記圧縮は、前記第1空間xに属するn個の点の第1集合Pと、前記第2空間yに属するn個の点の第2集合Qとの間に形成される点の対をマッピングすることによって実現され、n個の点の前記第2集合Qの各点は、次式によってn個の点の前記第1集合Pの一つの点と対になり、
(式1)
はPにおける点の間の第1の対称距離行列であり、
はQにおける点の間の第2の対称距離行列であり、d(.,.)は正方行列の空間上の対称距離関数であり、A1及びA2は次のプロパティを保持する任意の2つの関数である、
- A:R+ →[0, 1],
- A(0)=1,
- A(z1)>A(z2) z1<z2のときかつそのときに限り成立する,
ことを特徴とする、コンピュータに基づく方法。
(2)前記双方向圧縮を開始する前に、少なくとも一つのデータから属性を抽出することをさらに含む、上記(1)に記載のコンピュータに基づく方法。
(3)次式を求めることによって、
(式2)
前記第1空間xに属する新たな点mを前記第2空間y上に圧縮することと、
次式を求めることによって、
(式3)
前記第2空間yに属する新たな点tを前記第1空間x上に復元することと、を含み、
ここで、μx(P、m)及びμy(Q、t)は、BiMapの各点と、対応する各空間における新たな点との間の距離ベクトルであり、BiMapは、式2及び式3によって表される第1空間xの点と第2空間yの点との間の対応関係であり、点Qは、式1を求めることによって点Pから計算される、上記(1)又は(2)に記載のコンピュータに基づく方法。
(4)環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法であって、
- 少なくとも一つのセンサで環境データをキャプチャすることと、
- 前記環境データを用いて、前記データを上記(1)~(3)のいずれかに記載の低次元マップに圧縮して高次元データの双方向圧縮を実現するためのコンピュータに基づく方法を実現することと、
- 環境データがコンピュータに基づくモデルの学習段階の間にキャプチャされた場合、キャプチャされた前記データは、予め評価されている既知の予め記録されたデータに対応し、異なる特性を有するデータをどの程度良好に分離するかにより前記マップの品質を決定することによって、圧縮データの前記マップを評価することと、
- 環境データが前記学習段階の後にキャプチャされた場合、前記圧縮データに新たな点を追加し、オペレータの状態に対応するように使用する人間に近い意思決定の状態を示す信号を生成することと、を含む、コンピュータに基づく方法。
(5)データの双方向圧縮を実現するためのコンピュータに基づく方法を実現する前に、前記環境データを少なくとも一つのフィルタで前処理することを含み、データの双方向圧縮を実現するための前記コンピュータに基づく方法は、入力データとしてフィルタリングされた環境データを受信する、上記(4)に記載のコンピュータに基づく方法。
(6)前記環境データは、少なくとも一つのマイクロフォンを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記方法は、聴覚モデルによって出力された前記データを少なくとも一つのフィルタで前処理する前に、前記環境データを聴覚モデルに入力することをさらに含み、前記聴覚モデルは、環境データの複数の異なるバージョンを供給し、前記前処理は、前記環境データの全てのバージョンにわたって実現される、上記(4)又は(5)に記載のコンピュータに基づく方法。
(7)環境データをキャプチャするための少なくとも一つのセンサと、ツール及びオペレータの動的行動と相互作用するためのメモリを有するアーキテクチャとを含む、環境コンテキストにおける人間のような行動をシミュレーションするためのシステムであって、
前記アーキテクチャは、上記(4)~(6)のいずれか一項に記載の環境コンテキストにおける人間に近い意思決定をシミュレーションするための前記コンピュータに基づく方法のステップを処理するように構成されていることを特徴とするシステム。
(8)前記アーキテクチャのメモリは人工的なメモリであり、前記アーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第1のニューラルネットワークであり、前記第1のニューラルネットワークの実装は、人工的階層メモリシステムを有する前記アーキテクチャを規定し、前記人工的階層メモリシステムは、(ツール上の)センサによって生成されたデータを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第1ノードであって、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジとを形成する、前記一つ又は複数の第1ノードと、前記アーキテクチャによって構築され前記行動に関連するデータを出力するように構成された出力ポートとを備え、それによって前記一つ又は複数又は本質的に全ての前記第1ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える、上記(7)に記載のシステム。
(9)前記少なくとも一つのセンサによってキャプチャされた前記環境データに異なるフィルタのセットを適用する前処理フィルタをさらに備える、上記(7)又は(8)に記載のシステム。
(10)前記環境データは、ノイズセンサを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記システムは、前記環境データの複数の異なるバージョンを出力するためのフィルタリング前処理の前に、前記記録された環境データに適用されるように構成された聴覚モデルをさらに備え、前記フィルタリング前処理は、前記環境データの全てのバージョンにわたって実現される、上記(7)~(9)のいずれか一項に記載のシステム。
(11)処理エンジン上で実行されると、ツール及びオペレータの動的行動と対話するための知覚/認知アーキテクチャに人工的なメモリを提供するコードセグメントを含むことができ、前記知覚/認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造及び機構を有するメモリ予測フレームワーク実装に基づいており、前記メモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを含む、上記(4)~(6)のいずれか一項に記載のコンピュータに基づく方法を実現するソフトウェアを有するコンピュータプログラム製品。
(12)上記(7)~(10)のいずれか一項に記載の環境コンテキストにおける人間に近い意思決定をシミュレーションするためのシステムを含む電子制御ユニットを備える車両。
Claims (11)
- 環境コンテキストにおいて人間に近い意思決定を示す信号を生成するシステムにおいて、高次元データを低次元マップに圧縮することによって、環境データの双方向圧縮を実現する、コンピューティングデバイスによって実行される方法であって、前記方法は、
1より大きな第1の次元を有する前記環境データであって、少なくとも一つのセンサによってキャプチャされ送信された前記環境データ、を受信することと、
前記環境データ又は前記環境データから得られる属性を、前記第1の次元よりも小さい第2の次元を用いて圧縮データに圧縮することと、
異なる特性を有する予め評価された既知の前記受信された環境データをどの程度良好に分離するかにより、前記圧縮データの前記マップの品質を決定することによって、前記圧縮データの前記マップを評価する学習段階と、
前記受信された前記環境データの入力パターンが、前記学習段階において記憶されたパターンと比較され、かつ、フィードフォワード(FF)出力とフィードバック(FB)出力が生成される間のノードに対する実際の操作段階である、人間に近い意思決定を示す信号を生成する推論段階と、を含み、
2つのメトリック空間X=(x、μx)及びY=(y、μy)であって、xは次元が第2空間yの次元より大きい又は等しい第1空間であり、μxは前記第1空間xの第1メトリックであり、μyは前記第2空間yの第2メトリックである前記2つのメトリック空間に対して、前記圧縮は、前記第1空間xに属する受信した前記環境データのn個の点の第1集合Pと、前記第2空間yに属する学習又は推論される前記圧縮データのn個の点の第2集合Qとの間に形成される点の対を双方向マッピングすることによって、前記環境データの学習動態を可視化することを助けるように実現され、n個の点の前記第2集合Qの各点は、次式によってn個の点の前記第1集合Pの一つの点と対になり、
- A:R+-[0, 1],
- A(0)=1,
ことを特徴とする、方法。 - 前記双方向圧縮を開始する前に、少なくとも一つの環境データから属性を抽出することをさらに含む、請求項1に記載の方法。
- 前記環境データの双方向圧縮を実現するための方法を実現する前に、前記環境データを少なくとも一つのフィルタで前処理することを含み、前記環境データの双方向圧縮を実現するための前記方法は、入力データとしてフィルタリングされた環境データを受信する、請求項1~3のいずれか一項に記載の方法。
- 前記環境データは、少なくとも一つのマイクロフォンを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記方法は、聴覚モデルによって出力された前記環境データを少なくとも一つのフィルタで前処理する前に、前記環境データを聴覚モデルに入力することをさらに含み、前記聴覚モデルは、環境データの複数の異なるバージョンを供給し、前記前処理は、前記環境データの全てのバージョンにわたって実現される、請求項1~4のいずれか一項に記載の方法。
- 環境データをキャプチャするための少なくとも一つのセンサと、ツール及びオペレータの動的行動と相互作用するためのメモリを有するアーキテクチャとを含む、システムであって、
前記アーキテクチャは、請求項1~5のいずれか一項に記載の方法のステップを処理するように構成されていることを特徴とするシステム。 - 前記アーキテクチャのメモリは人工的なメモリであり、前記アーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第1のニューラルネットワークであり、前記第1のニューラルネットワークの実装は、人工的階層メモリシステムを有する前記アーキテクチャを規定し、前記人工的階層メモリシステムは、(ツール上の)センサによって生成された環境データを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第1ノードであって、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジとを形成する、前記一つ又は複数の第1ノードと、前記アーキテクチャによって構築され前記行動に関連する環境データを出力するように構成された出力ポートとを備え、それによって前記一つ又は複数又は本質的に全ての前記第1ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える、請求項6に記載のシステム。
- 前記少なくとも一つのセンサによってキャプチャされた前記環境データに異なるフィルタのセットを適用する前処理フィルタをさらに備える、請求項6又は7に記載のシステム。
- 前記環境データは、ノイズセンサを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記システムは、前記環境データの複数の異なるバージョンを出力するためのフィルタリング前処理の前に、前記記録された環境データに適用されるように構成された聴覚モデルをさらに備え、前記フィルタリング前処理は、前記環境データの全てのバージョンにわたって実現される、請求項6~8のいずれか一項に記載のシステム。
- 処理エンジン上で実行されると、ツール及びオペレータの動的行動と対話するための知覚/認知アーキテクチャに人工的なメモリを提供するコードセグメントを含むことができ、前記知覚/認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造及び機構を有するメモリ予測フレームワーク実装に基づいており、前記メモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを含む、請求項1~5のいずれか一項に記載の方法を実現するソフトウェアを有するコンピュータプログラム。
- 請求項6~9のいずれか一項に記載のシステムを含む電子制御ユニットを備える車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163483A JP7204717B2 (ja) | 2020-09-29 | 2020-09-29 | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163483A JP7204717B2 (ja) | 2020-09-29 | 2020-09-29 | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018522849A Division JP2018529298A (ja) | 2015-07-23 | 2015-07-23 | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021010175A JP2021010175A (ja) | 2021-01-28 |
JP7204717B2 true JP7204717B2 (ja) | 2023-01-16 |
Family
ID=74198601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020163483A Active JP7204717B2 (ja) | 2020-09-29 | 2020-09-29 | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7204717B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005212709A (ja) | 2004-02-02 | 2005-08-11 | Yoichi Takebayashi | 車両運転支援システム |
JP2006119926A (ja) | 2004-10-21 | 2006-05-11 | Honda Motor Co Ltd | 行動学習制御装置 |
JP2010271794A (ja) | 2009-05-19 | 2010-12-02 | Fuji Heavy Ind Ltd | 運転行動誘導システム |
JP2011014038A (ja) | 2009-07-03 | 2011-01-20 | Fuji Heavy Ind Ltd | オンラインリスク認識システム |
US20120084237A1 (en) | 2009-06-11 | 2012-04-05 | Sony Corporation | Data processing device, data processing method, and program |
WO2014009031A2 (en) | 2012-07-09 | 2014-01-16 | Toyota Motor Europe Nv/Sa | Artificial memory system and method for use with a computational machine for interacting with dynamic behaviours |
-
2020
- 2020-09-29 JP JP2020163483A patent/JP7204717B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005212709A (ja) | 2004-02-02 | 2005-08-11 | Yoichi Takebayashi | 車両運転支援システム |
JP2006119926A (ja) | 2004-10-21 | 2006-05-11 | Honda Motor Co Ltd | 行動学習制御装置 |
JP2010271794A (ja) | 2009-05-19 | 2010-12-02 | Fuji Heavy Ind Ltd | 運転行動誘導システム |
US20120084237A1 (en) | 2009-06-11 | 2012-04-05 | Sony Corporation | Data processing device, data processing method, and program |
JP2011014038A (ja) | 2009-07-03 | 2011-01-20 | Fuji Heavy Ind Ltd | オンラインリスク認識システム |
JP2012079178A (ja) | 2010-10-04 | 2012-04-19 | Sony Corp | データ処理装置、データ処理方法、及び、プログラム |
WO2014009031A2 (en) | 2012-07-09 | 2014-01-16 | Toyota Motor Europe Nv/Sa | Artificial memory system and method for use with a computational machine for interacting with dynamic behaviours |
Non-Patent Citations (2)
Title |
---|
REN C-X; DAI D-Q,INCREMENTAL LEARNING OF BIDIRECTIONAL PRINCIPAL COMPONENTS FOR FACE RECOGNITION,PATTERN RECOGNITION,英国,ELSEVIER,2010年01月,VOL:43, NR:1,PAGE(S):318 - 330,http://dx.doi.org/10.1016/j.patcog.2009.05.020 |
WANGMENG ZUO; ZHANG D; KUANQUAN WANG,BIDIRECTIONAL PCA WITH ASSEMBLED MATRIX DISTANCE METRIC FOR IMAGE RECOGNITION,IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS. PART B:CYBERNETICS,米国,2006年08月,VOL:36, NR:4,PAGE(S):863 - 872,http://dx.doi.org/10.1109/TSMCB.2006.872274 |
Also Published As
Publication number | Publication date |
---|---|
JP2021010175A (ja) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11379705B2 (en) | System and computer-based method for simulating a human-like control behaviour in an environmental context | |
Hoang et al. | A survey on deep learning based bearing fault diagnosis | |
Pietila et al. | Intelligent systems approaches to product sound quality evaluations–A review | |
JP6742554B1 (ja) | 情報処理装置およびそれを備えた電子機器 | |
US20160239706A1 (en) | Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks | |
US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
US11423323B2 (en) | Generating a sparse feature vector for classification | |
Cateni et al. | A hybrid feature selection method for classification purposes | |
US8504331B2 (en) | Aerodynamic model identification process for aircraft simulation process | |
WO2018084941A1 (en) | Temporal difference estimation in an artificial neural network | |
CN112985830A (zh) | 一种abs结果自动判定算法 | |
Pan et al. | Cognitive acoustic analytics service for Internet of Things | |
Taherifard et al. | Attention-based event characterization for scarce vehicular sensing data | |
JP7204717B2 (ja) | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 | |
EP3588441B1 (en) | Imagification of multivariate data sequences | |
Salih et al. | Deep learning for face expressions detection: Enhanced recurrent neural network with long short term memory | |
CN116630943A (zh) | 一种驾驶员疲劳检测模型构建方法、装置、设备及介质 | |
US20220309771A1 (en) | Method, device, and computer program for an uncertainty assessment of an image classification | |
CN115512424A (zh) | 基于计算机视觉的室内人员痛苦表情识别方法及系统 | |
CN116523952A (zh) | 利用2d和3d逐点特征估计6d目标姿态 | |
CN111259859B (zh) | 一种基于联合变量图片生成的行人重识别方法 | |
US20210081765A1 (en) | Efficient inferencing with fast pointwise convolution | |
CN112115872A (zh) | 利用类别激活映射的三维动作识别残差网络可视化方法 | |
CN113255800B (zh) | 基于音视频的鲁棒情感建模系统 | |
JP2024045070A (ja) | ロングテール分類用のマルチ教師グループ蒸留のためのシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7204717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |