JP6603828B1 - フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム - Google Patents
フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6603828B1 JP6603828B1 JP2019537319A JP2019537319A JP6603828B1 JP 6603828 B1 JP6603828 B1 JP 6603828B1 JP 2019537319 A JP2019537319 A JP 2019537319A JP 2019537319 A JP2019537319 A JP 2019537319A JP 6603828 B1 JP6603828 B1 JP 6603828B1
- Authority
- JP
- Japan
- Prior art keywords
- phrase
- relationship
- label
- input
- connection expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
Description
<本発明の第1の実施の形態の概要>
関係性推定では、2つのテキストとその間の関係性を表す接続表現又は関係ラベルであるラベルからなる3つ組{フレーズ1、フレーズ2、ラベル}が入力として与えられた際に、3つの組み合わせの信頼度スコア(以下関係スコア)を出力する。
図2に示すように、h、t、rを連結し、多層パーセプトロンなどを用いて、1次元の出力値である関係スコアscore(h, t, r)を出力する。
図3に示すように、hとrを連結し、多層パーセプトロンなどを用いて、r次元のベクトルE_hrを出力し、tから、多層パーセプトロンなどを用いて、r次元のベクトルE_tを出力し、E_hrとE_tの近さで関係スコアを計算する。両ベクトルの近さは、例えばコサイン類似度等を用いればよい。
次に、本発明の第1の実施の形態に係る関係性推定モデル学習装置の構成について説明する。図4に示すように、本発明の実施の形態に係る関係性推定モデル学習装置150は、CPUと、RAMと、後述する関係性推定モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この関係性推定モデル学習装置150は、機能的には図4に示すように入力部50と、演算部60と、出力部90とを備えている。
買い換える
xxx7に買い換える
xxx5を換える
{携帯電話が壊れる、xxx7に買い換える、ので}
{携帯電話が壊れる、xxx5を買い換える、ので}
図8(B)に示すように、接続表現データベース73に、接続表現と接続表現が表す関係性を示す関係ラベルが予め登録されているものとする。
{携帯電話が壊れる、xxx7に買い換える、原因}
{携帯電話が壊れる、xxx5を買い換える、原因}
人手により、接続表現を関係ラベルに変換したもの{フレーズ1、フレーズ2、関係ラベル}、抽出方法2の{フレーズ1、フレーズ2、関係ラベル}を合わせて出力する。最終的に出力されるラベルの種類はM通りとなる。
人手により、接続表現を関係ラベルに変換したもの{フレーズ1、フレーズ2、関係ラベル}と、抽出方法1の{フレーズ1、フレーズ2、接続表現}を合わせて出力する。最終的に出力されるラベルの種類はN+M通りとなる。
Zhiyi Luo, Yuchen Sha, Kenny Q. Zhu, Seung-won Hwang, and Zhongyuan Wang. 2016. Commonsense causal reasoning between short texts. In Proceedings of the Fifteenth International Conference on Principles of Knowledge Representation and Reasoning, KR'16, pages 421-430. AAAI Press.
上記の関係スコア計算方法1に対応して、以下の式で損失計算を行う。
上記の関係スコア計算方法2に対応して、以下の式で損失計算を行う。
次に、本発明の第1の実施の形態に係る関係性推定モデル学習装置150の作用について説明する。入力部50において入力テキストを受け付けると、関係性推定モデル学習装置150は、図9に示す関係性推定モデル学習処理ルーチンを実行する。
次に、本発明の第1の実施の形態に係る関係性推定装置100の作用について説明する。関係性推定モデル学習装置150によって予め学習された関係性推定モデルが関係性推定装置100に入力されると、関係性推定装置100は、関係性推定モデルを記憶部22へ格納する。そして、入力部10が、推定対象の3つ組{フレーズ1、フレーズ2、ラベル}を受け付けると、関係性推定装置100は、図10に示す関係性推定処理ルーチンを実行する。
<本発明の第2の実施の形態の原理>
まず、入力フレーズに対して関係性を有するフレーズを生成するモデルについて説明する。本実施の形態では、フレーズを生成するためにニューラルネットワークにおけるアテンションベースのEncoder-decoderモデルを、フレーズ生成モデルとして用いる(図11参照)。さらに、従来のアテンションベースのEncoder-decoderモデルに加えて関係ラベルの情報を考慮する点が従来のモデルと異なる。Encoder-decoderモデルは、テキストに対応する情報を中間状態(ベクトルの系列。以降、中間出力ともいう。)に変換する機能を担うニューラルネットワーク(これを「エンコーダ」という)と、中間出力をテキストに変換する機能を担うニューラルネットワーク(これを「デコーダ」という)とから構成されるニューラルネットワークである。デコーダでは、ラベルrを各時刻の入力として用いている。
Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the ACL, pp. 994-1003, 2016.
次に、本発明の第2の実施の形態に係るフレーズ生成装置の構成について説明する。図12に示すように、本発明の第2の実施の形態に係るフレーズ生成装置200は、CPUと、RAMと、後述するフレーズ生成処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。このフレーズ生成装置200は、機能的には図12に示すように入力部210と、演算部220と、出力部240とを備えている。
次に、本発明の第2の実施の形態に係るフレーズ生成モデル学習装置の構成について説明する。なお、フレーズ生成モデル学習装置の構成は、第1の実施の形態に係る関係性推定モデル学習装置150と同様の構成であるため、同一符号を付して説明を省略する。
2つ組{勉強する、ために'}→テストを受ける
次に、本発明の第2の実施の形態に係るフレーズ生成モデル学習装置の作用について説明する。入力部50において入力テキストを受け付けると、フレーズ生成モデル学習装置は、上記図9に示す関係性推定モデル学習処理ルーチンと同様の処理ルーチンを実行し、生成された3つ組{フレーズ1、フレーズ2、ラベル}から得られる、2つ組{フレーズ1、ラベル}→フレーズ2、2つ組{フレーズ2、ラベル'}→フレーズ1を、学習における正解データとして用い、フレーズ生成モデルの学習を行う。
次に、本発明の第2の実施の形態に係るフレーズ生成装置200の作用について説明する。フレーズ生成モデル学習装置によって予め学習されたフレーズ生成モデルがフレーズ生成装置200に入力されると、フレーズ生成装置200は、フレーズ生成モデルを記憶部222へ格納する。そして、入力部210が、推定対象の2つ組{フレーズ1、ラベル}を受け付けると、フレーズ生成装置200は、図13に示すフレーズ生成処理ルーチンを実行する。
<本発明の第3の実施の形態の原理>
本発明の第3の実施の形態では、図14に示すような関係性推定モデルとフレーズ生成モデルを同時に学習する。具体的には、入力フレーズを単語ベクトル系列に、ラベルをベクトルに変換するためのembeddingと、単語ベクトル系列からフレーズのベクトルに変換するためのLSTMとを、関係性推定モデルとフレーズ生成モデルとで共有する。それぞれの具体的な構成を下記に示す。
まず、第3の実施の形態における関係性推定モデルについて説明する。
<損失関数>
本実施の形態では、関係性推定モデル及びフレーズ生成モデルの損失関数を同時に考慮しながら学習を行う。具体的には、下記の式に示す損失関数を用いて学習を行う。
Binary cross entropyを用いて2値分類モデルの学習を行う場合、負例を用意する必要がある。本実施の形態では、上記非特許文献2の研究で最も精度が良かったランダムサンプリングを用いて負例の生成を行う。具体的には、それぞれの正例3つ組データτ={t1, t2, r}に対して、t1、t2、rを1つずつランダムに置き換えたデータτneg1={t1', t2, r}、τneg2={t1, t2, r'}、τneg3={t1, t2', r}を生成する。ランダムにサンプリングされるt',t2'はそれぞれ学習時に出現した候補からサンプリングされ、r'は全ラベル候補の中からサンプリングされる。従って、学習中は、正例1つにつき3個の負例をサンプリングしながら学習を行う。ただし、負例は関係性推定モデルのみに用いる。フレーズ生成モデルは正しい3つ組から学習を行いたいため、正例の3つ組のみから学習を行う。
次に、本発明の第3の実施の形態に係るフレーズ生成関係性推定モデル学習装置の構成について説明する。なお、フレーズ生成関係性推定モデル学習装置の構成は、第1の実施の形態に係る関係性推定モデル学習装置と同様の構成であるため、同一符号を付して説明を省略する。
次に、本発明の第3の実施の形態に係るフレーズ生成装置の構成について説明する。なお、第2の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
次に、本発明の第3の実施の形態に係るフレーズ生成関係性推定モデル学習装置の作用について説明する。入力部310において入力テキストを受け付けると、フレーズ生成関係性推定モデル学習装置は、上記図9に示す関係性推定モデル学習処理ルーチンと同様の処理ルーチンを実行し、生成した3つ組{フレーズ1、フレーズ2、ラベル}と、当該3つ組{フレーズ1、フレーズ2、ラベル}から得られる、2つ組{フレーズ1、ラベル}→フレーズ2、2つ組{フレーズ2、ラベル'}→フレーズ1とを、学習における正解データとして用い、当該3つ組{フレーズ1、フレーズ2、ラベル}から得られる負例を更に用いて、関係性推定モデルとフレーズ生成モデルとの同時学習を行う。
次に、本発明の第3の実施の形態に係るフレーズ生成装置300の作用について説明する。フレーズ生成関係性推定モデル学習装置によって予め学習された関係性推定モデル及びフレーズ生成モデルがフレーズ生成装置300に入力されると、フレーズ生成装置300は、関係性推定モデル及びフレーズ生成モデルを記憶部322へ格納する。そして、入力部310が、推定対象の2つ組{フレーズ1、ラベル}を受け付けると、フレーズ生成装置300は、図16に示すフレーズ生成処理ルーチンを実行する。
<実験データ>
実験データは、上記非特許文献2が公開しているConceptNet(英語)のデータと、発明者らが独自にアノテーションした日本語のオープンドメインデータを用いる。表1にそれぞれのデータの概要を示す。
関係性推定モデルのベースラインとして、上記非特許文献2の手法(DNN AVG, DNN LSTM)を用いる。これらは、入力ベクトルvinがそれぞれ単語ベクトルの平均、LSTMのmaxpoolingをとったものである。ただし、LSTMのモデルでは、t1とt2を別々にベクトル化して連結した。
本実験例で用いたパラメータについて説明する。LSTMの隠れ層、単語・ラベルのembedding は200 次元、関係性推定モデルの中間層の次元を10001、学習時のバッチサイズは128、ドロップアウトは0.2、weight decayは0.00001 に設定した。また、フレーズ生成モデルのエンコーダには1層の双方向LSTM、デコーダには1層のLSTMを用いた。最適化法はSGDを用い,初期学習率は1.0に設定し減衰率を0.5としてスケジューリングを行った。
Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. arXiv preprint arXiv:1607.04606, 2016.
<関係性の推定>
表2に関係性の推定(2値分類)の評価結果を示す。
表3に、フレーズ生成モデルの精度を示す。
20、60、220、320 演算部
21、323 推定部
22、222、322 記憶部
40、90、240、340 出力部
62 学習データ生成部
63 学習部
71 基本解析部
72 フレーズ抽出部
73 接続表現データベース
100 関係性推定装置
150 関係性推定モデル学習装置
200、300 フレーズ生成装置
221 フレーズ生成部
Claims (6)
- フレーズの組み合わせと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる3つ組を学習データとして用いて、フレーズと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる2つ組から、フレーズをベクトルに変換するエンコーダ、及び前記変換されたベクトルと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルとから、前記フレーズに対して前記接続表現又は前記関係ラベルが表す関係性を有するフレーズを生成するデコーダを含むフレーズ生成モデルを学習する学習部
を含むフレーズ生成モデル学習装置。 - 入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる3つ組を作成する学習データ生成部を更に含み、
前記学習部は、前記学習データ生成部によって作成された前記3つ組を学習データとして用いて、前記フレーズ生成モデルを学習する請求項1記載のフレーズ生成モデル学習装置。 - 入力フレーズと、フレーズ間の関係性を表わす接続表現又は関係ラベルとの少なくとも一方とからなる2つ組を入力とし、
予め学習されたフレーズ生成モデルに基づき、前記入力フレーズに対して前記接続表現又は前記関係ラベルが表す関係性を有するフレーズを生成するフレーズ生成部
を含むフレーズ生成装置。 - 学習部が、フレーズの組み合わせと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる3つ組を学習データとして用いて、フレーズと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる2つ組から、フレーズをベクトルに変換するエンコーダ、及び前記変換されたベクトルと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルとから、前記フレーズに対して前記接続表現又は前記関係ラベルが表す関係性を有するフレーズを生成するデコーダを含むフレーズ生成モデルを学習する
フレーズ生成モデル学習方法。 - フレーズ生成部が、入力フレーズと、フレーズ間の関係性を表わす接続表現又は関係ラベルとの少なくとも一方とからなる2つ組を入力とし、
予め学習されたフレーズ生成モデルに基づき、前記入力フレーズに対して前記接続表現又は前記関係ラベルが表す関係性を有するフレーズを生成する
フレーズ生成方法。 - コンピュータを、請求項1又は2記載のフレーズ生成モデル学習装置又は請求項3記載のフレーズ生成装置を構成する各部として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038054 | 2018-03-02 | ||
JP2018038054 | 2018-03-02 | ||
PCT/JP2019/006812 WO2019167835A1 (ja) | 2018-03-02 | 2019-02-22 | フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6603828B1 true JP6603828B1 (ja) | 2019-11-06 |
JPWO2019167835A1 JPWO2019167835A1 (ja) | 2020-04-16 |
Family
ID=67805794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019537319A Active JP6603828B1 (ja) | 2018-03-02 | 2019-02-22 | フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11651166B2 (ja) |
JP (1) | JP6603828B1 (ja) |
WO (1) | WO2019167835A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6973157B2 (ja) * | 2018-02-16 | 2021-11-24 | 日本電信電話株式会社 | 議論構造拡張装置、議論構造拡張方法、及びプログラム |
US11169514B2 (en) * | 2018-08-27 | 2021-11-09 | Nec Corporation | Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data |
US11501159B2 (en) * | 2019-03-26 | 2022-11-15 | Alibaba Group Holding Limited | Methods and systems for text sequence style transfer by two encoder decoders |
CN111325000B (zh) * | 2020-01-23 | 2021-01-26 | 北京百度网讯科技有限公司 | 语言生成方法、装置及电子设备 |
CN113239694B (zh) * | 2021-06-04 | 2022-06-14 | 北京理工大学 | 一种基于论元短语的论元角色识别的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008203964A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 因果関係分析装置、因果関係分析方法及びプログラム |
JP2016170636A (ja) * | 2015-03-12 | 2016-09-23 | 日本電信電話株式会社 | 接続関係推定装置、方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5904559B2 (ja) * | 2013-12-20 | 2016-04-13 | 国立研究開発法人情報通信研究機構 | シナリオ生成装置、及びそのためのコンピュータプログラム |
JP6721179B2 (ja) * | 2016-10-05 | 2020-07-08 | 国立研究開発法人情報通信研究機構 | 因果関係認識装置及びそのためのコンピュータプログラム |
-
2019
- 2019-02-22 WO PCT/JP2019/006812 patent/WO2019167835A1/ja active Application Filing
- 2019-02-22 JP JP2019537319A patent/JP6603828B1/ja active Active
- 2019-02-22 US US16/977,422 patent/US11651166B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008203964A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 因果関係分析装置、因果関係分析方法及びプログラム |
JP2016170636A (ja) * | 2015-03-12 | 2016-09-23 | 日本電信電話株式会社 | 接続関係推定装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019167835A1 (ja) | 2020-04-16 |
US20210004541A1 (en) | 2021-01-07 |
WO2019167835A1 (ja) | 2019-09-06 |
US11651166B2 (en) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6603828B1 (ja) | フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム | |
CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
WO2019168189A1 (ja) | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム | |
WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
CN111325029B (zh) | 一种基于深度学习集成模型的文本相似度计算方法 | |
CN110704576B (zh) | 一种基于文本的实体关系抽取方法及装置 | |
CN111401084B (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
Alwehaibi et al. | A study of the performance of embedding methods for Arabic short-text sentiment analysis using deep learning approaches | |
CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
CN114818891A (zh) | 小样本多标签文本分类模型训练方法及文本分类方法 | |
Almiman et al. | Deep neural network approach for Arabic community question answering | |
WO2019160096A1 (ja) | 関係性推定モデル学習装置、方法、及びプログラム | |
Aida et al. | A comprehensive analysis of PMI-based models for measuring semantic differences | |
Al Omari et al. | Hybrid CNNs-LSTM deep analyzer for arabic opinion mining | |
Leng et al. | Deepreviewer: Collaborative grammar and innovation neural network for automatic paper review | |
US20220156489A1 (en) | Machine learning techniques for identifying logical sections in unstructured data | |
US20240037335A1 (en) | Methods, systems, and media for bi-modal generation of natural languages and neural architectures | |
Putra et al. | Sentence boundary disambiguation for Indonesian language | |
Ananth et al. | Grammatical tagging for the Kannada text documents using hybrid bidirectional long-short term memory model | |
CN115129818A (zh) | 基于知识驱动多分类的情绪原因对提取方法及系统 | |
KR102215259B1 (ko) | 주제별 단어 또는 문서의 관계성 분석 방법 및 이를 구현하는 장치 | |
CN114398482A (zh) | 一种词典构造方法、装置、电子设备及存储介质 | |
Diao et al. | CRGA: Homographic pun detection with a contextualized-representation: Gated attention network | |
KR20220096055A (ko) | 단어 임베딩을 수행하는 전자장치 및 이의 동작방법 | |
Shahade et al. | Deep learning approach-based hybrid fine-tuned Smith algorithm with Adam optimiser for multilingual opinion mining |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190709 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |