JP2023504796A - 音声認識方法及び関連製品 - Google Patents
音声認識方法及び関連製品 Download PDFInfo
- Publication number
- JP2023504796A JP2023504796A JP2022531437A JP2022531437A JP2023504796A JP 2023504796 A JP2023504796 A JP 2023504796A JP 2022531437 A JP2022531437 A JP 2022531437A JP 2022531437 A JP2022531437 A JP 2022531437A JP 2023504796 A JP2023504796 A JP 2023504796A
- Authority
- JP
- Japan
- Prior art keywords
- text
- language model
- preset scene
- speech recognition
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 11
- 239000012776 electronic material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 241000227653 Lycopersicon Species 0.000 description 5
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することとを含む。
前記共有テキストに対して単語分割・分類処理を行いキーワードを取得し、前記キーワードに基づいてホットワードリストを更新し、新しいホットワードリストを取得することと、
カスタム言語モデル及び前記新しいホットワードリストにより音声認識を実行することとを含む。
前記共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、前記キーワードに基づいて前記予め設定されたシーンのホットワードリストを更新し、新しいホットワードリストを取得することを含む。
前記カスタム言語モデル及び前記新しいホットワードリストを用いて前記予め設定されたシーンの音声認識を実行することを含む。
予め設定されたシーンの音声を収集して認識し、センテンステキストとセンテンス時間情報とを含む音声認識結果を取得することと、
前記テキスト時間情報及び前記センテンス時間情報に基づいてマッチングし、前記センテンス時間情報と一致する場合、前記テキスト時間情報に対応する前記テキスト内容を前記共有テキストとすることとを含む。
前記共有テキストに対して単語分割、分類処理を行い、フレーズ集合又はセンテンス集合を取得することと、
フレーズの単語頻度及び単語頻度の閾値に基づいて前記キーワードを決定することとを含み、前記単語頻度は、前記フレーズ集合又は前記センテンス集合における前記フレーズの出現回数である。
前記フレーズ集合における各フレーズの単語頻度を取得することと、
前記単語頻度が前記単語頻度の閾値以上、かつ異なる端末から送信されたフレーズを前記キーワードとすることと、
TF-IDFアルゴリズムを用いて、前記単語頻度が前記単語頻度の閾値より小さいフレーズから、前記キーワードを選別することとを含む。
前記ホットワードリストに基づいて前記フレーズ集合をフィルタリングすることを含む。
前記キーワードの間又は前記キーワードと前記ホットワードリストとの間に存在する同音異義語を決定することと、
前記同音異義語を有する前記センテンステキストを決定し、前記センテンステキストにおける同音異義語を置き換え、置き換えた後のセンテンステキストを取得することと、
前記置き換えた後のセンテンステキストの音声モデル得点に基づいて、言語モデル得点
が最も高い同音異義語を前記新しいホットワードリストの単語とすることとを含む。
前記音声認識結果に対して段落分割処理を行って段落の分割時点を取得し、前記分割時点の後に、前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することを含む。
前記テキスト内容と前記音声認識結果との間のテキスト類似度を決定することと、
前記テキスト類似度及び類似度閾値に基づいて、テキスト類似度が前記類似度閾値より低い前記テキスト内容をフィルタリングすることとを含む。
前記第1の端末と前記第2の端末のテキスト内容の間のテキスト類似度を第1のテキスト類似度として取得することと、
第1のテキスト類似度が第1の類似度の設定閾値より大きい前記第1の端末の数量を取得することと、
前記第1の端末から送信されたテキスト内容と前記第1の端末から送信された音声認識結果との間のテキスト類似度を第2のテキスト類似度として取得することと、
前記数量及び前記第2のテキスト類似度に基づいて前記第1の端末から送信された共有テキストをフィルタリングすることとを含む。
現在の音声段落認識が終了した後に得られた段落集合における共有テキストに基づいて初期言語モデルを取得することと、
初期言語モデル及び予め設定された言語モデルに基づいて確率補間処理を行い、カスタム言語モデルを取得することとを含む。
前記テキスト内容は、前記予め設定されたシーンに基づいてユーザーが作成したメモ、前記予め設定されたシーンに関する電子資料にユーザーが作成したマーク、ユーザースマート端末をユーザーが使って撮影した文字情報を含む写真の少なくとも一つを含む。
予め設定されたシーンにおける複数台の端末から送信されたテキスト内容及びテキスト時間情報を取得し、前記テキスト内容及び前記テキスト時間情報に基づいて前記予め設定されたシーンの共有テキストを決定する取得ユニットと、
前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行する認識ユニットとを含む。
ュータ記憶媒体にはコンピュータプログラムが格納され、前記コンピュータプログラムにはプログラム命令を含み、前記プログラム命令は、プロセッサによって実行される時に、本出願の実施例の第一の態様に記載されるステップの一部又は全部を実行する。
はユニットに限定されず、選択肢として、リストされていないステップ又はユニット、又は選択肢として、これらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットをさらに含む。
図1を参照し、図1は、音声認識方法を提供し、当該方法は、電子機器で実行され、当該電子機器は、汎用コンピュータ、サーバーなどであってもよく、当然、実際の応用でデータ処理センター、クラウドプラットフォームなどであってもよく、本出願は上記の電子機器の具体的な実装形態を限定するものではない。図1に示すよう、当該方法は次のステップを含む。
上記のS102の具体的な実施形態は、実施例四の説明を参照できるので、ここでは省略する。
S201:共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、キーワードに基づいてホットワードリストを更新し、新しいホットワードリストを取得する。S202:カスタム言語モデル及び新しいホットワードリストにより音声認識を実行する。
前記共有テキストに対して単語分割・分類処理を行ってキーワードを取得することと、前記キーワードに基づいて前記予め設定されたシーンのホットワードリストを更新し、新しいホットワードリストを取得することとを含む。
実施例一に基づいて実施例二を提供し、上記のテキスト内容とは、ユーザーが端末で作成した予め設定されたシーンに関する内容を指し、ユーザーが予め設定されたシーンに基づいて作成したメモ、ユーザーが予め設定されたシーンに関する電子資料に作成したマーク、ユーザーがユーザースマート端末を使って撮影した文字情報を含む写真などを含む。このうち、メモとしては、用紙や講義ノートなどの紙媒体を用いて手書きしたメモ、又は、電子メモ帳、ワード、PDF、パワーポイントなどの電子記録媒体を用いて手動で入力したメモなどが挙げられる。なお、予め設定されたシーンに関する電子資料は、ユーザースマート端末で受信され、又はローカルで生成された音声認識結果のドキュメント、音声認識シーンの電子シーン資料(講演、研修、会議などのパワーポイント、PDF、ワードなどの電子資料)を含む。予め設定されたシーンに関する電子資料のマークは、ユーザーが音声認識結果のドキュメント又は電子シーン資料の内容変更、重要な箇所を目立たせるためにつけたマークなどを含む。
A:ユーザーが入力ツールを利用して手動で入力したメモの場合、当該メモに基づいて対応するテキスト内容を直接決定でき、メモ文字の入力時間を当該テキスト内容の生成時間、即ちテキスト時間情報とする。
B:ユーザーがユーザースマート端末で作成した手書きメモの場合、手書き認識原理に基づいて手書きメモを処理することによって対応するテキスト内容を取得でき、手書き時間
を当該テキスト内容の生成時間、即ちテキスト時間情報とする。
C:ユーザーが予め設定されたシーンに関する電子資料に作成したマークの場合、光学的文字認識原理に基づいて予め設定されたシーンに関する電子資料を処理することによって、マークに対応するテキスト内容を取得でき、マークの操作時間、即ちマーク時間を当該テキスト内容の生成時間、即ちテキスト時間情報とする。
D:ユーザーがユーザースマート端末を用いて撮影した文字情報を含む写真の場合、光学的文字認識原理に基づいて写真を処理することによって、写真におけるテキスト内容を認識し、写真の撮影時間を当該テキスト内容の生成時間、即ちテキスト時間情報とする。
具体的には、予め設定されたシーンにおける端末のリアルタイム音声認識アプリケーションを用いて音声認識を行い、音声認識結果を取得する。センテンスのテキストは音声節の認識テキストであり、センテンス時間情報は音声節の認識終了時間(即ち音声認識と同期に生成する端点検出情報の時点に基づいて決定した時間境界)である。
具体的には、端末から送信されたテキスト内容について、テキスト内容のテキスト時間情報は、音声節の音声認識開始時間から音声節の認識終了時間までの期間にある場合、テキスト時間情報とセンテンス時間情報がマッチングするとみなし、テキスト時間情報に対応するテキスト内容を共有テキストとする。本発明の実施例では、また端末で生成された音声認識結果を共有テキストとし、S302の後に取得した共有テキストは他の端末から送信されたテキスト内容であるため、本実施例では本端末で認識した音声認識結果を共有テキストとし、より正確的な共有テキストを取得することで、その後に生成したカスタム言語モデルの精度を高め、よって言語認識の精度が高められる。
予め設定されたシーンにおける複数の端末について、既存のローカルエリアネットワークを用いて複数の端末間の相互通信を実現し、予め設定されたシーンにおける複数の端末の相互通信のための経路を構築することができる。複数の端末うち、任意の端末の利用者が端末のリアルタイム音声認識アプリケーションを使用してテキスト共有請求の同期情報を当該ローカルエリアネットワーク内のすべての端末に送信する。同期情報を受信した端末の利用者が当該テキスト共有請求に応答し、テキスト共有に参加するか否かを確認する。テキスト共有に参加する複数の端末からグループを構成し、実際の音声認識シーンにおいて、端末の時間が利用者の人為的な妨害(タイムゾーンの設定又は時間情報の手動調整など)を受けることを考慮し、同じグループの端末の時間を統一し、その後に送信するテキスト内容及び音声認識結果の時間的な整合性を確保する必要がある。グループにおける任意の端末を時間サーバーとして選択し、当該端末の時間を基準時間とし、その後にその他の端末では、当該時間を基準に、ネットワーク・タイム・プロトコル(Netwоrk Time Prоtоcоl、NTP)を用いて時間の同期を行い、その後に送信するテキスト内容及び音声認識結果の時間的な整合性を保証する。
-begin及び終了時間Tn-endを共有テキストの時間帯(即ち共有テキストの取得時間帯)として確認する。即ち図4に示すように、図4は本発明の実施例二に係る共有テキストの取得時間を示す図である。現在の段落の開始時間Tn-beginはテキスト変換の開始時点(T0-begin)又は前の段落分割の終了時点(Tn-1-begin)である。終了時間Tn-endは、リアルタイムな段落分割の段落終了節に対応する時点である。決定した現在の段落の終了時間Tn-endは共有テキストで決定したカスタム言語モデルが有効となる時点であり、カスタム言語モデルの決定ポリシーについて実施例四を参照する。このうち、終了時間帯Tn-endにおいて、選別と整理により取得された共有テキストを用いてカスタム言語モデルを更新し、更新したカスタム言語モデルを利用して当該段落の2回認識結果を再評価し(rescоre)、次の段落のリアルタイムな復号化を行う。
図6を参照し、図6は本発明の実施例三に係るステップS201のフローチャートであり、以下、共有テキスト集合に基づいてキーワードを取得する方法について説明し、つまりS201は具体的には以下を含む。
具体的には、現在の時間帯内の共有テキスト集合を構築し、実施例二で決定された共有テキスト構築用の取得時間帯に基づいて共有テキスト集合を構築し、現在の時間帯内[Tn-begin,Tn-end内]の各時刻{Tn-1,Tn-2,…,Tn-m}内に収集されたテキスト内容を対象に単語分割・分類を行い、主に単語(フレーズ)、センテンス(段落)の2種類に分かれ、フレーズ集合及びセンテンス集合を取得する。単語分割後の単語の数量が2より小さい場合、単語(フレーズ)種類に該当するとみなし、そうでない場合、センテンス(段落)種類に該当する。Tn-1及びTn-mで収集した異なる端末の間の共有テキスト集合について、図7に示すように、図7は本発明の実施例三に係る共有テキスト集合を示す図である。このうちWt1-d1-id1は、時刻t1のデバイスd1で取得された単語番号id1を表し、St1-d1-id1は、時刻t1の端末d1で取得されたセンテンス(段落)番号id1を表し、{R1,…,Rn-1}は、現在の時間帯内で取得されたリアルタイムのn-1個の段落の音声認識結果を表す。
具体的には、予め設定されたシーンのホットワードリストは、予め手動で入力された単語からなることであってもよい。ホットワードリストの単語と同じであるフレーズについて、フレーズ集合から削除される。例えば、単語番号id1の単語がホットワードリストに
含まれている場合、単語(フレーズ)集合{Wta-db-idc}から削除される。
具体的には、フレーズ集合又はセンテンス集合における各フレーズの出現回数を単語頻度として計算する。
具体的には、単語頻度の閾値は実際の状況に応じて調整されてもよい。例えば、単語頻度の閾値を2とする。
具体的には、本実施例において、単語頻度が単語頻度の閾値より小さいフレーズについて、引き続きTF-IDFアルゴリズムを利用し、キーワードを選別し、まずフレーズの統一の単語頻度を計算する。このうち、センテンス集合におけるあるフレーズの出現回数を単語頻度として計算し、当該単語頻度とセンテンス集合の合計単語数の比を当該フレーズの統一の単語頻度とする。その後、あるフレーズの逆文書頻度を計算し、逆文書頻度の計算式はlоg(予め設定されたコーパスの文章総数/(あるフレーズを含む文章総数+1))であり、予め設定されたコーパスは、予め設定されたシーンの言語モデルを訓練する時に使用される文章コーパスの集合であってもよい。その後、統一の単語頻度と逆文書頻度の積を当該フレーズの関係性得点とし、得点の閾値とフレーズの関係性得点に基づいてキーワードを選別し、得点の閾値の具体的な数値について、実際の状況に応じて設定され、関係性得点が得点の閾値以上のフレーズをキーワードとする。
キーワード及びホットワードリストにおけるフレーズに対して、モデリング辞書のマッピングを行うことによって、それらの中に同音異義のフレーズがあるかどうかを確認する。例えば、声母・韻母モデリングユニット又は主母音モデリングユニットにマッピングされることによって、キーワードの同音異義のフレーズを見つけることができる。あるキーワードと他のキーワード及びホットワードリストとを比較した後に、同音異義のフレーズが見つからない場合、直接に当該キーワードをホットワードリストに追加する。
まず、当該キーワードがセンテンス集合で出現するセンテンスを見つけて、その後に単語の置き換えによって複数のセンテンスを取得する。また複数のセンテンスの言語モデルの得点を計算し、言語モデルの得点に基づいて確認し、言語モデルの得点が高いフレーズをホットワードリストの単語として選択する。ここで、言語モデルの得点は既存の言語モデルを利用して計算されてもよい。例えば、キーワード「トマト世界一の大富豪」の同音異義のフレーズは、「西虹市世界一の大富豪」であり、それぞれ出現するセンテンス、例えば、「トマト世界一の大富豪は、沈騰、宋芸樺などの主演したコメディー映画である」及び「西虹市世界一の大富豪が2018年に公開された」を発見する。その中のキーワードを置き換え、それぞれ{「トマト世界一の大富豪は、沈騰、宋芸樺などの主演したコメデ
ィー映画である」、「西虹市世界一の大富豪は沈騰、宋芸樺などの主演したコメディー映画である」}及び{「トマト世界一の大富豪は2018年に公開された」、「西虹市世界一の大富豪は2018年に公開された」}の2つのセンテンス対を生成し、それぞれその言
語モデルの得点を比較する。2つのセンテンス対とも「西虹市世界一の大富豪」が存在するセンテンスの言語モデルの得点が高ければ、「トマト世界一の大富豪」は間違ったキーワードであり、「西虹市世界一の大富豪」は正しいキーワードであると判明し、「西虹市世界一の大富豪」をホットワードリストの単語とする。
実施例一及び実施例二に基づいて、実施例四を提供する。本実施例では、共有テキストに基づいて予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて予め設定されたシーンの音声認識を実行する前には、さらに以下を含む。
具体的には、現在の音声段落に対応する共有テキストは複数の端末から得られ、共有テキストにおけるテキスト内容及び音声認識結果に対して、ある端末から送信されたテキスト内容及び送信された音声認識結果の間のテキスト類似度を計算する。
具体的には、類似度閾値より小さいテキスト類似度に対応するテキスト内容を削除し、テキスト類似度が類似度閾値以上のテキスト内容を保持し、共有テキストにおけるテキスト内容をフィルタリングする。
例えば、第1の端末(Y1)、第2の端末(仮に2個で、それぞれY2、Y3とする)から送信されたテキスト内容について、それぞれY1とY2及びY3のテキスト内容の間のテキスト類似度X1、X2を計算し、即ちY1の第1のテキスト類似度をX1、X2とする。
具体的には、第1の予め設定された類似度閾値に基づいて第1の端末の第1のテキスト類似度が第1の予め設定された類似度閾値より大きい数量を決定し、第1の予め設定された類似度閾値の具体的な数値は実際の状況に応じて設定することができる。Y1を例にとると、仮にX1、X2が第1の予め設定された類似度閾値より大きいとすると、Y1の数量が2である。
具体的には、Y1を例にとると、Y1のテキスト内容とY1の音声認識結果との間のテキスト類似度を計算し、第2のテキスト類似度とする。
具体的には、第1の端末に対応する数量が予め設定された数値より小さく、かつその第2のテキスト類似度が第2の予め設定された類似度閾値より小さい場合、第1の端末のテキスト内容を無効情報とし、当該テキスト内容を削除する。逆に、数量が予め設定された数値以上、又は、第2のテキスト類似度が第2の予め設定された類似度閾値以上の場合、第1の端末から送信されたテキスト内容を関連情報とし、当該テキスト内容を保持する。数量が予め設定された数値以上、かつ、第2のテキスト類似度が第2の予め設定された類似度閾値以上である場合、第1の端末から送信されたテキスト内容を関連情報として保持することが容易に想到される。
予め設定された辞書モデルに基づいて第2の復号化ネットワークを生成し、既存の直列復号化解決策を用いて復号化ネットワークを生成することを含む。つまり、「開始」及び「終了」の2つの特殊ノードを導入し、第1の復号化ネットワーク及び第2の復号化ネットワークを接続し、任意の箇所で得点を勝負することによって、第1の復号化ネットワークが小さな工夫で第2の復号化ネットワークに組み込み、共同復号化を実現し、より高い音声認識の精度を得る。第1の復号化ネットワーク及び第2の復号化ネットワークは、WFSTなど復号化ネットワークであってもよい。本実施例では、現在の音声段落認識が終了した後に、現在の段落集合を取得し、現在の段落集合から得られた復号化ネットワークを用いて次の音声段落に対して音声認識を行い、復号化ネットワークと予め設定されたシーンの関係性がより高いため、音声認識の精度を効果的に高める。
具体的には、段落集合における共有テキストに基づいて、既存の言語モデル生成方法を用いて対応する初期言語モデルを生成し、初期言語モデルと予め設定されたシーンの関係性がより高くなる。N-gram言語モデルを例にとると、段落集合における共有テキストを用いてN-gram言語モデルを訓練して初期言語モデルを取得する。
具体的には、第1の復号化ネットワーク内のパスの得点と第2の復号化ネットワークのパスの得点を比較するよう、初期言語モデルのN-gram確率を予め設定された言語モデルのN-gram確率で補間する必要があり、また初期言語モデルのN-gramの規模を保持するために、初期言語モデルに出現するN-gramだけに対して確率の補間を行う。3階層の言語モデルを例にとると、
Pnew(wx|wx-2wx-1)=αPn(wx|wx-2wx-1)+αβPn-1(wx|wx-2wx-1)+αβ2Pn-2(wx|wx-2wx-1)+…+αβn-1Pl(wx|wx-2wx-1)+(1-α-αβ-αβ2-…αβn-1)Pb(wx|wx-2wx-1) (wx|wx-2wx-1∈共有テキスト)
このうち、Pbは予め設定された言語モデルのN-gram確率であり、Pi(i=1…n)は第iの段落集合を用いて生成した初期言語モデルのN-gram確率であり、Pnewは補間後の初期言語モデル(即ちカスタム言語モデル)のN-gram確率であり、αは補間係数、βはペナルティ係数である。このような補間方法により、N-gramの規模に変化がなく、計算量も少ない。
を修正し、T0-beginからT0-endまでの音声の最終的な音声認識結果を取得し、再評価により、T0-beginからT0-endまでの音声の認識精度を高める。
本出願の実施例五は、装置の実施例を提供し、図9を参照し、図9は音声認識装置を提供し、音声認識装置は、以下を含む。
上記の取得ユニット901の具体的な実施形態は、上記の実施例二の説明を参照できるので、ここでは省略する。
共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、キーワードに基づいてホットワードリストを更新して新しいホットワードリストを取得するキーワード取得モジュール;
カスタム言語モデル及び新しいホットワードリストにより音声認識を実行する認識モジュール。
予め設定されたシーンの音声を収集して認識し、センテンステキストとセンテンス時間情報とを含む音声認識結果を取得する結果取得モジュール。
テキスト時間情報及びセンテンス時間情報に基づいてマッチングを行い、センテンス時間情報にマッチングする場合、テキスト時間情報に対応するテキスト内容を共有テキストとするマッチングモジュール。
共有テキストに対して単語分割、分類処理を行って、フレーズ集合又はセンテンス集合を取得する第1のサブモジュール。
ホットワードリストに基づいてフレーズ集合をフィルタリングする第2のサブモジュール。
フレーズの単語頻度及び単語頻度の閾値に基づいてキーワードを決定し、単語頻度は、フレーズ集合又はセンテンス集合におけるフレーズの出現回数である第3のサブモジュール。
キーワードの間又はキーワードとホットワードリストとの間に存在する同音異義語を決定する第4のサブモジュール。
同音異義語が存在するセンテンステキストを判定し、センテンステキストにおける同音異義語を置き換えて、単語が置き換えられた後のセンテンステキストを取得する第5のサブモジュール。
単語が置き換えられた後のセンテンステキストの音声モデルの得点に基づいて、言語モデルの得点が最も高い同音異義語を新しいホットワードリストの単語とする第6のサブモジュール。
音声認識結果に対して段落分割処理を行って段落の分割時点を取得する段落分割ユニット。
分割時点後に、共有テキストに基づいて予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて予め設定されたシーンの音声認識を実行する認識ユニット。
テキスト内容と音声認識結果の間のテキスト類似度を決定する類似度決定モジュール。
テキスト類似度及び類似度閾値に基づいて、テキスト類似度が類似度閾値より低い共有テキストをフィルタリングするフィルタリングモジュール。
のコンピュータは電子機器を含む。
Claims (19)
- 音声認識方法であって、
予め設定されたシーンにおける複数台の端末から送信されたテキスト内容及びテキスト時間情報を取得し、前記テキスト内容及び前記テキスト時間情報に基づいて前記予め設定されたシーンの共有テキストを決定することと、
前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することと、を含むことを特徴とする音声認識方法。 - 前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することは、具体的には、
前記共有テキストに対して単語分割・分類処理を行って、キーワードを取得し、前記キーワードに基づいてホットワードリストを更新し、新しいホットワードリストを取得することと、
カスタム言語モデル及び前記新しいホットワードリストにより音声認識を実行することと、
を含むことを特徴とする請求項1に記載の方法。 - 前記カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行する前に、前記方法は、さらに、
前記共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、前記キーワードに基づいて前記予め設定されたシーンのホットワードリストを更新し、新しいホットワードリストを取得することを含む、
ことを特徴とする請求項1に記載の方法。 - 前記カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することは、具体的には、
前記カスタム言語モデル及び前記新しいホットワードリストを用いて前記予め設定されたシーンの音声認識を実行することを含む、
ことを特徴とする請求項3に記載の方法。 - 前記新しいホットワードリストの有効時点は、前記新しいホットワードリストの生成時点である、
ことを特徴とする請求項2~4のいずれか1項に記載の方法。 - 前記テキスト内容及び前記テキスト時間情報に基づいて前記予め設定されたシーンの共有テキストを決定することは、具体的には、
予め設定されたシーンの音声を収集して認識し、センテンステキストとセンテンス時間情報とを含む音声認識結果を取得することと、
前記テキスト時間情報及び前記センテンス時間情報に基づいてマッチングし、前記センテンス時間情報とマッチングする場合、前記テキスト時間情報に対応する前記テキスト内容を前記共有テキストとすることと、
を含むことを特徴とする請求項2~5のいずれか1項に記載の方法。 - 前記方法はさらに、前記音声認識結果を前記共有テキストとすることを含む、
ことを特徴とする請求項6に記載の方法。 - 前記共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、前記キー
ワードに基づいてホットワードリストを更新し、新しいホットワードリストを取得することは、具体的には、
前記共有テキストに対して単語分割、分類処理を行って、フレーズ集合又はセンテンス集合を取得することと、
フレーズの単語頻度及び単語頻度の閾値に基づいて前記キーワードを決定することとを含み、
前記単語頻度は、前記フレーズ集合又は前記センテンス集合における前記フレーズの出現回数である、
ことを特徴とする請求項2~7のいずれか1項に記載の方法。 - 前記フレーズの単語頻度及び単語頻度の閾値に基づいて前記キーワードを決定することは、具体的には、
前記フレーズ集合における各フレーズの単語頻度を取得することと、
前記単語頻度が前記単語頻度の閾値以上であり、かつ異なる端末から送信されたフレーズを前記キーワードとすることと、
TF-IDFアルゴリズムを用いて、前記単語頻度が前記単語頻度の閾値より小さいフレーズから、前記キーワードを選別することと、
を含むことを特徴とする請求項8に記載の方法。 - フレーズの単語頻度及び単語頻度の閾値に基づいて前記キーワードを決定する前には、さらに、
前記ホットワードリストに基づいて前記フレーズ集合をフィルタリングすることを含む、
ことを特徴とする請求項8又は9に記載の方法。 - 前記共有テキストに対して単語分割・分類処理を行ってキーワードを取得し、前記キーワードに基づいてホットワードリストを更新し、新しいホットワードリストを取得することは、さらに、
前記キーワードの間又は前記キーワードと前記ホットワードリストとの間に存在する同音異義語を決定することと、
前記同音異義語が存在するセンテンステキストを決定し、前記センテンステキストにおける同音異義語を置き換え、単語が置き換えられた後のセンテンステキストを取得することと、
前記単語が置き換えられた後のセンテンステキストの音声モデル得点に基づいて、言語モデルの得点が最も高い同音異義語を前記新しいホットワードリストの単語とすることと、
を含むことを特徴とする請求項2~10のいずれか1項に記載の方法。 - 前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行する前には、さらに、
音声認識結果に対して段落分割処理を行って段落の分割時点を取得し、前記分割時点の後に、前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行することを含む、
ことを特徴とする請求項6~11のいずれか1項に記載の方法。 - 前記分割時点の後、前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得することは、
前記テキスト内容と前記音声認識結果との間のテキスト類似度を決定することと、
前記テキスト類似度及び類似度閾値に基づいて、テキスト類似度が前記類似度閾値より低い前記テキスト内容をフィルタリングすることと、
を含むことを特徴とする請求項12に記載の方法。 - 前記複数台の端末は、第1の端末と第2の端末を含み、前記分割時点の後に、前記方法は、さらに、
前記第1の端末と前記第2の端末のテキスト内容の間のテキスト類似度を第1のテキスト類似度として取得することと、
前記第1の端末の第1のテキスト類似度が第1の予め設定された類似度閾値より大きい数量を取得することと、
前記第1の端末から送信されたテキスト内容と前記第1の端末から送信された音声認識結果との間のテキスト類似度を第2のテキスト類似度として取得することと、
前記数量及び前記第2のテキスト類似度に基づいて前記第1の端末から送信された共有テキストをフィルタリングすることと、
を含むことを特徴とする請求項12に記載の方法。 - 前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得することは、
現在の音声段落認識が終了した後に得られた段落集合における共有テキストに基づいて初期言語モデルを取得することと、
初期言語モデル及び予め設定された言語モデルに基づいて確率補間処理を行い、カスタム言語モデルを取得することと、
を含むことを特徴とする請求項1~14のいずれか1項に記載の方法。 - 前記テキスト内容は、ユーザーが前記端末で作成した、前記予め設定されたシーンに関する内容であり、
前記テキスト内容は、ユーザーが前記予め設定されたシーンに基づいて作成したメモ、ユーザーが前記予め設定されたシーンに関する電子資料に作成したマーク、ユーザーがユーザースマート端末を使って撮影した文字情報を含む写真のいずれか一つを含む、
ことを特徴とする請求項1~15のいずれか1項に記載の方法。 - 音声認識装置であって、
予め設定されたシーンにおける複数台の端末から送信されたテキスト内容及びテキスト時間情報を取得し、前記テキスト内容及び前記テキスト時間情報に基づいて前記予め設定されたシーンの共有テキストを決定する取得ユニットと、
前記共有テキストに基づいて前記予め設定されたシーンのカスタム言語モデルを取得し、前記カスタム言語モデルを用いて前記予め設定されたシーンの音声認識を実行する認識ユニットと、
を含むことを特徴とする音声認識装置。 - コンピュータ記憶媒体であって、
プロセッサによって実行される時に、請求項1~16のいずれか1項に記載の音声認識方法を実行するプログラム命令を含むコンピュータプログラムを格納する、
ことを特徴とするコンピュータ記憶媒体。 - コンピュータプログラム製品であって、
請求項1~16のいずれか1項に記載のステップの一部又は全部をコンピュータに実行させるように動作するコンピュータプログラムを格納する非一時的なコンピュータ読取可能な記憶媒体を含む、
ことを特徴とするコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911389673.X | 2019-12-28 | ||
CN201911389673.XA CN111161739B (zh) | 2019-12-28 | 2019-12-28 | 语音识别方法及相关产品 |
PCT/CN2020/136126 WO2021129439A1 (zh) | 2019-12-28 | 2020-12-14 | 语音识别方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023504796A true JP2023504796A (ja) | 2023-02-07 |
JP7413533B2 JP7413533B2 (ja) | 2024-01-15 |
Family
ID=70559183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022531437A Active JP7413533B2 (ja) | 2019-12-28 | 2020-12-14 | 音声認識方法及び関連製品 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230035947A1 (ja) |
EP (1) | EP4083999A4 (ja) |
JP (1) | JP7413533B2 (ja) |
KR (1) | KR20220054587A (ja) |
CN (1) | CN111161739B (ja) |
WO (1) | WO2021129439A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161739B (zh) * | 2019-12-28 | 2023-01-17 | 科大讯飞股份有限公司 | 语音识别方法及相关产品 |
CN111930949B (zh) * | 2020-09-11 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 搜索串处理方法、装置、计算机可读介质及电子设备 |
CN112489651B (zh) * | 2020-11-30 | 2023-02-17 | 科大讯飞股份有限公司 | 语音识别方法和电子设备、存储装置 |
CN112562659B (zh) * | 2020-12-11 | 2024-04-09 | 科大讯飞(上海)科技有限公司 | 语音识别方法、装置、电子设备和存储介质 |
CN112954235B (zh) * | 2021-02-04 | 2021-10-29 | 读书郎教育科技有限公司 | 一种基于家庭互动早教平板交互方法 |
CN114143281B (zh) * | 2021-11-10 | 2023-03-14 | 聚好看科技股份有限公司 | 一种文案生成方法、服务器及显示设备 |
CN114464182B (zh) * | 2022-03-03 | 2022-10-21 | 慧言科技(天津)有限公司 | 一种音频场景分类辅助的语音识别快速自适应方法 |
CN115374793B (zh) * | 2022-10-25 | 2023-01-20 | 深圳市人马互动科技有限公司 | 基于服务场景识别的语音数据处理方法及相关装置 |
CN117198289B (zh) * | 2023-09-28 | 2024-05-10 | 阿波罗智联(北京)科技有限公司 | 语音交互方法、装置、设备、介质及产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233541A (ja) * | 2003-01-29 | 2004-08-19 | Riyuukoku Univ | ハイライトシーン検出システム |
JP2011048405A (ja) * | 2010-12-10 | 2011-03-10 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
US20120143605A1 (en) * | 2010-12-01 | 2012-06-07 | Cisco Technology, Inc. | Conference transcription based on conference data |
JP2013029652A (ja) * | 2011-07-28 | 2013-02-07 | Nippon Hoso Kyokai <Nhk> | 音声認識装置および音声認識プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447608B1 (en) * | 2008-12-10 | 2013-05-21 | Adobe Systems Incorporated | Custom language models for audio content |
CN103838756A (zh) * | 2012-11-23 | 2014-06-04 | 阿里巴巴集团控股有限公司 | 一种确定推送信息的方法及装置 |
US9529794B2 (en) * | 2014-03-27 | 2016-12-27 | Microsoft Technology Licensing, Llc | Flexible schema for language model customization |
CN105448292B (zh) * | 2014-08-19 | 2019-03-12 | 北京羽扇智信息科技有限公司 | 一种基于场景的实时语音识别系统和方法 |
CN104464733B (zh) * | 2014-10-28 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 一种语音对话的多场景管理方法及装置 |
CN105045778B (zh) * | 2015-06-24 | 2017-10-17 | 江苏科技大学 | 一种汉语同音词错误自动校对方法 |
CN105654945B (zh) * | 2015-10-29 | 2020-03-06 | 乐融致新电子科技(天津)有限公司 | 一种语言模型的训练方法及装置、设备 |
CN105719649B (zh) * | 2016-01-19 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 语音识别方法及装置 |
CN106328147B (zh) * | 2016-08-31 | 2022-02-01 | 中国科学技术大学 | 语音识别方法和装置 |
CN107644641B (zh) * | 2017-07-28 | 2021-04-13 | 深圳前海微众银行股份有限公司 | 对话场景识别方法、终端以及计算机可读存储介质 |
CN112204563A (zh) * | 2018-02-15 | 2021-01-08 | 得麦股份有限公司 | 用于基于用户通信的视觉场景构建的系统和方法 |
CN108984529B (zh) * | 2018-07-16 | 2022-06-03 | 北京华宇信息技术有限公司 | 实时庭审语音识别自动纠错方法、存储介质及计算装置 |
CN109272995A (zh) * | 2018-09-26 | 2019-01-25 | 出门问问信息科技有限公司 | 语音识别方法、装置及电子设备 |
CN110534094B (zh) * | 2019-07-31 | 2022-05-31 | 大众问问(北京)信息科技有限公司 | 一种语音交互方法、装置及设备 |
CN110415705B (zh) * | 2019-08-01 | 2022-03-01 | 苏州奇梦者网络科技有限公司 | 一种热词识别方法、系统、装置及存储介质 |
WO2021040092A1 (ko) * | 2019-08-29 | 2021-03-04 | 엘지전자 주식회사 | 음성 인식 서비스 제공 방법 및 장치 |
CN110544477A (zh) * | 2019-09-29 | 2019-12-06 | 北京声智科技有限公司 | 一种语音识别方法、装置、设备及介质 |
CN111161739B (zh) * | 2019-12-28 | 2023-01-17 | 科大讯飞股份有限公司 | 语音识别方法及相关产品 |
CN112037792B (zh) * | 2020-08-20 | 2022-06-17 | 北京字节跳动网络技术有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
CN112562659B (zh) * | 2020-12-11 | 2024-04-09 | 科大讯飞(上海)科技有限公司 | 语音识别方法、装置、电子设备和存储介质 |
-
2019
- 2019-12-28 CN CN201911389673.XA patent/CN111161739B/zh active Active
-
2020
- 2020-12-14 JP JP2022531437A patent/JP7413533B2/ja active Active
- 2020-12-14 WO PCT/CN2020/136126 patent/WO2021129439A1/zh unknown
- 2020-12-14 EP EP20905795.9A patent/EP4083999A4/en active Pending
- 2020-12-14 KR KR1020227004687A patent/KR20220054587A/ko unknown
- 2020-12-14 US US17/780,776 patent/US20230035947A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233541A (ja) * | 2003-01-29 | 2004-08-19 | Riyuukoku Univ | ハイライトシーン検出システム |
US20120143605A1 (en) * | 2010-12-01 | 2012-06-07 | Cisco Technology, Inc. | Conference transcription based on conference data |
JP2011048405A (ja) * | 2010-12-10 | 2011-03-10 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2013029652A (ja) * | 2011-07-28 | 2013-02-07 | Nippon Hoso Kyokai <Nhk> | 音声認識装置および音声認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021129439A1 (zh) | 2021-07-01 |
EP4083999A1 (en) | 2022-11-02 |
EP4083999A4 (en) | 2024-01-17 |
US20230035947A1 (en) | 2023-02-02 |
CN111161739B (zh) | 2023-01-17 |
KR20220054587A (ko) | 2022-05-03 |
JP7413533B2 (ja) | 2024-01-15 |
CN111161739A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023504796A (ja) | 音声認識方法及び関連製品 | |
US11314370B2 (en) | Method for extracting salient dialog usage from live data | |
WO2021217935A1 (zh) | 问题生成模型的训练方法、问题生成方法及其相关设备 | |
CN110110041B (zh) | 错词纠正方法、装置、计算机装置及存储介质 | |
JP7430660B2 (ja) | テキストの創作方法、装置、機器及び記憶媒体 | |
AU2016256764B2 (en) | Semantic natural language vector space for image captioning | |
GB2547068B (en) | Semantic natural language vector space | |
WO2018049960A1 (zh) | 一种为文本信息匹配资源的方法及装置 | |
JP7304370B2 (ja) | ビデオ検索方法、装置、デバイス及び媒体 | |
JP6361351B2 (ja) | 発話ワードをランク付けする方法、プログラム及び計算処理システム | |
WO2021134524A1 (zh) | 数据处理方法、装置、电子设备和存储介质 | |
WO2021120690A1 (zh) | 语音识别方法、装置和介质 | |
CN104428770A (zh) | 使用自然动作输入的上下文查询调节 | |
WO2023071562A1 (zh) | 语音识别文本处理方法、装置、设备、存储介质及程序产品 | |
US10140292B2 (en) | Device and computerized method for picture based communication | |
JP2019082931A (ja) | 検索装置、類似度算出方法、およびプログラム | |
WO2014036827A1 (zh) | 一种文本校正方法及用户设备 | |
CN113408208A (zh) | 模型训练方法、信息提取方法、相关装置及存储介质 | |
CN109190116B (zh) | 语义解析方法、系统、电子设备及存储介质 | |
JP6095487B2 (ja) | 質問応答装置、及び質問応答方法 | |
CN112562659A (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN110992960A (zh) | 控制方法、装置、电子设备和存储介质 | |
CN115831117A (zh) | 实体识别方法、装置、计算机设备和存储介质 | |
WO2022227166A1 (zh) | 词语替换方法、装置、电子设备和存储介质 | |
Sproat et al. | Applications of lexicographic semirings to problems in speech and language processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7413533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |