JP7177348B2 - 音声認識装置、音声認識方法およびプログラム - Google Patents

音声認識装置、音声認識方法およびプログラム Download PDF

Info

Publication number
JP7177348B2
JP7177348B2 JP2019019476A JP2019019476A JP7177348B2 JP 7177348 B2 JP7177348 B2 JP 7177348B2 JP 2019019476 A JP2019019476 A JP 2019019476A JP 2019019476 A JP2019019476 A JP 2019019476A JP 7177348 B2 JP7177348 B2 JP 7177348B2
Authority
JP
Japan
Prior art keywords
speech recognition
conversation
unit
section
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019019476A
Other languages
English (en)
Other versions
JP2020126185A (ja
Inventor
哲郎 甘粕
要 笠原
孝文 引地
正之 杉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019019476A priority Critical patent/JP7177348B2/ja
Priority to US17/428,276 priority patent/US11990136B2/en
Priority to PCT/JP2020/002558 priority patent/WO2020162229A1/ja
Publication of JP2020126185A publication Critical patent/JP2020126185A/ja
Application granted granted Critical
Publication of JP7177348B2 publication Critical patent/JP7177348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Description

本発明は、音声認識装置、音声認識方法およびプログラムに関する。
コンタクトセンタあるいは窓口などでの応対担当者による顧客への対応などの場面において、応対担当者と顧客との間で行われる会話を分析し、会話の音声を聞かずに会話の内容を確認したり、会話の内容から所望の情報を抽出したりすることが求められている。このような会話の分析のために、会話の音声をテキストに書き起こす音声認識処理が行われることがある。
従来、音声認識処理に用いる音響スコアの計算方式としては、隠れマルコフモデル(HMM:Hidden Markov Model)あるいはHMM-DNN(Deep Neural Network)(例えば、非特許文献1参照)などの方式が用いられていた。HMMあるいはHMM-DNNなどの音響スコア計算方式を用いた音声認識方式は、比較的計算処理が小さく、コンタクトセンタのような複数の会話に対して音声認識処理を実行する必要がある環境において、比較的少ない処理ユニット数で音声認識処理を実行することが可能である。
"Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups," Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N. Sainath, and Brian Kingsbury, IEEE Signal Processing Magazine, Volume 29, Issue 6, pp. 82-97, November 2012.
従来より用いられている、HMMあるいはHMM-DNNなどの音響スコア計算方式を用いた音声認識方式によれば、会話の各発話の冒頭からデコード処理を開始して、発話の終了後、速やかに音声認識の結果が得られる。しかしながら、この方式では、十分な音声認識の精度が得られないという問題がある。特に、コンタクトセンタにおける顧客側の音声について、回線ノイズおよび顧客以外の騒音などのノイズが混入することで、音声認識の精度が低下する。
電話音声の音声認識を行う際に問題となるノイズなどにより強い、CNN-NIN(Convolutional Neural Network and Network In Network)などの音響スコア計算方式を用いた音声認識方式を使うことで、より高精度な音声認識結果を得ることが期待できる。しかしながら、この方式では、従来より用いられていた音声認識方式よりも、多くの計算量が必要となるため、会話の全ての音声に対して音声認識処理を実行すると、必要な計算資源が増大するという問題がある。
上記のような問題点に鑑みてなされた本発明の目的は、計算量の増大を抑制しつつ、会話の用件について高精度な音声認識結果を取得することができる音声認識装置、音声認識方法およびプログラムを提供することにある。
上記課題を解決するため、本発明に係る音声認識装置は、複数の話者による会話の音声データに対して、第1の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力する第1の音声認識部と、前記第1の音声認識部による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定する判定部と、前記判定部により用件区間であると判定された区間の音声データに対して、前記第1の方式よりも高精度の第2の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力する第2の音声認識部と、を備える。
また、上記課題を解決するため、本発明に係る音声認識方法は、音声認識装置において実行される音声認識方法であって、複数の話者による会話の音声データに対して、第1の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力するステップと、前記第1の方式による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定するステップと、前記用件区間であると判定された区間の音声データに対して、前記第1の方式よりも高精度の第2の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力するステップと、を含む。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上述した音声認識装置として機能させる。
本発明に係る音声認識装置、音声認識方法およびプログラムによれば、計算量の増大を抑制しつつ、会話の用件について高精度な音声認識結果を取得することができる。
本発明の一実施形態に係る音声認識装置の構成例を示す図である。 図1に示す音声認識装置の動作の一例を示すフローチャートである。 図1に示す検索装置の動作の一例を示すフローチャートである。 図1に示す処理管理部による、判定部からの問い合わせを受けた際の動作の一例を示すフローチャートである。 図1に示す処理管理部による、第2の音声認識部からの問い合わせを受けた際の動作の一例を示すフローチャートである。 図1に示す処理管理部による、判定部から完了通知を受けた際の動作の一例を示すフローチャートである。 図1に示す処理管理部による、第2の音声認識部から完了通知を受けた際の動作の一例を示すフローチャートである。 図1に示す処理管理部による、用件区間判定タイマーのタイムアウトを検出した際の動作の一例を示すフローチャートである。 図1に示す処理管理部による、音声認識タイマーのタイムアウトを検出した際の動作の一例を示すフローチャートである。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る音声認識装置10の構成例を示す図である。本実施形態に係る音声認識装置10は、コンタクトセンタあるいは窓口などでの応対担当者と顧客との会話のような、複数の話者による会話の音声データに対して音声認識処理を行い、会話における各話者の発話を書き起こしたテキストを音声認識処理の結果として出力する。また、図1においては、本実施形態に係る検索装置20を示している。検索装置20は、音声認識装置10による音声認識処理により得られたテキストから、検索クエリとして入力されたテキストと一致または類似するテキストを検索する。以下では、複数の話者による会話として、コンタクトセンタにおける応対担当者(オペレータ)と顧客とによる通話を例として説明する。
音声認識装置10の構成について説明する。
図1に示す音声認識装置10は、第1の音声認識部11と、処理管理部12と、判定部13と、第2の音声認識部14と、記憶部15-17とを備える。図1において、実線矢印はデータあるいは情報の流れを示し、点線矢印は各構成要件間での通知などの流れを示す。
音声認識装置10には、オペレータと顧客との会話の音声データが入力される。より具体的には、音声認識装置10には、オペレータと顧客との会話における、オペレータの発話の音声データ(オペレータ音声データ)と顧客の発話の音声データ(顧客音声データ)とが分離して入力される。入力された会話の音声データ(オペレータ音声データおよび顧客音声データ)は、第1の音声認識部11に入力されるとともに、その会話を識別可能な識別子(会話ID)に対応付けて記憶部15に記憶される。
第1の音声認識部11は、入力されたオペレータ音声データおよび顧客音声データに対する音声認識処理を行い、発話の内容を示す認識結果テキストを生成する。具体的には、第1の音声認識部11は、入力された音声データから発話が行われた音声の区間を検出し、その区間の音声データに対して音声認識処理を行い、発話の内容をテキスト化した認識結果テキストを出力する。第1の音声認識部11は、会話の進行に伴い徐々に得られる音声データ(顧客音声データおよびオペレータ音声データ)に対する音声認識処理を逐次的に進め、発話の始端から終端と判定された区間(発話区間)ごとに、音声認識処理の結果である認識結果テキストを出力する。第1の音声認識部11は、発話区間の認識結果テキストを、その発話区間を含む会話の会話IDに対応付けて、記憶部15に記憶させる。
第1の音声認識部11は、音声認識モデル11aと、音声認識モデル11bとを備える。第1の音声認識部11は、顧客音声データに対して、音声認識モデル11aを用いて音声認識処理を行い、顧客による発話の内容を示す認識結果テキストである顧客テキストを生成する。また、第1の音声認識部11は、オペレータ音声データに対して、音声認識モデル11bを用いた音声認識処理を行い、オペレータによる発話の内容を示す認識結果テキストであるオペレータテキストを生成する。
音声認識モデル11a,11bは、音声認識結果にある程度の正確性を保持しつつ、事業上、合理的な計算設備量で、コンタクトセンタに架電される呼量に対して同時に全ての音声の音声認識処理が可能であるという基準を満たす音響モデルを用いることが好ましい。このような音響モデルとしては、例えば、音響スコアの計算にHMM-DNN方式を用いた音声認識モデルを用いることができるが、これに限られるものではなく、例えば、HMM方式を用いた音声認識モデルを用いてもよい。
このように、第1の音声認識部11は、複数の話者による会話の音声データに対して、HMM方式あるいはHMM-DNN方式などを用いた音声認識方式(第1の方式)により音声認識処理を行い、複数の話者それぞれの発話区間ごとの音声認識結果(認識結果テキスト)を出力する。
なお、図1においては、第1の音声認識部11は、音声認識モデル11a,11bを用いて、話者ごとに音声認識処理を行い、顧客テキストおよびオペレータテキストを出力する例を示しているが、本発明はこれに限られるものではない。第1の音声認識部11は、話者を識別可能な1つの音声認識モデルを用いて音声認識処理を行い、顧客テキストおよびオペレータテキストを出力してもよい。
処理管理部12は、判定部13および第2の音声認識部14による処理を管理する。具体的には、処理管理部12は、記憶部15に、会話IDで識別される会話ごとに、後述する判定部13による用件区間の判定、および、後述する第2の音声認識部14による音声認識処理が完了したか否かを記憶させる。そして、処理管理部12は、判定部13からの問い合わせに応じて、用件区間の判定が完了してない会話の会話IDを、問い合わせを受けた判定部13に通知する。また、処理管理部12は、第2の音声認識部14からの問い合わせに応じて、第2の音声認識部14による音声認識処理が完了してない会話の会話IDを、問い合わせを受けた第2の音声認識部14に通知する。処理管理部12の動作の詳細については後述する。
判定部13は、処理管理部12から通知された会話IDに対応付けて記憶部15に記憶されている、認識結果テキストを取得して、あるいは、認識結果テキストおよび音声データを取得して、会話IDで識別される会話における用件を含む発話の区間である用件区間を判定する。すなわち、判定部13は、少なくとも第1の音声認識部11による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する。
判定部13は、会話の用件区間に関する情報である用件区間情報を、その会話の会話IDに対応付けて記憶部16に記憶させる。用件区間情報は、例えば、会話の冒頭からの用件区間の始端と終端とを示す時刻の組み合わせの情報である。また、用件区間情報は、会話の中の時間的な区間情報に置き換えられた情報であってもよい。すなわち、用件区間情報は、会話における何番目の発話の認識結果テキストに用件が含まれていたかを示す情報であってもよい。この場合、会話の用件を含む認識結果テキストが生成された区間の区間情報を別途、第1の音声認識部11による処理結果から取り出してもよい。
判定部13は、例えば、予め設定された、抽出対象の用件に対応するキーワードあるいはその類義語が各発話の認識結果テキストに含まれるか否かにより、用件区間の判定を行うことができる。また、判定部13は、複数の話者(顧客とオペレータ)による会話の構造に基づき、用件区間を判定してもよい。具体的には、判定部13は、会話における発話の中から、用件を確認するための発話である用件確認発話を検出する。顧客とオペレータとの会話の場合、顧客の問い合わせたい内容(用件)を確認するための用件確認発話は、オペレータによる発話である。判定部13は、オペレータによる用件確認発話とは別の話者(顧客)による発話であって、少なくとも用件確認発話の直前の発話を用件発話であると判定してもよい。
一般に、顧客の問い合わせに対して、オペレータは顧客の問い合わせ内容を確認した上で、顧客の問い合わせに答えることが多い。そのため、オペレータの用件確認発話には、問い合わせ内容を確認するための特定の語句(「~ですね。」、「~ますね。」など)が含まれることが多いという傾向がある。また、顧客の問い合わせ内容を確認するために、オペレータは顧客の問い合わせ内容を繰り返した上で、顧客の問い合わせに答えることが多い。そのため、オペレータの用件確認発話には、顧客の用件発話と共通の語句が多く含まれていることが多いという傾向がある。
判定部13は、これらの傾向に基づき、オペレータの発話が用件確認発話であるか否かを判定する。判定部13は、ディープラーニング、サポートベクタマシンなどの種々の手法を用いた機械学習により、オペレータの発話が用件確認発話であるか否かを判定してもよい。なお、用件確認発話は用件発話と比べて、パターンが決まっている。そのため、用件確認発話の判定は比較的容易である。
判定部13は、用件確認発話の判定結果に基づき、顧客の発話が用件発話であるか否かを判定する。具体的には、判定部13は、用件確認発話の話者(オペレータ)とは異なる話者(顧客)の発話であって、用件確認発話の直前の発話を用件発話であると判定する。
判定部13は、会話の用件区間の判定を完了すると、用件区間の判定を完了したことを処理管理部12に通知する。通常、判定部13は、会話の全体に対して、用件区間であるか否かの判定を行うが、予め設定した用件を含む用件区間を検出した時点で処理を終了してもよい。
第2の音声認識部14は、判定部13により用件区間であると判定された区間の音声データに対して、第1の音声認識部11による音声認識方式(第1の方式)よりも高精度の音声認識方式(第2の方式)により音声認識処理を行い、音声認識結果を、用件区間の発話の内容を示す用件テキストとして出力する。
具体的には、第2の音声認識部14は、処理管理部12から通知された会話IDに対応付けて記憶部16に記憶されている用件区間情報を取得する。また、第2の音声認識部14は、取得した用件区間情報に示される用件区間の音声データを記憶部15から取得し、取得した音声データに対する音声認識処理を行い、用件区間の発話の内容を示す用件テキストを生成する。第2の音声認識部14は、処理管理部12から通知された会話IDに対応付けて、生成した用件テキストを記憶部17に記憶させる。第2の音声認識部14は、用件区間情報に示される用件区間の発話の音声認識処理が完了すると、通知された会話IDで識別される会話の用件区間の発話の音声認識処理が完了したことを処理管理部12に通知する。
第2の音声認識部14による音声認識方式は、上述したように、第1の音声認識部11による音声認識方式よりも高精度な方式である。例えば、第2の音声認識部14は、オペレータ側とは異なり制御することが難しい、送話器に混入する顧客自身の音声以外のノイズ、あるいは、電話回線を通過する際に重畳される電気的なノイズに強い音響スコアの計算が可能な音声認識モデルを用いて音声認識処理を行う。このような音声認識モデルとしては、例えば、音響スコアの計算にCNN-NIN方式を用いた音声認識モデルを用いることができる。CNN-NIN方式による音響スコアの計算の詳細については、例えば、下記の参考文献1に記載されているので、記載を省略する。
[参考文献1]
"THE NTT CHIME-3 SYSTEM: ADVANCES IN “SPEECH ENHANCEMENT AND RECOGNITION FOR MOBILE MULTI-MICROPHONE DEVICES", Takuya Yoshioka, Nobutaka Ito, Marc Delcroix, Atsunori Ogawa, Keisuke Kinoshita, Masakiyo Fujimoto, Chengzhu Yu, Wojciech J. Fabian, Miquel Espi, Takuya Higuchi, Shoko Araki, and Tomohiro Nakatani, in Proceedings of the IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU), pp. 436-443, December 2015.
なお、音響スコアの計算方法による頑健性の向上だけでなく、言語スコアの計算方法の改良により顧客側の音声データの認識性能の向上を図ることも可能である。従来、言語スコアの計算においては、数単語程度の単語連鎖しか考慮されていなかった。ここで、考慮する単語連鎖数に制限が無い言語スコア計算方式を用いることで、より高い認識性能を実現することができる。上述したような言語スコアの計算は、例えば、RNN(Recurrent Neural Network)を用いた言語モデルを採用することで実現可能である(下記参考文献2参照)。
[参考文献2]
“音声認識のための深層学”, 久保陽太郎, 人工知能29巻1号,pp 62-70, 2014年1月”
第2の音声認識部14は、例えば、上述したCNN-NIN方式を用いた音声認識モデルにより音響スコアの計算と、RNNを用いた言語モデルによる言語スコアの計算とを組み合わせて音声認識を行ってもよい。
また、判定部13は、用件に加え、発話または用件区間に含まれるキーワードや類義語などに基づいて発話または用件のドメインを判定・出力し、第2の音声認識部14は、判定部13から出力されたドメインに対応する音声認識モデルを適用してもよい。また、顧客の発話の音声データにおける顧客自身の音声以外の音声や背景音・騒音などの音響特徴、第1の音声認識部11の信頼度などを利用して、第2の音声認識部14は、より音声認識精度が向上可能な音声認識モデルを適用してもよい。
すなわち、第2の音声認識部14は、音声認識方式(第2の方式)として、判定部13により判定された用件のドメインに応じた音声認識モデルを用いた音声認識方式を用いてもよい。また、第2の音声認識部14は、発話の音響特徴または第1の音声認識部11による音声認識の信頼度に応じた音声認識モデルを用いた音声認識方式を用いてもよい。
会話の用件は、その会話を分析する上で非常に重要となる。本実施形態においては、判定部13により用件区間と判定された区間の発話に対して、第2の音声認識部14による高精度な音声認識処理が行われるので、会話の用件について高精度な音声認識結果を取得することができる。また、一般に、精度の高い音声認識方法ほど、計算量が大きくなる傾向がある。本実施形態においては、用件区間と判定された区間に対してのみ、第2の音声認識部14による音声認識処理が行われるので、会話全体について高精度な音声認識を行う場合と比べて、計算量の増大を抑制することができる。その結果、CPU(Central Processing Unit)およびメモリなどの計算資源の削減を図ることができる。
次に、検索装置20について説明する。
検索装置20は、文章、フレーズなどのテキストが検索クエリとして入力される。検索装置20は、記憶部17に記憶されている、第2の音声認識部14による用件区間の発話の音声認識処理により得られた用件テキストと、その発話を含む会話の会話IDとが対応付けられた検索インデックスを、検索クエリに基づき検索する。そして、検索装置20は、検索クエリを含む(部分一致または完全一致する)、または、検索クエリと類似する用件テキストに対応付けられた会話IDを出力する。検索装置20は、例えば、予め設定された単語ごとの意味ベクトルに基づいて、検索クエリのテキストに含まれる単語と、用件テキストに含まれる単語とを用いて、意味の類似度を算出する。そして、検索装置20は、例えば、検索クエリのテキストとの類似度が所定値以上の用件テキストを、検索クエリと類似する用件テキストとして抽出する。例えば、単語と、その単語の概念を表す単語概念ベクトルとの組の集合である単語概念ベースにおける単語概念ベクトルを単語毎の意味ベクトルとして用いることができる。用件テキストに含まれる各単語の単語概念ベクトルを合成して算出することで用件テキストの意味ベクトルを算出し、検索クエリに含まれる各単語の単語概念ベクトルを合成して算出することで、検索クエリの意味ベクトルを算出し、意味の類似度は、例えば、その2つの意味ベクトルのコサイン類似度として算出することができる。意味ベクトルの算出および意味の類似度の算出の詳細については、例えば、下記の参考文献3に記載されているので、記載を省略する。
[参考文献3]
特開2017-072884号公報
検索装置20の検索対象は、用件区間と判定された発話について、第2の音声認識部14による高精度な音声認識処理により得られた用件テキストに限られる。したがって、検索クエリに対して適合度の高い用件の発話を特定することが可能である。検索クエリを入力した検索装置20の利用者は、検索装置20から出力された会話IDを元に、記憶部15に記憶されている、その会話IDで識別される会話の音声データあるいはその会話の第1の音声認識部11による音声認識結果などを読み出すことで、検索クエリに対応する顧客の用件に関する会話の分析などを行うことができる。
次に、音声認識装置10および検索装置20の動作について説明する。
図2は、本実施形態に係る音声認識装置10の動作の一例を示すフローチャートであり、音声認識装置10において実行される音声認識方法について説明するための図である。
第1の音声認識部11は、入力された複数の話者による会話の音声データに対して、第1の方式(例えば、HMM方式あるいはHMM-DNN方式などを用いた音声認識方式)により音声認識を行い、複数の話者それぞれの発話区間ごとの音声認識結果を出力する(ステップS11)。
判定部13は、第1の方式による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する(ステップS12)。
第2の音声認識部14は、用件区間であると判定された区間の音声データに対して、第1の方式よりも高精度の第2の方式(例えば、CNN-NIN方式などを用いた音声認識方式)により音声認識処理を行い、音声認識結果を用件テキストとして出力する(ステップS13)。
図3は、検索装置20の動作の一例を示すフローチャートであり、検索装置20において実行される検索方法について説明するための図である。
検索装置20は、フレーズ、文章などの検索クエリの入力を受け付ける(ステップS21)。
次に、検索装置20は、用件区間の発話に対する第2の方式による音声認識処理により得られた用件テキストと、その発話を含む会話の会話ID(識別子)とが対応付けられた検索インデックスを、検索クエリに基づき検索する(ステップS22)。
次に、検索装置20は、検索クエリを含む、または、検索クエリと類似する用件テキストに対応付けられた会話IDを出力する(ステップS23)。
次に、処理管理部12の動作について、図4から図9に示すフローチャートを参照して説明する。なお、本実施形態に係る音声認識装置10を、複数の会話が並行して行われるコンタクトセンタなどに適用する場合、第1の音声認識部11が複数設けられ、並行して行われる会話の数だけ第1の音声認識部11による音声認識処理も並行して行われる。また、判定部13および第2の音声認識部14も複数設けられ、並行して処理が行われる。処理管理部12は、複数の判定部13に対する会話の用件区間の判定処理の割り当て、および、複数の第2の音声認識部14に対する用件区間の発話の音声認識処理の割り当てを行う。
図4は、判定部13からの問い合わせを受けた際の処理管理部12の動作の一例を示すフローチャートである。
判定部13は、処理対象の会話が無い(例えば、割り当てられた会話について用件区間の判定が完了した)場合、用件区間の判定が未処理の会話の有無を処理管理部12に問い合わせる。処理管理部12は、判定部13からの問い合わせを受けると(ステップS31)、記憶部15を参照し、用件区間の判定が未処理の会話の有無を判定する(ステップS32)。
用件区間の判定が未処理の会話が無いと判定した場合(ステップS32:No)、処理管理部12は、用件区間の判定が未処理の会話が無いことを判定部13に通知し(ステップS33)、処理を終了する。
用件区間の判定が未処理の会話が有ると判定した場合(ステップS32:Yes)、処理管理部12は、用件区間の判定が未処理の会話のうち、1つの会話の会話IDを判定部13に通知する。また、処理管理部12は、会話IDを通知した会話が処理中であることを記憶部15に記録する。こうすることで、1つの会話IDで識別される会話の用件区間の判定が複数の判定部13に割り当てられることを防ぐことができる。また、処理管理部12は、判定部13に会話の用件区間の判定を割り当ててから所定時間が経過したか否かを判定するための用件区間判定タイマーを開始する(ステップS34)。
図5は、第2の音声認識部14からの問い合わせを受けた際の処理管理部12の動作の一例を示すフローチャートである。
第2の音声認識部14は、処理対象の会話が無い(例えば、割り当てられた会話について用件区間の発話の音声認識処理が完了した)場合、用件区間の発話の音声認識が未処理の会話の有無を処理管理部12に問い合わせる。処理管理部12は、第2の音声認識部14からの問い合わせを受けると(ステップS41)、記憶部15を参照し、用件区間の発話の音声認識が未処理の会話の有無を判定する(ステップS42)。
用件区間の発話の音声認識が未処理の会話が無いと判定した場合(ステップS42:No)、処理管理部12は、用件区間の発話の音声認識が未処理の会話が無いことを第2の音声認識部14に通知し(ステップS43)、処理を終了する。
用件区間の発話の音声認識が未処理の会話が有ると判定した場合(ステップS42:Yes)、処理管理部12は、用件区間の発話の音声認識が未処理の会話のうち、1つの会話の会話IDを第2の音声認識部14に通知する。また、処理管理部12は、会話IDを通知した会話が処理中であることを記憶部15に記録する。こうすることで、1つの会話IDで識別される会話の用件区間の音声認識処理が複数の第2の音声認識部14に割り当てられることを防ぐことができる。また、処理管理部12は、判定部13に用件区間の発話の音声認識処理を割り当ててから所定時間が経過したか否かを判定するための音声認識タイマーを開始する(ステップS44)。
図6は、判定部13からの完了通知を受けた際の処理管理部12の動作の一例を示すフローチャートである。
判定部13は、処理管理部12から通知された会話IDで識別される会話(対象の会話)の用件区間の判定が完了すると、対象の会話の用件区間の判定が完了したことを示す完了通知を処理管理部12に行う。処理管理部12は、判定部13から完了通知を受けると(ステップS51)、対象の会話に対応する用件判定タイマーを停止する。また、処理管理部12は、対象の会話の用件区間の判定が完了したことを記憶部15に記憶する(ステップS52)。
図7は、第2の音声認識部14からの完了通知を受けた際の処理管理部12の動作の一例を示すフローチャートである。
第2の音声認識部14は、処理管理部12から通知された会話IDで識別される会話(対象の会話)の用件区間の発話の音声認識処理が完了すると、対象の会話の用件区間の発話の音声認識処理が完了したことを示す完了通知を処理管理部12に行う。処理管理部12は、第2の音声認識部14から完了通知を受けると(ステップS61)、対象の会話に対応する音声認識タイマーを停止する。また、処理管理部12は、対象の会話の用件区間の発話の音声認識処理が完了したことを記憶部15に記録する(ステップS62)。
図8は、用件区間判定タイマーのタイムアウトを検出した際の処理管理部12の動作の一例を示すフローチャートである。
処理管理部12は、用件区間判定タイマーのタイムアウトを検出すると(ステップS71)、タイムアウトを検出した用件区間判定タイマーに対応する対象の会話の用件区間の判定が未処理であることを記憶部15に記録する(ステップS72)。
用件区間判定タイマーのタイムアウトを検出した場合、すなわち、判定部13に用件区間を判定する対象の会話の会話IDを通知した後、所定時間内に判定部13から完了通知が行われない場合、何らかの処理の問題の発生により、判定部13において用件区間の判定が失敗したと考えられる。この場合、対象の会話の用件区間の判定が未処理であることを記録することで、再度、判定部13に対象の会話の用件区間の判定を行わせることができる。
図9は、音声認識タイマーのタイムアウトを検出した際の処理管理部12の動作の一例を示すフローチャートである。
処理管理部12は、音声認識タイマーのタイムアウトを検出すると(ステップS81)、タイムアウトを検出した音声認識タイマーに対応する対象の会話の用件区間の発話の音声認識が未処理であることを記憶部15に記録する(ステップS82)。
音声認識タイマーのタイムアウトを検出した場合、すなわち、第2の音声認識部14に用件区間の音声認識を行う対象の会話の会話IDを通知した後、所定時間内に第2の音声認識部14から完了通知が行われない場合、何らかの処理の問題の発生により、第2の音声認識部14において用件区間の発話の音声認識が失敗したと考えられる。この場合、対象の会話の用件区間の発話の音声認識が未処理であることを記録することで、再度、第2の音声認識部14に対象の会話の用件区間の発話の音声認識を行わせることができる。
図4から図9を参照して説明したように、処理管理部12は、複数の判定部13への用件区間の判定処理の振り分け、および、複数の第2の音声認識部14への用件区間の発話の音声認識処理の振り分けを行う。判定部13の処理および第2の音声認識部14の処理それぞれの処理時間は一定ではなく、処理する会話あるいは音声の内容によって異なる。そのため、大量の会話音声を処理する際には、処理管理部12による振り分けをおこなうことで、各処理が終わり次第、別の会話の処理を実行できるようになるため、1つの会話に対して初めから、判定部13および第2の音声認識部14を割り当てて処理する場合よりも効率的に処理を行うことができるため、判定部13および第2の音声認識部14の数の削減を図ることができる。
このように本実施形態においては、音声認識装置10は、複数の話者による会話の音声データに対して、第1の方式により音声認識処理を行い、複数の話者それぞれの発話区間ごとの音声認識結果を出力する第1の音声認識部11と、第1の音声認識部11による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する判定部13と、判定部13により用件区間であると判定された区間の音声データに対して、第1の方式よりも高精度の第2の方式により音声認識処理を行い、音声認識結果を用件テキスト出力する第2の音声認識部14と、を備える。
用件区間と判定された区間の発話に対して、第2の音声認識部14により第1の方式よりも高精度な第2の方式による音声認識処理が行われるので、会話の用件について高精度な音声認識結果を取得することができる。また、用件区間と判定された区間に対してのみ、第2の音声認識部14による音声認識処理が行われるので、会話全体について高精度な音声認識処理を行う場合と比べて、計算量の増大を抑制することができる。
以上、音声認識装置10および検索装置20について説明したが、音声認識装置10および検索装置20として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、音声認識装置10および検索装置20の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMおよびDVD-ROMなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
10 音声認識装置
11 第1の音声認識部
12 処理管理部
13 判定部
14 第2の音声認識部
15,16,17 記憶部

Claims (5)

  1. 複数の話者による会話の音声データに対して、第1の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力する第1の音声認識部と、
    前記第1の音声認識部による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定する判定部と、
    前記判定部により用件区間であると判定された区間の音声データに対して、前記第1の方式よりも高精度の第2の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力する第2の音声認識部と、を備える音声認識装置。
  2. 請求項1に記載の音声認識装置において、
    前記判定部は、前記発話または前記用件区間に含まれるキーワードおよび該キーワードの類義語に基づき、前記用件のドメインを判定し、
    前記第2の音声認識部は、前記第2の方式として、前記判定部により判定された前記用件のドメインに応じた音声認識モデルを用いた音声認識方式、または、前記発話の音響特徴または前記第1の音声認識部による音声認識の信頼度に応じた音声認識モデルを用いた音声認識方式を用いる、音声認識装置。
  3. 音声認識装置において実行される音声認識方法であって、
    複数の話者による会話の音声データに対して、第1の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力するステップと、
    前記第1の方式による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定するステップと、
    前記用件区間であると判定された区間の音声データに対して、前記第1の方式よりも高精度の第2の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力するステップと、を含む音声認識方法。
  4. 請求項に記載の音声認識方法において、
    前記第1の方式は、HMM(Hidden Markov Model)方式またはHMM-DNN(Deep Neural Network)方式を用いた音声認識方式であり、
    前記第2の方式は、CNN-NIN(Convolutional Neural Network and Network In Network)方式を用いた音声認識方式である、音声認識方法。
  5. コンピュータを請求項1または2に記載の音声認識装置として機能させるためのプログラム。
JP2019019476A 2019-02-06 2019-02-06 音声認識装置、音声認識方法およびプログラム Active JP7177348B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019019476A JP7177348B2 (ja) 2019-02-06 2019-02-06 音声認識装置、音声認識方法およびプログラム
US17/428,276 US11990136B2 (en) 2019-02-06 2020-01-24 Speech recognition device, search device, speech recognition method, search method, and program
PCT/JP2020/002558 WO2020162229A1 (ja) 2019-02-06 2020-01-24 音声認識装置、検索装置、音声認識方法、検索方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019476A JP7177348B2 (ja) 2019-02-06 2019-02-06 音声認識装置、音声認識方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020126185A JP2020126185A (ja) 2020-08-20
JP7177348B2 true JP7177348B2 (ja) 2022-11-24

Family

ID=71947175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019476A Active JP7177348B2 (ja) 2019-02-06 2019-02-06 音声認識装置、音声認識方法およびプログラム

Country Status (3)

Country Link
US (1) US11990136B2 (ja)
JP (1) JP7177348B2 (ja)
WO (1) WO2020162229A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710480B2 (en) * 2019-08-07 2023-07-25 International Business Machines Corporation Phonetic comparison for virtual assistants

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093943A (ja) 2010-10-27 2012-05-17 Nippon Telegr & Teleph Corp <Ntt> テキスト分割装置、テキスト分割学習装置、テキスト分割方法、テキスト分割学習方法、プログラム
JP2013167666A (ja) 2012-02-14 2013-08-29 Nec Corp 音声認識装置、音声認識方法、及びプログラム
WO2014069121A1 (ja) 2012-10-31 2014-05-08 日本電気株式会社 会話分析装置及び会話分析方法
JP2015049254A (ja) 2013-08-29 2015-03-16 株式会社日立製作所 音声データ認識システム及び音声データ認識方法
JP2016062333A (ja) 2014-09-18 2016-04-25 株式会社日立製作所 検索サーバ、及び検索方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421645B1 (en) * 1999-04-09 2002-07-16 International Business Machines Corporation Methods and apparatus for concurrent speech recognition, speaker segmentation and speaker classification
KR100612839B1 (ko) * 2004-02-18 2006-08-18 삼성전자주식회사 도메인 기반 대화 음성인식방법 및 장치
WO2010100853A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 言語モデル適応装置、音声認識装置、言語モデル適応方法、及びコンピュータ読み取り可能な記録媒体
JP5235187B2 (ja) * 2009-11-16 2013-07-10 日本電信電話株式会社 音声認識装置、音声認識方法及び音声認識プログラム
JP5434731B2 (ja) * 2010-03-24 2014-03-05 トヨタ自動車株式会社 音声認識システム及び自動検索システム
JP5231484B2 (ja) * 2010-05-19 2013-07-10 ヤフー株式会社 音声認識装置、音声認識方法、プログラム、及びプログラムを配信する情報処理装置
JP5549506B2 (ja) * 2010-09-28 2014-07-16 富士通株式会社 音声認識装置及び音声認識方法
US9495350B2 (en) * 2012-09-14 2016-11-15 Avaya Inc. System and method for determining expertise through speech analytics
JP6210239B2 (ja) * 2015-04-20 2017-10-11 本田技研工業株式会社 会話解析装置、会話解析方法及びプログラム
US10347244B2 (en) * 2017-04-21 2019-07-09 Go-Vivace Inc. Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response
US10558421B2 (en) * 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
EP3739573B1 (en) * 2018-01-12 2023-06-28 Sony Group Corporation Information processing device, information processing method, and program
US10878011B2 (en) * 2018-02-05 2020-12-29 International Business Machines Corporation Cognitive ranking of terms used during a conversation
US11574628B1 (en) * 2018-09-27 2023-02-07 Amazon Technologies, Inc. Deep multi-channel acoustic modeling using multiple microphone array geometries
WO2021029643A1 (en) * 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. System and method for modifying speech recognition result

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093943A (ja) 2010-10-27 2012-05-17 Nippon Telegr & Teleph Corp <Ntt> テキスト分割装置、テキスト分割学習装置、テキスト分割方法、テキスト分割学習方法、プログラム
JP2013167666A (ja) 2012-02-14 2013-08-29 Nec Corp 音声認識装置、音声認識方法、及びプログラム
WO2014069121A1 (ja) 2012-10-31 2014-05-08 日本電気株式会社 会話分析装置及び会話分析方法
JP2015049254A (ja) 2013-08-29 2015-03-16 株式会社日立製作所 音声データ認識システム及び音声データ認識方法
JP2016062333A (ja) 2014-09-18 2016-04-25 株式会社日立製作所 検索サーバ、及び検索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
福冨隆朗ほか,コンタクトセンタ対話に対する要望・了承表現を用いた用件フェーズ抽出,日本音響学会2010年春季研究発表会講演論文集,日本,2010年03月10日,pp.223-226,ISSN 1880-7658

Also Published As

Publication number Publication date
JP2020126185A (ja) 2020-08-20
WO2020162229A1 (ja) 2020-08-13
US20220108699A1 (en) 2022-04-07
US11990136B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US11250851B2 (en) Multi-layer keyword detection
US10186265B1 (en) Multi-layer keyword detection to avoid detection of keywords in output audio
US11335330B2 (en) Updating a voice template
CN108351872B (zh) 用于响应用户语音的方法和系统
US9305553B2 (en) Speech recognition accuracy improvement through speaker categories
US10917758B1 (en) Voice-based messaging
US8712779B2 (en) Information retrieval system, information retrieval method, and information retrieval program
US7603279B2 (en) Grammar update system and method for speech recognition
US7844456B2 (en) Grammar confusability metric for speech recognition
US10885909B2 (en) Determining a type of speech recognition processing according to a request from a user
US9711167B2 (en) System and method for real-time speaker segmentation of audio interactions
US10089978B2 (en) Detecting customers with low speech recognition accuracy by investigating consistency of conversation in call-center
JP6985221B2 (ja) 音声認識装置及び音声認識方法
CN114385800A (zh) 语音对话方法和装置
JP2018128575A (ja) 話し終わり判定装置、話し終わり判定方法およびプログラム
Walker et al. Semi-supervised model training for unbounded conversational speech recognition
JP2020160425A (ja) 評価システム、評価方法、及びコンピュータプログラム。
JP7177348B2 (ja) 音声認識装置、音声認識方法およびプログラム
JP6755633B2 (ja) 用件判定装置、用件判定方法およびプログラム
WO2020196743A1 (ja) 評価システム及び評価方法
JP6615803B2 (ja) 用件判定装置、用件判定方法およびプログラム
JPH10173769A (ja) 音声メッセージ検索装置
JP6526602B2 (ja) 音声認識装置、その方法、及びプログラム
JP2018163295A (ja) 音声対話装置および音声対話方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7177348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150