JP6857699B2 - 音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラム - Google Patents

音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP6857699B2
JP6857699B2 JP2019184261A JP2019184261A JP6857699B2 JP 6857699 B2 JP6857699 B2 JP 6857699B2 JP 2019184261 A JP2019184261 A JP 2019184261A JP 2019184261 A JP2019184261 A JP 2019184261A JP 6857699 B2 JP6857699 B2 JP 6857699B2
Authority
JP
Japan
Prior art keywords
wake
feature
voiceprint
voiceprint feature
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019184261A
Other languages
English (en)
Other versions
JP2020112778A (ja
Inventor
リュウ ヨン
リュウ ヨン
チョウ チー
チョウ チー
シュエ シャンドン
シュエ シャンドン
ワン ペン
ワン ペン
チャオ リーフォン
チャオ リーフォン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2020112778A publication Critical patent/JP2020112778A/ja
Application granted granted Critical
Publication of JP6857699B2 publication Critical patent/JP6857699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/06Decision making techniques; Pattern matching strategies
    • G10L17/08Use of distortion metrics or a particular distance between probe pattern and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/06Decision making techniques; Pattern matching strategies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Description

本発明は、音声対話の技術分野に関し、特に、音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラムに関する。
従来の音声対話設備は、誤ってウェイクアップされる場合があり、例えば、テレビやラジオなどの設備で再生される音声信号によって誤ってウェイクアップされる場合やユーザーの音声コンテンツにウェイクアップワードが含まれていなくてもこの音声コンテンツからウェイクアップワードと誤認識されることにより誤ってウェイクアップされる場合がある。これらの誤ったウェイクアップ状況は、ユーザーエクスペリエンスに影響を与える。
本発明は、少なくとも従来技術における上記技術的課題を解決するために、音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラムを提供する。
本発明の第1態様は、音声対話設備のウェイクアップ方法を提供する。当該方法は、音声信号を収集することと、前記音声信号の第1声紋特徴を抽出することと、前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と前記予め記憶された基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定することと、ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、前記ウェイクアップワードが含まれている場合、前記音声対話設備をウェイクアップすることと、を含む。
1つの実施形態において、複数の基準声紋特徴が予め記憶されており、前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と前記予め記憶された基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定することは、前記第1声紋特徴と前記予め記憶された各基準声紋特徴との間の類似度を得、前記第1声紋特徴と前記複数の基準声紋特徴のうちの1つとの間の類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定する。
1つの実施形態において、ユーザーの音声信号を収集し、前記ユーザーの音声信号の第2声紋特徴を抽出し、前記第2声紋特徴を前記基準声紋特徴として確定することをさらに含む。
1つの実施形態において、前記基準声紋特徴に対応するウェイクアップワード認識モデルを予め構築することをさらに含み、前記ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断することは、前記第1声紋特徴と一致する基準声紋特徴を特定することと、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得することと、取得されたウェイクアップワード認識モデルを用いて前記音声信号を判断することとを含む。
1つの実施形態において、前記基準声紋特徴に対応するウェイクアップワード認識モデルを予め構築することは、前記基準声紋特徴を有する正サンプル及び負サンプルを用いて前記ウェイクアップワード認識モデルをトレーニングすることを含み、前記正サンプルが前記ウェイクアップワードを含み前記音声対話設備をウェイクアップできる音声信号であり、前記負サンプルが前記ウェイクアップワードを含まず前記音声対話設備をウェイクアップできる音声信号である。
本発明の第2態様は、音声対話設備のウェイクアップ装置をさらに提供する。当該装置は、
音声信号を収集する収集モジュールと、前記音声信号の第1声紋特徴を抽出する抽出モジュールと、前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と前記予め記憶された基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定する比較モジュールと、ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、前記ウェイクアップワードが含まれている場合、前記音声対話設備をウェイクアップする判断・ウェイクアップモジュールと、を備える。
1つの実施形態において、複数の基準声紋特徴を記憶する声紋記憶モジュールをさらに備え、前記比較モジュールは、前記第1声紋特徴と予め記憶された各基準声紋特徴との間の類似度を得、前記第1声紋特徴と前記複数の基準声紋特徴のうちの1つとの間の類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定する。
1つの実施形態において、ユーザーの音声信号を収集し、前記ユーザーの音声信号の第2声紋特徴を抽出し、前記第2声紋特徴を前記基準声紋特徴として確定する声紋確定モジュールをさらに備える。
1つの実施形態において、前記基準声紋特徴に対応するウェイクアップワード認識モデルを構築するモデル構築モジュールをさらに備え、前記判断・ウェイクアップモジュールは、前記第1声紋特徴と一致する基準声紋特徴を特定し、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得し、取得されたウェイクアップワード認識モデルを用いて前記音声信号を判断する。
1つの実施形態において、前記モデル構築モジュールは、前記基準声紋特徴を有する正サンプル及び負サンプルを用いて前記ウェイクアップワード認識モデルをトレーニングし、前記正サンプルはウェイクアップワードを含み前記音声対話設備をウェイクアップできる音声信号であり、前記負サンプルは前記ウェイクアップワードを含まず前記音声対話設備をウェイクアップできる音声信号である。
本発明の第3態様は、音声対話設備のウェイクアップ設備を提供し、前記設備の機能は、ハードウェアによって実現されてもよく、ハードウェアが対応するソフトウェアを実行することによって実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する1つ又は複数のモジュールを含む。
1つの可能な実施形態において、前記設備にはプロセッサとメモリとが備えられている。前記メモリには、前記設備が上記音声対話設備のウェイクアップ方法を実行することをサポートするためのプログラムが記憶されており、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように構成される。前記設備は、ほかの設備又は通信ネットワークと通信するための通信インターフェースをさらに備える。
本発明の第4態様は、コンピュータ可読媒体を提供する。当該コンピュータ可読媒体は、音声対話設備のウェイクアップ設備に用いられ、前記音声対話設備のウェイクアップ方法を実行するプログラムを含むコンピュータソフトウェアコマンドを記憶するために用いられる。
上記技術案のうちのいずれか1つの技術案は、以下の利点又は有益な効果を有する。
本発明は、音声信号が収集された後、音声信号の声紋特徴と予め記憶された基準声紋特徴とが一致しているかどうかを判断し、一致している場合、ウェイクアップワード認識モデルを用いて、音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、ウェイクアップワードが含まれる場合、音声対話設備をウェイクアップする。このような段階的な検出により、音声対話設備のウェイクアップ誤り率を低減させることができる。
上記の略述は、単に説明のために過ぎず、いかなる限定をも目的としない。上記に記載されている例示的な様態、実施形態、及び特徴以外に、図面及び下記の詳細説明を参照することによって、本発明のさらなる様態、実施形態、及び特徴の理解を促す。
本発明の実施形態に係る音声対話設備のウェイクアップ方法のフローチャートである。 本発明の実施形態に係る音声対話設備のウェイクアップ装置の概略構造図である。 本発明の他の実施形態に係る音声対話設備のウェイクアップ装置の概略構造図である。 本発明の実施形態に係る音声対話設備のウェイクアップ設備の概略構造図である。
図面において特に規定されない限り、複数の図面において同様の図面符号は、同様又は類似的な部材又はエレメントを示す。これらの図面は必ずしも実際の比例に従って製図されたものではない。これらの図面は本発明に基づいて開示された幾つかの実施形態を描いたものに過ぎず、本発明の範囲に対する制限としてはならないことを理解すべきである。
下記において、幾つかの例示的実施形態を簡単に説明する。当業者が把握出来るよう、本発明の主旨又は範囲を逸脱しない限り、様々な方式により説明された実施形態に変更可能である。従って、図面と説明は制限を加えるものでなく、本質的には例示的なものである。
本発明は、主に、音声対話設備のウェイクアップ方法及び装置を提供する。以下、下記の実施形態を参照しながら技術案を詳細に説明する。
図1は、本発明の実施形態に係る音声対話設備のウェイクアップ方法のフローチャートである。図1に示すように、当該音声対話設備のウェイクアップ方法は、以下のステップS11〜S14を含む。
ステップS11は、音声信号を収集する。
ステップS12は、音声信号の第1声紋特徴を抽出する。
ステップS13は、前記第1声紋特徴と予め記憶された基準声紋特徴とを比較し、前記第1声紋特徴と前記基準声紋特徴が一致している場合、ステップS14を実行する。
ステップS14は、ウェイクアップワード認識モデルを用いて、音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、ウェイクアップワードが含まれる場合、音声対話設備をウェイクアップする。
1つの可能な実施形態において、前述のステップS11にて音声信号を収集する方法として、オーディオ信号を受信し、前記オーディオ信号から音声信号を抽出することを含むことができる。ここで、オーディオ信号は、音声、音楽、効果音を有する規則正しい音波の周波数と振幅が変化する情報キャリアである。音波の特性を利用することにより、オーディオ信号から音声信号を抽出できる。
1つの可能な実施形態において、前述のステップS12において、声紋認識技術を使用することにより、音声信号の第1声紋特徴を抽出することができる。声紋(voiceprint)は、電気音響機器によって表示される、言語情報を携える音響スペクトルである。いかなる2人の声紋特徴は異なるものであり、人々の声紋特徴は相対的な安定性を有している。声紋認識は、テキスト関連(Text−Dependent)の声紋認識、テキスト非関連(Text−Independent)の声紋認識の2種類ある。テキスト関連の声紋認識システムでは、ユーザーは所定のコンテンツに従って発音する必要があるため、人ごとに声紋モデルを正確に構築しており、認識する時にも所定のコンテンツに従って発音しなければならない。テキスト非関連の声紋認識システムでは、ユーザーは所定のコンテンツに従って発音する必要がない。本発明の実施形態では、テキスト非関連の声紋認識方式を利用することができる。声紋特徴を抽出して声紋特徴を比較するとき、ユーザーは所定のコンテンツに従って発音するのでなく、任意のコンテンツである音声信号を用いることができる。
1つの可能な実施形態において、少なくとも1つの基準声紋特徴が予め記憶されていてもよい。例えば、1つの音声対話設備は、音声対話設備の「マスター」と見なされる複数のユーザーを有してもよい。本発明の実施形態では、各ユーザーの声紋特徴をそれぞれ1つの基準声紋特徴とし、各基準声紋特徴を記憶することができる。具体的には、前記少なくとも1つの基準声紋特徴は次のように確定してもよい。すなわち、少なくとも1つのユーザーの音声信号を収集し、各ユーザーの音声信号の第2声紋特徴を抽出し、前記それぞれの第2声紋特徴をそれぞれ1つの基準声紋特徴として確定する。基準声紋特徴を確定するため、各ユーザーの音声信号を収集する時、ユーザーの許可の下で録音設備をオンにし、ユーザーの生活中のさまざまな場面における音声信号を録音することができる。
1つの可能な実施形態において、ステップS13では、前記第1声紋特徴と予め記憶された各基準声紋特徴を比較し、第1声紋特徴と基準声紋特徴のうちの1つが一致している場合、前記第1声紋特徴と前記基準声紋特徴は一致していると判定する。
例えば、N(Nは正の整数)個の基準声紋特徴を予め記憶する。比較の過程において、第1声紋特徴をN個の基準声紋特徴と順次に比較し、第1声紋特徴がある基準声紋特徴と一致していることが判明した場合、比較結果は一致していると判定し、その後、他の基準声紋特徴との比較は行わない。第1声紋特徴が基準声紋特徴のいずれとも一致しないことが判明した場合、比較結果は不一致であると判定する。あるいは、第1声紋特徴をそれぞれ、N個の基準声紋特徴と比較し、第1声紋特徴と対応する基準声紋特徴との間の類似度を示すN個の比較結果を得、類似度が最大である比較結果を取得し、当該最大類似度がプリセットされた閾値を超える場合、第1声紋特徴と対応する基準声紋特徴との比較結果は一致していると判定し、当該最大類似度がプリセットされた閾値以下である場合、第1声紋特徴は基準声紋特徴のいずれとも不一致であると判定することができる。
1つの可能な実施形態において、各基準声紋特徴に対応するウェイクアップワード認識モデルが予め構築されてもよい。例えば、音声対話設備のN人のユーザーに対し、N人のユーザーの声紋特徴をN個の基準声紋特徴として予め抽出し、N個の基準声紋特徴に対し、対応するウェイクアップワード認識モデルをそれぞれ構築することができる。ユーザーと、基準声紋特徴、及びウェイクアップワード認識モデルとの対応関係は、以下の表1に示すとおりである。
Figure 0006857699
ウェイクアップワード認識モデルが構築される時、対応の基準声紋特徴を有する正サンプル及び負サンプルを用いて、ウェイクアップワード認識モデルをトレーニングすることができる。ここで、正サンプルは、ウェイクアップワードを含み、前記音声対話設備をウェイクアップできる音声信号であり、負サンプルは、ウェイクアップワードを含まず、音声対話設備をウェイクアップできない音声信号である。
ウェイクアップワードは負サンプルに含まれていないが、ユーザーのアクセントなどの問題により、音声対話設備が負サンプルからウェイクアップワードを認識しまう可能性がある。このような状況は、誤ったウェイクアップに属する。
例えば、「度ちゃん、度ちゃん」を音声対話設備のウェイクアップワードとする。
ユーザーが「度ちゃん、度ちゃん」と音声信号を送信すると、音声対話設備は当該音声信号のコンテンツをテキスト情報に変換する。当該テキスト情報のコンテンツが「度ちゃん、度ちゃん」である場合、該音声対話設備はウェイクアップされることができる。ユーザーの送信した「度ちゃん、度ちゃん」という音声信号は、正サンプルである。
ユーザーが「兔ちゃん、兔ちゃん」と音声信号を送信すると、音声対話設備は当該音声信号のコンテンツをテキスト情報に変換する。ユーザーのアクセント問題により音声対話設備により変換されて得たテキスト情報のコンテンツが「度ちゃん、度ちゃん」になってしまった場合、音声対話設備をウェイクアップすることもできる。ユーザーの送信した音声信号にウェイクアップワードは含まれていないので、音声対話設備をウェイクアップすることは意図されていない。従って、このような状況は、誤ったウェイクアップに属する。ユーザーの送信した「兔ちゃん、兔ちゃん」という音声信号は、負サンプルである。
本発明の実施形態において、正サンプルと負サンプルとを用いてウェイクアップワード認識モデルをトレーニングすることで、ウェイクアップ音声信号を正しく認識させ、音声対話設備が誤ってウェイクアップされる可能性を低減させることができる。
1つの可能な実施形態において、ウェイクアップワード認識モデルによる判断がより正確になるように、ユーザーが音声対話設備を使用する過程において、負サンプルを記録して追加し、正サンプルと追加された負サンプルとを用いてウェイクアップワード認識モデルをさらにトレーニングしてもよい。
ステップS14では、ウェイクアップワード認識モデルを用いて、音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断することは、第1声紋特徴と一致する基準声紋特徴を特定することと、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得することと、取得されたウェイクアップワード認識モデルを用いて前記音声信号を判断することと、を含んでもよい。
例えば、1つの実施形態において、収集された音声信号の第1声紋特徴と表1における基準声紋特徴2が一致していると、基準声紋特徴2に対応するウェイクアップワード認識モデル2を取得し、ウェイクアップワード認識モデル2を用いて、当該音声信号にウェイクアップワードが含まれるかどうかを判断する。
1つの可能な実施形態において、前述の比較及び判断過程はクラウドにおいて実行されてもよい。あるいは、基準声紋特徴とウェイクアップワード認識モデルとを音声対話設備に送信し、音声対話設備に上記の比較及び判断過程を実行させることにより、ウェイクアップの効率を改善させることができる。
本発明の実施形態において、音声対話機能付き設備に適用することができる。前記音声対話機能付き設備は、スマートスピーカー、スクリーン付きスマートスピーカー、音声対話機能付きテレビ、スマートウォッチ、及び車載スマート音声設備を含むが、これらに限られない。安全性の要求が高くない場合、エラー拒否率及びエラー受入率に対する制御可能な調整をサポートすることにより、上記の比較及び判断のエラー拒否率を適切に減らし、ウェイクアップワードを含むユーザーの音声信号に応答しないことを回避できる。
例えば、上記のステップS13について、初期状態では、第1声紋特徴と基準声紋特徴との比較結果が一致である基準は、第1声紋特徴と基準声紋特徴との類似度が90%を超えると、第1声紋特徴と基準声紋特徴は一致であると判定するようにすることができる。音声対話設備の使用過程において、ユーザーから送信された音声信号に応答しないことが頻繁に発生する場合、上記の基準を適切に低下させてもよい。例えば、比較結果が一致である基準は、第1声紋特徴と基準声紋特徴との類似度が80%を超える場合、第1声紋特徴と基準声紋特徴は一致であると判定するように調整される。一方、音声対話設備の使用過程において、非ユーザーから送信された音声信号によって誤ってウェイクアップされることが頻繁に発生する場合、上記の基準を適切に高めてもよい。例えば、比較結果が一致である基準は、第1声紋特徴と基準声紋特徴との類似度が95%を超える場合、第1声紋特徴と基準声紋特徴は一致であると判定するように調整される。
別の例では、音声信号がウェイクアップワード認識モデルに入力されると、ウェイクアップワード認識モデルは、音声信号のコンテンツにウェイクアップワードが含まれる可能性を示す確率値を出力することができる。当該確率値が大きいほど、音声信号のコンテンツにウェイクアップワードが含まれるとウェイクアップワード認識モデルから予測される可能性が高くなる。該確率値がプリセットされた閾値を超えると、ウェイクアップワード認識モデルは、音声信号のコンテンツにウェイクアップワードが含まれると判断する。上記のステップS14について、音声対話装置の使用過程において、ユーザーから送信された、ウェイクアップワードを含む音声信号に応答しないことが頻繁に発生する場合、上記の閾値を適切に低下させてもよい。一方、誤ってウェイクアップされることが頻繁に発生する場合、上記の閾値を適切に高めてもよい。
本発明は、音声対話設備のウェイクアップ装置をさらに提供する。図2は、本発明の実施形態に係る音声対話設備のウェイクアップ装置の概略構造図である。図2に示すように、当該音声対話設備のウェイクアップ装置は、音声信号を収集するための収集モジュール201と、前記音声信号の第1声紋特徴を抽出するための抽出モジュール202と、前記第1声紋特徴を予め記憶された基準声紋特徴と比較するための比較モジュール203と、前記第1声紋特徴と前記基準声紋特徴とが一致している場合、ウェイクアップワード認識モデルにより、音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、音声信号のコンテンツにウェイクアップワードが含まれる場合、前記音声対話設備をウェイクアップするための判断・ウェイクアップモジュール204と、を備える。
図3は、本発明の別の実施形態に係る音声対話設備のウェイクアップ装置の概略構造図である。図3に示すように、当該音声対話設備のウェイクアップ装置は、収集モジュール201と、抽出モジュール202と、比較モジュール203と、判断・ウェイクアップモジュール204と、を備える。上記の4つのモジュールは、前述実施形態において対応するモジュールと同じであるため、ここで再度説明しない。
当該装置は、複数の基準声紋特徴を記憶するための声紋記憶モジュール205をさらに備える。
前記比較モジュール203は、前記第1声紋特徴を予め記憶された各基準声紋特徴と比較し、前記第1声紋特徴が前記基準声紋特徴のうちの1つと一致している場合、前記第1声紋特徴は前記基準声紋特徴と一致していると判定するために用いられる。
1つの可能な実施形態において、当該装置は、少なくとも1つのユーザーの音声信号を収集し、各ユーザーの音声信号の第2声紋特徴を抽出し、前記それぞれの第2声紋特徴を基準声紋特徴の1つとして確定するための声紋確定モジュール206とをさらに備える。
1つの可能な実施形態では、当該装置は、基準声紋特徴のそれぞれに対応するウェイクアップワード認識モデルを構築するためのモデル構築モジュール207をさらに備える。
前記判断・ウェイクアップモジュール204は、前記第1声紋特徴と一致する基準声紋特徴を特定し、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得し、取得されたウェイクアップワード認識を用いて前記音声信号を判断するために用いられる。
1つの可能な実施形態において、前記モデル構築モジュール207は、各基準声紋特徴に対して、前記基準声紋特徴を有する正サンプル及び負サンプルを用いて、前記ウェイクアップワード認識モデルをトレーニングするために用いられる。ここで、正サンプルは、ウェイクアップワードを含んで音声対話設備をウェイクアップできる音声信号であり、負サンプルは、ウェイクアップワードを含まず、音声対話設備をウェイクアップできる音声信号である。
本発明の実施形態における各装置内の各モジュールの機能は、上記の方法に対応する記載を参照することができるため、ここでは省略する。
本発明は、音声対話設備のウェイクアップ設備をさらに提供する。図4は、本発明の実施形態に係る音声対話設備のウェイクアップ設備の概略構造図である。図4に示すように、当該ウェイクアップ設備は、メモリ11とプロセッサ12とを備える。メモリ11には、プロセッサ12で実行可能なコンピュータプログラムが記憶され、プロセッサ12は、前記コンピュータプログラムを実行するとき、上記実施形態に係る音声対話設備のウェイクアップ方法を実現させる。メモリ11とプロセッサ12の数は、1つであってもよく、又は複数であってもよい。
前記ウェイクアップ設備は、周辺機器と通信し、データを交換・転送するための通信インターフェース13をさらに備える。
メモリ11は、高速RAMメモリを含む可能性もあり、不揮発性メモリ(non−volatile memory)、例えば、少なくとも1つの磁気ディスクメモリをさらに含む可能性もある。
メモリ11、プロセッサ12及び通信インターフェース13が個別に実現される場合、メモリ11、プロセッサ12及び通信インターフェース13は、バスによって相互接続して相互通信を行うことができる。前記バスは、インダストリスタンダードアーキテクチャ(ISA、Industry Standard Architecture)バス、外部デバイス相互接続(PCI、Peripheral ComponentInterconnect)バス、又は拡張インダストリスタンダードアーキテクチャ(EISA、Extended Industry Standard Component)バス等であってもよい。前記バスは、アドレスバス、データバス、制御バス等として分けられることが可能である。表示の便宜上、図4に1本の太線のみで表示するが、バスが1つ又は1種類のみであることを意味しない。
任意選択で、具体的に実現する時、メモリ11、プロセッサ12及び通信インターフェース13が1枚のチップに統合される場合、メモリ11、プロセッサ12及び通信インターフェース13は、内部インターフェースによって、相互通信を実現することができる。
本明細書において、「1つの実施形態」、「幾つかの実施形態」、「例」、「具体例」或いは「一部の例」などの用語とは、当該実施形態或いは例で説明された具体的特徴、構成、材料或いは特点を結合して、本発明の少なくとも1つの実施形態或いは実施例に含まれることを意味する。また、説明された具体的特徴、構成、材料或いは特点は、いずれか1つ或いは複数の実施形態または例において適切に結合することが可能である。また、矛盾しない限り、当業者は、本明細書の異なる実施形態または例、および、異なる実施形態または例における特徴を結合したり、組み合わせたりすることができる。
また、用語「第1」、「第2」とは比較的重要性を示している又は暗示しているわけではなく、単に説明のためのものであり、示される技術的特徴の数を暗示するわけでもない。そのため、「第1」、「第2」で限定される特徴は、少なくとも1つの当該特徴を明示又は暗示的に含むことが可能である。本出願の記載の中において、「複数」の意味とは、明確的に限定される以外に、2つ又は2つ以上を意味する。
フローチャート又はその他の方式で説明された、いかなるプロセス又は方法に対する説明は、特定な論理的機能又はプロセスのステップを実現するためのコマンドのコードを実行可能な1つ又はそれ以上のモジュール、断片若しくはセグメントとして理解することが可能であり、さらに、本発明の好ましい実施形態の範囲はその他の実現を含み、示された、又は、記載の順番に従うことなく、係る機能に基づいてほぼ同時にまたは逆の順序に従って機能を実行することを含み、これは当業者が理解すべきことである。
フローチャートに示された、又はその他の方式で説明された論理及び/又はステップは、例えば、論理機能を実現させるための実行可能なコマンドのシーケンスリストとして見なされることが可能であり、コマンド実行システム、装置、又はデバイス(プロセッサのシステム、又はコマンド実行システム、装置、デバイスからコマンドを取得して実行することが可能なその他のシステムを含むコンピュータによるシステム)が使用できるように提供し、又はこれらのコマンドを組み合わせて使用するコマンド実行システム、装置、又はデバイスに使用されるために、いかなるコンピュータ読取可能媒体にも具体的に実現されることが可能である。本明細書において、「コンピュータ読取可能媒体」は、コマンド実行システム、装置、デバイス、又はこれらのコマンドを組み合わせて実行するシステム、装置又はデバイスが使用できるように提供するため、プログラムを格納、記憶、通信、伝搬又は伝送する装置であってもよい。コンピュータ読み取り可能媒体のより具体的例(非網羅的なリスト)として、1つ又は複数の布配線を含む電気接続部(電子装置)、ポータブルコンピュータディスク(磁気装置)、ランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、消去書き込み可能リード・オンリー・メモリ(EPROM又はフラッシュメモリ)、光ファイバー装置、及びポータブル読み取り専用メモリ(CDROM)を少なくとも含む。また、コンピュータ読み取り可能媒体は、そのうえで前記プログラムを印字できる紙又はその他の適切な媒体であってもよく、例えば紙又はその他の媒体に対して光学的スキャンを行い、そして編集、解釈又は必要に応じてその他の適切の方式で処理して電子的方式で前記プログラムを得、その後コンピュータメモリに記憶することができるためである。
なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されることができる。上記実施形態において、複数のステップ又は方法は、メモリに記憶された、適当なコマンド実行システムによって実行されるソフトウェア又はファームウェアによって実施されることができる。例えば、ハードウェアによって実現するとした場合、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な混合論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ(GPA)、フィールドプログラマブルゲートアレイ(FPGA)などといった本技術分野において公知である技術のうちのいずれか1つ又はそれらの組み合わせによって実現される。
当業者は、上記の実施形態における方法に含まれるステップの全部又は一部を実現するのは、プログラムによって対応するハードウェアを指示することによって可能であることを理解することができる。前記プログラムは、コンピュータ読取可能な媒体に記憶されてもよく、当該プログラムが実行されるとき、方法の実施形態に係るステップのうちの1つ又はそれらの組み合わせを含むことができる。
また、本発明の各実施形態における各機能ユニットは、1つの処理モジュールに統合されてよく、別個の物理的な個体であってもよく、2つ又は3つ以上のユニットが1つのモジュールに統合されてもよい。上記の統合モジュールは、ハードウェアで実現されてもよく、ソフトウェア機能モジュールで実現されてもよい。上記の統合モジュールが、ソフトウェア機能モジュールで実現され、しかも独立した製品として販売又は使用される場合、コンピュータ読取可能な記憶媒体に記憶されてもよい。前記記憶媒体は読取専用メモリ、磁気ディスク又は光ディスク等であってもよい。
要約すると、本発明の実施形態に係る音声対話設備のウェイクアップ方法及び装置は、音声信号が収集された後、まず音声信号の声紋特徴と予め記憶された基準声紋特徴との間の類似度が、プリセットされた閾値を超えるかどうかを判断する。プリセットされた閾値を超えた場合、音声信号の声紋特徴は予め記憶された対応の基準声紋特徴と一致していると判定され、対応するウェイクアップワード認識モデルを用いて、音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、ウェイクアップワードが含まれる場合、音声対話設備をウェイクアップする。このような段階的な検出により、音声対話設備の誤ったウェイクアップレートを低減させることができる。
上記の記載は、単なる本発明の具体的な実施形態に過ぎず、本発明の保護範囲はそれに限定されることなく、当業者が本発明に開示されている範囲内において、容易に想到し得る変形又は置換は、全て本発明の範囲内に含まれるべきである。そのため、本発明の範囲は、記載されている特許請求の範囲に準じるべきである。
201 収集モジュール
202 抽出モジュール
203 比較モジュール
204 判断・ウェイクアップモジュール

Claims (13)

  1. 音声信号を収集することと、
    前記音声信号の第1声紋特徴を抽出することと、
    前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と予め記憶された前記基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定することと、
    ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、前記ウェイクアップワードが含まれている場合、音声対話設備をウェイクアップすることと、を含み、
    ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断することは、前記第1声紋特徴と一致する前記基準声紋特徴を特定することと、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得することと、取得されたウェイクアップワード認識モデルを用いて前記音声信号を判断することとを含むことを特徴とする音声対話設備のウェイクアップ方法。
  2. 複数の基準声紋特徴が予め記憶されており、
    前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と予め記憶された前記基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定することは、前記第1声紋特徴と前記予め記憶された各基準声紋特徴との間の類似度を得、前記第1声紋特徴と前記複数の基準声紋特徴のうちの1つとの間の類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定する請求項1に記載の音声対話設備のウェイクアップ方法。
  3. ユーザーの音声信号を収集し、前記ユーザーの音声信号の第2声紋特徴を抽出し、前記第2声紋特徴を前記基準声紋特徴として確定することをさらに含む請求項1に記載の音声対話設備のウェイクアップ方法。
  4. 前記基準声紋特徴に対応する前記ウェイクアップワード認識モデルを予め構築することをさらに含む請求項1に記載の音声対話設備のウェイクアップ方法。
  5. 前記基準声紋特徴に対応するウェイクアップワード認識モデルを予め構築することは、前記基準声紋特徴を有する正サンプル及び負サンプルを用いて前記ウェイクアップワード認識モデルをトレーニングすることを含み、前記正サンプルが前記ウェイクアップワードを含み前記音声対話設備をウェイクアップできる音声信号であり、前記負サンプルが前記ウェイクアップワードを含まず前記音声対話設備をウェイクアップできる音声信号である請求項4に記載の音声対話設備のウェイクアップ方法。
  6. 音声信号を収集する収集モジュールと、
    前記音声信号の第1声紋特徴を抽出する抽出モジュールと、
    前記第1声紋特徴と予め記憶された基準声紋特徴とを比較して前記第1声紋特徴と予め記憶された前記基準声紋特徴との間の類似度を得、前記類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定する比較モジュールと、
    ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断し、前記ウェイクアップワードが含まれている場合、音声対話設備をウェイクアップする判断・ウェイクアップモジュールと、を備え
    ウェイクアップワード認識モデルを用いて、前記音声信号のコンテンツにウェイクアップワードが含まれるかどうかを判断することは、前記第1声紋特徴と一致する前記基準声紋特徴を特定することと、特定された基準声紋特徴に対応するウェイクアップワード認識モデルを取得することと、取得されたウェイクアップワード認識モデルを用いて前記音声信号を判断することとを含むことを特徴とする音声対話設備のウェイクアップ装置。
  7. 複数の基準声紋特徴を記憶する声紋記憶モジュールをさらに備え、
    前記比較モジュールは、前記第1声紋特徴と前記予め記憶された各基準声紋特徴との間の類似度を得、前記第1声紋特徴と前記複数の基準声紋特徴のうちの1つとの間の類似度がプリセットされた閾値を超える場合、前記第1声紋特徴と前記基準声紋特徴が一致していると判定するために用いられる請求項6に記載の音声対話設備のウェイクアップ装置。
  8. ユーザーの音声信号を収集し、前記ユーザーの音声信号の第2声紋特徴を抽出し、前記第2声紋特徴を前記基準声紋特徴として確定する声紋確定モジュールをさらに備える請求項6に記載の音声対話設備のウェイクアップ装置。
  9. 前記基準声紋特徴に対応する前記ウェイクアップワード認識モデルを構築するモデル構築モジュールをさらに備え請求項6に記載の音声対話設備のウェイクアップ装置。
  10. 前記モデル構築モジュールは、前記基準声紋特徴を有する正サンプル及び負サンプルを用いて前記ウェイクアップワード認識モデルをトレーニングし、前記正サンプルが、ウェイクアップワードを含み前記音声対話設備をウェイクアップできる音声信号であり、前記負サンプルが前記ウェイクアップワードを含まず前記音声対話設備をウェイクアップできる音声信号である請求項9に記載の音声対話設備のウェイクアップ装置。
  11. 1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを記憶するためのメモリと、を備え、
    前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムを実行すると、請求項1〜請求項5のいずれか1項に記載の音声対話設備のウェイクアップ方法を実行させることを特徴とする音声対話設備のウェイクアップ設備。
  12. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
    当該コンピュータプログラムがプロセッサにより実行されると、請求項1〜請求項5のいずれか1項に記載の音声対話設備のウェイクアップ方法を実行させることを特徴とするコンピュータ可読記憶媒体。
  13. コンピュータにおいて、プロセッサにより実行される場合、請求項1〜請求項5のいずれか1項に記載の音声対話設備のウェイクアップ方法を実現することを特徴とするプログラム。
JP2019184261A 2019-01-11 2019-10-07 音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラム Active JP6857699B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910026336.8A CN109448725A (zh) 2019-01-11 2019-01-11 一种语音交互设备唤醒方法、装置、设备及存储介质
CN201910026336.8 2019-01-11

Publications (2)

Publication Number Publication Date
JP2020112778A JP2020112778A (ja) 2020-07-27
JP6857699B2 true JP6857699B2 (ja) 2021-04-14

Family

ID=65544167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019184261A Active JP6857699B2 (ja) 2019-01-11 2019-10-07 音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラム

Country Status (3)

Country Link
US (1) US20200227049A1 (ja)
JP (1) JP6857699B2 (ja)
CN (1) CN109448725A (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981616B (zh) * 2019-03-12 2021-07-13 绿盟科技集团股份有限公司 语音攻击的检测方法、装置及网络设备
US20210050003A1 (en) * 2019-08-15 2021-02-18 Sameer Syed Zaheer Custom Wake Phrase Training
CN112463102B (zh) * 2019-09-06 2024-03-22 佛山市顺德区美的电热电器制造有限公司 家电设备及其交互方法和交互装置、电子设备
CN110570873B (zh) * 2019-09-12 2022-08-05 Oppo广东移动通信有限公司 声纹唤醒方法、装置、计算机设备以及存储介质
CN110970016B (zh) * 2019-10-28 2022-08-19 苏宁云计算有限公司 一种唤醒模型生成方法、智能终端唤醒方法及装置
CN110827820B (zh) * 2019-11-27 2022-09-27 北京梧桐车联科技有限责任公司 语音唤醒方法、装置、设备、计算机存储介质及车辆
CN111210829A (zh) * 2020-02-19 2020-05-29 腾讯科技(深圳)有限公司 语音识别方法、装置、系统、设备和计算机可读存储介质
CN112259097A (zh) * 2020-10-27 2021-01-22 深圳康佳电子科技有限公司 一种语音识别的控制方法和计算机设备
CN112233676A (zh) * 2020-11-20 2021-01-15 深圳市欧瑞博科技股份有限公司 智能设备唤醒方法、装置、电子设备及存储介质
CN113205809A (zh) * 2021-04-30 2021-08-03 思必驰科技股份有限公司 语音唤醒方法和装置
CN113366567A (zh) * 2021-05-08 2021-09-07 腾讯音乐娱乐科技(深圳)有限公司 一种声纹识别方法、歌手认证方法、电子设备及存储介质
CN113643700B (zh) * 2021-07-27 2024-02-27 广州市威士丹利智能科技有限公司 一种智能语音开关的控制方法及系统
CN113920684B (zh) * 2021-09-01 2023-03-21 浙江绿城未来数智科技有限公司 一种基于ai语音的社区居民紧急救助系统
CN114087725A (zh) * 2021-11-16 2022-02-25 珠海格力电器股份有限公司 一种结合wifi信道状态检测防止空调误唤醒的方法
CN113938785A (zh) * 2021-11-24 2022-01-14 英华达(上海)科技有限公司 降噪处理方法、装置、设备、耳机及存储介质
EP4198970A1 (en) * 2021-12-20 2023-06-21 Samsung Electronics Co., Ltd. Computer implemented method for determining false positives in a wakeup-enabled device, corresponding device and system
CN115312068B (zh) * 2022-07-14 2023-05-09 荣耀终端有限公司 语音控制方法、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1079615A3 (en) * 1999-08-26 2002-09-25 Matsushita Electric Industrial Co., Ltd. System for identifying and adapting a TV-user profile by means of speech technology
JP2014092777A (ja) * 2012-11-06 2014-05-19 Magic Hand:Kk モバイル通信機器の音声による起動
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US8812320B1 (en) * 2014-04-01 2014-08-19 Google Inc. Segment-based speaker verification using dynamically generated phrases
US9384738B2 (en) * 2014-06-24 2016-07-05 Google Inc. Dynamic threshold for speaker verification
CN105575395A (zh) * 2014-10-14 2016-05-11 中兴通讯股份有限公司 语音唤醒方法及装置、终端及其处理方法
WO2016161641A1 (zh) * 2015-04-10 2016-10-13 华为技术有限公司 语音识别方法、语音唤醒装置、语音识别装置及终端
JP6463710B2 (ja) * 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
US10069976B1 (en) * 2017-06-13 2018-09-04 Harman International Industries, Incorporated Voice agent forwarding
CN108958810A (zh) * 2018-02-09 2018-12-07 北京猎户星空科技有限公司 一种基于声纹的用户识别方法、装置及设备
CN108766446A (zh) * 2018-04-18 2018-11-06 上海问之信息科技有限公司 声纹识别方法、装置、存储介质及音箱
CN108831477B (zh) * 2018-06-14 2021-07-09 出门问问信息科技有限公司 一种语音识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20200227049A1 (en) 2020-07-16
CN109448725A (zh) 2019-03-08
JP2020112778A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
JP6857699B2 (ja) 音声対話設備のウェイクアップ方法、装置、設備、記憶媒体、及びプログラム
US10733978B2 (en) Operating method for voice function and electronic device supporting the same
WO2017197953A1 (zh) 基于声纹的身份识别方法及装置
CN110428810B (zh) 一种语音唤醒的识别方法、装置及电子设备
CN108831477B (zh) 一种语音识别方法、装置、设备及存储介质
WO2019096056A1 (zh) 语音识别方法、装置及系统
CN109272991B (zh) 语音交互的方法、装置、设备和计算机可读存储介质
KR20190082900A (ko) 음성 인식 방법, 전자 디바이스, 및 컴퓨터 저장 매체
US9251808B2 (en) Apparatus and method for clustering speakers, and a non-transitory computer readable medium thereof
CN109326305B (zh) 一种批量测试语音识别和文本合成的方法和测试系统
CN104462912B (zh) 改进的生物密码安全
CN109215646B (zh) 语音交互处理方法、装置、计算机设备及存储介质
EP3312832A1 (en) Voice catergorisation
US20200279568A1 (en) Speaker verification
CN112397051B (zh) 语音识别方法、装置及终端设备
EP4233047A1 (en) Method for detecting an audio adversarial attack with respect to a voice input processed by an automatic speech recognition system, corresponding device, computer program product and computer-readable carrier medium
US20200227069A1 (en) Method, device and apparatus for recognizing voice signal, and storage medium
US20080147439A1 (en) User recognition/identification via speech for a personal health system
WO2019041871A1 (zh) 语音对象识别方法及装置
US10818298B2 (en) Audio processing
JP5997813B2 (ja) 話者分類装置、話者分類方法および話者分類プログラム
WO2017024835A1 (zh) 语音识别方法及装置
CN110808050A (zh) 语音识别方法及智能设备
CN113870857A (zh) 一种语音控制场景方法和语音控制场景系统
CN113362830A (zh) 一种语音助手的开启方法、控制方法、系统及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6857699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211014

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250