JP7105320B2 - 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム - Google Patents

音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム Download PDF

Info

Publication number
JP7105320B2
JP7105320B2 JP2020560616A JP2020560616A JP7105320B2 JP 7105320 B2 JP7105320 B2 JP 7105320B2 JP 2020560616 A JP2020560616 A JP 2020560616A JP 2020560616 A JP2020560616 A JP 2020560616A JP 7105320 B2 JP7105320 B2 JP 7105320B2
Authority
JP
Japan
Prior art keywords
unit
content
speech
signal
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020560616A
Other languages
English (en)
Other versions
JPWO2020128552A1 (ja
Inventor
英雄 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of JPWO2020128552A1 publication Critical patent/JPWO2020128552A1/ja
Application granted granted Critical
Publication of JP7105320B2 publication Critical patent/JP7105320B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/81Detection of presence or absence of voice signals for discriminating voice from music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システムに関する。
近年、人が発した所定の指示を実行させるための音声を認識し、認識した指示内容に応答する音声認識装置が普及し始めている。この種の音声認識装置は、スマートスピーカと称されている。
特開平8-107375号公報
音声認識装置が、人が発した音声ではなく、テレビジョン放送またはラジオ放送等の音声に誤って応答するという事例が報告されている。そこで、音声認識装置が、人が発した音声以外の音声に誤って応答することを防止することが求められる。なお、特許文献1には、マイクロホンが音声を収音するときに、スピーカから発せられた音声をエコーキャンセラによって打ち消すことが記載されている。
実施形態は、人が発した音声以外の音声に誤って応答することを防止することができる音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システムを提供することを目的とする。
実施形態の一態様によれば、音声信号に特定の特徴成分が重畳されているとき、音声認識装置の制御部は、音声認識部による音声認識処理を実行させないよう音声認識部を制御するか、あるいは、音声認識部が認識した音声による指示内容を応答動作部に指示しないよう応答指示部を制御する。
実施形態の音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システムによれば、人が発した音声以外の音声に誤って応答することを防止することができる。
図1は、第1実施形態を示すブロック図である。 図2は、図1に示すコンテンツ信号補正部120の具体的な構成例を示すブロック図である。 図3は、コンテンツ信号の音声波形を離散フーリエ変換した第1の変換信号を概念的に示す波形図である。 図4は、第1の変換信号を対数変換してさらに離散フーリエ変換した第2の変換信号を概念的に示す波形図である。 図5は、第2の変換信号の各時刻における波形の例を概念的に示す波形図である。 図6は、図2に示す畳み込み演算部124による1つの周波数の波形に対する畳み込み演算処理を概念的に示す波形図である。 図7は、図2に示す畳み込み演算部124による全体的な周波数に対する畳み込み演算処理を概念的に示す波形図である。 図8は、音声認識装置において特定の単語を含む指示内容に対して応答を不許可とする音声認識装置の構成例を示すブロック図である。 図9は、コンテンツ再生装置で実行される処理を示すフローチャートである。 図10は、音声認識装置で実行される処理であり、音声認識装置の制御方法を示すフローチャートである。 図11は、第2実施形態を示すブロック図である。 図12は、第3実施形態を示すブロック図である。 図13は、第4実施形態を示すブロック図である。
以下、各実施形態の音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システムについて、添付図面を参照して説明する。
<第1実施形態>
図1において、車両100は、乗員30が聴く音楽等のコンテンツを再生するインフォテインメントシステム10を備える。インフォテインメントシステム10は、コンテンツ再生装置またはコンテンツ出力装置の一例である。車両100内には、スマートスピーカと称される音声認識装置20が配置されている。
インフォテインメントシステム10は、コンテンツ入力部11、デジタル・シグナル・プロセッサ(以下、DSP)12、コンテンツ再生部13、音声出力部14、近距離通信部15を備える。コンテンツ入力部11は、例えば、テレビジョン放送を受信するテレビジョン受信機、ラジオ放送を受信するラジオ受信機、インターネット放送を受信するインターネット受信機のうちのいずれかである。コンテンツ入力部11は、光ディスクに記録されたコンテンツを再生する光ディスク再生装置、半導体メモリに記憶されたコンテンツを再生するメモリ再生装置であってもよい。近距離通信部15は、音声認識装置20の存在を検知する音声認識装置検知部の一例である。近距離通信部15は、例えば無線通信部であり、ブルートゥース(登録商標)等の通信接続相手機器が特定できる仕組みを有する通信規格に準拠した通信であってもよい。
コンテンツ入力部11より入力されたコンテンツ信号は、DSP12に入力される。コンテンツ信号がアナログ信号であれば、図示されていないA/Dコンバータによってデジタル信号に変換されてDSP12に入力される。DSP12は、ソフトウェア(コンピュータプログラム)を実行することによって、コンテンツ信号補正部120として動作する。
コンテンツ信号補正部120は、近距離通信部15が音声認識装置20と通信して音声認識装置20の存在を認識しているときに、コンテンツ信号を補正する。補正対象のコンテンツ信号は音声信号であり、コンテンツ信号は少なくとも音声信号を含む。ここでは、コンテンツ信号は音声信号であるとする。
コンテンツ信号補正部120は、コンテンツ信号に特定の特徴成分を重畳するようコンテンツ信号を補正する。コンテンツ信号補正部120がコンテンツ信号を具体的にどのように補正するかについては後に詳述する。なお、インフォテインメントシステム10は、近距離通信部15を備えない構成であってもよい。
コンテンツ再生部13は音声信号処理回路及び増幅器を備え、DSP12から供給されたコンテンツ信号を再生する。音声出力部14はスピーカであり、コンテンツ信号の音声V14を出力する。
音声認識装置20は、音声入力部21、中央処理装置(以下、CPU)22、音声発生部23、通信部24、近距離通信部25を備える。CPU22は、機能的な構成として、音声解析部221、音声認識部222、応答指示部223、制御部224を備える。
音声入力部21はマイクロホンであり、音声認識装置20に所定の指示を実行させるために乗員30が音声V30を発すると、音声入力部21が音声V30を収音する。音声入力部21より出力された音声信号は、図示されていないA/Dコンバータによってデジタル信号に変換されてCPU22に入力される。
音声入力部21に、インフォテインメントシステム10によって再生されたコンテンツ信号の音声V14が入力されることがある。音声解析部221は、音声入力部21より出力された音声信号に特徴成分が重畳されているか否かを解析する。音声信号に特徴成分が重畳されていなければ、音声入力部21に入力された音声は、乗員30が発した音声V30である。音声信号に特徴成分が重畳されていれば、音声入力部21に入力された音声は、インフォテインメントシステム10より出力された音声V14である。
音声解析部221による解析結果は、制御部224に供給される。制御部224は、音声信号に特徴成分が重畳されていないと解析されたとき、音声認識処理を実行させるよう音声認識部222を制御する。応答指示部223は、音声認識部222が認識した乗員30による指示内容に応じた応答を音声発生部23または通信部24に指示する。制御部224は、近距離通信部25がインフォテインメントシステム10の存在を認識していないとき、音声解析部221による解析結果にかかわらず、音声認識処理を実行させるよう音声認識部222を制御してもよい。
制御部224は、近距離通信部25がインフォテインメントシステム10と通信してインフォテインメントシステム10の存在を認識していて、音声信号に特徴成分が重畳されていると解析されたとき、音声認識処理を実行させないよう音声認識部222を制御する。
音声解析部221によって音声信号に特徴成分が重畳されていると解析されたとき、音声入力部21に入力された音声信号は乗員30が発した音声V30ではなく、コンテンツ信号の音声V14である。音声認識部222は声認識処理を実行しないので、仮に音声V14に、音声認識装置20が応答するような言葉が含まれていたとしても、その言葉を認識しない。よって、応答指示部223が誤って音声発生部23または通信部24に応答を指示することはない。
制御部224は、音声信号に特徴成分が重畳されていると解析されたときに、音声認識処理を実行させないよう音声認識部222を制御する代わりに、音声認識部222から供給された指示内容に応答しないように応答指示部223を制御してもよい。
近距離通信部25はインフォテインメントシステム10(コンテンツ再生装置)の存在を検知する再生装置検知部の一例である。音声解析部221は、近距離通信部25によってインフォテインメントシステム10の存在を検知したとき、音声入力部21に入力された音声信号に特定の特徴成分が含まれているか否かを解析してもよい。
音声認識装置20は、インフォテインメントシステム10(コンテンツ再生装置)がコンテンツを再生していることを検知する再生装置検知部を備えてもよい。この場合、近距離通信部15がコンテンツ再生部13によって再生されたコンテンツを送信するように構成し、近距離通信部25がコンテンツを受信すれば、インフォテインメントシステム10がコンテンツを再生していることを検知することができる。音声解析部221は、再生装置検知部によりインフォテインメントシステム10がコンテンツを再生していることを検知したとき、音声入力部21に入力された音声信号に特定の特徴成分が含まれているか否かを解析してもよい。
音声認識装置20は、近距離通信部25を備えない構成であってもよい。この場合、制御部224は、音声解析部221による解析結果のみに基づいて、音声認識部222または応答指示部223を制御すればよい。
音声発生部23及び通信部24は、音声認識部222が認識した音声に応答して動作する応答動作部の例である。音声発生部23は、応答指示部223による指示内容に応じて所定の音声を発生する。音声発生部23は、音声合成器とスピーカとを含む。通信部24は、応答指示部223による指示内容に応じて、図示していない外部のサーバ等と通信する。
図2に示すように、コンテンツ信号補正部120は、離散フーリエ変換部121、対数変換部122、離散フーリエ変換部123、畳み込み演算部124を備える。典型的には、離散フーリエ変換部121及び123は、離散フーリエ変換(DFT)を高速で計算することができるアルゴリズムである高速フーリエ変換(FFT)を用いて、入力信号をフーリエ変換する。
コンテンツ信号補正部120の動作を図3~図7を参照しながら説明する。図3に示すように、コンテンツ信号補正部120に入力されるコンテンツ信号が、時刻の進行に伴って信号強度が変化する音声波形V0であったとする。離散フーリエ変換部121が音声波形V0を離散フーリエ変換すると、図3に示すような周波数と信号強度とで表される波形Vf1及びVf2等の第1の変換信号が得られる。図3においては簡略化のため、2つの時刻における波形Vf1及びVf2のみを示している。
対数変換部122は、離散フーリエ変換部121より出力された第1の変換信号を自然対数に変換し、離散フーリエ変換部123は、対数に変換された第1の変換信号をさらに離散フーリエ変換する。すると、各時刻における第1の変換信号は、図4に示すような、信号強度の成分が除去されて、スペクトル包絡のみの第2の変換信号に変換される。図4は、波形Vf1に対応したスペクトル包絡である波形Vf10を示している。
離散フーリエ変換部121、対数変換部122、及び離散フーリエ変換部123によってスペクトル包絡を求める処理は、ケプストラム分析と称されている。離散フーリエ変換部121、対数変換部122、及び離散フーリエ変換部123は、音声信号のスペクトル包絡を求めるケプストラム分析部である。
図5は、離散フーリエ変換部123より出力された第2の変換信号の各時刻における波形の例を示している。図5に示す波形Vftは、ある1つの周波数における第2の変換信号の変化を示している。畳み込み演算部124における畳み込み演算処理の説明を簡略化するため、1つの周波数における波形Vftを用いて畳み込み演算処理を説明する。
図6に示すように、畳み込み演算部124は、波形Vftに所定の畳み込み波形fcを重畳するよう畳み込み演算を実行する。例えば、畳み込み演算部124は、音素に影響を与えないように、所定値よりも短い例えば4msの畳み込み波形fcを波形Vftに畳み込む。図6に示す例では、畳み込み演算部124は、所定値よりも十分に長い16ms経過するごとに、4msの畳み込み波形fcを畳み込む。ここで、16msはあくまで例示であり、他の値であってもよい。
畳み込み演算部124が実行する畳み込み演算とは、波形Vftに対する畳み込み波形fcの乗算、加算、減算のいずれであってもよい。図6に示す波形Vftに畳み込み波形fcを畳み込んだ波形Vftcは、波形Vftに畳み込み波形fcを畳み込んだ状態を概念的に示している。
このように波形Vftに畳み込み波形fcを畳み込むと、波形Vftは部分的に自然界ではあり得ない状態の人工的な波形となる。コンテンツ信号に重畳される特徴成分は、自然界ではあり得ない人工的に組み込まれた波形成分とするのが好適である。
図7は、離散フーリエ変換部123より出力された第2の変換信号の全体的な周波数に畳み込み波形fcを畳み込む状態を概念的に示している。図7に示すように、畳み込み演算部124は、第2の変換信号が16ms経過するごとに、4msの畳み込み波形fcを畳み込む。畳み込み演算部124は、選択された周波数帯域に畳み込み波形fcを畳み込んでもよいし、全周波数帯域に畳み込み波形fcを畳み込んでもよい。
このように、コンテンツ信号補正部120は、音声信号の一部または全ての周波数帯域に、所定の時間間隔で特定の特徴成分を重畳する。特徴成分を重畳する時間は、人が音素を認識する時間よりも十分に短い時間とするのがよく、特徴成分を重畳する間隔は、人が音素を認識する時間よりも十分に長い時間とするのがよい。時間間隔は等間隔でなくてもよいが、等間隔とする方がよい。特徴成分が所定の時間間隔で重畳されていれば人が音声信号を聴いたときに不自然に感じにくく、音声解析部221による解析も容易となる。
図1において、音声出力部14より出力される音声V14は、図6及び図7に示すように、所定の時間間隔で畳み込み波形fcが畳み込まれて、人工的な波形成分が特徴成分として重畳された音声となる。
音声解析部221は、音声入力部21より出力された音声信号を解析して、音声信号に自然界ではあり得ない人工的な波形成分が重畳されていなければ、インフォテインメントシステム10より出力された音声V14であると解析する。
ところで、音声認識部222は、隠れマルコフモデルと称される最尤推定の処理を用いて音声入力部21に入力された音声を認識する。上記のように、乗員30は上述した特徴成分が重畳された音声V14を聞いても不自然に感じることはほとんどない。しかしながら、音声認識部222が仮に音声V14を認識したとすると、音声V14を正しく認識するとは限らず、音声V14を正しく認識しないことがある。
よって、音声解析部221が音声信号に特徴成分が重畳されていると解析されたときに、制御部224が、音声認識処理を実行させないよう音声認識部222を制御するのがよい。但し、上記のように、音声認識部222が音声認識処理を実行し、制御部224が、認識した音声が示す指示内容に応答しないように応答指示部223を制御してもよい。制御部224は、音声認識部222から供給された指示内容に応答しないように応答指示部223を制御する場合には、一部の言葉のみに応答しないように応答指示部223を制御してもよい。
なお、図1において、音声解析部221、音声認識部222、応答指示部223、制御部224を別構成として記載したが、少なくとも音声解析機能、音声認識機能、応答指示機能を有していればよく、これら複数の機能を1つのハードウェアに持たせてもよいし、複数のハードウェアに持たせてもよい。また、音声解析機能、音声認識機能、応答指示機能はソフトウェアプログラムにより実現され得る。
制御部224が、一部の言葉のみに応答しないように応答指示部223を制御する場合には、図8に示すように構成すればよい。図8に示すように、CPU22には、応答不可単語が記憶されている記憶部26が接続されている。記憶部26は不揮発性メモリで構成することができる。
記憶部26には、例えば、「購入」、「注文」、「発注」、及びその他の通信部24が外部のサーバ等と通信して、第三者に指示する単語が応答不可単語として記憶されている。制御部224が、費用の発生しない指示内容については応答を許可し、費用が発生する指示内容については応答を不許可とするために、費用が発生する可能性の高い指示内容に関連する単語(「購入」、「注文」、「発注」)のみを応答不可単語としてもよい。
制御部224は、単に音声発生部23に音声を発生させる指示内容については応答を許可してもよい。音声認識装置20がインフォテインメントシステム10に対して再生するコンテンツを指示できるように構成されている場合、制御部224は、インフォテインメントシステム10にコンテンツを再生するよう指示する指示内容については応答を許可してもよい。
図9に示すフローチャートを用いて、インフォテインメントシステム10で実行される処理を説明する。車両100のパワーがオンされると、インフォテインメントシステム10に電力が供給されて、インフォテインメントシステム10が動作を開始する。DSP12は、ステップS1にて、再生対象のコンテンツが選択されたか否かを判定する。コンテンツが選択されなければ(NO)、DSP12はステップS1の処理を繰り返す。
ステップS1にてコンテンツが選択されれば、DSP12は、ステップS2にて、選択されたコンテンツは人が発した声を含むコンテンツであるか否かを判定する。DSP12は、テレビジョン放送、ラジオ放送、光ディスクまたは半導体メモリに記録または記憶された楽曲を人の声を含むコンテンツとしてもよい。DSP12は、映像のみによって構成されたコンテンツを人間の声を含むコンテンツから除外してもよい。また、DSP12は、コンテンツの音声データを所定のアルゴリズムにより分析することで、人の音声が含まれるか否かを判定してもよい。
ここで、人の声を含むコンテンツとは、実際に人の声を含んでいるか否かを判定してもよいし、人の声を含む可能性があるコンテンツであるか否かを、例えば、光ディスク、テレビジョン放送、ラジオ放送等の人の声を含み得るメディアであることを、メディアの種別から判定してもよい。
ステップS2にて選択されたコンテンツが人の声を含むコンテンツであれば(YES)、DSP12は処理をステップS3に移行させる。選択されたコンテンツが人の声を含むコンテンツでなければ(NO)、DSP12は処理をステップS5に移行させる。DSP12は、ステップS3にて、周囲に音声認識装置20があるか否かを判定する。周囲に音声認識装置20があれば(YES)、DSP12は処理をステップS4に移行させる。周囲に音声認識装置20がなければ(NO)、DSP12は処理をステップS5に移行させる。ステップS3の処理は省略可能である。
DSP12は、ステップS4にて、コンテンツ信号に特徴成分を重畳して、コンテンツ信号を補正する。コンテンツ再生部13は、ステップS4からステップS5へと移行した場合には、ステップS5にて、特徴成分が重畳されたコンテンツ信号を再生する。コンテンツ再生部13は、ステップS2またはS3からステップS5へと移行した場合には、ステップS5にて、特徴成分が重畳されていないコンテンツ信号を再生する。
DSP12は、ステップS6にて、車両100のパワーオフにより、インフォテインメントシステム10への電力の供給が停止されたか否かを判定する。インフォテインメントシステム10への電力の供給が停止されなければ(NO)、DSP12はステップS1~S6の処理を繰り返し、電力の供給が停止されれば(YES)、DSP12は処理を終了させる。
図10に示すフローチャートを用いて、音声認識装置20で実行される処理を説明する。車両100のパワーがオンされると、音声認識装置20に電力が供給されて、音声認識装置20が動作を開始する。音声認識装置20にパワースイッチが設けられていて、音声認識装置20のパワースイッチの押下により音声認識装置20が動作を開始してもよい。
図10において、CPU22は、ステップS21にて、音声を検出したか否かを判定する。CPU22は、ステップS22にて、周囲にコンテンツ再生装置(インフォテインメントシステム10)があるか否かを判定する。周囲にインフォテインメントシステム10があれば(YES)、CPU22は処理をステップS23に移行させる。周囲にインフォテインメントシステム10がなければ(NO)、CPU22は処理をステップS25に移行させる。ステップS22の処理は省略可能である。
また、ステップS22にて、周囲にコンテンツ再生装置があると判定された場合、さらにコンテンツ再生装置が音声信号を含むコンテンツを再生しているか否かを判定し、コンテンツ再生装置が音声信号を含むコンテンツを再生している場合にのみ、CPU22は処理をステップS23に移行させるようにしてもよい。この場合、コンテンツ再生装置は近距離通信部15から音声信号を含むコンテンツを再生している旨を示すデータを送信し、音声認識装置20は、近距離通信部25によりこれを受信することにより、コンテンツ再生装置が音声信号を含むコンテンツを再生していることを判定することが可能である。
CPU22は、ステップS23にて、検出された音声信号に特徴成分が含まれているか否かを判定する。音声信号に特徴成分が含まれていれば(YES)、CPU22は、ステップS24にて、音声認識処理を実行させないよう音声認識部222を制御して、処理をステップS26に移行させる。音声信号に特徴成分が含まれていなければ(NO)、CPU22は処理をステップS25に移行させる。CPU22は、ステップS25にて、音声認識処理を実行させるよう音声認識部222を制御して、処理をステップS26に移行させる。
なお、ステップS23とステップS24の順番を入れ替えた処理も可能である。つまり、全ての音声信号に対する音声認識処理を実行させた後、音声信号に特徴成分が含まれているか否かを判定し、特徴成分が含まれている音声信号に対する音声認識処理により検出された指示内容は実行しないようにすることも可能である。
なお、図10においては、認識した音声に基づく指示内容に応じて応答動作部が動作する処理については図示を省略している。
CPU22は、ステップS26にて、車両100のパワーオフまたは音声認識装置20のパワースイッチの押下により、音声認識装置20への電力の供給が停止されたか否かを判定する。音声認識装置20への電力の供給が停止されなければ(NO)、CPU22は、ステップS21~S26の処理を繰り返し、電力の供給が停止されれば(YES)、CPU22は処理を終了させる。
図1に示す第1実施形態においては、インフォテインメントシステム10及び音声認識装置20が車両100内に配置されているが、インフォテインメントシステム10及び音声認識装置20が車両100以外の例えば家屋内に配置されていてもよい。また、音声認識装置20はインフォテインメントシステム10の中に含まれるよう構成することも可能である。
第1実施形態によれば、インフォテインメントシステム10は、再生するコンテンツ信号に人が発した音声と区別するための特徴成分を重畳することができる。第1実施形態によれば、音声認識装置20は、人が発した音声以外の音声に誤って応答することを防止することができる。
<第2実施形態>
図11において、図1と同一部分には同一符号を付し、その説明を省略する。図11において、家屋102内には、コンテンツ再生装置10Bと、音声認識装置20とが配置されている。コンテンツ配信者40は、テレビジョン放送局、ラジオ放送局、または、ストリーミングサーバである。コンテンツ配信者40はコンテンツ信号を送信する送信部である。コンテンツ配信者40は、図1に示すコンテンツ信号補正部120と同様のコンテンツ信号補正部400を備える。
コンテンツ再生装置10Bは、コンテンツ入力部11、コンテンツ再生部13、音声出力部14を備える。コンテンツ再生装置10Bは、コンテンツ配信者40によって配信されたコンテンツ信号を受信する受信部である。音声認識装置20は、図1における音声認識装置20と同じ構成である。
コンテンツ信号補正部400は、第1実施形態と同様に、コンテンツ信号に自然界ではあり得ない人工的な波形成分よりなる特徴成分を重畳する。コンテンツ再生装置10Bのコンテンツ入力部11は、特徴成分が重畳されたコンテンツ信号を受信する。コンテンツ再生装置10Bの音声出力部14は、特徴成分が重畳された音声V14を出力する。
音声認識装置20は、音声入力部21にユーザ31が発した音声V31が入力された場合には、音声認識処理を実行し、認識した指示内容に応答する。音声認識装置20は、音声入力部21にコンテンツ再生装置10Bより出力された音声V14が入力された場合には、音声認識処理を実行しないか、音声認識処理を実行しても指示内容に応答しない。
図11において、コンテンツ配信者40及びコンテンツ再生装置10Bは、音声信号に特定の特徴成分を重畳するよう補正したコンテンツ信号を送信する送信部と、コンテンツ信号を受信する受信部とを備えるコンテンツ送受信システムを構成している。
図11に示す第2実施形態においては、コンテンツ再生装置10B及び音声認識装置20が家屋102内に配置されているが、コンテンツ再生装置10B及び音声認識装置20が車両内に配置されていてもよい。
第2実施形態によれば、コンテンツ配信者40が特徴成分を重畳したコンテンツ信号を送信するので、コンテンツ再生装置10Bがコンテンツ信号補正部120を備える必要がない。第2実施形態によれば、音声認識装置20は、人が発した音声以外の音声に誤って応答することを防止することができる。
<第3実施形態>
図12において、図1または図11と同一部分には同一符号を付し、その説明を省略する。コンテンツ再生装置10Cは、光ディスク再生部11c、コンテンツ再生部13、音声出力部14を備える。光ディスク再生部11cはコンテンツ入力部に相当する。コンテンツ再生装置10Cは、図1と同様に車両100内に配置されているか、図11と同様に家屋102内に配置されている。図12においては、音声認識装置20の図示を省略している。
なお、図12において、コンテンツ再生装置10Cは、光ディスク媒体の再生を例示したが、これに限られず、半導体メモリ記憶媒体、磁気テープ記憶媒体等、光ディスク媒体以外の記憶媒体に記憶されたコンテンツを再生するコンテンツ再生装置であってもよく、受信部を備え、有線または無線ネットワーク経由で送信された、音声信号を含むコンテンツを再生するコンテンツ再生装置であってもよい。
ブルーレイディスク(BD)、DVD、またはコンパクトディスク(CD)等の光ディスク50には、特徴成分が重畳されたコンテンツ信号が記録されている。光ディスク再生部11cは、光ディスク50を再生する。
第3実施形態においては、音声認識装置20は、音声入力部21に乗員30が発した音声V30またはユーザ31が発した音声V31が入力された場合には、音声認識処理を実行し、認識した指示内容に応答する。音声認識装置20は、音声入力部21にコンテンツ再生装置10Cがより出力された光ディスク50の再生音である音声V14が入力された場合には、音声認識処理を実行しないか、音声認識処理を実行しても指示内容に応答しない。
第3実施形態によれば、光ディスク50に予め特徴成分が重畳されたコンテンツ信号が記録されているから、コンテンツ再生装置10Cがコンテンツ信号補正部120を備える必要がない。第3実施形態においても、音声認識装置20は、人が発した音声以外の音声に誤って応答することを防止することができる。
<第4実施形態>
図1に示す第1実施形態において、乗員30が発した音声V30とインフォテインメントシステム10より出力された音声V14とが混在して音声入力部21に入力されることがある。図13に示す第4実施形態においては、音声認識部222に、コンテンツ入力部11より入力されたコンテンツ信号が供給されている。音声認識部222は、音声入力部21が音声V30を収音した音声信号よりコンテンツ信号を除外して音声を認識する。
第4実施形態によれば、音声V30と音声V14とが混在して音声入力部21に入力された場合であっても音声V30を正しく認識することができる。音声認識部222にコンテンツ信号を供給する代わりに、インフォテインメントシステム10によって再生されるコンテンツ信号(または音声V14)が存在していることを示すフラグを音声認識部222に供給してもよい。
図11に示す第2実施形態、図12に示す第3実施形態においても、音声認識部222にコンテンツ信号またはフラグを音声認識部222に供給してもよい。
第4実施形態において、特許文献1に記載されているエコーキャンセラの技術を採用し、音声入力部21に音声V30が入力されるときに、音声V14をエコーキャンセラによって打ち消すように構成してもよい。
本発明は以上説明した第1~第4実施形態に限定されず、本発明の要旨を逸脱しない範囲において種々変更可能である。コンテンツ信号補正部120は、DSP12以外のCPU等のプロセッサで構成されていてもよいし、ハードウェアによる回路で構成されていてもよい。ハードウェとソフトウェアとの使い分けは任意である。プロセッサが、非一時的な記憶媒体に記憶されているコンピュータプログラムを実行することによって、コンテンツ信号補正部120として動作してもよい。
第1~第4実施形態においては、音声解析部221、音声認識部222、応答指示部223、制御部224をCPU22による機能的な構成として実現しているが、少なくとも一部がハードウェアによる回路で構成されていてもよく、ハードウェとソフトウェアとの使い分けは任意である。プロセッサが、非一時的な記憶媒体に記憶されているコンピュータプログラムを実行することによって、音声解析部221、音声認識部222、応答指示部223、制御部224として動作してもよい。
音声V14と音声V30(またはV31)とを特徴成分の有無で区別することに加えて、他の区別方法で区別してもよい。他の区別方法として、音声入力部21に音声V14が入来する方向と音声V30(またはV31)が入来する方向との差に基づいて、両者を区別してもよい。音声入力部21をステレオマイクロホンまたは2つ以上のモノラルマイクロホンとすれば、音が入来する方向を識別することが可能である。他の区別方法として、連続的な波形部分と不連続な波形部分との差を識別してもよい。
第1~第4実施形態においては、コンテンツ信号補正部120は、インフォテインメントシステム10が有することとしたが、車両100と通信を行い、車両100に対してコンテンツを配信するコンテンツ配信サーバにコンテンツ信号補正部120を設けてもよい。この場合、例えば、コンテンツ配信サーバにおいて、人の声を含むコンテンツに対して、コンテンツ信号補正部120により、コンテンツの音声信号に特定の特徴成分が重畳され、車両に対してコンテンツが配信される。コンテンツ配信サーバは、テレビジョン放送サーバ、ラジオ放送サーバ等であってもよい。
10 インフォテインメントシステム
10B,10C コンテンツ再生装置
11 コンテンツ入力部
11c 光ディスク再生部
12 デジタル・シグナル・プロセッサ
13 コンテンツ再生部
14 音声出力部
15,25 近距離通信部
20 音声認識装置
21 音声入力部
22 中央処理装置
23 音声発生部
24 通信部
26 記憶部
30 乗員
31 ユーザ
40 コンテンツ配信者
50 光ディスク
120,400 コンテンツ信号補正部
121,123 離散フーリエ変換部
122 対数変換部
124 畳み込み演算部
221 音声解析部
222 音声認識部
223 応答指示部
224 制御部
V14,V30,V31 音声

Claims (12)

  1. 音声信号が入力される音声入力部と、
    前記音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析する音声解析部と、
    前記音声入力部に入力された音声信号が示す音声を認識する音声認識部と、
    前記音声認識部が認識した音声に応答して動作する応答動作部に対して応答を指示する応答指示部と、
    前記音声解析部によって前記音声信号に特定の特徴成分が含まれていると解析されたとき、前記音声認識部による音声認識処理を実行させないよう前記音声認識部を制御するか、あるいは、前記音声認識部が認識した音声による指示内容を前記応答動作部に指示しないよう前記応答指示部を制御する制御部と、
    音声出力部を含むコンテンツ再生装置の存在を検知する再生装置検知部と、
    を備え、
    前記音声解析部は、前記再生装置検知部が前記コンテンツ再生装置の存在を検知したとき、前記音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析する
    音声認識装置。
  2. 音声信号が入力される音声入力部と、
    前記音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析する音声解析部と、
    前記音声入力部に入力された音声信号が示す音声を認識する音声認識部と、
    前記音声認識部が認識した音声に応答して動作する応答動作部に対して応答を指示する応答指示部と、
    前記音声解析部によって前記音声信号に特定の特徴成分が含まれていると解析されたとき、前記音声認識部による音声認識処理を実行させないよう前記音声認識部を制御するか、あるいは、前記音声認識部が認識した音声による指示内容を前記応答動作部に指示しないよう前記応答指示部を制御する制御部と、
    音声出力部を含むコンテンツ再生装置がコンテンツを再生していることを検知する再生装置検知部と、
    を備え、
    前記音声解析部は、前記再生装置検知部が、前記コンテンツ再生装置がコンテンツを再生していることを検知したとき、前記音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析する
    音声認識装置。
  3. 前記特定の特徴成分は、前記音声信号に重畳された、所定の時間間隔で人工的な波形成分である請求項1または2に記載の音声認識装置。
  4. 前記音声信号は、テレビジョン放送、ラジオ放送、またはインターネット放送のコンテンツに含まれる音声信号である請求項1または2に記載の音声認識装置。
  5. プロセッサが、
    音声出力部を含むコンテンツ再生装置が存在するか否かを検知し、
    前記コンテンツ再生装置の存在を検知したとき、音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析し、
    前記音声信号に特定の特徴成分が含まれていないと解析されたとき、前記音声入力部に入力された音声信号が示す音声の音声認識処理を実行して音声を認識し、
    認識した音声に応答して動作する応答動作部に対して応答を指示し、
    前記音声信号に前記特定の特徴成分が含まれていると解析されたとき、前記音声入力部に入力された音声信号が示す音声の音声認識処理を実行しないよう制御するか、あるいは、音声認識処理を実行して認識した音声による指示内容を前記応答動作部に指示しないように制御する
    音声認識装置の制御方法。
  6. プロセッサが、
    音声出力部を含むコンテンツ再生装置がコンテンツを再生しているか否かを検知し、
    前記コンテンツ再生装置がコンテンツを再生していることを検知したとき、音声入力部に入力された音声信号に特定の特徴成分が含まれているか否かを解析し、
    前記音声信号に特定の特徴成分が含まれていないと解析されたとき、前記音声入力部に入力された音声信号が示す音声の音声認識処理を実行して音声を認識し、
    認識した音声に応答して動作する応答動作部に対して応答を指示し、
    前記音声信号に前記特定の特徴成分が含まれていると解析されたとき、前記音声入力部に入力された音声信号が示す音声の音声認識処理を実行しないよう制御するか、あるいは、音声認識処理を実行して認識した音声による指示内容を前記応答動作部に指示しないように制御する
    音声認識装置の制御方法。
  7. 前記特定の特徴成分は、前記音声信号に重畳された、所定の時間間隔で人工的な波形成分である請求項5または6に記載の音声認識装置の制御方法。
  8. 少なくとも音声信号を含むコンテンツ信号を入力するコンテンツ入力部と、
    前記コンテンツ信号を再生するコンテンツ再生部と、
    前記コンテンツ信号の音声を出力する音声出力部と、
    音声認識装置の存在を検知する音声認識装置検知部と、
    前記音声認識装置検知部が前記音声認識装置の存在を検知したとき、前記音声認識装置が、前記音声出力部より出力される音声を人が発した音声と区別するために、前記音声信号に特定の特徴成分を含ませるよう前記音声信号を補正するコンテンツ信号補正部と、
    を備えるコンテンツ再生装置。
  9. 前記コンテンツ信号補正部は、前記音声信号の周波数のスペクトル包絡を求めて、前記スペクトル包絡に所定の時間間隔で前記特定の特徴成分として人工的な波形成分を畳み込むプロセッサである請求項8に記載のコンテンツ再生装置。
  10. 少なくとも、人が発した音声信号に特定の特徴成分を含ませるよう補正した音声信号を含むコンテンツ信号の音声を出力するコンテンツ出力装置と、
    前記コンテンツ出力装置の存在を検知すると、入力された音声信号に前記特定の特徴成分が含まれているか否かを解析し、前記入力された音声信号に前記特定の特徴成分が含まれていると解析したときに、音声認識部による音声認識処理を実行させないよう制御するか、あるいは、音声認識した音声による指示内容に応答しないよう制御する音声認識装置と、
    を備えるコンテンツ送受信システム。
  11. 少なくとも、人が発した音声信号に特定の特徴成分を含ませるよう補正した音声信号を含むコンテンツ信号の音声を出力するコンテンツ出力装置と、
    前記コンテンツ出力装置がコンテンツ信号の音声を出力していることを検知すると、入力された音声信号に前記特定の特徴成分が含まれているか否かを解析し、前記入力された音声信号に前記特定の特徴成分が含まれていると解析したときに、音声認識部による音声認識処理を実行させないよう制御するか、あるいは、音声認識した音声による指示内容に応答しないよう制御する音声認識装置と、
    を備えるコンテンツ送受信システム。
  12. 入力された音声信号に特定の特徴成分が含まれているか否かを解析し、前記入力された音声信号に前記特定の特徴成分が含まれていると解析したときに、音声認識部による音声認識処理を実行させないよう制御するか、あるいは、音声認識した音声による指示内容に応答しないよう制御する音声認識装置と、
    人が発した音声信号を含むコンテンツ信号を出力するときに、前記音声認識装置の存在を検知すると、前記コンテンツ信号に含まれている音声信号に特定の特徴成分を含ませるように補正して、補正した音声信号を含むコンテンツ信号を出力するコンテンツ出力装置と、
    を備えるコンテンツ送受信システム。
JP2020560616A 2018-12-18 2018-12-18 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム Active JP7105320B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/001565 WO2020128552A1 (ja) 2018-12-18 2018-12-18 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム

Publications (2)

Publication Number Publication Date
JPWO2020128552A1 JPWO2020128552A1 (ja) 2021-11-18
JP7105320B2 true JP7105320B2 (ja) 2022-07-22

Family

ID=71101782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560616A Active JP7105320B2 (ja) 2018-12-18 2018-12-18 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム

Country Status (5)

Country Link
US (1) US11922953B2 (ja)
EP (1) EP3901946B1 (ja)
JP (1) JP7105320B2 (ja)
CN (1) CN113168834A (ja)
WO (1) WO2020128552A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160499B2 (ja) 1995-08-29 2001-04-25 松下電工株式会社 分電盤
JP2003044069A (ja) 2001-07-19 2003-02-14 Samsung Electronics Co Ltd 音声認識による誤動作の防止及び音声認識率の向上が可能な電子機器及び方法
JP2005338454A (ja) 2004-05-27 2005-12-08 Toshiba Tec Corp 音声対話装置
JP4023400B2 (ja) 2003-06-27 2007-12-19 日産自動車株式会社 待ち合わせ場所算出装置
WO2014103099A1 (ja) 2012-12-28 2014-07-03 パナソニック株式会社 音声認識付き機器及び音声認識方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3180936A (en) * 1960-12-01 1965-04-27 Bell Telephone Labor Inc Apparatus for suppressing noise and distortion in communication signals
JPH03160499A (ja) * 1989-11-20 1991-07-10 Sanyo Electric Co Ltd 音声認識装置
JPH0423400U (ja) * 1990-06-20 1992-02-26
JP2602342Y2 (ja) 1993-09-30 2000-01-11 日本コロムビア株式会社 オーディオ装置
JPH08107375A (ja) 1994-10-06 1996-04-23 Hitachi Ltd 音響信号記録再生装置
JP3757638B2 (ja) * 1998-09-03 2006-03-22 セイコーエプソン株式会社 音声認識方法及び音声認識装置並びに音声認識処理プログラムを記録した記録媒体
US20080300866A1 (en) * 2006-05-31 2008-12-04 Motorola, Inc. Method and system for creation and use of a wideband vocoder database for bandwidth extension of voice
JP2012163692A (ja) * 2011-02-04 2012-08-30 Nec Corp 音声信号処理システム、音声信号処理方法および音声信号処理方法プログラム
US9225307B2 (en) * 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
JP2015148648A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 対話システム、発話制御装置、対話装置、発話制御方法、発話制御装置の制御プログラム、および、対話装置の制御プログラム
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
DK179588B1 (en) * 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
CA3075249A1 (en) 2017-09-15 2019-03-21 Sony Corporation Information processing apparatus and information processing method
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160499B2 (ja) 1995-08-29 2001-04-25 松下電工株式会社 分電盤
JP2003044069A (ja) 2001-07-19 2003-02-14 Samsung Electronics Co Ltd 音声認識による誤動作の防止及び音声認識率の向上が可能な電子機器及び方法
JP4023400B2 (ja) 2003-06-27 2007-12-19 日産自動車株式会社 待ち合わせ場所算出装置
JP2005338454A (ja) 2004-05-27 2005-12-08 Toshiba Tec Corp 音声対話装置
WO2014103099A1 (ja) 2012-12-28 2014-07-03 パナソニック株式会社 音声認識付き機器及び音声認識方法

Also Published As

Publication number Publication date
EP3901946A4 (en) 2021-12-29
JPWO2020128552A1 (ja) 2021-11-18
CN113168834A (zh) 2021-07-23
US20220044691A1 (en) 2022-02-10
US11922953B2 (en) 2024-03-05
WO2020128552A1 (ja) 2020-06-25
EP3901946B1 (en) 2023-12-27
EP3901946A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
US10484813B2 (en) Systems and methods for delivery of personalized audio
US10856081B2 (en) Spatially ducking audio produced through a beamforming loudspeaker array
US11569789B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
US8909537B2 (en) Device capable of playing music and method for controlling music playing in electronic device
US20090034750A1 (en) System and method to evaluate an audio configuration
WO2007007916A1 (en) Transmitting apparatus and method capable of generating a warning depending on sound types
US10510361B2 (en) Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user
CN113270082A (zh) 一种车载ktv控制方法及装置、以及车载智能网联终端
JP7105320B2 (ja) 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム
JP2023521441A (ja) 雑音特徴と音楽特徴と相関されるユーザアクションとの機械学習を使用する適応型音楽選択
JP2007086592A (ja) 音声出力装置および音声出力方法
US20100087954A1 (en) Robot and robot control system
JP2004235979A (ja) 音入出力装置および音入出力方法
JP2017092725A (ja) 発声機能を備えたロボット装置、発声制御方法およびプログラム
WO2024200071A1 (en) Apparatuses and methods for controlling a sound playback of a headphone
KR101060546B1 (ko) 사용자의 청력에 맞게 오디오 재생파일을 변환하는 장치
JP4985562B2 (ja) 録音装置、方法及びプログラム
CN115691456A (zh) 车载音频播放方法、装置、多媒体主机及存储介质
CN118741405A (zh) 音频信号混合重放方法、装置、电子设备和存储介质
CN110648686A (zh) 调整语音频率的方法及其声音播放装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20210531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7105320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150