JP5453107B2 - 音声セグメンテーションの方法および装置 - Google Patents

音声セグメンテーションの方法および装置 Download PDF

Info

Publication number
JP5453107B2
JP5453107B2 JP2009543317A JP2009543317A JP5453107B2 JP 5453107 B2 JP5453107 B2 JP 5453107B2 JP 2009543317 A JP2009543317 A JP 2009543317A JP 2009543317 A JP2009543317 A JP 2009543317A JP 5453107 B2 JP5453107 B2 JP 5453107B2
Authority
JP
Japan
Prior art keywords
output
voice
rule
low
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009543317A
Other languages
English (en)
Other versions
JP2010515085A (ja
Inventor
デュ、ロバート
タオ、イエ
ズー、ダレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2010515085A publication Critical patent/JP2010515085A/ja
Application granted granted Critical
Publication of JP5453107B2 publication Critical patent/JP5453107B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

音声セグメンテーションは、非構造化情報検索方法における一工程であって、非構造化情報を音声セグメントおよび非音声セグメントに分類し得る。音声セグメンテーションには、多岐にわたる方法が利用され得る。最も一般的な方法は、音声セグメントと非音声セグメントとを区別するメディアリソースから音声セグメントを手作業で抽出する方法である。
本明細書に記載する発明を添付図面において図示するが、これは例示を目的とするものであって本発明を限定するものではない。図示の便宜上、図面上の構成要素は必ずしも実寸に即したものとはなっていない。例えば、一部の構成要素の寸法は、分かりやすさを優先して、ほかの構成要素の寸法に対して強調されている場合がある。また、対応する構成要素または同様の構成要素を指し示す場合、複数の図面に渡って同じ参照符号を適宜繰り返している。
音声セグメンテーションシステムを備えるコンピューティングプラットフォームの実施形態を示す図である。
音声セグメンテーションシステムの実施形態を示す図である。
ファジールールの実施形態および当該ファジールールに基づいて音声セグメンテーションシステムがどのようにセグメントが音声であるか否かを決定するのかを示す図である。
音声セグメンテーションシステムが実行する音声セグメンテーション方法の実施形態を示す図である。
以下では、音声セグメンテーションの方法および装置に関する技術を説明する。以下の説明では、本発明を完全に理解して頂くべく、ロジック実装、疑似コード、オペランド特定手段、リソース分割/共有/複製実装、システム構成要素の種類および相対関係、およびロジック分割/統合の選択肢等、具体的且つ詳細な内容を数多く記載する。しかし、本発明はそういった具体的且つ詳細な記載を含まずとも実施し得る。また、制御構造、ゲートレベル回路、および完全なソフトウェア命令シーケンスについては、本発明をあいまいにすることを避けるべく、詳細な説明を省略している。当業者であれば、以下の記載に基づいて、過度の実験を行うことなく適切な機能を実装し得る。
本明細書で「一実施形態」、「実施形態」、「実施形態例」等の表現を用いる場合、説明されている実施形態は特定の特徴、構造または特性を含むことを指すが、実施形態全てがその特定の特徴、構造または特性を必ずしも含むわけではない。また、そのような表現は、必ずしも同じ実施形態に言及しているわけではない。さらに、特定の特徴、構造または特性が1つの実施形態に関連付けて説明されている場合、当該特徴、構造または特性をその他の実施形態に関連付けて実現することは、明示的に記載されているか否かに関わらず、当業者の知り得るところであると考えられたい。
本発明の実施形態は、ハードウェア、ファームウェア、ソフトウェアまたはこれらの任意の組み合わせにおいて実装され得る。本発明の実施形態は、1以上のプロセッサによって読み出されて実行される、機械可読媒体に格納されている命令として実装され得る。機械可読媒体は、機械(例えば、コンピューティングデバイス)によって読み出し可能な形式で情報を格納または送信するものであればどのような機構であってもよい。例えば、機械可読媒体としては、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス、電気伝播信号、光学伝播信号、音響伝播信号、またはその他の形式の伝播信号(例えば、搬送波、赤外線信号、デジタル信号等)がある。
音声セグメンテーションシステム121を備えるコンピューティングプラットフォーム10の実施形態を図1に示す。コンピューティングプラットフォームの例を挙げると、メインフレームコンピュータ、ミニコンピュータ、パーソナルコンピュータ、携帯可能コンピュータ、ノート型コンピュータ等、データを送受信および処理するデバイスがある。
コンピューティングプラットフォーム10は、1以上のプロセッサ11、メモリ12、チップセット13、I/Oデバイス14等を備えるとしてよい。1以上のプロセッサ11は、プロセッサバス等の1以上のバスを介して、さまざまな構成要素(例えば、メモリ12)に対して通信可能に結合されている。プロセッサ11は、コードを実行する処理コアを1以上有する集積回路(IC)として実装されるとしてよい。プロセッサ11の例を挙げると、Intel Corporation(米国、カリフォルニア州、サンタクラーラ)製の、Intel(登録商標)Core(商標)、Intel(登録商標)Celeron(商標)、Intel(登録商標)Pentium(登録商標)、Intel(登録商標)Xeon(商標)、Intel(登録商標)Itanium(商標)等のアーキテクチャを含み得る。
メモリ12は、プロセッサ11によって実行されるコードを格納するとしてよい。メモリ12の例を挙げると、以下に列挙する半導体デバイスのうち1つまたは2つ以上の組み合わせを含むとしてよい。例えば、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)デバイス、RAMBUSダイナミックランダムアクセスメモリ(RDRAM)デバイス、ダブルデータレート(DDR)メモリデバイス、スタティックランダムアクセスメモリ(SRAM)、およびフラッシュメモリデバイスである。
チップセット13は、プロセッサ11と、メモリ12と、I/Oデバイス14と、その他の構成要素との間において、1以上の通信経路を実現するとしてよい。チップセット13はさらに、上述の構成要素のそれぞれと通信するためのハブを有するとしてよい。例えば、チップセット13は、メモリコントローラハブ、入出力コントローラハブ、およびその他のハブを有するとしてよい。
I/Oデバイス14は、メディアデータ等のデータを、コンピューティングプラットフォーム10との間でやり取りするとしてよい。I/Oデバイス14の例としては、ネットワークカード、ブルートゥースデバイス、アンテナ等のデータ送受信デバイスが挙げられ得る。
図1に図示する実施形態によると、メモリ12はさらに、メディアリソース120、音声セグメンテーションシステム121、音声セグメント122および非音声セグメント123として実装されるコードを有するとしてよい。
メディアリソース120は、オーディオリソースおよびビデオリソースを含むとしてよい。メディアリソース120は、I/Oデバイス14、ディスクストレージ(不図示)、およびオーディオ/ビデオデバイス(不図示)等、さまざまな構成要素によって提供され得る。
音声セグメンテーションシステム121は、メディアリソース120を複数のメディアセグメントに分割して、メディアセグメントが音声セグメント122であるか非音声セグメント123であるかを決定し、メディアセグメントを音声セグメント122または非音声セグメント123として分類するとしてよい。音声セグメンテーションはさまざまな分野で利用され得る。例えば、音声分類技術および音声セグメンテーション技術は、オーディオ−テキストマッピングに利用され得る。この場合、音声セグメント122にはオーディオ−テキスト位置合わせ処理が施されて、音声セグメントにマッピングされるテキストが選択されるとしてよい。
音声セグメンテーションシステム121は、ファジー推論技術を用いて、音声セグメント122と非音声セグメント123とを区別するとしてよい。図2を参照しつつさらに詳細に説明する。
図2は、音声セグメンテーションシステム121の実施形態を示す図である。音声セグメンテーションシステム121は、ファジールール20、メディア分割ロジック21、入力変数抽出ロジック22、メンバーシップ関数トレーニングロジック23、ファジールール処理ロジック24、非ファジー化ロジック25、分類ロジック26等の音声セグメンテーション用構成要素を備えるとしてよい。
ファジールール20は、メディアリソース120の特性および音声データに関して事前に得られた知識等のさまざまな要素に基づいて決定される、1以上のファジールールを格納してよい。ファジールールは、メディアセグメントが音声であるか非音声であるかを決定するための言語学的なルールであってよく、IF−THEN(〜ならば・・・)形式等のさまざまな形を取るとしてよい。IF−THENルールは、前件部(IF)と後件部(THEN)とを含むとしてよい。前件部は、後件部を得るための条件を特定するとしてよい。
前件部は、メディアデータのさまざまな特性を指定する1以上の入力変数を含むとしてよい。例えば、入力変数は、高ゼロクロス率比(High Zero−Crossing Rate Ratio:HZCRR)、「低エネルギーフレーム」率(Percentage of "Low−Energy" Frames:LEFP)、スペクトル重心の分散(Variance of Spectral Centroid:SCV)、スペクトル変動の分散(Variance of Spectral Flux:SFV)、スペクトルロールオフポイントの分散(Variance of Spectral Roll−Off Point:SRPV)および4Hz変調エネルギー(4Hz)を含む複数の特徴から選択されるとしてよい。後件部は、出力変数を含むとしてよい。図2に示す実施形態によると、出力変数は音声可能性であってよい。
以下に、信号ノイズ比(SNR)が高い環境でメディアに利用されるファジールールの一例を説明する。
ルール1:LEFPが高いまたはSFVが低い場合には(IF)、音声可能性は音声とされる(THEN)。
ルール2:LEFPが低く且つHZCRRが高い場合には(IF)、音声可能性は非音声とされる(THEN)。
以下に、SNRが低い環境でメディアに利用されるファジールールの別の例を説明する。
ルール1:HZCRRが低い場合には(IF)、音声可能性は非音声とされる(THEN)。
ルール2:LEFPが高い場合には(IF)、音声可能性は音声とされる(THEN)。
ルール3:LEFPが低い場合には(IF)、音声可能性は非音声とされる(THEN)。
ルール4:SCVが高く、且つ、SFVが高く、且つ、SRPVが高い場合には(IF)、音声可能性は音声とされる(THEN)。
ルール5:SCVが低く、且つ、SFVが低く、且つ、SRPVが低い場合には(IF)、音声可能性は非音声とされる(THEN)。
ルール6:4Hzが非常に高い場合には(IF)、音声可能性は音声とされる(THEN)。
ルール7:4Hzが低い場合には(IF)、音声可能性は非音声とされる(THEN)。
ルールの各ステートメントは、ステートメントにおける部分的なメンバーシップの可能性を認めるとしてもよい。つまり、ルールの各ステートメントは、入力変数または出力変数がメンバーシップにどれくらいの度合で属するかの問題であってよい。上述したルールによると、各入力変数は、「低い」および「高い」として定義されている2つのメンバーシップ関数を採用するとしてよい。出力変数は「音声」および「非音声」として定義されている2つのメンバーシップ関数を採用するとしてよい。ファジールールは、複数の異なる入力変数を複数の異なるメンバーシップ関数に対応付けているものと考えられたい。例えば、入力変数LEFPは「中程度」メンバーシップ関数および「低い」メンバーシップ関数を採用する一方、入力変数SFVは「高い」メンバーシップ関数および「中程度」メンバーシップ関数を採用するとしてよい。
メンバーシップ関数トレーニングロジック23は、各入力変数に対応付けられているメンバーシップ関数をトレーニングするとしてよい。メンバーシップ関数は、さまざまなパターンで形成されるとしてよい。一例を挙げると、最も簡潔なメンバーシップ関数は、直線、三角形または台形で形成され得る。2つのメンバーシップ関数は、ガウス分布曲線に基づいて構築されるとしてよい。例えば、1つの単純なガウス曲線と、2つの異なるガウス曲線を合成した1つの両側ガウス曲線とである。一般的な釣り鐘型メンバーシップ関数は、3つのパラメータによって特定される。
メディア分割ロジック21は、メディアリソース120を、複数のメディアセグメント、例えば、1秒ウィンドウにつき1つのメディアセグメントへと分割してよい。入力変数抽出ロジック22は、ファジールール20に基づいて、各メディアセグメントから入力変数のインスタンスを抽出するとしてよい。ファジールール処理ロジック24は、ファジールール20に基づいて、入力変数のインスタンス、入力変数に対応付けられているメンバーシップ関数、出力変数、および出力変数に対応付けられているメンバーシップ関数を処理して、出力変数(つまり、音声可能性)がメンバーシップ(つまり、音声または非音声)に属する可能性を表す完全ファジー結論を得るとしてよい。
非ファジー化ロジック25は、ファジールール処理ロジック24からのファジー結論を非ファジー化して、出力変数について確定数値を得るとしてよい。非ファジー化は、さまざまな方法を利用して行ってよい。例えば、重み付け重心方法を用いて、各ファジールールの出力の重み付け集計結果の重心を見つけるとしてもよい。このような重心は、出力変数(つまり、音声可能性)の確定数値を特定するとしてよい。
分類ロジック26は、各メディアセグメントに対する音声可能性の確定数値に基づいて、当該メディアセグメントを、音声セグメントまたは非音声セグメントとして、分類してよい。
図3は、ファジールール20の実施形態と、音声セグメンテーションシステム121がどのようにファジールールに基づいてセグメントが音声であるか否かを決定するのかを示す図である。同図に示すように、ファジールール20は2つのルールを含むとしてよい。
ルール1:LEFPが高い、または、SFVが低い場合(IF)、音声可能性は音声とされる(THEN)。
ルール2:LEFPが低く、且つ、HZCRRが高い場合(IF)、音声可能性は非音声とされる(THEN)。
まず、ファジールール処理ロジック24は、抽出された入力変数のインスタンスおよびメンバーシップ関数に基づいて、各ルールの各入力変数をファジー化するとしてよい。上述したように、ファジールールの各ステートメントは、各ステートメントにおける部分的なメンバーシップの可能性を認めるとしてよく、ステートメントの真とは度合の問題であってよい。例えば、「LEFPが高い」というステートメントは、LEFPが高いことが、全面的でなく部分的に、真であることを認めるとしてよい。LEFPが「高い」メンバーシップに属している度合は、0から1の間のメンバーシップ値によって示されるとしてよい。LEFPに対応付けられている「高い」メンバーシップ関数は、図3のブロックB00に示すように、LEFPのインスタンスを、対応する適切なメンバーシップ値に対してマッピングしているものであってよい。入力変数に対応付けられているメンバーシップ関数と抽出された入力変数のインスタンス(例えば、LEFP=0.7、HZCRR=0.8、SFV=0.1)とを利用してメンバーシップ値を得る処理は、「入力ファジー化」と呼ばれ得る。このため、図3に示すように、ルール1の入力変数「LEFP」は、「高い」メンバーシップ値について0.4へとファジー化され得る。同様に、ルール1の入力変数「SFV」は「低い」メンバーシップ値について0.8へとファジー化され、ルール2の入力変数「LEFP」は「低い」メンバーシップ値について0.1へとファジー化され、入力変数「HZCRR」は「高い」メンバーシップ値について0.5へとファジー化されるとしてよい。
続いて、ファジールール処理ロジック24は、各ルールのファジー化された入力を処理して、当該ルールについてファジー化出力を得るとしてよい。ルールの前件部が2つ以上の部分を含む場合、ファジー論理演算子(例えば、AND、OR、NOT)を用いて前件部の結果を表す値を得るとしてよい。例えば、ルール1は「LEFPが高い」および「SFVが低い」という2つの部分を含んでいる。ルール1はファジー論理演算子「OR」を用いて、ファジー化された入力の最大値を求める、つまり、ルール1の前件部の結果として、ファジー化された入力である0.4および0.8のうち最大値0.8を求めるとしてよい。ルール2は「LEFPが低い」および「HZCRRが高い」という2つの部分を含んでいる。ルール2はファジー論理演算子「AND」を用いて、ファジー化された入力の最小値を求める、つまり、ルール2の前件部の結果として、ファジー化された入力である0.1および0.5のうち最小値0.1を求めるとしてよい。
続いて、それぞれのルールについて、ファジールール処理ロジック24は、出力変数「音声可能性」に対応付けられているメンバーシップ関数とルールの前件部の結果とを用いて、音声可能性がメンバーシップ(つまり、音声または非音声)に属する一連の度合を示す一連のメンバーシップ値を求めてよい。ルール1について、ファジールール処理ロジック24は、含意(implication)法を適用して、音声可能性が「音声」メンバーシップに属する度合の最大値をルール1の前件部から得られた値、つまり0.8、に制限することによって、「音声」メンバーシップ関数を整形し直すとしてよい。図3のブロックB04は、ルール1について音声可能性が「音声」メンバーシップに属する度合を表す一連の値を示している。同様に、図3のブロックB14は、ルール2について音声可能性が「非音声」メンバーシップに属する度合を表す別の一連の値を示している。
続いて、非ファジー化ロジック25は、各ルールの出力を非ファジー化して、出力変数である「音声可能性」について非ファジー化値を求めてよい。各ルールの出力は、出力変数「音声可能性」がメンバーシップに属する度合を表す完全ファジー集合であってよい。出力の絶対値を取得する処理を「非ファジー化」と呼ぶ。非ファジー化は、さまざまな方法を用いて実行してよい。例えば、非ファジー化ロジック25は、前述した重み付け重心法を用いて、出力の絶対値を求めるとしてよい。
具体的に説明すると、非ファジー化ロジック25は、各ルールの各出力、例えば、図3のブロックB04に示すような度合を表す一連の値および図3のブロックB14に示すような度合を表す一連の値、に重みを割り当ててよい。例えば、非ファジー化ロジック25は、ルール1の出力およびルール2の出力に対して重み「1」を割り当てるとしてよい。続いて、非ファジー化ロジック25は、重み付けされた出力を集計して、出力値の範囲を画定する和集合を求めてよい。図3のブロックB20は、集計結果を示すとしてよい。最後に、非ファジー化ロジック25は、出力される「音声可能性」の絶対値として、集計結果の重心を特定するとしてよい。図3に示すように、音声可能性値は0.8であってよく、この値に基づいて音声セグメンテーションシステム121は、メディアセグメントが音声であるか非音声であるかを決定してよい。
図4は、音声セグメンテーションシステム121が実行する音声セグメンテーション方法の実施形態を示す図である。ブロック401において、メディア分割ロジック21が、メディアリソース120を複数のメディアセグメント、例えば、1秒ウィンドウにつき1つのメディアセグメントに分割するとしてよい。ブロック402において、ファジールール20は、メディアセグメントが音声であるか非音声であるかを決定する条件を特定する1以上のルールを含むとしてよい。ファジールールは、メディアリソース120の特性および音声データについて事前に得た知識に基づいて決定されるとしてよい。
ブロック403において、メンバーシップ関数トレーニングロジック23は、各ファジールールの各入力変数に対応付けられているメンバーシップ関数をトレーニングするとしてよい。メンバーシップ関数トレーニングロジック23はさらに、ファジールールの出力変数「音声可能性」に対応付けられているメンバーシップ関数をトレーニングするとしてよい。ブロック404において、入力変数抽出ロジック22は、各ファジールールの前件部に従って、各メディアセグメントから入力変数を抽出してよい。ブロック405において、ファジールール処理ロジック24は、抽出された入力変数のインスタンスと入力変数に対応付けられているメンバーシップ関数とを用いて、各ファジールールの各入力変数をファジー化してよい。
ブロック406において、ファジールール処理ロジック24は、前件部の結果を表す値を取得してよい。前件部に含まれる部分が1つの場合は、その部分からのファジー化入力が取得する値であってよい。前件部に含まれる部分が2つ以上の場合は、ファジールール処理ロジック24は、各部分からの各ファジー化入力についてファジー論理演算子、例えば、AND、ORまたはNOT等を用いてファジールールが指し示すように処理を行い、その結果の値を取得してよい。ブロック407において、ファジールール処理ロジック24は、含意法を適用して、各ファジールールの出力変数に対応付けられているメンバーシップ関数の一部分を切り捨てるとしてよい。切り捨て処理後のメンバーシップ関数は、出力変数がメンバーシップに属する度合を示す値の範囲を画定するとしてよい。
ブロック408では、非ファジー化ロジック25が各ファジールールの各出力に対して重みを割り当てて、重み付けされた出力を集計して、出力和集合を求めるとしてよい。ブロック409において、非ファジー化ロジック25は重心法を適用して、出力変数「音声可能性」の値として、出力和集合の重心を特定してよい。ブロック410において、分類ロジック26は、メディアセグメントが音声であるか非音声であるかを、音声可能性値に基づいて分類するとしてよい。
実施形態例を参照しつつ本発明の特徴を説明したが、上述の記載は本発明を限定するものと解釈されるべきではない。記載した実施形態例のさまざまな変形例は、上述以外の本発明の実施形態と共に、当業者には明らかであり、本発明の精神および範囲に含まれるものとする。

Claims (18)

  1. 音声セグメントと非音声セグメントとを区別するファジールールであって、前件部が、メディアデータの特性を示す入力変数および入力変数メンバーシップを含み、後件部が、前記メディアデータの音声可能性を示す出力変数および出力変数メンバーシップを含むファジールールを決定する段階と、
    セグメントから前記入力変数のインスタンスを抽出する段階と、
    前記入力変数メンバーシップに対応付けられている入力変数メンバーシップ関数および前記出力変数メンバーシップに対応付けられている出力変数メンバーシップ関数をトレーニングする段階と、
    前記入力変数の前記インスタンス、前記入力変数メンバーシップ関数、前記出力変数、および前記出力変数メンバーシップ関数を処理して、前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを決定する段階と
    を備え
    前記入力変数は、低エネルギーフレーム率(LEFP)、高ゼロクロス率比(HZCRR)、スペクトル重心の分散(SCV)、スペクトル変動の分散(SFV)、スペクトルロールオフポイントの分散(SRPV)、および、4Hz変調エネルギー(4Hz)を含む群から選択される少なくとも1つの変数を含み、
    信号ノイズ比(SNR)が高い環境で前記メディアデータに利用される前記ファジールールは、
    LEFPが高いか、または、SFVが低い場合には、前記音声可能性は音声とされることを記述する第1のルールと、
    LEFPが低く、且つ、HZCRRが高い場合には、前記音声可能性は非音声とされることを記述する第2のルールと
    を含み、
    前記SNRが低い環境で前記メディアデータに利用される前記ファジールールは、
    HZCRRが低い場合には、前記音声可能性は非音声とされることを記述している第1のルールと、
    LEFPが高い場合には、前記音声可能性は音声とされることを記述している第2のルールと、
    LEFPが低い場合には、前記音声可能性は非音声とされることを記述している第3のルールと、
    SCVが高く、且つ、SFVが高く、且つ、SRPVが高い場合には、前記音声可能性は音声とされることを記述している第4のルールと、
    SCVが低く、且つ、SFVが低く、SRPVが低い場合には、前記音声可能性は非音声とされることを記述している第5のルールと、
    4Hzが高い場合には、前記音声可能性は音声とされることを記述している第6のルールと、
    4Hzが低い場合には、前記音声可能性は非音声とされることを記述している第7のルールと
    を含む
    方法。
  2. 前記処理する段階はさらに、
    前記入力変数の前記インスタンスと前記入力変数メンバーシップ関数とに基づいて前記入力変数をファジー化して、前記入力変数が前記入力変数メンバーシップに属している第1の度合を示すファジー化入力を求める段階と、
    前記ファジー化入力に基づいて前記出力変数メンバーシップ関数を整形し直して、前記出力変数が前記出力変数メンバーシップに属している第2の度合のグループを示す出力集合を求める段階と、
    前記出力集合を非ファジー化して非ファジー化出力を求める段階と、
    前記非ファジー化出力に基づいて前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを分類する段階と
    を有する
    請求項1に記載の方法。
  3. 前記非ファジー化する段階はさらに、
    前記ファジールールが含むルールが1つの場合は、前記出力集合の重心を特定して前記非ファジー化出力を求める段階と、
    前記ファジールールが含むルールが複数の場合は、
    複数の前記ルールのそれぞれから得られた前記出力集合に複数の重みのそれぞれを乗算して、複数の重み付け出力集合のそれぞれを求める段階と、
    前記複数の重み付け出力集合を集計して出力和集合を求める段階と、
    前記出力和集合の重心を特定して前記非ファジー化出力を求める段階と
    を含む
    請求項2に記載の方法。
  4. 音声セグメントと非音声セグメントとを区別するファジールールであって、前件部が、メディアデータの特性を示す入力変数および入力変数メンバーシップを含み、後件部が、前記メディアデータの音声可能性を示す出力変数および出力変数メンバーシップを含むファジールールを決定する段階と、
    セグメントから前記入力変数のインスタンスを抽出する段階と、
    前記入力変数メンバーシップに対応付けられている入力変数メンバーシップ関数および前記出力変数メンバーシップに対応付けられている出力変数メンバーシップ関数をトレーニングする段階と、
    前記入力変数の前記インスタンス、前記入力変数メンバーシップ関数、前記出力変数、および前記出力変数メンバーシップ関数を処理して、前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを決定する段階と
    を備え、
    前記処理する段階はさらに、
    前記入力変数の前記インスタンスと前記入力変数メンバーシップ関数とに基づいて前記入力変数をファジー化して、前記入力変数が前記入力変数メンバーシップに属している第1の度合を示すファジー化入力を求める段階と、
    前記ファジー化入力に基づいて前記出力変数メンバーシップ関数を整形し直して、前記出力変数が前記出力変数メンバーシップに属している第2の度合のグループを示す出力集合を求める段階と、
    前記出力集合を非ファジー化して非ファジー化出力を求める段階と、
    前記非ファジー化出力に基づいて前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを分類する段階と
    を有し、
    前記非ファジー化する段階はさらに、
    前記ファジールールが含むルールが1つの場合は、前記出力集合の重心を特定して前記非ファジー化出力を求める段階と、
    前記ファジールールが含むルールが複数の場合は、
    複数の前記ルールのそれぞれから得られた前記出力集合に複数の重みのそれぞれを乗算して、複数の重み付け出力集合のそれぞれを求める段階と、
    前記複数の重み付け出力集合を集計して出力和集合を求める段階と、
    前記出力和集合の重心を特定して前記非ファジー化出力を求める段階と
    を含む
    方法。
  5. 前記入力変数は、低エネルギーフレーム率(LEFP)、高ゼロクロス率比(HZCRR)、スペクトル重心の分散(SCV)、スペクトル変動の分散(SFV)、スペクトルロールオフポイントの分散(SRPV)、および、4Hz変調エネルギー(4Hz)を含む群から選択される少なくとも1つの変数を含む
    請求項に記載の方法。
  6. 前記ファジールールは、
    LEFPが高いか、または、SFVが低い場合には、前記音声可能性は音声とされることを記述する第1のルールと、
    LEFPが低く、且つ、HZCRRが高い場合には、前記音声可能性は非音声とされることを記述する第2のルールと
    を含む
    請求項に記載の方法。
  7. 前記ファジールールは、
    HZCRRが低い場合には、前記音声可能性は非音声とされることを記述している第1のルールと、
    LEFPが高い場合には、前記音声可能性は音声とされることを記述している第2のルールと、
    LEFPが低い場合には、前記音声可能性は非音声とされることを記述している第3のルールと、
    SCVが高く、且つ、SFVが高く、且つ、SRPVが高い場合には、前記音声可能性は音声とされることを記述している第4のルールと、
    SCVが低く、且つ、SFVが低く、SRPVが低い場合には、前記音声可能性は非音声とされることを記述している第5のルールと、
    4Hzが高い場合には、前記音声可能性は音声とされることを記述している第6のルールと、
    4Hzが低い場合には、前記音声可能性は非音声とされることを記述している第7のルールと
    を含む
    請求項に記載の方法。
  8. 前記前件部は、前記入力変数が前記入力変数メンバーシップに属することを、第1の部分的度合で許容する
    請求項1から7のいずれか一項に記載の方法。
  9. 前記後件部は、前記出力変数が前記出力変数メンバーシップに属することを、第2の部分的度合で許容する
    請求項1から8のいずれか一項に記載の方法。
  10. コンピュータに、
    音声セグメントと非音声セグメントとを区別するファジールールであって、前件部が、メディアデータの特性を示す入力変数および入力変数メンバーシップを含み、後件部が、前記メディアデータの音声可能性を示す出力変数および出力変数メンバーシップを含むファジールールを決定する手順と、
    セグメントから前記入力変数のインスタンスを抽出する手順と、
    前記入力変数メンバーシップに対応付けられている入力変数メンバーシップ関数および前記出力変数メンバーシップに対応付けられている出力変数メンバーシップ関数をトレーニングする手順と、
    前記入力変数の前記インスタンス、前記入力変数メンバーシップ関数、前記出力変数、および前記出力変数メンバーシップ関数を処理して、前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを決定する手順と
    を実行させ
    前記入力変数は、低エネルギーフレーム率(LEFP)、高ゼロクロス率比(HZCRR)、スペクトル重心の分散(SCV)、スペクトル変動の分散(SFV)、スペクトルロールオフポイントの分散(SRPV)、および、4Hz変調エネルギー(4Hz)を含む群から選択される少なくとも1つの変数を含み、
    信号ノイズ(SNR)が高い環境で前記メディアデータに利用される前記ファジールールは、
    LEFPが高いか、または、SFVが低い場合には、前記音声可能性は音声とされることを記述する第1のルールと、
    LEFPが低く、且つ、HZCRRが高い場合には、前記音声可能性は非音声とされることを記述する第2のルールと
    を含み、
    前記SNRが低い環境で前記メディアデータに利用される前記ファジールールは、
    HZCRRが低い場合には、前記音声可能性は非音声とされることを記述している第1のルールと、
    LEFPが高い場合には、前記音声可能性は音声とされることを記述している第2のルールと、
    LEFPが低い場合には、前記音声可能性は非音声とされることを記述している第3のルールと、
    SCVが高く、且つ、SFVが高く、且つ、SRPVが高い場合には、前記音声可能性は音声とされることを記述している第4のルールと、
    SCVが低く、且つ、SFVが低く、SRPVが低い場合には、前記音声可能性は非音声とされることを記述している第5のルールと、
    4Hzが高い場合には、前記音声可能性は音声とされることを記述している第6のルールと、
    4Hzが低い場合には、前記音声可能性は非音声とされることを記述している第7のルールと
    を含む
    プログラム。
  11. 前記処理する手順は、
    前記入力変数の前記インスタンスと前記入力変数メンバーシップ関数とに基づいて前記入力変数をファジー化して、前記入力変数が前記入力変数メンバーシップに属している第1の度合を示すファジー化入力を求める手順と、
    前記ファジー化入力に基づいて前記出力変数メンバーシップ関数を整形し直して、前記出力変数が前記出力変数メンバーシップに属している第2の度合のグループを示す出力集合を求める手順と、
    非ファジー化出力を求めるべく、前記出力集合を非ファジー化する手順と、
    前記非ファジー化出力に基づいて前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを分類する手順と
    を含む
    請求項10に記載のプログラム。
  12. 前記非ファジー化する手順はさらに、
    前記ファジールールが含むルールが1つの場合に、前記出力集合の重心を特定して前記非ファジー化出力を求める手順と、
    前記ファジールールが含むルールが複数の場合に、複数の前記ルールのそれぞれから得られた前記出力集合に複数の重みのそれぞれを乗算して、複数の重み付け出力集合のそれぞれを求める手順と、
    前記複数の重み付け出力集合を集計して出力和集合を求める手順と、
    前記出力和集合の重心を特定して前記非ファジー化出力を求める手順と
    を含む
    請求項11に記載のプログラム。
  13. コンピュータに、
    音声セグメントと非音声セグメントとを区別するファジールールであって、前件部が、メディアデータの特性を示す入力変数および入力変数メンバーシップを含み、後件部が、前記メディアデータの音声可能性を示す出力変数および出力変数メンバーシップを含むファジールールを決定する手順と、
    セグメントから前記入力変数のインスタンスを抽出する手順と、
    前記入力変数メンバーシップに対応付けられている入力変数メンバーシップ関数および前記出力変数メンバーシップに対応付けられている出力変数メンバーシップ関数をトレーニングする手順と、
    前記入力変数の前記インスタンス、前記入力変数メンバーシップ関数、前記出力変数、および前記出力変数メンバーシップ関数を処理して、前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを決定する手順と
    を実行させ、
    前記処理する手順は、
    前記入力変数の前記インスタンスと前記入力変数メンバーシップ関数とに基づいて前記入力変数をファジー化して、前記入力変数が前記入力変数メンバーシップに属している第1の度合を示すファジー化入力を求める手順と、
    前記ファジー化入力に基づいて前記出力変数メンバーシップ関数を整形し直して、前記出力変数が前記出力変数メンバーシップに属している第2の度合のグループを示す出力集合を求める手順と、
    非ファジー化出力を求めるべく、前記出力集合を非ファジー化する手順と、
    前記非ファジー化出力に基づいて前記セグメントが前記音声セグメントであるか前記非音声セグメントであるかを分類する手順と
    を含み、
    前記非ファジー化する手順は、
    前記ファジールールが含むルールが1つの場合に、前記出力集合の重心を特定して前記非ファジー化出力を求める手順と、
    前記ファジールールが含むルールが複数の場合に、複数の前記ルールのそれぞれから得られた前記出力集合に複数の重みのそれぞれを乗算して、複数の重み付け出力集合のそれぞれを求める手順と、
    前記複数の重み付け出力集合を集計して出力和集合を求める手順と、
    前記出力和集合の重心を特定して前記非ファジー化出力を求める手順と
    を含む
    プログラム。
  14. 前記入力変数は、低エネルギーフレーム率(LEFP)、高ゼロクロス率比(HZCRR)、スペクトル重心の分散(SCV)、スペクトル変動の分散(SFV)、スペクトルロールオフポイントの分散(SRPV)、および、4Hz変調エネルギー(4Hz)を含む群から選択される少なくとも1つの変数を含む
    請求項13に記載のプログラム。
  15. 前記ファジールールは、
    LEFPが高いか、または、SPVが低い場合には、前記音声可能性は音声とされることを記述する第1のルールと、
    LEFPが低く、且つ、HZCRRが高い場合には、前記音声可能性は非音声とされることを記述する第2のルールと
    を含む
    請求項14に記載のプログラム。
  16. 前記ファジールールは、
    HZCRRが低い場合には、前記音声可能性は非音声とされることを記述している第1のルールと、
    LEFPが高い場合には、前記音声可能性は音声とされることを記述している第2のルールと、
    LEFPが低い場合には、前記音声可能性は非音声とされることを記述している第3のルールと、
    SCVが高く、且つ、SFVが高く、且つ、SRPVが高い場合には、前記音声可能性は音声とされることを記述している第4のルールと、
    SCVが低く、且つ、SFVが低く、SRPVが低い場合には、前記音声可能性は非音声とされることを記述している第5のルールと、
    4Hzが高い場合には、前記音声可能性は音声とされることを記述している第6のルールと、
    4Hzが低い場合には、前記音声可能性は非音声とされることを記述している第7のルールと
    を含む
    請求項14に記載のプログラム。
  17. 前記前件部は、前記入力変数が前記入力変数メンバーシップに属することを、第1の部分的度合で許容する
    請求項10から16のいずれか一項に記載のプログラム。
  18. 前記後件部は、前記出力変数が前記出力変数メンバーシップに属することを、第2の部分的度合で許容する
    請求項10から17のいずれか一項に記載のプログラム。
JP2009543317A 2006-12-27 2006-12-27 音声セグメンテーションの方法および装置 Expired - Fee Related JP5453107B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/003612 WO2008077281A1 (en) 2006-12-27 2006-12-27 Method and apparatus for speech segmentation

Publications (2)

Publication Number Publication Date
JP2010515085A JP2010515085A (ja) 2010-05-06
JP5453107B2 true JP5453107B2 (ja) 2014-03-26

Family

ID=39562073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543317A Expired - Fee Related JP5453107B2 (ja) 2006-12-27 2006-12-27 音声セグメンテーションの方法および装置

Country Status (6)

Country Link
US (2) US8442822B2 (ja)
EP (1) EP2100294A4 (ja)
JP (1) JP5453107B2 (ja)
KR (2) KR20120008088A (ja)
CN (1) CN101568957B (ja)
WO (1) WO2008077281A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5453107B2 (ja) * 2006-12-27 2014-03-26 インテル・コーポレーション 音声セグメンテーションの方法および装置
FR2946175B1 (fr) * 2009-05-29 2021-06-04 Voxler Procede pour detecter des paroles dans la voix et utilisation de ce procede dans un jeu de karaoke
US8712771B2 (en) * 2009-07-02 2014-04-29 Alon Konchitsky Automated difference recognition between speaking sounds and music
CN102915728B (zh) * 2011-08-01 2014-08-27 佳能株式会社 声音分段设备和方法以及说话者识别系统
WO2015017706A2 (en) * 2013-07-31 2015-02-05 Kadenze, Inc. Feature extraction and machine learning for evaluation of audio-type, media-rich coursework
US9792553B2 (en) * 2013-07-31 2017-10-17 Kadenze, Inc. Feature extraction and machine learning for evaluation of image- or video-type, media-rich coursework
CN109965764A (zh) * 2019-04-18 2019-07-05 科大讯飞股份有限公司 马桶控制方法和马桶

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4696040A (en) * 1983-10-13 1987-09-22 Texas Instruments Incorporated Speech analysis/synthesis system with energy normalization and silence suppression
US4937870A (en) * 1988-11-14 1990-06-26 American Telephone And Telegraph Company Speech recognition arrangement
US5673365A (en) * 1991-06-12 1997-09-30 Microchip Technology Incorporated Fuzzy microcontroller for complex nonlinear signal recognition
JP2797861B2 (ja) * 1992-09-30 1998-09-17 松下電器産業株式会社 音声検出方法および音声検出装置
JPH06119176A (ja) * 1992-10-06 1994-04-28 Matsushita Electric Ind Co Ltd ファジィ演算装置
US5459814A (en) * 1993-03-26 1995-10-17 Hughes Aircraft Company Voice activity detector for speech signals in variable background noise
US5841948A (en) * 1993-10-06 1998-11-24 Motorola, Inc. Defuzzifying method in fuzzy inference system
US5524176A (en) * 1993-10-19 1996-06-04 Daido Steel Co., Ltd. Fuzzy expert system learning network
AU2373695A (en) * 1994-05-03 1995-11-29 Board Of Regents, The University Of Texas System Apparatus and method for noninvasive doppler ultrasound-guided real-time control of tissue damage in thermal therapy
JP2759052B2 (ja) * 1994-05-27 1998-05-28 東洋エンジニアリング株式会社 尿素プラント合成管の液面制御装置及び液面制御方法
US5704200A (en) * 1995-11-06 1998-01-06 Control Concepts, Inc. Agricultural harvester ground tracking control system and method using fuzzy logic
DE19625294A1 (de) * 1996-06-25 1998-01-02 Daimler Benz Aerospace Ag Spracherkennungsverfahren und Anordnung zum Durchführen des Verfahrens
US6570991B1 (en) * 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
JP3017715B2 (ja) * 1997-10-31 2000-03-13 松下電器産業株式会社 音声再生装置
US6215115B1 (en) * 1998-11-12 2001-04-10 Raytheon Company Accurate target detection system for compensating detector background levels and changes in signal environments
JP2000339167A (ja) 1999-05-31 2000-12-08 Toshiba Mach Co Ltd ファジィ推論におけるメンバーシップ関数のチューニング方法
JP4438127B2 (ja) 1999-06-18 2010-03-24 ソニー株式会社 音声符号化装置及び方法、音声復号装置及び方法、並びに記録媒体
US6553342B1 (en) * 2000-02-02 2003-04-22 Motorola, Inc. Tone based speech recognition
JP2002116912A (ja) * 2000-10-06 2002-04-19 Fuji Electric Co Ltd ファジイ推論演算処理方法
US6873718B2 (en) * 2001-10-12 2005-03-29 Siemens Corporate Research, Inc. System and method for 3D statistical shape model for the left ventricle of the heart
US7716047B2 (en) * 2002-10-16 2010-05-11 Sony Corporation System and method for an automatic set-up of speech recognition engines
JP4682154B2 (ja) 2004-01-12 2011-05-11 ヴォイス シグナル テクノロジーズ インコーポレーティッド 自動音声認識チャンネルの正規化
US7003366B1 (en) * 2005-04-18 2006-02-21 Promos Technologies Inc. Diagnostic system and operating method for the same
US20080294433A1 (en) 2005-05-27 2008-11-27 Minerva Yeung Automatic Text-Speech Mapping Tool
CN1790482A (zh) * 2005-12-19 2006-06-21 危然 一种增强语音识别系统模板匹配精确度的方法
US20070183604A1 (en) * 2006-02-09 2007-08-09 St-Infonox Response to anomalous acoustic environments
TWI312982B (en) * 2006-05-22 2009-08-01 Nat Cheng Kung Universit Audio signal segmentation algorithm
JP5453107B2 (ja) 2006-12-27 2014-03-26 インテル・コーポレーション 音声セグメンテーションの方法および装置

Also Published As

Publication number Publication date
EP2100294A1 (en) 2009-09-16
CN101568957B (zh) 2012-05-02
JP2010515085A (ja) 2010-05-06
US8442822B2 (en) 2013-05-14
EP2100294A4 (en) 2011-09-28
US8775182B2 (en) 2014-07-08
US20100153109A1 (en) 2010-06-17
KR101140896B1 (ko) 2012-07-02
KR20120008088A (ko) 2012-01-25
US20130238328A1 (en) 2013-09-12
KR20090094106A (ko) 2009-09-03
CN101568957A (zh) 2009-10-28
WO2008077281A1 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
JP5453107B2 (ja) 音声セグメンテーションの方法および装置
WO2022088444A1 (zh) 一种面向多任务语言模型的元-知识微调方法及平台
CN111627458B (zh) 一种声源分离方法及设备
CN110111113B (zh) 一种异常交易节点的检测方法及装置
Jiang et al. An Improved Speech Segmentation and Clustering Algorithm Based on SOM and K‐Means
CN103077720B (zh) 一种说话人识别方法及系统
CN102201237B (zh) 基于模糊支持向量机的可靠性检测的情感说话人识别方法
CN115062678B (zh) 设备故障检测模型的训练方法、故障检测方法及装置
CN113032525A (zh) 虚假新闻检测方法、装置、电子设备以及存储介质
CN114528896A (zh) 模型训练、数据增强方法、装置、电子设备及存储介质
Waldekar et al. Two-level fusion-based acoustic scene classification
CN115112372A (zh) 轴承故障诊断方法、装置、电子设备及存储介质
CN115801374A (zh) 网络入侵数据分类方法、装置、电子设备及存储介质
Song Sentiment analysis of Japanese text and vocabulary learning based on natural language processing and SVM
CN113921041A (zh) 基于分组卷积注意力网络的录音设备识别方法及系统
CN117216249A (zh) 数据分类方法、装置、电子设备、介质及车辆
CN113744734A (zh) 一种语音唤醒方法、装置、电子设备及存储介质
Wu et al. Audio-based expansion learning for aerial target recognition
Nalini et al. Automatic Optimized Voice Based Gender Identification for Speech Recognition
CA2227679C (en) Speaker recognition device
CN113408664B (zh) 训练方法、分类方法、装置、电子设备以及存储介质
Sun et al. A method of speaker recognition for small-scale speakers based on one-versus-rest and neural network
CN111554273B (zh) 一种语音关键词识别中扩增语料的选取方法
Affek et al. Open-Set Speaker Identification Using Closed-Set Pretrained Embeddings
Zhao et al. An improved rolling bearing fault diagnosis method using DenseNet-BLSTM

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120427

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120530

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120606

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120629

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130122

AA91 Notification of revocation by ex officio

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20130219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130924

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Ref document number: 5453107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees