JP5772448B2 - 音声解析システムおよび音声解析装置 - Google Patents
音声解析システムおよび音声解析装置 Download PDFInfo
- Publication number
- JP5772448B2 JP5772448B2 JP2011211480A JP2011211480A JP5772448B2 JP 5772448 B2 JP5772448 B2 JP 5772448B2 JP 2011211480 A JP2011211480 A JP 2011211480A JP 2011211480 A JP2011211480 A JP 2011211480A JP 5772448 B2 JP5772448 B2 JP 5772448B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- unit
- emotion
- speaker
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 83
- 230000008451 emotion Effects 0.000 claims description 123
- 230000003340 mental effect Effects 0.000 claims description 114
- 230000005236 sound signal Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 230000006996 mental state Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 34
- 239000011295 pitch Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000002649 leather substitute Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000012209 synthetic fiber Substances 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
使用者に装着される端末装置と、
前記端末装置から情報を取得するホスト装置とを備え、
前記端末装置は、
第1音声取得手段と、
前記使用者の口からの音波伝搬経路の距離が前記第1音声取得手段とは異なる位置に設けられた第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が前記端末装置を装着した使用者の発話音声か、他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部とを備え、
前記ホスト装置は、
複数の前記端末装置から送信された前記発話情報を受信する受信部と、
前記受信部により受信された前記発話情報から、特定の会話に係る発話者ごとの発話情報を検出する会話情報検出部と、
特定の会話に係る前記発話情報から得られる各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする、音声解析システムである。
請求項2に記載の発明は、
前記ホスト装置の前記感情推定部は、前記特定の会話に係る各発話者の感情が、前記感情を表す指標に該当する確率を求めることを特徴とする、請求項1に記載の音声解析システムである。
請求項3に記載の発明は、
前記ホスト装置の前記出力部は、前記感情推定部により得られた、前記感情を表す指標に該当する確率を、当該感情推定部による推定結果として出力することを特徴とする、請求項2に記載の音声解析システムである。
請求項4に記載の発明は、
前記端末装置の前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の特徴量である音圧または高さに基づいて、前記精神活性度を推定することを特徴とする、請求項1乃至請求項3のいずれかに記載の音声解析システムである。
請求項5に記載の発明は、
前記端末装置の前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号における特徴量と、予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均との差異に基づいて、前記精神活性度を推定することを特徴とする、請求項4に記載の音声解析システムである。
請求項6に記載の発明は、
使用者に装着される端末装置と、
前記端末装置から情報を取得するホスト装置とを備え、
前記端末装置は、
第1音声取得手段と、
前記使用者の口からの音波伝搬経路の距離が前記第1音声取得手段とは異なる位置に設けられた第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が前記端末装置を装着した使用者の発話音声か、他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部とを備え、
前記ホスト装置は、
前記端末装置から送信された前記発話情報を受信する受信部と、
前記受信部により受信された前記発話情報から、特定の会話に係る前記使用者の発話情報を検出する会話情報検出部と、
特定の会話に係る前記発話情報から得られる各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする、音声解析システムである。
請求項7に記載の発明は、
発話音声の音声信号から得られる、発話者の精神状態を表す精神活性度の情報を取得する取得部と、
特定の会話に係る各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする音声解析装置である。
請求項8に記載の発明は、
前記感情推定部は、前記特定の会話に係る各発話者の感情が、前記感情を表す指標に該当する確率を求めることを特徴とする、請求項7に記載の音声解析装置である。
請求項9に記載の発明は、
前記出力部は、前記感情推定部により得られた、前記感情を表す指標に該当する確率を、当該感情推定部による推定結果として出力することを特徴とする、請求項8に記載の音声解析装置である。
請求項10に記載の発明は、
使用者の口からの距離が相異なる位置となるように使用者に装着される第1音声取得手段および第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が当該第1音声取得手段および当該第2音声取得手段を装着した使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報を外部装置へ送信する送信部と、
を備えることを特徴とする、音声解析装置である。
請求項11に記載の発明は、
前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の特徴量である音圧または高さに基づいて、前記精神活性度を推定することを特徴とする、請求項10に記載の音声解析装置である。
請求項12に記載の発明は、
前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号における特徴量と、予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均との差異に基づいて、前記精神活性度を推定することを特徴とする、請求項11に記載の音声解析装置である。
請求項13に記載の発明は、
前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、前記予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均値を更新することを特徴とする、請求項12に記載の音声解析装置である。
請求項2の発明によれば、会話の場面における発話者(会話参加者)の心理状態を、特定の感情に該当する確率として求めることができる。
請求項3の発明によれば、特定の感情に該当する確率として得られた発話者の心理状態の情報を出力することができる。
請求項4の発明によれば、発話者の心理状態を推定するために用いられる各発話者の精神活性度を推定することができる。
請求項5の発明によれば、発話者の精神活性度を、平常時の状態に対する差異として求めることができる。
請求項6の発明によれば、会話の場面における装置使用者の心理状態を推定することができる。
請求項7の発明によれば、会話の場面における発話者(会話参加者)の心理状態を推定することができる。
請求項8の発明によれば、会話の場面における発話者(会話参加者)の心理状態を、特定の感情に該当する確率として求めることができる。
請求項9の発明によれば、特定の感情に該当する確率として得られた発話者の心理状態の情報を出力することができる。
請求項10の発明によれば、発話者の心理状態を推定するために用いられる発話者の精神活性度を推定することができる。
請求項11の発明によれば、収録した音声の非言語情報に基づいて発話者の精神活性度を推定することができる。
請求項12の発明によれば、発話者の精神活性度を、平常時の状態に対する差異として求めることができる。
請求項13の発明によれば、収録される発話音声が増えるに伴い、平常時の状態の判断が安定する。
<システム構成例>
図1は、本実施形態による音声解析システムの構成例を示す図である。
図1に示すように、本実施形態のシステムは、端末装置10とホスト装置20とを備えて構成される。端末装置10とホスト装置20とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Wi−Fi(商標)(Wireless Fidelity)、Bluetooth(商標)、ZigBee(商標)、UWB(Ultra Wideband)等の既存の方式による回線を用いて良い。また、図示の例では、端末装置10が1台のみ記載されているが、詳しくは後述するように、端末装置10は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置10が用意される。以下、端末装置10を装着した使用者を装着者と呼ぶ。
図2は、端末装置10の構成例を示す図である。
上記のように、端末装置10は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置10は、図2に示すように、装置本体30と、装置本体30に接続された提げ紐40とを備えた構成とする。図示の構成において、使用者は、提げ紐40に首を通し、装置本体30を首から提げて装着する。
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置10に設けられた2つのマイクロフォン11、12により収録された音声の情報を用いて、端末装置10の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、収録音声の発話者に関して自他の別を識別する。また、本実施形態では、収録音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧(マイクロフォン11、12への入力音量)等の非言語情報である特徴量に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
図3に示す関係において、装着者の口(発声部位)である音源aと第1マイクロフォン11との間の距離をLa1、音源aと第2マイクロフォン12との間の距離をLa2とする。また、他者の口(発声部位)である音源bと第1マイクロフォン11との間の距離をLb1、音源bと第2マイクロフォン12との間の距離をLb2とする。この場合、次の関係が成り立つ。
La1>La2(La1≒1.5×La2〜4×La2)
Lb1≒La2
上述したように、音圧は、マイクロフォン11、12と音源との間の距離に応じて距離減衰する。図4において、距離La1の場合の音圧Ga1と距離La2の場合の音圧Ga2とを比較すると、音圧Ga2は、音圧Ga1の4倍程度となっている。一方、距離Lb1と距離Lb2とが近似するため、距離Lb1の場合の音圧Gb1と距離Lb2の場合の音圧Gb2とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、収録音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図4に示した例では、距離Lb1、Lb2を60cmとしたが、ここでは音圧Gb1と音圧Gb2とがほぼ等しくなることに意味があり、距離Lb1、Lb2は図示の値に限定されない。
図4を参照して説明したように、装着者自身の発話音声に関して、第2マイクロフォン12の音圧Ga2は、第1マイクロフォン11の音圧Ga1の数倍(例えば4倍程度)である。また、他者の発話音声に関して、第2マイクロフォン12の音圧Gb2は、第1マイクロフォン11の音圧Gb1とほぼ等しい(1倍程度)。そこで、本実施形態では、第2マイクロフォン12の音圧と第1マイクロフォン11の音圧との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図5に示す例では、閾値を「2」とし、音圧比Ga2/Ga1は閾値「2」を超えるので装着者自身の発話音声と判断され、音圧比Gb2/Gb1は閾値「2」よりも小さいので他者の発話音声と判断されている。
次に、本実施形態における発話者の精神活性度の推定方法について説明する。
本実施形態において、発話者の精神活性度は、各発話者による一連の(一定時間以上の無音区間を挟まずに続くひとかたまりの)発話ごとに第1マイクロフォン11または第2マイクロフォン12で取得した音声信号の特徴量(音声特徴量)を求め、発話ごとにおける音声特徴量の変化の度合いで表す。音声特徴量としては、上記したように、平均音圧、音圧変化、音圧分布、平均ピッチ(声の高さ)、ピッチ変化、ピッチ分布などが用いられる。これらの音声特徴量の演算方法としては、既存の周知技術を用いて良い。例えば、下記のようにして求めることができる。
・音圧変化:絶対値化した音圧グラフの山(ピーク)における最大値と最小値との差として求める。音圧グラフの山(ピーク)は、例えば音圧グラフの1次微分の正から負へのゼロ交点として求まる。
・音圧分布:音圧のヒストグラムを正規分布にフィッティングし、その際の標準偏差として求める。
・平均ピッチ:ピッチ(声の高さ、あるいは基本周波数F0)は、波形法、相関法、スペクトル法などで求められる。平均ピッチは、一連の発話における音声信号のピッチを加算し、その一連の発話が行われた時間で平均する。
・ピッチ変化:ピッチの最大値と最小値との差として求める。
・ピッチ分布:ピッチのヒストグラムを正規分布にフィッティングし、その際の標準偏差として求める。
M=Σ(αi×(Gi−Gi,ave)/Gi,ave)
図6は、本実施形態における端末装置10の動作を示すフローチャートである。
図6に示すように、端末装置10のマイクロフォン11、12が音声を取得すると、各マイクロフォン11、12から取得音声に応じた電気信号(音声信号)が第1増幅器13および第2増幅器14へ送られる(ステップ601)。第1増幅器13および第2増幅器14は、マイクロフォン11、12からの音声信号を取得すると、信号を増幅して音声解析部15へ送る(ステップ602)。
本実施形態のシステムでは、複数の端末装置10により上記のようにして得られた発話に関する情報(以下、発話情報)がホスト装置20に集められる。ホスト装置20は、複数の端末装置10から得られた情報のうちを用いて、システムの利用目的や利用態様等に応じて種々の解析を行う。以下、複数の装着者のコミュニケーションに関する情報を取得するシステムとして本実施形態を用いる例を説明する。
図7に示すように、端末装置10をそれぞれ装着した二人の装着者A、装着者Bが会話している場合を考える。このとき、装着者Aの端末装置10Aにおいて装着者の発話として認識される音声は、装着者Bの端末装置10Bでは他者の発話として認識される。反対に、端末装置10Bにおいて装着者の発話として認識される音声は、端末装置10Aでは他者の発話として認識される。
本適用例において、ホスト装置20は、端末装置10から取得した発話情報のうち、会話を行っている装着者の端末装置10からの発話情報(以下、会話情報)を検出する会話情報検出部201と、検出された会話情報を解析する会話情報解析部202と、感情推定部203とを備える。この会話情報検出部201、会話情報解析部202および感情推定部203は、データ解析部23の機能として実現される。
傾聴度=(他者の発話時間)÷(装着者自身の発話時間)
この評価基準は、同一の会話に係る会話情報であっても、各会話参加者の端末装置10から取得した発話情報ごとに異なるものとなる。
次に、上記のようなホスト装置20による解析処理の一つとして実現される、会話参加者の感情の推定について説明する。
上記の会話を特定する機能により、ホスト装置20のデータ解析部23は、複数の端末装置10から取得した発話情報の中から特定の会話に係る発話情報(会話情報)を抽出する。そして、データ解析部23の感情推定部203は、この会話情報に含まれる各発話者の精神活性度の情報に基づき、各会話者の感情を推定する。
(1)の方法で用いられる相関関係式は、何らかの物理原則に基づき導出されるのが理想的だが、感情に対して作成することは実際には困難である。したがって、現実的には、後述のルックアップテーブルの場合と同様の統計観測によって求められた離散実験点をベースに、近似式を作成して用いるのが妥当である。
(2)の方法で用いられるルックアップテーブルは、例えば、実際の会話の場面を数多く観測し、精神活性度の算出値(観測値)と、そのときの感情とを統計的に処理して作成される。ここで、観測時の感情の情報は、例えば、本人へのアンケートや第3者の観測による判断などの手段によって取得される。
図10において、相関関係式は、f(M1,M2)の相関面(プレーン)によって表現されている。ここで、M1は前発話者の精神活性度、M2は後発話者の精神活性度である。この場合、相関関係式に前発話者と後発話者の精神活性度の観測値を導入することにより、各発話者の感情の推定値が求まる。なお、図10には相関関係式を表す相関面のうち、前発話者の相関面の一例のみを示しているが、実際には、上述した感情を表現する指標ごとに、前発話者と後発話者の相関面が、それぞれ存在する。すなわち、
Ei,1=f1(M1,M2)
Ei,2=f2(M1,M2)
である。ここで、Ei,1を前発話者の感情指標とし、Ei,2を後発話者の感情指標とする。また、感情を表現する指標として上述した「喜」、「怒」、「哀」、「楽」を用いる場合、例えば、i=1〜4とし、E1を「喜」の推定確率、E2を「怒」の推定確率、E3を「哀」の推定確率、E4を「楽」の推定確率とする。
図11において、Ei,1およびEi,2(i:i=1〜4)は、上記の相関関係式を作る方法の場合と同様である。図11に示すテーブルでは、前発話者の精神活性度と後発話者の精神活性度が共に「−0.4以下」である場合のみ値が記載され、他の範囲の値は記載が省略されている。このルックアップテーブルを用いる場合には、二人の発話者の精神活性度をルックアップテーブルと比較することで、感情の推定値を求める。推定値を求める場合、テーブルにおける該当範囲のみを特定しても良いし、テーブルに登録されている値を用いて内挿や外挿を行い、推定値を求めても良い。
図12に示す例では、二人の発話者(A、B)が交互に発話し、発話者が切り替わった時点(発話者交代n−1、n、n+1)で、それぞれ感情を推定している。そして、各回の推定結果に重み(α,n−1)、(α,n)、(α,n+1)をそれぞれ掛けた後に、各推定値を加算して平均し、発話者交代nの時点での発話者(A、B)の最終的な推定結果を得ている。
次に、感情の推定処理の具体例を説明する。
この具体例では、音声特徴量として平均音圧を用い、ルックアップテーブルを作る方法によって感情の推定を行う。推定結果は、各感情の指標に該当する確率(推定確率)によって表す。また、この具体例では、二人の会話参加者による対話を解析対象とする。
統計処理のためのサンプルは、各会話参加者の精神活性度の絶対値がいずれも0.3以上(精神活性度大:0.3以上、または精神活性度小:−0.3以下)となった場面のみに注目して取得する。すなわち、会話参加者の二人とも平常時とは大きく異なる精神活性度を示す場合(興奮している場合やリラックスしている場合等)である。そのような場面における精神活性度の組み合わせは、次の4パターンとなる。
・パターン1 前発話者:精神活性度(大)、後発話者:精神活性度(大)
・パターン2 前発話者:精神活性度(大)、後発話者:精神活性度(小)
・パターン3 前発話者:精神活性度(小)、後発話者:精神活性度(大)
・パターン4 前発話者:精神活性度(小)、後発話者:精神活性度(小)
例えば、上記のパターン1に対応する図13(a)を参照すると、パターン1に該当する会話の場面において、前発話者と後発話者の両方が喜んでいる場合が40.0%、前発話者が喜び、後発話者が怒っている場合が3.3%、前発話者が喜び、後発話者が哀しんでいる場合が0%、前発話者が喜び、後発話者が楽しんでいる場合が6.7%の確率であったことがわかる。
図14は、ルックアップテーブルの例を示す図である。
図14に示すルックアップテーブルにおいて、会話参加者のいずれかの精神活性度の絶対値が0.3以下の部分(図示の表における白抜きの十字形の領域)の値は、内挿により求める。例えば、会話参加者の両者とも精神活性度が0の場合(平常時の精神活性度に相当)を、喜怒哀楽のいずれの感情に該当する確率も各25%で均等と仮定する。そして、その0点と、0.3以上のエリアの確率との内挿値を計算する。
図15は、第1の場面例における推定の例を示す図である。図15(a)は、会話参加者の精神活性度を示す。図15(b)は、発話者Aの感情の推定値(確率)を示し、図15(c)は、発話者Bの感情の推定値(確率)を示す。
Claims (13)
- 使用者に装着される端末装置と、
前記端末装置から情報を取得するホスト装置とを備え、
前記端末装置は、
第1音声取得手段と、
前記使用者の口からの音波伝搬経路の距離が前記第1音声取得手段とは異なる位置に設けられた第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が前記端末装置を装着した使用者の発話音声か、他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部とを備え、
前記ホスト装置は、
前記端末装置から送信された前記発話情報を受信する受信部と、
前記受信部により受信された前記発話情報から、特定の会話に係る発話者ごとの発話情報を検出する会話情報検出部と、
特定の会話に係る前記発話情報から得られる各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする、音声解析システム。 - 前記ホスト装置の前記感情推定部は、前記特定の会話に係る各発話者の感情が、前記感情を表す指標に該当する確率を求めることを特徴とする、請求項1に記載の音声解析システム。
- 前記ホスト装置の前記出力部は、前記感情推定部により得られた、前記感情を表す指標に該当する確率を、当該感情推定部による推定結果として出力することを特徴とする、請求項2に記載の音声解析システム。
- 前記端末装置の前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の特徴量である音圧または高さに基づいて、前記精神活性度を推定することを特徴とする、請求項1乃至請求項3のいずれかに記載の音声解析システム。
- 前記端末装置の前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号における特徴量と、予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均との差異に基づいて、前記精神活性度を推定することを特徴とする、請求項4に記載の音声解析システム。
- 使用者に装着される端末装置と、
前記端末装置から情報を取得するホスト装置とを備え、
前記端末装置は、
第1音声取得手段と、
前記使用者の口からの音波伝搬経路の距離が前記第1音声取得手段とは異なる位置に設けられた第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が前記端末装置を装着した使用者の発話音声か、他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部とを備え、
前記ホスト装置は、
前記端末装置から送信された前記発話情報を受信する受信部と、
前記受信部により受信された前記発話情報から、特定の会話に係る前記使用者の発話情報を検出する会話情報検出部と、
特定の会話に係る前記発話情報から得られる各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする、音声解析システム。 - 発話音声の音声信号から得られる、発話者の精神状態を表す精神活性度の情報を取得する取得部と、
特定の会話に係る各発話者の前記精神活性度の組み合わせに基づき、当該会話に係る各発話者の感情が、予め設定された感情を表す指標に該当するか否かを推定する感情推定部と、
前記感情推定部による推定結果を出力する出力部と、
を備えることを特徴とする音声解析装置。 - 前記感情推定部は、前記特定の会話に係る各発話者の感情が、前記感情を表す指標に該当する確率を求めることを特徴とする、請求項7に記載の音声解析装置。
- 前記出力部は、前記感情推定部により得られた、前記感情を表す指標に該当する確率を、当該感情推定部による推定結果として出力することを特徴とする、請求項8に記載の音声解析装置。
- 使用者の口からの音波伝搬経路の距離が相異なる位置となるように使用者に装着される第1音声取得手段および第2音声取得手段と、
前記第1音声取得手段により取得された音声の音声信号と前記第2音声取得手段により取得された音声の音声信号との比較結果に基づき、取得された音声が当該第1音声取得手段および当該第2音声取得手段を装着した使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、
前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、当該音声の発話者の精神状態を表す精神活性度を推定する精神活性度推定部と、
前記識別部による識別結果および前記精神活性度推定部による推定結果を含む前記音声信号に関する情報を外部装置へ送信する送信部と、
を備えることを特徴とする、音声解析装置。 - 前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の特徴量である音圧または高さに基づいて、前記精神活性度を推定することを特徴とする、請求項10に記載の音声解析装置。
- 前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号における特徴量と、予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均との差異に基づいて、前記精神活性度を推定することを特徴とする、請求項11に記載の音声解析装置。
- 前記精神活性度推定部は、前記第1音声取得手段および/または前記第2音声取得手段により取得された音声の音声信号に基づいて、前記予め定められた期間に当該第1音声取得手段および/または当該第2音声取得手段により取得された音声の音声信号における特徴量の平均値を更新することを特徴とする、請求項12に記載の音声解析装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211480A JP5772448B2 (ja) | 2011-09-27 | 2011-09-27 | 音声解析システムおよび音声解析装置 |
US13/371,135 US8892424B2 (en) | 2011-09-27 | 2012-02-10 | Audio analysis terminal and system for emotion estimation of a conversation that discriminates utterance of a user and another person |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211480A JP5772448B2 (ja) | 2011-09-27 | 2011-09-27 | 音声解析システムおよび音声解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013072979A JP2013072979A (ja) | 2013-04-22 |
JP5772448B2 true JP5772448B2 (ja) | 2015-09-02 |
Family
ID=47912246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011211480A Active JP5772448B2 (ja) | 2011-09-27 | 2011-09-27 | 音声解析システムおよび音声解析装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8892424B2 (ja) |
JP (1) | JP5772448B2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130282373A1 (en) | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
US9105042B2 (en) * | 2013-02-07 | 2015-08-11 | Verizon Patent And Licensing Inc. | Customer sentiment analysis using recorded conversation |
US9535899B2 (en) | 2013-02-20 | 2017-01-03 | International Business Machines Corporation | Automatic semantic rating and abstraction of literature |
US9311294B2 (en) * | 2013-03-15 | 2016-04-12 | International Business Machines Corporation | Enhanced answers in DeepQA system according to user preferences |
GB2513559B8 (en) * | 2013-04-22 | 2016-06-29 | Ge Aviat Systems Ltd | Unknown speaker identification system |
US10561361B2 (en) * | 2013-10-20 | 2020-02-18 | Massachusetts Institute Of Technology | Using correlation structure of speech dynamics to detect neurological changes |
JP2015184563A (ja) * | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
WO2016015687A1 (zh) * | 2014-07-31 | 2016-02-04 | 腾讯科技(深圳)有限公司 | 声纹验证方法及装置 |
JP6503559B2 (ja) * | 2014-10-20 | 2019-04-24 | ソニー株式会社 | 音声処理システム |
US11100557B2 (en) | 2014-11-04 | 2021-08-24 | International Business Machines Corporation | Travel itinerary recommendation engine using inferred interests and sentiments |
JP5940135B2 (ja) * | 2014-12-02 | 2016-06-29 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 話題提示方法、装置及びコンピュータ・プログラム。 |
US9535905B2 (en) * | 2014-12-12 | 2017-01-03 | International Business Machines Corporation | Statistical process control and analytics for translation supply chain operational management |
KR101583181B1 (ko) * | 2015-01-19 | 2016-01-06 | 주식회사 엔씨소프트 | 응답 스티커 추천방법 및 컴퓨터 프로그램 |
WO2016157642A1 (ja) * | 2015-03-27 | 2016-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10922365B2 (en) * | 2015-09-16 | 2021-02-16 | International Business Machines Corporation | Secure social connection via real-time biometrics and cognitive state comparison |
US9875081B2 (en) * | 2015-09-21 | 2018-01-23 | Amazon Technologies, Inc. | Device selection for providing a response |
CN105575404A (zh) * | 2016-01-25 | 2016-05-11 | 薛明博 | 一种基于语音识别的心理检测方法及系统 |
JP6306071B2 (ja) * | 2016-02-09 | 2018-04-04 | Pst株式会社 | 推定装置、推定プログラム、推定装置の作動方法および推定システム |
JP6521173B2 (ja) | 2016-03-30 | 2019-05-29 | 富士通株式会社 | 発話印象判定プログラム、発話印象判定方法及び発話印象判定装置 |
WO2017187712A1 (ja) * | 2016-04-26 | 2017-11-02 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
US10244113B2 (en) * | 2016-04-26 | 2019-03-26 | Fmr Llc | Determining customer service quality through digitized voice characteristic measurement and filtering |
KR102668438B1 (ko) * | 2016-12-26 | 2024-05-24 | 현대자동차주식회사 | 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 |
JP6766675B2 (ja) * | 2017-02-15 | 2020-10-14 | トヨタ自動車株式会社 | 音声対話装置 |
JP7073640B2 (ja) * | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
JP6891662B2 (ja) * | 2017-06-23 | 2021-06-18 | 富士通株式会社 | 音声評価プログラム、音声評価方法および音声評価装置 |
US10482904B1 (en) | 2017-08-15 | 2019-11-19 | Amazon Technologies, Inc. | Context driven device arbitration |
JP7103769B2 (ja) * | 2017-09-05 | 2022-07-20 | 京セラ株式会社 | 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム |
CN107895582A (zh) * | 2017-10-16 | 2018-04-10 | 中国电子科技集团公司第二十八研究所 | 面向多源信息领域的说话人自适应语音情感识别方法 |
US10620912B2 (en) | 2017-10-25 | 2020-04-14 | International Business Machines Corporation | Machine learning to determine and execute a user interface trace |
US10620911B2 (en) | 2017-10-25 | 2020-04-14 | International Business Machines Corporation | Machine learning to identify a user interface trace |
CN108134876A (zh) * | 2017-12-21 | 2018-06-08 | 广东欧珀移动通信有限公司 | 对话分析方法、装置、存储介质及移动终端 |
CN107945790B (zh) * | 2018-01-03 | 2021-01-26 | 京东方科技集团股份有限公司 | 一种情感识别方法和情感识别系统 |
EP3811245A4 (en) | 2018-06-19 | 2022-03-09 | Ellipsis Health, Inc. | MENTAL HEALTH ASSESSMENT SYSTEMS AND METHODS |
US20190385711A1 (en) | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
US10817246B2 (en) * | 2018-12-28 | 2020-10-27 | Baidu Usa Llc | Deactivating a display of a smart display device based on a sound-based mechanism |
US11854575B1 (en) * | 2019-09-30 | 2023-12-26 | Amazon Technologies, Inc. | System for presentation of sentiment data |
CN113314120B (zh) * | 2021-07-30 | 2021-12-28 | 深圳传音控股股份有限公司 | 处理方法、处理设备及存储介质 |
US20230377560A1 (en) * | 2022-05-18 | 2023-11-23 | Lemon Inc. | Speech tendency classification |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63260367A (ja) * | 1987-04-17 | 1988-10-27 | Matsushita Electric Ind Co Ltd | 携帯用ビデオカメラ |
JP3676969B2 (ja) * | 2000-09-13 | 2005-07-27 | 株式会社エイ・ジー・アイ | 感情検出方法及び感情検出装置ならびに記録媒体 |
EP1282113B1 (en) * | 2001-08-02 | 2005-01-12 | Sony International (Europe) GmbH | Method for detecting emotions from speech using speaker identification |
KR100580618B1 (ko) * | 2002-01-23 | 2006-05-16 | 삼성전자주식회사 | 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법 |
US6882971B2 (en) * | 2002-07-18 | 2005-04-19 | General Instrument Corporation | Method and apparatus for improving listener differentiation of talkers during a conference call |
US7844454B2 (en) * | 2003-03-18 | 2010-11-30 | Avaya Inc. | Apparatus and method for providing voice recognition for multiple speakers |
JP4085924B2 (ja) * | 2003-08-04 | 2008-05-14 | ソニー株式会社 | 音声処理装置 |
JP3968522B2 (ja) * | 2003-10-06 | 2007-08-29 | ソニー株式会社 | 記録装置、及び記録方法 |
JP4631014B2 (ja) | 2004-07-07 | 2011-02-16 | 学校法人東海大学 | 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム |
JP4456537B2 (ja) * | 2004-09-14 | 2010-04-28 | 本田技研工業株式会社 | 情報伝達装置 |
JP2007041988A (ja) * | 2005-08-05 | 2007-02-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US20080040110A1 (en) * | 2005-08-08 | 2008-02-14 | Nice Systems Ltd. | Apparatus and Methods for the Detection of Emotions in Audio Interactions |
JP4557919B2 (ja) * | 2006-03-29 | 2010-10-06 | 株式会社東芝 | 音声処理装置、音声処理方法および音声処理プログラム |
JP4704952B2 (ja) | 2006-05-01 | 2011-06-22 | 株式会社エイ・ジー・アイ | 心的状態判定装置、およびプログラム |
JP2008017299A (ja) * | 2006-07-07 | 2008-01-24 | Fuji Xerox Co Ltd | 無線端末ホルダおよび無線通信システム |
US20080047996A1 (en) * | 2006-07-27 | 2008-02-28 | Frederic Blouin | Intelligent personal carrier |
CN101506874B (zh) * | 2006-09-13 | 2011-12-07 | 日本电信电话株式会社 | 情感检测方法、情感检测装置 |
US8243902B2 (en) * | 2007-09-27 | 2012-08-14 | Siemens Enterprise Communications, Inc. | Method and apparatus for mapping of conference call participants using positional presence |
JP4530051B2 (ja) * | 2008-01-17 | 2010-08-25 | 船井電機株式会社 | 音声信号送受信装置 |
JP4972107B2 (ja) * | 2009-01-28 | 2012-07-11 | 日本電信電話株式会社 | 通話状態判定装置、通話状態判定方法、プログラム、記録媒体 |
JP5278952B2 (ja) * | 2009-03-09 | 2013-09-04 | 国立大学法人福井大学 | 乳幼児の感情診断装置及び方法 |
JP2010259691A (ja) | 2009-05-11 | 2010-11-18 | Panasonic Corp | ストレス測定装置 |
JP4906908B2 (ja) * | 2009-11-30 | 2012-03-28 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 目的音声抽出方法、目的音声抽出装置、及び目的音声抽出プログラム |
JP2013072978A (ja) * | 2011-09-27 | 2013-04-22 | Fuji Xerox Co Ltd | 音声解析装置および音声解析システム |
JP5772447B2 (ja) * | 2011-09-27 | 2015-09-02 | 富士ゼロックス株式会社 | 音声解析装置 |
JP5867066B2 (ja) * | 2011-12-26 | 2016-02-24 | 富士ゼロックス株式会社 | 音声解析装置 |
JP2013135325A (ja) * | 2011-12-26 | 2013-07-08 | Fuji Xerox Co Ltd | 音声解析装置 |
JP6031761B2 (ja) * | 2011-12-28 | 2016-11-24 | 富士ゼロックス株式会社 | 音声解析装置および音声解析システム |
JP2013142843A (ja) * | 2012-01-12 | 2013-07-22 | Fuji Xerox Co Ltd | 動作解析装置、音声取得装置、および、動作解析システム |
JP6031767B2 (ja) * | 2012-01-23 | 2016-11-24 | 富士ゼロックス株式会社 | 音声解析装置、音声解析システムおよびプログラム |
JP6003472B2 (ja) * | 2012-09-25 | 2016-10-05 | 富士ゼロックス株式会社 | 音声解析装置、音声解析システムおよびプログラム |
JP6003510B2 (ja) * | 2012-10-11 | 2016-10-05 | 富士ゼロックス株式会社 | 音声解析装置、音声解析システムおよびプログラム |
-
2011
- 2011-09-27 JP JP2011211480A patent/JP5772448B2/ja active Active
-
2012
- 2012-02-10 US US13/371,135 patent/US8892424B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013072979A (ja) | 2013-04-22 |
US20130080169A1 (en) | 2013-03-28 |
US8892424B2 (en) | 2014-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5772448B2 (ja) | 音声解析システムおよび音声解析装置 | |
JP5772447B2 (ja) | 音声解析装置 | |
JP6031761B2 (ja) | 音声解析装置および音声解析システム | |
JP5867066B2 (ja) | 音声解析装置 | |
WO2013040414A1 (en) | Mobile device context information using speech detection | |
JP2013135325A (ja) | 音声解析装置 | |
JP6003510B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP2013142843A (ja) | 動作解析装置、音声取得装置、および、動作解析システム | |
JP6160042B2 (ja) | 位置特定システム | |
JP5862318B2 (ja) | 音解析装置、音解析システムおよびプログラム | |
JP6191747B2 (ja) | 音声解析装置および音声解析システム | |
JP6007487B2 (ja) | 情報処理装置、情報処理システムおよびプログラム | |
JP6476938B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6031767B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
US9014395B2 (en) | Audio analysis apparatus and audio analysis system | |
JP6515591B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP2013140534A (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP5929810B2 (ja) | 音声解析システム、音声端末装置およびプログラム | |
JP2013164468A (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6051996B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6369022B2 (ja) | 信号解析装置、信号解析システムおよびプログラム | |
JP2014050048A (ja) | 音声解析装置 | |
JP6187112B2 (ja) | 音声解析装置、表示装置、音声解析システムおよびプログラム | |
JP2014048618A (ja) | 音声解析装置、音声解析システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5772448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |