JP7160095B2 - 属性識別装置、属性識別方法、およびプログラム - Google Patents

属性識別装置、属性識別方法、およびプログラム Download PDF

Info

Publication number
JP7160095B2
JP7160095B2 JP2020525165A JP2020525165A JP7160095B2 JP 7160095 B2 JP7160095 B2 JP 7160095B2 JP 2020525165 A JP2020525165 A JP 2020525165A JP 2020525165 A JP2020525165 A JP 2020525165A JP 7160095 B2 JP7160095 B2 JP 7160095B2
Authority
JP
Japan
Prior art keywords
attribute
attribute information
identifying
values
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020525165A
Other languages
English (en)
Other versions
JPWO2019244298A1 (ja
Inventor
仁 山本
孝文 越仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019244298A1 publication Critical patent/JPWO2019244298A1/ja
Application granted granted Critical
Publication of JP7160095B2 publication Critical patent/JP7160095B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、属性識別装置、属性識別方法、およびプログラム記録媒体に関する。
話者の発話から得られた音声信号等の生体信号から、人物の性別や年齢等の属性情報を推定する音声処理装置が知られている。
この種の音声処理装置は、人物の属性情報を推定する際に、属性情報を離散値として推定する場合と、属性情報を連続値として推定する場合がある。
特許文献１には、顔画像信号から人物の属性として年齢を推定する技術が記載されている。特許文献１に記載の年齢推定技術は、まず、顔画像信号から年齢を離散値として推定し、かつ、年齢を連続値として推定する。そして、特許文献１に記載の年齢推定技術は、上記の離散値および連続値の推定結果を統合することにより最終的な推定値を算出する。
特許第４２７３３５９号公報
Najim Dehak, Patrick Kenny, Reda Dehak, Pierre Dumouchel, Pierre Ouellet著、 "Front-End Factor Analysis for Speaker Verification"、IEEE Transaction on Audio, Speech and Language Processing、 第19巻、第4号、p.788-798、2011年
しかしながら、特許文献１に記載の技術には、人物の属性の識別精度が十分でないという課題がある。
特許文献１に記載の技術は、顔画像信号から人物の属性として年齢を推定する際に、離散値である第一の推定値と、連続値である第二の推定値をあらかじめ設計されたルールに基づいて統合して、最終的な推定値を算出する。特許文献１に記載の技術は、第一の推定値と第二の推定値を独立に求める。このため、第一の推定値と第二の推定値が大きく異なる場合があり、その場合には統合後も二つの推定値が有望となり一つの推定値に絞り込むことが難しい。したがって、年齢の識別精度を損なうおそれがある。
本発明は、上記問題に鑑みてなされたものであり、その目的は、人物の属性識別の精度をより高めた属性識別装置、属性識別方法、およびプログラム記録媒体を提供することにある。
本発明の一態様にかかる属性識別装置は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段と、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段とを備える。
本発明の一態様にかかる属性識別方法は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別し、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する。
本発明の一態様にかかるプログラム記録媒体は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する処理と、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する処理とを、コンピュータに実行させるプログラムを記録する。
本発明によれば、人物の属性識別の精度をより高めた属性識別装置、属性識別方法、およびプログラム記録媒体を提供することができる。
本発明の各実施形態における装置を実現するコンピュータ装置のハードウェア構成を示すブロック図である。 本発明の第１の実施形態における音声処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態における音声処理装置の第一の属性識別部が出力する第一の属性情報の一例について説明する図である。 本発明の第１の実施形態における音声処理装置の第二の属性識別部の他の例を説明する図である。 本発明の第１の実施形態における音声処理装置の第一の属性識別部が出力する第一の属性情報の他の例について説明する図である。 本発明の第１の実施形態における音声処理装置の動作を示すフローチャートである。 最小構成の実施形態にかかる属性識別装置の機能構成を示すブロック図である。
以下、本発明の実施形態について、図面を参照して説明する。なお、実施形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、図面における矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
＜第１の実施形態＞
本発明の第１の実施形態および他の実施形態にかかる音声処理装置または属性識別装置を構成するハードウェアについて説明する。図１は、本発明の各実施形態における音声処理装置および音声処理方法を実現するコンピュータ装置１０のハードウェア構成を示すブロック図である。なお、本発明の各実施形態において、以下に示す音声処理装置の各構成要素は、機能単位のブロックを示している。音声処理装置の各構成要素は、例えば図１に示すようなコンピュータ装置１０とソフトウェアとの任意の組み合わせにより実現することができる。
図１に示すように、コンピュータ装置１０は、プロセッサ１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、記憶装置１４、入出力インタフェース１５およびバス１６を備える。
記憶装置１４は、プログラム１８を格納する。プロセッサ１１は、ＲＡＭ１２を用いて本音声処理装置にかかるプログラム１８を実行する。プログラム１８は、ＲＯＭ１３に記憶されていてもよい。また、プログラム１８は、記録媒体２０に記録され、ドライブ装置１７によって読み出されてもよいし、外部装置からネットワークを介して送信されてもよい。
入出力インタフェース１５は、周辺機器（キーボード、マウス、表示装置など）１９とデータをやり取りする。入出力インタフェース１５は、データを取得または出力する手段として機能することができる。バス１６は、各構成要素を接続する。
なお、音声処理装置の実現方法には様々な変形例がある。例えば、音声処理装置の各部は、ハードウエア（専用回路）として実現することができる。また、音声処理装置は、複数の装置の組み合わせにより実現することができる。
本実施形態および他の実施形態の機能を実現するように各実施形態の構成を動作させるプログラム（より具体的には、図６等に示す処理をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
図２は、第１の実施形態における音声処理装置１００の機能構成を示すブロック図である。図２に示すように、音声処理装置１００は、音声区間検出部１１０、話者特徴算出部１２０、第一の属性識別部１３０および第二の属性識別部１４０を備える。
音声区間検出部１１０は、外部から音声信号を受け取る。音声信号は、話者の発声に基づく音声を表す信号である。なお、取得される信号は音声信号に限定されず、心拍、脳波、脈拍、呼吸、発汗などの生体現象によって体内から発せられる生体信号であってよい。
音声区間検出部１１０は、受け取った音声信号に含まれる音声区間を検出して区分化する。このとき、音声区間検出部１１０は、音声信号を一定の長さに区分化してもよいし、異なる長さに区分化してもよい。例えば、音声区間検出部１１０は、音声信号のうち音量が一定時間継続して所定値より小さい区間を無音と判定し、その区間の前後を、異なる音声区間と判定して、区分化してもよい。そして、音声区間検出部１１０は、区分化した結果（音声区間検出部１１０の処理結果）である区分化音声信号を話者特徴算出部１２０に出力する。ここで、音声信号の受け取りとは、例えば、外部の装置または他の処理装置からの音声信号の受信、または、他のプログラムからの音声信号処理の処理結果の引き渡しのことである。また、出力とは、例えば、外部の装置や他の処理装置への送信、または、他のプログラムへの音声区間検出部１１０の処理結果の引き渡しのことである。
話者特徴算出部１２０は、音声区間検出部１１０から区分化音声信号を受け取る。話者特徴算出部１２０は、受け取った区分化音声信号に基づいて、該区分化音声信号に含まれる個人性の特徴を表現する話者特徴を算出する。そして、話者特徴算出部１２０は、算出した話者特徴（話者特徴算出部１２０の処理結果）を出力する。
すなわち、話者特徴算出部１２０は、生体信号である、音声を表す音声信号に基づき、話者の個人性を表す話者特徴を算出する話者特徴算出手段を担う。以降、ある音声信号に対して算出された話者特徴を、該音声信号の話者特徴と呼ぶ。
話者特徴算出部１２０が算出する話者特徴の一例を説明する。話者特徴算出部１２０は、音声区間検出部１１０から受け取った区分化音声信号に基づいて、話者の声質の個人性を表すｉ－ｖｅｃｔｏｒに基づく特徴ベクトルを算出する。話者特徴算出部１２０は、話者の声質の個人性を表すｉ－ｖｅｃｔｏｒに基づく特徴ベクトルを算出する手法として、例えば、非特許文献１に記載の手法を用いてもよい。なお、話者特徴算出部１２０が算出する話者特徴は、区分化音声信号に対して所定の演算を施して算出できるベクトルであって、話者の個人性を表す特徴であればよく、ｉ－ｖｅｃｔｏｒはその一例である。
話者特徴算出部１２０が算出する話者特徴の他の一例を説明する。話者特徴算出部１２０は、音声区間検出部１１０から受け取った区分化音声信号に基づいて、音声信号の周波数分析結果を表す特徴ベクトルを算出する。話者特徴算出部１２０は、例えば、周波数分析結果を表す特徴として、高速フーリエ変換処理（ＦＦＴ）およびフィルタバンク処理によって得られた周波数フィルタバンク特徴や、さらに加えて離散コサイン変換処理を施して得られたメル周波数ケプストラム係数（ＭＦＣＣ）特徴などを算出する。
第一の属性識別部１３０は、話者特徴算出部１２０が出力した話者特徴を受け取る。第一の属性識別部１３０は、話者特徴を用いて、特定の属性情報を推定（識別）し、第一の属性情報として出力する。特定の属性情報とは、例えば、話者の年齢層を示す情報であってよい。第一の属性識別部１３０は、生体信号に基づき、生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段を担う。なお、識別には、属性の値の推定、属性の値の範囲に基づく分類などが含まれる。
第一の属性識別部１３０が第一の属性情報を推定する方法の一例について説明する。第一の属性識別部１３０は、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を識別器として用いてよい。第一の属性識別部１３０は、識別器として、ガウス混合分布などの確率モデル、線形判別分析またはサポートベクタマシンなどの識別モデルを利用してもよい。ここで、第一の属性識別部１３０の識別器は、音声信号に係る話者特徴と、話者の属性値が含まれるクラス（詳細は後述する）とが関連付けられた学習データを学習する。学習により、入力を話者特徴とし、出力をクラス（第一の属性情報）とする識別器が生成される。第一の属性識別部１３０は、例えば、ニューラルネットワークを識別器として用いるとき、入力の話者特徴と、ニューラルネットワークが有する重み係数に基づいて、出力する属性情報を算出する。
図３は、第一の属性識別部１３０が出力する第一の属性情報の一例について説明する図である。図３を参照して、第一の属性識別部１３０が出力する第一の属性情報の一例について説明する。第一の属性識別部１３０は、例えば、推定する属性の取りうる値の範囲に基づいてクラスを定め、各クラスをスコア化し、そのスコアを値とするベクトルを、第一の属性情報として出力する。ここで、スコアとは、識別器が算出した結果と、推定対象の属性情報との相関性を示す値である。すなわち、スコアは、識別器が算出した推定結果の確からしさを示す値である。
第一の属性識別部１３０は、推定する属性の取りうる値の範囲に基づいてクラスを定める。ここでは、例えば、推定する属性の取りうる値が、“１０”から“６０”の自然数であるとする。このとき、図３に示すように、第一の属性識別部１３０は、例えば、“１０”～“２０”を含むクラスをＣ１、“２１”～“４０”を含むクラスをＣ２、“４１”～“６０”を含むクラスをＣ３、とそれぞれ定める。そして、第一の属性識別部１３０は、識別器が算出した各クラスをスコア化し、各スコアを値に持つベクトルを、クラスＣ１～Ｃ３の推定値として出力する。図３に示すように、第一の属性識別部１３０は、例えば、クラスＣ１、Ｃ２およびＣ３のスコアを、それぞれ０．１、０．７および０．２と算出したとする。このとき、第一の属性識別部１３０は、例えば、上記のクラスＣ１～Ｃ３に対して、それぞれのクラスに対応するスコアを成分とするベクトルV１＝（０．１、０．７、０．２）を、推定値として出力する。第一の属性識別部１３０は、また、その推定値として、ひとつのクラスの番号を値に取るベクトルを出力してもよい。例えば、第一の属性識別部１３０は、ベクトル成分であるスコアのうち、スコアが最も高いクラスの番号を値に持つベクトルを、ベクトルV２=（２）のように出力してもよい。
第二の属性識別部１４０は、話者特徴算出部１２０が出力した話者特徴、および、第一の属性識別部１３０が出力した第一の属性情報を受け取る。第二の属性識別部１４０は、受け取った話者特徴および第一の属性情報を用いて、特定の属性情報（第二の属性情報）を推定（識別）する。特定の属性情報とは、例えば、話者の年齢を示す情報であってよい。第二の属性識別部１４０は、生体信号および第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段を担う。
第二の属性識別部１４０が特定の属性情報を推定する方法の一例について説明する。第二の属性識別部１４０は、例えば、ニューラルネットワークを識別器として用いてよい。
ここで、第二の属性識別部１４０の識別器は、音声信号に係る話者特徴と、話者の属性値と、属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴および当該話者特徴を入力した第一の属性識別部１３０の出力である第一の属性情報とし、出力を推定結果である属性情報（属性値）とする識別器が生成される。第二の属性識別部１４０は、ニューラルネットワークを識別器として用いるとき、話者特徴および第一の属性情報からなる入力と、ニューラルネットワークが有する重み係数に基づいて、出力する属性情報を算出する。
このとき、第二の属性識別部１４０は、推定結果を連続値として算出する。
上記のように、第二の属性識別部１４０は、第一の属性識別部１３０が出力した第一の属性情報を入力として用いることで、属性識別の精度を高めることができる。その理由は、第二の属性識別部１４０が、第一の属性識別部１３０により推定した結果を事前情報として用いて属性情報を推定することにより、事前情報なしに話者特徴のみから推定するよりも、真の値に近い値を出力する可能性が高いためである。特に、第二の属性識別部１４０が連続値を推定する場合には、学習の段階で残差を最小にしようと識別器が学習するため、全体的に性能を上げようとすると、推定値が全体の中央に偏りやすい。すなわち、真の値が平均値より低い場合には高めに推定されやすく、真の値が平均値よりも高い場合は低めに推定されやすい。これに対し、第一の属性識別部１３０により推定した属性値の範囲を事前情報として用いることにより、上記のような偏りを低減することができる。
ここで、第二の属性識別部１４０は、推定結果を離散値として算出してもよい。この場合、第二の属性識別部１４０は、第一の属性識別部１３０の定めるクラスよりも値の範囲が狭い（限定した）クラスを、離散値の推定結果として算出する。第二の属性識別部１４０の識別器は、入力された音声信号に係る話者特徴と、話者の属性値が含まれるクラスとが関連付けられた学習データを学習しておく。このとき、第二の属性識別部１４０は、第一の属性識別部１３０の定める属性値の範囲よりも狭い範囲で定めたクラスを学習データに使用する。上述した例の場合、第一の属性識別部１３０の定めるクラスＣ１～Ｃ３およびクラスＤ１～Ｄ３にそれぞれ含まれる値の範囲は“１０”である。よって、第二の属性識別部１４０は、“１０”よりも範囲が狭くなるよう、例えば、“５”刻みでクラスを定める。第二の属性識別部１４０は、このように定められたクラスを学習データに使用する。学習により、入力を話者特徴および当該話者特徴を入力した第一の属性識別部１３０の出力である第一の属性情報とし、出力を推定結果である属性情報（クラス）とする識別器が生成される。
上記モデルを使用した場合、第二の属性識別部１４０は、推定結果を離散値として算出する。
第二の属性識別部１４０は、また、多段構成を有してもよい。図４は、多段構成を有する第二の属性識別部１４０の例を説明する図である。図４に示すように、第二の属性識別部１４０は、判別分析を実行する処理部１４１と、回帰分析を実行する処理部１４２とを備えてもよい。
この場合、第二の属性識別部１４０は、処理部１４１において、離散値を仮推定値（仮属性情報）として算出し、その仮推定値を用いて、処理部１４２により連続値として推定値を算出する。
処理部１４１は、音声信号に係る話者特徴と、話者の属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴と当該話者特徴を入力した第一の属性識別部１３０の出力とし、出力をクラス（仮推定値）とする識別器が生成される。このとき、処理部１４１は、話者特徴と第一の属性情報とを用いて、上述のように例えば“５”刻みのクラスで示される仮推定値を算出する。
処理部１４２は、音声信号に係る話者特徴と、話者の属性値と、属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴、当該話者特徴を入力した処理部１４１の出力（仮推定値）および第一の属性情報とし、出力を推定結果である第二の属性情報（属性値）とする識別器が生成される。
処理部１４２は、話者特徴と第一の属性情報と処理部１４１の出力である仮推定値とを用いて、連続値の推定値を算出する。処理部１４２は、また、処理部１４１が算出した仮推定値を用いて、処理部１４１が定めた属性値の範囲よりも狭く定めたクラスを離散値として算出し、出力してもよい。
このように、第二の属性識別部１４０は、第一の属性識別部１３０が定めた属性値の範囲よりも、属性値の範囲を狭く（細かく）定めてクラスを推定する。あるいは、第二の属性識別部１４０は、属性値を連続値として推定する。したがって、第二の属性識別部１４０は、真の値を出力しうる機能を備えているといえる。また、音声処理装置１００は、複数の属性識別部を内包するが、第二の属性識別部１４０が最終的な推定値を算出するため、単一の推定値を算出することができる。 このように、音声処理装置１００において、第二の属性識別部１４０が、話者特徴に加え、第一の属性識別部１３０が出力した第一の属性情報を用いて属性情報を算出することにより、精度の高い属性推定結果を出力することができる。
なお、上記では、第一の属性識別部１３０は、１つの属性情報を出力することを説明したが、第一の属性識別部１３０は、複数の属性情報を出力してもよい。図５は、第一の属性識別部１３０が出力する第一の属性情報の他の例について説明する図である。図５に示すように、第一の属性識別部１３０は、推定する属性の取りうる値の範囲に基づいて、互いに異なる値の範囲を含むクラスを定めて、それぞれに関する推定値を算出し、出力してもよい。第一の属性識別部１３０は、例えば、上記のＣ１～Ｃ３とは異なる値の範囲として、図５に示すように、例えば、“１０”～“３０”を含むクラスをＤ１、”３１”～”５０”を含むクラスをＤ２、”５１”～”６０”を含むクラスをＤ３、とそれぞれ定める。第一の属性識別部１３０は、上記と同様に、クラスＤ１～Ｄ３をスコア化し、各スコアを値に持つベクトルを、ベクトルＶ１と共に出力する。図５に示す例では、第一の属性識別部１３０は、ベクトルV１＝（０．１、０．７、０．２）およびベクトルＶ３＝（０．５、０．４、０．１）を出力する。第一の属性識別部１３０が用いる識別器がニューラルネットワークである場合は、クラスＣ１～Ｃ３とクラスＤ１～Ｄ３にそれぞれ対応する２つの出力層を有する１つの識別器として、第一の属性識別部１３０を構成してもよい。
第一の属性識別部１３０は、このように、推定する属性の取りうる値の範囲の分け方が異なるように複数のクラスを定めることにより、属性識別の精度を高めることができる。例えば、属性の値が上記のクラスＣ１～Ｃ３のいずれに含まれるかを識別する場合において、”２１”～”４０”が含まれるクラスＣ２に着目する。この場合、Ｃ２に含まれる値の範囲の中央に近い”３０”とくらべて、境界に近い”２１”および”４０”の識別精度は低くなる。すなわち、“２１”はクラスＣ１とＣ２、“４０”はクラスＣ２とＣ３のいずれか正しくないクラスに識別される虞がある。そこで、“２１”および“４０”のような境界に近い値が中央に近くなるような値の範囲として、上述のように、別途クラスＤ１～Ｄ３を定める。すなわち、第一の属性識別部１３０は、属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別する。これにより、クラスＣ１～Ｃ３における境界に近い値も、中央に近い値と同様に識別できるので、識別精度を高めることができる。
以上述べたように、本実施形態にかかる音声処理装置１００において、第一の属性識別部１３０が、第一の属性情報として属性の値を粗く推定し、第二の属性識別部１４０が、第一の属性情報を用いて属性の値を詳細に推定する。これにより、本実施形態によれば、音声信号に対して、属性値を精度よく推定できる。すなわち、本実施形態にかかる音声処理装置１００は、人物の属性識別の精度を高めることができる。
＜第１の実施形態の動作＞
次に、第１の実施形態における音声処理装置１００の動作について、図６のフローチャートを用いて説明する。図６は、音声処理装置１００の動作の一例を示すフローチャートである。
音声処理装置１００は、外部から１つ以上の音声信号を受け取り、音声区間検出部１１０に提供する。音声区間検出部１１０は、受け取った音声信号を区分化し、区分化音声信号を話者特徴算出部１２０に出力する（ステップＳ１０１）。
話者特徴算出部１２０は、受け取った１つ以上の区分化音声信号それぞれについて、話者特徴を算出する（ステップＳ１０２）。
第一の属性識別部１３０は、受け取った１つ以上の話者特徴に基づいて、第一の属性情報を識別して出力する（ステップＳ１０３）。
第二の属性識別部１４０は、受け取った１つ以上の話者特徴、および、第一の属性情報に基づいて、第二の属性情報を識別して出力する（ステップＳ１０４）。音声処理装置１００は、外部からの音声信号の受理が終了したら、一連の処理を終了する。
＜第１の実施形態の効果＞
以上、説明したように、本実施形態にかかる音声処理装置１００によれば、人物の属性識別の精度を高めることができる。なぜならば、音声処理装置１００は、第一の属性識別部１３０が粗く推定した第一の属性情報を用いて、第二の属性識別部１４０がより詳細に属性情報を推定して出力するからである。
このように、本実施形態にかかる音声処理装置１００によれば、人物の属性識別を段階的に詳細化しながら算出するという計算方式により、属性のとりうる値によらず一定の精度で推定値を求めることができる。
第１の実施形態における音声処理装置１００は、音声信号から特定の属性情報を識別する属性識別装置の一例である。音声処理装置１００は、特定の属性情報が話者の年齢であるとき、年齢識別装置として利用可能である。属性情報は、話者の性別を示す情報、話者の年齢層を示す情報、話者の体格を示す情報であってもよい。
音声処理装置１００は、特定の属性情報が話者の発話時の感情を示す情報であるとき、感情識別装置として利用可能である。また、音声処理装置１００は、例えば蓄積された複数の音声信号に対して、感情特徴を用いて推定した感情情報に基づいて、特定の感情に対応する音声信号を特定する機構を備える音声検索装置または音声表示装置の一部としても利用可能である。感情情報には、例えば、感情表現を示す情報、発話者の性格を示す情報等が含まれる。
＜第２の実施形態＞
本発明の最小構成の実施形態について説明する。
図７は、本発明の最小構成の実施形態に係る属性識別装置１００の機能構成を示すブロック図である。図７に示すように、属性識別装置１００は、第一の属性識別部１３０および第二の属性識別部１４０を備える。
第一の属性識別部１３０は、生体信号に基づき、生体信号から特定の属性の値の範囲である第一の属性情報を識別する。第二の属性識別部１４０は、生体信号および第一の属性情報から特定の属性情報である第二の属性情報を識別する。
上記構成を採用することにより、第２の実施形態によれば、第二の属性識別部１４０は、第一の属性識別部１３０が出力した第一の属性情報を入力として用いるので、人物の属性識別の精度をより高めることができるという効果が得られる。
以上、実施形態を用いて本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。すなわち、本発明は、以上の実施形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明の一態様における音声処理装置等は、人物の属性識別の精度を高めることができるという効果を有しており、音声処理装置等および属性識別装置として有用である。
１００ 音声処理装置
１１０ 音声区間検出部
１２０ 話者特徴算出部
１３０ 第一の属性識別部
１４０ 第二の属性識別部

Claims (9)

  1. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段と、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段と
    を備え、
    前記第一の属性識別手段は、前記第一の属性情報として、
    属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別する、
    属性識別装置。
  2. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段と、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段と
    を備え、
    前記第二の属性識別手段は、
    前記生体信号および前記第一の属性情報から属性の値の範囲を仮属性情報として識別し、
    前記生体信号および前記仮属性情報から前記第二の属性情報を識別する、
    属性識別装置。
  3. 前記第二の属性識別手段は、前記第二の属性情報として、
    特定の属性の値、あるいは、前記第一の属性識別手段よりも限定した属性の値の範囲、の少なくともいずれかひとつを識別する
    請求項１または２に記載の属性識別装置。
  4. 前記生体信号である、音声を表す音声信号に基づき、話者の個人性を表す話者特徴を算出する話者特徴算出手段をさらに備え、
    前記第一の属性識別手段は、前記話者特徴から、前記第一の属性情報を識別し、
    前記第二の属性識別手段は、前記話者特徴および前記第一の属性情報から前記第二の属性情報を識別する
    請求項１ないし請求項３のいずれか１項に記載の属性識別装置。
  5. 前記特定の属性情報は、
    前記生体信号から識別される人物の年齢、性別、体格、感情および性格の少なくともいずれかひとつを表す情報である
    請求項１ないし請求項４のいずれか１項に記載の属性識別装置。
  6. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別し、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別し、
    前記第一の属性情報として、
    属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別する、
    属性識別方法。
  7. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別し、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する属性識別方法であって、
    前記第二の属性情報を識別する場合、
    前記生体信号および前記第一の属性情報から属性の値の範囲を仮属性情報として識別し、
    前記生体信号および前記仮属性情報から前記第二の属性情報を識別する、
    属性識別方法。
  8. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する処理と、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する処理と
    を、コンピュータに実行させ、
    前記第一の属性情報として、
    属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別させる、
    プログラム。
  9. 生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する処理と、
    前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する処理と
    を、コンピュータに実行させ、
    前記第二の属性情報を識別する処理において、
    前記生体信号および前記第一の属性情報から属性の値の範囲を仮属性情報として識別させ、
    前記生体信号および前記仮属性情報から前記第二の属性情報を識別させる、
    プログラム。
JP2020525165A 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム Active JP7160095B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023594 WO2019244298A1 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019244298A1 JPWO2019244298A1 (ja) 2021-07-08
JP7160095B2 true JP7160095B2 (ja) 2022-10-25

Family

ID=68982796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525165A Active JP7160095B2 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210264939A1 (ja)
EP (1) EP3813061A4 (ja)
JP (1) JP7160095B2 (ja)
WO (1) WO2019244298A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6893366B2 (ja) * 2019-09-30 2021-06-23 株式会社なごみテクノロジー 評価システム
US11699447B2 (en) * 2020-06-22 2023-07-11 Rovi Guides, Inc. Systems and methods for determining traits based on voice analysis
JPWO2023013081A1 (ja) * 2021-08-06 2023-02-09
CN114863939B (zh) * 2022-07-07 2022-09-13 四川大学 一种基于声音的大熊猫属性识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510534A (ja) 2006-11-16 2010-04-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声アクティビティ検出システム及び方法
JP2016177394A (ja) 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、年齢推定方法、及びプログラム
WO2017122258A1 (ja) 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
JP2018060445A (ja) 2016-10-07 2018-04-12 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955665A (ja) * 1995-08-14 1997-02-25 Toshiba Corp 音声符号化装置
JP4273359B2 (ja) 2007-09-28 2009-06-03 Ｎｅｃソフト株式会社 年齢推定システム及び年齢推定方法
US8160877B1 (en) * 2009-08-06 2012-04-17 Narus, Inc. Hierarchical real-time speaker recognition for biometric VoIP verification and targeting
TWI611374B (zh) * 2017-05-04 2018-01-11 Chunghwa Telecom Co Ltd 垂直式影像人流計數之性別與年齡辨識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510534A (ja) 2006-11-16 2010-04-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声アクティビティ検出システム及び方法
JP2016177394A (ja) 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、年齢推定方法、及びプログラム
WO2017122258A1 (ja) 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
JP2018060445A (ja) 2016-10-07 2018-04-12 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, Chih-Chang, et al.，Gendar-to-Age Hierarchical Recognition for Speech，Proc. 2011 IEEE 54th International Midwest Symposium on Circuits and Systems，KR，IEEE，2011年08月07日，pp.1-4
PONTES, Jhony K., et al.，A Flexible Hierarchical Approach for Facial Age Estimation based on Multiple Features，Pattern Recognition，英国，Elsevier Ltd.，2016年06月，Vol.54，pp.34-51

Also Published As

Publication number Publication date
EP3813061A4 (en) 2021-06-23
WO2019244298A1 (ja) 2019-12-26
US20210264939A1 (en) 2021-08-26
JPWO2019244298A1 (ja) 2021-07-08
EP3813061A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP7152514B2 (ja) 声紋識別方法、モデルトレーニング方法、サーバ、及びコンピュータプログラム
JP7160095B2 (ja) 属性識別装置、属性識別方法、およびプログラム
US10176811B2 (en) Neural network-based voiceprint information extraction method and apparatus
Mannepalli et al. A novel adaptive fractional deep belief networks for speaker emotion recognition
JP6303971B2 (ja) 話者交替検出装置、話者交替検出方法及び話者交替検出用コンピュータプログラム
US11875799B2 (en) Method and device for fusing voiceprint features, voice recognition method and system, and storage medium
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
US20160086622A1 (en) Speech processing device, speech processing method, and computer program product
US9947323B2 (en) Synthetic oversampling to enhance speaker identification or verification
WO2018051945A1 (ja) 音声処理装置、音声処理方法、および記録媒体
JP6845489B2 (ja) 音声処理装置、音声処理方法、および音声処理プログラム
CN113223536A (zh) 声纹识别方法、装置及终端设备
JP2017097188A (ja) 話者らしさ評価装置、話者識別装置、話者照合装置、話者らしさ評価方法、プログラム
JP6676009B2 (ja) 話者判定装置、話者判定情報生成方法、プログラム
Gosztolya Posterior-thresholding feature extraction for paralinguistic speech classification
JP2018081169A (ja) 話者属性推定システム、学習装置、推定装置、話者属性推定方法、およびプログラム
US9330662B2 (en) Pattern classifier device, pattern classifying method, computer program product, learning device, and learning method
JP6636374B2 (ja) 登録発話分割装置、話者らしさ評価装置、話者識別装置、登録発話分割方法、話者らしさ評価方法、プログラム
Pedro et al. Quantile Acoustic Vectors vs. MFCC Applied to Speaker Verification
JP7107377B2 (ja) 音声処理装置、音声処理方法、およびプログラム
Mishra et al. Spoken language change detection inspired by speaker change detection
Sekkate et al. A multiresolution-based fusion strategy for improving speech emotion recognition efficiency
Harvianto et al. Analysis and voice recognition In Indonesian language using MFCC and SVM method
Xing et al. Speaker verification normalization sequence kernel based on Gaussian mixture model super-vector and Bhattacharyya distance
Fennir et al. Acoustic scene classification for speaker diarization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7160095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151