JP5610197B2 - 検索装置、検索方法、及び、プログラム - Google Patents

検索装置、検索方法、及び、プログラム Download PDF

Info

Publication number
JP5610197B2
JP5610197B2 JP2010119767A JP2010119767A JP5610197B2 JP 5610197 B2 JP5610197 B2 JP 5610197B2 JP 2010119767 A JP2010119767 A JP 2010119767A JP 2010119767 A JP2010119767 A JP 2010119767A JP 5610197 B2 JP5610197 B2 JP 5610197B2
Authority
JP
Japan
Prior art keywords
search result
search
pronunciation
result
string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010119767A
Other languages
English (en)
Other versions
JP2011248020A (ja
JP2011248020A5 (ja
Inventor
山田　敬一
敬一 山田
等 本田
等 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010119767A priority Critical patent/JP5610197B2/ja
Priority to US13/110,338 priority patent/US8600752B2/en
Priority to CN2011101351232A priority patent/CN102262644A/zh
Publication of JP2011248020A publication Critical patent/JP2011248020A/ja
Publication of JP2011248020A5 publication Critical patent/JP2011248020A5/ja
Application granted granted Critical
Publication of JP5610197B2 publication Critical patent/JP5610197B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、検索装置、検索方法、及び、プログラムに関し、特に、例えば、音声検索において、柔軟な検索結果を得ることができるようにする検索装置、検索方法、及び、プログラムに関する。
ユーザから入力される音声である入力音声を用い、その音声に対応するテキスト等の単語列を検索する音声検索の方法としては、例えば、音声認識装置のみを用いる方法がある（例えば、特許文献１を参照）。
音声認識装置のみを用いる音声検索では、音声認識装置において、あらかじめ辞書に登録された単語（語彙）の並びを、音声認識結果の対象として、入力音声の音声認識が行われ、その音声認識結果が、入力音声に対応する単語列の検索の結果である検索結果単語列として出力される。
したがって、音声認識装置のみを用いる音声検索では、入力音声に対応する単語列の検索結果の対象となる単語列（以下、検索結果対象単語列ともいう）は、音声認識結果の対象である、辞書に登録された単語の並びである単語列（本明細書では、１つの単語を含む）だけであるため、ユーザの発話は、音声認識に用いられる辞書に登録された単語の並びに制限される。
そこで、近年においては、ボイスサーチ(Voice Search)と呼ばれる音声検索の方法が提案されている。
ボイスサーチでは、N-gram等の言語モデルを用いて、連続音声認識が行われ、その音声認識結果と、音声認識に用いられる辞書とは別に用意されたDB(Database)に登録されたテキストとのマッチング（DBに登録されたテキストからの、音声認識結果に対応するテキストのテキスト検索）が行われる。
そして、そのマッチングの結果に基づき、音声認識結果にマッチする最上位の、又は、上位N位以内のテキストが、検索結果単語列として出力される。
ボイスサーチでは、音声認識に用いられる辞書とは別に用意されたDBに登録されたテキストが、検索結果対象単語列となるため、そのDBに、多数のテキストを登録しておくことにより、その多数のテキストを、検索結果対象単語列として、音声検索を行うことができる。
すなわち、ボイスサーチによれば、ユーザが、音声認識に用いられる辞書に登録された単語以外の単語を含む発話を行っても、DBに登録された検索結果対象単語列としてのテキストの範囲内で、ある程度の精度の音声検索を行うことができる。
なお、音声及び画像が格納されたマルチメディアファイルを対象として音声認識を行うことで、マルチメディアファイルの音声から、索引付けのためのテキストを生成しておき、話者識別に基づいて、マルチメディアファイルの音声を検索する方法が提案されている（例えば、特許文献２を参照）。
特開2001-242884号公報 特開2000-348064号公報
従来のボイスサーチでは、ユーザが、同一の発話を行えば（同一の入力音声を発話すれば）、同一の検索結果単語列が出力される。
すなわち、従来のボイスサーチでは、ユーザAが、ある発話Uを行った場合に得られる検索結果単語列は、ユーザBが、同一の発話Uを行った場合にも得られる。
しかしながら、ユーザAと、ユーザAと異なるユーザBとでは、すなわち、例えば、男性であるユーザAと、女性であるユーザBとでは、同一の発話に対して所望する検索結果単語列が異なることがある。
したがって、ボイスサーチについては、ユーザ（発話者）に応じて異なる、柔軟な検索結果単語列を得ることが、要請されている。
本発明は、このような状況に鑑みてなされたものであり、音声検索において、柔軟な検索結果を得ることができるようにするものである。
本発明の第１の側面の検索装置、又は、プログラムは、入力音声を音声認識する音声認識部と、前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部とを備え、複数の動作モードのうちの設定された動作モードに従い、前記生成部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理を行う検索装置、又は、そのような検索装置として、コンピュータを機能させるためのプログラムである。
本発明の第２の側面の検索装置、又は、プログラムは、入力音声を音声認識する音声認識部と、前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部とを備え、複数の動作モードのうちの設定された動作モードに従い、前記マッチング部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理を行う検索装置、又は、そのような検索装置として、コンピュータを機能させるためのプログラムである。
本発明の第１の側面の検索方法は、入力音声に対応する単語列を検索する検索装置が、入力音声を音声認識する音声認識ステップと、前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定ステップと、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチングステップと、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成ステップとを含み、複数の動作モードのうちの設定された動作モードに従い、前記生成ステップでは、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理を行う検索方法である。
本発明の第２の側面の検索方法は、入力音声に対応する単語列を検索する検索装置が、入力音声を音声認識する音声認識ステップと、前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定ステップと、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチングステップと、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成ステップとを含み、複数の動作モードのうちの設定された動作モードに従い、前記マッチングステップでは、前記ユーザ情報に応じて処理結果が異なるものとなる処理を行い、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理を行う検索方法である。
以上のような第１の側面においては、入力音声が音声認識され、前記入力音声から、前記入力音声の発話者の性別が推定され、その推計結果を表すユーザ情報が出力される。そして、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングがとられ、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列が生成される。この場合に、複数の動作モードのうちの設定された動作モードに従い、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理が行われる。
以上のような第２の側面においては、入力音声が音声認識され、前記入力音声から、前記入力音声の発話者の性別が推定され、その推計結果を表すユーザ情報が出力される。そして、前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングがとられ、前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列が生成される。この場合に、複数の動作モードのうちの設定された動作モードに従い、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理が行われる。
検索装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本発明の一側面によれば、音声検索において、柔軟な検索結果を得ることができる。
本発明を適用したレコーダの一実施の形態の構成例を示すブロック図である。 音声検索装置１０の構成例を示すブロック図である。 表記シンボルを用いたマッチングで、表記が異なる音声認識結果に対して異なるマッチング結果が得られることが、音声検索の性能に有利でないことを説明する図である。 マッチングの単位として、音節２連鎖を採用する場合の、発音シンボル変換部５２の処理を説明する図である。 マッチングの単位として、音節２連鎖を採用する場合の、発音シンボル変換部５５の処理を説明する図である。 単語単位でのマッチング、音節単位でのマッチング、及び、音節２連鎖単位でのマッチングの結果を示す図である。 音声認識結果と検索結果対象単語列との類似度として、コサイン距離D、第１の補正距離D1、及び、第２の補正距離D2を採用した場合のマッチングのシミュレーションの結果を示す図である。 音声認識結果と検索結果対象単語列との類似度として、コサイン距離D、第１の補正距離D1、及び、第２の補正距離D2を採用した場合のマッチングの他のシミュレーションの結果を示す図である。 検索結果対象ベクトルと、ベクトル代用情報とを示す図である。 検索結果対象ベクトルに代えて、ベクトル代用情報を用いる場合の、音声認識結果と検索結果対象単語列との類似度の計算を説明する図である。 音声検索装置１０の処理を説明するフローチャートである。 ユーザ情報推定部５８によるユーザ情報の推定の処理を説明する図である。 ユーザ情報推定部５８によるユーザ情報の推定の処理を説明する図である。 パラ言語情報抽出部５８Ｂが、入力音声の音声区間中の強調区間を、パラ言語情報として推定する方法を説明する図である。 パラ言語情報抽出部５８Ｂが、入力音声の音声区間中の強調区間を、発話速度を用いて推定する方法を説明する図である。 関連単語利用マッチングモードのマッチングの処理を説明するフローチャートである。 関連単語利用ソートモードの検索結果単語列の生成の処理を説明するフローチャートである。 関連単語利用ソートモードで生成される検索結果単語列を示す図である。 通常モードと、関連単語利用ソートモードとのそれぞれで生成される検索結果単語列を示す図である。 重み付けマッチングモードのマッチングの処理を説明するフローチャートである。 重み付けマッチングモードのマッチングの処理を説明する図である。 通常モードと、重み付けマッチングモードとのそれぞれで得られる検索結果単語列を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
［本発明を適用したレコーダの一実施の形態］
図１は、本発明の検索装置を適用したレコーダの一実施の形態の構成例を示すブロック図である。
図１において、レコーダは、音声検索装置１０、レコーダ機能部２０、操作部３１、制御部３２、及び、出力I/F(Interface)３３を有する。
音声検索装置１０には、ユーザが発話した入力音声（のデータ）が、図示せぬマイク等から供給される。
音声検索装置１０は、そこに供給される入力音声を用いて、例えば、ボイスサーチによる音声検索を行い、その結果得られる検索結果単語列を、出力I/F３３に供給する。
レコーダ機能部２０は、チューナ２１、記録再生部２２、及び、記録媒体２３を有し、テレビジョン放送の番組の記録（録画）及び再生を行う。
すなわち、チューナ２１には、図示せぬアンテナで受信された、例えば、ディジタル放送によるテレビジョン放送信号が供給される。
チューナ２１は、そこに供給されるテレビジョン放送信号を受信し、そのテレビジョン放送信号から所定のチャンネルのテレビジョン放送信号を抽出して、ビットストリームを復調し、記録再生部２２に供給する。
記録再生部２２は、チューナ２１から供給されるビットストリームから、EPG(Electronic Program Guide)や番組のデータ等を抽出し、出力I/F３３に供給する。
また、記録再生部２２は、EPGや番組のデータを、記録媒体２３に記録（録画）する。
さらに、記録再生部２２は、記録媒体２３から、番組のデータを再生し、出力I/F３３に供給する。
記録媒体２３は、例えば、HD(Hard Disk)等であり、記録媒体２３には、記録再生部２２によって、EPGや番組のデータが記録される。
操作部３１は、リモートコマンダや、レコーダの筐体に設けられたボタン、図示せぬディスプレイにGUI(Graphics User Interface)として表示されるボタン等で構成される。操作部３１は、ユーザによって操作され、その操作に対応した操作信号を、制御部３２に供給する。
制御部３２は、操作部３１からの操作信号等に従い、音声検索装置１０、及び、レコーダ機能部２０等の、レコーダを構成するブロックの制御、その他の処理を行う。
出力I/F３３には、記録再生部２２から、EPGや番組のデータが供給される。また、出力I/F３３には、音声検索装置１０から、入力音声に対する音声検索の結果である検索結果単語列が供給される。
出力部I/F３３は、例えば、TV（テレビジョン受像機）等の、少なくとも画像を表示することができる表示デバイスと接続されるインタフェースであり、記録再生部２２からのEPGや番組のデータ、及び、音声検索装置１０からの検索結果単語列を、出力部I/F３３に接続された、例えば、図示せぬTVに供給して表示させる。
［音声検索装置１０の構成例］
図２は、図１の音声検索装置１０の構成例を示すブロック図である。
図２では、音声検索装置１０は、音声認識部５１、発音シンボル変換部５２、検索結果対象記憶部５３、形態素解析部５４、発音シンボル変換部５５、マッチング部５６、生成部５７、及び、ユーザ情報推定部５８を有し、ボイスサーチによる音声検索を行う。
ここで、従来のボイスサーチでは、音声認識結果と、検索結果対象単語列としてのテキストとのマッチングが、音声認識結果、及び、検索結果対象単語列のそれぞれの表記を表すシンボルである表記シンボルを用い、単語単位や、表記シンボル単位で行われる。
したがって、音声認識結果の表記シンボルに誤りがあると、マッチングにおいて、入力音声に対応する単語列とはまったく別の検索結果対象単語列が、音声認識結果にマッチし、その結果、そのような、入力音声に対応する単語列とはまったく別の検索結果対象単語列が、検索結果単語列として出力される。
すなわち、ユーザが、入力音声として、例えば、「としのせかい」を発話し、その音声認識結果の表記シンボル列が、例えば、「都市の世界」であった場合、単語単位のマッチングでは、音声認識結果の表記シンボル列「都市の世界」を、「都市/の/世界/」（スラッシュ（/）は、区切りを表す）のように、１個ずつの単語に区切って、マッチングが行われ、表記シンボル単位のマッチングでは、音声認識結果の表記シンボル列「都市の世界」を、「都/市/の/世/界」のように、１個ずつの表記シンボルに区切って、マッチングが行われる。
一方、入力音声「としのせかい」の音声認識結果の表記シンボル列が、例えば、「年の瀬かい」であった場合、単語単位のマッチングでは、音声認識結果の表記シンボル列「年の瀬かい」を、 「/年/の/瀬/かい/」のように、１個ずつの単語に区切って、マッチングが行われ、表記シンボル単位のマッチングでは、音声認識結果の表記シンボル列「年の瀬かい」を、「年/の/瀬/か/い」のように、１個ずつの表記シンボルに区切って、マッチングが行われる。
したがって、入力音声「としのせかい」の音声認識結果の表記シンボル列が、「都市の世界」である場合と、「年の瀬かい」である場合とでは、音声認識結果にマッチする検索結果対象単語列は、大きく異なり、その結果、入力音声に対応する単語列とはまったく別の検索結果対象単語列が、検索結果単語列として出力される一方、入力音声に対応する単語列が、検索結果単語列として出力されないことがある。
以上のように、表記シンボルを用いたマッチングは、音声認識結果との親和性が高いとはいえず、入力音声に対応する単語列が、検索結果単語列として得られないことがある。
そこで、音声検索装置１０では、音声認識結果と、検索結果対象単語列とのマッチングを、音声認識結果、及び、検索結果対象単語列のそれぞれの発音を表すシンボルである発音シンボルを用いて行うことで、入力音声に対応する単語列の検索を、ロバストに行うことができるようにし、これにより、入力音声に対応する単語列が、検索結果単語列として出力されないことを防止する。
すなわち、図２の音声検索装置１０において、音声認識部５１には、ユーザの発話である入力音声（のデータ）が、図示せぬマイク等から供給される。
音声認識部５１は、そこに供給される入力音声を音声認識し、音声認識結果（の、例えば、表記シンボル）を、発音シンボル変換部５２に供給する。
発音シンボル変換部５２は、音声認識部５１から供給される、入力音声の音声認識結果（の、例えば、表記シンボル）を、その音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列に変換し、マッチング部５６に供給する。
検索結果対象記憶部５３は、複数の検索結果対象単語列、すなわち、マッチング部５６において、音声認識結果とのマッチングが行われ、入力音声に対応する単語列の検索の結果である検索結果単語列となり得る単語列（の、例えば、表記シンボルとしてのテキスト）を記憶する。
ここで、検索結果対象記憶部５３には、例えば、図１のレコーダの記録媒体２３に記録されたEPGを構成する構成要素である番組のタイトルや、出演者名、番組の内容の詳細情報等が供給されて記憶される。
また、検索結果対象記憶部５３には、例えば、図１のレコーダの記録媒体２３に録画（記録）された番組（録画番組）のメタデータである、番組のタイトルや、出演者名、詳細情報等が供給されて記憶される。
したがって、本実施の形態では、音声検索装置１０において、番組のタイトルや、出演者名、詳細情報等を、検索結果対象単語列として、音声検索が行われる。
形態素解析部５４は、検索結果対象記憶部５３に記憶された検索結果対象単語列の形態素解析を行うことで、検索結果対象単語列を、例えば、単語（形態素）単位に分割し、発音シンボル変換部５５に供給する。
発音シンボル変換部５５は、形態素解析部５４から供給される検索結果対象単語列（の、例えば、表記シンボル）を、その検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列に変換し、マッチング部５６に供給する。
マッチング部５６は、発音シンボル変換部５２からの認識結果発音シンボル列と、発音シンボル変換部５５からの検索結果対象発音シンボル列とのマッチングをとり、そのマッチング結果を、生成部５７に供給する。
すなわち、マッチング部５６は、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、入力音声の音声認識結果とのマッチングを、音声認識結果の発音シンボルと、検索結果対象単語列の発音シンボルとを用いて行う。
マッチング部５６は、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、入力音声の音声認識結果とのマッチングをとり、そのマッチング結果を、生成部５７に供給する。
なお、認識結果発音シンボル列と検索結果対象発音シンボル列とのマッチングでは、認識結果発音シンボル列と検索結果対象発音シンボル列とが類似している度合いを表す類似度が求められる。
類似度としては、例えば、ベクトル空間法のコサイン距離等を用いることができる。
生成部５７は、マッチング部５６からのマッチング結果に基づいて、検索結果対象記憶部５３に記憶された検索結果対象単語列の中からの、入力音声に対応する単語列の検索の結果である検索結果単語列を生成する。
すなわち、例えば、生成部５７は、マッチング部５６からのマッチング結果としての類似度が上位の検索結果対象単語列を、検索結果対象記憶部５３に記憶された検索結果対象単語列の中から選択し、検索結果単語列とする。
ユーザ情報推定部５８には、音声認識部５１に供給されるのと同一の入力音声が供給される。
ユーザ情報推定部５８は、入力音声から、その入力音声の発話者であるユーザの身体性、及び、心的態度のうちの少なくとも一方を推定し、その推定結果を表すユーザ情報を出力する。ユーザ情報推定部５８が出力するユーザ情報は、マッチング部５６や生成部５７に供給される。
ここで、ユーザ情報推定部５８は、非言語情報抽出部５８Ａ、及び、パラ言語情報抽出部５８Ｂを有する。
非言語情報抽出部５８Ａは、ユーザ情報推定部５８に供給されるユーザの入力音声から、そのユーザの身体性に関する情報である非言語情報を抽出する。
パラ言語情報抽出部５８Ｂは、ユーザ情報推定部５８に供給されるユーザの入力音声から、そのユーザの心的態度に関する情報であるパラ言語情報を抽出する。
そして、ユーザ情報推定部５８は、非言語情報抽出部５８Ａで抽出された非言語情報、及び、パラ言語情報抽出部５８Ｂで抽出されたパラ言語情報のうちの、一方、又は、両方を、ユーザ情報として、マッチング部５６や生成部５７に供給する。
したがって、ユーザ情報には、非言語情報と、パラ言語情報とがある。
非言語情報抽出部５８Ａでは、例えば、ユーザの入力音声のピッチの検出や、ユーザの入力音声を用いた話者識別等によって、入力音声を発話したユーザ（発話者）の性別や、入力音声を発話したユーザの年齢層（例えば、ユーザが、子供か、大人かという情報）、入力音声を発話したユーザが、どのユーザであるのかというユーザを特定する情報（例えば、ユーザの氏名や、ユーザを特定するID(Identification)等）等の、ユーザの身体性に関する情報が、非言語情報として、入力音声から抽出（推定）される。
また、パラ言語情報抽出部５８Ｂでは、例えば、ユーザの入力音声のピッチ（声の高さ）や、パワー（声の大きさ）、発話速度（声の速さ）等の韻律情報の検出等によって、ユーザが強調を意図しているという情報等の、ユーザの意図や感情等の心的態度に関する情報が、パラ言語情報として、入力音声から抽出（推定）される。
具体的には、例えば、パラ言語情報抽出部５８Ｂでは、入力音声の音声区間のうちの、ユーザが強調して発話を行っている強調区間が、パラ言語情報として推定される。
ユーザ情報推定部５８は、以上のような非言語情報やパラ言語情報を、ユーザ情報として、マッチング部５６や生成部５７に供給する。
なお、マッチング部５６、及び、生成部５７のうちの少なくとも一方は、ユーザ情報推定部５８から供給されるユーザ情報に応じて、処理を変更する。
すなわち、図２の音声検索装置１０には、複数の動作モードが用意されており、その複数の動作モードのうちの１つである通常モードでは、マッチング部５６、及び、生成部５７は、それぞれ、ユーザ情報推定部５８から供給されるユーザ情報を用いずに、マッチングの処理、及び、検索結果単語列の生成の処理を行う。
また、動作モードには、通常モードの他、後述する関連単語利用マッチングモード、関連単語利用ソートモード、及び、重み付けマッチングモードがある。
動作モードが、関連単語利用マッチングモード、又は、重み付けマッチングモードに設定されている場合、マッチング部５６は、後述するように、ユーザ情報推定部５８から供給されるユーザ情報を用いて、マッチングの処理を行う。
また、動作モードが、関連単語利用ソートモードに設定されている場合、生成部５７は、後述するように、ユーザ情報推定部５８から供給されるユーザ情報を用いて、検索結果単語列の生成の処理を行う。
音声検索装置１０の動作モードは、例えば、ユーザが、操作部３１を操作することにより設定することができる。
以上のように構成される音声検索装置１０では、ユーザの発話に応じて、ボイスサーチによる音声検索の処理が行われる。
すなわち、ユーザが発話を行い、その発話としての入力音声が、音声認識部５１に供給されると、音声認識部５１は、その入力音声を音声認識し、その入力音声の音声認識結果を、発音シンボル変換部５２に供給する。
発音シンボル変換部５２は、音声認識部５１からの入力音声の音声認識結果を、認識結果発音シンボル列に変換し、マッチング部５６に供給する。
一方、形態素解析部５４は、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列の形態素解析を行い、発音シンボル変換部５５に供給する。
発音シンボル変換部５５は、形態素解析部５４からの検索結果対象単語列を、検索結果対象発音シンボル列に変換し、マッチング部５６に供給する。
マッチング部５６は、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、発音シンボル変換部５２からの認識結果発音シンボル列と、発音シンボル変換部５５からの検索結果対象発音シンボル列とを用いて、入力音声の音声認識結果とのマッチングをとり、そのマッチング結果を、生成部５７に供給する。
生成部５７では、マッチング部５６からのマッチング結果に基づいて、検索結果対象記憶部５３に記憶された検索結果対象単語列の中から、入力音声に対応する単語列の検索の結果である検索結果単語列（とする検索結果対象単語列）が選択されて出力される。
したがって、ユーザは、発話を行うだけで、検索結果対象記憶部５３に記憶された検索結果対象単語列の中で、ユーザの発話にマッチする検索結果単語列（としての検索結果対象単語列）を得ることができる。
なお、音声検索装置１０において、ユーザが発話した入力音声は、音声認識部５１に供給される他、ユーザ情報推定部５８にも供給される。ユーザ情報推定部５８は、そこに供給される入力音声から、ユーザ情報を推定し、マッチング部５６、及び、生成部５７に供給する。
マッチング部５６、及び、生成部５７のそれぞれは、動作モードに応じて、ユーザ情報推定部５８からのユーザ情報を用いて、又は、用いずに、処理を行う。
以上のような音声検索装置１０を有する図１のレコーダでは、例えば、録画が行われた番組（録画番組）の中から、ユーザが所望する番組を、音声検索によって検索し、再生することができる。
すなわち、ユーザが、再生をしようとする番組の音声検索を行うためのキーワードとして、例えば、入力音声「世界遺産」を発話すると、音声検索装置１０では、検索結果対象記憶部５３に検索結果対象単語列として記憶されている、録画番組のタイトル等を対象として、音声検索を行うことにより、タイトルの発音が、入力音声「世界遺産」の発音に類似する所定数の番組のタイトルが、検索結果単語列として生成され、出力I/F３３に供給される。
そして、出力I/F３３は、検索結果単語列としての番組のタイトルを、再生を行う候補の番組（再生候補番組）として、（レコーダと接続されたTV（テレビジョン受像機）等で）表示させる。
その後、ユーザが、再生候補番組の中から、再生を行う番組として、１つの番組を、操作部３１を操作すること等により選択すると、レコーダ機能部２０では、その番組が再生される。
なお、図２では、２つの発音シンボル変換部５２及び５５が設けられているが、２つの発音シンボル変換部５２及び５５は、１つの発音シンボル変換部で兼用することが可能である。
また、図２では、検索結果対象記憶部５３に、検索結果対象単語列の表記シンボル（としてのテキスト）を記憶させておくこととしたが、検索結果対象記憶部５３には、検索結果対象単語列（の表記シンボル）の他、その検索結果対象単語列を発音シンボルに変換した検索結果対象発音シンボル列を記憶させておくことが可能である。
この場合、音声検索装置１０は、形態素解析部５４、及び、発音シンボル変換部５５を設けずに構成することができる。
また、図２では、音声認識部５１において、入力音声を音声認識し、音声認識結果の表記シンボルを出力するようにしたが、音声認識部５１では、音声認識結果の発音シンボル（認識結果発音シンボル列）を出力するようにすることが可能である。
この場合、音声検索装置１０は、発音シンボル変換部５２を設けずに構成することができる。
［マッチング部５６によるマッチング］
図３ないし図１０を参照して、図２のマッチング部５６によるマッチングについて説明する。
図３は、音声認識結果、及び、検索結果対象単語列のそれぞれの表記を表すシンボルである表記シンボルを用いて行われる、音声認識結果と、検索結果対象単語列としてのテキストとのマッチングを説明する図である。
ここで、表記シンボルは、発音に一致しないことがある。
具体的には、例えば、ひらがな「は」の発音（読み）は、「は」である場合と、「わ」である場合があるが、表記シンボルでは、発音の違いを表現することができない。
また、表記シンボルでは、複数の読みがある漢字、すなわち、例えば、「市」については、その読み（発音）が「し」であるのか、又は、「いち」であるのかを、表現することができない。
一方、例えば、表記シンボルで表された単語列「都市の世界遺産」と「年の瀬解散」とは、発音は一致するが、表記シンボルでは、「の」以外は異なる。
このため、音声認識結果が、「都市の世界遺産」である場合と、「年の瀬解散」である場合とでは、表記シンボルを用いたマッチングでは、異なるマッチング結果が得られるが、このことは、音声検索の性能に、必ずしも有利ではない。
すなわち、図３は、表記シンボルを用いたマッチングで、発音は一致するか、表記が異なる音声認識結果に対して異なるマッチング結果が得られることが、音声検索の性能に有利でないことを説明する図である。
図３では、入力音声「都市の世界遺産」の音声認識が行われ、その入力音声「都市の世界遺産」と発音は一致するが、表記が異なる、誤った音声認識結果「年の瀬解散」が得られている。
また、図３では、音声認識結果「年の瀬解散」を、「年／の／瀬／解／散」のように、表記シンボル単位に区切って（スラッシュ（／）は、区切りを表す）、表記シンボル単位でのマッチングが行われている。
さらに、図３では、マッチングをとる検索結果対象単語列としての、例えば、番組のタイトルとして、「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」の３つが用意されている。
音声認識結果「年の瀬解散」と、検索結果対象単語列「世界遺産都市の遺産」とでは、表記シンボル単位では、図中、丸印を付してある１個の表記シンボル「の」しか一致しない。
また、音声認識結果「年の瀬解散」と、検索結果対象単語列「瀬戸の歯医者さん」とでは、表記シンボル単位では、図中、丸印を付してある２個の表記シンボル「瀬」及び「の」が一致する。
さらに、音声認識結果「年の瀬解散」と、検索結果対象単語列「衆院解散の年」とでは、表記シンボル単位では、図中、丸印を付してある４個の表記シンボル「解」、「散」、「の」及び「年」が一致する。
したがって、表記シンボル単位でのマッチングにおいて求められる、音声認識結果と検索結果対象単語列との類似度としては、音声認識結果「年の瀬解散」と、検索結果対象単語列「衆院解散の年」との類似度が、最も高くなる。
すなわち、表記シンボル単位でのマッチングにおいて求められる類似度として、例えば、コサイン距離を採用することとする。
また、単語列を表すベクトルとして、例えば、単語列に存在する表記シンボルに対応するコンポーネントを1とするとともに、単語列に存在しない表記シンボルに対応するコンポーネントを0とするベクトルを採用し、２つの単語列の類似度としてのコサイン距離を、その２つの単語列を表すベクトルを用いて求めることとする。
この場合、表記シンボル単位でのマッチングでは、音声認識結果「年の瀬解散」と、検索結果対象単語列「世界遺産都市の遺産」との類似度として、0.15が、音声認識結果「年の瀬解散」と、検索結果対象単語列「瀬戸の歯医者さん」との類似度として、0.32が、音声認識結果「年の瀬解散」と、検索結果対象単語列「衆院解散の年」との類似度として、0.73が、それぞれ求められる。
したがって、例えば、マッチングの結果得られる類似度が最上位の検索結果対象単語列を、検索結果単語列とすることとすると、入力音声「都市の世界遺産」の音声認識が誤り、音声認識結果「年の瀬解散」が得られた場合には、検索結果対象単語列としての３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、「衆院解散の年」が、検索結果単語列とされることになる。
入力音声「都市の世界遺産」に対しては、上述の３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、１番目の番組のタイトル「世界遺産都市の遺産」が、検索結果単語列とされることが適切である。
しかしながら、入力音声「都市の世界遺産」が、発音（読み）では一致するが、表記が異なる「年の瀬解散」に音声認識されると、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」ではなく、「都市の世界遺産」とはまったく関係がないような番組のタイトル「衆院解散の年」が、検索結果単語列とされる。
なお、入力音声「都市の世界遺産」に対して、表記が一致する「都市の世界遺産」が、音声認識結果として得られた場合には、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」との類似度が最上位となり、「世界遺産都市の遺産」が、検索結果単語列とされる。
以上のように、音声認識結果が、「都市の世界遺産」である場合と、「年の瀬解散」である場合とでは、表記シンボルを用いたマッチングでは、マッチング結果（音声認識結果と、各検索結果対象単語列との類似度）が異なり、その結果、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」が、検索結果単語列とされる場合と、そのような適切なタイトルが検索結果単語列とされず、入力音声「都市の世界遺産」とはまったく関係がないような番組のタイトル「衆院解散の年」が、検索結果単語列とされる場合とがある。
そこで、音声検索装置１０（図２）のマッチング部５６では、入力音声に対して適切な番組のタイトルが、検索結果単語列として出力されないことを防止するため、発音シンボルを用いたマッチングが行われる。
ここで、発音シンボルは、例えば、音節、又は、音素の発音を表すシンボルであり、日本語については、例えば、読みを表すひらがなを採用することができる。
発音シンボルを用いたマッチングでは、マッチングの単位として、音節（の１つ）や、音節の２以上の連鎖、音素（の１つ）、音素の２以上の連鎖等を採用することができる。
なお、発音シンボルを用いたマッチングにおいて、どのようなマッチングの単位を採用するかによって、マッチング結果、ひいては、音声検索の性能は異なる。
図４は、マッチング部５６（図２）でのマッチングの単位として、音節２連鎖（連続する２つの音節）を採用する場合の、図２の発音シンボル変換部５２の処理を説明する図である。
発音シンボル変換部５２には、音声認識部５１から、入力音声の音声認識結果（の、例えば、表記シンボル）が供給される。
発音シンボル変換部５２は、音声認識部５１から供給される音声認識結果を、音節の並びに変換する。
さらに、発音シンボル変換部５２は、音声認識結果の音節の並びの先頭から、注目する注目音節を、後方に、１音節ずつずらしていきながら、注目音節と、その注目音節の直後の音節との２つの音節である音節２連鎖を抽出し、その音節２連鎖の並びを、認識結果発音シンボル列として、マッチング部５６（図２）に供給する。
図５は、マッチング部５６（図２）でのマッチングの単位として、音節２連鎖を採用する場合の、図２の発音シンボル変換部５５の処理を説明する図である。
発音シンボル変換部５５には、検索結果対象記憶部５３に記憶された検索結果対象単語列としての、番組のタイトル等が、形態素解析部５４で形態素解析されて供給される。
発音シンボル変換部５５は、形態素解析部５４から供給される検索結果対象単語列を、音節の並びに変換する。
さらに、発音シンボル変換部５５は、検索結果対象単語列の音節の並びの先頭から、注目する注目音節を、後方に、１音節ずつずらしていきながら、注目音節と、その注目音節の直後の音節との２つの音節である音節２連鎖を抽出し、その音節２連鎖の並びを、検索結果対象発音シンボル列として、マッチング部５６（図２）に供給する。
マッチング部５６では、認識結果発音シンボル列と、検索結果対象発音シンボル列との、音節２連鎖の単位でのマッチングとして、認識結果発音シンボル列と、検索結果対象発音シンボル列との類似度としての、例えば、コサイン距離を求める場合、認識結果発音シンボル列を構成する音節２連鎖に基づいて、認識結果発音シンボル列を表すベクトルである認識結果ベクトルが求められる。
すなわち、マッチング部５６は、例えば、認識結果発音シンボル列に存在する音節２連鎖に対応するコンポーネントを1とするとともに、認識結果発音シンボル列に存在しない音節２連鎖に対応するコンポーネントを0とするベクトルを、認識結果発音シンボル列を表す認識結果ベクトルとして求める。
さらに、マッチング部５６は、検索結果対象記憶部５３に記録された各検索結果対象単語列としての、例えば、番組のタイトル等についても、同様に、検索結果対象単語列の検索結果対象発音シンボル列を構成する音節２連鎖に基づいて、検索結果対象発音シンボル列を表すベクトルである検索結果対象ベクトルを求める。
そして、マッチング部５６は、認識結果ベクトルと、検索結果対象ベクトルとの内積を、認識結果ベクトルの大きさと検索結果対象ベクトルの大きさとの乗算値で除算した値であるコサイン距離を、音声認識結果と、検索結果対象ベクトルに対応する検索結果対象単語列との類似度として求める、音節２連鎖の単位でのマッチングを行う。
図６は、単語単位でのマッチング、（１つの）音節単位でのマッチング、及び、音節２連鎖単位でのマッチングの結果を示す図である。
なお、図６では、図３と同様に、入力音声「都市の世界遺産」に対して、誤った音声認識結果「年の瀬解散」が得られており、検索結果対象単語列としての、例えば、番組のタイトルとして、「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」の３つが用意されている。
また、図６では、表記シンボルを用いての、単語単位でのマッチング、発音シンボルを用いての、音節単位でのマッチング、及び、発音シンボルを用いての、音節２連鎖単位でのマッチングが行われている。
さらに、図６では、音声認識結果「年の瀬解散」の単語又は発音シンボル（音節）と一致する、検索結果対象単語列の単語又は発音シンボルには、丸印を付してある。
単語単位でのマッチングでは、音声認識結果「年の瀬解散」と、検索結果対象単語列「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」それぞれとの類似度（コサイン距離）として、それぞれ、0.22，0.25、及び、0.75が求められる。
したがって、例えば、マッチングの結果得られる類似度が最上位の検索結果対象単語列を、検索結果単語列として出力することとすると、入力音声「都市の世界遺産」の音声認識が誤り、音声認識結果「年の瀬解散」が得られた場合には、表記シンボルを用いての、単語単位でのマッチングでは、検索結果対象単語列としての３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、音声認識結果「年の瀬解散」との類似度が0.75で最上位の検索結果対象単語列「衆院解散の年」が、検索結果単語列とされることになる。
入力音声「都市の世界遺産」に対しては、上述の３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、１番目の番組のタイトル「世界遺産都市の遺産」が、検索結果単語列とされることが適切である。
しかしながら、入力音声「都市の世界遺産」が、発音（読み）では一致するが、表記が異なる「年の瀬解散」に音声認識されると、表記シンボルを用いての、単語単位でのマッチングでは、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」ではなく、「都市の世界遺産」とはまったく関係がないような番組のタイトル「衆院解散の年」が、検索結果単語列とされる。
なお、表記シンボルを用いてのマッチングを、単語単位ではなく、表記シンボル単位で行った場合も、図３で説明したように、入力音声「都市の世界遺産」の誤った音声認識結果「年の瀬解散」に対して、入力音声「都市の世界遺産」とはまったく関係がないような番組のタイトル「衆院解散の年」が、検索結果単語列とされる。
発音シンボルを用いての、音節単位のマッチングでは、音声認識結果「年の瀬解散」と、検索結果対象単語列「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」それぞれとの類似度として、それぞれ、0.82，1.0、及び、0.75が求められる。
したがって、例えば、マッチングの結果得られる類似度が最上位の検索結果対象単語列を、検索結果単語列として出力することとすると、入力音声「都市の世界遺産」の音声認識が誤り、音声認識結果「年の瀬解散」が得られた場合には、発音シンボルを用いての、音節単位でのマッチングでは、検索結果対象単語列としての３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、音声認識結果「年の瀬解散」との類似度が1.0で最上位の検索結果対象単語列「瀬戸の歯科医さん」が、検索結果単語列とされる。
すなわち、入力音声「都市の世界遺産」が、発音では一致するが、表記が異なる「年の瀬解散」に音声認識されると、発音シンボルを用いての、音節単位でのマッチングでは、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」ではなく、「都市の世界遺産」とはまったく関係がないような番組のタイトル「瀬戸の歯科医さん」が、検索結果単語列とされる。
なお、表記シンボルを用いての、単語単位でのマッチングでは、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」の類似度が、３つの検索結果対象単語列の中で、第３位（最下位）の値である0.22になっているが、発音シンボルを用いての、音節単位でのマッチングでは、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」の類似度が、３つの検索結果対象単語列の中で、第２位の値である0.82になっている。
したがって、発音シンボルを用いての、音節単位でのマッチングは、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」の類似度が、表示シンボルを用いての、単語単位でのマッチングの場合よりも上位である点で、表示シンボルを用いての、単語単位でのマッチングより有効であるということができる。
発音シンボルを用いての、音節２連鎖単位のマッチングでは、音声認識結果「年の瀬解散」と、検索結果対象単語列「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」それぞれとの類似度として、それぞれ、0.68，0.43、及び、0.48が求められる。
したがって、例えば、マッチングの結果得られる類似度が最上位の検索結果対象単語列を、検索結果単語列として出力することとすると、入力音声「都市の世界遺産」の音声認識が誤り、音声認識結果「年の瀬解散」が得られた場合であっても、発音シンボルを用いての、音節２連鎖単位でのマッチングでは、検索結果対象単語列としての３つの番組のタイトル「世界遺産都市の遺産」、「瀬戸の歯医者さん」、及び、「衆院解散の年」のうちの、音声認識結果「年の瀬解散」との類似度が0.68で最上位の検索結果対象単語列、すなわち、入力音声「都市の世界遺産」に対して適切な番組のタイトル「世界遺産都市の遺産」が、検索結果単語列とされる。
以上のように、発音シンボルを用いてのマッチングによれば、表記シンボルを用いてのマッチングを行う場合に比較して、入力音声に対応する単語列の検索を、ロバストに行うことができる。
すなわち、発音シンボルを用いてのマッチングによれば、音声認識が誤った場合でも、入力音声に対応する単語列が、検索結果単語列として出力されないことを防止（低減）することができる。
ところで、マッチング部５６（図１）において、音声認識結果（の認識結果発音シンボル列）と、検索結果対象単語列（の検索結果対象発音シンボル列）との類似度として、コサイン距離を採用する場合、例えば、上述したように、認識結果発音シンボル列に存在する音節（２連鎖）に対応するコンポーネントを1とするとともに、認識結果発音シンボル列に存在しない音節に対応するコンポーネントを0とするベクトルが、認識結果発音シンボル列を表す認識結果ベクトルとして求められる。
さらに、マッチング部５６では、同様にして、検索結果対象単語列の検索結果対象発音シンボル列を表す検索結果対象ベクトルが求められる。
ここで、本実施の形態では、認識結果ベクトルのコンポーネントの値を、そのコンポーネントに対応する音節が、認識結果発音シンボル列に存在するかどうかで、1又は0とすることとするが、認識結果ベクトルのコンポーネントの値としては、そのコンポーネントに対応する音節が、認識結果発音シンボル列に出現する頻度であるtf(Term Frequency)を採用することが可能である。
また、認識結果ベクトルのコンポーネントの値としては、その他、例えば、ある検索結果対象単語列には偏って出現する音節に対しては大になり、多くの検索結果対象単語列に万遍なく出現する音節に対しては小になるidf(Invert Document Frequency)や、tfとidfとの両方を加味したTF-IDFを採用することができる。
検索結果対象ベクトルについても、同様である。
いま、認識結果ベクトルを、VUTRと表すとともに、検索結果対象記憶部５３（図１）に記憶されたi番目の検索結果対象単語列の検索結果対象ベクトルを、VTITLE(i)と表すこととすると、音声認識結果と、i番目の検索結果対象単語列との類似度としてのコサイン距離Dは、式（１）に従って計算される。
D=VUTR・VTITLE(i)／(|VUTR||VTITLE(i)|)
・・・（１）
式（１）において、・は、内積を表し、|x|は、ベクトルxの大きさ（ノルム）を表す。したがって、コサイン距離Dは、認識結果ベクトルVUTRと、検索結果対象ベクトルVTITLE(i)との内積VUTR・VTITLE(i)を、認識結果ベクトルVUTRの大きさ|VUTR|と検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|との乗算値|VUTR||VTITLE(i)|で除算することにより求めることができる。
コサイン距離Dは、0.0ないし1.0の範囲の値をとり、値が大きいほど、認識結果ベクトルVUTRが表す認識結果発音シンボル列と、検索結果対象ベクトルVTITLE(i)が表す検索結果対象発音シンボル列とが類似していることを表す。
上述したように、コサイン距離Dは、認識結果ベクトルVUTRと、検索結果対象ベクトルVTITLE(i)との内積VUTR・VTITLE(i)を、認識結果ベクトルVUTRの大きさ|VUTR|と検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|との乗算値で除算することにより求められるため、コサイン距離Dには、音声認識結果と検索結果対象単語列との長さの相違が影響する。
ここで、音声認識結果、及び、検索結果対象単語列の長さとは、音声認識結果と検索結果対象単語列とのマッチング、つまり、類似度としてのコサイン距離Dの計算を、表記シンボルを用いて、表記シンボル単位で行う場合には、音声認識結果、及び、検索結果対象単語列の表記シンボルの個数を、それぞれ意味する。
また、類似度の計算を、表記シンボルを用いて、単語単位で行う場合には、音声認識結果、及び、検索結果対象単語列の長さとは、それぞれ、音声認識結果、及び、検索結果対象単語列の単語の個数を意味する。
さらに、類似度の計算を、発音シンボルを用いて、音節単位で行う場合には、音声認識結果、及び、検索結果対象単語列の長さとは、それぞれ、音声認識結果、及び、検索結果対象単語列の音節の個数を意味する。
また、類似度の計算を、発音シンボルを用いて、音節２連鎖単位で行う場合には、音声認識結果、及び、検索結果対象単語列の長さとは、それぞれ、音声認識結果、及び、検索結果対象単語列の音節２連鎖の個数を意味する。
いま、説明を簡単にするために、音声認識結果と検索結果対象単語列とのマッチングとしてのコサイン距離Dの計算を、表記シンボルを用いて、単語単位で行うこととすると、類似度としての式（１）のコサイン距離Dの演算は、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|による除算を含むため、例えば、音声認識結果と同一の単語列を含むが、長さ（ここでは、単語の個数）が、長い検索結果対象単語列と、短い検索結果対象単語列とでは、短い検索結果対象単語列との類似度は高くなり（コサイン距離Dが大になり）、長い検索結果対象単語列との類似度は低くなる（コサイン距離Dが小になる）傾向が強い。
したがって、長さが長い検索結果対象単語列の一部が、音声認識結果として得られても、その音声認識結果と、長さが長い検索結果対象単語列との類似度が、上位にならず、そのような検索結果対象単語列が、検索結果単語列として出力されないために、入力音声に対応する単語列の検索の精度が劣化することがある。
つまり、例えば、長いタイトルの一部が発話された場合に、その長いタイトルの類似度が、上位にならず、その長いタイトルが、検索結果単語列として出力されないことがある。
また、同様の理由により、所定の検索結果対象単語列と同一の単語列を含むが、長さが、長い音声認識結果と、短い音声認識結果とでは、長い音声認識結果と所定の検索結果対象単語列との類似度は、低くなり、短い音声認識結果と所定の検索結果対象単語列との類似度は、高くなる傾向が強い。
したがって、所定の検索結果対象単語列と同一の単語列を含むが、長さが長い音声認識結果については、その所定の検索結果対象単語列の類似度は、上位にならず、その所定の検索結果対象単語列が、検索結果単語列として出力されないために、入力音声に対応する単語列の検索の精度が劣化することがある。
つまり、例えば、短いタイトルを含む長い発話がされた場合に、その短いタイトルの類似度が、上位にならず、その短いタイトルが、検索結果単語列として出力されないことがある。
そこで、マッチング部５６（図２）では、音声認識結果と検索結果対象単語列との長さの相違の影響を軽減するように、コサイン距離Dを補正した補正距離を、音声認識結果と検索結果対象単語列との類似度として採用することができる。
音声認識結果と検索結果対象単語列との類似度として、補正距離を採用する場合には、上述の音声認識結果と長い検索結果対象単語列との類似度、及び、長い音声認識結果と検索結果対象単語列との類似度が低くなることが防止され、その結果、入力音声に対応する単語列の検索を、ロバストに行うことができ、入力音声に対応する単語列の検索の精度の劣化を防止することができる。
補正距離としては、第１の補正距離と、第２の補正距離とがある。
第１の補正距離は、コサイン距離Dを求める式（１）の演算において、検索結果対象単語列の長さに比例する、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|に代えて、検索結果対象単語列の長さに比例しない値|VUTR|×√(|VTITLE(i)|／|VUTR|)、すなわち、認識結果ベクトルVUTRの大きさ|VUTR|と検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|との乗算値の平方根√（|VTITLE(i)||VUTR|）を用いて求められる。
ここで、コサイン距離Dを求める式（１）の演算において、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|に代えて用いる値を、以下、代用サイズS(i)ともいう。
第１の補正距離D1は、式（２）に従って求められる。
D1=VUTR・VTITLE(i)／(|VUTR|S(i))
=VUTR・VTITLE(i)／(|VUTR||VUTR|×√(|VTITLE(i)|／|VUTR|))
=VUTR・VTITLE(i)／(|VUTR|√(|VTITLE(i)||VUTR|))
・・・（２）
式（２）において、認識結果ベクトルVUTRの大きさ|VUTR|と検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|との乗算値の平方根√（|VTITLE(i)||VUTR|）は、|VTITLE(i)|が小さい場合、つまり、検索結果対象単語列の長さが短い場合には、|VTITLE(i)|より大になり、|VTITLE(i)|が大きい場合、つまり、検索結果対象単語列の長さが長い場合には、|VTITLE(i)|より小になる。
その結果、式（２）に従って求められる第１の補正距離D1は、式（１）に従って求められるコサイン距離Dに比較して、音声認識結果の長さに対する検索結果対象単語列の長さとしての、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|の違いの影響が少ない値、すなわち、音声認識結果と検索結果対象単語列との長さの相違の影響が軽減された値となる。
第２の補正距離は、コサイン距離Dを求める式（１）の演算において、検索結果対象単語列の長さに比例する、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|に代えて、認識結果ベクトルVUTRの大きさ|VUTR|を、代用サイズS(i)として用いて求められる。
したがって、第２の補正距離D2は、式（３）に従って求められる。
D2=VUTR・VTITLE(i)／(|VUTR|S(i))
=VUTR・VTITLE(i)／|VUTR|2
・・・（３）
第２の補正距離D2は、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|を用いずに求められるので、音声認識結果の長さに対する検索結果対象単語列の長さとしての、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|の違いの影響がない値、すなわち、音声認識結果と検索結果対象単語列との長さの相違の影響が軽減（除去）された値となる。
図７は、音声認識結果と検索結果対象単語列との類似度として、コサイン距離D、第１の補正距離D1、及び、第２の補正距離D2を採用した場合のマッチングのシミュレーションの結果を示す図である。
なお、図７のシミュレーションでは、短い発話「世界遺産」に対して、正しい音声認識結果「世界遺産」が得られたこととし、検索結果対象単語列としての番組のタイトルとして、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」と、短いタイトル「世界情勢」とを採用した。
さらに、マッチングは、表記シンボルを用いて、単語単位で行った。
また、図７では、音声認識結果「世界遺産」の単語「世界／遺産」と一致する、検索結果対象単語列としての番組のタイトルの単語には、アンダーラインを付してある。
タイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」では、音声認識結果「世界遺産」に対して、「世界」と「遺産」との２つの単語が一致する。
一方、タイトル「世界情勢」では、音声認識結果「世界遺産」に対して、「世界」の１つの単語だけが一致する。
したがって、タイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」と、タイトル「世界情勢」とでは、音声認識結果「世界遺産」と一致する単語の数が多いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度の方が、タイトル「世界情勢」の類似度よりも上位になることが適切である。
しかしながら、類似度として、コサイン距離Dを採用した場合、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の一部「世界遺産」に一致する音声認識結果「世界遺産」については、短いタイトル「世界情勢」の類似度が、0.5となり、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度が、0.4472となって、短いタイトル「世界情勢」の類似度の方が、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度よりも上位となる。
すなわち、類似度として、コサイン距離Dを採用した場合には、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の一部「世界遺産」に一致する短い音声認識結果「世界遺産」と、その長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」との長さの相違の影響により、音声認識結果「世界遺産」に対して適切な長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度が上位にならない。
一方、類似度として、補正距離を採用した場合、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度の方が、短いタイトル「世界情勢」の類似度よりも上位となる。
すなわち、類似度として、第１の補正距離D1を採用した場合、音声認識結果「世界遺産」については、短いタイトル「世界情勢」の類似度が、0.5となり、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度が、0.6687となって、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度の方が、短いタイトル「世界情勢」の類似度よりも上位となる。
また、類似度として、第２の補正距離D2を採用した場合、音声認識結果「世界遺産」については、短いタイトル「世界情勢」の類似度が、0.5となり、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度が、1.0となって、長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度の方が、短いタイトル「世界情勢」の類似度よりも上位となる。
以上のように、類似度として、補正距離を採用した場合には、長い検索結果対象単語列の一部に一致する音声認識結果と、その長い検索結果対象単語列との長さの相違の影響が軽減され、音声認識結果「世界遺産」に対して適切な長いタイトル「THE世界遺産都市の遺産スペシャルイタリアローマベネチア」の類似度が上位になる。
図８は、音声認識結果と検索結果対象単語列との類似度として、コサイン距離D、第１の補正距離D1、及び、第２の補正距離D2を採用した場合のマッチングの他のシミュレーションの結果を示す図である。
なお、図８のシミュレーションでは、長い発話「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」に対して、正しい音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」が得られたこととし、検索結果対象単語列としての番組のタイトルとして、短いタイトル「世界遺産」と、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」とを採用した。
さらに、マッチングは、表記シンボルを用いて、単語単位で行った。
また、図８では、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」の単語「世界／遺産／都市／の／遺産／イタリア／ローマ／ベネチア／ナポリ／フィレンツェ」と一致する、検索結果対象単語列としての番組のタイトルの単語には、アンダーラインを付してある。
タイトル「世界遺産」では、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」に対して、「世界」と「遺産」との２つの単語が一致する。
一方、タイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」では、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」に対して、「世界」、「遺産」、「イタリア」、及び、「フィレンツェ」の４つの単語が一致する。
したがって、タイトル「世界遺産」と、タイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」とでは、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」と一致する単語の数が多いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度の方が、タイトル「世界遺産」の類似度よりも上位になることが適切である。
しかしながら、類似度として、コサイン距離Dを採用した場合、長い音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」については、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度が、0.4472となり、短いタイトル「世界遺産」の類似度が、0.4772となって、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度の方が、短いタイトル「世界遺産」の類似度よりも上位にならない。
すなわち、類似度として、コサイン距離Dを採用した場合には、長い音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」と、短い検索結果対象単語列「世界遺産」との長さの相違の影響により、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」に対して適切な長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度が上位にならない。
一方、類似度として、補正距離を採用した場合、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度の方が、短いタイトル「世界遺産」の類似度よりも上位となる。
すなわち、類似度として、第１の補正距離D1を採用した場合、長い音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」については、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度が、0.4229となり、短いタイトル「世界遺産」の類似度が、0.2991となって、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度の方が、短いタイトル「世界遺産」の類似度よりも上位となる。
また、類似度として、第２の補正距離D2を採用した場合、長い音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」については、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度が、0.4となり、短いタイトル「世界遺産」の類似度が、0.2となって、長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度の方が、短いタイトル「世界遺産」の類似度よりも上位となる。
以上のように、類似度として、補正距離を採用した場合には、長い音声認識結果と、短い検索結果対象単語列との長さの相違の影響が軽減され、音声認識結果「世界遺産都市の遺産イタリアローマベネチアナポリフィレンツェ」に対して適切な長いタイトル「探検ロマン世界遺産イタリアフィレンツェ歴史地区」の類似度が上位になる。
したがって、補正距離によれば、音声認識結果と検索結果対象単語列との長さの相違の影響が軽減されることにより、入力音声に対応する単語列の検索を、ロバストに行うことができ、入力音声に対応する単語列の検索の精度の劣化を防止することができる。
図９は、検索結果対象ベクトルと、ベクトル代用情報とを示す図である。
ここで、音声検索装置１０（図２）において、検索結果単語列を、迅速に出力するには、例えば、マッチングを高速に行う必要がある。
一方、音声認識結果と、検索結果対象単語列とのマッチングにおいて、類似度としてのコサイン距離や補正距離を求める場合に、検索結果対象発音シンボル列を表す検索結果対象ベクトルと、認識結果発音シンボル列を表す認識結果ベクトルとが必要となるが、音声認識結果が得られるたびに、検索結果対象記憶部５３（図１）に記憶された検索結果対象単語列を、検索結果対象ベクトルに変換するのでは、マッチングに時間を要し、マッチングの高速化を妨げることになる。
そこで、類似度の計算に必要な検索結果対象ベクトルは、検索結果対象記憶部５３（図１）に記憶された検索結果対象単語列から、あらかじめ求めておき、マッチング部５６が内蔵する図示せぬメモリに記憶しておくことで、マッチングの高速化を図る方法がある。
しかしながら、検索結果対象ベクトルを、マッチング部５６が内蔵するメモリに記憶させておくこととすると、そのメモリとして、膨大な容量のメモリが必要となる。
すなわち、例えば、検索結果対象ベクトルのコンポーネントの値を、そのコンポーネントに対応する音節が、検索結果対象発音シンボル列に存在するかどうかで、1又は0とすることとすると、発音シンボルの種類数が、C個である場合には、検索結果対象ベクトルは、C次元のベクトルとなる。
例えば、発音シンボルとして、日本語の音節を表すシンボルを採用した場合、発音シンボルの種類数Cは、100ないし300個程度になる。
さらに、例えば、発音シンボルの種類数Cが、100個であったとしても、マッチングの単位として、音節２連鎖を採用した場合には、検索結果対象ベクトルは、10000(=100×100)次元のベクトルとなる。
そして、検索結果対象ベクトルの次元が、D次元であり、検索結果対象記憶部５３（図１）に記憶された検索結果対象単語列の個数が、Z個であるとすると、マッチング部５６が内蔵するメモリには、D×Z個の（検索結果対象ベクトルの）コンポーネントを記憶するだけの記憶容量が必要となる。
ところで、検索結果対象ベクトルは、一般に、疎ベクトル(Sparse Vector)、つまり、ほとんどのコンポーネントが0になっているベクトルであることが多い。
そこで、マッチング部５６では、各検索結果対象ベクトルについて、検索結果対象ベクトルの0でないコンポーネントに対応する音節の発音シンボル（マッチングの単位として、音節２連鎖を採用する場合には、0でないコンポーネントに対応する音節２連鎖の発音シンボル列）（を特定するID(Identification)）だけを、内蔵するメモリに記憶する。
なお、検索結果対象ベクトルのコンポーネントの値として、例えば、そのコンポーネントに対応する音節が、検索結果対象発音シンボル列に出現する頻度(tf)を採用する場合には、検索結果対象ベクトルの0でないコンポーネントに対応する音節（を特定するID）と、その音節が出現する頻度（検索結果対象ベクトルのコンポーネントの値）との組だけが、マッチング部５６が内蔵するメモリに記憶される。
検索結果対象ベクトルの0でないコンポーネントに対応する音節の発音シンボルだけを、マッチング部５６が内蔵するメモリに記憶する場合には、i番目の検索結果対象単語列の検索結果対象ベクトルにおいて、0でないコンポーネントの数が、K(i)個であるとすると、マッチング部５６が内蔵するメモリには、K(1)+K(2)+・・・+K(Z)個の発音シンボルを記憶するだけの記憶容量があれば良い。
ここで、検索結果対象ベクトルのコンポーネントがとる値は、0及び1の2値であるのに対して、発音シンボルがとる値としては、上述したように、100ないし300個程度の値があるから、検索結果対象ベクトルの１つのコンポーネントは、1ビットで表現することができるが、発音シンボルを表現するには、7ないし9ビット程度が必要である。
しかしながら、検索結果対象ベクトルのほとんどのコンポーネントは0になっているので、検索結果対象ベクトルにおいて、0でないコンポーネントの数K(i)は、小さい値となり、K(1)+K(2)+・・・+K(Z)個の発音シンボルを記憶するだけの記憶容量は、D×Z個の（検索結果対象ベクトルの）コンポーネントを記憶するだけの記憶容量に比較して、小さくなる。
したがって、マッチング部５６において、各検索結果対象ベクトルについて、検索結果対象ベクトルの0でないコンポーネントに対応する音節の発音シンボルだけを、内蔵するメモリに記憶することで、そのメモリに必要な記憶容量を、検索結果対象ベクトルそのものを記憶する場合に比較して削減することができる。
ここで、マッチング部５６が内蔵するメモリに記憶される、検索結果対象ベクトルの0でないコンポーネントに対応する音節の発音シンボルは、検索結果対象ベクトルに代わる情報であるので、以下、適宜、ベクトル代用情報ともいう。
図９は、検索結果対象ベクトルと、その検索結果対象ベクトルに代わるベクトル代用情報とを示している。
検索結果対象ベクトルのコンポーネントの値は、そのコンポーネントに対応する音節が、検索結果対象発音シンボル列に存在するかどうかで、1又は0になっている。
一方、検索結果対象ベクトルに代わるベクトル代用情報は、その検索結果対象ベクトルの0でないコンポーネントに対応する音節の発音シンボルだけから構成されている。
ここで、図９のベクトル代用情報では、検索結果対象単語列（検索結果対象発音シンボル列）において、複数回出現する、同一の音節の発音シンボルは、かっこ付きの数字を付すことで区別されている。
すなわち、図９において、例えば、検索結果対象単語列「せかいいさん」には、同一の音節「い」の発音シンボルが２回出現するが、ベクトル代用情報では、その２回出現する音節「い」の発音シンボルのうちの、１つ目の発音シンボルが、「い」で表されるとともに、２つ目の発音シンボルが、「い」に、２つ目であることを表すかっこ付きの数字「（２）」を付した「い（２）」で表されており、これにより、２回出現する音節「い」の発音シンボルそれぞれが区別されている。
なお、ベクトル代用情報では、検索結果対象単語列に複数回出現する、同一の音節の発音シンボルを、区別しないで表現することもできる。
すなわち、図９において、例えば、検索結果対象単語列「せかいいさん」に２回出現する、同一の音節「い」の発音シンボルは、ベクトル代用情報において、音節「い」（を特定するID）と、その音節「い」が出現する頻度である「２」との組（い，２）によって表現することが可能である。
以上のように、マッチング部５６が内蔵するメモリにおいて、検索結果対象ベクトルに代えて、ベクトル代用情報を記憶する場合には、マッチングにおいて、検索結果対象ベクトルを記憶する場合には必要であった、検索結果対象ベクトルの0のコンポーネントへのアクセス（メモリからの0のコンポーネントの読み出し）を行わずに済むので、メモリの記憶容量を削減する他、マッチングを高速化することができる。
図１０は、マッチング部５６が内蔵するメモリにおいて、検索結果対象ベクトルに代えて、ベクトル代用情報を記憶する場合の、音声認識結果と検索結果対象単語列との類似度の計算を説明する図である。
なお、図１０では、図９と同様に、ベクトル代用情報において、検索結果対象単語列に複数回出現する、同一の音節の発音シンボルが、区別されて表現されている。
また、図１０では、検索結果対象単語列（の検索結果対象発音シンボル列）が、検索結果対象ベクトルに代えて、ベクトル代用情報で表現されているのと同様にして、音声認識結果（の認識結果発音シンボル列）も、認識結果ベクトルに代えて、ベクトル代用情報で表現されている。
音声認識結果と検索結果対象単語列との類似度として、コサイン距離や補正距離を求める場合には、認識結果ベクトルVUTRと、検索結果対象ベクトルVTITLE(i)との内積VUTR・VTITLE(i)、及び、認識結果ベクトルVUTRの大きさ|VUTR|が必要となる。
また、コサイン距離、及び、補正距離のうちの第１の補正距離を求める場合には、検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|が、さらに必要となる。
認識結果ベクトルVUTRの大きさ|VUTR|は、音声認識結果のベクトル代用情報を構成するコンポーネントとしての発音シンボルの数の総和の平方根を計算することで求めることができる。
検索結果対象ベクトルVTITLE(i)の大きさ|VTITLE(i)|も、検索結果対象単語列のベクトル代用情報を用い、認識結果ベクトルVUTRの大きさ|VUTR|と同様にして求めることができる。
また、認識結果ベクトルVUTRと、検索結果対象ベクトルVTITLE(i)との内積VUTR・VTITLE(i)は、内積VUTR・VTITLE(i)の初期値を0とし、音声認識結果のベクトル代用情報を構成する発音シンボルを、順次、注目シンボルにして、検索結果対象単語列のベクトル代用情報の中に、注目シンボルに一致する発音シンボルが存在する場合には、内積VUTR・VTITLE(i)を1だけインクリメントしていくことで求めることができる。
したがって、音声認識結果と検索結果対象単語列との類似度としてのコサイン距離や補正距離は、音声認識結果、及び、検索結果対象単語列のベクトル代用情報を用いて求めることができる。
［音声検索装置１０の処理］
図１１は、図１の音声検索装置１０の処理（音声検索の処理）を説明するフローチャートである。
ステップＳ１１において、音声検索装置１０は、必要な前処理を行う。
すなわち、音声検索装置１０は、前処理として、例えば、記録媒体２３に記録されたEPGを構成する構成要素である番組のタイトルや、出演者名、詳細情報等を読み出して、検索結果対象記憶部５３に供給し、検索結果対象単語列として記憶させる等の、入力音声が供給される前に行うことができる処理を行う。
なお、ステップＳ１１の前処理は、例えば、１日ごとに、所定の時刻に行われる。あるいは、ステップＳ１１の前処理は、記録媒体２３に録画されている録画番組が変更されたときや、記録媒体２３に記録されているEPGが変更（更新）されたとき等に行われる。
最新の前処理の後、ユーザが発話を行い、その発話としての入力音声が、音声認識部５１、及び、ユーザ情報設定部５８に供給されると、ステップＳ１２において、ユーザ情報推定部５８は、そこに供給される入力音声から、非言語情報及びパラ言語情報のうちの一方、又は、両方を推定し、その推定結果（非言語情報、パラ言語情報）を、ユーザ情報として、マッチング部５６、及び、生成部５７に供給（出力）する。
そして、ステップＳ１３において、音声認識部５１は、そこに供給される入力音声を音声認識する。
音声認識部５１が入力音声の音声認識を行うことにより得られる音声認識結果は、発音シンボル変換部５２を介することにより、認識結果発音シンボル列となって、マッチング部５６に供給される。
また、マッチング部５６には、検索結果対象記憶部５３に記憶された検索結果対象単語列が、形態素解析部５４及び発音シンボル変換部５５を介することにより、検索結果対象発音シンボル列となって、供給される。
マッチング部５６は、ステップＳ１４において、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、音声認識部５１から発音シンボル変換部５２を介して供給される認識結果発音シンボル列と、検索結果対象記憶部５３から形態素解析部５４及び発音シンボル変換部５５を介して供給される検索結果対象発音シンボル列とのマッチングをとり、そのマッチング結果を、生成部５７に供給する。
すなわち、マッチング部５６は、検索結果対象記憶部５３に記憶された各検索結果対象単語列について、音声認識結果との類似度としての、例えば、コサイン距離、又は、補正距離等を計算し、その類似度を、マッチング結果として、生成部５７に供給する。
生成部５７は、ステップＳ１５において、マッチング部５６からのマッチング結果に基づいて、検索結果単語列を生成し、音声検索装置１０は、音声検索の処理を終了する。
すなわち、生成部５７は、検索結果対象記憶部５３に記憶された検索結果対象単語列の中から、音声認識結果との類似度が上位N位以内の検索結果対象単語列を、検索結果単語列として選択する。
そして、生成部５７で得られた検索結果単語列は、出力I/F３３（図１）に供給される。
なお、検索結果対象単語列が、例えば、番組のタイトルや、出演者名、詳細情報である場合において、音声認識結果との類似度が上位N位以内の検索結果対象単語列の中に、タイトル以外の、例えば、出演者名（又は詳細情報）があるときには、生成部５７では、その出演者名とともに、又は、その出演者名に代えて、その出演者名をメタデータとして有する番組のタイトルを、検索結果単語列として選択することが可能である。
ここで、音声検索装置１０の動作モードが、通常モードに設定されている場合、マッチング部５６、及び、生成部５７は、それぞれ、ユーザ情報推定部５８から供給されるユーザ情報を用いずに、上述したようなマッチングの処理（通常モードのマッチングの処理）、及び、検索結果単語列の生成の処理（通常モードの検索結果単語列の生成の処理）を行う。
一方、動作モードが、関連単語利用マッチングモード、又は、重み付けマッチングモードに設定されている場合、マッチング部５６は、ユーザ情報推定部５８から供給されるユーザ情報を用いて、マッチングの処理を行う。
また、動作モードが、関連単語利用ソートモードに設定されている場合、生成部５７は、後述するように、ユーザ情報推定部５８から供給されるユーザ情報を用いて、検索結果単語列の生成の処理を行う。
関連単語利用マッチングモードのマッチングの処理、重み付けマッチングモードのマッチングの処理、及び、関連単語利用ソートモードの検索結果単語列の生成の処理については、後述する。
なお、図１１では、ステップＳ１２の処理後、ステップＳ１３の処理を行うこととしたが、ステップＳ１２及びＳ１３については、ステップＳ１３の処理を、ステップＳ１２の処理より先に行ってもよいし、ステップＳ１２及びＳ１３の処理を同時（並列）に行ってもよい。
［ユーザ情報推定部５８によるユーザ情報の推定］
図１２は、図１のユーザ情報推定部５８によるユーザ情報の推定の処理を説明する図である。
ここで、上述したように、ユーザ情報には、非言語情報と、パラ言語情報とがある。
そして、ユーザ情報推定部５８では、非言語情報抽出部５８Ａが、例えば、ユーザの入力音声のピッチの検出や、ユーザの入力音声を用いた話者識別等によって、入力音声を発話したユーザ（発話者）の性別や、入力音声を発話したユーザの年齢層（例えば、ユーザが、子供か、大人かという情報）、入力音声を発話したユーザが、どのユーザであるのかというユーザを特定する情報（例えば、ユーザの氏名や、ユーザを特定するID等）等の、ユーザの身体性に関する情報である非言語情報を、入力音声から抽出（推定）する。
図１２は、非言語情報抽出部５８Ａが、入力音声を発話したユーザの性別を、非言語情報（ひいては、ユーザ情報）として推定する方法を説明する図である。
すなわち、図１２は、女性が発生した入力音声（女声）「料理」、及び、男性が発生した入力音声（男声）「料理」それぞれの波形、ピッチ、及び、パワーを示している。
女性の音声のピッチ（周波数）は、平均的に、男性の音声のピッチよりも高いので、非言語情報抽出部５８Ａは、例えば、そのようなピッチによって、入力音声を発話したユーザの性別を推定する。
すなわち、図１２において、女声「料理」のピッチの最高周波数は、男声「料理」のピッチの最高周波数の２倍（１オクターブ）以上の周波数になっており、女声「料理」のピッチは、平均的に、男声「料理」のピッチよりも高い。
そこで、非言語情報抽出部５８Ａは、入力音声のピッチを検出し、その入力音声の（音声区間の）ピッチの平均値である平均ピッチを求める。さらに、非言語情報抽出部５８Ａは、入力音声の平均ピッチと、性別を推定するのにあらかじめ設定された性別用閾値との大小関係に基づいて、入力音声を発話したユーザの性別を推定する。
具体的には、非言語情報抽出部５８Ａは、入力音声の平均ピッチが、性別用閾値以上（又は、より大）であれば、入力音声を発話したユーザの性別が、女性であると推定する。
また、非言語情報抽出部５８Ａは、入力音声の平均ピッチが、性別用閾値以上でなければ、入力音声を発話したユーザの性別が、男性であると推定する。
図１２では、性別用閾値として、160Hzが設定されている。また、図１２では、女声「料理」の平均ピッチは、229.41Hzになっており、男声「料理」の平均ピッチは、116.07Hzになっている。
したがって、図１２では、女声「料理」のユーザの性別は、女性であると推定され、男声「料理」のユーザの性別は、男性であると推定される。
なお、非言語情報抽出部５８Ａでは、その他、例えば、入力音声から、ピッチや、パワー、抑揚等の韻律情報を抽出し、その韻律情報を用いて、入力音声を発話したユーザが、どのユーザであるのかというユーザを特定する情報（例えば、ユーザの氏名や、ユーザを特定するID等）を得る話者識別（ユーザの同定）を行うことができる。
非言語情報抽出部５８Ａにおいて、以上のように、入力音声を発話したユーザを推定し、そのユーザを特定する情報（以下、ユーザ特定情報ともいう）を得る話者識別を行う場合には、その話者識別によって推定される（得られる）ユーザ特定情報と、そのユーザ特定情報によって特定されるユーザの嗜好や行動履歴（例えば、ユーザが高頻度で視聴、又は、録画を行う番組のタイトルやジャンル、操作部３１（図１）の操作の履歴等）、ユーザの性別、及び、年齢等のユーザに関する情報とを対応付けたテーブル（以下、ユーザテーブルともいう）を、レコーダにおいて、あらかじめ作成して記憶しておくことができる。
この場合、非言語情報抽出部５８Ａでは、話者識別を行い、ユーザテーブルにおいて、話者識別の結果得られるユーザ特定情報に対応付けられている情報を参照して、入力音声を発話したユーザの性別を推定することができる。
なお、非言語情報抽出部５８Ａにおいて、話者識別によって、ユーザを推定する場合には、そのユーザを特定するユーザ特定情報を、非言語情報、ひいては、ユーザ情報として、ユーザ情報推定部５８からマッチング部５６や生成部５７に供給することができる。
ここで、非言語情報抽出部５８Ａでは、入力音声を発話したユーザの性別やユーザ特定情報の他、入力音声の平均ピッチの高低によって、ユーザの年齢層を推定し（例えば、入力音声の平均ピッチが所定値より高い場合には、ユーザが子供であると推定し、入力音声の平均ピッチが所定値以下である場合には、ユーザが大人であると推定し）、そのユーザの年齢層を、非言語情報、ひいては、ユーザ情報として、マッチング部５６や生成部５７に供給することができる。
図１３は、図１のユーザ情報推定部５８によるユーザ情報の推定の処理を説明する図である。
ここで、上述したように、ユーザ情報には、非言語情報と、パラ言語情報とがある。
そして、ユーザ情報推定部５８では、パラ言語情報抽出部５８Ｂが、例えば、ユーザの入力音声のピッチ（声の高さ）や、パワー（声の大きさ）、発話速度（声の速さ）等の韻律情報の検出等によって、入力音声の音声区間のうちの、ユーザが強調して発話を行っている強調区間を、入力音声から、ユーザの意図や感情等の心的態度に関する情報であるパラ言語情報として推定する。
そして、ユーザ情報推定部５８は、強調区間を表すユーザ情報を、ユーザ情報推定部５８からマッチング部５６や生成部５７に供給する。
図１３は、パラ言語情報抽出部５８Ｂが、入力音声の音声区間中の強調区間を、パラ言語情報として推定する方法を説明する図である。
すなわち、図１３は、「世界遺産」の発話を、強調をせずに行った入力音声（通常音声）、及び、一部を強調して行った入力音声（強調音声）それぞれの波形、ピッチ、及び、パワーを示している。
ここで、強調音声「世界遺産」では、「世界遺産」のうちの「遺産」、すなわち、音素で表記すれば、"sekaiisaN"のうちの"isaN"が強調して発話されている。
図１３において、通常音声「世界遺産」と、強調音声「世界遺産」とについては、強調して発話された部分（以下、強調部分ともいう）である「遺産」（のうちの、特に、"saN"）のピッチやパワーに、特徴的な違いがみられる。
そこで、パラ言語情報抽出部５８Ｂは、入力音声のピッチやパワーに基づいて、強調区間を推定する。
すなわち、パラ言語情報抽出部５８Ｂは、例えば、入力音声のピッチを検出し、その平均ピッチを求める。さらに、パラ言語情報抽出部５８Ｂは、例えば、平均ピッチに、所定の係数（例えば、1.2等の1.0以上の値）を乗算した乗算値を、強調区間の推定のための強調用閾値として求め、入力音声のピッチと、強調用閾値との大小関係に基づいて、入力音声の（音声区間中の）強調区間を推定する。
具体的には、パラ言語情報抽出部５８Ｂは、入力音声の音声区間中の、ピッチが強調用閾値以上（又は、より大）である区間を、強調区間の候補区間として検出し、その候補区間を強調区間として推定する。
図１３の通常音声については、平均ピッチが、119.59Hzになっており、その平均ピッチに、所定の係数としての1.2を乗算した乗算値である強調用閾値が、143.51Hzになっている。
そして、通常音声の音声区間においては、ピッチが、強調用閾値である143.51Hzを超える区間が存在しないので、候補区間は、検出されない。
一方、図１３の強調音声については、平均ピッチが、175.58Hzになっており、その平均ピッチに、所定の係数としての1.2を乗算した乗算値である強調用閾値が、210.94Hzになっている。
そして、強調音声の音声区間においては、ピッチが、強調用閾値である143.51Hzを超える区間が存在し、すなわち、「遺産」の区間において、ピッチが強調用閾値を超えており、その「遺産」の区間が、候補区間として検出され、ひいては、強調区間として推定される。
なお、隣接する２つの強調区間の最小の時間間隔としてあらかじめ設定された第１の時間T1内に、他の候補区間が存在しない、いわば孤立した候補区間については、その孤立した候補区間の幅が、１つの強調区間の最小の時間としてあらかじめ設定された第２の時間Tより小である場合には、その候補区間は、強調区間としては、短すぎるので、強調区間に推定しないことができる。
また、隣接する２つの候補区間の時間間隔が、第１の時間T1より小である場合には、その２つの候補区間は、時間的に先行する候補区間の先頭から、時間的に後行する候補区間の終わりまでの１つの強調区間に推定することができる。
図１４は、パラ言語情報抽出部５８Ｂが、入力音声の音声区間中の強調区間を、パラ言語情報として推定する方法を説明する図である。
すなわち、図１４は、「レオナルド」の発話を、強調をせずに行った入力音声（通常音声）、及び、一部を強調して行った入力音声（強調音声）それぞれの波形、ピッチ、及び、パワーを示している。
ここで、強調音声「レオナルド」では、「レオナルド」のうちの「ナ」、すなわち、音素で表記すれば、"reonarudo"のうちの"na"が強調して発話されている。
図１４において、通常音声「レオナルド」と、強調音声「レオナルド」とについては、強調部分である「ナ」（のうちの、特に、"a"）のピッチやパワーに、特徴的な違いがみられる。
そこで、パラ言語情報抽出部５８Ｂは、入力音声のピッチやパワーに基づいて、強調区間を推定する。
すなわち、パラ言語情報抽出部５８Ｂは、図１３の場合と同様に、入力音声のピッチを検出し、その平均ピッチを求める。さらに、パラ言語情報抽出部５８Ｂは、平均ピッチに、所定の係数としての、例えば、1.2を乗算した乗算値を、強調用閾値として求め、入力音声のピッチと、強調用閾値との大小関係に基づいて、候補区間を検出し、ひいては、入力音声の（音声区間中の）強調区間を推定する。
図１４の通常音声については、平均ピッチが、121.51Hzになっており、その平均ピッチに、所定の係数としての1.2を乗算した乗算値である強調用閾値が、145.81Hzになっている。
そして、通常音声の音声区間においては、ピッチが、強調用閾値である145.81Hzを超える区間が存在しないので、候補区間は、検出されない。
一方、図１４の強調音声については、平均ピッチが、131.63Hzになっており、その平均ピッチに、所定の係数としての1.2を乗算した乗算値である強調用閾値が、157.96Hzになっている。
そして、強調音声の音声区間においては、ピッチが、強調用閾値である157.96Hzを超える区間が存在し、すなわち、「ナ」の区間において、ピッチが強調用閾値を超えており、その「ナ」の区間が、候補区間として検出され、ひいては、強調区間として推定される。
なお、ピッチは、主として、母音の影響を受けるので、候補区間の先頭が母音である場合には、その候補区間は、その先頭に存在する母音を含む音節の先頭（例えば、母音に先行する子音の先頭）の位置まで拡張し、その拡張後の候補区間を、強調区間として推定することができる。
以上においては、パラ言語情報抽出部５８Ｂにおいて、ピッチを用いて、強調区間を推定したが、強調区間は、ピッチの他、パワーや発話速度を用いて推定することができる。
すなわち、パラ言語情報抽出部５８Ｂでは、例えば、音声区間のうちの、パワーが、所定の閾値（例えば、パワーの平均値に所定の係数を乗算した乗算値）以上の区間を候補区間として検出し、その候補区間を強調区間として推定することができる。
また、パラ言語情報抽出部５８Ｂでは、例えば、音声区間のうちの、発話速度が、所定の閾値以下の区間を候補区間として検出し、その候補区間を強調区間として推定することができる。
図１５は、パラ言語情報抽出部５８Ｂが、入力音声の音声区間中の強調区間を、発話速度を用いて推定する方法を説明する図である。
すなわち、図１５は、「レオナルド」の発話を、一部を強調して行った入力音声（強調音声）、及び、「レオナ」の発話を、一部を強調して行った入力音声（強調音声）それぞれの波形、ピッチ、及び、パワーを示している。
強調音声「レオナルド」では、「レオナルド」のうちの「ナ」、すなわち、音素で表記すれば、"reonarudo"のうちの"na"が強調して発話されている。
また、強調音声「レオナ」では、「レオナ」のうちの「ナ」、すなわち、音素で表記すれば、"reona"のうちの"na"が強調して発話されている。
ここで、図１５では、発話速度を、発話の一部で遅くすることで、その発話の一部が強調されている。
パラ言語情報抽出部５８Ｂは、発話速度を用いて、強調区間を推定する場合には、音声区間の各音素の区間（時間）（以下、音素区間ともいう）の逆数を、その音素の発話速度として求める。
そして、パラ言語情報抽出部５８Ｂは、発話速度と、所定の閾値との大小関係に基づいて、入力音声の（音声区間中の）強調区間を推定する。
具体的には、パラ言語情報抽出部５８Ｂは、入力音声の音声区間中の、発話速度が所定の閾値以下（又は、より小）である区間、つまり、その所定の閾値の逆数が表す時間である、例えば、１秒以上の音素区間を、強調区間の候補区間として検出し、その候補区間を強調区間として推定する。
図１５の強調音声「レオナルド」については、音素"a"の音素区間が、1.06秒で、１秒以上になっており、候補区間として検出される。
また、図１５の強調音声「レオナ」についても、音素"a"の音素区間が、1.33秒で、１秒以上になっており、候補区間として検出される。
したがって、図１５の強調音声「レオナルド」及び「レオナ」については、いずれも、音素"a"の音素区間が、強調区間として推定される。
なお、音素区間を、１秒以上とすることができる音素は、主として母音であるため、候補区間の先頭が母音である場合には、その候補区間は、その先頭に存在する母音を含む音節の先頭の位置まで拡張し、その拡張後の候補区間を、強調区間として推定することができる。
ここで、上述の場合には、パラ言語情報抽出部５８Ｂにおいて、ピッチ、パワー、及び、発話速度のうちの１つを用いて、強調区間を推定したが、強調区間の推定は、ピッチ、パワー、及び、発話速度のうちの複数を用いて行うことが可能である。
すなわち、パラ言語情報抽出部５８Ｂでは、例えば、ピッチを用いて検出された候補区間と、パワーを用いて検出された候補区間とが重なる区間や、ピッチを用いて検出された候補区間と、パワーを用いて検出された候補区間とのうちの少なくとも一方になっている区間を、強調区間として推定することが可能である。
また、パラ言語情報抽出部５８Ｂでは、ユーザに、同一の発話を、通常音声と、強調音声とで、連続して行ってもらい、１回目の発話である通常音声のピッチ、パワー、及び、発話速度と、２回目の発話である強調音声のピッチ、パワー、及び、発話速度とを、それぞれ比較し、その比較において、ピッチ、パワー、又は、発話速度に顕著な差（閾値以上の差）が存在する区間を、強調区間として推定することができる。
［関連単語利用マッチングモードのマッチング］
図１６は、図２の音声検索装置１０の動作モードが、関連単語利用マッチングモードに設定されている場合に、マッチング部５６が図１１のステップＳ１４で行う、関連単語利用マッチングモードのマッチングの処理を説明するフローチャートである。
ステップＳ２１において、マッチング部５６は、ユーザ情報推定部５８から供給されるユーザ情報に関連する関連単語を取得する。
すなわち、例えば、ユーザ情報推定部５８（の非言語情報抽出部５８Ａ）において、入力音声を発話したユーザの性別が推定され、その推定結果である性別を表す（非言語情報を含む）ユーザ情報が、マッチング部５６に供給されている場合には、マッチング部５６は、ステップＳ２１において、ユーザ情報が表すユーザの性別に関連する関連単語を取得する。
ここで、ユーザ情報が表すユーザの性別が、「女性」である場合、その「女性」に関連する関連単語としては、例えば、「女」、「オンナ」、「お母さん」、「ママ」、「スイーツ」、「おやつ」、「ダイエット」、「お弁当」等がある。
また、ユーザ情報が表すユーザの性別が、「男性」である場合、その「男性」に関連する関連単語としては、例えば、「男」、「オトコ」、「お父さん」、「パパ」、「つまみ」、「酒」等がある。
ユーザの性別に関連する関連単語は、装置の設計者が、あらかじめ、音声検索装置１０に登録しておくことができる。
さらに、音声検索装置１０において、例えば、インターネット上のwebページや、所定のコーパス等の、文のデータベースを対象として、「男性」や「女性」等の性別を表す単語とともに出現する頻度が高い単語を検索し、その単語を、ユーザの性別に関連する関連単語として登録しておくことができる。
また、例えば、ユーザ情報推定部５８（の非言語情報抽出部５８Ａ）において、話者識別により、入力音声を発話したユーザが推定され、そのユーザを特定するユーザ特定情報を表す（非言語情報を含む）ユーザ情報が、マッチング部５６に供給されている場合には、マッチング部５６は、ステップＳ２１において、ユーザ情報が表すユーザ特定情報によって特定されるユーザに関連する関連単語を取得する。
ここで、図１のレコーダでは、上述したように、ユーザ特定情報と、そのユーザ特定情報によって特定されるユーザの嗜好や行動履歴（例えば、ユーザが高頻度で視聴、又は、録画を行う番組のタイトルやジャンル、操作部３１（図１）の操作の履歴等）等のユーザに関する情報とを対応付けたユーザテーブルがあらかじめ作成されて記憶されていることとする。
この場合、マッチング部５６は、ユーザテーブルにおいて、ユーザ情報が表すユーザ特定情報に対応付けられている情報である、例えば、ユーザが高頻度で視聴、又は、録画を行う番組のタイトルやジャンル等（を表す単語列の各単語）を、ユーザ情報が表すユーザ特定情報によって特定されるユーザに関連する関連単語として取得する。
なお、ユーザテーブルには、ユーザが、そのユーザに関連する関連単語となる単語を、操作部３１（図１）を操作することにより登録することができる。
マッチング部５６は、ユーザ情報推定部５８から供給されるユーザ情報に関連する関連単語を取得すると、ステップＳ２２において、音声認識部５１から発音シンボル変換部５２を介して供給される認識結果発音シンボル列に、関連単語を付加する。
すなわち、マッチング部５６は、認識結果発音シンボル列の、先頭、又は、最後に、関連単語の発音シンボル列を付加する。
そして、マッチング部５６は、ステップＳ２３において、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、関連単語が付加された認識結果発音シンボル列と、検索結果対象記憶部５３から形態素解析部５４及び発音シンボル変換部５５を介して供給される検索結果対象発音シンボル列とのマッチングをとり（類似度を計算し）、そのマッチング結果（類似度）を、生成部５７に供給して、処理はリターンする。
したがって、マッチング部５６においては、通常モードでは、認識結果発音シンボル列そのものと、検索結果対象発音シンボル列とのマッチングがとられるが、関連単語利用マッチングモードでは、関連単語が付加された認識結果発音シンボル列と、検索結果対象発音シンボル列とのマッチングがとられる。
その結果、関連単語利用マッチングモードでは、発話者であるユーザ（自身や性別）に応じて異なる、柔軟な検索結果単語列を得ることができる。
すなわち、例えば、ユーザの性別が推定され、その性別を表すユーザ情報が、ユーザ情報推定部５８からマッチング部５６に供給されている場合に、ユーザ情報が表すユーザの性別が「女性」であるときには、マッチング部５６では、「女性」に関連する上述した関連単語「女」等を、認識結果発音シンボル列に付加してマッチングがとられる。
したがって、関連単語「女」等を、認識結果発音シンボル列に付加しないでマッチングがとられる場合（通常モードのマッチング）に比較して、発話を行った女性のユーザに適した検索結果対象単語列が、上位に位置するマッチング結果、ひいては、そのような検索結果対象単語列が、検索結果単語列となった検索結果を得ることができる。
また、ユーザ情報が表すユーザの性別が「男性」であるときには、マッチング部５６では、「男性」に関連する上述した関連単語「男」等を、認識結果発音シンボル列に付加してマッチングがとられる。
したがって、関連単語「男」等を、認識結果発音シンボル列に付加しないでマッチングがとられる場合に比較して、発話を行った男性のユーザに適した検索結果対象単語列が、上位に位置するマッチング結果、ひいては、そのような検索結果対象単語列が、検索結果単語列となった検索結果を得ることができる。
さらに、例えば、ユーザが推定され、そのユーザを特定するユーザ特定情報を表すユーザ情報が、ユーザ情報推定部５８からマッチング部５６に供給されている場合には、マッチング部５６では、ユーザ情報が表すユーザ特定情報によって特定されるユーザが高頻度で視聴する番組のタイトル等を、関連単語として、認識結果発音シンボル列に付加してマッチングがとられる。
したがって、ユーザが高頻度で視聴する番組のタイトル等を、認識結果発音シンボル列に付加しないでマッチングがとられる場合（通常モードのマッチング）に比較して、発話を行ったユーザの嗜好に合致した（ユーザに適した）検索結果対象単語列が、上位に位置するマッチング結果、ひいては、そのような検索結果対象単語列が、検索結果単語列となった、ユーザ個人に特化した検索結果を得ることができる。
なお、関連単語利用マッチングモードにおいて、マッチング部５６は、複数の関連単語を取得した場合には、例えば、各関連単語を、順次、注目する注目単語に選択し、その注目単語を、認識結果発音シンボル列に付加して、検索結果対象発音シンボル列とのマッチングをとる。
［関連単語利用ソートモードのマッチング］
図１７は、図２の音声検索装置１０の動作モードが、関連単語利用ソートモードに設定されている場合に、生成部５７が図１１のステップＳ１５で行う、関連単語利用ソートモードの検索結果単語列の生成の処理を説明するフローチャートである。
ステップＳ３１において、生成部５７は、ユーザ情報推定部５８から供給されるユーザ情報に関連する関連単語を取得する。
すなわち、生成部５７は、図１６のステップＳ２１において、マッチング部５６が関連単語を取得する場合と同様にして、ユーザ情報推定部５８からのユーザ情報が表すユーザの性別に関連する関連単語や、そのユーザ情報が表すユーザ特定情報によって特定されるユーザに関連する関連単語を取得する。
生成部５７は、ユーザ情報推定部５８から供給されるユーザ情報に関連する関連単語を取得すると、ステップＳ３２において、マッチング部５６からのマッチング結果である類似度に基づいて、検索結果対象記憶部５３に記憶された検索結果対象単語列をソートし、ソート後の検索結果対象単語列のリスト（以下、検索結果候補リストともいう）を生成する。
すなわち、生成部５７は、検索結果対象記憶部５３に記憶された検索結果対象単語列を、類似度の昇順に登録した検索結果候補リストを生成する。
そして、ステップＳ３３において、生成部５７は、検索結果候補リストの検索結果対象単語列のうちの、関連単語を含む検索結果対象単語列（以下、関連単語あり単語列ともいう）が上位に位置するように、検索結果候補リストの検索結果対象単語列をソートする。
すなわち、生成部５７は、検索結果候補リストの検索結果対象単語列から、関連単語あり単語列を検出し、その関連単語あり単語列を、その関連単語あり単語列どうしの順位の位置関係を維持したまま、検索結果候補リストの上位の位置に移動する。
したがって、類似度が高い（大きい）検索結果対象単語列であっても、関連単語を含まない場合には、その検索結果対象単語列の、検索結果候補リスト上の順位は、関連単語あり単語列の順位よりも下位になる。
その後、ステップＳ３４において、生成部５７は、検索結果候補リストの上位N個の検索結果対象単語列を、検索結果単語列として選択することにより、検索結果単語列を生成して、処理はリターンする。
したがって、生成部５７においては、通常モードでは、検索結果対象記憶部５３に記憶された検索結果対象単語列の中で、類似度が上位N個の検索結果対象単語列が、検索結果単語列として選択されるが、関連単語利用ソートモードでは、関連単語を含む検索結果単語列（関連単語あり単語列）の中で、類似度が上位N個の検索結果単語列が、検索結果単語列として選択される。
その結果、関連単語利用ソートモードでは、ユーザ（発話者）に応じて異なる、柔軟な検索結果単語列を得ることができる。
すなわち、図１８は、ユーザの性別を表すユーザ情報が、ユーザ情報推定部５８から生成部５７に供給される場合に、生成部５７において、関連単語利用ソートモードで生成される検索結果単語列を示す図である。
いま、女性のユーザと、男性のユーザとが、いずれも、入力音声「料理」を発話したとすると、通常モードでは、生成部５７において、女性のユーザについても、男性のユーザについても、類似度が上位N個の検索結果対象単語列が、検索結果単語列として選択される。したがって、通常モードでは、ユーザが女性であっても、男性であっても、同一の入力音声「料理」に対して、同一の検索結果単語列が得られる。
一方、関連単語利用ソートモードでは、ユーザ情報が表すユーザの性別が「女性」である場合には、生成部５７では、「女性」に関連する図１７で説明した関連単語「女」、「オンナ」、「お母さん」、「ママ」、「スイーツ」、「おやつ」、「ダイエット」、「お弁当」等を含む検索結果対象単語列のうちの、類似度が上位N個（図１８では、5個）の検索結果対象単語列が、ユーザの性別である「女性」向けの検索結果単語列として選択される。
また、ユーザ情報が表すユーザの性別が「男性」である場合には、生成部５７では、「男性」に関連する図１７で説明した関連単語「男」、「オトコ」、「お父さん」、「パパ」、「つまみ」、「酒」等を含む検索結果対象単語列のうちの、類似度が上位N個の検索結果対象単語列が、ユーザの性別である「男性」向けの検索結果単語列として選択される。
したがって、関連単語利用ソートモードでは、入力音声を発話したユーザの性別によって、その性別のユーザに適した検索結果対象単語列が、検索結果単語列となった検索結果を得ることができる。
図１９は、ユーザを特定するユーザ特定情報を表すユーザ情報が、ユーザ情報推定部５８から生成部５７に供給される場合に、生成部５７において、通常モードと、関連単語利用ソートモードとのそれぞれで生成される検索結果単語列を示す図である。
いま、ユーザが、入力音声「料理」を発話したとすると、通常モードでは、生成部５７において、どのユーザについても、入力音声「料理」との類似度が上位N個の検索結果対象単語列が、検索結果単語列として選択される。すなわち、通常モードでは、発話者が、どのユーザであっても、同一の入力音声「料理」に対して、同一の検索結果単語列が得られる。
一方、関連単語利用ソートモードでは、ユーザ情報が表すユーザ特定情報によって特定されるユーザが、例えば、タイトルが「食彩浪漫」という番組を頻繁に視聴しており、そのタイトル「食彩浪漫」が、関連単語として取得されたとすると、生成部５７では、関連単語「食彩浪漫」を含む検索結果対象単語列のうちの、入力音声「料理」との類似度が上位N個（図１８では、5個）の検索結果対象単語列が、入力音声「料理」を発話したユーザに特化した検索結果単語列として選択される。
したがって、関連単語利用ソートモードでは、入力音声を発話したユーザが頻繁に視聴する番組等の、そのユーザの嗜好等によって、そのユーザに適した検索結果対象単語列が、検索結果単語列となった検索結果を得ることができる。
なお、関連単語利用ソートモードにおいて、生成部５７は、複数の関連単語を取得した場合には、例えば、関連単語を含む検索結果対象単語列（関連単語あり単語列）であれば、その関連単語あり単語列に含まれる関連単語の数に関係なく、関連単語あり単語列が上位に位置するように、検索結果候補リストの検索結果対象単語列をソートすることもできるし、関連単語あり単語列に含まれる関連単語の数に応じて、検索結果候補リストの検索結果対象単語列をソートすることもできる。
生成部５７において、関連単語あり単語列に含まれる関連単語の数に応じて、検索結果候補リストの検索結果対象単語列をソートする場合には、含まれる関連単語の数が多い関連単語あり単語列ほど、上位、又は、下位に位置するように、検索結果候補リストの検索結果対象単語列をソートすることができる。
ここで、図１６で説明した関連単語利用マッチングモードでも、図１８や図１９に示した、関連単語利用ソートモードで得られる場合と同様の、ユーザに適した検索結果単語列を得ることができる。
［重み付けマッチングモードのマッチング］
図２０は、図２の音声検索装置１０の動作モードが、重み付けマッチングモードに設定されている場合に、マッチング部５６が図１１のステップＳ１４で行う、重み付けマッチングモードのマッチングの処理を説明するフローチャートである。
ステップＳ４１において、マッチング部５６は、音声認識部５１から発音シンボル変換部５２を介して供給される認識結果発音シンボル列から、ユーザ情報推定部５８から供給されるユーザ情報が表す強調区間の発音シンボル（列）を、重み付け対象シンボルとして検出する。
その後、ステップＳ４２において、マッチング部５６は、検索結果対象記憶部５３に記憶されたすべての検索結果対象単語列それぞれについて、認識結果発音シンボル列と、検索結果対象記憶部５３から形態素解析部５４及び発音シンボル変換部５５を介して供給される検索結果対象発音シンボル列とのマッチング（類似度の計算）を、認識結果発音シンボル列のうちの、重み付け対象シンボルに重み付けをして実行する。
そして、マッチング部５６は、マッチング結果（類似度）を、生成部５７に供給して、処理はリターンする。
したがって、マッチング部５６においては、認識結果発音シンボル列と、検索結果対象発音シンボル列とのマッチングは、通常モードでは、特に重み付けをすることなく行われるが、重み付けマッチングモードでは、認識結果発音シンボル列のうちの、強調区間の発音シンボルである重み付け対象シンボルに重み付けをして行われる。
その結果、重み付けマッチングモードでは、入力音声中の、ユーザが強調して発話を行った強調部分に応じて異なる、柔軟な検索結果単語列を得ることができる。
図２１は、重み付けマッチングモードのマッチングの処理を説明する図である。
すなわち、図２１Ａは、マッチング部５６が、重み付けマッチングモードにおいて、検索結果対象ベクトルに代えて、ベクトル代用情報を用いて行う、音声認識結果と検索結果対象単語列との類似度の計算（マッチング）を説明する図である。
なお、図２１Ａでは、図９及び図１０と同様に、ベクトル代用情報において、検索結果対象単語列に複数回出現する、同一の音節の発音シンボルが、区別されて表現されている。
また、図２１Ａでは、図１０と同様に、検索結果対象単語列（の検索結果対象発音シンボル列）が、検索結果対象ベクトルに代えて、ベクトル代用情報で表現されているのと同様にして、音声認識結果（の認識結果発音シンボル列）も、認識結果ベクトルに代えて、ベクトル代用情報で表現されている。
図１０で説明したように、音声認識結果と検索結果対象単語列との類似度として、コサイン距離や補正距離を求める場合には、認識結果ベクトルVUTRと、検索結果対象ベクトルVTITLE(i)との内積VUTR・VTITLE(i)が必要となる。
通常モードでは、内積VUTR・VTITLE(i)は、内積VUTR・VTITLE(i)の初期値を0とし、音声認識結果のベクトル代用情報を構成する発音シンボルを、順次、注目シンボルにして、検索結果対象単語列のベクトル代用情報の中に、注目シンボルに一致する発音シンボルが存在する場合には、内積VUTR・VTITLE(i)を1だけインクリメントしていくことで求められる。
一方、重み付けマッチングモードでは、注目シンボルが、重み付け対象シンボルでない場合には、検索結果対象単語列のベクトル代用情報の中に、注目シンボルに一致する発音シンボルが存在すれば、内積VUTR・VTITLE(i)は、通常モードと同様に、1だけインクリメントされる。
また、注目シンボルが、重み付け対象シンボルである場合には、検索結果対象単語列のベクトル代用情報の中に、注目シンボルに一致する発音シンボルが存在すれば、内積VUTR・VTITLE(i)は、通常モードの場合のインクリメント量である1に、重みを付した値（例えば、2等の、1より大きな値）だけインクリメントされる。
その結果、重み付けマッチングモードでは、入力音声の音声認識結果の認識結果発音シンボル列のうちの、ユーザが強調して発話を行った強調部分の発音シンボル（重み付け対象シンボル）と同一の発音シンボルを、検索結果対象発音シンボル列の中に含む検索結果対象単語列の類似度が、通常モードの場合よりも大になり、そのような検索結果対象単語列が、検索結果単語列として得られ易くなる。
図２１Ｂは、入力音声「世界遺産」を、「遺産」を強調して発話した場合に、通常モードと、重み付けマッチングモードとのそれぞれで求められる類似度としてのコサイン距離を示している。
図２１Ｂには、３つの検索結果対象単語列「THE世界遺産」、「世界の空」、及び、「賢者の遺産」のそれぞれについて、通常モードと、重み付けマッチングモードとのそれぞれで求められる、入力音声「世界遺産」（の音声認識結果）との類似度が示されている。
通常モードでは、入力音声「世界遺産」のすべてを含む検索結果対象単語列「THE世界遺産」の類似度は0.926に、入力音声の一部「世界」を含む検索結果対象単語列「世界の空」の類似度は0.500に、入力音声の他の一部「遺産」を含む検索結果対象単語列「賢者の遺産」の類似度は0.463に、それぞれなっている。
したがって、入力音声の一部を含む検索結果対象単語列「世界の空」、及び、「賢者の遺産」については、検索結果対象単語列「世界の空」の類似度(0.500)が、検索結果対象単語列「賢者の遺産」の類似度(0.463)に比較して大きいので、入力音声「世界遺産」の強調部分「遺産」を含まない検索結果対象単語列「世界の空」の方が、入力音声「世界遺産」の強調部分「遺産」を含む検索結果対象単語列「賢者の遺産」に比較して、入力音声「世界遺産」に対する検索結果単語列として得られ易い。
一方、重み付けマッチングモードでは、入力音声「世界遺産」のすべてを含む検索結果対象単語列「THE世界遺産」の類似度は0.949に、入力音声の一部「世界」を含む検索結果対象単語列「世界の空」の類似度は0.378に、入力音声の他の一部「遺産」を含む検索結果対象単語列「賢者の遺産」の類似度は0.556に、それぞれなっている。
したがって、入力音声の一部を含む検索結果対象単語列「世界の空」、及び、「賢者の遺産」については、検索結果対象単語列「世界の空」の類似度(0.378)が、検索結果対象単語列「賢者の遺産」の類似度(0.556)に比較して小さいので、入力音声「世界遺産」の強調部分「遺産」を含む検索結果対象単語列「賢者の遺産」の方が、入力音声「世界遺産」の強調部分「遺産」を含まない検索結果対象単語列「世界の空」に比較して、入力音声「世界遺産」に対する検索結果単語列として得られ易い。
以上のように、重み付けマッチングモードでは、強調部分を含む検索結果対象単語列の類似度が、通常モードの場合よりも大になり、そのような検索結果対象単語列が、検索結果単語列として得られ易くなる。
図２２は、入力音声「世界遺産」を、「遺産」を強調して発話した場合に、通常モードと、重み付けマッチングモードとのそれぞれで得られる検索結果単語列を示す図である。
通常モードでは、入力音声「世界遺産」のすべてを含む検索結果対象単語列が、検索結果単語列として得られるとともに、入力音声「世界遺産」のうちの強調部分でない部分「世界」のみを含む検索結果対象単語列と、入力音声「世界遺産」のうちの強調部分「遺産」のみを含む検索結果対象単語列とが、ほぼ均等な数だけ、検索結果単語列として得られる。
一方、重み付けマッチングモードでは、入力音声「世界遺産」のすべてを含む検索結果対象単語列が、通常モードの場合と同様に、検索結果単語列として得られるとともに、入力音声「世界遺産」のうちの強調部分「遺産」のみを含む検索結果対象単語列が、通常モードの場合よりも多く、検索結果単語列として得られる。
逆に言えば、重み付けマッチングモードでは、入力音声「世界遺産」のうちの強調部分でない部分「世界」を含むが、強調部分「遺産」を含まない検索結果対象単語列が、検索結果単語列として得られることを抑えることができる。
［本発明を適用したコンピュータの説明］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、例えば、音声検索装置１０の処理の一部、又は、全部は、ＬＡＮやインターネット上のサーバに、必要なデータを送信して行ってもらうことが可能である。
１０ 音声検索装置， ２０ レコーダ機能部， ２１ チューナ， ２２ 記録再生部， ２３ 記録媒体， ３１ 操作部， ３２ 制御部， ３３ 出力I/F， ５１ 音声認識部， ５２ 発音シンボル変換部， ５３ 検索結果対象記憶部， ５４ 形態素解析部， ５５ 発音シンボル変換部， ５６ マッチング部， ５７ 生成部， ５８ ユーザ情報推定部， ５８Ａ 非言語情報抽出部， ５８Ｂ パラ言語情報抽出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (6)

  1. 入力音声を音声認識する音声認識部と、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部と
    を備え、
    複数の動作モードのうちの設定された動作モードに従い、前記生成部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理を行う
    検索装置。
  2. 入力音声に対応する単語列を検索する検索装置が、
    入力音声を音声認識する音声認識ステップと、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定ステップと、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチングステップと、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成ステップと
    を含み、
    複数の動作モードのうちの設定された動作モードに従い、前記生成ステップでは、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理を行う
    検索方法。
  3. 入力音声を音声認識する音声認識部と、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部と
    として、コンピュータを機能させるためのプログラムであり、
    複数の動作モードのうちの設定された動作モードに従い、前記生成部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記ユーザ情報が表す前記発話者の性別に関連する関連単語を含む前記検索結果対象単語列が、上位に位置するように、前記検索結果対象単語列をソートする処理を行う
    プログラム。
  4. 入力音声を音声認識する音声認識部と、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部と
    を備え、
    複数の動作モードのうちの設定された動作モードに従い、前記マッチング部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理を行う
    検索装置。
  5. 入力音声に対応する単語列を検索する検索装置が、
    入力音声を音声認識する音声認識ステップと、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定ステップと、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチングステップと、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成ステップと
    を含み、
    複数の動作モードのうちの設定された動作モードに従い、前記マッチングステップでは、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理を行う
    検索方法。
  6. 入力音声を音声認識する音声認識部と、
    前記入力音声から、前記入力音声の発話者の性別を推定し、その推定結果を表すユーザ情報を出力するユーザ情報推定部と、
    前記入力音声に対応する単語列の検索結果の対象となる単語列である複数の検索結果対象単語列それぞれについて、前記検索結果対象単語列の発音を表す発音シンボルの並びである検索結果対象発音シンボル列と、前記入力音声の音声認識結果の発音を表す発音シンボルの並びである認識結果発音シンボル列とのマッチングをとるマッチング部と、
    前記検索結果対象発音シンボル列と前記認識結果発音シンボル列とのマッチング結果に基づいて、前記複数の検索結果対象単語列からの、前記入力音声に対応する単語列の検索の結果である検索結果単語列を生成する生成部と
    として、コンピュータを機能させるためのプログラムであり、
    複数の動作モードのうちの設定された動作モードに従い、前記マッチング部は、前記ユーザ情報に応じて処理結果が異なるものとなる処理として、前記検索結果対象発音シンボル列と、前記ユーザ情報が表す前記発話者の性別に関連する関連単語が付加された前記認識結果発音シンボル列とのマッチングをとる処理を行う
    プログラム。
JP2010119767A 2010-05-25 2010-05-25 検索装置、検索方法、及び、プログラム Expired - Fee Related JP5610197B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010119767A JP5610197B2 (ja) 2010-05-25 2010-05-25 検索装置、検索方法、及び、プログラム
US13/110,338 US8600752B2 (en) 2010-05-25 2011-05-18 Search apparatus, search method, and program
CN2011101351232A CN102262644A (zh) 2010-05-25 2011-05-18 搜索装置、搜索方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010119767A JP5610197B2 (ja) 2010-05-25 2010-05-25 検索装置、検索方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2011248020A JP2011248020A (ja) 2011-12-08
JP2011248020A5 JP2011248020A5 (ja) 2013-06-06
JP5610197B2 true JP5610197B2 (ja) 2014-10-22

Family

ID=45009274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010119767A Expired - Fee Related JP5610197B2 (ja) 2010-05-25 2010-05-25 検索装置、検索方法、及び、プログラム

Country Status (3)

Country Link
US (1) US8600752B2 (ja)
JP (1) JP5610197B2 (ja)
CN (1) CN102262644A (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5602653B2 (ja) * 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
KR101231438B1 (ko) * 2011-05-25 2013-02-07 엔에이치엔(주) 외래어 발음 검색 서비스를 제공하는 검색결과 제공 시스템 및 방법
JP5113936B1 (ja) * 2011-11-24 2013-01-09 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
US9558275B2 (en) * 2012-12-13 2017-01-31 Microsoft Technology Licensing, Llc Action broker
CN103024530A (zh) * 2012-12-18 2013-04-03 天津三星电子有限公司 智能电视语音应答系统及方法
WO2014136173A1 (ja) * 2013-03-04 2014-09-12 三菱電機株式会社 検索装置
US9443508B2 (en) * 2013-09-11 2016-09-13 Texas Instruments Incorporated User programmable voice command recognition based on sparse features
CN105981099A (zh) * 2014-02-06 2016-09-28 三菱电机株式会社 语音检索装置和语音检索方法
WO2016029045A2 (en) * 2014-08-21 2016-02-25 Jobu Productions Lexical dialect analysis system
KR102298457B1 (ko) * 2014-11-12 2021-09-07 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN104900239B (zh) * 2015-05-14 2018-08-21 电子科技大学 一种基于沃尔什-哈达码变换的音频实时比对方法
CN104992706A (zh) * 2015-05-15 2015-10-21 百度在线网络技术（北京）有限公司 一种基于语音的信息推送方法及装置
CN105069146B (zh) * 2015-08-20 2019-04-02 百度在线网络技术（北京）有限公司 声音搜索方法和装置
CN105260416A (zh) * 2015-09-25 2016-01-20 百度在线网络技术（北京）有限公司 一种基于语音识别的搜索方法及装置
CN105681318A (zh) * 2016-02-03 2016-06-15 百度在线网络技术（北京）有限公司 基于人工智能的语音识别的信息推送方法和装置
JP6781961B2 (ja) * 2016-09-29 2020-11-11 株式会社村田製作所 送信装置、送信方法及び送信プログラム
WO2018122919A1 (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 感性表現語による検索装置
CN107704549A (zh) * 2017-09-26 2018-02-16 百度在线网络技术（北京）有限公司 语音搜索方法、装置及计算机设备
JP7143591B2 (ja) * 2018-01-17 2022-09-29 トヨタ自動車株式会社 発話者推定装置
US10572586B2 (en) * 2018-02-27 2020-02-25 International Business Machines Corporation Technique for automatically splitting words
CN109271580B (zh) * 2018-11-21 2022-04-01 百度在线网络技术（北京）有限公司 搜索方法、装置、客户端和搜索引擎
CN109858427A (zh) * 2019-01-24 2019-06-07 广州大学 一种语料提取方法、装置及终端设备
US11848019B2 (en) * 2021-06-16 2023-12-19 Hewlett-Packard Development Company, L.P. Private speech filterings

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295895A (ja) * 1991-03-26 1992-10-20 Matsushita Electric Ind Co Ltd 音声認識装置
JPH10301943A (ja) * 1997-04-24 1998-11-13 Canon Inc 画像処理装置及びその制御方法
US6556970B1 (en) * 1999-01-28 2003-04-29 Denso Corporation Apparatus for determining appropriate series of words carrying information to be recognized
US6345252B1 (en) 1999-04-09 2002-02-05 International Business Machines Corporation Methods and apparatus for retrieving audio information using content and speaker information
JP4465564B2 (ja) 2000-02-28 2010-05-19 ソニー株式会社 音声認識装置および音声認識方法、並びに記録媒体
JP2002132287A (ja) * 2000-10-20 2002-05-09 Canon Inc 音声収録方法および音声収録装置および記憶媒体
JP2002258874A (ja) * 2001-03-01 2002-09-11 Alpine Electronics Inc 音楽試聴方法、システムおよび情報端末、音楽検索サーバ
JP2003005950A (ja) * 2001-06-26 2003-01-10 Sharp Corp ウェブブラウザ
JP2003085206A (ja) * 2001-09-06 2003-03-20 Ntt Software Corp 情報検索方法及びシステム及び情報検索プログラム及び情報検索プログラムを格納した記憶媒体
JP4451037B2 (ja) * 2001-12-06 2010-04-14 株式会社ユニバーサルエンターテインメント 情報検索システム及び情報検索方法
JP3762327B2 (ja) * 2002-04-24 2006-04-05 株式会社東芝 音声認識方法および音声認識装置および音声認識プログラム
DE10251112A1 (de) * 2002-11-02 2004-05-19 Philips Intellectual Property & Standards Gmbh Verfahren und System zur Spracherkennung
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
JP2006267318A (ja) * 2005-03-23 2006-10-05 Clarion Co Ltd データ処理装置、制御方法、制御プログラム及び記録媒体
JP2006277676A (ja) * 2005-03-30 2006-10-12 Toshiba Corp 情報検索装置、情報検索方法および情報検索プログラム
CN101346758B (zh) * 2006-06-23 2011-07-27 松下电器产业株式会社 感情识别装置
US8135590B2 (en) * 2007-01-11 2012-03-13 Microsoft Corporation Position-dependent phonetic models for reliable pronunciation identification
JP4920449B2 (ja) * 2007-02-23 2012-04-18 オリンパスイメージング株式会社 画像データ検索装置、画像データ検索方法、及びプログラム
JP2008242706A (ja) * 2007-03-27 2008-10-09 Seiko Epson Corp 商品情報提供システム、商品情報提供サーバ、商品情報提供方法、及び、商品情報提供プログラム
US8209171B2 (en) * 2007-08-07 2012-06-26 Aurix Limited Methods and apparatus relating to searching of spoken audio data
JP2009104020A (ja) * 2007-10-25 2009-05-14 Panasonic Electric Works Co Ltd 音声認識装置
JP2009140306A (ja) * 2007-12-07 2009-06-25 Toshiba Corp 情報提供サーバおよび情報提供方法
JP5098613B2 (ja) * 2007-12-10 2012-12-12 富士通株式会社 音声認識装置及びコンピュータプログラム
US8306810B2 (en) * 2008-02-12 2012-11-06 Ezsav Inc. Systems and methods to enable interactivity among a plurality of devices
US8200480B2 (en) * 2009-09-30 2012-06-12 International Business Machines Corporation Deriving geographic distribution of physiological or psychological conditions of human speakers while preserving personal privacy

Also Published As

Publication number Publication date
US8600752B2 (en) 2013-12-03
JP2011248020A (ja) 2011-12-08
US20110313773A1 (en) 2011-12-22
CN102262644A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
JP5610197B2 (ja) 検索装置、検索方法、及び、プログラム
US9817889B2 (en) Speech-based pronunciation symbol searching device, method and program using correction distance
US7974844B2 (en) Apparatus, method and computer program product for recognizing speech
US8688725B2 (en) Search apparatus, search method, and program
US8504367B2 (en) Speech retrieval apparatus and speech retrieval method
US8036894B2 (en) Multi-unit approach to text-to-speech synthesis
JP5207642B2 (ja) 語句として新たに認識するべき文字列を取得するためのシステム、方法及びコンピュータプログラム
Abushariah et al. Arabic speaker-independent continuous automatic speech recognition based on a phonetically rich and balanced speech corpus.
JP2008134475A (ja) 入力された音声のアクセントを認識する技術
US20080201145A1 (en) Unsupervised labeling of sentence level accent
CN110870004A (zh) 基于音节的自动语音识别
US20130080155A1 (en) Apparatus and method for creating dictionary for speech synthesis
JP5073024B2 (ja) 音声対話装置
JP4738847B2 (ja) データ検索装置および方法
JP4758758B2 (ja) 辞書作成装置および辞書作成プログラム
JP5334716B2 (ja) 文字情報提示制御装置及びプログラム
JP5696638B2 (ja) 対話制御装置、対話制御方法及び対話制御用コンピュータプログラム
KR100811226B1 (ko) 악센트구 매칭 사전선택을 이용한 일본어음성합성방법 및시스템
JP2011118775A (ja) 検索装置、検索方法、及び、プログラム
JP4640063B2 (ja) 音声合成方法，音声合成装置，およびコンピュータプログラム
Kruspe et al. Retrieval of song lyrics from sung queries
JP2011118774A (ja) 検索装置、検索方法、及び、プログラム
JP2004309928A (ja) 音声認識装置、電子辞書装置、音声認識方法、検索方法、及びプログラム
CN113506560B (zh) 一种保持音高的歌声合成方法及装置
KR102182408B1 (ko) 형태소 발음변이를 고려한 음성인식 단위 생성 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140820

LAPS Cancellation because of no payment of annual fees