JP4380978B2 - COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD - Google Patents
COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD Download PDFInfo
- Publication number
- JP4380978B2 JP4380978B2 JP2002318737A JP2002318737A JP4380978B2 JP 4380978 B2 JP4380978 B2 JP 4380978B2 JP 2002318737 A JP2002318737 A JP 2002318737A JP 2002318737 A JP2002318737 A JP 2002318737A JP 4380978 B2 JP4380978 B2 JP 4380978B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- predetermined
- information
- command
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephone Function (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ユーザが不在時において、所定の処理を行う通信システム、通信端末装置、通信方法に関する。
【0002】
【従来の技術】
従来、例えば、ユーザが自宅にいないときにおいて、相手の電話装置から、ユーザの電話装置に呼び出し信号が送られた場合、以下の処理が行われる。留守番モードに設定されたユーザの電話装置は、自動的にオフフック状態になる。そして、上記電話装置は、所定のメッセージを相手の電話装置に送信する。
【0003】
そして、従来では、以下のような技術があった。留守番モードに設定された電話装置は、相手の電話装置から送られた所定のキーワードの音声信号に基づいて、話者を特定する。そして、留守番モードに設定された電話装置は、話者に対応する応答メッセージを上記相手の電話装置に送る(例えば、特許文献1参照)。
【0004】
また、ユーザが自宅にいないときに、自宅に訪問者が訪れた場合、所定の装置は、訪問者を検出すると、以下の処理を行う。上記所定の装置は、不在である旨を示すメッセージを取得し、上記訪問者に出力する。
【0005】
【特許文献1】
特開平9−312686号公報
【0006】
【発明が解決しようとする課題】
上述した従来技術では、以下のような問題があった。例えば、ユーザが自宅にいないときに、相手の電話装置から呼び出し信号が、自宅の電話装置に送られてきた場合、ユーザは、相手によっては、直接通話したいと考えることもある。一方、ユーザは、相手によっては、直接通話しないで、所定の応答文を相手の電話装置から出力させればよいと考えることもある。
【0007】
同じく、ユーザが自宅にいないときに、訪問者が自宅に来た場合、訪問者によっては、ユーザは、直接通話したいと考えることもある。一方、訪問者によっては、ユーザは、直接通話しないで、所定の応答文が訪問者に出力されればよいと考えることもある。
【0008】
このため、例えば、ユーザが自宅にいない場合に、訪問者や電話をかけてきた相手(以下、訪問者等という)に応じて、ユーザが訪問者等と通話できるようになったり、応答文が訪問者等に出力されるようになる通信システムの開発が望まれていた。
【0009】
本発明の目的は、例えば、ユーザが自宅にいない場合に、訪問者等に応じて、ユーザが訪問者等と通話できるようになったり、応答文が訪問者等に出力されるようになる通信システム、通信端末装置、通信方法を提供することである。
【0010】
【課題を解決するための手段】
以上の問題点を解決するために、本発明は、所定場所に配置された通信端末と、前記所定場所から離れている前記通信端末のユーザが携帯する携帯端末とを有する通信システムであって、
前記通信端末は、
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報を予め複数記憶する第1記憶手段と、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出する特徴抽出手段と、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得手段と、
各話者特定情報と、前記携帯端末との間で通信可能な状態に設定するように指示する指令である第1指令、又は、話者に対して応答文を出力するように指示する指令である第2指令とが対応づけられている対応データを参照して、前記第1取得手段により取得された話者特定情報に対応する指令を取得する第2取得手段と、
前記第2取得手段により取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記携帯端末との間で、データ通信可能な状態に設定する通信手段と、
前記第2取得手段により取得された指令が第2指令の場合、前記話者に対して、前記応答文を出力する出力手段とを有し、
前記第1取得手段における所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信端末は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力する手段と、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、前記特徴抽出手段に送る手段とを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力する通信システムである。
【0011】
また、本発明は、所定場所に配置され、前記所定場所から離れているユーザにより所有されている通信端末装置であって、
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報を予め複数記憶する第1記憶手段と、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出する特徴抽出手段と、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合に、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得手段と、
各話者特定情報と、前記ユーザが携帯する携帯端末と通信を行うように指示する指令である第1指令、又は、前記話者に対して応答文を出力するように指示する指令である第2指令と、が対応づけられている対応データを参照して、前記第1取得手段により取得された話者特定情報に対応する指令を取得する第2取得手段と、
前記第2取得手段により取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記携帯端末との間で、データ通信可能な状態に設定する通信手段と、
前記第2取得手段により取得された指令が第2指令の場合、前記話者に対して、前記応答文を出力する出力手段とを有し、
前記第1取得手段における所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信端末装置は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力する手段と、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、前記特徴抽出手段に送る手段とを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力する通信端末装置である。
【0012】
また、本発明は、所定場所に配置された通信端末と、前記所定場所から離れている前記通信端末のユーザが携帯する携帯端末と、を用いた通信方法であって、
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報が、第1記憶手段に、予め複数記憶されており、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出するステップと、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得ステップと、
各話者特定情報と、前記携帯端末との間で通信可能な状態に設定するように指示する指令である第1指令、又は、話者に対して応答文を出力するように指示する指令である第2指令とが対応づけられている対応データを参照して、前記第1取得ステップにより取得された話者特定情報に対応する指令を取得する第2取得ステップと、
前記第2取得ステップにより取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記通信端末が、前記携帯端末との間で、データ通信可能な状態に設定するステップと、
前記第2取得ステップにより取得された指令が第2指令の場合、前記通信端末が、前記話者に対して、前記応答文を出力するステップとを有し、
前記第1取得手段における所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信方法は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力するステップと、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、特徴抽出手段に送るステップとを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力する通信方法である。
【0014】
【発明の実施の形態】
(構成)
図1は、本実施の形態の通信システムの構成を示す図である。通信システムは、所定の場所に配置された通信端末装置1を有する。また、通信システムは、通信端末装置1のユーザが携帯する携帯端末装置3を有する。通信ネットワーク4(例えば、電話網、インターネット)には、各装置が接続されている。通信端末装置1のユーザは、上記所定の場所から離れている。具体的には、例えば、通信端末装置1は、ユーザの自宅に配置されている。そして、ユーザは、自宅から外出している。この際、ユーザは、携帯端末装置3を保持している。
【0015】
(通信端末装置の構成)
通信端末装置1は、例えば、ユーザの自宅に配置されている。そして、図1に示すように、通信端末装置1は、入力部11と、音声入力部12と、特徴抽出部13と、第1取得部14と、第1記憶部15と、第2取得部16と、第2記憶部17と、出力部18と、通信部19と、各部を制御する制御部20とを有する。
【0016】
入力部11には、例えば、ユーザの自宅を訪れる訪問者により、各種の入力情報が入力される。入力部11とは、例えば、マイクロホンやキーボードである。
【0017】
入力情報とは、キーボード等を介して、入力された文字情報などでもよい。また、入力情報とは、訪問者から発話された音声情報でもよい。以下、本実施の形態においては、訪問者を話者という。
【0018】
入力部11により、入力された入力情報は、制御部20に送られる。制御部20は、送られてきた入力情報のうち、音声で入力された所定入力情報を判断する。そして、制御部20は、所定入力情報の音声信号を、音声入力部12に送る。
【0019】
音声入力部12には、上記所定入力情報の音声信号が入力される。この所定入力情報を示す音声信号とは、例えば、『こんにちは』を示す音声信号である。音声入力部12は、上記所定入力情報を示す音声信号について、A/D変換処理を行う。そして、A/D変換処理された音声信号は、特徴抽出部13に送られる。
【0020】
特徴抽出部13は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行う。具体的には、特徴抽出部13は、入力された所定入力情報を示す音声信号のパワーに基づいて、音声区間の検出を行う。そして、特徴抽出部13は、検出した音声区間内において、所定入力情報を示す音声信号について、短時間のスペクトル分析を行う。そして、特徴抽出部13は、短時間のスペクトル分析の結果に基づいて、複数の特徴ベクトルを抽出する。そして、特徴抽出部13は、抽出した各特徴ベクトルに基づいて、特徴データを抽出する。この特徴データとは、所定入力情報を示す音声信号の特徴を示すデータである。そして、特徴抽出部13は、抽出した特徴データを第2特徴データとして、第1取得部14に送る。
【0021】
なお、特徴抽出部13は、以下のような処理を行っても良い。特徴抽出部13は、所定入力情報を示す音声信号について、フーリエ変換処理を行う。特徴抽出部13は、フーリエ変換処理されたスペクトルの絶対値の対数をとり、逆フーリエ変換処理を行い、ケプストラム係数を求める。そして、特徴抽出部13は、ケプストラム係数に基づいて、特徴データを抽出してもよい。
【0022】
また、ユーザが予め選定した話者を特定する情報である話者特定情報は、上記話者により予め入力された所定入力情報の音声信号の特徴を示す特徴データ(以下、第1特徴データという)と対応づけられている。そして、第1記憶部15には、上記話者特定情報が予め複数記憶されている。図2は、第1記憶部15の記憶内容の一例を示す図である。図2に示すように、各話者特定情報には、それぞれ、第1特徴データが対応づけられている。また、話者特定情報には、応答文が対応づけられている。そして、第2記憶部17には、上記話者特定情報が予め複数記憶されている。
【0023】
第1取得部14は、特徴抽出部13から送られた第2特徴データを取得する。そして、第1取得部14は、第1記憶部15にアクセスする。そして、第1取得部14は、上記第2特徴データと、各第1特徴データとの間の類似度を計算する。例えば、第1取得部14は、マハラノビス距離の数式を用いて、上記第2特徴データと、各第1特徴データとの間の類似度を計算することができる。
【0024】
そして、第1取得部14は、計算した各類似度のうち、最も高い類似度が、所定値を超えているか否かを判断する。この所定値は、例えば、以下のようにして決められる。通信端末装置1の開発者が実験を行う。そして、上記開発者は、実験の結果、第1取得部14が計算した類似度が一定値以上である場合、計算された類似度に基づいて、話者を特定できると判断する。上記一定値が、上記所定値となる。
【0025】
第1取得部14は、最も高い類似度が、所定値を超えていると判断した場合、最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する。第1取得部14は、取得した話者特定情報を第2取得部16に送る。一方、第1取得部14は、最も高い類似度が、所定値を超えていないと判断した場合、その旨を制御部20に送る。
【0026】
第2取得部16は、対応テーブルを保持している。この対応テーブルにおいては、各話者特定情報と、第1指令又は第2指令とが、対応づけられている。図3は、対応テーブルの一例を示す図である。第1指令とは、携帯端末装置3との間で、通信可能な状態に設定するように指示する指令である。第2指令とは、話者に対して、応答文を出力するように指示する指令である。
【0027】
そして、第2取得部16は、上記対応テーブルを参照して、第1取得部14により取得された話者特定情報に対応する指令を取得する。第2取得部16により取得された指令は、制御部20に送られる。この際、話者特定情報も制御部20に送られる。
【0028】
制御部20は、第2取得部16から送られてきた指令に基づいて、以下のような処理を行う。制御部20は、第2取得部16により取得された指令が第1指令の場合には、通信部19に対して、『携帯端末装置3との間で、通信可能な状態に設定するように指示する旨』を送る。
【0029】
一方、制御部20は、第2取得部16により取得された指令が第2指令の場合には、第2記憶部17にアクセスする。そして、制御部20は、第1取得部14により取得された話者特定情報に対応する応答文を取得する。そして、制御部20は、出力部18に対して、上記応答文を送る。この際、制御部20は、『話者に対して、上記応答文を出力するように指示する旨』を送る。
【0030】
通信部19は、制御部20から送られてきた指示に基づいて、話者とユーザとの間で通話が行えるように、携帯端末装置3との間で、データ通信可能な状態に設定する。
【0031】
具体的には、通信部19は、制御部20から送られてきた指示に基づいて、接続要求信号を、通信ネットワーク4を介して、携帯端末装置3の制御部20に送る。携帯端末装置3の制御部30は、出力部31に、通信端末装置1から接続要求信号が送られた旨を出力させる。そして、携帯端末装置3の通信部29は、通信ネットワーク4を介して、応答信号を通信端末装置1に送る。これにより、通信端末装置1は、携帯端末装置3との間で、データ通信が可能な状態に設定される。通信端末装置1の制御部20は、ユーザと通話が可能な状態である旨を出力部18に出力させる。
【0032】
そして、話者が入力部11を用いて、所定の通話情報を入力する。所定の通話情報は、制御部20及び通信部19などを介して、携帯端末装置3の出力部31に出力される。そして、ユーザが入力部31を用いて、所定の通話情報を入力する。所定の通話情報は、制御部30及び通信部29などを介して、通信端末装置1の出力部18に出力される。これにより、話者とユーザとの間の通話が行えるようになる。
【0033】
出力部18は、制御部20から送られてきた指示に基づいて、送られてきた応答文を出力する。なお、第1取得部14は、最も高い類似度が、所定値を超えていないと判断した場合、その旨を制御部20に送る。そして、制御部20は、所定の応答文(例えば、定型的な留守番メッセージ)を出力部18に出力させる。
【0034】
図1に示すように、携帯端末装置3は、通信端末装置1とデータ通信を行う通信部29と、入出力部31と、各部を制御する制御部30とを有する。
【0035】
(通信方法)
上述した通信システムを用いた通信方法の説明は、以下のとおりである。
【0036】
(1)第1記憶部15に、各話者特定情報に対応する第1特徴データを、記憶させる処理
ユーザは、予め、自分が選定した話者に、所定入力情報(例えば、『こんにちは』などの所定の言葉)を示す音声を入力部11に入力させる。ユーザが選定した話者とは、例えば、ユーザの家族や友達や会社の後輩などである。この際、入力部11には、所定入力情報である旨と、話者特定情報とが入力される。
【0037】
制御部20は、所定入力情報である旨に基づいて、入力された所定入力情報を示す音声信号を音声入力部12を介して、特徴抽出部13に送る。また、制御部20は、入力された話者特定情報を保持する。そして、特徴抽出部13は、送られてきた所定入力情報を示す音声信号に基づいて、特徴データを抽出する。抽出された特徴データは、制御部20に送られる。
【0038】
制御部20は、抽出された特徴データと、保持していた話者特定情報とを対応づける。そして、制御部20は、抽出された特徴データと、保持していた話者特定情報とを第1記憶部15に記憶させる。ここで、第1記憶部15に記憶されている特徴データは、第1特徴データとして、第1記憶部15に記憶される。
【0039】
(2)第2取得部16が、対応テーブルを保持する処理
ユーザは、入力部11を用いて、各話者特定情報を入力する。この際、ユーザは、入力部11を用いて、話者特定情報に対応させて、第1指令を特定する情報、又は、第2指令を特定する情報を入力する。ここでいう話者特定情報は、第1記憶部15に記憶されている話者特定情報と同じである。
【0040】
入力された情報は、制御部20に送られる。制御部20は、入力された情報に基づいて、対応テーブルを生成する。そして、制御部20は、生成した対応テーブルを第2取得部16に送る。第2取得部16は、送られてきた対応テーブルを保持する。
【0041】
(3)第2記憶部17に、各話者特定情報に対応する応答文を、記憶させる処理ユーザは、入力部11を用いて、各話者特定情報と、各話者特定情報に対応する応答文とを入力する。この各話者特定情報とは、第2指令と対応づけられている話者特定情報である。そして、入力された情報は、制御部20に送られる。制御部20は、各応答文を、話者特定情報と対応づけて第2記憶部17に記憶させる。
【0042】
(4) 話者(訪問者)が通信端末装置1に入力情報を入力した場合に行われる処理
図4は、本処理を説明するためのフローチャート図である。ここでは、通信端末装置1が、例えば、ユーザの自宅に設置されているとする。そして、ユーザは、自宅から外出しているとする。そして、ユーザは携帯端末装置3を保持しているとする。但し、本発明は、通信端末装置1が、ユーザの自宅に設置されている場合に、限定されない。
【0043】
先ず、ある話者(訪問者)が、『ユーザに用がある旨』を入力部11により入力する。入力された情報は、制御部20に送られる。制御部20は、例えば、『現在、外出しております。『こんにちは』という言葉を音声入力してください』というメッセージ情報を出力部18に出力させる。
【0044】
上記話者は、入力部11を用いて、所定入力情報を示す音声(『こんにちは』)を入力する(S10)。すると、制御部20は、上記所定入力情報を示す音声信号を音声入力部12を介して、特徴抽出部13に送る。
【0045】
特徴抽出部13は、所定入力情報を示す音声信号に基づいて、上記所定入力情報を示す音声信号の特徴を示す第2特徴データを抽出する(S20)。そして、特徴抽出部13は、第2特徴データを、第1取得部14に送る。
【0046】
第1取得部14は、特徴抽出部13から送られた第2特徴データを取得する。そして、第1取得部14は、第1記憶部15にアクセスする。そして、第1取得部14は、上記第2特徴データと、各第1特徴データとの間の類似度を計算する(S30)。
【0047】
そして、第1取得部14は、計算した各類似度のうち、最も高い類似度が、所定値を超えているか否かを判断する(S40)。
【0048】
第1取得部14は、最も高い類似度が、所定値を超えていると判断した場合、最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する(S50)。第1取得部14は、取得した話者特定情報を第2取得部16に送る。その後、処理は、ステップS60の処理へ移行する。
【0049】
第1取得部14は、最も高い類似度が、所定値を超えていないと判断した場合、その旨が制御部20に送られる。そして、制御部20は、所定の応答文(例えば、定型的な留守番メッセージ)を出力部18に出力させる(S55)。
【0050】
第2取得部16は、上記対応テーブルを参照して、第1取得部14により取得された話者特定情報に対応する指令を取得する(S60)。そして、第2取得部16は、取得した指令を制御部20に送る。この際、話者特定情報も制御部20に送られる。
【0051】
制御部20は、送られてきた指令が第1指令であるか第2指令であるか判断する(S70)。制御部20は、送られてきた指令が第1指令と判断した場合、制御部20は、以下の処理を行う。制御部20は、『通信部19に対して、携帯端末装置3との間で、通信可能な状態に設定するように指示する旨』を通信部19に送る(S80)。その後、処理は、S100の処理へ移行する。
【0052】
一方、制御部20は、送られてきた指令が第2指令と判断した場合、制御部20は、以下の処理を行う。制御部20は、第2記憶部17にアクセスする。そして、制御部20は、話者特定情報に対応する応答文を取得する(S85)。そして、制御部20は、取得した応答文と、『話者に対して上記応答文を出力するように指示する旨』と、を出力部18に送る(S90)。その後、処理は、S120の処理へ移行する。
【0053】
通信部19は、制御部20から送られてきた指示に基づいて、話者とユーザとの間で通話が行えるように、携帯端末装置3との間で、データ通信可能な状態に設定する(S100)。通信部19は、携帯端末装置3との間で、データ通信可能な状態に設定した場合、その旨を制御部20に送る。制御部20は、ユーザと通話が可能な状態である旨を出力部18に出力させる。
【0054】
そして、ユーザと話者との間で、通話が行われる(S110)。この処理の具体的な説明は、以下のとおりである。話者が入力部11を用いて、所定の通話情報を入力する。所定の通話情報は、制御部20及び通信部19などを介して、携帯端末装置3の出力部18に出力される。
【0055】
そして、ユーザが入力部11を用いて、所定の通話情報を入力する。所定の通話情報は、制御部20及び通信部19などを介して、通信端末装置1の出力部18に出力される。これにより、話者とユーザとの間の通話が行える。
【0056】
ステップS120では、出力部18は、制御部20から送られてきた指示に基づいて、応答文を出力する。
【0057】
(作用効果)
本実施の形態によれば、特徴抽出部13は、話者(例えば、訪問者)により入力された所定入力情報に基づいて、所定入力情報の音声信号の特徴を示す第2特徴データを抽出する。そして、第1取得部14は、第2特徴データと各第1特徴データとの間の類似度を計算する。そして、第1取得部14は、計算された各類似度のうち、最も高い類似度が所定値を超える場合に、最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得することができる。
【0058】
このため、例えば、ユーザが自宅から外出している(所定場所から離れている)ときに、上記自宅に訪問してくる訪問者が、所定の話者である場合には、本通信システムは、上記訪問者がだれであるのか正確に特定できる。この所定の話者とは、第1記憶部15に記憶されている話者特定情報に対応する話者である。
【0059】
また、第2取得部16は、対応データを参照して、第1取得部14により取得された話者特定情報に対応する指令を取得することができる。そして、取得された指令が第1指令の場合、通信部19は、話者とユーザとの間で通話が行えるように、携帯端末装置3との間で、データ通信可能な状態に設定する。また、取得された指令が第2指令の場合、出力部18は、話者に対して、所定の応答文を出力する。
【0060】
このため、本通信システムは、例えば、ユーザが自宅から外出しているときに、自宅に訪問してくる話者(訪問者)に応じて、携帯端末装置3と通信端末装置1とが通信できる状態に設定する処理と、所定の応答文を上記話者に出力する処理と、のうち、いずれかの処理を行うことができる。
【0061】
この結果、例えば、ユーザは、親しい友人が自宅に訪問してきたときには、ユーザは、外出先から上記友人と通話を行えることができる。また、例えば、ユーザは、それほど親しくない友人が自宅に訪問してきたときには、通信端末装置1が上記友人に対して、所定の応答文を出力することができる。従って、ユーザにとって便利な通信システムの実現が可能となる。
【0062】
また、訪問者が、第1記憶部15に記憶された話者特定情報に対応する話者でない場合、例えば、定型的なメッセージ情報が上記訪問者に出力される。このため、第1記憶部15の各応答文に、ユーザが第三者には知られたくない情報が含まれているような場合、これらの情報が、第三者に知られてしまうことがない。ここでいう第三者とは、第1記憶部15に記憶された話者特定情報に対応する話者以外の者である。
【0063】
また、本実施の形態では、第2記憶部17には、各話者特定情報が記憶されている。そして、各話者特定情報には、それぞれ、応答文が対応づけられている。そして、出力部18は、例えば、ユーザの自宅に訪問してくる訪問者に対して、上記訪問者に対応する応答文を出力することができる。
【0064】
このため、例えば、ユーザの会社の上司や先輩が自宅に訪問してきたときには、出力部18は、上司や先輩用の応答文を、上司や先輩に対して出力することができる。また、例えば、ユーザの部下や後輩が自宅に訪問してきたときには、出力部18は、部下や後輩用の応答文を、部下や後輩に対して出力することができる。従って、ユーザにとって一層便利な通信システムの実現が可能となる。
【0065】
(変形例1)
(通信システムの構成)
本実施の形態の通信システムの第1の変形例は、以下のとおりである。図5は、本変形例の通信システムの構成を示す図である。通信システムは、所定の場所に配置された第1通信端末装置1を有する。また、通信システムは、第1通信端末装置1のユーザ(以下、第1ユーザという)が携帯する携帯端末装置3を有する。この第1ユーザは、上記所定の場所から離れている。そして、通信システムは、複数の第2通信端末装置5を有する。通信ネットワーク4(例えば、電話網、インターネット)には、各装置が接続されている。
【0066】
なお、本変形例の通信システムにおいて、実施の形態の通信システムで示した構成と同一構成の説明は、省略される。また、本変形例の通信システムにおいて、実施の形態の通信システムで示した構成と同一又は類似の構成には、同一符号が付される。
【0067】
具体的には、例えば、第1通信端末装置1は、第1ユーザの自宅(所定の場所)に配置されている。そして、第1ユーザは、自宅から外出している。この際、第1ユーザは、携帯端末装置3を保持している。そして、第2通信端末装置5のユーザを第2ユーザという。
【0068】
本変形例の第1通信端末装置1において、実施の形態の通信端末装置1と異なる点は、以下のとおりである。
【0069】
第1記憶部15には、ユーザ特定情報が複数記憶されている。このユーザ特定情報とは、第2ユーザを特定する情報である。各ユーザ特定情報は、第2ユーザにより予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられている。
【0070】
また、第2記憶部17には、ユーザ特定情報が複数記憶されている。各ユーザ特定情報には、それぞれ、応答文が対応づけられている。
【0071】
特徴抽出部13は、第2通信端末装置5から送られた第2ユーザの所定入力情報に基づいて、所定入力情報の音声信号の特徴を示す第2特徴データを抽出する。
【0072】
第1取得部14は、第2特徴データと、各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合に、最も高い類似度に対応する第1特徴データに関連するユーザ特定情報を取得する。
【0073】
第2取得部16は、各ユーザ特定情報と、第1指令又は第2指令と、が対応づけられている対応テーブルを参照して、第1取得部14により取得されたユーザ特定情報に対応する指令を取得する。第1指令とは、第2通信端末装置5が携帯端末装置3との間で通信可能な状態に設定するように指示する指令である。第2指令とは、第2ユーザに対して応答文を出力するように指示する指令である。第2取得部16は、取得した指令と、第1取得部14により取得されたユーザ特定情報と、を制御部20に送る。
【0074】
制御部20は、第2取得部16により取得された指令が第1指令の場合には、以下の処理を行う。制御部20は、通信部19に、上記第1指令を、第2通信端末装置5に送信するように指示する。一方、制御部20は、第2取得部16により取得された指令が第2指令の場合には、以下の処理を行う。制御部20は、第2記憶部17にアクセスする。そして、制御部20は、ユーザ特定情報に対応する応答文を取得する。そして、制御部20は、通信部19に、『上記第2指令と、取得した応答文とを第2通信端末装置5に送信するように指示する旨』を送る。
【0075】
第2通信端末装置5は、通信部49と、入出力部51と、制御部50とを有する。第2通信端末装置5の制御部50は、第1指令を取得した場合、以下の処理を行う。制御部50は、通信部49に対して、『第1ユーザと第2ユーザとの間で通話が行えるように、携帯端末装置3との間でデータ通信可能な状態に設定するように指示する旨』を送る。また、第2通信端末装置5の制御部50は、第2指令及び応答文を取得した場合、出力部51に、上記応答文を出力させる。
【0076】
なお、第1通信端末装置1の第1取得部14は、最も高い類似度が、所定値を超えていないと判断した場合、その旨を制御部20に送る。そして、制御部20は、所定の応答文(例えば、定型的な留守番メッセージ)と、上記所定の応答文を出力するように指示する旨とを、通信部19を介して、第2通信端末装置5に送る。第2通信端末装置5の制御部50は、上記指示及び応答文を取得した場合、出力部51に、上記所定の応答文を出力させる。
【0077】
(通信方法)
上述した通信システムを用いた通信方法の説明は、以下のとおりである。本変形例においても、実施の形態の(1)、(2)、(3)と同じ処理が行われる。
【0078】
但し、実施の形態の(1)、(2)、(3)の説明においては、ユーザは、第1ユーザと置き換えられる。また、話者は、第2ユーザに置き換えられる。また、話者特定情報は、ユーザ特定情報に置き換えられる。また、第1指令は、本変形例の第1指令であり、第2指令は、本変形例の第2指令である。
【0079】
図6は、第2ユーザが第2通信端末装置5に入力情報を入力した場合に行われる処理を説明するためのフローチャート図である。ここでは、一例として、第1通信端末装置1は、第1ユーザの自宅に配置されているとする。そして、第1ユーザは、自宅から外出しているとする。そして、第1ユーザは、携帯端末装置3を保持しているとする。
【0080】
また、本処理では、一例として、各端末装置は、電話装置である場合の説明が行われる。本処理では、第1通信端末装置1を第1電話装置1といい、第2通信端末装置5を第2電話装置5といい、携帯端末装置3を携帯電話装置という。但し、各端末装置が電話装置以外の場合にも、本変形例は適用できる。
【0081】
先ず、第1ユーザは、自宅から外出する際、第1電話装置1の入力部11を用いて、以下のような情報を入力する。第1ユーザは、『第2電話装置5から呼び出し信号を受信した場合、所定のメッセージ情報を上記第2電話装置5に送信するように指示する旨』を入力部11により入力する。すると、上記指示する旨は制御部20に送られる。制御部20は、上記指示を実行できるように、各部に対して、それぞれ、所定の指示を送る。
【0082】
そして、ある第2ユーザは、自己の第2電話装置5の入力部51を用いて、第1電話装置1に割り当てられた電話番号を入力する。上記電話番号は、制御部50に送られる。制御部50は、上記電話番号に基づいて、呼び出し信号を第1電話装置1に送る。
【0083】
上記呼び出し信号は、第1電話装置1の通信部19を介して、第1電話装置1の制御部20に送られる。制御部20は、例えば、『現在、外出しております。『こんにちは』という言葉を音声入力してください』というメッセージ情報を、通信部19を介して、第2電話装置5に送る。
【0084】
上記メッセージ情報は、第2電話装置5の通信部49と、制御部50とを介して、出力部51に送られる。出力部51は、上記メッセージ情報を出力する。
【0085】
第2ユーザは、入力部51を用いて、所定入力情報を示す音声(例えば、『こんにちは』)を入力する(S200)。すると、制御部50は、上記所定入力情報を示す音声信号を、通信部49などを介して、第1電話装置1の制御部20に送る。制御部20は、上記所定入力情報を示す音声信号を、音声入力部12を介して、特徴抽出部13に送る。
【0086】
そして、ステップS20、S30、S40の処理が行われる。そして、第1取得部14は、最も高い類似度が、所定値を超えていると判断した場合、最も高い類似度に対応する第1特徴データに関連するユーザ特定情報を取得する(S210)。第1取得部14は、取得したユーザ特定情報を第2取得部16に送る。その後、処理は、ステップS240の処理へ移行する。
【0087】
第1取得部14は、最も高い類似度が、所定値を超えていないと判断した場合、その旨が制御部20に送られる。制御部20は、所定の応答文を、通信部19を介して、第2電話装置5に送る(S220)。そして、第2電話装置5の制御部50に所定の応答文が送られる。制御部50は、出力部51に、所定の応答文(例えば、定型的な留守番メッセージ)を出力させる(S230)。
【0088】
第2取得部16は、上記対応テーブルを参照して、第1取得部14により取得されたユーザ特定情報に対応する指令を取得する(S240)。そして、第2取得部16は、取得した指令を制御部20に送る。この際、ユーザ特定情報も制御部20に送られる。
【0089】
制御部20は、送られてきた指令が第1指令であるか第2指令であるか判断する(S250)。制御部20は、送られてきた指令が第1指令と判断した場合、制御部20は、第1指令を通信部19に送る。通信部19は、上記第1指令を第2電話装置5に送る(S260)。その後、処理は、S280の処理へ移行する。
【0090】
一方、制御部20は、送られてきた指令が第2指令と判断した場合、制御部20は、以下の処理を行う。制御部20は、第2記憶部17にアクセスする。そして、制御部20は、ユーザ特定情報に対応する応答文を取得する(S265)。そして、制御部20は、第2指令と、上記取得した応答文とを通信部19に送る。通信部19は、第2指令と、上記応答文とを第2電話装置5に送る(S270)。その後、処理は、S300の処理へ移行する。
【0091】
第2電話装置5の制御部50に、第1指令が送られてきた場合、以下の処理が行われる。制御部50は、第1ユーザと第2ユーザとの間で通話が行えるように、携帯電話装置3との間で、データ通信可能な状態に設定するように、通信部49に指示する(S280)。通信部49は、制御部50から送られてきた指示に基づいて、第1ユーザと第2ユーザとの間で通話が行えるように、携帯電話装置3との間で、データ通信可能な状態に設定する(S290)。
【0092】
具体的には、通信部49は、制御部50から送られてきた指示に基づいて、接続要求信号を、携帯電話装置3の制御部30に送る。携帯電話装置3の制御部30は、出力部31に、第2電話装置5から接続要求信号が送られた旨を出力させる。そして、携帯電話装置3の通信部29は、第2電話装置5に対して、応答信号を送る。これにより、第2電話装置5は、携帯電話装置3との間で、データ通信が可能な状態に設定される。通信部49は、携帯電話装置3との間で、データ通信可能な状態に設定した場合、その旨を制御部50に送る。制御部50は、第1ユーザと通話が可能な状態である旨を出力部51に出力させる。
【0093】
そして、第1ユーザと第2ユーザとの間で、通話が行われる(S295)。この処理の具体的な説明は、以下のとおりである。第2ユーザが入力部51を用いて、所定の通話情報を入力する。所定の通話情報は、制御部50、通信部49などを介して、携帯電話装置3の出力部31に出力される。第1ユーザが入力部31を用いて、所定の通話情報を入力する。所定の通話情報は、制御部30、通信部29などを介して、第2電話装置5の出力部51に出力される。これにより、第1ユーザと第2ユーザとの間の通話が行われる。
【0094】
ステップS300では、第2電話装置5の制御部20に、第2指令及び応答文が送られる。制御部20の指示により、出力部18は、上記応答文を出力する。
【0095】
(作用効果)
本変形例の通信システムも、例えば、第1ユーザが自宅から外出している(所定場所から離れている)ときに、上記自宅に電話をかけてくる第2ユーザが、所定の話者である場合には、上記第2ユーザがだれであるのか正確に特定できる。
【0096】
また、本通信システムは、例えば、第1ユーザが自宅から外出しているときに、自宅に電話をかけてくる第2ユーザに応じて、携帯電話装置3(携帯端末装置3)と第2電話装置5(第2通信端末装置5)とが通信できる状態に設定する処理と、所定の応答文を上記第2ユーザに出力する処理と、のうち、いずれかの処理を行うことができる。
【0097】
この結果、例えば、親しい友人の第2電話装置5から、自宅の第1電話装置1に呼び出し信号が送られたようなときには、第1ユーザは、外出先から上記友人と通話を行えることができる。また、例えば、それほど親しくない友人の第2電話装置5から、自宅の第1電話装置1に呼び出し信号が送られたようなときには、自宅にある第1電話装置1が上記友人の第2電話装置5に所定の応答文を送ることができる。そして、上記第2電話装置5において、上記友人に対して、所定の応答文が出力される。従って、第1ユーザにとって便利な通信システムの実現が可能となる。
【0098】
また、第2ユーザが、第1記憶部15に記憶されたユーザ特定情報に対応するユーザでない場合、例えば、定型的なメッセージ情報が上記第2ユーザに出力される。このため、第1記憶部15の各応答文に、第1ユーザが第三者には知られたくない情報が含まれているような場合、これらの情報が、第三者に知られてしまうことがない。
【0099】
また、本変形例では、第2記憶部17には、各ユーザ特定情報が記憶されている。そして、各ユーザ特定情報には、それぞれ、応答文が対応づけられている。そして、例えば、第1電話装置1に呼び出し信号を送った第2電話装置5の第2ユーザに対して、上記第2ユーザに対応する応答文が出力される。
【0100】
このため、例えば、第1ユーザの会社の上司(又は先輩)の第2電話装置5から呼び出し信号が第1電話装置1に送られたような場合、上記第2電話装置5の出力部51は、上司(又は先輩)用の応答文を、上司(又は先輩)に対して出力することができる。また、例えば、第1ユーザの会社の部下(又は後輩)の第2電話装置5から呼び出し信号が第1電話装置1に送られたような場合、上記第2電話装置5の出力部51は、部下(又は後輩)用の応答文を、部下(又は後輩)に対して出力することができる。従って、第1ユーザにとって一層便利な通信システムの実現が可能となる。
【0101】
(変形例2)
また、特徴抽出部13が特徴データを抽出できなかった場合、その旨が制御部20に送られるようにしてもよい。そして、制御部20は、所定の応答文(例えば、定型的な留守番メッセージ)を出力部18に出力させるようにしてもよい。
【0102】
また、通信システムは、話者モデル生成部(図示せず)を有するようにしてもよい。そして、話者モデル生成部は、特徴抽出部13により、抽出された第2特徴データに基づいて、第2話者モデルを生成するようにしてもよい。この際、話者モデル生成部は、隠れマルコフモデル法に基づいて、話者モデルを生成してもよい。
【0103】
そして、第1記憶部15においては、各話者特定情報は、第1話者モデルと対応づけられている。そして、第1取得部14は、第2話者モデルと、各第1話者モデルとの間の類似度を計算するようにしてもよい。第1取得部14は、例えば、『確率モデルによる音声認識』(中川著、昭和63年、電子通信学会発行、コロナ社)に記載のビタビアルゴリズムに基づいて、シンボル生起確率を類似度として、計算することができる。
【0104】
なお、本変形例で説明した話者特定情報を、ユーザ特定情報に置き換えることで、変形例1の通信システムは、本変形例のように変形されることができる。
【0105】
(変形例3)
第2記憶部17の記憶内容は、以下のように変形されてもよい。第2指令と対応づけられた話者特定情報には、ランク情報が関連づけられている。そして、ランク情報には、それぞれ応答文が対応づけられている。そして、第2記憶部17には、話者特定情報が複数記憶されている。図7は、変形例3の第2記憶部17の記憶内容の一例を示す図である。
【0106】
そして、ステップS90において、制御部20は、第2取得部16により取得された指令が第2指令の場合には、第2記憶部17にアクセスした後、以下の処理を行うようにしてもよい。制御部20は、話者特定情報に対応するランク情報を取得し、取得したランク情報に対応する応答文を取得するようにしてもよい。
【0107】
なお、本変形例で説明した話者特定情報を、ユーザ特定情報に置き換えることで、変形例1の通信システムは、本変形例のように変形されることができる。
【0108】
また、上述した実施の形態や、各変形例において、音声入力部12は、ノイズキャンセル機能を有するようにしてもよい。
【0109】
【発明の効果】
本発明は、例えば、ユーザが自宅から外出しているときに、自宅に訪問してくる話者に応じて、携帯端末装置3と通信端末装置1とが通信できる状態に設定する処理と、所定の応答文を上記話者に出力する処理と、のうち、いずれかの処理を行うことができる。
【0110】
この結果、例えば、ユーザは、親しい友人が自宅に訪問してきたときには、ユーザは、外出先から上記友人と通話を行うことができる。また、例えば、ユーザは、それほど親しくない友人が自宅に訪問してきたときには、通信端末装置1が上記友人に対して、所定の応答文を出力することができる。従って、ユーザにとって便利な通信システムの実現が可能となる。
【図面の簡単な説明】
【図1】本実施の形態の通信システムの構成を示す図である。
【図2】本実施の形態の第1記憶部の記憶内容の一例を示す図である。
【図3】本実施の形態の対応テーブルの一例を示す図である。
【図4】本実施の形態の通信方法を説明するためのフローチャート図である。
【図5】変形例1の通信システムの構成を示す図である。
【図6】変形例1の通信方法を説明するためのフローチャート図である。
【図7】変形例2の第2記憶部の記憶内容の一例を示す図である。
【符号の説明】
1…第1通信端末装置、第1電話装置、通信端末装置、3…携帯端末装置、携帯電話装置、4…通信ネットワーク、5…第2通信端末装置、第2電話装置、11…入力部、12…音声入力部、13…特徴抽出部、14…第1取得部、15…第1記憶部、16…第2取得部、17…第2記憶部、18…出力部、19…通信部、20…制御部、29…通信部、30…制御部、31…入出力部、49…通信部、50…制御部、51…入出力部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system, a communication terminal device, and a communication method that perform predetermined processing when a user is absent.
[0002]
[Prior art]
Conventionally, for example, when the user is not at home and the call signal is sent from the other party's telephone device to the user's telephone device, the following processing is performed. The user's telephone device set to the answering machine mode automatically goes off-hook. Then, the telephone device transmits a predetermined message to the other telephone device.
[0003]
Conventionally, there are the following techniques. The telephone device set to the answering machine mode identifies the speaker based on a predetermined keyword voice signal sent from the other telephone device. Then, the telephone device set to the answering machine mode sends a response message corresponding to the speaker to the telephone device of the other party (see, for example, Patent Document 1).
[0004]
In addition, when a visitor visits the home when the user is not at home, the predetermined device performs the following processing when the visitor is detected. The predetermined device acquires a message indicating that it is absent and outputs it to the visitor.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 9-312686
[0006]
[Problems to be solved by the invention]
The prior art described above has the following problems. For example, when a call signal is sent from the other party's telephone device to the home telephone device when the user is not at home, the user may want to make a direct call depending on the other party. On the other hand, depending on the other party, the user may think that a predetermined response sentence may be output from the other party's telephone device without making a direct call.
[0007]
Similarly, if a visitor comes to home when the user is not at home, depending on the visitor, the user may want to make a call directly. On the other hand, depending on the visitor, the user may think that a predetermined response sentence may be output to the visitor without making a direct call.
[0008]
For this reason, for example, when the user is not at home, the user can make a call with the visitor or the like depending on the visitor or the other party who called (hereinafter referred to as a visitor or the like). It has been desired to develop a communication system that can be output to visitors.
[0009]
An object of the present invention is, for example, communication in which a user can make a call with a visitor or the like or a response sentence is output to a visitor or the like according to a visitor or the like when the user is not at home. A system, a communication terminal device, and a communication method are provided.
[0010]
[Means for Solving the Problems]
In order to solve the above problems, the present invention is a communication system having a communication terminal arranged at a predetermined location and a portable terminal carried by a user of the communication terminal away from the predetermined location,
The communication terminal is
A plurality of pieces of speaker specifying information, which are information specifying the speaker selected in advance by the user, associated with the first feature data indicating the characteristics of the audio signal of the predetermined input information input in advance by the speaker are stored in advance. First storage means;
Feature extraction means for extracting second feature data indicating features of a voice signal of the predetermined input information based on predetermined input information input by a speaker;
A similarity between the second feature data and each first feature data is calculated. If the highest similarity among the calculated similarities exceeds a predetermined value, the second corresponding to the highest similarity is calculated. First acquisition means for acquiring speaker identification information related to one feature data;
A first command which is a command for instructing to set each speaker specific information and the portable terminal to be in a communicable state, or a command for instructing a speaker to output a response sentence A second acquisition means for acquiring a command corresponding to the speaker specifying information acquired by the first acquisition means with reference to correspondence data associated with a second command;
If the command acquired by the second acquisition means is the first command, communication for setting data communication with the portable terminal so that a call can be performed between the speaker and the user. Means,
When the instruction acquired by the second acquisition means is a second instruction, the output means outputs the response sentence to the speaker.
The predetermined value in the first acquisition means is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is a certain value or more for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication terminal outputs a message information for voice input of predetermined input information which is a specific word set in advance;
Means for sending a voice signal indicating the acquired predetermined input information to the feature extraction means via voice input means;
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
The control unit is a communication system that outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction unit.
[0011]
Further, the present invention is a communication terminal device that is disposed at a predetermined location and is owned by a user away from the predetermined location,
A plurality of pieces of speaker specifying information, which are information specifying the speaker selected in advance by the user, associated with the first feature data indicating the characteristics of the audio signal of the predetermined input information input in advance by the speaker are stored in advance. First storage means;
Feature extraction means for extracting second feature data indicating features of a voice signal of the predetermined input information based on predetermined input information input by a speaker;
The similarity between the second feature data and each first feature data is calculated, and when the highest similarity among the calculated similarities exceeds a predetermined value, it corresponds to the highest similarity First acquisition means for acquiring speaker identification information related to the first feature data;
A first instruction that is an instruction to communicate with each speaker specific information and a portable terminal carried by the user, or an instruction that instructs the speaker to output a response sentence. A second acquisition unit that acquires a command corresponding to the speaker identification information acquired by the first acquisition unit with reference to the correspondence data associated with the two commands;
If the command acquired by the second acquisition means is the first command, communication for setting data communication with the portable terminal so that a call can be performed between the speaker and the user. Means,
When the instruction acquired by the second acquisition means is a second instruction, the output means outputs the response sentence to the speaker.
The predetermined value in the first acquisition means is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is a certain value or more for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication terminal device outputs message information for voice input of predetermined input information which is a predetermined specific word;
Means for sending a voice signal indicating the acquired predetermined input information to the feature extraction means via voice input means;
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
The control means is a communication terminal device that outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction means.
[0012]
Further, the present invention is a communication method using a communication terminal arranged at a predetermined location and a portable terminal carried by a user of the communication terminal away from the predetermined location,
Speaker specifying information, which is information specifying a speaker selected in advance by the user, is associated with first feature data indicating characteristics of a voice signal of predetermined input information input in advance by a speaker. A plurality of means are stored in advance,
Extracting second feature data indicating a feature of an audio signal of the predetermined input information based on predetermined input information input by a speaker;
A similarity between the second feature data and each first feature data is calculated. If the highest similarity among the calculated similarities exceeds a predetermined value, the second corresponding to the highest similarity is calculated. A first acquisition step of acquiring speaker specifying information related to one feature data;
A first command which is a command for instructing to set each speaker specific information and the portable terminal to be in a communicable state, or a command for instructing a speaker to output a response sentence A second acquisition step of acquiring a command corresponding to the speaker identification information acquired by the first acquisition step with reference to correspondence data associated with a second command;
When the command acquired in the second acquisition step is the first command, the communication terminal can perform data communication with the mobile terminal so that a call can be performed between the speaker and the user. A step to set the state;
When the command acquired in the second acquisition step is a second command, the communication terminal has a step of outputting the response sentence to the speaker.
The predetermined value in the first acquisition means is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is a certain value or more for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication method includes outputting message information for voice input of predetermined input information that is a specific word set in advance;
Sending the voice signal indicating the acquired predetermined input information to the feature extraction means via the voice input means,
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
In the communication method, the control unit outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction unit.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
(Constitution)
FIG. 1 is a diagram illustrating a configuration of a communication system according to the present embodiment. The communication system includes a
[0015]
(Configuration of communication terminal device)
The
[0016]
Various input information is input to the
[0017]
The input information may be character information input via a keyboard or the like. The input information may be voice information uttered by a visitor. Hereinafter, in this embodiment, a visitor is referred to as a speaker.
[0018]
The input information input by the
[0019]
The
[0020]
The
[0021]
Note that the
[0022]
Further, speaker specifying information, which is information for specifying a speaker selected in advance by the user, is feature data (hereinafter referred to as first feature data) indicating the characteristics of the audio signal of the predetermined input information input in advance by the speaker. It is associated with. The
[0023]
The
[0024]
Then, the
[0025]
If the
[0026]
The
[0027]
And the
[0028]
The
[0029]
On the other hand, when the command acquired by the
[0030]
Based on the instruction sent from the
[0031]
Specifically, the
[0032]
Then, the speaker inputs predetermined call information using the
[0033]
The
[0034]
As illustrated in FIG. 1, the mobile
[0035]
(Communication method)
The description of the communication method using the communication system described above is as follows.
[0036]
(1) Processing for storing first feature data corresponding to each speaker specifying information in the
The user, in advance, to the speaker that he has selected, predetermined input information (e.g., predetermined words such as "Hello") is input to the
[0037]
Based on the fact that it is the predetermined input information, the
[0038]
The
[0039]
(2) Processing in which the
The user inputs each speaker specifying information using the
[0040]
The input information is sent to the
[0041]
(3) The processing user who stores the response sentence corresponding to each speaker specifying information in the
[0042]
(4) Processing performed when a speaker (visitor) inputs input information to the
FIG. 4 is a flowchart for explaining this processing. Here, it is assumed that the
[0043]
First, a certain speaker (visitor) inputs “noticeable to the user” by the
[0044]
The speaker, using the
[0045]
The
[0046]
The
[0047]
Then, the
[0048]
If the
[0049]
When the
[0050]
The
[0051]
The
[0052]
On the other hand, when the
[0053]
Based on the instruction sent from the
[0054]
Then, a call is performed between the user and the speaker (S110). A specific description of this process is as follows. A speaker uses the
[0055]
Then, the user inputs predetermined call information using the
[0056]
In step S120, the
[0057]
(Function and effect)
According to the present embodiment, the
[0058]
For this reason, for example, when a visitor visiting the home is a predetermined speaker when the user is out of the home (away from a predetermined location), the communication system It is possible to accurately identify who the visitor is. The predetermined speaker is a speaker corresponding to the speaker specifying information stored in the
[0059]
Further, the
[0060]
For this reason, this communication system can communicate with the portable
[0061]
As a result, for example, when a close friend visits the home, the user can make a call with the friend from the outside. Further, for example, when a friend who is not so close visits home, the
[0062]
If the visitor is not a speaker corresponding to the speaker specifying information stored in the
[0063]
In the present embodiment, each speaker specifying information is stored in the
[0064]
For this reason, for example, when the boss or senior of the user's company visits the home, the
[0065]
(Modification 1)
(Configuration of communication system)
A first modification of the communication system of the present embodiment is as follows. FIG. 5 is a diagram illustrating a configuration of a communication system according to the present modification. The communication system includes a first
[0066]
In the communication system of the present modification, the description of the same configuration as that shown in the communication system of the embodiment is omitted. In the communication system according to the present modification, the same reference numerals are given to the same or similar components as those shown in the communication system according to the embodiment.
[0067]
Specifically, for example, the first
[0068]
The first
[0069]
The
[0070]
The
[0071]
The
[0072]
The
[0073]
The
[0074]
When the command acquired by the
[0075]
The second communication terminal device 5 includes a
[0076]
In addition, the
[0077]
(Communication method)
The description of the communication method using the communication system described above is as follows. Also in this modification, the same processing as (1), (2), and (3) of the embodiment is performed.
[0078]
However, in the description of (1), (2), and (3) of the embodiment, the user is replaced with the first user. The speaker is replaced with the second user. Also, the speaker identification information is replaced with user identification information. The first command is the first command of the present modification, and the second command is the second command of the present modification.
[0079]
FIG. 6 is a flowchart for explaining processing performed when the second user inputs input information to the second communication terminal device 5. Here, as an example, it is assumed that the first
[0080]
Further, in this process, as an example, a case where each terminal device is a telephone device is described. In this process, the first
[0081]
First, when going out from home, the first user inputs the following information using the
[0082]
Then, a certain second user inputs the telephone number assigned to the
[0083]
The call signal is sent to the
[0084]
The message information is sent to the
[0085]
The second user uses the
[0086]
And the process of step S20, S30, S40 is performed. And when it is judged that the highest similarity exceeds the predetermined value, the
[0087]
When the
[0088]
The
[0089]
The
[0090]
On the other hand, when the
[0091]
When the first command is sent to the
[0092]
Specifically, the
[0093]
Then, a call is performed between the first user and the second user (S295). A specific description of this process is as follows. The second user uses the
[0094]
In step S300, the second command and the response sentence are sent to the
[0095]
(Function and effect)
In the communication system of this modification, for example, when the first user is out of the home (away from a predetermined place), the second user who makes a call to the home is a predetermined speaker. In this case, it is possible to accurately identify who the second user is.
[0096]
In addition, this communication system, for example, when the first user is away from home, the mobile phone device 3 (mobile terminal device 3) and the second phone according to the second user who makes a call to the home. Any one of the process of setting the communication apparatus 5 (second communication terminal apparatus 5) in a communicable state and the process of outputting a predetermined response sentence to the second user can be performed.
[0097]
As a result, for example, when a call signal is sent from the second telephone device 5 of a close friend to the
[0098]
In addition, when the second user is not a user corresponding to the user specifying information stored in the
[0099]
In the present modification, the
[0100]
For this reason, for example, when a call signal is sent to the
[0101]
(Modification 2)
Further, when the
[0102]
Further, the communication system may include a speaker model generation unit (not shown). Then, the speaker model generation unit may generate a second speaker model based on the second feature data extracted by the
[0103]
And in the 1st memory |
[0104]
Note that the communication system of the first modification can be modified as in this modification by replacing the speaker identification information described in this modification with the user identification information.
[0105]
(Modification 3)
The stored contents of the
[0106]
In step S90, when the command acquired by the
[0107]
Note that the communication system of the first modification can be modified as in this modification by replacing the speaker identification information described in this modification with the user identification information.
[0108]
In the above-described embodiment and each modification, the
[0109]
【The invention's effect】
The present invention provides, for example, a process of setting the mobile
[0110]
As a result, for example, when a close friend visits the home, the user can make a call with the friend from the outside. Further, for example, when a friend who is not so close visits home, the
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a communication system according to an embodiment.
FIG. 2 is a diagram showing an example of storage contents of a first storage unit according to the present embodiment.
FIG. 3 is a diagram showing an example of a correspondence table according to the present embodiment.
FIG. 4 is a flowchart for explaining a communication method of the present embodiment.
FIG. 5 is a diagram illustrating a configuration of a communication system according to a first modification.
FIG. 6 is a flowchart for explaining a communication method of a first modification.
FIG. 7 is a diagram illustrating an example of storage contents of a second storage unit according to
[Explanation of symbols]
DESCRIPTION OF
Claims (5)
前記通信端末は、
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報を予め複数記憶する第1記憶手段と、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出する特徴抽出手段と、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得手段と、
各話者特定情報と、前記携帯端末との間で通信可能な状態に設定するように指示する指令である第1指令、又は、話者に対して応答文を出力するように指示する指令である第2指令とが対応づけられている対応データを参照して、前記第1取得手段により取得された話者特定情報に対応する指令を取得する第2取得手段と、
前記第2取得手段により取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記携帯端末との間で、データ通信可能な状態に設定する通信手段と、
前記第2取得手段により取得された指令が第2指令の場合、前記話者に対して、前記応答文を出力する出力手段とを有し、
前記第1取得手段における所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信端末は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力する手段と、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、前記特徴抽出手段に送る手段とを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力すること、
を特徴とする通信システム。A communication system having a communication terminal arranged at a predetermined location and a portable terminal carried by a user of the communication terminal away from the predetermined location,
The communication terminal is
A plurality of pieces of speaker specifying information, which are information specifying the speaker selected in advance by the user, associated with the first feature data indicating the characteristics of the audio signal of the predetermined input information input in advance by the speaker are stored in advance. First storage means;
Feature extraction means for extracting second feature data indicating features of a voice signal of the predetermined input information based on predetermined input information input by a speaker;
A similarity between the second feature data and each first feature data is calculated. If the highest similarity among the calculated similarities exceeds a predetermined value, the second corresponding to the highest similarity is calculated. First acquisition means for acquiring speaker identification information related to one feature data;
A first command which is a command for instructing to set each speaker specific information and the portable terminal to be in a communicable state, or a command for instructing a speaker to output a response sentence A second acquisition means for acquiring a command corresponding to the speaker specifying information acquired by the first acquisition means with reference to correspondence data associated with a second command;
If the command acquired by the second acquisition means is the first command, communication for setting data communication with the portable terminal so that a call can be performed between the speaker and the user. Means,
When the instruction acquired by the second acquisition means is a second instruction, the output means outputs the response sentence to the speaker.
The predetermined value in the first acquisition means is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is a certain value or more for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication terminal outputs a message information for voice input of predetermined input information which is a specific word set in advance;
Means for sending a voice signal indicating the acquired predetermined input information to the feature extraction means via voice input means;
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
The control means outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction means;
A communication system characterized by the above.
前記第2取得手段により取得された指令が第2指令の場合、前記話者特定情報に対応する応答文を取得する第3取得手段とを有し、
前記出力手段は、前記第3取得手段により取得された応答文を、前記話者に対して出力することを特徴とする請求項1に記載の通信システム。In the communication terminal, a response sentence is associated with the speaker identification information, and a second storage unit that stores a plurality of the speaker identification information in advance,
And when the command acquired by the second acquisition means is a second command, there is a third acquisition means for acquiring a response sentence corresponding to the speaker specifying information,
The communication system according to claim 1, wherein the output unit outputs the response sentence acquired by the third acquisition unit to the speaker.
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報を予め複数記憶する第1記憶手段と、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出する特徴抽出手段と、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合に、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得手段と、
各話者特定情報と、前記ユーザが携帯する携帯端末と通信を行うように指示する指令である第1指令、又は、前記話者に対して応答文を出力するように指示する指令である第2指令と、が対応づけられている対応データを参照して、前記第1取得手段により取得された話者特定情報に対応する指令を取得する第2取得手段と、
前記第2取得手段により取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記携帯端末との間で、データ通信可能な状態に設定する通信手段と、
前記第2取得手段により取得された指令が第2指令の場合、前記話者に対して、前記応答文を出力する出力手段とを有し、
前記第1取得手段における所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信端末装置は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力する手段と、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、前記特徴抽出手段に送る手段とを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力すること、
を特徴とする通信端末装置。A communication terminal device that is located at a predetermined location and is owned by a user away from the predetermined location,
A plurality of pieces of speaker specifying information, which are information specifying the speaker selected in advance by the user, associated with the first feature data indicating the characteristics of the audio signal of the predetermined input information input in advance by the speaker are stored in advance. First storage means;
Feature extraction means for extracting second feature data indicating features of a voice signal of the predetermined input information based on predetermined input information input by a speaker;
The similarity between the second feature data and each first feature data is calculated, and when the highest similarity among the calculated similarities exceeds a predetermined value, it corresponds to the highest similarity First acquisition means for acquiring speaker identification information related to the first feature data;
A first instruction that is an instruction to communicate with each speaker specific information and a portable terminal carried by the user, or an instruction that instructs the speaker to output a response sentence. A second acquisition unit that acquires a command corresponding to the speaker identification information acquired by the first acquisition unit with reference to the correspondence data associated with the two commands;
If the command acquired by the second acquisition means is the first command, communication for setting data communication with the portable terminal so that a call can be performed between the speaker and the user. Means,
When the instruction acquired by the second acquisition means is a second instruction, the output means outputs the response sentence to the speaker.
The predetermined value in the first acquisition means is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is a certain value or more for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication terminal device outputs message information for voice input of predetermined input information which is a predetermined specific word;
Means for sending a voice signal indicating the acquired predetermined input information to the feature extraction means via voice input means;
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
The control means outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction means;
A communication terminal device.
話者により予め入力された所定入力情報の音声信号の特徴を示す第1特徴データと対応づけられた、前記ユーザが予め選定した話者を特定する情報である話者特定情報が、第1記憶手段に、予め複数記憶されており、
話者により入力された所定入力情報に基づいて、前記所定入力情報の音声信号の特徴を示す第2特徴データを抽出するステップと、
前記第2特徴データと各第1特徴データとの間の類似度を計算し、計算された各類似度のうち、最も高い類似度が所定値を超える場合、前記最も高い類似度に対応する第1特徴データに関連する話者特定情報を取得する第1取得ステップと、
各話者特定情報と、前記携帯端末との間で通信可能な状態に設定するように指示する指令である第1指令、又は、話者に対して応答文を出力するように指示する指令である第2指令とが対応づけられている対応データを参照して、前記第1取得ステップにより取得された話者特定情報に対応する指令を取得する第2取得ステップと、
前記第2取得ステップにより取得された指令が第1指令の場合、前記話者と前記ユーザとの間で通話が行えるように、前記通信端末が、前記携帯端末との間で、データ通信可能な状態に設定するステップと、
前記第2取得ステップにより取得された指令が第2指令の場合、前記通信端末が、前記話者に対して、前記応答文を出力するステップとを有し、
前記第1取得ステップにおける所定値は、特定の言葉に対し、前記第1取得手段が計算した前記第1特徴データと前記第2特徴データの類似度が、一定値以上であるか否かの実験を行い、該実験の結果、前記類似度が前記一定値以上である場合に話者を特定できたと判断したときの前記一定値であり、
さらに、前記通信方法は、予め設定された特定の言葉である所定入力情報を音声入力させるメッセージ情報を出力するステップと、
取得した前記所定入力情報を示す音声信号を音声入力手段を介して、特徴抽出手段に送るステップとを有し、
前記特徴抽出手段は、送られてきた所定入力情報を示す音声信号の音声区間の検出を行い、検出した前記音声区間内において、第2特徴データの抽出の処理を行うとともに、
前記特徴抽出手段で前記第2特徴データが抽出ができなかった場合に制御手段は所定の応答文を出力すること、
を特徴とする通信方法。A communication method using a communication terminal arranged at a predetermined location and a portable terminal carried by a user of the communication terminal away from the predetermined location,
Speaker specifying information, which is information specifying a speaker selected in advance by the user, is associated with first feature data indicating characteristics of a voice signal of predetermined input information input in advance by a speaker. A plurality of means are stored in advance,
Extracting second feature data indicating a feature of an audio signal of the predetermined input information based on predetermined input information input by a speaker;
A similarity between the second feature data and each first feature data is calculated. If the highest similarity among the calculated similarities exceeds a predetermined value, the second corresponding to the highest similarity is calculated. A first acquisition step of acquiring speaker specifying information related to one feature data;
A first command which is a command for instructing to set each speaker specific information and the portable terminal to be in a communicable state, or a command for instructing a speaker to output a response sentence A second acquisition step of acquiring a command corresponding to the speaker identification information acquired by the first acquisition step with reference to correspondence data associated with a second command;
When the command acquired in the second acquisition step is the first command, the communication terminal can perform data communication with the mobile terminal so that a call can be performed between the speaker and the user. A step to set the state;
When the command acquired in the second acquisition step is a second command, the communication terminal has a step of outputting the response sentence to the speaker.
The predetermined value in the first acquisition step is an experiment as to whether or not the similarity between the first feature data and the second feature data calculated by the first acquisition means is greater than or equal to a certain value for a specific word. And, as a result of the experiment, when the similarity is equal to or higher than the predetermined value, the predetermined value when it is determined that the speaker can be specified,
Further, the communication method includes outputting message information for voice input of predetermined input information that is a specific word set in advance;
Sending the voice signal indicating the acquired predetermined input information to the feature extraction means via the voice input means,
The feature extraction means detects a voice section of a voice signal indicating predetermined input information that has been sent, and performs extraction processing of second feature data in the detected voice section,
The control means outputs a predetermined response sentence when the second feature data cannot be extracted by the feature extraction means;
A communication method characterized by the above.
前記第2取得ステップにより取得された指令が第2指令の場合、前記話者特定情報に対応する応答文を取得する第3取得ステップと、
前記第3取得ステップにより取得された応答文を、前記通信端末が、前記話者に対して出力するステップとを有することを特徴とする請求項4に記載の通信方法。A response sentence is associated with the speaker identification information, and the second storage means stores a plurality of the speaker identification information in advance.
A third acquisition step of acquiring a response sentence corresponding to the speaker identification information when the instruction acquired in the second acquisition step is a second instruction;
The communication method according to claim 4 , further comprising a step in which the communication terminal outputs the response sentence acquired in the third acquisition step to the speaker.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318737A JP4380978B2 (en) | 2002-10-31 | 2002-10-31 | COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318737A JP4380978B2 (en) | 2002-10-31 | 2002-10-31 | COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004153707A JP2004153707A (en) | 2004-05-27 |
JP4380978B2 true JP4380978B2 (en) | 2009-12-09 |
Family
ID=32461801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002318737A Expired - Fee Related JP4380978B2 (en) | 2002-10-31 | 2002-10-31 | COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4380978B2 (en) |
-
2002
- 2002-10-31 JP JP2002318737A patent/JP4380978B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004153707A (en) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11335330B2 (en) | Updating a voice template | |
EP0477688B1 (en) | Voice recognition telephone dialing | |
CN110661927B (en) | Voice interaction method and device, computer equipment and storage medium | |
JP4240807B2 (en) | Mobile communication terminal device, voice recognition method, and recording medium recording the program | |
US7280849B1 (en) | Voice activated dialing for wireless headsets | |
US6744860B1 (en) | Methods and apparatus for initiating a voice-dialing operation | |
JP2004511823A (en) | Dynamically reconfigurable speech recognition system and method | |
JP3204632B2 (en) | Voice dial server | |
US11096112B2 (en) | Electronic device for setting up network of external device and method for operating same | |
JP2003044091A (en) | Voice recognition system, portable information terminal, device and method for processing audio information, and audio information processing program | |
KR20050007429A (en) | Improving speech recognition of mobile devices | |
JP2007529916A (en) | Voice communication with a computer | |
US20180285068A1 (en) | Processing method of audio control and electronic device thereof | |
US20200211560A1 (en) | Data Processing Device and Method for Performing Speech-Based Human Machine Interaction | |
CN112334978A (en) | Electronic device supporting personalized device connection and method thereof | |
CN107205097A (en) | Mobile terminal lookup method, device and computer-readable recording medium | |
KR101052343B1 (en) | Mobile terminal capable of providing information by voice recognition during a call and information providing method in the mobile terminal | |
CN111783481A (en) | Earphone control method, translation method, earphone and cloud server | |
US20190304457A1 (en) | Interaction device and program | |
JP4380978B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD | |
US20020156635A1 (en) | Automatic information system | |
JP2010114663A (en) | Intercom system, and intercom program | |
CN111800700B (en) | Method and device for prompting object in environment, earphone equipment and storage medium | |
CN114390144A (en) | Intelligent processing method, device and control system for voice incoming call | |
WO2014108981A1 (en) | On-vehicle information system and speech recognition adaptation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070622 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080620 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4380978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |