WO2013175665A1 - 通信装置 - Google Patents

通信装置 Download PDF

Info

Publication number
WO2013175665A1
WO2013175665A1 PCT/JP2012/082453 JP2012082453W WO2013175665A1 WO 2013175665 A1 WO2013175665 A1 WO 2013175665A1 JP 2012082453 W JP2012082453 W JP 2012082453W WO 2013175665 A1 WO2013175665 A1 WO 2013175665A1
Authority
WO
WIPO (PCT)
Prior art keywords
importance
voice
emotion
unit
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/082453
Other languages
English (en)
French (fr)
Inventor
有香 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Publication of WO2013175665A1 publication Critical patent/WO2013175665A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present invention relates to a communication device, a server, an information providing method, and a program that provide information related to voice.
  • An object of the present invention is to provide a communication device, a server, an information providing method, and a program that solve the above-described problems.
  • the communication device of the present invention An emotion determination unit that determines an emotion of a speaker of the voice based on the input voice; A usage frequency calculation unit that divides the voice into words and calculates a usage frequency for each word; An importance calculator that calculates the importance of the word based on the emotion determined by the emotion determiner and the use frequency calculated by the use frequency calculator; A notifying unit for notifying information according to the importance calculated by the importance calculating unit.
  • the program of the present invention is A program for causing a computer to execute, A procedure for determining an emotion of a speaker of the voice based on the inputted voice; Dividing the speech into words; A procedure for calculating a use frequency for each of the divided words; Calculating the importance of the word based on the emotion and the usage frequency; And a procedure for informing information according to the calculated importance.
  • FIG. 1 is a diagram showing an embodiment of a communication system having a communication device of the present invention.
  • the emotion determination unit 101 determines the emotion of the speaker of the voice based on the input voice.
  • This determination method uses the voice recognition function to determine the emotion of the speaker who is emitting the voice based on the strength of the voice, the height, the interval between the sounds (sounding condition), and the like. . For example, if the voice is strong (the volume is high), the speaker's emotion is considered high. Further, when the voice is high, it is considered that the emotion of the speaker is high. In addition, when the interval between sounds is short, the emotion of the speaker is considered high. In this way, each determination element and the level of emotion are associated in advance as emotion association data, and the emotion determination unit 101 determines an emotion based on the association (determination criterion). The determination method is not particularly specified here.
  • FIG. 3 is a diagram illustrating an example of determination criteria stored in advance in the emotion determination unit 101 illustrated in FIG.
  • the emotion determination unit 101 shown in FIG. 2 is stored in association with emotional levels, voice strength, voice level, and sound interval.
  • the emotion level is “high”, “medium”, “low”, the voice strength is “strong”, “medium”, “weak”, and the voice level is “high”, “medium”, “Low” indicates the sound interval as “short”, “medium”, and “long”.
  • This is an expression for convenience of explanation, and may be an appropriate numerical value representing each.
  • the number of levels is not limited to three. Further, such a determination criterion may be set in advance by the user, or may be statistically calculated based on the actual data acquired in the past.
  • the voice input here may be a voice during a call, or a surrounding voice (for example, voice spoken during a meeting or lecturer voice during a lecture) inputted to a microphone or the like. Also good.
  • the notification unit 104 notifies information based on the importance calculated by the importance calculation unit 103.
  • the notification method may be display of information using a display or the like, transmission of information by sound using a speaker, or notification using vibration.
  • the information notified by the notification unit 104 may be, for example, information indicating an outline of the call content or may be a summary characterizing the call content, but the importance level calculated by the importance level calculation unit 103 is high. Information that includes words.
  • the information notified by the notification unit 104 may simply be a word having the highest importance calculated by the importance calculation unit 103 or a predetermined number of words from the highest importance.
  • the notification unit 104 notifies the score.
  • the communication device 100-1 shown in FIG. 1 includes an emotion determination unit 101, a usage frequency calculation unit 102, an importance calculation unit 103, a notification unit 104, and a recording unit 105. It has been.
  • the internal configuration of the communication device 100-2 may be the same as the internal configuration of the communication device 100-1, or may have a general call function.
  • the score (score) calculated for the call (conversation) and the high importance information (word) calculated by the importance calculation unit 103 are “Speak”. It is displayed as "a word that the person was pleased with.”
  • the communication apparatus 100-1 determines the emotion of the voice uttered by the speaker, calculates the use frequency, and indicates the importance calculated from each, so that the user I can recognize what I wanted to convey.
  • emotion determination, usage frequency calculation, and importance calculation may be performed by a device other than the communication device 100-1.
  • the recording unit 115 records the input voice.
  • the voice recorded by the recording unit 115 may be a voice during a call or a surrounding voice input to a microphone or the like (for example, a voice spoken during a meeting or a lecturer voice during a lecture). It may be.
  • the notification unit 114 notifies information transmitted from the server 300.
  • the notification method may be display of information using a display or the like, transmission of information by sound using a speaker, or notification using vibration.
  • the server 300 shown in FIG. 8 includes an emotion determination unit 301, a usage frequency calculation unit 302, an importance level calculation unit 303, and a communication unit 304.
  • the importance level calculation unit 303 calculates the importance level of words based on the emotion determined by the emotion determination unit 301 and the usage frequency calculated by the usage frequency calculation unit 302.
  • the importance calculation method is the same as that in the importance calculation unit 103 shown in FIG.
  • FIG. 11 is a sequence diagram for explaining the information providing method in the form shown in FIG.
  • a case will be described as an example in which communication device 110-1 records a voice during a call and transmits voice data indicating the recorded voice to server 300.
  • the emotion determination unit 301 When the communication unit 304 of the server 300 receives the audio data transmitted from the communication device 110-1, the emotion determination unit 301, based on the received audio data, in step 15, the audio data indicated by the audio data is displayed. Determine the emotion of the speaker. If the audio data transmitted from the communication device 110-1 is compressed, the emotion determination unit 301 decompresses the audio data after the communication unit 111 decompresses the audio data. Emotion is judged based on
  • the usage frequency calculation unit 302 divides the voice data transmitted from the communication device 110-1 into words. Subsequently, in step 17, the usage frequency calculation unit 302 calculates the usage frequency of each divided word.
  • the importance calculation unit 303 calculates the importance of each word based on the emotion determined by the emotion determination unit 301 and the use frequency calculated by the use frequency calculation unit 302.
  • a device external to the communication device 110-1 performs emotion determination, usage frequency calculation, and importance calculation, even a communication device that does not have the function of performing such processing.
  • the present invention can be used.
  • a conversation performed using a communication terminal (communication device) having a voice communication function is automatically determined and recorded using voice recognition.
  • voice recognition technology For example, you can use voice recognition technology to count the number of words used in a conversation, and give a ranking to inform you of the topic of the conversation and what you wanted to convey most after the call. . The most spoken word is considered as the most wanted word.
  • emotion judgment function based on the level of the voice, strength, weakness, and sound-to-sound (clogging), it is possible to connect the speaker's words and emotions. , You can automatically check what you have angered or what the other party was most eager to convey (what is important) and automatically check it later.
  • the content of the conversation is automatically judged, items that the user was not aware of, important matters that the other party wanted to convey, feelings of the other party in the conversation,
  • the user can easily check without a work load after a call.
  • each component provided in each of the communication device 100-1 and the server 300 described above may be performed by a logic circuit that is produced according to the purpose.
  • a computer program (hereinafter referred to as a program) in which processing contents are described as a procedure is recorded on a recording medium readable by each of the communication device 100-1 and the server 300, and the program recorded on the recording medium is stored in the communication device.
  • 100-1 and server 300 may be read and executed.
  • the recording medium readable by each of the communication device 100-1 and the server 300 includes a transferable recording medium such as a floppy (registered trademark) disk, a magneto-optical disk, a DVD, and a CD, as well as the communication device 100-1 and the server.
  • the functions of the communication device 100-1 and the server 300 described above include an IC (Integrated Circuit) recorder, a mobile phone, a mobile terminal, a tablet or notebook PC (Personal Computer), a smartphone, a PDA (Personal Digital Assistants). ), And can be applied to devices such as game machines.
  • IC Integrated Circuit
  • An emotion determination unit that determines an emotion of a speaker of the voice based on the input voice
  • a usage frequency calculation unit that divides the voice into words and calculates a usage frequency for each word
  • An importance calculator that calculates the importance of the word based on the emotion determined by the emotion determiner and the use frequency calculated by the use frequency calculator
  • a communication apparatus comprising: a notification unit that notifies information according to the importance calculated by the importance calculation unit.
  • reports the word with the highest said importance calculated by the said importance calculation part,
  • the emotion determination part which determines the emotion of the speaker of the audio
  • a usage frequency calculation unit that divides the voice data into words and calculates a usage frequency for each word;
  • An importance calculator that calculates the importance of the word based on the emotion determined by the emotion determiner and the use frequency calculated by the use frequency calculator;
  • a communication unit that transmits information corresponding to the importance calculated by the importance calculation unit to the communication device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

通信装置
　本発明は、音声に関する情報を提供する通信装置、サーバ、情報提供方法およびプログラムに関する。
　近年、意思疎通の方法として、電子メールでのやり取りが増えている。しかし、電子メールのような文字だけの伝達では伝わりにくいこともある。
　一方、音声通信（通話）は、発話者の口調等で、文字だけでは伝わりにくいことを伝えやすくすることができる。
　例えば、利用者を撮影した画像および利用者の音声に基づいて、その感情を判断する技術が考えられている（例えば、特許文献１参照。）。この技術を通話に用いれば、利用者が文字だけでは伝えられない情報を伝えることができる。
特開２００９－１５１７６６号公報
　音声通信における会話内容を、後で確認する必要がある場合、当該会話をしながらその会話の中の重要事項と思われる内容を中心にメモを取ることが一般的に行われていた。しかし、近年では、そのようにメモを取る手間を省いたり、メモへの書き漏れを避けたりするために、レコーダー等を用いて、会話全体を録音したりするなどの方法を用いることが多くなってきている。
　しかしながら、利用者が会話全体を録音して、その会話の中から重要事項を抽出（認識）するために、録音した内容を全て確認するのは、利用者に高い作業負担かかってしまうという問題点がある。また、利用者がこのような確認を行ったとしても、重要事項であるかどうかは利用者自身の主観で判断するため、話す側が重要事項として話している内容が重要事項であることに気付かないおそれがある。
　また、特許文献１に記載されたような利用者の感情に基づく判断だけでは、会話における重要事項を認識しきれるとは言い難い。
　本発明の目的は、上述した課題を解決する通信装置、サーバ、情報提供方法およびプログラムを提供することである。
　本発明の通信装置は、
　入力された音声に基づいて、該音声の発話者の感情を判定する感情判定部と、
　前記音声を単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
　前記重要度算出部が算出した前記重要度に応じた情報を報知する報知部とを有する。
　また、本発明のサーバは、
　通信装置から送信されてきた音声データに基づいて、該音声データが示す音声の発話者の感情を判定する感情判定部と、
　前記音声データを単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
　前記重要度算出部が算出した前記重要度に応じた情報を前記通信装置へ送信する通信部とを有する。
　また、本発明の情報提供方法は、
　入力された音声に基づいて、該音声の発話者の感情を判定する処理と、
　前記音声を単語に分割する処理と、
　前記分割された単語ごとの使用頻度を算出する処理と、
　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する処理と、
　前記算出した前記重要度に応じた情報を報知する処理とを行う。
　また、本発明のプログラムは、
　コンピュータに実行させるためのプログラムであって、
　入力された音声に基づいて、該音声の発話者の感情を判定する手順と、
　前記音声を単語に分割する手順と、
　前記分割された単語ごとの使用頻度を算出する手順と、
　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する手順と、
　前記算出した前記重要度に応じた情報を報知する手順とを実行させる。
　以上説明したように、本発明においては、会話の重要な事項を容易に認識することができる。
本発明の通信装置を有する通信システムの実施の一形態を示す図である。 図１に示した通信装置の内部構成の一例を示す図である。 図２に示した感情判定部にあらかじめ記憶されている判定基準の一例を示す図である。 図１に示した通信装置の内部構成の他の例を示す図である。 図１に示した通信装置における情報提供方法を説明するためのフローチャートである。 図２に示した報知部が報知した情報の一例を示す図である。 図２に示した報知部が報知した情報の他の例を示す図である。 本発明の通信装置を有する通信システムの実施の他の形態を示す図である。 図８に示した通信装置の内部構成の一例を示す図である。 図８に示したサーバの内部構成の一例を示す図である。 図８に示した形態における情報提供方法を説明するためのシーケンス図である。
　以下に、本発明の実施の形態について図面を参照して説明する。
　図１は、本発明の通信装置を有する通信システムの実施の一形態を示す図である。
　本形態では図１に示すように、通信装置１００－１と、通信装置１００－２とが通信ネットワーク２００を介して通信可能となっている。
　通信装置１００－１～１００－２は、利用者が使用する、互いに通話が可能な通信端末である。
　図２は、図１に示した通信装置１００－１の内部構成の一例を示す図である。
　図１に示した通信装置１００－１には図２に示すように、感情判定部１０１と、使用頻度算出部１０２と、重要度算出部１０３と、報知部１０４とが設けられている。
　感情判定部１０１は、入力された音声に基づいて、その音声の発話者の感情を判定する。この判定方法は、音声認識機能を用いて、音声の強弱や、高低、音と音との間隔（詰まり具合）等に基づいて、その音声を発している発話者の感情を判定するものである。例えば、音声の強さが強い（音量が大きい）場合は、発話者の感情が高いと考えられる。また、音声の高さが高い場合は、発話者の感情が高いと考えられる。また、音と音との間隔が短い場合は、発話者の感情が高いと考えられる。このように、それぞれの判定要素と、感情の高低とが感情紐付けデータとしてあらかじめ対応付けられており、感情判定部１０１は、その対応付け（判定基準）に基づいて、感情を判定するものであっても良く、その判定方法はここでは特に規定しない。
　図３は、図２に示した感情判定部１０１にあらかじめ記憶されている判定基準の一例を示す図である。
　図２に示した感情判定部１０１は図３に示すように、感情の高低と、音声の強弱、音声の高低および音の間隔とに対応付けられて記憶されている。図３では、感情の高低を「高」、「中」、「低」とし、音声の強弱を「強」、「中」、「弱」とし、音声の高低を「高」、「中」、「低」とし、音の間隔を「短」、「中」、「長」として示している。これは説明の便宜上の表現であり、それぞれを表す適当な数値であっても良い。また、そのレベルの数も３段階に限らない。また、このような判定基準は、利用者があらかじめ設定しておくものであっても良いし、過去に取得した実績データに基づいて、統計的に算出されたものであっても良い。
　また、ここで入力する音声は、通話中の音声であっても良いし、マイク等に入力した周囲の音声（例えば、会議中に発言された音声や講義中の講師の音声等）であっても良い。
　使用頻度算出部１０２は、入力された音声を単語に分割する。ここで、使用頻度算出部１０２が音声を単語に分割するには、使用頻度算出部１０２が音声認識機能を具備していることが必要である。また、使用頻度算出部１０２は、分割された単語ごとの使用頻度を算出する。例えば、音声が通話中の音声である場合、使用頻度算出部１０２は、通話開始から通話終了までの、分割されたそれぞれの単語の使用回数を算出するものであっても良いし、単位時間における使用率を算出するものであっても良い。なお、使用頻度算出部１０２は、音声を単語ではなく、文節や、キーワード等、あらかじめ設定された単位に分割し、その分割した単位ごとに処理を行うものであっても良い。
　重要度算出部１０３は、感情判定部１０１が判定した感情と、使用頻度算出部１０２が算出した使用頻度とに基づいて、単語それぞれの重要度を算出する。このとき、重要度算出部１０３は、感情判定部１０１が判定した感情が高いほど、重要度を高い値とする。また、重要度算出部１０３は、使用頻度算出部１０２が算出した使用頻度が高いほど、重要度を高い値とする。そして、重要度算出部１０３は、それぞれの重要度をかけ合わせた値を当該単語の重要度とする。なお、重要度算出部１０３は、それぞれの重要度をかけ合わせる際に、それぞれの重要度にあらかじめ設定された重み付け等を付与しても良い。つまり、重要度算出部１０３が算出した重要度は、当該音声の発話者が、その単語に興味を示した度合いや、その単語を伝えようとした熱意の度合いを示すものとなる。
　また、重要度算出部１０３は、それぞれの単語について算出した重要度に応じたスコア（点数）を算出するものであっても良い。例えば、重要度が高い値である場合、重要度算出部１０３は、「８０点」という高いスコアを算出したり、重要度が低い値である場合、「２０点」という低いスコアを算出したりするものであっても良い。
　報知部１０４は、重要度算出部１０３が算出した重要度に基づいて、情報を報知する。ここで、報知の方法は、ディスプレイ等を用いた情報の表示であっても良いし、スピーカーを用いた音による情報の伝達であっても良いし、振動を用いた通知であっても良い。報知部１０４が報知する情報は、例えば、通話内容の概要を示す情報であっても良いし、通話内容を特徴付ける要約等であっても良いが、重要度算出部１０３が算出した重要度の高い単語が含まれる情報となる。報知部１０４が報知する情報は、単に、重要度算出部１０３が算出した重要度が最も高い単語や、重要度の最も高いものから所定の数の単語であっても良い。また、重要度算出部１０３が上述したようなスコアを算出した場合、報知部１０４は、そのスコアを報知する。
　図４は、図１に示した通信装置１００－１の内部構成の他の例を示す図である。
　図１に示した通信装置１００－１には図４に示すように、感情判定部１０１と、使用頻度算出部１０２と、重要度算出部１０３と、報知部１０４と、録音部１０５とが設けられている。
　録音部１０５は、入力された音声を録音する。ここで、録音部１０５が録音する音声は、通話中の音声であっても良いし、マイク等に入力した周囲の音声（例えば、会議中に発言された音声や講義中の講師の音声等）であっても良い。
　感情判定部１０１は、録音部１０５が録音した音声に基づいて、発話者の感情を判定する。この判定方法は、上述したものと同じである。
　使用頻度算出部１０２は、録音部１０５が録音した音声を単語に分割する。また、使用頻度算出部１０２は、分割された単語ごとの使用頻度を算出する。この使用頻度の算出方法は、上述したものと同じである。
　なお、通信装置１００－２の内部構成も通信装置１００－１の内部構成と同じであっても良いし、一般的な通話機能を具備するものであっても良い。
　以下に、図１に示した通信装置１００－１における情報提供方法について説明する。
　図５は、図１に示した通信装置１００－１における情報提供方法を説明するためのフローチャートである。
　まず、ステップ１にて、通信装置１００－１に音声が入力すると、ステップ２にて、感情判定部１０１が、音声を発した発話者の感情を判定する。この判定方法は、上述したように、あらかじめ設定された判定基準に基づくものであっても良いし、統計データに基づくものであっても良い。
　また、ステップ３にて、使用頻度算出部１０２は、入力された音声を単語に分割する。続いて、ステップ４にて、使用頻度算出部１０２は、分割したそれぞれの単語の使用頻度を算出する。使用頻度の算出方法は、上述した通りである。
　すると、ステップ５にて、重要度算出部１０３は、感情判定部１０１が判定した感情と、使用頻度算出部１０２が算出した使用頻度とに基づいて、単語それぞれの重要度を算出する。重要度の算出方法は、上述した通りである。
　続いて、ステップ６にて、報知部１０４は、重要度算出部１０３が算出した重要度に基づいて、情報を報知する。
　図６は、図２に示した報知部１０４が報知した情報の一例を示す図である。
　図２に示した報知部１０４には図６に示すように、通話記録と、重要度算出部１０３が算出した重要度の高い情報（単語）が「重要事項」として表示されている。また、重要事項に関する情報（例えば、重要度の２番目以降のもの）が、「トピックス」として表示されている。
　図７は、図２に示した報知部１０４が報知した情報の他の例を示す図である。
　図２に示した報知部１０４には図７に示すように、通話（会話）について算出されたスコア（点数）と、重要度算出部１０３が算出した重要度の高い情報（単語）が「発話者が喜んでいた一言」として表示されている。
　このように、通信装置１００－１が、発話者が発した音声について、感情を判定し、また、使用頻度を算出し、それぞれから算出した重要度を示すことで、利用者は、発話者が伝えたかったことを認識することができる。
　また、上述したように、感情の判定、使用頻度の算出および重要度の算出を、通信装置１００－１以外の他の装置が行うものであっても良い。
　図８は、本発明の通信装置を有する通信システムの実施の他の形態を示す図である。
　本形態では図８に示すように、通信装置１１０－１～１１０－２と、サーバ３００とが通信ネットワーク２００を介して通信可能となっている。
　通信装置１１０－１～１１０－２は、利用者が使用する、互いに通話が可能な通信装置である。
　サーバ３００は、通信装置１１０－１～１１０－２に入力された音声について、感情の判定、使用頻度の算出および重要度の算出を行う。
　図９は、図８に示した通信装置１１０－１の内部構成の一例を示す図である。
　図８に示した通信装置１１０－１には図９に示すように、通信部１１１と、報知部１１４と、録音部１１５とが設けられている。なお、図８に示した通信装置１１０－２の内部構成も同様である。
　録音部１１５は、入力された音声を録音する。ここで、録音部１１５が録音する音声は、通話中の音声であっても良いし、マイク等に入力した周囲の音声（例えば、会議中に発言された音声や講義中の講師の音声等）であっても良い。
　通信部１１１は、通信装置１１０－２との間で通話を行う。また、通信部１１１は、通話の開始および終了を検出する。また、通信部１１１は、入力された音声を示す音声データをサーバ３００へ送信する。ここで、通信部１１１が送信する音声データが示す音声は、通話中の音声であっても良いし、マイク等に入力した周囲の音声（例えば、会議中に発言された音声や講義中の講師の音声等）であっても良い。また、このとき、録音部１１５が音声を録音している場合、通信部１１１は、録音部１１５が録音した音声を示す音声データをサーバ３００へ送信する。
　報知部１１４は、サーバ３００から送信されてきた情報を報知する。ここで、報知の方法は、ディスプレイ等を用いた情報の表示であっても良いし、スピーカーを用いた音による情報の伝達であっても良いし、振動を用いた通知であっても良い。
　図１０は、図８に示したサーバ３００の内部構成の一例を示す図である。
　図８に示したサーバ３００には図１０に示すように、感情判定部３０１と、使用頻度算出部３０２と、重要度算出部３０３と、通信部３０４とが設けられている。
　感情判定部３０１は、通信装置１１０－１または通信装置１１０－２から送信されてきた音声データに基づいて、その音声データが示す音声の発話者の感情を判定する。この判定方法は、図２に示した感情判定部１０１におけるものと同じである。
　使用頻度算出部３０２は、通信装置１１０－１または通信装置１１０－２から送信されてきた音声データを単語に分割する。また、使用頻度算出部３０２は、分割された単語ごとの使用頻度を算出する。この使用頻度の算出方法は、図２に示した使用頻度算出部１０２におけるものと同じである。
　重要度算出部３０３は、感情判定部３０１が判定した感情と、使用頻度算出部３０２が算出した使用頻度とに基づいて、単語の重要度を算出する。この重要度の算出方法は、図２に示した重要度算出部１０３におけるものと同じである。
　通信部３０４は、重要度算出部３０３が算出した重要度に基づいて、所定の情報を通信装置１１０－１～１１０－２へ送信する。この所定の情報とは、例えば、通話内容の概要を示す情報であっても良いし、通話内容を特徴付ける要約等であっても良いが、重要度算出部３０３が算出した重要度の高い単語が含まれる情報となる。また、通信部３０４が送信する情報は、単に、重要度算出部３０３が算出した重要度が最も高い単語を示す情報や、重要度の最も高いものから所定の数の単語を示す情報であっても良い。また、重要度算出部３０３が上述したようなスコアを算出した場合、通信部３０４は、そのスコアを送信する。
　以下に、図８に示した形態における情報提供方法について説明する。
　図１１は、図８に示した形態における情報提供方法を説明するためのシーケンス図である。なお、ここでは、通信装置１１０－１が通話中の音声を録音して、録音した音声を示す音声データをサーバ３００へ送信する場合を例に挙げて説明する。
　まず、ステップ１１にて、通信装置１１０－１の通信部１１１が通話を開始すると、ステップ１２にて、録音部１１５が通話中の音声の録音を開始する。
　その後、ステップ１３にて、通信部１１１が通話を終了すると、ステップ１４にて、録音部１１５が録音した音声を示す音声データを通信部１１１がサーバ３００へ送信する。なお、このとき、通信部１１１は、当該音声データを圧縮処理した後、送信するものであっても良い。
　サーバ３００の通信部３０４が、通信装置１１０－１から送信された音声データを受信すると、ステップ１５にて、感情判定部３０１が、当該受信した音声データに基づいて、その音声データが示す音声の発話者の感情を判定する。なお、通信装置１１０－１から送信されてきた音声データが圧縮処理されたものである場合は、通信部１１１が当該音声データを解凍処理した後に、感情判定部３０１が、解凍処理された音声データに基づいて感情を判定する。
　また、ステップ１６にて、使用頻度算出部３０２は、通信装置１１０－１から送信されてきた音声データを単語に分割する。続いて、ステップ１７にて、使用頻度算出部３０２は、分割したそれぞれの単語の使用頻度を算出する。
　すると、ステップ１８にて、重要度算出部３０３は、感情判定部３０１が判定した感情と、使用頻度算出部３０２が算出した使用頻度とに基づいて、単語それぞれの重要度を算出する。
　重要度算出部３０３が単語それぞれの重要度を算出すると、ステップ１９にて、通信部３０４は、重要度算出部３０３が算出した重要度に基づいて、所定の情報を送信する。この情報は、上述した通りの情報である。
　サーバ３００から送信されてきた情報を通信装置１１０－１の通信部１１１が受信すると、ステップ２０にて、報知部１１４が当該情報を報知する。報知の内容は、図２に示した報知部１０４が報知する内容と同じである。
　このように、通信装置１１０－１の外部の装置が、感情の判定、使用頻度の算出および重要度の算出を行うため、このような処理を行う機能を具備していない通信装置であっても、本発明を利用することができる。
　上述したように、本発明は、音声通信機能を具備した通信端末（通信装置）を用いて行った会話を、音声認識を利用して自動的に会話判断、記録を行う。例えば、音声認識技術を利用して、会話で使用した単語の使用回数をカウントし、ランキングをつけて報知することで、通話終了後、会話のトピックスや最も伝えたかった事柄を確認することが出来る。最も多く発声された単語は、最も伝えたかったこととして考えられる。また、音声の高低や、強弱、音と音との間隔（詰まり具合）などで感情判断を行う機能を用いることで、発話者の言葉と感情を結びつけることができ、どの内容に喜んでいたか、どの内容で怒らせてしまったか、あるいは相手が最も熱心に強く伝えようとしていたこと（重要事項）は何だったか、などを自動的に整理し、後から容易に確認することが出来る。
　このように、音声認識を利用することで、会話の内容を自動的に判断し、利用者が意識できていなかった事項や、相手が伝えたかった重要事項、会話での相手の感情などを、利用者は、通話後、作業負荷なく簡単に確認することが出来る。
　また、取得したキーワードランキングを活用して、発話者の口癖を調べたり、感情判定データを活用して、会話の何割が「喜び」などプラスの感情で占められていたかで会話の採点を行ったりすることで、エンターテイメント性をもった機能を実現できる。これにより、通話に新たな楽しさ・価値が生まれ、音声での意思疎通を行う機会が増える。
　また、上述した通信装置１００－１、サーバ３００それぞれに設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を通信装置１００－１、サーバ３００それぞれにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを通信装置１００－１、サーバ３００それぞれに読み込ませ、実行するものであっても良い。通信装置１００－１、サーバ３００それぞれにて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、通信装置１００－１、サーバ３００それぞれに内蔵されたＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは通信装置１００－１、サーバ３００それぞれに設けられたＣＰＵ（不図示）にて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
　なお、上述した通信装置１００－１、サーバ３００が具備する機能は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）レコーダ、携帯電話機、携帯端末、タブレット型やノート型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、ゲーム機等の装置に適用することが可能である。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）入力された音声に基づいて、該音声の発話者の感情を判定する感情判定部と、
　前記音声を単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
　前記重要度算出部が算出した前記重要度に応じた情報を報知する報知部とを有する通信装置。
（付記２）前記入力された音声を録音する録音部を有し、
　前記感情判定部は、前記録音部が録音した音声に基づいて、前記発話者の感情を判定し、
　前記使用頻度算出部は、前記録音部が録音した音声を単語に分割することを特徴とする、付記１に記載の通信装置。
（付記３）前記音声は、通話中の音声であることを特徴とする、付記１または付記２に記載の通信装置。
（付記４）前記重要度算出部は、前記単語について前記重要度に応じたスコアを算出し、
　前記報知部は、前記スコアを報知することを特徴とする、付記１から３のいずれか１項に記載の通信装置。
（付記５）前記報知部は、前記重要度算出部が算出した前記重要度が最も高い単語を報知することを特徴とする、付記１から４のいずれか１項に記載の通信装置。
（付記６）通信装置から送信されてきた音声データに基づいて、該音声データが示す音声の発話者の感情を判定する感情判定部と、
　前記音声データを単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
　前記重要度算出部が算出した前記重要度に応じた情報を前記通信装置へ送信する通信部とを有するサーバ。
（付記６）入力された音声に基づいて、該音声の発話者の感情を判定する処理と、
　前記音声を単語に分割する処理と、
　前記分割された単語ごとの使用頻度を算出する処理と、
　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する処理と、
　前記算出した前記重要度に応じた情報を報知する処理とを行う情報提供方法。
（付記７）コンピュータに、
　入力された音声に基づいて、該音声の発話者の感情を判定する手順と、
　前記音声を単語に分割する手順と、
　前記分割された単語ごとの使用頻度を算出する手順と、
　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する手順と、
　前記算出した前記重要度に応じた情報を報知する手順とを実行させるためのプログラム。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年５月２４日に出願された日本出願特願２０１２－１１８６９９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1. 　入力された音声に基づいて、該音声の発話者の感情を判定する感情判定部と、
    　前記音声を単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
    　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
    　前記重要度算出部が算出した前記重要度に応じた情報を報知する報知部とを有する通信装置。
  2. 　請求項１に記載の通信装置において、
    　前記入力された音声を録音する録音部を有し、
    　前記感情判定部は、前記録音部が録音した音声に基づいて、前記発話者の感情を判定し、
    　前記使用頻度算出部は、前記録音部が録音した音声を単語に分割することを特徴とする通信装置。
  3. 　請求項１または請求項２に記載の通信装置において、
    　前記音声は、通話中の音声であることを特徴とする通信装置。
  4. 　請求項１から３のいずれか１項に記載の通信装置において、
    　前記重要度算出部は、前記単語について前記重要度に応じたスコアを算出し、
    　前記報知部は、前記スコアを報知することを特徴とする通信装置。
  5. 　請求項１から４のいずれか１項に記載の通信装置において、
    　前記報知部は、前記重要度算出部が算出した前記重要度が最も高い単語を報知することを特徴とする通信装置。
  6. 　通信装置から送信されてきた音声データに基づいて、該音声データが示す音声の発話者の感情を判定する感情判定部と、
    　前記音声データを単語に分割し、該単語ごとの使用頻度を算出する使用頻度算出部と、
    　前記感情判定部が判定した前記感情と、前記使用頻度算出部が算出した前記使用頻度とに基づいて、前記単語の重要度を算出する重要度算出部と、
    　前記重要度算出部が算出した前記重要度に応じた情報を前記通信装置へ送信する通信部とを有するサーバ。
  7. 　入力された音声に基づいて、該音声の発話者の感情を判定する処理と、
    　前記音声を単語に分割する処理と、
    　前記分割された単語ごとの使用頻度を算出する処理と、
    　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する処理と、
    　前記算出した前記重要度に応じた情報を報知する処理とを行う情報提供方法。
  8. 　コンピュータに、
    　入力された音声に基づいて、該音声の発話者の感情を判定する手順と、
    　前記音声を単語に分割する手順と、
    　前記分割された単語ごとの使用頻度を算出する手順と、
    　前記感情と前記使用頻度とに基づいて、前記単語の重要度を算出する手順と、
    　前記算出した前記重要度に応じた情報を報知する手順とを実行させるためのプログラム。
PCT/JP2012/082453 2012-05-24 2012-12-14 通信装置 Ceased WO2013175665A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012118699 2012-05-24
JP2012-118699 2012-05-24

Publications (1)

Publication Number Publication Date
WO2013175665A1 true WO2013175665A1 (ja) 2013-11-28

Family

ID=49623383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082453 Ceased WO2013175665A1 (ja) 2012-05-24 2012-12-14 通信装置

Country Status (1)

Country Link
WO (1) WO2013175665A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204420A (ja) * 2018-05-25 2019-11-28 京セラドキュメントソリューションズ株式会社 音声処理システムおよび音声処理プログラム
JP2021069099A (ja) * 2019-10-28 2021-04-30 株式会社リコー 通信システム、端末装置、通信方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286693A (ja) * 1995-04-13 1996-11-01 Toshiba Corp 情報処理装置
WO2006085565A1 (ja) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体
JP2007049657A (ja) * 2005-08-05 2007-02-22 Seiya Takada 留守番電話装置
JP2011170109A (ja) * 2010-02-18 2011-09-01 Nikon Corp 情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286693A (ja) * 1995-04-13 1996-11-01 Toshiba Corp 情報処理装置
WO2006085565A1 (ja) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体
JP2007049657A (ja) * 2005-08-05 2007-02-22 Seiya Takada 留守番電話装置
JP2011170109A (ja) * 2010-02-18 2011-09-01 Nikon Corp 情報処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204420A (ja) * 2018-05-25 2019-11-28 京セラドキュメントソリューションズ株式会社 音声処理システムおよび音声処理プログラム
JP7177383B2 (ja) 2018-05-25 2022-11-24 京セラドキュメントソリューションズ株式会社 音声処理システムおよび音声処理プログラム
JP2021069099A (ja) * 2019-10-28 2021-04-30 株式会社リコー 通信システム、端末装置、通信方法、プログラム

Similar Documents

Publication Publication Date Title
US20220189487A1 (en) Providing Answers To Voice Queries Using User Feedback
US10079014B2 (en) Name recognition system
US9571638B1 (en) Segment-based queueing for audio captioning
US9525767B2 (en) System and method for answering a communication notification
US7706510B2 (en) System and method for personalized text-to-voice synthesis
JP7463469B2 (ja) 自動通話システム
CN107919138B (zh) 一种语音中的情绪处理方法及移动终端
CN106164845A (zh) 基于关注的动态音频水平调整
JP2017111190A (ja) 対話テキスト要約装置及び方法
CN101741953A (zh) 一种通话时应用卡通动画显示语音信息的方法和装置
US20150149171A1 (en) Contextual Audio Recording
US10917761B2 (en) Method and apparatus for automatically identifying and annotating auditory signals from one or more parties
CN110289015B (zh) 一种音频处理方法、装置、服务器、存储介质及系统
CN108615537A (zh) 一种多信道录音方法、装置及系统
JP2025151855A (ja) 通話処理装置、通話処理プログラム、通話処理方法及び通話処理システム
US9881611B2 (en) System and method for providing voice communication from textual and pre-recorded responses
JP7052335B2 (ja) 情報処理システム、情報処理方法及びプログラム
CA2539649C (en) System and method for personalized text-to-voice synthesis
JP2007049657A (ja) 留守番電話装置
JP6434799B2 (ja) メッセージ処理装置、端末装置、及びコンピュータプログラム
CN117041917A (zh) 一种车载语音通信方法、通信装置、电子设备及存储介质
JP2023081469A (ja) プログラム、装置、方法及びシステム
CN111312229A (zh) 信息处理装置、信息处理方法以及记录介质
CN121128159A (zh) 带有智能回复的呼叫筛选
CN108874355B (zh) 游戏平台及其音频处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12877405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP