JP5146434B2

JP5146434B2 - 録音再生装置

Info

Publication number: JP5146434B2
Application number: JP2009231407A
Authority: JP
Inventors: 秀和永野; 章彦押之見
Original assignee: Nakayo Telecommunications Inc
Current assignee: Nakayo Telecommunications Inc
Priority date: 2009-10-05
Filing date: 2009-10-05
Publication date: 2013-02-20
Anticipated expiration: 2029-10-05
Also published as: JP2011082659A

Description

本発明は、録音再生機能付き電話装置、ＩＣレコーダ等の録音再生装置に関し、特に録音データの再生技術に関する。

特許文献１には、蓄積された留守録音声メッセージ各々について、感情音声認識技術により発呼者の感情の度合い値を求め、この度合い値に基づいて重要度を判定するとともに、蓄積された留守録音声メッセージ各々を重要度の高い順に再生する留守録電話装置が開示されている。この留守録電話装置によれば、重要度の高い留守録音声メッセージから順番に再生されるため、ユーザは、留守録された重要な要件を効率よく確認できる。

特開２００７−４９６５７号公報

ところで、録音再生機能付き電話装置、ＩＣレコーダ等の録音再生装置において、長時間に亘り録音された通話、会議等の音声データから要点を効率よく把握したい場合がある。特許文献１に記載の技術は、この点を何ら考慮していない。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、録音データから要点を効率よく把握できる技術を提供することにある。

上記課題を解決するために、本発明は、録音データを、発話等の所定単位の区間に分けて認識し、区間ごとに感情音声認識技術により発話者の感情を判定する。そして、区間ごとに、判定された感情に応じて予め設定された再生方法（再生速度、再生音量等）で、録音データを再生する。

例えば、本発明は、発話者の音声の録音および再生を行う録音再生装置であって、
録音データを記憶する録音データ記憶手段と、
前記録音データを、所定単位の区間に分けて認識する区間認識手段と、
前記録音データに感情音声認識処理を施して、前記区間認識手段により認識された区間ごとに、前記発話者の感情を判定する感情判定手段と、
前記区間認識手段により認識された区間ごとに、前記感情判定手段により判定された感情に応じた再生方法に従って前記録音データを再生する再生手段と、を有する。

本発明によれば、区間ごとに、その区間において録音データが示す発話者の感情に応じて録音データの再生方法を変更することができるので、ユーザが要点を効率よく把握できるように録音データを再生することができる。

図１は、本発明の一実施の形態に係るＩＰ電話装置１の概略図である。図２（Ａ）は、再生ルール記憶部１０８の登録内容例を模式的に表した図であり、図２（Ｂ）は、再生ルールの受付方法の一例を説明する図である。図３（Ａ）は、感情データ記憶部１１０の登録内容例を模式的に表した図であり、図３（Ｂ）は、発話区間の認識方法を説明するための図であり、図３（Ｃ）は、発話区間における発話者の感情判定方法を説明するための図である。図４は、本発明の一実施の形態に係るＩＰ電話装置１の再生ルール登録処理を説明するためのフロー図である。図５は、本発明の一実施の形態に係るＩＰ電話装置１の感情データ登録処理を説明するためのフロー図である。図６は、本発明の一実施の形態に係るＩＰ電話装置１の録音データ再生処理を説明するためのフロー図である。図７は、感情モードによる再生の効果を説明するための図である。

以下に、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係るＩＰ電話装置１の概略図である。

図示するように、ＩＰ電話装置１は、マンマシンインターフェース部１０１と、ＬＡＮインターフェース部１０２と、通信制御部１０３と、呼制御部１０４と、通話処理部１０５と、録音データ記憶部１０６と、録音処理部１０７と、再生ルール記憶部１０８と、再生ルール受付部１０９と、感情データ記憶部１１０と、発話区間認識部１１１と、感情判定部１１２と、再生制御部１１３と、を有する。

マンマシンインターフェース部１０１は、ユーザが電話および各種操作を行うためのインターフェースであり、図示していないが、ハンドセット、スピーカ、ダイヤルキー等の操作部、およびＬＣＤ、ＬＥＤ等の表示部を備える。

ＬＡＮインターフェース部１０２は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）に接続するためのインターフェースである。

通信制御部１０３は、ＬＡＮインターフェース部１０２を介して、ＬＡＮに接続された各機器（他のＩＰ電話装置、ＬＡＮをＩＰ電話網に接続するゲートウェイ等）との通信を制御する。

呼制御部１０４は、ＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）等の所定の呼制御プロトコルに従い、呼制御サーバ経由で通話相手と呼制御メッセージをやり取りすることにより、セッションの確立・解放を実施する。

通話処理部１０５は、ＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）等の所定の伝送プロトコルに従い、呼制御部１０４により確立されているセッションを介して通話相手と通話データを送受信して処理する。具体的には、マンマシンインターフェース部１０１を介してユーザにより音声入力された音声信号を通話データに符号化し、セッションを介して通話相手に送信するとともに、セッションを介して通話相手から通話データを受信して、この通話データを音声信号に復号し、マンマシンインターフェース部１０１から音声出力する。これにより、通話相手と音声をやり取りする。

録音データ記憶部１０６には、音声の録音データ１０６０が記憶される。

録音処理部１０７は、マンマシンインターフェース部１０１を介してユーザより受け付けた録音指示に従い、通話処理部１０５により通話相手とやり取りされている音声の録音データ１０６０を録音データ記憶部１０６に記憶する。

再生ルール記憶部１０８には、発話者の感情ごとに録音データ１０６０の再生方法が記憶される。図２（Ａ）は、再生ルール記憶部１０８の登録内容例を模式的に表した図である。

図示するように、再生ルール記憶部１０８には、発話者の感情ごとにレコード１０８０が登録されている。レコード１０８０は、発話者の感情を登録するためのフィールド１０８１と、録音データ１０６０の再生方法を登録するためのフィールド１０８２と、を有する。本実施の形態では、一例として、発話者の感情を、「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」の六つの状態に分類している。また、再生方法として、「標準再生」、「スキップ再生」、「スピード再生（例えば倍速再生）」、「スロー再生（例えば１／２倍速再生）」、および「前後区間を含めた再生」のいずれかを想定している。ここで、「前後区間を含めた再生」とは、録音データ１０６０を発話単位で複数の区間（発話区間と呼ぶ）に分けて認識した場合に、再生対象となる発話区間の前後に位置する発話区間も含めて再生することを意味する。

なお、再生方法として、「標準再生」、「スキップ再生」、「スピード再生（例えば倍速再生）」、「スロー再生（例えば１／２倍速再生）」、および「前後区間を含めた再生」としたが、「話速変換再生」が含まれていてもよい。ここで「話速変換再生」とは、音の高さ（基本周波数）、再生時間を変えずに会話速度を遅くしたり、音の高さ（基本周波数）を変えずに再生時間を速く（短く）するといった話速変換技術を利用して再生することを意味する。

再生ルール受付部１０９は、マンマシンインターフェース部１０１を介してユーザより感情および再生方法の指定を含む再生ルールを受け付ける。そして、受け付けた再生ルールで指定されている感情をキーにして、再生ルール記憶部１０８からレコード１０８０を検索し、検索したレコード１０８０のフィールド１０８２に、受け付けた再生ルールで指定されている再生方法を登録する。

なお、本実施の形態では、図２（Ｂ）に示すように、あらかじめ定められた対応関係にしたがっていずれかの感情１０９１に割り当てられた最初の番号（１番目のダイヤル情報）１０９０、および、あらかじめ定められた対応関係にしたがっていずれかの再生方法１０９３に割り当てられた２番目の番号（２番目のダイヤル情報）１０９２からなる２桁のダイヤル情報１０９４により表わされる再生ルールを受け付ける。

感情データ記憶部１１０には、録音データ記憶部１０６に記憶されている録音データ１０６０各々について、発話区間ごとに、発話区間を特定する情報と、この発話区間における発話者の感情を示す情報とが記憶される。図３（Ａ）は、感情データ記憶部１１０の登録内容例を模式的に表した図である。

図示するように、感情データ記憶部１１０には、録音データ記憶部１０６に記憶されている録音データ１０６０のファイル名１１００ごとにテーブル１１０１が登録されている。また、テーブル１１０１には、対象となる録音データ１０６０の発話区間ごとにレコード１１０２が時間順に登録されている。レコード１１０２は、発話区間を識別するための区間ＩＤを登録するためのフィールド１１０３、発話区間の開始時間を登録するためのフィールド１１０４と、発話区間の終了時間を登録するためのフィールド１１０５と、発話区間における発話者の感情を登録するためのフィールド１１０６と、を有する。

発話区間認識部１１１は、録音データ記憶部１０６に記憶された録音データ１０６０から発話区間を認識する。具体的には、図３（Ｂ）に示すように、録音データ１０６０から所定時間（例えば２秒）以上続く無音区間１０６１を検出し、この無音区間１０６１の開始時間１０６３で発話区間１０６２が終了し、終了時間１０６４で次の発話区間１０６２が開始するものとして、録音データ１０６０から発話区間１０６２を認識する。

感情判定部１１２は、録音データ記憶部１０６に記憶された録音データ１０６０に対して、発話区間認識部１１１により認識された発話区間１０６２ごとに発話者の感情を判定する。そして、この録音データ１０６０に対するテーブル１１０１を作成し、感情データ記憶部１１０に記憶する。

具体的には、感情判定部１１２は、録音データ記憶部１０６に記憶された録音データ１０６０に対して感情音声認識処理を施し、各サンプル点について、「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」のそれぞれの感情の度合い値を算出する。そして、図３（Ｃ）に示すように、発話区間１０６２ごとに、「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」それぞれの感情１１２１について、発話区間１０６２内の各サンプル点における感情の度合い値の最大値、合計値、あるいは平均値を算出し、これを評価値１１２２とする。そして、「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」のうち、最も大きい評価値１１２２を持つ感情１１２１を、その発話区間１０６２における発話者の感情と判定する。

なお、感情音声認識処理には、特開２００２−９１４８２号公報（特許第３６７６９６９号）に記載の感情音声認識技術を含む様々な既存の感情音声認識技術を利用できる。

再生制御部１１３は、録音データ記憶部１０６に記憶された録音データ１０６０を、この録音データ１０６０のファイル名１１００に対応付けられて感情データ記憶部１１０に記憶されたテーブル１１０１、および再生ルール記憶部１０８に記憶された再生ルールに従って、発話区間１０６２ごとにその発話区間１０６２における発話者の感情に応じた再生方法で再生し、再生信号をマンマシンインターフェース部１０１から出力する。

図４は、本発明の一実施の形態に係るＩＰ電話装置１の再生ルール登録処理を説明するためのフロー図である。このフローは、マンマシンインターフェース部１０１がユーザから再生ルールの登録指示を受け付けることにより開始される。

まず、再生ルール受付部１０９は、マンマシンインターフェース部１０１を介してユーザより２桁のダイヤル情報からなる再生ルールを受け付ける（Ｓ１０１）。

つぎに、再生ルール受付部１０９は、受け付けた再生ルールの１番目のダイヤル情報１０９０がいずれかの感情１０９１に割り当てられているか否かを判断する（Ｓ１０２）。１番目のダイヤル情報１０９０がいずれの感情１０９１にも割り当てられていない場合は（Ｓ１０２でＮＯ）、マンマシンインターフェース部１０１を介してユーザに再生ルール再入力を促す等の所定の再入力要求処理を行い（Ｓ１０７）、Ｓ１０１に戻る。

一方、１番目のダイヤル情報１０９０がいずれかの感情１０９１に割り当てられている場合（Ｓ１０２でＹＥＳ）、再生ルール受付部１０９は、１番目のダイヤル情報１０９０に割り当てられている感情１０９１を特定する（Ｓ１０３）。

それから、再生ルール受付部１０９は、受け付けた再生ルールの２番目のダイヤル情報１０９２がいずれかの再生方法１０９３に割り当てられているか否かをさらに判断する（Ｓ１０４）。２番目のダイヤル情報１０９２がいずれの再生方法１０９３にも割り当てられていない場合は（Ｓ１０４でＮＯ）、マンマシンインターフェース部１０１を介してユーザに再生ルール再入力を促す等の所定の再入力要求処理を行い（Ｓ１０７）、Ｓ１０１に戻る。

一方、２番目のダイヤル情報１０９２がいずれかの再生方法１０９３に割り当てられている場合（Ｓ１０４でＹＥＳ）、再生ルール受付部１０９は、２番目のダイヤル情報１０９２に割り当てられている再生方法１０９３を特定する（Ｓ１０５）。

以上のようにして、１番目のダイヤル情報１０９０に割り当てられている感情１０９１、および２番目のダイヤル情報１０９２に割り当てられている再生方法１０９３を特定したならば、再生ルール受付部１０９は、特定した感情１０９１をキーにして再生ルール記憶部１０８からレコード１０８０を検索する。そして、検索したレコード１０８０のフィールド１０８２の登録内容を、特定した再生方法１０９３に更新する（Ｓ１０６）。

図５は、本発明の一実施の形態に係るＩＰ電話装置１の感情データ登録処理を説明するためのフロー図である。このフローは、録音データ記憶部１０６に録音データ１０６０が記憶されることにより開始される。

まず、感情判定部１１２は、録音データ記憶部１０６に記憶された録音データ１０６０のファイル名１１００が登録されたテーブル１１０１を生成し、このテーブル１１０１を感情データ記憶部１１０に記憶する（Ｓ１２１）。また、感情判定部１１２は、発話区間認識部１１１に発話区間認識処理の開始を指示する。これを受けて、発話区間認識部１１１は、カウンタ値ｎを初期値「１」に設定する（Ｓ１２２）。

つぎに、発話区間認識部１１１は、録音データ１０６０における音の有無を検出することにより、ｎ番目の発話区間１０６２の認識を開始する（Ｓ１２３）。そして、図３（Ｂ）を用いて説明したように、所定時間以上続くｎ番目の無音区間１０６１あるいは録音データ１０６０の終了を検出したならば（Ｓ１２４でＹＥＳ）、ｎ番目の発話区間１０６２を認識し、ｎ番目の発話区間１０６２の開始時間１０６４および終了時間１０６３を感情判定部１１２に通知する（Ｓ１２５）。ここで、録音データ１０６０において最初に音を検出した時間を最初（ｎ＝１）の発話区間１０６２の開始時間１０６４とし、その後、所定時間以上続くｎ番目の無音区間１０６１を検出した場合、この無音区間１０６１の開始時間１０６３をｎ番目の発話区間１０６２の終了時間１０６３、終了時間１０６４をｎ＋１番目の発話区間１０６２の開始時間１０６４とする。また、録音データ１０６０の終了を検出した場合、この録音データ１０６０において最後に音を検出した時間をｎ番目の発話区間１０６２の終了時間１０６３とする。

つぎに、感情判定部１１２は、発話区間認識部１１１からｎ番目の発話区間１０６２の開始時間１０６４および終了時間１０６３を受け取ると、この録音データ１０６０のｎ番目の発話区間１０６２に対して感情音声認識処理を実施する（Ｓ１２６）。そして、図３（Ｃ）を用いて説明したように、「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」それぞれの感情１１２１の評価値（例えば、度合い値の最大値、合計値、あるいは平均値）１１２２に基づいて、ｎ番目の発話区間１０６２における発話者の感情を判定する（Ｓ１２７）。

それから、感情判定部１１２は、Ｓ１２１で感情データ記憶部１１０に登録したテーブル１１０１に新たなレコード１１０２を追加し、このレコード１１０２のフィールド１１０３にｎ番目の発話区間１０６２を識別するための区間ＩＤを、フィールド１１０４にｎ番目の発話区間１０６２の開始時間１０６４を、フィールド１１０５にｎ番目の発話区間１０６２の終了時間１０６３を、そして、フィールド１１０６にｎ番目の発話区間１０６２における発話者の感情を登録する（Ｓ１２８）。

つぎに、発話区間認識部１１１は、Ｓ１２４で録音データ１０６０の終了を検出したならば（Ｓ１２９でＹＥＳ）、このフローを終了する。一方、Ｓ１２４で録音データ１０６０の終了を検出していないならば（Ｓ１２９でＮＯ）、カウンタ値ｎを一つインクリメントして（Ｓ１３０）、Ｓ１２３に戻る。

図６は、本発明の一実施の形態に係るＩＰ電話装置１の録音データ再生処理を説明するためのフロー図である。このフローは、マンマシンインターフェース部１０１がユーザから録音データ１０６０のファイル名の指定を伴う録音データ再生指示を受け付けることにより開始される。

まず、再生制御部１１３は、マンマシンインターフェース部１０１を介してユーザから再生モードの指定を受け付ける（Ｓ１４１）。受け付けた再生モードが「通常モード」である場合（Ｓ１４２で「通常」）、再生制御部１１３は、ユーザにより指定されたファイル名の録音データ１０６０を録音データ記憶部１０６から読み出して、この録音データ１０６０を標準の再生速度で再生し、再生信号をマンマシンインターフェース部１０１から出力する（Ｓ１４３）。録音データ１０６０の再生完了後、このフローを終了する。

一方、受け付けた再生モードが「感情モード」である場合（Ｓ１４２で「感情」）、再生制御部１１３は、ユーザにより指定されたファイル名と一致するファイル名１１００に対応するテーブル１１０１を感情データ記憶部１１０から読み出すとともに（Ｓ１４４）、カウンタ値ｎを初期値「１」にセットする（Ｓ１４５）。

つぎに、再生制御部１１３は、テーブル１１０１からｎ番目のレコード１１０２を読み出して、このレコード１１０２のフィールド１１０４〜１１０６に登録されているｎ番目の発話区間１０６２の開始時間１０６４、終了時間１０６３、および発話者の感情を特定する（Ｓ１４６）。

また、再生制御部１１３は、Ｓ１４６で特定した発話者の感情をキーにして、再生ルール記憶部１０８からレコード１０８０を検索し、このレコード１０８０のフィールド１０８２に登録されている再生方法を特定する（Ｓ１４７）。

さらに、このとき特定したｎ番目の発話区間１０６２の再生方法が「前後区間を含めた再生」であるか否かを判断し（Ｓ１４８）、「前後区間を含めた再生」であれば（Ｓ１４８でＹＥＳ）、さらに、ｎ番目の発話区間１０６２が最初の発話区間（すなわちｎ＝１）、または、前発話区間（ｎ−１番目の発話区間）が再生済みのいずれかに該当するかを判断する（Ｓ１４９）。

その結果、ｎ番目の発話区間１０６２が最初の発話区間（すなわちｎ＝１）、または、前発話区間（ｎ−１番目の発話区間）１０６２が再生済みのいずれかであれば（Ｓ１４９でＹＥＳ）、再生制御部１１３は、Ｓ１４６で特定した開始時間１０６４および終了時間１０６３に基づいて、ユーザにより指定されたファイル名で録音データ記憶部１０６に記憶されている録音データ１０６０から、ｎ番目の発話区間１０６２に属する録音データを読み出し、この録音データを通常再生する。そして、ｎ番目の発話区間１０６２の再生信号のみをマンマシンインターフェース部１０１から出力する（Ｓ１５１）。

ｎ番目の発話区間１０６２が最初の発話区間（すなわちｎ＝１）、および、前発話区間（ｎ−１番目の発話区間）が再生済みのいずれの場合にも該当しなければ（Ｓ１４９でＮＯ）、再生制御部１１３は、前回（ｎ−１回目）のＳ１４６で特定した開始時間１０６４および終了時間１０６３、および、今回（ｎ回目）のＳ１４６で特定した開始時間１０６４および終了時間１０６３に基づいて、ユーザにより指定されたファイル名で録音データ記憶部１０６に記憶された録音データ１０６０から、ｎ−１番目の発話区間１０６２に属する録音データ、およびｎ番目の発話区間１０６２に属する録音データを読み出し、順次、これらの録音データを通常再生する。これにより、ｎ−１番目の発話区間１０６２の再生信号につづき、ｎ番目の発話区間１６２の再生信号を、マンマシンインターフェース部１０１から出力する（Ｓ１５０、Ｓ１５１）。

一方、Ｓ１４７で特定したｎ番目の発話区間１０６２の再生方法が「前後区間を含めた再生」でなければ（Ｓ１４８でＮＯ）、再生制御部１１３は、前回のＳ１４７（ｎ−１回目のＳ１４７）で特定したｎ−１番目の発話区間１０６２の再生方法が「前後区間を含めた再生」であるか否かを判断する（Ｓ１５２）。

その結果、ｎ−１番目の発話区間１０６２の再生方法が「前後区間を含めた再生」であれば（Ｓ１５２でＹＥＳ）、再生制御部１１３は、今回（ｎ回目）のＳ１４６で特定した開始時間１０６４および終了時間１０６３に基づいて、ユーザにより指定されたファイル名で録音データ記憶部１０６に記憶されている録音データ１０６０から、ｎ番目の発話区間１０６２に属する録音データを読み出して、標準の再生速度で再生し、この録音データの再生信号をマンマシンインターフェース部１０１から出力する（Ｓ１５１）。

ｎ−１番目の発話区間１０６２の再生方法が「前後区間を含めた再生」でなければ（Ｓ１５２でＮＯ）、再生制御部１１３は、今回（ｎ回目）のＳ１４６で特定した開始時間１０６４および終了時間１０６３に基づいて、ユーザにより指定されたファイル名で録音データ記憶部１０６に記憶されている録音データ１０６０から、ｎ番目の発話区間１０６２に属する録音データを読み出して、この録音データを、Ｓ１４７で特定した再生方法に従い再生する。そして、再生信号をマンマシンインターフェース部１０１から出力する（Ｓ１５３）。

つぎに、再生制御部１１３は、ｎ番目のレコード１１０２がテーブル１１０１に登録されている最後のレコード１１０２か否か、つまりｎ番目の発話区間１０６２が最終区間であるか否かを判断する（Ｓ１５４）。ｎ番目の発話区間１０６２が最終区間であるならば（Ｓ１５４でＹＥＳ）、このフローを終了する。一方、ｎ番目の発話区間１０６２が最終区間でないならば（Ｓ１５４でＮＯ）、カウンタ値ｎを一つインクリメントして（Ｓ１５５）、Ｓ１４６に戻る。

以上、本発明の一実施の形態を説明した。

本実施の形態のＩＰ電話装置１は、録音データ１０６０を発話区間１０６２に分けて認識し、発話区間１０６２ごとに、感情音声認識技術により発話者の感情を判定する。そして、発話区間１０６２ごとに、判定された感情に応じて予め設定された再生方法で、録音データ１０６０を再生する。したがって、本実施の形態によれば、発話区間１０６２ごとに、その発話区間１０６２に含まれる録音データ１０６０が示す発話者の感情に応じて録音データ１０６０の再生方法を変更することができるので、ユーザが要点を効率よく把握できるように録音データ１０６０を再生することができる。

例えば、特定の感情が付与された発話区間１０６２のみを抽出して再生し、その他の感情が付与された発話区間１０６２をスキップすることで、録音内容の要点を特定でき、会話の内容を効率よく把握することが可能となる。また、発話者が興奮あるいは怒った状態などで早口で録音されている場合などに、「興奮」あるいは「怒」の感情が付与された発話区間１０６２をスロー再生することで、何度も聞き直さなくても会話の内容を把握することが可能となる。

また、本実施の形態において、再生ルール受付部１０９は、マンマシンインターフェース部１０１を介してユーザから感情および再生方法の指定を伴う再生ルールを受け付け、この再生ルールを再生ルール記憶部１０８に記憶し、再生制御部１１３は、発話区間１０６２ごとに、判定された感情に対応付けられて再生ルール記憶部１０８に記憶されている再生方法に従って録音データを再生する。したがって、本実施の形態によれば、例えば「喜」、「怒」、「哀」、「楽」、「興奮」、および「平常」といった感情のそれぞれについて、ユーザが再生方法を自由に設定することができる。

このため、図７に示すように、感情「怒」、「興奮」に再生方法「スロー再生」、感情「平常」に再生方法「標準再生」、これら以外の感情に再生方法「スピード再生」を対応させた感情モード１１３１を指定して録音データ１０６０を再生した場合（パターンＡの場合）、録音データ１０６０を通常モード１１３０で再生した場合に比べて再生時間を大幅に延長させることなく、ユーザが重要と考える感情「怒」、「興奮」の発話区間１０６２をゆっくり再生できるので、話の内容を聞き逃さず、要点の確認を効率よく確実に行うことができる。

また、感情「怒」に再生方法「前後区間を含めた再生」、感情「平常」、「楽」に「スキップ再生」、これら以外の感情に「前後区間を含めた再生」以外の任意の再生方法を対応させた感情モード１１３２を指定して録音データ１０６０を再生した場合（パターンＢの場合）、録音データ１０６０を通常モード１１３０で再生した場合に比べて再生時間を短縮化しつつも、ユーザが重要と考える感情「怒」の発話区間１０６２を、その発話区間１０６２の前後の発話区間１０６２を含めて再生できるので、要点をより短時間で効率よく確認することができる。

なお、本発明は上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、上記の実施の形態では、録音データ１０６０から発話区間１０６２を認識して、発話区間１０６２ごとに発話者の感情を判定しているが、本発明はこれに限定されない。例えば、録音データ１０６０に音声認識処理を施して、文を構成する文字列単位で区間を認識し、認識した区間ごとに発話者の感情を判定してもよい。

また、上記の実施の形態において、再生方法の一つに、対象となる発話区間１０６２の所定時間前から所定時間後までを再生する方法を加えてもよい。また、再生方法として、再生速度を制御する再生方法に加え、大音量、小音量、消音等の再生音量を制御する再生方法を加えてもよい。あるいは、再生速度の制御と再生音量の制御とを組み合わせた再生方法を加えてもかまわない。さらに、スロー再生およびスピード再生される発話者の声がより自然に再生されるように、再生速度の制御と音程の制御とが組み合わせた再生方法を加えてもよい。また、ユーザが要点をメモ等しやすいように、録音データ１０６２の再生中に定期的に無音期間を挿入するようにしてもよい。

また、上記においては、各発話区間１０６２に属する録音データの再生方法として、その発話区間１０６２における発話者の感情により定まる再生方法を選択しているが、かならずしも、このようにする必要はない。例えば、再生方法「前後区間を含めた再生」が設定されている所定の感情（例えば、ユーザが重要と考える「怒」）の発話区間１０６２が録音データ１０６０に含まれている場合には、その他の感情についてどのような再生方法が設定されているかとは無関係に、再生方法「前後区間を含めた再生」が設定されている感情の発話区間１０６２およびその前後の発話区間１０６２のみが抽出、再生されるようにしてもよい。このようにする場合には、例えば、図６のＳ１４４において、再生制御部１１３が、感情データ記憶部１１０から読み出したテーブル１１０１に、再生方法「前後区間を含めた再生」に対応する所定の感情（例えば「怒」）がフィールド１１０６に格納されたレコード１１０２が登録されているか否かをチェックし、そのようなレコード１１０２が登録されているか否かに応じて異なる処理が実行されるようにすればよい。

具体的には、そのようなレコード１１０２が登録されていない場合（再生方法「前後区間を含めた再生」に対応する感情の発話区間１０６２が録音データ１０６に含まれていない場合）には、録音データ１０６に含まれるすべての発音区間１０６２について上述のＳ１４６、Ｓ１４７およびＳ１５３を順次実行するループ処理が実行され、そのようなレコード１１０２が登録されている場合（再生方法「前後区間を含めた再生」に対応する感情の発話区間１０６２が少なくとも１つ録音データ１０６に含まれている場合）には、録音データ１０６に含まれるすべての発音区間１０６２について上述のＳ１４６〜Ｓ１５４のループ処理（ただし、Ｓ１５２の判断処理でＮＯの場合、Ｓ１５３を実行せずにＳ１５４に進む）が実行されるようにすればよい。このようにすれば、ユーザが重要と考える感情「怒」の発話区間１０６２、および、その発話区間１０６２の前後の発話区間１０６２のみを再生できるので、要点をより短時間で効率よく確認することができる。

また、上記の実施の形態において、図１に示すＩＰ電話装置１の機能構成は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積ロジックＩＣによりハード的に実現されるものでもよいし、あるいはＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などの計算機によりソフトウエア的に実現されるものでもよい。または、ＣＰＵ、メモリ、ＨＤＤ、ＤＶＤ−ＲＯＭ等の補助記憶装置、およびＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）、モデム等の通信インターフェースを備えたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等の汎用コンピュータにおいて、ＣＰＵが所定のプログラムを補助記憶装置からメモリ上にロードして実行することで実現されるものでもよい。

また、上記の実施の形態では、本発明をＩＰ電話装置１に適用した場合を例にとり説明したが、本発明はこれに限定されない。本発明は、録音再生機能を備えたアナログ電話機および携帯電話機、ＩＣレコーダ等の様々な録音再生装置に適用できる。

１：ＩＰ電話装置、１０１：マンマシンインターフェース部、１０２：ＬＡＮインターフェース部、１０３：通信制御部、１０４：呼制御部、１０５：通話処理部、１０６：録音データ記憶部、１０７：録音処理部、１０８：再生ルール記憶部、１０９：再生ルール受付部、１１０：感情データ記憶部、１１１：発話区間認識部、１１２：感情判定部、１１３：再生制御部

Claims

発話者の音声の録音および再生を行う録音再生装置であって、
録音データを記憶する録音データ記憶手段と、
前記録音データを、所定単位の区間に分けて認識する区間認識手段と、
前記録音データに感情音声認識処理を施して、前記区間認識手段により認識された区間ごとに、前記発話者の感情を判定する感情判定手段と、
前記区間認識手段により認識された区間ごとに、前記感情判定手段により判定された感情に応じた再生方法に従って前記録音データを再生する再生手段と、を有する
ことを特徴とする録音再生装置。
請求項１に記載の録音再生装置であって、
感情の指定を再生方法の指定とともに受け付ける受付手段と、
前記受付手段により受け付けた感情の指定を、当該感情の指定とともに受け付けた再生方法の指定に対応付けて記憶する再生方法記憶手段と、をさらに有し、
前記再生手段は、
前記区間認識手段により認識された区間ごとに、前記感情判定手段により判定された感情に対応付けられて前記再生方法記憶手段に記憶されている再生方法に従って前記録音データを再生する
ことを特徴とする録音再生装置。
請求項１または２に記載の録音再生装置であって、
前記再生方法は、標準再生、スロー再生、スピード再生、スキップ再生、および対象区間の前後区間を含めた再生のいずれかである
ことを特徴とする録音再生装置。