JP5974903B2

JP5974903B2 - 予定に係る音声メモ蓄積方法

Info

Publication number: JP5974903B2
Application number: JP2013001008A
Authority: JP
Inventors: 盛輝山崎; 齋藤　隆; 隆齋藤
Original assignee: 株式会社ナカヨ
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2016-08-23
Anticipated expiration: 2033-01-08
Also published as: JP2014135543A

Description

本発明は、ボイスレコーダ機能を備えた情報機器や通話録音機能を備えた電話機器等の音声録音機能を有する機器における、音声録音方法および録音した音声の登録方法に関する。

会話中に発せられる特定のキーワードを検出して会話中の特定部分を録音する技術がある（例えば、特許文献１）。この技術は、例えば、コールセンタにおいて、販売員が会話中に発する特定の商品の開始キーワードを音声認識部が検出すると、部分録音用レコーダに録音を開始させ、顧客の理解が得られたら、販売員が発する上記商品の終了キーワードで、レコーダの録音を停止させるものであり、会話の開始から終了までの内、肝心の特定部分の会話のみを効率よく録音して保存しておくものである。

しかしながら、この技術は、金融機関等における店頭販売や、顧客からの電話を受け付けるコールセンタ等において、顧客への説明や質疑に係る会話に起因する、後のトラブルの発生に備えた、会話履歴として残しておくことが目的であり、録音データ自体を通常の業務に有効活用するものではない。

特開２００６−１０７０４４号公報

本発明の課題は、音声録音機能と、スケジュールや備忘録等の行動予定や処置予定を管理する機能を備えている機器において、会話の特定部分を単に残すだけでなく、会話中の行動予定や処置予定に係る特定用語を検出し、会話中に約束される行動予定や処置予定に係る会話の部分的な録音を、音声メモとして簡単に登録できる、予定に係る音声メモ登録方法を提供することにある。

上記課題を解決するために、本発明は、マイクまたはネットワークを介して入力した音声情報を録音する音声録音手段を備える機器における、前記入力した音声情報の一部を音声メモとして蓄積する方法であって、前記入力した音声情報を解析し前記音声メモの開始に係る予め定められた１以上の起動キーワードのいずれかを検出する起動キーワード検出ステップと、前記入力した音声情報を解析し日時およびまたは場所に係る情報を抽出する日時場所情報抽出ステップと、前記抽出した日時およびまたは場所に係る情報を記憶する日時場所情報記憶ステップと、前記入力した音声情報を解析し結論もしくは用件の末尾に係る予め定められた１以上の末尾キーワードのいずれかを検出する末尾キーワード検出ステップと、前記音声メモを前記機器が備えるもしくは前記機器と接続された情報蓄積手段に蓄積する音声メモ蓄積ステップと、を有し、前記末尾キーワード検出ステップが前記末尾キーワードのいずれかを検出した場合または一定時間以上の無音状態を検出した場合に、前記日時場所情報抽出ステップが抽出した最新の日時およびまたは最新の場所に係る情報を含む情報を前記機器が備えるもしくは前記機器と接続された情報表示手段に表示し、登録する旨の所定の操作を検知したならば、前記音声メモ蓄積ステップは、前記抽出した最新の日時およびまたは最新の場所に係る情報と関連付けて、前記検出した起動キーワードに対応する箇所から前記検出した末尾キーワードに対応する箇所または一定時間以上の無音状態となった箇所までの間の音声情報を前記音声メモとして前記情報蓄積手段に蓄積することを特徴とする。

本発明によれば、会話中に約束される行動予定や処置予定に係る特定の会話部分を音声メモとして、自動的に抽出して簡単に登録できると共に、その音声メモをスケジュールや備忘録と関連付けることが容易なので、ボイスレコーダ機能や通話録音機能を備えた機器の利便性を向上できる利点がある。

本発明の一実施の形態に係る携帯電話端末１のブロック構成図である。本発明の一実施の形態に係る情報管理部１９が管理するデータを模式的に表した図である。本発明の一実施の形態に係る音声録音機器１の動作を表すフローチャート図である。

以下、本発明の実施形態について、通話録音機能またはボイスレコーダ機能を有する携帯電話機（以下、本装置）を例に説明する。

図１は、本装置１のブロック構成図である。図１において、本装置１は、端末制御部１０，スピーカ１１，マイク１２，操作部１３，表示部１４，録音再生制御部１５，録音データ蓄積部１６，音声認識処理部１７，キーワード登録部１８，情報管理部１９、および、文字メモ蓄積部１９１と音声メモ蓄積部１９２を含むメモ管理部１９０から構成される。

なお、本実施例では、文字メモ蓄積部１９１と音声メモ蓄積部１９２は本装置１に内蔵しているものとして説明するが、本装置１と接続される外部機器に内蔵されていてもよい。

端末制御部１０は、携帯電話端末としての本装置１の全般を制御する手段である。スピーカ１１は、端末制御部１０から出力される音声情報を可聴音としての音声に変換して出力する手段である。マイク１２は、本装置１を利用するユーザの音声を音声情報に変換して端末制御部１０へ出力する手段である。操作部１３は、本装置１を利用するユーザによる各種キー操作情報を端末制御部１０へ入力する手段である。表示部１４は、本装置１を操作するユーザへ各種の情報を提示する手段である。

録音再生制御部１５は、本装置１が備えるボイスレコーダ機能または通話録音機能に係る録音再生制御を実行する手段である。録音データ蓄積部１６は、録音再生制御部１５が録音した音声情報を蓄積する手段である。

音声認識処理部１７は、端末制御部１０を介して入力されるマイク１２またはネットワーク２からの音声情報を解析し、キーワード登録部１８に登録されている起動キーワードまたは末尾キーワードを検出し、検出した起動キーワードまたは末尾キーワードを端末制御部１０へ通知する。

また、音声認識処理部１７は、端末制御部１０を介して入力されるマイク１２またはネットワーク２からの音声情報を解析し、日時情報または場所情報を抽出し、抽出した起動キーワードまたは末尾キーワードを端末制御部１０へ通知する。なお、音声認識処理部１７は、日時情報や場所情報に係る辞書を内蔵しており（図示せず）、公知の音声認識処理技術により、日時情報や場所情報を抽出する。また、音声認識処理部１７が抽出する日時情報や場所情報を限定された範囲に制限してもよい。

ところで、音声認識処理部１７は、話者を特定しない不特定話者認識方式でもよいし、この本装置１を利用する特定の者が発する音声のみを認識できる特定話者認識方式でもよい。

特に、特定話者認識方式の場合は、本装置１を利用する特定の者が意図的に発する言葉の音声だけ登録しておけばよく、認識処理の効率が良く、認識精度も不特定話者認識方式より高いという利点がある。また、その者のみが本願の機能を利用できるので、本装置１を一時的に他者が利用した場合でも、意図しない音声メモが残らないという利点もある。ただし、特定話者が発する言葉の音声のみを認識するので、相手が言ったキーワードに対しても、自身で復唱して発する必要がある。例えば、相手が「“それでは”、・・・と“しましょう”」に対して、「分かりました。“それでは”、・・・と“します”」のように復唱して、自身が登録したキーワードを発すればよい。これは、約束事の確認にもなり、会話を損なうものではない。

キーワード登録部１８は、待ち合わせの予定や依頼する用件の冒頭の部分に用いられる常套語（例えば、「それでは」，「そこで」等）、および、予定や用件の末尾の部分に用いられる常套語（例えば、「待っています」，「して下さい」等）を、起動キーワードおよび末尾キーワードとして、予め登録しておく手段である。

情報管理部１９は、メモ管理部１９０，文字メモ蓄積部１９１，音声メモ蓄積部１９２から構成され、端末制御部１０から入力するコマンドに応じて、録音再生制御部１５が録音する録音データを、登録，管理する手段である。なお、メモ管理部１９０には各種の予定メモや雑メモを登録できるが、少なくとも、日時情報を含む行動予定および処置予定は自動的に登録可能である。行動予定および処置予定の自動登録については後述する。

図２は、本発明の一実施の形態に係る情報管理部１９が管理しているデータの構成を模式的に表した図である。

列２０１は、会話した日時と相手の情報を記憶しておく列であり、日時情報は端末制御部１０が内蔵している時計機能（図示せず）により、自動的に入力される。また、会話した相手の情報は自動または手動で入力する。会話がネットワーク２を介した電話通話の場合は、端末制御部１０が内蔵している電話帳機能（図示せず）により、相手電話番号から相手の名称等が自動的に入力される。また、音声認識処理部１７に特定話者識別機能を持たせて、当該会話の相手を自動的に判定して入力するようにしてもよい。手動で入力する場合は、操作部１３を操作して、相手の名称を選択またはキー操作して入力する。

列２０２は、音声認識処理部１７が会話中の音声データを解析して抽出した日時情報を記憶しておく列である。会話中に日時を含む音声データが複数回抽出された場合、ここでは最新の日時情報を有効としている。

列２０３は、音声認識処理部１７が会話中の音声データを解析して抽出した場所情報を記憶しておく列である。会話中に場所を含む音声データが複数回抽出された場合、ここでは最新の場所情報を有効としている。

列２０４は、音声認識処理部１７が会話中の音声データを解析して抽出した、キーワード登録部１８に登録されている、録音を起動すべき起動キーワードまたは録音を停止すべき末尾キーワードである。このキーワードはこの本装置１を利用する者が意図的に発する特定の言葉もしくは特殊な言葉であってもよい。なお、列２０４は本実施例を説明するための便宜上の列であり、録音した音声メモと関連付けて記憶しておく必要はないが、記憶しておくと、どのキーワードで当該音声メモが録音されたかを検証できるので、登録キーワードを見直す際に便利である。

列２０５は、起動キーワードで録音が起動され、末尾キーワードで録音が停止した録音データを、音声メモとして音声メモ蓄積部１９２に登録されている音声メモの内容を記憶しておく列である。

列２０６は、音声メモの種別であり、列２０５の各音声メモが行動予定，処置予定，雑メモのいずれであるかを記憶しておく列である。この行動予定，処置予定，雑メモは、メモ管理部１９０に登録されている。録音した音声メモが行動予定，処置予定，雑メモのいずれであるかを自動的に識別する方法については後述する。

ここで、列２０１〜列２０３は文字データであり、文字メモとして、文字メモ蓄積部１９１に登録される。また、列２０５は音声メモとして、音声メモ蓄積部１９２に登録される。なお、音声メモの実体（録音データ）は録音データ蓄積部１６に蓄積されている。そして、これらの文字メモおよび音声メモはメモ管理部１９０により関連付けられる。

さらに、情報管理部１９が管理する情報は予定メモ以外の種々の情報（例えば、行動予定に係る地図、や処置予定に係る参考資料等）を管理しており、メモ管理部１９０の各登録内容と情報管理部１９が管理する種々の情報を関連付け可能である。

図３は、本発明の一実施の形態に係る本装置１の動作フローチャート図である。以下、図１および図２を併用して本装置１の動作を説明する。自動的に会話中の音声から音声メモを抽出する、自動音声メモモードが起動された状態で、本フローはスタートする（Ｓ３００）。

端末制御部１０は、待機状態において、音声入力の有無（Ｓ３０１），起動キーワード検出の有無（Ｓ３１０），日時情報抽出の有無（Ｓ３２０），場所情報抽出の有無（Ｓ３３０），末尾キーワード検出の有無（Ｓ３４０），長時間無音検出の有無（Ｓ３４１）を循環して監視している。

本装置１の自動音声メモモードがオンの状態において、音声認識処理部１７は、端末制御部１０を介して、マイク１２もしくはネットワーク２からの音声情報、または録音再生制御部１５が再生する音声情報の入力を監視し、音声情報が入力された場合（Ｓ３０１，ＹＥＳ）、入力してくる音声情報を解析して、音声情報中に起動キーワードに対応する音声情報の存在を監視する（Ｓ３１０）。

ここで、音声認識処理部１７に入力してくる音声情報は、例えば、音声パケットデータであって、そのパケットサイズは一定時間分の音声データ（データ量可変）または一定量の音声データ（録音時間可変）等、入力する音声情報の単位は任意である。

そして、起動キーワードを検出した場合（Ｓ３１０，ＹＥＳ）、音声認識処理部１７は、端末制御部１０へ起動キーワードを検出した旨および検出した起動キーワードを通知し、端末制御部１０は、録音再生制御部１５を制御し、音声メモとしての録音をスタートさせて（Ｓ３１１）、Ｓ３２０へ進む。

なお、図示していないが、Ｓ３１０でＹＥＳの場合、端末制御部１０は、情報管理部１９を制御して、録音再生制御部１５が録音した音声メモに対応するメモ管理部１９０のメモリに、音声認識処理部１７が検出した起動キーワードを記憶しておく（図２の列２０４に対応）。

Ｓ３２０において、音声認識処理部１７は、入力してくる音声情報を解析して、音声情報中に日時情報に対応する音声情報の存在を監視し、日時情報を抽出した場合（Ｓ３２０，ＹＥＳ）、端末制御部１０へ日時情報を抽出した旨を通知し、端末制御部１０は、情報管理部１９を制御して、録音再生制御部１５が録音した音声メモに対応するメモ管理部１９０のメモリ（図２の列２０２に対応）に、前記抽出した日時情報を記憶し（Ｓ３２１）、Ｓ３３０へ進む。

Ｓ３３０において、音声認識処理部１７は、入力してくる音声情報を解析して、音声情報中に場所情報に対応する音声情報の存在を監視し、場所情報を抽出した場合（Ｓ３３０，ＹＥＳ）、端末制御部１０へ場所情報を抽出した旨を通知し、端末制御部１０は、情報管理部１９を制御して、録音再生制御部１５が録音した音声メモに対応するメモ管理部１９０のメモリ（図２の列２０３に対応）に、前記抽出した場所情報を記憶し（Ｓ３３１）、Ｓ３４０へ進む。

なお、Ｓ３２１およびＳ３３１における、日時情報および場所情報の記憶は上書方式による記憶であり、それ以前に記憶した内容は自動的に消去される（上書）。これにより、常に最新の日時情報および場所情報が記憶されるので、会話の途中で抽出された確定前の情報は無効となり、その後の結論で確定した、最後に発せられた日時情報および場所情報が有効となる。

Ｓ３４０において、音声認識処理部１７は、入力してくる音声情報を解析して、音声情報中に末尾キーワードに対応する音声情報の存在を監視し、末尾キーワードを検出した場合（Ｓ３４０，ＹＥＳ）、端末制御部１０へ末尾キーワードを検出した旨および検出した末尾キーワードを通知し、端末制御部１０は、録音再生制御部１５を制御して、録音を停止し（Ｓ３４２）、Ｓ３５０へ進む。

なお、図示していないが、Ｓ３４０でＹＥＳの場合、端末制御部１０は、情報管理部１９を制御して、録音再生制御部１５が録音した音声メモに対応するメモ管理部１９０のメモリに、音声認識処理部１７が検出した末尾キーワードを記憶しておく（図２の列２０４に対応）。

Ｓ３４０において、音声認識処理部１７が末尾キーワードを検出しない場合（Ｓ３４０，ＮＯ）、端末制御部１０は予め定められた長時間無音（例えば、１分）の有無を監視し、長時間無音を検出した場合（Ｓ３４１，ＹＥＳ）、上述したＳ３４２へ進み、端末制御部１０は、音声メモの録音を停止し（Ｓ３４２）、Ｓ３５０へ進む。長時間無音を検出しない場合（Ｓ３４１，ＮＯ）、Ｓ３０１に戻る。

Ｓ３５０において、端末制御部１０は、Ｓ３２１に対応する日時情報の記憶とＳ３３１に対応する場所情報の有無を判定し（Ｓ３５０）、日時情報が無ければ音声メモを雑メモとして登録し（Ｓ３５３）、日時情報があり場所情報の記憶が無いならば録音した音声メモを処置予定として登録し（Ｓ３５１）、日時情報と場所情報の両方の記憶が有るならば録音した音声メモを行動予定として登録し（Ｓ３５２）、Ｓ３６０へ進む。

なお、ここでは、日時情報と場所情報を抽出した場合はどこかへ出かける行動予定と判断し、日時情報のみ抽出した場合は何らかの処置を要する処置予定と判断し、日時情報を抽出しない場合は雑メモと判断する、単純な種別の自動識別なので誤判断の可能性があるが、この登録は仮の登録であって、登録の確定前に修正可能である（後述）。

ところで、音声メモの種別として、行動予定，処置予定，雑メモの各々について自動的に蓄積する／しないの設定は、Ｓ３５１，Ｓ３５２，Ｓ３５３をパスするようにフローを変更すればよい（図示せず）。

Ｓ３６０において、端末制御部１０は、Ｓ３５１またはＳ３５２で登録した音声メモに係る情報（例えば、“次の音声メモを抽出しました。登録／編集／削除しますか？”）を表示部１４に表示し、Ｓ３６１へ進む。

Ｓ３６１において、端末制御部１０は、操作部１３からの入力される操作情報に応じて、Ｓ３５１またはＳ３５２で登録した音声メモに係る情報を登録／編集／削除すると共に、記憶している日時情報と場所情報の記憶をクリアし（Ｓ３６２）、Ｓ３０１に戻る。この音声メモに係る情報の登録は、自動的に仮登録された内容を確定する作業であり、音声メモに係る情報の編集は、当該音声メモと関連付ける文字メモ（図２の列２０１〜列２０３）等の編集や、その他の情報（スケジュールや備忘録等）との関連付け等である。

なお、日時情報と場所情報の記憶をクリアする理由は、登録済または削除済みの予定メモに係る日時情報と場所情報が後で抽出される音声メモとリンクすることを防止するためである。

以上の動作フローによる音声メモの抽出は、自動音声メモモードが停止されるまで継続される。

以上、本発明の一実施形態について説明した。本発明によれば、会話中に約束される行動予定や処置予定に係る、特定の会話部分を音声メモとして、自動的に抽出して簡単に登録できると共に、その音声メモをスケジュールや備忘録と関連付けることが容易なので、ボイスレコーダ機能や通話録音機能を備えた機器の利便性を向上できる利点がある。

ところで、本発明の実施形態として、携帯電話端末を例に説明したが、本発明はこれに限定されない。本発明を適用する装置は、一般的な事務所や家庭に設置される固定電話機や、複数の内線を収容する内線電話システムを構成する電話主装置等、電話装置一般に適用可能である。さらに、電話装置以外にも、ボイスレコーダ機能を有する、パーソナルコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、ボイスレコーダ、スマートホン等、各種の情報装置に適用可能である。

１・・・携帯電話端末
２・・・ネットワーク
１０・・・端末制御部
１１・・・スピーカ
１２・・・マイク
１３・・・操作部
１４・・・表示部
１５・・・録音再生制御部
１６・・・録音データ蓄積部
１７・・・音声認識処理部
１８・・・キーワード登録部
１９・・・情報管理部
１９０・・・メモ管理部
１９１・・・文字メモ蓄積部
１９２・・・音声メモ蓄積部

Claims

マイクまたはネットワークを介して入力した音声情報を録音する音声録音手段を備える機器における、前記入力した音声情報の一部を音声メモとして蓄積する方法であって、
前記入力した音声情報を解析し前記音声メモの開始に係る予め定められた１以上の起動キーワードのいずれかを検出する起動キーワード検出ステップと、前記入力した音声情報を解析し日時およびまたは場所に係る情報を抽出する日時場所情報抽出ステップと、前記抽出した日時およびまたは場所に係る情報を記憶する日時場所情報記憶ステップと、前記入力した音声情報を解析し結論もしくは用件の末尾に係る予め定められた１以上の末尾キーワードのいずれかを検出する末尾キーワード検出ステップと、前記音声メモを前記機器が備えるもしくは前記機器と接続された情報蓄積手段に蓄積する音声メモ蓄積ステップと、を有し、
前記末尾キーワード検出ステップが前記末尾キーワードのいずれかを検出した場合または一定時間以上の無音状態を検出した場合に、前記日時場所情報抽出ステップが抽出した最新の日時およびまたは最新の場所に係る情報を含む情報を前記機器が備えるもしくは前記機器と接続された情報表示手段に表示し、登録する旨の所定の操作を検知したならば、前記音声メモ蓄積ステップは、前記抽出した最新の日時およびまたは最新の場所に係る情報と関連付けて、前記検出した起動キーワードに対応する箇所から前記検出した末尾キーワードに対応する箇所または一定時間以上の無音状態となった箇所までの間の音声情報を前記音声メモとして前記情報蓄積手段に蓄積することを特徴とする予定に係る音声メモ蓄積方法。