JP4609509B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP4609509B2
JP4609509B2 JP2008073018A JP2008073018A JP4609509B2 JP 4609509 B2 JP4609509 B2 JP 4609509B2 JP 2008073018 A JP2008073018 A JP 2008073018A JP 2008073018 A JP2008073018 A JP 2008073018A JP 4609509 B2 JP4609509 B2 JP 4609509B2
Authority
JP
Japan
Prior art keywords
keyword
terminal
data
mfd
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008073018A
Other languages
English (en)
Other versions
JP2009232016A (ja
Inventor
健史 長崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2008073018A priority Critical patent/JP4609509B2/ja
Priority to US12/405,199 priority patent/US8751471B2/en
Publication of JP2009232016A publication Critical patent/JP2009232016A/ja
Application granted granted Critical
Publication of JP4609509B2 publication Critical patent/JP4609509B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、電話における通話音声を録音し、録音したデータに検索キーワードを関連付けて管理する技術に関する。特に、電話機能を備えたデバイスと、そのデバイスと通信可能に接続されている端末を含んでいる情報処理システムであり、デバイスが録音した録音データに検索キーワードを関連付けて管理する情報処理システムに関する。
電話の通話音声を自動的に録音する音声蓄積装置が知られている(例えば特許文献1)。特許文献1の音声蓄積装置は、録音データをメールボックスに格納する。
特開平9−46428号公報
録音データの数が多くなった場合、録音データに検索キーワードを関連付けたデータベースを構築すると管理し易い。ユーザは、キーワード検索によって、多くの録音データの中から所望の録音データを見つけることができる。
データベースを構築するには、デバイスと通信可能に接続された端末(サーバ)が都合がよい。端末は、多数の録音データを蓄積できる。しかしながら、デバイスが録音した録音データに検索キーワードを関連付けてデータベースに登録する場合、デバイスのユーザは、電話回線が切断された後に端末へ接続するための処理をデバイスに入力し、検索キーワードを関連付ける端末に蓄積された録音データを選択し、さらに検索キーワードをデバイスに入力する必要があった。本明細書は、これらのユーザの入力操作を軽減することのできる情報処理システムを開示する。
本明細書が開示する情報処理システムは、電話機能を備えたデバイスと、そのデバイスと通信可能に接続されている端末とを含んでいる。デバイスは、録音手段、音声取得手段、第1送信手段、第2送信手段、デバイス側受信手段、表示制御手段、選択手段、第3送信手段を備えている。録音手段は、電話の通話音声を録音する。音声取得手段は、確立していた電話回線の切断を検知したことを条件として、外部から音声を取得する。第1送信手段は、録音手段が録音した録音データを端末へ送信する。第2送信手段は、音声取得手段が取得した音声データを端末へ送信する。デバイス側受信手段は、端末からキーワード候補を受信する。表示制御手段は、受信したキーワード候補をディスプレイに表示する。選択手段は、表示したキーワード候補の中から少なくとも一つのキーワード候補を選択する。選択手段が選択するキーワード候補は、表示したキーワード候補の中からユーザが指定する少なくとも一つのキーワード候補でよい。第3送信手段は、選択したキーワード候補を端末に送信する。
端末は、端末側受信手段、キーワード生成手段、端末側送信手段、及び、登録手段を備えている。端末側受信手段は、デバイスから録音データを受信する。キーワード生成手段は、デバイスから受信した音声データに基づいてキーワード候補を生成する。端末側送信手段は、生成したキーワード候補をデバイスに送信する。登録手段は、デバイスから受信したキーワード候補を、録音データを検索するための検索キーワードとして、デバイスから受信した録音データに関連付けてコンテンツデータベースに登録する。
このシステムは、確立していた電話回線の切断を検知したことを条件として、外部からの取得した音声、例えば、ユーザの音声に基づいてキーワード候補を生成して表示する。そして、このシステムは、表示したキーワード候補の中からユーザが指定した少なくとも一つのキーワード候補を録音データの検索キーワードとして登録する。第1に、このシステムは、電話回線の切断を検知すると自動的にユーザの音声を取得して端末へ送信する。これによってシステムは、デバイスを端末に接続するためのユーザ操作を不要とする。第2に、このシステムは、ユーザにキーワードを提示するまでユーザの操作を不要とする。すなわち、このシステムは、電話回線の切断からユーザにキーワードを提示するまでの間にユーザの操作を必要としない。また、このシステムは、確立していた電話回線の切断を検知すると、録音データの送信に続けて検索キーワードを送信することができ、それらを関連付けて登録することが可能である。従ってユーザは、いずれの録音データに検索キーワードを付与するのか容易に把握できる。このシステムは、意図しない録音データに誤った検索キーワードを関連付けて登録してしまうことを防止できる。
なお、電話回線は、相手の電話機との接続を意味するものであり、公衆回線を介した接続であってもインターネットを介した接続であってもよい。
また、端末がデバイスに組み込まれ一体に形成されていてもよいし、その逆に、デバイスに端末が組み込まれて一体に形成されていてもよい。
端末は、複数の単語を含んでいる辞書データベースを備えていることが好ましい。より好ましくは、辞書データベースは、コンテンツデータベースに含まれている検索キーワードの数よりも多くの単語を含んでいる。その場合、キーワード生成手段は、受信した音声データに含まれている単語を辞書データベースから抽出し、抽出した単語を含んでいる検索キーワードをコンテンツデータベースから抽出し、抽出した検索キーワードをキーワード候補として採用することが好ましい。これにより、このシステムは、音声データに含まれる単語に同音異義語が存在するような場合でも、同音異義語を含む検索キーワードを抽出することができる。
キーワード生成手段は、辞書データベースから抽出した単語を含んでいる検索キーワードがコンテンツデータベースに存在しないことを条件として、辞書データベースから抽出した単語をキーワード候補として採用するとよい。この場合、このシステムは、辞書データベースから抽出した単語を、コンテンツデータベースに記憶されていない新たな検索キーワードとして、録音データに関連付けて登録することができる。
また、キーワード生成手段は、コンテンツデータベースから抽出した検索キーワードとともに、辞書データベースから抽出した単語をキーワード候補として採用してもよい。そうすることによってこのシステムは、ユーザの発した音声に含まれる単語に関連する多くのキーワード候補をユーザに提示することができる。
登録手段は、選択手段によりキーワード候補の選択が行われなかったことを条件として、即ち、ユーザがキーワードの選択を行わなかったことを条件として、予め定められたキーワードを録音データの検索キーワードとしてコンテンツデータベースに登録することが好ましい。
ユーザがキーワードの選択を行わなかった場合、予め定められたキーワードを録音データの検索キーワードとして登録することによって、ユーザが所望する検索キーワードが登録された録音データと、そうでない録音データを区別することができる。予め定められたキーワードが登録された録音データには、ユーザが後からキーワードを指定することができる。このときのキーワードの指定は、音声で入力されてもよいし、キーボードから入力されてもよい。
或いは、端末は、選択手段によりキーワード候補の選択が行われなかったことを条件として、録音データを、既に検索キーワードが登録された録音データと区別して記憶する記憶手段を備えていてよい。この場合、デバイスは、検索キーワードが登録されていない録音データのリストを表示するリスト表示制御手段を備えていることが好ましい。そして、選択手段は、表示したリストの中から一の録音データを選択し、登録手段は、選択手段が選択したキーワードを、選択した録音データの検索キーワードとしてコンテンツデータベースに登録するとよい。そのようなシステムによっても、ユーザが所望する検索キーワードが登録されていない録音データに、ユーザが後から検索キーワードを付する処理が容易となる。
本発明によれば、電話の通話音声を録音した録音データに検索キーワードを関連付けてデータベースに登録するためのユーザの操作を軽減することができる情報処理システムを実現できる。
図面を参照して実施例の情報処理システムを説明する。本実施例の情報処理システム100は、MFD10(Multi Function Device)とサーバ40がネットワーク60を介して通信可能に接続されているシステムである。以下、情報処理システム100を単にシステム100と称する。
1.システム構成
図1にシステム100のブロック図を示す。
MFD10は、電話機能、画像読取機能、ファクシミリ機能、コピー機能、プリンタ機能を兼ね備えている。
MFD10は、CPU12、ストレージ14、RAM21(Random Access Memory)、コンソール22、ディスプレイ24、ネットワークインタフェイス26、PSTN(Public Switched Telephone Networks)インタフェイス28、プリントユニット30、ファクシミリユニット32、スキャナユニット34、およびハンドセット36を備えている。図1に記された「I/F」の文字は「インタフェイス」を意味する。また、図1に記された「PGM」の文字は、「プログラム」を意味する。
CPU12は、ストレージ14に格納された制御プログラム16に従ってMFD10を制御する。ストレージ14にはまた、各種のデータ20が格納されている。コンソール22は、ユーザの操作を受け付けるためのハードウエアである。すなわち、コンソール22は、ユーザから所望の指示、例えば画像の読み取り指示を受け付ける。
ネットワークインタフェイス26は、LAN50を介して、端末と通信するためのハードウエアウエアである。PSTNインタフェイス28は、MFD10を公衆回線(不図示)に接続しているハードウエアである。MFD10は、公衆回線を通じてファクシミリのデータを授受する。プリントユニット30は印刷機能のためのハードウエアである。ファクシミリユニット32はファクシミリ機能のためのハードウエアである。スキャナユニット34はスキャナ機能(画像読取機能)のためのハードウエアである。ハンドセット36は、ユーザが他の電話機のユーザと通話するためのハードウエアである。MFD10は、公衆回線又はインターネットを介して、他の電話機(電話機能を備えた通信装置を含む)との間に電話回線を確立することができる。
RAM21は、データを一時的に記憶するメモリである。MFD10は、電話の通話音声を録音し、録音データをRAM21に記憶する。記憶された録音データは、サーバ40に送られる。
サーバ40の構成を説明する。サーバ40は、CPU42、ストレージ44、RAM48を備えている。ストレージ44には、制御プログラム46、コンテンツデータベース50、及び辞書データベース52が格納されている。
2.システムの機能
システム100は、MFD10が録音した電話の通話音声を録音し、録音データをサーバ40のコンテンツデータベース50に登録して管理することができる。コンテンツデータベース50の一例を図2に示す。コンテンツデータベース50には、録音データのファイルと、録音データに関連付けられた検索キーワードが登録されている。録音データと検索キーワードの組みをレコードと称する。各レコードには識別子(ID)が付されている。例えば「001」のIDが付されたレコードには、「xxx.xx」という名称のファイル(録音データのファイル)に、「商品企画」という検索キーワードが関連付けられている。コンテンツデータベース50は、ファイル名とともに、そのファイルのパスを記憶している。図2のコンテンツデータベース50は、「xxx.xx」という名称のファイルが、「folder1」というフォルダに格納されていることを示している。「002」のIDが付されたレコードには、「yyy.yy」という名称のファイル(録音データを記述したファイル)に、「企画会議」という検索キーワードが関連付けられている。「003」のIDが付されたレコードには、「zzz.zz」という名称のファイル(録音データを記述したファイル)に、「欧州規格」という検索キーワードが関連付けられている。「004」のIDが付されたレコードには、「aaa.aa」という名称のファイル(録音データを記述したファイル)に、「未分類」という検索キーワードが関連付けられている。「商品企画」、「企画会議」、および「欧州規格」の検索キーワードは、ユーザが指定した検索キーワードである。「未分類」という検索キーワードは、システム100が自動的に関連付けた検索キーワードである。システム100は、ユーザが検索キーワードを指定していない録音データについては、予め定められた検索キーワード「未分類」を自動的に関連付けてコンテンツデータベース50に登録する。
ユーザは、検索キーワードを指定することによって、所望のファイル(録音データ)をコンテンツデータベース50から検索することができる。システム100は、録音データに検索キーワードを関連付けて登録することによって、多くの録音データを管理し易くする。
システム100は、電話の通話音声を録音した録音データにユーザが検索キーワードを指定する操作負荷を軽減することができる。
3.システムが実行する処理
図3に、システム100が実行する処理のフローチャートを示す。図3の中央にMFD10が実行する処理のフローチャートを示す。図3の右側にサーバ40が実行する処理のフローチャートを示す。図3の左側に、ユーザの操作を示す。なお、以下では、他の電話機からMFD10へ着信があった場合の処理を説明するが、MFD10から他の電話機に発信する場合も同様の処理が実行される。
他の電話機から着信があった場合、MFD10は、ユーザがハンドセットを取り上げる操作(U2)を、電話回線の確立として検知する(M2)。すなわち、回線が閉結されたことを検知する。電話回線の確立を検知すると、MFD10は電話の通話音声の録音を開始する(M4)。MFD10は、ユーザが電話回線を切断する操作(U4)を行なうと、その操作を電話回線の切断として検知する(M6)。電話回線の切断を検知すると、MFD10は、録音を終了し、録音データをサーバ40へ送信する(M6)。サーバ40は、MFD10から送られた録音データを受信し、所定のフォルダに格納する(S2)。なお、ユーザが電話回線を切断する操作の種類には、例えば、コンソールに設けられた終了ボタンを押す操作、或いは、ハンドセットを置く操作がある。
電話回線の切断を検知したMFD10は、ユーザに音声入力を促すメッセージを、ハンドセットのスピーカを通して出力する(M8)。すなわちMFD10は、電話回線の切断を検知したことを条件として、ユーザに音声入力を促すメッセージを出力する。ユーザは、MFD10の誘導に従って、録音データに関連付けることを希望するキーワードを発声する(U6)。MFD10は、ハンドセットのマイクロホンを介して、ユーザが発した音声を取得する(M10)。すなわちMFD10は、電話回線の切断を検知したことを条件として、ユーザが発した音声を取得する。
MFD10は、取得した音声をデジタルデータ(音声データ)に変換してサーバ40へ送信する(M12)。サーバ40は、MFD10から音声データを受信する(S4)。サーバ40は、受信した音声データに基づいて、キーワード候補を生成する(S6)。キーワード候補の生成は次の手順で行われる。サーバ40は、受信した音声データをテキスト変換する(S6−1)。テキストへの変換は、周知の音声認識技術により行われるとよい。サーバ40は、テキストに含まれている単語を辞書データベース52から抽出する(S6−2)。次いでサーバ40は、抽出した単語を含んでいる検索キーワードを、コンテンツデータベース50から抽出する(S6−3)。なお、図3のステップS6−3に記した「KWD」の文字列は「キーワード」を意味する。
ステップS6−1の処理において、サーバ40は、複数の単語を抽出する場合がある。またステップS6−2の処理において、サーバ40は、複数の検索キーワードを抽出する場合がある。キーワード生成の事例は後述する。
サーバ40は、抽出した検索キーワードを、録音データに関連付けるキーワード候補としてMFD10へ送信する(S8)。
MFD10は、サーバ40からキーワード候補を受信する(M14)。MFD10は、受信したキーワード候補をディスプレイ24に表示する(M16)。ユーザは、表示されたキーワード候補の中から、録音データに関連付けることを希望するキーワード候補を、ハンドセットのマイクロホンを介して指定する(U8)。ユーザは、複数のキーワード候補を指定することができる。また、ユーザは、希望するキーワードが表示されていない場合、キーワードを指定せずに終了することを指定することもできる。ユーザの指定に応じてMFD10が実行する処理については後述する。なお、ユーザによるキーワード候補の指定は、コンソールを介して入力されてもよい。
MFD10は、ユーザが指定するキーワード候補を選択する(M18)。MFD10は、選択したキーワード候補サーバ40に送信する(M20)。
サーバ40は、MFD10が送信したキーワード候補を受信する(S10)。サーバ40は、受信したキーワード候補を、検索キーワードとしてステップS2で受信した録音データに関連付けてコンテンツデータベース50に登録する(S12)。
なお、図示を省略しているが、登録を完了したサーバ40は、完了メッセージをMFD10に送信し、MFD10は完了メッセージを表示する。
以上説明したように、システム100は、電話回線の切断後に直ちに、録音データに検索キーワードを関連付けて登録する処理を実行する。その際、ユーザは、電話に用いたハンドセットを介してMFD10に指示を与えるだけでよい。特に、システム100は、ユーザが発した単語を含む過去の検索キーワードをコンテンツデータベース50から抽出して表示する。ユーザは、過去の検索キーワードの中から、新たな録音データに関連付けるキーワードを指定することができる。すなわち、過去の録音データに付した検索キーワードを、新たな録音データの検索キーワードに指定することができる。
図3に示したステップM12以降のMFD10の処理と、ステップS4以降のサーバ40の処理を詳しく説明する。
図4に、ステップM12(図3)以降のMFD10の処理のフローチャートを示す。図4に示す「KWD」の文字は「キーワード」を意味する。ステップM12とM14の処理は前述した。
ステップM16においてMFD10は、ステップM14で受信したキーワード候補の他に、「未分類」、「候補なし」、および「音声再入力」の選択肢を表示する。ユーザは、表示されたキーワード候補の中から、録音データに関連付けることを希望するキーワード候補を指定する(図3のU8)。この場合(M18の分岐判断:「KWD」)、MFD10は、ユーザが指定したキーワード候補を選択し、選択したキーワード候補をサーバ40へ送信する(M20−1)。サーバ40は、MFD10からキーワード候補を受信し、受信したキーワード候補を録音データの検索キーワードとしてコンテンツデータベース50へ登録する。サーバ40は、登録を完了した旨のメッセージをMFD10へ送信する。MFD10は、サーバ40からメッセージを受信し、受信したメッセージを表示する(M22)。ステップM20−1の処理は、図3のステップM20に相当する。
録音データに関連付けることを希望するキーワード候補が表示されていない場合、ユーザは、「未分類」、「候補なし」、「音声再入力」のいずれかを指定することができる。
ユーザが「未分類」を指定した場合(M18の分岐判断:「未分類」)、MFD10は、「未分類要求」をサーバ40へ送信する(M20−2)。サーバ40は、「未分類要求」に対応した処理を実行し、処理が完了したことを示すメッセージをMFD10へ送信する。MFD10は、サーバ40からメッセージを受信し、受信したメッセージを表示する(M24)。「未分類要求」に対応した処理は後述する。なお、ステップM20−2の処理は、図3のステップM20に相当する。
ユーザが「候補なし」を指定した場合(M18の分岐判断:「候補なし」)、MFD10は、「単語要求」をサーバ40へ送信する(M26)。「単語要求」を受信したサーバ40は、ステップS6−2(図3)で抽出した単語をMFD10へ送信する。MFD10は、サーバ40から単語を受信し(M14)、ステップM16以降の処理を繰り返す。
ユーザが「音声再入力」を指定した場合は、MFD10は、図3のステップM8へ戻って処理を続ける。
図5にステップS4(図3)以降のサーバ40の処理のフローチャートを示す。図5に示す「KWD」の文字は「キーワード」を意味する。ステップS4、S6−1、S6−2、及びS6−3の処理は前述した。
ステップS6−3において、検索キーワードの抽出が成功した場合(S7:YES)、サーバ40は、抽出した検索キーワードを、新たな録音データのキーワード候補としてMFD10へ送信する(S8−1)。検索キーワードの抽出が成功しなかった場合(S7:NO)、すなわち、ステップS6−2で抽出した単語を含んでいる検索キーワードがコンテンツデータベース50に存在しなかった場合、サーバ40は、抽出した単語を、新たな録音データのキーワード候補としてMFD10へ送信する(S8−2)。ステップS8−1とS8−2の処理は、図3のステップS8の処理に相当する。
次にサーバ40は、MFD10からの「要求」を受信し、受信した「要求」に応じた処理を実行する(S10)。
MFD10からキーワードを受信した場合、サーバ40は、「登録要求」を受信したと判断する(ステップS10の分岐判断:「登録要求」)。このときの処理は、図4のステップM20−1に対応する。この場合、サーバ40は、受信したキーワードを、録音データの検索キーワードとしてコンテンツデータベース50へ登録する(S12−1)。そして、登録処理を完了した旨のメッセージをMFD10へ送信する(S14−1)。
MFD10から「未分類要求」を受信した場合(ステップS10の分岐判断:「未分類要求」)、サーバ40は、予め決められたキーワード「未分類」を、録音データの検索キーワードとしてコンテンツデータベース50へ登録する(S12−2)。このときの処理は、図4のステップM20−2に対応する。そして、サーバ40は、登録処理を完了した旨のメッセージをMFD10へ送信する(S14−2)。図2に示したコンテンツデータベースにおける「0004」のレコードの検索キーワードに「未分類」が登録されているケースが、このステップS12−2の処理の結果である。
ステップS12−1及びS12−2の処理は、図3のステップS12の処理に相当する。
MFD10から「単語要求」を受信した場合(ステップS10の分岐判断:「単語要求」)、サーバ40は、ステップS6−2で抽出した単語をキーワード候補として送信する(S8−2)。そして再びMFD10からの「要求」を待つ(S10)。
図2を参照して、キーワード生成処理の例を説明する。ユーザが発した音声が「きかく」であった場合、サーバ40は、辞書データベース52から、「きかく」に一致する単語を抽出する。この場合、「きかく」、「キカク」、「規格」及び「企画」の4つの単語が抽出される(S6−2)。次にサーバ40は、これら4つの単語のいずれかを含む検索キーワードをコンテンツデータベース50から抽出する。図2に示すとおり、「規格」の単語を含んでいる「欧州規格」と、「企画」の単語を含んでいる「商品企画」と「企画会議」の検索キーワードが抽出される(S6−3)。サーバ40は、ステップS8−1の処理において、「欧州規格」、「商品企画」、および「企画会議」の3つの検索キーワードをキーワード候補として送信する。他方ステップS8−2の処理では、サーバ40は、「きかく」、「キカク」、「規格」及び「企画」の4つの単語を、キーワード候補として送信する。
上記説明したように、サーバ40は、予め定められた「未分類」の検索キーワードを登録することによって、ユーザが希望する検索キーワードが既に登録された録音データとそうでない録音データを区別することができる。「未分類」の検索キーワードが登録された録音データに対してユーザが希望する検索キーワードを関連付ける処理を説明する。以下では、「未分類」の検索キーワードが登録された録音データを未分類データと称する。
図6に、MFD10とサーバ40のフローチャートを示す。
まずユーザが、未分類データのリスト表示の指示をMFD10に与える(U10)。ユーザの指示を受け付けるとMFD10は、未分類データの「リスト要求」をサーバ40へ送信する(M100)。サーバ40は、「リスト要求」をMFD10から受信する(S100)。「リスト要求」を受信したサーバ40は、コンテンツデータベース50の中から「未分類」の検索キーワードが関連付けられた録音データ(即ち未分類データ)を抽出し、抽出した未分類データのリストをMFD10へ送信する(S102)。MFD10は、リストを受信する(M102)。MFD10は、受信したリストを表示する(M104)。ユーザは、表示されたリストの中から、検索キーワードを登録することを希望する未分類データを指定する(U12)。MFD10は、ユーザが指定した未分類データを選択する(M108)。MFD10は、選択した未分類データをサーバ40へ送信する(M110)。サーバ40は、MFD10から未分類データを受信する(S104)。こうして、MFD10とサーバ40は、ユーザが検索キーワードを関連付けることを望んでいる未分類データを特定することができる。以後は、MFD10はステップM8(図3)の処理へ移行し、サーバ40はステップS4(図3)の処理へ移行する。
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
MFD10が実行する処理は、制御プログラム16に記述されている。従ってMFD10は、以下の手段として機能する。
・電話の通話音声を録音する録音手段;
・電話回線の切断を検知したことを条件として、ユーザが発した音声を取得する音声取得手段;
・録音手段が録音した録音データを端末へ送信する第1送信手段;
・音声取得手段が取得した音声データを端末へ送信する第2送信手段;
・端末からキーワード候補を受信する受信手段;
・受信したキーワード候補をディスプレイに表示する表示制御手段;
・表示したキーワード候補の中から少なくとも一つのキーワード候補を選択する選択手段;
・選択したキーワード候補を端末に送信する第3送信手段。
サーバ40が実行する処理は、制御プログラム46に記述されている。従ってサーバ40は、以下の手段として機能する。
・MFD10から受信した音声データに基づいてキーワード候補を生成するキーワード生成手段;
・生成したキーワード候補をMFD10に送信する送信手段;
・MFD10から受信したキーワード候補を、録音データを検索するための検索キーワードとしてコンテンツデータベース50に登録する登録手段。
サーバ40は、図3のステップS8において、コンテンツデータベース50から抽出した検索キーワードとともに、辞書データベース52から抽出した単語をキーワード候補としてMFD10へ送信してもよい。その際、キーワード候補を受信したMFD10は、検索キーワードを優先的に表示し(例えば、ディスプレイ24の上方)、辞書データベース52から抽出した単語は検索キーワードよりも優先度を下げて表示するとよい(例えば、ディスプレイ24の下方)。
また、サーバ40は、「未分類」が選択された録音データを、既に検索キーワードが登録された過去の録音データと区別してストレージ44に記憶してもよい。
検索キーワード、及び、キーワード候補は、複数の単語からなる文字列であってもよい。即ち、情報処理システムは、辞書データベース52から抽出した単語を含んでいる文字列をコンテンツデータベース50から抽出し、抽出した文字列をキーワード候補として採用してよい。
実施例で説明したサーバ40の処理は、MFD10で実施されてもよい。即ち、図3〜図5に示した処理をMFD10が全て実行してもよい。
ハンドセットは、デバイスが備えているスピーカとマイクロホンでよい。MFD10は、ディスプレイを介してユーザにメッセージを提示するとともに、コンソールを介してユーザの指示を受け付けてよい。しかし、MFD10は、ハンドセットをヒューマンマシンインタフェイスとして利用することも好適である。MFD10は、次の技術的特徴を有していてよい。
・相手の装置と通話するためのスピーカとマイクロホン;
・電話の通話音声を録音する録音手段;
・電話回線の切断を検知したことを条件として、ユーザに音声入力を促すメッセージを出力するメッセージ出力手段;メッセージは、スピーカ又はディスプレイを介して出力される;
・ユーザが発した音声をマイクロホンを介して取得する音声取得手段;
・前述した第1送信手段、第2送信手段、受信手段、表示制御手段、選択手段、及び、第3送信手段。
上記の技術的特徴を備えたMFD10は、ユーザが通話のためにマイクロホンを使用する点に着目し、そのマイクロホンを使ってキーワード候補を生成するための音声を取得する。
ユーザが通話を終了する際、終了ボタンを押す代わりに、ハンドセットを置くことによっても、電話回線を切断することができる。そこで、ハンドセットをヒューマンマシンインタフェイスとして用いる場合、システム100は、次の処理を行うことも好適である。以下の処理は、図3に示したフローチャートを参照しながら理解されたい。
ユーザが終了ボタンを押した場合(U4)、MFD10は、録音データに、直ちにキーワード登録処理を実行する旨のフラグを付してサーバ40へ送信する(M6)。サーバ40は、フラグ付きの録音データを受信する(S2)。サーバ40は、受信した録音データに前述のフラグが付されていることを条件として、MFD10による音声データの送信(M12)に備えて待機する。音声データを受信したサーバ40は、ステップS6及びS8の処理を実行し、MFD10によるキーワード候補の送信(M20)に備えて待機する。キーワード候補を受信したサーバ40は、ステップS12の処理を実行する。ステップS12の処理を実行する際、サーバ40は、録音データに付されたフラグを削除する。
他方、ステップU4において、ユーザが終了ボタンを押す代わりにハンドセットを置いて電話回線を切断した場合、MFD10は、前述のフラグを付さずに録音データをサーバ40へ送信する(M6)。サーバ40は、受信した録音データに前述のフラグが付されていないことを条件として、音声データやキーワード候補の送信に備えて待機することなく、受信した録音データに予め定められたキーワード「未分類」を関連付けてコンテンツデータベースに登録する。
即ち、システム100は、ユーザが終了ボタンを押すことによって電話回線を切断した場合には、ユーザの音声入力に基づいて、ユーザが希望するキーワードの登録処理を実行する。他方、システム100は、ユーザが終了ボタンを押すのではなく、ハンドセットを置くことによって電話回線を切断した場合には、ユーザの音声入力を待たずに予め定められたキーワードを登録する処理を自動的に実行する。上記したフラグを採用することによって、システム100は、効率よく録音データにキーワードを関連付けることができる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
情報処理システムのブロック図を示す。 コンピュータデータベースの一例を示す。 システムの処理のフローチャートを示す。 MFDの処理の詳細なフローチャートを示す。 サーバの処理の詳細なフローチャートを示す。 システムの別の処理のフローチャートを示す。
符号の説明
10:MFD(情報処理装置)
12:CPU
14:ストレージ
16:制御プログラム
21:RAM
22:コンソール
24:ディスプレイ
36:ハンドセット
40:サーバ
42:CPU
44:ストレージ
46:制御プログラム
50:コンテンツデータベース
52:辞書データベース
60:ネットワーク
100:情報処理システム

Claims (6)

  1. 電話機能を備えたデバイスと、前記デバイスと通信可能に接続されている端末とを含んでいる情報処理システムであり、
    デバイスは、
    電話の通話音声を録音する録音手段と、
    確立していた電話回線の切断を検知したことを条件として、外部から音声を取得する音声取得手段と、
    録音手段が録音した録音データを端末へ送信する第1送信手段と、
    音声取得手段が取得した音声データを端末へ送信する第2送信手段と、
    端末からキーワード候補を受信するデバイス側受信手段と、
    受信したキーワード候補をディスプレイに表示する表示制御手段と、
    表示したキーワード候補の中から少なくとも一つのキーワード候補を選択する選択手段と、
    選択したキーワード候補を端末に送信する第3送信手段と、を備えており、
    端末は、
    デバイスから録音データを受信する端末側受信手段と、
    デバイスから受信した音声データに基づいてキーワード候補を生成するキーワード生成手段と、
    生成したキーワード候補をデバイスに送信する端末側送信手段と、
    デバイスから受信したキーワード候補を、録音データを検索するための検索キーワードとして、デバイスから受信した録音データに関連付けてコンテンツデータベースに登録する登録手段と、
    を備えていることを特徴とする情報処理システム。
  2. 端末は、
    複数の単語を含んでいる辞書データベースを備えており、
    キーワード生成手段は、
    受信した音声データに含まれている単語を辞書データベースから抽出し、
    抽出した単語を含んでいる検索キーワードをコンテンツデータベースから抽出し、
    抽出した検索キーワードをキーワード候補として採用することを特徴とする請求項1に記載の情報処理システム。
  3. キーワード生成手段は、辞書データベースから抽出した単語を含んでいる検索キーワードがコンテンツデータベースに存在しないことを条件として、辞書データベースから抽出した単語をキーワード候補として採用することを特徴とする請求項2に記載の情報処理システム。
  4. キーワード生成手段は、コンテンツデータベースから抽出した検索キーワードとともに、辞書データベースから抽出した単語をキーワード候補として採用することを特徴とする請求項2に記載の情報処理システム。
  5. 登録手段は、選択手段によりキーワード候補の選択が行われなかったことを条件として、予め定められたキーワードを録音データの検索キーワードとしてコンテンツデータベースに登録することを特徴とする請求項1から4のいずれか1項に記載の情報処理システム。
  6. 端末は、選択手段によりキーワード候補の選択が行われかったことを条件として、前記録音データを、既に検索キーワードが登録された録音データと区別して記憶する記憶手段を備えており、
    デバイスは、
    検索キーワードが登録されていない録音データのリストをディスプレイに表示するリスト表示制御手段を備え、
    選択手段は、表示したリストの中から一の録音データを選択し、
    登録手段は、選択手段が選択したキーワードを、選択した録音データの検索キーワードとしてコンテンツデータベースに登録することを特徴とする請求項1から4のいずれか1項に記載の情報処理システム。
JP2008073018A 2008-03-21 2008-03-21 情報処理システム Expired - Fee Related JP4609509B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008073018A JP4609509B2 (ja) 2008-03-21 2008-03-21 情報処理システム
US12/405,199 US8751471B2 (en) 2008-03-21 2009-03-16 Device, system, method and computer readable medium for information processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008073018A JP4609509B2 (ja) 2008-03-21 2008-03-21 情報処理システム

Publications (2)

Publication Number Publication Date
JP2009232016A JP2009232016A (ja) 2009-10-08
JP4609509B2 true JP4609509B2 (ja) 2011-01-12

Family

ID=41089877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008073018A Expired - Fee Related JP4609509B2 (ja) 2008-03-21 2008-03-21 情報処理システム

Country Status (2)

Country Link
US (1) US8751471B2 (ja)
JP (1) JP4609509B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844195A (en) * 1996-11-18 1998-12-01 Applied Materials, Inc. Remote plasma source
JP5927863B2 (ja) * 2011-11-24 2016-06-01 ブラザー工業株式会社 機能実行装置及びサーバ
US9106757B2 (en) 2013-03-26 2015-08-11 Lg Uplus Corp. Terminal, server, and method for actively providing information based on communication contents
JP6418820B2 (ja) * 2014-07-07 2018-11-07 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
JP6379931B2 (ja) 2014-09-29 2018-08-29 ブラザー工業株式会社 機能実行装置及び画面情報サーバ
KR101789173B1 (ko) * 2015-04-17 2017-10-25 주식회사 바로서비스 음성키워드 기반의 다기능 서비스 시스템
WO2017074091A1 (ko) * 2015-10-30 2017-05-04 주식회사 바로서비스 음성키워드 기반의 다기능 서비스 시스템

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6327898A (ja) * 1986-07-22 1988-02-05 松下電器産業株式会社 キ−ワ−ド入力方法
JPH07303143A (ja) * 1994-05-10 1995-11-14 Nec Corp 音声情報案内装置及びそこにおける情報インデックス登録方法
JPH11275214A (ja) * 1998-03-26 1999-10-08 Oki Electric Ind Co Ltd 留守番電話装置
JP2000078530A (ja) * 1998-08-28 2000-03-14 Nec Corp 情報記録装置および情報記録方法、並びに記録媒体
JP2002077412A (ja) * 2000-08-30 2002-03-15 Hitachi Electronics Service Co Ltd 受付電話内容録音検索再生システム及び記録媒体
JP2002135430A (ja) * 2000-10-26 2002-05-10 Fujitsu Ltd 電話受付を行うコールセンタシステム
JP2002183169A (ja) * 2000-12-11 2002-06-28 Casio Comput Co Ltd 情報登録装置、及び記録媒体
JP2002199128A (ja) * 2000-12-22 2002-07-12 Sogo Keibi Hosho Co Ltd 迷惑電話監視システム、迷惑電話監視方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005012339A (ja) * 2003-06-17 2005-01-13 Brainyworks Ltd 通話録音システム
JP2007286701A (ja) * 2006-04-12 2007-11-01 Fumio Kobayashi 電子ショッピングモールシステム及び電子ショッピングモールシステム用コンピュータ装置
JP2008021051A (ja) * 2006-07-12 2008-01-31 Sony Corp 情報処理装置および情報処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63137326A (ja) 1986-11-28 1988-06-09 Matsushita Electric Ind Co Ltd 情報フアイリング装置
JP3307175B2 (ja) 1995-08-01 2002-07-24 松下電器産業株式会社 音声蓄積装置
JP2004304601A (ja) * 2003-03-31 2004-10-28 Toshiba Corp Tv電話装置、tv電話装置のデータ送受信方法
JP4218758B2 (ja) * 2004-12-21 2009-02-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 字幕生成装置、字幕生成方法、及びプログラム
JP4734191B2 (ja) * 2006-07-31 2011-07-27 富士通株式会社 オペレータ支援プログラム、オペレータ支援装置およびオペレータ支援方法
KR101367722B1 (ko) * 2006-12-13 2014-02-27 삼성전자주식회사 휴대단말기의 통화 서비스 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6327898A (ja) * 1986-07-22 1988-02-05 松下電器産業株式会社 キ−ワ−ド入力方法
JPH07303143A (ja) * 1994-05-10 1995-11-14 Nec Corp 音声情報案内装置及びそこにおける情報インデックス登録方法
JPH11275214A (ja) * 1998-03-26 1999-10-08 Oki Electric Ind Co Ltd 留守番電話装置
JP2000078530A (ja) * 1998-08-28 2000-03-14 Nec Corp 情報記録装置および情報記録方法、並びに記録媒体
JP2002077412A (ja) * 2000-08-30 2002-03-15 Hitachi Electronics Service Co Ltd 受付電話内容録音検索再生システム及び記録媒体
JP2002135430A (ja) * 2000-10-26 2002-05-10 Fujitsu Ltd 電話受付を行うコールセンタシステム
JP2002183169A (ja) * 2000-12-11 2002-06-28 Casio Comput Co Ltd 情報登録装置、及び記録媒体
JP2002199128A (ja) * 2000-12-22 2002-07-12 Sogo Keibi Hosho Co Ltd 迷惑電話監視システム、迷惑電話監視方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005012339A (ja) * 2003-06-17 2005-01-13 Brainyworks Ltd 通話録音システム
JP2007286701A (ja) * 2006-04-12 2007-11-01 Fumio Kobayashi 電子ショッピングモールシステム及び電子ショッピングモールシステム用コンピュータ装置
JP2008021051A (ja) * 2006-07-12 2008-01-31 Sony Corp 情報処理装置および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20090240673A1 (en) 2009-09-24
US8751471B2 (en) 2014-06-10
JP2009232016A (ja) 2009-10-08

Similar Documents

Publication Publication Date Title
JP4609509B2 (ja) 情報処理システム
KR100838950B1 (ko) 이동 전화 시스템의 멀티미디어 데이터 및 관련 주석데이터의 저장 및 검색
JP4535118B2 (ja) 通信装置及び通信先情報管理プログラム
JP3654797B2 (ja) 伝言システム及び伝言装置
US8615395B2 (en) Generating a display screen in response to detecting keywords in speech
KR101203248B1 (ko) 네트워크 시스템, 통신 단말기, 통신 방법 및 통신 프로그램을 기록한 컴퓨터 판독가능 기록매체
JP2009194577A (ja) 画像形成装置、音声案内方法及び音声案内プログラム
JP2007082238A (ja) 個人情報端末とインタフェースを取る方法及び通信機器
US8577721B2 (en) Communication device and network communication system
JP4626662B2 (ja) データ保存装置及びコンピュータプログラム
JP4692562B2 (ja) 情報処理装置、及び、コンテンツ管理用プログラム
JP7139937B2 (ja) 音声処理システム、ジョブ生成装置、ジョブ生成方法およびジョブ生成プログラム
JPH02222356A (ja) マルチメディア通信方法
JP2015012463A (ja) 情報処理装置、特定用語通知方法、プログラム、特定用語通知システム、および端末装置
JP2011090566A (ja) 音声情報検索システム及び音声情報検索方法
JP2010147964A (ja) 情報処理装置、情報処理装置の制御方法、情報処理システム、プログラム及び記憶媒体
JP2003309604A (ja) 画像送信方法および画像送信装置
JP7379938B2 (ja) 処理装置、処理プログラム、及び処理方法
JP3973824B2 (ja) 撮像システム、サーバシステム、及び通信システム
JP7400945B2 (ja) サーバ、特定システム、特定方法及び特定プログラム
JP2004206452A (ja) 通訳仲介サービスシステムおよび通訳サービス提供方法
JPH10285286A (ja) 情報処理装置及び記憶媒体
JP2001285564A (ja) 通信メディア統合装置における発信者id抽出方法
JPH0823345A (ja) マルチメディア欠落情報補完メール方法及びマルチメディア欠落情報補完メール装置
WO2011114959A1 (ja) 端末装置、画像通信システムおよび処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4609509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees