JP3729443B2 - 音声を用いた操作支援システム - Google Patents
音声を用いた操作支援システム Download PDFInfo
- Publication number
- JP3729443B2 JP3729443B2 JP2001108692A JP2001108692A JP3729443B2 JP 3729443 B2 JP3729443 B2 JP 3729443B2 JP 2001108692 A JP2001108692 A JP 2001108692A JP 2001108692 A JP2001108692 A JP 2001108692A JP 3729443 B2 JP3729443 B2 JP 3729443B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- data
- support
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して音声を送信することで、電気装置等のユーザによる操作を支援する操作支援システムに関する。
【０００２】
【従来の技術】
技術の高度化に伴い、家電製品や情報装置、ならびに、産業装置は多種多用な機能を備えたものが開発されている。ここで、これらの操作装置を利用するユーザは、操作装置に附属されている紙媒体に印刷された操作マニュアルや、操作装置に内蔵されたガイド機能を駆使して操作方法を習得することで、操作装置の操作を行っていた。
ここで、操作マニュアルは、索引を設けたり、見出しをつけることでユーザが当該操作装置の操作方法を理解しやすくなるような工夫がなされており、ガイド機能は、前記の操作マニュアルを紙媒体から電子的なものに置き換えたものであり、操作装置に設けられた画面上での検索や、説明文の表示を可能にしたものである。
【０００３】
このようなガイド機能の一例としては、特開平１０−１５４１８１号公報の支援方法があげられる。
この支援方法は、機器を特定する識別子と故障を示す識別記号を含むメッセージをメール装置に送信する。そして、メール装置が管理サーバにアクセスして対応するメンテナンス情報サーバのアドレスを取得する。さらに、メール装置が取得したアドレスにアクセスし、対応する説明情報を取得し、メールとして蓄積するものである。ユーザは、メール装置が取得した説明情報を読む等することにより必要な措置を講じる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような支援方法は、一つの説明情報を得るためにメール装置と各種サーバとのデータの授受を複数回行う必要があるため、迅速な対応ができなかった。また、この支援方法では、そもそもメール装置の初期設定を自力で行わなければならないという問題点を有しており、初心者であっても簡単に、かつ、確実に支援を受けることができる、ユーザフレンドリな支援手段の開発が望まれていた。
また、説明情報を機器ごとに作成すると、メンテナンス情報サーバに蓄積しなければならない情報量は膨大なものとなる。これは、高価な大容量のメモリや、それに伴う制御手段が必要となるため、操作装置の大型化や、高価格化の原因となっていた。特に音声によって操作の支援を行う場合は、メモリの容量の問題から限られた機能のみのサポートに留まっていた。
そして、ユーザフレンドリという観点からは、分かりやすく、親しみやすい音声による操作支援の開発が望まれていた。
従って、本発明の解決しようとする課題は、多種多様な機能を有する操作装置であっても、ユーザに負担をかけずに、簡単にその操作を行うことができるようにすることである。また、ユーザの好みに合わせた表現の音声で操作支援を行うようにすることである。
【０００５】
【課題を解決するための手段】
前記の課題を解決する本発明の請求項１に係る発明は、ユーザの操作を音声で支援するための支援音声を、複数種類の表現について蓄積した記憶手段と、ユーザが行った操作に対応する操作データに基づいて、ユーザにより選択された表現に基づく支援音声からなる音声データを検索する検索手段と、ネットワークを介して操作データを受信し、かつ、音声データを送信するための通信手段と、前記記憶手段が音声データの使用頻度を記録する使用頻度データベースとを備え、前記使用頻度データベースに記録された音声データの一定期間内における利用回数に基づいて、前記使用頻度データベースの音声データを変更する音声を用いた操作支援とした。
【０００６】
このような構成とすると、ネットワークを介して、ユーザが操作しようとする操作装置の操作の支援を行うことが可能となる。特に、大容量の記憶手段に多数の音声データを蓄積することで、ユーザに対して的確な操作支援を行うことが可能となり、高性能のサーバ等を用いることにより迅速な支援を行うことが可能となる。また、複数種類の表現を蓄積することで、ユーザの嗜好に合った支援を提供することができる。なお、「複数種類の表現」とは、語尾や、イントネーションまたは方言、言い回しや、音声を吹き込む人物の違い等により生じる表現のバリエーションが複数あることを言うものとする。また、ユーザからアナウンサーの音声を選択した場合の操作データを取得した際に、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントする。そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更する。
【０００７】
さらに、本発明の請求項２に係る発明は、請求項１に記載の音声を用いた操作支援システムであって、検索手段は、操作データと、ユーザが操作する操作装置の情報である装置データ、ならびに、音声表現の種類に関するデータとから前記音声データを検索することとした。
【０００８】
このような構成にすると、一つの操作に対して、表現の異なる音声で支援を行うことが可能となるので、ユーザに対してきめの細かい操作支援を行うことが可能となる。また、複数種類の表現からなる音声を取り扱うことで、記憶手段に蓄積された音声データの量が膨大になっても、操作データ、装置データ、ならびに音声表現の種類の関するデータから特定の音声データを検索する構成としたので、検索処理を効率良く行うことができる。
【０００９】
また、本発明の請求項３に係る発明は、請求項２に記載の音声を用いた操作支援システムにおいて、操作装置の操作手順を記憶する装置データベースを備え、検索手段は、装置データと操作データに基づいて、ユーザが行うべき操作を装置データベースから検索できる構成とした。
【００１０】
このような構成にすると、検索手段により装置データベースに記憶された操作を検索することが可能となるので、ユーザ側から送られてきた操作データと、操作データベースに記憶された操作とが一致するか否かの判定（正誤判定）を行うことが可能となり、操作支援を充実させることができる。また、この装置データベースにおいて、操作データと音声データとを関連づけておくと、音声データの検索を効率的に行うことが可能となる。
【００１１】
さらに、本発明の請求項４に係る発明は、請求項３に記載の音声を用いた操作支援システムにおいて、ユーザが行った操作の履歴を管理するための履歴管理手段と、履歴管理手段により作成される履歴を蓄積する履歴データベースを備える構成とした。
【００１２】
このような構成にすると、ユーザの行った操作の履歴を管理することができる。この履歴は、前記したユーザの操作の正誤判定や、ユーザ側から同一内容の音声データを再送するように要求された場合に活用することができるので、操作支援をより充実させることができる。
【００１３】
また、本発明の請求項５に係る発明は、音声を用いた操作支援システムであって、ユーザの操作に基づく情報を操作データとして取得する取得部と、取得した前記操作データを含む操作情報ファイルを作成するファイル作成手段と、前記操作情報ファイルに基づいて次に前記ユーザがなすべき操作を支援する支援音声を支援情報ファイルとしてネットワークを介して取得するネットワーク制御部と、前記支援音声の表現を複数の音声サンプルから選択する選択手段と、前記選択手段により前記ユーザが選択した前記音声サンプルを、選択頻度に応じて変更する変更手段と、を備える構成とした。
【００１４】
このような構成にすることで、ユーザは音声による操作の支援をネットワークを介して受けることが可能になる。従って、複雑な操作装置であっても簡単に、かつ、正確に操作を行うことが可能となる。また、これにより操作装置の高機能化に伴って、従来、膨大な量となっていた紙媒体のマニュアルや、操作装置内のメモリに記憶させていた操作情報を操作装置側に用意する必要がほとんど無くなるので、操作装置の構成の簡略化や、低価格化を図ることができる。また、自己が受ける支援における音声の表現を選択可能にすることで、ユーザの好みに合せた支援を与えることが可能となる。そして、ユーザが選択可能な支援音声を定期的に更新する場合に、ユーザの操作装置のメモリに記憶されている音声サンプルを変更手段で更新することで、ユーザが選択可能な支援音声を知らしめるものである。なお、ここでの「表現」は、語尾や、イントネーションまたは方言、言い回しの違いや、音声を吹き込む人物の違い等により生じるバリエーションを言うものとする。
【００１５】
さらに、本発明の請求項６に係る発明は、請求項５に記載の音声を用いた操作支援システムにおいて、ユーザが、音声による支援の有無を選択する支援選択部と、操作データを操作した順番に記憶する操作データ記憶部を有し、ファイル作成手段は、ユーザが音声による支援を要請した際に、操作データ記憶部に記憶されている操作データを操作情報ファイルに添付する構成にした。
このような構成にすることで、操作の初期段階や、操作の途中において、ユーザが音声による操作支援の有無を選択できる。そして、音声による支援を受けていない間の操作履歴を操作データ記憶部に記憶しておくこで、この間の操作に不都合があった場合であっても、適切な音声支援を受けることができる。
【００１６】
また、本発明の請求項７に係る発明は、音声を用いた操作支援システムであって、ユーザの操作を支援する支援音声の表現を複数の音声サンプルから選択する選択手段と、選択された前記音声サンプルに対応する音声データをネットワークを介して取得するネットワーク制御部と、音声データから再生した支援音声によるユーザの操作を操作データとして取得する取得部と、前記ユーザが選択可能な前記音声サンプルを、選択頻度に応じて変更する変更手段とを備えた構成にした。
【００１７】
この音声を用いた操作支援システムは、ユーザが実際の音声である、音声サンプルを聞きながら支援音声の選択ができるようにするものである。なお、「表現」とは、語尾や、イントネーションまたは方言、言い回しの違いや、音声を吹き込む人物の違い等により生じるバリエーションであり、音声サンプルに対応する音声データとは、音声サンプルと同じ表現からなる支援音声を含むデータである。そして、ユーザが選択可能な支援音声を定期的に更新する場合に、ユーザの操作装置のメモリに記憶されている音声サンプルを変更手段で更新することで、ユーザが選択可能な支援音声を知らしめるものである。
【００２０】
【発明の実施の形態】
本発明の第一の実施の形態を図面を参照して詳細に説明する。
図１に示すように、本実施の形態における操作支援システムは、サーバ１を有し、サーバ１は、ネットワーク２を介して支援装置３を備えた家電製品等の操作装置４に接続可能に構成されている。なお、ネットワーク２とは、インターネットや、一般電話、または、ケーブルテレビ等の回線を意味するものとする。
【００２１】
ここで、操作支援システムに使用される支援装置３を備えた操作装置４は、電気回路等からなる装置制御部１１と、操作部１２、ならびに、操作装置４の固有の機能を発現するための固有部１３とを有している。固有部１３は、操作装置４がビデオであれば録再生ヘッド、カセットのローディング機構等が該当する。また、操作装置４は、家電であれば、テレビ、ビデオ、電子レンジ等であり、情報装置であれば、パーソナルコンピュータ、ＰＤＡ（Personal Data Assistant）等、産業機械であれば、ＮＣ（Number Control）加工機や半導体処理装置等があげられる。さらに、操作装置４は、湯沸し器等の任意の電気・電子的、または機械的に動作する装置とすることができる。
【００２２】
次に、支援装置３について説明する。
支援装置３は、操作装置４の装置制御部１１と電気信号の授受を可能にする取得部であるインターフェイス１４と、支援装置３の制御をする支援制御部１５と、メモリ等の記録装置１６と、ネットワーク２に接続するためのモデム等からなるネットワーク制御部１７、ネットワーク２を介して取得した音声データを再生するためのアンプおよびスピーカを備えた音声再生部１８、ならびに、支援を受ける音声を発音するアナウンサーの選択を行う選択手段２２を有している。この音声再生部１８は、ネットワーク２を介して取得した音声データをリアルタイムで、かつ、操作装置４の傍で再生するものであるので、ユーザは、操作装置４の近くで実際の支援音声を聞きながら、操作できるようになる。また、音声再生部１８は必須の構成要素ではなく、例えば操作装置４がテレビ装置の場合等、操作装置４自体が音声再生手段を有している場合には、音声再生部１８を備えない支援装置３とすることもできる。
なお、支援装置３は、操作装置４と一体として取り扱うこともできるが、支援装置３を取り外し自在に構成することも可能である。また、支援装置３を操作装置４とは独立なＰＣ（Personal Computer）等の既存のコンピュータとし、操作装置４の操作データをケーブルを通してコンピュータに取り込むように構成することも可能である。
【００２３】
支援装置３のインターフェイス１４は、ユーザが操作装置４の操作部１２を操作した際に、操作部１２から操作装置４の装置制御部１１に送られた操作信号を操作データとして取得するためのもので、操作装置４側に設けられた接続ポートに接続されている。
また、支援制御部１５は、ＣＰＵ（Central Processing Unit）、メモリや所定の電気・電子回路を有しており、ＣＰＵやメモリに所定のプログラムが展開されることで各種の処理が行われる。本実施の形態において、支援制御部１５は、ユーザの操作をネットワーク２を介してサーバ１に伝えるために操作情報ファイルを作成するファイル作成手段１９と、ユーザがなすべき操作に対する情報が含まれている支援情報ファイルから音声データを抽出して音声再生部１８に音声信号を出力する音声信号作成手段２０として機能する。
【００２４】
支援制御部１５のファイル作成手段１９は、インターフェイス１４から取得した操作データに、操作装置４の情報である装置データ、および、通信プロトコルやサーバ１のアドレスをヘッダファイルとして付加して操作情報ファイルを作成する。
また、支援制御部１５の音声信号作成手段２０は、ネットワーク制御部１７において受信したサーバ１からの支援情報ファイルから、音声データを抽出し、例えば、Ｄ／Ａ（Digital/Analog）コンバータで音声データをデジタル信号からアナログ信号に変換する。なお、音声再生部１８が、デジタルデータに対応可能な場合はＤ／Ａコンバータは所有しなくても良い。
【００２５】
支援装置３の選択手段２２は、あからじめ図示しないメモリや記憶装置１６に蓄積された音声サンプルを音声再生部１８で再生し、ユーザが支援音声を発音するアナウンサーの種類を決定する場合に用いるものである。ここで、音声サンプルとは、そのアナウンサーが行った簡単な挨拶等のデータである。選択手段２２は所定の回路やボタン、必要に応じて液晶等の表示手段から構成される。なお、音声サンプルは、特定のアナウンサーの音声の使用頻度や、管理者側の設定変更により選択可能なアナウンサーが変更された場合には変更される。この変更は、支援制御部が変更手段として機能することにより行われる。
【００２６】
次にサーバ１について説明する。
サーバ１は、支援装置３から送信される情報を受信する通信インターフェイスを有する通信手段５と、通信手段５で受信した情報を処理する処理部６と、処理部６からのアクセスが可能に構成された記憶手段７とを有している。さらに、サーバ１は、ディスプレイ等の表示手段８、キーボード等の操作手段９、プリンタ等の出力手段１０、ならびに、所定の記録媒体に書き込み等を行うための外部記録装置（不図示）を備えることも可能である。また、必要に応じてＬＡＮ（Local Area Network）に接続可能な構成とすることもできる。
【００２７】
ここで、サーバ１の記憶手段７は、操作装置４の操作手順を記録した装置データベース２５と、操作装置４の操作を支援するための音声データを保管する音声データベース２６と、操作装置４の情報を記録する履歴データベース２７、ならびに、ユーザの情報を記録するユーザデータベース２８とを有している。
【００２８】
装置データベース２５は、操作装置４ごとに、支援装置３から送信される操作データおよび対応する音声の分類を示す型番号、ならびに、その操作装置４において次に行われるべき操作が記録されている。装置データベース２５は、例えば図２に示すような構成を有しており、ビデオに対して時刻設定を行う場合は、装置データがＭ００１であり、操作データがＰ１０２となるので、これらを条件として装置データベース２５を検索することで、対応する音声データの型番号がＶ０１２であり、次に行うべき操作がＰ２１１であるという結果を得ることができる。なお、図２には示していないが、装置データベース２５において、一つの操作に対する次の操作が複数に分岐する場合がある。このような場合は、ユーザがそれまでに行った操作履歴を勘案して正しい操作を検索する。
【００２９】
また、音声データベース２６は、操作装置４の操作を支援するための音声データが蓄積されている。ここで、音声データは、ユーザが行う操作手順の説明を音声で入力したものであり、本実施の形態において音声データベース２６は、図３に示すように、一つの音声データの型番号（Ｖ００１）に対して、バリエーションとして、複数のアナウンサーが入力した複数の音声データＡ００１、Ａ００２・・・を保管している。音声データベース２６は、装置データベース２５により特定された音声データの型番号がＶ０１２で、ユーザが選択したアナウンサーの選択に関する情報であるアナウンサーデータがＡ００１である場合は、支援装置３に送信すべき音声データとしてＶ０１２Ａ１の「時刻設定ボタンを押してください」が選択されることになる。なお、このアナウンサーの音声の選択は、後述する処理によりユーザ側で設定することが可能であり、アナウンサーの選択が、特許請求の範囲の音声の表現の選択に該当し、アナウンサーデータが「音声の表現に関するデータ」に相当する。
【００３０】
さらに、履歴データベース２７は、ユーザが行った操作の履歴を一次的に蓄積しておくためのものであり、ユーザが誤った操作を行ったり、ユーザが支援装置３で再生した音声を聞き取れなかった場合に、支援装置３にすでに送信した音声データを再度送信する際に参照することができる。履歴データベース２７の構造としては、例えば、ユーザデータを識別子として、支援装置３から送信されてきた操作データを時系列に配列したテーブルなどがあげられる。
そして、ユーザデータベース２８は、操作支援システムを利用するユーザに関する情報が記録されており、ユーザに対してサービス利用料を請求したり、システムに関連する情報を提供する際に用いられる。
【００３１】
また、サーバ１の処理部６は、ＣＰＵ（Central Processing Unit）、メモリや電気・電子回路を有しており、ＣＰＵやメモリに所定のプログラムが展開されることで各種の処理が可能となる。本実施の形態において、処理部６は、受信した操作情報ファイルから操作データおよび装置データ、ならびに、アナウンサーデータを抽出する抽出手段３１と、抽出した操作データおよび装置データ、ならびに、アナウンサーデータをアドレスとして支援用の音声データを取得する検索手段３２と、検索手段３２で取得した音声データに通信プロトコルや操作装置４に付与されているアドレスに関するヘッダファイルを付加して支援情報ファイルを作成する編集手段３３と、前記の履歴データベース２２に履歴データを書き込んだり、履歴を調べたりする履歴管理手段３４として機能する。なお、各手段３１〜３４による処理の詳細については、後の処理手順において説明する。
【００３２】
ここで、特定のアナウンサーの音声を使用頻度に応じて、音声データを変更する場合について説明する。この場合は、サーバ１は記憶手段７に使用頻度データベースに設けることが望ましい。使用頻度データベースとは、音声データを入力したアナウンサーと、そのアナウンサーの音声データをユーザが利用した回数（利用回数）を記録するものである。サーバ１は、ユーザからアナウンサーの音声を選択した場合の操作データを取得した際に、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントする。そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更する。これにより、ユーザに人気のあるアナウンサーの音声データのみが残る。新しいアナウンサーの音声サンプルは、音声サンプルデータ（音声データ）として各支援装置３に送信され、前記の変更手段により、使用できなくなったアナウンサーの音声サンプルと交換される。なお、ここにおいて、検索手段３２は、使用頻度データベースから利用回数の少ないアナウンサーや、利用回数の多いアナウンサーを検索するための手段としても働く。
【００３３】
次に、ユーザが操作装置４を操作する場合に行われる音声により操作の支援について図４のフローチャートを用いて説明する。なお、理解を容易にするため、ビデオの初期設定をする場合を例にして説明する。また、支援装置３は、通信ケーブルによりネットワーク２に接続可能な状態になっているものとする。
まず、ユーザが、ビデオおよび支援装置３の電源を入れると、支援装置３は自動的にネットワーク２に接続する（ステップＳ１）。
次にステップＳ２に進むが、この段階ではアナウンサーの設定が行われていないので、支援装置３は記憶装置１６に予めメモリされている音声データを再生して、ユーザに対してアナウンサーの設定を行うように促す。このとき、ユーザが設定（選択）可能なアナウンサーの音声を音声サンプルとしてメモリに蓄積しておくと、ユーザはサンプル音声を聞きながら、アナウンサーの設定を行うことができる。
【００３４】
そして、ユーザが選択手段２２によりアナウンサーの設定を行うと、支援装置３が、アナウンサーの設定を操作データとする操作情報ファイルを作成し、サーバ１から対応する音声データを取得する。この間の処理の詳細は、図５を用いて後に説明する。
そして、ステップＳ３において、「初期設定を始めましょう」や「時刻設定ボタンを押してください」という音声（支援音声）が支援装置３の音声再生部１８から出力される。
【００３５】
ユーザは、この支援音声を聞き取り、操作を確認する（ステップＳ４）。ユーザが支援音声、例えば「時刻設定ボタンを押してください」を聞き、次に行うべき操作を認識できた場合は、ステップＳ５に進み、認識できない場合はリピートボタンを押して、認識できるまで支援音声を聞き返す。なお、ステップＳ４の処理の詳細は、図６を用いて後に説明する。
そして、ステップＳ５において、ユーザが実際にビデオの時刻設定ボタンを押すと、支援装置３のファイル作成手段１９が時刻設定ボタンを押す操作を操作データとする操作情報ファイルを作成し、サーバ１に送信する。そして、サーバ１は、次にビデオの設定時刻を現在の時刻に合わせる処理を行う必要がある旨の支援情報ファイルを送信するので、ステップＳ６からステップＳ３に戻り、支援装置３が、ビデオの設定時刻を現在の時刻に合わせる操作を指示する支援音声を再生するので、ユーザは、ステップＳ４の操作の確認を経て、ステップＳ５において時刻ボタンを所定回数押して、ビデオの設定時刻を現在の時刻に合わせる。
さらに、支援音声を聞きながら、「分の設定」、「チャンネルの設定」等を行い、すべての初期設定が終了したら、サーバ１から初期設定の終了を示す支援情報ファイルが送信されるので、ステップＳ６からステップＳ７に進み、支援装置３がネットワーク２の接続を切断して、すべての処理が終了する。
【００３６】
このような操作支援システムを用いることにより、ユーザは、操作が複雑な操作装置４であっても、ストレスを感じることなく、確実に操作することが可能となる。特に、音声データの保管や、各種データの処理のほとんどをサーバ１側で行うことにより、支援装置３および操作装置４に高性能なＣＰＵや、大容量の記憶装置を必要としない。従って、支援装置３および操作装置４の小型化や、低価格化を図ることができる。
【００３７】
なお、アナウンサーの設定は、操作の最初に限定されずに、任意の段階で、複数回行うこともできる。この場合は、ユーザが最初にアナウンサーの設定をするまでは、初期設定のアナウンサーの音声により操作の支援が行われる。また、初期設定の操作時に限定されずに、通常の使用時にも、ユーザは必要に応じて支援音声を聞きながら操作を行うことができる。この場合は、必要に応じてユーザが支援装置３の電源を入れるように構成するか、支援装置３もしくは操作装置４に支援要求ボタン等を設けることにより音声による操作支援モードと音声による支援を受けないで操作するモードとを切り替え可能に構成することが好ましい。
【００３８】
ここで、ステップＳ２のアナウンサーの設定において、支援装置３とサーバ１がそれぞれ行う処理について図２、図３、および、図５のフローチャートを用いて以下に説明する。なお、ステップＳ５の操作装置４の操作も同様な処理であるため、その詳細な説明は省略する。
図５に示すように、ステップＳ２において、ユーザによりアナウンサーが設定されると、支援装置３は、ステップＳ２１として、支援処理部１５のファイル作成手段１９により操作情報ファイルを作成する。なお、このときの操作データはＰ１０１（図２参照）、アナウンサーデータはＡ００１（図３参照）とする。
ファイル作成手段１９が操作情報ファイルを作成したら、ステップＳ２２に進み、支援装置３が操作情報ファイルをネットワーク制御部１７からサーバ１に送信する。
【００３９】
ここで、サーバ１は、この操作情報ファイルを通信手段５によって受信し（ステップＳ２３）、ステップＳ２４として、抽出手段３１が、操作情報ファイルから装置データＭ００１（図２参照）、アナウンサーデータＡ００１（図３参照）、および、操作データＰ１０１をそれぞれ抽出する。
次に、ステップＳ２５として、サーバ１は操作の判定（正誤判定）を行う。操作の判定とは、検索手段３２が装置データＭ００１および操作データＰ１０１を装置データベース２５内に記憶されている操作手順と照らし合わせて、必要であれば履歴データベース２７に記録されたユーザの操作履歴を参照しながら、ユーザの行った操作が正しいか否かを判断することをいう。この場合は、アナウンサーの設定であるため、ユーザの操作は正しいとして次のステップに進むが、例えば、時刻設定ボタンを押すべきところに、チャンネル設定ボタンが押された場合は、図２に示すように、時刻設定ボタンの操作データＰ２１１とチャンネル設定の操作データＰ１０３とが異なるので、ユーザの操作ミスと判定する。なお、装置データベース２５を検索した結果、装置データに対応する操作データが存在しない場合もユーザの操作ミスと判定する。
【００４０】
そして、ステップＳ２６として、この装置データＭ００１および操作データＰ１０１に基づいて決定した音声データの型番号Ｖ００１と、アナウンサーデータＡ００１から音声データベース２６を検索して、該当する音声データＶ００１Ａ１を取得し（図３参照）、編集手段３３によりヘッダファイルを付加して、支援情報ファイルを作成する。さらに、ステップＳ２７において、この支援情報ファイルが支援装置３に向けて送信される。
【００４１】
サーバ１から送信された支援情報ファイルが支援装置３に受信されると（ステップＳ２８）、ステップＳ２９において、音声信号作成手段２０が支援情報ファイルから音声データＶ００１Ａ１を抽出し、この音声データＶ００１Ａ１をスピーカから出力できるようにデータ処理を行う。この後は、図２に示すステップＳ３に進み、音声による操作支援、つまり、支援音声が再生される。ここで、支援装置３は、取得した音声データＶ００１Ａ１を記憶装置１６の蓄積データファイル２２に一時的に蓄積することも可能である。
【００４２】
なお、ステップＳ２５の操作の判定において、操作が正しくないと判断された場合は、編集手段３３に再度、前回の支援情報ファイルと同内容の支援情報ファイルを送信するように指示する。そして、編集手段３３が必要に応じて履歴データを参照しつつ、同じ内容の支援情報ファイルを作成し、支援装置３に送信する。なお、操作の判定は、支援装置３内にて行うことも可能であるが、支援装置３の構成を簡略化するためには、サーバ１において操作の判定をすることが望ましい。
【００４３】
次に、ステップＳ４の操作の確認において支援装置３が行う処理について図６を用いて説明する。
ステップＳ４の操作の確認とは、支援装置３がステップＳ３１として、ユーザからリピート要求がされているか否かを判断することをいう。つまり、ユーザが次に行うべき操作を認識できた場合は、リピート要求がされない（Ｎｏ）ので、そのまま、この処理を終了して、図２のステップＳ５に進む。一方、ユーザが次に行うべき操作を認識できない場合は、ユーザがリピートボタンを押す（Ｙｅｓ）ので、ステップＳ３２に進み、支援制御部１５において、リピート再生すべき音声データが記憶装置１６の蓄積データファイル２１に蓄積されている蓄積データの中にあるか否かを判断する。リピート再生する音声データを蓄積データとして保有していた場合（Ｙｅｓ）は、ステップＳ３３において、蓄積データファイル２１からリピート再生する音声データを取得し、ステップＳ３５に進む。一方、ステップＳ３２において、再生すべき音声データを蓄積データとして保有していない場合（Ｎｏ）は、ステップＳ３４に進み、図５のフローチャートに示す手順に従って、サーバ１から該当する音声データを取得する。ここで、サーバ１に送信される操作情報ファイルには、リピート要求が操作データとして添付され、サーバ１は、履歴データベース２７を検索して、前回の操作データを取得し、これに基づく支援情報ファイルを作成する。
そして、ステップＳ３５でこの音声データに基づく支援音声を再生すると共に、ステップＳ３１に戻り、ユーザからの再度のリピート要求がなければ、この処理を終了し、ユーザから再度のリピート要求があれば、前記のステップＳ３１からステップＳ３５までを適宜繰り返す。
【００４４】
このように、本実施の形態の操作支援システムは、音声を用いてユーザの操作を支援することができる。特に、従来の操作支援システムは、操作支援システム自体の設定を行ったり、操作支援システム自体の操作を習得する必要があったのに対して、操作支援システムを初めて使うユーザや、初めて使う操作装置４でも支援音声を簡単に得ることができるという利点を有する。なお、操作装置４と支援装置３の接続は、操作装置４と一体または事実上一体として取り扱われる支援装置３を操作装置４と同時に購入することで、機器に不慣れなユーザであっても労なく操作支援システムを利用することができる。
また、多種多用な機種であっても、サーバ１側で操作支援に用いる音声を類型化し、その検索に図２および図３に示す二つのテーブル（データベース）を用いることで、必要な音声データを迅速に探し出してユーザに送信する。従って、ユーザはほぼ、リアルタイムで、ストレスを感じることなく、音声支援を受けることができる。これは、サーバ１にとっても、音声データの数を減らすことで記憶手段７の容量を減らすことができ、新型の操作装置４のサポートも確実に行うことができる。
そして、サーバ１の履歴管理手段３４が、ユーザの操作履歴を管理して音声データの再送を容易にすることや、ユーザの行った操作の正誤判定を行い、再操作を促す等は、さらにユーザフレンドリな操作支援システムを実現するものである。
【００４５】
次に、操作支援システムの第二の実施の形態を図７を用いて説明する。なお、図１と同一の構成要素については同一の符号を付して、その説明を省略する。
【００４６】
操作支援システムは、サーバ５１を有し、サーバ５１は、ネットワーク２を介して支援装置５３を備えた操作装置５４に接続可能に構成されている。
ここで、支援装置５３は、補助データ取得手段５５を備えている。この補助データ取得手段５５は、ビデオカメラや温度センサ等から構成され、例えば、操作装置５４が電子レンジで、補助データ取得手段５５がビデオカメラの場合は、電子レンジ内の状態や、調理材料の画像をビデオカメラで取得して、操作データに補助データとして画像データを加えた操作情報ファイルをファイル作成手段１９により作成し、サーバ５１に送信することで、その画像も考慮した支援情報をサーバ５１から入手することが可能となる。
また、この場合のサーバ５１は、処理部６に補助データ処理手段３５を備え、さらに、記憶手段７には補助データベース２９を有している。補助データ処理手段３５は、例えば画像データの画像処理を行ったり、画像データを補助データベース２９に蓄積されている画像情報と比較したりするもので、画像データをもとにして、「調理時間が長すぎる」等の判断を下すことが可能となる。
【００４７】
また、操作装置５４が湯沸し器で、補助データ取得手段５５が温度センサである場合は、ファイル作成手段１９は、温度センサで取得したお湯の温度を温度データとして含む操作情報ファイルを作成する。また、サーバ５１の記憶手段７には、補助データベース２９として、その湯沸し器の温度プロファイルが記憶され、処理部６の補助データ処理手段３５は、温度センサで取得した温度データと補助データベース２９に記憶された温度プロファイルに基づく温度データとを比較して、両者の温度差が所定値以上である場合は、温度異常である旨の音声データを支援装置５３に送信する。
【００４８】
このように、操作情報ファイルに補助データ取得手段５５で取得した補助データを加えることで、サーバ５１が操作装置５４の状態、および、操作装置５４により処理される被処理物、例えば料理やお湯の状態をさらに詳細に把握することが可能となる。従って、ユーザの操作の支援を、さらに的確に行うことが可能となる。特に、画像認識等の高い処理能力が必要とされる処理をサーバ５１側で行うことにより、データの処理速度を向上させることが可能となる。
ここで、補助データ取得手段５５は、操作装置５４側に設けられていても良い。この場合は、補助データ所得手段５５からの補助データは、インターフェイス１４を介して支援制御部１５に入力されるように構成される。
【００４９】
さらに、本発明の第三の実施の形態について図面を参照して説明する。なお、図１と同一の構成要素については同一の符号を付して、その説明を省略する。
この操作支援システムは、ユーザが操作装置４を操作した際に支援装置６３が取得する操作データを記憶しておく操作データ記憶部６１を、支援装置６３の記憶装置１６に有している。この操作データ記憶部６１は、ユーザの行った操作のすべてについての操作データをインターフェイス１４を通して取得し、時系列で記憶するものである。
この操作データ記憶部１６に記憶されるデータは、ユーザが操作の途中から音声支援を受けようとする場合や、特定の操作に関する支援音声をスキップする際に用いられる。そして、支援装置６３には、音声による支援の必要の有無を選択する（スキップを含む）ための支援選択部６５が設けられている。なお、支援選択部６５は、ボタンや液晶パネル、所定の電気回路等から構成されている。
【００５０】
このような操作支援システムは、ユーザの操作の初期段階においては音声支援は行われない。ユーザは、操作装置４の操作がわからなくなり、支援選択部６５を操作した（ＯＮ）ときに、はじめて音声による支援を受けることが可能にある。
つまり、支援選択部６５が操作されたことをトリガーとして、支援制御部１５のファイル作成手段１９が操作情報ファイルを作成する。そして、作成した操作情報ファイルをサーバ１に送信し、必要な支援音声を与える音声データを取得する。
【００５１】
このときにサーバ１に送信される操作情報ファイルには、ユーザが支援選択部６５を操作するまでに支援装置６３の操作データ記憶部６１に記憶された操作データの一覧が添付される。
サーバ１の抽出手段３１は、受け取った操作データの一覧を、図９の右側に示す操作データテーブルとし、まず、操作装置４の番号であるＭ００１の装置データベース２５を検索する。そして、図９の左側に示す操作装置４の番号がＭ００１の装置データベース２５を読み出して、以降、ユーザの操作と、操作装置データベース２５に登録されている操作手順とを比較し、ユーザの操作ミスを探し出す。
【００５２】
まず、抽出手段３１が、操作データテーブルに格納されている操作データのうち、ユーザが最初に行った操作であるＰ１０１を抽出し、検索手段３２が、Ｐ１０１をアドレスとして、装置データベース２５を検索し、次の操作である操作データＰ１０２を得る。
次に、検索手段３２は、検索結果のＰ１０２と、操作データテーブルの２番目に格納されている操作データを比較し、ユーザの行った操作が正しいか否かを判定する。
図９においては、ユーザが行った２番目の操作はＰ１０２で、検索結果と等しい。従って、検索手段３２は、このＰ１０２をアドレスとして装置データベース２５を検索し、次の操作であるＰ２１１を得る。
このようにして得られたＰ２１１と、操作データテーブルの３番目の操作データＰ３１１を比較するが、両者は一致しないので、この段階でユーザが操作ミスをしたと判定する。そして、本来の操作であるＰ２１１の操作をするように促す支援音声をユーザ側の支援装置６３に送信する。一方、ユーザの操作が正しい場合は、次の操作に関する支援音声を含む支援データを送信する。
【００５３】
ユーザは、サーバ１から送信されてきた支援音声を聞いて正しい操作を行い、以降の支援が必要であれば、そのまま操作し、支援が不要であれば支援選択部６５をＯＦＦにしてファイル作成手段１９における操作情報ファイルの作成、送信を停止させる。
なお、操作情報ファイルの作成、送信をしない場合であっても操作データ記憶部６１に操作データが蓄積されるのは前記と同じである。また、このとき、操作データ記憶部６１は、間違った操作（図９の場合は、３番目の操作Ｐ３１１）を正しい操作データで上書きする。
【００５４】
なお、音声による支援を受けながら操作をしているユーザが、ある操作から別の操作までの所定の操作をする間、支援を必要としない場合、つまり、支援音声をスキップする場合は、支援を必要としなくなった際に、支援選択部６６をＯＦＦにし、必要となった際に支援選択部６６をＯＮにする。この際に、サーバ１は、音声による支援をスキップしていた間のユーザの操作を、前記と同様にして検索、正誤判定してから、ユーザが次になすべき操作に関する支援音声を送信する。
なお、どちらの場合であって、操作データテーブルが、ユーザの行った操作の全てを時系列に検索して判定するのは、一つの操作に対する次の操作が複数に分岐する場合であっても適切な処理を行うためである。
【００５５】
なお、本発明は、前記の各実施の形態に限定されることなく、広く応用することが可能である。例えば、第一の実施の形態の選択手段２２、変更手段を第二の実施の形態の支援装置３に設けることもできるし、使用頻度データベースおよび補助データベース２９を備えたサーバ１とすることもできる。さらに、第三の実施の形態で示した操作データ記憶部６１や、支援選択手段６５と、第二の実施の形態の補助データ取得手段５５を備えた支援装置３とすることもできる。
また、操作装置４，５４が情報装置、パソコンやＰＤＡの場合は、それぞれの初期設定、操作、および、ソフトのインストールや、ハードウエアの変更等の際にユーザが支援音声を聞きながら、確実にそれぞれの操作を行うことが可能となる。また、操作装置４，５４が工作機械の場合は、複雑な形状の加工や、特殊な材料の加工等の際にユーザは支援音声を聞きながら、適切な加工条件を選択することができる。
さらに、補助データ取得手段５５は、光センサや、ポテンショメータ、トルクセンサー等、操作装置５４の状態、および、被処理物の状態を把握するための情報を取得する手段であれば、任意のものを使用することができる。
【００５６】
また、第一の実施の形態において、音声サンプルは支援装置３側にある場合を説明したが、サーバ１が音声サンプルを蓄積するサンプルデータベースを持ち、支援装置３からの要求（ユーザからの要求）に応じて、音声サンプルデータを該当する支援装置３に送信する構成にしても良い。この場合は支援装置３のメモリを最小限に止めることができる。なお、変更により使用不可となったアナウンサーを選択していたユーザに対しては、変更の知らせを電子メールで送付したり、支援装置３や、操作装置４の操作画面にその旨を表示する等の措置を講じることが望ましい。
ここで、サーバ１から支援装置３に音声サンプルデータを送信する際には、ネットワーク２のトラフィック量が少ない時間帯、例えば、深夜や早朝を利用することが望ましい。音声サンプル数が多く音声サンプルデータの容量が大きくなる場合であってもスムーズに、かつ、経済的に音声サンプルデータを送信することができる。
そして、音声データベース２６は、音声を入力したアナウンサーの違いに加えて、語尾の違いや、イントネーションまたは方言、言い回しの違い等の様々なバリエーション（表現）からなる音声データを蓄積し、これらをユーザにより選択可能とすることもできる。また、この場合は、音声サンプルも音声データベース２６に蓄積されている音声データと同じ表現のものが用意され、支援装置３の選択手段２２は、これらの表現の異なる音声サンプルから支援音声を選択する手段として機能する。
【００５７】
【発明の効果】
本発明は、複数の表現から選択した支援音声に基づいてユーザの操作を支援するに際して、このような支援音声を与える音声データをユーザが行った操作に対応する操作データに基づいて検索し、送信する構成にしたので、ユーザが操作しようとする操作装置の操作の支援を迅速に、かつ、的確に行うことができる。また、複数種類の表現を蓄積することで、ユーザの嗜好に合った支援を提供することができる。そして、サーバ側に操作装置の操作を記憶させた装置データベースを設けたり、ユーザの操作の履歴を蓄積する履歴データベース、および、これを管理する履歴管理手段を設けると、ユーザの操作の正誤判定を行ったり、音声データの検索を効率的に行うことが可能となる。従って、操作支援をより充実させることができる。さらに、本発明は、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントし、そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更するものであるため、ユーザに人気のあるアナウンサーの音声のみが残る。
【００５８】
また、複数の表現から選択した支援音声に基づいてユーザの操作を支援するに際して、支援情報ファイルに含まれる音声データの表現を選択する選択手段を備える構成としたので、複雑な操作装置であっても簡単に、かつ、正確に操作を行うことが可能となる。また、ユーザは、好みに合った支援を受けることができるようになる。ここで、操作データ記憶部に操作履歴を記憶させると、支援を受けずにした操作に関しても、適切な支援を受けることができる。
さらに、ユーザの操作を支援する支援音声の表現を複数の音声サンプルから選択する選択手段を設けると、ユーザは実際の音声であるサンプル音声を聞きながら自己の好みに応じた支援音声の選択が可能になり、さらにユーザフレンドリな支援システムを実現することができる。ここで、ユーザが選択可能な音声サンプルを、選択頻度に応じて変更可能に構成にすると、常にユーザの嗜好に合った支援音声を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における操作支援システムの全体構成図である。
【図２】装置データベースの構成の一例を示した図である。
【図３】音声データベースの構成の一例を示した図である。
【図４】操作支援システムによる操作支援のフローチャートである。
【図５】ユーザによる操作装置の操作から音声データの受信までの手順を示すフローチャートである。
【図６】支援装置におけるユーザの操作確認の手順を示すフローチャートである。
【図７】本発明の実施の形態における別の操作支援システムの全体構成図である。
【図８】本発明の実施の形態における別の操作支援システムの全体構成図である。
【図９】音声による支援を再開した場合等におけるサーバ側の処理を説明する説明図である。
【符号の説明】
１，５１ サーバ
２ ネットワーク
３，５３，６３ 支援装置
４，５４ 操作装置
５ 通信手段
７ 記憶手段
１４ インターフェイス （取得部）
１７ ネットワーク制御部
１９ ファイル作成手段
２２ 選択手段
２５ 装置データベース
２６ 音声データベース
２７ 履歴データベース
３２ 検索手段
３４ 履歴管理手段
６１ 操作データ記憶部
６５ 支援選択部
【発明の属する技術分野】
本発明は、ネットワークを介して音声を送信することで、電気装置等のユーザによる操作を支援する操作支援システムに関する。
【０００２】
【従来の技術】
技術の高度化に伴い、家電製品や情報装置、ならびに、産業装置は多種多用な機能を備えたものが開発されている。ここで、これらの操作装置を利用するユーザは、操作装置に附属されている紙媒体に印刷された操作マニュアルや、操作装置に内蔵されたガイド機能を駆使して操作方法を習得することで、操作装置の操作を行っていた。
ここで、操作マニュアルは、索引を設けたり、見出しをつけることでユーザが当該操作装置の操作方法を理解しやすくなるような工夫がなされており、ガイド機能は、前記の操作マニュアルを紙媒体から電子的なものに置き換えたものであり、操作装置に設けられた画面上での検索や、説明文の表示を可能にしたものである。
【０００３】
このようなガイド機能の一例としては、特開平１０−１５４１８１号公報の支援方法があげられる。
この支援方法は、機器を特定する識別子と故障を示す識別記号を含むメッセージをメール装置に送信する。そして、メール装置が管理サーバにアクセスして対応するメンテナンス情報サーバのアドレスを取得する。さらに、メール装置が取得したアドレスにアクセスし、対応する説明情報を取得し、メールとして蓄積するものである。ユーザは、メール装置が取得した説明情報を読む等することにより必要な措置を講じる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような支援方法は、一つの説明情報を得るためにメール装置と各種サーバとのデータの授受を複数回行う必要があるため、迅速な対応ができなかった。また、この支援方法では、そもそもメール装置の初期設定を自力で行わなければならないという問題点を有しており、初心者であっても簡単に、かつ、確実に支援を受けることができる、ユーザフレンドリな支援手段の開発が望まれていた。
また、説明情報を機器ごとに作成すると、メンテナンス情報サーバに蓄積しなければならない情報量は膨大なものとなる。これは、高価な大容量のメモリや、それに伴う制御手段が必要となるため、操作装置の大型化や、高価格化の原因となっていた。特に音声によって操作の支援を行う場合は、メモリの容量の問題から限られた機能のみのサポートに留まっていた。
そして、ユーザフレンドリという観点からは、分かりやすく、親しみやすい音声による操作支援の開発が望まれていた。
従って、本発明の解決しようとする課題は、多種多様な機能を有する操作装置であっても、ユーザに負担をかけずに、簡単にその操作を行うことができるようにすることである。また、ユーザの好みに合わせた表現の音声で操作支援を行うようにすることである。
【０００５】
【課題を解決するための手段】
前記の課題を解決する本発明の請求項１に係る発明は、ユーザの操作を音声で支援するための支援音声を、複数種類の表現について蓄積した記憶手段と、ユーザが行った操作に対応する操作データに基づいて、ユーザにより選択された表現に基づく支援音声からなる音声データを検索する検索手段と、ネットワークを介して操作データを受信し、かつ、音声データを送信するための通信手段と、前記記憶手段が音声データの使用頻度を記録する使用頻度データベースとを備え、前記使用頻度データベースに記録された音声データの一定期間内における利用回数に基づいて、前記使用頻度データベースの音声データを変更する音声を用いた操作支援とした。
【０００６】
このような構成とすると、ネットワークを介して、ユーザが操作しようとする操作装置の操作の支援を行うことが可能となる。特に、大容量の記憶手段に多数の音声データを蓄積することで、ユーザに対して的確な操作支援を行うことが可能となり、高性能のサーバ等を用いることにより迅速な支援を行うことが可能となる。また、複数種類の表現を蓄積することで、ユーザの嗜好に合った支援を提供することができる。なお、「複数種類の表現」とは、語尾や、イントネーションまたは方言、言い回しや、音声を吹き込む人物の違い等により生じる表現のバリエーションが複数あることを言うものとする。また、ユーザからアナウンサーの音声を選択した場合の操作データを取得した際に、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントする。そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更する。
【０００７】
さらに、本発明の請求項２に係る発明は、請求項１に記載の音声を用いた操作支援システムであって、検索手段は、操作データと、ユーザが操作する操作装置の情報である装置データ、ならびに、音声表現の種類に関するデータとから前記音声データを検索することとした。
【０００８】
このような構成にすると、一つの操作に対して、表現の異なる音声で支援を行うことが可能となるので、ユーザに対してきめの細かい操作支援を行うことが可能となる。また、複数種類の表現からなる音声を取り扱うことで、記憶手段に蓄積された音声データの量が膨大になっても、操作データ、装置データ、ならびに音声表現の種類の関するデータから特定の音声データを検索する構成としたので、検索処理を効率良く行うことができる。
【０００９】
また、本発明の請求項３に係る発明は、請求項２に記載の音声を用いた操作支援システムにおいて、操作装置の操作手順を記憶する装置データベースを備え、検索手段は、装置データと操作データに基づいて、ユーザが行うべき操作を装置データベースから検索できる構成とした。
【００１０】
このような構成にすると、検索手段により装置データベースに記憶された操作を検索することが可能となるので、ユーザ側から送られてきた操作データと、操作データベースに記憶された操作とが一致するか否かの判定（正誤判定）を行うことが可能となり、操作支援を充実させることができる。また、この装置データベースにおいて、操作データと音声データとを関連づけておくと、音声データの検索を効率的に行うことが可能となる。
【００１１】
さらに、本発明の請求項４に係る発明は、請求項３に記載の音声を用いた操作支援システムにおいて、ユーザが行った操作の履歴を管理するための履歴管理手段と、履歴管理手段により作成される履歴を蓄積する履歴データベースを備える構成とした。
【００１２】
このような構成にすると、ユーザの行った操作の履歴を管理することができる。この履歴は、前記したユーザの操作の正誤判定や、ユーザ側から同一内容の音声データを再送するように要求された場合に活用することができるので、操作支援をより充実させることができる。
【００１３】
また、本発明の請求項５に係る発明は、音声を用いた操作支援システムであって、ユーザの操作に基づく情報を操作データとして取得する取得部と、取得した前記操作データを含む操作情報ファイルを作成するファイル作成手段と、前記操作情報ファイルに基づいて次に前記ユーザがなすべき操作を支援する支援音声を支援情報ファイルとしてネットワークを介して取得するネットワーク制御部と、前記支援音声の表現を複数の音声サンプルから選択する選択手段と、前記選択手段により前記ユーザが選択した前記音声サンプルを、選択頻度に応じて変更する変更手段と、を備える構成とした。
【００１４】
このような構成にすることで、ユーザは音声による操作の支援をネットワークを介して受けることが可能になる。従って、複雑な操作装置であっても簡単に、かつ、正確に操作を行うことが可能となる。また、これにより操作装置の高機能化に伴って、従来、膨大な量となっていた紙媒体のマニュアルや、操作装置内のメモリに記憶させていた操作情報を操作装置側に用意する必要がほとんど無くなるので、操作装置の構成の簡略化や、低価格化を図ることができる。また、自己が受ける支援における音声の表現を選択可能にすることで、ユーザの好みに合せた支援を与えることが可能となる。そして、ユーザが選択可能な支援音声を定期的に更新する場合に、ユーザの操作装置のメモリに記憶されている音声サンプルを変更手段で更新することで、ユーザが選択可能な支援音声を知らしめるものである。なお、ここでの「表現」は、語尾や、イントネーションまたは方言、言い回しの違いや、音声を吹き込む人物の違い等により生じるバリエーションを言うものとする。
【００１５】
さらに、本発明の請求項６に係る発明は、請求項５に記載の音声を用いた操作支援システムにおいて、ユーザが、音声による支援の有無を選択する支援選択部と、操作データを操作した順番に記憶する操作データ記憶部を有し、ファイル作成手段は、ユーザが音声による支援を要請した際に、操作データ記憶部に記憶されている操作データを操作情報ファイルに添付する構成にした。
このような構成にすることで、操作の初期段階や、操作の途中において、ユーザが音声による操作支援の有無を選択できる。そして、音声による支援を受けていない間の操作履歴を操作データ記憶部に記憶しておくこで、この間の操作に不都合があった場合であっても、適切な音声支援を受けることができる。
【００１６】
また、本発明の請求項７に係る発明は、音声を用いた操作支援システムであって、ユーザの操作を支援する支援音声の表現を複数の音声サンプルから選択する選択手段と、選択された前記音声サンプルに対応する音声データをネットワークを介して取得するネットワーク制御部と、音声データから再生した支援音声によるユーザの操作を操作データとして取得する取得部と、前記ユーザが選択可能な前記音声サンプルを、選択頻度に応じて変更する変更手段とを備えた構成にした。
【００１７】
この音声を用いた操作支援システムは、ユーザが実際の音声である、音声サンプルを聞きながら支援音声の選択ができるようにするものである。なお、「表現」とは、語尾や、イントネーションまたは方言、言い回しの違いや、音声を吹き込む人物の違い等により生じるバリエーションであり、音声サンプルに対応する音声データとは、音声サンプルと同じ表現からなる支援音声を含むデータである。そして、ユーザが選択可能な支援音声を定期的に更新する場合に、ユーザの操作装置のメモリに記憶されている音声サンプルを変更手段で更新することで、ユーザが選択可能な支援音声を知らしめるものである。
【００２０】
【発明の実施の形態】
本発明の第一の実施の形態を図面を参照して詳細に説明する。
図１に示すように、本実施の形態における操作支援システムは、サーバ１を有し、サーバ１は、ネットワーク２を介して支援装置３を備えた家電製品等の操作装置４に接続可能に構成されている。なお、ネットワーク２とは、インターネットや、一般電話、または、ケーブルテレビ等の回線を意味するものとする。
【００２１】
ここで、操作支援システムに使用される支援装置３を備えた操作装置４は、電気回路等からなる装置制御部１１と、操作部１２、ならびに、操作装置４の固有の機能を発現するための固有部１３とを有している。固有部１３は、操作装置４がビデオであれば録再生ヘッド、カセットのローディング機構等が該当する。また、操作装置４は、家電であれば、テレビ、ビデオ、電子レンジ等であり、情報装置であれば、パーソナルコンピュータ、ＰＤＡ（Personal Data Assistant）等、産業機械であれば、ＮＣ（Number Control）加工機や半導体処理装置等があげられる。さらに、操作装置４は、湯沸し器等の任意の電気・電子的、または機械的に動作する装置とすることができる。
【００２２】
次に、支援装置３について説明する。
支援装置３は、操作装置４の装置制御部１１と電気信号の授受を可能にする取得部であるインターフェイス１４と、支援装置３の制御をする支援制御部１５と、メモリ等の記録装置１６と、ネットワーク２に接続するためのモデム等からなるネットワーク制御部１７、ネットワーク２を介して取得した音声データを再生するためのアンプおよびスピーカを備えた音声再生部１８、ならびに、支援を受ける音声を発音するアナウンサーの選択を行う選択手段２２を有している。この音声再生部１８は、ネットワーク２を介して取得した音声データをリアルタイムで、かつ、操作装置４の傍で再生するものであるので、ユーザは、操作装置４の近くで実際の支援音声を聞きながら、操作できるようになる。また、音声再生部１８は必須の構成要素ではなく、例えば操作装置４がテレビ装置の場合等、操作装置４自体が音声再生手段を有している場合には、音声再生部１８を備えない支援装置３とすることもできる。
なお、支援装置３は、操作装置４と一体として取り扱うこともできるが、支援装置３を取り外し自在に構成することも可能である。また、支援装置３を操作装置４とは独立なＰＣ（Personal Computer）等の既存のコンピュータとし、操作装置４の操作データをケーブルを通してコンピュータに取り込むように構成することも可能である。
【００２３】
支援装置３のインターフェイス１４は、ユーザが操作装置４の操作部１２を操作した際に、操作部１２から操作装置４の装置制御部１１に送られた操作信号を操作データとして取得するためのもので、操作装置４側に設けられた接続ポートに接続されている。
また、支援制御部１５は、ＣＰＵ（Central Processing Unit）、メモリや所定の電気・電子回路を有しており、ＣＰＵやメモリに所定のプログラムが展開されることで各種の処理が行われる。本実施の形態において、支援制御部１５は、ユーザの操作をネットワーク２を介してサーバ１に伝えるために操作情報ファイルを作成するファイル作成手段１９と、ユーザがなすべき操作に対する情報が含まれている支援情報ファイルから音声データを抽出して音声再生部１８に音声信号を出力する音声信号作成手段２０として機能する。
【００２４】
支援制御部１５のファイル作成手段１９は、インターフェイス１４から取得した操作データに、操作装置４の情報である装置データ、および、通信プロトコルやサーバ１のアドレスをヘッダファイルとして付加して操作情報ファイルを作成する。
また、支援制御部１５の音声信号作成手段２０は、ネットワーク制御部１７において受信したサーバ１からの支援情報ファイルから、音声データを抽出し、例えば、Ｄ／Ａ（Digital/Analog）コンバータで音声データをデジタル信号からアナログ信号に変換する。なお、音声再生部１８が、デジタルデータに対応可能な場合はＤ／Ａコンバータは所有しなくても良い。
【００２５】
支援装置３の選択手段２２は、あからじめ図示しないメモリや記憶装置１６に蓄積された音声サンプルを音声再生部１８で再生し、ユーザが支援音声を発音するアナウンサーの種類を決定する場合に用いるものである。ここで、音声サンプルとは、そのアナウンサーが行った簡単な挨拶等のデータである。選択手段２２は所定の回路やボタン、必要に応じて液晶等の表示手段から構成される。なお、音声サンプルは、特定のアナウンサーの音声の使用頻度や、管理者側の設定変更により選択可能なアナウンサーが変更された場合には変更される。この変更は、支援制御部が変更手段として機能することにより行われる。
【００２６】
次にサーバ１について説明する。
サーバ１は、支援装置３から送信される情報を受信する通信インターフェイスを有する通信手段５と、通信手段５で受信した情報を処理する処理部６と、処理部６からのアクセスが可能に構成された記憶手段７とを有している。さらに、サーバ１は、ディスプレイ等の表示手段８、キーボード等の操作手段９、プリンタ等の出力手段１０、ならびに、所定の記録媒体に書き込み等を行うための外部記録装置（不図示）を備えることも可能である。また、必要に応じてＬＡＮ（Local Area Network）に接続可能な構成とすることもできる。
【００２７】
ここで、サーバ１の記憶手段７は、操作装置４の操作手順を記録した装置データベース２５と、操作装置４の操作を支援するための音声データを保管する音声データベース２６と、操作装置４の情報を記録する履歴データベース２７、ならびに、ユーザの情報を記録するユーザデータベース２８とを有している。
【００２８】
装置データベース２５は、操作装置４ごとに、支援装置３から送信される操作データおよび対応する音声の分類を示す型番号、ならびに、その操作装置４において次に行われるべき操作が記録されている。装置データベース２５は、例えば図２に示すような構成を有しており、ビデオに対して時刻設定を行う場合は、装置データがＭ００１であり、操作データがＰ１０２となるので、これらを条件として装置データベース２５を検索することで、対応する音声データの型番号がＶ０１２であり、次に行うべき操作がＰ２１１であるという結果を得ることができる。なお、図２には示していないが、装置データベース２５において、一つの操作に対する次の操作が複数に分岐する場合がある。このような場合は、ユーザがそれまでに行った操作履歴を勘案して正しい操作を検索する。
【００２９】
また、音声データベース２６は、操作装置４の操作を支援するための音声データが蓄積されている。ここで、音声データは、ユーザが行う操作手順の説明を音声で入力したものであり、本実施の形態において音声データベース２６は、図３に示すように、一つの音声データの型番号（Ｖ００１）に対して、バリエーションとして、複数のアナウンサーが入力した複数の音声データＡ００１、Ａ００２・・・を保管している。音声データベース２６は、装置データベース２５により特定された音声データの型番号がＶ０１２で、ユーザが選択したアナウンサーの選択に関する情報であるアナウンサーデータがＡ００１である場合は、支援装置３に送信すべき音声データとしてＶ０１２Ａ１の「時刻設定ボタンを押してください」が選択されることになる。なお、このアナウンサーの音声の選択は、後述する処理によりユーザ側で設定することが可能であり、アナウンサーの選択が、特許請求の範囲の音声の表現の選択に該当し、アナウンサーデータが「音声の表現に関するデータ」に相当する。
【００３０】
さらに、履歴データベース２７は、ユーザが行った操作の履歴を一次的に蓄積しておくためのものであり、ユーザが誤った操作を行ったり、ユーザが支援装置３で再生した音声を聞き取れなかった場合に、支援装置３にすでに送信した音声データを再度送信する際に参照することができる。履歴データベース２７の構造としては、例えば、ユーザデータを識別子として、支援装置３から送信されてきた操作データを時系列に配列したテーブルなどがあげられる。
そして、ユーザデータベース２８は、操作支援システムを利用するユーザに関する情報が記録されており、ユーザに対してサービス利用料を請求したり、システムに関連する情報を提供する際に用いられる。
【００３１】
また、サーバ１の処理部６は、ＣＰＵ（Central Processing Unit）、メモリや電気・電子回路を有しており、ＣＰＵやメモリに所定のプログラムが展開されることで各種の処理が可能となる。本実施の形態において、処理部６は、受信した操作情報ファイルから操作データおよび装置データ、ならびに、アナウンサーデータを抽出する抽出手段３１と、抽出した操作データおよび装置データ、ならびに、アナウンサーデータをアドレスとして支援用の音声データを取得する検索手段３２と、検索手段３２で取得した音声データに通信プロトコルや操作装置４に付与されているアドレスに関するヘッダファイルを付加して支援情報ファイルを作成する編集手段３３と、前記の履歴データベース２２に履歴データを書き込んだり、履歴を調べたりする履歴管理手段３４として機能する。なお、各手段３１〜３４による処理の詳細については、後の処理手順において説明する。
【００３２】
ここで、特定のアナウンサーの音声を使用頻度に応じて、音声データを変更する場合について説明する。この場合は、サーバ１は記憶手段７に使用頻度データベースに設けることが望ましい。使用頻度データベースとは、音声データを入力したアナウンサーと、そのアナウンサーの音声データをユーザが利用した回数（利用回数）を記録するものである。サーバ１は、ユーザからアナウンサーの音声を選択した場合の操作データを取得した際に、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントする。そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更する。これにより、ユーザに人気のあるアナウンサーの音声データのみが残る。新しいアナウンサーの音声サンプルは、音声サンプルデータ（音声データ）として各支援装置３に送信され、前記の変更手段により、使用できなくなったアナウンサーの音声サンプルと交換される。なお、ここにおいて、検索手段３２は、使用頻度データベースから利用回数の少ないアナウンサーや、利用回数の多いアナウンサーを検索するための手段としても働く。
【００３３】
次に、ユーザが操作装置４を操作する場合に行われる音声により操作の支援について図４のフローチャートを用いて説明する。なお、理解を容易にするため、ビデオの初期設定をする場合を例にして説明する。また、支援装置３は、通信ケーブルによりネットワーク２に接続可能な状態になっているものとする。
まず、ユーザが、ビデオおよび支援装置３の電源を入れると、支援装置３は自動的にネットワーク２に接続する（ステップＳ１）。
次にステップＳ２に進むが、この段階ではアナウンサーの設定が行われていないので、支援装置３は記憶装置１６に予めメモリされている音声データを再生して、ユーザに対してアナウンサーの設定を行うように促す。このとき、ユーザが設定（選択）可能なアナウンサーの音声を音声サンプルとしてメモリに蓄積しておくと、ユーザはサンプル音声を聞きながら、アナウンサーの設定を行うことができる。
【００３４】
そして、ユーザが選択手段２２によりアナウンサーの設定を行うと、支援装置３が、アナウンサーの設定を操作データとする操作情報ファイルを作成し、サーバ１から対応する音声データを取得する。この間の処理の詳細は、図５を用いて後に説明する。
そして、ステップＳ３において、「初期設定を始めましょう」や「時刻設定ボタンを押してください」という音声（支援音声）が支援装置３の音声再生部１８から出力される。
【００３５】
ユーザは、この支援音声を聞き取り、操作を確認する（ステップＳ４）。ユーザが支援音声、例えば「時刻設定ボタンを押してください」を聞き、次に行うべき操作を認識できた場合は、ステップＳ５に進み、認識できない場合はリピートボタンを押して、認識できるまで支援音声を聞き返す。なお、ステップＳ４の処理の詳細は、図６を用いて後に説明する。
そして、ステップＳ５において、ユーザが実際にビデオの時刻設定ボタンを押すと、支援装置３のファイル作成手段１９が時刻設定ボタンを押す操作を操作データとする操作情報ファイルを作成し、サーバ１に送信する。そして、サーバ１は、次にビデオの設定時刻を現在の時刻に合わせる処理を行う必要がある旨の支援情報ファイルを送信するので、ステップＳ６からステップＳ３に戻り、支援装置３が、ビデオの設定時刻を現在の時刻に合わせる操作を指示する支援音声を再生するので、ユーザは、ステップＳ４の操作の確認を経て、ステップＳ５において時刻ボタンを所定回数押して、ビデオの設定時刻を現在の時刻に合わせる。
さらに、支援音声を聞きながら、「分の設定」、「チャンネルの設定」等を行い、すべての初期設定が終了したら、サーバ１から初期設定の終了を示す支援情報ファイルが送信されるので、ステップＳ６からステップＳ７に進み、支援装置３がネットワーク２の接続を切断して、すべての処理が終了する。
【００３６】
このような操作支援システムを用いることにより、ユーザは、操作が複雑な操作装置４であっても、ストレスを感じることなく、確実に操作することが可能となる。特に、音声データの保管や、各種データの処理のほとんどをサーバ１側で行うことにより、支援装置３および操作装置４に高性能なＣＰＵや、大容量の記憶装置を必要としない。従って、支援装置３および操作装置４の小型化や、低価格化を図ることができる。
【００３７】
なお、アナウンサーの設定は、操作の最初に限定されずに、任意の段階で、複数回行うこともできる。この場合は、ユーザが最初にアナウンサーの設定をするまでは、初期設定のアナウンサーの音声により操作の支援が行われる。また、初期設定の操作時に限定されずに、通常の使用時にも、ユーザは必要に応じて支援音声を聞きながら操作を行うことができる。この場合は、必要に応じてユーザが支援装置３の電源を入れるように構成するか、支援装置３もしくは操作装置４に支援要求ボタン等を設けることにより音声による操作支援モードと音声による支援を受けないで操作するモードとを切り替え可能に構成することが好ましい。
【００３８】
ここで、ステップＳ２のアナウンサーの設定において、支援装置３とサーバ１がそれぞれ行う処理について図２、図３、および、図５のフローチャートを用いて以下に説明する。なお、ステップＳ５の操作装置４の操作も同様な処理であるため、その詳細な説明は省略する。
図５に示すように、ステップＳ２において、ユーザによりアナウンサーが設定されると、支援装置３は、ステップＳ２１として、支援処理部１５のファイル作成手段１９により操作情報ファイルを作成する。なお、このときの操作データはＰ１０１（図２参照）、アナウンサーデータはＡ００１（図３参照）とする。
ファイル作成手段１９が操作情報ファイルを作成したら、ステップＳ２２に進み、支援装置３が操作情報ファイルをネットワーク制御部１７からサーバ１に送信する。
【００３９】
ここで、サーバ１は、この操作情報ファイルを通信手段５によって受信し（ステップＳ２３）、ステップＳ２４として、抽出手段３１が、操作情報ファイルから装置データＭ００１（図２参照）、アナウンサーデータＡ００１（図３参照）、および、操作データＰ１０１をそれぞれ抽出する。
次に、ステップＳ２５として、サーバ１は操作の判定（正誤判定）を行う。操作の判定とは、検索手段３２が装置データＭ００１および操作データＰ１０１を装置データベース２５内に記憶されている操作手順と照らし合わせて、必要であれば履歴データベース２７に記録されたユーザの操作履歴を参照しながら、ユーザの行った操作が正しいか否かを判断することをいう。この場合は、アナウンサーの設定であるため、ユーザの操作は正しいとして次のステップに進むが、例えば、時刻設定ボタンを押すべきところに、チャンネル設定ボタンが押された場合は、図２に示すように、時刻設定ボタンの操作データＰ２１１とチャンネル設定の操作データＰ１０３とが異なるので、ユーザの操作ミスと判定する。なお、装置データベース２５を検索した結果、装置データに対応する操作データが存在しない場合もユーザの操作ミスと判定する。
【００４０】
そして、ステップＳ２６として、この装置データＭ００１および操作データＰ１０１に基づいて決定した音声データの型番号Ｖ００１と、アナウンサーデータＡ００１から音声データベース２６を検索して、該当する音声データＶ００１Ａ１を取得し（図３参照）、編集手段３３によりヘッダファイルを付加して、支援情報ファイルを作成する。さらに、ステップＳ２７において、この支援情報ファイルが支援装置３に向けて送信される。
【００４１】
サーバ１から送信された支援情報ファイルが支援装置３に受信されると（ステップＳ２８）、ステップＳ２９において、音声信号作成手段２０が支援情報ファイルから音声データＶ００１Ａ１を抽出し、この音声データＶ００１Ａ１をスピーカから出力できるようにデータ処理を行う。この後は、図２に示すステップＳ３に進み、音声による操作支援、つまり、支援音声が再生される。ここで、支援装置３は、取得した音声データＶ００１Ａ１を記憶装置１６の蓄積データファイル２２に一時的に蓄積することも可能である。
【００４２】
なお、ステップＳ２５の操作の判定において、操作が正しくないと判断された場合は、編集手段３３に再度、前回の支援情報ファイルと同内容の支援情報ファイルを送信するように指示する。そして、編集手段３３が必要に応じて履歴データを参照しつつ、同じ内容の支援情報ファイルを作成し、支援装置３に送信する。なお、操作の判定は、支援装置３内にて行うことも可能であるが、支援装置３の構成を簡略化するためには、サーバ１において操作の判定をすることが望ましい。
【００４３】
次に、ステップＳ４の操作の確認において支援装置３が行う処理について図６を用いて説明する。
ステップＳ４の操作の確認とは、支援装置３がステップＳ３１として、ユーザからリピート要求がされているか否かを判断することをいう。つまり、ユーザが次に行うべき操作を認識できた場合は、リピート要求がされない（Ｎｏ）ので、そのまま、この処理を終了して、図２のステップＳ５に進む。一方、ユーザが次に行うべき操作を認識できない場合は、ユーザがリピートボタンを押す（Ｙｅｓ）ので、ステップＳ３２に進み、支援制御部１５において、リピート再生すべき音声データが記憶装置１６の蓄積データファイル２１に蓄積されている蓄積データの中にあるか否かを判断する。リピート再生する音声データを蓄積データとして保有していた場合（Ｙｅｓ）は、ステップＳ３３において、蓄積データファイル２１からリピート再生する音声データを取得し、ステップＳ３５に進む。一方、ステップＳ３２において、再生すべき音声データを蓄積データとして保有していない場合（Ｎｏ）は、ステップＳ３４に進み、図５のフローチャートに示す手順に従って、サーバ１から該当する音声データを取得する。ここで、サーバ１に送信される操作情報ファイルには、リピート要求が操作データとして添付され、サーバ１は、履歴データベース２７を検索して、前回の操作データを取得し、これに基づく支援情報ファイルを作成する。
そして、ステップＳ３５でこの音声データに基づく支援音声を再生すると共に、ステップＳ３１に戻り、ユーザからの再度のリピート要求がなければ、この処理を終了し、ユーザから再度のリピート要求があれば、前記のステップＳ３１からステップＳ３５までを適宜繰り返す。
【００４４】
このように、本実施の形態の操作支援システムは、音声を用いてユーザの操作を支援することができる。特に、従来の操作支援システムは、操作支援システム自体の設定を行ったり、操作支援システム自体の操作を習得する必要があったのに対して、操作支援システムを初めて使うユーザや、初めて使う操作装置４でも支援音声を簡単に得ることができるという利点を有する。なお、操作装置４と支援装置３の接続は、操作装置４と一体または事実上一体として取り扱われる支援装置３を操作装置４と同時に購入することで、機器に不慣れなユーザであっても労なく操作支援システムを利用することができる。
また、多種多用な機種であっても、サーバ１側で操作支援に用いる音声を類型化し、その検索に図２および図３に示す二つのテーブル（データベース）を用いることで、必要な音声データを迅速に探し出してユーザに送信する。従って、ユーザはほぼ、リアルタイムで、ストレスを感じることなく、音声支援を受けることができる。これは、サーバ１にとっても、音声データの数を減らすことで記憶手段７の容量を減らすことができ、新型の操作装置４のサポートも確実に行うことができる。
そして、サーバ１の履歴管理手段３４が、ユーザの操作履歴を管理して音声データの再送を容易にすることや、ユーザの行った操作の正誤判定を行い、再操作を促す等は、さらにユーザフレンドリな操作支援システムを実現するものである。
【００４５】
次に、操作支援システムの第二の実施の形態を図７を用いて説明する。なお、図１と同一の構成要素については同一の符号を付して、その説明を省略する。
【００４６】
操作支援システムは、サーバ５１を有し、サーバ５１は、ネットワーク２を介して支援装置５３を備えた操作装置５４に接続可能に構成されている。
ここで、支援装置５３は、補助データ取得手段５５を備えている。この補助データ取得手段５５は、ビデオカメラや温度センサ等から構成され、例えば、操作装置５４が電子レンジで、補助データ取得手段５５がビデオカメラの場合は、電子レンジ内の状態や、調理材料の画像をビデオカメラで取得して、操作データに補助データとして画像データを加えた操作情報ファイルをファイル作成手段１９により作成し、サーバ５１に送信することで、その画像も考慮した支援情報をサーバ５１から入手することが可能となる。
また、この場合のサーバ５１は、処理部６に補助データ処理手段３５を備え、さらに、記憶手段７には補助データベース２９を有している。補助データ処理手段３５は、例えば画像データの画像処理を行ったり、画像データを補助データベース２９に蓄積されている画像情報と比較したりするもので、画像データをもとにして、「調理時間が長すぎる」等の判断を下すことが可能となる。
【００４７】
また、操作装置５４が湯沸し器で、補助データ取得手段５５が温度センサである場合は、ファイル作成手段１９は、温度センサで取得したお湯の温度を温度データとして含む操作情報ファイルを作成する。また、サーバ５１の記憶手段７には、補助データベース２９として、その湯沸し器の温度プロファイルが記憶され、処理部６の補助データ処理手段３５は、温度センサで取得した温度データと補助データベース２９に記憶された温度プロファイルに基づく温度データとを比較して、両者の温度差が所定値以上である場合は、温度異常である旨の音声データを支援装置５３に送信する。
【００４８】
このように、操作情報ファイルに補助データ取得手段５５で取得した補助データを加えることで、サーバ５１が操作装置５４の状態、および、操作装置５４により処理される被処理物、例えば料理やお湯の状態をさらに詳細に把握することが可能となる。従って、ユーザの操作の支援を、さらに的確に行うことが可能となる。特に、画像認識等の高い処理能力が必要とされる処理をサーバ５１側で行うことにより、データの処理速度を向上させることが可能となる。
ここで、補助データ取得手段５５は、操作装置５４側に設けられていても良い。この場合は、補助データ所得手段５５からの補助データは、インターフェイス１４を介して支援制御部１５に入力されるように構成される。
【００４９】
さらに、本発明の第三の実施の形態について図面を参照して説明する。なお、図１と同一の構成要素については同一の符号を付して、その説明を省略する。
この操作支援システムは、ユーザが操作装置４を操作した際に支援装置６３が取得する操作データを記憶しておく操作データ記憶部６１を、支援装置６３の記憶装置１６に有している。この操作データ記憶部６１は、ユーザの行った操作のすべてについての操作データをインターフェイス１４を通して取得し、時系列で記憶するものである。
この操作データ記憶部１６に記憶されるデータは、ユーザが操作の途中から音声支援を受けようとする場合や、特定の操作に関する支援音声をスキップする際に用いられる。そして、支援装置６３には、音声による支援の必要の有無を選択する（スキップを含む）ための支援選択部６５が設けられている。なお、支援選択部６５は、ボタンや液晶パネル、所定の電気回路等から構成されている。
【００５０】
このような操作支援システムは、ユーザの操作の初期段階においては音声支援は行われない。ユーザは、操作装置４の操作がわからなくなり、支援選択部６５を操作した（ＯＮ）ときに、はじめて音声による支援を受けることが可能にある。
つまり、支援選択部６５が操作されたことをトリガーとして、支援制御部１５のファイル作成手段１９が操作情報ファイルを作成する。そして、作成した操作情報ファイルをサーバ１に送信し、必要な支援音声を与える音声データを取得する。
【００５１】
このときにサーバ１に送信される操作情報ファイルには、ユーザが支援選択部６５を操作するまでに支援装置６３の操作データ記憶部６１に記憶された操作データの一覧が添付される。
サーバ１の抽出手段３１は、受け取った操作データの一覧を、図９の右側に示す操作データテーブルとし、まず、操作装置４の番号であるＭ００１の装置データベース２５を検索する。そして、図９の左側に示す操作装置４の番号がＭ００１の装置データベース２５を読み出して、以降、ユーザの操作と、操作装置データベース２５に登録されている操作手順とを比較し、ユーザの操作ミスを探し出す。
【００５２】
まず、抽出手段３１が、操作データテーブルに格納されている操作データのうち、ユーザが最初に行った操作であるＰ１０１を抽出し、検索手段３２が、Ｐ１０１をアドレスとして、装置データベース２５を検索し、次の操作である操作データＰ１０２を得る。
次に、検索手段３２は、検索結果のＰ１０２と、操作データテーブルの２番目に格納されている操作データを比較し、ユーザの行った操作が正しいか否かを判定する。
図９においては、ユーザが行った２番目の操作はＰ１０２で、検索結果と等しい。従って、検索手段３２は、このＰ１０２をアドレスとして装置データベース２５を検索し、次の操作であるＰ２１１を得る。
このようにして得られたＰ２１１と、操作データテーブルの３番目の操作データＰ３１１を比較するが、両者は一致しないので、この段階でユーザが操作ミスをしたと判定する。そして、本来の操作であるＰ２１１の操作をするように促す支援音声をユーザ側の支援装置６３に送信する。一方、ユーザの操作が正しい場合は、次の操作に関する支援音声を含む支援データを送信する。
【００５３】
ユーザは、サーバ１から送信されてきた支援音声を聞いて正しい操作を行い、以降の支援が必要であれば、そのまま操作し、支援が不要であれば支援選択部６５をＯＦＦにしてファイル作成手段１９における操作情報ファイルの作成、送信を停止させる。
なお、操作情報ファイルの作成、送信をしない場合であっても操作データ記憶部６１に操作データが蓄積されるのは前記と同じである。また、このとき、操作データ記憶部６１は、間違った操作（図９の場合は、３番目の操作Ｐ３１１）を正しい操作データで上書きする。
【００５４】
なお、音声による支援を受けながら操作をしているユーザが、ある操作から別の操作までの所定の操作をする間、支援を必要としない場合、つまり、支援音声をスキップする場合は、支援を必要としなくなった際に、支援選択部６６をＯＦＦにし、必要となった際に支援選択部６６をＯＮにする。この際に、サーバ１は、音声による支援をスキップしていた間のユーザの操作を、前記と同様にして検索、正誤判定してから、ユーザが次になすべき操作に関する支援音声を送信する。
なお、どちらの場合であって、操作データテーブルが、ユーザの行った操作の全てを時系列に検索して判定するのは、一つの操作に対する次の操作が複数に分岐する場合であっても適切な処理を行うためである。
【００５５】
なお、本発明は、前記の各実施の形態に限定されることなく、広く応用することが可能である。例えば、第一の実施の形態の選択手段２２、変更手段を第二の実施の形態の支援装置３に設けることもできるし、使用頻度データベースおよび補助データベース２９を備えたサーバ１とすることもできる。さらに、第三の実施の形態で示した操作データ記憶部６１や、支援選択手段６５と、第二の実施の形態の補助データ取得手段５５を備えた支援装置３とすることもできる。
また、操作装置４，５４が情報装置、パソコンやＰＤＡの場合は、それぞれの初期設定、操作、および、ソフトのインストールや、ハードウエアの変更等の際にユーザが支援音声を聞きながら、確実にそれぞれの操作を行うことが可能となる。また、操作装置４，５４が工作機械の場合は、複雑な形状の加工や、特殊な材料の加工等の際にユーザは支援音声を聞きながら、適切な加工条件を選択することができる。
さらに、補助データ取得手段５５は、光センサや、ポテンショメータ、トルクセンサー等、操作装置５４の状態、および、被処理物の状態を把握するための情報を取得する手段であれば、任意のものを使用することができる。
【００５６】
また、第一の実施の形態において、音声サンプルは支援装置３側にある場合を説明したが、サーバ１が音声サンプルを蓄積するサンプルデータベースを持ち、支援装置３からの要求（ユーザからの要求）に応じて、音声サンプルデータを該当する支援装置３に送信する構成にしても良い。この場合は支援装置３のメモリを最小限に止めることができる。なお、変更により使用不可となったアナウンサーを選択していたユーザに対しては、変更の知らせを電子メールで送付したり、支援装置３や、操作装置４の操作画面にその旨を表示する等の措置を講じることが望ましい。
ここで、サーバ１から支援装置３に音声サンプルデータを送信する際には、ネットワーク２のトラフィック量が少ない時間帯、例えば、深夜や早朝を利用することが望ましい。音声サンプル数が多く音声サンプルデータの容量が大きくなる場合であってもスムーズに、かつ、経済的に音声サンプルデータを送信することができる。
そして、音声データベース２６は、音声を入力したアナウンサーの違いに加えて、語尾の違いや、イントネーションまたは方言、言い回しの違い等の様々なバリエーション（表現）からなる音声データを蓄積し、これらをユーザにより選択可能とすることもできる。また、この場合は、音声サンプルも音声データベース２６に蓄積されている音声データと同じ表現のものが用意され、支援装置３の選択手段２２は、これらの表現の異なる音声サンプルから支援音声を選択する手段として機能する。
【００５７】
【発明の効果】
本発明は、複数の表現から選択した支援音声に基づいてユーザの操作を支援するに際して、このような支援音声を与える音声データをユーザが行った操作に対応する操作データに基づいて検索し、送信する構成にしたので、ユーザが操作しようとする操作装置の操作の支援を迅速に、かつ、的確に行うことができる。また、複数種類の表現を蓄積することで、ユーザの嗜好に合った支援を提供することができる。そして、サーバ側に操作装置の操作を記憶させた装置データベースを設けたり、ユーザの操作の履歴を蓄積する履歴データベース、および、これを管理する履歴管理手段を設けると、ユーザの操作の正誤判定を行ったり、音声データの検索を効率的に行うことが可能となる。従って、操作支援をより充実させることができる。さらに、本発明は、使用頻度データベースにおいて、該当するアナウンサーの利用回数をインクリメントし、そして、一定期間内の利用回数が設定回数以下の場合には、そのアナウンサーの音声データを他のアナウンサー等の表現の異なる音声データに変更するものであるため、ユーザに人気のあるアナウンサーの音声のみが残る。
【００５８】
また、複数の表現から選択した支援音声に基づいてユーザの操作を支援するに際して、支援情報ファイルに含まれる音声データの表現を選択する選択手段を備える構成としたので、複雑な操作装置であっても簡単に、かつ、正確に操作を行うことが可能となる。また、ユーザは、好みに合った支援を受けることができるようになる。ここで、操作データ記憶部に操作履歴を記憶させると、支援を受けずにした操作に関しても、適切な支援を受けることができる。
さらに、ユーザの操作を支援する支援音声の表現を複数の音声サンプルから選択する選択手段を設けると、ユーザは実際の音声であるサンプル音声を聞きながら自己の好みに応じた支援音声の選択が可能になり、さらにユーザフレンドリな支援システムを実現することができる。ここで、ユーザが選択可能な音声サンプルを、選択頻度に応じて変更可能に構成にすると、常にユーザの嗜好に合った支援音声を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における操作支援システムの全体構成図である。
【図２】装置データベースの構成の一例を示した図である。
【図３】音声データベースの構成の一例を示した図である。
【図４】操作支援システムによる操作支援のフローチャートである。
【図５】ユーザによる操作装置の操作から音声データの受信までの手順を示すフローチャートである。
【図６】支援装置におけるユーザの操作確認の手順を示すフローチャートである。
【図７】本発明の実施の形態における別の操作支援システムの全体構成図である。
【図８】本発明の実施の形態における別の操作支援システムの全体構成図である。
【図９】音声による支援を再開した場合等におけるサーバ側の処理を説明する説明図である。
【符号の説明】
１，５１ サーバ
２ ネットワーク
３，５３，６３ 支援装置
４，５４ 操作装置
５ 通信手段
７ 記憶手段
１４ インターフェイス （取得部）
１７ ネットワーク制御部
１９ ファイル作成手段
２２ 選択手段
２５ 装置データベース
２６ 音声データベース
２７ 履歴データベース
３２ 検索手段
３４ 履歴管理手段
６１ 操作データ記憶部
６５ 支援選択部
Claims (7)
- ユーザの操作を音声で支援するための支援音声を、複数種類の表現について蓄積した記憶手段と、前記ユーザが行った操作に対応する操作データに基づいて、前記ユーザにより選択された表現に基づく前記支援音声からなる音声データを検索する検索手段と、ネットワークを介して前記操作データを受信し、かつ、前記音声データを送信するための通信手段と、前記記憶手段が音声データの使用頻度を記録する使用頻度データベースとを備え、
前記使用頻度データベースに記録された音声データの一定期間内における利用回数に基づいて、前記使用頻度データベースの音声データを変更することを特徴とする音声を用いた操作支援システム。 - 前記検索手段は、前記操作データと、前記ユーザが操作する操作装置の情報である装置データ、ならびに、音声の表現に関するデータとから前記記憶手段に蓄積された前記音声データを検索することを特徴とする請求項１に記載の音声を用いた操作支援システム。
- 前記操作装置の操作手順を記憶する装置データベースを備え、前記検索手段は、前記装置データと前記操作データに基づいて、前記ユーザが行うべき操作を前記装置データベースから検索できる構成としたことを特徴とする請求項２に記載の音声を用いた操作支援システム。
- 前記ユーザが行った操作の履歴を管理するための履歴管理手段と、前記履歴管理手段により作成される前記履歴を蓄積する履歴データベースを備えることを特徴とする請求項３に記載の音声を用いた操作支援システム。
- ユーザの操作に基づく情報を操作データとして取得する取得部と、取得した前記操作データを含む操作情報ファイルを作成するファイル作成手段と、前記操作情報ファイルに基づいて次に前記ユーザがなすべき操作を支援する支援音声を支援情報ファイルとしてネットワークを介して取得するネットワーク制御部と、前記支援音声の表現を複数の音声サンプルから選択する選択手段と、前記選択手段により前記ユーザが選択した前記音声サンプルを、選択頻度に応じて変更する変更手段とを備えることを特徴とする音声を用いた操作支援システム。
- 前記ユーザが、音声による支援の有無を選択する支援選択部と、前記操作データを操作した順番に記憶する操作データ記憶部を有し、前記ファイル作成手段は、前記ユーザが音声による支援を要請した際に、前記操作データ記憶部に記憶されている前記操作データを前記操作情報ファイルに添付することを特徴とする請求項５に記載の音声を用いた操作支援システム。
- ユーザの操作を支援する支援音声の表現を複数の音声サンプルから選択する選択手段と、選択された前記音声サンプルに対応する前記音声データをネットワークを介して取得するネットワーク制御部と、前記音声データから再生した前記支援音声による前記ユーザの操作を操作データとして取得する取得部と、前記ユーザが選択可能な前記音声サンプルを、選択頻度に応じて変更する変更手段と、を備えたことを特徴とする音声を用いた操作支援システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001108692A JP3729443B2 (ja) | 2001-04-06 | 2001-04-06 | 音声を用いた操作支援システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001108692A JP3729443B2 (ja) | 2001-04-06 | 2001-04-06 | 音声を用いた操作支援システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002304285A JP2002304285A (ja) | 2002-10-18 |
| JP3729443B2 true JP3729443B2 (ja) | 2005-12-21 |
Family
ID=18960781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001108692A Expired - Fee Related JP3729443B2 (ja) | 2001-04-06 | 2001-04-06 | 音声を用いた操作支援システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3729443B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180129A (ja) * | 2002-11-28 | 2004-06-24 | Telecommunication Advancement Organization Of Japan | 機器操作支援サービス提供システム及び機器操作支援サービス提供方法 |
| JP6418863B2 (ja) * | 2014-09-18 | 2018-11-07 | シャープ株式会社 | ネットワークシステム、音声出力方法、サーバ、機器、および音声出力プログラム |
| JP7284793B2 (ja) * | 2018-10-05 | 2023-05-31 | 三菱電機株式会社 | 音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラム |
| CN112823341A (zh) * | 2018-10-05 | 2021-05-18 | 三菱电机株式会社 | 语音操作支援系统、语音操作系统、语音处理装置、语音操作支援装置、语音操作支援方法以及程序 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2776907B2 (ja) * | 1988-09-03 | 1998-07-16 | 株式会社日立製作所 | ヘルプ情報制御方法および装置 |
| JPH07210194A (ja) * | 1994-01-18 | 1995-08-11 | Hitachi Ltd | 音声出力装置 |
| JP3563756B2 (ja) * | 1994-02-04 | 2004-09-08 | 富士通株式会社 | 音声合成システム |
| JPH08171443A (ja) * | 1994-12-20 | 1996-07-02 | Matsushita Electric Ind Co Ltd | 操作支援装置及び操作支援方法 |
| JP3750150B2 (ja) * | 1995-03-30 | 2006-03-01 | 三菱電機株式会社 | 移動体通信端末 |
| JP3628397B2 (ja) * | 1995-10-02 | 2005-03-09 | 株式会社リコー | 端末機器操作手順サポート方法及び端末機器操作手順サポート機能を有するホストコンピュータ |
| JP3550471B2 (ja) * | 1996-12-11 | 2004-08-04 | 日本電信電話株式会社 | 画像データベース検索装置 |
| JP2000134332A (ja) * | 1998-10-26 | 2000-05-12 | J-Phone Tokai Co Ltd | 携帯電話の着信メロディ送り出し装置 |
| JP4258585B2 (ja) * | 1999-03-19 | 2009-04-30 | 株式会社エクォス・リサーチ | 目的地設定装置 |
| JP2001016553A (ja) * | 1999-06-30 | 2001-01-19 | Mitsubishi Electric Corp | データ放送表示装置 |
-
2001
- 2001-04-06 JP JP2001108692A patent/JP3729443B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002304285A (ja) | 2002-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111433736B (zh) | 机器控制系统以及机器控制方法 | |
| JP5288673B2 (ja) | 状態ベースのリモコン・システム | |
| JP5688092B2 (ja) | ビデオコンテンツと電子ブックコンテンツの同期化装置及び方法とそのシステム | |
| CN101110249B (zh) | 用于获取内容的内容获取方法及信息附加方法 | |
| JP7059929B2 (ja) | 情報処理装置 | |
| US20030163527A1 (en) | Audio-visual multimedia network examination system and method | |
| MXPA01008301A (es) | Sistema automatizado de transcripcion y metodo que usa dos modelos de conversion de voz y correccion asistida por computadora. | |
| US8086613B2 (en) | Reproducing apparatus, reproducing method, and reproducing program | |
| EP2003640A2 (en) | Method and system for generating and processing digital content based on text-to-speech conversion | |
| WO2011155350A1 (ja) | コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体 | |
| KR20040032083A (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| US20160098243A1 (en) | Recording/transferring program, recording/transferring apparatus, and recording/transferring method | |
| US20160119407A1 (en) | Transfer device, client apparatus, server apparatus, reproduction apparatus and transfer method | |
| JP3729443B2 (ja) | 音声を用いた操作支援システム | |
| JP2005086768A (ja) | 制御装置、制御方法およびプログラム | |
| US20240112680A1 (en) | Assisted Speech Recognition | |
| EP1954048A2 (en) | Viewing/hearing device | |
| WO2005038683A1 (en) | Language education system, language education method and language education program recorded media based on corpus retrieval system, which use the functions of questions and answers | |
| JP2006004152A (ja) | 検索装置、検索方法、情報処理システム | |
| JP2006031484A (ja) | コンテンツ管理装置及びそのプログラム | |
| WO2007052205A1 (en) | Setting a device in a network | |
| JP2005529434A (ja) | オーディオ／ビデオ装置用パラメータ・リストの個人管理方法 | |
| JP7048113B2 (ja) | 情報処理装置、情報処理システム、および、プログラム | |
| JP4266151B2 (ja) | 配信システム、オーディオ機器および連続再生方法 | |
| US7340517B2 (en) | Gateway |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040714 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |