JP6115152B2 - 情報処理システム、情報処理装置、情報処理端末及びプログラム - Google Patents

Description

本発明は、ＭＦＰなどの情報処理装置を、タブレット端末やスマートフォンなどの情報処理端末で遠隔操作を可能とする技術の分野に関する。

プリント機能やスキャン機能を備えたＭＦＰ（Multi-Function Peripherals）などと呼ばれる情報処理装置は、一般にネットワークに接続された状態で使用され、文書データなどの各種データを送受信することができる。例えば、情報処理装置は、スキャン機能によって読み取った画像データをネットワーク経由でサーバーなどに送信することが可能である。この種の情報処理装置に関する技術として、例えば下記引用文献１，２に記載されたものがある。

下記特許文献１には、ＮＦＣ通信部及びブルートゥース通信部をそれぞれ備える複合機及び情報処理端末がこれらの通信部を用いて互いに通信可能に構成されたシステムにおいて、複合機及び情報処理端末は、複合機の動作条件を示す設定情報と、前記両装置におけるブルートゥース通信部同士の通信を確立するための通信設定情報とを、前記両装置におけるＮＦＣ通信部を用いて授受した後、前記通信設定情報に基づき、前記両装置におけるブルートゥース通信部を用いて前記複合機の処理対象となるデータを授受する技術が開示されている。

下記特許文献２には、画像形成装置と携帯電話との間で通信可能なシステムにおいて、ユーザにより入力された画像形成装置の動作条件をユーザの指示により携帯電話に設定データとして送信し、携帯電話はその設定データを格納するとともに、その格納後、ユーザにより携帯電話に対して前記設定データが呼び出され、該設定データが示す動作条件で画像形成装置を動作させる指示が入力されると、その設定データを画像形成装置に送信する技術が開示されている。

このような通信機能を有する情報処理装置においては、該通信機能を用いることで、該情報処理装置に設けられた操作パネルをユーザが直接操作するだけでなく、ネットワークを介した遠隔操作によって情報処理装置の各機能を利用することも可能となっている。

一方、近年においてはタブレット端末やスマートフォンなどの情報処理端末の普及が著しい。この種の情報処理端末は、通常、音声を電気信号として取り込む音声入力機能（音声入力モード）を備えている。そこで、情報処理端末への音声入力によって情報処理装置を遠隔操作する構成を実現することが考えられる。

すなわち、情報処理装置にも音声入力機能を備え、情報処理端末に対してジョブの実行指示を示す音声が入力されると、その音声データを情報処理端末から情報処理装置に転送し、情報処理装置がその転送された音声データに基づいてジョブを実行するという構成が考えられる。

特開２００９−１４７８９６号公報 特開２００３−３４８２８９号公報

しかしながら、このような構成を実現しようとする場合、情報処理端末だけでなく情報処理装置も音声入力機能を起動させて音声を取り込める状態にしておかなければならない。なぜなら、情報処理装置も音声入力機能を起動させておかなければ、情報処理装置が情報処理端末からの音声データを取り込むことができる状態とならないからである。

そのため、このような構成においては、ユーザは、情報処理端末の音声入力機能を起動させるだけでなく、情報処理装置においても音声入力機能を起動させる必要がある。すなわち、ユーザは音声入力モードを起動させる作業・操作を、情報処理装置と情報処理端末との両方において行わなければならず、ユーザに煩わしさを感じさせ得る。

また、情報処理端末を所持しているユーザが、情報処理装置の設置位置から比較的離れているところにいる場合には、ユーザは、情報処理装置の音声入力機能を起動させる作業・操作のみならず、その作業・操作を行うために情報処理装置の設定位置まで移動しなければならないという、手間暇の要する非常に煩わしい作業をユーザに課すこととなる。

なお、前記各特許文献１，２は、いずれも音声入力による遠隔操作を実現する技術を提供するものではなく、上記のような課題を解決できるものではない。

そこで、本発明は、このような課題に鑑みてなされたものであり、情報処理端末への音声の入力によって情報処理装置の遠隔操作を可能とするためにユーザに課す作業を可及的に低減し、利便性の高い情報処理システム、情報処理装置、情報処理端末及びプログラムを提供することを目的とする。

前記目的を達成するため、請求項１に記載の発明は、音声を取り込む音声入力モードをそれぞれ有する情報処理端末及び情報処理装置が互いに通信可能に備えられ、前記情報処理端末と前記情報処理装置との間の通信機能を用いて、前記情報処理装置を前記情報処理端末で遠隔操作可能な情報処理システムであって、前記情報処理端末は、当該情報処理端末を前記音声入力モードに設定させる指示を入力するための入力手段と、前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、を備え、前記情報処理装置は、前記メッセージ送信手段から前記メッセージを受信するメッセージ受信手段と、前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、前記音声入力モード中に前記転送手段により転送される音声を取得した場合に、当該音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、を備え、前記情報処理端末及び前記情報処理装置のうち少なくとも一方は、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を前記情報処理端末及び前記情報処理装置のいずれか一方に決定する決定手段と、を更に備え、前記情報処理端末及び前記情報処理装置は、前記決定手段の決定内容を共有し、該決定内容に基づいて前記各タスクを実行することを特徴とするものである。

請求項２に記載の発明は、請求項１に記載の情報処理システムにおいて、前記情報処理装置は、前記装置側音声入力モード設定手段により当該情報処理装置が音声入力モードに設定されると、その旨の通知を前記情報処理端末に送信し、前記情報処理端末の前記端末側音声入力モード設定手段は、前記情報処理装置から前記通知を受信すると、当該情報処理端末を音声入力モードに設定するものである。

請求項３に記載の発明は、請求項１又は２に記載の情報処理システムにおいて、前記音声認識手段は、当該音声認識手段を有する機器で実行可能なタスクに関連するキーワードを予め記憶するキーワード記憶手段と、前記キーワード記憶手段に記憶されているキーワードを用いて、前記音声が示すジョブに含まれるタスクの認識処理を行う認識手段とを備え、前記第１の判断手段は、前記認識手段により認識されたタスクについて前記情報処理装置で実行可能か否かを判断し、前記第２の判断手段は、前記認識手段により認識されたタスクについて前記情報処理端末で実行可能か否かを判断するものである。

請求項４に記載の発明は、請求項１乃至３のいずれかに記載の情報処理システムにおいて、前記決定手段は、前記情報処理端末及び前記情報処理装置が共に実行可能であるタスクが存在するとき、そのタスクの実行主体を、当該タスクより１つ前のタスクの実行主体と同一とするものである。

請求項５に記載の発明は、請求項１乃至４のいずれか一項に記載の情報処理システムにおいて、前記情報処理端末及び前記情報処理装置は、前記決定手段の決定事項に基づき前記タスクを実行していく過程で、次に実行すべきタスクの実行主体が自機に設定されていないときには、前記次に実行すべきタスクの識別情報と、該タスクの処理対象であるデータとを相手機に送信するものである。

請求項６に記載の発明は、情報処理端末と通信可能であり、前記情報処理端末による遠隔操作を受け得る情報処理装置であって、前記情報処理端末から、音声を取り込む音声入力モードの設定指示を示すメッセージを受信するメッセージ受信手段と、前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、前記決定手段の決定内容を前記情報処理端末と共有し、前記情報処理端末と連携して前記複数のタスクを順に実行する実行手段と、を備えることを特徴とするものである。

請求項７に記載の発明は、音声を取り込む音声入力モードを有する情報処理装置と通信可能であり、前記情報処理装置を遠隔操作可能な情報処理端末であって、当該情報処理端末を、音声を取り込む音声入力モードに設定させる指示を入力するための入力手段と、前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、前記決定手段の決定内容を前記情報処理装置と共有し、前記情報処理装置と連携して前記複数のタスクを順に実行する実行手段と、を備えるものである。

請求項８に記載の発明は、情報処理端末と通信可能であり、前記情報処理端末による遠隔操作を受け得る情報処理装置を動作させるプログラムであって、前記情報処理装置を、前記情報処理端末から、音声を取り込む音声入力モードの設定指示を示すメッセージを受信するメッセージ受信手段と、前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、前記決定手段の決定内容を前記情報処理端末と共有し、前記情報処理端末と連携して前記複数のタスクを順に実行する実行手段、として機能させるものである。

請求項９に記載の発明は、音声を取り込む音声入力モードを有する情報処理装置と通信可能であり、前記情報処理装置を遠隔操作可能な情報処理端末を動作させるプログラムであって、前記情報処理端末を、当該情報処理端末を、音声を取り込む音声入力モードに設定させる指示を入力するための入力手段と、前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、前記決定手段の決定内容を前記情報処理装置と共有し、前記情報処理装置と連携して前記複数のタスクを順に実行する実行手段と、として機能させるものである。

本発明によれば、ユーザが情報処理装置に所望のジョブを行わせようとする場合に、音声入力モードの設定指示を情報処理端末に入力するだけで情報処理装置が音声入力モードに設定されることになり、ユーザは、情報処理装置の音声入力モードをオンにする作業が不要となる。また、該ジョブを示す音声を情報処理端末に入力するだけで該ジョブが実行されることとなる。

そのため、情報処理端末を所持しているユーザが情報処理装置の位置から比較的離れている場合、情報処理装置を音声入力モードに設定すべく情報処理装置まで移動する必要性が無くなり、それに因る多大な手間暇を要する作業もユーザに課すことが無くなる。

これらの結果、情報処理端末への音声の入力によって情報処理装置の遠隔操作を可能とするためにユーザに課す作業を可及的に低減することができ、利便性の高い情報処理システムを提供することができる。

本発明に係る情報処理システムの一構成例を示す概念図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理端末のハードウェア構成の一例を示す図である。 情報処理装置における機能構成の一例を示すブロック図である。 情報処理端末における機能構成の一例を示すブロック図である。 （ａ）は、情報処理装置が音声入力モードに設定される前において情報処理装置の表示部に表示される操作画面の一例を示す図、（ｂ）は、情報処理装置が音声入力モードに設定された場合に、情報処理装置の表示部に表示される操作画面の一例を示す図である。 ワークフロー生成部で作成される暫定フローの一例を示す図である。 情報処理端末から受信した暫定フローの一例を示す図である。 正式フローの一例を示す図である。 リスト作成部により作成されるタスク実行リストの一例を示す図である。 所定の操作によって情報処理端末が音声入力モードに設定された場合に表示部に表示される画面の一例である。 情報処理装置の一連の処理を示すフローチャートである。 情報処理装置の一連の処理を示すフローチャートである。 図１３のステップＳ２６で表示部に表示される表示画面の一例である。 情報処理端末の一連の処理を示すフローチャートである。 情報処理端末の一連の処理を示すフローチャートである。 図１５のステップＳ１０３で表示されるエラー画面の一例を示す図である。 図１６のステップＳ１２８で表示部に表示される表示画面の一例を示す図である。 情報処理装置で生成された正式フロー及びタスク実行リストが図９、図１０に示すものである場合に、情報処理装置と情報処理端末との間で行われるタスク実行権の受け渡し等を示す図である。

以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する部材には同一の符号を付しており、それらについての重複する説明は省略する。

図１は、本実施形態における情報処理システム１の一構成例を示す概念図である。

図１に示す情報処理システム１は、ＭＦＰ等で構成される情報処理装置２と、ユーザが使用する情報処理端末３とが相互に通信可能な構成である。情報処理装置２と情報処理端末３との間の通信は、アクセスポイント４を介したＬＡＮ（Local Area Network）やインターネットを含む広域ネットワーク等のネットワーク通信であってもよいし、赤外線通信規格であるＩｒＤＡ（Infrared Data Association）、電波や電磁界などを用いた近距離無線通信であってもよい。本実施形態では、前者のネットワーク通信であるものとする。

情報処理装置２は、前記ネットワーク通信を介してデータの通信を行う機能を有する他、スキャン機能、プリント機能、コピー機能及びＢＯＸ機能などの複数の機能を備えている。スキャン機能は、情報処理装置２の例えば装置本体５の上部に設けられた画像読取部６を駆動して原稿の読み取り動作を行い、画像データを生成する機能である。プリント機能は、情報処理装置２の例えば装置本体５の中央部に設けられた画像形成部７を駆動して印刷出力を行う機能である。コピー機能は、スキャン機能とプリント機能とが連携して動作し、原稿の複写出力を行う機能である。ＢＯＸ機能は、情報処理装置２内に設けられた後述の記憶領域（ＢＯＸ）に各種データを記憶しておく機能であり、例えばスキャン機能により得られた画像データを記憶したり、ネットワーク通信により取得したデータを記憶したりする。これらの機能は、ネットワーク通信によるデータの通信機能と連動することも可能である。

また、情報処理装置２は、外部の音を音データとして取り込む音入力機能、情報処理端末３から送信されてくる音データを取り込む音データ受信機能、これらの音入力機能や音データ受信機能によって取得した音データに、ジョブの実行指示を示す音声のデータ（音声データ）が含まれている否かを解析する音声解析機能等を有する。

情報処理装置２は、装置本体５の例えば正面側に、ユーザが情報処理装置２を操作する際のユーザインターフェースとなる操作パネル８を備えている。情報処理装置２は、例えばこの操作パネル８に対して行われるユーザの指示操作に基づき、上述した複数の各機能のうちの少なくとも１つを動作させ、ユーザによって指定されたジョブを実行する。

また、前記音入力機能を実現するため、操作パネル８には、外部の音を取り込む後述の集音部１１（図２参照）が搭載されている。なお、本実施形態では、前記集音部１１の搭載場所は操作パネル８に限定されるものではなく、装置本体５に搭載されていてもよい。

一方、情報処理端末３は、図１に示すようなタブレット端末やスマートフォンなどの通信端末や、図略の一般的なパーソナルコンピュータなどで構成される。情報処理端末３は、有線又は無線によりアクセスポイント４を介して広域又はローカルのネットワークに接続され、ネットワークを介して各種の装置との通信を行う。情報処理端末３が情報処理装置２と通信を行うことにより、ユーザが情報処理端末３を用いて情報処理装置２に対する遠隔操作（リモート操作）を行うことができるようになっている。

図２は、情報処理装置２のハードウェア構成の一例を示す図である。情報処理装置２は、上述したように、画像読取部６、画像形成部７及び操作パネル８を備えている。操作パネル８は、表示部９と操作部１０とを備えており、操作パネル８を操作するユーザに対して各種情報を表示したり、ユーザからの各種操作入力を受け付けたりすることができるようになっている。

操作パネル８は、さらに前述の集音部１１を備えている。集音部１１は、外部の音を電気信号（音データ）として取り込むマイクなどからなり、後述する音声入力モードがオンのときに、外部の音を取り込んで電気信号に変換する処理を実行する。

図２に示すように、情報処理装置２は、前記各部６〜１１の他、制御部１２と、ネットワークインタフェース（ネットワークＩ／Ｆ）１３と、記憶部１４とを備えている。制御部１２は、ＣＰＵ１５とメモリ１６とを備えており、ＣＰＵ１５が記憶部１４に記憶されている各種プログラムを実行することにより、各部の動作を制御する。メモリ１６は、ＣＰＵ１５がプログラムを実行することに伴って発生する一時的なデータなどを記憶するためのものである。ネットワークＩ／Ｆ１３は、情報処理装置２をネットワークに接続してネットワーク通信を行うためのものである。

記憶部１４は、ハードディスクドライブ（ＨＤＤ）等で構成される不揮発性の記憶手段であり、この記憶部１４には、プログラム１７と、ブラウザプログラム１８と、ユーザ登録情報１９とが記憶されている。

プログラム１７は、情報処理装置２における基本プログラムである。このプログラム１７は、例えば情報処理装置２に対して電源が投入されることに伴い、制御部１２のＣＰＵ１５によって自動的に読み出されて実行される。ブラウザプログラム１８は、Ｗｅｂページなどのコンテンツを閲覧表示するためのプログラムである。ユーザ登録情報１９は、情報処理装置２を使用することが許可された各ユーザに関する情報が登録された情報である。

図３は、情報処理端末３のハードウェア構成の一例を示す図である。図３に示す情報処理端末３は、ＣＰＵ２１及びメモリ２２を有する制御部２０と、ネットワークインタフェース（ネットワークＩ／Ｆ）２３と、表示部２４と、操作部２５と、集音部２６と、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等で構成される記憶部２７とを備えている。

制御部２０は、ＣＰＵ２１が各種プログラムを実行することにより、各部の動作を制御する。メモリ２２は、ＣＰＵ２１がプログラムを実行することに伴って発生する一時的なデータなどを記憶するためのものである。ネットワークＩ／Ｆ２３は、情報処理端末３をネットワークに接続し、有線又は無線によるデータ通信を行うためのものである。表示部２４は、ユーザに対して各種の情報を表示するためのものであり、例えばカラー液晶ディスプレイなどで構成される。

操作部２５は、ユーザからの各種指示操作を受け付けるためのものである。情報処理端末３が通信端末である場合、操作部２５は、表示部２４の表示画面上に配置されるタッチパネルセンサー等によって構成されている。操作部２５に対して所定の操作を行うことにより、情報処理端末３は、集音部２６を用いて外部の音声を取り込んで電気信号に変換する音声入力モードに設定される。記憶部２７は、不揮発性の記憶手段であり、情報処理端末３に予めインストールされるプログラムや各種情報などを記憶する。

集音部２６は、外部の音を電気信号として取り込むマイクなどからなり、前記音声入力モードがオンのときに、外部の音を取り込んで電気信号に変換する処理を実行する。

本実施形態の情報処理端末３は、記憶部２７に、予めリモート制御プログラム２８がインストールされている。そして、ユーザが、リモート制御プログラム２８の起動を指示すると、制御部２０のＣＰＵ２１がリモート制御プログラム２８を読み出して実行する。これにより、情報処理端末３において情報処理装置２をリモート制御する機能が動作し、情報処理端末３と情報処理装置２との通信が開始される。そして、ユーザは、情報処理端末３への音声入力により情報処理装置２の遠隔操作を行うことができるようになっている。

このリモート制御プログラム２８には、図３に示すように、ブラウザプログラム２９が含まれている。このブラウザプログラム２９は、ユーザが情報処理装置２のリモート操作を行っているときに、必要に応じて自動的に起動される遠隔操作時専用のブラウザプログラム２９である。

記憶部２７には、ユーザに関するユーザ情報３０が記憶されている。このユーザ情報３０は、情報処理装置２を利用するための情報であり、情報処理端末３が情報処理装置２のリモート制御を開始する際に情報処理装置２へ送信される情報である。ユーザ情報３０が情報処理装置２へ送信されることにより、情報処理装置２は、リモート操作を行うユーザが正規のユーザであるか否かを認証することができる。

次に、情報処理システム１において、情報処理端末３から情報処理装置２をリモート制御する場合の機能について説明する。図４は、情報処理装置２における機能構成の一例を示すブロック図である。

図４に示すように、情報処理装置２の制御部１２は、認証処理部３１と、操作画面制御部３２と、モード設定部３３と、音声認識部３４と、メッセージ送信部３５と、メッセージ受信部３６と、転送部３７と、判断部３８と、リスト処理部３９と、タスク実行指示部４０として機能する。

認証処理部３１は、情報処理端末３からユーザ情報３０（図３参照）を取得すると、そのユーザ情報３０に一致する情報が記憶部１４にユーザ登録情報１９として登録されているか否かを判別することにより、情報処理端末３のユーザが正規のユーザであるか否かを認証する処理部である。認証処理部３１による認証処理で正規のユーザであることが特定されると、制御部１２において操作画面制御部３２が機能する。

操作画面制御部３２は、情報処理端末３において表示する遠隔操作のための操作画面に関する処理を行う。すなわち、操作画面制御部３２は、ユーザが情報処理端末３で遠隔操作を行うための操作画面を生成して表示部９に表示するとともに、その操作画面を情報処理端末３に送信する。

また、その操作画面に対する操作情報を情報処理端末３から受信し、情報処理端末３において表示される操作画面を制御（更新）する。具体的には、操作画面制御部３２は、情報処理端末３から操作情報を受信すると、その操作情報を解析することにより、情報処理端末３を操作するユーザによって指定された処理を特定する。

その結果、ユーザによって指定された処理内容が操作画面を更新するものである場合、操作画面制御部３２は、操作情報に基づいて操作画面を更新する。そして、操作画面制御部３２は、操作画面を更新する都度、その操作画面を情報処理端末３に送信する。したがって、情報処理端末３において表示される操作画面は、ユーザによる操作が反映された状態に更新される。

また、操作画面制御部３２において操作情報を解析した結果、ユーザによるジョブの実行指示を受信した場合には、制御部１２のタスク実行指示部４０が機能する。タスク実行指示部４０は、情報処理端末３から受信するジョブ実行指示に基づき、画像読取部６及び画像形成部７のそれぞれを駆動することによってジョブの達成に必要な段階的処理（タスク）の実行を制御する。

モード設定部３３は、当該情報処理装置２を音声入力モードに設定させる指示が入力されると、当該情報処理装置２を音声入力モードに設定する。情報処理装置２が音声入力モードに設定される前においては、情報処理装置２の表示部９には、図６（ａ）に示すように、「音声入力」キーＫ１を有する操作画面Ｇ１が表示されており、ユーザが「音声入力」キーＫ１に対して操作を行うことで、情報処理装置２を音声入力モードに設定させる指示が入力される。

なお、この「音声入力」キーＫ１の操作によって情報処理装置２が音声入力モードに設定されると、情報処理装置２の表示部９には、図６（ｂ）に示すように、音声入力モードを解除（オフ）する旨を入力するための「音声入力解除」キーＫ２を有する操作画面Ｇ２が表示される。ユーザが「音声入力解除」キーＫ２に対して操作を行うと、情報処理装置２の音声入力モード設定を解除させる指示が入力される。

さらに、本実施形態では、モード設定部３３は、情報処理端末３で音声入力モードの設定指示が入力されたことに伴い該設定指示を示すメッセージが情報処理端末３から送信されてきた場合にも、当該情報処理装置２を音声入力モードに設定する。

情報処理装置２は、モード設定部５１により音声入力モードに設定されると、前記集音部１１による集音機能がオンとなり、集音部１１は、外部の音を取り込む。

音声認識部３４は、集音部１１が音を取り込んで電気信号（音データ）を出力すると、その音データに音声のデータ（音声データ）が含まれているか否かを解析し、音声データが含まれている場合には、その音声の内容を認識する。また、情報処理端末３の集音部２６が音を電気信号（音データ）として取り込むと、その音データが情報処理端末３から転送されてくるので、音声認識部３４は、その情報処理端末３から転送されてきた音データに音声データが含まれているか否かを解析し、音声データが含まれている場合には、その音声の内容を認識する。

さらに、音声認識部３４は、情報処理装置２のジョブの達成に必要な全ての段階的処理（タスク）のうち、自機（情報処理装置２）で認識可能なタスクを示す音声が、前記のように認識した音声に含まれているか否かを判断するものであり、キーワード記憶部４１と、タスク認識部４２とを備える。

タスク（段階的処理）とは、例えば「原稿をスキャンして、Ａさんの情報処理端末にメールで送る」というジョブにおいては、「原稿をスキャンする」という処理、「画像データをファイル化し、メモリに保存する」という処理、「Ａさんのメールアドレスを自動設定する」という処理、「画像ファイルをメールに添付する」という処理、及び、「メールを送信する」という処理の各処理に該当する。

キーワード記憶部４１は、前記タスクに関連するキーワードを予め記憶するものである。前記キーワードとして、例えば「原稿」、「スキャン」、「Ａさん」、「メール」及び「送信」が考えられる。

タスク認識部４２は、前記キーワード記憶部４１に記憶されているキーワードを用いて、前記音声認識部３４により認識された音声に含まれるタスクの認識処理を行うものである。

具体的には、タスク認識部４２は、音声認識部３４により認識された音声に対し、先頭の音声から順に、前記キーワード記憶部４１に記憶されているキーワードの存在を認識する処理を行っていき、存在を認識したキーワードを認識順に並べていく。

例えば、「原稿をスキャンして、Ａさんの情報処理端末にメールで送る。」というジョブを示す音声が入力された場合を想定する。この場合において、例えば「原稿」、「スキャン」、「Ａさん」、「メール」及び「送信」がキーワードとして前記キーワード記憶部４１に予め記憶されているとき（パターン１という）には、タスク認識部４２は、音声中に、「原稿」、「スキャン」、「Ａさん」、「メール」及び「送信」というキーワードが存在することを認識し、これらのキーワードをその順番に並べることになる。

一方、前記キーワード記憶部４１に、例えば「メール」というキーワードが記憶されていないとき（パターン２という）には、タスク認識部４２は、「メール」というキーワードの存在を認識することはない。

そして、タスク認識部４２は、先頭のキーワードから順に着目していき、単一のキーワード、もしくは、複数のキーワードの組み合わせに基づいて、特定のタスクの存在を認識する処理を行う。

例えば前記パターン１の場合、タスク認識部４２は、先頭のキーワードである「原稿」から着目していき、「原稿」及び「スキャン」というキーワードの組み合わせに基づき、「原稿をスキャン」というタスクの存在を認識する。また、タスク認識部４２は、「Ａさん」、「メール」、「送信」というキーワードの組み合わせに基づき、例えば「Ａさんのメールアドレスを自動設定」、「画像ファイルをメールに添付」、「メールを送信」というタスクの存在を認識する。

一方、例えば前記パターン２の場合、前述したように、タスク認識部４２は、「メール」というタスクの存在を認識することはないことから、「画像ファイルをメールに添付」というタスクを認識することはなく、「原稿をスキャン」、「画像ファイルをメールに添付」、「メールを送信」というタスクの存在を認識することとなる。

タスク認識部４２は、このようにして認識したタスクを、認識した順番に並べていく。例えば前記パターン１の場合、タスク認識部４２は、「原稿をスキャン」、「Ａさんのメールアドレスを自動設定」、「画像ファイルをメールに添付」及び「メールを送信」という各タスクをこの順番に並べる。また、例えば前記パターン２の場合、タスク認識部４２は、「原稿をスキャン」、「画像ファイルをメールに添付」、「メールを送信」という各タスクをこの順番に並べる。

次に、タスク認識部４２は、このようにして並べた一連のタスクにおける連続した２つのタスクに着目し、その２つのタスク間へのタスクの補間の必要性を判断する。

例えば前記パターン１の場合、スキャンにより得られた画像データの処理、例えば「画像データをファイル化し、メモリに保存する」というタスクが欠落している。

したがって、タスク認識部４２は、「原稿をスキャンする」というタスクと、「Ａさんのメールアドレスを自動設定」というタスクとの間に、「画像データをファイル化し、メモリに保存する」というタスクを補間する必要性があると判断し、該タスクを補間する。

メッセージ送信部３５は、情報処理装置２において、当該装置２を音声入力モードに設定させる指示が入力されると、前記音声入力モードの設定指示を示すメッセージを情報処理端末３に送信するものである。

メッセージ受信部３６は、情報処理端末３から前記音声入力モードの設定指示を示すメッセージを受信するものである。情報処理端末３には、後述するように、前記メッセージ送信部３５と同様のメッセージ送信部５６（図５参照）が備えられており、メッセージ受信部３６は、情報処理端末３において当該端末３を音声入力モードに設定させる指示が入力されたことにより情報処理端末３のメッセージ送信部５６から前記メッセージが送られてくると、そのメッセージを受信する。

転送部３７は、情報処理装置２と情報処理端末３との間の通信接続が確立している状態で集音部１１により外部の音が取り込まれると、取り込んだ音のデータ（音データ）を情報処理端末３に転送するものである。

判断部３８は、タスク認識部４２により認識された各タスクのうち前記情報処理装置２で実行可能なタスクを判断し、それらのタスクの実行順を示すワークフローを生成し、情報処理端末３に送信するものであり、ワークフロー生成部４３と、ワークフロー送受信部４４とを備える。

ワークフロー生成部４３は、タスク認識部４２により認識されたタスクに基づく暫定的なワークフロー（以下、暫定フローという）を作成する。

具体的には、ワークフロー生成部４３は、まず、タスク認識部４２により認識された各タスクについて、自機（情報処理装置２）で実行可能か否かを判断する。そして、ワークフロー生成部４３は、タスクとその実行可否についての判断結果とを対応付けたものを暫定フローとして作成する。

図７は、ワークフロー生成部４３で作成される暫定フローの一例を示す図である。図７に示すように、暫定フローは、タスク認識部４２により認識された各タスクの内容が順番に並べられており、これらの各タスクについて、ワークフロー生成部４３による実行可否の判断結果「○」もしくは「×」が対応付けられている。「○」は、ワークフロー生成部４３が自機で実行可能なものであると判断した結果を示し、「×」は、ワークフロー生成部４３が自機で実行できないものであると判断した結果を示す。

すなわち、この図７に示す暫定フローは、「原稿をスキャン」、「画像データをファイル化し、メモリに保存」、「画像ファイルをメールに添付」及び「メール送信」の各タスクについては、情報処理装置２で実行可能であるとワークフロー生成部４３が判断する一方、「Ａさんのメールアドレスを自動設定」のタスクについては、情報処理装置２では実行できないとワークフロー生成部４３が判断したことを示している。

なお、各タスクには、当該タスクを識別するためのＩＤ（Identification；以下、タスクＩＤという）が対応付けられている。例えば、「原稿をスキャン」というタスクには、タスクＩＤ「１」が対応付けられており、「Ａさんのメールアドレスを自動設定」というタスクには、タスクＩＤ「３」が対応付けられている。

本実施形態では、ワークフロー生成部４３が自機についての暫定フローを生成する一方で、情報処理端末３においても同様に情報処理端末３についての暫定フローが生成されるため、ワークフロー生成部４３は、この情報処理端末３から送信される暫定フローを取得する。そして、ワークフロー生成部４３は、この取得した暫定フローと、自機についての暫定フローとを対比し、各暫定フローにおける各タスクを全て含んだワークフローを正式のワークフロー（以下、正式フローという）として生成する。図８は、情報処理端末３から受信した暫定フローの一例を示し、図９は、正式フローの一例を示す図である。

図８に示す暫定フローは、情報処理端末３において、「Ａさんのメールアドレスを自動設定」、「画像ファイルをメールに添付」及び「メール送信」の３つのタスクが認識されるとともに、「Ａさんのメールアドレスを自動設定」のタスクと、「メール送信」のタスクとについては、情報処理端末３で実行可能であると判断され、「画像ファイルをメールに添付」のタスクについては、情報処理端末３で実行できないと判断されたことを示している。

そして、例えば、情報処理装置２においては図７に示す暫定フローが生成され、情報処理端末３においては図８に示す暫定フローが生成された場合、「原稿をスキャン」、「画像データをファイル化し、メモリに保存する」、「Ａさんのメールアドレスを自動設定」、「画像ファイルをメールに添付」、「メールを送信」というタスクが、各暫定フローにおける全てのタスクとなり、ワークフロー生成部４３は、これらのタスクを前記記載順に並べたものを正式フローとして生成する。

ワークフロー送受信部４４は、ワークフロー生成部４３により生成された暫定フローを情報処理端末３に送信するとともに、情報処理端末３から送信されてくる暫定フローを受信するものである。また、ワークフロー生成部４３により生成された正式フローを情報処理端末３に送信するものである。

リスト処理部３９は、後述するタスク実行リストに関する処理を行うものであり、決定部４５と、リスト作成部４６と、リスト送信部４７とを備える。

決定部４５は、ワークフロー生成部４３により生成された暫定フローと、情報処理端末３から受信した暫定フローとに基づき、前記正式フローに含まれる各タスクの実行主体を情報処理端末３及び情報処理装置２のいずれか一方に決定するものである。

決定部４５は、ワークフロー生成部４３により生成された暫定フローと、情報処理端末３から受信した暫定フローとを参照し、いずれか一方の機器（情報処理装置２若しくは情報処理端末３）にしか実行できないタスクについては、その一方の機器を実行主体とする。例えば図７、図８に示す暫定フローにおける「画像ファイルをメールに添付」というタスクについては、情報処理端末３では実行できず、情報処理装置２においてのみ実行可能であることから、決定部４５は、このタスクの実行主体を情報処理装置２と決定する。

一方、決定部４５は、両方の機器において実行できるタスクについては、次の条件（１），（２）によって実行主体を決定する。

すなわち、（１）決定部４５は、同一の実行主体がタスクをより多く連続して実行できるように、当該タスクの実行主体を、正式フローにおいて当該タスクより１つ前のタスクの実行主体と同一とする。例えば、図７、図８に示す暫定フローにおける「メールを送信」というタスクについては、情報処理装置２も情報処理端末３もどちらも実行可能であるが、そのタスクの１つ前の「画像ファイルをメールに添付」というタスクの実行主体が情報処理装置２に設定されている。

そのため、この「画像ファイルをメールに添付」というタスクに引き続いて「メールを送信」というタスクも情報処理装置２により実行されるように、決定部４５は、「メールを送信」というタスクの実行主体を情報処理装置２と決定する。これにより、実行主体の切り替え回数が抑制され、実行主体の切り替えに伴う各種のロスを低減することができる。

（２）（１）以外の場合、決定部４５は、実行主体を情報処理装置２と決定する。なお、ここでは、（１）以外の場合の実行主体を情報処理装置２と決定したが、本発明においては、情報処理端末３とすることを排除するものではない。

なお、ワークフロー生成部４３により生成された正式フローのタスクの中で、情報処理装置２でも情報処理端末３でも実行できないタスクが存在する場合には、決定部４５は、当該ジョブを実行できない旨のエラー報知をユーザに行う。

リスト作成部４６は、決定部４５による決定事項（前記正式フローに含まれる各タスクの実行主体についての決定事項）を表したタスク実行リストを作成するものである。図１０は、リスト作成部４６により作成されるタスク実行リストの一例を示す図である。

図１０に示すタスク実行リストは、タスクＩＤ「１」，「２」，「４」，「５」に対応するタスクの実行主体が情報処理装置２に設定され、これらのタスクを情報処理装置２で実行することを示している。また、該タスク実行リストは、タスクＩＤ「３」に対応するタスクの実行主体が情報処理端末３に設定され、このタスクを情報処理端末３で実行することを示している。

リスト送信部４７は、リスト作成部４６により作成されたタスク実行リストを情報処理端末３に送信するものである。

タスク実行指示部４０は、前記リスト作成部４６により受信されたタスク実行リストに基づいて、情報処理装置２内の各部に、自機（情報処理装置２）が担当するタスク（自機が実行主体に設定されたタスク）の実行指示を行うものである。

タスク実行指示部４０は、正式フローにおける各タスクを情報処理端末３と連携しつつ順に実行するため、現在自機で実行しているタスクの次に実行すべきタスクの実行主体が情報処理端末３に設定されているときには、現在自機で実行しているタスクの実行が完了すると、自機（情報処理装置２）のＩＤと、情報処理端末３が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む一群のデータを引き継ぎデータとして情報処理端末３に送信する。

図５は、情報処理端末３における機能構成の一例を示すブロック図である。

図５に示すように、情報処理端末３は、モード設定部５１として機能するとともに、制御部１２においてリモート制御プログラム２８（図３参照）が起動することに伴い、ユーザ認証部５２及びリモート制御部５３として機能する。

モード設定部５１は、当該情報処理端末３を音声入力モードに設定させる指示が入力されると、当該情報処理端末３を音声入力モードに設定する。

情報処理端末３を音声入力モードに設定させる指示の入力方法は、その入力時に、情報処理端末３と情報処理装置２との間で通信が可能に確立されている否か（リモート制御部５３が起動しているか否か）に応じて異なる。

すなわち、情報処理端末３と情報処理装置２との間で通信が可能に確立されている（リモート制御部５３が起動している）場合、情報処理端末３の表示部２４には、情報処理装置２と同様、図６（ａ）に示すように、「音声入力」キーＫ１を有する操作画面Ｇ１が表示され、ユーザが「音声入力」キーＫ１に対して操作を行うことで、情報処理端末３を音声入力モードに設定させる指示が入力される。

なお、この「音声入力」キーＫ１の操作によって情報処理端末３が音声入力モードに設定されると、情報処理端末３の表示部２４には、図６（ｂ）に示す操作画面Ｇ２が表示される。この操作画面Ｇ２において、ユーザにより「音声入力解除」キーＫ２に対して操作が行われると、情報処理端末３を音声入力モードに解除させる指示が入力される。

一方、情報処理端末３と情報処理装置２との間で通信が可能に確立されていない（リモート制御部５３が起動していない）場合には、情報処理端末３に設けられている所定のボタンやキーを操作することで、情報処理端末３を音声入力モードに設定させる指示が入力される。図１１は、前記所定のボタンやキーの操作によって情報処理端末３が音声入力モードに設定された場合に表示部２４に表示される画面の一例である。図１１に示す表示画面Ｇ３には、「おはなしください」とのメッセージが表示されており、このメッセージにより、情報処理端末３が音声による入力を受け付ける音声入力モードに設定された旨がユーザに対して示される。

さらに、モード設定部５１は、情報処理端末３において当該端末３を音声入力モードに設定させる指示が入力された場合の他、前記音声入力モードの設定指示を示すメッセージが情報処理装置２から送信されてきた場合も、情報処理端末３を音声入力モードに設定する。

このようにしてモード設定部５１により音声入力モードに設定されると、前記集音部２６による集音機能がオンとなり、集音部２６は外部の音を取り込む。

ユーザ認証部５２は、制御部２０においてリモート制御プログラム２８が起動することに伴い、記憶部２７からユーザ情報３０を読み出して情報処理装置２に認証要求を行う処理部である。すなわち、ユーザ認証部５２は、ネットワークＩ／Ｆ２３を介してユーザ情報３０を情報処理装置２へ送信し、情報処理装置２において行われる認証処理の結果を取得する。そして、情報処理装置２における認証処理で正規のユーザであることが認証されると、リモート制御部５３を機能させる。

リモート制御部５３は、ネットワークを介して情報処理装置２をリモート制御する処理部である。リモート制御部５３は、図５に示すように、操作画面処理部５４と、音声認識部５５と、メッセージ送信部５６と、メッセージ受信部５７と、転送部５８と、判断部５９と、リスト受信部６０と、タスク実行指示部６１として機能する。

操作画面処理部５４は、情報処理装置２の遠隔操作を行うための遠隔操作画面を表示部２４に表示するものである。操作画面処理部５４は、遠隔操作画面の少なくとも一部を情報処理装置２から取得して表示部２４に表示する。また、操作画面処理部５４は、遠隔操作画面を表示している状態でユーザによる操作を検出すると、その操作に対応する操作情報を生成し、この生成した操作情報を情報処理装置２へ送信する。

操作画面処理部５４は、操作情報を情報処理装置２へ送信することに伴い、情報処理装置２から操作画面を新たに取得すると、その操作画面を表示部２４に更新的に表示する。

音声認識部５５は、情報処理端末３の音声入力モードがオンとなっている場合に、前記情報処理装置２の音声認識部３４と同様の処理を行うものである。すなわち、音声認識部５５は、情報処理端末の集音部２６が音を取り込んで電気信号（音データ）を出力すると、その音データに音声のデータ（音声データ）が含まれているか否かを解析し、音声データが含まれている場合には、その音声の内容を認識する。

また、音声認識部５５は、情報処理装置２の集音部１１から音データが転送されてくると、その転送されてきた音データに音声データが含まれているか否かを解析し、音声データが含まれている場合には、その音声の内容を認識する。

さらに、音声認識部５５は、情報処理装置２のジョブの達成に必要な全ての段階的処理（タスク）のうち、自機（情報処理端末３）で認識可能なタスクを示す音声が、前記のように認識した音声に含まれているか否かを判断するものであり、キーワード記憶部６２と、タスク認識部６３とを備える。

キーワード記憶部６２は、情報処理装置２のキーワード記憶部４１と同様のものであるため、その説明は省略する。

タスク認識部６３は、前記キーワード記憶部６２に記憶されているキーワードを用いて、前記音声認識部５５により認識された音声に含まれるタスクの認識処理を行うものである。なお、タスク認識部６３によるタスクの認識処理の具体的な方法については、情報処理装置２のタスク認識部４２と同様であるため、その説明は省略する。

メッセージ送信部５６は、前記リモート制御プログラム２８が起動している状態で当該情報処理端末３を音声入力モードに設定させる指示が入力されると、前記音声入力モードの設定指示を示すメッセージを情報処理装置２に送信するものである。

メッセージ受信部５７は、情報処理装置２において当該情報処理装置２を音声入力モードに設定させる指示が入力されたことにより、情報処理装置２のメッセージ送信部３５から前記メッセージが送られてきた場合に、そのメッセージを受信するものである。

転送部５８は、情報処理装置２と情報処理端末３との間の通信接続が確立している（リモート制御部５３が起動している）状態で、集音部２６により外部の音が取り込まれると、取り込んだ音のデータ（音データ）を情報処理装置２に転送するものである。

判断部５９は、前記タスク認識部６３により認識された各タスクのうち前記情報処理端末３で実行可能なタスクを判断し、それらのタスクの実行順を示すワークフローを生成し、情報処理装置２に送信するものであり、ワークフロー生成部６４と、ワークフロー送受信部６５とを備える。

ワークフロー生成部６４は、タスク認識部６３により認識されたタスクに基づく暫定的なワークフロー（暫定フロー）を作成する。なお、ワークフロー生成部６４による前記暫定フローの具体的な生成方法については、情報処理装置２のワークフロー生成部４３と同様であるため、その説明は省略する。ただし、本実施形態では、ワークフロー生成部６４は、暫定フローの生成までに止まり、情報処理装置２のワークフロー生成部４３のように正式フローの生成を行うことはないものとする。

ワークフロー送受信部６５は、ワークフロー生成部６４により生成された暫定フローを情報処理装置２に送信したり、情報処理装置２から正式フローが送信されてきた場合にその正式フローを受信したりするものである。

リスト受信部６０は、情報処理装置２のリスト送信部４７から送信されてくる前記タスク実行リスト（図１０参照）を受信するものである。

タスク実行指示部６１は、前記リスト受信部６０により受信されたタスク実行リストに基づいて、情報処理端末３内の各部に、自機（情報処理端末３）が担当するタスクの実行指示を行うものである。

タスク実行指示部６１は、正式フローにおける各タスクを情報処理装置２と連携して順に実行するため、現在自機で実行しているタスクの次に実行すべきタスクの実行主体が情報処理装置２に設定されているときには、現在自機で実行しているタスクの実行が完了すると、自機（情報処理端末３）のＩＤと、情報処理装置２が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む一群のデータを引き継ぎデータとして情報処理装置２に送信する。

図１２、図１３は、情報処理装置２の一連の処理を示すフローチャートである。

図１２に示すように、情報処理装置２において、モード設定部３３は、音声入力モードの起動命令があると（ステップＳ１でＹＥＳ）、音声入力モードを起動（オン）する（ステップＳ２）。

次に、制御部１２は、操作画面の画面データが情報処理端末３に送信されているか否かを判断する（ステップＳ３）。つまり、制御部１２は、情報処理端末３との間で通信が確立されているか否かを判断する。その結果、制御部１２は、操作画面の画面データが情報処理端末３に送信されていると判断した場合には（ステップＳ３でＹＥＳ）、自機の識別番号を含むレスポンスメッセージを情報処理端末３に送信する（ステップＳ４）。なお、このメッセージに含める前記識別番号は、単純な整数でもよいし、ＭＡＣアドレスのような文字列でも良い。

一方、ステップＳ３において、制御部１２は、操作画面の画面データが情報処理端末３に送信されていないと判断した場合には（ステップＳ３でＮＯ）、自機の識別番号を含むメッセージであって情報処理端末３の音声入力モードを起動する指示を示すメッセージ（音声入力モード起動メッセージ）を情報処理端末３に送信し（ステップＳ５）、情報処理端末３からの応答を待機する（ステップＳ６）。

制御部１２は、一定時間内に情報処理端末３から応答があったか否かを判断し（ステップＳ７）、応答が無かったと判断した場合には（ステップＳ７でＮＯ）、エラーが発生した旨を示すエラー画面を表示部９に表示する（ステップＳ８）。

一方、制御部１２が、ステップＳ７で一定時間内に情報処理端末３から応答があったと判断した場合（ステップＳ７でＹＥＳ）、若しくは、ステップＳ４の処理後、音声認識部３４は、入力音についての解析を行う（ステップＳ９）。すなわち、音声認識部３４は、集音部１１が音を取り込んで出力した電気信号（音データ）に音声のデータ（音声データ）が含まれているか否かを解析する。一方、音声認識部３４は、情報処理端末３から音データが転送されてきた場合は、その転送されてきた音データに音声データが含まれているか否かを解析する。

音声認識部３４は、前記音データに音声データが含まれていることを検出すると（ステップＳ１０でＹＥＳ）、その音声の内容を認識し、タスク認識部４２は、ステップＳ１１で認識した音声と、キーワード記憶部４１に記憶されているキーワードとの基づき、前記音声認識部３４により認識された音声に含まれるタスクの認識処理を行う（ステップＳ１）。そして、ワークフロー生成部４３は、タスク認識部４２により認識されたタスクに基づいて前記暫定フローを生成し、ワークフロー送受信部４４は、該暫定フローを情報処理端末３に送信する（ステップＳ１２）。

また、ワークフロー送受信部４４は、情報処理端末３において生成された暫定フローを情報処理端末３から受信すると（ステップＳ１３でＹＥＳ）、ワークフロー生成部４３は、この受信した暫定フローと、自機についての暫定フローとを対比し、各暫定フローにおけるタスクを全て含んだワークフローを正式フローとして生成する（ステップＳ１４）。

さらに、決定部４５は、ワークフロー生成部４３により生成された暫定フローと、情報処理端末３から受信した暫定フローとに基づき、前記正式フローに含まれる各タスクの実行主体を情報処理端末３及び情報処理装置２のいずれか一方に決定し、リスト作成部４６は、決定部４５による決定事項を表したタスク実行リストを生成する（ステップＳ１５）。

そして、ワークフロー送受信部４４は、ワークフロー生成部４３により生成された正式フローを情報処理端末３に送信し、また、リスト送信部４７は、リスト作成部４６により作成されたタスク実行リストを情報処理端末３に送信する（ステップＳ１６）。

その後、制御部１２は、一定期間中に情報処理端末３から何らかのレスポンス（返信）が有ったか否かを判断し（ステップＳ１７）、前記レスポンスが無かったと判断した場合には（ステップＳ１７でＮＯ）、エラーが発生した旨のエラー画面を表示部９に表示する（ステップＳ１８）。

また、制御部１２は、一定期間中に情報処理端末３から何らかのレスポンス（返信）が有ったと判断した場合であっても（ステップＳ１７でＹＥＳ）、前記レスポンスの内容が、前記正式フロー及びタスク実行リストで了解した旨の内容ではない場合には（ステップＳ１９でＮＯ）、前記エラー画面を表示部９に表示する（ステップＳ１８）。

一方、ステップＳ１９において、前記レスポンスの内容が、前記正式フロー及びタスク実行リストで了解した旨の内容であった場合（ステップＳ１９でＹＥＳ）、タスク実行指示部４０は、前記リスト作成部４６により受信されたタスク実行リストに基づくタスクの実行指示を開始する（ステップＳ２０）。

タスク実行指示部４０は、タスク実行リストに基づいて、現在実行しているタスクの次に実行すべきタスクの実行主体を確認し（ステップＳ２１）、前記実行主体が自機（情報処理装置２）である場合には（ステップＳ２２でＹＥＳ）、次に実行すべきタスクを実行するタイミングがくると、該タスクを実行指示する（ステップＳ２３）。

そして、タスク実行指示部４０は、さらにその次に実行すべきタスクが無いか否かを判断し（ステップＳ２４）、ある場合には（ステップＳ２４でＮＯ）、ステップＳ２１の処理に戻る一方、無い場合には（ステップＳ２４でＹＥＳ）、制御部１２は、ジョブが終了した旨のメッセージを情報処理端末３に送信し（ステップＳ２５）、前記メッセージを表示部９に表示する（ステップＳ２６）。図１４は、ステップＳ２６で表示部９に表示される表示画面Ｇ４の一例である。図１４に示すように、表示画面Ｇ４には、ジョブの実行が終了した旨を示すメッセージ「ジョブが終了しました」が表示されている。

ステップＳ２２において、現在実行しているタスクの次に実行すべきタスクの実行主体が自機（情報処理装置２）ではなく情報処理端末３である場合には（ステップＳ２２でＮＯ）、タスク実行指示部４０は、自機（情報処理装置２）のＩＤと、情報処理端末３が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む一群のデータを引き継ぎデータとして情報処理端末３に送信する（ステップＳ２７）。

そして、タスク実行指示部４０は、一定時間内に何らかの返信を情報処理端末３から受信したか否かを判断し（ステップＳ２８）、返信を受信していないと判断した場合には（ステップＳ２８でＮＯ）、エラーが発生した旨のメッセージを情報処理端末３に送信し（ステップＳ２９）、該メッセージを表示部９に表示する（ステップＳ３０）。

一方、ステップＳ２８において、タスク実行指示部４０は、一定時間内に何らかの返信を情報処理端末３から受信したと判断した場合には（ステップＳ２８でＹＥＳ）、その返信が引き継ぎデータであるか否かを判断し（ステップＳ３１）、引き継ぎデータであると判断した場合には（ステップＳ３１でＹＥＳ）、ステップＳ２１の処理に戻る。

一方、ステップＳ３１において、前記返信が引き継ぎデータではない場合には（ステップＳ３１でＮＯ）、タスク実行指示部４０は、前記返信が、ジョブが終了した旨のメッセージ（ジョブ終了メッセージ）であるか否かを判断し（ステップＳ３２）、そうであると判断した場合には（ステップＳ３２でＹＥＳ）、ステップＳ２６の処理に進む。なお、タスク実行指示部４０は、前記返信が前記ジョブ終了メッセージでもないと判断した場合には（ステップＳ３２でＮＯ）、ステップＳ２９の処理を実行する。

図１５、図１６は、情報処理端末３の一連の処理を示すフローチャートである。

情報処理端末３において、制御部２０は、ユーザが選択した情報処理装置２のＭＡＣ（Media Access Control）アドレスを使用してブロードキャストし（ステップＳ１０１）、一定時間内にレスポンスがあったか否かを判断する（ステップＳ１０２）。その結果、制御部２０は、一定時間内にレスポンスがなかったと判断した場合には（ステップＳ１０２でＮＯ）、エラーが発生した旨を示すエラー画面を表示部２４に表示する（ステップＳ１０３）。

一方、制御部２０は、一定時間内にレスポンスがあったと判断した場合には（ステップＳ１０２でＹＥＳ）、該レスポンスが音声入力モードの起動命令であったか否かを判断し（ステップＳ１０４）、前記起動命令があったと判断すると（ステップＳ１０４でＹＥＳ）、モード設定部５１は、音声入力モードを起動（オン）する（ステップＳ１０５）。

次に、制御部２０は、操作画面の画面データが情報処理装置２から受信しているか否かを判断する（ステップＳ１０６）。つまり、制御部２０は、情報処理装置２との間で通信が確立されているか否か（リモート制御部５３が起動しているか否か）を判断する。その結果、制御部２０は、操作画面の画面データが情報処理装置２から受信していると判断した場合には（ステップＳ１０６でＹＥＳ）、自機の識別番号を含むレスポンスメッセージを情報処理装置２に送信する（ステップＳ１０７）。なお、このメッセージに含める前記識別番号は、単純な整数でもよいし、ＭＡＣアドレスのような文字列でも良い。

一方、制御部２０は、操作画面の画面データが情報処理装置２から受信されていないと判断した場合には（ステップＳ１０６でＮＯ）、自機の識別番号を含むメッセージであって情報処理装置２の音声入力モードを起動する指示を示すメッセージ（音声入力モード起動メッセージ）を情報処理装置２に送信し（ステップＳ１０８）、情報処理端末３からの応答を待機する（ステップＳ１０９）。

制御部２０は、一定時間内に情報処理装置２から応答があったか否かを判断し（ステップＳ１１０）、応答が無かったと判断した場合には（ステップＳ１１０でＮＯ）、エラーが発生した旨を示すエラー画面を表示部２４に表示する（ステップＳ１０３）。図１７は、前記エラー画面Ｇ５の一例であり、該エラー画面Ｇ５には、情報処理装置２から応答が無かった旨を示すメッセージ「応答がありません」が表示されている。

一方、ステップＳ１１０で制御部２０が一定時間内に情報処理装置２から応答があったと判断した場合（ステップＳ１１０でＹＥＳ）、若しくは、ステップＳ１０７の処理後、音声認識部５５は、入力音についての解析を行う（ステップＳ１１１）。すなわち、音声認識部５５は、集音部２６が音を取り込んで出力した電気信号（音データ）に音声のデータ（音声データ）が含まれているか否かを解析する。一方、音声認識部５５は、情報処理装置２から音データが転送されてきた場合は、その転送されてきた音データに音声データが含まれているか否かを解析する。

音声認識部５５は、前記音データに音声データが含まれていることを検出すると（ステップＳ１１２）、その音声の内容を認識する処理を行い、タスク認識部６３は、ステップＳ１１３で認識した音声と、キーワード記憶部６２に記憶されているキーワードとの基づき、前記音声認識部５５により認識された音声に含まれるタスクの認識処理を行う（ステップＳ１１３）。そして、ワークフロー生成部６４は、タスク認識部６３により認識されたタスクに基づいて前記暫定フローを生成し（ステップＳ１１４）、ワークフロー送受信部６５は、該暫定フローを情報処理装置２に送信する（ステップＳ１１５）。

そして、ワークフロー送受信部６５及びリスト受信部６０は、一定時間内に、情報処理装置２で生成される正式フローとタスク実行リストとを情報処理装置２から受信したか否かを判断し（ステップＳ１１６）、受信しなかったと判断すると（ステップＳ１１６でＮＯ）、エラーが発生した旨のメッセージを情報処理装置２に送信し（ステップＳ１３１）、前記メッセージを表示部２４に表示する（ステップＳ１３２）。

一方、ワークフロー送受信部６５及びリスト受信部６０は、一定時間内に、情報処理装置２で生成される正式フローとタスク実行リストとを情報処理装置２から受信したと判断すると（ステップＳ１１６でＹＥＳ）、タスク実行指示部６１は、この受信した正式フローとタスク実行リストに問題がないか否かの確認を行う（ステップＳ１１７）。その結果、タスク実行指示部６１は、問題があると判断すると（ステップＳ１１８でＮＯ）、ステップＳ１３１の処理を実行する一方、問題がないと判断すると（ステップＳ１１８でＹＥＳ）、その旨を情報処理装置２に送信する（ステップＳ１１９）。

そして、ステップＳ１１９の処理後、タスク実行指示部６１は、一定時間内に何らかの返信を情報処理装置２から受信したか否かを判断し（ステップＳ１２０）、返信を受信していないと判断した場合には（ステップＳ１２０でＮＯ）、ステップＳ１３１の処理を実行する。

一方、ステップＳ１２０において、タスク実行指示部６１は、一定時間内に何らかの返信を情報処理装置２から受信したと判断した場合には（ステップＳ１２０でＹＥＳ）、その返信が引き継ぎデータであるか否かを判断し（ステップＳ１２１）、引き継ぎデータである場合には（ステップＳ１２１でＹＥＳ）、受信した引き継ぎデータとタスク実行リストとに基づくタスクの実行指示を開始する（ステップＳ１２２）。

また、タスク実行指示部６１は、タスク実行リストに基づいて、現在実行しているタスクの次に実行すべきタスクの実行主体を確認し（ステップＳ１２３）、実行主体が自機（情報処理端末３）である場合には（ステップＳ１２４でＹＥＳ）、前記次に実行すべきタスクを実行するタイミングが来たときに、該タスクの実行指示を行う（ステップＳ１２５）。

そして、タスク実行指示部６１は、自機で実行すべきさらに次のタスクが無いか否かを判断し（ステップＳ１２６）、ある場合には（ステップＳ１２６でＮＯ）、ステップＳ１２３の処理に戻る一方、無い場合には（ステップＳ１２６でＹＥＳ）、制御部２０は、ジョブが終了した旨のメッセージを情報処理装置２に送信し（ステップＳ１２７）、前記メッセージを表示部２４に表示する（ステップＳ１２８）。図１８は、ステップＳ１２８で表示部２４に表示される表示画面Ｇ６の一例である。図１８に示すように、表示画面Ｇ６には、ジョブの実行が終了した旨を示すメッセージ「ジョブが終了しました」が表示されている。

ステップＳ１２４において、現在実行しているタスクの次に実行すべきタスクの実行主体が自機（情報処理端末３）ではなく情報処理装置２である場合には（ステップＳ１２４でＮＯ）、タスク実行指示部６１は、自機（情報処理端末３）のＩＤと、情報処理装置２が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む一群のデータを引き継ぎデータとして情報処理装置２に送信する（ステップＳ１２９）。

一方、ステップＳ１２１において、前記返信が引き継ぎデータではない場合には（ステップＳ１２１でＮＯ）、タスク実行指示部６１は、前記返信が、ジョブが終了した旨のメッセージ（ジョブ終了メッセージ）であるか否かを判断し（ステップＳ１３０）、そうであると判断した場合には（ステップＳ１３０でＹＥＳ）、ステップＳ１２８の処理を実行する。なお、前記返信が前記ジョブ終了メッセージでもない場合には（ステップＳ１３０でＮＯ）、ステップＳ１３１の処理を実行する。

図１９は、情報処理装置２で生成された正式フロー及びタスク実行リストが図９、図１０に示すものである場合に、情報処理装置２と情報処理端末３との間で行われる、タスクを実行する権利（以下、タスク実行権という）の受け渡しを示す図である。なお、図１９における楕円は、前記タスク実行権を示す。

図９及び図１０に示すように、タスクＩＤ「１」に対応するタスク「原稿をスキャン」及び「画像データをファイル化し、メモリに保存」は、実行主体が情報処理装置２に設定されている。よって、図１９に示すように、前記タスク実行権は情報処理装置２が取得しており、情報処理装置２は、このタスクを実行するタイミングになると、該タスクを実行する。

また、次に実行すべきタスクＩＤ「２」に対応するタスク「画像データをファイル化し、メモリに保存」も、図９及び図１０に示すように、実行主体が情報処理装置２に設定されている。よって、図１９に示すように、前記タスク実行権は引き続き情報処理装置２が取得し、情報処理装置２は、このタスクを実行するタイミングになると、該タスクを実行する。

次に実行すべきタスクＩＤ「３」に対応する「Ａさんのメールアドレスを自動設定」は、図９及び図１０に示すように、実行主体が情報処理端末３に設定されている。よって、情報処理装置２は、現在実行しているタスクが終了すると、図１９に示すように、自機（情報処理装置２）のＩＤと、情報処理端末３が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む引き継ぎデータを情報処理端末３に送信することにより前記タスク実行権を情報処理端末３に渡す。情報処理端末３は、このタスク実行権を受け取り、当該タスクを実行するタイミングになると、該タスクを実行する。

次に実行すべきタスクＩＤ「４」に対応する「画像ファイルをメールに添付」は、図９及び図１０に示すように、実行主体が情報処理装置２に設定されている。よって、図１９に示すように、自機（情報処理端末３）のＩＤと、情報処理装置２が次に実行すべきタスクのタスクＩＤと、処理対象のデータ（例えば画像データ）とを含む引き継ぎデータを情報処理端末３から情報処理装置２に送信することにより前記タスク実行権を情報処理装置２に渡す。情報処理装置２は、このタスク実行権を受け取り、当該タスクを実行するタイミングになると、該タスクを実行する。

また、次に実行すべきタスクＩＤ「５」に対応するタスク「メールを送信」も、図９及び図１０に示すように、実行主体が情報処理装置２に設定されている。よって、図１９に示すように、前記タスク実行権は引き続き情報処理装置２が取得し、情報処理装置２は、このタスクを実行するタイミングになると、該タスクを実行する。

そして、ジョブの達成に必要な全てのタスクの実行が全て完了すると、前記タスク実行権を取得している情報処理装置２は、当該ジョブに係る動作を終了するとともに、全てのタスクの実行が完了した旨を情報処理端末３に通知する。情報処理端末３は、その通知を受けて、当該ジョブに係る動作を終了する。

以上のように、本実施形態に係る情報処理システム１においては、情報処理端末３において当該端末３を音声入力モードに設定させる指示を入力が行われると、前記音声入力モードの設定指示を示すメッセージを情報処理装置２に送信するとともに、自機（情報処理端末３）を音声入力モードに設定する一方、情報処理装置２は、情報処理端末３から前記メッセージを受信すると、自機（情報処理装置２）を音声入力モードに設定する。

すなわち、情報処理端末３を音声入力モードに設定する作業や操作を行うだけで、情報処理装置２も音声入力モードに設定される。これにより、情報処理端末３を用いた遠隔操作によって、情報処理装置２の音声入力モードをオンにすることができ、情報処理装置２の音声入力モードをオンにする作業や操作が不要となる。

そのため、情報処理端末３を所持しているユーザが情報処理装置２の位置から比較的離れていたとしても、情報処理装置２の音声入力モードをオンにするためにユーザが情報処理装置２の設置位置まで移動する必要性も無くなり、そのような煩わしい移動の手間暇をユーザに課すことも無くなる。

その結果、情報処理端末３への音声入力によって情報処理装置２の遠隔操作を可能とするためにユーザに課す作業を可及的に低減することができ、利便性の高い情報処理システム１を提供することができる。

また、情報処理装置２との通信接続が確立している状態で前記情報処理端末３及び前記情報処理装置２が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を情報処理装置２に転送可能な転送部５８を情報処理端末３に備えた。これにより、ユーザのジョブの実行を指示する音声が情報処理端末３を介して情報処理装置２に入力される構成を実現することができる。

また、前記情報処理装置２に、前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識部３４を備え、前記情報処理装置２は、情報処理端末３及び情報処理装置２が前記音声入力モードに設定されている状態で前記情報処理端末３の転送部５８により音声が転送されてくると、該音声を前記音声入力モード中に取得した音声として前記音声認識部３４による認識処理を行い、その認識結果に基づいてジョブを実行するようにした。

これにより、情報処理端末３への音声入力によってジョブの実行指示が入力される構成を実現することができる。

また、本実施形態では、前記音声認識部３４により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置２で実行可能なタスク及びその実行順を判断する判断部３８と、前記音声認識部５５により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末３で実行可能なタスク及びその実行順を判断する判断部５９と、前記判断部３８，５９の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を前記情報処理端末３及び前記情報処理装置２のいずれか一方に決定する決定部４５とを備え、前記情報処理端末３及び前記情報処理装置２は、前記決定部４５の決定内容を共有し、該決定内容に基づいて前記各タスクを実行するようにした。

これにより、情報処理端末３及び情報処理装置２は、自機が担当すべきタスクを順番に実行していくことができ、互いに連携しながら前記ジョブを達成することができる。

また、本実施形態では、前記情報処理装置２の音声認識部３４に、前記タスクに関連するキーワードを予め記憶するキーワード記憶部４１と、前記キーワード記憶部４１に記憶されているキーワードを用いて、解析した音声が示すジョブを構成するタスクの認識処理を行うタスク認識部４２としての機能を備えた。また、情報処理端末３の音声認識部５５にも、キーワード記憶部４１及びタスク認識部４２と同様のキーワード記憶部６２とタスク認識部６３として機能を備えた。そして、情報処理装置２の判断部３８は、タスク認識部４２により認識されたタスクについて前記情報処理装置２で実行可能か否かを判断し、また、情報処理端末３の判断部５９は、タスク認識部６３により認識されたタスクについて前記情報処理端末３で実行可能か否かを判断するようにした。

これにより、前記情報処理装置２及び情報処理端末３の各々において、入力された音声からタスクを認識することができる。よって、情報処理装置２及び情報処理端末３のいずれにジョブを示す音声が入力された場合であっても、その音声からタスクを認識する構成を実現することができる。

前記決定部４５は、情報処理端末３及び情報処理装置２が共に実行可能であるタスクが存在するとき、そのタスクの実行主体を、当該タスクより１つ前のタスクの実行主体と同一とするようにしたので、タスクの実行主体の切り替えによる各種のロスを低減することができる。

また、情報処理端末３及び情報処理装置２は、前記決定部４５の決定事項に基づき前記タスクを実行していく過程で、次に実行すべきタスクの実行主体が自機に設定されていないときには、前記次に実行すべきタスクのＩＤと、該タスクの処理対象であるデータとを相手機に送信するようにしたので、実行主体が切り替わる際の引き継ぎを行うことができる。

以上、本発明に関する好ましい実施形態について説明したが、本発明は上述した内容のものに限られるものではなく、種々の変形例が適用可能である。以下、いくつかの変形例について説明する。

（１）前記第１の実施形態では、情報処理端末３において当該端末３を音声入力モードに設定させる指示の入力が行われることのみをトリガとして、情報処理端末３が音声入力モードとなるように構成されているが、本発明は、情報処理端末３が音声入力モードとなるトリガとして、前述した音声入力モードへの設定指示の入力が行われることのみをトリガとする形態に限定されるものではなく、例えば、次のような形態も想定される。

すなわち、情報処理端末３において当該端末３を音声入力モードに設定させる指示の入力が行われても、この時点では、情報処理端末３のモード設定部５４は、自機（情報処理端末３）を音声入力モードに設定する処理は行わず、メッセージ送信部５６は、前記音声入力モードの設定指示を示すメッセージを情報処理装置２に送信する処理を行う。

情報処理装置２のモード設定部３３は、情報処理端末３から前記メッセージを受信すると、自機（情報処理装置２）を音声入力モードに設定するとともに、メッセージ送信部３５は、情報処理装置２が音声入力モードとなった旨の通知を情報処理端末３に送信する。情報処理端末３のメッセージ受信部５７は、情報処理装置２から前記通知を受信すると、この時点で、モード設定部５４は、自機（情報処理端末３）を音声入力モードに設定する。

すなわち、本構成は、情報処理端末３において当該端末３を音声入力モードに設定させる指示の入力が行われることに加え、情報処理装置２が音声入力モードとなった旨の通知を情報処理装置２から受信したことをも含めたトリガによって、情報処理端末３が音声入力モードとなる。

このような構成によっても、前記第１の実施形態と同様の作用効果を奏することができる。

（２）前記第１の実施形態では、情報処理装置２及び情報処理端末３にそれぞれ音声認識部（音声認識部３４，５５）を備えたが、音声認識部を情報処理装置２にのみ設け、その音声認識部３４の処理結果を情報処理端末３に送信する構成としてもよい。

（３）前記第１の実施形態では、判断部３８及び決定部４５を情報処理装置２に設けるとともに、判断部５９を情報処理端末３に設けるようにしたが、判断部３８，５９及び決定部４５を情報処理装置２及び情報処理端末３のいずれに設けてもよい。したがって、本発明は、判断部３８,５９及び決定部４５を全て情報処理装置２に設ける形態や、判断部３８，５９及び決定部４５を全て情報処理端末３に設ける形態、或いは、判断部３８を情報処理装置２に設けるとともに、判断部５９及び決定部４５を情報処理端末３に設ける形態等も含む。

また、前記第１の実施形態では、正式フローやタスク実行リストの生成機能を情報処理装置２に搭載したが、これらの機能を情報処理端末３に搭載してもよい。また、本発明は、前記生成機能を情報処理装置２及び情報処理端末３の両方に設ける形態を排除するものでもない。前記生成機能を情報処理装置２及び情報処理端末３の両方に設ける場合、情報処理装置２及び情報処理端末３でそれぞれ生成された各正式フローや各タスク実行リストを最終的に１つに統一し、その統一された正式フローや各タスク実行リストを情報処理装置２及び情報処理端末３で共有するような構成とすればよい。

１ 情報処理システム
２ 情報処理装置
３ 情報処理端末
９，２４ 表示部
１１，２６ 集音部
３３ モード設定部（装置側音声入力モード設定手段）
５１ モード設定部（端末側音声入力モード設定手段）
３４，５５ 音声認識部（音声認識手段）
３５ メッセージ送信部（メッセージ送信手段）
３６ メッセージ受信部
３７ 転送部
３８ 判断部（第１の判断手段）
３９ リスト処理部
４１，６２ キーワード記憶部（キーワード記憶手段）
４２，６３ タスク認識部（認識手段）
４３ ワークフロー生成部
４４ ワークフロー送受信部
４５ 決定部（決定手段）
４６ リスト作成部
４７ リスト送信部
５６ メッセージ送信部
５７ メッセージ受信部（メッセージ受信手段）
５８ 転送部（転送手段）
５９ 判断部（第２の判断手段）
６４ ワークフロー生成部
６５ ワークフロー送受信部
Ｋ１ 操作キー（入力手段）

Claims (9)

1. 音声を取り込む音声入力モードをそれぞれ有する情報処理端末及び情報処理装置が互いに通信可能に備えられ、前記情報処理端末と前記情報処理装置との間の通信機能を用いて、前記情報処理装置を前記情報処理端末で遠隔操作可能な情報処理システムであって、
   前記情報処理端末は、
   当該情報処理端末を前記音声入力モードに設定させる指示を入力するための入力手段と、
   前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、
   前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、
   前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、
   を備え、
   前記情報処理装置は、
   前記メッセージ送信手段から前記メッセージを受信するメッセージ受信手段と、
   前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、
   前記音声入力モード中に前記転送手段により転送される音声を取得した場合に、当該音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、
   を備え、
   前記情報処理端末及び前記情報処理装置のうち少なくとも一方は、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、
   前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を前記情報処理端末及び前記情報処理装置のいずれか一方に決定する決定手段と、
   を更に備え、
   前記情報処理端末及び前記情報処理装置は、前記決定手段の決定内容を共有し、該決定内容に基づいて前記各タスクを実行することを特徴とする情報処理システム。
2. 前記情報処理装置は、前記装置側音声入力モード設定手段により当該情報処理装置が音声入力モードに設定されると、その旨の通知を前記情報処理端末に送信し、
   前記情報処理端末の前記端末側音声入力モード設定手段は、前記情報処理装置から前記通知を受信すると、当該情報処理端末を音声入力モードに設定するものである請求項１に記載の情報処理システム。
3. 前記音声認識手段は、
   当該音声認識手段を有する機器で実行可能なタスクに関連するキーワードを予め記憶するキーワード記憶手段と、
   前記キーワード記憶手段に記憶されているキーワードを用いて、前記音声が示すジョブに含まれるタスクの認識処理を行う認識手段と
   を備え、
   前記第１の判断手段は、前記認識手段により認識されたタスクについて前記情報処理装置で実行可能か否かを判断し、
   前記第２の判断手段は、前記認識手段により認識されたタスクについて前記情報処理端末で実行可能か否かを判断する請求項１又は２に記載の情報処理システム。
4. 前記決定手段は、前記情報処理端末及び前記情報処理装置が共に実行可能であるタスクが存在するとき、そのタスクの実行主体を、当該タスクより１つ前のタスクの実行主体と同一とする請求項１乃至３のいずれかに記載の情報処理システム。
5. 前記情報処理端末及び前記情報処理装置は、前記決定手段の決定事項に基づき前記タスクを実行していく過程で、次に実行すべきタスクの実行主体が自機に設定されていないときには、前記次に実行すべきタスクの識別情報と、該タスクの処理対象であるデータとを相手機に送信する請求項１乃至４のいずれか一項に記載の情報処理システム。
6. 情報処理端末と通信可能であり、前記情報処理端末による遠隔操作を受け得る情報処理装置であって、
   前記情報処理端末から、音声を取り込む音声入力モードの設定指示を示すメッセージを受信するメッセージ受信手段と、
   前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、
   前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、
   前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、
   前記決定手段の決定内容を前記情報処理端末と共有し、前記情報処理端末と連携して前記複数のタスクを順に実行する実行手段と、
   を備えることを特徴とする情報処理装置。
7. 音声を取り込む音声入力モードを有する情報処理装置と通信可能であり、前記情報処理装置を遠隔操作可能な情報処理端末であって、
   当該情報処理端末を、音声を取り込む音声入力モードに設定させる指示を入力するための入力手段と、
   前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、
   前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、
   前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、
   前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、
   前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、
   前記決定手段の決定内容を前記情報処理装置と共有し、前記情報処理装置と連携して前記複数のタスクを順に実行する実行手段と、
   を備える情報処理端末。
8. 情報処理端末と通信可能であり、前記情報処理端末による遠隔操作を受け得る情報処理装置を動作させるプログラムであって、
   前記情報処理装置を、
   前記情報処理端末から、音声を取り込む音声入力モードの設定指示を示すメッセージを受信するメッセージ受信手段と、
   前記メッセージ受信手段により前記メッセージが受信されると、当該情報処理装置を音声入力モードに設定する装置側音声入力モード設定手段と、
   前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、
   前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、
   前記決定手段の決定内容を前記情報処理端末と共有し、前記情報処理端末と連携して前記複数のタスクを順に実行する実行手段、
   として機能させることを特徴とするプログラム。
9. 音声を取り込む音声入力モードを有する情報処理装置と通信可能であり、前記情報処理装置を遠隔操作可能な情報処理端末を動作させるプログラムであって、
   前記情報処理端末を、
   当該情報処理端末を、音声を取り込む音声入力モードに設定させる指示を入力するための入力手段と、
   前記入力手段により前記入力が行われると、前記音声入力モードの設定指示を示すメッセージを前記情報処理装置に送信するメッセージ送信手段と、
   前記入力手段により前記入力が行われると、当該情報処理端末を前記音声入力モードに設定する端末側音声入力モード設定手段と、
   前記情報処理装置との通信接続が確立している状態で当該情報処理端末及び前記情報処理装置が前記音声入力モードに設定されているときに、外部から音声が入力されると、取り込んだ音声を前記情報処理装置に転送可能な転送手段と、
   前記音声入力モード中に取得した音声が複数のタスクを含むジョブの実行指示であるか否かの認識処理を行う音声認識手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち前記情報処理装置で実行可能なタスク及びその実行順を判断する第１の判断手段と、
   前記音声認識手段により解析された音声が、複数のタスクを含むジョブの実行指示であるとき、前記複数のタスクのうち当該情報処理端末で実行可能なタスク及びその実行順を判断する第２の判断手段と、
   前記第１及び第２の判断手段の判断結果を用いて、前記複数のタスクの実行順を決定するとともに、前記複数のタスク各々の実行主体を当該情報処理装置及び前記情報処理端末のいずれか一方に決定する決定手段と、
   前記決定手段の決定内容を前記情報処理装置と共有し、前記情報処理装置と連携して前記複数のタスクを順に実行する実行手段と、
   として機能させるプログラム。

Images