JP5831251B2 - 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム - Google Patents

Description

本発明は、画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラムに関し、より特定的には、表示部を含む端末装置と、端末装置と通信可能な画像形成装置とを備えた画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラムに関する。

ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）を始めとする画像形成装置を、ユーザーが使い慣れた端末装置（たとえばＡｎｄｒｏｉｄ（登録商標）をインストールした汎用端末機など）により遠隔操作することや監視することの要望が高まっている。これらの要望に応えるべく、画像形成装置の機能として、近年リモートパネル機能が提案されている。リモートパネル機能とは、ネットワークを介して画像形成装置と接続された端末装置で画像形成装置の操作を受け付け、その操作の情報を端末装置から画像形成装置へ送り、画像形成装置においてその操作の情報に基づく処理を行い、その処理に伴う画面更新の情報を端末装置へ送信する機能である。リモートパネル機能では、端末装置にインストールされたリモートパネルアプリケーション（リモートパネルアプリ）を用いて画像形成装置とネットワーク通信を行うことで、画像形成装置の操作パネルが遠隔操作される。一方、リモートパネル機能で用いられる端末装置（汎用端末）は、画像形成装置と同等の機能を有していることが多い。

ところで、ＭＦＰを始めとする画像形成装置や端末装置などには、ユーザーの音声による操作入力を受け付け可能な音声認識機能が搭載されているものがある。端末装置の音声認識機能を利用して、端末装置から音声で画像形成装置を遠隔操作する場合、従来においては、たとえば以下の方法で端末装置および画像形成装置が制御されていた。端末装置はユーザーの音声による指示を認識すると、その音声データを画像形成装置へ送信する。画像形成装置は音声データを受信すると、受信した音声データの指示に基づいて所定の処理を実行し、画面遷移などの処理結果を端末装置へ送信する。端末装置は、処理結果を受信すると、その処理結果に基づいて表示画面を更新する。

なお、下記特許文献１には、アプリケーションに基づいて、画像処理装置の表示部の操作用画面に対し、ユーザーが音声入力操作できるシステムが開示されている。このシステムでは、ＭＦＰは、ＭＦＰのマイクで取得した音声データと、ＭＦＰに新たな機能を付与するためのアプリケーションに基づいてカスタマイズされた操作用画面で設定されているデータとを、サーバーへ送信する。サーバーは、受信した音声データとアプリケーションが有する音声辞書と操作用画面で設定されているデータとから、ＭＦＰに実行させる動作を示す応答情報を特定し、特定された応答情報をＭＦＰに送信する。ＭＦＰは、送信されてきた応答情報に基づく動作を行う。

特開２０１１−４９７０５号公報

しかし、上述の従来の制御方法では、画像処理装置の操作部にて画像処理装置を直接操作する場合に比べて、パフォーマンスの低下（ユーザー操作時のレスポンスの低下）が大きいという問題があった。具体的には、端末装置が認識する音声には、ユーザーがＭＦＰを操作するための音声（操作入力の音声）の他、ユーザーの周囲の会話などの画像処理装置の操作とは無関係な音声（ノイズ）が含まれている。このように、上述の従来の制御方法では、無駄な音声データの通信が多く発生し、パフォーマンスが低下していた。また、この制御方法とは別の方法として、通信容量を減らすために、音声データをテキストデータに変換して画像処理装置へ送信する方法も考えられる。しかしこの方法を用いた場合には、データ変換を行う端末装置の負荷が増加するため、パフォーマンスの低下の問題を解決することはできなかった。

本発明は、上記課題を解決するためのものであり、その目的は、画像形成装置のパフォーマンスの低下を抑止することのできる画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラムを提供することである。

本発明の一の局面に従う画像形成システムは、表示部を含む端末装置と、端末装置と通信可能な画像形成装置とを備えた画像形成システムであって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを画像形成装置から端末装置へ送信する第１の送信手段と、第１の送信手段にて送信した情報に基づく画面を端末装置の表示部に表示する第１の表示手段と、第１の表示手段にて画面を表示している場合に、端末装置で音声を認識する音声認識手段と、音声認識手段にて認識した音声が受け付け可能な指示に含まれているか否かを端末装置で判別する判別手段と、受け付け可能な指示に含まれていると判別手段にて判別した場合に、音声認識手段にて認識した音声に関する情報を端末装置から画像形成装置へ送信する第２の送信手段と、第２の送信手段にて送信した情報に基づく処理を画像形成装置で実行する処理実行手段と、端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段とを備え、移行手段は、端末装置の表示部にて拡大画面を表示する場合に、端末装置の動作状態を音声認識モードへ移行する表示移行手段を含む。
上記画像形成システムにおいて好ましくは、受け付け可能な指示に含まれていると判別手段にて判別した場合に、第２の送信手段は、端末装置の表示部に表示している画面を特定する情報をさらに送信し、第２の送信手段にて送信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致した場合に、処理実行手段は、第２の送信手段にて送信した音声に関する情報に基づく処理を実行する。
本発明の他の局面に従う画像形成システムは、表示部を含む端末装置と、端末装置と通信可能な画像形成装置とを備えた画像形成システムであって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを画像形成装置から端末装置へ送信する第１の送信手段と、第１の送信手段にて送信した情報に基づく画面を端末装置の表示部に表示する第１の表示手段と、第１の表示手段にて画面を表示している場合に、端末装置で音声を認識する音声認識手段と、音声認識手段にて認識した音声が受け付け可能な指示に含まれているか否かを端末装置で判別する判別手段と、受け付け可能な指示に含まれていると判別手段にて判別した場合に、音声認識手段にて認識した音声に関する情報を端末装置から画像形成装置へ送信する第２の送信手段と、第２の送信手段にて送信した情報に基づく処理を画像形成装置で実行する処理実行手段とを備え、受け付け可能な指示に含まれていると判別手段にて判別した場合に、第２の送信手段は、端末装置の表示部に表示している画面を特定する情報をさらに送信し、第２の送信手段にて送信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致した場合に、処理実行手段は、第２の送信手段にて送信した音声に関する情報に基づく処理を実行し、第２の送信手段にて送信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致しない場合に、処理実行手段は、第２の送信手段にて送信した音声に関する情報を破棄する。

上記画像形成システムにおいて好ましくは、端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段をさらに備える。

上記画像形成システムにおいて好ましくは、移行手段は、音声認識モードへの移行する指示を受け付けた場合に、端末装置の動作状態を音声認識モードへ移行する第１の移行手段を含む。

上記画像形成システムにおいて好ましくは、第１の移行手段は、音声認識モードへ移行するためのソフトウェアキーまたはハードウェアキーの押下を端末装置で受け付けた場合に、端末装置の動作状態を音声認識モードへ移行する。

上記画像形成システムにおいて好ましくは、受け付け可能な指示に含まれていないと判別手段にて判別した場合に、音声を認識できなかったことを端末装置で通知する通知手段をさらに備える。

上記画像形成システムにおいて好ましくは、第２の送信手段は、音声認識手段にて認識した音声のテキストデータを送信する。

上記画像形成システムにおいて好ましくは、第２の送信手段は、音声認識手段にて認識した音声に対応する命令コマンドを送信する。

上記画像形成システムにおいて好ましくは、処理実行手段にて実行した処理に伴う更新画面を特定する情報と、更新画面で受け付け可能な指示とを画像形成装置から端末装置へ送信する第３の送信手段をさらに備える。

上記画像形成システムにおいて好ましくは、第１の送信手段は、端末装置の表示部に表示する画面で受け付け可能な指示として、端末装置の表示部に表示可能な複数の画面で共通して受け付け可能な指示を含むテーブルである共通音声ワードテーブルと、端末装置の表示部に表示する画面に固有の受け付け可能な指示を含むテーブルである固有音声ワードテーブルとを送信し、第３の送信手段は、更新画面の固有音声ワードテーブルを送信し、共通音声ワードテーブルを送信しない。

上記画像形成システムにおいて好ましくは、第１の送信手段にて送信した情報に基づく画面を画像形成装置の表示部に表示する第２の表示手段をさらに備える。

本発明のさらに他の局面に従う画像形成装置は、端末装置と通信可能な画像形成装置であって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを端末装置へ送信する送信手段と、送信手段にて送信した場合に、端末装置で認識した音声に関する情報を端末装置から受信する受信手段と、受信手段にて受信した情報に基づく処理を実行する処理実行手段とを備え、受信手段は、端末装置の表示部に表示している画面を特定する情報を端末装置からさらに受信し、受信手段にて受信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致した場合に、処理実行手段は、受信手段にて受信した音声に関する情報に基づく処理を実行し、受信手段にて受信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致しない場合に、処理実行手段は、受信手段にて受信した音声に関する情報を破棄する。

本発明のさらに他の局面に従う端末装置は、表示部を含み、かつ画像形成装置と通信可能な端末装置であって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを画像形成装置から受信する受信手段と、受信手段にて送信した情報に基づく画面を端末装置の表示部に表示する表示手段と、表示手段にて画面を表示している場合に、音声を認識する音声認識手段と、音声認識手段にて認識した音声が受け付け可能な指示に含まれているか否かを判別する判別手段と、受け付け可能な指示に含まれていると判別手段にて判別した場合に、音声認識手段にて認識した音声に関する情報を画像形成装置へ送信する送信手段と、端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段とを備え、移行手段は、端末装置の表示部にて拡大画面を表示する場合に、端末装置の動作状態を音声認識モードへ移行する表示移行手段を含む。

本発明のさらに他の局面に従う画像形成装置の制御プログラムは、端末装置と通信可能な画像形成装置の制御プログラムであって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを端末装置へ送信する送信ステップと、送信ステップにて送信した場合に、端末装置で認識した音声に関する情報を端末装置から受信する受信ステップと、受信ステップにて受信した情報に基づく処理を実行する処理実行ステップとをコンピューターに実行させ、受信ステップにおいて、端末装置の表示部に表示している画面を特定する情報を端末装置からさらに受信し、受信ステップにて受信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致した場合に、処理実行ステップにおいて、受信ステップにて受信した音声に関する情報に基づく処理を実行し、受信ステップにて受信した画面を特定する情報と、画像形成装置の表示部の表示画面の情報とが一致しない場合に、処理実行ステップにおいて、受信ステップにて受信した音声に関する情報を破棄する。

本発明のさらに他の局面に従う端末装置の制御プログラムは、表示部を含み、かつ画像形成装置と通信可能な端末装置の制御プログラムであって、端末装置の表示部に表示する画面を特定する情報と、端末装置の表示部に表示する画面で受け付け可能な指示とを画像形成装置から受信する受信ステップと、受信ステップにて送信した情報に基づく画面を端末装置の表示部に表示する表示ステップと、表示ステップにて画面を表示している場合に、音声を認識する音声認識ステップと、音声認識ステップにて認識した音声が受け付け可能な指示に含まれているか否かを判別する判別ステップと、受け付け可能な指示に含まれていると判別ステップにて判別した場合に、音声認識ステップにて認識した音声に関する情報を画像形成装置へ送信する送信ステップと、端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行ステップとをコンピューターに実行させ、移行ステップは、端末装置の表示部にて拡大画面を表示する場合に、端末装置の動作状態を音声認識モードへ移行する表示移行ステップを含む。

本発明によれば、画像形成装置のパフォーマンスの低下を抑止することのできる画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラムを提供することができる。

本発明の第１の実施の形態における画像形成システムの構成を示すブロック図である。 本発明の第１の実施の形態の画像形成システムの概略的な動作を説明する図である。 リモートパネル３００の動作状態の移行処理を示すフローチャートである。 本発明の第１の実施の形態において、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合におけるＭＦＰ１００の動作を示すフローチャートである。 描画情報および音声ワードテーブルをＭＦＰ１００から受信した場合におけるリモートパネル３００の動作を示すフローチャートである。 本発明の第１の実施の形態における、ＭＦＰ１００がリモートパネル３００へ送信する画面および音声ワードテーブルを模式的に示す図である。 リモートパネル３００の初期画面である画面ＩＭ１と、画面ＩＭ１の音声ワードテーブルＷＴ１とを模式的に示す図である。 画面ＩＭ１においてキーＫ１が押下された場合に、リモートパネル３００が表示部３０５に表示する画面ＩＭ２と、画面ＩＭ２の音声ワードテーブルＷＴ２とを模式的に示す図である。 画面ＩＭ１においてキーＫ２が押下された場合に、リモートパネル３００が表示部３０５に表示する画面ＩＭ３と、画面ＩＭ３の音声ワードテーブルＷＴ３とを模式的に示す図である。 本発明の第１の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。 本発明の第１の実施の形態において、リモートパネル３００から音声認識情報を受信した場合のＭＦＰ１００の動作を示すフローチャートである。 本発明の第２の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。 本発明の第３の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。 本発明の第３の実施の形態において、リモートパネル３００から音声認識情報および描画情報を受信した場合のＭＦＰ１００の動作を示すフローチャートである。 本発明の第４の実施の形態における、ＭＦＰ１００がリモートパネル３００へ送信する画面および音声ワードテーブルを模式的に示す図である。 共通音声ワードテーブルＷＴ１０を模式的に示す図である。 固有音声ワードテーブルＷＴ１１、ＷＴ１２、およびＷＴ１３を模式的に示す図である。 本発明の第４の実施の形態において、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合におけるＭＦＰ１００の動作を示すフローチャートである。 音声認識モードへ移行した場合のリモートパネル３００の動作を示すフローチャートである。

以下、本発明の実施の形態について、図面に基づいて説明する。

以下の実施の形態の画像形成システムは、表示部を含む端末装置と、端末装置と通信可能な画像形成装置とを備えている。画像形成装置は、スキャナー機能、ファクシミリ機能、複写機能、プリンタとしての機能、データ通信機能、およびサーバー機能を備えたＭＦＰや、ファクシミリ装置、複写機、またはプリンタなどであってもよい。端末装置は、各種情報を表示可能な表示部を含んでいる。端末装置は、たとえばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や携帯情報端末などである。

［第１の実施の形態］
始めに、画像形成システムの概略的な構成について説明する。

図１は、本発明の第１の実施の形態における画像形成システムの構成を示すブロック図である。

図１を参照して、本実施の形態における画像形成システムは、ＭＦＰ１００（画像形成装置の一例）と、リモートパネル３００（端末装置の一例）とを備えている。ＭＦＰ１００とリモートパネル３００とはネットワーク２００に接続されており、ネットワーク２００を通じて相互に通信可能である。

ネットワーク２００は、たとえば有線または無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ネットワーク２００は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のプロトコルを用いて接続される。ネットワーク２００に接続された機器は、お互いに各種データのやり取りが可能となっている。なお、ネットワーク２００に代えて、インターネット・専用線などの広域ネットワークを用いて各装置を接続してもよい。

ＭＦＰ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、記憶部１０４と、プリント処理部１０５と、画像処理部１０６と、操作パネル１０７と、スキャナー部１０８と、ネットワーク接続部１０９などを含んでいる。ＣＰＵ１０１には、ＲＯＭ１０２、ＲＡＭ１０３、記憶部１０４、プリント処理部１０５、画像処理部１０６、操作パネル１０７、スキャナー部１０８、およびネットワーク接続部１０９の各々がバスを介して接続されている。

ＣＰＵ１０１は、スキャンジョブ、コピージョブ、メール送信ジョブ、およびプリントジョブなどの各種ジョブについて、ＭＦＰ１００全体の制御を行なう。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを実行する。ＣＰＵ１０１は、所定の処理を行なうことにより、ＲＯＭ１０２、ＲＡＭ１０３からのデータの読み込みや、ＲＯＭ１０２、ＲＡＭ１０３へのデータの書き込みを行なう。

ＲＯＭ１０２は、たとえばフラッシュＲＯＭ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）である。ＲＯＭ１０２には、ＭＦＰ１００の動作を行なうための各種プログラムと、各種固定データとが格納されている。ＲＯＭ１０２は、書換え不可能なものであってもよい。

ＲＡＭ１０３は、ＣＰＵ１０１のメインメモリである。ＲＡＭ１０３は、ＣＰＵ１０１が制御プログラムを実行するときに必要なデータや画像データを一時的に記憶するためなどに用いられる。

記憶部１０４は、画面データベースと、音声ワードテーブルデータベース（有効音声ワードテーブルデータベース）などを記憶する。画面データベースは、リモートパネル３００の表示部３０５に表示する複数の画面のデータにより構成されている。音声ワードテーブルデータベースは、複数の画面の音声ワードテーブルにより構成されている。音声ワードテーブルは、リモートパネル３００の表示部３０５に表示する画面（カレント画面）で受け付け可能な音声ワードと、その音声ワードに対応する命令コマンド（指示）とが記載されたテーブルである。また記憶部１０４は、ファクシミリや電子メールの送信先である宛先リストをさらに記憶している。

プリント処理部１０５は、画像処理部１０６にて処理された画像データに基づいて用紙などへのプリント処理を行う。

画像処理部１０６は、印刷データに対するＲＩＰ（Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）処理や、データを外部へ送信する際にそのデータの形式を変換する変換処理などを行なう。

操作パネル１０７は、ソフトウェアキーおよびハードウェアキーからなるキー入力部と、タッチパネルディスプレイなどからなる表示部とを含んでいる。操作パネル１０７は、ＭＦＰ１００の各種ジョブの実行指示などの各種入力操作をユーザーから受け付ける。また操作パネル１０７は、ＭＦＰ１００に関する各種設定項目やメッセージなどをユーザーに対して表示する。なお、操作パネル１０７は表示部を含んでいなくてもよい。

スキャナー部１０８は、原稿の画像を読み取る。

ネットワーク接続部１０９は、ＣＰＵ１０１からの指示に従って、ＴＣＰ／ＩＰなどの通信プロトコルによって、ネットワーク２００を介してリモートパネル３００との通信を行なう。

リモートパネル３００は、たとえばリモートパネルアプリケーション（リモートパネルアプリ）がインストールされた携帯通信端末であり、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、記憶部３０４と、表示部３０５と、操作部３０６と、ネットワーク接続部３０７と、音声受付部３０８などを含んでいる。ＣＰＵ３０１には、ＲＯＭ３０２、ＲＡＭ３０３、記憶部３０４、表示部３０５、操作部３０６、ネットワーク接続部３０７、および音声受付部３０８の各々がバスを介して接続されている。

ＣＰＵ３０１は、リモートパネル３００全体の制御を行なう。またＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを実行する。ＣＰＵ３０１は、所定の処理を行なうことにより、ＲＯＭ３０２、ＲＡＭ３０３からのデータの読み込みや、ＲＯＭ３０２、ＲＡＭ３０３へのデータの書き込みを行なう。

ＲＯＭ３０２は、たとえばフラッシュＲＯＭである。ＲＯＭ３０２には、リモートパネル３００の動作を行なうための各種プログラムと、各種固定データとが格納されている。ＲＯＭ３０２は、書換え不可能なものであってもよい。

ＲＡＭ３０３は、ＣＰＵ３０１のメインメモリである。ＲＡＭ３０３は、ＣＰＵ３０１が制御プログラムを実行するときに必要なデータを一時的に記憶するためなどに用いられる。

記憶部３０４は、リモートパネルアプリケーションを記憶する。また記憶部３０４は、表示部３０５に現在表示している画面の画面データおよび音声ワードテーブル（有効音声ワードテーブル）を記憶する。

表示部３０５は、リモートパネル３００に関する各種設定項目やメッセージなどを表示する。また表示部３０５は、ＭＦＰ１００から受信した画面データに基づく画面を表示する。

操作部３０６は、ユーザーからリモートパネル３００に関する各種指示を受け付ける。

ネットワーク接続部３０７は、ＣＰＵ３０１からの指示に従って、ＴＣＰ／ＩＰなどの通信プロトコルによって、ネットワーク２００などを介してＭＦＰ１００などの外部機器との通信を行なう。

音声受付部３０８は、マイク３０９および音声認識部３１０を含んでおり、ユーザーから音声による指示を受け付ける。マイク３０９はユーザーが発音する音声を受け付け、音声データに変換して音声認識部３１０に出力する。音声認識部３１０は、入力された音声信号に基づいて音声の内容を認識し、認識結果に基づいて、特定のデータを出力する。

なお、リモートパネル３００は、スピーカー（図示無し）をさらに含んでいてもよい。

続いて、本実施の形態の画像形成システムの概略的な動作について説明する。

図２は、本発明の第１の実施の形態の画像形成システムの概略的な動作を説明する図である。

図２を参照して、本実施の形態の画像形成システムは、リモートパネル３００の動作状態が音声認識モードへ移行した場合に、以下の動作を行う。リモートパネル３００は、表示部３０５に表示する初期画面の描画情報の送信をＭＦＰ１００に対して要求する。ＭＦＰ１００は、初期画面の描画情報の送信の要求を受け付けると、初期画面の描画情報としての画面データと、初期画面の音声ワードテーブルとをリモートパネル３００へ送信する（処理ＰＲ１）。リモートパネル３００は、受信した画面データに基づく画面を表示部３０５に表示する。リモートパネル３００は、この画面を表示している場合に、音声認識部３１０でユーザーの音声を認識し（処理ＰＲ２）、認識した音声が音声ワードテーブルに含まれているか否かを判別する（処理ＰＲ３）。リモートパネル３００は、音声ワードテーブルに含まれていると判別した場合に、その音声を命令コマンドに変換し、その命令コマンドを音声認識情報（音声に関する情報）としてＭＦＰ１００へ送信する（処理ＰＲ４）。ＭＦＰ１００は、受信した音声認識情報に基づく処理を実行する（処理ＰＲ５）。ＭＦＰ１００は、処理を実行した結果、リモートパネル３００の表示画面の更新が必要な場合には、更新画面の描画情報と、更新画面の音声ワードテーブルとをリモートパネル３００へ送信する。

リモートパネル３００がＭＦＰ１００へ送信する音声認識情報は、音声に対応する命令コマンドの他、音声のテキストデータであってもよいし、音声データそのものであってもよい。リモートパネル３００が命令コマンドを送信しない場合、音声ワードテーブルは音声ワードに紐づけられた命令コマンドを含まず、カレント画面にて受付可能な音声ワードのリストのみを含んでいてもよい。

ＭＦＰ１００は、受信した音声認識情報に基づく処理を実行した結果、リモートパネル３００の表示画面の更新が必要な場合には、リモートパネル３００へ送信した更新画面の描画情報に基づく画面を操作パネル１０７に表示してもよい。これにより、ＭＦＰ１００の表示画面とリモートパネル３００の表示画面とを同期することができる。

次に、リモートパネル３００の動作状態を音声認識モードまたは通常モードへ移行させる場合の画像形成システムの動作について説明する。

リモートパネル３００は、ユーザーの音声を認識可能な状態である音声認識モードと、ユーザーの音声を認識不能な状態である通常モードとの間で動作状態を切り替えることができる。リモートパネル３００は、たとえばリモートパネル３００の動作状態を音声認識モードにする設定が予めユーザーによってなされている場合（音声認識モードにするユーザー設定がある場合）、表示部３０５において拡大画面を表示する場合、または音声認識モードへ移行する指示を受け付けた場合（たとえばソフトウェアキーまたはハードウェアキーの押下などによりリモートパネルアプリケーションが起動された場合）などに、動作状態を音声認識モードへ移行する。またリモートパネル３００は、ユーザーの音声を常に認識可能な状態であってもよい。一方、リモートパネル３００は、たとえば通常モードへの移行指示があった場合などに、動作状態を通常モードへ移行する。

図３は、リモートパネル３００の動作状態の移行処理を示すフローチャートである。

図３を参照して、リモートパネル３００のＣＰＵ３０１は、ＭＦＰ１００との通信が可能か否かを判別する（Ｓ１）。ＣＰＵ３０１は、可能であると判別するまで、ステップＳ１の処理を繰り返す。ステップＳ１において、可能であると判別した場合（Ｓ１でＹＥＳ）、ＣＰＵ３０１は、音声認識モードにするユーザー設定があるか否かを判別する（Ｓ３）。

ステップＳ３において、ユーザー設定があると判別した場合（Ｓ３でＹＥＳ）、ＣＰＵ３０１は、動作状態を音声認識モードへ移行させ（Ｓ５）、音声認識モードへ移行したことをＭＦＰ１００へ通知し（Ｓ７）、処理を終了する。

ステップＳ３において、ユーザー設定が無いと判別した場合（Ｓ３でＮＯ）、ＣＰＵ３０１は、表示部３０５に拡大画面を表示したか否かを判別する（Ｓ９）。ステップＳ９において、拡大画面を表示したと判別した場合（Ｓ９でＹＥＳ）、ＣＰＵ３０１はステップＳ５の処理へ進む。

ステップＳ９において、拡大画面を表示しないと判別した場合（Ｓ９でＮＯ）、ＣＰＵ３０１は、音声認識モードへの移行指示があるか否かを判別する（Ｓ１１）。ステップＳ１１において、移行指示があると判別した場合（Ｓ１１においてＹＥＳ）、ＣＰＵ３０１はステップＳ５の処理へ進む。

ステップＳ１１において、移行指示が無いと判別した場合（Ｓ１１においてＮＯ）、ＣＰＵ３０１は、通常モードへの移行指示があるか否かを判別する（Ｓ１３）。ステップＳ１３において、移行指示があると判別した場合（Ｓ１３でＹＥＳ）、ＣＰＵ３０１は、動作状態を通常モードへ移行させ（Ｓ１５）、通常モードへ移行したことをＭＦＰ１００へ通知し（Ｓ１７）、処理を終了する。

ステップＳ１３において、移行指示が無いと判別した場合（Ｓ１３でＮＯ）、ＣＰＵ３０１は処理を終了する。

図４は、本発明の第１の実施の形態において、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合におけるＭＦＰ１００の動作を示すフローチャートである。

図４を参照して、ＭＦＰ１００のＣＰＵ１０１は、音声認識モードへ移行したことの通知をリモートパネル３００から受信すると（Ｓ１０１）、リモートパネル３００とのセッションを開始し（Ｓ１０３）、初期画面の描画情報および音声ワードテーブルをリモートパネル３００へ送信し（Ｓ１０５）、処理を終了する。

図５は、描画情報および音声ワードテーブルをＭＦＰ１００から受信した場合におけるリモートパネル３００の動作を示すフローチャートである。

図５を参照して、リモートパネル３００のＣＰＵ３０１は、描画情報および音声ワードテーブルをＭＦＰ１００から受信すると（Ｓ２０１）、受信した描画情報に基づいて描画処理を行い、表示部３０５に画面を表示する（Ｓ２０３）。続いてＣＰＵ３０１は、記憶部３０４に記憶している音声ワードテーブルを、受信した音声ワードテーブルに更新し（Ｓ２０５）、処理を終了する。

次に、ユーザーの音声をリモートパネル３００が受け付けた場合における画像形成システムの動作について説明する。

図６は、本発明の第１の実施の形態における、ＭＦＰ１００がリモートパネル３００へ送信する画面および音声ワードテーブルを模式的に示す図である。

図６を参照して、ＭＦＰ１００は、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合に、（ａ）に示すように、初期画面である画面ＩＭ１の描画情報および音声ワードテーブルＷＴ１をリモートパネル３００へ送信する。音声ワードテーブルＷＴ１には、画面ＩＭ１で受け付け可能な指示の言葉である音声ワードと、その音声ワードに対応する命令コマンドとが記載されている。

ＭＦＰ１００は、画面ＩＭ１および音声ワードテーブルＷＴ１を送信した後で、音声認識情報をリモートパネル３００から受信した場合には、音声認識情報に応じた処理を実行し、処理に伴う更新画面の描画情報と、更新画面の音声ワードテーブルとをリモートパネル３００へ送信する。

たとえば、リモートパネル３００の表示画面を画面ＩＭ２へ変更する指示を含む音声認識情報を受信した場合には、ＭＦＰ１００は、（ｂ）に示すように、画面ＩＭ２の描画情報および画面ＩＭ２の音声ワードテーブルＷＴ２をリモートパネル３００へ送信する。リモートパネル３００はこれらを受信すると、画面ＩＭ２を表示部３０５に表示し、記憶部３０４に記憶している音声ワードテーブルを音声ワードテーブルＷＴ２に更新する。また、リモートパネル３００の表示画面を画面ＩＭ３へ変更する指示を含む音声認識情報を受信した場合には、ＭＦＰ１００は、（ｃ）に示すように、画面ＩＭ３の描画情報および画面ＩＭ３の音声ワードテーブルＷＴ３をリモートパネル３００へ送信する。リモートパネル３００は、これらを受信すると、画面ＩＭ３を表示部３０５に表示し、記憶部３０４に記憶している音声ワードテーブルを音声ワードテーブルＷＴ３に更新する。

図７は、リモートパネル３００の初期画面である画面ＩＭ１と、画面ＩＭ１の音声ワードテーブルＷＴ１とを模式的に示す図である。（ａ）は画面ＩＭ１であり、（ｂ）は音声ワードテーブルＷＴ１である。

図７を参照して、画面ＩＭ１は、ＭＦＰ１００ａで実行するジョブの選択を受け付ける画面である。画面ＩＭ１は、たとえば、原稿のコピージョブの選択を受け付けるキーＫ１と、ファクシミリ送信ジョブの選択を受け付けるキーＫ２と、スキャンジョブの選択を受け付けるキーＫ３と、画面ＩＭ１の操作方法の説明の要求を受け付けるキーＫ４とを含んでいる。なお、ＭＦＰ１００のデフォルト設定では、コピージョブが選択されている。

音声ワードテーブルＷＴ１は、画面ＩＭ１で受け付け可能な指示の言葉である音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。たとえば、「コピー」または「コピー画面」という音声ワードに対応する命令コマンドは、「ＣＰＹ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１が押下された場合と同様の動作を行う。具体的には、ＭＦＰ１００は、コピージョブの選択を受け付ける画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「ファクシミリ」または「ファクシミリ画面」という音声ワードに対応する命令コマンドは、「ＦＡＸ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ２が押下された場合と同様の動作を行う。具体的には、ＭＦＰ１００は、ファクシミリ送信ジョブの選択を受け付ける画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「スキャン」または「スキャン画面」という音声ワードに対応する命令コマンドは、「ＳＣ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ３が押下された場合と同様の動作を行う。具体的には、ＭＦＰ１００は、スキャンジョブの選択を受け付ける画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「ヘルプ」という音声ワードに対応する命令コマンドは、「ＨＬＰ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ４が押下された場合と同様の動作を行う。具体的には、画面ＩＭ１の操作方法を説明する画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。なお、ＭＦＰ１００のデフォルト設定では、コピージョブが選択されている。

「スタート」という音声ワードに対応する命令コマンドは、「ＳＴ」である。ＭＦＰ１００はこの命令コマンドを受信すると、コピージョブを実行する。

「キャンセル」という音声ワードに対応する命令コマンドは、「ＣＬ」である。ＭＦＰ１００はこの命令コマンドを受信すると、コピージョブを中止する。

「１」〜「０」の各数字の音声ワードに対応する命令コマンドは、「１」〜「０」の各数字である。ＭＦＰ１００は数字の命令コマンドを受信すると、コピージョブの選択を受け付ける画面であって、受信した命令コマンドの数字をコピー枚数の欄に表示した画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

さらに、「クリア」という音声ワードに対応する命令コマンドは、「ＣＲ」である。ＭＦＰ１００はこの命令コマンドを受信すると、コピージョブの選択を受け付ける画面であって、コピー枚数の表示欄の数字をクリアした（「０」にした）画面の画面データをリモートパネル３００へ送信する処理を行う。

図８は、画面ＩＭ１においてキーＫ１が押下された場合に、リモートパネル３００が表示部３０５に表示する画面ＩＭ２と、画面ＩＭ２の音声ワードテーブルＷＴ２とを模式的に示す図である。（ａ）は画面ＩＭ２であり、（ｂ）は音声ワードテーブルＷＴ２である。

図８を参照して、画面ＩＭ２は、コピージョブの選択を受け付ける画面である。画面ＩＭ２は、たとえば、コピージョブの実行指示を受け付けるキーＫ５と、コピージョブの中止を受け付けるキーＫ６と、画面ＩＭ２の操作方法の説明の要求を受け付けるキーＫ７と、両面印刷または片面印刷の設定を受け付けるキーＫ８と、ステープルの設定を受け付けるキーＫ９と、コピーの画質に関する条件の設定を受け付けるキーＫ１０とを含んでいる。

音声ワードテーブルＷＴ２は、画面ＩＭ２で受け付け可能な音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。たとえば、「両面印刷」という音声ワードに対応する命令コマンドは、「ＯＰ１」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ８が押下された場合と同様に、両面印刷または片面印刷の設定を受け付ける。

「ステープル」という音声ワードに対応する命令コマンドは、「ＯＰ２」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ９が押下された場合と同様に、ステープルの設定を受け付ける。

「画質設定」という音声ワードに対応する命令コマンドは、「ＯＰ３」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１０が押下された場合と同様に、コピーの画質に関する条件の設定を受け付ける画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「ヘルプ」という音声ワードに対応する命令コマンドは、「ＨＬＰ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ７が押下された場合と同様に、画面ＩＭ２の操作方法を説明する画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「スタート」、「キャンセル」、「１」〜「０」、および「クリア」の各々の音声ワードに対応する命令コマンド、およびその命令コマンドを受信した場合のＭＦＰ１００の動作は、画面ＩＭ１の場合と同様である。

図９は、画面ＩＭ１においてキーＫ２が押下された場合に、リモートパネル３００が表示部３０５に表示する画面ＩＭ３と、画面ＩＭ３の音声ワードテーブルＷＴ３とを模式的に示す図である。（ａ）は画面ＩＭ３であり、（ｂ）は音声ワードテーブルＷＴ３である。

図９を参照して、画面ＩＭ３は、ファクシミリ送信ジョブの選択を受け付ける画面である。画面ＩＭ３の上部には、宛先番号の欄が設けられている。画面ＩＭ３は、たとえば、ファクシミリ送信ジョブの実行指示を受け付けるキーＫ１１と、ファクシミリ送信ジョブの中止を受け付けるキーＫ１２と、画面ＩＭ３の操作方法の説明の要求を受け付けるキーＫ１３と、記憶部１０４に予め登録されている宛先リストから送信先を選択する指示を受け付けるキーＫ１４と、ファクシミリデータの再送信の指示を受け付けるキーＫ１５とを含んでいる。

音声ワードテーブルＷＴ３は、画面ＩＭ３で受け付け可能な音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。たとえば、「登録宛先入力」という音声ワードに対応する命令コマンドは、「ＡＤＩ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１４が押下された場合と同様に、記憶部１０４に予め登録されている宛先リストを表示する画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「リダイヤル」という音声ワードに対応する命令コマンドは、「ＲＤＬ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１５が押下された場合と同様に、ファクシミリデータの再送信の指示を受け付ける。

「ヘルプ」という音声ワードに対応する命令コマンドは、「ＨＬＰ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１３が押下された場合と同様に、画面ＩＭ３の操作方法を説明する画面の画面データと、その画面の音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「スタート」という音声ワードに対応する命令コマンドは、「ＳＴ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１１が押下された場合と同様に、ファクシミリ送信ジョブを実行する。

「キャンセル」という音声ワードに対応する命令コマンドは、「ＣＬ」である。ＭＦＰ１００はこの命令コマンドを受信すると、キーＫ１２が押下された場合と同様に、ファクシミリ送信ジョブを中止する。

「１」〜「０」の各数字の音声ワードに対応する命令コマンドは、「１」〜「０」の各数字である。ＭＦＰ１００は数字の命令コマンドを受信すると、受信した命令コマンドの数字を宛先番号の欄に表示した画面の画面データをリモートパネル３００へ送信する処理を行う。

さらに、「クリア」という音声ワードに対応する命令コマンドは、「ＣＲ」である。ＭＦＰ１００はこの命令コマンドを受信すると、宛先番号の欄の数字をクリアした画面の画面データをリモートパネル３００へ送信する処理を行う。

図１０は、本発明の第１の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。

図１０を参照して、リモートパネル３００のＣＰＵ３０１は、ユーザーの音声をマイク３０９で受け付けると（Ｓ３０１）、受け付けた音声を音声認識部３１０で認識する（Ｓ３０３）。続いてＣＰＵ３０１は、認識した音声が、記憶部３０４で記憶している音声ワードテーブルに含まれるか否かを判別する（Ｓ３０５）。

ステップＳ３０５において、含まれると判別した場合（Ｓ３０５でＹＥＳ）、ＣＰＵ３０１は、認識した音声の音声認識情報をＭＦＰ１００へ送信し（Ｓ３０７）、処理を終了する。一方、ステップＳ３０５において、含まれないと判別した場合（Ｓ３０５でＮＯ）、ＣＰＵ３０１は処理を終了する。

図１１は、本発明の第１の実施の形態において、リモートパネル３００から音声認識情報を受信した場合のＭＦＰ１００の動作を示すフローチャートである。

図１１を参照して、ＭＦＰ１００のＣＰＵ１０１は、リモートパネル３００から音声認識情報を受信すると（Ｓ４０１）、音声認識情報に基づいて命令コマンドを解析する（Ｓ４０３）。ステップＳ４０３において、音声認識情報が音声データである場合には、ＣＰＵ１０１は音声データをテキストデータに変換し、変換したテキストデータに対応する命令コマンドを解析する。音声認識情報がテキストデータである場合には、テキストデータに対応する命令コマンドを解析する。音声認識情報が命令コマンドである場合には、ステップＳ４０３の処理は省略されてもよい。

ステップＳ４０３の処理に続いて、ＣＰＵ１０１は、命令コマンドに基づく処理を実行し（Ｓ４０５）、処理に伴う更新画面の描画処理を実行し、更新画面を操作パネル１０７に表示する（Ｓ４０７）。その後ＣＰＵ１０１は、更新画面の描画情報および音声ワードテーブルをリモートパネル３００へ送信し（Ｓ４０９）、処理を終了する。

［第２の実施の形態］
本実施の形態では、リモートパネル３００が受け付けた音声が、記憶部３０４が記憶している音声ワードテーブルの音声ワードに含まれていない場合に、音声を認識できなかったことをリモートパネル３００で通知する画像形成システムの動作について説明する。

図１２は、本発明の第２の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。

図１２を参照して、このフローチャートは、ステップＳ３０５の処理において、認識した音声が、記憶部３０４で記憶している音声ワードテーブルに含まれないと判別した場合の処理が、図１０に示すフローチャートと異なっている。具体的には、ステップＳ３０５において、含まれないと判別した場合（Ｓ３０５でＮＯ）、リモートパネル３００のＣＰＵ３０１は、音声の認識を失敗したことを表示部３０５でのメッセージまたはスピーカーを通じた音声などによりユーザーに通知し（Ｓ３０９）、処理を終了する。

なお、画像形成システムの構成、および上述以外の画像形成システムの動作については、第１の実施の形態における画像形成システムの構成および動作と同様であるので、その説明は繰り返さない。

［第３の実施の形態］
本実施の形態では、リモートパネル３００が受け付けた音声が、記憶部３０４が記憶している音声ワードテーブルの音声ワードに含まれている場合に、リモートパネル３００が、表示部３０５に表示している画面の描画情報を音声認識情報とともにＭＦＰ１００へ送信し、ＭＦＰ１００は、リモートパネル３００から受信した描画情報と、操作パネル１０７の表示画面の描画情報とが一致したか否かに基づいて処理を実行する画像形成システムの動作について説明する。

図１３は、本発明の第３の実施の形態において、ユーザーの音声をリモートパネル３００が受け付けた場合のリモートパネル３００の動作を示すフローチャートである。

図１３を参照して、このフローチャートは、ステップＳ３０５の処理において、認識した音声が、記憶部３０４で記憶している音声ワードテーブルに含まれると判別した場合の処理が、図１０に示すフローチャートと異なっている。具体的には、ステップＳ３０５において、含まれると判別した場合（Ｓ３０５でＹＥＳ）、リモートパネル３００のＣＰＵ３０１は、認識した音声の音声認識情報と、表示部３０５に表示している画面の描画情報とをＭＦＰ１００へ送信し（Ｓ３１１）、処理を終了する。

図１４は、本発明の第３の実施の形態において、リモートパネル３００から音声認識情報および描画情報を受信した場合のＭＦＰ１００の動作を示すフローチャートである。

図１４を参照して、ＭＦＰ１００のＣＰＵ１０１は、リモートパネル３００から音声認識情報および描画情報を受信すると（Ｓ４３１）、受信した描画情報と、操作パネル１０７の表示画面の描画情報とが一致するか否かを判別する（Ｓ４３３）。

ステップＳ４３３において、一致すると判別した場合（Ｓ４３３でＹＥＳ）、ＣＰＵ１０１は、図１１のステップＳ４０３以降の処理を実行する。一方、ステップＳ４３３において、一致しないと判別した場合（Ｓ４３３でＮＯ）、通信の遅延などの原因により表示部３０５の表示画面と操作パネル１０７の表示画面とが一致していない状態にある。この場合ＣＰＵ１０１は、受信した音声認識情報に基づく処理を実行せずに、受信した音声認識情報を破棄し（Ｓ４３５）、処理を終了する。ステップＳ４３５において、ＣＰＵ３０１は、音声を破棄した旨の通知を行ってもよい。

なお、画像形成システムの構成、および上述以外の画像形成システムの動作については、第１の実施の形態における画像形成システムの構成および動作と同様であるので、その説明は繰り返さない。

［第４の実施の形態］
本実施の形態では、記憶部１０４が記憶している音声ワードテーブルデータベースが、共通音声ワードテーブルと固有音声ワードテーブルという２種類の音声ワードテーブルを含んでいる場合の画像形成システムの動作について説明する。

図１５は、本発明の第４の実施の形態における、ＭＦＰ１００がリモートパネル３００へ送信する画面および音声ワードテーブルを模式的に示す図である。

図１５を参照して、ＭＦＰ１００は、共通音声ワードテーブルと固有音声ワードテーブルという２種類の音声ワードテーブルを含む音声ワードテーブルデータベースを記憶部１０４に記憶している。ＭＦＰ１００は、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合に、（ａ）に示すように、画面ＩＭ１の描画情報と、共通音声ワードテーブルＷＴ１０および画面ＩＭ１の固有音声ワードテーブルＷＴ１１とをリモートパネル３００へ送信する。

ＭＦＰ１００は、画面ＩＭ１ならびに共通音声ワードテーブルＷＴ１０および固有音声ワードテーブルＷＴ１１を送信した後で、音声認識情報をリモートパネル３００から受信した場合には、音声認識情報に応じた処理を実行し、処理に伴う更新画面と、更新画面の固有音声ワードテーブルとをリモートパネル３００へ送信する。このとき、共通音声ワードテーブルＷＴ１０は送信しない。

たとえば、リモートパネル３００の表示画面を画面ＩＭ２へ変更する指示を含む音声認識情報を受信した場合には、ＭＦＰ１００は、（ｂ）に示すように、画面ＩＭ２の描画情報および画面ＩＭ２の固有音声ワードテーブルＷＴ１２をリモートパネル３００へ送信する。リモートパネル３００はこれらを受信すると、画面ＩＭ２を表示部３０５に表示し、記憶部３０４に記憶している共通音声ワードテーブルＷＴ１０は消去せずに、記憶部３０４に記憶している固有音声ワードテーブルを固有音声ワードテーブルＷＴ１２に更新する。また、リモートパネル３００の表示画面を画面ＩＭ３へ変更する指示を含む音声認識情報を受信した場合には、ＭＦＰ１００は、（ｃ）に示すように、画面ＩＭ３の描画情報および画面ＩＭ３の固有音声ワードテーブルＷＴ１３をリモートパネル３００へ送信する。リモートパネル３００は、これらを受信すると、画面ＩＭ３を表示部３０５に表示し、記憶部３０４に記憶している共通音声ワードテーブルＷＴ１０は消去せずに、記憶部３０４に記憶している固有音声ワードテーブルを固有音声ワードテーブルＷＴ１３に更新する。

図１６は、共通音声ワードテーブルＷＴ１０を模式的に示す図である。

図１６を参照して、共通音声ワードテーブルＷＴ１０は、リモートパネル３００の表示部３０５に表示可能な複数の画面（たとえば画面ＩＭ１〜ＩＭ３）で共通して受け付け可能な指示の言葉である音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。たとえば、「ヘルプ」という音声ワードに対応する命令コマンドは、「ＨＬＰ」である。ＭＦＰ１００はこの命令コマンドを受信すると、表示部３０５に表示している画面の操作方法を説明する画面の画面データと、その画面の固有音声ワードテーブルとをリモートパネル３００へ送信する処理を行う。

「スタート」という音声ワードに対応する命令コマンドは、「ＳＴ」である。ＭＦＰ１００はこの命令コマンドを受信すると、選択されているジョブを実行する。

「キャンセル」という音声ワードに対応する命令コマンドは、「ＣＬ」である。ＭＦＰ１００はこの命令コマンドを受信すると、実行しているジョブを中止する。

「１」〜「０」の各数字の音声ワードに対応する命令コマンドは、「１」〜「０」の各数字である。ＭＦＰ１００は数字の命令コマンドを受信すると、表示部３０５に表示している画面の数値を入力する欄にその数字を入力した画面の画面データを、リモートパネル３００へ送信する処理を行う。

さらに、「クリア」という音声ワードに対応する命令コマンドは、「ＣＲ」である。ＭＦＰ１００はこの命令コマンドを受信すると、表示部３０５に表示している画面の数値を入力する欄の数字をクリアした（「０」にした）画面の画面データをリモートパネル３００へ送信する処理を行う。

図１７は、固有音声ワードテーブルＷＴ１１、ＷＴ１２、およびＷＴ１３を模式的に示す図である。（ａ）は固有音声ワードテーブルＷＴ１１であり、（ｂ）は固有音声ワードテーブルＷＴ１２であり、（ｃ）は固有音声ワードテーブルＷＴ１３である。

図１７を参照して、固有音声ワードテーブルＷＴ１１、ＷＴ１２、およびＷＴ１３の各々は、リモートパネル３００の表示部３０５に表示する画面に固有の受け付け可能な指示の言葉である音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。

具体的には、固有音声ワードテーブルＷＴ１１には、（ａ）に示すように、画面ＩＭ１で受け付け可能な音声ワード（図７（ｂ）に示す音声ワードテーブルＷＴ１に含まれる音声ワード）のうち、共通音声ワードテーブルＷＴ１０に含まれていない音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。固有音声ワードテーブルＷＴ１２には、（ｂ）に示すように、画面ＩＭ２で受け付け可能な音声ワード（図８（ｂ）に示す音声ワードテーブルＷＴ２に含まれる音声ワード）のうち、共通音声ワードテーブルＷＴ１０に含まれていない音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。固有音声ワードテーブルＷＴ１３には、（ｃ）に示すように、画面ＩＭ３で受け付け可能な音声ワード（図９（ｂ）に示す音声ワードテーブルＷＴ３に含まれる音声ワード）のうち、共通音声ワードテーブルＷＴ１０に含まれていない音声ワードと、その音声ワードに対応する命令コマンドとを含んでいる。

リモートパネル３００は、音声認識部３１０でユーザーの音声を認識すると、認識した音声が、記憶部３０４に記憶している共通音声ワードテーブルまたは固有音声ワードテーブルに含まれているか否かを判別する。リモートパネル３００は、共通音声ワードテーブルまたは固有音声ワードテーブルに含まれていると判別した場合に、その音声の音声認識情報をＭＦＰ１００へ送信する。

図１８は、本発明の第４の実施の形態において、音声認識モードへ移行したことの通知をリモートパネル３００から受信した場合におけるＭＦＰ１００の動作を示すフローチャートである。

図１８を参照して、ＭＦＰ１００のＣＰＵ１０１は、音声認識モードへ移行したことの通知をリモートパネル３００から受信すると（Ｓ１０１）、リモートパネル３００とのセッションを開始する（Ｓ１０３）。続いてＣＰＵ１０１は、初期画面の描画情報、共通音声ワードテーブル、および固定音声ワードテーブルをリモートパネル３００へ送信し（Ｓ１０７）、処理を終了する。

図１９は、音声認識モードへ移行した場合のリモートパネル３００の動作を示すフローチャートである。

図１９を参照して、リモートパネル３００のＣＰＵ３０１は、リモートパネル３００の動作状態を音声認識モードへ移行させ（Ｓ２１１）、音声認識モードへ移行したことをＭＦＰ１００へ通知し、ＭＦＰ１００とのセッションを開始する（Ｓ２１３）。続いてＣＰＵ３０１は、描画情報および音声ワードテーブルをＭＦＰ１００から受信したか否かを判別する（Ｓ２１５）。

ステップＳ２１５において、描画情報および音声ワードテーブルを受信したと判別した場合（Ｓ２１５でＹＥＳ）、ＣＰＵ３０１は、受信した描画情報に基づいて描画処理を行い、表示部３０５に画面を表示する（Ｓ２１７）。続いてＣＰＵ３０１は、記憶部３０４に記憶している固有音声ワードテーブルを、今回受信した固有音声ワードテーブルに更新し（Ｓ２１９）、今回受信した音声ワードテーブルがＭＦＰ１００から初めて受信したものか否か（初回受信の音声ワードテーブルか否か）を判別する（Ｓ２２１）。

ステップＳ２２１において、初めて受信したものであると判別した場合（Ｓ２２１でＹＥＳ）、ＣＰＵ３０１は、記憶部３０４に記憶している共通音声ワードテーブルを、今回受信した共通音声ワードテーブルに更新し（Ｓ２２３）、ステップＳ２１５の処理へ進む。

ステップＳ２１５において、描画情報および音声ワードテーブルを受信していないと判別した場合（Ｓ２１５でＮＯ）、またはステップＳ２２１において、２回目以降に受信したものであると判別した場合（Ｓ２２１でＮＯ）、ＣＰＵ３０１は、ステップＳ２１５の処理へ進む。

なお、画像形成システムの構成、および上述以外の画像形成システムの動作については、第１の実施の形態における画像形成システムの構成および動作と同様であるので、その説明は繰り返さない。

［実施の形態の効果］
上述の実施の形態によれば、リモートパネル３００が認識した音声のうち無駄な音声データが除去されて、残りの音声に関する情報がＭＦＰ１００へ送信されるので、ＭＦＰ１００とリモートパネル３００との間の通信を削減することができ、ＭＦＰ１００のパフォーマンスの低下を抑止することができる。

第２の実施の形態によれば、認識した音声が音声ワードテーブルに含まれない場合に、音声の認識に失敗したことをユーザーに対して通知することができる。

第３の実施の形態によれば、通信の遅延などの原因により表示部３０５の表示画面と操作パネル１０７の表示画面とが一致していない状態にある場合に、ＭＦＰ１００の誤動作を抑止することができる。

第４の実施の形態によれば、複数の画面で共通して受け付け可能な指示の言葉を重複してリモートパネル３００へ送信することを回避することができ、ＭＦＰ１００とリモートパネル３００との間の通信を削減することができる。

［その他］
ＭＦＰ１００がリモートパネル３００へ送信する画面の描画情報は、画面を特定する情報であればよく、画面データの他、画面ＩＤなどであってもよい。この場合、リモートパネル３００は、記憶部３０４に画面データベースを記憶しており、記憶部３０４が記憶する画面データベースの中から、受信した画面ＩＤを手がかりに必要な画面データを特定し、特定した画面データに基づいて表示部３０５に画面を表示してもよい。

上述の実施の形態は適宜組み合わせることができる。たとえば、第２の実施の形態と第３または第４の実施の形態とが組み合わされてもよいし、第３および第４の実施の形態が組み合わされてもよい。

上述の実施の形態における処理は、ソフトウェアにより行なっても、ハードウェア回路を用いて行なってもよい。また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザーに提供することにしてもよい。プログラムは、ＣＰＵなどのコンピューターにより実行される。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

上述の実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ ＭＦＰ
１０１，３０１ ＣＰＵ
１０２，３０２ ＲＯＭ
１０３，３０３ ＲＡＭ
１０４，３０４ 記憶部
１０５ プリント処理部
１０６ 画像処理部
１０７ 操作パネル
１０８ スキャナー部
１０９ ネットワーク接続部
２００ ネットワーク
３００ リモートパネル
３０５ 表示部
３０６ 操作部
３０７ ネットワーク接続部
３０８ 音声受付部
３０９ マイク
３１０ 音声認識部
ＩＭ１〜ＩＭ３ 画面
Ｋ１〜Ｋ１５ キー
ＰＲ１〜ＰＲ５ 処理
ＷＴ１〜ＷＴ３ 音声ワードテーブル
ＷＴ１０ 共通音声ワードテーブル
ＷＴ１１〜ＷＴ１３ 固有音声ワードテーブル

Claims (16)

1. 表示部を含む端末装置と、前記端末装置と通信可能な画像形成装置とを備えた画像形成システムであって、
   前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記画像形成装置から前記端末装置へ送信する第１の送信手段と、
   前記第１の送信手段にて送信した情報に基づく画面を前記端末装置の表示部に表示する第１の表示手段と、
   前記第１の表示手段にて画面を表示している場合に、前記端末装置で音声を認識する音声認識手段と、
   前記音声認識手段にて認識した音声が前記受け付け可能な指示に含まれているか否かを前記端末装置で判別する判別手段と、
   前記受け付け可能な指示に含まれていると前記判別手段にて判別した場合に、前記音声認識手段にて認識した音声に関する情報を前記端末装置から前記画像形成装置へ送信する第２の送信手段と、
   前記第２の送信手段にて送信した情報に基づく処理を前記画像形成装置で実行する処理実行手段と、
   前記端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段とを備え、
   前記移行手段は、前記端末装置の表示部にて拡大画面を表示する場合に、前記端末装置の動作状態を音声認識モードへ移行する表示移行手段を含む、画像形成システム。
2. 前記受け付け可能な指示に含まれていると前記判別手段にて判別した場合に、前記第２の送信手段は、前記端末装置の表示部に表示している画面を特定する情報をさらに送信し、
   前記第２の送信手段にて送信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致した場合に、前記処理実行手段は、前記第２の送信手段にて送信した音声に関する情報に基づく処理を実行する、請求項１に記載の画像形成システム。
3. 表示部を含む端末装置と、前記端末装置と通信可能な画像形成装置とを備えた画像形成システムであって、
   前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記画像形成装置から前記端末装置へ送信する第１の送信手段と、
   前記第１の送信手段にて送信した情報に基づく画面を前記端末装置の表示部に表示する第１の表示手段と、
   前記第１の表示手段にて画面を表示している場合に、前記端末装置で音声を認識する音声認識手段と、
   前記音声認識手段にて認識した音声が前記受け付け可能な指示に含まれているか否かを前記端末装置で判別する判別手段と、
   前記受け付け可能な指示に含まれていると前記判別手段にて判別した場合に、前記音声認識手段にて認識した音声に関する情報を前記端末装置から前記画像形成装置へ送信する第２の送信手段と、
   前記第２の送信手段にて送信した情報に基づく処理を前記画像形成装置で実行する処理実行手段とを備え、
   前記受け付け可能な指示に含まれていると前記判別手段にて判別した場合に、前記第２の送信手段は、前記端末装置の表示部に表示している画面を特定する情報をさらに送信し、
   前記第２の送信手段にて送信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致した場合に、前記処理実行手段は、前記第２の送信手段にて送信した音声に関する情報に基づく処理を実行し、
   前記第２の送信手段にて送信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致しない場合に、前記処理実行手段は、前記第２の送信手段にて送信した音声に関する情報を破棄する、画像形成システム。
4. 前記端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段をさらに備えた、請求項３に記載の画像形成システム。
5. 前記移行手段は、音声認識モードへの移行する指示を受け付けた場合に、前記端末装置の動作状態を音声認識モードへ移行する指示移行手段を含む、請求項４に記載の画像形成システム。
6. 前記指示移行手段は、音声認識モードへ移行するためのソフトウェアキーまたはハードウェアキーの押下を前記端末装置で受け付けた場合に、前記端末装置の動作状態を音声認識モードへ移行する、請求項５に記載の画像形成システム。
7. 前記受け付け可能な指示に含まれていないと前記判別手段にて判別した場合に、音声を認識できなかったことを前記端末装置で通知する通知手段をさらに備えた、請求項１〜６のいずれかに記載の画像形成システム。
8. 前記第２の送信手段は、前記音声認識手段にて認識した音声のテキストデータを送信する、請求項１〜７のいずれかに記載の画像形成システム。
9. 前記第２の送信手段は、前記音声認識手段にて認識した音声に対応する命令コマンドを送信する、請求項１〜７のいずれかに記載の画像形成システム。
10. 前記処理実行手段にて実行した処理に伴う更新画面を特定する情報と、前記更新画面で受け付け可能な指示とを前記画像形成装置から前記端末装置へ送信する第３の送信手段をさらに備えた、請求項１〜９のいずれかに記載の画像形成システム。
11. 前記第１の送信手段は、前記端末装置の表示部に表示する画面で受け付け可能な指示として、前記端末装置の表示部に表示可能な複数の画面で共通して受け付け可能な指示を含むテーブルである共通音声ワードテーブルと、前記端末装置の表示部に表示する画面に固有の受け付け可能な指示を含むテーブルである固有音声ワードテーブルとを送信し、
    前記第３の送信手段は、前記更新画面の固有音声ワードテーブルを送信し、前記共通音声ワードテーブルを送信しない、請求項１０に記載の画像形成システム。
12. 前記第１の送信手段にて送信した情報に基づく画面を前記画像形成装置の表示部に表示する第２の表示手段をさらに備えた、請求項１〜１１のいずれかに記載の画像形成システム。
13. 端末装置と通信可能な画像形成装置であって、
    前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記端末装置へ送信する送信手段と、
    前記送信手段にて送信した場合に、前記端末装置で認識した音声に関する情報を前記端末装置から受信する受信手段と、
    前記受信手段にて受信した情報に基づく処理を実行する処理実行手段とを備え、
    前記受信手段は、前記端末装置の表示部に表示している画面を特定する情報を前記端末装置からさらに受信し、
    前記受信手段にて受信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致した場合に、前記処理実行手段は、前記受信手段にて受信した音声に関する情報に基づく処理を実行し、
    前記受信手段にて受信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致しない場合に、前記処理実行手段は、前記受信手段にて受信した音声に関する情報を破棄する、画像形成装置。
14. 表示部を含み、かつ画像形成装置と通信可能な端末装置であって、
    前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記画像形成装置から受信する受信手段と、
    前記受信手段にて送信した情報に基づく画面を前記端末装置の表示部に表示する表示手段と、
    前記表示手段にて画面を表示している場合に、音声を認識する音声認識手段と、
    前記音声認識手段にて認識した音声が前記受け付け可能な指示に含まれているか否かを判別する判別手段と、
    前記受け付け可能な指示に含まれていると前記判別手段にて判別した場合に、前記音声認識手段にて認識した音声に関する情報を前記画像形成装置へ送信する送信手段と、
    前記端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行手段とを備え、
    前記移行手段は、前記端末装置の表示部にて拡大画面を表示する場合に、前記端末装置の動作状態を音声認識モードへ移行する表示移行手段を含む、端末装置。
15. 端末装置と通信可能な画像形成装置の制御プログラムであって、
    前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記端末装置へ送信する送信ステップと、
    前記送信ステップにて送信した場合に、前記端末装置で認識した音声に関する情報を前記端末装置から受信する受信ステップと、
    前記受信ステップにて受信した情報に基づく処理を実行する処理実行ステップとをコンピューターに実行させ、
    前記受信ステップにおいて、前記端末装置の表示部に表示している画面を特定する情報を前記端末装置からさらに受信し、
    前記受信ステップにて受信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致した場合に、前記処理実行ステップにおいて、前記受信ステップにて受信した音声に関する情報に基づく処理を実行し、
    前記受信ステップにて受信した画面を特定する情報と、前記画像形成装置の表示部の表示画面の情報とが一致しない場合に、前記処理実行ステップにおいて、前記受信ステップにて受信した音声に関する情報を破棄する、画像形成装置の制御プログラム。
16. 表示部を含み、かつ画像形成装置と通信可能な端末装置の制御プログラムであって、
    前記端末装置の表示部に表示する画面を特定する情報と、前記端末装置の表示部に表示する画面で受け付け可能な指示とを前記画像形成装置から受信する受信ステップと、
    前記受信ステップにて送信した情報に基づく画面を前記端末装置の表示部に表示する表示ステップと、
    前記表示ステップにて画面を表示している場合に、音声を認識する音声認識ステップと、
    前記音声認識ステップにて認識した音声が前記受け付け可能な指示に含まれているか否かを判別する判別ステップと、
    前記受け付け可能な指示に含まれていると前記判別ステップにて判別した場合に、前記音声認識ステップにて認識した音声に関する情報を前記画像形成装置へ送信する送信ステップと、
    前記端末装置の動作状態を、音声を認識不能な状態である通常モードから音声を認識可能な状態である音声認識モードへ移行する移行ステップとをコンピューターに実行させ、
    前記移行ステップは、前記端末装置の表示部にて拡大画面を表示する場合に、前記端末装置の動作状態を音声認識モードへ移行する表示移行ステップを含む、端末装置の制御プログラム。

Images