JP7177591B2 - 無線端末、サーバ、それらの制御方法、プログラム、及びシステム - Google Patents

Description

本発明は、無線端末、サーバ、それらの制御方法、プログラム、及びシステムに関する。

近年の人工知能系の研究開発分野はまさに黎明期であり、スマートフォン・家電などの小型の電子機器から車・家など大型のものまで人工知能を活用した機能を搭載し始めている。なかでも音声認識・自然言語処理を活用した対話式ユーザインタフェースに関連する技術はすでに実用に耐えうる十分な技術蓄積がある。フロントエンド開発の技術者が自社製品に対話式ユーザインタフェースの機能を搭載するためのプラットフォームが整い、開発に必要な敷居はかなり低くなったといえる。

対話式ユーザインタフェースでは音声又はテキスト入力によって人間とコンピュータが「対話」をする形で電子機器を操作する。以前からあるボイスコマンドは、特定のキーワードに反応するのみであるが、対話式ユーザインタフェースは人間と対話しているような感覚で電子機器を操作できるのが特徴である。音声認識・自然言語処理を活用した対話式ユーザインタフェースにおける課題はユーザが発話又はテキスト入力している内容から如何にしてユーザが現在行おうとしている意図を読み取ることにある。特許文献１には、ユーザ意図を解釈するためにハンズフリーコンテキストという概念を導入する方法が提案されている。

特開２０１７－１６６８３号公報

一方、ＭＦＰ（Multifunctional peripheral）等の画像形成装置では、提供する機能の多様化、複雑化に伴い、ユーザに対してより複雑な操作を要求することとなっている。ＭＦＰのユーザインタフェースを閲覧しながら条件等を設定することは、要望するサービスにもよるが、ユーザにとって非常に複雑であり、かつ煩わしいものとなる場合がある。また、携帯端末等からＭＦＰへアクセスする場合に、そのユーザインタフェースにおいて、無線ダイレクト等の複雑な設定を行うことは一般ユーザには理解が難しいものである。さらに、ＭＦＰ等が有する機能自体を十分に把握していないユーザも存在する。そこで、容易にユーザの意図を解釈して、当該ユーザに適切な装置や機能等を提示するユーザインタフェースが要望されている。

本発明は、上述の問題の少なくとも一つに鑑みて成されたものであり、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示する仕組みを提供することを目的とする。

本発明は、例えば、画像形成装置及びサーバと通信可能な無線端末であって、音声でのユーザ入力を受け付けて前記サーバへ送信する送信手段と、前記サーバにおいて前記送信した音声が音声認識によりテキストに変換され、変換されたテキストについて前記サーバの自然言語処理エンジンによって解釈されたユーザの意図と、複数の画像形成装置の能力情報とに基づき決定された１以上の画像形成装置のリストを該サーバから受信する受信手段と、前記受信手段によって受信した前記１以上の画像形成装置のリストを表示する表示手段とを備え、前記サーバには、前記ユーザ入力に従ってユーザの意図を解釈する意図解釈サーバと、１以上の前記画像形成装置を管理する管理サーバとが含まれ、前記意図解釈サーバは、前記ユーザ入力が音声である場合に音声認識を実行する音声認識エンジンと、前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する前記自然言語処理エンジンと、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースと、前記自然言語処理エンジンによって言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈手段とを備え、前記管理サーバは、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースと、前記意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供手段とを備えることを特徴とする。

また、本発明は、無線端末とサーバと１以上の画像形成装置が通信可能なシステムであって、前記無線端末は、音声でのユーザ入力を受け付けて前記サーバへ送信する第１の送信手段を備え、前記サーバは、前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換手段と、前記変換手段によって変換されたテキストについて、自然言語処理エンジンによるユーザの意図の解釈を実行し、ユーザの意図を決定する実行手段と、前記１以上の画像形成装置の能力情報と、前記実行手段によって決定されたユーザの意図とに基づき、ユーザの意図を満たす１以上の画像形成装置を決定する決定手段と、前記決定手段によって決定された１以上の画像形成装置のリストを、前記無線端末に送信する第２の送信手段と、を備え、前記無線端末は、さらに、前記１以上の画像形成装置のリストを前記サーバから受信する受信手段と、前記受信手段によって受信した前記１以上の画像形成装置のリストを表示する表示手段とを備えることを特徴とする。

また、本発明は、１以上の画像形成装置と無線端末と通信可能なサーバであって、前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換手段と、前記変換手段によって変換されたテキストについて、自然言語処理エンジンによるユーザの意図の解釈を実行し、ユーザの意図を決定する実行手段と、前記１以上の画像形成装置の能力情報と、前記実行手段によって決定されたユーザの意図とに基づき、ユーザの意図を満たす少なくとも１つの画像形成装置を決定する決定手段と、前記決定手段によって決定された少なくとも１つの画像形成装置のリストを、前記無線端末に送信する送信手段とを備えることを特徴とする。

本発明によれば、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示することができる。

一実施形態に係る情報処理システムの構成を示す図。 一実施形態に係るＭＦＰのハードウェア構成を示す図。 一実施形態に係るＭＦＰのソフトウェア構成を示す図。 一実施形態に係る無線端末のハードウェア構成を示す図。 一実施形態に係る各サーバのハードウェア構成を示す図。 一実施形態に係る意図解釈サーバのフローチャート。 一実施形態に係るＭＦＰ管理サーバのフローチャート。 一実施形態に係る携帯端末のユーザインタフェースの遷移図。 一実施形態に係るプリンタを選定する際のシーケンス図。

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第１の実施形態＞
＜システム構成＞
以下では、本発明の第１の実施形態について説明する。まず、図１を参照して、本実施形態に係る情報処理システム１００の構成について説明する。本実施形態に係るシステムは、ＭＦＰ（画像形成装置及び通信装置の一例）１０１、無線端末（情報処理装置）１０２、意図解釈サーバ１０３、及びＭＦＰ管理サーバ１０４を含んで構成される。なお、少なくともＭＦＰ０１及び無線端末１０２は無線通信機能を有し、例えば、ＭＦＰ１０１と無線端末１０２との間では直接又は間接的に無線接続することができる。一般的に無線接続にはいくつかの実施形態があるが、本発明では特に限定しない。例えば、Ｗｉ－Ｆｉ（登録商標）、ＢＬＥ、ＮＦＣ等の近距離通信からＬＴＥ（登録商標），３Ｇ、４Ｇ等の長距離通信、また近年のＣａｔ－Ｍ１、ｎｂ－ＩｏＴ等のＩｏＴ通信を含んでもよい。

ＭＦＰ１０１は、印刷、コピー、スキャン、ＦＡＸ等の各種サービスを提供するとともに、無線通信機能を有する画像形成装置の一例である。無線端末１０２は、ＭＦＰ１０１と無線接続することができ、ユーザによってＭＦＰ１０１のコントローラとして使用される。意図解釈サーバ１０３は、無線端末１０２からユーザ入力を受け付けて、そのユーザの意図を解釈する。ＭＦＰ管理サーバ１０４は、意図解釈サーバ１０３及びＭＦＰ１０１と通信可能に接続され、意図解釈サーバ１０３によって解釈されたユーザの意図を受信し、その意図を実行するための命令をＭＦＰ１０１へ送信する。なお、ＭＦＰ管理サーバ１０４には、複数のＭＦＰ等の画像形成装置が通信可能に接続されており、意図解釈サーバ１０３が解釈したユーザの意図に応じて、上記複数の画像形成装置のうち適切な画像形成装置を意図解釈サーバ１０３を介してユーザに提示する。

ＭＰＦ１０１と無線端末１０２はオフィスビル内の同じ部屋に存在し、ユーザは無線端末１０２を操作することでＭＦＰ１０１に対して処理を要求する。一方で、意図解釈サーバ１０３及びＭＦＰ管理サーバ１０４はそれらのサービスをインターネット上で公開するものであってもよい。なお、本実施形態は、ユーザがＭＦＰ１０１へ処理要求を送信する場合を例に説明するが、特許請求の範囲となる設定対象機器は一般的な情報処理装置であり、ＭＦＰ１０１はパーソナルコンピュータや携帯端末などであってもよい。

＜ＭＦＰ１０１のハードウェア構成＞
次に、図２を参照して、本実施形態に係るＭＦＰ１０１のハードウェア構成を説明する。ＭＦＰ１０１は、ハードウェア構成として、ＣＰＵ２１１、ＲＯＭ（Read Only Memory）２１２、ＲＡＭ（Random Access Memory）２１３、ＨＤＤ（Hard Disk Drive）２１４、操作部２１５、プリンタ２１６、スキャナ２１７、Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｉ／Ｆ２１８、Ｗｉ－ＦｉＩ／Ｆ２１９、Ｅｔｈｅｒｎｅｔ（登録商標）Ｉ／Ｆ２２０を備える。各ハードウェア２１１～２２０は、内部バス２２１によって接続され相互にデータ交換を行うことができる。

ＣＰＵ２１１は、ＭＦＰ１０１全体の動作を統括的に制御する。ＣＰＵ２１１は、ＲＯＭ２１２やＨＤＤ２１４等に記憶された制御プログラムをＲＡＭ２１３に読み出して読取制御や送信制御などの各種制御を行う。ＲＡＭ２１３は、ＣＰＵ２１１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ２１４は、画像データや各種プログラムを記憶する。

操作部２１５は、ユーザの指で操作可能なタッチパネルとして動作するディスプレイやハードウェアボタンを備える。プリンタ２１６は、内部バス２２１を介して転送された画像データを用紙等の記録媒体に印刷する。スキャナ２１７は、原稿上の画像を読み取って画像データを生成する。ＢｌｕｅｔｏｏｔｈＩ／Ｆ２１８は、Ｂｌｕｅｔｏｏｔｈ規格で無線通信を行うインタフェースであり、ＢｌｕｅｔｏｏｔｈＩ／Ｆを持つ他の機器と相互に通信を行う。本実施形態では無線端末１０２とＢｌｕｅｔｏｏｔｈ規格により相互に通信を行う。Ｗｉ－ＦｉＩ／Ｆ２１９とＥｔｈｅｒｎｅｔＩ／Ｆ２２０は、それぞれ無線・有線によってネットワークに接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

＜ＭＦＰ１０１のソフトウェア構成＞
次に、図３を参照して、本実施形態に係るＭＦＰ１０１のソフトウェア構成を説明する。ＭＦＰ１０１は、ソフトウェア構成として、ネットワーク制御部３０１、ＵＩ制御部３０２、ＯＳカーネル３０３、Ｂｌｕｅｔｏｏｔｈ通信制御部３０４、Ｗｉ－Ｆｉ通信制御部３０５、及びＥｔｈｅｒｎｅｔ通信制御部３０６を備える。

Ｗｉ－Ｆｉ通信制御部３０５は、Ｗｉ－ＦｉＩ／Ｆ２１９を制御するためのモジュールである。Ｂｌｕｅｔｏｏｔｈ通信制御部３０４は、Ｂｌｕｅｔｏｏｔｈ通信Ｉ／Ｆ２１８を制御するためのモジュールである。同様にＥｔｈｅｒｎｅｔ通信制御部３０６は、Ｅｔｈｅｒｎｅｔ通信Ｉ／Ｆ２２０を制御する。これらのモジュールはＯＳカーネル３０３によって制御される。ネットワーク制御部３０１は、ＯＳカーネル３０３を介してＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉの各通信制御部を操作する。ネットワーク制御部３０１は現在のネットワーク設定を管理し、Ｅｔｈｅｒｎｅｔ（有線ＬＡＮ）、無線ＬＡＮ、無線Ｐ２Ｐ接続のそれぞれの通信形態が有効かどうかを管理する。ネットワーク制御部３０１は、ＵＩ制御部３０２と情報伝達を行い、ＵＩの表示を変えたり、逆にＵＩからの操作要求によってネットワーク制御を行ったりする。

＜無線端末のハードウェア構成＞
次に、図４を参照して、本実施形態に係る無線端末１０２のハードウェア構成の一例を説明する。図４に示すように、無線端末１０２は、ハードウェア構成として、システム制御部４００、操作パネル４０８、スピーカ４０９、及びマイク４１０を備える。また、システム制御部４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＨＤＤ４０４、操作パネルＩ／Ｆ４０５、音声入出力Ｉ／Ｆ４０６、及びネットワークＩ／Ｆ４０７を備える。各ハードウェア４０１～４０７は、内部バス４１２によって接続され相互にデータ交換を行うことができる。

システム制御部４００は、無線端末１０２を統括的に制御する制御部である。ＣＰＵ４０１は、無線端末１０２全体の動作を統括的に制御する。ＣＰＵ４０１は、ＲＯＭ４０２やＨＤＤ４０４等に記憶された制御プログラムをＲＡＭ４０３に読み出して音声入力や送信制御などの各種制御を行う。ＲＡＭ４０３は、ＣＰＵ４０１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ４０４は、ＭＦＰ１０１へ送信する印刷データや各種プログラムを記憶する。

操作パネルＩ／Ｆ４０５は、操作パネル４０８におけるユーザ入力を制御するとともに、操作パネル４０８への表示出力を制御するインタフェースである。操作パネル４０８は、例えばタッチパネル式の液晶ディスプレイで構成され、入力部と表示部とを有するユーザインタフェースである。音声入出力Ｉ／Ｆ４０６は、スピーカ４０９及びマイク４１０に接続され、ユーザからの音声の取得や、ユーザへの音声の出力を制御する。ネットワークＩ／Ｆ４０７は、各種ネットワークへ接続され、例えば、インターネットを介して意図解釈サーバ１０３と接続され、無線通信を介してＭＦＰ１０１と接続される。

＜各サーバのハードウェア構成＞
次に、図５を参照して、本実施形態に係る意図解釈サーバ１０３やＭＦＰ管理サーバ１０４のハードウェア構成について説明する。意図解釈サーバ１０３は、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、ＨＤＤ５０４、データベースＩ／Ｆ５０５、及び広域ネットワークＩ／Ｆ５０６を備える。各ハードウェア５０１～５０６は、内部バス５０８によって接続され相互にデータ交換を行うことができる。

ＣＰＵ５０１は、意図解釈サーバ１０３を統括的に制御する。ＣＰＵ５０１は、ＲＯＭ５０３やＨＤＤ５０４等に記憶された制御プログラムをＲＡＭ５０２に読み出して意図解析や送信制御などの各種制御を行う。ＲＡＭ５０２は、ＣＰＵ５０１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ５０４は、後述する登録済み意図テーブルや各種プログラムを記憶する。

データベースＩ／Ｆ５０５は、データベース（意図データベース）５０７に接続され、データベース５０７への情報の入出力を制御する。データベース５０７は、後述する表１の登録済み意図テーブルを管理する。広域ネットワークＩ／Ｆ５０６は、広域ネットワークを介した無線端末１０２及びＭＦＰ管理サーバ１０４との通信を制御する。

ＭＦＰ管理サーバ１０４は、ＣＰＵ５１１、ＲＡＭ５１２、ＲＯＭ５１３、ＨＤＤ５１４、データベースＩ／Ｆ５１５、及び広域ネットワークＩ／Ｆ５１６を備える。各ハードウェア５１１～５１６は、内部バス５１８によって接続され相互にデータ交換を行うことができる。

ＣＰＵ５１１は、ＭＦＰ管理サーバ１０４を統括的に制御する。ＣＰＵ５１１は、ＲＯＭ５１３やＨＤＤ５１４等に記憶された制御プログラムをＲＡＭ５１２に読み出して意図解析や送信制御などの各種制御を行う。ＲＡＭ５１２は、ＣＰＵ５１１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ５１４は、後述するプリンタ情報テーブル、プリンタ能力情報テーブルや各種プログラムを記憶する。

データベースＩ／Ｆ５１５は、データベース（プリンタデータベース）５１７に接続され、データベース５１７への情報の入出力を制御する。データベース５１７は、後述する表２のプリンタ情報テーブル、及び表３のプリンタ能力情報テーブルを管理する。広域ネットワークＩ／Ｆ５１６は、広域ネットワークを介したＭＦＰ１０１及び意図解釈サーバ１０３との通信を制御する。

＜意図解釈サーバのデータベース構成＞
次に、表１を参照して、意図解釈サーバ１０３が保持する登録済み意図のテーブルについて説明する。このテーブルは、各意図（Ｉｎｔｅｎｔｉｏｎ）にする補足パラメータとして、Ｒｅｑｕｉｒｅｄパラメータと、そうでない通常のパラメータとの２種類を持つ。Ｒｅｑｕｉｒｅｄパラメータは入力が必須のパラメータであり、各意図と解釈するにあたって必ず満たさなければならない条件である。それ以外のパラメータは入力必須ではなく、意図の解釈においても満たした方が望ましいという位置づけである。

例えば、意図の例として「プリンタ選定」がある。これはユーザが使用するプリンタを１つに決定する意図であり、Ｒｅｑｕｉｒｅｄパラメータとして使用するプリンタがカラー印刷をサポートするかどうかのパラメータであるＣｏｌｏｒが設定されている。また、Ｒｅｑｕｉｒｅｄでないパラメータとして自動ステープル機能をサポートするかどうかのパラメータであるＳｔａｐｌｅが設定されている。

よって、意図解釈サーバ１０３に入力されたテキスト文又は音声入力文が「カラー印刷が可能でステープル機能持っているプリンタを使用する」であれば、この文の意図は「プリンタ選定」と解釈される。さらに、ＣｏｌｏｒパラメータはＥｎａｂｌｅ（カラー印刷をサポートする）と解釈され、ＳｔａｐｌｅパラメータもＥｎａｂｌｅ（自動ステープル機能をサポートする）と解釈される。用意してあるどの意図にも当てはまらなかったテキスト文入力は「意図不明」と解釈される。なお、表１では、意図として、「プリンタ選定」、「印刷準備」、「印刷」、「意図不明」が定義され、これらに対する各種パラメータが設定されているが、これらは一例であり、本発明を限定する意図はない。他の意図や他のパラメータが登録されてもよく、これらは任意に追加、削除を行うことができる。

＜ＭＦＰ管理サーバのデータベース構成＞
次に、表２及び表３を参照して、ＭＦＰ管理サーバ１０４が保持するプリンタ情報テーブル及びプリンタ能力情報テーブルについて説明する。表２に示すプリンタ情報テーブルには、各ユーザが利用可能なプリンタ情報が定義されている。この情報は特定ユーザに紐づけられた利用可能なプリンタのリストであり、一人のユーザが複数のプリンタを利用可能とすることもでき、一つのプリンタが複数のユーザに利用可能とされることもできる。なお、表２は一例であって本発明を限定する意図はなく、他のユーザや他のプリンタが定義されてもよい。

表３に示すプリンタ能力情報テーブルには、各プリンタの能力情報が定義されている。ここでは、Ｓｉｚｅ、Ｃｏｌｏｒ、Ｓｔａｐｌｅのパラメータは表１で出てきたものと同じものを示す。Ｓｉｚｅは当該プリンタで印刷可能な最大の用紙サイズを表す。Ｃｏｌｏｒは当該プリンタでカラー印刷が可能であるかどうかを示し、Ｔｒｕｅであれば当該プリンタでカラー印刷が可能であることを示す。Ｓｔａｐｌｅは自動ステープルを行うオプション機能が当該プリンタで利用可能かを示す。なお、表３は一例であって本発明を限定する意図はなく、他のプリンタや他のパラメータが定義されてもよい。

＜意図解釈サーバ１０３の処理＞
次に、図６を参照して、本実施形態に係る意図解釈サーバ１０３がユーザ入力の意図を解釈し、ＭＦＰ管理サーバ１０４へ信号を送る処理手順を説明する。以下で説明する処理は、例えば、意図解釈サーバ１０３のＣＰＵ５０１がＲＯＭ５０３やＨＤＤ５０４に格納された制御プログラムをＲＡＭ５０２に読み出して実行することにより実現される。

Ｓ６０１で、意図解釈サーバ１０３のＣＰＵ５０１は、テキスト入力又は音声入力を無線端末１０２から受信したかどうかを判定する。テキスト入力又は音声入力を受信した場合、Ｓ６０２に進み、ＣＰＵ５０１は、受信した入力の意図を解釈する。具体的には、ＣＰＵ５０１は、音声入力についてはまず音声認識エンジンによる音声認識を行って入力音声をテキストに変換する。そして、ＣＰＵ５０１は、テキスト入力又は音声入力から変換されたテキストについて自然言語処理エンジンによる意図の解釈を実行する。

次に、Ｓ６０３で、ＣＰＵ５０１は、Ｓ６０２での意図判定結果が意図不明であるかどうかを判定する。意図不明であればＳ６０７に進み、そうでなければＳ６０４に進む。Ｓ６０４で、ＣＰＵ５０１は、判定された意図について、表１に示すＲｅｑｕｉｒｅｄパラメータの全てが満たされているかどうかを判定する。Ｒｅｑｕｉｒｅｄパラメータの全てが満たされていない場合Ｓ６０６に進み、全て満たされている場合はＳ６０５に進む。Ｓ６０６で、ＣＰＵ５０１は、満たされていないＲｅｑｕｉｒｅｄパラメータに関する追加の質問文を無線端末１０２のユーザにネットワークを介して提示し、Ｓ６０４の判定に戻る。なお、Ｓ６０４の判定に戻る際には、新たなユーザ入力を受信しＳ６０２相当の意図解釈処理を実行し、パラメータの抽出を行う。

Ｒｅｑｕｉｒｅｄパラメータが全て満たされた場合、Ｓ６０５で、ＣＰＵ５０１は、判定された意図とパラメータ群をＭＦＰ管理サーバ１０４に送信し、処理を終了する。一方、Ｓ６０３において意図判定結果が意図不明であった場合は、Ｓ６０７で、ＣＰＵ５０１は、意図が不明である旨を無線端末１０２のユーザにネットワークを介して提示し、処理を終了する。

＜ＭＦＰ管理サーバ１０４の処理＞
次に、図７を参照して、本実施形態に係るＭＦＰ１０４が意図解釈サーバ１０３から上記Ｓ６０５で送信された意図とそのパラメータを受信した際の処理手順について説明する。以下で説明する処理は、例えば、ＭＦＰ管理サーバ１０４のＣＰＵ５１１がＲＯＭ５１３やＨＤＤ５１４に格納された制御プログラムをＲＡＭ５１２に読み出して実行することにより実現される。

Ｓ７０１で、ＭＦＰ管理サーバ１０４のＣＰＵ５１１は、意図解釈サーバ１０３から送られてくる信号を受信したか否かを判定する。信号を受信した場合はＳ７０２に進み、ＣＰＵ５１１は、まず信号に含まれている意図種別を取得し、意図が「ＭＦＰの決定（プリンタ選定）」かどうかを判断する。意図が「ＭＦＰの決定」であればＳ７０３に進み、そうでない場合はＳ７０５に進む。

Ｓ７０３で、ＣＰＵ５１１は、現在のユーザに紐づけられたＭＦＰで、かつ上記信号に含まれている条件（Ｒｅｑｕｉｒｅｄ条件）を全て満たすプリンタがあるかどうかを、プリンタ能力情報テーブル（表２）を参照することで判定する。条件を満たすプリンタがあればＳ７０９に進み、そうでない場合はＳ７０４に進む。Ｓ７０４で、ＣＰＵ５１１は、適合するＭＦＰが見つからなかったことを意図解釈サーバ１０３へネットワークを介して通知し、処理を終了する。一方、条件を満たすプリンタが見つかった場合はＳ７０９で、ＣＰＵ５１１は、適合するプリンタのリストを作成して意図解釈サーバ１０３へ返し、処理を終了する。

Ｓ７０２で受信した信号から取得した意図が「ＭＦＰの決定」でない場合、Ｓ７０５で、ＣＰＵ５１１は、現在のユーザアカウントが使用しようとしているＭＦＰが既に決定済みかどうかを判定する。決定済みでない場合はＳ７１０に進み、決定済みの場合はＳ７０６に進む。Ｓ７１０で、ＭＦＰ管理サーバ１０４は、意図解釈サーバ１０３に対してＭＦＰを決定させるための意図切り替え要求を送信し、意図を表１における「プリンタ選定」へ切り替え、処理を終了する。

一方、既に使用するＭＦＰが決定している場合は、Ｓ７０６で、ＣＰＵ５１１は、今回の意図が決定されたＭＦＰへの通信を必要とするものかどうか判断する。必要であればＳ７０７に進み、そうでなければＳ７０９に進む。Ｓ７０７で、ＣＰＵ５１１は、通信が必要である場合は対象ＭＦＰに対して信号の意図に対応する処理要求を送信し、通信確認を行う。続いて、Ｓ７０８で、ＣＰＵ５１１は、送信した処理要求に対してＭＦＰからの応答があったか否かを判定する。応答があり、かつ当該応答が成功を示す場合はＳ７０９に進み、そうでない場合はＳ７１１に進む。Ｓ７０９で、ＣＰＵ５１１は、意図解釈サーバ１０３に対して意図の処理が完了したことを示す信号を送信する。Ｓ７０７でＭＦＰ１０１から失敗を示す応答又は応答そのものがなかった場合、Ｓ７１１で、ＣＰＵ５１１は、意図解釈サーバ１０３に対して意図の処理が失敗したことを示す信号を送信し、処理を終了する。

＜無線端末１０２のユーザインタフェース＞
次に、図８を参照して、無線端末１０２の操作パネル４０８に表示されるユーザインタフェースとそのフローについて説明する。当該ユーザインタフェースは、無線端末１０２に格納された所定のアプリケーションを開くと対話形式のアプリケーションの画面が操作パネル４０８に表示される。上記所定のアプリケーションは、デフォルトで無線端末１０２にインストールされたものでもよいし、外部装置からダウンロードとしてインストールされたものでもよい。図８に示す画面８０１～８０４は当該アプリケーションの画面である。また、以下で説明する無線端末１０２の処理は、ＣＰＵ４０１によって行われる。

画面８０１は、対話表示領域８１４にこれまでの対話履歴を表示したものである。対話表示領域８１４は１対１の対話の流れを上から時系列に並べたものであり、左側にアラインされた文章はＭＦＰサービス側、即ち、意図解釈サーバ１０３による質問等、右側にアラインされた文章はユーザによる発話又はテキスト入力であることを示している。意図解釈サーバ１０３による質問等は、上記Ｓ６０６やＳ６０７で提示されたものである。画面８０１においてユーザが画面下方のテキストフィールド８１１をタップすると、ＣＰＵ４０１は、テキスト入力を開始すべく画面８０２へ遷移させる。

画面８０２では画面下半分に仮想キーボード８２２が表示され、ユーザは様々な言語で入力することができる。入力されたテキスト内容はテキストフィールド８２３に表示される。画面８０２で対話表示領域８２１をタップすると、ＣＰＵ４０１は、テキストフィールド８２３の入力状態を維持したまま画面８０１へ戻す。この状態で画面８０１の送信ボタン（アイコン）８１３がタップされると、ＣＰＵ４０１は、テキストフィールド８１１に表示されているテキストをユーザの発話として、意図解釈サーバ１０３へ送信する。さらに、ＣＰＵ４０１は、当該テキストを対話表示領域８１４に表示させる。

画面８０１で音声入力ボタン（アイコン）８１２がタップされると、ＣＰＵ４０１は、音声入力を開始するための画面８０３へ遷移させる。画面８０３ではリージョン８３２に示すような、ユーザに音声入力を促す説明が表示され、ユーザからの音声入力が待ち受けられる。ユーザが対話表示領域８３１にタップするか、音声入力を完了するか、キャンセルボタン８３３をタップすると、ＣＰＵ４０１は、画面８０１へ戻す。

画面８０１でファイルセレクタボタン（アイコン）８１５がタップされると、ＣＰＵ４０１は、ファイルの選択を開始する画面８０４へ遷移させる。画面８０４では画面の下半分で印刷対象となるファイルを選択することができる。リージョン８４３に表示された印刷可能なデータ（画像ファイルやＰＤＦなど）がタップされると、ＣＰＵ４０１は、テキストフィールド８４４に送信対象となった印刷可能データ（例えば、アイコン８４５）を表示させる。当該選択では複数のデータを選択することができ、テキストフィールド８４４には追加で選択された画像が右側に追加されていく。なお、この状態でテキストフィールド８４４がタップされると、ＣＰＵ４０１は、画面８０２へ遷移させ、ユーザは表示された印刷可能データのアイコン８４５をＢＳ（バックスペース）で消すことによって印刷対象から削除することもできる。送信ボタン８４２がタップされると、ＣＰＵ４０１は、選択された印刷可能データを、対話相手となっている情報機器（この場合はＭＦＰ側、直接的には意図解釈サーバ１０３）へ送信する。ＣＰＵ４０１は、画面８０４の表示中に対話表示領域８４１がタップされるか、ファイル選択が完了して印刷可能データを送信すると、画面８０１へ戻す。

＜対話シナリオ＞
次に、図９を参照して、ユーザが無線端末１０２を介してＭＦＰ側と対話し、所定のＭＦＰを利用する流れの一例を説明する。各装置の処理は、各装置のＣＰＵによって統括的に制御される。

Ｓ９０１で、無線端末１０２は、「印刷する」というユーザからの入力を、意図解釈サーバ１０３に送信する。意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈し、意図が「印刷」であると判断される（Ｓ６０４）。Ｓ９０２で、意図解釈サーバ１０３は、意図”印刷”をＭＦＰ管理サーバ１０４に送信する。ここで、ＭＦＰ管理サーバ１０４は、図７のフローチャートを辿ると、まだ使用するＭＦＰが未決定であるため、Ｓ９０３で意図切替要求（Ｓ７１０）を意図解釈サーバ１０３へ送信する。

これを受けてＳ９０４で、意図解釈サーバ１０３は、「どういう用途ですか？」という主旨の質問文を無線端末１０２に提示する。これを受けてＳ９０５で、無線端末１０２は、「社内プレゼン用でカラー印刷」というユーザ入力を受け付け、意図解釈サーバ１０３へ通知する。Ｓ９０６で、意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈して、解釈した意図とパラメータとをＭＦＰ管理サーバ１０４へ送信する（Ｓ６０４）。ここでは、意図「プリンタ選定」、Ｃｏｌｏｒ（Ｒｅｑｕｉｒｅｄ Ｐａｒａｍ）にはＥｎａｂｌｅｄ、Ｓｔａｐｌｅ（Ｏｐｔｉｏｎａｌ Ｐａｒａｍ）にはＥｎａｂｌｅが格納されたデータがＭＦＰ管理サーバ１０４へ送信される。

次に、Ｓ９０７で、ＭＦＰ管理サーバ１０４は、Ｒｅｑｕｉｒｅｄパラメータを全て満たす中で、Ｏｐｔｉｏｎａｌパラメータを多く満たすプリンタを優先的にリストアップしたリストを作成して、意図解釈サーバ１０３へ返す（Ｓ７０８）。Ｓ９０８で、意図解釈サーバ１０３は、「利用可能なプリンタリスト［１］［２］［３］」という形式で無線端末１０２上に利用可能ＭＦＰの一覧を提示する。

その後、Ｓ９０９で、無線端末１０２は、「［２］を使用する」というユーザにより選択された所望の画像形成装置を示すユーザ入力を、意図解釈サーバ１０３へ通知する。続いて、Ｓ９１０で、意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈し、意図が切り替わり、意図「印刷準備」をＭＦＰ管理サーバ１０４へ送信する（Ｓ６０４）。

Ｓ９１１で、ＭＦＰ管理サーバ１０４は、図７のフローチャートに従って対象ＭＦＰへ向けて無線Ｐ２Ｐ起動指示を発行する（Ｓ７０６）。対象のＭＦＰ（ここでは、ＭＦＰ１０１）は、これを受けて無線Ｐ２Ｐ接続を行うための準備を行い、Ｓ９１２で無線Ｐ２Ｐ接続するための接続情報（ＳＳＩＤ／ＰａｓｓＰｈｒａｓｅ）をＭＦＰ管理サーバ１０４へ返す。Ｓ９１３で、当該接続情報は、ＭＦＰ管理サーバ１０４から意図解釈サーバ１０３を中継して、無線端末１０２へと渡される。Ｓ９１４で、無線端末１０２は、渡された接続情報に従って、ＭＦＰ１０１と無線接続を行い、最終的にこの無線接続を使用して印刷ジョブの投入を行う。

以上説明したように、本実施形態に係る無線端末は、音声又はテキストでのユーザ入力を受け付けてサーバへ通知し、当該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、ユーザとサーバとの間で対話を行わせる。また、本無線端末は、対話に基づいてサーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを当該サーバから受信して表示する。さらに、ユーザによってリストから所望の画像形成装置が選択されると、サーバから当該画像形成装置への接続情報を取得して、アクセスし、印刷ジョブ等を投入する。また、本実施形態に係る管理サーバは、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを備える。さらに、本管理サーバは、意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストをプリンタデータベースを参照して作成して提供する。また、本実施形態に係る意図解釈サーバは、音声又はテキストでのユーザ入力を無線端末から受信し、受信したユーザ入力が音声である場合に音声認識を実行し、音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する。また、本意図解釈サーバは、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備える。さらに、本意図解釈サーバは、言語処理エンジンによって言語処理されたユーザ入力と、意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を無線端末へ提示する。このように本実施形態によれば、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報処理システム、１０１：ＭＦＰ、１０２：無線端末、１０３：意図解釈サーバ、１０４：ＭＦＰ管理サーバ

Claims (23)

1. 画像形成装置及びサーバと通信可能な無線端末であって、
   音声でのユーザ入力を受け付けて前記サーバへ送信する送信手段と、
   前記サーバにおいて前記送信した音声が音声認識によりテキストに変換され、変換されたテキストについて前記サーバの自然言語処理エンジンによって解釈されたユーザの意図と、複数の画像形成装置の能力情報とに基づき決定された１以上の画像形成装置のリストを該サーバから受信する受信手段と、
   前記受信手段によって受信した前記１以上の画像形成装置のリストを表示する表示手段と
   を備え、
   前記サーバには、前記ユーザ入力に従ってユーザの意図を解釈する意図解釈サーバと、１以上の前記画像形成装置を管理する管理サーバとが含まれ、
   前記意図解釈サーバは、
   前記ユーザ入力が音声である場合に音声認識を実行する音声認識エンジンと、
   前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する前記自然言語処理エンジンと、
   複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースと、
   前記自然言語処理エンジンによって言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈手段と
   を備え、
   前記管理サーバは、
   各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースと、
   前記意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供手段と
   を備えることを特徴とする無線端末。
2. 前記表示手段に表示された前記１以上の画像形成装置のリストを介して、前記ユーザ入力により選択された所望の画像形成装置への接続情報を前記サーバから取得する取得手段と、
   前記取得手段によって取得された前記接続情報を用いて、前記所望の画像形成装置へ無線接続を行ってジョブを投入する接続手段と
   をさらに備えることを特徴とする請求項１に記載の無線端末。
3. 前記表示手段は、さらに、前記ユーザと前記サーバとの対話を時系列に表示することを特徴とする請求項１又は２に記載の無線端末。
4. 前記表示手段は、さらに、前記対話を表示している画面において、音声入力を開始するためのアイコンと、テキスト入力を開始するためのフィールドと、前記画像形成装置に送信する画像データの選択を開始するためのアイコンと、前記ユーザ入力を表示し、かつ該ユーザ入力を前記サーバへ通知させるためのアイコンと、の少なくとも１つを表示することを特徴とする請求項３に記載の無線端末。
5. 前記１以上のパラメータには、対応する意図と解釈するために前記ユーザ入力に含まれることを条件とする第１パラメータと、任意のパラメータである第２パラメータとが含まれることを特徴とする請求項１に記載の無線端末。
6. 前記意図解釈手段は、前記ユーザ入力に前記第１パラメータが含まれていない場合は、前記追加の質問を前記無線端末へ提示することを特徴とする請求項５に記載の無線端末。
7. 前記提供手段は、前記意図解釈サーバで解釈されたユーザの意図が、画像形成装置に対して通信を必要とする場合には、ユーザが所望する画像形成装置との通信確認を行うことを特徴とする請求項１に記載の無線端末。
8. １以上の画像形成装置と無線端末と通信可能なサーバであって、
   前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換手段と、
   前記変換手段によって変換されたテキストについて、自然言語処理エンジンによるユーザの意図の解釈を実行し、ユーザの意図を決定する実行手段と、
   前記１以上の画像形成装置の能力情報と、前記実行手段によって決定されたユーザの意図とに基づき、ユーザの意図を満たす少なくとも１つの画像形成装置を決定する決定手段と、
   前記決定手段によって決定された少なくとも１つの画像形成装置のリストを、前記無線端末に送信する送信手段と
   を備えることを特徴とするサーバ。
9. 画像形成装置及びサーバと通信可能な無線端末の制御方法であって、
   送信手段が、音声でのユーザ入力を受け付けて前記サーバへ送信する送信工程段と、
   受信手段が、前記サーバにおいて前記送信した音声が音声認識によりテキストに変換され、変換されたテキストについて前記サーバの自然言語処理エンジンによって解釈されたユーザの意図と、複数の画像形成装置の能力情報とに基づき決定された１以上の画像形成装置のリストを該サーバから受信する受信工程と、
   表示手段が、前記受信工程で受信した前記１以上の画像形成装置のリストを表示する表示工程と
   を含み、
   前記サーバには、前記ユーザ入力に従ってユーザの意図を解釈する意図解釈サーバと、１以上の前記画像形成装置を管理する管理サーバとが含まれ、
   前記意図解釈サーバは、
   音声認識エンジンが、前記ユーザ入力が音声である場合に音声認識を実行する工程と、
   前記自然言語処理エンジンが、前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する工程と、
   意図解釈手段が、前記自然言語処理エンジンによって言語処理されたユーザ入力と、複数の意図と意図ごとに１以上のパラメータとを紐づけて保持する意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する工程と
   を含み、
   前記管理サーバは、
   提供手段が、前記意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストを、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを参照して作成して提供する工程と
   を含むことを特徴とする無線端末の制御方法。
10. １以上の画像形成装置と無線端末と通信可能であって、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備えるサーバの制御方法であって、
    変換手段が、前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換工程と、
    自然言語処理エンジンが、前記変換工程で変換されたテキストについて、ユーザの意図を解釈し、ユーザの意図を決定する実行工程と、
    決定手段が、前記１以上の画像形成装置の能力情報と、前記実行工程で決定されたユーザの意図とに基づき、ユーザの意図を満たす少なくとも１つの画像形成装置を決定する決定工程と、
    送信手段が、前記決定工程で決定された少なくとも１つの画像形成装置のリストを、前記無線端末に送信する送信工程と
    を含むことを特徴とするサーバの制御方法。
11. 画像形成装置及びサーバと通信可能な無線端末の制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    送信手段が、音声でのユーザ入力を受け付けて前記サーバへ送信する送信工程段と、
    受信手段が、前記サーバにおいて前記送信した音声が音声認識によりテキストに変換され、変換されたテキストについて自然言語処理エンジンによって解釈されたユーザの意図と、複数の画像形成装置の能力情報とに基づき決定された１以上の画像形成装置のリストを該サーバから受信する受信工程と、
    表示手段が、前記受信工程で受信した前記１以上の画像形成装置のリストを表示する表示工程と
    を含み、
    前記サーバには、前記ユーザ入力に従ってユーザの意図を解釈する意図解釈サーバと、１以上の前記画像形成装置を管理する管理サーバとが含まれ、
    前記意図解釈サーバは、
    音声認識エンジンが、前記ユーザ入力が音声である場合に音声認識を実行する工程と、
    前記自然言語処理エンジンが、前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する工程と、
    意図解釈手段が、前記自然言語処理エンジンによって言語処理されたユーザ入力と、複数の意図と意図ごとに１以上のパラメータとを紐づけて保持する意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する工程と
    を含み、
    前記管理サーバは、
    提供手段が、前記意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストを、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを参照して作成して提供する工程と
    を含むことを特徴とするプログラム。
12. １以上の画像形成装置と無線端末と通信可能であって、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備えるサーバの制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    変換手段が、前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換工程と、
    自然言語処理エンジンが、前記変換工程で変換されたテキストについて、ユーザの意図を解釈し、ユーザの意図を決定する実行工程と、
    決定手段が、前記１以上の画像形成装置の能力情報と、前記実行工程で決定されたユーザの意図とに基づき、ユーザの意図を満たす少なくとも１つの画像形成装置を決定する決定工程と、
    送信手段が、前記決定工程で決定された少なくとも１つの画像形成装置のリストを、前記無線端末に送信する送信工程と
    を含むことを特徴とするプログラム。
13. 無線端末とサーバと１以上の画像形成装置が通信可能なシステムであって、
    前記無線端末は、
    音声でのユーザ入力を受け付けて前記サーバへ送信する第１の送信手段を備え、
    前記サーバは、
    前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換手段と、
    前記変換手段によって変換されたテキストについて、自然言語処理エンジンによるユーザの意図の解釈を実行し、ユーザの意図を決定する実行手段と、
    前記１以上の画像形成装置の能力情報と、前記実行手段によって決定されたユーザの意図とに基づき、ユーザの意図を満たす１以上の画像形成装置を決定する決定手段と、
    前記決定手段によって決定された１以上の画像形成装置のリストを、前記無線端末に送信する第２の送信手段と、を備え、
    前記無線端末は、さらに、
    前記１以上の画像形成装置のリストを前記サーバから受信する受信手段と、
    前記受信手段によって受信した前記１以上の画像形成装置のリストを表示する表示手段と
    を備えることを特徴とするシステム。
14. 前記ユーザの意図は、画像形成装置の選定であることを特徴とする請求項１３に記載のシステム。
15. 前記１以上の画像形成装置の能力情報は、各画像形成装置で印刷可能な最大の用紙サイズ、各画像形成装置はカラー印刷可能であるかを示す情報、及び各画像形成装置はステープル可能であるかを示す情報の少なくとも１つを含むことを特徴とする請求項１３又は１４に記載のシステム。
16. 前記決定手段は、前記変換手段によって変換されたテキストがカラー又はステープルの文字列を含む場合、前記ユーザの意図は、画像形成装置の選定であると決定することを特徴とする請求項１３乃至１５の何れか１項に記載のシステム。
17. 前記決定手段は、さらに、各ユーザが利用可能な画像形成装置の情報が定義されているテーブルに基づき、前記１以上の画像形成装置を決定することを特徴とする請求項１３乃至１６の何れか１項に記載のシステム。
18. さらに、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備えることを特徴とする請求項１３乃至１７の何れか１項に記載のシステム。
19. 無線端末とサーバと１以上の画像形成装置が通信可能なシステムの制御方法であって、
    前記無線端末が、音声でのユーザ入力を受け付けて前記サーバへ送信する第１の送信工程と、
    前記サーバが、前記無線端末から受信した音声に音声認識を実行して、前記音声をテキストに変換する変換工程と、
    前記サーバが、前記変換工程で変換されたテキストについて、自然言語処理エンジンによるユーザの意図の解釈を実行し、ユーザの意図を決定する実行工程と、
    前記サーバが、前記１以上の画像形成装置の能力情報と、前記実行工程で決定されたユーザの意図とに基づき、ユーザの意図を満たす１以上の画像形成装置を決定する決定工程と、
    前記サーバが、前記決定工程で決定された１以上の画像形成装置のリストを、前記無線端末に送信する第２の送信工程と、
    前記無線端末が、前記１以上の画像形成装置のリストを前記サーバから受信する受信工程と、
    前記無線端末が、前記受信工程で受信した前記１以上の画像形成装置のリストを表示する表示工程と
    を含むことを特徴とするシステムの制御方法。
20. 前記ユーザの意図は、画像形成装置の選定であることを特徴とする請求項８に記載のサーバ。
21. 前記１以上の画像形成装置の能力情報は、各画像形成装置で印刷可能な最大の用紙サイズ、各画像形成装置はカラー印刷可能であるかを示す情報、及び各画像形成装置はステープル可能であるかを示す情報の少なくとも１つを含むことを特徴とする請求項８又は２０に記載のサーバ。
22. 前記決定手段は、前記変換手段で変換されたテキストがカラー又はステープルの文字列を含む場合、前記ユーザの意図は、画像形成装置の選定であると決定することを特徴とする請求項８又は２０に記載のサーバ。
23. 前記決定手段は、さらに、各ユーザが利用可能な画像形成装置の情報が定義されているテーブルに基づき、前記１以上の画像形成装置を決定することを特徴とする請求項８又は２０に記載のサーバ。

Images