JP7327939B2

JP7327939B2 - 情報処理システム、情報処理装置、制御方法、プログラム

Info

Publication number: JP7327939B2
Application number: JP2019001954A
Authority: JP
Inventors: 武士松村; 徹高橋; 佑治名屋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2023-08-16
Anticipated expiration: 2039-01-09
Also published as: JP2020112932A; JP2023138549A

Description

本発明は、情報を表示し音声入力により操作が可能な情報処理システム、情報処理装置に関する。この情報処理装置は、複写機複合機の他、パーソナルコンピュータやモバイル端末として利用することができる。

従来、タッチパネル等の入力インターフェースを用いてユーザの指示入力を受け付ける装置の１つとして、ＭＦＰ等の画像形成装置が知られている。また、画像形成装置に関する技術分野では、こうした指示入力の一部を音声入力に置きかえる技術が検討されている。特許文献１では、印刷設定の組み合わせが登録されたモードメモリを音声入力により指定する技術が開示されている。

特開２００７－１１４２９７号公報

特許文献１の技術は、音声入力を利用する際の操作性について改善の余地がある。例えば、特許文献１では、音声入力によるユーザ指示を利用する場合、発話内容やアクセント等をあらかじめモードメモリに対応付けておき、この登録内容に一致する発話を検出する仕組みが紹介されている。この検出方法では、微妙なアクセントの違いや余分な発声によって登録内容と一致しないと判定される虞がある。この場合、登録内容と一致するまで繰り返し発声を求められる等して操作性が低下してしまう。したがって、音声入力による操作を受け付けるシステムは自然言語を処理可能なシステムであることが望ましい。

また、特許文献１は、音声入力キーの押下後の音声入力により、モードメモリの呼出という固定の機能を提供するのみである。したがって、ユーザによる装置の操作状況や表示中の画面の状況に応じた操作性を提供することが出来ていなかった。

本発明の目的は、自然言語で入力された音声に基づいて画面の操作指示を受け付け可能な情報処理システムを提供することである。特に、自然言語で入力された音声に対して、表示中の画面に応じた応答を行うことが可能な情報処理システムを提供することである。

本発明は、情報処理システムにおいて、自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する手段と、操作パネルの表示デバイスに表示中の画面の構成情報、ハードキーの情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応付けられた所定の処理を実行するか否かを決定する手段と、を有し、前記単語情報は、前記表示デバイスに表示中の画面に含まれるアイコンの表記名とは異なる単語であって位置に関する単語を含むことを特徴とするものである。

本発明によれば、自然言語で入力された音声に基づいて画面の操作指示を受け付け可能な情報処理システムを提供できる。特に、自然言語で入力された音声に対して、表示中の画面に応じた応答を行うことが可能な情報処理システムを提供できる。

システム構成図である。操作パネルの構成図である。音声制御装置のハード構成を説明する概念図である。サーバのハード構成を説明する概念図である。画像形成装置のハード構成を説明する概念図である。音声制御装置の制御プログラムの機能構成を説明する概念図である。サーバの制御プログラムの機能構成を説明する概念図である。画像形成装置の制御プログラムの機能構成を説明する概念図である。システムを構成する装置間、および、各装置の制御プログラム間のシーケンスを説明するシーケンス図である。画像形成装置のデバイス制御プログラムの処理フローを説明する図である。制御プログラムが管理および利用するグループＩＤリストの一例である。制御プログラムが表示する画面と、管理および利用する画面制御情報と操作対象判定情報の一例である。画像形成装置の操作対象判定部の処理フローを説明する図である。第１の操作対象判定処理の例を説明する図である。第１の操作対象判定処理の例を説明する図である。第２の操作対象判定処理の例を説明する図である。第２の操作対象判定処理の例を説明する図である。第３の操作対象判定処理の例を説明する図である。第３の操作対象判定処理の例を説明する図である。第４の操作対象判定処理の例を説明する図である。第４の操作対象判定処理の例を説明する図である。第４の操作対象判定処理の例を説明する図である。第４の操作対象判定処理の例を説明する図である。システムとユーザ間のインタラクションの一例を説明する図である。操作対象判定処理のその他の例を説明する図である。音声入力で操作可能な項目を示す図である。音声入力で操作可能な項目を示す図である。音声入力で操作可能な項目を示す図である。

以下、本発明を実施するための形態について実施例にて具体的な構成を挙げ、図面を用いて説明する。なお、本発明を実現するための構成は実施例に記載された構成のみに限定されるものではない。同様の効果を得られる範囲で実施例に記載の構成の一部を省略または均等物に置き換えてもよい。

＜システムの構成＞
図１は、本実施例のシステム構成図の一例である。図１に示すように、情報処理システムは、音声制御装置１００、画像形成装置１０１（画像処理装置）、サーバ１０２（方法処理装置）、クライアント端末１０３、ゲートウェイ１０５で構成される。

音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびネットワーク１０４（ＬＡＮ）を介して互いに通信可能である。なお、音声制御装置１００、画像形成装置１０１、クライアント端末１０３のそれぞれは、単一接続ではなく複数接続された構成であっても良い。また、音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびインターネットを介してサーバ１０２に通信可能である。

音声制御装置１００は、ユーザ１０６の音声操作開始指示に従い、ユーザ１０６の音声を取得してサーバ１０２へ符号化された音声データ（音声情報）を送信する。音声制御装置１００は、例えば、スマートスピーカなどである。なお、本実施例では音声制御装置１００と画像形成装置１０１が独立した構成となっている。しかしながら、音声制御装置１００を構成するハードウェア（図３を用いて後述する各ハードブロック）、及び、ソフトウェア機能（図６を用いて後述する各ソフトブロック）が画像形成装置１０１の中に含まれていてもよく、この構成に限定するものではない。

画像形成装置１０１は、例えば、コピー機能、スキャン機能、プリント機能、ＦＡＸ機能等の複数の機能を備える複合機であるが、単体の機能を備えるプリンタやスキャナであってもよい。また、５０９は図２及び図５で後述する操作パネルである。以下では、画像形成装置１０１がカラーレーザービーム複合機である前提で説明をおこなう。

サーバ１０２は、音声制御装置１００で取得されたユーザ１０６の音声データの音声認識、及び、音声認識結果から画像形成装置１０１の設定操作・ジョブ実行に関わるワード（単語情報）を判定するためのものである。また、前記音声認識結果または前記ワードの判定結果に応じてテキストを生成し、そのテキストの内容を音声制御装置１００で音声再生するための音声データの合成を行う。なお、サーバ１０２は、ディープラーニング等のニューラルネットワークを用いた機械学習により、精度の高い音声認識結果を提供することができる。例えば、サーバ１０２には、遠く離れたユーザからの音声を正確に認識するための学習がおこなわれている。また、サーバ１０２は自然言語処理に対応しており、形態素解析、構文解析、意味解析、文脈解析等を経ることで、入力された自然言語から適切な情報（単語、かな漢字変換結果）を取得することができる。なお、ジョブとは、画像形成装置１０１がプリントエンジン５１３及びスキャナ５１５を用いて実現する一連の画像形成処理（例えばコピー、スキャン、プリントなど）の単位を示す。

クライアント端末１０３は、例えば、ユーザ１０６が使うパーソナル・コンピュータ（ＰＣ）である。クライアント端末１０３上、インターネット上の何処かのサーバ上（不図示）、あるいは、画像形成装置１０１の外部記憶装置５０５上などに保存されている電子ファイルを画像形成装置１０１でプリントするためのプリントジョブを発行する。また、画像形成装置１０１でスキャンされた画像データの受信を行う。クライアント端末１０３の動作は本実施例の一連の説明に関わらないため、これ以上の詳細な説明は割愛する。

ネットワーク１０４は、音声制御装置１００、画像形成装置１０１、クライアント端末１０３、ゲートウェイ１０５を互いに接続する。そして、音声制御装置１００で取得してサーバ１０２へ送信する音声データ、サーバ１０２から送信される各データ、及び、プリントジョブやスキャンジョブなどの各種データを送受信する。

ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータなどである。ただし、他の無線通信方式に従って動作する能力を有してもよい。また、無線ＬＡＮルータではなく、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－Ｔ、１０００ＢＡＳＥ－Ｔなどに代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータなどであってもよく、他の有線通信方式に従って動作する能力を有してもよい。なお、前記ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のように、ＩＥＥＥ８０２．１１に属する一連の規格を含む。

＜画像形成装置の操作パネル＞
図２は、画像形成装置１０１の操作パネル５０９の構成例を示す図である。操作パネル５０９はＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）ディスプレイを備え、ユーザ１０６の操作内容や装置の内部状態を表示する表示デバイスである。操作パネル５０９はユーザ１０６から操作を受け付ける受付デバイス（入力デバイス）としても機能する。操作パネル５０９は、複数のハードキーを備えるだけでなく、ＬＣＤディスプレイと一体となったタッチパネルを備える。ＬＣＤタッチパネル２００は情報を表示する表示デバイスであり、主なモード設定、状況表示はここで行われる。

キー２０１～２１０はハードキー（例えば、タクトスイッチ）である。

キー２０１は、０から９までの数値を入力するためのテンキーである。キー２０２はＩＤキーであり、装置がユーザ／部門認証管理されている場合において、認証操作（ログイン／ログアウトの操作など）を行う際に使用されるものである。

キー２０３は設定されたモードをリセットするためのリセットキー、キー２０４は各モードについての説明画面を表示するためのガイドキーである。キー２０５はユーザーモード画面に入るためのユーザーモードキーである。キー２０６は割り込みコピーを行うための割り込みキーである。

キー２０７はコピー動作をスタートさせるためのスタートキー、キー２０８は実行中のコピージョブを中止させるためのストップキーである。

キー２０９はソフト電源スイッチであり、押下することによりＬＣＤタッチパネル２００のバックライトが消え、装置は低電力状態に落ちる。キー２１０は節電キーであり、これを押下することで節電状態に入り、再度押下することで節電状態から復帰する。

キー２１４はＬＣＤタッチパネル２００のコントラストを調整するための調整キーである。

キー２１５はカウンタ確認キーであり、このキーを押下することでそれまでに仕様したコピー枚数の集計を表示するカウント画面がＬＣＤタッチパネル２００上に表示される。

ＬＥＤ２１６はジョブの実行中、画像メモリへの画像蓄積中を示すＬＥＤ、ＬＥＤ２１７がジャム、ドアオープン等装置がエラー状態にあることを示すエラーＬＥＤ、ＬＥＤ２１８は装置のメインスイッチがＯＮになっていることを示す電源ＬＥＤになっている。

＜音声制御装置のハードウェア構成＞
図３は、音声制御装置１００のコントローラ部３００及び音声制御装置１００が内蔵しているデバイスのハードウェア構成例を示す図である。

図３に示すように、コントローラ部３００は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、外部記憶装置３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、および表示コントローラ３１１を含む。また、音声制御装置１００は、コントローラ部３００に付随するデバイスとして、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、通知デバイスとしてのＬＥＤ３１２を含む。

ＣＰＵ３０２はコントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。外部記憶装置３０５はＲＡＭ３０３と比較して大容量な記憶デバイス（例えばＳＤカード）である。外部記憶装置３０５にはコントローラ部３００が実行する、音声制御装置１００の制御用プログラムが格納されている。なお、外部記憶装置３０５はＳＤカード以外のフラッシュＲＯＭなどに置き換えてもよく、ＳＤカードと同等の機能を有する他の記憶デバイスに置き換えてもよい。

ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラム実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。外部記憶装置３０５上にはさらに、制御用プログラム実行時に必要な各種設定などを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。ただし、無線通信方式でなくＥｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよく、無線通信方式に限定するものではない。

マイクＩ／Ｆ３０７はマイクロフォン３０８に接続され、マイクロフォン３０８から入力されたユーザ１０６が発した音声を、符号化された音声データに変換し、ＣＰＵ３０２の指示に応じてＲＡＭ３０３に保持する。

マイクロフォン３０８は、例えば、スマートフォンなどに搭載される小型のＭＥＭＳマイクロフォンであるが、ユーザ１０６の音声を取得できるものであれば他のデバイスに置き換えてもよい。また、マイクロフォン３０８は、ユーザ１０６が発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本実施例は実現でき、３個以上にこだわるものではない。

オーディオコントローラ３０９はスピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。

スピーカ３１０は、音声制御装置１００が応答していることを表す装置の応答音、及び、サーバ１０２によって合成された音声合成を再生する。スピーカ３１０は音声を再生するための汎用のデバイスである。

表示コントローラ３１１はＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、音声制御装置１００がユーザ１０６の音声を正しく入力していることを示すためのＬＥＤの点灯制御を主に行う。

ＬＥＤ３１２は、例えば、ユーザ１０６が可視可能な青色などのＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。なお、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置に置き換えてもよい。

＜サーバのハードウェア構成＞
図４は、サーバ１０２のコントローラ部のハードウェア構成例を示す図である。

図４に示すように、コントローラ部は、システムバス４０１に接続されたＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、外部記憶装置４０５、ネットワークＩ／Ｆ４０６を含む。

ＣＰＵ４０２はコントローラ部全体の動作を制御する中央演算装置である。ＲＡＭ４０３は揮発性メモリである。ＲＯＭ４０４は不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。外部記憶装置４０５はＲＡＭ４０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置４０５にはコントローラ部が実行する、サーバ１０２の制御用プログラムが格納されている。なお、外部記憶装置４０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。

ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開するためのものである。ＣＰＵ４０２は起動用プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２は制御用プログラム実行時に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。外部記憶装置４０５上にはさらに、制御用プログラム実行時に必要な各種設定を格納することができ、ＣＰＵ４０２によって読み書きされる。ＣＰＵ４０２はネットワークＩ／Ｆ４０６を介してネットワーク１０４上の他の機器との通信を行う。

＜画像形成装置のハードウェア構成＞
図５は、画像形成装置１０１のコントローラ部５００及び画像形成装置１０１が内蔵しているデバイスのハードウェア構成例を示す図である。

図５に示すように、コントローラ部５００は、システムバス５０１に接続されたＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、外部記憶装置５０５、ネットワークＩ／Ｆ５０６、ディスプレイコントローラ５０７、操作Ｉ／Ｆ５０８、プリントコントローラ５１２、およびスキャンコントローラ５１４を含む。

ＣＰＵ５０２はコントローラ部５００全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納されている。外部記憶装置５０５はＲＡＭ５０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置５０５にはＣＰＵ５０２が実行する、画像形成装置１０１の制御用プログラムが格納されている。なお、外部記憶装置５０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。

ＣＰＵ５０２は電源ＯＮ等の起動時、ＲＯＭ５０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置５０５に格納されている制御用プログラムを読み出し、ＲＡＭ５０３上に展開するためのものである。ＣＰＵ５０２は起動用プログラムを実行すると、続けてＲＡＭ５０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ５０２は制御用プログラム実行時に用いるデータもＲＡＭ５０３上に格納して読み書きを行う。外部記憶装置５０５上にはさらに、制御用プログラム実行時に必要な各種設定や、スキャナ５１５で読み取った画像データを格納することができ、ＣＰＵ５０２によって読み書きされる。ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４上の他の機器との通信を行う。

ディスプレイコントローラ５０７はＣＰＵ５０２の指示に応じて、接続される操作パネル５０９のＬＣＤタッチパネル２００の画面表示制御を行う。

操作Ｉ／Ｆ５０８は操作信号の入出力を行う。操作Ｉ／Ｆ５０８は操作パネル５０９に接続され、ＣＰＵ５０２はＬＣＤタッチパネル２００が押下されたときに、操作Ｉ／Ｆ５０８を介してＬＣＤタッチパネル２００の押下された座標を取得する。また、操作Ｉ／Ｆ５０８は操作パネル５０９の２０１～２１０の各ハードキーの押下を検知する。

プリントコントローラ５１２はＣＰＵ５０２からの指示に応じて、接続されるプリントエンジン５１３に対して制御コマンドや画像データを送信する。

プリントエンジン５１３は、プリントコントローラ５１２から受信した制御コマンドに従い、受信した画像データをシートに印刷する（印刷処理を施す）印刷デバイスである。プリントエンジン５１３の詳細な説明は主旨ではないため、これ以上の説明は割愛する。

スキャンコントローラ５１４はＣＰＵ５０２からの指示に応じて、接続されるスキャナ５１５に対して制御コマンドを送信し、スキャナ５１５から受信する画像データをＲＡＭ５０３へ書き込む。

スキャナ５１５は、スキャンコントローラ５１４から受信した制御コマンドに従い、画像形成装置１０１が備える原稿台ガラス上（不図示）の原稿を、光学ユニットを用いて読み取る（読取処理をおこなう）読取デバイスである。スキャナ５１５の詳細な説明は主旨ではないため、これ以上の説明は割愛する。

プリントエンジン５１３とスキャナ５１５を組み合わせることで、読み取った原稿をコピー印刷するコピー処理を実行することができる。

＜音声制御装置の音声制御プログラムの機能構成＞
図６は、ＣＰＵ３０２が実行する音声制御装置１００の音声制御プログラム６０１の機能構成を示すブロック図である。

音声制御装置１００の音声制御プログラム６０１は前述のように外部記憶装置３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。

データ送受信部６０２は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０２では、後述の音声取得部６０４で取得されたユーザ１０６の発した音声データをサーバ１０２に送信する。また、ユーザ１０６への応答となる、サーバ１０２上で生成される音声合成データの受信を行う。

データ管理部６０３は、音声制御プログラム６０１の実行において生成した作業データなど様々なデータを外部記憶装置３０５上の所定の領域へ保存し、管理する。例えば、後述する音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報、画像形成装置１０１、及び、サーバ１０２と通信するために必要な各デバイス情報などが保存、管理される。

音声取得部６０４は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声を、音声データに変換し、一時保存する。ユーザ１０６の音声は、例えば、ＭＰ３などの所定のフォーマットに変換され、サーバ１０２に送信するための符号化された音声データとしてＲＡＭ３０３上に一時的に保存する。音声取得部６０４の処理開始及びその終了のタイミングは後述する音声制御部６０９によって管理される。また、音声データの符号化は汎用のストリーミング用フォーマットでもよく、符号化された音声データを順次、データ送受信部６０２で送信するようにしてもよい。

音声再生部６０５は、データ送受信部６０２が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは後述する音声制御部６０９によって管理される。

表示部６０６は表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、後述の音声操作開始検知部６０７で音声操作があることを検知した場合にＬＥＤ３１２を表示する。表示部６０６の表示のタイミングは後述する音声制御部６０９によって管理される。

音声操作開始検知部６０７は、ユーザ１０６の発したウェイクワード、または、音声制御装置１００の操作開始キー（不図示）の押下を検知し、音声制御部６０９へ操作開始通知を送信する。ここで、ウェイクワードとは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声から、常時ウェイクワードを検知する。ユーザ１０６はウェイクワードを話し、続いて自身が行いたいことを話すことで画像形成装置１０１の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。

発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、ユーザ１０６の音声が所定時間（例えば３秒）途切れたときにユーザ１０６の発話が終了したと判定し、音声制御部６０９へ発話終了通知を送信する。なお、発話終了の判定は、発話が無い時間（以降、空白時間と呼ぶ）ではなく、ユーザ１０６の所定の語句から判定して行ってもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」など所定の語句のときには、所定時間を待たずに発話終了と判定してもよい。また、発話終了の判定は、音声制御装置１００ではなく、サーバ１０２で行うようにしてもよく、ユーザの１０６の発話内容の意味や文脈から発話の終了を判定するようにしてもよい。

音声制御部６０９は制御の中心であり、音声制御プログラム６０１内の他の各モジュールが相互に連携して動作するよう制御する。具体的には、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御する。また、サーバ１０２からの音声合成データをデータ送受信部６０２で受信後、音声再生部６０５で音声合成データを再生するよう制御する。

ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて述べる。

音声制御部６０９は、音声操作開始検知部６０７からの操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８からの発話終了通知を受信すると、音声取得部６０４の処理を終了する。例えば、ユーザ１０６がウェイクワードを発話し、続いて「コピーしたい」と話したとする。このとき、音声操作開始検知部６０７が、ウェイクワードの音声を検知し、音声制御部６０９に操作開始通知を送信する。音声制御部６０９は、操作開始通知を受信すると、音声取得部６０４の処理を開始するよう制御する。音声取得部６０４は続いて話される「コピーしたい」というアナログ音声を音声データへ変換し一時保存をする。発話終了判定部６０８は、「コピーしたい」の発話後に空白時間が所定時間あったと判定すると、発話終了通知を音声制御部６０９に送信する。音声制御部６０９は、発話終了通知を受信すると、音声取得部６０４の処理を終了する。なお、音声取得部６０４が処理を開始してから終了するまでの状態を発話処理状態と呼ぶこととする。表示部６０６は、発話処理状態であることを示すＬＥＤ３１２を点灯表示する。

ユーザ１０６の発話終了判定後、音声制御部６０９は、音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御し、サーバ１０２からの応答を待つ。サーバ１０２からの応答は、例えば、応答であることを示すヘッダ部と、音声合成データから成る応答メッセージある。音声制御部６０９は、データ送受信部６０２で応答メッセージを受信すると、音声再生部６０５で音声合成データを再生するよう制御する。音声合成データは、例えば、「コピー画面を表示します」である。なお、発話終了判定後から音声合成データの再生終了までの状態を応答処理状態と呼ぶこととする。表示部６０６は、応答処理状態であることを示すＬＥＤ３１２を点滅表示する。

応答処理の後、サーバ１０２との対話セッションが継続している間は、ユーザ１０６はウェイクワードを発話することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、サーバ１０２が行い、音声制御装置１００に対話セッション終了通知を送信することで行う。なお、対話セッション終了から次の対話セッションが開始されるまでの状態を待機状態と呼ぶこととする。音声制御装置１００が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態であるとする。表示部６０６は、待機状態の間、ＬＥＤ３１２を消灯する。

＜サーバの音声データ変換制御プログラムの機能構成＞
図７（ａ）は、ＣＰＵ４０２が実行するサーバ１０２の音声データ変換制御プログラム７０１の機能構成を示すブロック図である。また、図７（ｂ）は、グループＩＤ判定部７０７がグループＩＤの判定に使うグループＩＤリストの例である。グループＩＤリストは、画像形成装置１０１のユーザ操作に関して同じ意味や意図を持つワードが同じＩＤとしてグルーピングされている。なお、前記ワードは、ユーザ１０６が音声制御装置１００に対して発話する言葉を音声認識した結果である。

サーバ１０２の音声データ変換制御プログラム７０１は前述のように外部記憶装置４０５に格納され、ＣＰＵ４０２が起動時にＲＡＭ４０３上に展開して実行する。

データ送受信部７０２は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０２では、音声制御装置１００からユーザ１０６の音声データを受信する。また、後述するグループＩＤ判定部７０７で判定されたグループＩＤ判定結果の送信を行う。

データ管理部７０３は、音声データ変換制御プログラム７０１の実行において生成した作業データや、音声データ変換部７０４で音声認識処理をするために必要なパラメータなど様々なデータを外部記憶装置４０５上の所定の領域へ保存し、管理する。例えば、音声認識部７０５が、データ送受信部７０２が受信した音声データをテキストへ変換するための音響モデルや言語モデルを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、形態素解析部７０６でテキストの形態素解析を行うための辞書を外部記憶装置４０５上の所定の領域へ保存し、管理する。また、グループＩＤ判定部７０７でグループＩＤを判定するためのグループＩＤリストを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、音声合成部７０８で音声合成を行うための音声データベースを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、データ管理部７０３には、音声制御装置１００、及び、画像形成装置１０１と通信するために必要な各デバイス情報などが保存、管理される。

音声データ変換部７０４は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、音声合成部７０８から成る。以降、音声データ変換部７０４について説明する。

音声認識部７０５は、データ送受信部７０２が受信したユーザ１０６の音声データを、テキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザ１０６の音声データを音素に変換し、さらに言語モデルを用いて音素を実際のテキストデータに変換する。なお、本実施例では、前記テキストデータは１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」（数字、アルファベット、記号等への変換も含む）したテキストから成るものとする。ただし、音声データをテキストデータへ変換する音声認識処理として他の手法を用いてもよく、前述の手法に限るものではない。音声認識処理の詳細は主旨ではないため、これ以上の説明は割愛する。

形態素解析部７０６は、音声認識部７０５で変換されたテキストデータを、形態素解析する。形態素解析は、その言語の文法や、品詞などの情報をもつ辞書から形態素列を導出し、さらに各形態素の品詞などを判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。形態素解析部７０６は、例えば、音声認識部７０５で変換された「コピーをしたい」、「Ａ３からＡ４へ」というテキストデータを、「コピーをしたい」からは、「コピー」、「を」、「し」、「たい」の形態素列として解析する。また、「Ａ３からＡ４へ」からは、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列として解析する。

グループＩＤ判定部７０７は、形態素解析部７０６で形態素解析された結果と、図７（ｂ）のグループＩＤリストとをマッチング（一致の確認を）することでグループＩＤを判定し、さらにグループＩＤ判定結果を生成する。例えば、「コピー」、「を」、「し」、「たい」の形態素列からは、「コピー」のグループＩＤである「ＦＮＣ００００１」があると判定され、グループＩＤ判定結果として、｛ＩＤ：ＦＮＣ００００１｝を生成する。また、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列からは、「Ａ３」と「Ａ４」のグループＩＤである「ＰＡＰ００１００」と「ＰＡＰ００１０１」が２つあると判定される。そして、グループＩＤ判定結果として、｛ＩＤ：ＰＡＰ００１００、ＩＤ：ＰＡＰ００１０１｝を生成する。

なお、グループＩＤ判定結果にＩＤが複数生成される場合は、音声認識および形態素解析された順に生成されるものとする。例えば、音声認識および形態素解析された結果が「Ａ４」「から」「Ａ３」「へ」である場合は、グループＩＤ判定結果は｛ＩＤ：ＰＡＰ００１０１、ＩＤ：ＰＡＰ００１００｝と生成される。また、隣接する複数の形態素を結合してグループＩＤリストとマッチングして判定してもよいものとする。この時、１つの形態素がグループＩＤリストの中から合致するものが見つかり、さらに、その形態素を含む複数の形態素がグループＩＤリストの中から合致するものが見つかった場合は、後者の結果を用いてグループＩＤ判定結果を生成する。例えば、形態素列が「Ａ」「４」であった場合は、グループＩＤ判定結果を｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＮＵＭ００００４｝ではなく、｛ＩＤ：ＰＡＰ００１０１｝として生成する。また、音声認識および形態素解析結果に含まれる１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」したテキストを組み合わせて、グループＩＤリストのマッチングを行ってもよい。例えば、グループＩＤ判定部７０７は、まず始めに、「かな漢字変換」したテキストとグループＩＤリストの「「かな漢字変換」後」に示されたテキストとのマッチングを行う。その結果、マッチングするグループＩＤが見つからない場合にはカナのテキストとグループＩＤリストの「カナ」に示されたテキストとがマッチングするグループＩＤを検出する。また、グループＩＤリスト内で「カナ」が重複し、複数のグループＩＤがマッチングする場合は、グループＩＤ判定結果を複数の候補として生成してもよい。これにより、「かな漢字変換」間違いや漢字のふり仮名の違いを許容したグループＩＤ判定結果を生成する。

音声合成部７０８は、画像形成装置１０１から受信した通知にもとづき、音声合成処理を行う。音声合成処理は、所定の通知に対して、組となる予め用意されたテキストをＭＰ３などの所定のフォーマットの音声データに変換する。受信した通知データと音声合成対象のテキストの組み合わせ例については、後述の図９のシーケンス図で説明する。音声合成処理は、例えば、データ管理部７０３に保存されている音声データベースにもとづいて音声データを生成する。音声データベースとは、例えば、単語等の定型の内容を発声した音声を集めたデータベースである。なお、本実施例では音声データベースを用いて音声合成処理を行っているが、音声合成の手法として他の手法を用いてもよく、音声データベースによる手法に限定するものではない。音声合成処理の詳細は主旨ではないため、これ以上の説明は割愛する。

＜画像形成装置のデバイス制御プログラムの機能構成＞
図８は、ＣＰＵ５０２が実行する画像形成装置１０１のデバイス制御プログラム８０１の機能構成を示すブロック図である。

画像形成装置１０１のデバイス制御プログラム８０１は前述のように外部記憶装置５０５に格納され、ＣＰＵ５０２が起動時にＲＡＭ５０３上に展開して実行する。

データ送受信部８０２は、ネットワークＩ／Ｆ５０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部８０２では、グループＩＤ判定部７０７が生成するグループＩＤ判定結果の受信を行う。また、画像形成装置１０１からサーバ１０２へ、操作パネル５０９上のＬＣＤタッチパネル２００の画面表示内容が更新されたことを示す画面更新通知、及び、ジョブの状態を示すジョブ実行状態通知を送信する。通知の内容に関しては後述の図９のシーケンス図で説明する。

データ管理部８０３は、デバイス制御プログラム８０１の実行において生成した作業データや、各デバイス制御に必要な設定パラメータなど様々なデータをＲＡＭ５０３および外部記憶装置５０５上の所定の領域へ保存し、管理する。例えば、後述するデバイス制御部８０８で実行するジョブの各設定項目及び設定値の組み合わせから成るジョブデータや、用紙の属性情報などが設定された機械設定情報が管理される。また、ゲートウェイ１０５との通信に必要な認証情報、サーバ１０２と通信するために必要なデバイス情報などが保存、管理される。また、画像形成装置１０１で画像形成する対象の画像データを保存し、管理する。また、表示部８０６が画面表示制御に用いる画面制御情報と、操作対象判定部８０７が操作対象を判定するために用いる操作対象判定情報を保存し、画面制御情報と操作対象判定情報とは、表示部８０６が表示する画面ごとに管理する。

スキャン部８０４は、後述するデバイス制御部８０８のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ５１４を介してスキャナ５１５でスキャンを実行し、読み取った画像データをデータ管理部８０３に保存する。

プリント部８０５は、後述するデバイス制御部８０８のプリントジョブパラメータ設定に基づいて、プリントコントローラ５１２を介してプリントエンジン５１３で印刷を実行する。

表示部８０６はディスプレイコントローラ５０７を介して、操作パネル５０９の制御を行う。表示部８０６は前記の画面表示制御情報に基づいてユーザ操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックスなど、選択オブジェクト）をＬＣＤタッチパネル２００に表示する。また、操作Ｉ／Ｆ５０８を介して、ＬＣＤタッチパネル２００（以降、画面と呼ぶ）上のタッチされた座標を取得し、操作対象のＵＩ部品（アイコン）と操作受付時の処理内容を決定する。また、操作パネル５０９上のハードキー２０１～２１０の押下を検出する。これらの結果に応じて、画面の表示内容を更新したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデバイス制御部に送信したりする。また、後述する操作対象判定部８０７の操作対象判定結果に応じても同様に、画面の表示内容を更新したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデバイス制御部に送信したりする。

操作対象判定部８０７は、データ送受信部８０２が受信したグループＩＤ判定結果に基づいて、操作パネル５０９に表示される画面を構成するユーザ操作可能なＵＩ部品、または、操作パネル５０９を構成するハードキー２０１～２１０を操作対象として判定する。操作対象判定部８０７の詳細は図１１で後述する。

デバイス制御部８０８は、プリントコントローラ５１２、及び、スキャンコントローラ５１４を介して、プリントエンジン５１３、及び、スキャナ５１５の制御指示を行う。例えば、表示部８０６がコピー機能画面を表示中にスタートキー２０７の押下を検知した場合、デバイス制御部８０８は表示部８０６からコピージョブのパラメータとジョブ開始指示を受信する。そして、そのジョブパラメータに基づいて、スキャナ５１５によって読取られた画像データをプリントエンジン５１３でシートに印刷するよう制御する。なお、スキャン、及び、プリント制御の仕組みについては、主旨ではないため、これ以上の説明は割愛する。

＜システムの制御シーケンス＞
図９は、図１で示したシステムを構成する各装置、及び、図６～図８で示した各装置の制御プログラム間のやりとりを示すシーケンス図である。特に、図９は、音声制御装置１００がユーザ１０６から発せられた声による音声操作を受け、それによって画像形成装置１０１が各処理を実行し、その実行結果を示す応答をユーザ１０６に音声で返すためのシーケンスを示す。なお、図９で示すシーケンスの例では、音声制御装置１００、画像形成装置１０１、サーバ１０２は互いに通信可能な状態であるとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリントなどの機能を呼び出し可能なメインメニュー画面を表示している状態であるとする。

まず、ステップ９０５（以降、Ｓ９０５等と表記する）では、ユーザ１０６が音声制御装置１００に対して音声操作の開始を指示する。音声操作の開始の指示は、ユーザ１０６がウェイクワードを発声する、もしくは、音声制御装置１００の操作開始キーの押下することで行われ、それらの音声操作開始指示は音声操作開始検知部６０７によって検知される。

音声操作開始指示が検知されると、次にＳ９０６では、音声制御プログラム６０１の表示部６０６が、発話処理状態を示すＬＥＤを点灯する。また、同時に音声取得部６０４の処理を開始する。

Ｓ９０７では、ユーザ１０６が機能呼び出し指示を音声制御装置１００に対して行う。機能呼び出し指示は、例えば、ユーザ１０６がＳ９０５のウェイクワードに続いて「コピーしたい」や「コピー画面を開いて」と発声することであり、音声取得部６０４によって取得された音声が音声データとして生成される。空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。

Ｓ９０８では、音声制御プログラム６０１の表示部６０６が、発話終了判定に応じて応答処理状態を示すＬＥＤを点滅する。また、同時に音声取得部６０４の処理を終了する。

Ｓ９０７の機能呼び出し指示の音声データが生成されると、次にＳ９０９では、データ送受信部６０２が、生成された音声データをサーバ１０２に送信する。

Ｓ９１０では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した音声データに対して、音声認識部７０５が音声認識処理を行う。音声認識処理によって、例えば、ユーザ１０６が発した「コピーしたい」という音声が、テキストとして生成される。

その後、Ｓ９１１では、音声データ変換制御プログラム７０１の形態素解析部７０６がＳ９１０で生成されたテキストに対して形態素解析処理を行う。形態素解析処理によって、例えば、「コピーしたい」というテキストが、「コピー」、「し」、「たい」という形態素列として解析される。

Ｓ９１２では、音声データ変換制御プログラム７０１のグループＩＤ判定部７０７の、解析された形態素列のテキストに対してグループＩＤ判定処理を行う。グループＩＤ判定処理によって、例えば、「コピー」、「し」、「たい」という形態素列と図７（ｂ）のグループＩＤリストとのマッチングにより、グループＩＤ判定結果として｛ＩＤ：ＦＮＣ００００１｝が生成される。

Ｓ９１３では、音声データ変換制御プログラム７０１のデータ送受信部７０２が、Ｓ９１１のグループＩＤ判定結果を画像形成装置１０１に送信する。

Ｓ９１４では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。操作対象判定処理によって、例えば、グループＩＤ判定結果｛ＩＤ：ＦＮＣ００００１｝から、メインメニュー画面内の“コピー”ボタンが選択されたと判定される。

その後、Ｓ９１５では、Ｓ９１４の判定結果に応じて、表示部８０６が画面に表示する内容更新する。例えば、これまでの処理を通じて、ユーザが発する「コピーしたい」の音声から、画面に表示される“コピー”ボタンに対する操作であると判定された場合は、ＬＣＤタッチパネル２００で“コピー”ボタンがタッチされる場合と同様に、コピー機能画面を表示する。

Ｓ９１６では、データ送受信部８０２によって、サーバ１０２へ、画面の表示内容が更新されたことを示す画面更新通知を送信する。例えば、表示部８０６がメインメニュー画面からコピー機能画面へ表示が変更した場合、画面更新通知として「コピー機能画面表示」というテキストデータを送信する。

Ｓ９１７では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した画面更新通知に対して、音声合成部７０８が画面更新通知の内容に対応する所定のテキストデータの音声合成処理を行う。例えば、画面更新通知の内容が「コピー機能画面表示」の場合、音声合成部７０８は、「コピー画面を表示しました」というテキストデータを音声合成する。音声合成部７０８が音声合成処理によって生成した音声データ（音声合成データ）は、データ送受信部７０２によって音声制御装置１００へと送信される。

Ｓ９１８では、データ送受信部６０２が、Ｓ９１７で生成および送信された音声合成データを受信する。

Ｓ９１９では、音声再生部６０５が、Ｓ９１８で受信した音声合成データを再生する。例えば、Ｓ９１７で生成した「コピー画面を表示しました」という音声合成データを、スピーカ３１０を通じて再生する。

Ｓ９２０では、音声合成データ再生後、音声制御プログラム６０１の表示部６０６が、発話処理中を示すＬＥＤを再び点灯する。また、同時に音声取得部６０４の処理を再び開始する。

Ｓ９２１では、ユーザ１０６が設定画面呼び出し指示を音声制御装置１００に対して行う。設定画面呼び出し指示は、例えば、ユーザ１０６が「用紙を選択」と発声することである。音声取得部６０４によって取得された音声が音声データとして生成されるユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。

Ｓ９２２は、前述のＳ９０８と同様である。

Ｓ９２３は、前述のＳ９０９～Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２３では、Ｓ９２１の設定画面呼び出し指示に伴って、表示部８０６が設定画面を表示するよう画面更新する。例えば、コピー機能画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ０００００、ＩＤ：ＯＰＲ０００４０｝のとき、用紙選択画面を表示する。

Ｓ９２４は、音声再生部６０５が、Ｓ９２３での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２３で設定画面として用紙選択画面を表示した場合は「用紙選択画面を表示しました。続いて用紙を設定してください。」という音声合成データを、スピーカ３１０を通じて再生する。

Ｓ９２５は、前述のＳ９２０と同様である。

Ｓ９２６では、ユーザ１０６が設定変更指示を音声制御装置１００に対して行う。設定変更指示は、例えば、ユーザ１０６が「Ａ４」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。

Ｓ９２７は、前述のＳ９０８と同様である。

Ｓ９２８は、前述のＳ９０９～Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２８では、Ｓ９２６の設定変更指示に伴って、表示部８０６が設定画面に表示する設定値を変更する（設定値の変更指示を受け付ける受付処理を実行する）。例えば、用紙選択画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ００１０１｝のとき、用紙の設定値をＡ４に変更した用紙選択画面を表示する。

Ｓ９２９は、音声再生部６０５が、Ｓ９２８での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２８で用紙の設定値を変更して表示した場合は「用紙をＡ４に設定しました」という音声合成データを、スピーカ３１０を通じて再生する。

Ｓ９３５は、前述のＳ９２０と同様である。

Ｓ９３６では、ユーザ１０６がジョブ実行指示を音声制御装置１００に対して行う。ジョブ実行指示は、例えば、ユーザ１０６が「コピースタート」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。

Ｓ９３７～Ｓ９４２は、前述のＳ９０９～Ｓ９１３と同様の処理である。

Ｓ９４３では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。グループＩＤ判定結果が｛ＩＤ：ＦＮＣ００００１、ＩＤ：ＯＰＰ０００１１｝である場合、画面に表示している“コピースタート”ボタン、もしくは、ハードキーであるスタートキー２０７が操作されたと判定される。

Ｓ９４４では、Ｓ９４３の判定結果に応じて、ジョブの実行画面を表示する。例えば、これまでの処理を通じて、ユーザが発する「コピースタート」の音声が、スタートキー２０７に対する操作であると判定された場合は、コピージョブ開始の画面を表示する。

Ｓ９４５では、画像形成装置１０１の画面で設定されたジョブパラメータに従って、ジョブを実行する。

Ｓ９４６では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を開始したことを示す情報（ジョブ実行開始通知）を送信する。例えば、コピージョブを開始した場合、ジョブ実行状態の内容として「コピージョブ開始」というテキストデータを送信する。

Ｓ９４７では、音声データ変換制御プログラム７０１のデータ送受信部７０２ジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行開始通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ開始」の場合、音声合成部７０８は、「コピーを開始します」というテキストデータを音声合成する。

Ｓ９４８は、前述のＳ９１８と同様である。

Ｓ９４９では、音声再生部６０５が、Ｓ９４８で受信した音声合成データを再生する。例えば、Ｓ９４７で生成した「コピーを開始します」という音声合成データを、スピーカ３１０を通じて再生する。

Ｓ９５０では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を終了したことを示す情報（ジョブ実行終了通知）を送信する。例えば、コピージョブを終了した場合、ジョブ実行状態通知の内容として「コピージョブ終了」というテキストデータを送信する。

Ｓ９５１では、音声データ変換制御プログラム７０１のデータ送受信部７０２がジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行終了通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ終了」の場合、音声合成部７０８は、「コピーを終了しました」というテキストデータを音声合成する。

Ｓ９５２では、Ｓ９４５のジョブ実行処理が終了したことを受けて、表示部８０６はジョブの実行終了画面を表示する。例えば、コピージョブの実行が終了した場合、コピージョブ終了の画面を表示する。

Ｓ９５３では、データ送受信部６０２が、Ｓ９５１で生成した音声合成データをサーバ１０２から受信する。また、音声制御装置１００に対して、ユーザ１０６との対話セッションを終了するよう通知する対話セッション終了通知をサーバ１０２から受信する。

Ｓ９５４では、音声再生部６０５が、Ｓ９５３で受信した音声合成データを再生する。例えば、Ｓ９５１で生成した「コピーを終了しました」という音声合成データを、スピーカ３１０を通じて再生する。

Ｓ９５５では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御プログラム６０１の表示部６０６が、音声制御装置１００の待機状態を示すためにＬＥＤを消灯する。

Ｓ９５６では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御装置１００を待機状態へ移行する。

なお、シーケンス図上で、応答処理中を示すＬＥＤが点滅中であってもウェイクワードは常に入力可能である。そのため、ユーザ１０６はウェイクワードの発話に続いて「キャンセル」、または「中止」などと発言することで、対話セッションを強制的に終了するようにしてもよい。

＜画像形成装置１０１のデバイス制御プログラム８０１の処理フロー＞
図１０は画像形成装置１０１のデバイス制御プログラム８０１の処理の概要を示すフローチャートである。特に、図１０は、図９のシーケンス図のＳ９１４、Ｓ９１５、Ｓ９２３、Ｓ９２８、Ｓ９３３、Ｓ９４３～Ｓ９５２におけるデバイス制御プログラム８０１の処理フローを示す例である。

以降、図１０が示す処理フローの一例を具体的に説明するために図１１および図１２を用いる。図１１は、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。図１２（ａ）は、表示部８０６が表示する画面の一例である。図１２（ｂ）は、図１２（ａ）で示す画面に対応する画面制御情報の一例である。画面制御情報には、画面を構成するユーザ操作可能なＵＩ部品と、それらがユーザ操作された時のアクション（画面制御の内容や、内部の処理）が含まれる。図１２（ｃ）は図１２（ａ）で示す画面に対応する操作対象判定情報の一例である。操作対象判定情報は、ユーザ操作可能なＵＩ部品と１つ以上のグループＩＤ判定結果の対応付け（紐付け）が予め行われているものとする。換言すると、図１２（ｃ）は画面の構成情報を示す表である。なお、図１２（ｃ）で示す表のうち、「操作時のユーザ発話例」と「操作パネルの操作方法」は下記説明のための参考情報であり、データ管理部８０３が管理する操作対象判定情報に含まれなくてもよい。

Ｓ１００１では、データ送受信部８０２が、グループＩＤ判定部７０７で生成されたグループＩＤ判定結果を受信する。

Ｓ１００２では、表示部８０６が表示している画面に対応する画面制御情報と、操作対象判定部８０７が操作対象を判定するために用いる操作対象判定情報を取得する。例えば、表示部８０６が図１２（ａ）で示すように、コピー機能におけるカラー設定画面１１００を表示している場合には、本画面に対応する図１２（ｂ）の画面制御情報と図１２（ｃ）の操作対象判定情報を取得する。

Ｓ１００３では、操作対象判定部８０７が、Ｓ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した操作対象判定情報を用いて操作対象判定処理を行う。この時、操作対象判定処理では、操作パネル５０９に表示される画面を構成するユーザ操作可能なＵＩ部品、または、操作パネル５０９を構成するハードキー２０１～２１０を操作対象として判定する。例えば、ユーザ１０６発話の一例である「自動」の音声から、グループＩＤ判定部７０７が判定したグループＩＤ判定結果｛ＩＤ：ＤＲＧ００００８｝が送信される。そして、データ送受信部８０２がＳ１００１で受信し、本グループＩＤ判定結果と合致する「自動（カラー／白黒）」ボタンを操作対象として判定する。なお、「自動カラー白黒」という音声を検知したバイも「自動（カラー／白黒）」が操作対象として判定される。なお、操作対象判定処理の詳細なフローおよび判定処理例については、図１４以降で説明する。

Ｓ１００４では、表示部８０６が、Ｓ１００３の操作対象判定処理の結果と、Ｓ１００２で取得した画面制御情報に基づいて、画面の表示内容を更新する。例えば、Ｓ１００３にて「自動（カラー／白黒）」ボタンが操作対象として判定されると、図１２（ｂ）の画面制御情報に基づいて、表示部８０６が当該ボタンを強調表示するように画面を更新する。なお、図１２（ｃ）では、操作パネル５０９のＬＣＤタッチパネル２００上に表示された「自動（カラー／白黒）」ボタンがタッチされた時も同様に、当該ボタンを強調表示することが示されている。

Ｓ１００５では、Ｓ１００３の操作対象判定処理の結果と、Ｓ１００２で取得した画面制御情報に基づいて、ジョブ実行を行うか否かを判定する。ジョブ実行を行う場合はＳ１００７へ進み、そうでなければＳ１００６へ進む。例えば、Ｓ１００３にて「自動（カラー／白黒）」ボタンが操作対象として判定された場合は、図１２（ｂ）中の内部処理がないことからジョブ実行を行わないと判定する。また、例えば、Ｓ１００３にてスタートキー２０７が操作対象として判定された場合は、図１２（ｂ）中の内部処理として「コピージョブの実行を開始」することから、ジョブ実行を行うと判定する。

Ｓ１００６では、前述のＳ９１６が示すようにデータ送受信部８０２によって、画面更新通知をサーバ１０２へ送信する。

Ｓ１００７では、ジョブパラメータの設定値に基づいて、ジョブ実行処理を行う。ジョブ実行処理によって、画像形成装置１０１は、一連の画像形成処理（例えばコピー、スキャン、プリントなど）を実行する。例えば、図１２（ａ）の画面が示すように、「自動（カラー／白黒）」ボタンが強調表示されている状態でコピージョブの実行を開始する時には、この時の「自動（カラー／白黒）」の設定値をジョブパラメータとしてジョブの実行を行う。

Ｓ１００８では、前述のＳ９４６およびＳ９５０が示すようにデータ送受信部８０２によって、ジョブ実行状態通知をサーバ１０２へ送信する。

＜操作対象判定部の処理フロー＞
図１３は画像形成装置１０１の操作対象判定部８０７の処理の概要を示すフローチャートである。図１３は、図１０のＳ１００３、及び、図９のＳ９１４、Ｓ９４３の処理に対応している。

以下、図１３と図１４を用いて操作対象判定部８０７の処理フローについて説明する。

まず、図１４について説明する。本実施例ではこれまで説明した、音声での操作に対して、さらに位置情報を用いた音声操作についての説明を行う。

図１４－１（ａ）は画像形成装置１０１のコピーの時の、原稿の種類を設定する際の画面例である。オブジェクト１４０１～１４０６は原稿の種類を設定するボタンである。また、オブジェクト１４０９はオブジェクト１４０１～１４０６で指定された設定を反映するためのＯＫボタンである。

オブジェクト１４０７はコピーの画質に関する調整画面を開くためのレベル調整ボタンである。

補助線１４１３はユーザ１０６がボタンの位置情報を読み上げる際に参考とする補助線である。

エリア１４１４はユーザ１０６がボタンを選択する際に、位置情報を読み上げることで選択可能とする領域を示す、選択可能領域エリアである。

オブジェクト１４０８はオブジェクト１４０１～１４０６、オブジェクト１４０９の設定を取り消すキャンセルボタンである。

図１４－１（ｂ）は図１４－１（ａ）のボタンにユーザがボタンの位置を読み上げる（発話）することで、その近傍のボタンを操作対象とすることが出来るようにすることを説明するための仮想の線を示したものである。

仮想の線１４１０、１４１１、１４１２はボタンに位置情報を付加することを説明するための線である。この線はユーザには表示されず、ユーザが位置情報を発話した際にどのボタンが選択されるかを説明するために用いる。

例えば、図１４－１（ａ）のオブジェクト１４０１は仮想の線１４１０、１４１１、１４１２を元に判断するとボタンの中で左上に位置しているため、ユーザ１０６が「左上のボタン」と発話すると、オブジェクト１４０１が操作対象と判定される事を可能とする。

オブジェクト１４０２は同じく仮想の線を元に判断すると、ボタンの中で右上に位置するため、ユーザ１０６が「右上のボタン」と発話すると、オブジェクト１４０２が操作対象と判定される事を可能とする。

オブジェクト１４０３は仮想の線１４１０、１４１１、１４１２を元に判断すると、２段目の左もしくは真ん中の段の左に位置するといった判断が可能である。そのため、ユーザ１０６が「２段目の左のボタン」や「真ん中の段の左」といったように、ボタンの名称でなく、ボタンの視覚的位置を元に発話すると、オブジェクト１４０３が操作対象と判定される。図１４－１（ｃ）にはこのような各ボタンに対するユーザ１０６の発話例を示しているが、発話例はこれに限ったものでなくとも良い。

オブジェクト１４０４、１４０５、１４０６も同じように仮想の線１４１０、１４１１、１４１２を元に判断する。そして、それぞれ「２段目の右」、「３段目の左」、「右下のボタン」等、ユーザ１０６がボタンの視覚的位置を元に発話すると、それぞれのボタンが操作対象と判定する。

オブジェクト１４０７は前述のオブジェクト１４０１～１４０６とは異なる位置に配置されている。このようなボタンはユーザ１０６が図１４－１（ａ）の補助線１４１３を元に位置情報を発話する事で操作対象と判定する事が可能となる。

例えばユーザ１０６から見ると補助線１４１３よりも左側は枠の内側、補助線１２１３よりも右側は枠の外側と判断できるため、ユーザ１０６が「枠の外のボタン」と発話する事で操作対象と判定する事が可能となる。

一方、オブジェクト１４０８、１４０９は選択可能領域エリア１２１４よりも外に存在するため、ユーザ１０６は位置情報を発話しても選択する事が出来ない。

従って、それぞれボタンに記載されている文字もしくはそれに近い意味の言葉を発話する事で選択可能となる。

具体的にユーザ１０６の発話に基づいて、どのようにボタンを選択可能とするかは図１３を用いて後述する。

図１４－１（ｃ）は、図１４－１（ａ）の画面におけるオブジェクト１４０１～１４０６の性質を示すものである。番号列は各オブジェクト１４０１～１４０９を示しており、行は各オブジェクト１４０１～１４０６の種類、表記名、操作時の画面制御、操作時の内部処理を示している。

図１４－１（ｄ）は、図１４－１（ｂ）の画面におけるボタン毎の対応グループＩＤ、操作時のユーザ発話例、及び操作パネル５０９の操作方法の例である。番号列は各オブジェクト１４０１～１４０９を示しており、行は各オブジェクト１４０１～１４０９の操作方法とグループＩＤ情報を示す。例えば、オブジェクト１４０１の行の「操作パネルの操作方法」列から、オブジェクト１４０１を操作パネル５０９で操作する方法は「ボタンを押下」することであると分かる。また、オブジェクト１４０１の行の「音声による操作方法」列から、「ボタンを押下」に相当する音声操作方法は、ユーザ１０６が、“左上”、“左上のボタン”のように発話することであると分かる。

図１４－２（ａ）（ｂ）は上述したように位置情報を用いてユーザがボタンを選択する事を可能とするための、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。

例えば、図１４－１（ｄ）の「表示画面のグループＩＤ情報」列のグループＩＤ情報は、サーバ１０２によるグループＩＤ判定結果とのマッチングに用いられる。例えば、オブジェクト１４０１の行の「ＰＯＳ０００１７」、「ＰＯＳ０００１７＋ＵＩＰ００００１」は、グループＩＤ判定結果の｛ＩＤ：ＰＯＳ０００１７｝、｛ＩＤ：ＰＯＳ０００１７、ＩＤ：ＵＩＰ００００１｝、とマッチングする。オブジェクト１４０２～１４０６の行に関しても同様である。

ユーザ１０６が「左上のボタン」とした場合、サーバ１０２によるグループＩＤ判定結果がＰＯＳ０００１７、ＵＩＰ００００１となる。操作対象判定部８０７は、そのグループＩＤ判定結果と対応ＩＤ情報とをマッチングを行い、オブジェクト１４０１が操作対象であると判定することができる。

以下、図１３の操作対象判定部８０７の処理フローを図１４－１（ａ）～（ｄ），図１４－２（ａ），（ｂ）の画面と表の例を用いて説明する。

Ｓ１３０１では、図１０のＳ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した画面レイアウト情報に含まれるボタンのグループＩＤ情報とをマッチングする。例えば、図１４－１（ａ）の画面を表示しているとき、グループＩＤ判定結果が｛ＩＤ：ＰＯＳ０００１７｝である場合、それと図１４－１（ｄ）の「対応グループＩＤ」列の各オブジェクト１４０１～１４０９のグループＩＤ情報とをマッチングする。次にＳ１３０２ではマッチングがあるかないかを判定する。Ｓ１３０２ではこのとき、オブジェクト１４０１のグループＩＤ「ＰＯＳ０００１７」がヒットし、マッチング成功となる。

また、図１４－１（ｄ）に示すようにグリープＩＤ判定結果が｛ＩＤ：ＰＯＳ０００１７、ＩＤ：ＵＩＰ００００１｝の組み合わせであった場合もオブジェクト１４０１がヒットすることとなる。

同じくオブジェクト１４０２では｛ＩＤ：ＰＯＳ００００１１｝のパターンと｛ＩＤ：ＰＯＳ０００１７、ＩＤ：ＵＩＰ００００１｝の組み合わせパターンであった場合がヒットする。

マッチング成功した場合は、Ｓ１１０３へ進み、そうでなければＳ１１０４へ進む。

Ｓ１３０３では、Ｓ１３０１でヒットした行のボタンを操作対象と判定し、操作対象判定処理を終了する。例えば、グループＩＤ「ＰＯＳ０００１７」がヒットした場合、その行のオブジェクト１４０１を操作対象と判定し、操作対象判定処理を終了する。

Ｓ１３０４では、図１０のＳ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した画面レイアウト情報に含まれるハードキーのグループＩＤ情報とをマッチングする。例えば、図１４－１（ｂ）の画面において、グループＩＤ判定結果が｛ＩＤ：Ｈ００５｝である場合、それとハードキーのグループＩＤ情報とをマッチングする。ハードキーのグループＩＤ情報は、図１４－２（ｂ）のグループＩＤリストと同様のリスト情報である。Ｓ１３０５では、Ｓ１３０４でマッチング成功したか否かを判定する。このとき、グループＩＤ「Ｈ００５」がヒットし、マッチング成功となる。

マッチング成功した場合は、Ｓ１１０６へ進み、そうでなければ操作対象判定処理を終了する。そうでなければＳ１１０７へ進む。

Ｓ１３０６では、Ｓ１３０４でヒットしたハードキーを操作対象と判定し、操作対象判定処理を終了する。例えば、グループＩＤ情報が「Ｈ００５」である“スタート”がヒットした場合、スタートキーを操作対象と判定し、操作対象判定処理を終了する。

＜利用シーケンス＞
次に図１３での画面の操作をユーザ１０６からの音声操作とその時のインタラクションの一例をより具体的に図１８の模式図を用いて説明する。

図１８では、ユーザ操作の流れと各構成の対応関係を示している。各構成としては、ユーザ１０６の音声操作としての発話例と、その発話に応じてシステムが音声制御装置１００の音声処理状態を示すＬＥＤが挙げられる。また、画像形成装置の操作パネル５０９に表示する画面、および、音声制御装置１００で再生する応答用の音声が挙げられる。

まず、システムはＬＥＤ消灯にて音声待機状態であることを示し、操作パネル５０９にはトップ画面を表示している（Ｓ１８０１）とする。この時に、ユーザ１０６がウェイクワードを発話する（Ｓ１８０２）と、システムは音声操作の受付を開始し、発話処理状態を示すＬＥＤを点灯する（Ｓ１８０３）。なお、Ｓ１８０２は図９中のＳ９０５、Ｓ１８０３はＳ９０６の具体的の一例である。ウェイクワードに続いて、ユーザ１０６が「コピーをしたい」と発話する（Ｓ１８０４）と、システムは応答処理状態を示すＬＥＤを点滅させ（Ｓ１８０５）、コピートップ画面を表示する（Ｓ１８０６）。そして、システムは「コピーの画面を表示しました」という応答用の音声を再生し（Ｓ１８０７）、ユーザ１０６に次の発話を促すためにＬＥＤを再点灯する（Ｓ１８０８）。なお、Ｓ１８０４は図９中のＳ９０７、Ｓ１８０５はＳ９０８、Ｓ１８０６はＳ９１５、Ｓ１８０７はＳ９１９、Ｓ１８０８はＳ９２０の具体的な一例である。

次に、ユーザ１０６が「原稿の種類」と発話する（Ｓ１８０９）と、システムはＬＥＤを点滅させ（Ｓ１８１０）、原稿の種類設定画面を表示する（Ｓ１８１１）。そして、システムは「原稿の種類が変更できます」という応答用の音声を再生し（Ｓ１８１２）、ＬＥＤを点灯する（Ｓ１８１３）。なお、Ｓ１８０９は図９中のＳ９２１、Ｓ１８１０はＳ９２２、Ｓ１８１１はＳ９１５、Ｓ１８１２はＳ９２４、Ｓ１８１３はＳ９２５の具体的な一例である。

次に、ユーザ１０６が「右下のボタン」と発話する（Ｓ１８１４）と、システムはＬＥＤを点滅させ（Ｓ１８１５）、倍率の設定値を変更した画面に更新する（Ｓ１８１６）。そして、システムは「原稿の種類を文字に設定しました」という応答用の音声を再生し（Ｓ１８１７）、ＬＥＤを点灯する（Ｓ１８１８）。なお、Ｓ１８１４は図９中のＳ９２６、Ｓ１８１５はＳ９２７、Ｓ１８１６はＳ９１５、Ｓ１８１７はＳ９２９、Ｓ１８１８はＳ９２５の具体的な一例である。

次に、ユーザ１０６が「Ｏ．Ｋ．」と発話する（Ｓ１８１９）と、システムはＬＥＤを点滅させ（Ｓ１８２０）、変更した倍率の設定値を反映したコピーのトップ画面を表示する（Ｓ１８２１）。そして、システムは「コピーが開始できます」という応答用の音声を再生し（Ｓ１８２２）、ＬＥＤを点灯する（Ｓ１８２３）。なお、Ｓ１８１９は図９中のＳ９３１、Ｓ１８２０はＳ９３２、Ｓ１８２１はＳ９１５、Ｓ１８２２はＳ９３４、Ｓ１８２３はＳ９３５の具体的な一例である。

次に、ユーザ１０６が「コピースタート」と発話する（Ｓ１８２４）と、システムはＬＥＤを点滅させ（Ｓ１８２５）、コピージョブを実行する。コピージョブの実行が開始されると、システムはコピージョブ実行中の画面を表示する（Ｓ１８２６）とともに、「コピーを開始します」という一次応答用の音声を再生する（Ｓ１８２７）。そして、コピージョブの実行が完了すると、システムはコピージョブ実行終了画面を一定時間表示するとともに、「コピーを終了しました」という最終応答用の音声を再生し（Ｓ１８２８）、音声受付が終了したことを示すためにＬＥＤを消灯する（Ｓ１８２９）。なお、Ｓ１８２４は図９中のＳ９３６、Ｓ１８２５はＳ９３７、Ｓ１８２６はＳ９４４、Ｓ１８２７はＳ９４９、Ｓ１８２８はＳ９５４、Ｓ１８２９はＳ９５５の具体的な一例である。

＜備考＞
以上で説明したように、本実施例によれば、画面の中心線（中心点）等の仮想の基準線（基準点）を基準としたボタン（アイコン、オブジェクト）の位置情報を発話することで、所望のボタンを指定することができる。

＜コピー集約設定画面での音声操作例＞
図１５－１（ａ）は画像形成装置１０１のコピーの時の、ページの割り付けを設定する際の画面例である。オブジェクト１５２０～１５２２はページの集約の種類を設定するボタンである。また、オブジェクト１５２８はオブジェクト１５２０～１５２６で指定された設定を反映するためのＯＫボタンである。

オブジェクト１５２３は両面設定に関する設定画面を開くための両面設定ボタンである。

オブジェクト１５２４は詳細な設定に関する画面を開くための詳細設定ボタンである。

オブジェクト１５２５は原稿サイズの設定に関する画面を開くための原稿サイズ変更ボタンである。

オブジェクト１５２６は用紙サイズの設定に関する画面を開くための用紙サイズ変更ボタンである。

補助線１５２９（ａ）、１５２９（ｂ）はユーザ１０６がボタンの位置情報を読み上げる際に参考とする補助線である。

領域１５２９はユーザ１０６がボタンを選択する際に、位置情報を読み上げることで選択可能とする領域を示す、選択可能領域エリアである。

図１５－１（ｂ）は、図１５－１（ａ）の画面におけるオブジェクト１５２０～１５２８の性質を示すものである。番号列は各オブジェクト１５２０～１５２８を示しており、行は各オブジェクト１３２０～１３２８の種類、表記名、操作時の画面制御、操作時の内部処理を示している。

図１５－１（ｃ）は、図１４と同様に図１５－１（ａ）の画面におけるボタン毎の対応グループＩＤ、操作時のユーザ発話例、及び操作パネル５０９の操作方法の例である。番号列は各オブジェクト１５２０～１５２８を示しており、行は各オブジェクト１５２０～１５２８の操作方法とグループＩＤ情報を示す。

図１５－２は上述したように位置情報を用いてユーザがボタンを選択する事を可能とするための、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。

オブジェクト１５２０～１５２２は補助線１５２９（ａ）、１５２９（ｂ）よりも内側にあることからユーザ１０６が「枠の内側」と発話する事で選択を可能とする。これに図１４で説明したユーザから見た視覚情報を加えることでオブジェクトの選択操作が可能である。例えば「枠の内側の左側」と発話すればオブジェクト１３２０が選択可能となり、「枠の内側の中央」と発話すればオブジェクト１５２１が、「枠の内側の右のボタン」と発話すればオブジェクト１５２２が選択可能となる。

オブジェクト１５２３、１５２４は補助線１５２９（ａ）、１５２９（ｂ）よりも外側の下にあることからユーザ１０６が「枠の外側の下」と発話する事で選択を可能とする。これに図１４で説明したユーザから見た視覚情報を加えて、例えば「枠の外の下の左」と発話すればオブジェクト１５２３が選択可能となり、「枠の外の下の右」と発話すればオブジェクト１３２４が選択可能となる。

オブジェクト１５２５、１５２６は補助線１５２９（ａ）、１５２９（ｂ）よりも外側の右にあることからユーザ１０６が「枠の外側の右」と発話する事で選択を可能とする。これに図１４で説明したユーザから見た視覚情報を加えて、例えば「枠の外の右の上」と発話すればオブジェクト１５２５が選択可能となり、「枠の外の右の下」と発話すればオブジェクト１５２６が選択可能となる。

図１５－１（ｃ）のその他の記載内容については図１４－１（ｄ）の記載内容に準じたものであるため、説明は割愛する。

＜備考＞
以上で説明したように、本実施例によれば、画面に含まれる領域（エリア）を基準としてボタン（アイコン、オブジェクト）の位置情報を発話することで、所望のボタンを指定することができる。

＜移動幅設定画面での音声操作例＞
図１６の移動幅設定画面における音声操作例について説明する。図１６では、特にオブジェクト１６３０～１６３３のようにボタンの表記名が無いときであっても、位置情報を用いることで音声操作が可能な例を示す。

図１６－１（ａ）は画像形成装置１０１の印刷位置の移動幅を設定する画面例である。オブジェクト１６３０～１６３３は移動方向を設定するボタンである。数値入力欄１６３６～１６３８は前述の移動方向毎にどれだけ移動させるかの値を入力するかを設定する欄である。

図１６－１（ｂ）は、図１６同様、図１６－１（ａ）の画面におけるオブジェクト１６３０～１６３３、数値入力欄１６３６～１６３９の性質を示すものである。

図１６－１（ｃ）は、図１６と同様に図１５－１（ａ）の画面におけるボタン毎の対応グループＩＤ、操作時のユーザ発話例、及び操作パネル５０９の操作方法の例である。

図１６－２は上述したように位置情報を用いてユーザがボタンを選択する事を可能とするための、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。

オブジェクト１６３０～１６３３はそれぞれのボタンの位置関係からユーザ１０６がボタンの位置を発話する事で選択を可能とする。例えば「上」と発話すればオブジェクト１６３０が選択可能となり数値入力欄１６３６に数値が入力可能となる。右と発話すればオブジェクト１６３３が選択可能となり数値入力欄１６３９に数値が入力可能となる。

数値入力欄１６３６～１６３９はそれぞれ対応するオブジェクト１６３０からオブジェクト１６３３が選択された後にユーザが移動させたい値を発話することでその値が入力される。

例えばユーザ１０６が「右」と発話するとオブジェクト１６３３が選択され数値入力欄１６３９に値が入力可能となり、次にユーザ１０６が「イチミリ」と発話すると数値入力欄１６３９に１ｍｍが表示される。

図１６－１（ａ）のその他のボタン、図１６－１（ｃ）のその他の記載内容については図１６の記載内容に準じたものであるため、説明は割愛する。

＜備考＞
以上で説明したように、本実施例によれば、表記名が無いようなボタンであっても、画面を中心点（中心線）等の仮想の基準点（基準線）を基準としてボタン（アイコン、オブジェクト）の位置情報を発話することで、所望のボタンを指定することができる。

＜宛先設定画面での音声操作例＞
図１７の宛先設定画面における音声操作例について説明する。図１７では、特にオブジェクト１７４０～１７４４のようにアイコンで表示されているボタンもしくは、その周辺のボタン。また、リスト１７４６のように宛先がリストで表示されているもの。またプルダウン１７４５のプルダウンあるいはプルアップによる入力があるとき。また、オブジェクト１７４７～１７５７のように同じ種類のボタンが固まって配置されている場合に、位置情報によって音声操作が可能な例を示す。

図１７－１（ａ）は画像形成装置１０１のセンド機能の宛先設定の画面例である。オブジェクト１７４０～１７４４は送信手段の種類を表すボタンであり、全ての送信手段もしくはＥメールやＦａｘなどの種類がアイコンの形で表記されている。プルダウン１７４５は宛先表の種類を選択できるようなプルダウンボタンである。リスト１７４６はオブジェクト１７４０～１７４５もしくはオブジェクト１７４７～１７５７で選択された宛先の中から該当した宛先のリストを表示する宛先リストである。オブジェクト１７４７～１７５７は宛先を選択する際の絞り込みの手段として容易された５０音リストのボタンである。

オブジェクト１７５８は宛先の登録を行う際に選択する新規宛先の登録ボタンである。オブジェクト１７５９は既に登録されている宛先の詳細や内容の変更を行う詳細／編集ボタンである。オブジェクト１７６０は既に登録されている宛先の削除を行う削除ボタンである。オブジェクト１７６１は登録済みの宛先を名称で検索する際の名称で検索ボタンである。

図１７－１（ｂ）は、図１７－１（ａ）の画面におけるオブジェクト１７４０～１７６３の性質を示すものである。番号列は各オブジェクト１７４０～１７４４、オブジェクト１７４７～１７６３、プルダウン１７４５、及びリスト１７４６を示しており、行はオブジェクト１７４０～１７６３の種類、表記名、操作時の画面制御、操作時の内部処理を示している。

図１７－２、図１７－３は、図１７－１（ａ）の画面におけるボタン毎の対応グループＩＤ、操作時のユーザ発話例、及び操作パネル５０９の操作方法の例である。各オブジェクト１７４０～１７４４、オブジェクト１７４７～１７６３、プルダウン１７４５、及びリスト１７４６を示しており、行はオブジェクト１７４０～１７６３の操作方法とグループＩＤ情報を示す。

図１７－４（ａ）、図１７－４（ｂ）は上述したように位置情報を用いてユーザがボタンを選択する事を可能とするための、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。

オブジェクト１７４０～１７４４の操作方法について説明する。

これらのボタンはオブジェクト１７４１～オブジェクト１７４４のようにアイコンで表記されているボタンで多くが配置されている。従ってユーザ１０６はその視覚情報と位置情報を元に例えばオブジェクト１７４０であれば、「アイコンがある場所の一番左」と発話することで選択を可能とする。これを可能とするために図１７－２で表しているように対応グループＩＤは「ＵＩＰ００００３：アイコン」＋「ＰＯＳ００００１：場所」＋「ＰＯＳ０００１６：左」という対応を取る事で選択が可能となる。また、例えばオブジェクト１７４３であれば、アイコンがある場所のボタンの中で、左から４番目、もしくは右から２番目とも認識できる。そのため、ユーザ１０６は「アイコンがある場所の左から４番目」もしくは「アイコンがある場所の右から２番目」と発話しても良い。これと同様の発話内容でオブジェクト１７４０～１７４４は発話での選択が可能となる。次にプルダウン１７４５は「全ての宛先表」とユーザ１０６が発話する事で選択され、このボタンはプルダウンのため、このボタンを選択するとプルダウンリストが表示される。さらにこのプルダウンリストの中の項目を選択する場合は前述と同様にユーザは位置情報を元に「上から２番目」や、「一番下」のようにプルダウンリストの中での位置関係を指定することでリストからの選択が可能となる。次にリスト１７４６に表示された宛先の選択方法について説明する。

図１７－１（ａ）に示すようにリスト１７４６には複数の宛先がリストの形で表示される。ユーザ１０６はこのリストの中の宛先を選択する際は「宛先リストの中の上から２番目」といった具合に、まず対象とするリスト名を発話し、その中の位置情報を元に発話指定をする事でリストの中から宛先を選択する事が可能となる。

例えばユーザ１０６が「宛先リストの上から２番目」と発話すると、交通費の精算の宛先が選択可能となる。

次にオブジェクト１７４７～１７５７の操作方法について説明する。

これらのボタンはオブジェクト１７４９～１７５５のように５０音順で表記されているボタンで多くが配置されている。従ってユーザ１０６はその視覚情報と位置情報を元に例えばオブジェクト１７４７であれば、「５０音リストがある場所の一番左のボタン」と発話することで選択を可能とする。ここで５０音リストというワードはボタンの集まり毎に所定のワードを決定しておく事でエリアの指定が可能となる。例えば、５０音リストというワード以外にも「（あ）から（や）」というワードでこのエリアを特定するようにしても良い。この場合、ユーザは「（あ）から（や）のボタンがある場所の左から３番目」と発話してオブジェクト１７４９が選択可能となる。

次にオブジェクト１７５８～１７６１の操作方法について説明する。

これらのボタンは図１７－１（ａ）の中では位置情報を元に判断すると、宛先リスト１７４６の右側に並んでいると判別する事が可能である。

従ってユーザ１０６はこれらのボタンを選択する際には「宛先リストの右側の」という発話に続けて「上から３番目」などといった位置情報を元にそれぞれのボタンの選択が可能となる。例えば、ユーザ１０６が「宛先リストの右側の下から２番目」と発話した場合はオブジェクト１７６０が選択可能となる。

＜備考＞
以上で説明したように、ボタンの配置がやや複雑な画面においても、目印となるアイコンやリストなどを基準として、それからの位置関係を指定することにより、音声操作が可能である。換言すると、目印となるアイコンに基づき画面内の選択領域を限定し、その限定された領域内から所望のボタンを指定することができる。すなわち、目印となるアイコンに桃付き音声操作する対象をフィルタすることができる。

（その他の実施例）
以上で説明したように、実施例によればユーザ１０６の発話によって、画像形成装置１０１の操作パネル５０９を操作することができる。特に、実施例では画面のボタンの位置情報を元に発話を行うことで、ユーザ１０６がボタンの表記名を発話するだけでなく、ユーザから見たボタンの位置を発話することでボタンの操作が可能となる。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本実施例では、音声制御プログラム６０１、デバイス制御プログラム８０１、音声データ変換制御プログラム７０１がそれぞれ音声制御装置１００、画像形成装置１０１、サーバ１０２で実行されるとした。しかしながら、マイクロフォンを備えた画像形成装置１０１で各プログラムを全て実行するようにしてもよいし、サーバ１０２だけ分離し、音声制御プログラム６０１とデバイス制御プログラム８０１を画像形成装置１０１で実行するようにしてもよい。

本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

上述した実施例では、画面内に含まれるボタンを位置情報の発話で指定するケースを説明した。しかしながら、図１２（ｃ）のように表記名の発話でボタンを指定する方法を併行で利用してもよい。図１２（ｃ）の表に位置情報を用いた操作するための情報を追加した様子を図１９に示す。図１９の表によれば、ボタンの表記名に対応した発話操作およびボタンに位置情報に対応した発話操作が利用可能である。例えば、オブジェクト１１０１は、表記名を利用した「自動」「自動カラー白黒」という発話操作方法の他、「フルカラーの左」「白黒の２つ左」等の位置情報を用いた発話操作方法に対応している。特に、「フルカラー」等の位置の基準となる他のボタンの情報と「左」等の位置方向を示す情報を組み合わせて操作対象のボタンを指定することができる。また、「白黒」等の位置の基準となる他のボタンの情報と「左」等の位置方向を示す情報に加え「２つ」等の数を示す情報を組み合わせて操作対象のボタンを指定することができる。このように、画面に含まれる全部または１部の項目について、ボタンの表記名に関する発話操作と位置情報に紐付く発話操作の両方を利用可能にしてもよい。

実施例では、画像形成装置１０１が提供する操作画面のうちの一部の画面について取り上げ、その操作方法について説明した。しかしながら、自然言語に基づく画面操作、特に位置情報を用いた画面操作を他の操作画面に適用してもよい。図２０、図２１、図２２は、音声入力で操作可能な項目を示す図である。図２０、図２１、図２２の表のうち左から一列目は機能分類を示す。ＭＦＰである画像形成装置１０１が備える機能としては、印刷、コピー、送信、本体設定の他に共通が挙げられる。図２０、図２１、図２２の表のうち左から二列目は項目群を示す。項目群は、機能を利用するうえで操作される項目のうち、類似する分類でまとめられた項目のグル―プである。項目群は１または複数の画面として出力される。図２０、図２１、図２２の表のうち左から三列目は項目を示す。項目は、項目群毎に表示される画面において操作可能な操作項目、設定項目である。操作可能な操作項目の操作により、設定の変更指示、画面の遷移指示、処理の実行指示等をおこなうことができる。機能欄におよび項目群欄が「共通」の項目は、一部の例外となる画面を除き、ほぼすべての画面で利用可能な操作項目である。ここで紹介した項目は、実施例と同様に、タッチ操作の他、音声入力による操作を行うことができる。特に、ボタンの位置情報を利用し、この位置情報を用いて音声操作をおこなうことができる。

なお、ＭＦＰとは、ＭｕｌｔｉＦｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌのことである。ＦＡＸとはＦａｃｓｉｍｉｌｅのことである。ＡＳＩＣとは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔのことである。ＣＰＵとは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔのことである。ＲＡＭとは、Ｒａｎｄｏｍ‐ＡｃｃｅｓｓＭｅｍｏｒｙのことである。ＲＯＭとは、ＲｅａｄＯｎｌｙＭｅｍｏｒｙのことである。ＨＤＤとはＨａｒｄＤｉｓｋＤｒｉｖｅのことである。ＳＳＤとはＳｏｌｉｄＳｔａｔｅＤｒｉｖｅのことである。ＬＡＮとは、ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋのことである。ＰＣとは、ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒのことである。ＬＣＤとはＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙのことである。ＩＤとは、Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのことである。

ＬＥＤとはＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅのことである。ＭＥＭＳとは、ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓのことである。ＭＰ３とはＭＰＥＧＡｕｄｉｏＬａｅｒ－３のことである。ＳＤカードとはＳｅｃｕｒｅＤｉｇｉｔａｌメモリーカードのことである。

１００音声制御装置
１０１画像形成装置
１０２サーバ装置
１０３クライアント端末
１０４ネットワーク
１０５ゲートウェイ
１０６ユーザ

Claims

自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する手段と、
操作パネルの表示デバイスに表示中の画面の構成情報、ハードキーの情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応付けられた所定の処理を実行するか否かを決定する手段と、を有し、
前記単語情報は、前記表示デバイスに表示中の画面に含まれるアイコンの表記名とは異なる単語であって位置に関する単語を含むことを特徴とする情報処理システム。
前記表示デバイスに表示中の画面において所定のアイコンが選択されたことにしたがって、前記単語情報によらずに前記所定の処理を実行する手段を有することを特徴とする請求項１に記載の情報処理システム。
前記所定のアイコンは所定の表記名を備え、前記所定の表記名と一致する単語が前記単語情報に含まれていることに少なくとも基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項２に記載の情報処理システム。
前記操作パネル上の所定のハードキーが押下されたことにしたがって、前記単語情報によらずに前記所定の処理を実行する手段を有することを特徴とする請求項１に記載の情報処理システム。
前記所定のハードキーは所定の表記名を備え、前記所定の表記名と一致する単語が前記単語情報に含まれていることに少なくとも基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項４に記載の情報処理システム。
前記位置に関する単語は方向を示す単語であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
前記位置に関する単語は領域を示す単語であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
前記位置に関する単語は数字を含む単語であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
前記所定の処理の実行に従って、前記画面を遷移させる手段をさらに有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
前記所定の処理の実行に従って、音声出力デバイスに音声メッセージを出力させる手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理に関する設定の受付処理であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理に関する設定の受付処理であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
前記情報処理システムは、前記出力する手段を備える情報処理装置および、前記決定する手段および前記表示デバイスを備える画像処理装置を有するシステムであって、
前記画像処理装置は、自然言語の入力を受け付ける音声入力デバイスと、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信する手段と、を有することを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理システム。
前記出力された単語情報が、前記表示デバイスに表示中の画面の構成情報にマッチングするかを判定する第１判定手段と、
前記第１判定手段で前記単語情報が前記構成情報にマッチングしない場合に、前記単語情報が前記ハードキーの情報にマッチングするかを判定する第２判定手段と、
を有し、
前記第１判定手段と前記第２判定手段とに基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応付けられた所定の処理を実行するか否かを決定することを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理システム。
前記ハードキーの情報は、前記位置に関する単語を含まないことを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理システム。
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスとハードキーとで構成される操作パネルを備える画像処理装置であって、自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する手段と、
前記操作パネルの前記表示デバイスに表示中の画面の構成情報、ハードキーの情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応づけられた所定の処理を実行するか否かを決定する手段と、を有し、前記単語情報は、前記表示デバイスに表示中の画面に含まれるアイコンの表記名とは異なる単語であって位置に関する単語を含むことを特徴とする画像処理装置。
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスとハードキーとで構成される操作パネルを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記操作パネルの前記表示デバイスに表示中の画面の構成情報、ハードキーの情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応づけられた所定の処理を実行するか否かを決定する工程と、
を有し、前記単語情報は、前記表示デバイスに表示中の画面に含まれるアイコンの表記名とは異なる単語であって位置に関する単語を含むことを特徴とする制御方法。
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスとハードキーとで構成される操作パネルを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記操作パネルの前記表示デバイスに表示中の画面の構成情報、ハードキーの情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理または前記ハードキーに対応付けられた所定の処理を実行するか否かを決定する工程と、
を有し、前記単語情報は、前記表示デバイスに表示中の画面に含まれるアイコンの表記名とは異なる単語であって位置に関する単語を含むことを特徴とするプログラム。