JP7211181B2 - 制御装置、画像形成システムおよびプログラム - Google Patents

Description

本発明は、画像形成装置に音声指示するための制御装置、画像形成システムおよびプログラムに関し、特に、画像形成装置に音声指示する際のユーザーの待ち時間の延長を抑制する技術に関する。

近年、スマートスピーカーおよびＩｏＴ機器の普及が進んだことから、スマートスピーカーを用いて音声操作することができる機器が増加しつつあり、画像形成装置に関してもこのような音声操作に対応することによってユーザーの利便性を向上させることが期待されている。具体的には、音声入力をマイクで受け付けて音声データを生成し、当該音声データを音声認識によってテキストデータに変換し、当該テキストデータを自然言語解析することによって、指示内容を特定する。更に、当該指示内容を画像形成装置に対するコマンドに変換して画像形成装置に入力することによって音声指示が実行される。

画像形成装置のジョブには多数の設定項目があり、ジョブの実行直前やユーザー設定時など、ジョブの実行に先立って設定内容をユーザー確認できるのが望ましい。これは手動設定の時のみならず、音声設定を行う場合も同様である。ジョブの設定内容を確認する際には、ユーザーによる設定漏れの可能性を考慮して、ユーザーが設定しなかった項目についても確認を行う場合もある。

このため、画像形成装置が音声出力によって設定内容を確認しようとすると、かなりの時間を要することになる。確認音声を聞き漏らしたために、聞き直そうとすれば尚更である。このような観点からすれば、操作パネルに設定内容を一覧表示することによってユーザー確認させるのが効率的であると言える。

このように、ユーザーから音声で受けた指示を実行する前にその指示内容をユーザーに確認する際に、音声で確認するより、操作パネルに指示内容を表示して確認する方が効率的な場合がある。

しかしながら、画像形成装置が省電力モードになる等して操作パネルがオフしている状態や、他のユーザーが操作パネルを使用している状態では、指示内容（上述の例ではジョブの設定内容の一覧）を表示してユーザー確認させることができない。

省電力モードにより操作パネルがオフになっている場合に対して、例えば、音声コマンドの内容を精査して、画像形成装置をスリープ状態から要求された機能が利用できる程度まで復帰させたり（特許文献１を参照）、要求された機能を有する場合のみ画像形成装置を復帰させたりする技術が提案されている（特許文献２を参照）。このようにすれば、操作パネルを動作可能な状態まで復帰させるので、指示内容を表示してユーザー確認させることができるようになる。

特開２０１５－０４１１２３号公報 特開２００７－０２１８０８号公報

しかしながら、上記の従来技術においては、操作パネルが動作可能な状態に復帰するまで、指示内容を表示することができないので、ユーザー確認を開始するまで時間がかかり過ぎてしまう、という問題がある。

また、他のユーザーが操作パネルを使用している状態の場合についても、操作パネルが使用できるようになるまで待たなければならない、という問題がある。

本発明は、上述のような問題に鑑みて為されたものであって、音声指示した処理内容を、操作パネルの動作状態に応じて効率的に確認することができる制御装置、画像形成システムおよびプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る制御装置は、音声により指示された処理内容に基づいて、画像形成装置に当該処理を実行させる制御装置であって、前記処理を実行する前に前記処理内容を、前記画像形成装置の表示装置に表示させる手段と、前記表示装置の動作状態を取得する動作状態取得手段と、取得した前記表示装置の動作状態に応じて、前記処理内容の確認を促すために出力すべき音声の内容を決定する決定手段と、を備えることを特徴とする。

この場合において、前記動作状態は、前記表示装置の少なくとも一部の電源がＯＦＦであるスリープモードか否かの動作状態を含むのが望ましい。

また、前記スリープモードには、前記処理内容を前記表示装置に表示させることが可能となるまでの時間が第１の所定時間である第１段階のスリープモードと、当該表示が可能となるまでの時間が前記第１の所定時間よりも長い第２の所定時間である第２段階のスリープモードと、があり、前記動作状態取得手段は、前記スリープモードが前記第１段階と前記第２段階とのいずれであるかを取得し、前記決定手段は、前記動作状態取得手段により取得された前記スリープモードが前記第１段階と前記第２段階とのいずれであるかに基づいて出力すべき音声の内容を決定してもよい。

また、前記動作状態取得手段にて取得した動作状態から、前記表示装置による表示が可能になるまでの立ち上がり時間を推定する推定手段を備え、前記決定手段は、前記立ち上がり時間に応じて、前記音声内容を決定してもよい。

また、前記決定手段は、前記立ち上がり時間が、所定の項目を音声出力するのに要する出力時間よりも長い場合には、当該所定の項目すべてを含むように前記音声内容を決定し、前記立ち上がり時間が前記出力時間よりも短い場合には、前記所定の項目のうち少なくとも一部の項目を除いた項目からなるように前記音声内容を決定してもよい。

また、前記立ち上がり時間から、前記決定手段が決定した前記音声内容を音声出力するのに要する出力時間を差し引いた余剰時間に応じて、前記音声内容以外の追加内容を決定する音声追加手段を備えてもよい。

また、前記表示装置は、前記処理内容を音声入力したユーザー以外のユーザーが前記表示装置を使用しているか否かを判定する使用状態判定手段と、前記決定手段が前記音声内容を決定した後、前記使用状態判定手段の判定結果が否定的になるまでは、当該音声内容を音声出力し、前記使用状態判定手段の判定結果が否定的になったら、当該音声出力を停止させる音声出力制御手段と、を備えてもよい。

また、前記決定手段が決定する音声内容は複数の部分に区分されており、前記音声出力制御手段は、前記使用状態判定手段の判定結果が否定的になったときに出力中の部分の音声出力が完了した時点で、前記音声出力を停止させてもよい。

また、前記音声出力制御手段は、前記使用状態判定手段の判定結果が否定的になったときに、前記決定手段が決定した音声内容のうち未出力部分の出力時間が所定時間よりも短い場合には、前記音声出力を停止させないのが望ましい。

また、前記音声出力制御手段が、前記音声出力を停止させない場合に、前記表示装置に前記処理内容を表示するのを禁止する禁止手段を備えてもよい。

また、前記音声出力制御手段が、前記音声出力を停止させない場合に、前記表示装置に前記処理内容を表示させるか否かを、前記音声入力したユーザーに確認する確認手段を備え、前記確認手段による確認結果が肯定的である場合には、前記処理内容を表示させるのが好適である。

また、前記確認結果が否定的である場合には、前記音声入力したユーザーが前記処理の開始を指示するのを待たずに、前記画像形成装置に当該処理を開始させる処理開始手段を備えてもよい。

また、前記停止後、前記表示装置に前記処理内容が表示される場合には、その旨を音声出力する表示通知手段を備えてもよい。

また、本発明の一形態に係る画像形成システムは、画像形成装置と、本発明の一形態に係る制御装置と、を備えることを特徴とする。

また、本発明の一形態に係るプログラムは、音声により指示された処理内容に基づいて、画像形成装置に当該処理を実行させる制御をコンピューターに実行させるプログラムであって、前記処理を実行する前に前記処理内容を、前記画像形成装置の表示装置に表示させるステップと、前記表示装置の動作状態を取得する動作状態取得ステップと、取得した前記表示装置の動作状態に応じて、前記処理内容の確認を促すために出力すべき音声の内容を決定する決定ステップと、をコンピューターに実行させることを特徴とする。

このようにすれば、音声指示した処理内容を、操作パネルの動作状態に応じて効率的に確認することができる。

画像形成システムの主要な構成を示す図である。 画像形成システムの動作を例示するシーケンス図である。 スマートスピーカー１１１の主要な構成を示すブロック図である。 音声ＡＩサーバー１０２の主要な構成を示すブロック図である。 ＭＦＰ制御サーバー１０１の主要な構成を示すブロック図である。 複合機１１２の主要な構成を示す外観斜視図である。 複合機１１２の主要な構成を示すブロック図である。 ＭＦＰ制御サーバー１０１の主要な動作を示すフローチャートである。 ＭＦＰ制御サーバー１０１が実行する設定内容確認処理を示すフローチャートである。 ＭＦＰ制御サーバー１０１が実行する立ち上がり中処理を示すフローチャートである。 ＭＦＰ制御サーバー１０１が実行するパネル操作中処理を示すフローチャートである。

以下、本発明に係る制御装置、画像形成システムおよびプログラムの実施の形態について、図面を参照しながら説明する。
［１］画像形成システムの構成
まず、本実施の形態に係る画像形成システムの構成について説明する。

図１に示すように、画像形成システム１は、クラウドシステム１００とユーザーシステム１１０とからなっている。ユーザーシステム１１０は、スマートスピーカー（SS: Smart Speaker）１１１と複合機（MFP: Multi-Function Peripheral）１１２とをＬＡＮ（Local Area Network）１１３に接続したものである。

また、クラウドシステム１００は、ＭＦＰ制御サーバー１０１と音声ＡＩ（Artificial Intelligence）サーバー１０２との２つのクラウドサーバーをインターネット１０３に接続したものである。インターネット１０３にはＬＡＮ１１３もまた接続されている。スマートスピーカー１１１、音声ＡＩサーバー１０２およびＭＦＰ制御サーバー１０１は、ユーザーが複合機１１２に音声指示するための音声インターフェイス装置を構成する。

図２に示すように、複合機１１２のユーザーが、スマートスピーカー１１１に対して、例えば、「コピーして」との指示を音声入力すると、スマートスピーカー１１１は、音声信号から音声データを生成し、ＬＡＮ１１３とインターネット１０３を経由して、当該音声データを音声ＡＩサーバー１０２へ送信する。

音声ＡＩサーバー１０２は、音声認識処理によって、音声データからテキストデータを生成し、更に、当該テキストデータを自然言語解析処理によって、複合機１１２に対する指示内容を抽出する。音声ＡＩサーバー１０２は、公知のＡＩ技術を用いて、音声認識処理および自然言語解析処理を実行してもよいし、ＡＩ技術以外の技術を用いてもよい。音声ＡＩサーバー１０２は、抽出した指示内容をＭＦＰ制御サーバー１０１へ送信する。

ＭＦＰ制御サーバー１０１は、複合機１１２を制御する制御装置であって、音声ＡＩサーバー１０２から指示内容を受信すると、当該指示内容に対応するコマンドを生成し、当該音声指示を受け付けたスマートスピーカー１１１に対応付けられている複合機１１２へ当該コマンドを送信する。コマンドは、例えば、スキャンジョブやプリントジョブ等のジョブを実行させる指示や、ジョブの設定内容を変更する指示などである。また、ＭＦＰ制御サーバー１０１は、複合機１１２の動作状態を監視しており、複合機１１２の動作状態に応じた応答テキスト（テキストデータ）を音声ＡＩサーバー１０２へ送信する。

音声ＡＩサーバー１０２は、ＭＦＰ制御サーバー１０１から応答テキストを受信すると、音声合成処理によって当該応答テキストから音声データを合成し、当該音声データをスマートスピーカー１１１へストリーミング方式で送信する。スマートスピーカー１１１は、受信した音声データを順次、音声出力する。
［２］スマートスピーカー１１１の構成
次に、スマートスピーカー１１１の構成について説明する。

図３に示すように、スマートスピーカー１１１は、音声処理部３０１と通信制御部３０２とを備えており、音声処理部３０１にはマイク３１１とスピーカー
３１２が接続されている。

音声処理部３０１は、マイク３１１を用いて集音したアナログ音声信号をＡＤ（Analogue to Digital）変換し、更に圧縮符号化した音声データを生成したり、通信制御部３０２から受け付けた音声データからアナログ音声信号を復元して、スピーカー３１２に音声出力させたりする。通信制御部３０２は、インターネット１０３を経由して音声ＡＩサーバー１０２と音声データ等の送受信を行うための通信処理を実行する。
［３］音声ＡＩサーバー１０２の構成
次に、音声ＡＩサーバー１０２の構成について説明する。

図４に示すように、音声ＡＩサーバー１０２は、ＣＰＵ（Central Processing Unit）４００やＲＯＭ（Read Only Memory）４０１、ＲＡＭ（Random Access Memory）４０２等を備えており、ＣＰＵ４００はリセット後にＲＯＭ４０１からブートプログラムを読み出して起動し、ＲＡＭ４０２を作業用記憶領域として、ＨＤＤ（Hard Disk Drive）４０３からＯＳ（Operating System）その他のプログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）４０４は、インターネット１０３を経由してスマートスピーカー１１１やＭＦＰ制御サーバー１０１と相互接続するための通信処理を実行する。

音声処理部４０５は、スマートスピーカー１１１から受け付けた音声データの音声認識処理や、スマートスピーカー１１１へ送信する音声データの音声合成処理を実行する。

言語処理部４０６は、音声処理部４０５が生成したテキストデータの自然言語解析処理を実行する。これによって、例えば、ユーザーがスマートスピーカー１１１に向かって特定のキーワードを発声すると、音声ＡＩサーバー１０２が当該キーワードを識別して音声指示受付モードに遷移し、その後に続くユーザーの音声指示を認識して、当該指示内容を特定する。
［４］ＭＦＰ制御サーバー１０１の構成
次に、ＭＦＰ制御サーバー１０１の構成について説明する。

図５に示すように、ＭＦＰ制御サーバー１０１は、ＣＰＵ５００やＲＯＭ５０１、ＲＡＭ５０２等を備えており、ＣＰＵ５００はリセット後にＲＯＭ５０１からブートプログラムを読み出して起動し、ＲＡＭ５０２を作業用記憶領域として、ＨＤＤ５０３からＯＳ等のプログラムを読み出して実行する。ＮＩＣ５０４は、インターネット１０３を経由して音声ＡＩサーバー１０２や複合機１１２と相互接続するための通信処理を実行する。

このような構成を備えることによって、応答テキストを生成して、音声ＡＩサーバー１０２へ送信したり、コマンドを生成して、複合機１１２へ送信したりすることができる。
［５］複合機１１２の構成
次に、複合機１１２の構成について説明する。複合機１１２はモノクロおよびカラーの画像形成機能、複写機能、ファクシミリ機能などの機能を兼ね備えた画像形成装置である。

図６に示すように、複合機１１２は、画像読み取り部６１０、画像形成部６２０および給紙部６３０を備えている。画像読み取り部６１０は、原稿トレイ６１１にセットされた原稿束から、自動原稿搬送装置（ADF: Automatic Document Feeder）６１２を用いて、１枚ずつ原稿を送り出して、所謂シートスルー方式で当該原稿を読み取った後、当該原稿を排紙トレイ６１３へ排出する。このようにして、画像データが生成される。

画像形成部６２０は、トナー像を形成して記録シートに転写する作像部やトナー像を記録シートに熱定着する定着部を有しており、画像読み取り部６１０が生成した画像データやＬＡＮ１１３やインターネット１０３を経由して受信した画像データを用いて画像形成処理を実行する。給紙部６３０は、記録シートを収容しており、画像形成部６２０がトナー像を形成するのに並行して記録シートを供給する。トナー像を熱定着された記録シートは、複合機１１２の胴内空間に設けられた排紙トレイ６２１へ排出される。

画像形成部６２０は、操作パネル６００を備えており、複合機１１２のユーザーに対して情報を提示したり、ユーザーから指示入力を受け付けたりする。また、画像形成部６２０は、不図示の制御部６２２を備えており、制御部６２２は複合機１１２の動作を制御する。

図７に示すように、制御部６２２は、ＣＰＵ７００やＲＯＭ７０１、ＲＡＭ７０２等を備えており、ＣＰＵ７００はリセット後にＲＯＭ７０１からブートプログラムを読み出して起動し、ＲＡＭ７０２を作業用記憶領域として、ＨＤＤ７０３からＯＳ等のプログラムを読み出して実行する。ＮＩＣ７０４は、インターネット１０３を経由して音声ＡＩサーバー１０２や複合機１１２と相互接続するための通信処理を実行する。

このような構成を備えることによって、制御部６２２は、画像読み取り部６１０、画像形成部６２０および給紙部６３０の動作を制御する。特に、操作パネル６００は、液晶ディスプレイ（Liquid Crystal Display）６０１、タッチパッド６０２、ハードキー６０３およびパネル制御部６０４を備えており、液晶ディスプレイ６０１とタッチパッド６０２とはタッチパネルを構成している。パネル制御部６０４は、タッチパッド６０３、ハードキー６０３の操作の検知、及び液晶ディスプレイ６０１での表示の制御を行う。

また、ハードキー６０３は複数のキーからなっており、そのうちにはスタートキーが含まれている。複合機１１２のユーザーはスタートキーを押下することによってジョブの実行開始を指示することができる。

複合機１１２は、ジョブの実行を完了した後、次に実行すべきジョブが無い場合にはジョブ実行モードから待機モードに遷移する。更に、待機モードに遷移してから、次に実行すべきジョブを受け付けないまま、所定の時間を経過した場合には、第１段階のスリープモードに遷移する。第１段階のスリープモードでは、例えば、定着装置の温度調整を停止させることによって、消費電力量を低減させるとともに、液晶ディスプレイ６０１のバックライトを消灯する。

複合機１１２は、第１段階のスリープモードに遷移してから、次に実行すべきジョブを受け付けないまま、更に所定の時間を経過した場合には、第２段階のスリープモードに遷移する。第２段階のスリープモードは第１段階のスリープモードよりも更に消費電力量を低減させたスリープモードであって、例えば、操作パネル６００を制御するためのパネル制御部６０４もまた省電力状態にする。

このため、複合機１１２が、第１段階のスリープモードから、操作パネル６００を使用することができる状態まで復帰するのにはあまり時間がかからないが（例えば、５秒）、第２段階のスリープモードから、操作パネル６００を使用することができる状態まで復帰するのには時間がかかる（例えば、１分）。

複合機１１２は、第１段階のスリープモードおよび第２段階のスリープモードにある状態で、ジョブの設定内容を表示せよとのコマンドをＭＦＰ制御サーバー１０１から受け付けると、スリープモードから待機モードに復帰するようになっている。このため、複合機１１２が第１段階のスリープモードおよび第２段階のスリープモードのいずれの状態であっても、ＭＦＰ制御サーバー１０１は複合機１１２に対して、ジョブの設定内容を表示せよとのコマンドを送信して、当該表示を実行させることができる。

ジョブの設定内容を表示せよとのコマンド以外のコマンドについても同様に、複合機１１２は第１段階のスリープモードおよび第２段階のスリープモードのいずれの状態であっても、ＭＦＰ制御サーバー１０１からコマンドを受け付けて、当該コマンドに応じた処理を実行することができる。
［６］画像形成システム１の動作
次に、画像形成システム１の動作について、ＭＦＰ制御サーバー１０１の動作を中心として説明する。
（６－１）メインルーチン
図８に示すように、ＭＦＰ制御サーバー１０１は、音声ＡＩサーバー１０２から音声指示のテキストデータを受信すると（Ｓ８０１：ＹＥＳ）、その指示がジョブの設定指示かどうか判別する（Ｓ８０２）。ジョブの設定指示である場合（Ｓ８０２：ＹＥＳ）、ＭＦＰ制御サーバー１０１内に当該ジョブ設定を記録する（Ｓ８１１）。具体的には、ＭＦＰ制御サーバー１０１には、予め、当該ジョブ（コピージョブやスキャンジョブ等）に関して、当該ジョブの設定項目それぞれにデフォルトの設定値が記憶されており、その記憶された設定値を指示された設定値に変更する。その後、同様に設定指示を受信すると、都度、指示に従って設定項目の設定値を変更する。

ステップＳ８０２において、ジョブの設定指示ではないと判断した場合（Ｓ８０２：ＮＯ）、ジョブの実行指示かどうか判断する（Ｓ８０３）。ジョブの実行指示であると判断した場合（Ｓ８０３：ＹＥＳ）、当該ジョブの実行に先立って、ジョブの設定内容の確認処理を実行する（Ｓ８０４）。この処理は、ユーザーにジョブの設定内容を提示し、その設定内容でよいかどうかを確認させる処理であり、具体的な処理内容は後述する。

一方、ステップＳ８０３において、ジョブの実行指示ではないと判断した場合（Ｓ８０３：ＮＯ）、ユーザー指示に応じてジョブ実行以外の処理を実行する（Ｓ８２２）。ジョブ実行以外の処理は、例えば、トナー残量の問い合わせに対して、残量を返答するなどの処理である。

ジョブの設定内容の確認処理（Ｓ８０４）を実行した後、スマートスピーカー１１１を介して、ユーザーが当該設定内容で問題ない旨の返事をして、その旨のテキストデータを音声ＡＩサーバー１０２から受信すると（Ｓ８０５：ＯＫ）、複合機１１２に当該ジョブの実行を指示するコマンドを送信する（Ｓ８０６）。スマートスピーカー１１１を介して、ユーザーが設定内容に問題があると返事をした場合は、その旨のテキストデータが音声ＡＩサーバー１０２からＭＦＰ制御サーバー１０１に送信されてくる。この場合（Ｓ８０５：ＮＧ）、ステップＳ８０１へ戻り、再度、ユーザー指示に従ってジョブ設定等の処理が実行される。
（６－２）設定内容確認処理（Ｓ８０４）
図９は、ステップＳ８０４の設定内容確認処理の具体的な処理内容を示すフローチャートである。ＭＦＰ制御サーバー１０１は、まず、複合機１１２の操作パネル６００の動作状態を参照する（Ｓ９０１）。すなわち、設定内容を液晶ディスプレイ６０１に表示することができる状態、スリープ状態、および他人が使用している状態（以下、「パネル操作中」という。）のいずれであるかを参照する。スリープ状態については、上述のように、第１段階のスリープモードで液晶ディスプレイ６０１のバックライトを消灯した状態となり、更に、第２段階のスリープモードで制御部６２２以外（パネル制御部６０４を含む）の電源をオフした状態の順に深くなり、操作パネル６００が表示可能になるまでの時間が長くなる。

ＭＦＰ制御サーバー１０１は操作パネル６００の動作状態を常時監視している。例えば、複合機１１２が、動作状態を変更させるたびにＭＦＰ制御サーバー１０１へ動作状態を通知し、ＭＦＰ制御サーバー１０１は、その通知を受信すると、操作パネル６００の動作状態を動作状態テーブルに記録する。ステップＳ９０１ではその動作状態テーブルを参照する。

操作パネル６００の動作状態がスリープ状態である場合には（Ｓ９０２：ＹＥＳ）、立ち上がり中処理を実行し（Ｓ９１１）、立ち上がり中処理が完了したら、メインルーチンに復帰する。

操作パネル６００の動作状態がスリープ状態ではなく（Ｓ９０２：ＮＯ）、パネル操作中である場合には（Ｓ９０３：ＹＥＳ）、パネル操作中処理を実行する（Ｓ９１２）。パネル操作中処理を完了したら、メインルーチンに復帰する。

操作パネル６００の動作状態がパネル操作中でない場合には（Ｓ９０３：ＮＯ）、複合機１１２にジョブ設定内容を送信し（Ｓ９０４）、ジョブ設定内容を表示する旨のコマンドを送信する（Ｓ９０５）。複合機１１２は、このコマンドに従って、受信したジョブ設定内容を液晶ディスプレイ６０１に表示する。

本実施例では、音声により設定できる設定項目は、複合機の全機能のうち使用頻度の高い主要な設定項目（以下、「主要設定項目」ともいう。）に限定されており、ステップＳ９０４で送信されるジョブ設定内容、液晶ディスプレイ６０１に表示するジョブ設定内容は、その主要な設定項目すべての設定内容である。なお、デフォルトの設定値から変更された設定項目の設定内容のみ表示するようにしてもよい。

ステップＳ９０６では、操作パネル６００に表示された設定内容の確認をユーザーに促す応答テキスト＃０を音声ＡＩサーバー１０２へ送信する。この応答テキスト＃０は、例えば「操作パネルに表示された設定内容でよろしいでしょうか」等の「はい」か「いいえ」の返事になるような質問形式のテキストである。
（６－３）立ち上がり中処理（Ｓ９１１）
立ち上がり中処理（Ｓ９１１）においては、図１０に示すように、まず、複合機１１２へ、ジョブ設定内容を送信し（Ｓ１００１）、ジョブ設定内容を表示する旨のコマンドを送信する（Ｓ１００２）。複合機１１２は、当該コマンドを受信するとスリープモードからの復帰処理を開始する。

次に、操作パネル６００のスリープモードが第１段階のスリープモードであるか、第２段階のスリープモードであるかを判定して、第２段階のスリープモードである場合には（Ｓ１００３：ＮＯ）、操作パネル６００のスリープ状態の深さから立ち上がり時間Ｔ０を推定する（Ｓ１００４）。上述のように、スリープ状態には、操作パネル６００がジョブの設定内容を表示可能になるまでの時間が異なる第１段階のスリープモードと第２段階のスリープモードとがあるため、ＭＦＰ制御サーバー１０１は、例えば、スリープ状態の深さ毎に立ち上がり時間Ｔ０を記憶したテーブルを参照することによって、立ち上がり時間Ｔ０を推定する。立ち上がり時間Ｔ０は複合機の機種によっても異なるため、テーブルには複合機の機種ごとに立ち上がり時間Ｔ０を記憶して起き、ステップＳ１００４では、複合機１１２の機種に対応する立ち上がり時間Ｔ０を参照する。

次に、応答テキスト＃１を生成する（Ｓ１００５）。応答テキスト＃１は、複合機１１２の液晶ディスプレイ６０１に表示するよう指示した主要設定内容を列挙したテキストである。例えば、コピー機能に対する前述の主要設定項目が、部数設定、カラー設定、原稿の片面／両面設定、印刷時の片面／両面設定、ページ集約設定、ステープル設定の場合、それらの設定内容（デフォルト設定またはユーザーにより変更された設定）を参照して、「部数１、フルカラー、片面読み込み、両面印刷、２ｉｎ１、１点ステープルでコピーしますが、よろしいでしょうか。」のようなテキストを生成する。ここでも、「はい」か「いいえ」の返事になるような質問形式のテキストとする。

応答テキスト＃１を生成したら、当該応答テキスト＃１を音声出力するのに要する時間Ｔ１を推定する（Ｓ１００６）。例えば、応答テキスト＃１に含まれるシラブルの数Ｎｓに適当な係数を乗算することによって音声出力時間Ｔ１を推定してもよい。

この応答テキスト＃１の音声出力時間Ｔ１と、操作パネル６００の立ち上がり時間Ｔ０とを比較して、立ち上がり時間Ｔ０よりも音声出力時間Ｔ１が短い場合には（Ｓ１００７：ＹＥＳ）、応答テキスト＃１を音声ＡＩサーバー１０２へ送信する（Ｓ１０２３）。応答テキスト＃１を受信すると、音声ＡＩサーバー１０２は、音声処理部４０５にて応答テキスト＃１から応答音声データを音声合成して、当該応答音声データをスマートスピーカー１１１へ送信する。スマートスピーカー１１１は、応答音声データを音声出力する。

このようにすれば、操作パネル６００がスリープ状態から復帰するまでの間、ユーザーに何も情報が提供されないまま、操作パネル６００が立ち上がってから、操作パネル６００の表示を参照することによって、ユーザー所望の設定になっているかを確認する場合と比較して、操作パネル６００がスリープ状態から復帰するまでの間に、ユーザー所望の設定になっているかどうかを音声によって知ることができるので、短時間で効率よく設定内容の確認ができる。そして、ユーザー所望の設定になっていれば、直ちにジョブの実行を開始させることができる。

また、ユーザー所望の設定になっていない場合には、その旨も操作パネル６００が立ち上がるのに先立って、予めユーザーが知ることができるので、当該立ち上がり後に速やかに設定内容を訂正して、ジョブを実行させることができる。このような意味において、ユーザーにとって無駄な待ち時間が発生するのを抑制して、複合機１１２の円滑な利用を促進することができる。

応答テキスト＃１の音声出力時間Ｔ１と、操作パネル６００の立ち上がり時間Ｔ０とを比較して、音声出力時間Ｔ１が立ち上がり時間Ｔ０以上である場合には（Ｓ１００７：ＮＯ）、応答テキスト＃２を生成する（Ｓ１００８）。応答テキスト＃２は、応答テキスト＃１よりも短いテキストであり、例えば、ユーザーの指示によりデフォルトの設定値から変更された設定内容のみを列挙したテキストである。また、ユーザーの指示によりデフォルトの設定値から変更された設定内容と、それ以外の設定項目の一部を含めてもよい。

応答テキスト＃２を生成したら、当該応答テキスト＃２を音声出力するのに要する時間Ｔ２を推定する（Ｓ１００９）。この場合も、応答テキスト＃２に含まれるシラブルの数Ｎｓに適当な係数を乗算すれば、音声出力時間Ｔ２を推定することができる。

この音声出力時間Ｔ２と、立ち上がり時間Ｔ０とを比較して、音声出力時間Ｔ２が立ち上がり時間Ｔ０よりも短い場合には（Ｓ１０１０：ＹＥＳ）、立ち上がり時間Ｔ０から音声出力時間Ｔ２を差し引いた差分時間△Ｔを算出し（Ｓ１０１１）、当該差分時間△Ｔに等しい音声出力時間の付加テキストを生成する（Ｓ１０１２）。この場合は、例えば、差分時間△Ｔを適当な係数で除算することによって算出されるシラブル数Ｎｓに等しい長さの付加テキストを生成すればよい。

付加テキストとしては、例えば、「今日は、夕方から雨のようです。傘はありますか？さて、」のようなテキストを生成してもよい。このようなテキストは予め用意されているものから、適当なシラブル数Ｎｓのテキストを選択してもよい。応答テキスト＃２に先立って、付加テキストを音声出力すれば、ユーザーの注意をスマートスピーカー１１１の出力音声から逸らすことなく、ユーザーの注意をスマートスピーカー１１１に引き付けた状態を維持したまま、複合機１１２の立ち上がりの直前に、応答テキスト＃２を音声出力することができる。従って、複合機の立ち上がり後に、ユーザーが応答テキスト＃２の内容を失念するのを防止することができるので、複合機１１２の円滑な利用を促進することができる。

生成した付加テキストは応答テキスト＃２とともに音声ＡＩサーバー１０２へ送信する（Ｓ１０１３）。これらのテキストを受信すると、音声ＡＩサーバー１０２は、音声処理部４０５にて応答音声データを音声合成して、当該応答音声データをスマートスピーカー１１１へ送信する。スマートスピーカー１１１は、応答音声データを音声出力する。

このようにすれば、複合機１１２が立ち上がるまでの時間を利用して、ユーザーの音声指示が正しく音声認識されたか否かを判断することができるので、正しく音声認識されていないと判断された場合には、操作パネル６００の立ち上がり後に、操作パネル６００を操作することによって、速やかに設定違いを正すことができる。

応答テキスト＃２の音声出力時間Ｔ２と、操作パネル６００の立ち上がり時間Ｔ０とを比較して、音声出力時間Ｔ２が立ち上がり時間Ｔ０以上である場合には（Ｓ１０１０：ＮＯ）、立ち上がり時間Ｔ０が短いために、操作パネル６００が立ち上がった後に表示される設定内容をユーザーに確認させても問題ない。後述の第１段階のスリープモードの場合（Ｓ１００３：ＹＥＳ）と同様に、立ち上がり時間Ｔ０に合う付加テキストを生成して音声ＡＩサーバー１０２へ送信し（Ｓ１０２４）、メインルーチンに復帰する。

複合機１１２のスリープ状態が第１段階のスリープモードである場合には（Ｓ１００３：ＹＥＳ）、第１段階のスリープモードから立ち上がり時間Ｔ０（本実施の形態においては５秒）に等しい音声出力時間の付加テキストをステップＳ１０１２と同様にして生成し（Ｓ１０２１）、生成した付加テキストのみを音声ＡＩサーバー１０２へ送信する（Ｓ１０２２）。音声ＡＩサーバー１０２は、付加テキストを受信すると、音声処理部４０５にて応答音声データを音声合成して、当該応答音声データをスマートスピーカー１１１へ送信し、音声出力させる。

第１段階のスリープモードでは、立ち上がり時間Ｔ０が短く、従ってユーザーの待ち時間が短いので、操作パネル６００が立ち上がった後に表示される設定内容をユーザーに確認させても問題はないため、ジョブの設定内容の読み上げは行わない。また、付加テキストを読み上げれば、画像形成システム１が正常に動作していることがユーザーに分かり易くなる。なお、付加テキストの長さは０であってもよい。すなわち、必要に応じて音声出力を取り止めてもよい。応答テキスト＃１、＃２についても同様である。
（６－４）パネル操作中処理（Ｓ９１２）
パネル操作中処理（Ｓ９１２）においては、図１１に示すように、まず、応答テキスト＃１を生成する（Ｓ１１０１）。応答テキスト＃１は、立ち上がり中処理（Ｓ９１１）と同様に、複合機１１２の液晶ディスプレイ６０１に表示するよう指示した主要設定内容を列挙したテキストである。応答テキスト＃１を生成したら、当該応答テキスト＃１を音声ＡＩサーバー１０２へ送信する（Ｓ１１０２）。応答テキスト＃１を受信すると、音声ＡＩサーバー１０２は、音声処理部４０５にて応答テキスト＃１から応答音声データを音声合成して、当該応答音声データをスマートスピーカー１１１へ送信する。スマートスピーカー１１１は、応答音声データを音声出力する。

その後、ＭＦＰ制御サーバー１０１は、操作パネル６００の動作状態を監視して、他のユーザーによる操作パネル６００の操作が終了したら（１１０３：ＹＥＳ）、音声ＡＩサーバー１０２に対して、スマートスピーカー１１１による音声出力を停止するよう指示するとともに（Ｓ１１０４）、他のユーザーによる操作パネル６００の操作が終了した旨を通知する終了通知テキストを音声ＡＩサーバー１０２に送信する（Ｓ１００５）。また、複合機１１２にジョブ設定内容を通知し（Ｓ１１０６）、ジョブ設定内容を表示する旨のコマンドを送信する（Ｓ１１０７）。複合機１１２は、このコマンドに従って、受信したジョブ設定内容を液晶ディスプレイ６０１に表示する。

なお、他のユーザーによる操作パネル６００の操作が終了したか否かは、操作パネル６００のスタートキーが押下されたか否か、操作パネル６００を用いた入力操作が最後に行われてから所定の時間を経過したか否か、当該他のユーザーが複合機１１２からログアウトしたか否か等によって判定することができる。

また、終了通知テキストは、例えば、「ＭＦＰが空きましたので、設定内容を操作パネルに表示しました。操作パネルに表示した設定内容でよろしいでしょうか。」のようなテキストである。更に、ジョブ実行のために必要な作業があれば、それを促すテキストを付加してもよい。例えば「原稿をセットしてください。」のようなテキストである。

上記の指示および終了通知テキストを受信すると、音声ＡＩサーバー１０２は、スマートスピーカー１１１に対して、音声出力を直ちに停止するよう指示するとともに、終了通知テキストから終了通知の音声データを生成して、スマートスピーカー１１１へ送信し、音声出力させる。また、複合機１１２は、操作パネル６００にジョブの設定内容を表示する。

他のユーザーによる操作パネル６００の操作が終了する前に（Ｓ１１０３：ＮＯ）、応答テキスト＃１の音声出力が完了すると（Ｓ１１１１：ＹＥＳ）、音声ＡＩサーバー１０２からＭＦＰ制御サーバー１０１へ通知が送信され、ＭＦＰ制御サーバー１０１は、パネル操作中処理を終了し、設定内容確認処理に復帰する。この結果、上述のように、メインルーチンに復帰する。

このようにすれば、他のユーザーによるパネル操作が終了するまでの間、ユーザーに何も情報が提供されないまま、当該パネル操作が終了してから、操作パネル６００の表示を参照することによって、ユーザー所望の設定になっているかを確認し、操作パネル６００のスタートキーを押下する場合と比較して、当該他のユーザーがパネル操作を行っている間に、ユーザー所望の設定になっているかどうかを音声によって知ることができるので、ユーザー所望の設定になっていれば、他のユーザーがパネル操作を終了すると、直ちにスタートキーを押下して、ジョブの実行を開始させることができる。

また、ユーザー所望の設定になっていない場合には、その旨も他のユーザーによるパネル操作が終了するのに先立って、予めユーザーが知ることができるので、当該終了後に速やかに設定内容を訂正して、ジョブを実行させることができる。このような意味において、ユーザーにとって無駄な待ち時間が発生するのを抑制して、複合機１１２の円滑な利用を促進することができる。
［７］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（７－１）上記実施の形態においては、他のユーザーによるパネル操作が終了すると（Ｓ１１０３：ＹＥＳ）、応答テキスト＃１を停止する場合（Ｓ１１０４）を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、応答テキスト＃１を最後まで音声出力してから、終了通知テキストを送信してもよい（Ｓ１１０５）。

また、応答テキスト＃１を最後まで音声出力した場合には、ユーザーが設定内容を把握できていると判断されるので、複合機１１２の操作パネル６００に設定内容を表示しなくてもよい。また、応答テキスト＃１を最後まで音声出力した場合であっても、念のため、複合機１１２の操作パネル６００に設定内容を表示してもよい。
（７－２）上記実施の形態においては、他のユーザーによるパネル操作が終了すると（Ｓ１１０３：ＹＥＳ）、複合機１１２がジョブの設定内容を操作パネル６００に表示する場合（Ｓ１１０６、Ｓ１１０７）を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。すなわち、応答テキスト＃１のうち音声出力した部分が、応答テキスト＃１全体に対して所定の割合以上である場合や、応答テキスト＃１の音声出力していない部分がデフォルト設定のみである場合には、ユーザーがジョブの設定内容を十分確認できたと判断して、複合機１１２の操作パネル６００に設定内容を表示しなくてもよい。

一方、応答テキスト＃１のうち音声出力した部分が、応答テキスト＃１全体に対して所定の割合未満である場合や、応答テキスト＃１の音声出力していない部分にデフォルト設定以外の設定が含まれている場合には、ユーザーはジョブの設定内容を十分確認できてきないと判断して、複合機１１２の操作パネル６００に設定内容を表示してもよい。
（７－３）上記実施の形態においては、他のユーザーによるパネル操作が終了すると（Ｓ１１０３：ＹＥＳ）、複合機１１２がジョブの設定内容を操作パネル６００に表示する場合（Ｓ１１０６、Ｓ１１０７）を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。すなわち、終了通知テキストを音声出力するのに合わせて、複合機１１２の操作パネル６００に設定内容を表示するか否かをユーザーに問い合わせて、ユーザーの応答に応じて設定内容の表示の有無を切り替えてもよい。
（７－４）上記実施の形態においては、設定内容の確認の結果、ユーザーが問題ない旨の返事をした場合にジョブの実行を開始するよう構成したが、ユーザーが複合機１１２の操作パネル６００に設けられたスタートキーを押下することによってジョブの実行を開始させるようにしてもよい。
（７－５）上記実施の形態においては、他のユーザーによるパネル操作が終了したか否かを判断する場合（Ｓ１１０３）を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて、用紙切れやトナー切れ、扉開といったエラー状態が解消されたか否かを判断してもよく、エラー状態が解消されたら応答テキスト＃１の音声出力を停止して、複合機１１２の操作パネル６００に設定内容を表示し、ユーザーによるジョブ実行の指示を待って、ジョブの実行を開始してもよい。

このようにしても、エラー状態が解消してから、複合機１１２の操作パネル６００にて、ジョブの設定内容をユーザーに確認させる場合と比較して、エラー状態が解消される前からジョブの設定内容を音声出力して、ユーザーに聴かせるので、ジョブの実行開始を早めることができる。
（７－６）上記実施の形態においては、スマートスピーカー１１１を用いて音声入出力を行う場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、スマートスピーカー１１１に代えて、スマートフォン等、スマートスピーカー１１１以外の機器を用いて音声入出力を行ってもよい。また、スマートフォン等、スマートスピーカー１１１以外の機器を用いる場合には、当該機器がスマートスピーカー１１１および音声ＡＩサーバー１０２の両方の機能を兼ね備えてもよい。
（７－７）上記実施の形態においては、ＭＦＰ制御サーバー１０１並びに音声ＡＩサーバー１０２がクラウドサーバーである場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、他のサーバー装置であってもよい。例えば、ＬＡＮ１１３に接続されているサーバー装置や、複合機１１２に一体化されているサーバー装置を、ＭＦＰ制御サーバー１０１や音声ＡＩサーバー１０２として使用してもよい。
（７－８）上記実施の形態においては、応答テキスト＃１が複合機１１２の液晶ディスプレイ６０１に表示するよう指示した主要設定内容を列挙したテキストであり、応答テキスト＃２はユーザーが音声指示によりデフォルトの設定値から変更された設定内容のみを列挙したテキストである場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、応答テキスト＃１の方が応答テキスト＃２よりも音声出力に要する時間が長ければ、応答テキスト＃１、＃２は上記実施の形態とは異なる内容のテキストであってもよい。

なお、主要設定内容は、例えば、複合機１１２の操作パネル６００において当該ジョブの設定を行うための最上位の設定画面に表示される設定項目のデフォルト設定であってもよい。例えば、複写ジョブの場合には、「濃度」、「下地調整」、「用紙」、「倍率」、「原稿＞出力」、「ページ集約」の設定項目である。

なお、応答テキスト＃１に含まれる設定内容は、ユーザーが音声指示した設定内容のみであってもよいし、デフォルト設定のみであってもよい。また、デフォルト設定には、最上位の設定画面以外の設定画面に表示される設定項目に関する設定内容を含んでもよいし、逆に最上位の設定画面に表示される設定項目すべてを網羅していなくてもよい。

応答テキスト＃２についても、同様に、デフォルト設定のみであってもよいし、ユーザーが音声指示した設定内容とデフォルト設定とが混在していてもよい。

応答テキスト＃１、＃２の内容の如何に関わらず、応答テキスト＃１の音声出力時間が応答テキスト＃２の音声出力時間よりも長ければ、本発明の効果を得ることができる。
（７－９）上記実施の形態においては、他のユーザーがパネル操作を行っている場合には、応答テキスト＃１を音声出力する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、応答テキスト＃１に加えて付加テキストを音声出力してもよい。例えば、応答テキスト＃１を音声出力し終わっても、他のユーザーによるパネル操作が終了しない場合には、「只今、他のユーザー様が画像形成装置を操作中ですので、しばらくお待ちください。この時間をお借りして弊社の新サービスをご紹介いたします。。。」等のように付加テキストを音声出力してもよい。
（７－１０）上記実施の形態においては、カラー複合機１１２に音声指示を行う場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えてモノクロ複合機に音声指示を行ってもよい。また、プリンター装置や、スキャナーを備えたコピー装置、更にファクシミリ通信機能を備えたファクシミリ装置といった単機能機に本発明を適用しても同様の効果を得ることができる。
（７－１１）上記実施の形態においては、ＭＦＰサーバー１０１に、予め、ジョブ（コピージョブやスキャンジョブ等）に対して、ジョブの設定項目それぞれにデフォルトの設定値を記憶しておき、その記憶しておいた設定値を音声指示された設定値に変更するよう構成し、ジョブ実行の指示を受けた後にそれらの設定内容をまとめて複合機１１２へ送信するようにしたが、ＭＦＰ制御サーバー１０１が、音声指示された設定を、その都度、複合機１１２へ送信し、複合機１１２内でジョブの設定に反映させるようにしてもよい。
（７－１２）上記実施の形態においては、スマートスピーカー１１１、ＭＦＰ制御サーバー１０１、音声ＡＩサーバー１０２が、複合機１１２とは別の装置で構成したが、全部または一部を複合機１１２に内蔵するように構成してもよい。

また、複合機１１２に音声入出力インターフェイスを設ける場合には、操作パネル６００からタッチパッド６０２やハードキー６０３といった手入力を受け付ける装置を省いて液晶ディスプレイ６０１のみにしてもよい。また、この場合において、音声入出力のためのマイク並びにスピーカーを設けてもよい。
（７－１３）上記実施の形態においては、複合機１１２に実行させる処理に関する設定内容を操作パネル６００の液晶ディスプレイ６０１に表示させる場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、操作パネル６００とは別に表示装置を設けて設定内容を表示させてもよい。例えば、複合機１１２に通信ネットワークを介して接続されたＰＣ（Personal Computer）や携帯端末装置を表示装置として、スマートスピーカー１１１にて受け付けた音声指示に係る設定内容を表示させてもよい。この例では、表示装置の動作状態に合わせて、音声出力すべき内容を決定すれば、同様の効果を得ることができる。
（７－１４）上述したように、画像形成システム１並びにＭＦＰ制御サーバー１０１は、マイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作するとしてもよい。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
（７－１５）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明に係る制御装置、画像形成システムおよびプログラムは、画像形成装置に音声指示する際のユーザーの待ち時間の延長を抑制する技術として有用である。

１………画像形成システム
１０１…ＭＦＰ制御サーバー
１０２…音声ＡＩサーバー
１０３…インターネット
１１１…スマートスピーカー
１１２…複合機
１１３…ＬＡＮ
６００…操作パネル

Claims (15)

1. 音声により指示された処理内容に基づいて、画像形成装置に当該処理を実行させる制御装置であって、
   前記処理を実行する前に前記処理内容を、前記画像形成装置の表示装置に表示させる手段と、
   前記表示装置の動作状態を取得する動作状態取得手段と、
   取得した前記表示装置の動作状態に応じて、前記処理内容の確認を促すために出力すべき音声の内容を決定する決定手段と、を備える
   ことを特徴とする制御装置。
2. 前記動作状態は、前記表示装置の少なくとも一部の電源がＯＦＦであるスリープモードか否かの動作状態を含む
   ことを特徴とする請求項１に記載の制御装置。
3. 前記スリープモードには、前記処理内容を前記表示装置に表示させることが可能となるまでの時間が第１の所定時間である第１段階のスリープモードと、当該表示が可能となるまでの時間が前記第１の所定時間よりも長い第２の所定時間である第２段階のスリープモードと、があり、
   前記動作状態取得手段は、前記スリープモードが前記第１段階と前記第２段階とのいずれであるかを取得し、
   前記決定手段は、前記動作状態取得手段により取得された前記スリープモードが前記第１段階と前記第２段階とのいずれであるかに基づいて出力すべき音声の内容を決定する
   ことを特徴とする請求項２に記載の制御装置。
4. 前記動作状態取得手段にて取得した動作状態から、前記表示装置による表示が可能になるまでの立ち上がり時間を推定する推定手段を備え、
   前記決定手段は、前記立ち上がり時間に応じて、前記音声内容を決定する
   ことを特徴とする請求項１に記載の制御装置。
5. 前記決定手段は、
   前記立ち上がり時間が、所定の項目を音声出力するのに要する出力時間よりも長い場合には、当該所定の項目すべてを含むように前記音声内容を決定し、
   前記立ち上がり時間が前記出力時間よりも短い場合には、前記所定の項目のうち少なくとも一部の項目を除いた項目からなるように前記音声内容を決定する
   ことを特徴とする請求項４に記載の制御装置。
6. 前記立ち上がり時間から、前記決定手段が決定した前記音声内容を音声出力するのに要する出力時間を差し引いた余剰時間に応じて、前記音声内容以外の追加内容を決定する音声追加手段を備える
   ことを特徴とする請求項４または５に記載の制御装置。
7. 前記処理内容を音声入力したユーザー以外のユーザーが前記表示装置を使用しているか否かを判定する使用状態判定手段と、
   前記決定手段が前記音声内容を決定した後、前記使用状態判定手段の判定結果が否定的になるまでは、当該音声内容を音声出力し、前記使用状態判定手段の判定結果が否定的になったら、当該音声出力を停止させる音声出力制御手段と、を備える
   ことを特徴とする請求項１に記載の制御装置。
8. 前記決定手段が決定する音声内容は複数の部分に区分されており、
   前記音声出力制御手段は、前記使用状態判定手段の判定結果が否定的になったときに出力中の部分の音声出力が完了した時点で、前記音声出力を停止させる
   ことを特徴とする請求項７に記載の制御装置。
9. 前記音声出力制御手段は、前記使用状態判定手段の判定結果が否定的になったときに、前記決定手段が決定した音声内容のうち未出力部分の出力時間が所定時間よりも短い場合には、前記音声出力を停止させない
   ことを特徴とする請求項７に記載の制御装置。
10. 前記音声出力制御手段が、前記音声出力を停止させない場合に、前記表示装置に前記処理内容を表示するのを禁止する禁止手段を備える
    ことを特徴とする請求項７から９のいずれかに記載の制御装置。
11. 前記音声出力制御手段が、前記音声出力を停止させない場合に、前記表示装置に前記処理内容を表示させるか否かを、前記音声入力したユーザーに確認する確認手段を備え、
    前記確認手段による確認結果が肯定的である場合には、前記処理内容を表示させる
    ことを特徴とする請求項７から９のいずれかに記載の制御装置。
12. 前記確認結果が否定的である場合には、前記音声入力したユーザーが前記処理の開始を指示するのを待たずに、前記画像形成装置に当該処理を開始させる処理開始手段を備える
    ことを特徴とする請求項１１に記載の制御装置。
13. 前記停止後、前記表示装置に前記処理内容が表示される場合には、その旨を音声出力する表示通知手段を備える
    ことを特徴とする請求項７から１２のいずれかに記載の制御装置。
14. 画像形成装置と、
    請求項１から１３の何れかに記載の制御装置と、を備える
    ことを特徴とする画像形成システム。
15. 音声により指示された処理内容に基づいて、画像形成装置に当該処理を実行させる制御をコンピューターに実行させるプログラムであって、
    前記処理を実行する前に前記処理内容を、前記画像形成装置の表示装置に表示させるステップと、
    前記表示装置の動作状態を取得する動作状態取得ステップと、
    取得した前記表示装置の動作状態に応じて、前記処理内容の確認を促すために出力すべき音声の内容を決定する決定ステップと、をコンピューターに実行させる
    ことを特徴とするプログラム。

Images