JP7263919B2

JP7263919B2 - 画像処理装置およびプログラム

Info

Publication number: JP7263919B2
Application number: JP2019096047A
Authority: JP
Inventors: 俊彦大竹
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2023-04-25
Anticipated expiration: 2039-05-22
Also published as: CN111988483A; CN111988483B; US20200374410A1; JP2020191550A

Description

本発明は、画像処理装置およびプログラムに関し、特に、ユーザーの音声指示に対して柔軟に対応する音声インターフェイス技術に関する。

近年、音声認識技術の進歩によって音声認識精度が向上したことから、画像処理装置に対しても音声インターフェイスのニーズが高まっており、様々な音声インターフェイスが提案されている。

例えば、階層構成された複数の操作画面のうち上位階層の操作画面が表示されている状態で、下位階層の操作画面において表示される設定項目を指定したい場合、上位階層の操作画面に当該設定項目が表示されていなければ、タッチパネルの押下による手操作を行うことができないので、上位階層の操作画面から順次、操作画面ごとにタッチ操作を繰り返すことによって、下位階層の操作画面へ進んで、目的の設定項目が表示された後、当該設定項目の設定を行う。

一方、音声指示を行う場合には、上位階層の操作画面に当該設定項目が表示されていなくても、当該設定項目を音声にて直接指定して、当該下位階層の操作画面を表示させ、当該設定項目の設定を行うことができる。このように上位階層の操作画面から下位階層の操作画面に表示変更する途中で、両操作画面の中間の階層の操作画面を順に表示する従来技術がある（例えば、特許文献１を参照）。この従来技術によれば、操作画面を切り替える手間が省けるとともに、どの階層の操作画面に切り替わったかを分かり易くすることができる。

また、相互依存関係にあり、相互に独立して設定することができない複数の設定項目を一つの操作画面にまとめて表示する映像装置も提案されている（例えば、特許文献２を参照）。このようにすれば、設定可能な選択肢を目視しながら音声指示することができるので、音声入力による操作性を向上させることができる。

特開２００７－０１８０９０号公報特開２００４－１８００５５号公報

しかしながら、上記の従来技術は、いずれも予め用意されている操作画面であらかじめ用意されている設定項目を音声操作で設定させるに過ぎない、という意味において手操作の代替にしかなっておらず、音声操作の可能性を十分活用できているとは言えない。

例えば、手操作は、いずれかの操作画面に表示されている設定項目に関する設定しかできないのに対して、音声操作ではいずれの操作画面にも表示されていない設定項目についてもユーザーが口頭で自由に指定することができる。

このような指定には、上記従来技術では対応することができないため、誤操作として扱われたり、まったく何も反応できなかったりする。

また、画像処理装置の操作画面の大きさには限りがあるので、音声指示される可能性があるすべての設定項目を予め操作画面に表示しておくことはできない。

本発明は、上述のような問題に鑑みて為されたものであって、あらかじめ操作画面が用意されていない設定項目を音声指示されても対応することができる画像処理装置およびプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る画像処理装置は、ジョブの設定を受け付ける画像処理装置であって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、音声入力によって前記ジョブの設定を受け付ける音声受付手段と、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値を含む範囲内の設定値を受け付ける特定画面を表示する表示手段と、を備えることを特徴とする。

この場合において、前記音声入力による設定値に対応する特定画面を生成する生成手段を備え、前記表示手段は、前記生成手段が生成した当該特定画面を表示してもよい。

また、本発明の別の態様に係る画像処理装置は、ジョブの設定を受け付ける画像処理装置であって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、音声入力によってジョブの設定を受け付ける音声受付手段と、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、前記音声入力による設定値に対応する特定画面を生成する生成手段を備え、前記表示手段は、前記生成手段が生成した当該特定画面を表示し、所定の音声指示のキーワードと当該キーワードに対応して生成する特定画面の生成方法が予め登録されており、前記生成手段は音声指示のキーワードに対応する生成方法により前記特定画面を生成してもよい。

また、本発明の更に別の態様に係る画像処理装置は、ジョブの設定を受け付ける画像処理装置であって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、音声入力によってジョブの設定を受け付ける音声受付手段と、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、前記音声入力による設定値は、レベルの指定を含み、前記音声入力による設定値は、指定されたレベルが目視できる態様で、前記入力画面に表示されてもよい。

また、前記特定画面においてレベルの変更を受け付けると、変更後のレベルに対応するテキストを音声出力または画面表示するテキスト出力手段を備えてもよい。

また、本発明の更に別の態様に係る画像処理装置は、ジョブの設定を受け付ける画像処理装置であって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、音声入力によってジョブの設定を受け付ける音声受付手段と、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、前記特定画面は、画質調整に関する画面であってもよい。

また、前記画質調整は、色調調整であってもよい。

また、前記色調調整は、音声指定された色調に関する調整であってもよい。

また、前記色調調整は、音声指定された色調から特定の範囲内にある色調への変更であってもよい。

また、前記特定画面は、指定されたレベルが目視できる態様で表示された項目についてのレベル指定によって前記変更を受け付けてもよい。

また、色相図上の範囲を表示して色調の調整を受け付けてもよい。

また、本発明の更に別の態様に係る画像処理装置は、ジョブの設定を受け付ける画像処理装置であって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、音声入力によってジョブの設定を受け付ける音声受付手段と、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、前記デフォルト設定画面は色調が限定されることなく所定の基本色によって色調調整可能な設定画面を含み、前記特定画面は前記特定の設定値に対応する色調の範囲で色調調整を行うための設定画面であってもよい。

また、前記特定画面は前記特定の設定値に対応する色調の範囲で階調値の調整が可能な画面であってもよい。

また、本発明の一態様に係るプログラムは、ジョブの設定を受け付ける画像処理装置として、コンピューターを動作させるプログラムであって、予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付ステップと、音声入力によって前記ジョブの設定を受け付ける音声受付ステップと、前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定ステップと、前記判定ステップにおける判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値含む範囲内の設定値を受け付ける特定画面を表示する表示ステップと、コンピューターに実行させることを特徴とする。

このようにすれば、音声入力による設定値に対応する特定画面を、音声入力を契機として表示するので、あらかじめデフォルト設定画面が用意されていない設定値を音声入力されても対応することができる。

本発明の実施の形態に係る複合機１の主要な構成を示す外観斜視図である。複合機１が備える操作パネル１００の主要な構成を示す正面図である。制御部１２２の主要な構成を示すブロック図である。操作パネル１００の液晶ディスプレイ３１１に表示される色設定画面４を例示する図である。操作パネル１００の液晶ディスプレイ３１１に表示される茶色設定画面５を例示する図であって、（ａ）は茶色の階調値を変更する前の茶色設定画面５を示し、（ｂ）は茶色の階調値を変更した後の茶色設定画面５を示す。操作パネル１００の液晶ディスプレイ３１１に表示されるカラー画質調整画面６を例示する図である。指示登録テーブルの構成を説明する表である。デフォルト設定画面（色設定画面４）に対する操作を受け付ける処理を表すフローチャートである。音声指示された色設定を行う特定画面を生成するためのテンプレートを例示する図である。特定画面（色設定画面５）に対する操作を受け付ける処理を表すフローチャートである。カラーバランス（詳細設定）画面を例示する図であって、（ａ）はユーザーによる音声指示を受け付ける前のデフォルト設定画面を例示し、（ｂ）はユーザーによる音声指示を受け付けた後の特定画面を例示する。

以下、本発明に係る画像処理装置およびプログラムの実施の形態について、図面を参照しながら説明する。
［１］画像処理装置の構成
まず、本実施の形態に係る画像処理装置の構成について説明する。

本実施の形態に係る画像処理装置は、いわゆる複合機（MFP: Multi-Function Peripheral）であって、図１に示すように、画像読み取り部１１０、画像形成部１２０および給紙部１３０を備えている。画像読み取り部１１０は、原稿トレイ１１１にセットされた原稿束から、自動原稿搬送装置（ADF: Automatic Document Feeder）１１２を用いて、１枚ずつ原稿を送り出して、所謂シートスルー方式で当該原稿を読み取った後、当該原稿を排紙トレイ１１３へ排出する。このようにして、画像データが生成される。

画像形成部１２０は、トナー像を形成して記録シートに転写する作像部やトナー像を記録シートに熱定着する定着部を有しており、画像読み取り部１１０が生成した画像データやＬＡＮ（Local Area Network）やインターネット等の通信ネットワークを経由して受信した画像データを用いて画像形成処理を実行する。給紙部１３０は、記録シートを収容しており、画像形成部１２０がトナー像を形成するのに並行して記録シートを供給する。トナー像を転写され、熱定着された記録シートは、複合機１の胴内空間に設けられた排紙トレイ１２１へ排出される。

複合機１は、操作パネル１００を備えており、複合機１１２のユーザーに対して情報を提示したり、ユーザーから指示入力を手操作および音声操作によって受け付けたりする。また、複合機１は、制御部１２２を備えており、制御部１２２は複合機１の動作を制御する。
［２］操作パネル１００
次に、操作パネル１００の構成について説明する。

図２に示すように、操作パネル１００は、タッチパネル２００、マイク２０１、電源キー２１１、ハードキー２１２、スタートキー２１３、ストップキー２１４リセットキー２１５、メニューキー２１６およびＩＤキー２１７を備えている。タッチパネル２００は液晶ディスプレイ（LCD: Liquid Crystal Display）とタッチパッドとを備えており、ユーザーに対する画面表示を行ったり、ユーザーによるタッチ入力を受け付けたりする。マイク２０１はユーザーによる音声入力を受け付けるためのものである。

電源ボタンは複合機１の電源を投入するためのキーであり、ハードキー２１２は、ユーザーがカスタマイズすることによって、押下した際に実行する機能が設定される。スタートキー２１３は、ジョブの実行条件の設定が完了した後、当該ジョブの実行を開始させるためのキーである。ストップキー２１４は、実行中のジョブを停止させるためのキーである。リセットキー２１５は、表示中の画面における設定をリセットするためのキーである。

メニューキー２１６はトップメニューを表示させるためのキーである。ＩＤキー２１７は、操作パネル１００がログアウト状態であるときに認証処理を開始させたり、ログイン状態であるときにログアウトしたりするためのキーである。更に、操作パネル１００は、モバイル端末等と連携するための近距離無線通信インターフェイス２１８を備えている。

また、操作パネル１００は不図示のスピーカーを備えており、当該スピーカーを用いて音声を出力することができる。
［３］制御部１２２
次に、制御部１２２の構成について説明する。

図３に示すように、制御部１２２は、ＣＰＵ３０１やＲＯＭ３０２、ＲＡＭ３０３等を備えており、ＣＰＵ３０１はリセット後にＲＯＭ３０２からブートプログラムを読み出して起動し、ＲＡＭ３０３を作業用記憶領域として、ＨＤＤ３０４からＯＳ（Operating System）や制御部プログラム等を読み出して実行する。ＮＩＣ３０５は、ＬＡＮやインターネット等を経由して他の装置と相互接続するための通信処理を実行する。タイマー３０６は、時間を設定して起動すると、カウントダウンを開始して、タイムアウトするとＣＰＵ３０１にタイマー割り込みを行うことによって、当該設定時間を経過したことを通知する。

このような構成を備えることによって、制御部１２２は、画像読み取り部１１０、画像形成部１２０および給紙部１３０の動作を制御する。特に、操作パネル１００のタッチパネル２００を構成する液晶ディスプレイ３１１およびタッチパッド３１２を用いて画面表示を行ったり、タッチ入力を受け付けたりする。また、マイク２０１がユーザーの操作音声を音声信号に変換すると、制御部１２２は当該音声信号を用いて音声認識処理などを実行する。また、ＩＤキー２１７の押下を検出すると、制御部１２２は液晶ディスプレイ３１１に認証処理画面を表示して認証処理を行ったり、ログアウト処理を実行したりする。
［４］コピーの色設定処理
次に、制御部１２２が実行する処理のうち、コピーの色設定処理について説明する。コピーの色設定処理は、モノクロコピーを行うための色設定を受け付ける処理であって、例えば、図４に示すような色設定画面４を操作パネル１００の液晶ディスプレイ３１１に表示して、色設定を受け付ける。

色設定画面４においては、赤色、青色および緑色の三原色の階調を０から２５５までの範囲内でそれぞれ指定させることによって、色設定を受け付ける。例えば、赤色の階調は、スライダーバー４０１のハンドル４０２を左右にスライドさせる直感的な操作によって設定することができる。このようにすれば、赤色の階調をハンドル４０２によって目視できる態様で表示することができる。以下に説明する他の色（緑色、青色、茶色）についても同様である。

また、タッチ操作によってハンドル４０２を細かく移動させることは必ずしも容易ではないので、赤色の階調値を細かく調整したい場合には、タッチキー４０３、４０４、４０５および４０６を用いてもよい。例えば、タッチキー４０３は、赤色の階調値を３だけ減少させるキーであり、タッチキー４０４は、赤色の階調値を１だけ減少させるキーである。同様に、タッチキー４０５は、赤色の階調値を１だけ増加させるキーであり、タッチキー４０６は、赤色の階調値を３だけ増加させるキーである。

更に、音声指示によって階調値を調整してもよい。タッチキー４０３、４０４、４０５および４０６を操作した場合や、音声指示によって階調値を調整した場合も、タッチ操作によってハンドル４０２を移動させた場合と同様に、調整後の階調値に応じてスライダーバー４０１のハンド４０２の表示位置が変化する。

なお、ハンドル４０２やタッチキー４０３、４０４、４０５および４０６を用いて階調値を変更した場合には、変更後の階調値を指示するための音声として、例えば、「とても薄い」、「薄い」、「やや薄い」、「中ぐらい」、「やや濃い」、「濃い」、「とても濃い」等のテキストを音声出力したり、「階調値は１９８です」等、階調値を表すテキストを音声出力したりしてもよい。

スピーカーにて出力された当該音声を聞いたユーザーが、その後、赤色に限らず、階調値を設定する際にマイクに当該音声を入力すると、その色の階調値が当該階調値に設定される。緑色、青色或いは茶色など、赤色以外の色について階調値を変更した場合にも同様の音声出力を行ってもよい。また、音声出力に代えて、或いは音声出力と併せて、当該テキストを操作パネル１００に表示してもよい。

同様に、緑色並びに青色の階調値はスライダーバー４１１、４２１を用いて直感的に設定することもできるし、タッチキー４１３～４１６、４２３～４２６を用いて細かく調整することもできる。色設定を完了したユーザーがＯＫキー４３１にタッチすると、制御部１２２は色設定を記憶して、上位階層の画面に復帰する。また、ユーザーがキャンセルキー４３２にタッチすると、色設定を記憶することなく破棄して、上位階層の画面に復帰する。

このような色設定画面で手操作を行うことによって、例えば、茶色を設定することは、予め色成分ごとの階調値を知らなければ難しい。茶色の階調を設定するのは尚更難しい。これに対して、本実施の形態においては、音声操作によって、ユーザーが茶色の設定を希望していることが判明した場合には、茶色設定画面を表示する。

この場合において、制御部１２２は、茶色設定画面を予め用意していてもよいし、ユーザーの音声指示に応じて茶色設定画面を生成してもよい。本実施の形態においては、特定色の設定画面を生成するためのテンプレートを予め記憶しておき、ユーザーが音声指示した色名と、当該色の階調値０から階調値２５５までのグラデーションを表示するグラデーション画像と、を表示する。

図５（ａ）に例示する茶色設定画面５は、色設定画面４においてユーザーが「薄い茶色」のように色設定を行った場合に、液晶ディスプレイ３１１に表示される茶色設定画面である。茶色設定画面５には、茶色設定画面であることを示す「茶色」の文字列５１１と、他の画面における手操作によっては表示されず、音声指示によってのみ表示される画面であることを示す「ＮＯＮデフォルトモード」との文字列５１２と、が表示されている。

また、茶色設定画面５には、茶色の階調値を設定するためのスライダーバー５０１が表示されており、茶色のグラデーション画像になっている。スライダーバー５０１において、タッチ操作によってハンドル５０２を移動させれば、茶色の階調値を変更することができる。また、階調値を細かく調整したい場合にはタッチキー５０３、５０４、５０５および５０６を用いて、色設定画面４と同様に操作してもよい。

更に、音声指示によって階調値を操作することもできる。例えば、ユーザーが「濃く」と音声指示すると、図５（ｂ）に示すように、スライダーバー５のハンドルが位置５０２から位置５２１へ、「濃く」の語に予め対応付けられた階調値だけ移動する。なお、「２０ステップ薄く」のように、ユーザーが音声指示によって階調値を指定してもよく、この場合には、スライダーバー５０１のハンドルは、指定された階調値だけ移動することになる。

ＯＫキー５２１並びにキャンセルキー５２２は色設定画面４と同様である。

図６は、色設定画面４を表示させるキーを表示するカラー画質調整画面６を例示する図である。カラー画質調整画面６には、明度キー６０１、コントラストキー６０２、濃度キー６０３、赤色キー６０４、緑色キー６０５、青色キー６０６およびカラーバランスキー６０７が表示される他、色設定画面４などと同様のＯＫキー６２１並びにキャンセルキー６２２が表示されている。

明度キー６０１、コントラストキー６０２または濃度キー６０３をタッチ操作すると明度設定画面、コントラスト設定画面または濃度設定画面が表示され、赤色キー６０４、緑色キー６０５および青色キー６０６をタッチ操作すると色設定画面４が表示されてもよい。また、カラーバランスキー６０７をタッチ操作すると、後述するカラーバランス設定画面が表示されてもよい。

また、赤色、緑色および青色の各階調値を個別に調整することによって、茶色の階調値を調整することは、当該階調値の赤色、緑色および青色を合成した合成色が表示されていない状態で、赤色、緑色および青色の階調値によって構成される３次元空間内を、各座標値を指定することによって目標色を探査する操作になるので、ユーザーにとって非常に困難である。

一方、茶色のグラデーション画像を表示した状態でハンドル５０２をタッチ操作させる等すれば、茶色の階調値だけで構成される一次元空間内で目標値を探査する操作を行えば足りるので、ユーザーは容易に茶色の階調を指定することができる。このように、ユーザーの音声指示によって茶色設定画面５を表示すれば、多次元のレベル設定を要することなく、一次元のレベル設定を行うだけでよいので、茶色の階調指定を容易化することができる。

茶色の階調が指定されれば、指定された茶色の階調から赤色、緑色および青色の各階調値を制御部１２２に算出させることは容易である。
［５］制御部１２２の動作
次に、制御部１２２の動作について説明する。

色設定画面４が表示されている状態で、ユーザーが音声指示を行うと、制御部１２２は、マイク２０１を用いてユーザーの指示音声を音声信号に変換し、更に、Ａ／Ｄ（Analogue to Digital）変換によってデジタル音声信号、言い換えると音声データを生成し、当該音声データを用いて音声認識処理を実行する。音声認識処理においては、まず、ノイズリダクションアルゴリズムを用いて音声データのノイズレベルを低減し、ノイズリダクション後の音声データからテキストデータを生成する。音声データからテキストデータを生成する際には、公知の音声認識アルゴリズムを用いることができる。

その後、自然言語処理によって、テキストデータからユーザーの指示内容を抽出する。制御部１２２においては、画面ごとに受け付けることができる指示が登録されており、また、登録されている指示ごとにタッチ操作による手動指示ができるか否かが記憶されている。例えば、「薄い茶色」という音声指示のように、茶色の設定を要求する指示は、予め登録されており、かつ、デフォルト設定画面である色設定画面４においてタッチ操作による手動指示をすることができない指示である旨が記憶されている。

制御部１２２は、ユーザーから受け付けることができる指示を一覧テーブル（以下、「指示登録テーブル」という。）に予め登録しており、指示登録テーブルには、「指示の名称」、当該指示をタッチ操作することができる「画面の名称」、特定画面の「生成方法」および特定画面の「デフォルト登録方法」が記録されている。図７に例示する指示登録テーブル７においては、指示Ａ１、Ａ２は画面Ａにおけるタッチ操作によって指示することができ、指示Ａ２はは画面Ｂにおけるタッチ操作によっても指示することができる。これは、例えば、ＯＫキーのように、複数の画面に表示されうるキーに対応する指示である。

一方、指示Ｃ１、Ｃ２はタッチ操作によっては指示することができない。指示Ｃ１、Ｃ２は音声操作によっては指示された場合には、制御部１２２は当該指示に対応する生成方法の欄を参照して、指示に対応する特定画面を操作パネル１００に表示する。例えば、「茶色」との音声指示がなされた場合、当該指示は指示登録テーブルに登録されているものの、対応する「画面の名称」が登録されていないので、制御部１２２は「生成方法」の欄を参照して、茶色設定画面５を生成し、操作パネル１００に表示する。

図８に示すように、ユーザーの音声指示の内容が予め指示登録テーブル７に登録されている指示に該当しない場合には（Ｓ８０１：ＮＯ）、指示内容を受け付けることができない旨の音声出力を行った後（Ｓ８１１）、ステップＳ８０１へ進む。この場合において、音声出力は単なるビープ音であってもよいし、当該内容の音声を合成してもよい。また、当該音声出力に代えて、或いは当該音声出力と併せて、操作パネル１００に同じ内容の画面表示を行ってもよい。

なお、タッチ操作による指示の場合には、デフォルト設定画面に表示されており、タッチ操作することができる指示か、操作パネル１００に設けられたキーを押下することによる指示しか行うことができないので、予め登録されている指示しか行うことができない。ユーザーの指示内容が予め登録されている指示に該当する場合には（Ｓ８０１：ＹＥＳ）、指示内容を受け付けた旨を音声で応答する（Ｓ８０２）。

次に、デフォルト設定画面と異なる音声指示でない場合、言い換えるとデフォルト設定画面に表示されており、タッチ操作することができる指示に該当する場合には（Ｓ８０３：ＮＯ）、当該指示の内容を参照する。当該指示が終了指示である場合には（Ｓ８１２：ＹＥＳ）、処理を終了する。本実施の形態においては、デフォルト設定画面である色設定画面４から上位階層の画面であるカラー画質調整画面６に復帰する。当該指示が終了指示でない場合には（Ｓ８１２：ＮＯ）、当該指示を実行した後（Ｓ８１３）、ステップＳ８０１へ進む。

ユーザーの指示内容がデフォルト設定画面と異なる音声指示である場合、言い換えるとデフォルト設定画面に表示されておらす、タッチ操作することができない指示に該当する場合には（Ｓ８０３：ＹＥＳ）、指示登録テーブル７を参照して、音声指示の内容に応じた特定画面を表示する（Ｓ８０４）。例えば、音声指示が「薄い茶色」である場合には、指示登録テーブル７の「指示の名称」が「茶色」である欄を参照して、当該「茶色」に対応する生成方法ｎに従って、特定画面を生成する。

生成方法ｎとしては、例えば、図９に示すような、ユーザーが指定した色の設定画面のテンプレート９と、「茶色」に対応するＲＧＢ各色のカラーバランスと、が予め登録されており、制御部１２２はテンプレート９の空欄９０１、９０２および９０３に「茶色」との文字列を代入するとともに、スライダーバー９０４にＲＧＢ各色のカラーバランスを利用して、「茶色」のグラデーション画像を表示する。なお、ＲＧＢ（Red, Green, Blue）に代えてＹＭＣ（Yellow, Magenta, Cyan）等、ＲＧＢ以外の基本色を用いてもよい。

更に、制御部１２２は、色の濃さを表現する語とその階調値とを対応付ける辞書を有しており、当該辞書を参照して「薄い」との指示に対応する階調値を特定した後、当該階調値に対応する位置にハンドル９０５を表示する。

このようにして生成した特定画面を操作パネル１００に表示した後、制御部１２２は、後述のような特定画面処理を実行する（Ｓ８０５）。そして、特定画面処理を完了したら、ステップＳ８０１へ進んで上記の処理を繰り返す。

特定画面処理においては、図１０に示すように、制御部１２２は、まず、タイマー３０６に所定の時間を設定する（Ｓ１００１）。この所定時間は、当該特定画面に対して当該所定時間以上、何も操作がなされなかった場合に、セキュリティを保護するとともに、他のユーザーが当該複合機１を利用できるようにするためのものである。

その後、操作パネル１００に特定画面を表示した状態で、ユーザーから指示を受け付けたら（Ｓ１００２：ＹＥＳ）、当該指示が指示登録テーブルに登録されているか確認する。当該指示が指示登録テーブルに登録されていない場合には（Ｓ１００３：ＮＯ）、当該指示内容を受け付けることができない旨の音声で応答し（Ｓ１０１１）、ステップＳ１００１へ進む。これによって、タイマー値がリセットされ、ユーザーが操作を行わなかった期間の計時がやり直される。

一方、当該指示が指示登録テーブルに登録されている場合（Ｓ１００３：ＹＥＳ）、例えば、茶色の階調を変更する指示を含むステップ変更指示を受け付けたら（Ｓ１００４：ＹＥＳ）、ＲＡＭ３０３上で当該ステップ値を変更して（Ｓ１０１２）、ステップＳ１００１へ進む。なお、当該ステップ変更指示は音声指示に限らずタッチ操作によって受け付けてもよい。また、茶色設定画面５におけるハンドル５０２の位置を階調値に合わせて移動させるように、ステップ値の変更に合わせて特定画面の表示状態を更新してもよい。

また、終了指示を受け付けた場合には（Ｓ１００５：ＹＥＳ）、デフォルト設定画面に復帰する。例えば、操作パネル１００に茶色設定画面５を表示させている状態で終了指示を受け付けた場合には、その前に表示されていた色設定画面４に復帰する。また、操作パネル１００に茶色設定画面５を表示させている状態で、茶色設定画面５をカラー画質調整画面６にデフォルト登録した場合には、カラー画質調整画面６に復帰してもよい。

終了指示も受け付けなかった場合には（Ｓ１００５：ＮＯ）、タイムアウトが発生したか否かを確認して、タイムアウトが発生している場合には（Ｓ１０１３：ＹＥＳ）、デフォルト設定画面に復帰する。タイムアウトが発生していなければ（Ｓ１０１３：ＮＯ）、ユーザー操作が行われなかった期間の計時を継続するために、ステップＳ１００２へ進んで上記の処理を繰り返す。
［６］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（６－１）上記実施の形態においては、色設定画面４において「薄い茶色」との音声指示を受け付けた場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、色設定画面４に代えて次のようにしてもよい。

図６に示すカラー画質調整画面６において、カラーバランス（詳細設定）キー６０７をタッチ操作することによって、図１１（ａ）に示すようなカラーバランス（詳細設定）画面１１００がデフォルト設定画面として表示されている場合を例にとって説明する。カラーバランス画面１１００においては、円１１０１の内部に色相図がカラー表示されており、円１１０１の内部の点をタッチすることによって、タッチした位置の色がコピー色に設定される。

しかしながら、このようなカラーバランス画面１１００において、音声指示によってコピー色を指定するのは必ずしも容易ではない。このため、例えば、ユーザーが「薄い茶色」と音声指示した場合に、図１１（ｂ）に示すように、円１１１１の内部に様々な階調値の茶色に該当する領域（以下、「調整領域」という。）を表す囲み線１１１２を表示するとともに、薄い茶色に該当する位置（例えば茶色としてプリセットされたＲＧＢ等の基本色の座標に薄い場合の所定値を付加した位置）をハンドル１１１３で表示する（以下、「特定表示」という）。

このように、ユーザーの音声指示に応じてデフォルト設定画面１１００の調整領域１１１１上に特定表示を重畳した特定画面１１１０を操作パネル１００に表示させれば、音声指示によっても、容易に所望のコピー色を指定させることができる。
（６－２）上記実施の形態においては、デフォルト設定画面とは異なる音声指示を行うことによって、茶色指定の音声指示を容易させる場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて、或いはこれに加えて、次のようにしてもよい。

例えば、デフォルト設定画面に表示されている操作対象色が赤色、緑色および青色である場合に、これら以外の色として、紫色やオレンジ色など茶色以外の色についても予め登録しておくことによって、紫色設定画面やオレンジ色設定画面を表示させて、当該階調値を指定させてもよい。

また、レイアウト調整のために操作パネル１００に提示されている選択肢が１ｉｎ１、２ｉｎ１、４ｉｎ１および８ｉｎ１だけである場合に、３ｉｎ１／５ｉｎ１等の音声指示を受け付けてもよい。更に、用紙選択のために操作パネル１００に提示されている選択肢がＡ３、Ａ４、Ｂ４、Ｂ５、はがきおよびＬサイズだけである場合に、これら以外で音声指示が想定される選択として、正方形の用紙などを受け付けてもよい。

このように、画面表示されている選択肢以外の選択肢を音声指示によって受け付ければ、表示する選択肢を不必要に多くして画面表示を見難くしたり、操作し難くしたりすることなく、ユーザー所望の選択肢を音声指示によって直接受け付けるので、ユーザーの利便性を向上させることができる。
（６－３）上記実施の形態において、茶色設定画面５は、画質調整を行わせる画面の一態様であり、当該画質調整には色調調整が含まれる。この色調調整には、複合機１のユーザーが音声指示した特定の色調（例えば、「茶色」）に対応したレベル調整が含まれており、このレベル調整は、例えば、濃度（階調値）の調整である。

また、このレベル調整には、ユーザーが音声指示した色調を中心として、当該色調とは異なる色調へ、色調を変更する調整も含まれる。この場合において、ユーザーが音声指示した色調（例えば、「薄い茶色」）に対応する代表色（例えば、「茶色」）が中心に配置された画面を表示して、当該画面においてレベル調整を行わせてもよい。

また、図１１（ｂ）に示すように、ユーザーが音声指示した色調に対応する領域１１１２を表示するとともに、当該領域１１１２内におけるユーザーが音声指示した色調（例えば、「薄い茶色」）の位置１１１３を示して、当該位置１１１３に係る色調とは異なる色調へ変更させてもよい。このようにすれば、ユーザーが音声指示した色調１１１３から特定の範囲１１１２内にある色調への変更を行わせることができる。
（６－４）上記実施の形態においては特に詳述しなかったが、茶色設定画面５のような特定画面は、予め複合機１（例えば、ＨＤＤ３０４）に登録しておき、音声入力による以外は、複合機１の管理者のみがアクセスすることができるように、アクセス制限を行ってもよい。
（６－５）上記実施の形態においては、画像処理装置が複合機１である場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、複合機に代えて、プリンター装置やスキャナー装置、複写装置、ファクシミリ装置といった単機能機に本発明を適用しても同様の効果を得ることができる。
（６－６）上述したように、画像形成システム１並びにＭＦＰ制御サーバー１０１は、マイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作するとしてもよい。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
（６－７）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明に係る画像処理装置およびプログラムは、ユーザーの音声指示に対して、手動指示できる範囲に拘束されることなく、柔軟に対応することができる音声インターフェイス技術として有用である。

１…………複合機
４…………色設定画面（デフォルト設定画面）
５…………茶色設定画面（特定画面）
１００……操作パネル
２００……タッチパネル
２０１……マイク
１１００…カラーバランス（詳細設定）画面（デフォルト設定画面）

Claims

ジョブの設定を受け付ける画像処理装置であって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、
音声入力によってジョブの設定を受け付ける音声受付手段と、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、
前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値を含む範囲内の設定値を受け付ける特定画面を表示する表示手段と、を備える
ことを特徴とする画像処理装置。
前記音声入力による設定値に対応する特定画面を生成する生成手段を備え、
前記表示手段は、前記生成手段が生成した当該特定画面を表示する
ことを特徴とする請求項１に記載の画像処理装置。
ジョブの設定を受け付ける画像処理装置であって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、
音声入力によってジョブの設定を受け付ける音声受付手段と、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、
前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、
前記音声入力による設定値に対応する特定画面を生成する生成手段を備え、
前記表示手段は、前記生成手段が生成した当該特定画面を表示し、
所定の音声指示のキーワードと当該キーワードに対応して生成する特定画面の生成方法が予め登録されており、前記生成手段は音声指示のキーワードに対応する生成方法により前記特定画面を生成する
ことを特徴とする画像処理装置。
ジョブの設定を受け付ける画像処理装置であって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、
音声入力によってジョブの設定を受け付ける音声受付手段と、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、
前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、
前記音声入力による設定値は、レベルの指定を含み、
前記音声入力による設定値は、指定されたレベルが目視できる態様で、前記特定画面に表示される
ことを特徴とする画像処理装置。
前記特定画面においてレベルの変更を受け付けると、変更後のレベルに対応するテキストを音声出力または画面表示するテキスト出力手段を備える
ことを特徴とする請求項４に記載の画像処理装置。
ジョブの設定を受け付ける画像処理装置であって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、
音声入力によってジョブの設定を受け付ける音声受付手段と、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、
前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、
前記特定画面は、画質調整に関する画面である
ことを特徴とする画像処理装置。
前記画質調整は、色調調整である
ことを特徴とする請求項６に記載の画像処理装置。
前記色調調整は、音声指定された色調に関する調整である
ことを特徴とする請求項７に記載の画像処理装置。
前記色調調整は、音声指定された色調から特定の範囲内にある色調への変更である
ことを特徴とする請求項７に記載の画像処理装置。
前記特定画面は、指定されたレベルが目視できる態様で表示された項目についてのレベル指定によって前記変更を受け付ける
ことを特徴とする請求項９に記載の画像処理装置。
色相図上の範囲を表示して色調の調整を受け付ける
ことを特徴とする請求項８に記載の画像処理装置。
ジョブの設定を受け付ける画像処理装置であって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付手段と、
音声入力によってジョブの設定を受け付ける音声受付手段と、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定手段と、
前記判定手段による判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値に対応する特定画面を表示する表示手段と、を備え、
前記デフォルト設定画面は色調が限定されることなく所定の基本色によって色調調整可能な設定画面を含み、前記特定画面は前記特定の設定値に対応する色調の範囲で色調調整を行うための設定画面である
ことを特徴とする画像処理装置。
前記特定画面は前記特定の設定値に対応する色調の範囲で階調値の調整が可能な画面である
ことを特徴とする請求項１２に記載の画像処理装置。
ジョブの設定を受け付ける画像処理装置として、コンピューターを動作させるプログラムであって、
予め登録されたデフォルト設定画面の手操作によって前記ジョブの設定を受け付ける手操作受付ステップと、
音声入力によって前記ジョブの設定を受け付ける音声受付ステップと、
前記音声入力による設定値が、前記デフォルト設定画面のいずれにも表示されない特定の設定値であるか否かを判定する判定ステップと、
前記判定ステップにおける判定が肯定的である場合に、前記デフォルト設定画面と異なる画面であって、前記音声入力による設定値を含む範囲内の設定値を受け付ける特定画面を表示する表示ステップと、
をコンピューターに実行させることを特徴とするプログラム。