JP7418076B2 - 情報処理システム、情報処理装置、情報処理方法 - Google Patents

情報処理システム、情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP7418076B2
JP7418076B2 JP2019131058A JP2019131058A JP7418076B2 JP 7418076 B2 JP7418076 B2 JP 7418076B2 JP 2019131058 A JP2019131058 A JP 2019131058A JP 2019131058 A JP2019131058 A JP 2019131058A JP 7418076 B2 JP7418076 B2 JP 7418076B2
Authority
JP
Japan
Prior art keywords
screen
setting
voice
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131058A
Other languages
English (en)
Other versions
JP2021015246A (ja
Inventor
徹 高橋
武士 松村
佑治 名屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019131058A priority Critical patent/JP7418076B2/ja
Priority to US16/922,910 priority patent/US11336780B2/en
Publication of JP2021015246A publication Critical patent/JP2021015246A/ja
Priority to US17/721,018 priority patent/US11838460B2/en
Application granted granted Critical
Publication of JP7418076B2 publication Critical patent/JP7418076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Description

本発明は、表示する情報を音声入力により操作が可能な情報処理システム、情報処理装置、情報処理方法に関する。この情報処理装置は、複写機複合機等の画像処理装置の他、パーソナルコンピュータやモバイル端末として利用することができる。
昨今、音声認識技術の発展により、音声指示に応じた処理を実行する装置が普及している。特許文献１には、ユーザの声による指示で画像の利用処理を実行するシステムが開示されている。
特開２０１９－６７２５８号公報
特許文献１では、画像処理装置に対する実行指示等の主要な指示を音声で行う方法を例示しているが、設定変更等の詳細な指示を音声で行う方法までは検討していない。また、こうした装置の設定項目の種類は多岐にわたり、その種類に応じて様々な画面構成・指示方法が存在する。したがって、より操作性に優れたシステムを提供するためには、設定画面の構成に応じた音声指示方法を検討することが望ましい。
本発明の目的は、設定画面の構成に応じた音声指示を行うことが可能な情報処理システムを提供することである。特に、設定変更をおこなうための選択オブジェクトが遷移先の画面にある設定項目の変更を発話によって指示することが可能な情報処理システムを提供することを目的とする。
本発明は、情報処理システムにおいて、音を取得するマイクロフォンと、情報を表示するディスプレイと、設定項目の設定値の変更指示が可能な１または複数の設定オブジェクトを備える第１の画面を前記ディスプレイに表示させる手段と、前記第１の画面に遷移するための選択オブジェクトを備える第２の画面を前記ディスプレイに表示させる手段と、前記選択オブジェクトへのユーザ操作に基づいて、前記第１の画面を表示し、前記設定オブジェクトへのユーザ操作に基づいて前記設定値を変更する変更手段と、を有し、前記変更手段は、前記第２の画面が表示されている状態において、前記マイクロフォンを介して取得された音声に基づくテキストデータを取得すると、前記第１の画面を表示させることなく前記テキストデータに基づいて前記設定値を変更することを特徴とするものである。
本発明は、情報処理システムにおいて、音を取得するマイクロフォンと、情報を表示するディスプレイと、変更指示可能な一の設定項目を少なくとも含む第１の画面を前記ディスプレイに表示させる手段と、前記第１の画面に遷移するための選択オブジェクトを備える第２の画面を前記ディスプレイに表示させる手段と、前記第２の画面が表示されている状態において、前記マイクロフォンを介して取得された音声に基づくテキストデータを取得し、前記テキストデータに基づいて前記一の設定項目を変更する手段と、を有することを特徴とするものである。
本発明によれば、設定画面の構成に応じた音声指示を行うことが可能な情報処理システムを提供することでできる。特に、設定変更をおこなうための選択オブジェクトが遷移先の画面にある設定項目の変更を発話によって指示することが可能な情報処理システムを提供できる。
システム構成図である。 操作パネルの構成図である。 音声制御装置のハード構成を説明する図である。 サーバのハード構成を説明する図である。 画像形成装置のハード構成を説明する図である。 音声制御装置の制御プログラムの機能構成を説明する図である。 図７（ａ）はサーバの制御プログラムの機能構成を説明する図である。図７（ｂ）はグループＩＤリストを示す図である。 画像形成装置の制御プログラムの機能構成を説明する図である。 システムを構成する装置間、および、各装置の制御プログラム間のシーケンスを説明する図である。 画像形成装置のデバイス制御プログラムの処理フローを説明する図である。 制御プログラムが管理および利用するＩＤリストを示す図である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 制御プログラムが管理および利用するグループＩＤリストの一例である。 図２２（ａ）は制御プログラムによって表示される画面を示す図である。図２２（ｂ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２２（ｃ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２２（ｄ）は制御プログラムが管理および利用する操作対象判定情報を示す図である。 図２３（ａ）は制御プログラムによって表示される画面を示す図である。図２３（ｂ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２３（ｃ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２３（ｄ）は制御プログラムが管理および利用する操作対象判定情報を示す図である。 図２４（ａ）は制御プログラムによって表示される画面を示す図である。図２４（ｂ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２４（ｃ）は制御プログラムが管理および利用する画面制御情報を示す図である。図２４（ｄ）は制御プログラムが管理および利用する操作対象判定情報を示す図である。 デバイス制御プログラムの処理フローを説明する図である。 デバイス制御プログラムの処理フローを説明する図である。 システムとユーザ間のインタラクションの一例を説明する図である。 デバイス制御プログラムによって表示される画面が更新される様子を説明する図である。 デバイス制御プログラムの適応条件をフローチャートで説明する図である。 図３０－１（ａ）は制御プログラムによって表示される画面を示す図である。図３０－１（ｂ）は制御プログラムが管理および利用する画面制御情報を示す図である。図３０－１（ｃ）は制御プログラムが管理および利用する画面制御情報を示す図である。 図３０－２（ｄ）は制御プログラムが管理および利用する操作対象判定情報を示す図である。 図３１（ａ）は制御プログラムによって表示される画面を示す図である。図３１（ｂ）は制御プログラムが管理および利用する画面制御情報を示す図である。図３１（ｃ）は制御プログラムが管理および利用する画面制御情報を示す図である。図３１（ｄ）は制御プログラムが管理および利用する操作対象判定情報を示す図である。 デバイス制御プログラムによって表示される画面の一例である。 デバイス制御プログラムの処理フローを説明する図である。 デバイス制御プログラムによって表示される画面が更新される様子を説明する図である。 デバイス制御プログラムによって表示される画面が更新される様子を説明する図である。 本発明のシステムを構成する装置間、および、各装置の制御プログラム間のシーケンスを説明するシーケンス図である。 デバイス制御プログラムによって表示される画面と、管理および利用する画面制御情報と操作対象判定情報の一例である。 デバイス制御プログラムによって表示される画面の一例である。 デバイス制御プログラムの処理フローを説明する図である。 デバイス制御プログラムによって表示される画面が更新される様子を説明する図である。
以下、本発明を実施するための形態について実施例にて具体的な構成を挙げ、図面を用いて説明する。なお、本発明を実現するための構成は実施例に記載された構成のみに限定されるものではない。同様の効果を得られる範囲で実施例に記載の構成の一部を省略または均等物に置き換えてもよい。
（実施例１）
＜システムの構成＞
図１は、本実施例のシステム構成図の一例である。図１に示すように、情報処理システムは、音声制御装置１００、画像形成装置１０１（画像処理装置）、サーバ１０２（方法処理装置）、クライアント端末１０３、ゲートウェイ１０５で構成される。
音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびネットワーク１０４（ＬＡＮ）を介して互いに通信可能である。なお、音声制御装置１００、画像形成装置１０１、クライアント端末１０３のそれぞれは、単一接続ではなく複数接続された構成であっても良い。また、音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびインターネットを介してサーバ１０２に通信可能である。
音声制御装置１００は、ユーザ１０６の音声操作開始指示に従い、ユーザ１０６の音声を取得してサーバ１０２へ符号化された音声データ（音声情報）を送信する。音声制御装置１００は、例えば、スマートスピーカなどである。なお、本実施例では音声制御装置１００と画像形成装置１０１が独立した構成となっている。しかしながら、音声制御装置１００を構成するハードウェア（図３を用いて後述する各ハードブロック）、及び、ソフトウェア機能（図６を用いて後述する各ソフトブロック）が画像形成装置１０１の中に含まれていてもよく、この構成に限定するものではない。
画像形成装置１０１は、例えば、コピー機能、スキャン機能、プリント機能、ＦＡＸ送信機能、Ｅメール送信機能等の複数の機能を備える複合機であるが、単体の機能を備えるプリンタやスキャナであってもよい。また、画像形成装置１０１は、操作パネル５０９を備える。以下では、画像形成装置１０１がカラーレーザービーム複合機である前提で説明をおこなう。
サーバ１０２は、音声制御装置１００で取得されたユーザ１０６の音声データの音声認識、及び、音声認識結果から画像形成装置１０１の設定操作・ジョブ実行に関わるワード（単語情報）を判定するためのものである。また、前記音声認識結果または前記ワードの判定結果に応じてテキストを生成し、そのテキストの内容を音声制御装置１００で音声再生するための音声データの合成を行う。なお、サーバ１０２は、ディープラーニング等のニューラルネットワークを用いた機械学習により、精度の高い音声認識結果を提供することができる。例えば、サーバ１０２には、遠く離れたユーザからの音声を正確に認識するための学習がおこなわれている。また、サーバ１０２は自然言語処理に対応しており、形態素解析、構文解析、意味解析、文脈解析等を経ることで、入力された自然言語から適切な情報（単語、かな漢字変換結果）を取得することができる。こうした機械学習では、例えば、音声情報とテキスト情報を対とする教師データに基づき学習モデルの学習が行われたりする。なお、ジョブとは、画像形成装置１０１がプリントエンジン５１３及びスキャナ５１５を用いて実現する一連の画像形成処理（例えばコピー、スキャン、プリントなど）の単位を示す。
クライアント端末１０３は、例えば、ユーザ１０６が使うパーソナル・コンピュータ（ＰＣ）である。クライアント端末１０３上、インターネット上の何処かのサーバ上（不図示）、あるいは、画像形成装置１０１が備える外部記憶装置５０５上などに保存されている電子ファイルを画像形成装置１０１でプリントするためのプリントジョブを発行する。また、画像形成装置１０１でスキャンされた画像データの受信を行う。クライアント端末１０３の動作は本実施例の一連の説明に関わらないため、これ以上の詳細な説明は割愛する。
ネットワーク１０４は、音声制御装置１００、画像形成装置１０１、クライアント端末１０３、ゲートウェイ１０５を互いに接続する。そして、音声制御装置１００で取得してサーバ１０２へ送信する音声データ、サーバ１０２から送信される各データ、及び、プリントジョブやスキャンジョブなどの各種データを送受信する。
ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータなどである。ただし、他の無線通信方式に従って動作する能力を有してもよい。また、無線ＬＡＮルータではなく、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－Ｔ、１０００ＢＡＳＥ－Ｔなどに代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータなどであってもよく、他の有線通信方式に従って動作する能力を有してもよい。なお、前記ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のように、ＩＥＥＥ８０２．１１に属する一連の規格を含む。
＜画像形成装置の操作パネル＞
図２は、画像形成装置１０１の操作パネル５０９の構成例を示す図である。操作パネル５０９はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ディスプレイを備え、ユーザ１０６の操作内容や装置の内部状態を表示する表示デバイスである。操作パネル５０９はユーザ１０６から操作を受け付ける受付デバイス（入力デバイス）としても機能する。操作パネル５０９は、複数のハードキーを備えるだけでなく、ＬＣＤディスプレイと一体となったタッチパネルを備える。表示部２００はＬＣＤタッチパネルであり、主なモード設定、状況表示はここで行われる。
キー２０１～２１０はハードキー（例えば、タクトスイッチ）である。
キー２０１は、０から９までの数値を入力するためのテンキーである。キー２０２はＩＤキーであり、装置がユーザ／部門認証管理されている場合において、認証操作（ログイン／ログアウトの操作など）を行う際に使用されるものである。
キー２０３は設定されたモードをリセットするためのリセットキー、キー２０４は各モードについての説明画面を表示するためのガイドキーである。キー２０５はユーザーモード画面に入るためのユーザーモードキーである。キー２０６は割り込みコピーを行うための割り込みキーである。
キー２０７はコピー動作をスタートさせるためのスタートキー、キー２０８は実行中のコピージョブを中止させるためのストップキーである。
キー２０９はソフト電源スイッチであり、押下することによりＬＣＤタッチパネル２００のバックライトが消え、装置は低電力状態に落ちる。キー２１０は節電キーであり、これを押下することで節電状態に入り、再度押下することで節電状態から復帰する。
キー２１４はＬＣＤタッチパネル２００のコントラストを調整するための調整キーである。
キー２１５はカウンタ確認キーであり、このキーを押下することでそれまでに仕様したコピー枚数の集計を表示するカウント画面がＬＣＤタッチパネル２００上に表示される。
ＬＥＤ２１６はジョブの実行中、画像メモリへの画像蓄積中を示すＬＥＤ、ＬＥＤ２１７がジャム、ドアオープン等装置がエラー状態にあることを示すエラーＬＥＤ、ＬＥＤ２１８は装置のメインスイッチがＯＮになっていることを示す電源ＬＥＤになっている。
＜音声制御装置のハードウェア構成＞
図３は、音声制御装置１００のコントローラ部３００及び音声制御装置１００が内蔵しているデバイスのハードウェア構成例を示す図である。
図３に示すように、コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、外部記憶装置３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、および表示コントローラ３１１を含む。各構成は、システムバス３０１に接続されており、互いに通信可能である。また、音声制御装置１００は、コントローラ部３００に付随するデバイスとして、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、通知デバイスとしてのＬＥＤ３１２を含む。
ＣＰＵ３０２はコントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。外部記憶装置３０５はＲＡＭ３０３と比較して大容量な記憶デバイス（例えばＳＤカード）である。外部記憶装置３０５にはコントローラ部３００が実行する、音声制御装置１００の制御用プログラムが格納されている。なお、外部記憶装置３０５はＳＤカード以外のフラッシュＲＯＭなどに置き換えてもよく、ＳＤカードと同等の機能を有する他の記憶デバイスに置き換えてもよい。
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラム実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。外部記憶装置３０５上にはさらに、制御用プログラム実行時に必要な各種設定などを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。
ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。ただし、無線通信方式でなくＥｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよく、無線通信方式に限定するものではない。
マイクＩ／Ｆ３０７はマイクロフォン３０８に接続され、マイクロフォン３０８から入力されたユーザ１０６が発した音声を、符号化された音声データに変換し、ＣＰＵ３０２の指示に応じてＲＡＭ３０３に保持する。
マイクロフォン３０８は、例えば、スマートフォンなどに搭載される小型のＭＥＭＳマイクロフォンであるが、ユーザ１０６の音声を取得できるものであれば他のデバイスに置き換えてもよい。また、マイクロフォン３０８は、ユーザ１０６が発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本実施例は実現でき、３個以上にこだわるものではない。
オーディオコントローラ３０９はスピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。
スピーカ３１０は、音声制御装置１００が応答していることを表す装置の応答音、及び、サーバ１０２によって合成された音声を再生する。スピーカ３１０は音声を再生するための汎用のデバイスである。
表示コントローラ３１１はＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、音声制御装置１００がユーザ１０６の音声を正しく入力していることを示すためのＬＥＤの点灯制御を主に行う。
ＬＥＤ３１２は、例えば、ユーザ１０６が可視可能な青色などのＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。なお、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置に置き換えてもよい。
＜サーバのハードウェア構成＞
図４は、サーバ１０２のコントローラ部のハードウェア構成例を示す図である。
図４に示すように、コントローラ部は、システムバス４０１に接続されたＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、外部記憶装置４０５、ネットワークＩ／Ｆ４０６を含む。
ＣＰＵ４０２はコントローラ部全体の動作を制御する中央演算装置である。ＲＡＭ４０３は揮発性メモリである。ＲＯＭ４０４は不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。外部記憶装置４０５はＲＡＭ４０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置４０５にはコントローラ部が実行する、サーバ１０２の制御用プログラムが格納されている。なお、外部記憶装置４０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開するためのものである。ＣＰＵ４０２は起動用プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２は制御用プログラム実行時に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。外部記憶装置４０５上にはさらに、制御用プログラム実行時に必要な各種設定を格納することができ、ＣＰＵ４０２によって読み書きされる。ＣＰＵ４０２はネットワークＩ／Ｆ４０６を介してネットワーク１０４上の他の機器との通信を行う。
＜画像形成装置のハードウェア構成＞
図５は、画像形成装置１０１のコントローラ部５００及び画像形成装置１０１が内蔵しているデバイスのハードウェア構成例を示す図である。
図５に示すように、コントローラ部５００は、ＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、外部記憶装置５０５、ネットワークＩ／Ｆ５０６、ディスプレイコントローラ５０７、操作Ｉ／Ｆ５０８、プリントコントローラ５１２、およびスキャンコントローラ５１４を含む。各構成は、システムバス５０１に接続されており、互いに通信可能である。
ＣＰＵ５０２はコントローラ部５００全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納されている。外部記憶装置５０５はＲＡＭ５０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置５０５にはＣＰＵ５０２が実行する、画像形成装置１０１の制御用プログラムが格納されている。なお、外部記憶装置５０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
ＣＰＵ５０２は電源ＯＮ等の起動時、ＲＯＭ５０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置５０５に格納されている制御用プログラムを読み出し、ＲＡＭ５０３上に展開するためのものである。ＣＰＵ５０２は起動用プログラムを実行すると、続けてＲＡＭ５０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ５０２は制御用プログラム実行時に用いるデータもＲＡＭ５０３上に格納して読み書きを行う。外部記憶装置５０５上にはさらに、制御用プログラム実行時に必要な各種設定や、スキャナ５１５で読み取った画像データを格納することができ、ＣＰＵ５０２によって読み書きされる。ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４上の他の機器との通信を行う。
ディスプレイコントローラ５０７はＣＰＵ５０２の指示に応じて、接続される操作パネル５０９のＬＣＤタッチパネル２００の画面表示制御を行う。
操作Ｉ／Ｆ５０８は操作信号の入出力を行う。操作Ｉ／Ｆ５０８は操作パネル５０９に接続され、ＣＰＵ５０２はＬＣＤタッチパネル２００が押下されたときに、操作Ｉ／Ｆ５０８を介してＬＣＤタッチパネル２００の押下された座標を取得する。また、操作Ｉ／Ｆ５０８は操作パネル５０９の２０１～２１０の各ハードキーの押下を検知する。
プリントコントローラ５１２はＣＰＵ５０２からの指示に応じて、接続されるプリントエンジン５１３に対して制御コマンドや画像データを送信する。
プリントエンジン５１３は、プリントコントローラ５１２から受信した制御コマンドに従い、受信した画像データをシートに印刷する（印刷処理を施す）印刷デバイスである。プリントエンジン５１３の詳細な説明は主旨ではないため、これ以上の説明は割愛する。
スキャンコントローラ５１４はＣＰＵ５０２からの指示に応じて、接続されるスキャナ５１５に対して制御コマンドを送信し、スキャナ５１５から受信する画像データをＲＡＭ５０３へ書き込む。
スキャナ５１５は、スキャンコントローラ５１４から受信した制御コマンドに従い、画像形成装置１０１が備える原稿台ガラス上（不図示）の原稿を、光学ユニットを用いて読み取る（読取処理をおこなう）読取デバイスである。スキャナ５１５の詳細な説明は主旨ではないため、これ以上の説明は割愛する。
プリントエンジン５１３とスキャナ５１５を組み合わせることで、読み取った原稿をコピー印刷するコピー処理を実行することができる。
＜音声制御装置の音声制御プログラムの機能構成＞
図６は、ＣＰＵ３０２が実行する音声制御装置１００の音声制御プログラム６０１の機能構成を示すブロック図である。
音声制御装置１００の音声制御プログラム６０１は前述のように外部記憶装置３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。
データ送受信部６０２は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０２では、後述の音声取得部６０４で取得されたユーザ１０６の発した音声データをサーバ１０２に送信する。また、ユーザ１０６への応答となる、サーバ１０２上で生成される音声合成データの受信を行う。
データ管理部６０３は、音声制御プログラム６０１の実行において生成した作業データなど様々なデータを外部記憶装置３０５上の所定の領域へ保存し、管理する。例えば、後述する音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報、画像形成装置１０１、及び、サーバ１０２と通信するために必要な各デバイス情報などが保存、管理される。
音声取得部６０４は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声を、音声データに変換し、一時保存する。ユーザ１０６の音声は、例えば、ＭＰ３などの所定のフォーマットに変換され、サーバ１０２に送信するための符号化された音声データとしてＲＡＭ３０３上に一時的に保存する。音声取得部６０４の処理開始及びその終了のタイミングは後述する音声制御部６０９によって管理される。また、音声データの符号化は汎用のストリーミング用フォーマットでもよく、符号化された音声データを順次、データ送受信部６０２で送信するようにしてもよい。
音声再生部６０５は、データ送受信部６０２が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは後述する音声制御部６０９によって管理される。
表示部６０６は表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、後述の音声操作開始検知部６０７で音声操作があることを検知した場合にＬＥＤ３１２を点灯制御する。表示部６０６の表示のタイミングは後述する音声制御部６０９によって管理される。
音声操作開始検知部６０７は、ユーザ１０６の発したウェイクワード、または、音声制御装置１００の操作開始キー（不図示）の押下を検知し、音声制御部６０９へ操作開始通知を送信する。ここで、ウェイクワードとは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声から、常時ウェイクワードを検知する。ユーザ１０６はウェイクワードを話し、続いて自身が行いたいことを話すことで画像形成装置１０１の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、ユーザ１０６の音声が所定時間（例えば３秒）途切れたときにユーザ１０６の発話が終了したと判定し、音声制御部６０９へ発話終了通知を送信する。なお、発話終了の判定は、発話が無い時間（以降、空白時間と呼ぶ）ではなく、ユーザ１０６の所定の語句から判定して行ってもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」など所定の語句のときには、所定時間を待たずに発話終了と判定してもよい。また、発話終了の判定は、音声制御装置１００ではなく、サーバ１０２で行うようにしてもよく、ユーザの１０６の発話内容の意味や文脈から発話の終了を判定するようにしてもよい。
音声制御部６０９は制御の中心であり、音声制御プログラム６０１内の他の各モジュールが相互に連携して動作するよう制御する。具体的には、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御する。また、サーバ１０２からの音声合成データをデータ送受信部６０２で受信後、音声再生部６０５で音声合成データを再生するよう制御する。
ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて述べる。
音声制御部６０９は、音声操作開始検知部６０７からの操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８からの発話終了通知を受信すると、音声取得部６０４の処理を終了する。例えば、ユーザ１０６がウェイクワードを発話し、続いて「コピーしたい」と話したとする。このとき、音声操作開始検知部６０７が、ウェイクワードの音声を検知し、音声制御部６０９に操作開始通知を送信する。音声制御部６０９は、操作開始通知を受信すると、音声取得部６０４の処理を開始するよう制御する。音声取得部６０４は続いて話される「コピーしたい」というアナログ音声を取得し、音声データへ変換し一時保存をする。発話終了判定部６０８は、「コピーしたい」の発話後に空白時間が所定時間あったと判定すると、発話終了通知を音声制御部６０９に送信する。音声制御部６０９は、発話終了通知を受信すると、音声取得部６０４の処理を終了する。なお、音声取得部６０４が処理を開始してから終了するまでの状態を発話処理状態と呼ぶこととする。表示部６０６は、発話処理状態であることを示すＬＥＤ３１２を点灯表示する。
ユーザ１０６の発話終了判定後、音声制御部６０９は、音声取得部６０４が一時保存した音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御し、サーバ１０２からの応答を待つ。サーバ１０２からの応答は、例えば、応答であることを示すヘッダ部と、音声合成データから成る応答メッセージある。音声制御部６０９は、データ送受信部６０２で応答メッセージを受信すると、音声再生部６０５で音声合成データを再生するよう制御する。音声合成データは、例えば、「コピー画面を表示します」である。なお、発話終了判定後から音声合成データの再生終了までの状態を応答処理状態と呼ぶこととする。表示部６０６は、応答処理状態であることを示すＬＥＤ３１２を点滅表示する。
応答処理の後、サーバ１０２との対話セッションが継続している間は、ユーザ１０６はウェイクワードを発話することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、サーバ１０２が行い、音声制御装置１００に対話セッション終了通知を送信することで行う。なお、対話セッション終了から次の対話セッションが開始されるまでの状態を待機状態と呼ぶこととする。音声制御装置１００が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態であるとする。表示部６０６は、待機状態の間、ＬＥＤ３１２を消灯する。
＜サーバの音声データ変換制御プログラムの機能構成＞
図７（ａ）は、ＣＰＵ４０２が実行するサーバ１０２の音声データ変換制御プログラム７０１の機能構成を示すブロック図である。また、図７（ｂ）は、グループＩＤ判定部７０７がグループＩＤの判定に使うグループＩＤリストの例である。グループＩＤリストは、画像形成装置１０１のユーザ操作に関して同じ意味や意図を持つワードが同じＩＤとしてグルーピングされている。なお、前記ワードは、ユーザ１０６が音声制御装置１００に対して発話する言葉を音声認識した結果である。
サーバ１０２の音声データ変換制御プログラム７０１は前述のように外部記憶装置４０５に格納され、ＣＰＵ４０２が起動時にＲＡＭ４０３上に展開して実行する。
データ送受信部７０２は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０２では、音声制御装置１００からユーザ１０６の音声データを受信する。また、後述するグループＩＤ判定部７０７で判定されたグループＩＤや音声認識部７０５で音声認識処理して生成されるテキストデータ判定結果の送信を行う。
データ管理部７０３は、音声データ変換制御プログラム７０１の実行において生成した作業データや、音声データ変換部７０４で音声認識処理をするために必要なパラメータなど様々なデータを外部記憶装置４０５上の所定の領域へ保存し、管理する。例えば、音声認識部７０５が、データ送受信部７０２が受信した音声データをテキストへ変換するための音響モデルや言語モデルを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、形態素解析部７０６でテキストの形態素解析を行うための辞書を外部記憶装置４０５上の所定の領域へ保存し、管理する。また、グループＩＤ判定部７０７でグループＩＤを判定するためのグループＩＤリストを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、音声合成部７０８で音声合成を行うための音声データベースを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、データ管理部７０３には、音声制御装置１００、及び、画像形成装置１０１と通信するために必要な各デバイス情報などが保存、管理される。
音声データ変換部７０４は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、音声合成部７０８から成る。以降、音声データ変換部７０４について説明する。
音声認識部７０５は、データ送受信部７０２が受信したユーザ１０６の音声データを、テキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザ１０６の音声データを音素に変換し、さらに言語モデルを用いて音素を実際のテキストデータに変換する。なお、本実施例では、前記テキストデータは１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」（数字、アルファベット、記号等への変換も含む）したテキストから成るものとする。ただし、音声データをテキストデータへ変換する音声認識処理として他の手法を用いてもよく、前述の手法に限るものではない。音声認識処理の詳細は主旨ではないため、これ以上の説明は割愛する。
形態素解析部７０６は、音声認識部７０５で変換されたテキストデータを、形態素解析する。形態素解析は、その言語の文法や、品詞などの情報をもつ辞書から形態素列を導出し、さらに各形態素の品詞などを判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。形態素解析部７０６は、例えば、音声認識部７０５で変換された「コピーをしたい」、「Ａ３からＡ４へ」というテキストデータを、「コピーをしたい」からは、「コピー」、「を」、「し」、「たい」の形態素列として解析する。また、「Ａ３からＡ４へ」からは、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列として解析する。
グループＩＤ判定部７０７は、形態素解析部７０６で形態素解析された結果と、図７（ｂ）のグループＩＤリストとをマッチングすることでグループＩＤを判定し、さらにグループＩＤ判定結果を生成する。例えば、「コピー」、「を」、「し」、「たい」の形態素列からは、「コピー」のグループＩＤである「ＦＮＣ００００１」があると判定され、グループＩＤ判定結果として、｛ＩＤ：ＦＮＣ００００１｝を生成する。また、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列からは、「Ａ３」と「Ａ４」のグループＩＤである「ＰＡＰ００１００」と「ＰＡＰ００１０１」が２つあると判定される。そして、グループＩＤ判定結果として、｛ＩＤ：ＰＡＰ００１００、ＩＤ：ＰＡＰ００１０１｝を生成する。
なお、グループＩＤ判定結果にＩＤが複数生成される場合は、音声認識および形態素解析された順に生成されるものとする。例えば、音声認識および形態素解析された結果が「Ａ４」「から」「Ａ３」「へ」である場合は、グループＩＤ判定結果は｛ＩＤ：ＰＡＰ００１０１、ＩＤ：ＰＡＰ００１００｝と生成される。また、隣接する複数の形態素を結合してグループＩＤリストとマッチングして判定してもよいものとする。この時、１つの形態素がグループＩＤリストの中から合致するものが見つかり、さらに、その形態素を含む複数の形態素がグループＩＤリストの中から合致するものが見つかった場合は、後者の結果を用いてグループＩＤ判定結果を生成する。例えば、形態素列が「Ａ」「４」であった場合は、グループＩＤ判定結果を｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＮＵＭ００００４｝ではなく、｛ＩＤ：ＰＡＰ００１０１｝として生成する。また、音声認識および形態素解析結果に含まれる１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」したテキストを組み合わせて、グループＩＤリストのマッチングを行ってもよい。例えば、グループＩＤ判定部７０７は、まず始めに、「かな漢字変換」したテキストとグループＩＤリストの「「かな漢字変換」後」に示されたテキストとのマッチングを行う。その結果、マッチングするグループＩＤが見つからない場合にはカナのテキストとグループＩＤリストの「カナ」に示されたテキストとがマッチングするグループＩＤを検出する。また、グループＩＤリスト内で「カナ」が重複し、複数のグループＩＤがマッチングする場合は、グループＩＤ判定結果を複数の候補として生成してもよい。これにより、「かな漢字変換」間違いや漢字のふり仮名の違いを許容したグループＩＤ判定結果を生成する。
音声合成部７０８は、画像形成装置１０１から受信した通知データにもとづき、音声合成処理を行う。音声合成処理は、所定の通知に対して、組となる予め用意されたテキストをＭＰ３などの所定のフォーマットの音声データに変換する。受信した通知データと音声合成対象のテキストの組み合わせ例については、後述の図９のシーケンス図で説明する。音声合成処理は、例えば、データ管理部７０３に保存されている音声データベースにもとづいて音声データを生成する。音声データベースとは、例えば、単語等の定型の内容を発声した音声を集めたデータベースである。なお、本実施例では音声データベースを用いて音声合成処理を行っているが、音声合成の手法として他の手法を用いてもよく、音声データベースによる手法に限定するものではない。音声合成処理の詳細は主旨ではないため、これ以上の説明は割愛する。
＜画像形成装置のデバイス制御プログラムの機能構成＞
図８は、ＣＰＵ５０２が実行する画像形成装置１０１のデバイス制御プログラム８０１の機能構成を示すブロック図である。
画像形成装置１０１のデバイス制御プログラム８０１は前述のように外部記憶装置５０５に格納され、ＣＰＵ５０２が起動時にＲＡＭ５０３上に展開して実行する。
データ送受信部８０２は、ネットワークＩ／Ｆ５０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部８０２では、グループＩＤ判定部７０７が生成するグループＩＤ判定結果や音声認識部７０５が音声認識処理を行って生成するテキストデータの受信を行う。また、画像形成装置１０１からサーバ１０２へ、操作パネル５０９上のＬＣＤタッチパネル２００の画面表示内容が更新されたことを示す画面更新通知、及び、ジョブの状態を示すジョブ実行状態通知を送信する。通知の内容に関しては後述の図９のシーケンス図で説明する。
データ管理部８０３は、デバイス制御プログラム８０１の実行において生成した作業データや、各デバイス制御に必要な設定パラメータなど様々なデータをＲＡＭ５０３および外部記憶装置５０５上の所定の領域へ保存し、管理する。例えば、後述するデバイス制御部８０８で実行するジョブの各設定項目及び設定値の組み合わせから成るジョブデータや、用紙の属性情報などが設定された機械設定情報が管理される。また、ゲートウェイ１０５との通信に必要な認証情報、サーバ１０２と通信するために必要なデバイス情報などが保存、管理される。また、画像形成装置１０１で画像形成する対象の画像データを保存し、管理する。また、表示部８０６が画面表示制御に用いる画面制御情報と、操作対象判定部８０７が操作対象を判定するために用いる操作対象判定情報を保存し、画面制御情報と操作対象判定情報とは、表示部８０６が表示する画面ごとに管理する。
スキャン部８０４は、後述するデバイス制御部８０８のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ５１４を介してスキャナ５１５でスキャンを実行し、読み取った画像データをデータ管理部８０３に保存する。
プリント部８０５は、後述するデバイス制御部８０８のプリントジョブパラメータ設定に基づいて、プリントコントローラ５１２を介してプリントエンジン５１３で印刷を実行する。
表示部８０６はディスプレイコントローラ５０７を介して、操作パネル５０９の制御を行う。より具体的には、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックスなど）をＬＣＤタッチパネル２００に表示する。画面は画面表示制御情報に基づいて更新される。また、データ送受信部８０２が受信した音声認識処理結果のテキストデータをＬＣＤタッチパネル２００上に表示する。
操作対象判定部８０７は、操作Ｉ／Ｆ５０８を介して、ＬＣＤタッチパネル２００上のタッチされた座標を取得し、この時ＬＣＤタッチパネル２００に表示されているユーザ１０６が操作可能なＵＩ部品を操作対象として判定する。また、操作対象判定部８０７は、押下が検知された操作パネル５０９上のハードキー２０１～２１０を操作対象のＵＩ部品として判定する。また、操作対象判定部８０７は、データ送受信部８０２が受信したグループＩＤ判定結果に基づいて、操作対象を判定する。操作対象は、ＬＣＤタッチパネル２００の画面を構成するユーザ１０６が操作可能なＵＩ部品、または、操作パネル５０９を構成するハードキー２０１～２１０が挙げられる。
さらに、操作対象判定部８０７は、操作対象として判定したＵＩ部品に対応する画面表示制御情報を読み出し、当該情報に基づいて操作受付時の処理内容を決定する。例えば、表示部８０６に対して画面の表示内容の更新指示を出したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデバイス制御部に送信したりする。操作対象判定部８０７の処理内容の詳細は図２６で後述する。
デバイス制御部８０８は、プリントコントローラ５１２、及び、スキャンコントローラ５１４を介して、プリントエンジン５１３、及び、スキャナ５１５の制御指示を行う。例えば、表示部８０６がコピー機能画面を表示中にスタートキー２０７の押下を検知した場合、デバイス制御部８０８は操作対象判定部８０７からコピージョブのパラメータとジョブ開始指示を受信する。そして、そのジョブパラメータに基づいて、スキャナ５１５によって読取られた画像データをプリントエンジン５１３でシートに印刷するよう制御する。なお、スキャン、及び、プリント制御の仕組みについては、主旨ではないため、これ以上の説明は割愛する。
＜システムの制御シーケンス＞
図９は、図１で示したシステムを構成する各装置、及び、図６～図８で示した各装置の制御プログラム間のやりとりを示すシーケンス図である。図９は、音声制御装置１００がユーザ１０６から発せられた声による音声操作を受け、それによって画像形成装置１０１が各処理を実行し、その実行結果を示す応答をユーザ１０６に音声で返すためのシーケンスを示す。なお、図９で示すシーケンスの例では、音声制御装置１００、画像形成装置１０１、サーバ１０２は互いに通信可能な状態であるとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリントなどの機能を呼び出し可能なメインメニュー画面を表示している状態であるとする。
まず、ステップ９０５（以降、Ｓ９０５等と表記する）では、ユーザ１０６が音声制御装置１００に対して音声操作の開始を指示する。音声操作の開始の指示は、ユーザ１０６がウェイクワードを発声する、もしくは、音声制御装置１００の操作開始キーの押下することで行われ、それらの音声操作開始指示は音声操作開始検知部６０７によって検知される。
音声操作開始指示が検知されると、次にＳ９０６では、音声制御プログラム６０１の表示部６０６が、発話処理状態を示すＬＥＤを点灯する。また、同時に音声取得部６０４の処理を開始する。
Ｓ９０７では、ユーザ１０６が機能呼び出し指示を音声制御装置１００に対して行う。機能呼び出し指示は、例えば、ユーザ１０６がＳ９０５のウェイクワードに続いて「コピーしたい」や「コピー画面を開いて」と発声することであり、音声取得部６０４によって取得された音声が音声データとして生成される。空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ９０８では、音声制御プログラム６０１の表示部６０６が、発話終了判定に応じて応答処理状態を示すＬＥＤを点滅する。また、同時に音声取得部６０４の処理を終了する。
Ｓ９０７の機能呼び出し指示の音声データが生成されると、次にＳ９０９では、データ送受信部６０２が、生成された音声データをサーバ１０２に送信する。
Ｓ９１０では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した音声データに対して、音声認識部７０５が音声認識処理を行う。音声認識処理によって、例えば、ユーザ１０６が発した「コピーしたい」という音声が、テキストとして生成される。
その後、Ｓ９１１では、音声データ変換制御プログラム７０１の形態素解析部７０６がＳ９１０で生成されたテキストに対して形態素解析処理を行う。形態素解析処理によって、例えば、「コピーしたい」というテキストが、「コピー」、「し」、「たい」という形態素列として解析される。
Ｓ９１２では、音声データ変換制御プログラム７０１のグループＩＤ判定部７０７の、解析された形態素列のテキストに対してグループＩＤ判定処理を行う。グループＩＤ判定処理によって、例えば、「コピー」、「し」、「たい」という形態素列と図７（ｂ）のグループＩＤリストとのマッチングにより、グループＩＤ判定結果として｛ＩＤ：ＦＮＣ００００１｝が生成される。
Ｓ９１３では、音声データ変換制御プログラム７０１のデータ送受信部７０２が、Ｓ９１１のグループＩＤ判定結果を画像形成装置１０１に送信する。
Ｓ９１４では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。操作対象判定処理によって、例えば、グループＩＤ判定結果｛ＩＤ：ＦＮＣ００００１｝から、メインメニュー画面内の“コピー”ボタンが操作対象として選択されたと判定する。
その後、Ｓ９１５では、Ｓ９１４の判定結果に応じて、表示部８０６が画面に表示する内容更新する。例えば、これまでの処理を通じて、ユーザが発する「コピーしたい」の音声から、画面に表示される“コピー”ボタンに対する操作であると判定された場合は、ＬＣＤタッチパネル２００で“コピー”ボタンがタッチされる場合と同様に、コピー機能画面を表示する。
Ｓ９１６では、データ送受信部８０２によって、サーバ１０２へ、画面の表示内容が更新されたことを示す画面更新通知を送信する。例えば、表示部８０６がメインメニュー画面からコピー機能画面へ表示が変更した場合、画面更新通知として「コピー機能画面表示」というテキストデータを送信する。
Ｓ９１７では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した画面更新通知に対して、音声合成部７０８が画面更新通知の内容に対応する所定のテキストデータの音声合成処理を行う。例えば、画面更新通知の内容が「コピー機能画面表示」の場合、音声合成部７０８は、「コピー画面を表示しました」というテキストデータを音声合成する。音声合成部７０８が音声合成処理によって生成した音声データ（音声合成データ）は、データ送受信部７０２によって音声制御装置１００へと送信される。
Ｓ９１８では、データ送受信部６０２が、Ｓ９１７で生成および送信された音声合成データを受信する。
Ｓ９１９では、音声再生部６０５が、Ｓ９１８で受信した音声合成データを再生する。例えば、Ｓ９１７で生成した「コピー画面を表示しました」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９２０では、音声合成データ再生後、音声制御プログラム６０１の表示部６０６が、発話処理中を示すＬＥＤを再び点灯する。また、同時に音声取得部６０４の処理を再び開始する。
Ｓ９２１では、ユーザ１０６が設定画面呼び出し指示を音声制御装置１００に対して行う。設定画面呼び出し指示は、例えば、ユーザ１０６が「用紙を選択」と発声することである。音声取得部６０４によって取得された音声が音声データとして生成されるユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ９２２は、前述のＳ９０８と同様である。
Ｓ９２３は、前述のＳ９０９～Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２３では、Ｓ９２１の設定画面呼び出し指示に伴って、表示部８０６が設定画面を表示するよう画面更新する。例えば、コピー機能画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ０００００、ＩＤ：ＯＰＲ０００４０｝のとき、用紙選択画面を表示する。
Ｓ９２４は、音声再生部６０５が、Ｓ９２３での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２３で設定画面として用紙選択画面を表示した場合は「用紙選択画面を表示しました。続いて用紙を設定してください。」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９２５は、前述のＳ９２０と同様である。
Ｓ９２６では、ユーザ１０６が設定の変更指示を音声制御装置１００に対して行う。設定変更指示は、例えば、ユーザ１０６が「Ａ４」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ９２７は、前述のＳ９０８と同様である。
Ｓ９２８は、前述のＳ９０９～Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２８では、Ｓ９２６の設定変更指示に伴って、表示部８０６が設定画面に表示する設定値を変更する（設定値の変更指示を受け付ける受付処理を実行する）。例えば、用紙選択画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ００１０１｝のとき、用紙の設定値をＡ４に変更した用紙選択画面を表示する。
Ｓ９２９は、音声再生部６０５が、Ｓ９２８での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２８で用紙の設定値を変更して表示した場合は「用紙をＡ４に設定しました」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９３０は、前述のＳ９２０と同様である。
Ｓ９３１では、ユーザ１０６が設定確定指示を音声制御装置１００に対して行う。設定確定指示は、例えば、ユーザ１０６が「用紙の選択を完了」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ９３２は、前述のＳ９０８と同様である。
Ｓ９３３は、前述のＳ９０９～Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９３３では、Ｓ９３１の設定確定指示に伴って、表示部８０６が元の画面に遷移するようにＬＣＤタッチパネル２００の表示内容を更新する。例えば、用紙選択画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ０００００、ＩＤ：ＯＰＲ０００４０、ＩＤ：０００１２｝のとき、Ｓ９２１の時点で表示されていたコピー機能画面を表示する。
Ｓ９３４は、音声再生部６０５が、Ｓ９２８での音声合成処理で生成した音声合成データを再生する。この時、例えば、「コピーが開始できます」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９３５は、前述のＳ９２０と同様である。
Ｓ９３６では、ユーザ１０６がジョブ実行指示を音声制御装置１００に対して行う。ジョブ実行指示は、例えば、ユーザ１０６が「コピースタート」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ９３７～Ｓ９４２は、前述のＳ９０９～Ｓ９１３と同様の処理である。
Ｓ９４３では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。グループＩＤ判定結果が｛ＩＤ：ＦＮＣ００００１、ＩＤ：ＯＰＰ０００１１｝である場合、画面に表示している“コピースタート”ボタン、もしくは、ハードキーであるスタートキー２０７が操作されたと判定される。
Ｓ９４４では、Ｓ９４３の判定結果に応じて、ジョブの実行画面を表示する。例えば、これまでの処理を通じて、ユーザが発する「コピースタート」の音声が、スタートキー２０７に対する操作であると判定された場合は、コピージョブ開始の画面を表示する。
Ｓ９４５では、画像形成装置１０１の画面で設定されたジョブパラメータに従って、ジョブを実行する。
Ｓ９４６では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を開始したことを示す情報（ジョブ実行開始通知）を送信する。例えば、コピージョブを開始した場合、ジョブ実行状態の内容として「コピージョブ開始」というテキストデータを送信する。
Ｓ９４７では、音声データ変換制御プログラム７０１のデータ送受信部７０２ジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行開始通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ開始」の場合、音声合成部７０８は、「コピーを開始します」というテキストデータを音声合成する。
Ｓ９４８は、前述のＳ９１８と同様である。
Ｓ９４９では、音声再生部６０５が、Ｓ９４８で受信した音声合成データを再生する。例えば、Ｓ９４７で生成した「コピーを開始します」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９５０では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を終了したことを示す情報（ジョブ実行終了通知）を送信する。例えば、コピージョブを終了した場合、ジョブ実行状態通知の内容として「コピージョブ終了」というテキストデータを送信する。
Ｓ９５１では、音声データ変換制御プログラム７０１のデータ送受信部７０２がジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行終了通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ終了」の場合、音声合成部７０８は、「コピーを終了しました」というテキストデータを音声合成する。
Ｓ９５２では、Ｓ９４５のジョブ実行処理が終了したことを受けて、表示部８０６はジョブの実行終了画面を表示する。例えば、コピージョブの実行が終了した場合、コピージョブ終了の画面を表示する。
Ｓ９５３では、データ送受信部６０２が、Ｓ９５１で生成した音声合成データをサーバ１０２から受信する。また、音声制御装置１００に対して、ユーザ１０６との対話セッションを終了するよう通知する対話セッション終了通知をサーバ１０２から受信する。
Ｓ９５４では、音声再生部６０５が、Ｓ９５３で受信した音声合成データを再生する。例えば、Ｓ９５１で生成した「コピーを終了しました」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ９５５では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御プログラム６０１の表示部６０６が、音声制御装置１００の待機状態を示すためにＬＥＤを消灯する。
Ｓ９５６では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御装置１００を待機状態へ移行する。
なお、シーケンス図上で、応答処理中を示すＬＥＤが点滅中であってもウェイクワードは常に入力可能である。そのため、ユーザ１０６はウェイクワードの発話に続いて「キャンセル」、または「中止」などと発言することで、対話セッションを強制的に終了するようにしてもよい。
＜画面制御情報と操作対象判定情報＞
図１０～２１は、図７（ｂ）で示したグループＩＤリストの別の一例である。図２２～２４は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面と、データ管理部８０３が管理する画面制御情報と操作対象判定情報の一例である。画面制御情報は、図２２（ｂ）、図２３（ｂ）および図２４（ｂ）で示すような情報と、図２２（ｃ）、図２３（ｃ）および図２４（ｃ）が示すような情報の２種類に大別される。なお、データ管理部８０３は、画面ごとに画面制御情報を管理する。
前者の画面制御情報は、画面を構成するＵＩ部品のうちＬＣＤタッチパネル２００の押下やハードキー２０１～２１０の押下により操作対象として判定されるＵＩ部品と、それらが操作対象として判定された時に実行する画面制御や、内部処理の内容が含まれる。なお、この画面制御情報に含まれる「ＵＩ部品（タッチ操作と音声操作可能）」は、操作対象判定部８０７の操作対象判定処理によってユーザ１０６から発せられる音声でも操作対象として判定される。
後者の画面制御情報には、画面を構成するＵＩ部品のうち、操作対象判定処理によってユーザ１０６から発せられる音声でのみ操作対象として判定されるＵＩ部品と、それらが操作対象として判定された時に実行する画面制御や、内部処理が含まれる。
なお、図２２～２４では、画面制御情報の「操作時の画面制御」および「操作時の内部処理」にはその内容を示す文章が記載されている。しかしながら、本情報を利用する表示部８０６および操作対象判定部８０７がその内容を識別可能なデータ形式でデータ管理部８０３が管理するものとする。
図２２（ｄ）、図２３（ｄ）および図２４（ｄ）が示す操作対象判定情報には、画面を構成するＵＩ部品と、１つ以上のグループＩＤ判定結果との対応付けが予め行われているものとする。なお、操作対象判定情報に含まれるグループＩＤセットは、図１０～２１で示したグループＩＤリストにあるグループＩＤ、または、それらのグループＩＤの組み合わせとして構成される。例えば、グループＩＤセットにある「ＣＯＬ００１１０＋ＣＯＬ０００００」はグループＩＤ判定結果｛ＩＤ：ＣＯＬ００１１０、ＩＤ：ＣＯＬ０００００｝と一致する。なお、データ管理部８０３は、画面ごとに操作対象判定情報を管理し、１つの操作対象判定情報内ではグループＩＤセットの内容は重複しないよう管理する。なお、図２２～２４に示される「操作時のユーザ発話例」は本実施例の説明のための参考情報であり、データ管理部８０３が管理する操作対象判定情報に含まれなくてもよい。
また、図２２（ｄ）、図２３（ｄ）および図２４（ｄ）が示す操作対象判定情報には、画面を構成するＵＩ部品と、ＬＣＤタッチパネル２００上のタッチ操作を受け付ける座標範囲の対応付けが予め行われているものとする。操作対象判定情報の「タッチ座標範囲」は、対応するＵＩ部品のタッチ操作を受け付ける範囲を示しており、基本的に画面におけるＵＩ部品の表示位置および表示範囲と一致するものとする。なお、操作対象判定情報の「タッチ座標範囲」は矩形情報として表現され、矩形の左上の位置を示すＸ、Ｙ座標の値と、矩形の幅（Ｗ）および高さ（Ｈ）の値から構成される。
図２２（ａ）は、表示部８０６が表示する、ユーザ１０６が印刷カラーを選択するためのカラー選択画面２２００である。カラー選択画面２２００は、ユーザ１０６が操作可能なＵＩ部品２２０１～２２１３で構成されている。
図２２（ｂ）の画面制御情報では、例えば「自動（カラー／白黒）」と表記されたボタン２２０１が操作対象として判定された時に、表示部８０６が当該のボタン２２０１を強調表示するよう制御することが示されている。また、「単色カラー」と表記されたボタン２２０４が操作対象として判定された時に、表示部８０６が単色カラー詳細設定画面（不図示）に遷移するよう制御することが示されている。また、ハードキー２２０４が操作対象として判定された時に、デバイス制御部がコピージョブの実行を開始して、表示部８０６がコピージョブ実行画面（不図示）に遷移するように制御することが示されている。
図２２（ｃ）の画面制御情報が空の情報となっていることから、カラー選択画面２２００は音声操作のみ可能なＵＩ部品が存在しないことを示している。
図２２（ｄ）の操作対象判定情報では、グループＩＤ判定結果が｛ＩＤ：ＤＲＧ００００８｝または｛ＩＤ：ＤＲＧ００００８、ＩＤ：ＣＯＬ０００００、ＩＤ：ＣＯＬ００１０２｝であった時に、ボタン２２０１を操作対象として判定することを示している。例えば、カラー選択画面２２００が表示されている状態において。ユーザ１０６が「自動」と発声したとする。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＤＲＧ００００８｝から、操作対象判定部８０７はボタン２２０１が操作対象であると判定する。
また、図２２（ｄ）の操作対象判定情報では、タッチ座標範囲の矩形情報があるボタン２２０１～２２１４はＬＣＤタッチパネル２００上のタッチ操作の受け付けが可能であることを示している。例えば、タッチ座標が（Ｘ：２００、Ｙ：２５０）であった時には、操作対象判定部８０７は操作対象判定情報のタッチ座標範囲内に含まれるボタン２２０１を操作対象として判定する。なお、図中のタッチ座標範囲が斜線で示されているハードキー２０３および２０７は、操作パネル５０９を構成するハードキーの押下の検知に基づいて、操作対象として判定するＵＩ部品であることを示している。
図２３（ａ）は、表示部８０６が表示する、ユーザ１０６が両面コピーの種類を選択するための両面コピー設定画面２３００である。両面コピー設定画面２３００は、ユーザ１０６が操作可能なＵＩ部品２３０１～２３３３で構成されている。
図２３（ｂ）の画面制御情報では、例えば「詳細設定」と表記されたボタン２３２１が操作対象として判定された時に、表示部８０６が図２４（ａ）の開き方詳細設定画面２４００に遷移するよう制御することが示されている。
図２３（ｃ）の画面制御情報では、ユーザ１０６の発する音声でのみ操作可能なＵＩ部品の情報を示している。例えば、図２３（ｃ）の画面制御情報に記載された表示ラベル２３１１は、図２３（ｂ）の画面制御情報に含まれるＵＩ部品（選択オブジェクト）のようにユーザ１０６がタッチして操作することはできない。表示ラベル２３１１は、図２４（ａ）の開き方詳細設定画面２４００で設定される設定値を表示するためのＵＩ部品である。
グループＩＤ判定結果が｛ＩＤ：ＯＲＰ０００４８、ＯＲＰ０００４０｝または｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＯＲＰ０００４０｝であったとする。このとき、図２３（ｄ）の操作対象判定情報では、ボタン２３２１を操作対象として判定することを示している。例えば、両面コピー設定画面２３００が表示されている状態において、ユーザ１０６が「詳細設定」と発声したとする。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＯＲＰ０００４８、ＯＲＰ０００４０｝から、操作対象判定部８０７により、ボタン２３２１が操作対象であると判定される。さらに、この判定結果と画面制御情報に基づいて、図２４（ａ）の開き方詳細設定画面２４００が表示される。
また、グループＩＤ判定結果が｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＰＯＳ０００２３、ＩＤ：ＬＹＴ０００２３｝または｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＰＯＳ０００２２、ＩＤ：ＬＹＴ０００２３｝であったとする。この時、図２３（ｄ）の操作対象判定情報によれば、表示ラベル２３１１が操作対象として判定される。例えば、両面コピー設定画面２３００が表示されている状態においてユーザ１０６が「開き方を上下開きに変更」と発声したとする。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＰＯＳ０００２２、ＩＤ：ＬＹＴ０００２３｝から、操作対象判定部８０７は表示ラベル２３１１が操作対象であると判定する。さらに、この判定結果と画面制御情報に基づいて、表示ラベル２３１１の表示内容が更新される。すなわち、データ管理部８０３は、操作対象判定情報のグループＩＤセットに対して、次に遷移する画面を構成するＵＩ部品に対応するグループＩＤを含むように管理する。
また、図２３（ｄ）の操作対象判定情報では、タッチ座標範囲の矩形情報があるボタン２３０１～２３０４およびボタン２３２１～２３３３はＬＣＤタッチパネル２００上のタッチ操作の受け付けが可能であることを示している。なお、図中のタッチ座標範囲が斜線で示されているハードキー２０３およびハードキー２０７は、操作パネル５０９を構成するハードキーの押下の検知に基づいて、操作対象として判定するＵＩ部品である。なお、タッチ座標範囲が「－」で示されている表示ラベル２３１１は、ＬＣＤタッチパネル２００上に表示されているが、タッチ操作の受け付けは行わないことを示している。
図２４（ａ）は、表示部８０６が表示する、ユーザ１０６が両面コピーの開き方を選択するための開き方詳細設定画面２４００である。開き方詳細設定画面２４００は、ユーザ１０６が操作可能なＵＩ部品２４０１～２４２１で構成されている。図２４（ｂ）および図２４（ｃ）は開き方詳細設定画面２４００の画面制御情報であり、図２４（ｄ）は開き方詳細設定画面２４００の操作対象判定情報である。
＜画像形成装置１０１のデバイス制御プログラム８０１の処理フロー＞
図２５は、画像形成装置１０１のデバイス制御プログラム８０１による入力操作受付時の処理を説明するフローチャートである。なお、入力操作受付時の処理は、データ送信部８０２がグループＩＤ判定結果を受信した後に実行される。または、操作Ｉ／Ｆ５０８がＬＣＤタッチパネル２００のタッチ操作または操作パネル５０９の各ハードキー２０１～２１０の押下を検知した後に実行される。例えば、図９のシーケンス図内のＳ９１４、Ｓ９１５、Ｓ９２３、Ｓ９２８、Ｓ９３３、Ｓ９４３～Ｓ９４５、Ｓ９５２におけるデバイス制御プログラム８０１の処理フローを示している。図２６は、図２５で示すデバイス制御プログラム８０１の一部である操作対象判定処理Ｓ２５０２の処理をより詳細化したフローチャートである。
以降、具体的な一例として、表示部８０６が図２３（ａ）の両面コピー設定画面２３００を表示している状態での処理フローを説明する。
Ｓ２５０１では、表示部８０６が表示している画面に対応する画面制御情報と操作対象判定情報を取得する。図２３（ａ）の両面コピー設定画面２３００を表示している場合には、本画面に対応する図２３（ｂ）および図２３（ｃ）の画面制御情報と図２３（ｄ）の操作対象判定情報を取得する。
Ｓ２５０２では、操作対象判定部８０７が、Ｓ２５０１で取得した操作対象判定情報を用いて操作対象判定処理を行う。この時、操作対象判定処理では、ＬＣＤタッチパネル２００に表示される画面を構成するＵＩ部品、または、操作パネル５０９を構成するハードキー２０１～２１０を操作対象として判定する。
以下では、図２６を用いてＳ２５０２の詳細を説明する。
まず、Ｓ２６０１において、入力操作の種別を判定する。図２５のフローチャートでは、データ送信部８０２がグループＩＤ判定結果を受信したことをきっかけに音声による操作が実行されたと判定する。あるいは、操作Ｉ／Ｆ５０８がＬＣＤタッチパネル２００のタッチ操作または操作パネル５０９のハードキー２０１～２１０の押下の検知をきっかけにタッチ・押下による操作が実行されたと判定する。入力操作の種別が音声である場合、すなわち、図９で示すように、ユーザ１０６が音声操作開始指示９０５に続いて発話した結果、データ送信部８０２がグループＩＤ判定結果をサーバ１０２から受信した場合は、Ｓ２６０２に進む。対して、入力操作の種別がタッチ操作またはハードキー押下である場合は、Ｓ２６１０に進む。
Ｓ２６０２およびＳ２６０３において、操作対象判定部８０７は、データ送信部８０２が受信したグループＩＤ判定結果が、Ｓ２５０１で取得した操作対象判定情報の中に合致するものがあるかどうかを判定する。例えば、ユーザ１０６が表示中の両面コピー設定画面２３００に関係ない「フルカラー」を発話したとする。この時、グループＩＤ判定部７０７が判定したグループＩＤ判定結果｛ＩＤ：ＣＯＬ００２０１｝が操作対象判定情報の図２３（ｄ）のグループＩＤセットに含まれないと判定し、Ｓ２６０９に進む。
Ｓ２６０９では、操作対象判定部８０７は操作対象無しと判定する。
また、例えば、ユーザ１０６が表示中の両面コピー設定画面２３００の操作に関連する「片面原稿を両面でコピーして」を発話したとする。この時、グループＩＤ判定部７０７が判定したグループＩＤ判定結果｛ＩＤ：ＳＩＤ００００１、ＩＤ：ＳＨＴ００００６、ＩＤ：ＳＩＤ０００００、ＩＤ：ＦＮＣ００００１｝が送信される。操作対象判定部８０７は、操作対象判定情報の図２３（ｄ）のグループＩＤセットが前記グループＩＤ判定結果に部分一致する「片面＞両面」ボタン２３０１が存在すると判定し、Ｓ２６０４に進む。Ｓ２６０４では、グループＩＤ判定結果が一致した「片面＞両面」ボタン２３０１が、音声操作のみ可能なＵＩ部品の画面制御情報である図２３（ｃ）に存在しない（図２３（ｂ）に存在する）ことから、Ｓ２６０８に進む。Ｓ２６０８では、操作対象判定部８０７は、グループＩＤ判定結果が一致した「片面＞両面」ボタン２３０１を操作対象として判定する。
また、例えば、ユーザ１０６が表示中の両面コピー設定画面２３００の操作に関連する「開き方を上下開きに変更」を発話したとする。この時、グループＩＤ判定部７０７が判定したグループＩＤ判定結果｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＰＯＳ０００２２、ＩＤ：ＬＹＴ０００２３、ＩＤ：ＲＰ０００４１｝が送信される。操作対象判定部８０７は、操作対象判定情報の図２３（ｄ）のグループＩＤセットが前記グループＩＤ判定結果に部分一致する表示ラベル２３１１が存在すると判定し、Ｓ２６０４に進む。Ｓ２６０４では、グループＩＤ判定結果が一致した表示ラベル２３１１が、音声操作のみ可能なＵＩ部品の画面制御情報である図２３（ｃ）に存在することから、Ｓ２６０５に進む。Ｓ２６０５では、表示ラベル２３１１に関連する画面である開き方詳細設定画面２４００に対応する画面制御情報（図２４（ｂ）および図２４（ｃ））と操作対象判定情報（図２４（ｄ））を取得する。Ｓ２６０６では、Ｓ２６０５で取得した操作対象判定情報内のグループＩＤセットが、前記グループＩＤ判定結果に含まれるか判定する。本例であれば、図２４（ｄ）の操作対象判定情報内のグループＩＤセットに存在する「ＰＯＳ００００２２＋ＬＹＴ０００２３」がグループＩＤ判定結果｛ＩＤ：ＬＹＴ０００２３、ＩＤ：ＰＯＳ０００２２、ＩＤ：ＬＹＴ０００２３｝に含まれると判定される。Ｓ２６０７では、Ｓ２６０６にてグループＩＤ判定結果に含まれると判定されたグループＩＤセットを持つＵＩ部品の表記名を画面制御情報（図２４（ｂ））から取得して記憶する。本例であれば、ボタン２４０２の表記名「上下開き」を記憶する。すなわち、ユーザ１０６が発話した音声の中に、表示ラベル２３１１に表示する設定値が含まれるか判定するとともに、この後の処理ステップで表示ラベル２３１１の表示内容を更新するために、この設定値を記憶しておく。続いて、本例では、Ｓ２６０８にて操作対象判定部８０７が表示ラベル２３１１を操作対象として判定する。
Ｓ２６１０では、操作対象判定部８０７は、操作Ｉ／Ｆ５０８を介して操作パネル５０９のハードキー２０１～２１０の押下を検知したかどうかを判定する。ハードキー２０１～２１０の押下を検知している場合はＳ２６１３に進み、そうでなければＳ２６１１に進む。
Ｓ２６１１では、操作対象判定部８０７は、ユーザ１０６がＬＣＤタッチパネル２００上に表示されるＵＩ部品を操作したかどうかを判定する。つまり、操作Ｉ／Ｆ５０８が取得したＬＣＤタッチパネル２００上のタッチ座標が、Ｓ２５０１で取得した操作対象判定情報のタッチ座標範囲内であるＵＩ部品が存在するかどうかを判定する。例えば、タッチ座標が（Ｘ：５００、Ｙ：４５０）であった時には、操作対象判定部８０７は操作対象判定情報のタッチ座標範囲内に含まれるボタン２３２１を操作対象として判定する（Ｓ２６１２）。また、例えば、タッチ座標が（Ｘ：６００、Ｙ：２００）であった時には、操作対象判定情報のタッチ座標範囲内に含まれるＵＩ部品が存在しないため、操作対象判定部８０７は操作対象無しと判定する（Ｓ２６０９）。
Ｓ２６１３では、操作対象判定部８０７は、ユーザ１０６の押下を検知したハードキーがＳ２５０１で取得した操作対象判定情報内に含まれるか判定する。操作対象判定情報内に含まれる場合は、Ｓ２６１４に進み、押下を検知したハードキーを操作対象として判定する。操作対象判定情報内に含まれない場合は、Ｓ２６０９に進み、操作対象無しと判定する。例えば、ユーザ１０６がハードキー（スタートキー）２０７を押下した時には、図２３（ｄ）の操作対象判定情報に存在することから、操作対象判定部８０７はハードキー２０７を操作対象として判定する。また、例えば、ユーザ１０６がハードキー（テンキー）２０１を押下した時には、図２３（ｄ）の操作対象判定情報に存在しないことから、操作対象判定部８０７は操作対象無しと判定する。
以下では、図２５のＳ２５０３以降の説明に戻る。
Ｓ２５０３では、Ｓ２５０２（図２６）の操作対象判定処理において、操作対象判定部８０７が何らかのＵＩ部品を操作対象として判定したか、操作対象無しと判定したかを判別する。操作対象無しと判定した場合は、このまま処理を終了する。なお、この時、対話セッションが継続している場合は、データ送受信部８０２が「操作対象無し」の情報をサーバ１０２へ送信し、この情報を受信したデータ送受信部７０２はユーザ１０６に再度操作することを促すためのテキストデータを音声合成してもよい。
Ｓ２５０４では、表示部８０６が、Ｓ２５０２の操作対象判定処理の結果と、Ｓ２５０１で取得した画面制御情報に基づいて、画面の表示内容を更新する。
例えば、Ｓ２５０２にて「片面＞両面」ボタン２３０１が操作対象として判定されると、図２３（ｂ）の画面制御情報に基づいて、表示部８０６が当該ボタンを強調表示するように画面を更新する。
また、例えば、Ｓ２５０２にて表示ラベル２３１１が操作対象として判定され、さらにＳ２６０７で「上下開き」を記憶している場合は、表示部８０６が表示ラベル２３１１の表示内容を「上下開き」に更新する。
Ｓ２５０５では、Ｓ２５０２の操作対象判定処理の結果と、Ｓ２５０１で取得した画面制御情報に基づいて、ジョブ実行を行うか否かを判定する。ジョブ実行を行う場合はＳ２５０７へ進み、そうでなければＳ２５０６へ進む。例えば、Ｓ２５０２にて「片面＞両面」ボタン２３０１が操作対象として判定された場合は、図２３（ｂ）中の内部処理がないことからジョブ実行を行わないと判定する。また、例えば、Ｓ２５０２にてスタートキー２０７が操作対象として判定された場合は、図２３（ｂ）中の内部処理として「コピージョブの実行を開始」することから、ジョブ実行を行うと判定する。
Ｓ２５０６では、前述の９１６が示すようにデータ送受信部８０２によって、画面更新通知をサーバ１０２へ送信する。この時、対話セッションが継続している間のみ、画面更新通知を送信してもよい。
Ｓ２５０７では、ジョブパラメータの設定値に基づいて、ジョブ実行処理を行う。ジョブ実行処理によって、画像形成装置１０１は、一連の画像形成処理（例えばコピー、スキャン、プリントなど）を実行する。例えば、図２３（ａ）の画面が示すように、「片面＞両面」ボタン２３０１が強調表示されている状態でコピージョブの実行を開始する時には、この時の「片面＞両面」の設定値をジョブパラメータとしてジョブの実行を行う。
Ｓ２５０８では、前述のＳ９４６およびＳ９５０が示すようにデータ送受信部８０２によって、ジョブ実行状態通知をサーバ１０２へ送信する。この時、対話セッションが継続している間のみ、ジョブ実行状態通知を送信してもよい。
＜システムとユーザ１０６間のインタラクション＞
図２７は、図９で示したシーケンスのうち、ユーザ１０６からの音声操作とその時のシステムからのインタクラクションの一例をより具体的に説明するための模式図である。図２７では、ユーザ１０６の音声操作としての発話例と、その発話に応じてシステムが音声制御装置１００の音声処理状態を示すＬＥＤの対応関係と流れを示している。また、画像形成装置の操作パネル５０９のＬＣＤタッチパネル２００上に表示する画面、および、音声制御装置１００で再生する応答用の音声の対応関係と流れを示している。
まず、システムはＬＥＤ消灯にて音声待機状態であることを示し、操作パネル５０９のＬＣＤタッチパネル２００にはトップ画面を表示している（Ｓ２７０１）とする。この時に、ユーザ１０６がウェイクワードを発話する（Ｓ２７０２）と、システムは音声操作の受付を開始し、発話処理状態を示すＬＥＤを点灯する（Ｓ２７０３）。なお、Ｓ２７０２は図９中のＳ９０５、Ｓ２７０３はＳ９０６の具体的な一例である。ウェイクワードに続いて、ユーザ１０６が「コピーをしたい」と発話する（Ｓ２７０４）と、システムは応答処理状態を示すＬＥＤを点滅させ（Ｓ２７０５）、コピートップ画面を表示する（Ｓ２７０６）。そして、システムは「コピーの画面を表示しました」という応答用の音声を再生し（Ｓ２７０７）、ユーザ１０６に次の発話を促すためにＬＥＤを再点灯する（Ｓ２７０８）。なお、Ｓ２７０４は図９中のＳ９０７、Ｓ２７０５はＳ９０８、Ｓ２７０６はＳ９１５、Ｓ２７０７はＳ９１９、Ｓ２７０８はＳ９２０の具体的な一例である。
次に、ユーザ１０６が「倍率を変更して」と発話する（Ｓ２７０９）と、システムはＬＥＤを点滅させ（Ｓ２７１０）、倍率設定画面を表示する（Ｓ２７１１）。そして、システムは「倍率が変更できます」という応答用の音声を再生し（Ｓ２７１２）、ＬＥＤを点灯する（Ｓ２７１３）。なお、Ｓ２７０９は図９中のＳ９２１、Ｓ２７１０はＳ９２２、Ｓ２７１１はＳ９１５、Ｓ２７１２はＳ９２４、Ｓ２７１３はＳ９２５の具体的な一例である。
次に、ユーザ１０６が「Ａ４用紙がＢ５用紙になるようにコピーしたい」と発話する（Ｓ２７１４）と、システムはＬＥＤを点滅させ（Ｓ２７１５）、倍率の設定値を変更した画面に更新する（Ｓ２７１６）。そして、システムは「倍率を８６％に設定しました」という応答用の音声を再生し（Ｓ２７１７）、ＬＥＤを点灯する（Ｓ２７１８）。なお、Ｓ２７１４は図９中のＳ９２６、Ｓ２７１５はＳ９２７、Ｓ２７１６はＳ９１５、Ｓ２７１７はＳ９２９、Ｓ２７１８はＳ９２５の具体的な一例である。
次に、ユーザ１０６が「倍率の設定を完了」と発話する（Ｓ２７１９）と、システムはＬＥＤを点滅させ（Ｓ２７２０）、変更した倍率の設定値を反映したコピーのトップ画面を表示する（Ｓ２７２１）。そして、システムは「コピーが開始できます」という応答用の音声を再生し（Ｓ２７２２）、ＬＥＤを点灯する（Ｓ２７２３）。なお、Ｓ２７１９は図９中のＳ９３１、Ｓ２７２０はＳ９３２、Ｓ２７２１はＳ９１５、Ｓ２７２２はＳ９３４、Ｓ２７２３はＳ９３５の具体的な一例である。
次に、ユーザ１０６が「コピースタート」と発話する（Ｓ２７２４）と、システムはＬＥＤを点滅させ（Ｓ２７２５）、コピージョブを実行する。コピージョブの実行が開始されると、システムはコピージョブ実行中の画面を表示する（Ｓ２７２６）とともに、「コピーを開始します」という一次応答用の音声を再生する（Ｓ２７２７）。そして、コピージョブの実行が完了すると、システムはコピージョブ実行終了画面を一定時間表示するとともに、「コピーを終了しました」という最終応答用の音声を再生し（Ｓ２７２８）、音声受付が終了したことを示すためにＬＥＤを消灯する（Ｓ２７２９）。なお、Ｓ２７２４は図９中のＳ９３６、Ｓ２７２５はＳ９３７、Ｓ２７２６はＳ９４４、Ｓ２７２７はＳ９４９、Ｓ２７２８はＳ９５４、Ｓ２７２９はＳ９５５の具体的な一例である。
図２８は、画像形成指示の操作性を向上させることが可能な具体的な一例を説明するためのものであり、図２３および図２４が示す一例において、表示部８０６が画面更新する様子を模式した図である。
図２８（ａ）は、図２３（ｂ）および図２４（ｂ）の画面制御情報を用いて、両面コピーの開き方の設定を変更する操作を行った場合に、表示部８０６が画面更新する様子を示している。ユーザ１０６が両面コピー設定画面２３００の表示ラベル２３１１に表示されている設定値を変更したい場合があるとする。例えばタッチ操作では、詳細設定ボタン２３２１をタッチし、その後表示される開き方詳細設定画面２４００のボタン２４０１、２４０２をタッチする。さらにＯＫボタン２４１１をタッチしてはじめて、表示ラベル２３１１に表示される設定値が変更される。このように別の画面で設定可能な設定値が表示されるだけのＵＩ部品がある場合、上述の両面コピー設定画面２３００のタッチ操作の例では少なくとも３回のタッチ操作とそれに伴う画面更新が必要となる。
図２８（ｂ）は、図２３（ｃ）の画面制御情報を用いて、両面コピーの開き方の設定を変更する操作を音声操作で行った場合に、表示部８０６が画面更新する様子を示している。例えば、両面コピー設定画面２３００が表示されている状態で、ユーザ１０６が「開き方を上下開きに変更」と発話したとする。この時、図２８（ｂ）は、両面コピーの開き方を選択するための開き方詳細設定画面２４００に遷移することなく、表示ラベル２３１１に表示されている設定値が「左右開き」から「上下開き」に変更されることを示している。すなわち、この音声操作の一例では、ユーザ１０６の発話１回で表示されている設定値を変更することが可能となり、画像形成指示の操作性を向上させることができる。
＜画面遷移なし設定値変更制御の適応条件＞
図２９は、ユーザ１０６の発話１回で表示されている設定値を変更する制御を適応可能な条件を簡易的に説明するためのフローチャートである。このフローチャートで示される処理は、図２８（ｂ）で示したように、別の画面で設定可能な設定値が表示されるだけのＵＩ部品から構成される操作画面において実行される。以降、この制御を「画面遷移なし設定値変更制御」とする。
まず、表示中の画面に、設定値を変更するための次の階層の画面に遷移するＵＩ部品が含まれるかどうかで、前記の画面遷移なし設定値変更制御の適応可否が変わる（Ｓ２９０１）。例えば、図２３（ａ）の両面コピー設定画面２３００が表示されている場合は、次の階層の設定画面である開き方詳細設定画面２４００（図２４（ａ））に遷移するための詳細設定ボタン２３２１が存在することから、次の条件判定を行う（Ｓ２９０２）。対して、開き方詳細設定画面２４００が表示されている場合は、次の階層の設定画面に遷移するＵＩ部品が存在しないため、前記の画面遷移なし設定値変更制御は適応されない（Ｓ２９０７）。
次の条件判定であるＳ２９０２では、表示中の画面に、次の階層の画面で変更可能な設定値を表示するＵＩ部品が、Ｓ２９０１で判定したＵＩ部品とは別にあるかどうかで、前記の画面遷移なし設定値変更制御の適応可否が変わる。例えば、図２３（ａ）の両面コピー設定画面２３００が表示されている場合は、詳細設定ボタン２３２１とは別に、開き方詳細設定画面２４００で変更可能な設定値を表示するためだけの表示ラベル２３１１が存在することから、次の条件判定を行う（Ｓ２９０３）。対して、図２２（ａ）のカラー選択画面２２００が表示されているとする。この場合は、次の階層の設定画面（不図示）に遷移するためのボタン２２０４～２２０５とは別に、次の階層の設定画面で変更可能な設定値を表示するだけのＵＩ部品がない。そのため、前記の画面遷移なし設定値変更制御は適応されない（Ｓ２９０７）。
さらに次の条件判定であるＳ２９０３では、ユーザ１０６から受け付けた操作が音声操作であれば次の条件判定（Ｓ２９０４）に進み、そうでなければ前記の画面遷移なし設定値変更制御は適応されない（Ｓ２９０７）。
さらに次の条件判定であるＳ２９０４では、音声操作としてユーザ１０６が発話した音声に、Ｓ２９０２で判定したＵＩ部品に表示される設定値を変更することを意図した内容が含まれるかどうかで、前記の画面遷移なし設定値変更制御の適応可否が変わる。さらに、音声操作としてユーザ１０６が発話した音声に、次の階層の設定画面で変更可能な設定値に対応する内容が含まれるかどうかで、前記の画面遷移なし設定値変更制御の適応可否が変わる。例えば、図２３（ａ）の両面コピー設定画面２３００が表示されている場合に、ユーザ１０６が「コピーの開き方を上下開きに変更」と発話した場合は、前記の画面遷移なし設定値変更制御を可能とする。これは、前述のようにＳ２５０１およびＳ２６０５にて取得した該当の画面の画面制御情報と操作対象判定情報と、ユーザ１０６の発話した音声データから生成されるグループＩＤ判定結果とを用いて判定される（Ｓ２６０２、Ｓ２６０６）。また、Ｓ２９０４～Ｓ２９０５で示すような適応条件となるように、予め画面制御情報と操作対象判定情報がデータ管理部８０３によって管理されているものとする。
＜備考＞
以上で説明したように、本実施例によればユーザ１０６の発話によって、画像形成装置１０１の操作パネル５０９に表示された画面を操作することができる。特に、本実施例では、画面に変更前の設定値または設定項目名称が表示されているが、その設定値の設定画面は別に設けられている場合において、設定変更の詳細画面を表示するとなく設定値の変更を行うことができる。そして、変更後の設定値を表示することができる。したがって、ユーザ１０６の発話によって画像形成指示の操作性を向上させることが可能となる。
なお、音声操作で設定変更できる項目は、表示中の画面から遷移した先の画面で設定変更可能な項目であることが望ましい。換言すると、表示中の画面（第２の画面）から遷移できる画面（第１の画面）内で設定変更することのできない設定項目は、発話による操作を受け付けないことが望ましい。すなわち、同一の発話内容であっても表示中の画面によっては設定変更がなされたり、なされなかったりする。これは、設定変更対象について何の手掛かりもない画面（第３の画面）でなされた発話に基づいてユーザの意図しない設定変更が行われないようにするためである。
（実施例２）
＜画面制御情報と操作対象判定情報＞
実施例１では、表示中の画面（第２の画面）ではタッチ操作で変更できない設定項目であって、遷移先の画面（第１の画面）で変更できる設定項目について、音声操作で変更する例を説明した。実施例２では、表示中の画面（第２の画面）ではタッチ操作で変更できない設定項目であって、遷移先の画面（第１の画面）において変更手続きの一部が行われる設定項目を、音声操作する例について説明する。なお、遷移先の画面（第１の画面）において変更手続きの一部が行われる設定項目は、例えば、遷移先の画面（第１の画面）から更に遷移した画面（第３の画面）で設定変更の手続きが完了する設定項目である。なお、実施例２を実現するための構成は、詳細に説明する特徴部分を除き実施例１の構成と同様である。そのため、実施例１と同様の構成については同様の符号を付し、その詳細な説明を省略する。
図３０は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面と、データ管理部８０３が管理する画面制御情報と操作対象判定情報であり、図２２～２４の別の一例である。なお、その他の構成要素は、前述の図１～２１と同様である。
図３０（ａ）は、データ送受信部８０２がクライアント端末１０３から受信したプリントジョブの設定を表示し、プリント開始指示をおこなうためのプリントジョブ設定画面３０００である。プリントジョブ設定画面では、ユーザ１０６がプリントジョブの設定内容を確認するとともに、必要に応じて設定を変更することができる。プリントジョブ設定画面３０００は、ユーザ１０６が操作可能なＵＩ部品３００１～３０３２で構成されている。また、プリントジョブ設定画面３０００には、音声操作で指示可能な項目の名称情報として「ページ集約」等の情報が配置されている。
図３０（ｂ）の画面制御情報では、例えば「変更」と表記されたボタン３００２が操作対象として判定された時に、表示部８０６が図３１（ａ）のページ集約設定画面３１００に遷移するよう制御することが示されている。
図３０（ｃ）の画面制御情報では、表示ラベル３０１２～３０１４は図３０（ｂ）の画面制御情報に含まれるＵＩ部品のようにユーザ１０６がタッチして操作することはできないが、ユーザ１０６の発する音声でのみ操作可能なＵＩ部品であることを示している。例えば、表示ラベル３０１２は、図３１（ａ）のページ集約設定画面３１００で設定される設定値を表示するためのＵＩ部品である。また、表示ラベル３０１２が操作対象として判定された時に、設定される設定値に応じて、それぞれ実施する制御が異なることを示している。このように、本実施例のデータ管理部８０３は、音声操作で設定される設定値に応じて異なる画面制御の内容を管理することを可能とする。
グループＩＤ判定結果が｛ＩＤ：ＬＹＴ０００３０、ＩＤ：ＬＹＴ００００３、ＩＤ：ＯＰＲ０００４１｝または｛ＩＤ：ＬＹＴ０００３０、ＩＤ：ＬＹＴ０００００、ＩＤ：ＯＰＲ０００４１｝であったとする。この時、図３０（ｄ）の操作対象判定情報によれば、ボタン３００２を操作対象として判定される。例えば、プリントジョブ設定画面３０００が表示されている状態においてユーザ１０６が「ページ集約を変更」と発声したとする。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＬＹＴ０００３０、ＩＤ：ＬＹＴ００００３、ＩＤ：ＯＰＲ０００４１｝から、操作対象判定部８０７はボタン３００２が操作対象であると判定する。さらに、この判定結果と画面制御情報に基づいて、図３１（ａ）のページ集約設定画面３１００を表示する。
また、図３０（ｄ）の操作対象判定情報では、グループＩＤ判定結果が｛ＩＤ：ＬＹＴ０００３０、ＩＤ：ＬＹＴ０００３、ＩＤ；ＬＹＴ０００１０～ＬＹＴ０００１６、ＩＤ：ＯＲＰ０００４１｝であったとする。この時に、表示ラベル３０１２を操作対象として判定することを示している。例えば、プリントジョブ設定画面３０００が表示されている状態においてユーザ１０６が「ページ集約を２ｉｎ１に変更」と発声したとする。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＬＹＴ０００３０、ＩＤ：ＬＹＴ０００３、ＩＤ；ＬＹＴ０００１１、ＩＤ：ＯＲＰ０００４１｝は上述の通りである。そして、操作対象判定部８０７は表示ラベル３０１２が操作対象であると判定する。この時、データ管理部８０３は、操作対象判定情報のグループＩＤセットに対して、次に遷移する画面（ページ集約設定画面３１００）を構成するＵＩ部品に対応するグループＩＤを含むように管理する。
また、図３０（ｄ）の操作対象判定情報では、タッチ座標範囲の矩形情報があるボタン３００１～３００４およびボタン３０２１～３０３２はＬＣＤタッチパネル２００上のタッチ操作の受け付けが可能であることを示している。なお、図中のタッチ座標範囲が斜線で示されているハードキー２０３は、操作パネル５０９を構成するハードキーの押下の検知に基づいて、操作対象として判定するＵＩ部品であることを示している。なお、タッチ座標範囲が「－」で示されている表示ラベル３０１１～３０１４は、ＬＣＤタッチパネル２００上に表示されているが、タッチ操作の受け付けは行わないことを示している。
図３１は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面と、データ管理部８０３が管理する画面制御情報と操作対象判定情報であり、図２２～２４および図３０の別の一例である。また、図３２は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面の一例である。
図３１（ａ）は、表示部８０６が表示する、ユーザ１０６が１枚の用紙に割り付けるページ数を選択するためのページ集約設定画面３１００である。ページ集約設定画面３１００は、ユーザ１０６が操作可能なＵＩ部品３１０１～３１２２で構成されている。
図３１（ｂ）および図３１（ｃ）はページ集約設定画面３１００の画面制御情報であり、図３１（ｄ）はページ集約設定画面３１００の操作対象判定情報である。
ページ集約設定画面３１００では、「２ｉｎ１」が表記されたボタン３１０２がユーザ１０６によって選択された状態において、詳細設定ボタン３１１１が押下される。すると、ページの割り付け順序を設定するための２ｉｎ１詳細設定画面３２００（図３２（ａ））に遷移することが示されている。同様に、「４ｉｎ１」が表記されたボタン３１０３がユーザ１０６によって選択された状態において、詳細設定ボタン３１１１が押下されると、ページの割り付け順序を設定するための４ｉｎ１詳細設定画面３２１０（図３２（ｂ））に遷移することが示されている。対して、「１ｉｎ１」が表記されたボタン３１０１がユーザ１０６によって選択された状態において、ページの割り付け順序を設定する必要がないため、詳細設定ボタン３１１１はユーザ１０６からの操作を受け付けないように無効化される。
＜画像形成装置１０１のデバイス制御プログラム８０１の処理フロー＞
図３３は画像形成装置１０１のデバイス制御プログラム８０１の画面更新処理の概要を示すフローチャートである。画面更新処理は、ユーザの操作を受け付けた後に実行される処理である。例えば、データ送信部８０２がグループＩＤ判定結果を受信した後に、画面更新処理が実行される。または、操作Ｉ／Ｆ５０８がＬＣＤタッチパネル２００のタッチ操作または操作パネル５０９上のハードキー２０１～２１０の押下を検知した後に画面更新処理が実行される。入力操作受付と画面更新処理の関係は、図２５のフローチャートと同様である。また、操作対象判定処理について、図２６のフローチャートと同様である。
図３３は、図２５で示すデバイス制御プログラム８０１の一部である画面更新処理Ｓ２５０４の処理をより詳細化したフローチャートである。
以降、具体的な一例として、表示部８０６が図３０（ａ）のプリントジョブ設定画面３０００を表示している状態での処理フローを説明する。
Ｓ３３０１では、表示部８０６が、Ｓ２５０２において操作対象として判定されたＵＩ部品の画面制御情報を読み出し、設定値に応じた画面制御情報の内容が別々に登録されているか判定する。設定値に応じた画面制御情報の内容が別々に登録されていない場合はＳ３３０２に進み、そうでなければＳ３２０３に進む。なお、この時の設定値とは、表示ラベル３０１１～３０１４に表示する設定値であり、Ｓ２６０５～Ｓ２６０７においてユーザ１０６が発話した音声の中に含まれると判定された設定値である。
例えば、Ｓ２５０２において操作対象判定部８０７が表示ラベル３０１３を操作対象として判定した場合は、設定値に応じた画面制御情報の内容が別々に登録されていない。これは、図３０（ｃ）の画面制御情報が示すとおりである。このことから、この制御内容に基づいてＳ２６０７で記憶した設定値を表示ラベル３０１３に表示するよう制御する。より具体的には、ユーザ１０６が「ホチキスを設定無しに変更」と発声すると、操作対象が表示ラベル３０１３であると判定されると同時に、Ｓ２６０７では「設定無し」の設定値が記憶されるため、「設定無し」が表示ラベル３０１３に反映される。
また、例えば、Ｓ２５０２において操作対象判定部８０７が表示ラベル３０１２を操作対象として判定した場合は、設定値に応じた画面制御情報の内容が別々に登録されていない。このことから、この制御内容に基づいてＳ２６０７で記憶した設定値を応じた画面制御を行う。より具体的には、ユーザ１０６が「ページ集約を１ｉｎ１に変更」と発声すると、操作対象が表示ラベル３０１２であると判定されると同時に、Ｓ２６０７では「１ｉｎ１」の設定値が記憶される。この時、図３０（ｃ）の画面制御情報に基づいて設定値「１ｉｎ１」が表示ラベル３０１２に反映される。また、ユーザ１０６が「ページ集約を２ｉｎ１に変更」と発声すると、操作対象が表示ラベル３０１２であると判定されると同時に、Ｓ２６０７では「２ｉｎ１」の設定値が記憶される。この時、図３０（ｃ）の画面制御情報に基づいて、表示部８０６は２ｉｎ１詳細設定画面３２００に遷移させる。
図３４および図３５は、画像形成指示の操作性を向上させることが可能な具体的な一例を説明するためのものであり、図３０～図３２が示す一例において、表示部８０６が画面更新する様子を模式した図である。
図３４（ａ）は、図３０（ｂ）および図３０（ｂ）の画面制御情報を用いて、ページ集約の設定を変更する操作を行った場合に、表示部８０６が画面更新する様子を示している。ユーザ１０６がプリントジョブ設定画面３０００の表示ラベル３０１２に表示されている設定値を変更したい場合があるとする。例えばタッチ操作では、変更ボタン３００２をタッチし、その後表示されるページ集約設定画面３１００のボタン３１０１をタッチして、さらにＯＫボタン３１２２をタッチしてはじめて、表示ラベル３０１２に表示される設定値が変更される。このように別の画面で設定可能な設定値が表示されるだけのＵＩ部品があり、上述のプリントジョブ設定画面３０００のタッチ操作の例では少なくとも３回のタッチ操作とそれに伴う画面更新が必要となる。また、本例では、ユーザ１０６が「１ｉｎ１」に変更する操作を行っており、「１ｉｎ１」選択時はさらに詳細な設定（ページの割り付け順序の設定）を行う必要がないため、ページ集約設定画面３１００内の操作だけで設定値の変更操作が完了する。
図３４（ｂ）は、図３０（ｃ）の画面制御情報を用いて、ページ集約の設定を変更する操作を音声操作で行った場合に、表示部８０６が画面更新する様子を示している。例えば、プリントジョブ設定画面３０００が表示されている状態で、ユーザ１０６が「ページ集約を１ｉｎ１に変更」と発話したとする。この時、図３４（ｂ）は、ページ集約の設定値を選択するためのページ集約設定画面３１００に遷移することなく、表示ラベル３０１２に表示されている設定値が「２ｉｎ１」から「１ｉｎ１」に変更されることを示している。すなわち、この音声操作の一例では、ユーザ１０６の発話１回で表示されている設定値を変更することが可能となり、画像形成指示の操作性を向上させることができる。また、「１ｉｎ１」選択時はさらに詳細な設定を行う必要がないため、「ページ集約を１ｉｎ１に変更」の音声だけで変更する設定値が充足しているととらえることができる。そのため、ユーザ１０６の発話１回で表示されている設定値を変更することが可能となっている。
また、図３５（ａ）は、図３４（ａ）と同様に、図３０（ｂ）および図３０（ｂ）の画面制御情報を用いて、ページ集約の設定を変更する操作を行った場合に、表示部８０６が画面更新する様子を示している。ユーザ１０６がプリントジョブ設定画面３０００の表示ラベル３０１２に表示されている設定値を変更したい場合、例えばタッチ操作では、変更ボタン３００２をタッチし、その後表示されるページ集約設定画面３１００のボタン３１０２をタッチする。「２ｉｎ１」が選択されている場合、ユーザ１０６はさらに詳細な設定内容であるページの割り付け順序を２ｉｎ１詳細設定画面３２００にて行う必要があるため、図３５（ａ）では、続いてユーザ１０６が詳細設定ボタン３１１１をタッチする例を示している。その後、２ｉｎ１詳細設定画面３２００でのタッチ操作によりページの割り付け順序の設定値を変更し、最終的にプリントジョブ設定画面３０００の表示ラベル３０１２に表示される設定値が変更される。
図３５（ｂ）は、図３４（ｂ）と同様に、図３０（ｃ）の画面制御情報を用いて、ページ集約の設定を変更する操作を音声操作で行った場合に、表示部８０６が画面更新する様子を示している。例えば、プリントジョブ設定画面３０００が表示されている状態で、ユーザ１０６が「ページ集約を２ｉｎ１に変更」と発話したとする。この時、本例のように「２ｉｎ１」が選択されている場合、ユーザ１０６はさらに詳細な設定内容であるページの割り付け順序を設定する必要があるため、この音声操作だけでは変更する設定値が充足してないととらえることができる。そこで、本例では、音声で変更指示された「２ｉｎ１」の設定値を変更するためのページ集約設定画面３１００に遷移することなく、「２ｉｎ１」設定時にさらに設定が必要な２ｉｎ１詳細設定画面３２００が表示される。その後、２ｉｎ１詳細設定画面３２００での操作によりページの割り付け順序の設定値を変更し、最終的にプリントジョブ設定画面３０００の表示ラベル３０１２に表示される設定値が変更される。
＜備考＞
以上で説明したように、本実施例によれば、前述の実施例１と同様に、画面に設定値が表示されているが、その設定値の設定画面は別に設けられている場合において、ユーザ１０６の発話によって画像形成指示の操作性を向上させることが可能となる。さらに、本実施例では、別に設けられている設定画面で設定する設定値に対して、さらに詳細な内容を設定する画面が存在する場合に、その詳細内容を設定する画面に直接遷移するよう画面制御することで画像形成指示の操作性を向上させることが可能となる。換言すると、本実施例では、本性操作をおこなうことにより、設定変更手続きで利用する画面のうちの一部の画面をスキップすることができる。
このように、別の画面で設定可能な設定値が表示されるだけのＵＩ部品がある場合であって、別の画面一つで設定変更操作が完了するケースとさらに別の画面で詳細設定の変更操作を行う必要があるケースがある。このような各ケースにおいて、それぞれ画面制御を切り替えることによって、画像形成指示の操作性を向上させることが可能となる。
（実施例３）
実施例１、２では、発話による操作を行った場合に、タッチ操作では表示される一部または全部の設定手続き画面を省略して、設定値の変更を行える点を説明した。実施例３では、設定変更の指示を発話による操作で受けつけた場合と、タッチ操作で受け付けた場合とで、設定手続き画面を異ならせる例を説明する。
＜システムの制御シーケンス＞
図３６は、図１で示したシステムを構成する各装置、及び、図６～図８で示した各装置の制御プログラム間のやりとりを示すシーケンス図であり、図９のＳ９２１～Ｓ９３０における別の一例である。なお、図３６においても前述のＳ９０５～Ｓ９２０およびＳ９３６～Ｓ９５６は同様であるため、説明や図示を省略する。なお、その他の構成要素も、前述の図１～８と同様であるため、こちらも説明を省略する。
Ｓ３６２１では、前述のＳ９２１と同様に、ユーザ１０６が設定画面呼び出し指示を音声制御装置１００に対して行う。例えば、スキャンした原稿画像をＥメール送信する機能を実行する画面において、さらに、送信するＥメールの件名や本文を付加する設定画面が表示されている状態であるとする。この時、設定画面呼び出し指示の具体例として、ユーザ１０６がＥメールの本文として任意の文字列を付加することを意図して「本文を入力」と発声するものとする。
Ｓ３６２２は、前述のＳ９２２と同様である。
Ｓ３６２３は、前述のＳ９２３の処理と同様の音声操作処理を示す。Ｓ３６２３では、例えば、Ｓ３６２１の設定画面呼び出し指示に伴って、表示部８０６がＥメールの本文を入力するための画面を表示するよう画面更新する。また、この時、データ送受信部８０２は画面更新通知として「本文入力画面表示」というテキストデータをサーバ１０２に送信する。このテキストデータを受信した音声データ変換制御プログラム７０１のデータ送受信部７０２は、任意のテキストを入力可能な状態であることを記憶する。
Ｓ３６２４は前述のＳ９２４と同様に、音声再生部６０５が音声合成データを再生する。例えば、「本文を音声で設定できます。設定したい内容を読み上げてください。」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ３６２５は、前述のＳ９２５と同様である。
続いて、Ｓ３６２６では、ユーザ１０６が入力したい任意の文字または文章を音声制御装置１００に対して発声する、任意文字の入力指示を音声制御装置１００に対して行う。ユーザ１０６が発声した音声は音声取得部６０４によって取得され、音声データとして生成される。空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
Ｓ３６２７は、前述のＳ９２７と同様である。
Ｓ３６２６で示す任意文字の入力指示の音声データが生成されると、次にＳ３６２８では、データ送受信部６０２が、生成された音声データをサーバ１０２に送信する。
Ｓ３６２９では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した音声データに対して、音声認識部７０５が音声認識処理を行う。音声認識処理によって、例えば、ユーザ１０６が発した「先ほどの資料を送付致しますので、ご確認下さい。」という音声が、テキストデータとして生成される。Ｓ３６３０では、音声データ変換制御プログラム７０１のデータ送受信部７０２は、これらの音声認識処理結果であるテキストデータを画像形成装置１０１に対して送信する。
Ｓ３６３１では、デバイス制御プログラム８０１のデータ送受信部８０２が受信した音声認識処理結果のテキストデータの内容を、表示部８０６が表示する画面に反映する。例えば、これまでの処理を通じて、ＬＣＤタッチパネル２００に表示されるキーボードのタッチ操作またはテンキー２０１の押下によってユーザ１０６が任意の文字列を入力する代わりに、ユーザ１０６が発声した内容がそのまま任意の文字列として入力される。
Ｓ３６３２では、データ送受信部８０２によって、サーバ１０２へ、画面の表示内容が更新されたことを示す画面更新通知を送信する。例えば、表示部８０６が画面更新通知として「文字入力終了」というテキストデータを送信する。
Ｓ３６３３では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した画面更新通知に対して、音声合成部７０８が画面更新通知の内容に対応する所定のテキストデータの音声合成処理を行う。例えば、画面更新通知の内容が「本文入力終了」の場合、音声合成部７０８は、「本文に入力された内容を確認してください」というテキストデータを音声合成する。音声合成部７０８が音声合成処理によって生成した音声データ（音声合成データ）は、データ送受信部７０２によって音声制御装置１００へと送信される。
Ｓ３６３４では、データ送受信部６０２が、Ｓ９１７で生成および送信された音声合成データを受信する。
Ｓ３６３５では、音声再生部６０５が、Ｓ９１８で受信した音声合成データを再生する。例えば、Ｓ９１７で生成した「本文に入力された内容を確認してください」という音声合成データを、スピーカ３１０を通じて再生する。
Ｓ３６３６では、音声合成データ再生後、音声制御プログラム６０１の表示部６０６が、発話処理中を示すＬＥＤを再び点灯する。また、同時に音声取得部６０４の処理を再び開始する。
＜画面制御情報と操作対象判定情報＞
図３７は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面と、データ管理部８０３が管理する画面制御情報と操作対象判定情報であり、図２２～２４の別の一例である。
図３７（ａ）は、表示部８０６が表示する、ユーザ１０６がＥメール送信時の件名および本文を設定するためのＥメールメッセージ設定画面３７００である。Ｅメールメッセージ設定画面３７００は、ユーザ１０６が操作可能なＵＩ部品３７０１～３７１２で構成されている。
「設定取消」と表記されたボタン３７１１が操作対象として判定されたとする。この場合、図３７（ｂ）の画面制御情報によれば、スキャンした原稿画像をＥメール送信する機能のトップ画面である送信トップ画面（不図示）が遷移するように、表示部８０６による制御が行われる。また、「本文」と表記されたボタン３７０２が操作対象として判定された時には、入力操作の種別がタッチ操作である場合と音声操作である場合とで、それぞれ実施する画面制御が異なることを示している。このように、本実施例のデータ管理部８０３は、画面制御情報として入力操作の種別に応じて異なる画面制御の内容を管理することを可能とする。例えば、ボタン３７０２がタッチ操作により操作対象として判定された時にはキーボード設定画面３８００に遷移し、音声操作により操作対象として判定された時には音声設定画面３８１０に遷移するよう制御することが示されている。
図３７（ｃ）の画面制御情報が空の情報となっていることから、Ｅメールメッセージ設定画面３７００は音声操作のみ可能なＵＩ部品が存在しないことを示している。
グループＩＤ判定結果が｛ＩＤ：ＳＮＤ０００６２｝または｛ＩＤ：ＳＮＤ０００６２、ＩＤ：ＯＰＲ０００４０｝または｛ＩＤ：ＳＮＤ０００６２、ＩＤ：ＯＰＲ０００５０｝であったとする。この場合、図３７（ｄ）の操作対象判定情報は、ボタン３７０２を操作対象として判定することを示している。例えば、Ｅメールメッセージ設定画面３７００が表示されている状態においてユーザ１０６が「メール本文を設定」と発声する。すると、この時グループＩＤ判定部７０７が生成するグループＩＤ判定結果｛ＩＤ：ＳＮＤ０００６２、ＩＤ：ＯＰＲ０００４０｝から、操作対象判定部８０７はボタン３７０２が操作対象であると判定する。
また、図３７（ｄ）の操作対象判定情報では、タッチ座標範囲の矩形情報があるボタン３７０１～３７１２はＬＣＤタッチパネル２００上のタッチ操作の受け付けが可能であることを示している。例えば、タッチ座標が（Ｘ：２００、Ｙ：２５０）であった時には、操作対象判定部８０７は操作対象判定情報のタッチ座標範囲内に含まれるボタン３７０２を操作対象として判定する。なお、タッチ座標範囲が斜線で示されているハードキー２０３および２０７は、操作パネル５０９を構成するハードキーの押下の検知に基づいて、操作対象として判定するＵＩ部品であることを示している。
図３８は、表示部８０６がＬＣＤタッチパネル２００上に表示する画面の一例である。
図３８（ａ）は、前述のキーボード設定画面３８００である。キーボード設定画面３８００は、ソフトウェアキーボードとしての各種キー３８０２と、ユーザ１０６が設定する任意の文字列を表示する領域３８０１から構成される。ソフトウェアキーボードの各種キー３８０２をユーザ１０６がタッチ操作することで、Ｅメールの本文として設定する任意の文字列を入力することが可能な画面となっている。
図３８（ｂ）は、前述の音声設定画面３８１０である。音声設定画面３８１０は、ユーザ１０６が設定する任意の文字列を表示する領域３８１１で構成され、ユーザ１０６が音声にて発話した内容がそのままＥメールの本文として設定する任意の文字列を入力することが可能な画面となっている。なお、音声設定画面３８１０では、音声操作には不要であるソフトウェアキーボードの各種キー３８０２が不要であるため、その分ユーザ１０６が設定する任意の文字列を表示するための領域３８１１を領域３８０１よりも大きく配置している。これにより、ユーザ１０６が設定した文字列をより多く表示することが可能となっている。
＜画像形成装置１０１のデバイス制御プログラム８０１の処理フロー＞
図３９は画像形成装置１０１のデバイス制御プログラム８０１が実行する画面更新処理の概要を示すフローチャートである。画面更新処理は、ユーザの操作を受け付けた後に実行される処理である。例えば、データ送信部８０２がグループＩＤ判定結果を受信した後に、画面更新処理が実行される。または、操作Ｉ／Ｆ５０８がＬＣＤタッチパネル２００のタッチ操作または操作パネル５０９上のハードキー２０１～２１０の押下を検知した後に、画面更新処理が実行される。入力操作受付と画面更新処理の関係は、図２５のフローチャートと同様である。また、操作対象判定処理について、図２６のフローチャートと同様である。
以降、具体的な一例として、表示部８０６が図３５（ａ）のＥメールメッセージ設定画面３７００を表示している状態での処理フローを説明する。
Ｓ３９０１では、表示部８０６が、Ｓ２５０２において操作対象として判定されたＵＩ部品の画面制御情報を読み出し、タッチ操作時と音声操作時の画面制御の内容が別々に登録されているか判定する。タッチ操作時と音声操作時の画面制御の内容が別々に登録されていない場合はＳ３９０３に進み、そうでなければＳ３９０２に進む。例えば、Ｓ２５０２において操作対象判定部８０７がボタン３０１１を操作対象として判定したとする。この場合は、該当の画面制御情報にタッチ操作時と音声操作時の画面制御の内容が別々に登録されていないことから、この制御内容に基づいて送信トップ画面（不図示）に遷移するよう制御する（Ｓ３９０２）。また、例えば、Ｓ２５０２において操作対象判定部８０７がボタン３００２を操作対象として判定した場合は、該当の画面制御情報にタッチ操作時と音声操作時の画面制御の内容が別々に登録されていることから、Ｓ３９０２に進む。
Ｓ３９０２では、Ｓ２６０１と同様に、入力操作の種別を判定する。入力操作の種別が音声である、つまり、図９で示すように、ユーザ１０６が音声操作開始指示９０５に続いて発話した結果、データ送信部８０２がグループＩＤ判定結果をサーバ１０２から受信した場合は、Ｓ３９０５に進む。対して、入力操作の種別がタッチ操作またはハードキー押下である場合は、Ｓ３９０４に進む。
Ｓ３９０４では、表示部８０６は、該当の画面制御情報の中からタッチ操作時の画面制御の内容を読み出し、その内容に基づいて画面を更新する。例えば、ユーザ１０６がボタン３００２をタッチ操作した場合は、表示部８０６はページ集約設定画面３１００に遷移する制御する。
Ｓ３９０５では、表示部８０６は、該当の画面制御情報の中から音声操作時の画面制御の内容を読み出し、その内容に基づいて画面を更新する。例えば、ユーザ１０６が「メール本文を設定」と発声し、その結果ボタン３００２が操作対象として判定された場合は、表示部８０６は音声設定画面３１１０に遷移するよう制御する。
＜備考＞
以上で説明したように、本実施例によれば、音声操作の対話セッションの中でユーザ１０６が音声操作により任意の文字列を入力する場合は、音声操作には不要なキーを排除し、入力する文字列を表示する領域を拡大した画面を表示する（図４０（ｂ））。これにより、音声操作における画像形成指示の操作性を向上させることが可能となる。また、従来通り、ユーザ１０６のタッチ操作により任意の文字列を入力する場合は、ソフトウェアキーボードを配置した画面を表示する（図４０（ａ））。これにより、ユーザ１０６の入力操作の種別に応じた画面を表示し分けることで、画像形成指示の操作性を向上させることが可能となる。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本実施例では、音声制御プログラム６０１、デバイス制御プログラム８０１、音声データ変換制御プログラム７０１がそれぞれ音声制御装置１００、画像形成装置１０１、サーバ１０２で実行されるとした。しかしながら、マイクロフォンを備えた画像形成装置１０１で各プログラムを全て実行するようにしてもよいし、サーバ１０２だけ分離し、音声制御プログラム６０１とデバイス制御プログラム８０１を画像形成装置１０１で実行するようにしてもよい。
本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
実施例では、画像形成装置１０１が提供する操作画面のうちの一部の画面について取り上げ、その操作方法について説明した。しかしながら、自然言語に基づく画面操作は上述した内容のみには限られない。装置が表示する画面の操作であれば他の画面であってもよい。そして、例えば、設定の変更指示、画面の遷移指示、処理の実行指示等を音声操作でおこなってもよい。
ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔのことである。
ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＦＡＸとは、Ｆａｃｓｉｍｉｌｅのことである。
ＨＤＤとは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。
ＩＤとは、Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのことである。
ＩＥＥＥとは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓのことである。
ＩＰとは、Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌのことである。
ＬＡＮとは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。
ＬＣＤとは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙのことである。
ＬＥＤとは、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅのことである。
ＭＥＭＳとは、Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓのことである。
ＭＦＰとは、Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌのことである。
ＭＰ３とは、ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ－３のことである。
ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。
ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。
ＲＮＮとは、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓのことである。
ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。
ＳＤカードとは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｍｅｍｏｒｙ Ｃａｒｄのことである。
ＳＳＤとは、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅのことである。
ＴＣＰとは、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌのことである。
ＵＩとは、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅのことである。
１００ 音声制御装置
１０１ 画像形成装置
１０２ サーバ装置
１０３ クライアント端末
１０４ ネットワーク
１０５ ゲートウェイ
１０６ ユーザ

Claims (16)

  1. 音を取得するマイクロフォンと、
    情報を表示するディスプレイと、
    設定項目の設定値の変更指示が可能な１または複数の設定オブジェクトを備える第１の画面を前記ディスプレイに表示させる手段と、
    前記第１の画面に遷移するための選択オブジェクトを備える第２の画面を前記ディスプレイに表示させる手段と、
    前記選択オブジェクトへのユーザ操作に基づいて、前記第１の画面を表示し、前記設定オブジェクトへのユーザ操作に基づいて前記設定値を変更する変更手段と、
    を有し、
    前記変更手段は、前記第２の画面が表示されている状態において、前記マイクロフォンを介して取得された音声に基づくテキストデータを取得すると、前記第１の画面を表示させることなく前記テキストデータに基づいて前記設定値を変更する
    ことを特徴とする情報処理システム。
  2. 前記第２の画面には、前記設定項目の名称情報が配置されていることを特徴とする請求項１に記載の情報処理システム。
  3. 前記テキストデータには前記名称情報に対応する情報が少なくとも含まれることを特徴とする請求項２に記載の情報処理システム。
  4. 前記第１の画面に遷移するための選択オブジェクトを備えない第３の画面を前記ディスプレイに表示させる手段を有し、
    前記第３の画面が前記表示されている状態において、前記マイクロフォンを介して取得された音声に基づき前記テキストデータと同一のテキストデータを取得しても、前記設定項目は変更されないことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
  5. 前記テキストデータは、テキスト情報と音声情報を対とする教師データに基づき学習した学習モデルを用いて生成されるデータであることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
  6. 前記設定項目はＥメール送信機能に関する設定項目であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
  7. 前記設定項目はＦＡＸ送信機能に関する設定項目であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
  8. 前記設定項目はプリント機能に関する設定項目であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
  9. 前記設定項目はコピー機能に関する設定項目であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
  10. 前記マイクロフォンおよび前記ディスプレイおよび前記変更手段を備える装置を有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
  11. 前記マイクロフォンおよび前記ディスプレイを備える装置と、
    前記変更手段を備える装置と、
    を有することを特徴とする請求項１乃至９のいずれか１項に記載に記載の情報処理システム。
  12. 前記マイクロフォンを備える装置と、
    前記ディスプレイおよび前記変更手段を備える装置と、
    を有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
  13. 前記第２の画面には前記変更前の設定値を示す情報が配置されていることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理システム。
  14. 前記設定項目の設定値の変更指示を受け付けたことに従って、前記設定項目にかかる変更後の設定値を示す情報が配置された第４の画面を前記ディスプレイに表示させる手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理システム。
  15. 音を取得するマイクロフォンと、
    情報を表示するディスプレイと、
    設定値の変更指示が可能な１または複数の設定オブジェクトを備える第１の画面を前記ディスプレイに表示させる手段と、
    前記第１の画面に遷移するための選択オブジェクトを備える第２の画面を前記ディスプレイに表示させる手段と、
    前記選択オブジェクトへのユーザ操作に基づいて前記第１の画面を表示し、前記設定オブジェクトへのユーザ操作に基づいて前記設定値を変更する変更手段と、
    を有し、
    前記変更手段は、前記第２の画面が表示されている状態において、前記マイクロフォンを介して取得された音声に基づくテキストデータを取得すると、前記第１の画面を表示させることなく前記テキストデータに基づいて前記設定値を変更する手段と、を有することを特徴とする情報処理装置。
  16. 設定値の変更指示が可能な１または複数の設定オブジェクトを備える第１の画面と前記第１の画面に遷移するための選択オブジェクトを備える第２の画面をディスプレイに表示可能な装置であり、音を取得するマイクロフォンを備える前記装置の情報処理方法であって、
    前記選択オブジェクトへのユーザ操作に基づいて前記第１の画面を表示し、前記設定オブジェクトへのユーザ操作に基づいて前記設定値を変更し、
    前記第２の画面が表示されている状態において、前記マイクロフォンを介して取得された音声に基づくテキストデータを取得すると、前記第１の画面を表示させることなく前記テキストデータに基づいて前記設定値を変更する
    ことを特徴とする情報処理方法。
JP2019131058A 2019-07-16 2019-07-16 情報処理システム、情報処理装置、情報処理方法 Active JP7418076B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019131058A JP7418076B2 (ja) 2019-07-16 2019-07-16 情報処理システム、情報処理装置、情報処理方法
US16/922,910 US11336780B2 (en) 2019-07-16 2020-07-07 Information processing system, information processing apparatus, and information processing method
US17/721,018 US11838460B2 (en) 2019-07-16 2022-04-14 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131058A JP7418076B2 (ja) 2019-07-16 2019-07-16 情報処理システム、情報処理装置、情報処理方法

Publications (2)

Publication Number Publication Date
JP2021015246A JP2021015246A (ja) 2021-02-12
JP7418076B2 true JP7418076B2 (ja) 2024-01-19

Family

ID=74346341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131058A Active JP7418076B2 (ja) 2019-07-16 2019-07-16 情報処理システム、情報処理装置、情報処理方法

Country Status (2)

Country Link
US (2) US11336780B2 (ja)
JP (1) JP7418076B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418076B2 (ja) * 2019-07-16 2024-01-19 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008180833A (ja) 2007-01-24 2008-08-07 Kyocera Mita Corp 操作表示装置、操作表示プログラム及び電子機器
JP2015080120A (ja) 2013-10-17 2015-04-23 コニカミノルタ株式会社 画像処理システム、画像処理装置及び携帯端末装置
JP2019096978A (ja) 2017-11-21 2019-06-20 コニカミノルタ株式会社 画像処理システム、画像処理装置及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7528990B2 (en) * 2004-06-16 2009-05-05 Ricoh Company, Ltd. Image-forming system with improved workability by displaying image finish and setting items in course of processing
JP2008096541A (ja) * 2006-10-06 2008-04-24 Canon Inc 音声処理装置およびその制御方法
JP2008197855A (ja) 2007-02-13 2008-08-28 Ricoh Co Ltd 印刷設定処理装置及び記録媒体
US7913168B2 (en) * 2007-05-25 2011-03-22 Kabushiki Kaisha Toshiba Display control apparatus, display control method, display control program
JP2010049432A (ja) 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc 表示画面制御装置およびその方法並びに情報処理装置
US9111538B2 (en) * 2009-09-30 2015-08-18 T-Mobile Usa, Inc. Genius button secondary commands
JP5673330B2 (ja) * 2011-04-25 2015-02-18 株式会社デンソー 音声入力装置
US20200137011A1 (en) * 2011-06-30 2020-04-30 Audiobyte Llc Method and system for communicating between a sender and a recipient via a personalized message including an audio clip extracted from a pre-existing recording
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
JP6514276B2 (ja) * 2017-07-03 2019-05-15 ファナック株式会社 情報処理装置および情報処理システム
JP6907788B2 (ja) * 2017-07-28 2021-07-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2019035427A1 (ja) * 2017-08-14 2019-02-21 住友建機株式会社 ショベル、及び、ショベルと協働する支援装置
JP2019047269A (ja) * 2017-08-31 2019-03-22 キヤノン株式会社 画像形成装置と画像形成装置の制御方法ならびに、プログラム
JP7146379B2 (ja) 2017-10-03 2022-10-04 キヤノン株式会社 印刷方法、音声制御システムおよびプログラム
JP7003720B2 (ja) * 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP7134645B2 (ja) * 2018-02-28 2022-09-12 キヤノン株式会社 情報処理装置、方法、そのプログラム
US11355106B2 (en) * 2018-03-30 2022-06-07 Ricoh Company, Ltd. Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
US20200312326A1 (en) * 2019-03-27 2020-10-01 Toshiba Tec Kabushiki Kaisha Image forming apparatus and job execution method
JP7418076B2 (ja) * 2019-07-16 2024-01-19 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008180833A (ja) 2007-01-24 2008-08-07 Kyocera Mita Corp 操作表示装置、操作表示プログラム及び電子機器
JP2015080120A (ja) 2013-10-17 2015-04-23 コニカミノルタ株式会社 画像処理システム、画像処理装置及び携帯端末装置
JP2019096978A (ja) 2017-11-21 2019-06-20 コニカミノルタ株式会社 画像処理システム、画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP2021015246A (ja) 2021-02-12
US20220247878A1 (en) 2022-08-04
US20210021723A1 (en) 2021-01-21
US11838460B2 (en) 2023-12-05
US11336780B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
US11475892B2 (en) Speech control system, speech control method, image processing apparatus, speech control apparatus, and storage medium
US11327697B2 (en) Information processing apparatus and startup method for input-output device
JP7147614B2 (ja) 画像形成装置、画像形成方法およびプログラム
JP2011065108A (ja) 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム
US11792338B2 (en) Image processing system for controlling an image forming apparatus with a microphone
JP7080038B2 (ja) 音声制御システム、制御方法及びプログラム
JP2010224890A (ja) 操作画面制御装置、画像形成装置、およびコンピュータプログラム
JP7418076B2 (ja) 情報処理システム、情報処理装置、情報処理方法
US11595535B2 (en) Information processing apparatus that cooperates with smart speaker, information processing system, control methods, and storage media
CN112055126B (zh) 信息处理系统、信息处理装置以及信息处理方法
TWI453655B (zh) 多功能事務機及其警示方法
JP7286321B2 (ja) 情報処理システム、情報処理装置、制御方法、プログラム
JP2020201911A (ja) 情報処理システム、情報処理装置、情報処理方法
JP7327939B2 (ja) 情報処理システム、情報処理装置、制御方法、プログラム
JP7353806B2 (ja) 情報処理システム、情報処理装置、情報処理方法
US11700338B2 (en) Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor
US20220201136A1 (en) Information processing system that executes command corresponding to utterance, image processing apparatus, control method for information processing system, and storage medium storing control program for information processing system
US20210360113A1 (en) Image forming system allowing voice operation, control method therefor, and storage medium storing control program therefor
JP2021015441A (ja) 情報処理システム、情報処理装置、情報処理方法
JP7383885B2 (ja) 情報処理装置及びプログラム
JP2021144645A (ja) 命令送信装置、命令転送システム、命令送信方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R151 Written notification of patent or utility model registration

Ref document number: 7418076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151