JP7182945B2

JP7182945B2 - 画像形成システム、画像形成装置および画像形成装置の制御方法

Info

Publication number: JP7182945B2
Application number: JP2018150506A
Authority: JP
Inventors: 寛澄辻井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2022-12-05
Anticipated expiration: 2038-08-09
Also published as: US11394838B2; US20200053236A1; JP2020027350A

Description

本発明は、画像形成システム、画像形成装置および画像形成装置の制御方法に関する。

複合機などの画像形成装置は、操作手段に対するユーザの操作に基づいて設定を変更し、ユーザが意図する画像を形成することができる。しかしながら、近年、画像形成装置は高画質化および高機能化が進み、これに応じて画像形成装置の設定項目も増え、操作手段の操作による設定操作が複雑になってきている。その結果、ユーザにおいては画像形成装置を使用しようする場合には、画像形成装置ごとの機能や仕様を理解して、１つ１つの設定を変更しなければならず、ユーザの負担が大きくなる可能性がある。

特開２０１４－２２２５１３号公報

このような画像形成装置の現状に対応するために、音声による自然言語で指示や操作が可能である対話エージェントを、画像形成装置の設定に利用することが考えられる（特許文献１）。これにより、ユーザは、音声による自然言語により画像形成装置の各種の設定を容易に変更できるようになることが期待し得る。しかしながら、単に既存の画像形成装置に対して対話エージェント機能を追加する場合には、操作手段の操作による設定の変更処理と、自然言語による設定の変更処理との双方が同時進行的に実行可能になる。このような画像形成装置では、画像形成装置の設定に、ユーザが意図しない変更が含まれてしまう可能性が生じる。たとえば対話エージェントを用いて自然言語により設定を変更しようとしている最中に操作手段の操作により設定が変更されてしまう可能性が生じる。しかも、このような事態を避けるためにユーザにより入力方法を別途選択させたり設定させたりしてしまうと、かえってユーザによる設定項目が増えることとなってしまい、本末転倒になる可能性がある。このように、画像形成装置では、ユーザに対して過度な負担をかけないように設定を変更できるようにすることが望まれている。

本発明に係る画像形成システムは、音声を自然言語処理してコマンドを取得し、前記コマンドに対応する処理を実行する画像形成システムであって、音声を入力可能なマイクロホンと、ユーザへの情報を表示し、ユーザからの操作を受け付ける操作パネルと、画像形成機能を含む複数の機能に対応する複数の選択オブジェクトが配置された第１の画面を前記操作パネルに表示させる手段と、前記操作パネルに前記第１の画面が表示された状態において、前記マイクロホンを介して第１の音声が入力されたことに従って、第２の音声の入力を待機する第２の画面であって前記操作パネルを介する前記複数の選択オブジェクトの選択操作を受け付けない第２の画面を前記操作パネルに表示させる手段と、を有することを特徴とする。

本発明の画像形成装置では、ユーザに対して過度な負担をかけないように設定を変更できる可能性がある。

本発明の第一実施形態に係る画像形成装置のブロック図である。図１の画像形成装置を含む、第一実施形態に係る画像形成システムの説明図である。図２の画像形成システムの設定処理シーケンスの一例の説明図である。図３の設定処理において画像形成装置の操作部のタッチパネルに表示される表示画面の一例の説明図である。図３の設定処理に対応する画像形成装置の処理の流れの一例を示すフローチャートである。第二実施形態に係る画像形成システムの説明図である。図６のモバイル端末のブロック図である。図６の画像形成システムの設定処理シーケンスの一例の説明図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。

［第一実施形態］
図１は、本発明の第一実施形態に係る画像形成装置１００のブロック図である。図１の画像形成装置１００は、たとえば、コピー、ファックス等の複数の機能を備える複合機（ＭＦＰ）である。図１の画像形成装置１００は、ＲＯＭ１０６、ＲＡＭ１０７、記憶装置１０８、プリンタ部１０２、スキャナ部１０３、操作部１０４、ＬＡＮ通信部１０５、ＵＳＢデバイス通信部１０９、ＵＳＢホスト通信部１１０、スピーカ／マイク部１１１、を有する。これらの画像形成装置１００の各部は、ＳＯＣ１０１に接続される。プリンタ部１０２は、たとえば感光体ドラム、レーザ発生器、トナー定着器、モータ、を有する。プリンタ部１０２は、用紙へ画像を印刷する。スキャナ部１０３は、たとえば原稿検知センサ、読取センサ、モータ、を有する。スキャナ部１０３は、原稿の画像を読み取る。操作部１０４は、たとえばタッチパネル、キー、を有する。操作部１０４は、表示データを、タッチパネルに表示する。操作部１０４は、ユーザの操作に応じて、ユーザ操作対応する操作信号を出力する。ＬＡＮ通信部１０５は、たとえばネットワークコントローラ、有線ＬＡＮインターフェース、を有する。ＬＡＮ通信部１０５は、ネットワークを構成するＬＡＮケーブルにより外部機器と接続される。ＬＡＮ通信部１０５は、外部機器との間でデータ通信を行う。ＵＳＢデバイス通信部１０９は、たとえばＴｙｐｅＢのＵＳＢデバイスインターフェース、を有する。ＵＳＢデバイス通信部１０９は、ＵＳＢケーブルにより外部デバイスであるパーソナルコンピュータなどと接続される。ＵＳＢデバイス通信部１０９は、接続された外部デバイスとの間でデータ通信を行う。ＵＳＢホスト通信部１１０は、たとえばＴｙｐｅＡのＵＳＢホストインターフェース、給電ＩＣ、を有する。ＵＳＢホスト通信部１１０は、ＵＳＢケーブルにより外部デバイスであるパーソナルコンピュータなどと接続される。ＵＳＢホスト通信部１１０は、接続された外部デバイスへ給電し、外部デバイスとデータ通信を行う。スピーカ／マイク部１１１は、ユーザによる自然言語による音声を取得するマイクロホン１１２と、ユーザへの応答を音声にて出力するスピーカ、を有する。ＲＯＭ１０６は、ＳＯＣ１０１を起動するためのプログラムや各種設定情報が記録されるメモリである。記憶装置１０８は、サイズの大きなプログラムやデータを保存する不揮発性メモリである。記憶装置１０８は、たとえば、ＨＤＤ、ＳＳＤ、フラッシュメモリで構成されてよい。ＲＡＭ１０７は、ＳＯＣ１０１が動作するためのワークメモリである。ＳＯＣ１０１は、たとえばＣＰＵ、上述した各部を制御するためのインターフェースおよびコントローラ８００、を有する。ＳＯＣ１０１のＣＰＵは、ＲＯＭ１０６および記憶装置１０８のプログラムをＲＡＭ１０７に展開して実行する。これにより、ＳＯＣ１０１は、画像形成装置１００の全体を制御するメインユニットとして機能する。ＳＯＣ１０１のＣＰＵは、プログラムに基づく処理において、ＲＡＭ１０７や記憶装置１０８に、演算処理結果、プリントやスキャンなどの処理において利用する画像データ、などを保存する。ＳＯＣ１０１のＣＰＵは、操作部１０４などからの信号に応じて、プリントやスキャンなどの画像形成処理を実行する。

ところで、複合機などの画像形成装置１００において、ＳＯＣ１０１は、たとえば操作部１０４のタッチパネルに画像形成装置１００の設定を表示し、操作部１０４に対するユーザの操作に基づいて画像形成処理の設定を変更する。これにより、画像形成装置１００は、ユーザが意図する画像を形成することができる。しかしながら、近年、画像形成装置１００は高画質化および高機能化が進み、これに応じて画像形成装置１００の設定項目も増え、操作部１０４の操作による設定操作が複雑になってきている。その結果、ユーザにおいては画像形成装置１００を使用しようする場合には、画像形成装置１００ごとの機能や仕様を理解して、１つ１つの設定を変更しなければならず、ユーザの負担が大きくなる可能性がある。このような画像形成装置１００の現状に対応するために、スピーカ／マイク部１１１を用いて、音声による自然言語で指示や操作が可能である対話エージェントを、画像形成装置１００の設定に利用することが考えられる。これにより、ユーザは、音声による自然言語により画像形成装置１００の各種の設定を容易に変更できるようになることが期待し得る。しかしながら、単に既存の画像形成装置１００に対して対話エージェント機能を追加する場合には、操作部１０４の操作による設定の変更処理と、自然言語による設定の変更処理との双方が同時進行的に実行可能になる。このような画像形成装置１００では、画像形成装置１００の設定に、ユーザが意図しない変更が含まれてしまう可能性が生じる。たとえば対話エージェントを用いて自然言語により設定を変更しようとしている最中に操作部１０４の操作により設定が変更されてしまう可能性が生じる。しかも、このような事態を避けるためにユーザにより入力方法を別途選択させたり設定させたりしてしまうと、かえってユーザによる設定項目が増えることとなってしまい、本末転倒になる可能性がある。このように、画像形成装置１００では、ユーザに対して過度な負担をかけないように設定を変更できるようにすることが望まれている。

図２は、図１の画像形成装置１００を含む、第一実施形態に係る画像形成システム２００の説明図である。図２の画像形成システム２００は、図１の設定を変更可能な画像形成装置１００、クラウドサーバ装置２０１、を有する。クラウドサーバ装置２０１は、図１の画像形成装置１００と同様に、ＬＡＮ通信部、ＲＯＭ、記憶装置、ＲＡＭ、ＣＰＵ、を有する。クラウドサーバ装置２０１のＣＰＵは、ＲＯＭおよび記憶装置に記憶されるプログラムを展開して実行する。これにより、クラウドサーバ装置２０１には、解析サーバ部２０２、設定サーバ部２０３、が実現される。解析サーバ部２０２は、ＬＡＮ通信部が受信する音声のデータを、音声についての自然言語処理により解析し、解析結果を設定サーバ部２０３へ出力する。解析サーバ部２０２は、自然言語処理において、たとえば音声の波形データに含まれる音素を抽出し、その音素の並びを解析結果とすればよい。音素の並びは、字句の並びに対応する。設定サーバ部２０３は、解析サーバ部２０２から取得する解析結果を用いて、画像形成装置１００に対する設定を選択する。設定サーバ部２０３は、予め各設定に対応付けられた音素の並びと解析結果の音素の並びとを比較し、最も合致度が高い音素の並びに対応付けられた設定を選択すればよい。設定サーバ部２０３は、選択した設定を画像形成装置１００に設定するためのコマンドを生成し、ＬＡＮ通信部から送信させる。

図３は、図２の画像形成システム２００の設定処理シーケンスの一例の説明図である。図３のＳ４０１において、画像形成装置１００のＳＯＣ１０１は、マイクロホン１１２からユーザの音声による操作についての音声データを取得すると、ＬＡＮ通信部１０５からクラウドサーバ装置２０１のＬＡＮ通信部へ音声データを送信する。Ｓ４０２において、クラウドサーバ装置２０１の解析サーバ部２０２は、ＬＡＮ通信部が受信した音声データを自然言語処理により解析する。Ｓ４０３において、解析サーバ部２０２は、解析結果を設定サーバ部２０３へ出力する。Ｓ４０４において、設定サーバ部２０３は、解析サーバ部２０２から取得した解析結果を、画像形成装置１００に対する設定を選択する。Ｓ４０５において、設定サーバ部２０３は、選択した画像形成装置１００に対する設定についてのコマンドを、ＬＡＮ通信部から画像形成装置１００のＬＡＮ通信部１０５へ送信する。Ｓ４０６において、画像形成装置１００のＳＯＣ１０１は、ＬＡＮ通信部１０５から、クラウドサーバ装置２０１により選択された設定についてのコマンドを取得する。ＳＯＣ１０１は、画像形成装置１００のマイクロホン１１２が取得した音声を自然言語処理することにより得られる設定のコマンドを取得する。コマンドを取得した後のＳ４０７において、ＳＯＣ１０１は、操作部１０４をロックし、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止する。これにより、ＳＯＣ１０１は、ユーザによる操作部１０４は検出するが、その操作に基づく処理を実行しないようになる。また、ＳＯＣ１０１は、取得したコマンドに基づいて画像形成装置１００の設定を変更する。Ｓ４０８において、ＳＯＣ１０１は、取得したコマンドに応じた設定を実行する。ここで設定とは、たとえばコピー動作であれば印刷部数の指定や、印刷画質の設定である。これにより、画像形成装置１００の設定は、ユーザの音声による操作に基づいて変更される。変更された設定は、他の設定とともにたとえばＲＡＭ１０７に記録される。Ｓ４０９において、ＳＯＣ１０１は、ユーザによる操作部１０４の操作を検出する。Ｓ４１０において、ＳＯＣ１０１は、操作部１０４の操作の検出に基づいて、設定をデフォルトに戻すようにクリアする。Ｓ４１１において、ＳＯＣ１０１は、操作部１０４のロックを解除し、操作部１０４の操作に基づいて設定を変更する、または変更可能にする。その後、ＳＯＣ１０１は、操作部１０４の操作に基づいて画像形成装置１００の設定を変更する。

図４は、図３の設定処理において画像形成装置１００の操作部１０４の表示デバイスとしてのタッチパネルに表示される表示画面の一例の説明図である。図４（Ａ）は、操作部１０４により設定を変更するために表示される画像形成装置１００の機能の選択画面（第一の画面）である。ＳＯＣ１０１は、たとえば画像形成装置１００を起動した場合、Ｓ４１１において操作部１０４のロックを解除した場合に、図４（Ａ）の画面を操作部１０４のタッチパネルに表示する。図４（Ａ）の画面には、画像形成装置１００の機能であるコピー（ＣＯＰＹ）、スキャン（ＳＣＡＮ）、フアックス（ＦＡＸ）とともに、「設定」機能が操作可能に表示されている。図４（Ｂ）は、操作部１０４をロックして音声入力を受け付けている旨を表示する画面（第二の画面）である。ＳＯＣ１０１は、たとえばＳ４０７において音声入力を受け付けて操作部１０４の操作による設定変更を禁止する場合に、図４（Ｂ）の画面を操作部１０４のタッチパネルに表示する。図４（Ｃ）は、音声入力を中止するとともに操作部１０４のロックを解除することを確認する画面（第三の画面）である。図４（Ｃ）の画面には、確認内容に対する「はい」と「いいえ」が操作可能に表示されている。ＳＯＣ１０１は、たとえばＳ４０９、Ｓ４１０またはＳ４１１において設定をクリアして操作部１０４のロックを解除する場合に、図４（Ｃ）の画面を操作部１０４のタッチパネルに表示する。図４（Ｄ）は、操作部１０４をロックして音声入力を開始することを確認する画面である。ＳＯＣ１０１は、たとえばＳ４０６において音声に基づくコマンドを取得した場合に、図４（Ｄ）の画面を操作部１０４のタッチパネルに表示する。図４（Ｄ）の画面には、確認内容に対する「はい」と「いいえ」とが操作可能に表示されている。

図５は、図３の設定処理に対応する画像形成装置１００の処理の流れの一例を示すフローチャートである。画像形成装置１００のＳＯＣ１０１のＣＰＵは、画像形成装置１００の設定を変更する場合に、図５の処理を実行する。図５のＳ６０１において、ＳＯＣ１０１のＣＰＵは、設定サーバ部２０３からコマンドを取得したか否かを判断する。コマンドを取得していない場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６１０へ進める。Ｓ６１０において、ＳＯＣ１０１のＣＰＵは、操作部１０４に対するユーザ操作を検知したか否かを判断する。ユーザ操作を検知していない場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻す。このように、ＳＯＣ１０１のＣＰＵは、コマンドの取得と、ユーザ操作との両面待ち状態にある。

Ｓ６０１においてコマンドを取得している場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０２へ進める。Ｓ６０２において、ＳＯＣ１０１のＣＰＵは、操作部１０４をロックする。Ｓ６０３において、ＳＯＣ１０１のＣＰＵは、図４（Ｂ）の音声入力受付画面をタッチパネルに表示する。Ｓ６０４のコマンド設定工程において、ＳＯＣ１０１のＣＰＵは、コマンドに基づく設定変更を実行する。Ｓ６０５において、ＳＯＣ１０１のＣＰＵは、操作部１０４の操作が検知されたか否かを判断する。操作部１０４の操作が検知されていない場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻し、次のコマンドまたは操作を待つ。操作部１０４の操作が検知されている場合、Ｓ６０６において、ＳＯＣ１０１のＣＰＵは、図４（Ｃ）の音声入力解除の確認画面をタッチパネルに表示する。ＳＯＣ１０１のＣＰＵは、操作部１０４の操作による画像形成装置１００の設定変更の禁止を解除するか否かを表示させる。Ｓ６０７において、ＳＯＣ１０１のＣＰＵは、音声入力解除の確認画面に対する操作部１０４の操作を判断する。ＳＯＣ１０１のＣＰＵは、操作部１０４の操作による設定変更を禁止していることをタッチパネルに表示している状態において操作部１０４が操作された場合に、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を継続するか否かを判断する。解除しない操作がなされると、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻し、次のコマンドまたは操作を待つ。音声入力解除の操作がなされると、Ｓ６０８において、ＳＯＣ１０１のＣＰＵは、操作部１０４のロックを解除する。Ｓ６０９において、ＳＯＣ１０１のＣＰＵは、コマンドに基づいて設定の変更をデフォルトに戻してクリアする。このように、ＳＯＣ１０１のＣＰＵは、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を継続しない場合には、コマンドに基づいて既にした設定をクリアする。その後、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻し、次のコマンドまたは操作を待つ。

ステップＳ６１０においてユーザ操作を検知している場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６１１へ進める。Ｓ６１１の操作設定工程において、ＳＯＣ１０１のＣＰＵは、操作部１０４に対するユーザ操作に基づいて、設定を変更する。Ｓ６１２において、ＳＯＣ１０１のＣＰＵは、設定サーバ部２０３からコマンドを取得したか否かを判断する。コマンドを取得していない場合、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻し、次のコマンドまたは操作を待つ。コマンドを取得している場合、Ｓ６１３において、ＳＯＣ１０１のＣＰＵは、図４（Ｄ）の音声入力開始の確認画面をタッチパネルに表示する。ＳＯＣ１０１のＣＰＵは、タッチパネルに、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を開始するか否かを表示させる。Ｓ６１４において、ＳＯＣ１０１のＣＰＵは、音声入力開始の確認画面に対する操作部１０４の操作を判断する。ＳＯＣ１０１のＣＰＵは、操作部１０４の操作により画像形成装置１００の設定を変更した後に、自然言語処理に基づくコマンドを取得した場合、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を開始するか否かを判断する。開始しない操作がなされると、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０１へ戻し、次のコマンドまたは操作を待つ。音声入力開始の操作がなされると、ＳＯＣ１０１のＣＰＵは、処理をステップＳ６０２へ進める。ＳＯＣ１０１のＣＰＵは、操作部１０４をロックし、取得した音声入力のコマンドに基づく設定変更を実行する。ＳＯＣ１０１のＣＰＵは、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を開始する場合には、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止する。

以上のように、本実施形態では、画像形成装置１００は、操作部１０４に対するユーザ操作に基づいて設定を変更することができるだけでなく、自然言語処理に基づいて生成されたコマンドを取得して設定を変更することができる。ユーザは、音声による自然言語により画像形成装置１００の各種の設定を変更することができる。本実施形態では、ユーザの負担を軽減し得る。しかも、本実施形態では、自然言語処理に基づくコマンドを取得すると、その取得に基づいて、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止する。よって、自然言語により設定を変更しようとしている最中に操作部１０４が操作されるとしても、その操作部１０４の操作により設定が変更されなくなる。画像形成装置１００の設定には、自然言語により設定を変更しようとしているユーザが意図していない変更が含まれ難くなる。しかも、ＳＯＣ１０１のＣＰＵは、自然言語処理に基づくコマンドを取得したことに基づいて、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止している。よって、ユーザは、自然言語による設定とは別に、自ら入力方法を選択したり設定したりする必要もない。このように本実施形態では、ユーザが自然言語にて画像形成装置１００を操作している際に操作部１０４の画面操作がなされても、画面操作による設定の変更を禁止できる。ユーザが意図しない設定の変更を防止できる。

本実施形態では、画像形成装置１００は、自然言語処理に基づくコマンドを取得した場合、操作部１０４のタッチパネルに、操作部１０４の操作による設定変更を禁止していることを表示する。よって、画像形成装置１００が自然言語処理に基づくコマンドに基づいて設定を変更している場合に、ユーザが画像形成装置１００の操作部１０４を操作しないようにできる。しかも、その表示状態において操作部１０４が操作された場合には、画像形成装置１００は、自然言語処理に基づくコマンドによる設定変更を継続するか否かを判断する。そして、コマンドによる設定変更を継続しない場合、画像形成装置１００は、コマンドに基づいて既にした設定をクリアする。ここで、ＳＯＣ１０１のＣＰＵは、たとえばタッチパネルに操作部１０４の操作による画像形成装置１００の設定変更の禁止を解除するか否かを表示させ、操作部１０４に対する操作に応じて、コマンドによる設定変更を継続するか否かを判断すればよい。これにより、画像形成装置１００の操作部１０４を操作しようとするユーザは、それまでのコマンドによる設定変更の影響がない状態から、操作部１０４を操作して設定を変更することができる。ユーザは、意図していない変更が含まれない状態から、操作部１０４を操作して設定を変更することができる。本実施形態では、画像形成装置１００は、操作部１０４の操作による設定変更を開始した後に自然言語処理に基づくコマンドを取得した場合、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を開始するか否かを判断する。そして、自然言語処理に基づくコマンドによる設定変更を開始する場合には、画像形成装置１００は、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止する。よって、画像形成装置１００が自然言語処理に基づくコマンドに基づく設定変更を開始した後に、画像形成装置１００の操作部１０４の操作により画像形成装置１００の設定を変更できないようできる。しかも、ＳＯＣ１０１のＣＰＵは、操作部１０４のタッチパネルに、自然言語処理に基づくコマンドによる画像形成装置１００の設定変更を開始するか否かを表示させ、操作部１０４に対する操作に応じて、コマンドによる設定変更を開始するか否かを判断する。これにより、画像形成装置１００は、ユーザの意図に合わせて、自然言語処理に基づくコマンドによる設定変更を開始することができる。本実施形態では、画像形成装置１００は、スピーカ／マイク部１１１において、自然言語による音声を取得するマイクロホン１１２、を有し、マイクロホン１１２が取得した音声を自然言語処理することにより得られるコマンドを取得する。よって、ユーザは、画像形成装置１００の操作部１０４を操作できる状態にある場合に、自然言語による音声により設定を変更することができる。

［第二実施形態］
次に、本発明の第二実施形態に係る画像形成装置１００および画像形成システム２００を説明する。本実施形態は、設定を変更するための音声をモバイル端末３０１に入力する例である。以下の説明では、主に第一実施形態との相違点について説明する。

図６は、第二実施形態に係る画像形成システム２００の説明図である。図６の画像形成システム２００は、モバイル端末３０１、設定を変更可能な画像形成装置１００、クラウドサーバ装置２０１、を有する。モバイル端末３０１は、図示していないがアクセスポイント経由でクラウドサーバ装置２０１の解析サーバ部２０２と通信する通信装置である。画像形成装置１００は、ＬＡＮ通信部１０５を介してクラウドサーバ装置２０１の設定サーバ部２０３と通信する。この場合、モバイル端末３０１は、ユーザの音声による操作を自然言語で受け取り、それを解析サーバ部２０２に音声データとして送信する。解析サーバ部２０２は、モバイル端末３０１から音声データを受信すると自然言語処理を行い、抽出された字句を解析する。設定サーバ部２０３は、解析サーバ部２０２から取得する解析結果を用いて、画像形成装置１００に対する設定を選択する。設定サーバ部２０３は、予め各設定に対応付けられた音素の並びと解析結果の音素の並びとを比較し、最も合致度が高い音素の並びに対応付けられた設定を選択すればよい。設定サーバ部２０３は、選択した設定を画像形成装置１００に設定するためのコマンドを生成し、ＬＡＮ通信部から画像形成装置１００へ送信させる。

図７は、図６のモバイル端末３０１のブロック図である。図７のモバイル端末３０１は、コントローラ８００、表示部８０７、操作部８０９、通話部８１３、音声用アンテナ８１６、無線ＬＡＮ用アンテナ８１８、を有する。コントローラ８００は、ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、記憶装置８０４、表示部コントローラ８０６、操作部コントローラ８０８、通話部コントローラ８１２、無線ＬＡＮコントローラ８１７、およびシステムバス８０５、を有する。表示部コントローラ８０６は、画像データなどを、表示部８０７の通信プロトコルで、表示部８０７へ送信する。表示部８０７は、画像データなどを表示する。操作部８０９は、タッチパネル８１０、キー８１１、を有する。操作部コントローラ８０８は、タッチパネル８１０とキー８１１からの入力を受け付け、ＣＰＵ８０１で使用可能なデジタルデータに変換する。通話部８１３は、自然言語による音声を取得するマイクロホン８１４、スピーカ８１５、を有する。通話部コントローラ８１２は、マイクロホン８１４から入力される音声信号を音声データへ変換して符号化し、音声用アンテナ８１６の送信電波に重畳する。通話部コントローラ８１２は、音声用アンテナ８１６の受信電波から複合した音声データをスピーカ８１５へ出力する。無線ＬＡＮコントローラ８１７は、無線ＬＡＮ用アンテナ８１８を介して、上述したアクセスポイント経由でクラウドサーバ装置２０１との間で通信データを送受する。ＲＯＭ８０３は、ＣＰＵ８０１の起動プログラムや各種設定情報が記録されるメモリである。記憶装置８０４は、サイズの大きなプログラムやデータを保存しておくための不揮発性メモリである。記憶装置８０４は、たとえば、内蔵されたフラッシュメモリ、外部Ｉ／Ｆに接続された半導体メモリカード、である。ＲＡＭ８０２は、ＣＰＵ８０１が動作するためのワークメモリである。ＣＰＵ８０１は、ＲＯＭ８０３および記憶装置８０４のプログラムをＲＡＭ８０２に展開して実行する。これにより、ＣＰＵ８０１は、モバイル端末３０１の全体を制御するメインユニットとして機能する。

図８は、図６の画像形成システム２００の設定処理シーケンスの一例の説明図である。図８のＳ５０１において、モバイル端末３０１のＣＰＵ８０１は、マイクロホン８１４からユーザの音声による操作についての音声データを取得すると、無線ＬＡＮコントローラ８１７からクラウドサーバ装置２０１のＬＡＮ通信部へ音声データを送信する。Ｓ５０２において、クラウドサーバ装置２０１の解析サーバ部２０２は、ＬＡＮ通信部が受信した音声データを自然言語処理により解析する。Ｓ５０３において、解析サーバ部２０２は、解析結果を設定サーバ部２０３へ出力する。Ｓ５０４において、設定サーバ部２０３は、解析サーバ部２０２から取得した解析結果を、画像形成装置１００に対する設定を選択する。Ｓ５０５において、設定サーバ部２０３は、選択した画像形成装置１００に対する設定についてのコマンドを、ＬＡＮ通信部から画像形成装置１００のＬＡＮ通信部１０５へ送信する。Ｓ５０６において、画像形成装置１００のＳＯＣ１０１は、ＬＡＮ通信部１０５から、クラウドサーバ装置２０１により選択された設定についてのコマンドを取得する。ＳＯＣ１０１は、モバイル端末３０１のマイクロホン８１４が取得した音声を自然言語処理することにより得られる設定のコマンドを取得する。コマンドを取得した後のＳ５０７において、ＳＯＣ１０１は、画像形成装置１００の操作部１０４をロックし、操作部１０４に対するユーザ操作に基づく画像形成装置１００の設定変更を禁止する。これにより、ＳＯＣ１０１は、ユーザによる操作部１０４の操作は検出するが、その操作に基づく処理を実行しないようになる。また、ＳＯＣ１０１は、取得したコマンドに基づいて画像形成装置１００の設定を変更する。Ｓ５０８において、ＳＯＣ１０１は、取得したコマンドに応じた設定を実行する。ここで設定とは、たとえばコピー動作であれば印刷部数の指定や、印刷画質の設定である。これにより、画像形成装置１００の設定は、ユーザの音声による操作に基づいて変更される。変更された設定は、他の設定とともにたとえばＲＡＭ１０７に記録される。Ｓ５０９において、ＳＯＣ１０１は、ユーザによる画像形成装置１００の操作部１０４の操作を検出する。Ｓ５１０において、ＳＯＣ１０１は、操作部１０４の操作の検出に基づいて、設定をデフォルトに戻すようにクリアする。Ｓ５１１において、ＳＯＣ１０１は、操作部１０４のロックを解除し、操作部１０４の操作に基づいて設定を変更する、または変更可能にする。その後、ＳＯＣ１０１は、操作部１０４の操作に基づいて画像形成装置１００の設定を変更する。この場合、画像形成装置１００の処理の流れは、図５と同様でよい。このように本実施形態では、ユーザが自然言語にて画像形成装置１００を操作している際に操作部１０４の画面操作がなされても、画面操作による設定の変更を禁止できる。ユーザが意図しない設定の変更を防止できる。

以上のように、本実施形態では、ユーザは、画像形成装置１００とは別体の音声入力装置としてのモバイル端末３０１のマイクロホン８１４に対して自然言語による音声を発する。これにより、画像形成装置１００は、音声を自然言語処理することにより得られるコマンドに基づいて画像形成装置１００の設定を変更することができる。よって、ユーザは、画像形成装置１００からたとえば離れていて画像形成装置１００の操作部１０４を操作できない状況にあっても、モバイル端末３０１を用いて画像形成装置１００の設定を変更して画像形成装置１００を利用することができる。本実施形態では、クラウドサーバ装置２０１の解析サーバ部２０２が、モバイル端末３０１のマイクロホン８１４が取得した音声のデータを取得して解析し、設定サーバ部２０３が、その解析結果を取得して用いて画像形成装置１００の設定を選択する。よって、画像形成装置１００そのものに、音声のデータを解析する機能や、解析結果に応じて画像形成装置１００の設定を選択する機能を、実装する必要がない。画像形成装置１００に、多種多様な自然言語に対応する機能を実装する必要がない。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

上記実施形態では、画像形成装置１００とは別体のクラウドサーバ装置２０１に、解析サーバ部２０２および設定サーバ部２０３を設けている。この他にもたとえば、解析サーバ部２０２および設定サーバ部２０３の少なくとも一方は、画像形成装置１００に設けてもよい。

上記実施形態では、特段の明記をしていないが、音声の入力では、画像形成装置１００の１つの設定を入力しても、複数の設定をまとめて入力できるようにしてもよい。この場合、設定サーバ部２０３は、設定ごとに複数のコマンドを生成しても、複数の設定をまとめて設定するコマンドを生成してもよい。

上記実施形態の図５の設定処理では、画像形成装置１００は、画像形成装置１００の操作部１０４の操作による設定中であっても音声に基づくコマンドによる設定を取得できるようにしている。すなわち、画像形成装置１００は、図５において、操作による設定よりも音声による設定を優先的に扱う処理となっている。この他にもたとえば、画像形成装置１００は、画像形成装置１００の設定処理において、操作による設定および音声による設定のいずれか一方の処理が開始された後には他方を禁止して、操作による設定と音声による設定とを、平等に扱う処理でもよい。また、画像形成装置１００は、画像形成装置１００の設定処理において、音声による設定よりも操作による設定を優先的に扱う処理でもよい。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００画像形成装置
１０１ＳＯＣ
１０４操作部
１０５ＬＡＮ通信部
１１２マイクロホン
２００画像形成システム
２０１クラウドサーバ装置
２０２解析サーバ部
２０３設定サーバ部
３０１モバイル端末
８１４マイクロホン

Claims

音声を自然言語処理してコマンドを取得し、前記コマンドに対応する処理を実行する画像形成システムであって、
音声を入力可能なマイクロホンと、
ユーザへの情報を表示し、ユーザからの操作を受け付ける操作パネルと、
画像形成機能を含む複数の機能に対応する複数の選択オブジェクトが配置された第１の画面を前記操作パネルに表示させる手段と、
前記操作パネルに前記第１の画面が表示された状態において、前記マイクロホンを介して第１の音声が入力されたことに従って、第２の音声の入力を待機する第２の画面であって前記操作パネルを介する前記複数の選択オブジェクトの選択操作を受け付けない第２の画面を前記操作パネルに表示させる手段と、を有することを特徴とする画像形成システム。
前記操作パネルに前記第２の画面が表示されている状態において、前記操作パネルのいずれかのタッチ領域へのタッチ操作を検知したことに従って、前記第２の音声の入力を待機するか否かの確認を行う第３の画面を前記操作パネルに表示させる手段を有することを特徴とする請求項１に記載の画像形成システム。
前記第３の画面は、前記第２の音声の入力を待機する状態の解除を指示する選択オブジェクトを備えることを特徴とする請求項２に記載の画像形成システム。
前記第３の画面は、前記第２の音声の入力を待機する状態の継続を指示する選択オブジェクトを備えることを特徴とする請求項２に記載の画像形成システム。
前記第２の画面は、音声入力についてのメッセージが配置されていることを特徴とする請求項１に記載の画像形成システム。
前記第２の音声の入力にしたがって第２のコマンドを取得する手段を有することを特徴とする請求項１に記載の画像形成システム。
前記画像形成システムは、サーバと画像形成装置とを有し、
前記サーバは、
前記マイクロホンを介して入力された音声のデータを取得する手段と、
前記音声のデータを前記自然言語処理により解析する手段と、
前記解析の結果に応じたコマンドを取得する手段と、を有し、
前記画像形成装置は、
前記操作パネルと、
前記操作パネルに表示する画面を制御する手段と、
前記サーバから前記コマンドを取得する手段と、を有することを特徴とする請求項１に記載の画像形成システム。
前記画像形成システムは、第１のサーバと第２のサーバと画像形成装置とを有し、
前記第１のサーバは、
前記マイクロホンを介して入力された音声のデータを取得する手段と、
前記音声のデータを前記自然言語処理により解析する手段と、を有し、
前記第２のサーバは、
前記解析の結果に応じたコマンドを取得する手段を有し、
前記画像形成装置は、
前記操作パネルと、
前記操作パネルに表示する画面を制御する手段と、
前記第２のサーバから前記コマンドを取得する手段と、を有することを特徴とする請求項１に記載の画像形成システム。
前記複数の機能は少なくともコピー機能を含むことを特徴とする請求項１に記載の画像形成システム。
前記複数の機能は少なくともスキャン機能を含むことを特徴とする請求項１に記載の画像形成システム。
前記複数の機能は少なくともファックス機能を含むことを特徴とする請求項１に記載の画像形成システム。
前記複数の機能は少なくとも設定機能を含むことを特徴とする請求項１に記載の画像形成システム。
前記操作パネルおよび前記マイクロホンを備える画像形成装置を有することを特徴とする請求項１に記載の画像形成システム。
前記マイクロホンを備える通信装置と、
前記操作パネルを備える画像形成装置と、を有することを特徴とする請求項１に記載の画像形成システム。
前記通信装置はモバイル端末であることを特徴とする請求項１４に記載の画像形成システム。
音声を自然言語処理してコマンドを取得し、前記コマンドに対応する処理を実行する画像形成システムに用いられる画像形成装置であって、
音声を入力可能なマイクロホンと、
ユーザへの情報を表示し、ユーザからの操作を受け付ける操作パネルと、
画像形成機能を含む複数の機能に対応する複数の選択オブジェクトが配置された第１の画面を前記操作パネルに表示させる手段と、
前記操作パネルに前記第１の画面が表示された状態において、前記マイクロホンを介して第１の音声が入力されたことに従って、第２の音声の入力を待機する第２の画面であって前記操作パネルを介する前記複数の選択オブジェクトの選択操作を受け付けない第２の画面を前記操作パネルに表示させる手段と、を有することを特徴とする画像形成装置。
音声を自然言語処理してコマンドを取得し、前記コマンドに対応する処理を実行する画像形成システムに用いられる画像形成装置の制御方法であって、
画像形成機能を含む複数の機能に対応する複数の選択オブジェクトが配置された第１の画面を前記画像形成装置の操作パネルに表示させる工程と、
前記操作パネルに前記第１の画面が表示された状態において、前記画像形成装置のマイクロホンを介して第１の音声が入力されたことに従って、第２の音声の入力を待機する第２の画面であって前記操作パネルを介する前記複数の選択オブジェクトの選択操作を受け付けない第２の画面を前記操作パネルに表示させる工程と、を有することを特徴とする画像形成装置の制御方法。