JP7263869B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7263869B2
JP7263869B2 JP2019055200A JP2019055200A JP7263869B2 JP 7263869 B2 JP7263869 B2 JP 7263869B2 JP 2019055200 A JP2019055200 A JP 2019055200A JP 2019055200 A JP2019055200 A JP 2019055200A JP 7263869 B2 JP7263869 B2 JP 7263869B2
Authority
JP
Japan
Prior art keywords
user
parameters
image
change
image forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019055200A
Other languages
English (en)
Other versions
JP2020155030A (ja
Inventor
章 角田
徹哉 小林
駿 三井
智彦 二宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019055200A priority Critical patent/JP7263869B2/ja
Priority to US16/558,161 priority patent/US11625200B2/en
Publication of JP2020155030A publication Critical patent/JP2020155030A/ja
Application granted granted Critical
Publication of JP7263869B2 publication Critical patent/JP7263869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1257Configuration of print job parameters, e.g. using UI at the client by using pre-stored settings, e.g. job templates, presets, print styles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292Mobile client, e.g. wireless printing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00403Voice input means, e.g. voice commands
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Description

本発明は、情報処理装置及びプログラムに関する。
例えば画像形成装置には、ユーザを支援する機能として、繰り返し用いる操作やパラメータの値をジョブメモリとして保存する機能が用意されている。ジョブメモリとして保存された設定は、ボタンひとつで読み出すことができる。また、ジョブメモリには、一連の操作の過程で表示される画面の階層なども記憶することができる。
特開2018-46416号公報
パラメータの1つでも異なると、別のジョブメモリとして保存する必要がある。このため、ジョブメモリの数が増えると、ユーザの操作性が低下する。また、保存名には、パラメータの全てを含めることができないため、保存名だけではパラメータの内容を把握できない。このため、ジョブメモリを選択した後でなければ、設定内容を確認できない。選択した保存名のジョブメモリがユーザの意図と異なる場合には、選択を繰り返す必要があり、この点でも操作性が低下する。
本発明は、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できるようにすることを目的とする。
請求項1に記載の発明は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段と、を有する情報処理装置である。
請求項に記載の発明は、ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項に記載の情報処理装置である。
請求項に記載の発明は、画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、解消したい画質の内容に対するユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項に記載の情報処理装置である。
請求項に記載の発明は、変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項に記載の情報処理装置である。
請求項に記載の発明は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、を有し、前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する情報処理装置である。
請求項に記載の発明は、前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項に記載の情報処理装置である。
請求項に記載の発明は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、を有し、ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する情報処理装置である。
請求項に記載の発明は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、を有し、読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する情報処理装置である。
請求項に記載の発明は、操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項1、5、7又は8に記載の情報処理装置である。
請求項10に記載の発明は、請求項1、5、7又は8に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末であるである。
請求項11に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける機能と、実現させるためのプログラムである。
請求項12に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、を実現させるためのプログラムであり、前記確認する機能は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、プログラムである。
請求項13に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、を実現させるためのプログラムであり、ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、プログラムである。
請求項14に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、を実現させるためのプログラムであり、読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、プログラムである。
請求項1記載の発明によれば、操作するボタンの位置を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項記載の発明によれば、操作するボタンの読み名を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項記載の発明によれば、ユーザの作業負担を低減できる。
請求項記載の発明によれば、ユーザの作業負担を低減できる。
請求項記載の発明によれば、ユーザが望まない、又は、組み合わせの目的に反する、又は、機械的に矛盾する変更を未然に防ぐことができる。
請求項記載の発明によれば、宛先表の内容が知らない間に変更されている場合にも、予期せぬ送信等を未然に防ぐことができる。
請求項記載の発明によれば、組み合わせ情報を取得する画像形成装置の選択をユーザの視認により実現できる。
請求項10記載の発明によれば、実機を見ながらの操作を効率化できる。
請求項11記載の発明によれば、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できる。
請求項12記載の発明によれば、ユーザの作業負担を低減できる。
請求項13記載の発明によれば、ユーザが望まない、又は、組み合わせの目的に反する、又は、機械的に矛盾する変更を未然に防ぐことができる。
請求項14記載の発明によれば、宛先表の内容が知らない間に変更されている場合にも、予期せぬ送信等を未然に防ぐことができる。
実施の形態1で想定するシステム構成の一例を説明する図である。 実施の形態1で使用する画像形成装置の構成例を説明する図である。 実施の形態1で使用する制御ユニットの機能構成例を説明する図である。 実施の形態1で使用する端末装置の構成例を示す図である。 端末装置の制御ユニットにより実現される機能構成例を説明する図である。 再実行受付モジュールに設けられている機能構成の一例を説明する図である。 原稿の種類とパラメータ名の候補の関係を記憶したテーブルの例を示す図である。 予測部が使用する不良のパターンの例を説明する図である。 画像形成装置と端末装置の連携により実行される処理動作の一例を説明する図である。 画像形成装置と端末装置の連携により実行される処理動作の他の一例を説明する図である。 画像形成装置と端末装置の連携により実行される処理動作の他の一例を説明する図である。 ユーザの発話の内容からジョブメモリの候補を1つに特定できる場合の操作画面の例を説明する図である。 ユーザの発話の内容からジョブメモリの候補が複数見つかる場合の操作画面の遷移の例を説明する図である。 ユーザの発話の内容から見つかったジョブメモリの候補の一部に変更の履歴が多く見つかる場合の操作画面の例を説明する図である。 見つかった候補のパラメータ値の一部をユーザが変更する場合の操作画面の遷移の例を説明する図である。 複数の候補のうちの1つを選択し、同時にパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。 複数の候補のうちの1つの選択とパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。 ジョブメモリのパラメータ値に宛先が含まれる場合の操作画面の遷移の例を説明する図である。 パラメータ値に宛先を含むジョブメモリが複数回読み出される場合の操作画面の例を説明する図である。 パラメータ値の一部が変更されたジョブメモリを新たなジョブメモリとして保存する場合の操作画面の遷移の例を説明する図である。 ジョブメモリの再実行を意図する発話があった場合の操作画面の遷移の例を説明する図である。 ジョブメモリの再実行を意図する発話があった場合の操作画面の例を説明する図である。 図22に示す操作画面以降に表示される操作画面の例を説明する図である。 出力不良の原因の解析により画像形成装置の清掃等が対策案として提示される場合の操作画面の例を説明する図である。 出力不良の原因の解析により画像形成装置の清掃等が対策案として提示される場合の操作画面の他の例を説明する図である。 実施の形態2で想定するシステム構成の一例を説明する図である。 ユーザインタフェース画面の構造の特定に用いられる操作の例を説明する図である。 特定された機種をユーザに通知する画面の例を説明する図である。 ユーザがウェアラブル端末を使用してジョブメモリを読み出す場合の操作画面の遷移の例を説明する図である。 パラメータ値の変更を指示する場合の操作画面の例を説明する図である。 ユーザが視認している対象物の画像を通じて不良の原因を解析する手法を説明する図である。 不良の原因の解消に清掃などの対策が必要になる場合におけるガイドの手法を説明する図である。 画質を改善するために推奨されるパラメータの提示を説明する図である。 操作すべき又は確認すべきボタン等の位置をユーザに示唆する手法の例を説明する図である。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<システム構成>
図1は、実施の形態1で想定するシステム構成の一例を説明する図である。実施の形態1で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置10と、画像形成装置10を操作するユーザが携帯する端末装置20とで構成される。
本実施の形態の場合、ユーザは、基本的に、端末装置20を操作の対象とする。換言すると、ユーザは、スタートボタンを除き、画像形成装置10を直接には操作しない。ユーザは、端末装置20を操作し、画像形成装置10にジョブメモリの読み出しと実行を指示する。
ジョブメモリは、いわゆるコピー、スキャン、ファックス等のジョブに関するパラメータの設定の記録である。ジョブメモリは、ジョブメモリ名で区別される。使用の頻度が高いパラメータの設定の組み合わせをジョブメモリとして記録することで、使用の頻度が高いパラメータの設定をワンタッチで読み出すことが可能となり、結果として設定の作業が簡略化される。なお、ジョブメモリは、画像の形成に関するパラメータの組み合わせ情報の一例である。
1つのジョブメモリには、ジョブメモリ名、操作名、パラメータ名、パラメータ値が含まれる。操作名は、ジョブメモリが関連する機能の名称であり、例えばコピー、スキャン、ファックスである。パラメータ名は、パラメータ値の大分類である。コピーに関するパラメータ名には、例えばカラーモード、濃度、用紙サイズがある。パラメータ値は、ユーザが設定する個々の値である。例えばカラーモードのパラメータ値には「カラー」、「白黒」、濃度のパラメータ値には「濃く」、「薄く」、用紙サイズのパラメータ値には「A4」、「A3」がある。
本実施の形態における端末装置20には、ユーザによるジョブメモリの特定を支援する機能が用意されている。ここでの端末装置20は、情報処理装置の一例である。
図1に示す画像形成装置10と端末装置20は、近距離無線通信により接続が可能である。近距離無線通信には、例えばブルートゥース(登録商標)、無線LAN(=Local Area Network)、NFC(=Near Field Communication)を使用する。
無線LANでは、例えばWi-Fi DIRECT(登録商標)を使用する。Wi-Fi DIRECTは、アクセスポイントとしての画像形成装置10と端末装置20とが一対一に通信するモードである。
NFCでは、複数の規格のうちISO/IEC 14443を使用する。この規格に準拠する機器どうしは、おおよそ10cm以内に近づけることで通信が可能になる。
本実施の形態における端末装置20は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。図1では、端末装置20がスマートフォンを例示している。
<各装置の構成>
以下では、画像形成装置10と端末装置20の装置構成を個別に説明する。
<画像形成装置の構成>
図2は、実施の形態1で使用する画像形成装置10の構成例を説明する図である。
画像形成装置10は、原稿の画像を読み取る画像読取ユニット101と、用紙などの媒体に画像を形成する画像形成ユニット102と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニット103と、装置全体の動作を制御する制御ユニット104と、画像データ等を記憶する記憶ユニット105と、ユーザインタフェース画面等の表示に用いられる表示ユニット106と、ユーザの操作を受け付ける操作受付ユニット107と、近距離無線通信その他の通信を実現する通信インタフェース(=通信IF)108を有している。
画像読取ユニット101は、いわゆるスキャナであり、原稿を自動搬送する機構を有していてもよい。
画像形成ユニット102は、電子写真方式やインクジェット方式等により媒体に画像を形成するユニットであり、画像の形成方式に応じた機構を有している。
画像処理ユニット103は、画像データを処理するための専用のプロセサや処理回路等で構成されている。
制御ユニット104は、CPU(=Central Processing Unit)111と、ファームウェアやBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)112と、ワークエリアとして用いられるRAM(=Random Access Memory)113とを有している。制御ユニット104は、いわゆるコンピュータとして機能する。なお、ROM112は、不揮発性の書き換え可能な半導体メモリでもよい。
また、記憶ユニット105は、不揮発性の記憶装置であるハードディスク装置(=HDD)等によって構成される。記憶ユニット105には、画像読取ユニット101で読み取られた画像データ、通信により外部から与えられる画像データ、FAX通信を通じて受信された画像データ、ジョブメモリ名のリスト(以下「ジョブメモリ名リスト」という)、ジョブメモリ毎のパラメータリスト、デフォルトのパラメータリスト(以下「デフォルトパラメータリスト」という)、端末装置20で読み出したジョブメモリの履歴等が保存される。
また、表示ユニット106は、例えば液晶ディスプレイや有機EL(=Electro Luminescence)ディスプレイで構成される。
通信インタフェース108は、前述したブルートゥース、無線LAN、NFC等の通信規格に対応するインタフェース回路で構成される。
操作受付ユニット107は、表示ユニット106の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット104と各ユニット等とは、バス109や不図示の信号線を通じて接続されている。
図3は、実施の形態1で使用する制御ユニット104の機能構成例を説明する図である。図3に示す機能モジュールは、CPU111(図2参照)によるプログラムの実行を通じて実現される。なお、図3に示す機能モジュールは、制御ユニット104によって提供される機能モジュールの一例である。
本実施の形態における制御ユニット104は、ジョブメモリに関する情報(以下「ジョブメモリ情報」ともいう)を管理するジョブメモリ管理モジュール121と、ジョブメモリの実行を管理するジョブメモリ実行管理モジュール122としての機能を有している。
ジョブメモリ管理モジュール121は、ジョブメモリの保存、読み出し、変更の受付、履歴の管理、ジョブメモリ名リストの管理その他を実行する。
本実施の形態におけるジョブメモリ管理モジュール121は、ユーザ認証により権限が認められたユーザが操作する端末装置20(図1参照)からジョブメモリ名リストが要求された場合、ジョブメモリ名リストを端末装置20に送信する。
また、ジョブメモリ管理モジュール121は、端末装置20側から読み出しを指示された特定のジョブメモリのパラメータリストと対応するデフォルトパラメータリストを、端末装置20に送信する機能も備える。
本実施の形態の場合、パラメータリストとは、ジョブメモリ名に対応付けられて管理される操作名、パラメータ名、パラメータ値である。従って、1つのジョブメモリは、ジョブメモリ名とパラメータリストとで構成される。
また、本実施の形態の場合、デフォルトパラメータリストは、画像形成装置10のメーカ側が用意している又は画像形成装置10の管理者が設定しているパラメータリストをいう。
ジョブメモリ実行管理モジュール122は、端末装置20から特定のジョブメモリの読み出しの要求を受け付けた時点から予め定めた時間が経過するまでの間、読み出したジョブメモリの実行を保留する。本実施の形態では、実行が保留される時間を、パラメータリストの変更を受け付ける期間(以下「変更受付期間」という)として活用する。
変更受付期間の長さは、ユーザによる調整が可能である。もっとも、変更の必要性がない場合には、端末装置20から変更受付期間をゼロとする指示が入力されてもよい。
<端末装置の構成>
図4は、実施の形態1で使用する端末装置20の構成例を示す図である。
図4に示す端末装置20は、装置全体の動作を制御する制御ユニット201と、画像データ等を記憶する記憶ユニット202と、ユーザインタフェース画面等の表示に用いられる表示ユニット203と、ユーザの操作を受け付ける操作受付ユニット204と、画像を撮像するカメラ205と、ユーザの音声を電気信号に変換するマイク206と、通信インタフェース(=通信IF)207とを有している。
本実施の形態における制御ユニット201は、CPU211と、ファームウェアやBIOS等が記憶されたROM212と、ワークエリアとして用いられるRAM213とを有している。制御ユニット201は、いわゆるコンピュータとして機能する。なお、ROM212は、不揮発性の書き換え可能な半導体メモリでもよい。
記憶ユニット202は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット202には、例えばカメラ205で撮像された画像データ、マイク206で収録された音声データ、画像形成装置10から読み出したジョブメモリ名リスト、画像形成装置10から読み出したジョブメモリの履歴、画像形成装置10に対するパラメータの設定を支援するアプリケーションプログラムが保存される。
表示ユニット203は、例えば液晶ディスプレイや有機ELディスプレイで構成される。表示ユニット203には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット204は、表示ユニット203の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成さる。
因みに、制御ユニット201と各ユニット等とは、バス208や不図示の信号線を通じて接続されている。
本実施の形態におけるカメラ205は、静止画像又は動画像による撮像が可能である。
マイク206は、ユーザが発話した音声を電気信号に変換する。マイク206は、音声によるユーザの操作を可能とする。もっとも、操作受付ユニット204による操作の受付を排除しない。
図5は、端末装置20の制御ユニット201により実現される機能構成例を説明する図である。図5に示す機能モジュールは、CPU211(図4参照)によるプログラムの実行を通じて実現される。ここでのプログラムは、画像形成装置10に対するパラメータの設定を支援するアプリケーションプログラムである。なお、図5に示す機能モジュールは、制御ユニット201によって提供される機能モジュールの一例である。
実施の形態における制御ユニット201は、ユーザの音声を認識する音声認識モジュール221と、操作の対象である画像形成装置10(図1参照)からジョブメモリ情報を取得するジョブメモリ情報取得モジュール222と、ユーザの発話した内容に基づいてジョブメモリを検索するジョブメモリ検索モジュール223と、ジョブメモリに保存されているパラメータ値と対応するデフォルト値との差分を抽出する差分抽出モジュール224と、抽出された差分をユーザに提示して確認を求める差分確認モジュール225と、パラメータ値の変更を受け付ける変更受付モジュール226、過去に実行されたジョブメモリの再実行を受け付ける再実行受付モジュール227として機能する。
音声認識モジュール221は、ユーザの音声を文字列に変換するプログラムである。音声認識モジュール221は、例えば音声の特徴を抽出する特徴抽出ユニットと、メル周波数ケプストラム係数(=Mel-Frequency Cepstrum Coefficients)等の特徴量から文字列を生成する認識エンジンとで構成される。音声認識の技術は既に実用化されているので、詳細な説明は省略する。
本実施の形態では、音声認識モジュール221により音声認識の処理を完結しているが、クラウドサービス等を活用して音声認識の結果を取得してもよい。
なお、ユーザは、音声認識モジュール221を使用しない入力を選択することも可能である。音声認識モジュール221を使用しない入力とは、操作画面に表示されるボタン類のタップである。
ジョブメモリ情報取得モジュール222は、操作の対象である画像形成装置10からジョブメモリ情報を取得する。本実施の形態の場合、ジョブメモリ情報には、ジョブメモリとデフォルトパラメータリストが含まれる。
本実施の形態の場合、ジョブメモリ情報取得モジュール222は、操作の対象とする画像形成装置10との間で通信が確立した時点で、通信対象である画像形成装置10に、ジョブメモリ情報を要求する。なお、通信可能な画像形成装置10が複数存在する場合、ユーザが選択した1台の画像形成装置10が通信対象に設定される。通信対象とする画像形成装置10は、例えば装置名のリストの中から選択される。
ジョブメモリ検索モジュール223は、画像形成装置10から取得されたジョブメモリ情報のうちジョブメモリを検索の対象とする。ジョブメモリ検索モジュール223は、ユーザの発話に含まれる言葉を検索キーに用い、ユーザが希望しているジョブメモリの候補を検索する。例えばユーザが「コピーをお願い」と発話した場合、ジョブメモリ検索モジュール223は、ジョブメモリ名やパラメータリストに「コピー」を含むジョブメモリを検索する。
なお、ユーザの発話に含まれるパラメータ名やパラメータ値の呼び名は、通信対象とする画像形成装置10で使用されるデフォルトのパラメータ名やパラメータ値の呼び名と異なる場合がある。例えばメーカによって、パラメータ名やパタメータ値の呼び名が異なることがある。例えば複数枚の原稿の縮尺を変更して1枚の用紙にコピーする機能に対応するパラメータ名は、あるメーカでは「まとめて1枚」と呼ばれ、パラメータ値は「2アップ」、「4アップ」等と呼ばれる。
このため、本実施の形態におけるジョブメモリ検索モジュール223には、発話に含まれるパラメータ名やパラメータ値の呼び名を他のメーカの呼び名と対応づけたテーブルが設けられている。このテーブルを使用し、ジョブメモリ検索モジュール223は、ユーザの意図に近い、ジョブメモリを検索する。なお、ユーザの発話に含まれる呼び名がテーブル内に存在しない場合には、最終的にユーザが指定したパラメータ名やパラメータ値をユーザが発話した呼び名に対応付けて保存することが望ましい。
ちなみに、呼び名の対応関係を記録するテーブルは、呼び名の対応関係を機械学習した学習済みモデルとして用意されてもよい。
学習済みモデルは、ユーザの発話から抽出された呼び名が入力されると、入力された呼び名に関連する1つ又は複数の呼び名を出力する。
学習済みモデルは、未知の呼び名に対して最終的に対応付けられた既存の呼び名を教師データとして与え、その対応関係が逐次更新されることが望ましい。
学習済みモデルの更新は、ユーザに固有な学習済みモデルとして、端末装置20(図1参照)内で実行されてもよいし、不特定のユーザの操作履歴を集約する不図示のクラウドサーバにおいて実行されてもよい。ここでのテーブルや学習済みモデルは、変更受付モジュール226も使用する。
本実施の形態におけるジョブメモリ検索モジュール223は、検索の結果を例えばリスト形式で提示する。この場合、ジョブメモリ検索モジュール223は、ジョブメモリ名に関連付けて、保存されているパラメータ値を表示する。
また、本実施の形態におけるジョブメモリ検索モジュール223は、変更受付モジュール226との連携により、ユーザが利用する可能性が高い未保存のジョブメモリも検索の結果として表示する機能も有している。この機能は、端末装置20に蓄積されている変更履歴を参照することにより実現される。例えばユーザが保存済みのジョブメモリの一部を変更して用いることが多い場合、未保存である変更後の内容も候補の1つとして画面上に表示される。
差分抽出モジュール224は、ユーザが読み出しの対象に指定したジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を抽出する。換言すると、ユーザが読み出しの対象に指定したジョブメモリのパラメータ値のうち、デフォルトのパラメータ値から変更されている内容を抽出する。この差分が分かれば、ユーザによるジョブメモリの特徴の理解が容易になる。差分抽出モジュール224は、抽出手段の一例である。
実際、ジョブメモリは、多数のパラメータ値の集合として定義される。ジョブメモリ名は、この特徴の理解を容易にする目的で付されている。
しかし、類似するジョブメモリ名が多く保存されている場合、ジョブメモリ名だけからは、ジョブメモリ間の違いを理解することは難しくなる。また、パラメータ値の一覧を画面に表示しても、表示される項目が多いと、類似するジョブメモリのパラメータ値を比較することもできず、ジョブメモリ間の違いの把握が難しい。結局、ジョブメモリの実行の結果とユーザの意図とが異なる場合が起こり得る。また、ジョブメモリの実行前にジョブメモリ間の違いを把握できる場合でも、確認に多くの時間を必要とする。
差分確認モジュール225は、差分抽出モジュール224によって抽出された差分をユーザに提示し、その確認をユーザに求める。例えばユーザが特定したジョブメモリのパラメータ値のうちデフォルトのパラメータ値とは異なるパラメータ値が、選択的にユーザに提示される。
例えばデフォルトのパラメータ値が「カラー」、「A4サイズ」であり、ユーザが特定したジョブメモリのパラメータ値が「白黒」、「A5サイズ」である場合、差分確認モジュール225は、差分の情報として「白黒」、「A5サイズ」を抽出する。この場合、差分確認モジュール225は、「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」等と画面上に表示する。
提示される差分の情報は、ジョブメモリの特徴を端的に表している。このため、ジョブメモリ名が類似するジョブメモリが複数存在する場合にも、ユーザの意図との違いの確認が効率的になる。差分確認モジュール225は、確認手段の一例である。
変更受付モジュール226は、自身の意図との違いに気づいたユーザからのパラメータ値の変更の指示を受け付け、画像形成装置10に対して変更を指示する一連の処理を担当する。変更受付モジュール226は、例えば音声認識モジュール221との連携により、変更の指示を受け付ける。従って、変更受付モジュール226は、受付手段の一例である。前述したように、変更受付モジュール226は、ジョブメモリ検索モジュール223が利用するテーブルや学習済みモデルも使用する。
本実施の形態における変更受付モジュール226は、指定されたパラメータ値の変更が許容されているか否かを確認する機能も有している。変更が許容されていない場合には、例えば変更が禁止されているパラメータがある。変更が禁止されているパラメータは、ジョブメモリとの関係で定まる場合とユーザの使用環境から定まる場合がある。
ジョブメモリとの関係で定まる例には、ジョブメモリの本来の意図に反する変更がある。例えばジョブメモリの操作名がコピーである場合に操作名をスキャンに変更する場合、ジョブメモリのジョブメモリ名が2アップコピーである場合にパラメータ値を4アップに変更する場合がある。
ユーザの使用環境から定まる例には、経済性の観点から白黒での出力しか許可されていない場合にパラメータ値がカラーに変更される場合がある。
これらの禁止事項は、画像形成装置10との通信が可能になった状態で端末装置20に通知されてもよいし、変更受付モジュール226の機能の一部として、インストール時に端末装置20に設定されてもよいし、不図示のクラウドサービスとの連携により通知されてもよい。
もっとも、禁止事項に変更を伴う場合にも、画像形成装置10を操作するときには、新たなジョブメモリとしての記録を許可してもよい。
本実施の形態における変更受付モジュール226は、上述した禁止事項に当たらない場合にも、指定されたパラメータ値の変更を受け付けるか否かを確認する機能を更に有している。
例えば変更受付モジュール226は、変更受付期間を経過した後の変更の指示の受付を拒否する。ジョブメモリの実行が既に開始されているためである。
例えば変更受付モジュール226は、指定されたパラメータ値の変更が対応するジョブメモリの操作名とは無関係なパラメータ値に関する場合、変更の指示の受付を拒否する。例えばジョブメモリの操作名が「メール」である場合に、「ステープルあり」、「穴あけ処理」、「折り処理」等の後処理の追加を指示する変更は拒否される。
例えば変更受付モジュール226は、通信先の画像形成装置10の機構上、実行不能なパラメータ値への変更を拒否する。例えばステープル処理等の後処理装置が画像形成装置10に取り付けられていない場合に、パラメータ値を「ステープル処理あり」に変更する指示は拒否される。
なお、画像形成装置10側のジョブメモリ実行管理モジュール122(図3参照)の機能として、ジョブメモリの実行を指示した端末装置20と変更を指示する端末装置20の一致を確認する機能を設けてもよい。この機能は、ジョブメモリの実行を指示した端末装置20とは異なる端末装置20からのパラメータ値の変更を拒否する。
また、本実施の形態における変更受付モジュール226は、画像形成装置10に保存されている宛先表と連携する機能も有している。ここでの宛先表は、記憶ユニット105(図2参照)に保存されている。
ジョブメモリには、パラメータ値として宛先を含む場合がある。パラメータ値で指定されている宛先とユーザが想定している宛先とが異なっていると、予期せぬ支障が生じる可能性がある。
このため、本実施の形態における変更受付モジュール226には、パラメータ値に宛先が含まれる場合に、画像形成装置10からジョブメモリに対応する宛先表を取得する機能が設けられている。
画像形成装置10から読み出された宛先表のファイル名は、例えばリスト形式でユーザに提示される。ユーザが特定のファイル名を指定すると、変更受付モジュール226は、指定されたファイル名への変更を画像形成装置10に要求する。
なお、変更受付モジュール226は、宛先表の連携に関するユーザの操作の結果を操作履歴に追加する。例えばジョブメモリ名と、変更後の宛先表のファイル名と、ユーザとが紐づけられた状態で保存される。
前述したように、ユーザの発話の内容、ユーザが選択したジョブメモリ名、ユーザが指示したパラメータ値の変更の各履歴は、端末装置20の記憶ユニット202(図4参照)に保存され、次回以降のジョブメモリの読み出し時や変更時に利用される。具体的には、履歴に基づいて、ジョブメモリの候補や変更の候補が提示される。なお、提示される候補の内容は、ジョブメモリとして保存されているとは限らない。
また、本実施の形態における変更受付モジュール226には、ユーザがパラメータ値の変更を指示した場合に、変更後のパラメータ値の組み合わせを新たなジョブメモリとして保存を希望するかを確認する機能が設けられている。
なお、新たなジョブメモリとしての保存が希望される場合、変更前のジョブメモリ名を使用することも可能であるが、それではジョブメモリ名が同じジョブメモリが複数保存されることになる。
このため、本実施の形態における変更受付モジュール226は、新たなジョブメモリのデフォルト名として、変更前のジョブメモリ名のパラメータ値に、変更の指示があったパラメータ名を付加した名称を使用する。なお、ユーザは、デフォルト名の変更が可能である。
再実行受付モジュール227は、音声認識モジュール221との連携により、ユーザの発話の内容がジョブメモリの再実行を意図していると判定された場合に実行される。換言すると、再実行受付モジュール227は、ユーザの発話の内容が直前に実行されたジョブメモリの再度の読み出し、パラメータ値の変更を希望する読み出し等と判定された場合に実行される。
ここでの判定には、発話の内容として認識された文脈の意図として、ジョブメモリのやり直しが示唆されているか否かが用いられる。発話の内容が例えば「もう一度実行したい」、「もう少しきれいに出したい」、「白黒で出しなおしたい」の場合、ジョブメモリのやり直しが示唆されていると解される。ちなみに「もう一度実行したい」は単純な再実行と解される。一方、「もう少しきれいに出したい」や「白黒で出しなおしたい」は、パラメータ値の変更等を伴う再実行と解される。
再実行受付モジュール227は、直前に実行されたジョブメモリをユーザに提示する。直前に実行されたジョブメモリが基準になるためである。もっとも、再実行の対象であるジョブメモリの特定が可能であれば、直前に実行されたジョブメモリに限定する必要はない。
発話の内容にパラメータに関する指定が含まれている場合、再実行受付モジュール227は、ユーザの希望を実現するパラメータ値の変更の候補を提示する。ここでの発話の例には、「もう少し濃くしたい」がある。この例では、パラメータ名の「濃さ」に関する指示が含まれている。
この例の場合、再実行受付モジュール227は、推奨されるパラメータ値の変更の候補として、濃度についての「濃く +1」や「薄く -1」等を提示する。
発話の内容に処理結果の画質に関する内容が含まれている場合、再実行受付モジュール227は、例えばユーザとの対話により、又は、イメージログの解析により、又は、これらの組み合わせにより、変更が推奨されるパラメータ名の絞り込みや対策を提示する。
ユーザとの対話により、変更が推奨されるパラメータ名を絞り込む例には、ユーザが「もうちょっときれいに出したいんだけれど。」と発話した場合に、「原稿は何ですか。」と質問する例がある。ここでの「きれい」は、画質に関する内容である。「きれい」を実現するパラメータ値は、原稿の種類によっても異なる。そこで、画質の改善に寄与するパラメータ値を絞り込む手法の1つとして対話を使用する。
イメージログを解析する手法は、画像形成装置10の出力結果のイメージログを入手できる場合やカメラ205(図4参照)によって画像を撮像できる場合に用いられる。
図6は、再実行受付モジュール227に設けられている機能構成の一例を説明する図である。図6に示す再実行受付モジュール227は、イメージログの解析により原稿の種類を判別する判別部227Aと、パラメータ値の変更が推奨されるパラメータ名の候補を抽出する抽出部227Bとを有している。
判別部227Aは、イメージログに現れる特徴的なパターンに基づいて原稿の種類を判別する。例えば判別部227Aは、種類別に用意されているパターン画像とイメージログとを比較し、各パターン画像との一致度を計算する。本実施の形態では、原稿の種類として、文字、写真、地図、伝票、冊子を想定する。判別部227Aは、最も一致度が高いパターン画像に基づいて、原稿の種類を特定する。原稿の種類が特定されると、対話形式の手法と同様に画質の改善に寄与するパラメータ値の絞り込みが可能になる。
抽出部227Bは、原稿の種類に応じ、パラメータ値の変更が推奨されるパラメータ名の候補を抽出する。
図7は、原稿の種類とパラメータ名の候補との関係を記憶したテーブルの例を示す図である。
図7に示す例では、原稿の種類の「文字」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「写真」に対して、原稿の種類と彩度又はシャープネスが対応付けられている。また、原稿の種類の「地図」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「伝票」に対して、裏写り防止と濃度が対応付けられている。また、原稿の種類の「冊子」に対して、中消しと枠消しが対応付けられている。
本実施の形態の場合、抽出部227Bは、抽出されたパラメータ名の候補毎に推奨されるパラメータ値を決定して提示する機能も備えている。推奨されるパラメータ値は、直前に実行されたジョブメモリにおけるパラメータ値、ユーザの発話の内容、画像解析の結果等に応じて決定される。
図6の説明に戻る。再実行受付モジュール227には、イメージログの解析に用いる他の機能として、不良の原因を予測し、予測に応じて推奨される対策を提示する予測部227Cの機能が設けられている。
図8は、予測部227Cが使用する不良のパターンの例を説明する図である。図8には、コピー時の汚れの典型パターン231、コピー出力の不正パターン232、コピーがずれるパターン233、薄いパターン234、他のパターンとしてのXXXXパターン235、過去の汚れの実績236が例示されている。なお、不良のパターンとして認識されたイメージログは、過去の汚れの実績236として保存される。
ここでは、コピー時の汚れの典型パターン231の例として、線、筋、点が例示されている。ちなみに、汚れが黒線として現れている場合、ガラス面の汚れが原因と考えられるので、対策としてはガラス面の清掃が提示される。また、汚れが白い筋として現れている場合、対策としてはレーザスキャナの清掃が提示される。
<処理動作>
以下では、画像形成装置10と連携する端末装置20の処理動作を説明する。
<希望のパラメータの設定を支援する動作>
図9は、画像形成装置10と端末装置20の連携により実行される処理動作の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
図9に示す処理動作は、画像形成装置10と端末装置20が無線通信により接続されることで開始される。例えば端末装置20を携帯するユーザが画像形成装置10に近づくことで、端末装置20と画像形成装置10との通信が開始される。前述したように、接続対象の画像形成装置10は1台である。
通信が可能な状態になると、端末装置20では、ユーザによるジョブメモリの読み出しとパラメータの設定を支援するアプリケーションプログラムが起動される。アプリケーションプログラムが起動すると、端末装置20から画像形成装置10に対して、ジョブメモリ情報が要求される。
要求を受信した画像形成装置10は、ジョブメモリ情報を読み出す(ステップ1)。読み出されたジョブメモリ情報は、画像形成装置10から要求元である端末装置20に送信される。同じ空間に複数台の端末装置20が存在しても、ジョブメモリ情報が送信されるのは、ジョブメモリ情報を要求した端末装置20に限られる。
図9の例では、この段階で、ユーザが端末装置20に対し、「会議用のコピーがしたい。」と話し掛けている。発話を検知した端末装置20は、発話された音声を認識し、音声に含まれる単語を検索キーに用いてジョブメモリの候補を検索する(ステップ2)。
次に、端末装置20は、検索により見つかったジョブメモリの候補を提示する(ステップ3)。ジョブメモリの候補は1つだけ見つかる場合もあれば、複数見つかる場合もある。ジョブメモリの候補の提示は、例えばジョブメモリ名のみ、ジョブメモリ名と代表的なパラメータ値の表示を伴う。表示されるパラメータ値の数は、候補の表示に割り当てられる表示領域のサイズに依存する。
この後、端末装置20は、ユーザによるジョブメモリの指定を受け付ける(ステップ4)。指定を受け付けた端末装置20は、該当するジョブメモリの読み出しを、画像形成装置10に対して要求する。読み出しの要求には、例えばジョブメモリを特定する番号とジョブメモリ名が含まれる。
要求を受信した画像形成装置10は、記憶ユニット105(図2参照)から該当するジョブメモリを読み出す(ステップ5)。ジョブメモリの読み出しにより、画像形成装置10には、該当するジョブメモリのパラメータ値が設定される。
本実施の形態の場合、画像形成装置10は、該当するジョブメモリを読み出した時点から変更受付期間を開始し、ジョブメモリの実行を保留する。
一方、ユーザによる特定のジョブメモリの指定を受け付けた端末装置20では、指定されたジョブメモリのパラメータリストとデフォルトパラメータリストとが比較される。
端末装置20は、比較の結果として、ユーザが指定したジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を提示する(ステップ6)。
差分の提示により、指定されたジョブメモリの特徴の把握が容易になる。
図9の例では、ユーザが変更を希望し、「2アップで。」と発話している。すなわち、ユーザは、2枚の原稿を1枚の用紙にまとめる設定への変更を希望している。
ユーザの発話を認識した端末装置20は、認識した変更の可否を確認する(ステップ7)。
変更が可能である場合、端末装置20は、画像形成装置10に対してパラメータの変更を要求する。パラメータの要求を受け付けた画像形成装置10では、要求元の端末装置20が、保留中のジョブメモリを読み出した端末装置20と一致するかを確認する。一致が確認された場合、画像形成装置10は、要求に従ってパラメータを変更する(ステップ8)。この例では、パラメータ値が「1アップ」から「2アップ」に変更される。変更の受付は、画像形成装置10から端末装置20にフィードバックされる。
フィードバックを受信した端末装置20は、変更の受付を提示する(ステップ9)。一方の画像形成装置10は、変更受付期間の経過を待って保留状態を解除し、変更後の内容でジョブを実行する(ステップ10)。なお、変更の指示がない場合には、変更受付期間の経過後に、ステップ5で読み出されたジョブメモリで設定されたパラメータ値に基づいてジョブが実行される。
<ジョブメモリの再実行を支援する動作>
図10は、画像形成装置10と端末装置20の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
前述したように、ユーザは、ジョブメモリを実行した結果、又は、ジョブメモリの一部を変更して実行した結果に満足できない場合がある。図10に示す動作は、実行されたジョブの内容に満足できない場合を想定している。
画像形成装置10と無線通信で接続された端末装置20は、ユーザの発話の内容がジョブメモリの再実行の指示であるか否かを判定している(ステップ21)。再実行の指示であるかは、前述したように、発話された内容の文脈から判定される。ステップ21で否定結果が得られた場合、端末装置20は、次の発話を待ち受ける。
ステップ21で肯定結果が得られた場合、端末装置20は、発話の内容にパラメータの指定が含まれるか否かを判定する(ステップ22)。例えば「もっと濃くしたい」、「もっと薄くしたい」のようにパラメータの変更を直接指定する表現が含まれている場合、端末装置20は、肯定結果を得る。
ステップ22で肯定結果が得られた場合、端末装置20は、指定されたパラメータに関するパラメータ値の推奨値を提示する(ステップ23)。例えば濃度のパラメータ値として「+1」、「-1」をユーザの希望に近づけるための推奨値として提示する。
一方、ステップ22で否定結果が得られた場合、端末装置20は、ステップ24に移行する。ユーザの発話に画質に関する内容が含まれる場合、ステップ22で否定結果が得られる。
イメージログ等の画像データを利用できない場合にはユーザとの対話により、イメージログ等の画像データを利用できる場合にはイメージログ等の解析により、ユーザが画質の不良を認めた原因が推定される。
原因の推定の後、端末装置20は、パラメータ値の推奨値を提示する、又は、対策を提示する(ステップ24)。
ステップ23又はステップ24による提示の後、端末装置20は、ユーザによる変更を受け付ける。すなわち、端末装置20は、前回実行されたジョブで用いたパラメータ値に対する変更を受け付ける(ステップ25)。
この後、端末装置20は、該当するジョブメモリの読み出しと変更を画像形成装置10に要求する。要求を受信した画像形成装置10は、要求に基づいて、ジョブメモリの読み出しと変更を実行する(ステップ26)。具体的には、読み出したジョブメモリのパラメータ値の一部が要求に従って変更される。変更の受付は、画像形成装置10から端末装置20にフィードバックされる。
フィードバックを受信した端末装置20は、変更の受付を提示する(ステップ27)。一方の画像形成装置10は、変更後の内容でジョブを実行する(ステップ28)。再実行の場合には、変更受付期間が設けられていない。
<新たなジョブメモリとしての保存を支援する動作>
図11は、画像形成装置10と端末装置20の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
図11に示す動作は、例えば図9におけるステップ9に続いて、又は、図10に示すステップ27に続いて実行される。
変更の受付を提示した端末装置20は、変更内容の保存が希望されているか否かを判定する(ステップ31)。
ステップ31で否定結果が得られた場合、端末装置20は、変更後の内容を新たなジョブメモリとして画像形成装置10に保存することなく動作を終了する。
ステップ31で肯定結果が得られた場合、端末装置20は、画像形成装置10に対し、変更後の内容で新たなジョブメモリの保存を要求する。
要求を受信した画像形成装置10は、要求に従い、新たなジョブメモリを保存する(ステップ32)。
図11の例では、ユーザの自発的な発話を前提として変更の保存を判定しているが、端末装置20側から、変更後の内容を新たなジョブメモリとして保存するかを、ユーザに問い合わせてもよい。
<操作画面の例>
以下では、前述した動作の実行に伴い端末装置20に表示される操作画面の例を説明する。
<画面1:ジョブメモリの候補が1つの場合>
図12は、ユーザの発話の内容からジョブメモリの候補を1つに特定できる場合の操作画面の例を説明する図である。なお、図12に示す操作画面は、ステップ7(図9参照)の時点に対応する。
図12の場合、操作画面の左側に沿って、端末装置20で実行されるアプリケーションプログラムからの発話の内容が表示され、操作画面の右側に沿ってユーザからの発話の内容が表示されている。
図12の場合、端末装置20の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2001に続き、ユーザによる「会議用のコピーがしたい。」との発話2002が表示されている。
端末装置20の操作画面には、この発話の内容が時間順序に表示される。この例では、該当するジョブメモリが1つだけである。このため、ユーザの発話を受け付けた段階で、画像形成装置10に対して「会議用コピー」に対応するジョブメモリの読み出しが要求される。
ジョブメモリの読み出しにより、画像形成装置10の操作画面には、該当するジョブメモリのパラメータ値の一部が表示されている。図12の例では、「1アップ」、「白黒」である。なお、画像形成装置10の操作画面には「スタート」ボタンも表示されている。
本実施の形態の場合、「会議用コピー」のパラメータリストとデフォルトパラメータリストとの差分は、カラーモードのパラメータ値と用紙サイズのパラメータ値である。このため、図12の操作画面には、アプリケーションプログラム側からの発話2003として「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」が表示されている。
<画面2:ジョブメモリの候補が複数の場合>
図13は、ユーザの発話の内容に対応するジョブメモリの候補が複数見つかる場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2011に続き、ユーザによる「コピーがしたい。」との発話2012が表示されている。
時点T2の操作画面には、検索により見つかった候補の提示欄2013と、アプリケーションプログラムによる「いくつか候補が見つかりました。」との発話2014が示されている。時点T2の操作画面は、ステップ3(図9参照)に対応する。
図13の場合、提示欄2013には、3つの候補が示されている。すなわち、「会議用コピー」、「プレゼンコピー」、「節約コピー」の3つである。
図13の場合、各候補には、該当するジョブメモリのパラメータ値の一部が表示されている。例えば「会議用コピー」には、「白黒」が表示されている。また、「プレゼンコピー」には、「フルカラー」、「ステープル」が表示されている。また、「節約コピー」には、「白黒」、「両面」、「2アップ」が表示されている。この時点で示されるパラメータ値は、デフォルトパラメータリストとの差分ではない。
時点T3の操作画面は、ユーザによる候補の選択の様子を表している。上段の操作画面は、提示欄2013に表示された特定のボタンをタップすることにより、候補の選択を指示する場合に対応する。ここでは、「節約コピー」が選択されている。下段の操作画面は、音声により候補の選択を指示する場合に対応する。図13の例では、「節約コピーで。」との発話2015が表示されている。
<画面3:ジョブメモリの候補が複数あり、かつ、変更の履歴が多い場合>
図14は、ユーザの発話の内容から見つかったジョブメモリの候補の一部に変更の履歴が多く見つかる場合の操作画面の例を説明する図である。図14に示す操作画面は、図13における時点T2の操作画面に対応する。
図14に示す操作画面は、「節約コピー」のパラメータ値の一部を変更する履歴が、予め定めた基準を満たす場合に表示される。ここでは、パラメータ値を「2アップ」から「4アップ」に変更した履歴の回数が予め定めた閾値を超える場合を想定している。
図中の太線2016は、変更の履歴に基づいて表示された架空の候補である。架空の候補は、画像形成装置10(図1参照)には実在しないが、ユーザが使用する可能性が高い候補である。この候補がユーザに指定された場合、端末装置20は、「節約コピー」の読み出しとパラメータ値の変更とを画像形成装置10に要求することになる。
<画面4:ユーザの発話によるパラメータ値の変更>
図15は、見つかった候補のパラメータ値の一部をユーザが変更する場合の操作画面の遷移の例を説明する図である。
時点T1に示す操作画面は、図12に示す操作画面と同じである。時点T1に示す操作画面には、候補のパラメータリストとデフォルトパラメータリストとの差分が表示されている。具体的には、「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」と表示されている。この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求する。
時点T2に示す操作画面は、ユーザが用紙サイズの変更を指示した場合である。ここでは、ユーザの発話2021として「A4にして。」と表示されている。ユーザの発話2021を受け付けた端末装置20は、画像形成装置10に対して、パラメータ値の変更を要求する。
時点T3に示す操作画面は、パラメータ値の変更が画像形成装置10で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話2022として「A4に設定しました。」が表示されている。
<画面5:ユーザの発話による候補の選択とパラメータ値の変更の同時指定>
図16は、複数の候補のうちの1つを選択し、同時にパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点T2に示す操作画面は、図13の時点T2における操作画面と同じである。
時点T3において、ユーザは、音声により指示を与える。図16の場合、ユーザは、候補の選択とパラメータ値の変更を一度に指示している。このため、時点T3における操作画面には、ユーザによる「節約コピー4アップで。」との発話2023が表示されている。この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
時点T4に示す操作画面は、パラメータ値の変更が画像形成装置10で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話2024として「節約コピーで4アップに設定しました。よろしければスタートボタンを押してください。」が表示されている。
<画面6:ジョブメモリの候補とパラメータ値の変更の候補の表示>
図17は、複数の候補のうちの1つの選択とパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2001に続き、ユーザによる「会議用のコピーがしたい。」との発話2002が表示されている。
図17の場合、ユーザの発話2002に対応するジョブメモリは1つだけである。
このため、時点T2の操作画面には、特定されたジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を示す発話2003が表示されている。更に、時点T2の操作画面には、操作の履歴から抽出されたパラメータ値の変更の候補を表す2つのボタン2031及び2032が表示されている。ボタン2031は「カラー」であり、ボタン2032は「A4」である。
この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求する。
時点T3の操作画面は、ユーザによる候補の選択の様子を表している。上段の操作画面は、パラメータ値の変更の候補に対応するボタンの1つをタップすることにより、パラメータ値の変更を指示する場合に対応する。ここでは、ボタン2032がタップされ、「A4」への変更が選択されている。下段の操作画面は、音声によりパラメータ値の変更を指示する場合に対応する。図17の例では、「A4で。」との発話2033が表示されている。
この時点で、端末装置20は、画像形成装置10に対して、パラメータ値の変更を要求する。
なお、パラメータ値は、複数の変更を一度に指示することも可能である。例えば「カラーでA4。」と発話すればよい。また、音声により、操作画面上に表示されていないパラメータ値の変更を指示することも可能である。例えば「片面で。」や「4アップで。」と指示してもよい。
<画面7:ジョブメモリのパラメータ値に宛先が含まれる場合>
図18は、ジョブメモリのパラメータ値に宛先が含まれる場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2001に続き、ユーザによる「スキャンしてPC保存」との発話2041が表示されている。
図18の場合、ユーザの発話2041に対応するジョブメモリは1つだけである。
このため、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求している。
ここでのジョブメモリには、スキャンデータの保存先を指定するパラメータ値が含まれている。保存先は、宛先の一例である。本実施の形態における宛先には、例えばデータが読み出される場所、データが送信される場所、通信先、書面等の送り先も含まれる。送り先は、例えば宛名と住所で与えられる。
前述したように、パラメータ値の宛先とユーザが想定している宛先とが異なると、予期せぬ支障が生じる可能性がある。
時点T2の操作画面は、ユーザに宛先の確認を求める画面の一例である。ここでの操作画面の1行目には、保存先とファイル名の確認欄2042が表示されている。ここでは、保存先として「サーバA」、ファイル名として「fileA」が表示されている。
なお、2行目には、アプリケーションプログラムからの発話2043として「宛先、ファイル名は変更しますか?」が表示されている。
3行目には、ユーザからの発話2044として「宛先表から選びます。」が表示されている。
端末装置20は、ユーザの発話2044を認識すると、画像形成装置10から宛先表を取得する。
時点T3の操作画面は、宛先の候補の一覧が表示される画面の一例である。ここでの操作画面の1行目には、宛先の候補のリスト2045が表示されている。ここでは、保存先の候補として「1.請求書フォルダ」、「2.納品書フォルダ」、「3.契約書フォルダ」の3つが表示されている。
なお、2行目には、アプリケーションプログラムからの発話2046として「宛先を選択してください。」が表示されている。
時点T4の操作画面は、ユーザによる宛先の選択の例を示す画面の一例である。ここでは、タップ操作により、ユーザの選択が入力されている。具体的には、「2.納品書フォルダ」が選択されている。なお、画面6(図17参照)のように音声により宛先の選択を入力することも可能である。
ここでは、選択を認識したアプリケーションプログラムからの発話2047として「ファイル名の先頭に「納品書」をつけて保存します。」が表示されている。
この時点で、端末装置20は、画像形成装置10に対して、パラメータ値の変更を要求する。また、端末装置20は、記憶ユニット202(図4参照)に変更の履歴を保存する。本実施の形態における端末装置20は、ユーザの発話の内容に対し、読み出されたジョブメモリの履歴と宛先の変更の履歴とを紐付けて保存する。この例の場合、「スキャンしてPC保存。」との発話2041に対し、「スキャンPC保存」の読み出しと「納品書フォルダ」の選択とが紐付けられる。
この履歴の保存により、次回の提示の簡略化が実現される。
図19は、パラメータ値に宛先を含むジョブメモリが複数回読み出される場合の操作画面の例を説明する図である。
図19の操作画面は、図18の時点T1における操作画面に対応する。図19の操作画面では、前回までの変更の履歴を参照することにより、対話の回数が短縮されている。
図19の場合、アプリケーションプログラムによる「何かご用ですか?」との発話2001に対し、ユーザによる発話2048は「納品書を保存。」である。
発話2048の内容はジョブメモリ名と異なっているが、端末装置20は、発話2048に含まれる「納品書」と「保存」と変更の履歴との照合により、ユーザの希望は「スキャンPC保存」であると推定する。
そこで、図19の例では、アプリケーションプログラムからの発話2049として「納品書フォルダに保存します。よろしいですか?」が表示されている。
この表示は、変更の履歴を用いた候補の提示の一例である。
<画面8:変更後のジョブメモリの保存>
図20は、パラメータ値の一部が変更されたジョブメモリを新たなジョブメモリとして保存する場合の操作画面の遷移の例を説明する図である。
時点T3に示す操作画面は、図17の時点T3の操作画面に対応する。
前述したパラメータ値の変更は、実行回限りの変更であり、画像形成装置10(図1参照)に保存されているジョブメモリの内容には変更がない。
ここでは、変更後の内容を次回以降の実行に備えて新たなジョブメモリとして画像形成装置10に保存する場合の操作の一例について説明する。
時点T4では、ユーザによる変更の指示が画像形成装置10に反映されたことを示すフィードバック2051として「A4に設定しました。」が表示されている。
時点T5の場合、フィードバック2051を確認したユーザが、変更されたパラメータ値を反映したジョブメモリの保存を口頭で指示している。具体的には、ユーザの発話2052として「今の保存しておいて。」が表示されている。
ユーザの指示を受け付けた端末装置20は、画像形成装置10に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。この結果、画像形成装置10には、既存の「会議用コピー」とは用紙サイズの値が異なる新たな「会議用コピー」が保存される。
図20の例では、ユーザの発話2052があった場合に、パラメータ値の変更を反映した新たなジョブメモリの保存を要求しているが、端末装置20側からユーザにパラメータ値の変更を反映した新たなジョブメモリの保存を希望するかを問い合わせてもよい。例えばアプリケーションプログラム側から「新たなジョブメモリとして保存しますか?」と問い合わせてもよい。
<画面9:ジョブメモリの再実行時に表示される画面の例>
図21は、ジョブメモリの再実行を意図する発話があった場合の操作画面の遷移の例を説明する図である。
時点T11は、画像形成装置10(図1参照)において何らかのジョブメモリが実行された後の時点に当たる。
時点T11の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2061に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話2062が表示されている。この発話2062は、処理結果の画質に関する内容を含んでいる。
このため、アプリケーションプログラムは、ユーザが再実行を希望していると解析し、推奨されるパラメータ値の提示に必要な情報を問い合わせる。この例では、「原稿は何ですか?」との発話2063とともに、原稿の一覧2064が表示される。一覧2064には、「文字文書」、「写真」、「伝票」、「冊子」、「地図」、「新聞」に対応する6つのボタンが配列されている。
この例では、「伝票」がユーザにより選択されている。
時点T12の操作画面の1行目には、推奨されるパラメータ値の提示欄2065が表示される。図21の場合、原稿の種類のパラメータ値として「伝票」、濃度のパラメータ値として「濃く+1」が推奨されている。
また、操作画面の2行目には、「上記パラメータで実行します。よろしいですか?」との発話2066がアプリケーションプログラムから提示される。この時点で、ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
図21の場合には、ユーザから「はい。」以外の発話があった場合を想定している。
時点T13の操作画面は、アプリケーションプログラム側からの発話2066に続いて、ユーザから「裏写りしているようなんだけど。」との発話2067があった場合である。
時点T14の操作画面では、推奨されたパラメータ値の提示欄2065の内容が更新されている。具体的には、「裏写り防止」の項目と、対応するパラメータ値の「オン」が追加されている。
また、操作画面には、「裏写り防止をセットします。よろしいですか?」との発話2068がアプリケーションプログラムから提示される。
この時点で、ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
<画面10:ジョブメモリの再実行時に表示される画面の例>
図21の場合には、ユーザの発話を利用して推奨されるパラメータ値を推定しているが、ここでは、出力イメージログの利用が可能な場合について説明する。出力イメージログは、出力物のイメージのログである。
図22は、ジョブメモリの再実行を意図する発話があった場合の操作画面の例を説明する図である。
時点T11の操作画面では、アプリケーションプログラムによる「何かご用ですか?」との発話2061に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話2062が表示されている。この発話2062は、処理結果の画質に関する内容を含んでいる。
ただし、ここでの操作画面では、出力イメージログを利用できるため、原稿の種類を問い合わせる発話2063(図21参照)はない。
この例では、バックグラウンド処理として、直前に実行されたパラメータの取得と出力イメージログの取得が実行される。出力イメージログは、画像形成装置10(図1参照)から取得される。
次に、端末装置20は、取得されたパラメータと出力イメージログとに基づいて、出力不良の原因を解析する。
図23は、図22に示す操作画面以降に表示される操作画面の例を説明する図である。
時点T12の操作画面には、解析の結果として推奨されるパラメータ値の提示欄2071が表示される。図23の場合、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く+2」、裏写り防止のパラメータ値として「オン」が推奨されている。
また、操作画面の2行目には、「上記で再度実行します。よろしいですか?」との発話2072がアプリケーションプログラムから提示される。また、操作画面の3行目には、推奨されるパラメータの適用により予想される画質の改善例2073が表示されている。この例では、改善前の画像と改善後の予想の画像とが対比的に表示される。ここでの画像は、現実の画像である必要はなく、提示用に予め用意されているサンプル画像でもよい。画像として提示されることで、推奨されたパラメータ値を適用するか否かの判断が容易になる。
時点T13の操作画面では、アプリケーションプログラム側からの発話2072に続いて、ユーザからの「はい。」との発話2074が表示されている。
ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
更に、この例では、アプリケーションプログラム側から「出力結果に問題なければ伝票用コピーとして保存します。」との発話2075が提示されている。ここでは、ユーザが保存を望んでいる。このため、「お願い。」との発話2076が表示される。
ユーザから「お願い」との発話があると、端末装置20は、画像形成装置10に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
図24は、出力不良の原因の解析により画像形成装置10の清掃等が対策案として提示される場合の操作画面の例を説明する図である。
図24に示す操作画面の例は、図22に続く時点T12に対応する。図23の例は、パラメータ値の変更により画質を改善することが可能な場合であったが、パラメータ値の変更では画質を改善できない場合もある。
ここでは、出力イメージ2081に黒い線状の汚れ2082が含まれている。このため、解析結果として「黒線あり」が出力され、その原因として「ガラス面の汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話2062に対し、アプリケーションプログラムは、「ガラス面の汚れを取ってください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話2083を表示している。
図25は、出力不良の原因の解析により画像形成装置10の清掃等が対策案として提示される場合の操作画面の他の例を説明する図である。
図25に示す操作画面も、図22に続く時点T12に対応する。
ここでは、出力イメージ2091に白い線状の筋2092が含まれている。このため、解析結果として「白線あり」が出力され、その原因として「スキャナの汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話2062に対し、アプリケーションプログラムは、「レーザスキャナを清掃してください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話2093を表示している。
<実施の形態2>
<システム構成>
前述の実施の形態1においては、端末装置20がスマートフォンである場合を想定していたが、本実施の形態では、端末装置20がウェアラブル端末である場合を想定する。
ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する性質とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
図26は、実施の形態2で想定するシステム構成の一例を説明する図である。実施の形態2で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置10と、画像形成装置10を操作するユーザが頭部に装着する端末装置20とで構成される。以下では、端末装置20をウェアラブル端末と呼ぶ。
なお、本実施の形態で使用するウェアラブル端末のハードウェア構成や機能構成は、実施の形態1で説明した端末装置20と同じである。
図26では、ウェアラブル端末を頭部に装着したユーザが見ているイメージを吹き出しで示している。本実施の形態の場合、ユーザは、目の前に実在する画像形成装置10を裸眼で確認している。
この例は、ユーザが「コピーがしたい。」と発話することで処理が開始される。ユーザの発話を認識したウェアラブル端末は、操作の対象である画像形成装置10を特定するために「利用する画像形成装置を見てください。」との音声を出力する。音声はスピーカから出力される。なお、ウェアラブル端末は、「利用する画像形成装置を見てください。」との文字列をユーザの視界内に表示してもよい。
図中の吹き出し3001は、ユーザが視認している空間のイメージを表している。吹き出し中の枠線3002は、ウェアラブル端末が認識の対象としている物体を表している。この枠線3002は、実空間には存在しない仮想の画像である。このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実(=Augmented Reality:AR)又は複合現実(=Mixed Reality:MR)と呼ばれる。
ウェアラブル端末は、仮想の枠線3002で囲まれた範囲の画像を解析して操作の対象である画像形成装置10の機種の大分類を特定する。画像の解析は、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
<操作画面の例>
<画面1:機種の特定>
図27は、ユーザインタフェース画面の構造の特定に用いられる操作の例を説明する図である。図27に示す吹き出し3001には、ユーザが見ている画像形成装置10の操作パネル3003が描かれている。ウェアラブル端末は、ユーザに操作させたいボタンの位置に仮想の画像3004を表示するとともに「ボタンを押してください。」との仮想の文字列3005を表示する。仮想の文字列は、空間内に浮かぶように表示される。ウェアラブル端末は、ユーザが指定のボタンを操作するたびに、次に操作を求めるボタンの位置に仮想の画像3004を表示する。一連のボタン操作に伴う操作画面の遷移により、画像形成装置10の機種が具体的に特定される。この処理も、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
図28は、特定された機種をユーザに通知する画面の例を説明する図である。図28の場合、吹き出し3001内には、「画像形成装置を登録しました。ご利用いただけます。」との文字列3006とともに、機種を物理的に特定する情報3007とが表示されている。図28の場合、機械番号は「XXX」であり、アドレスは「YYY」である。
<画面2:ジョブメモリの候補が1つの場合>
図29は、ユーザがウェアラブル端末を使用してジョブメモリを読み出す場合の操作画面の遷移の例を説明する図である。
時点T21は、ユーザによる「コピーがしたい。」との発話の後の時点に対応する。実施の形態1の場合と同様に、「コピーがしたい。」との発話を検知したウェアラブル端末は、画像形成装置10からジョブメモリ情報を読み出し、ユーザの希望に近いジョブメモリの候補を検索する。
時点T21においては、3つの候補が見つかっている。そこで、吹き出し3001には「幾つかの候補が見つかりました。」との文字列3011と、ジョブメモリの候補3012とが表示されている。ジョブメモリの候補3012には、「1.会議用コピー」、「2.プレゼンコピー」、「3.節約コピー」が表示されている。
時点T22において、ユーザは、選択する候補の番号を発話している。具体的には「1番」と発話している。この発話の内容は、ウェアラブル端末によって検知される。
時点T23に示す操作画面は、ジョブメモリの選択を受け付けたことをユーザに通知する画面の例である。吹き出し3001には、「白黒でA5に出力します。よろしければ、本体のスタートボタンを押してください。」との文字列3013と、選択されたジョブメモリを示すボタン3014とが表示される。
文字列3013は、図15における時点T1の表示画面と同じく、デフォルトパラメータとの差分を表している。このため、選択したジョブメモリにおけるパラメータ値の設定が自身の希望と一致しているかの確認が容易になる。
図30は、パラメータ値の変更を指示する場合の操作画面の例を説明する図である。
ここでは、用紙サイズがユーザの希望とは異なっている。このため、時点T24において、ユーザは、「A4にして。」と発話している。この発話の内容は、ウェアラブル端末において検知される。時点T24は、図15の時点T2に対応する。
時点T25では、ウェアラブル端末からの応答が吹き出し3001に表示される。ここでの吹き出し3001には、「A4に変更しました。」との文字列3013が表示されている。時点T25は、図15の時点T3に対応する。
<画面3:ジョブメモリの再実行>
以下では、ウェアラブル端末を用いて再実行を指示する場合の操作画面の例について説明する。
図31は、ユーザが視認している対象物の画像を通じて不良の原因を解析する手法を説明する図である。
時点T31において、ユーザは「もう少しきれいに出してほしいのだけれど。」と発話し、ジョブメモリの再実行の希望をウェアラブル端末に伝達する。ユーザがウェアラブル端末を装着している場合、出力イメージログを用いなくても、対象物の画像をその場で取得することが可能である。
そこで、時点T32において、ウェアラブル端末は、「原稿と出力されたコピーをもう一度見てもらえますか?」とのメッセージをスピーカから出力する。なお、他の例のように、空間中に仮想の文字列を表示することで、ユーザの行動を促すことも可能である。
時点T33において、ユーザは、ウェアラブル端末を装着した状態で原稿3021を見る。原稿3021の画像は、ウェアラブル端末に取り付けられているカメラ205(図4参照)によって撮像される。
時点T34において、ユーザは、ウェアラブル端末を装着した状態で出力されたコピー3022を見る。コピー3022の画像も、ウェアラブル端末に取り付けられているカメラ205によって撮像される。図31の場合、原稿3021の文字は濃く、くっきり表現されているが、コピー3022の文字は薄く、裏写りの症状も認められる。
なお、原稿3021とコピー3022の区別が可能であれば、原稿3021の撮像とコピー3022は一度に撮像されてもよい。また、撮像の順序は、コピー3022が先で、原稿3021が後でもよい。
両方の撮像が確認されると、時点T35に示すように、ウェアラブル端末から「確認しました。しばらくお待ちください。」等のメッセージが出力される。
取り込まれた画像の解析は、出力イメージログを解析する場合と同じである。
<画面4:対策のための作業の支援>
図32は、不良の原因の解消に清掃などの対策が必要になる場合におけるガイドの手法を説明する図である。
スマートフォンなどの携帯型の端末装置20(図1参照)を用いる場合、ユーザによる積極的な関与が求められる。例えば対策について公開するURL(=Uniform Resource Locator)へのアクセス、スライドの切り替え、動画像の再生や一時停止等の作業が対策のための作業とは別に必要になる。
一方、ウェアラブル端末を装着している場合、対策の進捗の様子は、カメラ205で撮像される。このため、ユーザは対策に集中することが可能になる。
時点T41では、ユーザに求められる対策が示されている。まず、ウェアラブル端末から「トナーの交換が必要です。対応の方法は動画を御覧ください。」とのメッセージが出力される。同時に、吹き出し3001に示すように、トナーの交換の方法を説明する動画3031が表示され、自動的に再生が開始される。なお、動画3031の再生は、操作の対象である画像形成装置10をユーザが視認していることの検知が前提である。
ウェアラブル端末のカメラ205は、ユーザの作業の様子を撮像している。ウェアラブル端末は、画像の解析の結果を使用して、ユーザの作業の内容と再生中の画像の内容とが一致するように再生を制御する。例えば時点T41では、ユーザに画像形成装置10の扉を開く指示を与えた時点で動画3031の再生を一時停止する。
時点T42では、画像形成装置10の扉が開かれている。そこで、ウェアラブル端末は、動画3031の再生を再開し、トナーカートリッジの本体からの取り外し方を作業中のユーザに案内する。
<画面5:画質を改善するパラメータ値の提示>
図33は、画質を改善するために推奨されるパラメータの提示を説明する図である。
ウェアラブル端末を装着しているユーザには、吹き出し3001に示すように、推奨されるパラメータ値のリスト3041とともに、出力されたコピー3042と推奨されるパラメータ値の適用後のイメージ3043とが提示される。
図33の場合、コピー3042の文字は薄く、裏写りの症状も認められる。このため、推奨されるパラメータ値のリスト3041には、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く+1」、「裏写り防止」のパラメータ値として「オン」が表示されている。
なお、図33の例では、ウェアラブル端末から「ご覧のパラメータで実行します。よろしいですか?」とのメッセージが出力されている。
<画面6:操作すべき又は確認すべきボタン等の位置の示唆>
図34は、操作すべき又は確認すべきボタン等の位置をユーザに示唆する手法の例を説明する図である。
前述したように、ウェアラブル端末は、操作の対象である画像形成装置10(図1参照)の機種だけでなく、ユーザインタフェース画面の構造に関する情報も取得している。このため、ユーザが実際に視認している操作パネル3051の画像があれば、ユーザが操作すべきボタンの位置も特定が可能である。
時点T51では、実在する操作パネル3051を構成する特定のボタンの上に重ねるように仮想のアイコン3052を表示している。なお、ウェアラブル端末からは「用紙トレイの設定を確認してください。」とのメッセージが出力されている。アイコン3052は、ユーザの注意を引く形状、色、輝度、点滅パターン等の組み合わせで表示される。
アイコン3052の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能になる。この例では、アイコン3052が表示されている位置のボタンを、ユーザがタップする。
時点T52では、用紙トレイに収容される用紙の種類を指定する画面が操作パネル3051に表示されている。このため、操作パネル3051には、用紙の種類毎にボタンが配列されている。
図34の例では、ウェアラブル端末から「ラベル紙を選択し、OKを押してください。」とのメッセージが出力されている。このため、操作パネル3051には、ラベル紙に対応するボタンの上に仮想のアイコン3053が表示され、OKボタンの上に仮想のアイコン3054が表示される。アイコン3053及び3054の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能である。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態においては、端末装置20の一例として実施の形態1ではスマートフォンを例示し、実施の形態2ではウェアラブル端末を例示しているが、端末装置20で実行されているアプリケーションプログラムは、端末装置20と通信可能なサーバ上で実行されてもよい。この場合は、サーバが情報処理装置の一例となる。サーバは、クラウドサーバでもオンプレミスサーバでもよい。
もっとも、前述したアプリケーションプログラムの実行を通じて提供されるサービスは、端末装置20と不図示のサーバとの連携によって実現してもよい。その場合には、連携する端末装置20と不図示のサーバが情報処理装置の一例となる。
10…画像形成装置、20…端末装置、121…ジョブメモリ管理モジュール、122…ジョブメモリ実行管理モジュール、221…音声認識モジュール、222…ジョブメモリ情報取得モジュール、223…ジョブメモリ検索モジュール、224…差分抽出モジュール、225…差分確認モジュール、226…変更受付モジュール、227…再実行受付モジュール

Claims (14)

  1. 操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、
    ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段と、
    を有する情報処理装置。
  2. ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項に記載の情報処理装置。
  3. 画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、解消したい画質の内容に対するユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項に記載の情報処理装置。
  4. 変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項に記載の情報処理装置。
  5. 操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、
    を有し、
    前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する情報処理装置。
  6. 前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項に記載の情報処理装置。
  7. 操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、
    を有し、
    ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する情報処理装置。
  8. 操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する抽出手段と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する確認手段と、
    を有し、
    読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する情報処理装置。
  9. 操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項1、5、7又は8に記載の情報処理装置。
  10. 請求項1、5、7又は8に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
  11. コンピュータに、
    操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と
    ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける機能と、
    実現させるためのプログラム。
  12. コンピュータに、
    操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、
    を実現させるためのプログラムであり、
    前記確認する機能は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、プログラム。
  13. コンピュータに、
    操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、
    を実現させるためのプログラムであり、
    ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、プログラム。
  14. コンピュータに、
    操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、画質に関するユーザの希望と関連がある、初期設定と異なるパラメータを抽出する機能と、
    抽出されたパラメータをユーザに提示し、提示されたパラメータに対する変更の希望をユーザに確認する機能と、
    を実現させるためのプログラムであり、
    読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、プログラム。
JP2019055200A 2019-03-22 2019-03-22 情報処理装置及びプログラム Active JP7263869B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019055200A JP7263869B2 (ja) 2019-03-22 2019-03-22 情報処理装置及びプログラム
US16/558,161 US11625200B2 (en) 2019-03-22 2019-09-02 Information processing device, mobile terminal, and non-transitory computer readable medium for parameter presentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019055200A JP7263869B2 (ja) 2019-03-22 2019-03-22 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020155030A JP2020155030A (ja) 2020-09-24
JP7263869B2 true JP7263869B2 (ja) 2023-04-25

Family

ID=72514132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019055200A Active JP7263869B2 (ja) 2019-03-22 2019-03-22 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US11625200B2 (ja)
JP (1) JP7263869B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022113031A (ja) * 2021-01-22 2022-08-03 ソフトバンク株式会社 制御装置、プログラム、システム及び制御方法
JP2022134860A (ja) * 2021-03-04 2022-09-15 シャープ株式会社 画像形成装置、制御方法
WO2023042277A1 (ja) * 2021-09-14 2023-03-23 ファナック株式会社 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351653A (ja) 2001-05-29 2002-12-06 Canon Inc 音声処理装置、および、音声処理方法
JP2010049432A (ja) 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc 表示画面制御装置およびその方法並びに情報処理装置
JP2014142873A (ja) 2013-01-25 2014-08-07 Fuji Xerox Co Ltd 制御装置、電子機器、画像形成装置及びプログラム
JP2014149680A (ja) 2013-02-01 2014-08-21 Konica Minolta Inc 印刷設定装置及びプレビュー表示制御プログラム
JP2016126403A (ja) 2014-12-26 2016-07-11 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP2016206617A (ja) 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 表示システム
JP2018046416A (ja) 2016-09-14 2018-03-22 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018157241A (ja) 2017-03-15 2018-10-04 株式会社リコー 画像処理装置、及びプログラム
JP2018207188A (ja) 2017-05-31 2018-12-27 株式会社沖データ 画像形成方法及び画像形成装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433049B2 (ja) * 2007-12-28 2010-03-17 ブラザー工業株式会社 情報処理装置、情報処理方法及びプログラム。
JP5505657B2 (ja) * 2011-08-25 2014-05-28 コニカミノルタ株式会社 ジョブ設定登録装置および画像処理装置
JP6197450B2 (ja) * 2013-07-31 2017-09-20 ブラザー工業株式会社 情報処理装置、プログラム及び情報処理システム
JP5987031B2 (ja) * 2014-08-26 2016-09-06 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成システム
JP7250471B2 (ja) * 2018-10-17 2023-04-03 キヤノン株式会社 情報処理システム、画像形成装置、端末、情報処理方法、プログラム
JP2020095495A (ja) * 2018-12-13 2020-06-18 キヤノン株式会社 情報処理装置、プログラム及び制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351653A (ja) 2001-05-29 2002-12-06 Canon Inc 音声処理装置、および、音声処理方法
JP2010049432A (ja) 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc 表示画面制御装置およびその方法並びに情報処理装置
JP2014142873A (ja) 2013-01-25 2014-08-07 Fuji Xerox Co Ltd 制御装置、電子機器、画像形成装置及びプログラム
JP2014149680A (ja) 2013-02-01 2014-08-21 Konica Minolta Inc 印刷設定装置及びプレビュー表示制御プログラム
JP2016126403A (ja) 2014-12-26 2016-07-11 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP2016206617A (ja) 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 表示システム
JP2018046416A (ja) 2016-09-14 2018-03-22 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018157241A (ja) 2017-03-15 2018-10-04 株式会社リコー 画像処理装置、及びプログラム
JP2018207188A (ja) 2017-05-31 2018-12-27 株式会社沖データ 画像形成方法及び画像形成装置

Also Published As

Publication number Publication date
JP2020155030A (ja) 2020-09-24
US11625200B2 (en) 2023-04-11
US20200301622A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
JP7263869B2 (ja) 情報処理装置及びプログラム
US11172082B2 (en) Information processing apparatus, information processing system, and information processing method
EP3660661A1 (en) Information processing system, method of processing information and carrier means
CN110875993B (zh) 带交互代理功能的图像形成系统及其控制方法和存储介质
JP2020087377A (ja) 情報処理システム、情報処理装置、および方法
JP2022048149A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US20210392236A1 (en) Image forming system and image forming apparatus
US8669867B2 (en) Multi-function printer and alarm method thereof
US11838459B2 (en) Information processing system, information processing apparatus, and information processing method
EP3716040A1 (en) Image forming apparatus and job execution method
US8682920B2 (en) Information providing apparatus, information providing method, and information providing program embodied on computer readable medium
US11647129B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP2021092982A (ja) 画像処理システム、画像処理装置、画像処理方法
US20200153983A1 (en) Information processing system, information processing apparatus, job control method, and job control program
JP7383885B2 (ja) 情報処理装置及びプログラム
JP7286321B2 (ja) 情報処理システム、情報処理装置、制御方法、プログラム
JP6992332B2 (ja) 画像処理システム、画像処理装置、端末装置及びプログラム
JP7218192B2 (ja) 画像形成装置
JP2020181044A (ja) 情報処理装置、その制御方法、およびプログラム
JP2020201911A (ja) 情報処理システム、情報処理装置、情報処理方法
JP7447458B2 (ja) 制御装置、制御システム及び制御プログラム
JP7327939B2 (ja) 情報処理システム、情報処理装置、制御方法、プログラム
US11205429B2 (en) Information processing apparatus and non-transitory computer readable medium
JP7215039B2 (ja) 情報処理装置及び文書作成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7263869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150