JP7386726B2

JP7386726B2 - ジョブ処理装置、ジョブ処理装置の制御方法、及びプログラム

Info

Publication number: JP7386726B2
Application number: JP2020030852A
Authority: JP
Inventors: 良太郎井峯
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2023-11-27
Anticipated expiration: 2040-02-26
Also published as: JP2021135697A; US20210266413A1

Description

本発明は、ジョブ処理装置、ジョブ処理装置の制御方法、及びプログラムに関するものである。

従来、画像形成装置は明示的にユーザが設定指示を行わない場合、その画像形成装置で定められたデフォルト設定が採用されてジョブが実行されるようになっている。また、よく使う機能のお勧めや、ユーザが独自に初期設定をカスタマイズするなど、ジョブの設定工程の簡略化やガイダンスする機能が存在する。更に設定禁止や、矛盾がある設定の場合に注意喚起のメッセージを操作部の画面に表示することや、設定を再確認させるための操作を備える画像形成装置が存在する。しかしながら、それでもユーザによる操作ミスや認識ミス等により、誤った設定のままジョブの実行指示が行われる場合がある。このような場合、ジョブの実行中に、その設定の誤りに気付いたユーザによるジョブの中断を受け付けるためのストップボタンが操作部に必ず備えられている。つまり、従来の画像形成装置では、ユーザの認識ミスを判定できないため、誤った設定のままでジョブ実行開始指示を受付けてしまうという状況が発生する。

一方、このようなユーザによる誤操作に対して、装置側で操作誤り状況を推定する技術が提案されている。特許文献１では、ユーザが送信しようとしているデータの中に含まれる情報から送信先に関する情報を抽出し、その送信先に関する情報の個数により、データと送信先の整合性を判定することで送信先指定の誤りを推定している。これは、送信するデータの中には、通常の送信先に関する情報が含まれているという客観的特徴を活用することで、データの送信先の指定の誤りを推定するものである。

特開２０１６－１１９５０２号公報

ここで上記従来技術のように、何かしらの誤操作推定するための特徴というものが予め明らかな操作を対象にする場合は、ルールベースで推定ロジックを決定することができるが、それが不明もしくは不確定な場合がある。例えば、ユーザに固有の間違える癖を取り扱う場合が該当する。ユーザの癖のように、装置としては確定できない未知の特徴に誤操作が分類されるものは、ルールベースの組み込み実装には適さない。そこで、ルールベースの組み込み実装の対極的実装手法として、近年、実用化し普及しつつあるＡＩによる機械学習技術を活用した推定ロジックの実装方法を製品に適応することが課題となっている。

本発明の目的は、上記従来技術の問題点の少なくとも一つを解決することにある。

本発明の目的は、誤操作状況を効果的に学習し、この学習結果に基づき誤り推定を行いユーザへ通知を行うことで誤操作によるジョブ実行を抑制できる技術を提供することにある。

上記目的を達成するために本発明の一態様に係るジョブ処理装置は以下のような構成を備える。即ち、
ジョブ処理装置であって、
ジョブの設定を受け付ける受付手段と、
前記ジョブのキャンセル指示を受け付ける前に前記受付手段によって受け付けた前記ジョブの第１の設定と、前記キャンセル指示を受け付けた後に前記受付手段によって受け付けた第２の設定を学習データとして用いて、学習済みモデルを生成する生成手段と、
前記生成手段によって生成された前記学習済みモデルと前記受付手段によって受け付けた、新たなジョブの新たな設定とを用いて、前記新たな設定の誤りと前記新たなジョブの推奨設定を推定する推定手段と、
前記推定手段によって推定された前記誤りに関する情報と前記新たなジョブの前記推奨設定をユーザに通知する通知手段と、を有することを特徴とする。

本発明によれば、ジョブのキャンセル指示を受け付ける前に受け付けたジョブの第１の設定と、ユーザからキャンセル指示を受け付けた後に受け付けた第２の設定を学習データとして用いて生成した学習済みモデルを用いて、新たなジョブの新たな設定の誤りと新たなジョブの推奨設定を推定し、新たな設定の誤りに関する情報と新たなジョブの推奨設定をユーザに通知できるという効果がある。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態１に係るシステムを説明する図。実施形態１に係る画像形成装置のハードウェア構成を説明するブロック図。実施形態１に係る機械学習サーバのハードウェア構成を説明するブロック図。実施形態１に係る画像形成装置、機械学習サーバ及びデータサーバのソフトウェア構成を説明するブロック図。実施形態１に係る機械学習サーバの機械学習部における学習モデルを用いた入出力の構造を示す概念図。実施形態１に係る画像形成装置における操作誤りの発生する状況の一例として、コピー時の両面設定を説明する図。両面設定に関わるユーザの操作設定情報を学習対象とした学習データの一例を示す図。実施形態１に係る画像形成装置による処理を説明するフローチャート。図８のＳ８０４の推定処理を説明するフローチャート。実施形態１に係るデータサーバの動作を説明するフローチャート（Ａ）と、実施形態１に係る機械学習サーバの動作を説明するフローチャート（Ｂ）。実施形態１に係る画像形成装置の操作部に表示される画面例を示す図。実施形態１に係る画像形成装置における誤操作推定結果の通知画面を説明する図。実施形態１に係る画像形成装置の操作部に表示されるＡＩ処理設定カスタマイズ画面の一例を示す図。実施形態１に係る画像形成装置の操作部に表示される学習結果を表示する画面の一例を示す図。本発明の実施形態２に係る画像形成装置のソフトウェア構成を説明する図。実施形態２に係る画像形成装置の動作を説明するフローチャート。図１６のＳ１６０１の処理を説明するフローチャート。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また実施形態では、本発明に係る情報処理装置の一例を、例えば複合機などの画像形成装置を例に説明する。

図１は、本発明の実施形態１に係る情報処理システムを説明する図である。

このシステムは、プリンタ、複合機、ＦＡＸなどの画像形成装置１０１、機械学習サーバ１０２、データサーバ１０５、画像形成装置１０１に対するプリントデータの送信等を行う汎用コンピュータ１０３を有している。これらの機器は、有線ＬＡＮ等のネットワーク１０４によって接続されている。画像形成装置１０１は、ＡＩ（artificial intelligence）機能を搭載していて、このＡＩ機能を実現するための学習済みモデルは、機械学習サーバ１０２が中心的に生成する役割を備えている。データサーバは、機械学習サーバ１０２において機械学習を行うために使用される学習データを外部機器から収集して機械学習サーバ１０２へ提供する役割を持っている。画像形成装置１０１は随時、機械学習サーバ１０２で生成された学習済みモデルを機械学習サーバ１０２から受信して特定のＡＩ機能を実現できる。また機械学習サーバ１０２は、特定のＡＩ機能実現するための学習済みモデルの学習に必要な学習データを、データサーバ１０５や画像形成装置１０１、汎用コンピュータ１０３等の外部機器から受信し、その一部又は全部を用いて学習処理を行うことができる。

このシステムの特徴としては、画像形成装置１０１を操作するユーザ固有の誤操作状況をデータサーバ１０５が収集し、そのデータを機械学習サーバ１０２で学習して学習モデルを生成する。画像形成装置１０１は、機械学習サーバ１０２からロードした、ジョブ実行指示の際の誤操作状況を推定する学習モデルを活用したＡＩ機能を備えている。このようなシステム構成により、ユーザに誤り状況の通知が行えるようにすることで操作設定の訂正を促すことができる。

図２は、実施形態１に係る画像形成装置１０１のハードウェア構成を説明するブロック図である。

画像形成装置１０１は、使用するユーザが各種の操作を行うための操作部１４０と、操作部１４０からの指示に従って画像情報を読み取るスキャナ１０と、画像データに基づいて用紙（シート）に画像を印刷するプリンタ２０とを有する。スキャナ１０は、スキャナ１０を制御する図示しないＣＰＵや原稿読取を行うための照明ランプや走査ミラーなどを有する。プリンタ２０は、プリンタ２０の制御を行う図示しないＣＰＵや画像形成や定着を行うための感光体ドラムや定着器等を有する。また画像形成装置１０２は、スキャナ１０や、プリンタ２０、ＬＡＮ１０４や、公衆回線（ＷＡＮ）３００１、無線ＬＡＮ１０６と接続されている画像形成装置１０１の動作を統括的に制御するコントローラ２２００を備える。

次にコントローラ２２００の内部について詳細に説明する。

コントローラ２２００は、ＬＡＮ１０４を介してＬＡＮ上の汎用コンピュータ１０３から受信した印刷ジョブに含まれるＰＤＬコードをビットマップイメージに展開するラスタイメージプロセッサ（ＲＩＰ）２２６０を有する。またコントローラ２２００は、スキャナ１０から入力された画像データに対し補正、加工、編集を行うスキャナ画像処理部２２８０を有する。またコントローラ２２００は、プリンタ２０で出力（印刷）される画像データに対して補正、解像度変換等を行うプリンタ画像処理部２２９０と、画像データの回転を行う画像回転部２２３０とを有する。

またコントローラ２２００は、多値画像データはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、又はＭＨの圧縮伸張処理を行う画像圧縮部２２４０を有する。またコントローラ２２００は、スキャナ１０及びプリンタ２０とコントローラ２２００とを接続して画像データの同期系／非同期系の変換を行うデバイスＩ／Ｆ２２２０を有する。更に、これらを互いに接続して画像データを高速で転送する画像バス２００８を備えている。

またコントローラ２２００は、画像形成装置１０１を統括的に制御する制御部としてのＣＰＵ２２０１を有する。またコントローラ２２００は、ＣＰＵ２２０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもあるＲＡＭ２２０２を有する。またコントローラ２２００は、操作部１４０のインターフェース部２２０６を介して、操作部１４０に表示する画像データを操作部１４０に対して出力する。また操作部Ｉ／Ｆ２２０６は、操作部１４０から、この画像形成装置１０１を使用するユーザが入力した情報をＣＰＵ２２０１に伝える役割を有する。

またコントローラ２２００は、ＬＡＮ１０４に接続され、汎用コンピュータ１０３やＬＡＮ１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行うネットワークＩ／Ｆ部２２１０を有する。また公衆回線３００１に接続され、図示しない外部のファクシミリ装置とのデータの通信（送受信）を行うモデム２２１１を有する。また無線１０６により外部の端末と接続する為の無線通信Ｉ／Ｆ２２７０を備える。またコントローラ２２００は、ＣＰＵ２２０１が実行するブートプログラムが格納されているＲＯＭ２２０３と、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納するハードディスクドライブ（ＨＤＤ）２２０４を備える。またスキャナ１０及びプリンタ２０と夫々通信を行う内部通信Ｉ／Ｆ２２０８と、これらを互いに接続するシステムバス２２０７とを備える。更に、コントローラ２２００は、ＣＰＵ２２０１の指示により時間の計時を行うタイマ２２０９を備える。コントローラ２２００は、システムバス２２０７及び画像バス２００８を接続しデータ構造を変換するバスブリッジとして機能するイメージバス／Ｆ２２０５を備える。コントローラ２２００は、印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性情報等をジョブ実行時の履歴をジョブログ情報としてＨＤＤ２２０４或いはＲＡＭ２２０２に記録管理している。

ＧＰＵ２２９１は、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ２２９１で処理を行うことが有効である。そこで実施形態１では、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２２０１とＧＰＵ２２９１が協働して演算を行うことで学習を行う。また図４を参照して後述する推定処理部４０５の機能も同様にＧＰＵ２２９１を用いても良い。

図３は、実施形態１に係る機械学習サーバ１０２のハードウェア構成を説明するブロック図である。

機械学習サーバ１０２は、それぞれシステムバス３３０７で相互に接続されているＣＰＵ３３０１、ＲＡＭ３３０２、ＲＯＭ３３０３、ＨＤＤ３３０４、ネットワークＩ／Ｆ部３３１０、ＩＯ部３３０５、ＧＰＵ３３０６を有する。ＣＰＵ３３０１は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）やアプリケーションソフトなどのプログラムをＨＤＤ３３０４から読み出して実行することで種々の機能を提供する。ＲＡＭ３３０２はＣＰＵ３３０１がプログラムを実行する際のシステムワークメモリである。ＲＯＭ３３０３はＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）やＯＳを起動するためのプログラム、設定ファイルを記憶している。ＨＤＤ３３０４はハードディスクドライブで、システムソフトウェアなどを記憶している。ネットワークＩ／Ｆ部３３１０は、無線ＬＡＮに接続され、画像形成装置１０２などの外部機器と通信（送受信）を行う。ＩＯ部３３０５は、マルチタッチセンサ等を備えたディスプレイ入出力デバイスを備える図示しない操作部との間で情報を入出力するインターフェースである。操作部（不図示）にはプログラムが指示する画面情報に基づき所定の解像度や色数等で所定の情報が描画される。例えば、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）画面を形成し、操作に必要な各種ウィンドウやデータ等が表示される。

ＧＰＵ３３０６は、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ３３０６で処理を行うことが有効である。そこで実施形態１では、後述する図４の機械学習部４１４による処理にはＣＰＵ３３０１に加えてＧＰＵ３３０６を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ３３０１とＧＰＵ３３０６が協働して演算を行うことで学習を行う。尚、機械学習部４１４の処理は、ＣＰＵ３３０１又はＧＰＵ３３０６のみにより演算が行われても良い。

画像形成装置１０１のＧＰＵ２２９１との使い分けについて記載する。

ネットワークの通信やＧＰＵ２２９１の処理に要する負荷、画像形成装置１０１の省電力モード等に応じて、ＧＰＵ２２９１の計算資源を有効活用がされるようになっている。例えば、画像形成装置１０１が省電力モードに移行する場合、積極的に機械学習サーバ１０２のＧＰＵ３３０６を活用できるようになっている。

図４は、実施形態１に係る画像形成装置１０１、機械学習サーバ１０２及びデータサーバ１０５のソフトウェア構成を説明するブロック図である。図に示したソフトウェア構成を実現するためのプログラムは、その構成要素ごとにＨＤＤ２２０４に格納されており、そのプログラムがＲＡＭ２２０２に展開され、そのプログラムをＣＰＵ２２０１が実行することにより図４に示す機能が達成される。機械学習サーバ１０２やデータサーバ１０５においても、各サーバのＣＰＵがＲＡＭに展開したプログラムを実行することにより、その機能が達成される。また、このソフトウェア構成は、画像形成装置１０１の操作部１４０等を介したユーザの操作情報を学習して、ユーザの誤操作状況の推定処理を行う機能を実現するためのものである。

画像形成装置１０１のソフトウェアは、データ記憶部４０１、ＵＩ表示部４０２、ジョブ制御部４０３、画像読み取り部４０４、推定処理部４０５を有する。機械学習サーバ１０２のソフトウェアは、学習データ生成部４１３、機械学習部４１４、データ記憶部４１５を有する。またデータサーバ１０５は、データ収集・提供部４１０とデータ記憶部４１１を有する。

データ記憶部４０１は、ＲＡＭ２２０２やＨＤＤ２２０４に対して、画像データや学習データ、学習モデル等の画像形成装置１０１が入出力を行うデータの記録を行う機能的役割を有する。ＵＩ表示部４０２は、操作部Ｉ／Ｆ２２０６を介して操作部１４０の表示画面に対するユーザからの操作設定を受け付け、またその操作を受付ける画面を提供する。更に、推定処理部４０５による推定結果等のユーザへのメッセージを通知するための通知画面を表示する役割を有している。ジョブ制御部４０３は、ユーザの指示に基づきコピーやファックス、プリント等の画像形成装置１０１の基本機能の実行や、基本機能の実行に伴う他のソフト構成要素間の指示やデータの送受信を中心的に行う役割を有する。画像読み取り部４０４は、ジョブ制御部４０３の指示に基づきコピーやスキャン機能を実行する際に、スキャナ１０により原稿を光学的に読み取らせるように制御する。推定処理部４０５は、ＣＰＵ２２０１やＧＰＵ２２９１により実行されるものであり、画像形成装置１０１が入出力を行うデータに対してＡＩ機能を実現するための推定処理や分類処理等を行う。この推定処理部４０５は、ジョブ制御部４０３の指示に基づいて処理を実行し、その推定処理部４０５による推定結果はジョブ制御部４０３に送信され、ＵＩ表示部４０２によりメッセージとして操作部１４０に表示される。こうしてユーザに対して、その推定結果がフィードバックされる。

次にデータサーバ１０５の機能を説明する。データ収集・提供部４１０は、機械学習サーバ１０２で学習するための学習データの収集と、機械学習サーバ１０２への学習データの提供を行う。ここでは画像形成装置１０１から、画像形成装置１０１の操作情報を含む学習データを受信すると、それを機械学習サーバ１０２へ提供する。また、学習データの収集先は、画像形成装置１０１以外の他の画像形成装置、或いは汎用コンピュータ１０３や他のデータサーバであってもよい。いずれにしても、目的の機械学習をさせるために必要なデータの収集が可能になっている。データ記憶部４１１は、収集した学習データの記録管理を行う。

次に機械学習サーバ１０２の機能を説明する。

学習データ生成部４１３は、データサーバ１０５から受信したデータを目的の学習効果を得るために、ノイズとなる不要なデータを除去するなど効果的な学習結果が得られる形に加工して学習データの最適化を行う。実施形態１では、効果的な学習するためのデータの前処理加工の一例として画像形成装置１０１から受信した操作情報の中から、操作部１４０のストップボタンが押下された前後の操作情報をフィルタリングする。それによって、効果的に誤操作状況を学習できるように工夫している。機械学習部４１４は、学習データ生成部４１３によって生成された学習データを入力して、ＧＰＵ３３０６やＣＰＵ３３０１により、学習モデルによる学習方法を活用して機械学習を行う。データ記憶部４１５は、データサーバ１０５から受信したデータや、生成された学習データ、機械学習部４１４における学習済みモデルをＲＡＭ３３０２やＨＤＤ３３０４へ一時的に記憶する。

図５は、実施形態１に係る機械学習サーバ１０２の機械学習部４１４における学習モデルを用いた入出力の構造を示す概念図であり、ここではニューラルネットワークを用いた学習モデルを例に図示している。

このニューラルネットワークにより、操作情報を入力として誤操作状況を予測するための学習モデルの生成に関わる、学習データＸをＸ１～Ｘ１２で示している。これら学習データの要素として、ここでは一般的な操作設定情報を示しているが、その例外にも、ユーザによって操作設定が可能なものを学習データの要素とすることができる。よって、本発明は、図５に示すような操作設定情報に限定されないことは言うまでもない。尚、ＡＩ機能のオン／オフや、設定の有り無し、カラー／モノクロの設定等、設定項目がカテゴライズ変数として表現されるデータは、機械学習で数値として取り扱われる。従って、データの前処理として既知のone hot encoding等の手法によって、これらデータを数値の表現に変換して機械学習処理の入力として利用できるようにしている。

機械学習の具体的なアルゴリズムとしては、ニューラルネットワークの他、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて実施形態に適用することができる。

また学習モデルは、誤差検出部と、更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データＸに応じて、ニューラルネットワークの出力層から出力される出力データＹと、教師データＴとの誤差を取得する。そして損失関数を用いて、ニューラルネットワークからの出力データＹと教師データＴとの誤差を表す損失Ｌを計算するようにしてもよい。

更新部は、誤差検出部で得られた損失Ｌに基づいて、その損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。この誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

学習モデルＷは、「正解値が既知の入力データ」と「正解値」とをセットにした学習データを多数用意し、この正解値に対応する入力データを入力した場合の出力が正解値に極力近づくように、学習モデルＷ内の重み付け係数を調整する。これにより、精度の高い学習モデルＷを得る作業を行う。これを学習工程と呼び、この学習工程を経て調整された学習モデルを学習済モデルと呼ぶ。ここで用意する教師データ（「正解値が既知の入力データ」と「正解値」のセット）は以下のようなものとする。

実施形態１では、操作部１４０のストップボタン１３（図１１）が押下された直前の操作設定を操作誤りの「正解値」、その後の操作設定を訂正後の設定とし、これらを対にして学習データの入力とする。そして目的の変数とする誤り率、誤り設定、正しい設定の分類結果を出力データとして定義して学習させる。ここで、ストップボタンが押下された直前の操作設定を操作誤りの正解値として対応付けることで、操作設定項目の誤り方の特徴量を効果的に学習させることが可能になっている。

次に実施形態１において、画像形成装置１０１で操作誤りが発生する状況に対して学習の方法と操作誤りを推定させる方法について説明する。

図６は、実施形態１に係る画像形成装置１０１における操作誤りの発生する状況の一例として、コピー時の両面設定を説明する図である。

図６（Ａ）は、両面原稿を両面で印刷する両面両面設定を示し、図６（Ｂ）は、片面原稿を両面で印刷する片面両面設定を示し、図６（Ｃ）は、両面原稿を片面で印刷する両面片面設定を示している。

図７は、両面設定に関わるユーザの操作設定情報を学習対象とした学習データの一例を示す図である。

ここでは、両面設定に関わる誤操作の学習と推定動作について、ユーザＡとユーザＢの誤操作の癖を識別可能なように学習させる方法を説明する。

図６に示すように、両面設定とは、原稿の表裏の関係を印刷用紙の表裏の関係にどのように対応付けて印刷を行うか設定を受け付ける機能である。ここでユーザＡとユーザＢとは異なる固有の間違え方による誤設定が行われる状況を想定して説明を行う。

ユーザ固有の間違え方とは、画像形成装置１０１の通常の使い方としての志向が異なること要因であることが背景としてある。例えばユーザＡは、「片面原稿をコピーする場合、印刷用紙を節約したい」といった志向の持ち主で、通常、片面原稿を両面で印刷する片面両面設定を行う。しかしながら、まれに操作ミスにより両面原稿を両面でコピーする両面両面設定を選択した状態でコピーを実行してしまい、そのコピーの途中で、その誤りに気付いてコピーを中断したことがある。

一方、ユーザＢは、「片面原稿の場合、印刷部数が多いときだけ片面両面設定でコピーしたい、１部の時は、原稿のレイアウト通りにコピー取りたい」といった志向の持ち主で、通常は、デフォルトの片面原稿を片面で印刷する片面片面設定でコピーを行う。しかしながらまれに操作ミスにより、部数が多いときに片面両面設定への変更をし忘れてコピーを開始し、コピーの途中で、誤りに気づいてコピーを中断したことがある。このように、ユーザ毎に志向が異なり、また間違え方が異なることが想定される。このような間違えが発生した操作プロセスを記録した一例として、ユーザＡの操作及び設定データの例を図７（Ａ）に、ユーザＢの操作及び設定データの例を図７（Ｂ）に示している。

また、ユーザ毎に共通する点としては、いずれもユーザ自身で間違いに気づき、ストップボタンを押下して、コピージョブの中断操作を行い、設定を適正化して、そのジョブを再実行している。画像形成装置１０１では、少なくともこの時、ジョブの中断と再実行の過程で入力した設定データを学習データとして機械学習を行うように構成されている。図７は、その学習データの一例を示している。

図７（Ａ）は、ユーザＡの操作状況に対する学習データの一例を示している。図７（Ａ）は、縦軸に図５に示した機械学習部４１４に入力される学習データの構成要素を示しており、入力データとして学習項目Ｘ、出力データとして推定結果Ｙ、推定結果に対応する教師データ項目Ｔを含んでいる。また横軸に操作順（ｎ）に対応した操作履歴が記録されている。これら学習データの３つの要素について、図５で説明したように機械学習部４１４学習させる。

画像形成装置１０１において、操作誤りを推定するために操作の誤りが発生したことを直接的に示す操作入力としてストップボタンが押下された状態と、その他の操作設定項目と、その後適正化された操作設定情報をセットで学習動作を積み重ねていく。その学習プロセスの一例を操作順（ｎ）～操作順（ｎ＋１００）で示している。

操作順（ｎ）では、ユーザＡは、図示の学習項目記載の設定に対して、ストップボタンを押下してジョブを中断した。この時点では、学習済みモデルとしては初期状態であり、誤操作推定モデルの誤操作率推定結果は０％である。

操作順（ｎ）で、ストップボタンが押下されているため、教師データ項目の誤操作率Ｔ１は１００％として、誤操作率の推定結果Ｙ１との誤差を得て損失を計算する。こうして図５で説明したように、この損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この一連の動作を操作順（ｎ）が更新される毎に行う。

次に操作順（ｎ＋１）では、操作順（ｎ）の設定に対して、誤り設定を適正化した設定に変更されている。ここではジョブの実行中にストップボタンは押下されていない。この設定項目に対しては、教師データ誤操作率Ｔ１は０％として、操作順（ｎ）と同様に学習させる。

次に操作順（ｎ＋２）の場合、誤操作率Ｙ１が２０％として出力されている。これは、操作順（ｎ＋２）に至るまでの学習により、ニューラルネットワークのノード間の結合重みづけ係数等が更新されている。この結果、学習済みモデルが、操作順（ｎ＋２）の操作設定（Ｘ２～Ｘ１２）までの説明変数に対して推定した誤操作率を示している。

このように、操作順（ｎ＋３）～操作順（ｎ＋１００）までを学習させた結果、操作順（ｎ＋１００）の時点の誤操作率の推定結果は８０％となっている。このように、初期の学習済みモデルから学習を重ねることで、誤操作の特徴を示す設定の場合に推定率が徐々に高いレベルで収束するようになっていく。

また図示の例では、推定結果として「誤り操作設定Ｙ２」「正しい操作設定Ｙ３」という分類結果を目的変数として学習済みモデルが出力できることを示している。これは、ユーザが、操作部１４０を介して誤操作推定結果の通知の仕方を目的に応じて、変更することができるようにするためである。例えば、正誤の結果のみでよい場合と、その正確らしさの閾値を考慮して、ユーザへの通知判定を行えるようにしても良い。このようにして、誤操作の抑制効果と、通知の頻度のバランスが調整できる。これにより、ある程度の推定誤差が存在する機械学習を前提とした誤操作推定通知機能として使い勝手がよくなると考えられる。尚、図示の学習結果やその経過は、誤操作推定モデルの学習方法や学習データの特徴を示す一例であり、本発明は、図示の例に限定されることがないことは言うまでもない。

図１１は、実施形態１に係る画像形成装置１０１の操作部１４０に表示される画面例を示す図である。

操作部１４０の操作パネル１１は、例えば液晶とタッチパネルを組み合わせたものであり、操作画面を表示するとともに、表示キーがユーザにより押されるとその情報をコントローラ２２００に送る。スタートボタン１２は、原稿画像の読み取り印刷の動作を開始するときや、その他機能の開始指示に用いられる。スタートボタン１２には、緑色と赤色の２色のＬＥＤが組み込まれ、緑色点灯時には開始可能を示し、赤色点灯時には開始不可であることを示す。ストップボタン１３は、稼動中の動作を止める働きをする。ハードキー群１４には、テンキー、クリアキー、リセットキー１８、設定キー１６が設けられる。また節電キー１５は画像形成装置を操作部１４０からスリープモードに移行、又はスリープモードから復帰させる際に用いられる。画像形成装置１０１は、通常モードで節電キー１５がユーザによって押下されるとスリープモードへ移行し、スリープモードで節電キー１５がユーザによって押下されると通常モードへ移行する。設定キー１６は、ＡＩ機能設定等の設定を行う際に用いられる。また操作部１４０は、ユーザが操作パネル１１を用いて入力したユーザ名や印刷枚数、出力属性情報といったジョブ情報作成に必要な情報を操作部Ｉ／Ｆ２２０６に送信する。

図１１（Ａ）における操作パネル１１の表示はホーム画面の一例を示している。ユーザは、このホーム画面を介して画像形成装置１０１が提供する機能を選択可能になっている。またここでは、ＡＩ機能のステータスを表示するＡＩ機能アイコン１７を表示させて、ユーザがＡＩ機能の稼働状態を識別できるようになっている。ユーザが、このＡＩ機能アイコン１７にタッチすることによって、図１３に示すＡＩ機能設定の選択画面に遷移させることができる。また図１１（Ｂ）は、コピーの初期設定画面例を示す。ここでもユーザは、ＡＩ機能アイコン１７にタッチすることによって、図１３に示すＡＩ機能設定のカスタマイズ画面に遷移させることができる。

図１３は、実施形態１に係る画像形成装置１０１の操作部１４０に表示されるＡＩ処理設定カスタマイズ画面の一例を示す図である。

このＡＩ処理設定画面１３００は、ＡＩ処理の詳細設定が行えるようになっている。例えばＡＩ機能のオン／オフ設定選択１３０１がチェックボックスのチェックにより受付可能になっている。また、学習と推定をそれぞれ独立してオン／オフできるように、それぞれ学習欄１３０２と推定欄１３０３が選択項目として備えられている。このＡＩ処理の処理内容の選択は、学習と推定のいずれか一方または両方を禁止処理として選択を受付可能になっている。操作誤り率閾値設定値１３０４は、ユーザが操作誤りの通知の頻度や通知内容の確度を考慮して、期待する操作感に調整可能なように操作誤り率の閾値（所定値）を設定できる。ミス印刷枚数閾値設定値１３０５は、ユーザが操作誤りの通知の頻度や通知内容の確度を考慮して、ミスした印刷枚数がこの閾値（所定値）になると操作誤りを通知するように設定できる。これら設定値は、後述する図９の推定処理で参照される。このミスした印刷枚数は、ユーザの操作の誤りにより発生した事象の数を表す一例である。

図８は、実施形態１に係る画像形成装置１０１による処理を説明するフローチャートである。この処理は、操作入力の受付から、誤操作の推定処理を行って、それを通知するまでの処理を示している。尚、このフローチャートで示す処理は、ＣＰＵ２２０１がＲＡＭ２２０２に展開したプログラムを実行することにより達成される。

まずＳ８０１でＣＰＵ２２０１は、操作部１４０から、或いは、不図示のＩＣカードリーダ等を介して認証コードの入力を受け付けることによりユーザの認証を行う。こうしてユーザの認証に成功するとＳ８０２に進みＣＰＵ２２０１は、その認証されたユーザからのジョブの設定の入力を受け付ける。次にＳ８０３に進みＣＰＵ２２０１は、そのユーザによりジョブの実行開始を指示するスタートボタン１２が押下されるのを待って、スタートボタン１２が押下されるとＳ８０４に進みＣＰＵ２２０１は推定処理を行う。このＳ８０４の推定処理は、図９のフローチャートを参照して後述する。

次にＳ８０５ジョブに進みＣＰＵ２２０１は、設定された条件に基づいてジョブを実行する。次にＳ８０６に進みＣＰＵ２２０１は、操作部１４０のストップボタン１３が押下されて、ジョブの実行がキャンセル（中断）されたか否かを判定する。ここでストップボタン１３が押下されていないときはＳ８０７に進みＣＰＵ２２０１は、そのジョブが終了したか否か判定し、ジョブが終了したと判定したときはこの処理を終了し、そうでないときはＳ８０６に進む。

Ｓ８０６でストップボタン１３が押下されてジョブがキャンセルされたときはＳ８０８に進みＣＰＵ２２０１は、ジョブがキャンセルされるまでに印刷した用紙の枚数をデータ記憶部４０１に、ログインしているユーザの情報と対応付けて記録する。このＳ８０８での記録内容が、後述する推定処理で活用される。次にＳ８０９に進みＣＰＵ２２０１は、ジョブの設定がリセットされたか否か判定する。ここでジョブの設定がリセットされたと判定するとＳ８０１に戻り、ジョブの設定がリセットされていないと判定するとＳ８１０に進む。

Ｓ８１０でＣＰＵ２２０１は、タイマ２２０９によるタイムアウトが発生しているか否か判定する。これは、操作設定値の初期化を行うまでのタイマ２２０９の時間設定に基づきタイムアウトしたか否かを判定するものである。不図示のＵＩ操作画面を介してユーザは、任意のタイマ値を設定可能になっている。ここでタイムアウトしていないと判定するとＳ８１１に進みＣＰＵ２２０１は、ユーザがログアウトしたか否かを判定する。ここでユーザがログアウトしたと判定した場合はＳ８０１のユーザの認証受付状態に戻る。

一方、ユーザがログアウトしていないと判定するとＳ８１２に進みＣＰＵ２２０１は、ジョブの設定変更を受け付ける。そしてＳ８１３に進みＣＰＵ２２０１は、ジョブの実行開始を指示するスタートボタン１２が押下されたか否かを判定する。ここでスタートボタン１２が押下されたと判定するとＳ８１４に進みＣＰＵ２２０１は、誤操作推定モデルにおける学習データとしてジョブ設定情報をデータ記憶部４０１へ記録する。そしてＳ８１５に進みＣＰＵ２２０１は、その記録した学習データをデータサーバ１０５に送信してＳ８０４の推定処理に戻る。

図９は、図８のＳ８０４の推定処理を説明するフローチャートである。

先ずＳ９０１でＣＰＵ２２０１は、機械学習サーバ１０２から学習済みモデルを受信しているか判定する。ここで受信していると判定するとＳ９０２に進みＣＰＵ２２０１は、学習モデルの記録を行うとともに、推定処理に使用する学習済みモデルを更新してＳ９０３に進む。一方、Ｓ９０１で学習済みモデルを受信していないときはＳ９０３に進む。Ｓ９０３でＣＰＵ２２０１は、学習済みモデルにデータの入力を行う。次にＳ９０４に進みＣＰＵ２２０１は、この入力に対して学習済みモデルが出力する操作誤りの推定結果を取得する。次にＳ９０５に進みＣＰＵ２２０１は、この取得した推定結果が、予め定めた閾値Ｘより大きいかを判定する。

この閾値Ｘは、前述の図１３に示すＡＩ処理設定カスタマイズ画面において、設定された操作誤り率閾値設定１３０４と比較するものである。これは、ユーザが操作誤りの通知の頻度や通知内容の確度を考慮して期待する操作感に調整可能なように操作誤り率の閾値を設定可能になっている。

Ｓ９０５で、設定されている閾値Ｘよりも小さい操作誤り率であれば、この処理を終了となる。一方、その推定結果が閾値Ｘ以上であればＳ９０６に進みＣＰＵ２２０１は、それまでに印刷した印刷枚数と閾値Ｙとを比較する。尚、この印刷枚数は、前述のＳ８０８で取得した印刷枚数である。

これは、過去にジョブ実行を途中で中断した時点で出力した印刷枚数を、前述の図１３に示したＡＩ処理設定カスタマイズ画面におけるミス印刷枚数閾値設定値１３０５と比較する。ここで印刷枚数が閾値Ｙよりも多いときはＳ９０７に進むが、閾値Ｙ以下であれば、この推定処理を終了する。Ｓ９０７でＣＰＵ２２０１は、その推定結果を、例えば図１２に示すような通知画面を操作部１４０に表示する。そしてＳ９０８に進みＣＰＵ２２０１は、操作部１４０に表示された通知画面を介してユーザの操作を受付けてＳ９０９に処理を進める。そしてＣＰＵ２２０１は、ジョブの実行開始を指示するスタートボタン１２が押下されたかを判定し、スタートボタン１２が押下されると、この推定処理を終了する。

ここでミス印刷枚数を閾値と比較して通知画面の誤操作推定結果通知画面の表示条件としている目的は、誤操作による影響度を反映した形で通知の仕方を調整できるようにするためである。ミス印刷の枚数は、直接、誤操作状況の推定と相関のないパラメータであり誤操作推定の学習の要素にならない。しかし、ミス印刷の枚数の判定を行うのは、通知の頻度等を考慮して実用上の誤操作通知の重要度を加味する場合、別途調整のパラメータを選択的に調整できるようにもなっている方が好ましいと考えられるためである。

このように、操作誤り率に対する閾値設定やミス印刷枚数に対する閾値設定は、実施形態における特徴部分の付加的要素として図示した。

図１２は、実施形態１に係る画像形成装置１０１における誤操作推定結果の通知画面を説明する図である。ここでは図１２（Ａ）と図１２（Ｂ）は、その通知画面例を示している。

ここで通知にかかわる構成要素としては、メッセージ表示部１２００、ＡＩ推定設定アイコン１２０１、誤操作推定精度表示部１２０２を含む。図示の例では、メッセージ表示部１２００に表示されている通知メッセージが、誤操作推定精度値に連動して変わっている様子を示している。つまり、図１２（Ｂ）に示す誤操作推定精度が高い方「８０％」では、通知メッセージの内容が操作設定の間違えを断定的に表現するようになっている。これに対して図１２（Ａ）では、相対的に推定精度が小さい「５０％」ため、表現を和らげて「推奨設定があります」というように通知している。このような表示形態は、学習結果には、推定誤差が存在すること、及び学習の習熟度が変化するという性質があるので、最終判定をユーザが行う判定材料として通知結果を定量的、定性的情報として把握可能にしている。尚、通知結果を、ユーザが定量的、定性的に把握可能であれば、他の提示方法でもよい。

図１２（Ｃ）は、ＡＩ推定設定アイコン１２０１の押下により表示される画面の一例を図１２（Ｃ）に示している。図１２（Ｃ）は、誤操作推定モデルによって推定した誤設定内容を反映した表示画面の一例を示す。ＡＩ推奨設定画面は、設定項目表示部１２０３、現状設定内容表示部１２０４、推奨設定表示部１２０５とを有している。そして更に、現状の設定を選択するアイコン１２０６、推奨設定を選択するアイコン１２０７が配置されている。これによりユーザは、通知内容を確認して、その設定内容を変更するか否かを指示でき、或いはどのように変更すれば現状の不具合を解消できるか等を把握できる。図１２（Ｃ）の例では、現状の設定に対して、両面設定として「片面／両面」を推奨設定とする例を示している。

図１０（Ａ）は、実施形態１に係るデータサーバ１０５の動作を説明するフローチャートである。尚、このフローチャートで示す処理は、データサーバ１０５のＣＰＵ（不図示）が、同じくデータサーバ１０５のＲＡＭ（不図示）に展開したプログラムを実行することにより達成される。

先ずＳ１００１でデータサーバ１０５のＣＰＵは、データ通信要求の受信を待機しており、その通信要求を受信するとＳ１００２に進む。その通信要求の種類が画像形成装置１０１からのデータ保存を示す送信要求である場合はＳ１００３に進み、画像形成装置１０１からデータを受信して、データ記憶部４０１により記憶して、この処理を終了する。

一方、Ｓ１００２で通信要求が機械学習サーバ１０２からの要求であると判定するとＳ１００５に進み、記憶されているデータのうち、機械学習サーバ１０２に未提供のデータを機械学習サーバ１０２に送信して、この処理を終了する。

図１０（Ｂ）は、実施形態１に係る機械学習サーバ１０２の動作を説明するフローチャートである。尚、このフローチャートで示す処理は、機械学習サーバ１０２のＣＰＵ３３０１がＲＡＭ３３０２に展開したプログラムを実行することにより達成される。

先ずＳ１０１０でＣＰＵ３３０１は、データサーバ１０５に対して機械学習用のデータの送信要求を送信する。次にＳ１０１１に進みＣＰＵ３３０１は、その要求に応答して、データサーバ１０５から送信されたデータを受信したかどうか判定し、データを受信するとＳ１０１２に進みＣＰＵ３３０１は、誤操作の推定用学習データを生成する。次にＳ１０１３に進みＣＰＵ３３０１は、その生成された推定用学習データを学習モデルに入力する。これにより機械学習部４１４は、その入力された推定用学習データに基づいて学習を行う。そしてＳ１０１５に進みＣＰＵ３３０１は、受信した学習用のデータの全ての処理を終了するまで繰り返し学習を行い、全ての学習用データの学習を終了すると学習済みモデルを画像形成装置１０１に送信して、この処理を終了する。

このように機械学習サーバ１０２は、データサーバ１０５から提供される機械学習用のデータに基づいて学習を行って学習済のデータを作成する。ここまで実施形態１に係る画像形成装置１０１、データサーバ１０５、機械学習サーバ１０２の動作の特徴を説明した。

図１４は、実施形態１に係る画像形成装置１０１の操作部１４０に表示される学習結果を表示する画面１４００の一例を示す図である。

この学習結果の表示画面１４００は、ＡＩ処理における学習データの量と、その学習精度とを、ユーザが把握するための情報を表示する。図示のようにＡＩ学習データ量欄１４０１に「４８０」、ＡＩ学習予測精度欄１４０２には、図５で示した学習モデルによる学習結果の評価指標として、１００分率などの数値（図１４では９０％）を表示している。これによりユーザは、学習データ量や予測精度を把握することができる。また、これら数値に代えて、例えばグラフ形式で表示してもよい。

以上説明したように実施形態１によれば、少なくともストップボタンの押下状態と、その前後の操作情報を学習データとして、その操作情報を学習して、操作の誤り状況を推定処理する学習済みモデルを作成する。そして、その生成された学習済みモデルを使用して、ユーザの操作の誤り状況を推定することができる。そして、ユーザの操作の誤りであると推定される場合は、ユーザに通知することができる。

更に、その通知の頻度を、例えば誤り率や、ミス印刷の枚数などの閾値設定により調整できる。これによりユーザは、操作誤りの通知の頻度や、通知内容の確度を考慮して、期待する操作感に調整できる。

［実施形態２］
以下、本発明を実施するための実施形態２について図面を用いて説明する。実施形態１では、画像形成装置１０１が、実施形態１に係るデータ収集サーバ１０５と機械学習サーバ１０２の機能を有することにより、画像形成装置１０１単体で学習用データの収集、及び学習用データに基づく学習処理を実行することができる。尚、画像形成装置１０１のハードウェア構成は、前述の実施形態１と同様であるため、その説明を省略する。

図１５は、本発明の実施形態２に係る画像形成装置１０１のソフトウェア構成を説明する図である。図１５において、前述の図４と共通する機能は同じ参照番号を付して、その説明を省略する。

前述の実施形態１との相違点は、実施形態２に係る画像形成装置１０１が、実施形態１に係るデータ収集サーバ１０５と機械学習サーバ１０２の機能を有している点である。つまり、ＣＰＵ２２０１やＧＰＵ２２０９により、この図１５に示す機能ブロックが実行される。

図１６は、本発明の実施形態２に係る画像形成装置１０１の動作を説明するフローチャートである。このフローチャートにおいて、実施形態１の図８のフローチャートと共通する処理は同じ参照番号で示している。

図１６のフローチャートでは、Ｓ１６０１で画像形成装置１０１で学習処理を行う。

図１７は、図１６のＳ１６０１の処理を説明するフローチャートで、実施形態１の図１０（Ｂ）のフローチャートのＳ１０１２～Ｓ１０１５と共通する処理で示している。この処理の説明は図１０（Ｂ）と同であるため省略する。

このように実施形態２によれば、画像形成装置１０１だけで実施形態１と同様の効果が得られる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０１…画像形成装置、１０２…機械学習サーバ、１０３…データサーバ、４０５…推定処理部、４１３…学習データ生成部、４１４…機械学習部

Claims

ジョブ処理装置であって、
ジョブの設定を受け付ける受付手段と、
前記ジョブのキャンセル指示を受け付ける前に前記受付手段によって受け付けた前記ジョブの第１の設定と、前記キャンセル指示を受け付けた後に前記受付手段によって受け付けた第２の設定を学習データとして用いて、学習済みモデルを生成する生成手段と、
前記生成手段によって生成された前記学習済みモデルと前記受付手段によって受け付けた、新たなジョブの新たな設定とを用いて、前記新たな設定の誤りと前記新たなジョブの推奨設定を推定する推定手段と、
前記推定手段によって推定された前記誤りに関する情報と前記新たなジョブの前記推奨設定をユーザに通知する通知手段と、
を有することを特徴とするジョブ処理装置。
前記推定手段は、前記受付手段が前記新たなジョブを受け付けたことに応じて、前記新たな設定の誤りと前記新たなジョブの推奨設定を推定する処理を開始することを特徴とする請求項１に記載のジョブ処理装置。
前記推定手段は、少なくとも前記受付手段によって受け付けた設定の正誤の分類や、前記受付手段によって受け付けた設定の誤り率の予測を用いて、前記新たなジョブの前記新たな設定の前記誤りを推定することを特徴とする請求項１又は２に記載のジョブ処理装置。
前記推定手段によって推定された前記誤りに関する情報を前記ユーザに通知するための条件を設定する設定手段を、更に有することを特徴とする請求項１乃至３のいずれか一項に記載のジョブ処理装置。
前記条件は、前記受付手段によって受け付けた設定の誤り率が所定値よりも大きい場合を含むことを特徴とする請求項４に記載のジョブ処理装置。
前記条件は、前記受付手段によって受け付けた設定の誤りにより発生した事象の数が所定値よりも大きい場合を含むことを特徴とする請求項４に記載のジョブ処理装置。
前記通知手段は、前記推定手段によって推定された前記誤りの確度をさらに通知することを特徴とする請求項１乃至６のいずれか一項に記載のジョブ処理装置。
スキャナとプリンタをさらに有し、
前記ジョブは前記スキャナと前記プリンタを使うコピージョブであり、
前記設定は前記コピージョブのコピー設定であることを特徴とする請求項１乃至７のいずれか一項に記載のジョブ処理装置。
ジョブ処理装置を制御するジョブ処理装置の制御方法であって、
ジョブの設定を受け付ける受付工程と、
前記ジョブのキャンセル指示を受け付ける前に前記受付工程で受け付けた前記ジョブの第１の設定と、前記キャンセル指示を受け付けた後に前記受付工程で受け付けた第２の設定を学習データとして用いて、学習済みモデルを生成する生成工程と、
前記生成工程で生成された前記学習済みモデルと前記受付工程で受け付けた、新たなジョブの新たな設定とを用いて、前記新たな設定の誤りと前記新たなジョブの推奨設定を推定する推定工程と、
前記推定工程で推定された前記誤りに関する情報と前記新たなジョブの前記推奨設定をユーザに通知する通知工程と、
を有することを特徴とするジョブ処理装置の制御方法。
請求項９に記載のジョブ処理装置の制御方法を、前記ジョブ処理装置に実行させるためのプログラム。
である。