JP7353917B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

画像処理装置、その制御方法及びプログラムに関する。

ＰＣから受信した印刷ジョブに含まれる印刷設定を機械学習によって学習し、学習結果（モデル）を用いて、新たに受信した印刷ジョブに推奨する印刷設定を推定する画像処理装置が記載されている（特許文献１参照）。

特開２０１８－６９６８４号公報

特許文献１の画像処理装置のように、受信したジョブに含まれる機密情報を含む情報を機械学習で学習すると、以下のような課題がある。例えば、受信したジョブに含まれる画像データに含まれる機密情報を機械学習で学習し、モデルを生成することによって、そのモデルの一部として記憶された機密情報が流出し、画像処理装置のユーザに不利益を与える可能性がある。

本発明は上記の課題に鑑みてなされたものであり、入力したデータに基づいて機械学習を実行する画像処理装置において、入力したデータに含まれる機密情報が流出する可能性を低減することを目的とする。

本発明の画像処理装置は画像データを入力する入力手段と、前記入力手段が入力した画像データに含まれる情報を用いて機械学習処理を実行する学習手段と、前記学習手段が学習することにより生成された学習モデルを用いて、前記画像データに含まれる情報に基づいて推定結果を出力する推定手段と、機密情報としてユーザによって指定された情報を登録する登録手段と、前記入力手段が入力した画像データに前記登録された情報が含まれているかどうかを判定する判定手段を有し、前記学習手段は、前記判定手段が前記登録された情報が含まれていると判定した前記画像データを前記機械学習処理に使用しないこと特徴とする。

入力したデータに基づいて機械学習を実行する画像処理装置において、入力したデータに含まれる機密情報が流出する可能性を低減することができる。

画像処理システムの一例を示す図 画像処理装置のハードウェア構成の一例を示す図 機械学習サーバーのハードウェア構成の一例を示す図 画像処理システムのソフトウェア構成の一例を示す図 機械学習処理の一例を示す図 画像処理システムの動作の一例を示す図 ＡＩ機能の処理の一例を示すフローチャート 画像処理システムの処理の一例を示すフローチャート 画像処理装置の操作部の一例を示す図 ＡＩ処理設定画面の一例を示す図 機密情報管理画面の一例を示す図 操作画面の一例を示す図 操作画面の一例を示す図。 画像処理装置のソフトウェア構成の一例を示す図 ＡＩ機能の処理の一例を示すフローチャート

以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜実施例１＞
以下、本発明を実施するための実施例について図面を用いて説明する。

＜システム構成図＞
図１は、画像処理システムの一例を示す図である。プリンタ、複合機、ＦＡＸ装置等の画像処理装置１０１、機械学習サーバー１０２、データサーバー１０５、画像処理装置１０１に対するプリントデータの送信等を行う汎用コンピュータ１０３で構成されている。これらの機器は、有線ＬＡＮ等のネットワーク１０４によって接続されている。画像処理装置１０１は、ＡＩ機能を搭載している。機械学習サーバー１０２が、画像処理装置１０１がＡＩ機能を実現するための学習済みモデルを生成する役割を備えている。データサーバーは、機械学習サーバー１０２において機械学習を行うために使用される学習データを外部機器から収集して機械学習サーバーへ提供する役割を持っている。画像処理装置１０１は随時、生成された学習済みモデルを機械学習サーバー１０２から受信して特定のＡＩ機能を実現可能になっている。また、機械学習サーバー１０２は、特定のＡＩ機能を実現するための学習済みモデルの学習に必要な学習データをデータサーバー１０５や画像処理装置１０１、汎用コンピュータ１０３等の外部機器から受信を行う。そして、その一部または全部を用いて学習処理を行うことが可能になっている。

本発明のシステムにおける特徴としては、このようにＡＩ機能を搭載した画像処理装置１０１が処理するデータに、機密情報が含まれている場合にそのＡＩ機能の処理プロセスの一部または、全部を停止させることが可能になっている。画像処理装置１０１が処理するデータとは、原稿の画像を読み取ることで生成された画像データや汎用コンピュータから送信されるプリントデータなど画像処理装置１０１が入出力するデータである。

＜画像処理装置－全体構成＞
図２は、画像処理装置のハードウェア構成の一例を示す図である。

画像処理装置１０１は、使用するユーザが各種の操作を行うための操作部１４０と、操作部１４０を介した指示に従って原稿の画像を読み取るスキャナ部１０と、画像データに基づいて画像を用紙に印刷するプリンタ部２０とを有する。スキャナ部１０は、スキャナ部１０を制御するＣＰＵや原稿の読取を行うための照明ランプや走査ミラー（不図示）などを有する。プリンタ部２０は、プリンタ部の制御を行うＣＰＵや画像形成や定着を行うための図示しない感光体ドラムや定着器を有する。また、画像処理装置１０１は、スキャナ部１０や、プリンタ部２０、ＬＡＮ１０４や、公衆回線（ＷＡＮ）３００１、無線ＬＡＮ１０６と接続されている画像処理装置の動作を統括的に制御するコントローラ１２００とを備える。

＜画像処理装置－コントローラ構成＞
図２は画像処理装置１０１のハードウェア構成の一例を示す図である。コントローラ１２００は、ＬＡＮ１０４を介してＬＡＮ１０４に接続される汎用コンピュータ１０３から受信した印刷ジョブに含まれるＰＤＬコードをビットマップイメージに展開するラスタイメージプロセッサ（ＲＩＰ）１２５０を有する。また、コントローラ１２００は、スキャナ部２０から入力された画像データに対し補正、加工、編集を行うスキャナ画像処理部１２８０を有する。また、コントローラ１２００は、プリンタ部２０で出力（印刷）される画像データに対して補正、解像度変換等を行うプリンタ画像処理部１２９０と、画像データの回転を行う画像回転部１２３０とを有する。

また、コントローラ１２００は、多値画像データはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、又はＭＨの圧縮伸張処理を行う画像圧縮部１２４０を有する。また、コントローラ１２００は、スキャナ部１０及びプリンタ部２０とコントローラ１２００を接続して画像データの同期系／非同期系の変換を行うデバイスＩ／Ｆ１２２０を有する。更に、これらを互いに接続して画像データを高速で転送する画像バス２００８を備えている。

また、コントローラ１２００は画像処理装置１０１を制御する制御部としてのＣＰＵ１２０１を有する。またコントローラ１２００は、ＣＰＵ１２０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもあるＲＡＭ１２０２を有する。また、コントローラ１２００は、操作部１４０とのインターフェースである操作部Ｉ／Ｆ１２０６を介して、操作部１４０に表示する画像データを操作部１４０に出力する。

また操作部Ｉ／Ｆ１２０６は操作部１４０から画像処理装置１０１を使用するユーザが入力した情報をＣＰＵ１２０１に伝える。また、コントローラ１２００は、ＬＡＮ１０４に接続され、汎用コンピュータ１０３やＬＡＮ１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行うネットワーク部１２１０を有する。また、公衆回線３００１に接続され、不図示の外部のファクシミリ装置とのデータの通信（送受信）を行うモデム部１２１１を有する。また、無線ＬＡＮ１０６により外部の端末と接続する為の無線通信ＩＦ１２７０を備える。また、コントローラ１２００は、ＣＰＵ１２０１が実行するブートプログラムが格納されているＲＯＭ１２０３と、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納するハードディスクドライブ（ＨＤＤ）１２０４を備える。また、スキャナ部１０及びプリンタ部２０とそれぞれ通信を行う内部通信Ｉ／Ｆ１２０８と、これらを互いに接続するシステムバス１２０７を備える。

コントローラ１２００は、システムバス１２０７及び画像バス１２１２を接続しデータ構造を変換するバスブリッジであるＩｍａｇｅＢｕｓＩ／Ｆ１２０５を備える。

ＣＰＵ１２０１は印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性情報等をジョブ実行時の履歴をジョブログ情報としてＨＤＤ１２０４あるいはＲＡＭ１２０２に記録している。

ＧＰＵ１２９１はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような機械学習のための学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ１２９１で処理を行うことが有効である。本実施例では、学習部４０６による処理にはＣＰＵ１２０１に加えてＧＰＵ１２９１を用いる例を説明する。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１２０１とＧＰＵ１２９１が協働して演算を行うことで学習を行う。なお、機械学習部４０６の処理はＣＰＵ１２０１またはＧＰＵ１２９１のみにより演算が行われても良い。また、推定処理部４０７も機械学習部４０６と同様にＧＰＵ１２９１を用いても良い。

＜機械学習サーバー＞
図３は、機械学習サーバーのハードウェア構成の一例を示す図である。

それぞれシステムバス１３０７で相互に接続されているＣＰＵ１３０１、ＲＡＭ１３０２、ＲＯＭ１３０３、ＨＤＤ１３０４、ネットワーク部１３１０、ＩＯ部１３０５、操作部１３０６を有するように構成される。

ＣＰＵ１３０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションソフトなどのプログラムをＨＤＤ１３０４から読み出して実行することで種々の機能を提供する。ＲＡＭ１３０２はＣＰＵ１３０１がプログラムを実行する際のシステムワークメモリである。ＲＯＭ１３０３はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳを起動するためのプログラム、設定ファイルを記憶している。ＨＤＤ１３０４はハードディスクドライブであって、システムソフトウェアなどが記憶されている。ネットワーク部１３１０はＬＡＮ１０４に接続され、画像処理装置１０１などの外部機器と通信（送受信）を行う。ＩＯ部１３０５はマルチタッチセンサ等を備えた液晶ディスプレイ入出力デバイスとから構成する操作部１３０６との情報を入出力するインターフェースである。液晶ディスプレイにはプログラムが指示する画面情報に基づき所定の解像度や色数等で所定の情報が描画される。例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を形成し、操作に必要な各種ウィンドウやデータ等が表示される。

ＧＰＵ１３０８はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて学習を行う場合にはＧＰＵ１３０８で処理を行うことが有効である。そこで本実施例では、学習部４０６による処理にはＣＰＵ１３０１に加えてＧＰＵ１３０８を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１３０１とＧＰＵ１３０８が協働して演算を行うことで学習を行う。なお、学習部４０６の処理はＣＰＵ１３０１またはＧＰＵ１３０８のみにより演算が行われても良い。また、推定部４０７も学習部４０６と同様にＧＰＵ１３０８を用いても良い。

ネットワーク通信やＧＰＵの処理による負荷、画像処理装置１０１の省電力モード等に応じてＧＰＵ計算資源を有効活用がされるようになっている。

＜本発明のシステムにおけるソフトウェア構成＞
図４は、画像処理システムのソフトウェア構成の一例を示す図である。図に示したソフトウェア構成を実現するためのプログラムは、その構成要素ごとにストレージに格納されており、例えば、ＲＯＭ１２０３もしくはＨＤＤ１２０４からＲＡＭ１２０２に読み出されることで、ＣＰＵ１２０１により実行されるものである。機械学習サーバー１０２や、データサーバー１０５も同様である。

図示のソフトウェア構成は、本発明のシステムにおいて画像処理装置１０１が入出力を行うデータに機密情報が含まれるか否かを判定して学習処理、推定（推論）処理を行う機能を実現可能にするためのものである。図４において構成要素の機能的役割を示す。図５以降でフローチャートにより処理について説明を行う。

画像処理装置１０１のソフトウェアは、データ記憶部４０１、ＵＩ表示部４０２、ＪＯＢ制御部４０３、画像読み取り部４０４、ＯＣＲ処理部４０７、機密情報検知部４０５、推定処理部４０６から構成される。機械学習サーバー１０２のソフトウェアは、学習データ生成部４１２、機械学習部４１３、データ記憶部４１４から構成される。データサーバー１０５においては、データ収集・提供部４１０とデータ記憶部４１１とから構成される。

データ記憶部４０１は、図２に示したハードウェア構成におけるＲＡＭ１２０２やＨＤＤ１２０４に対して、画像データや学習データ、学習モデル等の画像処理装置１０１が入出力を行うデータの記録を行う機能的役割を有する。

ＪＯＢ制御部４０３は、ユーザの指示に基づきコピーやファックス、プリント等の画像処理装置１０１の基本機能の実行や基本機能の実行に伴い他のソフト構成要素間の指示やデータの送受信を中心的に行う機能的役割を有する。

ＵＩ表示部４０２は、図２に示す操作部Ｉ／Ｆ１２０６を介して操作部１４０に備える画面に対してユーザからの操作設定を受け付ける操作受付画面の提供を行う。また、本発明のシステムにおける推定処理部４０６による推定結果等のユーザへのメッセージを通知するための通知画面を表示する機能的役割を有している。

画像読み取り部４０４は、ＪＯＢ制御部４０３の指示に基づきコピーやスキャン機能を実行する制御を行う場合に図２に示したスキャナ部１０にスキャンを実行させる役割を有している。また、読み取った画像データをＯＣＲ処理部４０７で処理させる機能的役割を有している。

ＯＣＲ処理部４０７は、図２に示したＣＰＵ１２０１により実行されるものであり、画像読み取り部４０４で生成された画像データに対して、ＯＣＲ処理を実行する。ＯＣＲ処理とは画像データから文字情報を抽出する既知の技術である。具体的には、レイアウト解析したものに対して文字列及び文字の切り出す処理プロセスと正規化、特徴抽出、パターンマッチング等の文字認識処理を施す処理プロセスにより所定のフォーマットに変換された文字列の文字情報（文字コード）を出力する処理を行う。また、ＯＣＲ処理部４０７は、ＪＯＢ制御部４０３の指示に基づき文字列に変換された情報を機密情報検知部４０５に送信する。このＯＣＲ処理は、本発明が適応されるシステムにおいては、あらかじめユーザが機密情報として識別を行いたい画像データ上の領域が決まっている場合等、ＯＣＲ処理対象の領域を任意にユーザが指定できる構成になっている。

機密情報検知部４０５は、ＯＣＲ処理部４０７で取得された文字情報が示し文字列に機密情報が含まれるか否かを判断し、その結果をＪＯＢ制御部４０３に渡す機能的役割を有する。

機密情報として判断する情報は、あらかじめユーザ等の利用形態に合致するようあらかじめ決めて設定したものなどをデータ記憶部４０１に記憶しておく。具体的は、ユーザによりキーボード等で入力された文字列をＨＤＤ１２０４に記憶する。例えば、「Ｃｏｎｆｉｄｅｎｔｉａｌ」や「機密」、「極秘」、「秘」、「社外秘」等の文字列の入力を、操作部１４０を介して受け付け、その文書が機密情報を含むことを示す情報をＨＤＤ１２０４に記憶してもよい。また、機密情報のうちの一つである個人情報が含まれているか否かを判定するために、「住所」、「氏名」、「電話番号」、「メールアドレス」、「口座番号」、「ＩＤ」、「パスワード」等の文字列を記憶し、機密情報が含まれているかの判定に使用してもよい。

また、機密情報検知部４０５は、本発明のシステムにおいては画像処理装置１０１が取り扱うデータのうち文字でなくてもその画像の特徴を照合するなどして機密か否かを判断する機能がソフトウェア的に実現されていてもよい。なお、機密情報を検知する際に、文字ではなく画像が含まれているか否かを判定する場合、判定に使用する画像は画像処理装置１０１がスキャンして生成した画像データをＨＤＤ１２０４が記憶することで登録してもいい。また、外部からネットワークを介して受信した画像データをＨＤＤ１２０４が記憶することで登録してもいい。

推定処理部４０６は、図２に示したＣＰＵ１２０１やＧＰＵ１２９１により実行されるものであり、画像処理装置１０１が入出力を行うデータに対してＡＩ機能を実現するための推定処理や分類処理等を行う機能的役割がある。この推定処理４０７は、ＪＯＢ制御部４０３の指示に基づき処理が行われて、その推定処理部４０３の結果出力は、ＪＯＢ制御部４０３に送信される。

データサーバー１０５は、データ収集・提供部４１０とデータ記憶部４１１とから構成される。

データ収集・提供部４１０は、機械学習サーバー１０２の機械学習部４１３が学習するための学習データの収集と提供を行う機能的役割を有している。また、データの収集は画像処理装置１０１の他の画像処理装置や他のデータサーバーから収集してもよい。目的の機械学習をさせるために必要なデータの収集が可能になっている。データ記憶部４１１は、収集した学習データの記録管理を行う機能的役割を有している。

機械学習サーバー１０２のソフトウェアは、学習データ生成部４１２、機械学習部４１３、データ記憶部４１４から構成される。

学習データ生成部４１２は、データサーバー１０５から受信を行ったデータを目的の学習効果を得るためにノイズになる不要なデータを除去するなど効果的学習結果が得られる形に加工して学習データの最適化を行う機能的役割を有する。図３に示すＣＰＵ１３０１により実行される。

データ記憶部４１４は、データサーバー１０５から受信したデータや生成された学習データ、機械学習部４１３における学習済みモデルを図３に示すＲＡＭ１３０２やＨＤＤ１３０４へ一時記録を行う。

機械学習部４１３は、学習データ生成部４１２によって生成された学習データを入力として、図２に示したＧＰＵ１３０８やＣＰＵ１３０１により機械学習を行う。機械学習の具体的な処理は後述する。

＜学習モデルの概念図＞
図５は、機械学習処理の一例を示す図である。機械学習のうちのニューラルネットワークを用いた学習モデルを例に図示している。また、本発明のシステムの特徴を説明するための一例としてこのニューラルネットワークによりビールの売り上げを予測するための学習モデルの生成にかかわる、学習データＸをＸ１～Ｘ７として示している。

機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

機械学習部４１４は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データＸに応じてニューラルネットワークの出力層から出力される出力データＹと、教師データＴとの誤差を得る。そして、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を表す損失（Ｌ）を計算するようにしてもよい。

更新部は、誤差検出部で得られた損失（Ｌ）に基づいて、その損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

学習モデル（Ｗ）は「正解値が既知の入力データ」と「正解値」をセットにした学習データを多数用意し、この正解値に対応する入力データを入力した場合の出力が正解値に極力近づくように学習モデル（Ｗ）内の重み付け係数を調整する。そうすることで精度の高い学習モデル（Ｗ）を得ることができる。

これを学習工程と呼び、学習工程を経て調整された学習モデルを学習済モデルと呼ぶ。

用意する教師データ（「正解値が既知の入力データ」と「正解値」のセット）は以下のようなものとする。

＜本発明のシステムの動作＞
図６は、画像処理システムの動作の一例を示す図である。５ページ分の原稿９０１のうちの１ページ目９０２は、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列が含まれている。また、２ページ目のＴａｂｌｅ２には、売り上げ実績データ９０３が含まれている。また、４ページ目Ｔａｂｌｅ３には、「氏名」「年齢」「住所」からなる個人情報９０４が含まれている。

本発明のシステムは、図４に示したソフトウェア構成に基づき画像処理装置１０１が読み取る原稿の一部に含まれているデータをスキャナ部１０で読み取り、ＯＣＲ処理を実行ことにより電子データに変換。データサーバー１０５へ収集、機械学習サーバー１０２において学習データの生成と学習が行えるようになっている。

本発明のシステムにおいては、「Ｃｏｎｆｉｄｅｎｔｉａｌ」というワードを機密情報検知部４０５において機密情報であると検知を行う。

この場合、ＪＯＢ制御部４０３が機密情報検知の通知を受け取ったときに５ページ全体の原稿９０１のデータ、もしくは部分的に１ページの原稿９０２に対してデータサーバー１０５におけるデータ収集を行わないように制御することが可能になっている。また、機械学習サーバー１０２における学習データの生成や機械学習を行わないように制御することも可能になっている。

なお、図７（Ａ）に示すフローチャートのＳ１００４において機密情報が含まれていると判断される場合（ステップＳ１００４－Ｙｅｓ）に機械学習を行わない領域（９０７や９０８）をマスキングして、学習処理や推定処理を行われるようにしてもよい。

また、このような制御による機械学習の結果や内容をＵＩ表示部４０２により操作部画面を介してユーザに通知が行えるようになっており、ユーザがその処理過程を把握できるようになっている。

前述の機密情報として検出するワードの情報は、ＵＩ表示部４０２によりユーザの志向にあった任意のワードの設定が受付可能になっている。

このように図６に示す動作が行われることで、機密情報であることを検知した場合、処理プロセスの一部または、全部を停止させることができるので機械学習処理プロセスを介した機密情報の漏洩リスクを抑制することができるといった効果を得られる。

＜本発明のシステムの動作フロー＞
図７はＡＩ機能の処理の一例を示すフローチャートである。図７（Ａ）は、ＡＩ機能を実行した時の処理の一例を示すフローチャートである。ＣＰＵ１２０１がＲＯＭ１２０３に記憶されたプログラムをＲＡＭ１２０２に読み出し、実行することでの図７（Ａ）のフローチャートの処理が実行される。また、図７（Ａ）のフローは後述する図９（Ａ）のタッチパネル１１に表示されているホーム画面の「スキャンしてＡＩ予測」ボタンが選択されることによって、開始される。

まず、ＣＰＵ１２０１は図９～１１で示す画面で設定されたＡＩ機能設定の内容を取得する（ステップＳ１０００）。ＡＩ処理を構成する学習と推定処理の個別実行設定や学習目的別モデルの選択、機密情報設定等の情報を取得する。

図９は画像処理装置の操作部の一例を示す図である。液晶操作パネル１１は、液晶とタッチパネルを組み合わせたものであり、操作画面を表示するとともに、表示キーがユーザにより押されるとその情報をコントローラ１２００に送る。スタートキー１２は、原稿画像の読み取り印刷の動作を開始するときや、その他機能の開始指示に用いられる。スタートキーには、緑色と赤色の２色のＬＥＤが組み込まれ、緑色点灯時には開始可能を示し、赤色点灯時には開始不可であることを示す。ストップキー１３は稼動中の動作を止める働きをする。ハードキー群１４には、テンキー、クリアキー、リセットキー、設定キーが設けられる。また節電キー１５は画像処理装置を操作部１４０からスリープモードに移行、または復帰させる際に用いられる。画像処理装置は通常モードで節電キー１５がユーザによって押下されるとスリープモードへ移行し、スリープモードで節電キー１５がユーザによって押下されると通常モードへ移行する。設定キー１６は、ＡＩ機能設定等の設定を行う際に用いられる。また、操作部１４０は、ユーザが液晶操作パネル１１を用いて入力したユーザ名や印刷枚数、出力属性情報といったジョブ情報作成に必要な情報を操作部Ｉ／Ｆ１２０６に送信する。

ホーム画面１８は画像処理装置１０１の提供するコピー、ファックス、スキャンしてＡＩ予測、スキャンして保存、保存ファイルの利用、スキャンしてＡＩ学習等の各機能を選択可能になっている。ＡＩ機能のステータスを表示するアイコン１６を表示させてユーザにＡＩ機能の稼働状態が識別可能になっている。このアイコン１６はＡＩ機能が実行中の時だけ表示され、ＡＩ機能が実行されていない時は、表示されない。なお、ＡＩ機能が実行されていない時は、表示しないのではなく、グレーアウトして表示するなど表示方法を変えてもいい。また、このＡＩ機能アイコン１６が選択されるによって、図９（Ｂ）に示すＡＩ機能設定の選択画面２０００が表示される。

図９（Ｂ）はＡＩ機能設定の選択画面の一例を示す図である。ＡＩ機能選択ボタン２００１が選択されると、図１０（Ａ）のＡＩ機能設定画面が表示される。ＡＩ処理詳細設定ボタン２００２が選択されると図１０（Ｂ）のＡＩ処理設定画面２２００が表示される。ＡＩモデル学習結果確認ボタン２００３が選択されることによって、図１２（Ｂ）のＡＩモデル学習結果画面２６００が表示される。機密情報管理ボタン２００４が選択されることによって、図１１（Ａ）の機密情報管理画面２３００が表示される。

図１０はＡＩ処理設定画面の一例を示す図である。図１０の画面は操作部１４０のタッチパネル１１に表示される。図１０（Ａ）はＡＩ機能設定画面２１００の一例を示す図である。ＡＩ機能設定画面２１００には、学習済みＡＩモデルの一覧として、「売上予測ＡＩ」と「個人識別ＡＩ」が表示されている。本実施例では売上予測ＡＩを一例として説明する。売上予測ＡＩ２１０１が選択されることによって、ＡＩ機能で使用されるモデルが売上予測ＡＩとして設定される。設定ボタン２１０２が選択されることによって、図１０（Ｂ）のＡＩ処理設定の詳細画面２２００が表示され、対応するモデルの詳細な設定を行うことができる。

図１０（Ｂ）はＡＩ処理設定の詳細画面の一例を示す図である。ＡＩ処理設定画面２２００は、ＡＩ処理の詳細設定が行えるようになっている。例えばＡＩ機能のＯＮ／ＯＦＦ設定選択２２０１がチェックボックスのチェックにより受付可能になっている。また、学習と推定をそれぞれ独立にＯＮ／ＯＦＦ可能なようにそれぞれ学習欄２２０２と推定欄２２０３が選択項目として備えられている。さらに、画像処理装置１０１が提供するコピーやファックス等の基本機能のＪＯＢ動作時のバックグラウンドでＡＩ処理を実行させるか否かを選択可能なバックグラウンドでＡＩ処理するか否かを設定するチェックボックス２１０４が表示されている。また、学習処理、推定処理のそれぞれに機密情報に対してＡＩ処理を禁止するか否かを設定するためのチェックボックス２２０５、２２０６が表示されている。このチェックボックス２２０５、２２０６は片方だけチェックすることもできるし、両方チェックすることもできる。

図１１は機密情報管理画面の一例を示す図である。図１１の画面は操作部１４０のタッチパネル１１に表示される。図１１（Ａ）は機密情報管理画面の一例を示す図である。機密情報管理画面２３００には、キーワード設定ボタン２３０１、登録ボタン２３０２、入力欄２３０３、画像設定ボタン２３０４、入力欄２３０５、登録ボタン２３０６が表示されている。

キーワード設定ボタン２３０１が選択されることによって、図１１（Ｂ）の登録済みキーワード画面２４００が表示される。入力欄２３０３が選択されることによって、不図示のソフトウェアキーボードが表示され、ユーザによる文字列の入力を受け付ける。登録ボタン２３０２が選択されることによって、入力欄２３０３に入力された文字列をキーワードとして登録し、ＨＤＤ１２０４に記憶される。図１１（Ａ）では入力欄２３０３に「クレジットカード番号」と入力されている。

キーワード設定ボタン２３０１が選択されることによって、不図示の登録済み画像画面が表示される。登録済み画像画面は登録済みキーワード画面２４００と同様の画面であり、登録されている画像を一覧表示する画面である。入力欄２３０５が選択されることによって、不図示のソフトウェアキーボードが表示され、ユーザによる文字列（ファイルパス）の入力を受け付ける。登録ボタン２３０６が選択されることによって、入力欄２３０３に入力されたパスに記憶されている画像を登録し、ＨＤＤ１２０４に記憶する。

図１１（Ｂ）は登録済みキーワード画面の一例を示す図である。図１１（Ａ）で登録されたキーワードは登録済みキーワード画面２４００のリスト２４０１のように表示され、各キーワードの横のチェックボックスがチェックされることにより、そのキーワードが機密情報をして使用される。詳細は、図７のフローチャートで説明する。

ここで、図７（Ａ）のフローに説明を戻す。Ｓ１００１においてＣＰＵ１２０１は、スキャナ１０を制御して、原稿の画像を読み取り、画像データを生成する。

Ｓ１００２において、ＣＰＵ１２０１はＳ１００１で生成された画像データにＯＣＲ処理を実行し、文字列を抽出し、抽出した文字に対応する文字コードを記憶する。

Ｓ１００３において、ＣＰＵ１２０１はＯＣＲ処理後の文字列データに対して図１１（Ｂ）の登録済みキーワード画面２４００でキーワードとして選択されている文字列が含まれているか否かの判定をパターンマッチング処理で行う。登録済みキーワード画面２４００でキーワードとして選択されている文字列と一致する文字列がないと判定された場合、つまり機密情報が含まれていないと判定された場合Ｓ１００５に進む。登録済みキーワード画面２４００でキーワードとして選択されている文字列と一致する文字列があると判定された場合、つまり機密情報が含まれていると判定された場合は、Ｓ１００９に進む。

なお、ここで記憶されているキーワードとして画像データが登録されている場合、ＣＰＵ１２０１は登録された画像データが示す画像が、生成された画像データに含まれるか否かを判定する。含まれている場合、機密情報が含まれると判定される。

Ｓ１００５において、ＣＰＵ１２０１は機械学習処理を実行するか否かを判定する。つまり、図１０（Ｂ）のＡＩ処理設定画面２２００のチェックボックス２２０５がチェックされ、学習機能がＯＮに設定されているか否かを判定する。ＯＮに設定されていると判定された場合、Ｓ１００６に進む。そうでない場合、Ｓ１００７に進む。

Ｓ１００６において、ＣＰＵ１２０１は機械学習サーバー１０２に生成された画像データを送信する。画像データを受信した機械学習サーバー１０２は、画像データに基づいて学習処理を行う。この時の処理は図８のフローで詳細に説明する。なお、本実施例では機械学習サーバーが生成された画像データに基づいて学習処理を実行する例を説明するが、画像処理装置１０１が生成した画像データに基づいて学習処理を実行してもよい。

Ｓ１００７において、ＣＰＵ１２０１は推定処理を実行するか否かを判定する。つまり、図１０（Ｂ）のＡＩ処理設定画面２２００のチェックボックス２２０６がチェックされ、推定機能がＯＮに設定されているか否かを判定する。ＯＮに設定されていると判定された場合、Ｓ１００８に進む。そうでない場合、Ｓ１００９に進む。

Ｓ１００８において、ＣＰＵ１２０１はＧＰＵ１２９１を制御して推定処理を実行する。推定処理の詳細については、図７（Ｂ）のフローで説明する。

Ｓ１００９において、ＣＰＵ１２０１はＡＩ処理ＯＦＦ設定を確認する。具体的には、図１０（Ｂ）に示す機密管理情報に対するチェックボックス２２０５の選択状態の確認を行う。

Ｓ１０１０において、ＣＰＵ１２０１は図１０（Ｂ）のチェックボックス２２０５にチェックされているか否かを確認することで、学習処理を実行するか否かを判定する。実行すると判定された場合、Ｓ１０１１に進む。そうでない場合、Ｓ１０１２に進む。

Ｓ１０１１において、ＣＰＵ１２０１は機械学習サーバー１０２に生成された画像データを送信する。画像データを受信した機械学習サーバー１０２は、画像データに基づいて学習処理を行う。この時の処理は図８のフローで詳細に説明する。なお、本実施例では機械学習サーバーが生成された画像データに基づいて学習処理を実行する例を説明するが、画像処理装置１０１が生成した画像データに基づいて学習処理を実行してもよい。

Ｓ１０１２において、ＣＰＵ１２０１は図１０（Ｂ）のチェックボックス２２０６にチェックされているか否かを確認することで、推定処理を実行するか否かを判定する。実行すると判定された場合、Ｓ１０１３に進む。そうでない場合、Ｓ１０１４に進む。

Ｓ１０１３において、ＣＰＵ１２０１はＧＰＵ１２９１を制御して推定処理を実行する。推定処理の詳細については、図７（Ｂ）のフローで説明する。

Ｓ１０１４において、ＣＰＵ１２０１はＳ１００２で取得されたＯＣＲデータを削除する。これにより、機密情報の流出を防ぐことができる。

Ｓ１０１５において、ＣＰＵ１２０１はスキャンした原稿が最終ページか否かを判定する。最終ページであると判定された場合、Ｓ１０１７にすすむ。そうでない場合、Ｓ１０１６に進む。

Ｓ１０１６において、ＣＰＵ１２０１は次の原稿を読み取る準備を行い、Ｓ１００１に処理を戻す。

Ｓ１０１７において、ＣＰＵ１２０１はＨＤＤ１２０４に生成した画像データを記憶する。なお、本実施例ではスキャンして生成した画像データを画像処理装置内のＨＤＤ１２０４に記憶する例を説明したが、これに限るものではない。例えば、スキャンして生成した画像データを、ネットワークを介して外部にメールやファイル送信等で送信してもよいし、画像データに基づいて画像を印刷するコピー処理を実行してもよい。

図７（Ｂ）は推定処理の一例を示す図である。ＧＰＵ１２９１がＲＯＭ１２０３に記憶されたプログラムをＲＡＭ１２０２に読み出し、実行することでの図７（Ｂ）のフローチャートの処理が実行される。

機械学習サーバー１０２から学習済みモデルを受信している場合（ステップＳ１３０１－ＹＥＳ）、学習モデルの記録を行うとともに推定処理に使用する学習済みモデルを更新する（ステップＳ１３０２）。次に、学習済みモデルにデータの入力を行う（ステップＳ１３０３）。売り上げを推定する（図４－４０７，ステップＳ１３０４）。推定結果は、操作部画面に表示を行う（図４－４０１，ステップＳ１３０５）。

ここまで、機密情報が含まれている場合のＡＩ処理は、学習か推定のいずれか一方、または両方の処理がＯＦＦされるようになっている。そのため、後に説明する図１２（Ａ）に示すようにＵＩ画面を介して機密情報の検知結果としてＡＩ処理されたページ数等ユーザへ明示的な通知等を行うことが可能になっている。

図７（Ａ）では、機密情報が含まれていると判定した場合にも、図１０（Ｂ）の設定（チェックボックス２２０５）を確認し、学習機能がＯＮに設定されていることによって、学習処理を実行する例を説明した。また、機密情報が含まれていると判定した場合にも、図１０（Ｂ）の設定（チェックボックス２２０６）を確認し、推定機能がＯＮに設定されていることによって、推定処理を実行する例を説明した。しかし、これに限らず機密情報が含まれていると判定された場合は、図１０（Ｂ）の設定（チェックボックス２２０５）に関わらず、学習処理を実行しないように制御してもよい。また、機密情報が含まれていると判定された場合は、図１０（Ｂ）の設定（チェックボックス２２０６）に関わらず、推定処理を実行しないように制御してもよい。

図８は画像処理システムの処理の一例を示すフローチャートである。図８（Ａ）は、データサーバー１０５の動作の特徴を示したフローチャートである。データサーバー１０５は、データ通信要求の受信を待機しており（ステップＳ１１０１－Ｎｏ）、受信した場合（ステップＳ１１０１－Ｙｅｓ），その要求の種類が画像処理装置１０１からのデータ保存を示す送信要求である場合（ステップＳ１１０２－左）。画像処理装置１０１からデータを受信して（図４－４１０，ステップＳ１１０３），記憶する（図４１２，ステップＳ１１０４）。データ通信要求が機械学習サーバーからの要求である場合（ステップＳ１１０２－下）、記憶されているデータのうち、学習サーバーに未提供のデータを機械学習サーバー１０５に送信する（ステップＳ１１０５）。

図７で示した通り、画像処理装置１０１側で機密情報が含まれるデータについては、データサーバー１０５には送信されないため、記憶も行われないようになっているので、記憶媒体としての機密漏洩のリスクが抑制されている。

図８（Ｂ）は、機械学習サーバー１０２の動作の特徴を示したフローチャートである。機械学習サーバー１０２は、データサーバー１０５に対して機械学習用のデータの送信要求を送信する（ステップＳ１２０１）。次に要求に対して送信されたデータを受信した場合（ステップＳ１２０２－Ｙｅｓ）、売り上げ予測学習データを生成する（図４－４１２、ステップＳ１２０３）。生成されたデータは、次に学習モデルに入力行い（ステップＳ１２０４）、学習を行う（図４－４１３、ステップＳ１２０５）。受信した学習データ全てを入力し終えるまで繰り返し学習を行う（ステップＳ１２０６－Ｎｏ）。すべてのデータ入力し終えた場合（ステップＳ１２０６－Ｙｅｓ）、学習済みモデルを画像処理装置１０１に送信する（ステップＳ１２０７）。

このように、機械学習サーバー１０２は、データサーバー１０５から提供されるデータに基づき学習されるようになっている。したがって、機密情報が含まれていないデータに基づき学習されるため、学習済みモデルとしては、その機密となる要素は学習されておらず。学習済みモデルを介した機密漏洩のリスクが抑制されている。

ここまで、本発明のシステムを構成する画像処理装置１０１、データサーバー１０５、機械学習サーバー１０２の動作の特徴を説明した。原稿の画像に含まれるデータに機密情報が存在する場合には、そのデータ送信、記録、学習モデル生成、推定処理いずれのプロセスにおいてもその機密漏洩のリスクを抑制することができるようになっている。

＜機器画面例＞
図１２は操作画面の一例を示す図である。図１２（Ａ）は、操作画面の一例を示す図であり、コピー動作においてバックグラウンドで実行しているＡＩ処理内容を通知するＡＩ処理内容通知画面２５００の一例である。図示の例では、５０ページの原稿を１部コピー実行した際、印刷終了時点のＡＩ処理結果を表示している。５０ページの原稿画像におけるＡＩ学習の対象と識別したページ数表示欄２５０１には、４８ページ。ＡＩ学習除外ページ数表示欄２５０２には、２ページと表示されている。このように、コピージョブにおける総ページ数に対するＡＩ処理を行う対象にしたページ数と非対象にしたページ数をユーザが把握できるよう通知を行う表示が可能になっている。また、現在バックグラウンドで学習処理が継続中か否かを示すステータスアイコン２５０３が配置されており、コピージョブのバックグラウンドで独立して実行されているＡＩ処理状態を識別することが可能なように画面が構成されている。

図１２（Ｂ）は操作画面の一例を示す図であり、学習結果の表示を行う学習結果表示画面２６００の一例を示す。学習結果表示画面２６００は、ユーザがＡＩ処理における学習データの量と学習精度を把握する目的を達成するために提供する情報を表示する画面である。図示のようにＡＩ学習量表示欄２６０１に、４８０個。ＡＩ学習予測精度欄２６０２には、図５で示した学習モデルによる学習結果の評価指標として１００分率などの数値を表示させて学習量や予測精度が把握可能なように通知可能になっている。

また、数値の他、グラフ形式で通知可能であってもよく、データ量と学習精度の遷移状態を把握できるよう構成されていてもよい。

図１３は操作画面の一例を示す図であり、図７（Ｂ）のステップＳ１３０５でＡＩ機能における推定結果の表示を行う推定結果表示画面２７００の一例を示す。推定処理結果表示欄２６０１と推定処理情報表示欄２６０２が配置されており、推定処理結果の補足情報として予測精度等が表示可能になっている。

＜実施例２＞
実施例１では機械学習処理をデータ収集サーバー１０５と機械学習サーバー１０２を用いて実行する例を説明したが、本実施例ではデータ収集サーバー１０５と機械学習サーバー１０２の機能を画像処理装置が有する例を説明する。

図１４は画像処理装置のソフトウェア構成の一例を示す図である。図１４は図４の差分を主として説明する。図４の構成では、データ収集・提供部４１０、データ記憶部４１２はデータ収集サーバー１０５が有していたが、図１４ではデータ収集・提供部１７１０、データ記憶部１７１１を画像処理装置１０１が有している。また、学習データ生成部４１２、機械学習部４１３、データ記憶部４１４は機械学習サーバー１０２が有していたが、図１４では学習データ生成部１７１２、機械学習部１７１３、データ記憶部１７１４は画像処理装置１０１が有している。

＜本発明のシステムの動作フロー＞
図１５はＡＩ機能の処理の一例を示すフローチャートである。図１５（Ａ）は、ＡＩ機能を実行した時の処理の一例を示すフローチャートである。ＣＰＵ１２０１がＲＯＭ１２０３に記憶されたプログラムをＲＡＭ１２０２に読み出し、実行することでの図１５（Ａ）のフローチャートの処理が実行される。また、図１５（Ａ）のフローは図９（Ａ）のタッチパネル１１に表示されているホーム画面の「スキャンしてＡＩ予測」ボタンが選択されることによって、開始される。また、図１５（Ａ）は図７（Ａ）のフローに対する差分を中心に説明する。

図１５（Ａ）では、第二の実施例では、データ収集と学習を画像処理装置１０１内で実現可能となっているため、基本的には、機外のサーバーとの間でのデータの送受信プロセスが内部で行われる点であり、その他の処理プロセスは共通である。具体的には、図７（Ａ）で示したデータサーバーへのデータ送信ステップＳ１００６に対して、図１５に示すフローでは、機内で学習処理を行う構成であり学習処理（ステップＳ１４０６）を行う。図１５（Ｂ）の推定処理は図７（Ｂ）の推定処理と同様であるため、説明を省略する。また、図１５（Ｃ）の学習処理については、図８（Ｂ）に示すデータ送信要求ステップＳ１２０１やデータ受信確認ステップＳ１２０２を介さない点と学習済みモデルを画像処理装置に送信するステップＳ１２０７を介さない点が異なる。また、データ収集・提供部としての役割については、画像処理装置１０１内で一連の学習と推定処理を実現可能な構成においては、なくても本発明のシステムは適応可能である。

＜その他の実施の形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像処理装置
１０２ 機械学習サーバー
１０５ データサーバー
１２０１ ＣＰＵ
１２９１ ＧＰＵ

Claims (17)

1. 画像データを入力する入力手段と、
   前記入力手段が入力した画像データに含まれる情報を用いて機械学習処理を実行する学習手段と、
   前記学習手段が学習することにより生成された学習モデルを用いて、前記画像データに含まれる情報に基づいて推定結果を出力する推定手段と、
   機密情報としてユーザによって指定された情報を登録する登録手段と、
   前記入力手段が入力した画像データに前記登録された情報が含まれているかどうかを判定する判定手段を有し、
   前記学習手段は、前記判定手段が前記登録された情報が含まれていると判定した前記画像データを前記機械学習処理に使用しないこと特徴とする画像処理装置。
2. 前記判定手段が、前記入力手段が入力した画像データに前記登録された情報が含まれていると判定したことによって、前記推定手段は前記推定結果を出力しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段が、前記入力手段が入力した画像データに前記登録された情報が含まれていると判定した場合に、前記学習手段が前記画像データを前記機械学習処理に使用するか否かを設定する第１の設定手段と、
   前記判定手段が、前記入力手段が入力した画像データに前記登録された情報が含まれていると判定した場合に、前記推定手段が前記推定結果を出力するか否かを設定する第２の設定手段とをさらに有することを特徴とする請求項２に記載の画像処理装置。
4. 前記ユーザによる文字列の入力を受け付ける受付手段をさらに有し、
   前記登録手段は、前記入力された文字列を前記機密情報として登録することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像データに含まれる文字列を認識する文字認識処理を実行する文字認識手段をさらに有し、
   前記判定手段は、前記文字認識処理で取得された文字列を用いて前記画像データに前記登録された情報が含まれているかどうかを判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記文字認識処理で取得された文字列を記憶する記憶手段をさらに有し、
   前記判定手段が前記画像データに前記登録された情報が含まれていると判定した場合、前記記憶手段は前記画像データに前記文字認識処理を実行することによって取得された文字列を記憶していない状態にすることを特徴とする請求項５に記載の画像処理装置。
7. 表示手段をさらに有し、
   前記推定手段が出力した推定結果を前記表示手段が表示することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記表示手段は、前記推定手段が推定結果を出力する推定処理を実行している時、もしくは、前記学習手段が前記機械学習処理を実行している時にＡＩ機能を実行中であることを示す情報を表示することを特徴とする請求項７に記載の画像処理装置。
9. 画像データを入力する入力工程と、
   前記入力工程で入力した画像データに含まれる情報を用いて機械学習処理を実行する学習工程と、
   前記学習工程で学習することにより生成された学習モデルを用いて、前記画像データに含まれる情報に基づいて推定結果を出力する推定工程と、
   機密情報としてユーザによって指定された情報を登録する登録工程と、
   前記入力工程が入力した画像データに前記登録された情報が含まれているかどうかを判定する判定工程を有し、
   前記学習工程は、前記判定工程が前記登録された情報が含まれていると判定した前記画像データを前記機械学習処理に使用しないこと特徴とする画像処理方法。
10. 前記判定工程が、前記入力工程で入力した画像データに前記登録された情報が含まれていると判定したことによって、前記推定工程は前記推定結果を出力しないことを特徴とする請求項９に記載の画像処理方法。
11. 前記判定工程が、前記入力工程で入力した画像データに前記登録された情報が含まれていると判定した場合に、前記学習工程で前記画像データを前記機械学習処理に使用するか否かを設定する第１の設定工程と、
    前記判定工程が、前記入力工程で入力した画像データに前記登録された情報が含まれていると判定した場合に、前記推定工程で前記推定結果を出力するか否かを設定する第２の設定工程とをさらに有することを特徴とする請求項１０に記載の画像処理方法。
12. 前記ユーザによる文字列の入力を受け付ける受付工程をさらに有し、
    前記登録工程は、前記入力された文字列を前記機密情報として登録する
    ことを特徴とする請求項９乃至１１の何れか１項に記載の画像処理方法。
13. 前記画像データに含まれる文字列を認識する文字認識処理を実行する文字認識工程をさらに有し、
    前記判定工程は、前記文字認識処理で取得された文字列を用いて前記画像データに前記登録された情報が含まれているかどうかを判定することを特徴とする請求項１２に記載の画像処理方法。
14. 前記文字認識処理で取得された文字列を記憶する記憶工程をさらに有し、
    前記判定工程が前記画像データに前記登録された情報が含まれていると判定した場合、前記記憶工程は前記画像データに前記文字認識処理を実行することによって取得された文字列を記憶していない状態にすることを特徴とする請求項１３に記載の画像処理方法。
15. 表示工程をさらに有し、
    前記推定工程が出力した推定結果を前記表示工程で表示することを特徴とする請求項９乃至１４の何れか１項に記載の画像処理方法。
16. 前記表示工程は、前記推定工程で推定結果を出力する推定処理を実行している時、もしくは、前記学習工程で前記機械学習処理を実行している時にＡＩ機能を実行中であることを示す情報を表示することを特徴とする請求項１５に記載の画像処理方法。
17. 請求項１乃至８の何れか１項に記載の各手段をコンピュータが実行するためのプログラム。

Images