JP7272035B2 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理方法、およびプログラムに関する。

従来、異常画像の検知や診断・予測を行う故障診断システムが知られている。このような故障診断システムにおいて、故障診断を実施した後、その結果によって、情報を追加し再判定する技術や、ユーザの環境に適した正常状態を選択し、同じ画像でもユーザ間での誤判定を抑制する技術が知られている。

例えば特許文献１には、故障箇所の候補を抽出する目的で、画質欠陥を検知すると欠陥の状態を判別し、そのデータを部品の状態、マシンの履歴、環境情報とともにベイジアンネットワークにより故障確率を算出し、この故障確率に基づいて故障箇所の候補を抽出するが、候補を１つに絞ることが難しい場合は、ユーザ操作による情報の追加により故障確率を再計算して、その結果から候補を絞り込む構成が開示されている。また、例えば特許文献２には、ユーザや環境が変わることによる誤判定を低下させる目的で、作像系の部品が関連する情報において、マシンのデフォルトの正常状態の情報の他に、特定の状態（例えばデフォルトの動作モードではなく特定の設定値をあてた状態）の正常情報を複数用意し、異常検知の際に、個々のユーザの環境に応じて、比較基準となる先の複数の正常状態の情報を選択し、異常の有無を判定するシステム構成が開示されている。

しかしながら、従来技術においては、ユーザの熟練度や、処理速度、動作環境の要因を意識しながら、それらの要因に見合った診断動作と結果の出力を実施することはできなかった。

本発明は、上記に鑑みてなされたものであって、ユーザの熟練度や、処理速度、動作環境の要因を意識しながら、それらの要因に見合った診断動作と結果の出力を実施することが可能な画像処理システム、画像処理方法、およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、スキャンした画像を示すスキャン画像を少なくとも含み、かつ、異常診断に用いられる異常診断用情報を取得する取得部と、異常を検知する感度がそれぞれ異なる複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値を個別に設定し、前記スキャン画像のうち前記閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する制御部と、を備え、前記複数の評価モードは、基準レベル以上の異常のみを検知する１次評価モードと、前記１次評価モードよりも異常を検知する感度が高い２次評価モードと、前記２次評価モードよりも異常を検知する感度が高い３次評価モードと、を含み、前記２次評価モードの場合、前記制御部は、前記１次評価モードよりも異常を検知する感度が高くなるよう、前記閾値を段階的に変更し、前記３次評価モードの場合、前記制御部は、前記異常診断用情報に含まれる前記スキャン画像と、機器の状態を示す状態情報とを用いて、異常診断を行う、画像処理システムである。

本発明によれば、ユーザの熟練度や、処理速度、動作環境の要因を意識しながら、それらの要因に見合った診断動作と結果の出力を実施することができる。

図１は、実施形態の故障診断システムで扱うデータのやりとりを行う通信ネットワークの構成を示す図である。 図２は、実施形態の画像形成装置、および、情報処理装置のハードウェア構成の一例を示す図である。 図３は、故障診断システムにより提供される機能の一例を示す図である。 図４は、故障診断システムの処理フローを示す図である。 図５は、故障診断システムの処理フローを示す図である。 図６は、１次評価モードでの異常診断の処理例を示すフローチャートである。 図７は、２次評価モードでの異常診断の処理例を示すフローチャートである。 図８は、３次評価モードでの異常診断の処理例を示すフローチャートである。 図９は、選択画面の一例を示す図である。 図１０は、異常診断結果の表示例を示す図である。 図１１は、異常診断結果の表示例を示す図である。

以下、添付図面を参照しながら、本発明に係る画像処理システム、画像処理方法、およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の故障診断システムで扱うデータのやりとりを行う通信ネットワークの構成として、例えば画像形成装置１０１、１０３、端末装置１０２、１０４、サーバ１０５間のやりとりを考える。以下の説明では、端末装置１０２、１０４、サーバ１０５を総称して「情報処理装置」と称する場合がある。ここでは、画像形成装置１０１、１０３、情報処理装置の各々が「画像処理システム」に対応すると考えてもよいし、これらを含めたシステム全体が「画像処理システム」に対応すると考えてもよい。

画像形成装置１０１、１０３は例えば複写機（ＭＦＰ）などで構成され、端末装置（例えばＰＣ（Personal Computer））１０２、１０４やサーバ１０５に、通信回線１０６を介して、画像形成装置１０１、１０３（ＭＦＰ）でスキャンした画像を示すスキャン画像のデータや機器（例えば複写機）の状態を示す状態情報（例えば動作のログ、画像の色味の補正情報、出力枚数の情報などを含む情報）を送信する。また、画像形成装置１０１、１０３は、端末装置１０２、１０４から画像のスキャン指示や状態情報の取得指示、故障診断システムの実行を行うこともできる。

ここで、通信回線１０６はＬＡＮ（Local Area Network）などで有線と無線どちらもできることを想定する。また、サーバ１０５は、内部および外部の情報処理装置とのデータの通信を行う情報処理装置であり、故障診断システムの保持と実行も想定する。上記のように、多様な形態で故障診断システムにおける主幹となる情報のやりとりを行うことができる構成とする。

図２は、画像形成装置１０１、１０３、および、情報処理装置（端末装置１０２、１０４、サーバ１０５）のハードウェア構成の一例を示す図である。図２に示すように、画像形成装置１０１、１０３は、操作部２０１と、スキャナ部２０２と、画像形成部２０３と、プリンタ部２０４と、ＦａｘＩ／Ｆ２０５と、コントローラ２０６と、通信Ｉ／Ｆ２０９と、を備える。

操作部２０１は、画像形成装置１０１、１０３のユーザインタフェースである。この例では、操作部２０１はタッチパネル型のＳｍａｒｔＵＩであり、タッチパネルを使って、システム（ここでは故障診断システム）を使うことを想定する場合は、情報処理装置の代替であると考える。

スキャナ部２０２は、任意の画像を読み取り（スキャンし）、コントローラ２０６等に送る。

画像形成部２０３は、スキャナ部２０２からのスキャン画像や端末装置１０２、１０４側から送られたプリントジョブデータ、選択された画像形成装置１０１、１０３の内部に有する内部パターン画像などをもとに、出力する画像を生成する。例えば画像形成部２０３は、画像処理ＡＳＩＣで構成される。

プリンタ部２０４は、プリントジョブデータに応じた印刷物を出力する。ＦａｘＩ／Ｆ２０５は、外部回線と画像形成装置１０１、１０３本体のＦａｘ機能とのやりとりを行う。

コントローラ２０６は、ＣＰＵ（Central Processing Unit）２０７と、メモリ２０８と、を備え、これらは内部Ｉ/Ｆで接続される。メモリ２０８は、ＣＰＵ２０７が実行するプログラム等の各種データを記憶する不揮発性のメモリ（例えばＲＯＭ（Read Only Memory）やＨＤ）、および、ＣＰＵ２０１の作業領域を有する揮発性のメモリ（例えばＲＡＭ（Random Access Memory））などを含んでおり、画像形成装置１０１、１０３の印刷枚数、部品の交換履歴等の情報が記憶されている。

通信Ｉ／Ｆ２０９は、情報処理装置とのデータのやりとりをするためのインタフェースである。

図２に示すように、情報処理装置は、通信Ｉ／Ｆ２１０と、ＣＰＵ２１１と、クロック装置２１４と、入力装置２１５と、主記憶装置２１６と、出力装置２１７と、補助記憶装置２１８と、を備える。

通信Ｉ／Ｆ２１０は、画像形成装置１０１、１０３とのデータのやりとりをするためのインタフェースである。

ＣＰＵ２１１は、制御装置２１２と演算装置２１３とを含む。ＣＰＵ２１１は、主記憶装置２１６、出力装置２１７、補助記憶装置２１８等に記憶されているプログラムと協働して、これらに情報を入力する手段として機能する。制御装置２１２はクロックのタイミングに従い動作制御を行い、演算装置２１３はデジタルデータの演算処理を行う。

クロック装置２１４は、クロックを発生する。入力装置２１５は、各種データを入力する装置であり、例えばキーボード、マウス、タッチパネル、ＣＣＤカメラなどで構成され得る。

主記憶装置２１６は、入力プログラムやデータを格納・保持し、制御装置２１２の指示に従い、保持しているデータをレジスタに読み出す。ここでは、故障診断システムのプログラムや画像形成装置１０１、１０３から出力される画像データ（スキャン画像）などの保持・読み出しを想定する。

出力装置２１７は、演算結果等の情報を出力する装置であり、例えばディスプレイ、音声を出力するスピーカ等で構成され得る。

補助記憶装置２１８は、主記憶装置２１６の記憶容量を補助する装置である。

図３は、画像形成装置１０１、情報処理装置（端末装置１０２、１０４、サーバ１０５）などで実行される故障診断システムにより提供される機能の一例を示す図である。図３に示すように、故障診断システム（画像形成装置１０１、情報処理装置）は、取得部１１０と、選択部１２０と、制御部１３０とを有する。なお、図３の例では、本実施形態の要部に関する機能のみを例示しているが、故障診断システム（画像形成装置１０１、情報処理装置）が有する機能はこれらに限られるものではない。本実施形態では、図３に例示した機能は、ＣＰＵ２０７またはＣＰＵ２１１がプログラムを実行することにより実現されるが、これに限らず、これらの機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。

取得部１１０は、スキャンした画像を示すスキャン画像を少なくとも含み、かつ、異常診断に用いられる情報を示す異常診断用情報を取得する。例えば異常診断用情報には、機器の状態を示す状態情報が含まれてもよい。異常診断とは、異常を検知し、その検知した異常に基づく異常情報（解析や診断結果等を含む情報）を出力する一連の処理であると考えてもよいし、異常を検知し、その検知した異常に基づく異常情報を生成するまでの処理（出力は含めない）であると考えてもよい。

選択部１２０は、異常を検知する感度がそれぞれ異なる複数の評価モードのうちの何れかを選択する。この選択方法については後述する。複数の評価モードは、互いに異なるレベルの異常診断に対応する。

制御部１３０は、複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値（つまり異常検知の閾値）を個別に設定し、スキャン画像のうち該閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する。

より具体的には、制御部１３０は、閾値設定部１３１、検知部１３２、特徴量算出部１３３、出力部１３４を有する。閾値設定部１３１は、選択部１２０により選択された評価モードに対応する閾値を設定する。検知部１３２は、取得部１１０により取得された異常診断用情報に含まれるスキャン画像と、閾値設定部１３１により設定された閾値と、に基づいて、該スキャン画像のうち異常を示す領域（異常領域）を検知する。特徴量算出部１３２は、検知部１３２により検知された異常領域の特徴量を算出する。出力部１３３は、特徴量算出部１３２により算出された特徴量に基づく異常情報を出力（画像出力または音声出力）する。

上記複数の評価モードは、基準レベル以上の異常のみを検知（強い異常のみを検知）する１次評価モードを含む。また、複数の評価モードは、１次評価モードよりも異常を検知する感度が高い２次評価モードを含み、２次評価モードの場合、制御部１３０は、１次評価モードよりも異常を検知する感度が高くなるよう、閾値を段階的に変更する。さらに、複数の評価モードは、２次評価モードよりも異常を検知する感度が高い３次評価モードを含み、３次評価モードの場合、制御部１３０は、取得部１１０により取得された異常診断用情報に含まれるスキャン画像と、機器の状態を示す状態情報とを用いて、異常診断を行う。より詳細な内容については後述する。

また、制御部１３０は、選択部１２０により選択された評価モードでの異常診断の終了後、他の評価モードでの異常診断が不要である場合は、他の評価モードでの異常診断をスキップする。以上の選択部１２０および制御部１３０の機能により、必要に応じて評価をスキップさせることで、必要な情報を早目に入手することが可能になる。例えばベテランのユーザは２次評価モードからの異常診断を要求し、新人のユーザは１次評価からの異常診断を要求し、将来予測だけしたいユーザは３次評価のみの異常診断を要求するケースなどがある。しかしながらベテランのユーザでも、強い故障の原因特定に周期情報がほしいために１次評価からの異常診断を要求する場合もある。以上の選択部１２０および制御部１３０の機能により、ユーザの技術レベルや異なる要求に即した異常診断結果を提示することが可能になる。

図４は、例えばＰＣやＭＦＰのＳｍａｒｔＵＩなど、大量のデータを扱うと負荷が大きくなり動作が制限されうるような動作環境で、この中のプログラムやアプリケーションにより提供される故障診断システムの処理フローを示す図である。概要としては、まずは、１次評価モードでの異常診断を実施してランク１（低感度）の異常を検知し、マーキングや診断結果を出力し、その後、２次評価モードでの異常診断を実施してランク２（中感度）以下の異常を検知し、マーキングや診断結果を出力する。以下、具体的に説明する。

図４に示すように、強い異常を検知する、または、高速に診断する必要がある場合（ステップＳ３０１ａ：Ｙｅｓ）、制御部１３０は、１次評価モードでの異常診断を実行する（ステップＳ３０２ａ）。選択部１２０は、故障診断システムで、強い異常をとるかどうかといった場合や、診断の情報量よりも速さをとって高速に診断結果を出したいかどうかといった場合によって、適応的に評価モードを選択するように促すことができる。強い異常をとりたい、もしくは高速な故障診断処理で素早く結果を得たい場合は、１次評価モードでの異常診断を実行するステップ（ステップＳ３０２ａ）へ進む。一方で、最初から強い異常だけでなく、弱い薄い異常の検知や、高速ではなくてももう少し詳細に診断処理を実施したいという場合は、これをスキップする。

ステップＳ３０２ａにおいては、画像の検査領域の画素値などの標準偏差もしくは平均値から、異常が有るか無いか（異常とするかしないか）を決めるための２値化の閾値を決定する際に、強い濃い異常（基準レベル以上の異常、例えばこれをランク１とする）だけを検知するような閾値になるようにオフセットを設定し、高速に異常の位置、周期情報を検知して、部品予想を出力する、もしくは矢印などで周期情報を表示する。ステップＳ３０２ａの詳細な内容については後述する。

ステップＳ３０２ａの後、弱い異常の検知が必要な場合、または、最初から強い異常だけでなく、弱い異常の検知が必要な場合（ステップＳ３０３ａ）、制御部１３０は、２次評価モードでの異常診断を実行する（ステップＳ３０４ａ）。２次評価モードでは、１次評価モードのような強い異常をとる低感度の閾値よりも、閾値のオフセットをとってより高感度な閾値へと段階的に変えていき、弱い異常も検知・診断できるようにする。閾値のオフセットのスタートは、診断システムで自動的に決めてもよいし、ユーザが手動で決めてもよい。例えば自動的な決定では、１次評価モードを実施していなければ低感度のランク１から順次ランク２、３、４…と上げてそれぞれ異常診断を行い、１次評価モードでの異常診断を実施していれば、ランク２から順次ランク３、４…と上げてそれぞれ異常診断を行うなどの処理をすることができる。手動的な決定では、オフセットのスタートを自由に選べ、例えば、低感度のほうの異常診断はあまり必要ない場合は、ランク４からスタートするように選択することもできる。ステップＳ３０４ａの詳細な内容については後述する。

図５は、例えばネットワークに接続されているサーバ１０５にて、ＧＰＵを使用し、大量のデータを扱える動作環境で、この中のプログラムやアプリケーションにより提供される故障診断システムの処理フローを示す図である。概要としては、まずは、１次評価モードでの異常診断を実施してランク１（低感度）の異常を検知し、マーキングや診断結果を出力する。その後、２次評価モードでの異常診断を実施してランク２（中感度）以下の異常を検知し、マーキングや診断結果を出力する。その後、３次評価モードでの異常診断を実施してランク３（高感度）以下の異常を検知し、マーキングや診断結果を出力する。なお、３次評価モードは故障予測を行うような、過検知を前提としたようなレベルである。以下、具体的に説明する。

前提として、図５に示すステップＳ３０２ｂからＳ３０５ｂは図４に示すステップＳ３０１ａからＳ３０４ａの先述の処理と同様のため、ここでは説明を省略する。まず、ステップＳ３０１ｂでは、制御部１３０は、最初の検知・診断（異常診断）から、詳細な処理が必要あるいはこれから異常が出るであろうという故障予測が必要かどうかを判断し、必要な場合は、最初から３次評価モードでの異常診断（ステップＳ３０７ｂ）を実行する。必要ない場合は、次のステップＳ３０２ｂから順次実施していく。同様にして、制御部１３０は、１次評価モードあるいは２次評価モードでの異常診断の終了後、より詳細な検知・診断が必要かどうか判断し、必要な場合は、３次評価モードでの異常診断を実行（ステップＳ３０７ｂ）し、必要ない場合は、全体の処理を終了する。

３次予測では、ネットワークが繋がっている場合は、検査対象の画像（スキャン画像）や画像を出力した機器情報（状態情報）などをサーバ１０５に送り、詳細に検査し、結果を出力する。１次評価モードおよび２次評価モードのように低感度から高感度の異常までとる詳細な検査とするが、それに加えて、異常の位置、周期情報以外の特徴量（異常の形状、大きさ、濃度、周期性の有無や周期性がある場合のピッチ、異常が出ている色版）も算出してより故障原因を絞りやすいような構成とする。また、詳細にかつ故障予測としての異常診断を行うため、２次評価モードよりもさらに高感度で過検知ぎみの閾値を保持する。加えて、１つ前あるいは所定の回数分前の検知・診断時の結果など記録を故障診断システムあるいは画像形成装置１０１、１０３本体などに残しておき、次の検知・診断時の結果と比べる。その際、画像形成装置１０１、１０３の印刷枚数、部品の交換履歴、状態情報の変化（例えば印刷枚数何枚以上になった、部品の交換後の日数が大きく過ぎている、帯電レベルが大きく変わったなど）や、前回と比べて目視では確認できない潜在的な異常がとれているなどがあったら、顕在化するであろうとして、注意喚起するように結果を出力する。多量のデータを扱うため、負荷は大きく低速になるが、その分、高精度な異常診断ができる。ここでは、故障診断システムの処理主体となる装置（例えばサーバ１０５）はネットワーク接続を前提として説明したが、これに限らず、例えば３次評価モードでの異常診断をＰＣなどのスタンドアローンの装置上で実施しても良い。

図６は、１次評価モードでの異常診断の処理例を示すフローチャートである。まず、制御部１３０は、異常領域（異常画像）の検知を実行する（ステップＳ４０１ａ）。より具体的には、制御部１３０は、取得部１１０により取得された異常診断用情報に含まれる検査対象のスキャン画像に対して異常検知処理を実行する。ここでの検知は、スキャン画像のどこに異常画像が発生しているか、またスジ帯や斑点、汚れなど、どんな種類の異常画像であるか（異常画像種）ということを検知して出力することを指す。そして、制御部１３０は、異常検知処理を実行しながら、併せて検知した異常領域の特徴量の算出を行う（ステップＳ４０２ａ）。

ここで、検知の一例として次に２つの手法を載せる。１つ目は目視検知であり、ユーザがスキャン画像のうち異常領域と思われる箇所を選択し、その箇所の画像部の特徴量を入力し、検知を実行する。２つ目は自動検知であり、特徴量の算出含め自動で検知を実行する。異常領域の特徴量とは、形状（スジ帯か、斑点か、不定かなど）、大きさ（縦横方向の幅や斑点の直径など）、濃度（濃いか薄いか）、周期性（有／無）や周期性がある場合のピッチ、色版（異常が出ている版）など、異常画像を特徴づける定性的および定量的な項目を指す。これらが異常画像の原因特定の一つの情報となる。１次評価モードは強い濃い異常のみを検知するため、最も感度が低いランクの閾値を用いて処理される。また、１次評価モードでは高速処理のため、算出と出力する特徴量の項目は絞り、例えば異常の位置や原因特定に特に有効そうな周期情報のみ算出しても良い。逆に特徴量の情報をすべて出すように選択できても良い。

ステップＳ４０２ａの後、スキャン画像と、異常領域について、得られた特徴量や画像形成装置１０１、１０３の情報などに基づいて、特徴量の情報、原因・原因部（部品）・対処方法をリスト化した情報（異常情報）を、端末装置１０２、１０４やサーバ１０５、画像形成装置１０１、１０３のＳｍａｒｔＵＩ上などに表示（出力の一例）する。つまり、異常診断結果を表示する（ステップＳ４０３ａ）。また、リストと同時に、スキャン画像には異常領域に対して種類別や原因別に色付けし、異常領域とリストの情報との紐付けがしやすいような構成とすることもできる。

図７は、２次評価モードでの異常診断の処理例を示すフローチャートである。まず、制御部１３０は、故障診断システム内に取り込まれた検査対象のスキャン画像について、異常診断するための最初の感度を選択する（ステップＳ４０１ｂ）。この感度選択については、上述したとおり、閾値のオフセットをとってより高感度な閾値へと段階的に変えていき、弱い異常も異常診断できるようにするために、最初に決める閾値のオフセットのスタートをどこにとるかということになる。閾値のオフセットのスタートは、故障診断システムで自動的に決めてもよいし、ユーザが手動で決めてもよい。自動的に選択する場合は、一例として、１次評価モードを実施していなければ低感度のランク１の閾値のオフセットを選択し、１次評価モードを実施している場合は、ランク１の異常診断は済んでいるものとして、次に低感度であるランク２を選択する。手動的に選択する場合は、ランクごとの閾値のオフセットのスタートを自由に選べる。一例として、低感度のほうの異常診断はあまり必要ない場合は、高感度な閾値のオフセットを持つランク４からスタートするように選択する。ここでは、ランクの数字が小さいほど低感度な閾値、数字が大きいほど高感度な閾値としているが、その逆であっても良い。

ステップＳ４０１ｂにおける感度の選択後、制御部１３０は、それに合わせて異常領域の検知を実行する（ステップＳ４０２ｂ）。詳細は、図６に示すステップＳ４０１ａの処理と同様で、これを感度のランクを変えるごとに実行していく。次の異常画像の特徴量の算出（ステップＳ４０３ｂ）と異常診断結果の表示（ステップＳ４０４ｂ）も、図６に示すステップＳ４０２ａとステップＳ４０３ａと同様に実行することができる。よって、特徴量の算出については、項目を絞っても良いし、逆にすべて算出するように選択できて良い。また、異常診断結果の表示では、２次評価モード実行前に１次評価モードを実行している場合は、１次評価モードの結果に２次評価モードの結果を追加して同時に表示しても良いし、２次評価モードの結果のみ改めて新規で表示しても良い。

図８は、３次評価モードでの異常診断の処理例を示すフローチャートである。まず、制御部１３０は、実行環境のサーバ１０５に、検査対象のスキャン画像、ＭＦＰの印刷枚数、部品の交換履歴、動作状態を示すコンディションデータ等の機器の状態を示す状態情報を転送する（ステップＳ４０１ｃ）。本実施形態では、このステップは３次評価モードのみのステップとしているが、１次評価モードと２次評価モードもサーバ１０５で処理しても良い場合も考えられ、その際は、図６および図７に示すフローにおいても、最初にステップＳ４０１ａを実行するものとする。

ステップＳ４０１ａの後の、検知実行（ステップＳ４０２ｃ）から異常診断結果の表示（ステップＳ４０４ｃ）までの各ステップは、基本的には１次評価モードのステップＳ４０１ａからステップＳ４０３ａ（図６参照）、および、２次評価モードのステップＳ４０２ｂからステップＳ４０４ｂ（図７参照）と同様である。ただし、３次評価モードは、故障予測も想定したモードのため、より詳細な検知・診断を行うことになり、異常検知の閾値はより高感度なもので処理することとなる。特徴量の算出も多くの項目で行い、異常の原因特定も機器の状態情報（上記のコンディションデータなど）を反映して処理し、より高精度な診断や予測を行う。故障予測としては特に、先述のとおり、１つ前あるいは所定の回数分前の検知・診断時の結果など記録を故障診断システムあるいは画像形成装置１０１、１０３本体などに残しておき、その際、画像形成装置１０１、１０３の印刷枚数、部品の交換履歴、コンディションデータ等の状態情報の変化や、次の検知・診断時の結果と前回と比べて目視では確認できない潜在的な異常がとれているなどがあったら、顕在化するであろうとして、注意喚起するように異常診断結果を出力する。

次に、評価モードの選択方法について説明する。例えば選択部１２０は、図９に示すような選択画面をディスプレイ装置（出力装置２１７の一例）に表示し、選択画面を介して選択された評価モードを選択することもできる。各ユーザやＣＥによって得たい機器の故障の情報をもとに、異常診断したい評価モードを選択し、実行できるようにする。このとき、３次評価モードはサーバ１０５等での詳細検査を想定しており、故障診断システムの動作環境がローカルのＰＣなどの場合は負荷が重くなるため、選択できないようにしても良いし、負荷は気にせずに処理する場合は、選択できるようになって良い。一方で、サーバ１０５が動作環境の場合は、先述のとおり、１次評価モード～３次評価モードまで選択できる形態としてよい。また、図９に示すように、２次評価モードは検知感度のスタートの閾値の選択ができ、図９の例では、どのランクから始めるかも自動か手動かで選べるようになっている。手動選択では、図９の例では３段階で示しているが、段階数は限定しなくて良い。検知実行時には、自動選択および手動選択いずれも、異常検知の閾値のオフセットを徐々に変えていく過程では、感度のランクの数分全ての閾値によって異常領域の検知および特徴量の算出を実行して、最も高感度なランクまで試してから終了でも良いし、オフセットを変えても異常検知数が一定以上増えなくなっていった段階で終了してもよい。これによって診断の効率を上げることもできる。図９では２次評価モードを想定して表現しているが、３次評価モードにもこの感度選択の機能があっても良い。

次に、異常診断結果の出力の態様について説明する。異常領域（異常画像）の検知実行後に表示する異常診断結果の表示では、実画像とマーカー付けの表示と、検知した許容されない異常領域のマーカー色の対応付けや検知した異常の原因などをリスト化することができる。１次評価モードのような高速で処理するものや、もしくはユーザやＣＥによって細かい情報が必要ない場合は、図１０のように簡易的なリストを表示する形態であってもよい。また、例えば３次評価モードのような低速だが詳細な検知・診断を処理するものでかつユーザやＣＥによって細かい情報が必要である場合は、図１１のように、原因推定の詳細や具体的な原因と対処方法などを入れた詳細なリストを表示する形態であってもよい。このように、表示する情報を自由に選択できる形態とすることができる。表示する情報は、前の評価で得られた情報を残したまま、現評価の情報を追加して出しても良い（ここでは１次評価モードを実施後、２次評価を実施したという一例）し、現評価のみの情報を表示しても良い。原因や対処方法は詳細情報を見ることを可能にしていることで、対処方法の選択のきっかけにすることもでき、また実際にそのまま処置の作業に移行しやすくなる。また、図１１の例では、１つの異常画像種に対する対処方法を１つ書いているが、実際は対処方法が複数あることもあり、異常診断結果からユーザが自由に選べることを想定する。対処方法の選択の補助機能として、同じ機械やネットワークを介して同様の使われ方をしている機械において発生した異常画像とその処置結果の情報を、サーバ１０５などに蓄積しておき、過去の画像と現画像を比較した際に、同様の現象（特徴量）が得られたと確認できたものに関しては、同様の処置内容の推奨を行うこともできる。図１１の例では、異常診断結果のデータの確認後には、続けて評価モードの選択・実行を行うか、診断終了が選択できる。

以上に説明したように、本実施形態では、複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値を個別に設定し、スキャン画像のうち該閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する。つまり、一度の異常診断処理中に閾値のオフセットを変えながら処理速度や精度を段階的に変えて異常診断結果を出力する構成のため、再判定が無い前提であり、比較条件を一意に決める必要が無いとともに、ユーザの熟練度や、処理速度、動作環境の要因を意識しながら、それらの要因に見合った異常診断と結果を出力できる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

また、画像形成装置１０１、１０３、および、情報処理装置（端末装置１０２、１０４、サーバ１０５）で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１０１ 画像形成装置
１０２ 端末装置
１０３ 画像形成装置
１０４ 端末装置
１０５ サーバ
１１０ 取得部
１２０ 選択部
１３０ 制御部
１３１ 閾値設定部
１３２ 検知部
１３３ 特徴量算出部
１３４ 出力部

特許第４５３８８４５号公報 特許第４４９４０９８号公報

Claims (4)

1. スキャンした画像を示すスキャン画像を少なくとも含み、かつ、異常診断に用いられる異常診断用情報を取得する取得部と、
   異常を検知する感度がそれぞれ異なる複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値を個別に設定し、前記スキャン画像のうち前記閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する制御部と、を備え、
   前記複数の評価モードは、基準レベル以上の異常のみを検知する１次評価モードと、前記１次評価モードよりも異常を検知する感度が高い２次評価モードと、前記２次評価モードよりも異常を検知する感度が高い３次評価モードと、を含み、
   前記２次評価モードの場合、前記制御部は、前記１次評価モードよりも異常を検知する感度が高くなるよう、前記閾値を段階的に変更し、
   前記３次評価モードの場合、前記制御部は、前記異常診断用情報に含まれる前記スキャン画像と、機器の状態を示す状態情報とを用いて、異常診断を行う、
   画像処理システム。
2. 前記複数の評価モードのうちの何れかを選択する選択部をさらに備え、
   前記制御部は、前記選択部により選択された評価モードでの異常診断の終了後、他の評価モードでの異常診断が不要である場合は、他の評価モードでの異常診断をスキップする、
   請求項１に記載の画像処理システム。
3. 画像処理システムで実行される画像処理方法であって、
   スキャンした画像を示すスキャン画像を少なくとも含み、かつ、異常診断に用いられる異常診断用情報を取得する取得ステップと、
   異常を検知する感度がそれぞれ異なる複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値を個別に設定し、前記スキャン画像のうち前記閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する制御ステップと、を含み、
   前記複数の評価モードは、基準レベル以上の異常のみを検知する１次評価モードと、前記１次評価モードよりも異常を検知する感度が高い２次評価モードと、前記２次評価モードよりも異常を検知する感度が高い３次評価モードと、を含み、
   前記制御ステップは、
   前記２次評価モードの場合、前記１次評価モードよりも異常を検知する感度が高くなるよう、前記閾値を段階的に変更し、
   前記３次評価モードの場合、前記異常診断用情報に含まれる前記スキャン画像と、機器の状態を示す状態情報とを用いて、異常診断を行う、画像処理方法。
4. コンピュータを、
   スキャンした画像を示すスキャン画像を少なくとも含み、かつ、異常診断に用いられる異常診断用情報を取得する取得部と、
   異常を検知する感度がそれぞれ異なる複数の評価モードの中から選択された何れかの評価モードについて、該評価モードで異常の有無を判定するための閾値を個別に設定し、前記スキャン画像のうち前記閾値に基づいて検知された異常領域の特徴量を算出し、該算出した特徴量に基づく異常情報を出力する制御部と、して機能させ、
   前記複数の評価モードは、基準レベル以上の異常のみを検知する１次評価モードと、前記１次評価モードよりも異常を検知する感度が高い２次評価モードと、前記２次評価モードよりも異常を検知する感度が高い３次評価モードと、を含み、
   前記２次評価モードの場合、前記制御部は、前記１次評価モードよりも異常を検知する感度が高くなるよう、前記閾値を段階的に変更し、
   前記３次評価モードの場合、前記制御部は、前記異常診断用情報に含まれる前記スキャン画像と、機器の状態を示す状態情報とを用いて、異常診断を行う、プログラム。

Images