JPH11110547A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 別の監視手段等を設けることなく、撮像装置
の光学レンズの汚れや曇り、照明装置の寿命による照度
低下、被撮像画像物等の経時的状態変化を、これらに起
因するＮＧ判定より事前に検出し、ライン停止時間を短
縮すること。 【解決手段】 撮像画像の特徴量とサンプル画像の特徴
量との比較によりサンプル画像に対する撮像画像の相関
値を求め、当該相関値が判定閾値Ｓ以上であるか否かの
判別により画像の識別を行う画像処理装置において、各
画像の識別のたびに算出される前記相関値のうち判定閾
値Ｓ以上である相関値を時系列データとして記憶する相
関値履歴記憶手段１３と、相関値履歴記憶手段１３に記
憶されている複数個の相関値の相互関係より当該相関値
の経時的変化傾向を抽出する相関値変化傾向抽出手段１
５と、相関値変化傾向抽出手段１５により抽出された相
関値の経時的変化傾向より撮像手段や照明装置、被撮像
画像物等の経時的状態変化を検出する経時的状態変化検
出手段１７とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理装置に
関し、特に、検査ライン等で使用される画像（パター
ン）識別のための画像処理装置に関するものである。

【０００２】

【従来の技術】従来より知られている画像処理装置とし
て、検査ライン、たとえば製本装置における乱丁監視の
ために、製本台上に正しい用紙が載置されているか否か
を監視するのに、撮像手段による撮像画像の特徴量と予
めメモリに記憶しているサンプル画像の特徴量との比
較、たとえばテンプレートマッチング法による特徴量比
較により、サンプル画像に対する撮像画像の相関値（類
似値）を求め、この相関値が予め設定されている判定閾
値以上であるか否かの判別により画像の識別を行うもの
がある。

【０００３】

【発明が解決しようとする課題】上述のような画像処理
装置は、相関値が予め設定されている判定閾値以上であ
るか否かのイエス・ノー判別、言い換えれば、ＯＫ・Ｎ
Ｇの二者択一しか行わない。このことに対して、画像処
理装置では、撮像装置の光学レンズの汚れや曇り、照明
装置の寿命による照度低下等の経時的状態変化が生じ、
また被撮像画像物の経時的状態変化（製本装置の場合、
印刷物の印刷濃度変化）が生じ、これらの経時的状態変
化が顕著なものになると、画像不一致以外に、これらの
ことによっても相関値が予め設定されている判定閾値以
下になり、画像不一致時と同等にＮＧ判定が行われるこ
とになる。

【０００４】このため、従来における画像処理装置で
は、ＮＧ判定がなされると、オペレータは、まず、その
ＮＧ判定が画像不一致によるものか、あるいはそれ以外
の原因、すなわち経時的状態変化によるものであるかを
判断しなけばならず、特に、経時的状態変化による場合
には、ライン停止後にその原因を調査してトラブル解消
の対処作業を行わなければならず、ライン停止時間が長
くなり、ライン稼働率が低下する大きな要因となる。

【０００５】撮像装置の光学レンズの汚れや曇り、照明
装置の寿命による照度低下、被撮像画像物等の経時的状
態変化は、別の監視手段等を設けることにより、これら
に起因してＮＧ判定が行われる前に検知することが可能
ではあるが、装置が複雑化するという問題点がある。

【０００６】この発明は、上述の如き問題点を解消する
ためになされたもので、別の監視手段等を設けることな
く、撮像装置の光学レンズの汚れや曇り、照明装置の寿
命による照度低下、被撮像画像物等の経時的状態変化
を、これらに起因するＮＧ判定をより事前に検出するこ
とができ、ライン停止時間を短縮してライン稼働率を向
上させる画像処理装置を得ることを目的としている。

【０００７】

【課題を解決するための手段】上述の目的を達成するた
めに、この発明による画像処理装置は、撮像手段による
撮像画像の特徴量と予めメモリに記憶しているサンプル
画像の特徴量との比較によりサンプル画像に対する撮像
画像の相関値を求め、当該相関値が予め設定されている
判定閾値以上であるか否かの判別により画像の識別を行
う画像処理装置において、各画像の識別のたびに算出さ
れる前記相関値のうち前記判定閾値以上である相関値を
時系列データとして記憶する相関値履歴記憶手段と、前
記相関値履歴記憶手段に記憶されている複数個の相関値
の相互関係より当該相関値の経時的変化傾向を抽出する
相関値変化傾向抽出手段と、前記相関値変化傾向抽出手
段により抽出された相関値の経時的変化傾向より撮像手
段や照明装置、被撮像画像物等の経時的状態変化を検出
する経時的状態変化検出手段とを有しているものであ
る。

【０００８】つぎの発明による画像処理装置は、上述の
発明による画像処理装置において、前記相関値変化傾向
抽出手段は時系列の複数個の前記相関値から直線近似を
行い、前記経時的状態変化検出手段は直線近似により定
義される直線の傾き値より前記相関値が前記判定閾値に
近づいているか否かの判別により経時的状態変化を検出
するものである。

【０００９】つぎの発明による画像処理装置は、上述の
発明による画像処理装置において、前記相関値変化傾向
抽出手段は前記相関値が前記相関値履歴記憶手段に所定
個数貯まるごとにその相関値から直線近似を行って各回
の直線近似により定義される直線の傾き値を順に保存
し、前記経時的状態変化検出手段は前記傾き値が所定回
数連続して前記判定閾値に近づいているか否かの判別に
より経時的状態変化を検出するものである。

【００１０】つぎの発明による画像処理装置は、上述の
発明による画像処理装置において、前記相関値変化傾向
抽出手段は、前記相関値履歴記憶手段に相関値が所定個
数貯まるごとに繰り返し行う直線近似において、各回の
直線近似で使用する時系列の複数個の相関値に前回の直
線近似で使用した相関値を一部含み、時系列の相関値を
一部オーバーラップさせて使用して各回の直線近似を行
うものである。

【００１１】つぎの発明による画像処理装置は、上述の
発明による画像処理装置において、テンプレートマッチ
ング法による特徴量比較によってサンプル画像に対する
撮像画像の相関値を求めるものである。

【００１２】なお、ここで云う相関値は、サンプル画像
に対する撮像画像の類似度を示す数値であり、類似度が
高いほど大きい数値を示す。相関値がサンプル画像に対
する撮像画像の相違度を示す数値とするならば、相関値
が予め設定されている判定閾値以下であるか否かの判別
により画像の識別を行うことになることは、云うまでも
なく、この場合には、相関値履歴記憶手段は、各画像の
識別のたびに算出される相関値のうち判定閾値以下であ
る相関値を時系列データとして記憶することになり、請
求項において相関値のうち判定閾値以上である相関値を
時系列データとして記憶すると云う限定は、表現上の便
宜的な限定にしかすぎない。

【００１３】

【発明の実施の形態】以下に添付の図を参照して、この
発明に係る画像処理装置の実施の形態を詳細に説明す
る。

【００１４】図１は、この発明による画像処理装置の一
つの実施の形態を示している。この画像処理装置はテン
プレートマッチング判定手段１を有している。テンプレ
ートマッチング判定手段１は、撮像手段であるＣＣＤカ
メラ３より検査対象の撮像画像を入力し、相関値算出部
５によって撮像画像の特徴量とテンプレートデータ記憶
手段７に予め格納されているサンプル画像（テンプレー
ト）の特徴量との比較により、サンプル画像に対する撮
像画像の相関値を求め、この相関値が判定閾値可変設定
手段９により予め設定されている判定閾値Ｓ以上である
か否かの判別により画像の識別を行う。サンプル画像に
対する撮像画像の相関値が判定閾値Ｓ以上であれば、画
像一致であるとしてＯＫ出力を行い、相関値が判定閾値
Ｓ以上でなければ、画像不一致であるとしてＮＧ出力を
行う。なお、ＣＣＤカメラ３による検査対象物の撮像
は、照明装置１１による照明下で行われる。

【００１５】また、画像処理装置は、各画像の識別のた
びに相関値算出部５によって算出される相関値のうち判
定閾値以上である相関値を時系列データとして記憶する
相関値履歴記憶手段１３と、相関値履歴記憶手段１３に
記憶されている複数個の相関値の相互関係より相関値の
経時的変化傾向を抽出する相関値変化傾向抽出手段１５
と、相関値変化傾向抽出手段１５により抽出された相関
値の経時的変化傾向より撮像手段や照明装置、被撮像画
像物等の経時的状態変化を検出する経時的状態変化検出
手段１７とを有している。

【００１６】相関値変化傾向抽出手段１５による相関値
の経時的変化傾向の抽出は、時系列の複数個（ｎ個）の
相関値から最小２乗法等によって直線近似を行い、その
直線近似により定義される直線Ｌの傾き値ａを求めるこ
とにより行うことができる。この直線近似は、相関値履
歴記憶手段１３に相関値が所定個数貯まるごとに繰り返
し行い、各回の直線近似により定義される直線Ｌの傾き
値ａを相関値変化傾向抽出手段１５の傾き値格納部１９
に順に保存する。

【００１７】この繰り返しの直線近似では、図２に示さ
れているように、各回の直線近似で使用する時系列の複
数個の相関値（相関値群Ｃｎ) に前回の直線近似で使用
した相関値（相関値群Ｃｎ−１) を一部（後半部）含
み、時系列の相関値を一部オーバーラップさせて使用し
て各回の直線近似を行う。

【００１８】経時的状態変化検出手段１７は、基本的に
は、直線近似により定義される直線Ｌの傾き値ａより相
関値が判定閾値Ｓに近づいているか否か、ここでは傾き
値ａがマイナス値であるか否かの判別により、ＣＣＤカ
メラ１の光学レンズの汚れや曇り、照明装置１１の寿命
による照度低下等の経時的状態変化、被撮像画像物の経
時的状態変化を検出する。

【００１９】特に、この実施の形態では、経時的状態変
化検出手段１７は、傾き値格納部１９に順に保存されて
いる傾き値ａが所定回数連続して判定閾値Ｓに近づいて
いるか否かの判別、すなわち傾き値ａが所定回数連続し
てマイナス値であるか否かの判別を行い、傾き値ａが所
定回数連続してマイナス値であれば、経時的状態変化の
警告出力を行う。

【００２０】この経時的状態変化の警告出力は、ＣＣＤ
カメラ３の光学レンズの汚れや曇り、照明装置１１の寿
命による照度低下等の経時的状態変化、被撮像画像物の
経時的状態変化（印刷濃度低下等）は、時間の経過に応
じて徐々に進行するものであると推測されることに基づ
いている。これらの経時的状態変化による相関値の変化
傾向が原因により異なる特性を示すならば、その変化傾
向の特性をも判別して経時的状態変化の原因を判別する
こともできる。

【００２１】図３は、この発明による画像処理装置の動
作フローを示している。画像処理装置は、まず、ＣＣＤ
カメラ３より検査対象の撮像画像を入力し（ステップＳ
１０）、相関値算出部５によって撮像画像の特徴量とテ
ンプレートデータ記憶手段７に予め格納されているサン
プル画像の特徴量との比較により、サンプル画像に対す
る撮像画像の相関値を算出する（ステップＳ２０）。

【００２２】つぎに、相関値が判定閾値可変設定手段９
により予め設定されている判定閾値Ｓ以上であるか否か
の判別を行う（ステップＳ３０）。サンプル画像に対す
る撮像画像の相関値が判定閾値Ｓ以上でなければ、画像
不一致であるとしてＮＧ出力を行う（ステップＳ４
０）。このＮＧ出力によりライン停止が行われる。サン
プル画像に対する撮像画像の相関値が判定閾値Ｓ以上で
あれば、画像一致であるとしてＯＫ出力を行い（ステッ
プＳ５０）、この相関値を相関値履歴記憶手段１３に時
系列に順に保存する（ステップＳ６０）。

【００２３】つぎに、相関値履歴記憶手段１３に保存さ
れている相関値の相互関係より相関値の経時的変化傾
向、たとえば複数個の相関値の直線近似により求められ
た直線の傾きを相関値変化傾向抽出手段１５によって抽
出し（ステップＳ７０）、抽出された相関値の経時的変
化傾向より撮像手段や照明装置、被撮像画像物等の経時
的状態変化をチェックし（ステップＳ８０）、このチェ
ック結果に応じて経時的状態変化の警告出力を行う（ス
テップＳ９０）。

【００２４】上述のように、相関値の経時的変化傾向に
よるチェック結果に応じて経時的状態変化の警告出力を
行うから、オペレータは、ＮＧ出力の以前に、ＣＣＤカ
メラ３の光学レンズの汚れや曇り、照明装置１１の寿命
による照度低下等の経時的状態変化、被撮像画像物の経
時的状態変化が生じていることを事前に知ることがで
き、このことにより、経時的状態変化の原因追究や対処
作業の準備を予め行ったり、定期的なライン停止時間内
に対処作業を行ったり、判定閾値を一時的に低くするな
どしてＮＧ出力によるライン停止を回避することで、ラ
イン停止時間を短縮してライン稼働率を向上させること
ができる。

【００２５】

【発明の効果】以上の説明から理解される如く、この発
明による画像処理装置によれば、相関値履歴記憶手段に
記憶されている複数個の相関値の相互関係より当該相関
値の経時的変化傾向を相関値変化傾向抽出手段によって
抽出し、抽出された相関値の経時的変化傾向より撮像手
段や照明装置、被撮像画像物等の経時的状態変化を経時
的状態変化検出手段によって検出するから、別の監視手
段等を設けることなく、撮像装置の光学レンズの汚れや
曇り、照明装置の寿命による照度低下、被撮像画像物等
の経時的状態変化を、これらに起因するＮＧ判定より事
前に検出することができ、ライン停止時間を短縮してラ
イン稼働率を向上させることができる。

【００２６】つぎの発明による画像処理装置によれば、
相関値変化傾向抽出手段は時系列の複数個の相関値から
直線近似を行い、経時的状態変化検出手段は直線近似に
より定義される直線の傾き値より相関値が判定閾値に近
づいているか否かの判別により経時的状態変化を検出す
るから、経時的状態変化に起因してＮＧ判定が行われる
以前に、撮像手段や照明装置、被撮像画像物等の経時的
状態変化を的確に検出でき、このことによりライン停止
時間を短縮してライン稼働率を向上させることができ
る。

【００２７】つぎの発明による画像処理装置によれば、
相関値変化傾向抽出手段は相関値が相関値履歴記憶手段
に所定個数貯まるごとにその相関値から直線近似を行っ
て各回の直線近似により定義される直線の傾き値を順に
保存し、経時的状態変化検出手段は前記傾き値が所定回
数連続して前記判定閾値に近づいているか否かの判別に
より経時的状態変化を検出するから、経時的状態変化に
起因してＮＧ判定が行われる以前に、撮像手段や照明装
置、被撮像画像物等の経時的状態変化を、より一層正確
に検出でき、このことによりライン停止時間を短縮して
ライン稼働率を向上させることができる。

【００２８】つぎの発明による画像処理装置によれば、
相関値変化傾向抽出手段は、相関値履歴記憶手段に相関
値が所定個数貯まるごとに繰り返し行う直線近似におい
て、各回の直線近似で使用する時系列の複数個の相関値
に前回の直線近似で使用した相関値を一部含み、時系列
の相関値を一部オーバーラップさせて使用して各回の直
線近似を行うから、撮像手段や照明装置、被撮像画像物
等の経時的状態変化を、より一層的確に検出でき、この
ことによりライン停止時間を短縮してライン稼働率を向
上させることができる。

【００２９】つぎの発明による画像処理装置によれば、
テンプレートマッチング法による特徴量比較によってサ
ンプル画像に対する撮像画像の相関値をを求めることか
ら、画像識別が的確に行われるうえに、相関値の経時的
変化傾向による撮像手段や照明装置、被撮像画像物等の
経時的状態変化の検出も的確に行われるようになる。

【図面の簡単な説明】

【図１】 この発明による画像処理装置の一つの実施の
形態を示すブロック線図である。

【図２】 この発明による画像処理装置で使用される相
関値の経時的変化傾向の抽出特性を示すグラフである。

【図３】 この発明による画像処理装置の動作フローを
示すフローチャートである。

【符号の説明】

１ テンプレートマッチング判定手段，３ ＣＣＤカメ
ラ，５ 相関値算出部，７ テンプレートデータ記憶手
段，９ 判定閾値可変設定手段，１１ 照明装置，１３
相関値履歴記憶手段，１５ 相関値変化傾向抽出手
段，１７ 経時的状態変化検出手段，１９ 傾き値格納
部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮像手段による撮像画像の特徴量と予め
   メモリに記憶しているサンプル画像の特徴量との比較に
   よりサンプル画像に対する撮像画像の相関値を求め、当
   該相関値が予め設定されている判定閾値以上であるか否
   かの判別により画像の識別を行う画像処理装置におい
   て、 各画像の識別のたびに算出される前記相関値のうち前記
   判定閾値以上である相関値を時系列データとして記憶す
   る相関値履歴記憶手段と、 前記相関値履歴記憶手段に記憶されている複数個の相関
   値の相互関係より当該相関値の経時的変化傾向を抽出す
   る相関値変化傾向抽出手段と、 前記相関値変化傾向抽出手段により抽出された相関値の
   経時的変化傾向より撮像手段や照明装置、被撮像画像物
   等の経時的状態変化を検出する経時的状態変化検出手段
   と、 を有していることを特徴とする画像処理装置。
2. 【請求項２】 前記相関値変化傾向抽出手段は、時系列
   の複数個の前記相関値から直線近似を行い、前記経時的
   状態変化検出手段は、直線近似により定義される直線の
   傾き値より前記相関値が前記判定閾値に近づいているか
   否かの判別により経時的状態変化を検出することを特徴
   とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記相関値変化傾向抽出手段は、前記相
   関値が前記相関値履歴記憶手段に所定個数貯まるごとに
   その相関値から直線近似を行って各回の直線近似により
   定義される直線の傾き値を順に保存し、前記経時的状態
   変化検出手段は前記傾き値が所定回数連続して前記判定
   閾値に近づいているか否かの判別により経時的状態変化
   を検出することを特徴とする請求項１に記載の画像処理
   装置。
4. 【請求項４】 前記相関値変化傾向抽出手段は、前記相
   関値履歴記憶手段に相関値が所定個数貯まるごとに繰り
   返し行う直線近似において、各回の直線近似で使用する
   時系列の複数個の相関値に前回の直線近似で使用した相
   関値を一部含み、時系列の相関値を一部オーバーラップ
   させて使用して各回の直線近似を行うことを特徴する請
   求項３に記載の画像処理装置。
5. 【請求項５】 テンプレートマッチング法による特徴量
   比較によってサンプル画像に対する撮像画像の相関値を
   求めることを特徴とする請求項１〜４のいずれか一つに
   記載の画像処理装置。