JP4829594B2 - 画像処理方法および装置 - Google Patents

Description

本発明は、撮像した製品を画像処理して、製品の良否を判定する画像処理方法および装置に関し、特に、撮像時に製品の検査範囲と撮像範囲の若干のずれの発生における検査効率の向上に関する。

図１に示すように、従来から画像処理装置として、搬送コンベアのような搬送機構４で多数の製品Ｐを次々に搬送させながら、撮像カメラ（イメージセンサ）２で撮像した製品Ｐの撮像データを画像処理部５で画像処理して、製品Ｐの良否を判定するものが知られている。通常、撮像した製品Ｐの画像処理に所定時間（例えば、数１０ｍｓ）を要することから、撮像カメラ２に撮像タイミングを与えるために、各製品Ｐの通過を検出して撮像要求信号を出力する光電センサのような同期センサ１を用いる。

図６（Ａ）に示すように、撮像カメラ（イメージセンサ）２で製品Ｐの撮像対象部位を撮像する場合、当該検査範囲と撮像カメラ２の撮像範囲とが一致するように設置して、同期センサ１からの撮像要求信号が入力したとき、この入力に基づく撮像タイミングで撮像を行う。

ところで、図６（Ｂ）に示すように、撮像時に搬送コンベア４の振動等を起因として製品Ｐの姿勢が若干傾いた場合、同期センサ１からの撮像要求信号の入力タイミングがずれて撮像タイミングがずれ、撮像範囲と検査範囲とが一致しないため、良品を不良品と判断してしまうことから、検査効率が低下する。

このような場合、従来から、撮像範囲と検査範囲の若干のずれを許容できるように、高解像度の画像処理装置を使用して、撮像カメラ２の撮像範囲を広げる方法が知られているが、装置の高コスト化の問題がある。また、撮像するカメラの光学系を変更して撮像範囲を広げる方法も知られているが、検査対象物が小さく撮像されるため精度が低下し、誤検出率が高くなる。

一方、複数の製品の各ずれに対して、同期センサが作動してから複数回撮像し、これらの撮像データを統計処理して平均値などを演算することも知られている（例えば、特許文献１）。また、同期センサの作動で複数回撮像し、その画像を大容量のメモリに保存して後で処理する方法も知られている（例えば、特許文献２）。
特開２００４−１４５５０４号公報 特開平８−７０４２０号公報

しかし、特許文献１は、複数の製品について所定時間を要する画像処理を複数回行ったうえで、これらの画像データの統計処理を行うので、処理に時間がかかる。また、特許文献２は、複数の画像を保存するための大容量のメモリが必要となり、大型化する。

本発明は、前記の問題点を解決して、撮像時に製品の検査範囲と撮像範囲の若干のずれが発生しても、処理時間の短縮化および小型化を実現しつつ、検査効率を向上できる画像処理方法および装置を提供することを目的としている。

前記目的を達成するために、本発明に係る画像処理方法および装置は、搬送機構により順次搬送される複数の製品についてそれぞれ撮像を要求する撮像要求信号の入力に基づき、該製品の検査対象部位を当該検査範囲と撮像範囲を一致させてイメージセンサでスキャンしながら撮像し、撮像した検査対象部位の撮像データを画像処理して画像メモリに記憶させ、この画像に基づき製品の良否を判定するものであって、１回の撮像要求信号の入力に対して、連続して２枚撮像し、いずれか一方の画像についてスキャン偶数行を、他方の画像についてスキャン奇数行をそれぞれ間引きしたうえでこれら２枚の画像を画像メモリの画像１枚分のエリアのうち（１／２）エリアにそれぞれ格納することにより、２枚の画像を該画像１枚分のエリアに格納し、この格納されて解像度が（１／２）にされた２枚の画像についてそれぞれ製品ＯＫ・ＮＧを判定し、その結果、少なくともいずれか１枚の画像についてＯＫの場合に製品ＯＫと判定し、全画像についてＮＧの場合に製品ＮＧと判定する、という第１の処理と、１回の撮像要求入力に対して、１枚撮像し、この画像を画像メモリの画像１枚分のエリアに格納して、この格納された１枚の画像について製品のＯＫ・ＮＧ判定するという第２の処理と、が処理切換部により前記搬送される製品の姿勢に応じて切り換えられる。

この構成によれば、撮像時に製品Ｐの検査範囲と撮像範囲の若干のずれが発生しても、製品を撮像した連続２枚の画像について画像メモリの画像１枚分の（１／２）エリアにそれぞれ格納し、判定しているので、それぞれ（１／２）エリアの画像だけ読み出せばよいから、処理時間を短縮化できるとともに、スキャン隔行ごとに間引きされて解像度が（1／２）にされた２枚の画像を、画像メモリの画像１枚分のエリアに格納して、その（１／２）エリアに格納された状態で読み出すので、画像メモリの容量を節約して小型化することができる。さらに、撮影時のずれ前後２枚の画像に基づく判定により、検査範囲と撮像範囲のずれの許容性を高めることができる。しかも、格納されて解像度が（１／２）にされた２枚の画像についてそれぞれ製品ＯＫ・ＮＧを判定し、その結果、少なくともいずれか１枚の画像についてＯＫの場合に製品ＯＫと判定し、全画像についてＮＧの場合に製品ＮＧと判定する、という第１の処理と、１回の撮像要求入力に対して、１枚撮像し、この画像を画像メモリの画像１枚分のエリアに格納して、この格納された１枚の画像について製品ＯＫ・ＮＧを判定する第２の処理とが処理切換部により搬送される製品の姿勢に応じて切り換えられる。したがって、撮像時に製品の検査範囲と撮像範囲の若干のずれが発生しても、簡単な構成で、処理時間の短縮化および装置の小型化を実現しつつ、検査効率を向上できるとともに、必要に応じて検査範囲と撮像範囲のずれがない場合にも対応できる。

以下、本発明の実施形態を図面にしたがって説明する。
図２は、本発明の一実施形態に係る画像処理装置を示すブロック図である。本装置は、搬送機構４（例えば、図１の搬送コンベア）により順次搬送される複数の製品Ｐについて、それぞれの製品Ｐを検出して撮像を要求する撮像要求信号を出力する例えば同期センサのような撮像要求信号出力部１と、同期センサ１からの撮像要求信号の入力に基づき、製品Ｐの検査対象部位を当該検査範囲と撮像範囲を一致させてスキャンしながら撮像する撮像カメラ（イメージセンサ）２と、撮像した製品Ｐの撮像データを画像処理して該画像を画像メモリ３に記憶させ、この画像に基づき製品Ｐの良否を判定する画像処理部５とを備えている。同期センサ１と撮像カメラ２の位置は固定されている。例えば、撮像カメラ２にはＣＣＤカメラ、同期センサ１には反射型の光電センサが用いられる。

図６（Ａ）に示すように、例えば、製品Ｐは包装箱に収納された食品であり、製品Ｐの検査対象部位は、その食品の賞味期限の文字（２段の日付）が包装箱に印字されたものであり、この印字された文字が検査範囲である。撮像カメラ２は、当該検査範囲と撮像範囲が一致するように設置されて、これを撮像する。本発明は、撮像時における製品Ｐの若干の姿勢の傾きによる撮像タイミングのずれにより、撮像範囲と検査範囲とが一致しない場合に（図６（Ｂ））、この撮像範囲と検査範囲の若干のずれを許容して、可及的に良品を不良品として誤検査することを減少させて、検査効率を向上させるものである。

図２に示すように、前記画像処理部５は、前記した画像メモリ３、格納処理部６、判定部７およびメモリ９を備えている。格納処理部６は、１回の撮像要求信号の入力に対して、連続してｎ（ｎは２以上の整数）枚撮像し、各画像を画像メモリ３の画像１枚分のエリアのうち（１／ｎ）エリアにそれぞれ格納して、全画像を該画像１枚分のエリアに格納する。メモリ９は、製品Ｐの検査対象部位における文字情報や基準画像などを記憶する。

判定部７は、画像メモリ３の画像１枚分のエリアに格納されたｎ枚の画像について、各画像をその（１／ｎ）エリアに格納された状態でそれぞれ読み出して、２値情報による文字認識やメモリ９に記憶された基準画像とのパターンマッチングなどの周知の画像処理方法により、それぞれ製品ＯＫ・ＮＧを判定する。判定部９は、その結果、少なくともいずれか１枚の画像についてＯＫの場合に製品ＯＫと判定し、全画像についてＮＧの場合に製品ＮＧと判定する。これら格納処理部６と判定部７の動作により、第１の処理が行われる。

この例では、第１の処理として、格納処理部６が、１回の撮像要求信号の入力に対して、連続して２枚撮像し、いずれか一方の画像についてスキャン偶数行を、他方の画像についてスキャン奇数行をそれぞれ間引きしたうえでこれら２枚の画像を画像メモリの画像１枚分のエリアのそれぞれ（１／２）エリアに格納し、判定部７が、前記スキャン奇数行または偶数行の隔行ごとに間引きされて縦方向の解像度が１／２にされた２枚の画像を、その（１／２）エリアに格納された状態でそれぞれ読み出して、それぞれ製品ＯＫ・ＮＧを判定する。

また、画像処理部５は、前記第１の処理と、１回の撮像要求信号の入力に対して、１枚撮像し、この画像を画像メモリ３の画像１枚分のエリアに格納して、この格納された１枚の画像について製品ＯＫ・ＮＧを判定する第２の処理と、を切り換え可能な処理切換部８を備えている。この処理切換部８は、製品Ｐの種類によってはその姿勢に傾きが生じない場合や、搬送コンベア４に製品Ｐをガイドするガイド機構を設けることなどにより、製品Ｐの姿勢が傾かない処置が施されて、撮像タイミングのずれが生じないような場合に、第２の処理に切り換えるものである。

上記構成の本装置における画像処理動作の一例を、図３のフローチャートに基づいて説明する。まず、製品Ｐが通過すると、同期センサ１が作動してこれを検出し、撮像要求信号を画像処理部５に出力する（ステップＳ１）。撮像要求信号の入力に基づき、撮像カメラ２は１回目の撮像を開始する（ステップＳ２）。１回目の撮像完了後、この１枚目の画像について画像メモリ３の所定エリアにおける画像１枚分のエリアの偶数行にのみ（１／２エリア）保存する、つまり奇数行を捨てる間引き動作がなされて保存する（ステップＳ３）。

つぎに、撮像カメラ２は１回目の撮像に連続して（例えば、１３ｍｓｅｃ間隔）、２回目の撮像を開始する（ステップＳ４）。２回目の撮像完了後、この２枚目の画像について画像メモリ３の前記エリアにおける画像１枚分のエリアの奇数行にのみ（１／２エリア）保存する、つまり偶数行を捨てる間引き動作がなされて保存する（ステップＳ５）。図４は、画像メモリ３の画像１枚分のエリアにおける、製品Ｐの検査対象部位の文字の一部である例えば「２」についての保存状態を示すもので、（Ａ）は１枚目の画像が偶数行に保存された状態、（Ｂ）は２枚目の画像が奇数行に保存された状態を示す。両画像は、スキャン奇数行または偶数行が間引きされて縦の解像度が１／２になっている。この図では、１枚目の画像と２枚目の画像を同一に描いているが、実際には、両画像には撮像タイミングの時間差（１３ｍｓｅｃ）があるので、搬送コンベア４の搬送速度に応じて、（Ｂ）の画像は（Ａ）の画像から若干ずれている。この両画像の撮像タイミングの時間差は、搬送コンベア４の速度に応じて、撮像時の製品Ｐの姿勢のずれの発生タイミングに対応して設定される。これにより、画像メモリ３の画像１枚分のエリアにずれ前後の２枚の画像が記憶される。

つぎに、１枚目の偶数行の画像について、縦方向の解像度が１／２の状態で前記文字認識やパターンマッチングなどの画像処理が行われたうえで画像メモリ３から読み出されて（ステップＳ６）、１枚目の画像について製品Ｐの良否が判定される（ステップＳ７）。１枚目の画像についてＯＫの場合に製品ＯＫが出力される（ステップＳ１０）。ステップＳ７で１枚目の画像についてＮＧの場合、２枚目の奇数行の画像について、同様に画像処理されたうえで読み出されて（ステップＳ８）、２枚目の画像について製品Ｐの良否が判定される（ステップＳ９）。２枚目の画像についてＯＫの場合に製品ＯＫが出力される（ステップＳ１０）。２枚目の画像についてＮＧの場合、２枚の画像のすべてについてＮＧであるので、製品ＮＧが出力される（ステップＳ１１）。こうして、第１の処理が行われる。

また、製品Ｐの種類や製品Ｐが傾かない処置によってその姿勢に傾きが生じず、撮像タイミングのずれが生じないような場合には、処理切換部８の切り換えにより、図５のフローチャートに示すように以下の第２の処理が行われる。

まず、製品Ｐが通過すると、同期センサ１が作動してこれを検出し、撮像要求信号を画像処理部５に出力する（ステップＳ３１）。撮像要求信号の入力に基づき、撮像カメラ２は撮像を開始する（ステップＳ３２）。撮像完了後、画像メモリ３の所定エリアにおける画像１枚分のエリアに保存する（ステップＳ３３）。

つぎに、同様に画像処理されたうえで画像メモリ３から読み出されて（ステップＳ３４）、製品Ｐの良否が判定される（ステップＳ３５）。この画像についてＯＫの場合に製品ＯＫが出力される（ステップＳ３６）。この画像についてＮＧの場合、製品ＮＧが出力される（ステップＳ３７）。こうして、第２の処理が行われる。

こうして、処理切換部８の切り換えにより、製品Ｐの姿勢の傾きがないため撮像タイミングのずれがなく、検査範囲に対する撮像範囲のずれがないような場合にも対応できる。この場合、第２の処理は、第１の処理に比べて、画像１枚のみについて格納、判定されるので、より処理時間の短縮化を図ることができる。

以上のように、本発明によれば、撮像時に製品Ｐの検査範囲と撮像範囲の若干のずれが発生しても、製品Ｐを撮像した連続２枚の画像について画像メモリ３の画像１枚分の（１／２）エリアにそれぞれ格納し、判定しているので、それぞれ（１／２）エリアの画像だけ読み出せばよいから、処理時間を短縮化できるとともに、２枚の画像を画像メモリ３の画像１枚分のエリアに格納しているので、画像メモリ３を小型化することができる。しかも、スキャン奇数行または偶数行が間引きされて縦方向の解像度が１／２になるものの、撮影時のずれ前後の２枚の画像に基づく判定により、検査範囲と撮像範囲のずれの許容性を高めることができる。したがって、撮像時に製品Ｐの検査範囲と撮像範囲の若干のずれが発生しても、処理時間の短縮化および装置の小型化を実現しつつ、検査効率を向上できる。

なお、上記実施形態では、２枚の画像を画像メモリ３の画像１枚分のエリアに格納する際、いずれか一方の画像についてスキャン偶数行を、他方の画像についてスキャン奇数行をそれぞれ間引きして格納しているが、これに限定するものではなく、いずれか一方の画像について画像１枚分の上半分のエリアに、他方の画像について下半分のエリアに圧縮して格納するようになどしてもよい。ただ圧縮処理は間引きに比べると処理時間がより多くかかる。

また、上記実施形態では、２回連続撮像し、２枚の画像を画像１枚分のエリアに格納し、２枚の画像について判定しているが、３回以上連続撮像し、上記間引きや圧縮などにより３枚以上の画像を画像１枚分のエリアに格納し、３枚以上の画像について判定してもよい。

なお、上記実施形態では、第１の処理と第２の処理を切り換える処理切換部８が設けられているが、第１の処理のみを行って、処理切換部８を省略してもよい。

搬送コンベア、同期センサ、撮像カメラおよび画像処理部を備えた画像処理装置の構成図である。 本発明の一実施形態に係る画像処理装置を示すブロック図である。 第１の処理による画像処理動作を示すフローチャート図である。 各画像が画像メモリの偶数行または奇数行に格納された状態を示す構成図である。 第２の処理による画像処理動作を示すフローチャート図である。 画像範囲と撮像範囲との一致、不一致を示す構成図である。

符号の説明

１：撮像要求信号出力部（同期センサ）
２：イメージセンサ（撮像カメラ）
３：画像メモリ
４：搬送機構（搬送コンベア）
５：画像処理部
６：格納処理部
７：判定部
８：処理切換部
Ｐ：製品

Claims (2)

1. 搬送機構により順次搬送される複数の製品についてそれぞれ撮像を要求する撮像要求信号の入力に基づき、該製品の検査対象部位を当該検査範囲と撮像範囲を一致させてイメージセンサでスキャンしながら撮像し、撮像した検査対象部位の撮像データを画像処理して画像メモリに記憶させ、この画像に基づき製品の良否を判定する画像処理方法であって、
   １回の撮像要求信号の入力に対して、連続して２枚撮像し、いずれか一方の画像についてスキャン偶数行を、他方の画像についてスキャン奇数行をそれぞれ間引きしたうえでこれら２枚の画像を画像メモリの画像１枚分のエリアのうち（１／２）エリアにそれぞれ格納することにより、２枚の画像を該画像１枚分のエリアに格納し、この格納されて解像度が（１／２）にされた２枚の画像についてそれぞれ製品ＯＫ・ＮＧを判定する、という第１の処理と、
   １回の撮像要求入力に対して、１枚撮像し、この画像を画像メモリの画像１枚分のエリアに格納して、この格納された１枚の画像について製品のＯＫ・ＮＧ判定するという第２の処理と、が処理切換部により前記搬送される製品の姿勢に応じて切り換えられる、画像処理方法。
2. 搬送機構により順次搬送される複数の製品についてそれぞれ撮像を要求する撮像要求信号を出力する撮像要求信号出力部と、前記撮像要求信号の入力に基づき該製品の検査対象部位を当該検査範囲と撮像範囲を一致させてスキャンしながら撮像するイメージセンサと、撮像した検査対象部位の撮像データを画像処理して画像メモリに記憶させ、この画像に基づき製品の良否を判定する画像処理部とを備えた画像処理装置であって、
   前記画像処理部は格納処理部と判定部を備え、
   格納処理部が、１回の撮像要求信号の入力に対して、連続して２枚撮像し、いずれか一方の画像についてスキャン偶数行を、他方の画像についてスキャン奇数行をそれぞれ間引きしたうえでこれら２枚の画像を画像メモリの画像１枚分のエリアのうち（１／２）エリアにそれぞれ格納することにより、２枚の画像を該画像１枚分のエリアに格納し、
   判定部が、前記格納されて解像度が（１／２）にされた２枚の画像についてそれぞれ製品ＯＫ・ＮＧを判定し、その結果、少なくともいずれか１枚の画像についてＯＫの場合に製品ＯＫと判定し、全画像についてＮＧの場合に製品ＮＧと判定する、という第１の処理と、
   １回の撮像要求入力に対して、１枚撮像し、この画像を画像メモリの画像１枚分のエリアに格納して、この格納された１枚の画像について製品ＯＫ・ＮＧを判定する第２の処理とを行い、
   前記第１の処理と第２の処理とが前記搬送される製品の姿勢に応じて切り換えられる処理切換部を備えている、画像処理装置。

Images