JP4320226B2 - 明るさ補正機能付きカラー画像処理装置 - Google Patents

Description

本発明は、検出対象物の色を検出して検出対象物の良否を判定する画像処理装置に関し、特に外乱光の変化に対する応答性の向上に関する。

従来から、検出対象物をカメラで撮影して検出対象物の良否を判定するうえで、外乱光によりカメラに入光する明るさが変わると誤動作する。その対策として、以下のような明るさ補正を行ってきた。
（１）外乱光用のカメラを追加し、検出対象物用のカメラとの画像信号間の差分で補正をかける（例えば、特許文献１）。（２）搬送中の検出対象物を撮像する直前（背景のみ）と直後（背景＋検出対象物）の画像信号間の差分で判別する（例えば、特許文献２）。
特公平６−１５１２２１号公報（第３頁左欄第２５行〜同右欄第３６行、第３図） 特開２００２−２０７９９４号公報（第２〜３頁段落［０００７］、図１）

しかし、従来技術（１）では、別にカメラをもう１台必要とするため、コスト、設置スペースなどの問題が生じる。また。（２）では、搬送途中で明るさの変化する蛍光灯のような高速に点滅するフリッカー光に対しては効果がない。

本発明は、前記の問題点を解決して、低コスト化、省スペース化を図りつつ、外乱光の高速な変化にもリアルタイムに応答できる補正機能付き画像処理装置を提供することを目的としている。

前記目的を達成するために、本発明の一構成にかかる明るさ補正機能付き画像処理装置は、検出対象物のカラー画像をスキャンしながら撮像するイメージセンサと、受像データの各画素の輝度から、検出対象物の指定した色を抽出しその面積を計算する色面積検出手段と、予め検出対象物の指定した色およびその面積のしきい値を記憶するしきい値記憶手段と、検出対象物の指定した面積と前記しきい値とを比較して、検出対象物の良否を判定する面積判定手段とを備え、さらに、検出対象物周囲の明るさ変化に応じて、画像スキャン中に、前記色面積検出手段へ送られる各画素の輝度を補正するものであって、画素ごとに三原色Ｒ、Ｇ、Ｂをそれぞれ（Ｒ＋Ｇ＋Ｂ）の合計値で割って三原色の比率を演算する色比率演算部と、前記（Ｒ＋Ｇ＋Ｂ）の合計値が所定しきい値以下の場合に当該合計値を前記所定しきい値に補正して前記色比率演算をすることにより、白色と黒色の検出処理を行う白黒検出処理部とを有する明るさ補正手段を備えている。

この構成によれば、検出対象物の指定した色を抽出しその色の占める面積を計算して、検出対象物の良否を判定するので、色の違いがある物体の検出が容易になるとともに、検出対象物周囲の明るさ変化に応じて、画像スキャン中に各画素の輝度を補正するので、高速に変化する外乱光にもリアルタイムに応答できる。さらに、従来のように別にカメラを設ける必要がないので、低コスト化、省スペース化を実現できる。しかも、明るさ補正手段が画素ごとに三原色Ｒ、Ｇ、Ｂをそれぞれ（Ｒ＋Ｇ＋Ｂ）の合計値で割って三原色の比率を演算する色比率演算部と、前記（Ｒ＋Ｇ＋Ｂ）の合計値が所定しきい値以下の場合に当該合計値を前記所定しきい値に補正して前記色比率演算をすることにより、白色と黒色の検出処理を行う白黒検出処理部とを有するので、白色と黒色を区別して検出できる。また、画素ごとに三原色の比率を求めることにより、検出対象物の影や照明の明るさムラが補正されるので、各画素の輝度が安定して補正される。

好ましくは、前記明るさ補正手段は、画像スキャン開始からスキャン方向に従って画素の最大明るさを更新し、その更新した最大明るさの値に基づきそれ以降の画素について前記補正を行うものである。したがって、高速に変化する外乱光にもよりリアルタイムに応答できる。

好ましくは、前記明るさ補正手段は、画像スキャン開始から数行までのスキャン初期部で最大明るさを更新し、それ以降はスキャン初期部の最大明るさの値に基づき補正するものである。したがって、画面中央付近に最大輝度がある場合、最大輝度以降の画素の輝度データが実際よりも暗くなるおそれがない。

この場合、前記スキャン初期部は、検出対象物の近傍に配置された輝度検出用物体をスキャンするようにしてもよい。これにより、確実に検出対象物周囲の明るさを検出できる。

好ましくは、前記受像データの各画素の輝度は前記イメージセンサから転送回路を介して前記色面積検出手段へ転送され、前記色面積検出手段は、この転送された受像データの各画素の輝度から指定した色を抽出しその面積を計算するものである。したがって、イメージセンサからの各画素の輝度を画像メモリに転送しないで直ちに計算するので、処理時間を短くできる。

以下、本発明の実施形態を図面にしたがって説明する。

図１は、本発明の第１実施形態に係る明るさ補正機能付き画像処理装置の外形を示す斜視図、図２はそのブロック図である。本装置１は生産ライン上に設けられ、例えば検出対象物Ｍがりんごやみかんなどの果物、またはビンのラベルなどであって、検出した色の面積がしきい値の範囲内か否かによって良品、不良品を判別するものである。

図２のブロック図に示すように、本装置１は、検出対象物Ｍのカラー画像をスキャンしながら撮像する、例えばＣＭＯＳイメージセンサのようなイメージセンサ２、検出対象物Ｍの色を例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に変換して各色について画像処理を行うゲートアレイ（Ｇ／Ａ）のような画像処理部３および画像などを表示する表示部４を備えている。前記イメージセンサ２はレンズユニット５を有し、Ａ／Ｄ変換器を内蔵している。

前記ゲートアレイ（Ｇ／Ａ）３は、内部セル領域１０と、入出力パッド領域および入出力バッファ領域（図示せず）との３つの部分から構成される。内部セル領域１０には、ＲＧＢ変換・明るさ補正部１１、検出色抽出部１２と面積計算部１３からなる色面積検出手段１４、設定値Ｒ／Ｗ部１５、面積判定手段であるしきい値判定部１６、ＣＰＵ（制御部）１８が設けられており、検出対象物Ｍへ投光する照明用（白色ＬＥＤ（発光ダイオード））光源２１に対して投光パルスを生成する投光パルス生成部１７および受像データをＬＣＤモジュール４に転送する受像データ転送部１９も設けられている。

設定値Ｒ／Ｗ部１５では、検出色抽出部１２のしきい値となる検出色相（上下限値）および色余裕度、面積計算部１３のしきい値となる面積上下限値および面積余裕度、その他シャッター速度、照明ＯＮ／ＯＦＦ、解像度などが、設定値メモリ（ＥＥＰＲＯＭ）のようなしきい値記憶手段２２に対して読み込み、書き込みがなされる。これらは、後述するスイッチ操作部２０の操作により、ＣＰＵ１８を介して行われる。

色面積検出手段１４は検出色抽出部１２と面積計算部１３からなり、受像データの各画素の輝度から、検出対象物Ｍの指定した色を抽出しその面積を計算する。

検出色抽出部１２は、受像データの各画素の指定した色の輝度から、検出色相および色余裕度に基づいて、各色を抽出する。検出色相は、指定した色ごとに、指定した色の輝度／３原色の輝度の総和で計算され、例えば赤の輝度が１００、緑の輝度が０、青の輝度が０で、赤を指定した場合には、１００／（１００＋０＋０）＝１となる。

面積計算部１３は、画像の検出領域内において、指定した色ごとにその画素数から面積を計算する。

しきい値判定部（面積判定手段）１６は、検出対象物Ｍの指定した色の面積と前記しきい値記憶手段２２に記憶されたしきい値とを比較して、検出対象物Ｍの良否を判定する。例えば、検出色の占める面積の設定値としてしきい値３０００の場合、４７５２であると判定はＯＫ（良）となる（図１（ａ）のS6）。

この例では、単一の色面積検出手段１４としているが、複数の、つまり検出色抽出部１２および面積計算部１３を複数並列に設けてもよく、その場合、例えばりんごとみかんの両方を同時に検出することができる。

前記イメージセンサ２および表示部４は、前記ゲートアレイ（Ｇ／Ａ）３の入出力パッド領域を介してそれぞれ接続され、さらにスイッチ操作部２０が接続されて、ＣＰＵ１８を介して設定値Ｒ／Ｗ部１５に対して画面表示の切り換え、設定値の設定や変更、検出対象物Ｍの３原色についての各基準値のティーチングおよびその検出領域の移動やサイズ変更などが行われる。なお、点線部で示すように、フォトカプラ２４を介してＣＰＵ１８に入力する検出対象物Ｍを選択するバンク切り換え入力部２５、ティーチングするためのティーチング入力部２６を別に設けるようにしてもよい。その他、前記した照明用（白色ＬＥＤ）光源２１、しきい値判定部１６からのしきい値出力部２３、電源入力部２７、クロック源２８、リセット回路２９なども接続されている。

前記表示部４は、検出対象物Ｍの画像、設定やティーチングの内容、判定結果などの処理内容を表示する、例えばカラーＬＣＤ（液晶ディスプレイ）、ＬＣＤコントローラおよびメモリを有するＬＣＤモジュールからなる。図１（ａ）に示す表示部４の画面Ｄの各表示例を以下に示す。表示領域S1は検出対象物Ｍの画像を表示する。S2 〜S9は処理内容が表示され、S2のモード表示は、通常運転（ＲＵＮ）モード、ティーチング（ＴＥＡＣＨ）モード、キーロック（ＬＯＣＫ）モード、画面保持（ＨＯＬＤ）モードなどを表示する。S3の面積設定値はしきい値である例えば面積下限値を表示する。S4の画面表示モードは色検出フィルタ後の画像または生画像などを表示する。S5の検出色は検出する色の上下限値の中間値、S6の判定結果は、面積判定ＯＫ(良)のとき出力ＯＮで○、面積判定ＮＧ（否）のとき出力ＯＦＦで×を表示する。S7の検出色の面積は現在の検出色の占める面積を表示する。S8のバンク番号は、検出対象物Ｍの種類を番号で表示する。例えば、検出対象物Ｍがりんごやみかんなどの場合である。S9の受光量最大値は画面全体の最大明るさを受光量（輝度）で表示する。前記投光パルス生成部１７はこの画面全体の明るさに基づいて、適切な投光パルスを生成する。

図１（ｂ）に示すように、本装置１は、例えば直方体のような立体形状の筐体Ｋ内にイメージセンサ２、ゲートアレイ（画像処理部）３、表示部４、スイッチ操作部２０および白色ＬＥＤ光源２１が収納されてなる。筐体Ｋには電源や信号入出力用にコード８が接続されている。第１の面（裏面）３１側には保護パネル６を介してレンズユニット５、イメージセンサ２と、白色ＬＥＤ光源２１とが設けられて、この面が検出対象物Ｍに向けられる。したがって、イメージセンサ２は第１の面３１を通して検出対象物Ｍを撮像する。第１の面３１に対向する第２の面（表面）３２側には、保護パネル７を介してカラーＬＣＤ４の画面Ｄが設けられて、作業者は検出対象物Ｍの画像、動作モード、設定値やティーチング値、しきい値および判定結果などを見ることができる。また、この画面Ｄに隣接して位置するスイッチ操作部２０は、例えば「ＶＩＥＷ」、「ＳＥＴ」、「ＴＥＡＣＨ」、「△」、「▽」の各スイッチからなり、各スイッチを押すことにより、および各スイッチの押す時間や組合せにより、画面表示切り換え、設定値の設定や変更、ティーチングおよびその検出領域の移動やサイズ変更の操作を行うことができる。

すなわち、本装置１は、イメージセンサ２、ゲートアレイ３、表示部４、スイッチ操作部２０および白色ＬＥＤ光源（照明用光源）２１を筐体Ｋ内に収納して一体形成したものであり、従来のように各部が分離したものと比べて、装置を小型化できるとともに、装置の設置や運搬時などにおける取り扱い性を向上できる。なお、白色ＬＥＤ光源２１や表示部４は別に分離させて設けてもよい。

これと同時に、第２の面（表面）３２側に表示部４の画面Ｄおよびスイッチ操作部２０が設けられて、検出対象物Ｍの画像や処理内容を表示する画面Ｄを見ながら、スイッチ操作部２０の各スイッチを操作することにより、設定値の設定や変更、ティーチングおよびその検出領域の移動やサイズ変更の操作を容易に行うことができるから、装置の操作性も向上できる。

図３に示すように、本装置１は、検出対象物Ｍ周囲の明るさ変化に応じて、画像スキャン中に、前記色面積検出手段１４へ送られる受像データの各画素の輝度を補正する明るさ補正手段３０を備えている。この例では、画像スキャン開始から数行までの、つまり一画面全体の先頭部分のスキャン初期部４０で最大明るさを更新し、それ以降はスキャン初期部４０における最大明るさの値に基づき補正する。

前記ＲＧＢ変換・明るさ補正部１１に含まれる明るさ補正手段（明るさ補正部）３０は、イメージセンサ２からの受像データを転送する転送回路３３、最大輝度保持用メモリ３４、受像データの輝度と最大輝度保持用メモリ３４に記憶された最大輝度とを比較する比較手段３５、比較の結果、受像データの輝度が最大輝度より大きい場合に最大輝度保持用メモリ３４に記憶された最大輝度を当該受像データの輝度に更新する更新部３６、および受像データの輝度を最大輝度に基づいて補正する輝度補正部３７を備えている。

以下、図４（ａ）により、明るさ補正手段３０の動作の一例について説明する。この例では、画像スキャン開始の最初の行から２行目までをスキャン初期部４０とする。

まず、イメージセンサ２から転送回路３３により転送された受像データの１行目の１番目の画素の輝度は５０であるので、この値が最大輝度とされ、最大輝度保持用メモリ３４に記憶される。輝度補正部３７で補正した輝度は、（受像した輝度÷最大輝度）×１００＝（５０÷５０）×１００＝１００となる。次に２番目の画素の輝度は５３であるので、輝度比較部３５で比較すると、記憶された最大輝度５０より大きいから、更新部３６によりこの値が最大輝度に更新され、最大輝度保持用メモリ３４に記憶される。輝度補正部３７で補正した輝度は、（５３÷５３）×１００＝１００となる。同様に、３番目の画素の輝度は４６で、記憶された最大輝度５３より小さく、補正したデータは、（４６÷５３）×１００＝８７となる。４番目の画素の輝度は７０であるので、記憶された最大輝度５３より大きく、この値が最大輝度とされ、最大輝度保持用メモリ３４に記憶される。補正した輝度は、（７０÷７０）×１００＝１００となる。５番目の画素の輝度は８０（図示ｄ１）であるので、記憶された最大輝度７０より大きく、この値が最大輝度とされ、最大輝度保持用メモリに記憶される。補正した輝度は、（８０÷８０）×１００＝１００（図示Ｄ１）となる。６番目の画素の受像輝度は６５で、記憶された最大輝度８０より小さく、補正した輝度は、（６５÷８０）×１００＝８１となる。以下の画素については最大輝度８０が維持され、２行目の最後の画素の輝度は３０で、記憶された最大輝度８０より小さく、補正したデータは、（３０÷８０）×１００＝３８となる。３行目以降は２行目までの最大輝度８０に基づいて補正される。

こうして、補正された輝度で色の抽出、面積計算がなされる。これにより、画像スキャン中に明るさ補正をするので、フリッカー光のような高速に点滅するような外乱光にもリアルタイムに応答することができ、また、従来のように、別にカメラを設ける必要がないため、コストの低下、設置スペースの縮小を実現できる。

なお、上記のように、検出対象物Ｍの画像のスキャン初期部４０で最大輝度を更新するのではなく、図１（ｃ）に示すように、スキャン初期部４０を検出対象物Ｍの近傍に配置された例えば白色の輝度検出用物体４８としてこれをスキャンするようにして、この輝度検出用物体４８の最大輝度を用いて明るさ補正をしてもよい。これにより、確実に検出対象物Ｍ周囲の明るさを検出できる。

また、画像スキャン開始から２行に限定せずに、図４（ｂ）に示すように、全ての行について最大輝度を更新するようにしてもよい。ただ画面中央付近に最大輝度９８（図示ｄ２）がある場合、この最大輝度の画素以降における例えば画素の輝度７５（図示d３）が、補正した輝度７７（図示Ｄ３３）となって、図４（ａ）の補正した輝度９４（図示Ｄ３）と比べて低くなり、実際よりも暗くなってしまうこととなる。

また、本装置１では、図３のように、受像データを転送回路３３を介して色面積検出手段１４に転送しており、従来のように画像メモリに転送しないで、直接計算を行っている。従来では、受像されたデータの位置補正や回転補正を行うため、画像メモリに一旦保存していたが、本発明では、位置補正や回転補正を行わずに色抽出と面積計算だけで良否判別を行っている。このため、イメージセンサ２からの受像データを画像メモリに転送しないで直ちに計算するので、処理時間を短くできる。

この実施形態では３原色をそれぞれ検出しているが、指定する１色のみを検出するようにしてもよい。

つぎに、本発明の第２実施形態に係る明るさ補正機能付き画像処理装置について説明する。生産ライン上の検出対象物Ｍの姿勢が変化するとそれに伴って検出対象物Ｍの影Ｓが変化する場合や、照明を検出対象物Ｍに当てたときに照明の当る場所によって明るさムラが生じる場合などがあり、この影Ｓの変化や照明の明るさムラなどがあると同一物品であっても異なる物品として誤検出する場合が生じ得る。第２実施形態はこの誤検出を防止するものである。この第２実施形態では、図５に示すように、第１実施形態と異なり、図２のＲＧＢ変換・明るさ補正部１１は、画素ごとに三原色の比率を演算する色比率演算部４１と、前記演算により三原色の比率が同一となる白色と黒色について検出処理を行う白黒検出処理部４２とを有して、色比率演算および白黒検出処理の２段階の処理を行う。その他の構成は第１実施形態と同様である。

色比率演算部４１は、例えば受像データの各画素の３原色（ＲＧＢ）の輝度から、画素ごとの色の比率を演算する。色の比率は、Ｒ（赤）の比率がＲ／（Ｒ＋Ｇ＋Ｂ）、Ｇ（緑）の比率がＧ／（Ｒ＋Ｇ＋Ｂ）、Ｂ（青）の比率がＢ／（Ｒ＋Ｇ＋Ｂ）で求められる。例えば、Ｒ、Ｇ、Ｂの輝度がそれぞれ、５０、１００、０のとき、Ｒの比率は５０／１５０＝１／３、Ｇの比率は１００／１５０＝２／３、Ｂの比率は０となる。

つぎに、前記した色比率演算だけでは、１画素全体が白色の場合に１００／（１００＋１００＋１００）＝１／３、１画素全体が黒色の場合に１／（１＋１＋１）＝１／３で、三原色の比率が全く同一となり、白色と黒色の検出ができない。このため、白黒検出処理部４２により、（Ｒ＋Ｇ＋Ｂ）の合計値を所定のしきい値に基づいて演算して、例えば白色は補正せずに、黒色を補正することにより、白色と黒色の検出処理を行うようにしている。（Ｒ＋Ｇ＋Ｂ）の合計値が例えばしきい値２０以下の場合には、これを２０に補正する。そうすると、黒色の三原色の比率は１／２０の補正値となって、１／３の値である白色の三原色の比率と区別でき、黒色を検出できる。

図６は、画像に検出対象物Ｍの影Ｓがある場合における明るさ補正結果を示すもので、（ａ）は第２実施形態の明るさ補正結果、（ｂ）は従来の明るさ補正結果を示す。図６（ｂ）のように、従来では画像全体の明るさを補正するため、検出対象物Ｍの影Ｓがそのまま残ってしまい、検出対象物Ｍの姿勢の変化によって誤検出する場合があるが、図６（ａ）のように、本発明の第２実施形態では、画素ごとに三原色の比率を求めることにより、画像に検出対象物Ｍの影Ｓがあっても一画素ごとでは部分的な明るさの影響を受けないことから、色面積検出手段１４へ送られる各画素の輝度が安定して補正されて、誤検出を防止できる。

なお、第２実施形態では、ＲＧＢ変換・明るさ補正部１１と色面積検出手段１４とを別々に設けているが、一体として設けてもよく、この場合、画素ごとの三原色の比率を求めることで、そのまま直接的に画素ごとの色面積が検出され、同時に明るさ補正が行われることになる。

（ａ）は本発明の第１実施形態に係る明るさ補正機能付き画像処理装置の外形を示す斜視図、（ｂ）はその側面図、（ｃ）は検出対象物の近傍に配置された輝度検出用物体を示す図である。 図１の画像処理装置を示すブロック図である。 図１の明るさ補正手段を示すブロック図である。 明るさ補正手段の動作を示す図である。 本発明の第２実施形態に係る明るさ補正機能付き画像処理装置の明るさ補正手段を示すブロック図である。 （ａ）は画像に検出対象物の影がある場合における、第２実施形態による明るさ補正結果、（ｂ）は従来の明るさ補正結果を示す。

符号の説明

１：カラー画像処理装置
２：イメージセンサ
３：画像処理部
４：表示部
１４：色面積検出手段
１６：面積判定手段
２０：スイッチ操作部
２１：照明用光源
２２：しきい値記憶手段
３０：明るさ補正手段
４１：色比率演算部
４２：白黒検出処理部
Ｍ：検出対象物

Claims (5)

1. 検出対象物のカラー画像をスキャンしながら撮像するイメージセンサと、
   受像データの各画素の輝度から、検出対象物の指定した色を抽出しその面積を計算する色面積検出手段と、
   予め検出対象物の指定した色およびその面積のしきい値を記憶するしきい値記憶手段と、
   検出対象物の指定した面積と前記しきい値とを比較して、検出対象物の良否を判定する面積判定手段とを備え、さらに、
   検出対象物周囲の明るさ変化に応じて、画像スキャン中に、前記色面積検出手段へ送られる各画素の輝度を補正するものであって、画素ごとに三原色Ｒ、Ｇ、Ｂをそれぞれ（Ｒ＋Ｇ＋Ｂ）の合計値で割って三原色の比率を演算する色比率演算部と、前記（Ｒ＋Ｇ＋Ｂ）の合計値が所定しきい値以下の場合に当該合計値を前記所定しきい値に補正して前記色比率演算をすることにより、白色と黒色の検出処理を行う白黒検出処理部とを有する明るさ補正手段を備えた明るさ補正機能付きカラー画像処理装置。
2. 請求項１において、
   前記明るさ補正手段は、画像スキャン開始からスキャン方向に従って画素の最大明るさを更新し、その更新した最大明るさの値に基づきそれ以降の画素について前記補正を行うものである明るさ補正機能付きカラー画像処理装置。
3. 請求項２において、
   前記明るさ補正手段は、画像スキャン開始から数行までのスキャン初期部で最大明るさを更新し、それ以降はスキャン初期部の最大明るさの値に基づき補正するものである明るさ補正機能付きカラー画像処理装置。
4. 請求項３において、
   前記スキャン初期部は検出対象物の近傍に配置された輝度検出用物体をスキャンする明るさ補正機能付きカラー画像処理装置。
5. 請求項１において、
   前記受像データの各画素の輝度は前記イメージセンサから転送回路を介して前記色面積検出手段へ転送され、前記色面積検出手段は、この転送された受像データの各画素の輝度から指定した色を抽出しその面積を計算するものである明るさ補正機能付きカラー画像処理装置。