JP4419726B2 - 画像処理装置及びそれに適する抽出色設定方法 - Google Patents

画像処理装置及びそれに適する抽出色設定方法 Download PDF

Info

Publication number
JP4419726B2
JP4419726B2 JP2004203228A JP2004203228A JP4419726B2 JP 4419726 B2 JP4419726 B2 JP 4419726B2 JP 2004203228 A JP2004203228 A JP 2004203228A JP 2004203228 A JP2004203228 A JP 2004203228A JP 4419726 B2 JP4419726 B2 JP 4419726B2
Authority
JP
Japan
Prior art keywords
image processing
rgb
image
value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004203228A
Other languages
English (en)
Other versions
JP2006025332A (ja
Inventor
義彦 杉本
健二 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Corp
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Works Ltd filed Critical Panasonic Corp
Priority to JP2004203228A priority Critical patent/JP4419726B2/ja
Publication of JP2006025332A publication Critical patent/JP2006025332A/ja
Application granted granted Critical
Publication of JP4419726B2 publication Critical patent/JP4419726B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、特にその抽出色設定方法に関する。
従来から、製品の製造工程などにおいて、部品などの品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化を目的として、対象物をカメラで撮像し、画像信号から対象物の面積、形状、位置などを測定し、認識することが行われている。このような場合、一般的に、背景と対象物の輝度の違いにより、白黒画像を処理して良否判定をすることが行われている。
しかしながら、背景と対象物の輝度差が少なく、白黒画像では識別できないような場合もあり得る。そのような場合、対象物の特定の色を利用することが考えられる。具体的には、カラーカメラで撮像し、カラー画像信号から対象物の色の面積、形状、位置などを測定し、認識すればよい。
抽出色の設定は、RGB値の許容範囲を設定することによって得られる。しかしながら、RGB値から色を想像することが困難なため、従来から抽出色設定に関してさまざまな工夫がなされているが、次のような問題点を有している。
画像中の一部の領域を指定し、その領域に含まれる色を抽出する場合、指定領域内に多くの色が含まれていると、設定される色幅が大きくなる。また、抽出が不必要な部分の色も抽出してしまうことになる。そのため、特定の色しか含まない領域を指定する必要がある。また、特定の色しか含まない領域を指定するためには、色抽出の領域設定が細かくなり、手間がかかる。さらに、細かな領域設定を可能とするため、画像の拡大など他の手法を必要とし、全体として複雑な構成となる。また、ノイズも色幅として含んでしまう。
色の抽出を容易にするために、特許文献1では、オペレータにディスプレイ画面上の一点を指定させ、指定点を中心として複数の点の色情報を得て、ディスプレイ画面上に低輝度から高輝度までの複数の抽出色を表示する。そして、オペレータに表示された色が抽出色として満足できるか否かを確認する。しかしながら、特許文献1は、デザインシステムやコンピュータグラフィックスの作成において用いられることを前提としており、製品の製造工程における実際の画像の撮影及び画像処理を行うものではない。そのため、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
一方、特許文献2では、数値入力によることなく、抽出すべき色を感覚的に容易に指定しうることを目的とし、オペレータにディスプレイ画面上に表示されている画像上の異なる画素を次々に選択させ、段階的に色抽出範囲を拡大することを可能とし、画素が選択されるたびに、RGBに関する新たな閾値を設定し、既設定の閾値及び新たな閾値を超えない画素を、選択された画素と同一色であるとして抽出する。しかしながら、特許文献2では、すでに指定した画素の色と今回指定した画素の色の差が小さい場合、抽出される色幅の範囲の拡大が小さく、目的によっては、多数の画素を指定しなければならない可能性がある。逆に、すでに指定した画素の色と今回指定した画素の色の差が大きい場合、色幅の範囲の拡大が大きすぎて、所望する抽出範囲を超えてしまい、画素の指定をやり直さなければならない可能性がある。また、製品の製造工程などにおける画像の連続撮影及び連続画像処理を行う際の外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いると、外乱光の影響により誤判定を行う可能性がある。
特許文献3では、イメージスキャナなどにより読み取られた色数の多い画像データを色数の少ない画像データに変換することを目的として、RGB3次元色空間をそれぞれ均等にn個ずつn個の単位立方体の領域に分割し、各単位立方体に含まれる画素数を計算し、含まれる画素数の多いものから順にm個の単位立方体を選択し、選択した単位立方体の色平均値を出力目標色としている。特許文献3も、製品の製造工程における実際の画像の撮影及び画像処理を行うものではなく、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
さらに、対象物がプラスチックなどの光沢のある物体である場合、照明光などを反射して、撮像された画像が本来の色とは異なる色(白っぽい色)になることが知られている。このような光沢を除去する技術として、例えば非特許文献1などが知られている。
特開平5−128225号公報 特開平11−110558号公報 特開平5−290156号公報 IEEE論文:Klinker, G. J. and Sharer, S. A. and Kanade, T. "Using a color reflection model to separate highlights from object color." Intrd. Conf. on Comp. Vsion, IEEE, 1987, 145-150.
本発明は、上記の問題を解決するためになされたものであり、製品の製造工程における実際の画像の処理に用いることが可能であり、抽出色の設定が容易であり、かつ外乱光変動などによる輝度変化の影響を受けにくい画像処理装置及びそれに適する抽出色設定方法を提供することを目的とする。
上記目的を達成するために請求項1の発明は、対象物のカラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
前記演算処理部は、あらかじめRGB空間を複数の領域に分割しておき、各画素データ全体の彩度を上げる画像処理を行い、
彩度が変更された画像データ中の各画素データをRGB値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて、RGBの度数分布を求め、度数が最大となる部分RGB空間を取得し、前記部分RGB空間に含まれる画素のRGB値について、それぞれ平均値(R AVE ,G AVE ,B AVE )を求め、該平均値を各軸の分布の中心値として、前記部分RGB空間に含まれる画素のRGB値について、それぞれ分散及び標準偏差(σR,σG,σB)を求め、各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定し、前記部分RGB空間に含まれる画素のRGB値がそれぞれ前記RGB閾値の上限値以下で、且つ、下限値以上であるときに抽出色とし、決定されたRGB閾値を用いて前記対象物の前記抽出色の面積、形状及び位置の少なくともいずれかを測定し又は認識することを特徴とする
請求項2の発明は、請求項1の画像処理装置において、前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる彩度が変更された画素データをRGB値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて前記各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定する
請求項3の発明は、請求項1又は2の画像処理装置において、前記演算処理部は、さらに各画素データ全体の輝度を下げる画像処理を行い、輝度が変更された画像データを用いてRGB閾値を得る。
請求項4の発明は、請求項の画像処理装置において、前記演算処理部は、少なくとも1回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数RGB閾値を得る。
請求項5の発明は、請求項4の画像処理装置において、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了する。
請求項6の発明は、請求項4の画像処理装置において、前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択する。
請求項7の発明は、請求項1乃至6のいずれかの画像処理装置において、設定モードと検査モードを設け、前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行う。
請求項8の発明は、抽出色設定方法であって、あらかじめRGB空間を複数の領域に分割しておき、撮像装置により得られた画像データ全体の彩度を上げる画像処理を行い、彩度が変更された各画素データをRGB値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて、RGBの度数分布を求め、度数が最大となる部分RGB空間を取得し、前記部分RGB空間に含まれる画素のRGB値について、それぞれ平均値(R AVE ,G AVE ,B AVE )を求め、該平均値を各軸の分布の中心値として、前記部分RGB空間に含まれる画素のRGB値について、それぞれ分散及び標準偏差(σR,σG,σB)を求め、各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定し、前記部分RGB空間に含まれる画素のRGB値がそれぞれ前記RGB閾値の上限値以下で、且つ、下限値以上であるときに抽出色とすることを特徴とする
請求項9の発明は、請求項8の抽出色設定方法において、さらに各画素データ全体の輝度を下げる画像処理を行い、輝度が変更された画像データを用いてRGB閾値を得る。
請求項10の発明は、請求項8の抽出色設定方法において、少なくとも1回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数RGB閾値を得る。
請求項1の発明によれば、あらかじめRGB空間を複数の領域に分割しておき、画像データ中の各画素データをRGB値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、例えば色抽出領域を設定することなく、画像上の最大面積を占める色を抽出して画像処理を行うことができる。その結果、抽出色の設定が容易(不要)になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、製品の製造工程における実際の画像の処理に用いることが可能となる。また、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。また、彩度を上げることにより、淡い色の抽出も容易になる。
請求項2の発明によれば、例えばユーザによる入力部の操作に応じて、表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる画素データのみを用いて画像処理パラメータを決定するので、画像処理パラメータの決定に必要な処理を簡素化し、演算速度を速くすることができる。また、選択された領域内に複数の色が含まれている場合であっても。最も支配的な色のみを抽出するので、他の色の影響を受けることがなく、色抽出範囲の選択ひいては抽出色の設定を容易に、かつ迅速に行うことができる。
請求項3の発明によれば、輝度を下げることによって検査対象物の表面の光沢などによる影響を受けにくくすることができる
請求項4の発明によれば、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。さらに、輝度を下げることによって検査対象物の表面の光沢などによる影響を受けにくくすることができる。例えば、プラスチックなどの光沢材料でできている色付キャップを検査する場合に有効である。さらに、輝度を下げることによって輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
請求項5の発明によれば、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了するので、必ず有限個数の画像パラメータが得られる。
請求項6の発明によれば、ユーザの意志を尊重した画像パラメータの決定が可能となる。
請求項7の発明によれば、製品の製造工程における検査の高速化が可能となる。
請求項8の発明によれば、請求項1の発明と同様に、抽出色の設定が容易(不要)になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、画像処理装置に応用することにより、製品の製造工程における検査などを行うことが可能となる。また、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になると共に、淡い色の抽出も容易になる。
請求項9の発明によれば、請求項3の発明と同様に、輝度を下げることによって、検査対象物の表面の光沢などによる影響を受けにくくすることができる
請求項10の発明によれば、請求項4の発明と同様に、彩度を上げ、輝度を下げることによって、同系統の色が同一色として減色され、色の抽出が容易になると共に、検査対象物の表面の光沢などによる影響を受けにくくすることができる。輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
本発明の一実施形態に係る画像処理装置及びそれに適する抽出色設定方法について説明する。
本実施形態に係る画像処理装置1の基本構成を図1に示す。画像処理装置1は、CCDなどの撮像素子を用いた外付けのカラーカメラなどの撮像部2と、撮像部2により得られた映像信号を記憶及び演算処理に適したディジタル信号に変換する画像入力部3と、処理プログラムやディジタル信号に変換された画像データなどを格納するためのROMやRAMで構成された記憶部4と、処理プログラムに従って画像データの処理などを実行するCPUなどで構成された演算処理部5と、RAMなどで構成され、出力される画像データを記憶するための出力画像記憶部6と、出力画像記憶部6から出力される画像を表示するためのカラー液晶ディスプレイなどの表示部7と、オペレータにより操作され、さまざまな指令を入力するための入力部8を備えている。
なお、撮像部2としては、外付けカメラを図示しているが、これに限定されるものではなく、画像処理装置1の内蔵カメラであってもよい。また、カラーカメラに限定されず、磁気共鳴、サーモグラフィなどその他カラー画像を出力する装置であってもよい。画像入力部3は、例えばFPGA(Field Programmable Gate Array)で構成されている。または、画像入力部3を、DSP(Digital Signal Processor)などの高速プロセッサを使ってソフト的に構成することも可能である。
記憶部4は、さらに、後述するRGB閾値などを格納するための処理手順部41、画像入力部3から入力された未処理の画像データを格納する撮像画像部42、画像処理されたデータを格納するための処理画像部43などで構成されている。出力画像記憶部6は、表示部7の画面に表示される画像データのほか、画像上に抽出範囲を表示するフィードバック画面なども格納する。入力部8として、マウス、キーボード、ライトペン、その他の入力装置を使用することができる。オペレータは、入力部8を操作して、例えば表示部7の画面に表示されている画像上の領域(1点を含む)を指定することができる。
次に、画像入力部3の動作について説明する。撮像部2として、例えばRGBベイヤ配列された画像データを出力する撮像装置を使用しているものとする。ベイヤ配列された画像データの一部を図2(a)に示す。図2(a)中、1枡が1画素に対応し、各枡に記載された画素番号の10の桁が「行」、1の桁が「列」を表している。図2(a)からわかるように、1つの画素は、R値、G値又はB値のいずれか1つのデータしか有していない。例えば「R33」と表示された画素はR値のみを有し、G値及びB値は有していない。このようなベイヤ配列された画像データが撮像部2から画像入力部3に転送される。
一方、一つの色は、R値、G値及びB値を一組として表現される。また、一般的なカラーディスプレイ装置は、1画素ごとにR値、G値及びB値を用いて色を表現している。そのため、1画素ごとにR値、G値及びB値を一組有している方が都合がよい。そこで、画像入力部3は、ベイヤ配列された画像データを、図2(b)に示すように、1画素ごとにR値、G値及びB値を有するように補間する。
上記画素ごとの不足する他のR値、G値及びB値のいずれか2つのデータの補間は、補間処理される画素に隣接する8つの画素のデータを用いて行われる。補間により作り出される色成分の値は、図2(b)中、斜体字で表されている。例えば、画素番号11の画素は、補間によりG値及びB値が作られる。具体的な補間は、次式で実行される。
画像入力部3は、画像データの変換を行った後、記憶部4の撮像画像部42に変換したデータを記憶させる。図3は、撮像画像部42に格納された画像データを用いて表示部7の画面に表示された画像(処理前の原画像)の一例を示す。また、画像上に重畳された矩形は、色を抽出するためにユーザが入力部8を操作することにより設定された色抽出領域31を表す。例えば、入力部8を操作して画面上に表示されたポインタをクリックした位置を中心として、50×50画素の矩形の色抽出領域31が自動生成される。
自動生成された色抽出領域31には、多くの色が含まれている可能性があるが、本実施形態によれば、あらかじめRGB空間を複数の領域に分割しておき、色抽出領域31中の各画素データをRGB値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、設定された色抽出領域内で最も頻度の多い色が抽出され、色抽出領域内に含まれる他の色による影響を受けることなく、画像処理を行うことができる。なお、撮像画像データの容量が少ない場合や画像のパターンが比較的単純である場合には、色抽出領域31を設定することなく、全画像データを対象にして上記処理を行ってもよい。
次に、演算処理部5における画像処理手順を、図7に示すフローチャートを参照しつつ説明する。
上記色抽出領域31が設定されると、演算処理部5は、記憶部4の撮像画像部42に格納されている原画像の画像データから、設定された色抽出領域31に含まれる画素データを読み出す。そして、色抽出領域31中の各画素のRGB値から、画素ごとの輝度値と彩度値を演算し、さらにそれらの平均値を演算する(S1)。一般的に、以下の式により、輝度及び彩度が得られる。
次に、演算処理部5は、画像データ全体の彩度を上げる(S2)。各画素の輝度と彩度は、上記式(1)〜(4)により算出し、彩度SをS / Save × 255(但し、Saveは、上記ステップS1で求めた画像全体の彩度の平均値)に変更する。彩度が変更された画像データは、処理画像部43に格納される。さらに、輝度及び彩度の変更を行う場合には、この画像データを修正前の画像データとして使用する。以下の式により、彩度及び色相からRGB値が得られる。なお、これらの処理は色抽出領域31に含まれる全画素に対して行われる。
さらに、演算処理部5は、RGB閾値の取得を行い、記憶部4の処理手順部41に得られたRGB閾値を格納する(S3)。なお、RGB閾値の取得の詳細については、後述する。RGB閾値が取得されると、演算処理部5は、画像全体の輝度を下げる(S4)。具体的には、各画素の輝度を上記式(1)及び(2)により算出し、輝度YをY/2に変更する。そして、変更された輝度Yを用いて、上記式(7)〜(9)によりRGB値を得る。輝度が変更された画像データは、記憶部4の処理画像部43に格納される。さらに、輝度及び彩度の変更を行う場合には、この修正された画像データを修正前の画像データとして使用する。
画像データが修正されると、演算処理部5は、修正された画像データに対して、ステップS3と同様に、RGB閾値の取得を行い、記憶部4の処理手順部41にRGB閾値を格納する(S5)。そして、演算処理部5は、上記ステップS1〜S5をさらに繰り返すかどうかを判断する(S6)。ステップS6における判断条件としては、例えば、あらかじめ設定された回数だけ彩度及び輝度の変更を実施したことをもって終了の条件としてもよい。あるいは、ステップS1で取得された彩度の平均値Save及び輝度の平均値Yaveと、ステップS6を経て戻ったステップS1で再度取得された彩度の平均値Save及び輝度の平均値Yaveが共に一致することをもって終了の条件としてもよい。
ステップS1〜S5の繰り返しが終了すると、演算処理部5は、彩度及び輝度が変更されるごとにステップS3及びS5で格納されたRGB閾値から最適な閾値を選択し、記憶部4の処理手順部41に格納する(S7)。
最適なRGB閾値の選択の基準としては、例えば正常とすべき対象物の抽出目的の色の面積値が既知であり、面積値の許容範囲も既知である場合、ステップS3及びS5で格納されたRGB閾値を用いて色抽出を行い、画素数をカウントすることにより得られる抽出色の面積が、所定の許容範囲内であり、かつ既知の面積値に最も近い面積値となるRGB閾値を、最適なRGB閾値とする。
あるいは、ステップS3及びS5で格納されたRGB閾値の組み合わせ回数だけ色抽出を行い、抽出された画素を他の画素と区別しやすい色で選択可能なように表示し、入力部8を操作してフィードバック画面上で画素を選択することにより、最適なRGB閾値を選択してもよい。表示方法としては、画像データそのものを変更して表示する方法、オーバーレイ又はスーパーインポーズなどの重ね合わせによる表示方法、複数画面を列挙する表示方法、入力部2からの指示により順番に表示する方法などであってもよい。
画像処理パラメータが記録されると、演算処理部5は、最適なRGB閾値を用いて色抽出を行い、画像処理を実行する(S8)。画像処理の例としては、画素数カウント(面積)や抽出パターンのパターンマッチングなどが考えられる。
次に、上記ステップS3又はS5で実行されるRGB閾値の取得手順について、図8に示すフローチャートを参照しつつ説明する。なお、図4は、図3に示す原画像をRGB空間にマッピングした図である。説明のため代表的な部分のみをプロットしている。図5は、RGB空間をN分割(本実施形態では10分割)した図である。図6は、色抽出領域に含まれる画素をRGB空間にプロットしたものであり、最も画素数の多い部分空間を示している。
演算処理部5は、まずRGBの度数分布を求める(S11)。図5に示すように、R軸、G軸及びB軸に沿って、RGB空間をN個の部分領域に分割し、図3で示した色抽出領域31の画素について、どの部分領域に画素がいくつ入っているかをカウントする。まず、R軸、G軸及びB軸をそれぞれ10等分する。画素のR値、G値及びB値は、それぞれ0〜255の整数値なので、各値は、それぞれ以下の均等分割された範囲に振り分けられる。
次に、演算処理部5は、度数(含まれる画素数)が最大となる部分RGB空間を取得する(S12)。図6中、太線で示した部分空間に最も多く画素が含まれる。度数が最大となる部分RGB空間が取得されると、演算処理部5は、その部分RGB空間に含まれる画素のRGB値について、それぞれ平均値を求め(S13)、平均値(期待値)を各軸の分布の中心値とする。さらに、演算処理部5は、部分RGB空間に含まれる画素のRGB値について、それぞれ分散及び標準偏差を求め(S14、S15)、最後に、RGBの各閾値を求める(S16)。
色抽出の実行では、次の3つの条件が成立するときに抽出色とする。
次に、本実施形態の応用例について説明する。例えば、画像処理装置1を用いて、製品の製造工程における実際の画像を撮像し、得られた画像データに所定の処理を施して製品検査などを行うことができる。その場合、設定モードと検査モードを設け、設定モードでは、例えば良品サンプルの画像を撮像し、上記図7のフローチャート中のステップS1〜S7を実行して画像処理パラメータを演算し、記憶部4にその画像処理パラメータを格納しておく。また、記憶部4の処理手順部41にRGB閾値及び彩度及び輝度変更の各回数などを格納しておく。そして、検査モードでは、撮像部2により新たに撮像された画像データに対して、処理手順部に格納されている彩度及び輝度の変更回数に従ってステップS1〜S6を繰り返し実行する。このように、設定モードと検査モードを設定することにより、検査モードにおいては、画像処理プログラム中の最適なRGB閾値の選択などの手順を省略することができ、フィードバックなどする必要がなく、中間画像を残す必要がないうえ、判断回数が少なくなる。その結果、画像処理装置1の記憶部4の低容量化及び演算処理部5による演算処理の高速化が達成される。また、画像処理装置1をハードウエアで構成することも可能になる。
以上のように、本実施形態によれば、必要に応じてユーザが入力部8を操作することにより、表示部7の画面に表示された画像上の任意の領域を色抽出領域31として選択することができ、色抽出領域31に含まれている色のうち最も支配的な色のみを抽出し、他の色を排除することができる。その結果、色抽出領域31内に連続的に変化していく色など、多くの色が混在していても、支配的な色のみを抽出することができる。色抽出領域31は、ユーザが任意に設定することができるので、ユーザが意図しない色の抽出を排除することができる。さらに、他の色が抽出されることによるノイズなどの影響を受けることがなくなる。
色抽出領域は、上記のように矩形の領域であってもよいし、ユーザが選択した画像上の一点であってもよい。さらに、ユーザ選択した一点に対する所定の範囲を自動的に選択するように構成してもよい。その結果、色抽出領域設定のために画像の拡大など他の処理を行う必要がなくなり、色抽出領域の設定をラフにすることができる。
さらに、図7のフローチャートのステップS2において、彩度を上げる処理を行うことにより、淡い色の抽出画容易になる。さらに、ステップS5において、輝度を下げる処理を行っているので、光沢の影響を除去することができ、光沢のある検査対象物の色抽出が可能となる。また、多くの色を含む光沢物体中から特定の色を抽出することが可能となる。さらに、輝度を下げることにより、近似した色が統合されて減色されるので、近似した色の抽出が可能となる。さらに、輝度を下げることにより撮像画像の輝度変化を吸収することができ、外乱光などに対する不安定さを解消することができる。さらに、輝度を下げることで減色を行うため、減色がそれ以上できなく時点で設定動作を終了させることができる。その結果、必ず終了する自動色抽出設定アルゴリズムの構築が可能となる。
本発明の一実施形態に係る画像処理装置の基本構成を示すブロック図。 上記画像処理装置における画像データの変換処理の一例を示す図。 表示部の画面に表示された処理前の原画像の一例を示す図。 図3に示す原画像をRGB空間にマッピングした図。 RGB空間を分割した図。 図3に示した色抽出のための矩形領域中の画素をRGB空間にマッピングした図。 上記画像処理装置における画像処理処理手順を示すフローチャート。 図7のフローチャートにおけるステップS3又はS5で実行されるRGB閾値の取得手順を示すフローチャート。
符号の説明
1 画像処理装置
2 撮像部
3 画像入力部
4 記憶部
5 演算処理部
6 出力画像記憶部
7 表示部
8 入力部

Claims (10)

  1. 対象物のカラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
    前記演算処理部は、
    あらかじめRGB空間を複数の領域に分割しておき、
    各画素データ全体の彩度を上げる画像処理を行い、
    彩度が変更された画像データ中の各画素データをRGB値に従って領域ごとに分類し、
    各領域に含まれる画素数を計数し、
    最大画素数を持つ領域に含まれる画素データのみを用いて、RGBの度数分布を求め、度数が最大となる部分RGB空間を取得し、前記部分RGB空間に含まれる画素のRGB値について、それぞれ平均値(R AVE ,G AVE ,B AVE )を求め、該平均値を各軸の分布の中心値として、前記部分RGB空間に含まれる画素のRGB値について、それぞれ分散及び標準偏差(σR,σG,σB)を求め、各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定し、
    前記部分RGB空間に含まれる画素のRGB値がそれぞれ前記RGB閾値の上限値以下で、且つ、下限値以上であるときに抽出色とし、
    決定されたRGB閾値を用いて前記対象物の前記抽出色の面積、形状及び位置の少なくともいずれかを測定し又は認識する
    ことを特徴とする画像処理装置。
  2. 前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、
    選択された点又は範囲に含まれる彩度が変更された画素データをRGB値に従って領域ごとに分類し、
    各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて前記各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記演算処理部は、さらに各画素データの彩度を上げる画像処理を行い、度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記演算処理部は、少なくとも1回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項1又は2に記載の画像処理装置。
  5. 各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了することを特徴とする請求項4に記載の画像処理装置。
  6. 前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択することを特徴とする請求項4に記載の画像処理装置。
  7. 設定モードと検査モードを設け、
    前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、
    前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行うことを特徴とする請求項1乃至6のいずれかに記載の画像処理装置。
  8. あらかじめRGB空間を複数の領域に分割しておき、
    撮像装置により得られた画像データ全体の彩度を上げる画像処理を行い、
    彩度が変更された各画素データをRGB値に従って領域ごとに分類し、
    各領域に含まれる画素数を計数し、
    最大画素数を持つ領域に含まれる画素データのみを用いて、RGBの度数分布を求め、度数が最大となる部分RGB空間を取得し、前記部分RGB空間に含まれる画素のRGB値について、それぞれ平均値(R AVE ,G AVE ,B AVE )を求め、該平均値を各軸の分布の中心値として、前記部分RGB空間に含まれる画素のRGB値について、それぞれ分散及び標準偏差(σR,σG,σB)を求め、各画素のRGB値と比較されるRGB閾値の上限値及び下限値を決定し、
    前記部分RGB空間に含まれる画素のRGB値がそれぞれ前記RGB閾値の上限値以下で、且つ、下限値以上であるときに抽出色とする
    ことを特徴とする抽出色設定方法。
  9. 画素データの彩度を上げる画像処理を行い、度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項8に記載の抽出色設定方法。
  10. 少なくとも1回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項8に記載の抽出色設定方法。
JP2004203228A 2004-07-09 2004-07-09 画像処理装置及びそれに適する抽出色設定方法 Expired - Fee Related JP4419726B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004203228A JP4419726B2 (ja) 2004-07-09 2004-07-09 画像処理装置及びそれに適する抽出色設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004203228A JP4419726B2 (ja) 2004-07-09 2004-07-09 画像処理装置及びそれに適する抽出色設定方法

Publications (2)

Publication Number Publication Date
JP2006025332A JP2006025332A (ja) 2006-01-26
JP4419726B2 true JP4419726B2 (ja) 2010-02-24

Family

ID=35798255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004203228A Expired - Fee Related JP4419726B2 (ja) 2004-07-09 2004-07-09 画像処理装置及びそれに適する抽出色設定方法

Country Status (1)

Country Link
JP (1) JP4419726B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747970B2 (ja) * 2006-07-04 2011-08-17 オムロン株式会社 画像処理装置
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法

Also Published As

Publication number Publication date
JP2006025332A (ja) 2006-01-26

Similar Documents

Publication Publication Date Title
JP4747970B2 (ja) 画像処理装置
US10313605B2 (en) Image processing apparatus and control method thereof for generating high dynamic range image data
JP4378746B2 (ja) 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法
JP4435355B2 (ja) カラー画像の変換方法、変換装置、及び記録媒体
JP2007304065A (ja) 異物検出装置、異物検出方法、異物検出プログラム、および該プログラムが記録された記録媒体
US20120206593A1 (en) Defect Detection Apparatus, Defect Detection Method, And Computer Program
US20180367704A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
WO2014013792A1 (ja) ノイズ評価方法、画像処理装置、撮像装置およびプログラム
JP4072108B2 (ja) 画像表示装置及び画像表示方法
JP2008097588A (ja) 文字切り出し装置、方法およびプログラム
US10110784B2 (en) Image processing apparatus and image processing method
JP4419726B2 (ja) 画像処理装置及びそれに適する抽出色設定方法
JP2008151781A (ja) 画像表示装置及び画像表示方法
JP6826472B2 (ja) 画像処理装置およびその制御方法
US10083516B2 (en) Method for segmenting a color image and digital microscope
JP2001218070A (ja) 画像処理方法及び画像処理装置
JP4544578B2 (ja) コンピュータを用いた欠陥検査方法及び欠陥検査装置
JP4629629B2 (ja) デジタルカメラの偽色評価方法、デジタルカメラの偽色評価装置及びデジタルカメラの偽色評価プログラム
JP5509706B2 (ja) 画像処理装置および画像処理方法
JP2020088709A (ja) 画像処理装置、画像処理方法及びプログラム
JP7329964B2 (ja) 画像処理装置および画像処理方法およびプログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP3783881B2 (ja) 車両検出方法およびこれを用いた車両検出装置
JP3882427B2 (ja) 画像処理装置および画像処理方法
JP2004234133A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees