JP4525130B2

JP4525130B2 - 画像処理装置

Info

Publication number: JP4525130B2
Application number: JP2004095169A
Authority: JP
Inventors: 和貴丸岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2010-08-18
Anticipated expiration: 2024-03-29
Also published as: JP2005284509A

Description

本発明は、国際分類Ｇ０１Ｂ１１／００に分類される光学的手段により特徴づけを行う画像処理装置に関し、より詳細には撮影対象をデジタルカメラ等により複数階調をもった画像データとして撮影し、この画像から測定対象を認識して、認識した対象の特徴量を抽出する処理に関わるものである。

画像データ内の測定対象における特徴量を抽出する手法として、一般的に、まず画像データ内の測定対象の位置を特定するため画像認識処理を行い、次いで認識した位置において画像データから測定対象の特徴量を抽出する手法が用いられている。

画像認識処理の手法としては一般的に、特定のテンプレートパターンと対象画像を比較し、その結果を数値的に評価することにより、テンプレートと対象画像の適合度を求める、という方法（テンプレートマッチング）がとられている。

図１３は、一般的なテンプレートマッチングの手順の例を示すものである。図１３において、１３０１はテンプレート画像であり、対象画像１３０２の中からこのテンプレート画像に示された丸い画像パターンを探索するものとする。対象画像１３０２中には、１３０３、１３０４に示されるように多くの丸いパターンが存在している。テンプレート画像１３０１は縦５０画素、横５０画素とし、対象画像１３０２は縦４８０画素、横６４０画素であり、１画素当たりの階調は２５６階調とする。対象画像１３０２を順に探索することにより、このテンプレート画像に示された丸い画像パターンを対象画像１３０２から抽出する。

まず、対象画像１３０２の左上１３０５の位置に、テンプレート画像１３０１と同じ大きさの枠を仮定し、対象画像１３０２を縦５０画素、横５０画素で切り出す。そして、これらの画像を重ね合わせ、対応する位置の画素を１画素毎に差分演算し、それら５０×５０画素の差分結果を全て個別に２乗した後、加算する。この値は、両画像の相関関係を意味し、両者が画像であるときは小さな値となり、両者が異なったときは大きな値となる。この求めた値が閾値より小さい場合はパターンを検出したものと判定し、求めた値が閾値より大きい場合はパターンが存在しないと判定する。

１３０５の位置で判定を行った次には、枠を１画素分右にずらして同様の判定を行い、これをくりかえして、矢印１３０６の順で対象画像１３０２全体に対して順次行う。枠が１３０７の位置のとき、テンプレート１３０１とパターン１３０３は一致し、２乗和は非常に小さな値となることから、丸いパターンの存在が判別できる。

また、対象画像を２値化し、さらにテンプレート画像を分割して、いくつかの部分テンプレート画像を作成し、まずその中のひとつの部分テンプレート画像を用い、マッチングする位置を探索する。そして一致すれば、一致位置近辺の小領域を設定し、残りの部分テンプレート画像のマッチングを行い、すべての部分テンプレート画像がマッチングすると、探索パターンの存在を判断する方法も開示されている。このような手法を用いることで、一般的な手法に比べ高速にかつ精度の高い認識を実現していた（例えば特許文献１参照）。

そして、測定対象の特徴量として明るさ（輝度平均値）を求める際には、検出した位置においてパターン領域内の輝度値の総和を求め、総和をパターン領域の面積値で除算することで輝度平均値を算出していた。
特開昭６２−２３２５０４号公報

しかしながら、前記従来の構成では、精度の高い測定対象の明るさを求める際には、画像認識を精度良く行う必要があり、少しでも位置がずれた箇所を認識すると、輝度値の総和を求める際に測定対象以外の背景データが混入してしまうので、正確な明るさを求めることができないという問題があった。

また、画像撮影時に装置が振動した際には、対象画像において測定対象のパターンのふちが背景画像と混じりあうために測定対象の完全一致が困難となり、同じ測定対象を撮影したにも関わらず装置が振動していない場合に求めた明るさと異なってしまうという問題があった。

本発明は、前記従来の課題を解決するためになされたものであり、画像認識の性能に依存せず、画像認識によって検出した位置と測定対象の位置が完全に一致にしていなくても、精度よく測定対象の特徴量として明るさを求めることが出来る画像処理装置を提供する事を目的とする。

また、装置が振動している場合においても、振動が無い場合に求めた測定対象の明るさを正確に求めることができる画像処理装置を提供する事を目的とする。

前記従来の課題を解決するために、本発明の画像処理装置は、各画素の輝度値が多値に量子化されたデジタル画像データから特定のパターン領域の平均輝度値を抽出する画像処理装置であって、前記特定のパターン領域のテンプレート画像を用いて前記デジタル画像データから前記特定のパターン領域を検出するパターン検出手段と、前記パターン検出手段が前記パターン領域を検出した前記デジタル画像データ上の位置に拡張パターン領域を生成する領域膨張手段と、予め設定された有効画素数を出力する画素数決定手段と、前記拡張パターン領域に含まれる画素から前記有効画素数分の画素を選択する対象画素選択手段と、前記対象画素選択手段で選択された画素の前記平均輝度値を算出する特徴量算出手段とを備える、ことを特徴としたものである。

さらに画像処理装置において、前記領域膨張手段は、前記特定のパターン領域を領域内に含む拡張パターン領域を生成することを特徴とするものである。

さらに画像処理装置において、前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して各画素を前記輝度値の降順に並び替えたソートデータ列を生成する画像抽出手段と、前記ソートデータ列の先頭から所定の閾値よりも大きい輝度値の画素を除いて得られるデータ列から前記有効画素数分の画素を選択して出力するデータ選択手段とで構成されることを特徴としたものである。

さらに画像処理装置において、前記特徴量算出手段は、前記対象画素選択手段が選択して出力した全ての画素の輝度値の総和を前記有効画素数で除算して前記平均輝度値を求めることを特徴としたものである。

さらに画像処理装置において、前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して輝度値毎の画素数のヒストグラムを作成する画像抽出手段と、前記ヒストグラムの輝度値の大きい方から所定の閾値よりも大きい輝度値の画素を除いて輝度値毎の画素数を加算し、該加算値が前記有効画素数に等しくなるまで輝度値と輝度値毎の画素数を出力するデータ選択手段とで構成されることを特徴としたものである。

さらに画像処理装置において、前記特徴量算出手段は、前記対象画素選択手段が出力する輝度値と該輝度値毎の画素数を乗算した値を前記有効画素数で除算して前記平均輝度値を求めることを特徴としたものである。

さらに画像処理装置において、各画素の輝度値が多値に量子化されたデジタル画像データから特定のパターン領域の平均輝度値を抽出する画像処理装置であって、前記特定のパターン領域のテンプレート画像を用いて前記デジタル画像データから前記特定のパターン領域を検出するパターン検出手段と、前記パターン検出手段が前記パターン領域を検出した前記デジタル画像データ上の位置に拡張パターン領域を生成する領域膨張手段と、予め設定された、前記特定のパターン領域の画素数である第一の有効画素数及び第一の有効画素数に所定のオフセット値を加えた第二の有効画素数を出力する画素数決定手段と、前記拡張パターン領域に含まれる画素から前記第二の有効画素数分の画素を選択する対象画素選択手段と、前記対象画素選択手段で選択した画素の前記平均輝度値を前記第一の有効画素数を用いて算出する特徴量算出手段とを備える、ことを特徴としたものである。

さらに画像処理装置において、前記領域膨張手段は、前記特定のパターン領域を領域内に含む拡張パターン領域を生成することを特徴としたものである。

さらに画像処理装置において、前記所定のオフセット値は、前記拡張パターン領域において前記特定のパターン領域のエッジ成分を求め、求めたエッジ成分の強さに応じて決定する、ことを特徴としたものである。

さらに画像処理装置において、前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して各画素を前記輝度値の降順に並び替えたソートデータ列を生成する画像抽出手段と、前記ソートデータ列の先頭から所定の閾値よりも大きい輝度値の画素を除いて得られるデータ列から前記第二の有効画素数分の画素を選択して出力するデータ選択手段とで構成されることを特徴としたものである。

さらに画像処理装置において、前記特徴量算出手段は、前記対象画素選択手段が選択して出力した全ての画素の情報値の総和を前記第一の有効画素数で除算して前記平均輝度値を求めることを特徴としたものである。

さらに画像処理装置において、前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して輝度値毎の画素数のヒストグラムを作成する画像抽出手段と、前記ヒストグラムの情報値の大きい方から所定の閾値よりも大きい輝度値の画素を除いて輝度値毎の画素数を加算し、該加算値が前記第二の有効画素数に等しくなるまで輝度値と輝度値毎の画素数を出力するデータ選択手段とで構成されることを特徴としたものである。

さらに画像処理装置において、前記特徴量算出手段は、前記対象画素選択手段が出力する輝度値と該輝度値毎の画素数を乗算した値を前記第一の有効画素数で除算して前記平均輝度値を求めることを特徴としたものである。

以上のように、本発明の画像処理装置によれば、対象画像から検出した領域の各画素を情報値の降順に並べ替え、並べ替えた画素から特定のパターン領域のデータ数分だけ選択して特徴量算出に用いるようにしたので、対象画像において検出した領域の位置精度が低い場合でも正確に特定のパターン領域の特徴量を得ることができる。

さらに、特徴量算出のために選択する画素数を振動の割合に応じて変更するようにしたので、装置が振動している際でも、特定のパターン領域の特徴量を正確に求めることができる。

以下、本発明の画像処理装置の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施例１による画像処理装置の構成を示すブロック図である。

図１に示すように、本発明の実施例１による画像処理装置は、対象画像１０１と、テンプレート画像１０２と、パターン検出回路１０３と、領域膨張回路１０４と、データ数決定回路１０５と、対象画素選択回路１０６と、特徴量算出回路１０７と、輝度平均値１０８からなる。

対象画像１０１は、ビーズが撮影されたデジタル画像である。本発明の例では対象画像１０１として、励起光により様々な色を発光している直径１０μｍの球状のマイクロビーズ（以下ビーズとする。）が発する光を特定の帯域通過フィルタを通してＣＣＤで撮影したものとする。この時、対象画像内１０１内にビーズが１個あるいは複数個存在し、ビーズが複数個の場合は全てのビーズが均一で各ビーズは重なりあわないものとする。また、対象画像１０１の各画素は輝度値が２５６階調のデジタル値で表され、図２に示すようにビーズの輝度値は大きく（明るい）、背景の輝度値は小さい（暗い）ものとする。

テンプレート画像１０２は、ビーズのパターンマッチングの際に用いるビーズ画像である。これは予め、ビーズあたりの画素数が対象画像１０１と同条件で撮影された画像から作成しておく。

パターン検出回路１０３は、対象画像１０１においてテンプレート画像１０２を用いてパターンマッチングを行い、対象画像１０１内全てのビーズのパターン領域を検出し、検出したパターン領域の位置を領域膨張回路１０４に出力する。

領域膨張処理回路１０４は、パターン検出回路１０３から出力されたビーズのパターン領域の位置に基づいて、図３に示すように測定対象のビーズが必ず入るように膨張させ膨張パターン領域を作成する。ここで、図３は拡張パターン領域におけるビーズ部分と背景部分を示している。そして膨張させた拡張パターン領域を画素選択回路１０６に出力する。

データ数決定回路１０５は、演算に使用するデータ数（画素数）を決定する回路であり、データ数を決定し対象画素選択回路１０６及び特徴量算出回路１０７に出力する。ここで、データ数は使用するＣＣＤの解像度とビーズの大きさによって決定されるが、予め撮影されたビーズの画素数をカウントするか、あるいはビーズの面積あたりの画素数から計算によって求めておき、初期値として与える。

対象画素選択回路１０６は、画素抽出回路１０６１及びデータ選択回路１０６２で構成され、領域膨張回路１０４が出力する拡張パターン領域とデータ数決定回路１０５が出力するデータ数に基づいて対象画像１０１から特徴量算出に使用する画素を選択して特徴量算出回路１０７に出力する。

画素抽出回路１０６１は、対象画像１０１において領域膨張回路１０４から出力された拡張パターン領域の画素を抜き出し、各画素の輝度値の大きさの順にソートし、輝度値を並び替えたソートデータを作成する。この際のソート処理は一般的なクイックソートを用いる。ただし、ソート処理はクイックソートに限定されるものではなくどのような方法を用いてもよい。そして、ソートしたデータをデータ選択回路１０６２に出力する。

データ選択回路１０６２は、画素抽出回路１０６１から入力されたソートされたデータのうち、最も輝度の高い画素から順にデータ数決定回路１０５から入力されたデータ数分、画素を選択し、特徴量算出回路１０７に出力する。

この処理の原理を、図３及び図４を用いて説明する。図４は、図３の拡張パターン領域のソートデータを横軸に表したものであり、左から輝度値の小さい順に並んでいる。図２で示したとおりビーズ部分は明るく背景部分は暗い。従って、図４に示すようにソートデータを横軸に並べた場合、必ずビーズ部分の輝度値は右側に、背景部分の輝度値は左側に偏り、ビーズ部分と背景部分の輝度値は分かれる。そこで、前述したように、輝度値の高い順にビーズパターン領域の画素数分をソートデータから選択していくと、ビーズ部分のみの輝度値を選択することが可能である。

特徴量算出回路１０７は、対象画素選択回路１０６から出力された画素とデータ数決定回路１０５が出力するデータ数を用いて特徴量を算出し、この特徴量をビーズの輝度平均値１０８として出力する。

以上の様に構成された本発明の実施例１による画像処理装置の動作について図５及び図６を用いて詳細に説明する。

図５は、本発明の実施例１による画像処理装置が行う画像処理を説明するためのフローチャートである。

（ステップＳ１０１）対象画像１０１が入力されると、パターン検出回路１０３にて、対象画像１０１に対しテンプレート画像１０２を用いたテンプレートマッチングを行い、全ビーズのパターン領域を検出する。

パターン検出回路１０３では、どのようなパターンマッチング方法を用いてもよいが、ここでは従来のテンプレートマッチングでビーズのパターン領域を検出する。そして、検出した全てのパターン領域の位置を出力する。

（ステップＳ１０２）次に、パターン検出回路１０３から出力されたパターン領域の位置と対象画像１０１が領域膨張回路１０４に入力され、領域膨張回路１０４では、対象画像１０１から得た２値化画像を基に各パターン領域の位置毎に拡張パターン領域を求める。図６は、ビーズとパターン領域及び拡張パターン領域の一例を示した図である。図６に示す通り、パターンマッチングの精度によっては、測定対象のビーズ位置に対し、パターン検出回路１０３により検出したビーズのパターン領域がずれることがある。このような場合においても、必ずパターン領域内にビーズ全体が入るように、パターン領域に対し一般的な８近傍膨張処理を数度行い、拡張パターン領域を作成する。ここではパターン領域の周囲にある画素を８近傍膨張処理の対象とし、対象画素を中心に８つの隣接した画素中の少なくとも一つの画素にビーズ部分の画素がある場合、対象画素全てをパターン領域に変換する。この時、各画素がビーズ部分と背景部分のどちらであるかの判断は次のようにして行う。例えば所定の閾値を用いて、閾値よりも輝度値が大きければビーズ部分、小さければ背景部分と判定する。所定の閾値は対象画像１０１の各画素の輝度値の総和を画素数で除算した平均輝度値に設定しても良いし、ビーズ部分と背景部分の輝度値範囲が予め分かっていれば、その中間に設定しても良い。このようにしてパターン領域を拡張して拡張パターン領域を作成する。

（ステップＳ１０３）次に、対象画素選択回路１０６は領域膨張回路１０４の出力する拡張パターン領域とデータ数決定回路１０５が出力するデータ数に基づいて、対象画像１０１から特徴量算出に有効な画素を選択して特徴量算出回路１０７に出力する。

（ステップＳ１０４）次に、特徴量算出回路１０７では、対象画素選択回路１０６において選択された画素数と各画素の輝度値を用いて特徴量を求める。具体的に特徴量は、選択された画素の輝度値の総和を求め、データ数決定回路１０５が出力するデータ数で除算して求める。そして、この特徴量を、ビーズの平均輝度値１０８として出力する。

以上のような図５に示すステップの画像処理を行うことで、テンプレートマッチングなどの画像認識の性能に依存せず、精度よく測定対象の特徴量として平均輝度値を求めることができる。

以上のように、本発明の実施例１による画像処理装置によれば、検出したパターン領域を膨張させ、膨張させた拡張パターン領域の輝度値を大きさに応じて並び替えソートデータを作成し、ソートデータの中から特徴量を求める際に用いる輝度値を選択することで、測定対象の正確な特徴量を求めることができる。

なお、本発明の実施例１では、測定対象は球状であるとしたが、各測定対象の大きさが均一であれば球状以外の複雑な形状であっても良い。

なお、本発明の実施例１では、対象画素選択回路１０６においてクイックソートを用いて対象となる画素のソートを行っているが、図７に示すように輝度値のヒストグラムを用いても良い。この場合、画素抽出回路１０６１において拡張パターン領域の画素を抜き出した後ヒストグラムを作成する。データ選択回路１０６２においてはヒストグラムの輝度値の最も高いものから順にヒストグラムの画素数の総和が、データ数決定回路１０５が出力するデータ数分に至るまで輝度値と画素数を特徴量算出回路１０７に出力する。特徴量算出回路１０７は、データ選択回路１０６２が出力する輝度値と画素数を乗算した値の総和を、データ数決定回路１０５が出力するデータ数で除算して輝度平均値１０８を得る。この様にすると、画素抽出回路１０６１においてクイックソートを行わないので、処理速度が改善される。

なお、本発明の実施例１では、対象画像が１枚の帯域通過フィルタを通して撮影されたデジタル画像を用いて説明を行ったが、一つの撮影対象に対して複数の帯域通過フィルタを入れ替えて撮影された複数のデジタル画像においても同様の処理で測定対象の特徴量を求めることができる。即ち、まず１枚目の帯域通過フィルタで撮影された画像データに対してはステップＳ１０１からＳ１０４を用いて特徴量を求め各測定対象のパターン位置と拡張パターン領域をメモリ（図示せず）に記憶しておき、２枚目以降はメモリからパターン位置と拡張パターン領域を読み出してステップＳ１０３及びＳ１０４によって特徴量を求める。あるいは、１枚目は測定対象の位置のみを求めるためのフィルタを用いてステップＳ１０１及びＳ１０２によって測定対象のパターン位置と拡張パターンのみを求めてメモリに記憶しておき、２枚目以降の帯域通過フィルタを通して撮影された対象画像に対してはステップＳ１０３及びＳ１０４のみによって特徴量を求める。この際、実施例１による画像処理装置によれば、たとえ各色透過フィルタで撮影された対象画像中において、帯域通過フィルタ毎に測定対象の位置がずれていても、検出したパターン領域を膨張させ特徴量を求めているので、正確な明るさを求めることができる。

以下に、本発明の実施例２による画像処理装置について、図面を参照しながら説明する。

図８は、本発明の実施例２による画像処理装置の構成を示すブロック図である。実施例１で説明したのと同じ構成のものについては同じ符号を付し、説明を省略する。実施例１の構成と異なるところは、対象画像１０１と領域膨張回路１０４と画像抽出回路１０６２の出力をデータ数決定回路８０１に入力するようにした点である。

データ数決定回路８０１は、測定対象ビーズのパターン領域の画素数を特徴量算出回路１０７に出力し、パターン領域の画素数と振動に対応するオフセット値とを加算した値をデータ選択回路１０６２に出力する。

このようにして、対象画像を撮影中に装置が振動した場合においても、振動していない状態で求めたビーズの特徴量と等しい特徴量を得ることが可能になる。以下、図９ないし図１２を用いて詳細に説明する。

画像を撮影する際に振動が発生した場合、対象画像中のビーズは、エッジ周辺部が背景部分と輝度値が混じり合い、ぼやけたようになる。図９は、振動無しの場合と振動有りの場合の、ビーズの中心を通る直線上の輝度値をあらわしたグラフである。横軸がビーズの中心を通る直線座標、縦軸がその座標の輝度値となっている。図９（Ａ）はビーズの中心を通る直線Ｘを示す図、図９（Ｂ）は振動無しの場合の直線Ｘ上の輝度値を表す輝度グラフ、図９（Ｃ）は振動有りの場合の直線Ｘ上の輝度値を表す輝度グラフであり、９０１はビーズの中心を通る直線Ｘである。

図９（Ａ）及び図９（Ｂ）より、振動無しの場合は、ビーズのエッジ部分が急峻であるのに対して、振動有りの場合は、エッジ部分が滑らかになっている。従って、ビーズ部分の輝度値の総和を求めた場合、振動無しの総和に比べ振動有りの総和は、斜線部分の輝度値だけ少なくなる。これにより、各総和をビーズパターン領域の面積値で除算し、ビーズの特徴量を求めた場合、振動無しの場合に比べ振動有りの場合は特徴量を小さく算出してしまうことになる。

これを防ぐために、振動有りの場合の総和の減少分は、ビーズのエッジ周辺部と背景部分とが混じり合った背景部分にあると考えられるので、この混じり合った背景部分の輝度値を総和に加えることとする。図１０は、図９（Ｃ）に示す振動有りの場合の、混じり合った背景部分をビーズ部分の総和に加算する処理を示したものである。図１０では、混じり合った背景部分をオフセット部分とし、ビーズ部分にオフセット部分を加えた範囲の輝度値の総和を算出する。この処理により、図１０中のオフセット部分の黒塗り部で表された輝度値が、振動により減少した斜線部の輝度値を補完し、振動無しの場合のビーズ部分の輝度値の総和と等しくなる。従って、この総和をビーズの面積値で除算し、ビーズの特徴量を求めると、振動無しの場合と同じ特徴量を求めることが可能である。

図１１は、振動発生時のデータ選択回路１０７における、ソートデータに対するデータ選択処理を示したものである。横軸は、ソートデータを表し、左から右に輝度値が大きくなっているものとする。図４と同様に輝度値の大きさでソートすると、ビーズ部分は明るいので輝度値が右側に集まり、背景部分は暗いので輝度値が左側に集まる。背景部分の中でも、ビーズと混じり合った背景部分は、明るいビーズ部分と混じり合っているため右側に集まり、ビーズ部分と接する位置となる。従って、データを選択する際に、ビーズパターンの面積数に、混じり合った背景部分の面積と等しくなるオフセット値を加え、このオフセット値を加えた数をソートデータから選択することで、ビーズ部分と混じり合った背景部分のデータを選択することができる。具体的なオフセット値については、混じり合った背景部分はビーズエッジの外周部分であるため、数１で算出する。

ここで、ビーズエッジの外周部分の画素数は予め求めておき、初期値として与えておく。またＫは比例定数であり、振動の大きさに比例してビーズ部分と背景部分の混じり合う領域が広がる割合を表す。振動が無い場合はＫ＝１とし、オフセット値を０とする。

さらに、かかるデータ数決定回路８０１において、数１のＫ値をビーズのエッジ成分の強さに応じて設定し、オフセット値を決定してもよい。これは、図９に示したとおり、振動が有る場合は、ビーズのエッジが背景部分と混じりあいエッジ成分が弱くなり、さらに、振動が強くなるほど混じりあう領域が増えるのでエッジ成分がそれに対応して弱くなる、という反比例の関係が成り立つからである。

エッジ成分の強さを求める方法は、ここでは一例として以下の方法を用いる。エッジ成分は、図９に示したように、振動無しの場合は、ビーズのエッジ部分が急峻で強くなるのに対して、振動有りの場合はエッジ部分が滑らかになり弱くなる。このとき、振動有りの場合の輝度値の総和は、振動無しの場合の総和に比べ斜線部の輝度値分少なくなる。従って、このビーズ部分の輝度値の総和を求めることで、エッジ成分の強さがわかる。

図１２はビーズ部分の輝度値の総和を求める方法を示した輝度グラフである。まず、ソート回路１０５にて輝度値の大きさに応じて並び替えたソートデータにおいて、値の大きいほうからビーズパターン領域の面積数の所定の割合を抜き出し、抜き出した輝度値の平均を求め平均値Ａとする。同様に、ソートデータの中で値の小さい方からにビーズパターン領域の面積数の所定の割合を抜き出し、抜き出した輝度値の平均を求め平均値Ｂとする。所定の割合は、撮影条件にあわせて振動がある場合においてビーズの画素と背景の画素を抜きだすことができる割合を設定する。例えば、予め振動した対象画像においてビーズパターン領域のビーズ画素数と背景画素数をカウントして算出する。

こうして求めた平均値Ａと平均値Ｂは、それぞれ輝度グラフの山の上辺と下辺の輝度値となる。そして、平均値Ａと平均値Ｂを足して２で割った平均値Ｃを求め、Ｘ軸上の輝度値において平均値Ｃ以上となる輝度値の総和を求めると、これがビーズ部分（Ｘ軸上におけるビーズの幅）の輝度値の総和となっている。ただし、この総和は、ビーズの中心を通る直線Ｘで求める必要がある。直線Ｘは、以下の方法で求める。拡張パターン領域において、Ｙ軸の上部から下部に１画素ずつずらしていき、Ｙ軸上の各位置でＸ軸方向一列上にある背景の輝度値よりも大きい画素数を算出する。そして、上部から下部の間で求めた画素数の中で最も大きい値を持つ位置の直線を直線Ｘとする。

こうすることで、ビーズ部分とビーズパターンの直径が等しくなり、振動無しの場合におけるビーズ部分の輝度値の総和（Ｔ）を、数２で求めることができる。数２では高さを、ソートデータの値の大きいほうからビーズパターン領域の面積数の所定の割合を抜き出した平均値（平均値Ａ）としているので、ビーズ部分が図１２に示したような平らではなく、中央が窪んでいるビーズであっても、ビーズ部分の輝度値の総和を求めることが可能である。そして、エッジ成分の強さに反比例する数１のＫ値を、数２で算出したＴを用いて、数３で求めることができる。ただし、オフセット値をマイナスにしないために、Ｋは必ず１以上にする。

以上に示すデータ数決定回路８０１を用いた画像処理装置によれば、装置の振動がある場合においても、振動が無い場合と等しいビーズの特徴量を得ることができる。

以上のように構成された本実施例における画像処理装置の動作について詳細に説明する。

データ数決定回路８０１では、まず、画像抽出回路１０６１から入力されたソートデータの中で輝度値の大きな順にビーズパターン領域の面積数の所定の割合を抜き出し、平均値Ａを求める。同様に、ソートデータの中で輝度値の小さい順にビーズパターン領域の面積数の所定の割合を抜き出し、平均値Ｂを求める。次に対象画像１０１の領域膨張回路１０４から入力された拡張パターン領域において、横一列の画素値を抜き出し、画素の輝度値が閾値以上となる輝度値の総和を求める。閾値は、平均値Ａと平均値Ｂを足して２で割った平均値Ｃである。

この処理を縦方向の座標の小さい位置から大きい位置に順に行い、その中で最大の輝度総和を求める。ビーズは円であるため、最大の輝度総和が、ビーズの中心を通る直線上のビーズ部分の輝度総和となっている。そして、数２及び数３を用いオフセット値を算出し、測定対象ビーズのパターン領域の画素数を特徴量算出回路１０７に出力し、パターン領域の画素数と振動に対応するオフセット値とを加算した値をデータ選択回路１０６２に出力する。

以上のように、本発明の実施例１による画像処理装置によれば、装置が振動して撮影された測定対象がずれた場合においても、振動によるずれ量を補うようにしたので精度よく測定対象の特徴量を求めることができる。

なお、本実施例においては振動による測定対象のずれがＸ軸方向に発生した場合について説明したが、Ｘ軸方向と垂直なＹ軸方向にずれが発生した場合にも本実施例における構成を持って画像処理を行うことが出来ることは言うまでもない。

また、Ｘ軸方向とＹ軸方向に対して斜めの方向にずれが発生した場合には、Ｘ軸方向のずれ比率とＹ軸方向のずれ比率を両方求め、両者から斜め方向のずれ比率を求めるようにすれば良い。

なお、本発明の実施例２では、対象画素選択回路１０６においてクイックソートを用いて対象となる画素のソートを行っているが、図７に示すように輝度値のヒストグラムを用いても良い。この場合、画素抽出回路１０６１において拡張パターン領域の画素を抜き出した後ヒストグラムを作成する。データ選択回路１０６２においてはヒストグラムの輝度値の最も高いものから順にヒストグラムの画素数の総和が、データ数決定回路８０１が出力するデータ数分に至るまで輝度値と画素数を特徴量算出回路１０７に出力する。特徴量算出回路１０７は、データ選択回路１０６２が出力する輝度値と画素数を乗算した値の総和を、データ数決定回路８０１が出力するデータ数で除算して輝度平均値１０８を得る。この様にすると、画素抽出回路１０６１においてクイックソートを行わないので、処理速度が改善される。

なお、本発明の実施例１及び実施例２においては、撮影された画像の各画素の輝度値を特徴量とした場合について説明したが、各画素の情報が輝度値以外の場合、例えば色濃度においても本発明を用いて同様に特徴量を抽出することが可能である。
なお、本発明の実施例１及び実施例２では、測定対象が発光し背景よりも明るいとしたが、透過光を用いた撮影のように背景が明るく、測定対象が暗いという関係であっても良い。この時、データ選択回路１０６２においては、輝度値の小さい値からデータ数分の画素を選択するようにすることで本実施例と同様の効果が得られる。

なお、本発明の実施例１及び実施例２では、データ選択回路１０６２において輝度値の最も高い画素から特徴量算出のデータとして用いているが、測定対象が取り得る輝度値の最大値を閾値として予めデータ選択回路１０６２に与えておき、閾値よりも低い輝度値からデータ数分の画素を選択して特徴量算出回路１０７に出力しても良い。この様にすれば、拡張パターン領域内の背景部分に、ノイズ等の影響により測定対象よりも輝度値の大きい画素が存在した場合でも、正確に測定対象の画素のみを抽出することが可能となる。

本発明の画像処理装置は、画像認識の性能に依存せず、精度よく対象物の特徴量として平均輝度値を求めることができ、対象画像中にある測定対象の特徴量を計測する各種処理装置に有用である。

本発明の実施例１における画像処理装置のブロック図測定対象のビーズが映った対象画像図拡張パターン領域におけるビーズ部分と背景部分を示す図拡張パターン領域におけるソートデータを示す図本発明の実施例１における画像処理を示すフローチャートビーズのパターン領域を膨張させた拡張パターンを示す図拡張パターン領域における輝度値のヒストグラムを示す図本発明の実施例２における画像処理装置のブロック図ビーズの中心を通る直線上の輝度値分布図振動による輝度値分布のオフセットを示す図振動がある場合の拡張パターン領域におけるソートデータを示す図ビーズ部分の輝度値の総和を求める方法を示した輝度グラフ従来の一般的なテンプレートマッチングの手順を示す図

符号の説明

１０１、１３０２対象画像
１０２、１３０１テンプレート画像
１０３パターン検出回路
１０４領域膨張回路
１０５データ数決定回路
１０６対象画像選択回路
１０７特徴量算出回路
１０８輝度平均値
８０１データ数決定回路
９０１ビーズの中心を通る直線Ｘ
１０６１画像抽出回路
１０６２データ選択回路
１３０３、１３０４検出対象
１３０５最初のパターンマッチング位置
１３０６パターンマッチングの走査経路
１３０７パターンを検出した位置

Claims

各画素の輝度値が多値に量子化されたデジタル画像データから特定のパターン領域の平均輝度値を抽出する画像処理装置であって、前記特定のパターン領域のテンプレート画像を用いて前記デジタル画像データから前記特定のパターン領域を検出するパターン検出手段と、前記パターン検出手段が前記パターン領域を検出した前記デジタル画像データ上の位置に拡張パターン領域を生成する領域膨張手段と、予め設定された有効画素数を出力する画素数決定手段と、前記拡張パターン領域に含まれる画素から前記有効画素数分の画素を選択する対象画素選択手段と、前記対象画素選択手段で選択された画素の前記平均輝度値を算出する特徴量算出手段とを備える、ことを特徴とする画像処理装置。
前記領域膨張手段は、前記特定のパターン領域を領域内に含む拡張パターン領域を生成することを特徴とする請求項１に記載の画像処理装置。
前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して各画素を前記輝度値の降順に並び替えたソートデータ列を生成する画像抽出手段と、前記ソートデータ列の先頭から所定の閾値よりも大きい輝度値の画素を除いて得られるデータ列から前記有効画素数分の画素を選択して出力するデータ選択手段とで構成されることを特徴とする請求項１に記載の画像処理装置。
前記特徴量算出手段は、前記対象画素選択手段が選択して出力した全ての画素の輝度値の総和を前記有効画素数で除算して前記平均輝度値を求めることを特徴とする請求項３に記載の画像処理装置。
前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して輝度値毎の画素数のヒストグラムを作成する画像抽出手段と、前記ヒストグラムの輝度値の大きい方から所定の閾値よりも大きい輝度値の画素を除いて輝度値毎の画素数を加算し、該加算値が前記有効画素数に等しくなるまで輝度値と輝度値毎の画素数を出力するデータ選択手段とで構成されることを特徴とする請求項１に記載の画像処理装置。
前記特徴量算出手段は、前記対象画素選択手段が出力する輝度値と該輝度値毎の画素数を乗算した値を前記有効画素数で除算して前記平均輝度値を求めることを特徴とする請求項５に記載の画像処理装置。
各画素の輝度値が多値に量子化されたデジタル画像データから特定のパターン領域の平均輝度値を抽出する画像処理装置であって、前記特定のパターン領域のテンプレート画像を用いて前記デジタル画像データから前記特定のパターン領域を検出するパターン検出手段と、前記パターン検出手段が前記パターン領域を検出した前記デジタル画像データ上の位置に拡張パターン領域を生成する領域膨張手段と、予め設定された、前記特定のパターン領域の画素数である第一の有効画素数及び第一の有効画素数に所定のオフセット値を加えた第二の有効画素数を出力する画素数決定手段と、前記拡張パターン領域に含まれる画素から前記第二の有効画素数分の画素を選択する対象画素選択手段と、前記対象画素選択手段で選択した画素の前記平均輝度値を前記第一の有効画素数を用いて算出する特徴量算出手段とを備える、ことを特徴とする画像処理装置。
前記領域膨張手段は、前記特定のパターン領域を領域内に含む拡張パターン領域を生成することを特徴とする請求項７に記載の画像処理装置。
前記所定のオフセット値は、前記拡張パターン領域において前記特定のパターン領域のエッジ成分を求め、求めたエッジ成分の強さに応じて決定する、ことを特徴とする請求項７に記載の画像処理装置。
前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して各画素を前記輝度値の降順に並び替えたソートデータ列を生成する画像抽出手段と、前記ソートデータ列の先頭から所定の閾値よりも大きい輝度値の画素を除いて得られるデータ列から前記第二の有効画素数分の画素を選択して出力するデータ選択手段とで構成されることを特徴とする請求項７に記載の画像処理装置。
前記特徴量算出手段は、前記対象画素選択手段が選択して出力した全ての画素の情報値の総和を前記第一の有効画素数で除算して前記平均輝度値を求めることを特徴とする請求項１０に記載の画像処理装置。
前記対象画素選択手段は、前記デジタル画像データから前記拡張パターン領域の全画素を抽出して輝度値毎の画素数のヒストグラムを作成する画像抽出手段と、前記ヒストグラムの情報値の大きい方から所定の閾値よりも大きい輝度値の画素を除いて輝度値毎の画素数を加算し、該加算値が前記第二の有効画素数に等しくなるまで輝度値と輝度値毎の画素数を出力するデータ選択手段とで構成されることを特徴とする請求項７に記載の画像処理装置。
前記特徴量算出手段は、前記対象画素選択手段が出力する輝度値と該輝度値毎の画素数を乗算した値を前記第一の有効画素数で除算して前記平均輝度値を求めることを特徴とする請求項１２に記載の画像処理装置。