JP5423278B2 - 色空間判別条件生成装置及びこれを使用した画像検査装置 - Google Patents

色空間判別条件生成装置及びこれを使用した画像検査装置 Download PDF

Info

Publication number
JP5423278B2
JP5423278B2 JP2009217356A JP2009217356A JP5423278B2 JP 5423278 B2 JP5423278 B2 JP 5423278B2 JP 2009217356 A JP2009217356 A JP 2009217356A JP 2009217356 A JP2009217356 A JP 2009217356A JP 5423278 B2 JP5423278 B2 JP 5423278B2
Authority
JP
Japan
Prior art keywords
color space
model
distribution
standard model
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009217356A
Other languages
English (en)
Other versions
JP2010223933A (ja
Inventor
博之 國分
佑毅 茶薗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2009217356A priority Critical patent/JP5423278B2/ja
Publication of JP2010223933A publication Critical patent/JP2010223933A/ja
Application granted granted Critical
Publication of JP5423278B2 publication Critical patent/JP5423278B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、例えば医薬品の原末や顆粒などの粉粒体に混入する異物を検査するカラー粉粒体異物検査装置などの検査装置に適用して好適な色空間判別条件生成+-装置及びこれを使用した画像検査装置に関する。
この種の画像検査装置として、カラー画像を用いる方法で、色空間を用いたものが知られている。色空間は、光の三原色である赤・緑・青を3次元の変数R,G,Bに置き換え、これらの画像データを3次元空間に変換したものであって、画像を構成する各色の分布状態を表すことができる。すなわち、図19に示すように、図19(a)に示すカラー画像を、図19(b)に示すRGB画素を整列させたカラーイメージセンサで撮像することにより、図19(c)に示すようにRGBの各色を座標値とした3次元の色空間として表示することができる。
このような色空間を用いた画像検査方法は、図20に示すように、図20(a)に示す色空間に、図20(b)に示す球や立方体で構成された判別条件となる図形モデルを任意の位置・大きさで配置し、モデル図形の領域範囲に画像の分布が含まれているか否かで良品・不良品の判定を行っている。
従来の色空間での判別条件設計は、正常と見なした画像を色空間に変換し、この色空間を元にモデル図形の位置や大きさを閾値として手動で設定するようにしている。
すなわち、図21に示すように、正常なカラー画像を色空間変換部101に入力し、この色空間変換部101でRGBの3次元色空間情報に変換し、この変換した3次元色空間情報を表示・履歴入力部102に供給して、ディスプレイの表示画面情報に3次元色空間情報を表示する。そして、判別条件モデル図形生成部103で、オペレータがディスプレイに表示された3次元色空間情報の分布領域を判断して、分布領域の位置や大きさを閾値として入力することにより、3次元空間情報の分布領域を囲む、例えば球で構成される判別条件モデル図形を生成し、生成した判別条件モデル図形を所定の記憶領域に記憶する。
そして、製品の検査時に、記憶領域に記憶されている判別条件モデル図形を判別条件として判別条件記憶部104に記憶し、カラー撮像装置で撮像したカラー画像を同様に色空間変換部105で3次元色空間情報に変換し、変換した3次元色空間情報と判別条件記憶部104に記憶されているモデル図形とを比較部106で比較することにより、判定結果処理部107で良否判定するようにしている。
このように判別条件の設計によって、検査結果が決まることから、判別条件の設計は重要となっている。
ところで、従来の判別条件を設計する装置としては、例えば、判別条件を自動的に設定する方法として、赤・緑・青の各画素データ(RGB値)を、L*a*b*表色系又はL*u*v*表色系の均等色空間においてほぼ球状に分布する特徴を有する各表色系のL*a*b*データ又はL*u*v*のデータに変換し、該L*a*b*データ又はL*u*v*のデータを所定のしきい値と比較する。この所定のしきい値は、球状しきい値RYであって、かつ該球状しきい値RYにおける外周部の不良領域Fを有する所定部分(除外部X)を面状しきい値Tによって除外するようにしたものであり、これにより球状しきい値RYの半径rを小さくすることなく不良領域Fを排除する粒状物色彩選別機が提案されている(例えば、特許文献1参照)。
特開2005−230703号公報
しかしながら、上記特許文献1に記載の従来例にあっては、球状しきい値RYに対して面状しきい値Tを設定して不良領域Fを排除するようにしているので、識別精度をある程度向上させることができるものであるが、薄く広い分布又は細長い分布を持つ場合には、面状しきい値Tで不良領域Fを排除するには限界があり、本来包含したい色ではない範囲までも大きく含んでしまい、本来不良品と判定すべき状況であっても良品とし判定してしまい、検査精度の低下につながるという未解決の課題がある。
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、三次元色空間を使用して良否判定を行なう場合に、判別条件の設定を容易且つ正確に行なうことができる色空間判別条件設定装置及びこれを使用した画像検査装置を提供することを目的としている。
本発明は、上記目的を達成するために、正常な検査対象物を撮像したカラー画像情報の各画素データを3次元の色空間上の値に変換する色空間変換部と、閉空間領域を定める境界条件が既知である予め準備された標準モデルと、前記色空間変換部で変換した3次元の色空間上の分布に基づいて前記標準モデルを決定し、該決定した標準モデルを幾何変換することで前記3次元の色空間上の分布を囲むモデル図形領域を設定する、モデル図形領域設定部と、前記3次元の色空間上の全ての値を、前記モデル図形領域設定部で行った幾何変換の逆変換を行い、該逆変換を行った値と前記境界条件とに基づいて、前記3次元の色空間上の値が前記モデル図形領域に含まれるか否かを判別することを可能としたことを特徴としている。
本発明によれば、良品検査対象を撮像したカラー画像情報をRGB、HSI、YUV等の3次元色空間に変換し、この色空間上の値の分布に応じた標準モデルを決定し、さらに標準モデルを幾何変換して図形領域を設定するため、3次元色空間上の値の分布に応じた自由度が高いモデル図形領域の設定が可能となる。
また、幾何変換してモデル図形領域を設定しても、3次元色空間上の値を幾何逆変換した値と標準モデルとを比較することで、3次元の色空間上の値が前記モデル図形領域に含まれるか否かを判別することが可能となる。
さらに、上記効果が得られる判別条件生成装置を使用して、検査対象物の検査を行なうことにより、良否判定を高精度で行なうことができる画像検査装置を提供することができる。
本発明を粉粒体異物検査装置に適用した場合の一実施形態を示すシステム構成図である。 図1の粉粒体異物検査機構をその一部を断面として示す正面図である。 回転ドラムを示す断面図である。 第1の実施形態における画像処理装置で実行する判別条件テーブル生成処理手順の一例を示すフローチャートである。 3次元色空間の分布と分布の大きさDの関係を示す図である。 画像処理装置で実行する異物検査処理手順の一例を示すフローチャートである。 アフィン変換処理を示すブロック図である。 アフィン逆変換処理およびアフィン変化処理の対応関係を示すブロック図である。 従来例のアフィン変換処理を説明する説明図である。 異物検査処理を説明する説明図である。 3次元色空間の分布の主軸ベクトルと回転パラメータとの関係を示す図である。 第2の実施形態における画像処理装置で実行する判別条件テーブル生成処理手順の一例を示すフローチャートである。 基準軸をZ軸とした場合の回転パラメータの説明図である。 第3の実施形態における画像処理装置で実行する判別条件テーブル生成処理手順の一例を示すフローチャートである。 3次元色空間の分布の具体例を示す図である。 3次元色空間の分布を正規化した具体例を示す図である。 正規化された3次元色空間の分布を第1回目のクォータニオン逆変換を行った具体例を示す図である。 第1回目のクォータニオン逆変換された3次元色空間の分布を第2回目のクォータニオン逆変換を行った具体例を示す図である。 従来例のカラー画像情報をRGBの3次元色空間に変換する処理を説明する説明図である。 3次元色空間情報及び判別条件モデルを示す説明図である。 従来の判別条件テーブル形成処理を示すブロック図である。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明の第1の実施形態を示すシステム構成図であって、図中、1は医薬品の原末や顆粒等の比較的微細な粒径が数十μm〜数百μm程度の粉粒体に混入する異物を検査するカラー粉粒体異物検査装置である。
このカラー粉粒体異物検査装置1は、粉粒体貯留ホッパー2、フィーダ3、異物検査機構4、良品回収槽5、サイクロン6、不良品回収槽7、ブロア8及び中性フィルタ9を有する。
粉粒体貯留ホッパー2は、検査対象となる粉粒体を貯留する。フィーダ3は、ホッパー2から切り出された粉粒体を上下方向に重ならないように平準化して搬送する2段の振動コンベヤ3a及び3bを有する。
異物検査機構4は、フィーダ3から平準化されて搬送される粉粒体が外周面に落下されて粉粒体を搬送する回転ドラム11と、この回転ドラム11上の粉粒体に対して軸方向に延びるライン状照明領域12を形成する照明機構13と、この照明機構13で形成されたライン状照明領域12のカラー画像情報をライン状に撮像するカラーライン撮像装置14とを備えている。
ここで、回転ドラム11は、図2および図3に示すように、垂直支持板部15に片持ち状態で回転自在に支持されている。この回転ドラム11は、図3に示すように、垂直支持板部15に形成された透孔16内に回転自在に支持された基部11Aと、この基部11Aに装着される有底円筒部11Bとで構成されている。
基部11Aは、透孔16内に挿通され且つ後述する支持軸11hに転がり軸受11aを介して回転自在に支持された内筒部11bと、この内筒部11bの垂直支持板部15の表面側端部に一体に形成された円板状のフランジ部11cと、このフランジ部11cの外周縁から垂直支持板部15側に延長する外筒部11dとで構成されている。
また、有底円筒部11Bは、基部11Aのフランジ部11cと外筒部11dとの連接部の外周面に装着される透光性を有する例えば乳白色のアクリル板で形成された透光性円筒部11fと、この透光性円筒部11fの自由端側を閉塞する端板部11gとで構成されている。
そして、端板部11gが、垂直支持板部15の裏面側で固定支持され且つ基部11Aの内筒部11b内を挿通して延長する支持軸11hの自由端に転がり軸受11iを介して回転自在に支持された回転円板11jの外周側に取付ネジ11kによって装着されている。
一方、垂直支持板部15の裏面側の透孔16の周囲にスタッド11mが固定され、このスタッド11mにユニットベース板11nが取付けられ、このユニットベース板11nに固定フランジ11oがボルト留めされ、この固定フランジ11oに支持軸11hがカラー11pによって固定支持されている。
また、ユニットベース板11nには速度制御可能な駆動モータ11qが取付けられ、この駆動モータ11qの出力軸11rに装着された駆動平歯車11sが回転ドラム11の基部11Aに装着された従動歯車11tに噛合されている。したがって、駆動モータ11qを駆動制御することにより、回転ドラム11が所定回転速度(例えば40min-1程度)で図1において反時計方向に回転駆動される。このため、回転ドラム11はその最上部でフィーダ3の振動コンベヤ3bから落下する粉粒体を受け取り、この粉粒体を反時計方向に搬送して略90度回転した滑落位置で良品回収ホッパー11uを介して良品回収槽5に回収される。
なお、透光性円筒部11fは、清掃・点検時に基部11Aから着脱する際に、支持軸11hに固定された先端に案内ローラ11vを有する支持部材11wによって内周面が後述する内側照明部22の外周側端部に接触しないように案内される。
また、回転ドラム11の粉粒体滑落位置よりライン状照明領域12側における回転ドラム11によって搬送される粉粒体に対向する位置に軸方向に延びる異物が混入した粉粒体を吸引除去する異物吸引ノズル17が配設されている。この異物吸引ノズル17には、図1に拡大図示するように回転ドラム11の下流側に空気を噴射するエアーカーテン機構17aが形成されている。
照明機構13は、図2に示すように、前述した垂直支持板部15に片持ち状態で支持されて回転ドラム11の外側に配設された外側照明部21と、回転ドラム11の内側に支持された内側照明部22とを有する。
外側照明部21は、回転ドラム11の回転中心を通る垂直線L1に対して所定角度θ(例えばθ≒10°)傾斜した回転ドラム11の回転中心を通る傾斜線L2を挟んで左右対象位置に配設された一対の白色の発光ダイオードで構成された照明光源21A及び21Bと、これら照明光源21A及び21Bの出射側に配設された集光レンズ21C及び21Dとを有する。そして、照明光源21A及び21Bで、前記傾斜線L2と回転ドラム11の外周面との交点を軸方向に所定幅のライン状照明領域12を形成するように照明光を照射する。ここで、照明光源21A及び21Bの夫々は、図2に示すように、照明光源21A及び21Bと集光レンズ21C及び21Dとを支持するケース体21Eが垂直支持板部15に片持ち状態で支持されている。そして、照明光源21A及び21Bと集光レンズ21C及び21Dとが回転ドラム11を構成する透光性円筒部11fと平行関係を保って対向されている。
なお、外側照明部21の照明光源21A及び21Bは、光の三原色であるRGBの三色の発光ダイオードで構成され、光原色を調光可能としても良い。さらに、外側照明部21の照明光源21A及び21Bは、光の三原色であるRGBの三色の発光ダイオードおよび白色の発光ダイオードで構成されていても良い。
内側照明部22は、図2及び図3に示すように、光の三原色であるRGBの三色の発光ダイオードで構成された光源色を調光可能な照明光源22Aを有し、前述したライン状照明領域12に対して回転ドラム11内から照明光を照射する。この内側照明部22は、支持軸11hに固定された支持板部22B,22Cによって固定支持され、照明光源22Aが透光性円筒部11fに形成されたライン状照明領域に近接対向されている。
なお、内部照明部22は。光の三原色であるRGBの三色の発光ダイオードおよび白色の発光ダイオードで構成されていても良い。また、検査対象物の裏面からの照明の必要はなく、背景色を変える必要がない場合には、内部照明部22に代替して反射板を設けても良い。
また、カラーライン撮像装置14は、図2に示すように、前述した垂直支持板部15に片持ち状態で固定された支持部材14aを有し、この支持部材14aにカラーライン撮像カメラ14bがその光軸を傾斜線L2に一致させるように配設され、照明機構13によって照明されたライン状照明領域12をライン状に撮像してライン状のカラー画像情報を制御装置30に出力する。
サイクロン6は、その出力側がブロア8に設けられた粗フィルタ8aに接続され、入力側が異物吸引ノズル17及び回転ドラム11の下側に溜まる未回収粉粒体を吸引する粉粒体吸引ノズル18が接続された構成を有する。そして、ブロア8の吸引力で、サイクロン6を介して異物吸引ノズル17及び粉粒体吸引ノズル18で回収された異物が混入された粉粒体と未回収粉粒体とを吸引し、サイクロン6で固気分離する。
ブロア8の出力側には中性フィルタ9が接続され、この中性フィルタ9で空気に含まれる残留粒子を除去して大気に放出する。
また、良品回収槽5で回収された良品粉粒体は、良品回収槽5の上部側のホッパー部5aに貯留され、このホッパー部5aに所定量の良品粉粒体が貯留されると、ホッパー部5aの下側に配設された開閉弁5bが開状態に制御されて、下側の加圧室5cに落下され、この加圧室5cで加圧された良品粉粒体が例えば混合容器10に空気輸送される。
制御装置30は、フィーダ3の粉粒体搬送速度、回転ドラム11の粉粒体搬送速度、照明機構13の照明光源21A,21B,22Aの点灯制御及び異物吸引ノズル17の異物吸引動作を制御するプログラマブルコントローラ31と、カラーライン撮像装置14で撮像したカラーライン画像情報に基づいて画像処理を行って異物検査を行う画像処理装置32と、異物検査結果等を表示するとともに、異物検査を指示する液晶タッチパネル33と、プログラマブルコントローラ31、画像処理装置32及び液晶タッチパネル33を統括管理する管理用パーソナルコンピュータ34とを備えている。
そして、画像処理装置32は、例えばマイクロコンピュータを含んで構成され、カラーライン撮像装置14から入力されるカラーライン画像情報に基づいて判別条件テーブル生成処理及び異物検査処理を実行する。
先ず、異物検査処理を実行する前に、粉粒体貯留ホッパー2に異物が混入していない良品粉粒体を所定量貯留しておき、この状態で、判別条件テーブル生成処理を実行する。この判別条件テーブル生成処理は、図4に示すように、先ず、ステップS1で、粉粒体貯留ホッパー2から良品粉粒体の切出しを開始する切出開始指令をプログラマブルコントローラ31に出力し、次いでステップS2に移行して、照明機構13の外側照明部21の照明光源21A及び21Bと内側照明部22の照明光源22Aを、所定色(例えば白色)で回転ドラム11の外周面上に軸方向に延長するライン状照明領域12を形成するように照明する点灯指令をプログラマブルコントローラ31に出力する。
次いで、ステップS3に移行して、回転ドラム11を回転させる回転指令をプログラマブルコントローラ31に出力する。
次いで、ステップS4に移行して、粉粒体貯留ホッパー2から切出された良品粉粒体がフィーダ3の振動コンベヤ3a及び3bを介して回転ドラム11上に落下するに十分な所定時間が経過したか否かを判定し、所定時間が経過していないときには所定時間が経過するまで待機し、所定時間が経過したときには、ステップS5に移行する。
このステップS5では、カラーライン撮像装置14でライン状照明領域12を撮像したカラーライン画像情報を読込み、次いで、ステップS6に移行して、読込んだカラーライン情報をRGBの3次元色空間に変換する。このとき、例えばRGBの個々の階調は整数で表される0〜255の256階調に設定される。なお、以下の説明において3次元色空間の座標軸は、R軸はX軸、G軸はY軸、B軸はZ軸に対応するものとして説明する。
次いで、ステップS7に移行して、統計分析処理としての主成分分析処理を実行して、3次元色空間に形成された良品粉粒体の分布の大きさD(Dx,Dy,Dz)、良品粉粒体の分布の角度θ(θx,θy,θz)、分布の重心点座標G(Gx,Gy,Gz)を求める。
3次元空間に形成された良品粉体の分布に対して主成分分析処理を実行することによって、分布の特徴ベクトルの1つである分布の主軸ベクトルを求める事ができる。より具体的には、分布の平均値から分散を得て、共分散行列を作成し、固有値を求め、その行列を対角化することで分布の近似された固有ベクトルを得る。ここで求めた固有ベクトルが主軸ベクトルE(Ex,Ey,Ez)である。
ここで、分布の大きさD(Dx,Dy,Dz)は、分布の角度θ(θx,θy,θz)である場合に、X軸,Y軸,Z軸を分布の主軸と一致させた新たな座標系XD軸,YD軸,ZD軸からなる各軸における分布の大きさである。図5に、分布の大きさD(Dx,Dy,Dz)と分布の関係を示す。また、分布の重心点座標G(Gx,Gy,Gz)は、色空間の座標系(X軸,Y軸,Z軸)における座標値である。
次いで、ステップS8に移行して、上記ステップS7で求めた大きさDに基づいて標準モデルを決定する。例えば、標準モデルとして下記(1)のように原点を中心とした楕円球の式が予め準備されている。楕円球の式における各軸の半径の長さを表す係数a,b,cを分布の大きさD(Dx,Dy,Dz)に基づいて求め、標準モデルを決定する。係る場合、標準モデルは後の幾何変換において拡大または縮小しないものとして、倍率S(Sx,Sy,Sz)はSx=Sy=Sz=1とする。
2/a2+y2/b2+z2/c2≦1 ・・・・(1)
例えば、係数a=Dx,b=Dy,c=Dzとすることができる。また、予め余裕度p、q、rを定めておき、係数a=Dx+p,b=Dy+q,c=Dz+rとすることとしても良い。次いで、ステップS9に移行して、ステップS8で決定された標準モデルを、ステップS7で求めた分布の角度θ(θx,θy,θz)およびステップS8で求めた倍率Sに基づいて幾何変換し、さらに、幾何変換後の標準モデルの中心点をステップS7で求めた重心点座標Gに移動させることでモデル図形領域を演算により設定する。
なお、標準モデルとして下記(2)のように原点を中心とした単位球の式を用いる場合には、ステップS8にて係数a=b=c=1として標準モデルを決定し、さらに、倍率SをSx=Dx,Sy=Dy,Sz=Dzと決定し、ステップS9における幾何変換において、分布の角度θ(θx,θy,θz)および倍率Sに基づいて幾何変換することでモデル図形領域を設定することも可能である。
2+y2+z2≦1 ・・・・(2)
次いで、ステップS10に移行して、先ず、RGB色空間に対応するX軸,Y軸,Z軸で表され、それぞれが0〜255の整数座標を有する空の判別条件テーブルを用意し、次いで、ステップS11に移行して、用意した判別条件テーブルの選択されていない1点(x,y,z)を選択し、次いでステップS12に移行して、前述したステップS7の主成分分析処理で求めた重心点座標G(Gx,Gy,Gz)を(0,0,0)とする正規化(平行移動)を行って座標(x′,y′,z′)を算出する。すなわち、0〜255の座標系を持った空の判別条件テーブルの1つの座標値(x,y,z)を重心点座標G(Gx,Gy,Gz)が中心点(0,0,0)となる、正規化した座標(x′,y′,z′)=(x−Gx,y−Gy,z−Gz)を算出する。
次いで、ステップS13に移行して、正規化した座標(x′,y′,z′)について分布の角度θに−1を乗算した角度を回転変換の角度−θ(−θx,−θy,−θz)とし、倍率を1/S(1/Sx,1/Sy,1/Sz)として、幾何逆変換であるアフィン逆変換を行い、標準モデルにおける座標系の座標(x″,y″,z″)を算出する。
ここで、アフィン変換の一般式は下記(3)式で表され、このうちアフィン変換の拡大縮小式は下記(4)式で表され、アフィン変換の回転式は下記(5)〜(7)式で表される。
したがって、選択された座標(x,y,z)を正規化した座標(x’,y’,z’)と回転変換の角度−θ(−θx,−θy,−θz)を使用して回転変換を行う。
ここでは、座標(x’,y’,z’)と角度−θyとを前述した(6)式の右辺に代入することにより、Y軸回転変換を行って座標(xy,yy,zy)を算出する。
次いで、角度−θxと、Y軸変換で算出した座標(xy,yy,zy)とを前記(5)式の右辺に代入することにより、X軸回転変換を行って、座標(xx,yx,zx)を算出する。
算出した座標(xx,yx,zx)と拡大縮小係数として倍率S(1/Sx,1/Sy,1/Sz)とを前記(4)式の右辺に代入することによりスケール変換して標準モデルの座標系の座標(x″,y″,z″)を算出する。
なお、上記例では、Y軸回転変換に続いてX軸回転変換を行って幾何逆変換を行う場合について説明したが、これに限定されるものではなく、モデル図形領域を設定する際に行った幾何変換における回転変換の逆の順番で行えば良い。つまり、幾何変換でZ軸回転変換の後にY軸回転変換を行った場合には、Y軸回転変換に続いてZ軸回転変換を行えば良く、幾何変換でX軸回転変換の後にZ軸回転変換を行った場合には、Z軸回転変換に続いてX軸回転変換を行えばよい。
次いで、ステップS14に移行して、算出した標準モデルの座標(x″,y″,z″)と前記ステップS8で設定した係数a,bおよびcとを前記(1)式に代入して、この(1)式を満足するか否かを判定し、この(1)を満足する場合には、ステップS15に移行して、正常品領域内の点であると判断して判別条件テーブルの該当する選択された座標(x,y,z)にフラグを書込んでからステップS16に移行する。このフラグとしては例えばTABLE(x,y,z)=1と設定する。
また、ステップS14での判定結果が、(1)式を満足しない場合には、フラグを書込むことなく直接ステップS16に移行する。
このステップS16では、判別条件テーブルの全ての点についてアフィン逆変換による変換を行ったか否かを判定し、未変換の点が存在する場合には、ステップS17に移行して、次の点を選択してから前記ステップS12に移行し、全ての点の変換が終了したときには、ステップS18に移行して、生成した判別条件テーブルを図示しないメモリの判別条件テーブル記憶領域に記憶してから判別条件テーブル生成処理を終了する。
次に異物検査処理は、粉粒体貯留ホッパー2に検査対象となる粉粒体を貯留し、この粉粒体貯留ホッパー2から粉粒体を切出し、フィーダ3の振動コンベヤ3a及び3bで粉粒体を平準化し、回転ドラム11の透光性円筒部11fに落下させて、この透光性円筒部11f上に載置するようして検査を開始する。
この異物検査処理は、図6に示すように、先ず、ステップS21で、カラーライン撮像装置14で撮像したカラーライン画像情報を読込み、次いでステップS22に移行して、読込んだカラーライン画像情報をRGBの3次元色空間に変換する。
次いでステップS23に移行して、変換されたカラーライン画像情報の分布と上述した判別条件テーブル生成処理で生成してメモリの判別条件テーブル記憶領域に記憶されている判別条件テーブルとを比較して、検査対象となる粉粒体の3次元色空間での分布で判別条件テーブルに格納された正常品領域に含まれない分布が存在するか否かを判定し、検査対象粉粒体の3次元色空間での分布が全て判別条件テーブルに格納された正常品領域に全て含まれる場合には、ステップS24に移行して異物検査処理を終了するか否かを判定し、異物検査処理を終了する場合には異物検査処理を終了し、そうでない場合に前記ステップS21に戻る。
一方、前記ステップS23の判定結果が、正常品領域を外れる分布が存在するものであるときには、異物が混入されているものと判断してステップS25に移行して、異物の混入を表す異物排除指令をプログラマブルコントローラ31に出力してから前記ステップS24に移行する。
プログラマブルコントローラ31では、上述した異物検査処理による異物排除指令を受信すると、受信した時点から該当する異物混入領域が異物吸引ノズル17の位置に達するまでの所定時間待機した後、異物混入領域が異物吸引ノズル17の位置に達する直前から異物吸引ノズル17を通過した直後までの間で異物吸引ノズル17を吸引動作させて、異物混入領域の異物を粉粒体とともに吸引して排除する。
この図4の処理で、ステップS6の処理が色空間変換部に対応し、ステップS7〜ステップS9の処理がモデル図形領域設定部に対応し、ステップS10〜ステップS18の処理がテーブル生成部に対応している。
また、図5の処理が良否判定処理部に対応している。
なお、上記においては標準モデルを楕円球式(1)のみを用いる場合について説明しているが、標準モデルとして、球、立方体、直方体、多角形柱、多角形錐、円柱、円錐等の複数の閉空間領域を形成する標準モデルを予め準備し、主成分分析の結果に基づいて色空間における分布形状に基づいて適切な標準モデルを決定するようにしても良い。標準モデルは、閉空間領域を形成する境界条件が既知であれば、各種図形を用いることが可能である。また、標準モデルとして、複数の標準モデルを組み合わせて1つの標準モデルを構成してもよい。
さらに、色空間における分布を主成分分析で解析することなく、ユーザーが液晶タッチパネル33に表示された色空間における分布を参照し、標準モデルを決定しても良い。ここでの決定とは、液晶タッチパネルに3次元色空間による分布を表示し、複数の標準モデルから使用する標準モデルを液晶タッチパネル33を用いて選択し、選択した標準モデルを液晶タッチパネル33に表示されている色空間の分布を囲むように大きさおよび角度を変更して配置することを含む。ユーザーによって決定された大きさ、角度、配置の情報に基づいて、標準モデルの変数、倍率、標準モデルが配置された中心点座標を求めることは容易であり、これらを用いて幾何逆変換を行うことで上記同様に判別条件テーブルを生成できる。
次に、上記実施形態の動作を説明する。
今、粉粒体に混入する異物検査を実施するに先立って、良品粉粒体を用いて判定条件テーブルを生成する判定条件テーブル生成処理を実行する。
この判定条件テーブル生成処理では、先ず、異物の混入がない良品粉粒体を用意し、この良品粉粒体を粉粒体貯留ホッパー2内に貯留する。
この状態で、例えば、画像処理装置32で、液晶タッチパネル33にメニュー表示を行う。このメニュー表示は、例えば判定条件テーブル生成処理が表示された表示領域と異物検査処理が表示された表示領域とが表示されており、このメニュー表示で判定条件テーブル生成処理の表示領域にオペレータが直接タッチして選択することにより、判定条件テーブル生成処理が実行開始される。
このため、先ず、粉粒体貯留ホッパー2から良品粉粒体を切出す切出開始指令がプログラマブルコントローラ31へ出力され、次いで照明機構13に対して外側照明部21の照明光源21A,21Bおよび内側照明部22の照明光源22Aを点灯させる点灯指令をプログラマブルコントローラ31へ出力し、さらに回転ドラム11を回転させる回転指令をプログラマブルコントローラ31へ出力する。
このため、プログラマブルコントローラ31で粉粒体貯留ホッパー2から粉粒体を切出す制御を行うと共に、フィーダ3の振動コンベヤ3aおよび3bで粉粒体が上下に重ならないように平準化しながら搬送する制御を行い、回転ドラム11を回転させる。
そして、振動コンベヤ3bの後端から回転ドラム11に落下した良品粉粒体が照明部13で照明されたライン状照明領域12に達すると、このライン状照明領域12を撮像するカラーライン撮像装置14で撮像されたカラーライン画像情報を読込んで、このカラーライン画像情報をRGBの3次元色空間へ変換する。
変換された3次元色空間の画素分布を主成分分析処理することにより、分布の大きさD(Dx,Dy,Dz)、角度θ(θx,θy,θz)および重心点座標G(Gx,Gy,Gz)、主軸ベクトルE(Ex,Ey,Ez)を算出する。
次いで、算出した分布の大きさDx,Dy,Dzに基づいて前記(1)式の楕円球の式の係数a,bおよびcを決定する。
そして、決定した係数a,bおよびcを前記(1)式に代入して標準モデルを決定する。ただし、倍率S(Sx,Sy,Sz)はSx=Sy=Sz=1とする。
なお、標準モデルとして前記(2)式のように原点を中心とした単位球の式を用いる場
合には、前記数式(1)式の係数をa=b=c=1として標準モデルを決定し、大きさD(Dx,Dy,Dz)を倍率S(Sx=Dx、Sy=Dy、Sz=Dz)とする。
次に決定した標準モデルを、角度θ(θx,θy,θz)と倍率S(Sx,Sy,Sz)とに基づいて幾何変換し、さらに、標準モデルの中心点を重心点座標G(Gx,Gy,Gz)に移動させ、色空間における良品分布領域を囲むモデル図形領域を設定する。
ここで、説明を簡単にするため決定されたモデル図形領域は、標準モデルの角度が、θx=30°、θy=30°、θz=0°で大きさSx=Sy=Sz=1倍、重心点座標G(100,100,100)とする。角度変換では、3つの角度のうち2つを選択して行い、その選び方は、XY,YZ,ZXの3通りがあり、任意に選択することができる。以下、XYを選択した場合について説明する。
また、幾何変換としてアフィン変換を適用した場合の判定条件テーブル生成について説明する。そして、空の判定条件テーブルから各点を選択して、その各点を重心点座標G(Gx,Gy,Gz)が(0,0,0)となるように正規化(平行移動)した後に、幾何逆変換としてのアフィン逆変換を行って選択した点が標準モデルに包含されるか否かを判定することにより、判定条件テーブルの正常品領域を設定することができる。
すなわち、アフィン逆変換を行う場合には、アフィン逆変換公式に角度を−θx、−θyおよび係数を1/Sx、1/Sy、1/Szに置き換えて演算を行う。
先ず、判別モデルの重心点座標を(100,100,100)とし、空の判定条件テーブルから選択された正規化前の座標を(200,200,200)としたときに、正規化処理を行うことにより、正規化後の座標は(x′,y′,z′)=(100,100,100)となる。この正規化後の座標(x′,y′,z′)=(100,100,100)をY軸角度変換部51で、正規化後の座標(100,100,100)及び角度−θyとを前記(6)式のy軸の回転式に代入して、Y軸回転変換する。次いで、X軸角度変換部52で、(5)式のX軸の回転式に−θxとY軸回転変換でえられた座標を代入して回転変換し、座標(154,35,68)が得られる。さらに、X軸角度変換部52で得られた座標(154,35,68)をスケール変換部53でスケール変換する。このスケール変換は、アフィン変換の前記(4)式で表される拡大縮小式に座標(154,35,68)と係数1/Sx、1/Sy、1/Szとを代入することにより、座標(154,35,68)を得る。結果として、アフィン逆変換後の座標(x″,y″,z″)として座標(154,35,68)が得られる。なお、図7に示すように、この座標は、θxおよびθyでの逆の手順であるSx,Sy,Sz倍のスケール変換→X軸θx回転変換→Y軸θy回転変換の流れでアフィン変換すると、正規化後の座標(100,100,100)に戻すことができる。幾何逆変換と幾何変換の手順は互いに逆方向としなければならず、図8に示すように、幾何変換では、座標(x″,y″,z″)をスケール変換部41でスケール変換し、次いでX軸変換部42でX軸回転変換し、最後にY軸変換部43でY軸回転変換することにより、座標(x′,y′,z′)を得ることができる。
そして、アフィン逆変換で最後に得られた座標(x″,y″,z″)=(154,35,68)を前述した標準モデルとして決定した楕円球の式に代入して演算することにより、演算結果が1以内であれば、このアフィン逆変換後の座標(x″,y″,z″)=(154,35,68)は正常範囲を表す楕円球に包含されていることになり、1を超える場合には楕円球の外側に存在する座標と見做すことができる。
したがって、楕円球内に包含されたと判定されたときに、選択された判別条件テーブルにおける正規化前の座標(x,y,z)=(200,200,200)に対して、フラグを書き込む。これを判別条件テーブルの全ての点に対して行うことでき、判別条件テーブルには、正常品領域が穴抜けや境界面が粗くなることなく正確に設定されることになる。
このように、上記実施形態によると、判別条件テーブルを生成する際に、決定した標準モデルにおいて、モデル内に包含されるか否かを数式又は関数を用いて判断することができるので、シンプルなプログラム構成を実現することができる。
因みに、通常は、数式で表される楕円球の標準モデルが設定されたときに、この標準モデルをスケール変換及び回転変換を行うアフィン変換を行って条件判定テーブルを形成する場合があるが、このようにしてアフィン変換によって条件判定テーブルを形成した場合には、精度の良い条件判定テーブルを形成することができないという問題点がある。
すなわち、ある図形を構成する点群をアフィン変換し、判別条件テーブルの空間内に範囲情報を記録する場合、判別条件テーブル内に穴抜けの発生や境界面が粗くなる現象が発生する。この原因は、アフィン変換を行う際に、一時的に生成された空間テーブルに対して図形を書き込む必要がある。この空間テーブルは整数によって構成される座標系となっており、判定条件テーブルの角度変換によって小数点の値が得られた場合、図9に示すように、小数点以下を考慮することができず、誤差が生じるからである。このため、全ての点が均一に変換されることはなく、穴抜け、境界面の粗さという問題が発生する。この問題は、図形の形状・大きさ・角度といった条件によって異なり、判別条件テーブルの検査性能評価を難しくしており、判別条件設計法における回転・拡大縮小といった変形を用いた設計を行うことができないものであった。
これに対して、本発明では、上述したように、アフィン逆変換を利用して判別条件テーブルを生成するようにしているので、穴抜けや境界面の粗さが生じることなく正確な正常品領域を設定することができる。
そして、上記のようにして判別条件テーブルが生成され、これがメモリの判別条件テーブル記憶領域に記憶されると、この判別条件テーブルを使用して異物が混入した粉粒体の異物検査を正確に行うことができる。この異物検査は、前出したように液晶タッチパネル33に表示された表示メニューから異物検査処理を表す表示領域をオペレータが直接タッチすることにより、図6の異物検査処理が実行される。
この場合には、異物が混入している可能性がある検査対象粉粒体を粉粒体貯留ホッパー2に貯留し、この粉粒体貯留ホッパー2から検査対象粉粒体を定量切出し、フィーダ3の振動コンベヤ3aおよび3bで検査対象粉粒体が上下方向に重ならないように平準化して搬送し、回転ドラム11の透光性円筒部11f上に落下させ、この透光性円筒部11f上で一層化させて照明機構13で照明されたライン状照明領域12に連続的に搬送する。
そして、図6の異物検査処理が実行開始されると、ライン状照明領域の検査対象粉粒体が順次カラーライン撮像装置14で撮像され、このカラーライン撮像装置14で撮像されたカラーライン画像情報を読込み(ステップS21)、読込んだカラーライン画像情報をRGBの3次元色区間へ変換し(ステップS22)、変化された3次元色空間の分布が判別条件テーブルの正常品領域内であるか否かを判定し、正常品領域内であるときには正常であると判断して異物検査処理を終了するか否かを判定し、異物検査処理を継続する場合には再度カラーライン撮像装置14で撮像されたカラーライン画像情報を読込んで、上記判定処理を繰り返す。このように検査対象粉粒体に異物が混入していないときには、ライン状照明領域12を通過した検査対象粉粒体は略90°回転した滑落位置で回転ドラム11の透光性円筒部11fから滑落して良品回収槽5に回収される。この良品回収槽5では良品粉粒体がホッパー部5aに貯留され、その貯留量が所定量に達すると、開閉弁5bが開操作されて、下部の加圧室5cに送られ、この加圧室5cで加圧されて混合容器10に空気輸送される。
このとき、例えば図10(a)に示すように、正常な粉粒体61中に異物62が混入している場合は、この異物62を含むカラーライン画像情報をRGB3次元色空間へ変換したときに、図10(b)に示すように正常品の領域63と、異物の領域64とが形成されることになる。このため、図10(c)に示す正常品のみのカラーライン画像情報から生成した図10(d)に示す判定条件テーブルの正常品領域65と比較したときに、正常品の領域63は判別条件テーブルの正常品領域65に含まれることになる。しかしながら、異物の領域64は正常品領域65に含まれないことなり、異物混入と判定されて異物排除指令がプログラマブルコントローラ31に出力される。このため、プログラマブルコントローラ31で、ライン状照明領域12で異物の混入が検出された帯状領域が異物吸引ノズル17に達する直前から異物吸引ノズル17を吸引動作させて、異物を含む帯状の粉粒体を異物吸引ノズル17で吸引する。このとき、異物吸引ノズル17の下流側にエアーカーテン機構17aが設けられているので、下流側の正常な粉粒体が吸引されることを抑制することができる。
この異物吸引ノズル17で吸引された異物を含む粉粒体は、サイクロン6で固気分離され、粉粒体および異物は下方の不良品回収槽7に回収され、空気は、粗フィルタ8aでフィルタ処理されてブロア8に供給され、その排風側に設けられた中性フィルタでフィルタ処理されて大気に放散される。
なお、上記実施形態においては、カラーライン撮像装置14で撮像したカラーライン画像情報をRGBの3次元色空間に変換する場合について説明したが、これに限定されるものではなく、色相、彩度、輝度で表されるHSI(HSL)色空間や輝度信号と輝度信号及び青色成分との色差、輝度信号及び赤色成分との色差で表されるYUV色空間等の3次元色空間に変換するようにしても上記実施形態と同様の作用効果を得ることかできる。
また、上記実施形態においては、幾何変換としてアフィン変換を適用した場合について説明したが、これに限定されるものではなく、幾何変換としてはロドリゲスの回転公式やクォータニオン変換等の角度と大きさがX,Y,Z軸に対して任意に回転変換できる幾何変換であれば適用することができる。ここで、クォータニオン変換ではアフィン変換と同様に拡大縮小も行うことができる。
そして、ロドリゲスの回転公式は、下記(8)式で表すことができる。
また、クォータニオン変換は、座標(x,y,z)のクォータニオンQをQ=(t;x,y,z)で表す。ここで、tは任意の値で、ここでは0とする。
クォータニオンによる回転の計算式Fは、
F=B×Q×A=(t′;x′,y′,z′) ・・・・(9)
で表される。
ここで、AおよびBは、角度をθとし、xr,yr,zrを回転軸方向・拡大縮小を決定
する係数とすると、下記(10)式及び(11)式で表すことができる。
ただし、k倍に拡大縮小を行う場合には、kA,kBと表記し、スカラー倍する。
クォータニオンQ1=(t1;x1,y1,z1)とQ2=(t2;x2,y2,z2)との積は
1×Q2=(t12−V1・V2;t12+t21+V1×V2)・・・(12)
で表すことができる。
したがって、クォータニオンで角度変換する場合には、X軸基準回転では(Xr,Yr,Zr)=(1,0,0),Y軸基準回転では(0,1,0)、Z軸基準回転では(0,0
,1)となる。同時に、拡大縮小を行う場合には、各軸毎に拡大縮小の係数kを乗じる。拡大縮小は基準軸に対してのスカラー倍の大きさに拡大縮小することとなる。軸毎の変形は行えない。
なお、ステップS9において、設定されたモデル図形領域に包含されていない分布の点が存在する場合には、モデル図形領域が3次元色空間の分布を構成する全ての点を包含するための標準モデルのパラメータを算出し、ステップS8で決定した標準モデルを修正するようにしても良い。例えば、標準モデルのパラメータを所定のルールに従って変化させ、3次元色空間の分布を構成する全ての点を包含する複数の標準モデルのパラメータを求める。求められた複数の標準モデルから最小の体積となる標準モデルを求め、そのパラメータを用いて標準モデルおよびモデル図形領域を決定することができる。標準モデルのパラメータ変化させる所定のルールとして、標準モデルが前記(1)式の楕円球のである場合には、パラメータa,b,cを比率が変化しないように大きくする等、とすることができる。
また、ステップS7にて、分布の角度θ(θx,θy,θz)を求める代わり、X軸,Y軸,Z軸の何れかの軸を回転変換により主軸ベクトルに一致させるための、回転変換を行う順番、回転軸、回転角度からなる回転パラメータRTを求め、ステップ7以降の処理にて分布の角度θ(θx,θy,θz)の代わりに回転パラメータRTを用いる事もできる。
ここで、回転パラメータRT(θ1x,θ2z)は、1番目の回転変換はX軸にθ1回転し、2番目の回転変換はZ軸にθ2回転することを意味するものとし、回転パラメータRT(θ1z,θ2x,θ3z)は、1番目の回転変換はZ軸にθ1回転し、2番目の回転変換はX軸にθ2回転し、3番目の回転変換はZ軸にθ3回転することを意味する。回転パラメータは上記例に限定されず、X軸,Y軸,Z軸の何れかの軸を主軸ベクトルと一致させることができれば良く、回転パラメータRTは(θ1y,θ2z)、(θ1x,θ2y)、(θ1y,θ2x)、(θ1z,θ2y,θ3z)、(θ1x,θ2y,θ3x)等とすることができる。さらに、回転軸はX軸,Y軸,Z軸に限定されず、任意の軸とすることもできる。回転軸を任意の軸とした場合には、ロドリゲスの回転公式かクォータニオンによる回転を用いれば良い。
例えば、Z軸を分布の主軸と一致させる場合に、Z軸をY軸廻りにθ回転変換し、さらにZ軸廻りにφ回転変換させるものとする。この場合の回転パラメータRTは(θy,φz)と表し、分布の主軸と回転パラメータとの関係を図11に示す。図11において、θはZ軸と主軸のなす角である。φは、Z軸と直交するXY平面における主軸の写像とX軸とのなす角である。なお、θ、φは、主軸ベクトルE(Ex,Ey,Ez)から三角関数を用いて求める事ができる。求め方は周知であるので詳細な説明は省略する。
次に第2の実施形態について説明する。第2の実施形態は、第1の実施形態における判別条件テーブル生成処理は異なるが、システム構成等の他の部分は共通する。よって、共通する部分の説明は省略し、判別条件テーブル生成処理のみ説明する。
第2の実施形態における判別条件テーブル生成処理は、図12に示すように、先ず、ステップS201で、粉粒体貯留ホッパー2から良品粉粒体の切出しを開始する切出開始指令をプログラマブルコントローラ31に出力し、次いでステップS202に移行して、照明機構13の外側照明部21の照明光源21A及び21Bと内側照明部22の照明光源22Aを、所定色(例えば白色)で回転ドラム11の外周面上に軸方向に延長するライン状照明領域12を形成するように照明する点灯指令をプログラマブルコントローラ31に出力する。
次いで、ステップS203に移行して、回転ドラム11を回転させる回転指令をプログラマブルコントローラ31に出力する。
次いで、ステップS204に移行して、粉粒体貯留ホッパー2から切出された良品粉粒体がフィーダ3の振動コンベヤ3a及び3bを介して回転ドラム11上に落下するに十分な所定時間が経過したか否かを判定し、所定時間が経過していないときには所定時間が経過するまで待機し、所定時間が経過したときには、ステップS205に移行する。
このステップS205では、カラーライン撮像装置14でライン状照明領域12を撮像したカラーライン画像情報を読込み、次いで、ステップS206に移行して、読込んだカラーライン情報をRGBの3次元色空間に変換する。このとき、例えばRGBの個々の階調は整数で表される0〜255の256階調に設定される。
次いで、ステップS207に移行して、統計分析処理としての主成分分析処理を実行して、3次元色空間に形成された良品粉粒体の分布の主軸ベクトルE(Ex,Ey,Ez)、分布の重心点座標G(Gx,Gy,Gz)、分布の大きさD(Dx,Dy,Dz)、主軸ベクトルの回転パラメータθer(Axis,θpole,θrot)を求める。
ここで、主軸ベクトルの回転パラメータθer(AXIS,θpole,θrot)は、AXISはX軸,Y軸,Z軸の何れかであって主軸ベクトルと方向を一致させる基準軸を、θpoleは基準軸と主軸ベクトルとのなす角度を、θrotは基準軸中心の回転角度を意味する。具体例として、基準軸をZ軸とした場合の回転パラメータθer(Z,θpole,θrot)を図13に示す。図13からわかるように、基準軸Zを中心にθrot回転させ、基準軸Zと直交するXY平面上にある主軸ベクトルに直交する直交ベクトルRE(REx,REy,REz)を中心にθpole回転させると、基準軸と主軸とが一致する。なお、直交ベクトルREの求め方は周知であるので詳細な説明は省略するが、図13において直交ベクトルREは(sin(θrot−π/2), cos(θrot−π/2),0)となる。なお、基準軸AXISは、X軸またはY軸としても良い。
分布の大きさD(Dx,Dy,Dz)は、回転パラメータθer(AXIS,θpole,θrot)である場合に、座標軸を回転パラメータで回転させて基準軸と主軸と一致させた新たな座標系XD軸,YD軸,ZD軸からなる各軸における分布の大きさである。新たな座標軸と分布の大きさD(Dx,Dy,Dz)と分布の関係は図5と共通となる。
次いで、ステップS208に移行して、上記ステップS207で求めた大きさDに基づいて標準モデルを仮決定する。標準モデルの仮決定方法は第1の実施形態のステップS8と同じ処理なので、詳細な説明は省略する。なお、第2の実施形態では倍率S=1である。
次いで、ステップS209に移行して、ステップS208で仮決定された標準モデルを、ステップS207で求めた回転パラメータθer(AXIS,θpole,θrot)およびステップS208で求めた倍率Sに基づいて幾何変換し、さらに、幾何変換後の標準モデルの中心点をステップS207で求めた重心点座標Gに移動させ、モデル図形領域を仮設定する。ここで、仮設定されたモデル図形領域に包含されていない分布の点が存在する場合には、モデル図形領域が3次元色空間の分布を構成する全ての点を包含するための標準モデルのパラメータを算出する。例えば、標準モデルのパラメータを所定のルールに従って変化させ、3次元色空間の分布を構成する全ての点を包含する複数の標準モデルのパラメータを求める。求められた複数の標準モデルから最小の体積となる標準モデルを求め、そのパラメータを用いてモデル図形領域を決定することができる。標準モデルのパラメータ変化させる所定のルールとして、標準モデルが前記(1)式の楕円球のである場合には、パラメータa,b,cを比率が変化しないように大きくする等、とすることができる。
次いで、ステップS210に移行して、先ず、RGB色空間に対応するX軸,Y軸,Z軸で表され、それぞれが0〜255の整数座標を有する空の判別条件テーブルを用意する。
次いで、ステップS211に移行して、用意した判別条件テーブルの選択されていない1点(x,y,z)を選択する。
次いでステップS212に移行して、前述したステップS207の主成分分析処理で求めた重心点座標G(Gx,Gy,Gz)を(0,0,0)とする正規化(平行移動)を行って座標(x′,y′,z′)を算出する。算出方法はステップS12と同じであるので、詳細な説明は省略する。
次いで、ステップS213に移行して、正規化した座標(x′,y′,z′)について回転パラメータθer(AXIS,θpole,θrot)、主軸ベクトルの直交ベクトルRE(REx,REy,REz)を用い、数式(9)のクォータニオンによる回転式を用いて幾何逆変換であるクォータニオン逆変換を行い、標準モデルにおける座標系の座標(x″,y″,z″)を算出する。つまり、第一回目のクォータニオン逆変換は、回転軸方向を直交ベクトルREとし、回転角度を−θpoleとして回転変換を行う。第2回目のクォータニオン逆変換は、回転軸方向を基準軸とし、回転角度を−θrotとして回転変換を行う。
ここで、回転パラメータがθer(Z,θpole,θrot)、直交ベクトルREが(REx,REy,REz)の場合を例に説明する。第一回目のクォータニオン変換においてクォータニオン変換の計算式である前記(9)式の各クォータニオンは、
Q=(0;x′,y′,z′)・・・(13)
A=(cos(−θpole/2);REx・sin(−θpole/2),REy・sin(−θpole/2),REz・sin(-θpole/2))・・・(14)
B=(cos(−θpole/2);−REx・sin(−θpole/2),−REy・sin(−θpole/2),−REz・sin(−θpole/2))・・・(15)
となる。
クォータニオン変換の計算式である前記(9)式に、(13)式から(15)式のQ,A,Bを代入し、前記(12)式のクォータニオンの積の計算方法に従って計算し、F=(0;x′1,y′1,z′1)を得る。
さらに、第2回目のクォータニオン変換においてクォータニオン変換の計算式である前記(9)式の各クォータニオンは、
Q=(0;x′1,y′1,z′1)・・・(16)
A=(cos(−θrot/2);0・sin(−θrot/2),0・sin(−θrot/2),1・sin(-θrot/2))・・・(17)
B=(cos(−θrot/2);0・sin(−θrot/2),0・sin(−θrot/2),−1・sin(−θrot/2))・・・(18)
となる。
クォータニオン変換の計算式である(9)式に、前記(16)式から(17)式のQ,A,Bを代入し、前記(12)式のクォータニオンの積の計算方法に従って計算し、F=(0;x″,y″,z″)を得る。
なお、上記例では、Z軸を基準軸としてクォータニオン変換を行って幾何逆変換を行う場合について説明したが、これに限定されるものではなく、モデル図形領域設定する際に行った幾何変換におけるクォータニオン変換の逆の順番で行えば良い。
次いで、ステップS214に移行して、算出した標準モデルの座標(x″,y″,z″)と前記ステップS209で決定した係数a,bおよびcとを前記(1)式に代入して、この(1)式を満足するか否かを判定し、この(1)式を満足する場合には、ステップS215に移行して、正常品領域内の点であると判断して判別条件テーブルの該当する選択された座標(x,y,z)にフラグを書込んでからステップS16に移行する。このフラグとしては例えばTABLE(x,y,z)=1と設定する。 また、ステップS214での判定結果が、(1)式を満足しない場合には、フラグを書込むことなく直接ステップS216に移行する。
このステップS216では、判別条件テーブルの全ての点についてクォータニオン逆変換による変換を行ったか否かを判定し、未変換の点が存在する場合には、ステップS217に移行して、次の点を選択してから前記ステップS212に移行し、全ての点の変換が終了したときには、ステップS218に移行して、生成した判別条件テーブルを図示しないメモリの判別条件テーブル記憶領域に記憶してから判別条件テーブル生成処理を終了する。
この図12の処理で、ステップS206の処理が色空間変換部に対応し、ステップS207〜ステップS209の処理がモデル図形領域設定部に対応し、ステップS210〜ステップS218の処理がテーブル生成部に対応している。
次に第3の実施形態について説明する。第3の実施形態も、第1の実施形態における判別条件テーブル生成処理は異なるが、システム構成等の他の部分は共通する。よって、共通する部分の説明は省略し、判別条件テーブル生成処理のみ説明する。
第3の実施形態における判別条件テーブル生成処理は、図14に示すように、先ず、ステップS301で、粉粒体貯留ホッパー2から良品粉粒体の切出しを開始する切出開始指令をプログラマブルコントローラ31に出力し、次いでステップS302に移行して、照明機構13の外側照明部21の照明光源21A及び21Bと内側照明部22の照明光源22Aを、所定色(例えば白色)で回転ドラム11の外周面上に軸方向に延長するライン状照明領域12を形成するように照明する点灯指令をプログラマブルコントローラ31に出力する。
次いで、ステップS303に移行して、回転ドラム11を回転させる回転指令をプログラマブルコントローラ31に出力する。
次いで、ステップS304に移行して、粉粒体貯留ホッパー2から切出された良品粉粒体がフィーダ3の振動コンベヤ3a及び3bを介して回転ドラム11上に落下するに十分な所定時間が経過したか否かを判定し、所定時間が経過していないときには所定時間が経過するまで待機し、所定時間が経過したときには、ステップS305に移行する。
このステップS305では、カラーライン撮像装置14でライン状照明領域12を撮像したカラーライン画像情報を読込み、次いで、ステップS306に移行して、読込んだカラーライン情報をRGBの3次元色空間に変換する。このとき、例えばRGBの個々の階調は整数で表される0〜255の256階調に設定される。
次いで、ステップS307に移行して、統計分析処理としての主成分分析処理を実行して、3次元色空間に形成された良品粉粒体の分布の主軸ベクトルE(Ex,Ey,Ez)、分布の重心点座標G(Gx,Gy,Gz)、主軸ベクトルの回転パラメータθer(θaxis,θpole,θrot)を求める。
次いで、ステップS308に移行して、3次元色空間の分布の重心点座標G(Gx,Gy,Gz)が(0,0,0)となるように分布の正規化(平行移動)を行う。さらに、正規化された分布を、ステップS307で求めた回転パラメータθer(AXIS,θpole,θrot)、主軸ベクトルの直交ベクトルRE(REx,REy,REz)を用い、前記(9)式のクォータニオンによる回転式を用いて幾何逆変換であるクォータニオン逆変換を行い、分布の主軸ベクトルを回転パラメータθerの基準軸AXISに一致させると共に、主軸ベクトルに直交する方向を他の軸と一致させる。これにより、次のステップS309にてクォータニオン逆変換がなされた分布を用いて、容易に標準モデルのパラメータを決定する事ができる。図15〜図18にて具体例を用いて説明する。まず、図15の分布を重心点座標G(Gx,Gy,Gz)が(0,0,0)となるように図16のように正規化(平行移動)を行う。さらに、図16の正規化(平行移動)を行った分布を、第1回目のクォータニオン逆変換を行い、図17のように基準軸と主軸ベクトルを一致させる。さらに、図17の分布をさらに第2回目のクォータニオン逆変換を行い、図18のように他の軸も一致させる。
次いで、ステップS309に移行して、ステップS308で得られたクォータニオン逆変換された分布から、標準モデルのパラメータを決定する。例えば、図18のようにクォータニオン逆変換された分布からX軸,Y軸,Z軸方向の各最大値(Kx,Ky,Kz)を求め、最大値(Kx,Ky,Kz)から標準モデルのパラメータを決定することができる。数式(1)の楕円式ではa=Kx,b=Ky,c=Kzとすることができる。また、予め余裕度p、q、rを定めておき、係数a=Kx+p,b=Ky+q,c=Kz+rとすることとしても良い。
またさらに、標準モデルのパラメータを所定のルールに従って変化させ、クォータニオン逆変換された分布を構成する全ての点を包含する複数の標準モデルのパラメータを求める。求められた複数の標準モデルから最小の体積となる標準モデルを求めて標準モデルのパラメータを決定することができる。標準モデルのパラメータ変化させる所定のルールとして、標準モデルが前記(1)式の楕円球のである場合には、パラメータa,b,cの比率が、Kx,Ky,Kzの比率と等しくなるように変化させる等、とすることができる。
以上より、標準モデルのパラメータ、回転パラメータθer(AXIS,θpole,θrot)および重心点座標G(Gx,Gy、Gz)から、モデル図形領域が決定されたこととなる。 次いで、ステップS310に移行して、先ず、RGB色空間に対応するX軸,Y軸,Z軸で表され、それぞれが0〜255の整数座標を有する空の判別条件テーブルを用意する。
次いで、ステップS311に移行して、用意した判別条件テーブルの選択されていない1点(x,y,z)を選択する。
次いでステップS312に移行して、前述したステップS307の主成分分析処理で求めた重心点座標G(Gx,Gy,Gz)を(0,0,0)とする正規化(平行移動)を行って座標(x′,y′,z′)を算出する。算出方法はステップS12と同じであるので、詳細な説明は省略する。
次いで、ステップS313に移行して、正規化した座標(x′,y′,z′)について回転パラメータθer(AXIS,θpole,θrot)、主軸ベクトルの直交ベクトルRE(REx,REy,REz)を用い、前記(9)式のクォータニオンによる回転式を用いて幾何逆変換であるクォータニオン逆変換を行い、標準モデルにおける座標系の座標(x″,y″,z″)を算出する。なお、ステップS313はステップS213と同一の処理内容なので、詳細な説明は省略する。
次いで、ステップS314に移行して、算出した標準モデルの座標(x″,y″,z″)と前記ステップS309で設定した係数a,bおよびcとを前記(1)式に代入して、この(1)式を満足するか否かを判定し、この(1)を満足する場合には、ステップS315に移行して、正常品領域内の点であると判断して判別条件テーブルの該当する選択された座標(x,y,z)にフラグを書込んでからステップS316に移行する。このフラグとしては例えばTABLE(x,y,z)=1と設定する。 また、ステップS314での判定結果が、(1)式を満足しない場合には、フラグを書込むことなく直接ステップS316に移行する。
このステップS316では、判別条件テーブルの全ての点についてクォータニオンン逆変換による変換を行ったか否かを判定し、未変換の点が存在する場合には、ステップS317に移行して、次の点を選択してから前記ステップS312に移行し、全ての点の変換が終了したときには、ステップS318に移行して、生成した判別条件テーブルを図示しないメモリの判別条件テーブル記憶領域に記憶してから判別条件テーブル生成処理を終了する。
この図14の処理で、ステップS306の処理が色空間変換部に対応し、ステップS307〜ステップS309の処理がモデル図形領域設定部に対応し、ステップS310〜ステップS318の処理がテーブル生成部に対応している。
なお、上記のいずれの実施形態においては標準モデルを楕円球式(1)のみを用いる場合について説明しているが、標準モデルとして、球、立方体、直方体、多角形柱、多角形錐、円柱、円錐等の複数の閉空間領域を形成する標準モデルを予め準備し、主成分分析の結果に基づいて色空間における分布形状に基づいて適切な標準モデルを決定するようにしても良い。標準モデルは、閉空間領域を形成する境界条件が既知であれば、各種図形を用いることが可能である。また、標準モデルとして、複数の標準モデルを組み合わせて1つの標準モデルを構成してもよい。
さらに、上記のいずれの実施形態においても、色空間における分布を主成分分析で解析することなく、ユーザーが液晶タッチパネル33に表示された色空間における分布を参照し、標準モデルを決定しても良い。ここでの決定とは、液晶タッチパネルに3次元色空間による分布を表示し、複数の標準モデルから使用する標準モデルを液晶タッチパネル33を用いて選択し、選択した標準モデルを液晶タッチパネル33に表示されている色空間の分布を囲むように大きさおよび角度を変更して配置することを含む。ユーザーによって決定された大きさ、角度、配置の情報に基づいて、標準モデルの変数、倍率、標準モデルが配置された中心点座標を求めることは容易であり、これらを用いて幾何逆変換を行うことで上記同様に判別条件テーブルを生成できる。
また、上記のいずれの実施形態においても、判別モデルとして楕円球を適用した場合について説明したが、これに限定されるものではなく、検査対象の色空間分布に応じて、多面体、立方体、直方体、円柱、円錐、多角形柱、多角形錐等の閉空間領域を形成する境界条件が既知の図形であれば、各種図形を用いることが可能である。境界条件が既知であれば、閉じた任意の空間モデルを適用することができる。
また、上記のいずれの実施形態においても、照明機構13を外側照明部21及び内側照明部22で構成する場合について説明したが、これに限定されるものではなく、内側照明部22を省略したり、内側照明部22に代えて内部反射部を形成して透光性円筒部11fを透過する外側照明部21の照明光を反射して反射光をライン状照明領域12に戻すようにしてもよい。
さらに、上記のいずれの実施形態においても、異物吸引ノズル17をライン状に配置し、異物混入領域の粉粒体をライン状に吸引する場合について説明したが、これに限定されるものではなく、カラーライン撮像装置14で撮像したカラーライン画像情報から異物混入位置を検出することができるので、この異物混入位置を含む所定範囲で粉粒体を吸引するようにしてもよい。このためには、異物吸引ノズル17を回転ドラム11の軸方向に所定領域毎に分割して配置するか、又は異物吸引ノズル17内に軸方向に複数の吸引領域を形成すればよい。
さらにまた、上記のいずれの実施形態においても、回転ドラム11の透光性円筒部11fを乳白色のアクリル板で形成した場合について説明したが、これに限定されるものではなく、任意の色の透光性部材で形成することができ、内側に照明部や反射部を設けない場合には、透光性の無い円筒部で構成することができる。
なおさらに、上記のいずれの実施形態においても、フィーダ3として2台の振動コンベア3a,3bで構成する場合について説明したが、これに限定されるものではなく、1台の振動コンベアや3台以上の振動コンベヤで構成することもでき、振動コンベヤ以外にも粉粒体を上下に重なることなく平準化できるものであれば任意のフィーダを適用することができる。
また、上記のいずれの実施形態においても、判別条件テーブルによる良否判定を行っているが、判別条件テーブルを用いないで良否判定を行うことができる。例えば、まず、正常な検査対象物のカラー画像情報を色空間変換部で変換し、3次元の色空間上に分布を生成する。その3次元の色空間上の分布に基づいて閉空間領域を定める予め準備された標準モデルを決定し、該決定した標準モデルを幾何変換し、その3次元の色空間上の分布領域を囲むモデル図形領域をモデル図形領域設定部で設定する。次に、実際の検査において、検査対象物のカラー画像情報の各画素データを前記色空間変換部で変換した値を、モデル図形領域設定部で行った幾何変換の逆変換である幾何逆変換を行い、該幾何逆変換を行った値を前記決定した標準モデルに代入して算出した値が所定の条件を満足するか否かによって、前記検査対象物の良否を判定してもよい。
1…カラー粉粒体異物検査装置、2…粉粒体貯留ホッパー、
3…フィーダ、3a,3b…振動コンベヤ、4…異物検査機構、5…良品回収槽、
6…サイクロン、7…不良品回収槽、8…ブロア、9…中性フィルタ、10…混合容器、
11…回転ドラム、17…異物吸引ノズル、21…外側照明部、
21A,21B…照明光源、22…内側照明部、22A…照明光源、30…制御装置、
31…プログラマブルコントローラ、32…画像処理装置、41…スケール変換部、
42…X軸角度変換部、43…Y軸角度変換部、51…Y軸角度変換部、
52…X軸角度変換部、53…スケール変化部

Claims (11)

  1. 正常な検査対象物を撮像したカラー画像情報の各画素データを3次元の色空間上の値に変換する色空間変換部と、
    閉空間領域を定める境界条件が既知である予め準備された標準モデルと、
    前記色空間変換部で変換した3次元の色空間上の分布に基づいて前記標準モデルを決定し、該決定した標準モデルを幾何変換することで前記3次元の色空間上の分布を囲むモデル図形領域を設定する、モデル図形領域設定部と、
    前記3次元の色空間上の全ての値を、前記モデル図形領域設定部で行った幾何変換の逆変換を行い、該逆変換を行った値と前記境界条件とに基づいて、前記3次元の色空間上の値が前記モデル図形領域に含まれるか否かを判別し、該判別結果を前記3次元の色空間上の値毎に記憶した条件判別テーブルを生成するテーブル生成部と、
    を備えたことを特徴とする色空間判別条件生成装置。
  2. 前記モデル図形領域設定部は、前記色空間変換部で変換した色空間上の値が分布する領域を統計処理して分布の大きさ、重心位置及び傾きを算出し、算出した条件に合致するモデル図形領域を設定するように構成されていることを特徴とする請求項1に記載の色空間判別条件生成装置。
  3. 前記モデル図形領域設定部は、前記傾きとして前記3次元の色空間上の分布の主軸ベクトルを算出し、前記色空間の座標系における任意の軸と前記主軸ベクトルを一致させる幾何変換のパラメータを算出し、前記幾何変換のパラメータを用いて前記決定した標準モデルを幾何変換することで前記3次元の色空間上の分布を囲むモデル図形領域を設定するように構成されていることを特徴とする請求項2に記載の色空間判別条件生成装置。
  4. 前記統計処理は、主成分分析処理であることを特徴とする請求項2または3に記載の色空間判別条件生成装置。
  5. 前記モデル図形領域設定部は、前記設定されたモデル図形領域に前記分布が全て包含されるまで、前記標準モデルの境界条件の変更と、該境界条件を変更した標準モデルによる前記モデル図形領域の設定とを繰り返して前記標準モデルを決定することを特徴とする請求項1乃至4の何れか1項に記載の色空間判別条件生成装置。
  6. 前記モデル図形領域設定部は、前記3次元の色空間上の分布を前記幾何変換の逆変換を行い、該逆変換された分布が前記標準モデルの内部に全て包含されるまで、前記標準モデルの境界条件の変更を繰り返して前記標準モデルを決定することを特徴とする1乃至4の何れか1項に記載の何れか1項に記載の色空間判別条件生成装置。
  7. 前記3次元の色空間は、RGB色空間、HSI色空間、YUV色空間の何れか1つであることを特徴とする請求項1乃至6の何れか1項に記載の色空間判別条件生成装置。
  8. 前記幾何変換は、アフィン変換、クォータニオン変換、ロドリゲス回転公式による変換の何れか1つであることを特徴とする請求項1乃至7の何れか1項に記載の色空間判別条件生成装置。
  9. 前記モデル図形領域設定部は、球、楕円球、立方体、直方体、多角形柱、多角形錐、円柱または円錐を標準モデルとして予め準備し、該標準モデルを用いてモデル図形領域を設定するように構成されていることを特徴とする請求項1乃至8の何れか1項に記載の色空間判別条件生成装置。
  10. 請求項1乃至9の何れか1項に記載の色空間判別条件生成装置で生成した判別条件テーブルを使用して、検査対象物を撮像したカラー画像情報に基づく3次元の色空間情報の良否判定を行う良否判定処理部を備えていることを特徴とする画像検査装置。
  11. 検査対象物を撮像するカラー撮像装置と、
    前記カラー撮像装置で撮像したカラー画像情報の各画素データを3次元の色空間上の値に変換する色空間変換部と、
    閉空間領域を定める境界条件が既知である予め準備された標準モデルと、
    正常な検査対象物のカラー画像情報の各画素データを用いて、前記色空間変換部で変換した3次元の色空間上の分布に基づいて前記標準モデルを決定し、該決定した標準モデルを幾何変換することで前記正常な検査対象物に基づく3次元の色空間上の分布を囲むモデル図形領域を設定する、モデル図形領域設定部と、
    前記検査対象物のカラー画像情報の各画素データを前記色空間変換部で変換した前記3次元色空間上の値を、前記モデル図形領域設定部で行った幾何変換の逆変換である幾何逆変換を行い、該幾何逆変換を行った値と前記境界条件とに基づいて、前記検査対象物に基づく3次元色空間上の値が前記モデル図形領域に含まれるかを判別し、前記検査対象物の良否を判定する良否判定処理部と、
    を備えていることを特徴とする画像検査装置。
JP2009217356A 2009-02-25 2009-09-18 色空間判別条件生成装置及びこれを使用した画像検査装置 Expired - Fee Related JP5423278B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009217356A JP5423278B2 (ja) 2009-02-25 2009-09-18 色空間判別条件生成装置及びこれを使用した画像検査装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009042977 2009-02-25
JP2009042977 2009-02-25
JP2009217356A JP5423278B2 (ja) 2009-02-25 2009-09-18 色空間判別条件生成装置及びこれを使用した画像検査装置

Publications (2)

Publication Number Publication Date
JP2010223933A JP2010223933A (ja) 2010-10-07
JP5423278B2 true JP5423278B2 (ja) 2014-02-19

Family

ID=43041254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009217356A Expired - Fee Related JP5423278B2 (ja) 2009-02-25 2009-09-18 色空間判別条件生成装置及びこれを使用した画像検査装置

Country Status (1)

Country Link
JP (1) JP5423278B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014132257A (ja) * 2012-12-03 2014-07-17 Ricoh Co Ltd 類似度判定システム及び類似度判定方法
JP5864488B2 (ja) * 2013-08-01 2016-02-17 株式会社フジキカイ 異物検査方法およびその装置
JP6883316B2 (ja) 2017-02-15 2021-06-09 株式会社菊水製作所 粉体供給装置及び粉体供給方法
WO2023195215A1 (ja) * 2022-04-08 2023-10-12 住友化学株式会社 透明度評価方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2510687B2 (ja) * 1987-08-13 1996-06-26 日本電信電話株式会社 高速欠陥検出方法および装置
JPH05157704A (ja) * 1991-12-04 1993-06-25 Olympus Optical Co Ltd 不純物認識装置
JP2005186053A (ja) * 2003-12-03 2005-07-14 Satake Corp 粒状物色彩選別機
JP2005230703A (ja) * 2004-02-19 2005-09-02 Satake Corp 粒状物色彩選別機
JP4908926B2 (ja) * 2006-05-29 2012-04-04 日清製粉株式会社 粒状物選別機

Also Published As

Publication number Publication date
JP2010223933A (ja) 2010-10-07

Similar Documents

Publication Publication Date Title
US7782451B2 (en) Device for and method of inspecting surface condition having different curvatures
CN112368212B (zh) 用于进行基于模式识别的药物容器检查的机械手系统
TWI337250B (en) Peripheral inspection system and method
WO2021062536A1 (en) System and method for ai visual inspection
JP5423278B2 (ja) 色空間判別条件生成装置及びこれを使用した画像検査装置
US10942131B2 (en) Inspection apparatus and inspection method
US20210072165A1 (en) Defect display device and method
CN101040184A (zh) 用于尺寸、外形和棱角性分析以及用于矿石和岩石颗粒的成分分析的设备和方法
US10724963B2 (en) Device and method for calculating area to be out of inspection target of inspection system
US20090016650A1 (en) Handheld image processing apparatus
JP7418639B2 (ja) 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JP2020012669A (ja) 物体検査装置、物体検査システム、及び検査位置を調整する方法
JP6936995B2 (ja) 立体物の外観検査装置
JP2007240207A (ja) 工具検査装置と工具検査方法
US11574400B2 (en) System and method for automated visual inspection
JP2009008502A (ja) 表面状態検査のための情報登録方法および表面状態検査装置
JP3770611B2 (ja) 外観検査装置
JP2001041895A (ja) 粒状物品位判別装置
JP5635963B2 (ja) 飲料液異物検査装置および飲料液異物検査方法
EP3608881A1 (en) A system and method to automatically generate valuable cutting plans for a rough gemstone
US20180231474A1 (en) Apparatus and method for generating operation program of inspection system
JP2011107121A (ja) 色空間判別条件生成装置及び画像検査装置
CN116429766A (zh) 基于多通道分离的方法、系统、装置及存储介质
KR20190042179A (ko) 커버 글라스 분석 장치
JP7344699B2 (ja) ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5423278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees