JP4208269B2 - 異種物混入検査方法及びそのシステム - Google Patents
異種物混入検査方法及びそのシステム Download PDFInfo
- Publication number
- JP4208269B2 JP4208269B2 JP26099096A JP26099096A JP4208269B2 JP 4208269 B2 JP4208269 B2 JP 4208269B2 JP 26099096 A JP26099096 A JP 26099096A JP 26099096 A JP26099096 A JP 26099096A JP 4208269 B2 JP4208269 B2 JP 4208269B2
- Authority
- JP
- Japan
- Prior art keywords
- color image
- data
- saturation
- similarity
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、所定形状の被検査物が配列されたシートの被検査物を色画像で異種物かどうかを判定する異種物混入検査方法及び異種物混入検査システムに関する。
【0002】
【従来の技術】
一般に錠剤が入れられた所定数のポケットを一組(以下ポケット群という)とし、このポケット群を2列に配列したPTPシートのポケット内の錠剤を検査する場合は、1列毎に白黒カメラを配置し、この白黒カメラと一対の錠剤検査装置が白黒カメラからの映像を解析する。
【0003】
このような従来の白黒画像による錠剤検査システムを図12を用いて説明する。また、PTPシートは楕円形状の錠剤のカプセル1aを載せる楕円ポケット2aを有するPTPシート3aと、丸錠剤1bを載せる丸ポケット2bを有するPTPシート3bとがあるが本従来の説明では、楕円の錠剤のカプセル1aと丸錠剤1bとを総称して単に錠剤1、楕円ポケット2aと丸ポケット2bとを総称して単にポケット2、PTPシート3aとPTPシート3bとを総称して単にPTPシート3という。
【0004】
例えば図12に示すPTPシート3のポケット2内の錠剤1の状態である欠錠、割れ、立ち錠、ポケット内飛散、面積比による異種錠剤等を検査する場合は、PTPシート3の下方にストロボ4を配置(一列用)し、このストロボ4の上方の対抗する位置に、PTPシート3を介して白黒カメラ5(一列用)を設ける。
【0005】
そして、センサ(図示せず)がポケット群を検知してストロボ4を起動させたときにPTPシート3を介して得られる透過光の映像を白黒カメラ5が作成し、錠剤検査装置7がストロボ4からのストロボトリガ信号の入力に伴って白黒カメラ5からの映像を取り込んで解析し、欠錠、ヒビ割れ、立ち錠等及び面積比による異種錠の判断等を行う透過光方式で検査させる。この異種錠の判断は、予め設定されている基準の錠剤の形状と検出した錠剤1の形状の大きさを比較することによって異種錠が混入しているかどうかを判断していた。すなわち、面積比の判断である。
【0006】
また、錠面汚れ、かけ等の状態を検査する場合は、PTPシート3の下方にストロボ8(一列用)を配置し、このストロボ8の下方に白黒カメラ9(一列用)を設ける。
【0007】
そして、ストロボ8を起動させたときに得られるPTPシート3からの反射光の映像を白黒カメラ9が作成し、錠剤検査装置10がストロボ8からのストロボトリガ信号の入力に伴って白黒カメラ9からの映像を取り込んで解析し、錠面汚れ等を判断する反射光方式で検査させる。
【0008】
さらに、欠錠、ヒビ割れ、立ち錠、面積比による異種錠、錠面汚れ、欠け等を全て検査する場合は、
前述の2つの透過光方式と反射光方式とを併用していた。
【0009】
【発明が解決しようとする課題】
しかしながら、透過光方式でポケット内の異種錠を検出する場合は、白黒画像であるので、形状の大きさの比較でしか判断できない。
【0010】
このため、例えば2つの異なる色からなる楕円の錠剤を検査している場合に、いずれか一方のカプセル又は両方のカプセルの色が基準の楕円の錠剤のカプセルと異なった異種錠であってもポケット内に投函された楕円の錠剤が基準の楕円の錠剤の大きさと同じであった場合は、異種錠として検出できないという問題点があった。
【0011】
また、欠錠、ヒビ割れ、立ち錠、異種錠、錠面汚れ等を全て検査する場合は、前述の2つの透過光方式と反射光方式とを併用しているので装置自体が大型になるという問題点があった。
【0012】
本発明は以上の問題点を解決するためになされたもので、簡単な構成で異種錠かどうかを形状と色とで正確に検出できる異種物混入検査方法及びそのシステムを得ることを目的とする。
【0013】
【課題を解決するための手段】
請求項1は、被検査物に対して光源を配置し、この光源への前記被検査物の搬送の検出又は前記光源の発光に伴って前記被検査物の色画像を作成して、それぞれの画像から前記被検査物の状態、異種物の混入を検査する異種物混入検査方法であって、
前記被検査物からの反射光から一画素毎の色画像信号を送出する撮像工程と、
前記色画像信号を入力し、この色画像信号より前記被検査物の色画像を求め、この色画像から前記光源の光レベルに応じた、視覚色である色相、彩度及び明度のデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求める工程と、
縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求める工程と、
前記色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差と予め記憶している前記被検査物の標準の色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差との類似度から異種物を判定する工程と
を行うことを要旨とする。
【0014】
請求項1においては、被検査物に対して光源から光が照射されると、撮像部がこの反射光からの色画像信号出力する。この色画像信号より被検査物の色画像を求め、この色画像の視覚色(色相、彩度、明度)と、予め記憶している被検査物の標準パターンの特徴とを比較して異種物を判定する。
【0015】
請求項2は、被検査物に対して所定間隔を有して光源を配置し、この光源への前記被検査物の搬送の検出又は前記光源の発光に伴って前記被検査物の色画像と白黒画像とを作成して、それぞれの画像から前記被検査物の状態、異種物の混入を検査する異種物混入検査システムである。
前記被検査物からの反射光から一画素毎の色画像信号と輝度信号とを送出する撮像部と、
前記輝度信号を入力し、前記光源が光を放射したとき、前記輝度信号から前記被検査物の白黒画像を取り込んで、この形状を生成し、この白黒画像から前記被検査物の状態を検出する第1の検査装置とを備えると共に、
前記色画像信号を入力し、前記第1の検査装置が白黒画像の形状を生成するのと同時に、この色画像信号より前記被検査物の色画像を求め、この色画像から前記光源の光量レベルに応じた、視覚色である色相、彩度及び明度のデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求める手段と、
縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求める手段と、
前記色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差と予め記憶している前記被検査物の標準の色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差との類似度から異種物を判定する手段と
を備えた第2の検査装置とを有することを要旨とする。
【0016】
請求項2においては、被検査物に対して光源から光が照射されると、撮像部がこの反射光からの色画像信号と輝度信号とを生成して送出する。第1の検査装置は、光源の発光に伴って輝度信号から被検査物の白黒画像形状を生成し、この白黒画像形状から被検査物の状態(抜け、かけ、立脚、割れ、飛散、異物の混入、汚れ)を判定する。
【0017】
また、第2の検査装置は、色画像信号を入力し、第1の検査装置が白黒画像形状を生成するのと同時に、この色画像信号より被検査物の色画像を求め、この色画像の視覚色(色相、彩度、明度)を求め、これと予め記憶している被検査物の標準パターンの特徴とを比較して異種物を判定する。
【0018】
このため、白黒画像による被検査物の状態の判定と、基準の検査物の色と相違する異種物かの判定とを同時に行うことが可能となる。
【0019】
請求項3は、前記第2の検査装置は、前記被検査物の色画像を一時記憶する複数のフレームメモリを備え、前記フレームメモリの所定の領域の明度があらかじめ設定されたしきい値を超えた場合、色画像を内部に取り込むことを要旨とする。
【0020】
請求項3においては、第2の検査装置は、白黒画像の取り込みに同期して、フレームメモリの色画像を内部に取り込む。
【0021】
このため、光源からの発光信号を入力しなくとも、第1の検査装置の被検査物の白黒画像の取り込みに同期して色画像を内部に取り込むことが可能となる。
【0022】
請求項4は、前記第2の検査装置は、
前記色画像から前記光源の光レベルに応じた、視覚色である色相H、彩度S及び明度Iのデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求めて、縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求め、これらのスペクトラム分布の平均と標準偏差とを前記光源の光量に応じた視覚色の特徴として求めることを要旨とする。
【0023】
請求項4においては、第2の検査装置は、色画像からH、S及びIのそれぞれのスペクトラム分布の平均と標準偏差とを特徴色として求める。
【0024】
このため、光源の光量に多少のばらつき又は被検査物の色に多少のばらつきがあっても被検査物の特徴を正確に得ることが可能となる。
【0025】
請求項5は、前記被検査物は、丸形状の錠剤又は2個の半カプセル同士を組み合わせた楕円形状のカプセルであり、前記2個の半カプセルは、それぞれ異なる色にされ、
前記第2の検査装置は、
前記被検査物の色画像を取り込んだ後に、前記被検査物の基準位置を求め、その求めた位置を基準に2つのウインドウを設け、一方のウインドウの色画像を第1の色画像とし、他方のウインドウの色画像を第2の色画像として抽出し、
この第1,第2の色画像のそれぞれの前記色相、彩度及び明度の前記スペクトラム分布を求め、これらの分布を、前記視覚色の特徴として求めることを要旨とする。
【0026】
請求項5においては、第2の検査装置は、被検査物の色画像を取り込んだ後に、この色画像を2分割した第1の色画像と第2の色画像とのそれぞれの色画像の特徴を求める。
【0027】
このため、2個の組み合わせで一つの被検査物を構成している場合等は、一方又は他方の色若しくは両方の色から異種物であるかを容易に判定することが可能となる。
【0028】
請求項6は、第2の検査装置は、特徴と標準パターンとの類似度を求め、この類似度が所定の条件を満足していないときは標準パターンに不一致の特徴を有する異種物と判定することを要旨とする。
【0029】
請求項6においては、第2の検査装置は、被検査物の視覚色の特徴と基準の検査物の色の標準パターンとの類似度が所定の条件を満足していないときは異種物と判定する。
【0030】
このため、被検査物の色と基準の被検査物とが実際には同じ色である場合は、多少の汚れ等があっても異種物と判定させないことが可能となる。
【0031】
請求項7は、前記標準パターンは、前記被検査物の基準位置相対で設けた一方のウィンドウの第1の標準パターンと前記他方のウインドウの第2の標準パターンとからなり、
前記類似度の判定は、この第1の標準パターンに対する前記第1の色画像の第1の類似度及び第2の色画像との第2の類似度を求めると共に、第2の標準パターンに対する前記第1の色画像の第3の類似度及び第2の色画像の第4の類似度を求め、
前記第1の類似度と第4の類似度とが不一致又は前記第2の類似度と前記第3の類似度とが不一致のときは、前記類似度が所定の条件を満足していないと判定
することを要旨とする。
【0032】
請求項7においては、標準パターンは、被検査物を中央部から2分割した第1の標準パターンと第2の標準パターンとからなる。
【0033】
類似度の判定は、この第1の標準パターンに対する第1の色画像の第1の類似度及び第2の色画像との第2の類似度を求める。
【0034】
また、第2の標準パターンに対する第1の色画像の第3の類似度及び第2の色画像の第4の類似度を求める。
【0035】
そして、第1の類似度と第4の類似度とが不一致又は第2の類似度と第3の類似度とが不一致のときは、類似度が所定の条件を満足していないと判定する。
【0036】
このため、2個の組み合わせで一つの被検査物を構成している場合等に、被検査物が逆の組み合わせ又は正規の組み合わせで構成されていても、一方又は他方が正規の色であれば異種物と判定させないことが可能となる。
【0037】
請求項8は、前記類似度は、前記被検査物の色画像の前記色相H、彩度S、明度Iのそれぞれのヒストグラムの平均と標準偏差と、前記被検査物のH、S、Iのそれぞれの標準パターンの標準偏差と前記標準パターンの平均とを用いて算出することを特徴とすることを要旨とする。
【0038】
請求項8においては、H、S、Iのそれぞれのヒストグラムの平均と標準偏差と、被検査物のH、S、Iのそれぞれの標準パターンの標準偏差と標準パターンの平均とを用いて類似度を算出する。このため類似度の算出を近似式によって算出することが可能となる。
【0039】
請求項9は、前記第2の検査装置に代えて、
前記光源の発光信号又は前記被検査物の検出信号を入力し、いずれかの信号の入力に伴って、
前記撮像部からの色信号を内部に取り込み、この色画像信号より前記被検査物の色画像を求めて、前記色画像の前記平均と前記標準偏差とを前記被検査物の視覚色の前記特徴として求め、この特徴と予め記憶している前記被検査物の標準パターンの特徴との類似度に基づいて異種物を判定する第3の検査装置を有することを要旨とする。
【0040】
請求項9においては、第2の検査装置に代えて、第3の検査装置を備える。この第3の検査装置は、光源の発光信号又は被検査物の検出信号を入力し、いずれかの信号の入力に伴って撮像部からの色画像信号より被検査物の視覚色を求める。
【0041】
そして、この視覚色を被検査物の特徴とし、この特徴と予め記憶している被検査物の標準パターンの特徴とを比較して異種物を判定する。
【0042】
このため、被検査物の色画像を一時記憶する2個のフレームメモリ及び取り込みタイミングを制御する手段等が不要となるので、プログラム構成を簡単にして第1の検査装置に同期して画像を取り込むことが可能となる。
【0043】
請求項10は、前記被検査物は、丸形状の錠剤又は2個の半カプセル同士を組み合わせた楕円形状のカプセルを乗せたシートであって、このシートには錠剤又はカプセルを搭載する形状のポケットを所定数配列していることを要旨とする。
【0044】
請求項10においては、シートに対して光源から光が照射されると、撮像部がこの反射光からの色画像信号と輝度信号とを生成して送出する。
【0045】
次に、第1の検査装置は、光源の発光に伴って輝度信号から錠剤又はカプセルの白黒画像形状を生成する。
【0046】
そして、この白黒画像形状に基づいてシート上の錠剤又はカプセルの状態を判定する。
【0047】
また、第2の検査装置は、色画像信号を入力し、第1の検査装置が白黒画像形状を生成するのと同時に、この色画像信号より錠剤又はカプセルの視覚色を求める。
【0048】
この視覚色の平均と標準偏差とを錠剤又はカプセルの特徴とする。
【0049】
この特徴と予め記憶している基準の錠剤又はカプセルの標準パターンの特徴との類似度に基づいてシートに異なる種類の錠剤又はカプセルが搭載されていないかどうかを判定する。
【0050】
このため、白黒画像による錠剤又はカプセルの状態の判定と、基準の錠剤又はカプセルの色と相違する異種物がシートに搭載されているかの判定とを同時に行うことが可能となる。
【0051】
【発明の実施の形態】
図1は本発明の実施の形態の異種物混入検査システムの概略構成図である。本実施の形態では、楕円の錠剤のカプセル1aの一方の半カプセル1aaと他方の半カプセル1abの色を検出して異錠剤かどうかを検査する異種物混入検査システムとして述べる。
【0052】
図1の異種物混入検査装置15は、シート3aの下方の所定位置にストロボ8を配置し、このストロボ8の下方の所定位置にカラー画像撮像部17を設け、このカラー画像撮像部17からの一画素毎の輝度信号Yを白黒画像処理で錠剤の状態である汚れ、かけ等を判定する第1の錠剤検査装置10に送出すると共に、第2の錠剤検査装置にカラー画像撮像部17のRGB信号を送出する反射光方式を採用している。
【0053】
第1の錠剤検査装置10は、従来技術の説明のものと同様なものであり、センサ23がポケット群を検出したときストロボ電源11を起動させ、ストロボ電源11ヘのストロボトリガ信号の出力に伴って輝度信号Yを取り込んで錠剤の汚れ、かけ等を判定している。
【0054】
また、カラー画像撮像部17からのRGB信号を解析処理して、異種錠剤を判定する第2の錠剤検査装置22を備えている。
【0055】
この第2の錠剤検査装置22は、RGB信号から撮像したカプセル1aの光量に応じた視覚色であるH、S、Iの各スペクトラム分布を求め、このスペクトラム分布の平均及び標準偏差と、予め記憶されている基準のカプセル1aのH、S、Iの各スペクトラム分布の平均と標準偏差に対する類似度でポケット内のカプセル1aが異種錠剤かどうかを判定している。
【0056】
カラー画像撮像部17は、3個のCCDを用いて3原色のRGB信号を送出する3板式カラーカメラ18と、3板式カラーカメラ18の撮影を制御しながら輝度信号Yと、RGB信号を送出するカメラコントローラ20とからなっている。
【0057】
第2の錠剤検査装置22は、図2に示すようにA/D変換部25と、フレームメモリ部27と、カラー画像取込判定部29と、画像取込部31と、2分割ウィンドウ重ね部33と、カプセル色特徴演算部36と、異錠剤判定テーブル作成部38と、判定用テーブル40a、40b、40cと、異錠剤判定部42とを備えている。
【0058】
A/D変換部25は、カメラコントローラ20からのアナログのRGB信号をサンプリング信号に基づいてデジタル変換する。
【0059】
フレームメモリ部27は、このA/D変換部25からのRGB信号(以下単にカラー映像信号という)を一時記憶するフレームメモリを2個備えている。
【0060】
カラー画像取込判定部29は、フレームメモリ部27を監視し、いずれか一方のフレームに明るい映像が蓄積されたとき、画像取込部31にそのフレームの映像を取り込みさせる信号(以下取込信号という)を送出する。すなわち、第1の錠剤検査装置10の輝度信号Yの取り込みに同期してカラー映像信号を取り込ませている。
【0061】
画像取込部31は、取込信号の入力に伴って明るいカラー映像を内部に取り込む。
【0062】
2分割ウィンドウ重ね部33は、画像取込部31が取り込んだカラー映像(1個のポケット群分のカラー映像)を読み、予め設定されているシート3aのポケットに対応するウィンドウ34とカラー映像との位置合わせを行う。
【0063】
カプセル色特徴演算部36は、位置合わせが終わると、カプセル1aに分割ウィンドウUiをかけ、半カプセル1aa及び半カプセル1abのそれぞれのカラー映像のH、S、Iのスペクトラム分布の平均と標準偏差を求めて各半カプセルの光量に応じた視覚色(色相、彩度、明度)の特徴を求める。
【0064】
異錠剤判定テーブル作成部38は、スペクトラム分布の平均及び標準偏差と予め記憶されている基準の錠剤のスペクトラム分布との類似度を後述する判定用テーブル40a、40b、40cに書き込む。
【0065】
異錠剤判定部42は、判定用テーブル40a、40b、40cに書き込まれた類似度のデータをクロス状に比較して異錠剤と判定する。
【0066】
上記のように構成された異種物混入検査システムの動作を以下に説明する。図3は異種物混入検査システムの概要を説明するフローチャートである。この図3のフローチャートは1個のカプセル1aの検査処理について述べている。
【0067】
初めに、検査する品種の情報である色情報(半カプセル毎)と、シート種類、位置合わせ用ウィンドウの種類と、半カプセル毎の視覚色(色相、彩度、明度)の標準パターン(平均値、標準偏差)と、ヒストグラムしきい値(Smin、Imin)等を設定する初期設定処理を行う(S301)。
【0068】
そして、第1の錠剤検査装置10がセンサ23がポケット群を検出したときのストロボ電源11へのストロボトリガ信号の出力に伴って輝度信号Yを取り込み、この輝度信号の濃度情報を平均化して半カプセルの白黒画像を求めて、この白黒画像の内で、所定レベル以上又は所定レベル以下の濃度の箇所が存在するときは、その箇所が所定の大きさの面積以上の場合は、汚れがある錠剤と判定する。
また、白黒画像を2値化して、錠剤のかけを判定する。
【0069】
第2の錠剤検査装置22は、この輝度信号Yの取り込みにカラー画像撮像部17が同期して画像を取り込むために、第2の錠剤検査装置22のカラー画像取込判定部29は、フレームメモリ部27のいずれか一方のフレームに明るい映像が蓄積されたとき、画像取込部31に取込信号を送出する。すなわち、第1の錠剤検査装置10がストロボ発光に伴ってカプセル1aの白黒画像を取り込みに同期してカラー映像信号を取り込む(S303)。
【0070】
次に、2分割ウィンドウ重ね部33は、図4に示すようにカプセル1aの画像(以下カプセルカラー画像Giという)に2分割ウィンドウUiをかける(S305)。このとき、カプセルカラー画像Giの光沢成分は取り除く(図4の斜線領域)。
【0071】
次に、カプセル色特徴演算部36は、いずれか一方の半カプセル1aaのに画像Giを読み(S307)、カラー映像信号であるRGB信号をHIS変換する(S309)。このHISの変換の理由を述べる。一般にカラー画像(RGB)では、同じ色(色相H)、彩度(S)と人間が認識しても明るさIが変化するとRGB値は大きく変化する。このため、単にRGBから色の特徴を得るのは好ましくない。そこで、HISでは人間が感じる色の感覚に近い表現ができるとされているので、RGBをHIS変換する。
【0072】
次に、HIS変換の後に、このHISのヒストグラムを作成して、その平均と標準偏差を求める(S311)。
【0073】
次に、他方の半カプセル1abのカラー画像のヒストグラムの平均と標準偏差を求めたかどうかを判定する(S313)。
【0074】
ステップS313で他方の半カプセル1abのカラー画像のヒストグラムの平均と標準偏差を求めていないと判定したときは、他方の半カプセル1abのカラー画像を読み込んで処理をステップS309に戻す。
【0075】
また、ステップS313で他方の半カプセル1abのカラー画像のヒストグラムの平均と標準偏差を求めたと判定したときは、異錠剤判定テーブル作成部38が半カプセル毎に予め設定されている基準のH、S、I毎の標準パターン(平均、標準偏差)と比較して類似度を求めてH、S、I毎の判定テーブル40a、40b、40cに登録する(S317)。すなわち、何の色合いが強いかを特定して判定テーブル40a、40b、40cに登録している。この判定テーブルの登録については図を用いて詳細に後述する。
【0076】
次に、異錠剤判定部42は、H、S、I毎の判定テーブル40a、40b、40cを読み異錠剤があるかどうかを判定する(S319)。
【0077】
次に、図3のステップS311のHSIのヒストグラム計算を図を用いて説明する。図5はH成分のヒストグラム計算を説明する説明図である。図6はS成分のヒストグラムを説明する説明図である。図7はI成分のヒストグラムを説明する説明図である。
【0078】
色を表すHSIは、RGB値を用いて完全に正規化されるが実測値に適用する場合は、誤差について考慮しなければならない。例えば、色相Hを求める場合、色彩Sが小さい時、又は明度Iが小さい時に誤差が大きくなる。
【0079】
このため、単純にHISのヒストグラムを求めないで図5に示すように求めている。
【0080】
図5においては、初めにRGB信号に基づいて得たH、S、I成分を読み、S成分がSmin以上のときは「1」を、又はS成分がSmin以下のときは「0」を設定演算する(d501)。また、I成分がImin以上のときは「1」を、又はI成分がImin以下のときは「0」を設定演算する(d502)。
【0081】
そして、これらのS及びI成分の設定結果のORを求め(d503)、このORの出力の「0」をカウント(カウント値CH )する(d504)。つまり、光量レベルによる曖昧な成分はORで除去している。
【0082】
次に、H成分の値と、ORの出力値とのANDを求め(d505)、この出力結果からヒストグラムhH(0)を計算し(d506)、このヒストグラムhH(0)を修正する(d507)。
【0083】
この修正式は、hH(0)=hH(0)−CH
とする。
【0084】
次に、Sのヒストグラム計算を説明する。初めにRGB信号に基づいて得たS、I成分を読み、I成分がImin以上のときは「1」を、又はI成分がImin以下のときは「0」を設定演算する(d601)。
【0085】
そして、この設定演算結果の内で、「0」をカウント(カウント値CS )する(d602)。つまり、暗いときの曖昧な色成分を除去するためにカウントしている。
【0086】
次に、S成分と、Iを区分けした色成分とのANDを求め(d603)、この出力結果からヒストグラムhS (0)を計算し(d604)、このヒストグラムhS(0)を修正する(d605)。
【0087】
この修正式は、hS(0)=hS(0)−CS
とする。
【0088】
次に、Iのヒストグラム計算を説明する。初めにRGB信号に基づいて得たI成分を読み、I成分がImin以上のときは「1」を、又はI成分がImin以下のときは「0」を設定演算する(d701)。
【0089】
そして、この設定演算結果の内で、「0」をカウント(カウント値CI)する(d702)。次に、ANDを求め(d703)、この出力結果からヒストグラムhI(0)を計算し(d704)、このヒストグラムhI(0)を修正する(d705)。
【0090】
この修正式は、hI(0)=hI(0)ーCI
とする。
【0091】
つまり、背景成分を除去している。すなわち、上記図5、図6及び図7の処理によって、ストロボ4の光量に多少のばらつき、又はカプセル1aの半カプセル1a又は1abの色に多少のばらつきがあっても、それぞれの視覚色の特徴を正確に得ることができる。
【0092】
次に、ヒストグラムマッチングについて説明する。上記の図5、図6及び図7のようにして得たヒストグラムから図8に示すようにH成分のヒストグラムhH(x)の平均値xH及び標準偏差σHと、S成分のヒストグラムhS (x)の平均値xS及び標準偏差σSと、I成分のヒストグラムhI(x)の平均値xI及び標準偏差σIとをそれぞれ求める。
【0093】
そして、各成分毎の平均値と標準偏差との類似度(マッチングともいう)を異種錠剤判定部38が求める。この類似度Cの計算は式1に示すようにして求める。
【0094】
【数1】
一般に類似度を計算する場合は非常に複雑な式であるが式1に示すように「撮像して得られたヒストグラムの標準偏差a1 」と、「撮像して得られたヒストグラムの平均m1」と「基準の検査物の色画像の標準パターンの標準偏差a2」と、「基準の検査物の色画像の標準パターンの平均m2」とからなる近似式で簡単に求めている。
【0095】
次に、式1の演算結果を図9に示す判定テーブル40a、40b、40cに書き込む。図9の判定テーブル40a、40b、40cは、一方の半カプセルの画像の標準パターン名W1と、他方の半カプセルの画像の標準パターン名W2とを縦に、撮像した一方の半カプセルの画像名R1 と、撮像した他方の半カプセルの画像名R2 とを横にとった格子領域を有するマトリクス構造をしている。また、この格子領域はW1とR1とに対応する格子領域をC11、W1とR2に対応する領域をC12、W2とR1とに対応する格子領域をC21、W2とR2に対応する領域をC22としている。
【0096】
すなわち、判定テーブルの書込は以下に説明する手順で書き込む。撮像した半カプセル毎の画像のH、S、Iのヒストグラムを上記図5、図6及び図7の手順で得て、これらのヒストグラムと半カプセル毎のH、S、Iの各標準パターンとの類似度Cを式1で求める。
【0097】
つまり、基準となる一方の半カプセルの色の標準パターンW1 と撮像した一方の半カプセルの画像R1 の色の類似度C11と、基準となる一方の半カプセルの色の標準パターンW1と撮像した他方の半カプセルの画像R2の色の類似度C12と、基準となる他方の半カプセルの色の標準パターンW2 と撮像した一方の半カプセルの画像R1 の色の類似度C21と、基準となる他方の半カプセルの色の標準パターンW2と撮像した他方の半カプセルの画像R2の色の類似度C22とを求めて書き込む。
【0098】
そして、この各格子領域に記憶された類似度の演算結果を異錠剤判定部42がクロス状に比較して撮像したカプセルが所定の色のカプセルかどうかを判断する。例えば、C11とC22の値が同じで、かつC21とC12の値が同じときは、撮像したカプセル1aの各半カプセルの色は、所定の色のカプセルと判定する。
【0099】
従って、ストロボ発光に伴うカプセル1aの両方の半カプセルの色を、光量に多少のばらつきがあっても、またカプセルの色に多少のばらつきがあっても正確に判定できている。
【0100】
また、上記実施の形態では、輝度信号Yとカラービデオ信号との取り込みの同期を第2の錠剤検査装置22がフレームメモリの監視を行うことで同期させたが、カラー画像取込判定部29、フレームメモリ部27を備えない第3の錠剤検査装置45とし、この第3の錠剤検査装置45に、図10に示すようにストロボ電源11からのストロボトリガ信号を画像取込部31に直接入力させて輝度信号Yの取り込みに同期させてもよい。
【0101】
また、ストロボトリガ信号を取り込み難い場合は、図11に示すようにポケット群がカメラ近傍に来たことを知らせるセンサ23の近傍(3板式カメラの視野範囲からはずれる位置)に、ストロボ8の発行を検知するセンサ46を設け、このセンサ46からの出力信号を画像取込部31に直接取り込んでもよい。
【0102】
なお、上記実施の形態では、楕円形状のカプセルを例にして説明したが、カプセルに限らないで丸方の錠剤に2分割ウィンドウをかけて色の判定をおこなってもよい。
【0103】
さらに、上記実施の形態では、ストロボ8の反射光を用いて異種物、汚れを検出する異種物混入検査装置として説明したが、図12に示すように、PTPシート3aの下方にストロボ4を配置し、このストロボ4の上方の対抗する位置に、PTPシート3aを介して白黒カメラ5を設ける。
【0104】
そして、ストロボ4を起動させたときにPTPシート3aを介して得られる透過光の映像を白黒カメラ5で作成し、このカメラの白黒画像から錠剤の状態である欠錠、ヒビ割れ、立ち錠、錠剤の飛散並びに面積比に基づく異錠剤の検出等を行う錠剤検査装置7(第4の検査装置)を設けた透過光方式を組み合わせてもよい。
【0105】
すなわち、透過光方式と反射光方式とを組み合わせることによって、ポケット内の欠錠、立ち錠、割れ、面積比による異種錠、汚れ等の判定他に、色の相違による異種錠の判定が可能となる。
【0106】
【発明の効果】
請求項1によれば、被検査物の視覚色(色相、彩度、明度)と標準パターンとの類似度から被検査物が異種物かを判定しているので、光量レベルに多少のばらつきがあっても被検査物が異種物かどうかを正確に判定できるという効果が得られている。
【0107】
請求項2によれば、白黒画像による被検査物の状態(汚れ、破損、立ち錠、割れ、異物の混入)の判定と、基準の検査物の色と相違する被検査物かどうかの判定とを同時に行うことができるという効果が得られている。
【0108】
請求項3によれば、光源からの発光信号を入力しなくとも、第1の検査装置の被検査物の白黒画像の取り込みに同期して色画像を内部に取り込むことができるので装置の構成が容易であるという効果が得られている。
【0109】
請求項4によれば、被検査物の視覚色の平均と標準偏差とを被検査物の特徴として求めているので、光源の光量及び被検査物の色に多少のばらつきがあっても被検査物の色を正確に特定できるという効果が得られている。
【0110】
請求項5によれば、2個の組み合わせで一つの被検査物を構成している場合等は、一方又は他方の色若しくは両方の色から異種物であるかを容易に判定できるという効果が得られている。
【0111】
請求項6によれば、被検査物の色と基準の被検査物とが実際には同じ色である場合は、多少の汚れ等があっても異種物と判定されないという効果が得られている。
【0112】
請求項7によれば、2個の組み合わせで一つの被検査物を構成している場合等に、被検査物が逆の組み合わせ又は正規の組み合わせで構成されていても、一方又は他方が正規の色であれば異種物と判定されないという効果が得られている。
【0113】
請求項8によれば、類似度の算出を近似式によって算出することができるので、類似度の算出が容易にかつ高速にできるという効果が得られている。
【0114】
請求項9によれば、被検査物の色画像を一時記憶する2個のフレームメモリ及び取り込みタイミングを制御する手段等が不要となるので、プログラム構成を簡単にして第1の検査装置に同期して画像を取り込むことができるという効果が得られている。
【0115】
請求項10によれば、シートに搭載されたポケット内の錠剤又はカプセルの白黒画像と色画像とが得られ、白黒画像に基づく錠剤又はカプセルの状態の判定と、色画像による異種物の判定とを同時に行うことができるという効果が得られている。
【図面の簡単な説明】
【図1】 本発明の実施の形態の異種物混入検査システムの概略構成図である。
【図2】 第2の錠剤検査装置の概略構成図である。
【図3】 異種物混入検査システムの概要を説明するフローチャートである。
【図4】 2分割ウィンドウの説明図である。
【図5】 H成分のヒストグラム計算を説明する説明図である。
【図6】 S成分のヒストグラムを説明する説明図である。
【図7】 I成分のヒストグラムを説明する説明図である。
【図8】 H、S、Iの平均と標準偏差の説明図である。
【図9】 判定テーブルの構成を説明する説明図である。
【図10】 他の実施の形態の概略構成図である。
【図11】 他の実施の形態の概略構成図である。
【図12】 従来の異種物混入検査システムの概略構成図である。
【符号の説明】
4 ストロボ
11 ストロボ電源
17 カラー画像撮像部 18 3板式カラーカメラ
20 カメラコントローラ
10 第1の錠剤検査装置
22 第2の錠剤検査装置
25 A/D変換器
27 フレームメモリ
29 カラー画像取込判定部
31 画像取込部
33 2分割ウィンドウ重ね部
36 カプセル色特徴演算部
38 異錠剤判定テーブル作成部
42 異錠剤判定部
Claims (10)
- 被検査物に対して光源を配置し、この光源への前記被検査物の搬送の検出又は前記光源の発光に伴って前記被検査物の色画像を作成して、それぞれの画像から前記被検査物の状態、異種物の混入を検査する異種物混入検査方法であって、
前記被検査物からの反射光から一画素毎の色画像信号を送出する撮像工程と、
前記色画像信号を入力し、この色画像信号より前記被検査物の色画像を求め、この色画像から前記光源の光レベルに応じた、視覚色である色相、彩度及び明度のデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求める工程と、
縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求める工程と、
前記色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差と予め記憶している前記被検査物の標準の色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差との類似度から異種物を判定する工程と
を行うことを特徴とする異種物混入検査方法。 - 被検査物に対して所定間隔を有して光源を配置し、この光源への前記被検査物の搬送の検出又は前記光源の発光に伴って前記被検査物の色画像と白黒画像とを作成して、それぞれの画像から前記被検査物の状態、異種物の混入を検査する異種物混入検査システムであって、
前記被検査物からの反射光から一画素毎の色画像信号と輝度信号とを送出する撮像部と、 前記輝度信号を入力し、前記光源が光を放射したとき、前記輝度信号から前記被検査物の白黒画像を取り込んで、この形状を生成し、この白黒画像から前記被検査物の状態を検出する第1の検査装置とを備えると共に、
前記色画像信号を入力し、前記第1の検査装置が白黒画像の形状を生成するのと同時に、この色画像信号より前記被検査物の色画像を求め、この色画像から前記光源の光量レベルに応じた、視覚色である色相、彩度及び明度のデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求める手段と、
縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求める手段と、
前記色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差と予め記憶している前記被検査物の標準の色相、彩度及び明度のそれぞれのスペクトラム分布の平均及び標準偏差との類似度から異種物を判定する手段と
を備えた第2の検査装置と
を有することを特徴とする異種物混入検査システム。 - 前記第2の検査装置は、前記被検査物の色画像を一時記憶する複数の
フレームメモリを備え、前記フレームメモリの所定の領域の明度があらかじめ設定されたしきい値を超えた場合、色画像を内部に取り込むことを特徴とする請求項2記載の異種物混入検査システム。 - 前記第2の検査装置は、
前記色画像から前記光源の光レベルに応じた、視覚色である色相H、彩度S及び明度Iのデータにそれぞれ変換し、該明度のデータ又は彩度のデータを基準値と比較し、該比較結果が前記基準値以下の場合は論理「0」を以上の場合は論理「1」とした所定データに変換して該所定データの赤色成分データを計数すると共に、前記赤色成分データと前記明度のデータ又は前記彩度のデータ若しくは色相のデータとの論理積データを求めて、縦軸に前記色相、前記彩度又は明度の前記計数の値、横軸に前記色相又は彩度若しくは明度に対しての前記論理積データの値が取りうる範囲をとったそれぞれのスペクトラム分布を求め、これらのスペクトラム分布の平均と標準偏差とを前記光源の光量に応じた視覚色の特徴として求めることを特徴とする請求項2乃至3記載の異種物混入検査システム。 - 前記被検査物は、丸形状の錠剤又は2個の半カプセル同士を組み合わせた楕円形状のカプセルであり、前記2個の半カプセルは、それぞれ異なる色にされ、
前記第2の検査装置は、
前記被検査物の色画像を取り込んだ後に、前記被検査物の基準位置を求め、その求めた位置を基準に2つのウインドウを設け、一方のウインドウの色画像を第1の色画像とし、他方のウインドウの色画像を第2の色画像として抽出し、
この第1,第2の色画像のそれぞれの前記色相、彩度及び明度の前記スペクトラム分布を求め、これらの分布を、前記視覚色の特徴として求めることを特徴とする請求項2乃至4記載の異種物混入検査システム。 - 前記第2の検査装置は、前記特徴と標準パターンとの類似度を求め、
この類似度が所定の条件を満足していないときは前記標準パターンに不一致の特徴を有する異種物と判定することを特徴とする請求項2乃至5記載の異種物混入検査システム。 - 前記標準パターンは、前記被検査物の基準位置に対応させて設けた一方のウインドウの第1の標準パターンと前記他方のウインドウの第2の標準パターンとからなり、
前記類似度の判定は、この第1の標準パターンに対する前記第1の色画像の第1の類似度及び第2の色画像との第2の類似度を求めると共に、第2の標準パターンに対する前記第1の色画像の第3の類似度及び第2の色画像の第4の類似度を求め、
前記第1の類似度と第4の類似度とが不一致又は前記第2の類似度と前記第3の類似度とが不一致のときは、前記類似度が所定の条件を満足していないと判定することを特徴とする請求項6記載の異種物混入検査システム。 - 前記類似度は、前記被検査物の色画像の前記色相H、彩度S、明度Iのそれぞれのヒストグラムの平均と標準偏差と、前記被検査物のH、S、Iのそれぞれの標準パターンの標準偏差と前記標準パターンの平均とを用いて算出することを特徴とする請求項6記載の異種物混入検査システム。
- 前記第2の検査装置に代えて、
前記光源の発光信号又は前記被検査物の検出信号を入力し、いずれかの信号の入力に伴って、
前記撮像部からの色信号を内部に取り込み、この色画像信号より前記被検査物の色画像を求めて、前記色画像の前記平均と前記標準偏差とを前記被検査物の視覚色の前記特徴として求め、この特徴と予め記憶している前記被検査物の標準パターンの特徴との類似度に基づいて異種物を判定する第3の検査装置を有することを特徴とする請求項2記載の異種物混入検査システム。 - 前記被検査物は、丸形状の錠剤又は2個の半カプセル同士を組み合わせた楕円形状のカプセルを乗せたシートであって、このシートには錠剤又はカプセルを搭載する形状のポケットを所定数配列していることを特徴とする請求項2乃至9記載の異種物混入検査システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26099096A JP4208269B2 (ja) | 1996-10-01 | 1996-10-01 | 異種物混入検査方法及びそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26099096A JP4208269B2 (ja) | 1996-10-01 | 1996-10-01 | 異種物混入検査方法及びそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10104076A JPH10104076A (ja) | 1998-04-24 |
JP4208269B2 true JP4208269B2 (ja) | 2009-01-14 |
Family
ID=17355541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26099096A Expired - Lifetime JP4208269B2 (ja) | 1996-10-01 | 1996-10-01 | 異種物混入検査方法及びそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4208269B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10590092B2 (en) * | 2012-08-07 | 2020-03-17 | Basilea Pharmaceutica Ag | Process for the manufacture of isavuconazole or ravuconazole |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4690582B2 (ja) * | 2001-05-31 | 2011-06-01 | 大和製罐株式会社 | 量子化誤差を考慮した色変換方法 |
WO2005038443A1 (ja) * | 2003-10-17 | 2005-04-28 | Astellas Pharma, Inc. | 平面分光器を用いた異種品検出装置 |
JP5063235B2 (ja) * | 2007-07-23 | 2012-10-31 | Ckd株式会社 | 錠剤検査装置及びptp包装機 |
JP5680277B2 (ja) * | 2009-02-02 | 2015-03-04 | 株式会社ミューチュアル | 固形製剤検査装置 |
JP5330218B2 (ja) * | 2009-12-28 | 2013-10-30 | 株式会社東芝 | 錠剤包装検査装置、錠剤包装検査方法、錠剤包装検査プログラム |
JP6567460B2 (ja) * | 2016-04-20 | 2019-08-28 | 株式会社東芝 | 位置検出装置、位置検出方法、位置検出プログラム |
US10552706B2 (en) | 2016-10-24 | 2020-02-04 | Fujitsu Ten Limited | Attachable matter detection apparatus and attachable matter detection method |
-
1996
- 1996-10-01 JP JP26099096A patent/JP4208269B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10590092B2 (en) * | 2012-08-07 | 2020-03-17 | Basilea Pharmaceutica Ag | Process for the manufacture of isavuconazole or ravuconazole |
Also Published As
Publication number | Publication date |
---|---|
JPH10104076A (ja) | 1998-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5068799A (en) | System and method for detecting flaws in continuous web materials | |
US7570794B2 (en) | System and method for evaluating a machined surface of a cast metal component | |
CN110174404B (zh) | 一种药粒在线缺陷检测装置及系统 | |
JP4208269B2 (ja) | 異種物混入検査方法及びそのシステム | |
US20110170783A1 (en) | Equipment and method for analyzing image data | |
KR101762165B1 (ko) | 외관 검사 장치 | |
KR20120109547A (ko) | 외관 검사 장치 | |
DE112004000347T5 (de) | Vorrichtung und Verfahren zur Blattidentifikation | |
KR102271342B1 (ko) | 캡슐검사시스템 및 방법 | |
JP3333472B2 (ja) | 褐色鶏卵における血卵の非破壊検出方法とその装置 | |
CN117169227A (zh) | 插头的生产方法、装置、设备及存储介质 | |
Cui et al. | Automated pattern recognition and defect inspection system | |
JPH10311713A (ja) | ボンディングワイヤ検査方法および装置 | |
JP2000132684A (ja) | 外観検査方法 | |
JPH0711414B2 (ja) | ガラスびんの偏肉検査方法 | |
JP3047168B2 (ja) | 鶏卵の検査方法 | |
CN108827594B (zh) | 一种结构光投影器的解析力检测方法和检测系统 | |
JP6509146B2 (ja) | 検査装置および検査方法 | |
JP5679564B2 (ja) | 表面異物検査装置 | |
CN111458344A (zh) | 一种口罩缺陷视觉检测方法、设备、存储介质 | |
JP6909360B1 (ja) | 物体計測装置、及び計測装置 | |
JPH0682390A (ja) | 表面欠陥検査方法及び装置 | |
JPH04115147A (ja) | 光学式検査装置 | |
US20210100256A1 (en) | Foreign Material Inspection System | |
Purnama et al. | Implementation of Object Following Method on Robot Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |