JPH10104076A - 異種物混入検査方法及びそのシステム - Google Patents

異種物混入検査方法及びそのシステム

Info

Publication number
JPH10104076A
JPH10104076A JP8260990A JP26099096A JPH10104076A JP H10104076 A JPH10104076 A JP H10104076A JP 8260990 A JP8260990 A JP 8260990A JP 26099096 A JP26099096 A JP 26099096A JP H10104076 A JPH10104076 A JP H10104076A
Authority
JP
Japan
Prior art keywords
inspection
color image
color
similarity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8260990A
Other languages
English (en)
Other versions
JP4208269B2 (ja
Inventor
Satoshi Matsushita
智 松下
Minoru Fujita
稔 藤田
Akiko Matsumoto
明子 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Engineering Corp
Original Assignee
Toshiba Engineering Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Engineering Corp filed Critical Toshiba Engineering Corp
Priority to JP26099096A priority Critical patent/JP4208269B2/ja
Publication of JPH10104076A publication Critical patent/JPH10104076A/ja
Application granted granted Critical
Publication of JP4208269B2 publication Critical patent/JP4208269B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 簡単な構成で異種錠かどうかを形状と色とで
正確に検出できる異種物混入検査方法及びそのシステム
を得る。 【解決手段】 シート3aに対してストロボ4から光が
照射されると、撮像部17がこの反射光からのRGB信
号と輝度信号Yとを生成して送出する。第1の錠剤検査
装置10は、輝度信号Yから被検査物の白黒画像形状を
生成し、この白黒画像形状に基づいて、汚れを判定す
る。また、第2の錠剤検査装置22は、RGB信号を入
力し、第1の錠剤検査装置10が白黒画像形状を生成す
るのと同時に、カプセル1aa、1abの視覚色画求
め、この視覚色の平均と標準偏差とをカプセル1aa、
1abの特徴として求め、この特徴と標準パターンの類
似度で異種物かどうかを判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、所定形状の被検査
物が配列されたシートの被検査物を色画像で異種物かど
うかを判定する異種物混入検査方法及び異種物混入検査
システムに関する。
【0002】
【従来の技術】一般に錠剤が入れられた所定数のポケッ
トを一組(以下ポケット群という)とし、このポケット
群を2列に配列したPTPシートのポケット内の錠剤を
検査する場合は、1列毎に白黒カメラを配置し、この白
黒カメラと一対の錠剤検査装置が白黒カメラからの映像
を解析する。
【0003】このような従来の白黒画像による錠剤検査
システムを図12を用いて説明する。また、PTPシー
トは楕円形状の錠剤のカプセル1aを載せる楕円ポケッ
ト2aを有するPTPシート3aと、丸錠剤1bを載せ
る丸ポケット2bを有するPTPシート3bとがあるが
本従来の説明では、楕円の錠剤のカプセル1aと丸錠剤
1bとを総称して単に錠剤1、楕円ポケット2aと丸ポ
ケット2bとを総称して単にポケット2、PTPシート
3aとPTPシート3bとを総称して単にPTPシート
3という。
【0004】例えば図12に示すPTPシート3のポケ
ット2内の錠剤1の状態である欠錠、割れ、立ち錠、ポ
ケット内飛散、面積比による異種錠剤等を検査する場合
は、PTPシート3の下方にストロボ4を配置(一列
用)し、このストロボ4の上方の対抗する位置に、PT
Pシート3を介して白黒カメラ5(一列用)を設ける。
【0005】そして、センサ(図示せず)がポケット群
を検知してストロボ4を起動させたときにPTPシート
3を介して得られる透過光の映像を白黒カメラ5が作成
し、錠剤検査装置7がストロボ4からのストロボトリガ
信号の入力に伴って白黒カメラ5からの映像を取り込ん
で解析し、欠錠、ヒビ割れ、立ち錠等及び面積比による
異種錠の判断等を行う透過光方式で検査させる。この異
種錠の判断は、予め設定されている基準の錠剤の形状と
検出した錠剤1の形状の大きさを比較することによって
異種錠が混入しているかどうかを判断していた。すなわ
ち、面積比の判断である。
【0006】また、錠面汚れ、かけ等の状態を検査する
場合は、PTPシート3の下方にストロボ8(一列用)
を配置し、このストロボ8の下方に白黒カメラ9(一列
用)を設ける。
【0007】そして、ストロボ8を起動させたときに得
られるPTPシート3からの反射光の映像を白黒カメラ
9が作成し、錠剤検査装置10がストロボ8からのスト
ロボトリガ信号の入力に伴って白黒カメラ9からの映像
を取り込んで解析し、錠面汚れ等を判断する反射光方式
で検査させる。
【0008】さらに、欠錠、ヒビ割れ、立ち錠、面積比
による異種錠、錠面汚れ、欠け等を全て検査する場合
は、前述の2つの透過光方式と反射光方式とを併用して
いた。
【0009】
【発明が解決しようとする課題】しかしながら、透過光
方式でポケット内の異種錠を検出する場合は、白黒画像
であるので、形状の大きさの比較でしか判断できない。
【0010】このため、例えば2つの異なる色からなる
楕円の錠剤を検査している場合に、いずれか一方のカプ
セル又は両方のカプセルの色が基準の楕円の錠剤のカプ
セルと異なった異種錠であってもポケット内に投函され
た楕円の錠剤が基準の楕円の錠剤の大きさと同じであっ
た場合は、異種錠として検出できないという問題点があ
った。
【0011】また、欠錠、ヒビ割れ、立ち錠、異種錠、
錠面汚れ等を全て検査する場合は、前述の2つの透過光
方式と反射光方式とを併用しているので装置自体が大型
になるという問題点があった。
【0012】本発明は以上の問題点を解決するためにな
されたもので、簡単な構成で異種錠かどうかを形状と色
とで正確に検出できる異種物混入検査方法及びそのシス
テムを得ることを目的とする。
【0013】
【課題を解決するための手段】請求項1は、被検査物に
対して、光を放射して被検査物の色画像を得る工程と、
色画像から光の光量レベルに応じた被検査物の視覚色を
強調し、この強調した視覚色の平均及び標準偏差とを被
検査物の視覚色の特徴として求める工程と、この特徴と
予め記憶している被検査物の標準パターンの特徴との類
似度のを求め、この類似度の度合いに基づいて異種物を
判定する工程とを備えたことを要旨とする。
【0014】請求項1においては、被検査物に光を放射
して得られた色画像から被検査物の視覚色の平均と標準
偏差とを求め、これらを被検査物の色の特徴とし、この
特徴と標準パターンとの類似度から被検査物が異種物か
を判定する。このため、光量レベルに多少のばらつきが
あっても被検査物が異種物かどうかを正確に判定するこ
とが可能となる。
【0015】請求項2は、被検査物に対して所定間隔を
有して光源を配置し、この光源への検査物の搬送の検出
又は光源の発光に伴って被検査物の色画像と白黒画像と
を作成して、それぞれの画像から被検査物の状態、異種
物の混入を検査する異種物混入検査システムであって、
被検査物からの反射光から一画素毎の色画像信号と輝度
信号とを送出する撮像部と、輝度信号を入力し、光源が
光を放射したとき、輝度信号から被検査物の白黒画像形
状を生成し、この白黒画像から被検査物の状態を検出す
る第1の検査装置と、色画像信号を入力し、第1の検査
装置が白黒画像形状を生成するのと同時に、この色画像
信号より被検査物の色画像を求め、この色画像から光源
の光量レベルに応じた視覚色を強調し、この視覚色の平
均と標準偏差とを被検査物の視覚色に基づいた特徴とし
て求め、この特徴と予め記憶している被検査物の標準パ
ターンの特徴との類似度から異種物を判定する第2の検
査装置とを備えたことを要旨とする。
【0016】請求項2においては、被検査物に対して光
源から光が照射されると、撮像部がこの反射光からの色
画像信号と輝度信号とを生成して送出する。第1の検査
装置は、光源の発光に伴って輝度信号から被検査物の白
黒画像形状を生成し、この白黒画像形状から被検査物の
状態(抜け、かけ、立脚、割れ、飛散、異物の混入、汚
れ)を判定する。
【0017】また、第2の検査装置は、色画像信号を入
力し、第1の検査装置が白黒画像形状を生成するのと同
時に、この色画像信号より被検査物の色画像を求め、こ
の色画像の視覚色の平均と標準偏差とを被検査物の特徴
として求め、この特徴と予め記憶している被検査物の標
準パターンの特徴とを比較して異種物を判定する。
【0018】このため、白黒画像による被検査物の状態
の判定と、基準の検査物の色と相違する異種物かの判定
とを同時に行うことが可能となる。
【0019】請求項3は、第2の検査装置は、被検査物
の色画像を一時記憶する複数のフレームメモリを備え、
いずれかのフレームメモリに明るい色画像が蓄積された
とき、そのフレームメモリの色画像を内部に取り込むこ
とを要旨とする。
【0020】請求項3においては、第2の検査装置は、
いずれかのフレームメモリに明るい色画像が蓄積された
とき、そのフレームメモリの色画像を内部に取り込む。
【0021】このため、光源からの発光信号を入力しな
くとも、第1の検査装置の被検査物の白黒画像の取り込
みに同期して色画像を内部に取り込むことが可能とな
る。
【0022】請求項4は、第2の検査装置は、色画像か
ら色相H、色彩S及び明度Iを求めて、これらのスペク
トラム分布を求め、それぞれのスペクトラム分布の平均
と標準偏差とを特徴として求めることを要旨とする。
【0023】請求項4においては、第2の検査装置は、
色画像からH、S及びIのそれぞれのスペクトラム分布
の平均と標準偏差とを特徴色として求める。
【0024】このため、光源の光量に多少のばらつき又
は被検査物の色に多少のばらつきがあっても被検査物の
特徴を正確に得ることが可能となる。
【0025】請求項5は、第2の検査装置は、被検査物
の色画像を取り込んだ後に、この色画像の中央から2分
割した第1の色画像と第2の色画像とを得て、それぞれ
の色画像の特徴を求めることを要旨とする。
【0026】請求項5においては、第2の検査装置は、
被検査物の色画像を取り込んだ後に、この色画像を2分
割した第1の色画像と第2の色画像とのそれぞれの色画
像の特徴を求める。
【0027】このため、2個の組み合わせで一つの被検
査物を構成している場合等は、一方又は他方の色若しく
は両方の色から異種物であるかを容易に判定することが
可能となる。
【0028】請求項6は、第2の検査装置は、特徴と標
準パターンとの類似度を求め、この類似度が所定の条件
を満足していないときは標準パターンに不一致の特徴を
有する異種物と判定することを要旨とする。
【0029】請求項6においては、第2の検査装置は、
被検査物の視覚色の特徴と基準の検査物の色の標準パタ
ーンとの類似度が所定の条件を満足していないときは異
種物と判定する。
【0030】このため、被検査物の色と基準の被検査物
とが実際には同じ色である場合は、多少の汚れ等があっ
ても異種物と判定させないことが可能となる。
【0031】請求項7は、標準パターンは、被検査物を
中央部から2分割した第1の標準パターンと第2の標準
パターンとからなり、類似度の判定は、この第1の標準
パターンに対する第1の色画像の第1の類似度及び第2
の色画像との第2の類似度を求めると共に、第2の標準
パターンに対する第1の色画像の第3の類似度及び第2
の色画像の第4の類似度を求め、第1の類似度と第4の
類似度とが不一致又は第2の類似度と第3の類似度とが
不一致のときは、類似度が所定の条件を満足していない
と判定することを要旨とする。
【0032】請求項7においては、標準パターンは、被
検査物を中央部から2分割した第1の標準パターンと第
2の標準パターンとからなる。
【0033】類似度の判定は、この第1の標準パターン
に対する第1の色画像の第1の類似度及び第2の色画像
との第2の類似度を求める。
【0034】また、第2の標準パターンに対する第1の
色画像の第3の類似度及び第2の色画像の第4の類似度
を求める。
【0035】そして、第1の類似度と第4の類似度とが
不一致又は第2の類似度と第3の類似度とが不一致のと
きは、類似度が所定の条件を満足していないと判定す
る。
【0036】このため、2個の組み合わせで一つの被検
査物を構成している場合等に、被検査物が逆の組み合わ
せ又は正規の組み合わせで構成されていても、一方又は
他方が正規の色であれば異種物と判定させないことが可
能となる。
【0037】請求項8は、類似度は、被検査物の色画像
のH、S、Iのそれぞれのヒストグラムの平均と標準偏
差と、被検査物のH、S、Iのそれぞれの標準パターン
の標準偏差と標準パターンの平均とを用いて算出するこ
とを要旨とする。
【0038】請求項8においては、H、S、Iのそれぞ
れのヒストグラムの平均と標準偏差と、被検査物のH、
S、Iのそれぞれの標準パターンの標準偏差と標準パタ
ーンの平均とを用いて類似度を算出する。このため類似
度の算出を近似式によって算出することが可能となる。
【0039】請求項9は、第2の検査装置に代えて、光
源の発光信号又は被検査物の検出信号を入力し、いずれ
かの信号の入力に伴って撮像部からの色信号を内部に取
り込み、この色画像信号より被検査物の色画像を求め
て、色画像の平均と標準偏差とを被検査物の視覚色の特
徴として求め、この特徴と予め記憶している被検査物の
標準パターンの特徴との類似度に基づいて異種物を判定
する第3の検査装置を有することを要旨とする。
【0040】請求項9においては、第2の検査装置に代
えて、第3の検査装置を備える。この第3の検査装置
は、光源の発光信号又は被検査物の検出信号を入力し、
いずれかの信号の入力に伴って撮像部からの色画像信号
より被検査物の視覚色を求める。
【0041】そして、この視覚色を被検査物の特徴と
し、この特徴と予め記憶している被検査物の標準パター
ンの特徴とを比較して異種物を判定する。
【0042】このため、被検査物の色画像を一時記憶す
る2個のフレームメモリ及び取り込みタイミングを制御
する手段等が不要となるので、プログラム構成を簡単に
して第1の検査装置に同期して画像を取り込むことが可
能となる。
【0043】請求項10は、撮像部の他に、被検査物の
透過光を受光して一画素毎の白黒画像を生成して送出す
る第2の撮像部と、第2の撮像部からの白黒画像を2値
化して被検査物の状態及び面積比に基づく異種物を判定
する第4の検査装置とを有することを要旨とする。
【0044】請求項10においては、被検査物に対して
光源から光が照射されると、撮像部がこの反射光からの
色画像信号と輝度信号とを生成して送出する。第1の検
査装置は、光源の発光に伴って輝度信号から被検査物の
白黒画像形状を生成し、この白黒画像形状から被検査物
の状態(抜け、かけ、立脚、割れ、飛散、異物の混入、
汚れ)を判定する。
【0045】また、第2の検査装置は、色画像信号を入
力し、第1の検査装置が白黒画像形状を生成するのと同
時に、この色画像信号より被検査物の色画像を求め、こ
の色画像の視覚色の平均と標準偏差とを被検査物の特徴
として求め、この特徴と予め記憶している被検査物の標
準パターンの特徴とを比較して異種物を判定する。
【0046】さらに、第4の検査装置が過光を受光して
一画素毎の白黒画像を生成して送出する第2の撮像部か
らの白黒画像を2値化して被検査物の状態及び面積比に
基づく異種物を判定する。
【0047】請求項11は、シートは、丸形状の錠剤又
は2個の半カプセル同士を組み合わせた楕円形状のカプ
セルを被検査物とし、このいずれかの検査物を搭載する
形状のポケットを所定数配列していることを要旨とす
る。
【0048】請求項11においては、シートに対して光
源から光が照射されると、撮像部がこの反射光からの色
画像信号と輝度信号とを生成して送出する。第1の検査
装置は、光源の発光に伴って輝度信号から錠剤又はカプ
セルの白黒画像形状を生成し、この白黒画像形状に基づ
いてシート上の錠剤又はカプセルの状態を判定する。
【0049】また、第2の検査装置は、色画像信号を入
力し、第1の検査装置が白黒画像形状を生成するのと同
時に、この色画像信号より錠剤又はカプセルの視覚色を
求め、この視覚色の平均と標準偏差とを錠剤又はカプセ
ルの特徴とし、この特徴と予め記憶している基準の錠剤
又はカプセルの標準パターンの特徴との類似度に基づい
てシートに異なる種類の錠剤又はカプセルが搭載されて
いないかどうかを判定する。
【0050】このため、白黒画像による錠剤又はカプセ
ルの状態の判定と、基準の錠剤又はカプセルの色と相違
する異種物がシートに搭載されているかの判定とを同時
に行うことが可能となる。
【0051】
【発明の実施の形態】図1は本発明の実施の形態の異種
物混入検査システムの概略構成図である。本実施の形態
では、楕円の錠剤のカプセル1aの一方の半カプセル1
aaと他方の半カプセル1abの色を検出して異錠剤かど
うかを検査する異種物混入検査システムとして述べる。
【0052】図1の異種物混入検査装置15は、シート
3aの下方の所定位置にストロボ8を配置し、このスト
ロボ8の下方の所定位置にカラー画像撮像部17を設
け、このカラー画像撮像部17からの一画素毎の輝度信
号Yを白黒画像処理で錠剤の状態である汚れ、かけ等を
判定する第1の錠剤検査装置10に送出すると共に、第
2の錠剤検査装置にカラー画像撮像部17のRGB信号
を送出する反射光方式を採用している。
【0053】第1の錠剤検査装置10は、従来技術の説
明のものと同様なものであり、センサ23がポケット群
を検出したときストロボ電源11を起動させ、ストロボ
電源11ヘのストロボトリガ信号の出力に伴って輝度信
号Yを取り込んで錠剤の汚れ、かけ等を判定している。
【0054】また、カラー画像撮像部17からのRGB
信号を解析処理して、異種錠剤を判定する第2の錠剤検
査装置22を備えている。
【0055】この第2の錠剤検査装置22は、RGB信
号から撮像したカプセル1aの光量に応じた視覚色であ
るH、S、Iの各スペクトラム分布を求め、このスペク
トラム分布の平均及び標準偏差と、予め記憶されている
基準のカプセル1aのH、S、Iの各スペクトラム分布
の平均と標準偏差に対する類似度でポケット内のカプセ
ル1aが異種錠剤かどうかを判定している。
【0056】カラー画像撮像部17は、3個のCCDを
用いて3原色のRGB信号を送出する3板式カラーカメ
ラ18と、3板式カラーカメラ18の撮影を制御しなが
ら輝度信号Yと、RGB信号を送出するカメラコントロ
ーラ20とからなっている。
【0057】第2の錠剤検査装置22は、図2に示すよ
うにA/D変換部25と、フレームメモリ部27と、カ
ラー画像取込判定部29と、画像取込部31と、2分割
ウィンドウ重ね部33と、カプセル色特徴演算部36
と、異錠剤判定テーブル作成部38と、判定用テーブル
40a、40b、40cと、異錠剤判定部42とを備え
ている。
【0058】A/D変換部25は、カメラコントローラ
20からのアナログのRGB信号をサンプリング信号に
基づいてデジタル変換する。
【0059】フレームメモリ部27は、このA/D変換
部25からのRGB信号(以下単にカラー映像信号とい
う)を一時記憶するフレームメモリを2個備えている。
【0060】カラー画像取込判定部29は、フレームメ
モリ部27を監視し、いずれか一方のフレームに明るい
映像が蓄積されたとき、画像取込部31にそのフレーム
の映像を取り込みさせる信号(以下取込信号という)を
送出する。すなわち、第1の錠剤検査装置10の輝度信
号Yの取り込みに同期してカラー映像信号を取り込ませ
ている。
【0061】画像取込部31は、取込信号の入力に伴っ
て明るいカラー映像を内部に取り込む。
【0062】2分割ウィンドウ重ね部33は、画像取込
部31が取り込んだカラー映像(1個のポケット群分の
カラー映像)を読み、予め設定されているシート3aの
ポケットに対応するウィンドウ34とカラー映像との位
置合わせを行う。
【0063】カプセル色特徴演算部36は、位置合わせ
が終わると、カプセル1aに分割ウィンドウUiをか
け、半カプセル1aa及び半カプセル1abのそれぞれ
のカラー映像のH、S、Iのスペクトラム分布の平均と
標準偏差を求めて各半カプセルの光量に応じた視覚色の
特徴を求める。
【0064】異錠剤判定テーブル作成部38は、スペク
トラム分布の平均及び標準偏差と予め記憶されている基
準の錠剤のスペクトラム分布との類似度を後述する判定
用テーブル40a、40b、40cに書き込む。
【0065】異錠剤判定部42は、判定用テーブル40
a、40b、40cに書き込まれた類似度のデータをク
ロス状に比較して異錠剤と判定する。
【0066】上記のように構成された異種物混入検査シ
ステムの動作を以下に説明する。図3は異種物混入検査
システムの概要を説明するフローチャートである。この
図3のフローチャートは1個のカプセル1aの検査処理
について述べている。
【0067】初めに、検査する品種の情報である色情報
(半カプセル毎)と、シート種類、位置合わせ用ウィン
ドウの種類と、半カプセル毎の視覚色の標準パターン
(平均値、標準偏差)と、ヒストグラムしきい値(Sm
in、Imin)等を設定する初期設定処理を行う(S
301)。
【0068】そして、第1の錠剤検査装置10がセンサ
23がポケット群を検出したときのストロボ電源11へ
のストロボトリガ信号の出力に伴って輝度信号Yを取り
込み、この輝度信号の濃度情報を平均化して半カプセル
の白黒画像を求めて、この白黒画像の内で、所定レベル
以上又は所定レベル以下の濃度の箇所が存在するとき
は、その箇所が所定の大きさの面積以上の場合は、汚れ
がある錠剤と判定する。また、白黒画像を2値化して、
錠剤のかけを判定する。
【0069】第2の錠剤検査装置22は、この輝度信号
Yの取り込みにカラー画像撮像部17が同期して画像を
取り込むために、第2の錠剤検査装置22のカラー画像
取込判定部29は、フレームメモリ部27のいずれか一
方のフレームに明るい映像が蓄積されたとき、画像取込
部31に取込信号を送出する。すなわち、第1の錠剤検
査装置10がストロボ発光に伴ってカプセル1aの白黒
画像を取り込みに同期してカラー映像信号を取り込む
(S303)。
【0070】次に、2分割ウィンドウ重ね部33は、図
4に示すようにカプセル1aの画像(以下カプセルカラ
ー画像Giという)に2分割ウィンドウUiをかける
(S305)。このとき、カプセルカラー画像Giの光
沢成分は取り除く(図4の斜線領域)。
【0071】次に、カプセル色特徴演算部36は、いず
れか一方の半カプセル1aaのに画像Giを読み(S3
07)、カラー映像信号であるRGB信号をHIS変換
する(S309)。このHISの変換の理由を述べる。
一般にカラー画像(RGB)では、同じ色(色相H)、
同じ濃さ(色彩S)と人間が認識しても明るさIが変化
するとRGB値は大きく変化する。このため、単にRG
Bから色の特徴を得るのは好ましくない。そこで、HI
Sでは人間が感じる色の感覚に近い表現ができるとされ
ているので、RGBをHIS変換する。
【0072】次に、HIS変換の後に、このHISのヒ
ストグラムを作成して、その平均と標準偏差を求める
(S311)。
【0073】次に、他方の半カプセル1abのカラー画
像のヒストグラムの平均と標準偏差を求めたかどうかを
判定する(S313)。
【0074】ステップS313で他方の半カプセル1a
bのカラー画像のヒストグラムの平均と標準偏差を求め
ていないと判定したときは、他方の半カプセル1abの
カラー画像を読み込んで処理をステップS309に戻
す。
【0075】また、ステップS313で他方の半カプセ
ル1abのカラー画像のヒストグラムの平均と標準偏差
を求めたと判定したときは、異錠剤判定テーブル作成部
38が半カプセル毎に予め設定されている基準のH、
S、I毎の標準パターン(平均、標準偏差)と比較して
類似度を求めてH、S、I毎の判定テーブル40a、4
0b、40cに登録する(S317)。すなわち、何の
色合いが強いかを特定して判定テーブル40a、40
b、40cに登録している。この判定テーブルの登録に
ついては図を用いて詳細に後述する。
【0076】次に、異錠剤判定部42は、H、S、I毎
の判定テーブル40a、40b、40cを読み異錠剤が
あるかどうかを判定する(S319)。
【0077】次に、図3のステップS311のHSIの
ヒストグラム計算を図を用いて説明する。図5はH成分
のヒストグラム計算を説明する説明図である。図6はS
成分のヒストグラムを説明する説明図である。図7はI
成分のヒストグラムを説明する説明図である。
【0078】色を表すHSIは、RGB値を用いて完全
に正規化されるが実測値に適用する場合は、誤差につい
て考慮しなければならない。例えば、色相Hを求める場
合、色彩Sが小さい時、又は明度Iが小さい時に誤差が
大きくなる。
【0079】このため、単純にHISのヒストグラムを
求めないで図5に示すように求めている。
【0080】図5においては、初めにRGB信号に基づ
いて得たH、S、I成分を読み、S成分がSmin以上
のときは「1」を、又はS成分がSmin以下のときは
「0」を設定演算する(d501)。また、I成分がI
min以上のときは「1」を、又はI成分がImin以
下のときは「0」を設定演算する(d502)。
【0081】そして、これらのS及びI成分の設定結果
のORを求め(d503)、このORの出力の「0」を
カウント(カウント値CH )する(d504)。つま
り、光量レベルによる曖昧な成分はORで除去してい
る。また、設定演算の結果、はっきりと検出される赤色
成分(0)は、後で除去するためにカウントしている。
【0082】次に、H成分の値と、ORの出力値とのA
NDを求め(d505)、この出力結果からヒストグラ
ムhH(0)を計算し(d506)、このヒストグラム
H(0)を修正する(d507)。
【0083】この修正式は、hH(0)=hH(0)ーCH とする。
【0084】次に、Sのヒストグラム計算を説明する。
初めにRGB信号に基づいて得たS、I成分を読み、I
成分がImin以上のときは「1」を、又はI成分がI
min以下のときは「0」を設定演算する(d60
1)。
【0085】そして、この設定演算結果の内で、「0」
をカウント(カウント値CS )する(d602)。つま
り、暗いときの曖昧な色成分を除去するためにカウント
している。
【0086】次に、S成分と、Iを区分けした色成分と
のANDを求め(d603)、この出力結果からヒスト
グラムhS (0)を計算し(d604)、このヒストグ
ラムhS(0)を修正する(d605)。
【0087】この修正式は、hS(0)=hS(0)ーCS とする。
【0088】次に、Iのヒストグラム計算を説明する。
初めにRGB信号に基づいて得たI成分を読み、I成分
がImin以上のときは「1」を、又はI成分がImi
n以下のときは「0」を設定演算する(d701)。
【0089】そして、この設定演算結果の内で、「0」
をカウント(カウント値CI)する(d702)。次
に、ANDを求め(d703)、この出力結果からヒス
トグラムhI(0)を計算し(d704)、このヒスト
グラムhI(0)を修正する(d705)。
【0090】この修正式は、hI(0)=hI(0)ーCI とする。
【0091】つまり、背景成分を除去している。すなわ
ち、上記図5、図6及び図7の処理によって、ストロボ
4の光量に多少のばらつき、又はカプセル1aの半カプ
セル1a又は1abの色に多少のばらつきがあっても、
それぞれの視覚色の特徴を正確に得ることができる。
【0092】次に、ヒストグラムマッチングについて説
明する。上記の図5、図6及び図7のようにして得たヒ
ストグラムから図8に示すようにH成分のヒストグラム
H(x)の平均値xH及び標準偏差σHと、S成分のヒ
ストグラムhS (x)の平均値xS及び標準偏差σSと、
I成分のヒストグラムhI(x)の平均値xI及び標準偏
差σIとをそれぞれ求める。
【0093】そして、各成分毎の平均値と標準偏差との
類似度(マッチングともいう)を異種錠剤判定部38が
求める。この類似度Cの計算は式1に示すようにして求
める。
【0094】
【数1】 一般に類似度を計算する場合は非常に複雑な式であるが
式1に示すように「撮像して得られたヒストグラムの標
準偏差a1 」と、「撮像して得られたヒストグラムの平
均m1」と「基準の検査物の色画像の標準パターンの標
準偏差a2」と、「基準の検査物の色画像の標準パター
ンの平均m2」とからなる近似式で簡単に求めている。
【0095】次に、式1の演算結果を図9に示す判定テ
ーブル40a、40b、40cに書き込む。図9の判定
テーブル40a、40b、40cは、一方の半カプセル
の画像の標準パターン名W1と、他方の半カプセルの画
像の標準パターン名W2とを縦に、撮像した一方の半カ
プセルの画像名R1 と、撮像した他方の半カプセルの画
像名R2 とを横にとった格子領域を有するマトリクス構
造をしている。また、この格子領域はW1とR1とに対応
する格子領域をC11、W1とR2に対応する領域をC12
2とR1とに対応する格子領域をC21、W2とR2に対応
する領域をC22としている。
【0096】すなわち、判定テーブルの書込は以下に説
明する手順で書き込む。撮像した半カプセル毎の画像の
H、S、Iのヒストグラムを上記図5、図6及び図7の
手順で得て、これらのヒストグラムと半カプセル毎の
H、S、Iの各標準パターンとの類似度Cを式1で求め
る。
【0097】つまり、基準となる一方の半カプセルの色
の標準パターンW1 と撮像した一方の半カプセルの画像
1 の色の類似度C11と、基準となる一方の半カプセル
の色の標準パターンW1と撮像した他方の半カプセルの
画像R2の色の類似度C12と、基準となる他方の半カプ
セルの色の標準パターンW2 と撮像した一方の半カプセ
ルの画像R1 の色の類似度C21と、基準となる他方の半
カプセルの色の標準パターンW2と撮像した他方の半カ
プセルの画像R2の色の類似度C22とを求めて書き込
む。
【0098】そして、この各格子領域に記憶された類似
度の演算結果を異錠剤判定部42がクロス状に比較して
撮像したカプセルが所定の色のカプセルかどうかを判断
する。例えば、C11とC22の値が同じで、かつC21とC
12の値が同じときは、撮像したカプセル1aの各半カプ
セルの色は、所定の色のカプセルと判定する。
【0099】従って、ストロボ発光に伴うカプセル1a
の両方の半カプセルの色を、光量に多少のばらつきがあ
っても、またカプセルの色に多少のばらつきがあっても
正確に判定できている。
【0100】また、上記実施の形態では、輝度信号Yと
カラービデオ信号との取り込みの同期を第2の錠剤検査
装置22がフレームメモリの監視を行うことで同期させ
たが、カラー画像取込判定部29、フレームメモリ部2
7を備えない第3の錠剤検査装置45とし、この第3の
錠剤検査装置45に、図10に示すようにストロボ電源
11からのストロボトリガ信号を画像取込部31に直接
入力させて輝度信号Yの取り込みに同期させてもよい。
【0101】また、ストロボトリガ信号を取り込み難い
場合は、図11に示すようにポケット群がカメラ近傍に
来たことを知らせるセンサ23の近傍(3板式カメラの
視野範囲からはずれる位置)に、ストロボ8の発行を検
知するセンサ46を設け、このセンサ46からの出力信
号を画像取込部31に直接取り込んでもよい。
【0102】なお、上記実施の形態では、楕円形状のカ
プセルを例にして説明したが、カプセルに限らないで丸
方の錠剤に2分割ウィンドウをかけて色の判定をおこな
ってもよい。
【0103】さらに、上記実施の形態では、ストロボ8
の反射光を用いて異種物、汚れを検出する異種物混入検
査装置として説明したが、図12に示すように、PTP
シート3aの下方にストロボ4を配置し、このストロボ
4の上方の対抗する位置に、PTPシート3aを介して
白黒カメラ5を設ける。
【0104】そして、ストロボ4を起動させたときにP
TPシート3aを介して得られる透過光の映像を白黒カ
メラ5で作成し、このカメラの白黒画像から錠剤の状態
である欠錠、ヒビ割れ、立ち錠、錠剤の飛散並びに面積
比に基づく異錠剤の検出等を行う錠剤検査装置7(第4
の検査装置)を設けた透過光方式を組み合わせてもよ
い。
【0105】すなわち、透過光方式と反射光方式とを組
み合わせることによって、ポケット内の欠錠、立ち錠、
割れ、面積比による異種錠、汚れ等の判定他に、色の相
違による異種錠の判定が可能となる。
【0106】
【発明の効果】請求項1によれば、被検査物の視覚色の
平均と標準偏差とを、被検査物の色の特徴とし、この特
徴と標準パターンとの類似度から被検査物が異種物かを
判定しているので、光量レベルに多少のばらつきがあっ
ても被検査物が異種物かどうかを正確に判定できるとい
う効果が得られている。
【0107】請求項2によれば、白黒画像による被検査
物の状態(汚れ、破損、立ち錠、割れ、異物の混入)の
判定と、基準の検査物の色と相違する被検査物かどうか
の判定とを同時に行うことができるという効果が得られ
ている。
【0108】請求項3によれば、光源からの発光信号を
入力しなくとも、第1の検査装置の被検査物の白黒画像
の取り込みに同期して色画像を内部に取り込むことがで
きるので装置の構成が容易であるという効果が得られて
いる。
【0109】請求項4によれば、被検査物の視覚色の平
均と標準偏差とを被検査物の特徴として求めているの
で、光源の光量及び被検査物の色に多少のばらつきがあ
っても被検査物の色を正確に特定できるという効果が得
られている。
【0110】請求項5によれば、2個の組み合わせで一
つの被検査物を構成している場合等は、一方又は他方の
色若しくは両方の色から異種物であるかを容易に判定で
きるという効果が得られている。
【0111】請求項6によれば、被検査物の色と基準の
被検査物とが実際には同じ色である場合は、多少の汚れ
等があっても異種物と判定されないという効果が得られ
ている。
【0112】請求項7によれば、2個の組み合わせで一
つの被検査物を構成している場合等に、被検査物が逆の
組み合わせ又は正規の組み合わせで構成されていても、
一方又は他方が正規の色であれば異種物と判定されない
という効果が得られている。
【0113】請求項8によれば、類似度の算出を近似式
によって算出することができるので、類似度の算出が容
易にかつ高速にできるという効果が得られている。
【0114】請求項9によれば、被検査物の色画像を一
時記憶する2個のフレームメモリ及び取り込みタイミン
グを制御する手段等が不要となるので、プログラム構成
を簡単にして第1の検査装置に同期して画像を取り込む
ことができるという効果が得られている。
【0115】請求項10によれば、白黒画像処理を行う
透過光方式と、色画像処理及び白黒画像処理を行う反射
光方式とを組み合わせたことによって、被検査物の抜
け、立脚、割れ、飛散、面積比による異種錠、汚れ等の
判定の他に、色の相違による異種物の判定とを同時に行
うことができるという効果が得られている。
【0116】請求項11によれば、シートに搭載された
ポケット内の錠剤又はカプセルの白黒画像と色画像とが
得られ、白黒画像に基づく錠剤又はカプセルの状態の判
定と、色画像による異種物の判定とを同時に行うことが
できるという効果が得られている。
【図面の簡単な説明】
【図1】本発明の実施の形態の異種物混入検査システム
の概略構成図である。
【図2】第2の錠剤検査装置の概略構成図である。
【図3】異種物混入検査システムの概要を説明するフロ
ーチャートである。
【図4】2分割ウィンドウの説明図である。
【図5】H成分のヒストグラム計算を説明する説明図で
ある。
【図6】S成分のヒストグラムを説明する説明図であ
る。
【図7】I成分のヒストグラムを説明する説明図であ
る。
【図8】H、S、Iの平均と標準偏差の説明図である。
【図9】判定テーブルの構成を説明する説明図である。
【図10】他の実施の形態の概略構成図である。
【図11】他の実施の形態の概略構成図である。
【図12】従来の異種物混入検査システムの概略構成図
である。
【符号の説明】
4 ストロボ 11 ストロボ電源 17 カラー画像撮像部 18 3板式カラーカメラ 20 カメラコントローラ 10 第1の錠剤検査装置 22 第2の錠剤検査装置 25 A/D変換器 27 フレームメモリ 29 カラー画像取込判定部 31 画像取込部 33 2分割ウィンドウ重ね部 36 カプセル色特徴演算部 38 異錠剤判定テーブル作成部 42 異錠剤判定部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 被検査物に対して、光を放射して前記被
    検査物の色画像を得る工程と、 前記色画像から光の光量レベルに応じた被検査物の視覚
    色を強調し、この強調した視覚色の平均及び標準偏差と
    を前記被検査物の視覚色の特徴として求める工程と、 この特徴と予め記憶している前記被検査物の標準パター
    ンの特徴との類似度のを求め、この類似度の度合いに基
    づいて異種物を判定する工程とを有することを特徴とす
    る異種物混入検査方法。
  2. 【請求項2】 被検査物に対して所定間隔を有して光源
    を配置し、この光源への前記検査物の搬送の検出又は前
    記光源の発光に伴って前記被検査物の色画像と白黒画像
    とを作成して、それぞれの画像から被検査物の状態、異
    種物の混入を検査する異種物混入検査システムであっ
    て、 前記被検査物からの反射光から一画素毎の色画像信号と
    輝度信号とを送出する撮像部と、 前記輝度信号を入力し、前記光源が光を放射したとき、
    輝度信号から前記被検査物の白黒画像形状を生成し、こ
    の白黒画像から前記被検査物の状態を検出する第1の検
    査装置と、 前記色画像信号を入力し、前記第1の検査装置が白黒画
    像形状を生成するのと同時に、この色画像信号より前記
    被検査物の色画像を求め、この色画像から前記光源の光
    量レベルに応じた視覚色を強調し、この視覚色の平均と
    標準偏差とを前記被検査物の視覚色に基づいた特徴とし
    て求め、この特徴と予め記憶している前記被検査物の標
    準パターンの特徴との類似度から異種物を判定する第2
    の検査装置とを有することを特徴とする異種物混入検査
    システム。
  3. 【請求項3】 前記第2の検査装置は、前記被検査物の
    色画像を一時記憶する複数のフレームメモリを備え、い
    ずれかのフレームメモリに明るい色画像が蓄積されたと
    き、そのフレームメモリの色画像を内部に取り込むこと
    を特徴とする請求項2記載の異種物混入検査システム。
  4. 【請求項4】 前記第2の検査装置は、前記色画像から
    色相H、色彩S及び明度Iを求めて、これらのスペクト
    ラム分布を求め、それぞれのスペクトラム分布の平均と
    標準偏差とを前記光源の光量に応じた視覚色の特徴とし
    て求めることを特徴とする請求項2乃至3記載の異種物
    混入検査システム。
  5. 【請求項5】 前記第2の検査装置は、前記被検査物の
    色画像を取り込んだ後に、この色画像の中央から2分割
    した第1の色画像と第2の色画像とを得て、それぞれの
    色画像の前記特徴を求めることを特徴とする請求項2乃
    至4記載の異種物混入検査システム。
  6. 【請求項6】 前記第2の検査装置は、前記特徴と標準
    パターンとの類似度を求め、この類似度が所定の条件を
    満足していないときは前記標準パターンに不一致の特徴
    を有する異種物と判定することを特徴とする請求項2乃
    至5記載の異種物混入検査システム。
  7. 【請求項7】 前記標準パターンは、前記被検査物を中
    央部から2分割した第1の標準パターンと第2の標準パ
    ターンとからなり、 前記類似度の判定は、この第1の標準パターンに対する
    前記第1の色画像の第1の類似度及び第2の色画像との
    第2の類似度を求めると共に、第2の標準パターンに対
    する前記第1の色画像の第3の類似度及び第2の色画像
    の第4の類似度を求め、 前記第1の類似度と第4の類似度とが不一致又は前記第
    2の類似度と前記第3の類似度とが不一致のときは、前
    記類似度が所定の条件を満足していないと判定すること
    を特徴とする請求項6記載の異種物混入検査システム。
  8. 【請求項8】 前記類似度は、前記被検査物の色画像の
    前記H、S、Iのそれぞれのヒストグラムの平均と標準
    偏差と、前記被検査物のH、S、Iのそれぞれの標準パ
    ターンの標準偏差と前記標準パターンの平均とを用いて
    算出することを特徴とする請求項6記載の異種物混入検
    査システム。
  9. 【請求項9】 前記第2の検査装置に代えて、前記光源
    の発光信号又は前記被検査物の検出信号を入力し、いず
    れかの信号の入力に伴って前記撮像部からの色信号を内
    部に取り込み、この色画像信号より前記被検査物の色画
    像を求めて、前記色画像の平均と標準偏差とを前記被検
    査物の視覚色の特徴として求め、この特徴と予め記憶し
    ている前記被検査物の標準パターンの特徴との類似度に
    基づいて異種物を判定する第3の検査装置を有すること
    を特徴とする請求項2記載の異種物混入検査システム。
  10. 【請求項10】 前記撮像部の他に、 前記被検査物の透過光を受光して一画素毎の白黒画像を
    生成して送出する第2の撮像部と、 前記第2の撮像部からの白黒画像を2値化して被検査物
    の状態及び面積比に基づく異種物を判定する第4の検査
    装置とを有することを特徴とする請求項2乃至9記載の
    異種物混入検査システム。
  11. 【請求項11】 前記被検査物は、丸形状の錠剤又は2
    個の半カプセル同士を組み合わせた楕円形状のカプセル
    を乗せたシートであって、このシートには錠剤又はカプ
    セルを搭載する形状のポケットを所定数配列しているこ
    とを特徴とする請求項2乃至10記載の異種物混入検査
    システム。
JP26099096A 1996-10-01 1996-10-01 異種物混入検査方法及びそのシステム Expired - Lifetime JP4208269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26099096A JP4208269B2 (ja) 1996-10-01 1996-10-01 異種物混入検査方法及びそのシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26099096A JP4208269B2 (ja) 1996-10-01 1996-10-01 異種物混入検査方法及びそのシステム

Publications (2)

Publication Number Publication Date
JPH10104076A true JPH10104076A (ja) 1998-04-24
JP4208269B2 JP4208269B2 (ja) 2009-01-14

Family

ID=17355541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26099096A Expired - Lifetime JP4208269B2 (ja) 1996-10-01 1996-10-01 異種物混入検査方法及びそのシステム

Country Status (1)

Country Link
JP (1) JP4208269B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358508A (ja) * 2001-05-31 2002-12-13 Daiwa Can Co Ltd 量子誤差を考慮した色変換方法
JP2009023710A (ja) * 2007-07-23 2009-02-05 Ckd Corp 錠剤検査装置及びptp包装機
JP2010172672A (ja) * 2009-02-02 2010-08-12 Mutual Corp 固形製剤検査装置
JP2011137675A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 錠剤包装検査装置、錠剤包装検査方法、錠剤包装検査プログラム
JP5103736B2 (ja) * 2003-10-17 2012-12-19 アステラス製薬株式会社 平面分光器を用いた異種品検出装置
JP2017194828A (ja) * 2016-04-20 2017-10-26 株式会社東芝 位置検出装置、位置検出方法、位置検出プログラム
US10552706B2 (en) 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI2882723T1 (sl) * 2012-08-07 2017-04-26 Basilea Pharmaceutica Ag Postopek izdelave izavukonazola ali ravukonazola

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358508A (ja) * 2001-05-31 2002-12-13 Daiwa Can Co Ltd 量子誤差を考慮した色変換方法
JP5103736B2 (ja) * 2003-10-17 2012-12-19 アステラス製薬株式会社 平面分光器を用いた異種品検出装置
JP2009023710A (ja) * 2007-07-23 2009-02-05 Ckd Corp 錠剤検査装置及びptp包装機
JP2010172672A (ja) * 2009-02-02 2010-08-12 Mutual Corp 固形製剤検査装置
JP2011137675A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 錠剤包装検査装置、錠剤包装検査方法、錠剤包装検査プログラム
JP2017194828A (ja) * 2016-04-20 2017-10-26 株式会社東芝 位置検出装置、位置検出方法、位置検出プログラム
US10552706B2 (en) 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method

Also Published As

Publication number Publication date
JP4208269B2 (ja) 2009-01-14

Similar Documents

Publication Publication Date Title
CN108445007B (zh) 一种基于图像融合的检测方法及其检测装置
US6259827B1 (en) Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
KR20100015628A (ko) 목재의 검사 방법, 장치 및 프로그램
CN109461156B (zh) 基于视觉的螺纹密封塞装配检测方法
JPH10104076A (ja) 異種物混入検査方法及びそのシステム
JP3333472B2 (ja) 褐色鶏卵における血卵の非破壊検出方法とその装置
KR20120109547A (ko) 외관 검사 장치
JP6623545B2 (ja) 検査システム、検査方法、プログラムおよび記憶媒体
JP2009080004A (ja) 検査装置
JPH0560537A (ja) スルーホール検査装置
JP3047168B2 (ja) 鶏卵の検査方法
JPH02163879A (ja) 印刷物の品質検査装置及びその方法
JPH0658733A (ja) ガラスびんの偏肉検査方法
JPS62156547A (ja) 表面欠陥検出方法
JP2818347B2 (ja) 外観検査装置
JPH0735699A (ja) 表面欠陥検出方法およびその装置
JP2005189167A (ja) キャップのブリッジ検査装置
JP3415307B2 (ja) 外観検査装置
JPH05332746A (ja) はんだペースト形状認識装置
JPS61169749A (ja) 物品の外面検査方法
JP2000097882A (ja) X線検査方法及びx線検査装置
CN116660284A (zh) 芯片检测方法
JP3369880B2 (ja) 鏡面状被検査物の鏡面認識方法
JPH0546898B2 (ja)
JPH0763695A (ja) シート状製品の外観検査装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081021

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term