JP4098269B2 - Ptpシートの検査装置及び検査方法 - Google Patents

Ptpシートの検査装置及び検査方法 Download PDF

Info

Publication number
JP4098269B2
JP4098269B2 JP2004107894A JP2004107894A JP4098269B2 JP 4098269 B2 JP4098269 B2 JP 4098269B2 JP 2004107894 A JP2004107894 A JP 2004107894A JP 2004107894 A JP2004107894 A JP 2004107894A JP 4098269 B2 JP4098269 B2 JP 4098269B2
Authority
JP
Japan
Prior art keywords
cover film
ptp sheet
image
film
seal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004107894A
Other languages
English (en)
Other versions
JP2005291939A (ja
Inventor
勘一 岸
博幸 林
康幸 杉山
千秋 木立
圭二 松本
豊彦 名富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lion Engineering Co Ltd
Original Assignee
Lion Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lion Engineering Co Ltd filed Critical Lion Engineering Co Ltd
Priority to JP2004107894A priority Critical patent/JP4098269B2/ja
Publication of JP2005291939A publication Critical patent/JP2005291939A/ja
Application granted granted Critical
Publication of JP4098269B2 publication Critical patent/JP4098269B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、医薬品、食品などで用いられる錠剤やカプセル剤等が収納されるPTP(プレススルーパック)シートのシール面を検査する装置に関し、更に詳しくは、ポケットが形成される樹脂シートまたはアルミシートなどのフィルム部に、蓋材とされるアルミフィルムなどのカバーフィルムを熱及びまたは圧力により接着して成るPTPシートの製造に際し、前記カバーフィルムの外面の不良を検出することができる検査装置に関する。
近年老人や子供など使用者の咀嚼形態や嗜好性に合わせて剤形選択ができるように、医薬品、食品分野を中心に錠剤、カプセル、グミ、チップなど様々な剤形の拡大が進んでいる。
それとともに携帯性に優れ、個々に内容物が密閉され、必要な時に必要な量利用できるPTP(プレススルーパック)シート包装は安全、且つ内容物の安定性に優れた包装形態として幅広く利用されている。
このPTPシートに使用されるアルミフィルムは、PTPシート製造技術やアルミフィルムの生産技術の進歩、及び企業におけるコストダウン対応から年々薄手のフィルムの利用が増えてきている。これにより僅かなPTPシートのアルミ面のキズ、シワ、シール不良、ピンホールなどによりリークが発生し、内容物の変色、変敗等の品質不良へつながる可能性が高くなってきている。
PTPシートの検査装置として、例えば以下の特許文献1には、錠剤やカプセル剤等が収納されるPTPシートのポケット面を照明する照明装置と、同じくポケット面を撮像するためのカメラ装置とを備え、シール部位に形成されたメッシュ状の模様又はアルミ箔にしわが発生している場合には該しわを含む画像を撮り込み、この画像に形成されたメッシュ状の模様又はアルミ箔のしわを基準となるメッシュ状の模様又はアルミ箔のしわをと比較してPTPシートのシール状態を判定する装置が記載されている。
また、以下の特許文献2には、包装用フィルムに形成されたポケット部に錠剤が収容され、ポケット部を塞ぐようにカバーフィルムが取着されるPTPシートの製造に用いられ、包装用フィルム側から前記カバーフィルムに対して赤外光を含む光を照射する照明手段と、赤外光に感度を有し、前記照明手段により照射された面を撮像する撮像手段と、前記撮像手段から出力される映像信号を処理する画像処理装置とを備えてなり、前記画像処理装置が、前記映像信号によって得られる画像をイメージデータを用いて、前記カバーフィルムの撮像面に付された識別情報を無視した上で、前記カバーフィルム上の異常を判定する機能を有すると記載されている。
特開平10−267865号公報 特開2003−215047号公報
しかしながら従来のPTPシートの検査装置では、PTPシートのポケットに収納された錠剤やカプセル剤の表面の検査も同時に行う等の理由から、PTPシートのポケット面側から照明、撮像、検査するため、錠剤やカプセル剤裏の未シール部分にあたるアルミ面の検査は出来なかった。
従来より、内容物の品質を確保する為にPTPシートのリークの有無を確認する方法が知られている。具体的には、PTPシートを一度水中で減圧し気泡発現の有無を確認する方法、もしくは所定の容器にPTPシートを入れ、通常気圧条件から真空条件へ減圧する際生じるポケット内部の膨張性を確認する方法などが挙げられる。しかしながらこれらの確認方法では一部商品の抜き取り検査には対応可能であるが、生産ライン上での全数検査を行うことは不可能であった。
一方、リークにつながる様なシール不良の確認方法として、光源からPTPシートのアルミフィルム面へ投光し、反射した光を可視光テレビカメラで撮像し、シール部のシワを検出する装置が知られている。
しかしながらこの様な検査装置の問題点として、第1に、照明強度やハレーションによる反射強度の影響を直接受けてしまい検査精度が落ちてしまうと言った問題があった。
第2に、近年社会的な環境への対応及び使用者配慮への対応から、廃棄方法の表記、使用方法の表記、商品名の表記など、アルミフィルム面へ多くの印刷を施すことが多い。しかしながら従来の検査装置では、検査結果が印刷色の影響を受けてしまう為、印刷部分を検査領域から外して検査しなければならず、わずかに限られた領域しか検査出来ないといった問題があった。
第3に、本来内容物の安定性はリークの危険性のある全ての不良品に対し検査することが好ましいが、1枚のPTPシートの中にはアルミフィルムの熱接着及び/または圧力接着されたシール部と、アルミフィルムの接着されていないポケット部があり、同時に一つのカメラで得られた撮像により検査することが困難であった。
よって従来のシール検査装置は、熱接着及び/または圧力接着したシール部のシワ、よれなどが検査対象であり、ポケット部の検査については充分に満足する性能を有するものが無かった。
本発明者らは前記課題を解決するために鋭意検討した結果、光源から照射する光の波長と、光源から照射する光の進行角度と、ワークとの位置関係と、検査精度を向上させるための搬送部の色と、撮像するカメラの特徴、並びにその他種々の条件を所定の設定に合わせることにより従来困難であったリーク性に関わるカバーフィルムを有するPTPシートの全数検査が可能になることを見出し、本発明を完成した。
本発明は上記事情に鑑みてなされたもので、シール部と非シール部を有するカバーフィルムを有するPTPシートの検査に用いて好適であり、シール部と非シール部の両方を同時に正確かつ確実に検査することができるとともに、生産ラインにおいて全数検査が可能なPTPシートの検査装置の提供を目的とする。
上記目的を達成するために、本発明は以下の構成を採用した。
本発明の検査装置は、フィルム部と、該フィルム部の一部をその表面側に突出させ該フィルム部の裏面側に開口部を設けて該フィルム部に間欠的に形成された複数の非シール部であるポケット部と、前記複数のポケット部の開口部を塞ぐように前記フィルム部の裏面側にシールされてなるカバーフィルムとを具備してなるPTPシートのシール状態の検査装置であり、前記フィルム部の裏面側のカバーフィルムにその外面側から赤外光または近赤外光を照射可能な光源と、前記カバーフィルムの外面からの反射光を受けて映像信号を発生させる撮像手段と、該撮像手段とカバーフィルムの間に設置されて先のカバーフィルムからの反射光のうち、赤外光または近赤外光を透過させて前記カバーフィルム上の印刷部の色に起因する反射光を弱化あるいは消去するフィルタと、該撮像手段から出力される画像信号を処理する画像処理装置と、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムのシール部と非シール部に区分けして画像情報の演算処理を行い、前記シール部においてはシール不良などのシール欠陥部を検出する判定手段であって、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部とシール部に区分けして各部において前記画像処理装置が複数の画素において計測した1画素毎の輝度レベル積算値を比較し、その差異の大小により前記シール部の欠陥を判定する判定手段を備えたことを特徴とする。
本発明において前記判定手段に、前記画像情報の演算処理を行い、前記非シール部においては非シール部自体の傷、しわなどの不良部を検出する機能であって、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部においては閾値で二値化処理して欠陥を判定する機能を更に備えていても良い
本発明において、先の輝度積算値の総和を基にPTPシートの良否を判定しても良い。 本発明において、前記光源から発せられる近赤外光または赤外光の波長として00〜1000nmの範囲を選択することが好ましい。
本発明において、前記カバーフィルムの外面に光を照射する光源からの光の進行角度を前記カバーフィルムの外面に対して±15゜の範囲内に設定することが好ましい。
本発明において、前記カバーフィルムの非シール部が前記ポケット部の開口部を覆う部分であり、前記撮像手段が前記非シール部と前記シール部を同時に捉えて撮影するCCDカメラを用いることができる。
本発明において、複数のPTPシートを経時的に検査する場合に用いられ、撮像装置が画像処理装置に送る画像イメージデータの特定の部分の輝度を検査毎に測定して記憶し、先に測定した特定部分の輝度と後に検査した特定部分の輝度の比較を行って、それらの比較値が規定範囲外であれば前記光源の輝度を補正する光源輝度補正手段が設けられてなることが好ましい。
本発明において、前記PTPシートが所定の大きさにトリミングされた後のシートである場合に適用され、前記フィルム部の被計測位置を前記フィルム部の基点位置から割り振り、前記搬送装置によりPTPシートの縦横方向であるX方向またはY方向のずれと、PTPシートの中心を基準とする時計方向であるφ方向のずれを画像情報処理の際に補正する手段を備えてなることが好ましい。
本発明において、前記撮像装置から前記画像処理装置に送られた画像イメージデータを構成する複数の画素情報において前記ポケット部からの画素情報に含まれる欠陥情報と前記シール部からの画素情報に含まれる欠陥情報が、各部毎に、一定値以上の連続データである場合にのみ不良と判定する判定部を有することが好ましい。
本発明の検査方法は、フィルム部と、該フィルム部の一部をその表面側に突出させ該フィルム部の裏面側に開口部を設けて該フィルム部に間欠的に形成された非シール部である複数のポケット部と、前記複数のポケット部の開口部を塞ぐように前記フィルム部の裏面側にシールされてなるカバーフィルムとを具備してなるPTPシートのシール状態を検査する方法であり、前記フィルム部の裏面側のカバーフィルムにその外面斜め方向側から赤外光または近赤外光を照射し、前記カバーフィルムの外面からの反射光のうち、近赤外光または赤外光のみを前記カバーフィルムに対向させて設置した撮像手段で受けて映像信号を発生させ、この映像信号から得られる画像イメージデータを前記カバーフィルムのシール部と非シール部に区分けして演算処理し、前記シール部においてはシール不良などのシール欠陥部を検出する方法と、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部とシール部に区分けして各部において前記画像処理装置が複数の画素において計測した1画素毎の輝度レベル積算値を比較し、その差異の大小により前記シール部の欠陥を判定する方法を行うことを特徴とする。
本発明の検査方法において、前記判定する方法に、前記画像情報の演算処理を行い、前記非シール部においては非シール部自体の傷、しわなどの不良部を判定する方法であって、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部においては閾値で二値化処理して欠陥を判定する方法を併用しても良い。

本発明ではフィルム部の裏面側のカバーフィルムにその外面側から赤外光または近赤外光を照射し、その反射光を受けて撮像手段で映像信号を発生させ、フィルタにより赤外光または近赤外光を選択透過させて画像処理装置に画像イメージデータを生成させ、これを分析してカバーフィルムの不良を検査するので、カバーフィルム上の印刷部の色に起因する反射光を弱化あるいは消去して検知精度を向上できる。また、カバーフィルムのシール部と非シール部に区分けして画像情報の演算処理を行うので、シール部のシール不良、傷、しわ、汚れなどのシール欠陥部を検出し、非シール部においては非シール部自体の傷、しわなどの不良部を検出することができる。
本発明では、カバーフィルムのポケット部とシール部に区分けして各部における輝度積算値を比較し、その比較値の大小により前記シール部の欠陥を判定する判定手段とを備えたので、輝度積算値の利用という極めて容易な手段により簡便かつ正確にPTPシートの検査ができる。
また、カバーフィルムの印刷部から反射光に影響されて検査精度に影響する情報を除去するために、赤外光または近赤外光を照射することが有効となる。その場合、用いる光の波長は00〜1000nmの範囲が望ましい。カバーフィルムに照射する光の進行角度をカバーフィルムの外面に対して±15゜の範囲とすることで、カバーフィルム全面の輝度を一定に保ちつつ傷などの欠陥に起因する影の成分を浮き立たせることができ、より正確な検査ができる。
PTPシートと照明装置との高さ方向の距離は20〜60mmの範囲が望ましく、この範囲であれば、カバーフィルム全面の輝度を一定に保ちつつ傷などの欠陥に起因する影の成分を浮き立たせることができ、より正確な検査ができる。
画像処理装置での画像イメージデータの特定の部分の輝度を検査毎に測定して記憶し、先に測定した特定部分の輝度と後に検査した特定部分の輝度の比較を行って、それらの比較値が規定範囲外であれば前記光源の輝度を補正する光源輝度補正手段を設けることで、検査の度にPTPシートに適正な光量の光を確実に照射でき、温度変動や照明装置の経時変化によらずに常に安定した輝度を得ながら測定ができる。
検査時のPTPシートの位置調整を行いながら検査することで常に適切な測定位置を確保することができ検査精度の向上に寄与する。
また、撮像装置から画像処理装置に送られた画像イメージデータにおいて一定の欠陥情報が連続データの場合のみ不良と判断するようにすれば、ゴミや塵の付着などの外部要因による検査精度の低下を防止できる。
以下に本発明の一実施形態を図面を用いて説明する。
図1は本発明に係るPTP(プレススルーパック)シートの検査装置の第1実施形態の構成図を示すもので、この形態のPTPシートの検査装置は、近赤外光または赤外光を発光可能な照明装置1と、この照明装置1に接続された照明用電源2と、前記照明装置1の上方に設置されたCCDカメラ3(撮像手段)と、これら照明用電源2とCCDカメラ3に接続された画像処理装置5と、この画像処理装置5に接続されたモニタ装置6と、前記照明用電源2と画像処理装置5に接続されたプログラマブルコントローラ(PLC)7とを主体として構成されている。
前記照明装置1は、近赤外光または赤外光を発光可能なLEDなどの発光素子を複数個備えた横長型の照明灯(光源)10を4基、矩形枠状に個々に水平に配置してなる形状の照明装置とされている。これらの照明灯10は、互いの対向する内側の面を発光面10Aとして、各発光面10Aを内側に向けて照明光を照射できる構成とされ、検査対象とされる被検査物(PTPシート)12を搬送可能なラインの上方などに水平に設置されている。図1ではPTPシート12の搬送ラインの記載を略したが、その搬送ラインの搬送方向を矢印Rで示しておく。従って検査対象のPTPシート12は照明装置1の各照明灯10がその内側に形作る矩形状の空間の若干下方を搬送ラインの搬送路に沿って図1の矢印R方向に水平方向に移動して通過できるようにされている。
図2(A)、(B)に照明装置1の照明灯10と被検査物12との相対位置関係について拡大して示す。この形態の装置において検査するのは、図2あるいは図3に示す形状の予め所定の大きさに切断されたトリミング済みのPTPシート(被検査物)12であり、この形態でのPTPシート12は、樹脂製の平板状の透明のフィルム部13と、該フィルム部13の一部をその表面側にドーム状に突出させ、該フィルム部13の裏面側に開口部15を設けて該フィルム部13に間欠的に形成された複数の(図2、図3の例では5個ずつ2列、合計10個の)透明のポケット部16と、前記複数のポケット部16の開口部15を塞ぐように前記フィルム部13の裏面側にシールされてなるアルミニウム箔などの金属箔からなるカバーフィルム17とを具備してなる。従ってPTPシート12のカバーフィルム17において開口部15を覆った部分が非シール部a、フィルム部13を覆ってシールされた部分がシール部bに相当する。
なお、ポケット部16の内部には錠剤等の収容物が収納されているが図では記載を略している。
前記PTPシート12と各照明灯10の位置関係はこの実施形態では図2に示すように、ポケット部16を下に向けてほぼ水平に搬送ラインに沿ってR方向に搬送されるPTPシート12に対して、その若干上方に各照明灯10が位置されるように、かつ、各照明灯10が囲んで形作る矩形状の空間の中央下方にPTPシート12が位置した場合に(図2(B)参照)、各照明灯10の発光面10AとPTPシート12の周端部との高さ方向(垂直方向)の距離が20〜60mmの範囲に入るように設定される。
先の距離が20mm未満であると、CCDカメラ3で後述する如くPTPシート12の裏面側を撮像した場合、PTPシート12の裏面側の欠陥は際だって確認しやすいが、PTPシート12のエッジ部分と中央部分との明るさに差異を生じ過ぎて明るさにバラツキが生じ、逆に60mmを超える距離とするとPTPシート12の裏面全体を均一な明るさにはしやすいが、傷等の欠陥が目立たなくなり、検査精度が低下する。
また、図2(B)に示すようにPTPシート12の裏面を照射する各照明灯10からの照射角度はPTPシート12の裏面のカバーフィルム17に対して水平方向から0°を含めて±15゜、合計30°の角度範囲とすることが好ましい。カバーフィルム17に対して垂直方向である真上側からの照射では、カバーフィルム17の裏面に印刷されたインクの影響及び反射光が強くなりすぎてハレーションを起こしやすく、ハレーションを起こすと満足な検査精度が得られなくなるおそれがある。
先の照明装置1に用いるLEDなどの光源は、赤外光の中でも近赤外光に属する波長800〜900nmの光を発光できるものであることが望ましい。この範囲の中でも特に850nm付近の一定波長の光を照射できるLED光源が望ましいが、勿論その他の光源でも差し支えない。ここで700nm未満の可視光を光源とした場合は、PTPシート12の裏面側のカバーフィルム17に印刷されている印刷部のインクの色の影響を受けやすく、検査精度が低下する。また、1000nmよりも長い波長の光である場合は、カバーフィルム17からの反射光が弱くなりやすく、全体に暗い映像しか得られなくなり、充分な精度の検査ができなくなるおそれがある。
次に、CCDカメラ3は、先の4基の照明灯10が形作る矩形枠状の空間部の下方を通過するPTPシート12の裏面ほぼ全面を撮像可能で、カバーフィルム17の外面からの反射光を受けて画像信号を発生させ、その画像信号を制御装置5に送ることができるものである。
また、CCDカメラ3はPTPシート12の裏面ほぼ全部を撮像可能であるが、それに加えてPTPシート12の周辺部外側部分も若干撮像するので、PTPシート12を搬送するための搬送ラインのシート設置面は黒色などの暗色に着色しておくことが好ましい。ここで暗色とはアルミニウム箔などからなるカバーフィルム17をCCDカメラ3で撮像した場合の表示画面上での色がカバーフィルム17の色よりも暗い(黒)画面として現れることを示す。
即ち、PTPシート12の裏面側のカバーフィルム17は通常はアルミニウム箔からなり、反射率が高く白く輝くので、この反射光とその周囲部分の色の差異が明確になることが好ましく、周囲部分を構成するのは、シート搬送ラインの底板、搬送ラインに付属されてシートの搬送方向を規定するための搬送ガイド、または搬送ピンなどの部材であり、これらの各部材を黒色、褐色、暗紫色、暗青色、暗緑色などの色にしておくことが好ましく、中でも艶消しの黒色が最も好ましいと考えられる。このようにPTPシート12を搬送するラインにおけるPTPシート12の周囲色も好ましい色とすることで測定精度を向上させることができる。
次に本実施形態の装置において画像処理装置5は、中央演算装置(CPU)20とハードディスク等の記憶装置21とメモリ22とカメラ接続用ポートフレームメモリボード23と入出力コントローラ25とを具備するパーソナルコンピュータから構成されるとともに、画像処理装置5に接続されたプログラマブルコントローラ(PLC)7とともに協同して照明装置1の輝度を調整できるとともに、CCDカメラ3が捕らえた搬送ライン上のPTPシート12の裏面からの反射光に基づく画像イメージデータの生成と分析ができるように構成されている。
以下にこの画像処理装置5の機能について説明する。
画像処理装置5はCCDカメラ3が撮像したPTPシート12の特定の位置の輝度を検査毎に測定する機能を有している。CCDカメラ3による輝度の測定は常に同じ範囲で行われるように構成され、例えば30画素×30画素の900画素で行われ、1画素毎の輝度レベル積算値を面積(900画素)で除算することで平均輝度を例えば白黒256階調で算出できるように構成されている。
画像処理装置5ではPTPシート12を検査する環境の温度変化、照明装置1の温度変化、照明装置1の経時変化で照明の明るさが変動した場合であっても、これらの変動要因を削除して正確な検査ができるような光源輝度補正手段が備えられている。
例えば、搬送ラインにおいて被測定物であるPTPシート12の背景となる部分は暗色としておくが、CCDカメラ3が撮像する範囲の隅の一部分を白色とするか白色板を取り付けておき、この輝度測定用の白板からの輝度データをPTPシート12の検査の度に測定する。この白板の輝度を例えば白黒256階調で表示しその値を逐一記憶し、変化した場合に照明用電源2から各照明灯10に送る電圧を調整し、白板の輝度が常に同じになるように制御する。
即ち、各照明灯10に組み込まれている光源としてのLED発光素子に加える電圧レベルの調整を行い、検査対象の複数のPTPシート12のいずれを検査する場合においてもできるだけ同じ強さの光を照射できるように構成されている。例えば経時的にLEDの発光効率が低下してPTPシートの検査時の輝度が低下し始めたならば、輝度が規定の値に戻るようにLED光源に付加する電圧を上昇させて調整する。この処理により、常に検査対象物としてのPTPシート12に規定の近赤外光あるいは赤外光を照射できる。
より具体的には照明装置1に照明用電源2から印加する電圧を調整することにより、照明装置1から照射できる光の制御を行って輝度を調整できる。なお、照明装置1からの発光制御により輝度を調整するよりも、制御装置5において画像イメージデータを処理する上で輝度変換した方が有効的な場合は、輝度変換機能を使用して輝度調整しても良し、それらを併用しても良い。
搬送ライン上を移動するPTPシート12はその位置が搬送方向Rに対して平行な方向であるX方向、搬送方向に直角な方向であるY方向、及びPTPシート12の中心部を基点とする時計回り方向のθ方向にそれぞれ位置ずれを発生するおそれがあるので、これらを個々に調整してから検査する必要がある。X方向とY方向並びにθ方向の補正は、搬送ラインに付属される位置規定板や位置規制ピンなどを用いてある程度行うことができるが、より正確な位置決めができるように本実施形態では画像処理装置5で位置補正できるように位置補正機能が備えられている。例えば画像処理装置5でX方向とY方向の位置調節を行うには、予めトリミングされて形状が規定されたPTPシート12であるならば、カバーフィルム17のエッジの位置をその背景の黒色と区別して検出し、画像処理装置5において予め入力されたPTPシート12の大きさを基に、X方向移動とY方向移動させて位置規定ができる。
ここでPTPシート12の背景の黒色とは、シート搬送ラインの周囲部分を構成するのは、シート搬送ラインの底板、搬送ラインに付属されてシートの搬送方向を規定するための搬送ガイド、または搬送ピンなどの種々の部材であり、これらの各部材を黒色、褐色、暗紫色、暗青色、暗緑色などの暗色系の色にしておくことが好ましく、中でも艶消しの黒色が最も好ましいと考えられる。このようにPTPシート12を搬送するラインにおけるPTPシート12の周囲色も好ましい暗色系の色とすることで測定精度を更に向上させることができる。
次に、θ方向の角度制御は例えば以下のようにして行う。
PTPシート12において、ある一定の2点の間隔を定め、水平なエッジ2点を検出し、2点のY座標を基に三角形の高さを算出し、先の2点のY座標を基に求めた三角形の高さを、先のある一定の2点の間隔で除算し、アークタンジェントの値を算出すればθ方向の角度補正値が算出できるので、このθ方向角度補正値に基づいてCCDカメラ3から得られた入力画像を回転させることでPTPシート12を搬送ラインの搬送方向Rに対して垂直な画像に変換できる。
これら補正後の画像を囲む最小矩形を抽出し、基点(本実施形態では最小矩形の左上の点)から予め設定された座標に検査領域を設定することでPTPシート12において常に一定の領域を検査対象とすることができる。例えば、図4(B)に示すように後述するPTPシート30の一辺の延長線Eと他の辺の延長線Fを描き、その交点Gを基点とすることができる。ここで、矩形枠状の予めカッタで切断されてトリミングされたPTPシート12あるいは後述のPTPシート30は大きさが決まっているので、その大きさの域内に画像処理装置5での画像イメージデータが存在すれば良いが、トリミング時の不良でPTPシートの外周部に一部凸部や凹部が形成されている不良などは画像処理装置5でのこの枠に沿わせたカバーフィルム17の周縁部分の輝度検査で不良を検知することができる。
前記照明装置1により照明されたカバーフィルム17からの赤外光を選択的に撮像する手段として本実施の形態ではCCDカメラ3の前に赤外光のみを選択的に透過させるフィルタ27が取り付けられている。ただし、カバーフィルム17からの赤外光を選択的に撮像するための手段はこのフィルタに限るものではない。また、フィルタとしてこの他に、撮像した画面の演算方法についても特に先の説明の方法に限定するものではないが、得られた映像の反射の強い部分(白)と反射の弱い部分(黒)を強調する画像処理フィルタ、微細な欠陥を安定して検出するエッジフィルタ、微分フィルタ等を画像処理装置5において適宜用いて画像処理を行うことが好ましい。
画像処理装置5では、画像イメージデータに基づいて得られた映像の反射の強い部分(白)と反射の弱い部分(黒)の境界が出た部分の数をカバーフィルム17のシール部bにおいてはシール不良、傷、しわ、汚れなどのシール欠陥部、換言すると画像処理装置で生成された画像イメージデータの画素欠陥部の数として検出し、前記非シール部aにおいては非シール部自体の傷、しわなどの不良部、換言すると画像処理装置で生成された画像イメージデータの画素欠陥部の数として検出する検出手段が画像処理装置5に備えられている。
CCDカメラ3により取り込まれた画像は例えば256階調の白黒多値画像である。この画像のままでは微細な欠陥の検出が難しく、少しの輝度変化を生じても検出精度が変動するおそれがある。従って画像処理装置5に画像強調フィルタ、エッジフィルタ、微分フィルタ等を設けておき、これらを併用することで僅かな輝度変化でも安定検出する事が出来る。
例えばカバーフィルム17に傷が存在している箇所をCCDカメラ3で撮像し、微分フィルタを用いると、傷の内部分は黒く、傷のある部分は白くなるように画像イメージデータにおいて強調表示できる。また、強調フィルタを用いることで、画像イメージデータにおいて白表示の部分と黒表示の部分を256階調に沿って強調して際立つようにすることができる。
上記フィルタ処理した画像イメージデータを適正な二値化閾値で二値化する場合、或いは輝度を積算する場合、PTPシート12のカバーフィルム17における領域を細分化し誤検出を防止することが望ましい。その一例については後述する。このカバーフィルム17の適度に細分化した領域毎に検出画素数の判定、輝度積算を行う。或いは欠陥画素数を検出する場合は一定以上欠陥画素が連続したものでないと不良判定しないものとすることが好ましい。例えば、カバーフィルム17の一部にゴミが付着している場合、単に一部の欠陥画素が存在するのみで不良品と判定すると、ゴミが付着した良品のPTPシート12を不良品と判別していまうおそれを有する。この場合に画像処理装置5にCCDカメラ3から入力され生成された画像イメージデータの検出画素において一定の数の、例えば数個〜10個程度の欠陥画素数では不良と判定しないようにすれば、ゴミに伴う検査不良の発生数を少なくすることができる。
以上により二値化による欠陥画素数の判定では、ノイズ成分(欠陥以外で検出する白成分)の誤検出を防止する事ができる。
次に本実施形態ではカバーフィルム17の斜め方向±15度の範囲から光を入射させ、カバーフィルム17の直上側に位置するCCDカメラ3で撮像しているのでハレーションを起こさない。また、カバーフィルム17の斜め方向±15度の範囲から光を入射させることで、カバーフィルム17に傷があった場合、影ができやすいので傷の検出精度が向上する。また、カバーフィルム17と照明灯10との間の距離を20〜60mmと適正な距離としているのでカバーフィルム17の全体を適度に均一に照らすことができ先の影の確実な生成もあって傷の発見を精度良く確実に検知できる。
図4は検査対象物であるPTPシート30において検査対象領域を複数設定した場合の一例を示す。
この例のPTPシート30は、先の例のPTPシート12の場合と同様に、透明のフィルム部33と、その裏面側に開口部35を設けて該フィルム部33に間欠的に形成された10個の透明のポケット部36と、前記ポケット部36の開口部35を塞ぐように前記フィルム部33の裏面側にシールされてなるアルミニウム箔からなるカバーフィルム37とから構成されている。また、5個ずつ2列、合計10個形成されたポケット部36に対して、2つのポケット部36毎にこれらを仕切るようにミシン目部38が形成されている。また、PTPシート30は平面視長方形状に形成され、各角部はラウンドカットされたアール部39とされている。
この構成のPTPシート30に対し、検査対象領域として、平面視横長の長方形状のPTPシート30においてその幅方向、換言するとミシン目部38に平行な方向に伸びる細長い矩形状の第1の領域40をポケット部36、36の両側に規定する。また、これらの第1の領域40は先のミシン目部38を挟むようにも設置する。次に第2の領域41として各ポケット部36の両側をPTPシート30の幅方向両側から挟むように細長い矩形状の領域を規定する。
これらの各領域40…、41…を含めてCCDカメラ3は一度にPTPシート30の裏面側全部を撮像できるので、CCDカメラ3が撮像する画像イメージデータにおいて図4(B)に示した各領域40…、41…に対応する画素においてそれぞれ900画素程度で先に説明した場合と同様の画像処理を行えばよい。
次に、カバーフィルム37においてポケット部36の周縁部近傍部分に矩形状の検査用の領域45を規定し、ポケット部36の内側の開口部に対応するカバーフィルム37の非シール部aについてさきの領域45と同じ面積の矩形状の検査用の領域46を規定し、両方の領域45、46の輝度の積算値の比較を行い、検査することもできる。ここでシール部bについてはシールのためのローレット状の凹凸部などが存在すると、反射光が散乱するので輝度の積算値は非シール部よりも高くなる。
これにより、例えばシール部の領域45の輝度の積算値が80000カウントであるのに対し被シール部の領域46の輝度の積算値が20000カウントである場合、これらの差異の60000カウントが大きい場合は良品と見立て、差異が少なくなってある規定値よりも小さくなると、例えば40000カウントよりも小さい、30000カウント等になると不良品と判定して検査することもできる。
「実施例1」
CCDカメラとして赤外光選択透過フィルタを取り付けた150万画素の市販品のカメラを用い、照明灯からの照射波長及び照射角度に関する試験を行った。PTPシートの裏面にシールするアルミニウム箔としてアルミニウム箔の表面に紺色の印刷を文字印刷したもの(市販バファリン:ライオン(株)市販相当品)を用い、搬送ラインにおけるPTPシート周囲のライン底板、搬送ピンなどの各部材の背景色は全て黒色に統一した。CCDカメラが捕らえた画像の演算処理はポケット部を二値化処理し、シール部は輝度処理とした。
また、照明装置の構成は、4本の照明灯を平面視矩形状に配置する構成とし、搬送方向に直交配置する2本の照明灯を長さ150mmとし、搬送方向に平行に配置する2本の照明灯を長さ85mmとした。これらの照明灯は搬送ライン上の商品の更に上方3cmの位置に等間隔で平面視図2(A)に示すように配置している。
光源からの照射光波長として、波長600nm〜1100nmの範囲のものを選択的に用いて判定した。その結果を表1に示す。
「表1」
波長(nm) 600 650 700 750 800 850 900 950 1000 1100
検査精度 × × △ △ ○ ◎ ○ △ △ ×
表1に示す700nmの波長光では紺色の文字が消えなくて残っていまい、文字も欠点として一部計測してしまう傾向となる。また、波長800nm以上の波長光では紺色の文字を画像上から完全に消すことができ、印刷以外の欠陥を判別できるようになる。次に、波長が950nmを超えるようになると画像データが暗くなりすぎる傾向となり、印刷以外の欠陥が見え難くなり、1100nm以上の波長光では画像が暗くなりすぎて、PTPシートの欠陥が全く確認できなくなる。この試験においては適度な明るさで紺色の文字も完全に消すことができる例として850nmの波長光が最も好ましい値であった。
表1に示すこれらの試験結果から明らかなように、光源として用いる光の波長は700nm以上かつ1000nm以下の範囲が好ましく、800nm以上、900nm以下の範囲がより好ましいことが判明した。
次に、波長850nmの光源を用い、光源のPTPシートに対する照射角度を0度、+30度、+60度、+90度にそれぞれ設定して上記と同じ検査を行った。その結果を表2に示す。
「表2」
照射角度(+) 0度 +15度 +30度 +45度 +60度 +90度
検査精度 ○ ○ × × × ×
照射角度(−) 0度 −15度 −30度 −45度 −60度 −90度
検査精度 ○ ○ △ △ △ ×
照射角度において+30度以上のものでは暗すぎてPTPシートの画像が見えないため×印で示し、−30度〜−60度の場合は適度に明るいが明るすぎてPTPシートの画像が見辛く、傷を発見し難く、−90度では光源が真下を照射するため、シート表面の明るさが不均一となる。
この試験結果からPTPシートに対する照明からの照射角度は±15度の範囲が好ましいと思われる。
「実施例2」
図4に示すPTPシートにおいてポケット部の開口部に位置する10mm×2mmの細長い区画と、それに隣接するシール部に位置する同じ面積の区画の輝度の積算値を9個の試料について算出し、シール浮きの比較を行う検査を行った。その結果を以下の表3に示す。
「表3」
試料No. 1 2 3 4 5 6 7 8 9
ポケット部積算輝度(万) 5 5 5 4 4 4 4 3 3
シール部積算輝度(万) 9 8 7 10 8 7 6 7 6
積算輝度差(万) 4 3 2 6 4 3 2 4 3
良否判定 ○ × × ○ ○ × × ○ ×

表3に記載の如く積算輝度においてはポケット部の積算輝度よりもシール部積算輝度の方が大きく、これはシール部にシールの際に形成されるローレット状の凹凸を有すると、光が反射される結果としてシールしていないポケット部よりも積算輝度は高くなるので、これらの差異をあるしきい値よりも高いか、低いかで良品と不良品を判別できるようになる。この試験では積算輝度としての差異を4万未満とした場合に不良品と見て判別したが、この試験で判別した不良品を個々に取り出して目視検査したところ、これらの不良品にはいずれも確かにシール浮きの発生部分を確認できた。
即ちこの試験結果から、シールしていないポケット部の反射率の積算輝度を指標としてシールしてあるローレット状の凹凸部を有する領域の積算輝度と比較することで、シール浮き部分の存在を確実に発見できることが判明した。
「実施例3」
次に、各照明灯に光源として、波長850nmのLEDストロボ照明を用い、照射角度を水平よりも上向きに15゜に設定し、CCDカメラは先の実施例1と同等の赤外光透過フィルタ付きのものを用い、演算処理等、その他の条件は同じとして試験した。用いた試料は表3に示す積算輝度差4万の試料と同じ条件である。
この条件にて図1に示す装置で検査したところ、PTPシートのポケット部およびシール部分において(a)カバーフィルムのアルミニウム面のしわ、(b)カバーフィルムのアルミニウム面の傷、(c)カバーフィルムのアルミニウム面の切れ、(d)シール浮き(カバーフィルムと樹脂製のフィルム部との接着不良)、(e)シールずれ(カバーフィルムと合成樹脂製のフィルム部とのずれ)、(f)打ち抜き不良に起因するもの(シートの変形例)ミシン線のずれについて評価を行った結果、良品と不良品の判別は良好であった。また、不良については全て検知することができ、かつ誤排出率は1%以下であり、良好な値が得られた。
「実施例4」
先の実施例においてPTPシートの搬送ラインにおける背景色を黒色から白色に変えた結果(搬送ライン底面の色、排出ピンの色等、PTPシート以外の搬送ラインの各部の色を全て白色に変えた場合)不良品誤排出率が100%に上昇し、同様に背景色を黒色から灰色に変えた結果、不良品誤排出率が60%に上昇し、搬送ライン背景色とシート色の濃淡差の影響が試験結果に影響を与えた。
図1は本発明に係るPTPシートの検査装置の一実施形態を示す構成図。 図2は同実施形態の検査装置でPTPシートを検査する場合の照明装置とPTPシートの位置関係を示すもので、図2(A)は平面図、図2(B)は側面図。 図3は本発明に係る検査装置で検査対象となるPTPシートの一構成例を示すもので、図3(A)は平面図、図3(B)は側面図、図3(C)は裏面側斜視図。 図4は本発明に係る検査装置で検査対象となるトリミング済みのPTPシートの構成の他の例を示すもので、図4(A)は裏面図、図4(B)はカバーフィルムを除去した状態の裏面図。
符号の説明
1…照明装置、2…照明用電源、3…CCDカメラ(撮像手段)、5…画像処理装置、10…照明灯(光源)、10A…発光面、12、30…PTPシート(被検査物)、
13、33…フィルム部、15、35…開口部、16、36…ポケット部、17、37…カバーフィルム。


Claims (8)

  1. フィルム部と、該フィルム部の一部をその表面側に突出させ該フィルム部の裏面側に開口部を設けて該フィルム部に間欠的に形成された複数の非シール部であるポケット部と、前記複数のポケット部の開口部を塞ぐように前記フィルム部の裏面側にシールされてなるカバーフィルムとを具備してなるPTPシートのシール状態の検査装置であり、
    前記フィルム部の裏面側のカバーフィルムにその外面側から赤外光または近赤外光を照射可能な光源と、前記カバーフィルムの外面からの反射光を受けて映像信号を発生させる撮像手段と、該撮像手段とカバーフィルムの間に設置されて先のカバーフィルムからの反射光のうち、赤外光または近赤外光を透過させて前記カバーフィルム上の印刷部の色に起因する反射光を弱化あるいは消去するフィルタと、該撮像手段から出力される画像信号を処理する画像処理装置と、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムのシール部と非シール部に区分けして画像情報の演算処理を行い、前記シール部においてはシール不良などのシール欠陥部を検出する判定手段であって、
    前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部とシール部に区分けして各部において前記画像処理装置が複数の画素において計測した1画素毎の輝度レベル積算値を比較し、その差異の大小により前記シール部の欠陥を判定する判定手段を備えたことを特徴とするPTPシートの検査装置。
  2. 前記判定手段に、前記画像情報の演算処理を行い、前記非シール部においては非シール部自体の傷、しわなどの不良部を検出する機能であって、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部においては閾値で二値化処理して欠陥を判定する機能を備えたことを特徴とする請求項1に記載のPTPシートの検査装置。
  3. 複数のPTPシートを経時的に検査する場合に用いられ、撮像装置が画像処理装置に送る画像イメージデータの特定の部分の輝度を検査毎に測定して記憶し、先に測定した特定部分の輝度と後に検査した特定部分の輝度の比較を行って、それらの比較値が規定範囲外であれば前記光源の輝度を補正する光源輝度補正手段が設けられてなることを特徴とする請求項1または2に記載のPTPシートの検査装置。
  4. 前記撮像装置から前記画像処理装置に送られた画像イメージデータを構成する複数の画素情報において前記ポケット部からの画素情報に含まれる欠陥情報と前記シール部からの画素情報に含まれる欠陥情報が、各部毎に、一定値以上の連続データである場合にのみ不良と判定する判定部を有したことを特徴とする請求項1〜3のいずれかに記載のPTPシートの検査装置。
  5. 前記光源が波長700〜1000nmの照射光を照射する光源であることを特徴とする請求項1〜4のいずれかに記載のPTPシートの検査装置。
  6. 前記PTPシートに対する光源からの光照射角度が±15゜の範囲とされてなることを特徴とする請求項1〜5のいずれかに記載のPTPシートの検査装置。
  7. フィルム部と、該フィルム部の一部をその表面側に突出させ該フィルム部の裏面側に開口部を設けて該フィルム部に間欠的に形成された非シール部である複数のポケット部と、前記複数のポケット部の開口部を塞ぐように前記フィルム部の裏面側にシールされてなるカバーフィルムとを具備してなるPTPシートのシール状態を検査する方法であり、
    前記フィルム部の裏面側のカバーフィルムにその外面斜め方向側から赤外光または近赤外光を照射し、前記カバーフィルムの外面からの反射光のうち、近赤外光または赤外光のみを前記カバーフィルムに対向させて設置した撮像手段で受けて映像信号を発生させ、この映像信号から得られる画像イメージデータを前記カバーフィルムのシール部と非シール部に区分けして演算処理し、前記シール部においてはシール不良などのシール欠陥部を検出する方法と
    前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部とシール部に区分けして各部において前記画像処理装置が複数の画素において計測した1画素毎の輝度レベル積算値を比較し、その差異の大小により前記シール部の欠陥を判定する方法を行うことを特徴とするPTPシートの検査方法。
  8. 前記判定する方法に、前記画像情報の演算処理を行い、前記非シール部においては非シール部自体の傷、しわなどの不良部を判定する方法であって、前記画像処理装置から得られる画像イメージデータを分析して前記カバーフィルムの非シール部であるポケット部においては閾値で二値化処理して欠陥を判定する方法を併用することを特徴とする請求項に記載のPTPシートの検査方法
JP2004107894A 2004-03-31 2004-03-31 Ptpシートの検査装置及び検査方法 Expired - Fee Related JP4098269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004107894A JP4098269B2 (ja) 2004-03-31 2004-03-31 Ptpシートの検査装置及び検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004107894A JP4098269B2 (ja) 2004-03-31 2004-03-31 Ptpシートの検査装置及び検査方法

Publications (2)

Publication Number Publication Date
JP2005291939A JP2005291939A (ja) 2005-10-20
JP4098269B2 true JP4098269B2 (ja) 2008-06-11

Family

ID=35325024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004107894A Expired - Fee Related JP4098269B2 (ja) 2004-03-31 2004-03-31 Ptpシートの検査装置及び検査方法

Country Status (1)

Country Link
JP (1) JP4098269B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271507A (ja) * 2006-03-31 2007-10-18 Dainippon Printing Co Ltd 欠陥検出方法、欠陥検出装置、及び欠陥検出プログラム
JP4973332B2 (ja) * 2007-06-21 2012-07-11 株式会社サタケ 海苔の外観検査装置
JP4647643B2 (ja) * 2007-07-31 2011-03-09 シーケーディ株式会社 不良検査装置及びptp包装機
GB2453535A (en) * 2007-10-08 2009-04-15 Sepha Ltd Inspecting the sealing of blister packages by detecting the shadow of an anomaly
JP4953086B2 (ja) * 2007-10-25 2012-06-13 キリンテクノシステム株式会社 Ptpシートの検査装置
JP5898529B2 (ja) * 2012-03-01 2016-04-06 オオクマ電子株式会社 薬剤個数計数装置
US20160368642A1 (en) * 2013-07-04 2016-12-22 Noriyuki Inoue Method for inspecting packaging container content
JP6969164B2 (ja) * 2017-05-31 2021-11-24 株式会社リコー 評価装置、評価プログラム及び評価方法
JP7565670B2 (ja) * 2018-03-29 2024-10-11 Ckd株式会社 検査装置、ptp包装機、及び、検査方法
JP6595662B1 (ja) * 2018-05-30 2019-10-23 Ckd株式会社 検査装置及びptp包装機
JP6943812B2 (ja) * 2018-06-12 2021-10-06 Ckd株式会社 検査装置、ptp包装機及びptpシートの製造方法
JP6786565B2 (ja) * 2018-10-10 2020-11-18 Ckd株式会社 検査装置、ptp包装機及びptpシートの製造方法
CN109444157A (zh) * 2018-12-25 2019-03-08 苏州凡目视觉科技有限公司 一种划痕检测装置与方法
CN112816490A (zh) * 2021-03-16 2021-05-18 上海悦易网络信息技术有限公司 一种电子产品的自动检测设备及自动检测方法

Also Published As

Publication number Publication date
JP2005291939A (ja) 2005-10-20

Similar Documents

Publication Publication Date Title
JP4098269B2 (ja) Ptpシートの検査装置及び検査方法
TWI673209B (zh) 檢查裝置及ptp包裝機
US20070296963A1 (en) Methods and Apparatus for Inspecting the Sealing and Integrity of Blister Packages
JP5670915B2 (ja) 外観検査装置
JP2001235426A (ja) パッケージ検査装置
JP5697168B2 (ja) 検査装置及びptp包装機
JP4647643B2 (ja) 不良検査装置及びptp包装機
JP4332122B2 (ja) 外観検査装置及びptp包装機
JP3344995B2 (ja) 錠剤表面検査装置
JP3779790B2 (ja) シール包装された包装体の検査方法
JP2010256313A (ja) 遮光性熱シール包装材のシール不良検査装置及びその方法
JP2020034345A (ja) 検査システム、検査方法
TWI811568B (zh) 異物檢查裝置和異物檢查方法
JPH10267865A (ja) Ptpシートの検査方法及び検査装置
JP6612100B2 (ja) 物品検査装置
JP7268341B2 (ja) 検査性能診断装置、検査性能診断方法、検査性能診断装置用のプログラム、および、検査性能診断システム
JP2003291929A (ja) 分包シート検査方法及び装置
JP5959430B2 (ja) ボトルキャップの外観検査装置及び外観検査方法
JP6428554B2 (ja) 検査システム、検査方法
JP4971043B2 (ja) 容器の良否判定方法及び検査装置
JP2012068211A (ja) シート部材の歪み検査装置及びシート部材の歪み検査方法
JP2009236855A (ja) 検査装置及び検査方法
JP4251325B2 (ja) 外観検査装置及びptp包装機
JP7549403B2 (ja) 塗布状態検査装置、塗布装置、及び塗布状態検査方法
JP4115978B2 (ja) 外観検査装置及びptp包装機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070216

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070223

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20070528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080312

R150 Certificate of patent or registration of utility model

Ref document number: 4098269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees