JP4585907B2 - X線検査装置 - Google Patents

X線検査装置 Download PDF

Info

Publication number
JP4585907B2
JP4585907B2 JP2005130819A JP2005130819A JP4585907B2 JP 4585907 B2 JP4585907 B2 JP 4585907B2 JP 2005130819 A JP2005130819 A JP 2005130819A JP 2005130819 A JP2005130819 A JP 2005130819A JP 4585907 B2 JP4585907 B2 JP 4585907B2
Authority
JP
Japan
Prior art keywords
region
ray
area
inspection
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005130819A
Other languages
English (en)
Other versions
JP2006308406A (ja
Inventor
修 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2005130819A priority Critical patent/JP4585907B2/ja
Priority to US11/379,375 priority patent/US7260177B2/en
Priority to DE602006002306T priority patent/DE602006002306D1/de
Priority to EP06008199A priority patent/EP1720005B1/en
Priority to AU2006201717A priority patent/AU2006201717B2/en
Priority to CN200610078181A priority patent/CN100582759C/zh
Publication of JP2006308406A publication Critical patent/JP2006308406A/ja
Application granted granted Critical
Publication of JP4585907B2 publication Critical patent/JP4585907B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Description

本発明は、搬送中の物品に対してX線を照射してその透過したX線を検出することで物品の検査を行うX線検査装置に関する。
従来より、食品などの商品の生産ラインにおいては、商品への異物混入や商品の割れ欠けがある場合にその不良商品が出荷されることを防止するために、X線検査装置を用いた商品不良検査が行われている。このX線検査装置では、搬送コンベアによって連続搬送されてくる被検査物に対してX線を照射し、そのX線の透過状態をX線受光部で検出して、被検査物中に異物が混入していないかを判別する。
このようなX線検査装置において、商品に混入した異物を正確に検出するためにマスク領域を設定して異物検出を行う場合がある。例えば、缶等の容器に入れられた商品について異物混入の検査を行う場合には、缶の縁部分に相当する部分はX線画像において異物像と同じように濃く表されるため、缶の縁近傍に存在する異物像を正確に検出することは難しい。
特許文献1には、このような缶の縁部分に存在する異物を正確に検出するために、ラインセンサの配列方向における除外画素をこれに直交する方向における除外画素よりも多くなるようにマスク領域を手動で設定するX線検査装置について開示されている。また、特許文献2には、容器や縁に応じてマスクを設定し、それぞれ異なった閾値を用いて検査を行うX線検査装置について開示されている。
特開2001−281173号公報(平成13年10月10日公開) 特開昭63−236989号公報(昭和63年10月3日公開)
しかしながら、上記従来のX線検査装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示されたX線検査装置では、いずれの装置でもマスク領域の設定を手動で行う必要があり面倒である。そして、マスク領域がずれた位置に設定された場合には、検出したX線量に基づいて作成されたX線画像において濃度が濃くなる缶の縁部分等を誤って異物と判定してしまう等の問題がある。
本発明の課題は、正確なマスク領域を自動的に設定し、缶等の縁部分に存在する異物を正確に検出することが可能なX線検査装置を提供することにある。
第1の発明に係るX線検査装置は、搬送される容器入りの物品に対してX線を照射し、その透過量を検出して容器内に異物が含まれているか否かの検査を行うX線検査装置であって、照射部と、X線検出部と、画像形成部と、内部領域設定部と、拡張領域設定部と、縮小領域設定部と、マスク領域設定部と、検査領域設定部と、第1異物検出部とを備えている。さらに、検査領域の境界を追跡しながら所定の方向に周回し、進行方向を示すベクトルの向きが所定の方向と反対になる部分を検出すると、この部分を異物として判定する第2異物検出部を備えている。照射部は、容器入りの物品に対してX線を照射する。X線検出部は、照射部から容器入りの物品に対して照射されたX線の透過量を検出する。画像形成部は、X線検出部において1ライン分ごとに得られた透過量に基づいてX線画像を作成する。内部領域設定部は、画像形成部において作成されたX線画像に含まれる容器入りの物品に相当する領域のうち、容器の縁よりも内側の領域を設定する。拡張領域設定部は、内部領域設定部において設定された内部領域の外側に接するように所定半径の円を周回させ、この円の中心の軌跡を境界として拡張領域を設定する。縮小領域設定部は、拡張領域設定部において設定された拡張領域の内側に接するように所定半径の円を周回させ、この円の中心の軌跡を境界として縮小領域を設定する。マスク領域設定部は、縮小領域設定部において設定された縮小領域の境界より外側の領域をマスク領域として設定する。検査領域設定部は、マスク領域設定部によって設定されたマスク領域より内側の領域を検査領域として設定する。第1異物検出部は、検査領域設定部において設定された検査領域内に含まれる異物を検出する。
ここでは、X線画像に含まれる容器入りの物品に相当する領域のうち、容器の縁よりも内側の領域に対し、拡張領域設定部が領域の外側に接するようにして所定の半径の円を周回させて拡張領域を設定し、縮小領域設定部がこの拡張領域の内側に接するようにして同じ半径の円を周回させて縮小領域を設定する。そして、マスク領域設定部が縮小領域の境界より外側をマスク領域として設定し、検査領域設定部において設定されたマスク領域よりも内側の検査領域について、第1異物検出部が異物混入の検査を行う。
ここで、容器入り物品には、例えば、缶詰製品や箱入りの商品等が含まれる。そして、容器入りの物品に相当する領域のうち容器よりも内側の領域とは、容器に相当する部分を除く容器内の物品に相当する領域をいう。
このように、X線画像において容器内の物品に相当する領域の外側に接するように所定半径の円を周回させて得られる拡張領域を設定し、この拡張領域の内側に同じ半径の円を周回させて得られる縮小領域を設定することで、元のX線画像に含まれる物品に相当する領域にほぼ一致する領域を縮小領域として設定し、その物品に相当する領域の外周を平滑化(スムーシング)することができる。
例えば、上記所定半径の円の半径を3mmとすると、ノイズ等の影響を受けてX線画像の物品の縁部分に現れる直径1〜2mm程度の凹凸については、拡張領域設定部および縮小領域設定部によって設定される境界においては除去される。
これにより、容器入りの物品の外周部分(容器に相当する部分)付近にあるノイズよりも大きい異物に相当する領域を覆うことなく、ノイズによる外周部分の凹凸を除去するマスク領域を自動的に設定して、正確な異物検出を行うことができる。この結果、手動で容器の縁部分を検査領域から除去するためのマスク領域を設定する場合と比較して、効率よく検査作業を行うことができるとともに、高精度な異物検出を行うことができる。
第2異物検出部では、容器入りの物品の縁部分、つまり容器に相当する部分の近傍に存在する異物の検出を、内部領域に存在する異物とは別の工程により検出する。
具体的には、マスク領域設定部によって設定されたマスク領域よりも内側の領域(検査領域)については第1異物検出部が異物検出を行い、マスク領域の境界部分付近の領域については、第2異物検出部が異物検出を行う。第2異物検出部では、マスク領域よりも内側の領域の境界を追跡しながら所定の方向へ1周し、追跡するベクトルの方向が所定の方向とは反対に変化した部分についてこれを異物として判定する。例えば、X線画像に含まれる物品に相当する領域の境界部分の内側を左回りで追跡しながら周回した場合には、境界部分に凹凸等が無ければ左回りのままで周回を開始した位置まで戻ってくるはずである。しかし、境界部分に異物が存在する場合には境界部分に凹凸が現れるため、この部分を通過するときにはベクトルの向きが右に周回する部分が存在する。
このため、検査領域の境界部分を追跡した際に進行方向を示すベクトルが右に周回する部分があるか否かを検出することで、縁部分に存在する異物を正確に検出することができる。
の発明に係るX線検査装置は、第の発明に係るX線検査装置であって、第2異物検出部は、検査領域の境界に存在する画素のうち、隣接する画素において進行方向を示すベクトルの方向を比較してその向きが反対になった場合には、その画素またはその画素を含む周辺領域を異物として判定する。
ここでは、検査領域の境界部分の内側の画素に沿って周回する際に通過した画素において、各画素を通過した際の進行方向を示すベクトルの向きを隣接する画素同士で比較する。そして、隣接する画素間においてベクトルの向きが反対になる部分については、この部分(またはその部分を含む周辺領域)を異物として判定する。
通常、X線画像に含まれる容器入りの物品に相当する領域の境界部分、つまり容器に相当する部分の内側の画素に沿って左回りで周回した場合には、境界部分に凹凸等が無ければ左回りのままで周回を開始した位置まで戻ってくるはずである。しかし、境界部分に異物が存在する場合には境界部分に凹凸が現れるため、この部分を通過すると右に周回する部分がでてくる。
このため、検査領域の境界部分の内側に沿って追跡した際に進行方向を示すベクトルの向きが反対になる画素があるか否かを検出することで、縁部分に存在する異物を正確に検出することができる。
の発明に係るX線検査装置は、第の発明に係るX線検査装置であって、第2異物検出部は、検査領域の境界に存在する画素のうち、隣接する画素において進行方向を示すベクトルの方向を比較してその向きが45度以上変化する画素が2箇所以上存在した場合には、その画素またはその画素を含む周辺領域を異物として判定する。
ここでは、第2異物検出部が、物品の境界部分に存在する異物を検出するために検査領域の境界の内側を所定の方向に周回しながら追跡した画素において、各画素を通過した際の進行方向を示すベクトルを隣接する画素同士で比較する。そして、隣接する画素間においてベクトルの向きが45度以上変化する部分については、この部分(またはこの部分を含む周辺領域)を異物として判定する。
通常、X線画像に含まれる容器入りの物品に相当する領域の境界部分、つまり容器に相当する部分の境界の内側に沿って左回りで周回させた場合には、境界部分に凹凸等が無ければ左回りのままで周回を開始した位置まで円が戻ってくるはずである。しかし、境界部分に異物が存在する場合には境界部分に凹凸が現れるため、この部分を通過するとベクトルの向きが45度以上右に周回する部分がでてくる。ここで、45度以上ベクトルの向きが変化する箇所が2箇所以上としたのは、異物でない凹凸部分等を円が通過した際にこれを誤って異物として判定してしまうことを回避するためである。
このため、検査領域の境界の内側の画素のうち、隣接する画素においてベクトルの向きが45度以上変化する部分があるか否かを検出することで、縁部分に存在する異物をより確実に検出することができる。
の発明に係るX線検査装置は、第1から第の発明のいずれか1つに係るX線検査装置であって、内部領域設定部は、X線画像に含まれる各画素の濃度に関するヒストグラムに基づいて内部領域の設定を行う。
ここでは、内部領域の設定をする際において、X線画像に含まれる物品に相当する部分の濃度がある程度濃くなることを利用して、X線画像を構成する各画素の濃度に関するヒストグラムを作成して検査領域の目安となる内部領域を設定する。
例えば、最も明るい背景部分を除くために所定の明るさの閾値より明るい画素を除去する。そして、最も暗くなる容器入りの物品の縁、つまり容器に相当する部分についても内部領域から除かれるように、別の所定の閾値よりも暗い画素を除去する。
これにより、ある程度の濃度を持つ内部領域を正確に設定することができる。
本発明のX線検査装置によれば、容器入りの物品の外周部分(容器に相当する部分)付近にある異物に相当する領域を覆わないマスク領域を自動的に設定して、正確な異物検出を行うことができる。
本発明の一実施形態に係るX線検査装置について、図1〜図13(c)を用いて説明すれば以下の通りである。
[X線検査装置10全体の構成]
本実施形態のX線検査装置10は、図1に示すように、食品等の商品の生産ラインにおいて品質検査を行う装置の1つである。X線検査装置10は、連続的に搬送されてくる商品に対してX線を照射し、商品を透過したX線量を検出して作成されるX線画像に基づいて商品に異物が混入しているか否かの検査を行う。
X線検査装置10の被検査物である商品(容器入りの物品)Gは、図2に示すように、前段コンベア60によりX線検査装置10に運ばれてくる。商品Gは、X線検査装置10において異物混入の有無が判断される。このX線検査装置10での判断結果は、X線検査装置10の下流側に配置される振分機構70に送信される。振分機構70は、商品GがX線検査装置10において異物混入の無い良品と判断された場合には商品Gをそのまま正規のラインコンベア80へと送る。一方、商品GがX線検査装置10において異物混入のある不良品と判断された場合には、下流側の端部を回転軸とするアーム70aが搬送路を遮るように回動する。これにより、不良品と判断された商品Gを、搬送路から外れた位置に配置された不良品回収箱90によって回収することができる。
X線検査装置10は、図1に示すように、主として、シールドボックス11と、コンベア12と、遮蔽ノレン16と、タッチパネル機能付きのモニタ26と、を備えている。そして、その内部には、図3に示すように、X線照射器(照射部)13と、X線ラインセンサ(X線検出部)14と、制御コンピュータ(画像形成部、内部領域設定部、拡張領域設定部、縮小領域設定部、マスク領域設定部、検査領域設定部、第1異物検出部、第2異物検出部)20(図5参照)とを備えている。
なお、本実施形態で検査対象として用いられる商品Gは、容器の中に食物等が入れられた状態で密封された缶詰であるものとする。
[シールドボックス11]
シールドボックス11は、商品Gの入口側と出口側の双方の面に、商品を搬出入するための開口11aを有している。このシールドボックス11の中に、コンベア12、X線照射器13、X線ラインセンサ14、制御コンピュータ20などが収容されている。
また、開口11aは、図1に示すように、シールドボックス11の外部へのX線の漏洩を防止するために、遮蔽ノレン16によって塞がれている。この遮蔽ノレン16は、鉛を含むゴム製のノレン部分を有しており、商品が搬出入される際に商品によって押しのけられる。
また、シールドボックス11の正面上部には、モニタ26の他、キーの差し込み口や電源スイッチ等が配置されている。
[コンベア12]
コンベア12は、シールドボックス11内において商品を搬送するものであって、図5の制御ブロックに含まれるコンベアモータ12fによって駆動される。コンベア12による搬送速度は、作業者が入力した設定速度になるように、制御コンピュータ20によるコンベアモータ12fのインバータ制御によって細かく制御される。
また、コンベア12は、図3に示すように、コンベアベルト12a、コンベアフレーム12bを有しており、シールドボックス11に対して取り外し可能な状態で取り付けられている。これにより、食品等の検査を行う場合においてシールドボックス11内を清潔に保つために、コンベアを取り外して頻繁に洗浄することができる。
コンベアベルト12aは、無端状ベルトであって、ベルトの内側からコンベアフレーム12bによって支持されている。そして、コンベアモータ12fの駆動力を受けて回転することで、ベルト上に載置された物体を所定の方向に搬送する。
コンベアフレーム12bは、無端状のベルトの内側からコンベアベルト12aを支持するとともに、図3に示すように、コンベアベルト12aの内側の面に対向する位置に、搬送方向に対して直角な方向に長く開口した開口部12cを有している。開口部12cは、コンベアフレーム12bにおける、X線照射器13とX線ラインセンサ14とを結ぶ線上に形成されている。換言すれば、開口部12cは、コンベアフレーム12bにおけるX線照射器13からのX線照射領域に、商品Gを透過したX線がコンベアフレーム12bによって遮蔽されないように形成されている。
[X線照射器13]
X線照射器13は、図3に示すように、コンベア12の上方に配置されており、コンベアフレーム12bに形成された開口部12cを介して、コンベア12の下方に配置されたX線ラインセンサ14に向かって扇形形状にX線を照射する(図3の斜線部参照)。
[X線ラインセンサ14]
X線ラインセンサ14は、コンベア12(開口部12c)の下方に配置されており、商品Gやコンベアベルト12aを透過してくるX線を検出する。このX線ラインセンサ14は、図3および図4に示すように、コンベア12による搬送方向に直交する向きに一直線に水平配置された複数の画素14aから構成されている。
なお、図4には、X線検査装置10内におけるX線照射状態と、その時のラインセンサ14を構成する各画素14aにおいて検出されるX線量を示すグラフとがそれぞれ示されている。
[モニタ26]
モニタ26は、フルドット表示の液晶ディスプレイである。また、モニタ26は、タッチパネル機能を有しており、初期設定や不良判断に関するパラメータ入力などを促す画面を表示する。
また、モニタ26は、後述する画像処理が施された後のX線画像を表示する。これにより、商品Gに含まれる異物の有無、場所、大きさ等を、ユーザに対して視覚的に認識させることができる。
さらに、モニタ26は、後述するX線照射量の不安定化によってX線画像に形成される暗いスジ部分を補正する前後のX線画像や、X線照射器13の照射量の不安定化によって検査不能である旨の表示を行う。
[制御コンピュータ20]
制御コンピュータ20は、CPU21において、制御プログラムに含まれる画像処理ルーチン、検査判定処理ルーチンなどを実行する。また、制御コンピュータ20は、CF(コンパクトフラッシュ:登録商標)25等の記憶部に、不良商品に対応するX線画像や検査結果、X線画像の補正用データ等を保存蓄積する。
具体的な構成として、制御コンピュータ20は、図5に示すように、CPU21を搭載するとともに、このCPU21が制御する主記憶部としてROM22、RAM23、およびCF25を搭載している。
CF25には、後段にて詳述する異物混入検査の検査対象となるX線画像に含まれる内部領域に関する情報や、膨張・収縮処理によって境界をスムーシング(平滑化)するための円の半径、内部領域において検出された異物の位置、縁部分において検出された異物の位置等に関する情報が格納されている。
本実施形態では、CF25等の記憶部に格納された各種プログラムをCPU21が読み込むことで、図6に示すような、画像形成部31a、内部領域設定部31b、拡張領域設定部31c、縮小領域設定部31d、マスク領域設定部31e、検査領域設定部31f、第1異物検出部31gおよび第2異物検出部31h等の機能ブロックが形成される。
画像形成部31aは、CPU21が画像形成プログラムを読み込むことで形成される機能ブロックであって、X線ラインセンサ14によるX線透視像信号を細かい時間間隔で取得して、それらのX線透視像信号に基づいて、X線ラインセンサ14の1ラインごとに商品Gとその背景部分とを含むX線画像を作成する。
内部領域設定部31bは、CPU21が内部領域設定プログラムを読み込むことで形成される機能ブロックであって、画像形成部31aにおいて作成されたX線画像に含まれる商品Gの縁部分を除く内部領域の設定を行う。
拡張領域設定部31cは、CPU21が拡張領域設定プログラムを読み込むことで形成される機能ブロックであって、内部領域設定部31bにおいて設定された内部領域の境界の外側に接するように所定の半径の円を周回させて内部領域を拡張した拡張領域を設定する。
縮小領域設定部31dは、CPU21が縮小領域設定プログラムを読み込むことで形成される機能ブロックであって、拡張領域設定部31cにおいて設定された拡張領域の内側に接するように所定の半径の円を周回させて拡張領域を縮小した縮小領域を設定する。なお、拡張領域設定部31cと縮小領域設定部31dとにおいて各領域の設定に用いられる円の半径はともに3mmに設定されている。このため、縮小領域は、内部領域設定部31bにおいて設定された内部領域の境界部分を平滑化したものとなり、その大きさはほぼ同じである。
マスク領域設定部31eは、CPU21がマスク領域設定プログラムを読み込むことで形成される機能ブロックであって、X線画像に含まれる縮小領域よりも外側の領域をマスク領域として設定する。
検査領域設定部31fは、CPU21が検査領域設定プログラムを読み込むことで形成される機能ブロックであって、縮小領域設定部31dにおいて設定された縮小領域を検査領域として設定する。
第1異物検出部31gは、CPU21が異物検出プログラムを読み込むことで形成される機能ブロックであって、検査領域設定部31fにおいて設定された検査領域(容器の内側の部分)に含まれる異物を検出する。ここでの検出方法としては、X線画像に含まれる画素を所定の濃度を閾値として2値化することで所定濃度よりも暗い画素を異物として検出する検出方法や、ある画素についてその周囲の画素の濃度の平均値との差をとることで孤立した濃度の濃い領域を抽出して異物を検出する検出方法等を用いることができる。
第2異物検出部31hは、CPU21が縁部分異物検出プログラムを読み込むことで形成される機能ブロックであって、第1異物検出部31gにおいて異物検出を行った外側、つまり容器に相当する部分に近接するように存在する異物を検出する。なお、第2異物検出部31hによる異物の検出方法については、後段にて詳述する。
また、制御コンピュータ20は、モニタ26に対するデータ表示を制御する表示制御回路、モニタ26のタッチパネルからのキー入力データを取り込むキー入力回路、図示しないプリンタにおけるデータ印字の制御等を行うためのI/Oポート、外部接続端子としてのUSB24等を備えている。
そして、CPU21、ROM22、RAM23、CF25などは、アドレスバスやデータバス等のバスラインを介して相互に接続されている。
さらに、制御コンピュータ20は、コンベアモータ12f、ロータリエンコーダ12g、X線照射器13、X線ラインセンサ14、光電センサ15等と接続されている。
制御コンピュータ20では、コンベアモータ12fに装着されたロータリエンコーダ12gにおいて検出されたコンベア12の搬送速度を受信する。
また、制御コンピュータ20は、コンベアを挟んで配置される一対の投光器および受光器から構成される同期センサとしての光電センサ15からの信号を受信して、被検査物である商品GがX線ラインセンサ14の位置にくるタイミングを検出する。
<制御コンピュータ20による異物混入の判定>
[X線画像作成]
制御コンピュータ20は、光電センサ15からの信号を受けて、商品Gが扇状のX線照射部(図3に示す斜線部分参照)を通過するときに、X線ラインセンサ14によるX線透視像信号を細かい時間間隔で取得する。そして、制御コンピュータ20は、画像形成部31aとして、それらのX線透視像信号に基づいて、X線ラインセンサ14の1ラインごとに商品Gとその背景部分とを含むX線画像(図7(a)参照)を作成する。すなわち、X線ラインセンサ14の各画素14aから細かい時間間隔をあけて各時刻のデータを得て、それぞれのデータからX線画像が作成される。そして、これら複数のX線画像を時間経過順に組み合わせることで、商品Gの全体とその背景部分とを含む全体の2次元画像が形成される。
[内部検査領域の抽出]
制御コンピュータ20では、缶の中の内容物に含まれる異物と缶の縁部分に存在する異物とを分けて異物検出を行うために、まず、図7(a)に示すX線画像について、図7(b)に示すように、各画素毎の濃淡を示すヒストグラムを作成する。このヒストグラムの基になるX線画像には、図7(a)に示すように、主として、缶詰である商品Gの缶の縁の部分と、異物の部分と、缶の中にある内容物の部分と、背景部分とが含まれている。このため、図7(b)に示すヒストグラムは、図8(b)に示すように、各画素における濃度から、缶の縁または異物の部分、縁の内側の部分(内容物の部分)、背景部分とに分けられる。ここで、制御コンピュータ20では、検査対象となる内部領域を設定するための2値化画像を形成するために、2つの閾値を用いて缶の中の内容物の部分を抜き出す。具体的には、以下に示す関係式(1)を用いて特定の濃度範囲の画素を抜き出す。
ヒストグラムのピーク位置の50%<抜き出す範囲<最大明るさの80%・・・(1)
上記関係式(1)の「ヒストグラムのピーク位置の50%」は、缶の縁または異物に相当する暗い画素に対応し、「最大明るさの80%」は、主に背景部分に対応する。このため、上記関係式によって所定の明るさの範囲の画素を抜き出すことで、図8(a)に示すような缶の中の内容物の部分を抜き出した2値化画像を得ることができる。
[マスク領域の設定]
本実施形態のX線検査装置10では、制御コンピュータ20によって形成された2次元画像に対して検査領域から除外するためのマスク領域の設定を行う。
(膨張・収縮処理)
制御コンピュータ20は、まず、各画素の濃度に関するヒストグラムに基づいて作成された2値化画像(図9(a)参照)について、その外側の縁部分に沿って膨張・収縮処理を行って、図9(b)に示すような縁部分や縁の内部が平滑化された画像を得る。
このような平滑化された画像は、2値化画像に対して膨張・収縮処理を行うことにより得ることができる。
膨張処理は、制御コンピュータ20が、図10(a)に示す2値化画像の縁の外側に沿って半径3mmの円を周回させることにより行われる。この結果、図10(b)に示すように、外接円の中心の軌跡は、図10(a)に示す縁に含まれる1〜2mm程度の細かい凹凸を平滑化した拡大領域の境界となり、制御コンピュータ20は、これを拡大領域として設定する。
収縮処理は、制御コンピュータ20が、図10(b)に示す拡大領域の境界の内側に接する半径3mmの円を周回させることにより行われる。この結果、図10(c)に示すように、内接円の中心の軌跡は、図10(a)に示す元の2値化画像とほぼ同じ大きさで、外周部分の縁に含まれる細かい凹凸や内部の穴の部分が平滑化された縮小領域の境界となり、制御コンピュータ20は、これを縮小領域として設定する。
そして、制御コンピュータ20は、収縮処理の結果得られた図10(c)に示す縮小領域よりも外側の領域を、缶の中の内容物に含まれる異物を検出するためのマスク領域として設定する。
ここで、境界部分に近接するように存在する異物については、上述した境界部分の平滑化によって設定されたマスク領域では全て覆いきれなくなっている。
これにより、缶の縁部分に対応する部分に現れるノイズによる凹凸を除去しつつ、縁部分に近接するように存在する比較的大きい異物を覆わないマスク領域を設定することができる。この結果、このようなマスク領域を設定することで、缶の縁よりも内側の部分と縁に近接するように存在する異物の部分を検査領域として設定することができる。
[検査領域の設定]
制御コンピュータ20は、図11(a)に示すX線画像に対し、上述した膨張・収縮処理によって設定されたマスク領域を被せて、缶の縁部分よりも内側の検査領域(第1異物検出部31gによる検査領域)を設定する。
[異物検出]
(缶の中の内容物に含まれる異物の検出)
制御コンピュータ20では、第1異物検出部31gとして、上述したマスク領域が被せられて設定された缶の縁よりも内側の検査領域について、異物が含まれているか否かの検査を行う。
具体的な検出方法としては、上述したように、X線画像に含まれる画素を所定の濃度を閾値として2値化することで所定濃度よりも暗い画素を異物として検出する2値化処理による検出方法や、ある画素についてその周囲の画素の濃度の平均値との差をとることで孤立した濃度の濃い領域を抽出して異物を検出する微分処理による検出方法等を用いることができる。
これにより、図11(b)に示すように、缶の内部(缶の縁よりも内側の部分)および缶の縁に近接するように配置された比較的大きい異物を検出することができる。
(缶の縁部分に近接して存在する異物の検出)
本実施形態では、制御コンピュータ20が、検査対象となる領域を、上述した缶の内側の領域と、以下で説明する缶の縁部分の領域とに分けて異物検出を行う。これは、上述したマスク領域の設定時において、缶の縁部分に近接するように存在する異物をマスク領域で覆ってしまっていて検査領域から異物が存在する部分が除かれている可能性があるためである。
すなわち、制御コンピュータ20は、第2異物検出部31hとして、図12(a)に示すように、検査領域の境界の内側の画素を左回りで追跡し、進行方向を示すベクトルの向きが右回りになる画素が含まれていた場合には、この画素を異物として判定する。
ここで、図12(a)に示す境界部分に異物等に相当する凹凸が含まれていない場合には、左回りで検査領域の境界部分を追跡していくとそのまま左回りのままで元の位置まで戻ってくる。一方、ここで検出すべき異物は、缶の縁部分に近接して存在する異物であるから、缶の縁部分、つまり図12(a)に示す境界部分にくっついて、あるいは近接するように存在する。このため、縁部分に異物等に相当する凹凸が含まれている場合には、左回りで周回しながら元の位置へ戻るまでの間において、その進行方向を示すベクトルの向きが一部右回りになる部分(画素)(図12(a)の実線矢印参照)が含まれることになる。
本実施形態では、このように検査領域の境界部分の内側に沿って追跡した際の進行方向を示すベクトルの向きの変化に着目し、周回当初の周回方向とは反対の右回りになる位置の有無を検出することで、缶の縁部分に近接するように存在する異物の検出を行う。
これにより、図12(b)に示すように、缶の縁部分に近接するように存在する異物を高精度に検出することができる。
(異物像の合成)
本実施形態のX線検査装置10では、上述のように、缶の縁よりも内側の領域と、缶の縁部分の領域とに分けて別々に異物検出を行う。換言すれば、第1異物検出部31gによる缶の内側の領域における異物検出と、第2異物検出部31hによる缶の縁部分に存在する異物の検出とを別々に行う。
このため、1つの商品Gから検出される異物像は、図13(a)〜図13(c)に示すように、図13(a)に示す缶の縁部分の領域で検出された異物像と、図13(b)に示す缶の縁よりも内側の領域で検出された異物像とを合わせて、図13(c)に示す合成異物像を最終的な判定画像とする。
[本X線検査装置10の特徴]
(1)
本実施形態のX線検査装置10は、缶詰の商品Gについて異物混入の検査を行う検査装置であって、図6に示すように、制御コンピュータ20内に機能ブロックとして形成された画像形成部31a、内部領域設定部31b、拡張領域設定部31c、縮小領域設定部31d、マスク領域設定部31e、検査領域設定部31fおよび第1異物検出部31gを備えている。そして、制御コンピュータ20では、画像形成部31aによって作成されたX線画像について、内部領域設定部31bが缶の縁部分よりも内側の領域を設定する。そして、この領域に対して、拡張領域設定部31cが領域の外側に接するようにして半径3mmの円を周回させてこの外接円の中心の軌跡を境界とする拡張領域を設定し、縮小領域設定部31dがこの拡張領域の内側に接するようにして同じ半径の円を周回させてこの内接円の中心の軌跡を境界とする縮小領域を設定する。続いて、マスク領域設定部31eが縮小領域の境界より外側をマスク領域として設定し、検査領域設定部31fにおいて設定されたマスク領域よりも内側の検査領域について、第1異物検出部31gが異物混入の検査を行う。
このように、境界部分に接するように円を周回させてその円の中心の軌跡をとって検査領域を設定することで、缶の縁部分を除いたマスク領域を自動的に設定することができる。これにより、缶の縁よりも内側の領域の外周部分に現れるノイズによる凹凸等を検査対象から除去して高精度な異物検出を行うことができる。さらに、外周部分の平滑化処理によって、缶の縁部分に存在する比較的大きい異物をマスク領域から外して、缶の縁より内側の領域における異物検出においてこれを検出することができる。
この結果、手動でマスク領域の設定を行う従来のX線検査装置と比較して、効率よく高精度な異物混入検査を実施することができる。
(2)
本実施形態のX線検査装置10では、図6に示すように、制御コンピュータ20に第2異物検出部31hがさらに形成されている。そして、第2異物検出部31hにおいて、缶の縁部分に相当する領域の異物検出を内部領域とは別に行う。具体的には、図12(a)に示すように、検査領域の境界部分の内側の画素を追跡し、左回りで周回して元の位置まで戻るまでの間に追跡の進行方向を示すベクトルの向きが右回りに変わる位置がある場合には、この位置を異物として判定する。
このように、缶の縁よりも内側の領域と、縁部分とを分けて別々に検査を行うことで、内部領域の検査を行うために設定されたマスク領域によって縁部分に近接するように存在する異物が覆われて検査領域から漏れてしまった場合でも、縁部分に近接するように存在する異物を高精度に検出することができる。
(3)
本実施形態のX線検査装置10では、第2異物検出部31hにおいて異物判定を行う際には、検査領域の境界に沿って追跡した際に通過する画素のうち、隣接する画素における進行方向を示すベクトルの向きを比較する。そして、このベクトルの向きが反対向きになる画素が存在する場合には、この画素を異物として判定する。
これにより、缶の縁部分に近接するように存在する異物に対して、画素毎に異物の存在を確認して高精度な異物検出を行うことができる。
(4)
本実施形態のX線検査装置10では、缶の縁部分よりも内側の領域を設定する際には、図7(a)〜図8(b)に示すように、内部領域設定部31bがX線画像に含まれる各画素の濃度に基づいてヒストグラムを作成し、このヒストグラムについて所定の閾値を設定して2値化画像を作成して内部領域の設定を行う。
これにより、最も明るい背景部分を除くために所定の明るさの閾値より明るい画素を除去し、最も暗くなる容器入りの物品の縁、つまり容器に相当する部分についても内部領域から除かれるように、別の所定の閾値よりも暗い画素を除去して、ある程度の濃度を持つ内部領域を正確に設定することができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、缶の縁部分に近接するように存在する異物の検出に際して、第2異物検出部31hが検査領域の境界のすぐ内側の画素を追跡しながら周回し、周回する際の進行方向を示すベクトルの向きが変化する部分があるか否かによって判定を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図14に示すように、検査領域の境界のすぐ内側の画素のうち、隣接する画素における外接円の中心の移動方向を示すベクトルが、45度以上変化する部分が連続して2回以上カウントされた場合に、この画素を異物として判定してもよい。
この場合には、縁部分に存在する細かい凹凸を誤って異物として判定することを回避して、より高精度な異物検出を行うことができる。
(B)
上記実施形態では、缶の縁部分に近接するように存在する異物の検出に際して、第2異物検出部31hが検査領域の境界のすぐ内側の画素を追跡しながら周回し、周回する際の進行方向を示すベクトルの向きが変化する画素がある場合には、その画素を異物として判定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、隣接する画素間において、上記ベクトルの向きが変化する画素が存在する場合には、この画素を含む周辺領域(例えば、3×3の画素群)を異物として判定してもよい。これにより、異物の存在を画像上にはっきりと示すことができる。
(C)
上記実施形態では、膨張・縮小処理の際に周回させる円の半径を3mmとした例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、商品Gに混入している異物の大きさや商品Gの大きさ等に応じて、2mm以下あるいは4mm以上の半径の円を周回させてもよい。
なお、このように周回させる円の半径については、ユーザが設定を変更することにより適宜変更できることがより好ましい。
(D)
上記実施形態では、断面が円形の缶に入れられた商品Gについて異物混入の検査を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
缶あるいは容器の断面形状は円形に限定されるものではなく、例えば、四角形や三角形の断面形状を持つ缶、容器であってもよい。この場合には、第2異物検出部31hによる異物検出は直進と左曲がりとで元の位置へ戻れるか否かで判定を行い、右曲がりとなる位置が含まれる場合にはこの位置を異物として判定すればよい。
(E)
上記実施形態では、容器入りの物品を検査対象として異物混入の判定を行うX線検査装置を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、容器入りの物品ではない物品を検査対象とするX線検査装置であってもよい。この場合でも、物品の外縁部分に存在する異物の判定を正確に行うことができる。
本発明のX線検査装置は、容器の縁等に存在する異物を確実に検出することができるという効果を奏することから、特に、缶等の容器に入れられた商品の異物混入検査を行う各種検査装置に対して広く適用可能である。
本発明の一実施形態に係るX線検査装置の外観斜視図。 図1のX線検査装置の前後の構成を示す図。 図1のX線検査装置のシールドボックス内部の簡易構成図。 図1のX線検査装置による異物混入検査の原理を示す模式図。 図1のX線検査装置が備えている制御コンピュータの構成を示す制御ブロック図。 図5の制御コンピュータに形成される機能ブロック図。 (a)は図1の制御コンピュータにおいて作成されるX線画像を示す図。(b)は、このX線画像に基づいて作成されたヒストグラムを示す図。 (a)は図7(a)に示すX線画像を所定の閾値により2値化して得られる画像を示す図。(b)は図7(b)に示すヒストグラムがX線画像のどの部分に相当するかを示す図。 (a),(b)は、図8(a)に示す2値化画像を収縮処理した前後の画像を示す図。 (a)〜(c)は、図8(a)に示す2値化画像に対する膨張処理、収縮処理について示す説明図。 (a),(b)は、検査領域における異物検出の過程を示す図。 (a),(b)は、縁部分における異物検出の過程を示す図。 (a)〜(c)は、図11および図12に示す異物像を合わせて異物検出を完了した状態を示す図。 本発明の他の実施形態に係るX線検査装置による缶の縁部分の異物検出を行う際の判定方法を示す説明図。
符号の説明
10 X線検査装置
11 シールドボックス
11a 開口
12 コンベア
12a コンベアベルト
12b コンベアフレーム
12c 開口部
12f コンベアモータ
12g ロータリエンコーダ
13 X線照射器(照射部)
14 X線ラインセンサ(X線検出部)
14a 画素
15 光電センサ
16 遮蔽ノレン
20 制御コンピュータ
21 CPU
22 ROM
23 RAM
24 USB(外部接続端子)
25 CF(コンパクトフラッシュ:登録商標)
26 モニタ
31a 画像形成部
31b 内部領域設定部
31c 拡張領域設定部
31d 縮小領域設定部
31e マスク領域設定部
31f 検査領域設定部
31g 第1異物検出部
31h 第2異物検出部
G 商品(容器入りの物品)

Claims (4)

  1. 搬送される容器入りの物品に対してX線を照射し、その透過量を検出して前記容器内に異物が含まれているか否かの検査を行うX線検査装置であって、
    前記容器入りの物品に対してX線を照射する照射部と、
    前記照射部から前記容器入りの物品に対して照射されたX線の透過量を検出するX線検出部と、
    前記X線検出部において1ライン分ごとに得られた透過量に基づいてX線画像を作成する画像形成部と、
    前記画像形成部において作成されたX線画像に含まれる前記容器入りの物品に相当する領域のうち、前記容器の縁よりも内側の領域を設定する内部領域設定部と、
    前記内部領域設定部において設定された前記内部領域の外側に接するように所定半径の円を周回させ、この円の中心の軌跡を境界として拡張領域を設定する拡張領域設定部と、
    前記拡張領域設定部において設定された前記拡張領域の内側に接するように前記所定半径の円を周回させ、この円の中心の軌跡を境界として縮小領域を設定する縮小領域設定部と、
    前記縮小領域設定部において設定された前記縮小領域の境界より外側の領域をマスク領域として設定するマスク領域設定部と、
    前記マスク領域設定部によって設定された前記マスク領域より内側の領域を検査領域として設定する検査領域設定部と、
    前記検査領域設定部において設定された前記検査領域内に含まれる異物を検出する第1異物検出部と、
    前記検査領域の境界を追跡しながら所定の方向に周回し、進行方向を示すベクトルの向きが前記所定の方向と反対になる部分を検出すると、この部分を異物として判定する第2異物検出部と、
    を備えているX線検査装置。
  2. 前記第2異物検出部は、前記検査領域の境界に存在する画素のうち、隣接する画素において進行方向を示す前記ベクトルの方向を比較してその向きが反対になった場合には、その画素またはその画素を含む周辺領域を異物として判定する、
    請求項に記載のX線検査装置。
  3. 前記第2異物検出部は、前記検査領域の境界に存在する画素のうち、隣接する画素において進行方向を示す前記ベクトルの方向を比較してその向きが45度以上変化する画素が2箇所以上存在した場合には、その画素またはその画素を含む周辺領域を異物として判定する、
    請求項に記載のX線検査装置。
  4. 前記内部領域設定部は、前記X線画像に含まれる各画素の濃度に関するヒストグラムに基づいて内部領域の設定を行う、
    請求項1からのいずれか1項に記載のX線検査装置。
JP2005130819A 2005-04-28 2005-04-28 X線検査装置 Expired - Fee Related JP4585907B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005130819A JP4585907B2 (ja) 2005-04-28 2005-04-28 X線検査装置
US11/379,375 US7260177B2 (en) 2005-04-28 2006-04-19 X-ray inspection apparatus
DE602006002306T DE602006002306D1 (de) 2005-04-28 2006-04-20 Röngenstrahlungsinspektionsvorrichtung
EP06008199A EP1720005B1 (en) 2005-04-28 2006-04-20 X-ray inspection apparatus
AU2006201717A AU2006201717B2 (en) 2005-04-28 2006-04-24 X-ray inspection apparatus
CN200610078181A CN100582759C (zh) 2005-04-28 2006-04-28 X射线检查装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005130819A JP4585907B2 (ja) 2005-04-28 2005-04-28 X線検査装置

Publications (2)

Publication Number Publication Date
JP2006308406A JP2006308406A (ja) 2006-11-09
JP4585907B2 true JP4585907B2 (ja) 2010-11-24

Family

ID=37000165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005130819A Expired - Fee Related JP4585907B2 (ja) 2005-04-28 2005-04-28 X線検査装置

Country Status (6)

Country Link
US (1) US7260177B2 (ja)
EP (1) EP1720005B1 (ja)
JP (1) JP4585907B2 (ja)
CN (1) CN100582759C (ja)
AU (1) AU2006201717B2 (ja)
DE (1) DE602006002306D1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123929A1 (en) * 2006-07-03 2008-05-29 Fujifilm Corporation Apparatus, method and program for image type judgment
JP5336758B2 (ja) * 2008-04-23 2013-11-06 株式会社イシダ X線検査装置
JP5783437B2 (ja) * 2010-09-30 2015-09-24 東京電力株式会社 Lngオープンラック式気化器伝熱管パネルの診断方法
DE102011007277A1 (de) 2011-04-13 2012-10-18 Robert Bosch Gmbh Vorrichtung zur Kontrolle von pharmazeutischen Produkten, insbesondere von Hartgelatinekapseln
JP5947674B2 (ja) * 2012-08-30 2016-07-06 株式会社イシダ X線検査装置
JP6230782B2 (ja) * 2012-11-15 2017-11-15 東芝メディカルシステムズ株式会社 動脈瘤破裂リスク解析プログラム
JP6144584B2 (ja) * 2013-09-18 2017-06-07 株式会社イシダ 破損検査装置
JP6225003B2 (ja) * 2013-11-27 2017-11-01 株式会社イシダ X線検査装置
CN107209932A (zh) * 2014-12-27 2017-09-26 希尔氏宠物营养品公司 食品加工方法与系统
JP2016170110A (ja) * 2015-03-13 2016-09-23 株式会社イシダ X線検査装置
JP6920988B2 (ja) * 2015-03-20 2021-08-18 株式会社イシダ 検査装置
JP2017156113A (ja) * 2016-02-29 2017-09-07 株式会社イシダ X線検査装置
CN105628719B (zh) * 2016-04-05 2018-06-19 中国石油天然气第七建设有限公司 大型储罐射线检测移动工装
JP6629776B2 (ja) * 2017-02-28 2020-01-15 アンリツインフィビス株式会社 X線検査装置及びx線検査方法
JP6796052B2 (ja) * 2017-11-06 2020-12-02 アンリツインフィビス株式会社 X線検査装置およびx線検査方法
US10809052B1 (en) * 2018-09-19 2020-10-20 Onevision Corporation System for measuring crimped container seams
JP7153525B2 (ja) * 2018-10-12 2022-10-14 アンリツ株式会社 X線検査装置
MX2022006723A (es) * 2019-12-04 2022-10-18 West Liberty Foods L L C Sistemas, metodos y aparatos automatizados de preparacion y envasado de alimentos.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180374A (ja) * 1998-12-15 2000-06-30 Matsushita Electric Ind Co Ltd 欠陥検出方法
JP2001289792A (ja) * 2000-04-06 2001-10-19 Nec Corp 外観検査方法および装置
JP2005003480A (ja) * 2003-06-11 2005-01-06 Ishida Co Ltd X線検査装置
JP2005024549A (ja) * 2003-06-09 2005-01-27 Anritsu Sanki System Co Ltd X線検査装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3917947A (en) * 1973-01-26 1975-11-04 Borden Inc Foreign particle detector
JPS63236989A (ja) 1987-03-26 1988-10-03 Toshiba Corp 異物検出装置
US5202932A (en) * 1990-06-08 1993-04-13 Catawa Pty. Ltd. X-ray generating apparatus and associated method
JP3567120B2 (ja) 2000-03-31 2004-09-22 株式会社島津製作所 X線検査装置
JP4203399B2 (ja) 2003-10-31 2008-12-24 株式会社ミツカングループ本社 食酢の製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180374A (ja) * 1998-12-15 2000-06-30 Matsushita Electric Ind Co Ltd 欠陥検出方法
JP2001289792A (ja) * 2000-04-06 2001-10-19 Nec Corp 外観検査方法および装置
JP2005024549A (ja) * 2003-06-09 2005-01-27 Anritsu Sanki System Co Ltd X線検査装置
JP2005003480A (ja) * 2003-06-11 2005-01-06 Ishida Co Ltd X線検査装置

Also Published As

Publication number Publication date
CN100582759C (zh) 2010-01-20
EP1720005A1 (en) 2006-11-08
CN1854722A (zh) 2006-11-01
AU2006201717A1 (en) 2006-11-16
JP2006308406A (ja) 2006-11-09
US7260177B2 (en) 2007-08-21
DE602006002306D1 (de) 2008-10-02
EP1720005B1 (en) 2008-08-20
US20070025506A1 (en) 2007-02-01
AU2006201717B2 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
JP4585907B2 (ja) X線検査装置
EP2045596B1 (en) X-ray apparatus and method for determining appropriate calibration positions of a conveyor by means of a histogram
US20210063323A1 (en) Inspection device
US7593504B2 (en) X-ray inspection apparatus
JP4585915B2 (ja) X線検査装置
KR20200097344A (ko) 검사 장치
JP5864404B2 (ja) X線検査装置
JP2005003480A (ja) X線検査装置
JP6068060B2 (ja) X線検査装置
WO2019235022A1 (ja) 検査装置
JP2005031069A (ja) X線検査装置
JP6861990B2 (ja) X線検査装置
WO2017159856A1 (ja) X線検査装置
JP2008175691A (ja) X線検査装置および検査方法
JP4291123B2 (ja) 放射線異物検査装置および放射線異物検査方法
JP6144584B2 (ja) 破損検査装置
JP2021025874A (ja) 検査装置
JP5336758B2 (ja) X線検査装置
JP2004028961A (ja) X線異物検査装置
JP6165426B2 (ja) X線検査装置
JP2009270866A (ja) X線検査装置
JP5947674B2 (ja) X線検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100717

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees