JP4248221B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4248221B2
JP4248221B2 JP2002308006A JP2002308006A JP4248221B2 JP 4248221 B2 JP4248221 B2 JP 4248221B2 JP 2002308006 A JP2002308006 A JP 2002308006A JP 2002308006 A JP2002308006 A JP 2002308006A JP 4248221 B2 JP4248221 B2 JP 4248221B2
Authority
JP
Japan
Prior art keywords
edge
window
setting
width
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002308006A
Other languages
English (en)
Other versions
JP2004145505A (ja
Inventor
和人 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2002308006A priority Critical patent/JP4248221B2/ja
Priority to US10/689,755 priority patent/US7702158B2/en
Priority to EP03024433.9A priority patent/EP1413984B1/en
Publication of JP2004145505A publication Critical patent/JP2004145505A/ja
Application granted granted Critical
Publication of JP4248221B2 publication Critical patent/JP4248221B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は画像処理装置に関する。
【0002】
【従来の技術】
画像処理装置の一つの使用態様として、ワーク外形のバラツキなどの検出のためにエッジウィンドウを設定してワークのエッジを検出することにより、ユーザが求めるエッジに関するエッジ関連情報、例えば、エッジ位置、最大エッジ幅などを演算できるようになっている。例えば、図1に示すケーブルなどのワークwの最大エッジ幅Wを測定する場合、図2に示すように、複数のエッジウィンドウ1を設定し、各エッジウィンドウ1のエッジ2、2間のエッジ幅W1〜W4の出力結果に基づいて最大エッジ幅W4が決定される。このようなエッジウィンドウ1の数は、画像処理装置によって異なるが、例えば最大8〜64まで設定することができる。
【0003】
図3は、エッジウィンドウの設定などを含む従来の操作手順を示すフローチャートであり、このフローチャートにして従って従来の操作手順を説明すると、ステップS1でワークwの表面の凹凸の細かさやワークwの大きさに応じたエッジウィンドウの幅をユーザが決定し、ユーザが決定したウィンドウ幅に従うエッジウィンドウ1を設定する(ステップS2)。エッジウィンドウ1を複数設定する必要があるときには、ステップS2の操作を反復する。次いで、ワークwを撮像位置にセットし、外部からのトリガが画像処理装置に入力されると、ワークwの撮像を実行する(ステップS3)。
【0004】
画像処理装置は、撮像データを取り込み(ステップS4)、次いで、設定されたエッジウィンドウ1毎にエッジを測定し(ステップS5)、各エッジウィンドウ1毎の測定結果を外部機器に出力する(ステップS6)。
【0005】
外部機器は、各エッジウィンドウ1毎の測定結果を受け取り(ステップS7)、これらの統計処理を行って、例えば最大エッジ幅、エッジ位置、エッジ数など求めて(ステップS8)、これにより判定処理を行う(ステップS9)。
【0006】
【発明が解決しようとする課題】
しかしながら、エッジウィンドウ1の設定は、設定すべきエッジウィンドウ1の数が多くなるほど、その設定作業はユーザにとって繁雑なものとなる。また、統計処理を行うのに外部機器が必要となる。
【0007】
また、図4に図示のような尖った端を有するワークwの先端Pを検出する場合に他の問題が発生し易い。例えば図5に示すように、鋭角の端を備えたワークwの全体を含むようなエッジウィンドウ1を設定したときには、画像処理の一般的なアルゴリズムの性格上、読み込む画素数が多くなると鋭角の端を検出するのが困難となることから、検出したエッジ位置2は、ワークwの端から離れたものとなり易い。
【0008】
したがって、ユーザは、図6の(イ)に示すような幅狭のエッジウィンドウ1を設定せざる得ないが、このような幅狭のエッジウィンドウ1を設定したときには、ワークwの撮像位置から変動に対して柔軟に対応することができず、図6の(ロ)に図示したように、鋭角の端Pがエッジウィンドウ1から外れてしまう可能性が大になるという新たな問題が発生してしまう。
【0009】
そこで、本発明の目的は、ユーザの手を極力煩わせることなく、エッジ検出の精度を向上することのできる画像処理装置を提供することにある。
【0010】
本発明の更なる目的は、エッジ検出に関し、ワークの撮像位置の変動やワークの性状の違いに柔軟に対応することのできる画像処理装置を提供することにある。
【0011】
本発明の更なる目的は、外部機器を用意してエッジ検出に関する統計処理を行う必要のない画像処理装置を提供することにある。
【0012】
【課題を解決するための手段】
かかる技術的課題は、本発明によれば、
ワークのエッジを検出することによりユーザが求めるエッジ関連情報を演算するためにエッジウィンドウを設定することのできる画像処理装置において、
一つの前記エッジウィンドウ内に複数のウィンドウエレメントをユーザがその幅を任意に指定することにより自動的に割り振って設定するエレメント設定手段と、
前記ウィンドウエレメントの各々を走査して、各ウィンドウエレメント毎にエッジを求めるエッジ検出手段と、
該エッジ検出手段により検出したエッジから前記エッジ関連情報を求める演算手段とを有し、
前記エレメント設定手段により設定された前記ウィンドウエレメントは、隣接するウィンドウエレメントの間隔が各ウィンドウエレメントの幅よりも小さくなるように設定することにより、互いに重なり合った前記ウィンドウエレメントが設定可能であることを特徴とする画像処理装置を提供することにより達成することができる。
【0013】
すなわち、本発明によれば、手間のかかるエッジウィンドウの設定作業は1回で済み、撮像データを取り込んだ後には、エッジウィンドウを細分化したウィンドウエレメント毎に走査することから、尖った先端を備えたワークであったとしても、従来から使われている画像処理の一般的なアルゴリズムを変更することなく、鋭角のエッジを正確に検出することができる。
【0014】
また、エッジウィンドウ内を複数のウィンドウエレメントに細分化して、各ウィンドウエレメント毎に走査することから、エッジ検出に関し、ワークの撮像位置の変動やワークの性状の違いに柔軟に対応することできる。
【0015】
また、各ウィンドウエレメント毎のエッジに関する測定結果を内部で演算処理することが容易であることから、エッジ検出に関する統計処理のために外部機器を必要としないという利点がある。
【0016】
【発明の実施の形態】
本発明に従う画像処理装置は、エッジ検出に関連してユーザが求めるエッジ関連情報、例えば、エッジ数、エッジ位置、エッジ幅、ギャップ、センターピッチなどの測定に適用可能である。エッジ幅の測定を例に、一つの実施の形態を説明すると、一つのエッジウィンドウ1の中に、複数のウィンドウエレメント10(図示の例では、ウィンドウエレメント10は4つ)が設定され、各ウィンドウエレメント10毎にエッジの検出が行われる。
【0017】
ウィンドウエレメント10の幅L及び隣接するウィンドウエレメント10、10間の間隔Dはユーザが自由に設定できるようにするのが好ましい。
【0018】
例えば、ウィンドウエレメント10の幅Lの設定に関し、これを画素数で設定できるようにしてもよいし、予め設定した画素数により、例えば三段階、粗い(幅Lが大)、細かい(幅Lが小)、普通(幅Lが粗い、細かいの中間)からユーザが選択することよりにウィンドウエレメント10の幅Lを設定できるようにしてもよい。
【0019】
隣接するウィンドウエレメント10、10間の間隔Dは、例えば一つのウィンドウエレメント10の開始座標から次のウィンドウエレメント10の開始座標までの距離を設定できるようにすればよい。
【0020】
各ウィンドウエレメント10毎に検出したエッジ幅Wを、画像処理装置の内部で、その大小を比較することにより最大値、最小値を求め、或いは、平均値を演算し、必要に応じて、その結果を外部機器に出力する。
【0021】
図8は、好ましい実施の形態の操作手順を示すフローチャートであり、このフローチャートにして従って、例示としてのエッジ幅の検出に関する操作手順を説明すると、ステップS10でワークwの表面の凹凸の細かさやワークwの大きさに応じたエッジウィンドウ1の幅をユーザが決定する。
【0022】
次のステップS11で、ユーザがウィンドウエレメント10の幅L及び間隔Dを設定し、ステップS12で、エッジウィンドウの中に、ユーザが設定した幅L及び間隔Dに従って複数のウィンドウエレメント10を自動的に割り振る。次いで、ワークwを撮像位置にセットし、外部からトリガを画像処理装置に入力して、ワークwの撮像を実行する(ステップS13)。
【0023】
画像処理装置は、撮像データを取り込み(ステップS14)、次いで、設定されたエッジウィンドウ1内の各ウィンドウエレメント10毎にエッジ幅Wを計測し(ステップS15)、各ウィンドウエレメント10で得られたエッジ幅Wのうち最大のエッジ幅Wを求めて(ステップS16)、この最大エッジ幅Wに対して判定を行って、例えば規格外の最大エッジ幅であればNG判定を行うと共に(ステップS17)、必要であれば、測定結果及び/又は判定結果を外部機器に出力する(ステップS18)。
【0024】
本発明の実施の形態によれば、図9に示すように、尖った先端を有するワークwの鋭角のエッジも正確に検出することが可能になる。また、隣接するウィンドウエレメント10、10間の間隔Dをウィンドウエレメント10の幅Lよりも小さく設定(D<L)することにより、図10に図示するように、互いに重なり合ったウィンドウエレメント10を設定して、ワークwを間断無くエッジ検出することができる。
【0025】
検出したエッジの表示に関し、例えば最大エッジ幅の測定を行っているのであれば、図11に示すように、その結果だけを表示するようにしてもく、また、図12に示すように、各ウィンドウエレメント10毎に表示するようにしてもく、また、図13に示すように、各ウィンドウエレメント10毎のエッジ表示の間を曲線で補完した状態で表示するようにしてもよい。
【0026】
エッジウィンドウ1の中に複数のウィンドウエレメント10を自動的に割り振ることに関し、例えば、ユーザがウィンドウエレメント10の数を指定するだけで、このエレメント10の数に応じたエレメント10の幅L及び間隔Dを演算し、その結果に基づいてウィンドウエレメント10をエッジウィンドウ1の中に割り振るようにしてもよい。また、ユーザがウィンドウエレメント10の幅Lを指定することで、この幅Lに応じた間隔Dを演算して、その結果に基づいてウィンドウエレメント10をエッジウィンドウ1の中に割り振るようにしてもよい。このような画像処理装置の内部で、実質的にウィンドウエレメント10の間隔Dを演算する場合、エッジウィンドウ1の一端と他端(図面で左端と右端)に必ずウィンドウエレメント10が存在するように、間隔Dを内部演算するようにするのが好ましい。
【0027】
また、上述した実施の形態のように、本発明を実行するプログラムを予め組み込んだ画像処理装置をユーザに提供してもよく、或いは、既に画像処理装置を入手しているユーザに対して、この画像処理装置にインストール可能な、つまり画像処理装置が読み取り可能なプログラムを記録した例えばCD-ROMを提供するようにしてもよい。
【図面の簡単な説明】
【図1】従来の問題点を説明するために例示的に図示した細長いワーク(例えば、ケーブル)を示す図である。
【図2】従来の手法によるエッジ幅測定方法を説明するための図である。
【図3】従来の操作手順を説明するためのフローチャートである。
【図4】従来の手法では、正確なエッジ検出が困難とされた鋭角の先端を備えたワークを例示するための図である。
【図5】鋭角の先端を備えたワークに関し、従来の手法を使って比較的幅広のエッジウィンドウを設定してエッジ検出した場合の検出結果を説明するための図である。
【図6】鋭角の先端を備えたワークのエッジ検出の精度を高めるために、従来の手法を使って比較的幅狭のエッジウィンドウを設定した場合の問題点を説明するための図である。
【図7】本発明の実施の形態を概念的に説明するための図である。
【図8】本発明の実施の形態の操作点順の一例を説明するためのフローチャートである。
【図9】鋭角の先端を備えたワークに対して本発明を好適に適用可能であることを説明するための図である。
【図10】本発明の実施の形態で、互いに重なり合ったウィンドウエレメントを設定することが可能であることを説明するための図である。
【図11】本発明の実施の形態で検出したエッジの表示の一例を説明するための図である。
【図12】本発明の実施の形態で検出したエッジの表示の他の例を説明するための図である。
【図13】本発明の実施の形態で検出したエッジの表示の別の例を説明するための図である。
【符号の説明】
1 エッジウィンドウ
10 ウィンドウエレメント
w ワーク
P 尖った先端を有するワークの鋭角の端
W ウィンドウエレメントの幅
L 隣接するウィンドウエレメント間の間隔

Claims (7)

  1. ワークのエッジを検出することによりユーザが求めるエッジ関連情報を演算するためにエッジウィンドウを設定することのできる画像処理装置において、
    一つの前記エッジウィンドウ内に複数のウィンドウエレメントをユーザがその幅を任意に指定することにより自動的に割り振って設定するエレメント設定手段と、
    前記ウィンドウエレメントの各々を走査して、各ウィンドウエレメント毎にエッジを求めるエッジ検出手段と、
    該エッジ検出手段により検出したエッジから前記エッジ関連情報を求める演算手段とを有し、
    前記エレメント設定手段により設定された前記ウィンドウエレメントは、隣接するウィンドウエレメントの間隔が各ウィンドウエレメントの幅よりも小さくなるように設定することにより、互いに重なり合った前記ウィンドウエレメントが設定可能であることを特徴とする画像処理装置。
  2. 前記ウィンドウエレメントの幅方向に直交する高さが前記エッジウィンドウの高さと同一である、請求項1に記載の画像処理装置。
  3. 前記演算手段が、前記エッジウィンドウ内の各ウィンドウエレメント毎にエッジ幅を計測し、各エッジ幅のうち最大のエッジ幅を求めて、該最大のエッジ幅が規格外であるか否かを判定する、請求項1又は2に記載の画像処理装置。
  4. 前記エレメント設定手段は、ユーザが前記ウィンドウエレメントの数を指定することにより、前記複数のウィンドウエレメントを前記エッジウィンドウ内に自動的に割り振る、請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記演算手段が、前記エッジウィンドウにおける前記ウィンドウエレメントの並び方向一端と他端に前記ウィンドウエレメントが存在するように前記複数のウィンドウエレメントを割り振る、請求項1〜4のいずれか一項に記載の画像処理装置。
  6. ワークのエッジを検出することによりユーザが求めるエッジ関連情報を演算するためにエッジウィンドウを設定することのできる画像処理装置にインストール可能なプログラムを記録した記録媒体であって、
    一つの前記エッジウィンドウ内に複数のウィンドウエレメントをユーザがその幅を任意に指定することにより自動的に割り振って設定するエレメント設定手順と、
    前記ウィンドウエレメントの各々を走査して、各ウィンドウエレメント毎にエッジを求めるエッジ検出手順と、
    該エッジ検出手段により検出したエッジから前記エッジ関連情報を求める演算手順とをとを実行するプログラムであって、
    前記エレメント設定手順により設定された前記ウィンドウエレメントは、隣接するウィンドウエレメントの間隔が各ウィンドウエレメントの幅よりも小さくなるように設定することにより、互いに重なり合った前記ウィンドウエレメントが設定可能であるプログラムを記録した画像処理装置が読み取り可能な記録媒体
  7. ワークのエッジを検出することによりユーザが求めるエッジ関連情報を演算するためにエッジウィンドウを設定することのできる画像処理装置にインストール可能なプログラムを記録した記録媒体であって、
    一つの前記エッジウィンドウ内のウィンドウエレメントの数をユーザが任意に指定することにより前記エッジウィンドウ内に自動的に割り振って設定するエレメント設定手順と、
    前記ウィンドウエレメントの各々を走査して、各ウィンドウエレメント毎にエッジを求めるエッジ検出手順と、
    該エッジ検出手段により検出したエッジから前記エッジ関連情報を求める演算手順とをとを実行するプログラムであって、
    前記エレメント設定手順により設定された前記ウィンドウエレメントは、隣接するウィンドウエレメントの間隔が各ウィンドウエレメントの幅よりも小さくなるように設定することにより、互いに重なり合った前記ウィンドウエレメントが設定可能であるプログラムを記録した画像処理装置が読み取り可能な記録媒体
JP2002308006A 2002-10-23 2002-10-23 画像処理装置 Expired - Fee Related JP4248221B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002308006A JP4248221B2 (ja) 2002-10-23 2002-10-23 画像処理装置
US10/689,755 US7702158B2 (en) 2002-10-23 2003-10-21 Image processing apparatus, image processing method and record medium for the image processing apparatus
EP03024433.9A EP1413984B1 (en) 2002-10-23 2003-10-23 Detection in a digital image of variation of workpiece outline

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002308006A JP4248221B2 (ja) 2002-10-23 2002-10-23 画像処理装置

Publications (2)

Publication Number Publication Date
JP2004145505A JP2004145505A (ja) 2004-05-20
JP4248221B2 true JP4248221B2 (ja) 2009-04-02

Family

ID=32064329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002308006A Expired - Fee Related JP4248221B2 (ja) 2002-10-23 2002-10-23 画像処理装置

Country Status (3)

Country Link
US (1) US7702158B2 (ja)
EP (1) EP1413984B1 (ja)
JP (1) JP4248221B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
JP2007108835A (ja) 2005-10-11 2007-04-26 Keyence Corp 画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311146A (ja) * 1986-07-02 1988-01-18 ジーイー横河メディカルシステム株式会社 画像診断装置
JPH11316799A (ja) 1989-04-28 1999-11-16 Hitachi Ltd 文字認識装置
JP2745764B2 (ja) * 1990-03-08 1998-04-28 松下電器産業株式会社 位置認識装置
US5475766A (en) * 1991-09-05 1995-12-12 Kabushiki Kaisha Toshiba Pattern inspection apparatus with corner rounding of reference pattern data
JP3375158B2 (ja) * 1991-11-28 2003-02-10 株式会社リコー 画像データ処理方法及びその装置
JPH07210687A (ja) 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
US6021222A (en) * 1994-08-16 2000-02-01 Ricoh Co., Ltd. System and method for the detection of a circle image for pattern recognition
KR100187346B1 (ko) * 1994-08-22 1999-05-01 모리시타 요이찌 에지라인 측정방법
US5825913A (en) 1995-07-18 1998-10-20 Cognex Corporation System for finding the orientation of a wafer
US5701179A (en) * 1995-09-29 1997-12-23 Medar, Inc. Method and system for measuring dimensions of an edge of a part
US6148117A (en) * 1996-12-27 2000-11-14 Hewlett-Packard Company Image processing system with alterable local convolution kernel
JP3305987B2 (ja) 1997-07-18 2002-07-24 ダイハツ工業株式会社 シール剤の塗布状態検出方法
JP2000241117A (ja) * 1999-02-22 2000-09-08 Keyence Corp 画像のエッジ検出方法、検査装置及び記録媒体
US6941007B1 (en) * 2000-01-28 2005-09-06 Micron Technology, Inc. Pattern recognition with the use of multiple images
JP4090683B2 (ja) * 2000-11-27 2008-05-28 株式会社東芝 パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体
JP4112812B2 (ja) * 2001-03-27 2008-07-02 株式会社東芝 パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体
US7502525B2 (en) * 2003-01-27 2009-03-10 Boston Scientific Scimed, Inc. System and method for edge detection of an image

Also Published As

Publication number Publication date
JP2004145505A (ja) 2004-05-20
US7702158B2 (en) 2010-04-20
US20040136588A1 (en) 2004-07-15
EP1413984A3 (en) 2011-05-04
EP1413984A2 (en) 2004-04-28
EP1413984B1 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
US11105749B2 (en) Information processing apparatus, information processing method and program
JP4740723B2 (ja) 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
US6621928B1 (en) Image edge detection method, inspection system, and recording medium
JP2019196992A (ja) 配筋検査方法及び配筋検査システム
JP4114959B2 (ja) 画像処理方法及び装置
JP4393411B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US9972095B2 (en) Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded
JP4248221B2 (ja) 画像処理装置
US9042658B2 (en) Image processing device and pixel interpolation method
JP6199799B2 (ja) 自発光材料画像処理装置及び自発光材料画像処理方法
US10275647B2 (en) Method, apparatus, and program for judging grid quality
JP6736348B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015108522A (ja) 検査装置、検査方法及び検査プログラム
JP7340434B2 (ja) 配筋検査システム、配筋検査方法、及び配筋検査プログラム
JP7338788B2 (ja) 検出装置、判定方法、及びプログラム
JP2021108744A (ja) 咬合圧解析プログラム
JP2007104296A (ja) 解像度測定方法、装置及びプログラム
JP2010071687A (ja) 動画データ解析プログラム
JPH08178622A (ja) エッジライン測定方法
JP2007096699A (ja) 解像度測定方法、装置及びプログラム
KR20130077062A (ko) 터치표시장치 및 이의 구동방법
KR910010155A (ko) 폭 측정장치
JP2005173924A5 (ja)
JP4104468B2 (ja) 波形記憶装置および波形判定エリアの設定方法
JP4534509B2 (ja) 波形表示装置および波形表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4248221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150123

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees