JP4164166B2 - 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents

照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP4164166B2
JP4164166B2 JP24302098A JP24302098A JP4164166B2 JP 4164166 B2 JP4164166 B2 JP 4164166B2 JP 24302098 A JP24302098 A JP 24302098A JP 24302098 A JP24302098 A JP 24302098A JP 4164166 B2 JP4164166 B2 JP 4164166B2
Authority
JP
Japan
Prior art keywords
region
area
value
irradiation area
irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24302098A
Other languages
English (en)
Other versions
JP2000070243A (ja
Inventor
弘之 新畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24302098A priority Critical patent/JP4164166B2/ja
Priority to EP99106776A priority patent/EP0964362A1/en
Priority to US09/287,406 priority patent/US6853740B1/en
Priority to EP06100243A priority patent/EP1672551A3/en
Publication of JP2000070243A publication Critical patent/JP2000070243A/ja
Priority to US10/995,153 priority patent/US7046836B2/en
Priority to US11/207,775 priority patent/US20060002602A1/en
Application granted granted Critical
Publication of JP4164166B2 publication Critical patent/JP4164166B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、放射線の照射領域絞りを行って撮影された画像等からその照射領域を抽出する装置、方法及びそれに用いられるコンピュータ読み取り可能な記憶媒体に関する。
【0002】
【従来の技術】
近年のディジタル技術の進歩により放射線画像をディジタル画像信号に変換し、このディジタル画像信号を画像処理してCRT等に表示、あるいはプリント出力することが行われている。放射線画像の撮影においては、人道上の理由より、また不要領域からの散乱を防ぎコントラストの低下を防止するために、放射線を人体の必要領域のみにしか照射しない照射領域絞りが行われるのが一般的である。また、画像処理を行うにあたり、画像の濃度値の分布から処理パラメータを決定し、決定されたパラメータに基づいて画像処理を行うのが普通である。しかしながら照射領域が限定されない場合には、関心領域外のいわば不要情報を画像処理パラメータの決定に使用することになり、適切な画像処理が行えないという問題が生じる。
【0003】
そこで照射領域を抽出し、関心領域のみの情報から画像処理パラメータを決定する必要がある。このような照射領域の抽出方法として、例えば特開平05−007579号公報には、画像領域を小領域に分割し、この小領域内の濃度分散値の値に基づいて照射領域を抽出する方法が記載されている。また、例えば特公平6−90412号公報には、画像領域端部近傍の所定数画素間の画像濃度変化を、実質的に1次式からなる近似式で表し、この近似式による想定画像濃度値とサンプル画像信号が示す実際の濃度値との差から照射領域を抽出する方法が記載されている。
【0004】
【発明が解決しようとする課題】
しかしながら上記特開平05−007579号公報の方法では、各小領域内の濃度分散値を求める必要があり、このため計算量が増え、計算時間がかかるという問題があった。また関心領域内でも、例えば肺野端部では急激に濃度値が変化しており、照射領域端部より濃度の変化率が高い場合があり得る。特に肺野端部とろっ骨と肺野とが接する領域では分散値が高くなる。そのため照射領域の候補点は照射領域端部外からも抽出され、その判定が難しくなるという問題もあった。
【0005】
また上記特公平6−90412号公報の方法では、一次近似式を計算するために照射領域外のすそ野の領域を想定しており、このすそ野がうまく抽出できない場合には成り立たないという問題があった。さらに照射領域外のすそ野がなだらかな部分と急激に立ち上がる部分との2領域であることを想定しており、すそ野が全てなだらかであったり、3つ以上の濃度勾配の変化があった場合には成り立たないという問題もあった。
【0006】
本発明は上記のような問題を解決するためになされたもので、照射領域を正確に抽出することを目的としている。
【0007】
【課題を解決するための手段】
請求項1記載の発明による照射領域抽出装置は、画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する決定手段と、上記決定手段で決定された上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する計算手段と、上記計算手段で計算された上記2次差分値から照射領域の一端点を判定する判定手段とを設けている。
【0008】
請求項3記載の発明による照射領域抽出方法は、画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する工程と、上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する工程と、上記計算された上記2次差分値から照射領域の一端点を判定する工程とを有している。
【0009】
請求項4記載の発明によるコンピュータ読み取り可能な記憶媒体は、画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する工程と、上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する工程と、上記計算された上記2次差分値から照射領域の一端点を判定する工程とをコンピュータに実行させるためのプログラムを記憶している。
【0010】
【発明の実施の形態】
以下、この発明の実施の形態を図面と共に説明する。
図1はこの発明の実施の形態による照射領域抽出装置の構成を示すブロック図であり、図において、101は外部より画像を入力する画像入力部、102は画像入力部101で入力された画像から放射線の照射領域を抽出する照射領域抽出部、103は照射領域抽出部102で抽出された照射領域に基づき画像処理を行う画像処理部、104は画像処理部103で処理された画像を表示する表示部である。
【0011】
図2は照射領域抽出部102の内部構成を示すブロック図であり、200は計算域を決定するための方向、開始点、終了点を入力する計算域入力部、201は画像入力部101から入力された入力画像から、計算部202が計算する領域を計算域入力部201で入力された情報に基づいて決定する計算域決定部である。202は計算域入力部201で決定された計算域から後述する1次差分値と2次差分値とを計算する計算部、204は照射領域端を判定する判定部、203は計算部202で計算された値と、判定部204で判定された照射領域端を記憶する記憶部、205は記憶部203に記憶され判定部204で判定された照射領域端から照射領域を決定する照射領域決定部である。
【0012】
図3は照射領域抽出部102の処理の流れを示すフローチャートを示す。図4は計算域決定部201で決定される計算域を示す図である。図5(a)は放射線画像を示す図であり、(b)は(a)のX0〜X3線上の濃度値を示す図である。横軸にX0〜X3の位置を、縦軸に上記線上の濃度値を示す。図6(a)は図5(b)の一部を拡大したものである。図6(b)は上記X0 3間上の点に対する計算部202で計算された2次差分値の値をプロットしたものである。
【0013】
次に動作について説明する。
図1において、不図示の外部装置からの画像が画像入力部101を介して照射領域抽出部102に入力される。照射領域抽出部102は入力された画像から照射領域を抽出し、画像処理部103に照射領域の情報を引き渡す。画像処理部103は、照射領域抽出部102で抽出された照射領域の情報に基づいて画像処理を施し、画像処理された画像は表示部104に表示される。
【0014】
次に、図2の照射領域抽出部102の処理を図3の流れに従い説明する。計算域入力部200で計算域を決定するために必要となる計算方向、計算開始点、計算終了点を入力する(ステップS301)。ただし、ここでの入力は初期入力画面のみであり、次の入力画面以降は設定する必要はない。次に計算域決定部201では計算域入力部200からの情報に基づき計算域を決定していく。ここで計算域とは、図4に示すように、画像上のA、B、Cの平行に並ぶ方形状の3領域を指し、(x,y)で示す計算点に対する2次差分値を計算する時の計算域として用いられる。これらのA、B、Cの3面積は等しく、a、bの2つのパラメータでその面積は決定され、かつ各領域間の距離はdで示される。これらのパラメータa、b、dは実験的に決定される。計算域決定部201では予め全ての計算点について計算域を決定し、記憶部203に重複する計算域の情報とともに記憶しておく(ステップS302)。
【0015】
次に計算部202は、上記計算域A、B、C内の濃度値の代表値を後述する方法により計算し、さらに1次差分値と2次差分値とを計算する。1次差分値としては、領域C内の濃度代表値から領域B内の濃度代表値を引いた値eと、領域B内の濃度代表値から領域A内の濃度代表値を引いた値fとの2値とする。また2次差分値としては値eから値fを引いた値とする。このようにして計算した1次差分値と2次差分値とを記憶部203に記憶する。記憶部203に記憶される計算域の重複情報より、重複する計算域に対する1次差分値は記憶部203に記憶される値を用い、この2次差分値を計算する(ステップS303、S304)。
【0016】
次に判定部204は記憶部203に記憶された1次差分値と2次差分値とから照射領域端を判定する。図6(b)は計算部202で計算された2次差分値を示す。濃度値が急変するX1 、X2 点で2次差分値は−方向に大きな値を示し、濃度値が上昇する方向(X0 点方向から見る)で前記1次差分値fは+の値を示し、濃度値が下がる方向で−の値を示す。判定部204はこの性質から、上記2次差分値の値が設定パラメータ以下の領域でかつ最小値の点であり、1次差分値の値がプラスである点を、照射領域端点の候補とする。候補点が複数である場合は、最初に現われた候補点を照射領域の端点と判定する(ステップS305)。次に上記照射領域端点を記憶部203に記憶する(ステップS306)。
【0017】
さらに、判定部204は計算域入力部200から入力された全方向についての処理が終了したかを判定し、終了してない場合はステップS302からの処理を繰り返す(ステップS307)。全方向の照射領域端点が決定されたら、照射領域決定部205は照射領域を決定する。ここでは、上記照射領域の端点を通過し、2次差分値の計算方向(例えば図5のX0 からX3 に向かう方向)に垂直な線を全照射領域の端点に対して計算し、その全ての線に囲まれる領域を照射領域とする(ステップS308)。
【0018】
本実施の形態によれば、計算部202は、計算域内A、B、C内の濃度値の代表値を計算し、その値に基づく2次差分値を計算するようにしたので、計算量が少なく、簡易に照射領域の端点を抽出できるという効果がある。
【0019】
また、照射領域を決定する照射領域決定部205を有するため、照射領域が方形でも多角形や円形であっても、照射領域を抽出できるなどの効果が得られる。また、照射領域が多角形である場合は、それよりも低次元の方向を選択することで、略外接領域を抽出することができる効果が得られる。
以下、上記各計算域A,B,C内の代表値を計算する方法について説明する。簡単な方法としては、計算域内の全ての濃度値(全ての画素値)の平均値を計算する方法、計算域内の全ての濃度値をその濃度値でソートしその中間位置の画素の濃度値、即ち中間値を用いる方法などがある。また、全ての画素ではなく、各計算域内の画素を適宜サブサンプリングなどにより限定し、その限定された画素の濃度値の平均値やその限定された画素の中間値などを用いる方法がある。
【0020】
ここで、計算域内の濃度値の代表値を計算する方法として、計算域内の全濃度値の平均値を用いることにより、雑音に強いという効果が得られる。また、計算域内の全濃度値をその濃度値でソートし、その中間位置の画素の濃度値を用いる場合も計算が簡易で雑音に強いという効果が得られる。さらに計算域内の限定された点の平均値、またはその限定された点の濃度値をソートし、その中間位置の濃度値を代表値とする場合は計算量をさらに減らすことができるという効果がある。
次に、上記図4に示す各計算域A,B,Cの代表値を決める他の手法について説明する。まず、図4に示すような垂直方向の高さがa、水平方向の長さがbの計量域を想定し、各領域間の距離をdとし、各計算点を(x,y)で示すものとする。
本実施例では、各領域A,B,Cの代表値をS(A)、S(B)、S(C)としたとき、2次差分値SS(X)を以下の(1)式で求める。
SS(X)=S(A)−2×S(B)+S(C)・・・(1)
次に、一般に各領域の代表値をS(X)としたときの、本手法における代表値の計算方法について説明する。まず、各計算点(x,y)の画素値をf(x,y)とし、値F1(x)を以下の(2)式で求める。
【0021】
【数1】
Figure 0004164166
【0022】
ここで、積分範囲は上記矩形領域の垂直方向の高さaとしており、(2)式ではその記載の簡便のために0〜aの範囲で積分すると表示している。
また次に、値F2(x)を以下の(3)式で求める。
F2(x)=min{F1(x+x1)−h(x1)|x1∈K}・・・(3)
そしてこのF2(x)を用いてS(X)を以下の式(4)によって求める。
S(X)=max{F2(x−x1)+h(x1)|x1∈K}・・・(4)
ここで、h(x)は以下の式(5)に示される関数で、Kはその定義式である。
h(x)=0 −b/4≦x≦b/4
=−∞ その他の時 ・・・(5)
そして、左右の照射端を、画像の左半分及び右半分中におけるのminSS(X)をとるxの値から求める。上下端についても同様に求めることができる。
つまり、上記手法は領域の所定方向(垂直方向)に対して画素値のプロジェクションをとり、一次元モルフォロジフィルタを用いてそのプロジェクションをとった値を平滑化し、その平滑化した値に対して、間隔にて2次差分値を計算したことに他ならない。
このような計算方法によれば、上記平均値や中間値を用いる場合に比べ照射域をより誤りなく検出することができる。
【0023】
尚、図1、図2の各機能ブロック101〜104、200〜205は、ハード的に構成してもよく、また、CPUやメモリ等から成るマイクロコンピュータシステムに構成してもよい。マイクロコンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成し、この記憶媒体には、図3のフローチャートに示す処理を実行するためのプログラムが記憶される。またこの記憶媒体としては、ROM、RAM等の半導体メモリや、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをCD−ROM、フロッピディスク、磁気テープ、不揮発性のメモリカード等に構成して用いてよい。
本実施形態によれば、所定方向に並ぶ所定形状の複数の領域から成る計算域を決定し、この複数の領域内の各領域を代表する濃度値の2次差分値を計算し、この計算された2次差分値から照射領域の一端点を判定するように構成したので、計算量を減らし計算時間を短縮することができ、さらに正確に照射領域端部を抽出できるという効果がある。
また、判定された複数の照射領域の端点より照射領域を決定するように構成したので、照射領域が方形でも多角形や円形であっても照射領域を抽出できるなどの効果が得られる。また、照射領域が多角形である場合に、それよりも低次元の方向を選択することで、略外接領域を抽出することができるという効果が得られる。
また、上記複数の領域内の各領域を代表する濃度値を、各領域内の平均濃度値としたので、雑音がある画像に対しても精度良く照射領域の端部を抽出できるという効果が得られる。
また、上記複数の領域内の各領域を代表する濃度値を、各領域内の平均濃度値としたので、計算が簡便であり、かつ雑音がある画像に対しても精度良く照射領域の端部を抽出できるという効果が得られる。
また、上記複数の領域内の各領域を代表する濃度値を、各領域内の限定された点の濃度値の平均値としたので、計算量を減らし、雑音がある画像に対しても精度良く照射領域の端部を抽出できるという効果が得られる。
また、上記複数の領域内の各領域を代表する濃度値を、各領域内の限定された点の濃度値の濃度値の中間値としたので、計算量をさらに減らすことができ、雑音がある画像に対しても精度良く照射領域の端部を抽出できるという効果が得られる。
【0024】
【発明の効果】
以上説明したように、発明によれば、所定方向に並ぶ所定形状の複数の領域から成る計算域を決定し、この複数の領域内の各領域を代表する濃度値の2次差分値を計算し、この計算された2次差分値から照射領域の一端点を判定するように構成したので、計算量を減らし計算時間を短縮することができ、さらに正確に照射領域端部を抽出できるという効果がある。また、比較的少ない計算量により、照射領域を誤りなく検出することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態による照射領域抽出装置のブロック図である。
【図2】照射領域抽出部内の構成を示すブロック図である。
【図3】照射領域抽出部内の処理手順を示すフローチャートである。
【図4】計算域を示す構成図である。
【図5】放射線画像と、この放射線画像上の1線分の濃度値を示す構成図である。
【図6】図5上の1線分の濃度値とこの1線分上の2次差分値の値を示す特性図である。
【符号の説明】
102 照射領域抽出部
202 計算部
201 計算域決定部
204 判定部
205 照射領域決定部

Claims (4)

  1. 画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する決定手段と、
    上記決定手段で決定された上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する計算手段と、
    上記計算手段で計算された上記2次差分値から照射領域の一端点を判定する判定手段と
    を備えたことを特徴とする照射領域抽出装置。
  2. 上記判定手段で判定された複数の照射領域の端点より上記照射領域を決定する照射領域決定手段を備えたことを特徴とする請求項1に記載の照射領域抽出装置。
  3. 画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する工程と、
    上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する工程と、
    上記計算された上記2次差分値から照射領域の一端点を判定する工程とを有することを特徴とする照射領域抽出方法。
  4. 画像上の所定方向に並ぶそれぞれ所定形状を有する複数の領域を決定する工程と、
    上記複数の各領域内の所定方向に対して画素値のプロジェクションをとり、上記各領域を代表する値を各領域毎に一次元モルフォロジフィルタを用いて上記プロジェクションを平滑化して取得し、上記各領域に対応付けられた2次差分値を、上記各領域の代表値と該領域と隣り合う領域の代表値とを用いて計算する工程と、
    上記計算された上記2次差分値から照射領域の一端点を判定する工程とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP24302098A 1998-04-07 1998-08-28 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体 Expired - Fee Related JP4164166B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP24302098A JP4164166B2 (ja) 1998-08-28 1998-08-28 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体
EP99106776A EP0964362A1 (en) 1998-04-07 1999-04-06 Image processing method, apparatus, and storage medium for recognition of irradiation area
US09/287,406 US6853740B1 (en) 1998-04-07 1999-04-06 Image processing method apparatus and storage medium for recognition of irradiation area
EP06100243A EP1672551A3 (en) 1998-04-07 1999-04-06 Image processing method, apparatus, and storage medium for recognition of irradiation area
US10/995,153 US7046836B2 (en) 1998-04-07 2004-11-24 Image processing method apparatus and storage medium for recognition of irradiation area
US11/207,775 US20060002602A1 (en) 1998-04-07 2005-08-22 Image processing method, apparatus, and storage medium for recognition or irradiation area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24302098A JP4164166B2 (ja) 1998-08-28 1998-08-28 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JP2000070243A JP2000070243A (ja) 2000-03-07
JP4164166B2 true JP4164166B2 (ja) 2008-10-08

Family

ID=17097688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24302098A Expired - Fee Related JP4164166B2 (ja) 1998-04-07 1998-08-28 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体

Country Status (1)

Country Link
JP (1) JP4164166B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208333B2 (ja) 1999-03-19 2009-01-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP4574041B2 (ja) * 2001-03-14 2010-11-04 キヤノン株式会社 画像処理装置、方法およびプログラム
JP5361152B2 (ja) 2007-07-09 2013-12-04 キヤノン株式会社 撮影制御装置及びその制御方法、撮影装置、並びに、プログラム
JP5998903B2 (ja) * 2012-12-13 2016-09-28 コニカミノルタ株式会社 放射線画像処理装置、放射線画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2000070243A (ja) 2000-03-07

Similar Documents

Publication Publication Date Title
JP3679512B2 (ja) 画像抽出装置および方法
US7668377B2 (en) Method of obtaining a depth map from a digital image
US8103077B2 (en) Method and system for locating opaque regions in chest X-ray radiographs
EP1725975B1 (en) Method, apparatus and program for detecting an object
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
JPH03206572A (ja) 階調変換自動化装置
US20090116731A1 (en) Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions
JP2004057275A (ja) 画像診断装置
JPH0877362A (ja) 画像処理装置
JP4164166B2 (ja) 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体
DE102005025220A1 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
JPH07210655A (ja) 眼科用画像処理装置
US8224094B2 (en) Method and system for side detection of 3D undetailed ear impressions
JP3636936B2 (ja) 濃淡画像の2値化方法および濃淡画像の2値化プログラムを記録した記録媒体
US6853740B1 (en) Image processing method apparatus and storage medium for recognition of irradiation area
JP3945622B2 (ja) 画像評価方法および装置並びにプログラム
JP4221534B2 (ja) 2値画像の特徴量抽出方法
JP2775122B2 (ja) イラストデータの自動輪郭抽出ベクトル化処理方法,及びそれに使用する処理装置
JPH07101455B2 (ja) 線検出方法およびその装置
JPH0468481A (ja) 文字切出し装置
JP3462960B2 (ja) 画像処理方法
CN116704517A (zh) 治疗控制系统显示器中的字符识别方法、电子设备及存储介质
CN117953213A (zh) 目标分割方法、电子设备以及存储介质
CN113963379A (zh) 四指指纹位置识别方法、装置及设备
JPH1145335A (ja) 閉領域検出方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees