JP4612774B2 - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP4612774B2
JP4612774B2 JP2001034121A JP2001034121A JP4612774B2 JP 4612774 B2 JP4612774 B2 JP 4612774B2 JP 2001034121 A JP2001034121 A JP 2001034121A JP 2001034121 A JP2001034121 A JP 2001034121A JP 4612774 B2 JP4612774 B2 JP 4612774B2
Authority
JP
Japan
Prior art keywords
frequency component
image
original image
region
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001034121A
Other languages
English (en)
Other versions
JP2002237948A (ja
Inventor
弘之 新畠
修 辻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001034121A priority Critical patent/JP4612774B2/ja
Publication of JP2002237948A publication Critical patent/JP2002237948A/ja
Application granted granted Critical
Publication of JP4612774B2 publication Critical patent/JP4612774B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、X線等の放射線により撮影された画像に対して、階調変換処理、ダイナミックレンジ変更処理、及び鮮鋭化処理等の画像処理を行う装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、前記装置もしくはシステムの機能を実現させるためのプログラム、前記方法の処理ステップを実行させるためのプログラム、及びそれらプログラムをコンピュータが読出可能に格納した記憶媒体に関するものである。
【0002】
【従来の技術】
近年においては、ディジタル技術の進歩により、放射線撮影して得られた画像(放射線画像)をディジタル化してディジタル画像として取得し、当該ディジタル画像に対して画像処理を施し、当該画像処理後のディジタル画像をCRT等で表示出力する、或いはフィルム出力することが行われている。
【0003】
ところで、放射線画像については、そのディジタル画像を表示出力或いはフィルム出力に適した画像とするために、上記の画像処理として、階調変換処理やダイナミックレンジ変更処理を行うことがある。
【0004】
しかしながら、上述のような画像処理を行ったとしても、例えば、X線により胸部を撮影して得られた画像(X線胸部画像)は、X線が透過しやすい肺野の画像、及びX線が非常に透過しにくい縦隔部の画像から構成されるため、画素値(ディジタル画像を構成する画素の値)が存在するレンジが非常に広い。このため、肺野及び縦隔部の両方の部分画像を同時に観察することが可能なX線胸部画像を得ることは非常に困難であるとされてきた。
【0005】
そこで、上記の問題を回避する方法として、例えば、「SPIE Vol.626 Medicine XIV/PACS(1986)」等に記載されている方法(以下、「第1の方法」と言う)がある。
【0006】
第1の方法は、処理後の画素値SD、オリジナル画素値(入力画素値)Sorg、オリジナル画像(入力画像)の低周波画像の画素値SUS、及び定数A,B,C(例えば、A=3、B=0.7)を以って、
【0007】
【数1】
Figure 0004612774
【0008】
なる式(1)で表わされるものである。
【0009】
また、第1の方法は、高周波成分(上記式(1)の第1項)、低周波成分(上記式(2)の第2項)の重み付けを変えることで、具体的には例えば、A=3、B=0.7とすることで、対象画像の高周波成分を強調し、且つ対象画像全体のダイナミックレンジを圧縮する効果が得られるものである。
【0010】
尚、第1の方法に対して、ある5人の放射線医から、処理なし画像と比較して、診断に有効であるという評価が得られている。
【0011】
また、例えば、第2509503特許公報等には、処理後の画素値SD、オリジナル画素値(入力画素値)Sorg、及びオリジナル画像(入力画像)のY方向プロファイルの平均プロファイルPyとX方向プロファイルの平均プロファイルPxを以って、
【0012】
【数2】
Figure 0004612774
【0013】
なる式(2)で表わされる方法(以下、「第2の方法」と言う)が記載されている。
【0014】
上記式(2)において、関数F(x)は、「x>Dth」では、F(x)が「0」となり、「0≦x≦Dth」では、F(x)が、切片を「E」、傾き「E/Dth」として単調減少する、という特性を有し、
【0015】
【数3】
Figure 0004612774
【0016】
なる式(3)〜式(5)で示される。
【0017】
上記式(4)及び(5)において、
i=1〜n
である。“Pyi”及び“Pxi”は、Y方向及びX方向のプロファイルを示す。また、G(Px,Py)は例えば、
【0018】
【数4】
Figure 0004612774
【0019】
なる式(6)で示される。
【0020】
第2の方法は、対象画像の低周波部分の画素値で、“Dth”以下の濃度レンジが圧縮されるものである。
【0021】
また、第2の方法と同様の方法として、「日本放射線技術学会雑誌、第45巻第8号1989年8月、1030頁、阿南ほか」や、第2663189特許公報等に記載された方法(以下、「第3の方法」と言う)がある。
【0022】
第3の方法は、処理後の画素値SD、オリジナル画素値(入力画素値)Sorg、オリジナル画像(入力画像)をマスクサイズM×M画素で移動平均をとった時の平均画素値SUS、及び単調減少関数f(X)を以って、
【0023】
【数5】
Figure 0004612774
【0024】
なる式(7)及び(8)式で表わされるものである。
【0025】
また、第3の方法は、上記式(2)で表される第2の方法に対して、低周波画像の作成方法が異なる。すなわち、上記式(2)では1次元データにより低周波画像が作成されるのに対し、上記式(7)及び(8)では、2次元データにより低周波画像が作成される。
【0026】
第3の方法も、第2の方法と同様に、対象画像の低周波部分の画素値で、“Dth”以下の濃度レンジが圧縮されるものである。
【0027】
上述したような第1〜第3の方法でのダイナミックレンジ圧縮は、低周波画像を変換する関数f1()と、定数AXとを以って、
【0028】
【数6】
Figure 0004612774
【0029】
なる式(9)で表される。
【0030】
また、特開平10−272283号等では、次のような方法(以下、「第4の方法」と言う)が記載されている。
【0031】
第4の方法は、階調変換関数F1()、階調変換率c(x、y)、処理済み画像の画素値fd(x、y)、第1の画像f0(x、y)、第2の画像の画素値f1(x、y)、第2の画像の平滑化(低周波)画像の画素値fus(x、y)、及び画像上の座標(x、y)を持って、
【0032】
【数7】
Figure 0004612774
【0033】
なる式で示される関係を有し、
【0034】
【数8】
Figure 0004612774
【0035】
なる式(10)で表される。
【0036】
第4の方法による画像処理は、階調変換処理との組み合わせ等が容易であり、階調変換処理と同時に行える等の効果を有すると共に、高周波成分の調整も同時に行える、という効果を有する。
【0037】
上述したような第1〜第4の方法による画像処理の他、画像の微細構造を容易に観察できるようにするための、所謂鮮鋭化処理がある。
例えば、鮮鋭化処理としては、原画像f(x、y)、処理後の画像fp(x、y)、原画像の低周波画像SUS2(x、y)、及び定数Cを以って、
【0038】
【数9】
Figure 0004612774
【0039】
なる式(11)で表される処理がある。
【0040】
しかしながら、上記式(11)で表される処理では、原画像f(x、y)から、原画像の低周波画像SUS2(x、y)を減じて、高周波画像を作成する処理が行われる。この際、原画像f(x、y)のエッジ部分に対応する高周波画像の部分にオーバーシュートやアンダーシュートのもとになる高周波成分が生じる場合がある。この場合、当該高周波成分が、上記の処理において、原画像、又は階調変換後の原画像、又は低周波画像に加算されることになり、この結果、オーバーシュートやアンダーシュートが生じた処理後の画像が得られてしまうことになる。
【0041】
尚、ここでオーバーシュート及びアンダーシュートは原画像f(x、y)から原画像の低周波画像SUS2(x、y)を減じて得られた高周波成分の中で絶対値が過度に大きな成分を意味し、絶対値が正のものをオーバーシュート、絶対値が負のものをアンダーシュートとする。以下、単にオーバーシュートと称した場合、原則としてオーバーシュート及びアンダーシュートを総称しているものとする。
【0042】
そこで、上記のオーバーシュートを抑制する方法として、例えば、特開平11−124749号等では、対象画像の高周波成分をさらに階調変換をすることで、高周波成分の絶対値の大きな成分でありオーバーシュートに対応する部分を抑制する方法が提案されている。また、中間値フィルタやモーフォロジカル・フィルタを用いて低周波成分を作成することで、上記のオーバーシュートを抑制する方法等も提案されている。
【0043】
【発明が解決しようとする課題】
しかしながら、上述したようなオーバーシュートを抑制する従来の画像処理方法では、例えば、特開平11−124749号等に記載の画像処理方法では、振幅の比較的小さなオーバーシュートについては適切に抑制できるが、振幅の大きなオーバーシュートについては、その抑制の際に高周波成分自体の情報量が失われてしまう。このため、オーバーシュートは抑制されるものの、オーバーシュートが抑制された領域の画像の微細構造が見えにくい、という問題があった。
【0044】
また、中間値フィルタやモーフォロジカル・フィルタを用いた画像処理方法では、当該フィルタにより低周波成分を作成するため、オーバーシュートが発生しにくくなるものの、多くの処理時間(計算時間)を要し、また、低周波成分を作成する領域によっては、微細構造の復元性が悪くなってしまう、という問題があった。
【0045】
そこで、本発明は、上記の欠点を除去するために成されたもので、オーバーシュートを適切に抑制しつつ、オーバーシュートが抑制された領域の微細構造の情報をも失わないことを実現する構成により、良好な処理後画像を提供できる、画像処理装置、画像処理システム、画像処理方法、前記装置もしくはシステムの機能を実現させるためのプログラム、前記方法の処理ステップを実行させるためのプログラム、及びそれらのプログラムをコンピュータが読出可能に格納した記憶媒体を提供することを目的とする。
【0046】
【課題を解決するための手段】
本発明の画像処理装置は、原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とする手段と、前記高周波成分の大きさを所定の規則で変更した後の高周波成分と階調変換した後の前記原画像とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とする手段と、前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像の低周波成分を加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、原画像から第1のフィルタサイズでフィルタ処理して第1の高周波成分を取得する第1の高周波成分取得手段と、前記原画像から前記第1のフィルタサイズよりも小さい第2のフィルタサイズでフィルタ処理して第2の高周波成分を取得する第2の高周波成分取得手段と、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし前記高周波成分と前記原画像の所定の低周波成分とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする。
【0061】
本発明の画像処理システムは、複数の機器が互いに通信可能に接続されてなる画像処理システムであって、前記複数の機器のうち少なくとも1つの機器は、請求項1〜の何れか1項に記載の画像処理装置の機能を有することを特徴とする。
【0062】
本発明の画像処理方法は、原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得ステップと、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とするステップと、前記高周波成分の大きさを所定の規則で変更した後の高周波成分と階調変換した後の前記原画像とを加算して処理後の画像を取得する処理後画像取得ステップと、を含むことを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を原画像から取得する第2の高周波成分取得ステップと、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とするステップと、前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像とを加算して処理後の画像を取得する処理後画像取得ステップと、を含むことを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を原画像から取得する第2の高周波成分取得ステップと、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像の低周波成分を加算して処理後の画像を取得する処理後画像取得ステップと、を備えることを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、原画像から第1のフィルタサイズでフィルタ処理して第1の高周波成分を取得する第1の高周波成分取得ステップと、前記原画像から前記第1のフィルタサイズよりも小さい第2のフィルタサイズでフィルタ処理して第2の高周波成分を取得する第2の高周波成分取得ステップと、前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし、前記高周波成分と前記原画像の所定の低周波成分とを加算して処理後の画像を取得する処理後画像取得ステップと、を備えることを特徴とする。
【0078】
本発明の記憶媒体は、請求項1〜の何れか1項に記載の画像処理装置の機能、又は請求項記載の画像処理システムの機能をコンピュータに実現させるためのプログラムを記録したことを特徴とする。
また、本発明の記憶媒体の他の特徴とするところは、請求項6〜9の何れか1項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【0080】
本発明のプログラムは、請求項1〜の何れか1項に記載の画像処理装置の機能、又は請求項記載の画像処理システムの機能をコンピュータに実現させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、請求項6〜9の何れか1項に記載の画像処理方法の処理ステップをコンピュータに実行させることを特徴とする。
【0082】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【0083】
[第1の実施の形態]
本発明は、例えば、図1に示すようなX線撮影装置100に適用される。
本実施の形態のX線撮影装置100は、特に、以下に説明するような構成及び動作により、対象画像の高周波成分を変更することで、オーバーシュート等を適切に防止するようになされている。
【0084】
<X線撮影装置100の構成>
X線撮影装置100は、上記図1に示すように、X線を発生するX線発生回路(図面では…部)101と、被写体103を透過したX線光が結像される2次元X線センサ104と、2次元X線センサ104から出力される撮像画像を収集するデータ収集回路(図面では…部)105と、データ収集回路105にて収集された撮像画像に前処理を行う前処理回路(図面では…部)106と、前処理回路106での前処理後の撮像画像等の各種情報や各種処理実行のための処理プログラムを記憶するメインメモリ109と、X線撮影実行等の指示や各種設定を本装置に対して行うための操作パネル110と、前処理回路106での前処理後の撮像画像に対して画像処理を施す画像処理回路111と、画像処理回路111での処理後の画像等を表示出力或いはフィルム出力等する出力回路118と、本装置全体の動作制御を司るCPU108とを備えており、データ収集回路105、前処理回路106、画像処理回路111、出力回路118と、CPU108、メインメモリ109、及び操作パネル110はそれぞれCPUバス107に接続され互いにデータ授受できるように構成されている。
【0085】
画像処理回路111は、前処理回路106での前処理後の画像から第1の高周波成分を作成する第1の高周波成分作成回路112と、第1の高周波成分作成回路112で得られた第1の高周波成分の絶対値からオーバーシュートが生じている領域を検出する領域検出回路113と、領域検出回路113で得られた検出領域に対応する第2の高周波成分を作成する第2の高周波成分作成回路114と、第1の高周波成分作成回路112で得られた第1の高周波成分のうち領域検出回路113で得られた検出領域に対応する高周波成分を第2の高周波成分作成回路114で得られた第2の高周波成分に置換する周波成分置換回路115と、周波成分置換回路115で得られた置換後の高周波成分を原画像、低周波画像、又は階調変換後の画像に加算して処理後画像を取得する処理後画像回路116とを備えている。
【0086】
<X線撮影装置100の動作>
メインメモリ109には、CPU108での各種制御処理実行に必要なデータや処理プログラム等が予め記憶されると共に、CPU108の作業用としてのワークメモリを含むものである。メインメモリ109に記憶される処理プログラム、特に、画像処理のための処理プログラムとして、ここでは例えば、図2のフローチャートに従った処理プログラムを用いる。
したがって、CPU108は、上記図2で示される処理プログラム等をメインメモリ109から読み出して実行することで、操作パネル110からの操作に従った、以下に説明するような本装置100全体の動作制御を行う。
【0087】
ステップS200:
先ず、X線発生回路101は、被写体(被検査体)103に対してX線ビーム102を放射する。このX線発生回路101から放射されたX線ビーム102は、被検査体103を減衰しながら透過して、2次元X線センサ104に到達し、2次元X線センサ104によりX線画像として出力される。
2次元X線センサ104から出力されるX線画像としては、例えば、胸部画像等の人体部画像が挙げられる。
【0088】
次に、データ収集回路105は、2次元X線センサ104から出力されたX線画像を電気信号に変換し、それを前処理回路106に供給する。
前処理回路106は、データ収集回路105からの信号(X線画像信号)に対して、オフセット補正処理やゲイン補正処理等の前処理を行う。
この前処理回路106で前処理が行われたX線画像信号は入力画像の情報として、CPU108の制御により、CPUバス115を介して、メインメモリ109及び画像処理回路111にそれぞれ転送される。
【0089】
ステップS201:
画像処理回路111において、不図示の階調変換回路は、前処理回路106での処理後の画像f(x、y)に対して、階調変換関数F1()を用いた、
【0090】
【数10】
Figure 0004612774
【0091】
なる式(12)により階調変換処理を施し、原画像(元画像)f0(x、y)を取得する。
尚、上記式(12)において、“x”及び“y”はそれぞれ、X座標及びY座標を表す。
【0092】
ステップS202:
第1の高周波成分作成回路112は、
【0093】
【数11】
Figure 0004612774
【0094】
なる式(13)及び(14)で示されるように、ステップS201で得られた原画像f(x、y)から、その低周波画像fus(x、y)を減じることで、第1の高周波成分h1(x、y)を取得する。
【0095】
上記式(13)における低周波画像fus(x、y)は、上記式(14)に示されるように、元画像f(x、y)を移動平均して作成されるものであり、上記式(14)における“d1”は、以下単にマスクサイズと称する。
【0096】
ステップS203:
領域検出回路113は、第1の高周波成分作成回路112にて得られた高周波成分h1(x、y)について、その絶対値が一定閾値Th以上の領域を検出し、当該検出領域(オーバーシュートが生じやすい領域、以下、単に「オーバーシュート領域」とも言う)の座標(x、y)を、メインメモリ109に保存する。
このように、高周波成分h1(x、y)の絶対値が一定閾値Th以上の領域をオーバーシュート領域として検出するのは、オーバーシュートを生じさせる高周波成分は、通常の高周波成分よりも絶対値が大きいことによるものである。
【0097】
ステップS204:
第2の高周波成分作成回路114は、メインメモリ109に保存されたオーバーシュート領域の座標に基づいて、
【0098】
【数12】
Figure 0004612774
【0099】
なる式(15)及び(16)により、第2の高周波成分h2(x、y)を取得する。
【0100】
ここで、上記式(16)における“d2”は、以下単にマスクサイズと称する。マスクサイズd2は上記式(14)でのマスクサイズd1に対して、
d2<d1
なる関係を有する。これにより、第2の高周波成分h2(x、y)は、第1の高周波成分h1(x、y)より高周波成分に周波数成分がかたよっている。また、当該関係により、第2の高周波成分h2(x、y)は、第1の高周波成分h1(x、y)よりも、オーバーシュートを生じさせる成分を減じるものである。
【0101】
尚、マスクサイズd2を過度に小さく設定すると対象画像における微細構造の復元性が落ちる場合があるため、オーバーシュートが生じにくい範囲で且つ微細構造の復元性をあまり落とさないようにマスクサイズd2を決定するのが望ましい。
この場合、中周波数の復元性は通常の大きさのマスクサイズd1を用いる場合より劣化するが、微細構造の復元性が落ちることなく、オーバーシュートを抑制できる。
【0102】
また、上記式(15)の“fus2(x、y)”は、上記式(16)により表される低周波画像(平滑化画像)であるが、この低周波画像fus2(x、y)の他の取得方法としては、例えば、次のような方法(1)及び(2)が挙げられる。
【0103】
方法(1):モーフォロジカル・フィルタ(モーフォロジ演算)を用いた方法本方法(1)では、次の式(17)〜(20)により表されるモーフォロジカル・フィルタ(モーフォロジ演算)により、低周波画像fus2(x、y)を生成する。
【0104】
【数13】
Figure 0004612774
【0105】
上記式(17)〜(20)において、“D(x、y)”は、次の式(21)により表される円盤状フィルタであり、“r1”を任意の定数として、対象画像に応じて選択されるものである。
【0106】
【数14】
Figure 0004612774
【0107】
方法(2):中間値フィルタを用いた方法
本方法(2)では、中間値フィルタを用いて低周波画像fus2(x、y)を生成する。
具体的には、座標(x、y)を中心として、一定距離d2内にある元画像f(x、y)をソートし、中間にある画素値をfus2(x、y)とする。
【0108】
上述のような方法(1)或いは方法(2)を用いて得られる低周波画像fus2(x、y)は、エッジ構造を保存するものである。そして、上記式(15)で示したように、この低周波画像fus2(x、y)を用いて得られた第2の高周波成分h2(x、y)は、オーバーシュートのもとになる成分がでにくいものである。また、オーバーシュートが生じやすい領域のみに対して、モーフォロジカル・フィルタ或いは中間値フィルタを用いて取得した低周波画像fus2(x、y)を生成することで、対象画像全体に対してモーフォロジカル・フィルタ或いは中間値フィルタを施すように構成した場合よりも、処理時間の短縮を図ることができる。
【0109】
ステップS205:
周波数成分置換回路115は、ステップS202において第1の高周波成分作成回路112により得られた第1の高周波成分h1(x、y)を、
【0110】
【数15】
Figure 0004612774
【0111】
なる関係式(22)に基づいて、第2の高周波成分h2(x、y)に置換する。
上記関係式(22)に表されるように、第1の高周波成分h1(x、y)のうち、絶対値が一定閾値Th以上の成分について、第2の高周波成分h2(x、y)に置換される。
【0112】
ステップS206:
処理後画像作成回路116は、
【0113】
【数16】
Figure 0004612774
【0114】
なる式(23)に従って、周波成分置換回路115で得られた置換後の第1の高周波成分h1(x、y)を、例えば、原画像f0(x、y)に加算することで、処理後画像fd(x、y)を取得する。
【0115】
尚、ステップS206において、周波成分置換回路115で得られた置換後の第1の高周波成分h1(x、y)を加算する対象の画像としては、原画像f0(x、y)に限られることはなく、例えば、前処理後の画像や、低周波画像、或いは低周波画像を階調変換した画像を用いるようにしてもよい。
【0116】
ステップS207:
上述のようにして、画像処理回路111により得られた処理後画像fd(x、y)は、出力回路118により、表示出力或いはフィルム出力等される。
【0117】
上述のように、本実施の形態では、原画像から取得した第1の高周波成分を解析することで、オーバーシュート領域を検出し、そのオーバーシュート領域の第1の高周波成分を、オーバーシュートが生じにくい高周波成分(第2の高周波成分)に置換するように構成したので、オーバーシュートを抑制した良好な処理後画像を提供できる。
【0118】
また、オーバーシュート領域に対してのみ、その第1の高周波成分を、より高周波領域にかたよった高周波成分(マスクサイズd2を小とした第2の高周波成分)に置き換えるように構成することで、微細構造の復元性を落とすことなくオーバーシュートを抑制できる。
【0119】
さらに、第2の高周波成分を生成する方法として、モーフォロジカル・フィルタ或いは中間値フィルタ等を用いた方法を用い、オーバーシュート領域のみに対して当該処理を行うように構成することで、さらなるオーバーシュートの抑制を期待できると共に、対象画像全体にわたってモーフォロジカル・フィルタ或いは中間値フィルタ等を施すように構成した場合に比較して、処理時間の短縮を行える。
【0120】
[第2の実施の形態]
本実施の形態では、上記図1に示したX線撮影装置100の動作を、例えば、図3のフローチャートに従った動作とする。
【0121】
尚、上記図3のフローチャートにおいて、上記図2のフローチャートと同様の処理実行するステップには同じ符号を付し、その詳細な説明は省略する。
【0122】
ステップS200〜ステップS203:
第1の実施の形態と同様にして、X線撮影により得られた画像は、前処理回路106で処理され、当該処理後の画像f(x、y)は、画像処理回路111へ転送される(ステップS200)。
画像処理回路111は、画像f(x、y)に対して階調変換処理を施すことで原画像(元画像)f0(x、y)を取得し(ステップS201)、第1の高周波成分作成回路112により、原画像f(x、y)から第1の高周波成分h1(x、y)を取得する(ステップS202)、領域検出回路113により、第1の高周波成分h1(x、y)からオーバーシュート領域を検出する(ステップS203)。
【0123】
尚、ステップS203は必須ではなく、後述のようにオーバーシュート領域に対応した領域のみ低周波画像を作成する場合には必要であるが、それ以外の場合には必ずしも必要ではない。
【0124】
ステップS301:
第2の高周波成分作成回路114は、第1の高周波成分h1(x、y)をダイナミックレンジ圧縮した結果を、第2の高周波成分h2(x、y)として取得する。
【0125】
上記のダイナミックレンジ圧縮の処理方法としては、任意の方法を適用可能であるが、本実施の形態では、その一例として、先に説明した特開平10−272283号等に記載の方法を用いる。
したがって、ここでは、第1の高周波成分h1(x、y)の絶対値が、一定閾値Th以上すなわちオーバーシュート領域のみのダイナミックレンジが圧縮されるように、ダイナミックレンジの圧縮処理を行う。このときの圧縮率ついては任意であるが、本実施の形態では、その一例として、最大の圧縮率とする。これにより、一定閾値Th以上の第1の高周波成分h1(x、y)が可能な限り圧縮されることになる。例えば、第1の高周波成分h1(x、y)中の所定の低周波成分が概略一定閾値Th以下にクリッピングされるように第1の高周波成分h1(x、y)をダイナミックレンジ圧縮する。
【0126】
ここで、ダイナミックレンジ圧縮に用いる低周波画像(平滑化画像)fus3(x、y)について、その取得方法としては、例えば、次のような方法(1)〜方法(3)が挙げられる。
【0127】
方法(1):オーバーシュート領域の座標に基づいた方法
本方法(1)では、メインメモリ109に保存されたオーバーシュート領域の座標に基づいて、
【0128】
【数17】
Figure 0004612774
【0129】
なる式(24)により、低周波画像fus3(x、y)を取得する。
上記式(24)における“d2”は、マスクサイズであり、上記式(14)でのマスクサイズd1に対して、
d2<d1
なる関係を有する。
【0130】
方法(2):モーフォロジカル・フィルタを用いた方法
本方法(2)では、次の式(25)〜(28)により表されるモーフォロジカル・フィルタにより、低周波画像fus3(x、y)を生成する。
【0131】
【数18】
Figure 0004612774
【0132】
上記式(25)〜(28)において、“D(x、y)”は、次の式(29)により表される円盤状フィルタであり、“r1”を任意の定数として、対象画像に応じて選択されるものである。
【0133】
【数19】
Figure 0004612774
【0134】
方法(3):中間値フィルタを用いた方法
本方法(3)では、中間値フィルタを用いて低周波画像fus3(x、y)を生成する。
具体的には、座標(x、y)を中心として、一定距離d2内にある元画像f(x、y)をソートし、中間にある画素値をfus3(x、y)とする。
【0135】
上述のような方法(2)或いは方法(3)を用いて得られる低周波画像fus3(x、y)は、エッジ構造を保存するものであり、この低周波画像fus3(x、y)を用いて得られた第2の高周波成分h2(x、y)は、オーバーシュートのもとになる成分がでにくいものである。また、オーバーシュートが生じやすい領域のみに対して、モーフォロジカル・フィルタ或いは中間値フィルタを用いて取得した低周波画像fus3(x、y)を生成することで、対象画像全体に対してモーフォロジカル・フィルタ或いは中間値フィルタを施すように構成した場合よりも、処理時間の短縮を図ることができる。
【0136】
ステップS302:
処理後画像作成回路116は、
【0137】
【数20】
Figure 0004612774
【0138】
なる式(30)〜式(32)により、処理後画像fd(x、y)を取得する。
【0139】
上記式(30)〜式(32)において、“h1(x、y)”は、第2の高周波成分作成回路114によりダイナミックレンジ圧縮された後の第1の高周波成分(第2の高周波成分)である。また、上記式(30)及び(31)は、鮮鋭化処理を示し、上記式(32)は、ダイナミックレンジの圧縮処理を示す。また、上記式(32)において、“F2()”は、低周波画像を階調変換する関数を示す。
【0140】
ステップS207:
上述のようにして、画像処理回路111により得られた処理後画像fd(x、y)は、出力回路118により、表示出力或いはフィルム出力等される。
【0141】
上述のように、本実施の形態では、第2の高周波成分として、第1の高周波成分をダイナミックレンジ圧縮した成分を用いるように構成した。つまり、オーバーシュートが生じやすい領域に対応する第1の高周波成分中の所定の低周波成分を圧縮するように構成したため、微細構造の復元性を損なわずにオーバーシュートを抑制することができる。また、第1の高周波成分の圧縮方法として、所定の低周波成分を圧縮すると共に所定の高周波成分を調節可能なダイナミックレンジ圧縮方法を用いる構成としたので、第1の高周波成分を自在に変更でき、もって微細構造の復元性を損なわずにオーバーシュートを抑制可能な第2の高周波成分を得ることができる。さらに、オーバーシュートが生じやすい領域に対してのみ、モーフォロジカルフィルタまたは中間値フィルタ等を用いてダイナミックレンジ圧縮に用いる低周波画像を作成するように構成すると、効果的にオーバーシュートを抑制することができると共に、第1の高周波成分画像全体に対しモーフォロジカルフィルタまたは中間値フィルタ等を用いる場合に比較して処理時間の短縮を図ることができる。
【0142】
また、ダイナミックレンジ圧縮に用いる低周波画像のマスクサイズd2を、d1より小さく設定するように構成することで、オーバーシュートを抑制することができる。
【0143】
また、第1の高周波成分を、オーバーシュートが生じやすい領域において、より高周波領域にかたよった高周波成分(マスクサイズd2を小とした第2の高周波成分)に置き換えるように構成することで、微細構造の復元性を落とすことなくオーバーシュートを抑制できる。
【0144】
尚、本発明の目的は、第1及び第2の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第1及び第2の実施の形態の機能を実現することとなり、そのプログラムコード、及び当該プログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ROM、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第1及び第2の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって第1及び第2の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって第1及び第2の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0145】
【発明の効果】
以上説明したように本発明では、原画像(放射線撮影により得られた画像等)において、第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得し、その第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を第1の高周波成分とするように構成した。具体的には例えば、第2の高周波成分を、オーバーシュート領域に基づいて、オーバーシュートが生じにくい高周波成分として取得し、この第2の高周波成分で、オーバーシュート領域に対応する第1の高周波成分を置換する。これにより、オーバーシュートを抑制した良好な対象画像の処理後画像(表示出力やフィルム出力用の画像等)を提供できる。
【0146】
また、オーバーシュート領域のみに対して、第2の高周波成分を、第1の高周波成分より高周波領域にかたよった高周波成分(第1の高周波成分から所定の低周波成分を低減した高周波成分等)とするように構成した場合、対象画像における微細構造の復元性を落とすことなく、オーバーシュートを抑制することができる。
【0147】
また、第2の高周波成分を、第1の高周波成分をダイナミックレンジ圧縮した成分とするように構成した場合、対象画像における微細構造の復元性を維持した状態で、オーバーシュートを抑制することができる。
また、第1の高周波成分の圧縮として、第1の高周波成分中の所定の低周波成分を圧縮し、所定の高周波成分を調節可能なダイナミックレンジ圧縮を用いるように構成した場合、オーバーシュートを抑制することができると共に、良好な処理後画像を取得することができる。
【0149】
また、第2の高周波成分の取得に用いる平滑化画像を、中間値フィルタ(中間値演算)やモーフォロジカル・フィルタ(モーフォロジ演算)等のオーバーシュートの生じにくいフィルタを用いて取得するように構成した場合、オーバーシュートの抑制された良好な処理後画像を取得することができる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用したX線撮影装置の構成を示すブロック図である。
【図2】上記X線撮影装置の動作を説明するためのフローチャートである。
【図3】第2の実施の形態における、上記X線撮影装置の動作を説明するためのフローチャートである。
【符号の説明】
100 X線撮影装置
101 X線発生回路
102 X線ビーム
103 被写体
104 2次元X線センサ
105 データ収集回路
106 前処理回路
107 CPUバス
108 CPU
109 メインメモリ
110 操作パネル
111 画像処理回路
112 第1の高周波成分作成回路
113 領域検出回路
114 第2の高周波成分作成回路
115 周波数成分置換回路
116 処理後画像作成回路
118 出力回路

Claims (13)

  1. 原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とする手段と、
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と階調変換した後の前記原画像とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする画像処理装置。
  2. 原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とする手段と、
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする画像処理装置。
  3. 原画像から第1の高周波成分を取得する第1の高周波成分取得手段と、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得手段と、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像の低周波成分とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする画像処理装置。
  4. 原画像から第1のフィルタサイズでフィルタ処理して第1の高周波成分を取得する第1の高周波成分取得手段と、
    前記原画像から前記第1のフィルタサイズよりも小さい第2のフィルタサイズでフィルタ処理して第2の高周波成分を取得する第2の高周波成分取得手段と、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし
    前記高周波成分と前記原画像の所定の低周波成分とを加算して処理後の画像を取得する処理後画像取得手段と、を備えることを特徴とする画像処理装置。
  5. 複数の機器が互いに通信可能に接続されてなる画像処理システムであって、
    前記複数の機器のうち少なくとも1つの機器は、請求項1〜4の何れか1項に記載の画像処理装置の機能を有することを特徴とする画像処理システム。
  6. 原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を前記原画像から取得する第2の高周波成分取得ステップと、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とするステップと、
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と階調変換した後の前記原画像とを加算して処理後の画像を取得する処理後画像取得ステップと、を含むことを特徴とする画像処理方法。
  7. 原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を原画像から取得する第2の高周波成分取得ステップと、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とするステップと、
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像とを加算して処理後の画像を取得する処理後画像取得ステップと、を含むことを特徴とする画像処理方法。
  8. 原画像から第1の高周波成分を取得する第1の高周波成分取得ステップと、
    前記第1の高周波成分と比較して低周波帯域の成分が減衰した第2の高周波成分を原画像から取得する第2の高周波成分取得ステップと、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし
    前記高周波成分の大きさを所定の規則で変更した後の高周波成分と前記原画像の低周波成分とを加算して処理後の画像を取得する処理後画像取得ステップと、を備えることを特徴とする画像処理方法。
  9. 原画像から第1のフィルタサイズでフィルタ処理して第1の高周波成分を取得する第1の高周波成分取得ステップと、
    前記原画像から前記第1のフィルタサイズよりも小さい第2のフィルタサイズでフィルタ処理して第2の高周波成分を取得する第2の高周波成分取得ステップと、
    前記第1の高周波成分の大きさに基づいて定められる領域に対応する高周波成分を第2の高周波成分とし、前記領域と異なる領域の高周波成分を前記第1の高周波成分とし、
    前記高周波成分と前記原画像の所定の低周波成分とを加算して処理後の画像を取得する処理後画像取得ステップと、を備えることを特徴とする画像処理方法。
  10. 請求項1〜4の何れか1項に記載の画像処理装置の機能、又は請求項5記載の画像処理システムの機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読取可能な記憶媒体。
  11. 請求項6〜9の何れか1項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記憶媒体。
  12. 請求項1〜4の何れか1項に記載の画像処理装置の機能、又は請求項5記載の画像処理システムの機能をコンピュータに実現させるためのプログラム。
  13. 請求項6〜9の何れか1項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラム。
JP2001034121A 2001-02-09 2001-02-09 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム Expired - Fee Related JP4612774B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001034121A JP4612774B2 (ja) 2001-02-09 2001-02-09 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001034121A JP4612774B2 (ja) 2001-02-09 2001-02-09 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010111916A Division JP2010179154A (ja) 2010-05-14 2010-05-14 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2002237948A JP2002237948A (ja) 2002-08-23
JP4612774B2 true JP4612774B2 (ja) 2011-01-12

Family

ID=18897777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001034121A Expired - Fee Related JP4612774B2 (ja) 2001-02-09 2001-02-09 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Country Status (1)

Country Link
JP (1) JP4612774B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010179154A (ja) * 2010-05-14 2010-08-19 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2012033182A (ja) * 2011-09-21 2012-02-16 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4667072B2 (ja) * 2005-02-25 2011-04-06 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307868A (ja) * 1999-04-23 2000-11-02 Fuji Photo Film Co Ltd 画像処理方法および装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307868A (ja) * 1999-04-23 2000-11-02 Fuji Photo Film Co Ltd 画像処理方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010179154A (ja) * 2010-05-14 2010-08-19 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2012033182A (ja) * 2011-09-21 2012-02-16 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Also Published As

Publication number Publication date
JP2002237948A (ja) 2002-08-23

Similar Documents

Publication Publication Date Title
JP3833177B2 (ja) 画像処理装置、画象処理方法、記憶媒体及びプログラム
US7418122B2 (en) Image processing apparatus and method
JP2018033745A (ja) 画像処理装置、方法およびプログラム
US6678400B1 (en) Image processing apparatus, method and memory medium
JP2006087934A (ja) 画像処理装置及び画像処理方法
JP5284434B2 (ja) X線画像処理装置、x線撮影装置、x線画像処理方法及びプログラム
JP4612774B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4208333B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP4497756B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2005109867A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
JP3937660B2 (ja) 画像処理方法、及び、コンピュータ読み取り可能な記憶媒体
JP4146958B2 (ja) 画像処理方法、画像処理装置及び記憶媒体
JP5539438B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4323708B2 (ja) 画像処理方法、画像処理装置および記録媒体
JP2013215593A (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2010179154A (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP3937616B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JPH0738758A (ja) 放射線画像のダイナミックレンジ圧縮方法
JP4810002B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP3780179B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4669163B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4822607B2 (ja) 画像処理装置、画像処理システム、記憶媒体、プログラム及び画像処理方法
JP2002330953A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4447804B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2008212493A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101016

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees