JP4765391B2 - 画像処理方法および画像処理装置ならびに画像処理プログラム - Google Patents

画像処理方法および画像処理装置ならびに画像処理プログラム Download PDF

Info

Publication number
JP4765391B2
JP4765391B2 JP2005132028A JP2005132028A JP4765391B2 JP 4765391 B2 JP4765391 B2 JP 4765391B2 JP 2005132028 A JP2005132028 A JP 2005132028A JP 2005132028 A JP2005132028 A JP 2005132028A JP 4765391 B2 JP4765391 B2 JP 4765391B2
Authority
JP
Japan
Prior art keywords
image
image processing
weight
processing apparatus
geometric shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005132028A
Other languages
English (en)
Other versions
JP2005341553A (ja
Inventor
千恵子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Medical and Graphic Inc
Original Assignee
Konica Minolta Medical and Graphic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Medical and Graphic Inc filed Critical Konica Minolta Medical and Graphic Inc
Priority to JP2005132028A priority Critical patent/JP4765391B2/ja
Publication of JP2005341553A publication Critical patent/JP2005341553A/ja
Application granted granted Critical
Publication of JP4765391B2 publication Critical patent/JP4765391B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

本発明は放射線画像を処理する際の画像処理方法および画像処理装置ならびに画像処理プログラムに関し、さらに詳しくは、診断等に適した放射線画像を得ることができる画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
近年、放射線画像を直接デジタル画像として撮影できる装置が開発されている。
たとえば、被写体に照射された放射線量を検出し、その検出量に対応して形成される放射線画像を電気信号として得る装置としては、輝尽性蛍光体を用いたディテクタを用いる方法が特開昭55-12429号公報、特開昭63-189853号公報など、多数開示されている。
このような装置では、シート状の基板に輝尽性蛍光体を塗布、あるいは蒸着等によって固着したディテクタに、いったん被写体を透過した放射線を照射して輝尽性蛍光体に放射線を吸収させる。
その後、この輝尽性蛍光体を光または熱エネルギ−で励起することにより、この輝尽性蛍光体が上記吸収によって蓄積している放射線エネルギ−を蛍光として放射させ、この蛍光を光電変換して画像信号を得るようにしている。
一方、照射された放射線の強度に応じた電荷を光導電層に生成し、生成された電荷を二次元的に配列された複数のコンデンサに蓄積し、それら蓄積された電荷を取り出すことにより得られる放射線画像検出装置が提案されている。
このような放射線画像検出装置では、フラットパネルディテクタ(FPD)と呼ばれるものを使用している。この種のFPDは、特開平9-90048号公報に記載されているように、照射された放射線強度に応じた蛍光を発する蛍光体と、蛍光体から発する蛍光を直接または縮小光学系を介して受光して光電変換を行うフォトダイオードやCCDのような光電変換素子の組み合わせによって実現されるものが知られている。
また特開平6-342098号公報に記載されているように、照射された放射を直接電荷に変換するものも知られている。
これらの放射線画像検出装置では、取得した画像に対して、診断に適した画像となるよう、階調変換処理やエッジ強調処理などの画像処理を行うのが一般的である。
なお、このようにして得られた画像データに基づく放射線画像を表示したり出力する場合、撮影条件の変動を受けることなく見やすい放射線画像となるように画像処理が行われている。
なお、従来は、階調決定に必要な人体構造物を決定論的に認識する、または不要な非人体構造物を決定論的に予め認識し除去してから階調処理を行ってきた。また、構造物の周波数帯域や濃度やコントラストに依存した周波数処理を行ってきた。
このため、放射線画像内の構造物を決定論的認識をしてから、画像処理を行うことが、以下の特許文献1、特許文献2などに記載されている。
特開2002-183726号公報(第1頁、図1) 特開2002-183727号公報(第1〜5頁、図1)
しかし、従来の手法では、人体構造物や非人体構造物の認識に失敗した場合や、非人体構造物の境界が不明瞭な場合に、除去不足や除去過剰が発生する。そして、この除去不足や除去過剰により階調処理結果が大きく変動してしまうという問題がある。また、周波数帯域や濃度やコントラストに依存した周波数処理を行うが、人体構造物と非人体構造物で区別せずに処理を行うため、照射野端などの非人体構造物の不要な強調を十分に抑えられないなどの問題があった。
本発明は以上のような課題に鑑みてなされたものであって、画像内の構造物の認識の失敗や境界が不明瞭な場合の影響を少なくし、適切な画像処理条件に基づいて画像処理することが可能な画像処理方法および画像処理装置ならびに画像処理プログラムを実現することを目的とする。
すなわち、前記した課題を解決は、以下に列記する発明により解決される。
求項1記載の発明は、被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理方法であって、前記放射線画像の画像内構造物のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定ステップと、前記幾何学的形状測定ステップにて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定ステップと、前記重み決定ステップで決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定するステップと、決定した階調処理条件に従って階調処理を実行する画像処理ステップと、を有することを特徴とする画像処理方法である。
求項記載の発明は、被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理装置であって、前記放射線画像の画像内構造物のエッジを検出するエッジ検出手段と、前記エッジ検出手段で検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定手段と、前記幾何学的形状測定手段にて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定手段と、前記重み決定手段で決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定する手段と、決定した階調処理条件に従って階調処理を実行する画像処理手段と、を有することを特徴とする画像処理装置である。
請求項3記載の発明は、前記評価関数は、画素ごとの階調処理の信号増幅率を補正関数で補正した値と前記重みとの積について、画像内の画素における総和をとる関数である、ことを特徴とする請求項2記載の画像処理装置である。
請求項4記載の発明は、前記階調処理条件を決定する手段は、前記評価関数が最大となるように階調処理条件を決定する、ことを特徴とする請求項2または3に記載の画像処理装置である。
求項5記載の発明は、前記幾何学的形状は、直線又はである、ことを特徴とする請求項2乃至請求項4のいずれか一項に記載の画像処理装置である。
求項記載の発明は、前記重み決定手段は前記幾何学的形状の度合いが大きいほど、決定する重みを増大させる、ことを特徴とする請求項乃至請求項のいずれかに記載の画像処理装置である。
求項記載の発明は、前記重み決定手段は、2直線間の距離をパラメータに持つ重み付け関数によって重み付けを行う、ことを特徴とする請求項記載の画像処理装置である。
求項記載の発明は、前記重み決定手段は前記幾何学的形状の度合いが大きいほど、決定する重みを減少させる、ことを特徴とする請求項乃至請求項のいずれかに記載の画像処理装置である。
請求項11記載の発明は、前記重み決定手段は、放射線画像の画素毎に重み決定を行う、ことを特徴とする請求項2乃至請求項10のいずれかに記載の画像処理装置である。
請求項記載の発明は、前記重み決定手段は、前記幾何学形状の度合いとエッジ強度との一次結合関数を用いて重み決定を行う、ことを特徴とする請求項2乃至請求項7のいずれかに記載の画像処理装置である。
請求項10記載の発明は、前記重み決定手段は、幾何学的形状の度合いをパラメータに持つガウス関数を用いて重み決定を行う、ことを特徴とする請求項2乃至請求項7のいずれかに記載の画像処理装置である。
請求項12記載の発明は、被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理プログラムであって、前記放射線画像の画像内構造物のエッジを検出するエッジ検出ルーチンと、前記エッジ検出ルーチンで検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定ルーチンと、前記幾何学的形状測定ルーチンにて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定ルーチンと、前記重み決定ルーチンで決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定するルーチンと、決定した階調処理条件に従って階調処理を実行する画像処理ルーチンと、を有することを特徴とする画像処理プログラムである。
すなわち、本願発明によれば、以下に列記する効果が得られる。
以上の発明では、放射線画像の画像内構造物のエッジを検出し、検出されたエッジの幾何学的形状の度合いを測定し、測定された幾何学的形状の度合いに基づいて画像内構造物の重みを決定し、決定された重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定し、決定した階調処理条件に従って階調処理を実行する。
すなわち、画像内構造物のエッジの幾何学的形状について重みを決定して画像処理を実行しているので、これまでの決定論的認識による認識失敗や不明瞭な境界の認識失敗に影響されることがない。
したがって、認識失敗などが無い状態で画像内構造物の認識と、重み決定とが可能となる。この結果、認識の失敗を発生させることなく、また、不明瞭な境界が存在していても、適切な画像処理を行うことができるようになる。
また、以上の発明では直線又は円についての幾何学的形状の度合いの測定を行う。
これにより、直線や円について重みが決定されるようになるため、結果として、矩形や円という形状を有することが多い照射野や金属のエッジについて、適切に認識を行うことが可能になる。
なお、画像内構造物としての非人体構造物は、照射野端、人工骨である。
ここで、幾何学的形状として円・直線を定めることで、画像内構造物としての非人体構造物(照射野端、人工骨)が認識されるようになり、画像内で重要度の低い又は不必要な構造物の認識の失敗に影響されたりせず、境界が不明瞭な場合でも適切に階調処理や周波数処理を行うことができる。
また、以上の発明では幾何学的形状の度合いが大きいほど、決定する重みを増大させるようにしている。
このように、幾何学的度合いが大きいほど増大する重み付けとすることにより、測定された幾何学的形状が処理対象物に関するものである場合に、決定論的認識の失敗をすることなく、境界が不明瞭な場合でも適切に幾何学的形状を認識することが可能である。
また、以上の発明では、測定された複数の幾何学的形状の度合いの関係から重み決定を行うようにしている。このように、複数の幾何学的形状の度合いの関係から重み決定を行うことにより、処理対象物と処理除外対象物について、より正確に認識することが可能になる。
また、以上の発明では、2直線間の距離をパラメータに持つ重み付け関数によって重み付けを行うことにより、認識対象(処理対象物)や処理除外対象物のより正確に認識が可能になる。
また、以上の発明では幾何学的形状の度合いが大きいほど、決定する重みを減少させるようにしている。
このように、幾何学的度合いが大きいほど減少する重み付けとすることにより、測定された幾何学的形状が処理除外対象物に関するものである場合に、決定論的認識の失敗をすることなく、非人体構造物などの重要度の低い構造物を除去することが可能である。
また、以上の発明では、放射線画像の画素毎に重み決定を行うようにしている。これにより、詳細な重み付けが可能になる。たとえば、画素毎に重み付けの小さい画素で周波数処理の強調度を小さくすることが可能となり、ノイズや照射野外などの診断上不要な領域を選択的に弱い強調度を与えることもできる。
また、以上の発明では、重み決定のために用いる関数として、前記幾何学形状の度合いとエッジ強度との一次結合関数を用いるようにしている。この一次結合関数により、エッジの明瞭さが考慮された重み付けとなるため、より一層適切に階調処理や周波数処理を行うことができるようになる。
また、以上の発明では、重み決定のための関数として、幾何学的形状の度合いをパラメータに持つガウス関数を用いて重み決定を行うようにしている。このように、幾何学的形状の度合いをパラメータに持つガウス関数を重み決定のための関数として用いて重み決定を行うことにより、エッジがシャープでない場合でも柔軟に構造物の認識が可能になる。
以下、図面を参照して本発明の実施をするための最良の形態を詳細に説明する。
本発明の実施をするための最良の形態の画像処理方法および画像処理装置ならびに画像処理プログラムの好適な実施の形態について説明する。
なお、これにより本発明が限定されるものではない。
なお、本実施例の形態例の各手段は、ハードウェアやファームウェア、またはソフトウェアで構成することが可能である。このため、画像処理方法の各ステップ,画像処理装置の各手段,画像処理プログラムの各ルーチンの処理手順に沿った機能ブロック図としての図1を示す。
以下、本実施の形態例の構成および動作について、図1のブロック図、図2のフローチャート、および、その他の説明図を参照しつつ詳細に説明する。
なお、図1における各部は、画像形成装置の各部を示すだけでなく、画像処理方法の各ステップ、画像処理プログラムの各ルーチンを示すものでもある。
〈全体構成および処理の流れ〉
(a)全体構成:
放射線発生装置30、放射線画像読取器40、画像処理装置100が、図1に示されるように構成されている。
また、画像処理装置100内部には、各部を制御する制御部101、操作の入力がなされる操作入力部102、画像データを生成する画像データ生成部110、画像内構造物のエッジ検出を行うエッジ検出手段としてのエッジ検出部120、エッジの幾何学的形状の度合いを測定する幾何学的形状測定手段としての幾何学的形状測定部130、測定された幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定手段としての重み決定部140、決定された重みに応じたパラメータを決定するパラメータ決定手段としてのパラメータ決定部150、決定されたパラメータにより画像処理を実行する画像処理手段としての画像処理部160が、図1に示すように構成される。
(b)処理の流れ:・制御部101は放射線画像撮影・読み取り、画像データ生成、エッジ検出、幾何学的形状測定、重み決定、および、画像処理のパラメータ決定に伴う各種処理についての制御を行う。
・放射線発生装置30からの放射線は被写体5を透過し、この被写体5を透過した放射線は放射線画像読取器40により読み取られる。
・放射線画像読取器40により読み取られた信号は、画像データ生成部110で放射線画像を表す画像データに変換される(図2S1)。
・エッジ検出部120は、記放射線画像の画像内構造物のエッジを検出する(図2S2)。
・幾何学的形状測定部130は、検出されたエッジの幾何学的形状の度合いを測定する(図2S3)。
・重み決定部140は、測定された幾何学的形状の度合いに基づいて画像内構造物の重みを決定する(図2S4)。
・パラメータ決定部150は、画像内構造物について決定された重みに基づいて、画像処理のパラメータ(画像処理条件)を決定する(図2S5)。
・画像処理部160は、画像データ生成部110からの画像データについて、パラメータ決定部150で決定されたパラメータに従って画像処理を実行する(図2S6)。
〈各手段、各ステップの詳細内容〉
(1)各部の動作・制御:
制御部101では、まず、撮影部位または撮影方向等の情報をユーザインターフェースなどから取得する。これらの情報は、ユーザが撮影部位等を特定することで行う。
例えば、表示部とタッチパネルとを兼ね備えた当該画像処理装置のユーザインタフェースである操作入力部102から、撮影部位が表示されたボタンを押すこと等により入力される。
そのほか、磁気カード、バーコード、HIS(病院内情報システム:ネットワークによる情報管理)等を利用しても行われる。
(2)放射線画像入力:
放射線発生器30は制御部101によって制御されており、放射線発生器30から放射された放射線は、被写体5を通して放射線画像読取器40の前面に装着されている撮像パネルに照射される。そして、放射線画像読取器40では、被写体5を透過した放射線を検知して、画像信号として取得する。
具体的な構成例としては、輝尽性蛍光体プレートを用いたものとして、特開平11-142998号公報や特開2002-156716号公報に記載されたものがある。また、フラットパネルディテクタ(FPD)を入力装置として用いるものには、特開平6-342098号公報に記載された、検出したX線を直接電荷に変換し、画像信号として取得するものや、特開平9-90048号公報に記載された、検出したX線を一旦光に変換した後、その光を受光して電荷に変換する、間接方式のものがある。
なお、放射線画像読取器40は、放射線画像を記録した銀塩フィルムにレーザ、蛍光灯等の光源からの光を照射し、この銀塩フィルムの透過光を光電変換して画像データを生成してもよい。また、放射線量子計数型検出器を用いて放射線エネルギーを直接電気信号に変換して画像データを生成する構成であってもよい。
被写体5の放射線画像を得る際には、放射線発生器30と放射線画像読取器40の撮像パネルの間に被写体5が位置するものとされて、放射線発生器30から放射された放射線が被写体5に照射されると共に、被写体5を透過した放射線が撮像パネルに入射される。
(3)エッジ検出:
ここで、エッジ検出部130は、放射線画像の画像内構造物のエッジを検出する。
エッジの検出には、ラプラシアンフィルタや差分フィルタを用いることができる。差分フィルタには、Sobelフィルタ、Prewittフィルタ、Robertsフィルタなどがあり、それぞれエッジ検出に有用である。
このエッジの検出には上記のフィルタの他にウェーブレットやガウス-ラプラシアンフィルタのような多重解像度を利用することもできる。
この部分に関しては、「ウェーブレット解析の基礎理論」、新井康平著、森北出版株式会社、p80、2000年出版を参照することができる。
なお、これらがエッジ検出に有効であることは、周知の通りである。例えば、ラプラシアンフィルタを使用した場合、濃度勾配を持つ部分の抽出が可能である。特に照射野端や人工骨などの勾配差が大きいところを抽出することができる。微分フィルタにおいても同様の効果が得られ、さらにエッジの方向を考慮することが可能である。さらにこれらのエッジ検出方法を組み合わせることによって、より有効にエッジを検出することが可能であるが、これらの組み合わせでは、各々で独立にエッジ検出を行う必要が生じる。
そこで、エッジ抽出としては、3チャンネルフィルタバンクを用いることでより効率的にエッジの検出が可能となる。この3チャンネルフィルタバンクとは、ディジタルデータに対してフィルタ処理を行うフィルタ処理手段であり、3チャンネルフィルタバンクの形式に構成されており、異なる特性の複数のフィルタによりディジタルデータの分解を行う分解フィルタ部、および、前記分解フィルタ部の分解出力のそれぞれをダウンサンプリングするダウンサンプリング部、並びに、前記ダウンサンプリング部の出力を受けて前記分解されたディジタルデータを再構成する再構成フィルタ部を有する構成であり、前記分解フィルタ部は、ラプラシアンフィルタ及び差分(Sobel)フィルタ並びに単純平均フィルタで構成されている、ものを指している。
以上のようにしてフィルタ処理などで得られた信号に対して、次のような処理を行うことでエッジ検出ができる。
(3a)マルチスケールエッジ:
すべてのフィルタ種、解像度、方向のエッジ成分を加算する。このようにすることでスケールや方向、エッジの種類をすべて考慮したエッジ画像を作成することができる。
(3b)最小エッジ:
各解像度で対応する各画素における最小のエッジをエッジ画素の値とする。このようにすることで、最も確実な(少なくともこの値程度のエッジは存在すると仮定してよい)値を設定することができる。
(3c)最大エッジ:
各解像度で対応する各画素における最大のエッジをエッジ画像の値とする。このようにすることで、エッジとして存在する可能性の最大値を設定することができる。
(3d)線形増加/減少エッジ:
ラプラシアンフィルタの処理でほぼ0を取り、Sobelフィルタの処理で0以外の値をとるエッジを抽出する。このようなエッジを抽出することで、線形に増加あるいは減少する領域のみを抽出することができる。
以上のように、3チャンネルフィルタバンクを使用することで、3種類のフィルタ処理を同時に行うことが可能であり、それらの組み合わせによるエッジの利用も容易である。
(4)幾何学的形状測定:
ここで、幾何学的形状測定部130は、以上のエッジ検出部130で検出されたエッジについて、幾何学的形状の度合いを測定する。
ここでは、マルチスケールエッジを用いた直線度の検出を例に取り説明する。
図3(a)は元となる放射線画像、図3(b)は放射線画像をフィルタ処理してエッジ検出したマルチスケールエッジ画像である。
この図3(b)から分かるように、診断上重要な被写体(下肢)のエッジ以外に、照射野端エッジや人工骨によるエッジも検出されてしまっている。
しかし、照射野端や人工骨などの非人体構造物のエッジは高い直線性や円形性を持っているため、これら高い直線性や円形性を持つエッジについて検出し、例えば直線性や円形性を持つほど高い重みを置くことで非人体構造物の認識が行えるし、低い重みをおくことで非人体構造物のエッジを減弱させ不要なエッジを抑えることが可能になる。
マルチスケールエッジ画像についてハフ変換を用いてパラメータ空間に変換する。例えば、12ビット階調の画像では、エッジの最大値と最小値の間の50%以上のエッジについてハフ変換によるパラメータ空間への変換を行う。ここで、50%の値とすることで、階調処理や周波数処理へ悪影響を及ぼすような照射野端や人工骨などのエッジを中心に取り出すことが可能となり、画像処理にを行う上で重要な人体エッジなどは避けることが可能になる。
このパラメータ空間での投票数がある閾値以上である直線を逆ハフ変換によって求めることができる。この点に関しては、「画像認識の基礎[II]-特徴抽出、エッジ検出、テクスチャー解析-」、森俊二・板倉栂子著、オーム社、1990年を参照することができる。
なお、パラメータ空間での投票数は、直線や円の連結度を示しており、この連結度は、画像によって調整できることが望ましい。この連結度の検出を実際に取得された画像をサンプリングピッチ1.4mmで間引いた画像から行っている場合、撮影されるカセッテサイズが半切サイズなど大きい下腿骨などでは、直線の連結度の閾値を50程度に、撮影されるカセッテが六切サイズなど小さい新生児などでは20程度に閾値が設定されることが望ましい。また、聴器などの円形照射野を用いる場合は、六切カセッテを用いられることが多く連結度は30程度が望ましい。このとき、検出される直線や円は複数あり、複数の直線が通る点が存在する。これは、実際のエッジ部はある程度なだらかな勾配となっているためである。この勾配が常に一定でないために、これまでのその部分を除去する手法では誤認識や完全に除去しきれない場合へとつながっていた。
(5)重み決定:
ここで、重み決定部140は、測定された幾何学的形状の度合いに基づいて画像内構造物の重みを決定する。
以上の連結度はそのまま重みづけを行うための点数として用いることが可能であるが、ここでは、各画素を直線が通るごとに点数を加算することによって、画素の直線への関与度合いについて重みをつける例についてより詳しく説明する。
この重みはエッジの勾配を考慮した直線への関与の度合いとなり、ここでは減弱する重み付けとすることで非人体構造物の重みを勾配の状態を加味しながら下げることが可能になる。また、加算点数をパラメータとして持つ関数によって重み付けを決定することが可能である。
図4に減弱する重み付け関数を示す。ここで、連結による加算点数が高く成るに従って急激に重みが減少する。図4では、連結による加算点数が画像の長手方向の画素数と同じ場合に、重みは−1.0となっている。
また、この重みにエッジの強度をかけることにより、エッジの強度を考慮することも可能である。ここで、エッジの強度とは、マルチスケールエッジの結果である。
また、重み決定のために用いる関数として、エッジ強度との一次結合関数を用いることで、直線への関与度合いだけでなく、エッジの強さに合わせた重み付けを行うことが可能になる。たとえば、照射野端のエッジを抑えたいという要望の場合、エッジ強度が強い場合の方が画像処理への影響が大きいが、このように重み付けを行うことでエッジ強度に合わせて重み付けし除去することが可能となる。
なお、エッジ強度以外の他の条件との一次結合関数により重みを決定することも可能である。
さらに、図5に示すように、加算点数の大きいほど、特に直線への関与が大きいとして、加算点数が大きくなるに従って急激に重みを高くすることもできる。この場合、上記のエッジ検出閾値を50%以下のエッジとすることで、上記の例とは逆に人体構造物エッジを抽出することが可能となり、例えば、下腿骨などで骨部の抽出に用いることが可能となる。
図5では、連結による加算点数が画像の長手方向の画素数と同じ場合重みは1.0となっている。また、αは検出された連結による加算点数の例を表している。
また、幾何学的形状の度合い、たとえば、直線度合いは、各画素に対して行うことができ、図3(c)に減弱する重み付け方法で重み付けした画像を示す。この図3(c)では各画素が黒いほど重みが増加しており、画素が白くなっているほど重みが減少していることを示している。すなわち、照射野端の重みが低くなっていることがわかる。
ハフ変換では、同様の方法で円の検出も可能であり、頭部画像などに用いられることがある円形照射野にも対応可能である。また、ハフ変換は任意の図形の検出も可能であるため、パラメータ空間の設定により、防護具などのエッジの検出をすることもできる。
さらに、図11に示すように、幾何学的形状の度合いの関係から重みを決定することも可能である。なお、ここで、複数の幾何学的形状の度合いの関係から重み決定を行う事が可能である。
たとえば、下腿骨画像などにおいては、処理除外対象物である直線性の強い金属などは骨の中にあり、距離の近い、ほぼ平行な2直線として検出される。また、照射野端エッジは処理対象物である人体よりも外側にあるため、距離の離れたほぼ平行な2直線として検出される。
これに対し、認識対象や処理対象物である骨部は、これらの中間程度の距離を持つほぼ平行な2直線として認識される。そこで、直線形状の重み付けに加算して、あるいは、乗算して、図11に示すような、2直線間の距離をパラメータに持つ重み付け関数によって重み付けを行うことにより、認識対象(処理対象物)や処理除外対象物のより正確に認識が可能になる。なお、この場合の骨部領域は、骨の太さによって異なるが、画素サイズ1.4mmピッチの場合に、10画素〜50画素程度と設定することが好ましい。
さらに、放射線画像において、エッジ部は他の領域と比較して急峻にではあるが少量の幅を有している。これら少量の幅についても幾何学的構造であると判断させるために、たとえば、ハフ変換によって認識された形状に含まれる画素を中心として、ガウス関数によって重み付けを行う。このとき、ガウス関数のピークは幾何学的形状の度合いによって決定される。このように、幾何学的形状の度合いをパラメータに持つガウス関数を重み決定のための関数として用いて重み決定を行うことにより、エッジがシャープでない場合でも柔軟に構造物の認識が可能になる。
以上説明してきたように、幾何学的形状の度合いについて、重み付けを行うことで、これまでの決定論的認識による認識失敗や不明瞭な境界の認識失敗に影響されること無く構造物の認識が可能となる。
また、このような重みを用いることで適切に階調処理や周波数処理を行うことが可能になる。例えば階調処理では、間引き画像に対して本発明における重み付けを使用し、重みに従って階調処理を行うことで、照射野端エッジや人工骨エッジに影響されることなく適切に処理を行うことができる。また、原画像において本発明における重み付けを使用することで、照射野端エッジや人工骨エッジへの不要な強調を避けることが可能である。
(6)パラメータ決定および画像処理:
ここで、パラメータ決定部150は、画像内構造物について決定された重みに基づいて、画像処理のパラメータ(画像処理条件)を決定する。そして、画像処理部160は、画像データ生成部110からの画像データについて、パラメータ決定部150で決定されたパラメータに従って画像処理を実行する。ここで、画像処理としては、階調処理もしくは周波数処理の少なくとも一方が実行される。以下、パラメータ決定部150でのパラメータの決定について説明する。
(6-1)階調処理:
前述のように重みの決定が行われると、次の評価関数を用いた階調処理条件の決定に用いられる。
この階調処理では、以下の評価関数を用いて階調処理条件の決定がなされる。
ここで特徴量評価関数は、LUTのシフト値S、回転量Gをパラメータとして次のように設定される。
ここで、f(x)は信号増幅率を補正するための関数、W(i,j)はxijの重みを表す。
具体的には、f(x)は、たとえば、f(x)=x−1、但しx≧1の場合。
f(x)=−(1/x−1)、但し1>x>−1の場合。
f(x)=−C、但しx=0の場合。
である。
ここで、Cは、信号が0に変換される際の増幅率とする。このような補正関数(増幅率補正関数、図6参照)を通すことで、増幅率が高い、あるいは、低いものを重点的に加点あるいは減点して評価することができる。s,g値の決定は、このEI(s,g)が最大になる値として決定される。
図6は増幅率補正関数の特性を示す一例であり、横軸は信号増幅率、縦軸は補正後の得点を対数(log)で示しており、縦軸は増幅率を示している。
このようにすることで、画像内の重みの高い画素を最も効果的にLUTにより増幅されるように変換することができる。なお、以上の各式におけるΔは、3〜5程度にとることが望ましい。
(6-2)周波数処理:
ここで、周波数処理としては、以下のイコライゼーション処理と周波数強調処理とが含まれる。
(6-2-1)イコライゼーション処理:
イコライゼーション処理とは、画像のダイナミックレンジを圧縮することで画像内のすべての領域を可視範囲に収めることを可能とする処理である。このイコライゼーション処理の特徴として、強くこの処理をかけると画像全体のコントラストが失われる傾向があるため、適切にダイナミックレンジを圧縮することが望ましい。
この適切なダイナミックレンジ圧縮を行うには、まず、重み付きヒストグラムH(x)を生成する。ここで、xは画像のダイナミックレンジの範囲を値にとる変数であり、12ビット画像であれば、4095≧x≧0となる。このH(x)は、
で定義される。ただし、ここでΣは画像全体を走査し、画素値がxであるときのみ和をとるものとする。
ここで、D(x)は重み付きヒストグラム補正関数であり、たとえば、図7のようにすることで、全体的にイコライゼーション処理としては高信号値の重みを高くするなどの調整ができ、たとえば、皮膚などの描写を重視する際に有効である。
このようなH(x)を考えることで、重みとその画素の個数の両方を加味した評価を行うことができる。
次に、このH(x)を評価する。
評価はこのH(x)の値が所定のしきい値よりも大きな値をとる画素は重要な情報を多く含む画素値であるとして、この値をとる画素値に対してのみ行われる。
しきい値を超えた画素値xは、階調処理条件として決定したLUTに対して、A(s,g)(x)により増幅率を計算する。このA(s,g)(xij)が所定のしきい値より小さくなる画素が存在する場合には、イコライゼーション処理の度合いを決定するパラメータを強める方向に変更し、イコライゼーション処理の画像に再び同じ評価を行う。この操作をしきい値以下の画素値が無くなるまで、あるいは、あらかじめ定めたパラメータの条件値まで繰り返すことで適切なイコライゼーション処理を行うことが可能になる。
(6-2-2)周波数強調処理:
周波数強調処理は画像の高周波成分を強調することにより行われ、画像の鮮鋭度を向上させることが可能となる。しかし、一方で必要以上に処理を施した場合、画像の粒状を悪化させる問題があった。この周波数強調処理を重み付き画像により次のように処理する。すなわち、図8のグラフから算出される強調補正係数を、周波数処理の強調度を表す係数にかける。
これにより画素毎に重み付けの小さい画素で周波数処理の強調度を小さくすることが可能となり、ノイズや照射野外などの診断上不要な領域を選択的に弱い強調度を与えることもできる。
また、この強調補正係数は図9のように重要度の低い画素で負の値を取ることで、その画素値を減弱するようにしてもよい。
(7)表示、出力:
以上のようにしてパラメータ決定部150で決定されたパラメータに基づいて、画像処理部160で画像データについて画像処理が実行され、処理済みの画像データが得られる。
この処理済みの画像データについて画像表示部160に画像表示する必要があれば、画像処理済みの放射線画像を表示する際に、エッジについての幾何学形状の度合い、与えられた重み、操作入力部102から入力される調整指示値、パラメータ決定部150でのパラメータ決定により得られたパラメータ、のいずれかを放射線画像上に重畳した状態で表示する。ここでは、放射線画像の表示に対して、少なくとも、パラメータを重畳させて画像表示することが望ましい。
このようにすることで、どのようなエッジ検出がなされ、また、どのような幾何学的形状測定がなされ、また、どのような重みが与えられて、また、どのようなパラメータが与えられて画像処理がなされたかが明瞭になる。
さらに、複数種類の重み付けを並行して実行し、これら複数の重み付けのパラメータのそれぞれに従い画像処理を実行しておき、複数のパラメータのそれぞれで実行された放射線画像を順次表示することも可能である。
また、エッジ、幾何学的形状の度合い、重み、パラメータの対応関係を、画像処理済みの放射線画像と共に表示し、対応関係および画像処理済みの放射線画像が複数存在している場合には、画像処理済みの放射線画像とエッジ・幾何学的形状の度合い・重み・パラメータの対応関係を、順次表示するようにしてもよい。
そして、以上の各処理が完了した後、制御部101の制御に基づいて、インタフェースなどを介して、処理済み画像データを装置外部に出力する。
(8)パラメータの調整:
上記のように構成された画像処理は、操作入力部102からの調整指示値による調整が可能である。画像処理内容を決定するパラメータは、一般的には、各種関数の係数や各要素の重みなどが含まれ、その指標が直感的に理解しやすいものとは限らない。そのため、画像処理内容を調整する際もそのパラメータの意味を理解していない場合は、適切な調整が行えない。
そこで、この問題は次のように直感的に理解できる調整指示値を用意し、それらを、以上の処理で検出するエッジ、幾何学的形状、重み、パラメータなどを調整する手続きを有することで、回避が可能である。
(8-1)調整指示値入力:
画像処理のパラメータを調整するための調整指示値は、可能である限り0〜9までの値というように正規化されることが望ましい。このようにすることで調整者は設定値がパラメータの許容範囲のどの程度の値を入力したかを明確に判断することができる。
(8-1-a)照射野形状:
調整指示値を、「1.円形」、「2.四角形」、「3.六角形」、「4.その他の多角形」、などと照射野形状について、あらかじめ、画像処理のパラメータとは異なる尺度に基づいて予め定められた指示値として設定しておく。そして、設定された指示値に応じてハフ変換により検出する図形の形状を変更する。
(8-1-b)照射野広さ:
調整指示値を、「0」〜「9」などと正規化された数値で、照射野広さについて、あらかじめ、画像処理のパラメータとは異なる尺度に基づいて予め定められた調整指示値として設定しておく。
(8-1-c)画像中央重要度:
調整指示値を、「0」〜「9」などと正規化された数値で、画像中央重要度について、入力値が大きいほど画像中央度の値を大きくして中央の画素ほど重要(重みを増大)と判断する。
(8-1-6d)特定領域重要度:
調整指示値を、「1.画像右端側」、「2.画像左端側」、「3.画像上端側」、「4.画像下端側」、「5.その他の領域」、などとして、画像特定領域重要度について、入力値に応じて画像の指定方向側の重要度を高く(重みを大きく)する。
(8-1-e)画像の高周波成分の重要度:
調整指示値を、「0」〜「9」などと正規化された数値で、この数値が大きいほど、3チャンネルフィルタの高解像度レベルより得られるエッジ領域の重要度を全体的に高く設定する。
(8-1-f)画像粒状抑制重要度:
調整指示値を、「0」〜「9」などと正規化された数値で、この数値が大きいほど周波数処理の強調度を低く(重みを小さく)する。
(8-1-g)画像濃度と指定濃度との差の重要度:
調整指示値を、「0」〜「9」などと正規化された数値で、画像ヒストグラム出現頻度から得られる重みを全体的に高く設定する。
(8-1-h)部位情報:
調整指示値を、「0」〜「9」などと正規化された数値で、入力された部位を示す数値により重要度の重みを変更する。例えば指のような小さい部位であれば画像中央度を中央程高い重みが置かれるように設定し、腹部のように大きな部位で画像全体にほぼ均一な重みがかかるようにする。
(8-2)パラメータ調整:
ここで、画像処理のパラメータは、画像処理部160で画像処理に使用されるパラメータであり、本実施形態では、操作入力部102から入力される調整指示値とは別のパラメータである。
そこで、調整指示値から最終的な画像処理のパラメータが調整されるように予め定めておく。
ここで、画像処理のパラメータは、コントラスト調整パラメータ、階調処理パラメータ、周波数強調処理パラメータ、イコライゼーション処理パラメータ、のうち少なくとも一つを含む1又は複数のパラメータである。
なお、画像処理を実行する際のパラメータは、一般的には関数の係数や各要素の重みなどが含まれる。そこで、パラメータの調整においては、調整指示値からパラメータへのパラメータの調整では、意思決定理論に基づいて調整が実行されることが望ましい。
なお、調整指示値からパラメータへの意思決定理論を用いたパラメータ調整では、ファジィ積分に基づいて調整が実行されることが更に望ましい。このようにファジィ積分を用いることで、複数の調整指示値からの調整、あるいは、複数のパラメータへの調整の際の組み合わせを考慮した調整が可能になる。
そして、このようなパラメータ調整を行うようにしていることで、画像処理内容の詳細を知らない場合であっても、主観的尺度に基づいた簡易な入力操作だけで、実際の画像処理に合致した適切なパラメータによって画像処理することが可能になる。
また、調整指示値の大きさにより調整されるそれぞれのパラメータは、例えば線形に調整されてもよいし、図10に示すように非線形な変換テーブルであってもよい。
さらに、上記例では入力された調整指示値により対応する重み付け候補処理の重みを変更したが、例えばファジィ積分に用いられる測度を変更することで調整することも考えられる。この場合、例えば調整指示値の入力情報として部位情報があるとき、胸部では“高周波成分のエッジ重要度”を含む集合の測度が大きくなるようにファジィ測度を調整する。
以上のように直感的に理解できる調整指示値を用意し、それらを、以上の各処理で検出するエッジ、幾何学的形状、重み、パラメータなどに調整する手続きを有することで、より一層、これまでの決定論的認識による認識失敗や不明瞭な境界の認識失敗に影響されることがなくなり、認識失敗などが無い状態で画像内構造物の認識と、重み決定とが可能となり、不明瞭な境界が存在していても、適切な画像処理を行うことができるようになる。
本発明の一実施の形態例の全体構成を機能的に示す機能ブロック図である。 本発明の一実施の形態例の全体処理の流れを示すフローチャートである。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。 本発明の実施の形態例における処理の様子を示す説明図である。
符号の説明
5 被写体
30 放射線発生装置
40 放射線画像読取器
100 画像処理装置
101 制御部
102 操作入力部
110 画像データ生成部
120 エッジ検出部
130 幾何学的形状測定部
140 重み決定部
150 パラメータ決定部
160 画像処理部

Claims (12)

  1. 被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理方法であって、
    前記放射線画像の画像内構造物のエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップで検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定ステップと、
    前記幾何学的形状測定ステップにて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定ステップと、
    前記重み決定ステップで決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定するステップと、
    決定した階調処理条件に従って階調処理を実行する画像処理ステップと、を有することを特徴とする画像処理方法。
  2. 被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理装置であって、
    前記放射線画像の画像内構造物のエッジを検出するエッジ検出手段と、
    前記エッジ検出手段で検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定手段と、
    前記幾何学的形状測定手段にて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定手段と、
    前記重み決定手段で決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定する手段と、
    決定した階調処理条件に従って階調処理を実行する画像処理手段と、を有することを特徴とする画像処理装置。
  3. 前記評価関数は、画素ごとの階調処理の信号増幅率を補正関数で補正した値と前記重みとの積について、画像内の画素における総和をとる関数である、
    ことを特徴とする請求項2記載の画像処理装置。
  4. 前記階調処理条件を決定する手段は、前記評価関数が最大となるように階調処理条件を決定する、
    ことを特徴とする請求項2または請求項3に記載の画像処理装置。
  5. 前記幾何学的形状は、直線又は円である、
    ことを特徴とする請求項2乃至請求項4のいずれか一項に記載の画像処理装置。
  6. 前記重み決定手段は、前記幾何学的形状の度合いが大きいほど、決定する重みを減少させる、
    ことを特徴とする請求項2乃至請求項5のいずれかに記載の画像処理装置。
  7. 前記重み決定手段は、前記幾何学的形状の度合いが大きいほど、決定する重みを増大させる、
    ことを特徴とする請求項2乃至請求項5のいずれかに記載の画像処理装置。
  8. 前記重み決定手段は、2直線間の距離をパラメータに持つ重み付け関数によって重み付けを行う、
    ことを特徴とする請求項記載の画像処理装置。
  9. 前記重み決定手段は、前記幾何学形状の度合いとエッジ強度との一次結合関数を用いて重み決定を行う、
    ことを特徴とする請求項2乃至請求項7のいずれかに記載の画像処理装置。
  10. 前記重み決定手段は、幾何学的形状の度合いをパラメータに持つガウス関数を用いて重み決定を行う、
    ことを特徴とする請求項2乃至請求項7のいずれかに記載の画像処理装置。
  11. 前記重み決定手段は、放射線画像の画素毎に重み決定を行う、
    ことを特徴とする請求項2乃至請求項10のいずれかに記載の画像処理装置。
  12. 被写体を透過した放射線の照射線量に応じた信号を有する放射線画像に対し、診断に適した画像を得るための階調処理を行う画像処理プログラムであって、
    前記放射線画像の画像内構造物のエッジを検出するエッジ検出ルーチンと、
    前記エッジ検出ルーチンで検出された前記エッジの幾何学的形状の度合いを測定する幾何学的形状測定ルーチンと、
    前記幾何学的形状測定ルーチンにて測定された前記幾何学的形状の度合いに基づいて画像内構造物の重みを決定する重み決定ルーチンと、
    前記重み決定ルーチンで決定された前記重みに基づいて画素ごとに定まる値について、画像内の画素における総和をとる評価関数を用いて階調処理条件を決定するルーチンと、
    決定した階調処理条件に従って階調処理を実行する画像処理ルーチンと、を有することを特徴とする画像処理プログラム。
JP2005132028A 2004-04-28 2005-04-28 画像処理方法および画像処理装置ならびに画像処理プログラム Expired - Fee Related JP4765391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005132028A JP4765391B2 (ja) 2004-04-28 2005-04-28 画像処理方法および画像処理装置ならびに画像処理プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004133769 2004-04-28
JP2004133769 2004-04-28
JP2005132028A JP4765391B2 (ja) 2004-04-28 2005-04-28 画像処理方法および画像処理装置ならびに画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2005341553A JP2005341553A (ja) 2005-12-08
JP4765391B2 true JP4765391B2 (ja) 2011-09-07

Family

ID=35494549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005132028A Expired - Fee Related JP4765391B2 (ja) 2004-04-28 2005-04-28 画像処理方法および画像処理装置ならびに画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4765391B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129497A1 (ja) * 2005-05-31 2006-12-07 Konica Minolta Medical & Graphic, Inc. 画像処理方法および画像処理装置
JP2008257325A (ja) * 2007-04-02 2008-10-23 Toshiba Corp 文字読取装置及び文字読取プログラム
RU2522924C2 (ru) * 2012-04-20 2014-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" Способ обработки сигналов для обнаружения прямолинейных границ объектов, наблюдаемых на изображении
KR102487533B1 (ko) * 2015-06-12 2023-01-13 삼성전자주식회사 엑스선 장치 및 엑스선 촬영 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003024311A (ja) * 2001-07-17 2003-01-28 Hitachi Medical Corp 画像処理装置
JP2003324610A (ja) * 2002-02-27 2003-11-14 Konica Minolta Holdings Inc 画像処理方法および画像変換装置

Also Published As

Publication number Publication date
JP2005341553A (ja) 2005-12-08

Similar Documents

Publication Publication Date Title
JP4413504B2 (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
US7689055B2 (en) Method and apparatus for enhancing image acquired by radiographic system
JP4844560B2 (ja) 画像処理方法および画像処理装置
EP1892953B1 (en) X-Ray image processing system
JP5124363B2 (ja) エネルギーサブトラクション処理装置、方法、およびプログラム
US8483470B2 (en) Radiological image area extracting apparatus, radiological image area extraction program, and radiographic apparatus
JP6678541B2 (ja) 画像処理装置、方法およびプログラム
JP5839710B2 (ja) 解析点設定装置および方法、並びに体動検出装置および方法
JP4765391B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
US20050161617A1 (en) Image processing method, apparatus, and program
JP2009226141A (ja) 画像処理装置および画像処理方法
WO2014136415A1 (ja) 体動検出装置および方法
JP4980552B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
US20050243334A1 (en) Image processing method, image processing apparatus and image processing program
JP4608927B2 (ja) 画像処理方法及び画像処理装置並びに画像処理プログラム
JP5353876B2 (ja) 画像処理装置
JP4650114B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
JP4607476B2 (ja) 放射線画像診断装置および放射線画像診断装置のデータ処理方法
JP4169954B2 (ja) 異常陰影候補の検出方法
JP2007068597A (ja) X線撮影装置
JPH0738758A (ja) 放射線画像のダイナミックレンジ圧縮方法
JP2005021456A (ja) 放射線画像用画像処理装置、方法およびプログラム
JP3731400B2 (ja) 画像処理方法および画像処理装置
JP2929030B2 (ja) デジタル放射線画像の撮影体位判別装置
JP6345178B2 (ja) 放射線画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees