JP6590773B2 - 画像処理装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP6590773B2
JP6590773B2 JP2016175455A JP2016175455A JP6590773B2 JP 6590773 B2 JP6590773 B2 JP 6590773B2 JP 2016175455 A JP2016175455 A JP 2016175455A JP 2016175455 A JP2016175455 A JP 2016175455A JP 6590773 B2 JP6590773 B2 JP 6590773B2
Authority
JP
Japan
Prior art keywords
frequency component
low
image
frequency
radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016175455A
Other languages
English (en)
Other versions
JP2018038646A (ja
Inventor
隆浩 川村
隆浩 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016175455A priority Critical patent/JP6590773B2/ja
Priority to US15/659,623 priority patent/US10475181B2/en
Publication of JP2018038646A publication Critical patent/JP2018038646A/ja
Application granted granted Critical
Publication of JP6590773B2 publication Critical patent/JP6590773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Description

本発明は、2つの放射線画像を重み付け減算して,被写体の特定の構造物を抽出したサブトラクション画像を生成する画像処理装置、方法およびプログラムに関するものである。
従来より、被写体を構成する物質によって透過した放射線の減衰量が異なることを利用して、エネルギー分布が異なる2種類の放射線を被写体に照射して得られた2枚の放射線画像を用いたエネルギーサブトラクション処理が知られている。このエネルギーサブトラクション処理とは、上記のようにして得られた2つの放射線画像の各画素を対応させて、画素間で適当な重み係数を乗算した上で減算(サブトラクト)を行って、特定の構造物を抽出した画像を取得する方法である。このようなエネルギーサブトラクション処理を行うことにより、例えば、胸部を撮影することにより取得した放射線画像から骨部を除去した軟部画像を生成すれば、骨に邪魔されることなく軟部に現れた陰影を観察できる。逆に軟部を除去した骨部画像を生成すれば、軟部に邪魔されることなく、骨部に現れた陰影を観察できる。
このようなエネルギーサブトラクション処理を行うためには、2つの放射線画像を取得する際の放射線のエネルギー分布が異なるように、被写体を撮影すればよい。エネルギーサブトラクション処理を行うための撮影(以下、エネルギーサブトラクション撮影とする)の手法としては、1ショット法および2ショット法が知られている。1ショット法は、放射線を検出して放射線画像を取得するための検出手段を2つ重ね合わせ、被写体を透過した放射線を重ねられた2つの検出手段に同時に照射することによって、2つの検出手段に互いにエネルギー分布が異なる放射線を照射するようにした方法である。2ショット法は、エネルギー分布の異なる2種類の放射線を用いて撮影を2回行う方法である。
このようなエネルギーサブトラクション処理により取得されるサブトラクション画像においては、処理前の放射線画像と比較して放射線の量子ノイズ(以下単にノイズとする)が強調されてS/Nが悪くなる。このため、サブトラクション画像からノイズ成分を低減するための手法が提案されている。例えば、特許文献1においては、エネルギーサブトラクション撮影により取得された2つの放射線画像からサブトラクション画像および2つの放射線画像を加算した加算画像を生成し、サブトラクション画像を平滑化してノイズ成分を低減し、平滑化したサブトラクション画像と加算画像とでサブトラクション処理を行う手法が提案されている。
特開平3−285475号公報
上記1ショット法は、放射線が物質を透過するときに低エネルギー成分が吸収されて、高エネルギー成分が相対的に多い放射線が後段に伝わる現象、すなわちビームハードニングを利用して、2つの検出手段に互いにエネルギー分布が異なる放射線を照射するようにしている。一方、腰椎の撮影、股関節軸位撮影、または肩を含む頸椎側面撮影等の体厚が大きくなる部位を含む撮影を行う場合、被写体によってより多くの低エネルギー成分が吸収される。このため、被写体を透過した直後の放射線においては、高エネルギー成分がより多くなる。これにより、重ねられた2つの検出手段間のビームハードニングの差がわずかなものとなり、照射される放射線のエネルギー差がより小さくなるため、差分画像においてはS/Nがさらに悪化することとなる。したがって、1ショット法によるエネルギーサブトラクション処理は、比較的体厚が薄い胸部の撮影に主に適用され、体厚が厚い部位には適用することが困難であった。
一方、体厚が厚い部位に対してエネルギーサブトラクション処理を行うためには、2ショット法を用いることが考えられる。しかしながら、2ショット法では被写体への被曝量を低減するために、2回目の撮影時には1回目の撮影時よりも被写体に照射される線量を低減している。その結果、2回目の撮影により取得される放射線画像は、線量不足によりノイズが多くなってしまう。
本発明は上記事情に鑑みなされたものであり、エネルギーサブトラクション処理を行う画像処理装置、方法およびプログラムにおいて、被写体への被曝線量を低減し、かつ体厚が厚い部位に対してもノイズが少ないサブトラクション画像を生成できるようにすることを目的とする。
本発明による画像処理装置は、被写体を透過したそれぞれエネルギー分布および線量が互いに異なる放射線により取得された2つの放射線画像を取得する画像取得手段と、
2つの放射線画像のうち、線量が大きい放射線により取得された第1の放射線画像の高周波成分および低周波成分である第1の高周波成分および第1の低周波成分を生成する第1の周波数解析手段と、
2つの放射線画像のうち、線量が小さい放射線により取得された第2の放射線画像の低周波成分である第2の低周波成分を生成する第2の周波数解析手段と、
第1の低周波成分および第2の低周波成分に対して、相対応する画素間で重み付け減算を行うことにより、被写体の特定構造物を抽出したサブトラクション低周波成分を生成するサブトラクション手段と、
サブトラクション低周波成分と第1の高周波成分とを合成して処理済み画像を生成する合成手段とを備えたことを特徴とするものである。
1ショット法の場合、被写体を透過した放射線は重ねられた2つの検出手段に照射される。このため、放射線源から離れた側の検出手段は放射線源に近い側の検出手段よりも照射される線量が小さくなる。また、放射線源から離れた側の検出手段には、放射線源に近い側の検出手段よりも高エネルギー成分が相対的に多い放射線が照射される。したがって、1ショット法において、放射線源に近い側の検出手段により得られる放射線画像と、放射線源から離れた側の検出手段により得られる放射線画像とでは、エネルギーおよび線量が異なるものとなる。一方、2ショット法の場合、一方の撮影において、他方の撮影よりも高エネルギー成分が相対的に多く、かつ線量が少ない放射線を用いることにより、放射線源から発せられる放射線のエネルギーおよび線量を1回目の撮影と2回目の撮影とで異なるものとすることができる。これにより、1回目の撮影により得られる放射線画像と、2回目の撮影により得られる放射線画像とでは、エネルギーおよび線量が異なるものとなる。したがって、本発明においては、2つの放射線画像は、1ショット法および2ショット法のいずれでも取得することができる。
なお、本発明による画像処理装置においては、合成手段は、被写体の体厚に応じて、サブトラクション低周波成分と第1の高周波成分とを重み付けて合成して処理済み画像を生成するものであってもよい。
また、本発明による画像処理装置においては、合成手段は、第1の放射線画像または第2の放射線画像の濃度に応じて、サブトラクション低周波成分と第1の高周波成分とを重み付けて合成して処理済み画像を生成するものであってもよい。
また、本発明による画像処理装置においては、第1の周波数解析手段は、被写体の撮影部位に応じた周波数帯域の第1の高周波成分および第1の低周波成分を生成し、
第2の周波数解析手段は、被写体の撮影部位に応じた周波数帯域の第2の低周波成分を生成するものであってもよい。
本発明による画像処理方法は、被写体を透過したそれぞれエネルギー分布および線量が互いに異なる放射線により取得された2つの放射線画像を取得し、
2つの放射線画像のうち、線量が大きい放射線により取得された第1の放射線画像の高周波成分および低周波成分である第1の高周波成分および第1の低周波成分を生成し、
2つの放射線画像のうち、線量が小さい放射線により取得された第2の放射線画像の低周波成分である第2の低周波成分を生成し、
第1の低周波成分および第2の低周波成分に対して、相対応する画素間で重み付け減算を行うことにより、被写体の特定構造物を抽出したサブトラクション低周波成分を生成し、
サブトラクション低周波成分と第1の高周波成分とを合成して処理済み画像を生成することを特徴とするものである。
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、2つの放射線画像のうち、線量が大きい放射線により取得された第1の放射線画像の第1の高周波成分および第1の低周波成分が生成され、線量が小さい放射線により取得された第2の放射線画像の第2の低周波成分が生成される。そして、第1の低周波成分および第2の低周波成分に対して、相対応する画素間で重み付け減算が行われてサブトラクション低周波成分が生成され、サブトラクション低周波成分と第1の高周波成分とが合成されて処理済み画像が生成される。
ここで、第1の放射線画像は、線量が大きい放射線により取得されたものであるため、ノイズが少ない。このため、第1の放射線画像の高周波成分である第1の高周波成分は、ノイズが目立たず、被写体の細かい構造の情報を含む。また、第1の放射線画像の低周波成分である第1の低周波成分は、被写体の大まかな構造の情報を含む。一方、第2の放射線画像は、線量が小さい放射線により取得されたものであるため、粒状が悪く、ノイズが多く含まれる。しかしながら、ノイズは高周波成分の情報であるため、第2の放射線画像の低周波成分である第2の低周波成分はノイズを含まない、被写体の大まかな構造の情報を含むものとなる。このため、第1の低周波成分および第2の低周波成分には、エネルギー分布が異なる被写体の大まかな構造の情報がそれぞれ含まれる。したがって、サブトラクション低周波成分は、ノイズを含まない、被写体の特定の構造物の大まかな構造の情報を含むものとなる。そして、サブトラクション低周波成分と第1の高周波成分とを合成することにより、体厚が厚い部位であっても、被写体の細かな構造を含み、ノイズが低減され、かつ被写体の特定の構造物が抽出された処理済み画像を生成することができる。また、2ショット法を用いて第2の放射線画像を取得する際に線量を低くしても、処理済み画像のノイズを低減できるため、被写体の被曝量を低減できる。
本発明の第1の実施形態による画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図 本実施形態による画像処理装置の概略構成を示す図 第1および第2の放射線画像を示す図 第1の周波数解析部が行う周波数分解を説明するための図 第1の実施形態において合成部が行う周波数合成を説明するための図 軟部画像および骨部画像を示す図 第1の実施形態において行われる処理を示すフローチャート 第2の実施形態において合成部が行う周波数合成を説明するための図
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による放射線画像撮影システムは、エネルギー分布が異なる2つの放射線画像を撮影し、2つの放射線画像を用いてエネルギーサブトラクション処理を行うためのものであり、撮影装置1と、本実施形態による画像処理装置を内包するコンピュータ2とを備える。
撮影装置1は、第1の放射線検出器5および第2の放射線検出器6に、放射線源であるX線源3から発せられ、被写体Hを透過したX線を、それぞれエネルギーを変えて照射するいわゆる1ショットエネルギーサブトラクションを行うための撮影装置である。撮影時においては、図1に示すように、X線源3に近い側から順に、第1の放射線検出器5、銅板等からなるX線エネルギー変換フィルタ7、および第2の放射線検出器6を配置して、X線源3を駆動させる。なお、第1および第2の放射線検出器5,6とX線エネルギー変換フィルタ7とは密着されている。
これにより、第1の放射線検出器5においては、いわゆる軟線も含む低エネルギーのX線による被写体Hの第1の放射線画像G1が取得される。また、第2の放射線検出器6においては、軟線が除かれた高エネルギーのX線による被写体Hの第2の放射線画像G2が取得される。第1および第2の放射線画像は画像処理装置であるコンピュータ2に入力される。なお、第1の放射線検出器5と第2の放射線検出器6とでは、第1の放射線検出器5の方がX線源3に近い側にあるため、第1の放射線画像G1は第2の放射線画像G2よりも線量が大きいX線により取得される。
第1および第2の放射線検出器5,6は、放射線画像の記録と読み出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(thin film transistor)スイッチをオン・オフさせることによって放射線画像信号が読み出される、いわゆるTFT読出方式のもの、または読取り光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
コンピュータ2には表示部8および入力部9が接続されている。表示部8は、CRT(Cathode Ray Tube)あるいは液晶ディスプレイ等からなり、撮影により取得された放射線画像およびコンピュータ2において行われる処理に必要な各種入力の補助を行う。入力部9は、キーボード、マウスあるいはタッチパネル等からなる。
コンピュータ2には、本実施形態の画像処理プログラムがインストールされている。本実施形態においては、コンピュータは、操作者が直接操作するワークステーションあるいはパソコンでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、DVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
図2は、本実施形態において、コンピュータ2に画像処理プログラムをインストールすることにより実現された画像処理装置の概略構成を示す図である。図2に示すように、画像処理装置は、標準的なコンピュータの構成として、CPU(Central Processing Unit)21、メモリ22およびストレージ23を備えている。
ストレージ23は、ハードディスクまたはSSD(Solid State Drive)等のストレージデバイスからなり、撮影装置1の各部を駆動するためのプログラムおよび画像処理プログラムを含む各種情報が記憶されている。また、撮影により取得された放射線画像も記憶される。
メモリ22には、各種処理をCPU21に実行させるために、ストレージ23に記憶されたプログラム等が一時的に記憶される。画像処理プログラムは、CPU21に実行させる処理として、撮影装置1に撮影を行わせて第1および第2の放射線画像G1,G2を取得する画像取得処理、X線源3に近い側にある第1の放射線検出器5により取得された、すなわち線量が大きいX線により取得された第1の放射線画像G1の高周波成分および低周波成分である第1の高周波成分GH1および第1の低周波成分GL1を生成する第1の周波数解析処理、X線源3から離れた側にある第2の放射線検出器6により取得された、すなわち線量が小さいX線により取得された第2の放射線画像G2の低周波成分である第2の低周波成分GL2を生成する第2の周波数解析処理、第1の低周波成分GL1および第2の低周波成分GL2に対して、相対応する画素間で重み付け減算を行うことにより、被写体Hの特定構造物を抽出したサブトラクション低周波成分GLsubを生成するサブトラクション処理、並びにサブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成して処理済み画像Gsを生成する合成処理を規定している。
そして、CPU21が画像処理プログラムに従いこれらの処理を実行することで、コンピュータ2は、画像取得部31、第1の周波数解析部32、第2の周波数解析部33、サブトラクション処理部34および合成部35として機能する。なお、コンピュータ2は、画像取得処理、第1の周波数解析処理、第2の周波数解析処理、サブトラクション処理および合成処理をそれぞれ行うプロセッサまたは処理回路を備えるものであってもよい。
画像取得部31は、X線源3を駆動して被写体HにX線を照射し、被写体Hを透過したX線を第1および第2の放射線検出器5,6により検出して、第1および第2の放射線画像G1,G2を取得する。なお、画像処理プログラムとは別個のプログラムにより第1および第2の放射線画像G1,G2を取得してストレージ23に保存するようにしてもよい。この場合、画像取得部31は、ストレージ23に保存された第1および第2の放射線画像G1,G2を画像処理のためにストレージ23から読み出すものとなる。なお、被写体Hの胸部を撮影した場合、図3に示すような第1および第2の放射線画像G1,G2が取得される。
第1の周波数解析部32は、第1の放射線画像G1の高周波成分および低周波成分である第1の高周波成分GH1および第1の低周波成分GL1を生成する。このために、第1の周波数解析部32は、第1の放射線画像G1を周波数分解して、第1の放射線画像G1についての、複数の周波数帯域毎の周波数成分を表す複数の帯域画像を生成する。図4は第1の周波数解析部32が行う周波数分解を説明するための図である。まず、第1の周波数解析部32は、第1の放射線画像G1に対して、例えばσ=1のガウシアンフィルタによりフィルタリング処理を行って、第1の放射線画像G1を1/2に縮小してガウシアン成分である縮小画像G1−1を生成する。縮小画像G1−1は第1の放射線画像G1を1/2に縮小したものとなる。なお、以降の説明において、第1の放射線画像G1を便宜上第1の放射線画像G1−0と称する場合があるものとする。次いで、第1の周波数解析部32は、例えば3次Bスプライン補間等の補間演算を行って、縮小画像G1−1を第1の放射線画像G1と同一サイズとなるように2倍に拡大し、拡大した縮小画像G1−1を第1の放射線画像G1から減算して、最高周波数帯域のラプラシアン成分である帯域画像F1−0を生成する。なお、本実施形態では、最高周波数帯域を便宜上第0の周波数帯域と称する。
次いで、第1の周波数解析部32は、縮小画像G1−1に対してσ=1のガウシアンフィルタによりフィルタリング処理を行って、縮小画像G1−1を1/2に縮小して縮小画像G1−2を生成し、縮小画像G1−2を縮小画像G1−1と同一サイズとなるように2倍に拡大し、拡大した縮小画像G1−2を縮小画像G1−1から減算して、第1の周波数帯域の帯域画像F1−1を生成する。さらに、所望とする周波数帯域の帯域画像が生成されるまで上記の処理を繰り返すことにより、複数の周波数帯域の帯域画像F1−k(k=0〜a:aは帯域の数)を生成する。なお、これにより、最低周波数の縮小画像G1−(a+1)も生成される。
ここで、縮小画像の各画素の信号値はその画素の濃度を表し、帯域画像F1−kの各画素の信号値は、その画素におけるその周波数帯域の周波数成分の大きさを表すものとなる。なお、ウェーブレット変換等の他の多重解像度変換の手法を用いることにより、周波数帯域が異なる複数の帯域画像F1−kを生成してもよい。
第1の周波数解析部32は、最高周波数帯域から予め定められた周波数帯域までの帯域画像を第1の高周波成分GH1として生成する。本実施形態においては、第1の周波数解析部32は、被写体Hの撮影部位に応じた周波数帯域の第1の高周波成分GH1を生成する。例えば、胸部が撮影部位の場合、最大の関心領域は肺血管である。このため、胸部が撮影部位の場合、最高周波数帯域から肺血管の情報を含む周波数帯域までの帯域画像を第1の高周波成分GH1として生成する。また、撮影部位が腰椎または股関節軸位である場合、肺血管よりも大きい構造物である関節等の骨の部分が最大の関心領域となるため、最高周波数帯域から肺血管よりも低い周波数帯域までの帯域画像を第1の高周波成分GH1として生成する。なお、撮影部位と第1の高周波成分GH1として生成する周波数帯域との関係は、予め生成されてストレージ23に保存されている。第1の周波数解析部32は、入力部9から入力された撮影部位の情報に基づいて、ストレージ23に保存された関係を参照して、生成する帯域画像の周波数帯域を決定して、第1の高周波成分GH1を生成する。
一方、第1の周波数解析部32は、第1の高周波成分GH1に含まれる最も低い周波数帯域の帯域画像を生成する際に使用した縮小画像を、第1の低周波成分GL1として生成する。例えば、第1の高周波成分GH1として、第2の周波数帯域までの帯域画像F1−2を生成した場合、第1の低周波成分GL1は縮小画像G1−3となる。
なお、第1の周波数解析部32においては、複数の周波数帯域の帯域画像および縮小画像を生成し、撮影部位に応じた周波数帯域までの帯域画像を、複数の周波数帯域の帯域画像から選択して第1の高周波成分GH1としてもよい。この場合、第1の高周波成分GH1に含まれる最も低い周波数帯域の帯域画像を生成する際に使用した縮小画像を第1の低周波成分GL1として選択すればよい。
第2の周波数解析部33は、第2の放射線検出器6により取得された第2の放射線画像G2の低周波成分である第2の低周波成分GL2を生成する。なお、第2の周波数解析部33は、第1の周波数解析部32と同様に、撮影部位に応じて決定された、最高周波数帯域から予め定められた周波数帯域までの帯域画像を第2の高周波成分GH2として生成する。なお、第2の高周波成分GH2は、第1の高周波成分GH1と同一の周波数帯域までの帯域画像となる。そして、第2の周波数解析部33は、第2の高周波成分GH2に含まれる最も低い周波数帯域の帯域画像を生成する際に使用した縮小画像を第2の低周波成分GL2として生成する。なお、第1の低周波成分GL1と第2の低周波成分GL2とは同一の周波数帯域の縮小画像となる。例えば、第1の低周波成分GL1が縮小画像G1−3である場合、第2の低周波成分GL2は縮小画像G2−3となる。
なお、第2の周波数解析部33においては、複数の周波数帯域の帯域画像および縮小画像を生成し、撮影部位に応じた周波数帯域の縮小画像、すなわち第1の低周波成分GL1と同一の周波数帯域の縮小画像を、第2の高周波成分GH2として選択してもよい。
サブトラクション処理部34は、第1の低周波成分GL1および第2の低周波成分GL2に対して、相対応する画素間で重み付け減算を行うことにより、各低周波成分GL1、GL2に含まれる被写体Hの特定構造物を抽出したサブトラクション低周波成分GLsubを生成する。例えば、第1および第2の放射線画像G1,G2が図3に示すように胸部の放射線画像である場合、第1の低周波成分GL1および第2の低周波成分GL2に対して適切に重み付けをして減算することにより、被写体Hの軟部のみが抽出された低周波成分の軟部画像および骨部のみが抽出された低周波成分の骨部画像を生成する。なお、重み付け減算を行う際の重み係数は、ビームハードニングを考慮して、被写体Hの場所毎に変更するようにしてもよい。以降では、1つのサブトラクション低周波成分GLsubが生成されたものとして説明する。
合成部35は、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成して、被写体Hの特定の構造物が抽出された処理済み画像Gsを生成する。図5はサブトラクション低周波成分GLsubと第1の高周波成分GH1との合成を説明するための図である。本実施形態においては、合成は周波数合成である。なお、本実施形態においては、第2の周波数帯域までの帯域画像F1−0,F1−1,F1−2が第1の高周波成分GH1として生成され、縮小画像G1−3および縮小画像G2−3がそれぞれ第1の低周波成分GL1および第2の低周波成分GL2として生成されたものとする。このため、サブトラクション低周波成分GLsubの周波数帯域は第3の周波数帯域となる。
合成部35は、補間演算によりサブトラクション低周波成分GLsubを2倍に拡大し、2倍に拡大したサブトラクション低周波成分GLsubと第2の周波数帯域の帯域画像F1−2とを加算して合成画像Gs−2を生成する。次いで合成画像Gs−2を2倍に拡大し、2倍に拡大した合成画像Gs−2と第1の周波数帯域の帯域画像F1−1とを加算して合成画像Gs−1を生成する。さらに、合成画像Gs−1を2倍に拡大し、2倍に拡大した合成画像Gs−1と第0の周波数帯域の帯域画像F1−0とを加算して合成画像Gs−0すなわち処理済み画像Gsを生成する。これにより、被写体Hの関心領域が軟部の場合、図6の左側に示すように、被写体Hの軟部のみが抽出された軟部画像が処理済み画像Gsとして生成される。また、被写体Hの関心領域が骨部の場合、図6の右側に示すように、被写体Hの骨部のみが抽出された骨部画像が処理済み画像Gsとして生成される。
次いで、第1の実施形態において行われる処理について説明する。図7は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部31が、第1および第2の放射線検出器5,6から第1および第2の放射線画像G1,G2を取得する(ステップST1)。次いで、第1の周波数解析部32が、第1の放射線画像G1の高周波成分および低周波成分である第1の高周波成分GH1および第1の低周波成分GL1を生成する第1の周波数解析処理を行い(ステップST2)、第2の周波数解析部33が、第2の放射線画像G2の低周波成分である第2の低周波成分GL2を生成する第2の周波数解析処理を行う(ステップST3)。
そして、サブトラクション処理部34が、第1の低周波成分GL1および第2の低周波成分GL2に対して、相対応する画素間で重み付け減算を行うことにより、各低周波数成分GL1、GL2における被写体Hの特定構造物を抽出したサブトラクション低周波成分GLsubを生成する(ステップST4)。次いで、合成部35が、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成して処理済み画像Gsを生成する合成処理を行い(ステップST5)、処理を終了する。
ここで、第1の放射線画像G1は、線量が大きいX線により取得されたものであるため、ノイズが少ない。このため、第1の放射線画像G1の高周波成分である第1の高周波成分GH1は、ノイズが目立たず、被写体Hの細かい構造の情報を含む。また、第1の放射線画像G1の低周波成分である第1の低周波成分GL1は、被写体Hの大まかな構造の情報を含む。一方、第2の放射線画像G2は、線量が小さいX線により取得されたものであるため、粒状が悪く、ノイズが多く含まれる。しかしながら、ノイズは高周波成分の情報であるため、第2の放射線画像G2の低周波成分である第2の低周波成分GL2はノイズを含まない、被写体Hの大まかな構造の情報を含むものとなる。このため、第1の低周波成分GL1とおよび第2の低周波成分GL2には、エネルギー分布が異なる被写体Hの大まかな構造がそれぞれ含まれる。したがって、サブトラクション低周波成分GLsubは、ノイズを含まない、被写体Hの特定の構造物の大まかな構造についてのサブトラクション画像を表すものなる。そして、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成することにより、体厚が厚い部位であっても、被写体Hの細かな構造を含み、ノイズが低減され、かつ被写体Hの特定の構造物が抽出された処理済み画像Gsを生成することができる。また、2ショット法を用いて第2の放射線画像G2の取得する際に線量を低くしても、処理済み画像のノイズを低減できるため、被写体Hの被曝量を低減できる。
また、撮影部位に応じた周波数帯域の第1の高周波成分GH1、第1の低周波成分GL1および第2の低周波成分GL2を生成して処理済み画像Gsを生成しているため、最大の関心領域となる構造の周波数成分を含むように、処理済み画像Gsを生成することができる。したがって、診断対象の構造の診断に適した処理済み画像Gsを生成することができる。
なお、本実施形態による生成される処理済み画像Gsにおいては、例えば軟部画像には軟部の高周波成分のみならず、骨部の高周波成分も含まれる。また、骨部画像には軟部の高周波成分も含まれる。これらの高周波成分は診断にとくに支障を来すものではないが、これらの高周波成分を処理済み画像Gsから除去するようにしてもよい。例えば、上記特許文献1または特開平11−205682号公報に記載された、平滑化処理およびサブトラクション処理を繰り返す手法を用いることにより、軟部画像における骨部の高周波成分または骨部画像における軟部の高周波成分を除去することができる。例えば、軟部の高周波成分を除去する場合、平滑化処理およびサブトラクション処理を繰り返す過程において、平滑化のためのフィルタサイズを徐々に小さくすることにより、骨部をぼかすことなく、軟部の高周波成分を効果的に除去することが可能である。
次いで、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態による画像処理装置の構成は、上記第1の実施形態による画像処理装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第2の実施形態においては、合成部35において、被写体Hの体厚に応じて、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを重み付けて合成して処理済み画像Gsを生成するようにした点が第1の実施形態と異なる。
ここで、被写体Hにおいては、体厚が大きい場所ほどX線吸収量が大きくなるため、第1および第2の放射線画像G1,G2において、S/Nが低下する。逆に、体厚が小さい場所は、X線吸収量が小さいため、第2の放射線画像G2においてもS/Nは良好なものとなる。このため、第2の実施形態においては、被写体Hの体厚に応じて、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを、場所毎に重み係数を変更して重み付けて合成して、処理済み画像Gsを生成するようにしたものである。ここで、被写体Hを透過するX線は体厚が大きいほど小さくなる。第2の実施形態においては、合成部35は、撮影時の線量および第1の放射線画像G1の各画素における画素値に基づいて、被写体H1の体厚を推定する。そして、体厚が大きい場所の画素ほど、第1の高周波成分GH1の重み係数を大きくして、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成する。
図8は第2の実施形態におけるサブトラクション低周波成分GLsubと第1の高周波成分GH1との重み付け合成を説明するための図である。なお、ここでは、サブトラクション低周波成分GLsubへの重み係数をWsub、第1の高周波成分GH1への重み係数をWH1とし、Wsub+WH1=1であるものとする。第2の実施形態においては、合成部35は、補間演算によりサブトラクション低周波成分GLsubを2倍に拡大し、かつ重み係数Wsubを乗算する。そして、2倍に拡大し、かつ重み係数Wsubを乗算したサブトラクション低周波成分GLsubと、重み係数WH1を乗算した第2の周波数帯域の帯域画像F1−2とを加算して合成画像Gs−2を生成する。次いで合成画像Gs−2を2倍に拡大し、2倍に拡大した合成画像Gs−2と第1の周波数帯域の帯域画像F1−1とを加算して合成画像Gs−1を生成する。さらに、合成画像Gs−1を2倍に拡大し、2倍に拡大した合成画像Gs−1と第0の周波数帯域の帯域画像F1−0とを加算して合成画像Gs−0すなわち処理済み画像Gsを生成する。これにより、ノイズがより低減された処理済み画像Gsを生成できる。なお、重み係数WH1を乗算する周波数帯域は、第2の周波数帯域に限定されるものではなく、第1の周波数帯域でも第0の周波数帯域でもよい。
次いで、本発明の第3の実施形態について説明する。なお、本発明の第3の実施形態による画像処理装置の構成は、上記第1の実施形態による画像処理装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第3の実施形態においては、合成部35において、第1の放射線画像G1または第2の放射線画像G2における被写体Hの濃度に応じて、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを場所毎に重み係数を変更して重み付けて合成して処理済み画像Gsを生成するようにした点が第1の実施形態と異なる。
ここで、放射線画像においては、濃度が低いということは、被写体Hにおけるその部分のX線の吸収が大きいということである。このため、放射線画像においては、濃度が低いほどノイズが多くなり、S/Nが低下する。逆に濃度が高いほど、ノイズは目立たなくなり、第2の放射線画像G2においてもノイズが目立たなくなる。このため、第3の実施形態においては、被写体Hの濃度に応じて、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを場所毎に重み係数を変更して重み付けて合成して、処理済み画像Gsを生成するようにしたものである。具体的には、濃度が低い画素ほど、第1の高周波成分GH1の重み係数を大きくして、サブトラクション低周波成分GLsubと第1の高周波成分GH1とを合成するようにしたものである。なお、被写体Hの濃度は第1の放射線画像G1および第2の放射線画像G2のいずれから求めてもよいが、第1の放射線画像G1から求めることが好ましい。
なお、被写体Hの濃度に応じたサブトラクション低周波成分GLsubと第1の高周波成分GH1との合成の処理は、重み係数が被写体Hの濃度に応じて異なる点を除いて、第2の実施形態と同一である。ここで、第3の実施形態において、サブトラクション低周波成分GLsubへの重み係数をWdsub、第1の高周波成分GH1への重み係数をWHd1とし、Wdsub+WHd1=1であるものとする。すなわち、第3の実施形態においては、合成部35は、補間演算によりサブトラクション低周波成分GLsubを2倍に拡大し、かつ重み係数Wdsubを乗算する。そして、2倍に拡大し、かつ重み係数Wdsubを乗算したサブトラクション低周波成分GLsubと、重み係数WHd1を乗算した第2の周波数帯域の帯域画像F1−2とを加算して合成画像Gs−2を生成する。次いで合成画像Gs−2を2倍に拡大し、2倍に拡大した合成画像Gs−2と第1の周波数帯域の帯域画像F1−1とを加算して合成画像Gs−1を生成する。さらに、合成画像Gs−1を2倍に拡大し、2倍に拡大した合成画像Gs−1と第0の周波数帯域の帯域画像F1−0とを加算して合成画像Gs−0すなわち処理済み画像Gsを生成する。これにより、ノイズがより低減された処理済み画像Gsを生成できる。なお、重み係数WHd1を乗算する周波数帯域は、第2の周波数帯域に限定されるものではなく、第1の周波数帯域でも第0の周波数帯域でもよい。
また、上記各実施形態においては、第1および第2の放射線検出器5,6を用いて被写体の放射線画像を撮影するシステムにおいて取得した放射線画像を用いて画像処理を行っているが、検出手段として蓄積性蛍光体シートを用いて第1および第2の放射線画像G1,G2を取得する場合にも、本発明を適用できることはもちろんである。この場合、2枚の蓄積性蛍光体シートを重ねて被写体Hを透過したX線を照射して、被写体Hの放射線画像情報を各蓄積性蛍光体シートに蓄積記録し、各蓄積性蛍光体シートから放射線画像情報を光電的に読み取ることにより第1および第2の放射線画像G1,G2を取得すればよい。
また、上記各実施形態においては、周波数分解により第1の高周波成分GH1、第1の低周波成分GL1および第2の低周波成分GL2を生成しているが、ハイパスフィルタ等のフィルタリング処理によって、第1の高周波成分GH1、第1の低周波成分GL1および第2の低周波成分GL2を生成してもよい。フィルタリング処理により、第1の高周波成分GH1、第1の低周波成分GL1および第2の低周波成分GL2を生成した場合、合成部35においては、サブトラクション低周波成分GLsubに対して第1の高周波成分GH1を加算して、処理済み画像Gsを生成すればよい。
また、上記各実施形態においては、1ショット法により第1および第2の放射線画像G1,G2を取得しているが、撮影を2回行ういわゆる2ショット法により第1および第2の放射線画像G1,G2を取得してもよい。2ショット法を行う場合、被写体Hの被曝量を低減するために、2回目の撮影時には1回目の撮影時よりも被写体Hに照射される線量が低減される。このため、2回目の撮影により取得される第2の放射線画像G2は、1ショット法により取得される第2の放射線画像G2と同様に、線量不足によりノイズが多いものとなっている。したがって、2ショット法により取得した第1および第2の放射線画像G1,G2に対しても、上記実施形態と同様に処理を行うことにより、被写体Hの細かな構造を含み、ノイズが低減され、かつ被写体Hの特定の構造物が抽出された処理済み画像Gsを生成することができる。
以下、本実施形態の作用効果について説明する。
被写体の体厚が大きいほど、放射線の吸収が大きくなるため、放射線画像においてはノイズが多くなってS/Nが低下する。逆に体厚が小さいほど、ノイズは少なくなり、第2の放射線画像においてもノイズが目立たなくなる。したがって、被写体の体厚に応じて、サブトラクション低周波成分と第1の高周波成分とを重み付けて合成して処理済み画像を生成することにより、体厚が大きいほど第1の高周波成分の比率を大きくするように重み付け合成を行うことができるため、ノイズがより低減された処理済み画像を生成できる。
放射線画像においては、濃度が低いほど、その部分の放射線の吸収が大きくなるため、ノイズが多くなり、S/Nが低下する。逆に濃度が高いほど、ノイズは目立たなくなり、第2の放射線画像においてもノイズが目立たなくなる。したがって、被写体の濃度に応じて、サブトラクション低周波成分と第1の高周波成分とを重み付けて合成して処理済み画像を生成することにより、濃度が低いほど第1の高周波成分の比率を大きくするように重み付け合成を行うことができるため、ノイズがより低減された処理済み画像を生成できる。
例えば腰椎の撮影、股関節軸位撮影、または肩を含む頸椎側面撮影においては、最大の関心領域は骨部であり、軟部を除去して骨部を抽出した処理済み画像が生成される。ここで、腰、股関節および肩における軟部は血管等の高周波成分を殆ど含まない。一方、胸部撮影において軟部を抽出した処理済み画像を生成する場合、最大の関心領域は肺血管等となる。肺血管等は骨部よりも高い周波数成分の情報からなる。このため、撮影部位に応じた周波数帯域の第1の高周波成分、第1の低周波成分および第2の低周波成分を生成して処理済み画像を生成することにより、最大の関心領域となる構造の周波数成分を含むように、処理済み画像を生成することができる。したがって、診断対象の構造の診断に適した処理済み画像を生成することができる。
1 放射線画像撮影装置
2 コンピュータ
3 X線源
5、6 放射線検出器
7 X線エネルギー変換フィルタ
8 表示部
9 入力部
21 CPU
22 メモリ
23 ストレージ
31 画像取得部
32 第1の周波数解析部
33 第2の周波数解析部
34 サブトラクション処理部
35 合成部
F1−k,F2−k 帯域画像
G1 第1の放射線画像
G2 第2の放射線画像
G1−k,G2−k 縮小画像
GLsub サブトラクション低周波成分
Gs 処理済み画像
H 被写体

Claims (6)

  1. 被写体を透過したそれぞれエネルギー分布および線量が互いに異なる放射線により取得された2つの放射線画像を取得する画像取得手段と、
    前記2つの放射線画像のうち、前記線量が大きい放射線により取得された第1の放射線画像の高周波成分および低周波成分である第1の高周波成分および第1の低周波成分を生成する第1の周波数解析手段と、
    前記2つの放射線画像のうち、前記線量が小さい放射線により取得された第2の放射線画像の低周波成分である第2の低周波成分を生成する第2の周波数解析手段と、
    前記第1の低周波成分および前記第2の低周波成分に対して、相対応する画素間で重み付け減算を行うことにより、前記被写体の特定構造物を抽出したサブトラクション低周波成分を生成するサブトラクション手段と、
    前記サブトラクション低周波成分と前記第1の高周波成分とを合成して処理済み画像を生成する合成手段とを備えたことを特徴とする画像処理装置。
  2. 前記合成手段は、前記被写体の体厚に応じて、前記サブトラクション低周波成分と前記第1の高周波成分とを重み付けて合成して前記処理済み画像を生成する請求項1記載の画像処理装置。
  3. 前記合成手段は、前記第1の放射線画像または前記第2の放射線画像の濃度に応じて、前記サブトラクション低周波成分と前記第1の高周波成分とを重み付けて合成して前記処理済み画像を生成する請求項1記載の画像処理装置。
  4. 前記第1の周波数解析手段は、前記被写体の撮影部位に応じた周波数帯域の前記第1の高周波成分および前記第1の低周波成分を生成し、
    前記第2の周波数解析手段は、前記被写体の撮影部位に応じた周波数帯域の前記第2の低周波成分を生成する請求項1から3のいずれか1項記載の画像処理装置。
  5. 被写体を透過したそれぞれエネルギー分布および線量が互いに異なる放射線により取得された2つの放射線画像を取得し、
    前記2つの放射線画像のうち、前記線量が大きい放射線により取得された第1の放射線画像の高周波成分および低周波成分である第1の高周波成分および第1の低周波成分を生成し、
    前記2つの放射線画像のうち、前記線量が小さい放射線により取得された第2の放射線画像の低周波成分である第2の低周波成分を生成し、
    前記第1の低周波成分および前記第2の低周波成分に対して、相対応する画素間で重み付け減算を行うことにより、前記被写体の特定構造物を抽出したサブトラクション低周波成分を生成し、
    前記サブトラクション低周波成分と前記第1の高周波成分とを合成して処理済み画像を生成することを特徴とする画像処理方法。
  6. 被写体を透過したそれぞれエネルギー分布および線量が互いに異なる放射線により取得された2つの放射線画像を取得する手順と、
    前記2つの放射線画像のうち、前記線量が大きい放射線により取得された第1の放射線画像の高周波成分および低周波成分である第1の高周波成分および第1の低周波成分を生成する手順と、
    前記2つの放射線画像のうち、前記線量が小さい放射線により取得された第2の放射線画像の低周波成分である第2の低周波成分を生成する手順と、
    前記第1の低周波成分および前記第2の低周波成分に対して、相対応する画素間で重み付け減算を行うことにより、前記被写体の特定構造物を抽出したサブトラクション低周波成分を生成する手順と、
    前記サブトラクション低周波成分と前記第1の高周波成分とを合成して処理済み画像を生成する手順とをコンピュータに実行させることを特徴とする画像処理プログラム。
JP2016175455A 2016-09-08 2016-09-08 画像処理装置、方法およびプログラム Active JP6590773B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016175455A JP6590773B2 (ja) 2016-09-08 2016-09-08 画像処理装置、方法およびプログラム
US15/659,623 US10475181B2 (en) 2016-09-08 2017-07-26 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016175455A JP6590773B2 (ja) 2016-09-08 2016-09-08 画像処理装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018038646A JP2018038646A (ja) 2018-03-15
JP6590773B2 true JP6590773B2 (ja) 2019-10-16

Family

ID=61281415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016175455A Active JP6590773B2 (ja) 2016-09-08 2016-09-08 画像処理装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US10475181B2 (ja)
JP (1) JP6590773B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6671267B2 (ja) * 2016-09-08 2020-03-25 富士フイルム株式会社 画像処理装置、方法およびプログラム
US20210267563A1 (en) * 2018-06-15 2021-09-02 Dalhousie University Methods and apparatus for dual energy x-ray imaging
JP7208723B2 (ja) * 2018-07-09 2023-01-19 キヤノン株式会社 画像処理装置およびその制御方法、放射線撮影システム、プログラム
JP7007319B2 (ja) * 2019-03-29 2022-01-24 富士フイルム株式会社 放射線撮影装置、放射線撮影装置の作動方法、放射線撮影装置の作動プログラム
WO2021054090A1 (ja) * 2019-09-18 2021-03-25 富士フイルム株式会社 エネルギーサブトラクション処理装置、方法およびプログラム
JP7433971B2 (ja) * 2020-02-19 2024-02-20 キヤノン株式会社 画像処理装置、画像処理装置の作動方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2651625B2 (ja) 1990-02-14 1997-09-10 富士写真フイルム株式会社 エネルギーサブトラクション画像生成方法
JP2640582B2 (ja) * 1991-04-18 1997-08-13 富士写真フイルム株式会社 エネルギーサブトラクション画像生成方法
JP3370797B2 (ja) * 1994-03-31 2003-01-27 富士写真フイルム株式会社 画像重ね合せ方法およびエネルギーサブトラクション方法
JPH1013740A (ja) * 1996-06-27 1998-01-16 Ge Yokogawa Medical Syst Ltd 画像処理方法および画像処理装置並びにx線透視装置
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5287778B2 (ja) * 2010-03-26 2013-09-11 株式会社島津製作所 画像処理方法およびそれを用いた放射線撮影装置
JP5612371B2 (ja) * 2010-06-11 2014-10-22 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US20130342577A1 (en) * 2012-06-20 2013-12-26 Carestream Health, Inc. Image synthesis for diagnostic review
CA2975699C (en) * 2012-11-29 2018-05-29 Controlrad Systems Inc. X-ray reduction system
US9585626B2 (en) * 2014-12-11 2017-03-07 General Electric Company Methods and systems for spectral CT imaging
JP2017051395A (ja) * 2015-09-09 2017-03-16 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US20180085081A1 (en) * 2016-09-23 2018-03-29 Shimadzu Corporation Radiographic imaging apparatus

Also Published As

Publication number Publication date
US10475181B2 (en) 2019-11-12
US20180068442A1 (en) 2018-03-08
JP2018038646A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6590773B2 (ja) 画像処理装置、方法およびプログラム
Suetens Fundamentals of medical imaging
JP6370280B2 (ja) 断層画像生成装置、方法およびプログラム
US20140133729A1 (en) Image processing for spectral ct
JP2017143943A (ja) 放射線画像処理装置、方法およびプログラム
US9345443B2 (en) Calibration free dual energy radiography method
Warp et al. Applications of matrix inversion tomosynthesis
WO2015079666A1 (ja) 放射線画像処理装置、方法およびプログラム
US20180055459A1 (en) Image processing apparatus, method, and program
JP2008535612A (ja) 円状及び螺旋状円錐ビームct用の画像処理システム
JP2017063907A (ja) 断層画像生成装置、方法およびプログラム
JP6678541B2 (ja) 画像処理装置、方法およびプログラム
JP6566887B2 (ja) 放射線画像処理装置、方法およびプログラム
JP6671267B2 (ja) 画像処理装置、方法およびプログラム
JP5223266B2 (ja) X線画像システム
JP6398685B2 (ja) 断層画像生成システム及び画像処理装置
WO2020241110A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN106659456A (zh) 对比剂剂量模拟
JP2013119040A (ja) 医療映像処理方法及びその装置
JP5190942B2 (ja) エネルギーサブトラクション処理装置および方法ならびにプログラム
CN111553958B (zh) 图像矩阵大小的计算
JP7254963B2 (ja) 放射線画像処理装置、方法およびプログラム
JP7289769B2 (ja) 画像処理装置、方法およびプログラム
Hariharan Novel Analytical and Learning-based Image Processing Techniques for Dose Reduction in Interventional X-ray Imaging
US20230053052A1 (en) Method of processing computer tomography (ct) data for filter back projection (fbp)

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R150 Certificate of patent or registration of utility model

Ref document number: 6590773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250