JP7404846B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents
画像処理方法、画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP7404846B2 JP7404846B2 JP2019227648A JP2019227648A JP7404846B2 JP 7404846 B2 JP7404846 B2 JP 7404846B2 JP 2019227648 A JP2019227648 A JP 2019227648A JP 2019227648 A JP2019227648 A JP 2019227648A JP 7404846 B2 JP7404846 B2 JP 7404846B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- predetermined structure
- calibration
- radiation detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 109
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000012937 correction Methods 0.000 claims description 236
- 230000005855 radiation Effects 0.000 claims description 197
- 238000001514 detection method Methods 0.000 claims description 142
- 238000003384 imaging method Methods 0.000 claims description 98
- 238000010801 machine learning Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 description 17
- 238000002156 mixing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000001747 exhibiting effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000001066 destructive effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002438 flame photometric detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Description
例えば、特許文献1及び特許文献2には、3つの放射線検出装置を体軸方向に並べた状態で装填することのできるホルダーを有する撮影台を用いて撮影を行う放射線画像撮影システムが開示されている。
1ショット撮影では、放射線の照射回数が少ないことで被写体となる患者の負担を軽減することができるとともに、複数回に分けて撮影を繰り返す場合と比較して、広範囲を撮影する間に患者が動いてしまう体動の問題を回避することができるというメリットもある。
このため、この重畳部分において放射線照射装置に近い手前側に配置された放射線検出装置の構造物等が放射線照射装置から遠い奥側に配置された放射線検出装置で得られる画像に写り込んでしまうという問題がある。
このような特にコントラストの高い構造物については、キャリブレーション補正等の従来の補正処理を行っても構造物成分を画像から低減させ、又は除去することができない場合がある。
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行うものであり、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体に
ついて撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う制御部を備え、
前記制御部は、前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
画像処理装置のコンピューターに、補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う機能を実現させるとともに、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行う機能を実現させ、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
図1は、本実施形態に係る画像処理装置としてのコンソールが適用された放射線画像撮影システムの全体構成を示す図である。
図1に示すように、放射線画像撮影システム100は、撮影室R内に配置された撮影装置1と、図示しない前室等の撮影室R外に配置されたコンソール3とが通信ケーブル等により接続され、コンソール3と、画像解析装置5とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線画像撮影システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
なお、以下の本実施形態では放射線画像撮影システム100が、図1に示すように1つの撮影室R内の撮影装置1とコンソール3とが1:1に対応付けられている場合について説明するが、放射線画像撮影システムの構成は図示例に限定されない。例えば、複数の撮影室Rを備え、それぞれに単数又は複数の撮影装置が配置され、これらと単数又は複数のコンソール3とがネットワークNT等を介して対応付けられている構成とすることも可能である。
撮影装置1は、ホルダー11Aを備える撮影台11と、放射線照射装置12とを備えている。
ホルダー11Aは内部に放射線検出装置10を装填するものであり、撮影台11はホルダー11A内の放射線検出装置10が被写体Mである患者を挟んで放射線照射装置12と対向するように配置される。
本実施形態において、撮影台11は、被写体Mである患者を撮影台11の前に立たせて撮影を行う立位撮影用であり、患者の頸椎から大腿骨辺りまでを1ショットで撮影を行うことができる1ショット長尺撮影用の撮影台となっている。
ここで1ショット撮影とは、放射線を1回照射することで撮影を行うことをいい、1ショット長尺撮影とは、複数の放射線検出装置10を組み合わせて、単体の放射線検出装置10では撮影することのできない広い範囲について、1回の放射線照射で撮影を行うことをいう。これによれば、広範囲を1回の放射線照射で撮影することができるため、被写体Mである患者への負担を最小限に抑えることができる。また、複数回に分けて撮影を繰り返す場合と比較して、広範囲を撮影する間に患者が動いて画像にずれやブレを生じてしまう体動の問題を回避することも可能である。
図1に示す例では、3つの放射線検出装置10(10a,10b,10c)が、その一部が重畳された状態で被写体Mである患者の体軸方向に並ぶようにしてホルダー11Aに装填されている。
具体的には、ホルダー11A内に、体軸方向のより下側に配置される放射線検出装置10(10b,10c)の方がより上側の放射線検出装置10(10a)よりも放射線照射装置12に近くなるように複数の放射線検出装置10の上下方向(図1の上下方向)の端部を重ね合わせた状態で装填される。
放射線検出装置10は、図2に示すように、筐体101内に検出部10sが収容されたFPD(Flat Panel Detector)等のパネル状の検出装置である。検出部10sは、半導体イメージセンサーにより構成され、例えばガラス基板等を有し、基板上の所定位置に、放射線照射装置12から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、いずれを用いてもよい。
1ショット長尺撮影で得られた画像を1枚の画像に合成する際には、この重なり合い部分(当該部分が、後述するように、重畳領域であり補正が必要とされる補正領域である。)に写り込んだ成分を補正によって低減・除去し、放射線検出装置10同士の繋ぎ目を目立たなくし、あたかも1枚の画像として撮影されたような仕上がりとすることが望まれる。
なお、この補正処理(画像処理)については後述する。
また、複数の放射線検出装置10の配置の仕方は図1や図2に示した例に限定されない。例えば、ホルダー11A内に、複数の放射線検出装置10(10a,10b,10c)が、放射線照射装置12に近い側と遠い側に交互に配置されるように装填する構成とすることも可能である。
さらに、図1では、1ショット長尺撮影用の撮影台11が、被写体Mである患者を撮影台11の前に立たせて撮影を行う立位撮影用である場合を図示しているが、撮影台11はこれに限定されない。例えば、1ショット長尺撮影用の撮影台11は、複数の放射線検出装置10(10a,10b,10c)が装填されたホルダー11Aが床面とほぼ平行に配置され、ホルダー11Aの上側となる板上に患者が横臥したり着座したりして撮影を行う臥位撮影用であってもよい。
読取制御装置15は、コンソール3から入力された各種の画像読取条件に基づいて放射線検出装置10の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出装置10に蓄積された電気信号を読み取ることで、画像データを取得する。
ここで、読取制御装置15は後述する放射線照射制御装置13と接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
読取制御装置15は、コンソール3と接続されており、取得した画像をコンソール3に出力する。
具体的には、放射線技師等の操作者が操作して放射線照射装置12に対して放射線の照射開始等を指示するための図示しない曝射スイッチが押下されると、この押下に応じてコンソール3が放射線照射制御装置13を制御し、放射線撮影を行わせる。
放射線照射制御装置13は、コンソール3と接続されており、コンソール3から入力された各種の放射線照射条件に基づいて放射線源を制御して放射線撮影を行う。コンソール3から入力される放射線照射条件は、例えば、X線管電流の値、X線管電圧の値、付加フィルター種等である。
本実施形態では長尺撮影を行うため、放射線照射装置12は、被写体Mである患者を介して、撮影台11のホルダー11Aに装填された複数の放射線検出装置10(10a,10b,10c)に同時に放射線を1回照射(すなわち1ショット)することができるようにいわゆる広角照射タイプのものが適用される。
コンソール3は、放射線照射条件や画像読取条件を撮影装置1に出力し、撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御する撮影用のコンソールとして機能する。
また、本実施形態のコンソール3は、撮影装置1により取得された画像に各種の補正等を行う画像処理装置としても機能する。
コンソール3は、必要な補正等を行ったのち画像データを画像解析装置5に送信する。
制御部31は、撮影装置1の撮影条件や読取条件等を設定する各種条件設定手段、表示部34を制御する表示制御手段、通信部35を制御する通信制御手段等として機能する。
また、特に本実施形態では、制御部31は、撮影装置1によって取得された画像データのうち、補正が必要な補正領域ArR(図4参照)である放射線検出装置10の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む補正領域について機械学習を用いて所定の構造物の構造物成分を画像情報から低減・除去する補正処理を行う補正手段として機能する。
なお、この補正処理(画像処理)については後述する。
図示を省略するが、コンソール3には、通信ネットワークNT等を介してHIS(Hospital Information System;病院情報システム)やRIS(Radiology Information System;放射線科情報システム)、PACS(Picture Archiving and Communication System)等が接続されている。
画像解析装置5は、例えば、画像による診断等を行う医師等が用いるコンピューター装置である。
画像解析装置5は、図示しない制御部、記憶部、操作部、表示部、通信部等を備え、コンソール3から送信された画像について各種解析等を行うことにより、被写体M(患者)の各部位(撮影対象部位)に病変等があるか否かを医師が判断する際にこれを支援したり、診断結果を患者に示し、説明等を行うための表示等を行う。
例えば、コンソール3が撮影用のコンソールとして、撮影に関する各種指示等を撮影装置1に対して行うにとどまるものとしてもよい。
この場合には、撮影装置1の複数の放射線検出装置10(10a,10b,10c)によって取得された画像データをコンソールが受け取って、コンソールとは別体の画像処理装置に送信し、画像処理装置側において画像データに各種の補正等を行う。
なお、画像解析を行う画像解析装置が画像処理装置として機能してもよい。この場合には、画像解析装置が、画像データに各種の補正を行い、補正後の画像データを1つの画像に合成する等の画像処理を行った上で各種の画像解析を行うようにしてもよい。
1ショット長尺撮影の際に、コンソール3や、撮影台11のホルダー11Aに装填された各放射線検出装置10(10a,10b,10c)等における撮影時の各処理(すなわち放射線照射装置12からの放射線の照射前後に行われる処理やその後の画像データの読み出し処理等の各処理)は、基本的に単純撮影の場合と同様であり、公知の処理であるから説明を省略する。
D*=D-O …(1)
また、上記の時点では、図4に示すように、上記のようにして生成された放射線検出装置10a,10b等で得られた各画像P1,P2等のうち、ホルダー11A内で後方(放射線照射装置12から遠い方)の放射線検出装置10aで得られた画像P1中であって、放射線検出装置10同士の重畳領域である補正領域ArR(図4参照)には、前方(放射線照射装置12から近い方)の放射線検出装置10bの筐体101や内部構造のエッジ部分等の直線状の構造に起因する横スジ状のスジ成分、前方の放射線検出装置10bの筐体101内部の各種構造物に起因する構造物成分C等が写り込んでいる。
そのため、後方上側の放射線検出装置10aで得られた画像P1の下端部分に、前方の放射線検出装置10bの筐体101の上端部分や検出部10sの上端の辺部分等に起因するスジ成分や、前方の放射線検出装置10bの検出部10sに取り付けられている図示しない回路基板上に実装されている各種電子部品等の筐体101内部の構造物に起因する構造物成分Cが写り込んでいる。
構造物成分Cとは、このように筐体101内部に実装された電子部品等の各種構造物が放射線の透過に影響を与えることによって画像Pに現れるものであり、図4等において白く写り込んでいるものをいう。
このような放射線検出装置10同士の重畳領域(図2において幅Laで示す幅の領域)は、補正処理を行う必要のある補正領域ArRとされる。
ここで所定の構造物とは、例えば金属製のねじ等である。
所定値以上の高コントラストという場合に、どの程度の値を所定値とするかは、適宜設定可能な事項である。所定値は、デフォルトで予め設定されていてもよいし、事後的にユーザー等が設定又は変更することができるようになっていてもよい。
このように「構造物成分Cs」とは、筐体101に設けられたねじ等、所定値以上の高コントラストを示す「所定の構造物」が放射線の透過に影響を与えることによって画像Pに現れるものであり、図4等において白く写り込んでいるものをいう。
本実施形態に係る放射線画像撮影システム100では、撮影台11のホルダー11Aに装填された各放射線検出装置10(10a,10b,10c)で得られた画像Pから構造物成分C、所定の構造物の構造物成分Cs等を画像情報から低減・除去する画像補正処理が、画像処理装置として機能するコンソール3(コンソール3の制御部31)において行われる。
図5は、本実施形態における画像補正処理の概要を示すフローチャートである。また、図6は、図5におけるステップS3「所定の構造物の構造物成分の低減・除去処理」の内容をさらに詳細に示したフローチャートである。
キャリブレーション補正は、予め取得されたキャリブレーション用画像Pcal(図7参照)を用いて行われる。
このキャリブレーション用画像Pcalは、各放射線検出装置10(10a,10b,10c)を撮影台11のホルダー11A内に装填し、被写体Mである患者が介在しない状態で放射線照射装置12から放射線を照射して撮影されたものである。
キャリブレーション用画像Pcalは、各放射線検出装置10(10a,10b,10c)で得られた画像データ等に基づいて、上記の画像Pの生成処理と同様の処理により生成される。
キャリブレーション用画像Pcalは、これが取得された放射線検出装置10の情報等をヘッダー情報として書き込む等により当該放射線検出装置10との対応付けがなされた状態で、コンソール3の記憶部32や図示しないサーバー等の記憶手段のデータベース等に予め記憶される。
これにより、後方に配置された放射線検出装置10aで得られたキャリブレーション用画像Pcalには構造物成分C、所定の構造物の構造物成分Cs等が写り込む(図7参照)。
適切にキャリブレーション補正を行うためには、実際に被写体Mを撮影した際と同様の種類の放射線検出装置10によって同様の配置(重ね合わせ方等)で撮影が行われたキャリブレーション用画像Pcalを用いることが重要となる。
また、コンソール3の制御部31は、キャリブレーション用画像Pcalの撮影時の各種情報と実際の1ショット長尺撮影時(本撮影時)の各種情報に基づいて、キャリブレーション用画像Pcalの拡大率が画像P(画像P1)の拡大率に合うように拡大率を調整する(ステップS1)。
なお、図7では、画像P中における、放射線検出装置10同士の重畳領域である補正領域ArR(図4における補正領域ArR。すなわち図2において幅Laの部分に相当する領域)に対応する画像Paと、キャリブレーション用画像Pcal中であって当該画像Paに対応する領域のみを図示している。キャリブレーション補正は、放射線検出装置10同士の重畳領域である補正領域ArRに限定されず、画像P全補正画像PCを生成してもよいが、特の補正が必要とされる放射線検出装置10同士の重畳領域(補正領域ArR)を特定して、この範囲について補正を行う方が効果的・効率的であり、望ましい。
g(x,y)=f(x,y)+A(x,y)×k(x,y) …(2)
これにより、画像Pに写り込んでいた構造物成分C等が画像情報から低減・除去された、キャリブレーション補正の補正結果としての補正画像PCが生成される(図7参照)。
このように、構造物成分C等を低減・除去する低減・除去処理とは、電子部品等の各種構造物が放射線の透過に影響を与えることによって画素値が小さくなっている画素部分の画素値fを適切に嵩上げして画像Pの画像情報を補正することにより、図4等において白く見えていた写り込みを画像Pから低減させることをいう。なお、「低減・除去」とした場合、及び単に「低減」とした場合にも、画像上目立たなくするレベルから完全に取り除く(除去・消去する)場合までを含むものとする。
なお、キャリブレーション補正に関する各処理は、基本的に単純撮影において行われる処理と同様であり、公知の処理であるから詳細な説明を省略する。
すなわち、上記のように、既存のキャリブレーション補正では、補正前の画像Pの画素値fに対してキャリブレーション画像Pcalの画素値のコントラストの値kに補正係数Aを乗じたものを加算して最終的に補正後の画像PCを得る。
しかし、補正箇所のコントラストの値kが大きい場合(高コントラストの場合)には、補正係数Aに多少でも誤差があると最終的な補正後の画素値gの値に大きな差が生じてしまい、補正係数Aには高い精度が要求される。
このため、補正係数Aの推定精度によっては、補正後の画素値gに高コントラストを示す所定の構造物(例えばねじ等)の構造物成分Csを最終的な画像PC(画像情報)から効果的に低減・除去することができず、残ってしまう場合がある。
構造物成分Csを除去する除去処理とは、ねじ等の所定値以上の高コントラストを示す「所定の構造物」が放射線の透過に影響を与えることによって画素値が小さくなっている画素の位置を特定して画像Pの画像情報を補正することにより、図4等において白く見えていた写り込みを画像Pから低減させることをいう。なお、ここで「低減・除去」とした場合、及び単に「低減」とした場合にも、画像上目立たなくするレベルから完全に取り除く(除去・消去する)場合までを含むものとする。
具体的には以下のような処理を行う。
具体的には、画像Paに対して横方向にガウシアンフィルターを適用するフィルター処理を行い、低周波成分が抽出されたフィルター処理後の画像Pbを得る。
そして、元の画像Paからこのフィルター処理後の画像Pb(低周波成分を示す画像)を減算処理して差分を求めることにより、高周波成分を抽出する(図8において、高周波成分を示す画像を画像Pcとする)。
この場合には、キャリブレーション画像(画像PC)にガウシアンフィルターを適用し、フィルター処理後の画像(低周波成分を示す画像)と元のキャリブレーション画像(画像PC)との差分を取ることにより高周波成分を抽出する。
これによりキャリブレーション画像(画像PC)中のどの位置に所定の構造物の構造物成分Csが写り込んでいるかを特定する。同様に実際の撮影画像(画像P)についてもガウシアンフィルターを適用し、フィルター処理後の画像(低周波成分を示す画像)と元の撮影画像(画像P)との差分を取ることにより高周波成分を抽出する。さらに実際の撮影画像(画像P)にキャリブレーション画像(画像PC)を重ね合わせることで、構造物成分Csが写り込んでいる位置のおよその位置を特定することができる。
なお、高周波成分を抽出する前提として低周波成分を抽出するために適用するフィルターはガウシアンフィルターに限定されない。また、実際の撮影画像(画像P)における構造物成分Csの位置を正確に特定する手法は、テンプレートマッチングに限定されない。
また、所定の構造物に該当するか否かを判断するための閾値をどの程度とするかについては、適宜設定可能な事項である。低減・除去したい構造物に応じて適宜閾値を変更してもよい。
ここで、画像推定フィルターFを得るための機械学習について図9を参照しつつ説明する。
図9では、例えば人体模型のようなファントムを用いて学習データを作成した場合を例示している。なお、学習データはファントムを用いて作成されたものに限定されず、実際に人を被写体として配置し、撮影を行って作成してもよい。
また画像PFbは、画像PFaに横方向にガウシアンフィルターを適用したものであり、このフィルター処理後の画像PFb(低周波成分を示す画像)を元の画像PFaから減算して差分を求めることにより高周波成分を抽出する(高周波成分を示す画像PFc)。画像PFcから特に高コントラストの値を示す所定の構造物(例えばねじ等)及びその周辺を抽出する(抽出画像を画像PFdとする)。
なお、ここではねじ等の所定の構造物周辺から標準偏差を求めて正規化を行う場合を示したが、場合によっては画像全体から求めた標準偏差で正規化を行う方が適切な結果を得られる場合もあり得る。このため、正規化の仕方はここに例示したものに限定されない。
また画像NPFbは、画像NPFaに横方向にガウシアンフィルターを適用したものであり、このフィルター処理後の画像NPFb(低周波成分を示す画像)を元の画像NPFaから減算して差分を求めることにより高周波成分を抽出する(高周波成分を示す画像NPFc)。画像NPFcから画像PFdに対応する位置の画像を抽出する(抽出画像を画像NPFdとする)。
また、重畳部分がある画像PFから抽出された所定の構造物を示す抽出画像(画像PFd)を入力データとする。
本実施形態では、こうして用意された学習データを与えて学習をさせることで、高いコントラスト値を示す所定の構造物(例えばねじ等)の画像を推定する画像推定フィルターFを予め設計し、コンソール3の記憶部32等に保存しておく。
なお、画像推定フィルターFを設計するための学習(機械学習)に適用されるネットワークはここに例示したものに限定されない。
学習結果として得られる画像推定フィルターFの精度を適宜検証し、精度が不足しているような場合には適宜ネットワークの構成を変更したり、学習データを追加する等によりさらに学習を行い、画像推定フィルターFがより精度の高いものへと更新されるようにしてもよい。
一方、低周波成分を示す画像Pbから画像Pdに対応する位置の画像Peを切り出し、この低周波成分を示す画像Peに画像Pgを加算して画像Phを得る(ステップS15)。
画像Phは、所定の構造物の構造物成分Csが打ち消された画像と、当該部分に対応する低周波成分を示す画像とが加算されたものであり、本実施形態における機械学習を用いた補正処理の補正結果としての画像である。
そして、画像Ph(画像推定フィルターFを用いた補正結果)とこれに対応する画像PCa(キャリブレーション補正結果)との差分値からブレンド率を算出する(ステップS17)。
そして、コンソール3の制御部31は、算出されたブレンド率に基づくブレンド処理を行う(ステップS18)。これによって所定の構造物の構造物成分Csが画像情報から低減・除去された最終的な処理結果を得ることができる。
ブレンドの傾向としては、両者の結果に差がなければ既存のキャリブレーション補正による処理結果を採用し、両者の差が大きいほど機械学習による処理結果を採用する。
差の絶対値がどの程度の場合にどの程度の割合で機械学習による処理結果を採用するか、については、予め一定の閾値を定めておくことが好ましい。これにより例えば、差の絶対値が25以上であれば、機械学習による処理結果が100%採用され、差の絶対値が12程度であればキャリブレーション補正による処理結果と機械学習による処理結果とを50%ずつの割合で採用する等、画素ごとのブレンド率が求められる。
また、低減・除去したい構造物成分Csが写り込んでいる場所や、補正対象となっている画像の種類、低減・除去したい構造物の種類等、各種の条件に応じて、複数種類の閾値が予め用意され、各条件に応じて自動で又は手動で選択されるようにしてもよい。
さらに、一旦ブレンド処理を行った後、構造物成分Csの消え具合(残り具合)を確認した段階で、閾値を調整する等、適宜設定を調整・変更し、ブレンド処理をやり直すことができるようにしてもよい。
機械学習による処理結果は、フィルターを用いた処理によるものであり、処理結果にボケを生じやすい。このため、機械学習による処理結果が必要以上に多く採用されるとボケの目立つ画像となるおそれがある。
このため、ブレンド率の算出を行う前に、機械学習による処理結果について濃度補正を行い、その平均濃度値を、キャリブレーション補正による処理結果の平均濃度値に合わせる前処理を行うことが好ましい。
このため、本実施形態では、補正領域ArRのうち所定の構造物を示す画素が含まれていない画像領域に対しては、機械学習(画像推定フィルターF)による低減・除去処理を行わず、キャリブレーション補正による低減・除去処理のみを行ってその結果(図7及び図10の画像PC)を100%採用することとし、所定の構造物を示す画素が含まれる画像領域に対してのみ、機械学習(画像推定フィルターF)による補正(低減・除去処理)とキャリブレーション補正による低減・除去処理とを行い、上記のようなブレンド処理を行う。
このため、いかなる放射線検出装置10で撮影が行われたかを、撮影前又は撮影後の画像処理前に判断する処理部が設けられていることが好ましい。
この場合における処理部の構成は特に限定されないが、例えば撮影に使用される放射線検出装置10の識別標識(例えば筐体101等に設けられたバーコードや各種タグ)を読み取る読取部をホルダー11A内等に設け、コンソール3の制御部31が処理部としてこの読取部からの情報に基づいて放射線検出装置10の種別等を判断してもよい。そして、放射線検出装置10には所定の構造物(例えばねじ等)が設けられていないと処理部によって判断された場合には、機械学習(画像推定フィルターF)による補正処理を行わないようにする。
基本処理として具体的にどのような処理を行うかは特に限定されない。
例えば、複数の放射線検出装置10(10a,10b,10c)によってそれぞれ取得された画像P(例えば、図4におけるP1,P2等)を合成して1つの長尺な画像とする場合には、各画像の濃度が合うようにいずれかの画像P又はすべての画像Pについて濃度を補正したり、画像P同士の位置関係や拡大率を調整したり、各画像P中において、被写体Mの同じ部分が撮影されている部分を重ね合わせ、画像P同士が滑らかに接続されるように調整する。
なお、このような濃度補正や位置、拡大率の調整等は公知の処理であり、詳細な説明は省略する。
また、構造物成分Cや所定の構造物の構造物成分Csの除去処理の他にスジ状に画像に写り込むスジ成分等についても各種補正処理によって低減・除去を行ってもよい。
なお、複数の放射線検出装置10(10a,10b,10c)によってそれぞれ取得された画像Pを合成することは必須ではなく、分割されたままで利用されてもよい。また一旦合成された後に分割されて利用されてもよい。1ショット撮影では、その後に画像Pが合成されない場合でも、1回の放射線照射によって広範囲の撮影を行うことができる点で、部位ごとに撮影を繰り返す場合と比較して被写体Mである患者への負担を軽減することができる。
コンソール3において生成された画像は、画像解析装置5に送られ、表示部に表示させて診断や患者への説明の際に用いられたり、各種の解析・分析等が行われ、適宜診断支援に用いられる。
以上のように本実施形態によれば、放射線検出装置10を、その一部が重畳された状態で複数配置し被写体Mについて撮影を行う場合に、補正が必要な補正領域ArRである放射線検出装置10の重畳部分の画像領域(補正領域ArR)の画像情報(画像Pa)から、ねじ等の所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む補正領域ArRについて機械学習を用いて所定の構造物の構造物成分Csを低減・除去する補正処理を画像情報に対して行う。
このため、所定の構造物の構造物成分Csを画像情報から低減・除去することに特化した補正を、機械学習を用いて精度良く行うことができる。これにより、1回の撮影で広範囲を撮影した場合にも適切に補正処理(画像処理)が施された画像を得ることができる。
このように、機械学習によって予め用意された画像推定フィルターFを用いて所定の構造物の構造物成分Csを画像情報から低減・除去する補正を行うため、効率よく、高精度の補正を行うことができる。
また、機械学習によって学習結果を蓄積することにより、未知の画像Paが入力された際にも適切に所定の構造物の構造物成分Csを画像情報から低減・除去することができ、高品質な画像を得ることができる。
このように既存のキャリブレーション補正と機械学習を用いた補正処理とを組み合わせることで、キャリブレーション補正によっては低減・除去しきれない構造物成分Csを画像情報から適切に低減・除去することができる。
また、機械学習を用いた補正処理が画像推定フィルターFを用いたものである場合、高コントラストの構造物成分Csを効果的に低減・除去できる反面、画像にボケを生じやすいが、キャリブレーション補正と組み合わせ、高コントラストの構造物成分Csの低減・除去以外ではキャリブレーション補正の結果を優先させることによって適切な補正結果を得ることができる。
機械学習を用いた補正処理を行う対象をキャリブレーション補正の結果から特定することで、補正対象の正確・精密な特定を効率よく行うことができる。
これにより、例えば撮影されるものが医用画像の場合に、1回の放射線照射によって被写体Mである患者の全身を撮影することも可能となり、患者の負担を軽減することができる。
また、複数の放射線検出装置10によって撮影された画像を合成することで、医師や患者にとって見やすく、正確な診断に資する画像を得ることができる。
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
本発明は、単体の放射線検出装置10では撮影できない広範囲な対象を、複数の放射線検出装置10を用いて撮影する場合であれば適用可能である。
例えば、縦方向、横方向、又は縦横両方向に単体の放射線検出装置10の撮影可能範囲を超えるような対象を被写体Mとして撮影する非破壊検査等においても、その撮影画像に本発明の画像処理方法を適用することができる。
例えば上記の非破壊検査等における撮影であれば、被写体全体をカバーできるように縦方向、横方向、又は縦横両方向に複数の放射線検出装置10を並べて配置してもよい。
この場合にも放射線検出装置10同士の重畳部分の画像を補正するために本発明の画像処理方法を適用することができる。
例えば、患者の全身等、被写体の全体を複数回に分けて撮影する場合でも放射線検出装置10同士の重畳部分の画像を補正するために本発明の画像処理方法を適用可能である。
例えば、画像推定フィルターFは、高コントラストを示す所定の構造物の種類に応じて、複数用意されてもよい。この場合、撮影に用いられた放射線検出装置10の種類やこれに含まれる所定の構造物の種類を特定し、特定結果に応じて適用する画像推定フィルターFを切り替えるように構成してもよい。
例えば所定の構造物が「ねじ」である場合でも、その種類が変更されると、同じ画像推定フィルターFでは適切に構造物成分Csを低減・除去できない場合がある。このため、例えば、ねじの種類ごとに画像推定フィルターFの学習係数を用意しておいてもよい。
そして実際に画像処理(補正処理)を行う際には、まず撮影に用いられる放射線検出装置10に含まれているねじの種類を判別する前処理を行い、その後に当該ねじの種類に応じた学習係数を有する画像生成フィルターFを適用してねじの構造物成分Csを画像情報から低減・除去する画像処理を行うようにする。
10 放射線検出装置
11 撮影台
11A ホルダー
12 放射線照射装置
3 コンソール(画像処理装置)
31 制御部
32 記憶部
5 画像解析装置
100 放射線画像撮影システム
ArR 補正領域
Cs 構造物成分
F 画像推定フィルター
P 画像
Claims (7)
- 放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行うものであり、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする画像処理方法。 - 前記機械学習を用いた前記補正処理は、
前記補正領域の画像情報のうち前記所定の構造物に対応する画像情報を推定する画像推定フィルターを前記機械学習によって予め設計し、
前記所定の構造物を示す画素が含まれる未知の画像領域に対して、当該画像推定フィルターを適用し、推定された前記所定の構造物に対応する画像情報と元の画像情報とに基づいて前記所定の構造物の構造物成分を低減させる補正を行うものであることを特徴とする請求項1に記載の画像処理方法。 - 前記機械学習を用いた前記補正処理における前記所定の構造物を示す画素の位置を、前記キャリブレーション画像に基づいて特定することを特徴とする請求項1に記載の画像処理方法。
- 撮影に使用された前記放射線検出装置が前記所定の構造物を含むか否かによって前記所定の構造物の構造物成分を低減させる補正処理を行うか否かを切り替えることを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理方法。
- 撮影によって複数の前記放射線検出装置から取得される複数の放射線画像を合成して合成画像を生成することを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理方法。
- 放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う制御部を備え、
前記制御部は、前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする画像処理装置。 - 放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
画像処理装置のコンピューターに、補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う機能を実現させるとともに、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行う機能を実現させ、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とするコンピューター読取可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227648A JP7404846B2 (ja) | 2019-12-17 | 2019-12-17 | 画像処理方法、画像処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227648A JP7404846B2 (ja) | 2019-12-17 | 2019-12-17 | 画像処理方法、画像処理装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021094219A JP2021094219A (ja) | 2021-06-24 |
JP2021094219A5 JP2021094219A5 (ja) | 2022-05-10 |
JP7404846B2 true JP7404846B2 (ja) | 2023-12-26 |
Family
ID=76429788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227648A Active JP7404846B2 (ja) | 2019-12-17 | 2019-12-17 | 画像処理方法、画像処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404846B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023057871A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017169714A (ja) | 2016-03-22 | 2017-09-28 | 富士フイルム株式会社 | 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム |
JP2017213270A (ja) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 放射線撮影システム、その制御装置及びプログラム |
JP2017225724A (ja) | 2016-06-24 | 2017-12-28 | コニカミノルタ株式会社 | 放射線画像撮影システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430715B1 (en) * | 2015-05-01 | 2016-08-30 | Adobe Systems Incorporated | Identifying and modifying cast shadows in an image |
-
2019
- 2019-12-17 JP JP2019227648A patent/JP7404846B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017169714A (ja) | 2016-03-22 | 2017-09-28 | 富士フイルム株式会社 | 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム |
JP2017213270A (ja) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 放射線撮影システム、その制御装置及びプログラム |
JP2017225724A (ja) | 2016-06-24 | 2017-12-28 | コニカミノルタ株式会社 | 放射線画像撮影システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021094219A (ja) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6128463B2 (ja) | 放射線画像処理装置および方法並びにプログラム | |
US7433507B2 (en) | Imaging chain for digital tomosynthesis on a flat panel detector | |
US7522701B2 (en) | System and method for image composition using position sensors | |
JP6443195B2 (ja) | 放射線画像撮影システム | |
KR101576703B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독 가능 저장 매체 | |
JP6042855B2 (ja) | 放射線画像撮影装置、放射線画像撮影方法、及び放射線画像撮影プログラム | |
US20080137935A1 (en) | Locally Adaptive Image Enhancement For Digital Subtraction X-Ray Imaging | |
WO2014167901A1 (ja) | 診断提供用医用画像システム及び一般撮影用の診断提供用医用画像システムにタルボ撮影装置系を導入する方法 | |
US20120155609A1 (en) | System and method of low dose exposure aided positioning (leap) for digital radiography | |
US7869637B2 (en) | Histogram calculation for auto-windowing of collimated X-ray image | |
WO2014156796A1 (ja) | 放射線撮影装置、放射線撮影方法、放射線撮影制御プログラム | |
JP2008167846A (ja) | X線透過像表示システム | |
US20060241370A1 (en) | Medical x-ray imaging workflow improvement | |
JP7404846B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
CN107049346B (zh) | 医疗摄影控制方法、医疗摄影控制装置和医疗摄影设备 | |
US20070116348A1 (en) | Adaptive image processing and display for digital and computed radiography images | |
US20070036266A1 (en) | Medical x-ray imaging workflow improvement | |
JP2022011259A (ja) | 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法 | |
EP3370616A1 (en) | Device for imaging an object | |
US20120076275A1 (en) | Radiographic imaging apparatus and radiographic imaging method and program | |
JP2004081275A (ja) | X線診断装置およびその制御方法 | |
JP2007007307A (ja) | 画像処理方法及び医用画像処理システム | |
JP2007244484A (ja) | X線診断装置 | |
US7490988B1 (en) | Systems and methods for patient specific pixel spacing calibration for mammography X-ray | |
JP2009054013A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7404846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |