TW202234049A - 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 - Google Patents
放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 Download PDFInfo
- Publication number
- TW202234049A TW202234049A TW110129258A TW110129258A TW202234049A TW 202234049 A TW202234049 A TW 202234049A TW 110129258 A TW110129258 A TW 110129258A TW 110129258 A TW110129258 A TW 110129258A TW 202234049 A TW202234049 A TW 202234049A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- noise
- ray
- mentioned
- radiographic image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 230000005855 radiation Effects 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims description 102
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000011156 evaluation Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 150
- 239000000463 material Substances 0.000 description 49
- 238000010586 diagram Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 36
- 238000012549 training Methods 0.000 description 33
- 238000002834 transmittance Methods 0.000 description 27
- 238000010276 construction Methods 0.000 description 23
- 238000012986 modification Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 23
- 238000007689 inspection Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 20
- 238000004088 simulation Methods 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000011895 specific detection Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000002083 X-ray spectrum Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000013077 target material Substances 0.000 description 4
- 241000287828 Gallus gallus Species 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 229920000139 polyethylene terephthalate Polymers 0.000 description 3
- 239000005020 polyethylene terephthalate Substances 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- -1 Polyethylene terephthalate Polymers 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000013076 target substance Substances 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4291—Arrangements for detecting radiation specially adapted for radiation diagnosis the detector being combined with a grid or grating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本發明之圖像獲取裝置1具備:相機10,其於一方向掃描並拍攝透過對象物之放射線,而獲取X射線圖像;閃爍器11,其設置於相機10上,將X射線轉換為光;及控制裝置20,其使X射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,執行自X射線圖像去除雜訊之雜訊去除處理;且相機10包含:掃描相機12,其由具有沿一個方向排列之M個(M為2以上之整數)像素72之像素列74在與一個方向正交之方向排列N行(N為2以上之整數)而構成,對每個像素72輸出光相關之檢測信號;及讀出電路73,其對掃描相機12之N行之每一像素列74,將自M個像素中之至少2個像素輸出之檢測信號進行加算,依序輸出加算後之N個檢測信號,藉此輸出X射線圖像。
Description
實施形態之一態樣係關於一種放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法。
先前以來,已使用一種裝置,其藉由將與對象物之搬送方向正交配置之線感測器設置複數行,將自複數行線感測器輸出之檢測資料加算,而獲取透過對象物之X射線等電磁波之分佈作為圖像資料。根據此種裝置,檢測出透過對象物之電磁波之圖像資料中,可獲得積分曝光效應。
[先前技術文獻]
[專利文獻]
專利文獻1:日本再公表專利WO2019/082276號公報
專利文獻2:日本特開2019-158663號公報
[發明所欲解決之問題]
如上述之先前之裝置中,藉由將自複數行線感測器獲得之檢測資料加算,有加算結果中隨著信號值提高而雜訊值亦增加之傾向。因此,有圖像資料中之S/N(Signal/Noise :信號/雜訊)比未充分提高之情形。
因此,實施形態之一態樣係鑑於該問題者,其課題在於提供一種可有效提高放射線圖像之S/N比之放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法。
[解決問題之技術手段]
實施形態之一態樣之放射線圖像獲取裝置具備:攝像裝置,其於一方向掃描並拍攝透過對象物之放射線,而獲取放射線圖像;閃爍器,其設置於攝像裝置上,將放射線轉換為光;及圖像處理模組,其使放射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,執行自放射線圖像去除雜訊之雜訊去除處理;且攝像裝置包含:檢測元件,其由具有沿一個方向排列之M個(M為2以上之整數)像素之像素列在與一個方向正交之方向排列N行(N為2以上之整數)而構成,對每個像素輸出光相關之檢測信號;及讀出電路,其對檢測元件之N行之每一像素列,將自M個像素中之至少2個像素輸出之檢測信號進行加算,依序輸出加算後之N個檢測信號,藉此輸出放射線圖像。
或者,實施形態之其他態樣之放射線圖像獲取系統具備:上述放射線圖像獲取裝置;朝對象物照射放射線之產生源;及對攝像裝置朝一個方向搬送對象物之搬送裝置。
或者,實施形態之其他態樣之放射線圖像獲取方法具備:於一個方向掃描並拍攝與透過對象物之放射線對應之閃爍光,而獲取放射線圖像之步驟;將放射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,執行自放射線圖像去除雜訊之雜訊去除處理之步驟;且在獲取步驟中,使用如下之檢測元件,即,由具有沿一個方向排列之M個(M為2以上之整數)像素的像素列在與一個方向正交之方向排列N行(N為2以上之整數)而構成、對每個像素輸出閃爍光相關之檢測信號之檢測元件,對檢測元件之N行之每一像素列,將自M個像素中之至少2個像素輸出之檢測信號進行加算,依序輸出加算後之N個檢測信號,藉此輸出放射線圖像。
根據上述一態樣或其他態樣之任一者,藉由具有於對象物之掃描方向排列之M個像素之像素列以N行排列之檢測元件,檢測與透過對象物之放射線對應之閃爍光,將對每個像素列輸出之M個像素之檢測信號中之至少2個像素之檢測信號加算,依序輸出加算後之N個檢測信號,藉此輸出放射線圖像。此外,藉由將輸出之放射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,對該放射線圖像實施雜訊去除處理。藉此,可增大放射線圖像中之信號成分且去除雜訊成分,可有效提高放射線圖像之S/N比。
[發明之效果]
根據實施形態,可有效提高放射線圖像之S/N比。
以下,參照隨附圖式,針對本發明之實施形態詳細說明。另,於說明中,對相同要件或具有相同功能之要件使用相同符號,並省略重複說明。
[第1實施形態]
圖1係本實施形態之放射線圖像獲取裝置及放射線圖像獲取系統即圖像獲取裝置1之構成圖。如圖1所示,圖像獲取裝置1為對朝搬送方向TD搬送之對象物F照射X射線(放射線),獲取基於透過對象物F之X射線拍攝對象物F之X射線透過圖像(放射線圖像)之裝置。圖像獲取裝置1使用X射線透過圖像,進行以對象物F為對象之異物檢查、重量檢查、產品檢查等,作為用途,列舉食品檢查,隨身行李檢查、基板檢查、電池檢查、材料檢查等。圖像獲取裝置1構成為具備帶式輸送機(搬送裝置)60、X射線照射器(放射線產生源)50、X射線檢測相機(攝像裝置)10、控制裝置(圖像處理模組)20、顯示裝置30、及用以進行各種輸入之輸入裝置40。另,本揭示之實施形態之放射線圖像不限於X射線圖像,亦包含γ射線等X射線以外之電磁放射線。
帶式輸送機60具有載置對象物F之皮帶部,藉由使該皮帶部朝搬送方向(一個方向)TD移動,將對象物F以特定之搬送速度朝搬送方向TD搬送。對象物F之搬送速度例如為48 m/分鐘。帶式輸送機60可視需要,將搬送速度變更為例如24 m/分鐘、96 m/分鐘等之搬送速度。又,帶式輸送機60可適當變更皮帶部之高度位置,變更X射線照射器50與對象物F之距離。另,作為以帶式輸送機60搬送之對象物F,可列舉例如肉類、魚貝類、農作物、點心等食品、輪胎等橡膠製品、樹脂製品、金屬製品、礦物等資源材料、廢棄物及電子零件或電子基板等各種物品。X射線照射器50係將作為X射線源的X射線照射(輸出)至對象物F之裝置。X射線照射器50為點光源,使X射線以特定之角度範圍朝一定之照射方向擴散照射。X射線照射器50以X射線之照射方向朝向帶式輸送機60,且擴散之X射線遍及於對象物F之寬度方向(與搬送方向TD交叉之方向)全體之方式,與帶式輸送機60隔開特定之距離,配置於帶式輸送機60之上方。又,X射線照射器50於對象物F之長度方向(與搬送方向TD平行之方向)上,將長度方向之特定之分割範圍設為照射範圍,將對象物F以帶式輸送機60向搬送方向TD搬送,藉此對於對象物F之長度方向全體照射X射線。X射線照射器50藉由控制裝置20設定管電壓及管電流,向帶式輸送機60照射與設定之管電壓及管電流對應之特定之能量、放射線量之X射線。又,於X射線照射器50之帶式輸送機60側附近,設有使X射線之特定波長域透過之濾波器51。
X射線檢測相機10檢測藉由X射線照射器50照射至對象物F之X射線中,透過對象物F之X射線,獲取及輸出基於該X射線之檢測信號。本實施形態之圖像獲取裝置1藉由依序輸出基於透過由帶式輸送機60搬送之對象物F之X射線之檢測信號,輸出於搬送方向TD掃描X射線透過像並拍攝之X射線透過圖像。
X射線檢測相機10具有濾波器19、閃爍器11、掃描相機12(檢測元件)、感測器控制部13、放大器14、AD(Analog-Digital:類比-數位)轉換器15、修正電路16、輸出介面17、及放大器控制部18。閃爍器11、掃描相機12、放大器14、AD轉換器15、修正電路16及輸出介面17分別電性連接。
閃爍器11藉由接著等固定於掃描相機12上,將透過對象物F之X射線轉換為閃爍光。閃爍器11將閃爍光輸出至掃描相機12。濾波器19使X射線之特定波長域向閃爍器11透過。
掃描相機12檢測來自閃爍器11之閃爍光,將其轉換為電荷,作為檢測信號(電性信號)輸出至放大器14。圖2係顯示掃描相機12之構成之俯視圖。如圖2所示,掃描相機12具備:光電二極體(光電轉換元件)即複數個像素72,其等2維排列於基板71上;讀出電路73,其將複數個像素72對閃爍光進行光電轉換並輸出之檢測信號輸出至外部;及配線部W,其將讀出電路73與複數個像素72之各者間電性連接。
詳細而言,掃描相機12具有於基板71上,包含沿搬送方向TD排列之M個(M為2以上之整數)像素72之像素列(像素群)74在與搬送方向TD大致正交之方向上排列N行(N為2以上之整數)之構成。例如,像素數M為4個,像素列的數N為20以上30,000以下之任意整數。
讀出電路73根據感測器控制部13之控制,依序接收對每個像素列74自M個像素72以特定之檢測週期(細節於下文敘述)之間隔輸出之檢測信號,進行將來自M個像素72之檢測信號中之至少2個像素72之檢測信號加算(合計)之處理,組合對每個像素列74實施加算處理後之檢測信號,作為與搬送方向TD正交之對象物F之1列之檢測信號而輸出至外部。本實施形態中,讀出電路73以M個所有檢測信號為對象,進行加算處理。此外,讀出電路73藉由錯開特定之檢測週期,以自M個像素72依序輸出之檢測信號為對象,進行加算處理,輸出與搬送方向TD正交之對象物F之下1列之檢測信號。同樣,讀出電路73依序輸出與搬送方向TD正交之對象物F之複數列之檢測信號。
感測器控制部13以掃描相機12之像素列74內之所有像素72可拍攝透過對象物F之相同區域之X射線之方式,控制掃描相機12以特定之檢測週期重複拍攝。特定之檢測週期亦可基於掃描相機12之像素列74內之像素72之像素寬而設定。特定之檢測週期亦可例如基於掃描相機12之像素列74內之像素72間之距離、帶式輸送機60之速度、X射線照射器50與帶式輸送機60上之對象物F之距離(FOD(Focus Object Distance:焦點物體間距離)、以及X射線照射器50與掃描相機12之距離(FDD(Focus Detector Distance:焦點感測器間距離)),特定出掃描相機12之像素列74內之像素72之檢測時序之偏差(延遲時間),基於該偏差設定特定之檢測週期。
放大器14將檢測信號以特定之設定放大率放大,產生放大信號,將該放大信號輸出至AD轉換器15。設定放大率係由放大器控制部18設定之放大率。放大器控制部18基於特定之攝像條件,設定放大器14之設定放大率。
AD轉換器15將由放大器14輸出之放大信號(電壓信號)轉換為數位信號,輸出至修正電路16。修正電路16對數位信號進行信號放大等特定之修正,將修正後之數位信號輸出至輸出介面17。輸出介面17將數位信號輸出至X射線檢測相機10外部。
控制裝置20例如為PC(Personal Computer:個人電腦)等電腦。控制裝置20基於與自X射線檢測相機10(更詳細而言,輸出介面17)依序輸出之複數列檢測信號對應之數位信號(放大信號),產生X射線透過圖像。本實施形態中,控制裝置20基於自輸出介面17輸出之128列量之數位信號,產生1個X射線透過圖像。將產生之X射線透過圖像實施後述之雜訊去除處理後,輸出至顯示裝置30,藉由顯示裝置30顯示。又,控制裝置20控制X射線照射器50、放大器控制部18及感測器控制部13。另,本實施形態之控制裝置20為獨立設置於X射線檢測相機10之外部之裝置,但亦可於X射線檢測相機10之內部一體化。
圖3係顯示控制裝置20之硬體構成。如圖3所示,控制裝置20為物理上包含處理器即CPU(Central Processing Unit:中央處理單元)101及GPU105(Graphic Processing Unit:圖形處理單元)、記錄媒體即RAM(Random Access Memory:隨機存取記憶體)102及ROM(Read Only Memory:唯讀記憶體)103、通信模組104及輸入輸出模組106等之電腦等,各者電性連接。另,控制裝置20可包含作為輸入裝置40及顯示裝置30之顯示器、鍵盤、滑鼠、觸控面板顯示器等,亦可包含硬碟驅動器、半導體記憶體等資料記錄裝置。又,控制裝置20亦可由複數個電腦構成。
圖4係顯示控制裝置20之功能構成之方塊圖。控制裝置20具備輸入部201、算出部202、圖像獲取部203、雜訊圖生成部204、處理部205及構築部206。圖4所示之控制裝置20之各功能部藉由將程式(第1實施形態之放射線圖像處理程式)讀入CPU101、GPU105及RAM102等硬體上,於CPU101及GPU105之控制下,使通信模組104及輸入輸出模組106等動作,且進行RAM102之資料讀出及寫入而實現。控制裝置20之CPU101及GPU105藉由執行該電腦程式,使控制裝置20作為圖4之各功能部發揮功能,依序執行與後述之放射線圖像獲取處理方法對應之處理。另,CPU101及GPU105可為單體之硬體,亦可為僅任一者。又,CPU101及GPU105亦可如軟體處理器般,安裝於如FPGA(Field Programmable Gate Array:場可程式化閘陣列)之可程式化邏輯中。對於RAM或ROM,可為單體之硬體,亦可為內置於如FPGA之可程式化邏輯中。執行該電腦程式所需之各種資料,及藉由執行該電腦程式產生之各種資料全部存儲於ROM103、RAM102等內置記憶體,或硬碟驅動器等記憶媒體中。又,於控制裝置20內之內置記憶體或記憶媒體中,預先存儲有藉由利用CPU101及GPU105讀入,使CPU101及GPU105以X射線圖像(X射線透過圖像)為對象,執行雜訊去除處理之預學習模型207(後述)。
以下,針對控制裝置20之各功能部之功能之細節進行說明。
輸入部201接受顯示照射放射線並拍攝對象物F時之放射線之產生源之條件或攝像條件之任一者之條件資訊之輸入。具體而言,輸入部201自圖像獲取裝置1之使用者接受顯示拍攝對象物F之X射線圖像時之X射線照射器(放射線產生源)50之動作條件,或X射線檢測相機10之攝像條件等之條件資訊之輸入。作為動作條件,列舉管電壓、靶材角度、靶材之材料等中之全部或部分。作為顯示攝像條件之條件資訊,列舉配置於X射線照射器50與X射線檢測相機10間之濾波器51、19之材質及厚度;X射線照射器50與X射線檢測相機10之距離(FDD);X射線檢測相機10之視窗材料之種類及X射線檢測相機10之閃爍器11之材料及厚度相關之資訊;X射線檢測相機資訊(例如增益設定值、電路雜訊值、飽和電荷量、轉換係數值(e-/count)、相機之線速率(Hz)或線速(m/min));對象物F之資訊等中之全部或部分。輸入部201可將條件資訊之輸入作為數值等資訊之直接輸入予以接受,亦可作為對於預先設定於內部記憶體之數值等資訊之選擇輸入予以接受。輸入部201自使用者接受上述條件資訊之輸入,但亦可根據控制裝置20之控制狀態之檢測結果,獲取部分條件資訊(管電壓等)。
算出部202基於條件資訊,算出透過對象物F之X射線(放射線)相關之平均能量。條件資訊中,至少包含產生源之管電壓、對象物F相關之資訊、用於拍攝對象物F之相機具備之濾波器之資訊、相機具備之閃爍器之資訊、X射線產生源具備之濾波器之資訊之任一者。具體而言,算出部202基於接受由輸入部201輸入之條件資訊,算出使用圖像獲取裝置1使對象物F透過,由X射線檢測相機10檢測之X射線之平均能量值。例如,算出部202基於條件資訊中包含之管電壓、靶材角度、靶材之材料、濾波器51、19之材質及厚度及其有無、X射線檢測相機10之視窗材料之種類及其有無、X射線檢測相機10之閃爍器11之材料及厚度等資訊,使用例如眾所周知之Tucker等近似式,算出以X射線檢測相機10檢測之X射線之頻譜。且,算出部202自X射線之頻譜進而算出頻譜強度積分值與光子數積分值,藉由頻譜強度積分值除以光子數積分值,算出X射線之平均能量值。
針對使用眾所周知之Tucker近似式之算出方法進行記載。例如,若將靶材設定為鎢,將靶材角度特定為25°,則算出部202可決定Em:電子靶材碰撞時之動能、T:靶材中之電子動能、A:由靶材物質之原子序數決定之比例常數、ρ:靶材之密度、μ(E):靶材物質之線減弱係數、B:緩慢變化之Z與T之函數、C:Thomson-Whiddington(湯姆遜-惠丁頓)常數、θ:靶材角度、c:真空中之光速度。再者,算出部202藉由基於該等算出下述式(1),可算出照射X射線頻譜。
接著,算出部202可使用下述式(2)之X射線之減弱式,算出透過濾波器及對象物F並由閃爍器吸收之X射線能譜。
【數2】
此處,μ為對象物F、濾波器、閃爍器等之減弱係數、x為對象物F、濾波器、閃爍器等之厚度。μ可由對象物F、濾波器及閃爍器之材質之資訊決定,x可由對象物F、濾波器及閃爍器之厚度之資訊決定。X射線光子數頻譜藉由該X射線能譜除以各X射線之能量而求得。算出部202藉由能量強度之積分值除以光子數之積分值,使用下述式(3)算出X射線之平均能量。
平均能量E=頻譜強度積分值/光子數積分值…(3)
根據上述之計算過程,算出部202算出X射線之平均能量。另,對於X射線頻譜之算出,亦可使用眾所周知之Kramers或Birch等人之近似式。
圖像獲取部203係對於對象物F照射放射線,獲取拍攝透過對象物F之放射線的放射線圖像。具體而言,圖像獲取部203基於自X射線檢測相機10(更詳細而言,為輸出介面17)輸出之數位信號(放大信號),產生X射線圖像。圖像獲取部203基於自輸出介面17輸出之複數列量之數位信號,產生1個X射線圖像。圖5係顯示圖像獲取部203獲取之X射線圖像之一例之圖。
雜訊圖生成部204基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖。此時,雜訊圖生成部204自透過對象物F之放射線相關之平均能量,及放射線圖像之各圖像之像素值,導出評估值。具體而言,雜訊圖生成部204使用像素值與雜訊值之標準偏差(評估雜訊值之擴大之評估值)之關係式(關係資料),自藉由算出部202算出之X射線之平均能量,及藉由圖像獲取部203獲取之X射線圖像(放射線圖像)之各像素之像素值,導出雜訊值之標準偏差。雜訊圖生成部204藉由將導出之雜訊值之標準偏差與X射線圖像之各像素建立對應,生成雜訊標準偏差圖(雜訊圖)。
由雜訊圖生成部204使用之像素值及平均能量與雜訊值之標準偏差之關係式以下式(4)表示。
【數3】
上述式(4)中,變數Noise為表示雜訊值之標準偏差之資訊,變數Signal為表示像素之信號值(像素值)之資訊,常數F為表示雜訊因數(Noise Factor)之資訊,常數M為表示閃爍器之放大係數之資訊,常數C為表示X射線檢測相機10中掃描相機12與閃爍器11之耦合效率(Coupling Efficiency)之資訊,常數Q為表示掃描相機12之量子效率(Quantum Efficiency)之資訊,常數cf為表示掃描相機12中將像素之信號值轉換為電荷之轉換係數之資訊,變數Em為表示X射線之平均能量之資訊,常數D為表示影像感測器中因熱雜音而產生之暗電流雜訊之資訊,常數R為表示掃描相機12中之讀出雜訊之資訊。使用上述式(4)時,藉由雜訊圖生成部204,將藉由圖像獲取部203獲取之X射線圖像之各像素之像素值代入變數Signal,將藉由算出部202算出之平均能量之數值代入變數Em。且,藉由雜訊圖生成部204,獲得使用上述式(4)計算之變數Noise,作為雜訊值之標準偏差之數值。另,包含平均能量之其他參數可藉由接受輸入部201之輸入而獲取,亦可預先設定。
圖6係顯示由雜訊圖生成部204之雜訊標準偏差圖之生成例之圖。雜訊圖生成部204使用像素值與雜訊值之標準偏差之關係式(4),將各種像素值代入變數Signal,獲取像素值與變數Noise之對應關係,藉此導出表示像素值與雜訊值之標準偏差之對應關係之關係圖表G3。且,雜訊圖生成部204自藉由圖像獲取部203獲取之X射線圖像G1,導出表示各像素位置與像素值之對應關係之關係資料G2。再者,雜訊圖生成部204藉由將關係圖表G3所示之對應關係應用於關係資料G2之各像素值中,導出與X射線圖像之各像素位置之像素對應之雜訊值之標準偏差。其結果,雜訊圖生成部204將導出之雜訊之標準偏差與各像素位置建立對應,導出顯示各像素位置與雜訊之標準偏差之對應關係之關係資料G4。且,雜訊圖生成部204基於導出之關係資料G4,生成雜訊標準偏差圖表G5。
處理部205將放射線圖像及雜訊圖輸入至預先藉由機械學習而構築之預學習模型207,執行自放射線圖像去除雜訊之圖像處理。即,如圖7所示,處理部205自控制裝置20內之內置記憶體或記憶媒體獲取由構築部206構築之預學習模型207(後述)。處理部205將藉由圖像獲取部203獲取之X射線圖像G1,及藉由雜訊圖生成部204生成之雜訊標準偏差圖表G5輸入至預學習模型207。藉此,處理部205藉由利用預學習模型207,執行自X射線圖像G1去除雜訊之圖像處理,而產生輸出圖像G6。且,處理部205將產生之輸出圖像G6輸出至顯示裝置30等。
構築部206使用放射線圖像即訓練圖像、基於像素值與雜訊值之標準偏差之關係式自訓練圖像生成之雜訊圖、及自訓練圖像去除雜訊後之資料即雜訊去除圖像資料,作為訓練資料,藉由機械學習,構築基於訓練圖像及雜訊圖,輸出雜訊去除圖像資料之預學習模型207。構築部206將構築之預學習模型207記憶於控制裝置20內之內置記憶體或記憶媒體。機械學習有監督學習、無監督學習及強化學習,該等學習中,有深層學習(深度學習)、神經網路學習等。第1實施形態中,作為深度學習之演算法之一例,採用Kai Zhang等人之論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”中記載之2維卷積神經網路。另,預學習模型207除藉由構築部206構築以外,亦可藉由外部之電腦等產生,並下載至控制裝置20中。另,用於機械學習之放射線圖像包含拍攝已知構造物之放射線圖像,或再現該放射線圖像之圖像。
圖8係用於構築預學習模型207之訓練資料之一者即訓練圖像之一例。作為訓練圖像,可使用以各種厚度、各種材質及各種解像度之圖像為攝像對象之X射線圖像。圖8所示之例為以雞肉為對象產生之訓練圖像G7。該訓練圖像G7可使用實際使用圖像獲取裝置1,以複數種已知構造物為對象產生之X射線圖像,亦可使用藉由模擬計算產生之圖像。對於X射線圖像,亦可使用與圖像獲取裝置1不同之裝置獲取。
作為用以進行機械學習之前處理,構築部206基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖。具體而言,構築部206構築預學習模型207時,自圖像獲取部203等獲取藉由實際之攝像或模擬計算等產生之訓練圖像。且,構築部206例如設定圖像獲取裝置1之X射線照射器50之動作條件或圖像獲取裝置1之攝像條件等。或者,構築部206設定模擬計算時之X射線照射器50之動作條件或攝像條件。構築部206使用與算出部202相同之方法,基於上述動作條件或攝像條件,計算X射線之平均能量。再者,構築部206使用與如圖6所示之雜訊圖生成部204之方法相同之方法,基於X射線之平均能量及該訓練圖像,生成雜訊標準偏差圖。即,機械學習方法之前處理方法具備雜訊圖生成步驟,其基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖。
構築部206使用該訓練圖像、自該訓練圖像生成之雜訊圖、及自訓練圖像預先去除雜訊之資料即雜訊去除圖像資料作為訓練資料,藉由機械學習構築預學習模型207。具體而言,構築部206預先獲取自該訓練圖像去除雜訊後之雜訊去除圖像資料。構築部206於訓練圖像為藉由模擬計算產生之X射線圖像之情形時,將訓練圖像之產生過程中附加雜訊前之圖像設為雜訊去除圖像資料。另一方面,構築部206於訓練圖像為實際使用圖像獲取裝置1,以複數種之已知構造物為對象產生之X射線圖像之情形時,將使用平均值濾波器、或中值濾波器、雙邊濾波器、NLM(Non-Local Means:非局部均值)濾波器等之圖像處理,自X射線圖像去除雜訊後之圖像,設為雜訊去除圖像資料。構築部206執行利用機械學習之訓練,構築基於該訓練圖像及雜訊標準偏差圖,輸出雜訊去除圖像資料之預學習模型207。
圖9係顯示構築部206構築預學習模型207所用之教學資料(訓練資料)即圖像資料之製作順序之流程圖。
教學資料即圖像資料(亦稱為教學圖像資料)藉由電腦,由以下順序製作。首先,製作具有特定構造之構造體之圖像(構造體圖像)(步驟S301)。例如,亦可藉由模擬計算,製作具有特定構造的構造體之圖像。又,亦可獲取具有特定構造之圖表等的構造體之X射線圖像而製作構造體圖像。接著,對於自構成該構造體圖像之複數個像素中選擇之一個像素,算出像素值之標準偏差即σ值(步驟S302)。且,基於步驟S302中求得之σ值,設定顯示雜訊分佈之正規分佈(泊松分布)(步驟S303)。如此,藉由基於σ值而設定正規分佈,可產生各種雜訊條件之教學資料。接著,沿步驟S303中基於σ值設定之正規分佈,算出隨機設定之雜訊值(步驟S304)。再者,藉由對一個像素之像素值附加步驟S304中求得之雜訊值,產生構成教學資料即圖像資料之像素值(步驟S305)。對構成構造體圖像之複數個像素各者進行步驟S302~步驟S305之處理(步驟S306),產生成為教學資料之教學圖像資料(步驟S307)。又,進而需要教學圖像資料之情形時,判斷要對其他構造體圖像進行步驟S301~步驟S307之處理(步驟S308),產生成為教學資料之其他教學圖像資料。另,其他構造體圖像可為具有相同構造的構造體之圖像,亦可為具有其他構造的構造體之圖像。
另,需要準備多個用於構築預學習模型207之教學資料即圖像資料。又,構造體圖像較佳為雜訊較少之圖像,理想而言,較佳為無雜訊之圖像。因此,若藉由模擬計算產生構造體圖像,則可產生多個無雜訊之圖像,故藉由模擬計算產生構造體圖像較為有效。
接著,針對使用第1實施形態之圖像獲取裝置1之對象物F之X射線透過像之觀察處理順序,即第1實施形態之放射線圖像獲取方法之流程進行說明。圖10係顯示圖像獲取裝置1之觀察處理順序之流程圖。
首先,藉由構築部206,使用訓練圖像、基於關係式自訓練圖像生成之雜訊標準偏差圖,及雜訊去除圖像資料作為訓練資料,藉由機械學習,構築基於訓練圖像及雜訊標準偏差圖,輸出雜訊去除圖像資料之預學習模型207(步驟S100)。接著,藉由輸入部201,接受來自圖像獲取裝置1之操作員(使用者)之條件資訊之輸入(步驟S101),該條件資訊顯示X射線照射器50之動作條件或X射線檢測相機10之攝像條件等。且,藉由算出部202,基於條件資訊,算出藉由X射線檢測相機10檢測之X射線之平均能量值(步驟S102)。
接著,於圖像獲取裝置1中設置對象物F,拍攝對象物F,藉由控制裝置20獲取對象物F之X射線圖像(步驟S103)。再者,藉由控制裝置20,基於像素值與雜訊值之標準偏差之關係式,自X射線之平均能量及X射線圖像之各像素之像素值,導出雜訊值之標準偏差,將導出之雜訊之標準偏差與各像素值建立對應,藉此生成雜訊標準偏差圖(步驟S104)。
接著,藉由處理部205,對預先構築並記憶之預學習模型207輸入對象物F之X射線圖像及雜訊標準偏差圖,以X射線圖像為對象,執行雜訊去除處理(步驟S105)。再者,將藉由處理部205實施雜訊去除處理後之X射線圖像即輸出圖像輸出至顯示裝置30(步驟S106)。
根據以上說明之圖像獲取裝置1,藉由具有於對象物F之掃描方向TD排列之M個像素72之像素列74以N行排列之掃描相機12,檢測與透過對象物F之X射線對應之閃爍光,將對每個像素列74輸出之M個像素72之檢測信號中之至少2個像素72之檢測信號加算,依序輸出加算後之N個檢測信號,藉此輸出X射線圖像。此外,藉由將輸出之X射線圖像輸入至預先藉由使用圖像資料之機械學習而構築之預學習模型207,對該X射線圖像實施雜訊去除處理。藉此,可增大X射線圖像中之信號成分且去除雜訊成分,可有效提高X射線圖像之S/N比。具體而言,可知實施使用預學習模型207之雜訊去除處理之情形與未實施雜訊去除處理之情形相比,CNR(Contrast to Noise Ratio:對比雜訊比)改善約6.4倍,與利用雙邊濾波器之雜訊去除處理之CNR之約1.9倍之改善效果相比,改善效果亦較大。
又,圖像獲取裝置1中,預學習模型207係藉由將對特定構造體之X射線圖像附加沿正規分佈之雜訊值所得之圖像資料作為教學資料之機械學習而構築。藉此,容易準備用於構築預學習模型207之教學資料即圖像資料,可有效構築預學習模型207。
又,根據圖像獲取裝置1,使用像素值與雜訊值之標準偏差之關係式,自X射線圖像之各圖像之像素值導出雜訊值之標準偏差,生成將導出之雜訊值之標準偏差與X射線圖像之各像素建立對應之資料即雜訊標準偏差圖。且,將X射線圖像及雜訊標準偏差圖輸入至預先藉由機械學習而構築之預學習模型207,執行自X射線圖像去除雜訊之圖像處理。根據該構成,考慮自X射線圖像之各像素之像素值導出之雜訊值之標準偏差,藉由機械學習去除該X射線圖像之各像素中之雜訊。藉此,可使用預學習模型207,實現與X射線圖像之像素值及雜訊值之標準偏差之關係對應之雜訊去除。其結果,可有效去除X射線圖像中之雜訊。
尤其,X射線圖像根據管電壓、濾波器、閃爍器、X射線檢測相機之條件(增益設定值、電路雜訊值、飽和電荷量、轉換係數值(e-/count)、相機之線速率)、對象物等之差異,雜訊之態樣變化。因此,欲藉由機械學習實現雜訊去除之情形時,考慮預先準備以各種條件學習之學習模型。即,作為比較例,亦可採用配合X射線圖像測定時之條件,構築複數個學習模型,對每個條件選擇學習模型,執行雜訊去除處理之方法。此種比較例之情形時,例如有必須對X射線之平均能量、X射線檢測相機之增益及X射線相機之種類等每個雜訊條件,構築學習模型,需要產生龐大數量之學習模型,為了構築需要大量時間之情形。作為一例,X射線之平均能量為10種,X射線檢測相機之增益為8種,製品之種類為3種時,需要240個預學習模型,但對於構築預學習模型,每1個模型需要1天之情形時,導致為了機械學習而花費240天時間。對於該點,根據本實施形態,自X射線圖像生成雜訊圖,將該雜訊圖設為機械學習之輸入資料,藉此可降低產生預學習模型所需之雜訊條件,用以構築預學習模型207之學習時間大幅減少。
[第1實施形態之控制裝置20之變化例]
圖11係顯示第1實施形態之變化例之控制裝置20A之功能構成之方塊圖。控制裝置20A與上述第1實施形態相比,於算出部202A中,具有自X射線圖像之像素值導出X射線之平均能量之功能之方面,及雜訊圖生成部204A中,具有基於X射線圖像之像素值及自該X射線圖像導出之X射線之平均能量,導出雜訊標準偏差圖之功能之方面不同。圖12係顯示包含圖11之控制裝置20A之圖像獲取裝置1之觀察處理順序之流程圖。如圖12所示,控制裝置20A中,於步驟S100之後,立即進行圖10所示之第1實施形態之控制裝置20之步驟S103所示之處理。且,控制裝置20A中,以S102A、S104A所示之處理置換控制裝置20之步驟S102、S104之處理而執行。
算出部202A自放射線圖像之各像素之像素值算出平均能量(步驟S102A)。具體而言,算出部202A根據X射線頻譜之模擬計算等,對每個條件資訊預先導出像素值與平均能量之關係。算出部202A獲取至少包含藉由輸入部201獲取之管電壓,及X射線檢測相機10具備之閃爍器之資訊之條件資訊。且,算出部202A基於該條件資訊,自預先導出之像素值與平均能量之關係中,選擇與該條件資訊對應之關係。再者,算出部202A基於選擇之關係,自藉由圖像獲取部203獲取之X射線圖像之各像素之像素值,導出每個像素之平均能量。
以下,針對算出部202A對每個該條件資訊導出像素值與平均能量之關係,使用圖13~圖17進行說明。
首先,算出部202A基於條件資訊,導出表示對象物F之厚度與X射線之透過率之關係之圖表G18,及表示對象物F之厚度與X射線之平均能量之關係之圖表G19。具體而言,如圖13之(a)部~(d)部所示,算出部202A基於至少包含管電壓及X射線檢測相機10具備之閃爍器之資訊之條件資訊,藉由模擬計算,算出將對象物F之厚度進行各種變更之情形時透過之X射線之能譜G14~G17。圖13係顯示算出部202A對於透過對象物F之X射線之能譜之模擬計算結果之一例之圖表。此處,例示使由水構成之對象物F之厚度階段性增加,進行模擬計算時之透過X射線之能譜G14~G17。再者,算出部202A基於算出之能譜G14~G17,算出將對象物F之厚度進行各種變更之情形時透過之X射線之平均能量。另,算出部202A除模擬計算以外,亦可基於藉由以厚度已知之構造物為對象進行拍攝所得之X射線圖像,獲得對象物F之厚度與平均能量之關係。
再者,算出部202A亦基於上述模擬結果,導出對象物F之厚度與X射線之透過率之關係。圖14係顯示藉由算出部202A導出之對象物F之厚度與平均能量及透過率之關係之一例之圖表。如圖14所示,與對對象物F之每個厚度算出之能譜G14~G17之各者對應,導出透過X射線之平均能量及X射線之透過率。
接著,算出部202A自對各種厚度之對象物F導出之X射線之透過率,導出顯示對象物F之厚度與X射線之透過率之關係之圖表G18。圖15係顯示由算出部202A導出之對象物F之厚度與X射線對於對象物F之透過率之關係之圖表。此外,算出部202A自對各種厚度之對象物F導出之X射線之平均能量,導出顯示對象物F之厚度與X射線之平均能量之關係之圖表G19。圖16係顯示由算出部202A導出之對象物F之厚度與透過對象物F之X射線之平均能量之關係之一例之圖表。
且,算出部202A基於對各種條件資訊之每者導出之2個圖表G18、G19,對各種條件資訊之每者導出如圖17所示之顯示X射線圖像之像素值與平均能量之關係之圖表G20。圖17係顯示由算出部202A導出之X射線圖像之像素值與平均能量之關係之圖表。具體而言,算出部202A基於條件資訊,導出不存在對象物F時之X射線圖透過像之像素值I
0。且,算出部202A設定存在對象物F時之X射線圖像之像素值I,計算X射線之透過率即I/I
0。再者,算出部202A基於對象物F之厚度與X射線對於對象物F之透過率之圖表G18,自計算之X射線之透過率即I/I
0,導出對象物F之厚度。最後,算出部202A基於導出之對象物F之厚度,及對象物F之厚度與透過X射線之平均能量之圖表G19,導出與該厚度對應之透過X射線之平均能量。接著,算出部202A藉由使X射線圖像之像素值I進行各種變化,且對各種條件資訊每者進行上述導出,而對每個條件資訊導出顯示X射線圖像之像素值與透過X射線之平均能量之關係之圖表G20。
此處,針對由算出部202A基於像素值之平均能量之導出例進行說明。例如,假設以下情形:算出部202A基於條件資訊,將不存在對象物F時之X射線圖透過像之像素值導出為I
0=5000,將存在對象物F時之X射線圖像之像素值設定為I=500。該情形時,算出部202A計算X射線之透過率為I/I
0=0.1。接著,算出部202A基於顯示對象物F之厚度與X射線對於對象物F之透過率之關係之圖表G18,導出與X射線之透過率0.1對應之厚度為30 mm。再者,算出部202A基於顯示對象物F之厚度與透過X射線之平均能量之關係之圖表G19,導出與像素值500對應之平均能量為27 keV。最後,算出部202A對每個像素值重複導出X射線之平均能量,導出顯示X射線圖像之像素值與平均能量之關係之圖表G20。
再者,算出部202A自按以上順序預先導出之複數個圖表G20中,選擇與由輸入部201獲取之條件資訊對應之圖表G20。算出部202A基於選擇之圖表G20,導出與藉由圖像獲取部203獲取之X射線圖像之各像素之像素值對應之透過X射線之平均能量。
另,算出部202A亦可未預先對每個條件資訊導出像素值與X射線之平均能量之關係,而自藉由輸入部201獲取之條件資訊與X射線圖像之各像素之像素值,參照圖表G18、G19導出X射線之平均能量。具體而言,算出部202A基於條件資訊,導出不存在對象物時之X射線圖像之像素值I
0。且,算出部202A藉由對由圖像獲取部203獲取之X射線圖像之各像素之每個像素值I,求得相對於像素值I
0之比例,計算透過率。再者,算出部202A基於顯示厚度與X射線之透過率之關係之圖表G18與計算之透過率,導出厚度。且,算出部202A藉由基於顯示厚度與平均能量之關係之圖表G19與導出之厚度,導出平均能量,而對X射線圖像之各像素之每個像素值,導出平均能量。
雜訊圖生成部204A自藉由圖像獲取部203獲取之X射線圖像,及與藉由算出部202A導出之該X射線圖像之各像素對應之X射線之平均能量,生成雜訊標準偏差圖(步驟S104A)。具體而言,雜訊圖生成部204A將藉由圖像獲取部203獲取之X射線圖像之各像素之像素值,及藉由算出部202A對各像素之每個導出之平均能量代入關係式(4),藉此導出考慮對象物之厚度之各像素之每個的雜訊值之標準偏差。雜訊圖生成部204A生成與X射線圖像之各像素對應之雜訊值之標準偏差,作為雜訊標準偏差圖。
圖18係顯示像素值與雜訊值之標準偏差之關係之一例之圖表。該圖表顯示藉由本變化例之算出部202A及雜訊圖生成部204A,自X射線圖像之像素值導出之雜訊值之標準偏差,與X射線圖像之像素值之關係。本變化例中,由於考慮對象物之厚度導出雜訊值之標準偏差,故像素值愈增加,對象物之厚度愈小,像素之平均能量降低。因此,如亦自關係式(4)推定,第1實施形態與本變化例於像素值增大時之雜訊值之標準偏差的變化不同。圖18所示之例中,本變化例之圖表G22之像素值增大時之雜訊值之標準偏差之增大程度小於第1實施形態之圖表G21。
第1實施形態之變化例之控制裝置20A中,自X射線圖像之各像素之像素值計算平均能量。此處,例如X射線圖像中存在厚度或材質不同之複數個對象物之情形時,每個對象物之平均能量大為不同,無法自X射線圖像充分去除雜訊。根據該構成,由於對X射線圖像之各像素之每個像素值,計算透過對象物F之X射線之平均能量,故例如可考慮厚度或材質之差異等,實現與X射線圖像之各像素之像素值與雜訊之關係對應之雜訊去除。其結果,可有效去除X射線圖像中之雜訊。
另,本變化例之控制裝置20A使用對各種條件資訊之每者導出之圖表G20,自X射線圖像之像素值導出平均能量。此時,亦可忽視對象物F之材質差異,自像素值導出平均能量。圖19係顯示藉由算出部202A導出之X射線圖像之像素值與雜訊值之標準偏差之關係之圖表。此處,亦將對象物F之材質變化作為條件資訊納入考慮,導出關係,圖表G24顯示材質為鋁時之導出例,圖表G23顯示材質為PET (Polyethylene terephthalate:聚對苯二甲酸乙二酯)時之導出例,圖表G25顯示材質為銅時之導出例。如此,即使對象物F之材質變化之情形時,只要X射線照射器50之管電壓及用於拍攝對象物F之X射線檢測相機10具備之閃爍器之資訊相同,則像素值與透過X射線之平均能量之關係不大幅變化,故像素值與雜訊值之標準偏差之關係亦不大幅變化。考慮此種性質,控制裝置20A可忽視作為條件資訊之對象物F之材質差異,自X射線圖像之像素值導出平均能量。此種情形時,根據本變化例之控制裝置20A,亦可實現與像素值及雜訊之標準偏差之關係對應之雜訊去除。其結果,可有效去除X射線圖像中之雜訊。
[第1實施形態之控制裝置20之另一變化例]
圖20係顯示第1實施形態之另一變化例之控制裝置20B之功能構成之方塊圖。控制裝置20B與上述第1實施形態相比,於圖像獲取部203B中,具有獲取治具之X射線圖像之功能之方面,及雜訊圖生成部204B中,具有自治具之X射線圖像導出顯示像素值與雜訊值之標準偏差之關係之圖表的功能之方面不同。圖21係顯示包含圖20之控制裝置20B之圖像獲取裝置1之觀察處理順序之流程圖。如圖21所示,本變化例之控制裝置20B中,步驟S201、S202所示之處理置換圖10所示之第1實施形態之控制裝置20之步驟S101、S102及S104之處理而執行。
圖像獲取部203B對治具照射放射線,獲取拍攝透過治具之放射線之治具的放射線圖像(步驟S201)。具體而言,圖像獲取部203B使用圖像獲取裝置1,以治具及對象物F為對象,照射X射線,獲取拍攝之X射線圖像。作為治具,使用厚度及材質已知之平板狀構件等。即,圖像獲取部203B於觀察處理對象物F之前,使用圖像獲取裝置1,獲取拍攝之治具之X射線圖像。且,圖像獲取部203B使用圖像獲取裝置1,獲取拍攝之對象物F之X射線圖像。但,治具及對象物F之X射線圖像之獲取時序不限定於上述,可同時,亦可為相反之時序(步驟S103)。又,圖像獲取部203B與圖像獲取部203同樣,對於對象物F照射X射線,獲取拍攝透過對象物F之X射線之X射線圖像。
圖像獲取裝置1中,設置治具並拍攝治具,雜訊圖生成部204B自其結果所得之治具之放射線圖像,導出顯示像素值與評估雜訊值之擴大之評估值之關係的關係資料(步驟S202)。具體而言,雜訊圖生成部204B自治具之X射線圖像,導出顯示像素值與雜訊值之標準偏差之關係之雜訊標準偏差圖。
圖22係顯示雜訊圖生成部204B之雜訊標準偏差圖之生成例之圖。雜訊圖生成部204B自治具之X射線圖像G26,導出顯示像素值與雜訊值之標準偏差之對應關係之關係圖表G27。且,雜訊圖生成部204B與第1實施形態同樣,自藉由圖像獲取部203B獲取之X射線圖像G1,導出顯示各像素位置與像素值之對應關係的關係資料G2。再者,雜訊圖生成部204藉由將關係圖表G27所示之對應關係應用於關係資料G2中之各像素,而導出與X射線圖像之各像素位置之像素對應之雜訊值之標準偏差。其結果,雜訊圖生成部204將導出之雜訊之標準偏差與各像素位置建立對應,導出顯示各像素位置與雜訊之標準偏差之對應關係的關係資料G4。且,雜訊圖生成部204基於導出之關係資料G4,生成雜訊標準偏差圖G5。
針對雜訊圖生成部204B自治具之X射線圖像G26導出顯示像素值與雜訊值之標準偏差之關係的關係圖表G27進行說明。圖23係顯示本變化例之攝像所用之治具之構造之一例。治具使用例如厚度於一方向階梯狀變化之構件P1。圖24係顯示圖23之治具之X射線圖像之一例。首先,雜訊圖生成部204B於治具之X射線圖像G26中,對治具之每一階導出無雜訊時之像素值(以下,記作真像素值),基於真像素值導出雜訊值之標準偏差。具體而言,雜訊圖生成部204B導出治具具有階之像素值之平均值。且,雜訊圖生成部204B將導出之像素值之平均值設為該階之真像素值。雜訊圖生成部204B於該階中,導出各像素值與真像素值之差作為雜訊值。雜訊圖生成部204B自導出之每個像素值之雜訊值,導出雜訊值之標準偏差。
且,雜訊圖生成部204B導出真像素值與雜訊值之標準偏差之關係,作為像素值與雜訊值之標準偏差之關係圖表G27。具體而言,雜訊圖生成部204B對治具之每階,導出真像素值及雜訊值之標準偏差。雜訊圖生成部204B藉由將導出之真像素值與雜訊值之標準偏差之關係繪製成圖表,描繪近似曲線,而導出顯示像素值與雜訊值之標準偏差之關係的關係圖表G27。另,對於近似曲線,使用指數近似或線性近似、對數近似、多項式近似、冪方近似等。
本變化例之控制裝置20B中,基於拍攝實際之治具所得之放射線圖像,產生關係資料。藉此,獲得對於對象物F之放射線圖像之雜訊去除最佳之關係資料。其結果,可更有效去除放射線圖像中之雜訊。
另,雜訊圖生成部204B亦可不使用治具,自以無對象物之狀態變更管電流或曝光時間時之攝像圖像,導出像素值與雜訊值之標準偏差之關係。根據該構成,由於基於實際拍攝所得之放射線圖像產生關係資料,生成雜訊圖,故可實現與像素值及雜訊擴大之關係對應之雜訊去除。其結果,可更有效去除放射線圖像中之雜訊。
具體而言,亦可圖像獲取部203B獲取以無對象物之狀態拍攝之複數個放射線圖像(步驟S201),雜訊圖生成部204B自藉由圖像獲取部203B獲取之放射線圖像,導出像素值與雜訊值之標準偏差之關係(步驟S202)。複數個放射線圖像為放射線之產生源之條件或攝像條件之至少一個條件互不相同之複數個圖像。作為一例,圖像獲取部203B變更管電流或曝光時間,且於觀察處理對象物F之前,以無對象物F之狀態使用圖像獲取裝置1,獲取所拍攝之複數個X射線圖像。且,雜訊圖生成部204B對每個X射線圖像導出真像素值,與本變化例同樣,基於真像素值導出雜訊之標準偏差。再者,雜訊圖生成部204B與本變化例同樣,藉由將真像素值與雜訊之標準偏差之關係繪製成圖表,描繪近似曲線,而導出顯示像素值與雜訊值之標準偏差之關係的關係圖表。最後,雜訊圖生成部204B與第1實施形態同樣,基於導出之關係圖表,自藉由圖像獲取部203B獲取之X射線圖像生成雜訊標準偏差圖。
[第2實施形態]
圖25係顯示第2實施形態之控制裝置20C之功能構成之方塊圖。控制裝置20C具備輸入部201C、算出部202C、鎖定部203C、選擇部204C及處理部205C。
又,於控制裝置20C,預先存儲有複數個以X射線透過圖像為對象,執行雜訊去除處理之預學習模型206C。複數個預學習模型206C分別為將圖像資料作為教學資料預先構築之機械學習之學習模型。機械學習有監督學習、深層學習(深度學習)、或強化學習、神經網路學習等。本實施形態中,作為深度學習之算法之一例,採用Kai Zhang等人之論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”中記載之2維卷積神經網路。複數個預學習模型206C可藉由外部之電腦等產生,下載於控制裝置20C中,亦可於控制裝置20C內產生。
圖26顯示用於構築預學習模型206C之教學資料即圖像資料之一例。作為教學資料,可使用各種厚度、各種材質及以各種解像度之圖案為攝像對象之X射線透過圖像。圖26所示之例為以雞肉為對象產生之X射線透過圖像之例。該圖像資料可使用實際使用圖像獲取裝置1,以複數種對象物為對象生成之X射線透過圖像,亦可使用藉由模擬計算產生之圖像資料。對於X射線透過圖像,亦可使用與圖像獲取裝置1不同之裝置獲取。又,亦可組合X射線透過圖像與藉由模擬計算產生之圖像資料。複數個預學習模型206C分別係使用以平均能量不同之透過X射線為對象獲得且係雜訊分佈已知之圖像資料而預先構築。圖像資料中之X射線之平均能量分別藉由設定圖像獲取裝置1之X射線照射器(放射線產生源)50之動作條件或圖像獲取裝置1之攝像條件等,或藉由設定模擬計算時之X射線照射器50之動作條件或攝像條件,預先設定為不同值(關於藉由動作條件或攝像條件設定平均能量之方法於下文敘述)。即,複數個預學習模型206C使用與基於顯示拍攝對象物F之X射線透過圖像時之X射線照射器(放射線產生源)50之動作條件,或X射線檢測相機10之攝像條件等之條件資訊算出之透過對象物F之X射線相關之平均能量對應之X射線圖像即訓練圖像,作為訓練資料,藉由機械學習予以構築(構築步驟)。例如,本實施形態中,複數個預學習模型206C係使用複數訊框(例如20,000訊框)構築平均能量分別為10 keV、20 keV、30 keV、…與設定有10 keV刻度值之複數種圖像資料。
用於構築預學習模型206C之教學資料即圖像資料藉由與上述第1實施形態之製作順序相同之製作順序產生。
以下,返回至圖25,針對控制裝置20C之各功能部之功能之細節進行說明。
輸入部201C自圖像獲取裝置1之使用者接受顯示拍攝對象物F之X射線透過圖像時之X射線照射器(放射線產生源)50之動作條件,或X射線檢測相機10之攝像條件等之條件資訊之輸入。作為動作條件,列舉管電壓、靶材角度、靶材之材料等中之全部或部分。作為顯示攝像條件之條件資訊,列舉配置於X射線照射器50與X射線檢測相機10間之濾波器51、19(用於拍攝對象物之相機所具備之濾波器或產生源所具備之濾波器)之材質及厚度;X射線照射器50與X射線檢測相機10之距離(FDD);X射線檢測相機10之視窗材料之種類及X射線檢測相機10之閃爍器11之材料及厚度相關之資訊;X射線檢測相機資訊(例如增益設定值、電路雜訊值、飽和電荷量、轉換係數值(電子數/count)、相機之線速率(Hz)或線速(m/min));對象物之資訊等中之全部或部分。輸入部201C可將條件資訊之輸入作為數值等資訊之直接輸入而接受,亦可作為對於預先設定於內部記憶體之數值等資訊之選擇輸入而接受。輸入部201C自使用者接受上述條件資訊之輸入,但亦可根據控制裝置20C之控制狀態之檢測結果,獲取部分條件資訊(管電壓等)。
算出部202C基於由輸入部201C接受之條件資訊,算出使用圖像獲取裝置1使透過對象物F並藉由X射線檢測相機10檢測之X射線(放射線)之平均能量值。例如,算出部202C基於條件資訊中包含之管電壓、靶材角度、靶材之材料、濾波器之材質及厚度及其有無、視窗材料之種類及其有無、X射線檢測相機10之閃爍器11之材料及厚度等資訊,使用例如眾所周知之Tucker等近似式,算出以X射線檢測相機10檢測之X射線之頻譜。且,算出部202C自X射線之頻譜進而算出頻譜強度積分值與光子數積分值,藉由頻譜強度積分值除以光子數積分值,算出X射線之平均能量值。
針對使用眾所周知之Tucker近似式之算出方法進行記載。例如,若將靶材設定為鎢,將靶材角度特定為25°,則算出部202C可決定Em:電子靶材碰撞時之動能、T:靶材中之電子動能、A:由靶材物質之原子序數決定之比例常數、ρ:靶材之密度、μ(E):靶材物質之線減弱係數、B:緩慢變化之Z與T之函數、C:Thomson-Whiddington常數、θ:靶材角度、c:真空中之光速度。再者,算出部202C藉由基於該等算出上述式(1),可算出照射X射線頻譜。
接著,算出部202C可使用上述式(2)之X射線之減弱式,算出由濾波器及透過對象物F且被閃爍器吸收之X射線能譜。X射線光子數頻率藉由將該X射線能譜除以各X射線之能量而求得。算出部202C藉由能量強度之積分值除以光子數之積分值,使用上述式(3)算出X射線之平均能量。根據上述之計算過程,算出部202C算出X射線之平均能量。另,對於X射線頻譜之算出,亦可使用眾所周知之Kramers或Birch等人之近似式。
鎖定部203C基於由算出部202C算出之平均能量值,自預先構築之複數個預學習模型206C中,鎖定預學習模型之候補。即,鎖定部203C將算出之平均能量值與用於構築複數個預學習模型206C之圖像資料中之X射線之平均能量值進行比較,將由平均能量值接近之圖像資料構築之複數個預學習模型206C作為候補而鎖定。更具體而言,藉由算出部202C算出之平均能量值為53 keV之情形時,鎖定部203C將由與其值之差未達特定臨限值(例如15 keV)之平均能量值40 keV、50 keV、60 keV之圖像資料構築之預學習模型206C設為預學習模型之候補。
選擇部204C自由鎖定部203C鎖定之候補中,選擇最終於對象物F之X射線透過圖像之雜訊去除處理所用之預學習模型206C。詳言之,選擇部204C於圖像獲取裝置1中,以治具為對象,照射X射線,獲取拍攝之X射線透過圖像,基於該X射線透過圖像之圖像特性,選擇最終使用之預學習模型206C。此時,選擇部204C解析作為X射線透過圖像之圖像特性的能量特性、雜訊特性或解像度特性等,基於其解析結果選擇預學習模型206C。
更具體而言,選擇部204C以作為治具之厚度及材質已知且X射線之平均能量與X射線透過率之關係已知之平板狀構件為對象,獲取X射線透過圖像,將透過治具之X射線像之亮度與透過空氣之X射線像之亮度進行比較,算出治具之1點(或者複數點之平均)之X射線之透過率。例如,透過治具之X射線像之亮度為5,550,透過空氣之X射線像之亮度為15,000之情形時,算出透過率為37%。且,選擇部204C特定出由透過率37%推定之透過X射線之平均能量(例如50 keV),作為治具之X射線透過圖像之能量特性。選擇部204C選擇一個由最接近特定之平均能量值之平均能量之圖像資料而構築之預學習模型206C。
又,選擇部204C亦可解析作為治具之X射線透過圖像之能量特性的厚度或材質變化之治具之複數點之特性。圖27係顯示選擇部204C之解析對象之X射線透過圖像之一例之圖。圖27係以厚度階梯狀變化之形狀之治具為對象之X射線透過圖像。選擇部204C自此種X射線透過圖像選擇厚度不同之複數個測定區域(ROI:Region Of Interest:感興趣區域),解析複數個每測定區域之亮度平均值,獲取厚度-亮度之特性圖表作為能量特性。圖28係顯示選擇部204C獲取之厚度-亮度之特性圖表之一例。
再者,選擇部204C同樣以用於構築由鎖定部203C鎖定之預學習模型206C之圖像資料為對象,獲取厚度-亮度之特性圖表,選擇由具有與以治具為對象獲取之特性圖表最接近特性之圖像資料構築之預學習模型206C,作為最終之預學習模型206C。但,用於構築該預學習模型206C之圖像資料之圖像特性亦可參照預先於控制裝置20C之外部算出者。如此,藉由設定複數個測定區域,可選擇對於對象物F之X射線透過圖像之雜訊去除最佳之預學習模型。尤其,可精度良好地推定X射線透過圖像測定時之X射線能譜之差異或濾波器效果之差異。
又,選擇部204C亦可解析作為治具之X射線透過圖像之雜訊特性的複數個每測定區域之亮度值與雜訊,獲取亮度-雜訊比之特性圖表作為雜訊特性。即,選擇部204C自X射線透過圖像選擇厚度或材質不同之複數個測定區域ROI,解析複數個測定區域ROI之亮度值之標準偏差及亮度值之平均值,獲取亮度-SNR(SN比)之特性圖表作為雜訊特性。此時,選擇部204C藉由SNR=(亮度值之平均值)÷(亮度值之標準偏差),算出每個測定區域ROI之SNR。圖29係顯示選擇部204C所獲取之亮度-SNR之特性圖表之一例。且,選擇部204C選擇由具有最接近獲取之特性圖表之雜訊特性之圖像資料構築之預學習模型206C,作為最終之預學習模型206C。
此處,作為雜訊特性,選擇部204C亦可獲取將縱軸設為自亮度值之標準偏差計算之雜訊的特性圖表,替代上述亮度-SNR之特性圖表。藉由使用此種亮度-雜訊之特性圖表,可對藉由X射線檢測相機10檢測出之各信號量,自各信號量之區域之圖表之傾斜度特定出主導性雜訊原因(散粒雜訊、讀出雜訊等),基於其特定結果選擇預學習模型206C。
圖30係用以說明選擇部204C選擇基於圖像特性之預學習模型之功能之圖。圖30中,(a)部顯示用於構築複數個預學習模型206C之各個圖像資料之亮度-SNR之特性圖表G
1、G
2、G
3,(b)部除該等特性圖表G
1、G
2、G
3外,亦顯示拍攝治具之X射線透過圖像之亮度-SNR之特性圖表G
T。以此種特性圖表G
1、G
2、G
3、G
T為對象之情形時,選擇部204C以選擇由最接近特性圖表G
T特性之特性圖表G
2之圖像資料構築之預學習模型206C之方式發揮功能。選擇時,選擇部204C於各特性圖表G
1、G
2、G
3與特性圖表G
T間,計算一定間隔之每個亮度值之SNR之誤差,計算該等誤差之均方根誤差(RMSE:Root Mean Squared Error),選擇與均方根誤差最小之特性圖表G
1、G
2、G
3對應之預學習模型206C。又,選擇部204C於使用能量特性進行選擇之情形時,亦可同樣選擇預學習模型206C。
選擇部204C亦可以治具之X射線透過圖像為對象,基於應用複數個預學習模型執行雜訊去除處理後之圖像之特性,選擇預學習模型206C。
例如,選擇部204C使用拍攝具有各種解像度之圖表的治具之X射線透過圖像,對該圖像應用複數個預學習模型206C,評估其結果產生之雜訊去除後之圖像。且,選擇部204C選擇雜訊去除處理前後之解像度之變化最小之圖像所使用之預學習模型206C。圖31係顯示用於評估解像度之X射線透過圖像之一例。該X射線透過圖像中,解像度沿一方向階梯狀變化之圖表作為攝像對象。X射線透過圖像之解像度可使用MTF(Modulation Transfer Function:調變轉移函數)或CTF(Contrast Transfer Function:對比轉移函數)測定。
除上述解像度之變化之評估以外,選擇部204C亦可評估雜訊去除後之圖像之亮度-雜訊比之特性,選擇用於產生其特性最高之圖像之預學習模型206C。圖32係顯示用於評估亮度-雜訊比之治具之構造之一例。例如,作為治具,可使用厚度於一方向階梯狀變化之構件P1中散佈著具有各種材質及各種大小之異物P2者。圖33係顯示以圖32之治具為對象所獲得之雜訊去除處理後之X射線透過圖像。選擇部204C選擇X射線透過圖像中包含異物P2之像的圖像區域R1、及該區域R1附近之不包含異物P2之像的圖像區域R2,計算圖像區域R1之亮度之最小值L
MIN、圖像區域R2之亮度之平均值L
AVE、圖像區域R2之亮度之標準偏差L
SD。且,選擇部204C使用下述式:
CNR=(L
AVE-L
MIN)/L
SD,
算出亮度-雜訊比CNR。再者,選擇部204C以應用複數個預學習模型204C後之X射線透過圖像各者為對象,算出亮度-雜訊比CNR,選擇用於產生亮度-雜訊比CNR為最高之X射線透過圖像的預學習模型206C。
或者,選擇部204C亦可基於圖像區域R1之亮度之平均值L
AVE_R1、圖像區域R2之亮度之平均值L
AVE_R2、圖像區域R2之亮度之標準偏差L
SD,藉由下述式計算。
CNR=(L
AVE_R1-L
MIN_R2)/L
SD
處理部205C對以對象物F為對象而獲取之X射線透過圖像,應用藉由選擇部204C選擇之預學習模型206C,執行去除雜訊之圖像處理,藉此產生輸出圖像。且,處理部205C將產生之輸出圖像輸出至顯示裝置30等。
接著,針對使用第2實施形態之圖像獲取裝置1之對象物F之X射線透過像之觀察處理順序、即第2實施形態之放射線圖像獲取方法之流程進行說明。圖34係顯示圖像獲取裝置1之觀察處理順序之流程圖。
首先,藉由控制裝置20C,接受來自圖像獲取裝置1之操作員(使用者)之條件資訊之輸入(步驟S1),該條件資訊顯示X射線照射器50之動作條件,或X射線檢測相機10之攝像條件等。接著,藉由控制裝置20C,基於條件資訊,算出藉由X射線檢測相機10檢測之X射線之平均能量值(步驟S2)。
再者,藉由控制裝置20C,特定出於構築存儲於控制裝置20C之預學習模型206C所用之圖像資料中之X射線之平均能量值(步驟S3)。其後,對於存儲於控制裝置20C之所有預學習模型206C,重複X射線之平均能量值特定(步驟S4)。
接著,藉由控制裝置20C,將算出之X射線之平均能量值進行比較,藉此鎖定複數個預學習模型206C之候補(步驟S5)。再者,藉由於圖像獲取裝置1中設置治具,拍攝該治具,獲取治具之X射線透過圖像(步驟S6)。
其後,藉由控制裝置20C,獲取治具之X射線透過圖像之圖像特性(X射線之平均能量值、厚度-亮度之特性、亮度-雜訊比之特性、亮度-雜訊之特性、解像度變化之特性等)(步驟S7)。且,基於藉由控制裝置20C獲取之圖像特性,選擇最終之預學習模型206C(步驟S8)。
再者,藉由於圖像獲取裝置1中設置對象物F,拍攝對象物F,獲取對象物F之X射線透過圖像(步驟S9)。接著,藉由控制裝置20C,將最終選擇之預學習模型206C應用於對象物F之X射線透過圖像,藉此以X射線透過圖像為對象,執行雜訊去除處理(步驟S10)。最後,藉由控制裝置20C,將實施雜訊去除處理後之X射線透過圖像即輸出圖像輸出至顯示裝置30(步驟S11)。
根據以上說明之圖像獲取裝置1,亦可增大X射線透過圖像中之信號成分,且去除雜訊成分,可有效提高X射線透過圖像中之S/N比。又,基於獲取對象物F之X射線透過圖像時之X射線之產生源之動作條件或X射線透過圖像之攝像條件,算出透過對象物F之X射線之平均能量。且,基於該平均能量,自預先構築之預學習模型206C中鎖定用於雜訊去除之預學習模型206C之候補。藉此,由於與攝像對象之X射線之平均能量對應之預學習模型206C用於雜訊去除,故可實現與X射線透過圖像之亮度及雜訊之關係對應之雜訊去除。其結果,可有效去除X射線透過圖像中之雜訊,例如可提高異物檢測性能。尤其,X射線透過圖像根據管電壓、濾波器、閃爍器、X射線檢測相機之條件(增益設定值、電路雜訊值、飽和電荷量、轉換係數值(e-/count)、相機之線速率)、對象物等之差異,雜訊之態樣產生變化。因此,欲藉由機械學習實現雜訊去除之情形時,需要預先準備以各種條件學習之複數個學習模型。先前,未能實現配合X射線透過圖像測定時之條件,自複數個學習模型中選擇與雜訊之態樣一致之學習模型。根據本實施形態,藉由選擇與攝像對象之X射線之平均能量對應之預學習模型206C,實現始終與雜訊之態樣一致之學習模型之選擇。
一般而言,X射線透過圖像中,包含源自X射線產生之雜訊。為了提高X射線透過圖像之SN比,亦考慮增加X射線量,但該情形時,有增加X射線量時感測器之被照射量增加、感測器之壽命變短、X射線產生源之壽命變短之問題,難以兼具SN比之提高與長壽命化。本實施形態中,由於無須增加X射線量,故可兼具SN比之提高與長壽命化。
又,本實施形態之控制裝置20C具有使用經選擇之預學習模型206C,執行自對象物F之X射線透過圖像去除雜訊之圖像處理之功能。藉由此種功能,可實現與X射線透過圖像之亮度及雜訊之關係對應之雜訊去除,可有效去除X射線透過圖像中之雜訊。
又,本實施形態之控制裝置20C具有以下功能:藉由將自選擇資訊算出之X射線之平均能量值,與自用於構築預學習模型206C之圖像資料特定出之平均能量值進行比較,鎖定預學習模型之候補。藉由此種功能,可確實實現與X射線透過圖像之亮度及雜訊之關係對應之雜訊去除。
再者,本實施形態之控制裝置20C具有基於治具之X射線透過圖像之圖像特性,自候補選擇預學習模型206C之功能。藉由此種功能,可選擇對於對象物F之X射線透過圖像之雜訊去除最佳之預學習模型206C。其結果,可更確實實現與X射線透過圖像之亮度及雜訊之關係對應之雜訊去除。
[第2實施形態之變化例]
上述第2實施形態之控制裝置20C雖基於自條件資訊算出之X射線之平均能量值,選擇預學習模型206C之候補,但亦可具有與X射線檢測相機10之性能劣化、X射線照射器50之輸出變動或性能劣化對應之功能。
圖35係顯示第2實施形態之變化例之控制裝置20D之功能構成之方塊圖。控制裝置20D與上述第2實施形態之控制裝置20C相比,具有測定部207C之方面,及算出部202D及鎖定部203D之功能不同。
控制裝置20C中,作為無X射線檢測相機10之性能劣化及X射線照射器50之輸出變動或性能劣化者,係於可由X射線之平均能量推定X射線透過圖像之亮度與雜訊之關係之前提下,鎖定預學習模型206C。相對於此,本變化例之控制裝置20D中,具有以下功能:考慮X射線檢測相機10之性能劣化、X射線照射器50之輸出變動或其性能劣化,算出X射線轉換係數,基於X射線轉換係數鎖定預學習模型206C。X射線轉換係數係表示將X射線以閃爍器轉換為可見光後,直至以相機之感測器轉換為電子(電性信號)之效率之參數。
一般而言,若將X射線之平均能量設為E[keV],將閃爍器發光量設為EM[光子/keV],將感測器之耦合效率設為C,將感測器之量子效率設為QE,則X射線轉換係數F
T可藉由下述式計算:
F
T=E×EM×C×QE。
又,由於X射線透過圖像之SN比(SNR)使用X射線轉換係數F
T、X射線光子數N
P、相機之讀出雜訊Nr,根據下述式求得:
SNR=F
TN
P/{(F
TN
P+Nr
2)
1/2},
故可基於X射線轉換係數F
T,推定考慮相機之性能劣化後之X射線透過圖像之亮度與雜訊之關係。
控制裝置20D之測定部207C具有測定作為閃爍器11之性能劣化之發光量EM之降低量、作為掃描相機12之性能劣化之感測器之量子效率QE之降低量、作為X射線照射器50之輸出變動及性能劣化之平均能量E之變化量之功能。例如,測定部207C測定閃爍器11無性能劣化之狀態(新品時之狀態)與當前之閃爍器11間之發光量之降低量,自該降低量推定當前之發光量EM。又,測定部207C測定掃描相機12無性能劣化之狀態(新品時之狀態)與當前之掃描相機12間之亮度降低量,自該降低量推定當前之量子效率QE。又,測定部207C自X射線照射器50無性能劣化之狀態(新品時之狀態)與當前之X射線照射器50間之平均能量之變化量,推定當前之平均能量E。平均能量E亦可自厚度及材質已知、X射線之平均能量與X射線透過率之關係已知之平板狀構件之攝像資料求得,或自厚度或材質變化之治具之複數點之攝像資料求得等。
控制裝置20D之算出部202D使用算出之X射線之平均能量E,與藉由測定部207C推定之發光量EM及量子效率QE,算出X射線轉換係數F
T。控制裝置20D之鎖定部203D具有藉由將算出之X射線轉換係數F
T與用於構築預學習模型206C之圖像資料之X射線轉換係數F
T進行比較,而鎖定預學習模型206C之候補之功能。
又,上述變化例之控制裝置20D於鎖定預學習模型之候補後,基於拍攝治具所得之圖像特性選擇預學習模型,但亦可不進行治具之攝像,執行對於對象物之X射線透過圖像之雜訊去除處理。圖36係顯示另一變化例之圖像獲取裝置1之觀察處理順序之流程圖。如此,亦可省略圖34之步驟S6~S8之處理,使用基於平均能量而鎖定之預學習模型執行雜訊去除處理。
[第3實施形態]
圖37係顯示第3實施形態之控制裝置20E之功能構成之方塊圖。控制裝置20E具備獲取部201E、特定部202E、選擇部204E及處理部205E。
又,於控制裝置20E,預先存儲有複數個以X射線透過圖像為對象,執行雜訊去除處理之預學習模型206E。複數個預學習模型206E分別為將圖像資料作為教學資料預先構築之機械學習之學習模型。機械學習有監督學習、深層學習(深度學習)、或強化學習、神經網路學習等。本實施形態中,作為深度學習之算法之一例,採用Kai Zhang等人之論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”中記載之2維卷積神經網路。複數個預學習模型206E可藉由外部之電腦等產生,下載於控制裝置20E中,亦可於控制裝置20E內產生。
圖38顯示用於構築預學習模型206E之教學資料即圖像資料之一例。作為教學資料,可使用以各種厚度、各種材質及各種解像度之圖案為攝像對象之X射線透過圖像。圖38所示之例為以雞肉為對象生成之X射線透過圖像之例。該圖像資料可使用實際使用圖像獲取裝置1,以複數種對象物為對象生成之X射線透過圖像,亦可使用藉由模擬計算產生之圖像資料。對於X射線透過圖像,亦可使用與圖像獲取裝置1不同之裝置獲取。又,亦可組合X射線透過圖像與藉由模擬計算產生之圖像資料。複數個預學習模型206E分別使用以平均能量不同之透過X射線為對象獲得之圖像資料、雜訊分佈已知之圖像資料預先構築。圖像資料中之X射線之平均能量分別藉由設定圖像獲取裝置1之X射線照射器(放射線產生源)50之動作條件或圖像獲取裝置1之攝像條件等,或藉由設定模擬計算時之X射線照射器50之動作條件或攝像條件,而預先設定為不同值。即,複數個預學習模型206E使用與基於顯示拍攝對象物F之X射線透過圖像時之X射線照射器(放射線產生源)50之動作條件,或X射線檢測相機10之攝像條件等之條件資訊算出之透過對象物F之X射線相關之平均能量對應之X射線圖像即訓練圖像,作為訓練資料,藉由機械學習構築(構築步驟)。例如,本實施形態中,複數個預學習模型206E係使用複數訊框(例如20,000訊框)分別構築平均能量為10 keV、20 keV、30 keV、…與設定有10 keV刻度值之複數種圖像資料。
用於構築預學習模型206E之教學資料即圖像資料藉由與上述第1實施形態之製作順序相同之製作順序產生。
以下,返回至圖37,針對控制裝置20E之各功能部之功能之細節進行說明。
獲取部201E使用圖像獲取裝置1,以治具及對象物F為對象,照射X射線,獲取拍攝之X射線透過圖像。作為治具,使用厚度及材質已知、X射線之平均能量與X射線透過率之關係已知之平板狀構件,或具有以各種解像度拍攝之圖表之治具。即,獲取部201E於對象物F之觀察處理之前,使用圖像獲取裝置1獲取拍攝之治具之X射線透過圖像。且,獲取部201E以基於治具之X射線透過圖像選擇預學習模型206E後之時序,使用圖像獲取裝置1獲取拍攝之對象物F之X射線透過圖像。但,治具及對象物F之X射線透過圖像之獲取時序不限定於上述,可同時,亦可為相反之時序。
特定部202E特定出藉由獲取部201E獲取之治具之X射線透過圖像之圖像特性。具體而言,選擇部204E特定出能量特性、雜訊特性、解像度特性或頻率特性等作為X射線透過圖像之圖像特性。
例如,特定部202E於使用厚度及材質已知之平板狀構件作為治具之情形時,將透過治具之X射線像之亮度與透過空氣之X射線像之亮度進行比較,算出治具之1點(或複數點之平均)之X射線之透過率。例如,透過治具之X射線像之亮度為5,550,透過空氣之X射線像之亮度為15,000之情形時,算出透過率為37%。且,特定部202E特定出由透過率37%推定之透過X射線之平均能量(例如50 keV),作為治具之X射線透過圖像之能量特性。
又,作為治具之X射線透過圖像之能量特性,特定部202E亦可解析厚度或材質變化之治具之複數點之特性。圖39係顯示特定部202E之解析對象之X射線透過圖像之一例之圖。圖39係以厚度階梯狀變化之形狀之治具為對象之X射線透過圖像。特定部202E自此種X射線透過圖像選擇厚度不同之複數個測定區域(ROI:Region Of Interest),解析複數個每測定區域之亮度平均值,獲取厚度-亮度之特性圖表作為能量特性。圖40係顯示特定部202E獲取之厚度-亮度之特性圖表之一例。
又,作為治具之X射線透過圖像之雜訊特性,特定部202E亦可解析複數個每測定區域之亮度值與雜訊,獲取亮度-雜訊比之特性圖表作為雜訊特性。即,特定部202E自X射線透過圖像選擇厚度或材質不同之複數個測定區域ROI,解析複數個測定區域ROI之亮度值之標準偏差及亮度值之平均值,獲取亮度-SNR(SN比)之特性圖表作為雜訊特性。此時,特定部202E藉由SNR=(亮度值之平均值)÷(亮度值之標準偏差),算出每個測定區域ROI之SNR。圖41係顯示自特定部202E獲取之亮度-SNR之特性圖表之一例。此處,作為雜訊特性,特定部202E亦可獲取將縱軸設為自亮度值之標準偏差計算之雜訊的特性圖表,替代上述亮度-SNR之特性圖表。
又,特定部202E於使用具有圖表之治具之情形時,亦可獲取治具之X射線透過圖像之解像度之分部作為解像度特性。再者,特定部202E具有對於對治具之X射線透過圖像應用複數個預學習模型206E實施雜訊去除處理後之圖像,亦獲取解像度特性之功能。圖42係顯示用於評估解像度之X射線透過圖像之一例。該X射線透過圖像中,以解像度沿一方向階梯狀變化之圖表作為攝像對象。X射線透過圖像之解像度可使用MTF(Modulation Transfer Function)或CTF(Contrast Transfer Function)測定。
再次參照圖37,選擇部204E基於藉由特定部202E獲取之圖像特性,自存儲於控制裝置20E內之複數個預學習模型206E中,選擇最終用於對象物F之X射線透過圖像之雜訊去除處理之預學習模型206E。即,選擇部204E將藉由特定部202E特定出之圖像特性,與自用於構築複數個預學習模型206E之圖像資料特定出之圖像特性進行比較,選擇兩者類似之預學習模型206E。
例如,選擇部204E選擇一個藉由平均能量最接近特定部202E特定出之透過X射線之平均能量值之圖像資料而構築之預學習模型206E。
又,選擇部204E與特定部202E之特定方法同樣,以用於構築複數個預學習模型206E之圖像資料為對象,獲取厚度-亮度之特性圖表,選擇由具有與以治具為對象獲取之厚度-亮度之特性圖表最接近之特性之圖像資料構築之預學習模型206E,作為最終之預學習模型206E。但,用於構築預學習模型206E之圖像資料之圖像特性亦可參照預先於控制裝置20E之外部算出者。如此,藉由使用設定複數個測定區域所得之圖像特性,可選擇對於對象物F之X射線透過圖像之雜訊去除最佳之預學習模型。尤其,可精度良好地推定X射線透過圖像測定時之X射線能譜之差異或濾波器之效果之差異。
又,選擇部204E亦可選擇由具有與藉由特定部202E獲取之亮度-雜訊比之特性最接近之亮度-雜訊比之特性之圖像資料構築之預學習模型206E,作為最終之預學習模型206E。但,用於構築預學習模型206E之圖像資料之圖像特性可由選擇部204E自圖像資料獲取,亦可參照預先於控制裝置20E之外部算出者。此處,作為雜訊特性,選擇部204E亦可選擇使用亮度-雜訊特性之預學習模型206E,替代使用亮度-雜訊比之特性。藉由使用此種亮度-雜訊之特性圖表,可對藉由X射線檢測相機10檢測之各信號量,自各信號量之區域之圖表之傾斜度特定出主導性雜訊原因(散粒雜訊、讀出雜訊等),基於其特定結果選擇預學習模型206E。
圖43係用以說明選擇部204E選擇基於圖像特性之預學習模型之功能之圖。圖43中,(a)部顯示用於構築複數個預學習模型206E之各個圖像資料之亮度-SNR之特性圖表G
1、G
2、G
3,(b)部除該等特性圖表G
1、G
2、G
3外,亦顯示拍攝治具之X射線透過圖像之亮度-SNR之特性圖表G
T。以此種特性圖表G
1、G
2、G
3、G
T為對象之情形時,選擇部204E以選擇由最接近特性圖表G
T特性之特性圖表G
2之圖像資料構築之預學習模型206E之方式發揮功能。選擇時,選擇部204E於各特性圖表G
1、G
2、G
3與特性圖表G
T間,計算一定間隔之每個亮度值之SNR之誤差,計算該等誤差之均方根誤差(RMSE:Root Mean Squared Error),選擇與均方根誤差最小之特性圖表G
1、G
2、G
3對應之預學習模型206E。又,選擇部204E於使用能量特性進行選擇之情形時,亦同樣可選擇預學習模型206E。
選擇部204E亦可以治具之X射線透過圖像為對象,基於應用複數個預學習模型執行雜訊去除處理後之圖像之特性,選擇用於產生特性相對優異之圖像之預學習模型206E。
例如,選擇部204E使用拍攝具有各種解像度之圖表之治具之X射線透過圖像,對該圖像應用複數個預學習模型206E,評估其結果產生之雜訊去除後之圖像之解像度特性。且,選擇部204E選擇雜訊去除處理前後之各分佈之解像度之變化最小之圖像所使用之預學習模型206E。
除上述解像度之變化評估以外,選擇部204E亦可評估雜訊去除後之圖像之亮度-雜訊比之特性,選擇用於產生其特性最高之圖像之預學習模型206E。圖44係顯示用於評估亮度-雜訊比之治具之構造之一例。例如,作為治具,可使用厚度於一方向階梯狀變化之構件P1中散佈具有各種材質及各種大小之異物P2者。圖45係顯示以圖44之治具為對象獲得之雜訊去除處理後之X射線透過圖像。選擇部204E選擇X射線透過圖像中包含異物P2之像之圖像區域R1,及該區域R1附近之不包含異物P2之像之圖像區域R2,計算圖像區域R1之亮度之最小值L
MIN、圖像區域R2之亮度之平均值L
AVE、圖像區域R2之亮度之標準偏差L
SD。且,選擇部204E使用下述式:
CNR=(L
AVE-L
MIN)/L
SD,
算出亮度-雜訊比CNR。再者,選擇部204E以應用複數個預學習模型206E後之X射線透過圖像之各者為對象,算出亮度-雜訊比CNR,選擇用於產生亮度-雜訊比CNR最高之X射線透過圖像之預學習模型206E。
或者,選擇部204E亦可基於圖像區域R1之亮度之平均值L
AVE_R1、圖像區域R2之亮度之平均值L
AVE_R2、圖像區域R2之亮度之標準偏差L
SD,藉由下述式計算。
CNR=(L
AVE_R1-L
MIN_R2)/L
SD
處理部205E對以對象物F為對象獲取之X射線透過圖像,應用藉由選擇部204E選擇之預學習模型206E,執行去除雜訊之圖像處理,藉此產生輸出圖像。且,處理部205E將產生之輸出圖像輸出至顯示裝置30等。
接著,針對使用第3實施形態之圖像獲取裝置1之對象物F之X射線透過像之觀察處理順序,即第3實施形態之放射線圖像獲取方法之流程進行說明。圖46係顯示圖像獲取裝置1之觀察處理順序之流程圖。
首先,由圖像獲取裝置1之操作員(使用者)設定X射線照射器50之管電壓,或X射線檢測相機10之增益等圖像獲取裝置1之攝像條件(步驟S1E)。接著,於圖像獲取裝置1設置治具,藉由控制裝置20E獲取以治具為對象之X射線透過圖像(步驟S2E)。此時,亦可依序獲取複數種治具之X射線透過圖像。
與其相應,藉由控制裝置20E,特定出治具之X射線透過圖像之圖像特性(能量特性、雜訊特性及解像度特性)(步驟S3E)。再者,藉由控制裝置20E,對治具之X射線透過圖像應用複數個預學習模型206E,特定出應用複數個預學習模型206E後之各個X射線透過圖像之圖像特性(解像度特性或亮度-雜訊比值等)(步驟S4E)。
接著,藉由控制裝置20E,基於治具之X射線透過圖像之能量特性與用於構築預學習模型206E之圖像資料之能量特性之比較結果,及治具之X射線透過圖像之解像度特性於應用預學習模型前後之變化程度,選擇預學習模型206E(步驟S5E)。此處,亦可基於治具之X射線透過圖像之雜訊特性與用於構築預學習模型206E之圖像資料之雜訊特性之比較結果,及治具之X射線透過圖像之解像度特性於應用預學習模型前後之變化狀態,選擇預學習模型206E。又,步驟S5E中,亦可替代上述處理,選擇治具之X射線透過圖像之應用預學習模型前後之亮度-雜訊比CNR最高之預學習模型206E。
再者,藉由於圖像獲取裝置1中設置對象物F,拍攝對象物F,獲取對象物F之X射線透過圖像(步驟S7E)。接著,藉由控制裝置20E,將最終選擇之預學習模型206E應用於對象物F之X射線透過圖像,藉此以X射線透過圖像為對象,執行雜訊去除處理(步驟S8E)。最後,藉由控制裝置20E,將實施雜訊去除處理後之X射線透過圖像即輸出圖像輸出至顯示裝置30(步驟S9E)。
根據以上說明之圖像獲取裝置1,亦可增大X射線透過圖像中之信號成分,且去除雜訊成分,可有效提高X射線透過圖像中之S/N比。又,特定出治具之X射線透過圖像之圖像特性,基於該圖像特性,自預先構築之預學習模型中選擇用於雜訊去除之預學習模型。藉此,可推定圖像獲取裝置1之根據X射線照射器50之動作條件等而變化之X射線透過圖像之特性,將根據該推定結果選擇之預學習模型206E用於雜訊去除,故可實現與X射線透過圖像之亮度及雜訊之關係對應之雜訊去除。其結果,可有效去除X射線透過圖像中之雜訊。
一般而言,X射線透過圖像中,包含源自X射線產生之雜訊。為了提高X射線透過圖像之SN比,亦考慮增加X射線量,但該情形時,有增加X射線量時感測器之被照射量亦增加、感測器之壽命變短、X射線產生源之壽命變短之問題,難以兼具SN比之提高與長壽命化。本實施形態中,由於無須增加X射線量,故可兼具SN比之提高與長壽命化。
本實施形態中,預學習模型之選擇中,將治具之X射線透過圖像之圖像特性,與用於構築預學習模型之圖像資料之圖像特性進行比較。藉此,由於選擇由與治具之X射線透過圖像之圖像特性對應之圖像資料構築之預學習模型206E,故可有效去除對象物F之X射線透過圖像中之雜訊。
又,本實施形態中,使用對治具之X射線透過圖像應用複數個預學習模型206E之圖像的圖像特性,選擇預學習模型。該情形時,由於根據實際應用複數個預學習模型206E之治具之X射線透過圖像之圖像特性,選擇預學習模型206E,故可有效去除對象物F之X射線透過圖像中之雜訊。
尤其,本實施形態中,使用能量特性或雜訊特性作為圖像特性。該情形時,選擇由與根據圖像獲取裝置1之攝像條件變化之治具之X射線透過圖像之能量特性或雜訊特性類似特性之圖像而構築之預學習模型206E。其結果,可去除與圖像獲取裝置1之條件變化對應之對象物F之X射線透過圖像中之雜訊。
本實施形態中,作為圖像特性,亦使用解像度特性或亮度-雜訊比。根據此種構成,藉由應用經選擇之預學習模型206E,可獲得解像度特性或亮度-雜訊比良好之X射線透過圖像。其結果,可去除與圖像獲取裝置1之條件變化對應之對象物之X射線透過圖像中之雜訊。
上述實施形態中,較佳為藉由將對特定構造體之放射線圖像附加沿正規分佈之雜訊值獲得之圖像資料設為教學資料之機械學習,構築預學習模型。藉此,容易準備用於構築預學習模型之教學資料即圖像資料,可有效構築預學習模型。
又,上述實施形態中,亦較佳為圖像處理模組具有:雜訊圖生成部,其基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖;及處理部,其將放射線圖像及雜訊圖輸入至預學習模型,執行自放射線圖像去除雜訊之雜訊去除處理。又,在執行之步驟中,亦較佳為基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖,將放射線圖像及雜訊圖輸入至預學習模型,執行自放射線圖像去除雜訊之雜訊去除處理。該情形時,基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自放射線圖像之各像素之像素值導出評估值,生成將導出之評估值與放射線圖像之各像素建立對應之資料即雜訊圖。且,將放射線圖像及雜訊圖輸入至預先藉由機械學習構築之預學習模型,執行自放射線圖像去除雜訊之雜訊去除處理。藉此,考慮自放射線圖像之各像素之像素值評估之雜訊值之擴大,藉由機械學習去除該放射線圖像之各像素中之雜訊,可使用預學習模型,實現與放射線圖像之像素值及雜訊擴大之關係對應之雜訊去除。其結果,可有效地去除放射線圖像中之雜訊。
再者,上述實施形態中,較佳為圖像處理模組具有:輸入部,其接受表示照射放射線並拍攝對象物時放射線之產生源之條件或攝像條件之任一者的條件資訊之輸入;算出部,其基於條件資訊,算出透過對象物之放射線相關之平均能量;及鎖定部,其基於平均能量,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,鎖定用於雜訊去除處理之預學習模型。又,在執行之步驟中,亦較佳為接受表示照射放射線並拍攝對象物時放射線之產生源之條件或攝像條件之任一者的條件資訊之輸入,基於條件資訊,算出透過對象物之放射線相關之平均能量,基於平均能量,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,鎖定用於雜訊去除處理之預學習模型。該情形時,基於獲取對象物之放射線圖像時之放射線之產生源之條件或攝像條件,算出透過對象物之放射線之平均能量。且,基於該平均能量,自預先構築之預學習模型中鎖定用於雜訊去除之預學習模型之候補。藉此,由於將與攝像對象之放射線之平均能量對應之預學習模型用於雜訊去除,故可實現與放射線圖像之亮度及雜訊之關係對應之雜訊去除。其結果,可有效地去除放射線圖像中之雜訊。
又再者,上述實施形態中,亦較佳為圖像處理模組具有:特定部,其特定出以治具為對象而藉由攝像裝置獲取之放射線圖像之圖像特性;選擇部,其基於圖像特性,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,選擇預學習模型;及處理部,其使用經選擇之預學習模型,執行雜訊去除處理。又,在執行之步驟中,亦較佳為特定出以治具為對象而獲取之放射線圖像之圖像特性,基於圖像特性,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,選擇預學習模型,使用經選擇之預學習模型執行雜訊去除處理。根據該構成,特定出治具之放射線圖像之圖像特性,基於該圖像特性,自預先構築之預學習模型中選擇用於雜訊去除之預學習模型。藉此,可推定根據系統之放射線產生源之條件等變化之放射線圖像之特性,將根據該推定結果選擇之預學習模型用於雜訊去除,故可實現與放射線圖像之亮度及雜訊之關係對應之雜訊去除。其結果,可有效地去除放射線圖像中之雜訊。
[產業上之可利用性]
實施形態可將放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法作為使用用途,有效提高放射線圖像之S/N比。
1:圖像獲取裝置(放射線圖像獲取裝置、放射線圖像獲取系統)
10:X射線檢測相機(攝像裝置)
11:閃爍器
12:掃描相機(檢測元件)
13:感測器控制部
14:放大器
15:AD轉換器
16:修正電路
17:輸出介面
18:放大器控制部
19:濾波器
20:控制裝置(圖像處理模組)
20A~20E:控制裝置(圖像處理模組)
30:顯示裝置
40:輸入裝置
50:X射線照射器(放射線產生源)
51:濾波器
60:帶式輸送機(搬送裝置)
71:基板
72:像素
73:讀出電路
74:像素列(像素群)
101:CPU
102:RAM
103:ROM
104:通信模組
105:GPU
106:輸入輸出模組
201:輸入部
201C:輸入部
201E:獲取部
202:算出部
202A:算出部
202C:算出部
202D:算出部
202E:特定部
203:圖像獲取部
203B:圖像獲取部
203C:鎖定部
203D:鎖定部
204:雜訊圖生成部
204A:雜訊圖生成部
204B:雜訊圖生成部
204C:選擇部
204E:選擇部
205:處理部
205C:處理部
205E:處理部
206:構築部
206C:預學習模型
206E:預學習模型
207:預學習模型
207C:測定部
F:對象物
G1~G27:圖表
G
1:特性圖表
G
2:特性圖表
G
3:特性圖表
G
T:特性圖表
P1:構件
P2:異物
R1:圖像區域
R2:圖像區域
S1~S11:步驟
S1E~S9E:步驟
S100~S106:步驟
S102A:步驟
S104A:步驟
S301~S308:步驟
TD:搬送方向(一個方向)
W:配線部
圖1係第1實施形態之圖像獲取裝置1之概略構成圖。
圖2係顯示圖1之掃描相機12之構成之俯視圖。
圖3係顯示圖1之控制裝置20之硬體構成之一例之方塊圖。
圖4係顯示圖1之控制裝置20之功能構成之方塊圖。
圖5係顯示圖4之圖像獲取部203獲取之X射線圖像之一例之圖。
圖6係顯示圖4之由雜訊圖生成部204之雜訊標準偏差圖之生成例之圖。
圖7係顯示圖4之預學習模型207之輸入輸出資料之一例之圖。
圖8係顯示用於構築預學習模型207之訓練資料之一個即訓練圖像之一例之圖。
圖9係顯示由構築部206構築預學習模型207所使用之教學資料(訓練資料)即圖像資料之製作順序之流程圖。
圖10係顯示圖像獲取裝置1之觀察處理順序之流程圖。
圖11係顯示本揭示之變化例之控制裝置20A之功能構成之方塊圖。
圖12係顯示本揭示之變化例之圖像獲取裝置1之觀察處理順序之流程圖。
圖13(a)~(d)係顯示圖11之算出部202A對於透過X射線之能譜之模擬計算結果之一例之圖表。
圖14係顯示圖11之算出部202A對於對象物之厚度與平均能量及透過率之關係之模擬計算結果之一例之圖表。
圖15係顯示圖11之算出部202A對於對象物之厚度與X射線之透過率之關係之模擬計算結果之一例之圖表。
圖16係顯示圖11之算出部202A對於對象物之厚度與透過X射線之平均能量之關係之模擬計算結果之一例之圖表。
圖17係顯示圖11之算出部202A對於X射線圖像之像素值與平均能量之關係之模擬計算結果之一例之圖表。
圖18係顯示X射線圖像之像素值與雜訊值之標準偏差之關係之模擬計算結果之一例之圖表。
圖19係顯示圖11之算出部202A中導出之對象物之材質變化時之像素值與雜訊值之標準偏差之關係之一例之圖表。
圖20係顯示本揭示之另一變化例之控制裝置20B之功能構成之方塊圖。
圖21係顯示本揭示之另一變化例之圖像獲取裝置1之觀察處理順序之流程圖。
圖22係顯示由圖20之雜訊圖生成部204B之雜訊標準偏差圖之生成例之圖。
圖23係顯示本揭示之另一變化例之圖像獲取裝置1中用於攝像之治具之構造之一例之立體圖。
圖24係顯示圖23之治具之攝像圖像之一例之圖。
圖25係顯示第2實施形態之控制裝置20C之功能構成之方塊圖。
圖26係顯示用於構築圖25之預學習模型206C之教學資料即圖像資料之一例之圖。
圖27係顯示圖25之選擇部204C之解析對象之X射線透過圖像之一例之圖。
圖28係顯示圖25之選擇部204C獲取之厚度-亮度之特性圖表之一例之圖。
圖29係顯示圖25之選擇部204C獲取之亮度-SNR之特性圖表之一例之圖。
圖30(a)、(b)係用以說明圖25之選擇部204C選擇基於圖像特性之預學習模型之功能之圖。
圖31係顯示圖25之選擇部204C之解像度評估所用之X射線透過圖像之一例之圖。
圖32係顯示圖25之選擇部204C之亮度-雜訊比評估所用之治具之構造之一例之立體圖。
圖33係顯示以圖32之治具為對象所得之雜訊去除處理後之X射線透過圖像之圖。
圖34係顯示使用第2實施形態之圖像獲取裝置1之觀察處理順序之流程圖。
圖35係顯示第2實施形態之變化例之控制裝置20D之功能構成之方塊圖。
圖36係顯示使用第2實施形態之變化例之圖像獲取裝置1之觀察處理順序之流程圖。
圖37係顯示第3實施形態之控制裝置20E之功能構成之方塊圖。
圖38係顯示用於構築圖37之預學習模型206E之教學資料即圖像資料之一例之圖。
圖39係顯示圖37之特定部202E之解析對象之X射線透過圖像之一例之圖。
圖40係顯示圖37之特定部202E獲取之厚度-亮度之特性圖表之一例之圖。
圖41係顯示圖37之特定部202E獲取之亮度-SNR之特性圖表之一例之圖。
圖42係顯示由圖37之特定部202E之解像度評估所用之X射線透過圖像之一例之圖。
圖43(a)、(b)係用以說明圖37之選擇部204E選擇基於圖像特性之預學習模型之功能之圖。
圖44係顯示圖37之選擇部204E之亮度-雜訊比之評估所用之治具之構造之一例之立體圖。
圖45係顯示以圖44之治具為對象所得之雜訊去除處理後之X射線透過圖像之圖。
圖46係顯示使用第3實施形態之圖像獲取裝置1之觀察處理順序之流程圖。
12:掃描相機(檢測元件)
71:基板
72:像素
73:讀出電路
74:像素列(像素群)
TD:搬送方向(一個方向)
W:配線部
Claims (12)
- 一種放射線圖像獲取裝置,其具備: 攝像裝置,其於一方向掃描並拍攝透過對象物之放射線,而獲取放射線圖像; 閃爍器,其設置於上述攝像裝置上,將上述放射線轉換為光;及 圖像處理模組,其使上述放射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,執行自上述放射線圖像去除雜訊之雜訊去除處理;且 上述攝像裝置包含: 檢測元件,其由具有沿上述一個方向排列之M個(M為2以上之整數)像素之像素列在與上述一個方向正交之方向排列N行(N為2以上之整數)而構成,對每個上述像素輸出上述光相關之檢測信號;及 讀出電路,其對上述檢測元件之N行之每一上述像素列,將自M個上述像素中之至少2個上述像素輸出之上述檢測信號進行加算,依序輸出加算後之N個上述檢測信號,藉此輸出上述放射線圖像。
- 如請求項1之放射線圖像獲取裝置,其中 上述預學習模型係藉由將對特定構造體之放射線圖像附加沿正規分佈之雜訊值所得之圖像資料作為教學資料之機械學習而構築。
- 如請求項1或2之放射線圖像獲取裝置,其中上述圖像處理模組具有: 雜訊圖生成部,其基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自上述放射線圖像之各像素之像素值導出上述評估值,生成將導出之上述評估值與上述放射線圖像之各像素建立對應之資料即雜訊圖;及 處理部,其將上述放射線圖像及上述雜訊圖輸入至上述預學習模型,執行自上述放射線圖像去除雜訊之雜訊去除處理。
- 如請求項1或2之放射線圖像獲取裝置,其中上述圖像處理模組具有: 輸入部,其接受表示照射放射線並拍攝對象物時上述放射線之產生源之條件或攝像條件之任一者的條件資訊之輸入; 算出部,其基於上述條件資訊,算出透過上述對象物之上述放射線相關之平均能量;及 鎖定部,其基於上述平均能量,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,鎖定用於上述雜訊去除處理之預學習模型。
- 如請求項1或2之放射線圖像獲取裝置,其中上述圖像處理模組具有: 特定部,其特定出以治具為對象而藉由上述攝像裝置獲取之放射線圖像之圖像特性; 選擇部,其基於上述圖像特性,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,選擇預學習模型;及 處理部,其使用經選擇之上述預學習模型,執行上述雜訊去除處理。
- 一種放射線圖像獲取系統,其具備: 如請求項1至5中任一項之放射線圖像獲取裝置; 產生源,其朝上述對象物照射放射線;及 搬送裝置,其將上述對象物對上述攝像裝置朝上述一個方向搬送。
- 一種放射線圖像獲取方法,其具備:於一個方向掃描並拍攝與透過對象物之放射線對應之閃爍光,而獲取放射線圖像之步驟; 將上述放射線圖像輸入至預先使用圖像資料藉由機械學習而構築之預學習模型,執行自上述放射線圖像去除雜訊之雜訊去除處理之步驟;且 在上述獲取步驟中, 使用如下之檢測元件,即,由具有沿上述一個方向排列之M個(M為2以上之整數)像素的像素列在與上述一個方向正交之方向排列N行(N為2以上之整數)而構成、對每個上述像素輸出上述閃爍光相關之檢測信號之檢測元件,對上述檢測元件之N行之每一上述像素列,將自M個上述像素中之至少2個上述像素輸出之上述檢測信號進行加算,依序輸出加算後之N個上述檢測信號,藉此輸出上述放射線圖像。
- 如請求項7之放射線圖像獲取方法,其中 上述預學習模型係藉由將對特定構造體之放射線圖像附加沿正規分佈之雜訊值所得之圖像資料作為教學資料之機械學習而構築。
- 如請求項7或8之放射線圖像獲取方法,其中在上述執行之步驟中,基於表示像素值與評估雜訊值之擴大之評估值之關係的關係資料,自上述放射線圖像之各像素之像素值導出上述評估值,生成將導出之上述評估值與上述放射線圖像之各像素建立對應之資料即雜訊圖,將上述放射線圖像及上述雜訊圖輸入至上述預學習模型,執行自上述放射線圖像去除雜訊之雜訊去除處理。
- 如請求項7或8之放射線圖像獲取方法,其中在上述執行之步驟中,接受表示照射放射線並拍攝對象物時上述放射線之產生源之條件或攝像條件之任一者的條件資訊之輸入,基於上述條件資訊,算出透過上述對象物之上述放射線相關之平均能量,基於上述平均能量,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,鎖定用於上述雜訊去除處理之預學習模型。
- 如請求項7或8之放射線圖像獲取方法,其中在上述執行之步驟中,特定出以治具為對象而獲取之放射線圖像之圖像特性,基於上述圖像特性,自預先使用圖像資料藉由機械學習而分別構築之複數個預學習模型中,選擇預學習模型,使用經選擇之上述預學習模型執行上述雜訊去除處理。
- 如請求項7至11中任一項之放射線圖像獲取方法,其進而具備: 對上述對象物照射放射線之步驟;及 將上述對象物對上述檢測元件朝上述一個方向搬送之步驟。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021021673 | 2021-02-15 | ||
JP2021-021673 | 2021-02-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202234049A true TW202234049A (zh) | 2022-09-01 |
Family
ID=82838581
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110129258A TW202234049A (zh) | 2021-02-15 | 2021-08-09 | 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 |
TW110138122A TW202238460A (zh) | 2021-02-15 | 2021-10-14 | 放射線圖像處理方法、機械學習方法、學習完成模型、機械學習之前處理方法、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110138122A TW202238460A (zh) | 2021-02-15 | 2021-10-14 | 放射線圖像處理方法、機械學習方法、學習完成模型、機械學習之前處理方法、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240054617A1 (zh) |
EP (1) | EP4252658A1 (zh) |
JP (1) | JPWO2022172506A1 (zh) |
KR (1) | KR20230145081A (zh) |
CN (1) | CN116916827A (zh) |
TW (2) | TW202234049A (zh) |
WO (1) | WO2022172506A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024157532A1 (ja) * | 2023-01-23 | 2024-08-02 | 浜松ホトニクス株式会社 | 画像処理方法、訓練方法、訓練済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099941A (ja) | 1999-09-30 | 2001-04-13 | Hitachi Metals Ltd | 放射線遮蔽板、放射線検出器及び放射線遮蔽板の製造方法 |
JP2003167060A (ja) | 2001-11-30 | 2003-06-13 | Toshiba Corp | X線平面検出器 |
JP2013017511A (ja) * | 2011-07-07 | 2013-01-31 | Toshiba Corp | 画像処理装置および方法、x線診断装置 |
US10984564B2 (en) * | 2016-12-06 | 2021-04-20 | Koninklijke Philips N.V. | Image noise estimation using alternating negation |
JP6993644B2 (ja) | 2017-11-10 | 2022-01-13 | アジア航測株式会社 | 赤色立体地図画像を用いた点群種類推定装置及び赤色立体地図画像を用いた点群種類推定プログラム |
JP6987352B2 (ja) * | 2017-11-17 | 2021-12-22 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
JP7302988B2 (ja) * | 2019-03-07 | 2023-07-04 | 富士フイルムヘルスケア株式会社 | 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム |
-
2021
- 2021-08-09 TW TW110129258A patent/TW202234049A/zh unknown
- 2021-10-07 CN CN202180093696.5A patent/CN116916827A/zh active Pending
- 2021-10-07 KR KR1020237028293A patent/KR20230145081A/ko active Search and Examination
- 2021-10-07 WO PCT/JP2021/037173 patent/WO2022172506A1/ja active Application Filing
- 2021-10-07 US US18/270,897 patent/US20240054617A1/en active Pending
- 2021-10-07 JP JP2022581176A patent/JPWO2022172506A1/ja active Pending
- 2021-10-07 EP EP21925753.2A patent/EP4252658A1/en active Pending
- 2021-10-14 TW TW110138122A patent/TW202238460A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN116916827A (zh) | 2023-10-20 |
TW202238460A (zh) | 2022-10-01 |
KR20230145081A (ko) | 2023-10-17 |
EP4252658A1 (en) | 2023-10-04 |
WO2022172506A1 (ja) | 2022-08-18 |
US20240054617A1 (en) | 2024-02-15 |
JPWO2022172506A1 (zh) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180336709A1 (en) | Method and devices for image reconstruction | |
CN112858167B (zh) | 多排双能线阵探测器扫描方法、系统、介质及装置 | |
JP7427803B2 (ja) | 光子計数x線検出器のためのスペクトル・パイルアップ補正 | |
TW202234049A (zh) | 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 | |
WO2023281890A1 (ja) | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 | |
JP2002152593A (ja) | エネルギーサブトラクション方法および装置並びに記録媒体 | |
JP2002034961A (ja) | 放射線撮影装置及び放射線撮影方法 | |
JP7546048B2 (ja) | 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム | |
WO2021210612A1 (ja) | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 | |
CN111566514A (zh) | 电荷共享校准方法及系统 | |
JP6700737B2 (ja) | 放射線撮像システム、信号処理装置、及び、放射線画像の信号処理方法 | |
JP7546047B2 (ja) | 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法 | |
TW202307465A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式、放射線圖像處理系統及機器學習方法 | |
TW202307785A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統 | |
WO2024157532A1 (ja) | 画像処理方法、訓練方法、訓練済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム | |
Kotwaliwale et al. | Calibration of a soft X-ray digital imaging system for biological materials | |
WO2024195212A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
JP2020201162A (ja) | 放射線撮像装置および放射線撮像方法 | |
Gorbachev et al. | The method of neuro-fuzzy calibration of geometrically distorted images of digital X-ray tomographs | |
JP2004201945A (ja) | 放射線画像撮影装置 |