TWI639976B - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
TWI639976B
TWI639976B TW106128502A TW106128502A TWI639976B TW I639976 B TWI639976 B TW I639976B TW 106128502 A TW106128502 A TW 106128502A TW 106128502 A TW106128502 A TW 106128502A TW I639976 B TWI639976 B TW I639976B
Authority
TW
Taiwan
Prior art keywords
image
pixel
pixel value
smoothed
composite
Prior art date
Application number
TW106128502A
Other languages
English (en)
Other versions
TW201814651A (zh
Inventor
武田遼
Original Assignee
島津製作所股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 島津製作所股份有限公司 filed Critical 島津製作所股份有限公司
Publication of TW201814651A publication Critical patent/TW201814651A/zh
Application granted granted Critical
Publication of TWI639976B publication Critical patent/TWI639976B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

此影像處理裝置(100)包括合成影像取得部(24),所述合成影像取得部(24)對處理對象影像,取得已將雜訊成分平滑化的互不相同的多個平滑化影像,基於處理對象影像的畫素的畫素值與所取得的平滑化影像的畫素的畫素值的考慮了正負的畫素值差,進行平滑化影像的加權合成。

Description

影像處理裝置
本發明是有關於一種影像處理裝置,特別是有關於一種藉由利用多個平滑化濾波器將影像平滑化,並且將經平滑化的多個影像合成而生成降低了雜訊成分的影像的影像處理裝置。
在習知上,已知如下影像處理裝置,即,藉由利用多個平滑化濾波器將影像平滑化,並且將經平滑化的多個影像合成而生成降低了雜訊成分的影像。此種影像處理裝置例如揭示於日本專利第3472596號公報中。
所述專利第3472596號公報中揭示了一種雜訊降低濾波器(影像處理裝置),對處理對象影像的各畫素,使用用以將雜訊成分平滑化的各不相同的多個平滑化濾波器,從處理對象影像的各畫素的與亮度或色度對應的畫素值取得多個平滑化影像的各畫素的畫素值,並且在處理對象影像的各畫素的畫素值與多個平滑化影像的對應位置處的各畫素的畫素值之間,對應多個平滑化濾波器的每個,取得畫素值差的絕對值,基於畫素值差的絕對值對多個平滑化濾波器進行加權,將各畫素平滑化。該雜訊降低濾波器構成為,重視在包含許多個畫素值相對於注目畫素的畫素值之差的合計的絕對值小的畫素的方向上進行平滑化的平滑化濾波器而進行合成。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利第3472596號公報。 [發明所欲解決之課題]
然而,所述專利第3472596號公報的雜訊降低濾波器(影像處理裝置)構成為:重視在包含許多個畫素值相對於注目畫素的畫素值之差的合計的絕對值小的畫素的方向上進行平滑化的平滑化濾波器的平滑化影像而進行合成。因此,在影像資料的畫素值中產生雜訊成分的情況下,畫素值之差的絕對值較無雜訊的情況下的值而有所增減,故考慮有時會因雜訊而將與無雜訊的情況不同的平滑化濾波器的加權增大來進行合成。該情況下,存在難以將處理對象影像適當地平滑化而進行合成的問題。
本發明是為了解決所述課題而完成,本發明的一個目的在於提供一種即便在影像資料的畫素值中產生雜訊成分的情況下,亦能夠適當地平滑化而將影像合成的影像處理裝置。 [解決課題之手段]
為了達成所述目的,本發明的一態樣的影像處理裝置包括:影像平滑化部,對處理對象影像的各畫素,使用用以將雜訊成分平滑化的各不相同的多個平滑化濾波器,從處理對象影像的各畫素的與亮度或色度對應的畫素值取得多個平滑化影像的各畫素的畫素值;畫素值差取得部,在處理對象影像的各畫素的畫素值與多個平滑化影像的對應位置處的各畫素的畫素值之間,對應多個平滑化濾波器的每個,取得各畫素的與亮度或色度對應的多個畫素值的、考慮了正負的差即畫素值差;合成權重取得部,基於多個畫素值差,取得將多個平滑化影像的各畫素的畫素值合成時的加權中使用的合成權重;以及合成影像取得部,對多個平滑化影像的各畫素,基於平滑化影像的各畫素的畫素值的合成權重進行加權合成而取得合成影像。
本發明的一態樣的影像處理裝置中,如所述般,設置合成權重取得部,該合成權重取得部在對應的位置的畫素中,基於多個平滑化影像的各畫素的畫素值與處理對象影像的畫素的畫素值的考慮了正負的多個畫素值差,藉由所述對多個平滑化影像的各畫素的畫素值進行加權合成,而取得合成影像。由此,考慮了正負的畫素值差的整體的傾向可被認為即便產生雜訊成分亦不改變,因而與基於畫素值差的絕對值將平滑化影像加權合成的情況不同,畫素值差的關係不會發生逆轉。其結果為,可基於考慮了正負的畫素值差適當地進行平滑化影像的加權合成。具體而言,在畫素值差接近0值的部位,因雜訊成分的影響而畫素值差在0值附近跨越正負而變動,因而在取得畫素值差的絕對值的情況下,在考慮整體的傾向的場合會變得無法區別。另一方面,若在保存著畫素值差的正負的狀態下,則即便附雜訊成分,畫素值差的整體的傾向亦不會大幅改變,因而可選擇適當的平滑化影像進行加權合成。藉此,可適當地將平滑化影像加權合成,而取得適當地平滑化的影像。
所述一態樣的影像處理裝置中,較佳為,合成權重取得部構成為,取得考慮了正負的多個畫素值差的平均值,並且基於多個畫素值差與畫素值差的平均值取得與各畫素對應的多個合成權重。若如此構成,則可基於畫素值差的整體的傾向即平均值而容易找出畫素值差異常的平滑化影像,因而可基於表示針對各平滑化濾波器的平滑化引起的變化的、考慮了正負的各畫素值差,藉由平滑化影像適當地進行加權合成。
該情況下,較佳為,合成權重取得部構成為,在判斷為畫素值差從負向正增大的指標中,在相對於各畫素而畫素值差的平均值為正的情況下,進行將與多個畫素值差中的小的畫素值差對應的平滑化影像的合成權重增大的控制,並且在畫素值差的平均值為負的情況下,進行將與多個畫素值差中的大的畫素值差對應的平滑化影像的合成權重增大的控制。若如此構成,則在判斷為畫素值差從負向正增大的指標中,若畫素值差的平均值為正,則可利用自整體的傾向偏向負值的方向的小的畫素值差,容易地找出畫素值差異常的平滑化影像。而且,在判斷為畫素值差從負向正增大的指標中,若畫素值差的平均值為負,則可利用自整體的傾向偏向正值的方向的大的畫素值差,容易地找出畫素值差異常的平滑化影像。因此,可基於相對於畫素值差的平均值而位於峰值的位置(異常的位置)的畫素值差,容易地將與畫素值差異常的平滑化影像對應的合成權重增大。其結果,可獲得配合畫素值差的整體的傾向,藉由平滑化影像適當地加權而合成的合成影像。
所述一態樣的影像處理裝置中,較佳為,設置相加合成影像生成部,該相加合成影像生成部對各畫素,將處理對象影像的各畫素的畫素值與合成影像的對應的位置處的各畫素的畫素值加權相加而進行合成,進行相加合成影像的取得。若如此構成,則進而將原處理對象影像與作為平滑化的結果的合成影像進行比較,考慮平滑化引起的變化的程度,可在處理對象影像與合成影像之間進行相加合成。
該情況下,較佳為,相加合成影像生成部構成為,在進行加權相加的情況下,基於處理對象影像的各畫素的畫素值與合成影像的對應的位置處的各畫素的畫素值,取得與各畫素對應的相加權重,並且基於相加權重而取得相加合成影像。若如此構成,則可從處理對象影像的各畫素的畫素值與合成影像的對應位置處的各畫素的畫素值,容易地取得處理對象影像與合成影像的相加的加權的程度。
所述一態樣的影像處理裝置中,較佳為,進而包括頻帶限制影像處理部,該頻帶限制影像處理部對輸入影像進行頻率解析,針對每個頻率取得僅取出包含特定頻率的影像的進行了頻帶限制的多個影像,並且進行將針對每個頻率分開的多個影像再次合併的頻率合成,取得經頻率合成的輸出影像,頻帶限制影像處理部構成為,進行針對作為輸入影像的處理對象影像的頻率解析,取得進行了頻帶限制的處理對象影像,取得進行頻帶限制並且對各畫素基於考慮了正負的畫素值差而進行了加權合成的合成影像,基於進行了頻帶限制及加權合成的合成影像進行針對影像的頻率合成,取得輸出影像。若如此構成,則對應每個處理對象影像的頻率成分取得多個平滑化影像,基於考慮了正負的多個畫素值差將處理對象影像的各畫素的畫素值與多個平滑化影像的對應的位置處的各畫素的畫素值加權合成,而取得合成影像,藉此可針對每個頻率頻帶將雜訊成分平滑化,一面抑制映入影像的被攝體的構造的邊界線的散景(bokeh)(模糊),一面更有效果地對已將雜訊成分平滑化的影像資料進行加權合成。 [發明的效果]
如所述般,根據本發明,即便在影像資料的畫素值中產生雜訊成分的情況下,亦能夠藉由適當地對平滑化影像進行加權,而適當地平滑化從而對影像進行合成。
以下,基於圖式對將本發明具體化的實施形態進行說明。
[第1實施形態] (影像處理裝置的構成) 首先,參照圖1~圖8,對本發明的第1實施形態的影像處理裝置100的整體構成進行說明。第1實施形態中,表示將影像處理裝置100用於X射線攝像裝置101的情況的示例。另外,影像處理裝置100構成為作為本發明的第1實施形態的影像處理裝置發揮功能,並且亦作為X射線攝像裝置101的控制部發揮功能。這是用於裝置構成的簡化的措施,亦可構成為將影像處理裝置100與X射線攝像裝置101的控制部分開構成,而彼此交換資料。
如圖1所示,影像處理裝置100具備主控制部1、影像處理部2、記憶部3。影像處理部2包含影像平滑化部21、畫素值差取得部22、合成權重取得部23、合成影像取得部24、相加合成影像生成部25。記憶部3包含程式31及資料32。而且,影像處理裝置100例如包含個人電腦(Personal Computer,PC)等,構成為藉由適當讀出程式31並執行,而作為影像處理裝置發揮功能。而且,影像處理裝置100連接於X射線攝像裝置101。
主控制部1藉由執行儲存於記憶部3的程式31,使PC作為影像處理裝置100發揮功能,並且作為X射線攝像裝置101的控制部發揮功能。而且,主控制部1作為針對X射線攝像裝置101的控制部,控制X射線攝影的執行或攝影方向、範圍、攝影次數等。關於作為影像處理裝置100的功能將於以後進行敍述。
X射線攝像裝置101構成為,與作為X射線攝像裝置101的控制部發揮功能的影像處理裝置100連接,並且對被攝體S照射X射線,進行被攝體S的攝影部位(透視部位或攝像部位)的透視或攝像,並且將經攝影的影像送出至影像處理裝置100。而且,X射線攝像裝置101具備X射線照射部4、X射線收像部5、操作部6、顯示部7。另外,由X射線攝像裝置101攝影的X射線影像包含藉由低線量連續地攝影的X射線透視影像、及藉由高線量攝影的X射線攝像影像兩方的影像。以下,作為代表,對進行X射線攝像的情況進行說明,但關於X射線透視,亦獲得相同的結果。
X射線照射部4朝向被攝體S照射X射線。X射線收像部5對透過了被攝體的X射線收像,對X射線攝像影像進行攝像,並且將所收像的X射線攝像影像的資料轉換為電信號,將作為處理對象影像In的X射線攝像影像的資料送出至影像處理裝置100。而且,X射線照射部4與X射線受像部5以夾著頂板而對向的方式配置,且以對橫臥在頂板上的被攝體S進行X射線攝像的方式構成。另外,X射線照射部4例如包含X射線管。而且,X射線收像部5例如包含FPD(Flat Panel Detector,平板探測器)。
操作部6構成為受理操作者的操作命令的輸入。而且,操作部6構成為進行X射線攝像裝置101的操作以及影像處理裝置100的影像處理方法的選擇等操作。而且,顯示部7除例如顯示藉由影像處理裝置100進行了影像處理的X射線攝像影像外,亦進行與X射線攝像裝置101及影像處理裝置100的操作有關的各種畫面顯示。另外,操作部6例如包含受理操作者的操作輸入的鍵盤、滑鼠及操作桿等。而且,顯示部7例如包含液晶面板及背光等。
(影像的平滑化處理) 以下,基於圖2~圖6,對由影像處理裝置100進行的影像的平滑化處理進行說明。
影像處理裝置100從X射線攝像裝置101取得X射線的攝影影像(X射線透視影像或X射線攝像影像)的影像資料。以下,作為代表,考慮取得X射線攝像影像的情況。另外,X射線攝像影像是針對每個畫素受像的透過X射線的大小被表示為畫素值的灰階的影像,該情況下,關於畫素值僅考慮亮度。
影像處理裝置中,例如,為了提高操作者對影像資料的視認性,而進行影像中包含的被攝體的邊界線的加強處理、或對比度等的調整處理、任意部分的放大、縮小處理、旋轉處理、修整處理、負與正的反轉處理等各種影像處理。本發明的第1實施形態的影像處理裝置100構成為進行所述影像處理,並且進行抑制影像的畫素的畫素值中所包含的雜訊成分引起的變動,形成影像的畫素值的變化流暢的視認性佳的影像的平滑化處理。以下,特別對影像的平滑化處理進行說明。
在影像中包含雜訊成分的情況下,因雜訊成分而偏離理想的畫素值,因而會成為畫素值不流暢地變化的視認性差的影像。該雜訊成分會因各種理由而產生,在X射線攝像影像的情況下,例如,由於X射線照射部4(X射線管)使熱電子與電極碰撞而產生X射線,而源自原理上無法避免的泊松(Poisson)分佈的X射線照射的不均一(作為統計上的變動的量子雜訊)會成為影像中附雜訊成分的重要原因。若增大藉由X射線照射部4照射的X射線的強度則雖能夠減小源自該泊松分佈的雜訊,但同時會增大被攝體S或操作者的曝射量,因而欠理想。因此,在將X射線照射量抑制得低的狀態下,亦需要儘可能地去除所產生的雜訊成分的影響,提高X射線攝像影像的視認性。另外,在X射線攝像影像中產生的雜訊中,亦存在X射線收像部5(FPD)的畫素值的讀出時產生的雜訊、或交換影像的資料的期間因外來的電磁波或熱雜訊等而在電子電路中產生的雜訊等。另外,由影像處理裝置100而取得的平滑化影像能夠與產生原因無關而將雜訊去除。
首先,對平滑化方法簡單地進行說明。關於影像,若在充分小的範圍內觀看則為局部大致相同的構造,因而認為畫素值於該範圍內亦大致相等。即,若畫素的每個都非常精細,則某注目位置的畫素與其周邊位置的畫素被認為畫素值大致相等。另一方面,因雜訊成分隨機地附於各個畫素值,故畫素值因雜訊成分而產生變動,成為相對於本來的值大的值或小的值。因此,藉由取得注目位置及其周邊位置處的畫素的畫素值的平均值,並與注目位置的畫素的畫素值進行置換,而可抵消雜訊成分。所有畫素中若利用所述平均值進行置換處理,則獲得使雜訊平滑化後的平滑化影像。
另外,若進行取得與周邊位置的所有畫素的畫素值的平均值的處理,則於在注目位置的周邊位置存在映入影像中的被攝體的構造改變的邊界線的部分的情況下,一面跨越邊界線一面獲取畫素值的平均值。藉此,對於被攝體的邊界線亦平滑化,因而於被攝體的邊界線產生散景(模糊)。因此,需要進行如下平滑化,即,重視沿著被攝體的構造的方向的平滑化,而忽視跨越被攝體的構造的邊界的方向的平滑化。
具體而言,例如,如圖2所示,藉由準備於某特定的方向上進行平滑化的平滑化濾波器F(d),而進行與被攝體的構造相應的平滑化。進行如下處理,即,獲取位於沿以注目位置的畫素為中心的特定方向延伸的線段上的畫素的畫素值的平均值,置換為注目位置的畫素值。此處,處理對象影像In為M列N行的畫素資料的集合,且為成為進行平滑化的對象的影像。而且,由虛線的圓包圍的部分為注目位置的畫素,藉由以注目位置的畫素為中心的正方形包圍的區域為成為進行平滑化的對象的平滑化區域。平滑化濾波器(d)根據進行平滑化的方向有D塊,分別為平滑化的方向各不相同的異向性的濾波器。d取1至D中任一個正的整數值,是用以區分平滑化濾波器F(d)的數值。平滑化濾波器F(d)內所示的線段表示注目位置及其周邊的位置的畫素中的位於線段上的畫素為有助於平滑化的畫素。藉由將D塊平滑化濾波器F(d)用於處理對象影像In,注目位置及與平滑化濾波器F(d)對應的周邊位置處的畫素的畫素值得以平滑化,取得D張平滑化影像Smooth(d)的畫素值。使用所述D塊平滑化濾波器F(d)進行平滑化的處理對處理對象影像In的所有畫素而進行,針對各畫素的每個而獲得D張平滑化影像Smooth(d)的畫素值。
更詳細而言,平滑化濾波器F(d)例如作為具有如圖3的值的運算子的矩陣而表示。該情況下,平滑化濾波器F(d)作為8塊5列5行的矩陣而表示,在以注目位置的畫素值為中心而以45度為單位的8個方向上,將包含注目位置的畫素的3個鄰接的畫素的畫素值平滑化。平滑化濾波器F(d)內的係數1/3表示將位於對應的位置的處理對象影像In的畫素的畫素值設為1/3倍(係數倍)而取得。若將所取得的所有畫素值合計,則可取得位於係數的位置的畫素的畫素值的平均值。即,關於處理對象影像In的各位置的畫素,可針對每個平滑化濾波器F(d)而取得8張平滑化影像Smooth(d)的畫素的畫素值。另外,未寫係數的空欄的部分為省略了係數為0的部分,出現在空欄的位置的畫素表示無助於平滑化。而且,θ表示平滑化的方向。
為了從8張平滑化影像Smooth(d)獲得1張合成影像Comp,進行如下加權合成處理:將D張平滑化影像Smooth(d)中的沿著被攝體的構造的方向進行了平滑化的平滑化影像Smooth(d)增大加權合成,將在跨越被攝體的構造的方向上進行了平滑化的平滑化影像Smooth(d)減小加權合成。藉此,可增大在屬於被攝體的相同構造的畫素之間平滑化的平滑化影像的影響而進行合成,且減小跨越被攝體的構造的不同部分而平滑化的平滑化影像的影響而進行合成,因而可藉由平滑化減小雜訊成分,且可抑制因跨越被攝體的構造的邊界而平滑化所引起的邊界線的散景(模糊)。藉由對處理對象影像In的各畫素如所述般將平滑化影像Smooth(d)加權合成,而可取得作為適當地進行平滑化的結果的合成影像Comp。
另外,如圖4所示,亦可進一步增加平滑化濾波器F(d)的塊數,設定更多的平滑化方向。圖4表示出能夠在以15度為單位的24個方向上平滑化的24塊平滑化濾波器F(d)的至第3塊為止的圖。該情況下,當在15度方向或30度方向上進行平滑化時,需要在跨越2個畫素的方向上進行平滑化,因而需要對所跨越的2個畫素的畫素值的影響進行補償而平滑化。例如,在30度方向進行平滑化的平滑化濾波器F(3)中,關於係數k(1,0)與係數k(1,1),設為對與一個畫素值的影響對應的係數1/3使用幾何上為30度的正切的tan(π/6)進行分配所得的值即可。即,k(1,0)為tan(π/6)/3,k(1,1)為{1-tan(π/6)}/3。實際上,因tan(π/6)為無理數,故對應計算機的處理能力或畫素值的位數而以適當的位數停止取得,將結果的值預先記憶於記憶部3,並適當地從記憶部3中讀出而使用即可。關於其他係數的具體值將予以省略。而且,在45度的情況下,成為與圖3所示的平滑化濾波器相同的構成。關於45度以後的平滑化濾波器F(d),為對於所述任一濾波器以注目位置為中心而旋轉或反轉所得者相同的構成,從而省略圖示。
而且,雖省略圖示,但亦可將平滑化濾波器F(d)的大小放大為n列n行(例如7列7行)。該情況下,亦可與所述同樣地,對存在於平滑化方向上的畫素分配將1等分所得的係數,還可對靠近注目位置的畫素以係數相對增大的方式進行分配。為了在任一情況下,於平滑化的前後影像整體的畫素值均不會變化,而各平滑化濾波器F(d)所包含的係數的合計需要以為1的方式加以標準化。
對平滑化影像Smooth(d)的加權進行具體進行說明。若處理對象影像In的畫素的畫素值與平滑化影像Smooth(d)的對應的位置的畫素的畫素值的值接近,則可認為在成為大致相同畫素值的被攝體的構造的相近部位所屬的畫素之間,能夠較佳地進行平滑化。另一方面,若處理對象影像In的畫素的畫素值與平滑化影像Smooth(d)的對應位置的畫素的畫素值的值大幅不同,則可認為跨越被攝體不同的構造(被攝體的構造的邊界線)而進行平滑化。因此,藉由將處理對象影像In的畫素的畫素值與平滑化影像Smooth(d)的畫素的畫素值進行比較,而可判斷合成時需要重視哪個平滑化影像Smooth(d)。
此種情況下,進行如下處理,即,取得處理對象影像In的畫素的畫素值與平滑化影像Smooth(d)的畫素的畫素值之差的絕對值,進一步對畫素值差的絕對值小的Smooth(d)賦予更大的權重而加權並進行合成。
此處,考慮對將圖5所示的線性構造的被攝體攝像所得的影像進行平滑化的情況。該被攝體S在前端部分的周邊為大致相同的構造。白色表示的部分為產生被攝體S的映入的部分,藉由被攝體S而入射至X射線收像部5的量減少,因而為X射線收像少的部分。而且,由斜線而表示的部分為不產生被攝體S的映入的部分,因由X射線照射部4照射的X射線不會透過被攝體S而是入射至X射線收像部5,故為X射線收像的線量多的部分。
此時,使用在沿以注目位置的畫素為中心而分別以15度為單位的互不相同的24個方向延伸的線段上將畫素的畫素值平滑化的24塊平滑化濾波器F(d),取得24張平滑化影像Smooth(d)。若以線構造的前端部分為注目位置,則從注目位置處的處理對象影像In的畫素的畫素值減去平滑化影像Smooth(d)的畫素的畫素值,由此取得與平滑化影像Smooth(d)對應的24個畫素值差S(d)。
圖6(a)所示的曲線圖是表示無雜訊成分的情況下的理想的、考慮了正負的畫素值差S(d)及畫素值差的絕對值|S(d)|的曲線圖。畫素值差S(d)因前端部分與被攝體S相同,故180度方向上大致為0,隨著偏離180度而成為負值。即,與被攝體S的線構造對應地,畫素值差S(d)成為在180度方向上具有接近0值的峰值的山型曲線圖。該情況下,若獲取畫素值差S(d)的畫素值差的絕對值|S(d)|,則成為藉由正負的逆轉而在180度方向上具有接近0值的峰值的谷型曲線圖。該情況下,因無雜訊成分的影響,故畫素值差S(d)與畫素值差的絕對值|S(d)|之間,作為峰值而獲得的方向上並無差異。即,可知在畫素值差S(d)及畫素值差的絕對值|S(d)|的任一情況下,將在沿著線構造的方向上平滑化的與180度方向對應的平滑化影像Smooth(d)進一步增大加權進行合成,從而取得合成影像Comp即可。
接下來,考慮雜訊成分附於處理對象影像In的畫素的畫素值的情況。畫素值差S(d)及畫素值差的絕對值|S(d)|在具有雜訊成分的情況下,例如,為圖6(b)所示的曲線圖。該情況下,可知畫素值差S(d)及畫素值差的絕對值|S(d)|雖分別具有由雜訊成分引起的值的變動,但整體的傾向保持著大致圖6(a)的曲線圖的形狀。即,畫素值差S(d)仍然為以180度方向為峰值的山型曲線圖,畫素值差的絕對值|S(d)|為以180度方向為峰值的谷型曲線圖。
另一方面,根據雜訊成分的附著方式,亦存在獲得圖6(3)所示的曲線圖的情況。此時,與180度方向的平滑化對應的畫素值差S(d)若為無雜訊成分的狀況則應大致為0,但由於雜訊成分的重疊而會向正值偏離。在該情況下,畫素值差S(d)的曲線圖的整體的傾向亦不會改變,因而依然保持著山型的曲線圖,180度方向為曲線圖的峰值。另一方面,畫素值差的絕對值|S(d)|因未考慮正負,故如圖6(c)的右側的曲線圖般,會將與195度方向的平滑化影像對應的方向誤認作峰值。即,會變成重視195度方向而將平滑化影像Smooth(d)加權合成。此種構造的方向的誤認是因在畫素值差S(d)接近0的情況下,由於雜訊成分的影響而正負容易改換而產生。
如以上,在考慮雜訊成分而平滑化的情況下,並非基於畫素值差的絕對值|S(d)|,而是基於考慮了正負的畫素值差S(d)來進行平滑化影像的加權合成,藉此可適當地進行平滑化影像Smooth(d)的加權合成。
以下,基於影像處理裝置100的構成,對藉由考慮了正負的畫素值差S(d)從處理對象影像In取得作為平滑化處理的最終結果的相加合成影像(處理完畢影像)Out的一連串的處理進行詳細說明。
此處,第1實施形態的影像處理裝置100中,設置著影像平滑化部21,該影像平滑化部21對處理對象影像In的各畫素,使用用以將雜訊成分平滑化的互不相同的多個平滑化濾波器F(d),從處理對象影像In的各畫素的與亮度或色度對應的畫素值取得多個平滑化影像Smooth(d)的各畫素的畫素值。
具體而言,影像平滑化部21取得從X射線攝像裝置101取得的X射線攝像影像即處理對象影像In。該情況下,影像平滑化部21亦可構成為使X射線攝像影像的資料記憶於記憶部3,藉由從記憶部3(資料32)讀出而取得處理對象影像In。而且,影像平滑化部21使用包含對於處理對象影像In而言互不相同的平滑化係數的運算子的矩陣即D塊平滑化濾波器F(d),對處理對象影像In的各位置的畫素的畫素值,取得與d相應的總數D張的平滑化影像Smooth(d)的畫素的畫素值。取得與該平滑化影像Smooth(d)的各位置對應的畫素的畫素值的計算可如數式(1)般表示。 [數式1]
其中,由黑圓點表示的運算子表示如下計算,即,取得處理對象影像In的注目位置處的畫素的畫素值及與平滑化濾波器F(d)對應的注目位置的周邊位置處的畫素的畫素值,對所取得的畫素值乘以針對每個平滑化濾波器F(d)而不同的平滑化係數,進行相加,藉此進行平滑化(例如相加平均),將所獲得的畫素值作為注目位置的畫素的畫素值而置換,由此取得平滑化影像Smooth(d)。另外,d為與1、2、3、…、D對應的正整數中的任一個。
而且,第1實施形態的影像處理裝置100中,設置畫素值差取得部22,該畫素值差取得部22在處理對象影像In的各畫素的畫素值與多個平滑化影像Smooth(d)的對應的位置處的各畫素的畫素值之間,對應多個平滑化濾波器F(d)的每個,取得各畫素的與亮度或色度對應的多個畫素值的、考慮了正負的差即畫素值差S(d)。
具體而言,畫素值差取得部22對處理對象影像In的各位置的畫素與平滑化影像Smooth(d)的對應的各位置的畫素,取得作為考慮了正負的差分值的畫素值差S(d)。對該各畫素取得畫素值差S(d)的計算可如數式(2)般表示。 [數式2]
而且,第1實施形態的影像處理裝置100中,設置著合成權重取得部23,該合成權重取得部23基於多個畫素值差S(d),取得將多個平滑化影像Smooth(d)的各畫素的畫素值合成時的加權中使用的合成權重α(d)。
而且,第1實施形態的合成權重取得部23構成為取得考慮了正負的多個畫素值差S(d)的平均值AvrS,並且基於多個畫素值差S(d)與畫素值差的平均值AvrS而取得與各畫素對應的多個合成權重α(d)。
而且,第1實施形態的合成權重取得部23構成為在判斷為畫素值差從負向正增大的指標中,在相對於各畫素而畫素值差的平均值AvrS為正的情況下,進行將與多個畫素值差S(d)中的小的畫素值差S(d)對應的平滑化影像Smooth(d)的合成權重α(d)增大的控制,並且在畫素值差的平均值AvrS為負的情況下,進行將與多個畫素值差S(d)中的大的畫素值差S(d)對應的平滑化影像Smooth(d)的合成權重α(d)增大的控制。
具體而言,合成權重取得部23藉由對所有畫素值差S(d)進行相加平均,而取得畫素值差的平均值AvrS。取得該畫素值差的平均值AvrS的計算可如數式(3)般表示。 [數式3]
而且,合成權重取得部23基於畫素值差S(d)及畫素值差的平均值AvrS取得平滑化影像Smooth(d)的合成權重α(d)。合成權重α(d)為正的實數值,以合成後的合成影像Comp整體的畫素值為與合成前的處理對象影像In整體的畫素值相同的基準的方式,以若對所有d合計合成權重α(d)則正好為1的方式加以標準化。取得該合成權重α(d)的計算可如數式(4)般表示。 [數式4]
其中,k為用以將合成權重α(d)標準化的標準化常數。
函數Α是將畫素值差S(d)及畫素值差的平均值AvrS作為引數(argument)的函數。如由圖6(c)的左曲線圖所示,以被攝體S的線構造的前端部分的畫素作為注目位置情況下的、考慮了正負的畫素值差S(d)的曲線圖中,在與沿著構造的方向的平滑化影像Smooth(d)對應的畫素值差S(d)中具有向上凸出的峰值。而且,因從注目位置入射相對多的X射線,處理對象影像In的注目位置的周邊位置的與線構造以外的部分對應的畫素的畫素值增大。由此,與沿著線構造的方向以外的方向對應的畫素值差S(d)為負的值。因此,畫素值差的平均值AvrS為負。此處,畫素值差S(d)的曲線圖的峰值在畫素值差S(d)中與最偏向正值的方向的畫素值差S(d)對應。即,當畫素值差的平均值AvrS為負時,在判斷為畫素值差從負向正增大的指標中,畫素值差S(d)越大的平滑化影像Smooth(d),越與沿著構造的方向的平滑化對應。
另一方面,圖示雖省略,但考慮在注目位置未映入被攝體S的部分,在周邊位置存在被攝體S的邊界(構造)的狀況。該情況下,若在跨越被攝體S的邊界的方向上平滑化,則影像的邊緣會產生散景(模糊)。因此,需要將未映入被攝體S的方向上平滑化的平滑化影像Smooth增大並加權合成。而且,與未映入被攝體的方向的平滑化對應的畫素值差S(d)若無雜訊成分,則大致為0值。而且,與跨越被攝體的邊界的方向的平滑化對應的畫素值差S(d)為正的值。尤其,與被攝體的邊界垂直的方向上平滑化的畫素值差S(d)為最大值。其結果,考慮了正負的畫素值差S(d)的曲線圖為與被攝體S的邊界垂直地平滑化的平滑化影像Smooth(d)所對應的、S(d)具有接近0值的底部(峰值)且向下凸出的谷型的曲線圖。即,畫素值差S(d)的峰值如所述般,與畫素值差S(d)中最偏向負值的方向的畫素值差S(d)對應。而且,因與未映入被攝體的方向以外的方向對應的畫素值差S(d)為正的值,故畫素值差的平均值AvrS為正。即,當畫素值差的平均值AvrS為正時,在判斷為畫素值差從負向正增大的指標中,畫素值差S(d)越小的平滑化影像Smooth(d),越與沿著構造的方向的平滑化對應。
若加以總結,則在判斷為畫素值差從負向正增大的指標中,當畫素值差的平均值AvrS為正時,畫素值差S(d)越小的平滑化影像Smooth(d),越與沿著構造的方向的平滑化對應,當畫素值差的平均值AvrS為負時,畫素值差S(d)越大的平滑化影像Smooth(d),越與沿著構造的方向的平滑化對應。即,函數Α只要為如下函數即可,即,在畫素值差的平均值AvrS為正的情況下,畫素值差S(d)越小的平滑化影像Smooth(d),越減小合成權重α(d),在畫素值差的平均值AvrS為負的情況下,畫素值差S(d)越大的平滑化影像Smooth(d),越增大合成權重α(d)。第1實施形態中,對函數Α,在畫素值差的平均值AvrS為正的情況下,將與畫素值差S(d)最小的平滑化影像Smooth(dmin)對應的合成權重α(dmin)設為1,將其他合成權重α(d)設為0。而且,對函數Α,在畫素值差的平均值AvrS為負的情況下,將與畫素值差S(d)最大的平滑化影像Smooth(dmax)對應的合成權重α(d)設為1,將其他合成權重α(dmax)設為0。dmin為與最小的S(d)對應的d,dmax為與最大的S(d)對應的d。若使函數Α如此構成,則僅與平滑化的方向最佳的方向對應的平滑化影像Smooth(d)對合成影像Comp有影響。
另外,在AvrS為0的情況下,認為在注目位置的周邊位置的畫素的畫素值中無異常的方向性。因此,在AvrS為0的情況下,例如將所有合成權重α(d)進行平均分配,並設為1/D即可。該情況下,合成影像Comp成為在注目位置處相對於所有方向均等地平滑化而成的影像。
而且,第1實施形態的影像處理裝置100中,設置基於合成權重對多個平滑化影像的各畫素進行加權合成而取得合成影像的合成影像取得部24。
具體而言,合成影像取得部24將由合成權重取得部23取得的合成權重α(d)乘以平滑化影像Smooth(d)並相加,藉此取得合成影像Comp。取得該合成影像Comp的計算可由數式(5)表示。 [數式5]
該情況下,數式(5)的計算等於如下計算,即,在畫素值的平均值AvrS為正的情況下,將與畫素值差S(d)最小的方向對應的平滑化影像Smooth(dmin)作為合成影像Comp,在畫素值的平均值AvrS為負的情況下,將與畫素值差S(d)最大的方向對應的平滑化影像Smooth(dmax)作為合成影像Comp。
而且,第1實施形態的影像處理裝置100中,設置相加合成影像生成部25,該相加合成影像生成部25對各畫素,將處理對象影像In的各畫素的畫素值與合成影像Comp的對應的位置處的各畫素的畫素值加權相加而進行合成,進行相加合成影像Out的取得。
具體而言,相加合成影像生成部25使用相加權重β,對作為原影像的處理對象影像In的各畫素的畫素值、與作為進行了平滑化的結果的合成影像的對應的位置的畫素的畫素值進行加權而相加合成,藉此取得作為最終結果的相加合成影像。相加權重β為0至1之間的正的實數值,相加合成後的相加合成影像Out整體的畫素值與合成前的處理對象影像In及合成影像Comp整體的畫素值以成為相同基準的方式而加以標準化。藉由該相加權重β取得相加合成影像Out的計算可如數式(6)般表示。 [數式6]
而且,第1實施形態的相加合成影像生成部25構成為,在進行加權相加的情況下,基於處理對象影像In的各畫素的畫素值與合成影像Comp的對應的位置處的各畫素的畫素值而取得與各畫素對應的相加權重β,基於相加權重β取得相加合成影像Out。
具體而言,相加合成影像生成部25對各畫素,基於對應的位置的處理對象影像In的畫素值與合成影像Comp的畫素值,取得相加權重β。取得該相加權重β的計算可如數式(7)般表示。 [數式7]
其中,l為用以將相加權重β標準化的標準化常數。
此處,函數Β為將處理對象影像In的畫素值與合成影像Comp的畫素值作為引數的函數。函數Β為表示處理對象影像In與合成影像Comp的關聯的函數,構成為處理對象影像In的畫素值與合成影像Comp的畫素值越為接近則函數Β越大。藉此,若將數式(6)與數式(7)合併,則成為如下計算:處理對象影像In的畫素值與合成影像Comp的畫素值越為接近,則對合成影像Comp的畫素值賦予大的權重而加權相加,處理對象影像In的畫素值與合成影像Comp的畫素值越為遠離,則對處理對象影像In的畫素值賦予大的權重而加權相加。即,在合成影像Comp相對於處理對象影像In並未大幅變化的情況下,認為平滑化能夠較佳地發揮功能,因而重視合成影像Comp而進行相加合成。另一方面,在合成影像Comp相對於處理對象影像In而大幅地變化的情況下,認為是因平滑化而畫素值大幅改變,由此產生變形,因而重視處理對象影像In而進行相加合成。
另外,提供β的函數Β例如可作為基於處理對象影像In的各畫素的畫素值與合成影像Comp的對應的各位置的畫素的畫素值之差的絕對值|In-Comp|的函數,如數式(8)般定義。 [數式8]
其中,函數Β構成為若作為引數的絕對值|In-Comp|增大則值相對減小。
如以上,藉由進行數式(1)至數式(8)的計算,在附雜訊的情況下,亦可根據被攝體S的構造適當地進行平滑化,並且可取得抑制了被攝體S的邊界(邊緣)的散景(模糊)的相加合成影像Out。因此,在影像資料的畫素值產生雜訊成分的情況下,亦可藉由對平滑化影像適當地進行加權,而適當地平滑化並進行影像的合成。
以下,使用流程圖對所述一連串的平滑化處理進行說明。另外,關於用以取得各影像或值的具體的計算,因與所述說明重複,故適當省略。
(相加合成影像生成處理) 以下,基於圖7使用流程圖對相加合成影像生成的流程進行說明。
首先,若合成權重取得處理開始,則進入至步驟S1。步驟S1中,影像處理部2取得處理對象影像In(X射線攝像影像),進入至步驟S2。
步驟S2中,對處理對象影像In中所含的各畫素的畫素值使用D塊平滑化濾波器F(d),由此取得D張平滑化影像Smooth(d),進入至步驟S3。
步驟S3中,針對每個d計算處理對象影像In的各畫素的畫素值與D張平滑化影像Smooth(d)的對應的位置的畫素值的考慮了正負的差分值,取得D個畫素值差S(d),進入至步驟S4。
步驟S4中,取得與畫素值差S(d)對應的合成權重α(d),進入至步驟S5。另外,關於步驟S4中的合成權重α(d)的取得的流程,以後將另外作為合成權重取得處理而進行敍述。
步驟S5中,利用合成權重α(d)將平滑化影像Smooth(d)加權合成,藉此取得合成影像Comp,進入至步驟S6。
步驟S6中,從處理對象影像In及合成影像Comp取得相加權重β,進入至步驟S7。
步驟S7中,利用相加權重β將處理對象影像In與合成影像Comp加權相加,藉此取得相加合成影像Out,結束相加合成影像生成處理。
以上的相加合成影像生成處理是對從X射線收像部5或未圖示的外部記憶體取得的各個X射線攝像影像適當地執行。而且,由影像處理裝置100取得的相加合成影像Out構成為記憶於記憶部3,且可適當讀出而顯示於顯示部7。
(合成權重取得處理) 以下,基於圖8,使用流程圖對合成權重取得處理的流程進行說明。對該合成權重取得處理中,在所述相加合成影像生成處理的步驟S4中所執行的處理進行詳細說明。
首先,若開始合成權重取得處理,則進入至步驟S11。步驟S11中,影像處理部2(合成權重取得部23)取得各畫素中的考慮了正負的畫素值差S(d),進入至步驟S12。
步驟S12中,取得畫素值差S(d)的跨越所有d的平均值AvrS,進入至步驟S13。
步驟S13中,判斷畫素值差的平均值AvrS是否為正的值,若為正的值則進入至步驟S14,若並非為正的值,則進入至步驟S25。
步驟S14中,僅將與提供最小的畫素值差S(dmin)的引數dmin對應的合成權重α(dmin)設為1,並且將與其以外的引數d對應的合成權重α(d)設為0,結束合成權重取得處理。其中,在提供最小的畫素值差S(dmin)的dmin有多個情況下,亦可將合成權重α(dmin)的值設為以dmin的數均等分配1所得的值。該情況下,例如,在最小的畫素值差S(dmin)為同值且有2個情況下,將2個合成權重α(dmin1)及α(dmin2)的值各設為0.5(1/2)。
步驟S15中,判斷畫素值差的平均值AvrS是否為負的值,若為負的值則進入至步驟S16,若並非為負的值,則進入至步驟S17。另外,在進入至步驟S17的情況下,畫素值差的平均值AvrS恰好為0。
步驟S16中,僅將與提供最大的畫素值差S(dmax)的引數dmax對應的合成權重α(dmax)設為1,並且將與其以外的引數d對應的合成權重α(d)設為0,結束合成權重取得處理。其中,在提供最大的畫素值差S(dmax)的dmax有多個的情況下,亦可將合成權重α(dmax)的值設為以dmax的數將1平均分配所得的值。該情況下,例如,在最大的畫素值差S(dmin)為同值且有2個情況下,將2個合成權重α(dmin1)及α(dmin2)的值各設為0.5(1/2)。
步驟S17中,對所有合成權重α(d)設為將1平均分配所得的值,而結束合成權重取得處理。若平滑化濾波器的總數為D,則合成權重α(d)為1/D。
如所述般,合成權重取得處理中,基於考慮了正負的畫素值差S(d)與畫素值差的平均值AvrS,重視容易在最佳方向上平滑化的平滑化影像Smooth(d)而進行加權(選擇)。
(第1實施形態的效果) 第1實施形態中,可獲得以下的效果。
第1實施形態中,如所述般,設置合成權重取得部23,該合成權重取得部23在對應的位置的畫素中,基於平滑化影像Smooth(d)的各畫素的畫素值與處理對象影像In的畫素的畫素值的、考慮了正負的多個畫素值差S(d),藉由對所述多個平滑化影像Smooth(d)的各畫素的畫素值進行加權合成,而取得合成影像Comp。藉此,認為考慮了正負的畫素值差S(d)的整體的傾向即便產生雜訊成分亦不改變,因而與基於畫素值差S(d)的絕對值|S(d)|將平滑化影像Smooth(d)加權合成的情況不同,畫素值差S(d)的關係不會發生逆轉。其結果,可基於考慮了正負的畫素值差S(d)適當地進行平滑化影像Smooth(d)的加權合成。具體而言,在畫素值差S(d)接近0值的部位,因雜訊成分的影響而畫素值差S(d)在0值附近跨越正負而變動,因而在取得畫素值差S(d)的絕對值|S(d)|的情況下考慮整體的傾向的情況會變得無法區別。另一方面,若在保存著畫素值差S(d)的正負的狀態下,則即便附雜訊成分,畫素值差S(d)的整體的傾向亦不會大幅改變,因而可選擇適當的平滑化影像Smooth(d)進行加權合成。藉此,可適當地將平滑化影像Smooth(d)加權合成,而取得適當地平滑化的合成影像Comp。
而且,第1實施形態中,如所述般,使合成權重取得部23構成為,取得考慮了正負的多個畫素值差S(d)的平均值AvrS,並且基於將多個畫素值差S(d)與畫素值差的平均值AvrS作為引數的函數A取得與各畫素對應的多個合成權重α(d)。藉此,可基於畫素值差S(d)的整體的傾向即平均值AvrS(d)而容易找出畫素值差異常的平滑化影像,因而可基於表示針對各平滑化濾波器F(d)的平滑化引起的變化的、考慮了正負的各畫素值差S(d),藉由平滑化影像Smooth(d)適當地進行加權合成。
而且,第1實施形態中,如所述般,使合成權重取得部23構成為,在判斷為畫素值差S(d)從負向正增大的指標中,在相對於各畫素而畫素值差的平均值AvrS為正的情況下,進行將與多個畫素值差S(d)中的小的畫素值差S(d)對應的平滑化影像Smooth(d)的合成權重α(d)增大的控制,並且在畫素值差的平均值AvrS為負的情況下,進行將與多個畫素值差S(d)中的大的畫素值差S(d)對應的平滑化影像Smooth(d)的合成權重α(d)增大的控制。藉此,在判斷為畫素值差S(d)從負向正增大的指標中,若畫素值差的平均值AvrS為正,則可利用從整體的傾向偏向負值的方向的小的畫素值差S(d),容易地找出畫素值差S(d)異常的平滑化影像Smooth(d)。而且,在判斷為畫素值差S(d)從負向正增大的指標中,若畫素值差的平均值AvrS為負,則可利用從整體的傾向偏向正值的方向的大的畫素值差S(d),容易地找出畫素值差S(d)異常的平滑化影像Smooth(d)。因此,可基於相對於畫素值差的平均值AvrS而位於峰值的位置(異常的位置)的畫素值差S(d),容易地將與畫素值差S(d)異常的平滑化影像Smooth(d)對應的合成權重α(d)增大。其結果,可獲得配合畫素值差S(d)的整體的傾向,藉由平滑化影像Smooth(d)適當地加權而合成的合成影像Comp。
而且,第1實施形態中,如所述般,設置相加合成影像生成部25,該相加合成影像生成部25對各畫素,將處理對象影像In的各畫素的畫素值與合成影像Comp的對應的位置處的各畫素的畫素值加權相加而進行合成,進行相加合成影像Out的取得。藉此,進而將原處理對象影像In與作為平滑化的結果的合成影像Comp進行比較,考慮平滑化引起的變化的程度,可在處理對象影像In與合成影像Comp之間進行相加合成。
而且,第1實施形態中,如所述般,使相加合成影像生成部25構成為,在進行加權相加的情況下,基於將處理對象影像In的各畫素的畫素值與合成影像Comp的對應的位置處的各畫素的畫素值作為引數的函數Β,取得與各畫素對應的相加權重β,並且基於相加權重β而取得相加合成影像Out。藉此,可從處理對象影像In的各畫素的畫素值與合成影像Comp的對應的位置處的各畫素的畫素值,容易地取得處理對象影像In與合成影像Comp的相加的加權程度。
[第2實施形態] (影像處理裝置的構成) 接下來,參照圖9~圖12,對本發明的第2實施形態的影像處理裝置200的整體構成進行說明。第2實施形態中,如圖9所示,除所述第1實施形態的構成外,對設置頻帶限制影像處理部20的構成進行說明,該頻帶限制影像處理部20對輸入影像進行頻率解析,針對每個頻率取得僅取出包含特定頻率的影像的進行了頻帶限制的多個影像,並且進行將針對每個頻率分開的多個影像再次合併的頻率合成,取得經頻率合成的輸出影像。另外,對與所述第1實施形態相同的構成附上相同的符號,並省略說明。而且,第2實施形態中,亦與第1實施形態同樣地,對X射線攝像裝置101中使用影像處理裝置200的示例進行說明。
第2實施形態的影像處理裝置200中,除所述第1實施形態的構成外,進而設置著頻帶限制影像處理部20,該頻帶限制影像處理部20對輸入影像In1進行頻率解析,針對每個頻率ωj取得僅取出包含特定頻率ωj的影像的進行了頻帶限制的多個影像,並且進行將針對每個頻率ωj分開的多個影像再次合併的頻率合成,取得經頻率合成的輸出影像。而且,頻帶限制影像處理部20構成為對作為輸入影像In1的處理對象影像In進行頻率解析,取得進行了頻帶限制的處理對象影像In,進而取得進行頻帶限制並且對各畫素基於考慮了正負的畫素值差S(d)而進行了加權合成的合成影像Comp,基於進行了頻帶限制及加權合成的合成影像Comp進行針對影像的頻率合成,取得輸出影像Out1。
具體而言,如圖10及圖11所示,頻帶限制影像處理部20從輸入影像In1獲得多個進行了頻帶限制的差分影像IniDiff(ωj)。此處,i為與1、2、4、…的2的次方對應的整數值,如後述般為表示影像的大小的值。而且,頻率ωj與差分影像IniDiff(ωj)中所含的畫素值的頻率對應。首先,頻帶限制影像處理部20針對輸入影像In1,如圖10下部的括弧內所示,針對每個由叉標記總括的2列2行的組來分隔畫素,使將該組內的畫素的畫素值相加平均(將4個畫素值相加並且除以4)而獲得的畫素值與一個畫素的畫素值對應,藉此取得縮小影像In2(ω1)。此處,輸入影像In1為M列N行的畫素的集合,為處理對象影像In(X射線攝像影像)自身。而且,In1的1表示In1的大小與原處理對象影像In(X射線攝像影像)的大小相等(1倍)。而且,關於縮小影像In2(ω1),因使4個畫素與1個畫素對應,故影像大小是長寬範圍分別成為1/2倍,為M/2列N/2行的畫素的集合。
此處,影像所含的畫素的每個雖具有畫素值,但從某一行排列的畫素取出的畫素值的增減必然可由對頻率不同的多個正弦波的重合加上某個常數值所得的值來表示。例如,圖10的影像內所示的位於一點鏈線表示的線上的畫素如由虛線表示的框線內的正弦波W1、正弦波W2及正弦波W3般,可藉由幾個正弦波的組來表示。而且,正弦波W1、正弦波W2及正弦波W3各自頻率的大小為ω1、ω2及ω3。正弦波W1為頻率大的(波長短的)高頻,正弦波W2的頻率第二大,且正弦波W3的頻率最小。其中,該些正弦波的曲線圖因畫素及畫素值經過標本化及量子化,故微視上為由階梯狀的線的集合所表示的曲線圖。而且,用以表示畫素值的正弦波的數實際上多於3個。而且,不限於橫方向的畫素值的行,縱方向的畫素值的行亦同樣地,可由正弦波的重合而表示。
輸入影像In1所含的、山與谷的雙方可容納於2列2行的矩陣中的正弦波的成分,在將2列2行的畫素的組平均化的過程中,因山的部分與谷的部分抵消而消失。藉此,如圖10所示,縮小影像In2(ω1)中,具有高頻成分的正弦波W1消失。另外,縮小影像In2(ω1)中,與輸入影像In1所含的各正弦波對應的正弦波對應影像寬度的尺寸變為一半而頻率變為2倍(波長為一半)。
而且,頻帶限制影像處理部20藉由使縮小影像In2(ω1)的1個畫素與4個畫素對應,取得M列N行的再放大影像In1(ω1)。再放大影像In1(ω1)中,按照2列2行分隔的各個組所屬的畫素的畫素值相等,被平均為原輸入影像In1的相同位置所屬的畫素的畫素值的平均值。而且,再放大影像In1(ω1)中,與頻率ω1對應的正弦波W1的成分消失。
接下來,如圖11所示,頻帶限制影像處理部20從輸入影像In1的畫素的畫素值,對再放大影像In1(ω1)的對應的位置的畫素的畫素值取差分,取得差分影像In1Diff(ω1)。差分影像In1Diff(ω1)中,僅與頻率ω1對應的正弦波W1的成分殘留。
而且,對M/2列N/2行的縮小影像In2(ω1),使畫素包括於2列2行的組中而將畫素值平均化並與1個畫素對應,藉此取得M/4列N/4行的縮小影像In4(ω2)。該情況下,與所述同樣地,山與谷的雙方可容納於縮小影像In2(ω1)所含的2列2行的矩陣中的正弦波W2的成分,因山的部分與谷的部分抵消而消失。藉由使縮小影像In4(ω2)的1個畫素與4個畫素對應,取得M/2列N/2行的再放大影像In2(ω2)。從縮小影像In2(ω1)的畫素的畫素值,對再放大影像In2(ω2)的對應的位置的畫素的畫素值取差分,取得差分影像In2Diff(ω2)。差分影像In2Diff(ω2)中,僅與頻率ω2對應的正弦波W2的成分殘留。另外,如所述般,縮小影像Ini(ωj)等中賦予的正數值i表示該影像的長寬的範圍為輸入影像In1的1/(2)^i倍。而且,縮小影像Ini(ωj)中,i與2^j一致,再放大影像Ini(ωj)及差分影像IniDiff(ωj)中,i與2^(j-1)一致。另外,「a^b」表示將a以指數b進行次方的計算。
藉由重複所述處理,可取得僅具有與頻率ω3、頻率ω4、…對應的正弦波成分的差分影像IniDiff(ωj)。差分影像IniDiff(ωj)在每次重複處理時長寬的尺寸為1/2倍。因此,頻帶限制影像處理部20取得差分影像IniDiff(ωj)直至讀取被攝體S的構造的適當頻率ωj(對應的影像的尺寸)為止,停止取得差分影像IniDiff(ωj)的處理。而且,對所獲得的所有差分影像IniDiff(ωj)與為了獲得最小的差分影像IniDiff(ωj)而使用的最小的縮小影像Ini(ωj),重複適當地將1個畫素與2列2行的畫素對應並再放大的處理且進行使尺寸符合M行N列的影像的處理,並且將各個影像的對應的位置的畫素的畫素值合併(加總),藉此可取得與原輸入影像In1一致的影像。即,獲得多個差分影像IniDiff(ωj)的處理等於如下處理,即,將輸入影像In1分解為在與各頻率ωj的頻帶對應的正弦波的成分中限制了頻率頻帶的多個影像而取得。另外,從輸入影像In1取得對頻率ωj進行了正弦波成分的頻帶限制的多個差分影像IniDiff(ωj)的處理,為專利申請範圍的「對輸入影像進行頻率解析,針對每個頻率取得僅取出包含特定頻率的影像的進行了頻帶限制的多個影像」的處理的一例。而且,將差分影像IniDiff(ωj)的尺寸統一而合併的處理為專利申請範圍的「將針對每個頻率分開的多個影像再次合併的頻率合成」處理的一例。
而且,處理對象影像In(X射線攝像影像)的影像的畫素值中所附的雜訊成分的畫素所占的範圍具有各種大小。該雜訊成分例如可藉由使用具有與雜訊成分所占得範圍的大小相符的尺寸的平滑化濾波器F(d),藉由對針對每個尺寸而獲得的平滑化影像的畫素值進一步進行加權合成而取得。具體而言,準備多個3列3行的濾波器的組、5列5行的濾波器的組…、n列n行的濾波器的組、平滑化濾波器F(d)的尺寸。其中,平滑化濾波器F(d)的尺寸可增大為任意的尺寸,但隨著尺寸增大而計算量亦會增大。
此處,對藉由所述處理而獲得的各種差分影像IniDiff(ωj)使用平滑化濾波器F(d),因差分影像IniDiff(ωj)為根據i而尺寸減小的影像的集合,因而對應於影像的尺寸減小而雜訊成分所占的範圍的尺寸亦減小。而且,藉由將所有差分影像IniDiff(ωj)再次合併,可回到原輸入影像In1。藉此,藉由將同一尺寸的平滑化濾波器F(d)用於差分影像IniDiff(ωj),可去除與平滑化濾波器F(d)的尺寸相應的雜訊,因而從尺寸大的差分影像IniDiff(ωj)中去除原輸入影像In1中佔據小範圍的雜訊成分,並且可從尺寸小的差分影像IniDiff(ωj)中去除原輸入影像In1中佔據大範圍的雜訊成分。藉此,影像平滑化部21藉由在從頻帶限制影像處理部20取得的差分影像IniDiff(ωj)的各者中使用D塊平滑化濾波器F(d),而針對每個頻率ωj的頻帶取得頻率被頻帶限制為ωj的D張平滑化影像Smooth(d)。
而且,畫素值差取得部22針對每個頻率ωj的頻帶,基於作為處理對象影像In的差分影像IniDiff(ωj)及D張平滑化影像Smooth(d),取得考慮了正負的D個畫素值差S(d)。而且,合成權重取得部23針對每個頻率ωj的頻帶,基於畫素值差S(d)及畫素值差的平均值AvrS,取得D個合成權重α(d)。而且,合成影像取得部24針對每個頻率ωj的頻帶,基於D張平滑化影像Smooth(d)及D個合成權重α(d),取得經加權合成的合成影像Comp。而且,相加合成影像生成部25針對每個頻率ωj的頻帶,基於作為處理對象影像In的差分影像IniDiff(ωj)及合成影像Comp,取得經加權相加合成的相加合成影像Out。該相加合成影像Out為藉由平滑化從差分影像IniDiff(ωj)中去除了每個頻率ωj的頻帶的雜訊成分的影像,差分影像IniDiff(ωj)與影像的長寬的範圍的尺寸相等。
頻帶限制影像處理部20使針對每個頻率ωj的頻帶取得的所有相加合成影像Out、與尺寸最小的差分影像IniDiff(ωj)的影像尺寸一致,取得經各位置的對應畫素的畫素值合併的輸出影像Out1。使影像尺寸一致的處理為重複如下處理的處理,即,藉由將所述1個畫素置換為2列2行的具有相等畫素值的畫素而將影像的長寬範圍設為2倍。而且,取得經合併的輸出影像Out1的處理為將對應位置的畫素的畫素值加總的處理。輸出影像Out1為如下影像,即,針對每個與作為原影像的處理對象影像In(輸入影像In1)的各頻率頻帶對應的正弦波成分進行平滑化處理,將所佔據範圍的大小各異的雜訊成分適當地去除。
此處,第2實施形態的影像處理裝置200將從X射線攝像裝置101送出的影像資料作為輸入影像In1(處理對象影像In)而取得。而且,影像處理裝置200具備的影像處理部2如所述般,將處理對象影像In作為針對每個頻率ωj而進行頻帶限制所獲得的差分影像IniDiff(ωj),或將最小的縮小影像Ini(ωj)頻帶限制為處理對象影像In的頻率ωj的影像而取得。而且,影像處理裝置200具備的影像處理部2對頻帶限制為所取得的頻率ωj的各個影像,進行包含合成權重取得處理的相加合成影像生成處理,取得對從各個影像取得的多個平滑化影像Smooth(d)基於考慮了正負的畫素值差S(d)進行加權合成所得的與頻率ωj成分對應的合成影像Comp,並且將頻帶限制為頻率ωj的處理對象影像In與合成影像Comp相加合成而取得相加合成影像Out。而且,影像處理部2對頻帶限制為頻率ωj的相加合成影像Out跨及所有ωj而重合(加總),藉此進行頻率合成,從而取得經合併的輸出影像Out1。
(按頻帶分類的相加合成影像生成、合併處理) 以下,基於圖12,使用流程圖對按頻帶分類的相加合成影像生成、合併處理的流程進行說明。
首先,若開始進行按頻帶分類的相加合成影像生成、合併處理,則進入至步驟S21。步驟S21中,對作為處理對象影像In的輸入影像In1進行頻率解析,針對每個頻率ωj取得畫素值僅包含與規定的頻率ωj的頻帶對應的頻率成分的差分影像IniDiff(ωj),進入至步驟S22。
步驟S22中,對畫素值僅包含與頻率ωj的頻帶對應的頻率成分的差分影像IniDiff(ωj)進行相加合成影像生成處理,藉此取得作為畫素值僅包含與頻率ωj對應的頻帶的頻率成分的相加合成影像Out,進入至步驟S23。另外,進行相加合成影像生成處理的過程中,針對每個差分影像IniDiff(ωj)將雜訊成分平滑化,因而可針對頻率ωj的各個頻帶而去除雜訊成分。另外,第2實施形態的相加合成影像生成處理及相加合成影像生成處理中執行的合成權重取得處理,為與第1實施形態的相加合成影像生成處理及相加合成影像生成處理中執行的合成權重取得處理相同的處理。
步驟S23中,使所取得的相加合成影像Out及最小尺寸的差分影像IniDiff(ωj)的尺寸一致,跨越所有頻率ωj的頻帶進行合成,藉此取得經合併的相加合成影像,結束按頻帶分類的相加合成影像生成、合併處理。
另外,第2實施形態中,在與所述第1實施形態共用的構成中使用同一符號並省略說明。
(第2實施形態的效果) 第2實施形態中,可獲得以下的效果。
第2實施形態中,與所述第1形態同樣地,設置合成權重取得部23,該合成權重取得部23在對應的位置的畫素中,基於對處理對象影像In而取得的平滑化影像Smooth(d)的各畫素的畫素值與處理對象影像In的畫素的畫素值的、考慮了正負的多個畫素值差S(d),藉由對所述多個平滑化影像Smooth(d)的各畫素的畫素值進行加權合成,而取得合成影像Comp。藉此,適當地將平滑化影像Smooth(d)加權合成,可取得適當地平滑化的合成影像Comp。
而且,第2實施形態中,如所述般,設置頻帶限制影像處理部20,該頻帶限制影像處理部20對作為處理對象影像In的輸入影像In1進行頻率解析,針對每個頻率ωj取得僅取出包含特定頻率ωj的差分影像IniDiff(ωj)的、進行了頻帶限制的多個差分影像IniDiff(ωj),並且進行將針對每個頻率ωj而分開的多個差分影像IniDiff(ωj)再次合併的頻率合成,取得經頻率合成的輸出影像Out1。藉此,針對每個與處理對象影像In所含的頻率ωj對應的正弦波成分而取得多個平滑化影像Smooth(d),基於考慮了正負的多個畫素值差S(d)將多個平滑化影像Smooth(d)的對應位置的各畫素的畫素值加權合成,取得合成影像Comp,藉此可針對每個頻率ωj的頻帶將雜訊成分平滑化。其結果,可抑制映入至處理對象影像In的被攝體S的構造的邊界線的散景(模糊),可更效果地對雜訊成分平滑化的每個頻率ωj的Smooth(d)進行加權合成。而且,對將所獲得的合成影像Comp與處理對象影像In相加合成而獲得的相加合成影像Out跨越所有頻率ωj進行合併,藉此可從原處理對象影像In取得針對每個頻率ωj適當地平滑化的影像即輸出影像Out1。
另外,第2實施形態的其他效果與所述第1實施形態相同。
[第3實施形態] 接下來,參照圖13,對本發明的第3實施形態的影像處理裝置300的整體構成進行說明。第3實施形態中,如圖13所示,與所述第1實施形態不同,將影像處理裝置300用於低照度相機301。另外,對與所述第1實施形態相同的構成附上相同的符號,並省略說明。
第3實施形態中,在包括具備攝像光學系統81、攝像元件82的攝像部8的低照度相機301中連接著影像處理裝置300。而且,影像處理裝置300連接於操作部6及顯示部7。
攝像光學系統81對從外部入射的光進行光學調整,作為入射光送出至攝像元件82。攝像元件82將放大光轉換為電信號,作為影像資料送出至影像處理裝置300。另外,攝像光學系統81包含1塊或多塊透鏡的組合。而且,攝像元件82例如包含電荷耦合器件(Charge Coupled Devices,CCD)影像感測器或互補金屬氧化膜半導體(Complementary Metal Oxide Semiconductor,CMOS)影像感測器等。另外,亦可將攝像元件82作為冷卻CCD影像感測器或冷卻CMOS影像感測器。
利用低照度相機301進行的攝像為了在光量少的狀態下取得高解析度的影像,所以容易在畫素的畫素值中產生雜訊成分。因此,當在畫素值中附雜訊成分時,亦需要適當地進行平滑化。另外,低照度相機301構成為不僅可取得入射光的光量亦取得波長,與X射線攝像裝置101的情況不同,影像的畫素的畫素值中包含亮度亦包含色度。關於色度,亦可藉由與亮度相同的處理而平滑化,因而亮度與色度可分別個別地進行平滑化處理而降低雜訊成分。
此處,第3實施形態的影像處理裝置300將從低照度相機301送出的影像資料作為處理對象影像In而取得。而且,影像處理裝置300具備的影像處理部2對所取得的處理對象影像In,進行包含合成權重取得處理的相加合成影像生成處理,基於考慮了正負的畫素值差S(d)對從處理對象影像In取得的多個平滑化影像Smooth(d)進行加權合成而取得合成影像Comp,並且將處理對象影像In與合成影像Comp相加合成而取得相加合成影像Out。
(第3實施形態的效果) 第3實施形態中,可獲得以下的效果。
第3實施形態中,與所述第1形態同樣地,設置合成權重取得部23,該合成權重取得部23在對應的位置的畫素中,基於平滑化影像Smooth(d)的各畫素的畫素值與處理對象影像In的畫素的畫素值的、考慮了正負的多個畫素值差S(d),藉由對所述多個平滑化影像Smooth(d)的各畫素的畫素值進行加權合成,而取得合成影像Comp。藉此,可適當地對平滑化影像Smooth(d)進行加權合成,取得適當地平滑化的合成影像Comp。其結果,在由低照度相機301攝像的處理對象影像In的畫素的畫素值中產生雜訊成分的情況下,亦對從處理對象影像In取得的平滑化影像Smooth(d)適當地進行加權,由此可適當地平滑化而進行影像的合成。
另外,第3實施形態的其他構成及效果與所述第1實施形態相同。
(變形例) 應認為此次揭示的實施形態所有方面為例示而並非限制性者。本發明的範圍並非由所述實施形態的說明而由申請專利範圍表示,進而包含與申請專利範圍均等的含義及範圍內的所有變更(變形例)。
例如,所述第1實施形態~第3實施形態中,示例了影像處理部2構成為藉由個別執行由數式(1)~數式(8)表示的計算而取得相加合成影像Out,但本發明不限於此。本發明中,影像處理部2亦可藉由將多個數式合併為一個數式而進行計算。例如,藉由進行將數式(5)與數式(6)合併而成的如下的數式(9)的計算,亦可取得相加合成影像。該情況下,為將相加合成影像生成處理的步驟S5及步驟S7合併為一個步驟的構成,且成為省略合成影像Comp的取得的構成。 [數式9]
另外,所述數式(9)的情況下的β以從將處理對象影像In與平滑化影像Smooth(d)作為引數的函數Β取得的方式變更。
而且,影像處理部2亦可藉由從作為預先執行計算的結果的、記憶於記憶部3的資料讀出而取得數式(1)~數式(8)的計算結果。即,亦可為使用查找表(Lookup Table,LUT)等,將計算處理適當地置換為參照處理的構成。
而且,所述第1實施形態~第3實施形態中,示例了構成為影像處理部2藉由將處理對象影像In與合成影像Comp加權並相加合成而取得相加合成影像Out,但本發明不限於此。本發明中,影像處理部2在取得了合成影像Comp的時間點達成處理對象影像In的平滑化,亦可為將合成影像Comp直接作為處理完畢影像而取得的構成。
而且,所述第1實施形態~第3實施形態中,構成為將與被認為是平滑化的方向最適合的平滑化影像Smooth對應的合成權重α(d)設為1,將與其他方向的平滑化影像Smooth對應的合成權重α(d)設為0,但本發明不限於此。本發明中,亦可對多個合成權重α(d),以合計為1的方式分配值。具體而言,例如,在畫素值差的平均值AvrS為負的情況下,亦可將與畫素值差S(d)最大的平滑化影像Smooth(d)對應的合成權重設為2/3,與第二大的平滑化影像Smooth(d)對應的合成權重設為1/3。
而且,作為取得合成權重α(d)的其他構成,藉由圖14所示的函數,可將畫素值差S(d)與提供合成權重α(d)的函數Α(S(d),AvrS)建立對應關係。圖14的函數與畫素值差的平均AvrS為負的情況對應。在畫素值差的平均AvrS為負的情況下,認為畫素值差S(d)在正的方向上值越大,則在與平滑化較佳地發揮功能的0值附近的峰值越接近的方向上進行平滑化。因此,越需要增大與畫素值差S(d)在正的方向上值越大的平滑化影像所對應的合成權重α(d)的值。
若數式(4)中函數Α中所附的標準化常數k為正的實數值,則α(d)的函數的形式與Α的函數的形式可視作大致相同,因而以下對函數Α進行說明。圖14(a)所示的函數Α為階梯函數,為隨著畫素值差S(d)增加,而以某閾值為界限從0切換為正的常數值的函數。藉由使用該階梯函數,可構成為僅在畫素值差S(d)為某閾值以上的情況下合成權重α(d)為某正的值,在畫素值差S(d)小於某閾值的情況下合成權重α(d)為0。
圖14(b)所示的函數Α為線性函數,為隨著畫素值差S(d)增加,而以一定的增加率順暢增加的(呈比例的)函數。藉由使用該線性函數,可構成為隨著畫素值差S(d)增加而α(d)順暢地增加。
圖14(c)所示的函數Α為具有反曲點的邏輯函數(logistic function),且為如下函數:當畫素值差S(d)小而從反曲點的位置算起向負值側(左側)充分遠時逐漸接近0,以隨著畫素值差S(d)增加而增加率增大的方式增加,在反曲點(閾值)的位置為最大的增加率並且增加率向減少轉變,當畫素值差S(d)大而從反曲點的位置算起向正值側(右側)充分遠時逐漸接近正的常數值。該邏輯函數具有階梯函數與線性函數的中間的性質。即,為如下函數:在距離反曲點(閾值)充分遠的位置,如階梯函數般將合成權重α(d)分配為某個正的常數值與0值,並且在接近反曲點的位置,使α(d)順暢地增減。
因此,藉由使用該邏輯函數,可構成為在畫素值差S(d)充分大的情況下,合成權重α(d)為某個正的值,在畫素值差S(d)充分小的情況下合成權重α(d)為0,在畫素值差S(d)為中間的值的情況下合成權重α(d)順暢地變化。邏輯函數與階梯函數不同,不會因畫素值差S(d)是否超過閾值而合成權重α(d)發生急遽改變,因而可順暢地進行加權合成。而且,邏輯函數不同於與畫素值差S(d)成比例地進行加權的線性函數,將與畫素值差S(d)充分大的平滑化影像對應的合成權重α(d)增大而加權,將與畫素值差S(d)充分小的平滑化影像對應的合成權重α(d)大致設為0,因而獲得輪廓清晰的合成影像Comp。
而且,在畫素值差的平均值AvrS為正的情況下,認為考慮了正負而畫素值差S(d)為越小的值(負的方向上越大的值),在與平滑化較佳地發揮功能的0值附近的峰值接近的方向上進行平滑化,因而越需要增大與考慮了正負而畫素值差S(d)越小的值的平滑化影像所對應的合成權重α(d)的值。該情況下,圖14的函數設為以原點為中心而左右反轉的函數即可。
另外,階梯函數的閾值及邏輯函數的反曲點的位置在圖14中,構成為較S(d)為0的位置更靠負側(左側),亦可構成為與S(d)為0的位置一致,還可構成為較S(d)為0的位置更靠正側(右側)。而且,函數Α亦可為其他函數。以各合成權重α(d)的合計為1的方式對函數Α乘以標準化常數k,藉此可經由函數Α,基於畫素值差S(d)與畫素值差的平均值AvrS取得合成權重α(d)。
此處,即便對提供相加權重β的函數Β,如圖15所示,亦可使用與所述相同的階梯函數、線性函數或邏輯函數。具體而言,認為對應的位置處的處理對象影像In與合成影像Comp的畫素的畫素值之差的絕對值越大,合成影像Comp因平滑化而相對於處理對象影像In產生變形。因此,在處理對象影像In與合成影像Comp的畫素的畫素值之差的絕對值小的情況下,將合成影像Comp賦予大的權重而加權相加,在處理對象影像In與合成影像Comp的畫素的畫素值之差的絕對值大的情況下,將處理對象影像In賦予大的權重而加權相加,藉此可將作為平滑化的結果的合成影像Comp的結果對處理對象影像In進行反饋。關於函數的性質,因與圖14所示的合成權重α(d)的情況相同,故省略。另外,圖15中的函數為與圖14中的函數左右反轉的形式。
而且,第1實施形態~第3實施形態中,將平滑化濾波器F(d)構成為,在注目位置的畫素的畫素值與位於以注目位置為中心而延伸的1根線段方向上的畫素的畫素值之間進行平滑化,但本發明不限於此。本發明中,亦可構成為包含平滑化濾波器F(d),該平滑化濾波器F(d)在注目位置的畫素的畫素值與位於以注目位置為中心而向不同方向延伸的2根線段上的畫素的畫素值之間進行平滑化。該情況下,平滑化濾波器F(d)與以注目位置為角的被攝體S的摺線構造的平滑化對應。而且,亦可構成為包含平滑化濾波器F(d),該平滑化濾波器F(d)在注目位置的畫素的畫素值與位於從注目位置延伸的曲線上的畫素的畫素值之間進行平滑化。該情況下,平滑化濾波器F(d)與通過注目位置的被攝體S的曲線構造的平滑化對應。而且,亦可構成為包含無關於特定的方向而進行平滑化的等向性的平滑化濾波器F(d)。而且,平滑化濾波器F(d)所含的各係數構成為與注目位置的距離無關而設為固定,但亦可構成為對位於靠近注目位置的位置的畫素的畫素值更重視(賦予大的權重)並進行平滑化。而且,平滑化濾波器F(d)的形狀不限於n列n行的正方形濾波器,亦可為m列n行的長方形濾波器或圓形濾波器等。
而且,所述第1實施形態~第3實施形態中,表示了影像處理裝置100、影像處理裝置200及影像處理裝置300由個人電腦構成的示例,但本發明不限於此。本發明中,亦可將影像處理裝置100、影像處理裝置200及影像處理裝置300由安裝於板的電子零件(中央處理單元(Central Processing Unit,CPU)等半導體)的集合構成。該情況下,亦可設為在X射線攝像裝置101或低照度相機301中裝入呈匣盒狀的板的構成,還可設為利用有線或無線將板與X射線攝像裝置101或低照度相機301相連而安裝的構成。
而且,所述第2實施形態中,表示如下示例:由如下處理構成由頻帶限制影像處理部20進行的頻率解析及頻率合成,即,對輸入影像In1,以使2列2行的4個畫素的畫素值的平均值與1個畫素的畫素值對應的處理,使1個畫素的畫素值與2列2行的4個畫素的畫素值對應的處理及取該些的差分的處理的組合的形式進行的所謂的拉普拉斯金字塔(Laplacian pyramid)的處理,但本發明不限於此。本發明中,亦可構成為對由頻帶限制影像處理部20進行的頻率解析及頻率合成,例如藉由小波(wavelet)轉換而限制輸入影像In1的頻帶,針對每個頻率分解影像,並再次合併。另外,小波轉換為藉由具有僅在某規定的範圍內振動的部分的波束(短波塊)的組而分解影像的畫素值的處理。
而且,所述第3實施形態中,表示了將與第1實施形態相同構成的影像處理裝置300用於低照度相機301的示例,但本發明不限於此。亦可在第3實施形態的影像處理裝置300設置與第2實施形態相同的頻帶限制影像處理部20。該情況下,頻帶限制影像處理部20對從低照度相機301取得的影像,針對每個與頻率ωj對應的正弦波成分去除雜訊並平滑化,將去除了雜訊的影像合併而取得輸出影像Out1。而且,將影像處理裝置300不僅限於用於低照度相機301,亦可廣泛用於將影像作為影像資料(每個畫素的畫素值)取得的相機。而且,攝像光學系統81與攝像元件82之間亦可設置將從攝像光學系統81入射的光放大並朝向攝像元件82送出的放大部。放大部例如包含影像增強器(Image Intensifier)。
而且,所述第1實施形態~第3實施形態中,為了方便說明,使用「流程驅動型」的流程圖對相加合成影像生成處理及合成權重取得處理進行了說明,但本發明不限於此。亦可藉由以事件單位執行的「事件驅動型」進行相加合成影像生成處理及合成權重取得處理。該情況下,可利用完全事件驅動型進行,亦可組合事件驅動及流程驅動而進行。而且,關於第2實施形態中所示的按頻帶分類的相加合成影像取得、合併處理,亦同樣地構成為藉由流程驅動型或事件驅動型及其組合而進行。
1‧‧‧主控制部
2‧‧‧影像處理部
3‧‧‧記憶部
4‧‧‧X射線照射部
5‧‧‧X射線收像部
6‧‧‧操作部
7‧‧‧顯示部
8‧‧‧攝像部
20‧‧‧頻帶限制影像處理部
21‧‧‧影像平滑化部
22‧‧‧畫素值差取得部
23‧‧‧合成權重取得部
24‧‧‧合成影像取得部
25‧‧‧相加合成影像生成部
31‧‧‧程式
32‧‧‧資料
81‧‧‧攝像光學系統
82‧‧‧攝像元件
100、200、300‧‧‧影像處理裝置
101‧‧‧X射線攝像裝置
301‧‧‧低照度相機
In‧‧‧處理對象影像
In1‧‧‧輸入影像
In1(ω1)、In2(ω2)‧‧‧再放大影像
In2(ω1)、In4(ω2)‧‧‧縮小影像
IniDiff(ωj)、IniDiff(ω1)、IniDiff(ω2)‧‧‧差分影像
F(d)‧‧‧平滑化濾波器
Smooth(d)‧‧‧平滑化影像
S‧‧‧被攝體
S1~S7、S11~S17、S21~S23‧‧‧步驟
S(d)‧‧‧畫素值差
W1、W2、W3‧‧‧正弦波
θ‧‧‧平滑化的方向
圖1是表示本發明的第1實施形態的影像處理裝置的方塊圖。 圖2是表示藉由對處理對象影像使用平滑化濾波器而取得平滑化影像的處理的圖。 圖3是表示在自注目位置分別為以45度為單位的關係的互不相同的線段方向上進行平滑化的5列5行的平滑化濾波器的一例的圖。 圖4是表示在自注目位置分別以15度為單位的關係的互不相同的線段方向上進行平滑化的5列5行的平滑化濾波器的一例的圖。 圖5是表示映入了線構造的被攝體的X射線攝像影像的一例的圖。 圖6是表示對線構造的被攝體的前端部分的畫素的畫素值與平滑化影像的畫素的畫素值的畫素值差及畫素值差的絕對值進行作圖所得的曲線圖。 圖7是用以說明本發明的第1實施形態的相加合成影像生成處理的流程圖。 圖8是用以說明本發明的第1實施形態的合成權重取得處理的流程圖。 圖9是表示本發明的第2實施形態的影像處理裝置的方塊圖。 圖10是用以說明藉由對輸入影像取得縮小影像並且使縮小影像成為再放大影像而去除了頻率成分的圖。 圖11是用以說明藉由從輸入影像的畫素的畫素值減去再放大影像的畫素的畫素值而僅特定的頻率成分殘留的圖。 圖12是用以說明本發明的第2實施形態的按頻帶分類的相加合成影像生成、取得處理的流程圖。 圖13是表示本發明的第3實施形態的影像處理裝置的方塊圖。 圖14是用以說明用以取得本發明的第1實施形態至第3實施形態的變形例的合成權重的函數的圖。 圖15是用以說明用以取得本發明的第1實施形態至第3實施形態的變形例的相加權重的函數的圖。

Claims (6)

  1. 一種影像處理裝置,包括: 影像平滑化部,對處理對象影像的各畫素,使用用以將雜訊成分平滑化的各不相同的多個平滑化濾波器,從所述處理對象影像的各畫素的與亮度或色度對應的畫素值取得多個平滑化影像的各畫素的畫素值; 畫素值差取得部,在所述處理對象影像的各畫素的畫素值與多個所述平滑化影像的對應位置處的各畫素的畫素值之間,對應多個所述平滑化濾波器的每個,取得各畫素的與亮度或色度對應的多個畫素值的、考慮了正負的差即畫素值差; 合成權重取得部,基於多個所述畫素值差,取得將多個所述平滑化影像的各畫素的畫素值合成時的加權中使用的合成權重;以及 合成影像取得部,對多個所述平滑化影像的各畫素,基於所述合成權重進行加權合成而取得合成影像。
  2. 如申請專利範圍第1項所述的影像處理裝置,其中 所述合成權重取得部構成為,取得考慮了正負的多個所述畫素值差的平均值,並且基於多個所述畫素值差與所述畫素值差的平均值取得與各畫素對應的多個所述合成權重。
  3. 如申請專利範圍第2項所述的影像處理裝置,其中 所述合成權重取得部構成為,在判斷畫素值差從負向正增大的指標中,相對於各畫素,在所述畫素值差的平均值為正的情況下,進行將與多個所述畫素值差中的小的所述畫素值差對應的所述平滑化影像的所述合成權重增大的控制,並且在所述畫素值差的平均值為負的情況下,進行將與多個所述畫素值差中的大的所述畫素值差對應的所述平滑化影像的所述合成權重增大的控制。
  4. 如申請專利範圍第1項所述的影像處理裝置,其進而包括相加合成影像生成部,所述相加合成影像生成部對各畫素,將所述處理對象影像的各畫素的畫素值與所述合成影像的對應的位置處的各畫素的畫素值進行加權相加合成,進行相加合成影像的取得。
  5. 如申請專利範圍第4項所述的影像處理裝置,其中 所述相加合成影像生成部構成為,在進行所述加權相加的情況下,基於所述處理對象影像的各畫素的畫素值與所述合成影像的對應的位置處的各畫素的畫素值,取得與各畫素對應的相加權重,並且基於所述相加權重而取得所述相加合成影像。
  6. 如申請專利範圍第1項所述的影像處理裝置,其進而包括頻帶限制影像處理部,所述頻帶限制影像處理部對輸入影像進行頻率解析,針對每個頻率取得僅取出包含特定頻率的影像的進行了頻帶限制的多個影像,並且進行將針對每個頻率分開的多個影像再次合併的頻率合成,取得經頻率合成的輸出影像, 所述頻帶限制影像處理部構成為,進行針對作為所述輸入影像的所述處理對象影像的頻率解析,取得進行了頻帶限制的所述處理對象影像,取得進行頻帶限制並且對各畫素基於考慮了正負的所述畫素值差而進行了所述加權合成的所述合成影像,基於進行了頻帶限制及所述加權合成的所述合成影像進行針對影像的頻率合成,取得所述輸出影像。
TW106128502A 2016-09-21 2017-08-23 Image processing device TWI639976B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2016/077779 2016-09-21
PCT/JP2016/077779 WO2018055684A1 (ja) 2016-09-21 2016-09-21 画像処理装置

Publications (2)

Publication Number Publication Date
TW201814651A TW201814651A (zh) 2018-04-16
TWI639976B true TWI639976B (zh) 2018-11-01

Family

ID=61690799

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106128502A TWI639976B (zh) 2016-09-21 2017-08-23 Image processing device

Country Status (6)

Country Link
US (1) US10853920B2 (zh)
EP (1) EP3518178A4 (zh)
JP (1) JP6597912B2 (zh)
CN (1) CN109716387B (zh)
TW (1) TWI639976B (zh)
WO (1) WO2018055684A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6896177B2 (ja) * 2018-08-10 2021-06-30 三菱電機株式会社 画像処理装置及び画像処理方法
JP6860538B2 (ja) * 2018-09-26 2021-04-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
US10764471B1 (en) * 2019-09-27 2020-09-01 Konica Minolta Business Solutions U.S.A., Inc. Customized grayscale conversion in color form processing for text recognition in OCR
CN113040578A (zh) * 2021-04-01 2021-06-29 快展有限公司 枕头高度调节方法、装置、计算机设备和存储介质
WO2022206880A1 (zh) * 2021-04-01 2022-10-06 快展有限公司 枕头高度调节方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025867A (zh) * 2009-09-09 2011-04-20 精工爱普生株式会社 印刷装置、布局调整方法、程序以及存储介质
TWI537875B (zh) * 2015-04-08 2016-06-11 大同大學 影像合成方法與影像處理裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
JP3472596B2 (ja) 1993-06-11 2003-12-02 株式会社日立製作所 ノイズ低減フィルター
US5602934A (en) * 1993-09-08 1997-02-11 The Regents Of The University Of California Adaptive digital image signal filtering
JP4244094B2 (ja) 1999-02-17 2009-03-25 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
US6771793B1 (en) 1999-02-17 2004-08-03 Fuji Photo Film Co., Ltd. Image processing method and apparatus
TW200618610A (en) * 2004-07-20 2006-06-01 Qualcomm Inc Method and apparatus for motion vector processing
JP4962573B2 (ja) * 2007-12-06 2012-06-27 富士通株式会社 画像処理装置
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5971089B2 (ja) * 2012-11-14 2016-08-17 富士通株式会社 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム
CN104123699A (zh) 2013-04-26 2014-10-29 富士通株式会社 降低图像噪声的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025867A (zh) * 2009-09-09 2011-04-20 精工爱普生株式会社 印刷装置、布局调整方法、程序以及存储介质
TWI537875B (zh) * 2015-04-08 2016-06-11 大同大學 影像合成方法與影像處理裝置

Also Published As

Publication number Publication date
US20190266709A1 (en) 2019-08-29
US10853920B2 (en) 2020-12-01
CN109716387A (zh) 2019-05-03
TW201814651A (zh) 2018-04-16
CN109716387B (zh) 2023-05-23
JPWO2018055684A1 (ja) 2019-06-24
EP3518178A4 (en) 2020-03-04
EP3518178A1 (en) 2019-07-31
JP6597912B2 (ja) 2019-10-30
WO2018055684A1 (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
TWI639976B (zh) Image processing device
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
US10999481B2 (en) Image processing apparatus, imaging system, image processing method, and recording medium
US20190102870A1 (en) Image processing device, imaging device, image processing method, and program
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
KR20140035521A (ko) 로컬 지역 콘트라스트 개선
JP7490100B2 (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
US8942477B2 (en) Image processing apparatus, image processing method, and program
JP2012239038A (ja) 画像処理システム
US20130308841A1 (en) Method and apparatus for image processing
JP6957665B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2004229055A (ja) 画像処理装置
US10917590B2 (en) Imaging control device, imaging apparatus, and imaging control method
US11647298B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2011151597A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP2009258284A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20240177280A1 (en) Image processing apparatus and method of operating the same
JP6643102B2 (ja) 画像処理装置及び画像処理方法
JP2016170637A (ja) 画像処理装置および画像処理方法
JP2020005243A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014086957A (ja) 画像処理装置及び画像処理方法
JP2018005518A (ja) 画像処理装置、撮像システム、画像処理方法及びコンピュータプログラム
JP2020107097A (ja) 遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees