JP6597912B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6597912B2 JP6597912B2 JP2018540526A JP2018540526A JP6597912B2 JP 6597912 B2 JP6597912 B2 JP 6597912B2 JP 2018540526 A JP2018540526 A JP 2018540526A JP 2018540526 A JP2018540526 A JP 2018540526A JP 6597912 B2 JP6597912 B2 JP 6597912B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixel value
- composite
- smoothed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 claims description 163
- 238000009499 grossing Methods 0.000 claims description 138
- 230000015572 biosynthetic process Effects 0.000 claims description 76
- 238000003786 synthesis reaction Methods 0.000 claims description 76
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000003706 image smoothing Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 86
- 230000008569 process Effects 0.000 description 85
- 230000006870 function Effects 0.000 description 64
- 238000003384 imaging method Methods 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000012886 linear function Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Description
この発明は、画像処理装置に関し、特に、複数の平滑化フィルタにより画像を平滑化するとともに、平滑化された複数の画像を合成することによりノイズ成分が低減された画像を生成する画像処理装置に関する。
従来、複数の平滑化フィルタにより画像を平滑化するとともに、平滑化された複数の画像を合成することによりノイズ成分が低減された画像を生成する画像処理装置が知られている。このような画像処理装置は、たとえば、特許第3472596号公報に開示されている。
上記特許第3472596号公報には、処理対象画像の各画素に対して、ノイズ成分を平滑化するための互いに異なる複数の平滑化フィルタを用いて、処理対象画像の各画素の輝度または色度に対応する画素値から複数の平滑化画像の各画素の画素値を取得するとともに、処理対象画像の各画素の画素値と複数の平滑化画像の対応する位置における各画素の画素値との間において、画素値差の絶対値を複数の平滑化フィルタごとに取得し、画素値差の絶対値に基づいて複数の平滑化フィルタについて重み付けを行い、各画素について平滑化するノイズ低減フィルター(画像処理装置)が開示されている。このノイズ低減フィルターでは、注目画素の画素値に対する画素値の差の合計の絶対値が小さい画素を多く含む方向に平滑化する平滑化フィルタを重視して合成するように構成されている。
しかしながら、上記特許第3472596号公報のノイズ低減フィルター(画像処理装置)では、注目画素の画素値に対する画素値の差の合計の絶対値が小さい画素を多く含む方向に平滑化する平滑化フィルタによる平滑化画像を重視して合成するように構成されている。このため、画像データの画素値にノイズ成分が生じる場合に、画素値の差の絶対値がノイズのない場合の値から増減するため、ノイズにより、ノイズがない場合とは異なる平滑化フィルタの重み付けを大きくして合成する場合があると考えられる。この場合に、処理対象画像を適切に平滑化して合成することが困難であるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、画像データの画素値にノイズ成分が生じた場合にも、適切に平滑化して画像を合成することが可能な画像処理装置を提供することである。
上記目的を達成するために、この発明の一の局面における画像処理装置は、処理対象画像の各画素に対して、ノイズ成分を平滑化するための互いに異なる複数の平滑化フィルタを用いて、処理対象画像の各画素の輝度または色度に対応する画素値から複数の平滑化画像の各画素の画素値を取得する画像平滑化部と、処理対象画像の各画素の画素値と複数の平滑化画像の対応する位置における各画素の画素値との間において、各画素の輝度または色度に対応する複数の画素値の正負が考慮された差である画素値差を複数の平滑化フィルタごとに取得する画素値差取得部と、複数の画素値差に基づいて、複数の平滑化画像の各画素の画素値を合成する際の重み付けに用いる合成重みを取得する合成重み取得部と、複数の平滑化画像の各画素に対して、平滑化画像の各画素の画素値の合成重みに基づいて重み付け合成を行い合成画像を取得する合成画像取得部とを備える。
この発明の一の局面による画像処理装置では、上記のように、対応する位置の画素において、複数の平滑化画像の各画素の画素値に対して、処理対象画像の画素の画素値との正負が考慮された複数の画素値差に基づいて重み付け合成を行うことにより合成画像を取得する合成重み取得部を設ける。これにより、正負が考慮された画素値差の全体としての傾向はノイズ成分が生じても変わらないと考えられるので、画素値差の絶対値に基づいて平滑化画像を重み付け合成する場合とは異なり、画素値差の関係は逆転することがない。その結果、正負が考慮された画素値差に基づいて適切に平滑化画像の重み付け合成を行うことができる。具体的には、画素値差が0値に近いところでは、ノイズ成分の影響により画素値差が0値付近において正負をまたいで変動するため、画素値差の絶対値を取った場合には全体の傾向を考える場合に区別がつかなくなってしまう。一方で、画素値差の正負を保存したままであれば、ノイズ成分が乗ったとしても、画素値差の全体としての傾向は大きく変わらないことから、適切な平滑化画像を選択し、重み付け合成を行うことができる。これにより、適切に平滑化画像を重み付け合成し、適切に平滑化された画像を取得することができる。
上記一の局面による画像処理装置において、好ましくは、合成重み取得部は、正負が考慮された複数の画素値差の平均値を取得するとともに、複数の画素値差と画素値差の平均値とに基づいて各画素に対応した複数の合成重みを取得するように構成されている。このように構成すれば、画素値差の全体の傾向である平均値に基づいて画素値差が特異な平滑化画像を容易に見つけることができるので、各平滑化フィルタごとの平滑化による変化を示す正負が考慮された各画素値差に基づいて、平滑化画像により適切に重み付け合成を行うことができる。
この場合、好ましくは、合成重み取得部は、負から正に向かって画素値差が大きくなると判断される指標において、各画素に対して、画素値差の平均値が正である場合には、複数の画素値差のうち、小さい画素値差に対応する平滑化画像の合成重みを大きくする制御を行うとともに、画素値差の平均値が負である場合には、複数の画素値差のうち、大きい画素値差に対応する平滑化画像の合成重みを大きくする制御を行うように構成されている。このように構成すれば、負から正に向かって画素値差が大きくなると判断される指標において、画素値差の平均値が正であれば、全体の傾向から負値の方向に向かって離れている小さい画素値差により、画素値差が特異な平滑化画像を容易に見つけることができる。また、負から正に向かって画素値差が大きくなると判断される指標において、画素値差の平均値が負であれば、全体の傾向から正値の方向に向かって離れている大きい画素値差により、画素値差が特異な平滑化画像を容易に見つけることができる。したがって、画素値差の平均値に対してピークの位置(特異な位置)にある画素値差に基づいて、画素値差が特異な平滑化画像に対応する合成重みを容易に大きくすることができる。その結果、画素値差の全体の傾向に合わせて、平滑化画像により適切に重み付けをして合成した合成画像を取得することができる。
上記一の局面による画像処理装置において、好ましくは、各画素に対して、処理対象画像の各画素の画素値と合成画像の対応する位置における各画素の画素値とを重み付け加算して合成を行い、加算合成画像の取得を行う加算合成画像生成部を設ける。このように構成すれば、元の処理対象画像と平滑化された結果である合成画像とをさらに比較して、平滑化による変化の度合いを考慮して、処理対象画像と合成画像との間において加算合成を行うことができる。
この場合、好ましくは、加算合成画像生成部は、重み付け加算を行う場合に、処理対象画像の各画素の画素値と合成画像の対応する位置における各画素の画素値とに基づいて各画素に対応した加算重みを取得し、加算重みに基づいて加算合成画像を取得するように構成されている。このように構成すれば、処理対象画像の各画素の画素値と合成画像の対応する位置における各画素の画素値とから、処理対象画像と合成画像との加算の重み付けの度合いを容易に取得することができる。
上記一の局面による画像処理装置において、好ましくは、入力画像に対して周波数解析を行い、特定の周波数を含む画像のみを取り出す帯域制限がされた複数の画像を周波数ごとに取得するとともに、周波数ごとに分けられた複数の画像を再び統合する周波数合成を行い、周波数合成された出力画像を取得する帯域制限画像処理部をさらに備え、帯域制限画像処理部は、入力画像として処理対象画像に対する周波数解析を行い、帯域制限がされた処理対象画像を取得し、帯域制限がされるとともに各画素に対して正負が考慮された画素値差に基づいて重み付け合成がされた合成画像を取得し、帯域制限および重み付け合成がされた合成画像に基づいて画像に対する周波数合成を行い、出力画像を取得するように構成されている。このように構成すれば、処理対象画像の周波数成分ごとに複数の平滑化画像を取得し、処理対象画像の各画素の画素値と複数の平滑化画像の対応する位置の各画素の画素値とを正負が考慮された複数の画素値差に基づいて重み付け合成し、合成画像を取得することにより、周波数帯域ごとにノイズ成分を平滑化することができるので、画像に映りこんだ被写体の構造の境界線のボケ(ぼやけ)を抑制しつつ、より効果的にノイズ成分を平滑化した画像データに対して重み付け合成を行うことができる。
上記のように、本発明によれば、画像データの画素値にノイズ成分が生じた場合にも、平滑化画像に対して適切に重み付けを行うことにより、適切に平滑化して画像に合成を行うことができる。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
(画像処理装置の構成)
まず、図1〜図8を参照して、本発明の第1実施形態による画像処理装置100の全体構成について説明する。第1実施形態においては、画像処理装置100をX線撮像装置101に用いた場合の例を示す。なお、画像処理装置100は、本発明の第1実施形態による画像処理装置として機能するとともに、X線撮像装置101の制御部としても機能するように構成されている。これは、装置構成の簡素化のための措置であって、画像処理装置100とX線撮像装置101の制御部とを別構成とし、互いにデータをやり取りするように構成してもよい。
(画像処理装置の構成)
まず、図1〜図8を参照して、本発明の第1実施形態による画像処理装置100の全体構成について説明する。第1実施形態においては、画像処理装置100をX線撮像装置101に用いた場合の例を示す。なお、画像処理装置100は、本発明の第1実施形態による画像処理装置として機能するとともに、X線撮像装置101の制御部としても機能するように構成されている。これは、装置構成の簡素化のための措置であって、画像処理装置100とX線撮像装置101の制御部とを別構成とし、互いにデータをやり取りするように構成してもよい。
図1に示されるように、画像処理装置100は、主制御部1と、画像処理部2と、記憶部3を備えている。画像処理部2は、画像平滑化部21と、画素値差取得部22と、合成重み取得部23と、合成画像取得部24と、加算合成画像生成部25とを含む。記憶部3は、プログラム31とデータ32とを含んでいる。また、画像処理装置100は、たとえば、PC(パーソナルコンピュータ)などによって構成され、プログラム31を適宜読み出し実行することにより、画像処理装置として機能するように構成されている。また、画像処理装置100は、X線撮像装置101に接続されている。
主制御部1は、記憶部3に格納されたプログラム31を実行することによって、PCを画像処理装置100として機能させるとともに、X線撮像装置101の制御部として機能させる。また、主制御部1は、X線撮像装置101に対する制御部としては、X線撮影の実行や撮影方向・範囲・撮影回数などを制御する。画像処理装置100としての機能については後述する。
X線撮像装置101は、X線撮像装置101制御部として機能する画像処理装置100と接続されるとともに、被写体SにX線を照射して、被写体Sの撮影部位(透視部位または撮像部位)の透視または撮像をするとともに、撮影した画像を画像処理装置100に送出するように構成されている。また、X線撮像装置101は、X線照射部4と、X線受像部5と、操作部6と、表示部7とを備えている。なお、X線撮像装置101により撮影されるX線画像は、低線量によって連続的に撮影するX線透視画像と、高線量によって撮影するX線撮像画像との両方の画像を含んでいる。以下では、代表してX線撮像がされる場合について説明するが、X線透視についても同様の結果が得られる。
X線照射部4は、被写体Sに向けてX線を照射する。X線受像部5は、被写体を透過したX線を受像し、X線撮像画像を撮像するとともに、受像したX線撮像画像のデータを電気信号に変換し、画像処理装置100に処理対象画像InであるX線撮像画像のデータを送出する。また、X線照射部4とX線受像部5とは、天板を挟んで対向するように配置され、天板上に横臥する被写体SをX線撮像するように構成されている。なお、X線照射部4は、たとえば、X線管により構成されている。また、X線受像部5は、たとえば、FTP(Flat Panel Detector)により構成されている。
操作部6は、操作者の操作命令の入力を受け付けるように構成されている。また、操作部6は、X線撮像装置101の操作とともに画像処理装置100の画像処理方法の選択等の操作も行うことができるように構成されている。また、表示部7は、たとえば、画像処理装置100によって画像処理がされたX線撮像画像を表示するほか、X線撮像装置101および画像処理装置100の操作に関する各種画面表示を行う。なお、操作部6は、たとえば、操作者の操作入力を受け付けるキーボード、マウスおよび操作レバーなどから構成されている。また、表示部7は、たとえば、液晶パネルおよびバックライトなどにより構成されている。
(画像の平滑化処理)
以下では、図2〜図6に基づいて、画像処理装置100による画像の平滑化処理を説明する。
以下では、図2〜図6に基づいて、画像処理装置100による画像の平滑化処理を説明する。
画像処理装置100は、X線撮像装置101からX線による撮影画像(X線透視画像またはX線撮像画像)の画像データを取得する。以下では、代表してX線撮像画像を取得した場合を考える。なお、X線撮像画像は、画素ごとに受像した透過X線の大きさが画素値としてあらわされるグレースケールの画像であり、この場合、画素値としては輝度のみを考える。
画像処理装置では、たとえば、画像データに対して、操作者が視認性を向上させるために、画像に含まれる被写体の境界線の強調処理や、コントラストなどの調整処理、任意部分の拡大・縮小処理、回転処理、トリミング処理、ネガとポジの反転処理など様々な画像処理が行われる。本発明の第1実施形態による画像処理装置100は、上記の画像処理を行うとともに、画像の画素の画素値に含まれるノイズ成分による変動を抑制し、画像の画素値の変化が滑らかな視認性の良い画像とする平滑化処理を行うように構成されている。以下では、特に画像の平滑化処理について説明する。
画像にノイズ成分が含まれている場合、ノイズ成分によって理想的な画素値から変動してしまうため、画素値が滑らかに変化しない視認性の悪い画像になってしまう。このノイズ成分は、様々な理由によって発生するが、X線撮像画像の場合は、たとえば、X線照射部4(X線管)が熱電子を電極に衝突させてX線を発生させることに起因して、原理的に避けることができないポアソン分布に由来するX線照射の不均一(統計的な変動である量子ノイズ)が、画像にノイズ成分が乗る大きな原因となっている。X線照射部4により照射されるX線の強度を大きくすればこのポアソン分布に由来するノイズを小さくすることが可能ではあるが、同時に被写体Sや操作者の被曝量が大きくなるため望ましくない。したがって、X線照射量を低く抑えた状態においても、発生するノイズ成分の影響をできるだけ除去し、X線撮像画像の視認性を向上させる必要がある。なお、X線撮像画像に生じるノイズには、X線受像部5(FDP)の画素値の読み出し時に生じるノイズや、画像のデータをやり取りする間に、外来の電磁波や熱雑音などによって電子回路に生じるノイズなども存在する。なお、画像処理装置100によって取得される平滑化画像は、発生原因によらずノイズを除去することが可能である。
まず、平滑化方法について簡単に説明する。画像は、十分に小さい範囲で見れば局所的に略一様の構造となっているため、画素値もこの範囲では略等しいと考えられる。すなわち、画素の1つ1つが十分に細かいとすると、ある注目位置の画素とその周辺位置の画素は、画素値が略等しいと考えられる。一方で、ノイズ成分はそれぞれの画素値にランダムに乗るため、画素値はノイズ成分によって変動が生じ、本来の値から大きい値または小さい値となる。そこで、注目位置およびその周辺位置における画素の画素値の平均値を取得して、注目位置の画素の画素値と置き換えることにより、ノイズ成分を相殺することができる。全ての画素において上記平均値で置き換える処理を行えば、ノイズを平滑化した平滑化画像が得られる。
なお、周辺位置の全ての画素の画素値との平均値を取る処理を行うとすれば、注目位置の周辺位置に画像に映りこんだ被写体の構造が変わる境界線の部分がある場合に、境界線をまたぎながら画素値の平均値を取ることになる。これにより、被写体の境界線についても平滑化されてしまうため、被写体の境界線にボケ(ぼやけ)が生じてしまう。したがって、被写体の構造に沿った方向の平滑化を重視し、被写体の構造の境界をまたぐ方向の平滑化を無視するような平滑化を行う必要がある。
具体的には、たとえば、図2に示されるように、ある特定の方向に平滑化を行う平滑化フィルタF(d)を用意することによって、被写体の構造に応じた平滑化を行う。注目位置の画素を中心にある特定の方向に伸びる線分上に位置する画素の画素値の平均値を取り、注目位置の画素値として置き換える処理を行う。ここで、処理対象画像InはM行N列の画素データの集まりであり、平滑化を行う対象となる画像である。また、点線の丸で囲まれた部分が注目位置の画素であり、注目位置の画素を中心とする正方形により囲まれた領域が平滑化の行われる対象となる平滑化領域である。平滑化フィルタ(d)は平滑化を行う方向に応じてD枚あり、それぞれ互いに平滑化の方向が異なる異方性のフィルタである。dは、1からDのいずれかの正の整数値をとり、平滑化フィルタF(d)を区別するための数値である。平滑化フィルタF(d)内に示される線分は、注目位置およびその周辺の位置の画素のうち、線分上に位置する画素が平滑化に寄与する画素であることを表している。D枚の平滑化フィルタF(d)を処理対象画像Inに用いることにより、注目位置および平滑化フィルタF(d)に対応する周辺位置における画素の画素値が平滑化され、D枚の平滑化画像Smooth(d)の画素値が取得される。上記D枚の平滑化フィルタF(d)を用いて平滑化を行う処理は、処理対象画像Inの全ての画素に対して行われ、各画素ごとにD枚の平滑化画像Smooth(d)の画素値が得られる。
より詳細には、平滑化フィルタF(d)は、たとえば、図3のような値を持つ演算子のマトリクスとしてあらわされる。この場合、平滑化フィルタF(d)は、8枚の5行5列のマトリクスとしてあらわされ、注目位置の画素値を中心に45度刻みの8方向に対して、注目位置の画素を含む3つの隣接する画素の画素値を平滑化する。平滑化フィルタF(d)内の係数1/3は、対応する位置にある処理対象画像Inの画素の画素値を1/3倍(係数倍)して取得することを表している。取得された全ての画素値を合計すれば、係数の位置にある画素の画素値の平均値を取得することができる。すなわち、処理対象画像Inの各位置の画素について、平滑化フィルタF(d)ごとに8枚の平滑化画像Smooth(d)の画素の画素値を得ることができる。なお、係数が書かれていない空欄の部分は、係数が0であることを省略した部分であり、空欄の位置にくる画素は平滑化に寄与しないことを示している。また、θは平滑化の方向をあらわしている。
8枚の平滑化画像Smooth(d)から1枚の合成画像Compを得るために、D枚の平滑化画像Smooth(d)のうち、被写体の構造に沿った方向に平滑化が行われている平滑化画像Smooth(d)を大きく重み付けして合成し、被写体の構造をまたぐ方向に平滑化が行われている平滑化画像Smooth(d)を小さく重み付けして合成する重み付け合成処理を行う。これにより、被写体の同じ構造に属する画素の間において平滑化された平滑化画像の寄与を大きくして合成し、被写体の構造の異なる部分をまたぎながら平滑化された平滑化画像の寄与を小さくして合成を行うことができるので、平滑化によりノイズ成分を低減しつつ、被写体の構造の境界をまたいで平滑化することに起因する境界線のボケ(ぼやけ)を抑制することができる。処理対象画像Inの各画素について上記のように平滑化画像Smooth(d)を重み付け合成すことにより、適切に平滑化がなされた結果である合成画像Compを取得することができる。
なお、図4に示されるように、平滑化フィルタF(d)の枚数をさらに増やし、より多くの平滑化方向を設定することもできる。図4は、15度刻み24方向に平滑化することが可能な24枚の平滑化フィルタF(d)の3枚目までを示した図である。この場合、15度方向や30度方向に平滑化するときは、2つの画素をまたいだ方向に平滑化する必要が生じるため、またがった2つの画素の画素値の寄与を補償して平滑化する必要が生じる。たとえば、30度方向に平滑化する平滑化フィルタF(3)において、係数k(1,0)と係数k(1,1)とは、1つの画素値の寄与に対応する係数1/3を、幾何的に30度の正接であるtan(π/6)を用いて分配した値とすればよい。すなわち、k(1,0)はtan(π/6)/3となり、k(1,1)は{1−tan(π/6)}/3となる。実際には、tan(π/6)は無理数であるから、計算機の処理能力や画素値の桁数に合わせて適当な桁数で取得を打ち切り、結果の値をあらかじめ記憶部3に記憶させ、適宜記憶部3から読み出して用いればよい。他の係数の具体的な値については省略する。また、45度の場合は、図3に示される平滑化フィルタと同様の構成となる。45度以降の平滑化フィルタF(d)については、上記いずれかのフィルタに対して注目位置を中心として回転または反転させたものと同様の構成であり、図示を省略する。
また、図示は省略するが、平滑化フィルタF(d)の大きさをn行n列(たとえば、7行7列)に拡大することもできる。この場合、上記と同様に平滑化方向に存在する画素に1を等分した係数を分配してもよいし、注目位置に近い画素に対して係数が比較的大きくなるように分配してもよい。いずれにしても、平滑化の前後において画像全体の画素値が変化しないようにするためには、各平滑化フィルタF(d)に含まれる係数の合計は、1となるように規格化されている必要がある。
平滑化画像Smooth(d)の重み付けについて具体的に説明する。処理対象画像Inの画素の画素値と平滑化画像Smooth(d)の対応する位置の画素の画素値との値が近いものであれば、略同じ画素値となる被写体の構造の近いところに属する画素の間において平滑化がうまく行われたと考えることができる。一方で、処理対象画像Inの画素の画素値と平滑化画像Smooth(d)の対応する位置の画素の画素値との値が大きく異なっていれば、被写体の異なる構造(被写体の構造の境界線)をまたぎながら平滑化が行われていると考えることができる。そのため、処理対象画像Inの画素の画素値と平滑化画像Smooth(d)の画素の画素値とを比較することにより、どの平滑化画像Smooth(d)を合成の際に重視する必要があるか判断することができる。
このような場合に、処理対象画像Inの画素の画素値と平滑化画像Smooth(d)の画素の画素値との差の絶対値を取得し、画素値差の絶対値が小さいSmooth(d)をより大きく重み付けして合成を行う処理がなされてきた。
ここで、図5に示される線形構造の被写体を撮像した画像に対して平滑化を行う場合を考える。この被写体Sは先端部分の周辺において略一様な構造となっているとする。白くあらわされている部分は、被写体Sの映りこみが生じている部分であり、被写体SによってX線受像部5に入射する量が減るため、X線受像が少ない部分である。また、斜線によってあらわされている部分は、被写体Sの映りこみが生じていない部分であり、X線照射部4で照射されたX線が被写体Sを透過することなくX線受像部5に入射するため、X線受像の線量が多い部分である。
このとき、注目位置の画素を中心としてそれぞれ15度刻みの互いに異なる24方向に伸びる線分上に画素の画素値を平滑化する24枚の平滑化フィルタF(d)を用いることにより、24枚の平滑化画像Smooth(d)を取得する。線構造の先端部分を注目位置とすると、注目位置における処理対象画像Inの画素の画素値から平滑化画像Smooth(d)の画素の画素値を減算することにより、平滑化画像Smooth(d)に対応した24の画素値差S(d)が取得される。
図6(1)で示されるグラフは、ノイズ成分がない場合の理想的な正負が考慮された画素値差S(d)および画素値差の絶対値|S(d)|をあらわすグラフである。画素値差S(d)は、先端部分において被写体Sが一様となることから、180度方向には略0となり、180度からずれるにつれて負値となる。すなわち、被写体Sの線構造と対応して、画素値差S(d)は、180度方向に0値に近いピークを持つ山型のグラフとなっている。この場合、画素値差S(d)の画素値差の絶対値|S(d)|を取ると、正負の逆転により180度方向に0値に近いピークを持つ谷型のグラフとなる。この場合、ノイズ成分の影響がないので、画素値差S(d)と画素値差の絶対値|S(d)|との間においてピークとして得られる方向に違いがない。すなわち、画素値差S(d)および画素値差の絶対値|S(d)|のいずれの場合も、線構造に沿った方向に平滑化されている180度方向に対応する平滑化画像Smooth(d)をより大きく重み付け合成して合成画像Compを取得すればよいとわかる。
次に、ノイズ成分が処理対象画像Inの画素の画素値に乗った場合を考える。画素値差S(d)および画素値差の絶対値|S(d)|は、ノイズ成分がある場合に、たとえば、図6(2)に示すようなグラフとなる。この場合に、画素値差S(d)および画素値差の絶対値|S(d)|は、それぞれノイズ成分による値の変動があるものの、全体の傾向としては略図6(1)のグラフの形を保っていることがわかる。つまり、画素値差S(d)はやはり180度方向をピークとした山型のグラフとなり、画素値差の絶対値|S(d)|は180度方向をピークとした谷型のグラフとなる。
一方で、ノイズ成分の乗り方によっては、図6(3)に示されるグラフが得られる場合もある。このとき、180度方向の平滑化に対応する画素値差S(d)は、ノイズ成分がない状況であれば略0であるはずが、ノイズ成分の重畳により正の値にずれてしまっている。この場合でも、画素値差S(d)は、グラフの全体の傾向としては変わらないため、依然として山型のグラフを保っており、180度方向がグラフのピークとなっている。一方で、画素値差の絶対値|S(d)|は、正負の考慮がされないため、図6(3)の右側のグラフのように、195度方向の平滑化画像に対応する方向をピークであると誤認してしまう。すなわち、195度方向を重視して平滑化画像Smooth(d)を重み付け合成してしまうことになる。このような構造の方向の誤認は、画素値差S(d)が0に近い場合に、ノイズ成分の影響によって正負が容易に入れ替わりうるために生じる。
以上のように、ノイズ成分を考慮して平滑化する場合には、画素値差の絶対値|S(d)|ではなく、正負が考慮された画素値差S(d)に基づいて平滑化画像の重み付け合成を行うことにより適切に平滑化画像Smooth(d)の重み付け合成を行うことができる。
以下では、正負が考慮された画素値差S(d)によって処理対象画像Inから平滑化処理の最終結果である加算合成画像(処理済み画像)Outを取得する一連の処理について画像処理装置100の構成に基づいて詳細に説明する。
ここで、第1実施形態による画像処理装置100では、処理対象画像Inの各画素に対して、ノイズ成分を平滑化するための互いに異なる複数の平滑化フィルタF(d)を用いて、処理対象画像Inの各画素の輝度または色度に対応する画素値から複数の平滑化画像Smooth(d)の各画素の画素値を取得する画像平滑化部21が設けられている。
具体的には、画像平滑化部21は、X線撮像装置101から取得したX線撮像画像である処理対象画像Inを取得する。この場合、画像平滑化部21は、記憶部3にX線撮像画像のデータを記憶させ、記憶部3(データ32)から読み出すことにより処理対象画像Inを取得するように構成してもよい。また、画像平滑化部21は、処理対象画像Inに互いに異なる平滑化係数を含む演算子のマトリクスであるD枚の平滑化フィルタF(d)を用いて、処理対象画像Inの各位置の画素の画素値に対して、dに応じた総数D枚の平滑化画像Smooth(d)の画素の画素値を取得する。この平滑化画像Smooth(d)の各位置に対応する画素の画素値を取得する計算は、数式(1)のようにあらわすことができる。
ただし、黒丸であらわされる演算子は、処理対象画像Inの注目位置における画素の画素値および平滑化フィルタF(d)に対応した注目位置の周辺位置における画素の画素値を取得して、取得した画素値に平滑化フィルタF(d)ごとに異なる平滑化係数を乗算し、足し合わせることにより平滑化(たとえば、相加平均)し、得られた画素値を注目位置の画素の画素値として置き換えることにより平滑化画像Smooth(d)を取得する計算をあらわしている。なお、dは、1、2、3、…、Dに対応する正の整数のいずれかである。
また、第1実施形態による画像処理装置100では、処理対象画像Inの各画素の画素値と複数の平滑化画像Smooth(d)の対応する位置における各画素の画素値との間において、各画素の輝度または色度に対応する複数の画素値の正負が考慮された差である画素値差S(d)を複数の平滑化フィルタF(d)とに取得する画素値差取得部22が設けられている。
具体的には、画素値差取得部22は、処理対象画像Inの各位置の画素と平滑化画像Smooth(d)の対応する各位置の画素に対して、正負が考慮された差分値である画素値差S(d)を取得する。この各画素に対して画素値差S(d)を取得する計算は、数式(2)のようにあらわすことができる。
また、第1実施形態による画像処理装置100では、複数の画素値差S(d)に基づいて、複数の平滑化画像Smooth(d)の各画素の画素値を合成する際の重み付けに用いる合成重みα(d)を取得する合成重み取得部23が設けられている。
また、第1実施形態による合成重み取得部23は、正負が考慮された複数の画素値差S(d)の平均値AvrSを取得するとともに、複数の画素値差S(d)と画素値差の平均値AvrSとに基づいて各画素に対応した複数の合成重みα(d)を取得するように構成されている。
また、第1実施形態による合成重み取得部23は、負から正に向かって画素値差が大きくなると判断される指標において、各画素に対して、画素値差の平均値AvrSが正である場合には、複数の画素値差S(d)のうち、小さい画素値差S(d)に対応する平滑化画像Smooth(d)の合成重みα(d)を大きくする制御を行うとともに、画素値差の平均値AvrSが負である場合には、複数の画素値差S(d)のうち、大きい画素値差S(d)に対応する平滑化画像Smooth(d)の合成重みα(d)を大きくする制御を行うように構成されている。
具体的には、合成重み取得部23は、全ての画素値差S(d)に対して相加平均することにより、画素値差の平均値AvrSを取得する。この画素値差の平均値AvrSを取得する計算は、数式(3)のようにあらわすことができる。
また、合成重み取得部23は、平滑化画像Smooth(d)の合成重みα(d)を、画素値差S(d)および画素値差の平均値AvrSに基づいて取得する。合成重みα(d)は正の実数値であり、合成後の合成画像Comp全体の画素値が合成前の処理対象画像In全体の画素値と同じ基準となるように、全てのdについて合成重みα(d)を合計すればちょうど1となるように規格化されている。この合成重みα(d)を取得する計算は、数式(4)のようにあらわすことができる。
ただし、kは合成重みα(d)を規格化するための規格化定数である。
関数Αは、画素値差S(d)および画素値差の平均値AvrSを引数とする関数である。図6(3)の左のグラフによって示されたように、被写体Sの線構造の先端部分の画素を注目位置とした場合の正負が考慮された画素値差S(d)のグラフは、構造の方向に沿った平滑化画像Smooth(d)に対応する画素値差S(d)に上に凸のピークがくる。また、処理対象画像Inの注目位置の周辺位置の線構造以外の部分に対応する画素の画素値は、注目位置より相対的にX線が多く入射するため、大きくなる。これにより、線構造に沿った方向以外の方向に対応する画素値差S(d)は負の値となる。したがって、画素値差の平均値AvrSは負となる。ここで、画素値差S(d)のグラフのピークは、画素値差S(d)の中で正値の方向に最も離れた画素値差S(d)に対応している。すなわち、画素値差の平均値AvrSが負であるときは、負から正に向かって画素値差が大きくなると判断される指標において、画素値差S(d)が大きい平滑化画像Smooth(d)ほど、構造の方向に沿った平滑化に対応している。
一方で、図示は省略するが、注目位置を被写体Sが映りこまない部分にとり、周辺位置に被写体Sの境界(構造)がある状況を考える。この場合、被写体Sの境界をまたぐ方向に平滑化してしまうと、画像のエッジにボケ(ぼやけ)が生じてしまう。したがって、被写体Sの映りこまない方向に平滑化した平滑化画像Smoothを大きく重み付けして合成する必要がある。また、被写体の映りこまない方向の平滑化に対応する画素値差S(d)は、ノイズ成分がないとすれば、略0値となる。また、被写体の境界をまたぐ方向の平滑化に対応する画素値差S(d)は、正の値となる。特に、被写体の境界と垂直となる方向に平滑化した画素値差S(d)が最も大きな値となる。この結果、正負を考慮した画素値差S(d)のグラフは、被写体Sの境界に垂直に平滑化する平滑化画像Smooth(d)に対応するS(d)が0値と近い底部(ピーク)をもつ下に凸の谷型のグラフとなる。つまり、画素値差S(d)のピークは、上記のように、画素値差S(d)の中で負値の方向に最も離れた画素値差S(d)に対応している。また、被写体の映りこまない方向以外の方向に対応する画素値差S(d)は正の値となるため、画素値差の平均値AvrSは正となる。すなわち、画素値差の平均値AvrSが正であるときは、負から正に向かって画素値差が大きくなると判断される指標において、画素値差S(d)が小さい平滑化画像Smooth(d)ほど、構造の方向に沿った平滑化に対応している。
まとめると、負から正に向かって画素値差が大きくなると判断される指標において、画素値差の平均値AvrSが正であるときは、画素値差S(d)が小さい平滑化画像Smooth(d)ほど構造の方向に沿った平滑化に対応し、画素値差の平均値AvrSが負であるときは、画素値差S(d)が大きい平滑化画像Smooth(d)ほど構造の方向に沿った平滑化に対応している。すなわち、関数Αは、画素値差の平均値AvrSが正の場合には、画素値差S(d)が小さくなる平滑化画像Smooth(d)ほど、合成重みα(d)を小さくし、画素値差の平均値AvrSが負の場合には、画素値差S(d)が大きくなる平滑化画像Smooth(d)ほど、合成重みα(d)を大きくする関数であればよい。第1実施形態では、関数Αを、画素値差の平均値AvrSが正の場合には、画素値差S(d)が最も小さくなる平滑化画像Smooth(dmin)に対応する合成重みα(dmin)を1とし、その他の合成重みα(d)を0とする。また、関数Αを、画素値差の平均値AvrSが負の場合には、画素値差S(d)が最も大きくなる平滑化画像Smooth(dmax)に対応する合成重みα(d)を1とし、その他の合成重みα(dmax)を0とする。dminは最小のS(d)に対応するdであり、dmaxは、最大のS(d)に対応するdである。関数Αをこのように構成すれば、平滑化の方向が最適となる方向に対応する平滑化画像Smooth(d)のみが合成画像Compに寄与することになる。
なお、AvrSが0となる場合は、注目位置の周辺位置の画素の画素値に特異な方向性がないと考えられる。したがって、AvrSが0となる場合は、たとえば全ての合成重みα(d)を均等配分とし、1/Dとすればよい。この場合、合成画像Compは、注目位置において全方向に対して均等に平滑化した画像となっている。
また、第1実施形態による画像処理装置100では、複数の平滑化画像の各画素に対して合成重みに基づいて重み付け合成を行い合成画像を取得する合成画像取得部24を設ける。
具体的には、合成画像取得部24は、合成重み取得部23によって取得された合成重みα(d)を平滑化画像Smooth(d)に乗算して足し合わせることにより、合成画像Compを取得する。この合成画像Compを取得する計算は、数式(5)のようにあらわすことができる。
この場合、数式(5)の計算は、画素値の平均値AvrSが正の場合は、画素値差S(d)が最も小さくなる方向に対応する平滑化画像Smooth(dmin)を合成画像Compとし、画素値の平均値AvrSが負の場合は、画素値差S(d)が最も大きくなる方向に対応する平滑化画像Smooth(dmax)を合成画像Compとする計算に等しくなる。
また、第1実施形態による画像処理装置100では、各画素に対して、処理対象画像Inの各画素の画素値と合成画像Compの対応する位置における各画素の画素値とを重み付け加算して合成を行い、加算合成画像Outの取得を行う加算合成画像生成部25を設ける。
具体的には、加算合成画像生成部25は、元の画像である処理対象画像Inの各画素の画素値と平滑化を行った結果である合成画像の対応する位置の画素の画素値とを加算重みβを用いて重み付けして加算合成することにより、最終結果である加算合成画像を取得する。加算重みβは0から1の間の正の実数値であり、加算合成後の加算合成画像Out全体の画素値と合成前の処理対象画像Inおよび合成画像Comp全体の画素値とが同じ基準となるように規格化されている。この加算重みβによって加算合成画像Outを取得する計算は、数式(6)のようにあらわすことができる。
また、第1実施形態による加算合成画像生成部25は、重み付け加算を行う場合に、処理対象画像Inの各画素の画素値と合成画像Compの対応する位置における各画素の画素値とに基づいて各画素に対応した加算重みβを取得し、加算重みβに基づいて加算合成画像Outを取得するように構成されている。
具体的には、加算合成画像生成部25は、各画素に対して、対応する位置の処理対象画像Inの画素値と合成画像Compの画素値とに基づいて、加算重みβを取得する。この加算重みβを取得する計算は、数式(7)のようにあらわすことができる。
ただし、lは加算重みβを規格化するための規格化定数である。
ここで、関数Βは、処理対象画像Inの画素値と合成画像Compの画素値とを引数とする関数である。関数Βは、処理対象画像Inと合成画像Compとの相関を示す関数であり、処理対象画像Inの画素値と合成画像Compの画素値とが近い値であるほど大きくなるように構成する。これにより、数式(6)と数式(7)とを合わせると、処理対象画像Inの画素値と合成画像Compの画素値とが近い値となるほど合成画像Compの画素値を大きく重み付け加算し、処理対象画像Inの画素値と合成画像Compの画素値とが遠い値となるほど処理対象画像Inの画素値を大きく重み付け加算する計算となる。すなわち、合成画像Compが処理対象画像Inからそれほど大きく変化していない場合には、平滑化が上手く機能したと考えられるため、合成画像Compを重視して加算合成を行う。一方で、合成画像Compが処理対象画像Inから大きく変化している場合は、平滑化によって大きく画素値が変わることによって歪みが生じると考えられるため、処理対象画像Inを重視して加算合成を行う。
なお、βを与える関数Βは、たとえば、処理対象画像Inの各画素の画素値と合成画像Compの対応する各位置の画素の画素値との差の絶対値|In−Comp|に基づく関数として数式(8)のように定義することができる。
ただし、関数Βは、引数である絶対値|In−Comp|が大きくなれば相対的に値が小さくなるように構成する。
以上のように、数式(1)から数式(8)までの計算を行うことにより、ノイズが乗った場合にも、被写体Sの構造に合わせて適切に平滑化を行うとともに、被写体Sの境界(エッジ)のボケ(ぼやけ)を抑制した加算合成画像Outを取得することができる。したがって、画像データの画素値にノイズ成分が生じた場合にも、平滑化画像に対して適切に重み付けを行うことにより、適切に平滑化して画像の合成を行うことができる。
以下では、上記一連の平滑化処理についてフローチャートを用いて説明する。なお、各画像や値を取得するための具体的な計算については、上記説明と重複するため、適宜省略する。
(加算合成画像生成処理)
以下では、図7に基づいて、加算合成画像生成の流れを、フローチャートを用いて説明する。
以下では、図7に基づいて、加算合成画像生成の流れを、フローチャートを用いて説明する。
まず、合成重み取得処理が開始されると、ステップS1に進む。ステップS1では、画像処理部2は、処理対象画像In(X線撮像画像)を取得し、ステップS2に進む。
ステップS2では、処理対象画像Inに含まれる各画素の画素値にD枚の平滑化フィルタF(d)を用いることにより、D枚の平滑化画像Smooth(d)を取得し、ステップS3に進む。
ステップS3では、処理対象画像Inの各画素の画素値とD枚の平滑化画像Smooth(d)の対応する位置の画素値との正負が考慮された差分値をdごとに計算し、D個の画素値差S(d)を取得し、ステップS4に進む。
ステップS4では、画素値差S(d)に対応する合成重みα(d)を取得し、ステップS5に進む。なお、ステップS4における合成重みα(d)の取得の流れについては、別途、合成重み取得処理として後述する。
ステップS5では、平滑化画像Smooth(d)を合成重みα(d)によって重み付け合成することにより、合成画像Compを取得し、ステップS6に進む。
ステップS6では、処理対象画像Inおよび合成画像Compから加算重みβを取得し、ステップS7に進む。
ステップS7では、処理対象画像Inと合成画像Compとを加算重みβによって重み付け加算することにより、加算合成画像Outを取得し、加算合成画像生成処理を終了する。
以上の加算合成画像生成処理は、X線受像部5または図示しない外部メモリから取得したそれぞれのX線撮像画像に対して適宜実行される。また、画像処理装置100により取得された加算合成画像Outは、記憶部3に記憶され、適宜読み出して表示部7に表示することができるように構成されている。
(合成重み取得処理)
以下では、図8に基づいて、合成重み取得処理の流れを、フローチャートを用いて説明する。この合成重み取得処理は、上記加算合成画像生成処理のステップS4において実行される処理を詳細に説明したものである。
以下では、図8に基づいて、合成重み取得処理の流れを、フローチャートを用いて説明する。この合成重み取得処理は、上記加算合成画像生成処理のステップS4において実行される処理を詳細に説明したものである。
まず、合成重み取得処理が開始されると、ステップS11に進む。ステップS11では、画像処理部2(合成重み取得部23)は、各画素における正負が考慮された画素値差S(d)を取得して、ステップS12に進む。
ステップS12では、画素値差S(d)の全てのdにわたる平均値AvrSを取得し、ステップS13に進む。
ステップS13では、画素値差の平均値AvrSが正の値かどうかを判断し、正の値であればステップS14に進み、正の値でなければ、ステップS25に進む。
ステップS14では、最小の画素値差S(dmin)を与える引数dminに対応する合成重みα(dmin)のみを1とするとともに、それ以外の引数dに対応する合成重みα(d)を0とし、合成重み取得処理を終了する。ただし、最小の画素値差S(dmin)を与えるdminが複数ある場合は、合成重みα(dmin)の値を、dminの数で1を均等配分した値としてもよい。この場合、たとえば、最小の画素値差S(dmin)が同値で2つある場合は、2つの合成重みα(dmin1)およびα(dmin2)の値を0.5(1/2)ずつとする。
ステップS15では、画素値差の平均値AvrSが負の値かどうかを判断し、負の値であればステップS16に進み、負の値でなければ、ステップS17に進む。なお、ステップS17に進む場合は、画素値差の平均値AvrSがちょうど0となっている。
ステップS16では、最大の画素値差S(dmax)を与える引数dmaxに対応する合成重みα(dmax)のみを1とするとともに、それ以外の引数dに対応する合成重みα(d)を0とし、合成重み取得処理を終了する。ただし、最大の画素値差S(dmax)を与えるdmaxが複数ある場合は、合成重みα(dmax)の値を、dmaxの数で1を均等配分した値としてもよい。この場合、たとえば、最大の画素値差S(dmin)が同値で2つある場合は、2つの合成重みα(dmin1)およびα(dmin2)の値を0.5(1/2)ずつとする。
ステップS17では、全ての合成重みα(d)に1を均等配分した値とし、合成重み取得処理を終了する。平滑化フィルタの総数がDであれば、合成重みα(d)は1/Dである。
上記のように、合成重み取得処理では、正負の考慮された画素値差S(d)と画素値差の平均値AvrSに基づいて、容易に最適な方向に平滑化された平滑化画像Smooth(d)を重視して重み付け(選択)することができる。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、上記のように、対応する位置の画素において、複数の平滑化画像Smooth(d)の各画素の画素値に対して、処理対象画像Inの画素の画素値との正負が考慮された複数の画素値差S(d)に基づいて重み付け合成を行うことにより合成画像Compを取得する合成重み取得部23を設ける。これにより、正負が考慮された画素値差S(d)の全体としての傾向はノイズ成分が生じても変わらないと考えられるので、画素値差S(d)の絶対値|S(d)|に基づいて平滑化画像Smooth(d)を重み付け合成する場合とは異なり、画素値差S(d)の関係は逆転することがない。その結果、正負が考慮された画素値差S(d)に基づいて適切に平滑化画像Smooth(d)の重み付け合成を行うことができる。具体的には、画素値差S(d)が0値に近いところでは、ノイズ成分の影響により画素値差S(d)が0値付近において正負をまたいで変動するため、画素値差S(d)の絶対値|S(d)|を取った場合には全体の傾向を考える場合に区別がつかなくなってしまう。一方で、画素値差S(d)の正負を保存したままであれば、ノイズ成分が乗ったとしても、画素値差S(d)の全体としての傾向は大きく変わらないことから、適切な平滑化画像Smooth(d)を選択し、重み付け合成を行うことができる。これにより、適切に平滑化画像Smooth(d)を重み付け合成し、適切に平滑化された合成画像Compを取得することができる。
また、第1実施形態では、上記のように、合成重み取得部23を、正負が考慮された複数の画素値差S(d)の平均値AvrSを取得するとともに、複数の画素値差S(d)と画素値差の平均値AvrSとを引数とする関数Αに基づいて各画素に対応した複数の合成重みα(d)を取得するように構成する。これにより、画素値差S(d)の全体の傾向である平均値AvrS(d)に基づいて画素値差が特異な平滑化画像を容易に見つけることができるので、各平滑化フィルタF(d)ごとの平滑化による変化を示す正負が考慮された各画素値差S(d)に基づいて、平滑化画像Smooth(d)により適切に重み付け合成を行うことができる。
また、第1実施形態では、上記のように、合成重み取得部23を、負から正に向かって画素値差S(d)が大きくなると判断される指標において、各画素に対して、画素値差の平均値AvrSが正である場合には、複数の画素値差S(d)のうち、小さい画素値差S(d)に対応する平滑化画像Smooth(d)の合成重みα(d)を大きくする制御を行うとともに、画素値差の平均値AvrSが負である場合には、複数の画素値差S(d)のうち、大きい画素値差S(d)に対応する平滑化画像Smooth(d)の合成重みα(d)を大きくする制御を行うように構成する。これにより、負から正に向かって画素値差S(d)が大きくなると判断される指標において、画素値差の平均値AvrSが正であれば、全体の傾向から負値の方向に向かって離れている小さい画素値差S(d)により、画素値差S(d)が特異な平滑化画像Smooth(d)を容易に見つけることができる。また、負から正に向かって画素値差S(d)が大きくなると判断される指標において、画素値差の平均値AvrSが負であれば、全体の傾向から正値の方向に向かって離れている大きい画素値差S(d)により、画素値差S(d)が特異な平滑化画像Smooth(d)を容易に見つけることができる。したがって、画素値差の平均値AvrSに対してピークの位置(特異な位置)にある画素値差S(d)に基づいて、画素値差S(d)が特異な平滑化画像Smooth(d)に対応する合成重みα(d)を容易に大きくすることができる。その結果、画素値差S(d)の全体の傾向に合わせて、平滑化画像Smooth(d)により適切に重み付けをして合成した合成画像Compを取得することができる。
また、第1実施形態では、上記のように、各画素に対して、処理対象画像Inの各画素の画素値と合成画像Compの対応する位置における各画素の画素値とを重み付け加算して合成を行い、加算合成画像Outの取得を行う加算合成画像生成部25を設ける。これにより、元の処理対象画像Inと平滑化された結果である合成画像Compとをさらに比較して、平滑化による変化の度合いを考慮して、処理対象画像Inと合成画像Compとの間において加算合成を行うことができる。
また、第1実施形態では、上記のように、加算合成画像生成部25を、重み付け加算を行う場合に、処理対象画像Inの各画素の画素値と合成画像Compの対応する位置における各画素の画素値とを引数とする関数Βに基づいて各画素に対応した加算重みβを取得し、加算重みβに基づいて加算合成画像Outを取得するように構成する。これにより、処理対象画像Inの各画素の画素値と合成画像Compの対応する位置における各画素の画素値とから、処理対象画像Inと合成画像Compとの加算の重み付けの度合いを容易に取得することができる。
[第2実施形態]
(画像処理装置の構成)
次に、図9〜12を参照して、本発明の第2実施形態による画像処理装置200の全体構成について説明する。第2実施形態では、図9に示すように、上記第1実施形態の構成に加えて、入力画像に対して周波数解析を行い、特定の周波数を含む画像のみを取り出す帯域制限がされた複数の画像を周波数ごとに取得するとともに、周波数ごとに分けられた複数の画像を再び統合する周波数合成を行い、周波数合成された出力画像を取得する帯域制限画像処理部20を設ける構成について説明する。なお、上記第1実施形態と同様の構成については同様の符号を付し、説明を省略する。また、第2実施形態においても、第1実施形態と同じく、X線撮像装置101に画像処理装置200を用いる例について説明する。
(画像処理装置の構成)
次に、図9〜12を参照して、本発明の第2実施形態による画像処理装置200の全体構成について説明する。第2実施形態では、図9に示すように、上記第1実施形態の構成に加えて、入力画像に対して周波数解析を行い、特定の周波数を含む画像のみを取り出す帯域制限がされた複数の画像を周波数ごとに取得するとともに、周波数ごとに分けられた複数の画像を再び統合する周波数合成を行い、周波数合成された出力画像を取得する帯域制限画像処理部20を設ける構成について説明する。なお、上記第1実施形態と同様の構成については同様の符号を付し、説明を省略する。また、第2実施形態においても、第1実施形態と同じく、X線撮像装置101に画像処理装置200を用いる例について説明する。
第2実施形態における画像処理装置200では、上記第1実施形態における構成に加えて、入力画像In1に対して周波数解析を行い、特定の周波数ωjを含む画像のみを取り出す帯域制限がされた複数の画像を周波数ωjごとに取得するとともに、周波数ωjごとに分けられた複数の画像を再び統合する周波数合成を行い、周波数合成された出力画像を取得する帯域制限画像処理部20をさらに設ける。また、帯域制限画像処理部は、入力画像In1として処理対象画像Inに対する周波数解析を行い、帯域制限がされた処理対象画像Inを取得し、帯域制限がされるとともに各画素に対して正負が考慮された画素値差S(d)に基づいて重み付け合成がされた合成画像Compを取得し、帯域制限および重み付け合成がされた合成画像Compに基づいて画像に対する周波数合成を行い、出力画像Out1を取得するように構成されている。
具体的には、図10および図11に示されるように、帯域制限画像処理部20は、入力画像In1から複数の帯域制限がされた差分画像IniDiff(ωj)を得る。ここで、iは1、2、4、…となる2の累乗に対応する整数値であり、後述するように画像の大きさをあらわす値である。また、周波数ωjは差分画像IniDiff(ωj)にふくまれる画素値の周波数と対応している。まず、帯域制限画像処理部20は、入力画像In1について、図10下部の括弧内に示されるように、バツ印により括られた2行2列のグループごとに画素を区切り、このグループ内の画素の画素値を相加平均(4つの画素値を足すとともに4によって除算)して得られた画素値を1つの画素の画素値に対応させることにより縮小画像In2(ω1)を取得する。ここで、入力画像In1はM行N列の画素の集まりであり、処理対象画像In(X線撮像画像)そのものである。また、In1の1は、In1の大きさが元の処理対象画像In(X線撮像画像)の大きさと等しい(1倍)であることを示している。また、縮小画像In2(ω1)は、4つの画素を1つの画素に対応させたことから、画像の大きさは縦横の幅がそれぞれ1/2倍となっており、M/2行N/2列の画素の集まりである。
ここで、画像に含まれる画素値の1つ1つがある画素値をもつが、ある一列に並んだ画素から取り出した画素値の増減は、周波数の異なる多数の正弦波の重ね合わせに対してある定数値を加えたものによって必ずあらわすことができる。たとえば、図10の画像内に示される一点鎖線で示された線の上にある画素は、点線によって示される枠線内の正弦波W1、W2およびW3のように、いくつかの正弦波の組によりあらわすことができる。また、正弦波W1、W2およびW3は、それぞれ周波数の大きさがω1、ω2およびω3となっている。正弦波W1は周波数の大きい(波長の短い)高周波であり、正弦波W2は次に周波数が大きく、正弦波W3が最も周波数が小さい。ただし、これらの正弦波のグラフは、画素および画素値が標本化および量子化されていることから、微視的には階段状の線の集まりで表されるグラフとなっている。また、画素値をあらわすための正弦波の数は、実際には3つよりも多い。また、横方向の画素値の列に限らず、縦方向の画素値の列も同様に、正弦波の重ねあわせによってあらわすことができる。
入力画像In1に含まれる2行2列のマトリクスに山と谷の両方が収まるような正弦波の成分は、2行2列の画素のグループを平均化する過程において、山の部分と谷の部分とが打ち消しあうことによって消えてしまう。これにより、図10に示されるように、縮小画像In2(ω1)では、高周波成分をもつ正弦波W1が消えている。なお、縮小画像In2(ω1)において、入力画像In1に含まれる各正弦波に対応する正弦波は、画像の幅のサイズが半分になったことに対応して周波数が2倍(波長が半分)となっている。
また、帯域制限画像処理部20は、縮小画像In2(ω1)の1つの画素を4つの画素に対応させることにより、M行N列の再拡大画像In1(ω1)を取得する。再拡大画像In1(ω1)は、2行2列に区切られたそれぞれグループに属する画素の画素値が等しくなっており、元の入力画像In1の同じ位置に属する画素の画素値の平均値に均されている。また、再拡大画像In1(ω1)では周波数ω1に対応する正弦波W1の成分が消えている。
次に、図11に示されるように、帯域制限画像処理部20は、入力画像In1の画素の画素値から、再拡大画像In1(ω1)の対応する位置の画素の画素値を差分して、差分画像In1Diff(ω1)を取得する。差分画像In1Diff(ω1)は、周波数ω1に対応する正弦波W1の成分のみが残る。
また、M/2行N/2列の縮小画像In2(ω1)に対して、画素を2行2列のグループに括り画素値を平均化して1つの画素に対応させることにより、M/4行N/4列の縮小画像In4(ω2)が取得される。この場合、上記と同様に、縮小画像In2(ω1)に含まれる2行2列のマトリクスに山と谷の両方が収まるような正弦波W2の成分は、山の部分と谷の部分とが打ち消しあうことによって消えてしまう。縮小画像In4(ω2)の1つの画素を4つの画素に対応させることにより、M/2行N/2列の再拡大画像In2(ω2)が取得される。縮小画像In2(ω1)の画素の画素値から、再拡大画像In2(ω2)の対応する位置の画素の画素値を差分して、差分画像In2Diff(ω2)が取得される。差分画像In2Diff(ω2)は、周波数ω2に対応する正弦波W2の成分のみが残る。なお、上記のように、縮小画像Ini(ωj)などに付された正数値iは、その画像の縦横の幅が入力画像In1の1/(2)^i倍となることを示している。また、縮小画像Ini(ωj)においては、iは2^jと一致し、再拡大画像Ini(ωj)および差分画像IniDiff(ωj)においては、iは2^(j−1)と一致する。なお、「a^b」は、aを指数bで累乗する計算をあらわしている。
上記処理を繰り返すことにより、周波数ω3、ω4、…に対応する正弦波成分のみをもつ差分画像IniDiff(ωj)を取得することができる。差分画像IniDiff(ωj)は、処理を繰り返すたびに縦横のサイズが1/2倍となる。したがって、帯域制限画像処理部20は、被写体Sの構造が読み取れる適当な周波数ωj(対応する画像のサイズ)まで差分画像IniDiff(ωj)を取得し、差分画像IniDiff(ωj)を取得する処理を打ち切る。また、得られた全ての差分画像IniDiff(ωj)と最小の差分画像IniDiff(ωj)を得るために用いた最小の縮小画像Ini(ωj)とを、適宜1つの画素を2行2列の画素に対応させ再拡大する処理を繰り返しM行N列の画像にサイズを合わせる処理を行うとともに、それぞれの画像の対応する位置の画素の画素値を統合する(足し合わせる)ことにより、元の入力画像In1と一致した画像を取得することができる。すなわち、複数の差分画像IniDiff(ωj)を得る処理は、入力画像In1を各周波数ωjの帯域に対応する正弦波の成分に周波数帯域が制限された複数の画像に分解して取得する処理に等しい。なお、入力画像In1から周波数ωjに正弦派成分の帯域制限がされた複数の差分画像IniDiff(ωj)を取得する処理は、特許請求の範囲の「入力画像に対して周波数解析を行い、特定の周波数を含む画像のみを取り出す帯域制限がされた複数の画像を周波数ごとに取得する」処理の一例である。また、差分画像IniDiff(ωj)のサイズを揃えて統合する処理は、特許請求の範囲の「周波数ごとに分けられた複数の画像を再び統合する周波数合成」処理の一例である。
さて、処理対象画像In(X線撮像画像)の画像の画素値に乗るノイズ成分の画素に占める範囲は、様々な大きさを持っている。このノイズ成分は、たとえば、ノイズ成分の占める範囲の大きさに合わせたサイズを持つ平滑化フィルタF(d)を用いることにより、サイズごとに得られた平滑化画像の画素値をさらに重み付け合成することによっても取得することができる。具体的には、3行3列のフィルタの組、5行5列のフィルタの組…、n行n列のフィルタの組と、平滑化フィルタF(d)のサイズを複数用意すればよい。ただし、平滑化フィルタF(d)のサイズは任意のサイズに大きくすることができるものの、サイズが大きくなるにつれて計算量が膨大となってしまう。
ここで、上記の処理によって得られた様々な差分画像IniDiff(ωj)に対して平滑化フィルタF(d)を用いることにより、差分画像IniDiff(ωj)がiに応じてサイズが小さくなる画像の集まりであるため、画像のサイズが小さくなることに対応してノイズ成分の占める範囲のサイズも小さくなる。また、全ての差分画像IniDiff(ωj)を再び統合することにより、元の入力画像In1に戻すことができる。これにより、同一のサイズの平滑化フィルタF(d)を差分画像IniDiff(ωj)に用いることによって、平滑化フィルタF(d)のサイズに応じたノイズが除去できるので、サイズの大きい差分画像IniDiff(ωj)から元の入力画像In1において小さな範囲を占めるノイズ成分を取り除くとともに、サイズの小さい差分画像IniDiff(ωj)から元の入力画像In1において大きな範囲を占めるノイズ成分を取り除くことができる。これにより、画像平滑化部21は、帯域制限画像処理部20から取得した差分画像IniDiff(ωj)のそれぞれにD枚の平滑化フィルタF(d)を用いることにより、周波数がωjに帯域制限されたD枚の平滑化画像Smooth(d)を周波数ωjの帯域ごとに取得する。
また、画素値差取得部22は、周波数ωjの帯域ごとに、処理対象画像Inとしての差分画像IniDiff(ωj)およびD枚の平滑化画像Smooth(d)に基づいて、正負が考慮されたD個の画素値差S(d)を取得する。また、合成重み取得部23は、周波数ωjの帯域ごとに、画素値差S(d)および画素値差の平均値AvrSに基づいて、D個の合成重みα(d)を取得する。また、合成画像取得部24は、周波数ωjの帯域ごとに、D枚の平滑化画像Smooth(d)およびD個の合成重みα(d)に基づいて、重み付け合成された合成画像Compを取得する。また、加算合成画像生成部25は、周波数ωjの帯域ごとに、処理対象画像Inとしての差分画像IniDiff(ωj)および合成画像Compに基づいて、重み付け加算合成された加算合成画像Outを取得する。この加算合成画像Outは、平滑化により差分画像IniDiff(ωj)から周波数ωjの帯域ごとのノイズ成分が除去された画像であり、差分画像IniDiff(ωj)と画像の縦横の幅のサイズが等しくなっている。
帯域制限画像処理部20は、周波数ωjの帯域ごとに取得された全ての加算合成画像Outとサイズが最小となる差分画像IniDiff(ωj)との画像サイズを揃えて、各位置の対応する画素の画素値から統合された出力画像Out1を取得する。画像サイズを揃える処理は、上記1つの画素を2行2列の等しい画素値を持つ画素に置き換えることにより画像の縦横幅を2倍にする処理を繰り返す処理である。また、統合された出力画像Out1を取得する処理は、対応する位置の画素の画素値を足し合わせる処理である。出力画像Out1は、元の画像である処理対象画像In(入力画像In1)の各周波数帯域に対応する正弦波成分ごとに平滑化処理がされ、占める範囲の大きさが様々なノイズ成分が適切に除去された画像である。
ここで、第2実施形態による画像処理装置200は、X線撮像装置101から送出される画像データを入力画像In1(処理対象画像In)として取得する。また、画像処理装置300の備える画像処理部2は、上記のように、処理対象画像Inを周波数ωjごとに帯域制限することにより得られた差分画像IniDiff(ωj)または最小の縮小画像Ini(ωj)を処理対象画像Inの周波数ωjに帯域制限がされた画像として取得する。また、画像処理装置300の備える画像処理部2は、取得された周波数ωjに帯域制限がされたそれぞれの画像に対して、合成重み取得処理を含む加算合成画像生成処理を行い、それぞれの画像から取得される複数の平滑化画像Smooth(d)に正負が考慮された画素値差S(d)に基づいて重み付け合成が行われた周波数ωj成分に対応する合成画像Compを取得するとともに、周波数ωjに帯域制限がされた処理対象画像Inと合成画像Compを加算合成して加算合成画像Outを取得する。また、画像処理部2は、周波数ωjに帯域制限がされた加算合成画像Outをすべてのωjにわたって重ね合わせる(足し合わせる)ことにより周波数合成を行い、統合された出力画像Out1を取得する。
(帯域別加算合成画像生成・統合処理)
以下では、図12に基づいて、帯域別加算合成画像生成・統合処理の流れを、フローチャートを用いて説明する。
以下では、図12に基づいて、帯域別加算合成画像生成・統合処理の流れを、フローチャートを用いて説明する。
まず、帯域別加算合成画像生成・統合処理が開始されると、ステップS21に進む。ステップS21では、処理対象画像Inである入力画像In1に周波数解析を行い、画素値に所定の周波数ωjの帯域に対応する周波数成分のみを含む差分画像IniDiff(ωj)をωjごとに取得し、ステップS22に進む。
ステップS22では、画素値に周波数ωjの帯域に対応する周波数成分のみを含む差分画像IniDiff(ωj)に加算合成画像生成処理を行うことにより、画素値として周波数ωjに対応する帯域の周波数成分のみを含む加算合成画像Outを取得し、ステップS23に進む。なお、加算合成画像生成処理を行う過程において、差分画像IniDiff(ωj)ごとにノイズ成分が平滑化されるので、周波数ωjのそれぞれの帯域ごとにノイズ成分を取り除くことができる。なお、第2実施形態による加算合成画像生成処理および加算合成画像生成処理の中において実行される合成重み取得処理は、第1実施形態による加算合成画像生成処理および加算合成画像生成処理の中において実行される合成重み取得処理と同一の処理である。
ステップS23では、取得された加算合成画像Outおよび最小サイズの差分画像IniDiff(ωj)のサイズを揃え、全ての周波数ωjの帯域にわたって合成することにより、統合された加算合成画像を取得し、帯域別加算合成画像生成・統合処理を終了する。
なお、第2実施形態において、上記第1実施形態と共通する構成には、同一の符号を使用するとともに説明を省略した。
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、上記第1形態と同様に、対応する位置の画素において、処理対象画像Inに対して取得された複数の平滑化画像Smooth(d)の各画素の画素値に対して、処理対象画像Inの画素の画素値との正負が考慮された複数の画素値差S(d)に基づいて重み付け合成を行うことにより合成画像Compを取得する合成重み取得部23を設ける。これにより、適切に平滑化画像Smooth(d)を重み付け合成し、適切に平滑化された合成画像Compを取得することができる。
また、第2実施形態では、上記のように、処理対象画像Inである入力画像In1に対して周波数解析を行い、特定の周波数ωjを含む差分画像IniDiff(ωj)のみを取り出す帯域制限がされた複数の差分画像IniDiff(ωj)を周波数ωjごとに取得するとともに、周波数ωjごとに分けられた複数の差分画像IniDiff(ωj)を再び統合する周波数合成を行い、周波数合成された出力画像Out1を取得する帯域制限画像処理部20を設ける。これにより、処理対象画像Inに含まれる周波数ωjに対応する正弦波成分ごとに複数の平滑化画像Smooth(d)を取得し、複数の平滑化画像Smooth(d)の対応する位置の各画素の画素値を正負が考慮された複数の画素値差S(d)に基づいて重み付け合成し、合成画像Compを取得することにより、周波数ωjの帯域ごとにノイズ成分を平滑化することができる。その結果、処理対象画像Inに映りこんだ被写体Sの構造の境界線のボケ(ぼやけ)を抑制しつつ、より効果的にノイズ成分が平滑化された周波数ωjごとのSmooth(d)に対して重み付け合成を行うことができる。また、得られた合成画像Compと処理対象画像Inとを加算合成して得られる加算合成画像Outを全ての周波数ωjにわたって統合することにより、元の処理対象画像Inから周波数ωjごとに適切に平滑化された画像である出力画像Out1を取得することができる。
なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
[第3実施形態]
次に、図13を参照して、本発明の第3実施形態による画像処理装置300の全体構成について説明する。第3実施形態では、図13に示すように、上記第1実施形態とは異なり、画像処理装置300を低照度カメラ301に用いる。なお、上記第1実施形態と同様の構成については同様の符号を付し、説明を省略する。
次に、図13を参照して、本発明の第3実施形態による画像処理装置300の全体構成について説明する。第3実施形態では、図13に示すように、上記第1実施形態とは異なり、画像処理装置300を低照度カメラ301に用いる。なお、上記第1実施形態と同様の構成については同様の符号を付し、説明を省略する。
第3実施形態では、撮像光学系81と、撮像素子82とを含む撮像部8を備える低照度カメラ301に、画像処理装置300が接続されている。また、画像処理装置300は、操作部6および表示部7に接続されている。
撮像光学系81は、外部から入射した光を光学的に調整して、入射光として撮像素子82に送出する。撮像素子82は、増幅光を電気信号に変換し、画像データとして画像処理装置300に送出する。なお、撮像光学系81は、1枚または複数枚のレンズの組み合わせで構成されている。また、撮像素子82は、たとえば、CCD(Charge Coupled Devices;電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)イメージセンサなどによって構成されている。なお、撮像素子82を冷却CCDイメージセンサまたは冷却CMOSイメージセンサとしてもよい。
低照度カメラ301で撮像は、光量の少ない状態で高解像度の画像を取得するために、画素の画素値にノイズ成分が発生しやすい。したがって、画素値にノイズ成分が乗った場合にも、適切に平滑化を行う必要がある。なお、低照度カメラ301は、入射光の光量のみならず波長まで取得できるように構成されており、X線撮像装置101の場合と異なり、画像の画素の画素値には輝度とともに色度も含まれる。色度についても輝度と同じ処理によって平滑化ができるので、輝度と色度とは、それぞれ個別に平滑化処理をしてノイズ成分を低減させることができる。
ここで、第3実施形態による画像処理装置300は、低照度カメラ301から送出される画像データを処理対象画像Inとして取得する。また、画像処理装置300の備える画像処理部2は、取得された処理対象画像Inに対して、合成重み取得処理を含む加算合成画像生成処理を行い、処理対象画像Inから取得される複数の平滑化画像Smooth(d)に正負が考慮された画素値差S(d)に基づいて重み付け合成を行い合成画像Compを取得するとともに、処理対象画像Inと合成画像Compとを加算合成して加算合成画像Outを取得する。
(第3実施形態の効果)
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、上記第1形態と同様に、対応する位置の画素において、複数の平滑化画像Smooth(d)の各画素の画素値に対して、処理対象画像Inの画素の画素値との正負が考慮された複数の画素値差S(d)に基づいて重み付け合成を行うことにより合成画像Compを取得する合成重み取得部23を設ける。これにより、適切に平滑化画像Smooth(d)を重み付け合成し、適切に平滑化された合成画像Compを取得することができる。その結果、低照度カメラ301で撮像された処理対象画像Inの画素の画素値にノイズ成分が生じた場合にも、処理対象画像Inから取得される平滑化画像Smooth(d)に対して適切に重み付けを行うことにより、適切に平滑化して画像の合成を行うことができる。
なお、第3実施形態のその他の構成および効果は、上記第1実施形態と同様である。
(変形例)
今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1〜第3実施形態において、画像処理部2が、数式(1)〜数式(8)によってあらわされる計算を個別に実行するによって加算合成画像Outを取得するように構成されている例を示したが、本発明はこれに限られない。本発明では、画像処理部2は、複数の数式を1つの数式にまとめて計算してもよい。たとえば、数式(5)と数式(6)をまとめた次の数式(9)の計算をすることで加算合成画像を取得してもよい。この場合、加算合成画像生成処理のステップS5およびS7を1つのステップにまとめた構成であり、合成画像Compの取得を省略する構成となっている。
なお、上記数式(9)の場合のβは、処理対象画像Inと平滑化画像Smooth(d)とを引数とする関数Βから取得されるように変更する。
また、画像処理部2は、数式(1)〜(8)の計算結果を、あらかじめ計算が実行された結果として記憶部3に記憶されたデータから読み出すことで取得してもよい。すなわち、LUT(Lookup Table)などを用いて、計算処理を適宜参照処理に置き換えた構成にしてもよい。
また、上記第1〜第3実施形態において、画像処理部2が、処理対象画像Inと合成画像Compとを重み付けして加算合成することにより加算合成画像Outを取得するように構成されている例を示したが、本発明はこれに限られない。本発明では、画像処理部2は、合成画像Compを取得した時点で処理対象画像Inの平滑化が達成されたとして、合成画像Compをそのまま処理済み画像として取得する構成にしてもよい。
また、上記第1〜第3実施形態において、平滑化の方向が最も適切であると考えられる平滑化画像Smoothに対応する合成重みα(d)を1として、その他の方向の平滑化画像Smoothに対応する合成重みα(d)を0とするように構成したが、本発明はこれに限られない。本発明では、複数の合成重みα(d)に、合計が1となるように値を分配してもよい。具体的には、たとえば、画素値差の平均値AvrSが負である場合に、画素値差S(d)が最も大きくなる平滑化画像Smooth(d)に対応する合成重みを2/3とし、2番目に大きくなる平滑化画像Smooth(d)に対応する合成重みを1/3としてもよい。
また、合成重みα(d)を取得するその他の構成として、図14に示される関数によって、画素値差S(d)と合成重みα(d)を与える関数Α(S(d),AvrS)とを対応付けることができる。図14の関数は、画素値差の平均AvrSが負となる場合に対応している。画素値差の平均AvrSが負となる場合は、画素値差S(d)が正の方向に大きい値となるほど、平滑化が上手く機能した0値に近いピークと近い方向に平滑化されていると考えられる。したがって、画素値差S(d)正の方向に大きい値となる平滑化画像に対応する合成重みα(d)ほど、値を大きくする必要がある。
数式(4)において関数Αにかけられる規格化定数kは正の実数値であるとすると、α(d)の関数の形とΑの関数の形は略同一視できるため、以下では関数Αについて説明する。図14(1)に示される関数Αは、階段関数であり、画素値差S(d)が増加するにつれて、ある閾値を境に0から正の定数値に切り替わる関数である。この階段関数を用いることにより、画素値差S(d)がある閾値を以上となる場合にのみ合成重みα(d)がある正の値となり、画素値差S(d)がある閾値未満となる場合には合成重みα(d)が0となるように構成することができる。
図14(2)に示される関数Αは、線形関数であり、画素値差S(d)が増加するにつれて、一定の増加率で滑らかに増加する(比例する)関数である。この線形関数を用いることにより、画素値差S(d)増加するにつれてα(d)が滑らかに増加するように構成することができる。
図14(3)に示される関数Αは、変曲点を持つロジスティック関数であり、画素値差S(d)が小さく変曲点の位置から負値側(左側)に十分に遠いときには0に漸近し、画素値差S(d)が増加するにつれて増加率が大きくなるように増加し、変曲点(閾値)の位置で最大の増加率となるとともに増加率が減少に転じ、画素値差S(d)が大きく変曲点の位置から正値側(右側)に十分に遠いときには正の定数値に漸近する関数である。このロジスティック関数は、階段関数と線形関数との中間の性質を持っている。すなわち、変曲点(閾値)から十分に遠い位置では階段関数のように合成重みα(d)をある正の定数値と0値とに振り分けるとともに、変曲点に近い位置では、滑らかにα(d)を増減させる関数である。
したがって、このロジスティック関数を用いることにより、画素値差S(d)が十分大きい場合には合成重みα(d)がある正の値となり、画素値差S(d)が十分小さい場合には合成重みα(d)が0となり、画素値差S(d)が中間の値の場合には合成重みα(d)が滑らかに変化するように構成することができる。ロジスティック関数は、階段関数とは異なり、画素値差S(d)が閾値を超えるか否かによって合成重みα(d)が急激に変わることがないので、滑らかに重み付け合成を行うことができる。また、ロジスティック関数は、画素値差S(d)に比例して重み付けする線形関数とは異なり、画素値差S(d)が十分に大きい平滑化画像に対応する合成重みα(d)を大きく重み付けし、画素値差S(d)が十分に小さい平滑化画像に対応する合成重みα(d)を略0にするので、メリハリのある合成画像Compが得られる。
また、画素値差の平均値AvrSが正である場合は、画素値差S(d)が正負を考慮して小さい値(負の方向に大きい値)となるほど、平滑化が上手く機能した0値に近いピークと近い方向に平滑化がなされていると考えられるため、画素値差S(d)が正負を考慮して小さい値となる平滑化画像に対応する合成重みα(d)ほど、値を大きくする必要がある。この場合、図14の関数は、原点を中心に左右反転した関数とすればよい。
なお、階段関数の閾値およびロジスティック関数の変曲点の位置は、図14においては、S(d)が0となる位置よりも負側(左側)にくるように構成したが、S(d)が0となる位置と一致するように構成してもよいし、S(d)が0となる位置よりも正側(右側)にくるように構成してもよい。また、関数Αはその他の関数でもよい。各合成重みα(d)の合計が1となるように関数Αに規格化定数kをかけることにより、関数Αを介して、画素値差S(d)と画素値差の平均値AvrSとに基づいて合成重みα(d)を取得することができる。
ここで、加算重みβを与える関数Βに対しても、図15に示されるように、上記と同様の階段関数、線形関数またはロジスティック関数を用いることができる。具体的には、対応する位置における処理対象画像Inと合成画像Compの画素の画素値との差の絶対値が大きいほど、合成画像Compは、平滑化によって処理対象画像Inから歪んでしまっていると考えられる。したがって、処理対象画像Inと合成画像Compの画素の画素値との差の絶対値が小さい場合には合成画像Compを大きく重み付け加算し、処理対象画像Inと合成画像Compの画素の画素値との差の絶対値が大きい場合には処理対象画像Inを大きく重み付け加算することで、平滑化の結果である合成画像Compの結果を処理対象画像Inに対してフィードバックすることができる。関数の性質については図14に示される合成重みα(d)の場合と同様であるので、省略する。なお、図15における関数は、図14における関数と左右反転した形となっている。
また、第1〜第3実施形態では、平滑化フィルタF(d)を、注目位置の画素の画素値と注目位置を中心として伸びる1本の線分方向にある画素の画素値との間において平滑化を行うように構成したが、本発明はこれに限られない。本発明では、注目位置の画素の画素値と注目位置を中心として異なる方向に伸びる2本の線分上に位置する画素の画素値との間において平滑化を行う平滑化フィルタF(d)を含むように構成してもよい。この場合、平滑化フィルタF(d)は、注目位置を角とする被写体Sの折れ線構造の平滑化に対応する。また、注目位置の画素の画素値と注目位置をから伸びる曲線の上に位置する画素の画素値との間において平滑化を行う平滑化フィルタF(d)を含むように構成してもよい。この場合、平滑化フィルタF(d)は、注目位置を通る被写体Sの曲線構造の平滑化に対応する。また、特定の方向に寄らず平滑化する等方向性の平滑化フィルタF(d)を含むように構成してもよい。また、平滑化フィルタF(d)に含まれる各係数は、注目位置からの距離によらず一定となるように構成したが、注目位置に近い位置に来る画素の画素値をより重視して(大きく重み付けして)平滑化するように構成してもよい。また、平滑化フィルタF(d)の形状は、n行n列の正方形フィルタに限らず、m行n列の長方形フィルタや円形フィルタなどでもよい。
また、上記第1〜第3実施形態では、画像処理装置100、200および300をPCによって構成する例を示したが、本発明はこれに限られない。本発明では、画像処理装置100、200および300を、ボードに取り付けられた電子部品(CPUなどの半導体)の集まりによって構成してもよい。この場合、X線撮像装置101や低照度カメラ301にカートリッジ状にしたボード組み込む構成にしてもよいし、ボードとX線撮像装置101または低照度カメラ301とを有線または無線で繋いで取り付ける構成にしてもよい。
また、上記第2実施形態では、帯域制限画像処理部20による周波数解析および周波数合成を、入力画像In1に対して、2行2列の4つの画素の画素値の平均値を1つの画素の画素値に対応させる処理、1つの画素の画素値を2行2列の4つの画素の画素値に対応させる処理およびそれらの差分を取る処理の組み合わせで行ういわゆるラプラシアンピラミッドの処理で構成されている例を示したが、本発明はこれに限られない。本発明では、帯域制限画像処理部20による周波数解析および周波数合成を、たとえば、ウェーブレット変換によって入力画像In1の帯域を制限し、画像を周波数ごとに分解し、再び統合するように構成してもよい。なお、ウェーブレット変換は、ある所定の範囲にのみ振動する部分を持つ波束(短い波の塊)の組によって画像の画素値を分解する処理である。
また、上記第3実施形態では、第1実施形態と同じ構成の画像処理装置300を低照度カメラ301に用いる例を示したが、本発明はこれに限られない。第3実施形態による画像処理装置300に第2実施形態と同じ帯域制限画像処理部20を設けてもよい。この場合、帯域制限画像処理部20は、低照度カメラ301から取得した画像に対して周波数ωjに対応する正弦波成分ごとにノイズを除去して平滑化し、ノイズが除去された画像を統合して出力画像Out1を取得する。また、画像処理装置300を、低照度カメラ301に限らず、画像を画像データ(画素ごとの画素値)として取得するカメラに広く用いてもよい。また、撮像光学系81と撮像素子82との間に、撮像光学系81から入射した光を増幅して撮像素子82に向けて送出する増幅部を設けてもよい。増幅部は、たとえば、イメージインテンシファイアにより構成されている。
また、上記第1〜第3実施形態では、説明の便宜上、加算合成画像生成処理および合成重み取得処理を「フロー駆動型」のフローチャートを用いて説明したが、本発明はこれに限られない。加算合成画像生成処理および合成重み取得処理をイベント単位で実行する「イベント駆動型」により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。また、第2実施形態で示された帯域別加算合成画像取得・統合処理についても同様に、フロー駆動型またはイベント駆動型、および、その組み合わせによって行うように構成してもよい。
20 帯域制限画像処理部
21 画像平滑化部
22 画素値差取得部
23 合成重み取得部
24 合成画像取得部
25 加算合成画像生成部
100、200,300 画像処理装置
21 画像平滑化部
22 画素値差取得部
23 合成重み取得部
24 合成画像取得部
25 加算合成画像生成部
100、200,300 画像処理装置
Claims (6)
- 処理対象画像の各画素に対して、ノイズ成分を平滑化するための互いに異なる複数の平滑化フィルタを用いて、前記処理対象画像の各画素の輝度または色度に対応する画素値から複数の平滑化画像の各画素の画素値を取得する画像平滑化部と、
前記処理対象画像の各画素の画素値と複数の前記平滑化画像の対応する位置における各画素の画素値との間において、各画素の輝度または色度に対応する複数の画素値の正負が考慮された差である画素値差を複数の前記平滑化フィルタごとに取得する画素値差取得部と、
複数の前記画素値差に基づいて、複数の前記平滑化画像の各画素の画素値を合成する際の重み付けに用いる合成重みを取得する合成重み取得部と、
複数の前記平滑化画像の各画素に対して、前記合成重みに基づいて重み付け合成を行い合成画像を取得する合成画像取得部とを備える、画像処理装置。 - 前記合成重み取得部は、正負が考慮された複数の前記画素値差の平均値を取得するとともに、複数の前記画素値差と前記画素値差の平均値とに基づいて各画素に対応した複数の前記合成重みを取得するように構成されている、請求項1に記載の画像処理装置。
- 前記合成重み取得部は、負から正に向かって画素値差が大きくなると判断される指標において、各画素に対して、前記画素値差の平均値が正である場合には、複数の前記画素値差のうち、小さい前記画素値差に対応する前記平滑化画像の前記合成重みを大きくする制御を行うとともに、前記画素値差の平均値が負である場合には、複数の前記画素値差のうち、大きい前記画素値差に対応する前記平滑化画像の前記合成重みを大きくする制御を行うように構成されている、請求項2に記載の画像処理装置。
- 各画素に対して、前記処理対象画像の各画素の画素値と前記合成画像の対応する位置における各画素の画素値とを重み付け加算して合成を行い、加算合成画像の取得を行う加算合成画像生成部をさらに備える、請求項1に記載の画像処理装置。
- 前記加算合成画像生成部は、前記重み付け加算を行う場合に、前記処理対象画像の各画素の画素値と前記合成画像の対応する位置における各画素の画素値とに基づいて各画素に対応した加算重みを取得し、前記加算重みに基づいて前記加算合成画像を取得するように構成されている、請求項4に記載の画像処理装置。
- 入力画像に対して周波数解析を行い、特定の周波数を含む画像のみを取り出す帯域制限がされた複数の画像を周波数ごとに取得するとともに、周波数ごとに分けられた複数の画像を再び統合する周波数合成を行い、周波数合成された出力画像を取得する帯域制限画像処理部をさらに備え、
前記帯域制限画像処理部は、前記入力画像として前記処理対象画像に対する周波数解析を行い、帯域制限がされた前記処理対象画像を取得し、帯域制限がされるとともに各画素に対して正負が考慮された前記画素値差に基づいて前記重み付け合成がされた前記合成画像を取得し、帯域制限および前記重み付け合成がされた前記合成画像に基づいて画像に対する周波数合成を行い、前記出力画像を取得するように構成されている、請求項1に記載の画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/077779 WO2018055684A1 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018055684A1 JPWO2018055684A1 (ja) | 2019-06-24 |
JP6597912B2 true JP6597912B2 (ja) | 2019-10-30 |
Family
ID=61690799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018540526A Active JP6597912B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10853920B2 (ja) |
EP (1) | EP3518178A4 (ja) |
JP (1) | JP6597912B2 (ja) |
CN (1) | CN109716387B (ja) |
TW (1) | TWI639976B (ja) |
WO (1) | WO2018055684A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6896177B2 (ja) * | 2018-08-10 | 2021-06-30 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
JP6860538B2 (ja) * | 2018-09-26 | 2021-04-14 | キヤノン株式会社 | 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム |
US10764471B1 (en) * | 2019-09-27 | 2020-09-01 | Konica Minolta Business Solutions U.S.A., Inc. | Customized grayscale conversion in color form processing for text recognition in OCR |
WO2022206880A1 (zh) * | 2021-04-01 | 2022-10-06 | 快展有限公司 | 枕头高度调节方法、装置、计算机设备和存储介质 |
CN113040578A (zh) * | 2021-04-01 | 2021-06-29 | 快展有限公司 | 枕头高度调节方法、装置、计算机设备和存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5526446A (en) * | 1991-09-24 | 1996-06-11 | Massachusetts Institute Of Technology | Noise reduction system |
JP3472596B2 (ja) | 1993-06-11 | 2003-12-02 | 株式会社日立製作所 | ノイズ低減フィルター |
US5602934A (en) | 1993-09-08 | 1997-02-11 | The Regents Of The University Of California | Adaptive digital image signal filtering |
US6771793B1 (en) | 1999-02-17 | 2004-08-03 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP4244094B2 (ja) | 1999-02-17 | 2009-03-25 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
JP4567733B2 (ja) * | 2004-07-20 | 2010-10-20 | クゥアルコム・インコーポレイテッド | 動きベクトル処理のための方法及び装置 |
WO2009072208A1 (ja) * | 2007-12-06 | 2009-06-11 | Fujitsu Limited | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP4727720B2 (ja) * | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
JP5197414B2 (ja) * | 2009-02-02 | 2013-05-15 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
US8411321B2 (en) * | 2009-09-09 | 2013-04-02 | Seiko Epson Corporation | Printing apparatus, layout adjustment method, program and recording medium |
JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP5633550B2 (ja) * | 2012-09-05 | 2014-12-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5971089B2 (ja) * | 2012-11-14 | 2016-08-17 | 富士通株式会社 | 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム |
CN104123699A (zh) | 2013-04-26 | 2014-10-29 | 富士通株式会社 | 降低图像噪声的方法和装置 |
TWI537875B (zh) * | 2015-04-08 | 2016-06-11 | 大同大學 | 影像合成方法與影像處理裝置 |
-
2016
- 2016-09-21 WO PCT/JP2016/077779 patent/WO2018055684A1/ja unknown
- 2016-09-21 JP JP2018540526A patent/JP6597912B2/ja active Active
- 2016-09-21 EP EP16916755.8A patent/EP3518178A4/en not_active Withdrawn
- 2016-09-21 CN CN201680089394.XA patent/CN109716387B/zh active Active
- 2016-09-21 US US16/335,000 patent/US10853920B2/en active Active
-
2017
- 2017-08-23 TW TW106128502A patent/TWI639976B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP3518178A1 (en) | 2019-07-31 |
US10853920B2 (en) | 2020-12-01 |
CN109716387B (zh) | 2023-05-23 |
US20190266709A1 (en) | 2019-08-29 |
CN109716387A (zh) | 2019-05-03 |
TW201814651A (zh) | 2018-04-16 |
WO2018055684A1 (ja) | 2018-03-29 |
JPWO2018055684A1 (ja) | 2019-06-24 |
EP3518178A4 (en) | 2020-03-04 |
TWI639976B (zh) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6597912B2 (ja) | 画像処理装置 | |
US11805333B2 (en) | Noise aware edge enhancement | |
US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
US10672112B2 (en) | Method and system for real-time noise removal and image enhancement of high-dynamic range images | |
JP5315157B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
TWI330036B (en) | Apparatus for sharpening an image, and method thereof | |
US20150009355A1 (en) | Motion adaptive cmos imaging system | |
EP2740101B1 (en) | Local area contrast enhancement | |
JP2008165312A (ja) | 画像処理装置及び画像処理方法 | |
JP2011041089A5 (ja) | ||
US20170000443A1 (en) | Image processing apparatus, image processing method, and image processing system | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP4179849B2 (ja) | 同じ被検体や背景の複数の画像を共通の基準画像に対してコントラスト・マッチングさせる方法 | |
US8942477B2 (en) | Image processing apparatus, image processing method, and program | |
US10217193B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program | |
US20130308841A1 (en) | Method and apparatus for image processing | |
Al-Ameen et al. | Fast and Efficient Algorithm for Contrast Enhancement of Color Images. | |
EP3244367B1 (en) | Image-acquisition apparatus | |
US11647298B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US10917590B2 (en) | Imaging control device, imaging apparatus, and imaging control method | |
US9531922B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness | |
JP2011114671A (ja) | 画像処理装置およびその方法、並びに撮像装置 | |
JP2020107097A (ja) | 遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラム | |
WO2016189601A1 (ja) | 画像処理装置および画像処理プログラム | |
JP2009077273A (ja) | 撮像装置の画像処理方法および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6597912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |