JPWO2015115168A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JPWO2015115168A1 JPWO2015115168A1 JP2015559850A JP2015559850A JPWO2015115168A1 JP WO2015115168 A1 JPWO2015115168 A1 JP WO2015115168A1 JP 2015559850 A JP2015559850 A JP 2015559850A JP 2015559850 A JP2015559850 A JP 2015559850A JP WO2015115168 A1 JPWO2015115168 A1 JP WO2015115168A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- value
- similarity
- resolution pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 302
- 238000004364 calculation method Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims description 158
- 238000012986 modification Methods 0.000 description 50
- 230000004048 modification Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 22
- 238000003672 processing method Methods 0.000 description 20
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
Abstract
低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現する。画像処理装置(100)において、振幅推定部(1)は、入力画像信号が、低解像度パターンPtnLと類似するように、局所領域における倍率aを算出する。類似度算出部(2)は、低解像度パターンPtnLと類似する画素位置において、大きな値の類似度sを出力する。FIRフィルタ部(4)は、FIRフィルタ係数を差分パターンPtnDiffにより設定し、倍率aと類似度sとの積を入力として、FIRフィルタ処理を行うことで、高域成分ΔDを取得する。そして、加算部(5)により、入力画像Dinに、高域成分ΔDが加算されることで、高精細な出力画像Doutを取得する。
Description
本発明は、画像処理技術に関し、例えば、アップスケール処理が実行された画像において、ディテール部分を適切に改善する技術に関する。
一般に、SD(Standard Definition)画質等の低解像度の画像(映像)は、HD(High Definition)画質等の高解像度の画像(映像)を表示する高解像度ディスプレイに表示される場合、入力画像(映像)をディスプレイ全体に表示させるために、入力画像(映像)を引き延ばす(拡大)するアップスケールという処理(アップスケール処理)がなされる。しかし、アップスケール処理を実行しただけの画像(映像)を、そのまめ、高解像度ディスプレイに表示させると、真のHD画質の画像(映像)に比べて、ぼけた印象の画像(映像)として表示される。このため、SD画質等の低解像度の画像(映像)をアップスケールした場合、アップスケール処理後の画像(映像)に対して、画像を鮮鋭化する処理(画像先鋭化処理)が実行されることがある。
一般的に、アップスケール処理等により失われた画像のディテール部分を再現させるためには、高周波成分を補う必要がある。
例えば、特許文献1(特許第5281690号公報)に開示されている技術では、入力画像信号に対して、高周波成分を抽出し、抽出した高周波成分に対してリミット処理を行い、リミット処理後の高周波成分を、入力画像信号に加算させる。これにより、特許文献1に開示されている技術では、入力画像信号の高域成分を強調した信号を取得することができる。
しかしながら、特許文献1に開示されている技術では、元の信号(入力画像信号)に含まれている高周波成分を強調して処理を行っているに過ぎないので、適切に画像先鋭化処理を実行することができない場合がある。
例えば、低解像度の画像をアップスケールした場合、髪の毛などのように、線の細い部分(画像領域)が太くなってしまう。このような画像(画像信号)に対して、従来技術のように、当該画像(画像信号)に含まれている高周波成分を強調しても、太くなってしまった線等は、太くなったまま強調される(例えば、輪郭がはっきりするように強調される)だけであり、アップスケール前の細い線に再現させることは困難である。
つまり、従来の技術では、元の信号(入力画像信号)に含まれている高周波成分を強調して処理を行っているに過ぎないので、元の信号(入力画像信号)に含まれている信号帯域以上の成分を強調する処理や、アップスケール処理によって太くなってしまった線を、元の細い線に再現させることは困難である。また、従来の技術では、入力画像信号に、当該画像信号に含まれている高周波成分を加算する処理が実行されるので、振幅の大きな入力画像信号に対して、ノイズを不必要に強調したり、また、振幅の大きな入力画像信号に対して、過剰にオーバーシュートが発生したりするという問題点もある。
そこで、本発明は、上記問題点に鑑み、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することを目的とする。
上記課題を解決するために、第1の構成は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、FIRフィルタ部と、加算部と、を備える。
振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理して取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率aを取得する。
類似度算出部は、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が少ない程、処理対象画素の類似度値を、調整後低解像度パターンデータ列と画素データ列との類似の程度が高いことを示す値に設定する。
乗算部は、処理対象ごとに、倍率aと類似度とを乗算する。
FIRフィルタ部は、低解像度パターンデータ列から高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、処理対象画素ごとに、乗算部により取得された倍率aと類似度との乗算値に対して、FIRフィルタ処理を実行することで、処理対象画素の高域成分データΔDを取得する。
加算部は、処理対象画素ごとに、当該処理対象画素の画素データと、FIRフィルタ処理により取得された処理対象画素の高域成分データΔDとを加算する。
本発明によれば、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することができる。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:画像処理システムの構成>
図1は、第1実施形態に係る画像処理システム1000の概略構成図である。
図1は、第1実施形態に係る画像処理システム1000の概略構成図である。
画像処理システム1000は、図1に示すように、画像処理部(画像処理装置)100と、パターン生成部200とを備える。
画像処理部100は、図1に示すように、振幅推定部1と、類似度算出部2と、乗算部3と、FIRフィルタ部4と、加算部5と、を備える。
振幅推定部1は、入力画像(入力画像信号)Dinと、パターン生成部200から出力される低解像度パターン信号PtnLと、を入力する。振幅推定部1は、入力画像信号Dinと低解像度パターン信号PtnLとに基づいて、振幅推定値aを取得し、取得した推定振幅値a(推定振幅値aを示す信号)を、乗算部3に出力する。
類似度算出部2は、入力画像(入力画像信号)Dinと、パターン生成部200から出力される低解像度パターン信号PtnLと、を入力する。類似度算出部2は、入力画像信号Dinと低解像度パターン信号PtnLとに基づいて、類似度値sを取得し、取得した類似度値s(類似度値sを示す信号)を、乗算部3に出力する。
乗算部3は、振幅推定部1から出力される推定振幅値a(推定振幅値信号a)と、類似度算出部2から出力される類似度値s(類似度値信号s)とを入力する。乗算部は、入力された推定振幅値a(推定振幅値信号a)と類似度値s(類似度値信号s)とを乗算し、乗算処理により取得された信号をFIRフィルタ部4に出力する。
FIRフィルタ部4は、パターン生成部200から出力される差分パターン信号PtnDiffと、乗算部3から出力される、推定振幅値a(推定振幅値信号a)と類似度値s(類似度値信号s)との乗算結果信号と、を入力する。FIRフィルタ部4は、差分パターン信号PtnDiffに基づいて、FIRフィルタのフィルタ係数を設定し、乗算部3から出力される信号(乗算結果信号)に対して、FIRフィルタ処理を実行する。そして、FIRフィルタ部4は、FIRフィルタ処理後の信号を、差分信号ΔDとして、加算部5に出力する。
加算部5は、入力画像(入力画像信号)Dinと、FIRフィルタ部4から出力される差分信号ΔDと、を入力する。そして、加算部5は、入力画像信号Dinと、差分信号ΔDとを加算し、当該加算処理により取得された信号を、画像信号Doutとして、出力する。
パターン生成部200は、図1に示すように、ダウンスケール処理部201と、アップスケール処理部202と、減算部23とを備える。
ダウンスケール処理部201は、高解像度パターン信号PtnHを入力とし、入力された高解像度パターン信号PtnHに対して、ダウンスケール処理を実行する。そして、ダウンスケール処理部201は、ダウンスケール処理後の信号をアップスケール処理部202に出力する。
アップスケール処理部202は、ダウンスケール処理部201から出力される信号を入力とし、入力された信号に対して、アップスケール処理を実行する。そして、アップスケール処理部202は、アップ処理後の信号を、低解像度パターン信号PtnLとして、画像処理部100の振幅推定部1および類似度算出部2に出力する。また、アップスケール処理部202は、低解像度パターン信号PtnLを減算部23にも出力する。
減算部23は、高解像度パターン信号PtnHと、アップスケール処理部202から出力される低解像度パターン信号PtnLとを入力とし、低解像度パターン信号PtnLから高解像度パターン信号PtnHを減算する処理を行う。そして、減算部23は、当該減算処理により取得された信号を、差分パターン信号PtnDiffとして、画像処理部100のFIRフィルタ部4に出力する。
<1.2:解像度推定装置の動作>
以上のように構成された画像処理システム1000の動作について、以下、説明する。
以上のように構成された画像処理システム1000の動作について、以下、説明する。
まず、本発明の原理を説明するため、高解像度画像(例えば、HD映像)が一度ダウンスケールされて、再びアップスケールされた画像(映像)を例に、線を細く表現するための原理について、図2を用いて説明する。
図2は、細線化処理の原理を説明するための図である。なお、図2では、説明を簡単にするため、2次元画像の1次元軸(例えば、水平軸)上のデータを抽出し、1次元データとして図示している。
図2では、画像信号A〜Dを、横軸を1次元軸(例えば、水平軸)の座標位置とし、縦軸を画素値(例えば、輝度値)として、描いている。
図2に示すように、画像信号Aは、例えば、1次元軸(例えば、水平軸)方向の線幅w1の(当該1次元軸方向と直交する方向に延びる)線(例えば、垂直軸方向に延びる線)に相当する画像を形成する画像信号である。
画像信号Bは、画像信号Aに対してダウンスケール処理(例えば、デシメート処理および平滑化処理)を実行した後の画像信号である。
画像信号Cは、画像信号Bに対して、アップスケール処理(例えば、インターポーレート処理および平滑化処理)を実行した後の画像信号である。つまり、画像信号Cは、真のHD画質の画像信号Aが、一度ダウンスケールされて画像信号Bとなり、その画像信号Bを、再び、アップスケールされた後の画像信号である。
画像信号Dは、画像信号Aから画像信号Cを減算して取得された差分信号である。すなわち、
(画像信号D)=(画像信号A)―(画像信号C)
である。
(画像信号D)=(画像信号A)―(画像信号C)
である。
図2から分かるように、画像信号Aにおいて、線幅w1の線に相当する部分が、画像信号Cでは、画素値(輝度値)のピークが半分程度になり、さらに、線幅がw2とその太さが約3倍に太くなっている。
アップスケールされた画像信号Cにおいて、精細感が感じられない要因の一つとして、このように、原画像において細い線が、アップスケールされた画像において、太くなっていることが原因として考えられる。
もし、画像信号Cの線部分の幅(線幅)w2を、原画像である画像信号Aの線幅w1の細さに復元することができれば、画像信号Cが形成する画像において、精細感を得ることができる。
そこで、画像処理システム1000では、画像信号Cのパターンを示す信号を、低解像度パターン信号PtnLとし、入力画像信号Din中に、低解像度パターン信号PtnLに似た信号パターン(信号系列)が現れた場合、画像信号Dのパターンを示す信号を、入力画像信号Dinに加算する。これにより、画像処理システム1000では、画像信号Aのような精細感のある画像(映像)を取得する。
このような原理(考え方)に基づいて、パターン生成部200では、図2の画像信号Aに相当する高解像度パターン信号PtnHから、図2の画像信号Cに相当する低解像度パターン信号PtnLと、図2の画像信号D(差分信号D)に相当する差分パターン信号PtnDiffとが生成される。具体的には、パターン生成部200では、以下のように処理が実行される。
高解像度パターン信号PtnHは、ダウンスケール処理部201および減算部23に入力される。
ダウンスケール処理部201では、高解像度パターン信号PtnHは、ダウンスケール処理(例えば、デシメート処理および平滑化処理)が実行される。そして、ダウンスケール処理が実行された信号は、アップスケール処理部202に出力される。
アップスケール処理部202では、ダウンスケール処理部201から出力された信号に対して、アップスケール処理(例えば、インターポーレート処理および平滑化処理)が実行されることで、低解像度パターン信号PtnLが取得される。そして、取得された低解像度パターン信号PtnLは、減算部23と、画像処理部100の振幅推定部1と、画像処理部100の類似度算出部2とに、出力される。
減算部23では、高解像度パターン信号PtnHから、低解像度パターン信号PtnLを減算する処理を実行することで、差分パターン信号PtnDiffを取得する。つまり、減算部23は、
PtnDiff=PtnH―PtnL
に相当する処理により、差分パターン信号PtnDiffを取得する。
PtnDiff=PtnH―PtnL
に相当する処理により、差分パターン信号PtnDiffを取得する。
そして、減算部23により取得された差分パターン信号PtnDiffは、画像処理部100のFIRフィルタ部4に出力される。
(1.2.1:振幅推定処理)
画像処理部100の振幅推定部1では、入力画像信号Dinに対して、低解像度パターン信号PtnLを用いて、振幅推定処理が実行される。
画像処理部100の振幅推定部1では、入力画像信号Dinに対して、低解像度パターン信号PtnLを用いて、振幅推定処理が実行される。
具体的には、振幅推定部1は、局所領域uにおいて、入力画像信号Dinと、低解像度パターン信号PtnLをa倍してbを加算した信号との差が最小となる倍率a(振幅a)を算出する。これについて、図3を用いて説明する。
図3は、局所領域uにおける、入力画像信号Din(=f(x))と、低解像度パターン信号PtnLをa倍してbを加算した信号a(x)×k(u)+b(x)とを示す図である。
なお、ここで、入力画像信号Dinをf(x)とし、低解像度パターン信号PtnLをk(u)とし、局所領域uにおける、入力画像信号Din(=f(x))と、低解像度パターン信号PtnLをa倍してbを加算した信号a(x)×k(u)+b(x)との2乗誤差Eとすると、振幅推定部1は、
が最小となる振幅a(x)およびオフセットb(x)を求める。なお、振幅a(x)は、実数であり、負の値が許容される。また、上式におけるシグマ記号は、局所領域uにおいて、N個のサンプル点において、シグマ演算(加算処理)を行うことを意味している(以下、同様)。
振幅推定部1は、上式による2乗誤差Eが最小となる振幅a(x)およびオフセットb(x)を最小2乗法により算出する。具体的には、振幅推定部1は、
により、2乗誤差Eが最小となる振幅a(x)およびオフセットb(x)を算出する。
なお、上式から分かるように、Sk、Sk2、A1、A2、B1、B2は、低解像度パターン信号k(u)が決定されれば、定数となるので、予め設定しておくことが好ましい。
なお、上記算出処理は、例えば、図4に示す構成により、ハードウェア処理により実行されるものであってもよい。なお、図4の四角で示した部分は、遅延器(例えば、Dフリップフロップや、1ライン分の遅延器(ラインメモリ)等)である。図4の場合、局所領域uは、処理対象画素(注目画素)f(x)を中心とする5個(N=5)のサンプル点を含む領域であり、当該局所領域において、振幅推定部1は、上記処理を実行し、振幅a(a(x))を算出する。
このようにして、振幅推定部1において算出された振幅a(=a(x))は、振幅推定部1から乗算部3に出力される。
(1.2.2:類似度算出処理)
画像処理部100の類似度算出部2では、入力画像信号Dinに対して、低解像度パターン信号PtnLを用いて、類似度算出処理が実行される。
画像処理部100の類似度算出部2では、入力画像信号Dinに対して、低解像度パターン信号PtnLを用いて、類似度算出処理が実行される。
局所領域において、入力画像Din(=f(x))と、低解像度パターン信号PtnLをa倍してbを加算した信号a(x)×k(u)+b(x)との2乗誤差Eが、局所領域において、最小となる場合、類似度算出部2は、類似度s(=s(x))を「1」として出力し、それ以外の場合、類似度算出部2は、類似度s(=s(x))を「0」として出力する。
すなわち、類似度算出部2は、2乗誤差Eが最小となる振幅a(x)およびオフセットb(x)を算出する。そして、類似度算出部2は、算出した値に振幅a(x)およびオフセット値b(x)を設定した場合において、2乗誤差Eが、(1)局所領域内において最小となるときは、類似度s(=s(x))を「1」として出力し、(2)局所領域内において最小ではないときは、類似度s(=s(x))を「0」として出力する。
具体的には、類似度算出部2は、下記数式により算出される最小2乗誤差Eminが、(1)局所領域で最小値となる場合、類似度s(=s(x))を「1」として出力し、(2)局所領域内で最小値とならない場合、類似度s(=s(x))を「0」として出力する。
なお、ここで、上記最小2乗誤差Eminについて、説明する。
入力画像Din(=f(x))と、低解像度パターン信号PtnLをa倍してbを加算した信号a(x)×k(u)+b(x)との2乗誤差Eは、以下のように展開することができる。
上記2乗誤差Eが最小値をとる場合の極値条件は、2乗誤差Eのaについての偏微分値が「0」であり、かつ、2乗誤差Eのbについての偏微分値が「0」であることである。すなわち、上記2乗誤差Eが最小値をとる場合の極値条件は、以下の通りである。
上記(数式5)〜(数式7)により、
となる。
したがって、類似度算出部2は、(数式4)により算出される最小2乗誤差Eminが、(1)局所領域で最小値となる場合、類似度s(=s(x))を「1」として出力し、(2)局所領域内で最小値とならない場合、類似度s(=s(x))を「0」として出力する。
なお、上記算出処理は、例えば、図5、図6に示す構成により、ハードウェア処理により実行されるものであってもよい。図5、図6の場合、振幅a(x)およびオフセット値b(x)を算出するための局所領域uは、処理対象画素(注目画素)f(x)を中心とする5個(N=5)のサンプル点を含む領域であり、最小2乗誤差Eminを算出(決定)するための局所領域u’は、処理対象画素(注目画素)の最小2乗誤差Emin(x)を中心とする9個(N=5)のサンプル点を含む領域である。図6に示す類似度決定部21の最小値判定部211は、E(x−4)〜E(x+4)の9個のサンプル点において、処理対象画素(注目画素)の最小2乗誤差E(x)が最小値であるか否かを判定する。そして、類似度決定部21の最小値判定部211は、E(x)が最小値である場合、類似度s(=s(x))を「1」として出力し、一方、E(x)が最小値ではない場合、類似度s(=s(x))を「0」として出力する。
例えば、図7に示す入力画像信号Dinに対して、類似度算出処理を実行する場合、図7に示すように、低解像度パターン信号PtnL(例えば、図7に示すPtn1〜Ptn5)を用いて、類似度を検証する。図7の場合、x=x0にピークを有するPtn3の低解像度パターン信号PtnLと、入力画像信号Dinとの類似度が高いので、x=x0において、最小2乗誤差Eminが最小値(極小値)をとる。したがって、図7に示すように、x=x0において、S=1となり、それ以外の部分では、S=0となる。
図8に、(1)入力画像Dinの信号波形と、(2)最小2乗法により決定した振幅値a(=a(x))およびオフセット値b(=b(x))による信号a(x)k(u)+b(x)(低解像度パターン信号の振幅をa(x)にし、オフセット値を加算した信号)の信号波形と、(3)最小2乗誤差Emin(x)の信号波形と、(4)類似度s(=s(x))の信号波形とを、横軸(x座標軸)を一致させて示している。
また、図8において、AR(x)は、中心をxとする局所領域を示しており、図8の場合、局所領域に含まれる画素数(サンプル数)は、「9」である。
図8から分かるように、x=x1、x2、x3、x4において、低解像度パターン信号PtnLと類似する信号波形(信号パターン)が発生している。
つまり、
(1)局所領域AR(x1)において、x=x1のときEminは、最小値Emin(x1)となり、
(2)局所領域AR(x2)において、x=x2のときEminは、最小値Emin(x2)となり、
(3)局所領域AR(x3)において、x=x3のときEminは、最小値Emin(x3)となり、
(4)局所領域AR(x4)において、x=x4のときEminは、最小値Emin(x4)となる。
(1)局所領域AR(x1)において、x=x1のときEminは、最小値Emin(x1)となり、
(2)局所領域AR(x2)において、x=x2のときEminは、最小値Emin(x2)となり、
(3)局所領域AR(x3)において、x=x3のときEminは、最小値Emin(x3)となり、
(4)局所領域AR(x4)において、x=x4のときEminは、最小値Emin(x4)となる。
したがって、図8に示すように、S(=S(x))は、x=x1、x2、x3、x4において、S=1となり、それ以外のx座標位置では、S=0となる。なお、振幅a(x)は、実数であり、負の値が許容されるので、低解像度パターン信号PtnL(k(u)に対応)の信号値が反転した波形であっても、S=1となりうる。
このようにして、類似度算出部2において算出(決定)された類似度s(=s(x))は、類似度算出部2から乗算部3に出力される。
乗算部3では、振幅推定部1から出力される振幅a(=a(x))と、類似度算出部2から出力される類似度s(=s(x))とが乗算される。そして、乗算処理後の信号(=a×s(=a(x)×s(x)))が、FIRフィルタ部4に出力される。
(1.2.3:FIRフィルタ処理)
画像処理部100のFIRフィルタ部4では、乗算部3から出力される、振幅a(=a(x))と類似度s(=s(x))の乗算信号(a×s)に対して、差分パターン信号PtnDiffを用いて、FIRフィルタ処理が実行される。
画像処理部100のFIRフィルタ部4では、乗算部3から出力される、振幅a(=a(x))と類似度s(=s(x))の乗算信号(a×s)に対して、差分パターン信号PtnDiffを用いて、FIRフィルタ処理が実行される。
つまり、FIRフィルタ部4は、差分パターン信号PtnDiffのデータ列をFIRフィルタ係数とするFIRフィルタ処理を実行する。すなわち、差分パターン信号PtnDiffをd(x+i)(i:整数、−n≦i≦n)とすると、FIRフィルタ部4は、
に相当する処理を実行することで、FIRフィルタ処理後の信号ΔD(x)を取得する。
なお、上記FIRフィルタ処理は、例えば、図9に示す構成により、ハードウェア処理により実行されるものであってもよい。図9に示した構成では、上記数式において、n=4とした場合のFIRフィルタ処理が実行される。なお、図9の合計部41は、各入力を加算する(シグマ演算)を行う。
ここで、FIRフィルタ処理について、図10を用いて、説明する。
図10は、(1)入力画像Dinの信号波形と、(2)最小2乗法により決定した振幅値a(=a(x))およびオフセット値b(=b(x))による信号a(x)k(u)+b(x)(低解像度パターン信号の振幅をa(x)にし、オフセット値を加算した信号)の信号波形と、(3)乗算部3の出力信号s×a(=s(x)×a(x))の信号波形と、(4)FIRフィルタ部4の出力信号ΔD(=ΔD(x))の信号波形とを、横軸(x座標軸)を一致させて示している。
上記FIRフィルタ処理では、インパルス応答(x=xaにおいてのみ振幅「1」の信号が入力されたときの出力)の信号波形が、差分パターン信号PtnDiffのデータ列と一致する。したがって、x=xaにおいてのみ非0の信号値a(xa)をとり、x=xa以外において、「0」の信号値をとる信号を、FIRフィルタ部4に入力すると、FIRフィルタ部4からは、差分パターン信号PtnDiffを、その信号値をa(xa)倍した信号が出力される。
図10に示すように、x=x1、x2、x3、x4において、FIRフィルタ部4から出力される信号は、以下のようになる。
(1)x=x1において、乗算部3の出力信号s×a=a(x1)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x1)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(2)x=x2において、乗算部3の出力信号s×a=a(x2)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x2)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(3)x=x3において、乗算部3の出力信号s×a=a(x3)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x3)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(4)x=x4において、乗算部3の出力信号s×a=a(x4)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x4)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(1)x=x1において、乗算部3の出力信号s×a=a(x1)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x1)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(2)x=x2において、乗算部3の出力信号s×a=a(x2)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x2)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(3)x=x3において、乗算部3の出力信号s×a=a(x3)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x3)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
(4)x=x4において、乗算部3の出力信号s×a=a(x4)であるので、このとき、FIRフィルタ部4から、差分パターン信号PtnDiffをa(x4)倍した信号(差分信号ΔD(=ΔD(x)))が出力される。
このようにして、FIRフィルタ部4により取得された信号は、差分信号ΔD(=ΔD(x))として、加算部5に出力される。
加算部5では、入力画像信号Dinと、FIRフィルタ部4から出力された差分信号ΔDとが加算される。すなわち、加算部5では、
Dout=Din+ΔD
に相当する処理が実行され、出力画像信号Doutが取得される。
Dout=Din+ΔD
に相当する処理が実行され、出力画像信号Doutが取得される。
図11に、図10のx=x1近傍における、(1)入力画像Dinの信号波形と、(2)最小2乗法により決定した振幅値a(=a(x))およびオフセット値b(=b(x))による信号a(x)k(u)+b(x)(低解像度パターン信号の振幅をa(x)にし、オフセット値を加算した信号)の信号波形(図10において、「PtnL×a(x1)」で示した信号波形)と、(3)FIRフィルタ部4の出力信号ΔD(=ΔD(x))の信号波形と、(5)出力信号Doutの信号波形とを、横軸(x座標軸)を一致させて示している。また、図11の左側に低解像度パターン信号PtnLと、差分パターン信号PtnDiffとを示している。
図11に示すように、画像処理システム1000では、振幅推定部1により、低解像度パターン信号PtnLをa倍して、オフセットbを加算したときの信号波形と、入力画像信号Dinとの誤差が最も小さくなるように、倍率aが設定される。そして、画像処理システム1000では、類似度算出部2により、局所領域において、低解像度パターン信号PtnLをa倍して、オフセットbを加算したときの信号波形と、入力画像信号との最小2乗誤差Eminが最小値となる位置(図11ではx座標位置がx1の位置)を検出し、その位置における類似度を「1」に設定する(図11の場合、S(x1)=1)。そして、画像処理システム1000では、乗算部3により生成された乗算信号s×aが、FIRフィルタ部4に入力されることで、FIRフィルタ部4は、差分パターン信号PtnDiffの信号値をa倍した信号ΔDを出力する。そして、画像処理システム1000では、加算部5により、差分パターン信号PtnDiffの信号値をa倍した信号ΔDと、入力画像信号Dinとが加算される。これにより、画像処理システム1000では、図11に示すように、x=x1近傍において、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。
以上のように、画像処理システム1000では、高解像度パターン信号PtnHをダウンスケール処理し、さらに、アップスケール処理したときの低解像度パターン信号PtnLをa倍した信号波形を用いて、当該信号波形と類似する信号波形部分を、入力画像信号において検出する。そして、画像処理システム1000では、上記のように検出した、入力画像信号の信号部分に、高解像度パターン信号PtnHと低解像度パターン信号PtnLとの差分である差分パターン信号PtnDiffをa倍した信号波形を加算する。入力画像信号Dinにおいて、低解像度パターン信号PtnLをa倍した信号波形と類似する信号波形部分は、ダウンスケール処理され、さらに、アップスケール処理されることで、高域成分が失われた部分であり、その失われた高域成分は、差分パターン信号PtnDiffをa倍した信号波形(信号ΔD)に類似する。
したがって、画像処理システム1000では、入力画像信号Dinに対して、差分パターン信号PtnDiffをa倍(倍率aは、低解像度パターン信号PtnLをa倍した信号波形と入力画像信号Dinとの差が局所領域において最小となる倍率)した信号波形(信号ΔD)を加算することで、ダウンスケール処理され、さらに、アップスケール処理されることで失われた高域成分を適切に復元することができる。
このように、画像処理システム1000では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、画像処理システム1000では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、画像処理システム1000で取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。
≪第1変形例≫
次に、第1実施形態の第1変形例について説明する。
次に、第1実施形態の第1変形例について説明する。
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の画像処理システムは、第1実施形態の画像処理システム1000と同様の構成を有しており、振幅推定部1で実行される処理のみが異なる。
図12は、本変形例における振幅推定部1の処理について説明するための図である。
本変形例における振幅推定部1では、第1実施形態のように最小二乗法により、振幅aを求めるのではなく、簡易的に、振幅aを求める。
具体的には、図12に示すように、振幅推定部1は、処理対象画素をx=x0の画素とすると、図12に示すように、領域AR_pと、x軸上における、領域AR_pの前後の領域AR_f1、AR_f2を設定する。図12に示す領域AR_pに含まれる画素の画素値(信号値)の平均値AvePと、領域AR_f1およびAR_f2に含まれる画素の画素値(信号値)の平均値AveFとに基づいて、振幅a(=a(x))を求める。つまり、振幅推定部1は、
により、領域AR_pに含まれる画素の画素値(信号値)の平均値AvePと、領域AR_f1およびAR_f2に含まれる画素の画素値(信号値)の平均値AveFとを算出する。
なお、nは、領域AR_pの中心の前後のサンプル数であり。mは、領域AR_p、領域AR_f1、領域AR_f2により構成される領域における中心の前後のサンプル数である。図12は、n=1、m=5の場合を示している。
そして、低解像度パターン信号PtnLの振幅をa0とすると、
a(x0)=(AveP−AveF)/a0
により、処理対象画素x=x0における、振幅a(x)(=a(x0))を算出する。
a(x0)=(AveP−AveF)/a0
により、処理対象画素x=x0における、振幅a(x)(=a(x0))を算出する。
これにより、本変形例では、第1実施形態のように、最小二乗法による算出処理を行うことなく、簡易に、倍率a(=a(x))を算出することができる。
≪第2変形例≫
次に、第1実施形態の第2変形例について説明する。
次に、第1実施形態の第2変形例について説明する。
なお、上記実施形態(変形例を含む)と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の画像処理システムは、第1実施形態の画像処理システム1000の類似度算出部2の類似度決定部21の処理内容が異なる。
第1実施形態の類似度決定部21では、図6に示す構成を有しており、処理対象画素が、局所領域におけるEminの最小値をとるか否かを判断していた。それに対して、本変形例の類似度決定部21は、図6に示す構成の代わりに、図13に示すような入出力特性を有するROM等により構成される。つまり、本変形例の類似度決定部21は、図13に示すように、入力される最小2乗誤差Eminの値が「0」に近づく程、出力値、すなわち、類似度が「1」に近づいて大きくなる。
これにより、0〜1の間の中間値を有する類似度sが類似度算出部2から出力される。
つまり、本変形例の画像処理システムでは、0〜1の間の中間値を有する類似度sを用いて処理を行うことができる。
なお、本変形例の類似度決定部21の入出力特性は、上記に限定されることなく、入力である最小2乗誤差Eminの値に対して単調減少となる特性であれば、他の特性であってもよい。また、本変形例の類似度決定部21は、ROM等によって実現されるものであってもよく、また、演算により上記入出力特性を実現するものであってもよい。
≪第3変形例≫
次に、第1実施形態の第3変形例について説明する。
次に、第1実施形態の第3変形例について説明する。
なお、上記実施形態(変形例を含む)と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の画像処理システムは、第1実施形態の画像処理システム1000において、類似度算出部2を、図14に示す類似度算出部2Aに置換した構成を有している。それ以外については、本変形例の画像処理システムは、第1実施形態の画像処理システム1000と同様である。
本変形例の類似度算出部2Aは、入力画像Dinの局所領域(図14の場合、9個の画素からなる局所領域)において、処理対象画素が、ピーク値(最大値または最小値)をとる場合、類似度s=1として、類似度sを出力し、それ以外の場合、類似度s=0として、類似度sを出力する。
図15に、入力画像Dinの信号波形と、本変形例の類似度算出部2Aにより取得された類似度sとを、x軸を一致させて示す。
図15から分かるように、本変形例の類似度算出部2Aにより、適切に、類似度sが算出(決定)されている。なお、図15の場合、局所領域は、9個の画素(サンプル点)からなる局所領域である。
このように、本変形例の画像処理システムでは、簡易に、類似度sを算出することができる。
≪第4変形例≫
次に、第1実施形態の第4変形例について説明する。
次に、第1実施形態の第4変形例について説明する。
なお、上記実施形態(変形例を含む)と同様の部分については、同一符号を付し、詳細な説明を省略する。
図16に、第1実施形態の第4変形例の画像処理システム1000Aの概略構成図を示す。
本変形例の画像処理システム1000Aは、第1実施形態の画像処理システム1000のパターン生成部200をパターン生成部200Aに置換した構成を有している。具体的には、本変形例の画像処理システム1000Aは、図16に示すように、第1実施形態のパターン生成部200において、ダウンスケール処理部201およびアップスケール処理部202を、低域通過フィルタ部204に置換した構成を有している。これ以外については、本変形例の画像処理システム1000Aは、第1実施形態の画像処理システム1000と同様である。
低域通過フィルタ部204は、高解像度パターン信号PtnHを入力とし、入力された高解像度パターン信号PtnHに対して、低域通過フィルタ処理(ローパスフィルタ処理)を実行する。そして、低域通過フィルタ部204は、低域通過フィルタ処理後の信号を、低解像度パターン信号PtnLとして、減算部23および振幅推定部1に出力する。
なお、「低域通過フィルタ処理」は、高解像度パターン信号PtnHが、当該低域通過フィルタ処理を実行されたときに取得される信号波形と、高解像度パターン信号PtnHに対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形とが、類似するように(例えば、両者(2つの信号波形)の差(誤差)が所定の範囲に入るように)、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。
第1実施形態の画像処理システム1000において、高解像度パターン信号PtnHを、ダウンスケール処理部201によりダウンスケール処理が実行された後、アップスケール処理部202によりアップスケール処理が実行されることで取得される低解像度パターン信号PtnLは、高解像度パターン信号PtnHの高域成分を削減した信号となる。つまり、この信号は、高解像度パターン信号PtnHに対して、低域通過フィルタ処理を実行することで取得される信号と近似する。
本変形の画像処理システム1000Aでは、上記のように、低域通過フィルタ部204により、高解像度パターン信号PtnHに対して、低域通過フィルタ処理を実行することで、低解像度パターン信号PtnLを取得する。したがって、本変形の画像処理システム1000Aにおいて取得される低解像度パターン信号PtnLは、第1実施形態の画像処理システム1000において取得される低解像度パターン信号PtnLと近似する。その結果、画像処理システム1000Aでは、パターン生成部200Aにより取得された低解像度パターン信号PtnLを用いて、処理を行うことで、第1実施形態と同様の処理を実現することができる。
また、本変形例の画像処理システム1000Aでは、上記のように、低域通過フィルタ部204による低域通過フィルタ処理を行うだけで、低解像度パターン信号PtnLを取得することができるので、第1実施形態に比べて、演算量を少なくすることができる。
例えば、画像処理システムを実現する場合、計算機リソースに余裕がある場合、第1実施形態の画像処理システム1000の構成を採用すればよい。この場合、高解像度パターン信号PtnHに対して、ダウンスケール処理部201によるダウンスケール処理、および、アップスケール処理部202によりアップスケール処理を実行することで、精度の高い低解像度パターン信号PtnLが取得される。デシメート処理で発生するわずかな折り返しひずみも再現してモデルを生成することができるためである。
一方、計算機リソースに余裕がない場合、本変形例の画像処理システム1000Aの構成を採用すればよい。この場合、高解像度パターン信号PtnHに対して、低域通過フィルタ部204による低域通過フィルタ処理を行うだけで、低解像度パターン信号PtnLを取得することができるので、演算量を少なくでき、必要とされる計算機リソースを低減することができる。
[第2実施形態]
次に、第2実施形態について、説明する。
次に、第2実施形態について、説明する。
なお、上記実施形態(変形例を含む)と同様の部分については、同一符号を付す。
図17〜図20は、第2実施形態に係る画像処理方法のフローチャートである。
図17〜図20のフローチャートを用いて、本実施形態の画像処理方法について、説明する。
なお、本実施形態の解像度推定方法は、例えば、第1実施形態の画像処理システムや、制御部(CPU等)、画像メモリ、ROM、RAM等を備えたシステムにより実行される。
(S1):
ステップS1では、高解像度パターンを低解像度化したパターン(低解像度パターン)k(u)が設定される(算出される)。
ステップS1では、高解像度パターンを低解像度化したパターン(低解像度パターン)k(u)が設定される(算出される)。
(S2):
ステップS2では、高解像度パターンと低解像度パターンとの差分である差分パターンd(u)が設定(算出)される。
ステップS2では、高解像度パターンと低解像度パターンとの差分である差分パターンd(u)が設定(算出)される。
(S3):
ステップS3では、低解像度パターンk(u)から、第1実施形態の(数式3)で説明したのと同様に、A1、A2、B1、B2が算出される。なお、(数式3)におけるNは、局所領域に含まれるサンプル数を示す。また、N=2×n+1とし、nは、処理対象画素(注目画素)の画素位置xを中心として、局所領域の範囲を示す値である。つまり、局所領域は、(x−n)〜(x+n)で表される。
ステップS3では、低解像度パターンk(u)から、第1実施形態の(数式3)で説明したのと同様に、A1、A2、B1、B2が算出される。なお、(数式3)におけるNは、局所領域に含まれるサンプル数を示す。また、N=2×n+1とし、nは、処理対象画素(注目画素)の画素位置xを中心として、局所領域の範囲を示す値である。つまり、局所領域は、(x−n)〜(x+n)で表される。
(S4):
ステップS4では、出力画像Y(i,j)を、入力画像I(i,j)で初期化する。
ステップS4では、出力画像Y(i,j)を、入力画像I(i,j)で初期化する。
(S5、S6):
ステップS5では、画像の水平方向の先鋭化処理(水平先鋭化処理)が実行される。画像Y(i,j)に、水平先鋭化処理により取得された高域成分ΔYが加算されることにより、水平先鋭化処理が実行される。
ステップS5では、画像の水平方向の先鋭化処理(水平先鋭化処理)が実行される。画像Y(i,j)に、水平先鋭化処理により取得された高域成分ΔYが加算されることにより、水平先鋭化処理が実行される。
また、ステップS6では、画像の垂直方向の先鋭化処理(垂直先鋭化処理)が実行される。画像Y(i,j)に、垂直先鋭化処理により取得された高域成分ΔYが加算されることにより、垂直先鋭化処理が実行される。
なお、ステップS5、S6の順番を入れ替えてもよい。
≪先鋭化処理≫
次に、ステップS5、S6の先鋭化処理(水平先鋭化処理、垂直先鋭化処理)の詳細について、図18〜図20を用いて、説明する。
次に、ステップS5、S6の先鋭化処理(水平先鋭化処理、垂直先鋭化処理)の詳細について、図18〜図20を用いて、説明する。
(S501、S502):
ステップS501では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。なお、V_SIZEは垂直画像サイズであり、jは処理対象画素の垂直座標位置である。
ステップS501では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。なお、V_SIZEは垂直画像サイズであり、jは処理対象画素の垂直座標位置である。
ステップS502では、i=0とし、iがH_SIZE−1となるまで、iを+1ずつインクリメントしながら、処理を繰り返す。なお、H_SIZEは水平直画像サイズであり、iは処理対象画素の水平座標位置である。
特に明記しない限り、以後のフローチャートにおいて、i,jは上記の意味を示す。
(S504、S505):
ステップS504では、局所領域の情報をf(−n:n)(例えば、f(−n:n)は、−n〜nのデータ(2n+1個のデータ)を保存することができるメモリ領域)にコピーする。水平処理の場合には、画素(i,j)を中心として水平方向に隣接する画素が、f(−n:n)にコピーされる。この処理を、
f([−n:n])=I(i,j+[−n:n])
と表記する。
ステップS504では、局所領域の情報をf(−n:n)(例えば、f(−n:n)は、−n〜nのデータ(2n+1個のデータ)を保存することができるメモリ領域)にコピーする。水平処理の場合には、画素(i,j)を中心として水平方向に隣接する画素が、f(−n:n)にコピーされる。この処理を、
f([−n:n])=I(i,j+[−n:n])
と表記する。
また、ステップS505の垂直処理の場合には、画素(i,j)を中心として垂直方向に隣接する画素が、f(−n:n)にコピーされる。この処理を、
f([−n:n])=I(i[−n:n],j)
と表記する。
f([−n:n])=I(i[−n:n],j)
と表記する。
(S506〜S508):
ステップS506では、第1実施形態で示した数式に基づいて、Sfk、Sfを求め、さらに、振幅aを求める。
ステップS506では、第1実施形態で示した数式に基づいて、Sfk、Sfを求め、さらに、振幅aを求める。
ステップS507では、第1実施形態で示した数式に基づいて、オフセット値bと、Sf2とを求め、さらに、第1実施形態と同様に、最小二乗誤差Eminを求める。
ステップS508では、画像メモリの(i,j)に対応する振幅aのデータ格納用アドレスに振幅aのデータを保存する。この処理を、
Ma(i,j)=a
と表記する。
Ma(i,j)=a
と表記する。
また、画像メモリの(i,j)に対応する最小二乗誤差Eminのデータ格納用アドレスに最小二乗誤差Eminのデータを保存する。この処理を、
Me(i,j)=Emin
と表記する。
Me(i,j)=Emin
と表記する。
(S509):
S509では、iを+1インクリメントし、処理をS502に戻し、上記処理(S503〜S508までの処理)を繰り返す。
S509では、iを+1インクリメントし、処理をS502に戻し、上記処理(S503〜S508までの処理)を繰り返す。
(S510):
S510では、jを+1インクリメントし、処理をS501に戻し、上記処理(S502〜S509までの処理)を繰り返す。
S510では、jを+1インクリメントし、処理をS501に戻し、上記処理(S502〜S509までの処理)を繰り返す。
(S511、S512):
ステップS511では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS511では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS512では、i=0とし、iがH_SIZE−1となるまで、iを+1ずつインクリメントしながら、処理を繰り返す。
(S513〜S516):
ステップS513では、処理対象画素(i,j)における最小二乗誤差値Me(i,j)が局所領域内で最小値をとるか否かを判定する。判定の結果、局所領域内において、最小二乗誤差値Me(i,j)が最小値である場合、類似度としてs=1をセットし(ステップS514)、そうでない場合は、s=0をセットする(ステップS515)。
ステップS513では、処理対象画素(i,j)における最小二乗誤差値Me(i,j)が局所領域内で最小値をとるか否かを判定する。判定の結果、局所領域内において、最小二乗誤差値Me(i,j)が最小値である場合、類似度としてs=1をセットし(ステップS514)、そうでない場合は、s=0をセットする(ステップS515)。
ステップS516では、類似度sと振幅Ma(i,j)との積を、画像メモリMsa(i,j)にストアする。つまり、
Msa(i,j)=s×Ma(i,j)
に相当する処理を実行する。
Msa(i,j)=s×Ma(i,j)
に相当する処理を実行する。
(S517):
S517では、iを+1インクリメントし、処理をS512に戻し、上記処理(S513〜S516までの処理)を繰り返す。
S517では、iを+1インクリメントし、処理をS512に戻し、上記処理(S513〜S516までの処理)を繰り返す。
(S518):
S518では、jを+1インクリメントし、処理をS511に戻し、上記処理(S512〜S517までの処理)を繰り返す。
S518では、jを+1インクリメントし、処理をS511に戻し、上記処理(S512〜S517までの処理)を繰り返す。
(S519、S520):
ステップS511では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS511では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS512では、i=0とし、iがH_SIZE−1となるまで、iを+1ずつインクリメントしながら、処理を繰り返す。
(S521〜S523):
ステップS521では、水平処理であるか否かを判定する。
ステップS521では、水平処理であるか否かを判定する。
ステップS522、S523では、局所領域における振幅と類似度との積の情報をas(−n:+n)にコピーする。つまり、水平処理の場合には、画素(i,j)を中心として水平方向に隣接する画素が、as(−n:+n)にコピーされる。つまり、
as([−n:n])=Mas(i+[−n:n],j)
に相当する処理が実行される(S523)。
as([−n:n])=Mas(i+[−n:n],j)
に相当する処理が実行される(S523)。
垂直処理の場合には、画素(i,j)を中心として垂直方向に隣接する画素が、as(−n:+n)にコピーされる。つまり、
as([−n:n])=Mas(i,j+[−n:n])
に相当する処理が実行される(S522)。
as([−n:n])=Mas(i,j+[−n:n])
に相当する処理が実行される(S522)。
(S524〜S529):
ステップS524では、一時変数tmpをクリアし、ステップS525では、局所参照変数uを−nから+nまで、+1ずつインクリメントしながら処理を繰り返す。このループ処理の中では、差分パターンd(u)と、as(u)とが乗算され、乗算結果の値がtmpに累積加算される。これは、いわゆるFIRフィルタの処理に相当する。
ステップS524では、一時変数tmpをクリアし、ステップS525では、局所参照変数uを−nから+nまで、+1ずつインクリメントしながら処理を繰り返す。このループ処理の中では、差分パターンd(u)と、as(u)とが乗算され、乗算結果の値がtmpに累積加算される。これは、いわゆるFIRフィルタの処理に相当する。
上記ループ処理が終了した時点で、tmpを鮮鋭化成分ΔYに保存する(S528)。
そして、鮮鋭化成分ΔYをY(i,j)に加算する。すなわち、
Y(i,j)=Y(i,j)+ΔY
に相当する処理が実行される。
Y(i,j)=Y(i,j)+ΔY
に相当する処理が実行される。
なお、1回目の鮮鋭化処理で水平処理が選択されている場合、右辺のY(i,j)には、入力画像I(i,j)と同じデータがストアされている。2回目の鮮鋭化処理で垂直が選択されている場合、右辺のY(i,j)には、1回目の鮮鋭化処理の結果がストアされており、2回目の時には、新たに垂直の鮮鋭化成分が足しこまれることになる。
(S530):
S530では、iを+1インクリメントし、処理をS520に戻し、上記処理(S521〜S529までの処理)を繰り返す。
S530では、iを+1インクリメントし、処理をS520に戻し、上記処理(S521〜S529までの処理)を繰り返す。
(S531):
S531では、jを+1インクリメントし、処理をS519に戻し、上記処理(S520〜S530までの処理)を繰り返す。
S531では、jを+1インクリメントし、処理をS519に戻し、上記処理(S520〜S530までの処理)を繰り返す。
以上により、ステップS5、S6の先鋭化処理(水平先鋭化処理、垂直先鋭化処理)が実行される。
以上のように、本実施形態の画像処理方法では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、本実施形態の画像処理方法では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、本実施形態の画像処理方法により取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。
[他の実施形態]
上記実施形態(変形例を含む)では、低解像度パターン信号PtnL、および、差分パターン信号PtnDiffが、高解像度パターン信号PtnHから所定の処理が実行されることで、取得される場合について、説明した。しかしながら、これに限定されることはなく、高解像度パターン信号PtnH、低解像度パターン信号PtnL、および、差分パターン信号PtnDiffの一部または全部が、予め設定されているものであってもよい。この場合、例えば、画像処理システムにおいて、パターン生成部200を省略した構成とすることも可能である。
上記実施形態(変形例を含む)では、低解像度パターン信号PtnL、および、差分パターン信号PtnDiffが、高解像度パターン信号PtnHから所定の処理が実行されることで、取得される場合について、説明した。しかしながら、これに限定されることはなく、高解像度パターン信号PtnH、低解像度パターン信号PtnL、および、差分パターン信号PtnDiffの一部または全部が、予め設定されているものであってもよい。この場合、例えば、画像処理システムにおいて、パターン生成部200を省略した構成とすることも可能である。
また、高解像度パターン信号PtnH、低解像度パターン信号PtnL、および、差分パターン信号PtnDiffの一部または全部が、設定により、そのパターン(信号波形)が変更されるものであってもよい。
また、第1実施形態(変形例を含む)では、画像処理システムにおいて、水平方向の処理を想定して、説明を行ったが、是に限定されることはなく、上記と同様の考え方により、画像処理システムにおいて、垂直方向の処理が実行されるようにしてもよい。
また、上記実施形態(変形例を含む)の一部または全部を組み合わせて、画像処理システム、画像処理装置および画像処理方法を実現するようにしてもよい。
また、上記実施形態の画像処理システム、画像処理装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、中央演算装置(CPU)が、ROM、あるいはRAMから当該プログラムを読み出し、実行されるものであってもよい。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、上記実施形態に係る画像処理システム、画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
なお、本発明は、以下のようにも表現することができる。
なお、本発明は、以下のようにも表現することができる。
第1の発明は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、FIRフィルタ部と、加算部と、を備える。
振幅推定部は、高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率aを取得する。
類似度算出部は、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が少ない程、処理対象画素の類似度値を、調整後低解像度パターンデータ列と画素データ列との類似の程度が高いことを示す値に設定する。
乗算部は、処理対象ごとに、倍率aと類似度とを乗算する。
FIRフィルタ部は、低解像度パターンデータ列から高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、処理対象画素ごとに、乗算部により取得された倍率aと類似度との乗算値に対して、FIRフィルタ処理を実行することで、処理対象画素の高域成分データΔDを取得する。
加算部は、処理対象画素ごとに、当該処理対象画素の画素データと、FIRフィルタ処理により取得された処理対象画素の高域成分データΔDとを加算する。
この画像処理装置では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、この画像処理装置では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、この画像処理装置で取得される画像信号(画像データ)は、精細感のある高品質な画像信号(画像データ)となる。
なお、「処理対象画素を含む入力画像の所定の範囲である局所領域」とは、例えば、(1)処理対象画素を中心として、画像の水平方向に2n+1画素(n:自然数)の画素からなる画像領域や、(2)処理対象画素を中心として、画像の垂直方向に2n+1画素(n:自然数)の画素からなる画像領域や、(3)処理対象画素を中心として、(2n+1)画素×(2n+1)画素からなる画像領域等を含む概念である。
第2の発明は、第1の発明であって、振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する。
これにより、この画像処理装置では、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理することで、低解像度パターンデータ列を取得することができる。
第3の発明は、第1の発明であって、振幅推定部は、高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得する。
この画像処理装置では、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得することができるので、少ない演算量で、低解像度パターンデータ列を取得することができる。
なお、「低域通過フィルタ処理」は、高解像度パターンデータ列が、当該低域通過フィルタ処理を実行されたときに取得される信号波形(データ列パターン)と、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形(データ列パターン)とが、類似するように(例えば、両者(2つの信号波形)の差(誤差)が所定の範囲に入るように)、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。
第4の発明は、第1から第3のいずれかの発明であって、類似度算出部は、(1)局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第1の値に設定し、(2)局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を第1の値よりも小さい値に設定する。
これにより、この画像処理装置では、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素の類似度を大きな値に設定することができる。
第5の発明は、第1から第4のいずれかの発明であって、振幅推定部は、最小二乗法により、倍率aを求める。
第6の発明は、第1から第5のいずれかの発明であって、類似度算出部は、最小二乗法により算出した倍率aで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Eminを、局所領域内の画素ごとに算出し、(1)局所領域内において、最小二乗誤差値Eminが最小値である画素の類似度を第1の値に設定し、(2)局所領域内において、最小二乗誤差値Eminが最小値でない画素の類似度を第1の値よりも小さい値に設定する。
これにより、この画像処理装置では、最小二乗法により算出した倍率aで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Eminを用いて、適切に処理対象画素の類似度を設定することができる。
第7の発明は、第1から第6のいずれかの発明であって、類似度算出部は、倍率aで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との差が小さい程、処理対象画素の類似度を大きな値に設定する。
これにより、この画像処理装置では、中間値(例えば、0〜1の間の中間値)をとる類似度を設定することができる。
第8の発明は、第1から第7のいずれかの発明であって、類似度算出部は、(1)局所領域内において、処理対象画素の画素データがピーク値であるとき、処理対象画素に対応する類似度を第1の値に設定し、(2)局所領域内において、処理対象画素の画素データがピーク値ではないとき、処理対象画素に対応する類似度を第1の値よりも小さい値に設定する。
これにより、この画像処理装置では、簡易に類似度を設定することができる。その結果、例えば、この画像処理装置をハードウェアで実現する場合のハードウェア規模を小さくすることができる。
第9の発明は、入力画像を先鋭化する画像処理方法であって、
高解像度パターンデータ列に対して、所定の処理(例えば、(1)ダウンスケール処理した後、アップスケール処理を行う処理や、(2)低域通過フィルタ処理)を実行して取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率aを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率aと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率aと前記類似度との乗算値に対して、FIRフィルタ処理を実行することで、前記処理対象画素の高域成分データΔDを取得するFIRフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記FIRフィルタ処理により取得された前記処理対象画素の高域成分データΔDとを加算する加算ステップと、
を備える画像処理方法である。
高解像度パターンデータ列に対して、所定の処理(例えば、(1)ダウンスケール処理した後、アップスケール処理を行う処理や、(2)低域通過フィルタ処理)を実行して取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率aを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率aと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率aと前記類似度との乗算値に対して、FIRフィルタ処理を実行することで、前記処理対象画素の高域成分データΔDを取得するFIRフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記FIRフィルタ処理により取得された前記処理対象画素の高域成分データΔDとを加算する加算ステップと、
を備える画像処理方法である。
本発明は、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置、画像処理方法を実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
1000 画像処理システム
100 画像処理部(画像処理装置)
1 振幅推定部
2、2A 類似度算出部
3 乗算部
4 FIRフィルタ部
5 加算部
100 画像処理部(画像処理装置)
1 振幅推定部
2、2A 類似度算出部
3 乗算部
4 FIRフィルタ部
5 加算部
一般に、SD(Standard Definition)画質等の低解像度の画像(映像)は、HD(High Definition)画質等の高解像度の画像(映像)を表示する高解像度ディスプレイに表示される場合、入力画像(映像)をディスプレイ全体に表示させるために、入力画像(映像)を引き延ばす(拡大)するアップスケールという処理(アップスケール処理)がなされる。しかし、アップスケール処理を実行しただけの画像(映像)を、そのまめ、高解像度ディスプレイに表示させると、真のHD画質の画像(映像)に比べて、ぼけた印象の画像(映像)として表示される。このため、SD画質等の低解像度の画像(映像)をアップスケールした場合、アップスケール処理後の画像(映像)に対して、画像を鮮鋭化する処理(画像鮮鋭化処理)が実行されることがある。
しかしながら、特許文献1に開示されている技術では、元の信号(入力画像信号)に含まれている高周波成分を強調して処理を行っているに過ぎないので、適切に画像鮮鋭化処理を実行することができない場合がある。
上記課題を解決するために、第1の構成は、入力画像を鮮鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、FIRフィルタ部と、加算部と、を備える。
振幅推定部1は、入力画像(入力画像信号)Dinと、パターン生成部200から出力される低解像度パターン信号PtnLと、を入力する。振幅推定部1は、入力画像信号Dinと低解像度パターン信号PtnLとに基づいて、推定振幅値aを取得し、取得した推定振幅値a(推定振幅値aを示す信号)を、乗算部3に出力する。
アップスケール処理部202は、ダウンスケール処理部201から出力される信号を入力とし、入力された信号に対して、アップスケール処理を実行する。そして、アップスケール処理部202は、アップスケール処理後の信号を、低解像度パターン信号PtnLとして、画像処理部100の振幅推定部1および類似度算出部2に出力する。また、アップスケール処理部202は、低解像度パターン信号PtnLを減算部23にも出力する。
<1.2:画像処理システムの動作>
以上のように構成された画像処理システム1000の動作について、以下、説明する。
以上のように構成された画像処理システム1000の動作について、以下、説明する。
画像信号Cは、画像信号Bに対して、アップスケール処理(例えば、インターポーレート処理および平滑化処理)を実行した後の画像信号である。つまり、画像信号Cは、真のHD画質の画像信号Aが、一度ダウンスケールされて画像信号Bとなり、その画像信号Bが、再び、アップスケールされた後の画像信号である。
入力画像Din(=f(x))と、低解像度パターン信号PtnLをa倍してbを加算した信号a(x)×k(u)+b(x)との2乗誤差Eが、局所領域において、最小となる場合、類似度算出部2は、類似度s(=s(x))を「1」として出力し、それ以外の場合、類似度算出部2は、類似度s(=s(x))を「0」として出力する。
図11に、図10のx=x1近傍における、(1)入力画像Dinの信号波形と、(2)最小2乗法により決定した振幅値a(=a(x))およびオフセット値b(=b(x))による信号a(x)k(u)+b(x)(低解像度パターン信号の振幅をa(x)にし、オフセット値を加算した信号)の信号波形(図10において、「PtnL×a(x1)」で示した信号波形)と、(3)FIRフィルタ部4の出力信号ΔD(=ΔD(x))の信号波形と、(4)出力信号Doutの信号波形とを、横軸(x座標軸)を一致させて示している。また、図11の左側に低解像度パターン信号PtnLと、差分パターン信号PtnDiffとを示している。
以上のように、画像処理システム1000では、高解像度パターン信号PtnHをダウンスケール処理し、さらに、アップスケール処理したときの低解像度パターン信号PtnLをa倍した信号波形を用いて、当該信号波形と類似する信号波形部分を、入力画像信号において検出する。そして、画像処理システム1000では、上記のように検出した、入力画像信号の信号波形部分に、高解像度パターン信号PtnHと低解像度パターン信号PtnLとの差分である差分パターン信号PtnDiffをa倍した信号波形を加算する。入力画像信号Dinにおいて、低解像度パターン信号PtnLをa倍した信号波形と類似する信号波形部分は、ダウンスケール処理され、さらに、アップスケール処理されることで、高域成分が失われた部分であり、その失われた高域成分は、差分パターン信号PtnDiffをa倍した信号波形(信号ΔD)に類似する。
なお、nは、領域AR_pの中心の前後のサンプル数であり、mは、領域AR_p、領域AR_f1、領域AR_f2により構成される領域における中心の前後のサンプル数である。図12は、n=1、m=5の場合を示している。
第1実施形態の画像処理システム1000において、高解像度パターン信号PtnHに、ダウンスケール処理部201によりダウンスケール処理が実行された後、アップスケール処理部202によりアップスケール処理が実行されることで取得される低解像度パターン信号PtnLは、高解像度パターン信号PtnHの高域成分を削減した信号となる。つまり、この信号は、高解像度パターン信号PtnHに対して、低域通過フィルタ処理を実行することで取得される信号と近似する。
本変形例の画像処理システム1000Aでは、上記のように、低域通過フィルタ部204により、高解像度パターン信号PtnHに対して、低域通過フィルタ処理を実行することで、低解像度パターン信号PtnLを取得する。したがって、本変形例の画像処理システム1000Aにおいて取得される低解像度パターン信号PtnLは、第1実施形態の画像処理システム1000において取得される低解像度パターン信号PtnLと近似する。その結果、画像処理システム1000Aでは、パターン生成部200Aにより取得された低解像度パターン信号PtnLを用いて、処理を行うことで、第1実施形態と同様の処理を実現することができる。
(S5、S6):
ステップS5では、画像の水平方向の鮮鋭化処理(水平鮮鋭化処理)が実行される。画像Y(i,j)に、水平鮮鋭化処理により取得された高域成分ΔYが加算されることにより、水平鮮鋭化処理が実行される。
ステップS5では、画像の水平方向の鮮鋭化処理(水平鮮鋭化処理)が実行される。画像Y(i,j)に、水平鮮鋭化処理により取得された高域成分ΔYが加算されることにより、水平鮮鋭化処理が実行される。
また、ステップS6では、画像の垂直方向の鮮鋭化処理(垂直鮮鋭化処理)が実行される。画像Y(i,j)に、垂直鮮鋭化処理により取得された高域成分ΔYが加算されることにより、垂直鮮鋭化処理が実行される。
≪鮮鋭化処理≫
次に、ステップS5、S6の鮮鋭化処理(水平鮮鋭化処理、垂直鮮鋭化処理)の詳細について、図18〜図20を用いて、説明する。
次に、ステップS5、S6の鮮鋭化処理(水平鮮鋭化処理、垂直鮮鋭化処理)の詳細について、図18〜図20を用いて、説明する。
(S519、S520):
ステップS519では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS519では、j=0とし、jがV_SIZE−1となるまで、jを+1ずつインクリメントしながら、処理を繰り返す。
ステップS520では、i=0とし、iがH_SIZE−1となるまで、iを+1ずつインクリメントしながら、処理を繰り返す。
以上により、ステップS5、S6の鮮鋭化処理(水平鮮鋭化処理、垂直鮮鋭化処理)が実行される。
第1の発明は、入力画像を鮮鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、FIRフィルタ部と、加算部と、を備える。
第9の発明は、入力画像を鮮鋭化する画像処理方法であって、
高解像度パターンデータ列に対して、所定の処理(例えば、(1)ダウンスケール処理した後、アップスケール処理を行う処理や、(2)低域通過フィルタ処理)を実行して取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率aを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率aと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、前記処理対象画素ごとに、前記乗算ステップにより取得された前記倍率aと前記類似度との乗算値に対して、FIRフィルタ処理を実行することで、前記処理対象画素の高域成分データΔDを取得するFIRフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記FIRフィルタ処理により取得された前記処理対象画素の高域成分データΔDとを加算する加算ステップと、
を備える画像処理方法である。
高解像度パターンデータ列に対して、所定の処理(例えば、(1)ダウンスケール処理した後、アップスケール処理を行う処理や、(2)低域通過フィルタ処理)を実行して取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率aを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率aと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、前記処理対象画素ごとに、前記乗算ステップにより取得された前記倍率aと前記類似度との乗算値に対して、FIRフィルタ処理を実行することで、前記処理対象画素の高域成分データΔDを取得するFIRフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記FIRフィルタ処理により取得された前記処理対象画素の高域成分データΔDとを加算する加算ステップと、
を備える画像処理方法である。
Claims (8)
- 入力画像を先鋭化する画像処理装置であって、
高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率aを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率aを取得する振幅推定部と、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出部と、
前記処理対象ごとに、前記倍率aと前記類似度とを乗算する乗算部と、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をFIRフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率aと前記類似度との乗算値に対して、FIRフィルタ処理を実行することで、前記処理対象画素の高域成分データΔDを取得するFIRフィルタ部と、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記FIRフィルタ処理により取得された前記処理対象画素の高域成分データΔDとを加算する加算部と、
を備える画像処理装置。 - 前記振幅推定部は、前記高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する、
請求項1に記載の画像処理装置。 - 前記振幅推定部は、前記高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、前記低解像度パターンデータ列を取得する、
請求項1に記載の画像処理装置。 - 前記類似度算出部は、
(1)前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第1の値に設定し、(2)前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を前記第1の値よりも小さい値に設定する、
請求項1から3のいずれかに記載の画像処理装置。 - 振幅推定部は、最小二乗法により、前記倍率aを求める、
請求項1から4のいずれかに記載の画像処理装置。 - 類似度算出部は、最小二乗法により算出した前記倍率aで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との最小二乗誤差値Eminを、前記局所領域内の画素ごとに算出し、(1)前記局所領域内において、前記最小二乗誤差値Eminが最小値である画素の類似度を第1の値に設定し、(2)前記局所領域内において、前記最小二乗誤差値Eminが最小値でない画素の類似度を前記第1の値よりも小さい値に設定する、
請求項1から5のいずれかに記載の画像処理装置。 - 類似度算出部は、
前記倍率aで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との差が小さい程、前記処理対象画素の類似度を大きな値に設定する、
請求項1から6のいずれかに記載の画像処理装置。 - 類似度算出部は、
(1)前記局所領域内において、前記処理対象画素の画素データがピーク値であるとき、前記処理対象画素に対応する類似度を第1の値に設定し、(2)前記局所領域内において、前記処理対象画素の画素データがピーク値ではないとき、前記処理対象画素に対応する類似度を第1の値よりも小さい値に設定する、
請求項1から7のいずれかに記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014013010 | 2014-01-28 | ||
JP2014013010 | 2014-01-28 | ||
PCT/JP2015/050663 WO2015115168A1 (ja) | 2014-01-28 | 2015-01-13 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015115168A1 true JPWO2015115168A1 (ja) | 2017-03-23 |
JP6158956B2 JP6158956B2 (ja) | 2017-07-05 |
Family
ID=53756745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015559850A Expired - Fee Related JP6158956B2 (ja) | 2014-01-28 | 2015-01-13 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9679355B2 (ja) |
JP (1) | JP6158956B2 (ja) |
WO (1) | WO2015115168A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020191030A (ja) * | 2019-05-24 | 2020-11-26 | 株式会社日立製作所 | 画像処理装置 |
CN112381812A (zh) * | 2020-11-20 | 2021-02-19 | 深圳市优象计算技术有限公司 | 一种简单高效的图像质量评估方法及系统 |
JP7188653B1 (ja) * | 2021-02-25 | 2022-12-13 | 三菱電機株式会社 | データ処理装置およびレーダ装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007074307A (ja) * | 2005-09-06 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2011188478A (ja) * | 2010-02-09 | 2011-09-22 | Panasonic Corp | 超解像処理装置及び超解像処理方法 |
JP2013021635A (ja) * | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9825379D0 (en) * | 1998-11-19 | 1999-01-13 | Electrosonic Ltd | Image processing |
US8180180B2 (en) * | 2008-12-29 | 2012-05-15 | Arcsoft Hangzhou Co., Ltd. | Method for magnifying images and videos |
BRPI0924760A2 (pt) | 2009-03-31 | 2016-01-26 | Sharp Kk | dispositivo de otimização de imagem, método de otimização de imagem, programada de otimização de imagem e dispositivo de processamento de sinal |
EP2615579A1 (en) * | 2012-01-12 | 2013-07-17 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
CN105684417B (zh) * | 2013-10-31 | 2019-05-14 | 富士胶片株式会社 | 图像处理装置、摄像装置、参数生成方法、图像处理方法 |
-
2015
- 2015-01-13 WO PCT/JP2015/050663 patent/WO2015115168A1/ja active Application Filing
- 2015-01-13 US US15/036,868 patent/US9679355B2/en not_active Expired - Fee Related
- 2015-01-13 JP JP2015559850A patent/JP6158956B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007074307A (ja) * | 2005-09-06 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2011188478A (ja) * | 2010-02-09 | 2011-09-22 | Panasonic Corp | 超解像処理装置及び超解像処理方法 |
JP2013021635A (ja) * | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Non-Patent Citations (1)
Title |
---|
橋上 英宜: "画像処理", 画像ラボ 第24巻 第4号 IMAGE LABORATORY, JPN6017019036, 10 April 2013 (2013-04-10), JP, pages 23-28 * |
Also Published As
Publication number | Publication date |
---|---|
JP6158956B2 (ja) | 2017-07-05 |
US20160307293A1 (en) | 2016-10-20 |
US9679355B2 (en) | 2017-06-13 |
WO2015115168A1 (ja) | 2015-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102194216B (zh) | 图像处理设备和图像处理方法 | |
JP2015507273A (ja) | 低解像入力データ構造の超解像バージョンを生成する方法及び装置 | |
JP5452116B2 (ja) | 高解像度映像取得装置およびその方法 | |
Hung et al. | Fast image interpolation using the bilateral filter | |
WO2015180053A1 (zh) | 一种快速超分辨率图像重建方法和装置 | |
JP6116291B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2013235594A (ja) | 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 | |
WO2010140281A1 (ja) | 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6462372B2 (ja) | 超解像装置及びプログラム | |
Mahajan et al. | Adaptive and non-adaptive image interpolation techniques | |
JP6158956B2 (ja) | 画像処理装置 | |
JP4847531B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
WO2017092662A1 (zh) | 视频分辨率提升方法及装置 | |
JPWO2016075914A1 (ja) | 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム | |
Xiao et al. | Detail enhancement of image super-resolution based on detail synthesis | |
US20160371819A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur | |
JP6174903B2 (ja) | 空間・階調超解像装置及びプログラム | |
JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP6997969B2 (ja) | 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 | |
KR101711589B1 (ko) | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 | |
Khosravi et al. | A new statistical technique for interpolation of landsat images | |
JP2010257179A (ja) | 画像処理装置及び画像処理プログラム | |
JP2011197954A (ja) | 信号処理装置及びプログラム | |
KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
JP5683307B2 (ja) | 間引きフィルタ及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6158956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |