WO2015115168A1

WO2015115168A1 - 画像処理装置

Info

Publication number: WO2015115168A1
Application number: PCT/JP2015/050663
Authority: WO
Inventors: 善光村橋
Original assignee: シャープ株式会社
Priority date: 2014-01-28
Filing date: 2015-01-13
Publication date: 2015-08-06
Also published as: JP6158956B2; US9679355B2; JPWO2015115168A1; US20160307293A1

Abstract

低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現する。画像処理装置（１００）において、振幅推定部（１）は、入力画像信号が、低解像度パターンＰｔｎＬと類似するように、局所領域における倍率ａを算出する。類似度算出部（２）は、低解像度パターンＰｔｎＬと類似する画素位置において、大きな値の類似度ｓを出力する。ＦＩＲフィルタ部（４）は、ＦＩＲフィルタ係数を差分パターンＰｔｎＤｉｆｆにより設定し、倍率ａと類似度ｓとの積を入力として、ＦＩＲフィルタ処理を行うことで、高域成分ΔＤを取得する。そして、加算部（５）により、入力画像Ｄｉｎに、高域成分ΔＤが加算されることで、高精細な出力画像Ｄｏｕｔを取得する。

Description

画像処理装置

　本発明は、画像処理技術に関し、例えば、アップスケール処理が実行された画像において、ディテール部分を適切に改善する技術に関する。

　一般に、ＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）画質等の低解像度の画像（映像）は、ＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）画質等の高解像度の画像（映像）を表示する高解像度ディスプレイに表示される場合、入力画像（映像）をディスプレイ全体に表示させるために、入力画像（映像）を引き延ばす(拡大)するアップスケールという処理（アップスケール処理）がなされる。しかし、アップスケール処理を実行しただけの画像（映像）を、そのまめ、高解像度ディスプレイに表示させると、真のＨＤ画質の画像（映像）に比べて、ぼけた印象の画像（映像）として表示される。このため、ＳＤ画質等の低解像度の画像（映像）をアップスケールした場合、アップスケール処理後の画像（映像）に対して、画像を鮮鋭化する処理（画像先鋭化処理）が実行されることがある。

　一般的に、アップスケール処理等により失われた画像のディテール部分を再現させるためには、高周波成分を補う必要がある。

　例えば、特許文献１（特許第５２８１６９０号公報）に開示されている技術では、入力画像信号に対して、高周波成分を抽出し、抽出した高周波成分に対してリミット処理を行い、リミット処理後の高周波成分を、入力画像信号に加算させる。これにより、特許文献１に開示されている技術では、入力画像信号の高域成分を強調した信号を取得することができる。

　しかしながら、特許文献１に開示されている技術では、元の信号（入力画像信号）に含まれている高周波成分を強調して処理を行っているに過ぎないので、適切に画像先鋭化処理を実行することができない場合がある。

　例えば、低解像度の画像をアップスケールした場合、髪の毛などのように、線の細い部分（画像領域）が太くなってしまう。このような画像（画像信号）に対して、従来技術のように、当該画像（画像信号）に含まれている高周波成分を強調しても、太くなってしまった線等は、太くなったまま強調される（例えば、輪郭がはっきりするように強調される）だけであり、アップスケール前の細い線に再現させることは困難である。

　つまり、従来の技術では、元の信号（入力画像信号）に含まれている高周波成分を強調して処理を行っているに過ぎないので、元の信号（入力画像信号）に含まれている信号帯域以上の成分を強調する処理や、アップスケール処理によって太くなってしまった線を、元の細い線に再現させることは困難である。また、従来の技術では、入力画像信号に、当該画像信号に含まれている高周波成分を加算する処理が実行されるので、振幅の大きな入力画像信号に対して、ノイズを不必要に強調したり、また、振幅の大きな入力画像信号に対して、過剰にオーバーシュートが発生したりするという問題点もある。

　そこで、本発明は、上記問題点に鑑み、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することを目的とする。

　上記課題を解決するために、第１の構成は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。

　振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理して取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率ａを取得する。

　類似度算出部は、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が少ない程、処理対象画素の類似度値を、調整後低解像度パターンデータ列と画素データ列との類似の程度が高いことを示す値に設定する。

　乗算部は、処理対象ごとに、倍率ａと類似度とを乗算する。

　ＦＩＲフィルタ部は、低解像度パターンデータ列から高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、処理対象画素ごとに、乗算部により取得された倍率ａと類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、処理対象画素の高域成分データΔＤを取得する。

　加算部は、処理対象画素ごとに、当該処理対象画素の画素データと、ＦＩＲフィルタ処理により取得された処理対象画素の高域成分データΔＤとを加算する。

　本発明によれば、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することができる。

第１実施形態に係る画像処理システム１０００の概略構成図。細線化処理の原理を説明するための図。局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）とを示す図。第１実施形態の振幅推定部１の概略構成図。第１実施形態の類似度算出部２の概略構成図。第１実施形態の類似度決定部２１の概略構成図。入力画像信号Ｄｉｎの信号波形、類似度ｓの信号波形を示す図。（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）最小２乗誤差Ｅｍｉｎ（ｘ）の信号波形と、（４）類似度ｓ（＝ｓ（ｘ））の信号波形とを示す図。第１実施形態のＦＩＲフィルタ部４の概略構成図。（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）乗算部３の出力信号ｓ×ａ（＝ｓ（ｘ）×ａ（ｘ））の信号波形と、（４）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形とを示す図。図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（５）出力信号Ｄｏｕｔの信号波形とを示す図。第１実施形態の第１変形例における振幅推定部１の処理について説明するための図。第１実施形態の第１変形例における類似度決定部の入出力特性を示す図。第１実施形態の第３変形例における類似度算出部２Ａの概略構成図。入力画像Ｄｉｎの信号波形と、本変形例の類似度算出部２Ａにより取得された類似度ｓとを示す図。第１実施形態の第４変形例に係る画像処理システム１０００Ａの概略構成図。第２実施形態の画像処理方法のフローチャート。第２実施形態の画像処理方法のフローチャート。第２実施形態の画像処理方法のフローチャート。第２実施形態の画像処理方法のフローチャート。

　［第１実施形態］
　第１実施形態について、図面を参照しながら、以下、説明する。

　＜１．１：画像処理システムの構成＞
　図１は、第１実施形態に係る画像処理システム１０００の概略構成図である。

　画像処理システム１０００は、図１に示すように、画像処理部（画像処理装置）１００と、パターン生成部２００とを備える。

　画像処理部１００は、図１に示すように、振幅推定部１と、類似度算出部２と、乗算部３と、ＦＩＲフィルタ部４と、加算部５と、を備える。

　振幅推定部１は、入力画像（入力画像信号）Ｄｉｎと、パターン生成部２００から出力される低解像度パターン信号ＰｔｎＬと、を入力する。振幅推定部１は、入力画像信号Ｄｉｎと低解像度パターン信号ＰｔｎＬとに基づいて、振幅推定値ａを取得し、取得した推定振幅値ａ（推定振幅値ａを示す信号）を、乗算部３に出力する。

　類似度算出部２は、入力画像（入力画像信号）Ｄｉｎと、パターン生成部２００から出力される低解像度パターン信号ＰｔｎＬと、を入力する。類似度算出部２は、入力画像信号Ｄｉｎと低解像度パターン信号ＰｔｎＬとに基づいて、類似度値ｓを取得し、取得した類似度値ｓ（類似度値ｓを示す信号）を、乗算部３に出力する。

　乗算部３は、振幅推定部１から出力される推定振幅値ａ（推定振幅値信号ａ）と、類似度算出部２から出力される類似度値ｓ（類似度値信号ｓ）とを入力する。乗算部は、入力された推定振幅値ａ（推定振幅値信号ａ）と類似度値ｓ（類似度値信号ｓ）とを乗算し、乗算処理により取得された信号をＦＩＲフィルタ部４に出力する。

　ＦＩＲフィルタ部４は、パターン生成部２００から出力される差分パターン信号ＰｔｎＤｉｆｆと、乗算部３から出力される、推定振幅値ａ（推定振幅値信号ａ）と類似度値ｓ（類似度値信号ｓ）との乗算結果信号と、を入力する。ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆに基づいて、ＦＩＲフィルタのフィルタ係数を設定し、乗算部３から出力される信号（乗算結果信号）に対して、ＦＩＲフィルタ処理を実行する。そして、ＦＩＲフィルタ部４は、ＦＩＲフィルタ処理後の信号を、差分信号ΔＤとして、加算部５に出力する。

　加算部５は、入力画像（入力画像信号）Ｄｉｎと、ＦＩＲフィルタ部４から出力される差分信号ΔＤと、を入力する。そして、加算部５は、入力画像信号Ｄｉｎと、差分信号ΔＤとを加算し、当該加算処理により取得された信号を、画像信号Ｄｏｕｔとして、出力する。

　パターン生成部２００は、図１に示すように、ダウンスケール処理部２０１と、アップスケール処理部２０２と、減算部２３とを備える。

　ダウンスケール処理部２０１は、高解像度パターン信号ＰｔｎＨを入力とし、入力された高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理を実行する。そして、ダウンスケール処理部２０１は、ダウンスケール処理後の信号をアップスケール処理部２０２に出力する。

　アップスケール処理部２０２は、ダウンスケール処理部２０１から出力される信号を入力とし、入力された信号に対して、アップスケール処理を実行する。そして、アップスケール処理部２０２は、アップ処理後の信号を、低解像度パターン信号ＰｔｎＬとして、画像処理部１００の振幅推定部１および類似度算出部２に出力する。また、アップスケール処理部２０２は、低解像度パターン信号ＰｔｎＬを減算部２３にも出力する。

　減算部２３は、高解像度パターン信号ＰｔｎＨと、アップスケール処理部２０２から出力される低解像度パターン信号ＰｔｎＬとを入力とし、低解像度パターン信号ＰｔｎＬから高解像度パターン信号ＰｔｎＨを減算する処理を行う。そして、減算部２３は、当該減算処理により取得された信号を、差分パターン信号ＰｔｎＤｉｆｆとして、画像処理部１００のＦＩＲフィルタ部４に出力する。

　＜１．２：解像度推定装置の動作＞
　以上のように構成された画像処理システム１０００の動作について、以下、説明する。

　まず、本発明の原理を説明するため、高解像度画像（例えば、ＨＤ映像）が一度ダウンスケールされて、再びアップスケールされた画像（映像）を例に、線を細く表現するための原理について、図２を用いて説明する。

　図２は、細線化処理の原理を説明するための図である。なお、図２では、説明を簡単にするため、２次元画像の１次元軸（例えば、水平軸）上のデータを抽出し、１次元データとして図示している。

　図２では、画像信号Ａ～Ｄを、横軸を１次元軸（例えば、水平軸）の座標位置とし、縦軸を画素値（例えば、輝度値）として、描いている。

　図２に示すように、画像信号Ａは、例えば、１次元軸（例えば、水平軸）方向の線幅ｗ１の（当該１次元軸方向と直交する方向に延びる）線（例えば、垂直軸方向に延びる線）に相当する画像を形成する画像信号である。

　画像信号Ｂは、画像信号Ａに対してダウンスケール処理（例えば、デシメート処理および平滑化処理）を実行した後の画像信号である。

　画像信号Ｃは、画像信号Ｂに対して、アップスケール処理（例えば、インターポーレート処理および平滑化処理）を実行した後の画像信号である。つまり、画像信号Ｃは、真のＨＤ画質の画像信号Ａが、一度ダウンスケールされて画像信号Ｂとなり、その画像信号Ｂを、再び、アップスケールされた後の画像信号である。

　画像信号Ｄは、画像信号Ａから画像信号Ｃを減算して取得された差分信号である。すなわち、
　　（画像信号Ｄ）＝（画像信号Ａ）―（画像信号Ｃ）
である。

　図２から分かるように、画像信号Ａにおいて、線幅ｗ１の線に相当する部分が、画像信号Ｃでは、画素値（輝度値）のピークが半分程度になり、さらに、線幅がｗ２とその太さが約３倍に太くなっている。

　アップスケールされた画像信号Ｃにおいて、精細感が感じられない要因の一つとして、このように、原画像において細い線が、アップスケールされた画像において、太くなっていることが原因として考えられる。

　もし、画像信号Ｃの線部分の幅（線幅）ｗ２を、原画像である画像信号Ａの線幅ｗ１の細さに復元することができれば、画像信号Ｃが形成する画像において、精細感を得ることができる。

　そこで、画像処理システム１０００では、画像信号Ｃのパターンを示す信号を、低解像度パターン信号ＰｔｎＬとし、入力画像信号Ｄｉｎ中に、低解像度パターン信号ＰｔｎＬに似た信号パターン（信号系列）が現れた場合、画像信号Ｄのパターンを示す信号を、入力画像信号Ｄｉｎに加算する。これにより、画像処理システム１０００では、画像信号Ａのような精細感のある画像（映像）を取得する。

　このような原理（考え方）に基づいて、パターン生成部２００では、図２の画像信号Ａに相当する高解像度パターン信号ＰｔｎＨから、図２の画像信号Ｃに相当する低解像度パターン信号ＰｔｎＬと、図２の画像信号Ｄ（差分信号Ｄ）に相当する差分パターン信号ＰｔｎＤｉｆｆとが生成される。具体的には、パターン生成部２００では、以下のように処理が実行される。

　高解像度パターン信号ＰｔｎＨは、ダウンスケール処理部２０１および減算部２３に入力される。

　ダウンスケール処理部２０１では、高解像度パターン信号ＰｔｎＨは、ダウンスケール処理（例えば、デシメート処理および平滑化処理）が実行される。そして、ダウンスケール処理が実行された信号は、アップスケール処理部２０２に出力される。

　アップスケール処理部２０２では、ダウンスケール処理部２０１から出力された信号に対して、アップスケール処理（例えば、インターポーレート処理および平滑化処理）が実行されることで、低解像度パターン信号ＰｔｎＬが取得される。そして、取得された低解像度パターン信号ＰｔｎＬは、減算部２３と、画像処理部１００の振幅推定部１と、画像処理部１００の類似度算出部２とに、出力される。

　減算部２３では、高解像度パターン信号ＰｔｎＨから、低解像度パターン信号ＰｔｎＬを減算する処理を実行することで、差分パターン信号ＰｔｎＤｉｆｆを取得する。つまり、減算部２３は、
　　ＰｔｎＤｉｆｆ＝ＰｔｎＨ―ＰｔｎＬ
に相当する処理により、差分パターン信号ＰｔｎＤｉｆｆを取得する。

　そして、減算部２３により取得された差分パターン信号ＰｔｎＤｉｆｆは、画像処理部１００のＦＩＲフィルタ部４に出力される。

　（１．２．１：振幅推定処理）
　画像処理部１００の振幅推定部１では、入力画像信号Ｄｉｎに対して、低解像度パターン信号ＰｔｎＬを用いて、振幅推定処理が実行される。

　具体的には、振幅推定部１は、局所領域ｕにおいて、入力画像信号Ｄｉｎと、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号との差が最小となる倍率ａ（振幅ａ）を算出する。これについて、図３を用いて説明する。

　図３は、局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）とを示す図である。

　なお、ここで、入力画像信号Ｄｉｎをｆ（ｘ）とし、低解像度パターン信号ＰｔｎＬをｋ（ｕ）とし、局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅとすると、振幅推定部１は、

が最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を求める。なお、振幅ａ（ｘ）は、実数であり、負の値が許容される。また、上式におけるシグマ記号は、局所領域ｕにおいて、Ｎ個のサンプル点において、シグマ演算（加算処理）を行うことを意味している（以下、同様）。

　振幅推定部１は、上式による２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を最小２乗法により算出する。具体的には、振幅推定部１は、

により、２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を算出する。

　なお、上式は、

として、算出される。

　なお、上式から分かるように、Ｓ_ｋ、Ｓ_ｋ２、Ａ１、Ａ２、Ｂ１、Ｂ２は、低解像度パターン信号ｋ（ｕ）が決定されれば、定数となるので、予め設定しておくことが好ましい。

　なお、上記算出処理は、例えば、図４に示す構成により、ハードウェア処理により実行されるものであってもよい。なお、図４の四角で示した部分は、遅延器（例えば、Ｄフリップフロップや、１ライン分の遅延器（ラインメモリ）等）である。図４の場合、局所領域ｕは、処理対象画素（注目画素）ｆ（ｘ）を中心とする５個（Ｎ＝５）のサンプル点を含む領域であり、当該局所領域において、振幅推定部１は、上記処理を実行し、振幅ａ（ａ（ｘ））を算出する。

　このようにして、振幅推定部１において算出された振幅ａ（＝ａ（ｘ））は、振幅推定部１から乗算部３に出力される。

　（１．２．２：類似度算出処理）
　画像処理部１００の類似度算出部２では、入力画像信号Ｄｉｎに対して、低解像度パターン信号ＰｔｎＬを用いて、類似度算出処理が実行される。

　局所領域において、入力画像Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅが、局所領域において、最小となる場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、それ以外の場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。

　すなわち、類似度算出部２は、２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を算出する。そして、類似度算出部２は、算出した値に振幅ａ（ｘ）およびオフセット値ｂ（ｘ）を設定した場合において、２乗誤差Ｅが、（１）局所領域内において最小となるときは、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内において最小ではないときは、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。

　具体的には、類似度算出部２は、下記数式により算出される最小２乗誤差Ｅｍｉｎが、（１）局所領域で最小値となる場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内で最小値とならない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。

　なお、ここで、上記最小２乗誤差Ｅｍｉｎについて、説明する。

　入力画像Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅは、以下のように展開することができる。

　上記２乗誤差Ｅが最小値をとる場合の極値条件は、２乗誤差Ｅのａについての偏微分値が「０」であり、かつ、２乗誤差Ｅのｂについての偏微分値が「０」であることである。すなわち、上記２乗誤差Ｅが最小値をとる場合の極値条件は、以下の通りである。

　上記（数式５）～（数式７）により、

となる。

　したがって、類似度算出部２は、（数式４）により算出される最小２乗誤差Ｅｍｉｎが、（１）局所領域で最小値となる場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内で最小値とならない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。

　なお、上記算出処理は、例えば、図５、図６に示す構成により、ハードウェア処理により実行されるものであってもよい。図５、図６の場合、振幅ａ（ｘ）およびオフセット値ｂ（ｘ）を算出するための局所領域ｕは、処理対象画素（注目画素）ｆ（ｘ）を中心とする５個（Ｎ＝５）のサンプル点を含む領域であり、最小２乗誤差Ｅｍｉｎを算出（決定）するための局所領域ｕ’は、処理対象画素（注目画素）の最小２乗誤差Ｅｍｉｎ（ｘ）を中心とする９個（Ｎ＝５）のサンプル点を含む領域である。図６に示す類似度決定部２１の最小値判定部２１１は、Ｅ（ｘ－４）～Ｅ（ｘ＋４）の９個のサンプル点において、処理対象画素（注目画素）の最小２乗誤差Ｅ（ｘ）が最小値であるか否かを判定する。そして、類似度決定部２１の最小値判定部２１１は、Ｅ（ｘ）が最小値である場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、一方、Ｅ（ｘ）が最小値ではない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。

　例えば、図７に示す入力画像信号Ｄｉｎに対して、類似度算出処理を実行する場合、図７に示すように、低解像度パターン信号ＰｔｎＬ（例えば、図７に示すＰｔｎ１～Ｐｔｎ５）を用いて、類似度を検証する。図７の場合、ｘ＝ｘ０にピークを有するＰｔｎ３の低解像度パターン信号ＰｔｎＬと、入力画像信号Ｄｉｎとの類似度が高いので、ｘ＝ｘ０において、最小２乗誤差Ｅｍｉｎが最小値（極小値）をとる。したがって、図７に示すように、ｘ＝ｘ０において、Ｓ＝１となり、それ以外の部分では、Ｓ＝０となる。

　図８に、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）最小２乗誤差Ｅｍｉｎ（ｘ）の信号波形と、（４）類似度ｓ（＝ｓ（ｘ））の信号波形とを、横軸（ｘ座標軸）を一致させて示している。

　また、図８において、ＡＲ（ｘ）は、中心をｘとする局所領域を示しており、図８の場合、局所領域に含まれる画素数（サンプル数）は、「９」である。

　図８から分かるように、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、低解像度パターン信号ＰｔｎＬと類似する信号波形（信号パターン）が発生している。

　つまり、
（１）局所領域ＡＲ（ｘ１）において、ｘ＝ｘ１のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ１）となり、
（２）局所領域ＡＲ（ｘ２）において、ｘ＝ｘ２のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ２）となり、
（３）局所領域ＡＲ（ｘ３）において、ｘ＝ｘ３のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ３）となり、
（４）局所領域ＡＲ（ｘ４）において、ｘ＝ｘ４のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ４）となる。

　したがって、図８に示すように、Ｓ（＝Ｓ（ｘ））は、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、Ｓ＝１となり、それ以外のｘ座標位置では、Ｓ＝０となる。なお、振幅ａ（ｘ）は、実数であり、負の値が許容されるので、低解像度パターン信号ＰｔｎＬ（ｋ（ｕ）に対応）の信号値が反転した波形であっても、Ｓ＝１となりうる。

　このようにして、類似度算出部２において算出（決定）された類似度ｓ（＝ｓ（ｘ））は、類似度算出部２から乗算部３に出力される。

　乗算部３では、振幅推定部１から出力される振幅ａ（＝ａ（ｘ））と、類似度算出部２から出力される類似度ｓ（＝ｓ（ｘ））とが乗算される。そして、乗算処理後の信号（＝ａ×ｓ（＝ａ（ｘ）×ｓ（ｘ）））が、ＦＩＲフィルタ部４に出力される。

　（１．２．３：ＦＩＲフィルタ処理）
　画像処理部１００のＦＩＲフィルタ部４では、乗算部３から出力される、振幅ａ（＝ａ（ｘ））と類似度ｓ（＝ｓ（ｘ））の乗算信号（ａ×ｓ）に対して、差分パターン信号ＰｔｎＤｉｆｆを用いて、ＦＩＲフィルタ処理が実行される。

　つまり、ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆのデータ列をＦＩＲフィルタ係数とするＦＩＲフィルタ処理を実行する。すなわち、差分パターン信号ＰｔｎＤｉｆｆをｄ（ｘ＋ｉ）（ｉ：整数、－ｎ≦ｉ≦ｎ）とすると、ＦＩＲフィルタ部４は、

に相当する処理を実行することで、ＦＩＲフィルタ処理後の信号ΔＤ（ｘ）を取得する。

　なお、上記ＦＩＲフィルタ処理は、例えば、図９に示す構成により、ハードウェア処理により実行されるものであってもよい。図９に示した構成では、上記数式において、ｎ＝４とした場合のＦＩＲフィルタ処理が実行される。なお、図９の合計部４１は、各入力を加算する（シグマ演算）を行う。

　ここで、ＦＩＲフィルタ処理について、図１０を用いて、説明する。

　図１０は、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）乗算部３の出力信号ｓ×ａ（＝ｓ（ｘ）×ａ（ｘ））の信号波形と、（４）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形とを、横軸（ｘ座標軸）を一致させて示している。

　上記ＦＩＲフィルタ処理では、インパルス応答（ｘ＝ｘａにおいてのみ振幅「１」の信号が入力されたときの出力）の信号波形が、差分パターン信号ＰｔｎＤｉｆｆのデータ列と一致する。したがって、ｘ＝ｘａにおいてのみ非０の信号値ａ（ｘａ）をとり、ｘ＝ｘａ以外において、「０」の信号値をとる信号を、ＦＩＲフィルタ部４に入力すると、ＦＩＲフィルタ部４からは、差分パターン信号ＰｔｎＤｉｆｆを、その信号値をａ（ｘａ）倍した信号が出力される。

　図１０に示すように、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、ＦＩＲフィルタ部４から出力される信号は、以下のようになる。
（１）ｘ＝ｘ１において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ１）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ１）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（２）ｘ＝ｘ２において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ２）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ２）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（３）ｘ＝ｘ３において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ３）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ３）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（４）ｘ＝ｘ４において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ４）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ４）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。

　このようにして、ＦＩＲフィルタ部４により取得された信号は、差分信号ΔＤ（＝ΔＤ（ｘ））として、加算部５に出力される。

　加算部５では、入力画像信号Ｄｉｎと、ＦＩＲフィルタ部４から出力された差分信号ΔＤとが加算される。すなわち、加算部５では、
　　Ｄｏｕｔ＝Ｄｉｎ＋ΔＤ
に相当する処理が実行され、出力画像信号Ｄｏｕｔが取得される。

　図１１に、図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形（図１０において、「ＰｔｎＬ×ａ（ｘ１）」で示した信号波形）と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（５）出力信号Ｄｏｕｔの信号波形とを、横軸（ｘ座標軸）を一致させて示している。また、図１１の左側に低解像度パターン信号ＰｔｎＬと、差分パターン信号ＰｔｎＤｉｆｆとを示している。

　図１１に示すように、画像処理システム１０００では、振幅推定部１により、低解像度パターン信号ＰｔｎＬをａ倍して、オフセットｂを加算したときの信号波形と、入力画像信号Ｄｉｎとの誤差が最も小さくなるように、倍率ａが設定される。そして、画像処理システム１０００では、類似度算出部２により、局所領域において、低解像度パターン信号ＰｔｎＬをａ倍して、オフセットｂを加算したときの信号波形と、入力画像信号との最小２乗誤差Ｅｍｉｎが最小値となる位置（図１１ではｘ座標位置がｘ１の位置）を検出し、その位置における類似度を「１」に設定する（図１１の場合、Ｓ（ｘ１）＝１）。そして、画像処理システム１０００では、乗算部３により生成された乗算信号ｓ×ａが、ＦＩＲフィルタ部４に入力されることで、ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆの信号値をａ倍した信号ΔＤを出力する。そして、画像処理システム１０００では、加算部５により、差分パターン信号ＰｔｎＤｉｆｆの信号値をａ倍した信号ΔＤと、入力画像信号Ｄｉｎとが加算される。これにより、画像処理システム１０００では、図１１に示すように、ｘ＝ｘ１近傍において、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。

　以上のように、画像処理システム１０００では、高解像度パターン信号ＰｔｎＨをダウンスケール処理し、さらに、アップスケール処理したときの低解像度パターン信号ＰｔｎＬをａ倍した信号波形を用いて、当該信号波形と類似する信号波形部分を、入力画像信号において検出する。そして、画像処理システム１０００では、上記のように検出した、入力画像信号の信号部分に、高解像度パターン信号ＰｔｎＨと低解像度パターン信号ＰｔｎＬとの差分である差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形を加算する。入力画像信号Ｄｉｎにおいて、低解像度パターン信号ＰｔｎＬをａ倍した信号波形と類似する信号波形部分は、ダウンスケール処理され、さらに、アップスケール処理されることで、高域成分が失われた部分であり、その失われた高域成分は、差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形（信号ΔＤ）に類似する。

　したがって、画像処理システム１０００では、入力画像信号Ｄｉｎに対して、差分パターン信号ＰｔｎＤｉｆｆをａ倍（倍率ａは、低解像度パターン信号ＰｔｎＬをａ倍した信号波形と入力画像信号Ｄｉｎとの差が局所領域において最小となる倍率）した信号波形（信号ΔＤ）を加算することで、ダウンスケール処理され、さらに、アップスケール処理されることで失われた高域成分を適切に復元することができる。

　このように、画像処理システム１０００では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、画像処理システム１０００では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、画像処理システム１０００で取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。

　≪第１変形例≫
　次に、第１実施形態の第１変形例について説明する。

　なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

　本変形例の画像処理システムは、第１実施形態の画像処理システム１０００と同様の構成を有しており、振幅推定部１で実行される処理のみが異なる。

　図１２は、本変形例における振幅推定部１の処理について説明するための図である。

　本変形例における振幅推定部１では、第１実施形態のように最小二乗法により、振幅ａを求めるのではなく、簡易的に、振幅ａを求める。

　具体的には、図１２に示すように、振幅推定部１は、処理対象画素をｘ＝ｘ０の画素とすると、図１２に示すように、領域ＡＲ＿ｐと、ｘ軸上における、領域ＡＲ＿ｐの前後の領域ＡＲ＿ｆ１、ＡＲ＿ｆ２を設定する。図１２に示す領域ＡＲ＿ｐに含まれる画素の画素値（信号値）の平均値ＡｖｅＰと、領域ＡＲ＿ｆ１およびＡＲ＿ｆ２に含まれる画素の画素値（信号値）の平均値ＡｖｅＦとに基づいて、振幅ａ（＝ａ（ｘ））を求める。つまり、振幅推定部１は、

により、領域ＡＲ＿ｐに含まれる画素の画素値（信号値）の平均値ＡｖｅＰと、領域ＡＲ＿ｆ１およびＡＲ＿ｆ２に含まれる画素の画素値（信号値）の平均値ＡｖｅＦとを算出する。

　なお、ｎは、領域ＡＲ＿ｐの中心の前後のサンプル数であり。ｍは、領域ＡＲ＿ｐ、領域ＡＲ＿ｆ１、領域ＡＲ＿ｆ２により構成される領域における中心の前後のサンプル数である。図１２は、ｎ＝１、ｍ＝５の場合を示している。

　そして、低解像度パターン信号ＰｔｎＬの振幅をａ０とすると、
　　ａ（ｘ０）＝（ＡｖｅＰ－ＡｖｅＦ）／ａ０
により、処理対象画素ｘ＝ｘ０における、振幅ａ（ｘ）（＝ａ（ｘ０））を算出する。

　これにより、本変形例では、第１実施形態のように、最小二乗法による算出処理を行うことなく、簡易に、倍率ａ（＝ａ（ｘ））を算出することができる。

　≪第２変形例≫
　次に、第１実施形態の第２変形例について説明する。

　なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。

　本変形例の画像処理システムは、第１実施形態の画像処理システム１０００の類似度算出部２の類似度決定部２１の処理内容が異なる。

　第１実施形態の類似度決定部２１では、図６に示す構成を有しており、処理対象画素が、局所領域におけるＥｍｉｎの最小値をとるか否かを判断していた。それに対して、本変形例の類似度決定部２１は、図６に示す構成の代わりに、図１３に示すような入出力特性を有するＲＯＭ等により構成される。つまり、本変形例の類似度決定部２１は、図１３に示すように、入力される最小２乗誤差Ｅｍｉｎの値が「０」に近づく程、出力値、すなわち、類似度が「１」に近づいて大きくなる。

　これにより、０～１の間の中間値を有する類似度ｓが類似度算出部２から出力される。

　つまり、本変形例の画像処理システムでは、０～１の間の中間値を有する類似度ｓを用いて処理を行うことができる。

　なお、本変形例の類似度決定部２１の入出力特性は、上記に限定されることなく、入力である最小２乗誤差Ｅｍｉｎの値に対して単調減少となる特性であれば、他の特性であってもよい。また、本変形例の類似度決定部２１は、ＲＯＭ等によって実現されるものであってもよく、また、演算により上記入出力特性を実現するものであってもよい。

　≪第３変形例≫
　次に、第１実施形態の第３変形例について説明する。

　本変形例の画像処理システムは、第１実施形態の画像処理システム１０００において、類似度算出部２を、図１４に示す類似度算出部２Ａに置換した構成を有している。それ以外については、本変形例の画像処理システムは、第１実施形態の画像処理システム１０００と同様である。

　本変形例の類似度算出部２Ａは、入力画像Ｄｉｎの局所領域（図１４の場合、９個の画素からなる局所領域）において、処理対象画素が、ピーク値（最大値または最小値）をとる場合、類似度ｓ＝１として、類似度ｓを出力し、それ以外の場合、類似度ｓ＝０として、類似度ｓを出力する。

　図１５に、入力画像Ｄｉｎの信号波形と、本変形例の類似度算出部２Ａにより取得された類似度ｓとを、ｘ軸を一致させて示す。

　図１５から分かるように、本変形例の類似度算出部２Ａにより、適切に、類似度ｓが算出（決定）されている。なお、図１５の場合、局所領域は、９個の画素（サンプル点）からなる局所領域である。

　このように、本変形例の画像処理システムでは、簡易に、類似度ｓを算出することができる。

　≪第４変形例≫
　次に、第１実施形態の第４変形例について説明する。

　図１６に、第１実施形態の第４変形例の画像処理システム１０００Ａの概略構成図を示す。

　本変形例の画像処理システム１０００Ａは、第１実施形態の画像処理システム１０００のパターン生成部２００をパターン生成部２００Ａに置換した構成を有している。具体的には、本変形例の画像処理システム１０００Ａは、図１６に示すように、第１実施形態のパターン生成部２００において、ダウンスケール処理部２０１およびアップスケール処理部２０２を、低域通過フィルタ部２０４に置換した構成を有している。これ以外については、本変形例の画像処理システム１０００Ａは、第１実施形態の画像処理システム１０００と同様である。

　低域通過フィルタ部２０４は、高解像度パターン信号ＰｔｎＨを入力とし、入力された高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理（ローパスフィルタ処理）を実行する。そして、低域通過フィルタ部２０４は、低域通過フィルタ処理後の信号を、低解像度パターン信号ＰｔｎＬとして、減算部２３および振幅推定部１に出力する。

　なお、「低域通過フィルタ処理」は、高解像度パターン信号ＰｔｎＨが、当該低域通過フィルタ処理を実行されたときに取得される信号波形と、高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形とが、類似するように（例えば、両者（２つの信号波形）の差（誤差）が所定の範囲に入るように）、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。

　第１実施形態の画像処理システム１０００において、高解像度パターン信号ＰｔｎＨを、ダウンスケール処理部２０１によりダウンスケール処理が実行された後、アップスケール処理部２０２によりアップスケール処理が実行されることで取得される低解像度パターン信号ＰｔｎＬは、高解像度パターン信号ＰｔｎＨの高域成分を削減した信号となる。つまり、この信号は、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで取得される信号と近似する。

　本変形の画像処理システム１０００Ａでは、上記のように、低域通過フィルタ部２０４により、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで、低解像度パターン信号ＰｔｎＬを取得する。したがって、本変形の画像処理システム１０００Ａにおいて取得される低解像度パターン信号ＰｔｎＬは、第１実施形態の画像処理システム１０００において取得される低解像度パターン信号ＰｔｎＬと近似する。その結果、画像処理システム１０００Ａでは、パターン生成部２００Ａにより取得された低解像度パターン信号ＰｔｎＬを用いて、処理を行うことで、第１実施形態と同様の処理を実現することができる。

　また、本変形例の画像処理システム１０００Ａでは、上記のように、低域通過フィルタ部２０４による低域通過フィルタ処理を行うだけで、低解像度パターン信号ＰｔｎＬを取得することができるので、第１実施形態に比べて、演算量を少なくすることができる。

　例えば、画像処理システムを実現する場合、計算機リソースに余裕がある場合、第１実施形態の画像処理システム１０００の構成を採用すればよい。この場合、高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理部２０１によるダウンスケール処理、および、アップスケール処理部２０２によりアップスケール処理を実行することで、精度の高い低解像度パターン信号ＰｔｎＬが取得される。デシメート処理で発生するわずかな折り返しひずみも再現してモデルを生成することができるためである。

　一方、計算機リソースに余裕がない場合、本変形例の画像処理システム１０００Ａの構成を採用すればよい。この場合、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ部２０４による低域通過フィルタ処理を行うだけで、低解像度パターン信号ＰｔｎＬを取得することができるので、演算量を少なくでき、必要とされる計算機リソースを低減することができる。

　［第２実施形態］
　次に、第２実施形態について、説明する。

　なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付す。

　図１７～図２０は、第２実施形態に係る画像処理方法のフローチャートである。

　図１７～図２０のフローチャートを用いて、本実施形態の画像処理方法について、説明する。

　なお、本実施形態の解像度推定方法は、例えば、第１実施形態の画像処理システムや、制御部（ＣＰＵ等）、画像メモリ、ＲＯＭ、ＲＡＭ等を備えたシステムにより実行される。

　（Ｓ１）：
　ステップＳ１では、高解像度パターンを低解像度化したパターン（低解像度パターン）ｋ（ｕ）が設定される（算出される）。

　（Ｓ２）：
　ステップＳ２では、高解像度パターンと低解像度パターンとの差分である差分パターンｄ（ｕ）が設定（算出）される。

　（Ｓ３）：
　ステップＳ３では、低解像度パターンｋ（ｕ）から、第１実施形態の（数式３）で説明したのと同様に、Ａ１、Ａ２、Ｂ１、Ｂ２が算出される。なお、（数式３）におけるＮは、局所領域に含まれるサンプル数を示す。また、Ｎ＝２×ｎ＋１とし、ｎは、処理対象画素（注目画素）の画素位置ｘを中心として、局所領域の範囲を示す値である。つまり、局所領域は、（ｘ－ｎ）～（ｘ＋ｎ）で表される。

　（Ｓ４）：
　ステップＳ４では、出力画像Ｙ（ｉ，ｊ）を、入力画像Ｉ（ｉ，ｊ）で初期化する。

　（Ｓ５、Ｓ６）：
　ステップＳ５では、画像の水平方向の先鋭化処理（水平先鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、水平先鋭化処理により取得された高域成分ΔＹが加算されることにより、水平先鋭化処理が実行される。

　また、ステップＳ６では、画像の垂直方向の先鋭化処理（垂直先鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、垂直先鋭化処理により取得された高域成分ΔＹが加算されることにより、垂直先鋭化処理が実行される。

　なお、ステップＳ５、Ｓ６の順番を入れ替えてもよい。

　≪先鋭化処理≫
　次に、ステップＳ５、Ｓ６の先鋭化処理（水平先鋭化処理、垂直先鋭化処理）の詳細について、図１８～図２０を用いて、説明する。

　（Ｓ５０１、Ｓ５０２）：
　ステップＳ５０１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ－１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。なお、Ｖ＿ＳＩＺＥは垂直画像サイズであり、ｊは処理対象画素の垂直座標位置である。

　ステップＳ５０２では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ－１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。なお、Ｈ＿ＳＩＺＥは水平直画像サイズであり、ｉは処理対象画素の水平座標位置である。

　特に明記しない限り、以後のフローチャートにおいて、ｉ，ｊは上記の意味を示す。

　（Ｓ５０４、Ｓ５０５）：
　ステップＳ５０４では、局所領域の情報をｆ（－ｎ：ｎ）（例えば、ｆ（－ｎ：ｎ）は、－ｎ～ｎのデータ（２ｎ＋１個のデータ）を保存することができるメモリ領域）にコピーする。水平処理の場合には、画素（ｉ，ｊ）を中心として水平方向に隣接する画素が、ｆ（－ｎ：ｎ）にコピーされる。この処理を、
　　ｆ（［－ｎ：ｎ］）＝Ｉ（ｉ，ｊ＋［－ｎ：ｎ］）
と表記する。

　また、ステップＳ５０５の垂直処理の場合には、画素（ｉ，ｊ）を中心として垂直方向に隣接する画素が、ｆ（－ｎ：ｎ）にコピーされる。この処理を、
　　ｆ（［－ｎ：ｎ］）＝Ｉ（ｉ［－ｎ：ｎ］，ｊ）
と表記する。

　（Ｓ５０６～Ｓ５０８）：
　ステップＳ５０６では、第１実施形態で示した数式に基づいて、Ｓｆｋ、Ｓｆを求め、さらに、振幅ａを求める。

　ステップＳ５０７では、第１実施形態で示した数式に基づいて、オフセット値ｂと、Ｓｆ２とを求め、さらに、第１実施形態と同様に、最小二乗誤差Ｅｍｉｎを求める。

　ステップＳ５０８では、画像メモリの（ｉ，ｊ）に対応する振幅ａのデータ格納用アドレスに振幅ａのデータを保存する。この処理を、
　　Ｍａ（ｉ，ｊ）＝ａ
と表記する。

　また、画像メモリの（ｉ，ｊ）に対応する最小二乗誤差Ｅｍｉｎのデータ格納用アドレスに最小二乗誤差Ｅｍｉｎのデータを保存する。この処理を、
　　Ｍｅ（ｉ，ｊ）＝Ｅｍｉｎ
と表記する。

　（Ｓ５０９）：
　Ｓ５０９では、ｉを＋１インクリメントし、処理をＳ５０２に戻し、上記処理（Ｓ５０３～Ｓ５０８までの処理）を繰り返す。

　（Ｓ５１０）：
　Ｓ５１０では、ｊを＋１インクリメントし、処理をＳ５０１に戻し、上記処理（Ｓ５０２～Ｓ５０９までの処理）を繰り返す。

　（Ｓ５１１、Ｓ５１２）：
　ステップＳ５１１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ－１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。

　ステップＳ５１２では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ－１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。

　（Ｓ５１３～Ｓ５１６）：
　ステップＳ５１３では、処理対象画素（ｉ，ｊ）における最小二乗誤差値Ｍｅ（ｉ，ｊ）が局所領域内で最小値をとるか否かを判定する。判定の結果、局所領域内において、最小二乗誤差値Ｍｅ（ｉ，ｊ）が最小値である場合、類似度としてｓ＝１をセットし（ステップＳ５１４）、そうでない場合は、ｓ＝０をセットする（ステップＳ５１５）。

　ステップＳ５１６では、類似度ｓと振幅Ｍａ（ｉ，ｊ）との積を、画像メモリＭｓａ（ｉ，ｊ）にストアする。つまり、
　　Ｍｓａ（ｉ，ｊ）＝ｓ×Ｍａ（ｉ，ｊ）
に相当する処理を実行する。

　（Ｓ５１７）：
　Ｓ５１７では、ｉを＋１インクリメントし、処理をＳ５１２に戻し、上記処理（Ｓ５１３～Ｓ５１６までの処理）を繰り返す。

　（Ｓ５１８）：
　Ｓ５１８では、ｊを＋１インクリメントし、処理をＳ５１１に戻し、上記処理（Ｓ５１２～Ｓ５１７までの処理）を繰り返す。

　（Ｓ５１９、Ｓ５２０）：
　ステップＳ５１１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ－１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。

　（Ｓ５２１～Ｓ５２３）：
　ステップＳ５２１では、水平処理であるか否かを判定する。

　ステップＳ５２２、Ｓ５２３では、局所領域における振幅と類似度との積の情報をａｓ（－ｎ：＋ｎ）にコピーする。つまり、水平処理の場合には、画素（ｉ，ｊ）を中心として水平方向に隣接する画素が、ａｓ（－ｎ：＋ｎ）にコピーされる。つまり、
　　ａｓ（［－ｎ：ｎ］）＝Ｍａｓ（ｉ＋［－ｎ：ｎ］，ｊ）
に相当する処理が実行される（Ｓ５２３）。

　垂直処理の場合には、画素（ｉ，ｊ）を中心として垂直方向に隣接する画素が、ａｓ（－ｎ：＋ｎ）にコピーされる。つまり、
　　ａｓ（［－ｎ：ｎ］）＝Ｍａｓ（ｉ，ｊ＋［－ｎ：ｎ］）
に相当する処理が実行される（Ｓ５２２）。

　（Ｓ５２４～Ｓ５２９）：
　ステップＳ５２４では、一時変数ｔｍｐをクリアし、ステップＳ５２５では、局所参照変数ｕを－ｎから＋ｎまで、＋１ずつインクリメントしながら処理を繰り返す。このループ処理の中では、差分パターンｄ（ｕ）と、ａｓ（ｕ）とが乗算され、乗算結果の値がｔｍｐに累積加算される。これは、いわゆるＦＩＲフィルタの処理に相当する。

　上記ループ処理が終了した時点で、ｔｍｐを鮮鋭化成分ΔＹに保存する（Ｓ５２８）。

　そして、鮮鋭化成分ΔＹをＹ（ｉ，ｊ）に加算する。すなわち、
　　Ｙ（ｉ，ｊ）＝Ｙ（ｉ，ｊ）＋ΔＹ
に相当する処理が実行される。

　なお、１回目の鮮鋭化処理で水平処理が選択されている場合、右辺のＹ（ｉ，ｊ）には、入力画像Ｉ（ｉ，ｊ）と同じデータがストアされている。２回目の鮮鋭化処理で垂直が選択されている場合、右辺のＹ（ｉ，ｊ）には、１回目の鮮鋭化処理の結果がストアされており、２回目の時には、新たに垂直の鮮鋭化成分が足しこまれることになる。

　（Ｓ５３０）：
　Ｓ５３０では、ｉを＋１インクリメントし、処理をＳ５２０に戻し、上記処理（Ｓ５２１～Ｓ５２９までの処理）を繰り返す。

　（Ｓ５３１）：
　Ｓ５３１では、ｊを＋１インクリメントし、処理をＳ５１９に戻し、上記処理（Ｓ５２０～Ｓ５３０までの処理）を繰り返す。

　以上により、ステップＳ５、Ｓ６の先鋭化処理（水平先鋭化処理、垂直先鋭化処理）が実行される。

　以上のように、本実施形態の画像処理方法では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、本実施形態の画像処理方法では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、本実施形態の画像処理方法により取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。

　［他の実施形態］
　上記実施形態（変形例を含む）では、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆが、高解像度パターン信号ＰｔｎＨから所定の処理が実行されることで、取得される場合について、説明した。しかしながら、これに限定されることはなく、高解像度パターン信号ＰｔｎＨ、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆの一部または全部が、予め設定されているものであってもよい。この場合、例えば、画像処理システムにおいて、パターン生成部２００を省略した構成とすることも可能である。

　また、高解像度パターン信号ＰｔｎＨ、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆの一部または全部が、設定により、そのパターン（信号波形）が変更されるものであってもよい。

　また、第１実施形態（変形例を含む）では、画像処理システムにおいて、水平方向の処理を想定して、説明を行ったが、是に限定されることはなく、上記と同様の考え方により、画像処理システムにおいて、垂直方向の処理が実行されるようにしてもよい。

　また、上記実施形態（変形例を含む）の一部または全部を組み合わせて、画像処理システム、画像処理装置および画像処理方法を実現するようにしてもよい。

　また、上記実施形態の画像処理システム、画像処理装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

　上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、中央演算装置（ＣＰＵ）が、ＲＯＭ、あるいはＲＡＭから当該プログラムを読み出し、実行されるものであってもよい。

　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

　なお、上記実施形態に係る画像処理システム、画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。

　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

　なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

　［付記］
　なお、本発明は、以下のようにも表現することができる。

　第１の発明は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。

　振幅推定部は、高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率ａを取得する。

　この画像処理装置では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、この画像処理装置では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、この画像処理装置で取得される画像信号(画像データ)は、精細感のある高品質な画像信号(画像データ)となる。

　なお、「処理対象画素を含む入力画像の所定の範囲である局所領域」とは、例えば、（１）処理対象画素を中心として、画像の水平方向に２ｎ＋１画素（ｎ：自然数）の画素からなる画像領域や、（２）処理対象画素を中心として、画像の垂直方向に２ｎ＋１画素（ｎ：自然数）の画素からなる画像領域や、（３）処理対象画素を中心として、（２ｎ＋１）画素×（２ｎ＋１）画素からなる画像領域等を含む概念である。

　第２の発明は、第１の発明であって、振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する。

　これにより、この画像処理装置では、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理することで、低解像度パターンデータ列を取得することができる。

　第３の発明は、第１の発明であって、振幅推定部は、高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得する。

　この画像処理装置では、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得することができるので、少ない演算量で、低解像度パターンデータ列を取得することができる。

　なお、「低域通過フィルタ処理」は、高解像度パターンデータ列が、当該低域通過フィルタ処理を実行されたときに取得される信号波形（データ列パターン）と、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形（データ列パターン）とが、類似するように（例えば、両者（２つの信号波形）の差（誤差）が所定の範囲に入るように）、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。

　第４の発明は、第１から第３のいずれかの発明であって、類似度算出部は、（１）局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第１の値に設定し、（２）局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を第１の値よりも小さい値に設定する。

　これにより、この画像処理装置では、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素の類似度を大きな値に設定することができる。

　第５の発明は、第１から第４のいずれかの発明であって、振幅推定部は、最小二乗法により、倍率ａを求める。

　第６の発明は、第１から第５のいずれかの発明であって、類似度算出部は、最小二乗法により算出した倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Ｅｍｉｎを、局所領域内の画素ごとに算出し、（１）局所領域内において、最小二乗誤差値Ｅｍｉｎが最小値である画素の類似度を第１の値に設定し、（２）局所領域内において、最小二乗誤差値Ｅｍｉｎが最小値でない画素の類似度を第１の値よりも小さい値に設定する。

　これにより、この画像処理装置では、最小二乗法により算出した倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Ｅｍｉｎを用いて、適切に処理対象画素の類似度を設定することができる。

　第７の発明は、第１から第６のいずれかの発明であって、類似度算出部は、倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との差が小さい程、処理対象画素の類似度を大きな値に設定する。

　これにより、この画像処理装置では、中間値（例えば、０～１の間の中間値）をとる類似度を設定することができる。

　第８の発明は、第１から第７のいずれかの発明であって、類似度算出部は、（１）局所領域内において、処理対象画素の画素データがピーク値であるとき、処理対象画素に対応する類似度を第１の値に設定し、（２）局所領域内において、処理対象画素の画素データがピーク値ではないとき、処理対象画素に対応する類似度を第１の値よりも小さい値に設定する。

　これにより、この画像処理装置では、簡易に類似度を設定することができる。その結果、例えば、この画像処理装置をハードウェアで実現する場合のハードウェア規模を小さくすることができる。

　第９の発明は、入力画像を先鋭化する画像処理方法であって、
　高解像度パターンデータ列に対して、所定の処理（例えば、（１）ダウンスケール処理した後、アップスケール処理を行う処理や、（２）低域通過フィルタ処理）を実行して取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定ステップと、
　前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
　前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算ステップと、
　前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタステップと、
　前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算ステップと、
を備える画像処理方法である。

　本発明は、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置、画像処理方法を実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。

１０００　画像処理システム
１００　画像処理部（画像処理装置）
１　振幅推定部
２、２Ａ　類似度算出部
３　乗算部
４　ＦＩＲフィルタ部
５　加算部

Claims

　入力画像を先鋭化する画像処理装置であって、
　高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定部と、
　前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出部と、
　前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算部と、
　前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタ部と、
　前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算部と、
を備える画像処理装置。
　前記振幅推定部は、前記高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する、
　請求項１に記載の画像処理装置。
　前記振幅推定部は、前記高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、前記低解像度パターンデータ列を取得する、
　請求項１に記載の画像処理装置。
　前記類似度算出部は、
　（１）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を前記第１の値よりも小さい値に設定する、
　請求項１から３のいずれかに記載の画像処理装置。
　振幅推定部は、最小二乗法により、前記倍率ａを求める、
　請求項１から４のいずれかに記載の画像処理装置。
　類似度算出部は、最小二乗法により算出した前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との最小二乗誤差値Ｅｍｉｎを、前記局所領域内の画素ごとに算出し、（１）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値である画素の類似度を第１の値に設定し、（２）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値でない画素の類似度を前記第１の値よりも小さい値に設定する、
　請求項１から５のいずれかに記載の画像処理装置。
　類似度算出部は、
　前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との差が小さい程、前記処理対象画素の類似度を大きな値に設定する、
　請求項１から６のいずれかに記載の画像処理装置。
　類似度算出部は、
　（１）前記局所領域内において、前記処理対象画素の画素データがピーク値であるとき、前記処理対象画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記処理対象画素の画素データがピーク値ではないとき、前記処理対象画素に対応する類似度を第１の値よりも小さい値に設定する、
　請求項１から７のいずれかに記載の画像処理装置。