JP5562242B2 - 画像拡大装置、方法、集積回路及びプログラム - Google Patents

Description

本発明は、入力された低解像度画像を、表示デバイスの解像度に合わせて拡大する表示装置や、低解像度の画像を拡大して出力するプリンタ等の画像出力装置、動画像中の一枚の画像を拡大して静止画像を生成する撮影装置等、低解像度の画像を高解像度化する装置で行う画像拡大方法に関する。

従来より、入力した低解像度画像を高解像度画像に変換する補間拡大手法として、様々な方法が提案されている。代表的な手法としては、非特許文献１にも開示されている、ニアレストネイバ法、バイリニア法、バイキュービックコンボリューション法などがある。ニアレストネイバ法においては、補間画素位置に、最も近い低解像度の画素を選択して、補間画素値を決定する。バイリニア法では、補間画素位置を囲む、低解像度画像の画素４点と、補間画素位置との距離により線形内挿して、補間画素値を決定する。バイキュービックコンボリューション法では、補間画素位置を囲む、低解像度画像の周辺Ｎ×Ｎ画素から、標本化関数(f(x)=sinc(x))を用いて補間画素値を求める。

これらの方式には、以下に示す欠点がある。ニアレストネイバ法では、補間画素値が、補間画素位置の近辺にある低解像度の画素値であるため、拡大率が上がると視覚的なブロックが目立ってしまい、画質的に劣化した感じとなる。また、バイリニア法、バイキュービックコンボリューション法では、ニアレストネイバ法のような、ブロックの発生は抑えられるが、ボケた画質になってしまう。

これを解決するための手段として、補間拡大の前後で、高域強調フィルタを用いたエッジ強調処理を施す方法がよく用いられる。しかしながら、エッジ強調を行った場合には、画像のエッジ近辺に、オーバーシュートまたはアンダーシュートと呼ばれる不自然な部分が発生する。

図８は、エッジ強調によりオーバーシュートとアンダーシュートが発生した例の図である。

この図は、画像の水平ラインの一部のレベル値を切り取って図示したものであるが、これを見ると、エッジ周辺の部分に、オーバーシュート８０１とアンダーシュート８０２が発生しているのがわかる。このように、高域強調フィルタによるエッジ強調を施した場合には、画像がくっきりする反面、副作用として、画像のエッジ周辺が光ってしまうなどの視覚的に劣化した画像となってしまう問題がある。

図４８は、特許文献１の技術を示す図である。

解像度変換におけるエッジ強調の副作用を解決する手段が特許文献１に開示されている。以下、図４８を用いて、特許文献１の技術の説明を行う。

図４８において、２９０１は、解像度変換を行う対象となる低解像度画像の元画像（入力画像）である。また、２９０２は、補間する画素数など、解像度の変換に係わる補間処理についての情報である。また、２９０３は、情報２９０２に基づき、エッジ強調を行うためのフィルタ係数を決定する強調係数決定部である。また、２９０４は、決定した強調係数を用いてエッジ強調を行うエッジ強調画像生成部である。また、２９０５は、エッジ強調された低解像度画像から、指定位置における画素値を内挿補間して、補間画素を生成する補間画素生成部である。また、２９０６は、入力画像２９０１の注目画素と、補間画素生成部２９０５の出力値とを比較し、その比較の結果に応じて、各画素値の重み付けの度合いを示す値を出力する比較部である。また、２９０９は、画素値の最大値と最小値を検出する、注目画素の周辺画素の範囲を指定するための情報である。ここで、比較部２９０６は、この情報２９０９に基づいて、重み付けの度合いを示す値を算出する。そして、重み付け合成部２９０７は、比較部２９０６の出力である重み付けに応じて、入力画像２９０１から入力された、低解像度画像上の注目画素と、補間画素生成部２９０５の出力に対して重み付けをして、合成を行う合成部である。

以下、比較部２９０６と、重み付け合成部２９０７の処理について詳しく説明する。比較部２９０６に入力される最大値、最小値検出画素範囲（情報２９０９）をｎとする。このとき、注目画素位置（ｉ，ｊ）をおいた場合、その近傍画素位置（ｉ−ｎ＋１，ｊ−ｎ＋１）〜（ｉ＋ｎ，ｊ＋ｎ）の範囲の画素から、最大のレベルとなる画素値と、最小のレベルとなる画素値を検出し、最大値と最小値とを、重み付け係数として重み付け合成部２９０７に渡す。重み付け合成部２９０７では、比較部２９０６の出力である重み係数に基づき、出力画素を計算する。具体的には、補間画素生成部２９０５の出力Ｐｉ，ｊが、最大値と最小値との範囲内である場合には、Ｐｉ，ｊを、最大値よりもＰｉ，ｊが大きい場合は、最大値を、最小値よりもＰｉ，ｊが小さい場合には最小値をそれぞれ出力する。

これにより、エッジ強調によるオーバーシュート、アンダーシュート（過補正）を発生させることなくエッジのボケを抑えた拡大処理を実現している。

特開２０００−１１５５２６号公報

画像信号の幾何学的変換のための補間フィルタと画質に関する一考察, 榎並 和雅他、電子通信学会論文誌,vol.45 J69-D No.11 pp1617-1623, 1986.

しかしながら、特許文献１の方式には以下に示す欠点がある。１つは、エッジ強調画像生成部２９０４でエッジ強調を施した後に、補間画素生成部２９０５で拡大補間を行うため、エッジ強調で強調されたノイズ成分などの影響を拡大補間処理が受けてしまうという問題である。もう１つは、注目画素周辺の最大値・最小値で値をカットしてしまうために発生する問題である。

図９は、特許文献１の技術により処理した画像信号のイメージ図である。

図９では、図８と同様に画像の水平ラインの一部のレベル値を切り取って図示したものである。図９では、図８のようなオーバーシュートやアンダーシュート（過補正）は発生しておらず、エッジの角度も急峻になっているが、自然画の場合には、この信号は不自然な映像となることが多い。例えば、芝目や木の葉などの細かなテクスチャ部分がこのような信号になっている場合、ベタついた油絵的な絵となり、主観的な評価で不自然な絵となってしまう。このため自然画に特許文献１の技術を適用する場合には、不自然にならないように、強調係数決定部２９０３での係数を小さくして、エッジ強調の度合いを小さめにするしかない。この場合、エッジの部分の傾斜が十分立たないため、拡大によるボケが減少する減少効果が小さくなってしまう。

本発明は、解像度変換時に発生するボケを抑制し、かつ、エッジ補正時の、不自然なエッジの生成を抑制することで、自然でかつボケの少ない拡大処理を提供することを第１の目的とする。

また、しかしながら、特許文献１の方式には以下に示す欠点もある。

図４９は、特許文献１の技術により処理した画像信号のイメージ図である。

図４９において、上下が信号のレベル値を示しており、上が白色、下が黒色となる。また、水平方向は画素位置を示す。

図５０は、図４９と同じ部分を線形補間により拡大を施した場合の例である。

図４９では、図５０に比べて、エッジを急峻にしながら、オーバーシュートやアンダーシュートを発生させていない。しかしながら、エッジが急峻になったため、図５０で傾斜があった部分が白または黒となり、白と黒がそれぞれ太くなっている。信号レベル的には、黒も白も同じ幅だけ太くなっているが、人間の感覚的に白の太くなっているような印象を受ける。これは、白が膨張色であることが原因で、人間は同じ大きさの白いものと黒いものでは、白いものの方が大きく感じる。これは人間の視覚特性として一般的に知られている現象で、たとえば囲碁に使う碁石では同じ大きさに見せるために、白石のほうを０．３ｍｍほど小さくしている。このように、明るい色と暗い色が同じ太さである場合、明るい方が、より太い印象を受けてしまう。特に拡大処理では、これが顕著になる。

このため、特許文献１の技術で処理した場合、視覚的には明るい色、特に白が太くなってしまったように見えるという問題がある。

本発明は、上記問題を鑑みたもので、拡大処理においてエッジを急峻に補正した場合に発生する、視覚的に白が太く見えてしまうことを抑制する拡大処理を提供することを第２の目的とする。

上記の課題に鑑みて、本発明の画像拡大装置は、入力画像から、より高解像度の補間画像を生成する補間部と、前記入力画像に基づく特徴量を取得する特徴量取得部と、前記特徴量に基づいて前記補間画像のエッジを補正する補正部と、を備える画像拡大装置である。
上記の課題に鑑みて、本発明の画像拡大装置は、低解像度画像を入力し、前記低解像度画像に比べて高解像度な高解像度画像を出力する画像拡大装置であって、前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像を生成する補間部と、前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する前記特徴量を出力する特徴量分析部と、前記特徴量分析部により出力された前記特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算部と、前記補正量計算部で計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像を生成する合成部と、前記合成部により出力された第１の前記高解像度画像を、前記特徴量分析部により生成された前記特徴量を用いて再度、補正し、補正された第２の前記高解像度画像を生成し、生成された第２の前記高解像度画像を、当該画像拡大装置から出力させる再補正部とを備えた画像拡大装置である。

この画像拡大装置は、具体的には、例えば、以下の画像拡大装置Ａ１等の技術事項の一部又は全部を有してもよい。

上記第１の目的を達成するために、画像拡大装置Ａ１では、低解像度画像から高解像度画像を拡大補間して生成する過程において、補間により、仮の高解像度画像を生成する補間部と、低解像度画像から、傾斜の強さに応じた特徴量を抽出し、高解像度画像の各画素に対応した特徴量を計算する特徴量分析部と、特徴量により、エッジ成分の補正量を調整し、高解像度画像の各画素に対応する補正量を出力する補正量計算部と、補間部で生成した高解像度画像と、補正量計算部で計算した補正量を合成する合成部と、特徴量により、合成部で合成された高解像度画像の各画素の補正値を決定し、再度補正を行った結果を、高解像度画像として出力する。

これにより補正量計算部で計算された補正量が大きすぎて、エッジ部分における、オーバーシュートやアンダーシュートといったものが発生してしまった部分（過補正の成分）について、再度調整することができ、くっきりかつシュートの少ない自然な拡大画像を生成できる。

画像拡大装置Ａ２では、特徴量分析部が出力する特徴量が、傾斜量、上限の閾値、下限の閾値である。傾斜量により、補正量計算部と再補正部で行う補正量の調整を行うことで、例えば、小さな傾斜量の部分、つまりノイズなどの部分では、補正量を小さく、傾斜量が中くらいの部分、例えば芝目などの部分では、補正量を大きくといった調整が可能となる。また、上限と下限の閾値を特徴量として出力することで、オーバーシュートやアンダーシュートの発生している部分（過補正の部分）の特定が行いやすくなり、これらのシュートを適切に補正することが可能となる。

画像拡大装置Ａ３では、補正量計算部に入力される第１の傾斜量と、再補正部に入力される第２の傾斜量が異なる。これにより、エッジ強調量を決定する補正量計算部と、エッジ部分のシュートを抑える再補正部で、異なる基準により動作を行わせることが可能になる。例えば、第１の傾斜量を、狭い画像部分のエッジに対応した部分の傾斜に、第２の傾斜量を、画像の広い部分のエッジの傾斜量に対応した傾斜にすることで、エッジの強調については、エッジの近辺のみ行い、シュート抑制処理については、エッジ周囲の広いエリアで行うことが可能になる。

上記第１の目的を達成するために、画像拡大装置Ｂ１では、低解像度画像から高解像度画像を拡大補間して生成する過程において、補間により、仮の高解像度画像を生成する補間部と、低解像度画像から、傾斜の強さに応じた特徴量を抽出し、高解像度画像の各画素に対応した特徴量を計算する特徴量分析部と、特徴量により、エッジ成分の補正量を調整し、高解像度画像の各画素に対応する補正量を出力する補正量計算部と、補間部で生成した高解像度画像と、補正量計算部で計算した補正量を合成する合成部と、補間で補間生成した高解像度画像の画素値と、特徴量から計算される閾値を用いて、合成部で合成された高解像度画像の各画素の補正値を決定し、再度補正を行った結果を高解像度画像として出力する。

これにより補正量計算部で計算された補正量が大きすぎて、エッジ部分にオーバーシュートやアンダーシュートといったものが発生してしまった部分（過補正の成分）について、再度調整することができ、くっきりかつシュートの少ない自然な拡大画像を生成できる。

画像拡大装置Ｂ２では、特徴量分析部が出力する特徴量が傾斜量、上限の閾値、下限の閾値である。傾斜量により、補正量計算部と再補正部で行う補正量の調整を行うことで、例えば、小さな傾斜量の部分、つまりノイズなどの部分では、補正量を小さく、傾斜量が中くらいの部分、例えば芝目などの部分では、補正量を大きくといった調整が可能となる。また、上限と下限の閾値を特徴量として出力することで、オーバーシュートやアンダーシュートの発生している部分（過補正の成分）の特定が行いやすくなり、これらのシュートを適切に補正することが可能となる。

画像拡大装置Ｂ３では、特徴量分析部から出力された高解像度画像の画素の上限と下限の閾値のそれぞれと、補間部が出力した高解像度画像の画素値との差を計算し、合成部が出力した画素値が、上限および下限のそれぞれの前記閾値と、補間部の出力した画素値との間の差から決まる閾値を超えた場合に、合成部の出力した画素値の補正を行い、結果を出力する。これにより、エッジ周辺での補正を、上限値または下限値を超える前から行うことができ、強いエッジ周辺のエッジの傾斜変化をより細かく制御することが可能になる。

上記第２の目的を達成するために、画像拡大装置Ｃ１では、低解像度画像から高解像度画像を拡大補間して生成する過程において、高解像度画像の各画素に対応する第１の補間画素位置を生成する補間画素位置生成部と、第１の補間画素位置に対応する補間画素を生成する補間部と、低解像度画像と第１の補間画素位置から補間画素位置周辺の画素値の変化に応じて補間画素位置を修正して第２の補間画素位置を生成する白細線化部と、第２の補間画素位置に対応する補正量を計算する補正量計算部と、補間部で補間された画素値と補正量を合成して出力画素値を生成する合成部を備える。

補正量計算部に白細線化部で補正した第２の補間画素位置を用いることで、第１の補間画素位置とは補間画素位置が変わるため、エッジ強調の中心がずれるようになり、結果として明るい部分、特に白を細くすることができる。

画像拡大装置Ｃ２では、低解像度画像から高解像度画像を拡大補間して生成する過程において、高解像度画像の各画素に対応する第１の補間画素位置を生成する補間画素位置生成部と、第１の補間画素位置に対応する補間画素を生成する補間部と、第１の補間画素位置に対応する特徴量を計算する特徴量分析部と、低解像度画像と第１の補間画素位置から補間画素位置周辺の画素値の変化に応じて補間画素位置を修正して第２の補間画素位置を生成する白細線化部と、第２の補間画素位置に対応する補正量を計算する補正量計算部と、補間部で補間された画素値と補正量を合成して合成した画素値を生成する合成部と、再補正部では合成部の出力結果を特徴量を用いて再度補正し補正された第２の高解像度画像を生成する。

特徴量による再補正を行なうことで、第２の発明では、第１の発明に加えて、オーバーシュートやアンダーシュートの少ない画像を生成できる。オーバーシュートやアンダーシュートを再補正した場合、エッジが平坦になるため白線がより太く見えるようになるが、白細線化で計算した第２の補間画素位置を利用して補正量を計算することで、白付近の色が細線化されるため、白が太く見えてしまうことを抑制することができる。

画像拡大装置Ｃ３では、特徴量の計算においても白細線化部で補正した第２の補間画素位置を用いる。これにより、再補正処理の制御位置も第２の補間画素位置にしたがってずれるようになるため、白線の太さを細かくコントロールできるようになる。

まず、本発明によれば、補正量計算部で計算された補正量が大きすぎてエッジ部分にオーバーシュートやアンダーシュートといったものが発生してしまった部分について、再度調整することができ、くっきりかつシュートの少ない自然な拡大画像を生成できる。

また、本発明によれば、拡大処理時にエッジの先鋭化処理により白が視覚的に太く見えてしまうという現象を抑制できる。

図１は、実施形態Ａ１の画像拡大部の構成図である。 図２は、画像拡大部を搭載するシステムの構成図である。 図３は、実施形態Ａ１における傾斜検出用フィルタの係数を示す図である。 図４は、実施形態Ａ１における傾斜検出用フィルタの係数を示す図である。 図５は、エッジ抽出に用いるラプラシアンフィルタの第１の例を示す図である。 図６は、エッジ抽出に用いるラプラシアンフィルタの第２の例を示す図である。 図７は、実施形態Ａ１におけるゲイン算出のためのグラフを示す図である。 図８は、シュートが発生した画像を示す図である。 図９は、従来技術によりシュートの発生を抑えた例を示す図である。 図１０は、シュートの発生を抑えた例を示す図である。 図１１Ａは、実施形態Ａ１における、出力される画像の例を示す図である。 図１１Ｂは、実施形態Ａ１における、出力される画像の例を示す図である。 図１１Ｃは、実施形態Ａ１における、出力される画像の例を示す図である。 図１１Ｄは、実施形態Ａ１における、出力される画像の例を示す図である。 図１２は、実施形態Ａ１におけるＹＣｂＣｒ信号を入力する場合のブロック図である。 図１３は、実施形態Ａ１におけるＹＣｂＣｒ信号を入力する場合のブロック図である。 図１４は、実施形態Ａ１におけるＲＧＢ信号を入力する場合のブロック図である。 図１５は、実施形態Ａ２における画像拡大装置の構成図である。 図１６は、実施形態Ａ２による２倍拡大時の画素位置の例図である。 図１７は、実施形態Ａ２のフローチャートである。 図１８は、実施形態Ａ２の画像拡大部の構成図である。 図１９は、実施形態Ａ２の特徴量分析部の構成図である。 図２０は、実施形態Ａ２の４×４画素の２×２画素へのブロック分割を示す図である。 図２１は、実施形態Ａ２の領域判定を説明する図である。 図２２Ａは、実施形態Ａ２の領域判定に対するエリア分けを説明する図である。 図２２Ｂは、実施形態Ａ２の領域判定に対するエリア分けを説明する図である。 図２２Ｃは、実施形態Ａ２の領域判定に対するエリア分けを説明する図である。 図２２Ｄは、実施形態Ａ２の領域判定に対するエリア分けを説明する図である。 図２３は、実施形態Ａ２の補正量計算部の構成図である。 図２４は、実施形態Ａ２の補間位置ｐｘ、ｐｙの説明図である。 図２５は、実施形態Ａ２の補間を説明する図である。 図２６は、実施形態Ａ２のｇｒａｄ０とゲインの関係図である。 図２７は、実施形態Ａ２のｇｒａｄ１とゲインの関係図である。 図２８は、実施形態Ａ２のｇｒａｄ１とクリップ値の関係図である。 図２９は、実施形態Ｂ１の画像拡大部の構成図である。 図３０Ａは、実施形態Ｂ１における再補正部の処理の例を示す図である。 図３０Ｂは、実施形態Ｂ１における再補正部の処理の例を示す図である。 図３１は、実施形態Ｂ２の画像拡大部の構成図である。 図３２Ａは、定数Ｅによる出力波形の違いを説明する図である。 図３２Ｂは、定数Ｅによる出力波形の違いを説明する図である。 図３２Ｃは、定数Ｅによる出力波形の違いを説明する図である。 図３３は、実施形態Ｃ１の画像拡大部の構成図である。 図３４は、実施形態Ｃ１の補間画素位置生成部の処理のフローチャートである。 図３５は、実施形態Ｃ１の白細線化部の処理のフローチャートである。 図３６は、実施形態Ｃ１における、出力される画像の例を示す第１の図である。 図３７は、実施形態Ｃ１における、出力される画像の例を示す第２の図である。 図３８は、実施形態Ｃ２における画像拡大装置の構成図である。 図３９は、実施形態Ｃ２の画像拡大部の構成図である。 図４０は、実施形態Ｃ２の白細線化部の構成図である。 図４１は、実施形態Ｃ２の白細線化部の補正方向を示す図である。 図４２は、実施形態Ｃ２の白細線化部の斜め方向補正を示す図である。 図４３は、実施形態Ｃ２の特徴量分析部の構成図である。 図４４は、実施形態Ｃ２の補正量計算部の構成図である。 図４５は、再補正部と、再補正部により処理されるデータとを示す図である。 図４６は、実施の形態Ｃでの処理のフローチャートである。 図４７は、実施の形態Ｃで処理されるデータを示す図である。 図４８は、従来の画像拡大装置の構成図である。 図４９は、従来の画像拡大装置の出力信号の例の図である。 図５０は、線形補間処理により拡大した場合の出力信号の例の図である。

以下、図面を参照しつつ、実施の形態に係る画像拡大装置（画像拡大部）１０８について説明する。画像拡大装置１０８は、実施の形態Ａに係る画像拡大装置１０８Ａ（図１等）と、実施の形態Ｂに係る画像拡大装置１０８Ｂ（図２９等）と、実施の形態Ｃに係る画像拡大装置１０８Ｃ（図３３等）との各画像拡大装置の上位概念である。

実施形態に係る画像拡大装置１０８（画像拡大装置１０８Ａなど）は、低解像度画像（入力画像１０１）を入力し、前記低解像度画像に比べて高解像度な高解像度画像（出力画像１０７）を出力する画像拡大装置であって、前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像（図１８の補間画像ＯＬなど）を生成する補間部（補間部１０４など）と、前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する前記特徴量（図１８のｇｒａｄ１、ｇｒａｄ０、ＭＩＮ、ＭＡＸ等）を出力する特徴量分析部（特徴量分析部１０２など）と、前記特徴量分析部により出力された前記特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算部（補正量計算部１０３など）と、前記補正量計算部で計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像（図１１Ｂ、図４５下段の一点鎖線のデータなど）を生成する合成部（合成部１０５など）と、前記合成部により出力された第１の前記高解像度画像を、前記特徴量分析部により生成された前記特徴量を用いて再度、補正し、補正された第２の前記高解像度画像（図１１Ｄ、図４５下段の実線のデータなど）を生成し、生成された第２の前記高解像度画像を、当該画像拡大装置から出力させる再補正部（再補正部１０６など）とを備えた画像拡大装置である。

＜＜実施の形態Ａ＞＞
以下、実施形態Ａを、図面を参照しながら説明する。なお、実施形態Ａは、実施形態Ａ１と、実施形態Ａ２とを含む。

（実施の形態Ａ１）
図１は、実施形態Ａ１における画像拡大部（画像拡大装置）１０８Ａのブロック図である。

なお、画像拡大部１０８Ａは、画像拡大装置１０８（先述）の下位概念の１つである。

図１において、１０１は、低解像度の入力画像（元画像、低解像度画像）である。また、１０２は、低解像度の入力画像から画像拡大部１０８Ａが出力する高解像度画像（出力画像、第２の高解像度画像）１０７の各画素に対応する特徴量を各々出力する特徴量分析部である。１０３は、特徴量分析部１０２の出力した特徴量に応じて、エッジ成分の補正量を計算し、すなわち、出力する高解像度画像１０７の各画素の補正量を計算し、計算された各補正量を出力する補正量計算部である。１０４は、低解像度の入力画像１０１を入力して、出力する高解像度画像１０７と同じ画素数の画像（補間画像）を生成する補間部である。１０５は、補間部１０４から出力された高解像度画像（補間画像）の画素を受け取るのと共に、その画素に対応する補正量を補正量計算部１０３から受け取り、その画素に対してその補正量での補正（第１の補正）をした、第１の補正後の画素（第１の高解像度画像）を出力する合成部である。１０６は、特徴量分析部１０２から受け取った、合成部１０５が出力する第１の補正後の画素に対応する特徴量によって、合成部１０５が出力した合成結果（第１の補正後の画素）に、再補正（第２の補正）をして、第２の補正後の画素（第２の高解像度画像）を出力する再補正部である。１０７は、出力される高解像度画像（第２の高解像度画像）、１０８Ａは、低解像度画像１０１を入力して、入力された低解像度画像１０１を拡大した高解像度画像１０７（第２の高解像度画像）を出力する画像拡大部である。

なお、画像拡大部１０８Ａは、具体的には集積回路でもよい。そして、特徴量分析部１０２等のそれぞれは、この集積回路に実装された機能ブロック（回路）であってもよい。また、画像拡大部１０８Ａは、コンピュータでもよい。そして、それぞれの機能ブロックは、このコンピュータがソフトウェアを実行することにより実現する機能の機能ブロックであってもよい。

図２は、この画像拡大部１０８Ａを組み込んだシステムの例である。

図２において、２０１は、画像を入力する入力部である。２０２は、入力部２０１にＴＶ信号を入力するチューナーである。２０３は、入力部２０１に映像を入力する外部端子である。２０４は、動画や静止画が記録されたＳＤカードなどのメモリカードである。２０５は、このシステムの一次記憶装置として利用される、ＤＲＡＭなどのメモリである。２０６は、このシステムの全体を制御するプロセッサである。２０７は、入力部２０１で入力された画像が圧縮画像である場合に、その画像の復号を行う復号部である。２０８は、復号された画像をビデオドライバ２０９に出力する表示部である。２０９は、液晶、プラズマ、ＣＲＴなどの表示デバイス２１１に、表示部２０８により出力された画像を出力するためのビデオドライバである。２１０は、画像等を蓄積する二次記憶装置であるハードディスク（ＨＤＤ）である。

このシステムでは、入力部２０１から入力され、またはハードディスク２１０に格納された圧縮画像が、プロセッサ２０６による制御により、復号部２０７に送られ、復号部２０７により復号された後に、直接、または、メモリを介して表示部２０８に送られる。表示部２０８では、受け取った、復号された画像（図１の入力画像１０１）のフォーマットを、表示デバイス２１１にあわせたフォーマットに変換し、この変換後の画像（出力画像１０７）を、ビデオドライバ２０９に送り、ビデオドライバ２０９が表示デバイス２１１に、送られた出力画像１０７の表示を行う。このシステムにおいて、図１に示す画像拡大部１０８Ａは、例えば、表示部２０８内での、表示デバイス２１１の解像度の出力画像１０７に、入力画像１０１を拡大するための処理（の機能ブロック）として実装され、または、プロセッサ２０６でのソフトウェア処理（の機能ブロック）として実装される。なお、どちらの形式に実装した場合でも、拡大した画像を再び符号化して、符号化後の画像を、ハードディスク２１０等に書き戻す等の用途に利用することも可能な実装とする。

以下、図１の画像拡大部１０８Ａの処理について説明する。

（特徴量分析部）
特徴量分析部１０２では、補間部１０４の出力する、拡大後の各画素に対する特徴量を各々計算し、出力する（図４６のＳ４６２）。すなわち、拡大後の高解像度画像のそれぞれの画素の特徴量が各々算出される。特徴量として出力するデータは、高解像度画像における、補間部１０４が補間を行う補間画素位置（高精細位置）に対応する位置（低解像度画像の位置、低精細位置）における、その位置の周辺の傾斜の強さ（例えば、図１８のｇｒａｄ０及びｇｒａｄ１）と、その位置の周辺画素の上限値と下限値（ＭＩＮ、ＭＡＸ）である。特徴量は、これら、低解像度画像から特定される、傾斜の強さ、および、上限値と下限値とを含む。

図３は、垂直の線を検出するための、水平方向での微分のフィルタの例を示す図である。

図４は、水平な線を検出するための、垂直方向での微分のフィルタの例を示す図である。

上記のように特徴量に含まれる、傾斜の強さを特定する方法としては、補間画素位置（低精細位置）に隣接する、低解像度画像の画素の２×２画素を抽出し、抽出された２×２画素から、図３および図４のフィルタにより、水平および垂直の微分成分ｄｘとｄｙを求め、どちらか大きな方を、特徴量である傾斜の強さと特定するなどの方法がある。なお、傾斜の強さの計算方法としては、sobelフィルタまたはprewittフィルタなどを用いる方法などでもよく、この方法に限定されるものではない。

また、上限値と下限値としては、補間画素位置（低精細位置）の周辺の、低解像度画像ｎ×ｎ画素の中で、最も大きな画素値を上限値、最も小さな値を下限値として設定する。

以上により、傾斜の強さと、上限値、下限値との３つが、特徴量として特徴量分析部１０２により計算され、出力される。

（補正量計算部）
補正量計算部１０３では、補間画素位置に対応する画素のエッジ度合いに応じた補正量を計算する（図４６のＳ４６３）。補正量計算部１０３では、まず、補間画素位置（低精細位置）の周辺に対応する、低解像度の入力画像１０１の各画素値を用いて、その低精細位置のエッジ成分を計算する。このとき、複数の高精細位置のうちから、低解像度画像でのエッジの部分に対応する高精細位置が特定される。

図５は、ラプラシアンフィルタの第１の例を示す図である。

図６は、ラプラシアンフィルタの第２の例を示す図である。

エッジ成分の抽出方法としては、図５または図６に示すラプラシアンフィルタなどを用いる方法が利用される。

なお、高解像度画像における補間画素位置（高精細位置、例えば小数の座標値の位置）の画素は、低解像度画像（例えば、整数の座標値の画素のみを有する）には存在しない。このため、これらのフィルタを施す場合には、補間画素位置（高精細位置）と同じ位置（例えば、低解像度画像における、小数の座標の位置）の近傍の画素（整数の座標値の位置を有する）を中心とした３×３のフィルタ処理が行われることになる。

エッジ成分が抽出され、つまり、エッジの部分の高精細位置が特定された後、特徴量分析部１０２で計算した傾斜の強さ（特徴量、例えば、図１８のｇｒａｄ０）を用いて、抽出したエッジの強調度合いを計算する。

図７は、傾斜の強さ（特徴量）に応じて、抽出したエッジ成分に対して掛けるゲインの量を調整する場合のゲインの例を示す図である。

この例では、傾斜が強い部分では補正量を大きく、傾斜が小さい部分では補正量を小さくしている。このような調整を行うことで、傾斜が小さい部分である、ノイズのような小さな傾斜の信号の補正量を小さくすることができる。

以上のように、補正量計算部１０３では、低解像度画像からエッジ成分を抽出し、傾斜の強さに応じたゲインにより倍率調整した、高解像度画像の各画素に対応した補正量を出力する。

すなわち、それぞれの高精細位置について、その高精細位置に足されることにより、エッジの強調がされる、その高精細位置の補正量が各々補正量計算部１０３により算出される。

（補間部）
補間部１０４では、バイリニア法やバイキュービックコンボリューション法等を用いて、低解像度画像（入力画像１０１）から、高解像度の画像（例えば、図１８の補間画像ＯＬ、図１１Ａなど参照）を、補間拡大により生成する（図４６のＳ４６１）。なお、これらの一般的な拡大技術は、実施形態の骨子ではないので、詳しい説明を省略する。補間部１０４としては、従来から用いられている拡大補間技術を利用することが可能である。

すなわち、低解像度画像から、エッジ強調がされる前の高解像度画像（補間画像）が、補間部１０４により算出される。

（合成部）
合成部１０５では、補間部１０４で生成した高解像度画像（補間画像、図１１Ａ）に、補正量計算部１０３で計算した、高解像度画像の各画素に対応した補正量（差分値）を足し込んで、エッジが強調された画像（第１の高解像度画像、図１１Ｂ、図４５下段の一点鎖線のデータ）を生成する（図４６のＳ４６４）。この時点においては、図８に示すような、オーバーシュートとアンダーシュート（エッジ強調における過補正の成分）が含まれた画像が生成される。

（再補正部）
再補正部１０６では、合成部１０５が出力した、エッジ強調が施された高解像度画像（図１１Ｂ等）と、特徴量分析部１０２が出力した、高解像度画像のそれぞれの画素に対応した上限値、下限値（特徴量）を入力し、合成部１０５が出力した高解像度画像（図１１Ｂ）の再補正を行う（図４６のＳ４６５）。

すなわち、エッジ強調がされた後の高解像度画像（図１１Ｂ、図４５の一点鎖線のデータ）に対して再補正（第２の補正）が再補正部１０６により行われ、第２の補正がされた後の高解像度画像（図１１Ｄ、図４５の実線のデータ）が再補正部１０６により算出される。

以下、再補正の手順について説明を行う。

エッジ強調がされた後の高解像度画像（図１１Ｂ、図４５の一点鎖線）の画素位置（x,y）における、合成部１０５の出力画素値をＸx,y、上限値をＵx,y，下限値をＬx,yとした時、再補正部１０６では、次の（数Ａ１）の演算により（図４５上段参照）、第１の補正値Ｐx,y（破線のデータ）を計算する（図４６のＳ４６５Ａ（Ｓ４６５ａ、Ｓ４６５ｂ）、図４５上段のＣ倍値算出部１０６１）。なお、この数式（数Ａ１）において、Ｃは、予めＣ倍値算出部１０６１に設定された、０．０〜１．０の範囲内の定数である。

なお、図４５における４本の水平線（上から順に一点鎖線、破線、実線、実線）のそれぞれは、Ｘx,yの極大点での値を一例として示す。

（数Ａ１）
Ｘx,y ＞ Ｕx,yのとき、 Ｐx,y＝Ｕx,y ＋ （Ｘx,y − Ｕx,y）× Ｃ
Ｘx,y ＜ Ｌx,yのとき、 Ｐx,y＝Ｌx,y − （Ｌx,y − Ｘx,y）× Ｃ
それ以外のとき、 Ｐx,y＝Ｘx,y

この計算により、上限値（Ｕx,y）と下限値（Ｌx,y）を超えた部分（例えば、図４５における、極大点の近傍の部分）が、Ｃ倍され、Ｃ倍されたＰx,y（図１１Ｃ、図４５の破線のデータ）が算出される。ここで、Ｃは１．０以下に設定するため、結果として、上限と下限を超えた部分（過補正の成分）に第２の補正がされて、小さくなることになる。

次に、下記の（数Ａ２）の演算により、再補正部１０６は、第１の補正値Ｐx,y（図１１Ｃ、図４５の破線のデータ）をさらに修正して、第２の補正値Ｐ'x,y（図１１Ｄ、図４５の実線のデータ）を計算する（図４６のＳ４６５Ｂ（Ｓ４６５ｃ）、図４５の閾値クリップ部１０６２）。なお、この数式において、Ｔは予め設定された定数である。また、ｍｉｎ（ａ，ｂ）は、ａとｂのうちどちらか小さい方を選択する関数である。

なお、図４５の上段に示される再補正部１０６の構成、つまり、Ｃ倍値算出部１０６１と閾値クリップ部１０６２との２つの部分を有する構成は、単なる一例であり、他の構成が採られてもよい。

（数Ａ２）
Ｐx,y ＞ Ｕx,yのとき、 Ｐ'x,y＝Ｕx,y ＋ ｍｉｎ（Ｐx,y − Ｕx,y ，Ｔ）
Ｐx,y ＜ Ｌx,yのとき、 Ｐ'x,y＝Ｌx,y − ｍｉｎ（Ｌx,y − Ｐx,y ，Ｔ）
それ以外のとき、 Ｐ'x,y＝Ｐx,y

（数Ａ２）により、定数Ｔを超える、オーバーシュートとアンダーシュートとの成分がＴに変換される。すなわち、シュート（オーバーシュート又はアンダーシュート）における、定数Ｔを越える部分がクリップ（クリッピング）され、除去される。

再補正部１０６では、この第２の補正値Ｐ'x,y（図１１Ｄ、図４５の実線のデータ）を出力する（図４６のＳ４６５ＢのＳ４６５ｄ、図４５の閾値クリップ部１０６２）。

なお、再補正部１０６は、例えば、合成部１０５により生成された、エッジが強調された後の高解像度の画像（第１の高解像度画像）の複数の画素のそれぞれについて、その画素（Ｘx,y）についての、この処理（図４６のＳ４６５ａ〜Ｓ４６５ｄ）を行う。これにより、それら複数の画素がそれぞれ再補正されれた、再補正後の高解像度の画像（第２の高解像度画像）が生成される。

図１１Ａ〜図１１Ｄは、画像拡大部１０８における画像を示す図である。

以上の処理により、実施の形態Ａ１によれば、アンダーシュートとオーバーシュートを抑えた拡大画像（出力画像１０７）が画像拡大部１０８Ａにより出力されることになる。以下、図１１Ａ〜図１１Ｄを利用しながら、処理の過程の信号の変化と、処理の流れについて説明する。なお、図１１は、図８，９，１０と同様に、画像の、特定の水平方向の画素値を観測した図であり、横軸が水平画素位置を、縦軸が、それぞれの水平画素位置における画素値を示している。

図１１Ａは、補間部１０４において、バイキュービックコンボリューション法により補間拡大された画像（補間画像）である。バイキュービックコンボリューション法の処理は、エッジ強調的な成分を含んでいるため、図１１Ａのようにエッジ近辺に若干のシュート成分が発生している。

図１１Ｂは、合成部１０５により、補正量計算部１０３の出力が加算された画像（第１の高解像度画像、図４５の一点鎖線およびＸx,y）である。この時点では、図１１Ａに比べて、エッジ周辺に大きなシュートが発生している。なお、図４５下段の一点鎖線、破線、実線のグラフは、それぞれ、図１１Ｂ、図１１Ｃ、図１１Ｄのグラフを模式的にしたものである。図４５下段の各グラフの詳細については、適宜、図１１Ｂ等を参照されたい。

図１１Ｃは、Ｃを０．２５として、（数Ａ１）の処理を適用した結果（図４５の破線のデータ、Ｐx,y）である。図１１Ｃに示すように、図１１Ｂに比べてシュート成分が小さくなり、かつエッジの急峻さは、図１１Ａに比べて大きくなっていることがわかる。

図１１Ｄは、Ｔ＝４として（数Ａ２）の処理を適用した結果（図４５の実線のデータ、Ｐ'x,y）である。図１１Ｄでは、図１１Ｃで残っていたシュートの残りのうちの一部がクリップされるだけで、全部が除去されることはなく、図１１Ａの信号に近いイメージになっていることがわかる。また、図１１Ａに比べて、エッジの急峻さは大きくなっていることより、エッジのボケは抑制されていることがわかる。また、図１１Ｄにおいても、シュート成分は残っているため、不自然なベタ絵にならず、かつ、エッジ周辺のシュートは抑制されている。

以上のように、実施の形態Ａ１によれば、拡大処理によるボケ（図１１Ａ参照）を、エッジ強調により緩和しつつ（図１１Ｂ〜図１１Ｄ、図４５の一点鎖線、破線、実線のデータ参照）、かつ、エッジ強調によるシュートの発生を抑制した自然な映像（図１１Ｄ、図４５の実線のデータ、Ｐ'x,y）を提供することができる。これにより、低解像度画像を拡大した場合でも、映像の先鋭感を失うことなく自然な映像を表示することが可能になる。

このように、画像拡大装置１０８（画像拡大装置１０８Ａ）は、補間部（補間部１０４）と、エッジ強調部（合成部１０５）と、再補正部（再補正部１０６）とを備える。

補間部は、低解像度画像（入力画像１０１）が拡大された高解像度の補間画像（図１１Ａ）を算出する。

エッジ強調部は、算出された補間画像のエッジが強調された第１の高解像度画像（図１１Ｂ、図４５下段の一点鎖線、Ｘx,y）を算出する。

再補正部は、第１の高解像度画像における、エッジの周辺が光ることを生じる成分（例えば、図１１Ｂのシュートの成分、Ｕx,y（図４５下段等）を越える成分、過補正の成分）を構成する、第１成分（Ｃ倍およびクリップによって除去された成分）および第２成分（他の成分）のうちで、前記第１成分のみを除去する。これにより、当該第１成分のみが除去された第２の高解像度画像（図１１Ｄ、図４５の実線のデータ）が算出される。

これにより、エッジの強調により、エッジのボケが抑制される。他方、上記の第１成分が除去されて、エッジの周辺が光って見えるのが回避される。そして、こうして、エッジのボケが抑制でき、かつ、エッジの周辺が光ることが回避できるにも関わらず、第１成分のみが除去されて、除去がされ過ぎてしまうことが回避される。これにより、図４５における比較的狭い範囲１０６ｘに示されるように、第２の高解像度画像における平坦な範囲が、従来例等における範囲（例えば範囲１０６ｘＣ）よりも狭くなるなどして、ベタついた不自然な画像が生じることが回避できる。これにより、ボケの抑制と、エッジの周辺が光ることの抑制と、画像のベタつきの抑制とが両立できて、画質が、十分かつ確実に向上できる。

なお、前記合成部（合成部１０５、エッジ強調部）は、前記補間画像（図１１Ａ）における画素値に前記補正量を足すことにより、前記補間画像におけるエッジが強調された第１の前記高解像度画像（図１１Ｂ、図４５下段の一点鎖線のデータ）を生成してもよい。

そして、前記再補正部は、第１の前記高解像度画像における、前記エッジの周辺を光らせる、前記エッジの強調での過補正の成分（例えば、図１１Ｂにおけるシュートの部分）を、Ｃ倍してもよい（図４５のＣ倍値算出部１０６１、図４６のＳ４６５Ａ、０＜Ｃ＜１）。そして、再補正部は、Ｃ倍がされた当該成分にクリップを行う（閾値クリップ部１０６２、図４６のＳ４６５Ｂ）ことにより、Ｃ倍およびクリップがされた第２の前記高解像度画像を生成してもよい。

また、前記再補正部は、前記特徴量分析部により出力される前記特徴量により示される、前記過補正の成分の箇所の傾きが大きいほど（図２７、図２８の横軸のより右側）、前記Ｃ（図２７の縦軸）として、より小さい値を、前記クリップの幅Ｔ（図２８の縦軸）として、より小さい幅をそれぞれ特定してもよい。

さらに、前記過補正の成分は、当該過補正の成分の全て（シュートの成分の全て）が第１の前記高解像度画像から除去された場合には、ベタつきが生じる成分であってもよい。

そして、前記特徴量分析部により出力される前記特徴量は、前記過補正の成分のうちで、当該値ＣでのＣ倍および当該幅Ｔでのクリップにより除去される成分（上記の第１成分）のみが除去された場合には、前記ベタつきが生じない値Ｃ及び幅Ｔを特定してもよい。

そして、前記再補正部は、前記特徴量により特定される前記値Ｃおよび前記幅Ｔを各々算出し（図２７、図２８参照）、算出された前記値ＣによるＣ倍と、算出された前記幅Ｔによるクリップとを行うことにより、当該値Ｃおよび当該幅Ｔに基いて除去される前記成分のみを除去した第２の前記高解像度画像を生成してもよい。

なお、従来技術（図４８）においては、エッジ強調画像生成部２９０４により画像にエッジ強調がされた後に、エッジ強調がされた画像に対して補間画素生成部２９０５により補間がされる。そして、この補間の処理でも、多少のエッジ強調がされるので、エッジ強調の後に、更にエッジ強調がされるため、画質が劣化してしまう。

これに対して、画像拡大装置１０８では、合成部１０５により、補正量が足されて、エッジ強調がされる前に、補間部１０４により補間がされて、エッジ強調の後に補間がされることによる画質の劣化が回避され、更に十分に高い画質が得られる。

（実施の形態Ａ１の変形）
実施の形態Ａ１においては、各画素は１つの画素値であるとして説明を行った。しかしながら、カラー画像では、赤（Ｒ）、緑（Ｇ），青（Ｂ）や、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）といった、多次元の色空間で、その画像の内容が示されることが多い。ここでは、ＲＧＢやＹＣｂＣｒといった色空間において、本技術を適応する方法について説明する。

図１２および図１３は、処理する画像の色空間がＹＣｂＣｒの場合の処理の例である。

図１２において、それぞれの補間部１０４は、図１の補間部１０４と同等のもの、画像拡大部１０８は、図１の画像拡大部１０８と同等のものである。図１２のシステムでは、輝度成分Ｙのみ、画像拡大部１０８による処理を実施し、色差成分ＣｂおよびＣｒについては、従来の拡大の処理を施す。このように、視覚的に効果の高い輝度成分だけに、本技術の処理を施すことで、先述した効果を出しつつ、色差成分には従来の処理を施すことで、処理量の削減が期待できる。

また、図１３は、ＹＣｂＣｒのすべての成分に対して、画像拡大部１０８の処理を施す例を示す図である。画像拡大部１０８においては、図のように、各成分個別に処理することが可能である。

図１４は、処理する画像の色空間がＲＧＢ空間の場合の処理の例である。

なお、ＲＧＢ空間の場合は、図１４のように、各成分すべてに画像拡大部１０８の処理を施すのがよいが、例えばＧ成分のみといった、１つの成分のみに処理を行うことも可能である。

以上のように、多次元の色空間で定義されるカラー画像についても、画像拡大部１０８を各成分個別に施すことで、実施の形態Ａ１と同様の効果を出すことができる。

（実施の形態Ａ２）
実施の形態Ａ２について、図を参照しながら説明を行う。

図１５は、実施の形態Ａ２における画像拡大装置１５００のブロック図である。

図１５において、１０１は、入力画像、１５０１は、補間位置ｘ，ｙ、１５０２は、補間位置ｘ，ｙ１５０１の周辺６ｘ６画素を選択する画素選択部である。また、１５０３は、補間位置ｘ，ｙ１５０１の小数点部分ｐｘ，ｐｙを取り出す小数点位置計算部、１５０４は、入力画像の６ｘ６画素と、小数点位置ｐｘ，ｐｙを入力し、補間位置ｘ，ｙ１５０１の画素値を計算して、計算された画素値を出力する画像拡大部である。１０７は、拡大処理後の高解像度画像である。

なお、画像拡大装置１５００も、画像拡大装置１０８（先述）の下位概念の１つである。また、画像拡大部１５０４は、実施の形態Ａ２の画像拡大部１５０４Ａ、Ｂ２の画像拡大部１５０４Ｂ（図３１）、Ｃ２の画像拡大部１５０４Ｃ（図３８）の上位概念である。画像拡大部１５０４も、画像拡大装置１０８の下位概念の１つに該当する。

図１６は、補間位置ｘ，ｙ１５０１と、低解像度の入力画像１０１、高解像度の出力画像１０７の関係を示す図である。

図１６においては、拡大率が水平方向・垂直方向共に２．０倍の場合の例を示す。図１６において、○印が、低解像度画像の画素位置を示し、×印が、高解像度画像として補間される画素位置を示している。つまり、図１６の例では、入力画素は○印で示される画素で構成され、出力される高解像度画像は、○印と×印の両方で示される画素で構成されることになる。図中の数字は、補間位置（ｘ，ｙ）を示しており、入力される低解像度画像に存在する○印の画素の位置は、（０，０）（１，０）（２，０）・・・（１，０）（１，１）・・・などの、整数位置となる。また、×印の画素の位置は、（０．５，０）（１．５，０）・・といった、小数点位置を含んだ位置となる。

図１７は、図１５の画像拡大装置１５００で、低解像度の入力画像１０１から、高解像度の出力画像１０７を生成する処理のフローチャート（Ｓ１７０１〜Ｓ１７１３）である。

拡大処理では、まず、拡大画像の補間位置の増加量であるｄｘ，ｄｙを、例えば画素選択部１５０２等が計算する（Ｓ１７０２）。これは、入力画像１０１と出力画像１０７とのサイズから、（数Ａ３）により計算できる。なお、式中のＳｗ、Ｓｈは、入力画像の幅と高さ、Ｄｗ，Ｄｈは、出力画像の幅と高さである。

（数Ａ３）
ｄｘ＝Ｓｗ／Ｄｗ
ｄｙ＝Ｓｈ／Ｄｈ

なお、（数Ａ３）によりｄｘ、ｄｙを計算するとするが、ｄｘ、ｄｙの計算方法はこれに限るわけではない。例えば、（数Ａ４）で計算されるｄｘ、ｄｙを利用しても同様の効果が期待できる。（数Ａ４）は、特に拡大率が高倍率の場合に有効である。

（数Ａ４）
ｄｘ＝（Ｓｗ−１）／Ｄｗ
ｄｙ＝（Ｓｈ−１）／Ｄｈ

（数Ａ３）の計算によると、拡大率が２倍である場合にはｄｘ＝０．５、ｄｙ＝０．５が計算結果となる。

次に、例えば画素選択部１５０２等が、補間位置ｙを初期化し（Ｓ１７０３）、また、補間位置ｘを初期化する（Ｓ１７０４）。初期化がされる初期化位置が、拡大時の初期位相を決めることになるが、ここではｘ＝０、ｙ＝０を設定するとする。なお、拡大後の画像の中心がずれないようにしたい場合には、ｘ＝−０．２５、ｙ＝−０．２５を設定すればよい。

続いて、補間位置ｘ、ｙに隣接する４画素を中心に含む周辺６×６画素を、入力画像１０１から画素選択部１５０２が取得する（Ｓ１７０５）。図１６を例にして説明すると、例えば、補間位置が１６０１の位置である場合、１６０２の点線で示す範囲にある、補間位置１６０１と隣接する４画素を中心とした周辺６×６画素の入力画素を取得する。

次に、補間位置ｘ、ｙの小数点位置ｐｘ、ｐｙを小数点位置計算部１５０３が計算する（Ｓ１７０６）。図１６の１６０１が補間位置の場合、ｘ＝３．５、ｙ＝２．５であるので、ｐｘ、ｐｙは、これから整数部分を取り除いたｐｘ＝０．５、ｐｙ＝０．５となる。

補間位置周辺の６×６画素の入力画像を取得し（Ｓ１７０５）、ｐｘ、ｐｙを計算した後（Ｓ１７０６）、これらを入力として、画像拡大処理を画像拡大部１５０４Ａが実行する（Ｓ１７０７）。なお、画像拡大処理については、後で詳しく説明する。画像拡大処理の結果、補間位置に対応する出力画素値が出力されるので、これを、補間位置に対応する出力画素値として画像拡大部１５０４Ａが格納する（Ｓ１７０８）。

次に、補間位置を、水平方向にｄｘだけ、画素選択部１５０２等が更新する（Ｓ１７０９）。出力した水平方向の画素数が、出力画素数（幅）に満たない場合、Ｓ１７０５からの処理を繰り返す（Ｓ１７１０：Ｎｏ）。

水平方向の画素数が出力画素数である場合には（Ｓ１７１０：Ｙｅｓ）、垂直方向の補間位置をｄｙだけ、例えば画素選択部１５０２等が更新する（Ｓ１７１１）。出力したライン数が、出力ライン数（高さ）に満たない場合、Ｓ１７０４からの処理を繰り返す（Ｓ１７１２：Ｎｏ）。出力したライン数が出力ライン数である場合には、処理を終了する（Ｓ１７１２：Ｙｅｓ）。以上の処理により、拡大された高解像度画像が生成される。

図１８は、Ｓ１７０７の画像拡大処理を行う画像拡大部１５０４Ａの処理の流れを示したものである。以降、図１８を用いて画像拡大処理について詳しく説明する。

なお、実施の形態Ａ１の画像拡大部１０８Ａの詳細な点は、例えば、この画像拡大部１５０４Ａにおける通りである。

（特徴量分析部）
図１９は、図１８の特徴量分析部１８０３の処理の詳細を示したものである。

特徴量分析部１８０３では、入力画像１０１における、補間位置の周辺Ｎ×Ｍ画素（図１７のＳ１７０５等参照）と、ｐｘ、ｐｙ（Ｓ１７０６、図１８の補間座標ｐｘ，ｐｙ１８０２参照）とを入力し、特徴量として、ｇｒａｄ０，ｇｒａｄ１，ＭＩＮ，ＭＡＸを出力する。なお、ここでは、入力である周辺Ｎ×Ｍ画素は、Ｎ＝Ｍ＝４画素での１６画素として説明を行うが、これより小さい、または大きな範囲での画素により特徴量を計算してもよい。

画像拡大部１５０４Ａに入力された６×６画素１８０１（図１８）のうち、中央の４×４画素が入力されると、特徴量分析部１８０３では、まず２×２画素ブロック毎の画素値の最大値と最小値を、ブロック毎のＭＩＮ／ＭＡＸ計算部１９０３で計算する。

図２０は、９つの２×２画素ブロックへの分割を示す図である。

２×２画素ブロックとは、図２０に示すように、４×４画素を、２×２画素毎に、９ブロックに分割するブロックである。図２０では、○印が画素、０〜８までの数字が、ブロックの番号である。ここでは、各ブロックの最大値と最小値を、ＭＩＮｎ、ＭＡＸｎ（ｎ＝０，１，２，３，...，８であり、図２０のブロック番号に対応）とする。ブロック差分計算部１９０４では、各ブロック毎の差分ＤＩＦＦｎを計算する。ＤＩＦＦｎの計算式は（数Ａ５）のとおりである。

（数Ａ５）
ＤＩＦＦｎ＝ＭＡＸｎ−ＭＩＮｎ

また、エリア判定部１９０５では、補間座標ｐｘ、ｐｙ（図１７のＳ１７０６）から、ＭＩＮ，ＭＡＸの計算に使う２×２画素ブロックと、補間に利用するＤＸ，ＤＹを計算する。

図２１は、４×４画素と、ｐｘ、ｐｙと、補間画素の関係を示した図である。

補間位置ｘ，ｙの小数点成分がｐｘ、ｐｙなので、０．０≦ｐｘ、ｐｙ＜１．０となり、ｐｘ、ｐｙの位置は、図２１斜線の範囲内となる。

ｐｘ、ｐｙが、図２１のａ，ｂ，ｃ，ｄのどのエリアにあるかで、補間に利用するＭＩＮｎ、ＭＡＸｎを、図２２のように変える。

すなわち、図２２Ａの斜線で示されるブロックは、図２１のａのエリアにｐｘ、ｐｙがある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｂの斜線で示されるブロックは、図２１のｂのエリアにｐｘ、ｐｙがある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｃの斜線で示されるブロックは、図２１のｃのエリアにｐｘ、ｐｙがある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｄの斜線で示されるブロックは、図２１のｄのエリアにｐｘ、ｐｙがある場合に選択されるＭＩＮｎ、ＭＡＸｎを示していている。

これにより、補間位置ｘ，ｙの近傍における、２×２画素ブロックが選択される。

（数Ａ６）は、ＭＩ０、ＭＩ１，ＭＩ２，ＭＩ３と、ＭＡ０，ＭＡ１，ＭＡ２、ＭＡ３，ＤＸ，ＤＹを求める式である。すなわち、ＭＩ０〜ＭＩ３として、選択された２×２画素ブロックのＭＩＮｎが用いられ、ＭＡ０〜ＭＡ３として、選択された２×２画素ブロックのＭＡＸｎが用いられる。なお、（数Ａ６）において、「ＤＸ＝Ｐｘ＋０．５」とあるのは、２×２画素ブロックにおける左列の２つのブロック（例えば０と３）の中心のｘ座標までの、補間位置ｘ，ｙのｘ座標からの距離と、右列の２つのブロック（１と４など）の中心のｘ座標までの距離の２つの距離の比を示す。他のＤＸ，ＤＹの式についても、この例と同様である。

（数Ａ６）
ａのエリアの場合）
ＭＩ０＝ＭＩＮ０
ＭＩ１＝ＭＩＮ１
ＭＩ２＝ＭＩＮ３
ＭＩ３＝ＭＩＮ４
ＭＡ０＝ＭＡＸ０
ＭＡ１＝ＭＡＸ１
ＭＡ２＝ＭＡＸ３
ＭＡ３＝ＭＡＸ４
ＤＸ＝Ｐｘ＋０．５
ＤＹ＝Ｐｙ＋０．５
ｂのエリアの場合）
ＭＩ０＝ＭＩＮ１
ＭＩ１＝ＭＩＮ２
ＭＩ２＝ＭＩＮ４
ＭＩ３＝ＭＩＮ５
ＭＡ０＝ＭＡＸ１
ＭＡ１＝ＭＡＸ２
ＭＡ２＝ＭＡＸ４
ＭＡ３＝ＭＡＸ５
ＤＸ＝Ｐｘ−０．５
ＤＹ＝Ｐｙ＋０．５
ｃのエリアの場合）
ＭＩ０＝ＭＩＮ３
ＭＩ１＝ＭＩＮ４
ＭＩ２＝ＭＩＮ６
ＭＩ３＝ＭＩＮ７
ＭＡ０＝ＭＡＸ３
ＭＡ１＝ＭＡＸ４
ＭＡ２＝ＭＡＸ６
ＭＡ３＝ＭＡＸ７
ＤＸ＝Ｐｘ＋０．５
ＤＹ＝Ｐｙ−０．５
ｄのエリアの場合）
ＭＩ０＝ＭＩＮ４
ＭＩ１＝ＭＩＮ５
ＭＩ２＝ＭＩＮ７
ＭＩ３＝ＭＩＮ８
ＭＡ０＝ＭＡＸ４
ＭＡ１＝ＭＡＸ５
ＭＡ２＝ＭＡＸ７
ＭＡ３＝ＭＡＸ８
ＤＸ＝Ｐｘ−０．５
ＤＹ＝Ｐｙ−０．５

特徴量計算部１９０６では、ブロック差分計算部１９０４で計算したＤＩＦＦｎ、エリア判定部で計算したＭＩ０〜３，ＭＡ０〜３、ＤＸ，ＤＹから、ｇｒａｄ０，ｇｒａｄ１，ＭＩＮ，ＭＡＸを算出する。

（数Ａ７）に算出式を示す。なお、（数Ａ７）において、ｍａｘ（）は、「（）」の中の複数の要素の値の中の、最大の値を返す関数、Ｃ０は定数とする。また、ｇｒａｄ０とｇｒａｄ１は、画素値の範囲内にクリップされるものとする。

（数Ａ７）
ＭＡＸ＝（１−ｄｙ）（（１−ｄｘ）・ＭＡ０＋ｄｘ・ＭＡ１）＋ｄｙ（（１−ｄｘ）・ＭＡ２＋ｄｘ・ＭＡ３）
ＭＩＮ＝（１−ｄｙ）（（１−ｄｘ）・ＭＩ０＋ｄｘ・ＭＩ１）＋ｄｙ（（１−ｄｘ）・ＭＩ２＋ｄｘ・ＭＩ３）
ｇｒａｄ０＝（ＭＡＸ−ＭＩＮ）・Ｃ０
ｇｒａｄ１＝（（ＭＡＸ−ＭＩＮ）＋ｍａｘ（ＤＩＦＦ０、ＤＩＦＦ１，...，ＤＩＦＦ８））・Ｃ０／２

以上のように、特徴量分析部１８０３では、ｇｒａｄ０，ｇｒａｄ１，ＭＩＮ，ＭＡＸを出力する（図４６のＳ４６２）。

ここで、（数Ａ７）によれば、ｇｒａｄ１は、ｇｒａｄ０に比べて、ブロック内の一番大きな最大値と最小値の影響を受けることになる。このため、４×４画素内に大きな傾斜があると、ｇｒａｄ１は、大きな値を示すようになる。つまり、ｇｒａｄ１は、ｇｒａｄ０よりも大きな値をとりやすくなる。

なお、特徴量分析部１８０３の出力としては、これに限るものではなく、例えば、４×４画素中（図２２Ａ〜２２Ｄ参照）の最大値をＭＡＸ，最小値をＭＩＮとし、ＭＡＸ−ＭＩＮをｇｒａｄ１に、ＭＡＸ４−ＭＩＮ４をｇｒａｄ０に設定してもよい。この場合は、拡大補間に利用する参照画素が同じ間は、ＭＡＸ，ＭＩＮ，ｇｒａｄ０、ｇｒａｄ１が固定となってしまうため、高倍率拡大でブロック境界が目立つことがあるが、２倍程度の拡大倍率では、本実施の形態と同様の効果が期待できる。

（補正量計算部）
図２３は、図１８の補正量計算部１８０４の処理の詳細を示したものである。

補正量計算部１８０４では、入力画像１０１（図１５）の補間位置の周辺Ｎ×Ｍ画素２３０１（図１７のＳ１７０５）と、特徴量分析部１８０３で計算したｇｒａｄ０（図２３のｇｒａｄ０２３０２）を入力し、補正量Ｏｅを出力する。なお、ここではＮ＝Ｍ＝６画素として説明を行うが、このＮ、Ｍでの範囲より小さい、または、大きな範囲を利用してＯｅを算出してもよい。

帯域制限部２３０６では、入力画素６×６画素（図２３のＮ×Ｍ画素２３０１）を用いて、帯域制限された４×４画素を生成する。ここでは帯域制限に、水平・垂直３×３タップのローパスフィルタ（ＬＰＦ）を利用することとする。３×３タップのＬＰＦを利用する場合、４×４画素のＬＰＦ結果を生成するには、上下左右に＋１画素が必要となる。このため、補正量計算部１８０４の入力は、６×６画素となる。なお、帯域制限の方法としては、３×３タップに限らず、より多タップのフィルタを利用することができる。この場合は、入力される画素数が増加することになるが、帯域制限フィルタの特性を向上させることができる。

なお、２次元的なＬＰＦフィルタではなく、水平方向にＬＰＦ処理した後に、垂直方向にＬＰＦ処理したり、あるいは逆に、垂直方向にＬＰＦ処理を行い、その後水平方向にＬＰＦフィルタを施してもよい。いずれの場合も同様の効果が期待できる。

補間部２３０３と補間部２３０７では、補間位置ｐｘ、ｐｙと±１画素はなれた位置の画素値を、補間計算により求める。

図２４は、４ｘ４の入力画素値をｖ００〜ｖ３３とした場合の、補間位置ｐｘ、ｐｙの画素の位置を示した図である。

図２５は、ｉ００〜ｉ２２の８箇所を示す図である。

画素位置２３０８に対して±１画素はなれた位置は、図２５に示すｉ００、ｉ０１、ｉ０２、ｉ１０，ｉ１２，ｉ２０，ｉ２１，ｉ２２の８箇所になる。補間部２３０３では、入力された４×４画素を用いて、ｐｘ、ｐｙ位置を含めた９点の画素値を算出する。また、補間部２３０７では、帯域制限部２３０６により帯域制限された４×４画素を用いて、ｐｘ、ｐｙ位置を含めた９点の画素値を、補間により算出する。

なお、補間の方法としてはバイリニア法、バイキュービックコンボリューション法などが利用できるが、４×４画素の範囲で処理を施す場合には、バイリニア法が適当である。なお、バイキュービックコンボリューション法で処理を行う場合には、６×６画素より大きな画素範囲で処理を施すのが好ましい。

エッジ抽出部２３０４では、補間部２３０３または補間部２３０７の出力結果を用いてエッジ成分の抽出を行う。このとき、傾斜の強さを示すｇｒａｄ０の値により、補間部２３０３または補間部２３０７のどちらの結果を利用してエッジ成分を抽出するかを切り替える。例えば、ｇｒａｄ０が小さい、つまり傾斜が小さい部分では、補間部２３０３の結果を使ってエッジ抽出を行い、ｇｒａｄ０が大きい場合には、帯域制限された補間部２３０７の結果を使ってエッジ抽出を行うなどが考えられる。このようにすることで、小さなエッジ部分では小さなエッジも捕まえ、かつ、大きなエッジでは、ノイズ成分をＬＰＦにより除去した後のエッジ成分を抽出することが可能になる。

なお、エッジ成分の抽出方法としては、図６のような係数と、ｉ００〜ｉ２２を掛け合わせればよい。なお、図６の係数によるエッジ抽出は処理の一例であり、例えば図５のような係数、あるいは他の係数を利用して、エッジ成分の抽出を行ってもよい。なお、このフィルタ係数を変更することで、抽出するエッジ成分の強さや帯域を変更することができる。また、抽出されたエッジ成分のノイズ成分を除去するために、コアリングと呼ばれる、０近辺のエッジ成分を０に丸める非線形な処理を行うことで、ノイズ成分を強調しないようにすることができる。

補正部２３０５では、エッジ抽出部２３０４で抽出されたエッジ成分と、ｇｒａｄ０を用いて補正量Ｏｅ（図１８）を計算する（図４６のＳ４６３）。

ここでは、まずｇｒａｄ０から抽出した、エッジ成分に対して乗算するゲインを求める。

図２６は、ｇｒａｄ０からゲインを求めるテーブルの例である。

図２６では、横軸がｇｒａｄ０、縦軸がゲインである。図２６の例では、傾斜が小さい、すなわち、ｇｒａｄ０が小さい部分でのゲインは小さく、傾斜が大きい部分では、ゲインを大きくするようなグラフになっている。ここで、傾斜が小さい部分は、ノイズ成分である可能性が大きい。このため、この部分のゲインを大きくすると、ノイズを強調してしまう。このため、傾斜が小さい部分では、抑え気味の設定にされる。また、傾斜が大きな部分では、エッジである信頼性が高いので、強くゲインを掛けて、傾斜をより大きくする設定にされる。

なお、これに限らず、ｇｒａｄ０とゲインの関係は自由に設定してよい。例えばｇｒａｄ０が中くらいの部分が最も高くなるように設定したり、いくつかの箇所に山があるような設定にしてもよい。また、ｇｒａｄ０とゲインの関係は、数式で表現してもよいし、テーブルで持たせてもよい。テーブルの量を削減するために、いくつかのポイントだけ保持しておき、線形補間や曲線補間で補間してもよい。

ゲインが計算されたら、補正量計算部１８０４では、抽出したエッジ成分を、ゲイン倍した結果をＯｅとして出力する。

補正量計算部１８０４では、図２５に示すように、補間位置Ｐｘ，Ｐｙの±１画素に相当する画素位置の画素の値を補間計算し、計算された９画素を用いてエッジ成分を抽出している。補間位置Ｐｘ，Ｐｙの±１画素に相当する画素位置の値は、拡大率が２．０倍であれば、拡大後の高解像度画像に存在する画素位置となるが、拡大率によっては高解像度画像には存在しない画素位置となる。例えば２．５倍の場合、拡大後の画素の位置として、０、０．４、０．８、１．２、１．６、２、２．４、２．８・・・といった画素位置の画素が補間されることになる。しかし、１．６の補間位置の画素位置の±１画素にあたる、０．６と２．６に相当する画素位置の画素は、拡大によって生成されないことになる。本実施の形態では、エッジ成分の抽出に、±１画素の位置の画素を補間生成することで、拡大前や拡大後の画像の画素値を用いてエッジ抽出するのに比べて、補間位置に対して精度のよい、良好なエッジ成分を抽出することができる。

また、補正量計算部１８０４では、コアリングやテーブル引きといった非線形な処理が含まれている。このような処理が含まれているので、エッジ強調後に拡大を行った場合や、拡大後にエッジ強調を行った場合などとは、結果は一致しない。エッジ補正量の計算の場合、このような非線形な処理が含まれることが多いが、順番に処理を行う場合には非線形な処理の結果が、後の処理に好ましくない影響を与えてしまう可能性がある。本実施の形態では、低解像度画像から、直接、高解像度画像の画素数の補正量を計算することで、拡大処理やエッジ強調処理を順番に行った場合に発生する、好ましくない副作用を抑制している。なお、本実施の形態では、９画素を補間生成した後にエッジ抽出を行うとしたが、補間生成の式とエッジ抽出を同時に行うような行列式を予め用意しておき、一気に変換してもよい。一気に変換した場合は、無駄な演算を省くことが可能となり、小規模なハードウェア構成、または演算量での実現が可能となる。

（補間部）
補間部１８０５（図１８）では、入力された６×６画素１８０１と、補間座標Ｐｘ，Ｐｙ１８０２より、画素位置Ｐｘ、Ｐｙの画素値を補間して、補間画像ＯＬを出力する（図４６のＳ４６１）。補間部１８０５での補間は、バイリニア法やバイキュービックコンボリューション法などで行う。なお、これらの拡大技術は一般的な技術であり、本実施の形態の骨子ではないので詳しい説明は省略する。

（合成部）
合成部１８０６では、補間部１８０５で生成した、高解像度画像の画素値ＯＬに、補正量計算部１８０４で計算したＯｅを足し込み、合成された出力画素値Ｏを出力する（図４６のＳ４６４）。

（数Ａ８）はこのＯの計算式である。

（数Ａ８）
Ｏ＝ＯＬ＋Ｏｅ

（再補正部）
再補正部１８０７では、合成部１８０６で合成した画素値Ｏと、特徴量分析部１８０３で計算された特徴量ｇｒａｄ１，ＭＩＮ，ＭＡＸを用いて、画素値の補正を行い、補正された画素値Ｏ'を出力する（図４６のＳ４６５）。

（数Ａ９）は、出力値Ｏの計算式である。

（数Ａ９）
Ｏ ＞ ＭＡＸのとき、Ｏ ＝ ＭＡＸ＋ｍｉｎ（（Ｏ−ＭＡＸ）・ＧＡＩＮ，ＬＩＭＩＴ）
Ｏ ＜ ＭＩＮのとき、Ｏ ＝ ＭＩＮ−ｍｉｎ（（ＭＩＮ−Ｏ）・ＧＡＩＮ，ＬＩＭＩＴ）
それ以外のとき、 Ｏ'＝Ｏ

（数Ａ９）中のＧＡＩＮ，ＬＩＭＩＴは、ｇｒａｄ１から計算されるパラメータである。

図２７は、ｇｒａｄ１とＧＡＩＮの関係を示したものである。

図２７では、ｇｒａｄ１が小さい場合にはゲインを大きく、ｇｒａｄ１が大きくなるほど、ゲインを小さくした設定となる（図４６のＳ４６５ｂ、図４５のＣ倍値算出部１０６１）。

図２８は、ｇｒａｄ１とＬＩＭＩＴの関係を示したものである。

図２８では、ｇｒａｄ１が小さい場合にＬＩＭＩＴが大きく、ｇｒａｄ１が大きい場合にＬＩＭＩＴが小さくなる設定となる（図４６のＳ４６５ｃ、図４５の閾値クリップ部１０６２）。

上記のように設定すると、ｇｒａｄ１が大きい部分、つまり強いエッジ成分を含む部分では、ＬＩＭＩＴによるクリップがきっちりとされる（強くなる）ため、くっきりした映像になる。一方、小さな振幅を含む部分では、クリップがあまりされないため、シュートをカットしたことによる不自然感を抑えることができる。

なお、図２７および２８は設定の一例であり、ｇｒａｄ１とＧＡＩＮ，ＬＩＭＩＴの関係は利用者により自由に設定できるものとする。

以上のように、本実施の形態Ａの画像拡大装置によれば、自然なかつ強いシュートがなくエッジがすっきりと立った映像（図１０）を生成することができる。このとき、拡大前後でエッジ強調を行った場合に発生するシュート（図８）を発生させることなく、かつ、シュートをまったく発生させないことによる不自然な画像（図９）のようになることもない。

要約すれば、次の通りである。すなわち、低解像度画像（図１、図１５の入力画像１０１）を高解像度画像（図１、図１５の出力画像１０７）に拡大して表示する場合、拡大によりボケた映像になってしまう問題がある。そこで、低解像度の入力画像を入力し、高解像度の出力画像を入力する画像拡大装置（画像拡大装置１０８、画像拡大部１５０４、画像拡大装置１５００）において、入力画像の特徴量を分析し、高解像度画像の画素数の特徴量を生成する特徴量分析部（特徴量分析部１０２、特徴量分析部１８０３）と、低解像度の入力画像を入力し、特徴量を元に、高解像度の画素数のエッジ補正量を計算し、出力する補正量計算部（補正量計算部１０３、補正量計算部１８０４）と、補間により、拡大後の画像（補間画像）を生成する補間部（補間部１０４、補間部１８０５）と、補間画像と補正量を合成する合成部（合成部１０５、合成部１８０６）と、特徴量と合成後の画素値を入力し、再度補正を行うことで、入力画像にあわせた補正を行う再補正部（再補正部１０６、再補正部１８０７）を備え、くっきり、かつシュートを抑えた拡大画像を生成する。

この画像拡大装置によれば、ボケの抑制と、エッジの周辺が光ることの抑制と、画像のベタつきの回避とが両立できて、画質が十分かつ確実に向上できる。

＜＜実施の形態Ｂ＞＞
以下、実施形態Ｂを、図面を参照しながら説明する。実施の形態Ｂは、実施の形態Ａを変形した変形例である。実施の形態Ｂにおいて、先述の説明と同様である点については、適宜、重複した説明が省略される。なお、以下では、先述の図（図１〜図２９）が、適宜、参照される。そして、実施の形態Ｂの構成のうちで、先述の構成に対応する構成については、適宜、先述の構成の符号と同じ符号が用いられたり、先述の構成の名称と同じ名称が用いられたりする。

実施の形態Ｂに係る画像拡大装置（画像拡大装置１０８Ｂ、画像拡大部１５０４Ｂなど）は、前記再補正部は、前記合成部により出力された第１の前記高解像度画像（図３２Ａ、図３０Ｂ及び図４７の点線）を、前記特徴量分析部により生成された前記特徴量と、前記補間部が出力した前記補間画像（図３０Ａ、図３０Ｂ、図４７のＩx,y）とから求められる閾値（図３０Ａ、図３０Ｂ、図４７のＵ'x,y参照）を用いて再度、補正し、補正された第２の前記高解像度画像（図３０Ｂの太い実線、図３２Ｃ、図４７の広いピッチの太い破線）を生成する画像拡大装置である。

（実施の形態Ｂ１）
図２９は、実施形態Ｂ１における画像拡大部１０８Ｂ（画像拡大部１０８の下位概念（一例））のブロック図を示す。

図２９において、１０１は、低解像度の入力画像（元画像）、１０２は、低解像度の入力画像１０１から出力する高解像度画像（第１の高解像度画像、第２の高解像度画像）の各画素に対応する特徴量を出力する特徴量分析部である。１０３は、特徴量分析部１０２の出力した特徴量に応じて、エッジ成分の補正量を計算し、出力する高解像度画像（第２の高解像度画像）の各画素の補正量を計算し、出力する補正量計算部である。１０４は、低解像度の入力画像１０１を入力して、出力する高解像度画像の画素数と同じ画素数の画像（補間画像）を生成する補間部である。１０５は、補間部１０４から出力された高解像度画像（補間画像）の画素を受け取ると共に、画素に対応する補正量を補正量計算部１０３から受け取り、補正した画素（第１の高解像度画像）を出力する合成部である。１０６は、特徴量分析部１０２から受け取った、出力画素に対応する特徴量と、補間部１０４が生成した画素値から計算される閾値を用いて、合成部１０５が出力した合成結果（第１の高解像度画像）を再補正して、出力する再補正部である。１０７は、出力される高解像度画像（第２の高解像度画像）である。１０８Ｂは、低解像度画像を入力して、高解像度画像（第２の高解像度画像）を出力する画像拡大部である。

以下、実施の形態Ｂ１の画像拡大部１０８Ｂ（図２９）に設けられた再補正部１０６が行う再補正の手順について説明を行う。

高解像度画像（第１の高解像度画像）の、画素位置（x,y）に対応する合成部１０５の出力画素値をＸx,y（図４７の点線のデータ）、特徴量分析部１０２により算出された上限値をＵx,y（図４７の狭いピッチの細い一点鎖線のデータ），下限値をＬx,y、補間部１０４が生成した画素値（補間画像）をＩx,y（図４７の実線のデータ）とする。この時、再補正部１０６では、（数Ｂ１）の演算により、上限の閾値Ｕ'x,y（図４７の狭いピッチの細い破線のデータ）と下限の閾値Ｌ'x,y、および、上限側のリミット値ＴＵ（図４７における、極大点でのＵ'x,y＋ＴＵの値Ｍ１参照）と下限側のリミット値ＴＬを計算する。なお、（数Ｂ１）においてα、Ｔは予め設定された定数であり、αは０．０〜１．０の範囲をとる。

（数Ｂ１）
下限側の計算
Ｉx,y ≦ Ｌx,yのとき、Ｌ'x,y ＝ Ｌx,y
ＴＬ ＝ Ｔ
Ｉx,y ＞ Ｌx,yのとき、ｄ０ ＝ Ｉx,y − Ｌx,y
ｄ０' ＝ ｄ０ × α
Ｌ'x,y ＝ Ｉx,y − ｄ０'
ＴＬ ＝ Ｔ ＋ ｄ０ − ｄ０'
上限側の計算
Ｕx,y ≦ Ｉx,yのとき、Ｕ'x,y ＝ Ｕx,y
ＴＵ ＝ Ｔ
Ｕx,y ＞ Ｉx,yのとき、ｕ０ ＝ Ｕx,y − Ｉx,y
ｕ０'＝ ｕ０ × α
Ｕ'x,y ＝ Ｉx,y ＋ ｕ０'
ＴＵ ＝ Ｔ ＋ ｕ０ − ｕ０'

なお、ここで、図４７のβは、上記のαに対して、β＝１−α（０＜β＜１）の関係を有する。

すなわち、先述のＵx,yよりも、（Ｕx,y−Ｉx,y）×βだけ小さい値が、Ｕ'x,yとして算出される（図４７の狭いピッチの破線の細い矢印線参照）。Ｕ'x,yは、Ｉx,yまでの距離として、Ｕx,yからＩx,yまでの距離（Ｕx,y−Ｉx,y）のうちの、割合βの部分（（Ｕx,y−Ｉx,y）×β）が、Ｕx,yから減じられた距離を有する。

なお、図２９における、補間部１０４から再補正部１０６への矢印線（図３１の補間部１８０５から再補正部１８０７への矢印線）は、このようなＵ'x,yを算出するために、再補正部１０６（再補正部１８０７）により、Ｉx,yが補間部１０４（補間部１８０５）から取得されることを示す。

（数Ｂ１）により、Ｕ'x,y, Ｌ'x,yおよびＴＵ, ＴＬを計算した後、再補正部１０６（図４５のＣ倍値算出部１０６１、図４６のＳ４６５）では、（数Ｂ２）の演算により補正値Ｐx,yを計算する。なお、ここで、計算される補正値Ｐx,yは、図４７において、補正値Ｐx,y（Ｂ）１１０２（広いピッチの太い破線のデータ）として示される。

（数Ｂ２）
Ｘx,y ＞ Ｕ'x,yのとき、 Ｐx,y＝Ｕ'x,y ＋ （Ｘx,y − Ｕ'x,y）× Ｃ
Ｘx,y ＜ Ｌ'x,yのとき、 Ｐx,y＝Ｌ'x,y − （Ｌ'x,y − Ｘx,y）× Ｃ
それ以外のとき、 Ｐx,y＝Ｘx,y

なお、数式においてＣはあらかじめ設定された０．０〜１．０の範囲の定数である。

なお、先述の通り、Ｕx,y＞Ｉx,yのとき、Ｕ'x,y＝Ｕx,y−（Ｕx,y−Ｉx,y）×βである。このため、「Ｕx,y＞Ｉx,y かつ Ｘx,y＞Ｕ'x,y」のときにおいて、Ｐx,y＝Ｐx,y(B)＝Ｕ'x,y＋（Ｘx,y−Ｕ'x,y）×Ｃ＝｛Ｕx,y＋（Ｘx,y−Ｕx,y）×Ｃ｝−（Ｕx,y−Ｉx,y）×β×（１−Ｃ）＝Ｐx,y(A)−（Ｕx,y−Ｉx,y）×γである（γ＝β×（１−Ｃ）、０＜γ＜１、図４７参照）。なお、ここで、Ｐx,y(B)は、この実施の形態Ｂ１での補正値Ｐx,y（Ｐx,y(B)）ではなく、実施の形態Ａにおける先述の補正値Ｐx,y（図４７の広いピッチの太い一点鎖線）を示す。つまり、Ｐx,y(B)は、先述のＰx,y(A)よりも、上述の（Ｕx,y−Ｉx,y）×γだけ小さい値である（図４７の広いピッチの太い破線の矢印線参照）。

この計算により、上限値Ｕ'x,y（＜Ｕx,y）と下限値Ｌ'x,y（＜Ｌx,y）を超えた部分が、Ｃ倍（クリッピング）される。Ｃは１．０以下に設定するため、結果として、Ｕ'x,yとＬ'x,yにはさまれた範囲を超えた部分が、補正されて小さくなることになる。

次に、（数Ｂ３）の演算により補正値Ｐx,yをさらに補正して、第２の補正値Ｐ'x,y（Ｐx,y(B)の極大点近くの平坦部分）を計算する。また、ｍｉｎ（ａ，ｂ）は、ａとｂのうちどちらか小さいほうを選択する関数である。

（数Ｂ３）
Ｐx,y ＞ Ｕ'x,yのとき、 Ｐ'x,y＝Ｕ'x,y ＋ ｍｉｎ（Ｐx,y − Ｕ'x,y ，ＴＵ）
Ｐx,y ＜ Ｌ'x,yのとき、 Ｐ'x,y＝Ｌ'x,y − ｍｉｎ（Ｌ'x,y − Ｐx,y ，ＴＬ）
それ以外のとき、 Ｐ'x,y＝Ｐx,y

（数Ｂ３）により、ＴＵ，ＴＬ（値M1）を超えるオーバーシュートとアンダーシュート成分が、ＴＵまたはＴＬに変換される。

再補正部１０６では、この第２の補正値Ｐ'x,y（図４７のＰx,y(B)）を出力する（図４６のＳ４６５ｄ、図４５の閾値クリップ部１０６２）。

図３０Ａは、Ｕx,y，Ｌx,y，Ｉx,y，Ｕ'x,y，Ｌ'x,y，ＴＵおよびＴＬの関係を図示したものである。

定数αが０．０〜１．０の範囲であるため、それぞれの関係は図３０Ａのようになる。図３０Ａでは、Ｕ'x,yとＬ'x,yは、Ｕx,yおよびＬx,yよりもＩx,yに近い値となり（図４７参照）、合成部１０５の出力が、Ｕ'x,yとＬ'x,yを超えた部分について、（数Ｂ２）および（数Ｂ３）の補正をされることになる。なお、Ｕ'x,y＋ＴＵ＝Ｕx,y＋Ｔであり（図４７参照）、Ｌ'x,y−ＴＬ=Ｌx,y−Ｔである。

図３０Ｂは、（数Ｂ２）、（数Ｂ３）による補正を行った例である。

なお、図４７は、図３０Bを模式的にしたグラフを示す。図４７の詳細については、適宜、図３０Bを参照されたい。

図３０Ｂにおいて、点線（丸）で示される折れ線１１０１（図４７の点線のデータ）は、合成部１０５の出力、太い実線で示される折れ線１１０２（図４７の広いピッチの太い破線のデータ）は、再補正部１０６の出力である。また、細い実線で示される折れ線（図４７の実線のデータ）は、補間部１０４の出力Ｉx,yであり、破線はそれぞれＵ'x,y，Ｌ'x,y，Ｕ'x,y＋ＴＵ，Ｌ'x,y−ＴＬである（図４７の狭いピッチの細い一点鎖線のデータ、値Ｍ１の二点鎖線のデータ）。

図３０Ｂのように、１１０１がＵ'x,yを超えるポイント１１０３（図４７参照）で、定数Ｃ（Ｃ＝１−γ／β（γ＜β））により出力（Ｐx,y（B））の傾きが変わり、Ｕ'x,y＋ＴＵを超えるポイント１１０４で、Ｕ'x,y＋ＴＵ（図４７の二点鎖線）にクリップされる。

同様に、Ｌ'x,y以下になるポイント１１０５より、出力の傾きが変えられ、Ｌ'x,y−ＴＬ以下になるポイント１１０６で、Ｌ'x,y−ＴＬにクリップされる。図３０Ｂのように、１１０１で示される、合成部１０５の信号（Ｘx,y、図４７の点線のデータ）に対して、オーバーシュートとアンダーシュートが抑制され、かつ、エッジの傾斜の強い画像が生成される。なお、エッジの傾きの補正が、上限値または下限値の手前から行われるため、傾斜を立てたことによる不自然さも抑制できる。

以上のように、実施の形態Ｂ１によれば、拡大処理によるボケをエッジ強調により緩和しつつ、かつ、エッジ強調によるシュートの発生を抑制した自然な映像を提供することができる。これにより、低解像度画像を拡大した場合でも、映像の先鋭感を失うことなく自然な映像を表示することが可能になる。

なお、図４７のポイント１１０３ｘは、実施の形態Ｂ１におけるポイント１１０３に対応する、実施の形態Ａ１のＰx,y(A)によるポイントを示す。

そして、範囲１０６ｙは、Ｐx,y(B)での補正で平坦化される範囲を示し、範囲１０６ｙＣは、Ｐx,y(A)での補正で平坦化される範囲を示す。

そして、上記のように、前記再補正部（再補正部１０６）は、除去を行う前記第１成分のうちの少なくとも一部として、第３成分（図４７の（Ｘx,y−Ｉx,y）×γ）を、前記第１の高解像度画像（図３２Ａ、図３０Ｂ及び図４７の点線）から除去する。この第３成分は、当該第３成分が除去されることにより、当該第３成分が除去されない場合の第２の高解像度画像（図３２Ｂ、図４７のＰx,y（A）等参照）の平坦な範囲（範囲１０６ｙＣ）よりも狭い平坦な範囲（図３２Ｃ、図４７のＰx,y（B） 等参照）における範囲１０６ｙ）を有する第２の高解像度画像（図３２Ｃ、図４７のＰx,y（B））が生成される成分である。

これにより、平坦な範囲が、元の範囲（範囲１０６ｙＣ）よりも更に狭い範囲（範囲１０６ｙ）となり、より十分に、画像のベタつきを抑制し、さらに高い画質が得られる。

このように、前記合成部（合成部１０５、エッジ強調部）は、前記補間部により生成された前記補間画像（図３０Ａ及び図４７のＩx,y、図３０Ｂの細い実線）の画素値に前記補正量を足してもよい。そして、これにより、前記補間画像におけるエッジが強調された前記第１の高解像度画像（図３０Ｂ及びの図４７の点線）が生成されてもよい。

そして、前記再補正部は、第１の前記高解像度画像における、前記エッジの周辺を光らせる、前記エッジの強調での過補正の成分（シュートの成分）のうちで、前記差に基いて設定された前記閾値（図３０Ａ、図３０Ｂ、図４７のＵ'x,y参照）から特定される成分を除去した第２の前記高解像度画像（図３０Ｂの太い実線、図４７のＰx,y（B））を生成してもよい。ここで、再補正部は、前記閾値として第１の値（図３０Ａ及び図４７のＵx,y）が特定される場合に生成される前記第２の高解像度画像（図３２Ｂ、図４７のＰx,y（Ａ））の平坦部（範囲１０６ｙＣ）よりも狭い平坦部（範囲１０６ｙ）を有する第２の前記高解像度画像（図３０Ｂの太い実線、図３２Ｃ、図４７のＰx,y（B））が生成される第２の値（Ｕ'x,y）を、前記閾値として算出してもよい。

（実施の形態Ｂ２）
実施の形態Ｂ２について、図を参照しながら説明を行う。

図３１は、実施の形態Ｂ２におけるＳ１７０７（図１７）の画像拡大処理を行う画像拡大部１５０４Ｂ（図１５）の処理の流れを示したものである。以降、図３１を用いて、実施の形態Ｂ２における画像拡大処理について詳しく説明する。

実施の形態Ｂ２の画像拡大装置１５００（図１５）は、画像拡大部１５０４として、図３１の画像拡大部１５０４Ｂを備える。

（再補正部）
再補正部１８０７では、合成部１８０６で合成した画素値Ｏ（第１の高解像度画像）と、補間部１８０５で計算された画素値ＯＬ（補間画像）と、特徴量分析部１８０３で計算された特徴量ｇｒａｄ１，ＭＩＮ，ＭＡＸを用いて、合成部１８０６で合成した画素値Ｏ（第１の高解像度画像）の補正を行い、補正された画素値Ｏ'（第２の高解像度画像）を出力する。

以下、Ｏ'の計算方法について（数Ｂ４）から（数Ｂ６）を用いて説明する。

（数Ｂ４）
ＯＬ≦ＭＩＮのとき、ＮＭＩＮ＝ＭＩＮ
ＬＬＩＭ＝ＬＩＭＩＴ
ＯＬ＞ＭＩＮのとき、ＮＭＩＮ＝ＯＬ−（ＯＬ−ＭＩＮ）×Ｅ
ＬＬＩＭ＝ＬＩＭＩＴ＋（１−Ｅ）（ＯＬ−ＭＩＮ）
（数Ｂ５）
ＭＡＸ≦ＯＬのとき、ＮＭＡＸ＝ＭＡＸ
ＵＬＩＭ＝ＬＩＭＩＴ
ＭＡＸ＞ＯＬのとき、ＮＭＡＸ＝ＯＬ＋（ＭＡＸ−ＯＬ）×Ｅ
ＵＬＩＭ＝ＬＩＭＩＴ＋（１−Ｅ）（ＭＡＸ−ＯＬ）
（数Ｂ６）
Ｏ ＞ ＭＡＸのとき、
Ｏ'＝ ＮＭＡＸ＋ｍｉｎ（（Ｏ−ＮＭＡＸ）・ＧＡＩＮ，ＵＬＩＭ）
Ｏ ＜ ＭＩＮのとき、
Ｏ'＝ ＮＭＩＮ−ｍｉｎ（（ＮＭＩＮ−Ｏ）・ＧＡＩＮ，ＬＬＩＭ）
それ以外のとき、 Ｏ'＝Ｏ

（数Ｂ４）〜（数Ｂ６）中のＥ（上述のα）は定数である。また、ＧＡＩＮ（上述のＣ），ＬＩＭＩＴ（Ｔ）は、ｇｒａｄ１から、図４５のＣ倍値算出部１０６１又は閾値クリップ部１０６２により計算されるパラメータである。

（数Ｂ４）は、ＭＩＮ（Ｌx,y），ＬＩＭＩＴとＯＬ（Ｉx,y）および定数Ｅを用いて、Ｏの傾斜を変化させるポイントＮＭＩＮ（Ｌ'x,y）と、下限のクリップ値ＬＬＩＭ（ＴＬ）を再補正部１８０７が計算する数式である。

（数Ｂ５）は、ＭＡＸ（Ｕx,y）、ＬＩＭＩＴとＯＬ、定数Ｅを用いて、Ｏの傾斜を変化させるＮＭＡＸ（Ｕ'x,y）と、上限のクリップ値ＵＬＩＭ（ＴＵ）を再補正部１８０７が計算する数式である。この計算では、定数Ｅは０．０〜１．０である。なお、Ｅを小さくすると、補間拡大の画素値ＯＬとの差が少しでもあれば、傾斜の調整が行われるようになり（図４７のＰx,y（Ｂ））、Ｅを１．０に設定すると、ＭＩＮ、ＭＡＸを超えた部分だけ補正が行われるようになる（図４７のＰx,y（Ａ））。なお、定数Ｅとしては、０．５以下に設定すると、傾斜の変化が早くなり、エッジを立てたことにより不自然さをより少なくすることとができる。

ここで、図３２Ａ〜Ｃを用いて、定数Ｅによる出力波形の違いを説明する。

図３２Ａは、合成部１８０６の出力（図４７のＸx,y）を示す図である。

図３２Ｂは、Ｅ＝１．０の再補正後の出力（図４７のＰx,y（Ａ））を示す図である。

図３２Ｃは、Ｅ＝０．２５の再補正後の出力画像（図４７のＰx,y（Ｂ））の水平ラインの一部である。

これらの各図では、横軸が、画像の水平方向の画素位置を、縦軸が、各画素位置の画素値を示している。

図示されるように、図３２Ｂ（図４７のＰx,y（Ａ））、図３２Ｃ（図４７のＰx,y（Ｂ））ともに、図３２Ａ（図４７のＸx,y）で発生しているオーバーまたはアンダーシュート成分が抑えられ、かつエッジが急峻になっていることがわかる。

そして、図３２Ｃ（図４７のＰx,y（Ｂ））では、図３２Ｂ（図４７のＰx,y（Ａ））に比べて、エッジの傾斜は維持しつつ、図４７の範囲１０６ｙＣよりも狭い範囲１０６ｙＣにより示されるように、上部が平坦化してしまう影響が少なくなっている。このため、図３２Ｃ（図４７のＰx,y（Ｂ））では、図３２Ｂ（図４７のＰx,y（Ａ））に比べて、エッジ周辺が自然な形になり、くっきりとした映像になる。

＜＜実施の形態Ｃ＞＞
以下、実施形態Ｃを、図面を参照しながら説明する。実施の形態Ｃも、実施の形態Ａを変形した変形例である。なお、実施の形態Ｃの細部の点は、実施の形態Ｂと同様であってもよい。

実施の形態Ｃに係る画像拡大装置（画像拡大装置１０８Ｃ、画像拡大部１５０４Ｃなど）は、前記低解像度画像及び前記高解像度画像の画像サイズ、又は、拡大率を入力し（拡大率と、前記低解像度画像及び前記高解像度画像の画像サイズとの少なくとも一方を入力し）、前記低解像度画像から前記高解像度画像を生成するための、前記高解像度画像の各画素に対応する、前記低解像度画像に対する第１の補間画素位置を生成する補間画素位置生成部（補間画素位置生成部１１０）と、前記低解像度画像（入力画像１０１）と前記第１の補間画素位置とを入力し、前記第１の補間画素位置の周辺の画素値の変化に応じて、前記第１の補間画素位置を補正して、前記第１の補間画素位置が補正された第２の補間画素位置を生成する白細線化部（白細線化部１０９）とを備え、前記補正量計算部（補正量計算部１０３）は、前記第２の補間画素位置と、前記低解像度画像とを入力し、出力する第２の前記高解像画像の各画素の補正量を計算し、前記補間部（補間部１０４）は、前記低解像度画像と、前記第１の補間画素位置とを入力し、入力された前記第１の補間画素位置に対応する画素値を補間計算し、当該第１の補間画素位置に、計算された前記画素値を有する前記補間画像（図３６及び図３７の（ａ））を生成し、前記合成部は、前記補正量計算部で、前記第２の補間画素位置から計算された前記補正量（図３６及び図３７の右欄の（ｂ））と、前記補間部で、前記第１の補間画素位置から生成された前記画素値（図３６及び図３７の（ａ）とを合成して（図３６及び図３７の（ｃ）の４１１０６）、第２の前記高解像度画像（図３７の（ｄ）の１２０８）を生成する画像拡大装置である。

なお、図３３における、補間画素位置生成部１１０から特徴量分析部１０２への矢印線等により示されるように、次の通りでもよい。

つまり、前記特徴量分析部は、前記第１の補間画素位置（補間画素位置生成部１１０による位置）における、前記低解像度画像の特徴量を分析し、出力する第２の前記高解像度画像の各画素に対する特徴量を出力し、記補正量計算部は、前記第２の補間画素位置、前記低解像度画像、および、前記第１の補間画素位置からの前記特徴量を入力し、出力する第２の前記高解像度画像の各画素の補正量を計算してもよい。

また、図３９における、白細線化部４１９０９から特徴量分析部４１９０３への矢印線等により示されるように、次の通りでもよい。

つまり、前記特徴量分析部は、前記第２の補間画素位置（白細線化部４１９０９による位置）における、前記低解像度画像の特徴量を分析し、出力する第２の前記高解像度画像の各画素に対する特徴量を出力し、前記補正量計算部は、前記第２の補間画素位置、前記低解像度画像、および、前記第２の補間画素位置からの前記特徴量を入力し、出力する第２の前記高解像度画像の各画素の補正量を計算してもよい。

（実施の形態Ｃ１）
図３３は、実施形態Ｃ１における画像拡大部１０８Ｃ（画像拡大部１０８の下位概念（一例））のブロック図を示す。

図３３において、１０１は、低解像度の入力画像（元画像）、１０２は、低解像度の入力画像１０１から出力する、高解像度画像（第１の高解像度画像、第２の高解像度画像）の各画素に対応する特徴量を出力する特徴量分析部である。１１０は、拡大率、または、入力画像１０１と出力画像１０７との画像サイズを入力し、サイズに応じた、高解像度画像の各画素を補間するための第１の補間画素位置を生成する補間画素位置生成部である。

そして、１０９は、入力画像１０１と、補間画素位置生成部１１０により生成された第１の補間画素位置から、第１の補間画素位置が補正された第２の補間画素位置を補正計算する白細線化部である。また、１０３は、特徴量分析部１０２の出力した特徴量に応じて、白細線化部１０９により算出された第２の補間画素位置に対応するエッジ成分の補正量を計算し、出力する高解像度画像（第２の高解像度画像）の各画素の補正量を出力する補正量計算部である。

そして、１０４は、低解像度の入力画像１０１と、白細線化部１０９による補正がされる前の上記第１の補間画素位置を入力して、出力する高解像度画像と同じ画素数の画像（補間画像）を生成する補間部である。１０５は、補間部１０４から出力された高解像度画像（補間画像）の画素を受け取ると共に、その画素に対応する補正量を補正量計算部１０３から受け取り、補正した画素（第１の高解像度画像）を出力する合成部である。１０６は、特徴量分析部１０２から受け取った、出力画素に対応する特徴量によって、合成部１０５が出力した合成結果（第１の高解像度画像）を再補正して、出力する再補正部である。１０７は、出力される高解像度画像（出力画像、第２の高解像度画像）、１０８Ｃは、低解像度画像（入力画像１０１）を入力して、高解像度画像（出力画像１０７、第２の高解像度画像）を出力する画像拡大部である。

（補間画素位置生成部）
補間画素位置生成部１１０では、拡大率、または、入力画像のサイズと出力画像のサイズとをパラメータとして受け取り、これを用いて補間画素位置（第１の補間画素位置）の計算を行う。なお、入力が、入力画像サイズと出力画像サイズとである場合、画像サイズの比率により拡大率を計算する。他方、拡大率が入力された場合には、入力された拡大率をそのまま利用する。

なお、このとき、水平・垂直の拡大率が異なる場合には、入力される拡大率は、水平と垂直の拡大率の２つとなる。両者が同じ場合は、拡大率としては１つだけでよいが、ここでの説明では、水平方向の拡大率と、垂直方向の拡大率の２つを受け取ったとして説明を行う。

図３４は、水平・垂直の拡大率から、補間画素位置の計算を行うフローを示す（Ｓ３４０１〜Ｓ３４１０）。

補間画素位置生成部１１０では、まず、水平・垂直方向の移動幅ｄｘ、ｄｙを計算する（Ｓ３４０２）。ｄｘ、ｄｙは拡大率から計算できる。具体的には、ｄｘ、ｄｙは拡大率の逆数となる。例えば、拡大率が、水平・垂直各２倍であれば、ｄｘ、ｄｙは１／２＝０．５となる。

次に、補間画素位置（ｘ、ｙ）を初期値（０，０）に初期化する（Ｓ３４０３）。この初期値として、ここでは０を設定したが、拡大時の画像の中心を変えたくない場合には、−０．２５，−０．２５を設定すればよい。このように初期値は、高解像度画像として生成したい画像の位相により設定を変えておく。

次に、（ｘ、ｙ）を第１の補間画素位置として出力する（Ｓ３４０４）。なお、第１の補間画素位置（ｘ、ｙ）が負の値である場合は、０にクリップして出力を行う。

次に水平方向の補間位置ｘをｄｘだけずらす（Ｓ３４０５）。ｄｘだけずらした結果ｘが、入力画像の水平サイズより小さい場合には、Ｓ３４０４の処理に戻る（Ｓ３４０６：Ｙｅｓ）。水平サイズを超えた場合には（Ｓ３４０６：Ｎｏ）、ｘを初期値に初期化し（Ｓ３４０７）、ｙにｄｙを加算し更新する（Ｓ３４０８）。

そして、垂直位置ｙが、入力画像の垂直サイズより小さい場合には（Ｓ３４０９：Ｙｅｓ）、Ｓ３４０４の処理に戻る（Ｓ３４０９）。垂直サイズを超えた場合には（Ｓ３４０９：Ｎｏ）、すべての画素の補間画素位置を出力したとして、終了する。

以上で、高解像度画像のサイズ分の第１の補間画素位置が生成される。

なお、ここでの第１の補間画素位置の計算方法は一例であり、一般的な、拡大処理に利用される補間位置の計算方法を用いても、本実施の形態と同様の効果が期待できる。また、入力画像の初期値および移動幅ｄｘ、ｄｙを適切に設定することで、入力画像の一部分だけを出力画像のサイズに合わせて拡大することも可能となる。この場合は、Ｓ３４０６、Ｓ３４０９の条件を、それぞれ、出力した補間画素位置の個数が、出力画像の水平サイズを越えた、及び、垂直サイズを超えたとすればよい。

（白細線化部）
白細線化部１０９では、低解像度画像（入力画像１０１）と、補間画素位置生成部１１０により生成された第１の補間画素位置を入力して、第１の補間画素位置が補正された第２の補間画素位置を出力する。

図３５は、白細線化処理のフローである（Ｓ３５０１〜Ｓ３５１２）。

白細線化では、まず、第１の補間画素位置（ｘ、ｙ）を入力する（Ｓ３５０２）。

次に、第１の補間画素位置（ｘ、ｙ）に隣接する、入力画像１０１の画素位置を算出する（Ｓ３５０３）。先に説明したように、第１の補間画素位置は、小数位置であり、例えば（ｘ，ｙ）＝（１０．５，１２．５）であれば、隣接する、入力画像１０１の画素は（１０，１２）（１１，１２）（１０，１３）（１１，１３）の４つの位置にある画素となる。

次に、算出された複数の隣接画素のうち、最大および最小の画素値を持つものをチェックする（Ｓ３５０４）。最大と最小との画素値を持つ画素の位置が、水平方向にずれた２つの位置である場合には（Ｓ３５０５：Ｙｅｓ）、ｘ方向の補正量を計算し、ｘを補正する（Ｓ３５０６，Ｓ３５０７）。この補正は、最小値を持つ画素位置の方へ、ｘをずらすような補正である。

なお、どれだけずらすかは、最大値と最小値の差分により決定する。例えば、差分が大きな場合はｘをより大きくずらし、差が小さな場合は殆ど動かさないような処理を行う。

同様に、ｙ方向についても、最大と最小の画素値を持つ画素の位置が垂直方向にずれている場合について（Ｓ３５０８：Ｙｅｓ），ｙ方向の補正量を計算し、ｙの補正を行う（Ｓ３５０９，Ｓ３５１０）。

そして、補正した（ｘ、ｙ）を、補正後の第２の補間画素位置（ｘ'、ｙ'）として出力する（Ｓ３５１１）。

すなわち、最大の画素値の画素と、最小の画素値の画素との２つの画素が特定されることにより、入力画像１０１における、第１の補間画素位置での傾きの方向が特定される。そして、特定された方向における、最小値の画素側への向き、つまり、暗い方への向きに、第１の補間画素位置から移動した位置が、第２の補間画素位置として特定される。

以上の処理を行うことで、隣接画素の最大値と最小値の差が大きい場合、つまり明るさの差が大きい部分について、第２の補間画素位置（ｘ、ｙ）が暗い方向に補正されることになる。この、補正された補間画素位置を利用して補間計算を行うことで、下記で詳しく説明されるようにして、明るい部分の領域が狭くなり、結果として白い部分を細くすることが可能になる。

なお、第１の補間画素位置での傾きが、平坦である場合などには、第１の補間画素位置と同じ位置が、第２の補間画素位置と特定されてもよい。

（特徴量分析部）
特徴量分析部１０２では、補間部１０４の出力する拡大後の各画素に対する特徴量を計算し、出力する。特徴量として出力するのは、補間画素位置（例えば、第１の補間画素位置）に対応する、低解像度画像の位置周辺の傾斜の強さと、周辺画素の上限値と下限値である。傾斜の強さは、補間画素位置に隣接する低解像度画像の画素を２×２画素抽出し、図３および図４のフィルタにより水平および垂直の微分成分ｄｘとｄｙを求め、どちらか大きなほうを傾斜の強さとするなどの方法がある。なお、傾斜の強さの計算方法としてはsobelフィルタまたはprewittフィルタなどを用いてもよく、この方法に限定されるものではない。また、上限値と下限値としては、補間画素位置の周辺の低解像度画像ｎ×ｎ画素の中で、最も大きな画素値を上限値、最も小さな値を下限値として設定する。

以上により、傾斜の強さと上限値、下限値が特徴量として計算され、出力される。

なお、本実施の形態では、特徴量分析部１０２に入力される補間画素位置として、補正される前の第１の補間画素位置を入力するとしたが、白細線化部１０９で補正された第２の補間画素位置を入力してもよい。この場合、下限値と上限値も、補正された第２の補間画素位置方向にずれるため、より強い補正を行うことができる。

（補正量計算部）
補正量計算部１０３では、第２の補間画素位置に対応する画素のエッジ度合いに応じた補正量を計算する。補正量計算部１０３では、まず、白細線化部１０９で補正された、第２の補間画素位置と、低解像度の入力画像の画素値を用いてエッジ成分を計算する。エッジ成分の抽出方法としては、例えば、先述の図５または図６に示すラプラシアンフィルタなどを用いる。なお、補間画素位置（例えば小数位置）の画素は、低解像度画像（例えば、整数位置の画素のみよりなる）には存在しないため、これらのフィルタを施す場合には、一度補間演算により、対応する各画素位置（例えば整数位置）の画素値を計算した後に、３×３のフィルタ処理が行われる。

エッジ成分を抽出後、特徴量分析部１０２で計算した傾斜の強さを用いて、補正量計算部１０３が抽出したエッジの強調度合いを計算する。

補正量計算部１０３に、白細線化部１０９で補正された第２の補間画素位置を入力することにより、出力される補正量が、明るい方向と暗い方向で不均等になる。これにより、白と黒の補正量のバランスを変えることができる。

つまり、比較的明るい第１の補間画素位置の補正量として、第１の補間画素位置において算出される補正量ではなく、補正された比較的暗い第２の補間画素位置で算出される補正量が特定される。

（補間部）
補間部１０４では、バイリニア法やバイキュービックコンボリューション法等を用いて、低解像度画像（入力画像１０１）から、高解像度の画像（補間画像）を、補間拡大により生成する。なお、これらの一般的な拡大技術は、本実施形態の骨子ではないので、詳しい説明を省略する。補間部１０４の技術としては、従来から用いられている拡大補間技術を利用することが可能である。

なお、補間部１０４では、白細線化部１０９で補正した第２の補間画素位置は利用されない。これは、補間部１０４の画素位置として、補正した結果を利用すると、白から黒に変化するエッジ部分で、ギザギザ感が強調されてしまうためである。したがって、補間部１０４は、補間画素位置生成部１１０で生成した、補正前の第１の補間画素位置を利用する。

（再補正部）
再補正部１０６では、合成部１０５が出力した、エッジ強調が施された第１の高解像度画像と、特徴量分析部１０２が出力した、第１の高解像度画像に対応した上限値、下限値を入力し、合成部１０５が出力した第１の高解像度画像の再補正を行う。

以下、再補正の手順について説明を行う。

第１の高解像度画像の画素位置（x,y）に対応する、合成部１０５の出力画素値をＸx,y、上限値をＵx,y，下限値をＬx,yとした時、再補正部１０６では、先述の（数Ａ１）の演算により第１の補正値Ｐx,yを計算する。

次に、先述の（数Ａ２）の演算により、第１の補正値Ｐx,yをさらに補正して、第２の補正値Ｐ'x,yを計算する。

再補正部１０６では、この第２の補正値Ｐ'x,yを出力する。

以上の処理により、実施の形態Ｃ１によれば、白い部分を細くしつつ、アンダーシュートとオーバーシュートを抑えた拡大画像が出力されることになる。

図３６は、合成までの処理でのデータを示す図である。

図３７は、再補正までの処理でのデータを示す図である。

以下、図３６と図３７を利用しながら、処理の過程と信号の流れについて説明する。図３６および図３７の補正前（左欄）は、白細線化処理により補間画素位置の補正を行わなかった場合のデータを示し、補正後（右欄）は、補間画素位置を補正した場合のデータを示す。

図３６、図３７のそれぞれでは、補間部１０４の出力（ａ）、補正量計算部１０３の出力（ｂ）、合成部１０５の出力（ｃ）、そして再補正部１０６の出力（図３７の（ｄ））を示している。なお、再補正部１０６の出力（ｄ）は、Ｔを０とした場合の結果である。なお、図の水平方向は画素位置を示し、垂直方向は画素値を示している。画素値は上に行くほど明るい色で、下に行くほど暗い色を表している。

図３７では、合成部１０５の出力（ｃ）までの例を示す。

ここで、画素位置補正を行う場合でも、補間部１０４には、補正前の第１の補間画素位置が入力されるため、（ａ）の行において、４１１０１と４１１０２（補間画像）は両者同じである。

（ｂ）は、補正量計算部１０３の出力であるが、画素位置補正を行った場合には（右欄）、画素位置補正を行わない左欄の場合には比較的明るい補正量が特定される第１の補間画素位置で、第２の補間画素位置における暗い補正量が特定されることにより、明るい補正量の部分が狭くなる。このような画素位置補正が行われるため、（ｂ）の左欄の４１１０３に比べて、右欄の４１１０４の上に凸な部分が狭くなっている。

（ｃ）は、（ａ）と（ｂ）を合成した結果であるが、上段における左欄の４１１０５における明るい部分４１１０５Ｒに比べて、右欄の４１１０６の明るい部分４１１０６Ｒが狭くなっているのがわかる（下段の４１１０７参照）。このため、白い部分が細く見えるようになる。

図３７（ｄ）では、再補正部１０６により再補正された結果を示す。図３７（ｄ）を見ると、再補正後の信号１２０７と１２０８の明るい部分の幅が、画素位置補正をした場合（右欄）の部分１２０８Ｒでは、他方の部分１２０７Ｒよりも狭くなっていることがわかる（１２０９）。

このように、再補正後（右欄）では、アンダーシュートとオーバーシュートがなく、かつ白が細くなった、拡大後のデータが出力される。

以上のように、実施の形態Ｃ１によれば、特に、拡大処理にあわせてエッジ補正を行った場合に起こりやすい、白が太くなったような印象をなくすように、拡大後の明るい成分を細くしたエッジ補正を実現できる。これにより、視覚的にバランスのとれた拡大画像（出力画像１０７）を生成できる。

なお、アンダーシュートおよびオーバーシュートの補正を行わないのであれば、合成部１０５までの処理で、拡大処理を終えてもよい。この場合も、白線が太く見えないという効果を得ることができる。

このように、画像拡大装置１０８（画像拡大装置１０８Ｃ）は、白細線化部（白細線化部１０９）を備える。

白細線化部は、第１の補間画素位置を第２の補間画素位置に補正することにより、補正された第２の補間画素位置から算出された補正量（図３６の４１１０４）でのエッジ強調がされた第１の高解像度画像をエッジ強調部（合成部１０５）に算出させて、エッジ強調部の動作を制御する。この制御により、含まれる白の部分（図３６の部分４１１０６Ｒ）が、制御がされない場合の白の部分（部分４１１０５Ｒ）よりも狭い第１の高解像度画像（信号４１１０６）がエッジ強調部により算出される。

そして、白細線化部は、この制御により、ひいては、このような、白の部分が狭められた第１の高解像度画像に対する再補正を再補正部１０６に行わせて、再補正部１０６の動作を制御する。この制御により、含まれる白の部分（図３７の部分１２０８Ｒ）が、制御がされない場合の白の部分（部分１２０７Ｒ）よりも狭い第２の高解像度画像（図３７（ｄ）の信号１２０８）が再補正部１０６により算出される。

（実施の形態Ｃ２）
実施の形態Ｃ２について、図を参照しながら説明を行う。

図３８は、実施の形態Ｃ２における、画像拡大部１５０４Ｃが設けられた画像拡大装置１５００のブロック図である。

図３８において、１０１は、入力画像、１６０１は、第１の補間画素位置ｘ，ｙ、１６０２は、第１の補間画素位置ｘ，ｙの周辺６ｘ６画素を選択する画素選択部である。１６０３は、第１の補間画素位置ｘ，ｙの小数点部分ｐｘ，ｐｙを取り出す小数点位置計算部、１５０４Ｃは、入力画像の６ｘ６画素と、小数点位置ｐｘ，ｐｙを入力し、第１の補間画素位置ｘ，ｙの画素値（第２の高解像度画像）を計算して出力する画像拡大部である。１０７は、拡大処理後の第２の高解像度画像である。

図３９は、実施の形態Ｃ２における、図１７のＳ１７０７の画像拡大処理を行う画像拡大部１５０４Ｃ（図３８）の処理の流れを示したものである。以降、図３９を用いて、実施の形態Ｃ２の画像拡大処理について詳しく説明する。

（白細線化部）
図４０は、図３９の白細線化部４１９０９の処理の詳細を示した図である。

白細線化部４１９０９では、入力画素から傾斜方向を、傾斜方向判定部２００３により算出する。

図４１は、傾斜方向の検出方法を説明する図である。

図４１において、白丸は、第１の補間画素位置の隣接画素、黒丸は、隣接画素の中で最大値となるもの、網掛けの丸は、隣接画素の中で最小値となるものである（図３５のＳ３５０４等参照）。４画素の値がすべて同じとなるパターン（ａ）（ｆ）（ｋ）（ｐ）では、すべての画素で、白丸としている。

図４１の矢印は、最小値から最大値に向かう方向を示しており、矢印が水平の場合は、横方向のみの補正、垂直の場合は、縦方向のみの補正、斜めの場合は、水平・垂直双方の補正が行われる。なお、ここで示した傾斜方向判定部２００３は、一例であり、図３または図４に示したフィルタを隣接画素に施した結果により傾斜方向を判定するなどしてもよい。

補間位置補正量計算部２００４では、最大値と最小値の差から補正量の計算を行う。なお補正量の計算では、傾斜方向判定部２００３の結果が、水平方向のみの補正の場合には、ｘの補正量のみ、垂直方向の補正の場合には、ｙの補正量のみ、斜めの場合には、ｘ、ｙ双方の補正量を計算する（図３５のＳ３５０５〜Ｓ３５１０参照）。

補正量計算としては、例えば（数Ｃ１）、（数Ｃ２）のような方法がある。

（数Ｃ１）
ＡＸ＝ＣＬＩＰ（０，（最大値−最小値）×Ｋ，Ｌ）
（数Ｃ２）
ＡＹ＝ＣＬＩＰ（０，（最大値−最小値）×Ｋ，Ｌ）

（数Ｃ１），（数Ｃ２）において、ＡＸは、水平方向の補正量、ＡＹは、垂直方向の補正量、Ｋ、Ｌは各々定数である。また、ＣＬＩＰは、０〜Ｌの範囲に演算結果をクリップすることを示している。先に説明したように、各方向の補正を行う場合のみ、（数Ｃ１），（数Ｃ２）による計算が行われ、補正を行わない方向についての補正量は、０となる。例えば、垂直方向のみ補正を行う場合には、ＡＸ＝０となる。なお、Ｋを負の値に設定することで、白を細くするのではなく、黒を細くすることもできる。画像拡大装置１５００では、意図的に白を太く見せたい場合には、Ｋの設定により白を太くすることも可能である。

なお、図４１（ｄ）（ｇ）（ｊ）（ｍ）の斜め方向の移動については、（数Ｃ１），（数Ｃ２）の計算式で補正量を計算した場合、以下のような問題が発生する。

図４２は、補正量の計算で発生する問題を示す図である。

図４２（ａ）は、（数Ｃ１），（数Ｃ２）に基づいて、補正量ＡＸ，ＡＹを設定した場合の例である。図４２（ａ）のように補正量は、原点を中心とした正方形の形となり、斜め方向（２２０１）の補正の場合、水平、垂直のみの補正時に比べて約１．４１４倍長くなってしまう。これにより、画像中の斜め線などが過度に補正され、ガタついてしまうことがある。そこで、補間位置補正量計算部２００４では、ＡＸ，ＡＹの長さに応じて、図４２（ｂ）の２２０２のように、円周上の位置に来るように、ＡＸ，ＡＹの調整を行う。これにより、斜め方向への補正がかかり過ぎるのを防ぐ。この補正には三角関数を用いた演算が必要となるが、より簡易的な方法としては、図４１（ｄ）（ｇ）（ｊ）（ｍ）の４パターンに一致した場合に、ＡＸ，ＡＹを１／√２倍するなどでも良い。

次に、補間位置補正部２００５では、補間座標Ｐｘ，ＰｙのそれぞれにＡＸ，ＡＹを各々加算して補正を行う（数Ｃ３）。

（数Ｃ３）
Ｐｘ'＝ＣＬＩＰ（０，Ｐｘ＋ＡＸ，１．０）
Ｐｙ'＝ＣＬＩＰ（０，Ｐｙ＋ＡＹ，１．０）

なお、（数Ｃ３）では、Ｐｘ，Ｐｙのそれぞれは、０〜１の範囲に正規化されているとしている。例えば、Ｐｘが０〜２５５の値をとる場合には、Ｐｘ'を計算する数式は、Ｐｘ'＝ＣＬＩＰ（０，Ｐｘ＋ＡＸ，２５５）となる。

以上により、補正された第２の補間座標Ｐｘ'とＰｙ'（第２の補間画素位置、図４０の補間座標２００６）が計算される。

（特徴量分析部）
図４３は、図３９の特徴量分析部４１９０３の処理の詳細を示したものである。

特徴量分析部４１９０３では、入力画像１０１（図３８）の補間位置の周辺Ｎ×Ｍ画素４２３０１と、白細線化部４１９０９により算出された第２の補間画素位置ｐｘ'、ｐｙ'（図４３の補間座標４２３０２）を入力し、特徴量としてｇｒａｄ０，ｇｒａｄ１，ＭＩＮ，ＭＡＸを出力する。なお、ここでは、入力は、Ｎ＝Ｍ＝４での１６画素として説明を行うが、これより小さい、または大きな範囲により特徴量を計算してもよい。

画像拡大部１５０４Ｃに入力された６×６画素のうち、中央の４×４画素が入力されると、特徴量分析部４１９０３では、まず２×２画素ブロック毎の画素値の最大値と最小値を、ブロック毎のＭＩＮ／ＭＡＸ計算部４２３０３で計算する。２×２画素ブロックとは、先述の図２０に示すように、４×４画素を２×２画素毎に９ブロックに分割するブロックである。図２０では○印が画素、０〜８までの数字がブロックの番号である。ここでは、各ブロックの最大値と最小値をＭＩＮｎ、ＭＡＸｎ（ｎ＝０，１，２，３，...，８であり図２０のブロック番号に対応）とする。

ブロック差分計算部４２３０４では、各ブロック毎の差分ＤＩＦＦｎを計算する。ＤＩＦＦｎの計算式は、先述の（数Ａ５）のとおりである。

また、エリア判定部４２３０５では、補正後の補間座標（第２の補間画素位置）ｐｘ'、ｐｙ'から、ＭＩＮ，ＭＡＸの計算に使うブロックと、補間に利用するＤＸ，ＤＹを計算する。先述の図２１により、４×４画素と、ｐｘ'、ｐｙ'と、補間画素の関係が示される。第２の補間画素位置の小数点成分がｐｘ'、ｐｙ'なので、０．０≦ｐｘ、ｐｙ＜１．０となり、ｐｘ'、ｐｙ'は図２１斜線の範囲となる。

ｐｘ'、ｐｙ'が図２１のａ，ｂ，ｃ，ｄのどのエリアにあるかで、補間に利用するＭＩＮｎ、ＭＡＸｎを、図２２Ａ〜２２Ｄのように変える。図２２Ａの斜線で示されるブロックは、図２１のａのエリアにｐｘ'、ｐｙ'がある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｂの斜線で示されるブロックは、図２１のｂのエリアにｐｘ'、ｐｙ'がある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｃの斜線で示されるブロックは、図２１のｃのエリアにｐｘ'、ｐｙ'がある場合に選択されるＭＩＮｎ、ＭＡＸｎを示している。図２２Ｄの斜線で示されるブロックは、図２１のｄのエリアにｐｘ'、ｐｙ'がある場合に選択されるＭＩＮｎ、ＭＡＸｎを示していている。

（数Ｃ４）は、ＭＩ０、ＭＩ１，ＭＩ２，ＭＩ３とＭＡ０，ＭＡ１，ＭＡ２、ＭＡ４，ＤＸ，ＤＹを求める式である。

（数Ｃ４）
ａのエリアの場合）
ＭＩ０＝ＭＩＮ０
ＭＩ１＝ＭＩＮ１
ＭＩ２＝ＭＩＮ３
ＭＩ３＝ＭＩＮ４
ＭＡ０＝ＭＡＸ０
ＭＡ１＝ＭＡＸ１
ＭＡ２＝ＭＡＸ３
ＭＡ３＝ＭＡＸ４
ＤＸ＝Ｐｘ'＋０．５
ＤＹ＝Ｐｙ'＋０．５
ｂのエリアの場合）
ＭＩ０＝ＭＩＮ１
ＭＩ１＝ＭＩＮ２
ＭＩ２＝ＭＩＮ４
ＭＩ３＝ＭＩＮ５
ＭＡ０＝ＭＡＸ１
ＭＡ１＝ＭＡＸ２
ＭＡ２＝ＭＡＸ４
ＭＡ３＝ＭＡＸ５
ＤＸ＝Ｐｘ'−０．５
ＤＹ＝Ｐｙ'＋０．５
ｃのエリアの場合）
ＭＩ０＝ＭＩＮ３
ＭＩ１＝ＭＩＮ４
ＭＩ２＝ＭＩＮ６
ＭＩ３＝ＭＩＮ７
ＭＡ０＝ＭＡＸ３
ＭＡ１＝ＭＡＸ４
ＭＡ２＝ＭＡＸ６
ＭＡ３＝ＭＡＸ７
ＤＸ＝Ｐｘ'＋０．５
ＤＹ＝Ｐｙ'−０．５
ｄのエリアの場合）
ＭＩ０＝ＭＩＮ４
ＭＩ１＝ＭＩＮ５
ＭＩ２＝ＭＩＮ７
ＭＩ３＝ＭＩＮ８
ＭＡ０＝ＭＡＸ４
ＭＡ１＝ＭＡＸ５
ＭＡ２＝ＭＡＸ７
ＭＡ３＝ＭＡＸ８
ＤＸ＝Ｐｘ'−０．５
ＤＹ＝Ｐｙ'−０．５

特徴量計算部４２３０６では、ブロック差分計算部４２３０４で計算したＤＩＦＦｎ、エリア判定部で計算したＭＩ０〜３，ＭＡ０〜３、ＤＸ，ＤＹから、ｇｒａｄ０，ｇｒａｄ１，ＭＩＮ，ＭＡＸを算出する。

先述の（数Ａ７）により、算出式が示される。

なお、ここでは、特徴量分析に、補正後の第２の補間座標（第２の補間画素位置）Ｐｘ'、Ｐｙ'を入力したが、補間前の第１の補間座標（第１の補間画素位置）の小数点成分Ｐｘ、Ｐｙを入力してもよい。

（補正量計算部）
図４４は、図３９の補正量計算部４１９０４の処理の詳細を示したものである（図２３参照）。

補間部２７０３と補間部２７０７では、補正後の補間位置（第２の補間画素位置）ｐｘ'、ｐｙ'と±１画素はなれた位置の画素値を補間計算により求める。先述の図２４により、４ｘ４の入力画素値を、ｖ００〜ｖ３３とした場合の補間位置ｐｘ'、ｐｙ'の画素の位置が示される。第２の補間画素位置である補間位置ｐｘ'、ｐｙ'の画素位置２３０８に対して±１画素はなれた位置は、図２５に示すｉ００、ｉ０１、ｉ０２、ｉ１０，ｉ１２，ｉ２０，ｉ２１，ｉ２２の８箇所になる。補間部２７０３では入力された４×４画素を用いてｐｘ'、ｐｙ'位置を含めた９点の画素値を、補間部２７０７では帯域制限部２７０６により帯域制限された４×４画素を用いて、ｐｘ'、ｐｙ'位置を含めた９点の画素値を補間により算出する。

以上のように補正量計算部４１９０４では、補正された第２の画素位置（第２の補間画素位置）を用いて、エッジ成分の計算を行うことで、エッジの明るさに応じた、太さの調整を行うことができる。これにより、白い部分と黒い部分でのエッジの補正量のバランスを変更することができ、太さをコントロールできる。

（補間部）
補間部４１９０５（図３９）では、入力された６×６画素４１９０１と、補正前の第１の画素位置（第１の補間画素位置）の小数点位置Ｐｘ，Ｐｙ４１９０２を用いて、画素値を補間して補間画像ＯＬを出力する。

（再補正部）
再補正部４１９０７では、合成部４１９０６で合成した画素値Ｏ（第１の高解像度画像）と、特徴量分析部で計算された特徴量ｇｒａｄ１，ＭＩＮ，ＭＡＸを用いて画素値の補正を行い、補正された画素値Ｏ'（第２の高解像度画像）を出力する。

先述の（数Ａ９）により、出力値Ｏの計算式が示される。

（数Ａ９）中のＧＡＩＮ，ＬＩＭＩＴはｇｒａｄ１から計算されるパラメータである。図２７はｇｒａｄ１とＧＡＩＮの関係を示したものである。図では、ｇｒａｄ１が小さい場合にはゲインを大きく、ｇｒａｄ１と大きくなるほどゲインを小さくした設定となる。

図２８はｇｒａｄ１とＬＩＭＩＴの関係を示したものである。図２８では、ｇｒａｄ１が小さい場合にＬＩＭＩＴが大きく、ｇｒａｄ１が大きい場合にＬＩＭＩＴが小さくなる設定となる。

なお、先述の図２７、図２８の説明と同様、再補正部４１９０７には、特徴量に対応する定数（ＧＡＩＮ及びＬＩＭＩＴの少なくとも一方）を用いる設定がされてもよい。例えば、特徴量に対応するＬＩＭＩＴが用いられる設定がされてもよい。上記のように設定すると、ｇｒａｄ１が大きい部分、つまり強いエッジ成分を含む部分では、ＬＩＭＩＴによるクリップが強くなる（きっちりとされる）ため、くっきりした映像になる。一方、小さな振幅を含む部分では、クリップがあまりされないため、シュートをカットしたことによる不自然感を抑えることができる。

以上のように、実施の形態Ｃの画像拡大装置１０８Ｃ（画像拡大部１５０４Ｃ、実施の形態Ｃの画像拡大装置１５００）によれば、自然なかつ強いシュートがなくエッジがすっきりと立った映像（図３７の１２０８）を生成することができる。また、補正後の第２の補間画素位置を用いて、特徴量と補正量を計算することで、図３７（ｄ）の補正後（右欄の信号１２０８）のように、白い部分を細くすることができる。これによりエッジの傾斜補正を普通に行い、黒と白が同じ幅だけ太くなってしまった場合に発生していた、錯視効果により白が太く見えてしまう現象を緩和し、拡大後の視覚的な黒白のバランスを保つことができる。

要約すれば次の通りである。低解像度画像（入力画像１０１）を高解像度画像（出力画像１０７）に拡大し表示する場合、同時にエッジの先鋭化（合成部１０５における、補正量の足し込みによるエッジ強調）を行うと、錯視効果により白が太く見えてしまう問題がある（図４９、図５０、図３６、図３７等参照）。そこで、低解像度の入力画像を入力し、高解像度の出力画像を出力する画像拡大装置（画像拡大装置１０８Ｃ、画像拡大部１５０４Ｃ）において、入力画像の特徴量を分析し、高解像度画像の画素数の特徴量を生成する機能（特徴量分析部１０２）と、拡大率から第１の補間画素位置を計算する機能（補間画素位置生成部１１０）と、入力画像と第１の補間画素位置から、第１の補間画素位置の複数の隣接画像（図４１参照）の画素値の差により補正された第２の補間画素位置を生成する機能（白細線化部１０９）と、低解像度の入力画像と、補正された第２の補間画素位置を入力し、特徴量を元に、高解像度の画素数のエッジ補正量を計算し出力する機能（補正量計算部１０３）と、第１の補間画素位置を用いた補間により拡大後の画像（補間画像）を生成する機能（補間部１０４）と、補間画像と補正量を合成する機能（合成部１０５）と、特徴量と、合成後の画素値（第１の高解像度画像）を入力し、再度補正を行うことで、入力画像にあわせた補正を行う機能（再補正部１０６）を備える。

実施形態にかかる画像拡大装置、画像拡大方法およびプログラムは、出力デバイスの解像度が、入力される画像の解像度より高解像度である場合に適用することができる。例えば、ＤＶＤをハイビジョンテレビに表示する場合、高解像度な出力機能を持つプリンタ等に、低解像度の画像を拡大印刷する場合や、デジタルカメラやムービーのデジタルズームなどに適用することができる。

そして、これらの場合において、拡大によるボケを抑えつつくっきり感のある画像を提供することができる。

また、拡大とエッジ強調を同時に行った場合に、視覚的に白が太く見えてしまう現象を緩和し、視覚的にバランスのよい映像を提供できる。

１０１ 入力画像
１０２、１８０３、４１９０３ 特徴量分析部
１０３、１８０４、４１９０４ 補正量計算部
１０４、１８０５、２３０３、２３０７、２７０３、２７０７、４１９０５ 補間部
１０５、１８０６、４１９０６ 合成部
１０６、１８０７、４１９０７ 再補正部
１０７ 出力画像
１０８、１５０４ 画像拡大部
１０９、４１９０９ 白細線化部
１１０ 補間画素位置生成部
２０１ 入力部
２０２ チューナー
２０３ 外部端子
２０４ メモリカード
２０５ メモリ
２０６ プロセッサ
２０７ 復号部
２０８ 表示部
２０９ ビデオドライバ
２１０ ハードディスク
２１１ 表示デバイス
１５０１、１６０１ 補間位置
１５０２、１６０２ 画素選択部
１５０３、１６０３ 小数点位置計算部
１８０１、４１９０１ 入力画素（６×６画素）
１８０２、１９０２、２７０８、４１９０２ 補間座標
１８０８、４１９０８ 出力画素
１９０１、２００１、２３０１、２７０１、４２３０１ 入力画素（Ｎ×Ｍ画素）
１９０３、４２３０３ ブロック毎のＭＩＮ／ＭＡＸ計算部
１９０４、４２３０４ ブロック差分計算部
１９０５、４２３０５ エリア判定部
１９０６、４２３０６ 特徴量計算部
２００２ 補間座標Ｐｘ，Ｐｙ
２００３ 傾斜方向判定部
２００４ 補間位置補正量計算部
２００５ 補間位置補正部
２００６ 補正後の補間座標Ｐｘ'、Ｐｙ'
２３０４、２７０４ エッジ抽出部
２３０５、２７０５ 補正部
２３０６、２７０６ 帯域制限部
２７０２ ｇｒａｄ０
２９０３ 強調係数決定部
２９０４ エッジ強調画像生成部
２９０５ 補間画素生成部
２９０６ 比較部
２９０７ 重み付け合成部
４２３０２ 補間座標Ｐｘ'，Ｐｙ'

Claims (17)

1. 低解像度画像を入力し、前記低解像度画像に比べて高解像度な高解像度画像を出力する画像拡大装置であって、
   前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像を生成する補間部と、
   前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する第１の特徴量と第２の特徴量とを出力する特徴量分析部と、
   前記特徴量分析部により出力された前記第１の特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算部と、
   前記補正量計算部で計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像を生成する合成部と、
   前記合成部により出力された第１の前記高解像度画像を、前記特徴量分析部により生成された前記第２の特徴量を用いて再度、補正し、補正された第２の前記高解像度画像を生成し、生成された第２の前記高解像度画像を、当該画像拡大装置から出力させる再補正部とを備えた、
   画像拡大装置。
2. 前記特徴量分析部で出力される前記第１の特徴量は、補間画素位置とその補間画素位置の周辺の位置との画素の画素値の傾き度合いから計算される第１の傾斜量であり、
   前記第２の特徴量は、補間画素位置と補間画素位置の周辺の位置との画素の画素値の傾き度合いから計算される第２の傾斜量と、補間画素として出力される、前記高解像度画像の画素の上限の閾値、および、下限の閾値とを含む
   請求項１記載の画像拡大装置。
3. 前記特徴量分析部で計算される前記第１の傾斜量は、前記補正量計算部に入力され、前記第２の傾斜量は、前記再補正部に入力され、前記第１の傾斜量と前記第２の傾斜量とが異なる
   請求項２記載の画像拡大装置。
4. 前記合成部は、前記補間画像における画素値に前記補正量を足すことにより、前記補間
   画像におけるエッジが強調された第１の前記高解像度画像を生成し、
   前記再補正部は、第１の前記高解像度画像における、前記エッジの周辺を光らせる、前記エッジの強調での過補正の成分を、Ｃ倍すると共に（０＜Ｃ＜１）、Ｃ倍がされた当該成分にクリップを行うことにより、Ｃ倍およびクリップがされた第２の前記高解像度画像を生成する
   請求項１記載の画像拡大装置。
5. 前記再補正部は、前記特徴量分析部により出力される前記第２の特徴量により示される、前記過補正の成分の箇所の傾きが大きいほど、前記Ｃとして、より小さい値を、前記クリップの幅Ｔとして、より小さい幅をそれぞれ特定する
   請求項４記載の画像拡大装置。
6. 前記過補正の成分は、当該過補正の成分の全てが第１の前記高解像度画像から除去された場合には、ベタつきが生じる成分であり、
   前記特徴量分析部により出力される前記第２の特徴量は、前記過補正の成分のうちで、当該値ＣでのＣ倍および当該幅Ｔでのクリップにより除去される成分のみが除去された場合には、前記ベタつきが生じない値Ｃ及び幅Ｔを特定し、
   前記再補正部は、前記第２の特徴量により特定される前記値Ｃおよび前記幅Ｔを各々算出し、算出された前記値ＣによるＣ倍と、算出された前記幅Ｔによるクリップとを行うことにより、当該値Ｃおよび当該幅Ｔに基いて除去される前記成分のみを除去した第２の前記高解像度画像を生成する
   請求項４記載の画像拡大装置。
7. 前記再補正部は、前記合成部により出力された第１の前記高解像度画像を、前記特徴量分析部により生成された前記第２の特徴量と、前記補間部が出力した前記補間画像とから求められる閾値を用いて再度、補正し、補正された第２の前記高解像度画像を生成する
   請求項１記載の画像拡大装置。
8. 前記再補正部では、前記特徴量分析部から出力された、前記高解像度画像の画素値の上限の閾値、および、下限の閾値のうちのそれぞれの閾値と、前記補間部が出力した、前記補間画像の画素値との差を計算し、前記合成部が出力した第１の前記高解像度画像の画素値が、計算された前記差から設定される閾値を越えた場合に、当該画素値の補正を行う
   請求項７記載の画像拡大装置。
9. 前記合成部は、前記補間部により生成された前記補間画像の画素値に前記補正量を足すことにより、前記補間画像におけるエッジが強調された前記第１の高解像度画像を生成し、
   前記再補正部は、第１の前記高解像度画像における、前記エッジの周辺を光らせる、前記エッジの強調での過補正の成分のうちで、前記補間画像から求められた前記閾値から特定される成分を除去した第２の前記高解像度画像を生成し、前記閾値として第１の値が特定される場合に生成される前記第２の高解像度画像の平坦部よりも狭い平坦部を有する第２の前記高解像度画像が生成される第２の値を前記閾値として算出する
   請求項７記載の画像拡大装置。
10. 前記低解像度画像及び前記高解像度画像の画像サイズ、又は、拡大率を入力し、前記低解像度画像から前記高解像度画像を生成するための、前記高解像度画像の各画素に対応する、前記低解像度画像に対する第１の補間画素位置を生成する補間画素位置生成部と、
    前記低解像度画像と前記第１の補間画素位置とを入力し、前記第１の補間画素位置の周辺の画素値の変化に応じて、前記第１の補間画素位置を補正して、前記第１の補間画素位置が補正された第２の補間画素位置を生成する白細線化部とを備え、
    前記補正量計算部は、前記第２の補間画素位置と、前記低解像度画像とを入力し、出力する第２の前記高解像度画像の各画素の補正量を計算し、
    前記補間部は、前記低解像度画像と、前記第１の補間画素位置とを入力し、入力された前記第１の補間画素位置に対応する画素値を補間計算し、当該第１の補間画素位置に、計算された前記画素値を有する前記補間画像を生成し、
    前記合成部は、前記補正量計算部で、前記第２の補間画素位置から計算された前記補正量と、前記補間部で、前記第１の補間画素位置から生成された前記画素値とを合成して、第２の前記高解像度画像を生成する
    請求項１記載の画像拡大装置。
11. 前記特徴量分析部は、前記第１の補間画素位置における、前記低解像度画像の特徴量を分析し、出力する第２の前記高解像度画像の各画素に対する前記第１の特徴量と前記第２の特徴量とを出力し、
    前記補正量計算部は、前記第２の補間画素位置、前記低解像度画像、および、前記第１の補間画素位置からの前記第１の特徴量を入力し、出力する第２の前記高解像度画像の各画素の補正量を計算する
    請求項１０記載の画像拡大装置。
12. 前記特徴量分析部は、前記第２の補間画素位置における、前記低解像度画像の特徴量を分析し、出力する第２の前記高解像度画像の各画素に対する前記第１の特徴量を出力し、
    前記補正量計算部は、前記第２の補間画素位置、前記低解像度画像、および、前記第２の補間画素位置からの前記第１の特徴量を入力し、出力する第２の前記高解像度画像の各画素の補正量を計算する
    請求項１０記載の画像拡大装置。
13. 前記白細線化部は、拡大により生成される第１の前記高解像度画像の、輝度値が閾値より大きな範囲が小さくなるように、前記第１の補間画素位置を前記第２の補間画素位置に補正する
    請求項１０記載の画像拡大装置。
14. 前記白細線化部は、前記第１の補間画素位置から前記補正量計算部が前記補正量を計算した場合に生成される第１の前記高解像度画像における、輝度値が閾値より大きい範囲よりも狭い、輝度値が前記閾値より大きい範囲を有する第１の前記高解像度画像が生成される前記補正量を前記補正量計算部に計算させる前記第２の補間画素位置へと、前記第１の補間画素位置を補正する
    請求項１０記載の画像拡大装置。
15. 画像拡大装置が、低解像度画像を入力し、前記低解像度画像に比べて高解像度な高解像度画像を出力する画像拡大方法であって、
    前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像を生成する補間ステップと、
    前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する第１の特徴量と第２の特徴量とを出力する特徴量分析ステップと、
    前記特徴量分析ステップで出力された前記第１の特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算ステップと、
    前記補正量計算ステップで計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像を生成する合成ステップと、
    前記合成ステップで出力された第１の前記高解像度画像を、前記特徴量分析ステップで生成された前記第２の特徴量を用いて再度、補正し、補正された第２の前記高解像度画像を生成し、生成された第２の前記高解像度画像を、当該画像拡大装置から出力させる再補正ステップとを含む
    画像拡大方法。
16. 低解像度画像を入力し、前記低解像度画像に比べて高解像度な高解像度画像を出力する集積回路であって、
    前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像を生成する補間部と、
    前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する第１の特徴量と第２の特徴量とを出力する特徴量分析部と、
    前記特徴量分析部により出力された前記第１の特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算部と、
    前記補正量計算部で計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像を生成する合成部と、
    前記合成部により出力された第１の前記高解像度画像を、前記特徴量分析部により生成された前記第２の特徴量を用いて再度、補正し、補正された第２の前記高解像度画像を生成し、生成された第２の前記高解像度画像を、当該集積回路から出力させる再補正部とを備えた、
    集積回路。
17. コンピュータに、低解像度画像を入力し、前記低解像度画像に比べて高解像度な高解像度画像を出力する処理を実行させるための画像拡大プログラムであって、
    前記低解像度画像を入力し、前記高解像度画像の画素数の補間画像を生成する補間ステップと、
    前記低解像度画像の特徴量を分析し、前記高解像度画像の各画素に対する第１の特徴量と第２の特徴量とを出力する特徴量分析ステップと、
    前記特徴量分析ステップで出力された前記第１の特徴量と、前記低解像度画像とを入力し、前記高解像度画像の各画素に対する補正量を計算する補正量計算ステップと、
    前記補正量計算ステップで計算された前記補正量と、前記補間部で生成された前記補間画像とを合成して、第１の前記高解像度画像を生成する合成ステップと、
    前記合成ステップで出力された第１の前記高解像度画像を、前記特徴量分析ステップで生成された前記第２の特徴量を用いて再度、補正し、補正された第２の前記高解像度画像を生成し、生成された第２の前記高解像度画像を、当該コンピュータから出力させる再補正ステップとを前記コンピュータに実行させるための画像拡大プログラム。

Images