JP5115361B2 - 画素補間装置、画素補間方法および画素補間プログラム - Google Patents

Description

本発明は、画像を所定の解像度に変換する画素補間の技術に関する。

近年、デジタル放送の普及と共にディスプレイの大型化および薄型化が要求されてきている。これらの要求に対して、液晶ディスプレイやプラズマディスプレイ等のフラットパネルディスプレイが開発され普及してきている。フラットパネルディスプレイでは、パネルにより画素数が固定されているため、入力画像と解像度が異なる場合に解像度変換を行って補間画素を生成する必要がある。

画素補間方法として、非特許文献１によると、補間画素値に一番近い参照画素を補間画素値とする最近接内挿法（nearest neighbor interpolation）、補間画素の周囲の４点の画素値を用いて距離に応じた重み付け加算を行って補間画素値を算出するバイリニア補間法（bi-linear interpolation）、補間画素の周囲の１６点の画素値を用いて距離に応じた重み付けを行って補間画素値を算出するキュービック補間法（cubic convolution）等がある。

特許文献１では、隣接画素差分から急峻なエッジ領域を抽出し、急峻なエッジ領域ではバイリニア補間により画素補間を行い、他の領域ではキュービック補間を行い、境界領域ではキュービック補間による補間画素値とバイリニア補間による補間画素値の重み付け加算により補間画素値を算出している。特許文献２では、画像の色数、エッジ強度、シャープさにより、画素補間方法を、最近接内挿法、キュービック補間法などから選択して画素補間を行っている。特許文献３では、補間画素位置を中心にして補間画素の一方の補間関数としてバイリニア補間関数を用い、もう一方の補間関数としてキュービック補間関数を用いて画素補間を行っている。特許文献４では、色が肌色および空色である場合はバイリニア補間法を用い、それ以外の場合はキュービック補間法を用いて画素補間を行っている。
特開２００５−１０７４３７号公報 特開２００４−９６７１５号公報 特開２００２−１０１２９６号公報 特開２０００−１５１９９０号公報 「新編 画像解析ハンドブック」、監修：高木幹雄・下田陽久、発行：東京大学出版会、２００４年９月１０日

最近接補間法は、複数の補間処理参照画素から補間画素値を算出することを行わず、補間画素位置に一番近い補間処理参照画素を補間画素値とすることから、補間処理負荷が小さいが、エッジの境界では画素値が不連続に変化するため、斜めエッジにギザギザ感（ジャギー）が発生し、画質が劣化する問題がある。

バイリニア補間法は、補間画素と補間処理参照画素との距離を参照画素に重み付けして補間画素値を算出するため、エッジ付近ではオーバーシュートやジャギーが発生しにくい。しかし、縮小する場合にローパスフィルタ処理を行わないとジャギーが発生しやすく、また、拡大する場合に一般にエッジの傾きが緩やかになり画像がぼけてしまう問題がある。

キュービック補間法は、補間画素の周囲の４画素から３次の項まで考慮した近似曲線を求めて補間画素値を算出する。そのため、急峻なエッジ付近ではオーバーシュートやアンダーシュートが発生して画質が劣化してしまう問題がある。

特許文献１では、急峻なエッジ領域ではバイリニア補間、なだらかな領域ではキュービック補間、急峻なエッジ領域となだらかな領域の境界領域ではバイリニア補間とキュービック補間による補間値の重み付け加算により補間画素値を算出する。そのため、急峻な領域ではオーバーシュートが発生しにくいがバイリニア補間よるボケ感が強くなり、また、境界領域ではオーバーシュートを抑制しようとバイリニア補間の重み付けを多くするとボケ感が強くなり、ボケ感を抑制しようとキュービック補間の重み付けを多くするとオーバーシュートが大きくなるという問題がある。

特許文献２では、画像の色数、エッジ強度、シャープさにより画素補間方法を選択しているが、選択される補間方法として、最近接補間法やキュービック補間法を用いているため、ジャギーやオーバーシュートの発生による画質劣化を抑制することが難しいという問題がある。

特許文献３では、補間画素の補間関数の一方にバイリニア補間法およびキュービック補間法を用いているため、バイリニア補間処理によるボケ感とキュービック補間処理によるオーバーシュートおよびアンダーシュートを抑制することが難しいという問題がある。

特許文献４では、ノイズを強調しないように色差成分から肌色領域と空領域を抽出し、バイリニア補間処理を行い、他の領域ではキュービック補間処理を行うことにより人の肌や空で目立ちやすいざらつき感を低減することができる。しかし、肌色や空色領域のエッジのボケ感が強くなり、また、肌色や空色以外の領域における急峻なエッジでオーバーシュートやアンダーシュートが発生し、画質が劣化してしまうという問題がある。

上記の従来の問題点に鑑み、画像のエッジ付近や勾配の大きな領域に発生しやすいオーバーシュートやジャギーを抑制することを目的とする。

一実施態様では、画像を所定の解像度に変換する画素補間装置であって、補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより、補間処理参照画素のうちエッジ勾配の小さい方の補間処理参照画素の重み付けを大きくして、補間画素値を算出する第２画素補間処理手段と、補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出手段と、前記オーバーシュート発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段とを備える。

好ましくは、オーバーシュート発生領域検出手段に代え、ジャギー発生領域検出手段を備える。

好ましくは、オーバーシュート発生領域検出手段とともに、ジャギー発生領域検出手段を備える。

開示の画素補間装置、画素補間方法および画素補間プログラムにあっては、画像のエッジ付近や勾配の大きな領域に発生しやすいオーバーシュートやジャギーを抑制することができる。

以下、本発明の好適な実施形態につき説明する。

＜第１の実施形態＞
第１の実施形態は、入力画像中のオーバーシュートが発生する領域を検出し、その検出結果に応じ、領域毎に高次補間計算による補間処理（例：キュービック補間処理）と重み付けによる補間処理（例：先鋭化バイリニア補間処理）とを切り替えるようにしたものである。なお、先鋭化バイリニア補間処理は新たに案出した補間処理である。

図１は本発明の第１の実施形態にかかる画素補間装置の構成例を示す図である。

図１において、画素補間装置１は、オーバーシュート発生領域検出部１０と、第１画素補間処理部１１と、第２画素補間処理部１２と、補間画素選択部１３とを備えている。なお、各部は電子回路により実現されるほか、コンピュータのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等のハードウェア資源上で実行されるコンピュータプログラムによって実現することもできる。

オーバーシュート発生領域検出部１０は、入力画像から、高次補間計算による補間処理（キュービック補間処理）を行ったとしたならばオーバーシュートが発生する領域を検出する。オーバーシュート発生領域検出部１０は、画素毎にエッジ強度を算出し、補間画素の周囲のどれか１つの補間処理参照画素のエッジ強度の絶対値が所定の閾値以上の値を持つ補間領域をオーバーシュート発生領域とする。すなわち、補間画素に隣接する参照画素のエッジ強度が片方でも閾値以上であれば補間画素はオーバーシュート発生領域に含まれるとする。逆に、補間画素に隣接する参照画素のエッジ強度が全て閾値以下の場合は、補間画素はオーバーシュート発生領域に含まれないとする。

オーバーシュート発生領域検出部１０におけるエッジ強度の算出は、オーバーシュートが発生するエッジ勾配が急激に変化する画素で絶対値が大きい値をとるフィルタ処理により行う。エッジ検出フィルタの例を図２に示す。図２（ａ）はエッジ方向を考慮しない場合、図２（ｂ）は水平方向、垂直方向のエッジ強度を別々に算出する場合に使用する。エッジ方向を考慮する場合、水平方向に画素補間する場合は水平方向エッジ強度の絶対値が、垂直方向に画素補間する場合は垂直方向エッジ強度の絶対値が閾値以上の場合にオーバーシュート発生領域とする。

図１に戻り、第１画素補間処理部１１は、高次補間処理、例えばキュービック補間処理により、補間画素の周囲にある参照画素の画素値と補間画素から参照画素までの距離を使用して補間画素値を算出する。キュービック補間処理では、参照画素の画素値をｆ（ｐ−１）、ｆ（ｐ）、ｆ（ｐ＋１）、ｆ（ｐ＋２）とすると（ｐは補間画素の座標ｘに対しｐ＜ｘ＜ｐ＋１となる整数値）、補間画素値ｇ（ｘ）は、
ｇ（ｘ）＝ｃ（（ｐ−１）−ｘ）×ｆ（ｐ−１）＋ｃ（ｐ−ｘ）×ｆ（ｐ）
＋ｃ（（ｐ＋１）−ｘ）×ｆ（ｐ＋１）＋ｃ（（ｐ＋２）−ｘ）×ｆ（ｐ＋２）
となる。ただし、
ｃ（ｔ）＝１−２｜ｔ｜^２＋｜ｔ｜^３ （０≦｜ｔ｜＜１）
４−８｜ｔ｜＋５｜ｔ｜^２−｜ｔ｜^３ （１≦｜ｔ｜＜２）
０ （２≦｜ｔ｜）
とする。

第２画素補間処理部１２は、エッジ勾配算出部１２１と補間画素値算出部１２２から構成されており、重み付けによる補間処理、例えば通常のバイリニア補間処理と比較して急峻な補間処理である先鋭化バイリニア補間処理を行う。

エッジ勾配算出部１２１は、図３に示すようなエッジ勾配検出フィルタ（水平方向エッジ勾配検出フィルタ、垂直方向エッジ勾配検出フィルタ）により参照画素の補間方向におけるエッジ勾配を算出し、補間画素値算出部１２２に出力する。

補間画素値算出部１２２は、エッジ勾配算出部１２１から出力されるエッジ勾配と参照画素の画素値を用いて補間画素値を算出する。図４に示すように補間画素を画素Ｃ、補間画素を挟む補間処理参照画素を画素Ａと画素Ｂとし、参照画素Ａの画素値をＰ_１、参照画素Ｂの画素値をＰ_２、画素Ｃの画素値をＰ_３、画素Ａにおけるエッジ勾配の絶対値をＥ_１、画素Ｂにおけるエッジ勾配の絶対値をＥ_２とし、ｄｘを画素Ａ、Ｂ間の距離に対する画素Ａ、Ｃ間の距離の比率とすると、補間画素Ｃの画素値Ｐ_３は次式のように算出される。

図１に戻り、補間画素選択部１３は、オーバーシュート発生領域検出部１０の検出結果に応じ、補間処理を第１画素補間処理部１１と第２画素補間処理部１２から選択する。すなわち、補間画素選択部１３は、補間画素がオーバーシュート発生領域にある場合は、第２画素補間処理部１２により先鋭化バイリニア補間処理された補間画素を選択し、補間画素がオーバーシュート発生領域にない場合は、第１画素補間処理部１１によりキュービック補間処理された補間画素を選択する。

なお、図１に示した画素補間装置１では、入力画像から第１画素補間処理部１１および第２画素補間処理部１２により並行して２つの画素補間処理を行い、補間画素選択部１３により結果を選択するようにしているが、先に補間画素選択部１３により選択を行い、選択された画素補間処理を続けて行うようにしてもよい。

エッジ強度の絶対値の大きい領域において高次補間処理（キュービック補間処理）で補間処理を行うと、オーバーシュートが発生し、エッジに隣接した輪郭が見えてしまい、画質劣化として知覚される。従って、エッジ強度の絶対値が大きい領域では、先鋭化バイリニア補間により画素補間処理を行うことにより、オーバーシュートが抑制され画質劣化が抑制される。また、図５に示すように、通常のエッジはエッジの中央付近でエッジ勾配の絶対値が大きく、エッジの中央から離れるに従ってエッジ勾配の絶対値は小さくなる。先鋭化バイリニア補間では、エッジ勾配の絶対値が小さい方の画素の重み付けを大きくするため、図のように通常のバイリニア補間処理と比較してエッジが急峻になる。よって、高次補間によりオーバーシュートが発生する領域でオーバーシュートを抑制しつつ、通常のバイリニア補間よりも先鋭度の高い画素補間が可能となる。

また、水平エッジ勾配の絶対値と垂直エッジ勾配の絶対値を比較し、エッジ勾配の絶対値が小さい方向には第１画素補間処理部１１でキュービック補間処理を行い、エッジ勾配の絶対値が大きい方向には第２画素補間処理部１２で先鋭化バイリニア補間処理を行ってもよい。また、水平方向に第１画素補間処理部１１でキュービック補間処理を行い、垂直方向に第２画素補間処理部１２で先鋭化バイリニア補間処理を行った補間画素と、水平方向に第２画素補間処理部１２で先鋭化バイリニア補間処理を行い、垂直方向に第１画素補間処理部１１でキュービック補間処理を行った補間画素を、水平エッジ勾配の絶対値と垂直エッジ勾配の絶対値の大きさに応じてブレンドして補間画素値を算出してもよい。

更に、補間画素選択部１３において、オーバーシュート発生領域検出部１０から出力されるエッジ強度（参照画素のエッジ強度の絶対値のうち大きい方のエッジ強度の絶対値）の絶対値が所定の第１閾値Ｔｈ_１未満の場合は第１画素補間処理部１１でのキュービック補間処理による補間画素を選択し、エッジ強度の絶対値が所定の第２閾値Ｔｈ_２以上の場合は第２画素補間処理部１２での先鋭化バイリニア補間処理による画素を選択し、エッジ強度の絶対値ＥＰが第１閾値Ｔｈ_１以上で第２閾値Ｔｈ_２未満の場合には次式によりキュービック補間処理による補間画素値Ｐ_１１と先鋭化バイリニア補間処理による補間画素値Ｐ_１２をブレンドした値を補間画素値Ｐ_ｏｕｔとしてもよい。

また、エッジ勾配の絶対値を所定の変換方法で変換してエッジ勾配変換値ＥＴを算出し、エッジ勾配変換値と、補間参照画素と補間画素の距離を用いて補間画素を算出してもよい。エッジ勾配の絶対値からエッジ勾配変換値への変換例を図６に示す。図７に示すように補間画素を画素Ｃ、補間画素を挟む補間処理参照画素を画素Ａと画素Ｂとし、参照画素Ａの画素値をＰ_１、参照画素Ｂの画素値をＰ_２、画素Ｃの画素値をＰ_３、画素Ａにおけるエッジ勾配の絶対値をＥ_１、画素Ｂにおけるエッジ勾配の絶対値をＥ_２、画素Ｃにおけるエッジ勾配変換値をＥＴ_１、画素Ｂにおけるエッジ勾配変換値をＥＴ_２とし、ｄｘを画素Ａ、Ｂ間の距離に対する画素Ａ、Ｃ間の距離の比率とすると、補間画素Ｃの画素値Ｐ_３は次式のように算出される。

＜第２の実施形態＞
第２の実施形態は、入力画像中のジャギーが発生する領域を検出し、その検出結果に応じ、領域毎に高次補間計算による補間処理（例：キュービック補間処理）と重み付けによる補間処理（例：先鋭化バイリニア補間処理）とを切り替えるようにしたものである。

図８は本発明の第２の実施形態にかかる画素補間装置の構成例を示す図である。

図８において、画素補間装置１は、ジャギー発生領域検出部１４と、第１画素補間処理部１１と、第２画素補間処理部１２と、補間画素選択部１３とを備えている。なお、各部は電子回路により実現されるほか、コンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるコンピュータプログラムによって実現することもできる。

ジャギー発生領域検出部１４は、入力画像から、高次補間計算による補間処理（キュービック補間処理）を行ったとしたならばジャギーが発生する領域を検出する。ジャギー発生領域検出部１４は、補間画素の参照画素のエッジ方向が揃っており（エッジ勾配の符号が同一）、少なくとも片方のエッジ勾配の絶対値が閾値以上である領域をジャギー発生領域とする。逆に、補間画素に隣接する参照画素のエッジ勾配が全て閾値以下の場合は、補間画素はジャギー発生領域に含まれないとする。

ジャギー発生領域検出部１４は、画素毎に図３に示すようなエッジ勾配検出フィルタで、水平方向・垂直方向のエッジ勾配を算出する。また、ジャギー発生領域検出条件を、水平エッジ勾配の絶対値と垂直方向エッジ勾配の絶対値の大小関係が補間画素の全ての参照画素で同一で、水平エッジ勾配と垂直エッジ勾配の符号が補間画素の全ての参照画素で同一で、補間画素の全ての参照画素において水平エッジ勾配の絶対値と垂直方向エッジ勾配の絶対値の大きい方が閾値以上であるとしてもよい。

図８に戻り、第１画素補間処理部１１は、高次補間処理、例えばキュービック補間処理により、補間画素の周囲にある参照画素の画素値と補間画素から参照画素までの距離を使用して補間画素値を算出する。キュービック補間処理では、参照画素の画素値をｆ（ｐ−１）、ｆ（ｐ）、ｆ（ｐ＋１）、ｆ（ｐ＋２）とすると（ｐは補間画素の座標ｘに対しｐ＜ｘ＜ｐ＋１となる整数値）、補間画素値ｇ（ｘ）は、
ｇ（ｘ）＝ｃ（（ｐ−１）−ｘ）×ｆ（ｐ−１）＋ｃ（ｐ−ｘ）×ｆ（ｐ）
＋ｃ（（ｐ＋１）−ｘ）×ｆ（ｐ＋１）＋ｃ（（ｐ＋２）−ｘ）×ｆ（ｐ＋２）
となる。ただし、
ｃ（ｔ）＝１−２｜ｔ｜^２＋｜ｔ｜^３ （０≦｜ｔ｜＜１）
４−８｜ｔ｜＋５｜ｔ｜^２−｜ｔ｜^３ （１≦｜ｔ｜＜２）
０ （２≦｜ｔ｜）
とする。

第２画素補間処理部１２は、エッジ勾配算出部１２１と補間画素値算出部１２２から構成されており、重み付けによる補間処理、例えば通常のバイリニア補間処理と比較して急峻な補間処理である先鋭化バイリニア補間処理を行う。

エッジ勾配算出部１２１は、図３に示すようなエッジ勾配検出フィルタ（水平方向エッジ勾配検出フィルタ、垂直方向エッジ勾配検出フィルタ）により参照画素の補間方向におけるエッジ勾配を算出し、補間画素値算出部１２２に出力する。

補間画素値算出部１２２は、エッジ勾配算出部１２１から出力されるエッジ勾配と参照画素の画素値を用いて補間画素値を算出する。図４に示すように補間画素を画素Ｃ、補間画素を挟む補間処理参照画素を画素Ａと画素Ｂとし、参照画素Ａの画素値をＰ_１、参照画素Ｂの画素値をＰ_２、画素Ｃの画素値をＰ_３、画素Ａにおけるエッジ勾配の絶対値をＥ_１、画素Ｂにおけるエッジ勾配の絶対値をＥ_２とし、ｄｘを画素Ａ、Ｂ間の距離に対する画素Ａ、Ｃ間の距離の比率とすると、補間画素Ｃの画素値Ｐ_３は次式のように算出される。

図８に戻り、補間画素選択部１３は、ジャギー発生領域検出部１４の検出結果に応じ、補間処理を第１画素補間処理部１１と第２画素補間処理部１２から選択する。すなわち、補間画素選択部１３は、補間画素がジャギー発生領域にある場合は、第２画素補間処理部１２により先鋭化バイリニア補間処理された補間画素を選択し、補間画素がジャギー発生領域にない場合は、第１画素補間処理部１１によりキュービック補間処理された補間画素を選択する。

なお、図８に示した画素補間装置１では、入力画像から第１画素補間処理部１１および第２画素補間処理部１２により並行して２つの画素補間処理を行い、補間画素選択部１３により結果を選択するようにしているが、先に補間画素選択部１３により選択を行い、選択された画素補間処理を続けて行うようにしてもよい。

ジャギーはエッジ部分の勾配のある領域に発生し、また、先鋭化バイリニア補間処理は参照画素のエッジ勾配が同符号を持つ必要があるため、少なくとも片方の参照画素のエッジ勾配の絶対値が閾値以上で、かつエッジ勾配が同符号である領域をジャギー発生領域として検出する。このような領域にある斜めエッジをキュービック補間処理で画素補間を行った場合、図９に示すように補間された画素は、補間画素の上のラインと下のラインの中点付近の画素値となるため、参照画素のラインと補間画素のラインではエッジの傾きが異なってしまい、これがジャギーとして知覚される。それに対し、先鋭化バイリニア補間処理でエッジ勾配の絶対値が小さい方の画素の重み付けを大きくするため、ライン方向と垂直方向の補間では「補間画素の上のライン」と「補間画素の下のライン」でエッジ勾配が異なり、エッジ中心から左側では補間画素値が「補間画素の上のライン」の画素値に近づき、エッジ中心から右側では補間画素値が「補間画素の下のライン」の画素値に近づくためエッジが急峻になり、参照画素のエッジ勾配に近づくため、エッジにおけるエッジの傾きのばらつきが抑制されジャギーが低減される。

また、補間画素選択部１３において、ジャギー発生領域検出部１４から出力されるエッジ勾配の絶対値（参照画素のエッジ勾配の絶対値のうち大きい方のエッジ勾配の絶対値）が所定の第１閾値Ｔｈ_１未満の場合は第１画素補間処理部１１でのキュービック補間処理による補間画素を選択し、エッジ勾配の絶対値が所定の第２閾値Ｔｈ_２以上の場合は第２画素補間処理部１２での先鋭化バイリニア補間処理による画素を選択し、エッジ勾配の絶対値ＥＳが第１閾値Ｔｈ_１以上で第２閾値Ｔｈ_２未満の場合には次式によりキュービック補間処理による補間画素値Ｐ_１１と先鋭化バイリニア補間処理による補間画素値Ｐ_１２をブレンドした値を補間画素値Ｐ_ｏｕｔとしてもよい。

＜第３の実施形態＞
第３の実施形態は、入力画像中のオーバーシュートが発生する領域とジャギーが発生する領域とをそれぞれを検出し、その検出結果に応じ、領域毎に高次補間計算による補間処理（例：キュービック補間処理）と重み付けによる補間処理（例：先鋭化バイリニア補間処理）とを切り替えるようにしたものである。

図１０は本発明の第３の実施形態にかかる画素補間装置の構成例を示す図である。

図１０において、画素補間装置１は、オーバーシュート発生領域検出部１０と、ジャギー発生領域検出部１４と、第１画素補間処理部１１と、第２画素補間処理部１２と、補間画素選択部１３とを備えている。なお、各部は電子回路により実現されるほか、コンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるコンピュータプログラムによって実現することもできる。

オーバーシュート発生領域検出部１０は、入力画像から、高次補間計算による補間処理（キュービック補間処理）を行ったとしたならばオーバーシュートが発生する領域を検出する。

ジャギー発生領域検出部１４は、入力画像から、高次補間計算による補間処理（キュービック補間処理）を行ったとしたならばジャギーが発生する領域を検出する。

第１画素補間処理部１１は、高次補間処理、例えばキュービック補間処理により、補間画素の周囲にある参照画素の画素値と補間画素から参照画素までの距離を使用して補間画素値を算出する。

第２画素補間処理部１２は、エッジ勾配算出部１２１と補間画素値算出部１２２から構成されており、重み付けによる補間処理、例えば通常のバイリニア補間処理と比較して急峻な補間処理である先鋭化バイリニア補間処理を行う。

補間画素選択部１３は、オーバーシュート発生領域検出部１０から出力されるオーバーシュート発生領域検出結果から補間画素がオーバーシュー発生領域に含まれる場合、または、ジャギー発生領域検出部１４から出力されるジャギー発生領域検出結果から補間画素がジャギー発生領域に含まれる場合は、第２画素補間処理部１２による先鋭化バイリニア補間処理により画素補間を行い、補間画素がオーバーシュート発生領域とジャギー発生領域の両方に含まれない場合は、第１画素補間処理部１１によるキュービック補間処理により画素補間を行うように補間処理方法を選択する。

なお、図１０に示した画素補間装置１では、入力画像から第１画素補間処理部１１および第２画素補間処理部１２により並行して２つの画素補間処理を行い、補間画素選択部１３により結果を選択するようにしているが、先に補間画素選択部１３により選択を行い、選択された画素補間処理を続けて行うようにしてもよい。

また、補間画素選択部１３において、オーバーシュート発生領域検出部１０から出力されるエッジ強度の絶対値（参照画素のエッジ強度のうち大きい方のエッジ強度）をＥＰ、ジャギー発生領域検出部１４から出力されるエッジ勾配の絶対値（参照画素のエッジ強度のうち大きい方のエッジ勾配）をＥＳとする。エッジ強度による先鋭化バイリニア補間処理による補間画素のブレンド割合をＢｅｐ、エッジ勾配による先鋭化バイリニア補間処理による補間画素のブレンド割合をＢｅｓ、エッジ強度の所定の閾値をＴｈ_１、Ｔｈ_２、エッジ勾配の所定の閾値をＴｈ_３、Ｔｈ_４とすると、
Ｂｅｐ＝ ０ （ＥＰ＜Ｔｈ_１）
（ＥＰ−Ｔｈ_１）／（Ｔｈ_２−Ｔｈ_１） （Ｔｈ_１≦ＥＰ＜Ｔｈ_２）
１ （Ｔｈ_２≦ＥＰ）

Ｂｅｓ＝ ０ （ＥＳ＜Ｔｈ_３）
（ＥＳ−Ｔｈ_１）／（Ｔｈ_２−Ｔｈ_１） （Ｔｈ_３≦ＥＳ＜Ｔｈ_４）
１ （Ｔｈ_４≦ＥＳ）
となる。ＢｅｐとＢｅｓのうち、大きい方の値をＢｆ、キュービック補間処理による補間画素値をＰ_１１、先鋭化バイリニア補間処理による補間画素値をＰ_１２とすると補間画素値Ｐ_ｏｕｔは
Ｐ_ｏｕｔ＝Ｐ_１１×（１−Ｂｆ）＋Ｐ_１２×Ｂｆ
となる。

＜総括＞
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
（付記１）
画像を所定の解像度に変換する画素補間装置であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段と、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出手段と、
前記オーバーシュート発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段と
を備えたことを特徴とする画素補間装置。
（付記２）
画像を所定の解像度に変換する画素補間装置であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段と、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出手段と、
前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段と
を備えたことを特徴とする画素補間装置。
（付記３）
画像を所定の解像度に変換する画素補間装置であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段と、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出手段と、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出手段と、
前記オーバーシュート発生領域検出手段および前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間処理選択手段と
を備えたことを特徴とする画素補間装置。
（付記４）
前記第２画素補間処理手段は、補間処理参照画素と補間画素の距離の小さい方の補間処理参照画素の重み付けを大きくし、かつエッジ勾配の絶対値が小さい方の補間処理参照画素の重み付けを大きくすることを特徴とする付記１乃至３のいずれか一項に記載の画素補間装置。
（付記５）
前記オーバーシュート発生領域検出手段は、補間画素に隣接する参照画素の少なくとも片方のエッジ強度が所定の閾値以上である場合にオーバーシュート発生領域とすることを特徴とする付記１または３のいずれか一項に記載の画素補間装置。
（付記６）
前記ジャギー発生領域検出手段は、補間画素に隣接する参照画素のエッジ勾配が同符号で、かつ、少なくとも片方のエッジ勾配の絶対値が閾値以上である領域をジャギー発生領域とすることを特徴とする付記２または３のいずれか一項に記載の画素補間装置。
（付記７）
エッジ強度の大きさにより、前記第１画素補間処理手段による補間画素値と前記第２画素補間処理手段による補間画素値を重み付け加算して補間画素値を算出することを特徴とする付記１または３のいずれか一項に記載の画素補間装置。
（付記８）
エッジ勾配の大きさにより、前記第１画素補間処理手段による補間画素値と前記第２画素補間処理手段による補間画素値を重み付け加算して補間画素値を算出することを特徴とする付記２または３のいずれか一項に記載の画素補間装置。
（付記９）
画像を所定の解像度に変換する画素補間方法であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理工程と、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出工程と、
前記オーバーシュート発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間画素選択工程と
を備えたことを特徴とする画素補間方法。
（付記１０）
画像を所定の解像度に変換する画素補間方法であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理工程と、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出工程と、
前記ジャギー発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間画素選択工程と
を備えたことを特徴とする画素補間方法。
（付記１１）
画像を所定の解像度に変換する画素補間方法であって、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理工程と、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出工程と、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出工程と、
前記オーバーシュート発生領域検出工程および前記ジャギー発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間処理選択工程と
を備えたことを特徴とする画素補間方法。
（付記１２）
画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
前記画素補間装置を構成するコンピュータを、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出手段、
前記オーバーシュート発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段
として機能させる画素補間プログラム。
（付記１３）
画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
前記画素補間装置を構成するコンピュータを、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出手段、
前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段
として機能させる画素補間プログラム。
（付記１４）
画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
前記画素補間装置を構成するコンピュータを、
補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段、
画像中のオーバーシュートが発生する領域を検出するオーバーシュート発生領域検出手段、
画像中のジャギーが発生する領域を検出するジャギー発生領域検出手段、
前記オーバーシュート発生領域検出手段および前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間処理選択手段
として機能させる画素補間プログラム。

本発明の第１の実施形態にかかる画素補間装置の構成例を示す図である。 エッジ検出フィルタの例を示す図である。 エッジ勾配検出フィルタの例を示す図である。 先鋭化バイリニア補間処理において補間画素の画素値の算出に用いる値の説明図である。 先鋭化バイリニア補間処理によりエッジが急峻になる様子を示す図である。 エッジ勾配の絶対値からエッジ勾配変換値への変換例を示す図である。 画素値の例を示す図である。 本発明の第２の実施形態にかかる画素補間装置の構成例を示す図である。 先鋭化バイリニア補間処理によりエッジにおけるジャギーが軽減される様子を示す図である。 本発明の第３の実施形態にかかる画素補間装置の構成例を示す図である。

符号の説明

１ 画素補間装置
１０ オーバーシュート発生領域検出部
１１ 第１画素補間処理部
１２ 第２画素補間処理部
１２１ エッジ勾配算出部
１２２ 補間画素値算出部
１３ 補間画素選択部
１４ ジャギー発生領域検出部

Claims (9)

1. 画像を所定の解像度に変換する画素補間装置であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより、補間処理参照画素のうちエッジ勾配の小さい方の補間処理参照画素の重み付けを大きくして、補間画素値を算出する第２画素補間処理手段と、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出手段と、
   前記オーバーシュート発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段と
   を備えたことを特徴とする画素補間装置。
2. 画像を所定の解像度に変換する画素補間装置であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段と、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出手段と、
   前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段と
   を備えたことを特徴とする画素補間装置。
3. 画像を所定の解像度に変換する画素補間装置であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段と、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出手段と、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出手段と、
   前記オーバーシュート発生領域検出手段および前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間処理選択手段と
   を備えたことを特徴とする画素補間装置。
4. 画像を所定の解像度に変換する画素補間方法であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより、補間処理参照画素のうちエッジ勾配の小さい方の補間処理参照画素の重み付けを大きくして、補間画素値を算出する第２画素補間処理工程と、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出工程と、
   前記オーバーシュート発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間画素選択工程と
   を備えたことを特徴とする画素補間方法。
5. 画像を所定の解像度に変換する画素補間方法であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理工程と、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出工程と、
   前記ジャギー発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間画素選択工程と
   を備えたことを特徴とする画素補間方法。
6. 画像を所定の解像度に変換する画素補間方法であって、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理工程と、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理工程と、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出工程と、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出工程と、
   前記オーバーシュート発生領域検出工程および前記ジャギー発生領域検出工程の結果に基づいて、前記第１画素補間処理工程もしくは前記第２画素補間処理工程による補間処理を決定する補間処理選択工程と
   を備えたことを特徴とする画素補間方法。
7. 画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
   前記画素補間装置を構成するコンピュータを、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより、補間処理参照画素のうちエッジ勾配の小さい方の補間処理参照画素の重み付けを大きくして、補間画素値を算出する第２画素補間処理手段、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出手段、
   前記オーバーシュート発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段
   として機能させる画素補間プログラム。
8. 画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
   前記画素補間装置を構成するコンピュータを、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出手段、
   前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間画素選択手段
   として機能させる画素補間プログラム。
9. 画像を所定の解像度に変換する画素補間装置の制御プログラムであって、
   前記画素補間装置を構成するコンピュータを、
   補間処理参照画素の画素値と、補間処理参照画素と補間画素の距離とを使用した高次補間計算により補間画素値を算出する第１画素補間処理手段、
   補間処理参照画素の画素値およびエッジ勾配と、補間処理参照画素と補間画素の距離とを使用した重み付けにより補間画素値を算出する第２画素補間処理手段、
   補間画素に隣接する補間処理参照画素のエッジ強度が所定の閾値以上の場合に、オーバーシュート発生領域とするオーバーシュート発生領域検出手段、
   補間画素の補間処理参照画素のエッジ方向が一致し、少なくとも片方のエッジ勾配の絶対値が閾値以上の場合に、ジャギー発生領域とするジャギー発生領域検出手段、
   前記オーバーシュート発生領域検出手段および前記ジャギー発生領域検出手段の結果に基づいて、前記第１画素補間処理手段もしくは前記第２画素補間処理手段による補間処理を決定する補間処理選択手段
   として機能させる画素補間プログラム。

Images