JP4850965B1

JP4850965B1 - エッジ補間装置またはその方法

Info

Publication number: JP4850965B1
Application number: JP2010271847A
Authority: JP
Inventors: 欣胡
Original assignee: Eizo Nanao Corp
Current assignee: Eizo Nanao Corp
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-01-11
Anticipated expiration: 2030-12-06
Also published as: JP2012124598A; WO2012077395A1

Abstract

【課題】エッジ方向に限定されない補間処理を行う。
【解決手段】注目する補間画素ＨＧに対して、最近接する実画素ＧＧ１〜ＧＧ４を特定する。エッジタイプが与えられると、エッジタイプによって補間画素ＨＧが所属する分割領域を特定する。所属する分割領域を構成する分割ライン上に補間画素ＨＧから法線を定義し、交点を仮想位置とし、その画素値を距離を用いた加重平均演算で、仮想位置１、２の画素値を演算する。仮想位置Ｐ１、Ｐ２の画素値から、補間画素ＨＧの画素値ＨＧＰを演算する。このように、平行四辺形を構成する頂点画素Ｇ２２、Ｇ２３、Ｇ３６、Ｇ３５の画素値に基づいて補間画素ＨＧの画素値が得られる。
【選択図】図１０

Description

この発明は、エッジ補間装置に関し、特に精度の高いエッジ補間処理に関する。

従来、低解像画像情報を高解像情報に解像度変換する方法として、最近隣内挿法（ニアリストネイバ法）や、共１次内挿法（バイリニア法）が知られている。ニアリストネイバ法は、補間画素の位置に最も近い画素値を採用する方法であり、バイリニア法は補間画素を囲む４点の距離に応じて、画素値を考慮するというものである。

ニアリストネイバ法は補間倍率が大きくなると画質の荒さが目立つようになる。一方、バイリニア法はボケた画質になるので、エッジ部の補間には好ましくない。

かかる問題を解決する為に、特許文献１には、４近傍画素とエッジ方向に基づき補間する方法が開示されている。具体的には、注目画素とその周辺画素の画素値情報に基づき注目画素におけるエッジ方向を検出し、補間画素の位置の４近傍画素の画素値情報と、検出されたエッジ方向と、取得された補間倍率とに基づき、非線形補間を行い、非線形補間された補間値と、検出されたエッジ方向とに基づき線形補間を行う。

特許文献２には、６＊６画素のウインドウによって、複数の方向性を持つ微分作用素を輝度信号の画素値に施して方向性を検出することで、その検出した方向性はエッジであると判定し、そのエッジとして判定された各方向性について、場合分けして加重平均による補間値の候補値を計算するエッジ補間方法が開示されている。

特開2003−8884号公報特開2009-094862号公報

しかし、上記特許文献１に開示された補間処理は、エッジ方向が４５度方向以外の場合には、対応ができない。また、特許文献２に開示されたエッジ補間方法においては、演算式が固定であるので一定の倍率の補間しかできないという問題があった。

この発明は、上記問題を解決し、エッジ方向が限定されず、また、補間画素が任意の位置に存在する場合でも、精度の良いエッジ補間が可能なエッジ補間装置またはその方法を提供することを目的とする。

(1)本発明にかかる補間画素値演算装置は、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、Ａ）前記注目画素に対する最近傍の４つの実画素で特定される領域領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、Ｂ）前記第１の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第１頂点画素、第２頂点画素として、前記第２の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第３頂点画素、第４頂点画素として特定する頂点画素特定手段、Ｃ）前記第１、第２の近傍領域区切り線に対して、前記注目画素から法線を定義して、当該法線と前記第１、第２の近傍領域区切り線との交点をそれぞれ第１、第２交点として特定する交点特定手段、Ｄ）前記第１交点における仮想画素の画素値について、前記第１頂点画素と第２頂点画素との距離、およびこれらの画素値に基づき、距離を考慮した重み付け演算するとともに、前記第２交点における仮想画素の画素値について、前記第３頂点画素と第４頂点画素との距離、およびこれらの画素値に基づき、距離を考慮した重み付け演算する仮想画素値演算手段、Ｅ）前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算する補間画素値演算手段を備えている。

このように、与えられたエッジ方向に平行な第１、第２の近傍領域区切り線上の実画素を頂点として、距離を考慮した重み付け演算により注目画素の画素値を求めることにより、エッジ方向に沿った画素値を得ることができる。また、前記２つの近傍領域区切り線にて仮想画素の画素値を求め、かかる２つの仮想画素から前記注目画素の画素値を演算しているので簡易に演算することができる。 (2)本発明にかかる補間画素値演算方法は、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算方法であって、前記注目画素に対する最近傍の４つの実画素で特定される領域を、前記マトリックス状に配置された複数の実画素上を通過する前記与えられるエッジ方向に平行で、かつ前記領域を通過する領域区切り線で分割した場合に定義できる領域区切り線のうち、前記注目画素に近い２つの領域区切り線を近傍領域区切り線として特定し、前記注目画素を通過し、前記特定した２つの領域区切り線に対して定義される法線との交点を領域区切り線上第１仮想位置、領域区切り線上第２仮想位置として定義し、前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置、それぞれについて、当該領域区切り線上の実画素の画素値および当該画素値との距離を考慮した重み付け演算によりそれら画素値を演算し、前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算する。

このように、与えられたエッジ方向に平行な２つの近傍領域区切り線上の実画素を頂点として、距離を考慮した重み付け演算により前記注目画素の画素値を演算することにより、エッジ方向に沿った画素値を得ることができる。

(3)本発明にかかる補間画素値演算装置は、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、Ａ)前記補間画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、Ｂ）前記第１の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第１頂点画素、第２頂点画素として、前記第２の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第３頂点画素、第４頂点画素として特定する手段、Ｃ）前記第１、第２の近傍領域区切り線に対して、前記注目画素から法線を定義して、当該法線と前記第１、第２の近傍領域区切り線との交点をそれぞれ第１、第２交点として特定する交点特定手段、Ｄ）前記第１交点における仮想画素値を、前記第１頂点画素の値および当該画素との距離、前記第２頂点画素の値および当該画素との距離に基づき演算するとともに、前記第２交点における仮想画素値を、前記第３頂点画素の値および当該画素との距離、前記第４頂点画素の値および当該画素との距離に基づき演算する仮想画素値演算手段、Ｅ）前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算する補間画素値演算手段を備えている。

このように、与えられたエッジ方向に平行な２つの近傍領域区切り線上の実画素を頂点として、距離を考慮して注目画素の画素値を演算することにより、エッジ方向に沿った画素値を得ることができる。

(4)本発明にかかる補間画素値演算装置においては、前記仮想画素値演算手段は、前記第１交点における仮想画素値または前記第２交点における仮想画素値の画素値として、前記第１、第２の近傍領域区切り線上に近接する実画素がある場合、当該実画素の値を採用する。したがって、簡易に仮想画素値をえることができる。

(5)本発明にかかる補間画素値演算装置は、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、Ａ）前記注目画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、Ｂ）前記第１の近傍領域区切り線または前記第２の近傍領域区切り線上の実画素であって、前記いずれかの最近傍の４つの実画素の１つの画素を頂点とする平行四辺形を定義する平行四辺形定義手段、Ｃ）前記注目画素の画素値について、前記平行四辺形の頂点の実画素との距離、前記頂点の実画素の画素値に基づき、距離を考慮した重み付け演算する演算手段を備えている。

このように、前記平行四辺形の頂点からの距離を考慮した重み付け演算にて、前記注目画素の画素値を演算することにより、エッジ方向に沿った画素値を得ることができる。

(6)本発明にかかる補間画素値演算装置においては、前記４つの頂点は、前記注目画素に近接する実画素で構成されている。したがって、前記注目画素に近い実画素から前記注目画素値を演算することができる。

(7)本発明にかかる補間画素値演算装置においては、前記演算手段は、前記第１の近傍領域区切り線および前記第２の近傍領域区切り線に対して、前記仮想画素から法線を定義し、前記第１の近傍領域区切り線と前記法線の交点を第１交点として、前記第１の近傍領域区切り線上の２つの頂点からの距離および当該２つの頂点の画素値について、前記第１交点の画素値を演算し、前記第２の近傍領域区切り線と前記法線の交点第２交点として、前記第２の近傍領域区切り線上の２つの頂点からの距離および当該２つの頂点の画素値について、前記第２交点の画素値を演算し、前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき演算する。したがって簡易に補間画素値を演算することができる。

(8)本発明にかかる補間画素値演算プログラムは、コンピュータに、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算を実行させるためのプログラムであって、下記ステップを含む。前記注目画素に対する最近傍の４つの実画素で特定される領域を、前記マトリックス状に配置された複数の実画素上を通過し前記与えられるエッジ方向に平行で、かつ前記領域を通過する領域区切り線で、分割するステップ、前記領域区切り線のうち、前記注目画素に近い２つの領域区切り線を近傍領域区切り線として特定するステップ、前記注目画素を通過し、前記特定した２つの領域区切り線に対して定義される法線との交点を領域区切り線上第１仮想位置、領域区切り線上第２仮想位置として定義するステップ、前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置、それぞれの画素値について、当該領域区切り線上の実画素の画素値および当該実画素との距離に基づき、距離を考慮した重み付け演算するステップ、前記注目画素、前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置との距離、および前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置における画素値に基づき、距離を考慮した重み付け演算するステップ。

このように、与えられたエッジ方向に平行な２つの近傍領域区切り線上の実画素を頂点として、距離を考慮した重み付け演算により注目画素の画素値を求めることにより、エッジ方向に沿った画素値を得ることができる。

なお、本明細書において「エッジ」とは、画素の輝度値、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。「エッジ方向」とは、このエッジの方向をいう。また、「平行四辺形」とは、長方形を含む概念である。「最近傍の４つの実画素」とは、実施形態では図６の画素ＧＧ１〜ＧＧ４が該当する。「最近傍の４つの実画素で特定される領域内」とは、図１１に示すように、当該画素上を含む概念である。「第１および第２の近傍領域区切り線」とは、実施形態では、図１０に示す分割ラインｅ１、ｅ２が該当する。「距離を考慮した重み付け演算」とは、実施形態で採用した距離をそのまま重みとして採用した加重平均を求める場合はもちろん、さらに、所定の係数を乗算するようにしてもよい。さらに、線形ではなく、非線形（三次関数を用いた補間等）で演算する場合を含む。

補間画素値演算装置１の機能ブロック図である。補間画素値演算装置１のハード構成図である。補間画素値演算装置１にて採用したエッジ方向候補を説明する図である。補間画素値演算装置１にて採用したエッジ方向候補の角度を説明する図である。全体のフローチャートである。補間画素と実画素の関係を示す図である。エッジタイプ２の場合に演算に用いる画素を示す図である。エッジタイプ３の場合に演算に用いる画素を示す図である。エッジタイプ４の場合に演算に用いる画素を示す図である。補間画素の画素値演算を説明する為の図である。端に位置する分割領域に補間画素がある場合を示す図である。エッジタイプ４における４頂点を説明する図である。

以下、本発明における実施形態について、図面を参照して説明する。

（１.第１実施形態）
（１．１機能ブロック）
図１に、本発明の１実施形態にかかる補間画素値演算装置１の機能ブロック図を示す。

補間画素値演算装置１は、マトリックス状に配置された複数の実画素について、エッジ検出装置（図示せず）から所定領域におけるエッジ方向が与えられると、そのエッジ方向に基づき、補間倍率により特定される補間画素の画素値を演算する装置であって、近傍領域区切り線特定手段３、頂点画素特定手段５、交点特定手段７、仮想画素値演算手段９、補間画素値演算手段１１を備えている。

近傍領域区切り線特定手段３は、前記補間画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画上を通過する領域区切り線のうち、前記補間画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する。頂点画素特定手段５は、前記第１の近傍領域区切り線上の実画素であって、前記補間画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第１頂点画素、第２頂点画素として、前記第２の近傍領域区切り線上の実画素であって、前記補間画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第３頂点画素、第４頂点画素として特定する。交点特定手段７は、前記第１、第２の近傍領域区切り線に対して、前記補間画素から法線を定義して、当該法線と前記第１、第２の近傍領域区切り線との交点をそれぞれ第１、第２交点として特定する。仮想画素値演算手段９は、前記第１交点における仮想画素の画素値を、前記第１頂点画素と第２頂点画素との距離、およびこれらの画素値に基づき加重平均演算するとともに、前記第２交点における仮想画素の画素値を、前記第３頂点画素と第４頂点画素との距離、およびこれらの画素値に基づき加重平均演算する。補間画素値演算手段１１は前記補間画素の画素値を、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき重み付け演算する。

（１．２ハードウェア構成）
図２に補間画素値演算装置１のハードウェア構成を示す。補間画素値演算装置１は、ＣＰＵ２３、フレームメモリ２７、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、補間プログラム２６ｐが記憶されている。補間プログラム２６ｐには、後述するように、３パターンのエッジ方向についての補間を行う。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。

ＣＰＵ２３は、補間プログラム２６Ｐに従い、フレームメモリ２７に記憶された画像データに対し、所定の６＊６画素のウインドウを設定し、設定した画素についての画素データ（輝度）を読み出し、後述するように、補間画素の画素値を決定し、結果をＲＡＭ２６に記憶する。

なお、本実施形態においては、１＊１画素内における１つの補間画素の画素値決定処理についてのみ説明するが、実際は、補間倍率によって決定される全補間画素について同様の処理が繰り返し行なわれる。

（１．３フローチャートの説明）
（１．３．１エッジ方向）
まず、本実施形態において採用したエッジ方向について説明する。本実施形態においては、図３Ａ、Ｂに示すように１２のエッジ方向を採用した。

図３Ａにおいて、４＊４画素の中央に仮想画素Ｇ１が定義される。なお、同図においてハッチング画素は補間画素を示している。仮想画素Ｇ１の周辺には、実画素Ｃ２〜Ｃ４が存在するので、これらの内側において、半画素の関係となる補間画素Ｇ２〜Ｇ５を定義する。さらに、実画素Ｃ２〜Ｃ４の外側にも半画素の関係となる補間画素Ｇ１２〜Ｇ１９を定義する。

このようにして定義した補間画素および実画素を用いることにより、仮想画素Ｇ１を通るほぼ均等な１２方向が定義される。具体的には、図３Ａに示すように、補間画素Ｇ２と補間画素Ｇ４を結ぶ方向１、実画素Ｃ１２と実画素Ｃ１６を結ぶ方向２、補間画素Ｇ１２と補間画素Ｇ１６を結ぶ方向３、実画素Ｃ２と実画素Ｃ４を結ぶ方向４、補間画素Ｇ１３と補間画素Ｇ１７を結ぶ方向５、実画素Ｃ１３と実画素Ｃ１７を結ぶ方向６である。以下同様にして、図３Ｂに示すように、方向７〜１２を定義する。これにより図４に示すように、方向１〜１２についての角度が９０度、１０８．４度・・・と定義される。図４に示すように、これらの角度構成は完全に均等ではないがほぼ１２等分である。

前記１２方向における補間処理は、エッジタイプ１〜４の４種類に分類可能である。なぜなら、演算処理の画素が90度、180度配置が異なるだけで同様に求めることができるからである。

エッジ方向１とエッジ方向７は、垂直、水平方向であり、エッジタイプ１とする。エッジ方向２、エッジ方向６、エッジ方向８、エッジ方向１２をエッジタイプ２とする。エッジ方向４、エッジ方向１０をエッジタイプ３とする。エッジ方向３、エッジ方向５、エッジ方向９、エッジ方向１１をエッジタイプ４とする。

本実施形態においては、エッジタイプ１については、従来のBicubic法およびクリップ関数により補間を行うようにしたが、かかる処理については説明は省略する。

（１．３．２補間処理）
図５にフラッシュメモリ２５に記憶されたプログラムのフローチャートを示す。ＣＰＵ２３は、注目する補間画素位置が与えられると、図６に示すような補間画素ＨＧに対して、最も近接する実画素ＧＧ１〜ＧＧ４を特定する（図５ステップＳ１）。実画素ＧＧ１〜ＧＧ４は後述する領域Ｒを構成する。

ＣＰＵ２３は、補間画素値演算装置（図示せず）からエッジタイプが与えられると、エッジタイプによって補間画素ＨＧが所属する分割領域を特定する（図５ステップＳ３）。

エッジタイプ２〜４による分割領域について説明する。図７にエッジタイプ２に属するエッジ方向６における分割領域ｒ１〜ｒ４を示す。補間画素ＧＧ１〜ＧＧ４で特定される領域Ｒ内を通過し、エッジ方向６と平行でかつ、実画素を通る線分を定義すると、分割ラインｅ１〜ｅ３が定義できる。かかる分割ラインｅ１〜ｅ３で分割される分割領域として分割領域ｒ１〜ｒ４が定義できる。例えば、補間画素ＨＧが図７に示す位置にある場合、補間画素ＨＧは分割領域ｒ２に所属すると判断される。

図８にエッジタイプ３に属するエッジ方向４における分割領域ｒ１、ｒ２を示す。補間画素ＧＧ１〜ＧＧ４で特定される領域Ｒ内を通過し、エッジ方向４と平行でかつ、実画素を通る線分を分割ラインｅ１として定義する。領域Ｒは、かかる分割ラインｅ１で分割され、これにより、分割領域ｒ１、ｒ２が定義される。補間画素は、これらの分割領域のいずれかに位置する。例えば、補間画素ＨＧが図８に示す位置にある場合、補間画素ＨＧは分割領域ｒ２に所属すると判断される。

図９にエッジタイプ４に属するエッジ方向５における分割領域ｒ１〜ｒ３を示す。補間画素ＧＧ１〜ＧＧ４で特定される領域Ｒ内を通過し、エッジ方向５と平行でかつ、実画素を通る線分を定義すると、分割ラインｅ１、ｅ２が定義できる。かかる分割ラインｅ１、ｅ２で分割され、これにより、分割領域ｒ１〜ｒ３が定義される。補間画素は、これらの分割領域のいずれかに位置する。例えば、補間画素ＨＧが図９に示す位置にある場合、補間画素ＨＧは分割領域ｒ１に所属すると判断される。

次に、ＣＰＵ２３は、所属する分割領域を構成する分割ライン上に補間画素ＨＧから法線を定義し、交点を仮想位置として特定する（図５ステップＳ５）。例えば、補間画素ＨＧが図１０に示すような位置である場合、補間画素ＨＧから分割ラインｅ１および分割ラインｅ２に法線を定義し、その交点をそれぞれ仮想位置Ｐ１、Ｐ２とする。

ＣＰＵ２３は、仮想位置Ｐ１、Ｐ２の画素値を演算する（図５ステップＳ７）。本実施形態においては、エッジ方向に沿った演算をする為に以下のような演算手法を採用した。これはエッジ方向に沿った２つの画素の画素値はほぼ同じと推定できるからである。

図１０を用いて具体的に説明する。仮想位置Ｐ１を通る分割ラインｅ１上の画素について、仮想位置Ｐ１から最近接する画素を特定する。この場合、近接する画素は画素Ｇ２３、画素Ｇ３６である。

これらの画素Ｇ２３、画素Ｇ３６と仮想位置Ｐ１との距離ｄ１、ｄ２を重みとして考慮した画素値を演算する。画素Ｇ２３の画素値をＤ２３と、画素Ｇ３６の画素値をＤ３６とした場合、仮想位置Ｐ１の画素値ＤＰ１は、具体的には、下記式で表される。

ＤＰ１＝（（Ｄ２３＊ｄ１）＋（Ｄ３６＊ｄ２））／（ｄ１＋ｄ２）
仮想位置Ｐ２の画素値ＤＰ２についても、画素Ｇ２２、画素Ｇ３５と仮想位置Ｐ１との距離ｄ３、ｄ４を重みとして考慮した画素値からを演算できる。

ＣＰＵ２３は、仮想位置Ｐ１、Ｐ２の画素値から、補間画素ＨＧの画素値ＨＧＰを演算する（図５ステップＳ９）。かかる演算についても、ステップＳ７同様にして、距離ｄ１１、ｄ１２を重みとして考慮した画素値を求めることができる。

ＨＧＰ＝（（ＤＰ１＊ｄ１１）＋（ＤＰ２＊ｄ１２））／（ｄ１１＋ｄ１２）
このように、平行四辺形を構成する頂点画素Ｇ２２、Ｇ２３、Ｇ３６、Ｇ３５の画素値に基づいて補間画素ＨＧの画素値が得られる。ここで、ラインｅｔは、分割ラインｅ１、ｅ２と平行で、かつ補間画素ＨＧを通過するラインである。

なお、補間画素ＨＧが所属する分割領域が、端に位置する分解領域ｒ１、ｒ４については、仮想位置の画素を簡易演算で求めてもよい。例えば、図１１に示すように分割領域ｒ４に存在する場合、画素Ｇ３３、Ｇ６６との距離に応じて重み付け演算するのではなく、画素Ｇ３３の画素値をそのまま採用する。エッジ方向に沿った２つの画素の画素値はほぼ同じで、また、距離ｄ３、ｄ４による重み付けを考慮すると、簡易演算をしてもそれほど誤差は大きくないからである。

図５ステップＳ３〜ステップＳ９の処理については、エッジタイプ３，４についても同様であるので説明は省略する。

なお、エッジタイプ２，４の場合は、平行四辺形を構成する近接の４つの頂点画素は、２つの分割ラインが特定されるとそれで一意に決定できる。これに対して、エッジタイプ３の場合、分割ラインが特定されても、平行四辺形を構成する近接の４つの頂点画素が、一意には決定できない。ただし、この場合でも、補間画素ＨＧに近接する４実画素を選択することにより、演算に用いる実画素を特定することができる。図１２を用いて説明する。図１２Ａに示すように、補間画素ＨＧが位置する場合、画素Ｇ２２、Ｇ１２、Ｇ３３、Ｇ２３が４つの頂点画素となる。これは、エッジ方向に平行で、かつ、実画素を通る分割ライン上に位置する画素のうち、補間画素ＨＧに最近接の上位４画素が、これらの画素だからである。図１２Ｂに示すように、補間画素ＨＧが位置する場合、同様にして、画素Ｇ２２、Ｇ２３、Ｇ３４、Ｇ３３が頂点画素となる。

（２.他の実施形態）
本実施形態においては、エッジ方向の角度が上記エッジタイプによって特定される。また、各エッジ方向に対して法線を定義してその交点を仮想画素位置としている。したがって、４つの実画素の領域Ｒにおける補間画素の相対位置dx,dyとした場合（図６参照）、距離ｄ１〜ｄ４、ｄ１１、ｄ１２を値dx,dyで表すことができる。これにより、エッジタイプ毎に１の演算式を記憶しておけば、簡単に演算することができる。ただし、演算手法についてはかかる演算手法に限定されず、平行四辺形を構成する４つの頂点画素からの距離を重み付けとして考慮した演算をすればよい。

また、上記実施形態においては、端部の分割領域に補間画素ＨＧが位置する場合に、一方の仮想位置の画素値の演算において、近接する画素値をそのまま採用したが、より簡易演算を行うのであれば、双方の仮想位置とも近い方画素の値を採用するようにしてもよい。さらには、平行四辺形を構成する４つの頂点画素のうち、最近接の画素値を補間画素ＨＧの画素値として採用するようにしてもよい。

本実施形態においては、画素値として輝度を採用した場合について説明したが、エッジ補間するための画素値であればどのようなものであってもよく、例えばRGB値を採用してもよい。

本実施形態においては、エッジ平行線上の仮画素Ｐ１，Ｐ２の画素値、および補間画素の画素値の演算については、距離を用いて線形補間するようにしたが、距離を考慮した重み付けであれば、例えば、三次関数による補間等を採用してもよい。特に、エッジ平行線上の仮画素Ｐ１，Ｐ２の演算については、単純に距離で加重平均を求めても、実際には問題とならないと考えられる。これに対して、仮画素Ｐ１，Ｐ２から補間画素の画素値を演算する際には、エッジを横切るため、輝度の変化が大きい。したがって、かかる状況を考慮して、補間画素値を演算するようにすればよい。

このように、エッジ方向に平行な方向とエッジ方向に直交する方向の二段階で演算を分けることにより、エッジ方向に沿った補間が可能となる。

本実施形態においては、エッジ方向として、１２方向を採用したが、これに限定されない。

また、本実施形態においては、平行四辺形の頂点画素として、近接の４画素を採用したが、これに限定されない。

本実施形態においては、図５ステップＳ３にて、分割領域を特定するようにしたが、これは、与えられたエッジ方向に平行な分割ラインのうち、近接の分割ラインを特定する為である。したがって、分割領域を求めることなしに、２つの分割ラインを特定するようにしてもよい。

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

Claims

マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、
前記注目画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、
前記第１の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第１頂点画素、第２頂点画素として、前記第２の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第３頂点画素、第４頂点画素として特定する頂点画素特定手段、
前記第１、第２の近傍領域区切り線に対して、前記注目画素から法線を定義して、当該法線と前記第１、第２の近傍領域区切り線との交点をそれぞれ第１、第２交点として特定する交点特定手段、
前記第１交点における仮想画素の画素値について、前記第１頂点画素と第２頂点画素との距離、およびこれらの画素値に基づき、距離を考慮した重み付け演算するとともに、前記第２交点における仮想画素の画素値について、前記第３頂点画素と第４頂点画素との距離、およびこれらの画素値に基づき、距離を考慮した重み付け演算する仮想画素値演算手段、
前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算する補間画素値演算手段を備えたことを特徴とする補間画素値演算装置。
マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算方法であって、
前記注目画素に対する最近傍の４つの実画素で特定される領域を、前記マトリックス状に配置された複数の実画素上を通過する前記与えられるエッジ方向に平行で、かつ前記領域を通過する領域区切り線で分割した場合に定義できる領域区切り線のうち、前記注目画素に近い２つの領域区切り線を近傍領域区切り線として特定し、
前記注目画素を通過し、前記特定した２つの領域区切り線に対して定義される法線との交点を領域区切り線上第１仮想位置、領域区切り線上第２仮想位置として定義し、
前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置、それぞれについて、当該領域区切り線上の実画素の画素値および当該画素値との距離を考慮した重み付け演算によりそれら画素値を演算し、
前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算すること、
を特徴とする補間画素値演算方法。
マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、
前記補間画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、
前記第１の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第１頂点画素、第２頂点画素として、前記第２の近傍領域区切り線上の実画素であって、前記注目画素との距離が最も近い実画素および２番目に近い実画素をそれぞれ第３頂点画素、第４頂点画素として特定する手段、
前記第１、第２の近傍領域区切り線に対して、前記注目画素から法線を定義して、当該法線と前記第１、第２の近傍領域区切り線との交点をそれぞれ第１、第２交点として特定する交点特定手段、
前記第１交点における仮想画素値を、前記第１頂点画素の値および当該画素との距離、前記第２頂点画素の値および当該画素との距離に基づき演算するとともに、前記第２交点における仮想画素値を、前記第３頂点画素の値および当該画素との距離、前記第４頂点画素の値および当該画素との距離に基づき演算する仮想画素値演算手段、
前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき、距離を考慮した重み付け演算する補間画素値演算手段、を備えたことを特徴とする補間画素値演算装置。
請求項３の補間画素値演算装置において、
前記仮想画素値演算手段は、前記第１交点における仮想画素値または前記第２交点における仮想画素値の画素値として、前記第１、第２の近傍領域区切り線上に近接する実画素がある場合、当該実画素の値を採用すること、
を特徴とする補間画素値演算装置。
マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算装置であって、
前記注目画素に対する最近傍の４つの実画素で特定される領域内を通過する領域区切り線であって、前記与えられるエッジ方向に平行でかつ、前記マトリックス状に配置された複数の実画素上を通過する領域区切り線のうち、前記注目画素に近い２つの領域区切り線を第１および第２の近傍領域区切り線として特定する近傍領域区切り線特定手段、
前記第１の近傍領域区切り線または前記第２の近傍領域区切り線上の実画素であって、前記いずれかの最近傍の４つの実画素の１つの画素を頂点とする平行四辺形を定義する平行四辺形定義手段、
前記注目画素の画素値について、前記平行四辺形の頂点の実画素との距離、前記頂点の実画素の画素値に基づき、距離を考慮した重み付け演算する演算手段、
を備えたことを特徴とする補間画素値演算装置。
請求項５の補間画素値演算装置において、
前記４つの頂点は、前記注目画素に近接する実画素で構成されていること、
を特徴とする補間画素値演算装置。
請求項５または請求項６の補間画素値演算装置において、
前記演算手段は、
前記第１の近傍領域区切り線および前記第２の近傍領域区切り線に対して、前記仮想画素から法線を定義し、
前記第１の近傍領域区切り線と前記法線の交点を第１交点として、前記第１の近傍領域区切り線上の２つの頂点からの距離および当該２つの頂点の画素値について、前記第１交点の画素値を演算し、
前記第２の近傍領域区切り線と前記法線の交点第２交点として、前記第２の近傍領域区切り線上の２つの頂点からの距離および当該２つの頂点の画素値から前記第２交点の画素値を演算し、
前記注目画素の画素値について、前記第１交点と前記第２交点との距離、および前記第１交点および前記第２交点における画素値に基づき演算すること、
を特徴とする補間画素値演算装置。
コンピュータに、マトリックス状に配置された複数の実画素について、エッジ方向が与えられると、前記実画素の間に配置される注目画素の画素値を演算する補間画素値演算を実行させるためのプログラムであって、下記ステップを含むこと、を特徴とする補間画素値演算プログラム。
前記注目画素に対する最近傍の４つの実画素で特定される領域を、前記マトリックス状に配置された複数の実画素上を通過し前記与えられるエッジ方向に平行で、かつ前記領域を通過する領域区切り線で、分割するステップ、
前記領域区切り線のうち、前記注目画素に近い２つの領域区切り線を近傍領域区切り線として特定するステップ、
前記注目画素を通過し、前記特定した２つの領域区切り線に対して定義される法線との交点を領域区切り線上第１仮想位置、領域区切り線上第２仮想位置として定義するステップ、
前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置、それぞれの画素値について、当該領域区切り線上の実画素の画素値および当該実画素との距離に基づき、距離を考慮した重み付け演算するステップ、
前記注目画素、前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置との距離、および前記領域区切り線上第１仮想位置および前記領域区切り線上第２仮想位置における画素値に基づき、距離を考慮した重み付け演算するステップ。