JP5116740B2 - 画像処理装置、画像処理方法及び画像表示装置 - Google Patents

Description

本発明は、光学系を備えた画像投射手段によって投射用画像を投射面に投射する画像表示装置において、表示部に前記投射用画像を出力する画像処理装置に関するものである。

液晶プロジェクタ装置やリアプロジェクションテレビ等の投射型表示装置においては、投射する光源とスクリーンの位置関係、あるいは、光学系が持つ収差などに起因する画像歪（キーストーン歪）が発生する。この歪を補正するため、歪と逆特性の変換を施した画像を投射する方法が知られている。

その方法の一つに、電気的な信号処理によって画像を補正する方法があり、特許文献１に記載された液晶プロジェクタ装置においては、キーストーン歪の補正として、入力映像信号の走査線内の画素の隣接画素間を直線補間処理している。

特開平８−１０２９００号公報（段落００４７、図３）

しかしながら、上記のような従来の技術では、補間の際に選択されるフィルタの周波数特性に起因した模様が現れることがあり、画像の品質上問題となることがある。

この発明は、上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
互いに異なる第１の方向及び第２の方向にマトリクス状に配列された画素を持つ入力画像から、前記入力画像の少なくとも一部を拡大又は縮小した出力画像を生成する画像処理装置であって、
前記拡大又は縮小のために前記入力画像内で参照する位置に画素が存在すると仮定して求めた画素値を前記出力画像の画素値とすることで前記入力画像の少なくとも一部を拡大又は縮小するものであり、
前記入力画像の各画素の画素値を保持する画像データ記憶手段と、
前記入力画像を構成する画素及び前記出力画像を構成する画素の前記第１の方向の間隔を「１」とした単位系とし、前記出力画像の少なくとも一部の画素を代表画素とし、該代表画素の各々について、前記代表画素の前記第１の方向の座標値と前記代表画素に対応する前記入力画像の位置であって前記拡大又は縮小のために前記入力画像で参照する位置の前記第１の方向の座標値との差を補正値として保持する補正値記憶手段と、
前記出力画像の各画素について、その画素の画素値を求めるために、前記出力画像の各画素に対応する前記入力画像で参照する位置を、前記補正値を用いた補間演算によって求め、参照画素位置として出力する参照画素位置計算手段と、
前記出力画像の各画素について、前記補間演算に用いた前記補正値が全てゼロである場合、第１の値を出力し、それ以外の場合、第２の値を出力する判定手段と、
前記出力画像の各画素について、前記参照画素位置の近傍に位置する複数の画素の画素値を、前記画像データ記憶手段から読み出す画像データ読み出し手段と、
前記出力画像の各画素について、第１の補間係数を求める補間係数決定手段と、
前記複数の画素の画素値と前記第１の補間係数とから、前記出力画像の画素値を求める補間演算手段とを備え、
前記補間係数決定手段は、前記判定手段の出力が第１の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を全ての周波数に対して１とし、前記判定手段の出力が第２の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を少なくとも一部の周波数領域において１未満とする
ことを特徴とする。

本発明によれば、補間係数決定手段において、判定手段の出力に基づき補間係数が適宜変更されるので、補間の際に選択されるフィルタの周波数特性に起因した模様が現れず、画像の品質を向上させることができる。

本発明の実施の形態１に係る画像処理装置を示すブロック図である。 プロジェクションテレビの構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、光学系による歪みの一例を示す図である。 図３（Ａ）及び（Ｂ）に示す歪みと逆の歪みを示す図である。 図４に示す、逆の歪みを与えるための補正を行なう際に参照する画素を示す図である。 補正値記憶手段２Ｈに保持されるデータを示す図である。 補間係数Ｃ６Ａ（ｉ）の一例を示す図である。 異なる条件下で用いられる、補間係数Ｃ６Ａ（ｉ）および補間係数Ｃ６（ｉ）を示す図である。 異なる周波数応答ＲＥＳ１、ＲＥＳ２を示す図である。 （Ａ）及び（Ｂ）は、周波数応答の違いによって生じる不具合を説明する図である。 本発明の実施の形態２に係る画像処理装置を示すブロック図である。 （Ａ）及び（Ｂ）は、光学系による歪みの他の例を示す図である。 図１２（Ａ）及び（Ｂ）に示す歪みと逆の歪みを示す図である。 図１３に示す、逆の歪みを与えるために参照する画素を示す図である。 本発明の実施の形態３に係る画像処理方法のフローを示す図である。 本発明の実施の形態４に係る画像処理方法のフローを示す図である。 本発明の実施の形態５に係る画像表示装置を示すブロック図である。 図１８は図１５に示す画像処理方法を実行することが出来る画像処理装置の一例を示すブロック図である。

実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図である。図示の画像処理装置Ｕ０は、画像データ記憶手段１、補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、判定手段４Ｈ、画像データ読み出し手段５Ｈ、補間係数決定手段６Ｈ、補間演算手段７Ｈ及び制御手段８を備える。制御手段８は、画像データ記憶手段１、補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、判定手段４Ｈ、画像データ読み出し手段５Ｈ、補間係数決定手段６Ｈ、及び補間手段７Ｈを制御して、これを互いに協調して動作させる。制御手段８から各手段への制御信号線は図示が省略されている。
補間係数決定手段６Ｈは、補間係数演算手段６ＨＡ及び係数切り替え手段６ＨＢを含む。

図１に示す画像処理装置は、例えば図２に示すリアプロジェクションテレビ等の投射型表示装置に代表される画像表示装置の一部として用いることができる。

図２に示すリアプロジェクションテレビは、図１に示す画像処理装置Ｕ０と、画像投射手段Ｕ１と、投射面Ｕ２とを備え、画像投射手段Ｕ１は、光源Ｕ１Ａ、及び光学系Ｕ１Ｂを有する。光学系Ｕ１ＢはミラーＵ１Ｂ１及びレンズＵ１Ｂ２を含む。

図２に示すリアプロジェクションテレビでは、入力画像ＤＩＮに対応した映像が以下の手順により投射面Ｕ２に投射される。まず、画像処理装置Ｕ０から入力画像ＤＩＮに対して後述の処理を行った画像ＤＵ０を出力される。
次に光源Ｕ１Ａから画像ＤＵ０に応じた光が出力され、光源Ｕ１Ａから出力された光がミラーＵ１Ｂ１及びレンズＵ１Ｂ２を含む光学系Ｕ１Ｂを介して投射面Ｕ２に映し出される。

ここで、光学系Ｕ１Ｂは第１の方向例えば水平方向に関して歪みを持っているものとする。図３（Ａ）及び（Ｂ）はこの歪みを模式的に表す図である。すなわち、図３（Ａ）に示すような水平、垂直の直線からなる格子状の画像を光学系Ｕ１Ｂによって投射面Ｕ１Ｃに投射すると、投射面Ｕ１Ｃには図３（Ｂ）に示すように、格子が台形状に歪んだ画像が表示される。なお、図３（Ｂ）中に示される点線ＰＡは、台形状の画像の上辺が投射面の幅に一致するように調整した場合に、投射面Ｕ２に表示される画像の範囲を表すものである。

このように、図２に示すリアプロジェクションテレビでは、画像投射手段Ｕ１内の光学系Ｕ１Ｂによって歪んだ画像が投射面Ｕ２に映し出される。したがってあらかじめ画像処理装置Ｕ０において、図４に示すような、光学系Ｕ１Ｂによる歪みと逆の特性で入力画像ＤＩＮを歪ませた画像ＤＵ０（図４にはその範囲を符号ＰＢで示す）を生成し、画像投射手段Ｕ１に入力すれば、投射面Ｕ２には見かけ上歪みのない状態で入力画像ＤＩＮが映し出されることになる。

入力画像ＤＩＮを歪ませることは、入力画像ＤＩＮの少なくとも一部を水平方向に拡大又は縮小することで実現できる。このような拡大或いは縮小は、入力画像ＤＩＮに対して座標変換を行って出力画像ＤＵ０を得ることで達成される。

上記のように、入力画像ＤＩＮを光学系Ｕ１Ｂによる歪みと逆の特性で入力画像ＤＩＮを歪ませた（歪み補正した）画像を生成することができるので、投射面Ｕ２には見かけ上、歪みのない状態で入力画像ＤＩＮが映し出されることになる。

図１に示した画像処理装置の動作についてさらに詳しく説明する。図１に示した画像処理装置では入力画像Ｄ０（図２に示す入力画像ＤＩＮに相当）に対し、補間及び座標変換を行って、出力画像Ｄ７（図２に示す画像ＤＵ０に相当）が生成され、出力される。

画像データ記憶手段１には入力画像Ｄ０の各画素の画素値が保存される。入力画像Ｄ０は、互いに異なる第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）にマトリクス状に配列された画素を持つものであり、画像処理装置で生成される出力画像Ｄ７も、入力画像Ｄ０と同様に、互いに異なる第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）にマトリクス状に配列された画素を持つものである。
入力画像及び出力画像における画素の位置は二次元座標で表わされ、そのような座標系において、座標値の差で表わされる前記画素の前記第１の方向の間隔が「１」であり、座標値の差で表わされる前記画素の前記第２の方向の間隔が「１」である。

補正値記憶手段２Ｈには、光学系Ｕ１Ｂによって生じる歪みを補正するために参照するべき（あるいは存在を仮定する）画素の位置に関するデータが保持されている。
この参照するべき画素の位置に関するデータは、出力画像の画素の少なくとも一部について、画像の拡大、縮小のための座標変換前の座標位置を表すデータであり、例えば、出力画像の画素の位置に対する相対的位置を表すものであり、相対的位置は、具体的には、位置の差分で表される。この差分に応じた拡大、縮小を行うことで、歪みの補正が行われるので、この差分は、「歪み補正値」とも呼ばれる。

図５は参照するべき画素の位置（座標変換前の画素位置）について説明する図であり、最も上側に水平座標が示され、その下に、入力画像Ｄ０のある行内の画素位置（座標変換前の画素位置）と、出力画像Ｄ７の同じ行内の画素位置（座標変換後の画素位置）が示されている。
図５から、出力画像Ｄ７において水平座標が値Ａｈより左側の画素は、入力画像Ｄ０中の自身より左側の画素を参照すればよく、水平座標が値Ｂｈより右側の画素は、入力画像Ｄ０中で自身より右側の画素を参照すればよく、水平座標が値Ａｈから値Ｂｈまでの画素は、入力画像Ｄ０中の、自身と同一位置の画素を参照すればよいことがわかる。

補正値記憶手段２Ｈには出力画像Ｄ７内の画素の一部について、画像Ｄ０内の参照画素の相対的位置を表すデータ、具体的には、各画素が、画像Ｄ０内において同一座標の画素より何画素右あるいは左の画素を参照するべきかが保持されている。例えば３画素右を参照するのが適当な場合は「プラス３」というデータが保持されており、４画素左を参照するのが適当な場合は「マイナス４」というデータが書き込まれており、同一座標の画素を参照するのが適当な場合は「ゼロ」というデータが書き込まれている。要するに、出力画像Ｄ７内の各画素の水平座標の値と画像Ｄ０内において参照すべき画素の水平座標（座標変換前の画素位置）の値との差分（正負の符号付きの値）が書き込まれている。

ここで出力画像Ｄ７内の全ての画素について歪み補正値(を示すデータ)を保持すると保持するデータの数（量）が膨大になるので、データの保持は水平方向、垂直方向ともに所定の画素間隔おきに行う。言い換えると、所定の画素間隔おきの画素を代表画素として、各代表画素についてのみ歪み補正値（を示すデータ）の保持を行うことで、保持するデータの数を削減することが可能である。なお、後述するように、代表画素以外の画素についての、参照するべき画素（座標変換前の位置の画素）の画素値は補間演算によって求められるので、代表画素についての、歪み補正値は整数（画素間隔の整数倍を表すもの）に限定されず、整数部と小数部を含む実数であってもよい。例えば３．５画素右を参照したいのであれば「プラス３．５」という値を設定すればよい。

図６は、出力画像Ｄ７において、水平方向及び垂直方向ともに６４画素おきの画素が代表画素とされる場合を例に取って、各代表画素について歪み補正値Ｐ２を、各代表画素の位置に示す。代表画素の位置は、Ｍ、Ｎを整数としたとき、水平座標が６４×Ｍ、垂直座標が６４×Ｎで表され、各代表画素についての歪み補正値Ｐ２は、Ｐ２（Ｍ，Ｎ）で表されている。

参照画素位置算出手段３Ｈは出力画像Ｄ７内の各画素について、補正値記憶手段２Ｈに保持された、代表画素についての歪み補正値Ｐ２（Ｍ，Ｎ）をもとに直線補間を行なって、出力画像Ｄ７のすべての画素の各々について、入力画像Ｄ０内の参照するべき画素の位置（座標変換前の位置）の水平座標Ｕ、垂直座標Ｖを計算する。すなわち、出力画像Ｄ７内の、水平座標がＸ＝６４×Ｊ＋Ａ、垂直座標がＹ＝６４×Ｋ＋Ｂ（Ｊ、Ｋはゼロ以上の整数、Ａ、Ｂはゼロ以上６３以下の整数）で表される位置の画素について、入力画像Ｄ０内の参照画素位置（座標変換前の画素位置）の水平座標Ｕ及び垂直座標Ｖを下記の式による演算で求める。

式（１）によって求められた座標Ｕ、Ｖは、入力画像Ｄ０内における絶対的位置を示すものであり、座標Ｕ、Ｖは、参照画素位置データＰ３として出力される。

式（１）から、Ｕは実数であるので整数部と小数部に分けられる。Ｕの整数部（以下、ＵＩＮＴとする）とＶとで表される座標（ＵＩＮＴ，Ｖ）がデータＰ３ＩＮＴとして画像読み出し手段５Ｈに、Ｕの小数部（以下、ＵＤＥＣとする）がデータＰ３ＤＥＣとして補間係数演算手段６ＨＡに入力される。なお、ＵＩＮＴはＵを超えない最大の整数、ＵＤＥＣはＵからＵＩＮＴを引いた値と定義することができる。

判定手段４Ｈは出力画像Ｄ７内の各画素について式（１）の計算に用いた歪み補正値Ｐ２が全てゼロであったか否かを判断しその結果をフラグＦ４として出力する。フラグＦ４の値はＰ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の全てがゼロであった場合は第１の値、例えば「１」になり、その他の場合は第２の値、例えば「０」になる。

画像データ読み出し手段５ＨはデータＰ３ＩＮＴに応じて、各画素及びその近傍に位置する画素から成る複数の画素の座標、即ち、後述の補間演算に用いる画素の座標を４点分、データＰ５として出力する。データＰ３ＩＮＴとして（ＵＩＮＴ，Ｖ）という座標が入力された場合、データＰ５として、（ＵＩＮＴ−１，Ｖ）、（ＵＩＮＴ，Ｖ）、（ＵＩＮＴ＋１，Ｖ）、（ＵＩＮＴ＋２，Ｖ）で表される４点の座標（入力画像Ｄ０中の４つの画素の位置を示す座標）を示すデータが出力される。このようにして、画像データ読み出し手段は、データＰ３ＩＮＴに応じて、データＰ３ＩＮＴで示される位置の画素、及びその近傍の画素、例えばその左右の画素から成る複数の画素を読み出す。

画像データ読出し手段５Ｈは、データＰ５で示される（ＵＩＮＴ−１，Ｖ）、（ＵＩＮＴ，Ｖ）、（ＵＩＮＴ＋１，Ｖ）、（ＵＩＮＴ＋２，Ｖ）という４点の座標に位置する、入力画像Ｄ０内の画素の画素値Ｄ０（ＵＩＮＴ−１，Ｖ）、Ｄ０（ＵＩＮＴ，Ｖ）、Ｄ０（ＵＩＮＴ＋１，Ｖ）、Ｄ０（ＵＩＮＴ＋２，Ｖ）を、画像データ記憶手段１から画素値Ｄ１（−１）、Ｄ１（０）、Ｄ１（１）、Ｄ１（２）として読み出す。即ち、ｉ＝−１〜２としたとき、入力画像Ｄ０内の画素の画素値Ｄ０（ＵＩＮＴ＋ｉ，Ｖ）が画素値Ｄ１（ｉ）として読み出される。入力画像Ｄ０内の画素値Ｄ０（ＵＩＮＴ＋ｉ，Ｖ）と読み出される画素値Ｄ１（ｉ）との間は以下の式（２）で表される。

なお上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値（例えばゼロ）を出力するものとする。

補間係数演算手段６ＨＡからはデータＰ３ＤＥＣをもとに補間係数Ｃ６Ａが出力される。図７は補間係数Ｃ６Ａの求め方を表す図である。補間係数演算手段６ＨＡは所定の関数ｆ（ｘ）とデータＰ３ＤＥＣに基づいて補間係数Ｃ６Ａを求める。データＰ３ＤＥＣの値をＵＤＥＣで表す場合、補間係数Ｃ６Ａとして

と計算される４つの値Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）、Ｃ６Ａ（２）が出力される。なお、関数ｆ（ｘ）は条件

が任意のα（０＜α＜１）について満足される関数であり、例えばＳＩＮＣ関数に適当な窓関数、例えばハミング窓関数、カイザー窓関数を掛けたもので定義される。

図７には、ｆ（ｘ）、ｆ（ｘ−ＵＤＥＣ）、Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）、Ｃ６Ａ（２）の例が示されている。

係数切り替え手段６ＨＢはデータＰ３ＤＥＣおよびフラグＦ４の値に応じて変化する補間係数Ｃ６を出力する。補間係数Ｃ６は４つの値Ｃ６（−１）、Ｃ６（０）、Ｃ６（１）、Ｃ６（２）からなり、

と表される。

ここでＣ６Ｂ（−１）、Ｃ６Ｂ（０）、Ｃ６Ｂ（１）、Ｃ６Ｂ（２）はあらかじめ定められた値であり、条件

を満たすものとする。

補間演算手段７Ｈは出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について補間係数Ｃ６で表されるフィルタおよび画像データＤ１を用いた以下の補間演算

を行う。なお式（７）において、Ｄ０（ｇ，ｈ）という記号は入力画像Ｄ０内の座標（ｇ，ｈ）で表される位置の画素の画素値を表す。

これにより、座標（Ｘ，Ｙ）で表される位置の画素の画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで、出力画像Ｄ７が得られる。

本発明の実施の形態１による画像処理装置の作用、効果について述べる。
図８に実施の形態１による画像処理装置によって求められる補間係数Ｃ６Ａ、Ｃ６の値をまとめる。

補間係数Ｃ６Ａは、Ｐ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の全てが０であるという条件（条件１）、あるいはＰ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の少なくとも一つが０でないが、ＵＤＥＣ＝０であるという条件（条件２）を満たす場合、

となり、それ以外の場合は

を満たすものとなる。

一方、補間係数Ｃ６は上記の条件１を満たす場合のみ

となり、それ以外の場合は

を満たすものとなる。

図９に式（８）、式（１０）および式（９）、式（１１）によって求められる補間係数で構成されるフィルタの周波数応答を示す。式（８）、式（１０）の条件を満たす補間係数で表されるフィルタの周波数特性はＲＥＳ１で表されるように全ての周波数帯域にわたって１となり、式（９）、式（１１）の条件を満たす補間係数で表されるフィルタの周波数特性はＲＥＳ２で表されるように高周波数成分側で周波数帯域が１未満となる。

したがって入力画像Ｄ０としてベタ一色の画像に高周波数で振動するノイズ成分が加算された画像が入力された場合、式（８）、式（１０）で示す補間係数によって構成されるフィルタが選択された領域では高周波数で振動するノイズ成分は除去されないが、式（９）、式（１１）で示す補間係数によって構成されるフィルタが選択された領域では高周波数帯域の周波数応答が１未満になっている分、高周波数で振動するノイズ成分が除去される。その結果、入力画像ＤＩＮの信号の一部が失われることになり、該当箇所は画像の輝度も若干弱くなる。

図１０（Ａ）及び（Ｂ）は上記の条件１を満たさない領域において計算されるＵＤＥＣの値がゼロとなる画素の分布を示したものであり、ＵＤＥＣ＝０となる画素が黒で、そうでない画素が白で表されている。図１０（Ａ）はＰ２（Ｊ，Ｋ）＝０、Ｐ２（Ｊ，Ｋ＋１）＝０、Ｐ２（Ｊ＋１，Ｋ）＝４、Ｐ２（Ｊ＋１，Ｋ＋１）＝４である領域を示しており、図１０（Ｂ）はＰ２（Ｊ，Ｋ）＝１、Ｐ２（Ｊ，Ｋ＋１）＝４、Ｐ２（Ｊ＋１，Ｋ）＝０、Ｐ２（Ｊ＋１，Ｋ＋１）＝２である領域を示している。

図１０（Ａ）に示すように条件１を満たさない領域では、その一部にＵＤＥＣ＝０となる領域が現れる。またこの領域は線状に連なって現れる。

これらの領域で仮に係数切り替え手段６ＨＢによる補間係数Ｃ６Ｂを選択する切り替え処理が行われなかったとすると、式（９）で示す補間係数Ｃ６Ａによって構成されるフィルタが選択された領域中のごく一部に式（８）で示す補間係数Ｃ６Ａによって構成されるフィルタが選択された領域が現れ、該当箇所のみ画像の輝度が他の点より若干強くなる。このような領域が連なって現れると画像中に一定方向に伸びる筋のような模様が現れ、画像の品質上問題となる。

しかしながら本発明による画像処理装置では条件１を満たさない区間については、条件２を満たされる場合に、係数切り替え手段６ＨＢによって補間係数Ｃ６Ｂを選択する切り替え処理が行なわれ、補間係数が式（１１）を満たすものに変更される（その結果、条件１を満たさない区間でも、式（１１）を満たす補間係数が維持される）ので、上記のようなフィルタの周波数特性の違いに起因した模様が現れることはない。

一方、条件１を満たす領域では係数切り替え手段６ＨＢによる処理が行われない（第１の補間係数Ｃ６Ａを選択した状態が維持される）が、そもそも条件１を満たす領域では常にＵＤＥＣの値が０になるので、上記のように領域の一部のみＵＤＥＣ＝０となることはなく、係数切り替え手段６ＨＢによる切り替え処理を行う必要もない。また条件１を満たす設定をしている場合、式（１）に従って出力画像Ｄ７中の座標（Ｘ，Ｙ）の画素が参照すべき座標、入力画像Ｄ０中の画素の座標（Ｕ，Ｖ）を計算すると（Ｕ，Ｖ）＝（Ｘ，Ｙ）になる。つまり入力画像Ｄ０中の同一座標の画素値を参照するよう設定しているということなので、入力画像Ｄ０の画素値そのものを出力した方がよい。

実際、条件１のもとで式（１）〜（７）による補間処理を行うと、Ｄ７（Ｘ，Ｙ）＝Ｄ０（Ｘ，Ｙ）となる。言い換えると入力画像Ｄ０の画素値そのものが出力されるので好ましい結果となる。

また、実施の形態１による画像処理装置によれば補間演算によって入力画像Ｄ０内の任意の位置の画素値を参照することができるので、水平方向に関して任意の歪みを与えることができる。すなわち水平方向に関して任意の光学系の歪みを補正することができる。

なお、上記の説明では補間演算手段７Ｈにおける補間は４画素分のデータを用いて行っているが、補間に用いる画素の数は４画素に限られるものではない。補間に用いる画素の数がｎ＋ｍ＋１個であった場合、関数ｆ（ｘ）は、デルタ関数δ（ｘ）および整数ｉによって表される以下の条件

が任意のα（０＜α＜１）について満足される関数であれば良く、補間係数Ｃ６Ａは

と計算されるものであればよく、補間係数Ｃ６Ｂはデルタ関数δ（ｘ）および整数ｉによって表される以下の条件

を満たすものであればよい。

なお、デルタ関数は

で定義される関数である。

また、画像データ読み出し手段５Ｈは

で表される画像データＤ１（ｉ）を読み出せばよく、補間演算手段７Ｈは出力画像Ｄ７の画素値を以下の補間演算

によって求めればよい。

また上記の説明では、補正値記憶手段２Ｈに水平方向、垂直方向ともに６４画素おきの画素を代表画素として、各代表画素について参照するべき画素の位置が保存されている場合を例に説明を行ったが代表画素の間隔は６４に限定されるものではない。すなわち、代表画素の水平方向及び垂直方向の間隔を表すＴｘ、Ｔｙを正の整数とし、補正値記憶手段２Ｈに座標（Ｔｘ×Ｍ，Ｔｙ×Ｎ）で表される位置の画素を代表画素として、代表画素の各々について歪み補正値Ｐ２（Ｍ，Ｎ）を保存しておき、水平座標がＸ＝Ｔｘ×Ｊ＋Ａ、垂直座標がＹ＝Ｔｙ×Ｋ＋Ｂで表される位置の画素についてＵを

と計算すればよい。

ここでＴｘ、Ｔｙを２のべき乗で表される数にしておけば式（１８）に含まれる割り算をシフト演算で行うことができる。すなわち式（１８）をハードウェア処理するときの負担が少なくて済む。

また、本発明の画像処理装置においては補正値記憶手段２Ｈに、光学系Ｕ１Ｂによる歪みと逆の特性で入力画像Ｄ０を歪めるために、出力画像Ｄ７内の少なくとも一部の画素を代表画素として、各代表画素について各代表画素と各代表画素が入力画像Ｄ０内で参照するべき画素の位置の差（補正値）を書き込むことで、光学系Ｕ１Ｂによって生じる歪みを補正することが可能であるが、その際、補正値記憶手段２Ｈに書き込むデータ（補正値データ）は、出力画像Ｄ７の中央付近における画素に対しては、その値をゼロにしておく方がよい。なぜなら画像の中央付近は、画像を見る人が最も注目してみる部分であるので、そのような部分には補間演算による劣化が生じた画像よりも入力画像そのものを表示した方がよいからである。

先に述べたように、本発明の画像処理装置では、補正値記憶手段２Ｈに書き込まれたデータがゼロである画素で囲まれた領域（あるいは条件１を満たす領域）については入力画像Ｄ０の画素値そのものが出力されるため、出力画像Ｄ７の中央付近における画素に対しては、補正値記憶手段２Ｈに書き込むデータの値をゼロにしておくことで、人が最も注目してみる画像の中央付近に補間演算による劣化が生じていない画像を表示することが可能となる。そして補正値記憶手段２Ｈに書き込むデータのうち、画像の中央付近以外に対応する箇所については、出力画像Ｄ７内の少なくとも一部の画素について、その画素の位置と、その画素が光学系Ｕ１Ｂによる歪みと逆の特性で入力画像Ｄ０を歪めるために入力画像Ｄ０内で参照するべき画素の位置の差を書き込んでおくことで、画像全体として、光学系Ｕ１Ｂによる歪みを補正した画像Ｄ７を出力することが可能になる。

実施の形態２．
図１１は本発明の実施の形態２による画像処理装置の構成を表す図であり、実施の形態１で説明した画像処理装置と同様の構成をしている。
但し、図１の補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、判定手段４Ｈ、画像データ読み出し手段５Ｈ、補間係数決定手段６Ｈ、及び補間演算手段７Ｈの代わりに、補正値記憶手段２Ｖ、参照画素位置算出手段３Ｖ、判定手段４Ｖ、画像データ読み出し手段５Ｖ、補間係数決定手段６Ｖ、及び補間演算手段７Ｖが設けられている。

補正値記憶手段２Ｖ、参照画素位置算出手段３Ｖ、判定手段４Ｖ、画像データ読み出し手段５Ｖ、補間係数決定手段６Ｖ、及び補間演算手段７Ｖは、それぞれ補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、判定手段４Ｈ、画像データ読み出し手段５Ｈ、補間係数決定手段６Ｈ、及び補間演算手段７Ｈと同様のものであるが、後述のように、拡大、縮小の方向が水平方向ではなく、垂直方向であることによって、処理の内容が異なる。
補間係数決定手段６Ｖは、補間係数演算手段６ＶＡ及び係数切り替え手段６ＶＢを含む。

実施の形態２による画像処理装置も、例えば図２に示すリアプロジェクションテレビ等の投射型表示装置に代表される画像表示装置の一部として用いることができる。

実施の形態１による画像処理装置では、水平方向に関して任意の歪みを与えるものであったが、実施の形態２による画像処理装置では垂直方向に関して任意の歪みを与えることができる。

したがって光学系Ｕ１Ｂが例えば図１２（Ａ）及び（Ｂ）に示すような垂直方向に関する歪みを持っていたとしても、投射面Ｕ２に歪みのない画像を表示することが可能になる。ここで図１２（Ａ）及び（Ｂ）は光学系Ｕ１Ｂの垂直方向に関する歪みの一例を模式的に表す図であり、図１２（Ａ）に示すような水平、垂直の直線からなる格子状の画像には、光学系Ｕ１Ｂによって垂直方向には図１２（Ｂ）に示すような台形状の歪みが生じる。なお、図１２（Ｂ）中に示される点線ＰＡは、台形状の画像の左辺が投射面の幅に一致するように調整した場合に、投射面Ｕ２に表示される画像の範囲を表すものである。

光学系Ｕ１Ｂが図１２（Ａ）及び（Ｂ）に示すような歪みを持っている場合、画像処理装置Ｕ０において入力画像ＤＩＮを、図１３に示すように垂直方向に関して光学系Ｕ１Ｂによる歪みと逆の特性で歪ませた画像ＤＵ０（図１３にはその範囲を符号ＰＢで示す）を生成し、画像投射手段Ｕ１に入力すれば、投射面Ｕ２には見かけ上歪みのない状態で入力画像ＤＩＮが映し出されることになる。

以下、図１１に示した実施の形態２による画像処理装置の動作について説明する。図１１に示した画像処理装置では入力画像Ｄ０（図２に示す入力画像ＤＩＮに相当）に対し、補間及び座標変換を行って、画像Ｄ７（図２に示す画像ＤＵ０に相当）が出力される。

画像処理装置Ｕ０ｖの動作について説明する。
画像データ記憶手段１には入力画像Ｄ０の各画素の画素値が保存される。

補正値記憶手段２Ｖには、光学系Ｕ１Ｂによって生じる歪みを補正するために参照するべき画素の位置（座標変換前の画素位置）を表すデータ(歪み補正値データ)が保持されている。図１４は参照するべき画素の位置について説明する図であり、最も左側に垂直座標が示され、その右に、入力画像Ｄ０のある列内の画素位置（座標変換前の画素位置）と、出力画像Ｄ７の同じ列内の画素位置（座標変換後の画素位置）が示されている。

図１２から、出力画像Ｄ７において垂直座標がＡｖより上側の画素は、入力画像Ｄ０中の自身より上側の画素を参照すればよく、水平座標がＢｖより下側の画素は、入力画像Ｄ０中で自身より下側の画素を参照すればよく、垂直座標がＡｖからＢｖの間の画素は、入力画像Ｄ０中で自身と同一の画素を参照すればよいことがわかる。

補正値記憶手段２Ｖには出力画像Ｄ７内の画素の一部について、画像Ｄ０内の参照画素の相対的位置を表すデータ（歪み補正値データ）、具体的には、各画素が、画像Ｄ０内において同一座標の画素より何画素下あるいは上の画素を参照するべきかが保持されている。例えば３画素下を参照するのが適当な場合は「プラス３」というデータが保持されており、４画素上を参照するのが適当な場合は「マイナス４」というデータが書き込まれており、同一座標の画素を参照するのが適当な場合は「ゼロ」というデータが書き込まれている。要するに、出力画像Ｄ７内の各画素の垂直座標の値と画像Ｄ０内において参照すべき画素の垂直座標の値との差分（正負の符号付きの値）が書き込まれている。

ここで出力画像Ｄ７内の全ての画素について歪み補正値を保持すると保持するデータの数（量）が膨大になるので、データの保持は水平方向、垂直方向ともに所定の画素間隔おきに行う。言い換えると、所定の画素間隔おきの画素を代表画素として、各代表画素についてのみ歪み補正値の保持を行うことで、保持するデータの数を削減することが可能である。なお、後述するように、代表画素以外の画素についての、参照するべき画素（座標変換前の位置の画素）の画素値は補間演算によって求められるので、代表画素についての、歪み補正値は整数（画素間隔の整数倍を表すもの）に限定されず、整数部と小数部を含む実数であってもよい。例えば３．５画素下を参照したいのであれば「プラス３．５」という値を設定すればよい。

以下、補正値記憶手段２Ｖにおいて、水平方向及び垂直方向ともに６４画素おきの画素が代表画素とされる場合を例に、各代表画素についての歪み補正値Ｐ２が保持されている場合を例に説明を行う。代表画素の位置は、Ｍ、Ｎを整数としたとき、水平座標が６４×Ｍ、垂直座標が６４×Ｎで表され、各代表画素についての歪み補正値Ｐ２は、図６に示されるように、Ｐ２（Ｍ，Ｎ）で表される。

参照画素位置算出手段３Ｖは出力画像Ｄ７内の各画素について、補正値記憶手段２Ｖに保持された、代表画素についての歪み補正値Ｐ２（Ｍ，Ｎ）をもとに直線補間を行なって、出力画像Ｄ７のすべての画素の各々について、入力画像Ｄ０内の参照するべき画素の位置（座標変換前の位置）の水平座標Ｕ、垂直座標Ｖを計算する。すなわち、出力画像Ｄ７内の、水平座標がＸ＝６４×Ｊ＋Ａ、垂直座標がＹ＝６４×Ｋ＋Ｂ（Ｊ、Ｋはゼロ以上の整数、Ａ、Ｂはゼロ以上６３以下の整数）で表される位置の画素について、入力画像Ｄ０内の参照画素位置（座標変換前の位置）の水平座標Ｕ及び垂直座標Ｖを下記の式による演算で求める。

式（１９）によって求められる座標Ｕ、Ｖは、入力画像Ｄ０内における絶対的位置を示すものであり、座標Ｕ、Ｖは、参照画素位置データＰ３として出力される。

式（１９）からＶは実数であるであるので整数部と小数部に分けられる。Ｖの整数部（以下、ＶＩＮＴとする）とＵとで表される座標（Ｕ，ＶＩＮＴ）がデータＰ３ＩＮＴとして画像読み出し手段５Ｖに、Ｖの小数部（以下、ＶＤＥＣとする）がデータＰ３ＤＥＣとして補間係数演算手段６ＶＡに入力される。なお、ＶＩＮＴはＶを超えない最大の整数、ＶＤＥＣはＶからＶＩＮＴを引いた値と定義することができる。

判定手段４Ｖの動作は実施の形態１における判定手段４Ｈと同様であるのでその詳細な説明は省略する。

画像データ読み出し手段５ＶはデータＰ３ＩＮＴに応じて、後述の補間演算に用いる画素の座標を４点分、データＰ５として出力する。データＰ３ＩＮＴとして（Ｕ，ＶＩＮＴ）という座標が入力された場合、データＰ５としては（Ｕ，ＶＩＮＴ−１）、（Ｕ，ＶＩＮＴ）、（Ｕ，ＶＩＮＴ＋１）、（Ｕ，ＶＩＮＴ＋２）という４点の座標（入力画像Ｄ０中の４つの画素の位置を示す座標）を示すデータが出力される。このようにして、画像データ読み出し手段５Ｖは、データＰ３ＩＮＴに応じて、データＰ３ＩＮＴで示される位置の画素、及びその近傍の画素、例えばその上下の画素から成る複数の画素を読み出す。

画像データ読出し手段５Ｖは、データＰ５で示される（Ｕ，ＶＩＮＴ−１）、（Ｕ，ＶＩＮＴ）、（Ｕ，ＶＩＮＴ＋１）、（Ｕ，ＶＩＮＴ＋２）という４点の座標に位置する、入力画像Ｄ０内の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ−１）、Ｄ０（Ｕ，ＶＩＮＴ）、Ｄ０（Ｕ，ＶＩＮＴ＋１）、Ｄ０（Ｕ，ＶＩＮＴ＋２）を、画像データ記憶手段１から画素値Ｄ１（−１）、Ｄ１（０）、Ｄ１（１）、Ｄ１（２）として読み出す。即ち、ｉ＝−１〜２としたとき、入力画像Ｄ０内の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ＋ｉ）が画素値Ｄ１（ｉ）として読み出される。入力画像Ｄ０内の画素値Ｄ０（Ｕ，ＶＩＮＴ＋ｉ）と読み出される画素値Ｄ１（ｉ）との間は以下の式で表される。

なお上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値（例えばゼロ）を出力するものとする。

補間係数演算手段６ＶＡの動作は実施の形態１における補間係数演算手段６ＨＡと同様である。すなわち、補間係数演算手段６ＶＡが出力する補間係数Ｃ６Ａは式（３）のＵＤＥＣをＶＤＥＣに置き換えた４つの値Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）、Ｃ６Ａ（２）で表される。

係数切り替え手段６ＶＢの動作は実施の形態１における係数切り替え手段６ＨＢと同様なのでその詳細な説明は省略する。

補間演算手段７Ｖは出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について補間係数Ｃ６で表されるフィルタおよび画像データＤ１を用いた以下の補間演算

を行う。

これにより、座標（Ｘ，Ｙ）で表される位置の画素の画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで出力画像Ｄ７が得られる。

実施の形態２による画像処理装置では垂直方向に関して実施の形態１による画像処理装置と同様の処理が行えるので、実施の形態１による画像処理装置が画像の水平方向に関して持っていた効果と同様の効果を画像の垂直方向に関して得られる。

なお、実施の形態２による画像処理装置においても、実施の形態１で説明した変更を加えることが出来るのは言うまでもない。

実施の形態３．
図１５は本発明の実施の形態３による画像処理方法のフローを示す。実施の形態３による画像処理方法は、投射型表示装置に代表される画像表示装置の一部として用いることができる。例えば図２に示すリアプロジェクションテレビの画像処理装置Ｕ０内で実施の形態３による画像処理方法による画像処理を実行すればよい。

図１８は図１５に示す画像処理方法を実行することが出来る画像処理装置の一例であり、画像処理装置Ｕ０として用いることができる。図１８に示した画像処理装置は入力インターフェース１０１、プログラム記憶メモリ１０２、ＣＰＵ１０３、データ記憶メモリ１０４、出力インターフェース１０５、画像データ記憶手段１、補正値記憶手段２Ｈおよびそれらを接続するバス１０６を有する。入力インターフェース１０１を介して、処理対象となる画像（入力画像Ｄ０）が入力される。画像データ記憶手段１、補正値記憶手段２Ｈの機能は図１に示したものと同等である。ＣＰＵ１０３は、プログラム記憶メモリ１０２に記憶されたプログラムに従って図１５に示された画像処理方法を実行する。動作の過程で種々のデータがデータ記憶メモリ１０４に記憶される。処理の結果生成された画像が出力画像Ｄ７として出力インターフェース１０５を介して出力される。また、動作の過程で必要なデータはバス１０６上で送受信される。以下、図１５に示された画像処理方法の詳細を説明する。

図１５に示される画像処理方法は、補正値読み出しステップＳＴ２Ｈ、参照画素位置算出ステップＳＴ３Ｈ、判定ステップＳＴ４Ｈ、画像データ読み出しステップＳＴ５Ｈ、補間係数決定ステップＳＴ６Ｈ、及び補間演算ステップＳＴ７Ｈを含む。
補間係数決定ステップＳＴ６Ｈは、補間係数演算ステップＳＴ６ＨＡ及び係数切り替えステップＳＴ６ＨＢを含む。

補正値読み出しステップＳＴ２Ｈは、出力画像Ｄ７内の代表画素について、補正値記憶手段２Ｈに保持された歪み補正値Ｐ２を読み出す。
参照画素位置算出ステップＳＴ３Ｈは出力画像Ｄ７内の各画素について、ステップＳＴ２Ｈで読み出された歪み補正値Ｐ２をもとに式（１）の計算を行いＵ、Ｖの値を求める。なお、Ｕは実数であるのでその整数部分をＵＩＮＴ、小数部分をＵＤＥＣと表す。

判定ステップＳＴ４Ｈは出力画像Ｄ７内の各画素について式（１）の計算に用いた歪み補正値Ｐ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）が全てゼロであったか否かを判断しその結果をフラグＦ４として出力する。フラグＦ４の値はＰ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の全てがゼロであった場合は第１の値、例えば「１」になり、その他の場合は第２の値、例えば「０」になる。

画像データ読み出しステップＳＴ５Ｈは式（１）で計算したＵ、Ｖの値を基に入力画像Ｄ０から、
座標（ＵＩＮＴ，Ｖ）で表される位置の画素の画素値Ｄ０（ＵＩＮＴ，Ｖ）、
座標（ＵＩＮＴ−１，Ｖ）で表される位置の画素の画素値Ｄ０（ＵＩＮＴ−１，Ｖ）、
座標（ＵＩＮＴ＋１，Ｖ）で表される位置の画素の画素値Ｄ０（ＵＩＮＴ＋１，Ｖ）、
座標（ＵＩＮＴ＋２，Ｖ）で表される位置の画素の画素値Ｄ０（ＵＩＮＴ＋２，Ｖ）
を画像データ記憶手段１から読み出して、出力する。このようにして、画像データ読み出しステップＳＴ５Ｈは、データＰ３ＩＮＴに応じて、データＰ３ＩＮＴで示される位置の画素、及びその近傍の画素、例えばその左右の画素から成る複数の画素を読み出す。なお上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値（例えばゼロ）を出力するものとする。

また補間係数演算ステップＳＴ６ＨＡからはデータＵＤＥＣをもとに式（３）によって求めた補間係数Ｃ６Ａが出力される。ここで補間係数Ｃ６Ａの求め方は実施の形態１における補間係数演算手段６ＨＡと同様であるので詳細な説明は省略する。

係数切り替え手段ステップＳＴ６ＨＢはデータＵＤＥＣおよびフラグＦ４の値に応じて変化する補間係数Ｃ６を出力する。補間係数Ｃ６は式（５）に従って求められる。補間係数Ｃ６の求め方は実施の形態１における係数切り替え手段６ＨＢと同様であるので詳細な説明は省略する。

補間演算ステップＳＴ７Ｈは出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について補間係数Ｃ６で表されるフィルタおよび入力画像Ｄ０の画素値を用いた以下の補間演算

を行う。

これにより、座標（Ｘ，Ｙ）で表される位置の画素に対する画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで出力画像Ｄ７が得られる。

実施の形態３による画像処理方法では、実施の形態１による画像処理装置と同様の処理が行えるので、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態１による画像処理装置と同様の変更を加えることも可能である。また、上記の処理で得られた出力画像Ｄ７を、図２に示した画像表示装置において画像ＤＵ０として用いることが可能である。

実施の形態４．
図１６は本発明の実施の形態３による画像処理方法のフローを示す。実施の形態４による画像処理方法も、投射型表示装置に代表される画像表示装置の一部として用いることができる。例えば図２に示すリアプロジェクションテレビの画像処理装置Ｕ０内で実施の形態４による画像処理方法による画像処理を実行すればよい。

図１６に示す画像処理方法を実行する画像処理装置は、図１８に示した画像処理装置において、補正値記憶手段２Ｈの代わりに補正値記憶手段２Ｖを備えることとすればよいので詳細な説明は省略する。なおこの際、補正値記憶手段２Ｖの機能は図１１に示したものと同等とする。以下、図１６に示された画像処理方法の詳細を説明する。

図１６に示される画像処理方法は、補正値読み出しステップＳＴ２Ｖ、参照画素位置算出ステップＳＴ３Ｖ、判定ステップＳＴ４Ｖ、画像データ読み出しステップＳＴ５Ｖ、補間係数決定ステップＳＴ６Ｖ、及び補間演算ステップＳＴ７Ｖを含む。
補間係数決定ステップＳＴ６Ｖは、補間係数演算ステップＳＴ６ＶＡ及び係数切り替えステップＳＴ６ＶＢを含む。

補正値読み出しステップＳＴ２Ｖ、参照画素位置算出ステップＳＴ３Ｖ、判定ステップＳＴ４Ｖ、画像データ読み出しステップＳＴ５Ｖ、補間係数決定ステップＳＴ６Ｖ、及び補間演算ステップＳＴ７Ｖは、それぞれ、実施の形態３における補正値読み出しステップＳＴ２Ｈ、参照画素位置算出ステップＳＴ３Ｈ、判定ステップＳＴ４Ｈ、画像データ読み出しステップＳＴ５Ｈ、補間係数決定ステップＳＴ６Ｈ、及び補間演算ステップＳＴ７Ｈと同様であるが、拡大、縮小を行う方向が水平方向ではなく垂直方向であることにより、以下のような違いがある。

補正値読み出しステップＳＴ２Ｖは、出力画像Ｄ７内の代表画素について、補正値記憶手段２Ｖに保持された歪み補正値Ｐ２を読み出す。
参照画素位置算出ステップＳＴ３Ｖは出力画像Ｄ７内の各画素について、ステップＳＴ２Ｖで読み出された歪み補正値Ｐ２をもとに式（１９）の計算を行いＵ、Ｖの値を求める。なお、Ｖは実数であるのでその整数部分をＶＩＮＴ、小数部分をＶＤＥＣと表す。

ゼロ判定ステップＳＴ４Ｖは出力画像Ｄ７内の各画素について式（１９）の計算に用いた歪み補正値Ｐ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）が全てゼロであったか否かを判断しその結果をフラグＦ４として出力する。フラグＦ４の値はＰ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の全てがゼロであった場合は第１の値、例えば「１」になり、その他の場合は第２の値、例えば「０」になる。

画像データ読み出しステップＳＴ５Ｖは式（１９）で計算したＵ、Ｖの値を基に入力画像Ｄ０から、
座標（Ｕ，ＶＩＮＴ）で表される位置の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ）、
座標（Ｕ，ＶＩＮＴ−１）で表される位置の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ−１）、
座標（Ｕ，ＶＩＮＴ＋１）で表される位置の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ＋１）、
座標（Ｕ，ＶＩＮＴ＋２）で表される位置の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ＋２）
を画像データ記憶手段１から読み出して、出力する。このようにして、画像データ読み出しステップＳＴ５Ｖは、データＰ３ＩＮＴに応じて、データＰ３ＩＮＴで示される位置の画素、及びその近傍の画素、例えばその上下の画素から成る複数の画素を読み出す。なお上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値（例えばゼロ）を出力するものとする。

補間係数演算ステップＳＴ６ＶＡからはデータＶＤＥＣをもとに補間係数Ｃ６Ａを求める。ここで補間係数Ｃ６Ａの求め方は実施の形態２における補間係数演算手段６ＶＡと同様であるので詳細な説明は省略する。

係数切り替えステップＳＴ６ＶＢはデータＶＤＥＣおよびフラグＦ４の値に応じて変化する補間係数Ｃ６を出力する。補間係数Ｃ６の求め方は実施の形態２における係数切り替え手段６ＶＢと同様であるので詳細な説明は省略する。

補間演算ステップＳＴ７Ｖは出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について補間係数Ｃ６で表されるフィルタおよび入力画像Ｄ０の画素値を用いた以下の補間演算

を行う。

これにより、座標（Ｘ，Ｙ）で表される位置の画素に対する画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで、出力画像Ｄ７が得られる。

実施の形態４による画像処理方法では、実施の形態２による画像処理装置と同様の処理が行えるので、実施の形態２による画像処理装置と同様の効果が得られる。また、実施の形態２による画像処理装置と同様の変更を加えることも可能である。また、上記の処理で得られた出力画像Ｄ７を、図２に示した画像表示装置において画像ＤＵ０として用いることが可能である。

実施の形態５．
図１７は本発明の実施の形態５による画像表示装置を表す図である。図１７に示す画像表示装置は、画像処理装置Ｕ０Ｈと、画像処理装置Ｕ０Ｖと、画像投射手段Ｕ１と、投射面Ｕ２とを備え、画像投射手段Ｕ１は光源Ｕ１Ａ、及び光学系Ｕ１Ｂを有する。なお、光学系Ｕ１ＢはミラーＵ１Ｂ１及びレンズＵ１Ｂ２を含む。

図１７に示すリアプロジェクションテレビでは、入力画像ＤＩＮに対応した映像が以下の手順により投射面Ｕ２に投射される。まず、画像処理装置Ｕ０Ｈから入力画像ＤＩＮに対して実施の形態１もしくは実施の形態３で説明した手順で生成された画像ＤＵ０Ｈが出力される。次に、画像処理装置Ｕ０Ｖから画像ＤＵ０Ｈに対して実施の形態２もしくは実施の形態４で説明した手順で生成された画像ＤＵ０Ｖが出力される。
そして、光源Ｕ１Ａから画像ＤＵ０Ｖに応じた光が出力され、光源Ｕ１Ａから出力された光がミラーＵ１Ｂ１及びレンズＵ１Ｂ２を含む光学系Ｕ１Ｂを介して投射面Ｕ２に映し出される。

実施の形態５による画像表示装置では、画像処理装置Ｕ０Ｈにおいて、光学系Ｕ１Ｂが水平方向に関して持つ歪みが補正され、画像処理装置Ｕ０Ｖにおいて、光学系Ｕ１Ｂが垂直方向に関して持つ歪みが補正されるので、光学系Ｕ１Ｂが水平方向及び垂直方向ともに光学的な歪みを持っていたとしても投射面Ｕ２に歪みのない画像を表示することができる。
画像処理装置Ｕ０Ｈと画像処理装置Ｕ０Ｖの配置の順序を変更しても良い。即ち、入力画像ＤＩＮに対して、実施の形態２で説明したのと同様の手順で、拡大または縮小を行うように画像処理装置Ｕ０Ｖを設け、画像処理装置Ｕ０Ｖから出力された画像に対し、実施の形態１で説明したのと同様の手順で、拡大または縮小を行うように画像処理装置Ｕ０Ｈを設けても良い。
また、実施の形態１で説明した画像処理装置と実施の形態２で説明した画像処理装置の組合せの代わりに、実施の形態３で説明した画像処理方法と実施の形態４で説明した画像処理方法の組合せを用いても良い。すなわち、入力画像に対して、実施の形態３で説明した画像処理方法での拡大又は縮小と、実施の形態４で説明した画像処理方法での拡大及び縮小とを相前後して行った後で、画像の表示を行うように画像表示装置を構成しても良い。

上記の実施の形態では、図９を参照して、第３の補間係数で表される線形フィルタの周波数応答ＲＥＳ２が、高周波数領域で１より小さい値となる場合について説明したが、本発明はこれに限定されず、第３の補間係数で表される線形フィルタの周波数応答ＲＥＳ２が、少なくとも一部の周波数領域において１未満となる場合に適用可能である。

以上、実施の形態１及び３では、画像を水平方向に拡大又は縮小する場合について説明し、実施の形態２及び４では、画像を垂直方向に拡大又は縮小する場合について説明したが、本発明は、拡大または縮小する方法が水平方向、垂直方向のいずれかに限定されるものではなく、互いに異なる第１及び第２の方向にマトリクス状に配列された画素を持つ入力画像Ｄ０から、入力画像の少なくとも一部を第１の方向に拡大又は縮小した出力画像Ｄ７を生成する場合に適用可能である。そのように一般化する場合には、符号の意味についての混同を避けるため、実施の形態１及び３における、水平方向の座標等の値を示す符号Ｕ、Ｘ、Ｔｘなど、及び実施の形態２及び４における、垂直方向の座標等の値を示す符号Ｖ、Ｙ、Ｔｙの代わりに、第１の方向の座標等の値を示す符号Ｑ、Ｓ、Ｔｓを用い、実施の形態１及び３における、垂直方向の座標等の値を示す符号Ｖ、Ｙ、Ｔｙなど、及び実施の形態２及び４における、水平方向の座標等の値を示す符号Ｕ、Ｘ、Ｔｘの代わりに、第２の方向の座標等の値を示す符号Ｒ、Ｔ、Ｔｔを用いることができる。この場合、各手段の機能、動作は以下のように表わされる。

補正値記憶手段(実施の形態１の補正値記憶手段２Ｈ又は実施の形態２の補正値記憶手段２Ｖに相当するもの）は、出力画像内の座標（Ｔｓ×Ｍ，Ｔｔ×Ｎ）で表される位置の画素について（Ｔｓ、Ｔｔは正の整数、Ｍ、Ｎはゼロ以上の整数）、補正値Ｐ２（Ｍ，Ｎ）を保持する。

参照画素位置計算手段(実施の形態１の参照画素位置計算手段３Ｈ又は実施の形態２の参照画素位置計算手段３Ｖに相当するもの）３は、出力画像Ｄ７の各画素について、その画素の画素値を求めるために、入力画像Ｄ０内の、座標変換前の位置（Ｑ，Ｒ）を、代表画素についての補正値Ｐ２（Ｓ，Ｔ）を用いた補間演算によって求め、その結果を参照画素位置（ＱＩＮＴ，Ｒ；ＱＤＥＣ）として出力する。なお、ＱＩＮＴはＱを超えない最大の整数、ＱＤＥＣはＱからＱＩＮＴを引いた値と定義することができる。

参照画素位置計算手段（３Ｈ，３Ｖ）は例えば、出力画像Ｄ７内の座標（Ｓ，Ｔ）で表される位置の画素について、座標変換前の位置をあらわす座標（Ｑ，Ｒ）を、以下の計算式

（但し、Ｓ，Ｔは、出力画像Ｄ７内の座標、
Ｊは、ＳをＴｓで割った商、
Ａは、ＳをＴｓで割った余り、
Ｋは、ＴをＴｔで割った商、
Ｂは、ＴをＴｔで割った余り）
で表される補間演算によって求める。
上記の式（２４）は、実施の形態１の説明中の式（１）、実施の形態２の説明中の式（１９）に対応するものである。

判定手段（実施の形態１の判定手段４Ｈ又は実施の形態２の判定手段４Ｖに相当するもの）は、出力画像Ｄ７内の座標（Ｓ，Ｔ）で表される位置の画素について、補正値Ｐ２（Ｊ，Ｋ）、Ｐ２（Ｊ＋１，Ｋ）、Ｐ２（Ｊ，Ｋ＋１）、Ｐ２（Ｊ＋１，Ｋ＋１）の値が全てゼロであった場合に上記条件が満たされたと判定し、そうでない場合に上記条件が満たされなかったと判定する。

画像データ読み出し手段（実施の形態１の画像データ読み出し手段５Ｈ又は実施の形態２の画像データ読み出し手段５Ｖに相当するもの）は、出力画像Ｄ７内の各画素について、参照画素位置の値（ＱＩＮＴ，Ｒ）に応じて、画像データ記憶手段１から、当該各画素及びその近傍に位置する画素から成る複数個の画素の画素値（Ｄ０（ＱＩＮＴ＋ｉ，Ｒ）（ｉは複数の整数値）を読み出す。

例えば、入力画像Ｄ０の座標（ｇ，ｈ）で表される位置の画素の画素値をＤ０（ｇ，ｈ）で、第１の方向の座標Ｑの整数部をＱＩＮＴで表し、ｎ、ｍはゼロ以上の整数としたとき、
画像データ読み出し手段（５Ｈ、５Ｖ）は、画像データ記憶手段１から以下の式

で表されるｎ＋ｍ＋１個の画素値Ｄ１（ｉ）を読み出す。
上記の式（２５）は、実施の形態１の説明中の式（２）、実施の形態２の説明中の式（２０）に対応するものである。

第１の方向の座標Ｑの小数部をＱＤＥＣとしたとき、補間係数決定手段（６Ｈ、６Ｖ）は、ＱＤＥＣの値と判定手段（４Ｈ、４Ｖ）の出力結果に応じてｎ＋ｍ＋１個の係数からなる第１の補間係数Ｃ６（ｉ）を求める。
なお、第１の補間係数Ｃ６（ｉ）の求め方は式（５）と同様である。

所定の関数をｆ（ｘ）で表したとき、補間係数決定手段（６Ｈ、６Ｖ）の補間係数演算手段（６ＨＡ、６ＶＡ）は、第１の方向の座標Ｑの小数部ＱＤＥＣの値と前記所定の関数ｆ（ｘ）を用いた以下の補間係数算出式

で表されるｎ＋ｍ＋１個の係数Ｃ６Ａ（ｉ）を第２の補間係数として求める。
上記の式（２６）は、実施の形態１の説明中の式（１３）に対応するものである。

この場合、第１の方向の座標Ｑの小数部ＱＤＥＣの値が「０」のときのみ、上記の補間係数算出式に従って求められる第２の補間係数によって表される線形フィルタの周波数応答が全ての周波数に対して「１」となるものを用いても良い。

また、Ｃ６Ｂ（ｉ）は、デルタ関数δ（ｘ）および整数ｉを用いた以下の式

で表されるｎ＋ｍ＋１個の係数として定義される。

補間演算手段（実施の形態１の補間演算手段７Ｈ又は実施の形態２の補間演算手段７Ｖに相当するもの）は、複数個の画素値Ｄ０（ＱＩＮＴ＋ｉ，Ｒ）と第１の補間係数Ｃ６から、出力画像Ｄ７の画素値Ｄ７（Ｓ，Ｔ）を求める。

例えば、補間演算手段（７Ｈ、７Ｖ）は、画素値Ｄ７（Ｓ，Ｔ）を以下の式

によって求める。
上記の式（２８）は、実施の形態１の説明中の式（７）、実施の形態２の説明中の式（２１）に対応するものである。

「第１の方向」及び「第２の方向」という用語を用いる場合、実施の形態５は以下のように一般化して説明することができる。すなわち、実施の形態１の画像表示装置及び実施の形態２の画像表示装置を用い、２つの画像処理装置のうちの第１のもの（第１の画像処理装置）が、入力画像に対し、第１の方向に拡大又は縮小を行い、２つの画像処理装置のうちの第２のもの（第２の画像処理装置）が、第１の画像処理装置の出力に対し、第２の方向に拡大又は縮小を行うように画像表示装置を構成しても良い。
同様に、実施の形態３の画像表示方法及び実施の形態４の画像表示方法を用い、２つの画像処理方法のうちの第１のもの（第１の画像処理方法）が、入力画像に対し、第１の方向に拡大又は縮小を行い、２つの画像処理方法のうちの第２のもの（第２の画像処理方法）が、第１の画像処理方法の出力に対し、第２の方向に拡大又は縮小を行うように画像表示装置を構成しても良い。
なお、本発明の実施の形態１から５で説明した画像処理装置及び方法の使用用途は、投射型表示装置の一部に限定されない。すなわち、入力画像の少なくとも一部を拡大或いは縮小する用途であれば良い。

１ 画像データ記憶手段、 ２Ｈ、２Ｖ 補正値記憶手段、 ３Ｈ、３Ｖ 参照画素位置算出手段、 ４Ｈ、４Ｖ 判定手段、 ５Ｈ、５Ｖ 画像データ読み出し手段、 ６Ｈ、６Ｖ 補間係数決定手段、 ６Ａ 補間係数演算手段、 ６Ｂ 係数切り替え手段、 ７Ｈ、７Ｖ 補間演算手段。

Claims (14)

1. 互いに異なる第１の方向及び第２の方向にマトリクス状に配列された画素を持つ入力画像から、前記入力画像の少なくとも一部を拡大又は縮小した出力画像を生成する画像処理装置であって、
   前記拡大又は縮小のために前記入力画像内で参照する位置に画素が存在すると仮定して求めた画素値を前記出力画像の画素値とすることで前記入力画像の少なくとも一部を拡大又は縮小するものであり、
   前記入力画像の各画素の画素値を保持する画像データ記憶手段と、
   前記入力画像を構成する画素及び前記出力画像を構成する画素の前記第１の方向の間隔を「１」とした単位系とし、前記出力画像の少なくとも一部の画素を代表画素とし、該代表画素の各々について、前記代表画素の前記第１の方向の座標値と前記代表画素に対応する前記入力画像の位置であって前記拡大又は縮小のために前記入力画像で参照する位置の前記第１の方向の座標値との差を補正値として保持する補正値記憶手段と、
   前記出力画像の各画素について、その画素の画素値を求めるために、前記出力画像の各画素に対応する前記入力画像で参照する位置を、前記補正値を用いた補間演算によって求め、参照画素位置として出力する参照画素位置計算手段と、
   前記出力画像の各画素について、前記補間演算に用いた前記補正値が全てゼロである場合、第１の値を出力し、それ以外の場合、第２の値を出力する判定手段と、
   前記出力画像の各画素について、前記参照画素位置の近傍に位置する複数の画素の画素値を、前記画像データ記憶手段から読み出す画像データ読み出し手段と、
   前記出力画像の各画素について、第１の補間係数を求める補間係数決定手段と、
   前記複数の画素の画素値と前記第１の補間係数とから、前記出力画像の画素値を求める補間演算手段とを備え、
   前記補間係数決定手段は、前記判定手段の出力が第１の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を全ての周波数に対して１とし、前記判定手段の出力が第２の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を少なくとも一部の周波数領域において１未満とする
   ことを特徴とする画像処理装置。
2. 前記補間係数決定手段は、
   前記参照画素位置の値と所定の関数から第２の補間係数を求める補間係数演算手段と、
   前記参照画素位置の値と前記判定手段における判定結果に応じて、前記第１の補間係数として前記第２の補間係数あるいは予め定められた第３の補間係数のいずれかを出力する補間係数切り替え手段とを備え、
   前記第２の補間係数は、前記参照画素位置の小数部をＱＤＥＣで、前記所定の関数をｆ（ｘ）とした場合、以下の式
   

   

   で表されるｎ＋ｍ＋１個の係数Ｃ６Ａ（ｉ）であり、
   前記所定の関数ｆ（ｘ）は、
   

   

   と定義されるデルタ関数δ（ｘ）と整数ｉを用いて表される以下の条件
   

   

   (但し、αは、０＜α＜１を満たす任意の値)
   を満たし、
   前記第３の補間係数によって表される線形フィルタの周波数応答は、少なくとも一部の周波数領域において１未満となり、
   前記補間係数切り替え手段は、
   前記判定手段の出力が第２の値であって、かつ、前記小数部ＱＤＥＣが０の場合、前記第３の補間係数を前記第１の補間係数として出力し、それ以外の場合、前記第２の補間係数を前記第１の補間係数として出力する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記補正値記憶手段は、前記出力画像内の座標（Ｔｓ×Ｍ，Ｔｔ×Ｎ）で表される位置の画素について（Ｔｓ、Ｔｔは正の整数、Ｍ、Ｎはゼロ以上の整数）、前記補正値を保持することを特徴とする請求項１に記載の画像処理装置。
4. 前記補正値記憶手段が、前記出力画像内の座標（Ｔｓ×Ｍ，Ｔｔ×Ｎ）で表される位置の画素について保持した前記補正値をＰ２（Ｍ，Ｎ）とした時、
   前記参照画素位置計算手段は、
   前記出力画像内の前記座標（Ｓ，Ｔ）で表される位置の画素について、前記座標変換前の位置をあらわす座標（Ｑ，Ｒ）を、
   以下の計算式
   

   

   （但し、Ｓ，Ｔは、前記出力画像内の座標、
   Ｊは、ＳをＴｓで割った商、
   Ａは、ＳをＴｓで割った余り、
   Ｋは、ＴをＴｔで割った商、
   Ｂは、ＴをＴｔで割った余り）
   で表される補間演算によって求める
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記Ｔｓ、Ｔｔの少なくとも一つは２のべき乗で表されることを特徴とする請求項４に記載の画像処理装置。
6. 前記第３の補間係数はｎ＋ｍ＋１個の係数からなり、前記第３の補間係数を、整数ｉ（ｉ＝−ｎ，−ｎ＋１，…ｍ）を用いて表したｎ＋ｍ＋１個の係数Ｃ６Ｂ（ｉ）で表すと、前記係数Ｃ６Ｂ（ｉ）は前記デルタ関数δ（ｘ）を用いて以下のように表される条件
   

   

   を満たすものであることを特徴とする請求項２に記載の画像処理装置。
7. 前記入力画像の座標（ｇ，ｈ）で表される位置の画素の画素値をＤ０（ｇ，ｈ）で、前記参照画素位置の整数部をＱＩＮＴで表し、ｎ、ｍはゼロ以上の整数としたとき、
   前記画像データ読み出し手段は、
   前記画像データ記憶手段から以下の式
   

   

   で表されるｎ＋ｍ＋１個の画素値Ｄ１（ｉ）を読み出す
   ことを特徴とする請求項２に記載の画像処理装置。
8. 出力画像内の座標（Ｓ，Ｔ）で表わされる位置に存在する画素の画素値をＤ７（Ｓ，Ｔ）で表わし、前記第１の補間係数を、整数ｉ（ｉ＝−ｎ，−ｎ＋１，…ｍ）を用いて表したｎ＋ｍ＋１個の係数Ｃ６（ｉ）で表すとき、
   前記補間演算手段は、前記画素値Ｄ７（Ｓ，Ｔ）を以下の式
   

   

   によって求めることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の方向が水平方向であり、前記第２の方向が垂直方向であることを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記第１の方向が垂直方向であり、前記第２の方向が水平方向であることを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
11. 互いに異なる第１の方向及び第２の方向にマトリクス状に配列された画素を持つ入力画像から、前記入力画像の少なくとも一部を拡大又は縮小した出力画像を生成する画像処理方法であって、
    前記拡大又は縮小のために前記入力画像内で参照する位置に画素が存在すると仮定して求めた画素値を前記出力画像の画素値とすることで前記入力画像の少なくとも一部を拡大又は縮小するものであり、
    前記出力画像の各画素について、その画素の画素値を求めるために、前記入力画像内で参照する位置を、前記出力画像の少なくとも一部の画素を代表画素として、該代表画素の各々について、その画素の前記第１の方向の座標値と、前記拡大又は縮小のために前記入力画像内で参照する位置の前記第１の方向の座標値との差を前記入力画像及び前記出力画像を構成する画素の前記第１の方向の間隔を「１」とした単位系で表した値を補正値として保持する補正値記憶手段に保持された前記補正値を用いた補間演算によって求め、参照画素位置として出力する参照画素位置計算ステップと、
    前記出力画像の各画素について、前記補間演算に用いた前記補正値が全てゼロである場合、第１の値を出力し、それ以外の場合、第２の値を出力する判定ステップと、
    前記出力画像の各画素について、前記参照画素位置の近傍に位置する複数の画素の画素値を、前記入力画像の各画素の画素値を保持する画像データ記憶手段から読み出す画像データ読み出しステップと、
    前記出力画像の各画素について、第１の補間係数を求める補間係数決定ステップと、
    前記複数の画素の画素値と前記第１の補間係数から、前記出力画像の画素値を求める補間演算ステップとを備え、
    前記補間係数決定ステップは、前記判定ステップの出力が第１の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を全ての周波数に対して１とし、前記判定ステップの出力が第２の値の場合、前記第１の補間係数によって表される線形フィルタの周波数応答を少なくとも一部の周波数領域において１未満とする
    ことを特徴とする画像処理方法。
12. 前記第１の方向が水平方向であり、前記第２の方向が垂直方向であることを特徴とする請求項１１記載の画像処理方法。
13. 前記第１の方向が垂直方向であり、前記第２の方向が水平方向であることを特徴とする請求項１１記載の画像処理方法。
14. 光学系を備えた画像投射手段によって投射面に画像を表示する画像表示装置であって、前記光学系による光学歪みと逆の特性で前記入力画像の少なくとも一部を、請求項１に記載の画像処理装置又は請求項１１に記載の画像処理方法によって、拡大又は縮小した出力画像を表示することを特徴とする画像表示装置。

Images