JP5787637B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像変形技術に関するものである。

従来の画像変形を行う画像処理装置では、まず入力画素を１画面分メモリに記憶する。次に、出力画素の走査順に、出力画素の座標値から入力画素の座標値を座標変換の逆変換によって算出する。さらに、逆変換で得られた入力画素の座標値の整数部を用いて入力画素の近傍の画素をメモリから読み出し、近傍の画素と入力画素の座標値の小数部とを用いて補間計算によって出力画素の値を決定する操作を繰り返す。これらの操作により画像変形を行う画像処理を実現していた。上記方法を以下では、「読み出し時座標変換」と呼ぶ。例えば、特許文献１では、出力画像をタイルに分割し、分割されたタイル毎に読み出し時座標変換を行う画像処理方法が示されている。

ところで、フロントプロジェクタの台形補正やカメラのレンズ補正を行う場合、入力画像から出力画像への拡大率は最小０．６倍〜最大１．２５倍程度になる。さらに、映像入出力をリアルタイムで実現しなくてはならないという制約がある。映像入出力を１［ｐｉｘｅｌ／ｃｙｃ］で行うという制約下で上記に示す画像処理方法を実装すると、必要なメモリ帯域のピーク値が書き込みと読み出しの合計で（１＋１／拡大率の最小値）［ｐｉｘｅｌ／ｃｙｃ］になってしまう。例えば拡大率の最小値が０．６倍であればピーク時に２．６７［ｐｉｘｅｌ／ｃｙｃ］のメモリ帯域が必要になってしまう。

これに対し、以下で「書き込み時座標変換」と呼ぶ方式がある。この方式は、まず、走査順に入力される入力画素に対して座標変換によって出力座標を算出する。次に、出力座標の整数部からメモリの格納先アドレスを算出する。さらに、出力座標の整数部から座標変換の逆変換により入力画像中の座標を求める。逆変換により求めた座標の整数部が元々の入力画素の座標に一致するときに、入力画素とその近傍の画素と、座標変換の逆変換によって求めた座標値の小数部とを用いて出力する画素値を補完計算によって求める。この画素値を先に求めた格納先アドレスに格納する。

書き込み時座標変換方式における必要なメモリ帯域のピーク値は、書き込みと読み出しの合計で（１＋拡大率の最大値）［ｐｉｘｅｌ／ｃｙｃ］になる。拡大率の最大値が１．２５倍の時、この値は２．２５［ｐｉｘｅｌ／ｃｙｃ］になり、想定する拡大率の範囲内では読み出し時座標変換よりメモリ帯域のピーク値を小さくすることができる。

しかしながら、上記のままの書き込み時座標変換では、出力されない画素が発生することがあるため、対策が必要である。例えば、書き込み時座標変換を行っている特許文献２では、入力画素の座標をサブピクセル単位で走査することで出力されない画素が発生することを防いでいる。

特開２００５−１３５０９６号公報 特開平６−１４９９９３号公報

特許文献１の方式では、必要なメモリ帯域のピーク値が、想定する拡大率の範囲内で大きくなってしまう。特許文献２の方式では、サブピクセルでの走査をＸ軸方向とＹ軸方向で共に１／２ピクセルとした場合でも座標変換で４点分、逆変換で４点分の演算が必要になる。射影変換は座標変換と逆変換の演算量が同じで、どちらの演算にも除算が含まれる。このため、特許文献２の方式では、ハードウェアで実装したときの回路量が大きくなり、ソフトウェア実装であれば処理性能が低下してしまう。

本発明はこのような問題に鑑みてなされたものであり、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像が変形処理された出力画像を生成する画像処理装置であって、
前記入力画像を取得する取得手段と、
前記入力画像上の第１座標に対応する前記出力画像上の第２座標の整数部と小数部を、前記変形処理で用いられるパラメータによって特定する特定手段と、
前記第２座標の整数部に対応する前記出力画像上の座標から規定範囲内に位置する前記出力画像上の第１複数座標から、該第１複数座標よりも数が少ない第２複数座標を、該第２座標の小数部に基づいて選択する選択手段と、
前記第２複数座標に対して、前記パラメータに基づく変換の逆変換を行うことで、前記出力画像上の前記第２座標の整数部に対応する前記出力画像の画素データを生成するために参照される前記入力画像の画素データに対応する第３複数座標を判定する判定手段と、
前記判定手段により判定された第３複数座標に対応する前記入力画像の画素データを読み出して、前記第２座標の整数部に対応する前記出力画像の画素データを生成する生成手段と、
前記生成手段により生成された画素データを前記出力画像の画素データとして出力する出力手段と
を有することを特徴とする。

本発明の構成によれば、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することができる。

画像処理装置の機能構成例を示すブロック図。 出力座標算出部１０６のより詳細な機能構成例を示すブロック図。 出力画素周辺座標生成部２０３のより詳細な機能構成例を示すブロック図。 サブ領域判定部２０７の動作を説明する為のグラフ。 サブ領域判定部２０７の動作の変形例を説明するためのグラフ。 画像処理装置の機能構成例を示すブロック図。 出力座標算出部６０６の機能構成例を示すブロック図。 領域を求める処理を説明するグラフ。 領域を求める処理を説明するグラフ。 領域を求める処理を説明するグラフ。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、座標変換後の出力座標の小数部によって２領域に分割することで座標変換（座標逆変換）が必要な周辺画素数を中心座標も含めて５点まで削減する例と、４領域に分割することで４点まで削減する例とを示す。どの様な領域に分割するかは任意であり、その結果、逆変換（逆写像）が必要な周辺画素数が何点まで削減されるかは領域分割方法によって変わってくる。しかし、どの様な領域に分割するかは容易に変更することができる。

また、本実施形態では、画像変形処理の一例として、射影変換を行う場合について説明するが、画素位置（座標）の座標変換とその逆変換が存在するのであれば、射影変換以外の幾何変換にも適用することができる。

先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。画像処理装置には、画像変形処理を行う対象となる画像（入力画像）が入力されるのであるが、本実施形態ではこの入力画像が画素単位で入力されるものとして説明する。しかし、入力画像をどのようにして画像処理装置に入力するのかについては特に限定するものではない。

画像処理装置に入力された入力画素の画素値（若しくは画像処理装置内のメモリから読み出された画素値）は、入力画素値１２１として入力画素記憶部１０１に格納されると共に、出力座標算出部１０６にも入力される。

画素補間処理部１０２は、入力画素に対応する出力画像上の画素の画素値を求める為に必要な画素（入力画素の周辺画素位置における画素）の画素値を入力周辺画素値１２２として入力画素記憶部１０１から読み出す。更に画素補間処理部１０２は、入力画素について出力座標算出部１０６が求めた各画素の画素位置（ｘ座標値とｙ座標値）の小数部１２７を、出力座標算出部１０６から取得する。そして画素補間処理部１０２は、読み出した入力周辺画素値１２２と、取得した各画素の画素位置の小数部１２７と、を用いて補間処理を行い、入力画素に対応する出力画像上の画素の画素値を求める。

補間処理には様々な補間技術を適用することができるが、例えば、バイリニア補間を行う場合、入力画素を含む２×２ピクセルからバイリニア補間を行い、補間された画素を出力する。また、バイキュービック補間を行う場合、入力画素を含む４×４ピクセルからバイキュービック補間を行い、補間された画素を出力する。

そして画素補間処理部１０２は、求めた画素値を入力補間画素値１２３としてメモリ書き込み部１０３に対して送出する。

メモリ書き込み部１０３は、出力座標算出部１０６から「入力画素に対応する出力画像上の画素の画素位置の整数部１２８」を受け取り、受け取った整数部１２８で表される画素位置に対応する記憶部１０４内のアドレスを特定する。そしてメモリ書き込み部１０３は、画素補間処理部１０２から受け取った入力補間画素値１２３を書き込み画素値１２４として、この特定したアドレスに格納する。

ランダムなアドレスに対する書き込みは低速である。しかし、連続するメモリアドレスへの書き込みが高速であるＤＲＡＭのようなメモリを記憶部１０４として用いる場合、メモリ書き込み部１０３内で入力補間画素値１２３のバッファリングを行う。そして、複数の入力補間画素値１２３をまとめて記憶部１０４に書き出すようにする。

メモリ読み出し部１０５は、記憶部１０４に格納されている射影変換済みの画像の各画素の画素値を順次読み出し、出力画素値１２６として出力する。出力する順序については特に限定するものではないが、ラスタ順や縦方向を主走査とする方式や、タイルに分割してタイル毎に読み出しを行う方法などが考えられる。

次に、出力座標算出部１０６のより詳細な機能構成例について、図２のブロック図を用いて説明する。入力画素座標生成部２０１は、入力画素値１２１を受け取ると、この入力画素の入力画像上（入力画像中）における画素位置を求める。例えば、入力画素値１２１の中にＶＳＹＮＣ、ＨＳＹＮＣ信号が含まれているとする。この場合、入力画素座標生成部２０１はＶＳＹＮＣを受けると、Ｙ座標を０にリセットする。また入力画素座標生成部２０１は、ＨＳＹＮＣを受けると、Ｘ座標を０にリセットすると共に、前回のＨＳＹＮＣ信号を受けたときから画素値が入力されるとＹ座標を＋１する。画素値が入力された時はＸ座標を＋１する。そして入力画素座標生成部２０１は、このようにしてカウントしたＸ座標、Ｙ座標をセットにして、入力画素座標値２２１として座標変換部２０２及び入力座標比較部２０５に対して送出する。なお、入力画素値１２１に入力画素の画素位置が含まれている場合には、この画素位置をそのまま入力画素座標値２２１として、座標変換部２０２及び入力座標比較部２０５に対して送出する。

座標変換部２０２は、射影変換用のマトリクスを用いて、入力画素座標値２２１に対する射影変換を行い、射影変換後の座標値を出力画素座標値２２２として求める。このマトリクスは、ｍ１１〜ｍ３３を成分とする３×３の行列で表される。この行列を用いて入力画素座標値２２１（ｘｉ，ｙｉ）に対する射影変換を行うことで、この入力画素座標値２２１（ｘｉ，ｙｉ）が写像される画素座標位置である出力画素座標値２２２（ｘｏ，ｙｏ）を求める。

この時、２×２ピクセルのバイリニア補間や４×４ピクセルのバイキュービックフィルタなどの偶数次のフィルタであればフィルタの中心座標が入力画素座標の中心から（＋０．５，＋０．５）ずれている。そのため、（ｘｉ＋０．５，ｙｉ＋０．５）に対する座標変換を行う。奇数次のフィルタであればフィルタの中心座標が（ｘｉ，ｙｉ）と同じであるため、（ｘｉ，ｙｉ）に対する座標変換を行う。以下に示す例は偶数次フィルタの時の出力画素座標値２２２（ｘｏ，ｙｏ）算出式である。

ｘｏ０＝ｍ１１・（ｘｉ＋０．５）＋ｍ１２・（ｙｉ＋０．５）＋ｍ１３
ｙｏ０＝ｍ２１・（ｘｉ＋０．５）＋ｍ２２・（ｙｉ＋０．５）＋ｍ２３
ｚｏ０＝ｍ３１・（ｘｉ＋０．５）＋ｍ３２・（ｙｉ＋０．５）＋ｍ３３
ｘｏ＝ｘｏ０／ｚｏ０
ｙｏ＝ｙｏ０／ｚｏ０
そして座標変換部２０２は、このようにして求めた出力画素座標値２２２（ｘｏ、ｙｏ）を、後段の出力画素周辺座標生成部２０３に対して送出する。

出力画素周辺座標生成部２０３は、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する。

出力画素周辺座標生成部２０３のより詳細な機能構成例について、図３のブロック図を用いて説明する。出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの整数部ｘｏｃ、ｙｏの整数部ｙｏｃを算出する。

ｘｏｃ＝ｆｌｏｏｒ（ｘｏ＋０．５）
ｙｏｃ＝ｆｌｏｏｒ（ｙｏ＋０．５）
なお、ｆｌｏｏｒ（ｘ）関数は、ｘ以下の最大の整数を返す関数である。そして出力座標量子化部２０６は、画素位置（ｘｏｃ、ｙｏｃ）を、出力画素座標整数部２３１として、後段のサブ領域判定部２０７に対して出力する。

一方、出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの小数部ｘｏｆ、ｙｏの小数部ｙｏｆを算出する。ここでは、後の判定を０≦ｘｏｆ＜１，０≦ｙｏｆ＜１で行うためにｘｏ，ｙｏからそれぞれの整数部を減じた後に０．５を加えているが、判定の都合によってｘｏｆ，ｙｏｆの算出式を変えることもできる。

ｘｏｆ＝ｘｏ−ｆｌｏｏｒ（ｘｏ＋０．５）＋０．５
ｙｏｆ＝ｙｏ−ｆｌｏｏｒ（ｙｏ＋０．５）＋０．５
そして出力座標量子化部２０６は、このようにして求めたｘｏｆ、ｙｏｆを、出力画素座標小数部２３３として、後段のサブ領域判定部２０７に対して出力する。

サブ領域判定部２０７は、ｘｏｆが既定値以上であるか否か及び／又はｙｏｆが既定値以上であるか否かの組み合わせを特定する。ここで、サブ領域判定部２０７の動作について、図４を用いて説明する。図４のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。

図４において領域３０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の右に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０１内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。

以下に上記の射影変換の逆変換を行い（ｐｏ，ｑｏ）から（ｐｉ，ｑｉ）を求める式と、偶数次フィルタで補間係数ｋを０≦ｋ＜１の範囲とする時の（ｐｉ，ｑｉ）から整数部（ｐｉｃ，ｑｉｃ）を算出する式を示す。なお、奇数次フィルタで補間係数ｋを−０．５≦ｋ＜０．５とするときはｐｉ，ｑｉに０．５を加えて整数部（ｐｉｃ，ｑｉｃ）を求める。

ｐｉ０＝ｒ１１・ｐｏ＋ｒ１２・ｑｏ＋ｒ１３
ｑｉ０＝ｒ２１・ｐｏ＋ｒ２２・ｑｏ＋ｒ２３
ｒｉ０＝ｒ３１・ｐｏ＋ｒ３２・ｑｏ＋ｒ３３
ｐｉ＝ｐｉ０／ｒｉ０
ｑｉ＝ｑｉ０／ｒｉ０
但し、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列である。射影変換に限定すれば、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列の定数倍であってもよい。

ｐｉｃ＝ｆｌｏｏｒ（ｐｉ）
ｑｉｃ＝ｆｌｏｏｒ（ｑｉ）
同様に、画素位置（ｘｏｃ、ｙｏｃ）の下に隣接する画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ２、ｑ２）であったとする。このとき、ｐ２の整数部がｘｉと一致し、且つｑ２の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０２内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られるｐ２、ｑ２のそれぞれの整数部はｘｉ、ｙｉと一致する。

同様に、画素位置（ｘｏｃ、ｙｏｃ）の左下に隣接する画素位置（ｘｏｃ−１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ３、ｑ３）であったとする。このとき、ｐ３の整数部がｘｉと一致し、且つｑ３の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１１内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ３、ｑ３のそれぞれの整数部はｘｉ、ｙｉと一致する。

同様に、画素位置（ｘｏｃ、ｙｏｃ）の左に隣接する画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ４、ｑ４）であったとする。このとき、ｐ４の整数部がｘｉと一致し、且つｑ４の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０３内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ４、ｑ４のそれぞれの整数部はｘｉ、ｙｉと一致する。

同様に、画素位置（ｘｏｃ、ｙｏｃ）の上に隣接する画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ５、ｑ５）であったとする。このとき、ｐ５の整数部がｘｉと一致し、且つｑ５の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０４である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０４内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られるｐ５、ｑ５のそれぞれの整数部はｘｉ、ｙｉと一致する。

同様に、画素位置（ｘｏｃ、ｙｏｃ）の右上に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ６、ｑ６）であったとする。このとき、ｐ６の整数部がｘｉと一致し、且つｑ６の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１３内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ６、ｑ６のそれぞれの整数部はｘｉ、ｙｉと一致する。

なお、図４では、画素位置（ｘｏｃ−１、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置は、ｘ座標値の整数部＝ｘｉ且つｙ座標値の整数部＝ｙｉという条件は満たしていないことになっている。

然るに、図４を例に取り説明すると、サブ領域判定部２０７は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属しているのかそれとも０．５≦ｘｏｆ＜１の範囲（サブ領域）に属しているのかを判定する。そしてサブ領域判定部２０７は、この判定の結果を、後段のサブ領域周辺座標出力部２０８に対して通知する。

サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ＋１）
一方、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０．５≦ｘｏｆ＜１．０の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
そしてサブ領域周辺座標出力部２０８は、上記のように、ｘｏｆの属する範囲に応じて決まる参照画素位置と、画素位置（ｘｏｃ、ｙｏｃ）と、を出力画素周辺座標値２２３として出力する。

なお、ｘｏｆの属する範囲に応じて参照画素位置を決定する方法は特に限定するものではなく、様々な方法が考え得る。例えば、ｘｏｆの属する範囲毎に、対応する参照画素位置を登録したテーブルを用いて、上記の求めたｘｏｃに対応する参照画素位置をこのテーブルから取得しても良い。

座標逆変換部２０４は、出力画素周辺座標値２２３としてのそれぞれの画素位置に対して、上記の射影変換の逆変換を施すことで、出力画素周辺座標値２２３としてのそれぞれの画素位置に対応する逆変換座標値を求める。ここで、ｘｏｆの属する範囲に応じて決まる参照画素位置に対して、上記の射影変換の逆変換を施すことで得られる画素位置を（ｘｉ’、ｙｉ’）と表記する。また、画素位置（ｘｏｃ、ｙｏｃ）に対して上記の射影変換の逆変換を施す（計算する）ことで得られる画素位置を（ｘｉ”、ｙｉ”）と表記する。

そして座標逆変換部２０４は、この求めたそれぞれの逆変換座標値（ｘｉ’、ｙｉ’）、（ｘｉ”、ｙｉ”）を入力比較座標値２２４として、後段の入力座標比較部２０５に対して送出する。

入力座標比較部２０５は、画素位置（ｘｉ”、ｙｉ”）、それぞれの（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する。そして入力座標比較部２０５は、特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出し、画素位置（ｘｏｃ、ｙｏｃ）１２８はメモリ書き込み部１０３に対して送出する。これにより画素補間処理部１０２は、上記の補間処理を行うことで、出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求めることができる。また、メモリ書き込み部１０３は、画素位置（ｘｏｃ、ｙｏｃ）に対応する記憶部１０４上のアドレスに、画素位置（ｘｏｃ、ｙｏｃ）における画素値を格納することができる。

＜変形例＞
サブ領域判定部２０７の動作の変形例について、図５を用いて説明する。図５のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。図５に示した参照番号が指し示す対象は、形状こそ違うものの、基本的な事項については図４と同じである。

図５において領域３１２は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の左上に隣接する画素位置（ｘｏｃ−１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ７、ｑ７）であったとする。このとき、ｐ７の整数部がｘｉと一致し、且つｑ７の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１２内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ７、ｑ７のそれぞれの整数部はｘｉ、ｙｉと一致する。

同様に、画素位置（ｘｏｃ、ｙｏｃ）の右下に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ８、ｑ８）であったとする。このとき、ｐ８の整数部がｘｉと一致し、且つｑ８の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１０である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１０内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ８、ｑ８のそれぞれの整数部はｘｉ、ｙｉと一致する。

本変形例の場合、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ＋１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。

（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ＋１、ｙｏｃ＋１）
このように、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせについては様々なものがあり、第１の実施形態や本変形例に限定するものではない。そして何れにせよ、それぞれの組み合わせには、予め設定された複数の参照画素位置が対応付けられているので、どのような組み合わせを想定しても、対応する参照画素位置群は一意に特定することができる。

以上の説明により、本変形例を含めた本実施形態によれば、座標変換（座標逆変換）が必要な周辺画素の数を削減することができる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。

また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量を小さくすることができる、あるいはソフトウェア実装した時に処理性能が高い射影変換を行うことができる。

［第２の実施形態］
本実施形態に係る画像処理装置の機能構成例について、図６のブロック図を用いて説明する。図６において図１と同じ構成用件については同じ参照番号を付けており、その説明は省略する。本実施形態に係る画像処理装置は、図１に示した構成において、出力座標算出部１０６を出力座標算出部６０６に置き換えたものであり、この出力座標算出部６０６には、上記のマトリクスのデータである変形パラメータ１２９が入力される。然るに、出力座標算出部６０６以外の構成用件については第１の実施形態で説明したとおりであるため、以下ではこの出力座標算出部６０６について説明する。

尚、以下の説明では、第１の実施形態でｘｏ、ｙｏ、ｘｏｃ、ｙｏｃと表したものをそれぞれｘｏｔ、ｙｏｔ、ｘｏｔＣ、ｙｏｔＣと表記する。即ち、変数名が異なるだけで、指し示すものは同じであり、例えば、ｘｏとｘｏｔとは指し示すものは同じである。

出力座標算出部６０６の機能構成例について、図７のブロック図を用いて説明する。図７において図２と同じ構成用件については同じ参照番号を付けており、その説明は省略する。

座標変換部２０２は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、入力画素座標値２２１に対する射影変換を行う。そして座標変換部２０２は、この射影変換により得られた座標値を出力画素座標値２２２として、後段の出力画素周辺座標生成部２０３に対して送出する。

判定条件生成部７０３は、変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて、参照画素位置を決定するための条件を生成する。そして判定条件生成部７０３は、この生成した条件を、判定条件７０４として出力画素周辺座標生成部２０３に対して供給する。判定条件生成部７０３の動作について、詳しくは後述する。

座標逆変換部２０４は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、出力画素周辺座標値２２３に対して射影変換の逆変換を行う。そして座標逆変換部２０４は、この逆変換により得られた逆変換座標値を入力画素周辺座標値７０１として、後段の座標出力部７０２に対して送出する。

座標出力部７０２は、入力画素周辺座標値７０１のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出する。更に座標出力部７０２は、画素位置（ｘｏｔＣ、ｙｏｔＣ）を整数部１２８としてメモリ書き込み部１０３に送出する。

出力座標算出部６０６は、一例として画像変形を行わない場合は、１つの入力画素値１２１に対して、１つの整数部１２８及び１つの小数部１２７を出力する。具体的には、変形パラメータ１２９がｍ１１〜ｍ３３からなる３ｘ３の単位行列のときがこのような場合に当たる。また、その他の例として、画像変形が拡大部分を含むときは、１つの入力画素値１２１に対して、複数の整数部１２８及び小数部１２７が出力される場合がある。

出力画素周辺座標生成部２０３は先ず、ｘｏの小数部ｘｏｔｆ、ｙｏの小数部ｙｏｔｆを以下の式により求める。

ｘｏｔｆ＝ｘｏｔ−ｆｌｏｏｒ（ｘｏｔ＋０．５）＋０．５
ｙｏｔｆ＝ｙｏｔ−ｆｌｏｏｒ（ｙｏｔ＋０．５）＋０．５
そして出力画素周辺座標生成部２０３は、ｘｏｔｆ及びｙｏｔｆが、判定条件７０４を満たす場合には、この判定条件７０４に対応する複数の参照画素位置を取得する。そして出力画素周辺座標生成部２０３は、この取得した複数の参照画素位置と、画素位置（ｘｏｔＣ、ｙｏｔＣ）と、を出力画素周辺座標値２２３として出力する。ここで、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の９個の座標値である。

（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ＋１，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ−１，ｙｏｔＣ＋１）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
図８のグラフにおいて横軸はｘｏｔｆ、縦軸はｙｏｔｆを示す。図８において領域８０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｔＣ、ｙｏｔＣ）の左上に隣接する画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｔｆ、ｙｏｔｆの範囲が領域８０１である。然るに、求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８０１内に位置する場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に上記の射影変換の逆変換を施して得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。これは、他の領域８００，８０２〜８０５，８０８についても同様である。なお、それぞれの領域は重なる場合があり、図８では見易さの都合上、４つに分けて図示している。また、図８では、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の７個の座標値としている。

（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８を規定するパラメータを判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。例えば、図８に示す如く、領域８０１は、直線Ａ８０６と直線Ｂ８０７とｘｏｔｆ軸とｙｏｔｆ軸とによって囲まれている。直線Ａ８０６と直線Ｂ８０７は以下のとおり表わすことができる。

ｙ＝Ａ１・ｘ＋Ａ２ （直線Ａ）
ｙ＝Ｂ１・ｘ＋Ｂ２ （直線Ｂ）
然るに、判定条件生成部７０３は、領域８０１を規定するパラメータとして、以下の条件を示すパラメータを生成する。

０．０ ≦ ｘｏｔｆ ≦ １．０
０．０ ≦ ｙｏｔｆ ≦ １．０
ｙｏｔｆ ≧ Ａ１・ｘｏｔｆ＋Ａ２ （直線Ａ）
ｙｏｔｆ ≧ Ｂ１・ｘｏｔｆ＋Ｂ２ （直線Ｂ）
また判定条件生成部７０３は、他の領域８００，８０２〜８０５，８０８についてもこのような、それぞれの領域を規定するパラメータを生成する。そして判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８について生成したパラメータをまとめて判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。

ここで、各領域を規定するためのパラメータを求めるための方法について説明する。各領域は、変形パラメータ１２９に依存しているため、各領域を規定するためのパラメータは、この変形パラメータ１２９を用いて生成されることになる。具体的には、各隣接画素座標値に対応する領域を囲む直線式の傾き係数と切片係数を求める。

四角形が記されている図９（ａ）の入力画像（ｘｉ−ｙｉ平面）に対して変形パラメータ１２９を用いた画像変形処理を行うことで、変形した四角形が記されている図９（ｂ）の出力画像（ｘｏｔ−ｙｏｔ平面）が得られたとする。図９（ａ）の四角形は頂点（入力端点）９０２〜９０５で構成されており、図９（ｂ）の四角形は頂点（出力端点）９０６〜９０９で構成されている。

各領域の求め方について、図１０を用いて説明する。図９（ａ）に示した入力端点９０２〜９０５のうち１つを入力端点５０５として選び、画像変形処理による入力端点５０５の変換後の端点を出力端点５０７として求める。出力端点５０７の画素位置を（Ａｘｏ，Ａｙｏ）とすると、画素位置（ｆｌｏｏｒ（Ａｘｏ）＋０．５、ｆｌｏｏｒ（Ａｙｏ）＋０．５）に出力中心点５０６を設定する。

次に、画像変形処理の逆変換処理による出力中心点５０６の変換後の点を入力中心点５０８として求める。入力中心点５０８の画素位置を（Ａｃｘｉ，Ａｃｙｉ）とすると、以下の４つの画素位置にそれぞれ入力近傍点５０９〜５１２を設定する。

（Ａｃｘｉ−０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ−０．５，Ａｃｙｉ−０．５）
次に、画像変形処理による入力近傍点５０９〜５１２の変換後の点をそれぞれ出力近傍点５１４〜５１７として求める。そして出力近傍点５１４〜５１７で囲まれている領域のうち、０．０≦ｘｏｔ＜１．０且つ０．０≦ｙｏｔ＜１．０を満たす領域内を、判定領域５１８として求める。

以上の判定領域５１８を求めるための処理を、入力端点９０２〜９０５のそれぞれについて行い、それぞれの領域について求めた判定領域５１８の和集合としての領域を、画素位置（ｘｏｔＣ，ｙｏｔＣ）に対する領域として出力する。同様の処理を、出力座標系５０１において出力中心点５０６を選択するとき、±１．０の８つの隣接画素座標に対して実行し、全ての領域を求めることができる。

出力画素周辺座標生成部２０３はこの判定条件７０４を受けると、判定条件７０４に含まれているそれぞれのパラメータを参照する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８００〜８０５，８０８の何れに属しているのかを判定する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。

例えば、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が、領域８０１内に位置している場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）を参照画素位置として出力する。このようにして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。

このように、本実施形態では、変形パラメータ１２９をもとに判定条件７０４を生成し、判定条件７０４にもとづき入力画素値１２１に対応する出力画素周辺座標値２２３を選択する。拡大率が２倍未満のとき、出力画素周辺座標値２２３の候補は９点だが、ここまでの説明のとおり、判定条件７０４を用いることで、出力画素周辺座標値２２３を４点以下に削減できる。この結果、座標逆変換部２０４による逆変換回数を削減できる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量が小さい、あるいはソフトウェア実装した時に処理性能が高い射影変形を行う画像処理技術を実現することができる。なお、本実施形態は、拡大率が任意の倍率の場合にも近傍点数を増やすことで同様に拡張可能である。

また、図１〜３，６，７に示した各部のうち、メモリとして機能するもの以外については、ソフトウェア（コンピュータプログラム）で実現させても良い。この場合、このメモリを有し、且つこのソフトウェアをインストールしたコンピュータは、このコンピュータが有するＣＰＵがこのソフトウェアを実行することで、上記の画像処理装置として機能することになる。もちろん、図１〜３，６，７に示した全ての構成用件をハードウェアで実現させても良いし、一部をソフトウェアとして実現させても良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 入力画像が変形処理された出力画像を生成する画像処理装置であって、
   前記入力画像を取得する取得手段と、
   前記入力画像上の第１座標に対応する前記出力画像上の第２座標の整数部と小数部を、前記変形処理で用いられるパラメータによって特定する特定手段と、
   前記第２座標の整数部に対応する前記出力画像上の座標から規定範囲内に位置する前記出力画像上の第１複数座標から、該第１複数座標よりも数が少ない第２複数座標を、該第２座標の小数部に基づいて選択する選択手段と、
   前記第２複数座標に対して、前記パラメータに基づく変換の逆変換を行うことで、前記出力画像上の前記第２座標の整数部に対応する前記出力画像の画素データを生成するために参照される前記入力画像の画素データに対応する第３複数座標を判定する判定手段と、
   前記判定手段により判定された第３複数座標に対応する前記入力画像の画素データを読み出して、前記第２座標の整数部に対応する前記出力画像の画素データを生成する生成手段と、
   前記生成手段により生成された画素データを前記出力画像の画素データとして出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記入力画像の前記第３複数座標に対応する画素データを用いた補間処理を実行することで、前記第２座標の整数部に対応する前記出力画像の画素データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記出力画像上の前記第２座標の小数部が第１閾値よりも大きい場合は、前記第２座標より座標値が高い座標を前記第２複数座標の１つとして選択し且つ前記第２座標より座標値が低い座標を前記第２複数座標として選択せず、前記出力画像上の前記第２座標の小数部が前記第１閾値よりも小さい第２閾値よりも小さい場合、前記第２座標より座標値が低い座標を前記第２複数座標の１つとして選択し且つ前記第２座標より座標値が高い座標を前記第２複数座標として選択しないことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記第２座標を表す第１座標成分値と第２座標成分値のそれぞれについて整数部及び小数部を特定し、
   前記選択手段は、前記第１座標成分値及び前記第２座標成分値のそれぞれの小数部に基づいて、前記第２複数座標を選択することを特徴とする請求項３に記載の画像処理装置。
5. 入力画像が変形処理された出力画像を生成する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、前記入力画像を取得する取得工程と、
   前記画像処理装置の特定手段が、前記入力画像上の第１座標に対応する前記出力画像上の第２座標の整数部と小数部を、前記変形処理で用いられるパラメータによって特定する特定工程と、
   前記画像処理装置の選択手段が、前記第２座標の整数部に対応する前記出力画像上の座標から規定範囲内に位置する前記出力画像上の第１複数座標から、該第１複数座標よりも数が少ない第２複数座標を、該第２座標の小数部に基づいて選択する選択工程と、
   前記画像処理装置の判定手段が、前記第２複数座標に対して、前記パラメータに基づく変換の逆変換を行うことで、前記出力画像上の前記第２座標の整数部に対応する前記出力画像の画素データを生成するために参照される前記入力画像の画素データに対応する第３複数座標を判定する判定工程と、
   前記画像処理装置の生成手段が、前記判定工程で判定された第３複数座標に対応する前記入力画像の画素データを読み出して、前記第２座標の整数部に対応する前記出力画像の画素データを生成する生成工程と、
   前記画像処理装置の出力手段が、前記生成工程で生成された画素データを前記出力画像の画素データとして出力する出力工程と
   を有することを特徴とする画像処理方法。
6. 前記生成工程では、前記入力画像の前記第３複数座標に対応する画素データを用いた補間処理を実行することで、前記第２座標の整数部に対応する前記出力画像の画素データを生成することを特徴とする請求項５に記載の画像処理方法。
7. 前記選択工程では、前記出力画像上の前記第２座標の小数部が第１閾値よりも大きい場合は、前記第２座標より座標値が高い座標を前記第２複数座標の１つとして選択し且つ前記第２座標より座標値が低い座標を前記第２複数座標として選択せず、前記出力画像上の前記第２座標の小数部が前記第１閾値よりも小さい第２閾値よりも小さい場合、前記第２座標より座標値が低い座標を前記第２複数座標の１つとして選択し且つ前記第２座標より座標値が高い座標を前記第２複数座標として選択しないことを特徴とする請求項５又は６に記載の画像処理方法。
8. コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images