JPH0628465A

JPH0628465A - 画像変換装置

Info

Publication number: JPH0628465A
Application number: JP4179986A
Authority: JP
Inventors: Kazuya Horii; 和哉堀井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1992-07-07
Filing date: 1992-07-07
Publication date: 1994-02-04

Abstract

(57)【要約】【目的】本発明は、変換式で定義される変形、あるい
は、変換式では定義できない局部的変形を、容易な処理
で実現する画像変換装置を得ることを目的とする。【構成】仮想平面座標計算器１０２は入力画像上の４
個の代表点座標１０１に外接する仮想平面座標を算出す
る。入力画素位置計算器１０３では、仮想平面座標から
代表点座標１０１への変位量を基に、入力画像上の画素
位置を所定の演算式で求め、入力画像メモリ１０５から
画像データ１１１を読み出す。一方、出力領域計算器１
０７では、仮想平面座標から代表点変位座標１０６への
変位量を基に、出力画像上の画素領域を所定の演算式で
求め、前記読み出された画像データ１１１を該領域すべ
てに書き込む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像メモリを用い
た、画像の回転、平行移動、拡大、縮小等を実現する画
像変換装置に関するもので、画像処理装置、テクスチャ
・マッピングを行うコンピュータ・グラフィックス装
置、あるいは、画像の分析合成符号化における画像合成
装置等に利用される。

【０００２】

【従来の技術】従来、この種の装置としては、画像メモ
リを用いて行うのが一般的であり、画像メモリの読み出
しアドレスを制御して実現するものと、書き込みアドレ
スを制御して実現するものがある。しかしながら、例え
ば、画像の拡大を例にとると、通常書き込み制御による
方法では出力画像に抜けを生じるため使えない。読み出
しアドレス制御による方法ではこのような抜けは生じな
いが、通常、変換関数の逆関数を計算する必要があり、
演算量が多く高速処理のためには装置が大がかりになっ
てしまっていた。

【０００３】そこで、比較的小規模で、上記のように、
拡大時にも抜けの生じない書き込みアドレス制御方法と
して、例えば、特開昭５８−１９９７５「画像変換装
置」に示されたものが考えられている。図８は、前記引
用例における図を、本発明との比較を容易にするために
修正して示したものである。図において、画素座標８０
１は入力画像の画素位置を示す座標、入力画像メモリ１
０５は変形の対象となる画像データを蓄積しておくため
のメモリ、アドレス発生器１０４は画素座標８０１をも
とに入力画像メモリ１０５に対するアドレスを発生させ
る。平行４辺形頂点計算器８０２は、入力画像上の位置
を示す画素座標８０１から、所定の変換式を用いて出力
画像上の対応する平行４辺形の３頂点の座標を演算す
る。この３頂点の座標は内外判定器１０８に入力され、
３頂点で張られる平行４辺形の内部の点の座標を出力す
る。この座標は、さらに、アドレス発生器１０９で出力
画像メモリ１１０に対するアドレスに変換される。ここ
で、前記アドレス発生器１０４で指定された位置の入力
画像メモリ上の画素値が画像データ１１１として読み出
されているので、この画像データ１１１がアドレス発生
器１０９で指定された出力画像メモリ１１０上の位置に
書き込まれる。

【０００４】次に、動作について説明する。

【０００５】画素座標８０１は、通常、画面全体に渡り
ラスタスキャン順に入力される。アドレス発生器１０４
では、入力された画素座標８０１に従って入力画像メモ
リ１０５に対するアドレスを発生させる。一方、画素座
標８０１は、平行４辺形頂点計算器８０２にも入力され
る。平行４辺形頂点計算器８０２には、所定の変換式に
基づく演算回路が内蔵されており、入力画像上の１画素
に対応する出力画像上の領域が決定される。具体例を以
下に示す。

【０００６】Ｘ１，Ｘ２直交座標で定義される入力画像
から、Ｙ１，Ｙ２直交座標で定義される出力画像への変
換式が、

【０００７】

【数１】

【０００８】

【数２】

【０００９】と与えられ、入力画像上の点（ｘ１，ｘ
２）が、出力画像上の点（ｙ１，ｙ２）に変換されたと
する。この様子を示したものが図９である。図中、入力
画像上の点を○で、また、出力画像上の点を□で示して
いる。ここで、入力画像上の変換点（ｘ１，ｘ２）にお
ける偏微分値ａ１１，ａ１２，ａ２１，ａ２２を（３）
〜（６）に従って計算し、点（ａ１１，ａ２１）、点
（ａ１２，ａ２２）、および、点（ｙ１，ｙ２）によっ
て張られる平行４辺形領域を求める。

【００１０】

【数３】

【００１１】

【数４】

【００１２】

【数５】

【００１３】

【数６】

【００１４】この平行４辺形領域に含まれるすべての画
素を、点（ｘ１，ｘ２）に対応するものと考える。即
ち、図９では、Ｔで示された入力画像中の１画素は、点
（ｙ１，ｙ２）を中心とした平行４辺形領域Ｓに対応す
る。次に内外判定器１０８では、この平行４辺形の内部
に位置する画素を判別し、その位置を出力する。また、
その位置はアドレス発生器１０９によって順次出力画像
メモリ１１０のアドレスとして出力される。この時、入
力画像メモリ１０５からは、点（ｘ１，ｘ２）の位置の
画素値が画像データ１１１として読み出されているの
で、この画像データ１１１が、アドレス発生器１０９の
出力した出力画像メモリ１１０上のアドレス位置すべて
に書き込まれる。すなわち、平行４辺形の内部が点（ｘ
１，ｘ２）の画素値で塗りつぶされることになる。以上
の操作を、入力画像のすべての画素に対して行うことに
よって、画像の変換が可能となる。なお、（３）〜
（６）式中αはα＞１となる領域補正係数であり、互い
に隣接する平行４辺形間に抜けが生じた場合には、この
値を大きく設定して抜けを防止する。

【００１５】

【発明が解決しようとする課題】従来の画像変換装置は
以上のように構成されているため、入力画像上の１画素
に対応する、出力画像メモリ上の所定領域を求める演算
に時間を要するとともに、通常、変換式が予め設定され
ていなければならない。従って、例えば、画像全体をア
フィン変換で回転させたりする場合にはよいが、画像に
様々な局部的変形を与えたいような場合に対応がむづか
しい。変換式を設定できない場合、即ち、格子状に並ん
だ代表点に対して、ランダムに変位を与えて画像を変形
させたい場合等に無理に対応させるためには、最悪の場
合、入力画像のすべて画素ごとに異なった変換式を設定
することになり現実的ではない。以上の点を考慮し、本
発明では、演算の負荷が比較的小さく、かつ、画像の局
部的なランダムな変形にも対応可能な画像変換装置を得
ることを目的としている。

【００１６】

【課題を解決するための手段】本発明は、入力画像上に
格子状に代表点を設定し、代表点の変位量を入力情報と
して与える。代表点は、入力された変位量に従って変位
させるとともに、代表点以外の点の変位は、近傍の代表
点の変位から所定の演算式を用いて算出する。また、代
表点が格子状に並んでいない場合には、仮想的な直交平
面を設定し、この仮想的な直交平面を基準として、入力
画像上の画素位置とそれに対応する出力画像上の領域の
算出を行う。

【００１７】

【作用】代表点以外の点に対する変位の計算は単純な計
算式で実現できるので、処理負荷を大幅に軽減できる。
また、仮想的な直交平面を基準にして、入力画像、出力
画像双方の対応位置を求めることによって、入力画像上
の代表点が格子状に並んでいない場合でも、格子状に並
んでいる場合と同様の処理を用いて対応が可能となる。

【００１８】

【実施例】以下、この発明の実施例について図面を参照
しながら説明する。

【００１９】図１は本発明の第１の実施例における画像
変換装置のブロック図である。図において、代表点座標
１０１は入力画像上に指定された、格子状に並んだ代表
点の座標、入力画素位置計算器１０３は代表点座標１０
１から、代表点以外の点の位置を算出する。この画素位
置はアドレス発生器１０４に入力され、入力画像メモリ
１０５に対して、読み出しアドレスが入力される。一
方、代表点変位座標１０６は各代表点の変位後の座標で
あり、出力領域計算器１０７に入力される。出力領域計
算器１０７では、代表点変位座標をもとに、代表点以外
の点の変位後の座標を計算し、入力画像上で隣接する、
変位後の４画素位置を出力領域として、その４点の位置
を出力する。次に、内外判定１０８では、前記４画素位
置で囲まれる領域の内部の画素位置を出力する。アドレ
ス発生器１０９では、入力された前記画素位置の、出力
画像メモリ１１０に対する書き込みアドレスを発生させ
る。画像データ１１１は入力画像メモリ１０５から出力
され、出力画像メモリ１１０に入力されるべき画像デー
タである。

【００２０】次に動作について説明する。

【００２１】まず、代表点座標１０１は、入力画像上に
予め設定された代表点の座標であり、代表点は、図２
（ａ）の○印で示すように、画像全体に渡って格子状に
並んでいる。なお、４つの代表点によって作られる４角
形のことを以下ではパッチと呼ぶこととする。入力画素
位置計算器１０３では、パッチ毎の４個の代表点座標１
０１を読み取り、それに基づいて、パッチ内の画素位置
をラスタ順に発生させる。入力画像メモリ１０５には入
力画像データが予め入力、蓄積されているため、アドレ
スが入力されると、そのアドレスのデータが画像データ
１１１として読み出される。一方、出力領域計算器１０
７では、代表点座標１０１と代表点変位座標１０６の差
分をとって、４頂点の変位ベクトルを算出する。また、
４個の変位ベクトルから所定の演算式に基づいて、パッ
チ内の画素の変位ベクトルを算出する。なお、この変位
ベクトルは絶対座標ではなく、パッチの４頂点の座標を
基準にした量である。ここで求めた各画素の変位ベクト
ルは、最終的に、絶対座標に変換されて、内外判定器１
０８に出力される。４個の変位ベクトルからパッチ内画
素の変位ベクトルを求める手続きを以下に具体的に示
す。図２（ａ）の頂点Ａ，Ｂ，Ｃ，Ｄが、それぞれ、図
２（ｂ）のＥ，Ｆ，Ｇ，Ｈのように変位したとする。各
頂点の変位ベクトル、即ち、点ＡとＥの差分、点ＢとＦ
の差分、点ＣとＧの差分、点ＤとＨの差分を、それぞ
れ、ｄａ、ｄｂ、ｄｃ、ｄｄとする時、パッチ内画素の
変位ベクトルｄを（７）式のように定義する。

【００２２】

【数７】

【００２３】この式は、注目画素位置の変位を、４頂点
からの距離の逆数に比例する形の重み付けをした４頂点
の変位の線形和として表わしたものである。ここで、
ｓ，ｔは０から１まで変化するパラメータであり、例え
ば、ｓ＝ｔ＝０の時、即ち、注目画素が頂点Ａの時、変
位ｄ＝ｄａとなる。また、注目画素が頂点Ｂ，Ｃ，Ｄの
時、それぞれ、ｄ＝ｄｂ、ｄ＝ｄｃ、ｄ＝ｄｄとなる。
図２は以上のようなパッチ頂点、および、パッチ内画素
の変位の様子を示している。図において、パッチＡ，
Ｂ，Ｃ，Ｄ内の互いに隣接する画素Ｘａ，Ｘｂ，Ｘｃ，
Ｘｄが、前記（７）式に従って、図中Ｘｅ，Ｘｆ，Ｘ
ｇ，Ｘｈのように変位したとする。したがって、変形前
の画素Ｘａは、変形後のＸｅ，Ｘｆ，Ｘｇ，Ｘｈの各点
に囲まれる領域に対応すると考えられる。図では、Ｘａ
がＸｅ，Ｘｆ，Ｘｇ，Ｘｈで囲まれる領域に拡大された
場合を示している。内外判定器１０８では、このＸｅ，
Ｘｆ，Ｘｇ，Ｘｈで囲まれる領域内の各画素位置を順に
発生させる。この際、領域内か否かの判断は、例えば、
次のようにして行われる。まず、点Ｘｅ，Ｘｆ，Ｘｇ，
Ｘｈの各点によって作られる４角形に対して、外接する
矩形を考える。この外接矩形内の各画素に対して、領域
の内部か外部かの判定を行う。例えば、図３（ａ）の４
角形ＡＢＣＤの内外判定は、図中の直線Ｌ１、Ｌ２、Ｌ
３、Ｌ４によって囲まれる領域を内部と判定することに
よって可能である。ただし、同図（ｂ）のような凹状４
角形の場合には、前記４本の直線だけでは、斜線部の領
域が内部と判別されない。そこで、前記４本の直線に、
点Ｂ，Ｃを結ぶ直線Ｌ５を加え、５本の直線で判別す
る。具体的には、図のように座標系を定め、点Ａ，Ｂ，
Ｃ，Ｄの各座標を（ａｘ，ａｙ），（ｂｘ，ｂｙ），
（ｃｘ，ｃｙ），（ｄｘ，ｄｙ）、注目点の座標を
（ｘ，ｙ）とする時、次式により判定できる。

【００２４】

【数８】

【００２５】さて、内外判定器１０８から出力される画
素位置は、アドレス発生器１０９によって出力画像メモ
リ１１０のアドレスに変換される。この時、前述の入力
画像メモリ１０５からは、点Ａの画素値が画像データ１
１１として読み出されているので、このデータが図２の
点Ｘｅ，Ｘｆ，Ｘｇ，Ｘｈで囲まれる、出力画像メモリ
１１０上の領域内の全てに書き込まれる。以下、同様に
して、パッチ内の全ての画素に対して対応する出力画像
メモリ１１０上の領域に画素値が書き込まれ、１つのパ
ッチの処理を終了する。続いて、出力領域計算器１０７
は次のパッチの代表点座標１０１、および、代表点変位
座標１０６を読み込んで、上述の処理を繰り返し、１フ
レームの画像の処理を終了する。

【００２６】さて、図４は、本発明の第２の実施例にお
けるブロック図を示したものである。本実施例が上記第
１の実施例と相違する点は、入力画像上の代表点が格子
状ではなく、ランダムに設定されている点である。
（７）式に示した変位ベクトル計算では、矩形の４頂点
の変位ベクトルがわかっていることが前提であり、あく
までも、矩形から任意の４角形への変形しか扱うことが
できない。従って、代表点がランダムに配置されている
場合に適用することはできない。そこで、本発明の第２
の実施例は、第１の実施例を、代表点がランダムに配置
されている場合にも適用できるように拡張したものであ
る。以下では、上記相違点を中心に説明する。

【００２７】図４において、代表点座標１０１は、入力
画像上にランダムに設定された代表点の座標であり、互
いに隣接した４点を１組として入力画素位置計算器１０
３、及び、仮想平面座標計算器１０２に入力される。互
いに隣接した４点は１つのパッチを形成するものとし、
全てのパッチで入力画像を覆うことができるものとす
る。仮想平面座標計算器１０２では、図５に示すよう
に、パッチの頂点４点に外接する矩形平面の頂点の座標
を計算する。この仮想的な矩形平面の頂点座標は、第１
の実施例で言えば、格子状に並んだ代表点座標の組に相
当するものである。入力画素位置計算器１０３には、代
表点座標１０１と仮想平面の頂点座標が入力され、４頂
点の変位ベクトルが計算される。４頂点の変位ベクトル
が求まったら、（７）式により、順次入力画素位置を計
算し、アドレス発生器１０４、入力画像メモリ１０５を
経て画像データ１１１が読み出される。一方、出力領域
計算器１０７には、仮想平面座標と代表点変位座標１０
６が入力される。以下、仮想平面座標が、代表点座標に
置き変わるだけで、第１の実施例と全く同様の処理が行
われて、出力画像メモリ１１０に画像データ１１１が書
き込まれる。仮想平面をパッチの外接矩形とするのは、
仮想平面上の１画素に対して、入力画像上の必ず１画素
以下を対応させるようにするためである。これによっ
て、入力画像上のパッチ内の各画素は必ず１度はピック
アップされ、出力画像上に書き込まれる。従って、入力
画像に含まれる情報を失うことなく、入力画像上の１画
素を出力画像上の複数画素に対応させることができる。
以上の動作の様子を図６に示す。図では、入力画像上の
代表点Ｅ、Ｆ、Ｇ、Ｈが、点Ｋ、Ｌ、Ｍ、Ｎにそれぞれ
変位した場合を示している。このとき、パッチＥＦＧＨ
に外接する仮想平面を設定し、仮想平面を基準として、
入力画像への変形Ａと、出力画像への変形Ｂが行われた
ものと考える。仮想平面上の画素Ｘａに対応する入力画
像上の画素は（７）式より画素Ｘｅと計算される。ま
た、仮想平面上の画素Ｘａに対応する出力画像上の画素
は、画素Ｘａ、Ｘｂ、Ｘｃ、Ｘｄのそれぞれについて
（７）式より計算された変位先の画素Ｘｋ、Ｘｌ、Ｘ
ｍ、Ｘｎで作られる４角形の内部の複数画素に対応付け
が行われる。したがって、画素Ｘｅの値を画素Ｘｋ、Ｘ
ｌ、Ｘｍ、Ｘｎで作られる４角形の内部の複数画素に書
き込んで１画素の処理を終了する。以上の処理をパッチ
内の画素すべてに対して行うとともに、入力画像上の全
てのパッチに対して行い、１フレームの画像の変換処理
を終了する。

【００２８】

【発明の効果】以上説明したように本発明によれば、入
力画像上の１画素に対応する、出力画像メモリ上の所定
領域を比較的容易に、小さい処理負荷で求めることがで
きる。また、代表点変位座標を入力するため、入出力画
像間の変換式も必要とせず、局部的な、任意の変形に対
応可能となる。なお、変換式が与えられている場合に
は、その変換式に従って代表点変位座標を求めて入力し
てやればよい。

【００２９】さらに、上記では、パッチを構成する頂点
が４点の場合について説明したが、３点などの場合にも
同様の処理を行うことができる。例えば、コンピュータ
グラフィクスや、画像の分析合成符号化における画像合
成装置等には、３角形パッチで構成されたモデルが使用
される。分析合成符号化における画像合成装置を例にと
ると、例えば、図７（ａ）に示すような人間の顔のモデ
ルに対して、その頂点に変位を加え、さらに、変形され
たモデルに対して実画像データをマッピングして、顔の
表情を変更する処理が行われる。このような場合、図７
（ｂ）のように、３角形の頂点に対して変位が加えられ
るわけであるが、３角形を４角形の縮退と考えると、入
力画像上の３角形に対して、図７（ｃ）のように、４角
形の仮想平面を対応させることができる。また、出力画
像に対しては、４角形の仮想平面を４点の座標を持つ３
角形に変形させると考えれば、本発明は３角形パッチに
対しても適用可能である。

【００３０】なお、上記においては、仮想平面の大きさ
を３点、あるいは、４点の互いに隣接する代表点で作ら
れる３角形、あるいは、４角形に外接する矩形平面とし
たが、外接矩形を包含する、それより大きな矩形であっ
ても構わない。

【図面の簡単な説明】

【図１】本発明の第１の実施例による画像変換装置のブ
ロック図である。

【図２】本発明の第１の実施例における画像変換を視覚
的に説明した図である。

【図３】本発明における、内外判定を説明した図であ
る。

【図４】本発明の第２の実施例による画像変換装置のブ
ロック図である。

【図５】本発明における４角形パッチと仮想座標平面の
関係を示した図である。

【図６】本発明の第２の実施例における画像変換を視覚
的に説明した図である。

【図７】本発明の３角形パッチへの適用を説明した図で
ある。

【図８】従来例における画像変換装置のブロック図を示
した図である。

【図９】従来例における画像変換を視覚的に説明した図
である。

【符号の説明】

１０１代表点座標１０２仮想平面座標計算器１０３入力画素位置計算器１０４アドレス発生器１０５入力画像メモリ１０６代表点変位座標１０７出力領域計算器１０８内外判定器１０９アドレス発生器１１０出力画像メモリ１１１画像データ８０１画素座標８０２平行４辺形頂点計算器

Claims

【特許請求の範囲】

【請求項１】入力画像の一部、または、全体に対し
て、回転、平行移動、拡大、縮小などの変形処理を行
い、出力画像とする画像変換装置において、入力画像上に格子状に配列した複数の代表点の変位量を
入力とし、代表点は入力された変位量をもとに変位さ
せ、代表点以外の点は近接する代表点の変位量から所定
の演算式を用いて計算し、変形の対象となる入力画像の
画素全てに対して変位位置を求めるとともに、入力画像
上で互いに隣接する画素の、変位後の各位置で囲まれる
領域内の全ての画素位置に、前記隣接する画素の中の代
表１画素の値を出力画像として書き込むようにしたこと
を特徴とする画像変換装置。
【請求項２】入力画像の一部、または、全体に対し
て、回転、平行移動、拡大、縮小などの変形処理を行
い、出力画像とする画像変換装置において、入力画像上に任意に配列した複数の代表点の変位量を入
力とし、前記複数の代表点において、互いに隣接した３
点、あるいは、４点で作られる３角形、あるいは、４角
形を包含する仮想的な矩形平面を設定し、前記仮想的な
矩形平面が入力画像と出力画像にそれぞれ別個に変形す
ると考え、入力画像に対しては、矩形平面上の４頂点は、前記入力
された代表点４点へ変位させ、矩形平面上の４頂点以外
の点は、矩形平面上の４頂点から対応する代表点４点へ
の変位量を基に所定の演算式を用いて計算し、矩形平面
上の画素全てに対して変位位置を求めるとともに、矩形
平面上で互いに隣接する画素の、変位後の各位置で囲ま
れる領域内の代表１画素の値を入力画素値としてとして
読み出し、出力画像に対しては、矩形平面上の４頂点
は、前記入力された代表点の変位量をもとに変位させ、
矩形平面上の４頂点以外の点は、矩形平面上の４頂点か
ら対応する変位後の代表点４点への変位量を基に所定の
演算式を用いて計算し、矩形平面上の画素全てに対して
変位位置を求めるとともに、矩形平面上で互いに隣接す
る画素の、変位後の各位置で囲まれる領域内の全ての出
力画素位置を求め、前記入力画素値を前記出力画素位置のすべてに書き込む
ようにしたことを特徴とする画像変換装置。