JPH11175709A - 画像変形装置およびそのプログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像変形装置およびそのプログラムを格納し
た記憶媒体に関し，動画像に適用できるようにすること
を目的とする。 【解決手段】画像を変形させて表示する画像変形装置に
おいて，入力された画像を元画像として保持する元画像
保持部と，元画像を変形させる基準にする変形基準座標
を設定する変形基準座標設定部と，変形画像の座標に対
応する元画像座標を写像により求める座標計算部と，変
形基準座標およびその元画像座標をもとに変形画像の変
形基準座標以外の座標に対する元画像座標を計算の簡単
な函数で補間して求める補間座標生成部と，変形画像の
座標に対してそれぞれに対応する元画像座標の画素値を
設定する画素値設定部とを備え，変形画像生成し，表示
する構成をもつ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，画像を変形して表
示する装置およびそのプログラムを格納した記憶媒体に
関するものである。特に，本発明は，ＣＤＲＯＭやイン
タネット上でのマルチメディアデータを処理するもので
あり，アニメーションや動画像等の画像変形に広く利用
できるものであり，ＴＶや映画などの映像においては特
殊効果を表現する場合にも使用できるものである。

【０００２】

【従来の技術】従来の画像の変形方法を図１２により説
明する。図１２において，１１１は元画像であって変形
する前の画像である。

【０００３】１１３は変形画像であって，元画像１１１
を変形した画像である。Ｐは元画像１１１の座標（Ｘ
ｓ，Ｙｓ）の点である。Ｐ’は元画像の点Ｐに対応する
変形画像１１３の座標（Ｘｄ，Ｙｄ）の点である。

【０００４】元画像１１１と変形画像１１３との関係は
写像として表現することができる。写像をＦとすると，
元画像の点Ｐ（Ｘｓ，Ｙｓ）と対応する変形画像の点
Ｐ’（Ｘｄ，Ｙｄ）に対して， （Ｘｄ，Ｙｄ）＝Ｆ（Ｘｓ，Ｙｓ） ・・・・・・・ である。

【０００５】このとき逆写像Ｆ^-1とすると， （Ｘｓ，Ｙｓ）＝Ｆ^-1 （Ｘｄ，Ｙｄ） ・・・・・・・ が成り立つ。

【０００６】従来の方法は，画像変形を行う際に変形画
像の全画素に対して，式を適用して対応する元画像の
座標値を算出し，その位置にある画素値変形画像の対応
する座標の画像値として採用することで，変形画像を作
成している。そのため，変形画像の画面サイズを幅Ｗｄ
画素，高さＨｄ画素とすると，Ｗｄ×Ｈｄ回だけ式を
計算する必要がある。

【０００７】図１３は従来の画像変形方法のフローチャ
ートである。図１３において， Ｓ１ 画像変形の処理を開始する（ＳＴＡＲＴ）。

【０００８】Ｓ２ Ｙｄ＝０とする。 Ｓ３ Ｘｄ＝０とする。 Ｓ４ 式により（Ｘｓ，Ｙｓ）を算出する。

【０００９】Ｓ５ 元画像（Ｘｓ，Ｙｓ）の画素値を変
形画像（Ｘｄ，Ｙｄ）の画素値にする。 Ｓ６ Ｘｄを１だけインクリメントする（Ｘｄ＝Ｘｄ＋
１）。

【００１０】Ｓ７ Ｘｄが全て終了したか判定する（Ｘ
ｄ＝Ｗｄか判定する）。終了していなければ，Ｓ４以降
の処理を繰り返す。終了していればＳ８でＹｄをインク
リメントする。

【００１１】Ｓ８ Ｙｄを１だけインクリメントする
（Ｙｄ＝Ｙｄ＋１）。 Ｓ９ Ｙｄが全て終了したか判定する（Ｙｄ＝Ｈｄか判
定する）。終了していなければＳ３以降の処理を繰り返
す。全て終了していればＳ１０で処理を終了する。

【００１２】Ｓ１０ 処理を終了する（ＥＮＤ）。

【００１３】

【発明が解決しようとする課題】画像の変形を画素毎の
計算により行うと，式の変換を全画素数だけ行わなけ
ればならず，一般に式は非線形の変換であり，計算に
時間がかかるものである。特に，動画像の場合には，１
／３０秒に一回の画面更新のタイミングにあうように処
理が完了していなければならず，遅れると完全な動画像
とすることができない。そのため，従来の画像変形装置
を動画像に適用することは困難であった。

【００１４】本発明は，動画像に適用できる画像変形表
示装置およびそのプログラムを格納した記憶媒体を提供
することを目的とする。

【００１５】

【課題を解決するための手段】本発明は，画像を変形さ
せて表示する画像変形装置において，入力された画像を
元画像として保持する元画像保持部と，元画像を変形さ
せる基準にする変形基準座標を設定する変形基準座標設
定部と，変形画像の座標に対応する元画像座標を写像に
より求める座標計算部と，変形基準座標およびその元画
像座標をもとに変形画像の変形基準座標以外の座標に対
する元画像座標を計算の簡単な函数で補間して求める補
間座標生成部と，変形画像の座標に対してそれぞれに対
応する元画像座標の画素値を設定する画素値設定部とを
備え，変形画像を生成し，表示するようにした。

【００１６】図１は本発明の基本構成を示す。図１にお
いて，Ｇは画像変形装置である。

【００１７】１は元画像保持部であって，元画像を保持
するものである。２は変形基準座標設定部であって，変
形画像に写像により対応する元画像の領域の座標を求め
るための変形基準座標を設定するものである。例えば，
変形画像を多角形に分割し，その頂点座標を変形基準座
標にするものである。

【００１８】２’は変形基準座標保持部であって，変形
基準座標を保持するものである。３は座標計算部であっ
て，変形画像の座標に対応する元画像の座標（元画像座
標）を写像により求めるものである。

【００１９】４は基準元画像座標保持部であって，変形
画像の変形基準座標に対応する元画像座標を保持するも
のである。５は補間座標生成部であって，変形画像の変
形基準座標以外の座標に対応する元画像座標を，変形基
準座標およびそれに対応する元画像座標をもとに補間し
て求めるものである。補間は，変形基準座標およびそれ
に対応する元画像座標をもとに線形補間等の計算の簡単
な函数で求める。

【００２０】５’は補間座標保持部であって，補間によ
り求めた元画像座標を保持するものである。６は画素値
設定部であって，変形画像の各座標に対してそれぞれの
座標に対応する元画像座標の画素値を設定するものであ
る。

【００２１】７は表示装置であって，変形画像を表示す
るものである。８は画像入力装置であって，元画像を入
力する装置である。図１の構成の動作は後述する。

【００２２】図２は本発明の変形画像表示方法の原理的
説明図である。図２において，１１は元画像である。

【００２３】１３は変形画像である。Ｐは元画像１１の
座標（Ｘｓ，Ｙｓ）の点である。Ｐ’は元画像の点Ｐに
対応する変形画像の座標（Ｘｄ，Ｙｄ）の点であり，変
形基準座標である。

【００２４】Ａ，Ｂ，Ｃ，Ｄは変形画像領域上の変形基
準座標（頂点座標）である。Ｅは変形基準座標以外の変
形画像の座標である。Ｆは変形画像の点Ｅに対応する元
画像上の点である。

【００２５】変形画像の変形基準座標の元画像に対応す
る座標は写像により求める。元画像の点Ｐ（Ｘｓ，Ｙ
ｓ）と対応する変形画像の変形基準座標Ｐ’（Ｘｄ，Ｙ
ｄ）との関係は写像により次のように定められる。

【００２６】 （Ｘｄ，Ｙｄ）＝Ｆ（Ｘｓ，Ｙｓ） ・・・・・・・ である。このとき逆写像Ｆ^-1とすると， （Ｘｓ，Ｙｓ）＝Ｆ^-1 （Ｘｄ，Ｙｄ） ・・・・・・・ が成り立つ。

【００２７】変形画像の変形基準座標（多角形の頂点座
標）Ａ，Ｂ，Ｃ，Ｄ，Ｐ’は変形画像領域を，例えば多
角形に分割した頂点に定める。図２では変形画像を分割
する多角形を四角形とし，四角形のメッシュにより変形
画像を分割し，メッシュの交点を変形基準座標にした場
合を例として示している。そして，変形基準座標に対応
する元画像座標は上記の写像により計算して求める。

【００２８】また，変形画像の変形基準座標以外の点Ｅ
（Ｘｅ，Ｙｅ）に対応する元画像の点Ｆ（座標（Ｘｆ，
Ｙｆ））は，変形画像の変形基準座標とそれに対応する
元画像座標（基準元座標）をもとに，簡単な函数で求め
る。例えば，変形画像におけ点Ａ，点Ｂ，点Ｃ，点Ｄの
座標とそれぞれに対応する元画像座標をもとに線形補間
することにより求める。

【００２９】そして，変形画像の各座標に対して，その
ようにして求めた元画像座標の座標値を設定し，表示す
る。図１の本発明の基本構成の動作を説明する。

【００３０】変形基準座標設定部２は変形基準領域に変
形基準座標（頂点座標）を設定する。求めた変形基準座
標は変形基準座標保持部２’に保持する。写像計算部３
は逆写像Ｆ^-1（式）により変形基準座標（Ｘｄ，Ｙ
ｄ）に対等する元画像座標（Ｘｓ，Ｙｓ）を求め，基準
元画像座標保持部４に保持する。

【００３１】画像入力装置８より入力した元画像を元画
像保持部１に保持する。補間座標生成部５は，変形画像
の変形基準座標以外の点Ｅ（Ｘｅ，Ｙｅ）に対応する元
画像座標（Ｘｆ，Ｙｆ）を簡単な函数で求める。例え
ば，変形画像領域における点Ａ，点Ｂ，点Ｃ，点Ｄとそ
れぞれに対応する元画像座標とにより線形補間して求め
る。補間により求めた元画像座標は補間座標保持部５’
に保持する。

【００３２】画素値設定部６は，変形画像の各座標に対
して，それぞれの座標に対応する元画像標の座標値を元
画像保持部１より求めて設定する。変形画像の各座標に
設定した各画素値を表示装置７に表示する。

【００３３】本発明によれば，写像により変形画像の座
標に対応する元画像座標を求めるのは，変形画像の変形
基準座標（分割多角形の頂点座標）に対してのみであ
り，それ以外の対応座標は線形変換等の簡単な函数によ
り補間して求めるので，画像変形の処理を高速に行うこ
とができる。そのため，本発明によれば，動画像に対し
ても画像変形を行うことが可能になる。

【００３４】

【発明の実施の形態】図３は本発明構成の実施の形態で
ある。図３において，２１はＣＰＵである。

【００３５】２２はメモリであって，画像分割プログラ
ム，座標計算プログラム，補間座標計算プログラム，画
素値計算プログラム等のロードされたプログラムを保持
し，座標テーブル格納領域に変形基準座標，基準元画像
座標，補間座標等を保持するものである。

【００３６】２３はメモリ２２に保持された画像分割プ
ログラムである。２４はメモリ２２に格納された座標計
算プログラムであって，写像する座標を計算するもので
ある。

【００３７】２５はメモリ２２に保持された補間座標計
算プログラムであって，補間座標を計算するものであ
る。２６はメモリ２２に保持された画素値計算プログラ
ムである。

【００３８】２７はメモリ２２に保持された座標テーブ
ル格納領域である。２８は座標テーブル格納領域の変形
基準座標保持領域であって，変形画像領域の変形基準座
標（頂点座標）を保持する領域である。

【００３９】２９は基準元画像保持領域であって，変形
基準座標に対応する元画像座標を保持する領域である。
３０は補間座標保持領域であって，補間された元画像座
標を保持する領域である。

【００４０】３１はフレームバッファＡであって，入力
される動画像を保持するバッファである。３２はフレー
ムバッファＢであって，ディスプレイに表示するデータ
を保持するバッファである。

【００４１】４１はインタフェースであって，撮像装置
とのインタフェースである。４２は撮像装置である。４
３は動画像記憶媒体ドライブであって，動画像を記録す
る記憶媒体（ビデオテープ，ＣＤＲＯＭ等）を駆動する
装置である。

【００４２】４４は動画像記憶媒体であって，ビデオテ
ープ，ＣＤＲＯＭ，磁気ディスク等の動画像を記録しで
ある記憶媒体である。４５は記憶媒体ドライブＡであっ
て，静止画の画像記憶媒体（磁気ディスク，ＣＤＲＯＭ
等）を駆動する装置である。

【００４３】４６は画像記憶媒体であって，静止画を記
憶する磁気ディスク，ＣＤＲＯＭ等である。４７は記憶
媒体ドライブＢであって，プログラム等を格納する記憶
媒体の駆動装置である。

【００４４】４８は記憶媒体であって，本発明の方法に
より変形画像を生成するプログラムを格納する記憶であ
る。５１は画像分割プログラムである。

【００４５】５２は座標計算プログラムである。５３は
補間座標計算プログラムである。５４は画素値計算プロ
グラムである。

【００４６】６１は入力装置であって，キーホード，マ
ウス等の入力装置である。６２はディスプレイである。
６３はプリンタである。

【００４７】図４は本発明の装置構成の実施の形態を示
す図である。図４において，Ｇは画像変形装置であっ
て，図３のＣＰＵ，メモリ，フレームバッファＡ、フレ
ームバッファＢ等により構成されるものである。

【００４８】Ｉはデジタル動画像入力装置であって，動
画像を入力するものであり，元画像となる画像データを
入力するものである。図３の動画像記憶媒体，動画像記
憶媒体ドライブ，撮像装置，インタフェース等により構
成されるものである。

【００４９】Ｊは写像函数Ｆ，誤差閾値入力装置であっ
て，キーボード等の入力装置である。３１はフレームバ
ッファＡであって，入力されるデジタル動画像を保持す
るバッファである。

【００５０】３２はフレームバッファＢであって，ディ
スプレイ６２に表示する画像データを保持するバッファ
である。２３１は画像分割部であって，画像分割するも
のであり，図３の画像分割プログラム，ＣＰＵ等により
構成されるものである。

【００５１】２４１は座標計算部であって，図３の座標
計算プログラムとＣＰＵ等により構成されるものであ
る。２５１は補間座標生成部であって，図３の補間座標
計算プログラムとＣＰＵ等により構成されるものであ
る。

【００５２】２６１は画素値計算部であって，図１の画
素値設定部６に相当するものであり，図３の画素値計算
プログラムとＣＰＵ等により構成されるものである。２
７１は座標テーブル格納部であって，変形基準座標，基
準元画像座標，補間座標（補間により求めた元画像座
標）等を保持するものであり，図３の座標テーブル格納
領域に相当するものである。

【００５３】図４の動作は後述する。図５は元画像の例
である。図６は変形画像の例であって，図５の元画像を
変形した画像である。

【００５４】図７は変形画像の分割方法の例であって，
変形画像領域をメッシュに分割した場合を示すものであ
る。本発明は，変形画像領域を多角形に分割し，多角形
の頂点毎に式を計算し，元画像との対応座標（基準元
画像座標）を算出し，多角形の頂点以外の座標に対して
はその基準元画像座標を線形補間した座標を用いるもの
である。そのため，式の計算回数は多角形の頂点の回
数だけですむので，高速な画像変形が可能になる。

【００５５】以下の説明では変形画像領域の分割をメッ
シュにより分割する場合について説明するが原理的には
どのような多角形により分割しても同じである。図８は
メッシュにおいて線形補間をする場合の説明図である。

【００５６】Ｍ×Ｎ個の頂点からなるメッシュにおい
て，元画像座標値の線形補間は次のように行う。求める
画素を包含するメッシュの矩形領域の４画素Ｖｄ１，Ｖ
ｄ２，Ｖｄ３，Ｖｄ４の配置が図８のようにあるとす
る。それぞれの変形画像領域上の座標値を（Ｘｄ１，Ｙ
ｄ１），（Ｘｄ２，Ｙｄ２），（Ｘｄ３，Ｙｄ３），
（Ｘｄ４，Ｙｄ４）とする。またそれぞれの元画像上で
対応する頂点の座標値（変形基準座標に同じ）を（Ｘｓ
１，Ｙｓ１），（Ｘｓ２，Ｙｓ２），（Ｘｓ３，Ｙｓ
３），（Ｘｓ４，Ｘｓ４）とする。

【００５７】本発明は，Ｖｄ１，Ｖｄ２，Ｖｄ３，Ｖｄ
４と（Ｘｓ１，Ｙｓ１），（Ｘｓ２，Ｙｓ２），（Ｘｓ
３，Ｙｓ３），（Ｘｓ４，Ｘｓ４）とからＶｄに対応す
る元画像上の座標を求めるものであるが，Ｖｄ１，Ｖｄ
２，Ｖｄ３，Ｖｄ４にそれぞれ一次元の値Ａ₁ ，Ａ₂ ,
Ａ₃ , Ａ₄ が対応している場合について線形補間につい
て概略を説明する。

【００５８】Ｖｄに対応する値をＡとする。線分Ｖｄ１
−Ｖｄ３上の点Ｖｄ５と線分Ｖｄ２−Ｖｄ４上の点Ｖｄ
６を設け，Ｖｄ５とＶｄ６に値Ａ₅ ，Ａ₆ が対応すると
する。

【００５９】線形の仮定により次の関係が成り立つ。 （Ｙｄ１−Ｙｄ）：（Ｙｄ−Ｙｄ３）＝（Ａ₁ −
Ａ₅ ）：（Ａ₅ −Ａ₃ ） この関係から Ａ₅ ＝｛Ａ₃ （Ｙｄ１−Ｙｄ）−Ａ₁ （Ｙｄ３−Ｙ
ｄ）｝／（Ｙｄ１−Ｙｄ３） 同様に， Ａ₆ ＝｛Ａ₄ （Ｙｄ２−Ｙｄ）−Ａ₂ （Ｙｄ４−Ｙ
ｄ）｝／（Ｙｄ２−Ｙｄ４） となる。

【００６０】次に線分Ｖｄ５−Ｖｄ６上の点Ａを同様に
求める。Ｖｄ５のＸ座標値Ｘｄ５，Ｖｄ６のＸ座標値Ｘ
ｄ６はＡ₅ ，Ａ₆ の算出と同様にして， Ｘｄ５＝｛Ｘｄ３（Ｙｄ１−Ｙｄ）−Ｘｄ１（Ｙｄ３−
Ｙｄ）｝／（Ｙｄ１−Ｙｄ３） Ｘｄ６＝｛Ｘｄ４（Ｙｄ２−Ｙｄ）−Ｘｄ２（Ｙｄ４−
Ｙｄ）｝／（Ｙｄ２−Ｙｄ４） 線分Ｖｄ５−Ｖｄ６上にＶｄ（値Ａ）があるので，線形
の仮定により， （Ｘｄ６−Ｘｄ）：（Ｘｄ−Ｘｄ５）＝（Ａ₆ −Ａ）：
（Ａ−Ａ₅ ） この関係から， Ａ＝｛Ａ₅ （Ｘｄ６−Ｘｄ）−Ａ₆ （Ｘｄ５−Ｘｄ）｝
／（Ｘｄ６−Ｘｄ５） 本発明では，Ｖｄ１，Ｖｄ２，Ｖｄ３，Ｖｄ４に元画像
の座標（Ｘｓ１，Ｙｓ１），（Ｘｓ２，Ｙｓ２），（Ｘ
ｓ３，Ｙｓ３），（Ｘｓ４，Ｘｓ４）が対応している。

【００６１】この時，Ｖｄと対応する元画像の座標値
（Ｘｓ，Ｙｓ）は線形補間により次の式により計算する
ことができる。 Ｘｓ＝ｆ３（ｆ１（Ｘｓ１，Ｘｓ３），ｆ２（Ｘｓ２，Ｘｓ４））・・・ Ｙｓ＝ｆ３（ｆ１（Ｙｓ１，Ｙｓ３），ｆ２（Ｘｓ２，Ｙｓ４））・・・ 但し， ｆ１（Ａ，Ｂ）＝｛Ｂ（Ｙｄ１−Ｙｄ）−Ａ（Ｙｄ３−
Ｙｄ）｝／（Ｙｄ１−Ｙｄ３） ｆ２（Ｃ，Ｄ）＝｛Ｄ（Ｙｄ２−Ｙｄ）−Ｃ（Ｙｄ４−
Ｙｄ）｝／（Ｙｄ２−Ｙｄ４） ｆ３（Ｇ，Ｈ）＝｛Ｇ（Ｘｐ−Ｘｄ）−Ｈ（Ｘｑ−Ｘ
ｄ）｝／（Ｘｐ−Ｘｑ） Ｘｐ＝ｆ１（Ｘｄ１，Ｘｄ３） Ｘｑ＝ｆ２（Ｘｄ２，Ｘｄ４） 図９，図１０は本発明の実施の形態のフローチャートで
あって，上記の式，により補間座標を求める場合の
フローチャートである。

【００６２】Ｓ１ 画像の変形処理を開始する。 Ｓ２ ｎ＝０にして，ｙ方向のメッシュ頂点の座標を初
期化する。 Ｓ３ ｍ＝０にして，ｘ方向の座標を初期化する。

【００６３】Ｓ４ 式によりメッシュ頂点（ｍ，ｎ）
の元画像座標を算出する。 Ｓ５ メッシュ頂点のＸ方向の座標をインクリメントす
る（ｍ＝ｍ＋１）。 Ｓ６ メッシュの頂点のｘ方向の画素にすべて（Ｍ個）
処理をしたか判断する（ｍ＝＝Ｍ？（Ｍはｘ方向の頂点
数の最大値））。すべて処理をしていなければＳ３以降
の処理を繰り返す。ずべて処理してあればＳ７の処理を
行う。

【００６４】Ｓ７ メッシュ頂点のＹ方向の座標をイン
クリメントする（ｎ＝ｎ＋１）。 Ｓ８ メッシュの頂点のｙ方向の画素にすべて（Ｎ個）
処理をしたか判断する（ｎ＝＝Ｎ？（Ｎはｙ方向の頂点
数の最大値））。すべて処理していなければＳ３以降の
処理を繰り返す。すべて処理してあればＳ９の処理を行
う。

【００６５】Ｓ９ メッシュ頂点以外のｙ座標を初期化
する（ｙｄ＝０）。 Ｓ１０ メッシュの頂点以外のｘ座標を初期化する（ｘ
ｄ＝０）。 Ｓ１１ 式，により（Ｘｓ，Ｙｓ）を算出する。

【００６６】Ｓ１２ 元画像座標（Ｘｓ，Ｙｓ）の画素
値を変形画像の座標（Ｘｄ，Ｙｄ）の画素値にする。 Ｓ１３ 変形画像領域のｘ座標をインクリメントする
（Ｘｄ＝Ｘｄ＋１）。

【００６７】Ｓ１４ ｘ方向の座標についてすべて処理
したか判断する（（Ｘｄ＝＝Ｗｄ？）（Ｗｄはｘ方向の
座標の最大値））。すべて処理していなければＳ１１以
降の処理を繰り返す。すべて処理していればＳ１５の処
理を行う。

【００６８】Ｓ１５ ｙ座標をインクリメントする（Ｙ
ｄ＝Ｙｄ＋１）。 Ｓ１６ ｙ方向の座標についてすべて処理したか判断す
る（Ｙｄ＝＝Ｈｄ（Ｈｄはｙ座標の最大値））。すべて
処理していなければＳ１０以降の処理を繰り返し，すべ
て処理してあればＳ１７で処理を終了する。

【００６９】Ｓ１７ 処理を終了する（ＥＮＤ）。 上記の実施の形態では，変形画像領域に設定する多角形
（上記の例ではメッシュ）は固定であったが，補間誤差
が最小になるように変形処理毎に分割する多角形を変更
すれば更に効果的である。

【００７０】以下の説明ではメッシュ形状の場合につい
て補間誤差が指定された誤差の範囲内におさまるように
メッシュを自動分割する方法について説明する。誤差最
大の位置に頂点を生じるように多角形分割する。多角形
がメッシュ以外の形状の場合にも原理は同様である。

【００７１】まず始めに変形画像の４角を頂点とする２
×２のメッシュを作成し，式により頂点座標（変形基
準座標）に対応する元画像座標（基準元画像座標）を求
める。また，頂点座標以外の座標に対しても式により
元画像の対応座標を求める。また，頂点座標以外の座標
について式，により補間座標を求める。この線形補
間により算出された元画像座標と式により計算された
元画像座標の誤差を計算し，誤差の最も大きい点にメッ
シュの頂点を追加する。誤差は相互の頂点のユークリッ
ド距離もしくはハミング距離で良い。こうして，頂点の
増えたメッシュに対し，繰り返し，誤差計算と頂点の追
加を繰り返し，誤差が許容範囲以下になったところで，
メッシュの生成処理を終了する。このようにして指定誤
差以下の変形メッシュを求める。この処理を複数回繰り
返し，変形画像を作成するが，動画像の変形を行うよう
な場合には，最初に１回メッシュ分割しておけば後は少
ない計算量で変形画像を作ることができる。

【００７２】図１１は本発明の自動メッシュ分割のフロ
ーチャートを示す。 Ｓ１ メッシュ分割の処理を開始する。 Ｓ２ 変形画像の４角に頂点をもつ２×２メッシュを作
成する。

【００７３】Ｓ３ 式によりメッシュ頂点（ｍ，ｎ）
に対応する元画像座標（基準元画像座標）を算出する。 Ｓ４ 式，により全画素に対応する元画像座標を算
出する。

【００７４】Ｓ５ 式により全画素に対応する元画像
座標を算出する。 Ｓ６ 全画素に対して式および，で求めた座標値
の計算誤差を計算して最大誤差の点の座標を抽出する。

【００７５】Ｓ７ 誤差は許容範囲内か判断する。許容
誤差の範囲内でなければＳ８で最大誤差の位置にメッシ
ュ頂点を発生させ，Ｓ３以降の処理を繰り返す。 Ｓ８ 最大誤差の位置にメッシュ頂点を発生させ，Ｓ３
の処理に移行する。

【００７６】Ｓ９ 処理を終了する。 図４の本発明の装置構成の実施の形態の動作を説明す
る。補間誤差を最小にするメッシュの自動生成の場合に
ついて説明する。

【００７７】画像分割部２３１に画像間の変形（座標値
変換）を表す写像Ｆと，線形補間で画像変形を近似する
に際しての許容誤差Δをしきい値として入力する。誤差
は変形後の画像の点と対応する元画像上での点において
理論値と近似値の差を意味しており，これをユークリッ
ド距離（１画素の幅を１単位とする）などによって表現
する。

【００７８】画像分割部２３１は，画像分割部２３１に
よって分割された分割形状の頂点の座標値（変形基準座
標（Ｘｄ，Ｙｄ））を元に式によって対応する元画像
上の座標値（基準元画像座標（Ｘｓ，Ｙｓ））を計算す
る。計算した値は座標テーブル格納部２７１に格納す
る。メッシュの場合の座標計算部２４１の処理は前述の
図１０，図１１のフローチャートに従う。

【００７９】座標テーブル格納部２７１は，分割形状の
情報（頂点座標（Ｓｄ，Ｙｄ））とそれに対応する元画
像上の座標値（Ｘｓ，Ｙｓ）を含む）を格納するメモリ
である。分割形状がＭ×Ｎ個の頂点をもつメッシュであ
る場合，頂点座標値と元画像上の座標値はそれぞれＭ×
Ｎの２次元配列として記録され，任意のｍ（０≦ｍ≦
Ｍ），ｎ（０≦ｎ≦Ｎ）に対して一意に座標値を得るこ
とができる。

【００８０】以上の座標テーブルの作成までの処理は，
新たにＦとΔが入力れされた時にだけ実行される。これ
らが新たに与えれる時は動画の変形を変化させる時であ
り，一定の変形写像で動画を連続的にする場合には，動
画変形前に一度だけテーブル作成処理を行えばよい。一
方，連続的に写像を変化させるときは，毎回テーブル作
成処理を行う必要がある。

【００８１】変形される元画像となる動画像の１フレー
ムはフレームバッファＡ（３１）に入力される。フレー
ムバッファＡ（３１）は二次元画像を格納するための二
次元メモリであり，元画像の画素数を縦Ｈｓ，横Ｗｓ画
素，各画素２４ビット（ＲＧＢ８ビット）とするとＨｓ
×Ｗｓ×２４ビットのサイズを持つ。

【００８２】補間座標生成部２５１は，変形画像の任意
の座標値（Ｘｄ，Ｙｄ）に対応する元画像上の座標値
（Ｘｓ，Ｙｓ）を座標テーブル格納部２７１に格納され
た座標値を元にして線形補間で近似生成する。変形画像
の分割形状がメッシュの場合には，補間座標生成部２５
１は式，を用いて座標（Ｘｓ，Ｙｓ）を生成する。

【００８３】画素値計算部２６１は変形画像上の全ての
画素値を決定する。任意の座標値（Ｘｄ，Ｙｄ）の画像
値を決定するために，画素値計算部２６１は補間座標生
成部２５１の生成した元画像上の対応座標値（Ｘｓ，Ｙ
ｓ）の画素値をフレームバッファＡ（３１）から読み出
し，フレームバッファＢ（３２）上の座標（Ｘｄ，Ｙ
ｄ）に書き込む。

【００８４】フレームバッファＢ（３２）は変形後の画
像を格納する二次元のメモリであり，フレームバッファ
Ａ（３１）と同様の構成である。変形後の画像サイズを
縦Ｈｄ，横Ｗｄ，各画素を２４ビットとすると，Ｈｄ×
Ｗｄ×２４ビットのサイズである。

【００８５】ディスプレイ６２はフレームバッファＢ
（３２）に画素値計算部２６１が書き込みを終了した後
にフレームバッファＢ（３２）の変形画像を表示する。

【００８６】

【発明の効果】本発明によれば，動画像に適した高速な
画像変形を行うことができる。また，変形写像に応じて
分割を自動的に決定できるので，線形近似処理による変
形処理の品質劣化を最小限に抑えることができる。動画
像に対して高速に変形を行うことができるので，変形写
像を変えることにより撮影ずみのビデオ素材など広角，
ズーム，魚眼レンズなどで撮影した画像をリアルタイム
に変形できるようになる。

【図面の簡単な説明】

【図１】本発明の基本構成を示す図である。

【図２】本発明の原理説明図である。

【図３】本発明のシステム構成の実施の形態を示す図で
ある。

【図４】本発明の装置構成の実施の形態を示す図であ
る。

【図５】元画像の例を示す図である。

【図６】変形画像の例を示す図である。

【図７】変形画像の分割を示す図である。

【図８】本発明の補間座標の求め方の実施の形態の説明
図である。

【図９】本発明の実施の形態のフローチャートを示す図
である。

【図１０】本発明の実施の形態のフローチャートを示す
図である。

【図１１】本発明の自動メッシュ分割のフローチャート
を示す図である。

【図１２】従来の画像変形方法の説明図である。

【図１３】従来の画像変形のフローチャートを示す図で
ある。

【符号の説明】

Ｇ：画像変形装置 １：元画像保持部 ２：変形基準座標設定部 ２’：変形基準座標保持部 ３：座標計算部 ４：基準元画像座標保持部 ５：補間座標生成部 ５’：補間座標保持部 ６：画素値設定部 ７：表示装置 ８：画像入力装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像を変形させて表示する画像変形装置
   において，入力された画像を元画像として保持する元画
   像保持部と，元画像を変形させる基準にする変形基準座
   標を設定する変形基準座標設定部と，変形画像の座標に
   対応する元画像座標を写像により求める座標計算部と，
   変形基準座標およびその元画像座標をもとに変形画像の
   変形基準座標以外の座標に対する元画像座標を計算の簡
   単な函数で補間して求める補間座標生成部と，変形画像
   の座標に対してそれぞれに対応する元画像座標の画素値
   を設定する画素値設定部とを備え，変形画像を生成し，
   表示することを特徴とする画像変形装置。
2. 【請求項２】 変形基準座標は，変形画像領に設定した
   多角形の頂点座標であり，補間座標生成部は，変形基準
   座標および変形基準座標に対応する元画像座標に基づい
   て変形基準座標以外の座標の元画像座標を線形補間によ
   り求めることを特徴とする請求項１に記載の画像変形装
   置。
3. 【請求項３】 変形画像の変形基準座標以外の座標につ
   いても写像により元画像座標を求め，補間により求めた
   元画像座標と比較し，最大誤差が予め定めたしきい値以
   上にある場合には，その座標を頂点とする多角形を生成
   することにより補間で求めた元画像座標の誤差を小さく
   することを特徴とする請求項１もしくは２に記載の画像
   変形装置。
4. 【請求項４】 元画像に対して画像を変形させて表示す
   るコンピュータプログラムを格納した記憶媒体におい
   て，元画像を変形させる基準にする変形基準座標を設定
   する変形基準座標設定プログラムと，変形画像の座標に
   対応する元画像座標を写像により求める座標計算プログ
   ラムと，変形基準座標およびその元画像座標をもとに変
   形画像の変形基準座標以外の座標に対する元画像座標を
   計算の簡単な函数で補間して求める補間座標生成プログ
   ラムと，変形画像の座標に対してそれぞれに対応する元
   画像座標の画素値を設定する画素値設定プログラムとを
   格納したことを特徴とする記憶媒体。