WO2007129367A1

WO2007129367A1 - 画像合成装置および画像合成方法

Info

Publication number: WO2007129367A1
Application number: PCT/JP2006/308653
Authority: WO
Inventors: Yasunori Tsubaki; Atsushi Tanaka; Toshiyuki Hagiwara; Manami Naitou
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2006-04-25
Filing date: 2006-04-25
Publication date: 2007-11-15
Also published as: EP2012301A4; US20090122081A1; CN101427302A; JP4786712B2; JPWO2007129367A1; HK1130557A1; EP2012301A1; CN101427302B

Abstract

　遷移情報計算部２は画像の遷移効果の移動画素数を計算し、画像生成部３ａは切り捨て移動画素数により計算した画像ファイル１ａ，１ｂの描画元領域を読み出し、切り捨て移動画素数により計算した画像生成バッファ１２ａの描画先領域に書き込み、画像生成部３ｂは切り上げ移動画素数により計算した画像ファイル１ａ，１ｂの描画元領域を読み出し、切り上げ移動画素数により計算した画像生成バッファ１２ｂの描画先領域に書き込み、画像補間合成部４は移動画素数により計算した合成比率に基づき画像生成バッファ１２ａ，１２ｂの各画像データを合成して補間合成バッファ１３に書き込む。

Description

明細書

画像合成装置および画像合成方法

技術分野

[0001] この発明は画像の移動を行い効果的な表示を行う画像合成装置に関するものである。

背景技術

[0002] 近年、表示装置の薄型化や表示装置'コンピュータの価格の低下や性能の向上に伴い、大勢の人々の目に触れる施設や屋外で様々な表示装置にアイキャッチあるいは宣伝広告用の文章、画像、映像といったマルチメディアコンテンツを表示している例を街中でもよく見かけるようになつている。

[0003] コンピュータを使用したコンテンツ表示の利点としては、コンテンツの入れ替えが非常に容易であることが挙げられる。また、コンテンツの表示時間等を設定一つで自由に変えることや、コンテンツの切り替え方法等をプログラムにより自由に設定することも可能であり、コンテンツの提示方法の幅を容易に拡げることができるという利点もある

[0004] このような表示システムの一例としては、店舗の看板等で使用される表示装置に広告ゃ宣伝文を提示するシステムが挙げられる。上記システムでは、多くの静止画像を次々と切り替えたり、表示装置以上に高解像度の画像をスクロールして見せたり、長い宣伝文を画像に変換し、これを移動させながら表示し、画像に効果を与えることで、限られた面積の表示装置上に多くの画像を提示することを可能にし、さらに、より人目を引くことも可能になる。

[0005] 従来の画像合成装置として、複数の画像を構成する画素値を記憶する画像メモリと、上記画素値間の合成比率を記憶するキープレーンと、上記合成比率により上記画素値間の合成を行!、上記画素値間の合成値を出力する画像合成手段と、上記画像メモリと上記キープレーンから上記画像合成手段に、上記画素値及び上記合成比率を読み出すための表示開始アドレスを発生する表示制御手段と、上記表示開始アドレスとは異なるアドレス値を保持するスクロールレジスタと、上記表示開始アドレスと上記スクロールレジスタの保持するアドレスを切り替えるアドレス切り替え手段とを備え、スクロール処理中の 2画像間の境界を任意の形状にするものがある。（例えば、特許文献 1)

[0006] 特許文献 1 :特開平 5— 313645号公報

[0007] 従来の画像合成装置は以上のように構成されているので、画像を移動する際に垂直同期信号 1周期の間に表示装置における整数画素単位の精度でのみ動かすことが可能であるが、垂直同期信号 1周期毎に整数画素単位の精度で動かすため、遷移効果が完了する時間のみに設定可能な遷移時間が制限されてしまい、所望の遷移時間での運用が困難になるという課題があった。

[0008] この発明は上記のような課題を解決するためになされたもので、垂直同期信号 1周期毎に小数画素（以下、サブピクセルと、う）単位の精度での画像の移動を制御し、画像の小数画素（サブピクセル)単位の精度での移動に対応することで、遷移時間をより柔軟に設定できる画像合成装置を得ることを目的とする。

発明の開示

[0009] この発明に係る画像合成装置は、遷移画像の遷移情報としての移動画素数を計算する遷移情報計算部と、上記遷移情報計算部で計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した上記遷移画像中の画像データと上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した上記遷移画像中の画像データとを上記移動画素数に基づく合成比率で合成した合成データを出力する画像合成部とを備えたものである。

[0010] この発明により、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる図面の簡単な説明

[0011] [図 1]この発明の実施の形態 1に係る画像合成装置の構成を示すブロック図である。

[図 2]この発明の実施の形態 1に係る画像合成装置における画像データのスクロール効果の概要を示す説明図である。

[図 3]この発明の実施の形態 1に係る画像合成装置の処理手順を示すフローチャートである。

[図 4]この発明の実施の形態 2に係る画像合成装置の構成を示すブロック図である。

[図 5]この発明の実施の形態 2に係る画像合成装置における画像データのスクロール効果の概要を示す説明図である。

[図 6]この発明の実施の形態 2に係る画像合成装置における画像データのスクロール効果による画面変化を示す説明図である。

圆 7]この発明の実施の形態 2に係る画像合成装置の処理手順を示すフローチャートである。

圆 8]この発明の実施の形態 2に係る画像合成装置の画像生成部の処理を説明する説明図である。

[図 9]この発明の実施の形態 2に係る画像合成装置の各部における画像データの変化の様子を示す説明図である。

[図 10]この発明の実施の形態 2に係る画像合成装置の各部における画像データの輝度値の変化の様子を示す説明図である。

[図 11]この発明の実施の形態 3に係る画像合成装置の構成を示すブロック図である。圆 12]この発明の実施の形態 3に係る出力選択部を備えた画像合成装置の構成を示すブロック図である。

圆 13]この発明の実施の形態 3に係る画像合成装置の処理手順を示すフローチヤ一トである。

[図 14]この発明の実施の形態 3に係る画像合成装置の各部における画像データの変化の様子を示す説明図である。

[図 15]この発明の実施の形態 3に係る画像合成装置の各部における画像データの輝度値の変化の様子を示す説明図である。

[図 16]この発明の実施の形態 4に係る画像合成装置の構成を示すブロック図である。圆 17]この発明の実施の形態 4に係る画像合成装置の処理手順を示すフローチヤ一トである。

[図 18]この発明の実施の形態 5に係る画像合成装置の構成を示すブロック図である。圆 19]この発明の実施の形態 5に係る画像合成装置の処理手順を示すフローチヤ一トである。

[図 20]この発明の実施の形態 6に係る画像合成装置の構成を示すブロック図である。

[図 21]この発明の実施の形態 6に係る画像合成装置の処理手順を示すフローチヤ一トである。

[図 22]この発明の実施の形態 7に係る画像合成装置の構成を示すブロック図である。

[図 23]この発明の実施の形態 7に係る画像合成装置の処理手順を示すフローチヤ一トである。

[図 24]この発明の実施の形態に係る画像合成装置における画像データのスライドィン効果による画面変化を示す説明図である。

[図 25]この発明の実施の形態に係る画像合成装置における画像データのスライドァゥト効果による画面変化を示す説明図である。

[図 26]この発明の実施の形態に係る画像合成装置における画像データのワイプ効果による画面変化を示す説明図である。

[図 27]この発明の実施の形態に係る画像合成装置における画像データのワイプ効果の変形例（1)による画面変化を示す説明図である。

[図 28]この発明の実施の形態に係る画像合成装置における画像データのワイプ効果の変形例（2)による画面変化を示す説明図である。

発明を実施するための最良の形態

[0012] 以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

[0013] 実施の形態 1.

図 1は、この発明の実施の形態 1に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 1つの画像を指定の遷移効果によって遷移させるもので、遷移情報計算部 2と画像合成部 30からなる。画像合成部 30は、画像生成部 3a、 3b 、画像補間合成部 4及び出力制御部 5を備え、画像生成部 3a、 3bおよび画像補間合成部 4からなる。

[0014] この発明の実施の形態 1では、遷移情報計算部 2から画像生成部 3a、 3bおよび画像補間合成部 4に与えられる遷移情報は、画像の移動画素数 mvとする。ここで、移動画素数とは遷移効果によって移動する画像が遷移開始時の位置力移動した画素数を示す。また、描画タイミングは、垂直同期信号と同期するものとすれば、リフレッシュレートが 60Hzのとき、 16. 66 · · ·ミリ禾少毎に生じることになる。

[0015] 次に画像合成装置の動作について説明する。

図 1において、画像ファイル 1は画像データを保持するものであり、遷移させる画像データ 11を含んでおり、画像生成部 3a、 3bへの入力として画像データ 11を与える。例えば画像ファイル 1にバッファを設置できる場合には必要な画像データ 11を抽出してバッファに蓄えてお！、て出力するようにしてもよ!、し、画像合成部 30にバッファを設置できる場合には必要な画像データ 11を抽出して予めノッファに蓄えておいてもよいし、またバッファを設置できない場合には画像ファイル 1から画像合成部 30に逐次画像データ 11を出力してもよい。

遷移情報計算部 2は、画像の移動画素数 mvを計算する。

[0016] 画像生成部 3aは、遷移情報計算部 2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される画像ファイル 1の画像データ 11の第 1の描画元領域部分を入力として得て、この第 1の描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ 12aの第 1の描画先領域部分として出力し、同様に移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づ、て計算される画像ファイル 1の画像データ 11の第 2の描画元領域部分を入力として得て、この第 2の描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ 12aの第 2の描画先領域部分として出力する。この生成データ 12aは、画像生成部 3a内部にバッファを内蔵できる場合には画像データ 11を読み込んで生成して蓄えてから出力するものとし、ノッファを内蔵できな、場合には読み込んで逐次生成しながら出力するものとする。

[0017] 画像生成部 3bは、遷移情報計算部 2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファイル 1の画像データ 11の第 1の描画元領域部分を入力として得て、この第 1の描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ 12bの第 1の描画先領域部分として出力し、同様に移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファイル 1の画像データ 11の第 2の描画元領域部分を入力として得て、この第 2の描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ 12bの第 2の描画先領域部分として出力する。この生成データ 12bは、画像生成部 3b内部にバッファを内蔵できる場合には画像データ 11を読み込んで生成して蓄えてから出力するものとし、ノッファを内蔵できな、場合には読み込んで逐次生成しながら出力するものとする。

[0018] 画像補間合成部 4は、遷移情報計算部 2より得られる画像の移動画素数 mvにより計算した後述の合成比率 fに基づいて、画像生成部 3a、 3bの生成データ 12a、 12b を合成して補間合成データ 13を生成する。この補間合成データ 13は、画像生成部 4 内部にバッファを内蔵できる場合には生成データ 12a、 12bを読み込んで合成して蓄えてから出力するものとし、ノッファを内蔵できな、場合には読み込んで逐次合成しながら出力するものとする。

この補間合成データ 13は、図 1のブロック図に示されるように、画像合成部 30の出力である合成データ 31となる。

[0019] 出力制御部 5は、合成された合成データ 31を受け取り、描画タイミング毎に外部の表示装置 (図示せず)へ出力して表示させる。

遷移情報計算部 2は遷移情報である移動画素数を更新し、画像合成装置は上記動作を繰り返す。

[0020] ここで、例えば、図 2は、右力左にスクロールする遷移効果の概要を (A)方式、（B )方式として示している。（A)方式は、画像データ 11と生成データ 12aのサイズが等しぐ画像データ 11から切り取った左端矩形領域を生成データ 12aの右端矩形領域として貼り合わす方式である。また、（B)方式は、入力される画像データ 11が合成する有効な領域に対して水平方向に十分大きくて、描画元領域を適宜設定しながら切り出してそのまま描画先領域に貼り付ける方式である。これらは画像データ 11と生成データ 12aのサイズの違ヽによる代表的なスクロール実現方式である 1S (B)方式で画像の右端に達したとき、 (A)方式と組み合わせて左端領域を切り出して貼り合わせることも可能である。（B)方式を採る場合、 1枚の画像データ 11の描画元領域、生成データ 12aの描画先領域をそれぞれ 2つに分断して 2段階で生成するため、後述の通りフローチャートの説明が一部異なってくる。

[0021] このように、画像生成部 3a、 3bでは、前段の複数の画像データの描画元領域部分を入力として、対応する描画先領域部分に得ることで、後段でアクセス可能な 1つの生成データ 12a、 12bを構成し出力する。

[0022] 図 3は、この発明の実施の形態 1に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って画像合成装置の処理手順を説明する。

[0023] ステップ ST1にお、て、遷移情報計算部 2は初期の遷移前力の画像の移動画素数 mvを計算する。例えば、移動画素数 mvは、移動が一定速度で行われる場合に、前の描画の際の移動画素数に LVZTを増加させることで得られる。なお、 Lは画像の総移動画素数、 Tは遷移時間、 Vは表示装置の表示画像の更新間隔時間をそれぞれ示す。ここで計算された移動画素数 mvは、予め設定されている遷移効果に基づ、て画像毎の描画元領域及び描画先領域を求める領域計算式情報とともに画像生成部 3a、 3bに通知され、また合成比率を計算するために画像補間合成部 4に通知される。

[0024] ステップ ST2において、図 2の（A)方式、（B)方式ともに、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の第 1の描画元領域及び第 1の描画先領域を求める領域計算式情報から画像生成部 3aにおける切り捨て移動画素数 mv— aを次の式（1)により計算する。

mv― a=floor、mv) (1)

ここで、 "floor (mv) "は、移動画素数 mvを切り捨て整数化する数値関数を示す。

[0025] 次に、計算された切り捨て移動画素数 mv— aのときの画像ファイル 1の画像データ 11に対応する第 1の描画元領域と生成データ 12aに対応する第 1の描画先領域を求め、画像データ 11の第 1の描画元領域部分を入力とし、生成データ 12aの第 1の描画先領域部分に出力する。

[0026] ステップ ST3は先に説明した (A)方式の場合のみ実行するものとする。ステップ ST 3において、ステップ ST2と同様に、画像生成部 3aは、計算された切り捨て移動画素数 mv— aのときの画像ファイル 1の画像データ 11に対する第 2の描画元領域と生成データ 12aに対する第 2の描画先領域を求め、画像データ 11の第 2の描画元領域部分を入力とし、生成データ 12aの第 2の描画先領域部分に出力する。第 2の描画元領域は、ステップ ST2におヽて画像データ 11に対して切り取られた左端矩形領域に相当し、また第 2の描画先領域は、生成データ 12aに対する右端矩形領域に相当する。

[0027] ステップ ST4において、図 2の (A)方式、（B)方式ともに、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の第 1の描画元領域及び第 1の描画先領域を求める領域計算式情報から画像生成部 3bにおける切り上げ移動画素数 mv— bを次の式 (2)により計算する。

mv― b = ceiUmv) (2)

ここで、 "ceil (mv) "は、移動画素数 mvを切り上げ整数化する数値関数を示す。

[0028] 次に、計算された切り上げ移動画素数 mv—bのときの画像ファイル 1の画像データ 11に対応する第 1の描画元領域と生成データ 12bに対応する第 1の描画先領域を求め、画像データ 11の第 1の描画元領域部分を入力とし、生成データ 12bの第 1の描画先領域部分に出力する。

[0029] ステップ ST5は先に説明した (A)方式の場合のみ実行するものとする。ステップ ST 5において、ステップ ST4と同様に、画像生成部 3bは、計算された切り上げ移動画素数 mv—bのときの画像ファイル 1の画像データ 11に対する第 2の描画元領域と生成データ 12bに対する第 2の描画先領域を求め、画像データ 11の第 2の描画元領域部分を入力とし、生成データ 12bの第 2の描画先領域部分に出力する。第 2の描画元領域は、ステップ ST4におヽて画像データ 11に対して切り取られた左端矩形領域に相当し、また第 2の描画先領域は、生成データ 12bに対する右端矩形領域に相当する。

[0030] ここで説明したステップ ST2からステップ ST5は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。

[0031] ステップ ST6にお、て、画像補間合成部 4は、遷移情報計算部 2より得られる移動画素数 mvを用いて、次の式 (3)により合成比率 fを計算する。

f = mv― floor (mv) 3)

[0032] 次に、画像補間合成部 4は、計算した合成比率 fを用いて、次の式 (4)により、生成データ 12aと生成データ 12bを入力としてブレンドし、補間合成データ 13を出力する I' (X, y) = (1 -f) ·Ι (x, y) +f-I (x, y) (4)

a b

ここで、 I' (x, y)は補間合成データ 13における座標 (x, y)の輝度値、 I (x, y)は生

a

成データ 12aにおける座標（X, y)の輝度値、 I (x, y)は生成データ 12bにおける座

b

標 (X, y)の輝度値を示す。

[0033] また、上記式（4)においては、生成データ 12aの I (x, y)、 12bの I (x, y)はバッフ

a b

ァを内蔵して蓄えられたことを前提とした場合の参照の表記であるが、バッファを内蔵しな、場合の参照の表記としては、次式（5)のように示せる。

I' (X, y) = (1 -f) -Kx + floor dnv) , y) +f 'I (x + ceil (mv) , y) (5) ここで、 I (x, y)は画像データ 11における座標 (x, y)の輝度値を示す。ただし、図 2 のように画像の右端に達すると画像の左端から連結する場合、上記式（5)の X座標である x+ floor (mv)および x+ ceil (mv)は画像幅に対する剰余値とする。

[0034] この発明の実施の形態 1では、図 1のブロック図に示すように、この補間合成データ 13は、画像合成部 30の出力である合成データ 31となる。

[0035] 最後に、ステップ ST7において、出力制御部 5は生成された合成データ 31を描画タイミングに同期して表示装置の画面に表示させる。

その後、最初のステップ ST1に戻って、遷移情報計算部 2は遷移情報に相当する移動画素数 mvを更新し、ステップ ST6までの処理を移動画素数が mv=Lになるまで繰り返す。

[0036] 以上のように、この発明の実施の形態 1によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため、画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル）単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。 [0037] なお、この発明の実施の形態 1においては、描画毎に画像ファイル 1から画像データ 11を直接参照するものとして説明しているが、遷移開始前に画像データ 11を画像ノッファにー且格納しておき、描画の際に画像バッファ力も読み出すようにしても同様の効果が得られる。また、同様に画像生成部 3a、 3bの生成データ 12a、 12bや画像補間合成部 4の補間合成データ 13についても、直接出力せずにそれぞれバッファを設けて格納して読み出す構成としても構わない。また、入力される画像ファイル 1が圧縮形式で与えられた場合でも、画像データ 11の参照段階で圧縮を解除してもよいし、あら力じめ圧縮を解除してバッファに格納してぉヽても構わな!/、。

[0038] また、遷移効果は、図 2で示したスクロール効果の他に、後述するスライドイン効果、スライドアウト効果なども挙げられるが、これらは基本的に描画元領域と描画先領域の設定方法を変更することで、この発明の画像合成装置に適用することができる。

[0039] 実施の形態 2.

図 4は、この発明の実施の形態 2に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル la、 lb、遷移情報計算部 2、画像生成部 3a、 3b、画像補間合成部 4及び出力制御部 5を備え、画像生成部 3a、 3bおよび画像補間合成部 4を含む構成範囲を画像合成部 30とする。なお、図において、この発明の実施の形態 1における同一符号は同一または相当のものを示す。

[0040] 図 4において、上記実施の形態 1における図 1との構成の違いは、画像ファイル 1が画像ファイル la、 lbの 2つとなって、それぞれ画像生成部 3a、 3bに入力されることにある。これは、例えば上記実施の形態 1の図 2の（B)方式は、画像が表示範囲より大きい例であつたが、図 5に示すように、その画像が 2つの画像に分割され、それぞれ力描画元領域を得て貼り合わせる場合として説明を行う。

この発明の実施の形態 2では、上記実施の形態 1と同様に、遷移情報計算部 2から画像生成部 3a、 3bおよび画像補間合成部 4に与えられる遷移情報は、画像の移動画素数 mvとする。

[0041] 次に画像合成装置の動作について説明する。

図 4において、画像ファイル la、 lbは、画像データ l la、 l ibを含んでおり、画像生成部 3a、 3bへの入力として画像データ l la、 l ibを与える。この画像データ l la、 11 bは、ノッファを設置できる場合には画像ファイル la、 lbから抽出して蓄えてから出力するものとし、ノッファを設置できない場合には画像ファイル la、 lbから逐次抽出しながら出力するものとする。

遷移情報計算部 2は遷移効果の進行を示す遷移情報に相当する画像の移動画素数 mvを計算する。

[0042] 画像生成部 3aは、遷移情報計算部 2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される画像ファイル laの画像データ 11a の描画元領域部分を入力として得て、描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ 12aの描画先領域部分として出力し、同様に切り捨て移動画素数に基づいて計算される画像ファイル lbの画像データ l ibの描画元領域部分を入力として得て、切り捨て移動画素数に基づいて計算される生成データ 12a の描画先領域部分として出力する。この生成データ 12aは、画像生成部 3a内部にバッファを内蔵できる場合には画像データ l la、 l ibを読み込んで生成して蓄えてから出力するものとし、ノッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。

[0043] 画像生成部 3bは、画像生成部 3aと同様に、遷移情報計算部 2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファィル laの画像データ 11aの描画元領域部分を入力として得て、描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ 12bの描画先領域部分として出力し、同様に切り上げ移動画素数に基づいて計算される画像ファイル lbの画像データ l ibの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ 12bの描画先領域部分として出力する。この生成データ 12bは、画像生成部 3b内部にバッファを内蔵できる場合には画像データ l la、 l ibを読み込んで生成して蓄えてから出力するものとし、ノッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。

[0044] 画像補間合成部 4は、遷移情報計算部 2より得られる遷移情報に相当する画像の移動画素数 mvにより計算した合成比率 fに基づいて、生成データ 12a、 12bを合成して補間合成データ 13を出力する。

この補間合成データ 13は、図 4のブロック図に示されるように、画像合成部 30の出力である合成データ 31となる。

出力制御部 5は、合成された合成データ 31を受け取り、描画タイミング毎に外部の表示装置 (図示せず)へ出力して表示させる。

[0045] また、この発明の実施の形態 2では、具体的な説明の際に、一例として、画像データ 1 laと画像データ 1 lb間で右力左のスクロール効果を 5秒の遷移時間で行う場合の処理につ!ヽて処理手順を説明する。

図 6は、画像データのスクロール効果による画面変化を示す図であり、ここでは、画像データ 1 laから画像データ 1 lbへ右力左にスクロールする場合を示して、る。スクロール効果とは、前に表示されていた画像が次に表示される画像によって画面から押し出されるように見える効果を示す。

[0046] なお、この発明の実施の形態 2で用いる例では、画像データ 1 laと画像データ 1 lb と表示装置の解像度は全て同一で 320 X 48であるものとする。例えば、遷移する際に右力左にスクロールする場合、画像データ 11aの描画元領域が遷移開始時は（0 , 0) (320, 48)であり、画像データ l ibの描画元領域はないが、遷移が進むにつれ画像データ 11aの描画元領域が（n, 0) (320, 48)、画像データ l ibの描画元領域が（0, 0) (n, 48)と変化する。なお、その際、画像データ 11aの描画先領域は（0, 0)一（320— n, 48)、画像データ l ibの描画先領域は（320— n, 0) (320 , 48)となる。そして、画像データ 11 aの描画元領域と描画先領域の面積が 0となるまで繰り返される。これによつて、画像データ 11aが画像データ l ibに左へ押し出されていくように見える。なお、以降、領域の座標を示す場合、 (a, b) - (c, d)と記すが、これは左上座標が (a, b)であり、右下座標が（c, d)である矩形領域を示す。

[0047] 図 7は、この発明の実施の形態 2に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って画像合成装置の処理手順を説明する。

[0048] ステップ ST11において、上記実施の形態 1の図 3のステップ ST1と同様に、遷移情報計算部 2は遷移前力の画像の移動画素数 mvを計算し、予め設定されて!、る画像毎の描画元領域及び描画先領域を求める領域計算式情報と計算した画像の移動画素数 mvを画像生成部 3a、 3bに通知する。

[0049] ステップ ST12からステップ ST15は、上記実施の形態 1の図 3のステップ ST2からステップ ST5における第 1の描画元領域、第 1の描画先領域、第 2の描画元領域、第 2の描画先領域を、この発明の実施の形態 2の画像データ 11aの描画元領域、描画先領域、画像データ l ibの描画元領域、描画先領域に変更した処理に相当する。これら 4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わな、。

[0050] ステップ ST12において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力画像生成部 3aにおける移動画素数 mv— aを上記式（1)により計算して画像ファィル laの画像データ 11aの描画元領域 aと生成データ 12aの描画先領域 aを求め、画像ファイル laの画像データ 11 aの描画元領域 a部分を入力とし、生成データ 12a の描画先領域 a部分として出力する。

[0051] ステップ ST13において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力画像生成部 3aにおける移動画素数 mv— aを上記式（1)により計算して画像ファィル lbの画像データ l ibの描画元領域 bと生成データ 12aの描画先領域 bを求め、画像ファイル lbの画像データ 1 lbの描画元領域 b部分を入力とし、生成データ 12a の描画先領域 b部分として出力する。

[0052] ステップ ST14において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力も画像生成部 3bにおける移動画素数 mv—bを上記式（2)により計算して画像ファィル laの画像データ 11aの描画元領域 aと生成データ 12bの描画先領域 aを求め、画像ファイル laの画像データ 11 aの描画元領域 a部分を入力とし、生成データ 12b の描画先領域 a部分として出力する。

[0053] ステップ ST15において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力も画像生成部 3bにおける移動画素数 mv—bを上記式（2)により計算して画像ファィル lbの画像データ l ibの描画元領域 bと生成データ 12bの描画先領域 bを求め、画像ファイル lbの画像データ 1 lbの描画元領域 b部分を入力とし、生成データ 12b の描画先領域 b部分として出力する。

[0054] 図 8は画像データ l la、 l ibと生成データ 12a、 12bの生成データの関係を説明する図である。ここで、移動画素数 mvから計算された mv— a、 mv—bに基づいて、画像データ 11aからそれぞれ切り出した描画元領域 a部分を生成データ 12a、 12bのそれぞれの描画先領域 a部分へ出力し、また画像データ l ibからそれぞれ切り出した描画元領域 b部分を生成データ 12a、 12bのそれぞれの描画先領域 b部分へ出力する処理が行われることを示して、る。

[0055] 例えば、移動画素数 mvが 7. 466 · · '画素の場合、画像生成部 3aは、画像フアイル laから描画元領域（7, 0) - (320, 48)の画像データ 11aを読み出し、生成データ 12aの描画先領域 (0, 0)一（313, 48)に書き込む。また、画像生成部 3aは、画像ファイル lbから描画元領域 (0, 0) - (7, 48)の画像データ l ibを読み出し、生成データ 12aの描画先領域（313, 0) - (320, 48)に書き込む。

[0056] 同様に、画像生成部 3bは、画像ファイル laから描画元領域（8, 0) (320, 48)の画像データ 11aを読み出し、生成データ 12bの描画先領域 (0, 0) (312, 48)に書き込む。また、画像生成部 3bは、画像ファイル lbから描画元領域 (0, 0) - (8, 48 )の画像データ l ibを読み出し、生成データ 12bの描画先領域（312, 0) - (320, 4 8)に書き込む。

[0057] ステップ ST16において、上記実施の形態 1の図 3のステップ ST6と同様に、画像補間合成部 4は、遷移情報計算部 2より得られる移動画素数 mvを用いて、上記式（3 )により計算される合成比率 fを用いて、上記式 (4)により、生成データ 12aと生成データ 12bとをブレンドし、補間合成データ 13として出力する。

この補間合成データ 13は、図 4のブロック図に示される画像合成部 30の出力である合成データ 31となる。

[0058] 最後に、ステップ ST17において、上記実施の形態 1の図 3のステップ ST7と同様に、出力制御部 5は合成データ 31を描画タイミングに同期して表示装置の画面に表示させる。

[0059] その後、最初のステップ ST11に戻って、遷移情報計算部 2は遷移情報に相当する移動画素数 mvを更新し、ステップ ST17までの処理を移動画素数が mv=Lになるまで繰り返す。

[0060] 次に、図 9及び図 10に基づいて、この発明の実施の形態 2に係る画像合成装置において、移動画素数 mv= 7. 466 · · ·のときに入力された画像データの各処理部から出力される結果の変化を順に説明する。なお、この発明の実施の形態 2では、画像データ 11aと画像データ l ibが同様に移動するため、ここでは 1つの画像データをこの発明の実施の形態 2の場合と同様に遷移する際の変化を示すが、 2つの場合も同様であり、境界では 2つの画像の隣接領域の画素が混ざり合うものとする。

[0061] 図 9はこの発明の実施の形態 2に係る画像合成装置の各部における画像データの変化の様子を輝度値で示している。また、図 10は図 9に示された輝度値をグラフで示したものであり、進行方向である水平方向のある領域の輝度値の変化を示している。図 10 (a)ゝ (b)、（c)、（d)は、それぞれ図 9 (a)、（b)、（c)、（d)と対応している。

[0062] 図 9 (a)とそれをグラフで示した図 10 (a)は画像ファイル la (lb)の画像データ 1 la ( l ib)の例を示している。

図 9 (b)とそれをグラフで示した図 10 (b)は画像生成部 3aにおいて画像ファイル la (lb)から遷移された生成データ 12aで、切り捨て移動画素数 mv—a = 7のときの画像データを示し、ここでは、画像データが水平方向に 7画素移動している。

図 9 (c)とそれをグラフで示した図 10 (c)は画像生成部 3bにおいて画像ファイル la (lb)から遷移された生成データ 12bで、切り上げ移動画素数 mv—b = 8のときの画像データを示し、ここでは、画像データが水平方向に 8画素移動している。

図 9 (d)とそれをグラフで示した図 10 (d)は画像補間合成部 4により補間合成された移動画素数 mv= 7. 466 · · ·のときの補間合成データ 13を示している。ここで、図 9 ( d)の上段は小数座標をとる理想画像データであるが、実際に出力される画素値は整数座標をとる下段の値が出力される。

[0063] これを図 10のグラフで説明すると、移動画素数 mv= 7. 466 · · ·に基づいて、上記式（3)により合成比率 f=0.466···を計算し、図 10 (a)の画像データから、図 10(b )に示す生成データの輝度値 I (X, y)と図 10(c)に示す生成データの輝度値 I (X, y

a b

)と計算した合成比率 fを用いて、上記式 (4)により図 10 (d)に示すブレンド後の補間合成データの輝度値 Γ (X, y)が求められる。

[0064] 図 10(d)において、白い丸で示す点は移動画素数 mv= 7.466· ··のときの補間合成データの理想データにおける輝度値であり、次の式 (6)により求める。

I、x, y) =l(x— mv, y) (oj

ここで、 I (x, y)は理想データにおける座標 (x, y)の輝度値を示す。

[0065] また、図 10(d)において黒い丸で示す点は移動画素数 mv= 7.466· ··のときの画像補間合成部 4における補間合成データの輝度値を示し、理想データの輝度値に対して輝度変化が生じているが、この輝度値の補間合成データが移動画素数 mv =7. 466···のときの合成データとして表示装置に出力される。

[0066] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することのできる柔軟な画像合成装置を実現できる。

[0067] 表示装置には 1画素の矩形内は同一輝度値という物理的な制約があり、表示装置における水平座標 iの画素の輝度値は次の式（7)で示される。

[数 1]

ここで、 I (i)は表示装置にお!、て水平座標値が iの画素に表示される輝度値を示 disp

す。また、画像データを拡大縮小することなく表示装置に表示する場合、 1画素の大きさは表示装置に依存するので、画像データの輝度値も i≤x≤i+lにおいて一定である。

[0068] これに対して、画像データを移動画素数 mv= 7.466·· ·画素だけ右力左に動かした場合、表示装置において画像移動後の水平座標値 iの画素に表示される輝度値 Γ (i)は次の式（8)で求められる。 [数 2]

/»【「 I(x - 7.466...) = (1 - 0.466...) - Ι(χ - 7) + 0.466... · ⁺ Ι(χ - 8) ( 8 )

ここで、 I (χ— 7)は移動画素数 mvの小数点以下を切り捨てた画素数だけ移動させた生成データ 12aの画像データに相当し、 I (x— 8)は移動画素数 mvの小数点以下を切り上げた画素数だけ移動させた生成データ 12bの画像データに相当し、そして、 0. 466 · · ·は小数点以下の合成比率 fに相当する。よって、輝度値 Γ (i)の画像デ

disp

ータは厳密には理想画像データに対する近似画像データであるが、表示装置に表示させる場合、小数画素（サブピクセル)単位の精度で移動させた画像データに相当する。

[0069] 以上のように、この発明の実施の形態 2によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができると!/ヽぅ効果が得られる。

[0070] なお、この発明の実施の形態 2においては、描画毎に各画像ファイル la、 lbから直接画像データを読み出している力遷移開始前に画像ファイル la、 lbの画像データを画像バッファに格納しておき、描画の際に画像バッファ力も読み出すようにしても同様の効果が得られる。

[0071] また、この発明の実施の形態 2においては、各処理部に出力バッファを備えている力これを持たずに、 1画素ずつ画像生成部 3a、 3bと画像補間合成部 4の全てあるいは一部をまとめて計算して出力制御部 5に出力しても同様の効果が得られることは、明らかである。例えば、全ての処理をまとめて計算すると、前記式（5)のようになる。 [0072] 実施の形態 3.

上記実施の形態 2にお、て、小数画素（サブピクセル）単位の精度での移動の際に、画像データの移動方向に垂直な幅 1画素の線、あるいは、周囲との輝度差の大きな 1画素の点が存在する場合には、描画する度に上記領域の周囲の輝度が周期的に変動し、視覚的には線や点の大きさも周期的に変動するように見え、これが画像全体の遷移効果の品質に多大なる影響を与えることがある。そこで、この発明の実施の形態 3では、画像ファイル la、 lbから画像データ l la、 l ibを入力として得る際に、画像データ l la、 l ibを平滑ィ匕することにより、画像データ l la、 l ibを移動方向にぼかすことで、移動方向の両隣接画素同士の輝度差を小さくし、この問題を軽減する画像合成装置について説明する。

[0073] 図 11はこの発明の実施の形態 3に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル la、 lb、遷移情報計算部 2、画像生成部 3a、 3b、画像補間合成部 4、出力制御部 5、描画タイミング情報記憶部 6、平滑化処理部 7a、 7b、遷移効果記憶部 10及びパラメータ制御部 18を備え、パラメータ制御部 18、平滑化処理部 7a、 7b、画像生成部 3a、 3bおよび画像補間合成部 4を含む構成範囲を画像合成部 30とする。なお、図において、上記実施の形態 1および上記実施の形態 2における同一符号は同一または相当のものを示す。

[0074] 図 11において、上記実施の形態 2における図 4との構成の違いは、画像ファイル la 、 lbの画像データ l la、 l ibを平滑ィ匕処理部 7a、 7bで平滑ィ匕して力も画像生成部 3 a、 3bに入力するようにした構成にある。

[0075] また、図 12はこの発明の実施の形態 3に係る画像合成装置の構成の変形例を示すブロック図である。この画像合成装置は、先に説明した図 11の画像合成部 30に相当する破線部の画像補間合成部 4の出力である補間合成データ 13に対して、画像補間合成部 4の直後に出力選択部 8を設けて、補間合成データ 13と画像データ 11a 、 l ibから選択した合成データ 31を表示できるようにした構成にしたものである。

[0076] この発明の実施の形態 3では、上記実施の形態 2と同様に、遷移情報計算部 2から画像生成部 3a、 3bおよび画像補間合成部 4に与えられる遷移情報は、画像の移動画素数 mvとする。

[0077] 次に画像合成装置の動作について出力選択部 8を設けている図 12に基づいて説明する。

図 12において、描画タイミング情報記憶部 6は、出力制御部 5が表示装置に画像データを出力した描画タイミングの識別値である描画タイミング情報を更新して記憶する。

遷移効果記憶部 10は、遷移効果情報を出力する。

遷移情報計算部 2は、描画タイミング情報記憶部 6から描画タイミング情報を取得し、遷移効果記憶部 10より遷移効果情報を取得し、遷移効果が画素の移動を伴う場合は、取得した描画タイミング情報から次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数 mvを計算する。

パラメータ制御部 18は、遷移情報計算部 2から得られる遷移効果の種類に基づき平滑化パラメータを生成する。

[0078] 画像ファイル la、 lbは、画像データ l la、 l ibを含んでおり、平滑化処理部 7a、 7b への入力として画像データ l la、 l ibを与える。

[0079] 平滑化処理部 7a、 7bは、画像ファイル la、 lbから得られる画像データ l la、 l ibにっ、て画像の移動方向に対して、パラメータ制御部 18からの平滑化パラメータによつて進行方向のみの平滑化処理を行い、平滑化データ 14a、 14bを出力する。この平滑化データ 14a、 14bは、平滑化処理部 7a、 7b内部にバッファを内蔵できる場合には画像データ l la、 l ibを読み込んで平滑ィ匕して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次平滑ィ匕しながら出力するものとする。

[0080] 画像生成部 3aは、遷移情報計算部 2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される平滑化データ 14aの描画元領域部分を入力として得て、描画元領域と同様に、切り捨て移動画素数に基づいて計算される生成データ 12aの描画先領域部分として出力し、切り捨て移動画素数に基づいて計算される平滑化データ 14bの描画元領域部分を入力として得て、描画元領域と同様に、切り捨て移動画素数に基づいて計算される生成データ 12aの描画先領域部分として出力する。 [0081] 画像生成部 3bは、遷移情報計算部 2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される平滑ィ匕データ 14aの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ 12bの描画先領域部分として出力し、切り上げ移動画素数に基づいて計算される平滑化データ 14bの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ 12bの描画先領域部分として出力する。

[0082] 画像補間合成部 4は、遷移情報計算部 2より得られる遷移情報により計算した合成比率 fに基づいて、生成データ 12a、 12bを合成して補間合成データ 13として出力する。

[0083] 出力選択部 8は、遷移情報計算部 2より得られる遷移情報に基づき、画像データ 11 aと画像データ l ibと補間合成データ 13のいずれかを選択して出力する。

この出力選択部 8から出力されるデータは、図 12のブロック図に示されるように、画像合成部 30の出力である合成データ 31となる。

ここで、出力選択部 8を備えていない図 11に示される画像合成装置の場合は、画像補間合成部 4の出力である補間合成データ 13が、画像合成部 30の出力である合成データ 31となる。

[0084] 出力制御部 5は、画像合成部 30から出力された合成データ 31を受け取り、描画タイミング毎に表示装置（図示せず)へ出力して表示させ、表示が終了したことを描画タイミング情報記憶部 6に通知する。

[0085] なお、この発明の実施の形態 3の画像合成装置に備えられた遷移効果記憶部 10 は、遷移情報計算部 2が遷移効果記憶部 10の遷移効果情報の記憶機能を内蔵しているときには、上記実施の形態 1および上記実施の形態 2の画像合成装置の構成と同様に、遷移効果記憶部 10を設けずに省略することが可能である。

[0086] この発明の実施の形態 3では、具体的な説明の際に、一例として、上記実施の形態 2と同様に、画像データ 11aと画像データ l ib間で右力左のスクロール効果を 5秒の遷移時間で行う場合の処理にっ、て処理手順にっ、て説明する。

[0087] また、この発明の実施の形態 3では、遷移情報計算部 2から画像生成部 3a、 3bに与えられる遷移情報は、画像データの移動画素数 mvと遷移効果記憶部 10が遷移情報計算部 2に与える遷移効果情報を示す。ここで、遷移効果情報とは、遷移効果の種類と遷移時間、領域計算式情報を示す。遷移効果の種類としては、スクロールや後述するスライドイン、スライドアウト、ワイプ等である。

[0088] なお、この発明の実施の形態 3に係る画像合成装置と接続される表示装置の仕様については、上記実施の形態 2と同様とする。

[0089] 図 13はこの発明の実施の形態 3に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って図 12に基づく画像合成装置の処理手順を説明する。まず、ステップ ST21において、描画タイミング情報記憶部 6は、遷移中において任意の描画時刻の描画が終了した後、描画タイミング情報を更新する。例として、この発明の実施の形態 3では、既に記憶している遷移開始時刻 tと取得した出力制御部

0

5における表示装置への出力時刻 tを描画タイミング情報とする。なお、 1回目の描画を行う前の描画時刻 tは tである。

n 0

[0090] なお、この例では、描画タイミング情報として時刻を使用して、るが、表示回数ゃ垂直同期信号の発生回数を用いた場合でも、遷移時間を描画の回数や垂直同期信号の発生回数力も計算するか、逆に、遷移時間から描画の回数や垂直同期信号の発生回数を描画タイミング情報の単位としても良い。

[0091] ステップ ST22にお、て、遷移情報計算部 2は、描画タイミング情報記憶部 6から描画タイミング情報を取得し、遷移効果記憶部 10から遷移効果情報を取得し、遷移効果が画素の移動を伴う場合は、描画タイミング情報から、上記実施の形態 1の図 3のステップ ST1と同様に、次の描画の際の移動画素数 mvを求める。

[0092] 例えば、移動画素数 mvは、移動が一定速度で行われる場合、次の式（9)により求める。

mv=p 'L (9)

ここで、 pは遷移時間を 100%とした遷移進行率を示す。例として、遷移進行率 pは次の式（10)に基づいて計算することができる。 P = t/T (10)

ここで、 tは次に描画される遷移開始時刻からの相対的な描画予定時刻を示し、次の式（11)により求める。

t=t -t +V (11)

n 0

なお、描画タイミング情報が描画の回数や垂直同期信号の発生回数を単位とする場合、 tは次に描画されたときの描画回数や垂直同期信号の発生回数、 Tは遷移時間内における描画や垂直同期信号の総発生回数としても良い。

[0093] ステップ ST23において、パラメータ制御部 18は遷移情報計算部 2から取得した遷移効果の種類に基づき、平滑化処理部 7a、 7bにおける平滑ィ匕処理による鮮鋭さの劣化度合いを示す平滑ィ匕パラメータを生成する。この平滑ィ匕パラメータとしては、遷移効果の種類による各画像の進行方向に平滑化する M X Nの画素領域から構成される空間フィルタ、あるいは、使用するフィルタを生成するための鮮鋭さの劣化度合いを示す値を使用することができる。

[0094] この発明の実施の形態 3では、水平方向の移動遷移効果であるので、次の式（12) に示す 3 X 1の空間フィルタで、垂直方向への平滑化効果が小さい線形な空間フィルタを平滑ィ匕フィルタとして使用する。

A= (0. 25 0. 5 0. 25) (12)

逆に、垂直方向の移動遷移効果の場合は、上記空間フィルタの行と列を反転させた次の式（13)に示す 1 X 3の空間フィルタで、水平方向に平滑化効果が小さい線形な空間フィルタを平滑ィ匕フィルタとして使用する。

[数 3]

A 0.5 ( 1 3 )

.25

[0095] ここで、 Aはパラメータ制御部 18において、遷移効果の種類に応じて設定される行列式であり、この発明の実施の形態 3では、パラメータ制御部 18は、遷移効果の種類、すなわち、遷移効果の遷移方向に基づき、上記式（12)又は上記式（13)に示す空間フィルタを平滑ィ匕フィルタとして選択する。なお、上記式（12)又は上記式（13)に示す空間フィルタ以外に、効果の大小を問わず、同様あるいは近い効果が得られるフィルタであれば、同様に使用することができ、例示した係数値に限るものではない。また、この発明の実施の形態 3においては、水平方向、垂直方向に移動させる例を説明したが、他の方向である場合でも、平滑化処理部 7a、 7bの使用するフィルタが進行方向に平滑化する場合は同様の効果が得られる。

[0096] なお、パラメータ制御部 18は、遷移情報に基づき、遷移開始時は徐々に平滑化効果を大きくし、その後、一定とし、遷移終了前は徐々に平滑ィ匕効果を小さくすることにより、遷移開始と共に急に画像がぼけるのを避けることができ、より違和感の少ない小数画素（サブピクセル)単位の精度での遷移効果を実現することができる。

[0097] ステップ ST24において、平滑ィ匕処理部 7aは、パラメータ制御部 18より得られる平滑化パラメータに基づいて、画像ファイル laの画像データ 1 1aに、次の式（14)のように畳み込むことにより平滑化を行い、平滑ィ匕データ 14aを出力する。

画

^(x, y) = ∑ A(i, j) - I(x + y + j) ( 1 4 ) ここで、 I (x, y)は平滑化処理部 7aより出力される画像データの座標 (x, y)の輝

LPF

度値、 I (x, y)は平滑ィ匕処理部 7aに入力される画像ファイル laの画像データの座標

(X, y)の輝度値、 Sは次の式（15)を満たす (0, 0)を中心とした矩形領域とする。 i、 j は次のように示される。

- floor (M/2)≤i≤ floor (M/2)

かつ

- floor (N/2)≤j≤floor (N/2) ( 15)

A (i, j)はパラメータ制御部 18より得られる平滑化パラメータである行列式 Aの j行 i 列の値を示す。

この処理によって、画像ファイル laの画像データ 1 1aは進行方向にのみ平滑化される。 [0098] ステップ ST25において、平滑ィ匕処理部 7bは、平滑ィ匕処理部 7aと同様にして、パラメータ制御部 18より得られる平滑ィ匕パラメータに基づいて、画像ファイル lbの画像データ l ibに、上記式（14)のように畳み込むことにより平滑ィ匕を行い、平滑化データ 1 4bを出力する。

この処理によって、画像ファイル lbの画像データ l ibは進行方向にのみ平滑化される。

[0099] ステップ ST26からステップ ST29は、画像生成部 3a、 3bへの入力を、上記実施の形態 2の図 7のステップ ST12からステップ ST15における画像ファイル la、 lbの画像データ l la、 l ibから平滑化処理部 7a、 7bが出力する平滑化データ 14a、 14bに変更した処理に相当する。これら 4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。

[0100] ステップ ST26において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報カゝら画像生成部 3aにおける移動画素数 mv— aが floor (mv)のときの平滑ィ匕データ 1 4aの描画元領域 aと生成データ 12aの描画先領域 aを求め、平滑化データ 14aの描画元領域 a部分を入力として得て、生成データ 12aの描画先領域 a部分として出力する。

[0101] ステップ ST27において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報カゝら画像生成部 3aにおける移動画素数 mv— aが floor (mv)のときの平滑ィ匕データ 1 4bの描画元領域 bと生成データ 12aの描画先領域 bを求め、平滑化データ 14bの描画元領域 b部分を入力として得て、生成データ 12aの描画先領域 b部分として出力する。

[0102] ステップ ST28において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部 3bにおける移動画素数 mv—bが ceil (mv)のときの平滑ィ匕データ 14bの描画元領域 bと生成データ 12bの描画先領域 bを求め、平滑化データ 14bの描画元領域 b部分を入力として得て、生成データ 12bの描画先領域 b部分として出力する。 [0103] ステップ ST29において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部 3bにおける移動画素数 mv—bが ceil (mv)のときの平滑ィ匕データ 14aの描画元領域 aと生成データ 12bの描画先領域 aを求め、平滑化データ 14aの描画元領域 a部分を入力として得て、生成データ 12bの描画先領域 a部分として出力する。

[0104] ステップ ST30において、画像補間合成部 4は、上記実施の形態 2と同様にして、遷移情報計算部 2より得られる移動画素数に基づ、て合成比率 fを計算し、計算した合成比率 fに基づ、て生成データ 12a、 12bをブレンドして補間合成データ 13として出力する。

[0105] ステップ ST31において、出力選択部 8は、遷移情報計算部 2より得られる移動画素数が mv=0の場合は、画像ファイル laの画像データを出力する。また、移動画素数 mv=Lの場合は、画像ファイル lbの画像データを出力する。一方、それ以外の場合は、補間合成データ 13の画像データを出力する。この出力選択部 8の出力は、合成データ 31として出力制御部 5に出力される。

[0106] ステップ ST32において、出力制御部 5は、出力選択部 8から出力された合成データ 31を垂直同期信号に同期して表示装置（図示せず)の画面に表示させ、表示が終了したことを描画タイミング情報記憶部 6に通知する。

その後、ステップ ST21に戻って、再び描画タイミング情報記憶部 6は表示装置への描画時刻を更新し、ステップ ST32までの処理を移動画素数が mv=Lになるまで繰り返す。

[0107] 次に、図 14及び図 15に基づいて、この発明の実施の形態 3に係る画像合成装置において、移動画素数 mv= 7. 466 · · ·のときに入力された画像データの各処理部から出力される結果の変化を順に説明する。

[0108] 図 14はこの発明の実施の形態 3に係る画像合成装置の各部における画像データの変化の様子を輝度値で示している。また、図 15は図 14に示された輝度値をグラフで示したものであり、進行方向である水平方向のある領域の輝度値の変化を示している。図 15 (a)、（b)、（c)、（d)、（e)は、それぞれ図 14 (a)、（b)、（c)、（d)、（e)と対応している。 [0109] 図 14 (a)とそれをグラフに白い丸で示した図 15 (a)は画像ファイル la (lb)の画像データ 11a (lib)の例を示している。

図 14(b)とそれをグラフに黒い丸で示した図 15(b)は平滑化処理部 7a (7b)にお Vヽて画像データ 1 la (1 lb)が平滑ィ匕された平滑ィ匕データ 14a (14b)を示す。ここで使用した平滑化パラメータである行列式は、水平方向への移動であるので、上記式（ 12)に示す行列式とする。

図 14(c)とそれをグラフで示した図 15 (c)は画像生成部 3aにおいて平滑ィ匕データ 14a (14b)を切り捨て移動画素数 mv— a = 7のときの遷移された生成データ 12aを示し、ここでは、画像データが水平方向に 7画素移動している。

図 14(d)とそれをグラフで示した図 15(d)は画像生成部 3bにおいて平滑ィ匕データ 14a (14b)を切り上げ移動画素数 mv— b = 8のときの遷移された生成データ 12bを示し、ここでは、画像データ 11が水平方向に 8画素移動している。

図 14 (e)とそれをグラフで示した図 15 (e)は画像補間合成部 4により補間合成された移動画素数 mv=7.466···のときの補間合成データ 13を示している。ここで、図 14 (e)の上段は小数座標をとる理想画像データであるが、実際に出力される画素値は整数座標をとる下段の値が出力される。

[0110] これを図 15のグラフで説明すると、移動画素数 mv=7.466· · 'に基づいて、上記式（3)により合成比率 f=0.466···を計算し、図 15(b)の平滑ィ匕データの輝度値から図 15 (c)に示す生成データの輝度値 I (X, y)と図 15 (d)に示す生成データの輝度

a

値 I (X, y)と計算した合成比率 fを用いて、上記式 (4)により図 15(e)に示すブレンド b

後の補間合成データの輝度値 (χ, y)が求められる。

[0111] 図 15(e)において、白い丸で示す点は移動画素数 mv= 7.466···のときの補間合成データの理想データにおける輝度値であり、上記式 (6)により求められる。

また、図 15(e)において黒い丸で示す点は移動画素数 mv= 7.466···のときの画像補間合成部 4における補間合成データの輝度値を示し、理想データの輝度値に対して輝度変化が生じているが、この輝度値の補間合成データが移動画素数 mv =7.466···のときの合成データとして表示装置に出力される。

[0112] なお、図 15(c)と図 15 ( より、この発明の実施の形態 3では、小数画素（サブピクセル)移動した画像と整数画素移動した画像と比較すると輝度変化が生じて！/ヽるが、図 15 (c)と図 15 (e)及び上記実施の形態 2の図 10 (b)と図 10 (d)、また図 15 (e)及び上記実施の形態 2の図 10 (d)との比較から、この発明の実施の形態 3の方が上記実施の形態 2よりも輝度変化が大幅に小さくなつており、これに伴い、画像の移動中における周期的な輝度変化を軽減する効果が得られる。

[0113] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる遷移効果の品質劣化を軽減する画像合成装置を実現できる。また、描画タイミング情報記憶部 6 を備えることによって、以前に描画した内容に影響されなくなるため、描画が垂直同期信号 1周期以内に終了せず、次の垂直同期信号を待ってしまった場合でも、予定通りの表示を行うことが可能なため、遷移時間内に遷移効果が終了する画像合成装置を実現できる。さらに、遷移効果記憶部 10を備えることによって、画像の遷移の度に、異なる遷移効果を行うことが可能な画像合成装置を実現できる。

[0114] 以上のように、この発明の実施の形態 3によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができると!/ヽぅ効果が得られる。

[0115] また、この発明の実施の形態 3によれば、平滑化処理部 7a、 7bが平滑ィ匕パラメータを画像データに畳み込むことで画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素 (サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。

[0116] さらに、この発明の実施の形態 3によれば、図 12の画像合成装置のように出力選択部 8を加えることで、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0117] なお、この発明の実施の形態 3において、出力選択部 8を備えない図 11の画像合成装置でも、パラメータ制御部 18において、遷移開始時と遷移終了時の平滑化パラメータにおけるフィルタの成分値を A (0, 0) = 1、 A (i, j) =0 (i≠0かつ j≠0)とすれば、平滑ィ匕効果は得られないので、同様の効果を得ることができることは明らかである。

[0118] また、この発明の実施の形態 3では、描画の度に画像ファイル la、 lbから画像データ l la、 l ibを読み出している力あら力じめ画像ファイル la、 lbから画像データ 11a 、 l ibを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ l la、 l ibを読み出しても同様の効果が得られることは明らかである。また、同様に、平滑化処理部 7a、 7bの平滑化パラメータが遷移中変動しない場合に、あら力じめ画像ファイル la、 lbから画像データ l la、 l ibを読み出し、平滑化処理部 7a、 7bによつてそれぞれ平滑ィ匕された平滑ィ匕データ 14a、 14bを平滑化バッファに記憶しておき、描画の度に平滑化バッファ力も平滑ィ匕データ 14a、 14bを読み出すと、同様の効果が得られるだけでなく、平滑ィ匕処理を遷移開始時のみ行えば良、のでより処理を軽くすることがでさる。

[0119] 実施の形態 4.

この発明の実施の形態 4では、上記実施の形態 3における平滑化処理部 7a、 7bを上記実施の形態 3に係る画像合成装置の構成とは異なる位置に配置した場合の画像合成装置について説明する。

[0120] 図 16は、この発明の実施の形態 4に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル la、 lb、遷移情報計算部 2、画像生成部 3a、 3b、画像補間合成部 4、出力制御部 5、描画タイミング情報記憶部 6、平滑化処理部 7a、 7b及びパラメータ制御部 18を備え、画像生成部 3a、 3b、パラメータ制御部 18、平滑化処理部 7a、 7bおよび画像補間合成部 4を含む構成範囲を画像合成部 30とする。なお、図において、上記実施の形態 1から上記実施の形態 3における同一符号は同一または相当のものを示す。 [0121] 図 16において、上記実施の形態 3における図 11との構成の違いは、平滑化処理部 7a、 7bの平滑化処理の対象を画像生成部 3a、 3bへの入力前の画像データ 1 la、 l ibから画像生成部 3a、 3bが生成した生成データ 12a、 12bとする構成にある。また

、遷移効果記憶部 10を構成力も削除しているが、上記実施の形態 3と同様に構成に加えていても構わない。

[0122] この発明の実施の形態 4では、上記実施の形態 1から上記実施の形態 3と同様に、遷移情報計算部 2から画像生成部 3a、 3bおよび画像補間合成部 4に与えられる遷移情報は、画像の移動画素数 mvとする。

[0123] 次に画像合成装置の動作について説明する。

図 16において、描画タイミング情報記憶部 6は、上記実施の形態 3の図 11と同様に

、出力制御部 5が表示装置に画像データを出力した描画タイミングの識別値である描画タイミング情報を更新して記憶する。

遷移情報計算部 2は、描画タイミング情報記憶部 6から描画タイミング情報を取得し

、取得した描画タイミング情報から次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数 mvを計算する。

ノメータ制御部 18は予め指定された遷移効果の種類に基づき平滑ィ匕パラメータを生成する。

[0124] 画像ファイル la、 lb及び画像生成部 3a、 3bは、それぞれ上記実施の形態 2の図 4 に示す構成と同一である。

平滑化処理部 7a、 7bは、画像生成部 3a、 3bが出力する生成データ 12a、 12bにっ、て画像の移動方向に対して、パラメータ制御部 18からの平滑化パラメータによつて進行方向のみの平滑化処理を行い、平滑化データ 14a、 14bを出力する。

[0125] 画像補間合成部 4は、遷移情報計算部 2より得られる遷移情報により計算した合成比率 fに基づいて、平滑化データ 14a、 14bを合成して補間合成データ 13を出力する。

この補間合成データ 13は、図 16のブロック図に示されるように、画像合成部 30の出力である合成データ 31となる。

出力制御部 5は、図 4と同様に、合成された合成データ 31を受け取り、描画タイミング毎に外部の表示装置（図示せず)へ出力して表示させる。

[0126] なお、この発明の実施の形態 4に係る画像合成装置に接続される表示装置の仕様、及びこの発明の実施の形態 4で説明する遷移効果については、上記実施の形態 2 と同様とする。

[0127] 図 17はこの発明の実施の形態 4に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って画像合成装置の処理手順を説明する。

ステップ ST41の処理は、上記実施の形態 3の図 13に示すステップ ST21の処理と同様に、遷移中において、任意の描画時刻 tの描画が終了した後、描画タイミング情報記憶部 6は描画タイミング情報を更新する。

[0128] ステップ ST42にお、て、遷移情報計算部 2は、描画タイミング情報記憶部 6から描画タイミング情報を取得し、取得した描画タイミング情報力次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数 mvを計算する。

ステップ ST43において、上記実施の形態 3の図 13に示すステップ ST23の処理と同様に、パラメータ制御部 18は予め指定された遷移効果の種類に基づき平滑化パラメータを生成する。

[0129] ステップ ST44、 ST45の処理は、上記実施の形態 2の図 7に示すステップ ST12、

ST13の処理と同一処理を行う。

ステップ ST46において、平滑ィ匕処理部 7aは、パラメータ制御部 18より得られる平滑化パラメータに基づ、て、生成データ 12aに対して上記式（ 14)のように畳み込むことにより平滑ィ匕を行い、平滑ィ匕データ 14aを出力する。この処理によって、生成データ 12aは進行方向にのみ平滑化される。

[0130] ステップ ST47、 ST48の処理は、上記実施の形態 2の図 7に示すステップ ST14、

ST15の処理と同一処理を行う。

ステップ ST49において、平滑ィ匕処理部 7bは、パラメータ制御部 18より得られる平滑化パラメータに基づ、て、画像合成データ 12bに対して上記式（ 14)のように畳み込むことにより平滑化を行い、平滑ィ匕データ 14bを出力する。この処理によって、生成データ 12bは進行方向にのみ平滑化される。

[0131] ここでステップ ST44、 ST45とステップ ST47、 ST48は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わな、。そして画像生成部 3a、 3bで生成データ 12a、 12bが生成されてから、平滑化処理部 7a、 7 bにおいてステップ ST46、 ST49で生成データ 12a、 12bをそれぞれ平滑化処理した平滑化データ 14a、 14bを生成すればよい。

[0132] ステップ ST50にお、て、画像補間合成部 4は、遷移情報計算部 2より得られる移動画素数 mvに基づいて上記実施の形態 2と同様に合成比率 fを計算し、計算した合成比率 fに基づいて平滑ィ匕データ 14a、 14bをブレンドして補間合成データ 13を出力する。

[0133] ステップ ST51の処理は上記実施の形態 2の図 7に示すステップ ST17の処理と同一処理を行う。

その後、上記ステップ ST41に戻って再び描画タイミング情報記憶部 6は表示装置への描画時刻を更新し、ステップ ST51までの処理を移動画素数が mv=Lになるまで繰り返す。

[0134] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、移動方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。

[0135] 以上のように、この発明の実施の形態 4によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができると!/ヽぅ効果が得られる。

[0136] また、この発明の実施の形態 4によれば、平滑化処理部 7a、 7bが平滑ィ匕パラメータを画像データに畳み込むことで画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素 (サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。

[0137] さらに、この発明の実施の形態 4によれば、図 16の画像合成部 30に対して上記実施の形態 3における図 12の画像合成装置と同様に出力選択部 8を加えてもよぐ画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0138] なお、この発明の実施の形態 4では、描画の度に画像ファイル力も画像データを読み出しているが、あらカゝじめ画像ファイル la、 lbから画像データを読み出して画像バッファに記憶し、画像バッファ力も描画の度に画像データを読み出しても同様の効果が得られることは明らかである。

[0139] 実施の形態 5.

この発明の実施の形態 5では、平滑化処理部 7a、 7bが上記実施の形態 3及び上記実施の形態 4に係る画像合成装置の構成位置とは異なる位置にある場合の画像合成装置について説明する。

[0140] 図 18はこの発明の実施の形態 5に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル la、 lb、遷移情報計算部 2、画像生成部 3a、 3b、画像補間合成部 4、出力制御部 5、描画タイミング情報記憶部 6、平滑化処理部 7及びパラメータ制御部 1 8を備え、画像生成部 3a、 3b、画像補間合成部 4、ノメータ制御部 18および平滑化処理部 7を含む構成範囲を画像合成部 30とする。なお、図において、上記実施の形態 1から上記実施の形態 4における同一符号は同一または相当のものを示す。

[0141] なお、図 18に示す画像合成装置は、上記実施の形態 3の図 11に示す画像合成装置から平滑化処理部 7a、 7bを 1個の平滑ィ匕処理部 7とし、その位置を画像補間合成部 4の直後に移動させたものである。

[0142] 図 18において、上記実施の形態 3における図 11との構成の違いは、上記実施の形態 3の画像補間合成部 4の補間合成データ 13を画像合成部 30が出力する合成データ 31としていたが、この発明の実施の形態 5では、異動した平滑化処理部 7で補間合成データ 13を平滑ィ匕処理した平滑ィ匕データ 14を合成データ 31として出力する構成にしたことにある。

[0143] 次に画像合成装置の動作について説明する。

描画タイミング情報記憶部 6、遷移情報計算部 2及びパラメータ制御部 18は、上記実施の形態 4の図 16に示す構成と同一である。また、画像ファイル la、 lb、画像生成部 3a、 3b及び画像補間合成部 4は、上記実施の形態 2の図 4に示す構成と同一である。

[0144] 平滑ィ匕処理部 7は、補間合成データ 13を入力として、画像の移動方向に対して平滑化パラメータに基づき、進行方向のみの平滑ィ匕処理を行い、平滑化データ 14を出力する。

この平滑化データ 14は、図 18のブロック図に示されるように、画像合成部 30の出力である合成データ 31となる。

出力制御部 5は、合成データ 31に格納された画像データを描画タイミング毎に表示装置に出力し、表示が終了したことを描画タイミング情報記憶部 6に通知する。

[0145] 次に動作について説明する。

なお、この発明の実施の形態 5に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態 5で説明する遷移効果については、上記実施の形態 2と同様とする。

[0146] 図 19は、この発明の実施の形態 5に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って画像合成装置の処理手順を説明する。

ステップ ST61の処理は、上記実施の形態 3の図 13に示すステップ ST21の処理と同一処理を行い、遷移中において、任意の描画時刻 tの描画が終了した後、描画タイミング情報記憶部 6は描画タイミング情報を更新する。

[0147] ステップ ST62の処理は、上記実施の形態 3の図 13に示すステップ ST22の処理と同一処理を行う。

ステップ ST63、 ST64の処理は、上記実施の形態 2の図 7に示すステップ ST12、 ST13の処理と同一処理を行う。

ステップ ST65、 ST66の処理は、上記実施の形態 2の図 7に示すステップ ST14、 ST15の処理と同一処理を行う。

[0148] これらステップ ST63からステップ ST66は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。

[0149] ステップ ST67の処理は、上記実施の形態 2の図 7に示すステップ ST16の処理と同一処理を行う。

[0150] ステップ ST68において、パラメータ制御部 18は予め指定された遷移効果の種類に基づき平滑化パラメータを生成する。

ステップ ST69において、平滑ィ匕処理部 7は、パラメータ制御部 18より得られる平滑化パラメータに基づ!/、て、補間合成データ 13に上記式（ 14)のように畳み込むことにより平滑化を行い、平滑ィ匕データ 14を出力する。この処理によって、補間合成データ

13は進行方向にのみ平滑化される。

[0151] ステップ ST70において、出力制御部 5は平滑ィ匕データ 14を垂直同期信号に同期して表示装置の画面に表示させ、表示が終了したことを描画タイミング情報記憶部 6 に通知する。

その後、上記ステップ ST61に戻って、再び描画タイミング情報記憶部 6は表示装置への描画時刻を更新し、ステップ ST70までの処理を移動画素数が mv=Lになるまで繰り返す。

[0152] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。

[0153] 以上のように、この発明の実施の形態 5によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができると!/ヽぅ効果が得られる。

[0154] また、この発明の実施の形態 5によれば、平滑ィ匕処理部 7が平滑ィ匕パラメータを画像データに畳み込むことで画像データを平滑ィヒして各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素（サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。

[0155] さらに、この発明の実施の形態 5によれば、補間合成データ 13の入力を平滑化データ 14に替えることで、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0156] また、この発明の実施の形態 5によれば、図 18の画像合成部 30に対して上記実施の形態 3における図 12の画像合成装置のように出力選択部 8を加えてもよぐ画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0157] なお、この発明の実施の形態 5では、描画の度に画像ファイル la、 lbから画像データを読み出している力あらカゝじめ画像ファイル la、 lbから画像データを読み出して画像バッファに記憶し、画像バッファ力も描画の度に画像データを読み出しても同様の効果が得られることは明らかである。

[0158] 実施の形態 6.

この発明の実施の形態 6では、行列の畳み込み演算で平滑ィヒ処理を行うのではなぐ複数の平滑化用画像生成部と平滑化合成部を用いて画像の描画処理と合成処理で平滑処理を行う場合について説明する。

[0159] 図 20は、この発明の実施の形態 6に係る画像合成装置の平滑ィ匕処理部 7a、 7bの構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像生成部 3a、 3b以降の図示していない部分を含めた平滑化処理部 7a、 7b以外のその他の構成は、上記実施の形態 3の図 12と同一構成をとるちのとする。

[0160] 図 20において、パラメータ制御部 18により与えられる平滑ィ匕パラメータ力上記実施の形態 3と同様に、 M X Nの画素領域力構成される空間フィルタであるとすると、平滑ィ匕処理部 7aは M X N個の平滑ィ匕用画像生成部 151pqと平滑ィ匕合成部 17aを備えている。同様に、平滑ィ匕処理部 7bは M X N個の平滑ィ匕用画像生成部 152pqと平滑ィ匕合成部 17bを備えている。なお、 pは平滑ィ匕パラメータである平滑ィ匕フィルタの対応する行番号、 qは列番号に対応するものとし、 0≤p≤M—l、 0≤q≤N—lとする。

[0161] 次に画像合成装置の平滑化処理部 7a、 7bの動作について説明する。

平滑化用画像生成部 15 lpqは、パラメータ制御部 18からの平滑ィ匕パラメータに基づき計算される画像ファイル laの画像データ 11aの描画元領域部分を入力として得て、描画元領域と同様に、平滑化パラメータに基づいて計算される平滑ィ匕用画像データ 16 lpqの描画先領域部分として出力する。

[0162] 平滑ィ匕用画像生成部 152pqは、パラメータ制御部 18からの平滑ィ匕パラメータに基づき計算される画像ファイル lbの画像データ 1 lbの描画元領域部分を入力として得て、描画元領域と同様に、平滑化パラメータに基づいて計算される平滑ィ匕用画像データ 162pqの描画先領域部分として出力する。

[0163] 平滑ィ匕合成部 17aは、上記平滑ィ匕用画像データ 161pqを平滑化パラメータ力も計算して得た合成比率に基づいて合成した平滑化合成データ 19aを出力する。

同様に、平滑ィ匕合成部 17bは、上記平滑ィ匕用画像データ 162pqを平滑ィ匕パラメ一タから計算して得た合成比率に基づいて合成した平滑化合成データ 19bを出力する

[0164] なお、この発明の実施の形態 6に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態 6で説明する遷移効果については、上記実施の形態 2と同様とする。

[0165] 図 21は、この発明の実施の形態 6に係る画像合成装置の処理手順を示すフローチヤートである。本図に沿って画像合成装置の処理手順を説明する。

ステップ ST81からステップ ST83の処理は、上記実施の形態 3の図 13に示すステップ ST21からステップ ST23と同一処理を行う。

ステップ ST81において、遷移中において任意の描画時刻 tの描画が終了した後、描画タイミング情報記憶部 6は、上記実施の形態 3と同様に、描画タイミング情報を更新する。 [0166] ステップ ST82において、遷移情報計算部 2は、上記実施の形態 3と同様に、描画タイミング情報記憶部 6から描画タイミング情報を取得し、次に描画される時点での移動画素数 mvを計算する。

[0167] ステップ ST83において、パラメータ制御部 18は、上記実施の形態 3と同様に、遷移情報計算部 2から遷移効果の種類と移動画素数を得て平滑化パラメータを生成する。

[0168] ステップ ST84において、平滑ィ匕用画像生成部 151pqは、画像ファイル laの画像データ 1 laがパラメータ制御部 18より得られる平滑化パラメータに基づいた画素数（水平方向に（p— floor (M/2) )画素、垂直方向に（q— floor (N/2) )画素）だけ移動する際の画像ファイル laの画像データ 1 laの描画元領域と描画先領域を求め、それぞれ画像データ 11 aの描画元領域部分を取得し、平滑化用画像データ 16 lpqの描画先領域部分として出力する。 P、 qの全組合せ (M X N通り）について、それぞれ処理を行う。

[0169] ステップ ST85において、平滑ィ匕用画像生成部 152pqは、画像ファイル lbの画像データ 1 lbがパラメータ制御部 18より得られる平滑化パラメータに基づ、た画素数（水平方向に（p— floor (M/2) )画素、垂直方向に（q— floor (N/2) )画素）だけ移動する際の画像ファイル lbの画像データ l ibの描画元領域と描画先領域を求め、それぞれ画像データ 1 lbの描画元領域部分を取得し、平滑化用画像バッファ 162pq の描画先領域部分として出力する。 P、 qの全組合せ (M X N通り）について、それぞれ処理を行う。

[0170] これらステップ ST84とステップ ST85は、 p、 qの値により図面上省略された対応ステツプを含め、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わな、。

[0171] 例えば、平滑ィ匕パラメータが 3 X 1の行列の場合には、次のように、垂直方向への移動はなぐ水平方向にのみ 1画素、 0画素、 + 1画素それぞれ移動した参照範囲の平滑ィ匕用画像データ 161pq、 162pqが出力される。

[0172] 平滑ィ匕用画像生成部 15100は、画像ファイル laから画像データ 11aを取得し、左へ 1画素移動させた平滑ィ匕用画像データ 16100を出力し、平滑化用画像生成部 15 110は、画像ファイル laから画像データ 11aを取得し、そのまま平滑ィ匕用画像データ 16110を出力し、平滑ィ匕用画像生成部 15120は、画像ファイル laから画像データ 1 laを取得し、右へ 1画素移動させた平滑ィ匕用画像データ 16120を出力する。

[0173] 同様に、平滑ィ匕用画像生成部 15200は、画像ファイル lbから画像データ l ibを取得し、左へ 1画素移動させた平滑ィ匕用画像データ 16200を出力し、平滑化用画像生成部 15210は、画像ファイル lb力画像データ l ibを取得し、そのまま平滑ィ匕用画像データ 16210を出力し、平滑ィ匕用画像生成部 15220は、画像ファイル lbから画像データ l ibを取得し、右へ 1画素移動させた平滑ィ匕用画像データ 16220を出力する。

[0174] ステップ ST86において、平滑ィ匕合成部 17aは、平滑化用画像データ 161pqが原画像から移動した移動画素数に対応した成分値 A (p, q)を合成比率として、全ての平滑化用画像データ 16 lpqをブレンドして平滑ィ匕合成データ 19aに書き込む。この処理によって、画像ファイル laの画像データ 11aは進行方向にのみ平滑ィ匕される。

[0175] なお、平滑ィ匕用画像データ 161pqの合成比率 f は、 f =A (p, q)で求めることが

lpq iPQ

でき、出力される平滑ィ匕合成データ 19aは次の式（16)に示すものとなる。

[数 5]

/| ，）= ^ | ' ! 0, )} ( 1 6 ) ここで、 I (X, y)は、平滑ィ匕合成データ 19aの座標 (X, y)の輝度値を示し、 I (x, y)

1 lij は平滑ィ匕用画像データ 16 lijの座標 (x, y)の輝度値を示す。また、 Sは次の式（17) を満たすものとする。

- floor (M/2)≤i≤ (M/2)

かつ

-floor (N/2)≤j≤ (N/2) (17)

[0176] ステップ ST87において、平滑ィ匕合成部 17bは、平滑化用画像データ 162pqが原画像から移動した移動画素数に対応した成分値 A (p, q)を合成比率として、全ての平滑化用画像データ 162pqをブレンドして平滑ィ匕合成データ 19bに書き込む。この処理によって、画像ファイル lbの画像データ l ibは進行方向にのみ平滑ィ匕される。

[0177] なお、平滑ィ匕用画像データ 162pqの合成比率 f は、 f =A (p, q)で求めることが

2pq 2pq

でき、出力される平滑ィ匕合成データ 19bは次の式（18)に示すものとなる。

[数 6] ( ） = ^ {f2,j - l2 (x, y)} ( 1 8 ) ここで、 I (X, y)は、平滑ィ匕合成データ 19bの座標 (X, y)の輝度値を示し、 I (x, y

2 2ij

)は平滑ィ匕用画像データ 162ijの座標 (x, y)の輝度値を示す。また、 Sは上記式（17 )を満たすものとする。

[0178] ステップ ST88からステップ ST91の処理は、平滑化処理部 7a、 7bが出力する画像生成部 3a、 3bへの入力を、上記実施の形態 3の図 13のステップ ST26力もステップ ST29における平滑化データ 14a、 14bから平滑化合成データ 19a、 19bに変更した処理に相当する。これら 4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。

[0179] ステップ ST88において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報カゝら画像生成部 3aにおける移動画素数 mv— aが floor (mv)のときの平滑ィ匕合成データ 19aの描画元領域 aと生成データ 12aの描画先領域 aを求め、平滑化合成データ 19aの描画元領域 a部分を入力として得て、生成データ 12aの描画先領域 a部分として出力する。

[0180] ステップ ST89において、画像生成部 3aは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報カゝら画像生成部 3aにおける移動画素数 mv— aが floor (mv)のときの平滑ィ匕合成データ 19bの描画元領域 bと生成データ 12aの描画先領域 bを求め、平滑化合成データ 19bの描画元領域 b部分を入力として得て、生成データ 12aの描画先領域 b部分として出力する。

[0181] ステップ ST90において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力も画像生成部 3bにおける移動画素数 mv—bが ceil (mv)のときの平滑化合成データ 19bの描画元領域 bと生成データ 12bの描画先領域 bを求め、平滑化合成データ 19bの描画元領域 b部分を入力として得て、生成データ 12bの描画先領域 b部分として出力する。

[0182] ステップ ST91において、画像生成部 3bは、遷移情報計算部 2より与えられる移動画素数 mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報力も画像生成部 3bにおける移動画素数 mv—bが ceil (mv)のときの平滑化合成データ 19aの描画元領域 aと生成データ 12bの描画先領域 aを求め、平滑化合成データ 19aの描画元領域 a部分を入力として得て、生成データ 12bの描画先領域 a部分として出力する。

[0183] ステップ ST92からステップ ST94の処理は、上記実施の形態 3の図 13に示すステップ ST30からステップ ST32と同一処理を行う。

[0184] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。

[0185] 以上のように、この発明の実施の形態 6によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができな、ため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率 fで合成することにより、小数画素（サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができると!/ヽぅ効果が得られる。

[0186] また、この発明の実施の形態 6によれば、平滑化処理部 7a、 7bが、平滑化パラメ一タに基づき計算される画像ファイル la、 lbの画像データ l la、 l ibの描画元領域部分を入力とし、平滑化パラメータに基づき計算される平滑ィ匕用画像データ 161pq、 1 62pqの描画先領域部分として出力し、平滑ィ匕用画像データ 161pq、 162pqを平滑ィ匕パラメータに基づいて計算した合成比率 fに基づいて合成した平滑ィ匕合成データ 19a、 19bを出力することで、画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素（サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。

[0187] さらに、この発明の実施の形態 6によれば、図 20の画像合成部 30に対して上記実施の形態 3における図 12の画像合成装置のように出力選択部 8を加えてもよぐ画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0188] なお、この発明の実施の形態 6では、上記実施の形態 3における平滑ィ匕処理部 7a 、 7bの内部構成を置き換えたが、上記実施の形態 4及び上記実施の形態 5における平滑化処理部 7a、 7bの内部構成を同様に置き換えても、同様の効果を得ることができることは明らかである。

[0189] また、この発明の実施の形態 6では、描画の度に画像ファイル la、 lbから画像データ l la、 l ibを読み出している力あら力じめ画像ファイル la、 lbから画像データ 11a 、 l ibを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ 11a, 1 lbを読み出しても同様の効果が得られることは明らかである。

[0190] さらに、この発明の実施の形態 6では、平滑ィ匕パラメータが固定であれば、あらかじめ画像ファイル la、 lbから画像データ l la、 l ibを取得し、平滑化処理部 7a、 7bによってそれぞれ平滑化された平滑化合成データ 19a、 19bをバッファに記憶しておき、描画の度にバッファ力も平滑ィ匕合成データ 19a、 19bを読み出すと、同様の効果が得られるだけでなぐ平滑ィ匕処理を遷移開始時のみ行えば良、ので描画の際の処理をより軽くすることができる。

[0191] 実施の形態 7.

この発明の実施の形態 7では、上記実施の形態 3から上記実施の形態 6における画像生成部、画像補間合成部、平滑化処理部を画像生成部と画像補間合成部のみを用いて、一度に描画処理と合成処理のみを用いて実現する画像合成装置にっヽて説明する。 [0192] 図 22は、この発明の実施の形態 7に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、 2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル la、 lb、遷移情報計算部 2、画像生成部 3pq、画像補間合成部 4、出力制御部 5、描画タイミング情報記憶部 6及びパラメータ制御部 18を備え、画像生成部 3pq、画像補間合成部 4およびパラメータ制御部 18を含む構成範囲を画像合成部 30とする。なお、図において、上記実施の形態 1から上記実施の形態 4における同一符号は同一または相当のものを示す。

[0193] 図 22において、上記実施の形態 2における図 4との構成の違いは、画像合成部 30 が出力する合成データとしていた上記実施の形態 2の画像補間合成部 4の補間合成データ 13に対して、画像補間合成部 4がパラメータ制御部 18から得られる平滑化パラメータを得ることで平滑ィ匕処理と補間合成処理までを一括して行った補間合成データ 13を出力する構成にしたことにある。

[0194] 次に画像合成装置の動作について説明する。

図 22において、画像生成部 3pqは、遷移情報計算部 2より得られる遷移情報とパラメータ制御部 18から得られる平滑ィ匕パラメータに基づいて計算される画像ファイル 1 aの画像データ 11aの描画元領域部分を入力として、描画元領域と同様に遷移情報と平滑化パラメータに基づいて計算される生成データ 12pqの描画先領域部分として出力し、同様に、遷移情報と平滑ィ匕パラメータに基づいて計算される画像ファイル lb の画像データ l ibの描画元領域部分を入力として、描画元領域と同様に遷移情報と平滑化パラメータに基づいて計算される生成データ 12pqの描画先領域部分として出力する。この生成データ 12pqは、画像生成部 3pq内部にバッファを内蔵できる場合には画像データ l la、 l ibを読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。なお、 pは平滑ィ匕パラメータである平滑ィ匕フィルタの対応する行番号、 qは列番号に対応するものとし、 0≤p≤M、 0≤q≤N— 1とする。ここでは、水平方向へ移動する遷移効果を前提として、るが、垂直方向へ移動する遷移効果をとるときには 0≤ p≤ M 1、 0≤q≤Nとなる。

[0195] 画像補間合成部 4は、遷移情報計算部 2より得られる遷移情報とパラメータ制御部 18より得られる平滑ィ匕パラメータにより計算した合成比率に基づき、生成データ 12p qを合成して補間合成データ 13を出力する。パラメータ制御部 18は、遷移情報計算部 2から得られる遷移効果の種類に基づき平滑化パラメータを生成し、画像生成部 3 pqと画像補間合成部 4に生成した平滑ィ匕パラメータを与える。その他の画像ファイル la、 lb、遷移情報計算部 2、出力制御部 5及び描画タイミング情報記憶部 6は、上記実施の形態 4の図 16に示す構成と同一である。

[0196] 次に動作について説明する。

なお、この発明の実施の形態 7に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態 7で説明する遷移効果については、上記実施の形態 2と同様とする。なお、この発明の実施の形態 7におけるパラメータ制御部 18で構成される平滑化パラメータは M X Nのフィルタとする。

[0197] また、この発明の実施の形態 7に係る画像合成装置では、遷移効果は上記実施の形態 3と同様に、水平方向へ画像が移動する効果であるので、画像生成部 3pqを（ M+ 1) X N個備える。一方、垂直方向へ画像が移動する効果の場合には、画像生成部を M X (N+ 1)個備える。

[0198] 図 23はこの発明の実施の形態 7に係る画像合成装置の処理手順を示すフローチヤートである。

ステップ ST101からステップ ST103の処理は、上記実施の形態 4の図 17に示すステツプ ST41からステップ ST43と同一処理を行う。

ステップ ST101において、遷移中において任意の描画時刻 tの描画が終了した後、描画タイミング情報記憶部 6は、上記実施の形態 4と同様に、描画タイミング情報を更新する。

[0199] ステップ ST102において、遷移情報計算部 2は、上記実施の形態 4と同様に、描画タイミング情報記憶部 6から描画タイミング情報を取得し、次に描画される時点での移動画素数 mvを計算する。

[0200] ステップ ST103において、パラメータ制御部 18は、上記実施の形態 4と同様に、遷移情報計算部 2から遷移効果の種類と移動画素数を得て平滑化パラメータを求める [0201] ステップ ST104において、画像生成部 3pqは、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、遷移効果の移動画素数が、水平方向に floor (mv)— floo r(M/2) +p画素、垂直方向に q— floor (NZ2)画素ずらしたときの画像ファイル la の各描画元領域と生成データ 12pqの描画先領域を求め、画像ファイル laの画像データ 1 laの描画元領域部分を入力として得て、生成データ 12pqの描画先領域部分として出力する。

[0202] ステップ ST105において、画像生成部 3pqは、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、遷移効果の移動画素数が、水平方向に floor (mv) -floo r(M/2) +p画素、垂直方向に q— floor (NZ2)画素ずらしたときの画像ファイル lb の各描画元領域と生成データ 12pqの描画先領域を求め、画像ファイル lbの画像データ libの描画元領域部分を入力として得て、生成データ 12pqの描画先領域部分として出力する。

[0203] これらステップ ST104とステップ ST105は、 p、 qの値により図面上省略された対応ステップを含め、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わな、。

[0204] ステップ ST106にお、て、画像補間合成部 4は、遷移情報計算部 2より得られる移動画素数 mvとパラメータ制御部 18から得られる平滑化パラメータ力も計算した各生成データ 12pqに対する合成比率 f を用い、各生成データ 12pqをブレンドして補間合成データ 13に書き込む。

[0205] なお、生成データ 12pqに対する合成比率 f は、次の式（19)に基づいて求められる。

f =A(-floor(M/2), q-N/2)-(l-f)

0q

f =(A(l-floor(M/2), q-N/2)-(l-f)

lq

+A(-floor(M/2), q-N/2) -f f =A(M-1 -floor (M/2), q-N/2) - (l-f) +A(M-2-floor (M/2)

(M-l)q

, q-N/2) -f

f =A(M-l-floor(M/2), q-N/2) -f (19)

ここで、合成比率 fは上記式（3)で使用したものと同一である。

[0206] 例えば、平滑ィ匕パラメータが 3 X 1の行列の場合を説明する。

画像生成部 300は、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、移動画素数力 Sfloor (mv)— 1のときの画像ファイル la、 lbの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ 1200の描画先領域部分として出力する。なお、垂直方向のずれは N= lなので、 0画素であるから、この計算方法は上記実施の形態 2と同様である。

[0207] 同様に、画像生成部 310は、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、移動画素数が floor (mv)のときの画像ファイル la、 lbの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ 1210の描画先領域部分として出力する。

[0208] 同様に、画像生成部 320は、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、移動画素数が floor (mv) + 1のときの画像ファイル la、 lbの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ 122 0の描画先領域として出力する。

[0209] 同様に、画像生成部 330は、遷移情報計算部 2より与えられる移動画素数 mvに基づいて、移動画素数が floor (mv) + 2のときの画像ファイル la、 lbの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ 123 0の描画先領域として出力する。

[0210] 画像補間合成部 4は、遷移情報計算部 2より得られる移動画素数 mvとパラメータ制御咅 18より得られる平滑ィ匕ノラメ一タカら生成データ 1200、 1210、 1220、 1230の合成比率 f 、 f 、 f 、 f を、次の式（20)に基づいて計算する。

00 10 20 30

f =A (— 1, O) - (l -f)

00

f 二 Α(0， 0) · (1— f) +A (— 1， 0) ·ί

10

f 二 Α(1， 0) ·Α (1— f) +A(0， 0) -f

20

f =A(1, 0) -f

30

f =mv- floor (mv) (20) [0211] 画像補間合成部 4は、生成データ 1200、 1210、 1220、 1230を、次の式（21)に基づいて合成し、補間合成データ 13として出力する。

I' (x, y) =f ·Ι (x, y) +f ·Ι (x, y) +f ·Ι (x, y) +f ·Ι (x, y) (21)

00 00 10 10 20 20 30 30 ここで、 I (χ, y)は入力された生成データ 12qpの座標の輝度値を示し、 Γ (x, y)は出力された画像補間合成データ 13の座標の輝度値を示す。

[0212] ステップ ST107において、出力制御部 5は補間合成データ 13を垂直同期信号に同期して表示装置の画面に表示させる。

その後、ステップ ST101に戻って、再び描画タイミング情報記憶部 6は表示装置への描画時刻を更新し、ステップ ST107の処理を移動画素数が mv=Lになるまで繰り返す。

[0213] このようにして、垂直同期信号 1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。

[0214] 以上のように、この発明の実施の形態 7によれば、上記実施の形態 3から上記実施の形態 6と同様に、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、小数画素（サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと切り上げた分移動した画像データ、及びこれらを中心に上下左右移動した複数の画像データを作成し、それぞれに対応した平滑ィ匕ノメータである平滑ィ匕フィルタの各係数及び遷移情報である移動画素数の小数点以下の合成比率で合成することで、小数画素（サブピクセル)単位の精度での移動と平均化処理を同時に実現することにより、遷移時間の設定制限を解消し、かつ、画像データを平滑ィ匕してコントラストを下げ、小数画素（サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。

[0215] さらに、この発明の実施の形態 7によれば、図 22の画像合成部 30に対して上記実施の形態 3における図 12の画像合成装置のように出力選択部 8を加えてもよぐ画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができると、う効果が得られる。

[0216] なお、この発明の実施の形態 7では、描画の度に画像ファイル la、 lbから画像データ l la、 l ibを読み出している力あら力じめ画像ファイル la、 lbから画像データ 1 la、 l ibを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ l la、 l ibを読み出しても同様の効果が得られることは明らかである。

[0217] また、上記実施の形態 1から上記実施の形態 7では、生成データ、補間合成データ、平滑化データ、平滑化用画像データ、平滑ィ匕合成データは、画像生成部、画像補間合成部、平滑化処理部、平滑化用画像生成部、平滑化合成部にバッファを内蔵して記憶し、読み出して出力しても、バッファを内蔵せずに入力データを逐次処理しな力出力しても同様の効果が得られることは明らかである。

[0218] さらに、上記実施の形態 2から上記実施の形態 7では、画像生成部 3a、 3b、画像補間合成部 4で各描画元領域 ·各描画先領域 ·合成比率を計算して!/、るが、遷移情報計算部 2が各描画元領域 ·各描画先領域 ·合成比率の計算までを行!、、画像生成部 3a、 3b、画像補間合成部 4に移動画素数あるいはそれぞれで必要な各描画元領域 •各描画先領域'合成比率を与えても、同様の効果を得られることは明らかである。

[0219] さらに、上記実施の形態 3から上記実施の形態 7では、パラメータ制御部 18において、遷移効果の種類のみに基づいて平滑ィ匕を適用する方向を決定している力さらに移動画素数の変化に応じて、変化が大きい場合は平滑ィ匕の度合いを大きぐ変化力、さい場合は小さくなるように、描画の度に平滑ィ匕パラメータを変更することによつて、よりその効果を高めることも可能である。

[0220] さらに、上記実施の形態 3から上記実施の形態 5では、平滑ィヒ処理部において画像内で同一の平滑ィ匕パラメータを用いている力入力された画像データにおいて平滑ィ匕を必要としないような周囲の画素との輝度差が小さい画素に関しては平滑ィ匕の度合いを小さくするように平滑ィ匕パラメータを調節することにより、画素単位で平滑ィ匕ノメータの使い分けを行うことで、遷移効果中の画質がより向上させられることも明らかである。

[0221] さらに、上記実施の形態 3から上記実施の形態 6においては、平滑化処理部、画像生成部と画像補間合成部の各処理部を別々に配置しているが、平滑化処理部 7、画像生成部 3a、 3bと画像補間合成部 4の全てあるいは一部をまとめて一度に計算して出力制御部 5に出力しても、同様の効果が得られることは、明らかである。

全てをまとめて計算すると、いずれの実施の形態も次の式（22)と同一式となる。

[数 7]

/' , ） = ( /) ' > . A(i,ゾ.) . I(x + floor(mv) + i,y + j,c) + f - Y A(i, j)■ I(x + ceil(mv) ， + j， c)

( 2 2 ) また、このことから、上記実施の形態 3から上記実施の形態 7に係る画像合成装置は、処理手順は異なる力全て同様の効果を得ることができることも明らかである。

[0222] さらに、上記実施の形態 3において、遷移効果記憶部 10は遷移情報計算部 2に内蔵されてもよいことを説明したが、他の構成として遷移効果記憶部 10は遷移情報計算部 2を経由して遷移効果情報を与えずに直接各処理部に与えても同様の効果が得られることは明らかである。

[0223] さらに、上記実施の形態 1、上記実施の形態 2では、遷移効果記憶部 10及び描画タイミング情報記憶部 6を備えな、画像合成装置につ!、て説明して!/、るが、上記実施の形態 3から上記実施の形態 7と同様に、描画タイミング情報記憶部 6を備えることによって、以前に描画した内容に影響されなくなるため、描画が垂直同期信号 1周期以内に終了せず、次の垂直同期信号を待ってしまった場合でも、予定通りの表示を行うことが可能なため、遷移時間内に遷移効果が終わる画像合成装置を実現できることは明らかである。

[0224] さらに、上記実施の形態 1、上記実施の形態 2では、上記実施の形態 3から上記実施の形態 7と同様に、遷移効果記憶部 10を備えることによって、画像の遷移の度に、異なる遷移効果を行うことが可能な画像合成装置を実現できることも明らかである。さらに、上記実施の形態 1、上記実施の形態 2では、描画タイミング情報記憶部 6を備えた場合でも、上記実施の形態 3から上記実施の形態 7と同様に、画像合成装置を実現できることも明らかである。

[0225] さらに、上記実施の形態 2から上記実施の形態 6では、遷移効果の一つとして 2枚の画像間のスクロールを説明したが、その他の表示矩形の位置が変化する一般的な効果として、スライドイン、スライドアウト等が挙げられる。また、上記以外の遷移効果であっても、画像生成部 3a、 3bが遷移効果に対応した描画元領域と描画先領域を各画像データに対して得ることで、小数画素（サブピクセル)毎に移動する遷移効果を実現することが可能である。

[0226] さらに、画像毎に移動画素数の変位量が異なる場合は、パラメータ制御部 18において、上記実施の形態 4及び上記実施の形態 5では、平滑化処理部 7a、 7bにおいて移動画素数の変位量の同一領域毎に平滑ィ匕処理部 7a、 7bの平滑ィ匕パラメータを使い分けることで、画像ファイル la、 lbの画像データ l la、 l ib毎に移動画素数の異なる遷移効果を実現することができる。また、上記実施の形態 3では、平滑化処理部 7a、 7bが平滑ィ匕を行う画像ファイル la、 lb毎に平滑ィ匕パラメータを使い分けることで、画像ファイル la、 lbの画像データ l la、 1 lb毎に移動画素数の異なる遷移効果を実現することができる。

[0227] 例えば、スライドインの場合、画像データ 11aが動かず、画像データ l ibがスクロールと同様に表示装置の画面に入ってくる。この場合、パラメータ制御部 18が遷移情報計算部 2より得られる遷移情報から画像データ l la、 l ibの各描画先領域を計算、あるいは、前記各描画先領域を遷移情報計算部より取得することにより、画像データ 1 lbが描画されて、る画素のみ進行方向に平滑ィ匕を行うように各画素における平滑化パラメータを設定し、前記平滑化パラメータに基づいて平滑化処理部 7a、 7bが処理を行うことにより、スライドインにおける小数画素（サブピクセル)毎に移動する遷移効果を実現することができる。

[0228] 図 24は画像データ 11 aから画像データ 1 lbへ右から左にスライドインするスライドィン効果による画面変化を示す図である。スライドインとは、前に表示されていた画像の上に、次に表示される画像が新たに差し込まれるように見える効果を示す。なお、上記実施の形態 2におけるスクロールの例と同様に、画像データ 11aと画像データ 1 lbと表示装置の解像度は、全て同一で 320 X 48であるとする。例えば、遷移する際に右力左にスライドインする場合、画像データ 11aの描画元領域が遷移開始時は（ 0, 0) (320, 48)であり、画像データ l ibの描画元領域はないが、遷移が進むにつれて画像データ 11aの描画元領域が（0, 0)一（320— n, 48)、画像データ l ibの描画元領域が（0, 0) (n, 48)と変化する。なお、その際、画像データ 11aの描画先領域は（0, 0)—（320— n, 48)、画像データ l ibの描画先領域は（320— n, 0) (320, 48)となる。そして、画像データ 11aの描画先領域と描画先領域の面積が 0 となるまで繰り返される。これによつて、画像データ 11aの上に、画像データ l ibが新たに差し込まれるように見える。

[0229] スライドアウトの場合は、逆に画像データ 11aが描画されている領域のみ平滑化すれば同様の効果を実現できる。

[0230] 図 25は画像データ 11aから画像データ l ibへ右力左にスライドアウトするスライドアウト効果による画面変化を示す図である。スライドアウトとは、前に表示されていた画像が任意の方向に引き抜かれ、その下力次に表示される画像が現れるように見える効果を示す。なお、上記実施の形態 2におけるスクロールの例と同様に、画像データ 1 laと画像データ 1 lbと表示装置の解像度は、全て同一で 320 X 48であるとする。例えば、遷移する際に右力も左にスライドアウトする場合、画像データ 11aの描画元領域が遷移開始時は (0, 0) (320, 48)であり、画像データ l ibの描画元領域はないが、遷移が進むにつれて画像データ 11aの描画元領域が（n, 0)—（320, 48 )、画像データ l ibの描画元領域が（320— n, 0) - (320, 48)と変化する。なお、その際、画像データ 11aの描画先領域は（0, 0)一（320— n, 48)、画像データ l ibの描画先領域は（320— n, 0) (320, 48)となる。そして、画像データ 11aの描画先領域と描画先領域の面積が 0となるまで繰り返される。これによつて、画像データ 11a が画面から引き抜かれ、画像データ l ibがその下力も現れたように見える。

[0231] なお、ワイプ効果の場合は、画像データ l la、 l ib共に画像の位置は移動しないため、画像の移動に伴う輝度変化は生じない。そのため、上記実施の形態 2における画像合成装置の構成のみで周期的な輝度変化のな、小数画素（サブピクセル)毎に移動する遷移効果が実現可能である。

[0232] 図 26は画像データ 11 aから画像データ 1 lbへ右から左にワイプするワイプ効果による画面変化を示す図である。ワイプとは、前に表示されていた画像を次に表示される画像で順に塗り替えていくように見える効果を示す。なお、上記実施の形態 2におけるスクロールの例と同様に、画像データ 11aと画像データ l ibと表示装置の解像度は、全て同一で 320 X 48であるとする。例えば、遷移する際に右力左にワイプする場合、画像データ 11aの描画元領域が遷移開始時は（0, 0) (320, 48)であり、画像データ 1 lbの描画元領域はな、が、遷移が進むにつれて画像データ 1 laの描画元領域が（0, 0)—（320— n, 48)、画像データ l ibの描画元領域が（320— n, 0) 一 (320, 48)と変化する。なお、その際、画像データ 11aの描画先領域は (0, 0) 一 ( 320-n, 48)、画像データ l ibの描画先領域は（320— n, 0) - (320, 48)となる。そして、画像データ 11aの描画先領域と描画先領域の面積が 0となるまで繰り返される。これによつて、画像データ 11aが画像データ l ibによって徐々に塗り替えていくように見える。なお、ワイプの場合、遷移情報である遷移進行を示す移動画素数は、画像データ l ibにより塗り替えられた行数を示す。

[0233] また、ワイプ効果では、画像内部に開始点を設定して左右へ画像の塗り替えて!/、く図 27や、開始点を左右両端に設定して内部へ塗り替えていく図 28のような複合変形例も容易に実現できる。なお、図 27では内部の開始点力も左右に、それぞれ mv— a Z2の移動画素数で塗り替えを行う例として示しているが、左右均等でなくても構わず、例えば開始点を境界として左右に異なる移動画素数、合成比率で塗り替えを進め、左右端に達した時点でその方向の塗り替えを終了するものとする。また、図 28では左右両端から内部に向力つて、それぞれ mv— aZ2の移動画素数で塗り替えを行う例として示しているが、左右均等でなくても構わず、例えば交差する終了点を境界として左右に異なる移動画素数、合成比率で塗り替えを進め、内部の終了点で交差した時点で塗り替えを終了するものとする。同様に、内部の終了点で左右に分割された画像を左右からスライドインさせて終了点で結合させ、あるいは内部の開始点から画像を左右に分離してスライドアウトさせるような複合変形例についても、内部の開始点または終了点を境界として左右に異なる移動画素数、合成比率で二方向に二系統の合成を行う t ヽぅ考え方で容易に実現できる。

[0234] さらに、上記実施の形態 2から上記実施の形態 7では、 2つの画像間の遷移効果を例に挙げて説明したが、上記実施の形態 1のように 1枚の画像の端力も端をスクロールで表示したり、 1枚以上の画像を繰り返しスクロールしたり、また 3つ以上の画像を連続して遷移させたとしても、上記実施の形態 2、上記実施の形態 4及び上記実施の形態 5の場合は画像数分だけ画像ファイルを、上記実施の形態 3の場合は、画像数分だけ画像ファイル及び平滑化処理部を備え、画像生成部 3a、 3bが遷移効果に対応した描画元領域と描画先領域を各画像データや出力データに対して得て平滑ィ匕を行うことで、同様の効果が得られる。

また、上記実施の形態 1から上記実施の形態 7は、プログラムで、各処理部を実現することでも同様の効果を得られることは明らかである。

Claims

請求の範囲

[1] 画像の遷移情報として移動画素数を計算する遷移情報計算部と、

画像データに基づき上記遷移情報計算部で計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部と

を備えることを特徴とする画像合成装置。

[2] 上記画像合成部は、

上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、

上記画像データに上記平滑化パラメータによる平滑化処理を行い、

この平滑化処理を行った画像データから上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、

この生成データを上記合成比率で合成する

ことを特徴とする請求項 1記載の画像合成装置。

[3] 上記画像合成部は、

上記画像データから上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、

この生成データに上記平滑化パラメータによる平滑化処理を行い、

この平滑ィヒ処理を行った生成データを上記合成比率で合成する

ことを特徴とする請求項 1記載の画像合成装置。

[4] 上記画像合成部は、

上記画像データから生成された上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、

この生成データを上記合成比率で合成し、

この合成した生成データに上記平滑化パラメータによる平滑ィ匕処理を行うことを特徴とする請求項 1記載の画像合成装置。

[5] 上記画像合成部は、

上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第 1の生成データに対する描画先領域部分の生成データとする第 1の画像生成部と、

上記切上げ移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第 2の生成データに対する描画先領域部分の生成データとする第 2の画像生成部と、

上記第 1の画像生成部が生成した上記第 1の生成データおよび上記第 2の画像生成部が生成した上記第 2の生成データを上記合成比率で合成して補間合成データを生成する画像補間合成部を備え、

上記画像補間合成部が生成した上記補間合成データを上記合成画像データとして出力することを特徴とする請求項 1記載の画像合成装置。

[6] 上記画像合成部は、

上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成するパラメータ制御部と、

上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑ィ匕処理を適用した第 1の平滑化画像データを生成する第 1の平滑化処理部と、上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑ィ匕処理を適用した第 2の平滑ィ匕画像データを生成する第 2の平滑ィ匕処理部を備え上記第 1の画像生成部および上記第 2の画像生成部は、上記第 1の平滑化処理部が生成した上記第 1の平滑化データと上記第 2の平滑化処理部が生成した上記第 2 の平滑化データを得て、生成する上記第 1の生成データおよび上記第 2の生成データに対する描画先領域部分の生成データとする

ことを特徴とする請求項 5記載の画像合成装置。

[7] 上記画像合成部は、

上記画像情報計算部から得られる遷移情報に基づき、上記画像データと上記補間合成データのいずれかを選択して出力する出力選択部を備え、

上記出力選択部で選択された出力を合成画像データとする

ことを特徴とする請求項 6記載の画像合成装置。

[8] 上記画像合成部は、

上記第 1の画像生成部が生成した上記第 1の生成画像データを得て、上記パラメ一タ制御部が生成した上記平滑ィヒパラメータにより平滑ィヒ処理を適用した第 1の平滑化データを生成する第 1の平滑化処理部と、

上記第 2の画像生成部が生成した上記第 2の生成画像データを得て、上記パラメ一タ制御部が生成した上記平滑ィヒパラメータにより平滑ィヒ処理を適用した第 2の平滑化データを生成する第 2の平滑化処理部を備え、

上記画像補間合成部は、上記第 1の平滑化処理部が生成した上記第 1の平滑化データと上記第 2の平滑ィ匕処理部が生成した上記第 2の平滑ィ匕データ力上記補間合成データを生成する

ことを特徴とする請求項 5記載の画像合成装置。

[9] 上記画像合成部は、

上記出力選択部で選択された出力を合成画像データとする

ことを特徴とする請求項 8記載の画像合成装置。

[10] 上記画像合成部は、

上記画像補間合成部が生成した上記補間合成データを得て、上記パラメータ制御部が生成した上記平滑ィ匕パラメータにより平滑ィ匕処理を適用して平滑ィ匕データを生成する平滑化処理部を備え、

上記平滑化処理部が生成した上記平滑化データを平滑化された補間合成データとして出力することを特徴とする請求項 5記載の画像合成装置。

[11] 上記画像合成部は、

上記出力選択部で選択された出力を合成画像データとする

ことを特徴とする請求項 10記載の画像合成装置。

[12] 画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、

画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データを生成する第 1の生成ステップと、

上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データを生成する第 2の生成ステップと、

この第 1と第 2の生成ステップで生成された生成データに基づき上記移動画素数力得た合成比率で合成して合成画像データを出力する画像合成ステップとを有することを特徴とする画像合成方法。