JP4786712B2 - 画像合成装置および画像合成方法 - Google Patents

画像合成装置および画像合成方法 Download PDF

Info

Publication number
JP4786712B2
JP4786712B2 JP2008514316A JP2008514316A JP4786712B2 JP 4786712 B2 JP4786712 B2 JP 4786712B2 JP 2008514316 A JP2008514316 A JP 2008514316A JP 2008514316 A JP2008514316 A JP 2008514316A JP 4786712 B2 JP4786712 B2 JP 4786712B2
Authority
JP
Japan
Prior art keywords
image
data
generated
unit
smoothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008514316A
Other languages
English (en)
Other versions
JPWO2007129367A1 (ja
Inventor
泰範 椿
田中  敦
利幸 萩原
麻奈美 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2007129367A1 publication Critical patent/JPWO2007129367A1/ja
Application granted granted Critical
Publication of JP4786712B2 publication Critical patent/JP4786712B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/18Use of a frame buffer in a display terminal, inclusive of the display panel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

【技術分野】
【0001】
この発明は画像の移動を行い効果的な表示を行う画像合成装置に関するものである。
【背景技術】
【0002】
近年、表示装置の薄型化や表示装置・コンピュータの価格の低下や性能の向上に伴い、大勢の人々の目に触れる施設や屋外で様々な表示装置にアイキャッチあるいは宣伝広告用の文章、画像、映像といったマルチメディアコンテンツを表示している例を街中でもよく見かけるようになっている。
【0003】
コンピュータを使用したコンテンツ表示の利点としては、コンテンツの入れ替えが非常に容易であることが挙げられる。また、コンテンツの表示時間等を設定一つで自由に変えることや、コンテンツの切り替え方法等をプログラムにより自由に設定することも可能であり、コンテンツの提示方法の幅を容易に拡げることができるという利点もある。
【0004】
このような表示システムの一例としては、店舗の看板等で使用される表示装置に広告や宣伝文を提示するシステムが挙げられる。上記システムでは、多くの静止画像を次々と切り替えたり、表示装置以上に高解像度の画像をスクロールして見せたり、長い宣伝文を画像に変換し、これを移動させながら表示し、画像に効果を与えることで、限られた面積の表示装置上に多くの画像を提示することを可能にし、さらに、より人目を引くことも可能になる。
【0005】
従来の画像合成装置として、複数の画像を構成する画素値を記憶する画像メモリと、上記画素値間の合成比率を記憶するキープレーンと、上記合成比率により上記画素値間の合成を行い上記画素値間の合成値を出力する画像合成手段と、上記画像メモリと上記キープレーンから上記画像合成手段に、上記画素値及び上記合成比率を読み出すための表示開始アドレスを発生する表示制御手段と、上記表示開始アドレスとは異なるアドレス値を保持するスクロールレジスタと、上記表示開始アドレスと上記スクロールレジスタの保持するアドレスを切り替えるアドレス切り替え手段とを備え、スクロール処理中の2画像間の境界を任意の形状にするものがある。(例えば、特許文献1)
【0006】
【特許文献1】
特開平5−313645号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の画像合成装置は以上のように構成されているので、画像を移動する際に垂直同期信号1周期の間に表示装置における整数画素単位の精度でのみ動かすことが可能であるが、垂直同期信号1周期毎に整数画素単位の精度で動かすため、遷移効果が完了する時間のみに設定可能な遷移時間が制限されてしまい、所望の遷移時間での運用が困難になるという課題があった。
【0008】
この発明は上記のような課題を解決するためになされたもので、垂直同期信号1周期毎に小数画素(以下、サブピクセルという)単位の精度での画像の移動を制御し、画像の小数画素(サブピクセル)単位の精度での移動に対応することで、遷移時間をより柔軟に設定できる画像合成装置を得ることを目的とする。
【課題を解決するための手段】
【0009】
この発明に係る画像合成装置は、遷移画像の遷移情報として移動画素数を計算する遷移情報計算部と、画像データに基づき遷移情報計算部で計算された移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え、画像合成部は、遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、画像データに平滑化パラメータによる平滑化処理を行い、この平滑化処理を行った画像データから切捨て移動画素数および切上げ移動画素数に対応した生成データを生成し、この生成データを上記合成比率で合成するものである。
また、画像の遷移情報として移動画素数を計算する遷移情報計算部と、画像データに基づき遷移情報計算部で計算された移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え、画像合成部は、遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、画像データから切捨て移動画素数および切上げ移動画素数に対応した生成データを生成し、この生成データに平滑化パラメータによる平滑化処理を行い、この平滑化処理を行った生成データを上記合成比率で合成するものである。
また、画像の遷移情報として移動画素数を計算する遷移情報計算部と、画像データに基づき遷移情報計算部で計算された移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え、画像合成部は、遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、画像データから生成された切捨て移動画素数および切上げ移動画素数に対応した生成データを生成し、この生成データを上記合成比率で合成し、この合成した生成データに平滑化パラメータによる平滑化処理を行うものである。
また、この発明に係る画像合成方法は、画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、画像データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、上記平滑化処理を行った画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データを生成する第1の生成ステップと、上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データを生成する第2の生成ステップと、この第1と第2の生成ステップで生成された生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップとを有するものである。
また、画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した第1の生成データを生成する第1の生成ステップと、上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した第2の生成データを生成する第2の生成ステップと、この第1の生成データ及び第2の生成データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、この平滑化処理された第1と第2の生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップとを有するものである。
また、画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した第1の生成データを生成する第1の生成ステップと、上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した第2の生成データを生成する第2の生成ステップと、この第1と第2の生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップと、この合成した第1と第2の生成データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、を有するものである。
【発明の効果】
【0010】
この発明により、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【発明を実施するための最良の形態】
【発明を実施するための最良の形態】
【0011】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
【0012】
実施の形態1.
図1は、この発明の実施の形態1に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、1つの画像を指定の遷移効果によって遷移させるもので、遷移情報計算部2と画像合成部30からなる。画像合成部30は、画像生成部3a、3b、画像補間合成部4及び出力制御部5を備え、画像生成部3a、3bおよび画像補間合成部4からなる。
【0013】
この発明の実施の形態1では、遷移情報計算部2から画像生成部3a、3bおよび画像補間合成部4に与えられる遷移情報は、画像の移動画素数mvとする。ここで、移動画素数とは遷移効果によって移動する画像が遷移開始時の位置から移動した画素数を示す。また、描画タイミングは、垂直同期信号と同期するものとすれば、リフレッシュレートが60Hzのとき、16.66・・・ミリ秒毎に生じることになる。
【0014】
次に画像合成装置の動作について説明する。
図1において、画像ファイル1は画像データを保持するものであり、遷移させる画像データ11を含んでおり、画像生成部3a、3bへの入力として画像データ11を与える。例えば画像ファイル1にバッファを設置できる場合には必要な画像データ11を抽出してバッファに蓄えておいて出力するようにしてもよいし、画像合成部30にバッファを設置できる場合には必要な画像データ11を抽出して予めバッファに蓄えておいてもよいし、またバッファを設置できない場合には画像ファイル1から画像合成部30に逐次画像データ11を出力してもよい。
遷移情報計算部2は、画像の移動画素数mvを計算する。
【0015】
画像生成部3aは、遷移情報計算部2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される画像ファイル1の画像データ11の第1の描画元領域部分を入力として得て、この第1の描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ12aの第1の描画先領域部分として出力し、同様に移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される画像ファイル1の画像データ11の第2の描画元領域部分を入力として得て、この第2の描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ12aの第2の描画先領域部分として出力する。この生成データ12aは、画像生成部3a内部にバッファを内蔵できる場合には画像データ11を読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。
【0016】
画像生成部3bは、遷移情報計算部2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファイル1の画像データ11の第1の描画元領域部分を入力として得て、この第1の描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ12bの第1の描画先領域部分として出力し、同様に移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファイル1の画像データ11の第2の描画元領域部分を入力として得て、この第2の描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ12bの第2の描画先領域部分として出力する。この生成データ12bは、画像生成部3b内部にバッファを内蔵できる場合には画像データ11を読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。
【0017】
画像補間合成部4は、遷移情報計算部2より得られる画像の移動画素数mvにより計算した後述の合成比率fに基づいて、画像生成部3a、3bの生成データ12a、12bを合成して補間合成データ13を生成する。この補間合成データ13は、画像生成部4内部にバッファを内蔵できる場合には生成データ12a、12bを読み込んで合成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次合成しながら出力するものとする。
この補間合成データ13は、図1のブロック図に示されるように、画像合成部30の出力である合成データ31となる。
【0018】
出力制御部5は、合成された合成データ31を受け取り、描画タイミング毎に外部の表示装置(図示せず)へ出力して表示させる。
遷移情報計算部2は遷移情報である移動画素数を更新し、画像合成装置は上記動作を繰り返す。
【0019】
ここで、例えば、図2は、右から左にスクロールする遷移効果の概要を(A)方式、(B)方式として示している。(A)方式は、画像データ11と生成データ12aのサイズが等しく、画像データ11から切り取った左端矩形領域を生成データ12aの右端矩形領域として貼り合わす方式である。また、(B)方式は、入力される画像データ11が合成する有効な領域に対して水平方向に十分大きくて、描画元領域を適宜設定しながら切り出してそのまま描画先領域に貼り付ける方式である。これらは画像データ11と生成データ12aのサイズの違いによる代表的なスクロール実現方式であるが、(B)方式で画像の右端に達したとき、(A)方式と組み合わせて左端領域を切り出して貼り合わせることも可能である。(B)方式を採る場合、1枚の画像データ11の描画元領域、生成データ12aの描画先領域をそれぞれ2つに分断して2段階で生成するため、後述の通りフローチャートの説明が一部異なってくる。
【0020】
このように、画像生成部3a、3bでは、前段の複数の画像データの描画元領域部分を入力として、対応する描画先領域部分に得ることで、後段でアクセス可能な1つの生成データ12a、12bを構成し出力する。
【0021】
図3は、この発明の実施の形態1に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って画像合成装置の処理手順を説明する。
【0022】
ステップST1において、遷移情報計算部2は初期の遷移前からの画像の移動画素数mvを計算する。例えば、移動画素数mvは、移動が一定速度で行われる場合に、前の描画の際の移動画素数にLV/Tを増加させることで得られる。なお、Lは画像の総移動画素数、Tは遷移時間、Vは表示装置の表示画像の更新間隔時間をそれぞれ示す。ここで計算された移動画素数mvは、予め設定されている遷移効果に基づいて画像毎の描画元領域及び描画先領域を求める領域計算式情報とともに画像生成部3a、3bに通知され、また合成比率を計算するために画像補間合成部4に通知される。
【0023】
ステップST2において、図2の(A)方式、(B)方式ともに、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の第1の描画元領域及び第1の描画先領域を求める領域計算式情報から画像生成部3aにおける切り捨て移動画素数mv_aを次の式(1)により計算する。
mv_a=floor(mv) (1)
ここで、“floor(mv)”は、移動画素数mvを切り捨て整数化する数値関数を示す。
【0024】
次に、計算された切り捨て移動画素数mv_aのときの画像ファイル1の画像データ11に対応する第1の描画元領域と生成データ12aに対応する第1の描画先領域を求め、画像データ11の第1の描画元領域部分を入力とし、生成データ12aの第1の描画先領域部分に出力する。
【0025】
ステップST3は先に説明した(A)方式の場合のみ実行するものとする。ステップST3において、ステップST2と同様に、画像生成部3aは、計算された切り捨て移動画素数mv_aのときの画像ファイル1の画像データ11に対する第2の描画元領域と生成データ12aに対する第2の描画先領域を求め、画像データ11の第2の描画元領域部分を入力とし、生成データ12aの第2の描画先領域部分に出力する。第2の描画元領域は、ステップST2において画像データ11に対して切り取られた左端矩形領域に相当し、また第2の描画先領域は、生成データ12aに対する右端矩形領域に相当する。
【0026】
ステップST4において、図2の(A)方式、(B)方式ともに、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の第1の描画元領域及び第1の描画先領域を求める領域計算式情報から画像生成部3bにおける切り上げ移動画素数mv_bを次の式(2)により計算する。
mv_b=ceil(mv) (2)
ここで、“ceil(mv)”は、移動画素数mvを切り上げ整数化する数値関数を示す。
【0027】
次に、計算された切り上げ移動画素数mv_bのときの画像ファイル1の画像データ11に対応する第1の描画元領域と生成データ12bに対応する第1の描画先領域を求め、画像データ11の第1の描画元領域部分を入力とし、生成データ12bの第1の描画先領域部分に出力する。
【0028】
ステップST5は先に説明した(A)方式の場合のみ実行するものとする。ステップST5において、ステップST4と同様に、画像生成部3bは、計算された切り上げ移動画素数mv_bのときの画像ファイル1の画像データ11に対する第2の描画元領域と生成データ12bに対する第2の描画先領域を求め、画像データ11の第2の描画元領域部分を入力とし、生成データ12bの第2の描画先領域部分に出力する。第2の描画元領域は、ステップST4において画像データ11に対して切り取られた左端矩形領域に相当し、また第2の描画先領域は、生成データ12bに対する右端矩形領域に相当する。
【0029】
ここで説明したステップST2からステップST5は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0030】
ステップST6において、画像補間合成部4は、遷移情報計算部2より得られる移動画素数mvを用いて、次の式(3)により合成比率fを計算する。
f=mv−floor(mv) (3)
【0031】
次に、画像補間合成部4は、計算した合成比率fを用いて、次の式(4)により、生成データ12aと生成データ12bを入力としてブレンドし、補間合成データ13を出力する。
I’(x,y)=(1−f)・Ia(x,y)+f・Ib(x,y) (4)
ここで、I’(x,y)は補間合成データ13における座標(x,y)の輝度値、Ia(x,y)は生成データ12aにおける座標(x,y)の輝度値、Ib(x,y)は生成データ12bにおける座標(x,y)の輝度値を示す。
【0032】
また、上記式(4)においては、生成データ12aのIa(x,y)、12bのIb(x,y)はバッファを内蔵して蓄えられたことを前提とした場合の参照の表記であるが、バッファを内蔵しない場合の参照の表記としては、次式(5)のように示せる。
I’(x,y)=(1−f)・I(x+floor(mv),y)+f・I(x+ceil(mv),y) (5)
ここで、I(x,y)は画像データ11における座標(x,y)の輝度値を示す。ただし、図2のように画像の右端に達すると画像の左端から連結する場合、上記式(5)のx座標であるx+floor(mv)およびx+ceil(mv)は画像幅に対する剰余値とする。
【0033】
この発明の実施の形態1では、図1のブロック図に示すように、この補間合成データ13は、画像合成部30の出力である合成データ31となる。
【0034】
最後に、ステップST7において、出力制御部5は生成された合成データ31を描画タイミングに同期して表示装置の画面に表示させる。
その後、最初のステップST1に戻って、遷移情報計算部2は遷移情報に相当する移動画素数mvを更新し、ステップST6までの処理を移動画素数がmv=Lになるまで繰り返す。
【0035】
以上のように、この発明の実施の形態1によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため、画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0036】
なお、この発明の実施の形態1においては、描画毎に画像ファイル1から画像データ11を直接参照するものとして説明しているが、遷移開始前に画像データ11を画像バッファに一旦格納しておき、描画の際に画像バッファから読み出すようにしても同様の効果が得られる。また、同様に画像生成部3a、3bの生成データ12a、12bや画像補間合成部4の補間合成データ13についても、直接出力せずにそれぞれバッファを設けて格納して読み出す構成としても構わない。また、入力される画像ファイル1が圧縮形式で与えられた場合でも、画像データ11の参照段階で圧縮を解除してもよいし、あらかじめ圧縮を解除してバッファに格納しておいても構わない。
【0037】
また、遷移効果は、図2で示したスクロール効果の他に、後述するスライドイン効果、スライドアウト効果なども挙げられるが、これらは基本的に描画元領域と描画先領域の設定方法を変更することで、この発明の画像合成装置に適用することができる。
【0038】
実施の形態2.
図4は、この発明の実施の形態2に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル1a、1b、遷移情報計算部2、画像生成部3a、3b、画像補間合成部4及び出力制御部5を備え、画像生成部3a、3bおよび画像補間合成部4を含む構成範囲を画像合成部30とする。なお、図において、この発明の実施の形態1における同一符号は同一または相当のものを示す。
【0039】
図4において、上記実施の形態1における図1との構成の違いは、画像ファイル1が画像ファイル1a、1bの2つとなって、それぞれ画像生成部3a、3bに入力されることにある。これは、例えば上記実施の形態1の図2の(B)方式は、画像が表示範囲より大きい例であったが、図5に示すように、その画像が2つの画像に分割され、それぞれから描画元領域を得て貼り合わせる場合として説明を行う。
この発明の実施の形態2では、上記実施の形態1と同様に、遷移情報計算部2から画像生成部3a、3bおよび画像補間合成部4に与えられる遷移情報は、画像の移動画素数mvとする。
【0040】
次に画像合成装置の動作について説明する。
図4において、画像ファイル1a、1bは、画像データ11a、11bを含んでおり、画像生成部3a、3bへの入力として画像データ11a、11bを与える。この画像データ11a、11bは、バッファを設置できる場合には画像ファイル1a、1bから抽出して蓄えてから出力するものとし、バッファを設置できない場合には画像ファイル1a、1bから逐次抽出しながら出力するものとする。
遷移情報計算部2は遷移効果の進行を示す遷移情報に相当する画像の移動画素数mvを計算する。
【0041】
画像生成部3aは、遷移情報計算部2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される画像ファイル1aの画像データ11aの描画元領域部分を入力として得て、描画元領域と同様に切り捨て移動画素数に基づいて計算される生成データ12aの描画先領域部分として出力し、同様に切り捨て移動画素数に基づいて計算される画像ファイル1bの画像データ11bの描画元領域部分を入力として得て、切り捨て移動画素数に基づいて計算される生成データ12aの描画先領域部分として出力する。この生成データ12aは、画像生成部3a内部にバッファを内蔵できる場合には画像データ11a、11bを読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。
【0042】
画像生成部3bは、画像生成部3aと同様に、遷移情報計算部2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される画像ファイル1aの画像データ11aの描画元領域部分を入力として得て、描画元領域と同様に切り上げ移動画素数に基づいて計算される生成データ12bの描画先領域部分として出力し、同様に切り上げ移動画素数に基づいて計算される画像ファイル1bの画像データ11bの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ12bの描画先領域部分として出力する。この生成データ12bは、画像生成部3b内部にバッファを内蔵できる場合には画像データ11a、11bを読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。
【0043】
画像補間合成部4は、遷移情報計算部2より得られる遷移情報に相当する画像の移動画素数mvにより計算した合成比率fに基づいて、生成データ12a、12bを合成して補間合成データ13を出力する。
この補間合成データ13は、図4のブロック図に示されるように、画像合成部30の出力である合成データ31となる。
出力制御部5は、合成された合成データ31を受け取り、描画タイミング毎に外部の表示装置(図示せず)へ出力して表示させる。
遷移情報計算部2は遷移情報である移動画素数を更新し、画像合成装置は上記動作を繰り返す。
【0044】
また、この発明の実施の形態2では、具体的な説明の際に、一例として、画像データ11aと画像データ11b間で右から左のスクロール効果を5秒の遷移時間で行う場合の処理について処理手順を説明する。
図6は、画像データのスクロール効果による画面変化を示す図であり、ここでは、画像データ11aから画像データ11bへ右から左にスクロールする場合を示している。スクロール効果とは、前に表示されていた画像が次に表示される画像によって画面から押し出されるように見える効果を示す。
【0045】
なお、この発明の実施の形態2で用いる例では、画像データ11aと画像データ11bと表示装置の解像度は全て同一で320×48であるものとする。例えば、遷移する際に右から左にスクロールする場合、画像データ11aの描画元領域が遷移開始時は(0,0)−(320,48)であり、画像データ11bの描画元領域はないが、遷移が進むにつれ画像データ11aの描画元領域が(n,0)−(320,48)、画像データ11bの描画元領域が(0,0)−(n,48)と変化する。なお、その際、画像データ11aの描画先領域は(0,0)−(320−n,48)、画像データ11bの描画先領域は(320−n,0)−(320,48)となる。そして、画像データ11aの描画元領域と描画先領域の面積が0となるまで繰り返される。これによって、画像データ11aが画像データ11bに左へ押し出されていくように見える。なお、以降、領域の座標を示す場合、(a,b)−(c,d)と記すが、これは左上座標が(a,b)であり、右下座標が(c,d)である矩形領域を示す。
【0046】
図7は、この発明の実施の形態2に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って画像合成装置の処理手順を説明する。
【0047】
ステップST11において、上記実施の形態1の図3のステップST1と同様に、遷移情報計算部2は遷移前からの画像の移動画素数mvを計算し、予め設定されている画像毎の描画元領域及び描画先領域を求める領域計算式情報と計算した画像の移動画素数mvを画像生成部3a、3bに通知する。
【0048】
ステップST12からステップST15は、上記実施の形態1の図3のステップST2からステップST5における第1の描画元領域、第1の描画先領域、第2の描画元領域、第2の描画先領域を、この発明の実施の形態2の画像データ11aの描画元領域、描画先領域、画像データ11bの描画元領域、描画先領域に変更した処理に相当する。これら4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0049】
ステップST12において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aを上記式(1)により計算して画像ファイル1aの画像データ11aの描画元領域aと生成データ12aの描画先領域aを求め、画像ファイル1aの画像データ11aの描画元領域a部分を入力とし、生成データ12aの描画先領域a部分として出力する。
【0050】
ステップST13において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aを上記式(1)により計算して画像ファイル1bの画像データ11bの描画元領域bと生成データ12aの描画先領域bを求め、画像ファイル1bの画像データ11bの描画元領域b部分を入力とし、生成データ12aの描画先領域b部分として出力する。
【0051】
ステップST14において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bを上記式(2)により計算して画像ファイル1aの画像データ11aの描画元領域aと生成データ12bの描画先領域aを求め、画像ファイル1aの画像データ11aの描画元領域a部分を入力とし、生成データ12bの描画先領域a部分として出力する。
【0052】
ステップST15において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bを上記式(2)により計算して画像ファイル1bの画像データ11bの描画元領域bと生成データ12bの描画先領域bを求め、画像ファイル1bの画像データ11bの描画元領域b部分を入力とし、生成データ12bの描画先領域b部分として出力する。
【0053】
図8は画像データ11a、11bと生成データ12a、12bの生成データの関係を説明する図である。ここで、移動画素数mvから計算されたmv_a、mv_bに基づいて、画像データ11aからそれぞれ切り出した描画元領域a部分を生成データ12a、12bのそれぞれの描画先領域a部分へ出力し、また画像データ11bからそれぞれ切り出した描画元領域b部分を生成データ12a、12bのそれぞれの描画先領域b部分へ出力する処理が行われることを示している。
【0054】
例えば、移動画素数mvが7.466・・・画素の場合、画像生成部3aは、画像ファイル1aから描画元領域(7,0)−(320,48)の画像データ11aを読み出し、生成データ12aの描画先領域(0,0)−(313,48)に書き込む。また、画像生成部3aは、画像ファイル1bから描画元領域(0,0)−(7,48)の画像データ11bを読み出し、生成データ12aの描画先領域(313,0)−(320,48)に書き込む。
【0055】
同様に、画像生成部3bは、画像ファイル1aから描画元領域(8,0)−(320,48)の画像データ11aを読み出し、生成データ12bの描画先領域(0,0)−(312,48)に書き込む。また、画像生成部3bは、画像ファイル1bから描画元領域(0,0)−(8,48)の画像データ11bを読み出し、生成データ12bの描画先領域(312,0)−(320,48)に書き込む。
【0056】
ステップST16において、上記実施の形態1の図3のステップST6と同様に、画像補間合成部4は、遷移情報計算部2より得られる移動画素数mvを用いて、上記式(3)により計算される合成比率fを用いて、上記式(4)により、生成データ12aと生成データ12bとをブレンドし、補間合成データ13として出力する。
この補間合成データ13は、図4のブロック図に示される画像合成部30の出力である合成データ31となる。
【0057】
最後に、ステップST17において、上記実施の形態1の図3のステップST7と同様に、出力制御部5は合成データ31を描画タイミングに同期して表示装置の画面に表示させる。
【0058】
その後、最初のステップST11に戻って、遷移情報計算部2は遷移情報に相当する移動画素数mvを更新し、ステップST17までの処理を移動画素数がmv=Lになるまで繰り返す。
【0059】
次に、図9及び図10に基づいて、この発明の実施の形態2に係る画像合成装置において、移動画素数mv=7.466・・・のときに入力された画像データの各処理部から出力される結果の変化を順に説明する。なお、この発明の実施の形態2では、画像データ11aと画像データ11bが同様に移動するため、ここでは1つの画像データをこの発明の実施の形態2の場合と同様に遷移する際の変化を示すが、2つの場合も同様であり、境界では2つの画像の隣接領域の画素が混ざり合うものとする。
【0060】
図9はこの発明の実施の形態2に係る画像合成装置の各部における画像データの変化の様子を輝度値で示している。また、図10は図9に示された輝度値をグラフで示したものであり、進行方向である水平方向のある領域の輝度値の変化を示している。図10(a)、(b)、(c)、(d)は、それぞれ図9(a)、(b)、(c)、(d)と対応している。
【0061】
図9(a)とそれをグラフで示した図10(a)は画像ファイル1a(1b)の画像データ11a(11b)の例を示している。
図9(b)とそれをグラフで示した図10(b)は画像生成部3aにおいて画像ファイル1a(1b)から遷移された生成データ12aで、切り捨て移動画素数mv_a=7のときの画像データを示し、ここでは、画像データが水平方向に7画素移動している。
図9(c)とそれをグラフで示した図10(c)は画像生成部3bにおいて画像ファイル1a(1b)から遷移された生成データ12bで、切り上げ移動画素数mv_b=8のときの画像データを示し、ここでは、画像データが水平方向に8画素移動している。
図9(d)とそれをグラフで示した図10(d)は画像補間合成部4により補間合成された移動画素数mv=7.466・・・のときの補間合成データ13を示している。ここで、図9(d)の上段は小数座標をとる理想画像データであるが、実際に出力される画素値は整数座標をとる下段の値が出力される。
【0062】
これを図10のグラフで説明すると、移動画素数mv=7.466・・・に基づいて、上記式(3)により合成比率f=0.466・・・を計算し、図10(a)の画像データから、図10(b)に示す生成データの輝度値Ia(x,y)と図10(c)に示す生成データの輝度値Ib(x,y)と計算した合成比率fを用いて、上記式(4)により図10(d)に示すブレンド後の補間合成データの輝度値I’(x,y)が求められる。
【0063】
図10(d)において、白い丸で示す点は移動画素数mv=7.466・・・のときの補間合成データの理想データにおける輝度値であり、次の式(6)により求める。
r(x,y)=I(x−mv,y) (6)
ここで、Ir(x,y)は理想データにおける座標(x,y)の輝度値を示す。
【0064】
また、図10(d)において黒い丸で示す点は移動画素数mv=7.466・・・のときの画像補間合成部4における補間合成データの輝度値を示し、理想データの輝度値に対して輝度変化が生じているが、この輝度値の補間合成データが移動画素数mv=7.466・・・のときの合成データとして表示装置に出力される。
【0065】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することのできる柔軟な画像合成装置を実現できる。
【0066】
表示装置には1画素の矩形内は同一輝度値という物理的な制約があり、表示装置における水平座標iの画素の輝度値は次の式(7)で示される。
【数1】
Figure 0004786712
ここで、Idisp(i)は表示装置において水平座標値がiの画素に表示される輝度値を示す。また、画像データを拡大縮小することなく表示装置に表示する場合、1画素の大きさは表示装置に依存するので、画像データの輝度値もi≦x≦i+1において一定である。
【0067】
これに対して、画像データを移動画素数mv=7.466・・・画素だけ右から左に動かした場合、表示装置において画像移動後の水平座標値iの画素に表示される輝度値I’disp(i)は次の式(8)で求められる。
【数2】
Figure 0004786712
ここで、I(x−7)は移動画素数mvの小数点以下を切り捨てた画素数だけ移動させた生成データ12aの画像データに相当し、I(x−8)は移動画素数mvの小数点以下を切り上げた画素数だけ移動させた生成データ12bの画像データに相当し、そして、0.466・・・は小数点以下の合成比率fに相当する。よって、輝度値I’disp(i)の画像データは厳密には理想画像データに対する近似画像データであるが、表示装置に表示させる場合、小数画素(サブピクセル)単位の精度で移動させた画像データに相当する。
【0068】
以上のように、この発明の実施の形態2によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0069】
なお、この発明の実施の形態2においては、描画毎に各画像ファイル1a、1bから直接画像データを読み出しているが、遷移開始前に画像ファイル1a、1bの画像データを画像バッファに格納しておき、描画の際に画像バッファから読み出すようにしても同様の効果が得られる。
【0070】
また、この発明の実施の形態2においては、各処理部に出力バッファを備えているが、これを持たずに、1画素ずつ画像生成部3a、3bと画像補間合成部4の全てあるいは一部をまとめて計算して出力制御部5に出力しても同様の効果が得られることは、明らかである。例えば、全ての処理をまとめて計算すると、前記式(5)のようになる。
【0071】
実施の形態3.
上記実施の形態2において、小数画素(サブピクセル)単位の精度での移動の際に、画像データの移動方向に垂直な幅1画素の線、あるいは、周囲との輝度差の大きな1画素の点が存在する場合には、描画する度に上記領域の周囲の輝度が周期的に変動し、視覚的には線や点の大きさも周期的に変動するように見え、これが画像全体の遷移効果の品質に多大なる影響を与えることがある。そこで、この発明の実施の形態3では、画像ファイル1a、1bから画像データ11a、11bを入力として得る際に、画像データ11a、11bを平滑化することにより、画像データ11a、11bを移動方向にぼかすことで、移動方向の両隣接画素同士の輝度差を小さくし、この問題を軽減する画像合成装置について説明する。
【0072】
図11はこの発明の実施の形態3に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル1a、1b、遷移情報計算部2、画像生成部3a、3b、画像補間合成部4、出力制御部5、描画タイミング情報記憶部6、平滑化処理部7a、7b、遷移効果記憶部10及びパラメータ制御部18を備え、パラメータ制御部18、平滑化処理部7a、7b、画像生成部3a、3bおよび画像補間合成部4を含む構成範囲を画像合成部30とする。なお、図において、上記実施の形態1および上記実施の形態2における同一符号は同一または相当のものを示す。
【0073】
図11において、上記実施の形態2における図4との構成の違いは、画像ファイル1a、1bの画像データ11a、11bを平滑化処理部7a、7bで平滑化してから画像生成部3a、3bに入力するようにした構成にある。
【0074】
また、図12はこの発明の実施の形態3に係る画像合成装置の構成の変形例を示すブロック図である。この画像合成装置は、先に説明した図11の画像合成部30に相当する破線部の画像補間合成部4の出力である補間合成データ13に対して、画像補間合成部4の直後に出力選択部8を設けて、補間合成データ13と画像データ11a、11bから選択した合成データ31を表示できるようにした構成にしたものである。
【0075】
この発明の実施の形態3では、上記実施の形態2と同様に、遷移情報計算部2から画像生成部3a、3bおよび画像補間合成部4に与えられる遷移情報は、画像の移動画素数mvとする。
【0076】
次に画像合成装置の動作について出力選択部8を設けている図12に基づいて説明する。
図12において、描画タイミング情報記憶部6は、出力制御部5が表示装置に画像データを出力した描画タイミングの識別値である描画タイミング情報を更新して記憶する。
遷移効果記憶部10は、遷移効果情報を出力する。
遷移情報計算部2は、描画タイミング情報記憶部6から描画タイミング情報を取得し、遷移効果記憶部10より遷移効果情報を取得し、遷移効果が画素の移動を伴う場合は、取得した描画タイミング情報から次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数mvを計算する。
パラメータ制御部18は、遷移情報計算部2から得られる遷移効果の種類に基づき平滑化パラメータを生成する。
【0077】
画像ファイル1a、1bは、画像データ11a、11bを含んでおり、平滑化処理部7a、7bへの入力として画像データ11a、11bを与える。
【0078】
平滑化処理部7a、7bは、画像ファイル1a、1bから得られる画像データ11a、11bについて画像の移動方向に対して、パラメータ制御部18からの平滑化パラメータによって進行方向のみの平滑化処理を行い、平滑化データ14a、14bを出力する。この平滑化データ14a、14bは、平滑化処理部7a、7b内部にバッファを内蔵できる場合には画像データ11a、11bを読み込んで平滑化して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次平滑化しながら出力するものとする。
【0079】
画像生成部3aは、遷移情報計算部2より得られる移動画素数の小数点以下を切り捨てた切り捨て移動画素数に基づいて計算される平滑化データ14aの描画元領域部分を入力として得て、描画元領域と同様に、切り捨て移動画素数に基づいて計算される生成データ12aの描画先領域部分として出力し、切り捨て移動画素数に基づいて計算される平滑化データ14bの描画元領域部分を入力として得て、描画元領域と同様に、切り捨て移動画素数に基づいて計算される生成データ12aの描画先領域部分として出力する。
【0080】
画像生成部3bは、遷移情報計算部2より得られる移動画素数の小数点以下を切り上げた切り上げ移動画素数に基づいて計算される平滑化データ14aの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ12bの描画先領域部分として出力し、切り上げ移動画素数に基づいて計算される平滑化データ14bの描画元領域部分を入力として得て、描画元領域と同様に、切り上げ移動画素数に基づいて計算される生成データ12bの描画先領域部分として出力する。
【0081】
画像補間合成部4は、遷移情報計算部2より得られる遷移情報により計算した合成比率fに基づいて、生成データ12a、12bを合成して補間合成データ13として出力する。
【0082】
出力選択部8は、遷移情報計算部2より得られる遷移情報に基づき、画像データ11aと画像データ11bと補間合成データ13のいずれかを選択して出力する。
この出力選択部8から出力されるデータは、図12のブロック図に示されるように、画像合成部30の出力である合成データ31となる。
ここで、出力選択部8を備えていない図11に示される画像合成装置の場合は、画像補間合成部4の出力である補間合成データ13が、画像合成部30の出力である合成データ31となる。
【0083】
出力制御部5は、画像合成部30から出力された合成データ31を受け取り、描画タイミング毎に表示装置(図示せず)へ出力して表示させ、表示が終了したことを描画タイミング情報記憶部6に通知する。
遷移情報計算部2は遷移情報である移動画素数を更新し、画像合成装置は上記動作を繰り返す。
【0084】
なお、この発明の実施の形態3の画像合成装置に備えられた遷移効果記憶部10は、遷移情報計算部2が遷移効果記憶部10の遷移効果情報の記憶機能を内蔵しているときには、上記実施の形態1および上記実施の形態2の画像合成装置の構成と同様に、遷移効果記憶部10を設けずに省略することが可能である。
【0085】
この発明の実施の形態3では、具体的な説明の際に、一例として、上記実施の形態2と同様に、画像データ11aと画像データ11b間で右から左のスクロール効果を5秒の遷移時間で行う場合の処理について処理手順について説明する。
【0086】
また、この発明の実施の形態3では、遷移情報計算部2から画像生成部3a、3bに与えられる遷移情報は、画像データの移動画素数mvと遷移効果記憶部10が遷移情報計算部2に与える遷移効果情報を示す。ここで、遷移効果情報とは、遷移効果の種類と遷移時間、領域計算式情報を示す。遷移効果の種類としては、スクロールや後述するスライドイン、スライドアウト、ワイプ等である。
【0087】
なお、この発明の実施の形態3に係る画像合成装置と接続される表示装置の仕様については、上記実施の形態2と同様とする。
【0088】
図13はこの発明の実施の形態3に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って図12に基づく画像合成装置の処理手順を説明する。
まず、ステップST21において、描画タイミング情報記憶部6は、遷移中において任意の描画時刻の描画が終了した後、描画タイミング情報を更新する。例として、この発明の実施の形態3では、既に記憶している遷移開始時刻t0と取得した出力制御部5における表示装置への出力時刻tnを描画タイミング情報とする。なお、1回目の描画を行う前の描画時刻tnはt0である。
【0089】
なお、この例では、描画タイミング情報として時刻を使用しているが、表示回数や垂直同期信号の発生回数を用いた場合でも、遷移時間を描画の回数や垂直同期信号の発生回数から計算するか、逆に、遷移時間から描画の回数や垂直同期信号の発生回数を描画タイミング情報の単位としても良い。
【0090】
ステップST22において、遷移情報計算部2は、描画タイミング情報記憶部6から描画タイミング情報を取得し、遷移効果記憶部10から遷移効果情報を取得し、遷移効果が画素の移動を伴う場合は、描画タイミング情報から、上記実施の形態1の図3のステップST1と同様に、次の描画の際の移動画素数mvを求める。
【0091】
例えば、移動画素数mvは、移動が一定速度で行われる場合、次の式(9)により求める。
mv=p・L (9)
ここで、pは遷移時間を100%とした遷移進行率を示す。例として、遷移進行率pは次の式(10)に基づいて計算することができる。
p=t/T (10)
ここで、tは次に描画される遷移開始時刻からの相対的な描画予定時刻を示し、次の式(11)により求める。
t=tn−t0+V (11)
なお、描画タイミング情報が描画の回数や垂直同期信号の発生回数を単位とする場合、tは次に描画されたときの描画回数や垂直同期信号の発生回数、Tは遷移時間内における描画や垂直同期信号の総発生回数としても良い。
【0092】
ステップST23において、パラメータ制御部18は遷移情報計算部2から取得した遷移効果の種類に基づき、平滑化処理部7a、7bにおける平滑化処理による鮮鋭さの劣化度合いを示す平滑化パラメータを生成する。この平滑化パラメータとしては、遷移効果の種類による各画像の進行方向に平滑化するM×Nの画素領域から構成される空間フィルタ、あるいは、使用するフィルタを生成するための鮮鋭さの劣化度合いを示す値を使用することができる。
【0093】
この発明の実施の形態3では、水平方向の移動遷移効果であるので、次の式(12)に示す3×1の空間フィルタで、垂直方向への平滑化効果が小さい線形な空間フィルタを平滑化フィルタとして使用する。
A=(0.25 0.5 0.25) (12)
逆に、垂直方向の移動遷移効果の場合は、上記空間フィルタの行と列を反転させた次の式(13)に示す1×3の空間フィルタで、水平方向に平滑化効果が小さい線形な空間フィルタを平滑化フィルタとして使用する。
【数3】
Figure 0004786712
【0094】
ここで、Aはパラメータ制御部18において、遷移効果の種類に応じて設定される行列式であり、この発明の実施の形態3では、パラメータ制御部18は、遷移効果の種類、すなわち、遷移効果の遷移方向に基づき、上記式(12)又は上記式(13)に示す空間フィルタを平滑化フィルタとして選択する。なお、上記式(12)又は上記式(13)に示す空間フィルタ以外に、効果の大小を問わず、同様あるいは近い効果が得られるフィルタであれば、同様に使用することができ、例示した係数値に限るものではない。また、この発明の実施の形態3においては、水平方向、垂直方向に移動させる例を説明したが、他の方向である場合でも、平滑化処理部7a、7bの使用するフィルタが進行方向に平滑化する場合は同様の効果が得られる。
【0095】
なお、パラメータ制御部18は、遷移情報に基づき、遷移開始時は徐々に平滑化効果を大きくし、その後、一定とし、遷移終了前は徐々に平滑化効果を小さくすることにより、遷移開始と共に急に画像がぼけるのを避けることができ、より違和感の少ない小数画素(サブピクセル)単位の精度での遷移効果を実現することができる。
【0096】
ステップST24において、平滑化処理部7aは、パラメータ制御部18より得られる平滑化パラメータに基づいて、画像ファイル1aの画像データ11aに、次の式(14)のように畳み込むことにより平滑化を行い、平滑化データ14aを出力する。
【数4】
Figure 0004786712
ここで、ILPF(x,y)は平滑化処理部7aより出力される画像データの座標(x,y)の輝度値、I(x,y)は平滑化処理部7aに入力される画像ファイル1aの画像データの座標(x,y)の輝度値、Sは次の式(15)を満たす(0,0)を中心とした矩形領域とする。i、jは次のように示される。
−floor(M/2)≦i≦floor(M/2)
かつ
−floor(N/2)≦j≦floor(N/2) (15)
A(i,j)はパラメータ制御部18より得られる平滑化パラメータである行列式Aのj行i列の値を示す。
この処理によって、画像ファイル1aの画像データ11aは進行方向にのみ平滑化される。
【0097】
ステップST25において、平滑化処理部7bは、平滑化処理部7aと同様にして、パラメータ制御部18より得られる平滑化パラメータに基づいて、画像ファイル1bの画像データ11bに、上記式(14)のように畳み込むことにより平滑化を行い、平滑化データ14bを出力する。
この処理によって、画像ファイル1bの画像データ11bは進行方向にのみ平滑化される。
【0098】
ステップST26からステップST29は、画像生成部3a、3bへの入力を、上記実施の形態2の図7のステップST12からステップST15における画像ファイル1a、1bの画像データ11a、11bから平滑化処理部7a、7bが出力する平滑化データ14a、14bに変更した処理に相当する。これら4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0099】
ステップST26において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aがfloor(mv)のときの平滑化データ14aの描画元領域aと生成データ12aの描画先領域aを求め、平滑化データ14aの描画元領域a部分を入力として得て、生成データ12aの描画先領域a部分として出力する。
【0100】
ステップST27において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aがfloor(mv)のときの平滑化データ14bの描画元領域bと生成データ12aの描画先領域bを求め、平滑化データ14bの描画元領域b部分を入力として得て、生成データ12aの描画先領域b部分として出力する。
【0101】
ステップST28において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bがceil(mv)のときの平滑化データ14bの描画元領域bと生成データ12bの描画先領域bを求め、平滑化データ14bの描画元領域b部分を入力として得て、生成データ12bの描画先領域b部分として出力する。
【0102】
ステップST29において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bがceil(mv)のときの平滑化データ14aの描画元領域aと生成データ12bの描画先領域aを求め、平滑化データ14aの描画元領域a部分を入力として得て、生成データ12bの描画先領域a部分として出力する。
【0103】
ステップST30において、画像補間合成部4は、上記実施の形態2と同様にして、遷移情報計算部2より得られる移動画素数に基づいて合成比率fを計算し、計算した合成比率fに基づいて生成データ12a、12bをブレンドして補間合成データ13として出力する。
【0104】
ステップST31において、出力選択部8は、遷移情報計算部2より得られる移動画素数がmv=0の場合は、画像ファイル1aの画像データを出力する。また、移動画素数mv=Lの場合は、画像ファイル1bの画像データを出力する。一方、それ以外の場合は、補間合成データ13の画像データを出力する。この出力選択部8の出力は、合成データ31として出力制御部5に出力される。
【0105】
ステップST32において、出力制御部5は、出力選択部8から出力された合成データ31を垂直同期信号に同期して表示装置(図示せず)の画面に表示させ、表示が終了したことを描画タイミング情報記憶部6に通知する。
その後、ステップST21に戻って、再び描画タイミング情報記憶部6は表示装置への描画時刻を更新し、ステップST32までの処理を移動画素数がmv=Lになるまで繰り返す。
【0106】
次に、図14及び図15に基づいて、この発明の実施の形態3に係る画像合成装置において、移動画素数mv=7.466・・・のときに入力された画像データの各処理部から出力される結果の変化を順に説明する。
【0107】
図14はこの発明の実施の形態3に係る画像合成装置の各部における画像データの変化の様子を輝度値で示している。また、図15は図14に示された輝度値をグラフで示したものであり、進行方向である水平方向のある領域の輝度値の変化を示している。図15(a)、(b)、(c)、(d)、(e)は、それぞれ図14(a)、(b)、(c)、(d)、(e)と対応している。
【0108】
図14(a)とそれをグラフに白い丸で示した図15(a)は画像ファイル1a(1b)の画像データ11a(11b)の例を示している。
図14(b)とそれをグラフに黒い丸で示した図15(b)は平滑化処理部7a(7b)において画像データ11a(11b)が平滑化された平滑化データ14a(14b)を示す。ここで使用した平滑化パラメータである行列式は、水平方向への移動であるので、上記式(12)に示す行列式とする。
図14(c)とそれをグラフで示した図15(c)は画像生成部3aにおいて平滑化データ14a(14b)を切り捨て移動画素数mv_a=7のときの遷移された生成データ12aを示し、ここでは、画像データが水平方向に7画素移動している。
図14(d)とそれをグラフで示した図15(d)は画像生成部3bにおいて平滑化データ14a(14b)を切り上げ移動画素数mv_b=8のときの遷移された生成データ12bを示し、ここでは、画像データ11が水平方向に8画素移動している。
図14(e)とそれをグラフで示した図15(e)は画像補間合成部4により補間合成された移動画素数mv=7.466・・・のときの補間合成データ13を示している。ここで、図14(e)の上段は小数座標をとる理想画像データであるが、実際に出力される画素値は整数座標をとる下段の値が出力される。
【0109】
これを図15のグラフで説明すると、移動画素数mv=7.466・・・に基づいて、上記式(3)により合成比率f=0.466・・・を計算し、図15(b)の平滑化データの輝度値から図15(c)に示す生成データの輝度値Ia(x,y)と図15(d)に示す生成データの輝度値Ib(x,y)と計算した合成比率fを用いて、上記式(4)により図15(e)に示すブレンド後の補間合成データの輝度値I'(x,y)が求められる。
【0110】
図15(e)において、白い丸で示す点は移動画素数mv=7.466・・・のときの補間合成データの理想データにおける輝度値であり、上記式(6)により求められる。
また、図15(e)において黒い丸で示す点は移動画素数mv=7.466・・・のときの画像補間合成部4における補間合成データの輝度値を示し、理想データの輝度値に対して輝度変化が生じているが、この輝度値の補間合成データが移動画素数mv=7.466・・・のときの合成データとして表示装置に出力される。
【0111】
なお、図15(c)と図15(e)より、この発明の実施の形態3では、小数画素(サブピクセル)移動した画像と整数画素移動した画像と比較すると輝度変化が生じているが、図15(c)と図15(e)及び上記実施の形態2の図10(b)と図10(d)、また図15(e)及び上記実施の形態2の図10(d)との比較から、この発明の実施の形態3の方が上記実施の形態2よりも輝度変化が大幅に小さくなっており、これに伴い、画像の移動中における周期的な輝度変化を軽減する効果が得られる。
【0112】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる遷移効果の品質劣化を軽減する画像合成装置を実現できる。また、描画タイミング情報記憶部6を備えることによって、以前に描画した内容に影響されなくなるため、描画が垂直同期信号1周期以内に終了せず、次の垂直同期信号を待ってしまった場合でも、予定通りの表示を行うことが可能なため、遷移時間内に遷移効果が終了する画像合成装置を実現できる。さらに、遷移効果記憶部10を備えることによって、画像の遷移の度に、異なる遷移効果を行うことが可能な画像合成装置を実現できる。
【0113】
以上のように、この発明の実施の形態3によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0114】
また、この発明の実施の形態3によれば、平滑化処理部7a、7bが平滑化パラメータを画像データに畳み込むことで画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素(サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。
【0115】
さらに、この発明の実施の形態3によれば、図12の画像合成装置のように出力選択部8を加えることで、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0116】
なお、この発明の実施の形態3において、出力選択部8を備えない図11の画像合成装置でも、パラメータ制御部18において、遷移開始時と遷移終了時の平滑化パラメータにおけるフィルタの成分値をA(0,0)=1、A(i,j)=0 (i≠0かつj≠0)とすれば、平滑化効果は得られないので、同様の効果を得ることができることは明らかである。
【0117】
また、この発明の実施の形態3では、描画の度に画像ファイル1a、1bから画像データ11a、11bを読み出しているが、あらかじめ画像ファイル1a、1bから画像データ11a、11bを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ11a、11bを読み出しても同様の効果が得られることは明らかである。また、同様に、平滑化処理部7a、7bの平滑化パラメータが遷移中変動しない場合に、あらかじめ画像ファイル1a、1bから画像データ11a、11bを読み出し、平滑化処理部7a、7bによってそれぞれ平滑化された平滑化データ14a、14bを平滑化バッファに記憶しておき、描画の度に平滑化バッファから平滑化データ14a、14bを読み出すと、同様の効果が得られるだけでなく、平滑化処理を遷移開始時のみ行えば良いのでより処理を軽くすることができる。
【0118】
実施の形態4.
この発明の実施の形態4では、上記実施の形態3における平滑化処理部7a、7bを上記実施の形態3に係る画像合成装置の構成とは異なる位置に配置した場合の画像合成装置について説明する。
【0119】
図16は、この発明の実施の形態4に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル1a、1b、遷移情報計算部2、画像生成部3a、3b、画像補間合成部4、出力制御部5、描画タイミング情報記憶部6、平滑化処理部7a、7b及びパラメータ制御部18を備え、画像生成部3a、3b、パラメータ制御部18、平滑化処理部7a、7bおよび画像補間合成部4を含む構成範囲を画像合成部30とする。なお、図において、上記実施の形態1から上記実施の形態3における同一符号は同一または相当のものを示す。
【0120】
図16において、上記実施の形態3における図11との構成の違いは、平滑化処理部7a、7bの平滑化処理の対象を画像生成部3a、3bへの入力前の画像データ11a、11bから画像生成部3a、3bが生成した生成データ12a、12bとする構成にある。また、遷移効果記憶部10を構成から削除しているが、上記実施の形態3と同様に構成に加えていても構わない。
【0121】
この発明の実施の形態4では、上記実施の形態1から上記実施の形態3と同様に、遷移情報計算部2から画像生成部3a、3bおよび画像補間合成部4に与えられる遷移情報は、画像の移動画素数mvとする。
【0122】
次に画像合成装置の動作について説明する。
図16において、描画タイミング情報記憶部6は、上記実施の形態3の図11と同様に、出力制御部5が表示装置に画像データを出力した描画タイミングの識別値である描画タイミング情報を更新して記憶する。
遷移情報計算部2は、描画タイミング情報記憶部6から描画タイミング情報を取得し、取得した描画タイミング情報から次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数mvを計算する。
パラメータ制御部18は予め指定された遷移効果の種類に基づき平滑化パラメータを生成する。
【0123】
画像ファイル1a、1b及び画像生成部3a、3bは、それぞれ上記実施の形態2の図4に示す構成と同一である。
平滑化処理部7a、7bは、画像生成部3a、3bが出力する生成データ12a、12bについて画像の移動方向に対して、パラメータ制御部18からの平滑化パラメータによって進行方向のみの平滑化処理を行い、平滑化データ14a、14bを出力する。
【0124】
画像補間合成部4は、遷移情報計算部2より得られる遷移情報により計算した合成比率fに基づいて、平滑化データ14a、14bを合成して補間合成データ13を出力する。
この補間合成データ13は、図16のブロック図に示されるように、画像合成部30の出力である合成データ31となる。
出力制御部5は、図4と同様に、合成された合成データ31を受け取り、描画タイミング毎に外部の表示装置(図示せず)へ出力して表示させる。
遷移情報計算部2は遷移情報である移動画素数を更新し、画像合成装置は上記動作を繰り返す。
【0125】
なお、この発明の実施の形態4に係る画像合成装置に接続される表示装置の仕様、及びこの発明の実施の形態4で説明する遷移効果については、上記実施の形態2と同様とする。
【0126】
図17はこの発明の実施の形態4に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って画像合成装置の処理手順を説明する。
ステップST41の処理は、上記実施の形態3の図13に示すステップST21の処理と同様に、遷移中において、任意の描画時刻tnの描画が終了した後、描画タイミング情報記憶部6は描画タイミング情報を更新する。
【0127】
ステップST42において、遷移情報計算部2は、描画タイミング情報記憶部6から描画タイミング情報を取得し、取得した描画タイミング情報から次の描画の際の遷移効果の進行を示す遷移情報に相当する移動画素数mvを計算する。
ステップST43において、上記実施の形態3の図13に示すステップST23の処理と同様に、パラメータ制御部18は予め指定された遷移効果の種類に基づき平滑化パラメータを生成する。
【0128】
ステップST44、ST45の処理は、上記実施の形態2の図7に示すステップST12、ST13の処理と同一処理を行う。
ステップST46において、平滑化処理部7aは、パラメータ制御部18より得られる平滑化パラメータに基づいて、生成データ12aに対して上記式(14)のように畳み込むことにより平滑化を行い、平滑化データ14aを出力する。この処理によって、生成データ12aは進行方向にのみ平滑化される。
【0129】
ステップST47、ST48の処理は、上記実施の形態2の図7に示すステップST14、ST15の処理と同一処理を行う。
ステップST49において、平滑化処理部7bは、パラメータ制御部18より得られる平滑化パラメータに基づいて、画像合成データ12bに対して上記式(14)のように畳み込むことにより平滑化を行い、平滑化データ14bを出力する。この処理によって、生成データ12bは進行方向にのみ平滑化される。
【0130】
ここでステップST44、ST45とステップST47、ST48は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。そして画像生成部3a、3bで生成データ12a、12bが生成されてから、平滑化処理部7a、7bにおいてステップST46、ST49で生成データ12a、12bをそれぞれ平滑化処理した平滑化データ14a、14bを生成すればよい。
【0131】
ステップST50において、画像補間合成部4は、遷移情報計算部2より得られる移動画素数mvに基づいて上記実施の形態2と同様に合成比率fを計算し、計算した合成比率fに基づいて平滑化データ14a、14bをブレンドして補間合成データ13を出力する。
【0132】
ステップST51の処理は上記実施の形態2の図7に示すステップST17の処理と同一処理を行う。
その後、上記ステップST41に戻って再び描画タイミング情報記憶部6は表示装置への描画時刻を更新し、ステップST51までの処理を移動画素数がmv=Lになるまで繰り返す。
【0133】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、移動方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。
【0134】
以上のように、この発明の実施の形態4によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0135】
また、この発明の実施の形態4によれば、平滑化処理部7a、7bが平滑化パラメータを画像データに畳み込むことで画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素(サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。
【0136】
さらに、この発明の実施の形態4によれば、図16の画像合成部30に対して上記実施の形態3における図12の画像合成装置と同様に出力選択部8を加えてもよく、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0137】
なお、この発明の実施の形態4では、描画の度に画像ファイルから画像データを読み出しているが、あらかじめ画像ファイル1a、1bから画像データを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データを読み出しても同様の効果が得られることは明らかである。
【0138】
実施の形態5.
この発明の実施の形態5では、平滑化処理部7a、7bが上記実施の形態3及び上記実施の形態4に係る画像合成装置の構成位置とは異なる位置にある場合の画像合成装置について説明する。
【0139】
図18はこの発明の実施の形態5に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル1a、1b、遷移情報計算部2、画像生成部3a、3b、画像補間合成部4、出力制御部5、描画タイミング情報記憶部6、平滑化処理部7及びパラメータ制御部18を備え、画像生成部3a、3b、画像補間合成部4、パラメータ制御部18および平滑化処理部7を含む構成範囲を画像合成部30とする。なお、図において、上記実施の形態1から上記実施の形態4における同一符号は同一または相当のものを示す。
【0140】
なお、図18に示す画像合成装置は、上記実施の形態3の図11に示す画像合成装置から平滑化処理部7a、7bを1個の平滑化処理部7とし、その位置を画像補間合成部4の直後に移動させたものである。
【0141】
図18において、上記実施の形態3における図11との構成の違いは、上記実施の形態3の画像補間合成部4の補間合成データ13を画像合成部30が出力する合成データ31としていたが、この発明の実施の形態5では、異動した平滑化処理部7で補間合成データ13を平滑化処理した平滑化データ14を合成データ31として出力する構成にしたことにある。
【0142】
次に画像合成装置の動作について説明する。
描画タイミング情報記憶部6、遷移情報計算部2及びパラメータ制御部18は、上記実施の形態4の図16に示す構成と同一である。また、画像ファイル1a、1b、画像生成部3a、3b及び画像補間合成部4は、上記実施の形態2の図4に示す構成と同一である。
【0143】
平滑化処理部7は、補間合成データ13を入力として、画像の移動方向に対して平滑化パラメータに基づき、進行方向のみの平滑化処理を行い、平滑化データ14を出力する。
この平滑化データ14は、図18のブロック図に示されるように、画像合成部30の出力である合成データ31となる。
出力制御部5は、合成データ31に格納された画像データを描画タイミング毎に表示装置に出力し、表示が終了したことを描画タイミング情報記憶部6に通知する。
【0144】
次に動作について説明する。
なお、この発明の実施の形態5に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態5で説明する遷移効果については、上記実施の形態2と同様とする。
【0145】
図19は、この発明の実施の形態5に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って画像合成装置の処理手順を説明する。
ステップST61の処理は、上記実施の形態3の図13に示すステップST21の処理と同一処理を行い、遷移中において、任意の描画時刻tnの描画が終了した後、描画タイミング情報記憶部6は描画タイミング情報を更新する。
【0146】
ステップST62の処理は、上記実施の形態3の図13に示すステップST22の処理と同一処理を行う。
ステップST63、ST64の処理は、上記実施の形態2の図7に示すステップST12、ST13の処理と同一処理を行う。
ステップST65、ST66の処理は、上記実施の形態2の図7に示すステップST14、ST15の処理と同一処理を行う。
【0147】
これらステップST63からステップST66は、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0148】
ステップST67の処理は、上記実施の形態2の図7に示すステップST16の処理と同一処理を行う。
【0149】
ステップST68において、パラメータ制御部18は予め指定された遷移効果の種類に基づき平滑化パラメータを生成する。
ステップST69において、平滑化処理部7は、パラメータ制御部18より得られる平滑化パラメータに基づいて、補間合成データ13に上記式(14)のように畳み込むことにより平滑化を行い、平滑化データ14を出力する。この処理によって、補間合成データ13は進行方向にのみ平滑化される。
【0150】
ステップST70において、出力制御部5は平滑化データ14を垂直同期信号に同期して表示装置の画面に表示させ、表示が終了したことを描画タイミング情報記憶部6に通知する。
その後、上記ステップST61に戻って、再び描画タイミング情報記憶部6は表示装置への描画時刻を更新し、ステップST70までの処理を移動画素数がmv=Lになるまで繰り返す。
【0151】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。
【0152】
以上のように、この発明の実施の形態5によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0153】
また、この発明の実施の形態5によれば、平滑化処理部7が平滑化パラメータを画像データに畳み込むことで画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素(サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。
【0154】
さらに、この発明の実施の形態5によれば、補間合成データ13の入力を平滑化データ14に替えることで、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0155】
また、この発明の実施の形態5によれば、図18の画像合成部30に対して上記実施の形態3における図12の画像合成装置のように出力選択部8を加えてもよく、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0156】
なお、この発明の実施の形態5では、描画の度に画像ファイル1a、1bから画像データを読み出しているが、あらかじめ画像ファイル1a、1bから画像データを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データを読み出しても同様の効果が得られることは明らかである。
【0157】
実施の形態6.
この発明の実施の形態6では、行列の畳み込み演算で平滑化処理を行うのではなく、複数の平滑化用画像生成部と平滑化合成部を用いて画像の描画処理と合成処理で平滑処理を行う場合について説明する。
【0158】
図20は、この発明の実施の形態6に係る画像合成装置の平滑化処理部7a、7bの構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像生成部3a、3b以降の図示していない部分を含めた平滑化処理部7a、7b以外のその他の構成は、上記実施の形態3の図12と同一構成をとるものとする。
【0159】
図20において、パラメータ制御部18により与えられる平滑化パラメータが、上記実施の形態3と同様に、M×Nの画素領域から構成される空間フィルタであるとすると、平滑化処理部7aはM×N個の平滑化用画像生成部151pqと平滑化合成部17aを備えている。同様に、平滑化処理部7bはM×N個の平滑化用画像生成部152pqと平滑化合成部17bを備えている。なお、pは平滑化パラメータである平滑化フィルタの対応する行番号、qは列番号に対応するものとし、0≦p≦M−1、0≦q≦N−1とする。
【0160】
次に画像合成装置の平滑化処理部7a、7bの動作について説明する。
平滑化用画像生成部151pqは、パラメータ制御部18からの平滑化パラメータに基づき計算される画像ファイル1aの画像データ11aの描画元領域部分を入力として得て、描画元領域と同様に、平滑化パラメータに基づいて計算される平滑化用画像データ161pqの描画先領域部分として出力する。
【0161】
平滑化用画像生成部152pqは、パラメータ制御部18からの平滑化パラメータに基づき計算される画像ファイル1bの画像データ11bの描画元領域部分を入力として得て、描画元領域と同様に、平滑化パラメータに基づいて計算される平滑化用画像データ162pqの描画先領域部分として出力する。
【0162】
平滑化合成部17aは、上記平滑化用画像データ161pqを平滑化パラメータから計算して得た合成比率に基づいて合成した平滑化合成データ19aを出力する。
同様に、平滑化合成部17bは、上記平滑化用画像データ162pqを平滑化パラメータから計算して得た合成比率に基づいて合成した平滑化合成データ19bを出力する。
【0163】
なお、この発明の実施の形態6に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態6で説明する遷移効果については、上記実施の形態2と同様とする。
【0164】
図21は、この発明の実施の形態6に係る画像合成装置の処理手順を示すフローチャートである。本図に沿って画像合成装置の処理手順を説明する。
ステップST81からステップST83の処理は、上記実施の形態3の図13に示すステップST21からステップST23と同一処理を行う。
ステップST81において、遷移中において任意の描画時刻tnの描画が終了した後、描画タイミング情報記憶部6は、上記実施の形態3と同様に、描画タイミング情報を更新する。
【0165】
ステップST82において、遷移情報計算部2は、上記実施の形態3と同様に、描画タイミング情報記憶部6から描画タイミング情報を取得し、次に描画される時点での移動画素数mvを計算する。
【0166】
ステップST83において、パラメータ制御部18は、上記実施の形態3と同様に、遷移情報計算部2から遷移効果の種類と移動画素数を得て平滑化パラメータを生成する。
【0167】
ステップST84において、平滑化用画像生成部151pqは、画像ファイル1aの画像データ11aがパラメータ制御部18より得られる平滑化パラメータに基づいた画素数(水平方向に(p−floor(M/2))画素、垂直方向に(q−floor(N/2))画素)だけ移動する際の画像ファイル1aの画像データ11aの描画元領域と描画先領域を求め、それぞれ画像データ11aの描画元領域部分を取得し、平滑化用画像データ161pqの描画先領域部分として出力する。p、qの全組合せ(M×N通り)について、それぞれ処理を行う。
【0168】
ステップST85において、平滑化用画像生成部152pqは、画像ファイル1bの画像データ11bがパラメータ制御部18より得られる平滑化パラメータに基づいた画素数(水平方向に(p−floor(M/2))画素、垂直方向に(q−floor(N/2))画素)だけ移動する際の画像ファイル1bの画像データ11bの描画元領域と描画先領域を求め、それぞれ画像データ11bの描画元領域部分を取得し、平滑化用画像バッファ162pqの描画先領域部分として出力する。p、qの全組合せ(M×N通り)について、それぞれ処理を行う。
【0169】
これらステップST84とステップST85は、p、qの値により図面上省略された対応ステップを含め、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0170】
例えば、平滑化パラメータが3×1の行列の場合には、次のように、垂直方向への移動はなく、水平方向にのみ−1画素、0画素、+1画素それぞれ移動した参照範囲の平滑化用画像データ161pq、162pqが出力される。
【0171】
平滑化用画像生成部15100は、画像ファイル1aから画像データ11aを取得し、左へ1画素移動させた平滑化用画像データ16100を出力し、平滑化用画像生成部15110は、画像ファイル1aから画像データ11aを取得し、そのまま平滑化用画像データ16110を出力し、平滑化用画像生成部15120は、画像ファイル1aから画像データ11aを取得し、右へ1画素移動させた平滑化用画像データ16120を出力する。
【0172】
同様に、平滑化用画像生成部15200は、画像ファイル1bから画像データ11bを取得し、左へ1画素移動させた平滑化用画像データ16200を出力し、平滑化用画像生成部15210は、画像ファイル1bから画像データ11bを取得し、そのまま平滑化用画像データ16210を出力し、平滑化用画像生成部15220は、画像ファイル1bから画像データ11bを取得し、右へ1画素移動させた平滑化用画像データ16220を出力する。
【0173】
ステップST86において、平滑化合成部17aは、平滑化用画像データ161pqが原画像から移動した移動画素数に対応した成分値A(p,q)を合成比率として、全ての平滑化用画像データ161pqをブレンドして平滑化合成データ19aに書き込む。この処理によって、画像ファイル1aの画像データ11aは進行方向にのみ平滑化される。
【0174】
なお、平滑化用画像データ161pqの合成比率f1pqは、f1pq=A(p,q)で求めることができ、出力される平滑化合成データ19aは次の式(16)に示すものとなる。
【数5】
Figure 0004786712
ここで、I1(x,y)は、平滑化合成データ19aの座標(x,y)の輝度値を示し、I1ij(x,y)は平滑化用画像データ161ijの座標(x,y)の輝度値を示す。また、Sは次の式(17)を満たすものとする。
−floor(M/2)≦i≦(M/2)
かつ
−floor(N/2)≦j≦(N/2) (17)
【0175】
ステップST87において、平滑化合成部17bは、平滑化用画像データ162pqが原画像から移動した移動画素数に対応した成分値A(p,q)を合成比率として、全ての平滑化用画像データ162pqをブレンドして平滑化合成データ19bに書き込む。この処理によって、画像ファイル1bの画像データ11bは進行方向にのみ平滑化される。
【0176】
なお、平滑化用画像データ162pqの合成比率f2pqは、f2pq=A(p,q)で求めることができ、出力される平滑化合成データ19bは次の式(18)に示すものとなる。
【数6】
Figure 0004786712
ここで、I2(x,y)は、平滑化合成データ19bの座標(x,y)の輝度値を示し、I2ij(x,y)は平滑化用画像データ162ijの座標(x,y)の輝度値を示す。また、Sは上記式(17)を満たすものとする。
【0177】
ステップST88からステップST91の処理は、平滑化処理部7a、7bが出力する画像生成部3a、3bへの入力を、上記実施の形態3の図13のステップST26からステップST29における平滑化データ14a、14bから平滑化合成データ19a、19bに変更した処理に相当する。これら4つのステップは、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0178】
ステップST88において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aがfloor(mv)のときの平滑化合成データ19aの描画元領域aと生成データ12aの描画先領域aを求め、平滑化合成データ19aの描画元領域a部分を入力として得て、生成データ12aの描画先領域a部分として出力する。
【0179】
ステップST89において、画像生成部3aは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3aにおける移動画素数mv_aがfloor(mv)のときの平滑化合成データ19bの描画元領域bと生成データ12aの描画先領域bを求め、平滑化合成データ19bの描画元領域b部分を入力として得て、生成データ12aの描画先領域b部分として出力する。
【0180】
ステップST90において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bがceil(mv)のときの平滑化合成データ19bの描画元領域bと生成データ12bの描画先領域bを求め、平滑化合成データ19bの描画元領域b部分を入力として得て、生成データ12bの描画先領域b部分として出力する。
【0181】
ステップST91において、画像生成部3bは、遷移情報計算部2より与えられる移動画素数mvと画像データ毎の描画元領域及び描画先領域を求める領域計算式情報から画像生成部3bにおける移動画素数mv_bがceil(mv)のときの平滑化合成データ19aの描画元領域aと生成データ12bの描画先領域aを求め、平滑化合成データ19aの描画元領域a部分を入力として得て、生成データ12bの描画先領域a部分として出力する。
【0182】
ステップST92からステップST94の処理は、上記実施の形態3の図13に示すステップST30からステップST32と同一処理を行う。
【0183】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。
【0184】
以上のように、この発明の実施の形態6によれば、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、整数だけではなく小数点以下を表現した数値の小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと、切り上げた分移動した画像データを作成し、これらを小数点以下の値の合成比率fで合成することにより、小数画素(サブピクセル)単位の精度での画像の移動を制御することが可能となり、遷移時間の設定制限を解消することができるという効果が得られる。
【0185】
また、この発明の実施の形態6によれば、平滑化処理部7a、7bが、平滑化パラメータに基づき計算される画像ファイル1a、1bの画像データ11a、11bの描画元領域部分を入力とし、平滑化パラメータに基づき計算される平滑化用画像データ161pq、162pqの描画先領域部分として出力し、平滑化用画像データ161pq、162pqを平滑化パラメータに基づいて計算した合成比率fに基づいて合成した平滑化合成データ19a、19bを出力することで、画像データを平滑化して各画素における移動方向の両隣接画素間のコントラストを下げることにより、小数画素(サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。
【0186】
さらに、この発明の実施の形態6によれば、図20の画像合成部30に対して上記実施の形態3における図12の画像合成装置のように出力選択部8を加えてもよく、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0187】
なお、この発明の実施の形態6では、上記実施の形態3における平滑化処理部7a、7bの内部構成を置き換えたが、上記実施の形態4及び上記実施の形態5における平滑化処理部7a、7bの内部構成を同様に置き換えても、同様の効果を得ることができることは明らかである。
【0188】
また、この発明の実施の形態6では、描画の度に画像ファイル1a、1bから画像データ11a、11bを読み出しているが、あらかじめ画像ファイル1a、1bから画像データ11a、11bを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ11a、11bを読み出しても同様の効果が得られることは明らかである。
【0189】
さらに、この発明の実施の形態6では、平滑化パラメータが固定であれば、あらかじめ画像ファイル1a、1bから画像データ11a、11bを取得し、平滑化処理部7a、7bによってそれぞれ平滑化された平滑化合成データ19a、19bをバッファに記憶しておき、描画の度にバッファから平滑化合成データ19a、19bを読み出すと、同様の効果が得られるだけでなく、平滑化処理を遷移開始時のみ行えば良いので描画の際の処理をより軽くすることができる。
【0190】
実施の形態7.
この発明の実施の形態7では、上記実施の形態3から上記実施の形態6における画像生成部、画像補間合成部、平滑化処理部を画像生成部と画像補間合成部のみを用いて、一度に描画処理と合成処理のみを用いて実現する画像合成装置について説明する。
【0191】
図22は、この発明の実施の形態7に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、2つの画像を指定の遷移効果によって遷移させるもので、画像ファイル1a、1b、遷移情報計算部2、画像生成部3pq、画像補間合成部4、出力制御部5、描画タイミング情報記憶部6及びパラメータ制御部18を備え、画像生成部3pq、画像補間合成部4およびパラメータ制御部18を含む構成範囲を画像合成部30とする。なお、図において、上記実施の形態1から上記実施の形態4における同一符号は同一または相当のものを示す。
【0192】
図22において、上記実施の形態2における図4との構成の違いは、画像合成部30が出力する合成データとしていた上記実施の形態2の画像補間合成部4の補間合成データ13に対して、画像補間合成部4がパラメータ制御部18から得られる平滑化パラメータを得ることで平滑化処理と補間合成処理までを一括して行った補間合成データ13を出力する構成にしたことにある。
【0193】
次に画像合成装置の動作について説明する。
図22において、画像生成部3pqは、遷移情報計算部2より得られる遷移情報とパラメータ制御部18から得られる平滑化パラメータに基づいて計算される画像ファイル1aの画像データ11aの描画元領域部分を入力として、描画元領域と同様に遷移情報と平滑化パラメータに基づいて計算される生成データ12pqの描画先領域部分として出力し、同様に、遷移情報と平滑化パラメータに基づいて計算される画像ファイル1bの画像データ11bの描画元領域部分を入力として、描画元領域と同様に遷移情報と平滑化パラメータに基づいて計算される生成データ12pqの描画先領域部分として出力する。この生成データ12pqは、画像生成部3pq内部にバッファを内蔵できる場合には画像データ11a、11bを読み込んで生成して蓄えてから出力するものとし、バッファを内蔵できない場合には読み込んで逐次生成しながら出力するものとする。なお、pは平滑化パラメータである平滑化フィルタの対応する行番号、qは列番号に対応するものとし、0≦p≦M、0≦q≦N−1とする。ここでは、水平方向へ移動する遷移効果を前提としているが、垂直方向へ移動する遷移効果をとるときには0≦p≦M−1、0≦q≦Nとなる。
【0194】
画像補間合成部4は、遷移情報計算部2より得られる遷移情報とパラメータ制御部18より得られる平滑化パラメータにより計算した合成比率に基づき、生成データ12pqを合成して補間合成データ13を出力する。パラメータ制御部18は、遷移情報計算部2から得られる遷移効果の種類に基づき平滑化パラメータを生成し、画像生成部3pqと画像補間合成部4に生成した平滑化パラメータを与える。その他の画像ファイル1a、1b、遷移情報計算部2、出力制御部5及び描画タイミング情報記憶部6は、上記実施の形態4の図16に示す構成と同一である。
【0195】
次に動作について説明する。
なお、この発明の実施の形態7に係る画像合成装置に接続される表示装置の仕様、及び、この発明の実施の形態7で説明する遷移効果については、上記実施の形態2と同様とする。なお、この発明の実施の形態7におけるパラメータ制御部18で構成される平滑化パラメータはM×Nのフィルタとする。
【0196】
また、この発明の実施の形態7に係る画像合成装置では、遷移効果は上記実施の形態3と同様に、水平方向へ画像が移動する効果であるので、画像生成部3pqを(M+1)×N個備える。一方、垂直方向へ画像が移動する効果の場合には、画像生成部をM×(N+1)個備える。
【0197】
図23はこの発明の実施の形態7に係る画像合成装置の処理手順を示すフローチャートである。
ステップST101からステップST103の処理は、上記実施の形態4の図17に示すステップST41からステップST43と同一処理を行う。
ステップST101において、遷移中において任意の描画時刻tnの描画が終了した後、描画タイミング情報記憶部6は、上記実施の形態4と同様に、描画タイミング情報を更新する。
【0198】
ステップST102において、遷移情報計算部2は、上記実施の形態4と同様に、描画タイミング情報記憶部6から描画タイミング情報を取得し、次に描画される時点での移動画素数mvを計算する。
【0199】
ステップST103において、パラメータ制御部18は、上記実施の形態4と同様に、遷移情報計算部2から遷移効果の種類と移動画素数を得て平滑化パラメータを求める。
【0200】
ステップST104において、画像生成部3pqは、遷移情報計算部2より与えられる移動画素数mvに基づいて、遷移効果の移動画素数が、水平方向にfloor(mv)−floor(M/2)+p画素、垂直方向にq−floor(N/2)画素ずらしたときの画像ファイル1aの各描画元領域と生成データ12pqの描画先領域を求め、画像ファイル1aの画像データ11aの描画元領域部分を入力として得て、生成データ12pqの描画先領域部分として出力する。
【0201】
ステップST105において、画像生成部3pqは、遷移情報計算部2より与えられる移動画素数mvに基づいて、遷移効果の移動画素数が、水平方向にfloor(mv)−floor(M/2)+p画素、垂直方向にq−floor(N/2)画素ずらしたときの画像ファイル1bの各描画元領域と生成データ12pqの描画先領域を求め、画像ファイル1bの画像データ11bの描画元領域部分を入力として得て、生成データ12pqの描画先領域部分として出力する。
【0202】
これらステップST104とステップST105は、p、qの値により図面上省略された対応ステップを含め、それぞれの描画元領域と描画先領域が正しく対応すれば処理の適用順序が入れ替わっても構わない。
【0203】
ステップST106において、画像補間合成部4は、遷移情報計算部2より得られる移動画素数mvとパラメータ制御部18から得られる平滑化パラメータから計算した各生成データ12pqに対する合成比率fpqを用い、各生成データ12pqをブレンドして補間合成データ13に書き込む。
【0204】
なお、生成データ12pqに対する合成比率fpqは、次の式(19)に基づいて求められる。
0q=A(−floor(M/2),q−N/2)・(1−f)
1q=(A(1−floor(M/2),q−N/2)・(1−f)
+A(−floor(M/2),q−N/2)・f
・・・
(M-1)q=A(M−1−floor(M/2),q−N/2)・(1−f)+A(M−2−floor(M/2),q−N/2)・f
Mq=A(M−1−floor(M/2),q−N/2)・f
(19)
ここで、合成比率fは上記式(3)で使用したものと同一である。
【0205】
例えば、平滑化パラメータが3×1の行列の場合を説明する。
画像生成部300は、遷移情報計算部2より与えられる移動画素数mvに基づいて、移動画素数がfloor(mv)−1のときの画像ファイル1a、1bの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ1200の描画先領域部分として出力する。なお、垂直方向のずれはN=1なので、0画素であるから、この計算方法は上記実施の形態2と同様である。
【0206】
同様に、画像生成部310は、遷移情報計算部2より与えられる移動画素数mvに基づいて、移動画素数がfloor(mv)のときの画像ファイル1a、1bの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ1210の描画先領域部分として出力する。
【0207】
同様に、画像生成部320は、遷移情報計算部2より与えられる移動画素数mvに基づいて、移動画素数がfloor(mv)+1のときの画像ファイル1a、1bの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ1220の描画先領域として出力する。
【0208】
同様に、画像生成部330は、遷移情報計算部2より与えられる移動画素数mvに基づいて、移動画素数がfloor(mv)+2のときの画像ファイル1a、1bの各描画元領域と描画先領域を求め、それぞれ描画元領域部分を入力として得て、生成データ1230の描画先領域として出力する。
【0209】
画像補間合成部4は、遷移情報計算部2より得られる移動画素数mvとパラメータ制御部18より得られる平滑化パラメータから生成データ1200、1210、1220、1230の合成比率f00、f10、f20、f30を、次の式(20)に基づいて計算する。
00=A(−1,0)・(1−f)
10=A(0,0)・(1−f)+A(−1,0)・f
20=A(1,0)・A(1−f)+A(0,0)・f
30=A(1,0)・f
f=mv−floor(mv) (20)
【0210】
画像補間合成部4は、生成データ1200、1210、1220、1230を、次の式(21)に基づいて合成し、補間合成データ13として出力する。
I’(x,y)=f00・I00(x,y)+f10・I10(x,y)+f20・I20(x,y)+f30・I30(x,y) (21)
ここで、Ipq(x,y)は入力された生成データ12qpの座標の輝度値を示し、I’(x,y)は出力された画像補間合成データ13の座標の輝度値を示す。
【0211】
ステップST107において、出力制御部5は補間合成データ13を垂直同期信号に同期して表示装置の画面に表示させる。
その後、ステップST101に戻って、再び描画タイミング情報記憶部6は表示装置への描画時刻を更新し、ステップST107の処理を移動画素数がmv=Lになるまで繰り返す。
【0212】
このようにして、垂直同期信号1周期当たりの移動画素数が整数のみに制限されることなく、自由に画像効果の時間を設定することができ、かつ、進行方向の隣接画素間で輝度変化が大きな画素における周期的な輝度変化によって生じる品質劣化を軽減する画像合成装置を実現できる。
【0213】
以上のように、この発明の実施の形態7によれば、上記実施の形態3から上記実施の形態6と同様に、物理的には垂直同期信号毎に整数画素単位の精度でしか画像を移動させることができないため画像の遷移時間に設定制限があった画像合成装置において、小数画素(サブピクセル)移動する際に、移動する画素数の小数点以下を切り捨てた分移動した画像データと切り上げた分移動した画像データ、及びこれらを中心に上下左右移動した複数の画像データを作成し、それぞれに対応した平滑化パラメータである平滑化フィルタの各係数及び遷移情報である移動画素数の小数点以下の合成比率で合成することで、小数画素(サブピクセル)単位の精度での移動と平均化処理を同時に実現することにより、遷移時間の設定制限を解消し、かつ、画像データを平滑化してコントラストを下げ、小数画素(サブピクセル)移動の際に生じる周期的で大きな輝度変化を軽減することができるという効果が得られる。
【0214】
さらに、この発明の実施の形態7によれば、図22の画像合成部30に対して上記実施の形態3における図12の画像合成装置のように出力選択部8を加えてもよく、画像の遷移効果の開始前及び終了後の画像が停止した状態では、原画像の高品位な画像を表示することができるという効果が得られる。
【0215】
なお、この発明の実施の形態7では、描画の度に画像ファイル1a、1bから画像データ11a、11bを読み出しているが、あらかじめ画像ファイル1a、1bから画像データ11a、11bを読み出して画像バッファに記憶し、画像バッファから描画の度に画像データ11a、11bを読み出しても同様の効果が得られることは明らかである。
【0216】
また、上記実施の形態1から上記実施の形態7では、生成データ、補間合成データ、平滑化データ、平滑化用画像データ、平滑化合成データは、画像生成部、画像補間合成部、平滑化処理部、平滑化用画像生成部、平滑化合成部にバッファを内蔵して記憶し、読み出して出力しても、バッファを内蔵せずに入力データを逐次処理しながら出力しても同様の効果が得られることは明らかである。
【0217】
さらに、上記実施の形態2から上記実施の形態7では、画像生成部3a、3b、画像補間合成部4で各描画元領域・各描画先領域・合成比率を計算しているが、遷移情報計算部2が各描画元領域・各描画先領域・合成比率の計算までを行い、画像生成部3a、3b、画像補間合成部4に移動画素数あるいはそれぞれで必要な各描画元領域・各描画先領域・合成比率を与えても、同様の効果を得られることは明らかである。
【0218】
さらに、上記実施の形態3から上記実施の形態7では、パラメータ制御部18において、遷移効果の種類のみに基づいて平滑化を適用する方向を決定しているが、さらに移動画素数の変化に応じて、変化が大きい場合は平滑化の度合いを大きく、変化が小さい場合は小さくなるように、描画の度に平滑化パラメータを変更することによって、よりその効果を高めることも可能である。
【0219】
さらに、上記実施の形態3から上記実施の形態5では、平滑化処理部において画像内で同一の平滑化パラメータを用いているが、入力された画像データにおいて平滑化を必要としないような周囲の画素との輝度差が小さい画素に関しては平滑化の度合いを小さくするように平滑化パラメータを調節することにより、画素単位で平滑化パラメータの使い分けを行うことで、遷移効果中の画質がより向上させられることも明らかである。
【0220】
さらに、上記実施の形態3から上記実施の形態6においては、平滑化処理部、画像生成部と画像補間合成部の各処理部を別々に配置しているが、平滑化処理部7、画像生成部3a、3bと画像補間合成部4の全てあるいは一部をまとめて一度に計算して出力制御部5に出力しても、同様の効果が得られることは、明らかである。
全てをまとめて計算すると、いずれの実施の形態も次の式(22)と同一式となる。
【数7】
Figure 0004786712
また、このことから、上記実施の形態3から上記実施の形態7に係る画像合成装置は、処理手順は異なるが、全て同様の効果を得ることができることも明らかである。
【0221】
さらに、上記実施の形態3において、遷移効果記憶部10は遷移情報計算部2に内蔵されてもよいことを説明したが、他の構成として遷移効果記憶部10は遷移情報計算部2を経由して遷移効果情報を与えずに直接各処理部に与えても同様の効果が得られることは明らかである。
【0222】
さらに、上記実施の形態1、上記実施の形態2では、遷移効果記憶部10及び描画タイミング情報記憶部6を備えない画像合成装置について説明しているが、上記実施の形態3から上記実施の形態7と同様に、描画タイミング情報記憶部6を備えることによって、以前に描画した内容に影響されなくなるため、描画が垂直同期信号1周期以内に終了せず、次の垂直同期信号を待ってしまった場合でも、予定通りの表示を行うことが可能なため、遷移時間内に遷移効果が終わる画像合成装置を実現できることは明らかである。
【0223】
さらに、上記実施の形態1、上記実施の形態2では、上記実施の形態3から上記実施の形態7と同様に、遷移効果記憶部10を備えることによって、画像の遷移の度に、異なる遷移効果を行うことが可能な画像合成装置を実現できることも明らかである。さらに、上記実施の形態1、上記実施の形態2では、描画タイミング情報記憶部6を備えた場合でも、上記実施の形態3から上記実施の形態7と同様に、画像合成装置を実現できることも明らかである。
【0224】
さらに、上記実施の形態2から上記実施の形態6では、遷移効果の一つとして2枚の画像間のスクロールを説明したが、その他の表示矩形の位置が変化する一般的な効果として、スライドイン、スライドアウト等が挙げられる。また、上記以外の遷移効果であっても、画像生成部3a、3bが遷移効果に対応した描画元領域と描画先領域を各画像データに対して得ることで、小数画素(サブピクセル)毎に移動する遷移効果を実現することが可能である。
【0225】
さらに、画像毎に移動画素数の変位量が異なる場合は、パラメータ制御部18において、上記実施の形態4及び上記実施の形態5では、平滑化処理部7a、7bにおいて移動画素数の変位量の同一領域毎に平滑化処理部7a、7bの平滑化パラメータを使い分けることで、画像ファイル1a、1bの画像データ11a、11b毎に移動画素数の異なる遷移効果を実現することができる。また、上記実施の形態3では、平滑化処理部7a、7bが平滑化を行う画像ファイル1a、1b毎に平滑化パラメータを使い分けることで、画像ファイル1a、1bの画像データ11a、11b毎に移動画素数の異なる遷移効果を実現することができる。
【0226】
例えば、スライドインの場合、画像データ11aが動かず、画像データ11bがスクロールと同様に表示装置の画面に入ってくる。この場合、パラメータ制御部18が遷移情報計算部2より得られる遷移情報から画像データ11a、11bの各描画先領域を計算、あるいは、前記各描画先領域を遷移情報計算部より取得することにより、画像データ11bが描画されている画素のみ進行方向に平滑化を行うように各画素における平滑化パラメータを設定し、前記平滑化パラメータに基づいて平滑化処理部7a、7bが処理を行うことにより、スライドインにおける小数画素(サブピクセル)毎に移動する遷移効果を実現することができる。
【0227】
図24は画像データ11aから画像データ11bへ右から左にスライドインするスライドイン効果による画面変化を示す図である。スライドインとは、前に表示されていた画像の上に、次に表示される画像が新たに差し込まれるように見える効果を示す。なお、上記実施の形態2におけるスクロールの例と同様に、画像データ11aと画像データ11bと表示装置の解像度は、全て同一で320×48であるとする。例えば、遷移する際に右から左にスライドインする場合、画像データ11aの描画元領域が遷移開始時は(0,0)−(320,48)であり、画像データ11bの描画元領域はないが、遷移が進むにつれて画像データ11aの描画元領域が(0,0)−(320−n,48)、画像データ11bの描画元領域が(0,0)−(n,48)と変化する。なお、その際、画像データ11aの描画先領域は(0,0)−(320−n,48)、画像データ11bの描画先領域は(320−n,0)−(320,48)となる。そして、画像データ11aの描画先領域と描画先領域の面積が0となるまで繰り返される。これによって、画像データ11aの上に、画像データ11bが新たに差し込まれるように見える。
【0228】
スライドアウトの場合は、逆に画像データ11aが描画されている領域のみ平滑化すれば同様の効果を実現できる。
【0229】
図25は画像データ11aから画像データ11bへ右から左にスライドアウトするスライドアウト効果による画面変化を示す図である。スライドアウトとは、前に表示されていた画像が任意の方向に引き抜かれ、その下から次に表示される画像が現れるように見える効果を示す。なお、上記実施の形態2におけるスクロールの例と同様に、画像データ11aと画像データ11bと表示装置の解像度は、全て同一で320×48であるとする。例えば、遷移する際に右から左にスライドアウトする場合、画像データ11aの描画元領域が遷移開始時は(0,0)−(320,48)であり、画像データ11bの描画元領域はないが、遷移が進むにつれて画像データ11aの描画元領域が(n,0)−(320,48)、画像データ11bの描画元領域が(320−n,0)−(320,48)と変化する。なお、その際、画像データ11aの描画先領域は(0,0)−(320−n,48)、画像データ11bの描画先領域は(320−n,0)−(320,48)となる。そして、画像データ11aの描画先領域と描画先領域の面積が0となるまで繰り返される。これによって、画像データ11aが画面から引き抜かれ、画像データ11bがその下から現れたように見える。
【0230】
なお、ワイプ効果の場合は、画像データ11a、11b共に画像の位置は移動しないため、画像の移動に伴う輝度変化は生じない。そのため、上記実施の形態2における画像合成装置の構成のみで周期的な輝度変化のない小数画素(サブピクセル)毎に移動する遷移効果が実現可能である。
【0231】
図26は画像データ11aから画像データ11bへ右から左にワイプするワイプ効果による画面変化を示す図である。ワイプとは、前に表示されていた画像を次に表示される画像で順に塗り替えていくように見える効果を示す。なお、上記実施の形態2におけるスクロールの例と同様に、画像データ11aと画像データ11bと表示装置の解像度は、全て同一で320×48であるとする。例えば、遷移する際に右から左にワイプする場合、画像データ11aの描画元領域が遷移開始時は(0,0)−(320,48)であり、画像データ11bの描画元領域はないが、遷移が進むにつれて画像データ11aの描画元領域が(0,0)−(320−n,48)、画像データ11bの描画元領域が(320−n,0)−(320,48)と変化する。なお、その際、画像データ11aの描画先領域は(0,0)−(320−n,48)、画像データ11bの描画先領域は(320−n,0)−(320,48)となる。そして、画像データ11aの描画先領域と描画先領域の面積が0となるまで繰り返される。これによって、画像データ11aが画像データ11bによって徐々に塗り替えていくように見える。なお、ワイプの場合、遷移情報である遷移進行を示す移動画素数は、画像データ11bにより塗り替えられた行数を示す。
【0232】
また、ワイプ効果では、画像内部に開始点を設定して左右へ画像の塗り替えていく図27や、開始点を左右両端に設定して内部へ塗り替えていく図28のような複合変形例も容易に実現できる。なお、図27では内部の開始点から左右に、それぞれmv_a/2の移動画素数で塗り替えを行う例として示しているが、左右均等でなくても構わず、例えば開始点を境界として左右に異なる移動画素数、合成比率で塗り替えを進め、左右端に達した時点でその方向の塗り替えを終了するものとする。また、図28では左右両端から内部に向かって、それぞれmv_a/2の移動画素数で塗り替えを行う例として示しているが、左右均等でなくても構わず、例えば交差する終了点を境界として左右に異なる移動画素数、合成比率で塗り替えを進め、内部の終了点で交差した時点で塗り替えを終了するものとする。同様に、内部の終了点で左右に分割された画像を左右からスライドインさせて終了点で結合させ、あるいは内部の開始点から画像を左右に分離してスライドアウトさせるような複合変形例についても、内部の開始点または終了点を境界として左右に異なる移動画素数、合成比率で二方向に二系統の合成を行うという考え方で容易に実現できる。
【0233】
さらに、上記実施の形態2から上記実施の形態7では、2つの画像間の遷移効果を例に挙げて説明したが、上記実施の形態1のように1枚の画像の端から端をスクロールで表示したり、1枚以上の画像を繰り返しスクロールしたり、また3つ以上の画像を連続して遷移させたとしても、上記実施の形態2、上記実施の形態4及び上記実施の形態5の場合は画像数分だけ画像ファイルを、上記実施の形態3の場合は、画像数分だけ画像ファイル及び平滑化処理部を備え、画像生成部3a、3bが遷移効果に対応した描画元領域と描画先領域を各画像データや出力データに対して得て平滑化を行うことで、同様の効果が得られる。
【0234】
また、上記実施の形態1から上記実施の形態7は、プログラムで、各処理部を実現することでも同様の効果を得られることは明らかである。
【図面の簡単な説明】
【0235】
【図1】 この発明の実施の形態1に係る画像合成装置の構成を示すブロック図である。
【図2】 この発明の実施の形態1に係る画像合成装置における画像データのスクロール効果の概要を示す説明図である。
【図3】 この発明の実施の形態1に係る画像合成装置の処理手順を示すフローチャートである。
【図4】 この発明の実施の形態2に係る画像合成装置の構成を示すブロック図である。
【図5】 この発明の実施の形態2に係る画像合成装置における画像データのスクロール効果の概要を示す説明図である。
【図6】 この発明の実施の形態2に係る画像合成装置における画像データのスクロール効果による画面変化を示す説明図である。
【図7】 この発明の実施の形態2に係る画像合成装置の処理手順を示すフローチャートである。
【図8】 この発明の実施の形態2に係る画像合成装置の画像生成部の処理を説明する説明図である。
【図9】 この発明の実施の形態2に係る画像合成装置の各部における画像データの変化の様子を示す説明図である。
【図10】 この発明の実施の形態2に係る画像合成装置の各部における画像データの輝度値の変化の様子を示す説明図である。
【図11】 この発明の実施の形態3に係る画像合成装置の構成を示すブロック図である。
【図12】 この発明の実施の形態3に係る出力選択部を備えた画像合成装置の構成を示すブロック図である。
【図13】 この発明の実施の形態3に係る画像合成装置の処理手順を示すフローチャートである。
【図14】 この発明の実施の形態3に係る画像合成装置の各部における画像データの変化の様子を示す説明図である。
【図15】 この発明の実施の形態3に係る画像合成装置の各部における画像データの輝度値の変化の様子を示す説明図である。
【図16】 この発明の実施の形態4に係る画像合成装置の構成を示すブロック図である。
【図17】 この発明の実施の形態4に係る画像合成装置の処理手順を示すフローチャートである。
【図18】 この発明の実施の形態5に係る画像合成装置の構成を示すブロック図である。
【図19】 この発明の実施の形態5に係る画像合成装置の処理手順を示すフローチャートである。
【図20】 この発明の実施の形態6に係る画像合成装置の構成を示すブロック図である。
【図21】 この発明の実施の形態6に係る画像合成装置の処理手順を示すフローチャートである。
【図22】 この発明の実施の形態7に係る画像合成装置の構成を示すブロック図である。
【図23】 この発明の実施の形態7に係る画像合成装置の処理手順を示すフローチャートである。
【図24】 この発明の実施の形態に係る画像合成装置における画像データのスライドイン効果による画面変化を示す説明図である。
【図25】 この発明の実施の形態に係る画像合成装置における画像データのスライドアウト効果による画面変化を示す説明図である。
【図26】 この発明の実施の形態に係る画像合成装置における画像データのワイプ効果による画面変化を示す説明図である。
【図27】 この発明の実施の形態に係る画像合成装置における画像データのワイプ効果の変形例(1)による画面変化を示す説明図である。
【図28】 この発明の実施の形態に係る画像合成装置における画像データのワイプ効果の変形例(2)による画面変化を示す説明図である。

Claims (12)

  1. 画像の遷移情報として移動画素数を計算する遷移情報計算部と、
    画像データに基づき上記遷移情報計算部で計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え
    上記画像合成部は、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、
    上記画像データに上記平滑化パラメータによる平滑化処理を行い、
    この平滑化処理を行った画像データから上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、
    この生成データを上記合成比率で合成することを特徴とする画像合成装置。
  2. 画像の遷移情報として移動画素数を計算する遷移情報計算部と、
    画像データに基づき上記遷移情報計算部で計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え、
    上記画像合成部は、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、
    上記画像データから上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、
    この生成データに上記平滑化パラメータによる平滑化処理を行い、
    この平滑化処理を行った生成データを上記合成比率で合成する
    ことを特徴とする画像合成装置。
  3. 画像の遷移情報として移動画素数を計算する遷移情報計算部と、
    画像データに基づき上記遷移情報計算部で計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データと上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データとを生成し、この生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成部とを備え、
    上記画像合成部は、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成し、
    上記画像データから生成された上記切捨て移動画素数および上記切上げ移動画素数に対応した生成データを生成し、
    この生成データを上記合成比率で合成し、
    この合成した生成データに上記平滑化パラメータによる平滑化処理を行う
    ことを特徴とする画像合成装置。
  4. 上記画像合成部は、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成するパラメータ制御部と、
    上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑化処理を適用した第1の平滑化画像データを生成する第1の平滑化処理部と、
    上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑化処理を適用した第2の平滑化画像データを生成する第2の平滑化処理部と、
    上記第1の平滑化処理部が生成した上記第1の平滑化データと上記第2の平滑化処理部が生成した上記第2の平滑化データを得て、生成する第1の生成データに対する描画先領域部分の生成データとする第1の画像生成部と、
    上記第1の平滑化処理部が生成した上記第1の平滑化データと上記第2の平滑化処理部が生成した上記第2の平滑化データを得て、生成する第2の生成データに対する描画先領域部分の生成データとする第2の画像生成部と、
    上記第1の画像生成部が生成した上記第1の生成データおよび上記第2の画像生成部が生成した上記第2の生成データを上記合成比率で合成して補間合成データを生成する画像補間合成部とを備え、
    上記画像補間合成部が生成した上記補間合成データを上記合成画像データとして出力することを特徴とする請求項1記載の画像合成装置。
  5. 上記画像合成部は、
    上記遷移情報計算部から得られる遷移情報に基づき、上記画像データと上記補間合成データのいずれかを選択して出力する出力選択部を備え、
    上記出力選択部で選択された出力を合成画像データとする
    ことを特徴とする請求項記載の画像合成装置。
  6. 上記画像合成部は、
    上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第1の生成データに対する描画先領域部分の生成データとする第1の画像生成部と、
    上記切上げ移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第2の生成データに対する描画先領域部分の生成データとする第2の画像生成部と、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成するパラメータ制御部と、
    上記第1の画像生成部が生成した上記第1の生成画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑化処理を適用した第1の平滑化データを生成する第1の平滑化処理部と、
    上記第2の画像生成部が生成した上記第2の生成画像データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑化処理を適用した第2の平滑化データを生成する第2の平滑化処理部と、
    上記第1の画像生成部が生成した上記第1の生成データおよび上記第2の画像生成部が生成した上記第2の生成データを上記合成比率で合成して補間合成データを生成する画像補間合成部とを備え、
    上記画像補間合成部は、上記第1の平滑化処理部が生成した上記第1の平滑化データと上記第2の平滑化処理部が生成した上記第2の平滑化データから上記補間合成データを生成し、この補間合成データを上記合成画像データとして出力することを特徴とする請求項2記載の画像合成装置。
  7. 上記画像合成部は、
    上記遷移情報計算部から得られる遷移情報に基づき、上記画像データと上記補間合成データのいずれかを選択して出力する出力選択部を備え、
    上記出力選択部で選択された出力を合成画像データとする
    ことを特徴とする請求項記載の画像合成装置。
  8. 上記画像合成部は、
    上記切捨て移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第1の生成データに対する描画先領域部分の生成データとする第1の画像生成部と、
    上記切上げ移動画素数から設定される上記画像データに対する描画元領域部分の画像データを得て、生成する第2の生成データに対する描画先領域部分の生成データとする第2の画像生成部と、
    上記第1の画像生成部が生成した上記第1の生成データおよび上記第2の画像生成部が生成した上記第2の生成データを上記合成比率で合成して補間合成データを生成する画像補間合成部と、
    上記遷移情報と所望の遷移効果の種類と移動方向に基づく平滑化パラメータを生成するパラメータ制御部と、
    上記画像補間合成部が生成した上記補間合成データを得て、上記パラメータ制御部が生成した上記平滑化パラメータにより平滑化処理を適用して平滑化データを生成する平滑化処理部とを備え、
    上記平滑化処理部が生成した上記平滑化データを平滑化された補間合成データとして出力することを特徴とする請求項3記載の画像合成装置。
  9. 上記画像合成部は、
    上記遷移情報計算部から得られる遷移情報に基づき、上記画像データと上記補間合成データのいずれかを選択して出力する出力選択部を備え、
    上記出力選択部で選択された出力を合成画像データとする
    ことを特徴とする請求項記載の画像合成装置。
  10. 画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、
    上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、
    画像データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、
    上記平滑化処理を行った画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した生成データを生成する第1の生成ステップと、
    上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した生成データを生成する第2の生成ステップと、
    この第1と第2の生成ステップで生成された生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップと
    を有することを特徴とする画像合成方法。
  11. 画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、
    上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、
    画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した第1の生成データを生成する第1の生成ステップと、
    上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した第2の生成データを生成する第2の生成ステップと、
    この第1の生成データ及び第2の生成データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、
    この平滑化処理された第1と第2の生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップと
    を有することを特徴とする画像合成方法。
  12. 画像の遷移情報として移動画素数を計算する遷移情報計算ステップと、
    上記遷移情報と所望の遷移効果の種類と移動方向とに基づき平滑化パラメータを生成するパラメータ生成ステップと、
    画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り捨てた切捨て移動画素数に対応した第1の生成データを生成する第1の生成ステップと、
    上記画像データに基づき上記遷移情報計算ステップで計算された上記移動画素数の小数点以下を切り上げた切上げ移動画素数に対応した第2の生成データを生成する第2の生成ステップと、
    この第1と第2の生成データに基づき上記移動画素数から得た合成比率で合成して合成画像データを出力する画像合成ステップと
    この合成した第1と第2の生成データに上記平滑化パラメータによる平滑化処理を行う平滑化ステップと、
    を有することを特徴とする画像合成方法。
JP2008514316A 2006-04-25 2006-04-25 画像合成装置および画像合成方法 Expired - Fee Related JP4786712B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/308653 WO2007129367A1 (ja) 2006-04-25 2006-04-25 画像合成装置および画像合成方法

Publications (2)

Publication Number Publication Date
JPWO2007129367A1 JPWO2007129367A1 (ja) 2009-09-17
JP4786712B2 true JP4786712B2 (ja) 2011-10-05

Family

ID=38667488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514316A Expired - Fee Related JP4786712B2 (ja) 2006-04-25 2006-04-25 画像合成装置および画像合成方法

Country Status (6)

Country Link
US (1) US20090122081A1 (ja)
EP (1) EP2012301A4 (ja)
JP (1) JP4786712B2 (ja)
CN (1) CN101427302B (ja)
HK (1) HK1130557A1 (ja)
WO (1) WO2007129367A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4962573B2 (ja) * 2007-12-06 2012-06-27 富士通株式会社 画像処理装置
JP4952796B2 (ja) 2007-12-25 2012-06-13 富士通株式会社 画像処理装置
CN101901126B (zh) * 2010-07-12 2012-01-04 东北大学 组合式大屏幕流媒体播放的计算机控制方法
WO2013146508A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6135050B2 (ja) * 2012-05-25 2017-05-31 セイコーエプソン株式会社 データ処理装置、表示装置、および、データ処理装置の制御方法
JP2013257476A (ja) * 2012-06-14 2013-12-26 Sony Corp 表示装置、画像処理装置、および表示方法
US20140215383A1 (en) * 2013-01-31 2014-07-31 Disney Enterprises, Inc. Parallax scrolling user interface
CN105612574B (zh) * 2013-10-25 2018-08-14 发纮电机株式会社 可编程显示器、程序
CN106328045B (zh) * 2015-07-06 2019-07-16 西安诺瓦电子科技有限公司 可编程逻辑器件及其亚像素下采样方法和数据编码电路
US11113578B1 (en) * 2020-04-13 2021-09-07 Adobe, Inc. Learned model-based image rendering
WO2024196107A1 (en) * 2023-03-21 2024-09-26 Samsung Electronics Co., Ltd. Generating contextual transition effects in videos

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04116691A (ja) * 1990-09-07 1992-04-17 Video Tron Kk 電子ロールオペーク装置
JPH04301685A (ja) * 1990-11-14 1992-10-26 Philips Gloeilampenfab:Nv 表示方法及び装置
JPH0723290A (ja) * 1993-06-30 1995-01-24 Nippon Hoso Kyokai <Nhk> スクロール装置
JPH08129374A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Ind Co Ltd スクロール効果装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2119594B (en) * 1982-03-19 1986-07-30 Quantel Ltd Video processing systems
US4849746A (en) * 1986-04-07 1989-07-18 Dubner Computer Systems, Inc. Digital video generator
US4805022A (en) * 1988-02-19 1989-02-14 The Grass Valley Group, Inc. Digital wipe generator
US5477240A (en) * 1990-04-11 1995-12-19 Q-Co Industries, Inc. Character scrolling method and apparatus
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
JPH05313645A (ja) 1992-05-06 1993-11-26 Matsushita Electric Ind Co Ltd 画像合成表示装置
US6141018A (en) * 1997-03-12 2000-10-31 Microsoft Corporation Method and system for displaying hypertext documents with visual effects
AU2710201A (en) * 2000-01-24 2001-07-31 Matsushita Electric Industrial Co., Ltd. Image composting apparatus, recording medium and program
US6618054B2 (en) * 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
JP2003233809A (ja) * 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP4484511B2 (ja) * 2003-12-26 2010-06-16 三洋電機株式会社 画像合成装置、画像合成用集積回路、及び画像合成方法
US7460132B2 (en) * 2005-04-28 2008-12-02 Texas Instruments Incorporated System and method for motion adaptive anti-aliasing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04116691A (ja) * 1990-09-07 1992-04-17 Video Tron Kk 電子ロールオペーク装置
JPH04301685A (ja) * 1990-11-14 1992-10-26 Philips Gloeilampenfab:Nv 表示方法及び装置
JPH0723290A (ja) * 1993-06-30 1995-01-24 Nippon Hoso Kyokai <Nhk> スクロール装置
JPH08129374A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Ind Co Ltd スクロール効果装置

Also Published As

Publication number Publication date
JPWO2007129367A1 (ja) 2009-09-17
EP2012301A4 (en) 2010-09-15
CN101427302B (zh) 2012-01-11
HK1130557A1 (en) 2009-12-31
WO2007129367A1 (ja) 2007-11-15
US20090122081A1 (en) 2009-05-14
EP2012301A1 (en) 2009-01-07
CN101427302A (zh) 2009-05-06

Similar Documents

Publication Publication Date Title
JP4786712B2 (ja) 画像合成装置および画像合成方法
US6788309B1 (en) Method and apparatus for generating a video overlay
JP5489470B2 (ja) 画像表示装置及び画像表示方法
JP4043518B2 (ja) 一定のフレーム・レートで複雑なグラフィック・イメージを生成し表示するシステムおよび方法
JP2007271908A (ja) マルチ画像生成装置
JP4274238B2 (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JPH02213286A (ja) ビデオデータ処理装置
JPH10207446A (ja) プログラマブル表示装置
US20060203002A1 (en) Display controller enabling superposed display
JP3770121B2 (ja) 画像処理装置
JPWO2011070631A1 (ja) 画像合成装置及び画像合成プログラム
US20110025917A1 (en) Video processing device
JP4183082B2 (ja) 3次元画像描画装置および3次元画像描画方法
JP3493126B2 (ja) テレビジョン受信機の表示装置
JP2000324337A (ja) 画像拡大縮小装置
JP5033098B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP3910259B2 (ja) 画像処理装置および方法、並びにレンダリング装置および方法
JP5256628B2 (ja) 画像表示装置、該画像表示装置に用いられる画像拡大/縮小方法及び画像拡大/縮小制御プログラム
JP2002182639A (ja) 画像処理装置
JP4124015B2 (ja) 画像表示装置
WO2021245875A1 (ja) 画像合成装置及び画像合成方法
JP2001103374A (ja) 映像拡大/縮小装置
JP4194605B2 (ja) 画像処理装置および方法、並びにレンダリング装置および方法
JP2006276269A (ja) 画像表示装置、画像表示方法及びそのプログラム
JPWO2021006160A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4786712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees