JPWO2008047518A1 - 画像合成装置、画像合成方法、画像合成プログラム、集積回路 - Google Patents

Abstract

データ形式の異なる複数の画像データを合成して生成された合成画像データを加工する場合、合成画像データ全体について、同一のアルゴリズムによって加工されるが、合成画像データの一部については、前記アルゴリズムが必ずしも最適なアルゴリズムでない場合がある。本発明では、形式変換部１４２は、合成の対象となる画像データの形式の変換を行うと共に、変換前のデータ形式を示すフラグを各ピクセルデータに付加して出力する。合成エンジン１４４は、形式変換部１４２から出力された画像データを合成する。

Description

本発明は、複数の画像を１つの画像に合成する技術に関する。特に、それぞれ、異なる形式により記述された画像データを合成する技術に関する。

テレビやパソコンのディスプレイに表示される画像は、各画素の色を数値によって表したデータを基に生成される。
色を数値により表現する方法には、ＲＧＢ形式、ＹＵＶ形式、ＨＳＶ形式など様々な形式が存在する。
一例としてＲＧＢ形式は、各画素について、光の３原色である赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）のそれぞれの強度を数値で表すものである。各色の数値が大きくなるに従って、白に近い色を表現し、数値が小さくなるに従って黒に近い色を表現する。パソコンのディスプレイには、一般にこのＲＧＢ形式が用いられる。従って、パソコンなどを利用して生成されたテキスト画像データや、グラフィック画像は、ＲＧＢ形式で記述される。

また、ＹＵＶ形式では、輝度（明るさ）を示す変数Ｙ、輝度と青色成分との差を示す色差Ｕ、輝度と赤色成分の差を示す色差Ｖで、１画素の色を表現する。ＹＵＶ形式には、隣接する４ピクセルで１組の色差データを共有する間引きを行って、データ量を削減するＹＵＶ４２２形式、ＹＵＶ４２０形式などが存在する。これらは、色味よりも輝度に反応しやすいという人間の目の特性を利用したものであって、自然画（例えば風景写真、人物写真）のように、色味が徐々に変化する画像に適しており、ＪＰＥＧ、ＭＰＥＧなどに用いられることが多く、デジタルテレビ放送にも使用されている。

このように、様々なデータ形式により記述される画像に拡大、縮小、回転などの加工を加える場合や画質を補整する場合、データ形式により最適な加工アルゴリズムは、当然異なると考えられる。
例えばＲＧＢ形式で記述されたテキスト画像データや、グラフィック画像を拡大する場合、隣接するピクセルのデータをコピーして拡大し（零次ホールド法）、階段状になったエッジを補整する（直線補完法など）方法が考えられる。

また、ＹＵＶ形式で記述された写真データなどを拡大する場合は、単に隣接データをコピーし、エッジ補整をするだけでなく、色の諧調変化の調整など、より複雑な加工が必要であると考えられる。画像データの加工については、非特許文献１に詳しく紹介されている。
ところで、上記のように、様々な形式により記述された画像データを合成して１つの画面を表す画像データを作成する場合がある。例えば、ホームページに、ＲＧＢ形式のグラフィック画像データとＹＵＶ形式の写真データとを掲載する場合などである。

元々は異なる形式であっても１つの画像データに合成する場合、全てのピクセルデータが、単一の形式で記述される必要がある。このように、全てのピクセルのデータ形式を統一した後では、各ピクセルが、合成前に何れの形式で表現されていたかは判断できない。
特開昭６１−１５６０９１号公報 貴家仁志 著 「よくわかる動画・静止画の処理技術」 ２００４年９月１日 ＣＱ出版 田村秀行 著 「コンピュータ画像処理」 ２００２年１２月２０日 オーム社

ところで、合成後の画像データを加工しようとする場合、上述したように、元々ＲＧＢ形式であった部分と、ＹＵＶ形式であった部分とでは、最適な加工アルゴリズムが異なる。しかし、合成後の画像データは、単一の表示形式により記述されているので、加工しようとする部分全てに対して同一のアルゴリズムにより加工せざるを得ない。そのため、不最適な加工アルゴリズムにより加工され、画質が粗雑になる可能性がある。

本発明は、上記の可能性を考慮し、合成後の画像を加工する場合でも最適な加工アルゴリズムを選択することができる、画像合成装置、画像合成システム、画像合成方法、画像合成プログラム及び集積回路を提供することを課題とする。

上記課題を解決するため、本発明は、複数の画像データを合成して合成画像データを生成する画像合成装置であって、合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付手段とを備えることを特徴とする。

また、本発明は、複数の画像データを合成して合成画像データを生成する画像合成装置と、合成画像データを加工して加工画像データを生成する加工装置とから構成される画像データ利用システムであって、前記画像合成装置は、合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付手段とを備え、前記加工装置は、前記合成画像データを取得するデータ取得手段と、前記合成画像データに対する加工指示を受け付ける受付手段と、前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備えることを特徴とする画像データ利用システムでもある。

ここで、上記の「取得手段」について、下記の実施の形態１では、合成制御部１４１及び形式変換部１４２がその機能を担う。「合成手段」及び「対応付手段」については、合成エンジン１４３合成、バッファ１４４及びメモリ１０１がその機能を担う。

上記の構成によると、前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分に前記属性情報を対応付ける。そのため、前記属性情報を基に、前記合成画像データを構成する各部分が、合成前においてどのようにコード化されたかを知ることができる。従って、合成画像データを更に加工する場合、前記属性情報を基に、最適な加工アルゴリズムを選択し、各部分ごとに、最適な加工アルゴリズムにより加工を施すことができる。

また、本発明において、前記複数の対象画像データは、それぞれ、異なるデータ形式の入力画像データを、何れか一つのデータ形式に統一して生成され、前記取得手段は、各対象画像データと対応する入力画像データのデータ形式を示す前記属性情報を取得することを特徴とするとしてもよい。
この構成によると、前記対応付手段は、各入力画像データのデータ形式示す前記属性情報を、前記合成画像データのうちの各対象画像データと対応する部分と対応付ける。従って、合成画像データの各部分について、形式変換前のデータ形式を知ることができる。

また、前記複数の対象画像データの何れかは、入力画像データを加工して生成されたものであって、前記取得手段は、各対象画像データの加工履歴を示す前記属性情報を取得する画像合成装置であってもよい。
ここで、上記の「加工」は、下記の実施例における、拡大、縮小、反転などの加工処理に加え、画質補整処理も含む。

この構成によると、前記取得手段は、各入力画像データに対する加工履歴を示す前記属性情報を取得するので、合成画像データの各部分について、合成前に加工が施されたか否かを知ることができる。
また、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記対応付手段は、前記合成画像データから生成される合成画像上において、前記一部に相当する領域の最前面に表示される対象画像と対応する対象画像データの属性情報を前記一部に対応付けることを特徴とする画像合成装置であってもよい。

前記合成画像データを基に表示される合成画像上において、２以上の対象画像データと対応する領域が重複している場合、前記２以上の対象画像データから生成される２以上の対象画像のうち、最前面に表示される対象画像が製作者にとって最も重要であると考えられる。上記の構成によると、前記対応付手段は、前記合成画像データから生成される合成画像上において、前記一部に相当する領域の最前面に表示される対象画像の基となる対象画像データの属性情報を、前記一部に対応付ける。従って、製作者の意図を反映して、前記一部に属性情報を付加することができる。

また、前記合成画像データは、複数のピクセルデータから構成され、前記画像合成装置を構成する前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分を構成する各ピクセルデータそれぞれに、該当する属性情報を対応付けることを特徴とする構成であっても良い。
この構成によると、前記対応付手段は、前記合成画像データを構成するピクセルデータ毎に前記属性情報を対応付ける。前記合成画像データの一部を利用しようとする場合、利用対象となる部分に含まれる各ピクセルデータに対応する属性情報を確実に検出できる。

また、前記対応付手段は、１６ビットの偶数倍のビット数を１単位としてデータを記憶する記憶部と、１ピクセルデータのビット長及び前記属性情報のビット長との和が１６ビットの偶数倍になるようなビット長の補完データを生成する補完部と、前記記憶部に、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報と前記補完データを連続して書き込む書込部とを含む前記画像合成装置であってもよい。

現在既存のメモリは、１６ビット又はその偶数倍を１単位としてアドレス管理するものが多い。前記記憶部は、このようなメモリにより実現されると考えられる。
上記の構成によると、１ピクセルデータのビット長と前記属性情報のビット長補完データのビット長の和が１６ビットの偶数倍であって、前記書込部は、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報とを連続して書き込む。そのため、各ピクセルデータ及び属性データのアドレス管理が簡易になり、前記合成画像データの一部分を利用しようとする場合、迅速に、利用しようとする一部分に含まれるピクセルデータと各ピクセルデータに対応する属性情報とを読み出すことができる。

また、前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、前記対応付手段は、データを記憶する記憶部と、前記合成画像データを構成するピクセルデータ群と、各ピクセルデータに対応する属性情報群とを前記記憶部に書き込む書込部とを含む前記画像合成装置であってもよい。
前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、前記書込部は、前記合成画像データと、前記属性情報群とを個別に書き込む。従って、総データ量を必要最小限にすることができる。

また、前記対応付手段は、データを記憶する記憶部と、前記合成画像データにおける各対象画像データと対応する部分を示す部分情報を生成する生成部と、各部分情報及び対応する属性情報を、前記記憶部に書き込む書込部とを含むことを特徴とする前記画像合成装置であってもよい。
この構成によると、前記書込部は、各部分情報及び各部分情報と対応する属性情報を、前記記憶部に書き込む。従って、ピクセル毎に属性情報を保持する場合に比べて、大幅にデータ量を削減することができる。

また、前記画像合成装置において、前記合成手段は、各属性情報に基づき加工アルゴリズムを選択する選択部と、選択された加工アルゴリズムに基づき各属性情報と対応する対象画像データを加工する加工部と、加工後の対象画像データ群を合成する合成部とを含むとしてもよい。
この構成によると、合成前において各対象画像データに加工を施す必要がある場合、前記属性情報を基に、迅速に加工アルゴリズムを選択し、加工を施すことができる。

前記画像合成装置は、さらに、前記合成画像データに対する加工指示を受け付ける受付手段と、前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備えるとしてもよい。
この構成によると、前記選択手段は、前記加工指示の対象となる部分に含まれるピクセルデータに対応する前記属性情報群を基に、最適な加工アルゴリズムを選択し、前記加工手段は、前記加工指示の対象となる部分に最適な加工処理を施すことができる。

実施の形態１における画像合成装置１００の機能的構成を示すブロック図である。 合成指示テーブル１１２の詳細を示す。 画像記憶領域１２１に記憶されている画像データを視覚的に示したものである。 合成画像１２７及び合成画像１２７の一部を拡大した加工画像を示す。 合成画像データ１２７を構成する各ピクセルデータに含まれる形式フラグＰの値の配置を視覚的に示したものである。 画像合成処理における画像合成装置１００の動作を示すフローチャートである。 画像合成処理における画像合成装置１００の動作を示すフローチャートであって、図６のステップＳ１１４から続く。 画像合成処理における画像合成装置１００の動作を示すフローチャートであって、図６のステップＳ１１６から続く。 合成画像データの加工処理における画像合成装置１００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置１００の動作を示すフローチャートであって図９から続く。 実施の形態２における画像合成装置２００の機能的構成を示すブロック図である。 合成指示テーブル２１２の詳細を示す。 合成指示テーブル２１２に従って生成された合成画像データを基に表示される合成画像である。 画像合成処理における画像合成装置２００の動作を示すフローチャートである。 画像合成処理における画像合成装置２００の動作を示すフローチャートであって、図１４のステップＳ２１３から続く。 画像合成処理における画像合成装置２００の動作を示すフローチャートであって、図１５のステップＳ２２６から続く。 合成画像データの加工処理における画像合成装置２００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置２００の動作を示すフローチャートであって、図１７から続く。 実施の形態３に係る画像合成装置３００の機能的構成を示すブロック図である。 画像合成処理における画像合成装置３００の動作を示すフローチャートである。 画像合成処理における画像合成装置３００の動作を示すフローチャートであって、図２０のステップＳ３１２から続く。 画像合成処理における画像合成装置３００の動作を示すフローチャートであって、図２１のステップＳ３２２から続く。 合成画像データの加工処理における画像合成装置３００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置３００の動作を示すフローチャートであって、図２３から続く。 実施の形態４に係る画像合成装置４００の機能的構成を示すブロック図である。 画像合成処理における画像合成装置４００の動作を示すフローチャートである。 画像合成処理における画像合成装置４００の動作を示すフローチャートであって、図２６から続く。 画像合成処理における画像合成装置４００の動作を示すフローチャートであって、図２７から続く。

符号の説明

１００ 画像合成装置
１０１ メモリ
１０２ 表示部
１０３ 入力部
１０４ 主制御部
１０５ 画像処理部
１４１ 合成制御部
１４２ 形式変換部
１４３ 合成エンジン
１４４ 合成バッファ
１４６ 変形用メモリ
１４７ 変形エンジン
１４８ 補整用メモリ
１４９ 補整エンジン

１． 実施の形態１
以下に、本発明の実施の形態１に係る画像合成装置について、図面を用いて説明する。
１．１ 概要
実施の形態１における画像合成装置は、複数の画像データを合成して１つの合成画像データを生成する。ここで、本明細書において、モニターに表示される映像を「画像」、前記映像を生成するためのデータを「画像データ」と表現する。

合成の対象となる画像データには、コンピュータを用いて生成されたＲＧＢ形式の画像データと、デジタルカメラなどにより風景や人物を撮影して生成されたＹＵＶ形式の画像データとが混在する。
合成の過程において、画像合成装置は、各画像データを、ＲＧＢ形式に統一し、する。本実施の形態では、各色を８ビット長で表現する。以下ＲＧＢ形式の画像データにおいて、各画素の赤、青、緑を表現するために割り当てられるデータ長がａ、ｂ、ｃ（整数、単位はビット）のとき、前記画像データの形式をＲａＧｂＢｃ形式と表現する。また、データ長を所定の長さにするために付加する意味のないｎビット長のデータ（以下ブランクビット）をＸｎと表現する。また、１画素に相当するデータをピクセルデータと呼ぶ。

本発明の画像合成装置は、各画像データを、各色を８ビット長のデータで表現するＸ８Ｒ８Ｇ８Ｂ８形式に変換し、ブランクビットの先頭の１ビットを変換前の画像データがＲＧＢ形式及びＹＵＶ形式の何れであったかを示すフラグＰに置き換えてＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式に統一する。
次に、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の画像データを所定の位置に配置して、合成画像データを生成する。

なお、各ピクセルデータを３２ビット長になるように調整しているが、これは、既存のメモリの物理的構造に起因しており、１ピクセルデータのデータ長が、１６ビット又は１６ビットの偶数倍であれば、アドレス管理が容易になるためである。従って、必ずしも３２ビット長である必要はない。
１．２ 画像合成装置１００の構成
画像合成装置１００は、複数の画像データを合成して合成画像データを生成する機能、及び、合成画像の一部又は全部を加工（拡大、縮小、回転、反転など）した加工画像を表示するための加工画像データを生成する装置である。

図１は、画像合成装置１００の機能的構成を示すブロック図であり、図中の矢印は、画像データの合成処理及び合成画像データの加工処理におけるデータの流れを示している。
画像合成装置１００は、図１に示すように、メモリ１０１、表示部１０２、入力部１０３、主制御部１０４、画像処理部１０５から構成され、画像処理部１０５は、合成制御部１４１、形式変換部１４２、合成エンジン１４３、合成バッファ１４４、変形用メモリ１４６、変形エンジン１４７、補整用メモリ１４８及び補整エンジン１４９を含む。

画像合成装置１００は、具体的には、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像合成装置１００は、その機能の一部を実現する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成について詳細に説明する。
（１）メモリ１０１
メモリ１０１は、ハードディスクユニットを含んで構成され、その内部は、一般領域１１１と画像記憶領域１２１とから構成される。
一般領域１１１は、一例として、図１に示すように、合成指示テーブル１１２、拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６、補整用データＡ１１７及び補整用データＢ１１８を記憶している。これらの他にも、主制御部１０４により用いられる各種のプログラム、画像データ（スタート画面、メニュー表示など）、関数、演算パラメータなどが記憶されている。

画像記憶領域１２１は、利用者の操作により保存された画像データを記憶している。一例として、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６、合成画像データ１２７及び加工画像データ１２８を記憶している。
なお、ここでは、画像合成、合成画像データの加工が終了した時点おいてメモリ１０１の記憶している情報の、一例を示している。

（１−１）合成指示テーブル１１２
合成指示テーブル１１２は、合成を実行するために必要な情報を示すテーブルである。
図２は、合成指示テーブル１１２の詳細を示している。合成指示テーブル１１２は、図２に示すように、複数の合成情報１３１、１３２、１３３及び１３４から構成される。各合成情報は、それぞれ、後述するペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４及び１２６と対応している。また、これらの画像データを基に生成され、表示される画像と対応している。

各合成情報は入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率を含んで構成される。
入力画像データは、合成の対象となる画像データを示す情報であって、図２では、画像データの名称を記載しているが、これに限らず、画像データの識別子、記憶されている先頭アドレスなどでもよい。

データ形式は、対応する画像データのデータ形式を示している。「Ｘ８Ｒ８Ｇ８Ｂ８」は、上述したように、対応する画像データがＲＧＢ形式であって、１画素に相当するピクセルデータをブランクビット８ビットと、赤、緑及び青の強度を８ビット長のデータで表現することを示している。
「Ｒ５Ｇ６Ｂ５」は、対応する画像データが、ＲＧＢ形式であって、１ピクセルに相当するデータを、赤を５ビット長、緑を６ビット長、青を５ビット長で表現することを示している。

「ＹＵＶ４２２」及び「ＹＵＶ４２０」は、既に述べたとおり、輝度及び色差によりピクセルデータを表現するＹＵＶ方式であって、「ＹＵＶ４２２」と「ＹＵＶ４２０」とでは色差データの間引き方が異なる。
重ね合わせ順は、対応する画像が画面上に表示される順序を示す情報であり、数値の大きいものほど上（手前）に表示され、数値の小さいものほど下（後ろ）に表示される。本実施の形態では、合成対象となる画像は、画面上で重複しないので、全ての重ね合わせ順が「１」になっている。

出力座標は、対応する画像が表示される座標の開始点を示している。
透過率は、対応する画像を表示したとき、下の画像をどの程度透過させるかを０〜１の数値で示している。
一例として、合成情報１３２は、文字画像データ１２３と対応しており、合成の対象となっている文字画像データ１２３のデータ形式が「Ｒ５Ｇ６Ｂ６」であり、表示されたときの重ね合わせ順が最前であり、表示位置の開始座標が（５０，１５０）であることを示している。また、透過率「０」は、文字画像データ１２３を基に表示された文字画像が、後ろの画像を透過させないことを示している。

ここで記載した合成指示テーブル１１２の構成は一例であって、各合成情報はこれらのデータの他にも、各入力画像データのデータサイズや、画像サイズ（例えば、横５０×縦１５０画素）などを含んでいても良い。
（１−２）加工用データ
以下、必要に応じて、拡大、縮小、回転、反転といった加工に用いられるデータを総称して加工用データと呼ぶ。

一般領域１１１に記憶されている加工用データには、拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６・・・がある。
拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６は、それぞれ、Ｒ８Ｇ８Ｂ８形式の画像データを拡大、縮小、反転、回転するために必要なパラメータ群、関数、プログラムを含んで構成され、特に、グラフィック画像、テキスト画像など、コンピュータにより生成された画像データの加工に適している。

また、図示していないが、メモリ１０１の一般領域１１１は、これらと同様に、自然画（風景、人物など）の画像データの加工に適した加工用データ（拡大用データＢ、縮小用データＢ、反転用データＢ、回転用データＢ・・・）も記憶している。
（１−３）補整用データＡ１１７及び補整用データＢ１１８
補整用データＡ１１７は、ＲＧＢ形式の画像データに画質補整を施すために必要な関数、パラメータ、プログラムを含んでいる。ＲＧＢ形式の画像は、描画ソフトなどを用いて、コンピュータにより生成された可能性が高いため、補整用データＡ１１７は、例えば、中間色を排除して輪郭のぼやけをなくしたり、コントラストを強調したりするアルゴリズムに従った関数及びパラメータを含んでいる。

補整用データＢ１１８は、ＲＧＢ形式の自然画（風景写真、人物写真など）の画像データに画質補整を施すために必要な関数、パラメータ、プログラムを含んでいる。具体的には、例えば、輪郭線を滑らかな曲線に補整し、色味の変化（諧調変化）を滑らかにするアルゴリズムに従った、関数及びパラメータを含む。
また、ここでは、単に、補整用データとしか記載されていないが、より詳細に、拡大処理に伴う画質補整処理を行うための補整用データ、縮小処理に伴う画質補整を行うための補整用データ、回転処理に伴う画質補整を行うための補整用データなどを記憶していてもよい。

（１−４）画像データ
画像記憶領域１２１は、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６、合成画像データ１２７及び加工画像データ１２８を記憶している。
ペイント画像データ１２２は、描画ソフトなどを用いて作成された画像データであって、データ形式は、Ｘ８Ｒ８Ｇ８Ｂ８である。

文字画像データ１２３は、文書作成ソフト又は描画ソフトのテキスト描画機能を用いて作成された画像データであって、データ形式は、Ｒ５Ｙ６Ｇ５である。
写真画像データ１２４及び１２６は、デジタルカメラを用いて撮影された自然画を数値化して生成された画像データであって、データ形式はそれぞれ、ＹＵＶ４２２及びＹＵＶ４２０である。

合成画像データ１２７は、合成指示テーブル１１２を基に、上記の４つの画像データを合成して生成された画像データであって、データ形式はＰ１Ｘ７Ｒ８Ｇ８Ｂ８である。
図３は、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６及び合成画像データ１２７を基に表示されるペイント画像１２２ｇ、文字画像１２３ｇ、写真画像１２４ｇ、１２６ｇ及び合成画像１２７ｇを示している。

加工画像データ１２８は、合成画像データの一部に拡大処理を施して生成された画像データである。
図４は、合成画像データ１２７を基に生成される合成画像１２７ｇと加工画像データ１２８を基に生成される加工画像１２８ｇを示している。図４の合成画像１２７ｇ上には、ポインタ１６１が表示されており、ポインタ１６１の指す点を中心に１００×１００画素の領域を拡大した画像が、加工画像１２８ｇである。

（２）入力部１０３
入力部１０３は、キーボード、マウスなどと接続されており、利用者による指示及びデータの入力を受け付け、受け付けた指示及びデータを主制御部１０４へ出力する。
また、外部機器や、可搬型記録媒体を接続するインタフェースを備え、主制御部１０４の制御の下、これらの機器からデータを読み出し、読み出したデータを主制御部１０４へ出力する。

（３）合成制御部１４１
図示していないが、合成制御部１４１は、画像合成の過程において、各機能部へ制御信号を出力し動作を制御する機能を有する。
合成制御部１４１は、主制御部１０４から画像合成の指示を受ける。画像合成の指示を受けると合成バッファ１４４を初期化する。具体的には、例えば、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の背景データ（ブルーバック、利用者の指定した背景画像データなど）を書き込む。ここでは、背景画像データを構成する各ピクセルデータに含まれる形式フラグＰ＝０であるとする。

次に、合成制御部１４１は、メモリ１０１の一般領域１１１の所定アドレスに記憶されている合成指示テーブル１１２を検索し、重ね合わせ順の値が最小の合成情報を読み出す。ここでは、合成指示テーブル１１２に含まれる全ての重ね合わせ順が同じなので、先頭の合成情報１３１を読み出す。
次に、合成制御部１４１は、読み出した合成情報１３１に含まれるデータ形式を形式変換部１４２（後述）へ出力する。続いて、合成情報１３１の入力画像データをメモリ１０１の画像記憶領域１２１から読み出し、形式変換部１４２へ出力し、形式変換を指示する。

次に、合成制御部１４１は、読み出した合成情報１３１に含まれる透過率と出力座標と、読み出した合成情報１３１と対応するペイント画像１２２ｇの画像サイズを合成エンジン１４３（後述）へ出力する。画像サイズは、合成制御部１４１が算出してもよいし、合成指示テーブル１１２の各合成情報に予め含まれていても良い。
続いて、合成制御部１４１は、合成エンジン１４３の動作を監視し、合成エンジン１４３が合成途中画像データを合成バッファ１４４に書き戻すと、合成指示テーブル１１２から、次の合成情報を読み出す。

合成制御部１４１は、合成指示テーブル１１２を構成する全ての合成情報について、同様の処理を繰り返す。
全ての合成情報について、同様の処理が終了すると、合成制御部１４１は、合成バッファ１４４の保持する合成途中画像データを、合成画像データとしてメモリ１０１の画像記憶領域１２１へ書き込む。

また、主制御部１０４へ画像合成処理が終了したことを通知する。
（４）形式変換部１４２
形式変換部１４２は、合成制御部１４１からデータ形式を受け取り、続いて、入力画像データを受け取る。受け取ったデータ形式がＲＧＢ形式であれば、１ビット長の形式フラグＰ＝０を生成し、ＹＵＶ形式であれば、形式フラグＰ＝１を生成し、生成した形式フラグを一時的に記憶する。

次に、形式変換部１４２は、受け取ったデータ形式がＸ８Ｒ８Ｇ８Ｂ８であれば、受け取った入力画像データの各ピクセルデータの先頭の１ビットを記憶している形式フラグＰに書き換え、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、生成した変換済画像データを合成エンジンへ出力する。
受け取ったデータ形式がＲＧＢ形式ではあるが、Ｘ８Ｒ８Ｇ８Ｂ８形式でない場合、各ピクセルデータについて、ブランクビット、及び、各色のビット長を８ビットに調整し、ブランクビットの先頭を記憶している形式フラグＰに書き換えて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、合成エンジン１４３へ出力する。

受け取ったデータ形式がＹＵＶ形式の場合、以下の式により各ピクセルデータをＲ８Ｇ８Ｂ８形式に変換する。
Ｒ＝Ｙ＋１．４０２００×Ｖ
Ｇ＝Ｙ−０．３４４１４×Ｕ−０．７１４１４×Ｖ
Ｂ＝Ｙ＋１．７７２００×Ｕ
なお、上記の変換式は、ＩＴＵ−Ｒ ＢＴ．６０１に準拠した変換式の一例である。ＹＵＶ形式については、例えばＩＴＵ−Ｒ ＢＴ．６０１、ＩＴＵ−Ｒ ＢＴ．７０９などに詳細に規定されており、入力される画像データと変換後の画像データの種類（アナログ、デジタル、ビットスケール）、準拠する規格の種類、パラメータの選択の方法に応じて他の変換式を用いても良い。

次に、各ピクセルデータについて、先頭に形式フラグＰ、続く７ビットにブランクビットを付加して、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、合成エンジン１４３へ出力する。
（５）合成エンジン１４３
合成エンジン１４３は、合成制御部１４１から、透過率と出力座標と画像サイズ（縦ａ×横ｂ画素）を受け取る。また、形式変換部１４２から変換済画像データを受け取る。

これらを受け取ると、合成エンジン１４３は、合成バッファ１４４からＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式の合成途中画像データを読み出す。読み出した合成途中画像データに、受け取った変換済画像データを合成して、合成途中画像データを更新する。具体的には、変換途中画像データを構成するピクセルデータ群のうち、画面上で、出力位置を基点（左上の画素）として、入力画像が配置される縦ａ×横ｂ画素の範囲（以下、合成対象範囲と呼ぶ）に属する各画素と対応するピクセルデータの各色成分（以下の式ではＤ（ｂ）と記載している）と、変換後入力画像データを構成するピクセルデータ群のうちの対応するピクセルデータの各色成分（以下の式ではＤ（ｆ）と記載している）とを、以下の式を用いて合成する。

Ｄ（ｃｏｍ）←Ｄ（ｆ）＋Ｄ（ｂ）×透過率
Ｐ（ｃｏｍ）←Ｐ（ｆ）
Ｄ（ｃｏｍ）：合成後の合成対象範囲内の各ピクセルデータの
各色成分の値
Ｄ（ｆ）：変換済画像データの各ピクセルデータの各色成分の値
Ｄ（ｂ）：合成バッファから読み出した合成途中画像データの
合成対象範囲内の各ピクセルデータの各色成分の値
Ｐ（ｃｏｍ）：合成後の合成対象範囲内の各ピクセルデータの第１ビット
Ｐ（ｆ）：変換済画像データの各ピクセルデータの第１ビット
なお、読み出した合成途中画像データのうち合成対象範囲外のピクセルデータは書き換えない。

続いて、合成エンジン１４３は、更新後の合成途中画像データを合成バッファ１４４へ書き戻す。
（６）合成バッファ１４４
合成バッファ１４４は、ＲＡＭから構成され、起動時又は初期化直後はＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式の背景データ（ブルーバック、利用者の指定した背景画像データなど）を合成途中画像データとして書き込まれる。このとき、各ピクセルデータの形式フラグＰ＝０である。

合成バッファ１４４は、合成エンジン１４３による画像合成処理途中の合成途中画像データを一時的に記憶する。
合成エンジン１４３による合成処理が終了した時点における合成中画像データは、合成画像データ１２７と同一である。
合成画像データ１２７を構成する各ピクセルデータの第１ビットは、形式フラグＰである。図５は、合成画像データ１２７から生成される合成画像１２７ｇにおいて、各画素と各ピクセルデータに含まれる形式フラグＰの値を視覚的に表現したものである。合成画像１２７ｇ上のペイント画像１２２ａの表示されている領域１５１ａ及び文字画像１２３ａの表示されている領域１５２ａに含まれる画素に対応する形式フラグＰ＝０である。

写真画像１２４ａの表示されている領域１５３ａ及び写真画像１２６ａの表示されている領域１５４ａに含まれる画素に対応する形式フラグＰ＝０である。
また、図示していないが、その他の領域１５６に含まれる画素に対応する形式フラグＰ＝０である。
（７）変形用メモリ１４６及び変形エンジン１４７
変形エンジン１４７は、主制御部１０４の制御の下、変形用メモリ１４６に記憶されている関数、パラメータなどを用いて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の合成画像データ１２７の一部又は全部に加工を施す。具体的には、主制御部１０４の指示の下、合成画像１２７ｇのうち加工対象となる範囲（加工対象範囲と呼ぶ）の先頭ラインの左端の画素から最後のラインの右端の画素の順に、各画素に対応するピクセルデータを１ピクセルデータずつ読み出し、変形用メモリ１４６に記憶されているデータを用いて、読み出したピクセルデータに加工を施す。また、必要に応じて、加工対象となっている画素の周辺の画素と対応するピクセルデータを読み出して、加工に用いる。加工が終了すると、加工後のピクセルデータを補整エンジンへ出力する。

ここで、加工とは、例えば、拡大、縮小、反転、回転などの処理である。
また、変形エンジン１４７は、主制御部１０４から、一時停止を指示される場合がある。この場合、加工対象範囲に対応するピクセルデータを読み出し、そのまま補整エンジン１４９へ出力する。
変形用メモリ１４６は、一例としてＲＡＭから構成され変形エンジン１４７に必要な関数、パラメータなどを一時的に記憶する。

（８）補整用メモリ１４８及び補整エンジン１４９
補整エンジン１４９は、変形エンジン１４７により生成された加工後の画像データを受け取り、受け取った画像データに画質補整処理を施して、加工画像データを生成し、生成した加工画像データをメモリ１０１の画像記憶領域１２１に書き込む。
具体的には、変形エンジン１４７から、加工後のピクセルデータを順次受け取り、受け取った加工後のピクセルデータ群を一時的に記憶する。次に、補整用メモリ１４８に記憶されている画質補整用の関数及びパラメータを用いて、記憶しているピクセルデータ群に画質補整処理を施して加工画像データを生成する。

ここで、画質補整処理とは、主に、輪郭強調、雑音除去、画像の歪補整である。また、補整の必要がない場合、補整エンジン１４９は、主制御部１０４から動作停止の指示を受ける。動作停止の指示を受けた場合、補整エンジン１４９は、変形エンジン１４７から受け取った加工後の画像データを、そのまま、加工画像データとして、メモリ１０１の画像記憶領域１２１へ書き込む。

補整用メモリ１４８は、一例としてＲＡＭから構成され、画質補整に用いられる関数、パラメータなどを一時的に記憶する。
（９）主制御部１０４
主制御部１０４は、具体的には、図示されていないが、画像合成装置１００を構成する各構成要素へ制御信号を出力し、これらの動作を制御する。

主制御部１０４は、入力部１０３を介して、利用者の操作を受け付け、外部機器又は記録媒体に記録されている画像データを読み出し、メモリ１０１の画像記憶領域１２１に書き込む。
また、主制御部１０４は、入力部１０３を介して、合成画像の生成要求を受け付ける。さらに、利用者による、合成画像の加工要求を受け付ける。

（９−１）画像合成処理の制御
利用者の操作により、合成画像の作成を要求されると、画像記憶領域１２１に記憶されている画像データを示す一覧表、若しくはサムネイル画面を生成し、合成対象となる画像の選択、表示位置、透過率の入力を受け付ける。
これらの入力を受け付けると、主制御部１０４は、入力された情報を基に、図２に示すような合成指示テーブル１１２生成し、生成した合成指示テーブル１１２を、メモリ１０１の一般領域１１１の所定アドレスに書き込む。データ形式に関しては、利用者が入力しても良いし、利用者が指定した画像データをサーチして、主制御部１０４が生成するとしてもよい。例えば、各画像データの先頭の１６又は３２ビットにデータ形式を示す情報が含まれており、これを抽出して各合成情報を生成する方法などが考えられる。

次に、合成制御部１４１へ画像合成の指示を出力する。
次に、合成制御部１４１から画像合成終了の通知を受ける。この通知を受けると、主制御部１０４は、合成画像データ１２７を読み出し、読み出した合成画像データ１２７を基に合成画像１２７ｇを生成して表示部１０２に表示させる。
（９−２）合成画像の加工処理の制御
合成画像データ１２７を基に生成される合成画像１２７ｇが表示部１０２に表示された状態で、利用者は、マウスなどを操作し、ポインタ１６１の位置を指定する。利用者による位置の指定を受け付けると、主制御部１０４は、「拡大」、「縮小」、「反転」、「回転」など、合成画像に施すことができる加工処理を示す選択肢を含む加工メニュー画面を表示する。若しくは、ポインタ１６１の位置に、前述の選択肢をスクロール表示しても良い。

続いて、主制御部１０４は、表示されている選択肢のうちのいずれかを選択する利用者の操作を受け付ける。選択の操作を受け付けると、主制御部１０４は、選択された選択肢の示す加工処理に応じて、合成画像１２７ｇのうち、加工対象となる範囲を決定する。例えば、選択された選択肢が拡大処理であれば、ポインタ１６１の位置を中心に１００×１００画素の範囲を拡大処理の対象の範囲に決定する。選択された選択肢が、反転を示していれば、ポインタ１６１の位置を中心に２００×２００画素の範囲を反転処理の対象の範囲に決定する。

続いて、主制御部１０４は、決定した加工対象の範囲の先頭ラインの左端の画素から最後のラインの右端の画素の順に、各画素に対応するピクセルデータについて、以下の処理を、繰り返す。
先ず、主制御部１０４は、変形用メモリ１４６及び補整用メモリ４４８を初期化する。次に、ピクセルデータの先頭の１ビットを読み出す。読み出した１ビットのデータが「０」の場合、主制御部１０４は、一般領域１１１に記憶されている加工用データのうち、グラフィック画像の加工に適した加工用データを読み出し、読み出した加工用データを変形用メモリ１４６に書き込む。また、同様に、グラフィックフラグ画像の画質補整に適した補整用データＡ１１７を読み出し、補整用メモリ１４８へ書き込む。

次に、ピクセルデータの記憶されているアドレスを変形エンジンに通知し、加工処理を指示する。
読み出した１ビットのデータが「１」の場合、主制御部１０４は、一般領域１１１に記憶されている加工用データのうち、自然画の加工に適した加工用データを読み出し、読み出した加工用データを変形用メモリ１４６に書き込む。また、同様に、自然画の画質補整に適した補整用データＢ１１８を読み出し、読み出した補整用データＢ１１８を補整用メモリ１４８へ書き込む。

次に、ピクセルデータの記憶されているアドレスを変形エンジンに通知し、加工処理を指示する。
以上の処理を各ピクセルデータについて繰り返す。
なお、選択された加工処理によって、画質補整が不要な場合は、補整用メモリを初期化し、補整エンジンに、動作の停止を指示する。

（１０）表示部１０２
表示部１０２は、モニタ、画像バッファを含んで構成され、主制御部１０４の制御の下、各種の画面をモニタに表示する。
１．３ 動作
以下に、本発明の画像合成装置１００の動作について、図面を用いて説明する。

（１）画像合成処理
図６〜図８は、画像合成処理に係る画像合成装置１００の動作を示したフローチャートである。以下に、図６〜図８を用いて、画像合成処理における、画像合成装置１００の動作について説明する。
利用者の操作により画像合成を要求されると、主制御部１０４は、所定の入力画面を表示部１０２に表示させ、利用者による、入力画像データの選択、表示位置などの入力を受け付ける（ステップＳ１０１）。次に、受け付けた情報を基に合成指示テーブルを生成し、生成した合成指示テーブルをメモリ１０１の一般領域１１１に書き込み、合成制御部１４１へ画像合成を指示する（ステップＳ１０２）。

画像処理部１０５内の合成制御部１４１は、主制御部１０４から画像合成を指示される。画像合成を指示されると、メモリ１０１の一般領域１１１に記憶されている合成指示テーブル１１２から、合成情報を読み出す（ステップＳ１０３）。
ここで、全ての合成情報を読み出し済みであれば（ステップＳ１０６のＹＥＳ）、合成制御部１４１は、合成バッファ１４４から合成途中画像データを読み出し、読み出した合成途中画像データを合成画像データとしてメモリ１０１の画像記憶領域１２１に書き込む（ステップＳ１０７）。

全ての合成情報を読み出し済みでなければ（ステップＳ１０６のＮＯ）、合成制御部１４１は、読み出した合成情報に含まれるデータ形式を形式変換部１４２へ出力する（ステップＳ１１１）。続いて、合成制御部１４１は、読み出した合成情報に対応する画像データを読み出し、読み出した画像データを形式変換部１４２に出力する（ステップＳ１１２）。

合成制御部１４１から受け取ったデータ形式が、ＲＧＢ形式であれば、形式変換部１４２は、１ビット長の形式フラグＰ＝０を生成して一時的に記憶する（ステップＳ１１４）。
次に、形式変換部１４２は、受け取った画像データを構成する各ピクセルデータについて、データ長をＸ８Ｒ８Ｇ８Ｂ８に調整する（ステップＳ１１７）。次に、各ピクセルデータの第１ビットを記憶している形式フラグＰ（＝０）に置き換えて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し（ステップＳ１１８）、生成した変換済画像データを１ピクセルデータずつ合成エンジン１４３へ出力する（ステップＳ１１９）。

合成制御部１４１は、読み出した合成情報に含まれる出力座標と透過率と、読み出した合成情報と対応する画像の画像サイズ（縦ａ×横ｂ画素）を合成エンジン１４３へ出力する（ステップＳ１２０）。
合成エンジン１４３は、合成制御部１４１から透過率と出力座標と画像サイズとを受け取る。また、形式変換部１４２から変換済画像データを受け取る。これらを受け取ると、合成エンジン１４３は、合成バッファ１４４から合成途中画像データを読み出す（ステップＳ１２１）。読み出した合成途中画像データのうち、出力座標を起点とし画像サイズの示す範囲（合成対象範囲）に含まれる各画素と対応するピクセルデータと、変換済画像データ内の対応するピクセルデータとを合成して合成途中画像データを更新する（ステップＳ１２２）。

続いて、合成エンジン１４３は、更新後の合成途中画像データを合成バッファに書き戻す（ステップＳ１２３）。
合成制御部１４１から受け取ったデータ形式がＹＵＶ形式の場合、形式変換部１４２は、合成フラグＰ＝１を生成し、一時的に記憶する（ステップＳ１１６）。
また、形式変換部１４２は、合成制御部１４１から入力画像データを受け取る。形式変換部１４２は、受け取ったＹＵＶ形式の画像データを、Ｒ８Ｇ８Ｂ８形式に変換する（ステップＳ１２６）。

続いて、各ピクセルデータの先頭に、記憶している形式フラグＰ＝１と７ビット長のブランクビットを付加し、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成する（ステップＳ１２７）。
次に、形式変換部１４２は、ステップＳ１１９へ処理を移す。
（２）合成画像の加工処理
図９〜図１０は、画像合成装置１００による合成画像データの加工処理における動作を示したフローチャートである。以下に、図９〜図１０を用いて合成画像データの加工処理における動作について説明する。なお、ここでは、一例として、合成画像の一部を拡大する加工処理について説明する。

主制御部１０４は、利用者の操作に従って、合成画像１２７ｇを表示部１０２に表示する（ステップＳ１３１）。
利用者は、マウス、カーソルなどを操作して合成画像１２７ｇ上のポインタ１６１を移動し、任意の位置を指定する。
主制御部１０４は、利用者の操作による位置の指定を受け付ける（ステップＳ１３２）。位置の指定を受け付けると、メニューを表示する（ステップＳ１３３）。メニューには、「拡大」、「縮小」・・・など、加工画像に施すことができる加工処理の名称が列挙されている。

続いて、主制御部１０４は、利用者による「拡大」の選択操作を受け付ける（ステップＳ１４４）。
「拡大」が選択されると、ステップＳ１４６〜１６２の間、合成画像１２７ｇ上の指定された位置を中心に１００×１００画素の範囲（以下、二次利用範囲と呼ぶ）の各ピクセルデータについて、ステップＳ１４７〜ステップＳ１６１の処理を繰り返すことで、合成画像１２７ｇ上の指定された位置を中心に１００×１００画素の範囲の画像を拡大した加工画像（拡大画像）を生成する。

主制御部１０４は、ピクセルデータの先頭ビット（Ｐ）を読み出す（ステップＳ１４７）。
読み出した先頭ビットＰ＝１であれば（ステップＳ１４８のＹＥＳ）、主制御部１０４は、メモリ１０１の一般領域１１１に記憶されている拡大用データＢ（図示せず）を読み出し、読み出した拡大用データＢを変形用メモリ１４６に出力する（ステップＳ１５１）。拡大用データＢは、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の自然画の拡大に適したアルゴリズムに従った関数及びパラメータを含んでいる。

続いて主制御部１０４は、補整用データＢ１１８を読み出し、読み出した補整用データＢ１１８を補整用メモリ１４８へ出力する（ステップＳ１５２）。前述の通り補整用データＢ１１８は、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の自然画の画質補整に適したアルゴリズムに従う関数及びパラメータを含んでいる。次に、主制御部１０４は、ステップＳ１５８へ処理を移す。

読み出した先頭ビットＰ＝０であれば（ステップＳ１４８のＮＯ）、主制御部は、メモリ１０１の一般領域１１１から拡大用データＡ１１３を読み出し、読み出した拡大用データＡ１１３を変形用メモリ１４６へ出力する（ステップＳ１５６）。拡大用データＡ１１３は、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式のグラフィック画像の拡大に適したアルゴリズムに従う関数及びパラメータを含む。

次に、主制御部１０４は、メモリ１０１から補整用データＡ１１７を読み出し、読み出した補整用データＡ１１７を補整用メモリ１４８へ出力する（ステップＳ１５７）。補整用データＡ１１７は、コンピュータにより生成されたＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式のグラフィック画像の画質補整に適したアルゴリズムに従う関数及びパラメータを含む。
次に、主制御部１０４は、現在加工の対象となっているピクセルデータの記憶されているメモリ１０１上のアドレスを指定して、変形エンジンに加工（ここでは拡大）を指示する（ステップＳ１５８）。

変形エンジン１４７は、主制御部１０４から加工の対象となっているピクセルデータのアドレスと加工の指示を受ける。加工の指示を受けると、指定されたアドレスに記憶されているピクセルデータを読み出し、変形用メモリ１４６の保持する関数及びパラメータを用いて、読み出したピクセルデータに拡大処理を施して補整エンジン１４９へ出力する（ステップＳ１５９）。ここで、拡大処理により、１ピクセルデータから複数ピクセルデータが出力されると考えられる。以下、１ピクセルデータに拡大処理を施して生成された複数のピクセルデータをピクセルデータ（群）と記載する。

補整エンジン１４９は、変形エンジン１４７により拡大処理を施されたピクセルデータ（群）を受取り、補整用メモリ１４８に記憶されている関数及びパラメータを用いて、受取ったピクセルデータ（群）に画質補整処理を施す。
二次利用範囲の全てのピクセルデータについての繰返しが終了すると（ステップＳ１６２）、補整エンジン１４９は、拡大及び補整処理後のピクセルデータ群からなる加工画像データをメモリ１０１の画像記憶領域１２１に書き込む。

また、主制御部１０４は、メモリ１０１の画像記憶領域１２１から加工画像データ１２８を読み出し、読み出した加工画像データ１２８を基に加工画像１２８ｇを生成して、表示部１０２に表示する（ステップＳ１６３）。
１．４ まとめ
以上、説明してきたように、本発明の画像合成装置１００では、画像合成処理において、合成画像データを構成する各ピクセルデータに、合成前の画像データがＲＧＢ形式であったかＹＵＶ形式であったかを示す形式フラグを埋め込む。

ＲＧＢ形式のデータは、コンピュータを用いて生成されたテキストデータや、グラフィック画像である場合が多く、ＹＵＶ形式の画像データは、デジタルカメラなどにより撮影された自然画を基に生成されている場合が多い。
そのため、合成画像の中でもＲＧＢ形式の画像データを基に生成された部分と、ＹＵＶ形式の画像データを基に生成された部分とでは、最適な加工方法及び画質補整方法が異なる。

本発明のように、合成画像データの各ピクセルデータに形式フラグを埋め込んでおくことで、合成画像データに、拡大、画質補整等の加工を施す場合に、各部分に最適な方法で加工及び補整を施すことができる。
２． 実施の形態２
以下に、本発明の実施の形態２に係る画像合成装置２００について、図面を用いて説明する。
２．１ 概要
本実施の形態の画像合成装置２００は、利用者の指示により、合成対象の画像データに拡大、縮小などの加工を施した後、各画像の形式をＲ８Ｇ８Ｂ８に変換する。また、変換後の画像データとは個別に、変換前の画像データの形式を示す１ビット長の形式フラグを生成する。

画像合成装置２００は、変換後の画像データを、実施の形態１において示した式を用いて合成し、Ｒ８Ｇ８Ｂ８形式の合成画像データを生成する。
画像データの合成と並行して、合成画像の各ピクセルと対応する形式フラグからなる形式フラグ群を生成する。例えば、合成画像がｎ×ｍ画素（ｎ、ｍは整数）である場合、形式フラグ群は、各画素の形式フラグを左上から右下の順に並べたｎ×ｍビット長のデータである。

実施の形態１とは異なり、ブランクビットを含まないので、合成後の総データ量を削減することができる。
２．２ 構成
図１１は、画像合成装置２００の機能的構成を示したブロック図である。図中の矢印は、画像合成処理（後述）に関するデータフローを示しており、太線矢印は、合成画像の加工処理（後述）に関するデータフローを示す。

図１１に示すように、画像合成装置２００は、メモリ２０１、表示部２０２、入力部２０３、主制御部２０４及び画像処理部２０５から構成され、画像処理部２０５は、合成制御部２４１、形式変換部２４２、合成エンジン２４３、合成バッファ２４４、変形用メモリ２４６、変形エンジン２４７、補整用メモリ２４８、補整エンジン２４９を含む。
画像合成装置２００は、具体的にはマイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、画像合成装置２００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成要素について説明する。なお、入力部２０３、表示部２０２、変形用メモリ２４６及び補整用メモリ２４８の構成、動作は、実施の形態１の 入力部１０３、表示部１０２、変形用メモリ１４６及び補整用メモリ１４８と同様であるので、説明を省略する。
また、変形エンジン２４７及び補整エンジン２４９は、主制御部２０４のみならず合成制御部２４１からの指示により動作すること、一時停止を指示されると、受け取ったピクセルデータをそのまま、次の機能部へ出力すること、補整エンジン２４９のデータの出力先が形式変換部２４２であること以外は実施の形態１の変形エンジン１４７及び補整エンジン１４９と同様に、対応するメモリの保持する関数及びパラメータを用いて、入力されたデータを加工する機能部である。よって、ここでは、詳細な説明を省略する。

（１）メモリ２０１
メモリ２０１は、ハードディスクユニットを含んで構成され、その内部は、一般領域２１１と、利用者の操作に従って、画像データを記憶するための画像記憶領域２２１とに分けられる。
一般領域２１１には、一例として、合成指示テーブル２１２、ＲＧＢ拡大用データ２１３、ＲＧＢ縮小用データ２１４、ＹＵＶ拡大用データ２１５、ＹＵＶ二次拡大用データ２１６、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８及び自然画向け補整用データ２１９が記憶されており、画像記憶領域２２１には、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６、合成画像データ２２７、形式フラグ群２２８、加工画像データ２２９などが記憶されている。

これは、利用者の操作に従って、合成画像データ２２７が生成され、合成画像データにさらに加工を加えた加工画像データ２２９が生成された時点のメモリ２０１内の状態を図示している。
（１−１）合成指示テーブル２１２
図１２は、合成指示テーブル２１２の詳細を示す。図１２に示すように、合成指示テーブル２１２は、複数の（ここでは４つの）合成情報２３１、２３２、２３３及び２３４から構成される。各合成情報は、それぞれ、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４及び１２６と対応している。

各合成情報は、入力画像データ、データ形式、重ね合わせ順、出力座標、変形情報、画質補整情報及び透過率から構成される。入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率については、実施の形態１の合成指示テーブル１１２に含まれる入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率と同様であるので説明を省略する。

変形情報は、対応する画像データを合成する前に加工処理を行うか否か、行う場合はどのような加工処理を行うかを示す情報である。合成前に加工処理を行わない場合、合成情報は、変形情報は含まないとしてもよい。
画質補整情報は、対応する画像データを合成する前に、画質補整処理を行うか否かを示す情報であって、画質補整情報「要」は、画質補整処理を行う必要があることを示し、画質補整情報「不要」は、画質補整処理を行う必要が無いことを示している。

一例として、合成情報２３１は、ペイント画像データ１２２と対応しており、入力画像データ「ペイント画像データ」、データ形式「Ｘ８Ｒ８Ｇ８」、重ね合わせ順「３」、出力座標「（１００，１００）」、変形情報「１．４倍」及び画質補整「要」から構成される。これは、Ｘ８Ｒ８Ｇ８形式のペイント画像データ１２２の合成処理に先立って、ペイント画像データ１２２に倍率１．４倍の拡大処理と、画質補整を施すことを示している。また、拡大処理及び画質補整後の画像データを基に生成される画像は、合成処理後の合成画像内において、座標（１００，１００）を起点とする所定範囲に表示され、複数の画像を重ねて表示する場合には、後ろから３番目の面に表示されることを示している。

また、別の一例として、合成情報２３３は、写真画像データ１２４と対応しており、入力画像データ「写真画像データ」、データ形式「ＹＵＶ４２２」、重ね合わせ順「３」、出力座標「（４００，１５０）」、変形情報「左右反転」及び画質補整「不要」を含んでいる。これは、ＹＵＶ４２２形式の写真画像データ１２４を、合成処理の前に、左右反転加工を施す必要があり、画質補整処理を施す必要が無いことを示している。また、左右反転加工後の画像データから生成される画像は、合成画像内において、座標（４００，１５０）を起点とする範囲に表示されること、複数の画像を重ねて表示する場合、１番後ろの面に表示され、その一部が他の画像の後ろに隠れるように表示されることを示している。

（１−２）加工用データ
実施の形態１と同様に、変形用メモリ２４６に一時的に転送され、変形エンジン２４７による加工処理に用いられるデータを総称して加工用データと呼ぶ。
ＲＧＢ拡大用データ２１３は、ＲＧＢ形式の画像データを拡大するために必要な関数及びパラメータを含んで構成される。

ＲＧＢ縮小用データは、ＲＧＢ形式の画像データに縮小処理を施すために必要な関数及びパラメータを含んで構成される。
ＹＵＶ拡大用データ２１５は、ＹＵＶ形式の画像データに拡大処理を施すために必要な関数及びパラメータを含んで構成される。
ＹＵＶ二次拡大用データ２１６は、各種の画像データを合成して生成された合成画像データ２２７（後述）のうち、合成前のデータ形式がＹＵＶ形式であった部分に拡大処理を施すために適した関数及びパラメータを含んで構成される。

また、図示していないが、加工用データには、これらの他にも、ＲＧＢ形式の画像データの反転処理に用いられるＲＧＢ反転用データ、回転処理に用いられるＲＧＢ回転用データ、同様に、ＹＵＶ形式の画像データの反転処理、回転処理に用いられるＹＵＶ反転用データ、ＹＵＶ回転用データも含まれる。また、その他の加工に用いられる加工用データも記憶されていても良い。

さらに、図示していないが、ＹＵＶ二次拡大用データ２１６のみならず、ＹＵＶ二次縮小用データ、ＹＵＶ二次反転用データなど、合成前の画像データのデータ形式に応じた加工用データ（二次加工用データと呼ぶ）を多数記憶しており、合成画像データに加工を施す際に、これらを適宜使い分ける。
（１−３）補整用データ
ＲＧＢ補整用データ２１７は、ＲＧＢ形式の画像データの画質補整に適した関数及びパラメータを含んで構成される。

ＹＵＶ補整用データ２１８は、ＹＵＶ形式の画像データの画質補整に適した関数及びパラメータを含んで構成される。
自然画向け補整用データ２１９は、ＲＧＢ形式の画像データであって、自然画を構成する画像データの画質補整に適した関数及びパラメータを含む。より正確には、合成画像データにおいて、合成前のデータ形式がＹＵＶ形式の場合、表示される画像は自然画である場合が多いと予測される。従って、本実施の形態において、Ｒ８Ｇ８Ｂ８形式の合成画像データ２２７のうち、合成前のデータ形式がＹＵＶ形式である部分の画質補整には、自然画向け補整用データ２１９が用いられる。

ここでは、上記の３つの補整用データしか記載していないが、これらの他にも、回転処理向けの画質補整データ、拡大処理向けの画質補整データなど、加工処理毎に最適な画質補整を実現することができるように、多数の補整用データを記憶しているとしても良い。
（１−４）画像データ
ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６については、それぞれ実施の形態１と同一であるので説明を省略する。

合成画像データ２２７は、合成指示テーブル２１２に従って、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６を合成して生成された画像データである。図１３は、合成画像データ２２７を基に表示される合成画像２２７ｇを示す。合成画像２２７ｇには、ペイント画像１２２ｇを１．４倍に拡大したペイント画像１２２Ｇと、文字画像１２３ｇを１．２倍に拡大した文字画像１２３Ｇと、写真画像１２４ｇを左右反転した写真画像１２４Ｇと、写真画像１２６ｇを０．８倍に縮小した写真画像１２６Ｇが含まれる。文字画像１２３Ｇと、写真画像１２４Ｇと、写真画像１２６Ｇとは、その一部が重複しているが、写真画像１２６Ｇが最前面、文字画像１２３Ｇが２番目、写真画像１２４Ｇが一番後ろの面に表示される。

形式フラグ群２２８は、合成画像２２７ｇの各画素に対応するピクセルデータが、合成前においてＲＧＢ形式であったかＹＵＶ形式であったかを示す１ビット長の形式フラグを、画像上の左上の画素から右下の画素の順に並べたものである。
なお、合成画像２２７ｇのうち、ペイント画像１２２Ｇ、文字画像１２３Ｇと、写真画像１２４Ｇ、写真画像１２６Ｇのいずれも描画されない領域の画素と対応する形式フラグは、ＲＧＢ形式を示す「０」である。

加工画像データ２２９は、Ｒ８Ｇ８Ｂ８形式の合成画像データ２２７の一部又は全部にさらに、拡大、縮小などの加工を加えて生成されたものである。
（２）合成制御部２４１
合成制御部２４１は、合成画像データの生成において、図示していないが、各機能部へ制御信号を出力し、その動作を制御する機能を有する。

合成制御部２４１は、主制御部２０４から画像合成の指示を受ける。画像合成の指示を受けると合成バッファ１４４を初期化する。初期化直後の合成途中画像データ及び形式フラグ群については、後述する。
次に、合成制御部２４１は、メモリ２０１の一般領域２１１の所定アドレスに記憶されている合成指示テーブル２１２から合成情報を読み出す。このとき、重ね合わせ順が小さいものから順に読み出す。

次に、合成制御部２４１は、読み出した合成情報に含まれる変形情報に適した加工用データをメモリ２０１の一般領域２１１から読み出し、変形用メモリ２４６へ書き込む。なお、拡大、縮小、回転の場合は、読み出した合成情報に含まれる変形情報として含まれる倍率、回転角度も合わせて変形用メモリ２４６に書き込む。
なお、変形情報「不要」の場合、合成制御部２４１は、変形エンジン２４７に一時停止を指示する。

同様に、合成制御部２４１は、読み出した合成情報に含まれる画質補整情報が、画質補整が必要であることを示す「要」であれば、読み出した合成情報に含まれるデータ形式を基に最適な補整用データをメモリから読み出し、読み出した補整用データを補整用メモリ２４８へ出力する。画質補整情報が「不要」の場合は、補整エンジン２４９に一時停止を指示する。

続いて、合成制御部２４１は、読み出した合成情報に含まれるデータ形式を形式変換部２４２へ出力する。また、読み出した合成情報に含まれる透過率と出力座標とを合成エンジン２４３へ出力する。読み出した合成情報と対応する画像サイズ（横ａ×縦ｂ画素）を検出し検出した画像サイズを合成エンジン２４３へ出力する。
なお、読み出し合成情報に含まれる変形情報が「拡大」又は「縮小」の場合、合成制御部２４１は、縦横の画素数それぞれに、倍率を掛けてａ←ａ×倍率、ｂ←ｂ×倍率を算出し、横ａ×縦ｂ画素を画像サイズとして出力する。

また、読み出した合成情報に含まれる変形情報が回転（回転角ｒ）の場合、横ａ×縦ｂ画素及び回転角ｒを画像サイズとして出力する。
合成制御部２４１は、重ね合わせ順が小さいものから順に、全ての合成情報について、以上の処理を行う。図１２に示す、合成指示テーブル２１２の場合、合成制御部２４１は、合成情報２３３、２３２、２３１、２３４の順に各合成情報を読み出し、上記の処理を行う。

全ての合成情報について読み出し済みであれば、合成制御部２４１は、合成バッファ２４４に記憶されている合成途中画像データを読み出し、合成画像データ２２７として、メモリ２０１の画像記憶領域２２１に書き込む。また。合成バッファ２４４から形式フラグ群を読み出し、読み出した形式フラグ群をメモリ２０１の画像記憶領域２２１に、合成画像データ２２７と対応付けて書き込む。

書き込みが終了すると、合成制御部２４１は、主制御部２０４へ画像合成処理が終了したことを通知する。
（３）形式変換部２４２
形式変換部２４２は、合成制御部２４１から、形式変換の対象となる画像データのデータ形式を受け取る。受け取ったデータ形式がＲＧＢ形式であれば、１ビット長の形式フラグＰ＝０を生成し、受け取ったデータ形式がＹＵＶ形式であれば形式フラグＰ＝１を生成し、生成した形式フラグＰを一時的に記憶する。

続いて、補整エンジン２４９から、必要に応じて加工及び画質補整を施された画像データ（以下、補整済画像データと呼ぶ）を受け取る。ここで受け取る補整済画像データのデータ形式は、合成制御部２４１から受け取るデータ形式と同一である。
形式変換部２４２は、形式変換部２４２は、補整エンジン２４９から受け取った画像データをＲ８Ｇ８Ｂ８形式に変換して、合成用画像データを生成し、生成した合成用画像データと、記憶している形式フラグとを合成エンジン２４３へ出力する。

具体的には、合成制御部２４１から受け取ったデータ形式がＲ８Ｇ８Ｂ８形式であれば、形式変換部２４２は、補整エンジン２４９から受け取った画像データを、そのまま、合成用画像データとして、合成エンジン２４３へ出力する。これと合わせて、形式フラグＰ＝０を合成エンジン２４３へ出力する。
また、受け取ったデータ形式が、Ｘ８Ｒ８Ｇ８Ｂ８形式であれば、形式変換部２４２は、各ピクセルデータの先頭の８ビットを削除してＲ８Ｇ８Ｂ８形式の合成用画像データを生成する。

また、合成制御部２４１から受け取ったデータ形式がＹＵＶ４２０であれば、下記３つの式を用いてＲＧＢ形式に変換して、各色のデータ長を８ビット長に揃え、Ｒ８Ｇ８Ｂ８形式の合成用画像データを生成する。
Ｒ＝Ｙ＋１．４０２００×Ｖ
Ｇ＝Ｙ−０．３４４１４×Ｕ−０．７１４１４×Ｖ
Ｂ＝Ｙ＋１．７７２００×Ｕ
（４）合成バッファ２４４
合成バッファ２４４は、合成エンジン２４３による合成処理の途中の画像データ（合成途中画像データ）と、形式フラグ群とを記憶している。

合成途中画像データは、表示部２０２の備えるモニタの画素（ｎ×ｍ画素）それぞれと対応するピクセルデータを、画面上の左上から右下の順に並べて構成される。
形式フラグ群は、合成途中画像データを構成するピクセルデータと対応する形式フラグを列挙したｎ×ｍビット長のデータである。
起動時、又は、初期化直後は、合成バッファ２４４は、所定の背景画像データを合成途中画像データとして記憶いる。また、このとき、形式フラグ群を構成する形式フラグは全て「０」で初期化される。

（５）合成エンジン２４３
合成エンジン２４３は、合成制御部２４１から、透過率と出力座標と画像サイズとを受け取る。
また、合成エンジン２４３は、形式変換部２４２からＲ８Ｇ８Ｂ８形式の合成用画像データと形式フラグＰを受け取る。

これらを受け取ると、合成エンジン２４３は、合成バッファ２４４から合成途中画像データを読み出す。説明の便宜上、合成画像２２７ｇ上において、受け取った出力位置を起点とし、画像サイズにより定義される範囲を合成対象範囲と呼ぶ。
読み出した合成途中画像データのうち、合成対象範囲に対応する部分に受け取った合成用画像データを合成する。具体的には、読み出した合成途中画像データのうち、合成対象範囲に含まれる各画素のピクセルデータの各色成分（Ｄ（ｂ）と表記）と、受け取った画像データのうち、対応するピクセルデータの各色成分（Ｄ（ｆ）と表記）とを以下の演算により合成して新たなピクセルデータの各色成分（Ｄ（ｃｏｍ）と表記）を算出し、合成途中画像データ上のピクセルデータの各色成分Ｄ（ｂ）を、算出した新たなピクセルデータの色成分Ｄ（ｃｏｍ）に置き換えることにより、合成途中画像データを更新する。

Ｄ（ｃｏｍ）＝Ｄ（ｆ）＋Ｄ（ｂ）×透過率
続いて、合成エンジン２４３は、形式フラグ群を読み出し、形式フラグ群のうち、合成対象範囲内の各画素と対応する部分を全て、受け取った形式フラグＰに書き換える。
合成エンジン２４３は、以上の手順で更新した合成途中画像データと、形式フラグ群とを合成バッファ２４４に書き戻す。

（６）主制御部２０４
主制御部２０４は、入力部２０３を介して、利用者の操作を受け付け、受け付けた操作に従って、画像合成装置２００を構成する各部の動作を制御する。
主制御部２０４は、入力部２０３を介して画像合成の要求を受け付ける。
また、表示部２０２に合成画像２２７ｇを表示し、合成画像中の特定の位置の指定を受け付ける。

（６−１）画像合成の制御
利用者の操作による画像合成の要求を受け付けると、主制御部２０４は所定の入力画面を表示して、合成する画像データの選択、選択した各画像の表示位置、重ね合わせ順、加工の及び画質補整の要否、透過率の入力を受け付ける。次に、入力された情報を基に主制御部２０４は、合成指示テーブル２１２を生成し、メモリ２０１の一般領域２１１の所定領域に書き込み、合成制御部２４１に画像合成を指示する。

次に、合成制御部２４１から、画像合成の処理が終了したことを示す終了通知と、生成された合成画像データを示す情報（例えば、識別子、アドレスなど）とを受け取る。
これらを受け取ると、メモリ２０１の画像記憶領域２２１から合成画像データ２２７を読み出し、読み出した合成画像データ２２７から合成画像を生成して、表示部２０２に生成した合成画像２２７ｇを表示する。

（６−２）合成画像の加工の制御
表示部２０２に合成画像２２７ｇが表示された状態で、入力部２０３を介して、主制御部は、合成画像２２７ｇ上の位置（画素）の指定を受け付ける。
位置の選択を受け付けると、指定された位置の近辺にメニューを表示する。若しくは、別途、メニュー画面を生成して表示しても良い。

メニューには、合成画像に対して、施すことができる加工の名称を列挙している（例えば、拡大、縮小、反転・・・）。続いて、利用者の操作によるメニューの選択を受け付ける。
メニューの選択を受け付けると、合成画像２２７ｇのうち、受け付けたメニューに応じて加工対象とする範囲（以下二次利用範囲と呼ぶ）を決定する。例えば、「拡大」が選択された場合は、選択された位置を中心として１００×１００画素の範囲、「縮小」が選択された場合は、選択された位置を中心として３００×３００画素の範囲、「回転」が選択された場合は、全画面を二次利用範囲とする。

又は、加工の対象となる範囲の選択を利用者に促す画面を表示し、二次利用範囲を決定してもよい。
次に、主制御部２０４は、形式フラグ群２２８のうち、二次利用範囲に対応する部分を１ビットずつ順次読み出す。読み出した形式フラグと選択された加工の種類に応じた加工用データをメモリ２０１の一般領域２１１から読み出し、変形用メモリ２４６へ出力する。また、読み出した形式フラグと選択された加工により、必要に応じて、メモリ２０１の一般領域２１１から補整用データを読み出し、読み出した補整用データを補整用メモリ２４８へ出力する。

例えば、利用者により「拡大」が選択され、読み出した形式フラグＰ＝１である場合、主制御部２０４は、メモリ２０１の一般領域２１１から、ＹＵＶ二次拡大用データ２１６を読み出し、読み出したＹＵＶ二次拡大用データを変形用メモリ２４６に出力する。次に、自然画向け補整用データを読み出し、補整用メモリ２４８へ出力する。
次に、合成画像データのうち、読み出した形式フラグと対応するピクセルデータの位置を指示して、変形エンジン２４７へ加工を指示する。

主制御部２０４は、二次利用範囲に含まれる全ての画素について、同様の処理を繰返し、変形エンジン２４７及び補整エンジン２４９を制御することで、加工画像データを生成し、生成した加工画像データ２２９をメモリ２０１の画像記憶領域に書き込む。
次に、加工画像データ２２９を読み出して加工画像を生成し、表示部２０２に表示する。
２．３ 動作
以下に、本実施の形態の画像合成装置２００の動作について、図面を用いて説明する。

（１）画像合成における動作
図１４〜図１６は、画像合成装置２００による画像合成処理における動作を示したフローチャートである。以下に、図１４〜図１６を用いて、画像合成に係る画像合成装置２００の動作について説明する。
利用者の操作による画像合成の要求を受け付けると、主制御部２０４は所定の入力画面を表示して、合成する画像データの選択、選択した各画像の表示位置、重ね合わせ順、加工及び画質補整の要否、透過率の入力を受け付ける（ステップＳ２０１）。次に、入力された情報を基に、主制御部２０４は、合成指示テーブル２１２を生成し、メモリ２０１の一般領域２１１の所定領域に書き込み、合成制御部２４１に画像合成を指示する（ステップＳ２０２）。

主制御部２０４から画像合成の指示を受けると、合成制御部２４１は、メモリ２０１の一般領域２１１内の所定領域に記憶されている合成指示テーブル２１２から、未だ読み出していない合成情報のうち、重ね合わせ順が最小のものを読み出す（ステップＳ２０３）。このとき、既に、全ての合成情報が読み出し済みであれば（ステップＳ２０６のＹＥＳ）、ステップＳ２０７へ処理を移す。

全ての合成情報が読み出し済みでなければ（ステップＳ２０６のＮＯ）、合成制御部２４１は、読み出した合成情報に含まれるデータ形式、変形情報、画質補整情報を基に、データ形式に最適な加工用データ及び補整用データをメモリ２０１から読み出す（ステップＳ２１１）。次に、読み出した加工用データを変形用メモリ２４６へ書き込み、読み出した補整用データを補整用メモリ２４８へ書き込む（ステップＳ２１２）。

次に、合成制御部２４１は、合成情報と対応する画像データをメモリ２０１の画像記憶領域２２１から読み出し、変形エンジン２４７へ出力する（ステップＳ２１３）。
次に、合成制御部２４１は、読み出した合成情報に含まれるデータ形式を、形式変換部２４２へ通知する（ステップＳ２１６）。
変形エンジン２４７は、画像データを受け取り、変形用メモリ２４６に記憶されている関数及びパラメータを用いて、受け取った画像データに加工（拡大、縮小、回転など）を施して、変形済画像データを生成する。続いて、変形エンジン２４７は、生成した変形済画像データを補整エンジン２４９へ出力する（ステップＳ２１７）。

補整エンジン２４９は、変形エンジン２４７から変形済画像データを受け取り、補整用メモリ２４８の保持する関数及びパラメータを用いて、受け取った変形済画像データに画質補整処理を施して補整済画像データを生成する（ステップＳ２１８）。次に、補整エンジン２４９は、生成した補整済画像データを形式変換部２４２へ出力する（ステップＳ２１９）。

形式変換部２４２は、補整エンジン２４９から補整済画像データを受け取り、合成制御部２４１から、データ形式を受け取る。ここで、補整エンジン２４９から受け取る補整済画像データのデータ形式は、合成制御部２４１から受け取るデータ形式に一致する。
これらを受け取ると、形式変換部２４２は、合成制御部２４１から受け取ったデータ形式を基に、受け取った画像データのデータ形式をＲ８Ｇ８Ｂ８形式に変換して合成用画像データを生成する（ステップＳ２２１）。

次に、合成制御部２４１から受け取ったデータ形式がＲＧＢ形式であれば、形式変換部２４２は、１ビット長の形式フラグ「０」を生成する（ステップＳ２２３）。受け取ったデータ形式がＹＵＶ形式であれば、形式変換部２４２は、形式フラグ「１」を生成する（ステップＳ２２４）。
次に、形式変換部２４２は、生成した合成用画像データと、１ビット長の形式フラグＰとを合成エンジン２４３へ出力する（ステップＳ２２６）。

合成制御部２４１は、次に、読み出した合成情報に含まれる透過率と出力座標と、読み出した合成情報と対応する画像サイズとを合成エンジン２４３へ出力する（ステップＳ２３１）。
合成エンジン２４３は、合成制御部２４１から透過率、出力座標及び画像サイズを受け取る。また、形式変換部２４２から合成用画像データと形式フラグＰとを受け取る。

これらを受け取ると、合成エンジン２４３は、合成バッファ２４４から合成途中画像データと形式フラグ群とを読み出す（ステップＳ２３２）。
読み出した合成途中画像データのうち、出力座標を起点とし画像サイズにより定義される合成対象範囲の各ピクセルデータと合成対象データの対応するピクセルデータとを以下の式により合成し、合成後のピクセルデータにより合成前のピクセルデータを置き換えることで、合成途中画像データを更新する（ステップＳ２３４）。
Ｄ（ｃｏｍ）＝Ｄ（ｆ）＋Ｄ（ｂ）×透過率
Ｄ（ｆ）：合成対象データの対応するピクセルデータの各色成分
Ｄ（ｂ）：合成途中画像データ中の合成対象範囲の対応するピクセルデータの色成分
Ｄ（ｃｏｍ）：合成後のピクセルデータの各色成分
また、読み出した形式フラグ群のうち、合成対象範囲と対応する部分全てを、受け取った形式フラグＰに書き換えて、形式フラグ群を更新する（ステップＳ２３６）。

次に、更新後の合成途中画像データと形式フラグ群とを合成バッファ２４４へ上書きする（ステップＳ２３７）。上書き後、画像合成装置２００は、ステップＳ２０３へ戻り、次の合成情報に係る処理に移る。
全ての合成情報を読み出し済みであれば（ステップＳ２０６のＹＥＳ）、合成制御部２４１は、合成バッファ２４４の保持する合成途中画像データを読み出し、読み出した合成途中画像データを合成画像データとしてメモリ２０１の画像記憶領域２２１へ書き込む。また、合成バッファ２４４から形式フラグ群を読み出し、同様にメモリ２０１の画像記憶領域に書き込む（ステップＳ２０７）。

続いて、主制御部２０４は、生成された合成画像データから、合成画像を生成し、生成した合成画像を表示部２０２に表示する（ステップＳ２０８）。
（２）合成画像データの加工の動作
図１７〜図１８は、合成画像データ２２７の加工（二次利用）処理における画像合成装置２００の動作を示したフローチャートである。以下に、図１７〜図１８を用いて合成画像データの加工処理における動作について説明する。

主制御部２０４は、合成画像データ２２７から合成画像を生成して表示部２０２へ表示する（ステップＳ２４１）。
次に、主制御部２０４は、入力部２０３を介して、利用者の操作による位置（画素）の選択を受け付ける（ステップＳ２４２）。位置の選択を受け付けると、主制御部２０４は、表示部２０２にメニューを表示する（ステップＳ２４３）。メニューには、「拡大」、「縮小」、「回転」・・・が含まれるが、ここでは、「拡大」が選択された場合について述べる（ステップＳ２４４）。「拡大」が選択された場合、合成画像中の指定された位置を中心に１００×１００画素の範囲が、二次利用範囲である。

以下、ステップＳ２４６〜ステップＳ２６２において、二次利用範囲に含まれる各画素と対応するピクセルデータについて、ステップＳ２４７〜ステップＳ２６１の処理を繰り返すことで、加工画像データを生成する。
先ず、主制御部２０４は、二次利用範囲内の１の画素と対応する形式フラグＰを形式フラグ群２２８から読み出す（ステップＳ２４７）。

読み出した形式フラグＰ＝１の場合（ステップＳ２４９のＹＥＳ）、主制御部２０４は、メモリ２０１の一般領域２１１から、ＹＵＶ二次拡大用データ２１６を読み出し、変形用メモリ２４６に書き込む（ステップＳ２５１）。次に、自然画向け補整用データ２１９を読み出し、補整用メモリ２４８に出力する（ステップＳ２５２）。
読み出した形式フラグＰ＝０であれば（ステップＳ２４９のＮＯ）、主制御部２０４は、メモリ２０１の一般領域２１１から、ＲＧＢ拡大用データ２１３を読み出し、読み出したＲＧＢ拡大用データを変形用メモリ２４６へ書き込む（ステップＳ２５４）。次に、主制御部２０４は、ＲＧＢ補整用データ２１７を読み出し、読み出したＲＧＢ補整用データ２１７を、補整用メモリ２４８へ書き込む（ステップＳ２５６）。

次に、主制御部２０４は、読み出した形式フラグと対応するピクセルデータの記憶されているアドレスを指定して、変形エンジン２４７へ、拡大処理を指示する（ステップＳ２５７）。
変形エンジン２４７は、主制御部２０４の指示に従って、指定されたアドレスからピクセルデータを読み出し、変形用メモリ２４６に記憶されている関数及びパラメータを用いて読み出したピクセルデータに拡大処理を施す。拡大処理後のピクセルデータ（群）を補整エンジン２４９へ出力する（ステップＳ２５８）。

補整エンジン２４９は、変形エンジン２４７からピクセルデータ（群）を受け取り、補整用メモリ２４８に記憶されている関数及びパラメータを用いて、受け取ったピクセルデータ（群）に画質補整処理を施す（ステップＳ２５９）。
次に、補整エンジン２４９は、補整処理後のピクセルデータ群を順次メモリ２０１の画像記憶領域２２１に書き込む（ステップＳ２６１）。

二次利用範囲の各ピクセルデータについての繰返しが終了すると（ステップＳ２６２）、主制御部２０４は、補整エンジン２４９により書き込まれたピクセルデータ（群）により構成される加工（拡大）画像データ２２９を読み出し、読み出した加工画像データ２２９から加工（拡大）画像を生成し、表示部２０２に表示する（ステップＳ２６３）。
２．４ まとめ
以上説明してきたように、本実施の形態の画像合成装置２００は、合成前の画像データを、元のデータ形式のまま、拡大などの加工を施した後、形式変換及び合成処理を行い、合成画像データを生成する。

また、合成画像データを構成する各ピクセルデータとは個別に、形式フラグ群を生成する。そのため、合成画像データにはブランクビットは存在しないので、総データ量を削減することができる。
なお、ここでは、合成画像データのデータ形式をＲ８Ｇ８Ｂ８形式としたが、上述したように各ピクセルデータが１６ビット（例えばＲ５Ｇ６Ｂ５）又は１６ビットの偶数倍になるように、ピクセルデータのデータ長を調整し、アドレス管理が容易になるようにしてもよい。
３． 実施の形態３
以下に、本発明の実施の形態３について、図面を用いて説明する。
３．１ 概要
本実施の形態では、合成画像データを構成する各ピクセルデータは、合成前において、拡大などの加工処理、画質補整処理が施されたか否かを示す属性フラグを含んでいる。

合成前に、加工や画質補整を施した後に生成した、合成画像データを、更に、加工する場合を考える。加工や画質補整を施した画像データに、同一のアルゴリズムに基づく関数及びパラメータを用いて、再度、加工又は画質補整を施すと、不自然な画像になる場合がある。例えば、合成前に、画質補整を施すことで、コントラストを明瞭にした部分に、同じアルゴリスムに基づく画質補整を再度施すと、必要以上に、コントラスト比が大きくなり、不自然な画像になる場合が考えられる。また、合成前に拡大処理を施した部分に更に、同一のアルゴリズムで拡大処理を施すと、輪郭線が不明瞭になったり、画質が荒くなったりする可能性が考えられる。

本発明の画像合成装置３００では、合成画像データを構成する各ピクセルデータに、合成前における加工、補整の有無を示す属性フラグ付加する。次に、合成画像データのうち、合成前に、加工や補整を施している部分に更に、加工や補整を施す場合（以下、多重加工、多重補整と呼ぶ）、１度目とは異なる最適な関数及びパラメータを含む多重加工用データを用いる。

このようにすることで、多重加工、多重補整した部分の画質の最適化を図ることができる。なお、加工処理には、拡大、縮小、回転など、様々な種類の加工処理が考えられるが、説明を簡単にするため、本実施の形態における画像合成装置は、利用者の選択した１以上の画像データを、１以上の倍率で拡大し、必要に応じて画質補整処理を施して合成する装置であるとする。
３．２ 構成
図１９は、本実施の形態の画像合成装置３００の機能的構成を示すブロック図である。図中の矢印は、合成画像データ３１４の生成に関するデータフローを示しており、太線矢印は、加工画像データの生成に関するデータフローを示している。

図１９に示すように、画像合成装置３００は、メモリ３０１、表示部３０２、入力部３０３、主制御部３０４、画像処理部３０５から構成され、画像処理部３０５は、合成制御部３４１、変形用メモリ３４６、変形エンジン３４７、補整用メモリ３４８、補整エンジン３４９、形式変換部３４２、合成エンジン３４３、合成バッファ３４４及び属性フラグ付加部３５１を含む。

図面中、前述の実施の形態と重複する構成及びデータには、同一の参照符号を付している。
画像合成装置３００は、具体的には、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することで、画像合成装置３００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成について説明する。なお、入力部３０３、表示部３０２及び形式変換部３４２の構成及び動作は実施の形態２と同様であるので説明を省略する。また、変形用メモリ３４６、変形エンジン３４７、補整用メモリ３４８、補整エンジン３４９の構成及び動作は、実施の形態２と同様に、各メモリの保持する関数及びパラメータを用いて、入力されたピクセルデータに処理を施す。従って、詳細な説明は省略する。

（１）メモリ３０１
メモリ３０１は、ハードディスクユニットを含んで構成され、一般領域３１１と画像記憶領域３２１とを含む。
一般領域３１１は、合成指示テーブル３１２、ＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８、多重拡大用データ３１３、多重補整用データ３１５を記憶している。以下必要に応じてＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８を通常加工用データ群と呼び、多重拡大用データ３１３、多重補整用データ３１５を多重加工用データ群と呼ぶ。

また、図示していないが、一般領域３１１には、これらの他にも、主制御部３０４により用いられる各種のプログラム、パラメータ、画像データなどが記憶されている。
画像記憶領域３２１には、ペイント画像データ１２２、写真画像データ１２４・・・など利用者の操作に従って保存された画像データ、当該画像合成装置により生成された合成画像データ３１４、加工画像データ３１６が記憶されている。

（１−１）合成指示テーブル３１２
合成指示テーブル３１２は、実施の形態２において説明した合成指示テーブル２１２と同様の構成であって、複数の合成情報から構成される。ただし、ここでは、変形情報は「不要」又は「ｎ倍」（ｎ≧１）のみである。
その他の詳細な構成は、実施の形態２の合成指示テーブル２１２と同様であるので、説明を省略する。

（１−２）通常加工用データ群
ＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７及びＹＵＶ補整用データ２１８は実施の形態２において、説明した通りであるので、ここでは説明を省略する。
（１−３）多重加工用データ群
多重拡大用データ３１３は、合成画像データ３１４のうち、合成前において拡大処理を施している部分を、さらに拡大するのに適したアルゴリズムに従う関数及びパラメータを含んでいる。

多重補整用データ３１５は、合成画像データ３１４のうち、合成前において画質補整処理を施している部分を、さらに画質補整するためのアルゴリズムに従う関数及びパラメータを含んでいる。
画質補整処理は、大きく分けて、雑音除去、輪郭強調及び歪補整の処理を含んでいる。ここで、同一のアルゴリズムに従って画質補整処理を、複数回行う場合を想定する。１度目の画質補整において、輪郭強調のために生成されたデータを、２度目以降の画質補整処理において、雑音であると誤認される可能性がある。

また、輪郭強調処理では、各色の濃度が急激に変化する部分（輪郭）を検出し、検出した部分の高周波（高濃度）成分をより強調する。このような処理には、一例として、入力画像データの二次微分を用いる（二次微分を用いた輪郭強調処理については、非特許文献２に詳細に説明されている）。２度目以降の画質補整を行う場合、前述の二次微分の加算成分を、新たな輪郭であると誤認する可能性がある。

従って、例えば、ＲＧＢ補正用データ２１７及びＹＵＶ補正用データ２１８は、それぞれ、雑音除去、輪郭強調及び歪補整に関する関数及びパラメータを含んでいるが、多重補整用データ３１５には、歪補整に関する関数及びパラメータのみを含む。
若しくは、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８及び多重補整用データ３１５に含まれる輪郭強調のための係数を何れも小さめに設定するとしてもよい。

（１−４）画像データ
ペイント画像データ１２２、写真画像データ１２４など合成の対象となる画像データについては、実施の形態１において既に述べているので説明を省略する。
合成画像データ３１４は、ペイント画像データ１２２、写真画像データ１２４などを、必要に応じて拡大し、画質補整処理を施して合成した画像データであって、データ形式はＰ２Ｘ６Ｒ８Ｇ８Ｂ８形式である。各ピクセルデータの先頭の１ビットは、合成の過程で、そのビットデータに拡大処理が施されたか否かを示しており、「１」は、拡大処理が施されたことを示し、「０」は、施されなかったことを示す。各ピクセルデータの第２ビットは、合成の過程でそのピクセルデータに画質補整処理が施されたか否かを示し、「１」は、画質補整処理が施されたことを示し、「０」は、施されなかったことを示す。以下、各ピクセルデータの先頭の２ビットを属性ビットと呼び、変数Ｐで表す。

加工画像データ３１６は、合成画像データ３１４の一部又は全部に更に加工を施して生成された画像データである。
（２）合成制御部３４１
合成制御部３４１は、合成画像データの生成処理において、図示していないが、各機能部へ、制御信号を出力し、その動作を制御する機能を有する。

合成制御部３４１は、主制御部３０４から、画像合成の指示を受ける。この指示を受けると、合成バッファ３４４を初期化する。具体的には背景画像データ（ブルーバック、利用者の指定した背景画像データ）を書き込む。ここで書き込まれる背景画像データは、Ｐ２Ｘ６Ｒ８Ｇ８Ｂ８形式であって、各ピクセルデータの属性ビットは「００」であるとする。

次に、合成制御部３４１は、メモリ３０１の所定領域に記憶されている合成指示テーブルに含まれる合成情報のうち、重ね合わせ順が小さいものから順に読み出す。
すべての合成情報について、以下の処理を繰り返すことで、合成画像データ３１４を生成する。
先ず、読み出した合成情報に含まれる変形情報が「不要」であれば、変形エンジン３４７に一時停止を指示する。「不要」でない場合、読み出し合成情報に含まれるデータ形式を基に、ＲＧＢ拡大用データ２１３又はＹＵＶ拡大用データ２１５の何れかを読み出し、変形用メモリ３４６へ書き込む。このときに、合わせて拡大の倍率ｎも書き込む。

次に、読み出した合成情報に含まれる画質補整情報が「不要」であれば、補整エンジン３４９に一時停止を指示する。「不要」でない場合、読み出し合成情報に含まれるデータ形式を基に、ＲＧＢ補整用データ２１７又はＹＵＶ補整用データ２１８の何れかを読み出し、変形用メモリ３４６へ書き込む。
続いて、合成制御部３４１は、読み出した合成情報に含まれるデータ形式を、形式変換部３４２へ出力する。

次に、読み出した合成情報に含まれる変形情報から画像サイズを算出し、算出した画像サイズと、出力座標と、透過率とを合成エンジン３４３へ出力する。
次に、合成制御部３４１は、合成情報に含まれる変形情報と画質情報とを基に２ビット長の属性フラグＰを生成する。具体的には、変形情報が「不要」であれば第１ビット「０」、「不要」以外であれば第１ビット「１」を生成し、画質補整情報が「不要」であれば、第２ビット「０」、「不要」以外であれば、第２ビット「１」を生成する。次に、生成した２ビット長の属性フラグ付加部３５１へ出力する。

続いて、合成制御部３４１は、読み出した合成情報と対応する画像データを変形エンジン３４７へ出力する。
属性フラグ付加部３５１が、合成バッファ３４４へ合成途中画像データを書き戻すと、次の合成情報について、同様の処理を繰り返す。
（３）合成バッファ３４４
合成バッファ３４４は、ＲＡＭから構成され、合成エンジン３４３及び属性フラグ付加部３５１による画像合成処理の途中における合成途中画像データを記憶する。

（４）形式変換部３４２
形式変換部３４２は、合成制御部３４１から、データ形式を受け取る。また、形式変換部３４２は、補整エンジン３４９から、補整済画像データを受け取る。ここで受け取る補整済画像データのデータ形式は、合成制御部３４１から受け取るデータ形式と一致する。
形式変換部３４２は、受け取った補整済画像データのデータ形式をＸ８Ｒ８Ｇ８Ｂ８形式に変換して、変換済画像データを生成する。変換方法の詳細は、実施の形態１と同様であるので、説明を省略する。

次に、形式変換部３４２は、生成した変換済画像データを合成エンジンへ出力する。
（５）合成エンジン３４３
合成エンジン３４３は、合成制御部３４１から、出力座標と透過率と画像サイズとを受け取る。
また、合成エンジン３４３は、形式変換部３４２から、変換済画像データを受け取る。ここで受け取る変換済画像データを基に生成される変換済画像の画像サイズは、合成制御部３４１から受け取った画像サイズと一致する。

これらを受け取ると、合成エンジン３４３は、合成バッファ３４４から合成途中画像データを読み出し、読み出した合成途中画像データのうち、受け取った出力座標を起点とし、画像サイズの示す範囲（合成対象範囲と呼ぶ）の画像データを受け取った変換済画像データと合成する。合成の演算については、実施の形態１において述べた通りであるので、ここでは省略する。このとき、合成対象範囲の各ピクセルデータの形式はＸ８Ｒ８Ｇ９Ｂ８形式である。

次に、合成エンジン３４３は、合成後の画像データを属性フラグ付加部３５１へ出力する。
（６）属性フラグ付加部３５１
属性フラグ付加部３５１は、合成制御部３４１から２ビット長の属性フラグＰを受け取り一時的に記憶する。

次に、属性フラグ付加部３５１は、合成エンジン３４３から合成処理後の画像データを受け取る。属性フラグ付加部３５１は、受け取った画像データのうち、合成対象範囲に含まれる各ピクセルデータの先頭の２ビットを記憶している属性フラグＰに書き換える。書き換えが終了すると、書き換え後の画像データにより、合成バッファ３４４の保持する合成途中画像データを更新する。

（７）主制御部３０４
図示していないが、主制御部３０４は、画像合成装置３００を構成する各部へ制御信号を出力し、各部の動作を制御する機能を有する。
主制御部３０４は、入力部３０３を介して、利用者の操作を受け付け、外部機器又は記録媒体に記録されている画像データを読み出し、メモリ３０１の画像記憶領域に書き込む。

また、主制御部３０４は、入力部３０３を介して、合成画像の作成要求を受け付ける。さらに、利用者による、合成画像の加工要求の入力を受け付ける。
合成画像の作成要求を受け付けると、利用者の操作に従って、合成指示テーブル３１２を生成し、合成制御部３４１へ画像合成を指示する。合成画像の生成の制御については、実施の形態１と同様であるので、ここでは、説明を省略する。

（合成画像の加工）
主制御部３０４は、合成画像データ３１４を基に生成された合成画像が表示部に表示されている状態で、入力部３０３を利用者による位置の指定を受け付ける。位置の指定を受け付けると、倍率ｍ（≧１）の入力画面を表示部３０２に表示し、倍率の入力を受け付ける。

次に、主制御部３０４は、指定された位置を中心に、例えば縦１００×横１００画素の範囲（拡大対象範囲と呼ぶ）の画像を入力された倍率に拡大して加工画像データ３１６を生成する。
以下に、具体的な拡大処理の制御について説明する。
主制御部３０４は、拡大対象範囲に含まれる各ピクセルデータについて、以下の処理を繰り返す。

ピクセルデータの第１ビットが「１」であれば、主制御部３０４は、メモリ３０１から多重拡大用データ３１３を読み出し、読み出した多重拡大用データ３１３を変形用メモリ３４６へ書き込む。
第１ビットが「０」であれば、主制御部３０４は、ＲＧＢ拡大用データ２１３を読み出し、読み出したＲＧＢ拡大用データ２１３を変形用メモリ３４６に書き込む。

次に、ピクセルデータの第２ビットが「１」であれば、主制御部３０４は、多重補整用データ３１５を読み出し、読み出した多重補整用データ３１５を補整用メモリ３４８に書き込む。
第２ビットが「０」であれば、主制御部３０４は、ＲＧＢ補整用データ２１７を読み出し、読み出したＲＧＢ補整用データ２１７を補整用メモリ３４８に書き込む。

次に、補整エンジン３４９の動作を監視し、補整エンジン３４９による補整の処理が終了すると、補整処理後のピクセルデータをメモリ３０１の画像記憶領域３２１へ書き込むように、補整エンジン３４９に指示する。
拡大対象範囲の全てのピクセルデータについて、拡大及び補整が終了すると、主制御部３０４は、加工画像データ３１６を読み出し、読み出した加工画像データ３１６を基に加工画像を生成し、生成した加工画像を表示部３０２に表示する。
３．３ 動作
以下に、本実施の形態の画像合成装置３００の動作について説明する。

（１）画像合成の動作
利用者の操作により、画像合成が指示されると、画像合成装置３００は、画像合成処理を開始する。
図２０〜図２２は、画像合成処理における画像合成装置３００の動作を示したフローチャートである。以下に、図２０〜図２２を用いて画像合成装置３００の動作について説明する。

主制御部３０４は、所定の選択画面、入力画面などを表示して、利用者による合成対象となる画像の選択、表示位置、重ね合わせ順、加工（拡大）の要否、画質補整の要否の入力を受け付ける（ステップＳ３０１）。
これらの入力を受け付けると、受け付けたデータを基に合成指示テーブル３１２を生成し、生成した合成指示テーブル３１２をメモリ３０１の所定領域に書き込む（ステップＳ３０２）。

次に、主制御部３０４は、合成制御部３４１へ、画像データの合成を指示する（ステップＳ３０３）。
合成制御部３４１は、主制御部３０４から画像合成の指示を受ける。指示を受けると、メモリ３０１の所定領域に記憶されている合成指示テーブル３１２をサーチし、合成指示テーブル３１２を構成する合成情報を重ね合わせ順の小さいものから順に読み出す（ステップＳ３０６）。

このとき、既に、全ての合成情報を読み出し済みであれば（ステップＳ３０７のＹＥＳ）、合成制御部３４１は、ステップＳ３０８へ処理を移す。
全ての合成情報を読み出し済みでない場合（ステップＳ３０７のＮＯ）、合成制御部３４１は、読み出した合成情報に含まれる変形情報、画質補整情報、データ形式を基に最適な加工用データをメモリ３０１から読み出して、読み出し加工用データと倍率とを変形用メモリ３４６に書き込み、最適な補整用データをメモリ３０１から読み出して、補整用メモリ３４８へ書き込む（ステップＳ３１１）。ただし、読み出した合成情報に含まれる変形情報が「不要」の場合、変形エンジン３４７へ一時停止を指示する。また画質補整情報が「不要」の場合は、補整エンジン３４９へ一時停止を指示する。

次に、合成制御部３４１は、読み出した合成情報に含まれるデータ形式を形式変換部３４２へ出力する（ステップＳ３１２）。
次に、合成制御部３４１は、読み出した合成情報に対応する画像データを読み出し、変形エンジン３４７へ出力する（ステップＳ３１３）。
変形エンジン３４７は、変形用メモリ３４６の保持するパラメータ及び関数などを用いて、受け取った画像データを加工（拡大）して、変形済画像データを生成し、生成した変形済画像データを補整エンジン３４９へ出力する（ステップＳ３１４）。ただし、合成制御部３４１から、一時停止を指示された場合は、受け取った画像データをそのまま補整エンジン３４９へ出力する。

補整エンジン３４９は、変形エンジン３４７から変形済画像データを受け取る。変形済画像データを受け取ると、補整エンジン３４９は、補整用メモリ３４８に記憶されている関数及びパラメータを用いて、受け取った変形済画像データに画質補整処理を施して補整済画像データを生成する（ステップＳ３１６）。続いて、補整エンジン３４９は、生成した補整済画像データを形式変換部３４２へ出力する（ステップＳ３１７）。なお、このとき、合成制御部３４１から一時停止を指示されている場合、受け取った変形済画像データをそのまま形式変換部３４２へ出力する。

形式変換部３４２は、補整済画像データを受け取ると、合成制御部３４１から通知されたデータ形式を参照して、受け取った補整済画像データのデータ形式をＸ８Ｒ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する。続いて、生成した変換済画像データを合成エンジン３４３へ出力する（ステップＳ３１８）。
合成制御部３４１は、次に、読み出した合成情報に含まれる出力位置、透過率、画像サイズを合成エンジン３４３へ出力する（ステップＳ３２１）。

合成エンジン３４３は、変換済画像データを受け取ると、合成バッファ３４４から、合成途中画像データを読み出す（ステップＳ３２２）。
合成エンジン３４３は、読み出した合成途中画像データのうち合成対象範囲の各ピクセルデータと対応する変換済画像データのピクセルデータとを合成する（ステップＳ３２３）。

合成制御部３４１は、読み出した合成情報に含まれる変形情報及び画質補整情報を基に２ビット長の属性フラグＰを生成し、生成した属性フラグＰを属性フラグ付加部３５１へ出力する（ステップＳ３２６）。
属性フラグ付加部３５１は、合成制御部３４１から属性フラグＰを受け取り、一時的に記憶する。次に、属性フラグ付加部３５１は、合成エンジン３４３から受け取った画像データのうち、合成対象範囲に含まれるカテゴリクレームピクセルデータのブランクビットのうち先頭の２ビットを受け取った属性フラグに書き換えて、合成途中像データを更新する（ステップＳ３２７）。

次に、属性フラグ付加部３５１は、更新後の合成画像データを合成バッファ３４４へ書き戻す（ステップＳ３２８）。
次に、画像合成装置３００は、ステップＳ３０６へ戻り、全ての、合成情報について、同様の処理を繰り返す。
ステップＳ３０７において、全ての合成情報が、読み出し済みであれば（ステップＳ３０７のＹＥＳ）、合成制御部３４１は、合成バッファ３４４の記憶している合成途中画像データを読み出し、これを合成画像データとして、メモリ３０１に書き込む（ステップＳ３０８）。次に、合成画像の生成が終了したことを主制御部３０４へ通知する。

主制御部３０４は、メモリ３０１から、合成画像データ３１４を読み出し、読み出し合成画像データ３１４を基に合成画像を生成して表示部３０２に表示する（ステップＳ３０９）。
（２）合成画像データの加工処理
図２３〜図２４は、合成画像データの加工（拡大）処理に係る画像合成装置３００の動作を示すフローチャートである。以下に、図２３〜図２４を用いて、合成画像データの拡大処理における画像合成装置３００の動作について説明する。

主制御部３０４は、利用者の操作に従って、合成画像データ３１４を基に統制画像を生成し、生成した合成画像を表示部３０２に表示する（ステップＳ３４１）。続いて、利用者の操作による位置（画素）の指定を、入力部３０３を介して受け付ける（ステップＳ３４２）。次に、主制御部３０４は、利用者による倍率の入力を受け付ける（ステップＳ３４３）。

次に、ステップＳ３４６〜ステップＳ３５８の間、合成画像データのうち、二次利用範囲に含まれる各ピクセルデータについて、ステップＳ３４７〜ステップＳ３５７の処理を繰り返すことで、加工（拡大）画像データを生成する。
ピクセルデータの第１ビットが「１」であれば（ステップＳ３４７のＹＥＳ）、主制御部３０４は、メモリ３０１から、多重拡大用データ３１３を読み出し、変形用メモリ３４６へ書き込む（ステップＳ３４８）。

ピクセルデータの第１ビットが「０」であれば（ステップＳ３４７のＮＯ）、主制御部３０４は、メモリ３０１からＲＧＢ拡大用データ２１３を読み出し、変形用メモリ３４６に書き込む（ステップＳ３４９）。
次に、主制御部３０４は、受け付けた倍率を変形用メモリ３４６へ書き込む（ステップＳ３５１）。

次に、ピクセルデータの第２ビットが「１」であれば（ステップＳ３５２のＹＥＳ）、主制御部３０４は、メモリ３０１から、多重補整用データ３１５を読み出し、補整用メモリ３４８へ書き込む（ステップＳ３５３）。
ピクセルデータの第２ビットが「０」であれば（ステップＳ３５２のＮＯ）、主制御部３０４は、メモリ３０１から、ＲＧＢ補整用データ２１７を読み出し、補整用メモリ３４８に書き込む（ステップＳ３５４）。

続いて、主制御部３０４は変形エンジン３４７へ、ピクセルデータを出力し、変形エンジン３４７は、変形用メモリ３４６の保持する、倍率、関数及びパラメータを用いて、受け取ったピクセルデータの下位２４ビット（つまりＲ８Ｇ８Ｂ８）に拡大処理を施して、補整エンジン３４９へ出力する（ステップＳ３５６）。
補整エンジン３４９は、補整用メモリ３４８の保持する関数及びパラメータを用いて、変形エンジン３４７から受け取ったピクセルデータに画質補整処理を施して、メモリ３０１の画像記憶領域３２１に書き込む（ステップＳ３５７）。

二次利用範囲に含まれる全てのピクセルデータについて、繰返しが終了すると（ステップＳ３５８）、主制御部３０４は、補整エンジン３４９により書き込まれたピクセルデータ群により構成される加工画像データ３１６をメモリ３０１から読み出す（ステップＳ３５９）。次に、読み出した加工画像データから加工画像を生成し、表示部３０２に表示する（ステップＳ３６１）。
３．４ まとめ
以上、説明してきたように、本実施の形態の画像合成装置３００は、合成前における拡大加工の有無、画質補整の有無を示す属性フラグＰを生成し、生成した属性フラグを、合成画像データを構成する各ピクセルデータに埋め込む。

合成画像の一部（二次利用範囲）を更に拡大する場合、二次利用範囲の各ピクセルデータに埋め込まれた属性フラグを参照して、合成の過程で拡大及び画質補整されているか否かに応じて、拡大、画質補整する場合、に用いるデータを選択する。
このようにすることで、同一の処理を繰り返すことによって生じる画像の不自然さを緩和することができる。
４． 実施の形態４
以下に、本発明の実施の形態４に係る画像合成装置４００について、図面を用いて説明する。
４．１ 概要
本実施の形態では、複数の画像データを合成して１つの合成画像データを生成する際に、先ず、合成の対象となる画像データのデータ形式をＲＧＢ形式に変換すると共に、変換前の画像データのデータ形式を示す１ビット長の形式フラグＰを生成する。

拡大、縮小、といった加工処理を実行する変形エンジンは、画像データと共に受け取った形式フラグＰを基に、最適な加工用データを選択して用いる。
画質補整を行う補整エンジンも同様に、形式フラグＰを基に最適な補整用データを選択して用いる。
このように、各実行エンジンが、形式フラグＰを基に、付随するメモリから最適なデータを選択して処理を実行するので、合成画像データの生成の高速化を図ることができる。
４．２ 構成
図２５は、画像合成装置４００の機能的構成を示す機能ブロック図である。図中の矢印は、画像合成処理におけるデータフローを示している。

図２５に示すように、画像合成装置４００は、メモリ４０１、表示部４０２、入力部４０３、主制御部４０４、画像処理部４０５から構成され、画像処理部４０５は、合成制御部４４１、形式変換部４４２、変形用メモリ４４６、変形エンジン４４７、補整用メモリ４４８、補整エンジン４４９、合成エンジン４４３及び合成バッファ４４４を含む。
具体的には、画像合成装置４００は、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像合成装置４００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各機能部について説明する。なお、入力部４０３、表示部４０２の構成及び動作は実施の形態１と同様であるので説明を省略する。
また、メモリ４０１の構成は実施の形態１と同様であり、メモリ４０１の記憶している合成指示テーブル２１２、ペイント画像、１２２写真画像１２４・・・は、それぞれ、実施の形態２及び実施の形態１において説明した通りであるので説明を省略する。また、合成画像データ４１４は、その生成の過程は異なるが、データの構成は実施の形態１において説明した合成画像データ１２７と同一であるので、説明を省略する。加工用データ群４５３及び補整用データ群４５４については後述する。

（１）合成制御部４４１
合成制御部４４１は、合成画像データの生成の過程において、図示していないが、各機能へ制御信号を出力し動作を制御する機能を有する。
合成制御部４４１は、主制御部４０４から、画像合成を指示される。画像合成を指示されると、合成制御部４４１は、合成指示テーブル２１２を構成する合成情報のうち、重ねあわせ順の小さいものから順に合成情報を読み出し、全ての合成情報について、以下の処理を繰り返す。

先ず、合成制御部４４１は、読み出した合成情報に含まれるデータ形式を形式変換部４４２へ出力する。次に、変形情報及び、画質補整情報をそれぞれ、変形エンジン４４７及び補整エンジン４４９へ出力する。次に、合成エンジン４４３へ出力位置、透過率、画像サイズを出力する。
次に、合成制御部４４１は、読み出した合成情報と対応する画像データを形式変換部４４２へ出力する。

全ての合成情報について、上記の処理終えると、合成制御部４４１は、合成エンジン４４３の動作を監視し、合成エンジン４４３による合成途中画像データの書き戻しが終了すると、合成バッファ４４４の記憶している合成途中画像データを読み出し、読み出した合成途中画像データを、合成画像データ４１４としてメモリ４０１へ書き込む。
（２）形式変換部４４２
形式変換部４４２は、合成制御部４４１からデータ形式と画像データとを受け取る。

これらを受け取ると、受け取ったデータ形式に従って１ビット長の形式フラグＰを生成する。形式フラグＰ＝１は、ＲＧＢ形式を示し、Ｐ＝０はＹＵＶ形式を示す。
次に、形式変換部４４２は、受け取った画像データのデータ形式をＲ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する。変換の詳細な手順は、実施の形態１において述べているので、ここでは説明を省略する。次に、生成した形式フラグＰと変換済画像データとを変形エンジン４４７へ出力する。

（３）変形用メモリ４４６
変形用メモリ４４６は、ＲＡＭから構成され、ここでは加工用データ群４５１を記憶している。これは、メモリ４０１の記憶している加工用データ群４５３と同一である。
加工用データ群４５１には、拡大、縮小、回転、反転といった加工に用いられる複数のデータを含んでいる。具体的には実施の形態１において説明した、グラフィック向けの拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６・・・、自然画向けの拡大用データＢ、縮小用データＢ、反転用データＢ、回転用データＢ・・・を含む。

（４）変形エンジン４４７
変形エンジン４４７は、合成制御部４４１から、変形情報を受け取り、形式変換部４４２から、形式フラグＰと変換済画像データとを受け取る。
これらを受け取ると、変形エンジン４４７は、受け取った形式フラグＰと変形情報を基に、変形用メモリ４４６に記憶されている加工用データ群から最適な加工用データを読み出す。読み出した加工用データを用いて、受け取った変換済画像データを加工し、変形済画像データを生成する。

例えば、形式フラグＰ＝１、変形情報「０．８倍」を受け取ると、自然画向けの縮小用データＢを読み出し、読み出した縮小用データＢと変形情報に含まれる倍率「０．８」とを用いて、受け取った変換済画像データに縮小処理を施して変形済画像データを生成する。
次に、変形エンジン４４７は、生成した変形済画像データと、受け取った形式フラグＰとを、補整エンジン４４９へ出力する。

なお、合成制御部４４１から受け取った合成情報が「不要」である場合、受け取った変換済画像データを、そのまま、変形済画像データとして出力する。
（５）補整用メモリ４４８
補整用メモリ４４８は、ＲＡＭから構成され、ここでは補整用データ群４５２を記憶している。これは、メモリ４０１の記憶している補整用データ群４５４と同一である。

補整用データ群４５２には、画質補整に用いられる複数のデータを含んでいる。具体的には実施の形態１において説明した、グラフィック向け補整用データＡ１１７及び自然画向けの補整用データＢ１１８を含む。
（６）補整エンジン４４９
補整エンジン４４９は、合成制御部４４１から画質補整情報を受け取る。また、変形エンジン４４７から、変形済画像データと形式フラグＰとを受け取る。

これらを受け取ると、補整エンジン４４９は、画質補整情報と形式フラグＰを基に、補整用データ群４５２から最適な補整用データ選択し、選択した補整用データを読み出す。
次に、補整エンジン４４９は、読み出した補整用データを用いて、受け取った変形済画像データに画質補整処理を施して、補整済画像データを生成する。
例えば、形式フラグＰ＝１、変形情報「要」を受け取ると、自然画向けの補整用データＢを読み出し、読み出した補整用データＢを用いて変形済画像データに画質補整処理を施して補整済画像データを生成する。

次に、補整エンジン４４９は、生成した補整済画像データと受け取った形式フラグＰとを合成エンジン４４３へ出力する。
なお、合成制御部４４１から受け取った画質補整情報が「不要」であれば、上記の処理は行わず、受け取った変形済画像データをそのまま、補整済画像データとして出力する。
（７）合成バッファ４４４
合成バッファ４４４は、ＲＡＭから構成され、合成エンジン４４３による合成
途中の画像データを記憶する。合成バッファ４４４の記憶する合成途中画像データのデータ形式はＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式である。

また、起動時、初期化後の合成バッファ４４４の記憶しているデータについては、上記の実施の形態１及において説明した通りである。
（８）合成エンジン４４３
合成エンジン４４３は、合成制御部４４１から出力位置、透過率及び画像サイズを受け取る。また、合成エンジン４４３は、補整エンジン４４９から、補整済画像データと形式フラグＰとを受け取る。ここで受け取る画像サイズは、補整済画像データにより生成される補整済画像のデータサイズと一致する。

説明の便宜上、合成途中画像データに基づいて生成される合成途中画像において、出力位置を起点とし、画像サイズにより定まる範囲を合成対象範囲と呼ぶ。
これらのデータを受け取ると、合成エンジン４４３は、合成バッファ４４４から合成途中画像データを読み出す。読み出した合成画像データのうち、合成対象範囲に対応する部分と、補整済画像データとを合成する。合成の詳細については、実施の形態１において説明した通り、各色のデータと透過率とを用いて算出する。

続いて、合成対象範囲の各ピクセルデータの第１ビットを受け取った形式フラグＰに書き換えて、合成途中画像データを更新する。
次に、合成エンジン４４３は、更新後の合成途中画像データを合成バッファ４４４に書き戻す。
（９）主制御部４０４
主制御部４０４は、図面上には記載していない制御信号を、各機能部へ出力し、その動作を制御する機能を有する。

主制御部４０４は、入力部４０３を介して、利用者による合成画像の生成要求を受け付ける。合成画像の生成要求を受け付けると、主制御部４０４は、変形用メモリ４４６及び補整用メモリ４４８を初期化する。次に、メモリ４０１から加工用データ群４５３を読み出し、変形用メモリ４４６へ書き込む。次に、メモリ３０１から補整用データ群４５４を読み出し、補整用メモリ４４８へ書き込む。なお、これらのデータの書き込みのタイミングはこれに限るものではなく、画像合成装置４００の起動時であっても良いし、画像合成の指示時（後述）後に合成制御部４４１により書き込まれるとしてもよい。

次に、主制御部４０４は、所定の選択画面及び入力画面を、表示部４０２に表示し、合成の対象となる画像の選択、加工の要否、補整の要否の入力を受け付ける。受け付けたデータを基に合成指示テーブル２１２を生成し、生成した合成指示テーブル２１２をメモリ４０１に書き込む。続いて、合成制御部４４１へ、画像合成を指示する。
また、主制御部４０４は、利用者の操作に従って、合成画像データ４１４を基に合成画像を生成し、表示部４０２に表示する。このとき、利用者により、合成画像中の位置（画素）が指定されると、合成画像データの加工の制御を行う。合成画像データの加工の制御については、実施の形態１と同様であるのでここでは、説明を省略する。
４．３ 動作
以下に本発明の、画像合成装置４００の動作について図面を用いて説明する。なお、合成画像データの加工処理における、画像合成装置４００の動作は、実施の形態１と同様であるので、ここでは、説明を省略する。

（１）画像合成の動作
画像合成を要求する利用者の操作を受け付けると、画像合成装置４００は、画像合成の処理を開始する。
図２６〜図２８は、画像合成処理における画像合成装置４００の動作を示したフローチャートである。以下に、図２６〜図２８を用いて、画像合成処理における画像合成装置４００の動作について説明する。

利用者の操作により画像合成が要求されると、主制御部４０４は、変形用メモリ４４６と補整用メモリ４４８とを初期化し、メモリ４０１から加工用データ群４５３を読み出し、読み出した加工用データ群４５３を、変形用メモリ４４６にを書き込む。また、メモリ４０１から補正用データ群４５４を読み出し、読み出した補正用データ群４５４を、補整用メモリ４４８に書き込む（ステップＳ４０１）。

次に、主制御部４０４は、入力部４０３を介して、合成対象となる画像の選択、表示位置、重ね合わせ順、加工の要否、画質補整の要否の入力を受け付ける（ステップＳ４０２）。主制御部４０４は、受け付けたデータを基に合成指示テーブル２１２を生成してメモリ３０１に書き込み、合成制御部４４１に画像合成を指示する（ステップＳ４０４）。
合成制御部４４１は、合成指示テーブル２１２に含まれる合成情報を、重ね合わせ順が最小のものから順に読み出す（ステップＳ４０６）。このとき、全ての合成情報が既に読み出し済みであれば（ステップＳ４０７のＹＥＳ）、主制御部４０４は、ステップＳ４０８へ処理を移す。

全ての合成情報が読み出し済みでなければ（ステップＳ４０７のＮＯ）、合成制御部４４１は、読み出した合成情報に含まれるデータ形式を形式変換部４４２へ出力する（ステップＳ４１１）。
次に、合成制御部４４１は、読み出した合成情報に含まれる変形情報を変形エンジン４４７へ出力する（ステップＳ４１２）。次に、合成制御部４４１は、読み出した合成情報に含まれる画質補整情報を補整エンジン４４９へ出力する（ステップＳ４１３）。

続いて、合成制御部４４１は、読み出した合成情報に含まれる出力位置、透過率及び画像サイズを合成エンジン４４３へ出力する（ステップＳ４１４）。
次に、合成制御部４４１は、読み出した合成情報と対応する画像データをメモリ４０１から読み出し、読み出した画像データを形式変換部４４２へ出力する（ステップＳ４１６）。

形式変換部４４２は、データ形式と画像データとを受け取る。受け取ったデータ形式がＲＧＢ形式であることを示していれば、（ステップＳ４１７の「ＲＧＢ」）、形式変換部４４２は、形式フラグＰ＝１を生成する（ステップＳ４１８）。受け取ったデータ形式が、ＹＵＶ形式であることを示していれば（ステップＳ４１７のＹＵＶ）、形式フラグＰ＝０を生成する（ステップＳ４１９）。

次に、形式変換部４４２は、受け取ったデータ形式に基づいて、受け取った画像データをＲ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する（ステップＳ４２１）。続いて、生成した変換済画像データと形式フラグＰとを変形エンジン４４７へ出力する（ステップＳ４２２）。
変形エンジン４４７は、変形情報と形式フラグＰと変換済画像データとを受け取る。受け取った変形情報が「不要」でなければ（ステップＳ４２４のＮＯ）、変形エンジン４４７は、受け取った形式フラグＰと変形情報とを基に、加工用データ群４５１の中から最適な加工用データを選択し、選択した加工用データを変形用メモリ４４６から読み出す（ステップＳ４２６）。

次に、変形エンジン４４７は、読み出した加工用データを用いて、受け取った変形済画像データを加工して、変形済画像データを生成する（ステップＳ４２７）。次に、変形エンジン４４７は、生成した変形済画像データと受け取った形式フラグＰとを補整エンジン４４９へ出力する（ステップＳ４２８）。
受け取った変形情報が「不要」であれば（ステップＳ４２４のＹＥＳ）、受け取った変換済画像データを、そのまま、変形済画像データとして補整エンジン４４９へ出力する（ステップＳ４３１）。続いて、受け取った形式フラグＰを補整エンジン４４９へ出力する（ステップＳ４３２）。

補整エンジン４４９は、補整情報、形式フラグＰ及び変形済画像データを受け取る。受け取った補整情報が「不要」でなければ（ステップＳ４３３のＮＯ）、補整エンジン４４９は、受け取った形式フラグＰを基に、補整用データ群４５２の中から最適な補整用データを選択し、選択した補整用データを補整用メモリ４４８から読み出す（ステップＳ４３４）。次に、補整エンジン４４９読み出した補整用データを用いて受け取った変形済画像データに画質補整処理を施し、補整済画像データを生成する（ステップＳ４３６）。

続いて、補整エンジン４４９は、受け取った形式フラグＰと生成した補整済画像データとを合成エンジン４４３へ出力する（ステップＳ４３７）。
受け取った補整情報が「不要」であれば（ステップＳ４３３のＹＥＳ）、補整エンジン４４９は、受け取った変形済画像データを、そのまま、補整済画像データとして合成エンジン４４３へ出力する（ステップＳ４４１）。続いて受け取った形式フラグＰを合成エンジン４４３へ出力する（ステップＳ４４２）。

合成エンジン４４３は、出力位置、透過率、画像サイズ、補整済画像データ及び形式フラグを受け取る。これらを受け取ると、合成エンジン４４３は、合成バッファ４４４から、合成途中画像データを読み出す（ステップＳ４４３）。読み出した合成途中画像データのうち、合成対象範囲に対応する部分と補整画像データとを合成する（ステップＳ４４４）。続いて、合成エンジン４４３は、合成対象範囲に対応する部分の各ピクセルデータの第１ビットを受け取った形式フラグＰに書き換えて合成途中画像データを更新する（ステップＳ４４６）。

次に、合成エンジン４４３は、更新後の合成途中画像データを合成バッファ４４４に書き戻す（ステップＳ４４７）。
全ての合成情報について、これらの処理が終了すると（ステップＳ４０７のＹＥＳ）、合成制御部４４１は、合成バッファ４４４の保持している合成途中画像データを読み出し、合成画像データとして、メモリ４０１へ書き込む（ステップＳ４０８）。次に、主制御部４０４は、メモリ４０１から合成画像データ４１４を読み出し、読み出した合成画像データを基に合成画像を生成して表示部４０２へ表示する（ステップＳ４０９）。
４．４ まとめ
以上説明してきたように、本実施の形態では、先ず形式変換部が、合成対象となる画像データの形式をＲ８Ｇ８Ｂ８に変換すると共に、変換前の画像データの形式を示す形式フラグを生成する。合成前において、各画像データに加工や画質補整を施す際には、各エンジンは、それぞれに付随する変形用メモリ又は補整用メモリから、形式フラグを基に、迅速に、最適な加工用データ又は補整用データを選択し、読み出すことができる。
５．その他の変形例
本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各実施の形態では、ピクセルデータ毎に形式フラグ（実施の形態３では属性フラグ）Ｐを生成しているが、これに限定されるものではなく、合成画像データ中において、合成前の画像データと対応する部分とその部分に対応するフラグＰが特定できれば良い。
実施の形態１を例にすると、形式変換部１４２は、合成制御部１４１からデータ形式を受け取り、受け取ったデータ形式に従って、１ビット長の形式フラグＰを生成する。

続いて、形式変換部１４２は、入力画像データを受け取り、受け取った入力データのデータ形式を例えば、Ｒ８Ｇ８Ｂ８形式に変換して、変換済画像データを生成する。
次に、形式変換部１４２は、生成した形式フラグＰと変換済画像データとを合成エンジンへ出力する。
ここで、合成バッファ１４４の保持する合成途中画像データ及びメモリ１０１に記憶される合成画像データは、いずれもＲ８Ｇ８Ｂ８形式であるとする。

合成エンジン１４３は、合成制御部１４１から透過率と重ねあわせ順と出力座標と画像サイズとを受け取る。また、形式変換部１４２から、形式フラグＰと変換済画像データとを受け取る。これらを受け取ると、合成バッファ１４４から、合成途中画像データを読み出す。受け取った透過率を用いて、読み出した合成途中画像データと変換済画像データとを合成する。続いて、受け取った形式フラグＰと重ねあわせ順と出力座標と画像サイズからなる属性情報を生成する。次に、合成後の画像データにより合成バッファ１４４の保持する合成途中画像データを更新する。次に、生成した属性情報を合成バッファ１４４に書き込む。

合成エンジン１４３は、透過率と出力座標と画像サイズと形式フラグＰと変換済画像データを受け取る度に、同様にして合成途中画像データの更新、属性情報の生成及び書き込みを繰り返す。
ここで生成される属性情報は、それぞれ、合成画像中の領域１５１ａ、１５２ａ、１５３ａ及び１５４ａ各領域に含まれる画素に対応する形式フラグを示す。

次に、利用者の操作によりポインタ１６１の示す位置を中心とする拡大要求を受け付けると、主制御部１０４は、拡大の対象となる二次利用範囲を決定する。
続いて、主制御部１０４は、実施の形態１と同様にして、二次利用範囲に含まれる各画素について、拡大処理を施す。このとき、主制御部１０４は、処理の対象となっている画素を含む領域を示す属性情報を検出し、検出した属性情報に含まれる形式フラグＰを用いる。処理の対象となっている画素を含む属性情報が複数検出された場合、主制御部１０４は、検出された属性情報に含まれる重ね合わせ順を比較し、最大の重ね合わせ順を含む属性情報を採用する。

処理の対象となっている画素を含む属性情報が検出できなければ、主制御部１０４は、背景画像に対応する形式フラグ（ここではＰ＝０）を用いて、拡大処理を行う。
他の実施の形態でも同様に、合成画像上における各画像の占める領域を示す情報と形式フラグ（又は属性フラグ）と、重ね合わせ順とからなる属性情報を記憶しておいてもよい。このようにすることで、画素ごとに形式フラグを記憶しておく必要がなくなり、総データ量を削減することができる。

（３）実施の形態１において、主制御部１０４は、合成画像データのうちの二次利用範囲の各ピクセルデータに含まれる形式フラグＰの値によって、加工用データ、補整用データを選択し、それぞれ、変形用メモリ１４６及び補整用メモリに書き込んでいる。
しかし、これは、一例であって、例えば、主制御部１０４は、利用者が指定した位置（画素）に対応するピクセルデータに含まれる形式フラグの値によって選択した加工用データ及び補整用データを一度だけ変形用メモリ１４６及び補整用メモリ１４８に書き込み。変形エンジン１４７及び補整エンジン１４９は、それぞれ、変形用メモリ１４６及び補整用メモリ１４８に書き込まれたデータを用いて、二次利用範囲と対応する全てのピクセルデータの加工及び補整を行う構成であっても良い。

実施の形態２、３、４においても同様に、利用者の選択した画素に対応する形式フラグＰ（実施の形態３においては、属性フラグＰ）を基に、二次利用範囲の加工及び補整に用いられるデータを、一度だけ選択し、それぞれ、変形用メモリ及び補正用メモリに書き込むとしてもよい。
又は、二次利用範囲に含まれる各画素に対応するＰ値のうち、値が１のものの総数と、値が０のものの総数を比較し、値の大きい方のＰ値に従って、加工及び補整に用いられるデータを選択し、各メモリに１度だけ書き込むとしても良い。

なお、実施の形態３の場合は、Ｐ値のうち、第１ビットと第２ビットそれぞれについて、総数の比較を行う。
（４）各実施の形態において、合成エンジンは、合成バッファから合成途中画像データ（実施の形態２においては、これに加えて、形式フラグ群）を読み出し、合成処理を行っているが、合成制御部から受け取った透過率が「０」の場合、読み出しは行わず、合成途中画像データのうち、合成対象範囲に対応する部分を、受け取った画像データにより上書きする構成であっても良い。

（５）実施の形態１では、合成前の画像データの形式を示すフラグは１ビット長であって、「０」はＲＧＢ形式、「１」はＹＵＶ形式であるとしたがこれに限定されるものではない。
例えば、ＹＵＶ形式には、データのまとめ方が異なるパックド方式とプラナー方式の２種類の方式がある。さらに、データの間引き方によりＹＵＶ４２０、ＹＵＶ４２２など数種類の形式がある。

形式フラグＰは、これらの違いも含めた形式を示す複数ビット長のデータであってもよい。具体的には、第１ビットは、ＲＧＢ形式かＹＵＶ形式かを示し、第２ビットは、パックド方式かプラナー方式かを示し、第３ビット（又は第３ビット以後の数ビット）は、ＹＵＶ形式におけるデータの間引き方を示すとしてもよい。
（６）実施の形態２において、形式変換部２４２は、入力された補整済画像データのデータ形式を、Ｒ８Ｇ８Ｂ８形式に変換しているが、これに限定されるものではない。

例えば、Ｒ５Ｇ６Ｂ５形式にすることにより、生成される合成画像データのアドレス管理を容易にする構成であっても良い。
（７）実施の形態３では、説明を容易にするために、画像合成装置３００は、複数の画像データをそのまま又は拡大して合成する装置であるとして説明してきた。しかし、他の実施の形態同様に、拡大以外にも、縮小、反転、回転などの加工を施した後合成するとしても良い。この場合、属性ビットは、８ビット以下のデータであって、各ビットが、それぞれの処理の有無を示す。

具体的には、第１ビットは拡大の有無、第２ビットは、縮小の有無、第３ビットは、反転の有無・・・を示す構成であってもよい。
（８）上記の実施の形態１、２、４では、Ｐの値は合成前の画像データのデータ形式を示しており、実施の形態３では、合成前の加工及び画質補整処理の有無を示しているがこれに限定されるものではない。

例えば、各画像データを生成したソフトウェアの種類が考えられる。具体的には、ペイント画像ソフトウェア、写真画像データを生成するソフトウェアが該当する。また、実施の形態では複数の画像データを合成するとしてきたが、画像データに限らず、文書作成ソフトウェアにより作成されたテキストデータ、表計算ソフトウェアにより作成された表なども合成する構成であっても良い。

この場合、形式変換部は、各データをＲＧＢ形式の画像データに変換すると共に、変換前のデータの種類及び形式を示す数ビット長の形式フラグを生成する。
（９）上記の実施の形態１〜４及び変形例では、各画像データは、画像合成装置内のメモリに記憶されているが、これに限定されるものではない。
例えば、入力部は、可搬型記憶媒体を装着する機構及び記録装置を接続する機構を備え、利用者は、画像合成装置内のメモリ、外部の記録媒体及び記録装置に記憶されている画像データの中から、合成の対象となる画像データを選択する構成であってもよい。

また、生成された合成画像データ、加工画像データを内部のメモリに書き込むとしているが、これに限定されるものではなく、外部の記録媒体、記録装置などへ出力する構成であっても良い。
また、上記の実施の形態及び変形例では、画像合成装置が合成画像データを生成し、さらに、加工画像データを生成しているが、加工画像データを外部機器又は、記録媒体などへ出力し、外部機器が合成画像データを基に加工画像データを生成しても良い。

（１０）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ、ＲＯＭ、前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（１１）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

（１２）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（１３）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（１４）また、上記実施例におけるメモリカード、ＳＩＭカードの機能ブロックの全てが集積回路であるＬＳＩとして実現される場合も本発明に含まれる。また、機能ブロックの全てに限らず一部がＬＳＩとして実現される場合も本発明に含まれる。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性として有り得る。

（１５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、画像データを合成して出力する装置、合成された画像データを下降する装置を製造、販売する産業、及び、これらの装置を用いて各種のサービスを提供する産業において、経営的、反復的に利用可能である。

【０００３】
方法、画像合成プログラム及び集積回路を提供することを課題とする。
課題を解決するための手段
［０００９］
上記課題を解決するため、本発明は、複数の対象画像データを合成して合成画像データを生成する画像合成装置であって、合成対象となる前記複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付け、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける対応付手段とを備えることを特徴とする。
［００１０］
また、本発明は、複数の対象画像データを合成して合成画像データを生成する画像合成装置と、合成画像データを加工して加工画像データを生成する加工装置とから構成される画像データ利用システムであって、前記画像合成装置は、合成対象となる前記複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付け、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける対応付手段とを備え、前記加工装置は、前記合成画像データを取得するデータ取得手段と、前記合成画像データに対する加工指示を受け付ける受付手段と、前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備えることを特徴とする画像データ利用システムでもある。
［００１１］
ここで、上記の「取得手段」について、下記の実施の形態１では、合成制御部１４１及び形式変換部１４２がその機能を担う。「合成手段」及び「対応付手段」については、合成エンジン１４３合成、バッファ１４４及びメモリ１０１がその機能を担う。
発明の効果
［００１２］
上記の構成によると、前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分に前記属性情報を対応付ける。さらに、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける。そのため、合成画像データを更に加工する場合、前記属性

【０００４】
情報を基に、最適な加工アルゴリズムを選択し、各部分ごとに、最適な加工アルゴリズムにより加工を施すことができる。
［００１３］
また、本発明において、前記複数の対象画像データは、それぞれ、異なるデータ形式の入力画像データを、何れか一つのデータ形式に統一して生成され、前記取得手段は、各対象画像データと対応する入力画像データのデータ形式を示す前記属性情報を取得することを特徴とするとしてもよい。
この構成によると、前記対応付手段は、各入力画像データのデータ形式示す前記属性情報を、前記合成画像データのうちの各対象画像データと対応する部分と対応付ける。従って、合成画像データの各部分について、形式変換前のデータ形式を知ることができる。
［００１４］
また、前記複数の対象画像データの何れかは、入力画像データを加工して生成されたものであって、前記取得手段は、各対象画像データの加工履歴を示す前記属性情報を取得する画像合成装置であってもよい。
ここで、上記の「加工」は、下記の実施例における、拡大、縮小、反転などの加工処理に加え、画質補整処理も含む。
［００１５］
この構成によると、前記取得手段は、各入力画像データに対する加工履歴を示す前記属性情報を取得するので、合成画像データの各部分について、合成前に加工が施されたか否かを知ることができる。
［００１６］

【０００５】
［００１７］
また、前記合成画像データは、複数のピクセルデータから構成され、前記画像合成装置を構成する前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分を構成する各ピクセルデータそれぞれに、該当する属性情報を対応付けることを特徴とする構成であっても良い。
この構成によると、前記対応付手段は、前記合成画像データを構成するピクセルデータ毎に前記属性情報を対応付ける。前記合成画像データの一部を利用しようとする場合、利用対象となる部分に含まれる各ピクセルデータに対応する属性情報を確実に検出できる。
［００１８］
また、前記対応付手段は、１６ビットの偶数倍のビット数を１単位としてデータを記憶する記憶部と、１ピクセルデータのビット長及び前記属性情報のビット長との和が１６ビットの偶数倍になるようなビット長の補完データを生成する補完部と、前記記憶部に、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報と前記補完データを連続して書き込む書込部とを含む前記画像合成装置であってもよい。
［００１９］
現在既存のメモリは、１６ビット又はその偶数倍を１単位としてアドレス管理するものが多い。前記記憶部は、このようなメモリにより実現されると考えられる。
上記の構成によると、１ピクセルデータのビット長と前記属性情報のビット長補完データのビット長の和が１６ビットの偶数倍であって、前記書込部は、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報とを連続して書き込む。そのため、各ピクセルデータ及び属性データのアドレス管理が簡易になり、前記合成画像データの一部分を利用しようとする場合、迅速に、利用しようとする一部分に含まれるピクセルデータと各ピクセルデータに対応する属性情報とを読み出すことができる。
［００２０］
また、前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、前記対応付手段は、データを記憶する記憶部と、前記合成画像データを構成するピクセルデータ群と、各ピクセルデータに

本発明は、複数の画像を１つの画像に合成する技術に関する。特に、それぞれ、異なる形式により記述された画像データを合成する技術に関する。

テレビやパソコンのディスプレイに表示される画像は、各画素の色を数値によって表したデータを基に生成される。
色を数値により表現する方法には、ＲＧＢ形式、ＹＵＶ形式、ＨＳＶ形式など様々な形式が存在する。
一例としてＲＧＢ形式は、各画素について、光の３原色である赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）のそれぞれの強度を数値で表すものである。各色の数値が大きくなるに従って、白に近い色を表現し、数値が小さくなるに従って黒に近い色を表現する。パソコンのディスプレイには、一般にこのＲＧＢ形式が用いられる。従って、パソコンなどを利用して生成されたテキスト画像データや、グラフィック画像は、ＲＧＢ形式で記述される。

また、ＹＵＶ形式では、輝度（明るさ）を示す変数Ｙ、輝度と青色成分との差を示す色差Ｕ、輝度と赤色成分の差を示す色差Ｖで、１画素の色を表現する。ＹＵＶ形式には、隣接する４ピクセルで１組の色差データを共有する間引きを行って、データ量を削減するＹＵＶ４２２形式、ＹＵＶ４２０形式などが存在する。これらは、色味よりも輝度に反応しやすいという人間の目の特性を利用したものであって、自然画（例えば風景写真、人物写真）のように、色味が徐々に変化する画像に適しており、ＪＰＥＧ、ＭＰＥＧなどに用いられることが多く、デジタルテレビ放送にも使用されている。

このように、様々なデータ形式により記述される画像に拡大、縮小、回転などの加工を加える場合や画質を補整する場合、データ形式により最適な加工アルゴリズムは、当然異なると考えられる。
例えばＲＧＢ形式で記述されたテキスト画像データや、グラフィック画像を拡大する場合、隣接するピクセルのデータをコピーして拡大し（零次ホールド法）、階段状になったエッジを補整する（直線補完法など）方法が考えられる。

また、ＹＵＶ形式で記述された写真データなどを拡大する場合は、単に隣接データをコピーし、エッジ補整をするだけでなく、色の諧調変化の調整など、より複雑な加工が必要であると考えられる。画像データの加工については、非特許文献１に詳しく紹介されている。
ところで、上記のように、様々な形式により記述された画像データを合成して１つの画面を表す画像データを作成する場合がある。例えば、ホームページに、ＲＧＢ形式のグラフィック画像データとＹＵＶ形式の写真データとを掲載する場合などである。

元々は異なる形式であっても１つの画像データに合成する場合、全てのピクセルデータが、単一の形式で記述される必要がある。このように、全てのピクセルのデータ形式を統一した後では、各ピクセルが、合成前に何れの形式で表現されていたかは判断できない。

特開昭６１−１５６０９１号公報

貴家仁志 著 「よくわかる動画・静止画の処理技術」 ２００４年９月１日 ＣＱ出版 田村秀行 著 「コンピュータ画像処理」 ２００２年１２月２０日 オーム社

ところで、合成後の画像データを加工しようとする場合、上述したように、元々ＲＧＢ形式であった部分と、ＹＵＶ形式であった部分とでは、最適な加工アルゴリズムが異なる。しかし、合成後の画像データは、単一の表示形式により記述されているので、加工しようとする部分全てに対して同一のアルゴリズムにより加工せざるを得ない。そのため、不最適な加工アルゴリズムにより加工され、画質が粗雑になる可能性がある。

本発明は、上記の可能性を考慮し、合成後の画像を加工する場合でも最適な加工アルゴリズムを選択することができる、画像合成装置、画像合成システム、画像合成方法、画像合成プログラム及び集積回路を提供することを課題とする。

上記課題を解決するため、本発明は、複数の対象画像データを合成して合成画像データを生成する画像合成装置であって、合成対象となる前記複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付け、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける対応付手段とを備えることを特徴とする。

また、本発明は、複数の対象画像データを合成して合成画像データを生成する画像合成装置と、合成画像データを加工して加工画像データを生成する加工装置とから構成される画像データ利用システムであって、前記画像合成装置は、合成対象となる前記複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付け、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける対応付手段とを備え、前記加工装置は、前記合成画像データを取得するデータ取得手段と、前記合成画像データに対する加工指示を受け付ける受付手段と、前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備えることを特徴とする画像データ利用システムでもある。

ここで、上記の「取得手段」について、下記の実施の形態１では、合成制御部１４１及び形式変換部１４２がその機能を担う。「合成手段」及び「対応付手段」については、合成エンジン１４３合成、バッファ１４４及びメモリ１０１がその機能を担う。

上記の構成によると、前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分に前記属性情報を対応付ける。さらに、前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、前記合成画像データから形成される合成画像上において、重複部分に相当する領域の最前面に表示される部分画像と対応する対象画像データの属性情報を前記重複部分に対応付ける。そのため、合成画像データを更に加工する場合、前記属性情報を基に、最適な加工アルゴリズムを選択し、各部分ごとに、最適な加工アルゴリズムにより加工を施すことができる。

また、本発明において、前記複数の対象画像データは、それぞれ、異なるデータ形式の入力画像データを、何れか一つのデータ形式に統一して生成され、前記取得手段は、各対象画像データと対応する入力画像データのデータ形式を示す前記属性情報を取得することを特徴とするとしてもよい。
この構成によると、前記対応付手段は、各入力画像データのデータ形式示す前記属性情報を、前記合成画像データのうちの各対象画像データと対応する部分と対応付ける。従って、合成画像データの各部分について、形式変換前のデータ形式を知ることができる。

また、前記複数の対象画像データの何れかは、入力画像データを加工して生成されたものであって、前記取得手段は、各対象画像データの加工履歴を示す前記属性情報を取得する画像合成装置であってもよい。
ここで、上記の「加工」は、下記の実施例における、拡大、縮小、反転などの加工処理に加え、画質補整処理も含む。

この構成によると、前記取得手段は、各入力画像データに対する加工履歴を示す前記属性情報を取得するので、合成画像データの各部分について、合成前に加工が施されたか否かを知ることができる。
また、前記合成画像データは、複数のピクセルデータから構成され、前記画像合成装置を構成する前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分を構成する各ピクセルデータそれぞれに、該当する属性情報を対応付けることを特徴とする構成であっても良い。

この構成によると、前記対応付手段は、前記合成画像データを構成するピクセルデータ毎に前記属性情報を対応付ける。前記合成画像データの一部を利用しようとする場合、利用対象となる部分に含まれる各ピクセルデータに対応する属性情報を確実に検出できる。
また、前記対応付手段は、１６ビットの偶数倍のビット数を１単位としてデータを記憶する記憶部と、１ピクセルデータのビット長及び前記属性情報のビット長との和が１６ビットの偶数倍になるようなビット長の補完データを生成する補完部と、前記記憶部に、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報と前記補完データを連続して書き込む書込部とを含む前記画像合成装置であってもよい。

現在既存のメモリは、１６ビット又はその偶数倍を１単位としてアドレス管理するものが多い。前記記憶部は、このようなメモリにより実現されると考えられる。
上記の構成によると、１ピクセルデータのビット長と前記属性情報のビット長補完データのビット長の和が１６ビットの偶数倍であって、前記書込部は、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報とを連続して書き込む。そのため、各ピクセルデータ及び属性データのアドレス管理が簡易になり、前記合成画像データの一部分を利用しようとする場合、迅速に、利用しようとする一部分に含まれるピクセルデータと各ピクセルデータに対応する属性情報とを読み出すことができる。

また、前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、前記対応付手段は、データを記憶する記憶部と、前記合成画像データを構成するピクセルデータ群と、各ピクセルデータに対応する属性情報群とを前記記憶部に書き込む書込部とを含む前記画像合成装置であってもよい。
前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、前記書込部は、前記合成画像データと、前記属性情報群とを個別に書き込む。従って、総データ量を必要最小限にすることができる。

また、前記対応付手段は、データを記憶する記憶部と、前記合成画像データにおける各対象画像データと対応する部分を示す部分情報を生成する生成部と、各部分情報及び対応する属性情報を、前記記憶部に書き込む書込部とを含むことを特徴とする前記画像合成装置であってもよい。
この構成によると、前記書込部は、各部分情報及び各部分情報と対応する属性情報を、前記記憶部に書き込む。従って、ピクセル毎に属性情報を保持する場合に比べて、大幅にデータ量を削減することができる。

また、前記画像合成装置において、前記合成手段は、各属性情報に基づき加工アルゴリズムを選択する選択部と、選択された加工アルゴリズムに基づき各属性情報と対応する対象画像データを加工する加工部と、加工後の対象画像データ群を合成する合成部とを含むとしてもよい。
この構成によると、合成前において各対象画像データに加工を施す必要がある場合、前記属性情報を基に、迅速に加工アルゴリズムを選択し、加工を施すことができる。

前記画像合成装置は、さらに、前記合成画像データに対する加工指示を受け付ける受付手段と、前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備えるとしてもよい。
この構成によると、前記選択手段は、前記加工指示の対象となる部分に含まれるピクセルデータに対応する前記属性情報群を基に、最適な加工アルゴリズムを選択し、前記加工手段は、前記加工指示の対象となる部分に最適な加工処理を施すことができる。

実施の形態１における画像合成装置１００の機能的構成を示すブロック図である。 合成指示テーブル１１２の詳細を示す。 画像記憶領域１２１に記憶されている画像データを視覚的に示したものである。 合成画像１２７及び合成画像１２７の一部を拡大した加工画像を示す。 合成画像データ１２７を構成する各ピクセルデータに含まれる形式フラグＰの値の配置を視覚的に示したものである。 画像合成処理における画像合成装置１００の動作を示すフローチャートである。 画像合成処理における画像合成装置１００の動作を示すフローチャートであって、図６のステップＳ１１４から続く。 画像合成処理における画像合成装置１００の動作を示すフローチャートであって、図６のステップＳ１１６から続く。 合成画像データの加工処理における画像合成装置１００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置１００の動作を示すフローチャートであって図９から続く。 実施の形態２における画像合成装置２００の機能的構成を示すブロック図である。 合成指示テーブル２１２の詳細を示す。 合成指示テーブル２１２に従って生成された合成画像データを基に表示される合成画像である。 画像合成処理における画像合成装置２００の動作を示すフローチャートである。 画像合成処理における画像合成装置２００の動作を示すフローチャートであって、図１４のステップＳ２１３から続く。 画像合成処理における画像合成装置２００の動作を示すフローチャートであって、図１５のステップＳ２２６から続く。 合成画像データの加工処理における画像合成装置２００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置２００の動作を示すフローチャートであって、図１７から続く。 実施の形態３に係る画像合成装置３００の機能的構成を示すブロック図である。 画像合成処理における画像合成装置３００の動作を示すフローチャートである。 画像合成処理における画像合成装置３００の動作を示すフローチャートであって、図２０のステップＳ３１２から続く。 画像合成処理における画像合成装置３００の動作を示すフローチャートであって、図２１のステップＳ３２２から続く。 合成画像データの加工処理における画像合成装置３００の動作を示すフローチャートである。 合成画像データの加工処理における画像合成装置３００の動作を示すフローチャートであって、図２３から続く。 実施の形態４に係る画像合成装置４００の機能的構成を示すブロック図である。 画像合成処理における画像合成装置４００の動作を示すフローチャートである。 画像合成処理における画像合成装置４００の動作を示すフローチャートであって、図２６から続く。 画像合成処理における画像合成装置４００の動作を示すフローチャートであって、図２７から続く。

１． 実施の形態１
以下に、本発明の実施の形態１に係る画像合成装置について、図面を用いて説明する。
１．１ 概要
実施の形態１における画像合成装置は、複数の画像データを合成して１つの合成画像データを生成する。ここで、本明細書において、モニターに表示される映像を「画像」、前記映像を生成するためのデータを「画像データ」と表現する。

合成の対象となる画像データには、コンピュータを用いて生成されたＲＧＢ形式の画像データと、デジタルカメラなどにより風景や人物を撮影して生成されたＹＵＶ形式の画像データとが混在する。
合成の過程において、画像合成装置は、各画像データを、ＲＧＢ形式に統一し、する。本実施の形態では、各色を８ビット長で表現する。以下ＲＧＢ形式の画像データにおいて、各画素の赤、青、緑を表現するために割り当てられるデータ長がａ、ｂ、ｃ（整数、単位はビット）のとき、前記画像データの形式をＲａＧｂＢｃ形式と表現する。また、データ長を所定の長さにするために付加する意味のないｎビット長のデータ（以下ブランクビット）をＸｎと表現する。また、１画素に相当するデータをピクセルデータと呼ぶ。

本発明の画像合成装置は、各画像データを、各色を８ビット長のデータで表現するＸ８Ｒ８Ｇ８Ｂ８形式に変換し、ブランクビットの先頭の１ビットを変換前の画像データがＲＧＢ形式及びＹＵＶ形式の何れであったかを示すフラグＰに置き換えてＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式に統一する。
次に、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の画像データを所定の位置に配置して、合成画像データを生成する。

なお、各ピクセルデータを３２ビット長になるように調整しているが、これは、既存のメモリの物理的構造に起因しており、１ピクセルデータのデータ長が、１６ビット又は１６ビットの偶数倍であれば、アドレス管理が容易になるためである。従って、必ずしも３２ビット長である必要はない。
１．２ 画像合成装置１００の構成
画像合成装置１００は、複数の画像データを合成して合成画像データを生成する機能、及び、合成画像の一部又は全部を加工（拡大、縮小、回転、反転など）した加工画像を表示するための加工画像データを生成する装置である。

図１は、画像合成装置１００の機能的構成を示すブロック図であり、図中の矢印は、画像データの合成処理及び合成画像データの加工処理におけるデータの流れを示している。
画像合成装置１００は、図１に示すように、メモリ１０１、表示部１０２、入力部１０３、主制御部１０４、画像処理部１０５から構成され、画像処理部１０５は、合成制御部１４１、形式変換部１４２、合成エンジン１４３、合成バッファ１４４、変形用メモリ１４６、変形エンジン１４７、補整用メモリ１４８及び補整エンジン１４９を含む。

画像合成装置１００は、具体的には、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像合成装置１００は、その機能の一部を実現する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成について詳細に説明する。
（１）メモリ１０１
メモリ１０１は、ハードディスクユニットを含んで構成され、その内部は、一般領域１１１と画像記憶領域１２１とから構成される。
一般領域１１１は、一例として、図１に示すように、合成指示テーブル１１２、拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６、補整用データＡ１１７及び補整用データＢ１１８を記憶している。これらの他にも、主制御部１０４により用いられる各種のプログラム、画像データ（スタート画面、メニュー表示など）、関数、演算パラメータなどが記憶されている。

画像記憶領域１２１は、利用者の操作により保存された画像データを記憶している。一例として、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６、合成画像データ１２７及び加工画像データ１２８を記憶している。
なお、ここでは、画像合成、合成画像データの加工が終了した時点おいてメモリ１０１の記憶している情報の、一例を示している。

（１−１）合成指示テーブル１１２
合成指示テーブル１１２は、合成を実行するために必要な情報を示すテーブルである。
図２は、合成指示テーブル１１２の詳細を示している。合成指示テーブル１１２は、図２に示すように、複数の合成情報１３１、１３２、１３３及び１３４から構成される。各合成情報は、それぞれ、後述するペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４及び１２６と対応している。また、これらの画像データを基に生成され、表示される画像と対応している。

各合成情報は入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率を含んで構成される。
入力画像データは、合成の対象となる画像データを示す情報であって、図２では、画像データの名称を記載しているが、これに限らず、画像データの識別子、記憶されている先頭アドレスなどでもよい。

データ形式は、対応する画像データのデータ形式を示している。「Ｘ８Ｒ８Ｇ８Ｂ８」は、上述したように、対応する画像データがＲＧＢ形式であって、１画素に相当するピクセルデータをブランクビット８ビットと、赤、緑及び青の強度を８ビット長のデータで表現することを示している。
「Ｒ５Ｇ６Ｂ５」は、対応する画像データが、ＲＧＢ形式であって、１ピクセルに相当するデータを、赤を５ビット長、緑を６ビット長、青を５ビット長で表現することを示している。

「ＹＵＶ４２２」及び「ＹＵＶ４２０」は、既に述べたとおり、輝度及び色差によりピクセルデータを表現するＹＵＶ方式であって、「ＹＵＶ４２２」と「ＹＵＶ４２０」とでは色差データの間引き方が異なる。
重ね合わせ順は、対応する画像が画面上に表示される順序を示す情報であり、数値の大きいものほど上（手前）に表示され、数値の小さいものほど下（後ろ）に表示される。本実施の形態では、合成対象となる画像は、画面上で重複しないので、全ての重ね合わせ順が「１」になっている。

出力座標は、対応する画像が表示される座標の開始点を示している。
透過率は、対応する画像を表示したとき、下の画像をどの程度透過させるかを０〜１の数値で示している。
一例として、合成情報１３２は、文字画像データ１２３と対応しており、合成の対象となっている文字画像データ１２３のデータ形式が「Ｒ５Ｇ６Ｂ６」であり、表示されたときの重ね合わせ順が最前であり、表示位置の開始座標が（５０，１５０）であることを示している。また、透過率「０」は、文字画像データ１２３を基に表示された文字画像が、後ろの画像を透過させないことを示している。

ここで記載した合成指示テーブル１１２の構成は一例であって、各合成情報はこれらのデータの他にも、各入力画像データのデータサイズや、画像サイズ（例えば、横５０×縦１５０画素）などを含んでいても良い。
（１−２）加工用データ
以下、必要に応じて、拡大、縮小、回転、反転といった加工に用いられるデータを総称して加工用データと呼ぶ。

一般領域１１１に記憶されている加工用データには、拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６・・・がある。
拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６は、それぞれ、Ｒ８Ｇ８Ｂ８形式の画像データを拡大、縮小、反転、回転するために必要なパラメータ群、関数、プログラムを含んで構成され、特に、グラフィック画像、テキスト画像など、コンピュータにより生成された画像データの加工に適している。

また、図示していないが、メモリ１０１の一般領域１１１は、これらと同様に、自然画（風景、人物など）の画像データの加工に適した加工用データ（拡大用データＢ、縮小用データＢ、反転用データＢ、回転用データＢ・・・）も記憶している。
（１−３）補整用データＡ１１７及び補整用データＢ１１８
補整用データＡ１１７は、ＲＧＢ形式の画像データに画質補整を施すために必要な関数、パラメータ、プログラムを含んでいる。ＲＧＢ形式の画像は、描画ソフトなどを用いて、コンピュータにより生成された可能性が高いため、補整用データＡ１１７は、例えば、中間色を排除して輪郭のぼやけをなくしたり、コントラストを強調したりするアルゴリズムに従った関数及びパラメータを含んでいる。

補整用データＢ１１８は、ＲＧＢ形式の自然画（風景写真、人物写真など）の画像データに画質補整を施すために必要な関数、パラメータ、プログラムを含んでいる。具体的には、例えば、輪郭線を滑らかな曲線に補整し、色味の変化（諧調変化）を滑らかにするアルゴリズムに従った、関数及びパラメータを含む。
また、ここでは、単に、補整用データとしか記載されていないが、より詳細に、拡大処理に伴う画質補整処理を行うための補整用データ、縮小処理に伴う画質補整を行うための補整用データ、回転処理に伴う画質補整を行うための補整用データなどを記憶していてもよい。

（１−４）画像データ
画像記憶領域１２１は、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６、合成画像データ１２７及び加工画像データ１２８を記憶している。
ペイント画像データ１２２は、描画ソフトなどを用いて作成された画像データであって、データ形式は、Ｘ８Ｒ８Ｇ８Ｂ８である。

文字画像データ１２３は、文書作成ソフト又は描画ソフトのテキスト描画機能を用いて作成された画像データであって、データ形式は、Ｒ５Ｙ６Ｇ５である。
写真画像データ１２４及び１２６は、デジタルカメラを用いて撮影された自然画を数値化して生成された画像データであって、データ形式はそれぞれ、ＹＵＶ４２２及びＹＵＶ４２０である。

合成画像データ１２７は、合成指示テーブル１１２を基に、上記の４つの画像データを合成して生成された画像データであって、データ形式はＰ１Ｘ７Ｒ８Ｇ８Ｂ８である。
図３は、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、１２６及び合成画像データ１２７を基に表示されるペイント画像１２２ｇ、文字画像１２３ｇ、写真画像１２４ｇ、１２６ｇ及び合成画像１２７ｇを示している。

加工画像データ１２８は、合成画像データの一部に拡大処理を施して生成された画像データである。
図４は、合成画像データ１２７を基に生成される合成画像１２７ｇと加工画像データ１２８を基に生成される加工画像１２８ｇを示している。図４の合成画像１２７ｇ上には、ポインタ１６１が表示されており、ポインタ１６１の指す点を中心に１００×１００画素の領域を拡大した画像が、加工画像１２８ｇである。

（２）入力部１０３
入力部１０３は、キーボード、マウスなどと接続されており、利用者による指示及びデータの入力を受け付け、受け付けた指示及びデータを主制御部１０４へ出力する。
また、外部機器や、可搬型記録媒体を接続するインタフェースを備え、主制御部１０４の制御の下、これらの機器からデータを読み出し、読み出したデータを主制御部１０４へ出力する。

（３）合成制御部１４１
図示していないが、合成制御部１４１は、画像合成の過程において、各機能部へ制御信号を出力し動作を制御する機能を有する。
合成制御部１４１は、主制御部１０４から画像合成の指示を受ける。画像合成の指示を受けると合成バッファ１４４を初期化する。具体的には、例えば、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の背景データ（ブルーバック、利用者の指定した背景画像データなど）を書き込む。ここでは、背景画像データを構成する各ピクセルデータに含まれる形式フラグＰ＝０であるとする。

次に、合成制御部１４１は、メモリ１０１の一般領域１１１の所定アドレスに記憶されている合成指示テーブル１１２を検索し、重ね合わせ順の値が最小の合成情報を読み出す。ここでは、合成指示テーブル１１２に含まれる全ての重ね合わせ順が同じなので、先頭の合成情報１３１を読み出す。
次に、合成制御部１４１は、読み出した合成情報１３１に含まれるデータ形式を形式変換部１４２（後述）へ出力する。続いて、合成情報１３１の入力画像データをメモリ１０１の画像記憶領域１２１から読み出し、形式変換部１４２へ出力し、形式変換を指示する。

次に、合成制御部１４１は、読み出した合成情報１３１に含まれる透過率と出力座標と、読み出した合成情報１３１と対応するペイント画像１２２ｇの画像サイズを合成エンジン１４３（後述）へ出力する。画像サイズは、合成制御部１４１が算出してもよいし、合成指示テーブル１１２の各合成情報に予め含まれていても良い。
続いて、合成制御部１４１は、合成エンジン１４３の動作を監視し、合成エンジン１４３が合成途中画像データを合成バッファ１４４に書き戻すと、合成指示テーブル１１２から、次の合成情報を読み出す。

合成制御部１４１は、合成指示テーブル１１２を構成する全ての合成情報について、同様の処理を繰り返す。
全ての合成情報について、同様の処理が終了すると、合成制御部１４１は、合成バッファ１４４の保持する合成途中画像データを、合成画像データとしてメモリ１０１の画像記憶領域１２１へ書き込む。

また、主制御部１０４へ画像合成処理が終了したことを通知する。
（４）形式変換部１４２
形式変換部１４２は、合成制御部１４１からデータ形式を受け取り、続いて、入力画像データを受け取る。受け取ったデータ形式がＲＧＢ形式であれば、１ビット長の形式フラグＰ＝０を生成し、ＹＵＶ形式であれば、形式フラグＰ＝１を生成し、生成した形式フラグを一時的に記憶する。

次に、形式変換部１４２は、受け取ったデータ形式がＸ８Ｒ８Ｇ８Ｂ８であれば、受け取った入力画像データの各ピクセルデータの先頭の１ビットを記憶している形式フラグＰに書き換え、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、生成した変換済画像データを合成エンジンへ出力する。
受け取ったデータ形式がＲＧＢ形式ではあるが、Ｘ８Ｒ８Ｇ８Ｂ８形式でない場合、各ピクセルデータについて、ブランクビット、及び、各色のビット長を８ビットに調整し、ブランクビットの先頭を記憶している形式フラグＰに書き換えて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、合成エンジン１４３へ出力する。

受け取ったデータ形式がＹＵＶ形式の場合、以下の式により各ピクセルデータをＲ８Ｇ８Ｂ８形式に変換する。
Ｒ＝Ｙ＋１．４０２００×Ｖ
Ｇ＝Ｙ−０．３４４１４×Ｕ−０．７１４１４×Ｖ
Ｂ＝Ｙ＋１．７７２００×Ｕ
なお、上記の変換式は、ＩＴＵ−Ｒ ＢＴ．６０１に準拠した変換式の一例である。ＹＵＶ形式については、例えばＩＴＵ−Ｒ ＢＴ．６０１、ＩＴＵ−Ｒ ＢＴ．７０９などに詳細に規定されており、入力される画像データと変換後の画像データの種類（アナログ、デジタル、ビットスケール）、準拠する規格の種類、パラメータの選択の方法に応じて他の変換式を用いても良い。

次に、各ピクセルデータについて、先頭に形式フラグＰ、続く７ビットにブランクビットを付加して、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し、合成エンジン１４３へ出力する。
（５）合成エンジン１４３
合成エンジン１４３は、合成制御部１４１から、透過率と出力座標と画像サイズ（縦ａ×横ｂ画素）を受け取る。また、形式変換部１４２から変換済画像データを受け取る。

これらを受け取ると、合成エンジン１４３は、合成バッファ１４４からＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式の合成途中画像データを読み出す。読み出した合成途中画像データに、受け取った変換済画像データを合成して、合成途中画像データを更新する。具体的には、変換途中画像データを構成するピクセルデータ群のうち、画面上で、出力位置を基点（左上の画素）として、入力画像が配置される縦ａ×横ｂ画素の範囲（以下、合成対象範囲と呼ぶ）に属する各画素と対応するピクセルデータの各色成分（以下の式ではＤ（ｂ）と記載している）と、変換後入力画像データを構成するピクセルデータ群のうちの対応するピクセルデータの各色成分（以下の式ではＤ（ｆ）と記載している）とを、以下の式を用いて合成する。

Ｄ（ｃｏｍ）←Ｄ（ｆ）＋Ｄ（ｂ）×透過率
Ｐ（ｃｏｍ）←Ｐ（ｆ）
Ｄ（ｃｏｍ）：合成後の合成対象範囲内の各ピクセルデータの
各色成分の値
Ｄ（ｆ）：変換済画像データの各ピクセルデータの各色成分の値
Ｄ（ｂ）：合成バッファから読み出した合成途中画像データの
合成対象範囲内の各ピクセルデータの各色成分の値
Ｐ（ｃｏｍ）：合成後の合成対象範囲内の各ピクセルデータの第１ビット
Ｐ（ｆ）：変換済画像データの各ピクセルデータの第１ビット
なお、読み出した合成途中画像データのうち合成対象範囲外のピクセルデータは書き換えない。

続いて、合成エンジン１４３は、更新後の合成途中画像データを合成バッファ１４４へ書き戻す。
（６）合成バッファ１４４
合成バッファ１４４は、ＲＡＭから構成され、起動時又は初期化直後はＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式の背景データ（ブルーバック、利用者の指定した背景画像データなど）を合成途中画像データとして書き込まれる。このとき、各ピクセルデータの形式フラグＰ＝０である。

合成バッファ１４４は、合成エンジン１４３による画像合成処理途中の合成途中画像データを一時的に記憶する。
合成エンジン１４３による合成処理が終了した時点における合成中画像データは、合成画像データ１２７と同一である。
合成画像データ１２７を構成する各ピクセルデータの第１ビットは、形式フラグＰである。図５は、合成画像データ１２７から生成される合成画像１２７ｇにおいて、各画素と各ピクセルデータに含まれる形式フラグＰの値を視覚的に表現したものである。合成画像１２７ｇ上のペイント画像１２２ａの表示されている領域１５１ａ及び文字画像１２３ａの表示されている領域１５２ａに含まれる画素に対応する形式フラグＰ＝０である。

写真画像１２４ａの表示されている領域１５３ａ及び写真画像１２６ａの表示されている領域１５４ａに含まれる画素に対応する形式フラグＰ＝０である。
また、図示していないが、その他の領域１５６に含まれる画素に対応する形式フラグＰ＝０である。
（７）変形用メモリ１４６及び変形エンジン１４７
変形エンジン１４７は、主制御部１０４の制御の下、変形用メモリ１４６に記憶されている関数、パラメータなどを用いて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の合成画像データ１２７の一部又は全部に加工を施す。具体的には、主制御部１０４の指示の下、合成画像１２７ｇのうち加工対象となる範囲（加工対象範囲と呼ぶ）の先頭ラインの左端の画素から最後のラインの右端の画素の順に、各画素に対応するピクセルデータを１ピクセルデータずつ読み出し、変形用メモリ１４６に記憶されているデータを用いて、読み出したピクセルデータに加工を施す。また、必要に応じて、加工対象となっている画素の周辺の画素と対応するピクセルデータを読み出して、加工に用いる。加工が終了すると、加工後のピクセルデータを補整エンジンへ出力する。

ここで、加工とは、例えば、拡大、縮小、反転、回転などの処理である。
また、変形エンジン１４７は、主制御部１０４から、一時停止を指示される場合がある。この場合、加工対象範囲に対応するピクセルデータを読み出し、そのまま補整エンジン１４９へ出力する。
変形用メモリ１４６は、一例としてＲＡＭから構成され変形エンジン１４７に必要な関数、パラメータなどを一時的に記憶する。

（８）補整用メモリ１４８及び補整エンジン１４９
補整エンジン１４９は、変形エンジン１４７により生成された加工後の画像データを受け取り、受け取った画像データに画質補整処理を施して、加工画像データを生成し、生成した加工画像データをメモリ１０１の画像記憶領域１２１に書き込む。
具体的には、変形エンジン１４７から、加工後のピクセルデータを順次受け取り、受け取った加工後のピクセルデータ群を一時的に記憶する。次に、補整用メモリ１４８に記憶されている画質補整用の関数及びパラメータを用いて、記憶しているピクセルデータ群に画質補整処理を施して加工画像データを生成する。

ここで、画質補整処理とは、主に、輪郭強調、雑音除去、画像の歪補整である。また、補整の必要がない場合、補整エンジン１４９は、主制御部１０４から動作停止の指示を受ける。動作停止の指示を受けた場合、補整エンジン１４９は、変形エンジン１４７から受け取った加工後の画像データを、そのまま、加工画像データとして、メモリ１０１の画像記憶領域１２１へ書き込む。

補整用メモリ１４８は、一例としてＲＡＭから構成され、画質補整に用いられる関数、パラメータなどを一時的に記憶する。
（９）主制御部１０４
主制御部１０４は、具体的には、図示されていないが、画像合成装置１００を構成する各構成要素へ制御信号を出力し、これらの動作を制御する。

主制御部１０４は、入力部１０３を介して、利用者の操作を受け付け、外部機器又は記録媒体に記録されている画像データを読み出し、メモリ１０１の画像記憶領域１２１に書き込む。
また、主制御部１０４は、入力部１０３を介して、合成画像の生成要求を受け付ける。さらに、利用者による、合成画像の加工要求を受け付ける。

（９−１）画像合成処理の制御
利用者の操作により、合成画像の作成を要求されると、画像記憶領域１２１に記憶されている画像データを示す一覧表、若しくはサムネイル画面を生成し、合成対象となる画像の選択、表示位置、透過率の入力を受け付ける。
これらの入力を受け付けると、主制御部１０４は、入力された情報を基に、図２に示すような合成指示テーブル１１２生成し、生成した合成指示テーブル１１２を、メモリ１０１の一般領域１１１の所定アドレスに書き込む。データ形式に関しては、利用者が入力しても良いし、利用者が指定した画像データをサーチして、主制御部１０４が生成するとしてもよい。例えば、各画像データの先頭の１６又は３２ビットにデータ形式を示す情報が含まれており、これを抽出して各合成情報を生成する方法などが考えられる。

次に、合成制御部１４１へ画像合成の指示を出力する。
次に、合成制御部１４１から画像合成終了の通知を受ける。この通知を受けると、主制御部１０４は、合成画像データ１２７を読み出し、読み出した合成画像データ１２７を基に合成画像１２７ｇを生成して表示部１０２に表示させる。
（９−２）合成画像の加工処理の制御
合成画像データ１２７を基に生成される合成画像１２７ｇが表示部１０２に表示された状態で、利用者は、マウスなどを操作し、ポインタ１６１の位置を指定する。利用者による位置の指定を受け付けると、主制御部１０４は、「拡大」、「縮小」、「反転」、「回転」など、合成画像に施すことができる加工処理を示す選択肢を含む加工メニュー画面を表示する。若しくは、ポインタ１６１の位置に、前述の選択肢をスクロール表示しても良い。

続いて、主制御部１０４は、表示されている選択肢のうちのいずれかを選択する利用者の操作を受け付ける。選択の操作を受け付けると、主制御部１０４は、選択された選択肢の示す加工処理に応じて、合成画像１２７ｇのうち、加工対象となる範囲を決定する。例えば、選択された選択肢が拡大処理であれば、ポインタ１６１の位置を中心に１００×１００画素の範囲を拡大処理の対象の範囲に決定する。選択された選択肢が、反転を示していれば、ポインタ１６１の位置を中心に２００×２００画素の範囲を反転処理の対象の範囲に決定する。

続いて、主制御部１０４は、決定した加工対象の範囲の先頭ラインの左端の画素から最後のラインの右端の画素の順に、各画素に対応するピクセルデータについて、以下の処理を、繰り返す。
先ず、主制御部１０４は、変形用メモリ１４６及び補整用メモリ４４８を初期化する。次に、ピクセルデータの先頭の１ビットを読み出す。読み出した１ビットのデータが「０」の場合、主制御部１０４は、一般領域１１１に記憶されている加工用データのうち、グラフィック画像の加工に適した加工用データを読み出し、読み出した加工用データを変形用メモリ１４６に書き込む。また、同様に、グラフィックフラグ画像の画質補整に適した補整用データＡ１１７を読み出し、補整用メモリ１４８へ書き込む。

次に、ピクセルデータの記憶されているアドレスを変形エンジンに通知し、加工処理を指示する。
読み出した１ビットのデータが「１」の場合、主制御部１０４は、一般領域１１１に記憶されている加工用データのうち、自然画の加工に適した加工用データを読み出し、読み出した加工用データを変形用メモリ１４６に書き込む。また、同様に、自然画の画質補整に適した補整用データＢ１１８を読み出し、読み出した補整用データＢ１１８を補整用メモリ１４８へ書き込む。

次に、ピクセルデータの記憶されているアドレスを変形エンジンに通知し、加工処理を指示する。
以上の処理を各ピクセルデータについて繰り返す。
なお、選択された加工処理によって、画質補整が不要な場合は、補整用メモリを初期化し、補整エンジンに、動作の停止を指示する。

（１０）表示部１０２
表示部１０２は、モニタ、画像バッファを含んで構成され、主制御部１０４の制御の下、各種の画面をモニタに表示する。
１．３ 動作
以下に、本発明の画像合成装置１００の動作について、図面を用いて説明する。

（１）画像合成処理
図６〜図８は、画像合成処理に係る画像合成装置１００の動作を示したフローチャートである。以下に、図６〜図８を用いて、画像合成処理における、画像合成装置１００の動作について説明する。
利用者の操作により画像合成を要求されると、主制御部１０４は、所定の入力画面を表示部１０２に表示させ、利用者による、入力画像データの選択、表示位置などの入力を受け付ける（ステップＳ１０１）。次に、受け付けた情報を基に合成指示テーブルを生成し、生成した合成指示テーブルをメモリ１０１の一般領域１１１に書き込み、合成制御部１４１へ画像合成を指示する（ステップＳ１０２）。

画像処理部１０５内の合成制御部１４１は、主制御部１０４から画像合成を指示される。画像合成を指示されると、メモリ１０１の一般領域１１１に記憶されている合成指示テーブル１１２から、合成情報を読み出す（ステップＳ１０３）。
ここで、全ての合成情報を読み出し済みであれば（ステップＳ１０６のＹＥＳ）、合成制御部１４１は、合成バッファ１４４から合成途中画像データを読み出し、読み出した合成途中画像データを合成画像データとしてメモリ１０１の画像記憶領域１２１に書き込む（ステップＳ１０７）。

全ての合成情報を読み出し済みでなければ（ステップＳ１０６のＮＯ）、合成制御部１４１は、読み出した合成情報に含まれるデータ形式を形式変換部１４２へ出力する（ステップＳ１１１）。続いて、合成制御部１４１は、読み出した合成情報に対応する画像データを読み出し、読み出した画像データを形式変換部１４２に出力する（ステップＳ１１２）。

合成制御部１４１から受け取ったデータ形式が、ＲＧＢ形式であれば、形式変換部１４２は、１ビット長の形式フラグＰ＝０を生成して一時的に記憶する（ステップＳ１１４）。
次に、形式変換部１４２は、受け取った画像データを構成する各ピクセルデータについて、データ長をＸ８Ｒ８Ｇ８Ｂ８に調整する（ステップＳ１１７）。次に、各ピクセルデータの第１ビットを記憶している形式フラグＰ（＝０）に置き換えて、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成し（ステップＳ１１８）、生成した変換済画像データを１ピクセルデータずつ合成エンジン１４３へ出力する（ステップＳ１１９）。

合成制御部１４１は、読み出した合成情報に含まれる出力座標と透過率と、読み出した合成情報と対応する画像の画像サイズ（縦ａ×横ｂ画素）を合成エンジン１４３へ出力する（ステップＳ１２０）。
合成エンジン１４３は、合成制御部１４１から透過率と出力座標と画像サイズとを受け取る。また、形式変換部１４２から変換済画像データを受け取る。これらを受け取ると、合成エンジン１４３は、合成バッファ１４４から合成途中画像データを読み出す（ステップＳ１２１）。読み出した合成途中画像データのうち、出力座標を起点とし画像サイズの示す範囲（合成対象範囲）に含まれる各画素と対応するピクセルデータと、変換済画像データ内の対応するピクセルデータとを合成して合成途中画像データを更新する（ステップＳ１２２）。

続いて、合成エンジン１４３は、更新後の合成途中画像データを合成バッファに書き戻す（ステップＳ１２３）。
合成制御部１４１から受け取ったデータ形式がＹＵＶ形式の場合、形式変換部１４２は、合成フラグＰ＝１を生成し、一時的に記憶する（ステップＳ１１６）。
また、形式変換部１４２は、合成制御部１４１から入力画像データを受け取る。形式変換部１４２は、受け取ったＹＵＶ形式の画像データを、Ｒ８Ｇ８Ｂ８形式に変換する（ステップＳ１２６）。

続いて、各ピクセルデータの先頭に、記憶している形式フラグＰ＝１と７ビット長のブランクビットを付加し、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の変換済画像データを生成する（ステップＳ１２７）。
次に、形式変換部１４２は、ステップＳ１１９へ処理を移す。
（２）合成画像の加工処理
図９〜図１０は、画像合成装置１００による合成画像データの加工処理における動作を示したフローチャートである。以下に、図９〜図１０を用いて合成画像データの加工処理における動作について説明する。なお、ここでは、一例として、合成画像の一部を拡大する加工処理について説明する。

主制御部１０４は、利用者の操作に従って、合成画像１２７ｇを表示部１０２に表示する（ステップＳ１３１）。
利用者は、マウス、カーソルなどを操作して合成画像１２７ｇ上のポインタ１６１を移動し、任意の位置を指定する。
主制御部１０４は、利用者の操作による位置の指定を受け付ける（ステップＳ１３２）。位置の指定を受け付けると、メニューを表示する（ステップＳ１３３）。メニューには、「拡大」、「縮小」・・・など、加工画像に施すことができる加工処理の名称が列挙されている。

続いて、主制御部１０４は、利用者による「拡大」の選択操作を受け付ける（ステップＳ１４４）。
「拡大」が選択されると、ステップＳ１４６〜１６２の間、合成画像１２７ｇ上の指定された位置を中心に１００×１００画素の範囲（以下、二次利用範囲と呼ぶ）の各ピクセルデータについて、ステップＳ１４７〜ステップＳ１６１の処理を繰り返すことで、合成画像１２７ｇ上の指定された位置を中心に１００×１００画素の範囲の画像を拡大した加工画像（拡大画像）を生成する。

主制御部１０４は、ピクセルデータの先頭ビット（Ｐ）を読み出す（ステップＳ１４７）。
読み出した先頭ビットＰ＝１であれば（ステップＳ１４８のＹＥＳ）、主制御部１０４は、メモリ１０１の一般領域１１１に記憶されている拡大用データＢ（図示せず）を読み出し、読み出した拡大用データＢを変形用メモリ１４６に出力する（ステップＳ１５１）。拡大用データＢは、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の自然画の拡大に適したアルゴリズムに従った関数及びパラメータを含んでいる。

続いて主制御部１０４は、補整用データＢ１１８を読み出し、読み出した補整用データＢ１１８を補整用メモリ１４８へ出力する（ステップＳ１５２）。前述の通り補整用データＢ１１８は、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式の自然画の画質補整に適したアルゴリズムに従う関数及びパラメータを含んでいる。次に、主制御部１０４は、ステップＳ１５８へ処理を移す。

読み出した先頭ビットＰ＝０であれば（ステップＳ１４８のＮＯ）、主制御部は、メモリ１０１の一般領域１１１から拡大用データＡ１１３を読み出し、読み出した拡大用データＡ１１３を変形用メモリ１４６へ出力する（ステップＳ１５６）。拡大用データＡ１１３は、Ｐ１Ｘ７Ｒ８Ｇ８Ｂ８形式のグラフィック画像の拡大に適したアルゴリズムに従う関数及びパラメータを含む。

次に、主制御部１０４は、メモリ１０１から補整用データＡ１１７を読み出し、読み出した補整用データＡ１１７を補整用メモリ１４８へ出力する（ステップＳ１５７）。補整用データＡ１１７は、コンピュータにより生成されたＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式のグラフィック画像の画質補整に適したアルゴリズムに従う関数及びパラメータを含む。
次に、主制御部１０４は、現在加工の対象となっているピクセルデータの記憶されているメモリ１０１上のアドレスを指定して、変形エンジンに加工（ここでは拡大）を指示する（ステップＳ１５８）。

変形エンジン１４７は、主制御部１０４から加工の対象となっているピクセルデータのアドレスと加工の指示を受ける。加工の指示を受けると、指定されたアドレスに記憶されているピクセルデータを読み出し、変形用メモリ１４６の保持する関数及びパラメータを用いて、読み出したピクセルデータに拡大処理を施して補整エンジン１４９へ出力する（ステップＳ１５９）。ここで、拡大処理により、１ピクセルデータから複数ピクセルデータが出力されると考えられる。以下、１ピクセルデータに拡大処理を施して生成された複数のピクセルデータをピクセルデータ（群）と記載する。

補整エンジン１４９は、変形エンジン１４７により拡大処理を施されたピクセルデータ（群）を受取り、補整用メモリ１４８に記憶されている関数及びパラメータを用いて、受取ったピクセルデータ（群）に画質補整処理を施す。
二次利用範囲の全てのピクセルデータについての繰返しが終了すると（ステップＳ１６２）、補整エンジン１４９は、拡大及び補整処理後のピクセルデータ群からなる加工画像データをメモリ１０１の画像記憶領域１２１に書き込む。

また、主制御部１０４は、メモリ１０１の画像記憶領域１２１から加工画像データ１２８を読み出し、読み出した加工画像データ１２８を基に加工画像１２８ｇを生成して、表示部１０２に表示する（ステップＳ１６３）。
１．４ まとめ
以上、説明してきたように、本発明の画像合成装置１００では、画像合成処理において、合成画像データを構成する各ピクセルデータに、合成前の画像データがＲＧＢ形式であったかＹＵＶ形式であったかを示す形式フラグを埋め込む。

ＲＧＢ形式のデータは、コンピュータを用いて生成されたテキストデータや、グラフィック画像である場合が多く、ＹＵＶ形式の画像データは、デジタルカメラなどにより撮影された自然画を基に生成されている場合が多い。
そのため、合成画像の中でもＲＧＢ形式の画像データを基に生成された部分と、ＹＵＶ形式の画像データを基に生成された部分とでは、最適な加工方法及び画質補整方法が異なる。

本発明のように、合成画像データの各ピクセルデータに形式フラグを埋め込んでおくことで、合成画像データに、拡大、画質補整等の加工を施す場合に、各部分に最適な方法で加工及び補整を施すことができる。
２． 実施の形態２
以下に、本発明の実施の形態２に係る画像合成装置２００について、図面を用いて説明する。
２．１ 概要
本実施の形態の画像合成装置２００は、利用者の指示により、合成対象の画像データに拡大、縮小などの加工を施した後、各画像の形式をＲ８Ｇ８Ｂ８に変換する。また、変換後の画像データとは個別に、変換前の画像データの形式を示す１ビット長の形式フラグを生成する。

画像合成装置２００は、変換後の画像データを、実施の形態１において示した式を用いて合成し、Ｒ８Ｇ８Ｂ８形式の合成画像データを生成する。
画像データの合成と並行して、合成画像の各ピクセルと対応する形式フラグからなる形式フラグ群を生成する。例えば、合成画像がｎ×ｍ画素（ｎ、ｍは整数）である場合、形式フラグ群は、各画素の形式フラグを左上から右下の順に並べたｎ×ｍビット長のデータである。

実施の形態１とは異なり、ブランクビットを含まないので、合成後の総データ量を削減することができる。
２．２ 構成
図１１は、画像合成装置２００の機能的構成を示したブロック図である。図中の矢印は、画像合成処理（後述）に関するデータフローを示しており、太線矢印は、合成画像の加工処理（後述）に関するデータフローを示す。

図１１に示すように、画像合成装置２００は、メモリ２０１、表示部２０２、入力部２０３、主制御部２０４及び画像処理部２０５から構成され、画像処理部２０５は、合成制御部２４１、形式変換部２４２、合成エンジン２４３、合成バッファ２４４、変形用メモリ２４６、変形エンジン２４７、補整用メモリ２４８、補整エンジン２４９を含む。
画像合成装置２００は、具体的にはマイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、画像合成装置２００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成要素について説明する。なお、入力部２０３、表示部２０２、変形用メモリ２４６及び補整用メモリ２４８の構成、動作は、実施の形態１の 入力部１０３、表示部１０２、変形用メモリ１４６及び補整用メモリ１４８と同様であるので、説明を省略する。
また、変形エンジン２４７及び補整エンジン２４９は、主制御部２０４のみならず合成制御部２４１からの指示により動作すること、一時停止を指示されると、受け取ったピクセルデータをそのまま、次の機能部へ出力すること、補整エンジン２４９のデータの出力先が形式変換部２４２であること以外は実施の形態１の変形エンジン１４７及び補整エンジン１４９と同様に、対応するメモリの保持する関数及びパラメータを用いて、入力されたデータを加工する機能部である。よって、ここでは、詳細な説明を省略する。

（１）メモリ２０１
メモリ２０１は、ハードディスクユニットを含んで構成され、その内部は、一般領域２１１と、利用者の操作に従って、画像データを記憶するための画像記憶領域２２１とに分けられる。
一般領域２１１には、一例として、合成指示テーブル２１２、ＲＧＢ拡大用データ２１３、ＲＧＢ縮小用データ２１４、ＹＵＶ拡大用データ２１５、ＹＵＶ二次拡大用データ２１６、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８及び自然画向け補整用データ２１９が記憶されており、画像記憶領域２２１には、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６、合成画像データ２２７、形式フラグ群２２８、加工画像データ２２９などが記憶されている。

これは、利用者の操作に従って、合成画像データ２２７が生成され、合成画像データにさらに加工を加えた加工画像データ２２９が生成された時点のメモリ２０１内の状態を図示している。
（１−１）合成指示テーブル２１２
図１２は、合成指示テーブル２１２の詳細を示す。図１２に示すように、合成指示テーブル２１２は、複数の（ここでは４つの）合成情報２３１、２３２、２３３及び２３４から構成される。各合成情報は、それぞれ、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４及び１２６と対応している。

各合成情報は、入力画像データ、データ形式、重ね合わせ順、出力座標、変形情報、画質補整情報及び透過率から構成される。入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率については、実施の形態１の合成指示テーブル１１２に含まれる入力画像データ、データ形式、重ね合わせ順、出力座標及び透過率と同様であるので説明を省略する。

変形情報は、対応する画像データを合成する前に加工処理を行うか否か、行う場合はどのような加工処理を行うかを示す情報である。合成前に加工処理を行わない場合、合成情報は、変形情報は含まないとしてもよい。
画質補整情報は、対応する画像データを合成する前に、画質補整処理を行うか否かを示す情報であって、画質補整情報「要」は、画質補整処理を行う必要があることを示し、画質補整情報「不要」は、画質補整処理を行う必要が無いことを示している。

一例として、合成情報２３１は、ペイント画像データ１２２と対応しており、入力画像データ「ペイント画像データ」、データ形式「Ｘ８Ｒ８Ｇ８」、重ね合わせ順「３」、出力座標「（１００，１００）」、変形情報「１．４倍」及び画質補整「要」から構成される。これは、Ｘ８Ｒ８Ｇ８形式のペイント画像データ１２２の合成処理に先立って、ペイント画像データ１２２に倍率１．４倍の拡大処理と、画質補整を施すことを示している。また、拡大処理及び画質補整後の画像データを基に生成される画像は、合成処理後の合成画像内において、座標（１００，１００）を起点とする所定範囲に表示され、複数の画像を重ねて表示する場合には、後ろから３番目の面に表示されることを示している。

また、別の一例として、合成情報２３３は、写真画像データ１２４と対応しており、入力画像データ「写真画像データ」、データ形式「ＹＵＶ４２２」、重ね合わせ順「３」、出力座標「（４００，１５０）」、変形情報「左右反転」及び画質補整「不要」を含んでいる。これは、ＹＵＶ４２２形式の写真画像データ１２４を、合成処理の前に、左右反転加工を施す必要があり、画質補整処理を施す必要が無いことを示している。また、左右反転加工後の画像データから生成される画像は、合成画像内において、座標（４００，１５０）を起点とする範囲に表示されること、複数の画像を重ねて表示する場合、１番後ろの面に表示され、その一部が他の画像の後ろに隠れるように表示されることを示している。

（１−２）加工用データ
実施の形態１と同様に、変形用メモリ２４６に一時的に転送され、変形エンジン２４７による加工処理に用いられるデータを総称して加工用データと呼ぶ。
ＲＧＢ拡大用データ２１３は、ＲＧＢ形式の画像データを拡大するために必要な関数及びパラメータを含んで構成される。

ＲＧＢ縮小用データは、ＲＧＢ形式の画像データに縮小処理を施すために必要な関数及びパラメータを含んで構成される。
ＹＵＶ拡大用データ２１５は、ＹＵＶ形式の画像データに拡大処理を施すために必要な関数及びパラメータを含んで構成される。
ＹＵＶ二次拡大用データ２１６は、各種の画像データを合成して生成された合成画像データ２２７（後述）のうち、合成前のデータ形式がＹＵＶ形式であった部分に拡大処理を施すために適した関数及びパラメータを含んで構成される。

また、図示していないが、加工用データには、これらの他にも、ＲＧＢ形式の画像データの反転処理に用いられるＲＧＢ反転用データ、回転処理に用いられるＲＧＢ回転用データ、同様に、ＹＵＶ形式の画像データの反転処理、回転処理に用いられるＹＵＶ反転用データ、ＹＵＶ回転用データも含まれる。また、その他の加工に用いられる加工用データも記憶されていても良い。

さらに、図示していないが、ＹＵＶ二次拡大用データ２１６のみならず、ＹＵＶ二次縮小用データ、ＹＵＶ二次反転用データなど、合成前の画像データのデータ形式に応じた加工用データ（二次加工用データと呼ぶ）を多数記憶しており、合成画像データに加工を施す際に、これらを適宜使い分ける。
（１−３）補整用データ
ＲＧＢ補整用データ２１７は、ＲＧＢ形式の画像データの画質補整に適した関数及びパラメータを含んで構成される。

ＹＵＶ補整用データ２１８は、ＹＵＶ形式の画像データの画質補整に適した関数及びパラメータを含んで構成される。
自然画向け補整用データ２１９は、ＲＧＢ形式の画像データであって、自然画を構成する画像データの画質補整に適した関数及びパラメータを含む。より正確には、合成画像データにおいて、合成前のデータ形式がＹＵＶ形式の場合、表示される画像は自然画である場合が多いと予測される。従って、本実施の形態において、Ｒ８Ｇ８Ｂ８形式の合成画像データ２２７のうち、合成前のデータ形式がＹＵＶ形式である部分の画質補整には、自然画向け補整用データ２１９が用いられる。

ここでは、上記の３つの補整用データしか記載していないが、これらの他にも、回転処理向けの画質補整データ、拡大処理向けの画質補整データなど、加工処理毎に最適な画質補整を実現することができるように、多数の補整用データを記憶しているとしても良い。
（１−４）画像データ
ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６については、それぞれ実施の形態１と同一であるので説明を省略する。

合成画像データ２２７は、合成指示テーブル２１２に従って、ペイント画像データ１２２、文字画像データ１２３、写真画像データ１２４、写真画像データ１２６を合成して生成された画像データである。図１３は、合成画像データ２２７を基に表示される合成画像２２７ｇを示す。合成画像２２７ｇには、ペイント画像１２２ｇを１．４倍に拡大したペイント画像１２２Ｇと、文字画像１２３ｇを１．２倍に拡大した文字画像１２３Ｇと、写真画像１２４ｇを左右反転した写真画像１２４Ｇと、写真画像１２６ｇを０．８倍に縮小した写真画像１２６Ｇが含まれる。文字画像１２３Ｇと、写真画像１２４Ｇと、写真画像１２６Ｇとは、その一部が重複しているが、写真画像１２６Ｇが最前面、文字画像１２３Ｇが２番目、写真画像１２４Ｇが一番後ろの面に表示される。

形式フラグ群２２８は、合成画像２２７ｇの各画素に対応するピクセルデータが、合成前においてＲＧＢ形式であったかＹＵＶ形式であったかを示す１ビット長の形式フラグを、画像上の左上の画素から右下の画素の順に並べたものである。
なお、合成画像２２７ｇのうち、ペイント画像１２２Ｇ、文字画像１２３Ｇと、写真画像１２４Ｇ、写真画像１２６Ｇのいずれも描画されない領域の画素と対応する形式フラグは、ＲＧＢ形式を示す「０」である。

加工画像データ２２９は、Ｒ８Ｇ８Ｂ８形式の合成画像データ２２７の一部又は全部にさらに、拡大、縮小などの加工を加えて生成されたものである。
（２）合成制御部２４１
合成制御部２４１は、合成画像データの生成において、図示していないが、各機能部へ制御信号を出力し、その動作を制御する機能を有する。

合成制御部２４１は、主制御部２０４から画像合成の指示を受ける。画像合成の指示を受けると合成バッファ１４４を初期化する。初期化直後の合成途中画像データ及び形式フラグ群については、後述する。
次に、合成制御部２４１は、メモリ２０１の一般領域２１１の所定アドレスに記憶されている合成指示テーブル２１２から合成情報を読み出す。このとき、重ね合わせ順が小さいものから順に読み出す。

次に、合成制御部２４１は、読み出した合成情報に含まれる変形情報に適した加工用データをメモリ２０１の一般領域２１１から読み出し、変形用メモリ２４６へ書き込む。なお、拡大、縮小、回転の場合は、読み出した合成情報に含まれる変形情報として含まれる倍率、回転角度も合わせて変形用メモリ２４６に書き込む。
なお、変形情報「不要」の場合、合成制御部２４１は、変形エンジン２４７に一時停止を指示する。

同様に、合成制御部２４１は、読み出した合成情報に含まれる画質補整情報が、画質補整が必要であることを示す「要」であれば、読み出した合成情報に含まれるデータ形式を基に最適な補整用データをメモリから読み出し、読み出した補整用データを補整用メモリ２４８へ出力する。画質補整情報が「不要」の場合は、補整エンジン２４９に一時停止を指示する。

続いて、合成制御部２４１は、読み出した合成情報に含まれるデータ形式を形式変換部２４２へ出力する。また、読み出した合成情報に含まれる透過率と出力座標とを合成エンジン２４３へ出力する。読み出した合成情報と対応する画像サイズ（横ａ×縦ｂ画素）を検出し検出した画像サイズを合成エンジン２４３へ出力する。
なお、読み出し合成情報に含まれる変形情報が「拡大」又は「縮小」の場合、合成制御部２４１は、縦横の画素数それぞれに、倍率を掛けてａ←ａ×倍率、ｂ←ｂ×倍率を算出し、横ａ×縦ｂ画素を画像サイズとして出力する。

また、読み出した合成情報に含まれる変形情報が回転（回転角ｒ）の場合、横ａ×縦ｂ画素及び回転角ｒを画像サイズとして出力する。
合成制御部２４１は、重ね合わせ順が小さいものから順に、全ての合成情報について、以上の処理を行う。図１２に示す、合成指示テーブル２１２の場合、合成制御部２４１は、合成情報２３３、２３２、２３１、２３４の順に各合成情報を読み出し、上記の処理を行う。

全ての合成情報について読み出し済みであれば、合成制御部２４１は、合成バッファ２４４に記憶されている合成途中画像データを読み出し、合成画像データ２２７として、メモリ２０１の画像記憶領域２２１に書き込む。また。合成バッファ２４４から形式フラグ群を読み出し、読み出した形式フラグ群をメモリ２０１の画像記憶領域２２１に、合成画像データ２２７と対応付けて書き込む。

書き込みが終了すると、合成制御部２４１は、主制御部２０４へ画像合成処理が終了したことを通知する。
（３）形式変換部２４２
形式変換部２４２は、合成制御部２４１から、形式変換の対象となる画像データのデータ形式を受け取る。受け取ったデータ形式がＲＧＢ形式であれば、１ビット長の形式フラグＰ＝０を生成し、受け取ったデータ形式がＹＵＶ形式であれば形式フラグＰ＝１を生成し、生成した形式フラグＰを一時的に記憶する。

続いて、補整エンジン２４９から、必要に応じて加工及び画質補整を施された画像データ（以下、補整済画像データと呼ぶ）を受け取る。ここで受け取る補整済画像データのデータ形式は、合成制御部２４１から受け取るデータ形式と同一である。
形式変換部２４２は、形式変換部２４２は、補整エンジン２４９から受け取った画像データをＲ８Ｇ８Ｂ８形式に変換して、合成用画像データを生成し、生成した合成用画像データと、記憶している形式フラグとを合成エンジン２４３へ出力する。

具体的には、合成制御部２４１から受け取ったデータ形式がＲ８Ｇ８Ｂ８形式であれば、形式変換部２４２は、補整エンジン２４９から受け取った画像データを、そのまま、合成用画像データとして、合成エンジン２４３へ出力する。これと合わせて、形式フラグＰ＝０を合成エンジン２４３へ出力する。
また、受け取ったデータ形式が、Ｘ８Ｒ８Ｇ８Ｂ８形式であれば、形式変換部２４２は、各ピクセルデータの先頭の８ビットを削除してＲ８Ｇ８Ｂ８形式の合成用画像データを生成する。

また、合成制御部２４１から受け取ったデータ形式がＹＵＶ４２０であれば、下記３つの式を用いてＲＧＢ形式に変換して、各色のデータ長を８ビット長に揃え、Ｒ８Ｇ８Ｂ８形式の合成用画像データを生成する。
Ｒ＝Ｙ＋１．４０２００×Ｖ
Ｇ＝Ｙ−０．３４４１４×Ｕ−０．７１４１４×Ｖ
Ｂ＝Ｙ＋１．７７２００×Ｕ
（４）合成バッファ２４４
合成バッファ２４４は、合成エンジン２４３による合成処理の途中の画像データ（合成途中画像データ）と、形式フラグ群とを記憶している。

合成途中画像データは、表示部２０２の備えるモニタの画素（ｎ×ｍ画素）それぞれと対応するピクセルデータを、画面上の左上から右下の順に並べて構成される。
形式フラグ群は、合成途中画像データを構成するピクセルデータと対応する形式フラグを列挙したｎ×ｍビット長のデータである。
起動時、又は、初期化直後は、合成バッファ２４４は、所定の背景画像データを合成途中画像データとして記憶いる。また、このとき、形式フラグ群を構成する形式フラグは全て「０」で初期化される。

（５）合成エンジン２４３
合成エンジン２４３は、合成制御部２４１から、透過率と出力座標と画像サイズとを受け取る。
また、合成エンジン２４３は、形式変換部２４２からＲ８Ｇ８Ｂ８形式の合成用画像データと形式フラグＰを受け取る。

これらを受け取ると、合成エンジン２４３は、合成バッファ２４４から合成途中画像データを読み出す。説明の便宜上、合成画像２２７ｇ上において、受け取った出力位置を起点とし、画像サイズにより定義される範囲を合成対象範囲と呼ぶ。
読み出した合成途中画像データのうち、合成対象範囲に対応する部分に受け取った合成用画像データを合成する。具体的には、読み出した合成途中画像データのうち、合成対象範囲に含まれる各画素のピクセルデータの各色成分（Ｄ（ｂ）と表記）と、受け取った画像データのうち、対応するピクセルデータの各色成分（Ｄ（ｆ）と表記）とを以下の演算により合成して新たなピクセルデータの各色成分（Ｄ（ｃｏｍ）と表記）を算出し、合成途中画像データ上のピクセルデータの各色成分Ｄ（ｂ）を、算出した新たなピクセルデータの色成分Ｄ（ｃｏｍ）に置き換えることにより、合成途中画像データを更新する。

Ｄ（ｃｏｍ）＝Ｄ（ｆ）＋Ｄ（ｂ）×透過率
続いて、合成エンジン２４３は、形式フラグ群を読み出し、形式フラグ群のうち、合成対象範囲内の各画素と対応する部分を全て、受け取った形式フラグＰに書き換える。
合成エンジン２４３は、以上の手順で更新した合成途中画像データと、形式フラグ群とを合成バッファ２４４に書き戻す。

（６）主制御部２０４
主制御部２０４は、入力部２０３を介して、利用者の操作を受け付け、受け付けた操作に従って、画像合成装置２００を構成する各部の動作を制御する。
主制御部２０４は、入力部２０３を介して画像合成の要求を受け付ける。
また、表示部２０２に合成画像２２７ｇを表示し、合成画像中の特定の位置の指定を受け付ける。

（６−１）画像合成の制御
利用者の操作による画像合成の要求を受け付けると、主制御部２０４は所定の入力画面を表示して、合成する画像データの選択、選択した各画像の表示位置、重ね合わせ順、加工の及び画質補整の要否、透過率の入力を受け付ける。次に、入力された情報を基に主制御部２０４は、合成指示テーブル２１２を生成し、メモリ２０１の一般領域２１１の所定領域に書き込み、合成制御部２４１に画像合成を指示する。

次に、合成制御部２４１から、画像合成の処理が終了したことを示す終了通知と、生成された合成画像データを示す情報（例えば、識別子、アドレスなど）とを受け取る。
これらを受け取ると、メモリ２０１の画像記憶領域２２１から合成画像データ２２７を読み出し、読み出した合成画像データ２２７から合成画像を生成して、表示部２０２に生成した合成画像２２７ｇを表示する。

（６−２）合成画像の加工の制御
表示部２０２に合成画像２２７ｇが表示された状態で、入力部２０３を介して、主制御部は、合成画像２２７ｇ上の位置（画素）の指定を受け付ける。
位置の選択を受け付けると、指定された位置の近辺にメニューを表示する。若しくは、別途、メニュー画面を生成して表示しても良い。

メニューには、合成画像に対して、施すことができる加工の名称を列挙している（例えば、拡大、縮小、反転・・・）。続いて、利用者の操作によるメニューの選択を受け付ける。
メニューの選択を受け付けると、合成画像２２７ｇのうち、受け付けたメニューに応じて加工対象とする範囲（以下二次利用範囲と呼ぶ）を決定する。例えば、「拡大」が選択された場合は、選択された位置を中心として１００×１００画素の範囲、「縮小」が選択された場合は、選択された位置を中心として３００×３００画素の範囲、「回転」が選択された場合は、全画面を二次利用範囲とする。

又は、加工の対象となる範囲の選択を利用者に促す画面を表示し、二次利用範囲を決定してもよい。
次に、主制御部２０４は、形式フラグ群２２８のうち、二次利用範囲に対応する部分を１ビットずつ順次読み出す。読み出した形式フラグと選択された加工の種類に応じた加工用データをメモリ２０１の一般領域２１１から読み出し、変形用メモリ２４６へ出力する。また、読み出した形式フラグと選択された加工により、必要に応じて、メモリ２０１の一般領域２１１から補整用データを読み出し、読み出した補整用データを補整用メモリ２４８へ出力する。

例えば、利用者により「拡大」が選択され、読み出した形式フラグＰ＝１である場合、主制御部２０４は、メモリ２０１の一般領域２１１から、ＹＵＶ二次拡大用データ２１６を読み出し、読み出したＹＵＶ二次拡大用データを変形用メモリ２４６に出力する。次に、自然画向け補整用データを読み出し、補整用メモリ２４８へ出力する。
次に、合成画像データのうち、読み出した形式フラグと対応するピクセルデータの位置を指示して、変形エンジン２４７へ加工を指示する。

主制御部２０４は、二次利用範囲に含まれる全ての画素について、同様の処理を繰返し、変形エンジン２４７及び補整エンジン２４９を制御することで、加工画像データを生成し、生成した加工画像データ２２９をメモリ２０１の画像記憶領域に書き込む。
次に、加工画像データ２２９を読み出して加工画像を生成し、表示部２０２に表示する。
２．３ 動作
以下に、本実施の形態の画像合成装置２００の動作について、図面を用いて説明する。

（１）画像合成における動作
図１４〜図１６は、画像合成装置２００による画像合成処理における動作を示したフローチャートである。以下に、図１４〜図１６を用いて、画像合成に係る画像合成装置２００の動作について説明する。
利用者の操作による画像合成の要求を受け付けると、主制御部２０４は所定の入力画面を表示して、合成する画像データの選択、選択した各画像の表示位置、重ね合わせ順、加工及び画質補整の要否、透過率の入力を受け付ける（ステップＳ２０１）。次に、入力された情報を基に、主制御部２０４は、合成指示テーブル２１２を生成し、メモリ２０１の一般領域２１１の所定領域に書き込み、合成制御部２４１に画像合成を指示する（ステップＳ２０２）。

主制御部２０４から画像合成の指示を受けると、合成制御部２４１は、メモリ２０１の一般領域２１１内の所定領域に記憶されている合成指示テーブル２１２から、未だ読み出していない合成情報のうち、重ね合わせ順が最小のものを読み出す（ステップＳ２０３）。このとき、既に、全ての合成情報が読み出し済みであれば（ステップＳ２０６のＹＥＳ）、ステップＳ２０７へ処理を移す。

全ての合成情報が読み出し済みでなければ（ステップＳ２０６のＮＯ）、合成制御部２４１は、読み出した合成情報に含まれるデータ形式、変形情報、画質補整情報を基に、データ形式に最適な加工用データ及び補整用データをメモリ２０１から読み出す（ステップＳ２１１）。次に、読み出した加工用データを変形用メモリ２４６へ書き込み、読み出した補整用データを補整用メモリ２４８へ書き込む（ステップＳ２１２）。

次に、合成制御部２４１は、合成情報と対応する画像データをメモリ２０１の画像記憶領域２２１から読み出し、変形エンジン２４７へ出力する（ステップＳ２１３）。
次に、合成制御部２４１は、読み出した合成情報に含まれるデータ形式を、形式変換部２４２へ通知する（ステップＳ２１６）。
変形エンジン２４７は、画像データを受け取り、変形用メモリ２４６に記憶されている関数及びパラメータを用いて、受け取った画像データに加工（拡大、縮小、回転など）を施して、変形済画像データを生成する。続いて、変形エンジン２４７は、生成した変形済画像データを補整エンジン２４９へ出力する（ステップＳ２１７）。

補整エンジン２４９は、変形エンジン２４７から変形済画像データを受け取り、補整用メモリ２４８の保持する関数及びパラメータを用いて、受け取った変形済画像データに画質補整処理を施して補整済画像データを生成する（ステップＳ２１８）。次に、補整エンジン２４９は、生成した補整済画像データを形式変換部２４２へ出力する（ステップＳ２１９）。

形式変換部２４２は、補整エンジン２４９から補整済画像データを受け取り、合成制御部２４１から、データ形式を受け取る。ここで、補整エンジン２４９から受け取る補整済画像データのデータ形式は、合成制御部２４１から受け取るデータ形式に一致する。
これらを受け取ると、形式変換部２４２は、合成制御部２４１から受け取ったデータ形式を基に、受け取った画像データのデータ形式をＲ８Ｇ８Ｂ８形式に変換して合成用画像データを生成する（ステップＳ２２１）。

次に、合成制御部２４１から受け取ったデータ形式がＲＧＢ形式であれば、形式変換部２４２は、１ビット長の形式フラグ「０」を生成する（ステップＳ２２３）。受け取ったデータ形式がＹＵＶ形式であれば、形式変換部２４２は、形式フラグ「１」を生成する（ステップＳ２２４）。
次に、形式変換部２４２は、生成した合成用画像データと、１ビット長の形式フラグＰとを合成エンジン２４３へ出力する（ステップＳ２２６）。

合成制御部２４１は、次に、読み出した合成情報に含まれる透過率と出力座標と、読み出した合成情報と対応する画像サイズとを合成エンジン２４３へ出力する（ステップＳ２３１）。
合成エンジン２４３は、合成制御部２４１から透過率、出力座標及び画像サイズを受け取る。また、形式変換部２４２から合成用画像データと形式フラグＰとを受け取る。

これらを受け取ると、合成エンジン２４３は、合成バッファ２４４から合成途中画像データと形式フラグ群とを読み出す（ステップＳ２３２）。
読み出した合成途中画像データのうち、出力座標を起点とし画像サイズにより定義される合成対象範囲の各ピクセルデータと合成対象データの対応するピクセルデータとを以下の式により合成し、合成後のピクセルデータにより合成前のピクセルデータを置き換えることで、合成途中画像データを更新する（ステップＳ２３４）。
Ｄ（ｃｏｍ）＝Ｄ（ｆ）＋Ｄ（ｂ）×透過率
Ｄ（ｆ）：合成対象データの対応するピクセルデータの各色成分
Ｄ（ｂ）：合成途中画像データ中の合成対象範囲の対応するピクセルデータの色成分
Ｄ（ｃｏｍ）：合成後のピクセルデータの各色成分
また、読み出した形式フラグ群のうち、合成対象範囲と対応する部分全てを、受け取った形式フラグＰに書き換えて、形式フラグ群を更新する（ステップＳ２３６）。

次に、更新後の合成途中画像データと形式フラグ群とを合成バッファ２４４へ上書きする（ステップＳ２３７）。上書き後、画像合成装置２００は、ステップＳ２０３へ戻り、次の合成情報に係る処理に移る。
全ての合成情報を読み出し済みであれば（ステップＳ２０６のＹＥＳ）、合成制御部２４１は、合成バッファ２４４の保持する合成途中画像データを読み出し、読み出した合成途中画像データを合成画像データとしてメモリ２０１の画像記憶領域２２１へ書き込む。また、合成バッファ２４４から形式フラグ群を読み出し、同様にメモリ２０１の画像記憶領域に書き込む（ステップＳ２０７）。

続いて、主制御部２０４は、生成された合成画像データから、合成画像を生成し、生成した合成画像を表示部２０２に表示する（ステップＳ２０８）。
（２）合成画像データの加工の動作
図１７〜図１８は、合成画像データ２２７の加工（二次利用）処理における画像合成装置２００の動作を示したフローチャートである。以下に、図１７〜図１８を用いて合成画像データの加工処理における動作について説明する。

主制御部２０４は、合成画像データ２２７から合成画像を生成して表示部２０２へ表示する（ステップＳ２４１）。
次に、主制御部２０４は、入力部２０３を介して、利用者の操作による位置（画素）の選択を受け付ける（ステップＳ２４２）。位置の選択を受け付けると、主制御部２０４は、表示部２０２にメニューを表示する（ステップＳ２４３）。メニューには、「拡大」、「縮小」、「回転」・・・が含まれるが、ここでは、「拡大」が選択された場合について述べる（ステップＳ２４４）。「拡大」が選択された場合、合成画像中の指定された位置を中心に１００×１００画素の範囲が、二次利用範囲である。

以下、ステップＳ２４６〜ステップＳ２６２において、二次利用範囲に含まれる各画素と対応するピクセルデータについて、ステップＳ２４７〜ステップＳ２６１の処理を繰り返すことで、加工画像データを生成する。
先ず、主制御部２０４は、二次利用範囲内の１の画素と対応する形式フラグＰを形式フラグ群２２８から読み出す（ステップＳ２４７）。

読み出した形式フラグＰ＝１の場合（ステップＳ２４９のＹＥＳ）、主制御部２０４は、メモリ２０１の一般領域２１１から、ＹＵＶ二次拡大用データ２１６を読み出し、変形用メモリ２４６に書き込む（ステップＳ２５１）。次に、自然画向け補整用データ２１９を読み出し、補整用メモリ２４８に出力する（ステップＳ２５２）。
読み出した形式フラグＰ＝０であれば（ステップＳ２４９のＮＯ）、主制御部２０４は、メモリ２０１の一般領域２１１から、ＲＧＢ拡大用データ２１３を読み出し、読み出したＲＧＢ拡大用データを変形用メモリ２４６へ書き込む（ステップＳ２５４）。次に、主制御部２０４は、ＲＧＢ補整用データ２１７を読み出し、読み出したＲＧＢ補整用データ２１７を、補整用メモリ２４８へ書き込む（ステップＳ２５６）。

次に、主制御部２０４は、読み出した形式フラグと対応するピクセルデータの記憶されているアドレスを指定して、変形エンジン２４７へ、拡大処理を指示する（ステップＳ２５７）。
変形エンジン２４７は、主制御部２０４の指示に従って、指定されたアドレスからピクセルデータを読み出し、変形用メモリ２４６に記憶されている関数及びパラメータを用いて読み出したピクセルデータに拡大処理を施す。拡大処理後のピクセルデータ（群）を補整エンジン２４９へ出力する（ステップＳ２５８）。

補整エンジン２４９は、変形エンジン２４７からピクセルデータ（群）を受け取り、補整用メモリ２４８に記憶されている関数及びパラメータを用いて、受け取ったピクセルデータ（群）に画質補整処理を施す（ステップＳ２５９）。
次に、補整エンジン２４９は、補整処理後のピクセルデータ群を順次メモリ２０１の画像記憶領域２２１に書き込む（ステップＳ２６１）。

二次利用範囲の各ピクセルデータについての繰返しが終了すると（ステップＳ２６２）、主制御部２０４は、補整エンジン２４９により書き込まれたピクセルデータ（群）により構成される加工（拡大）画像データ２２９を読み出し、読み出した加工画像データ２２９から加工（拡大）画像を生成し、表示部２０２に表示する（ステップＳ２６３）。
２．４ まとめ
以上説明してきたように、本実施の形態の画像合成装置２００は、合成前の画像データを、元のデータ形式のまま、拡大などの加工を施した後、形式変換及び合成処理を行い、合成画像データを生成する。

また、合成画像データを構成する各ピクセルデータとは個別に、形式フラグ群を生成する。そのため、合成画像データにはブランクビットは存在しないので、総データ量を削減することができる。
なお、ここでは、合成画像データのデータ形式をＲ８Ｇ８Ｂ８形式としたが、上述したように各ピクセルデータが１６ビット（例えばＲ５Ｇ６Ｂ５）又は１６ビットの偶数倍になるように、ピクセルデータのデータ長を調整し、アドレス管理が容易になるようにしてもよい。
３． 実施の形態３
以下に、本発明の実施の形態３について、図面を用いて説明する。
３．１ 概要
本実施の形態では、合成画像データを構成する各ピクセルデータは、合成前において、拡大などの加工処理、画質補整処理が施されたか否かを示す属性フラグを含んでいる。

合成前に、加工や画質補整を施した後に生成した、合成画像データを、更に、加工する場合を考える。加工や画質補整を施した画像データに、同一のアルゴリズムに基づく関数及びパラメータを用いて、再度、加工又は画質補整を施すと、不自然な画像になる場合がある。例えば、合成前に、画質補整を施すことで、コントラストを明瞭にした部分に、同じアルゴリスムに基づく画質補整を再度施すと、必要以上に、コントラスト比が大きくなり、不自然な画像になる場合が考えられる。また、合成前に拡大処理を施した部分に更に、同一のアルゴリズムで拡大処理を施すと、輪郭線が不明瞭になったり、画質が荒くなったりする可能性が考えられる。

本発明の画像合成装置３００では、合成画像データを構成する各ピクセルデータに、合成前における加工、補整の有無を示す属性フラグ付加する。次に、合成画像データのうち、合成前に、加工や補整を施している部分に更に、加工や補整を施す場合（以下、多重加工、多重補整と呼ぶ）、１度目とは異なる最適な関数及びパラメータを含む多重加工用データを用いる。

このようにすることで、多重加工、多重補整した部分の画質の最適化を図ることができる。なお、加工処理には、拡大、縮小、回転など、様々な種類の加工処理が考えられるが、説明を簡単にするため、本実施の形態における画像合成装置は、利用者の選択した１以上の画像データを、１以上の倍率で拡大し、必要に応じて画質補整処理を施して合成する装置であるとする。
３．２ 構成
図１９は、本実施の形態の画像合成装置３００の機能的構成を示すブロック図である。図中の矢印は、合成画像データ３１４の生成に関するデータフローを示しており、太線矢印は、加工画像データの生成に関するデータフローを示している。

図１９に示すように、画像合成装置３００は、メモリ３０１、表示部３０２、入力部３０３、主制御部３０４、画像処理部３０５から構成され、画像処理部３０５は、合成制御部３４１、変形用メモリ３４６、変形エンジン３４７、補整用メモリ３４８、補整エンジン３４９、形式変換部３４２、合成エンジン３４３、合成バッファ３４４及び属性フラグ付加部３５１を含む。

図面中、前述の実施の形態と重複する構成及びデータには、同一の参照符号を付している。
画像合成装置３００は、具体的には、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することで、画像合成装置３００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各構成について説明する。なお、入力部３０３、表示部３０２及び形式変換部３４２の構成及び動作は実施の形態２と同様であるので説明を省略する。また、変形用メモリ３４６、変形エンジン３４７、補整用メモリ３４８、補整エンジン３４９の構成及び動作は、実施の形態２と同様に、各メモリの保持する関数及びパラメータを用いて、入力されたピクセルデータに処理を施す。従って、詳細な説明は省略する。

（１）メモリ３０１
メモリ３０１は、ハードディスクユニットを含んで構成され、一般領域３１１と画像記憶領域３２１とを含む。
一般領域３１１は、合成指示テーブル３１２、ＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８、多重拡大用データ３１３、多重補整用データ３１５を記憶している。以下必要に応じてＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８を通常加工用データ群と呼び、多重拡大用データ３１３、多重補整用データ３１５を多重加工用データ群と呼ぶ。

また、図示していないが、一般領域３１１には、これらの他にも、主制御部３０４により用いられる各種のプログラム、パラメータ、画像データなどが記憶されている。
画像記憶領域３２１には、ペイント画像データ１２２、写真画像データ１２４・・・など利用者の操作に従って保存された画像データ、当該画像合成装置により生成された合成画像データ３１４、加工画像データ３１６が記憶されている。

（１−１）合成指示テーブル３１２
合成指示テーブル３１２は、実施の形態２において説明した合成指示テーブル２１２と同様の構成であって、複数の合成情報から構成される。ただし、ここでは、変形情報は「不要」又は「ｎ倍」（ｎ≧１）のみである。
その他の詳細な構成は、実施の形態２の合成指示テーブル２１２と同様であるので、説明を省略する。

（１−２）通常加工用データ群
ＲＧＢ拡大用データ２１３、ＹＵＶ拡大用データ２１５、ＲＧＢ補整用データ２１７及びＹＵＶ補整用データ２１８は実施の形態２において、説明した通りであるので、ここでは説明を省略する。
（１−３）多重加工用データ群
多重拡大用データ３１３は、合成画像データ３１４のうち、合成前において拡大処理を施している部分を、さらに拡大するのに適したアルゴリズムに従う関数及びパラメータを含んでいる。

多重補整用データ３１５は、合成画像データ３１４のうち、合成前において画質補整処理を施している部分を、さらに画質補整するためのアルゴリズムに従う関数及びパラメータを含んでいる。
画質補整処理は、大きく分けて、雑音除去、輪郭強調及び歪補整の処理を含んでいる。ここで、同一のアルゴリズムに従って画質補整処理を、複数回行う場合を想定する。１度目の画質補整において、輪郭強調のために生成されたデータを、２度目以降の画質補整処理において、雑音であると誤認される可能性がある。

また、輪郭強調処理では、各色の濃度が急激に変化する部分（輪郭）を検出し、検出した部分の高周波（高濃度）成分をより強調する。このような処理には、一例として、入力画像データの二次微分を用いる（二次微分を用いた輪郭強調処理については、非特許文献２に詳細に説明されている）。２度目以降の画質補整を行う場合、前述の二次微分の加算成分を、新たな輪郭であると誤認する可能性がある。

従って、例えば、ＲＧＢ補正用データ２１７及びＹＵＶ補正用データ２１８は、それぞれ、雑音除去、輪郭強調及び歪補整に関する関数及びパラメータを含んでいるが、多重補整用データ３１５には、歪補整に関する関数及びパラメータのみを含む。
若しくは、ＲＧＢ補整用データ２１７、ＹＵＶ補整用データ２１８及び多重補整用データ３１５に含まれる輪郭強調のための係数を何れも小さめに設定するとしてもよい。

（１−４）画像データ
ペイント画像データ１２２、写真画像データ１２４など合成の対象となる画像データについては、実施の形態１において既に述べているので説明を省略する。
合成画像データ３１４は、ペイント画像データ１２２、写真画像データ１２４などを、必要に応じて拡大し、画質補整処理を施して合成した画像データであって、データ形式はＰ２Ｘ６Ｒ８Ｇ８Ｂ８形式である。各ピクセルデータの先頭の１ビットは、合成の過程で、そのビットデータに拡大処理が施されたか否かを示しており、「１」は、拡大処理が施されたことを示し、「０」は、施されなかったことを示す。各ピクセルデータの第２ビットは、合成の過程でそのピクセルデータに画質補整処理が施されたか否かを示し、「１」は、画質補整処理が施されたことを示し、「０」は、施されなかったことを示す。以下、各ピクセルデータの先頭の２ビットを属性ビットと呼び、変数Ｐで表す。

加工画像データ３１６は、合成画像データ３１４の一部又は全部に更に加工を施して生成された画像データである。
（２）合成制御部３４１
合成制御部３４１は、合成画像データの生成処理において、図示していないが、各機能部へ、制御信号を出力し、その動作を制御する機能を有する。

合成制御部３４１は、主制御部３０４から、画像合成の指示を受ける。この指示を受けると、合成バッファ３４４を初期化する。具体的には背景画像データ（ブルーバック、利用者の指定した背景画像データ）を書き込む。ここで書き込まれる背景画像データは、Ｐ２Ｘ６Ｒ８Ｇ８Ｂ８形式であって、各ピクセルデータの属性ビットは「００」であるとする。

次に、合成制御部３４１は、メモリ３０１の所定領域に記憶されている合成指示テーブルに含まれる合成情報のうち、重ね合わせ順が小さいものから順に読み出す。
すべての合成情報について、以下の処理を繰り返すことで、合成画像データ３１４を生成する。
先ず、読み出した合成情報に含まれる変形情報が「不要」であれば、変形エンジン３４７に一時停止を指示する。「不要」でない場合、読み出し合成情報に含まれるデータ形式を基に、ＲＧＢ拡大用データ２１３又はＹＵＶ拡大用データ２１５の何れかを読み出し、変形用メモリ３４６へ書き込む。このときに、合わせて拡大の倍率ｎも書き込む。

次に、読み出した合成情報に含まれる画質補整情報が「不要」であれば、補整エンジン３４９に一時停止を指示する。「不要」でない場合、読み出し合成情報に含まれるデータ形式を基に、ＲＧＢ補整用データ２１７又はＹＵＶ補整用データ２１８の何れかを読み出し、変形用メモリ３４６へ書き込む。
続いて、合成制御部３４１は、読み出した合成情報に含まれるデータ形式を、形式変換部３４２へ出力する。

次に、読み出した合成情報に含まれる変形情報から画像サイズを算出し、算出した画像サイズと、出力座標と、透過率とを合成エンジン３４３へ出力する。
次に、合成制御部３４１は、合成情報に含まれる変形情報と画質情報とを基に２ビット長の属性フラグＰを生成する。具体的には、変形情報が「不要」であれば第１ビット「０」、「不要」以外であれば第１ビット「１」を生成し、画質補整情報が「不要」であれば、第２ビット「０」、「不要」以外であれば、第２ビット「１」を生成する。次に、生成した２ビット長の属性フラグ付加部３５１へ出力する。

続いて、合成制御部３４１は、読み出した合成情報と対応する画像データを変形エンジン３４７へ出力する。
属性フラグ付加部３５１が、合成バッファ３４４へ合成途中画像データを書き戻すと、次の合成情報について、同様の処理を繰り返す。
（３）合成バッファ３４４
合成バッファ３４４は、ＲＡＭから構成され、合成エンジン３４３及び属性フラグ付加部３５１による画像合成処理の途中における合成途中画像データを記憶する。

（４）形式変換部３４２
形式変換部３４２は、合成制御部３４１から、データ形式を受け取る。また、形式変換部３４２は、補整エンジン３４９から、補整済画像データを受け取る。ここで受け取る補整済画像データのデータ形式は、合成制御部３４１から受け取るデータ形式と一致する。
形式変換部３４２は、受け取った補整済画像データのデータ形式をＸ８Ｒ８Ｇ８Ｂ８形式に変換して、変換済画像データを生成する。変換方法の詳細は、実施の形態１と同様であるので、説明を省略する。

次に、形式変換部３４２は、生成した変換済画像データを合成エンジンへ出力する。
（５）合成エンジン３４３
合成エンジン３４３は、合成制御部３４１から、出力座標と透過率と画像サイズとを受け取る。
また、合成エンジン３４３は、形式変換部３４２から、変換済画像データを受け取る。ここで受け取る変換済画像データを基に生成される変換済画像の画像サイズは、合成制御部３４１から受け取った画像サイズと一致する。

これらを受け取ると、合成エンジン３４３は、合成バッファ３４４から合成途中画像データを読み出し、読み出した合成途中画像データのうち、受け取った出力座標を起点とし、画像サイズの示す範囲（合成対象範囲と呼ぶ）の画像データを受け取った変換済画像データと合成する。合成の演算については、実施の形態１において述べた通りであるので、ここでは省略する。このとき、合成対象範囲の各ピクセルデータの形式はＸ８Ｒ８Ｇ９Ｂ８形式である。

次に、合成エンジン３４３は、合成後の画像データを属性フラグ付加部３５１へ出力する。
（６）属性フラグ付加部３５１
属性フラグ付加部３５１は、合成制御部３４１から２ビット長の属性フラグＰを受け取り一時的に記憶する。

次に、属性フラグ付加部３５１は、合成エンジン３４３から合成処理後の画像データを受け取る。属性フラグ付加部３５１は、受け取った画像データのうち、合成対象範囲に含まれる各ピクセルデータの先頭の２ビットを記憶している属性フラグＰに書き換える。書き換えが終了すると、書き換え後の画像データにより、合成バッファ３４４の保持する合成途中画像データを更新する。

（７）主制御部３０４
図示していないが、主制御部３０４は、画像合成装置３００を構成する各部へ制御信号を出力し、各部の動作を制御する機能を有する。
主制御部３０４は、入力部３０３を介して、利用者の操作を受け付け、外部機器又は記録媒体に記録されている画像データを読み出し、メモリ３０１の画像記憶領域に書き込む。

また、主制御部３０４は、入力部３０３を介して、合成画像の作成要求を受け付ける。さらに、利用者による、合成画像の加工要求の入力を受け付ける。
合成画像の作成要求を受け付けると、利用者の操作に従って、合成指示テーブル３１２を生成し、合成制御部３４１へ画像合成を指示する。合成画像の生成の制御については、実施の形態１と同様であるので、ここでは、説明を省略する。

（合成画像の加工）
主制御部３０４は、合成画像データ３１４を基に生成された合成画像が表示部に表示されている状態で、入力部３０３を利用者による位置の指定を受け付ける。位置の指定を受け付けると、倍率ｍ（≧１）の入力画面を表示部３０２に表示し、倍率の入力を受け付ける。

次に、主制御部３０４は、指定された位置を中心に、例えば縦１００×横１００画素の範囲（拡大対象範囲と呼ぶ）の画像を入力された倍率に拡大して加工画像データ３１６を生成する。
以下に、具体的な拡大処理の制御について説明する。
主制御部３０４は、拡大対象範囲に含まれる各ピクセルデータについて、以下の処理を繰り返す。

ピクセルデータの第１ビットが「１」であれば、主制御部３０４は、メモリ３０１から多重拡大用データ３１３を読み出し、読み出した多重拡大用データ３１３を変形用メモリ３４６へ書き込む。
第１ビットが「０」であれば、主制御部３０４は、ＲＧＢ拡大用データ２１３を読み出し、読み出したＲＧＢ拡大用データ２１３を変形用メモリ３４６に書き込む。

次に、ピクセルデータの第２ビットが「１」であれば、主制御部３０４は、多重補整用データ３１５を読み出し、読み出した多重補整用データ３１５を補整用メモリ３４８に書き込む。
第２ビットが「０」であれば、主制御部３０４は、ＲＧＢ補整用データ２１７を読み出し、読み出したＲＧＢ補整用データ２１７を補整用メモリ３４８に書き込む。

次に、補整エンジン３４９の動作を監視し、補整エンジン３４９による補整の処理が終了すると、補整処理後のピクセルデータをメモリ３０１の画像記憶領域３２１へ書き込むように、補整エンジン３４９に指示する。
拡大対象範囲の全てのピクセルデータについて、拡大及び補整が終了すると、主制御部３０４は、加工画像データ３１６を読み出し、読み出した加工画像データ３１６を基に加工画像を生成し、生成した加工画像を表示部３０２に表示する。
３．３ 動作
以下に、本実施の形態の画像合成装置３００の動作について説明する。

（１）画像合成の動作
利用者の操作により、画像合成が指示されると、画像合成装置３００は、画像合成処理を開始する。
図２０〜図２２は、画像合成処理における画像合成装置３００の動作を示したフローチャートである。以下に、図２０〜図２２を用いて画像合成装置３００の動作について説明する。

主制御部３０４は、所定の選択画面、入力画面などを表示して、利用者による合成対象となる画像の選択、表示位置、重ね合わせ順、加工（拡大）の要否、画質補整の要否の入力を受け付ける（ステップＳ３０１）。
これらの入力を受け付けると、受け付けたデータを基に合成指示テーブル３１２を生成し、生成した合成指示テーブル３１２をメモリ３０１の所定領域に書き込む（ステップＳ３０２）。

次に、主制御部３０４は、合成制御部３４１へ、画像データの合成を指示する（ステップＳ３０３）。
合成制御部３４１は、主制御部３０４から画像合成の指示を受ける。指示を受けると、メモリ３０１の所定領域に記憶されている合成指示テーブル３１２をサーチし、合成指示テーブル３１２を構成する合成情報を重ね合わせ順の小さいものから順に読み出す（ステップＳ３０６）。

このとき、既に、全ての合成情報を読み出し済みであれば（ステップＳ３０７のＹＥＳ）、合成制御部３４１は、ステップＳ３０８へ処理を移す。
全ての合成情報を読み出し済みでない場合（ステップＳ３０７のＮＯ）、合成制御部３４１は、読み出した合成情報に含まれる変形情報、画質補整情報、データ形式を基に最適な加工用データをメモリ３０１から読み出して、読み出し加工用データと倍率とを変形用メモリ３４６に書き込み、最適な補整用データをメモリ３０１から読み出して、補整用メモリ３４８へ書き込む（ステップＳ３１１）。ただし、読み出した合成情報に含まれる変形情報が「不要」の場合、変形エンジン３４７へ一時停止を指示する。また画質補整情報が「不要」の場合は、補整エンジン３４９へ一時停止を指示する。

次に、合成制御部３４１は、読み出した合成情報に含まれるデータ形式を形式変換部３４２へ出力する（ステップＳ３１２）。
次に、合成制御部３４１は、読み出した合成情報に対応する画像データを読み出し、変形エンジン３４７へ出力する（ステップＳ３１３）。
変形エンジン３４７は、変形用メモリ３４６の保持するパラメータ及び関数などを用いて、受け取った画像データを加工（拡大）して、変形済画像データを生成し、生成した変形済画像データを補整エンジン３４９へ出力する（ステップＳ３１４）。ただし、合成制御部３４１から、一時停止を指示された場合は、受け取った画像データをそのまま補整エンジン３４９へ出力する。

補整エンジン３４９は、変形エンジン３４７から変形済画像データを受け取る。変形済画像データを受け取ると、補整エンジン３４９は、補整用メモリ３４８に記憶されている関数及びパラメータを用いて、受け取った変形済画像データに画質補整処理を施して補整済画像データを生成する（ステップＳ３１６）。続いて、補整エンジン３４９は、生成した補整済画像データを形式変換部３４２へ出力する（ステップＳ３１７）。なお、このとき、合成制御部３４１から一時停止を指示されている場合、受け取った変形済画像データをそのまま形式変換部３４２へ出力する。

形式変換部３４２は、補整済画像データを受け取ると、合成制御部３４１から通知されたデータ形式を参照して、受け取った補整済画像データのデータ形式をＸ８Ｒ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する。続いて、生成した変換済画像データを合成エンジン３４３へ出力する（ステップＳ３１８）。
合成制御部３４１は、次に、読み出した合成情報に含まれる出力位置、透過率、画像サイズを合成エンジン３４３へ出力する（ステップＳ３２１）。

合成エンジン３４３は、変換済画像データを受け取ると、合成バッファ３４４から、合成途中画像データを読み出す（ステップＳ３２２）。
合成エンジン３４３は、読み出した合成途中画像データのうち合成対象範囲の各ピクセルデータと対応する変換済画像データのピクセルデータとを合成する（ステップＳ３２３）。

合成制御部３４１は、読み出した合成情報に含まれる変形情報及び画質補整情報を基に２ビット長の属性フラグＰを生成し、生成した属性フラグＰを属性フラグ付加部３５１へ出力する（ステップＳ３２６）。
属性フラグ付加部３５１は、合成制御部３４１から属性フラグＰを受け取り、一時的に記憶する。次に、属性フラグ付加部３５１は、合成エンジン３４３から受け取った画像データのうち、合成対象範囲に含まれるカテゴリクレームピクセルデータのブランクビットのうち先頭の２ビットを受け取った属性フラグに書き換えて、合成途中像データを更新する（ステップＳ３２７）。

次に、属性フラグ付加部３５１は、更新後の合成画像データを合成バッファ３４４へ書き戻す（ステップＳ３２８）。
次に、画像合成装置３００は、ステップＳ３０６へ戻り、全ての、合成情報について、同様の処理を繰り返す。
ステップＳ３０７において、全ての合成情報が、読み出し済みであれば（ステップＳ３０７のＹＥＳ）、合成制御部３４１は、合成バッファ３４４の記憶している合成途中画像データを読み出し、これを合成画像データとして、メモリ３０１に書き込む（ステップＳ３０８）。次に、合成画像の生成が終了したことを主制御部３０４へ通知する。

主制御部３０４は、メモリ３０１から、合成画像データ３１４を読み出し、読み出し合成画像データ３１４を基に合成画像を生成して表示部３０２に表示する（ステップＳ３０９）。
（２）合成画像データの加工処理
図２３〜図２４は、合成画像データの加工（拡大）処理に係る画像合成装置３００の動作を示すフローチャートである。以下に、図２３〜図２４を用いて、合成画像データの拡大処理における画像合成装置３００の動作について説明する。

主制御部３０４は、利用者の操作に従って、合成画像データ３１４を基に統制画像を生成し、生成した合成画像を表示部３０２に表示する（ステップＳ３４１）。続いて、利用者の操作による位置（画素）の指定を、入力部３０３を介して受け付ける（ステップＳ３４２）。次に、主制御部３０４は、利用者による倍率の入力を受け付ける（ステップＳ３４３）。

次に、ステップＳ３４６〜ステップＳ３５８の間、合成画像データのうち、二次利用範囲に含まれる各ピクセルデータについて、ステップＳ３４７〜ステップＳ３５７の処理を繰り返すことで、加工（拡大）画像データを生成する。
ピクセルデータの第１ビットが「１」であれば（ステップＳ３４７のＹＥＳ）、主制御部３０４は、メモリ３０１から、多重拡大用データ３１３を読み出し、変形用メモリ３４６へ書き込む（ステップＳ３４８）。

ピクセルデータの第１ビットが「０」であれば（ステップＳ３４７のＮＯ）、主制御部３０４は、メモリ３０１からＲＧＢ拡大用データ２１３を読み出し、変形用メモリ３４６に書き込む（ステップＳ３４９）。
次に、主制御部３０４は、受け付けた倍率を変形用メモリ３４６へ書き込む（ステップＳ３５１）。

次に、ピクセルデータの第２ビットが「１」であれば（ステップＳ３５２のＹＥＳ）、主制御部３０４は、メモリ３０１から、多重補整用データ３１５を読み出し、補整用メモリ３４８へ書き込む（ステップＳ３５３）。
ピクセルデータの第２ビットが「０」であれば（ステップＳ３５２のＮＯ）、主制御部３０４は、メモリ３０１から、ＲＧＢ補整用データ２１７を読み出し、補整用メモリ３４８に書き込む（ステップＳ３５４）。

続いて、主制御部３０４は変形エンジン３４７へ、ピクセルデータを出力し、変形エンジン３４７は、変形用メモリ３４６の保持する、倍率、関数及びパラメータを用いて、受け取ったピクセルデータの下位２４ビット（つまりＲ８Ｇ８Ｂ８）に拡大処理を施して、補整エンジン３４９へ出力する（ステップＳ３５６）。
補整エンジン３４９は、補整用メモリ３４８の保持する関数及びパラメータを用いて、変形エンジン３４７から受け取ったピクセルデータに画質補整処理を施して、メモリ３０１の画像記憶領域３２１に書き込む（ステップＳ３５７）。

二次利用範囲に含まれる全てのピクセルデータについて、繰返しが終了すると（ステップＳ３５８）、主制御部３０４は、補整エンジン３４９により書き込まれたピクセルデータ群により構成される加工画像データ３１６をメモリ３０１から読み出す（ステップＳ３５９）。次に、読み出した加工画像データから加工画像を生成し、表示部３０２に表示する（ステップＳ３６１）。
３．４ まとめ
以上、説明してきたように、本実施の形態の画像合成装置３００は、合成前における拡大加工の有無、画質補整の有無を示す属性フラグＰを生成し、生成した属性フラグを、合成画像データを構成する各ピクセルデータに埋め込む。

合成画像の一部（二次利用範囲）を更に拡大する場合、二次利用範囲の各ピクセルデータに埋め込まれた属性フラグを参照して、合成の過程で拡大及び画質補整されているか否かに応じて、拡大、画質補整する場合、に用いるデータを選択する。
このようにすることで、同一の処理を繰り返すことによって生じる画像の不自然さを緩和することができる。
４． 実施の形態４
以下に、本発明の実施の形態４に係る画像合成装置４００について、図面を用いて説明する。
４．１ 概要
本実施の形態では、複数の画像データを合成して１つの合成画像データを生成する際に、先ず、合成の対象となる画像データのデータ形式をＲＧＢ形式に変換すると共に、変換前の画像データのデータ形式を示す１ビット長の形式フラグＰを生成する。

拡大、縮小、といった加工処理を実行する変形エンジンは、画像データと共に受け取った形式フラグＰを基に、最適な加工用データを選択して用いる。
画質補整を行う補整エンジンも同様に、形式フラグＰを基に最適な補整用データを選択して用いる。
このように、各実行エンジンが、形式フラグＰを基に、付随するメモリから最適なデータを選択して処理を実行するので、合成画像データの生成の高速化を図ることができる。
４．２ 構成
図２５は、画像合成装置４００の機能的構成を示す機能ブロック図である。図中の矢印は、画像合成処理におけるデータフローを示している。

図２５に示すように、画像合成装置４００は、メモリ４０１、表示部４０２、入力部４０３、主制御部４０４、画像処理部４０５から構成され、画像処理部４０５は、合成制御部４４１、形式変換部４４２、変形用メモリ４４６、変形エンジン４４７、補整用メモリ４４８、補整エンジン４４９、合成エンジン４４３及び合成バッファ４４４を含む。
具体的には、画像合成装置４００は、マイクロプロセッサ、ＲＡＭ及びＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ及びＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像合成装置４００は、その機能の一部を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

以下に、各機能部について説明する。なお、入力部４０３、表示部４０２の構成及び動作は実施の形態１と同様であるので説明を省略する。
また、メモリ４０１の構成は実施の形態１と同様であり、メモリ４０１の記憶している合成指示テーブル２１２、ペイント画像、１２２写真画像１２４・・・は、それぞれ、実施の形態２及び実施の形態１において説明した通りであるので説明を省略する。また、合成画像データ４１４は、その生成の過程は異なるが、データの構成は実施の形態１において説明した合成画像データ１２７と同一であるので、説明を省略する。加工用データ群４５３及び補整用データ群４５４については後述する。

（１）合成制御部４４１
合成制御部４４１は、合成画像データの生成の過程において、図示していないが、各機能へ制御信号を出力し動作を制御する機能を有する。
合成制御部４４１は、主制御部４０４から、画像合成を指示される。画像合成を指示されると、合成制御部４４１は、合成指示テーブル２１２を構成する合成情報のうち、重ねあわせ順の小さいものから順に合成情報を読み出し、全ての合成情報について、以下の処理を繰り返す。

先ず、合成制御部４４１は、読み出した合成情報に含まれるデータ形式を形式変換部４４２へ出力する。次に、変形情報及び、画質補整情報をそれぞれ、変形エンジン４４７及び補整エンジン４４９へ出力する。次に、合成エンジン４４３へ出力位置、透過率、画像サイズを出力する。
次に、合成制御部４４１は、読み出した合成情報と対応する画像データを形式変換部４４２へ出力する。

全ての合成情報について、上記の処理終えると、合成制御部４４１は、合成エンジン４４３の動作を監視し、合成エンジン４４３による合成途中画像データの書き戻しが終了すると、合成バッファ４４４の記憶している合成途中画像データを読み出し、読み出した合成途中画像データを、合成画像データ４１４としてメモリ４０１へ書き込む。
（２）形式変換部４４２
形式変換部４４２は、合成制御部４４１からデータ形式と画像データとを受け取る。

これらを受け取ると、受け取ったデータ形式に従って１ビット長の形式フラグＰを生成する。形式フラグＰ＝１は、ＲＧＢ形式を示し、Ｐ＝０はＹＵＶ形式を示す。
次に、形式変換部４４２は、受け取った画像データのデータ形式をＲ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する。変換の詳細な手順は、実施の形態１において述べているので、ここでは説明を省略する。次に、生成した形式フラグＰと変換済画像データとを変形エンジン４４７へ出力する。

（３）変形用メモリ４４６
変形用メモリ４４６は、ＲＡＭから構成され、ここでは加工用データ群４５１を記憶している。これは、メモリ４０１の記憶している加工用データ群４５３と同一である。
加工用データ群４５１には、拡大、縮小、回転、反転といった加工に用いられる複数のデータを含んでいる。具体的には実施の形態１において説明した、グラフィック向けの拡大用データＡ１１３、縮小用データＡ１１４、反転用データ１１５、回転用データＡ１１６・・・、自然画向けの拡大用データＢ、縮小用データＢ、反転用データＢ、回転用データＢ・・・を含む。

（４）変形エンジン４４７
変形エンジン４４７は、合成制御部４４１から、変形情報を受け取り、形式変換部４４２から、形式フラグＰと変換済画像データとを受け取る。
これらを受け取ると、変形エンジン４４７は、受け取った形式フラグＰと変形情報を基に、変形用メモリ４４６に記憶されている加工用データ群から最適な加工用データを読み出す。読み出した加工用データを用いて、受け取った変換済画像データを加工し、変形済画像データを生成する。

例えば、形式フラグＰ＝１、変形情報「０．８倍」を受け取ると、自然画向けの縮小用データＢを読み出し、読み出した縮小用データＢと変形情報に含まれる倍率「０．８」とを用いて、受け取った変換済画像データに縮小処理を施して変形済画像データを生成する。
次に、変形エンジン４４７は、生成した変形済画像データと、受け取った形式フラグＰとを、補整エンジン４４９へ出力する。

なお、合成制御部４４１から受け取った合成情報が「不要」である場合、受け取った変換済画像データを、そのまま、変形済画像データとして出力する。
（５）補整用メモリ４４８
補整用メモリ４４８は、ＲＡＭから構成され、ここでは補整用データ群４５２を記憶している。これは、メモリ４０１の記憶している補整用データ群４５４と同一である。

補整用データ群４５２には、画質補整に用いられる複数のデータを含んでいる。具体的には実施の形態１において説明した、グラフィック向け補整用データＡ１１７及び自然画向けの補整用データＢ１１８を含む。
（６）補整エンジン４４９
補整エンジン４４９は、合成制御部４４１から画質補整情報を受け取る。また、変形エンジン４４７から、変形済画像データと形式フラグＰとを受け取る。

これらを受け取ると、補整エンジン４４９は、画質補整情報と形式フラグＰを基に、補整用データ群４５２から最適な補整用データ選択し、選択した補整用データを読み出す。
次に、補整エンジン４４９は、読み出した補整用データを用いて、受け取った変形済画像データに画質補整処理を施して、補整済画像データを生成する。
例えば、形式フラグＰ＝１、変形情報「要」を受け取ると、自然画向けの補整用データＢを読み出し、読み出した補整用データＢを用いて変形済画像データに画質補整処理を施して補整済画像データを生成する。

次に、補整エンジン４４９は、生成した補整済画像データと受け取った形式フラグＰとを合成エンジン４４３へ出力する。
なお、合成制御部４４１から受け取った画質補整情報が「不要」であれば、上記の処理は行わず、受け取った変形済画像データをそのまま、補整済画像データとして出力する。
（７）合成バッファ４４４
合成バッファ４４４は、ＲＡＭから構成され、合成エンジン４４３による合成
途中の画像データを記憶する。合成バッファ４４４の記憶する合成途中画像データのデータ形式はＰ１Ｘ７Ｒ８Ｇ８Ｂ８形式である。

また、起動時、初期化後の合成バッファ４４４の記憶しているデータについては、上記の実施の形態１及において説明した通りである。
（８）合成エンジン４４３
合成エンジン４４３は、合成制御部４４１から出力位置、透過率及び画像サイズを受け取る。また、合成エンジン４４３は、補整エンジン４４９から、補整済画像データと形式フラグＰとを受け取る。ここで受け取る画像サイズは、補整済画像データにより生成される補整済画像のデータサイズと一致する。

説明の便宜上、合成途中画像データに基づいて生成される合成途中画像において、出力位置を起点とし、画像サイズにより定まる範囲を合成対象範囲と呼ぶ。
これらのデータを受け取ると、合成エンジン４４３は、合成バッファ４４４から合成途中画像データを読み出す。読み出した合成画像データのうち、合成対象範囲に対応する部分と、補整済画像データとを合成する。合成の詳細については、実施の形態１において説明した通り、各色のデータと透過率とを用いて算出する。

続いて、合成対象範囲の各ピクセルデータの第１ビットを受け取った形式フラグＰに書き換えて、合成途中画像データを更新する。
次に、合成エンジン４４３は、更新後の合成途中画像データを合成バッファ４４４に書き戻す。
（９）主制御部４０４
主制御部４０４は、図面上には記載していない制御信号を、各機能部へ出力し、その動作を制御する機能を有する。

主制御部４０４は、入力部４０３を介して、利用者による合成画像の生成要求を受け付ける。合成画像の生成要求を受け付けると、主制御部４０４は、変形用メモリ４４６及び補整用メモリ４４８を初期化する。次に、メモリ４０１から加工用データ群４５３を読み出し、変形用メモリ４４６へ書き込む。次に、メモリ３０１から補整用データ群４５４を読み出し、補整用メモリ４４８へ書き込む。なお、これらのデータの書き込みのタイミングはこれに限るものではなく、画像合成装置４００の起動時であっても良いし、画像合成の指示時（後述）後に合成制御部４４１により書き込まれるとしてもよい。

次に、主制御部４０４は、所定の選択画面及び入力画面を、表示部４０２に表示し、合成の対象となる画像の選択、加工の要否、補整の要否の入力を受け付ける。受け付けたデータを基に合成指示テーブル２１２を生成し、生成した合成指示テーブル２１２をメモリ４０１に書き込む。続いて、合成制御部４４１へ、画像合成を指示する。
また、主制御部４０４は、利用者の操作に従って、合成画像データ４１４を基に合成画像を生成し、表示部４０２に表示する。このとき、利用者により、合成画像中の位置（画素）が指定されると、合成画像データの加工の制御を行う。合成画像データの加工の制御については、実施の形態１と同様であるのでここでは、説明を省略する。
４．３ 動作
以下に本発明の、画像合成装置４００の動作について図面を用いて説明する。なお、合成画像データの加工処理における、画像合成装置４００の動作は、実施の形態１と同様であるので、ここでは、説明を省略する。

（１）画像合成の動作
画像合成を要求する利用者の操作を受け付けると、画像合成装置４００は、画像合成の処理を開始する。
図２６〜図２８は、画像合成処理における画像合成装置４００の動作を示したフローチャートである。以下に、図２６〜図２８を用いて、画像合成処理における画像合成装置４００の動作について説明する。

利用者の操作により画像合成が要求されると、主制御部４０４は、変形用メモリ４４６と補整用メモリ４４８とを初期化し、メモリ４０１から加工用データ群４５３を読み出し、読み出した加工用データ群４５３を、変形用メモリ４４６にを書き込む。また、メモリ４０１から補正用データ群４５４を読み出し、読み出した補正用データ群４５４を、補整用メモリ４４８に書き込む（ステップＳ４０１）。

次に、主制御部４０４は、入力部４０３を介して、合成対象となる画像の選択、表示位置、重ね合わせ順、加工の要否、画質補整の要否の入力を受け付ける（ステップＳ４０２）。主制御部４０４は、受け付けたデータを基に合成指示テーブル２１２を生成してメモリ３０１に書き込み、合成制御部４４１に画像合成を指示する（ステップＳ４０４）。
合成制御部４４１は、合成指示テーブル２１２に含まれる合成情報を、重ね合わせ順が最小のものから順に読み出す（ステップＳ４０６）。このとき、全ての合成情報が既に読み出し済みであれば（ステップＳ４０７のＹＥＳ）、主制御部４０４は、ステップＳ４０８へ処理を移す。

全ての合成情報が読み出し済みでなければ（ステップＳ４０７のＮＯ）、合成制御部４４１は、読み出した合成情報に含まれるデータ形式を形式変換部４４２へ出力する（ステップＳ４１１）。
次に、合成制御部４４１は、読み出した合成情報に含まれる変形情報を変形エンジン４４７へ出力する（ステップＳ４１２）。次に、合成制御部４４１は、読み出した合成情報に含まれる画質補整情報を補整エンジン４４９へ出力する（ステップＳ４１３）。

続いて、合成制御部４４１は、読み出した合成情報に含まれる出力位置、透過率及び画像サイズを合成エンジン４４３へ出力する（ステップＳ４１４）。
次に、合成制御部４４１は、読み出した合成情報と対応する画像データをメモリ４０１から読み出し、読み出した画像データを形式変換部４４２へ出力する（ステップＳ４１６）。

形式変換部４４２は、データ形式と画像データとを受け取る。受け取ったデータ形式がＲＧＢ形式であることを示していれば、（ステップＳ４１７の「ＲＧＢ」）、形式変換部４４２は、形式フラグＰ＝１を生成する（ステップＳ４１８）。受け取ったデータ形式が、ＹＵＶ形式であることを示していれば（ステップＳ４１７のＹＵＶ）、形式フラグＰ＝０を生成する（ステップＳ４１９）。

次に、形式変換部４４２は、受け取ったデータ形式に基づいて、受け取った画像データをＲ８Ｇ８Ｂ８形式に変換して変換済画像データを生成する（ステップＳ４２１）。続いて、生成した変換済画像データと形式フラグＰとを変形エンジン４４７へ出力する（ステップＳ４２２）。
変形エンジン４４７は、変形情報と形式フラグＰと変換済画像データとを受け取る。受け取った変形情報が「不要」でなければ（ステップＳ４２４のＮＯ）、変形エンジン４４７は、受け取った形式フラグＰと変形情報とを基に、加工用データ群４５１の中から最適な加工用データを選択し、選択した加工用データを変形用メモリ４４６から読み出す（ステップＳ４２６）。

次に、変形エンジン４４７は、読み出した加工用データを用いて、受け取った変形済画像データを加工して、変形済画像データを生成する（ステップＳ４２７）。次に、変形エンジン４４７は、生成した変形済画像データと受け取った形式フラグＰとを補整エンジン４４９へ出力する（ステップＳ４２８）。
受け取った変形情報が「不要」であれば（ステップＳ４２４のＹＥＳ）、受け取った変換済画像データを、そのまま、変形済画像データとして補整エンジン４４９へ出力する（ステップＳ４３１）。続いて、受け取った形式フラグＰを補整エンジン４４９へ出力する（ステップＳ４３２）。

補整エンジン４４９は、補整情報、形式フラグＰ及び変形済画像データを受け取る。受け取った補整情報が「不要」でなければ（ステップＳ４３３のＮＯ）、補整エンジン４４９は、受け取った形式フラグＰを基に、補整用データ群４５２の中から最適な補整用データを選択し、選択した補整用データを補整用メモリ４４８から読み出す（ステップＳ４３４）。次に、補整エンジン４４９読み出した補整用データを用いて受け取った変形済画像データに画質補整処理を施し、補整済画像データを生成する（ステップＳ４３６）。

続いて、補整エンジン４４９は、受け取った形式フラグＰと生成した補整済画像データとを合成エンジン４４３へ出力する（ステップＳ４３７）。
受け取った補整情報が「不要」であれば（ステップＳ４３３のＹＥＳ）、補整エンジン４４９は、受け取った変形済画像データを、そのまま、補整済画像データとして合成エンジン４４３へ出力する（ステップＳ４４１）。続いて受け取った形式フラグＰを合成エンジン４４３へ出力する（ステップＳ４４２）。

合成エンジン４４３は、出力位置、透過率、画像サイズ、補整済画像データ及び形式フラグを受け取る。これらを受け取ると、合成エンジン４４３は、合成バッファ４４４から、合成途中画像データを読み出す（ステップＳ４４３）。読み出した合成途中画像データのうち、合成対象範囲に対応する部分と補整画像データとを合成する（ステップＳ４４４）。続いて、合成エンジン４４３は、合成対象範囲に対応する部分の各ピクセルデータの第１ビットを受け取った形式フラグＰに書き換えて合成途中画像データを更新する（ステップＳ４４６）。

次に、合成エンジン４４３は、更新後の合成途中画像データを合成バッファ４４４に書き戻す（ステップＳ４４７）。

全ての合成情報について、これらの処理が終了すると（ステップＳ４０７のＹＥＳ）、合成制御部４４１は、合成バッファ４４４の保持している合成途中画像データを読み出し、合成画像データとして、メモリ４０１へ書き込む（ステップＳ４０８）。次に、主制御部４０４は、メモリ４０１から合成画像データ４１４を読み出し、読み出した合成画像データを基に合成画像を生成して表示部４０２へ表示する（ステップＳ４０９）。
４．４ まとめ
以上説明してきたように、本実施の形態では、先ず形式変換部が、合成対象となる画像データの形式をＲ８Ｇ８Ｂ８に変換すると共に、変換前の画像データの形式を示す形式フラグを生成する。合成前において、各画像データに加工や画質補整を施す際には、各エンジンは、それぞれに付随する変形用メモリ又は補整用メモリから、形式フラグを基に、迅速に、最適な加工用データ又は補整用データを選択し、読み出すことができる。
５．その他の変形例
本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各実施の形態では、ピクセルデータ毎に形式フラグ（実施の形態３では属性フラグ）Ｐを生成しているが、これに限定されるものではなく、合成画像データ中において、合成前の画像データと対応する部分とその部分に対応するフラグＰが特定できれば良い。
実施の形態１を例にすると、形式変換部１４２は、合成制御部１４１からデータ形式を受け取り、受け取ったデータ形式に従って、１ビット長の形式フラグＰを生成する。

続いて、形式変換部１４２は、入力画像データを受け取り、受け取った入力データのデータ形式を例えば、Ｒ８Ｇ８Ｂ８形式に変換して、変換済画像データを生成する。
次に、形式変換部１４２は、生成した形式フラグＰと変換済画像データとを合成エンジンへ出力する。
ここで、合成バッファ１４４の保持する合成途中画像データ及びメモリ１０１に記憶される合成画像データは、いずれもＲ８Ｇ８Ｂ８形式であるとする。

合成エンジン１４３は、合成制御部１４１から透過率と重ねあわせ順と出力座標と画像サイズとを受け取る。また、形式変換部１４２から、形式フラグＰと変換済画像データとを受け取る。これらを受け取ると、合成バッファ１４４から、合成途中画像データを読み出す。受け取った透過率を用いて、読み出した合成途中画像データと変換済画像データとを合成する。続いて、受け取った形式フラグＰと重ねあわせ順と出力座標と画像サイズからなる属性情報を生成する。次に、合成後の画像データにより合成バッファ１４４の保持する合成途中画像データを更新する。次に、生成した属性情報を合成バッファ１４４に書き込む。

合成エンジン１４３は、透過率と出力座標と画像サイズと形式フラグＰと変換済画像データを受け取る度に、同様にして合成途中画像データの更新、属性情報の生成及び書き込みを繰り返す。
ここで生成される属性情報は、それぞれ、合成画像中の領域１５１ａ、１５２ａ、１５３ａ及び１５４ａ各領域に含まれる画素に対応する形式フラグを示す。

次に、利用者の操作によりポインタ１６１の示す位置を中心とする拡大要求を受け付けると、主制御部１０４は、拡大の対象となる二次利用範囲を決定する。
続いて、主制御部１０４は、実施の形態１と同様にして、二次利用範囲に含まれる各画素について、拡大処理を施す。このとき、主制御部１０４は、処理の対象となっている画素を含む領域を示す属性情報を検出し、検出した属性情報に含まれる形式フラグＰを用いる。処理の対象となっている画素を含む属性情報が複数検出された場合、主制御部１０４は、検出された属性情報に含まれる重ね合わせ順を比較し、最大の重ね合わせ順を含む属性情報を採用する。

処理の対象となっている画素を含む属性情報が検出できなければ、主制御部１０４は、背景画像に対応する形式フラグ（ここではＰ＝０）を用いて、拡大処理を行う。
他の実施の形態でも同様に、合成画像上における各画像の占める領域を示す情報と形式フラグ（又は属性フラグ）と、重ね合わせ順とからなる属性情報を記憶しておいてもよい。このようにすることで、画素ごとに形式フラグを記憶しておく必要がなくなり、総データ量を削減することができる。

（３）実施の形態１において、主制御部１０４は、合成画像データのうちの二次利用範囲の各ピクセルデータに含まれる形式フラグＰの値によって、加工用データ、補整用データを選択し、それぞれ、変形用メモリ１４６及び補整用メモリに書き込んでいる。
しかし、これは、一例であって、例えば、主制御部１０４は、利用者が指定した位置（画素）に対応するピクセルデータに含まれる形式フラグの値によって選択した加工用データ及び補整用データを一度だけ変形用メモリ１４６及び補整用メモリ１４８に書き込み。変形エンジン１４７及び補整エンジン１４９は、それぞれ、変形用メモリ１４６及び補整用メモリ１４８に書き込まれたデータを用いて、二次利用範囲と対応する全てのピクセルデータの加工及び補整を行う構成であっても良い。

実施の形態２、３、４においても同様に、利用者の選択した画素に対応する形式フラグＰ（実施の形態３においては、属性フラグＰ）を基に、二次利用範囲の加工及び補整に用いられるデータを、一度だけ選択し、それぞれ、変形用メモリ及び補正用メモリに書き込むとしてもよい。
又は、二次利用範囲に含まれる各画素に対応するＰ値のうち、値が１のものの総数と、値が０のものの総数を比較し、値の大きい方のＰ値に従って、加工及び補整に用いられるデータを選択し、各メモリに１度だけ書き込むとしても良い。

なお、実施の形態３の場合は、Ｐ値のうち、第１ビットと第２ビットそれぞれについて、総数の比較を行う。
（４）各実施の形態において、合成エンジンは、合成バッファから合成途中画像データ（実施の形態２においては、これに加えて、形式フラグ群）を読み出し、合成処理を行っているが、合成制御部から受け取った透過率が「０」の場合、読み出しは行わず、合成途中画像データのうち、合成対象範囲に対応する部分を、受け取った画像データにより上書きする構成であっても良い。

（５）実施の形態１では、合成前の画像データの形式を示すフラグは１ビット長であって、「０」はＲＧＢ形式、「１」はＹＵＶ形式であるとしたがこれに限定されるものではない。
例えば、ＹＵＶ形式には、データのまとめ方が異なるパックド方式とプラナー方式の２種類の方式がある。さらに、データの間引き方によりＹＵＶ４２０、ＹＵＶ４２２など数種類の形式がある。

形式フラグＰは、これらの違いも含めた形式を示す複数ビット長のデータであってもよい。具体的には、第１ビットは、ＲＧＢ形式かＹＵＶ形式かを示し、第２ビットは、パックド方式かプラナー方式かを示し、第３ビット（又は第３ビット以後の数ビット）は、ＹＵＶ形式におけるデータの間引き方を示すとしてもよい。
（６）実施の形態２において、形式変換部２４２は、入力された補整済画像データのデータ形式を、Ｒ８Ｇ８Ｂ８形式に変換しているが、これに限定されるものではない。

例えば、Ｒ５Ｇ６Ｂ５形式にすることにより、生成される合成画像データのアドレス管理を容易にする構成であっても良い。
（７）実施の形態３では、説明を容易にするために、画像合成装置３００は、複数の画像データをそのまま又は拡大して合成する装置であるとして説明してきた。しかし、他の実施の形態同様に、拡大以外にも、縮小、反転、回転などの加工を施した後合成するとしても良い。この場合、属性ビットは、８ビット以下のデータであって、各ビットが、それぞれの処理の有無を示す。

具体的には、第１ビットは拡大の有無、第２ビットは、縮小の有無、第３ビットは、反転の有無・・・を示す構成であってもよい。
（８）上記の実施の形態１、２、４では、Ｐの値は合成前の画像データのデータ形式を示しており、実施の形態３では、合成前の加工及び画質補整処理の有無を示しているがこれに限定されるものではない。

例えば、各画像データを生成したソフトウェアの種類が考えられる。具体的には、ペイント画像ソフトウェア、写真画像データを生成するソフトウェアが該当する。また、実施の形態では複数の画像データを合成するとしてきたが、画像データに限らず、文書作成ソフトウェアにより作成されたテキストデータ、表計算ソフトウェアにより作成された表なども合成する構成であっても良い。

この場合、形式変換部は、各データをＲＧＢ形式の画像データに変換すると共に、変換前のデータの種類及び形式を示す数ビット長の形式フラグを生成する。
（９）上記の実施の形態１〜４及び変形例では、各画像データは、画像合成装置内のメモリに記憶されているが、これに限定されるものではない。
例えば、入力部は、可搬型記憶媒体を装着する機構及び記録装置を接続する機構を備え、利用者は、画像合成装置内のメモリ、外部の記録媒体及び記録装置に記憶されている画像データの中から、合成の対象となる画像データを選択する構成であってもよい。

また、生成された合成画像データ、加工画像データを内部のメモリに書き込むとしているが、これに限定されるものではなく、外部の記録媒体、記録装置などへ出力する構成であっても良い。
また、上記の実施の形態及び変形例では、画像合成装置が合成画像データを生成し、さらに、加工画像データを生成しているが、加工画像データを外部機器又は、記録媒体などへ出力し、外部機器が合成画像データを基に加工画像データを生成しても良い。

（１０）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ、ＲＯＭ、前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（１１）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

（１２）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（１３）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（１４）また、上記実施例におけるメモリカード、ＳＩＭカードの機能ブロックの全てが集積回路であるＬＳＩとして実現される場合も本発明に含まれる。また、機能ブロックの全てに限らず一部がＬＳＩとして実現される場合も本発明に含まれる。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性として有り得る。

（１５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、画像データを合成して出力する装置、合成された画像データを下降する装置を製造、販売する産業、及び、これらの装置を用いて各種のサービスを提供する産業において、経営的、反復的に利用可能である。

１００ 画像合成装置
１０１ メモリ
１０２ 表示部
１０３ 入力部
１０４ 主制御部
１０５ 画像処理部
１４１ 合成制御部
１４２ 形式変換部
１４３ 合成エンジン
１４４ 合成バッファ
１４６ 変形用メモリ
１４７ 変形エンジン
１４８ 補整用メモリ
１４９ 補整エンジン

Claims (18)

1. 複数の画像データを合成して合成画像データを生成する画像合成装置であって、
   合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、
   取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、
   前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付手段と
   を備えることを特徴とする画像合成装置。
2. 前記複数の対象画像データは、それぞれ、異なるデータ形式の入力画像データを、何れか一つのデータ形式に統一して生成され、
   前記取得手段は、各対象画像データと対応する入力画像データのデータ形式を示す前記属性情報を取得する
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記複数の対象画像データの何れかは、入力画像データを加工して生成されたものであって、
   前記取得手段は、各対象画像データの加工履歴を示す前記属性情報を取得する
   ことを特徴とする請求項１に記載の画像合成装置。
4. 前記合成画像データにおいて、２以上の対象画像データと対応する部分の少なくとも一部が重複する場合、
   前記対応付手段は、前記合成画像データから生成される合成画像上において、前記一部に相当する領域の最前面に表示される対象画像と対応する対象画像データの属性情報を前記一部に対応付ける
   ことを特徴とする請求項１に記載の画像合成装置。
5. 前記合成画像データは、複数のピクセルデータから構成され、
   前記対応付手段は、前記合成画像データのうち、各対象画像データと対応する部分を構成する各ピクセルデータそれぞれに、該当する属性情報を対応付ける
   ことを特徴とする請求項１に記載の画像合成装置。
6. 前記対応付手段は、
   １６ビットの偶数倍のビット数を１単位としてデータを記憶する記憶部と、
   １ピクセルデータのビット長及び前記属性情報のビット長との和が１６ビットの偶数倍になるようなビット長の補完データを生成する補完部と、
   前記記憶部に、前記合成画像データを構成する各ピクセルデータと、当該ピクセルデータに対応する属性情報と前記補完データを連続して書き込む書込部とを含む
   ことを特徴とする請求項５に記載の画像合成装置。
7. 前記属性情報は、対応する対象画像データの生成時におけるコード化に係る特性を示す最小ビット数のデータであって、
   前記対応付手段は、
   データを記憶する記憶部と、
   前記合成画像データを構成するピクセルデータ群と、各ピクセルデータに対応する属性情報群とを前記記憶部に書き込む書込部とを含む
   ことを特徴とする請求項５に記載の画像合成装置。
8. 前記対応付手段は、
   データを記憶する記憶部と、
   前記合成画像データにおける各対象画像データと対応する部分を示す部分情報を生成する生成部と、
   各部分情報及び対応する属性情報を、前記記憶部に書き込む書込部とを含む
   ことを特徴とする請求項１に記載の画像合成装置。
9. 前記合成手段は、
   各属性情報に基づき加工アルゴリズムを選択する選択部と、
   選択された加工アルゴリズムに基づき各属性情報と対応する対象画像データを加工する加工部と、
   加工後の対象画像データ群を合成する合成部と
   を含むことを特徴とする請求項１に記載の画像合成装置。
10. 前記画像合成装置は、さらに、
    前記合成画像データに対する加工指示を受け付ける受付手段と、
    前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、
    選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段と
    を備えることを特徴とする請求項１に記載の画像合成装置。
11. 前記選択手段は、
    前記加工指示の対象となる範囲内の１のピクセルデータに対応する前記属性情報を検出する検出部と、
    検出した属性情報に対応する加工アルゴリズムを選択する選択部と、
    前記加工指示の対象となる範囲内の全てのピクセルデータに関して前記検出及び選択の繰返しを指示する繰返制御部と
    を含み、
    前記加工手段は、選択された加工アルゴリズムに従い、前記加工指示の対象となる範囲内の各ピクセルデータを加工する
    ことを特徴とする請求項１０に記載の画像合成装置。
12. 前記加工指示は、所定の画素を示す位置情報を含み、
    前記選択手段は、前記合成画像データのうち、前記位置情報の示す画素に表示されるピクセルデータと対応する前記属性情報に基づいて前記加工アルゴリズムを選択する
    ことを特徴とする請求項１０に記載の画像合成装置。
13. 前記選択手段は、前記加工指示の対象となる部分の全てのピクセルデータに対応する前記属性情報を検出し、検出した属性情報群のうち、最多数を占める属性情報に基づいて、前記加工アルゴリズムを選択する
    ことを特徴とする請求項１０に記載の画像合成装置。
14. 複数の画像データを合成して合成画像データを生成する画像合成装置と、合成画像データを加工して加工画像データを生成する加工装置とから構成される画像データ利用システムであって、
    前記画像合成装置は、
    合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、
    取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、
    前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付手段とを備え、
    前記加工装置は、
    前記合成画像データを取得するデータ取得手段と、
    前記合成画像データに対する加工指示を受け付ける受付手段と、
    前記合成画像データのうち、前記加工指示の対象となる部分に対応する前記属性情報を基に、加工アルゴリズムを選択する選択手段と、
    選択された加工アルゴリズムに従って前記合成画像データを加工する加工手段とを備える
    ことを特徴とする画像データ利用システム。
15. 複数の画像データを合成して合成画像データを生成する画像合成装置において用いられる画像合成方法であって、
    合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得ステップと、
    取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成ステップと、
    前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付ステップと
    を含むことを特徴とする画像合成方法。
16. 複数の画像データを合成して合成画像データを生成する画像合成装置において用いられる画像合成プログラムであって、
    合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得ステップと、
    取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成ステップと、
    前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付ステップと
    を含むを特徴とする画像合成プログラム。
17. 前記画像合成プログラムは、
    コンピュータ読み取り可能な記録媒体に記憶されている
    ことを特徴とする請求項１３に記載の画像合成プログラム。
18. 複数の画像データを合成して合成画像データを生成する画像合成装置に搭載される集積回路であって、
    合成対象となる複数の対象画像データと、各対象画像データの生成時におけるコード化に係る属性情報とを取得する取得手段と、
    取得した複数の前記対象画像データを合成して前記合成画像データを生成する合成手段と、
    前記合成画像データのうち、各対象画像データと対応する部分に各属性情報を対応付ける対応付手段と
    を備えることを特徴とする集積回路。

Images