JP3954052B2 - 画像合成装置、画像合成方法、画像合成プログラムおよび画像合成プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Description

この発明は、画像合成装置、画像合成方法、画像合成プログラムおよび画像合成プログラムを記録したコンピュータ読取可能な記録媒体に関し、特に符号化された複数の画像を合成するための画像合成装置、画像合成方法、画像合成プログラムおよび画像合成プログラムを記録したコンピュータ読取可能な記録媒体に関する。

近年、テレビ放送のデジタル化や、インターネットでの動画配信、デジタルカメラ、デジタルビデオカメラの普及等により、符号化された動画データおよび静止画データを利用する機会が増えている。それに伴い、符号化画像データの編集も、広く行なわれるようになってきている。動画や静止画の画像データの空間領域から周波数領域への直交変換処理、量子化処理および符号化処理がこの順で実行される非可逆符号化方式が利用される場合が多い。また符号化された画像データを空間領域まで復号するには、係数の復号処理、逆量子化処理および周波数領域から空間領域への直交逆変換処理がこの順で実行される。直交変換処理は、離散コサイン変換（ＤＣＴ）やカルーネン／レーベ変換（ＫＬＴ）等の直交変換技術が用いられている。この直交変換技術を用いた非可逆符号化方式の符号化画像データを容易に編集・加工するニーズが近年増してきている。

現在広く用いられている離散コサイン変換（ＤＣＴ）等の直交変換を利用した画像符号化方式は、直交変換処理、量子化処理、ハフマン符号化等の可逆符号化処理により符号化を行うものである。

ここでは、空間領域の画素データで表現された画像データを空間領域画像データと定義し、空間領域画像データを直交変換処理して得られた量子化されていない画像データを直交変換領域画像データと定義する。また、直交変換領域画像データを量子化した画像データを量子化直交変換領域画像データと定義し、量子化直交変換画像データを符号化処理して得られる画像データを直交変換領域符号化画像データと定義する。

ここで、直交変換領域符号化画像データの合成について説明する。図１６は、複数の画像データの合成処理を説明するための図である。図１６（Ａ）は第１直交変換領域符号化画像データを示し、図１６（Ｂ）は第２直交変換領域符号化画像データを示し、図１６（Ｃ）は合成後の直交変換領域符号化画像データを示す。第１直交変換領域符号化画像データ１０１内に、第２直交変換領域符号化画像データ１０２の一部分(点線で囲まれた部分)を貼り付けて、新たな合成直交変換領域符号化画像データ１０３を作成する場合を示している。

従来の合成処理では次の手順で合成処理が行なわれていた。

（１）第１直交変換領域符号化画像データ１０１および第２直交変換領域符号化画像データ１０２をそれぞれ復号処理し、第１量子化直交変換領域画像データおよび第２量子化直交変換領域画像データを作成する。

（２）第１量子化直交変換領域画像データおよび第２量子化直交変換領域画像データをそれぞれ逆量子化処理し、第１直交変換領域画像データおよび第２直交変換領域画像データを作成する。

（３）第１直交変換領域画像データおよび第２直交変換領域画像データを直交逆変換を行い、第１空間領域画像データおよび第２空間領域画像データを作成する。

（４）第２空間領域画像データの図１６の１０２の点線で囲まれた部分を切取り、第１空間領域画像データの図１６の１０１に貼付けて、合成空間領域画像データを作成する。

（５）合成空間領域画像データを直交変換処理し、合成直交変換領域画像データを作成する。

（６）合成直交変換領域画像データを指定した量子化テーブルを用いて量子化処理し、合成量子化直交変換領域画像データを作成する。

（７）合成量子化直交変換領域画像データを可逆符号化処理し、合成直交変換領域符号化画像データ１０３を作成する。

しかしながら、この従来の画像データの合成方法には以下の３つの問題がある。

（１）処理速度の問題
空間領域で画像を合成するため、合成に用いる直交変換領域符号化画像データを、空間領域画像データまで変換するための処理、および空間領域で作成された合成空間領域画像データから、合成直交変換領域符号化画像データまで変換するための処理が必要であり、処理に多大な時間を要する。このため、処理速度が遅くなるといった問題がある。特に画像データが動画像の場合には、リアルタイムで合成したい場合など、時間的な制限があるため、装置に高い処理能力が要求される。

（２）適正画質決定に時間がかかる
合成空間領域画像データの符号化方式は非可逆符号化方式なので、画質の劣化は避けられない。画質は、一旦符号化した合成直交変換領域符号化画像データを復号した合成空間領域画像データを実際に目視で確認し、所望の画質かどうかを判断する必要がある。確認した結果、所望の画質に達していない場合は、量子化ステップ等のパラメータを変えて、再度合成空間領域画像データ以降の符号化に伴う一連の処理を行わなければならない。また、これを、所望の画質が得られるまで繰返して行う必要があり、時間と労力が必要となる。

（３）圧縮率低下の問題
第１画像データを量子化するために用いられた量子化ステップ、第２画像データを量子化するために用いられた量子化ステップ、合成画像データを量子化するための量子化ステップがそれぞれ独立して決定される。このため、符号化合成画像データの容量が画質の割に大きくなってしまう場合がある。

これら問題点のうち（２）適正画質決定に時間がかかる問題を解決するための技術が、特開平７−１８４１９９号公報（特許文献１）に記載されている。特開平７−１８４１９９号公報には、固定長符号化方式で画像データに対し符号化および復号処理を複数回繰返して符号化または復号処理を行うものであって、画像データおよび符号データを、符号データおよび画像データ間で変化が起こらない可逆状態に収束させるためのデータ収束手段と、初期の画像データと可逆状態に収束した後の画素データとの間の平均自乗誤差が所定のレベル以下であることを確認するデータ収束確認手段とを設け、準可逆符号化方式による収束データを復号データとして用いることが記載されている。

しかしながら、特開平７−１８４１９９号公報に記載の画像データ符号化回路では、目視で確認するための労力を減らすことはできるが、量子化処理を含む符号化処理および逆量子化を含む復号処理を複数回実行することになるため、処理に時間がかかるか装置に高い処理能力が要求される。また、画質を所望のレベルとすることができるが、符号化後のデータ量が、大きくなってしまうこともある。
特開平７−１８４１９９号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成装置を提供することである。

この発明の他の目的は、符号化画像を合成する装置の負荷を低減させることが可能な画像合成装置を提供することである。

この発明のさらに他の目的は、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成方法を提供することである。

この発明のさらに他の目的は、装置の負荷を低減させることが可能な画像合成方法を提供することである。

この発明の他の目的は、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成プログラム、そのプログラムを記録したコンピュータ読取可能な記録媒体を提供することである。

この発明のさらに他の目的は、コンピュータの負荷を低減させることが可能な画像合成プログラム、そのプログラムを記録したコンピュータ読取可能な記録媒体を提供することである。

上述した目的を達成するためにこの発明のある局面によれば、画像合成装置は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルと合成量子化テーブルとを入力する入力手段と、入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、抽出された複数の領域を合成した合成データを生成する合成手段と、抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび合成量子化テーブルに基づいて変換する変換手段とを備える。

この発明に従えば、一つまたは複数の画像データから抽出された複数の領域を合成する。抽出された複数の領域それぞれの関数変換係数値が、該領域に対応する量子化テーブルおよび合成量子化テーブルに基づいて変換される。この変換は、たとえば、量子化された複数の領域ごとに量子化に用いた量子化テーブルを用いて逆量子化した後に、逆量子化された複数の領域に単一の合成量子化テーブルを用いて量子化する処理である。このため、各領域の関数変換系数値を量子化することにより発生する誤差を少なくすることができる。その結果、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成装置を提供することができる。

この発明の他の局面によれば、画像合成装置は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力する入力手段と、入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、抽出された複数の領域を合成した合成データを生成する合成手段と、少なくとも抽出された複数の領域に対応する量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび合成量子化テーブルに基づいて変換する変換手段とを備える。

この発明に従えば、複数の領域それぞれに対応する量子化テーブルに基づいて合成量子化テーブルを決定するので、量子化により発生する誤差の少ない合成量子化テーブルを決定することができる。このため、復号された画像データを目視で確認する必要がないので、復号処理および符号化処理を複数回繰返す必要がない。その結果、符号化画像を合成する装置の負荷を低減させることが可能な画像合成装置を提供することができる。

好ましくは、変換手段は、抽出された複数の領域それぞれの関数変換係数値を、該領域の量子化テーブルの対応する要素と合成量子化テーブルの対応する要素とに基づいて変換する。

この発明のさらに他の局面によれば、画像合成装置は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルと合成量子化テーブルとを入力する入力手段と、入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、抽出された複数の領域を合成した合成データを生成する合成手段と、抽出された複数の領域の関数係数値それぞれを、該領域に対応する量子化テーブルを用いて逆量子化する逆量子化手段と、合成量子化テーブルを用いて、合成データの逆量子化された関数変換系数値を量子化する量子化手段とを備える。

この発明に従えば、一つまたは複数の画像データから抽出された複数の領域を合成して合成データが生成される。複数の領域の関数係数値それぞれは、該領域に対応する量子化テーブルを用いて逆量子化され、合成量子化テーブルを用いて、合成データの逆量子化された関数変換系数値が量子化される。このため、各領域の関数変換系数値を量子化することにより発生する誤差を少なくすることができる。その結果、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成装置を提供することができる。

この発明のさらに他の局面によれば、画像合成装置は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルとを入力する入力手段と、入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、抽出された複数の領域を合成した合成データを生成する合成手段と、少なくとも抽出された複数の領域の前記関数係数値それぞれを、該領域に対応する量子化テーブルを用いて逆量子化する逆量子化手段と、複数の領域それぞれに対応する量子化テーブルに基づいて合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、作成された合成量子化テーブルを用いて、合成データの逆量子化された関数変換系数値を量子化する量子化手段とを備える。

この発明に従えば、複数の領域を量子化する際に用いた量子化テーブルに基づいて合成量子化テーブルが決定されるので、合成量子化テーブルを用いて各領域の関数変換系数値を量子化することにより発生する誤差を少なくすることができる。また、復号処理および符号化処理を複数回繰返す必要がないので、装置の負荷を低減させることが可能な画像合成装置を提供することができる。

好ましくは、合成量子化テーブル作成処理手段は、複数の領域それぞれに対応する量子化テーブルの対応する要素の比率に基づき合成量子化テーブルを決定する。

好ましくは、合成量子化テーブル作成処理手段は、合成量子化テーブルの各要素を、複数の領域それぞれに対応する量子化テーブルの対応する要素の公約数とする。

好ましくは、合成量子化テーブル作成処理手段は、合成量子化テーブルの各要素を、複数の領域それぞれに対応する量子化テーブルの対応する要素の最大公約数とする。

この発明に従えば、量子化により発生する誤差をより少なくすることができる。

この発明のさらに他の局面によれば、画像合成方法は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルと合成量子化テーブルとを入力するステップと、入力された一つまたは複数の画像データから複数の領域を抽出するステップと、抽出された複数の領域を合成した合成データを生成するステップと、抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび合成量子化テーブルに基づいて変換するステップとを含む。

この発明に従えば、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成方法を提供することができる。

この発明のさらに他の局面によれば、画象合成方法は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力するステップと、入力された一つまたは複数の画像データから複数の領域を抽出するステップと、抽出された複数の領域を合成した合成データを生成するステップと、少なくとも抽出された複数の領域に対応する量子化テーブルに基づいて、合成量子化テーブルを作成するステップと、抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび合成量子化テーブルに基づいて変換するステップとを含む。

この発明に従えば、画質の劣化および圧縮率の低下を防止することが可能な画像合成方法を提供することができる。また、装置の負荷を低減させることが可能な画像合成方法を提供することができる。

この発明のさらに他の局面によれば、画像合成方法は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換と量子化された関数変換係数値を含む一つまたは複数の画像データおよび一つまたは複数の画像データそれぞれに対応する量子化テーブルと合成量子化テーブルとを入力するステップと、入力された一つまたは複数の画像データから複数の領域を抽出するステップと、抽出された複数の領域を合成した合成データを生成するステップと、抽出された複数の領域の関数係数値それぞれを、該領域に対応する量子化テーブルを用いて逆量子化するステップと、合成量子化テーブルを用いて、合成データの逆量子化された関数変換系数値を量子化するステップとを含む。

この発明に従えば、合成画像を生成する際の画質の劣化および圧縮率の低下を防止することが可能な画像合成方法を提供することができる。

この発明のさらに他の局面によれば、画像合成方法は、空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数を含む一つまたは複数の画像データと一つまたは複数の画像データそれぞれに対応する量子化テーブルとを入力するステップと、入力された一つまたは複数の画像データから複数の領域を抽出するステップと、抽出された複数の領域を合成した合成データを生成するステップと、少なくとも抽出された複数の領域の関数係数値それぞれを、該領域に対応する量子化テーブルを用いて逆量子化するステップと、複数の領域それぞれに対応する量子化テーブルに基づいて合成量子化テーブルを作成するステップと、作成された合成量子化テーブルを用いて、合成データの逆量子化された関数変換系数値を量子化するステップとを含む。

この発明に従えば、画質の劣化および圧縮率の低下を防止することが可能な画像合成方法を提供することができる。また、装置の負荷を低減させることが可能な画像合成方法を提供することができる。

この発明のさらに他の局面によれば、画像合成プログラムは、上記画像合成方法の各ステップをコンピュータに実行させる。

この発明に従えば、画質の劣化および圧縮率の低下を防止することが可能な画像合成プログラムを提供することができる。また、コンピュータの負荷を低減させることが可能な画像合成プログラムを提供することができる。

この発明のさらに他の局面によれば、上記画像合成プログラムを記録したコンピュータ読取可能な記録媒体である。

この発明に従えば、画質の劣化および圧縮率の低下を防止することが可能な画像合成プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。また、コンピュータの負荷を低減させることが可能な画像合成プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

本実施の形態における画像合成装置は、関数変換を用いた画像符号化方式で符号化された符号化画像データの合成を行う。ここで、関数変換とは、基底関数の組による、空間領域からの変換をいう。また、空間領域に対し関数変換された領域を関数変換領域という。関数変換には、ＤＣＴ（離散コサイン変換）、ＤＦＴ（離散フーリエ変換）、ウォルシュ・アダマール変換（ＷＨＴ）、離散サイン変換（ＤＳＴ）、ハール変換、スラント変換、カルーネン／レーベ変換（ＫＬＴ）、直交ウェーブレット変換に代表される直交変換にとどまらず、非直交ウェーブレット等の非直交変換も含まれる。

ここで、本明細書で用いるその他の用語について定義しておく。まず、空間領域で表現された画像データを空間領域画像データという。関数変換によって得られる画像データを関数変換領域画像データといい、その係数を関数変換係数という。また、関数変換係数の値を関数変換係数値という。

また、関数変換領域画像データの関数変換係数が量子化されている画像データを量子化関数変換領域画像データといい、その係数を量子化関数変換係数という。また、量子化関数変換領域画像データをハフマン符号化等の可逆符号化されているデータを符号化画像データという。

また、画像データとは、空間領域画像データ、関数変換領域画像データ、量子化関数変換領域画像データ、符号化画像データなど、全ての画像を表現するデータを包含したものであるとする。

また、関数変換領域から、空間領域への基底関数の組による変換を関数逆変換という。

ここで、図１６を用いて、本実施の形態の画像合成装置について、説明する。本実施の形態の画像合成装置は、空間領域から関数変換領域に変換する関数変換処理は例えば（８画素×８画素）のブロック単位で行なう。また、画像データの各種係数および画素値の切取および貼り付けは前記ブロック単位で行う。なお、ブロックの大きさは、任意で構わない。関数変換がＮ画素×Ｍ画素のブロック単位でなされる場合は、Ｎ×Ｍのブロック単位で各種係数および画素値の切取、および貼り付けを行えばよい。

＜第１の実施の形態＞
図１は、第１の実施の形態における画像合成装置の機能の概略を示す機能ブロック図である。画像合成装置１００４は、一般的なコンピュータで実現することができる。コンピュータのハード構成は周知であるのでここでは説明を繰返さない。

図１を参照して、画像合成装置１００４は、第１画像入力装置１００１、第２画像入力装置１００２、合成マップ入力装置１００３および符号化合成画像データ出力装置１００５と接続される。画像合成装置１００４には、第１画像入力装置１００１から第１符号化画像データが入力され、第２画像入力装置１００２から第２符号化画像データが入力され、合成マップ入力装置１００３から合成マップデータが入力される。第１符号化画像データは、量子化幅を表現した第１量子化テーブルをヘッダ情報に含んだデータである。第２符号化画像データは、量子化幅を表現した第２量子化テーブルをヘッダ情報に含んだデータである。

画像合成装置１００４は、第１符号化画像データと、第２符号化画像データと、合成マップデータとに基づき、符号化合成画像データを生成し、符号化合成画像データ出力装置１００５に出力する。

画像合成装置１００４には、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）１０２１が装着可能である。画像合成装置１００４は、ＣＤ−ＲＯＭ等の記録媒体に記録された画像合成プログラムをＣＰＵ（Central Processing Unit）により実行するようにしてもよい。一般的にこうした画像合成プログラムは、ＣＤ−ＲＯＭドライブなどにより記録媒体から読取られてハードディスクに一旦格納される。さらにハードディスクからランダムアクセスメモリ（ＲＡＭ）に読出されてＣＰＵにより実行される。

なお、記録媒体としては、ＣＤ−ＲＯＭ、ハードディスクに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

ここで合成マップデータについて説明する。合成マップデータは、合成画像の生成方法を定義するデータである。合成画像は、１つまたは複数の画像の少なくとも一部の領域を配置して定まる。したがって、合成マップデータは、合成の元となる画像中の合成の対象となる領域の位置およびその領域の合成画像中の位置とを定義する。具体的には、第１画像データ中の合成画像に用いられる領域の位置およびその領域の合成画像中の位置と、第２画像データ中の合成画像に用いる領域の位置およびその領域の合成画像中の位置とを定義する。

図２は、合成マップデータの一例を示す図である。図２を参照して、合成マップデータについての説明を行う。合成マップデータは、ヘッダ部とデータ部からなる。データ部は、第１画像切取領域データと、第２画像切取領域データと、合成画像貼付領域データとを含む。ヘッダ部は、各領域データのオフセット値を定義するためのデータである。ヘッダ部に定義されたオフセット値に基づいて、各領域データにアクセス可能となる。

ここで、図１６に示した複数の画像データの合成処理に対応する合成マップデータについて説明する。図３は第１画像切取領域データを示す図である。図４は第２画像切取領域データを示す図、図５は合成画像貼付領域データを示す図である。第１画像切取領域データは、第１直交変換領域符号化画像データ１０１に対応し、第１直交変換領域符号化画像データ１０１と同じサイズである。第２画像切取領域データは、第２直交変換領域符号化画像データ１０２に対応し、第２直交変換領域符号化画像データ１０２と同じサイズである。合成画像貼付領域データは、合成直交変換領域符号化画像データ１０３に対応し、合成直交変換領域符号化画像データ１０３と同じサイズである。第１画像切取領域データの斜線部２０１と合成画像貼付領域データの斜線部４０１とはすべて同じ値（例えば１）であることを示している。第２画像切取領域データの斜線部３０１と合成画像貼付領域データの斜線部４０２とは、斜線部２０１と斜線部４０１とは異なる値ですべて同じ値（例えば２）であることを示している。第１画像切取領域データの空白領域２０２および第２画像切取領域データの空白領域３０２はすべて同じ値（例えば０）であることを示している。

合成画像貼付領域データ中の領域４０１は第１画像切取領域データ中の斜線部２０１に対応し、合成画像貼付領域データ中の領域４０２は第２画像切取領域データ中の斜線部３０１に対応し、それぞれ合成時に用いる領域を示している。第１画像切取領域データ中の空白領域２０２と、第２画像切取領域データ中の空白領域３０２とは、合成に用いない領域を示す。

第１画像切取領域データは、第１符号化画像データ中で合成に用いる領域（斜線部２０１）の位置を定義する。第２画像切取領域データは、第２符号化画像データ中の合成に用いる領域（斜線部３０１）の位置を定義する。合成画像貼付領域データは、第１符号化画像データ中の合成に用いる領域（斜線部２０１）と第２符号化画像データ中の合成に用いる領域（斜線部３０１）との合成画像中の位置を定義する。具体的には、第１画像切取領域データ中の斜線部２０１に対応する第１符号化画像データの領域は、その符号化合成画像データ中の位置が、斜線部２０１と同じ値を有する合成画像貼付領域データ中の領域４０１で定義される。第２画像切取領域データ中の斜線部３０１に対応する第２符号化画像データの領域は、その符号化合成画像データ中の位置が、斜線部３０１と同じ値を有する合成画像貼付領域データ中の領域４０２で定義される。

図６は、画像合成処理の別の例を説明するための図である。図６（Ａ）は、第１符号化画像データを示し、図６（Ｂ）は第２符号化画像データを示し、図６（Ｃ）は符号化合成画像データを示す。図７は第１画像切取領域データを示す別の図である。図８は第２画像切取領域データを示す別の図である。図９は合成画像貼付領域データを示す別の図である。

第１画像切取領域データは、図６（Ａ）に示す第１符号化画像データに対応し、第１符号化画像データと同じサイズである。第２画像切取領域データは、図６（Ｂ）に示す第２符号化画像データに対応し、第２符号化画像データと同じサイズである。合成画像貼付領域データは、図６（Ｃ）に示す符号化合成画像データに対応し、符号化合成画像データと同じサイズである。第１画像切取領域データの斜線部６０１と合成画像貼付領域データの斜線部８０１とはすべて同じ値（例えば１）であることを示している。第２画像切取領域データの斜線部７０１と合成画像貼付領域データの斜線部８０２とは、斜線部６０２と斜線部８０１とは異なる値ですべて同じ値（例えば２）であることを示している。第１画像切取領域データの空白領域６０１および第２画像切取領域データの空白領域７０２はすべて同じ値（例えば０）であることを示している。

合成画像貼付領域データ中の領域８０１は第１画像切取領域データ中の斜線部６０２に対応し、合成画像貼付領域データ中の領域８０２は第２画像切取領域データ中の斜線部７０１に対応し、それぞれ合成時に用いる領域を示している。第１画像切取領域データ中の空白領域６０１と、第２画像切取領域データ中の空白領域７０２とは、合成に用いない領域を示す。

第１画像切取領域データは、第１符号化画像データ中で合成に用いる領域（斜線部６０２）の位置を定義する。第２画像切取領域データは、第２符号化画像データ中の合成に用いる領域（斜線部７０１）の位置を定義する。合成画像貼付領域データは、第１符号化画像データ中の合成に用いる領域（斜線部６０２）と第２符号化画像データ中の合成に用いる領域（斜線部７０１）との合成符号化画像データ中の位置を定義する。具体的には、第１画像切取領域データ中の斜線部６０２に対応する第１符号化画像データの領域は、その符号化合成画像データ中の位置が、斜線部６０２と同じ値を有する合成画像貼付領域データ中の領域８０１で定義される。第２画像切取領域データ中の斜線部７０１に対応する第２画像符号化データの領域は、その符号化合成画像データ中の位置が、斜線部７０１と同じ値を有する合成画像貼付領域データ中の領域８０２で定義される。

なお、合成マップデータは、切取る領域と、その切取る領域を合成符号化画像データのどの位置に貼り付けるかが一意に規定されれば、どのような形式のものでもかまわない。

図１に戻って、画像合成装置１００４は、第１画像データ入力装置１００１から入力された第１符号化画像データを記憶する第１符号化画像データバッファ１００６と、第２画像データ入力装置１００２から入力された第２符号化画像データを記憶する第２符号化画像データバッファ１００７と、合成マップ入力装置１００３から入力された合成マップデータを記憶する合成マップデータバッファ１００８と、第１および第２符号化画像データを復号し、復号後の量子化関数変換領域画像データの各量子化関数変換係数を、第１量子化関数変換係数データおよび第２量子化関数変換係数データとして取出す量子化関数変換係数取得処理部１００９と、取出された第１および第２量子化関数変換係数データそれぞれを記憶するための第１および第２量子化関数変換係数データバッファ１０１１，１０１３と、第１および第２符号化画像データから第１および第２量子化テーブルを取出す量子化テーブル取得処理部１０１０と、取出された量子化テーブルを記憶するための第１および第２量子化テーブルバッファ１０１２，１０１５と、第１および第２量子化テーブルから合成量子化テーブルを作成する合成量子化テーブル作成処理部１０１７と、第１および第２量子化関数変換係数データをそれぞれ変換して第１および第２量子化関数変換係数データを作成するための合成量子化関数変換係数データ作成処理部１０１４と、作成された合成量子化関数変換係数データを記憶するための合成量子化関数変換データバッファ１０１６と、合成量子化関数変換係数データおよび合成量子化テーブルとから符号化合成画像データを作成する符号化合成画像データ作成処理部１０１９と、符号化合成画像データを記憶するための符号化合成画像データバッファ１０２０とを含む。

第１符号化画像データバッファ１００６、第２符号化画像データバッファ１００７、合成マップデータバッファ１００８、第１および第２量子化関数変換係数データバッファ１０１１，１０１３、第１および第２量子化テーブルバッファ１０１２，１０１５、合成量子化テーブルバッファ１０１８、合成量子化関数変換係数データバッファ１０１６、符号化合成画像データバッファ１０２０は、フラッシュメモリ、ハードディスク等のＲＡＭ(ランダムアクセスメモリ)によって実現される。

量子化関数変換係数取得処理部１００９、量子化テーブル取得処理部１０１０、合成量子化テーブル作成処理部１０１７、合成量子化関数変換係数データ作成処理部１０１４、符号化合成画像データ作成処理部１０１９は、例えばそれぞれ独立した回路によって実現される。また、例えばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。

量子化関数変換係数取得処理部１００９は、第１符号化画像データバッファ１００６から第１符号化画像データを読込み復号し、第１量子化関数変換係数データが取得される。そして、第１量子化関数変換係数データを第１量子化関数変換係数データバッファ１０１１に格納する。また、量子化関数変換係数取得処理部１００９は、第２符号化画像データバッファ１００７から第２符号化画像データを読込み復号する。これにより、第２符号化画像データが復号されて第２量子化関数変換係数データが取得される。そして、第２量子化関数変換係数データを第２量子化関数変換係数データバッファ１０１３に格納する。

量子化テーブル取得処理部１０１０は、第１符号化画像データバッファ１００６から第１符号化画像データを読込み、第１量子化テーブルを取出す。そして、取出した第１量子化テーブルを第１量子化テーブルバッファ１０１２に格納する。また、量子化テーブル取得処理部１０１０は、第２符号化画像データバッファ１００７から第２符号化画像データを読込み、第２量子化テーブルを取出す。そして、取出した第２量子化テーブルを第２量子化テーブルバッファ１０１５に格納する。

合成量子化テーブル作成処理部１０１７は、第１量子化テーブルバッファ１０１２から第１量子化テーブルを、第２量子化テーブルバッファ１０１５から第２量子化テーブルを読込み、合成量子化テーブルを作成する。そして、作成した合成量子化テーブルを合成量子化テーブルバッファ１０１８に格納する。合成量子化テーブル作成処理部１０１７で作成する合成量子化テーブルは、各要素がその要素に対応する第１量子化テーブルと第２量子化テーブルの要素の公約数とするのが好ましい。より好ましくは、最大公約数である。

合成量子化関数変換係数データ作成処理部１０１４は、第１量子化関数変換係数データバッファ１０１１から第１量子化関数変換係数データを、第２量子化関数変換係数データバッファ１０１３から第２量子化関数変換係数データを、第１量子化テーブルバッファから第１量子化テーブルを、第２量子化テーブルバッファから第２量子化テーブルを、合成量子化テーブルバッファ１０１８から合成量子化テーブルを読込む。そして、合成量子化関数変換係数データ作成処理部１０１４は、合成マップデータの第１画像切取領域データで特定される第１領域を第１量子化関数変換係数データから切取り、第２画像切取領域データで特定される第２領域を第２量子化関数変換係数データから切取る。そして、第１領域と第２領域それぞれを合成マップデータの合成画像貼り付け領域データで特定される領域にブロック単位で貼り付ける。この貼り付けの際に、第１量子化関数変換係数データについては、それに対応する第１量子化データと合成量子化データとに基づいて変換し、第２量子化関数変換係数データについてはそれに対応する第２量子化データと合成量子化データとに基づいて変換する。

符号化合成画像データ作成処理部１０１９は、合成量子化関数変換係数データバッファ１０１６から合成量子化関数変換係数データを、合成量子化テーブルバッファ１０１８から合成量子化テーブルを読込む。符号化合成画像データ作成処理部１０１９は、読込んだ合成量子化関数変換係数データに対してハフマン符号化等の可逆符号化処理する。そして、合成量子化テーブルと画像サイズ情報等とをヘッダ情報に含んだ合成量子化関数変換係数データを可逆符号化処理して得たデータを含む符号化合成画像データを作成する。ここでは、符号化合成画像データが、合成量子化テーブルと画像サイズ情報等とを含んだヘッダ情報を持つ例を示すが、これに限定されず符号化画像データとしてのフォーマットに即したデータであればよい。符号化合成画像データ作成処理部１０１９は、作成した符号化合成画像データを符号化合成画像データバッファ１０２０に格納する。

ここで、合成量子化テーブルの具体例を説明する。図１０は、第１量子化テーブルの一例を示す図である。図１１は、第２量子化テーブルの一例を示す図である。図１２は、合成量子化テーブルの一例を示す図である。合成量子化テーブルは、各要素がその要素に対応する第１量子化テーブルと第２量子化テーブルの要素の最大公約数となっている。

次に、合成量子化関数変換係数データ作成処理部１０１４で実行する変換処理について説明する。合成量子化関数変換係数データ作成処理部１０１４は、第１量子化関数変換係数データの各ブロックの要素を次式（１）を用いて、第２量子化関数変換係数データの各ブロックの要素を次式（２）を用いて要素値を変換する。

第１量子化関数変換係数データの各ブロックの要素値＝（第１量子化関数変換係数データの各ブロックの元の要素値）×（第１量子化テーブルデータの対応する要素値）／（合成量子化テーブルの対応する要素値） … （１）
第２量子化関数変換係数データの各ブロックの要素値＝（第２量子化関数変換係数データの各ブロックの元の要素値）×（第２量子化テーブルデータの対応する要素値）／（合成量子化テーブルの対応する要素値） … （２）
上述したように、合成量子化テーブル作成処理部１０１７で作成する合成量子化テーブルは、各要素がその要素に対応する第１量子化テーブルと第２量子化テーブルの要素の公約数、より好ましくは最大公約数であった。公約数とすることにより、上記式（１）および式（２）は割り切れることになる。すなわち、合成量子化関数変換係数データ作成処理部１０１４で計算誤差（量子化誤差）が全く生じない。このため、符号化合成画像データは全く劣化しないことになる。また、最大公約数とすることにより、符号化合成画像データを全く劣化させないという条件下で合成量子化関数変換領域画像データの量子化関数変換係数を最小にすることができる。これにより、量子化関数変換係数は低い値にシフトする。一般に量子化関数変換係数値の可逆符号化は、低い値の出現率が高い場合に圧縮率が高まるように設定されることが多く、係数値が低いことは、圧縮率の向上につながる。

図１３は、第１の実施の形態における画像合成装置１００４で実行される処理の流れを示すフローチャートである。図１３を参照して、画像合成装置１００４は、第１画像入力装置１００１から入力された第１符号化画像データを第１符号化画像データバッファ１００６に格納する（Ｓ１１０２）。そして、第２画像入力装置１００２から入力された第２符号化画像データを第２符号化画像データバッファ１００７に格納する（Ｓ１１０３）。さらに、合成マップ入力装置１００３から入力された合成マップデータを合成マップデータバッファ１００８に格納する（Ｓ１１０４）。

次に、量子化関数変換係数取得処理部１００９は、第１符号化画像データバッファ１００６から第１符号化画像データを読込み復号する（Ｓ１１０５）。第１符号化画像データを復号することにより第１量子化関数変換係数データが取得される。取出された第１量子化関数変換係数データは、第１量子化関数変換係数データバッファ１０１１に格納される（Ｓ１１０６）。量子化テーブル取得処理部１０１０は、第１符号化画像データバッファ１００６から第１符号化画像データを読込み、第１量子化テーブルを取出す（Ｓ１１０７）。そして、取出した第１量子化テーブルを第１量子化テーブルバッファ１０１２に格納する（Ｓ１１０８）。

量子化関数変換係数取得処理部１００９は、さらに、第２符号化画像データバッファ１００７から第２符号化画像データを読込み復号する（Ｓ１１０９）。第２符号化画像データを復号することにより第２量子化関数変換係数データが取得される。取出された第２量子化関数変換係数データは、第２量子化関数変換係数データバッファ１０１３に格納される（Ｓ１１１０）。量子化テーブル取得処理部１０１０は、第２符号化画像データバッファ１００７から第２符号化画像データを読込み、第２量子化テーブルを取出す（Ｓ１１１１）。そして、取出した第２量子化テーブルを第２量子化テーブルバッファ１０１５に格納する（Ｓ１１１２）。

次に、合成量子化テーブル作成処理部１０１７は、第１量子化テーブルバッファ１０１２から第１量子化テーブルを、第２量子化テーブルバッファ１０１５から第２量子化テーブルを読込み、それらから合成量子化テーブルを作成する（Ｓ１１１３）。ここでは、合成量子化テーブルの各要素は、第１量子化テーブルと第２量子化テーブルの対応する要素の最大公約数とされる。作成した合成量子化テーブルは、合成量子化テーブルバッファ１０１８に格納される（Ｓ１１１４）。

そして、合成量子化関数変換係数データ作成処理部１０１４は、合成量子化関数変換係数データを作成する（Ｓ１１１５）。合成量子化関数変換係数データ作成処理部１０１４は、合成マップデータの第１画像切取領域データで特定される第１領域を第１量子化関数変換係数データから切取り、第２画像切取領域データで特定される第２領域を第２量子化関数変換係数データから切取る。そして、第１領域と第２領域それぞれを合成マップデータの合成画像貼付領域データで特定される領域にブロック単位で貼付ける。この貼付けの際に、第１量子化関数変換係数データについては上記式（１）にしたがって変換し、第２量子化関数変換係数データについては上記式（２）にしたがって変換する。これにより第１量子化関数変換係数データのうち第１領域であって量子化関数変換係数が変換されたデータと、第２量子化関数変換係数データのうち第２領域であって変換されたデータとからなる合成量子化関数変換係数データが作成される。

そして、作成された合成量子化関数変換係数データが合成量子化関数変換係数データバッファ１０１６に格納される（Ｓ１１１６）。符号化合成画像データ作成処理部１０１９は、合成量子化関数変換係数データバッファ１０１６から合成量子化関数係数データを読込み、合成量子化関数変換係数データに対してハフマン符号化等の可逆符号化処理する。そして、合成量子化テーブルと画像サイズ情報等のヘッダ情報と、合成量子化関数変換係数データを可逆符号化処理して得たデータとを含む符号化合成画像データを作成する（Ｓ１１１７）。符号化合成画像データは、符号化された符号化画像データとしてのフォーマットに即したデータであれば如何なる形式でもよい。そして、作成された符号化合成画像データは、符号化合成画像データバッファ１０２０に格納される（Ｓ１１１８）。

＜３枚以上の符号化画像を合成する場合＞
上述した画像合成装置１００４は、説明を簡略にするため、２つの符号化画像データを合成する例を説明したが、複数枚の符号化画像データを合成する場合も、同様に合成することができる。Ｎ枚の符号化画像データ（Ｉｍａｇｅ１，Ｉｍａｇｅ２，Ｉｍａｇｅ３，Ｉｍａｇｅ４，…，ＩｍａｇｅＮ)を合成する場合、合成量子化テーブルデータは、Ｎ枚の符号化画像データそれぞれの量子化テーブルを取得し、Ｎ個の量子化テーブルの各要素の公約数（好ましくは最大公約数）をその要素とすればよい。

また、符号化画像データ（ｎ）に含まれる量子化関数変換係数データ（ｎ）の変換は、その符号化画像データ（ｎ）に対応する量子化テーブル（ｎ）を用いた次式（３）が用いられる。

(Ｉｍａｇｅ（ｎ）の量子化関数変換係数の各ブロックの要素値)＝（Ｉｍａｇｅ（ｎ）の量子化関数変換係数データの各ブロックの元の要素値）×（Ｉｍａｇｅ（ｎ）の量子化テーブルデータ（ｎ）の対応する要素値）／（合成量子化テーブル（ｎ）の対応する要素値） … （３）
＜合成する画像の中に符号化されていない画像が含まれている場合＞
合成する画像の中に符号化されていない画像データが含まれていた場合は、合成量子化テーブル作成処理部１０１７は、符号化されている画像の量子化テーブルから合成量子化テーブルを作成する。符号化されていない画像の量子化関数変換係数は、関数変換後に合成量子化テーブルを用いて作成すればよい。また、１枚の符号化画像データと１枚以上の符号化されていない画像データとの合成の場合、合成量子化テーブルは、符号化画像データの量子化テーブルをそのまま使えばよい。

以上説明したように第１の実施の形態における画像合成装置１００４は、複数の符号化画像データの量子化された関数変換係数を、関数変換を施した領域単位でコピーすることで符号化合成画像データを作成するものである。量子化関数変換係数を、関数変換を施した領域単位でコピーする際に、コピー元の符号化画像データに対応する量子化テーブルとコピー先の符号化合成画像データに対応する合成量子化テーブルとに基づき変換する。関数変換領域で合成処理するため、逆量子化、関数逆変換、合成画像データの量子化、関数変換処理といった処理が必要なく、処理数を減らして画像合成装置１００４の負荷を低減することができる。また、複数の異なる量子化テーブルで繰返して量子化することが原因となって圧縮率が低下することがない。

さらに、合成後の符号化合成画像データに対応する量子化テーブルの各要素は、合成に用いる複数の符号化画像データに対応する量子化テーブルの対応する要素の公約数（特に最大公約数が望ましい）とする。このため、合成後の符号化合成画像データは、合成前の符号化画像データと比較して画質の劣化が全く起こらないので、量子化により発生する誤差の少ない合成量子化テーブルを決定することができる。特に、最大公約数を用いると関数変換係数の量子化後の値が、量子化によるデータ損失のない条件下で最小となる。このため、量子化後の係数を格納するのに要するビット数を減らすことができ、圧縮率を高めることができる。また、各係数の値が全て低い値域に範囲が狭まり、特に係数をまたがったデータ列を可逆符号化する場合に、エントロピー的に有利となる。

さらに、復号された画像データを目視で確認する必要がないので、復号処理および符号処理を複数回繰返す必要がない。

また、図１の１０２２の箇所が本実施の形態の画像符号化装置１００４の中心部分であり、１０２２を画像符号化装置としてもよい。このとき、画像符号化装置の入力が、第１量子化関数変換係数データ、第２量子化関数変換係数データと、それぞれに対応する量子化テーブルおよび、合成マップデータである。また、量子化関数変換係数データとそれに対応する量子化テーブルは、量子化関数変換係数データとして与えても良いのは明らかである。

＜第２の実施の形態＞
図１４は、第２の実施の形態における画像合成装置１５０４の機能の概略を示す機能ブロック図である。第２の実施の形態における画像合成装置１５０４は、第１画像データ入力装置１００１から入力された第１符号化画像データと、第２画像データ入力装置１００２から入力された第２符号化画像データと、合成マップ入力装置１００３から入力された合成マップデータとに基づき、符号化合成画像データを生成し、符号化合成画像データ出力装置１００５に出力する。

画像合成装置１５０４は、第１画像入力装置１００１から入力された第１符号化画像データを記憶する第１データバッファ１００６と、第２画像入力装置１００２から入力された第２符号化画像データを記憶する第２符号化画像データバッファ１００７と、合成マップ入力装置１００３から入力された合成マップデータを記憶する合成マップデータバッファ１００８と、第１および第２符号化画像データを復号して第１および第２空間領域画像データを取出す画像復号処理部１５０９と、取出された第１および第２空間領域画像データを記憶するための第１および第２空間領域画像データバッファ１５１１，１５１３と、第１および第２符号化画像データから第１および第２量子化テーブルを取出す量子化テーブル取得処理部１０１０と、取出された量子化テーブルを記憶するための第１および第２量子化テーブルバッファ１０１２，１０１５と、第１および第２量子化テーブルから合成量子化テーブルを作成する合成量子化テーブル作成処理部１０１７と、第１および第２空間領域画像データを合成した空間領域合成画像データを作成するための空間領域合成画像データ作成処理部１５１４と、作成された空間領域合成画像データを記憶するための空間領域合成画像データバッファ１５１６と、空間領域合成画像データおよび合成量子化テーブルとから符号化合成画像データを作成する画像符号化処理部１５１９と、符号化合成画像データを記憶するための符号化合成画像データバッファ１０２０とを含む。

第１空間領域画像データバッファ１５１１、第２空間領域画像データバッファ１５１３および空間領域合成画像データバッファ１５１６は、フラッシュメモリ、ハードディスク等のＲＡＭ(ランダムアクセスメモリ)によって実現される。

画像復号処理部１５０９、空間量領域合成画像データ作成処理部１５１４は、例えばそれぞれ独立した回路によって実現される。また、例えばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。

画像復号処理部１５０９は、第１符号化画像データバッファ１００６から第１符号化画像データを読込み、第１符号化画像データに対して復号処理、逆量子化処理および関数逆変換処理して第１空間領域画像データを生成する。逆量子化処理では、第１符号化画像データに含まれる第１量子化テーブルが用いられる。生成した第１空間領域画像データは、第１空間領域画像データバッファ１５１１に格納される。また、画像復号処理部１５０９は、第２符号化画像データバッファ１００７から第２符号化画像データを読込み、第２符号化画像データに対して復号処理、逆量子化処理および関数逆変換処理して第２空間領域画像データを生成する。逆量子化処理では、第２符号化画像データに含まれる第２量子化テーブルが用いられる。生成した第２空間領域画像データは、第２空間領域画像データバッファ１５１３に格納される。

空間領域合成画像データ作成処理部１５１４は、合成マップデータバッファ１００８から合成マップデータと、第１空間領域画像データバッファ１５１１から第１空間領域画像データと、第２空間領域画像データバッファ１５１３から第２空間領域画像データとを読込む。そして、空間領域合成画像データ作成処理部１５１４は、合成マップデータに従って空間領域合成画像データを作成する。空間領域合成画像データ作成処理部１５１４は、合成マップデータの第１画像切取領域データで特定される第１領域を第１空間領域画像データから切取り、第２画像切取領域データで特定される第２領域を第２空間領域画像データから切取る。そして、第１領域と第２領域それぞれを合成マップデータの合成画像貼付領域データで特定される領域にブロック単位で貼り付ける。これにより空間領域合成画像データが作成される。空間領域合成画像データ作成処理部１５１４は、作成した空間領域合成画像データを空間領域合成画像データバッファ１５１６に格納する。すなわち、空間領域合成画像データ作成処理部１５１４は、第１空間領域画像データと第２空間領域画像データとから空間領域合成画像データを空間領域で作成する。

画像符号化処理部１５１９は、空間領域合成画像データバッファ１５１６から空間領域合成画像データを、合成量子化テーブルバッファ１０１８から合成量子化テーブルをそれぞれ読込む。そして、空間領域合成画像データに対して関数変換処理、量子化処理、ハフマン符号化等の可逆符号化処理を行う。符号化画像処理部１５１９は、合成量子化テーブルと画像サイズ情報等を含んだヘッダ情報と、空間領域合成画像データを関数変換処理、量子化処理および符号化処理して得たデータとを含む符号化合成画像データを作成する。ここでは、符号化合成画像データを、合成量子化テーブルと画像サイズ情報等とをヘッダ情報とする例を示すが、これに限定されず画像データとしてのフォーマットに即したデータであればよい。画像符号化処理部１５１９は、作成した符号化合成画像データを符号化合成画像データバッファ１０２０に格納する。

図１５は、第２の実施の形態における画像合成装置で実行される画像合成処理の流れを示すフローチャートである。図１５を参照して、ステップＳ１６０２〜Ｓ１６０４は図１３におけるステップＳ１１０２〜Ｓ１１０４と、ステップＳ１６０５〜Ｓ１６０８は図１３におけるステップＳ１１０７〜Ｓ１１１０と、ステップＳ１６１０は図１３におけるステップＳ１１１４と同じ処理である。したがって、ここでは説明を繰返さない。

画像復号処理部１５０９が、第１データバッファ１００６から第１符号化画像データを読込み、第１符号化画像データを復号して第１空間領域画像データを生成する（Ｓ１６１１）。そして、生成した第１空間領域画像データを第１空間領域画像データバッファ１５１１に格納する（Ｓ１６１２）。

次に、画像復号処理部１５０９は、第２データバッファ１００７から第２符号化画像データを読込み、第２符号化画像データを復号して第２空間領域画像データを生成する（Ｓ１６１３）。そして、生成した第２空間領域画像データを第２空間領域画像データバッファ１５１３に格納する（Ｓ１６１４）。

そして、空間領域合成画像データ作成処理部１５１４は、合成マップデータバッファ１５０８から合成マップデータを、第１空間領域画像データバッファ１５１１から第１空間領域画像データを、第２空間領域画像データバッファ１５１３から第２空間領域画像データを読込み、合成マップデータに従って、空間領域合成画像データを作成する（Ｓ１６１５）。そして、作成した合成画像データを空間領域合成画像データバッファ１５１６に格納する（Ｓ１６１６）。

画像符号化処理部１５１９は、空間領域合成画像データバッファ１５１６から空間領域合成画像データを、合成量子化テーブルバッファ１０１８から合成量子化テーブルをそれぞれ読込み、符号化合成画像データを作成する（Ｓ１６１７）。具体的には、空間領域合成画像データを関数変換により、合成関数変換係数を生成し、合成量子化テーブルを用いた合成関数変換係数の量子化により、量子化関数変換係数を生成し、量子化関数変換係数を符号化する。そして、作成した符号化合成画像データを符号化合成画像データバッファ１０２０に格納する（Ｓ１６１８）。

＜３枚以上の符号化画像を合成する場合＞
上述した第２の実施の形態における画像合成装置１５０４は、説明を簡略にするため、２つの符号化画像データを合成する例を説明したが、３枚以上の符号化画像データを合成する場合も、同様に合成することができる。Ｎ枚の符号化画像データ（Ｉｍａｇｅ１，Ｉｍａｇｅ２，Ｉｍａｇｅ３，Ｉｍａｇｅ４，…，ＩｍａｇｅＮ）を合成する場合、合成量子化テーブルデータは、Ｎ枚の符号化画像それぞれの量子化テーブルを取得し、Ｎ個の量子化テーブルの各要素の公約数（好ましくは最大公約数）をその要素とすればよい。

＜合成する画像の中に符号化されていない画像が含まれている場合＞
合成する画像の中に符号化されていない画像データが含まれていた場合は、合成量子化テーブル作成処理部１０１７は、符号化されている画像の量子化テーブルから合成量子化テーブルを作成する。符号化されていない画像の量子化関数変換係数は、関数変換後に合成量子化テーブルを用いて作成すればよい。また、１枚の符号化画像データと１枚以上の符号化されていない画像データの合成の場合、合成量子化テーブルは、符号化画像データの量子化テーブルをそのまま使えばよい。

以上説明したように第２の実施の形態における画像合成装置１５０４は、第１および第２符号化画像データを一旦復号し、空間領域で画像を合成し、合成して得られる空間領域合成画像データを関数変換処理、量子化処理および符号化処理する。量子化処理で使用する合成量子化テーブルは、第１および第２符号化画像データそれぞれに対応する量子化テーブルの各対応する要素の公約数（特に最大公約数が望ましい）としたものである。このため、合成画像データは第１および第２画像データと比較して、原理的には画質劣化を伴わない。実際には符号化、復号処理の計算誤差により、若干の画質劣化を生じる可能性はあるが、画質劣化の問題を緩和することができる。

さらに、量子化処理で使用する合成量子化テーブルは、第１および第２符号化画像データそれぞれに対応する量子化テーブルの各対応する要素の公約数（特に最大公約数が望ましい）としたものなので、原理的には量子化によるデータ損失はゼロになる。特に、最大公約数を用いると関数変換係数の量子化後の値が、量子化によるデータ損失のない条件下で最小となる。このため、量子化後の係数を格納するために要するビット数を減らすことができ、圧縮率を高めることができる。また、各係数の値が全て低い値域に範囲が狭まり、特に係数をまたがったデータ列を可逆符号化する場合に、エントロピー的に有利となる。

さらに、復号された画像データを目視で確認する必要がないので、復号処理および符号化処理を複数回繰返す必要がない。このため画像合成装置の負荷を低減することができる。

なお、第１または第２の実施の形態における画像合成装置１００４，１５０４は、関数変換を用いた画像符号化方式であれば適用可能である。また、動画の画像符号化方式も、関数変換、量子化および符号化する点で静止画像の符号化技術と同様の技術である。このため、第１および第２の実施の形態における画像合成装置１００４、１５０４は、動画の合成にもそのまま適用可能である。したがって、例えば、ＪＰＥＧ画像符号化方式、ＭＰＥＧ（Motion Picture Expert Group）１、ＭＰＥＧ２符号化方式等の画像符号化方式で作成された符号化画像データの合成にも適用可能である。

さらに、第１または第２の実施の形態における画像合成装置１００４，１５０４は、量子化テーブルを符号化データ内部に持っていることを前提に記載しているが、量子化テーブルがデータ内になくても対応付けられていればよい。また、量子化テーブルは、厳密な意味でテーブルの形態である必要はなく、関数変換係数の量子化幅を規定する役割を有していればよい。

上述した画像合成装置は次のものを含む。

（１）空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換と、量子化および符号化された一つまたは複数の画像データと、前記一つまたは複数の画像データそれぞれに対応する量子化テーブルと、合成量子化テーブルとを入力する入力手段と、
前記入力された複数の画像データを復号する復号手段と、
前記復号された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
前記抽出された複数の領域を合成した合成データを生成する合成手段と、
前記抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換する変換手段と、
前記変換された複数の領域が合成された合成データを符号化する符号化手段と、
前記符号化された合成データと前記合成量子化テーブルとを関連付けて出力する出力手段を備えた、画像合成装置である。

（２）空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換、量子化および符号化された一つまたは複数の画像データおよび前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力する入力手段と、
前記入力された複数の画像データを復号する復号手段と、
前記復号された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
前記抽出された複数の領域を合成した合成データを生成する合成手段と、
少なくとも前記抽出された複数の領域に対応する量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
前記抽出された複数の領域それぞれの関数変換係数値を、該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換する変換手段と、
前記変換された複数の領域が合成された合成データを符号化する符号化手段と、
前記符号化された合成データと前記合成量子化テーブルとを関連付けて出力する出力手段を備えた、画像合成装置である。

（３）空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換、量子化および符号化された一つまたは複数の画像データと、前記一つまたは複数の画像データそれぞれに対応する量子化テーブルと、合成量子化テーブルとを入力する入力手段と、
前記入力された複数の画像データを復号する復号手段と、
前記復号された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
前記抽出された複数の領域それぞれを、該領域に対応する量子化テーブルを用いて逆量子化する逆量子化手段と、
前記抽出された複数の領域を合成した合成データを生成する合成手段と、
前記合成量子化テーブルを用いて、前記合成データを量子化する量子化手段と、
前記量子化された合成データを符号化する符号化手段と、
前記符号化された合成データと前記合成量子化テーブルとを関連付けて出力する出力手段を備えた、画像合成装置である。

（４）空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換、量子化および符号化された一つまたは複数の画像データと、前記一つまたは複数の画像データそれぞれに対応する量子化テーブルとを入力する入力手段と、
前記入力された複数の画像データを復号する復号手段と、
前記復号された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
前記抽出された複数の領域それぞれを、該領域に対応する量子化テーブルを用いて逆量子化する逆量子化手段と、
前記抽出された複数の領域を合成した合成データを生成する合成手段と、
前記複数の領域それぞれに対応する量子化テーブルに基づいて合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
前記作成された合成量子化テーブルを用いて、前記合成データを量子化する量子化手段と、
前記量子化された合成データを符号化する符号化手段と、
前記符号化された合成データと前記合成量子化テーブルとを関連付けて出力する出力手段を備えた、画像合成装置である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における画像合成装置の機能の概略を示す機能ブロック図である。 合成マップデータの一例を示す図である。 第１画像切取領域データを示す図である。 第２画像切取領域データを示す図である。 合成画像貼付領域データを示す図である。 画像合成処理の別の例を説明するための図である。 第１画像切取領域データを示す別の図である。 第２画像切取領域データを示す別の図である。 合成画像貼付領域データを示す別の図である。 第１量子化テーブルの一例を示す図である。 第２量子化テーブルの一例を示す図である。 合成量子化テーブルの一例を示す図である。 第１の実施の形態における画像合成装置で実行される処理の流れを示すフローチャートである。 第２の実施の形態における画像合成装置の機能の概略を示す機能ブロック図である。 第２の実施の形態における画像合成装置で実行される画像合成処理の流れを示すフローチャートである。 複数の画像データの合成処理を説明するための図である。

符号の説明

１００１，１００２ 画像入力装置、１００３ 合成マップ入力装置、１００４，１５０４ 画像合成装置、１００５ 符号化合成画像データ出力装置、１００６，１００７ データバッファ、１００８ 合成マップデータバッファ、１００９ 量子化関数変換係数取得処理部、１０１０ 量子化テーブル取得処理部、１０１１，１０１３ 量子化関数変換係数データバッファ、１０１２，１０１５ 量子化テーブルバッファ、１０１４ 合成量子化関数係数データ作成処理部、１０１６ 合成量子化関数変換係数データバッファ、１０１７ 合成量子化テーブル作成処理部、１０１８ 合成量子化テーブルバッファ、１０１９ 符号化合成画像データ作成処理部、１０２０ 符号化合成画像データバッファ、１５０８ 合成マップデータバッファ、１５０９ 画像復号処理部、１５１１，１５１３ 画像データバッファ、１５１４ 合成画像データ作成処理部、１５１６ 合成画像データバッファ、１０１８ 合成量子化テーブルバッファ、１５１９ 符号化画像処理部。

Claims (14)

1. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力する入力手段と、
   前記入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
   少なくとも前記抽出された複数の領域にそれぞれ対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
   前記抽出された複数の領域を、それぞれの関数変換係数値を該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換した上で、合成して合成データを生成する合成データ生成手段とを備えた、画像合成装置。
2. 前記変換手段は、前記抽出された複数の領域それぞれの関数変換係数値を、該領域の量子化テーブルの対応する要素と前記合成量子化テーブルの対応する要素とに基づいて変換する、請求項１に記載の画像合成装置。
3. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力する入力手段と、
   前記一つまたは複数の画像データそれぞれを空間領域画像データに復号する復号手段と、
   前記入力された一つまたは複数の画像データから複数の領域を抽出する抽出手段と、
   前記抽出された複数の領域に対応する空間領域画像データを合成した空間領域合成画像データを生成する合成手段と、
   少なくとも前記抽出された複数の領域にそれぞれ対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
   前記空間領域合成画像データを前記関数変換した上で、前記合成量子化テーブルを用いて量子化して符号化合成画像データを生成する符号化手段とを備えた、画像合成装置。
4. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む複数の第１画像データと前記複数の第１画像データそれぞれに対応する量子化テーブルを入力する第１入力手段と、
   空間領域に規定された空間領域画像データからなる一つまたは複数の第２画像データを入力する第２入力手段と、
   前記入力された第１画像データおよび第２画像データから複数の領域を抽出する抽出手段と、
   前記複数の第１画像データにそれぞれ対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
   前記抽出された複数の領域のうち、前記第１画像データから抽出された領域それぞれの関数変換係数値を該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換するとともに、前記第２画像データから抽出された領域に対応する空間領域画像データを基底関数の組により関数変換係数値に変換し、さらに前記合成量子化テーブルに基づいて量子化した上で、前記抽出された複数の領域を合成して合成データを生成する合成データ生成手段とを備えた、画像合成装置。
5. 前記変換手段は、前記第１画像データから前記抽出された領域それぞれの関数変換係数値を、該領域の量子化テーブルの対応する要素と前記合成量子化テーブルの対応する要素とに基づいて変換する、請求項４に記載の画像合成装置。
6. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む複数の第１画像データと前記複数の第１画像データそれぞれに対応する量子化テーブルを入力する第１入力手段と、
   空間領域に規定された空間領域画像データからなる一つまたは複数の第２画像データを入力する第２入力手段と、
   前記複数の第１画像データそれぞれを空間領域画像データに復号する復号手段と、
   前記入力された第１画像データおよび第２画像データから複数の領域を抽出する抽出手段と、
   前記抽出された複数の領域に対応する前記第１画像データを復号した空間領域画像データおよび前記第２画像データを合成した空間領域合成画像データを生成する合成手段と、
   前記複数の第１画像データに対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成する合成量子化テーブル作成処理手段と、
   前記空間領域合成画像データを前記関数変換した上で、前記合成量子化テーブルを用いて量子化して符号化合成画像データを生成する符号化手段とを備えた、画像合成装置。
7. 前記合成量子化テーブル作成処理手段は、前記合成量子化テーブルの各要素を、前記複数の量子化テーブルのそれぞれにおいて対応する要素間の公約数とする、請求項１〜６のいずれかに記載の画像合成装置。
8. 前記合成量子化テーブル作成処理手段は、前記合成量子化テーブルの各要素を、前記複数の量子化テーブルのそれぞれにおいて対応する要素の最大公約数とする、請求項１〜６のいずれかに記載の画像合成装置。
9. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力するステップと、
   前記入力された一つまたは複数の画像データから複数の領域を抽出するステップと、
   少なくとも前記抽出された複数の領域にそれぞれ対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成するステップと、
   前記抽出された複数の領域を、それぞれの関数変換係数値を該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換した上で、合成して合成データを生成するステップとを含む、画像合成方法。
10. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む一つまたは複数の画像データと前記一つまたは複数の画像データそれぞれに対応する量子化テーブルを入力するステップと、
    前記一つまたは複数の画像データそれぞれを空間領域画像データに復号するステップと、
    前記入力された一つまたは複数の画像データから複数の領域を抽出するステップと、
    前記抽出された複数の領域に対応する空間領域画像データを合成した空間領域合成画像データを生成するステップと、
    少なくとも前記抽出された複数の領域にそれぞれ対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成するステップと、
    前記空間領域合成画像データを前記関数変換した上で、前記合成量子化テーブルを用いて量子化して符号化合成画像データを生成するステップとを含む、画像合成方法。
11. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む複数の第１画像データと前記複数の第１画像データそれぞれに対応する量子化テーブルを入力するステップと、
    空間領域に規定された空間領域画像データからなる一つまたは複数の第２画像データを入力するステップと、
    前記入力された第１画像データおよび第２画像データから複数の領域を抽出するステップと、
    前記複数の第１画像データに対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成するステップと、
    前記抽出された複数の領域のうち、前記第１画像データから抽出された領域それぞれの関数変換係数値を該領域に対応する量子化テーブルおよび前記合成量子化テーブルに基づいて変換するとともに、前記第２画像データから抽出された領域に対応する空間領域画像データを基底関数の組により関数変換係数値に変換し、さらに前記合成量子化テーブルに基づいて量子化した上で、前記抽出された複数の領域を合成して合成データを生成するステップとを含む、画像合成方法。
12. 空間領域から基底関数の組により関数変換係数値で表されるデータに変換する関数変換および量子化された関数変換係数値を含む複数の第１画像データと前記複数の第１画像データそれぞれに対応する量子化テーブルを入力するステップと、
    空間領域に規定された空間領域画像データからなる一つまたは複数の第２画像データを入力するステップと、
    前記複数の第１画像データそれぞれを空間領域画像データに復号するステップと、
    前記入力された第１画像データおよび第２画像データから複数の領域を抽出するステップと、
    前記抽出された複数の領域に対応する前記第１画像データを復号した空間領域画像データおよび前記第２画像データを合成した空間領域合成画像データを生成する合成手段と、
    前記複数の第１画像データに対応する複数の量子化テーブルに基づいて、合成量子化テーブルを作成するステップと、
    前記空間領域合成画像データを前記関数変換した上で、前記合成量子化テーブルを用いて量子化して符号化合成画像データを生成するステップとを含む、画像合成方法。
13. 請求項９〜１２のいずれかに記載の画像合成方法の各ステップをコンピュータに実行させる、画像合成プログラム。
14. 請求項１３に記載の画像合成プログラムを記録したコンピュータ読取可能な記録媒体。

Images