JP4148165B2 - 画像を重ね合わせて合成画像を生成する画像合成 - Google Patents

Description

本発明は、画像を重ね合わせて合成画像を生成する技術に関する。

近年では、デジタルスチルカメラ等の普及により、画像をデジタルデータで簡便に入手できる。こうして撮像した撮像画像はそのまま印刷等の処置を処されるほか、撮影画像を、いわゆるフレームと重ね合わせる技術が提案されている（例えば、特許文献１）。

特開２００３−２３３３６６号公報

画像撮影に際しては、その後のフレームとの合成を考慮されることは少ない。よって、撮影済み画像をフレームと合成すると、合成画像に違和感が生じることがある。例えば、画像撮像に際しては、その撮像画像の大きさに合わせたバランスで人物、建物等の被写体の写し込みを行うので、限られた領域しか画像を透視させないフレームと合成すると、合成後の画像において被写体のバランスが崩れ違和感を抱くことがある。特に、人物の顔部分をフレームの透視領域から透視させるような場合には、その顔部分がフレームの透視領域から外れないようにするには、合成に際してユーザによる画像の移動等が必要となり煩雑であった。

本発明は、上記問題点を解決するためになされ、画像を重ね合わせた合成画像における違和感の低減や画像合成の簡略化を図ることを目的とする。

かかる課題の少なくとも一部を解決するため、本発明の画像生成装置では、重ね合わせ対象となる第１画像と当該第１画像の透視領域を有する第２画像の両画像の合成に先立ち、透視領域から透視されることになる第１画像を加工する。この加工に際しては、第２画像の透視領域に所定の関係で対応するよう第１画像の表示態様を決定し、この決定した表示態様の画像表示となるように、第１画像を構成する第１画像データを調整する。このため、第２画像の透視領域でしか視認されない第１画像の画像部位は、この透視領域に、例えば、そのサイズや位置の点で対応するものとなる。よって、第１画像とその透視領域を有する第２画像を合成して得られた画像としての違和感を軽減できる。また、サイズや画像部位位置の決定のためのユーザの作業が不要となり、簡便である。

こうした本発明の画像生成装置において、を構成する第２画像データに第１画像の表示サイズを決定する情報と第１画像の画像部位位置を決定する情報の少なくとも一方を含ませるようにすることができる。このようにすれば、画像の表示態様の決定、その後の調整が簡便となる。

また、第１画像の画像調整を、透視領域に透視表示される第１画像の画像部位については画像を構成する画像データの統計的特性に基づいた画像データ補正を行うようにすることもできる。こうすれば、第１画像の性質を第１画像データでより的確に把握できるので、第１画像が表示される領域が第２画像で制限された場合の画像調整済み第１画像の違和感を軽減できる。

上記の本発明の画像生成装置において、更に、透視領域の異なる画像を複数記憶する記憶部と、この記憶された複数の画像の一つを第２画像として選択する画像選択部とを備えるようにすることもできる。こうすれば、透視領域が相違する第２画像を第１画像に合成した場合にあっても違和感を軽減でき、適用範囲の拡大を図ることができる。しかも、記憶部を外部からの画像入力が可能なものとすれば、より好ましい。

上記した本発明の画像合成は、種々の形態で実現することが可能であり、例えば、画像合成方法はもとより、画像合成装置や方法の機能をコンピュータに実現させるためのコンピュータプログラム、そのプログラムを記録した記録媒体等の形態で実現することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
Ａ２．画像処理：
Ｂ．第２実施例の画像処理：
Ｃ．第３実施例の画像処理：
Ｄ．変形例：

Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は本発明の第１実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、動画像や静止画像などの画像データを供給する画像データベース２０、画像データベース２０から入力した画像に対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。

画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，ＤＶＤ２３，ハードディスク２４，携帯電話２５などの画像を取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、第１実施例の画像データベース２０に保有される画像データは、デジタルスチルカメラ２２で取得した静止画像データである。パーソナルコンピュータ３０は、後述する合成画像を、画像データベース２０のデジタルスチルカメラ２２や携帯電話２５等に出力するほか、カラープリンタ５０にも出力するよう、構成されている。

パーソナルコンピュータ３０は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像処理のソフトウェアをインストールするハードディスク３４、画像データベース２０，ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路３５等を有している。ハードディスク３４にインストールされたソフトウェアの画像処理は、入力した複数枚、詳しくは２枚の静止画像を合成して一枚の高解像度の静止画像を生成する処理である。このソフトウェアをインストールしたパーソナルコンピュータ３０は、画像処理装置としての「画像加工部」，「合成部」，「表示態様決定部」，「調整部」の各機能を有する。なお、この画像処理の流れについては、後に詳しく説明する。

ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前の画像や合成処理後の静止画像を表示するディスプレイ４３などを備えている。

Ａ２．画像処理：
図２は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第１実施例の画像処理のフローチャート、図３は第１実施例の画像処理の全体の様子を説明するための説明図である。第１画像は、第２画像の下となるように重ねられる画像であり、以下の説明では、合成対象元画像と称する。第２画像は、第１画像（合成対象元画像）の一部領域を透視させる透視領域を有する画像であり、フレーム画像と称する。上述のハード構成を有する画像処理システム１００において、ユーザがキーボード４１やマウス４２を操作することで、パーソナルコンピュータ３０にインストールされた画像処理が開始される。

画像処理が開始すると、パーソナルコンピュータ３０は、画像データベース２０にフレーム画像群として記憶済みの各フレーム画像をディスプレイ４３上で表示する（ステップＳ２００）。この際の表示には、例えばディスプレイ４３の右半分の表示領域に、サムネイル状に一覧表示したり、各画像を一枚ずつ順次表示切り替えしてもよい。ユーザは、所望するフレーム画像をマウス操作等で特定するので、パーソナルコンピュータ３０は、このフレーム画像の選択有無を判定し（ステップＳ２１０）、待機する。

パーソナルコンピュータ３０は、選択されたフレーム画像を構成する画素（例えば、ドットマトリックス状の画素）のデータ（画像データ）を読み込む（ステップＳ２２０）。この画像データは、ＲＧＢの色データの他、画像透過の可否を決定するアルファチャンネルデータを併せ持って構成されている。パーソナルコンピュータ３０は、こうしたフレーム画像の画像データ読み込みにより、アルファチャンネルデータで透過するとされた領域（フレーム画像における透視領域）を決定する（ステップＳ２３０）。この透視領域に、合成対象元画像が当該透視領域と後述の関係を持った表示態様で表示されることになる。

図３を用いて説明すると、パーソナルコンピュータ３０は、マトリックス座標の開始点座標（Ｘｓ，Ｙｓ）から終点座標（Ｘｅ，Ｙｅ）の各画素の画像データを読み込み、座標（Ｘａ１，Ｙｂ１）、（Ｘａ１，Ｙｂｉ）、（Ｘａｉ，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ）で囲まれた矩形形状のフレーム画像の透視領域とする。これは、フレーム画像におけるこの矩形領域の画像データは、総て画像透過を行うとしてアルファチャンネルデータを有するからである。この場合、フレーム画像の透視領域が矩形形状であると定まっていれば、対角の座標（Ｘａ１，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ）で合成対象元画像を表示するフレーム画像の透視領域を決定可能である。また、フレーム画像の透視領域が、異形形状であれば、その異形形状を取り囲む矩形形状を、合成対象元画像の仮の透視領域とでき、合成後にあっては、合成対象元画像はこの異形形状の透視領域において透視表示される。この点については、後述する。

透視領域は、フレーム画像が異なれば相違するので、画像合成に用いるフレーム画像ごとに、ステップＳ２３０にて透視領域を決定するのである。なお、一旦決定した透視領域を、そのフレーム画像の識別データ（例えば、フレーム名称データ）と対応付けてハードディスク３４に記憶させ、次回からはフレーム画像の識別データ判別を経て、フレーム画像の透視領域を決定するように構成することもできる。

パーソナルコンピュータ３０は、フレーム画像の表示・選択待機と同様、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像をディスプレイ４３上で表示し（ステップＳ２４０）、ユーザによる合成対象元画像の選択を待機する（ステップＳ２５０）。この場合、本画像合成処理に先立ちこうした合成対象元画像表示を行い、ユーザによる合成対象元画像の選択を受けて、本画像合成処理を実行するように構成することもできる。このように構成すれば、ステップＳ２４０と２５０は省略される。

パーソナルコンピュータ３０は、選択された合成対象元画像を構成する画素（例えば、ドットマトリックス状の画素）のデータ（画像データ）を読み込み（ステップＳ２６０）、合成対象元画像のサイズ決定・スケーリングを行う（ステップＳ２７０）。つまり、このステップＳ２７０では、図３に示すように、読み込んだ画像データ（例えば、マトリックス座標の開始点座標（Ｘｍｓ，Ｙｍｓ）から終点座標（Ｘｍｅ，Ｙｍｅ））から得られる合成対象元画像の画像サイズとステップＳ２３０で決定した透視領域のサイズを対比し、フレーム画像の透視領域に合成対象元画像全域を透視表示する際の合成対象元画像の表示態様の一つである画像サイズを決定し、当該サイズとなるように画像データを補正するスケーリング（縮小・拡大）を行う。

このサイズ決定・スケーリング（画像データ処理）に続き、パーソナルコンピュータ３０は、スケーリング後の合成対象元画像を構成する画素の画像データ（ＲＧＢ色データ）を画素ごとにサンプリングし、このサンプリングの結果として得られる画像の統計的特性に基づいたデータ処理を行う（ステップＳ２８０）。このサンプリング・データ処理を図３で説明すると、合成対象元画像の画素の画像データ（ＲＧＢ色データ）を画素ごとにサンプリングし、その統計的特性として輝度分布のヒストグラムを得る。そして、例えば、このヒストグラム（メジアンｍ０）を、正規分布のヒストグラム（メジアンｍ）に近づくようデータ処理を行い明度調整する。この他、ヒストグラムの最大値・最小値を左右に広げるようなデータ処理を行いコントラスト調整を行うようにすることもできる。なお、こうしたデータ処理を便宜上、補正αと称する。

ステップＳ２８０に続いて、パーソナルコンピュータ３０は、上記の補正αによるデータ処理済みの画像データに基づいて合成対象の新画像を生成し（ステップＳ２９０）、こうして生成した合成対象新画像と、ステップＳ２１０で選択済みのフレーム画像とを、フレーム画像が上になるように重ねて合成し（ステップＳ３００）、本ルーチンを終了する。この画像合成の際は、合成対象新画像の座標（Ｘａ１、Ｙａ１）がフレーム画像における座標（Ｘａ１、Ｙａ１）と一致するよう位置あわせして、行われる。

得られた合成画像は、ハードディスク２４等に記憶され、ユーザインターフェース４０からの指示に基づき、カラープリンタ５０に印刷画像として出力されたり、ディスプレイ４３や携帯電話２５の壁紙画像として出力される。

この一連の画像合成処理を行う本実施例では、フレーム画像と合成対象の画像とを重ねて合成するに際して、フレーム画像が合成対象元画像を視認させる透視領域のサイズに合わせて合成対象元画像のサイズを決定し、そのサイズの画像とした上で、フレーム画像に合成させる。よって、フレーム画像の透視領域に対して合成後の新画像（合成対象新画像）をサイズの点で不釣り合いとなるような画像として表示しないので、合成後の画像としての違和感を軽減できる。しかも、こうしたサイズ決定を経た画像合成に際しては、ユーザによるマウス操作等による画像移動等の操作を必要としないので、簡便となる。

また、本実施例では、フレーム画像への合成に際して、合成対象元画像についてその画像データの統計的特性に基づいた画像データ補正（補正α）を実施した。よって、合成対象元画像が有する画像の性質を的確に反映させた上で、補正後の画像をフレーム画像に合成できることから、透視領域において合成対象新画像を透視させたフレーム画像全体としての違和感も軽減できる。

さらに、本実施例では、画像データベース２０に、フレーム画像となり得るフレーム画像を複数記憶させ、その中から選択されたフレーム画像の透視領域に対応する合成対象元画像の被透視領域を決定するようにした（ステップＳ２００〜２３０）。よって、透視領域が相違するフレーム画像を、同一の合成対象元画像に合成した場合にあっても違和感を軽減でき、適用範囲の拡大を図ることができる。しかも、種々のフレーム画像を画像データベース２０のＤＶＤ２３，ハードディスク２４に記憶させておき、その画像を画像合成の際に用いるようにしたので、種々のフレーム画像と合成対象元画像を合成した多様な合成画像を生成できる。なお、種々のフレーム画像をハードディスク３４に記憶させておき、その画像を用いるようにすることもできる。

Ｂ．第２実施例の画像処理：
第２実施例は、そのハード構成は先に説明した第１実施例と変わるものはなく、その画像処理の内容が一部相違する。図４は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第２実施例の画像処理のフローチャート、図５は第２実施例の画像処理の内容を説明するための説明図である。

図４に示すように、この第２実施例にあっても、パーソナルコンピュータ３０は、まず、画像データベース２０にフレーム画像群として記憶済みの各フレーム画像をディスプレイ４３上で表示し（ステップＳ２００）、ユーザによるフレーム画像の選択を待機する（ステップＳ２１０）。フレーム画像が選択されると、パーソナルコンピュータ３０は、選択されたフレーム画像が有する画像データの読み込みとその解析を実行する（ステップＳ２２５）。

この実施例では、フレーム画像が有する画像データ構造に特徴があり、図５に示すように、その画像データは、合成対象元画像のサイズ変更（スケーリング）に関与するデータを含むメータデータと、ＲＧＢ色データ等のフレームイメージデータとを含む。メタデータは、フレーム画像のフレーム名称のデータの他、合成対象元画像のサイズ決定に必要とされる透視領域データ（既述した開始点座標（Ｘｓ，Ｙｓ）や透視領域の座標（Ｘａ１，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ））とを含む。

本実施例では、フレーム画像は矩形形状の透視領域を有すると仮定しているので、透視領域データとしては、矩形形状の始点座標（Ｘａ１，Ｙｂ１）と終点座標（Ｘａｉ，Ｙｂｉ）を持てば足り、データ構成が単純となる。また、フレーム画像の画像データの読み込みに伴うアルファチャンネルデータの有無の判定と、その結果による透視領域決定の処理（図２のステップＳ２３０の処理）とが不要となり、簡便である。

パーソナルコンピュータ３０は、こうした諸データを読み込んで解析することで、既述したように合成対象元画像のサイズ決定・スケーリングに関するデータを収得すると、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像の表示（ステップＳ２４０）、ユーザによる合成対象元画像の選択待機（ステップＳ２５０）を行う。その後、選択合成対象元画像の画像データ読み込みを行い（ステップＳ２６０）、ステップＳ２３５で解析決定した透視領域サイズに基づいて、既述したように合成対象元画像のサイズ決定・スケーリングを行う（ステップＳ２７０）。

ステップＳ２７０に続いては、既述したステップＳ２８０〜ステップＳ３００の処理を実行して、画像の統計的特性に基づいた補正αを経て生成した合成対象新画像とフレーム画像とを、フレーム画像が上になるように重ねて合成し、本ルーチンを終了する。

この一連の画像合成処理を行う本第２実施例にあっても、第１実施例と同様の効果を奏することができる。特に、この第２実施例では、合成対象元画像のサイズ決定に関与するデータをフレーム画像のデータ自体に含ませるので、合成対象元画像のサイズ決定・スケーリング処理が簡便となる。

Ｃ．第３実施例の画像処理：
第３実施例は、合成対象元画像をフレーム画像の透視領域で透視させるに当たり、合成対象元画像の特定の画像部位を透視させるようにした点に特徴があり、ハード構成は先に説明した第１実施例と同様である。図６は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第３実施例の画像処理のフローチャート、図７は第３実施例の画像処理の内容を説明するための説明図、図８は第３実施例の画像処理の全体の様子を説明するための説明図である。

図６に示すように、この第３実施例にあっても、先の実施例と同様、フレーム画像表示（ステップＳ２００）、フレーム画像の選択待機（ステップＳ２１０）を経てフレーム画像が選択されると、パーソナルコンピュータ３０は、選択されたフレーム画像が有する画像データの読み込みとその解析を実行する（ステップＳ２２５）。

この第３実施例でも、フレーム画像が有する画像データ構造に特徴があり、図７に示すように、その画像データは、合成対象元画像のサイズ変更（スケーリング）および透視領域の画像の性質（フレーム性質）に関与するデータを含むメータデータと、ＲＧＢ色データ等のフレームイメージデータとを含む。メタデータは、フレーム画像のフレーム名称のデータの他、合成対象元画像のサイズ決定に必要とされる透視領域データ（既述した開始点座標（Ｘｓ，Ｙｓ）や透視領域の座標（Ｘａ１，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ））と、合成対象元画像の画像部位を透視領域と対応付けて決定するためのフレーム性質データとを含む。このフレーム性質データは、フレーム画像が有する透視領域の性質に基づいて、当該透視領域に透視表示する合成対象元画像の画像部位位置を決定するためのデータであり、本実施例では、合成対象元画像に含まれる顔部分を透視表示する旨のデータ（顔フレームデータ）が含まれている。よって、このステップＳ２２５により、今回処理するフレーム画像は、始点座標（Ｘａ１，Ｙｂ１）と終点座標（Ｘａｉ，Ｙｂｉ）で決定される矩形領域を透視領域とするものであり、その透視領域に表示する合成対象元画像の画像部位は、当該画像に含まれる顔部分であると解析される。

パーソナルコンピュータ３０は、こうした諸データの読み込み・解析に続き、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像の表示（ステップＳ２４０）、ユーザによる合成対象元画像の選択待機（ステップＳ２５０）、選択合成対象元画像の画像データ読み込みを行う（ステップＳ２６０）。本実施例では、後述するように人物の顔部分をフレーム画像に合成するので、ステップＳ２５０では、ユーザにより人物画像が選択される。なお、ステップＳ２２５にてフレーム画像の性質が顔フレームであると解析済みであるので、ステップＳ２５０でのユーザによる画像選択を、人物画像の選択となるよう促すこともできる。例えば、パーソナルコンピュータ３０は、ユーザ選択画像が人物画像であるか風景画像であるかを画像データの解析等により判別し、風景画像が選択されれば、人物画像を選択するようディスプレイ４３に表示すればよい。

次いで、パーソナルコンピュータ３０は、ステップＳ２２５で読み込んだフレーム性質（顔フレーム）に基づいて、ステップＳ２６０で読み込み済みの画像の切り出しを行う（ステップＳ２６５）。つまり、この場合は、顔フレームであることから、パーソナルコンピュータ３０は、読み込み済み画像（人物画像）を構成する画素の画像データ解析を経て、人物の顔を含む領域を顔部位がほぼ中央に来るよう、切り出す。こうした人物画像からの顔部位切り出しは、例えば肌色の画素集中の様子や肌色画素のエッジの状況を画像データの統計的処理等にて行い、その結果から、画像における人物の顔部位を特定し、その特定した顔部位を取り囲むように画像を切り出せばよい。

パーソナルコンピュータ３０は、こうして切り出し済みの画像部位（顔部位）の画像サイズとステップＳ２３５で解析決定した透視領域サイズとの対比を行い、この切り出し済み画像のサイズ決定・スケーリングを既述したように行う（ステップＳ２６７）。ステップＳ２６７に続いては、既述したステップＳ２８０〜ステップＳ３００の処理を実行して、画像の統計的特性に基づいた補正αを経て生成した合成対象新画像とフレーム画像とを、フレーム画像が上になるように重ねて合成し、本ルーチンを終了する。この場合、ステップＳ２８０でのサンプリングは、切り出し済みの顔部位画像について行い、画像の統計的特性に基づいた補正αを経て生成した合成対象新画像は、切り出し済み顔部位画像の補正後の新画像となる。また、ステップＳ３００での画像合成は、合成対象新画像である切り出し済み顔部位画像の補正後の新画像の座標（Ｘａ１、Ｙａ１）がフレーム画像における座標（Ｘａ１、Ｙａ１）と一致するよう位置あわせして、行われる。

この一連の画像合成処理を行う本第３実施例にあっても、先の実施例と同様の効果を奏することができる。特に、この第３実施例では、フレーム画像がその透過領域から透過視認させる合成対象元画像の画像部位を、フレーム画像がデータとして有するフレーム性質（顔フレーム）という情報に基づいて決定することで、透過領域での合成対象元画像の表示態様を、人物の顔部位であると決定する。よって、こうした画像部位（顔部位）の切り出しや、切り出し済み顔部位画像の位置調整・画像調整等が簡便となる。

そして、合成対象元画像から切り出した顔部位の画像について、その画像に含まれる画像データをサンプリングし、このサンプリングの結果として得られる画像の統計的特性に基づいたデータ処理を行う（ステップＳ２８２）。このサンプリング・データ処理を図８で説明すると、ステップＳ２２５で定めた透視領域は、この領域に組み込まれることになる切り出し済み画像部位（顔部位）にサイズ的に反映し、この画像部位（顔部位）に含まれる画素の画像データ（ＲＧＢ色データ）を画素ごとにサンプリングし、その統計的特性として既述したような補正αのデータ処理を行い画像調整を行う。よって、次の利点がある。

例えば、補正αを行う上で求めた輝度分布は、切り出し済み画像部位（顔部位）に含まれる画素の画像データのものであり、合成対象元画像の画像全体をサンプリング領域として得られたものとは相違する。図で説明すると、合成対象元画像には、図８のように図中右方にビルの背景画像が見られるので、合成対象元画像の画像全体をサンプリングすれば、こうした背景画像の画素の画像データもヒストグラムに乗り、輝度分布に影響を与える。ところが、切り出し済み画像部位（顔部位）でのサンプリングは、背景画像の画素の画像データはヒストグラムに乗らず、輝度分布には反映されない。つまり、補正αでのデータ処理の結果（明度・コントラスト等の調整結果）は、切り出し済み画像部位（顔部位）をあたかも全画像としたようなものとなるので、この切り出し済み画像部位（顔部位）をフレーム画像の透視領域から視認した場合にあっては、画像としてのバランスが取れたものとなる。その一方、背景画像を含む合成対象元画像全体のデータ処理結果では、背景画像の画素の画像データが反映したものとなるので、その処理結果の画像を透視領域で切り取って視認したとすれば、その切り取り画像は、背景画像の影響を受けたバランスを有することから、却ってバランスが崩れがちとなる。

この結果、フレーム画像と合成されて視認される画像（切り出し済み画像部位（顔部位））は、その視認される透視領域がサイズとして反映した画像の性質に基づく補正α（画像調整）を受けたものとなるので、画像のバランスに崩れはなく違和感を軽減できる。また、透視領域から視認されることになる画像調整は、元画像の画像データのデータ処理によるものであることから、違和感をより確実に軽減できる。

また、本実施例では、サンプリング結果に基づくデータ処理（補正α）に処されるデータを切り出し済み画像部位（顔部位）に含まれるものとするので、そのデータ数が少なくて済む。よって、演算負荷を軽減でき好ましい。

Ｄ．変形例：
以上いくつかの実施例について説明したが、本発明はこれら実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様で実施可能である。例えば、次のような変形も可能である。

図９はフレーム画像が異形形状の透視領域ＴＲを有する場合における合成対象元画像のサイズ決定手法（ステップＳ２７０）の変形例を説明する説明図である。この変形例は、フレーム画像の透視領域が異形形状を取る場合に、合成対象元画像とそのサイズ決定に際して対比する仮想の透視領域を矩形形状として決定する手法を取っている。

図９に示すように、フレーム画像が図示する異形形状の透視領域ＴＲを有する際には、その透視領域の外郭線と接し当該透視領域を取り囲む矩形形状ＨＴＲを、フレーム画像の画同データ解析、或いは、フレーム画像が予め有するこの矩形形状ＨＴＲの座標データ等から定める。そして、この矩形形状ＨＴＲとの対比を経て、合成対象元画像のサイズ決定を行い、スケーリングする。

また、合成対象元画像の補正αによるデータ処理に際しては、合成対象元画像のサイズ決定・スケーリング後の画像のデータについて行ったが、この合成対象元画像の読み込み後に補正αを実行し、その後に、サイズ決定・スケーリングを行うようにすることもできる。また、第３実施例では、顔部位の切り出し・サイズ決定・スケーリング後の画像（切り出し済み顔部位の画像）のデータについて補正αを行ったが、切り出し済みの顔部位の画像について先に補正αのデータ補正を行い、その後、サイズ決定・スケーリングを行うようにすることもできる。

また、上記の各実施例では、フレーム画像を合成対象元画像の上に来るものとして説明した。しかし、合成対象元画像のサイズ決定・スケーリングを経ていることから、透視領域とスケーリング後の画像が同一形状の矩形形状であれば、合成対象元画像をフレーム画像の透視領域の上に重ねるように構成することもできる。また、図９に示すように、透視領域が異形形状であっても、図中の矩形形状ＨＴＲでサイズ決定・スケーリングした画像を、透視領域の異形形状輪郭に沿って切り抜けば、合成対象元画像をフレーム画像の透視領域の上に重ねるように構成することもできる。

本発明の第１実施例としての画像処理システム１００を示す説明図である。 重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第１実施例の画像処理のフローチャートである。 第１実施例の画像処理の全体の様子を説明するための説明図である。 重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第２実施例の画像処理のフローチャートである。 第２実施例の画像処理の内容を説明するための説明図である。 重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第３実施例の画像処理のフローチャートである。 第３実施例の画像処理の内容を説明するための説明図である。 第３実施例の画像処理の全体の様子を説明するための説明図である。 フレーム画像が異形形状の透視領域ＴＲを有する場合における合成対象元画像のサイズ決定手法の変形例を説明する説明図である。

符号の説明

２０...画像データベース
２１...デジタルビデオカメラ
２２...デジタルスチルカメラ
２３...ＤＶＤ
２４...ハードディスク
２５...携帯電話
３０...パーソナルコンピュータ
３４...ハードディスク
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理システム
ＴＲ...透視領域
ＨＴＲ...矩形形状

Claims (6)

1. 画像を重ね合わせて合成画像を生成する画像生成装置であって、
   重ね合わせ対象となる第１画像と第２画像のうち、前記第１画像を加工する画像加工部と、
   前記第１画像を透視させる透視領域を有する前記第２画像の前記透視領域に前記第１画像が重なるように、前記第２画像と前記調整後の第１画像とを合成する合成部とを備え、
   前記画像加工部は、
   前記第２画像を構成する第２画像データに含まれる画像部位情報であって、前記第２画像の前記透視領域の性質に基づいて前記透視領域に透視表示する前記第１画像の画像部位を定める前記画像部位情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記画像部位を決定する画像部位決定部と、
   前記第２画像データに含まれるサイズ情報であって、前記透視領域のサイズに合わせて前記第１画像を透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記表示サイズを決定するサイズ決定部と、
   前記決定した前記第１画像の前記画像部位と前記表示サイズでの画像表示となるように、前記第１画像を構成する第１画像データを調整する調整部と、
   前記透視領域に透視表示される前記第１画像の画像部位を構成する画像データをサンプリングの対象とし、該サンプリングした画像データの統計的特性に基づいた画像データ補正を前記透視表示される前記第１画像の画像部位について実行する補正実行部とを備え、
   前記調整部は、
   前記透視領域に透視表示する前記第１画像の画像部位は顔画像部位であることを定める前記画像部位情報に応じて、前記画像部位決定部が前記透視領域に透視表示する前記第１画像の前記画像部位を前記顔画像部位に決定すると、前記第１画像が顔画像部位を含む画像であるかを解析し、
   該解析の結果、前記第１画像が顔画像部位を含む画像であれば、前記顔画像部位を前記第１画像から切り出し、
   前記透視領域に透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて前記サイズ決定部が決定した前記表示サイズとなるよう、前記切出済みの前記顔画像部位の前記第１画像のスケーリングを行い、
   前記補正実行部は、
   前記スケーリング済みの前記第１画像の前記顔画像部位について前記画像データ補正を実行する
   画像生成装置。
2. 請求項１記載の画像生成装置であって、
   更に、
   前記透視領域の異なる画像を複数記憶する記憶部と、
   該記憶された複数の画像の一つを、前記第２画像として選択する画像選択部とを有する
   画像生成装置。
3. 請求項２記載の画像生成装置であって、
   前記記憶部は、外部から前記透視領域の異なる画像の入力が可能とされている
   画像生成装置。
4. 複数の画像を重ね合わせて合成画像を生成する画像生成方法であって、
   （ａ）重ね合わせ対象となる第１画像と第２画像のうち前記第１画像について、前記第２画像が前記第１画像を透視させるよう有する透視領域に透視表示する前記第１画像の画像部位を定めると共に、前記透視領域に所定の関係で対応するよう前記第１画像の表示態様を決定する工程と、
   （ｂ）前記工程（ａ）で決定した前記表示態様での画像表示となるように、前記第１画像データを構成する第１画像データを調整する工程と、
   （ｃ）前記透視領域に透視表示される前記第１画像の画像部位を構成する画像データをサンプリングの対象とし、該サンプリングした画像データの統計的特性に基づいた画像データ補正を前記透視表示される前記第１画像の画像部位について実行する工程と
   （ｄ）前記第２画像と、前記工程（ｂ）での調整および前記工程（ｃ）での画像データ補正を経た後の前記第１画像とを、前記透視領域に前記表示態様の前記第１画像が重なるように、合成する工程とを備え、
   前記工程（ａ）では、
   前記第２画像を構成する第２画像データに含まれる画像部位情報であって、前記第２画像の前記透視領域の性質に基づいて前記透視領域に透視表示する前記第１画像の画像部位を定める前記画像部位情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記画像部位を決定し、
   前記第２画像データに含まれるサイズ情報であって、前記透視領域のサイズに合わせて前記第１画像を透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記表示サイズを決定し、
   前記工程（ｂ）では、
   前記透視領域に透視表示する前記第１画像の画像部位は顔画像部位であることを定める前記画像部位情報に応じて、前記工程（ａ）にて前記透視領域に透視表示する前記第１画像の前記画像部位が前記顔画像部位に決定されると、前記第１画像が顔画像部位を含む画像であるかを解析し、
   該解析の結果、前記第１画像が顔画像部位を含む画像であれば、前記顔画像部位を前記第１画像から切り出し、
   前記透視領域に透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて前記工程（ａ）にて決定すみの前記表示サイズとなるよう、前記切出済みの前記顔画像部位の前記第１画像のスケーリングを行い、
   前記工程（ｃ）では、
   前記スケーリング済みの前記第１画像の前記顔画像部位について前記画像データ補正を実行する
   画像生成方法。
5. 複数の画像を重ね合わる画像合成処理をコンピュータに実行させるためのコンピュータプログラムであって、
   （ａ）重ね合わせ対象となる第１画像と第２画像のうち前記第１画像について、前記第２画像が前記第１画像を透視させるよう有する透視領域に透視表示する前記第１画像の画像部位を定めると共に、前記透視領域に所定の関係で対応するよう前記第１画像の表示態様を決定する機能と、
   （ｂ）前記機能（ａ）で決定した前記表示態様での画像表示となるように、前記第１画像データを構成する第１画像データを調整する機能と、
   （ｃ）前記透視領域に透視表示される前記第１画像の画像部位を構成する画像データをサンプリングの対象とし、該サンプリングした画像データの統計的特性に基づいた画像データ補正を前記透視表示される前記第１画像の画像部位について実行する機能と
   （ｄ）前記第２画像と、前記工程（ｂ）での調整および前記工程（ｃ）での画像データ補正を経た後の前記第１画像とを、前記透視領域に前記表示態様の前記第１画像が重なるように、合成する機能とを、前記コンピュータに実現させると共に、
   前記機能（ａ）の実現に際しては、
   前記第２画像を構成する第２画像データに含まれる画像部位情報であって、前記第２画像の前記透視領域の性質に基づいて前記透視領域に透視表示する前記第１画像の画像部位を定める前記画像部位情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記画像部位を決定する機能と、
   前記第２画像データに含まれるサイズ情報であって、前記透視領域のサイズに合わせて前記第１画像を透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて、前記第２画像の前記透視領域に前記第１画像を透視表示する際の前記表示サイズを決定する機能とを前記コンピュータに実現させ、
   前記機能（ｂ）の実現に際しては、
   前記透視領域に透視表示する前記第１画像の画像部位は顔画像部位であることを定める前記画像部位情報に応じて、前記機能（ａ）にて前記透視領域に透視表示する前記第１画像の前記画像部位が前記顔画像部位に決定されると、前記第１画像が顔画像部位を含む画像であるかを解析する機能と、
   該解析の結果、前記第１画像が顔画像部位を含む画像であれば、前記顔画像部位を前記第１画像から切り出す機能と、
   前記透視領域に透視表示する際の前記第１画像の表示サイズを定める前記サイズ情報に応じて前記工程（ａ）にて決定すみの前記表示サイズとなるよう、前記切出済みの前記顔画像部位の前記第１画像をスケーリングする機能とを前記コンピュータに実現させ、
   前記機能（ｃ）の実現に際しては、
   前記スケーリング済みの前記第１画像の前記顔画像部位について前記画像データ補正を実行する機能を前記コンピュータに実現させるコンピュータプログラム。
6. 請求項５に記載したコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images