JP4202330B2 - マスク画像情報作成方法、マスク画像情報作成装置及びマスク画像情報作成プログラム - Google Patents

Description

本発明は、画像処理方法、マスク画像情報作成方法、マスク画像情報作成装置及びマスク画像情報作成プログラムに係るものである。より詳しくは、原画像上に重ねられるマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成方法、当該マスク画像情報作成方法を使用するマスク画像情報作成装置、及び、当該マスク画像情報作成方法を計算機に実行させるマスク画像情報作成プログラムに関するものである。

従来から、取得された原画像を処理する画像処理が様々な手法で行われている。こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある（非特許文献１、特許文献１、２等参照）。

こうした顔像に関する画像処理技術の存在を背景として、例えば、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるばかりではなく、送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている（特許文献３参照）。この技術では、まず、送信側端末装置のカメラで撮像された画像における送信側話者像を抽出する。そして、抽出された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、送信側話者の所在位置というプライバシ情報を受信側話者に知らせることなく、違和感のない対面会話を行うことができるようになっている。

また、送信側端末装置の利用者のプライバシを保護するために、送信側話者のリアルタイム画像を使用せずに、予め用意しておいた当該送信側話者あるいは他の話者についての複数の静止画像から送信側話者の音声に合わせて選択した画像を、受信側端末装置へ送信する技術も提案されている（特許文献３参照）。なお、この場合にも、選択された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信することができる。

この技術では、予め利用者又は他の者について、例えば母音及び必要に応じて撥音の発音時ごとの静止像を用意しておく。そして、利用者の話中における発生音を解析し、解析結果として得られた発生音に対する画像を選択する。引き続き、選択された画像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、入浴中である等のリアルタイム画像を送信することがプライバシ保護の観点から不適切な場合にも、画像を参照しつつ違和感のない会話を行うことができるようになっている。

アイマティックジャパン株式会社、"技術情報"、［2003年12月29日検索］、インターネット＜URL:http://www.eyematic.co.jp/tech.html＞ 特許公開２００３−２７１９５８号公報 特許公開２００３−２９６７３５号公報 特許公開２００３−３０９８２９号公報

上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。しかしながら、こうした画像処理技術では、利用者が、自身の趣味感に合わせて原画像を加工し、自身の内心等を表現するということは、技術的な視野には入っていなかった。このため、例えば、テレビ電話に従来の画像処理技術を適用しても、テレビ電話の機能を発揮させつつ、送信側話者の趣味感を反映した画像を伴った楽しい会話を行うという観点からは、十分なものとはなっていなかった。

すなわち、従来の画像処理技術では、原画像に対して利用者の感情の強調等を当該利用者の趣味感に合わせた演出を施したものとすることができれば、利用者にとっての楽しさを増進させることができると考えられるが、こうした演出を画像に施すことは、特に原画像が動画である場合にはできなかった。

こうした画像の演出は、原画像が固定的な静止画像である場合には、その静止画像の所望の位置に所望の大きさで所望の形状や色のアクセサリ画像を重ねて表示することにより行うことができる。しかし、送信する画像が、時間の経過に伴い刻々と変化する動画像又は動画像に相当する画像である場合には、表示画面の固定的な位置にアクセサリ像を重ねて表示するのでは、違和感のある表示画像となってしまう。

例えば、利用者の顔像が含まれる原画像における当該顔像の目の位置にハートマークをほぼ目の大きさで表示させる演出を行う際に、ハートマークを表示画面の固定位置に重ねて表示するのでは、刻々と変化する動画像における顔像の目の位置にハートマークを表示させることはできない。また、表示位置だけでなく、ハートマークの表示の大きさについても、動画像における顔像の大きさに応じたものとしなければ、違和感のある表示画像となってしまう。

このため、原画像が静止画である場合ばかりではなく、動画像である場合であっても、簡易に利用者による演出を違和感なく表現できる技術が待望されている。

本発明は、上記の事情を鑑みてなされたものであり、原動画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができるマスク画像情報の作成方法及び作成装置を提供することを目的とする。

また、本発明は、原動画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができるマスク画像情報作成プログラムを提供することを目的とする。

本発明のマスク画像情報作成方法は、利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成方法であって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択工程と；前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定工程と；前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定工程と；を備え、前記振る舞いの指定には、表示時間指定が含まれ、前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、ことを特徴とするマスク画像情報作成方法である。

このマスク画像情報作成方法では、まず、要素画像選択工程において、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、要素画像振る舞い指定工程において、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定を、前記原動画像における画像フレームを特定することなく行う。そして、位置及び大きさ指定工程において、原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。なお、要素画像振る舞い指定工程を位置及び大きさ指定工程の後に行うことも可能である。

この結果、マスク画像の要素となるべき要素画像の振る舞い、並びに着目像領域と関連した表示位置及び表示大きさというマスク画像情報が作成される。したがって、本発明のマスク画像情報作成方法によれば、原動画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。

また、本発明のマスク画像情報作成方法では、前記振る舞いの指定には、表示時間指定が含まれる。当該表示間指定に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像に関するマスク画像情報を作成することができる。
また、本発明のマスク画像情報作成方法では、前記位置指定を、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定とする。このため、要素画像の表示位置を、原画像における着目像領域の代表点位置、傾き及び単位長さに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易な形式で表現したマスク画像情報を作成することができる。
また、本発明のマスク画像情報作成方法では、前記大きさ指定を、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定とする。このため、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像に関するマスク画像情報を作成することができる。

また、本発明のマスク画像情報作成方法では、前記振る舞いの指定には、前記選択された要素画像の内における時間順次表示をすべき組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれることとすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示するマスク画像に関するマスク画像情報を作成することができる。

また、本発明のマスク画像情報作成方法では、前記振る舞いの指定には、前記選択された要素画像の内における同時表示をすべき組合せについて、同時に表示することを指定する同時表示指定が含まれることとすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像に関するマスク画像情報を作成することができる。この結果、様々なバリエーションのマスク画像に関するマスク画像情報を作成することができる。

また、本発明のマスク画像情報作成方法では、前記要素画像を、素材画像を編集して作成する素材画像編集工程を更に備えることとすることができる。この場合には、素材画像編集工程において、様々な経路で入手した素材画像に対して大きさの変更や回転転換等の編集を施すことにより、マスク画像要の表示画像とし利用しやすい要素画像とすることができる。

また、本発明のマスク画像情報作成方法では、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー工程を更に備えることとすることができる。この場合には、プレビュー工程において、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行う。このプレビュー表示により、利用者は、その段階におけるマスク像による原画像の演出効果を確認することができる。

ここで、前記プレビュー表示を参照して、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定の少なくとも一部を修正する修正工程を更に備えることとすることができる。この場合には、修正工程において、プレビュー表示を参照して、選択された要素画像、振る舞い指定、位置指定及び前記大きさ指定の少なくとも一部を修正する。この結果、プレビュー表示と修正とを繰り返して行うことにより、利用者の意図した演出効果を奏することができるマスク画像を作成するためのマスク画像作成情報を作成することができる。

本発明のマスク画像情報作成装置は、利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成装置であって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手段と；前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定手段と；前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定手段と；を備え、前記振る舞いの指定には、表示時間指定が含まれ、前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、ことを特徴とするマスク画像情報作成装置である。

このマスク画像情報作成装置では、まず、要素画像選択手段が、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、要素画像振る舞い指定手段が、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定を、原動画像における画像フレームを特定することなく行う。そして、位置及び大きさ指定手段が、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。
ここで、前記振る舞いの指定には、表示時間指定が含まれ、前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、前記着目像領域の大きさに対応して定まる長さを単位長さとする座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である。

すなわち、本発明のマスク画像情報作成装置は、上述した本発明のマスク画像情報作成方法を使用して、マスク画像情報を作成する。したがって、本発明のマスク画像情報作成装置によれば、原動画像に対して利用者の演出を施すためのダイナミックに変化するマスク画像作成用のマスク画像情報を簡易に作成することができる。

本発明のマスク画像情報作成装置では、前記要素画像を、素材画像を編集して作成する素材画像編集手段を更に備える構成とすることができる。この場合には、素材画像編集手段が、様々な経路で入手した素材画像に対して大きさの変更や回転転換等の編集を施すことにより、マスク画像要の表示画像とし利用しやすい要素画像とすることができる。

また、本発明のマスク画像情報作成装置では、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手段を更に備える構成とすることができる。この場合には、プレビュー手段により、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行う。このプレビュー表示により、利用者は、その段階におけるマスク像による原動画像の演出効果を確認することができる。

本発明のマスク画像情報作成プログラムは、利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成プログラムであって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手順と；前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定手順と；前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定手順と；を計算機に実行させ、前記振る舞いの指定には、表示時間指定が含まれ、前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、ことを特徴とするマスク画像情報作成プログラムである。

このマスク画像情報作成プログラムでは、計算機により、まず、要素画像選択手順が実行されて、マスク画像の作成に使用する少なくとも１つの要素画像が選択される。引き続き、要素画像振る舞い指定手順が実行されて、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定が、原動画像における画像フレームを特定することなく行われる。そして、位置及び大きさ指定手順が実行されて、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定が行われる。
ここで、前記振る舞いの指定には、表示時間指定が含まれ、前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である。

すなわち、本発明のマスク画像情報作成プログラムが計算機により実行されることにより、上述した本発明のマスク画像情報作成方法を使用して、マスク画像情報が作成される。したがって、本発明のマスク画像情報作成プログラムによれば、原動画像に対して利用者の演出を施すためのダイナミックに変化するマスク画像作成用のマスク画像情報を簡易に作成することができる。

本発明のマスク画像情報作成プログラムでは、前記要素画像を、素材画像を編集して作成する素材画像編集手順を、前記計算機に更に実行させることとすることができる。この場合には、計算機により素材画像編集手順が実行されることにより、様々な経路で入手した素材画像に対して大きさの変更や回転等の編集が施され、マスク画像用の表示画像とし利用しやすい要素画像とすることができる。

本発明のマスク画像情報作成プログラムでは、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手順を、前記計算機に更に実行させることとすることができる。この場合には、計算機によりプレビュー手順が実行されることにより、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示が行われる。このプレビュー表示により、利用者は、その段階におけるマスク像による原動画像の演出効果を確認することができる。

以下、本発明の一実施形態を、図１〜図２１を参照して説明する。図１には、本発明の一実施形態に係るマスク画像情報作成装置５０と、情報通信端末装置である携帯電話装置１０とを備える画像処理システム１００が示されている。この画像処理システム１００では、マスク画像情報作成装置５０が、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られるようになっている。

マスク画像情報作成装置５０は、図１に示されるように、（ａ）装置本体５１と、（ｂ）マスク画像情報作成装置５０の利用者が装置本体５１内の後述する処理装置６１（図２参照）に対して指令や文字データを入力するストロークデバイスであるキーボード５２と、（ｃ）処理装置６１による制御のもとで、図形や文字等を表示する表示装置５３と、（ｄ）マスク画像情報作成装置５０の利用者が処理装置６１に対して表示装置５３の表示領域における位置を指定するポインティングデバイスであるマウス５４と、（ｅ）処理装置６１による制御のもとで、所望の対象物体を撮影するカメラ装置５５とを備えている。

装置本体５１は、図２に示されるように、（ｉ）様々なデータ処理を行うとともに、マスク画像情報作成装置５０全体を統括制御する処理装置６１と、（ii）通信ネットワークＭＮＴとの間で通信を制御する通信制御装置６２と、（iii）様々なデータを記憶する記憶装置６３と、（iv）記憶媒体ＭＣＤからデータを読み出したり、記憶媒体ＭＣＤにデータを書き込んだりするための記憶媒体アクセス装置６４と、（ｖ）インターフェースケーブルＩＦＣを介して、他の装置と接続ための外部インターフェース装置６５とを備えている。

ここで、マスク画像情報作成装置５０は計算機システムとして構成されており、処理装置６１において各種のプログラムが実行されて、様々なデータ処理及びマスク画像情報作成装置５０全体の統括制御がなされるようになっている。こうしたプログラムの１つとして、マスク画像情報作成プログラム７０がある。

このマスク画像情報作成プログラム７０は、図３に示されるように、（ｉ）マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択部７１と、（ii）選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定部７２と、（iii）原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定部７３とを備えている。また、マスク画像情報作成プログラム７０は、（iv）要素画像を、素材画像を編集して作成する素材画像編集部７４と、（ｖ）選択された要素画像、振る舞い指定、位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー部７５とを、更に備えている。

なお、記憶装置６３には、マスク画像情報作成プログラム７０が使用する領域として、要素画像格納領域８１、標準着目像格納領域８２、マスク画像情報格納領域８３、及びマスク画像情報作成プログラム７０が編集中のマスク画像情報である編集中マスク画像情報格納領域８４を有している。

ここで、マスク画像情報格納領域８３には、マスク画像情報ファイル４０が格納される。このマスク画像情報ファイル４０は、図４（Ａ）に示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１_jと、（ii）表示指定ファイル４１_jにおける表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２_jとから構成されている。

要素画像ファイル４２_jは、図４（Ｂ）に示されるように、要素画像ＥＭＭが格納されている。なお、要素画像ファイル４２_jに格納されている第ｉ番目の要素画像を以下においては、要素画像ＥＭＭ_jiと記すものとする。なお、図４（Ｂ）では、要素画像ファイル４２_jに格納されている要素画像が複数ある場合が示されているが、要素画像ファイル４２_jに格納されている要素画像の数は１つの場合もあるし、２つ以上の場合もある。要素画像ＥＭＭ_jiとしては、例えば、ハート図形画像、唇図形画像等がある。

こうした、要素画像ＥＭＭ_jiは、図５において要素画像ＥＭＭ₁₁について代表的に示されるように、要素画像に固有の座標系、すなわち要素画像ＥＭＭ_jiの代表点（図５では、要素画像ＥＭＭ₁₁の中心点）を原点Ｏ_EとするＸ_EＹ_E座標系において作成されている。そして、要素画像ＥＭＭ_jiの大きさ情報としては、Ｘ_E軸方向における最大幅ＬＸ_Ei（図５においては、最大幅ＬＸ_E1）を使用するようになっている。図６においては、要素画像ＥＭＭ_jiをハート図形の要素画像ＥＭＭ₁₁としたが、形状や大きさの異なる要素画像であっても、同様である。

上記の表示指定ファイル４１_jにおける表示指定記述の例が、図６及び図７に示されている。なお、本実施形態における表示指定記載は、ＳＭＩＬ（Synchronized Multimedia Integration Language）形式に準じた形式で記述されるようになっている。

これらの表示指定記述の例に先立って、要素画像の表示位置の指定に使用する着目像座標系について説明する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに２次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。

着目像座標系（Ｘ_WＹ_W座標系）は、図８（Ａ）及び図８（Ｂ）において総合的に示されるように、原画像座標系（Ｘ_SＹ_S座標系）が定義される原画像領域ＯＭＲにおける着目像領域ＷＭＲの傾きの有無にかかわらず、着目像領域ＷＭＲに対して固有に定義される。すなわち、着目像領域ＷＭＲにおける所定の画像的に特徴的な点（以下、「代表点」ともいう）をＸ_WＹ_W座標系の原点Ｏ_Wとする。こうした代表点としては、着目像領域ＷＭＲの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によって得られる着目像領域における特徴的な点を採用することができる。

また、着目像領域ＷＭＲにおける特徴的な一方向をＸ_W軸方向とする。こうしたＸ_W軸としては、例えば、着目像領域ＷＭＲの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。そして、Ｘ_W軸方向と垂直な方向をＹ_W軸方向とする。こうして、着目像座標（Ｘ_WＹ_W座標系）が定義される。

以下、図６及び図７に示されている表示指定記述の例について説明する。

図６（Ａ）には、着目像領域の位置、傾き、及び大きさに応じて定まる２つの位置（例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像が同時を表示させる表示指定を行うための例が表示指定ファイル４１₁として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記載された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。

付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞との間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ_W0である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W11，Ｙ_W11）に、「要素画像指定」によって指定される要素画像ＥＭＭ₁₁が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ₁₁のＸ_W軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₁の長さとされる。なお。後述する表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ₁₁は常時表示されることが指定されている。

付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ_W0である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W12，Ｙ_W12）に、「要素画像指定」によって指定される要素画像ＥＭＭ₁₁が表示される。これ以外の指定については、付加画像１の場合と同様の指定が行われていることから、付加画像１の場合と同様の表示指定が行われている。

なお、図６（Ａ）のような表示指定ファイル４１₁の場合、表示指定ファイル４１₁に対応する要素画像ファイル４２₁には、要素画像として、要素画像ＥＭＭ₁₁のみが格納される。

図６（Ｂ）には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置（例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する１つの付加画像１が表示させる表示指定を行うための例が表示指定ファイル４１₂として示されている。なお、図６（Ｂ）の表示指定ファイル４１_jでは、複数の要素画像を同時に表示させないので、図６（Ａ）における同時表示に関連する＜同時表示指定＞及び＜同時表示指定終了＞が記述されていない。

付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、まず、第１の「要素画像指定」によって指定される要素画像ＥＭＭ₂₁が、第１の「表示位置指定」によって指定される着目像領域が予め定められた基準となる大きさ情報ＬＸ_Eが値ＬＸ_E0である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W21，Ｙ_W21）に表示される。また、第１の「大きさ指定」によって指定されるように、要素画像ＥＭＭ₂₁の表示時のＸ_E軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₂₁の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ₂₁が、時間Ｔ₂₁にわたって表示される。

要素画像ＥＭＭ₂₁の時間Ｔ₂₁の表示が終了すると、次に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ₂₂が、第２の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ₂₁の場合と同様の位置に表示される。また、第２の「大きさ指定」によって指定されるように、要素画像ＥＭＭ₂₂の表示時におけるＸ_E軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₂₂の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ₂₂が、時間Ｔ₂₂にわたって表示される。

要素画像ＥＭＭ₂₂の時間Ｔ₂₂の表示が終了すると、次に、第３の「要素画像指定」によって指定される要素画像ＥＭＭ₂₃が、第３の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ₂₁の場合と同様の位置に表示される。また、第３の「大きさ指定」によって指定されるように、要素画像ＥＭＭ₂₃の表示時におけるＸ_E軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₂₃の長さとされる。また、第３の「表示時間指定」によって指定されるように、要素画像ＥＭＭ₂₃が、時間Ｔ₂₃にわたって表示される。

こうして、要素画像ＥＭＭ₂₁、要素画像ＥＭＭ₂₂及び要素画像ＥＭＭ₂₃の時間順次の表示が終了すると、再度、上記と同様の態様で要素画像ＥＭＭ₂₁、要素画像ＥＭＭ₂₂及び要素画像ＥＭＭ₂₃の時間順次の表示がされる。こうして、要素画像ＥＭＭ₂₁、要素画像ＥＭＭ₂₂及び要素画像ＥＭＭ₂₃の指定態様による表示が、時間順次に繰り返される。

図７には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置に、常時１つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の２つの位置に、時間順次に異なる２つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル４１₃として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記載された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。

付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ_W0である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W31，Ｙ_W31）に、「要素画像指定」によって指定される要素画像ＥＭＭ₃₁が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ₃₁のＸ_W軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₃₁の長さとされる。なお、表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ₃₁は常時表示されることが指定されている。

付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、まず、第１の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ_W0である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W32，Ｙ_W32）に、第１の「要素画像指定」によって指定される要素画像ＥＭＭ₃₂が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ₃₂のＸ_W軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₃₂の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ₃₂が、時間Ｔ₃₂にわたって表示される。

付加画像２においては、要素画像ＥＭＭ₃₂の時間Ｔ₃₂の表示が終了すると、次に、第２の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ₀である場合におけるＸ_WＹ_W座標系の座標位置（Ｘ_W33，Ｙ_W33）に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ₃₃が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ₃₃のＸ_W軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸ_Wに対して比率Ｒ₃₃の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ₃₃が、時間Ｔ₃₃にわたって表示される。

こうして、付加画像１と付加画像２とを合わせて、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₂の同時表示と、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₃の同時表示とが時間順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₂の同時表示と、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₃の同時表示とが時間順次に行われる。こうして、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₂の同時表示と、要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₃の同時表示とが時間順次に繰り返される。

図９及び図１０には、図１の携帯電話装置１０の構成が概略的に示されている。ここで、図９（Ａ）には、携帯電話装置１０の外観の正面図が示され、図９（Ｂ）には、携帯電話装置１０の外観の裏面図が示されている。また、図１０には、携帯電話装置１０の機能ブロック構成が示されている。

図９及び図１０において総合的に示されるように、携帯電話装置１０は、（ａ）後述する制御部２１等を備える携帯電話本体１１と、（ｂ）電話番号を制御部２１へ入力するためのテンキー、及び、動作モードの切替等の各種指令を制御部２１へ入力するためのファンクションキーを有する操作部１２と、（ｃ）制御部２１による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部１３とを備えている。また、携帯電話装置１０は、（ｄ）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、通話時に音声を入力するためのマイクロフォン１５と、（ｅ）制御部２１による指令に応じて、着信音や案内音を発生するための案内用スピーカ１６とを備えている。更に、携帯電話装置１０は、（ｆ）送受信部２２と接続され、基地局との間で無線信号を授受するためのアンテナ１７とを備えている。さらに、携帯電話装置１０は、（ｇ）表示部１３における表示を見ながら操作部１２を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系１８と、（ｈ）当該操作者の視線方向を視野方向とする撮影を行う、すなわち、いわゆる相手撮りの態様で撮影を行うための撮像光学系１９とを備えている。

携帯電話本体１１は、図１０に示されるように、（ｉ）携帯電話装置１０の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部２１と、（ii）基地局との間でアンテナ１７を介して無線信号を送受信するための送受信部２２と、（iii）様々なデータを記憶するための記憶部２３とを備えている。また、携帯電話本体１１は、（iv）制御部２１の制御に応じて、撮像光学系１８を介した光及び撮像光学系１９を介した光のいずれかを、後述する撮像素子２５へ向けて射出する切換光学系２４と、（ｖ）切換光学系２４を介した光が受光面に形成する光学像を撮像するＣＣＤ素子等の撮像素子２５とを備えている。また、携帯電話本体１１は、（vi）記憶媒体ＭＣＤからデータを読み出したり、記憶媒体ＭＣＤにデータを書き込んだりするための記憶媒体アクセス部２６と、（ｖ）インターフェースケーブルＩＦＣを介して他の装置と接続ための外部インターフェース部２７とを備えている。ここで、撮像素子２５は、制御部２１の制御のもとで撮像動作を行い、撮像結果を制御部２１へ通知するようになっている。

制御部２１は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を備えている。そして、制御部２１で実行されるプログラムとして構成された基本制御部２９やマスク画像処理部３０により、携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。ここで、基本制御部２９は、マスク画像処理部３０の動作の開始及び停止を制御するとともに、制御部２１の外部に配置された各要素の制御、及び、後述するマスク画像作成の画像処理以外のデータ処理を行う。

上記のマスク画像処理部３０は、図１１に示されるように、着目像情報抽出部３１と、マスク画像作成部３２と、合成画像作成部３３とを備えている。着目像情報抽出部３１は、撮像素子２５からの原画像データＯＭＤに基づいて、例えば原画像における特定人物（例えば、携帯電話装置１０の利用者）の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報から成る着目像情報ＷＭＤを抽出する。

上記のマスク画像作成部３２は、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。なお、マスク画像情報ＭＤＤ及びマスク画像作成部３２によるマスク画像データＭＭＤの作成については、後述する。

上記の合成画像作成部３３は、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成画像データＳＭＤを作成する。なお、合成画像作成部３３によって作成された合成画像データＳＭＤを基本制御部２９へ通知されるようになっている。

図１０に戻り、記憶部２３には、上述したマスク画像情報ファイル４０が記憶される。このマスク画像情報ファイル４０は、携帯電話装置１０に対して、マスク画像情報作成装置５０から通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られてきたものが記憶されるようになっている。

次に、上述のように構成されたマスク画像情報作成装置５０によるマスク画像情報の作成について説明する。

マスク画像情報の作成に先立って、マスク画像情報作成装置５０では、要素画像が作成される。こうした要素画像の作成には、マスク画像情報作成プログラム７０の素材画像編集部７４により行われ、作成された要素画像は、要素画像格納領域８１に格納される（図３参照）。ここで、素材画像編集部７４は、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による描画指令に応じて要素画像を作成し、要素画像格納領域８１に格納する。また、素材画像編集部７４は、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は外部インターフェースケーブルＩＦＣを介して取得した素材画像を、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による拡大・縮小や回転の指令に応じて編集して要素画像を作成し、要素画像格納領域８１に格納する。また、素材画像編集部７４は、カメラ装置５５によって得られた撮像結果を、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による切り出し、並びに切り出し結果の拡大・縮小及び回転の指令に応じて編集して要素画像を作成し、要素画像格納領域８１に格納する。こうして作成された要素画像の例が、上述した図５、並びに図１２及び図１３に示されている。

以上のようにして要素画像が要素画像格納領域８１に格納されていることを前提として、マスク画像情報の作成が、次のようにして行われる。

まず、マスク画像情報作成プログラム７０の要素画像選択部７１により、マスク画像に使用する要素画像が選択される。この要素画像の選択は、要素画像格納部８１に格納されている要素画像の中から、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による要素画像の選択指令により行われる。

例えば、上述した図６（Ａ）の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ₁₁（図５参照）が選択される。また、上述した図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ₂₁，ＥＭＭ₂₂，ＥＭＭ₂₃（図１２参照）が選択される。また、上述した図８の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ₃₁，ＥＭＭ₃₂，ＥＭＭ₃₃（図１３参照）が選択される。こうして選択された要素画像は、要素画像振る舞い指定部７２に通知される。

引き続き、マスク画像情報作成プログラム７０の要素画像振る舞い指定部７２により、マスク画像における選択された各要素画像の振る舞い、すなわち、各要素画像に対応させて表示時間、表示順序、同時表示させる組合せが指定される。この各要素画像の振る舞い指定は、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による要素画像の振る舞い指定指令に従って行われる。

例えば、上述した図６（Ａ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）定常的に表示される要素画像ＥＭＭ₁₁が付加画像１の構成要素であること、（ii）定常的に表示される要素画像ＥＭＭ₁₁が付加画像２の構成要素であること、（iii）付加画像１と付加画像２とが同時表示されることが指定される。また、上述した図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）時間Ｔ₂₁にわたって表示される要素画像ＥＭＭ₂₁、時間Ｔ₂₂にわたって表示される要素画像ＥＭＭ₂₂、及び、時間Ｔ₂₃にわたって表示される要素画像ＥＭＭ₂₃が付加画像１の構成要素であること、（ii）要素画像ＥＭＭ₂₁、要素画像ＥＭＭ₂₂及び要素画像ＥＭＭ₂₃の順で繰り返し表示されることが指定される。また、上述した図７の表示指定を含むマスク画像情報を作成する場合には、（ｉ）定常的に表示される要素画像ＥＭＭ₁₁が付加画像１の構成要素であること、（ii）時間Ｔ₃₂にわたって表示される要素画像ＥＭＭ₃₂、及び、時間Ｔ₃₃にわたって表示される要素画像ＥＭＭ₃₃が付加画像２の構成要素であること、（ii）付加画像２において、要素画像ＥＭＭ₃₂及び要素画像ＥＭＭ₃₃の順で繰り返し表示されること、（iv）付加画像１と付加画像２とが同時表示されることが指定される。こうして指定された振る舞い指定結果は、選択された要素画像とともに、位置及び大きさ指定部７３に通知される。

次に、マスク画像情報作成プログラム７０の位置及び大きさ指定部７３により、選択された各要素画像の表示位置及び大きさが指定される。この表示位置及び大きさが指定に際して、位置及び大きさ指定部７３は、まず、標準着目像格納領域８２に格納された標準着目像ＷＭＴ（図１４参照）を読み出して、表示装置５３に表示する。この標準着目像ＷＭＴの表示例が図１４に示されている。図１４（Ａ）に示されるように標準着目像ＷＭＴにおいては、着目像座標系（Ｘ_WＹ_W座標系）が定義されている。ここで、標準着目像ＷＭＴは、例えば人物の顔像等であり、経験的且つ統計的に定められたものであってもよいし、カメラ装置５５によって撮像された特定人物像から切り出されたものであってもよい。なお、本実施形態においては、標準着目像ＷＭＴは、図１４（Ａ）に示されるような人物の顔像等であり、経験的且つ統計的に定められたものとしている。また、本実施形態では、標準着目像ＷＭＴの領域の大きさを代表する特徴的な長さである標準着目像ＷＭＴの領域のＸ_W軸上における幅が長さＬＸ₀となっているものとする。

引き続き、位置及び大きさ指定部７３により、利用者により表示装置５３における標準着目像ＷＭＴを見ながら行われるキーボード５２又はマウス５４を用いた各要素画像のドラッグや拡大／縮小操作による表示位置及び表示大きさの指定が行われる。こうした指定の完了時における表示装置５３における表示の例が、図６（Ａ）の表示指定を含むマスク画像情報を作成する場合について、図１４（Ｂ）に示されている。この図１４（Ｂ）の場合には、（ｉ）付加画像１における要素画像ＥＭＭ₁₁の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W11，Ｙ_W11］であり、当該要素画像ＥＭＭ₁₁の表示大きさ、すなわち、Ｘ_W軸と平行とされる上述した要素画像座標系（Ｘ_EＹ_E座標系）におけるＸ_E軸方向に沿った当該要素画像ＥＭＭ₁₁の表示時の最大幅と、標準着目像ＷＭＴの領域の大きさＬＸ₀との比率が、値Ｒ₁であることが指定される。また、図１４（Ｂ）の場合には、（ii）付加画像２における要素画像ＥＭＭ₁₁の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W11，Ｙ_W11］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₁₁の表示時の最大幅と、長さＬＸ₀との比率が、値Ｒ₁であることが指定される。

なお、図６（Ｂ）又は図７の表示指定を含むマスク画像情報を作成する場合にも、上記と同様にして、位置及び大きさ指定部７３により、各要素画像の表示位置及び表示大きさの指定が行われる。

この結果、図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）付加画像１における要素画像ＥＭＭ₂₁の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W2，Ｙ_W2］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₂₁の表示時の最大幅と、長さＬＸ₀との比率が、値Ｒ₂₁であることが指定される。また、（ii）付加画像１における要素画像ＥＭＭ₂₂の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W2，Ｙ_W2］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₂₂の表示時の最大幅と、長さＬＸ₀との比率が、値Ｒ₂₂であることが指定される。（iii）付加画像１における要素画像ＥＭＭ₂₃の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W2，Ｙ_W2］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₂₃の表示時の最大幅と、長さＬＸ₀との比率が、値Ｒ₂₃であることが指定される。

また、図７の表示指定を含むマスク画像情報を作成する場合には、（ｉ）付加画像１における要素画像ＥＭＭ₃₁の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W31，Ｙ_W31］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₃₁の表示時の最大幅と、長さＬＸ₀との比率が、値Ｒ₃₁であることが指定される。また、（ii）付加画像２における要素画像ＥＭＭ₃₂の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W32，Ｙ_W32］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₃₂の表示時の最大幅と、長さＬＸ₀との比率Ｒが、値Ｒ₃₂であることが指定される。（iii）付加画像２における要素画像ＥＭＭ₃₃の表示位置が、標準着目像ＷＭＴの場合に、Ｘ_WＹ_W座標系における座標位置［Ｘ_W33，Ｙ_W33］であり、Ｘ_E軸方向に沿った当該要素画像ＥＭＭ₃₃の表示時の最大幅と、長さＬＸ₀との比率Ｒが、値Ｒ₃₃であることが指定される。

こうして、マスク画像情報を構成する要素画像、並びに各要素画像の振る舞い、表示位置及び表示大きさの指定が一旦完了すると、位置及び大きさ指定部７３は、上述したマスク画像情報ファイル４０と同様の形式で、編集中マスク画像情報格納領域８４に格納する。

次いで、利用者によるキーボード５２又はマウス５４を用いたプレビュー実行指令に応じて、プレビュー部７５が、編集中マスク画像情報格納領域８４に格納された編集中マスク画像情報を使用してプレビュー処理を行い、表示装置５３にプレビュー結果を表示する。すなわち、プレビュー部７５は、カメラ装置５５によって撮像された原画像及び当該編集中マスク画像情報に基づいて、マスク画像を作成した後、当該マスク画像を原画像上に重ねた合成画像を作成して、表示装置５３に表示される。

ここで、図６（Ａ）、図６（Ｂ）及び図７の表示指定を有する編集中マスク画像情報の場合のプレビュー動作である第１〜第３のプレビュー動作について説明する。

前提として、プレビュー部７５は、記憶部２３における編集中マスク画像情報格納領域８４に格納された編集中マスク画像情報を既に読み込んでいるものとする。また、原画像における着目像ＷＭＭは、図１５（Ａ）に示されるような特定の人物の顔像であるものものとする。そして、図１５（Ｂ）に示されるように、着目像ＷＭＭにおける鼻の突端位置を原点Ｏ_Wとし、両面を結ぶ方向をＸ_W軸方向とし、当該Ｘ_W軸方向と垂直な方向をＹ_W軸方向とするＸ_WＹ_W座標系（着目像座標系）が定義されるものとする。なお、原点Ｏ_W及びＸ_W軸方向は、原画像における着目像を画像解析して求められ、Ｙ_W軸方向は、求められたＸ_W軸方向に基づいて求められるものとする。

《第１のプレビュー例》
まず、第１のプレビュー例を説明する。この例は、上述した図６（Ａ）において、両目の位置を表示位置とし、要素画像データＥＭＭ₁₁が、図５に示されるハート型図形画像であり、当該要素画像ＥＭＭ₁₁が着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対して比率Ｒ₁の大きさで表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。

まず、カメラ装置５５において撮像された原画像ＯＭＭのデータである原画像データが、プレビュー部７５へ通知される。ここで、得られた原画像ＯＭＭの例が、図１６に示されている。

プレビュー部７５は、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を抽出する。引き続き、着目像情報抽出部３１は、着目像ＷＭＭを解析して、原画像座標系（Ｘ_SＹ_S座標系）における着目像ＷＭＭにおける鼻の突端位置（Ｘ_SW，Ｙ_SW）を着目像座標（Ｘ_WＹ_W座標系）の原点Ｏ_Wの位置として求めるとともに、両目の瞳の中央位置同士を結ぶ線分が延びる方向をＸ_WＹ_W座標系のＸ_W軸方向として求める。そして、求められたＸ_W軸方向とＸ_S軸方向との交差角度θ_Wを求める。さらに、着目像情報抽出部３１は、着目像ＷＭＭのＸ_W軸上における幅ＬＸ_Wを求める。この結果、着目像領域の位置情報としての位置（Ｘ_SW，Ｙ_SW）、着目像領域の傾き情報としての角度θ_W、着目像領域の大きさ情報としての長さＬＸ_Wが求められる。

引き続き、プレビュー部７５は、付加画像１における要素画像ＥＭＭ₁₁のＸ_SＹ_S座標系における表示位置（Ｘ_E11，Ｙ_E11）を、次の（１）式及び（２）式により算出する。
Ｘ_E11＝（ＬＸ_W／ＬＸ₀）(Ｘ_W11・ｃｏｓθ_W−Ｙ_W11・ｓｉｎθ_W)＋Ｘ_SW …（１）
Ｙ_E11＝（ＬＸ_W／ＬＸ₀）(Ｘ_W11・ｓｉｎθ_W＋Ｙ_W11・ｃｏｓθ_W)＋Ｙ_SW …（２）

次に、プレビュー部７５は、付加画像１における要素画像ＥＭＭ₁₁の拡大又は縮小の倍率Ｍ₁₁を、次の（３）式により算出する。
Ｍ₁₁＝Ｒ₁・ＬＸ_W／ＬＸ_E1 …（３）

次いで、プレビュー部７５は、要素画像ＥＭＭ₁₁をＸ_SＹ_S座標系において原点Ｏ_Eを中心として倍率Ｍ₁₁で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ₁₁をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₁₁を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E11，Ｙ_E11）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

次に、プレビュー部７５は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ₁₁のＸ_SＹ_S座標系における表示位置（Ｘ_E12，Ｙ_E12）を、次の（４）式及び（５）式により算出する。
Ｘ_E12＝（ＬＸ_W／ＬＸ₀）(Ｘ_W12・ｃｏｓθ_W−Ｙ_W12・ｓｉｎθ_W)＋Ｘ_SW …（４）
Ｙ_E12＝（ＬＸ_W／ＬＸ₀）(Ｘ_W12・ｓｉｎθ_W＋Ｙ_W12・ｃｏｓθ_W)＋Ｙ_SW …（５）

引き続き、プレビュー部７５は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ₁₁の拡大又は縮小の倍率Ｍ₁₂を、次の（６）式により算出する。
Ｍ₁₂＝Ｒ₁・ＬＸ_W／ＬＸ_E1 …（６）

次いで、プレビュー部７５は、要素画像ＥＭＭ₁₁をＸ_SＹ_S座標系において原点Ｏ_Eを中心として倍率Ｍ₁₂で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ₁₁をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₁₁、Ｘ_SＹ_S座標系における座標位置（Ｘ_E12，Ｙ_E12）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図１６（Ｂ）に示されるようなマスク画像ＭＭＭＡが作成される。そして、プレビュー部７５は、原画像データＯＭＭ上にマスク画像ＭＭＭＡを重ねた合成画像ＳＭＭＡを作成する。こうして作成された合成画像ＳＭＭＡが図１７（Ａ）に示されている。

以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像ＷＭＭが上記の例から平行移動したとしても、図１７（Ｂ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ₁₁が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＢが作成される。

また、撮像中の原画像における着目像ＷＭＭが縮小したとしても、図１７（Ｃ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ₁₁が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＣが作成される。また、撮像中の原画像における着目像ＷＭＭが回転したとしても、図１７（Ｄ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ₁₁が着目像領域の大きさに応じて指定された比率の大きさを有し、かつ、着目像ＷＭＭの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＤが作成される。なお、撮像中の原画像における着目像ＷＭＭが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（Ｘ_SＹ_S座標系）における座標位置の変化を伴うこととなる。

《第２のプレビュー例》
次に、第２のプレビュー例を説明する。この例は、上述した図６（Ｂ）において、口の位置を表示位置とし、図１２（Ａ）に示される要素画像ＥＭＭ₂₁、図１２（Ｂ）に示される要素画像ＥＭＭ₂₂、及び図１２（Ｃ）に示される要素画像ＥＭＭ₂₃が時間順次に繰り返して表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。

なお、図６（Ｂ）の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ₂₁，ＥＭＭ₂₂，ＥＭＭ₂₃が表示される。すなわち、要素画像ＥＭＭ₂₁は着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対してＲ₂₁の大きさで表示される。また、要素画像ＥＭＭ₂₂は長さ値ＬＸ_Wに対して比率Ｒ₂₂の大きさで表示される。さらに、要素画像ＥＭＭ₂₃は長さ値ＬＸ_Wに対して比率Ｒ₂₃の大きさで表示される。

まず、上記の第１の合成画像作成例と同様にして、カメラ装置５５において撮像された原画像ＯＭＭの原画像データが、プレビュー部７５へ通知される。引き続き、プレビュー部７５が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報ＷＭＲを抽出する。そして、プレビュー部７５は、着目像領域の位置情報としての位置（Ｘ_SW，Ｙ_SW）、着目像領域の傾き情報としての角度θ_W、及び着目像領域の大きさ情報としての長さＬＸ_Wを求める。

次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ₂₁のＸ_SＹ_S座標系における表示位置（Ｘ_E2，Ｙ_E2）を、次の（７）式及び（８）式により算出する。
Ｘ_E2＝（ＬＸ_W／ＬＸ₀）(Ｘ_W2・ｃｏｓθ_W−Ｙ_W2・ｓｉｎθ_W)＋Ｘ_SW …（７）
Ｙ_E2＝（ＬＸ_W／ＬＸ₀）(Ｘ_W2・ｓｉｎθ_W＋Ｙ_W2・ｃｏｓθ_W)＋Ｙ_SW …（８）

次に、プレビュー部７５は、第１の要素画像ＥＭＭ₂₁の拡大又は縮小の倍率Ｍ₂₁を、次の（９）式により算出する。
Ｍ₂₁＝Ｒ₂₁・ＬＸ_W／ＬＸ_E21 …（９）

次いで、プレビュー部７５は、上記の第１のプレビュー例と同様にして、要素画像ＥＭＭ₂₁をＸ_SＹ_S座標系において原点Ｏ_Eを中心として倍率Ｍ₂₁で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ₂₁をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₂₁を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E2，Ｙ_E2）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図１８（Ａ）に示されるようなマスク画像ＭＭＭ₂₁が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ₂₁を作成する。こうして作成された合成画像ＳＭＭ₂₁が図１９（Ａ）に示されている。

以後、プレビュー部７５は、時間Ｔ₂₁にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ₂₁を、着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₂₁の大きさで表示するマスク画像を作成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ₂₁を倍率Ｍ₂₁で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ₂₁にわたって逐次作成する。

こうして、時間Ｔ₂₁が経過すると、プレビュー部７５は、付加画像１における第２要素画像ＥＭＭ₂₂のＸ_SＹ_S座標系における表示位置（Ｘ_E2，Ｙ_E2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第２の要素画像ＥＭＭ₂₂の拡大又は縮小の倍率Ｍ₂₂を、次の（１０）式により算出する。
Ｍ₂₂＝Ｒ₂₂・ＬＸ_W／ＬＸ_E22 …（１０）

次に、プレビュー部７５は、上記の第１の要素画像ＥＭＭ₂₁の場合と同様にして、要素画像ＥＭＭ₂₂をＸ_EＹ_E座標系において原点Ｏ_Eを中心として倍率Ｍ₂₂で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ₂₂をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₂₂を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E2，Ｙ_E2）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図１８（Ｂ）に示されるようなマスク画像ＭＭＭ₂₂が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ₂₂を作成する。こうして作成された合成画像ＳＭＭ₂₂が図１９（Ｂ）に示されている。

以後、プレビュー部７５は、時間Ｔ₂₂にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ₂₂を、着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₂₂の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ₂₂を倍率Ｍ₂₂で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ₂₂にわたって作成する。

こうして、時間Ｔ₂₂が経過すると、プレビュー部７５は、付加画像１における第３要素画像ＥＭＭ₃のＸ_SＹ_S座標系における表示位置（Ｘ_E2，Ｙ_E2）を、上記の（７）式及び（８）式により算出する。引き続き、プレビュー部７５は、第３の要素画像ＥＭＭ₃の拡大又は縮小の倍率Ｍ₂₃を、次の（１１）式により算出する。
Ｍ₂₃＝Ｒ₂₃・ＬＸ_W／ＬＸ_E23 …（１１）

次に、プレビュー部７５は、上記の第１の要素画像ＥＭＭ₂₁の場合と同様にして、要素画像ＥＭＭ₂₃をＸ_EＹ_E座標系において原点Ｏ_Eを中心として倍率Ｍ₂₃で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ₂₃をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₂₃を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E2，Ｙ_E2）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図１８（Ｃ）に示されるようなマスク画像ＭＭＭ₂₃が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ₂₃を重ねた合成画像ＳＭＭ₂₃を作成する。こうして作成された合成画像ＳＭＭ₂₃が図１９（Ｃ）に示されている。

以後、プレビュー部７５は、時間Ｔ₂₃にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ₂₃を、着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₂₃の大きさで表示するマスク画像を生成する。この結果、プレビュー部７５は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ₂₃を倍率Ｍ₂₃で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ₂₃にわたって作成する。

こうして、時間Ｔ₂₃が経過すると、プレビュー部７５は、上記と同様にして、上述した要素画像ＥＭＭ₂₁を使用したマスク画像、要素画像ＥＭＭ₂₂を使用したマスク画像及び要素画像ＥＭＭ₂₃を使用したマスク画像の時間順次の作成を繰り返す。そして、プレビュー部７５は、原画像データＯＭＤとマスク画像データＭＭＤとに基づいて、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像ＥＭＭ₂₁、要素画像ＥＭＭ₂₂、及び要素画像ＥＭＭ₂₃からなるマスク画像が重ねられた合成画像を逐次作成する。

《第３のプレビュー例》
次に、第３のプレビュー例を説明する。この例は、上述の図７におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像１、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像２を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。

ここで、付加画像１における要素画像ＥＭＭ₃₁は、図１３（Ａ）に示されるものであるものとする。また、付加画像２における第１要素画像ＥＭＭ₃₂は、図１３（Ｂ）に示されるものであり、また、付加画像２における第２要素画像ＥＭＭ₃₃は、図１３（Ｃ）に示されるものであるものとする。

なお、図７の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ₃₁，ＥＭＭ₃₂，ＥＭＭ₃₃が表示される。すなわち、要素画像ＥＭＭ₃₁は着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₃₁の大きさで表示される。また、要素画像ＥＭＭ₃₂は長さ値ＬＸ_Wに対する比率Ｒ₃₂の大きさで表示される。さらに、要素画像ＥＭＭ₃₃は着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₃₃の大きさで表示される。

まず、上記の第１又は第２の合成画像作成と同様にして、カメラ装置５５において撮像された原画像のデータが、プレビュー部７５に通知される。引き続き、プレビュー部７５が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報を抽出する。そして、プレビュー部７５は、着目像領域の位置情報としての位置（Ｘ_SW，Ｙ_SW）、着目像領域の傾き情報としての角度θ_W、及び着目像領域の大きさ情報としての長さＬＸ_Wを求める。

次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ₃₁のＸ_SＹ_S座標系における表示位置（Ｘ_E31，Ｙ_E31）を、次の（１２）式及び（１３）式により算出する。
Ｘ_E31＝（ＬＸ_W/ＬＸ₀）(Ｘ_W31・ｃｏｓθ_W−Ｙ_W31・ｓｉｎθ_W)＋Ｘ_SW …（１２）
Ｙ_E31＝（ＬＸ_W/ＬＸ₀）(Ｘ_W31・ｓｉｎθ_W＋Ｙ_W31・ｃｏｓθ_W)＋Ｙ_SW …（１３）

次に、プレビュー部７５は、第１の要素画像ＥＭＭ₃₁の拡大又は縮小の倍率Ｍ₃₁を、次の（１４）式により算出する。
Ｍ₃₁＝Ｒ₃₁・ＬＸ_W／ＬＸ_E31 …（１４）

次いで、プレビュー部７５は、上記の第１又は第２のプレビュー例と同様にして、要素画像ＥＭＭ₃₁をＸ_EＹ_E座標系において原点Ｏ_Eを中心として倍率Ｍ₃₁で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ₃₁をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₃₁を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E31，Ｙ_E31）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ₃₁の場合と同様に、付加画像２における第２要素画像ＥＭＭ₃₂のＸ_SＹ_S座標系における表示位置（Ｘ_E32，Ｙ_E32）を、次の（１５）式及び（１６）式により算出する。
Ｘ_E32＝（ＬＸ_W／ＬＸ₀）(Ｘ_W32・ｃｏｓθ_W−Ｙ_W32・ｓｉｎθ_W)＋Ｘ_SW …（１５）
Ｙ_E32＝（ＬＸ_W／ＬＸ₀)(Ｘ_W32・ｓｉｎθ_W＋Ｙ_W32・ｃｏｓθ_W）＋Ｙ_SW …（１６）

次に、プレビュー部７５は、第２の要素画像ＥＭＭ₃₂の拡大又は縮小の倍率Ｍ₃₂を、次の（１７）式により算出する。
Ｍ₃₂＝Ｒ₃₂・ＬＸ_W／ＬＸ_E32 …（１７）

次いで、プレビュー部７５は、上記の要素画像ＥＭＭ₃₁の場合と同様にして、要素画像ＥＭＭ₃₂をＸ_EＹ_E座標系において原点Ｏ_Eを中心として倍率Ｍ₃₂で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ₃₂をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₃₂を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E32，Ｙ_E32）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図２０（Ａ）に示されるようなマスク画像ＭＭＭ₃₁が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ₃₁を重ねた合成画像ＳＭＭ₃₁を作成する。こうして作成された合成画像ＳＭＭ₃₁が図２１（Ａ）に示されている。

以後、プレビュー部７５は、時間Ｔ₃₂にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ₃₁を着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₃₁の大きさで表示し、かつ、要素画像ＥＭＭ₃₂を長さ値ＬＸ_Wに対する比率Ｒ₃₂の大きさで表示マスク画像を生成する。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ₃₁にわたって作成する。

こうして、時間Ｔ₃₂が経過すると、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ₃₁のＸ_SＹ_S座標系における表示位置（Ｘ_E31，Ｙ_E31）及び倍率Ｍ₃₁を、上記の（１２）式〜（１４）式により算出する。そして、プレビュー部７５は、Ｘ_EＹ_E座標系において原点Ｏ_Eを中心として、要素画像ＥＭＭ₃₁を倍率Ｍ₃₁で拡大又は縮小した後に角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₂を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E31，Ｙ_E31）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ₃₁の場合と同様に、付加画像２における要素画像ＥＭＭ₃₃のＸ_SＹ_S座標系における表示位置（Ｘ_E33，Ｙ_E33）を、次の（１８）式及び（１９）式により算出する。
Ｘ_E33＝（ＬＸ_W／ＬＸ₀）(Ｘ_W33・ｃｏｓθ_W−Ｙ_W33・ｓｉｎθ)＋Ｘ_SW …（１８）
Ｙ_E33＝（ＬＸ_W／ＬＸ₀）(Ｘ_W33・ｓｉｎθ_W＋Ｙ_W33・ｃｏｓθ)＋Ｙ_SW …（１９）

次に、プレビュー部７５は、第３要素画像ＥＭＭ₃₃の拡大又は縮小の倍率Ｍ₃₃を、次の（２０）式により算出する。
Ｍ₃₃＝Ｒ₃₃・ＬＸ_W／ＬＸ_E33 …（２０）

次いで、プレビュー部７５は、上記の第１要素画像ＥＭＭ₃₁の場合と同様にして、要素画像ＥＭＭ₃₃をＸ_EＹ_E座標系において原点Ｏ_Eを中心として倍率Ｍ₃₃で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ₃₃をＸ_EＹ_E座標系において原点Ｏ_Eを中心として角度θ_Wだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ₃₃を、Ｘ_SＹ_S座標系における座標位置（Ｘ_E33，Ｙ_E33）が原点Ｏ_Eの位置となるようにＸ_SＹ_S座標系に配置する。

以上の結果、図２０（Ｂ）に示されるようなマスク画像ＭＭＭ₃₂が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ₃₂を重ねた合成画像ＳＭＭ₃₂を作成する。こうして作成された合成画像ＳＭＭ₃₂が図２１（Ｂ）に示されている。

以後、プレビュー部７５は、時間Ｔ₃₃にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ₃₁を着目像ＷＭＭの大きさを表す長さ値ＬＸ_Wに対する比率Ｒ₃₁の大きさで表示し、かつ、要素画像ＥＭＭ₃₃を長さ値ＬＸ_Wに対する比率Ｒ₃₃の大きさで表示マスク画像を生成する。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ₃₂にわたって作成する。

こうして、時間Ｔ₃₃が経過すると、プレビュー部７５は、上記と同様にして、上述した要素画像ＥＭＭ₃₁及び要素画像ＥＭＭ₃₂を使用したマスク画像、並びに要素画像ＥＭＭ₃₁及要素画像ＥＭＭ₃₃を使用したマスク画像の時間順次の作成を繰り返す。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。

以上のようにして行われるプレビュー表示を見て、利用者は、マスク画像が意図通りにできたか否かを判断する。この判断が肯定的であった場合には、利用者は、キーボード５２又はマウス５４を操作して、その旨をマスク画像情報作成プログラム７０の位置及び大きさ指定部７３へ通知する。この通知を受けた位置及び大きさ指定部７３は、編集中のマスク画像情報の内容を含むマスク画像情報ファイル４０を作成して、マスク画像情報格納領域８３に格納する。

一方、上記の判断が否定的であった場合には、編集中のマスク画像情報における要素画像、又は、各要素画像の振る舞い、表示位置若しくは表示大きさの指定を、上記の指定の場合と同様にして再指定することにより変更する。そして、変更後の指定内容を含む編集中マスク画像情報を用いて、再度プレビューを行う。こうして、要素画像、又は、各要素画像の振る舞い、表示位置若しくは表示大きさの再指定と、プレビューとを、マスク画像が意図通りにできるまで繰り返す。そして、マスク画像が意図通りにできたと判断されると、利用者は、キーボード５２又はマウス５４を操作して、その旨をマスク画像情報作成プログラム７０の位置及び大きさ指定部７３へ通知する。この通知を受けた位置及び大きさ指定部７３は、編集中のマスク画像情報の内容を含むマスク画像情報ファイル４０を作成して、マスク画像情報格納領域８３に格納する。

以上のようにして作成された、マスク画像情報ファイル４０は、マスク画像情報作成装置５０から、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られる。そして、携帯電話装置１０は、受け取ったマスク画像情報ファイル４０を記憶部２３に格納する。

次に、携帯電話装置１０におけるマスク画像の作成と、当該マスク画像を原画像上に重ねた合成像の作成について説明する。

携帯電話装置１０においては、制御部２１で動作するプログラムであるマスク画像処理部３０が、上述したマスク画像情報作成装置５０におけるマスク画像情報プログラム７０のプレビュー部７５と同等の動作を行うようになっている。すなわち、マスク画像処理部３０の着目像情報抽出部３１が、撮像素子２５によって撮像された原画像ＯＭＭのデータＯＭＤを画像処理して、着目像ＷＭＭの領域を特定し、着目像領域の位置情報としての位置（Ｘ_SW，Ｙ_SW）、着目像領域の傾き情報としての角度θ_W、及び着目像領域の大きさ情報としての長さＬＸ_Wを着目像情報ＷＭＤとして抽出するようになっている。また、マスク画像処理部３０のマスク画像作成部３２が、着目像情報ＷＭＤ及びマスク画像情報ＭＤＤに基づいて、マスク画像を作成するようになっている。そして、合成画像作成部３３が、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成像を作成するようになっている。

このように構成されたマスク画像処理部３０が、撮像素子２５によって撮像された原画像ＯＭＭのデータＯＭＤ及び記憶部に格納されたマスク画像情報に基づいて、上述したプレビュー部７５と同様にして、マスク画像の作成と、当該マスク画像を原画像上に重ねた合成像の作成する。

こうして作成された合成画像の情報データＳＭＤは、マスク画像処理部３０の合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。

以上説明したように、本実施形態では、まず、マスク画像情報作成プログラム７０の要素画像選択部７１が、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、マスク画像情報作成プログラム７０の要素画像振る舞い指定部７２が、選択された要素画像それぞれの振る舞い指定を行う。そして、マスク画像情報作成プログラム７０の位置及び大きさ指定部７３が、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。

この結果、マスク画像の要素となるべき要素画像の振る舞い、並びに着目像領域と関連した表示位置及び表示大きさというマスク画像情報が作成される。したがって、本実施形態によれば、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。

また、本実施形態では、振る舞いの指定に表示時間指定が含まれることとしている。このため、当該表示間指定に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像に関するマスク画像情報を作成することができる。

また、本実施形態では、振る舞いの指定に、選択された要素画像の内における特定の組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれ得ることとしている。このため、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示するマスク画像に関するマスク画像情報を作成することができる。

また、本実施形態では、振る舞いの指定に、選択された要素画像の内における特定の組合せについて、同時に表示することを指定する同時表示指定が含まれ得ることとすることとしている。こため、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像に関するマスク画像情報を作成することができる。この結果、様々なバリエーションのマスク画像に関するマスク画像情報を作成することができる。

また、本実施形態では、位置指定を、着目像領域の代表点を原点とし、着目像領域に固有に座標軸の方向が定められる座標系における座標位置による指定としている。このため、要素画像の表示位置を、原画像における着目像領域の代表点位置及び傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易な形式で表現したマスク画像情報を作成することができる。

また、本実施形態では、要素画像の表示大きさ指定を、着目像領域の大きさに対する比率により指定とすることとしている。このため、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像に関するマスク画像情報を作成することができる。

また、本実施形態では、素材画像を編集して要素画像を作成する素材画像編集部７４を備える構成としている。このため、様々な経路で入手した素材画像に対して、素材画像編集部７４が、大きさの変更や回転転換等の編集を施すことにより、マスク画像の作成に利用しやすい要素画像と準備することができる。

また、本実施形態では、選択された要素画像、並びに、選択された要素画像それぞれの振る舞い指定、表示位置指定及び表示大きさ指定を使用して、プレビュー表示を行うプレビュー部７５を備える構成としている。このため、プレビュー部７５が、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行うことができる。このプレビュー表示により、利用者は、その段階におけるマスク画像による原画像の演出効果を確認することができる。そして、演出効果の確認の結果、利用者の意図と齟齬が在る場合には、要素画像の選択、又は、選択された要素画像それぞれの振る舞い指定、表示位置指定若しくは表示大きさ指定を変更することにより、利用者の意図通りのマスク画像を作成するためのマスク画像情報を作成することができる。

なお、上記の実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。

また、携帯電話装置における原画像としては、いわゆる自分撮りの態様で撮像される結像光学系１８を介した光の結像結果、いわゆる相手撮りの態様で撮像される結像光学系１９を介した光の結像結果、又は、記憶部２３に記憶されている画像のいずれを採用することもできる。

また、上記の実施形態では、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も２次元モデルで作成されたものとした。これに対し、着目像領域における着目物体について奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を３次元モデルで作成されたものとすることもできる。この場合には、着目物体が、表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のないマスク画像を作成することができる。

また、同時に表示する要素画像の数は任意である。さらに、時間順次表示を行う要素画像の数も任意である。

また、上記の実施形態では、各付加画像の表示に際して、何らかの要素画像が常に表示されることとした。これに対して、付加画像における時間順次の要素画像の指定に、何も表示しないブランク表示指定を混在させることもできる。

また、着目像情報に基づいて着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することとすることもできる。

また、上記の実施形態では、携帯電話装置に本発明を適用したが、他の種類の情報通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。

以上説明したように、本発明のマスク画像情報作成処理方法、マスク画像情報作成装置及びマスク画像情報作成プログラムは、原画像を装飾するためのマスク画像を作成するためのマスク画像情報の作成に適用することができる。

本発明の一実施形態に係るマスク画像情報作成装置及び携帯電話装置を含む画像処理システムの構成を説明するための概念図である。 図１のマスク画像情報作成装置の構成を説明するための機能ブロック図である。 図２のマスク画像情報作成プログラムの構成を説明するための機能ブロック図である。 図３のマスク画像情報ファイルの構成を説明するための図である。 要素画像の例を示す図（その１）である。 図４の表示指定ファイルの内容例を示す図（その１）である。 図４の表示指定ファイルの内容例を示す図（その２）である。 着目像領域情報を説明するための図である。 図１の携帯電話装置の外観構成を概略的に示す図である。 図９の携帯電話装置の内部構成を説明するための機能ブロック図である。 図１０のマスク画像処理部の内部構成を説明するための機能ブロック図である。 要素画像の例を示す図（その２）である。 要素画像の例を示す図（その３）である。 標準着目像を使用した要素画像の表示位置及び表示大きさの指定方法を説明するための図である。 着目像の例を示す図である。 （Ａ）は、原画像の例を示す図であり、（Ｂ）はマスク画像の例を示す図（その１）である。 合成画像の例を示す図（その１）である。 マスク画像の例を示す図（その２）である。 合成画像の例を示す図（その２）である。 マスク画像の例を示す図（その３）である。 合成画像の例を示す図（その３）である。

符号の説明

１０…携帯電話装置（移動体端末装置）、１１…携帯電話本体、１２…操作部、１３…表示部（表示手段）、１４…通話用スピーカ、１５…マイクロフォン、１６…案内用スピーカ、１７…アンテナ、１８，１９…撮像光学系、２１…制御部、２２…送受信部、２３…記憶部、２４…切換光学系、２５…撮像素子、２６…記憶媒体アクセス部、２７…外部インターフェース部、２９…基本制御部、３０…マスク画像処理部、３１…着目像情報抽出部、３２…マスク画像作成部（マスク画像作成手段）、３３…合成像作成部（合成像作成手段）、４０…マスク画像情報ファイル、４１_j…表示指定ファイル、４２_j…要素画像ファイル、５０…マスク画像情報作成装置、５１…装置本体、５２…キーボード、５３…表示装置、５４…マウス、５５…カメラ装置、６１…処理装置、６２…通信制御装置、６３…記憶装置、６４…記憶媒体アクセス装置、６５…外部インターフェース装置、７０…マスク画像情報作成プログラム、７１…要素画像選択部（要素画像選択手段）、７２…要素画像振る舞い指定部（要素画像振る舞い指定手段）、７３…位置及び大きさ指定部（位置及び大きさ指定手段）、７４…素材画像編集部（素材画像編集手段）、７５…プレビュー部（プレビュー手段）。

Claims (12)

1. 利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成方法であって、
   前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択工程と；
   前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定工程と；
   前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定工程と；を備え、
   前記振る舞いの指定には、表示時間指定が含まれ、
   前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、
   前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、
   ことを特徴とするマスク画像情報作成方法。
2. 前記振る舞いの指定には、前記選択された要素画像の内における時間順次表示をすべき組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれる、ことを特徴とする請求項１に記載のマスク画像情報作成方法。
3. 前記振る舞いの指定には、前記選択された要素画像の内における同時表示をすべき組合せについて、同時に表示することを指定する同時表示指定が含まれる、ことを特徴とする請求項１又は２に記載のマスク画像情報作成方法。
4. 前記要素画像を、素材画像を編集して作成する素材画像編集工程を更に備える、ことを特徴とする請求項１〜３のいずれか一項に記載のマスク画像情報作成方法。
5. 前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー工程を更に備える、ことを特徴とする請求項１〜４のいずれか一項に記載のマスク画像情報作成方法。
6. 前記プレビュー表示を参照して、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定の少なくとも一部を修正する修正工程を更に備える、ことを特徴とする請求項５に記載のマスク画像情報作成方法。
7. 利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成装置であって、
   前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手段と；
   前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定手段と；
   前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定手段と；を備え、
   前記振る舞いの指定には、表示時間指定が含まれ、
   前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、
   前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、
   ことを特徴とするマスク画像情報作成装置。
8. 前記要素画像を、素材画像を編集して作成する素材画像編集手段を更に備える、ことを特徴とする請求項７に記載のマスク画像情報作成装置。
9. 前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手段を更に備える、ことを特徴とする請求項７又は８に記載のマスク画像情報作成装置。
10. 利用者の演出に従って原動画像に重ねて表示させる、時間的に変化するマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成プログラムであって、
    前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手順と；
    前記選択された要素画像それぞれの時間的な振る舞いの指定を、前記原動画像における画像フレームを特定することなく行う要素画像振る舞い指定手順と；
    前記原動画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を、所定の標準着目像を基準にして行う位置及び大きさ指定手順と；を計算機に実行させ、
    前記振る舞いの指定には、表示時間指定が含まれ、
    前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められ、単位長さが前記着目像領域の大きさに対応して定まる座標系における、前記表示時間指定に対応する表示時間内での固定的な座標位置による指定であり、
    前記大きさ指定は、前記表示時間指定に対応する表示時間内での前記着目像領域の大きさに対する固定的な比率の指定である、
    ことを特徴とするマスク画像情報作成プログラム。
11. 前記要素画像を、素材画像を編集して作成する素材画像編集手順を、前記計算機に更に実行させる請求項１０に記載のマスク画像情報作成プログラム。
12. 前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手順を、前記計算機に更に実行させる請求項１０又は１１に記載のマスク画像情報作成プログラム。