WO2005076210A1

WO2005076210A1 - 画像処理方法、画像処理装置及び移動通信端末装置

Info

Publication number: WO2005076210A1
Application number: PCT/JP2005/001753
Authority: WO
Inventors: Mineko Moroto; Akiho Shibata; Takashi Katayama; Junko Asakura; Yusaku Nagai
Original assignee: Vodafone K.K.
Priority date: 2004-02-05
Filing date: 2005-02-07
Publication date: 2005-08-18
Also published as: EP1713030A1; US20070183679A1; EP1713030A4; JPWO2005076210A1; US7864198B2

Description

明細書

画像処理方法、画像処理装置及び移動通信端末装置

技術分野

[0001] 本発明は、画像処理方法、画像処理装置及び移動通信端末装置に係り、より詳しくは原画像上にマスク画像を重ねた合成画像を作成する画像処理方法、当該画像処理方法を使用する画像処理装置、及び当該画像処理装置を備える移動通信端末装置に関するものである。背景技術

[0002] 従来から、取得された原画像を処理する画像処理が様々な手法で行われている。

こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある (非特許文献 1、特許文献 1、 2等参照)。

[0003] こうした顔像に関する画像処理技術の存在を背景として、例えば、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるば力りではなぐ送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている (特許文献 3参照)。この技術では、まず、送信側端末装置のカメラで撮像された画像における送信側話者像を抽出する。そして、抽出された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、送信側話者の所在位置とヽぅプライバシ情報を受信側話者に知らせることなく、違和感のな、対面会話を行うことができるようになって!/、る。

[0004] また、送信側端末装置の利用者のプライバシを保護するために、送信側話者のリアルタイム画像を使用せずに、予め用意してお 1ヽた当該送信側話者ある!ヽは他の話者につ、ての複数の静止画像力も送信側話者の音声に合わせて選択した画像を、受信側端末装置へ送信する技術も提案されている (特許文献 3参照)。なお、この場合にも、選択された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信することができる。

[0005] この技術では、予め利用者又は他の者について、例えば母音及び必要に応じて撥音の発音時ごとの静止像を用意しておく。そして、利用者の話中における発生音を解析し、解析結果として得られた発生音に対する画像を選択する。引き続き、選択された画像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、入浴中である等のリアルタイム画像を送信することがプライバシ保護の観点力不適切な場合にも、画像を参照しつつ違和感のな、会話を行うことができるようになって、る。

[0006] 非特許文献 1：アイマティックジャパン株式会社、 "技術情報"、 [2003年 12月 29日検索」、インターネット < URL:http://www.eyematic.co.jp/tech.html>

特許文献 1：特許公開 2003— 271958号公報

特許文献 2：特許公開 2003— 296735号公報

特許文献 3：特許公開 2003— 309829号公報

発明の開示

発明が解決しょうとする課題

[0007] 上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。し力しながら、こうした画像処理技術では、利用者力自身の趣味感に合わせて原画像を加工し、自身の内心等を表現するということは、技術的な視野には入っていなかった。このため、例えば、テレビ電話に従来の画像処理技術を適用しても、テレビ電話の機能を発揮させつつ、送信側話者の趣味感を反映した画像を伴った楽しい会話を行うという観点からは、十分なものとはなってヽなかった。

[0008] すなわち、従来の画像処理技術では、原画像に対して利用者の感情の強調等を当該利用者の趣味感に合わせた演出を施したものとすることができれば、利用者にとつての楽しさを増進させることができると考えられる力こうした演出を画像に施すことは、特に原画像が動画である場合にはできな力つた。 [0009] こうした画像の演出は、原画像が固定的な静止画像である場合には、その静止画像の所望の位置に所望の大きさで所望の形状や色のアクセサリ画像を重ねて表示すること〖こより行うことができる。しかし、送信する画像が、時間の経過に伴い刻々と変化する動画像又は動画像に相当する画像である場合には、表示画面の固定的な位置にアクセサリ像を重ねて表示するのでは、違和感のある表示画像となってしまう。

[0010] 例えば、利用者の顔像が含まれる原画像における当該顔像の目の位置にハートマークをほぼ目の大きさで表示させる演出を行う際に、ハートマークを表示画面の固定位置に重ねて表示するのでは、刻々と変化する動画像における顔像の目の位置にハートマークを表示させることはできない。また、表示位置だけでなぐハートマークの表示の大きさについても、動画像における顔像の大きさに応じたものとしなければ、違和感のある表示画像となってしまう。

[0011] 本発明は、上記の事情を鑑みてなされたものであり、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる画像処理方法及び画像処理方法を提供することを目的とする。

[0012] また、本発明は、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる移動通信端末装置を提供することを目的とする。

課題を解決するための手段

[0013] 本発明の画像処理方法は、画像の処理を行う画像処理方法であって、着目すべき像の領域である着目像領域を原画像にぉヽて特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも 1つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも 1つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づヽて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法である。

[0014] この画像処理方法では、予めマスク画像情報ファイルに着目像領域との位置及び大きさの関係を示す少なくとも 1つの関係情報、関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも 1つの要素画像情報が含まれたマスク画像情報を登録しておく。ここで、「着目像領域」とは、例えば人物像を含む原画像における当該人物の顔の領域等であり、原画像となり得る想定される画像中にぉヽて画像的特徴により特定可能な領域である。

[0015] カゝかるマスク画像情報ファイルの存在を前提として、まず、着目像情報抽出工程にお、て、着目像領域を原画像にお!、て特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成工程において、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。この結果、原画像における着目像領域の位置に関連する情報とマスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報とにより定まる位置に、原画像における着目像領域の大きさに関連する情報と当該関係情報における着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、合成画像作成工程において、例えば、顔領域内の顔像のような着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像が作成される。

[0016] したがって、本発明の画像処理方法によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。

[0017] 本発明の画像処理方法では、前記着目像含有画像を前記原画像とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択すること〖こより行うことができる。 [0018] また、本発明の画像処理方法では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成工程にぉヽて、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成することとすることができる。

[0019] この場合には、合成画像作成工程にお!ヽて、まず、例えば、着目像が顔像である場合における人物像のような着目像を含む特定表示像が原画像から切り出される。引き続き、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像が重ねられ、背景付加像が作成される。そして、当該背景付加像を着目像含有画像として、この着目像含有画像上に上述のマスク画像が重ねられる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。

[0020] また、本発明の画像処理方法では、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれることとすることができる。この場合には、マスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。なお、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報とする場合には、その相対位置情報を着目像領域が基準の大きさを有する場合における相対位置情報とし、原画像における着目像領域の大きさと当該基準となっている着目象領域の大きさとの比に応じて当該相対位置情報の値を原画像における着目像領域の大きさに応じた値に換算することとすることができる。また、当該相対位置情報の値を、原画像における着目像領域の大きさで正規化された後の値としておき、相対位置情報の値に原画像における着目像領域の大きさに応じた値に換算するようにしてもょヽ。

[0021] ここで、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれることとすることができる。この場合には、原画像における着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。なお、傾き情報は、着目像の 2次元的な傾きを示す 1つの角度情報であってもよいし、着目像の 3次元的な傾きを示す 2つ又は 3つの角度情報であってもよい。

[0022] 以上のように、着目像領域の位置に関連する情報に原画像における着目像領域の代表点の位置情報及び原画像における前記着目像領域の傾き情報が含まれる場合には、前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づ！ヽて座標軸の方向が定められる座標系における座標位置情報が、前記特定の要素画像の表示位置情報として含まれることとすることができる。この場合には、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報を、着目像領域の代表点を原点とし、前記着目像領域の傾きに基づ、て座標軸の方向が定められる座標系における座標位置情報 t 、う簡易かつ取り扱、が容易なものとすることができる。

[0023] 本発明の画像処理方法では、前記関係情報には、前記着目像領域の大きさと前記特定の要素画像の表示時における大きさとの比率情報が含まれることとすることができる。この場合には、原画像内で着目像領域の大きさが刻々と変化する場合であつても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像を作成することができる。

[0024] また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報との組合せで定まる要素画像表示それぞれの実行時間情報が更に含まれることとすることができる。この場合には、当該実行時間情報に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像を作成することができる。

[0025] ここで、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれることとすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。

[0026] また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を同時に表示することを指定する同時表示指定の情報が更に含まれることとすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なノリエーシヨンのマスク画像を作成することができる。

[0027] なお、本発明の画像処理方法では、前記原画像を動画像とすることができる。この場合には、原画像における着目像の位置、傾き及び大きさが変化する動画像に対して、ダイナミックかつ違和感なぐ利用者の趣味感に応じた合成画像を作成することができる。

[0028] ここで、前記着目像情報に基づ、て前記着目像領域にぉ、て予め定められた現象が発生したカゝ否かを判定する所定現象発生判定工程を更に備えるとともに、前記所定現象発生判定工程において肯定的な判定がされた後に、マスク画像データ作成工程及び前記合成画像データ作成工程を開始することとすることができる。この場合には、所定現象発生判定工程において前記着目像領域において予め定められた現象が発生したとき、マスク画像データ作成工程及び前記合成画像作成工程を開始させるので、当該その現象に合わせた演出を行ったマスク画像を作成することができ、そのマスク画像が原画像上に重ねた合成画像を作成することができる。例えば着目像が人の顔の場合に、着目像における瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することができる。

[0029] 本発明の画像処理装置は、画像の処理を行う画像処理装置であって、着目すべき像の領域である着目像領域を原画像にぉヽて特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と;前記着目像領域との位置及び大きさの関係を示す少なくとも 1つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも 1つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファィルを格納する記憶手段と；前記着目像情報と、前記マスク画像情報とに基づ、て、前記原画像上に重ねて表示されるマスク画像のデータを作成するマスク画像データ作成手段と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置である。

[0030] この画像処理装置では、着目像情報抽出手段が、着目像領域を原画像にぉ、て特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成手段が、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づヽて、原画像上に重ねて表示させるマスク画像を作成する。そして、合成画像作成手段が、着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像を作成する。

[0031] すなわち、本発明の画像処理装置では、本発明の画像処理方法を使用して、合成画像を作成する。したがって、本発明の画像処理装置によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。

[0032] 本発明の画像処理装置では、前記着目像含有画像を前記原画像とする構成とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。

[0033] 本発明の画像処理装置では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成手段が、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する構成とすることができる。 [0034] この場合には、合成画像作成手段は、まず、着目像を含む特定表示像を原画像から切り出す。引き続き、合成画像作成手段は、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像を重ね、背景付加像を作成する。そして、合成画像作成手段は、当該背景付加像上に上述のマスク画像を重ねる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。

[0035] また、本発明の画像処理装置では、前記合成画像を表示する表示手段を更に備える構成とすることができる。この場合には、表示手段により合成画像を表示すること〖こより、合成画像の作成者が、自身の趣味感による演出が施されて作成された合成画像を確認することができる。

[0036] 本発明の画像処理装置では、前記合成画像データを送信する送信手段を更に備える構成とすることができる。この場合には、送信側における合成画像の作成者の趣味感による演出が施されて作成された合成画像を受信側へ向けて送信することができるので、受信者に対して、作成者の趣味感による演出が施されて作成された合成画像を通知することができる。

[0037] 本発明の画像処理装置では、前記原画像を取得するための撮像手段を更に備える構成とすることができる。この場合には、撮像手段により撮像により取得した画像を原画像とすることができ、当該原画像に対して、作成者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。なお、撮像手段により取得される画像は、静止画像であってもよいし、動画像であってもよい。

[0038] 本発明の移動通信端末装置は、本発明の画像処理装置を備える移動通信端末装置である。この移動通信端末装置では、本発明の画像処理装置によって作成された合成画像を受信側端末装置に向けて送信することができるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。

発明の効果

[0039] 以上説明したように、本発明の画像処理方法によれば、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。

[0040] また、本発明の画像処理装置によれば、本発明の画像処理方法を使用して合成画像を作成するので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。

[0041] また、本発明の移動通信端末装置によれば、本発明の画像処理装置を備えるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。

図面の簡単な説明

[0042] [図 1A]本発明の第 1実施形態に係る携帯電話装置の正面側の外観構成を概略的に示す図である。

[図 1B]本発明の第 1実施形態に係る携帯電話装置の背面側の外観構成を概略的に示す図である。

[図 2]図 1A及び図 1Bの携帯電話装置の内部構成を説明するための機能ブロック図である。

[図 3]図 2のマスク画像処理部の内部構成を説明するための機能ブロック図である。

[図 4A]着目像領域情報を説明するための図 (その 1)である。

[図 4B]着目像領域情報を説明するための図（その 2)である。

[図 5A]図 2のマスク画像情報ファイルの構成を説明するための図である。

[図 5B]図 5Aの要素画像ファイルの構成を説明するための図である。

[図 6]要素画像の例を示す図（その 1)である。

[図 7]図 5Aの表示指定ファイルの内容例を示す図（その 1)である。

[図 8A]図 5Aの表示指定ファイルの内容例を示す図（その 2)である。

[図 8B]図 5Aの表示指定ファイルの内容例を示す図（その 3)である。

[図 9A]着目像の例を示す図である。

[図 9B]図 9Aにおける着目像座標系の例を説明するための示す図である。

[図 10A]原画像の例を示す図である。

[図 10B]マスク画像の例を示す図（その 1)である。

[図 11]第 1実施形態における合成画像の例を示す図（その 1)である。 [図 12A]要素画像の例を示す図（その 2)である。

[図 12B]要素画像の例を示す図（その 3)である。

[図 12C]要素画像の例を示す図（その 4)である。

[図 13]マスク画像の例を示す図（その 2)である。

[図 14]第 1実施形態における合成画像の例を示す図（その 2)である。

[図 15A]要素画像の例を示す図（その 5)である。

[図 15B]要素画像の例を示す図（その 6)である。

[図 15C]要素画像の例を示す図（その 7)である。

[図 16]マスク画像の例を示す図（その 3)である。

[図 17]第 1実施形態における合成画像の例を示す図（その 3)である。

[図 18]本発明の第 2実施形態に係る携帯電話装置の内部構成を説明するための機能ブロック図である。

[図 19]図 18のマスク画像処理部の内部構成を説明するための機能ブロック図である

[図 20]図 18のマスク画像情報ファイルの構成を説明するための図である。

[図 21]図 20の表示指定ファイルの内容例を示す図である。

[図 22]背景像の例を示す図である。

[図 23]特定表示画像の例を示す図である。

[図 24]図 19の合成画像作成部における合成画像作成動作を説明するための図である。

発明を実施するための最良の形態

[0043] <第 1実施形態 >

以下、本発明の第 1実施形態を、図 1A—図 17を参照して説明する。図 1及び図 2 には、一実施形態に移動通信端末装置である携帯電話装置 10の構成が概略的に示されている。ここで、図 1Aには、携帯電話装置 10の外観の正面図が示され、図 1 Bには、携帯電話装置 10の外観の背面図が示されている。また、図 2には、携帯電話装置 10の機能ブロック構成が示されている。

[0044] 図 1A、図 IB及び図 2において総合的に示されるように、携帯電話装置 10は、 (a) 後述する制御部 21等を備える携帯電話本体 11と、（b)電話番号を制御部 21へ入力するためのテンキー、及び、動作モードの切替等の各種指令を制御部 21へ入力するためのファンクションキーを有する操作部 12と、（c)制御部 21による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部 1 3とを備えている。また、携帯電話装置 10は、（d)通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ 14と、通話時に音声を入力するためのマイク口フォン 15と、（e)制御部 21による指令に応じて、着信音や案内音を発生するための案内用スピーカ 16とを備えている。更に、携帯電話装置 10は、（f)送受信部 22と接続され、基地局との間で無線信号を授受するためのアンテナ 17とを備えている。さらに、携帯電話装置 10は、（g)表示部 13における表示を見ながら操作部 12を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系 18と、（h)当該操作者の視線方向を視野方向とする撮影を行う、すなわち、 V、わゆる相手撮りの態様で撮影を行うための撮像光学系 19とを備えて、る。

[0045] 携帯電話本体 11は、図 2に示されるように、（i)携帯電話装置 10の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部 21と、（ii)基地局との間でアンテナ 17を介して無線信号を送受信するための送受信部 22と、（iii)様々なデータを記憶するための記憶部 23とを備えている。また、携帯電話本体 11は、制御部 21の制御に応じて、撮像光学系 18を介した光及び撮像光学系 19を介した光のヽずれかを、後述する撮像素子 25へ向けて射出する切換光学系 24と、（iv)切換光学系 24を介した光が受光面に形成する光学像を撮像する CCD素子等の撮像素子 25とを備えている。ここで、撮像素子 25は、制御部 21の制御のもとで撮像動作を行い、撮像結果を制御部 21へ通知するようになって、る。

[0046] 制御部 21は、基本制御部 29と、マスク画像処理部 30とを備えている。ここで、基本制御部 29は、マスク画像処理部 30の動作の開始及び停止を制御するとともに、制御部 21の外部に配置された各要素の制御、及び、後述するマスク画像作成の画像処理以外のデータ処理を行う。

[0047] 上記のマスク画像処理部 30は、図 3に示されるように、着目像情報抽出部 31と、マスク画像作成部 32と、合成画像作成部 33とを備えている。着目像情報抽出部 31は、撮像素子 25からの原画像データ OMDに基づいて、例えば原画像における特定人物 (例えば、携帯電話装置 10の利用者)の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報カゝら成る着目像情報 WMDを抽出する。

[0048] ここで、着目像情報 WMDの抽出について、詳述する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに 2次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。また、図 4A及び図 4Bに示されるように、原画像領域 OMR における着目像領域 WMRが特定されるものとする。ここで、図 4Aには、着目像領域 WMRが基準となる傾きである（すなわち、傾き角 Θ =0)場合が模式的に表されて

W

いる。また、図 4Bには、基準傾きから Θ だけ傾いている（すなわち、傾き角 θ = Θ

0 W 0

)場合が示されている。また、原画像領域 OMRにおける各画素位置は、原画像座標系である X Y

S S座標系における座標値によって表されるものとする。また、着目像領域

WMRについては、代表点 O を原点とするとともに、傾き角 Θ =0の場合に X軸と

W W S

平行な軸を X

W軸とし、 Y

S軸と平行な軸を Y

W軸とする着目像座標系（すなわち、 X Y

W W

座標系）が定義されるものとする。また、傾き角 Θ

Wは反時計回りの角度で表されるものとする。

[0049] 図 4Aの場合には、着目像情報抽出部 31は、原画像領域 OMRにおける着目像領域 WMRを特定した後、まず、着目像領域 WMRの代表点の位置情報として、代表点 O の原画像座標系における座標位置 O (X , Y )を求める。ここで、着目像

W W SW1 SW1

領域 WMRの代表点としては、着目像領域 WMRの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によつて得られる着目像領域における特徴的な点を採用することができる。

[0050] 次に、着目像情報抽出部 31は、着目像領域 WMRの原画像領域 OMRにおける傾き情報として、 X軸と X軸との交差角 Θ (すなわち、上述の傾き角 Θ )を求める。

S W W W

傾き角 Θ は、予め傾き角 Θ 力 S「0」であると定義された着目像領域 WMRにおける

W W

着目像として特徴的な方向と X軸との交差角と、原画像内における着目像おける当

S

該特徴的な方向と X軸との交差角との差を算出することより求められる。こうした特徴的な方向としては、例えば、着目像領域 WMRの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。こうして、傾き角 0 (図 4Aの場合には、 0 =0)が求められると、原画像領域 OMR

W W

中における X γ座標系（着目座標系）が求められることになる。

W W

[0051] 次いで、着目像情報抽出部 31は、着目像領域 WMRの大きさ情報として、着目像領域 WMRに関する特徴的な長さを求める。本実施形態においては、 X軸上におけ

W

る着目像領域 WMRの幅を当該特徴的な長さ（図 4Aにおける幅 LX )としている。な

W

お、着目像領域 WMRの大きさ情報としては、 X軸上における着目像領域 WMRの

W

幅 LX以外に、 Y軸上における着目像領域 WMRの幅、 X軸 (若しくは Y軸)方向

W W W W

における着目像領域 WMRの最大幅、又は着目像領域における特徴的な 2点間の距離 (例えば、着目像が特定人物の顔像である場合における当該顔像における両目の中心間距離)、当該距離の X軸成分の長さ若しくは当該距離の Y軸成分の長さ

W W

等を採用することができる。

[0052] 図 4Bの場合にも、着目像情報抽出部 31は、上述した図 4Aの場合と同様に、原画像領域 OMRにおける着目像領域 WMRを特定した後、着目像領域 WMRにおける代表点の位置情報、傾き情報及び大きさ情報を求める。なお、図 4Bの場合には、代表点の位置情報として代表点 O の原画像座標系における座標位置 O (X , Y

W W SW2 SW2

)が求められ、着目像領域 WMRの傾き情報として傾き角 θ = Θ が求められ、着目

W 0

像領域 WMRの大きさ情報として、 X軸上における着目像領域 WMRの幅 LXが求

W W

められる。

[0053] 上記のマスク画像作成部 32は、着目像情報抽出部 31によって抽出された着目像情報 WMDと、上述した記憶部 23に記憶されたマスク画像情報 MDDとに基づヽて、マスク画像データ MMDを作成する。なお、マスク画像情報 MDD及びマスク画像作成部 32によるマスク画像データ MMDの作成については、後述する。

[0054] 上記の合成画像作成部 33は、原画像データ OMD及びマスク画像データ MMDに基づいて、原画像上にマスク画像を重ねた合成画像データ SMDを作成する。なお、合成画像作成部 33によって作成された合成画像データ SMDは、基本制御部 29へ通知されるようになって、る。

[0055] なお、本実施形態においては、制御部 21は、中央処理装置 (CPU)、デジタル信号処理装置 (DSP)等を備えている。そして、制御部 21で実行されるプログラムとして構成された基本処理部 29やマスク画像処理部 30により、メール送受信処理を含む携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになって、る。

[0056] 図 2に戻り、記憶部 23には、マスク画像情報ファイル 40が記憶されている。このマスク画像情報ファイル 40は、図 5Aに示されるように、（i)原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル 41と、（ii)表示指定ファイル 41における表示指定記述によって指定される要素画像データが格納された要素画像ファイル 42とから構成されて!ヽる。なお、マスク画像情報ファイル 40は、携帯電話装置 10に対して、コンテンツプロバイダカ無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。

[0057] 要素画像ファイル 42には、図 5Bに示されるように、要素画像が格納されている。なお、要素画像ファイル 42に格納されている第 i番目の要素画像を以下においては、要素画像 EMMと記すものとする。なお、図 5Bでは、要素画像ファイル 42に格納されている要素画像が複数ある場合が示されている力要素画像ファイル 42に格納されている要素画像の数は 1つの場合もあるし、 2つ以上の場合もある。要素画像 EM Mとしては、例えば、ハート図形画像、唇図形画像等がある。

[0058] こうした、要素画像 EMMは、図 6において要素画像 EMM について代表的に示

ϊ 11

されるよう〖こ、要素画像に固有の座標系、すなわち要素画像 EMMの代表点（図 6では、要素画像 EMM の中心点）を原点 Oとする X Y座標系において作成されてい

11 E E E

る。そして、要素画像 EMMの大きさ情報としては、 X軸方向における最大幅 LX (

ϋ E Ei 図 6においては、最大幅 LX )を使用するようになっている。図 6においては、要素画

E1

像 EMMをハート図形の要素画像 EMM としたが、形状や大きさの異なる要素画像 a ii

であっても、同様である。

[0059] 上記の表示指定ファイル 41における表示指定記述の例力図 7、図 8A及び図 8B に示されている。なお、本実施形態における表示指定記述は、 SMIL (Synchronized Multimedia Integration Language)形式に準じた形式で記述されるようになって!/、る。

[0060] 図 7には、着目像領域の位置、傾き、及び大きさに応じて定まる 2つの位置 (例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像が同時を表示させる表示指定を行うための例が表示指定ファイル 41として

1 示されている。すなわち、 <同時表示指定 >により、これと <同時表示指定終了 >との間に記述された <付加画像 1指定 >及び<付加画像 2指定 >によって指定される付加画像 1及び付加画像 2が同時に表示されることが指定される。

[0061] 付加画像 1は、 <付加画像 1指定 >と<付加画像 1指定終了 >と間の記述によつて指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域 w

MRの大きさ情報が予め定められた基準となる値 LX である場合における X Y座

WO W W

標系の座標位置 (X , Y )に、「要素画像指定」によって指定される要素画像 EM

Wll W11

M

11が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像 EMM の X軸方向の最大幅力着目像領域 WMRの大きさ LXに対して比

11 W W

率 Rの

1 長さとされる。なお。後述する表示時間指定がなされていないことから、付カロ画像 1における要素画像 EMM は常時表示されることが指定されて、る。

11

[0062] 付加画像 2は、 <付加画像 2指定 >と<付加画像 2指定終了 >と間の記述によつて指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域 W MRの大きさ情報が予め定められた基準となる値 LX である場合における X Y座

WO W W

W12 W12

M が表示される。これ以外の指定については、付加画像 1の場合と同様の指定が

11

行われていることから、付加画像 1の場合と同様の表示指定が行われている。

[0063] なお、図 7のような表示指定ファイル 41の場合には、表示指定ファイル 41に対応

1 1 する要素画像ファイル 42には、要素画像として、要素画像 EMM のみが格納され

1 11

る。

[0064] 図 8Aには、着目像領域の位置、傾き、及び大きさに応じて定まる 1つの位置 (例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する 1つの付加画像 1が表示させる表示指定を行うための例が表示指定フアイル 41として例が示されている。なお、図 8Aの表示指定ファイル 41では、複数の

2 2

要素画像を同時に表示させないので、図 7における同時表示に関連する <同時表示指定 >及び <同時表示指定終了 >が記述されていない。

[0065] 付加画像 1は、 <付加画像 1指定 >と<付加画像 1指定終了 >と間の記述によつて指定される。すなわち、まず、第 1の「要素画像指定」によって指定される要素画像 EMM 第 1の「表示位置指定」によって指定される着目像領域が予め定められ

21

た基準となる大きさ情報 LXが値 LX である場合における X Υ座標系の座標位置（

Ε Ε0 W W

X , Y )に表示される。また、第 1の「大きさ指定」によって指定されるように、要素

W21 W21

画像 EMM の表示時の X軸方向の最大幅力着目像領域 WMRの大きさ LX に対

21 E W して比率 R の長さとされる。また、第 1の「表示時間指定」によって指定されるように、

21

要素画像 EMM 力時間 T にわたつて表示される。

21 21

[0066] 要素画像 EMM の時間 T の表示が終了すると、次に、第 2の「要素画像指定」に

21 21

よって指定される要素画像 EMM 力第 2の「表示位置指定」によって指定される位

22

置、すなわち要素画像 EMM の場合と同様の位置に表示される。また、第 2の「大き

21

さ指定」によって指定されるように、要素画像 EMM

22の表示時における X

E軸方向の最大幅が、着目像領域 WMRの大きさ LX に対して比率 R の長さとされる。また、第

W 22

2の「表示時間指定」によって指定されるように、要素画像 EMM 力時間 T にわた

22 22 つて表示される。

[0067] 要素画像 EMM の時間 T の表示が終了すると、次に、第 3の「要素画像指定」に

22 22

よって指定される要素画像 EMM 1S 第 3の「表示位置指定」によって指定される位

23

置、すなわち要素画像 EMM の場合と同様の位置に表示される。また、第 3の「大き

21

さ指定」によって指定されるように、要素画像 EMM の表示時における X軸方向の

23 E 最大幅が、着目像領域 WMRの大きさ LX に対して比率 R の長さとされる。また、第

W 23

3の「表示時間指定」によって指定されるように、要素画像 EMM 力時間 T にわた

23 23 つて表示される。

[0068] こうして、要素画像 EMM 、要素画像 EMM 及び要素画像 EMM の時間順次の

21 22 23

表示が終了すると、再度、上記と同様の態様で要素画像 EMM 、要素画像 EMM

21 22 及び要素画像 EMM の時間順次の表示がされる。こうして、要素画像 EMM 、要素画像 EMM 及び要素画像 EMM の指定態様による表示が、時間順次に繰り返

22 23

される。

[0069] 図 8Bには、着目像領域の位置、傾き、及び大きさに応じて定まる 1つの位置に、常時 1つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の 2つの位置に、時間順次に異なる 2つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル 41として例が示されている。すな

3

わち、 <同時表示指定 >により、これと <同時表示指定終了 >との間に記述された <付加画像 1指定 >及び <付加画像 2指定 >によって指定される付加画像 1及び付加画像 2が同時に表示されることが指定される。

[0070] 付加画像 1は、 <付加画像 1指定 >と<付加画像 1指定終了 >と間の記述によつて指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域 w

WO W W

W31 W31

M

31が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像 EMM の X軸方向の最大幅力着目像領域 WMRの大きさ LXに対して比

31 W W 率 R の

31 長さとされる。なお、表示時間指定がなされていないことから、付加画像 1における要素画像 EMM は常時表示されることが指定されて!ヽる。

31

[0071] 付加画像 2は、 <付加画像 2指定 >と<付加画像 2指定終了 >と間の記述によつて指定される。すなわち、まず、第 1の「表示位置指定」によって指定されるように、着目像領域 WMRの大きさ情報が予め定められた基準となる値 LX である場合におけ

W0

る X Y座標系の座標位置 (X , Y )に、第 1の「要素画像指定」によって指定さ

W W W32 W32

れる要素画像 EMM が表示される。また、「大きさ指定」によって指定されるように、

32

表示時における要素画像 EMM の X軸方向の最大幅が、着目像領域 WMRの大

32 W

きさ LXに対して比率 R の長さとされる。また、第 1の「表示時間指定」によって指定

W 32

されるように、要素画像 EMM 力時間 T にわたつて表示される。

32 32

[0072] 付加画像 2においては、要素画像 EMM の時間 T の表示が終了すると、次に、第

32 32

2の「表示位置指定」によって指定されるように、着目像領域 WMRの大きさ情報が予め定められた基準となる値 LXである場合における X Y座標系の座標位置 (X ,

0 W W W33 Y )に、第 2の「要素画像指定」によって指定される要素画像 EMM が表示される

33

また、「大きさ指定」によって指定されるように、表示時における要素画像 EMM の

33

X軸方向の最大幅力着目像領域 WMRの大きさ LX に対して比率 R の長さとさ

W W 33 れる。また、第 2の「表示時間指定」によって指定されるように、要素画像 EMM 力

33 時間 τ にわたつて表示される。

33

[0073] こうして、付加画像 1と付加画像 2とを合わせて、要素画像 EMM 及び要素画像 E

31

MM の同時表示と、要素画像 EMM 及び要素画像 EMM の同時表示とが時間

32 31 33

順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像

EMM 及び要素画像 EMM の同時表示と、要素画像 EMM 及び要素画像 EMM

31 32 31

の同時表示とが時間順次に行われる。こうして、要素画像 EMM 及び要素画像 E

33 31

32 31 33

順次に繰り返される。

[0074] 以下、上記のように構成された携帯電話装置 10における、原画像にマスク画像を重ねた合成画像の作成の動作につ！、て説明する。

[0075] 前提として、マタス画像作成部 32は、記憶部 23におけるマスク画像情報ファイル 4 0の内容をマスク画像情報 MDDとして既に読み込んでいるものとする。また、原画像は、撮像光学系 18及び切換光学系 24を介し、撮像素子 25の撮像面に結像された像であるものとする。また、着目像 WMMは、図 9Aに示されるような特定の人物の顔像であるものものとする。そして、図 9Bに示されるように、着目像 WMMにおける鼻の突端位置を原点 O とし、両面を結ぶ方向を X軸方向とし、当該 X軸方向と垂直な

W W W

方向を Y X Y

W軸方向とする W W座標系（着目像座標系）が定義されるものとする。なお

、原点 O及び X軸方向は、原画像における着目像を画像解析して求められ、 Y軸

W W W

方向は、求められた X軸方向に基づいて求められるものとする。

W

[0076] 《第 1の合成画像作成例》

まず、第 1の合成画像作成例を説明する。この例は、上述した図 7において、両目の位置を表示位置とし、要素画像 EMM 1S 図 6に示されるハート型図形画像であ

11

り、当該要素画像 EMM が着目像 WMMの大きさを表す長さ値 LX に対して比率 R

11 W

の大きさで表示されるマスク画像力原画像に重ねて表示される合成画像の例である。

[0077] まず、撮像素子 25におヽて撮像された原画像 OMMのデータである原画像データ OMDが、着目像情報抽出部 31へ通知される。なお、原画像データ OMDは、同時に合成画像作成部 33へも通知される（図 3参照)。ここで、得られた原画像 OMMの例が、図 10Aに示されている。

[0078] 着目像情報抽出部 31は、通知された原画像 OMMを画像処理して、着目像 WM Mの領域を抽出する。引き続き、着目像情報抽出部 31は、着目像 WMMを解析して、原画像座標系（X Y座標系）における着目像 WMMにおける鼻の突端位置 (X ,

S S SW

Y )を着目像座標 (X Y座標系）の原点 o の位置として求めるとともに、両目の瞳

SW W W W

の中央位置同士を結ぶ線分が延びる方向を X Y

W W座標系の X

W軸方向として求める。そして、求められた X軸方向と X軸方向との交差角度 0 を求める。さらに、着目像

W S W

情報抽出部 31は、着目像 WMMの X軸上における幅 LXを求める。そして、着目

W W

像情報抽出部 31は、着目像情報データ WMDとして、着目像領域の位置情報としての位置 (X , Y )を、着目像領域の傾き情報としての角度 Θ を、着目像領域の大

SW SW W

きさ情報としての長さ LXを、マスク画像作成部 32へ通知する。

W

[0079] 着目像情報データ WMDを受けたマスク画像作成部 32は、まず、付加画像 1における要素画像 EMM の X Y座標系における表示位置 (X , Y )を、次の（1)式及

11 S S Ell E11

び (2)式により算出する。

X =(LX ZLX XX -COS θ +Υ -sin 0 )+Χ …ひ）

Ell W 0 Wll W Wll W SW

Y =(LX ZLX X— X -sin 0 +Y -cos θ )+Y · '· (2)

Ell W 0 Wll W Wll W SW

[0080] 次に、マスク画像作成部 32は、付加画像 1における要素画像 EMM の拡大又は

11

縮小の倍率 M を、次の（3)式により算出する。

11

M =R -LX /LX · '· (3)

11 1 W El

[0081] 次いで、マスク画像作成部 32は、要素画像 EMM を X Y座標系において原点 O

11 S S E を中心として倍率 M で拡大又は縮小を行う。引き続き、マスク画像作成部 32は、拡

11

大又は縮小された要素画像 EMM を X Y座標系において原点 Oを中心として角

11 E E E

度 Θ だけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像 EM

W

M を、 X Y座標系における座標位置 (X , Y )が原点 Oの位置となるように X Y

11 S S Ell Ell E S S 座標系に配置する。

[0082] 次に、マスク画像作成部 32は、付加画像 1の場合と同様にして、付加画像 2における要素画像 EMM の X Y座標系における表示位置 (X , Y )を、次の (4)式及び

11 S S E12 E12

(5)式により算出する。

X =(LX ZLX XX -COS θ +Υ -sin 0 )+Χ · '· (4)

E12 W 0 W12 W W12 W SW

Υ =(LX ZLX X— X -sin 0 +Υ -cos θ )+Υ · '· (5)

E12 W 0 W12 W W12 W SW

[0083] 引き続き、マスク画像作成部 32は、付加画像 1の場合と同様にして、付加画像 2〖こおける要素画像 EMM の拡大又は縮小の倍率 M を、次の（6)式により算出する。

11 12

M =R -LX /LX · '· (6)

12 1 W El

[0084] 次!/、で、マスク画像作成部 32は、要素画像 EMM を X Y座標系にお!/、て原点 O

12

11 E E E

W

11 S S E12 E12 E S S 座標系に配置する。

[0085] 以上の結果、図 10Bにおいて画像 F10Bとして示されるようなマスク画像 MMMA が作成される。そして、マスク画像作成部 32は、作成されたマスク画像 MMMAのデータをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0086] マスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33は、原画像データ OMM上にマスク画像 MMMAを重ねた合成画像 SMMAを作成する。こうして作成された合成画像 SMMAが図 11にお!/、て画像 Fl 1 Aとして示されて!/ヽる。

[0087] 以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像 WMMが上記の例から平行移動したとしても、画像 F11B として示されるように、上記の場合と同様に、着目像 WMMの両目の位置に要素画像 EMM が着目像領域の大きさに応じて指定された比率の大きさで表示されたマス

11

ク画像が原画像上に重ねられた合成画像 SMMBが作成される。

[0088] また、撮像中の原画像における着目像 WMMが縮小したとしても、画像 Fl 1Cとして示されるように、上記の場合と同様に、着目像 WMMの両目の位置に要素画像 E MM が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画

11

像が原画像上に重ねられた合成画像 SMMCが作成される。また、撮像中の原画像における着目像 WMMが回転したとしても、画像 F11Dとして示されるように、上記の場合と同様に、着目像 WMMの両目の位置に要素画像 EMM が着目像領域の大

11

きさに応じて指定された比率の大きさを有し、かつ、着目像 WMMの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像 SMMDが作成される。なお、撮像中の原画像における着目像 WMMが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（X Y座標系）における座標位置の変化を伴うこととなる。

S S

[0089] 《第 2の合成画像作成例》

次に、第 2の合成画像作成例を説明する。この例は、上述した図 8Aにおいて、口の位置を表示位置とし、図 12Aに示される要素画像 EMM 、図 12Bに示される要素

21

画像 EMM 、及び図 12Cに示される要素画像 EMM が時間順次に繰り返して表

22 23

示されるマスク画像が、原画像に重ねて表示される合成画像の例である。

[0090] なお、図 8Aの記述で指定されて、る「大きさ情報」に応じた大きさで要素画像 EM M , EMM , EMM が表示される。すなわち、要素画像 EMM は着目像 WMM

21 22 23 21

の大きさを表す長さ値 LXに対して比率 R の大きさで表示される。また、要素画像 E

W 21

MM は長さ値 LXに対して比率 R の大きさで表示される。さらに、要素画像 EMM

22 W 22

は長さ値 LXに対して比率 R の大きさで表示される。

23 W 23

[0091] まず、上記の第 1の合成画像作成例と同様にして、撮像素子 25において撮像された原画像 OMMのデータが原画像データ OMDとして着目像情報抽出部 31へ通知される。引き続き、着目像情報抽出部 31が、通知された原画像 OMMを画像処理して、着目像 WMMの領域を特定し、着目像情報 WMRを抽出する。そして、着目像情報抽出部 31は、着目像情報データ WMDとして、着目像領域の位置情報としての位置 (X , Y )を、着目像領域の傾き情報としての角度 Θ を、着目像領域の大きさ

SW SW W

情報としての長さ LXを、マスク画像作成部 32へ通知する。

W

[0092] 着目像情報データ WMDを受けたマスク画像作成部 32は、まず、付加画像 1における第 1要素画像 EMM の X Y座標系における表示位置 (X , Y )を、次の（7)式

21 S S E2 E2

及び (8)式により算出する。

X =(LX ZLX XX -COS θ +Υ -sin 0 )+Χ - -- (7)

Ε2 W 0 W2 W W2 W SW

Y =(LX ZLX X— X -sin 0 +Y -cos 0 )+Y "- (8)

E2 W 0 W2 W W2 W SW

[0093] 次に、マスク画像作成部 32は、第 1の要素画像 EMM の拡大又は縮小の倍率 M

21

を、次の（9)式により算出する。

21

M =R -LX /LX

[0094] 次いで、マスク画像作成部 32は、上記の第 1の合成画像作成と同様にして、要素画像 EMM を X Y座標系において原点 Oを中心として倍率 M で拡大又は縮小を

21 S S E 21 行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 EMM を X

21 E

Y座標系において原点 oを中心として角度 Θ だけ回転させる。そして、拡大又は

E E W

縮小され、かつ、回転された要素画像 EMM を、 X Y座標系における座標位置 (X

21 S S

, Y )が原点 Oの位置となるように X Y座標系に配置する。

E2 E2 E S S

[0095] 以上の結果、図 13において、画像 F13Aとして示されるようなマスク画像 MMM

21 が作成される。そして、マスク画像作成部 32は、作成されたマスク画像 MMM のデ

21 ータをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0096] このマスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33 は、原画像 OMM上にマスク画像 MMMを重ねた合成画像 SMM を作成する。こう

21

して作成された合成画像 SMM が図 14において画像 F14Aとして示されている。

21

[0097] 以後、マスク画像作成部 32は、時間 T にわたつて、着目像 WMMの口の位置を表

21

示位置として、要素画像 EMM を、着目像 WMMの大きさを表す長さ値 LXに対す

21 W る比率 R の大きさで表示するマスク画像を作成する。この結果、合成画像作成部 33

21

は、原画像の着目像 WMMにおける口の位置に要素画像 EMM を倍率 M で拡大

21 21 又は縮小したマスク画像を重ねた合成画像を、時間 τ にわたつて逐次作成する。

21

[0098] こうして、時間 T が経過すると、マスク画像作成部 32は、付加画像 1における第 2

21

要素画像 EMM の X Y座標系における表示位置 (X , Y )を、上記の（7)式及び

22 S S E2 E2

(8)式により算出する。引き続き、マスク画像作成部 32は、第 2の要素画像 EMM の

22 拡大又は縮小の倍率 M を、次の（10)式により算出する。 M =R -LX /LX - -- (10)

22 22 W E22

[0099] 次に、マスク画像作成部 32は、上記の第 1の要素画像 EMM の場合と同様にして

21

、要素画像 EMM を X Y座標系において原点 Oを中心として倍率 M で拡大又は

22 E E E 22 縮小を行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 EM M を X Y座標系において原点 Oを中心として角度 Θ だけ回転させる。そして、拡

22 E E E W

大又は縮小され、かつ、回転された要素画像 EMM を、 X Y座標系における座標

22 S S

位置 (X , Y )が原点 Oの位置となるように X Y座標系に配置する。

E2 E2 E S S

[0100] 以上の結果、図 13において画像 F13Bとして示されるようなマスク画像 MMM 力 S

22 作成される。そして、マスク画像作成部 32は、作成されたマスク画像 MMM のデー

22 タをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0101] このマスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33 は、原画像 OMM上にマスク画像 MMMを重ねた合成画像 SMM を作成する。こう

22

して作成された合成画像 SMM が図 14において F14Bとして示されている。

22

[0102] 以後、マスク画像作成部 32は、時間 T にわたつて、着目像 WMMの口の位置を表

22

22 W る比率 R の大きさで表示するマスク画像を生成する。この結果、合成画像作成部 33

22

22 22 又は縮小したマスク画像を重ねた合成画像を、時間 T にわたつて作成する。

22

[0103] こうして、時間 T が経過すると、マスク画像作成部 32は、付加画像 1における第 3

22

23 S S E2 E2

(8)式により算出する。引き続き、マスク画像作成部 32は、第 3の要素画像 EMM の

23 拡大又は縮小の倍率 M を、次の（11)式により算出する。

23

M =R -LX /LX · '· (11)

23

[0104] 次に、マスク画像作成部 32は、上記の第 1の要素画像 EMM の場合と同様にして

21

23 E E E 23 縮小を行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 EM M を X Y座標系において原点 Oを中心として角度 Θ だけ回転させる。そして、拡

23 E E E W

大又は縮小され、かつ、回転された要素画像 EMM を、 X Y座標系における座標位置 (X , Y )が原点 Οの位置となるように X Υ座標系に配置する。

Ε2 Ε2 E S S

[0105] 以上の結果、図 13において画像 F13Cとして示されるようなマスク画像 ΜΜΜ 力 S

23 作成される。そして、マスク画像作成部 32は、作成されたマスク画像 ΜΜΜ のデー

23 タをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0106] このマスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33 は、原画像 ΟΜΜ上にマスク画像 ΜΜΜ を重ねた合成画像 SMM を作成する。こ

23 23

うして作成された合成画像 SMM が図 14において画像 F14Cとして示されている。

23

[0107] 以後、マスク画像作成部 32は、時間 Τ にわたつて、着目像 WMMの口の位置を表

23

23 W る比率 R の大きさで表示するマスク画像を生成する。この結果、合成画像作成部 33

23

23 23 又は縮小したマスク画像を重ねた合成画像を、時間 τ にわたつて作成する。

23

[0108] こうして、時間 T が経過すると、マスク画像作成部 32は、上記と同様にして、上述し

23

た要素画像 EMM を使用したマスク画像、要素画像 EMM を使用したマスク画像

21 22

及び要素画像 EMM を使用したマスク画像の時間順次の作成を繰り返す。そして、

23

合成画像作成部 33は、原画像データ OMDとマスク画像データ MMDとに基づ!/、て、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像 EMM 、要素画像 EMM 、及び要素画像 EMM 力なるマスク画像が重ねられ

21 22 23

た合成画像を逐次作成する。

[0109] 《第 3の合成画像作成例》

次に、第 3の合成画像作成例を説明する。この例は、上述の図 8におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像 1、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像 2を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。

[0110] ここで、付加画像 1における要素画像 EMM は、図 15Aに示されるものであるもの

31

とする。また、付加画像 2における第 1要素画像 EMM は、図 15Bに示されるもので

32

あり、また、付加画像 2における第 2要素画像 EMM は、図 15Cに示されるものであ

33 るちのとする。

[0111] なお、図 8の記述で指定されている「大きさ情報」に応じた大きさで要素画像 EMM

, EMM , EMM が表示される。すなわち、要素画像 EMM は着目像 WMMの

31 32 33 31

大きさを表す長さ値 LX に対する比率 R の大きさで表示される。また、要素画像 EM

W 31

M は長さ値 LXに対する比率 R の大きさで表示される。さらに、要素画像 EMM

32 W 32 33 は着目像 WMMの大きさを表す長さ値 LXに対する比率 R の大きさで表示される。

W 33

[0112] まず、上記の第 1又は第 2の合成画像作成と同様にして、撮像素子 25において撮像された原画像データ OMDが、着目像情報抽出部 31へ通知される。引き続き、着目像情報抽出部 31が、通知された原画像 OMMを画像処理して、着目像 WMMの領域を特定し、着目像情報を抽出する。そして、着目像情報抽出部 31は、着目像情報データ WMDとして、着目像領域の位置情報としての位置 (X , Y )を、着目像

SW SW

領域の傾き情報としての角度 0 を、着目像領域の大きさ情報としての長さ LXを、

W W

マスク画像作成部 32へ通知する。

[0113] 着目像情報データ WMDを受けたマスク画像作成部 32は、まず、付加画像 1における第 1要素画像 EMM の X Y座標系における表示位置 (X , Y )を、次の（12

31 S S E31 E31

)式及び（13)式により算出する。

X =(LX ZLX XX -COS θ +Υ -sin 0 )+Χ - -- (12)

E31 W 0 W31 W W31 W SW

Y =(LX ZLX X— X -sin 0 +Y -cos θ )+Y · ,· (13)

E31 W 0 W31 W W31 W SW

[0114] 次に、マスク画像作成部 32は、第 1の要素画像 EMM の拡大又は縮小の倍率 M

11

を、次の（14)式により算出する。

31

M =R -LX /LX · '· (14)

31 31 W E31

[0115] 次いで、マスク画像作成部 32は、上記の第 1又は第 2の合成画像作成と同様にして、要素画像 EMM を X Y座標系において原点 Oを中心として倍率 M で拡大又

31 E E E 31 は縮小を行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 E MM を X Y座標系において原点 Oを中心として角度 Θ だけ回転させる。そして、

31 E E E W

拡大又は縮小され、かつ、回転された要素画像 EMM を、 X Y座標系における座

31 S S

標位置 (X , Y )が原点 oの位置となるように X Y座標系に配置する。

E31 E31 E S S

[0116] 次に、マスク画像作成部 32は、付加画像 1における第 1要素画像 EMM の場合と

31 同様に、付加画像 2における第 2要素画像 EMM の X Y座標系における表示位置

32 S S

(X , Y )を、次の（15)式及び（16)式により算出する。

E32 E32

X =(LX /LX)(X -cos 0 +Y -sin 0 )+Χ ·'·(15)

Ε32 W 0 W32 W W32 W SW

Υ =(LX /LX)(-X -sin 0 +Υ -cos 0 )+Υ ·'·(16)

Ε32 W 0 W32 W W32 W SW

[0117] 次に、マスク画像作成部 32は、第 2の要素画像 EMM の拡大又は縮小の倍率 M

32

を、次の（17)式により算出する。

32

M =R -LX /LX ·'·(17)

32 32 W Ε32

[0118] 次いで、マスク画像作成部 32は、上記の要素画像 EMM の場合と同様にして、要

31

素画像 EMM を X Y座標系において原点 Oを中心として倍率 M で拡大又は縮

32 E E E 32

小を行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 EMM

332 を X Y座標系において原点 Oを中心として角度 Θ だけ回転させる。そして、拡大

E E E W

又は縮小され、かつ、回転された要素画像 EMM を、 XY座標系における座標位

31 S S

置 (X , Y )が原点 Oの位置となるように X Y座標系に配置する。

E32 E32 E S S

[0119] 以上の結果、図 16において画像 F16Aとして示されるようなマスク画像 MMM 力 S

31 作成される。そして、マスク画像作成部 32は、作成されたマスク画像 MMM のデー

31 タをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0120] このマスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33 は、原画像 OMM上にマスク画像 MMM を重ねた合成画像 SMM を作成する。こ

31 31

うして作成された合成画像 SMM が図 17において画像 F17Aとして示されている。

31

[0121] 以後、マスク画像作成部 32は、時間 T にわたつて、着目像 WMMと指定された関

31

係にある位置に、要素画像 EMM を着目像 WMMの大きさを表す長さ値 LX に対

31 W する比率 R の大きさで表示し、かつ、要素画像 EMM を長さ値 LX に対する比率 R

31 32 W

の大きさで表示マスク画像を生成する。そして、合成画像作成部 33は、マスク画像

32

作成部 32から通知されたマスク画像データ MMDが表すマスク画像が原画像上に重ねられた合成画像を、時間 T にわたつて作成する。

31

[0122] こうして、時間 T が経過すると、マスク画像作成部 32は、付加画像 1における第 1

31

要素画像 EMM の XY座標系における表示位置 (X , Y )及び倍率 M を、上

31 S S E31 E31 31 記の（12)式一（14)式により算出する。そして、マスク画像作成部 32は、 X Y座標

E E 系において原点 Oを中心として、要素画像 EMM を倍率 M で拡大又は縮小した

E 31 31

後に角度 0 だけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画

W

像 EMMを、 X Y座標系における座標位置 (X , Y )が原点 Oの位置となるよう

2 S S E31 E31 E に X Y

S S座標系に配置する。

[0123] 次に、マスク画像作成部 32は、付加画像 1における第 1要素画像 EMM の場合と

11 同様に、付加画像 2における要素画像 EMM の X Y座標系における表示位置 (X

33 S S

, Y )を、次の（18)式及び（19)式により算出する。

E33 E33

X =(LX /LX )(X -cos 0 +Y -sin 0 )+X · '· (18)

Ε33 W 0 W33 W W33 SW

Y =(LX /LX )(-X -sin 0 +Y -cos 0 )+Y · '· (19)

E33 W 0 W33 W W33 SW

[0124] 次に、マスク画像作成部 32は、第 3要素画像 EMM の拡大又は縮小の倍率 M を

33 33

、次の（20)式により算出する。

M =R -LX /LX - -- (20)

33 33 W E33

[0125] 次いで、マスク画像作成部 32は、上記の第 1要素画像 EMM の場合と同様にして

31

33 E E E 33 縮小を行う。引き続き、マスク画像作成部 32は、拡大又は縮小された要素画像 EM M を X Y座標系において原点 Oを中心として角度 Θ だけ回転させる。そして、拡

33 E E E W

33 S S

E33 E33 E S S

[0126] 以上の結果、図 16において画像 F16Bとして示されるようなマスク画像 MMM 力 S

32 作成される。そして、マスク画像作成部 32は、作成されたマスク画像 MMM のデー

32 タをマスク画像データ MMDとして合成画像作成部 33へ通知する。

[0127] このマスク画像データ MMD及び原画像データ OMDを受けた合成画像作成部 33 は、原画像 OMM上にマスク画像 MMM を重ねた合成画像 SMM を作成する。こ

32 32

うして作成された合成画像 SMM が図 17において画像 F17Bとして示されている。

32

[0128] 以後、マスク画像作成部 32は、時間 T にわたつて、着目像 WMMと指定された関

32

31 33 W

33 作成部 32から通知されたマスク画像データ MMDが表すマスク画像が原画像上に重ねられた合成画像を、時間 T にわたつて作成する。

32

[0129] こうして、時間 T が経過すると、マスク画像作成部 32は、上記と同様にして、上述し

32

た要素画像 EMM 及び要素画像 EMM を使用したマスク画像、並びに要素画像 E

31 32

MM 及要素画像 EMM を使用したマスク画像の時間順次の作成を繰り返す。そし

31 33

て、合成画像作成部 33は、マスク画像作成部 32から通知されたマスク画像データ M MDが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。

[0130] 以上の第 1、第 2又は第 3合成画像作成例のようにして作成された合成画像の情報データ SMDは、合成画像作成部 33から基本制御部 29へ通知される。この合成画像情報データを受けた基本制御部 29は、予め利用者が操作部 12を操作して行った指令に従って、合成画像 SMMを表示部 13に表示したり、送受信部 21を介して、通話相手先へ送信したりする。

[0131] 以上説明したように、本実施形態では、着目像 WMMの領域を原画像において特定し、原画像中における着目像 WMMの領域の位置及び大きさに関連する情報を含む着目像情報 WMDを抽出する。引き続き、着目像情報 WMDと、マスク画像情報ファイル 40に登録されたマスク画像情報とに基づいて、原画像 OMM上に重ねて表示させるマスク画像 MMMを作成する。この結果、原画像 OMMにおける着目像 WMMの領域の位置に関連する情報と、マスク画像情報に含まれる着目像領域の位置との関係を示す情報とにより定まる位置に、原画像 OMMにおける着目像 WM Mの領域の大きさに関連する情報と、着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像カゝら構成されるマスク画像が作成される。そして、原画像上にマスク画像を重ねた合成画像が作成される。

[0132] したがって、本実施形態によれば、原画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。

[0133] また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像 OMMにおける着目像領域 WMRの代表点の位置情報が含まれている。このため、マスク画像情報に含まれる着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。

[0134] また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像 OMMにおける着目像領域の傾き情報が更に含まれている。このため、原画像 OMMにおける着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。

[0135] また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報として、着目像領域の代表点を原点とし、原画像における着目像領域の傾きに基づ、て座標軸の方向が定められる座標系における座標位置情報が、要素画像の表示位置情報として含まれている。このため、着目像領域の位置との関係を示す情報を、着目像領域の代表点を原点とし、着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。

[0136] また、本実施形態では、マスク画像情報が、着目像領域の大きさと要素画像 EMM の表示時における大きさとの比率情報を含むことすることができる。この場合には、原画像 OMM内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像 EMMを含むマスク画像 MMMを作成することができる。

[0137] また、本実施形態では、マスク画像情報が、要素画像 EMMそれぞれの表示の実行時間情報を含むことができる。この場合には、当該実行時間情報に従ってマスク画像 WMMを作成することにより、所望の要素画像 EMMそれぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像 M MMを作成することができる。

[0138] また、本実施形態では、マスク画像情報が、複数の要素画像 EMMの表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報を含むことができる。この場合には、当該時間順次表示指定の情報に従つてマスク画像 WMMを作成することにより、原画像 OMM上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。

[0139] また、本実施形態では、マスク画像情報が、複数の要素画像表示を同時に表示することを指定する同時表示指定の情報を含むことができる。この場合には、所望の複数の要素画像 EMMそれぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像 WMMを作成することができる。

[0140] <第 2実施形態 >

次に、本発明の第 2実施形態を、図 18—図 24を主に参照しつつ、適宜他の図面を参照して説明する。なお、上述した第 1実施形態の場合と同一又は同様の要素には同一符号を付し、重複する説明は省略する。

[0141] 本実施形態は、第 1実施形態と比べて、人物像の背景に原画像のものとは異なる画像を用いることができる点が相違している。以下、当該相違点に主に着目して説明する。

[0142] 本実施形態の携帯電話装置 10'は、図 18に示されるように、携帯電話本体 11内部において、制御部 21が、マスク画像処理部 30'を備えている点と、記憶部 23にマスク画像情報ファイル 40'が格納されている点とが、第 1実施形態の携帯電話装置 1 0と相違している。

[0143] マスク画像処理部 30'は、図 19に示されるように、着目像情報抽出部 31と、マスク画像作成部 32'と、合成画像作成部 33'とを備えている。ここで、着目像情報抽出部 31は、第 1実施形態の場合と同様に動作する。

[0144] マスク画像作成部 32'は、第 1実施形態のマスク画像作成部 32と同様に、着目像情報抽出部 31によって抽出された着目像情報 WMDと、上述した記憶部 23のマスク画像情報ファイル 40'に記憶されたマスク画像情報 MDDとに基づいて、マスク画像データ MMDを作成する。さら〖こ、マスク画像作成部 32，は、マスク画像情報ファイル 40'に記憶されたマスク画像情報 MDDに基づいて、背景像指定の有無を示す背景像指定情報と、背景像指定情報にお!、て背景像指定が有る場合における背景像データ BDDの格納位置情報力成る背景像情報 BPNを作成する。

[0145] 合成画像作成部 33'は、背景像情報 BPNにより背景像指定が有る旨が通知された場合には、まず、原画像データ OMD及び背景像データ BDDに基づいて、背景像データ BDDによる背景像上に原画像中の特定表示画像である人物像を重ねた画像を背景像含有画像として作成する。引き続き、合成画像作成部 33'は、当該背景像含有画像上にマスク画像情報 MDDにより表されたマスク画像を重ねた合成画像データ SMD'を作成する。

[0146] 一方、背景像情報 BPNにより背景像指定が無い旨が通知された場合には、合成画像作成部 33 'は、原画像を背景像含有画像として作成する。引き続き、合成画像作成部 33 'は、当該背景像含有画像上にマスク画像情報 MDDにより表されたマスク画像を重ねた合成画像データ SMD'を作成する。この場合には、合成画像データ S MD'は、第 1実施形態の合成画像データ SMDと同様となる。

[0147] なお、合成画像作成部 33によって作成された合成画像データ SMD'は、基本制御部 29へ通知されるようになって!/、る。

[0148] 記憶部 23内のマスク画像情報ファイル 40，は、図 20Aに示されるように、（i)原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述、及び、背景像指定記述が格納された表示指定ファイル 41 'と、（ii)上述した要素画像ファイル 42と、 (iii)背景像データ BDDを格納した背景像ファイル 43とから構成されている。なお、マスク画像情報ファイル 40'は、携帯電話装置 10に対して、コンテンツプロバイダー力無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。

[0149] 本実施形態の表示指定ファイル 41 'における表示指定記述の例が、図 21に示されている。なお、図 21に示される記述例は、第 1実施形態の場合における図 7の記述例に背景像指定がある旨を加えたものである。すなわち、図 21の表示指定記述では、 <同時表示指定 >から <同時表示指定終了 >までの間において、図 7の付加画像 1及び付加画像 2についての記述に加えて、 <背景像指定 >及び <背景像指定終了 >、並びにこれらの間における「背景像指定」の記述により同時表示すべき背景像が指定されている。ここで、「背景像指定」としては、背景像ファイル 43の記憶部 23 における先頭アドレス BMMAが指定される。以下の説明においては、背景像フアイル 43〖こは、図 22に示されるような原画像領域 OMRと同一の形状及び大きさを有する背景像領域 BMR内の背景像 BMMを表す背景像データ BDDが格納されているものとする。

[0150] なお、 <背景像指定 >力く背景像指定指定終了 >までの記述が無い場合には、背景像指定が無いことを示すようになつている。また、背景像ファイル 43の先頭アドレス BMMA値として「0」が記述されてヽる場合にも、背景像指定が無ヽことを示すようになつている。

[0151] 以下、上記のように構成された携帯電話装置 10'における、合成画像の作成の動作について説明する。

[0152] 上述した第 1実施形態における合成画像の作成の動作についての前提に加えて、図 23に示される原画像領域 OMR内の人物像 SDM力原画像 OMMから切り出されるべき特定表示画像であるものとする。

[0153] まず、第 1実施形態における第 1の合成画像作成例の場合と同様に、撮像素子 25 において撮像された原画像 OMMのデータである原画像データ OMD力着目像情報抽出部 31へ通知され、着目像情報抽出部 31により着目像情報データ WMDが作成される。こうして作成された着目像情報データ WMDは、着目像情報抽出部 31からマスク画像作成部 32 'へ通知される。

[0154] 着目像情報データ WMDを受けたマスク画像作成部 32'は、第 1実施形態における第 1の合成画像作成例の場合と同様に、着目像情報データ WMD及びマスク画像情報 MDDに基づいて、マスク画像 MMMAのデータを作成し、マスク画像データ M MDとして合成画像作成部 33'へ通知する。また、マスク画像作成部 32'は、マスク画像情報 MDDに基づいて、背景像指定が有るか否か、及び、背景像指定が有る場合における背景像ファイル 43の先頭アドレス力成る背景像情報 BPNを作成し、合成画像作成部 33 'へ通知する。ここで、表示指定ファイル 41 'には、上述した図 21のように、背景像指定が記述されているので、背景像情報 BPNとしては、背景像指定が有る旨、及び、背景像ファイル 43の先頭アドレスが含まれることになる。

[0155] マスク画像データ MMD、原画像データ OMD及び背景像情報 BPNを受けた合成画像作成部 33 'は、まず、背景像情報 BPNに基づいて、背景像指定が有るか否かを判定する。今回の場合は、上記のように背景像指定があるので、判定結果は肯定的となる。引き続き、合成画像作成部 33'は、背景像情報 BPN中の背景像ファイル 4 3の先頭アドレスを利用して、背景像ファイル 43から背景像データ BDDを読み出す

[0156] こうして、マスク画像データ MMD及び原画像データ OMDに加えて背景象データ BDDを取得した合成画像作成部 33'は、次のようにして、合成画像を作成する。

[0157] まず、合成画像作成部 33'は、図 24において画像 F24Aとして示される原画像 O MMから、画像 F24Bとして示されるように特定表示画像である人物像 SDMを切り出す。かかる切り出しは、人物像一般の特徴から人物像 SDMの輪郭を特定した後、当該輪郭内の画像を抽出することにより行われる。

[0158] 引き続き、合成画像作成部 33'は、特定表示像 SDMを、原画像 OMRにおける場合と同一の位置に同一の大きさで、画像 F24Cとして示される背景像 BMMに重ねる。この結果、画像 F24Dとして示される背景付加像 BAMが作成される。

[0159] 次に、合成画像作成部 33'は、画像 F24Eとして示されるマスク画像 MMMAを背景付加像 BAMに重ねる。この結果、画像 F24Fとして示される合成画像 SMMA'が作成される。

[0160] こうして作成された合成画像 SMMA'のデータ SMD，は、合成画像作成部 33から基本制御部 29へ通知される。この合成画像情報データを受けた基本制御部 29は、予め利用者が操作部 12を操作して行った指令に従って、合成画像 SMMA'を表示部 13に表示したり、送受信部 21を介して、通話相手先へ送信したりする。

[0161] なお、表示指定ファイル 41 'に背景像指定が記述されて!、な、場合や、背景像データ BDDの格納先頭アドレスが「0」であった場合には、マスク画像作成部 32，は、背景像指定が無、旨のみを含む背景像情報 BPNを作成し、合成画像作成部 33 'へ通知する。こうした背景像情報 BPNを受けた合成画像作成部 33'は、背景像指定が無いと判定し、原画像 OMMにマスク画像 MMMAを重ねて、合成画像を作成する。この結果、第 1実施形態における第 1の合成画像作成例の場合と同一の合成画像 S MMAが作成される。

[0162] また、上記では、表示指定ファイル 41 'にマスク画像指定が記述されておらず、背景像指定のみが記述されている場合には、合成画像作成部 33'においては、背景付加像 BAMが最終的な合成画像として作成される。

[0163] また、上記では、第 1実施形態における第 1の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をした例を説明したが、第 1実施形態における第 2 又は第 3の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をすることが可會なことは勿！^である。

[0164] 以上説明したように、本実施形態では、合成画像作成部 33'が、着目像である顔画像を含む人物像 SDMを特定表示像として原画像 OMM力切り出して、指定された背景像 BMM上に重ね、着目像含有画像としての背景付加像 BAMを作成する。そして、合成画像作成部 33'は、当該背景付加像 BAMにマスク画像 MMMAを重ねる。したがって、人物像 SDM等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。

[0165] なお、上記の第 2実施形態では、マスク画像情報ファイル 40'が、背景像ファイル 4 3を含んでいることとした。これに対して、背景像ファイル 43を、マスク画像情報フアイル外の領域に置くことにすることもできる。

[0166] また、上記の第 1及び第 2実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。

[0167] また、上記の第 1及び第 2実施形態では、いわゆる自分撮りの態様で撮像される撮像光学系 18を介した光の結像結果を原画像とした力 V、わゆる相手撮りの態様で撮像される撮像光学系 19を介した光の結像結果を原画像とすることもできる。さらに、記憶部 23に記憶されている画像を原画像とすることもできる。

[0168] また、上記の第 1及び第 2実施形態では、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も 2次元モデルで作成されたものとした。これに対し、着目像領域における着目物体にっ、て奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を 3次元モデルで作成されたものとすることもできる。この場合には、着目物体力表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のな、マスク画像を作成することができる。 [0169] また、同時に表示する要素画像の数は任意である。さらに、時間順次表示を行う要素画像の数も任意である。

[0170] また、上記の第 1及び第 2実施形態では、マスク画像情報ファイルが、表示指定ファィルと、要素画像ファイルとから構成されることとした。これに対して、マスク画像情報ファイル力要素画像プレビューファイルを更に有することとし、要素画像のプレビュ一を指定された場合には、当該要素画像プレビューファイルを参照して、表示部 13 にお、て要素画像のプレビューを行うこととしてもよ!/、。

[0171] また、着目像情報に基づいて着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置力も涙が流れる合成画像を作成することとすることちできる。

[0172] また、上記の第 1及び第 2実施形態では、携帯電話装置に本発明を適用したが、他の種類の移動通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。

産業上の利用可能性

[0173] 以上説明したように、本発明の画像処理方法及び画像処理方法は、取得された原画像の加工処理に適用することができる。また、本発明の移動通信端末装置は、画像メール機能やテレビ電話機能を有する移動通信端末装置に適用することができる

Claims

請求の範囲

[1] 画像の処理を行う画像処理方法であって、

着目すべき像の領域である着目像領域を原画像にお!ヽて特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；

前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも 1 つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも 1つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づ!ヽて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；

前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法。

[2] 前記着目像含有画像は前記原画像である、ことを特徴とする請求項 1に記載の画像処理方法。

[3] 前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景像選択情報を更に含み、

前記合成画像作成工程では、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項 1に記載の画像処理方法。

[4] 前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれる、ことを特徴とする請求項 1に記載の画像処理方法。

[5] 前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が含まれる、ことを特徴とする請求項 4に記載の画像処理方法。

[6] 前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づ!/ヽて座標軸の方向が定められる座標系における座標位置情報が、前記特定の図形の表示位置情報として含まれる、ことを特徴とする請求項 4に記載の画像処理方法。

[7] 前記関係情報には、前記着目像領域の大きさと前記特定の図形の表示時における大きさとの比率情報が含まれる、ことを特徴とする請求項 1に記載の画像処理方法

[8] 前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報との組合せで定まる図形表示それぞれの実行時間情報が更に含まれる、ことを特徴とする請求項 1に記載の画像処理方法。

[9] 前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の組合せで定まる複数種類の図形表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれる、ことを特徴とする請求項 8に記載の画像処理方法。

[10] 前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の糸且合せで定まる複数種類の図形表示を同時に表示することを指定する同時表示指定の情報が更に含まれる、ことを特徴とする請求項 1に記載の画像処理方法

[11] 前記原画像は動画像である、ことを特徴する請求項 1に記載の画像処理方法。

[12] 前記着目像情報に基づいて前記着目像領域において予め定められた現象が発生したカゝ否かを判定する所定現象発生判定工程を更に備え、

前記所定現象発生判定工程において肯定的な判定がされた後に、前記マスク画像作成工程を開始する、ことを特徴とする請求項 11に記載の画像処理方法。

[13] 画像の処理を行う画像処理装置であって、

着目すべき像の領域である着目像領域を原画像にお!ヽて特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；

前記着目像領域との位置及び大きさの関係を示す少なくとも 1つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも 1つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファイルを格納する記憶手段と；

前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成するマスク画像作成手段と；

前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置。

[14] 前記着目像含有画像は前記原画像である、ことを特徴とする請求項 13に記載の画像処理装置。

[15] 前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含み、

前記合成画像作成手段は、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項 13記載の画像処理装置。

[16] 前記合成画像を表示する表示手段を更に備える、ことを特徴とする請求項 13に記載の画像処理装置。

[17] 前記合成画像データを送信する送信手段を更に備える、ことを特徴とする請求項 1

3に記載の画像処理装置。

[18] 前記原画像を取得するための撮像手段を更に備える、ことを特徴とする請求項 13 に記載の画像処理装置。

[19] 請求項 13に記載の画像処理装置を備える、ことを特徴とする移動通信端末装置。