JP4417292B2 - オブジェクト出力方法及び情報処理装置 - Google Patents

オブジェクト出力方法及び情報処理装置 Download PDF

Info

Publication number
JP4417292B2
JP4417292B2 JP2005151958A JP2005151958A JP4417292B2 JP 4417292 B2 JP4417292 B2 JP 4417292B2 JP 2005151958 A JP2005151958 A JP 2005151958A JP 2005151958 A JP2005151958 A JP 2005151958A JP 4417292 B2 JP4417292 B2 JP 4417292B2
Authority
JP
Japan
Prior art keywords
image
information
mask
key
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005151958A
Other languages
English (en)
Other versions
JP2006330965A (ja
Inventor
美年子 諸戸
裕策 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Mobile Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Mobile Corp filed Critical SoftBank Mobile Corp
Priority to JP2005151958A priority Critical patent/JP4417292B2/ja
Priority to PCT/JP2006/310261 priority patent/WO2006126546A1/ja
Priority to EP06746745A priority patent/EP1884895A4/en
Priority to TW095118479A priority patent/TW200707335A/zh
Publication of JP2006330965A publication Critical patent/JP2006330965A/ja
Priority to US11/984,918 priority patent/US8290299B2/en
Application granted granted Critical
Publication of JP4417292B2 publication Critical patent/JP4417292B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Circuits (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、オブジェクト出力方法及び情報処理装置に係り、より詳しくは、表示手段と、キー入力手段とを備える情報処理装置において、表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力するオブジェクト出力方法、及び、当該オブジェクト出力方法を使用する情報処理装置に関する。
従来から、取得された原画像を処理する画像処理が様々な手法で行われている。こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある（非特許文献１、特許文献１、２等参照）。
こうした顔像に関する画像処理技術の存在を背景として、例えば、人物像を撮影しつつ、画面内の顔が移動しても、顔の部品位置に応じて、装飾用図形の位置、大きさを決定し、画面内の顔が移動に追従して画像合成を行う技術が提案されている（特許文献３参照）。この技術によれば、容易に様々な印象の異なる顔合成画像を得ることができる。
また、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるばかりではなく、送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている（特許文献４参照）。
アイマティックジャパン株式会社、"技術情報"、［2003年12月29日検索］、インターネット＜URL:http://www.eyematic.co.jp/tech.html＞ 特開２００３−２７１９５８号公報 特開２００３−２９６７３５号公報 特開２０００−３２２５８８号公報 特開２００３−３０９８２９号公報
上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。例えば、利用者が、自身の趣味感に合わせて原画像を加工し、自身の内心等を表現する応用が考えられる。
しかしながら、利用者の表現したい内心等は、刻々と変化する撮像結果に応じて変化するものである。このため、ある時点で利用者の趣味感にマッチした表現であっても、次の時点においては、利用者の趣味感にマッチしない表現となってしまうことが多々ある。
このため、原画像の加工の態様等を簡易に切り換えることが求められる。特許文献３に開示の術においては、利用者の音声による切換指令を認識する技術が提案されているが、音声認識を実現するためには、多くの資源を必要とするため、例えば、携帯電話装置のように小規模の装置に適しているとはいえない。
本発明は、上記の事情を鑑みてなされたものであり、原画像に含まれる画像の表示と同時にオブジェクトを出力する際における出力オブジェクトの切換を簡易に行うことを可能とし、利用者の利便性を向上することができるオブジェクト出力方法及び情報処理装置を提供することを目的とする。
本発明は、第１の観点からすると、表示手段と、キー入力手段とを備える情報処理装置において、前記表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力するオブジェクト出力方法であって、前記キー入力手段におけるいずれかのキーが操作された場合に、操作されたキーを特定する操作キー特定工程と；前記操作キー特定工程において特定されたキーの操作に対応するオブジェクトが存在する場合に、前記特定されたキーの操作に対応するオブジェクトを、前記表示手段への原画像に含まれる画像の表示と同時に出力するオブジェクト出力工程と；を備え、前記操作キー特定工程において特定されたキーがマスク画像更新キーである場合、前記オブジェクト出力工程では、予め表示順が定められた複数のマスク画像における次に表示すべきマスク画像である更新マスク画像を含む更新合成画像が前記表示手段に表示される、ことを特徴とするオブジェクト出力方法である。
このオブジェクト出力方法では、表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力するために、利用者がキー入力手段の１つのキーを操作すると、操作キー特定工程において、操作されたキーが特定される。次に、特定されたキーの操作に対応するオブジェクトが存在するか否かが判定される。そして、判定結果が肯定的であった場合には、オブジェクト出力工程において、特定されたキーの操作に対応するオブジェクトが、表示手段への原画像に含まれる画像の表示と同時に出力される。
ここで、操作キー特定工程において特定されたキーがマスク画像更新キーである場合、オブジェクト出力工程では、予め表示順が定められた複数のマスク画像における次に表示すべきマスク画像である更新マスク画像を含む更新合成画像が表示手段に表示される。
したがって、本発明のオブジェクト出力方法によれば、原画像に含まれる画像の表示と同時に出力されるオブジェクトの切換をワンタッチキー操作により行うことができ、利用者の利便性が向上する。
本発明のオブジェクト出力方法では、前記オブジェクト出力工程において、前記特定されたキーが前記マスク画像更新キー以外のキーである場合には、前記特定されたキーに固有に割り当てられたオブジェクトを出力するようにすることができる。
ここで、前記特定されたキーに固有に割り当てられたオブジェクトをマスク画像とするとともに、前記オブジェクト出力工程において、前記マスク画像を含む合成画像が前記表示手段に表示されるようにすることができる。この場合には、原画像に含まれる画像と、キー操作により選択された所望のマスク画像とを合成した合成画像を表示手段に表示することができる。
当該固有に割り当てられたオブジェクトが、マスク画像であるとき、前記オブジェクト出力工程では、前記操作キー特定工程において特定されたキーがマスク画像更新キー以外のキーである場合には、着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれ、前記特定されたキーに固有に割り当てられたマスク画像に対応するマスク画像情報とに基づいて、前記マスク画像を作成する通常マスク画像作成工程と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた画像を作成する通常合成画像作成工程と；を実行するようにすることができる。
この場合には、オブジェクト切換に使用するキーそれぞれに対応するマスク画像情報ファイルに、予め、着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報を登録しておく。ここで、「着目像領域」とは、例えば人物像を含む原画像における当該人物の顔の領域等であり、原画像において画像的特徴により特定可能な領域である。本明細書においては、この意味で「着目像領域」の用語を用いるものとする。
かかるマスク画像情報ファイルの存在を前提として、まず、着目像情報抽出工程において、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、通常マスク画像作成工程において、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。この結果、原画像における着目像領域の位置に関連する情報とマスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報とにより定まる位置に、原画像における着目像領域の大きさに関連する情報と当該関係情報における着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、通常合成画像作成工程において、例えば、顔領域内の顔像のような着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像が作成される。
したがって、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
ここで、前記着目像含有画像を前記原画像とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。
また、前記マスク画像情報には、特定の背景像の情報を選択したことを示す背景像選択情報が更に含まれるとともに、前記通常合成画像作成工程においては、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成するようにすることができる。
この場合には、合成画像作成工程において、まず、例えば、着目像が顔像である場合における人物像のような着目像を含む特定表示像が原画像から切り出される。引き続き、マスク画像情報ファイルに含まれる背景像選択情報により指定された背景像上に特定表示画像が重ねられ、背景付加像が作成される。そして、当該背景付加像を着目像含有画像として、この着目像含有画像上に上述のマスク画像が重ねられる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
また、前記マスク画像情報には、前記関係情報及び前記要素画像選択情報との組合せで定まる図形表示それぞれの実行時間情報が更に含まれるようにすることができる。この場合には、当該実行時間情報に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像を作成することができる。
ここで、前記マスク画像情報には、前記関係情報及び前記要素画像選択情報の組合せで定まる複数種類の図形表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれるようにすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
上記のマスク画像情報を使用する場合には、前記マスク画像情報には、前記関係情報及び前記要素画像選択情報の組合せで定まる複数種類の図形表示を同時に表示することを指定する同時表示指定の情報が更に含まれるようにすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像を作成することができる。
また、上記のマスク画像情報を使用する場合には、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれることとすることができる。この場合には、マスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。なお、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報とする場合には、その相対位置情報を着目像領域が基準の大きさを有する場合における相対位置情報とし、原画像における着目像領域の大きさと当該基準となっている着目像領域の大きさとの比に応じて当該相対位置情報の値を原画像における着目像領域の大きさに応じた値に換算することとすることができる。また、当該相対位置情報の値を、原画像における着目像領域の大きさで正規化された後の値としておき、相対位置情報の値に原画像における着目像領域の大きさに応じた値に換算するようにしてもよい。
ここで、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれることとすることができる。この場合には、原画像における着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。なお、傾き情報は、着目像の２次元的な傾きを示す１つの角度情報であってもよいし、着目像の３次元的な傾きを示す２つ又は３つの角度情報であってもよい。
以上のように、着目像領域の位置に関連する情報に原画像における着目像領域の代表点の位置情報及び原画像における前記着目像領域の傾き情報が含まれる場合には、前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の要素画像の表示位置情報として含まれることとすることができる。この場合には、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報を、着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
また、上記のマスク画像情報を使用する場合には、前記関係情報には、前記着目像領域の大きさと前記特定の要素画像の表示時における大きさとの比率情報が含まれることとすることができる。この場合には、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像を作成することができる。
オブジェクト出力工程において特定されたキーに固有に割り当てられたオブジェクトを出力する場合には、前記情報処理装置が音出力手段を更に備えるとともに、前記特定されたキーに固有に割り当てられたオブジェクトを音オブジェクトとすることができる。この場合には、原画像に含まれる画像を表示手段に表示すると同時に、所望の音オブジェクトを音出力手段により出力することができる。
本発明のオブジェクト出力方法では、前記操作キー特定工程において特定されたキーがマスク画像更新キーである場合には、前記オブジェクト出力工程において、着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；前記着目像情報と、前記更新マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれる更新マスク画像情報とに基づいて、前記更新マスク画像を作成する更新マスク画像作成工程と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記更新マスク画像を重ねた更新合成画像を作成する更新合成画像作成工程と；を実行するようにすることができる。
この場合には、更新マスク画像情報ファイルに、予め、着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、前記要素画像選択情報により選択される少なくとも１つの要素画像情報、並びに表示順情報が含まれた複数の更新マスク画像情報を登録しておく。
かかる更新マスク画像情報ファイルの存在を前提として、まず、着目像情報抽出工程において、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、更新マスク画像作成工程において、着目像情報と、更新マスク画像情報ファイルに登録された更新マスク画像情報とに基づいて、原画像上に重ねて表示させる更新マスク画像を作成する。この結果、原画像における着目像領域の位置に関連する情報と更新マスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報とにより定まる位置に、原画像における着目像領域の大きさに関連する情報と当該関係情報における着目像領域の大きさの関係を示す情報とにより定まる大きさで、更新マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成される更新マスク画像が作成される。そして、更新合成画像作成工程において、例えば、顔領域内の顔像のような着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に更新マスク画像を重ねた更新合成画像が作成される。
したがって、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を、予め定められた順序で簡易にかつ適切に作成することができる。
こうした更新マスク画像情報を使用する場合には、上述したマスク画像情報を使用する場合と同様に、前記着目像含有画像を前記原画像とすることができる。
また、上述したマスク画像情報を使用する場合と同様に、前記更新マスク画像情報が、特定の背景像の情報を選択したことを示す背景像選択情報を更に含むようにすることができる。この場合には、前記更新合成画像作成工程において、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記更新合成画像を作成するようにすることもできる。
また、更新マスク画像情報を使用する場合には、上述したマスク画像情報を使用する場合と同様に、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれるようにすることができる。また、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれるよにすることができ、更に、前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の図形の表示位置情報として含まれるようにすることができる。
また、更新マスク画像情報を使用する場合には、上述したマスク画像情報を使用する場合と同様に、前記関係情報には、前記着目像領域の大きさと前記特定の図形の表示時における大きさとの比率情報が含まれるようにすることができる。
なお、本発明のオブジェクト出力方法では、前記原画像を動画像とすることができる。
本発明は、第２の観点からすると、表示手段と、キー入力手段とを備える情報処理装置であって、前記キー入力手段におけるいずれかのキーが操作された場合に、操作されたキーを特定する操作キー特定手段と；前記操作キー特定手段により特定されたキーの操作に対応するオブジェクトが存在する場合に、前記特定されたキーの操作に対応するオブジェクトを、前記表示手段への前記原画像に含まれる画像の表示と同時に出力するオブジェクト出力手段と；を備え、前記操作キー特定手段において特定されたキーがマスク画像更新キーである場合、前記オブジェクト出力手段は、予め表示順が定められた複数のマスク画像における次に表示すべきマスク画像である更新マスク画像を含む更新合成画像を前記表示手段に表示する、ことを特徴とする情報処理装置。
この情報処理装置では、表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力するために、利用者がキー入力手段の１つのキーを操作すると、操作キー特定手段が、操作されたキーを特定する。そして、特定されたキーの操作に対応するオブジェクトが存在する場合には、オブジェクト出力手段が、特定されたキーの操作に対応するオブジェクトを、表示手段への原画像に含まれる画像の表示と同時に出力する。
ここで、特定されたキーがマスク画像更新キーである場合、マスク画像更新キーの操作ごとに、オブジェクト出力手段が、予め表示順が定められた複数のマスク画像が順次、原画像に含まれる画像と合成された更新合成画像を表示手段に表示する。
すなわち、本発明の情報処理装置では、上述した本発明のオブジェクト出力方法を使用してオブジェクトを出力する。したがって、本発明の情報処理装置によれば、原画像に含まれる画像の表示と同時に出力されるオブジェクトの切換をワンタッチキー操作により行うことができ、利用者の利便性が向上する。
本発明の情報処理装置では、前記オブジェクト出力手段が、前記特定されたキーが前記マスク画像更新キー以外のキーである場合には、前記特定されたキーに固有に割り当てられたオブジェクトを出力する構成とすることができる。
ここで、前記特定されたキーに固有に割り当てられたオブジェクトをマスク画像とするとともに、前記オブジェクト出力手段が、前記マスク画像を含む合成画像を前記表示手段に表示する構成とすることができる。この場合には、原画像に含まれる画像と、キー操作により選択された所望のマスク画像とを合成した合成画像を表示手段に表示することができる。
特定されたキーに固有に割り当てられたオブジェクトがマスク画像である場合には、前記オブジェクト出力手段が、着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれ、前記特定されたキーが前記マスク画像更新キー以外のキーである場合に、前記特定されたキーに対応するマスク画像情報が登録されたマスク画像情報ファイルと、前記特定されたキーと前記マスク画像情報ファイルとの対応関係が登録された対応関係登録テーブルとを格納する記憶手段と；前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成する通常マスク画像作成手段と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記通常マスク画像作成手段により作成されたマスク画像を重ねた合成画像を作成する通常合成画像作成手段と；を備える構成とすることができる。
この場合には、着目像情報抽出手段が、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、通常マスク画像作成手段が、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。そして、通常合成画像作成手段が、着目像領域内の着目像を原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像を作成する。
特定されたキーに固有に割り当てられたオブジェクトを出力する場合には、音出力手段を更に備えるとともに、前記特定されたキーに割り当てられたオブジェクトを音オブジェクトとする構成とすることができる。この場合には、原画像に含まれる画像を表示手段に表示すると同時に、所望の音オブジェクトを音出力手段により出力することができる。
本発明の情報処理装置では、オブジェクト出力手段が、着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；前記着目像情報と、当初に表示すべきマスク画像である当初マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、並びに図形選択情報とに基づいて前記当初マスク画像を作成し、前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記当初マスク画像を重ねた当初合成画像を作成するとともに、前記キー入力手段におけるマスク画像更新キーが操作された場合に、前記着目像情報と、前記更新マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、並びに図形選択情報とに基づいて前記更新マスク画像を作成し、前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記更新マスク画像を重ねた更新合成画像を作成する更新合成画像作成手段と；を備える構成とすることができる。
この場合には、まず、着目像情報抽出手段が、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、更新合成画像作成手段が、着目像情報と、当初マスク画像情報とに基づいて、原画像上に重ねて表示させる当初マスク画像を作成する。そして、更新合成画像作成手段が、着目像領域内の着目像を原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に当初マスク画像を重ねた当初合成画像を作成する。
こうして作成された当初合成画像の表示中に、マスク画像更新キーが操作されると、更新合成画像作成手段が、着目像情報と、更新マスク画像情報とに基づいて、原画像上に重ねて表示させる更新マスク画像を作成する。そして、更新合成画像作成手段が、着目像領域内の着目像を原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に更新マスク画像を重ねた更新合成画像が作成される。
以後、マスク画像更新キーが操作されるごとに、更新合成画像作成手段が、着目像情報と、次の更新マスク画像情報とに基づいて、原画像上に重ねて表示させる次の更新マスク画像を作成する。そして、更新合成画像作成手段が、着目像領域内の着目像を原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に当該次の更新マスク画像を重ねた更新合成画像が作成される。
上述のマスク画像又は更新マスク画像を作成する場合には、前記通常合成画像作成手段又は前記更新合成画像作成手段により作成された画像のデータを送信する送信手段を更に備える構成とすることができる。この場合には、作成者の趣味感による演出が施されて作成された画像を受信側へ向けて送信することができるので、受信者に対して、作成者の趣味感による演出が施されて作成された画像を通知することができる。
本発明の情報処理装置では、前記原画像を取得するための撮像手段を更に備える構成とすることができる。この場合には、撮像手段により撮像により取得した画像を原画像とすることができ、当該原画像に対して、作成者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。なお、撮像手段により取得される画像は、静止画像であってもよいし、動画像であってもよい。
以上説明したように、本発明のオブジェクト出力方法及び情報処理装置によれば、原画像に含まれる画像の表示と同時にオブジェクトを出力する際における利用者の利便性を向上することができるという効果を奏する。
＜第１実施形態＞
以下、本発明の第１実施形態を、図１〜図１９を参照して説明する。図１（Ａ）、図１（Ｂ）及び図２には、一実施形態に移動通信端末装置である携帯電話装置１０の構成が概略的に示されている。ここで、図１（Ａ）には、携帯電話装置１０の外観の正面図が示され、図１（Ｂ）には、携帯電話装置１０の外観の背面図が示されている。また、図２には、携帯電話装置１０の機能ブロック構成が示されている。
図１（Ａ）、図１（Ｂ）及び図２において総合的に示されるように、携帯電話装置１０は、（ａ）後述する制御部２１等を備える携帯電話本体１１と、（ｂ）電話番号を制御部２１へ入力するためのテンキー、及び、動作モードの切換等の各種指令を制御部２１へ入力するためのファンクションキーを有する操作部１２と、（ｃ）制御部２１による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部１３とを備えている。また、携帯電話装置１０は、（ｄ）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、通話時に音声を入力するためのマイクロフォン１５と、（ｅ）制御部２１による指令に応じて、着信音や案内音を発生するための案内用スピーカ１６とを備えている。更に、携帯電話装置１０は、（ｆ）送受信部２２と接続され、基地局との間で無線信号を授受するためのアンテナ１７とを備えている。さらに、携帯電話装置１０は、（ｇ）表示部１３における表示を見ながら操作部１２を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系１８と、（ｈ）当該操作者の視線方向を視野方向とする撮影を行う、すなわち、いわゆる相手撮りの態様で撮影を行うための撮像光学系１９とを備えている。
携帯電話本体１１は、図２に示されるように、（ｉ）携帯電話装置１０の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部２１と、（ii）基地局との間でアンテナ１７を介して無線信号を送受信するための送受信部２２と、（iii）オブジェクト情報部４０を有するとともに、様々なデータを記憶するための記憶部２３とを備えている。また、携帯電話本体１１は、制御部２１の制御に応じて、撮像光学系１８を介した光及び撮像光学系１９を介した光のいずれかを、後述する撮像素子２５へ向けて射出する切換光学系２４と、（iv）切換光学系２４を介した光が受光面に形成する光学像を撮像するＣＣＤ素子等の撮像素子２５とを備えている。ここで、撮像素子２５は、制御部２１の制御のもとで撮像動作を行い、撮像結果を制御部２１へ通知するようになっている。
制御部２１は、基本制御部２９と、オブジェクト出力部３０とを備えている。ここで、基本制御部２９は、オブジェクト出力部３０の動作を制御するとともに、制御部２１の外部に配置された各要素の制御、及び、後述するオブジェクト出力処理以外のデータ処理を行う。
上記のオブジェクト出力部３０は、図３に示されるように、着目像情報抽出部３１と、マスク画像作成部３２と、合成画像作成部３３とを備えている。また、オブジェクト出力部３０は、音データ通知部３５を備えている。
着目像情報抽出部３１は、撮像素子２５からの原画像データＯＭＤに基づいて、例えば原画像における特定人物（例えば、携帯電話装置１０の利用者）の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報から成る着目像情報ＷＭＤを抽出する。
ここで、着目像情報ＷＭＤの抽出について、詳述する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに２次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。また、図４（Ａ）及び図４（Ｂ）に示されるように、原画像領域ＯＭＲにおける着目像領域ＷＭＲが特定されるものとする。ここで、図４（Ａ）には、着目像領域ＷＭＲが基準となる傾きである（すなわち、傾き角θW＝０）場合が模式的に表されている。また、図４（Ｂ）には、基準傾きからθ0だけ傾いている（すなわち、傾き角θW＝θ0）場合が示されている。また、原画像領域ＯＭＲにおける各画素位置は、原画像座標系であるＸSＹS座標系における座標値によって表されるものとする。また、着目像領域ＷＭＲについては、代表点ＯWを原点とするとともに、傾き角θW＝０の場合にＸS軸と平行な軸をＸW軸とし、ＹS軸と平行な軸をＹW軸とする着目像座標系（すなわち、ＸWＹW座標系）が定義されるものとする。また、傾き角θWは反時計回りの角度で表されるものとする。
図４（Ａ）の場合には、着目像情報抽出部３１は、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、まず、着目像領域ＷＭＲの代表点の位置情報として、代表点ＯWの原画像座標系における座標位置ＯW（ＸSW1，ＹSW1）を求める。ここで、着目像領域ＷＭＲの代表点としては、着目像領域ＷＭＲの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によって得られる着目像領域における特徴的な点を採用することができる。
次に、着目像情報抽出部３１は、着目像領域ＷＭＲの原画像領域ＯＭＲにおける傾き情報として、ＸS軸とＸW軸との交差角θW（すなわち、上述の傾き角θW）を求める。傾き角θWは、予め傾き角θWが「０」であると定義された着目像領域ＷＭＲにおける着目像として特徴的な方向とＸS軸との交差角と、原画像内における着目像における当該特徴的な方向とＸS軸との交差角との差を算出することより求められる。こうした特徴的な方向としては、例えば、着目像領域ＷＭＲの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。こうして、傾き角θW（図４Ａの場合には、θW＝０）が求められると、原画像領域ＯＭＲ中におけるＸWＹW座標系（着目座標系）が求められることになる。
次いで、着目像情報抽出部３１は、着目像領域ＷＭＲの大きさ情報として、着目像領域ＷＭＲに関する特徴的な長さを求める。本実施形態においては、ＸW軸上における着目像領域ＷＭＲの幅を当該特徴的な長さ（図４（Ａ）における幅ＬＸW）としている。なお、着目像領域ＷＭＲの大きさ情報としては、ＸW軸上における着目像領域ＷＭＲの幅ＬＸW以外に、ＹW軸上における着目像領域ＷＭＲの幅、ＸW軸（若しくはＹW軸）方向における着目像領域ＷＭＲの最大幅、又は着目像領域における特徴的な２点間の距離（例えば、着目像が特定人物の顔像である場合における当該顔像における両目の中心間距離）、当該距離のＸW軸成分の長さ若しくは当該距離のＹW軸成分の長さ等を採用することができる。
図４（Ｂ）の場合にも、着目像情報抽出部３１は、上述した図４（Ａ）の場合と同様に、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、着目像領域ＷＭＲにおける代表点の位置情報、傾き情報及び大きさ情報を求める。なお、図４（Ｂ）の場合には、代表点の位置情報として代表点ＯWの原画像座標系における座標位置ＯW（ＸSW2，ＹSW2）が求められ、着目像領域ＷＭＲの傾き情報として傾き角θW＝θ0が求められ、着目像領域ＷＭＲの大きさ情報として、ＸW軸上における着目像領域ＷＭＲの幅ＬＸWが求められる。
図３に戻り、マスク画像作成部３２は、基本制御部２９から通知されたキー入力データＫＤＴに対応するマスク画像情報ＭＤＤが上述した記憶部２３のオブジェクト情報部４０におけるマスク画像情報部４５に記憶されている場合には、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、当該マスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。なお、マスク画像情報ＭＤＤ及びマスク画像作成部３２によるマスク画像データＭＭＤの作成については、後述する。
上記の合成画像作成部３３は、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成画像データＳＭＤを作成する。なお、合成画像作成部３３によって作成された合成画像データＳＭＤは、基本制御部２９へ通知されるようになっている。
上記の音データ通知部３５は、基本制御部２９から通知されたキー入力データＫＤＴに対応する音データＳＤＤが上述した記憶部２３のオブジェクト情報部４０における音データ部４６に記憶されている場合には、当該音データＳＤＤを読み出して、基本制御部２９へ通知されるようになっている。
なお、本実施形態においては、制御部２１は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を備えている。そして、制御部２１で実行されるプログラムとして構成された基本制御部２９やオブジェクト出力部３０により、メール送受信処理を含む携帯電話機能を実現するための処理、キー入力操作により指定されたオブジェクトの出力処理等の様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。
上記のオブジェクト情報部４０は、図５に示されるように、オブジェクト登録テーブル４９と、マスク画像情報部４５と、音データ部４６とを備えている。ここで、オブジェクト登録テーブル４９は、操作部１２におけるテンキーを構成するキーの少なくとも一部のキーそれぞれに割り当てられたオブジェクトの情報が格納されている領域の先頭アドレスが登録されている。
マスク画像情報部４５は、マスク画像情報ファイル４７1，４７2，４７3，…を含んでいる。また、音データ部４６は、音データファイル４８1，４８2，…を含んでいる。
なお、本実施形態では、「１」キー割り当てられたオブジェクトであるマスク画像の情報がマスク画像情報ファイル４７1に格納されている。また、「２」キー割り当てられたオブジェクトであるマスク画像の情報がマスク画像情報ファイル４７2に格納され、「３」キー割り当てられたオブジェクトであるマスク画像の情報がマスク画像情報ファイル４７3に格納されている。また、「４」キー割り当てられたオブジェクトである音データの情報が音データファイル４８1に格納され、「５」キー割り当てられたオブジェクトである音データが音データファイル４８2に格納されている。
マスク画像情報ファイル４７j（ｊ＝１，２，３，…）のそれぞれは、図６（Ａ）に示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１jと、（ii）表示指定ファイル４１jにおける表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２jとから構成されている。なお、マスク画像情報ファイル４７jのそれぞれは、携帯電話装置１０に対して、コンテンツプロバイダから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
要素画像ファイル４２jには、図６（Ｂ）に示されるように、要素画像が格納されている。なお、要素画像ファイル４２jに格納されている第ｉ番目の要素画像を以下においては、要素画像ＥＭＭjiと記すものとする。なお、図６（Ｂ）では、要素画像ファイル４２jに格納されている要素画像が複数ある場合が示されているが、要素画像ファイル４２jに格納されている要素画像の数は１つの場合もあるし、２つ以上の場合もある。要素画像ＥＭＭjiとしては、例えば、ハート図形画像、唇図形画像等がある。
こうした、要素画像ＥＭＭjiは、図７において要素画像ＥＭＭ11について代表的に示されるように、要素画像に固有の座標系、すなわち要素画像ＥＭＭjiの代表点（図７では、要素画像ＥＭＭ11の中心点）を原点ＯEとするＸEＹE座標系において作成されている。そして、要素画像ＥＭＭjiの大きさ情報としては、ＸE軸方向における最大幅ＬＸEi（図７においては、最大幅ＬＸE1）を使用するようになっている。なお、図７においては、要素画像ＥＭＭjiをハート図形の要素画像ＥＭＭ11としたが、形状や大きさの異なる要素画像であっても、同様である。
上記の表示指定ファイル４１jにおける表示指定記述の例が、図８、図９及び図１０に示されている。なお、本実施形態における表示指定記述は、ＳＭＩＬ（Synchronized Multimedia Integration Language）形式に準じた形式で記述されるようになっている。
図８には、着目像領域の位置、傾き、及び大きさに応じて定まる２つの位置（例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像を同時に表示させる表示指定を行うための例が表示指定ファイル４１1として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0 （以下、「値ＬＸ 0 」とも記す）である場合におけるＸWＹW座標系の座標位置（ＸW11，ＹW11）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ11のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ1の長さとされる。なお。後述する表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ11は常時表示されることが指定されている。
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW12，ＹW12）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。これ以外の指定については、付加画像１の場合と同様の指定が行われていることから、付加画像１の場合と同様の表示指定が行われている。
なお、図８のような表示指定ファイル４１1の場合には、表示指定ファイル４１1に対応する要素画像ファイル４２1には、要素画像として、要素画像ＥＭＭ11のみが格納される。
図９には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置（例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する１つの付加画像１を表示させる表示指定を行うための例が表示指定ファイル４１2として示されている。なお、図９の表示指定ファイル４１2では、複数の要素画像を同時に表示させないので、図８における同時表示に関連する＜同時表示指定＞及び＜同時表示指定終了＞が記述されていない。
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、まず、第１の「要素画像指定」によって指定される要素画像ＥＭＭ21が、第１の「表示位置指定」によって指定される着目像領域が予め定められた基準となる大きさ情報ＬＸEが値ＬＸE0である場合におけるＸWＹW座標系の座標位置（ＸW21，ＹW21）に表示される。また、第１の「大きさ指定」によって指定されるように、要素画像ＥＭＭ21の表示時のＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ21の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ21が、時間Ｔ21にわたって表示される。
要素画像ＥＭＭ21の時間Ｔ21の表示が終了すると、次に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ22が、第２の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第２の「大きさ指定」によって指定されるように、要素画像ＥＭＭ22の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ22の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ22が、時間Ｔ22にわたって表示される。
要素画像ＥＭＭ22の時間Ｔ22の表示が終了すると、次に、第３の「要素画像指定」によって指定される要素画像ＥＭＭ23が、第３の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第３の「大きさ指定」によって指定されるように、要素画像ＥＭＭ23の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ23の長さとされる。また、第３の「表示時間指定」によって指定されるように、要素画像ＥＭＭ23が、時間Ｔ23にわたって表示される。
こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示が終了すると、再度、上記と同様の態様で要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示がされる。こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の指定態様による表示が、時間順次に繰り返される。
図１０には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置に、常時１つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の２つの位置に、時間順次に異なる２つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル４１3として例が示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW31，ＹW31）に、「要素画像指定」によって指定される要素画像ＥＭＭ31が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ31のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ31の長さとされる。なお、表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ31は常時表示されることが指定されている。
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、まず、第１の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW32，ＹW32）に、第１の「要素画像指定」によって指定される要素画像ＥＭＭ32が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ32のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ32の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ32が、時間Ｔ32にわたって表示される。
付加画像２においては、要素画像ＥＭＭ32の時間Ｔ32の表示が終了すると、次に、第２の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ0である場合におけるＸWＹW座標系の座標位置（ＸW33，ＹW33）に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ33が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ33のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ33の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ33が、時間Ｔ33にわたって表示される。
こうして、付加画像１と付加画像２とを合わせて、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。こうして、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に繰り返される。
以下、上記のように構成された携帯電話装置１０における、原画像にマスク画像を重ねた合成画像の作成の動作について説明する。
前提として、オブジェクト情報部４０には、上述した情報が格納されているものとする。また、原画像は、撮像光学系１８及び切換光学系２４を介し、撮像素子２５の撮像面に結像された像であるものとする。また、着目像ＷＭＭは、図１１（Ａ）に示されるような特定の人物の顔像であるものものとする。そして、図１１（Ｂ）に示されるように、着目像ＷＭＭにおける鼻の突端位置を原点ＯWとし、両面を結ぶ方向をＸW軸方向とし、当該ＸW軸方向と垂直な方向をＹW軸方向とするＸWＹW座標系（着目像座標系）が定義されるものとする。なお、原点ＯW及びＸW軸方向は、原画像における着目像を画像解析して求められ、ＹW軸方向は、求められたＸW軸方向に基づいて求められるものとする。
また、携帯電話装置１０は、既に、オブジェクト出力モードとなっており、テンキーにおけるいずれかのキーが押下されると、基本制御部２９は、キー入力データをオブジェクト出力部３０へ通知するようになっている。
《「１」キー押下に伴うオブジェクト出力例》
まず、「１」キー押下に伴うオブジェクト出力例を説明する。この例は、上述した図８において、両目の位置を表示位置とし、要素画像ＥＭＭ11が、図７に示されるハート型図形画像であり、当該要素画像ＥＭＭ11が着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ1の大きさで表示されるマスク画像が原画像に重ねられた合成画像を出力する例である。
利用者により「１」キーが押下されると、基本制御部２９がテンキーにおけるいずれかのキーが押下されたと認識し、キー入力データをオブジェクト出力部３０のマスク画像作成部３２及び音データ通知部３５へ通知する。この通知を受けた音データ通知部３５は、オブジェクト登録テーブル４９を参照し、「１」キーに割り当てられた音オブジェクトが存在するか否かを判定する。上述のように、「１」キーに割り当てられているのはマスク画像であることから、音データ通知部３５は、「１」キーに割り当てられた音オブジェクトが存在しないと判定する。この結果、音データ通知部３５はオブジェクト出力のための動作を行わず、次のキー入力データを待つ。
一方、キー入力データ通知を受けたマスク画像作成部３２は、オブジェクト登録テーブル４９を参照し、「１」キーに割り当てられた音オブジェクトが存在するか否かを判定する。この判定の結果は肯定的なものとなり、マスク画像作成部３２は、マスク画像情報ファイル４７1の内容を読み出す。
上記の動作と並行して、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知される。なお、原画像データＯＭＤは、同時に合成画像作成部３３へも通知される（図３参照）。ここで、得られた原画像ＯＭＭの例が、図１２（Ａ）に示されている。
着目像情報抽出部３１は、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を抽出する。引き続き、着目像情報抽出部３１は、着目像ＷＭＭを解析して、原画像座標系（ＸSＹS座標系）における着目像ＷＭＭにおける鼻の突端位置（ＸSW，ＹSW）を着目像座標（ＸWＹW座標系）の原点ＯWの位置として求めるとともに、両目の瞳の中央位置同士を結ぶ線分が延びる方向をＸWＹW座標系のＸW軸方向として求める。そして、求められたＸW軸方向とＸS軸方向との交差角度θWを求める。さらに、着目像情報抽出部３１は、着目像ＷＭＭのＸW軸上における幅ＬＸWを求める。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE11，ＹE11）を、次の（１）式及び（２）式により算出する。
ＸE11＝(ＬＸW／ＬＸ0)(ＸW11・cosθW＋ＹW11・sinθW)＋ＸSW …（１）
ＹE11＝(ＬＸW／ＬＸ0)(−ＸW11・sinθW＋ＹW11・cosθW)＋ＹSW …（２）
次に、マスク画像作成部３２は、付加画像１における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ11を、次の（３）式により算出する。
Ｍ11＝Ｒ1・ＬＸW／ＬＸE1 …（３）
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ11で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE11，ＹE11）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
次に、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE12，ＹE12）を、次の（４）式及び（５）式により算出する。
ＸE12＝(ＬＸW／ＬＸ0)(ＸW12・cosθW＋ＹW12・sinθW)＋ＸSW …（４）
ＹE12＝(ＬＸW／ＬＸ0)(−ＸW12・sinθW＋ＹW12・cosθW)＋ＹSW …（５）
引き続き、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ12を、次の（６）式により算出する。
Ｍ12＝Ｒ1・ＬＸW／ＬＸE1 …（６）
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ12で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE12，ＹE12）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１２（Ｂ）に示されるようなマスク画像ＭＭＭＡが作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭＡのデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
マスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭＡを重ねた合成画像ＳＭＭＡを作成する。こうして作成された合成画像ＳＭＭＡが図１３（Ａ）に示されている。
以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像ＷＭＭが上記の例から平行移動したとしても、図１３（Ｂ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＢが作成される。
また、撮像中の原画像における着目像ＷＭＭが縮小したとしても、図１３（Ｃ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＣが作成される。また、撮像中の原画像における着目像ＷＭＭが回転したとしても、図１３（Ｄ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさを有し、かつ、着目像ＷＭＭの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＤが作成される。なお、撮像中の原画像における着目像ＷＭＭが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（ＸSＹS座標系）における座標位置の変化を伴うここととなる。
以上のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
《「２」キー押下に伴うオブジェクト出力例》
次に、「２」キー押下に伴うオブジェクト出力例を説明する。この例は、上述した図９において、口の位置を表示位置とし、図１４（Ａ）に示される要素画像ＥＭＭ21、図１４（Ｂ）に示される要素画像ＥＭＭ22、及び図１４（Ｃ）に示される要素画像ＥＭＭ23が時間順次に繰り返して表示されるマスク画像が、原画像に重ねられた合成画像を出力する例である。
なお、図９の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ21，ＥＭＭ22，ＥＭＭ23が表示される。すなわち、要素画像ＥＭＭ21は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ21の大きさで表示される。また、要素画像ＥＭＭ22は長さ値ＬＸWに対して比率Ｒ22の大きさで表示される。さらに、要素画像ＥＭＭ23は長さ値ＬＸWに対して比率Ｒ23の大きさで表示される。
利用者により「２」キーが押下されると、上述した「１」キーが押下された場合と同様にして、基本制御部２９がテンキーにおけるいずれかのキーが押下されと認識し、キー入力データをオブジェクト出力部３０のマスク画像作成部３２及び音データ通知部３５へ通知する。上述したように、「２」キーに割り当てられているのはマスク画像であることから、音データ通知部３５はオブジェクト出力のための動作を行わず、次のキー入力データを待つ。一方、マスク画像作成部３２は、オブジェクト登録テーブル４９を参照して、マスク画像情報ファイル４７2の内容を読み出す。
着目像情報抽出部３１は、上述した「１」キーが押下された場合と同様にして、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。この着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ21のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、次の（７）式及び（８）式により算出する。
ＸE2＝(ＬＸW／ＬＸ0)(ＸW2・cosθW＋ＹW2・sinθW)＋ＸSW …（７）
ＹE2＝(ＬＸW／ＬＸ0)(−ＸW2・sinθW＋ＹW2・cosθW)＋ＹSW …（８）
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ21の拡大又は縮小の倍率Ｍ21を、次の（９）式により算出する。
Ｍ21＝Ｒ21・ＬＸW／ＬＸE21 …（９）
次いで、マスク画像作成部３２は、上記の「１」キーが押下された場合と同様にして、要素画像ＥＭＭ21をＸSＹS座標系において原点ＯEを中心として倍率Ｍ21で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ21をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ21を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１５（Ａ）に示されるようなマスク画像ＭＭＭ21が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ21のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ21を作成する。こうして作成された合成画像ＳＭＭ21が図１６（Ａ）に示されている。
以後、マスク画像作成部３２は、時間Ｔ21にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ21を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ21の大きさで表示するマスク画像を作成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ21を倍率Ｍ21で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ21にわたって逐次作成する。
こうして、時間Ｔ21が経過すると、マスク画像作成部３２は、付加画像１における第２要素画像ＥＭＭ22のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第２の要素画像ＥＭＭ22の拡大又は縮小の倍率Ｍ22を、次の（１０）式により算出する。
Ｍ22＝Ｒ22・ＬＸW／ＬＸE22 …（１０）
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として倍率Ｍ22で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ22を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１５（Ｂ）に示されるようなマスク画像ＭＭＭ22が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ22のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ22を作成する。こうして作成された合成画像ＳＭＭ22が図１６（Ｂ）に示されている。
以後、マスク画像作成部３２は、時間Ｔ22にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ22を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ22の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ22を倍率Ｍ22で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ22にわたって作成する。
こうして、時間Ｔ22が経過すると、マスク画像作成部３２は、付加画像１における第３要素画像ＥＭＭ23のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第３の要素画像ＥＭＭ23の拡大又は縮小の倍率Ｍ23を、次の（１１）式により算出する。
Ｍ23＝Ｒ23・ＬＸW／ＬＸE23 …（１１）
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として倍率Ｍ23で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ23を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１５（Ｃ）に示されるようなマスク画像ＭＭＭ23が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ23のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ23を重ねた合成画像ＳＭＭ23を作成する。こうして作成された合成画像ＳＭＭ23が図１６（Ｃ）に示されている。
以後、マスク画像作成部３２は、時間Ｔ23にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ23を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ23の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ23を倍率Ｍ23で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ23にわたって作成する。
こうして、時間Ｔ23が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ21を使用したマスク画像、要素画像ＥＭＭ22を使用したマスク画像及び要素画像ＥＭＭ23を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、原画像データＯＭＤとマスク画像データＭＭＤとに基づいて、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像ＥＭＭ21、要素画像ＥＭＭ22、及び要素画像ＥＭＭ23からなるマスク画像が重ねられた合成画像を逐次作成する。
以上のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
《「３」キー押下に伴うオブジェクト出力例》
次に、「３」キー押下に伴うオブジェクト出力例を説明する。この例は、上述の図１０におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像１、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像２を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。
ここで、付加画像１における要素画像ＥＭＭ31は、図１７（Ａ）に示されるものであるものとする。また、付加画像２における第１要素画像ＥＭＭ32は、図１７（Ｂ）に示されるものであり、また、付加画像２における第２要素画像ＥＭＭ33は、図１７（Ｃ）に示されるものであるものとする。
なお、図１０の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ31，ＥＭＭ32，ＥＭＭ33が表示される。すなわち、要素画像ＥＭＭ31は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示される。また、要素画像ＥＭＭ32は長さ値ＬＸWに対する比率Ｒ32の大きさで表示される。さらに、要素画像ＥＭＭ33は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ33の大きさで表示される。
利用者により「３」キーが押下されると、上述した「１」キー又は「２」キーが押下された場合と同様にして、基本制御部２９がテンキーにおけるいずれかのキーが押下されたと認識し、キー入力データをオブジェクト出力部３０のマスク画像作成部３２及び音データ通知部３５へ通知する。上述したように、「３」キーに割り当てられているのはマスク画像であることから、音データ通知部３５はオブジェクト出力のための動作を行わず、次のキー入力データを待つ。一方、マスク画像作成部３２は、オブジェクト登録テーブル４９を参照して、マスク画像情報ファイル４７3の内容を読み出す。
着目像情報抽出部３１は、上述した「１」キー又は「２」キーが押下された場合と同様にして、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。この着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）を、次の（１２）式及び（１３）式により算出する。
ＸE31＝(ＬＸW／ＬＸ0)(ＸW31・cosθW＋ＹW31・sinθW)＋ＸSW …（１２）
ＹE31＝(ＬＸW／ＬＸ0)(−ＸW31・sinθW＋ＹW31・cosθW)＋ＹSW …（１３）
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ 31 の拡大又は縮小の倍率Ｍ 31 を、次の（１４）式により算出する。
Ｍ31＝Ｒ31・ＬＸW／ＬＸE31 …（１４）
次いで、マスク画像作成部３２は、上述した「１」キー又は「２」キーが押下された場合と同様にして、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31の場合と同様に、付加画像２における第２要素画像ＥＭＭ32のＸSＹS座標系における表示位置（ＸE32，ＹE32）を、次の（１５）式及び（１６）式により算出する。
ＸE32＝(ＬＸW／ＬＸ0)(ＸW32・cosθW＋ＹW32・sinθW)＋ＸSW …（１５）
ＹE32＝(ＬＸW／ＬＸ0)(−ＸW32・sinθW＋ＹW32・cosθW)＋ＹSW …（１６）
次に、マスク画像作成部３２は、第２の要素画像ＥＭＭ32の拡大又は縮小の倍率Ｍ32を、次の（１７）式により算出する。
Ｍ32＝Ｒ32・ＬＸW／ＬＸE32 …（１７）
次いで、マスク画像作成部３２は、上記の要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として倍率Ｍ32で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ 32 を、ＸSＹS座標系における座標位置（ＸE32，ＹE32）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１８（Ａ）に示されるようなマスク画像ＭＭＭ31が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ31のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ31を重ねた合成画像ＳＭＭ31を作成する。こうして作成された合成画像ＳＭＭ31が図１９（Ａ）に示されている。
以後、マスク画像作成部３２は、時間Ｔ31にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ32を長さ値ＬＸWに対する比率Ｒ32の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ31にわたって作成する。
こうして、時間Ｔ31が経過すると、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）及び倍率Ｍ31を、上記の（１２）式〜（１４）式により算出する。そして、マスク画像作成部３２は、ＸEＹE座標系において原点ＯEを中心として、要素画像ＥＭＭ31を倍率Ｍ31で拡大又は縮小した後に角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ 31 を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ 31 の場合と同様に、付加画像２における要素画像ＥＭＭ33のＸSＹS座標系における表示位置（ＸE33，ＹE33）を、次の（１８）式及び（１９）式により算出する。
ＸE33＝(ＬＸW／ＬＸ0)(ＸW33・cosθW＋ＹW33・sinθ)＋ＸSW …（１８）
ＹE33＝(ＬＸW／ＬＸ0)(−ＸW33・sinθW＋ＹW33・cosθ)＋ＹSW …（１９）
次に、マスク画像作成部３２は、第３要素画像ＥＭＭ33の拡大又は縮小の倍率Ｍ33を、次の（２０）式により算出する。
Ｍ33＝Ｒ33・ＬＸW／ＬＸE33 …（２０）
次いで、マスク画像作成部３２は、上記の第１要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として倍率Ｍ33で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ33を、ＸSＹS座標系における座標位置（ＸE33，ＹE33）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図１８（Ｂ）に示されるようなマスク画像ＭＭＭ32が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ32のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ32を重ねた合成画像ＳＭＭ32を作成する。こうして作成された合成画像ＳＭＭ32が図１９（Ｂ）に示されている。
以後、マスク画像作成部３２は、時間Ｔ32にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ33を長さ値ＬＸWに対する比率Ｒ33の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ32にわたって作成する。
こうして、時間Ｔ32が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ31及び要素画像ＥＭＭ32を使用したマスク画像、並びに要素画像ＥＭＭ31及要素画像ＥＭＭ33を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。
以上のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
《「４」キー押下に伴うオブジェクト出力例》
次に、「４」キー押下に伴うオブジェクト出力例を説明する。この例は、音データファイル４８1に格納された音データを再生して出力する例である。
利用者により「４」キーが押下されると、基本制御部２９がテンキーにおけるいずれかのキーが押下されと認識し、キー入力データをオブジェクト出力部３０のマスク画像作成部３２及び音データ通知部３５へ通知する。この通知を受けたマスク画像作成部３２は、オブジェクト登録テーブル４９を参照し、「４」キーに割り当てられたマスク画像オブジェクトが存在するか否かを判定する。上述のように、「４」キーに割り当てられているのは音オブジェクトであることから、マスク画像作成部３２は、「４」キーに割り当てられたマスク画像が存在しないと判定する。この結果、マスク画像作成部３２はオブジェクト出力のための動作を行わず、次のキー入力データを待つ。このため、合成画像作成部３３には原画像データＯＭＤのみが通知されるので、合成画像作成部３３からの出力データＳＭＤは、原画像データＯＭＤとなる。
一方、キー入力データ通知を受けた音データ通知部３５は、オブジェクト登録テーブル４９を参照し、「１」キーに割り当てられた音オブジェクトが存在するか否かを判定する。この判定の結果は肯定的なものとなり、音データ通知部３５は、音データファイル４８1の内容を音データＳＤＤとして読み出す。そして、音データ通知部３５は、読み出したオトデータを、音データＳＳＤとして基本制御部２９へ通知する。
以上のようにして合成画像作成部３３及び音データ通知部３５からのデータを受けた基本制御部２９は、原画像ＯＭＭを表示部１３に表示するとともに、音データＳＳＤを再生して、通話用スピーカ１４又は案内用スピーカ１６から出力する。
以上説明したように、本実施形態では、表示部１３への原画像ＯＭＭに含まれる画像の表示と同時にオブジェクトを出力するために、利用者が操作部１２のテンキーにおける１つのキーを操作すると、マスク画像作成部３２及び音データ通知部３５において、操作されたキーが特定される。次に、特定されたキーに固有に割り当てられたオブジェクトが存在するか否かが判定される。そして、判定結果が肯定的であった場合には、特定されたキーの操作に対応するオブジェクトが、表示部１３への原画像に含まれる画像の表示と同時に出力される。したがって、本実施形態によれば、原画像ＯＭＭに含まれる画像の表示と同時に出力されるオブジェクトの切換をワンタッチキー操作により行うことができ、利用者の利便性が向上する。
また、原画像ＯＭＭに含まれる画像の表示と同時に出力されるオブジェクトがマスク画像である場合には、着目像ＷＭＭの領域を原画像において特定し、原画像中における着目像ＷＭＭの領域の位置及び大きさに関連する情報を含む着目像情報ＷＭＤを抽出する。引き続き、着目像情報ＷＭＤと、オブジェクト情報部４０に登録されたマスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させるマスク画像ＭＭＭを作成する。この結果、原画像ＯＭＭにおける着目像ＷＭＭの領域の位置に関連する情報と、マスク画像情報に含まれる着目像領域の位置との関係を示す情報とにより定まる位置に、原画像ＯＭＭにおける着目像ＷＭＭの領域の大きさに関連する情報と、着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、原画像上にマスク画像を重ねた合成画像が作成される。このため、原画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
また、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域ＷＭＲの代表点の位置情報が含まれている。このため、マスク画像情報に含まれる着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。
また、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域の傾き情報が更に含まれている。このため、原画像ＯＭＭにおける着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。
また、マスク画像情報に含まれる着目像領域の位置に関連する情報として、着目像領域の代表点を原点とし、原画像における着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、要素画像の表示位置情報として含まれている。このため、着目像領域の位置との関係を示す情報を、着目像領域の代表点を原点とし、着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
また、マスク画像情報が、着目像領域の大きさと要素画像ＥＭＭの表示時における大きさとの比率情報を含むことすることができる。この場合には、原画像ＯＭＭ内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像ＥＭＭを含むマスク画像ＭＭＭを作成することができる。
また、マスク画像情報が、要素画像ＥＭＭそれぞれの表示の実行時間情報を含むことができる。この場合には、当該実行時間情報に従ってマスク画像ＷＭＭを作成することにより、所望の要素画像ＥＭＭそれぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像ＭＭＭを作成することができる。
また、マスク画像情報が、複数の要素画像ＥＭＭの表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報を含むことができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像ＷＭＭを作成することにより、原画像ＯＭＭ上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
また、マスク画像情報が、複数の要素画像表示を同時に表示することを指定する同時表示指定の情報を含むことができる。この場合には、所望の複数の要素画像ＥＭＭそれぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像ＷＭＭを作成することができる。
なお、上記の第１の実施形態では、原画像上にマスク画像を重ねて表示することにしたが、人物像の背景に原画像のものとは異なる画像を用いることができる。かかる変形例を、図２０〜２７を参照して説明する。なお、第１の実施形態の場合と同様又は同等の要素には同一符号を付し、重複する説明を省略する。
この変形例に係る携帯電話装置１０’は、図２０に示されるように、携帯電話本体１１内部において、制御部２１が、オブジェクト出力部３０に代えてオブジェクト出力部３０’を備えている点と、オブジェクト情報部４０に代えてオブジェクト情報部４０’が記憶部２３に格納されている点とが、上述の第１実施形態の携帯電話装置１０と相違している。
オブジェクト出力部３０’は、図２１に示されるように、上述した第１実施形態のオブジェクト出力部３０と比べて、マスク画像作成部３２に代るマスク画像作成部３２’と、合成画像作成部３３に代る合成画像作成部３３’とを備えている点が相違している。
マスク画像作成部３２’は、第１実施形態のマスク画像作成部３２と同様に、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、オブジェクト情報部４０’内のマスク画像情報部４５’に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。さらに、マスク画像作成部３２’は、マスク画像情報ＭＤＤに基づいて、背景像指定の有無を示す背景像指定情報と、背景像指定情報において背景像指定が有る場合における背景像データＢＤＤの格納位置情報から成る背景像情報ＢＰＮを作成する。
合成画像作成部３３’は、背景像情報ＢＰＮにより背景像指定が有る旨が通知された場合には、まず、原画像データＯＭＤ及び背景像データＢＤＤに基づいて、背景像データＢＤＤによる背景像上に原画像中の特定表示画像である人物像を重ねた画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。
一方、背景像情報ＢＰＮにより背景像指定が無い旨が通知された場合には、合成画像作成部３３’は、原画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。この場合には、合成画像データＳＭＤ’は、第１実施形態の合成画像データＳＭＤと同様となる。
なお、合成画像作成部３３’によって作成された合成画像データＳＭＤ’は、基本制御部２９へ通知されるようになっている。
オブジェクト情報部４０’は、図２２に示されるように、上述したオブジェクト情報部４０と比べて、マスク画像情報部４５に代えてマスク画像情報部４５’を含む点が相違する。そして、マスク画像情報部４５’は、マスク画像情報部４５と比べて、マスク画像情報ファイル４７1に代えてマスク画像情報ファイル４７1’を含む点が相違する。
マスク画像情報ファイル４７1’は、図２３に示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述、及び、背景像指定記述が格納された表示指定ファイル４１’と、（ii）上述した要素画像ファイル４２と、（iii）背景像データＢＤＤを格納した背景像ファイル４３とから構成されている。なお、マスク画像情報ファイル４７1’は、携帯電話装置１０に対して、コンテンツプロバイダから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
本変形例の表示指定ファイル４１’における表示指定記述の例が、図２４に示されている。なお、図２４に示される記述例は、第１実施形態の場合における図８の記述例に背景像指定がある旨を加えたものである。すなわち、図２４の表示指定記述では、＜同時表示指定＞から＜同時表示指定終了＞までの間において、図８の付加画像１及び付加画像２についての記述に加えて、＜背景像指定＞及び＜背景像指定終了＞、並びにこれらの間における「背景像指定」の記述により同時表示すべき背景像が指定されている。ここで、「背景像指定」としては、背景像ファイル４３の記憶部２３における先頭アドレスＢＭＭＡが指定される。以下の説明においては、背景像ファイル４３には、図２５に示されるような原画像領域ＯＭＲと同一の形状及び大きさを有する背景像領域ＢＭＲ内の背景像ＢＭＭを表す背景像データＢＤＤが格納されているものとする。
なお、＜背景像指定＞から＜背景像指定終了＞までの記述が無い場合には、背景像指定が無いことを示すようになっている。また、背景像ファイル４３の先頭アドレスＢＭＭＡ値として「０」が記述されている場合にも、背景像指定が無いことを示すようになっている。
以下、上記のように構成された携帯電話装置１０’において「１」キーが押下された場合の合成画像出力の動作について説明する。
上述した第１実施形態における合成画像の作成の動作についての前提に加えて、図２６に示される原画像領域ＯＭＲ内の人物像ＳＤＭが、原画像ＯＭＭから切り出されるべき特定表示画像であるものとする。
まず、第１実施形態において「１」キーが押下された場合と同様に、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知され、着目像情報抽出部３１により着目像情報データＷＭＤが作成される。こうして作成された着目像情報データＷＭＤは、着目像情報抽出部３１からマスク画像作成部３２’へ通知される。
着目像情報データＷＭＤを受けたマスク画像作成部３２’は、第１実施形態において「１」キーが押下された場合と同様に、着目像情報データＷＭＤ及びマスク画像情報ＭＤＤに基づいて、マスク画像ＭＭＭＡのデータを作成し、マスク画像データＭＭＤとして合成画像作成部３３’へ通知する。また、マスク画像作成部３２’は、マスク画像情報ＭＤＤに基づいて、背景像指定が有るか否か、及び、背景像指定が有る場合における背景像ファイル４３の先頭アドレスから成る背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。ここで、表示指定ファイル４１’には、上述した図２４のように、背景像指定が記述されているので、背景像情報ＢＰＮとしては、背景像指定が有る旨、及び、背景像ファイル４３の先頭アドレスが含まれることになる。
マスク画像データＭＭＤ、原画像データＯＭＤ及び背景像情報ＢＰＮを受けた合成画像作成部３３’は、まず、背景像情報ＢＰＮに基づいて、背景像指定が有るか否かを判定する。今回の場合は、上記のように背景像指定があるので、判定結果は肯定的となる。引き続き、合成画像作成部３３’は、背景像情報ＢＰＮ中の背景像ファイル４３の先頭アドレスを利用して、背景像ファイル４３から背景像データＢＤＤを読み出す。
こうして、マスク画像データＭＭＤ及び原画像データＯＭＤに加えて背景象データＢＤＤを取得した合成画像作成部３３’は、次のようにして、合成画像を作成する。
まず、合成画像作成部３３’は、図２７（Ａ）に示される原画像ＯＭＭから、図２７（Ｂ）に示されるように、特定表示画像である人物像ＳＤＭを切り出す。かかる切り出しは、人物像一般の特徴から人物像ＳＤＭの輪郭を特定した後、当該輪郭内の画像を抽出することにより行われる。
引き続き、合成画像作成部３３’は、特定表示像ＳＤＭを、原画像ＯＭＲにおける場合と同一の位置に同一の大きさで、図２７（Ｃ）に示される背景像ＢＭＭに重ねる。この結果、図２７（Ｄ）に示される背景付加像ＢＡＭが作成される。
次に、合成画像作成部３３’は、図２７（Ｅ）に示されるマスク画像ＭＭＭＡを背景付加像ＢＡＭに重ねる。この結果、図２７（Ｆ）に示される合成画像ＳＭＭＡ’が作成される。
こうして作成された合成画像ＳＭＭＡ’のデータＳＭＤ’は、合成画像作成部３３’から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭＡ’を表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
なお、表示指定ファイル４１’に背景像指定が記述されていない場合や、背景像データＢＤＤの格納先頭アドレスが「０」であった場合には、マスク画像作成部３２’は、背景像指定が無い旨のみを含む背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。こうした背景像情報ＢＰＮを受けた合成画像作成部３３’は、背景像指定が無いと判定し、原画像ＯＭＭにマスク画像ＭＭＭＡを重ねて、合成画像を作成する。この結果、第１実施形態における第１の合成画像作成例の場合と同一の合成画像ＳＭＭＡが作成される。
また、上記では、表示指定ファイル４１’にマスク画像指定が記述されておらず、背景像指定のみが記述されている場合には、合成画像作成部３３’においては、背景付加像ＢＡＭが最終的な合成画像として作成される。
また、上記では、第１実施形態において「１」キーが押下された場合と同様のマスク画像指定に加えて、背景像指定をした例を説明したが、「２」キーや「３」キーが押下された場合と同様のマスク画像指定に加えて、背景像指定をすることが可能なことは勿論である。
＜第２実施形態＞
以下、本発明の第２実施形態を、図２８〜図３２を参照して説明する。なお、第１の実施形態の場合と同様又は同等の要素には同一符号を付し、重複する説明を省略する。
第２実施形態に係る携帯電話装置１０”は、図２８に示されるように、携帯電話本体１１内部において、制御部２１が、オブジェクト出力部３０に代えてオブジェクト出力部３０”を備えている点と、オブジェクト情報部４０に代えてオブジェクト情報部４０”が記憶部２３に格納されている点とが、上述の第１実施形態の携帯電話装置１０と相違している。
オブジェクト出力部３０”は、図２９に示されるように、上述した第１実施形態のオブジェクト出力部３０と比べて、マスク画像作成部３２に代えてマスク画像作成部３２”を備える点と、音データ通知部３５を備えていない点が相違している。
マスク画像作成部３２”は、第１実施形態のマスク画像作成部３２と同様に、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、オブジェクト情報部４０”内のマスク画像情報ファイル４７”に記憶されたマスク画像情報ＭＤＤとに基づいて、当初マスク画像を作成する。また、マスク画像作成部３２”は、基本制御部２９から通知されたキー入力データＫＤＴがマスク画像更新キーの押下によって発生したものである場合には、着目像情報ＷＭＤとマスク画像情報ＭＤＤとに基づいて、更新マスク画像を作成する。そして、マスク画像作成部３２”は、当初マスク画像又は更新マスク画像のデータを、マスク画像データＭＭＤとして、合成画像作成部３３へ向けて送る。なお、当初マスク画像又は更新マスク画像の作成については、後述する。
オブジェクト情報部４０”は、マスク画像情報ファイル４７”を含んでいる。このマスク画像情報ファイル４７”は、図３０に示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１”と、（ii）表示指定ファイル４１”における表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２”とから構成されている。なお、マスク画像情報ファイル４７”は、携帯電話装置１０に対して、コンテンツプロバイダから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
本実施形態の表示指定ファイル４１”における表示指定記述の例が、図３１に示されている。なお、図３１に示される記述例は、第１実施形態の場合における図１０の記述例に＜付加画像２指定＞における各要素画像の表示時間指定が削除されたものとなっている。すなわち、図３１の表示指定記述では、＜同時表示指定＞と＜同時表示指定終了＞との間における＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。この指定内容は、図１０における場合と同様である。また、付加画像２では、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって、第１の要素画像の表示指定（以下、「第１表示指定」と呼ぶ）及び第２の要素画像に関する表示指定（以下、「第２表示指定」と呼ぶ）がなされている。
付加画像２指定における第１表示指定では、「表示位置指定」によって指定されるＸWＹW座標系の座標位置（ＸW32，ＹW32）に、「要素画像指定」によって指定される要素画像ＥＭＭ32を表示させることが指定される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ32のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ32の長さで表示させることが指定される。
付加画像２指定における第２表示指定では、「表示位置指定」によって指定されるＸWＹW座標系の座標位置（ＸW33，ＹW33）に、「要素画像指定」によって指定される要素画像ＥＭＭ33を表示することが指定される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ33のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ33の長さとされる。
以上の図３１に示される記述例では、マスク画像作成部３２”は、まず、要素画像ＥＭＭ31及び要素画像ＥＭＭ32を同時表示する画像を、当初マスク画像として作成する。引き続き、利用者が操作部１２における画像更新キーを押下した通知を受けると、マスク画像作成部３２”は、要素画像ＥＭＭ31及び要素画像ＥＭＭ33を同時表示する画像を、更新マスク画像として作成する。この後、利用者が操作部１２における画像更新キーを押下した通知を更に受けると、マスク画像作成部３２”は、要素画像ＥＭＭ31及び要素画像ＥＭＭ32を同時表示する画像（すなわち、当初マスク画像と同一の画像）を、更新マスク画像として作成する。以後、利用者が操作部１２における画像更新キーを押下した通知を受けるごとに、マスク画像作成部３２”は、次に表示すべき更新画像を作成する。
以下、上記のように構成された携帯電話装置１０”における合成画像出力の動作について説明する。
上述した第１実施形態における合成画像の作成の動作についての前提に加えて、マスク画像作成部３２”は、マスク画像情報ファイル４７”の内容を、マスク画像情報ＭＤＤとして取得済みであるものとする。また、マスク画像作成部３２”は、テンキーにおけるいずれかのキーが押下されたことに由来するキー入力データを基本制御部２９から受けた場合、いずれのキーの押下に由来するキー入力データであったとしても、マスク画像更新キーが押下されたと認識するようになっているものとする。
まず、着目像情報抽出部３１は、第１実施形態の場合と同様にして、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２”へ通知する。この着目像情報データＷＭＤを受けたマスク画像作成部３２”は、まず、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）を、上述した（１２）式及び（１３）式により算出するとともに、第１の要素画像ＥＭＭ 31 の拡大又は縮小の倍率Ｍ31を、上述した（１４）式により算出する。
次いで、マスク画像作成部３２”は、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、マスク画像作成部３２”は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
次に、マスク画像作成部３２”は、付加画像２における第２要素画像ＥＭＭ32のＸSＹS座標系における表示位置（ＸE32，ＹE32）を、上述した（１５）式及び（１６）式により算出するとともに、第２の要素画像ＥＭＭ32の拡大又は縮小の倍率Ｍ32を、上述した（１７）式により算出する。
次いで、マスク画像作成部３２”は、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、マスク画像作成部３２”は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ 32 を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図３２（Ａ）に示されるような当初のマスク画像ＭＭＭ31が作成される。そして、マスク画像作成部３２”は、作成されたマスク画像ＭＭＭ31のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ31を重ねた合成画像ＳＭＭ31を作成する。こうして作成された当初の合成画像ＳＭＭ31が図３３（Ａ）に示されている。
以後、マスク画像作成部３２”は、テンキーにおけるいずれかのキーの押下によるマスク画像更新の指令がなされるまで、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ32を長さ値ＬＸWに対する比率Ｒ32の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を作成する。
この後、利用者により、テンキーにおけるいずれかのキーが押下されると、基本制御部２９は、キー入力データをマスク画像作成部３２”へ通知する。この通知を受けると、マスク画像作成部３２”は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）及び倍率Ｍ31を、上述した（１２）式〜（１４）式により算出する。そして、マスク画像作成部３２”は、ＸEＹE座標系において原点ＯEを中心として、要素画像ＥＭＭ31を倍率Ｍ31で拡大又は縮小した後に角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ 31 を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
次に、マスク画像作成部３２”は、付加画像１における第１要素画像ＥＭＭ 31 の場合と同様に、付加画像２における第３要素画像ＥＭＭ33のＸSＹS座標系における表示位置（ＸE33，ＹE33）及び第３要素画像ＥＭＭ33の拡大又は縮小の倍率Ｍ33を、上述した（１８）〜（２０）式により算出する。
次いで、マスク画像作成部３２”は、上記の第１要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として倍率Ｍ33で拡大又は縮小を行う。引き続き、マスク画像作成部３２”は、拡大又は縮小された要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ33を、ＸSＹS座標系における座標位置（ＸE33，ＹE33）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
以上の結果、図３２（Ｂ）に示されるような更新後のマスク画像ＭＭＭ32が作成される。そして、マスク画像作成部３２”は、作成されたマスク画像ＭＭＭ32のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ32を重ねた合成画像ＳＭＭ32を作成する。こうして作成された更新後の合成画像ＳＭＭ32が図３３（Ｂ）に示されている。
以後、テンキーにおけるいずれかのキーが押下されるまで、マスク画像作成部３２”は、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ33を長さ値ＬＸWに対する比率Ｒ33の大きさで表示する更新マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２”から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた更新合成画像を作成する。
この後、テンキーにおけるいずれかのキーが押下されるごとに、マスク画像作成部３２”は、上記と同様にして、上述した要素画像ＥＭＭ31及び要素画像ＥＭＭ32を使用したマスク画像、並びに要素画像ＥＭＭ31及要素画像ＥＭＭ33を使用したマスク画像の作成を順次繰り返す。そして、合成画像作成部３３は、マスク画像作成部３２”から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。
以上のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
以上説明したように、本実施形態では、まず、着目像ＷＭＭの領域を原画像ＯＭＭにおいて特定し、原画像中における着目像ＷＭＭの領域の位置及び大きさに関連する情報を含む着目像情報ＷＭＤを抽出する。引き続き、着目像情報ＷＭＤと、オブジェクト情報部４０”に登録された当初マスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させる当初マスク画像を作成する。そして、合成画像作成部３３が、原画像ＯＭＭ上に当初マスク画像を重ねた当初合成画像を作成する。
こうして作成された当初合成画像の表示中に、操作部１２のテンキーにおけるいずれかのキーが押下されると、マスク画像作成部３２”が、着目像情報と、オブジェクト情報部４０”に登録された更新マスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させる更新マスク画像を作成する。そして、合成画像作成部３３が、原画像ＯＭＭ上に更新マスク画像を重ねた更新合成画像を作成する。
以後、操作部１２のテンキーにおけるいずれかのキーが押下されるごとに、マスク画像作成部３２”が、着目像情報と、次の更新マスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させる次の更新マスク画像を作成する。そして、合成画像手段が、原画像ＯＭＭ上に当該次の更新マスク画像を重ねた更新合成画像が作成される。
したがって、本実施形態によれば、テンキーにおけるいずれかのキーの押下ごとに、予め表示順が定められた複数のマスク画像が順次、原画像ＯＭＭと合成された更新合成画像を表示手段に表示することができる。
また、本実施形態によれば、テンキーにおける各キーに固有にオブジェクトが割り当てられていることによる効果、及び、時間順次に行われるマスク画像の自動的な切換の効果を除いて、マスク画像作成に関し、上述した第１実施形態と同様の効果を奏する。
なお、上記の第２実施形態では、オブジェクト情報部４０”には、マスク画像情報ファイル４７”のみを含むことにしたが、複数のマスク画像情報ファイルを含むようにすることができる。
また、上記の第２実施形態では、テンキーのいずれのキーもマスク画像更新キーとして機能することにしたが、マスク画像更新キーとして機能するキーの種類及び個数は任意に設定することができる。
また、上記の第１及び第２実施形態では、出力オブジェクトの切換用のキーをテンキーにおけるキーとしたが、他の種類のキーとすることもできる。
また、上記の第１及び第２実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。
また、上記の第１及び第２実施形態では、いわゆる自分撮りの態様で撮像される撮像光学系１８を介した光の結像結果を原画像としたが、いわゆる相手撮りの態様で撮像される撮像光学系１９を介した光の結像結果を原画像とすることもできる。さらに、記憶部２３に記憶されている画像を原画像とすることもできる。
また、上記の第１及び第２実施形態では、出力オブジェクトをマスク画像とした場合に、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も２次元モデルで作成されたものとした。これに対し、着目像領域における着目物体について奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を３次元モデルで作成されたものとすることもできる。この場合には、着目物体が、表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のないマスク画像を作成することができる。
また、同時に表示する要素画像の数は任意である。さらに、時間順次又はキー操作順次に表示を行う要素画像の数も任意である。
また、上記の第１及び第２実施形態では、マスク画像情報ファイルが、表示指定ファイルと、要素画像ファイルとから構成されることとした。これに対して、マスク画像情報ファイルが、要素画像プレビューファイルを更に有することとし、要素画像のプレビューを指定された場合には、当該要素画像プレビューファイルを参照して、表示部１３において要素画像のプレビューを行うこととしてもよい。
また、着目像情報に基づいて着目像領域において所定現象が発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することとすることもできる。
また、上記の第１及び第２実施形態では、携帯電話装置に本発明を適用したが、他の種類の移動通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。
以上説明したように、本発明のオブジェクト出力方法及び情報処理装置は、表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力する際に利用することができる。
本発明の第１実施形態に係る携帯電話装置の外観構成を概略的に示す図である。 図１の携帯電話装置の内部構成を説明するための機能ブロック図である。 図２のオブジェクト出力部の内部構成を説明するための機能ブロック図である。 着目像情報を説明するための図である。 図２のオブジェクト情報部の構成を説明するための図である。 図５のマスク画像情報ファイルの構成を説明するための図である。 要素画像の例を示す図（その１）である。 図６の表示指定ファイルの内容例を示す図（その１）である。 図６の表示指定ファイルの内容例を示す図（その２）である。 図６の表示指定ファイルの内容例を示す図（その３）である。 着目像及び着目像座標系の例を説明するための示す図である。 原画像及び図８に対応するマスク画像を示す図である。 第１実施形態における合成画像の例を示す図（その１）である。 要素画像の例を示す図（その２）である。 図９に対応するマスク画像を示す図である。 第１実施形態における合成画像の例を示す図（その２）である。 要素画像の例を示す図（その３）である。 図１０に対応するマスク画像を示す図である。 第１実施形態における合成画像の例を示す図（その３）である。 変形例に係る携帯電話装置の内部構成を説明するための機能ブロック図である。 図２０のオブジェクト出力部の内部構成を説明するための機能ブロック図である。 図２０のオブジェクト情報部の構成を説明するための図である。 図２２のマスク画像情報ファイルの構成を説明するための図である。 図２３の表示指定ファイルの内容例を示す図である。 背景像の例を示す図である。 特定表示画像の例を示す図である。 図２１の合成画像作成部における合成画像作成動作を説明するための図である。 第２実施形態に係る携帯電話装置の内部構成を説明するための機能ブロック図である。 図２８のオブジェクト出力部の内部構成を説明するための機能ブロック図である。 図２９のマスク画像情報ファイルの構成を説明するための図である。 図３０の表示指定ファイルの内容例を示す図である。 図３１に対応するマスク画像を示す図である。 第２実施形態における合成画像の例を示す図である。
符号の説明
１０，１０’，１０”…携帯電話装置（情報処理装置）、１１…携帯電話本体、１２…操作部、１３…表示部（表示手段）、１４…通話用スピーカ（音出力手段）、１５…マイクロフォン、１６…案内用スピーカ（音出力手段）、１７…アンテナ、１８，１９…撮像光学系（撮像手段の一部）、２１…制御部、２２…送受信部（送信手段）、２３…記憶部、２４…切換光学系（撮像手段の一部）、２５…撮像素子（撮像手段の一部）、２９…基本制御部、３０，３０’，３０”…オブジェクト出力部（オブジェクト出力手段）、３１…着目像情報抽出部（着目像情報抽出手段）、３２，３２’，３２”…マスク画像作成部（マスク画像作成手段、操作キー特定手段）、３３，３３’…合成画像作成部（合成画像作成手段）、３５…音データ通知部（操作キー特定手段）、４０，４０’，４０”…オブジェクト情報部、４１，４１’，４１”…表示指定ファイル、４２，４２”…要素画像ファイル、４３…背景像ファイル、４５，４５’…マスク画像情報部、４６…音データ部、４７，４７’，４７”…マスク画像情報ファイル、４８…音データファイル、４９…オブジェクト登録テーブル。

Claims (27)

  1. 表示手段と、キー入力手段とを備える情報処理装置において、前記表示手段への原画像に含まれる画像の表示と同時にオブジェクトを出力するオブジェクト出力方法であって、
    前記キー入力手段におけるいずれかのキーが操作された場合に、操作されたキーを特定する操作キー特定工程と；
    前記操作キー特定工程において特定されたキーの操作に対応するオブジェクトが存在する場合に、前記特定されたキーの操作に対応するオブジェクトを、前記表示手段への原画像に含まれる画像の表示と同時に出力するオブジェクト出力工程と；を備え、
    前記操作キー特定工程において特定されたキーがマスク画像更新キーである場合、前記オブジェクト出力工程では、予め表示順が定められた複数のマスク画像における次に表示すべきマスク画像である更新マスク画像を含む更新合成画像が前記表示手段に表示される、
    ことを特徴とするオブジェクト出力方法。
  2. 前記オブジェクト出力工程では、前記特定されたキーが前記マスク画像更新キー以外のキーである場合には、前記特定されたキーに固有に割り当てられたオブジェクトを出力する、ことを特徴とする請求項１に記載のオブジェクト出力方法。
  3. 前記特定されたキーに固有に割り当てられたオブジェクトはマスク画像であり、
    前記オブジェクト出力工程では、前記マスク画像を含む合成画像が前記表示手段に表示される、ことを特徴とする請求項２に記載のオブジェクト出力方法。
  4. 前記オブジェクト出力工程では、前記操作キー特定工程において特定されたキーがマスク画像更新キー以外のキーである場合には、
    着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；
    前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれ、前記特定されたキーに固有に割り当てられたマスク画像に対応するマスク画像情報とに基づいて、前記マスク画像を作成する通常マスク画像作成工程と；
    前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた画像を作成する通常合成画像作成工程と；
    を実行することを特徴とする請求項３に記載のオブジェクト出力方法。
  5. 前記着目像含有画像は前記原画像である、ことを特徴とする請求項４に記載のオブジェクト出力方法。
  6. 前記マスク画像情報には、特定の背景像の情報を選択したことを示す背景像選択情報が更に含まれ、
    前記通常合成画像作成工程では、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項４に記載のオブジェクト出力方法。
  7. 前記マスク画像情報には、前記関係情報及び前記要素画像選択情報との組合せで定まる図形表示それぞれの実行時間情報が更に含まれる、ことを特徴とする請求項４〜６のいずれか一項に記載のオブジェクト出力方法。
  8. 前記マスク画像情報には、前記関係情報及び前記要素画像選択情報の組合せで定まる複数種類の図形表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれる、ことを特徴とする請求項７に記載のオブジェクト出力方法。
  9. 前記マスク画像情報には、前記関係情報及び前記要素画像選択情報の組合せで定まる複数種類の図形表示を同時に表示することを指定する同時表示指定の情報が更に含まれる、ことを特徴とする請求項４〜８のいずれか一項に記載のオブジェクト出力方法。
  10. 前記情報処理装置は、音出力手段を更に備え、
    前記特定されたキーに固有に割り当てられたオブジェクトは、音オブジェクトである、ことを特徴とする請求項２に記載のオブジェクト出力方法。
  11. 前記オブジェクト出力工程では、前記操作キー特定工程において特定されたキーがマスク画像更新キーである場合には、
    着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；
    前記着目像情報と、前記更新マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれる更新マスク画像情報とに基づいて、前記更新マスク画像を作成する更新マスク画像作成工程と；
    前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記更新マスク画像を重ねた更新合成画像を作成する更新合成画像作成工程と；
    を実行することを特徴とする請求項１に記載のオブジェクト出力方法。
  12. 前記着目像含有画像は前記原画像である、ことを特徴とする請求項１１に記載のオブジェクト出力方法。
  13. 前記更新マスク画像情報は、特定の背景像の情報を選択したことを示す背景像選択情報を更に含み、
    前記更新合成画像作成工程では、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記更新合成画像を作成する、ことを特徴とする請求項１１に記載のオブジェクト出力方法。
  14. 前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれる、ことを特徴とする請求項４〜９、１１〜１３のいずれか一項に記載のオブジェクト出力方法。
  15. 前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれる、ことを特徴とする請求項１４に記載のオブジェクト出力方法。
  16. 前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の図形の表示位置情報として含まれる、ことを特徴とする請求項１５に記載のオブジェクト出力方法。
  17. 前記関係情報には、前記着目像領域の大きさと前記特定の図形の表示時における大きさとの比率情報が含まれる、ことを特徴とする請求項４〜９、１１〜１６のいずれか一項に記載のオブジェクト出力方法。
  18. 前記原画像は動画像である、ことを特徴する請求項１〜１７のいずれか一項に記載のオブジェクト出力方法。
  19. 表示手段と、キー入力手段とを備える情報処理装置であって、
    前記キー入力手段におけるいずれかのキーが操作された場合に、操作されたキーを特定する操作キー特定手段と；
    前記操作キー特定手段により特定されたキーの操作に対応するオブジェクトが存在する場合に、前記特定されたキーの操作に対応するオブジェクトを、前記表示手段への前記原画像に含まれる画像の表示と同時に出力するオブジェクト出力手段と；を備え、
    前記操作キー特定手段において特定されたキーがマスク画像更新キーである場合、前記オブジェクト出力手段は、予め表示順が定められた複数のマスク画像における次に表示すべきマスク画像である更新マスク画像を含む更新合成画像を前記表示手段に表示する、
    ことを特徴とする情報処理装置。
  20. 前記オブジェクト出力手段は、前記特定されたキーが前記マスク画像更新キー以外のキーである場合には、前記特定されたキーに固有に割り当てられたオブジェクトを出力する、ことを特徴とする請求項１９に記載の情報処理装置。
  21. 前記特定されたキーに固有に割り当てられたオブジェクトはマスク画像であり、
    前記オブジェクト出力手段は、前記マスク画像を含む合成画像を前記表示手段に表示する、ことを特徴とする請求項２０に記載の情報処理装置。
  22. 前記オブジェクト出力手段は、
    着目すべき像の領域である着目像領域を前記原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；
    前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれ、前記特定されたキーが前記マスク画像更新キー以外のキーである場合に、前記特定されたキーに対応するマスク画像情報が登録されたマスク画像情報ファイルと、前記特定されたキーと前記マスク画像情報ファイルとの対応関係が登録された対応関係登録テーブルとを格納する記憶手段と；
    前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成する通常マスク画像作成手段と；
    前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記通常マスク画像作成手段により作成されたマスク画像を重ねた合成画像を作成する通常合成画像作成手段と；を備えることを特徴とする請求項２１に記載の情報処理装置。
  23. 前記通常合成画像作成手段により作成された画像のデータを送信する送信手段を更に備える、ことを特徴とする請求項２２に記載の情報処理装置。
  24. 音出力手段を更に備え、前記特定されたキーに割り当てられたオブジェクトは、音オブジェクトである、ことを特徴とする請求項１９に記載の情報処理装置。
  25. オブジェクト出力手段は、
    着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；
    前記着目像情報と、当初に表示すべきマスク画像である当初マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、並びに図形選択情報とに基づいて前記当初マスク画像を作成し、前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記当初マスク画像を重ねた当初合成画像を作成するとともに、前記キー入力手段におけるマスク画像更新キーが操作された場合に、前記着目像情報と、前記更新マスク画像に関する前記着目像領域との位置及び大きさの関係を示す関係情報、並びに図形選択情報とに基づいて前記更新マスク画像を作成し、前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記更新マスク画像を重ねた更新合成画像を作成する更新合成画像作成手段と；を備える、ことを特徴とする請求項２１に記載の情報処理装置。
  26. 前記更新合成画像作成手段により作成された画像のデータを送信する送信手段を更に備える、ことを特徴とする請求項２５に記載の情報処理装置。
  27. 前記原画像を取得するための撮像手段を更に備える、ことを特徴とする請求項１９〜２６のいずれか一項に記載の情報処理装置。
JP2005151958A 2005-05-25 2005-05-25 オブジェクト出力方法及び情報処理装置 Expired - Fee Related JP4417292B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005151958A JP4417292B2 (ja) 2005-05-25 2005-05-25 オブジェクト出力方法及び情報処理装置
PCT/JP2006/310261 WO2006126546A1 (ja) 2005-05-25 2006-05-23 オブジェクト出力方法及び情報処理装置
EP06746745A EP1884895A4 (en) 2005-05-25 2006-05-23 OBJECT PUBLISHING PROCESS AND INFORMATION PROCESSING DEVICE
TW095118479A TW200707335A (en) 2005-05-25 2006-05-24 Object output method and information processing device
US11/984,918 US8290299B2 (en) 2005-05-25 2007-11-26 Object outputting method and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005151958A JP4417292B2 (ja) 2005-05-25 2005-05-25 オブジェクト出力方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2006330965A JP2006330965A (ja) 2006-12-07
JP4417292B2 true JP4417292B2 (ja) 2010-02-17

Family

ID=37451971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005151958A Expired - Fee Related JP4417292B2 (ja) 2005-05-25 2005-05-25 オブジェクト出力方法及び情報処理装置

Country Status (5)

Country Link
US (1) US8290299B2 (ja)
EP (1) EP1884895A4 (ja)
JP (1) JP4417292B2 (ja)
TW (1) TW200707335A (ja)
WO (1) WO2006126546A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5058887B2 (ja) * 2008-06-06 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2010183317A (ja) * 2009-02-05 2010-08-19 Olympus Imaging Corp 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム
JP5962383B2 (ja) * 2012-09-25 2016-08-03 大日本印刷株式会社 画像表示システムおよび画像処理装置
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
JP6375755B2 (ja) * 2014-07-10 2018-08-22 フリュー株式会社 写真シール作成装置および表示方法
CN110503092B (zh) * 2019-07-22 2023-07-14 天津科技大学 基于领域适应的改进ssd监控视频目标检测方法
JP2021171508A (ja) * 2020-04-28 2021-11-01 株式会社平和 遊技機

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
DE69528212T2 (de) * 1994-06-09 2003-04-24 Corp For Nat Res Initiatives R Hinweisanordnungsschnittstelle
FR2755271B1 (fr) * 1996-10-25 1998-12-18 Monot Benoist Procede et systeme optique et electronique de traitement d'images
US6047197A (en) * 1996-12-27 2000-04-04 Ericsson Inc. Icon driven phone menu system
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
JPH10326278A (ja) * 1997-03-27 1998-12-08 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
NL1007397C2 (nl) * 1997-10-30 1999-05-12 V O F Headscanning Werkwijze en inrichting voor het met een gewijzigd uiterlijk weergeven van tenminste een deel van het menselijk lichaam.
JP3810943B2 (ja) 1999-05-06 2006-08-16 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP3306397B2 (ja) * 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
JP3425548B2 (ja) * 2000-02-14 2003-07-14 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおけるアナウンス音声出力方法及びアナウンス音声出力プログラムが記録されたコンピュータ読み取り可能な記録媒体
JP3420985B2 (ja) * 2000-02-17 2003-06-30 株式会社ナムコ ゲームシステム及び情報記憶媒体
GB2359459A (en) * 2000-02-18 2001-08-22 Sensei Ltd Mobile telephone with animated display
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
KR100416991B1 (ko) * 2001-01-11 2004-02-05 삼성전자주식회사 가상 배경 표시 기능을 갖는 영상 단말 장치 및 그 구현방법
JP4566474B2 (ja) * 2001-07-30 2010-10-20 パナソニック株式会社 画像処理装置および画像処理方法
JP2003132361A (ja) 2001-10-29 2003-05-09 Sharp Corp オブジェクト選択装置および方法
JP3883458B2 (ja) 2002-03-01 2007-02-21 日本電信電話株式会社 反射式ブリルアンスペクトル分布測定方法および装置
US20030174869A1 (en) * 2002-03-12 2003-09-18 Suarez Anthony P. Image processing apparatus, image processing method, program and recording medium
JP2003271958A (ja) 2002-03-15 2003-09-26 Sony Corp 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置
JP3873793B2 (ja) 2002-03-29 2007-01-24 日本電気株式会社 顔メタデータ生成方法および顔メタデータ生成装置
JP2003309829A (ja) 2002-04-15 2003-10-31 Matsushita Electric Ind Co Ltd 携帯動画電話装置
US7146026B2 (en) * 2002-06-04 2006-12-05 Hewlett-Packard Development Company, L.P. Image correction system and method
JP2004094773A (ja) * 2002-09-03 2004-03-25 Nec Corp 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム
JPWO2005076210A1 (ja) * 2004-02-05 2007-10-18 ソフトバンクモバイル株式会社 画像処理方法、画像処理装置及び移動通信端末装置

Also Published As

Publication number Publication date
JP2006330965A (ja) 2006-12-07
EP1884895A1 (en) 2008-02-06
US20080094364A1 (en) 2008-04-24
EP1884895A4 (en) 2012-01-25
WO2006126546A1 (ja) 2006-11-30
TWI334107B (ja) 2010-12-01
US8290299B2 (en) 2012-10-16
TW200707335A (en) 2007-02-16

Similar Documents

Publication Publication Date Title
US7864198B2 (en) Image processing method, image processing device and mobile communication terminal
JP4417292B2 (ja) オブジェクト出力方法及び情報処理装置
CN111243632A (zh) 多媒体资源的生成方法、装置、设备及存储介质
CN111246300B (zh) 剪辑模板的生成方法、装置、设备及存储介质
KR20190013308A (ko) 이동 단말기 및 그 제어 방법
KR20140089149A (ko) 영상 데이터 획득 방법 및 그 방법을 처리하는 전자 장치
JP5598232B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
WO2013069178A1 (en) Voice control device, voice control method and program
KR102061867B1 (ko) 이미지 생성 장치 및 그 방법
KR102343325B1 (ko) 영상 압축 방법 및 영상 복원 방법
JP2000322588A (ja) 画像処理装置及びその方法
KR101011194B1 (ko) 사진변환 및 드로잉 기능이 구비된 휴대장치 및 그 방법
JP2011095902A (ja) マルチメディア付箋装置
JP2008271149A (ja) 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体
JP2006099058A (ja) 表示装置、表示方法、およびプログラム
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
JP2011192008A (ja) 画像処理システムおよび画像処理方法
JP4202330B2 (ja) マスク画像情報作成方法、マスク画像情報作成装置及びマスク画像情報作成プログラム
JP4082704B2 (ja) 情報端末装置，情報提供装置及びナビゲーションサービスの提供方法
JP2007180914A (ja) 画面拡大表示機能付携帯電話、画面拡大表示方法、及び、画面拡大表示プログラムとその記録媒体
WO2024078238A1 (zh) 一种视频录制控制方法、电子设备及介质
JP2002325238A (ja) 簡易動画送受信システム及び動画送受信方法
CN115988154A (zh) 录像方法、装置及电子设备
JP6206537B2 (ja) 携帯端末、情報処理装置、およびプログラム
CN111124228A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151204

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees