JP4254391B2 - Image output device, image output processing program, and image distribution server - Google Patents

Image output device, image output processing program, and image distribution server Download PDF

Info

Publication number
JP4254391B2
JP4254391B2 JP2003199072A JP2003199072A JP4254391B2 JP 4254391 B2 JP4254391 B2 JP 4254391B2 JP 2003199072 A JP2003199072 A JP 2003199072A JP 2003199072 A JP2003199072 A JP 2003199072A JP 4254391 B2 JP4254391 B2 JP 4254391B2
Authority
JP
Japan
Prior art keywords
image
character
captured
pose
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003199072A
Other languages
Japanese (ja)
Other versions
JP2005038118A (en
Inventor
孝 湖城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2003199072A priority Critical patent/JP4254391B2/en
Publication of JP2005038118A publication Critical patent/JP2005038118A/en
Application granted granted Critical
Publication of JP4254391B2 publication Critical patent/JP4254391B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラやカメラ付携帯端末などにおける撮影画像に応じた画像を合成して出力するための画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラムに関する。
【0002】
【従来の技術】
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。
【0003】
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。
【0004】
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。
【0005】
また、デジタルカメラにより撮影された画像の任意の領域(例えば顔の部分)を切り出し、この切り出し画像を予め用意されたアニメ画像(例えばアニメキャラクタの顔部分)に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている。(例えば、特許文献1参照。)
【0006】
【特許文献1】
特開2001−230972号公報
【0007】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。
【0008】
一方で近年、小型のデジタルカメラやデジタルカメラ付きの携帯電話が大幅に普及したことにより、各ユーザが撮影画像を常に持ち歩き、当該撮影画像が第三者に対して見られる状況も増えている。
【0009】
しかしながら、撮影画像中に第三者には見られたくない例えば恋人などの人物が写っている場合、前記予め用意されたアニメ画像などを見られたくない人物の位置に重ねて合成して見せることも考えられるが、このアニメ画像は当該見られたくない人物の画像とは無関係で何らその人物像を表現するものではないため、撮影画像本来のイメージが損なわれる問題がある。
【0010】
しかもこのような場合、ユーザ自身がその撮影画像を見るときにだけ、容易にオリジナルの撮影画像を見ることができ、第三者が見るときには必然的に合成した撮影画像を表示できるようにすることが望ましい。
【0011】
本発明は、前記のような問題に鑑みてなされたもので、撮影画像中の隠したい画像に対して単に固定的な画像を合成するのではなく、当該隠したい画像(例えば人物像)をその表現に対応した画像に置き換え合成して出力し、ユーザ本人に対してのみ元の撮影画像を出力することが可能になる画像出力装置、画像出力処理プログラム、および画像配信サーバを提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明に係る画像出力装置は、撮影画像を取得する撮影画像取得手段と、この撮影画像取得手段により取得された撮影画像を記憶する撮影画像記憶手段と、人物のポーズをまねた複数のキャラクタ画像を記憶するキャラクタ画像記憶手段と、前記撮像画像記憶手段に記憶された撮影画像中の人物画像と前記キャラクタ画像記憶手段により記憶された各キャラクタ画像との類似度を評価する類似度評価手段と、前記撮影画像記憶手段に記憶された撮影画像中の人物画像を前記類似度評価手段で類似すると評価された人物のポーズをまねたキャラクタ画像に置き換える合成処理を行う画像合成手段と、外部からの画像出力要求に伴い正規の認証情報が入力された場合には前記撮影画像記憶手段に記憶された撮影画像を出力し、外部からの画像出力要求に伴い正規の認証情報が入力されない場合には前記画像合成手段により合成処理された画像を出力する画像出力手段と、を備えたことを特徴とする。
【0013】
これによれば、撮影画像の中の例えば秘密の被写体人物画像をこれに応じたまねキャラクタ画像に置き換えて合成した合成画像を作成し、通常の画像出力要求時には当該合成画像を出力でき、撮影者本人などの認証情報が入力された場合にのみ元の撮影画像を出力できることになる。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0028】
(第1実施形態)
図1は本発明の第1実施形態に係る画像出力装置10の電子回路の構成を示すブロック図である。
【0029】
この画像出力装置10は、デジタルカメラ、デジタルカメラ付き携帯電話、デジタルカメラ付きPDA(personal digital assistants)などの携帯機器として構成されるもので、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)11が備えられる。
【0030】
CPU11は、メモリ12内に予め記憶された装置制御プログラム、あるいはCD−ROMなどの外部記録媒体13から記録媒体読取部14を介して前記メモリ12に読み込まれた装置制御プログラム、あるいはインターネットN上のWebサーバ21(この場合はプログラムサーバ)から電送制御部15を介して前記メモリ12に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ12に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部16からのユーザ操作に応じた入力信号、あるいは画像入力部17を介して入力される画像信号、あるいは認証情報入力部17xを介して入力される個人認証情報(指紋画像,パスワードなど)、あるいは電送制御部15を介して接続されるインターネットN上の各Webサーバ21…との通信信号に応じて起動される。
【0031】
前記CPU11には、前記メモリ12、記録媒体読取部14、電送制御部15、入力部16、画像入力部17、認証情報入力部17xが接続される他に、距離センサ18、LCDからなる表示部19、画像出力部20などが接続される。
【0032】
画像入力部17は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ17A、デジタルビデオムービー17B、VTR(画像再生装置)17Cから選択的に取得される。
【0033】
距離センサ18は、前記画像入力部17において入力される撮影画像の被写体までの距離を検出する。
【0034】
画像出力部20は、前記画像入力部17から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード20A、VTR(録画装置)20B、画像印刷機20Cに選択的に出力され、当該画像の記憶,録画,印刷が行われる。
【0035】
メモリ12には、当該画像出力装置10の全体の動作を司るシステムプログラムや電送制御部15を介してインターネットN上の各Webサーバ21…とデータ通信するための通信プログラムが記憶される他に、画像入力部17や画像出力部20を介して本画像出力装置10で撮影画像内の指定の対象画像(例えば人物像)に応じた対応画像(例えばまね人物像)への置き換え合成出力処理などを行うための画像出力処理プログラム12aなどが記憶される。
【0036】
また、このメモリ12には、モデルポーズ画像メモリ12b、キャラ1「女性(1)」ポーズ画像メモリ12c、キャラ2「女性(2)」ポーズ画像メモリ12d、キャラ3「男性(1)」ポーズ画像メモリ12eなどが用意され、さらにそのワークエリアには、撮影画像ファイル(1)12f1,(2)12f2,…などが用意される。
【0037】
各撮影画像ファイル(1)12f1,(2)12f2,…には、そのそれぞれのファイル(1)(2)…毎に、ファイル名及びユーザ認証データ(指紋画像やパスワードなど)12f1a,12f2a,…に対応付けされた秘密画像ファイル12f1b,12f2b,…と公開画像ファイル12f1c,12f2c,…とが記憶される。
【0038】
秘密画像ファイル12f1b,12f2b,…には、各撮影画像ファイル(1)12f1,(2)12f2,…毎の撮影画像データがそのまま元の撮影画像1,2,…として記憶され、公開画像ファイル12f1c,12f2c,…には、同一の撮影画像ファイル(1)12f1,(2)12f2,…内で対応する秘密画像ファイル12f1b,12f2b,…に記憶された撮影画像1,2,…それぞれの指定の対象画像(例えば人物像)をそのポーズのまねをするキャラクタの画像(図2参照)に置き換えた合成画像1,2,…が記憶される。
【0039】
つまり、撮影画像内の指定の対象画像がそのまねのキャラクタ画像に置き換えられてなる合成画像1,2,…が公開画像ファイル12f1c,12f2c,…とされ、各合成画像1,2,…の元の撮影画像1,2,…が秘密画像ファイル12f1b,12f2b,…とされ、ユーザ認証データ12f1a,12f2a,…に対応付けられて記憶保存される。
【0040】
図2は前記画像出力装置10のキャラ1「女性(1)」ポーズ画像メモリ12c:キャラ2「女性(2)」ポーズ画像メモリ12d:キャラ3「男性(1)」ポーズ画像メモリ12eにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図である。
【0041】
このキャラ1「女性(1)」,2「女性(2)」,3「男性(1)」の各ポーズ画像メモリ12c,12d,12eに記憶された各キャラクタそれぞれの各種のポーズ画像は、画像入力部17から入力された撮影画像上の被写体画像(対象画像)のポーズに応じた真似画像として使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶される。
【0042】
図3は前記画像出力装置10のモデルポーズ画像メモリ12bに記憶されたモデルポーズに対応するモデル画像を示す図である。
【0043】
このモデルポーズ画像メモリ12bに記憶された各種ポーズのモデル画像は、画像入力部17から入力された撮影画像上の被写体画像(対象画像)のポーズに応じた類似のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶され、さらに各ポーズNo.毎に3種のバリエーションA,B,Cのモデル画像が記憶される。
【0044】
そして、前記キャラ1「女性(1)」ポーズ画像メモリ12c,キャラ2「女性(2)」ポーズ画像メモリ12d,キャラ3「男性(1)」ポーズ画像メモリ12eにそれぞれ記憶された各キャラクタ画像には、前記モデルポーズ画像メモリ12bに記憶された全てのポーズNo.(No.1A,1B,1C、2A,2B,2C、〜、nA,nB,nC)に対応する同じポーズのキャラクタ画像が用意されて記憶される。
【0045】
また、このメモリ12には、画像処理ワークエリア(図示せず)が用意され、この画像処理ワークエリアには、前記画像出力処理プログラム12aに従い処理される画像データがその画像処理に応じて一時記憶される。
【0046】
このように構成された画像出力装置10について、その合成画像作成動作の概要を説明する。
【0047】
図4は前記画像出力装置10による公開/秘密画像設定モード指定時のキャラクタ画像「女性(1)」による対象画像の置き換え合成状態を示す図である。
【0048】
図4(A)に示すような例えば4人の被写体H1〜H4が撮影された撮影画像12f1bから、図4(B)に示すように置き換えの対象となる指定の被写体画像(対象画像)H1が指定されて抽出され、置き換えのキャラクタ画像として「女性(1)」が指定されると、図4(C)に示すように指定の被写体画像(対象画像)H1のポーズに類似のポーズNo.3−1「歩く(前)」の「女性(1)」のキャラクタ画像がキャラ1「女性(1)」ポーズ画像メモリ12cから読み出される。
【0049】
一方、撮影画像12f1bから前記指定された被写体画像(対象画像)H1を含めた4つの被写体画像H2,H3,H4を切り出した撮影背景画像(図示せず)が生成される。
【0050】
すると、図4(D)に示すように、前記キャラ1「女性(1)」ポーズ画像メモリ12cから読み出された指定の被写体画像(対象画像)H1に類似の「女性(1)」のキャラクタ画像12c(3−1)と、前記撮影画像12f1bから切り出された残り3つの被写体画像H2,H3,H4が、前記撮影背景画像(図示せず)に対しその撮影距離が遠い順に各被写体位置に対応して合成される。
【0051】
これにより、撮影画像12f1bにおいて例えば秘密にしたい(隠したい)女友達(恋人)など、指定の被写体(対象画像)H1のポーズの真似をした「女性(1)」のキャラクタ画像12c(3−1)が当該指定の被写体(対象画像)H1と置き換えられて合成され、公開画像ファイル12f1cに保存される。
【0052】
これにより、撮影画像ファイル(1)12f1の秘密画像ファイル12f1bには、図4(A)で示した元の撮影画像が保存され、公開画像ファイル12f1cには、図4(D)で示した合成画像が保存されて管理される。
【0053】
そして、この画像出力装置10での画像表示処理に際しては、正しいユーザ認証データ12f1aが入力された場合にのみ、秘密画像ファイル12f1bに保存された元の撮影画像が読み出されて表示され、それ以外は公開画像ファイル12f1cに保存された合成画像が読み出されて表示される。
【0054】
次に、前記構成による画像出力装置10による詳細な画像処理動作について説明する。
【0055】
ここでは、画像出力装置10をデジタルカメラ付き携帯電話10Aあるいはデジタルカメラ10Bとして実施した場合について説明する。
【0056】
図5は前記画像出力装置であるデジタルカメラ付き携帯電話10Aの外観構成を示す図であり、同図(A)はその全体斜視図、同図(B)はその部分拡大図である。
【0057】
デジタルカメラ付き携帯電話10Aでは、各種のキーが配列された入力部16の下端部にユーザ認証データ12fnaとしての指紋画像を入力するための認証情報入力部17xが設けられる。
【0058】
図6は前記画像出力装置であるデジタルカメラ10Bの外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図である。
【0059】
デジタルカメラ10Bの入力部16としては、メニュー画面を表示させるための「MENU」キー16a、撮影モード(REC)と再生モード(PLAY)とを切り替えるための
切り替えキー16b、撮影画像の取り込みを指示するためのシャッタキー16c、表示画面(19)上でのデータ選択やカーソル移動及び選択データ決定などの操作を行うための上下左右に指1本で操作可能な選択/決定キー16dが備えられる。
【0060】
そして、選択/決定キー16dの頭部には、ユーザ認証データ12fnaとしての指紋画像を入力するための認証情報入力部17xが設けられる。
【0061】
図7は前記画像出力装置10の公開/秘密画像設定処理に伴い撮影画像ファイル12f1にユーザ認証データ12f1aを対応付けて保存管理される秘密画像ファイル12f1bと公開画像ファイル12f1cを示す図であり、同図(SC1)〜(SC3)は秘密画像ファイル12f1bに保存管理された元の撮影画像12f1b-1〜12f1b-3を示す図、同図(PU1)〜(PU3)は公開画像ファイル12f1cに保存管理された合成画像12f1c-1〜12f1c-3を示す図である。
【0062】
図8は前記画像出力装置10による公開/秘密画像設定処理を示すフローチャートである。
【0063】
この画像出力装置10であるデジタルカメラ付き携帯電話10A(図5参照)あるいはデジタルカメラ10B(図6参照)において任意の画像撮影を行う際に、入力部16での操作に応じて新規作成モードが指定され、ファイル名が入力されると、当該ファイル名(12f1a)がメモリ12内の撮影画像ファイル(1)12f1にセットされ(ステップP1)、図9における合成画像作成処理に移行される(ステップPS)。
【0064】
図9は前記画像出力装置10の公開/秘密画像設定処理に伴う合成画像作成処理を示すフローチャートである。
【0065】
まず、入力部16の操作により、撮影画像上の指定の被写体画像と置き換え合成すべきキャラクタの種類(「女性(1)」「女性(2)」「男性(1)」など)が予め指定される(ステップS1)。
【0066】
そして、デジタルカメラ17Aまたはデジタルビデオムービー17BまたはVTR(画像再生装置)17Cによる撮影画像の入力が開始され(ステップS2)、この撮影画像に対して前記指定のキャラクタ画像を合成するためのスタート操作が為されると(ステップS3)、当該撮影画像が撮影画像ファイル(1)12f1内の秘密画像ファイル12f1bに保存され(ステップS4)、図10における対象画像の抽出処理に移行される(ステップSA)。
【0067】
図10は前記画像出力装置10の合成画像作成処理に伴う対象画像抽出処理を示すフローチャートであり、同図(A)はその対象画像抽出処理(方式1)を示すフローチャート、同図(B)はその対象画像抽出処理(方式2)を示すフローチャートである。
【0068】
図10(A)における対象画像抽出処理(方式1)では、前記画像入力部17を介して所定のタイミングで順次入力される一連の撮影画像がメモリ12内の画像処理ワークエリアに対し記憶される(ステップA11)。
【0069】
すると、この画像処理ワークエリアに記憶された一連の撮影画像のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され(ステップA12)、これにより抽出された各被写体画像Hnがそのブロック毎に同画像処理ワークエリアに保存される(ステップA13)。
【0070】
図10(B)における対象画像抽出処理(方式2)では、前記画像入力部17を介して入力される撮影画像の各部分毎に距離センサ18による距離測定が行われ(ステップA21)、背景画像と被写体画像との距離差に基づき近距離側として判別される各被写体画像Hnがそのブロック毎に抽出される(ステップA22)。
【0071】
これにより抽出された各被写体画像Hnがそのブロック毎にメモリ12内の画像処理ワークエリアに保存される(ステップA23)。
【0072】
こうして、秘密画像ファイル12f1bに保存された撮影画像から当該撮影画像に含まれる各被写体画像Hnがそのブロック毎に抽出されて画像処理ワークエリアに保存されると(ステップSA)、例えば図4(A)で示すように、抽出された各被写体画像Hnのそれぞれに囲みマークMが付加された撮影画像12f1bが表示部19に表示される(ステップS5)。
【0073】
すると、表示部19に表示された撮影画像12f1bにおいて、被写体画像Hnが複数ブロック存在するか否か判断される(ステップS6)。
【0074】
撮影画像12f1bにおいて被写体画像Hnが複数ブロック存在しないと判断された場合には、当該撮影画像12f1bから抽出された1つの被写体画像Hnが真似対象画像として設定される(ステップS6→S7a)。
【0075】
また、撮影画像12f1bにおいて被写体画像Hnが複数ブロック存在すると判断された場合には、入力部16によるユーザ操作に応じて複数ブロック存在する被写体画像Hn…の中から、例えば第三者には秘密にしたい(隠したい)真似対象画像が指定される(ステップS6→S7b)。
【0076】
こうして、前記撮影画像12f1bの中から被写体画像Hnが抽出され、さらに真似対象となる被写体画像Hnが設定されると、図11における対応アニメ画像取得処理に移行される(ステップSB)。
【0077】
図11は前記画像出力装置10の合成画像作成処理に伴う対応アニメ画像取得処理を示すフローチャートであり、同図(A)はその対応アニメ画像取得処理(方式1)を示すフローチャート、同図(B)はその対応アニメ画像取得処理(方式2)を示すフローチャートである。
【0078】
図11(A)における対応アニメ画像取得処理(方式1)では、まず、前記撮影画像12f1bから抽出されて真似対象画像として設定された被写体画像Hnと前記指定されたキャラクタの各ポーズのキャラクタ画像との類似度が評価され(ステップB1C)、最も類似度の高いポーズのキャラクタ画像が表示部19に表示される(ステップB12)。
【0079】
ここで、入力部16に対するユーザ操作に応じて前記表示部19に表示された真似対象画像に最も類似度の高いポーズのキャラクタ画像が選択されると、この選択されたポーズNo.の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される(ステップB13→B14)。
【0080】
一方、前記表示部19に真似対象画像に最も類似度の高いポーズのキャラクタ画像が表示された状態で、入力部16に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いポーズのキャラクタ画像が順番に表示される(ステップB13→B15)。
【0081】
そして、所望の類似度のポーズのキャラクタ画像が選択表示され、入力部16に対するユーザ操作に応じて当該表示されたキャラクタ画像が選択されると、この選択されたポーズNo.の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される(ステップB13→B14)。
【0082】
このように、対応アニメ画像取得処理(方式1)では、撮影画像12f1bから抽出設定された真似対象画像としての被写体画像Hnに対し、指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度が直接評価され、これに基づき被写体画像Hnを真似たポーズのキャラクタとして置き換えられる指定のキャラクタ画像が決定される。
【0083】
図11(B)における対応アニメ画像取得処理(方式2)では、まず、前記撮影画像12f1bから抽出されて真似対象画像として設定された被写体画像Hnとモデルポーズ画像メモリ12bに記憶されている各ポーズのモデル画像との類似度が評価され(ステップB2C)、最も類似度の高いポーズのモデル画像のポーズNo.に対応する指定のキャラクタ画像が表示部19に表示される(ステップB22)。
【0084】
ここで、入力部16に対するユーザ操作に応じて前記表示部19に表示された真似対象画像に最も類似度の高いモデルポーズに対応するキャラクタ画像が選択されると、この選択されたポーズNo.の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される(ステップB23→B24)。
【0085】
一方、前記表示部19に真似対象画像に最も類似度の高いポーズのモデル画像のポーズNo.に対応するキャラクタ画像が表示された状態で、入力部16に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いモデル画像のポーズNo.に対応する指定のキャラクタ画像が順番に表示される(ステップB23→B25)。
【0086】
そして、所望の類似度のモデルポーズに対応するキャラクタ画像が選択表示され、入力部16に対するユーザ操作に応じて当該表示されたキャラクタ画像が選択されると、この選択されたポーズNo.の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される(ステップB23→B24)。
【0087】
このように、対応アニメ画像取得処理(方式2)では、撮影画像12f1bから抽出設定された真似対象画像としての被写体画像Hnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Hnを真似たポーズのキャラクタとして置き換えられる指定のキャラクタ画像が決定される。
【0088】
この場合、真似対象画像としての被写体画像Hnに対し、指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度を直接評価して置き換えのキャラクタ画像を決定するようにした対応アニメ画像取得処理(方式1)に比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズNo.から置き換えのキャラクタ画像を決定するようにした対応アニメ画像取得処理(方式2)の方が、類似度の評価対象に標準的人物モデルを用いることから被写体画像Hnとの高い類似度が得られやすく、より類似性(真似度)の高いキャラクタ画像を取得できる利点がある。
【0089】
図12は前記画像出力装置10の合成画像作成処理に伴う対応アニメ画像取得処理(方式1)(方式2)での真似対象画像との類似度評価処理を示すフローチャートである。
【0090】
対応アニメ画像取得処理(方式1)での類似度評価処理の場合は指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度を評価し、対応アニメ画像取得処理(方式2)での類似度評価処理の場合は各ポーズ毎のモデル画像との類似度を評価する。
【0091】
図13は前記画像出力装置10の対応アニメ画像取得処理(方式1)での類似度評価処理に伴う指定のキャラクタ画像との類似度評価例を示す図である。
【0092】
図14は前記画像出力装置10の対応アニメ画像取得処理(方式2)での類似度評価処理に伴うモデル画像との類似度評価例を示す図である。
【0093】
類似度評価処理(方式1)の場合、例えば図13(A)に示すように、指定のキャラクタ(女性(1))における先頭のポーズNo.のキャラクタ画像(例えば12c(3)-1)が読み出され(ステップC1)、同図(X)で示す真似対象画像H1との縦・横のサイズが合わされる(ステップC2)。
【0094】
すると、前記真似対象画像H1と縦横サイズの合わされたキャラクタ画像との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズのキャラクタ画像との類似度として記憶される(ステップC3)。
【0095】
ここで、今回の類似度評価対象のポーズNo.のキャラクタ画像が左右非対称の画像であるか否か判断され(ステップC4)、当該ポーズのキャラクタ画像が左右非対称の画像ではないと判断された場合には(ステップC4「No」)、例えば図13(B)に示すように、順次、次のポーズNo.の指定のキャラクタ画像との間でサイズ合わせ処理と重ね合わせ評価値の算出処理とによる類似度の算出,記憶処理が繰り返される(ステップC8→C9→C2〜C4)。
【0096】
一方、図13(B)に示すように、今回の類似度評価対象のポーズNo.のキャラクタ画像が左右非対称のキャラクタ画像(例えば12c(11))であると判断された場合には、当該ポーズのキャラクタ画像が左右反転され(ステップC4→C5)、この反転されたキャラクタ画像12c(11)Rについて真似対象画像H1との縦・横のサイズが合わされる(ステップC6)。
【0097】
すると、前記真似対象画像H1と縦横サイズの合わされた反転キャラクタ画像12c(11)Rとの重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの反転キャラクタ画像との類似度として記憶される(ステップC7)。
【0098】
この後、指定のキャラクタにおける次のポーズNo.のキャラクタ画像がある場合には(ステップC8)、当該次のポーズNo.のキャラクタ画像が順次読み出され(ステップC9)、前記同様に真似対象画像Hnと各ポーズ毎の指定のキャラクタ画像との類似度評価処理が繰り返される(ステップC2〜C7)。
【0099】
これにより、例えば図13で示したように、被写体画像(対象画像)H1に対して「女性(1)」のキャラクタ画像との類似度評価を行った場合には、ポーズNo.(3)-1に対応する「女性(1)」のキャラクタ画像12c(3)-1が最も類似度の高いキャラクタ画像として評価される。
【0100】
次に、類似度評価処理(方式2)の場合、例えば図14(A)に示すように、先頭のポーズNo.のモデル画像(例えば12b(3B))が読み出され(ステップC1)、同図(X)で示す真似対象画像H1との縦・横のサイズが合わされる(ステップC2)。
【0101】
すると、前記真似対象画像H1と縦横サイズの合わされたモデル画像との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズのモデル画像との類似度として記憶される(ステップC3)。
【0102】
ここで、今回の類似度評価対象のポーズNo.のモデル画像が左右非対称の画像であるか否か判断され(ステップC4)、例えば図14(A)で示すように、当該ポーズのモデル画像12b(3B)が左右非対称の画像ではないと判断された場合には(ステップC4「No」)、次のポーズNo.のモデル画像が読み出され(ステップC8→C9)、前記同様に真似対象画像H1と次のポーズのモデル画像との類似度評価処理が繰り返される(ステップC2〜C4)。
【0103】
一方、例えば図14(B)で示すように、今回の類似度評価対象のポーズNo.1Bのモデル画像12b(1B)が左右非対称のモデル画像であると判断された場合には、当該ポーズ1Bのモデル画像が左右反転され(ステップC4→C5)、図14(C)で示すように、この反転されたモデル画像12b(1B)Rについて真似対象画像H1との縦・横のサイズが合わされる(ステップC6)。
【0104】
すると、前記真似対象画像H1と縦横サイズの合わされた反転モデル画像12b(1B)Rとの重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの反転モデル画像12b(1B)Rとの類似度として記憶される(ステップC7)。
【0105】
この後、次のポーズNo.のモデル画像がある場合には(ステップC8)、当該次のポーズNo.のモデル画像が順次読み出され(ステップC9)、前記同様に真似対象画像と各ポーズ毎のモデル画像との類似度評価処理が繰り返される(ステップC2〜C7)。
【0106】
これにより、例えば図14で示したように、被写体画像(対象画像)H1に対してモデル画像との類似度評価を行った場合には、ポーズNo.3Bに対応するモデル画像12b(3B)が最も類似度の高いポーズのモデル画像として評価される。
【0107】
このように、前記図11〜図14を参照して説明した対応アニメ画像取得処理(ステップSB)によって、撮影画像12f1bから抽出設定された真似対象画像としての被写体画像Hnを真似たポーズの指定のキャラクタ画像が決定されると、例えば図4で示したように、前記対応アニメ画像取得処理(図11参照)により取得された、撮影画像12f1bにおいて指定された真似対象画像である被写体H1のポーズの真似をした「女性(1)」のキャラクタ画像12c(3-1)が当該指定の被写体(対象画像)H1と置き換えられて合成される(ステップS8)。
【0108】
この場合、撮影画像12f1bから前記指定された被写体画像(対象画像)H1を含めた4つの被写体画像H2,H3,H4を切り出した撮影背景画像(図示せず)が生成される。そして、前記指定の被写体画像(対象画像)H1に類似の「女性(1)」のキャラクタ画像12c(3-1)と、前記撮影画像12f1bから切り出された残り3つの被写体画像H2,H3,H4とは、前記撮影背景画像(図示せず)に対しその撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に対応して合成される。
【0109】
なお、前記被写体画像H1,H2,H3,H4を切り出した背景画像の生成をせずに、撮影画像12f1bに対して、前記指定の被写体画像(対象画像)H1に類似の「女性(1)」のキャラクタ画像12c(3-1)と、残り3つの被写体画像H2,H3,H4とを、その撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。
【0110】
すると、図14(D)で示したように、被写体画像H1の歩くポーズを真似た「女性(1)」のキャラクタ画像12c(3-1)が当該被写体画像H1と置き換えられて合成されてなる画像データが、前記予め指定されたファイル名(12f1a)に対応するところの撮影画像ファイル(1)内の公開画像ファイル12f1cに記憶保存される(ステップS9)。
【0111】
すなわち、図7(SC1)に示すように、撮影画像12f1b-1が取り込まれて撮影画像ファイル12f1における秘密画像ファイル12f1bに保存され、公開したくない置き換え対象の被写体画像H1として女性の後姿の被写体画像が指定された場合には、図7(PU1)に示すように、当該指定の被写体画像H1に類似の「女性(1)」のキャラクタ画像12c(3-3)が置き換えられて合成された合成画像12f1c-1が作成され、同一ファイル名の撮影画像ファイル12f1における公開画像ファイル12f1cに記憶保存される。
【0112】
また、図7(SC2)に示すように、撮影画像12f1b-2が取り込まれて撮影画像ファイル12f1における秘密画像ファイル12f1bに保存され、公開したくない置き換え対象の被写体画像H1として女性の皿を持つ姿の被写体画像が指定された場合には、図7(PU2)に示すように、当該指定の被写体画像H1に類似の「女性(1)」のキャラクタ画像12c(17)が置き換えられて合成された合成画像12f1c-2が作成され、同一ファイル名の撮影画像ファイル12f1における公開画像ファイル12f1cに記憶保存される。
【0113】
さらに、図7(SC3)に示すように、撮影画像12f1b-3が取り込まれて撮影画像ファイル12f1における秘密画像ファイル12f1bに保存され、公開したくない置き換え対象の被写体画像H1として前向きで歩く女性の被写体画像が指定された場合には、図7(PU3)に示すように、当該指定の被写体画像H1に類似の「女性(1)」のキャラクタ画像12c(3-1)が置き換えられて合成された合成画像12f1c-3が作成され、同一ファイル名の撮影画像ファイル12f1における公開画像ファイル12f1cに記憶保存される。
【0114】
そして、該当ファイル名の撮影画像ファイル12f1に撮影保存すべき一連の画像の撮影が終了すると(ステップP2)、前記秘密画像ファイル12f1bの読み出しキーとなる個人認証データ12f1a(指紋、パスワードなど)が認証情報入力部17xから入力されて同一ファイル名の撮影画像ファイル12f1に登録設定される(ステップP3)。
【0115】
このようにして、撮影した元の撮影画像12f1b-1,-2,-3,…が撮影画像ファイル(1)12f1における秘密画像ファイル12f1bに保存され、当該各撮影画像12f1b-1,-2,-3,…内で第三者に見られたくない被写体画像H1をそのポーズを真似した任意の種類のキャラクタ画像12c(n)に置き換えてなる合成画像12f1c-1,-2,-3,…が同一撮影画像ファイル(1)12f1における公開画像ファイル12f1cに対応保存されると共に、その個人認証データ12f1aも対応付けられて設定された状態で、これらの画像ファイルを表示部19の表示画面に表示させて見るには、図15における画像表示処理が起動される。
【0116】
図15は前記画像出力装置10の画像表示処理を示すフローチャートであり、同図(A)はその画像表示処理(方式1)を示すフローチャート、同図(B)はその画像表示処理(方式2)を示すフローチャートである。
【0117】
画像表示処理(方式1)の場合には、入力部16での入力操作により表示させるべき画像ファイルのファイル名が指定されると(ステップD11)、認証情報入力部17xからユーザ認証情報が入力されたか否か判断される(ステップD12)。
【0118】
ここで、ユーザ認証情報の入力がないと判断された場合には、前記指定のファイル名に対応するところの撮影画像ファイル12fnにおける公開画像ファイル12f1c内の合成画像が読み出され、例えば図7(PU1)〜(PU3)で示したように、第三者に見られたくない(公開したくない)被写体画像H1がそのポーズをまねたキャラクタ画像に置き換え合成されてなる画像12f1c-1,-2,-3,…として表示出力される(ステップD13)。
【0119】
一方、前記ステップD12において、ユーザ認証情報の入力がされたと判断されると共に、当該入力されたユーザ認証情報が前記指定のファイル名に対応するところの撮影画像ファイル12fnに登録された認証データ12f1aと一致する正しい認証情報であると判断された場合には(ステップD14)、該当の撮影画像ファイル12fnにおける秘密画像ファイル12f1b内の撮影画像が読み出され、例えば図7(SC1)〜(SC3)で示したように、何ら置き換え合成していない元の撮影画像12f1b-1,-2,-3,…として表示出力される(ステップD15)。
【0120】
一方、前記ステップD14において、入力されたユーザ認証情報が前記指定のファイル名に対応するところの撮影画像ファイル12fnに登録された認証データ12f1aと一致せず不正な認証情報であると判断された場合には、前記認証情報が入力されない場合(ステップD12)と同様に、該当の撮影画像ファイル12fnにおける公開画像ファイル12f1c内の合成画像が読み出され、図7(PU1)〜(PU3)で示したように、第三者に見られたくない(公開したくない)被写体画像H1がそのポーズをまねたキャラクタ画像に置き換え合成されてなる画像12f1c-1,-2,-3,…として表示出力される(ステップD13)。
【0121】
この画像表示処理(方式1)によれば、ファイル名の指定と共に正しいユーザ認識情報が入力された場合には、指定ファイル名の撮影画像ファイル12fnにおける秘密画像ファイル12fnbから合成処理していない元の撮影画像12fnb-1,-2,-3,…が読み出されて表示されるようになり、またユーザ認識情報が入力されない場合や不正な認識情報が入力された場合には、指定ファイル名の撮影画像ファイル12fnにおける公開画像ファイル12fncから、見られたくない被写体画像H1をまねのキャラクタ画像で置き換え合成処理した画像12fnc-1,-2,-3,…が読み出されて表示されるようになり、自分の恋人など、第三者には秘密の撮影画像が保存されている場合でも、安心して第三者の操作に任せて画像の表示を行わせることができる。
【0122】
画像表示処理(方式2)の場合には、入力部16での入力操作により表示させるべき画像ファイルのファイル名が指定されると(ステップD21)、当該指定のファイル名に対応するところの撮影画像ファイル12fnにおける公開画像ファイル12f1c内の合成画像が読み出され、例えば図7(PU1)〜(PU3)で示したように、第三者に見られたくない(公開したくない)被写体画像H1がそのポーズをまねたキャラクタ画像に置き換え合成されてなる画像12f1c-1,-2,-3,…として表示出力される(ステップD22)。
【0123】
すると、この公開画像ファイル12f1cによる合成画像12f1c-1,-2,-3,…の表示出力状態にあって、認証情報入力部17xからユーザ認証情報が入力されたか否か判断される(ステップD23)。
【0124】
ここで、ユーザ認証情報の入力がないと判断された場合には、前記公開画像ファイル12f1cによる合成画像12f1c-1,-2,-3,…の表示出力状態がそのまま維持される(ステップD23(No))。
【0125】
一方、前記ステップD23において、ユーザ認証情報の入力がされたと判断されると共に、当該入力されたユーザ認証情報が前記指定のファイル名に対応するところの撮影画像ファイル12fnに登録された認証データ12f1aと一致する正しい認証情報であると判断された場合には(ステップD24)、該当の撮影画像ファイル12fnにおける秘密画像ファイル12f1b内の撮影画像が読み出され、例えば図7(SC1)〜(SC3)で示したように、何ら置き換え合成していない元の撮影画像12f1b-1,-2,-3,…として表示出力される(ステップD25)。
【0126】
この画像表示処理(方式2)によれば、ファイル名の指定に応じて、まず当該指定ファイル名の撮影画像ファイル12fnにおける公開画像ファイル12fncから、見られたくない被写体画像H1をまねのキャラクタ画像で置き換え合成処理した画像12fnc-1,-2,-3,…が読み出されて表示され、この後、正しいユーザ認識情報が入力された場合は、同一撮影画像ファイル12fnにおける秘密画像ファイル12fnbから合成処理していない元の撮影画像12fnb-1,-2,-3,…が読み出されて表示されるので、デジタルカメラ付き携帯電話10Aやデジタルカメラ10Bとしての本画像出力装置10を第三者の操作に任せて画像の表示を行わせたとしても、自分の恋人などが写っている第三者には秘密の撮影画像については当該秘密の被写体像がまねのキャラクタ画像に置き換えられた合成画像12fnc-1,-2,-3,…として表示され、正しい認証情報を知っているユーザ本人だけがその元の撮影画像12fnb-1,-2,-3,…を表示させて見ることができる。
【0127】
なお、本実施形態では、秘密画像ファイル12fnbに撮影保存される元の撮影画像12fnb-1,-2,-3,…について、秘密にしたい被写体画像H1を指定することで、当該指定の被写体画像H1をそのまねのキャラクタ画像に置き換えて合成した合成画像12fnc-1,-2,-3,…を作成して公開画像ファイル12fncに記憶させておき、正しいユーザ認証情報12fnaが入力されない状態では、この公開画像ファイル12fncに記憶させた合成画像12fnc-1,-2,-3,…を表示させることで、第3者には秘密の被写体画像H1を見せずにその撮影画像の雰囲気が分かるような表示を行う構成としたが、公開画像ファイル12fncには秘密画像ファイル12fnbに保存される元の撮影画像12fnb-1,-2,-3,…のそれぞれに対応付けた秘密対象の被写体画像H1の位置とこれを置き換えるべきまねのキャラクタ画像の種類だけを記憶させておき、この公開画像ファイル12fncの出力に際して前記元の撮影画像12fnb-1,-2,-3,…に対する被写体画像H1の置き換え合成処理をその都度行い表示出力する構成としてもよい。
【0128】
したがって、前記構成の画像出力装置10による公開/秘密画像設定表示機能によれば、任意のファイル名及びユーザ認証データ12fnaに対応付けて、画像入力部17を介して撮影された元の撮影画像12fnb-1,-2,…を秘密画像ファイル12fnbとして保存すると共に、元の撮影画像12fnb-1,-2,…における秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像12fnc-1,-2,…を作成して公開画像ファイル12fncに記憶させる。そして、画像の表示操作(方式2)に伴いファイル名が指定されると、指定のファイル名に対応する撮影画像ファイル(n)12fn内の公開画像ファイル12fncから秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像12fnc-1,-2,…が読み出されて表示され、正しいユーザ認証データ12fnaが入力されることで、前記秘密画像ファイル12fnに保存された元の撮影画像12fnb-1,-2,…が読み出されて表示されるので、第三者の操作によって元の撮影画像12fnb-1,-2,…がそのまま表示されるのを防止することができ、しかも合成画像12fnc-1,-2,…であっても、秘密対象の被写体画像Hnはそのまねのキャラクタ画像に置き換えられて合成されているので、撮影の構図やその雰囲気については十分第3者にも表現することができる。
【0129】
一方、画像の表示操作(方式1)に伴いファイル名が指定されると共に、正しいユーザ認証データ12fnaが入力された場合には、指定のファイル名に対応する撮影画像ファイル(n)12fn内の元の撮影画像12fnb-1,-2,…が読み出されて表示され、正しいユーザ認証データ12fnaが入力されなかった場合には、同一撮影画像ファイル(n)12fn内の公開画像ファイル12fncから秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像12fnc-1,-2,…が読み出されて表示されるので、ユーザ本人によってのみ元の撮影画像1212fnb-1,-2,…をそのまま表示させて見ることができ、第三者であっても保存画像の表示操作を安心して行わせることができる。
【0130】
また、前記構成の画像出力装置10による合成画像作成処理に伴う対象画像抽出機能(方式1)によれば、画像入力部17を介して所定のタイミングで順次入力される一連の撮影画像が画像処理ワークエリアに記憶され、この一連の撮影画像のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出されるので、撮影画像を含む一連の取り込み画像に基づき抽出された各被写体画像Hn…の中から置き換え合成すべき秘密対象の被写体画像Hnを容易に指定できるようになる。
【0131】
また、前記構成の画像出力装置10による合成画像作成処理に伴う対象画像抽出機能(方式2)によれば、画像入力部17を介して入力される撮影画像の各部分毎に距離センサ18による距離測定が行われ、背景画像と被写体画像との距離差に基づき近距離側として判別される各被写体画像Hn…がそのブロック毎に抽出されるので、撮影時点の1枚の取り込み画像に基づき抽出された各被写体画像Hn…の中から置き換え合成すべき秘密対象の被写体画像Hnを容易に指定できるようになる。
【0132】
また、前記構成の画像出力装置10による合成画像作成処理に伴う対応アニメ画像取得機能(方式1)によれば、撮影画像12fnbから抽出設定された真似対象画像としての被写体画像Hnに対し、指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度が直接評価され、これに基づき被写体画像Hnを真似たポーズのキャラクタとして置き換えられる指定のキャラクタ画像が決定されるので、秘密対象の被写体画像Hnにまねた置き換え合成のためのキャラクタ画像を容易に取得できるようになる。
【0133】
また、前記構成の画像出力装置10による合成画像作成処理に伴う対応アニメ画像取得機能(方式2)によれば、撮影画像12fnbから抽出設定された真似対象画像としての被写体画像Hnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Hnを真似たポーズのキャラクタとして置き換えられる指定のキャラクタ画像が決定されるので、秘密対象の被写体画像Hnにまねた置き換え合成のためのキャラクタ画像を容易に取得できるだけでなく、類似度の評価対象に標準的人物モデルを用いることから被写体画像Hnとの高い類似度が得られやすく、より類似性(真似度)の高いキャラクタ画像を取得できるようになる。
【0134】
なお、前記実施形態における合成画像作成機能では、撮影画像から抽出された被写体画像Hnに対応するポーズのキャラクタ画像を選択的に取得して、この取得されたキャラクタのアニメ画像を置き換え合成する構成としたが、実写や実写に近いコンピュータグラフィックスによる様々な表情の顔画像や人物画像を予め記憶させておき、この実写などによる顔画像や人物画像を撮影画像から抽出された被写体画像Hnに対応する真似画像として置き換え合成する構成としてもよい。
【0135】
また、前記実施形態では、撮影画像が静止画である場合について説明したが、画像入力部17を介して例えばデジタルビデオムービー17Bにより撮影入力される動画像に基づいて、当該動画像内の背景画像に対して時系列的に変化する被写体画像Hn…を順次抽出し、この順次抽出された被写体画像Hn…の中で指定した秘密対象の被写体画像Hnに対応するポーズのキャラクタ画像を選択的に取得して、前記撮影動画像内の指定の被写体画像Hnと置き換え合成する構成としてもよい。
【0136】
なお、前記実施形態の画像出力装置10では、デジタルカメラ付き携帯電話10Aやデジタルカメラ10Bのその本体において、撮影した元の撮影画像12fnb-1,-2,…を秘密画像ファイル12fnbに保存すると共に、当該元の撮影画像12fnb-1,-2,…それぞれにおける秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像12fnc-1,-2,…を作成して公開画像ファイル12fncに記憶させる。そして、この撮影装置10A,10B本体での画像表示操作に伴い、正規のユーザ認証データ12fnaが入力された場合には前記秘密画像ファイル12fnbに保存された元の撮影画像12fnb-1,-2,…を表示出力し、正規のユーザ認証データ12fnaが入力されない場合には前記公開画像ファイル12fncに保存された合成画像12fnc-1,-2,…を表示出力する構成としたが、次の第2実施形態において説明するように、インターネットなどの通信ネットワークN上にあるWebサーバ30において前記同様の撮影画像ファイルの保存機能を持たせ、このWebサーバ30に対する各通信端末からのアクセスに伴い、正規のユーザ認証データが入力されたか否かによって、前記同様に元の撮影画像か又はその合成画像を選択出力する構成としてもよい。
【0137】
(第2実施形態)
図16は本発明の第2実施形態に係る画像配信サーバ30の構成を示すブロック図である。
【0138】
この画像配信サーバ30は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)31が備えられる。
【0139】
CPU31は、メモリ32内に予め記憶されたサーバ制御プログラム、あるいはCD−ROMなどの外部記録媒体33から記録媒体読取部34を介して前記メモリ32に読み込まれたサーバ制御プログラム、あるいはインターネットN上の他のWebサーバ(この場合はプログラムサーバ)から電送制御部35を介して前記メモリ32に読み込まれたサーバ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ32に記憶されたサーバ制御プログラムは、電送制御部35を介して接続されるインターネットN上の各通信端末(デジタルカメラ付き携帯電話10A、通信機能付きデジタルカメラ10B、その他PC(personal computer)端末)などや他のWebサーバとの通信信号に応じて起動される。
【0140】
前記CPU31には、前記メモリ32、記録媒体読取部34、電送制御部35が接続される他に、LCDからなる表示部36などが接続される。
【0141】
そして、メモリ32には、当該画像配信サーバ30の全体の動作を司るシステムプログラムや電送制御部35を介してインターネットN上の各通信端末(デジタルカメラ付き携帯電話10A、通信機能付きデジタルカメラ10B、その他PC(personal computer)端末)などや他のWebサーバとデータ通信するための通信プログラムが記憶される他に、前記インターネットN上の各通信端末(10A,10Bなど)とのアクセスに基づき、それぞれそのユーザ端末毎の撮影画像ファイル32f1,32f2,…を生成管理し、撮影画像データを保存・配信したり、当該撮影画像内の指定の対象画像(例えば人物像)に応じた対応画像(例えばまね人物像)への置き換え合成保存・配信処理などを行うための画像出力処理プログラム32aなどが記憶される。
【0142】
従って、この画像配信サーバ30のメモリ32にも、前記画像出力装置10のメモリ12と同様に、モデルポーズ画像メモリ32b、キャラ1「女性(1)」ポーズ画像メモリ32c、キャラ2「女性(2)」ポーズ画像メモリ32d、キャラ3「男性(1)」ポーズ画像メモリ32eなどが用意され、さらにそのワークエリアには、当該画像配信サーバ30によって撮影画像データが管理される各ユーザ端末毎の撮影画像ファイル32f1,32f2,…などが用意される。
【0143】
各ユーザ端末毎の撮影画像ファイル(1)32f1,(2)32f2,…には、そのそれぞれのファイル(1)(2)…毎に、ユーザ名:ファイル名:ユーザ認証データ(指紋画像やパスワードなど)32f1a,32f2a,…に対応付けされた秘密画像ファイル32f1b,32f2b,…と公開画像ファイル32f1c,32f2c,…とが記憶される。
【0144】
秘密画像ファイル32f1b,32f2b,…には、各対応するアクセス元のユーザ端末(10Aや10Bなど)から受信された撮影画像データがそのまま元の撮影画像1,2,…として記憶保存され、公開画像ファイル32f1c,32f2c,…には、前記秘密画像ファイル32f1b,32f2b,…に記憶された撮影画像1,2,…それぞれの指定の対象画像(例えば人物像)をそのポーズのまねをするキャラクタの画像(図2参照)に置き換えた合成画像1,2,…が記憶される。
【0145】
この秘密画像ファイル32f1b,32f2b,…に記憶される元の撮影画像データ32fnb-1,-2,…と公開画像ファイル32f1c,32f2c,…に記憶される合成画像データ32fnc-1,-2,…との関係については、前記第1実施形態にて説明した画像出力装置10と同様であるためその説明を省略する。
【0146】
このような構成の画像配信サーバ30をインターネットなどの通信ネットワークN上に開設し、各ユーザ端末としてのデジタルカメラ付き携帯電話10Aや通信機能付きデジタルカメラ10Bなどとの通信を行い、各ユーザ端末における撮影画像を当該画像配信サーバ30において前記第1実施形態の画像出力装置10と同様に管理することで、各ユーザ端末32fna毎に元の撮影画像32fnbに対応付けて合成画像32fncを生成保存することができ、またこれらの保存画像を各ユーザ端末からの要求に応じて配信することができる。
【0147】
この場合、各撮影画像ファイル32fnに保存された秘密画像ファイル32fnb内の元の撮影画像32fnb-1,-2,…は、その何れも各対応するユーザ端末の認証データ32fnaが入力一致判断された場合にのみ読み出されて配信される。
【0148】
したがって、前記構成の画像配信サーバ30において各ユーザ端末との間でアクセスしながら実施される公開/秘密画像設定機能やこれに伴う合成画像作成機能、そして画像配信機能によれば、ユーザ端末とのアクセスに伴い受信されたユーザ名:ファイル名:ユーザ認証データ32fnaに対応付けて、撮影受信された元の撮影画像32fnb-1,-2,…を秘密画像ファイル32fnbとして保存すると共に、元の撮影画像32fnb-1,-2,…における秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像32fnc-1,-2,…を作成して公開画像ファイル32fncに記憶させる。この後、ユーザ端末とのアクセスに伴いファイル名が指定されると、該当ユーザのファイル名32fnaに対応する撮影画像ファイル(n)32fn内の公開画像ファイル32fncから秘密対象の被写体画像Hnをそのまねのキャラクタ画像に置き換えて合成した合成画像32fnc-1,-2,…が読み出されて配信され、正しいユーザ認証データ32fnaが入力されることで、前記秘密画像ファイル32fnに保存された元の撮影画像32fnb-1,-2,…が読み出されて配信されるので、第三者端末からのアクセス操作によって元の撮影画像32fnb-1,-2,…がそのまま配信出力されるのを防止することができ、しかも合成画像32fnc-1,-2,…であっても、秘密対象の被写体画像Hnはそのまねのキャラクタ画像に置き換えられて合成されているので、撮影の構図やその雰囲気については配信先の第3者にも十分表現することができる。
【0149】
なお、前記各実施形態において記載した画像出力装置10や画像配信装置30による各処理の手法、すなわち、図8のフローチャートに示す公開/秘密画像設定処理、図9のフローチャートに示す当該公開/秘密画像設定処理に伴う合成画像作成処理、図10のフローチャートに示す当該合成画像作成処理に伴う対象画像抽出処理、図11のフローチャートに示す当該合成画像作成処理に伴う対応アニメ画像取得処理、図12のフローチャートに示す当該対応アニメ画像取得処理に伴う真似対象画像との類似度評価処理、図15のフローチャートに示す画像表示処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録媒体13(33)に格納して配布することができる。そして、通信ネットワーク(インターネット)Nとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体13(33)に記憶されたプログラムを記録媒体読取部14(34)によってメモリ12(32)に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した公開/秘密画像設定・表示(配信)機能を実現し、前述した手法による同様の処理を実行することができる。
【0150】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した画像処理機能を実現することもできる。
【0151】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【0152】
【発明の効果】
以上のように本発明に係る画像出力装置よれば、撮影画像の中の例えば秘密の被写体人物画像をこれに応じたまねキャラクタ画像に置き換えて合成した合成画像を作成し、通常の画像出力要求時には当該合成画像を出力でき、撮影者本人などの認証情報が入力された場合にのみ元の撮影画像を出力できることになる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る画像出力装置10の電子回路の構成を示すブロック図。
【図2】前記画像出力装置10のキャラ1「女性(1)」ポーズ画像メモリ12c:キャラ2「女性(2)」ポーズ画像メモリ12d:キャラ3「男性(1)」ポーズ画像メモリ12eにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図。
【図3】前記画像出力装置10のモデルポーズ画像メモリ12bに記憶されたモデルポーズに対応するモデル画像を示す図。
【図4】前記画像出力装置10による公開/秘密画像設定モード指定時のキャラクタ画像「女性(1)」による対象画像の置き換え合成状態を示す図。
【図5】前記画像出力装置であるデジタルカメラ付き携帯電話10Aの外観構成を示す図であり、同図(A)はその全体斜視図、同図(B)はその部分拡大図。
【図6】前記画像出力装置であるデジタルカメラ10Bの外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図。
【図7】前記画像出力装置10の公開/秘密画像設定処理に伴い撮影画像ファイル12f1にユーザ認証データ12f1aを対応付けて保存管理される秘密画像ファイル12f1bと公開画像ファイル12f1cを示す図であり、同図(SC1)〜(SC3)は秘密画像ファイル12f1bに保存管理された元の撮影画像12f1b-1〜12f1b-3を示す図、同図(PU1)〜(PU3)は公開画像ファイル12f1cに保存管理された合成画像12f1c-1〜12f1c-3を示す図。
【図8】前記画像出力装置10による公開/秘密画像設定処理を示すフローチャート。
【図9】前記画像出力装置10の公開/秘密画像設定処理に伴う合成画像作成処理を示すフローチャート。
【図10】前記画像出力装置10の合成画像作成処理に伴う対象画像抽出処理を示すフローチャートであり、同図(A)はその対象画像抽出処理(方式1)を示すフローチャート、同図(B)はその対象画像抽出処理(方式2)を示すフローチャート。
【図11】前記画像出力装置10の合成画像作成処理に伴う対応アニメ画像取得処理を示すフローチャートであり、同図(A)はその対応アニメ画像取得処理(方式1)を示すフローチャート、同図(B)はその対応アニメ画像取得処理(方式2)を示すフローチャート。
【図12】前記画像出力装置10の合成画像作成処理に伴う対応アニメ画像取得処理(方式1)(方式2)での真似対象画像との類似度評価処理を示すフローチャート。
【図13】前記画像出力装置10の対応アニメ画像取得処理(方式1)での類似度評価処理に伴う指定のキャラクタ画像との類似度評価例を示す図。
【図14】前記画像出力装置10の対応アニメ画像取得処理(方式2)での類似度評価処理に伴うモデル画像との類似度評価例を示す図。
【図15】前記画像出力装置10の画像表示処理を示すフローチャートであり、同図(A)はその画像表示処理(方式1)を示すフローチャート、同図(B)はその画像表示処理(方式2)を示すフローチャート。
【図16】本発明の第2実施形態に係る画像配信サーバ30の構成を示すブロック図。
【符号の説明】
10 …画像出力装置
10A…デジタルカメラ付き携帯電話
10B…通信機能付きデジタルカメラ
30 …画像配信サーバ
11、31…CPU
12、32…メモリ
12a、32a…画像出力処理プログラム
12b、32b…モデルポーズ画像メモリ
12c、32c…キャラ1「女性(1)」ポーズ画像メモリ
12d、32d…キャラ2「女性(2)」ポーズ画像メモリ
12e、32e…キャラ3「男性(1)」ポーズ画像メモリ
12fn、32fn…撮影画像ファイル
12fna…ファイル名:ユーザ認証データ
32fna…ユーザ名:ファイル名:ユーザ認証データ
12fnb、32fnb…秘密画像ファイル(元の撮影画像)
12fnc、32fnc…公開画像ファイル(合成画像)
13、33…外部記録媒体
14、34…記録媒体読取部
15、35…電送制御部
16 …入力部
17 …画像入力部
17A…デジタルカメラ
17B…デジタルビデオムービー
17C…VTR(画像再生装置)
17x…認証情報入力部
18 …距離センサ
19、36…表示部
20 …画像出力部
20A…メモリカード
20B…VTR(録画装置)
20C…画像印刷機
21 …Webサーバ
N …通信ネットワーク(インターネット)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image output device, an image output method, an image output processing program, an image distribution processing program, an image distribution processing program, and an image distribution processing program for synthesizing and outputting an image corresponding to a captured image in a digital camera, a camera-equipped mobile terminal, or the like. .
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there are various types of still cameras and video cameras that synthesize and display or print and output another image with a captured image.
[0003]
For example, an animation image such as a flower or a popular character prepared in advance at a fixed position of the shooting frame is output and synthesized, or an animation image prepared in advance is combined and output at a desired position in the shooting frame. Things are in practical use.
[0004]
In addition, an image captured by a digital camera can be displayed on a display screen of a personal computer and combined with another image for editing. In this case, for example, another image can be selectively selected from other image files. It is obtained by cutting out or downloading from any homepage screen on the Internet, and is synthesized at a desired position on the photographed image.
[0005]
In addition, an arbitrary region (for example, a face portion) of an image photographed by a digital camera is cut out, and this cut-out image is combined with a prepared animation image (for example, the face portion of an anime character) to create a new another image. It is also conceivable to create or to synthesize an animation image associated with a specified area of an arbitrary image. (For example, refer to Patent Document 1.)
[0006]
[Patent Document 1]
JP 2001-230972 A
[0007]
[Problems to be solved by the invention]
However, in such a conventional image processing system, a pre-prepared image is fixed as it is with respect to a photographed image, or is synthesized and output at a desired position, or is prepared in advance for an arbitrary cut-out image. Since the image is only synthesized and output, the synthesized image other than the captured image is always fixed and unchanged, and even if various images are downloaded from the Internet and used, Because it is just a irrelevant decoration, there is a problem that it is not interesting and can easily get bored.
[0008]
On the other hand, with the recent widespread use of small digital cameras and mobile phones with digital cameras, there is an increasing situation in which each user always carries a captured image and the captured image can be seen by a third party.
[0009]
However, if there is a person in the captured image that you do not want to be seen by a third party, such as a lover, you can overlay the image on the position of the person you do not want to see the prepared animation image. However, since this animation image is not related to the image of the person who does not want to be seen and does not represent the person image, there is a problem that the original image of the photographed image is damaged.
[0010]
Moreover, in such a case, only when the user himself / herself views the captured image, the original captured image can be easily viewed, and when the third party views, the combined captured image can be displayed. Is desirable.
[0011]
  The present invention has been made in view of the above-described problems, and does not simply synthesize a fixed image with an image to be hidden in a photographed image, but the image to be hidden (for example, a human image). An object of the present invention is to provide an image output apparatus, an image output processing program, and an image distribution server that can output an original photographed image only for the user himself / herself by replacing and synthesizing with an image corresponding to the expression. And
[0012]
[Means for Solving the Problems]
  An image output apparatus according to the present invention includes a captured image acquisition unit that acquires a captured image, a captured image storage unit that stores a captured image acquired by the captured image acquisition unit, and a plurality of character images that imitate a person's pose. Character image storage means for storing, a similarity evaluation means for evaluating the similarity between the person image in the captured image stored in the captured image storage means and each character image stored by the character image storage means, Image composition means for performing composition processing for replacing a person image in the photographed image stored in the photographed image storage means with a character image imitating a person's pose evaluated to be similar by the similarity evaluation means; and an image from the outside When regular authentication information is input in response to an output request, the captured image stored in the captured image storage means is output, and the image is output from the outside. If the authentication information of the normal with the determined is not inputted, characterized by comprising an image output means for outputting the image synthesized processed by the image synthesizing unit.
[0013]
  According to this,Create a composite image by combining, for example, a secret subject person image in the captured image with a mimic character image corresponding to this,When a normal image output request is made, the composite image can be output, and the original captured image can be output only when authentication information such as the photographer is input.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0028]
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an electronic circuit of the image output apparatus 10 according to the first embodiment of the present invention.
[0029]
The image output device 10 is configured as a portable device such as a digital camera, a mobile phone with a digital camera, or a PDA (personal digital assistants) with a digital camera. The image output device 10 is a program recorded on various recording media or transmitted. The electronic circuit is provided with a central processing unit (CPU) 11.
[0030]
The CPU 11 is a device control program stored in the memory 12 in advance, or a device control program read from the external recording medium 13 such as a CD-ROM into the memory 12 via the recording medium reading unit 14 or on the Internet N. The device stored in the memory 12 controls the operation of each part of the circuit in accordance with the device control program read into the memory 12 from the Web server 21 (in this case, the program server) via the power transmission control unit 15. The control program is an input signal corresponding to a user operation from the input unit 16 including a key or a touch panel, an image signal input via the image input unit 17, or a personal authentication input via the authentication information input unit 17x. Information (fingerprint images, passwords, etc.) or images connected via the transmission control unit 15 It is activated in response to the Web server 21 ... and communication signals over the Internet N.
[0031]
The CPU 11 is connected to the memory 12, the recording medium reading unit 14, the transmission control unit 15, the input unit 16, the image input unit 17, and the authentication information input unit 17 x, and a display unit including a distance sensor 18 and an LCD. 19, an image output unit 20 and the like are connected.
[0032]
The image input unit 17 inputs captured image data, and the captured image data is selectively acquired from a digital camera 17A, a digital video movie 17B, and a VTR (image reproduction device) 17C.
[0033]
The distance sensor 18 detects the distance to the subject of the captured image input by the image input unit 17.
[0034]
The image output unit 20 outputs image data processed by the present apparatus based on the captured image input from the image input unit 17, and the output image data includes a memory card 20A, a VTR (recording apparatus) 20B, The image is selectively output to the image printing machine 20C, and the image is stored, recorded, and printed.
[0035]
The memory 12 stores a system program that controls the overall operation of the image output apparatus 10 and a communication program for data communication with each Web server 21 on the Internet N via the transmission control unit 15. Through the image input unit 17 and the image output unit 20, the image output device 10 performs a replacement composite output process to a corresponding image (for example, a person image) according to a specified target image (for example, a person image) in the photographed image. An image output processing program 12a to be executed is stored.
[0036]
The memory 12 also includes a model pose image memory 12b, a character 1 “female (1)” pose image memory 12c, a character 2 “female (2)” pose image memory 12d, and a character 3 “male (1)” pose image. A memory 12e and the like are prepared, and a photographed image file (1) 12f1, (2) 12f2,.
[0037]
Each captured image file (1) 12f1, (2) 12f2,... Has a file name and user authentication data (fingerprint image, password, etc.) 12f1a, 12f2a,. .. And secret image files 12f1b, 12f2b,... And public image files 12f1c, 12f2c,.
[0038]
In the secret image files 12f1b, 12f2b,..., The captured image data for each captured image file (1) 12f1, (2) 12f2,... Is stored as the original captured images 1, 2,. , 12f2c,... Are assigned to the respective captured images 1, 2,... Stored in the corresponding secret image files 12f1b, 12f2b,... In the same captured image file (1) 12f1, (2) 12f2,. Composite images 1, 2,... In which the target image (for example, a human figure) is replaced with an image of a character that imitates the pose (see FIG. 2) is stored.
[0039]
In other words, the composite images 1, 2,... Obtained by replacing the designated target images in the captured image with the imitation character images are set as the public image files 12f1c, 12f2c,. Are taken as secret image files 12f1b, 12f2b,... And are stored and saved in association with user authentication data 12f1a, 12f2a,.
[0040]
FIG. 2 shows the character 1 “female (1)” pose image memory 12c of the image output device 10: character 2 “female (2)” pose image memory 12d: character 3 “male (1)” pose image memory 12e. It is a figure which shows each character image corresponding to various pose made.
[0041]
The various pose images of each character stored in the pose image memories 12c, 12d, and 12e of the character 1 “female (1)”, 2 “female (2)”, and 3 “male (1)” are images. This is used as an imitation image corresponding to the pose of the subject image (target image) on the photographed image input from the input unit 17. Are stored in association with each other.
[0042]
FIG. 3 is a diagram showing a model image corresponding to the model pose stored in the model pose image memory 12b of the image output apparatus 10. As shown in FIG.
[0043]
The model images of various poses stored in the model pose image memory 12b are used for acquiring similar model images corresponding to the pose of the subject image (target image) on the photographed image input from the image input unit 17. Each pose has its pose No. Are stored in association with each other, and each pose No. is stored. Three types of model images of variations A, B, and C are stored every time.
[0044]
Each character image stored in the character 1 “female (1)” pose image memory 12c, the character 2 “female (2)” pose image memory 12d, and the character 3 “male (1)” pose image memory 12e is stored in each character image. Are all pose Nos. Stored in the model pose image memory 12b. Character images of the same pose corresponding to (No. 1A, 1B, 1C, 2A, 2B, 2C,..., NA, nB, nC) are prepared and stored.
[0045]
In addition, an image processing work area (not shown) is prepared in the memory 12, and image data processed according to the image output processing program 12a is temporarily stored in the image processing work area according to the image processing. Is done.
[0046]
An outline of the composite image creation operation of the image output apparatus 10 configured as described above will be described.
[0047]
FIG. 4 is a diagram showing a replacement image composition state of the target image by the character image “female (1)” when the image output device 10 designates the public / secret image setting mode.
[0048]
For example, from a photographed image 12f1b obtained by photographing four subjects H1 to H4 as shown in FIG. 4A, a designated subject image (target image) H1 to be replaced as shown in FIG. 4B is obtained. When “female (1)” is designated as the replacement character image, the pose No. similar to the pose of the designated subject image (target image) H1 as shown in FIG. A character image of “Women (1)” of “3-1 Walking (front)” is read from the character 1 “Women (1)” pose image memory 12c.
[0049]
On the other hand, a photographic background image (not shown) is generated by cutting out four subject images H2, H3, and H4 including the designated subject image (target image) H1 from the photographic image 12f1b.
[0050]
Then, as shown in FIG. 4D, the character “female (1)” similar to the designated subject image (target image) H1 read from the character 1 “female (1)” pose image memory 12c. The image 12c (3-1) and the remaining three subject images H2, H3, and H4 cut out from the photographed image 12f1b are located at the subject positions in order of increasing photographing distance with respect to the photographed background image (not shown). Synthesized correspondingly.
[0051]
As a result, the character image 12c (3-1) of “female (1)” imitating the pose of the designated subject (target image) H1, such as a female friend (lover) who wants to keep secret (hidden) in the photographed image 12f1b. ) Is replaced with the designated subject (target image) H1, and is combined and saved in the public image file 12f1c.
[0052]
As a result, the original photographed image shown in FIG. 4A is stored in the secret image file 12f1b of the photographed image file (1) 12f1, and the composition shown in FIG. 4D is stored in the public image file 12f1c. Images are stored and managed.
[0053]
In the image display process in the image output apparatus 10, the original captured image stored in the secret image file 12f1b is read and displayed only when correct user authentication data 12f1a is input. The composite image stored in the public image file 12f1c is read and displayed.
[0054]
Next, a detailed image processing operation by the image output apparatus 10 having the above configuration will be described.
[0055]
Here, a case where the image output apparatus 10 is implemented as a mobile phone 10A with a digital camera or a digital camera 10B will be described.
[0056]
FIGS. 5A and 5B are views showing an external configuration of a mobile phone 10A with a digital camera as the image output device. FIG. 5A is an overall perspective view and FIG. 5B is a partially enlarged view thereof.
[0057]
In the mobile phone 10A with a digital camera, an authentication information input unit 17x for inputting a fingerprint image as user authentication data 12fna is provided at the lower end of the input unit 16 on which various keys are arranged.
[0058]
6A and 6B are diagrams showing an external configuration of the digital camera 10B as the image output apparatus. FIG. 6A is a front view thereof, and FIG. 6B is a rear view thereof.
[0059]
The input unit 16 of the digital camera 10B includes a “MENU” key 16a for displaying a menu screen, and a function for switching between a shooting mode (REC) and a playback mode (PLAY).
A switch key 16b, a shutter key 16c for instructing capturing of a photographed image, and a single finger up, down, left and right for operations such as data selection on the display screen (19), cursor movement and selection data determination. A selection / determination key 16d is provided.
[0060]
An authentication information input unit 17x for inputting a fingerprint image as user authentication data 12fna is provided at the head of the selection / decision key 16d.
[0061]
FIG. 7 is a diagram showing a secret image file 12f1b and a public image file 12f1c that are stored and managed in association with the user authentication data 12f1a in association with the photographed image file 12f1 in accordance with the public / secret image setting process of the image output apparatus 10. FIGS. (SC1) to (SC3) are diagrams showing original captured images 12f1b-1 to 12f1b-3 stored and managed in the secret image file 12f1b, and (PU1) to (PU3) are stored and managed in the public image file 12f1c. It is a figure which shows the synthesized images 12f1c-1 to 12f1c-3.
[0062]
FIG. 8 is a flowchart showing a public / secret image setting process by the image output apparatus 10.
[0063]
When an arbitrary image is taken with the digital camera mobile phone 10A (see FIG. 5) or the digital camera 10B (see FIG. 6) which is the image output device 10, a new creation mode is set according to the operation at the input unit 16. When the file name is specified and the file name is input, the file name (12f1a) is set in the captured image file (1) 12f1 in the memory 12 (step P1), and the process proceeds to the composite image creation process in FIG. PS).
[0064]
FIG. 9 is a flowchart showing a composite image creation process accompanying the public / secret image setting process of the image output apparatus 10.
[0065]
First, the type of character (“female (1)”, “female (2)”, “male (1)”, etc.) to be combined with the designated subject image on the photographed image is designated in advance by operating the input unit 16. (Step S1).
[0066]
Then, the input of the photographed image by the digital camera 17A, the digital video movie 17B, or the VTR (image playback device) 17C is started (step S2), and a start operation for synthesizing the designated character image with the photographed image is performed. If done (step S3), the captured image is stored in the secret image file 12f1b in the captured image file (1) 12f1 (step S4), and the process proceeds to the target image extraction process in FIG. 10 (step SA). .
[0067]
FIG. 10 is a flowchart showing a target image extraction process associated with the composite image creation process of the image output apparatus 10. FIG. 10A is a flowchart showing the target image extraction process (method 1), and FIG. It is a flowchart which shows the target image extraction process (method 2).
[0068]
In the target image extraction process (method 1) in FIG. 10A, a series of captured images sequentially input at a predetermined timing via the image input unit 17 is stored in the image processing work area in the memory 12. (Step A11).
[0069]
Then, a change portion of the image accompanying the movement of the subject is extracted from each of the series of captured images stored in the image processing work area for each block of the subject (step A12), and each subject image thus extracted is extracted. Hn is stored in the image processing work area for each block (step A13).
[0070]
In the target image extraction process (method 2) in FIG. 10B, distance measurement is performed by the distance sensor 18 for each portion of the captured image input via the image input unit 17 (step A21), and the background image Each subject image Hn that is discriminated as a near distance side based on the distance difference between the subject image and the subject image is extracted for each block (step A22).
[0071]
Each subject image Hn thus extracted is stored in the image processing work area in the memory 12 for each block (step A23).
[0072]
Thus, when each subject image Hn included in the captured image is extracted from the captured image stored in the secret image file 12f1b for each block and stored in the image processing work area (step SA), for example, FIG. ), The photographed image 12f1b in which the surrounding mark M is added to each of the extracted subject images Hn is displayed on the display unit 19 (step S5).
[0073]
Then, it is determined whether or not there are a plurality of blocks of the subject image Hn in the captured image 12f1b displayed on the display unit 19 (step S6).
[0074]
When it is determined that there are not a plurality of blocks of the subject image Hn in the photographed image 12f1b, one subject image Hn extracted from the photographed image 12f1b is set as an imitation target image (steps S6 → S7a).
[0075]
If it is determined that there are a plurality of blocks of the subject image Hn in the photographed image 12f1b, among the subject images Hn,... The image to be imitated (desired to be hidden) is designated (step S6 → S7b).
[0076]
Thus, when the subject image Hn is extracted from the photographed image 12f1b and the subject image Hn to be imitated is set, the process proceeds to the corresponding animation image acquisition process in FIG. 11 (step SB).
[0077]
FIG. 11 is a flowchart showing a corresponding animation image acquisition process associated with the composite image creation process of the image output apparatus 10, and FIG. 11A is a flowchart showing the corresponding animation image acquisition process (method 1). ) Is a flowchart showing the corresponding animation image acquisition process (method 2).
[0078]
In the corresponding animation image acquisition process (method 1) in FIG. 11A, first, a subject image Hn extracted from the photographed image 12f1b and set as an imitation target image, and a character image of each pose of the designated character, Are evaluated (step B1C), and the character image of the pose with the highest similarity is displayed on the display unit 19 (step B12).
[0079]
Here, when the character image of the pose having the highest similarity to the imitation target image displayed on the display unit 19 is selected in response to a user operation on the input unit 16, the selected pose No. Is designated as an animation image corresponding to the imitation target image (step B13 → B14).
[0080]
On the other hand, when “next display” is instructed in response to a user operation on the input unit 16 in a state where the character image of the pose with the highest similarity is displayed on the display target image 19 on the display unit 19, The character image of the pose with the next highest similarity is displayed in order for each operation of “” (step B13 → B15).
[0081]
Then, a character image of a pose having a desired similarity is selected and displayed. When the displayed character image is selected in response to a user operation on the input unit 16, the selected pose No. Is designated as an animation image corresponding to the imitation target image (step B13 → B14).
[0082]
As described above, in the corresponding animation image acquisition process (method 1), the degree of similarity between the designated character and the character image for each pose with respect to the subject image Hn as the imitation target image extracted and set from the captured image 12f1b. A designated character image that is directly evaluated and based on this and that replaces the subject image Hn as a character with a similar pose is determined.
[0083]
In the corresponding animation image acquisition process (method 2) in FIG. 11B, first, the subject image Hn extracted from the photographed image 12f1b and set as the imitation target image and each pose stored in the model pose image memory 12b. The degree of similarity with the model image of the model image is evaluated (step B2C). A designated character image corresponding to is displayed on the display unit 19 (step B22).
[0084]
Here, when a character image corresponding to a model pose having the highest similarity to the imitation target image displayed on the display unit 19 is selected in response to a user operation on the input unit 16, the selected pose No. Is designated as an animation image corresponding to the imitation target image (step B23 → B24).
[0085]
On the other hand, the pose No. of the model image of the pose having the highest similarity to the imitation target image is displayed on the display unit 19. When “next display” is instructed in response to a user operation on the input unit 16 in a state where the character image corresponding to is displayed, the pose of the model image having the next highest similarity for each “next display” operation. No. The designated character images corresponding to are sequentially displayed (step B23 → B25).
[0086]
Then, a character image corresponding to a model pose having a desired similarity is selected and displayed. When the displayed character image is selected in response to a user operation on the input unit 16, the selected pose No. Is designated as an animation image corresponding to the imitation target image (step B23 → B24).
[0087]
In this way, in the corresponding animation image acquisition process (method 2), the similarity between the subject image Hn as the imitation target image extracted and set from the photographed image 12f1b and the model image for each pose, which is a basic model of a person. Is evaluated, and based on this, a designated character image that replaces the subject image Hn as a character with a similar pose is determined.
[0088]
In this case, a corresponding animation image acquisition process in which the degree of similarity with the character image for each pose of the designated character is directly evaluated with respect to the subject image Hn as the imitation target image to determine a replacement character image ( Compared with the method 1), the degree of similarity with the model image for each pose is evaluated, and the selected model pose No. In the corresponding animation image acquisition process (method 2) in which the replacement character image is determined from the standard character model is used as the evaluation target of the similarity, a high similarity with the subject image Hn is easily obtained. There is an advantage that a character image with higher similarity (similarity) can be obtained.
[0089]
FIG. 12 is a flowchart showing the similarity evaluation process with the imitation target image in the corresponding animation image acquisition process (method 1) (method 2) accompanying the composite image creation process of the image output apparatus 10.
[0090]
In the case of the similarity evaluation process in the corresponding animation image acquisition process (method 1), the similarity with the character image for each pose of the designated character is evaluated, and the similarity in the corresponding animation image acquisition process (method 2) In the case of the evaluation process, the similarity with the model image for each pose is evaluated.
[0091]
FIG. 13 is a diagram showing an example of similarity evaluation with a designated character image accompanying the similarity evaluation process in the corresponding animation image acquisition process (method 1) of the image output apparatus 10.
[0092]
FIG. 14 is a diagram showing an example of similarity evaluation with a model image accompanying the similarity evaluation processing in the corresponding animation image acquisition processing (method 2) of the image output apparatus 10.
[0093]
In the case of similarity evaluation processing (method 1), for example, as shown in FIG. 13A, the first pose No. of the designated character (female (1)) is displayed. Character image (for example, 12c (3) -1) is read (step C1), and the vertical and horizontal sizes of the imitation target image H1 shown in FIG.
[0094]
Then, the overlay evaluation of the imitation target image H1 and the character image with the vertical and horizontal sizes is performed, and the evaluation value (%) is calculated and stored as the similarity with the character image of the pose (step C3). ).
[0095]
Here, the pose No. of the similarity evaluation target this time. If the character image is determined to be a left-right asymmetric image (step C4), and if it is determined that the character image in the pose is not a left-right asymmetric image (step C4 "No"), for example, FIG. As shown in FIG. Similarity calculation and storage processing by size matching processing and overlay evaluation value calculation processing is repeated with the designated character image (steps C8 → C9 → C2 to C4).
[0096]
On the other hand, as shown in FIG. Is determined to be a left-right asymmetric character image (for example, 12c (11)), the character image of the pose is reversed left and right (step C4 → C5), and the reversed character image 12c ( 11) The vertical and horizontal sizes of R for the imitation target image H1 are matched (step C6).
[0097]
Then, the overlay evaluation of the imitation target image H1 and the inverted character image 12c (11) R having the vertical and horizontal sizes combined is performed, and the evaluation value (%) is calculated to calculate the similarity to the inverted character image of the pose. (Step C7).
[0098]
After this, the next pose No. for the designated character. Is present (step C8), the next pose No. Are sequentially read (step C9), and similarly, the similarity evaluation process between the imitation target image Hn and the designated character image for each pose is repeated (steps C2 to C7).
[0099]
Accordingly, as shown in FIG. 13, for example, when the similarity evaluation between the subject image (target image) H1 and the character image of “female (1)” is performed, the pose No. The character image 12c (3) -1 of “female (1)” corresponding to (3) -1 is evaluated as the character image with the highest similarity.
[0100]
Next, in the similarity evaluation process (method 2), for example, as shown in FIG. Model image (for example, 12b (3B)) is read (step C1), and the vertical and horizontal sizes of the imitation target image H1 shown in FIG.
[0101]
Then, the overlay evaluation of the imitation target image H1 and the model image having the vertical and horizontal sizes is performed, and the evaluation value (%) is calculated and stored as the similarity with the model image of the pose (step C3). ).
[0102]
Here, the pose No. of the similarity evaluation target this time. It is determined whether or not the model image is a left-right asymmetric image (step C4). For example, as shown in FIG. 14A, it is determined that the model image 12b (3B) of the pose is not a left-right asymmetric image. If it is (step C4 “No”), the next pose No. Model image is read out (steps C8 → C9), and similarly, the similarity evaluation process between the imitation target image H1 and the model image of the next pose is repeated (steps C2 to C4).
[0103]
On the other hand, for example, as shown in FIG. When it is determined that the 1B model image 12b (1B) is a left-right asymmetric model image, the model image of the pose 1B is reversed left and right (step C4 → C5), as shown in FIG. The vertical and horizontal sizes of the inverted model image 12b (1B) R and the imitation target image H1 are matched (step C6).
[0104]
Then, the overlay evaluation of the imitation target image H1 and the inverted model image 12b (1B) R in which the vertical and horizontal sizes are combined is performed, and the evaluation value (%) is calculated and the inverted model image 12b (1B) of the pose is calculated. The degree of similarity with R is stored (step C7).
[0105]
After this, the next pose No. Is present (step C8), the next pose No. Model images are sequentially read out (step C9), and similarly, the similarity evaluation process between the imitation target image and the model image for each pose is repeated (steps C2 to C7).
[0106]
Thereby, for example, as shown in FIG. 14, when the similarity evaluation with the model image is performed on the subject image (target image) H1, the pose No. The model image 12b (3B) corresponding to 3B is evaluated as the model image with the highest similarity.
[0107]
As described above, the corresponding animation image acquisition process (step SB) described with reference to FIGS. 11 to 14 specifies the pose that imitates the subject image Hn as the imitation target image extracted and set from the photographed image 12f1b. When the character image is determined, for example, as shown in FIG. 4, the pose of the subject H1, which is the imitation target image specified in the captured image 12f1b, acquired by the corresponding animation image acquisition process (see FIG. 11). The imitated “female (1)” character image 12c (3-1) is replaced with the designated subject (target image) H1 and synthesized (step S8).
[0108]
In this case, a photographic background image (not shown) is generated by cutting out the four subject images H2, H3, and H4 including the designated subject image (target image) H1 from the photographic image 12f1b. The character image 12c (3-1) of “female (1)” similar to the designated subject image (target image) H1 and the remaining three subject images H2, H3, H4 cut out from the photographed image 12f1b. Is combined with the shooting background image (not shown) corresponding to each subject position in order of increasing shooting distance detected by the distance sensor 18 at the time of shooting.
[0109]
Note that a “female (1)” similar to the specified subject image (target image) H1 is generated for the photographed image 12f1b without generating a background image obtained by cutting out the subject images H1, H2, H3, and H4. The character image 12c (3-1) and the remaining three subject images H2, H3, and H4 may be superimposed on each subject position in order of increasing shooting distance detected by the distance sensor 18 at the time of shooting. .
[0110]
Then, as shown in FIG. 14D, the character image 12c (3-1) of “female (1)” imitating the walking pose of the subject image H1 is replaced with the subject image H1 and synthesized. The image data is stored and saved in the public image file 12f1c in the photographed image file (1) corresponding to the previously specified file name (12f1a) (step S9).
[0111]
That is, as shown in FIG. 7 (SC1), the photographed image 12f1b-1 is captured and stored in the secret image file 12f1b in the photographed image file 12f1, and the subject in the rear view of the woman as the subject image H1 to be replaced that is not desired to be disclosed. When the image is designated, as shown in FIG. 7 (PU1), the character image 12c (3-3) of “female (1)” similar to the designated subject image H1 is replaced and synthesized. A composite image 12f1c-1 is created and stored in the public image file 12f1c in the captured image file 12f1 having the same file name.
[0112]
Further, as shown in FIG. 7 (SC2), the photographed image 12f1b-2 is captured and stored in the secret image file 12f1b in the photographed image file 12f1, and has a female dish as the subject image H1 to be replaced that is not desired to be disclosed. When the subject image of the figure is designated, as shown in FIG. 7 (PU2), the character image 12c (17) of “female (1)” similar to the designated subject image H1 is replaced and synthesized. The composite image 12f1c-2 is created and stored in the public image file 12f1c in the captured image file 12f1 having the same file name.
[0113]
Further, as shown in FIG. 7 (SC3), the captured image 12f1b-3 is captured and stored in the secret image file 12f1b in the captured image file 12f1, and the woman walking forward as the subject image H1 to be replaced that is not desired to be disclosed. When the subject image is designated, as shown in FIG. 7 (PU3), the character image 12c (3-1) of “female (1)” similar to the designated subject image H1 is replaced and synthesized. The composite image 12f1c-3 is created and stored in the public image file 12f1c in the captured image file 12f1 having the same file name.
[0114]
When a series of images to be shot and stored in the shot image file 12f1 with the corresponding file name is completed (step P2), personal authentication data 12f1a (fingerprint, password, etc.) serving as a read key for the secret image file 12f1b is authenticated. The information is input from the information input unit 17x and registered and set in the captured image file 12f1 having the same file name (step P3).
[0115]
In this way, the original captured images 12f1b-1, -2, -3,... Are stored in the secret image file 12f1b in the captured image file (1) 12f1, and the captured images 12f1b-1, -2,. -3,..., A composite image 12f1c-1, -2, -3,... Obtained by replacing the subject image H1 that is not desired to be seen by a third party with any kind of character image 12c (n) imitating its pose. Are stored in correspondence with the public image file 12f1c in the same photographed image file (1) 12f1, and the personal authentication data 12f1a is also set in association with the image file and displayed on the display screen of the display unit 19. To view it, the image display process in FIG. 15 is started.
[0116]
FIG. 15 is a flowchart showing the image display processing of the image output apparatus 10, FIG. 15A is a flowchart showing the image display processing (method 1), and FIG. 15B is the image display processing (method 2). It is a flowchart which shows.
[0117]
In the case of image display processing (method 1), when a file name of an image file to be displayed is specified by an input operation at the input unit 16 (step D11), user authentication information is input from the authentication information input unit 17x. It is determined whether or not (step D12).
[0118]
If it is determined that no user authentication information has been input, the composite image in the public image file 12f1c in the photographed image file 12fn corresponding to the specified file name is read out. For example, FIG. As shown in (PU1) to (PU3), the image 12f1c-1, -2 is formed by replacing the subject image H1 that is not desired to be viewed (not disclosed) by a third party with a character image that imitates the pose. , −3,... (Step D13).
[0119]
On the other hand, in step D12, it is determined that user authentication information has been input, and the authentication data 12f1a registered in the photographed image file 12fn corresponding to the specified file name corresponds to the input user authentication information. When it is determined that the authentication information matches (step D14), the captured image in the secret image file 12f1b in the corresponding captured image file 12fn is read out, for example, in FIGS. 7 (SC1) to (SC3). As shown, it is displayed and output as the original captured image 12f1b-1, -2, -3,... That has not been replaced and synthesized (step D15).
[0120]
On the other hand, if it is determined in step D14 that the input user authentication information does not match the authentication data 12f1a registered in the captured image file 12fn corresponding to the specified file name and is invalid authentication information. In the same manner as in the case where the authentication information is not inputted (step D12), the composite image in the public image file 12f1c in the corresponding photographed image file 12fn is read out and shown in FIG. 7 (PU1) to (PU3). As described above, the subject image H1 which is not desired to be viewed by a third party (not desired to be disclosed) is displayed and output as an image 12f1c-1, -2, -3,. (Step D13).
[0121]
According to this image display process (method 1), when correct user recognition information is input together with the designation of the file name, the original image that has not been synthesized from the secret image file 12fnb in the photographed image file 12fn with the designated file name. The captured image 12fnb-1, -2, -3,... Is read and displayed, and when the user recognition information is not input or when the incorrect recognition information is input, the designated file name is displayed. .. Are read out and displayed from the public image file 12fnc in the photographed image file 12fn by replacing the subject image H1 that is not desired to be seen with a simulated character image and synthesizing the image 12fnc-1, -2, -3,. Thus, even if a secret photographed image is stored in a third party such as one's own lover, the image can be displayed in a safe manner by the operation of the third party.
[0122]
In the case of the image display process (method 2), when a file name of an image file to be displayed is designated by an input operation at the input unit 16 (step D21), a captured image corresponding to the designated file name is designated. The composite image in the public image file 12f1c in the file 12fn is read out, and for example, as shown in FIGS. 7 (PU1) to (PU3), a subject image H1 that is not desired to be viewed by a third party (not desired to be disclosed) .. Are displayed and output as images 12f1c-1, -2, -3,.
[0123]
Then, it is determined whether or not the user authentication information is input from the authentication information input unit 17x in the display output state of the composite image 12f1c-1, -2, -3, ... by the public image file 12f1c (step D23). ).
[0124]
If it is determined that no user authentication information is input, the display output state of the composite image 12f1c-1, -2, -3, ... by the public image file 12f1c is maintained as it is (step D23 ( No)).
[0125]
On the other hand, in step D23, it is determined that user authentication information has been input, and the authentication data 12f1a registered in the photographed image file 12fn corresponding to the specified file name corresponds to the input user authentication information. When it is determined that the authentication information matches (step D24), the captured image in the secret image file 12f1b in the corresponding captured image file 12fn is read out, for example, in FIGS. 7 (SC1) to (SC3). As shown, it is displayed and output as the original captured image 12f1b-1, -2, -3,... That has not been replaced and synthesized (step D25).
[0126]
According to this image display process (method 2), according to the designation of the file name, first, from the public image file 12fnc in the photographed image file 12fn of the designated file name, the subject image H1 that is not desired to be seen is imitated as a character image. .. Are read and displayed, and when correct user recognition information is input thereafter, the image is synthesized from the secret image file 12fnb in the same photographed image file 12fn. Since the original photographed image 12fnb-1, -2, -3,... That has not been processed is read and displayed, the image output device 10 as the mobile phone with digital camera 10A or the digital camera 10B is used as a third party. Even if the image is displayed with the operation of the above, the secret subject image is imitated by a third party that shows his / her lover. Only the user himself / herself who knows the correct authentication information displays the original captured image 12fnb-1, -2, -3,. Can be displayed.
[0127]
In this embodiment, for the original captured image 12fnb-1, -2, -3,... Captured and stored in the secret image file 12fnb, by specifying the subject image H1 to be kept secret, the designated subject image In this state, a composite image 12fnc-1, -2, -3,... Synthesized by replacing H1 with the imitation character image is created and stored in the public image file 12fnc, and the correct user authentication information 12fna is not input. By displaying the composite image 12fnc-1, -2, -3,... Stored in the public image file 12fnc, the third party can understand the atmosphere of the captured image without showing the secret subject image H1. In the public image file 12fnc, the secret subject image H1 associated with each of the original photographed images 12fnb-1, -2, -3,... Stored in the secret image file 12fnb. Replace this with the position of Only the type of character image is stored, and when the public image file 12fnc is output, the subject image H1 is replaced and combined with the original photographed image 12fnb-1, -2, -3,. It may be configured to display and output.
[0128]
Therefore, according to the public / secret image setting display function of the image output apparatus 10 having the above-described configuration, the original captured image 12fnb captured via the image input unit 17 in association with an arbitrary file name and user authentication data 12fna. -1, -2,... Are stored as a secret image file 12fnb, and the composite image 12fnc is synthesized by replacing the subject image Hn to be secret in the original photographed image 12fnb-1, -2,. -1, -2, ... are created and stored in the public image file 12fnc. When a file name is designated in accordance with the image display operation (method 2), the subject image Hn to be secret is imitated from the public image file 12fnc in the photographed image file (n) 12fn corresponding to the designated file name. .. Are read out and displayed, and correct user authentication data 12fna is input, whereby the original image stored in the secret image file 12fn is obtained. Since the images 12fnb-1, -2,... Are read and displayed, it is possible to prevent the original photographed images 12fnb-1, -2,. Moreover, even if the composite image 12fnc-1, -2,..., The subject image Hn to be secreted is synthesized by being replaced by the imitation character image. Also to express Can.
[0129]
On the other hand, when the file name is specified in accordance with the image display operation (method 1) and the correct user authentication data 12fna is input, the original in the captured image file (n) 12fn corresponding to the specified file name is input. .. Are read out and displayed, and when the correct user authentication data 12fna is not input, the secret image is obtained from the public image file 12fnc in the same photographed image file (n) 12fn. , The synthesized image 12fnc-1, -2,... Obtained by replacing the subject image Hn with the imitation character image is read and displayed, so that the original captured image 1212fnb-1, -2,. ... can be displayed as they are, and even a third party can display the stored image safely.
[0130]
Further, according to the target image extraction function (method 1) accompanying the composite image creation process by the image output apparatus 10 having the above-described configuration, a series of captured images sequentially input at a predetermined timing via the image input unit 17 Since the change part of the image accompanying the movement of the subject is extracted for each block of the subject from each of the series of captured images stored in the work area, each extracted based on the series of captured images including the captured image The secret subject image Hn to be replaced and synthesized from the subject images Hn... Can be easily specified.
[0131]
Further, according to the target image extraction function (method 2) associated with the composite image creation process by the image output apparatus 10 having the above-described configuration, the distance by the distance sensor 18 for each part of the captured image input via the image input unit 17. Measurement is performed, and each subject image Hn, which is discriminated as the near distance side based on the distance difference between the background image and the subject image, is extracted for each block, so that it is extracted based on one captured image at the time of shooting. It is possible to easily designate the subject image Hn that is a secret object to be replaced and synthesized from each of the subject images Hn.
[0132]
Further, according to the corresponding animation image acquisition function (method 1) accompanying the composite image creation process by the image output apparatus 10 having the above configuration, the subject image Hn as the imitation target image extracted and set from the captured image 12fnb is designated. The degree of similarity of each character pose with the character image for each pose is directly evaluated, and based on this, a designated character image that replaces the subject image Hn as a character with a similar pose is determined. It becomes possible to easily acquire a character image for imitation replacement synthesis.
[0133]
Further, according to the corresponding animation image acquisition function (method 2) associated with the composite image creation process by the image output apparatus 10 having the above-described configuration, the person image Hn as the imitation target image extracted and set from the captured image 12fnb is displayed. The similarity with the model image for each pose, which is a basic model, is evaluated, and based on this, a designated character image that replaces the subject image Hn with a character with a similar pose is determined. Not only can a character image for simulated replacement composition be easily obtained, but also a standard person model is used as the evaluation target of similarity, so a high similarity with the subject image Hn can be easily obtained, and the similarity (similarity) ) High character images can be acquired.
[0134]
In the composite image creation function in the embodiment, a character image having a pose corresponding to the subject image Hn extracted from the captured image is selectively acquired, and the animation image of the acquired character is replaced and combined. However, face images and person images of various expressions using real-life images and computer graphics close to the actual images are stored in advance, and the face images and person images obtained by the actual images correspond to the subject image Hn extracted from the photographed image. A configuration may be adopted in which the image is replaced and synthesized as a simulated image.
[0135]
In the embodiment, the case where the captured image is a still image has been described. However, based on the moving image captured and input by the digital video movie 17B through the image input unit 17, for example, the background image in the moving image is displayed. Sequentially extract subject images Hn... That change in time series, and selectively acquire a character image of a pose corresponding to the secret subject image Hn specified in the sequentially extracted subject images Hn. Then, a configuration may be adopted in which the designated subject image Hn in the captured moving image is replaced and combined.
[0136]
In the image output device 10 of the above-described embodiment, the original captured images 12fnb-1, -2,... Are stored in the secret image file 12fnb in the main body of the mobile phone 10A with a digital camera or the digital camera 10B. , A synthesized image 12fnc-1, -2,..., Which is a composite image obtained by replacing the original subject image Hn in the original photographed image 12fnb-1, -2,. Store in 12 fnc. When the regular user authentication data 12fna is input along with the image display operation on the main body of the photographing apparatuses 10A and 10B, the original photographed image 12fnb-1, -2, stored in the secret image file 12fnb. Are displayed and output, and when the regular user authentication data 12fna is not input, the composite image 12fnc-1, -2,... Stored in the public image file 12fnc is displayed and output. As will be described in the embodiment, the Web server 30 on the communication network N such as the Internet is provided with a storage function for storing the same captured image file as described above. Depending on whether or not user authentication data is input, the original photographed image or a composite image thereof may be selected and output in the same manner as described above.
[0137]
(Second embodiment)
FIG. 16 is a block diagram showing the configuration of the image distribution server 30 according to the second embodiment of the present invention.
[0138]
The image distribution server 30 is configured by a computer that reads a program recorded on various recording media or a transmitted program and whose operation is controlled by the read program. The electronic circuit includes a CPU ( a central processing unit) 31 is provided.
[0139]
The CPU 31 is a server control program stored in advance in the memory 32, or a server control program read from the external recording medium 33 such as a CD-ROM into the memory 32 via the recording medium reading unit 34, or on the Internet N. The operation of each part of the circuit is controlled in accordance with a server control program read into the memory 32 from another Web server (in this case, a program server) via the power transmission control unit 35 and stored in the memory 32. The server control program includes communication terminals (mobile phone with digital camera 10A, digital camera with communication function 10B, other PC (personal computer) terminal) on the Internet N connected via the transmission control unit 35, and other Web It is activated in response to a communication signal with the server.
[0140]
In addition to the memory 32, the recording medium reading unit 34, and the power transmission control unit 35, the CPU 31 is connected to a display unit 36 including an LCD.
[0141]
Then, in the memory 32, each communication terminal (mobile phone 10A with a digital camera, digital camera 10B with a communication function, In addition to storing a communication program for data communication with other PCs (personal computer (PC) terminals) and the like, and based on access to each communication terminal (10A, 10B, etc.) on the Internet N, respectively. .., And generates and manages the captured image files 32 f 1, 32 f 2,... For each user terminal, stores and distributes the captured image data, and corresponds images (for example, mimics) according to a designated target image (for example, a person image) in the captured image. An image output processing program 32a and the like for performing a replacement synthesis storage / distribution process to (person image) and the like are stored.
[0142]
Accordingly, the memory 32 of the image distribution server 30 also has the model pose image memory 32b, the character 1 “female (1)” pose image memory 32c, and the character 2 “female (2), similarly to the memory 12 of the image output device 10. ) ”Pose image memory 32d, character 3“ male (1) ”pose image memory 32e, etc. are prepared, and in the work area, the photographic image data for each user terminal whose photographic image data is managed by the image distribution server 30 is prepared. Image files 32f1, 32f2,... Are prepared.
[0143]
The photographed image file (1) 32f1, (2) 32f2,... For each user terminal includes user name: file name: user authentication data (fingerprint image or password) for each of the files (1), (2),. Etc.) Secret image files 32f1b, 32f2b,... Associated with 32f1a, 32f2a,... And public image files 32f1c, 32f2c,.
[0144]
In the secret image files 32f1b, 32f2b,..., The captured image data received from the corresponding access source user terminals (10A, 10B, etc.) are stored and saved as the original captured images 1, 2,. In the files 32f1c, 32f2c,..., Character images that imitate the poses of the designated target images (for example, human images) stored in the secret image files 32f1b, 32f2b,. Composite images 1, 2,... Replaced with (see FIG. 2) are stored.
[0145]
The original captured image data 32fnb-1, -2, ... stored in the secret image files 32f1b, 32f2b, ... and the composite image data 32fnc-1, -2, ... stored in the public image files 32f1c, 32f2c, ... Is the same as that of the image output apparatus 10 described in the first embodiment, and the description thereof is omitted.
[0146]
The image distribution server 30 having such a configuration is established on a communication network N such as the Internet, and communicates with the mobile phone 10A with a digital camera or the digital camera 10B with a communication function as each user terminal. The captured image is managed in the image distribution server 30 in the same manner as the image output apparatus 10 of the first embodiment, so that a composite image 32fnc is generated and stored in association with the original captured image 32fnb for each user terminal 32fna. These stored images can be distributed in response to a request from each user terminal.
[0147]
In this case, the original captured images 32fnb-1, -2,... In the secret image file 32fnb stored in each captured image file 32fn are all determined to match the authentication data 32fna of each corresponding user terminal. Only when it is read and delivered.
[0148]
Therefore, according to the public / private image setting function, the composite image creation function associated therewith, and the image distribution function performed while accessing with each user terminal in the image distribution server 30 having the above configuration, .. Are stored as a secret image file 32fnb in association with the user name: file name: user authentication data 32fna received along with the access and stored as the secret image file 32fnb. A composite image 32fnc-1, -2,... Is generated by replacing the secret subject image Hn in the image 32fnb-1, -2,... With the imitation character image and stored in the public image file 32fnc. Thereafter, when a file name is designated in association with access to the user terminal, the subject image Hn to be secreted is imitated from the public image file 32fnc in the captured image file (n) 32fn corresponding to the file name 32fna of the corresponding user. The composite image 32fnc-1, -2,... Synthesized by replacing with the character image is read and distributed, and the correct user authentication data 32fna is input, whereby the original image stored in the secret image file 32fn is obtained. Since the images 32fnb-1, -2,... Are read out and distributed, it is possible to prevent the original photographed image 32fnb-1, -2,. Even if it is the composite image 32fnc-1, -2,..., The subject image Hn to be secret is replaced with the imitation character image and combined, so that the composition and atmosphere of the shooting Therefore, it can be sufficiently expressed to the third party of the distribution destination.
[0149]
Note that each processing method performed by the image output apparatus 10 and the image distribution apparatus 30 described in the above embodiments, that is, the public / secret image setting process shown in the flowchart of FIG. 8, and the public / secret image shown in the flowchart of FIG. Composite image creation processing accompanying the setting processing, target image extraction processing accompanying the composite image creation processing shown in the flowchart of FIG. 10, corresponding animation image acquisition processing accompanying the composite image creation processing shown in the flowchart of FIG. 11, flowchart of FIG. Each of the methods such as the similarity evaluation process with the imitation target image accompanying the corresponding animation image acquisition process shown in FIG. 15 and the image display process shown in the flowchart of FIG. ROM card, RAM card, etc.), magnetic disk (floppy disk, hardware) Disk, etc.), optical disk (CD-ROM, DVD, etc.) can be distributed and stored in an external recording medium such as a semiconductor memory 13 (33). Various computer terminals having a communication function with the communication network (Internet) N transfer the program stored in the external recording medium 13 (33) to the memory 12 (32) by the recording medium reading unit 14 (34). By reading and controlling the operation by the read program, the public / secret image setting / display (distribution) function described in each of the embodiments can be realized, and the same processing as described above can be executed. .
[0150]
The program data for realizing each of the above methods can be transmitted on a communication network (Internet) N in the form of a program code, and the above-mentioned data can be transmitted from a computer terminal connected to the communication network (Internet) N. It is also possible to capture the program data and realize the image processing function described above.
[0151]
Note that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in each embodiment or some constituent features are combined, the problems described in the column of the problem to be solved by the invention can be solved. When the effects described in the column of the effect of the invention can be obtained, a configuration in which these constituent elements are deleted or combined can be extracted as an invention.
[0152]
【The invention's effect】
  As described above, according to the image output apparatus of the present invention,Create a composite image by combining, for example, a secret subject person image in the captured image with a mimic character image corresponding to this,When a normal image output request is made, the composite image can be output, and the original captured image can be output only when authentication information such as the photographer is input.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of an image output apparatus 10 according to a first embodiment of the present invention.
2 is a character 1 “female (1)” pose image memory 12c of the image output device 10; a character 2 “female (2)” pose image memory 12d: a character 3 “male (1)” pose image memory 12e; The figure which shows each character image corresponding to the various pose memorize | stored.
FIG. 3 is a view showing a model image corresponding to a model pose stored in a model pose image memory 12b of the image output apparatus 10;
FIG. 4 is a view showing a replacement composite state of a target image by a character image “female (1)” when a public / secret image setting mode is designated by the image output apparatus 10;
FIGS. 5A and 5B are diagrams showing an external configuration of a mobile phone 10A with a digital camera that is the image output device, in which FIG. 5A is an overall perspective view and FIG. 5B is a partially enlarged view thereof.
6A and 6B are diagrams showing an external configuration of a digital camera 10B that is the image output apparatus, in which FIG. 6A is a front view thereof, and FIG. 6B is a rear view thereof.
7 is a diagram showing a secret image file 12f1b and a public image file 12f1c that are stored and managed in association with user authentication data 12f1a in association with the photographed image file 12f1 in accordance with the public / secret image setting process of the image output apparatus 10. FIG. FIGS. (SC1) to (SC3) are diagrams showing original captured images 12f1b-1 to 12f1b-3 stored and managed in the secret image file 12f1b, and (PU1) to (PU3) are stored in the public image file 12f1c. The figure which shows the synthesized images 12f1c-1-12f1c-3 managed.
FIG. 8 is a flowchart showing a public / secret image setting process by the image output apparatus 10;
FIG. 9 is a flowchart showing a composite image creation process associated with the public / secret image setting process of the image output apparatus 10;
FIG. 10 is a flowchart showing a target image extraction process associated with a composite image creation process of the image output apparatus 10; FIG. 10A is a flowchart showing the target image extraction process (method 1); FIG. Is a flowchart showing the target image extraction processing (method 2).
FIG. 11 is a flowchart showing a corresponding animation image acquisition process associated with a composite image creation process of the image output apparatus 10, and FIG. 11A is a flowchart showing the corresponding animation image acquisition process (method 1); B is a flowchart showing the corresponding animation image acquisition process (method 2).
FIG. 12 is a flowchart showing similarity evaluation processing with an imitation target image in the corresponding animation image acquisition processing (method 1) (method 2) accompanying the composite image creation processing of the image output apparatus 10;
FIG. 13 is a view showing an example of similarity evaluation with a specified character image accompanying the similarity evaluation processing in the corresponding animation image acquisition processing (method 1) of the image output apparatus 10;
FIG. 14 is a view showing a similarity evaluation example with a model image accompanying a similarity evaluation process in the corresponding animation image acquisition process (method 2) of the image output apparatus 10;
15 is a flowchart showing image display processing of the image output apparatus 10. FIG. 15A is a flowchart showing the image display processing (method 1), and FIG. 15B is the image display processing (method 2). ).
FIG. 16 is a block diagram showing a configuration of an image distribution server 30 according to the second embodiment of the present invention.
[Explanation of symbols]
10 Image output device
10A ... Mobile phone with digital camera
10B ... Digital camera with communication function
30: Image distribution server
11, 31 ... CPU
12, 32 ... Memory
12a, 32a ... Image output processing program
12b, 32b ... Model pose image memory
12c, 32c ... Character 1 “female (1)” pose image memory
12d, 32d ... Character 2 "Female (2)" pose image memory
12e, 32e ... Character 3 "Men (1)" pose image memory
12fn, 32fn ... Captured image file
12 fna File name: User authentication data
32fna ... User name: File name: User authentication data
12fnb, 32fnb ... secret image file (original photographed image)
12fnc, 32fnc ... Public image file (composite image)
13, 33 ... External recording medium
14, 34 ... Recording medium reading unit
15, 35 ... Transmission control unit
16: Input section
17 Image input unit
17A ... Digital camera
17B ... Digital video movie
17C ... VTR (image playback device)
17x ... Authentication information input part
18 Distance sensor
19, 36 ... display section
20 Image output unit
20A ... Memory card
20B ... VTR (recording device)
20C ... Image printer
21 ... Web server
N ... Communication network (Internet)

Claims (3)

撮影画像を取得する撮影画像取得手段と、
この撮影画像取得手段により取得された撮影画像を記憶する撮影画像記憶手段と、
人物のポーズをまねた複数のキャラクタ画像を記憶するキャラクタ画像記憶手段と、
前記撮像画像記憶手段に記憶された撮影画像中の人物画像と前記キャラクタ画像記憶手段により記憶された各キャラクタ画像との類似度を評価する類似度評価手段と、
前記撮影画像記憶手段に記憶された撮影画像中の人物画像を前記類似度評価手段で類似すると評価された人物のポーズをまねたキャラクタ画像に置き換える合成処理を行う画像合成手段と、
外部からの画像出力要求に伴い正規の認証情報が入力された場合には前記撮影画像記憶手段に記憶された撮影画像を出力し、外部からの画像出力要求に伴い正規の認証情報が入力されない場合には前記画像合成手段により合成処理された画像を出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。
A captured image acquisition means for acquiring a captured image;
Photographic image storage means for storing the photographic image acquired by the photographic image acquisition means;
Character image storage means for storing a plurality of character images imitating a person's pose;
Similarity evaluation means for evaluating the similarity between the person image in the captured image stored in the captured image storage means and each character image stored in the character image storage means;
Image composition means for performing composition processing for replacing a person image in a photographed image stored in the photographed image storage means with a character image imitating a pose of a person evaluated to be similar by the similarity evaluation means;
When regular authentication information is input in response to an external image output request, the captured image stored in the captured image storage means is output, and normal authentication information is not input in response to an external image output request Image output means for outputting the image synthesized by the image synthesizing means, and
An image output apparatus comprising:
コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、前記コンピュータを、An image output processing program for controlling a computer to perform image output processing, the computer comprising:
撮影画像を取得する撮影画像取得手段、Captured image acquisition means for acquiring captured images,
この撮影画像取得手段により取得された撮影画像を記憶する撮影画像記憶手段、Captured image storage means for storing the captured image acquired by the captured image acquisition means,
人物のポーズをまねた複数のキャラクタ画像を記憶するキャラクタ画像記憶手段、Character image storage means for storing a plurality of character images imitating a person's pose;
前記撮像画像記憶手段に記憶された撮影画像中の人物画像と前記キャラクタ画像記憶手段により記憶された各キャラクタ画像との類似度を評価する類似度評価手段、Similarity evaluation means for evaluating the similarity between the person image in the captured image stored in the captured image storage means and each character image stored in the character image storage means;
前記撮影画像記憶手段に記憶された撮影画像中の人物画像を前記類似度評価手段で類似すると評価された人物のポーズをまねたキャラクタ画像に置き換える合成処理を行う画像合成手段、Image composition means for performing composition processing for replacing a person image in a photographed image stored in the photographed image storage means with a character image imitating a pose of a person evaluated as similar by the similarity evaluation means;
外部からの画像出力要求に伴い正規の認証情報が入力された場合には前記撮影画像記憶手段に記憶された撮影画像を出力し、外部からの画像出力要求に伴い正規の認証情報が入力されない場合には前記画像合成手段により合成処理された画像を出力する画像出力手段、When regular authentication information is input in response to an external image output request, the captured image stored in the captured image storage means is output, and normal authentication information is not input in response to an external image output request Image output means for outputting the image synthesized by the image synthesizing means,
として機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。A computer-readable image output processing program designed to function as a computer.
端末から撮影画像を受信する撮影画像受信手段と、A captured image receiving means for receiving a captured image from the terminal;
この撮影画像受信手段により受信された撮影画像を記憶する撮影画像記憶手段と、Photographic image storage means for storing the photographic image received by the photographic image receiving means;
人物のポーズをまねた複数のキャラクタ画像を記憶するキャラクタ画像記憶手段と、Character image storage means for storing a plurality of character images imitating a person's pose;
前記撮像画像記憶手段に記憶された撮影画像中の人物画像と前記キャラクタ画像記憶手段により記憶された各キャラクタ画像との類似度を評価する類似度評価手段と、Similarity evaluation means for evaluating the similarity between the person image in the captured image stored in the captured image storage means and each character image stored in the character image storage means;
前記撮影画像記憶手段に記憶された撮影画像中の人物画像を前記類似度評価手段で類似すると評価された人物のポーズをまねたキャラクタ画像に置き換える合成処理を行う画像合成手段と、Image composition means for performing composition processing for replacing a person image in a photographed image stored in the photographed image storage means with a character image imitating a pose of a person evaluated to be similar by the similarity evaluation means;
端末からの画像出力要求に伴い正規の認証情報が入力された場合には前記撮影画像記憶手段に記憶された撮影画像を出力し、外部からの画像出力要求に伴い正規の認証情報が入力されない場合には前記画像合成手段により合成処理された画像を出力する画像出力手段と、When regular authentication information is input in response to an image output request from the terminal, the captured image stored in the captured image storage means is output, and normal authentication information is not input in response to an external image output request Image output means for outputting the image synthesized by the image synthesizing means, and
を備えたことを特徴とする画像配信サーバ。An image delivery server comprising:
JP2003199072A 2003-07-18 2003-07-18 Image output device, image output processing program, and image distribution server Expired - Fee Related JP4254391B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003199072A JP4254391B2 (en) 2003-07-18 2003-07-18 Image output device, image output processing program, and image distribution server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003199072A JP4254391B2 (en) 2003-07-18 2003-07-18 Image output device, image output processing program, and image distribution server

Publications (2)

Publication Number Publication Date
JP2005038118A JP2005038118A (en) 2005-02-10
JP4254391B2 true JP4254391B2 (en) 2009-04-15

Family

ID=34208640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003199072A Expired - Fee Related JP4254391B2 (en) 2003-07-18 2003-07-18 Image output device, image output processing program, and image distribution server

Country Status (1)

Country Link
JP (1) JP4254391B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5088220B2 (en) * 2008-04-24 2012-12-05 カシオ計算機株式会社 Image generating apparatus and program
JP5094918B2 (en) * 2010-06-29 2012-12-12 ヤフー株式会社 User authentication support apparatus and method
JP5397709B2 (en) * 2011-06-24 2014-01-22 フリュー株式会社 Information management system, information processing apparatus and method, and program
EP3018900A4 (en) 2013-07-05 2016-07-27 Panasonic Ip Man Co Ltd Projection system
EP3952298A1 (en) * 2013-11-14 2022-02-09 Panasonic Intellectual Property Management Co., Ltd. Projection system
CN111475779B (en) * 2020-05-19 2023-11-03 昆明闻讯实业有限公司 Image processing method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP2005038118A (en) 2005-02-10

Similar Documents

Publication Publication Date Title
EP1507386B1 (en) Image pickup device and image synthesizing method
JP4423929B2 (en) Image output device, image output method, image output processing program, image distribution server, and image distribution processing program
JP2010183317A (en) Imaging device, image composition and display device, image composition and display method, and program
JP5012373B2 (en) Composite image output apparatus and composite image output processing program
JP5169111B2 (en) Composite image output apparatus and composite image output processing program
JP2005049939A (en) Image outputting device, image outputting method, image output processing program, image distributing server, and image distribution processing program
US7529428B2 (en) Image processing apparatus and storage medium storing image processing program
JP2003346170A (en) Image delivery server, image delivery program and image delivery method
JP6460625B2 (en) Game system
JP4254391B2 (en) Image output device, image output processing program, and image distribution server
JP4935647B2 (en) Composite image output apparatus and composite image output processing program
JP4962219B2 (en) Composite image output apparatus and composite image output processing program
JP6247505B2 (en) Game system
JP4161769B2 (en) Image output device, image output method, image output processing program, image distribution server, and image distribution processing program
JP4989362B2 (en) IMAGING DEVICE, THROUGH IMAGE DISPLAY METHOD, AND CAPTURED IMAGE RECORDING METHOD
JP4151543B2 (en) Image output apparatus, image output method, and image output processing program
JP3901015B2 (en) Image output apparatus, image output processing program, and image output method
JP4168800B2 (en) Image distribution device
JP6461289B2 (en) Game system
JP4962218B2 (en) Composite image output apparatus and composite image output processing program
JP2007166383A (en) Digital camera, image composing method, and program
JP2005050012A (en) Image outputting device, image outputting method, and image output processing program, and image distributing server, and image distribution processing program
JP4168803B2 (en) Image output device
JP4983494B2 (en) Composite image output apparatus and composite image output processing program
JP4551683B2 (en) Image processing apparatus and image processing program having imaging function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees