JP3793520B2 - Image providing apparatus and image providing program - Google Patents
Image providing apparatus and image providing program Download PDFInfo
- Publication number
- JP3793520B2 JP3793520B2 JP2003101026A JP2003101026A JP3793520B2 JP 3793520 B2 JP3793520 B2 JP 3793520B2 JP 2003101026 A JP2003101026 A JP 2003101026A JP 2003101026 A JP2003101026 A JP 2003101026A JP 3793520 B2 JP3793520 B2 JP 3793520B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- synthesis
- videophone device
- composition
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、主として利用者のテレビ電話装置に合成画像を表示させる画像提供装置及び画像提供プログラムに関する。
【０００２】
【従来の技術】
従来、例えば利用者のテレビ電話装置に合成画像を表示させることに関連する従来技術として特許文献１がある。特許文献１には、各テレビ電話装置をサービス事業者システムを介して相互にライブ映像を伝送可能に接続し、利用者はサービス事業者システムに自分のライブ映像の広告媒体としての利用を許可する設定及び広告する商品を設定し、サービス事業者システムが利用者のテレビ電話装置から送信されたライブ映像に商品画像を身につける等の態様で合成し、通信相手のテレビ電話装置に送信するもので、更には通信相手の商品画像のクリックに応じて商品の説明や取引の情報を得られるスポンサーシステムに接続するシステムが開示されている。
【０００３】
また、特許文献２、３には、送信側のテレビ電話装置と中継局と受信側のテレビ電話装置を通信手段で接続し、送信側のテレビ電話装置が撮像した画像を被写体画像と背景画像とに分離して背景画像を処理し、受信側のテレビ電話装置の映像に送信側の背景を表示しないもので、更には分離した背景画像に替えて広告画像を映像とし、広告画像を提供するスポンサーから得た収入を電話料金に充当し、又、バナー広告を映像に表示してインターネットにリンクするシステムが開示されている。
【０００４】
また、特許文献４には、送信側のテレビ電話装置に広告画像を記憶し、広告画像と撮影画像を合成した合成画像を送信し、受信側のテレビ電話装置に広告画像が含まれる合成画像を表示させるもので、更には広告画像をネットワークを介して送信側のテレビ電話装置に送信し、テレビ電話装置の記憶手段に記憶させ広告画像を更新するシステムが開示されている。
【０００５】
また、特許文献５には、送信側のテレビ電話装置から撮影画像と背景画像を識別する識別コードを送信し、受信側のテレビ電話装置で識別コードにより識別される背景画像と送信されてきた撮影画像を合成して表示し、更には外部からネットワークを介して背景画像及び識別コードを受信し、背景画像記憶手段の内容を更新できるシステムが開示されている。
【０００６】
【特許文献１】
特開２００１−２８３０７９号公報
【特許文献２】
特開２００１−３２６９１８号公報
【特許文献３】
特開２００１−３２６９１７号公報
【特許文献４】
特開２０００−１８８７４１号公報
【特許文献５】
特開２０００−１７５１６７号公報
【０００７】
【発明が解決しようとする課題】
ところで、近年に於いて携帯電話、インターネット及びこれらのブロードバンドなど新たな通信環境が徐々に整備されているが、かような通信環境に利用者が参加する強い動機付けとなる魅力的なサービスの不足が非常に大きな問題となっている。そして、利用者へ強い動機付けを与えるためには、例えば多様な利用者の個別的な嗜好を満足させ、且つ娯楽性の高いサービスであることが求められる。
【０００８】
本発明は上記課題に鑑み提案するものであって、多様な利用者の個別的な嗜好を満足させ、且つ娯楽性が高く、利用者がテレビ電話装置の利用に積極的に参加する強い動機付けを与えるサービスを実現することができると共に、新規ビジネスモデルを創出することができる、利用者のテレビ電話装置に合成画像を表示させる画像提供装置及び画像提供プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像提供装置は、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置や画像提供装置にリアルタイムで連続送信し、合成用画像指定と合成対象画像抽出と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用背景画像を抽出し、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、静止画像若しくは動画像の合成用背景画像の前方のレイヤーの所定位置に動画像の合成対象画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用背景画像を配信する画像提供装置であって、静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、該受信する動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出する手段と、該連続抽出する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電 話装置に連続送信する手段と、該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段とを備えることを特徴とする。
【００１０】
また、本発明の画像提供装置は、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置にリアルタイムで連続送信し、合成対象画像抽出と画像送信の入力に応じて、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、動画像の合成対象画像を通信ネットワークを介して接続している画像提供装置にリアルタイムで連続送信し、合成用画像指定と合成対象画像抽出と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用背景画像を抽出し、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、静止画像若しくは動画像の合成用背景画像の前方のレイヤーの所定位置に動画像の合成対象画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用背景画像を配信する画像提供装置であって、静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれる動画像から連続抽出されて該テレビ電話装置から連続送信される人物若しくは動物を示す動画像の合成対象画像を受信する手段と、該受信する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像の合成対象画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段とを備えることを特徴とする。
【００１１】
また、本発明の画像提供装置は、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置や画像提供装置にリアルタイムで連続送信し、合成用部分画像指定と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用部分画像を抽出し、撮像部から取り込んでいる動画像の前方のレイヤーの所定位置に静止画像若しくは動画像の合成用部分画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用部分画像を配信する画像提供装置であって、オブジェクト画像若しくはキャラクター画像若しくはフレーム画像である静止画像若しくは動画像の合成用部分画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用部分画像の識別番号を受信する手段と、指定された識別番号に対応する合成用部分画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、該抽出した合成用部分画像を該受信する動画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、該合 成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用部分画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用部分画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用部分画像を該テレビ電話装置に配信する手段とを備えることを特徴とする。
【００１２】
また、本発明の画像提供プログラムは、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置や画像提供装置にリアルタイムで連続送信し、合成用画像指定と合成対象画像抽出と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用背景画像を抽出し、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、静止画像若しくは動画像の合成用背景画像の前方のレイヤーの所定位置に動画像の合成対象画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用背景画像を配信する画像提供装置に用いる画像提供プログラムであって、静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、該受信する動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出する手段と、該連続抽出する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする。
【００１３】
また、本発明の画像提供プログラムは、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置にリアルタイムで連続送信し、合成対象画像抽出と画像送信の入力に応じて、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、動画像の合成対象画像を通信ネットワークを介して接続している画像提供装置にリアルタイムで連続送信し、合成用画像指定と合成対象画像抽出と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用背景画像を抽出し、撮像部から取り込んでいる動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出し、静止画像若しくは動画像の合成用背景画像の前方のレイヤーの所定位置に動画像の合成対象画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用背景画像を配信する画像提供装置に用いる画像提供プログラムであって、静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれる動画像から連続抽出されて該テレビ電話装置から連続送信される人物若しくは動物を示す動画像の合成対象画像を受信する手段と、該受信する動画像の合成 対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像の合成対象画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする。
【００１４】
また、本発明の画像提供プログラムは、画像送信の入力に応じて、撮像部から取り込んでいる動画像を通信ネットワークを介して接続している他のテレビ電話装置や画像提供装置にリアルタイムで連続送信し、合成用部分画像指定と画像合成と画像送信の入力に応じて、記憶部から指定された静止画像若しくは動画像の合成用部分画像を抽出し、撮像部から取り込んでいる動画像の前方のレイヤーの所定位置に静止画像若しくは動画像の合成用部分画像を重ね合わせて合成画像を生成し、通信ネットワークを介して接続している他のテレビ電話装置に該合成画像をリアルタイムで連続送信するテレビ電話装置に、通信ネットワークを介して接続して静止画像若しくは動画像の合成用部分画像を配信する画像提供装置に用いる画像提供プログラムであって、オブジェクト画像若しくはキャラクター画像若しくはフレーム画像である静止画像若しくは動画像の合成用部分画像を識別番号と対応して合成用画像データベースに格納する手段と、通信ネットワークを介して接続したテレビ電話装置から指定された合成用部分画像の識別番号を受信する手段と、指定された識別番号に対応する合成用部分画像を合成用画像データベースから抽出する手段と、該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、該抽出した合成用部分画像を該受信する動画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用部分画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用部分画像の配信要求を受信する手段と、該配信要求に応じて該識別番号に対応する合成用部分画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする。
【００１５】
利用者のテレビ電話装置から略リアルタイムで伝送される動画像又は伝送される動画像から所定輪郭内の対象領域を連続抽出する合成対象画像と利用者が選択或いは指定する合成用画像の合成による合成画像を生成して提示することにより、略リアルタイムの利用者の意志や動きを大きく反映する合成画像の生成が可能となる。そして、利用者は動画像や合成対象画像に所望の合成用画像を組み合わせた状態を確認し、合成用画像の合成を試着するような感覚で楽しむことができると共に、利用者は所望の動きや動作で伝送する動画像や合成対象画像に略リアルタイムで移動や変更等の変化を与え、動画像や合成対象画像と合成用画像を組み合わせた状態を略リアルタイムで自在に変化、調整して楽しむことができ、利用者の娯楽性を非常に高めることができる。又、利用者は好みの合成用画像による合成画像を提示されるので、利用者の嗜好性を充足することができる。又、利用者は場所や時間に規制されずに所望の合成画像を楽しむことができる。特に、多様な複数或いは多数の合成用画像を格納し、指定された所望の合成用画像を動画像や合成対象画像と合成して合成画像で提示可能な構成とすると、利用者は長時間に亘って多様な合成用画像による合成画像を楽しむことが可能となるので好適である。又、所定輪郭内の対象領域である合成対象画像が抽出される元となる動画像若しくは合成対象画像を一旦画像提供装置に送信し、画像提供装置が合成対象画像を利用者のテレビ電話装置に返信することにより、画像提供装置が動画像や合成対象画像に対して容易に多様な加工を施し、利用者の嗜好性、遊興性、娯楽性に鑑みた合成画像を生成して提示することが可能である。
【００１６】
更に、動画像や合成対象画像と合成用画像を合成して合成画像を生成し、合成画像を通信相手に送信若しくは表示可能な画像合成機能を有する利用者のテレビ電話装置に合成用画像を配信する際に、利用者のテレビ電話装置で合成用画像による合成画像を生成する場合と同じ状態の合成画像を画像提供装置で提示し、利用者は画像提供装置で提示される合成画像で合成状態のイメージを予め確認することができ、その確認後に合成用画像のテレビ電話装置への配信を受けること等が可能になる。即ち、利用者は予め合成用画像を画像提供装置で提供される合成画像で試用してイメージを確認し、その後に所望の合成用画像の配信を受けることができるので、配信を受けた合成用画像による合成画像や配信を受けた合成用画像のイメージが予想と異なるなど利用者の期待はずれが無くなり、確実に利用者の嗜好に合った合成用画像を提供できる。又、画像合成機能を有し合成画像を通信相手に送信可能なテレビ電話装置で合成画像を用いてコミュニケーションする場合等には、利用者及びそのコミュニケーションの相手方の双方が多彩で嗜好に合う合成用画像による合成画像を楽しむことができ、双方の娯楽性を向上することができる。又、合成用画像を仮想空間での装飾品の如く扱う意識を利用者に芽生えさせ或いはその意識を高めることが可能であり、合成用画像等に対する新たな需要や市場を創出することができる。
【００１７】
尚、本発明の画像提供装置は、合成画像による画像提供或いは配信或いはこれらの組み合わせに対して利用者に課金する手段を備えてもよい。課金することにより確実に収益を得て、合成画像の提供や所定画像の配信等のビジネスの収益基盤を確保することができる。
【００１８】
例えば合成画像の生成及び提示若しくは合成画像の提示に対し、タイマーで計測する合成画像の提示時間に単位時間当たり一律に設定される単価若しくは合成用画像等の種別に対応して各別に設定される単価を乗じた金額、若しくは画像提供装置と利用者のテレビ電話装置の接続時間に単位時間当たりの設定単価を乗じた金額、カウントする合成画像の生成回数若しくは提示回数に１回当たり一律に設定される単価若しくは合成用画像等の種別に応じて格別に設定される単価を乗じた金額等、或はこれらの適宜の組み合わせによる金額を利用者に課金する手段を備える構成や、又は、合成用画像の配信に対し、１画像単位など所定の画像単位に対応して一律に設定される若しくは合成用画像等の種別に対応して各別に設定される金額を利用者に課金する手段を備える構成や、又は、合成用画像の配信に対し、再生時間に単位時間当たり一律に設定される単価若しくは合成用画像等の種別に対応して各別に設定される単価を乗じた金額を利用者に課金する手段を備える構成等とすることが可能である。
【００１９】
又は、月額で固定額を利用者に課金するなど固定額の利用料を利用者に課金する手段を備える構成、若しくは固定額が課金される設定の利用者の認証情報を登録して前記利用者を登録認証情報と入力等される認証情報を照合して認証することにより合成画像の提供等をして利用者に課金する手段を備える構成や、又は、合成画像の提示若しくは合成用画像等の配信若しくは動画像や合成対象画像の送信等に対し、画像データなど受信若しくは送信する伝送データ量に単位データ量当たりで設定する単価を乗じた金額を利用者に課金する手段を備える構成等、又は、これらの適宜の組み合わせの構成等とし、更に、必要に応じて利用者への課金情報を記憶する手段を備える構成等とし、適宜の課金構成を設けることができる。他に、画像提供装置に電子マネーのデータを近距離無線等を介して受信し認識する手段等、電子マネーや投入される現金等の金銭情報認識手段を設け、前記金銭情報認識手段による金銭情報の認識に応じて合成画像の生成及び提示若しくは合成画像の提示若しくは合成用画像等の配信を実行する構成等とし、又、本構成を所要の課金構成と組み合わせることも可能である。
【００２０】
また、画像提供装置と利用者のテレビ電話装置の送受信に用いられる通信ネットワークに は、画像提供装置と利用者のテレビ電話装置が通信可能で、画像や音声などのデータを送受信可能なもの等であれば適宜のものが含まれ、例えば専用回線若しくは公衆回線、或いはインターネット若しくはＩＰ網、或いは衛星通信、或いは携帯電話等の電話回線網、或いは無線ＬＡＮ・ブルートゥース（登録商標）・赤外線通信・専用狭域通信（ＤＳＲＣ）など短距離通信手段による通信等、或いはこれらの所要の組み合わせとすることが可能であり、又、有線若しくは無線若しくはその両者の組み合わせが含まれ、又、電波による通信や光による通信やこれらの組み合わせ等が含まれる。又、通信ネットワークで接続される画像提供装置と利用者のテレビ電話装置のシステムの形態は、クライアントサーバーシステムや、ピアトゥピアの形態など適宜である。又、画像提供装置と利用者のテレビ電話装置が遠距離の通信ネットワークを介して接続する場合には、例えば画像提供装置に設定されるＵＲＬ或いはＩＰアドレスに利用者装置がアクセスして接続する構成や、電話番号が設定されている画像提供装置を携帯電話若しくは固定電話等の利用者装置が前記電話番号で発呼することにより画像提供装置と利用者装置の通信回線を接続する構成等とすることが可能であるが、後者の構成では電話料金で容易に課金することが可能となるので、より確実に収益を確保することができる。
【００２１】
また、画像提供装置は、所定の手段として機能するコンピュータであれば適宜であり、例えばサーバ、パソコン、ネットワークで接続される複数のコンピュータ、利用者装置と遠隔で通信する専用装置或は多機能装置、ショッピングセンターやコンビニエンスストアなど所要箇所に設置され利用者装置と近距離で通信する専用装置或は多機能装置、又はこれらの所要の組み合わせ等とすることが可能である。尚、画像提供装置内の所定手段若しくは所定部等は、記憶する所定のプログラムと協働するＣＰＵやメモリ等の所要部で構成して実現することが可能であり、利用者のテレビ電話装置内の所定手段若しくは所定部等についても同様である。
【００２２】
また、利用者のテレビ電話装置は、テレビ電話として機能するものであれば適宜であり、例えば固定電話、携帯電話、携帯端末、車載端末、パソコン、テレビ会議装置、デジタルテレビなどテレビ装置、テレビゲーム機、テレビゲーム機とテレビ装置の組み合わせ、セットトップボックスとテレビ装置の組み合わせ等、音声データと画像データを取り込んで送信すると共に、相手方から伝送される音声データと画像データを受信し、双方向でコミュニケーション可能であり、且つ画像合成機能等を有する構成のものとすることが可能である。
【００２３】
また、合成用部分画像としてオブジェクト画像若しくはキャラクター画像を合成する場合に、使用するオブジェクト画像若しくはキャラクター画像は一若しくは複数とすることが可能であり、例えば画像提供装置の所定部が、オブジェクト画像若しくはキャラクター画像である複数の合成用部分画像を指定可能に提示し、所望の複数の合成用部分画像の指定要求等により複数の合成用画像の指定要求を受け付け、指定要求を受け付けた複数の合成用部分画像をテレビ電話装置から伝送される動画像と合成するようにしてもよい。前記オブジェクト画像やキャラクター画像の合成では、例えば画像提供装置等のメモリに座標値等で動画像に対する所定位置を設定し、前記所定位置にオブジェクト画像やキャラクター画像に設定されている代表点を合わせて合成し、更に、画像提供装置の所定部が、テレビ電話装置からオブジェクト画像やキャラクター画像の合成位置を所定方向へ移動する移動要求を受信して受け付け、前記所定方向の移動要求の受付に応じて設定されている移動距離分オブジェクト画像やキャラクター画像の合成位置を移動し、所定位置に移動して配置可能にしてもよい。また、合成用部分画像としてフレーム画像を合成する場合には、例えば略中央など所定位置にテレビ電話装置から受信する動画像の一部を視認可能な穴が形成されている前記動画像と同サイズのフレーム画像を用い、前記フレーム画像を前記動画像の前方のレイヤーに前景画像として合成する構成等とする。また、合成用背景画像に合成対象画像を合成する場合には、例えば合成対象画像を抽出する前の動画像と同サイズの 合成用背景画像を用い、前記合成対象画像を合成用背景画像の前方のレイヤーに合成する構成等とする。
【００２４】
また、合成用背景画像の内容は、例えば所定の室内など屋内の画像、風景など屋外の画像、宇宙の画像、仮想三次元空間など仮想的な空間の画像、映画や番組、同一空間の異なる視点からの視た画像等の画像など適宜である。更に、合成用部分画像のオブジェクト画像は例えばインテリア家具など商品の画像、同一物品や同一空間の異なる視点からの視た画像等、又、合成用部分画像のキャラクター画像は例えば人物、動植物、仮想生物等の画像、同一人物や同一の動植物の姿勢が相違する画像など同一対象が変化した画像等とすることが可能であり、これらを組み合わせて用いることも可能である。更に、キャラクター画像は、例えば利用者のテレビ電話装置の制御部が所定のプログラムと協働して動作させる画像とすることも可能である。
【００２５】
また、動画像（元画像）から所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出する構成は適宜であり、例えば画像提供装置の所定部又はテレビ電話装置の所定部が、動画像の元画像に対し現在のフレームと連続する一つ前のフレームなど過去のフレーム間の画素の濃度若しくは明るさ或いは色によるフレーム間差分を取得し、フレーム間差分を設定される所定閾値と比較して２値化することにより動領域とそれ以外の領域を分離し、動領域を合成対象画像として抽出する構成、或いは画像提供装置の所定部又はテレビ電話装置の所定部が、予め設定された人物の形状など合成対象画像の基本輪郭を記憶保持し、前記形状若しくは基本輪郭のテンプレートによるパターンマッチングを実行し、動画像の元画像から前記テンプレートに合致する基本輪郭の合成対象画像を抽出する構成とすることが可能である。
【００２６】
また、動的輪郭モデル（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）を用いてもよく、例えば画像提供装置の所定部又はテレビ電話装置の所定部が、動画像（元画像）に於ける合成対象画像の外側近傍に初期輪郭となる輪郭線を設定し、画像特徴による画像エネルギーや輪郭線を収縮するエネルギーや輪郭線の滑らかさを表すエネルギー等で構成される設定されたエネルギー関数を最小化することにより輪郭線上の制御点を移動して合成対象画像の輪郭を抽出し、合成対象画像を分離抽出する構成等とすることができる。前記初期輪郭の設定構成は、例えば上記フレーム間差分の処理を実行し、前記処理で抽出する動領域のエッジを所定倍率等で拡大して設定する、或いは予め設定される初期輪郭を用いて設定するなど適宜である。
【００２７】
また、例えば画像提供装置の所定部又はテレビ電話装置の所定部が、画像領域に対する距離情報を取得し、記憶保持する基準距離或いは基準距離内或いは基準距離範囲内に存在する画像領域とそれ以外の画像領域を所定の閾値等で判別し、前記基準距離等の画像領域を合成対象画像として分離抽出する構成を利用したものとしてもよい。前記距離画像は、例えばオートフォーカス機能を有するカメラで撮像される元画像のうち画像の略中央等に設定される測拒枠での焦点の合致などカメラの焦点の合致、超音波や赤外線等のセンサとカメラの連動、若しくは複数のカメラによるステレオ撮影等により画像領域に対する測拒を実行して取得する等適宜であり、又、前記基準距離は、例えば２０〜８０ｃｍ程度等に設定するなど適宜の距離に設定可能である。
【００２８】
また、例えば画像提供装置の所定部又はテレビ電話装置の所定部が、元画像の画素の輝度や色など特徴量を算出し、設定される代表位置の画素の特徴量と差異が少ない画素を代表位置の画素に対する連続領域として抽出し、前記抽出した画素領域を合成対象画像の領域として分離抽出する構成や、或いは特定の人物の肌色等の色情報等の特徴量を記憶し、元画像の画素の特徴量を算出し、前記算出した特徴量から前記記憶する特徴量と差異が少ない或いは同一の画素を連続領域として抽出し、前記抽出した画素領域を合成対象画像の領域として分離抽出する構成等を利用してもよい。更に、必要に応じて画像提供装置の所定部又はテレビ電話装置の所定部が、オプティカルフローを演算して動領域を検出する構成を利用してもよい。これ以外にも合成対象を含む動画像（元画像）から合成対象画像を分離して抽出する構成には、前述の構成以外の既存の分離構成や、これらの構成を所要の組み合わせで用いるものなど適宜の構成を採用することができる。
【００２９】
また、配信する合成用背景画像又は合成用部分画像には、複製防止処理を施すと好適であり、配信する画像に電子透かし等のコピープロテクトをすることで、例えば芸能人の画像を用いる場合等に、肖像権や著作権を適切に保護することができ、より魅力的な内容の画像を提供することが可能になる。
【００３０】
また、本発明には、各発明の構成を部分的な作用効果が得られる限度で他の発明の構成に適宜変更するものが含まれ、例えば装置、システム、方法、プログラムの構成を相互に他のカテゴリーの発明の構成に適用したものや、装置等のカテゴリーを方法やプログラム等のカテゴリーに変更したものとしてもよい。又、各発明の構成に他の発明の構成を適宜追加するものも本発明に含まれ、また、各発明の構成を削除して上位概念化したものも本発明の部分的な作用効果が得られる限度で本発明に含まれる。又、本発明に於ける画像提供装置或いはテレビ電話装置の各所定手段或いは各所定部は、所要のハードウェアやソフトウェアにより構成され、例えばＣＰＵ、メモリ、メモリが記憶するプログラムや所要データ等により実現され、或いは所定のプログラムや所要のデータと協働するＣＰＵやメモリ等により実現されるものである。
【００３１】
【発明の実施の形態】
本発明の第１実施形態の画像提供装置及びテレビ電話装置並びに画像提供装置によるテレビ電話装置への画像提供の流れについて説明する。第１実施形態の画像提供装置及びテレビ電話装置の基本的な構成及び画像提供の基本的な流れは、図１及び図２に示すように、ＩＰ電話方式等のテレビ電話装置２００にＩＰ網である通信回線３００を介して接続される画像提供装置１００が、テレビ電話装置２００で連続して撮像されテレビ電話装置２００から前記撮像とリアルタイムに連続して送信される動画像を受信し、前記撮像や送受信と略リアルタイムに前記受信する動画像から動画像の合成対象画像を抜き出して連続的に抽出し、指定された動画像の背景画像若しくは静止画像の背景画像である合成用背景画像に前記連続抽出する合成対象画像を前記撮像や送受信や抽出と略リアルタイムに前方のレイヤーに重ね合成して合成画像を生成し、生成する合成画像をテレビ電話装置２００へ同じく略リアルタイムに送信して反射的に提示して、前記撮像と略リアルタイムにテレビ電話装置２００で前記撮像画像から抽出される合成対象画像を含む合成画像が表示されるものであり、更には、利用者の所望する合成用背景画像をテレビ電話装置２００に配信し、合成用背景画像の配信に対して利用者に課金するものである。
【００３２】
第１実施形態の画像提供装置１００は、図１に示すように、利用者の認証処理を実行する認証処理部１０１、合成用背景画像の指定に関連する処理等を実行する指定処理部１０２、テレビ電話装置２００から受信する動画像から動画像の合成対象画像を連続的に抜き出して抽出し、指定された合成用背景画像と合成対象画像を合成して合成画像を連続的に生成し、前記合成画像をテレビ電話装置２００に連続的に送信して提示すると共に、生成している合成画像で用いられている合成用背景画像のダウンロード要求及び合成用画像指定画面に戻る要求のメニュー項目或いはアイコンを有する合成画像提示画面、及び合成画像提示画面の所定位置に合成画像を表示させる制御等をテレビ電話装置２００の制御部２０１に実行させるプログラムをテレビ電話装置２００に送信する画像合成部１０３、前記ダウンロード要求に応じて合成用背景画像をダウンロードさせる配信処理を実行する配信処理部１０４、合成用背景画像の配信に対して配信する利用者への課金処理を実行する課金処理部１０５、複製防止処理が施されている静止画像の背景画像或いは動画像の背景画像の合成用背景画像を識別番号に対応して格納している合成用画像データベース１０６、各利用者の利用者ＩＤ及び対応する登録パスワード等の認証情報、氏名・住所、課金情報、金融機関の口座番号やクレジットカード番号等の課金先情報など必要に応じて所要のデータを利用者ＩＤに対応して格納する利用者データベース１０７、合成画像の提示時間等を計測するタイマー１０８、通信インターファイスとして機能すると共にデータのパケット化や復元などデータをパケットで送受信可能に処理する手段として機能する通信処理部１０９を備え、他に必要に応じて他の処理部や記憶部、入力部、画像表示部等の所要部を備える。認証処理部１０１、指定処理部１０２、画像合成部１０３、配信処理部１０４、課金処理部１０５、その他の所要部等は、それぞれ各部として機能するＣＰＵ、メモリ、メモリが記憶するプログラムや所要データ等により実現される。
【００３３】
尚、画像提供装置１００が後述のテレビ電話装置２００に送信するデータ或いは各画面のデータ等には、テレビ電話装置２００の制御部２０１やメモリ２０２を所定の手段として機能させる所要のプログラムや、ブラウザー機能を有するプログラムと協働してテレビ電話装置２００の制御部２０１やメモリ２０２を所定の手段として機能させる所要のプログラム等が適宜含まれる。尚、画像提供装置１００は例えば単体のコンピュータ或いはネットワークで接続される複数のコンピュータで構成されるネットワークコンピュータとすることが可能であり、ネットワークコンピュータにする場合には所要の手段を適宜分離して設けることが可能である。
【００３４】
第１実施形態のテレビ電話装置２００は、図１に示すように、所定の動作プログラム等と協働して動作を制御するＣＰＵや所要のメモリ等の制御部２０１、所定の動作プログラムや合成用背景画像のデータ等の所定のデータを記憶するメモリ２０２、画像を表示するディスプレイである画像表示部２０３、ボタン等の入力部２０４、ＣＭＯＳカメラやＣＣＤカメラなど動画像を撮像可能な撮像部２０５、マイクロフォン２０６、スピーカ２０７、通信インターファイスとして機能すると共にデータのパケット化や復元などデータをパケットで送受信可能に処理する手段として機能する通信処理部２０８等を備え、前記動作プログラムにはブラウザー機能を有するプログラム、撮像部２０５から動画像を取り込んで前記撮像部２０５での撮像とリアルタイムに前記動画像を送信するプログラム、撮像部２０５で撮像する動画像から動画像の合成対象画像を前記撮像とリアルタイムに連続的に抜き出して抽出し、メモリ２０２の所定記憶領域に記憶する合成用背景画像から入力部２０４等で選択された合成用背景画像と合成対象画像を重ね合成して前記撮像とリアルタイムに合成画像を連続的に生成し、通信回線３００を介して通信相手の他のテレビ電話装置に前記合成画像を前記撮像とリアルタイムに連続送信するプログラム等が適宜含まれ、必要に応じて音声認識プログラムも含まれる。
【００３５】
上記画像提供装置１００がテレビ電話装置２００に画像を提供する際には、図２に示すように、利用者の入力に応じてテレビ電話装置２００がＩＰ網の通信回線３００を介して画像提供装置１００に接続要求し、画像提供装置１００はテレビ電話装置２００の接続要求を受けて接続を確立する（Ｓ１０１）。そして、画像提供装置１００の認証処理部１０１は、接続確立に応じて記憶保持するＩＤ及びパスワードの入力欄やその送信要求のボタンやアイコン等を有する認証画面等をテレビ電話装置２００に送信して提示する。テレビ電話装置２００の制御部２０１は、提示される認証画面を受信して画像表示部２０３に表示し、認証画面の入力欄に入力部２０４等からの入力やメモリ２０２からの読み出し等で入力されるＩＤ及びパスワードを入力部２０４からの送信要求の指定入力に応じて画像提供装置１００へ送信する。画像提供装置１００の認証処理部１０１は、受信したＩＤ及びパスワードを受け付け、受け付けたＩＤに基づき利用者データベース１０７から利用者の登録パスワードを抽出し、受付パスワードと登録パスワードを照合し、認証処理を実行する（Ｓ１０２）。パスワードの照合の結果、認証できない場合には、認証処理部１０１は認証できなかった旨のメッセージを表示する画面をテレビ電話装置２００に送信して提示する。
【００３６】
他方、認証できた場合には認証に応じ、指定処理部１０２は、記憶保持する複数の合成用背景画像の識別番号に対応する指定可能な情報を有する合成用画像指定画面等をテレビ電話装置２００に送信して提示し、合成用背景画像の指定若しくは選択を促す。尚、合成用画像指定画面は、例えば題名等による指定可能な情報と共に合成用背景画像の内容或いは代表的な内容を示すサンプル的な画像を併せて表示する画面、又は、合成用背景画像の内容或いは代表的な内容を示すサンプル的な画像自体を合成用背景画像の指定可能な情報として表示する画面とすると利用者が合成用背景画像の内容をより把握することが可能となって好適であり、又は、予め利用者が認知している或いはテレビ電話装置２００が保持する所定の合成用背景画像の識別番号の入力或いは送信を促す画面等としてもよい。テレビ電話装置２００の制御部２０１は、提示された合成用画像指定画面を画像表示部２０３に表示し、利用者の入力部２０４からの入力或いはマイクロフォン２０６からの音声入力による所望の合成用背景画像の識別番号に対応する情報の指定に応じて、前記情報に対応する指定された識別番号を画像提供装置１００に送信する。
【００３７】
画像提供装置１００の指定処理部１０２は、通信処理部１０９を介して受信した合成用画像の指定識別番号を受け付け（Ｓ１０３）、動画像を撮像して送信するように促すメッセージを有する画面をテレビ電話装置２００に送信して提示し、テレビ電話装置２００の制御部２０１は前記メッセージ画面を画像表示部２０３に表示する。テレビ電話装置２００の利用者が前記メッセージに従って撮像部２０５で利用者自身を含む画像等の動画像を撮像し、撮像する動画像を前記撮像とリアルタイムに送信する入力を入力部２０４等で行うと、制御部２０１は前記入力に応じ、撮像部２０５で動画像を撮像し、撮像部２０５で撮像する動画像を連続的に取り込み、取り込んだ動画像を画像提供装置１００に通信回線３００を介して前記動画像の撮像及び取り込みとリアルタイムに連続して送信する。
【００３８】
画像提供装置１００の画像合成部１０３は、通信処理部１０９を介して連続して受信する動画像を連続的に受け付け或いは認識し（Ｓ１０４）、前記受付或いは認識に応じて、連続受信する動画像から合成対象画像を連続して抜き出し、前記受付或いは認識とリアルタイムに連続して利用者自身の画像等の合成対象画像を抽出して取得すると共に（Ｓ１０５）、前記受け付けた指定識別番号に基づき合成用画像データベース１０６から指定識別番号に対応する合成用背景画像を抽出し、例えば必要に応じて動画像の背景画像である合成用背景画像を合成対象画像を抽出する動画像（元画像）と同形・同サイズとし、元画像に対する合成対象画像の位置及びサイズを合成対象画像の外縁に位置する所定基準点の元画像の座標軸に対する座標値等により把握し、元画像に対する合成対象画像の位置及びサイズと同一の関係で、合成用背景画像の前方のレイヤーに利用者自身の画像等である合成対象画像を重ね合わせて合成する、或いは動画像の背景画像である合成用背景画像を合成対象画像を抽出する動画像（元画像）と同形・同サイズとし、元画像の合成対象画像以外を設定される不透明度αを０にして処理する等で透明化処理し、合成用背景画像の前方のレイヤーに利用者自身の画像等である合成対象画像を重ね合わせて合成する等により、前記テレビ電話装置２００に於ける動画像の撮像や送信と略リアルタイムに合成用画像と合成対象画像を連続して合成し、合成画像を生成する（Ｓ１０６）。尚、画像合成部１０３が元画像である動画像から合成対象画像を分離抽出する構成は、本実施形態では、動画像の元画像に対し現在のフレームと連続する一つ前のフレームなど過去のフレーム間の画素の濃度若しくは明るさ或いは色によるフレーム間差分を取得し、フレーム間差分を設定される所定閾値と比較して２値化することにより動領域とそれ以外の領域を分離し、動領域を合成対象画像として抽出する構成としているが、前記構成以外にも適宜の構成を用いることができる。
【００３９】
更に、画像合成部１０３は、記憶保持する合成用背景画像のダウンロード要求及び合成用画像指定画面に戻る要求のメニュー項目或いはアイコンを有する合成画像提示画面、及び合成画像提示画面の所定位置に合成画像を表示させる制御等をテレビ電話装置２００の制御部２０１に実行させるプログラム等を抽出し、前記合成画像提示画面及び前記プログラムを通信処理部１０９を介してテレビ電話装置２００に送信すると共に、前記テレビ電話装置２００に於ける動画像の撮像や送信と略リアルタイムに連続して生成する合成画像を通信処理部１０９を介してテレビ電話装置２００に前記略リアルタイムに連続送信して提示する（Ｓ１０７）。テレビ電話装置２００は、通信回線３００を介して前記合成画像提示画面及び前記プログラム及び合成画像等を受信して取り込み、制御部２０１は、前記受信したプログラム及びブラウザー機能を有するプログラムと協働し、例えば見易さを高めるため合成画像提示画面のほぼ上部３／４や右側２／３など大部分が合成画像で、それ以外の領域に所定のメニュー項目或いはアイコンが表示される形式等、合成画像提示画面の所定位置或いは所定箇所に合成画像を合成し、前記動画像送信を促すメッセージ画面に代えて前記合成画像を含む合成画像提示画面を画像表示部２０３に表示する。前記合成画像提示画面中の合成画像は、画像提供装置１００から連続的に受信するものを前記テレビ電話装置２００に於ける動画像の撮像や送信と略リアルタイムに連続的に表示する。
【００４０】
そして、画像合成部１０３は、合成画像の生成或いは送信の開始に応じて、記憶保持する合成画像の提示時間である短時間等の所定の設定時間の計測をタイマー１０８で開始し、前記設定時間の計測開始から前記設定時間中に後述するダウンロード要求の受付があるまでは上記合成対象画像の抽出取得や合成画像の生成・提示等の処理を継続し、前記設定時間中に後述するダウンロード要求の受付がなくタイマー１０８による前記設定時間の計測を終了して前記設定時間の経過を認識すると、合成対象画像の抽出取得や合成画像の生成・提示等の処理を終了し、前記終了に応じて、指定処理部１０２は、再度合成用画像指定画面等をテレビ電話装置２００に送信して提示する。又、前記設定時間中に、合成画像提示画面に於いて利用者が合成用画像提示画面に戻る要求を指定する入力をした場合にも、制御部２０１が送信する前記画面に戻る要求を画像提供装置１００の指定処理部１０２が受信して受け付け、前記と同様に合成用画像指定画面等をテレビ電話装置２００に送信して提示し、別の合成用背景画像を指定或いは選択可能とする。尚、合成画像提示画面に合成画像の提示終了要求のメニュー項目等を設け、画像合成部１０３が、テレビ電話装置２００から送信される合成画像の提示終了要求を受信して受け付け、その受付に応じて合成対象画像の抽出取得や合成画像の生成・提示等の処理を終了等する構成としてもよい。
【００４１】
他方で、合成画像の提示時間である前記設定時間中に、合成画像提示画面に於ける利用者の入力部２０４等によるダウンロード要求の指定入力に応じ、テレビ電話装置２００の制御部２０１が送信するダウンロード要求を、画像提供装置１００の配信処理部１０４が通信処理部１０９を介して受信して受け付けると（Ｓ１０８）、配信処理部１０４は、合成画像提示画面による合成対象画像の抽出、例えば動画像の合成用背景画像の再生、合成画像の生成・提示等を終了し、配信処理中の情報を有する画面を送信して提示すると共に、ダウンロード要求を受け付けた合成画像提示画面の合成画像で合成していた指定の合成用背景画像を認識し、必要に応じて取得或いは合成用画像データベース１０６から抽出取得し、複製防止処理が施されている合成用背景画像のデータをテレビ電話装置２００に通信処理部１０９を介してダウンロードさせ配信する（Ｓ１０９）。テレビ電話装置２００の制御部２０１は、通信回線３００を介して受信してダウンロードした合成用背景画像のデータをメモリ２０２の所定の記憶領域に選択可能に保存する。尚、前記の如く、所定の設定時間のみ配信可能とする構成で、利用者へダウンロード要求の送信を促すことが可能となり、更には、画像提供装置１００の画像合成部１０３等の所定部が、タイマー１０８による計測途中の時間を上記合成画像の提示時間である所定の設定時間から減算して合成画像を提示可能な残り時間或いは合成画像中の合成用背景画像をダウンロード可能な残り時間を取得し、その残り時間をテレビ電話装置２００に送信し、合成画像提示画面の所定箇所で表示するように提示すると、その残り時間或いは締切時間の表示で利用者にダウンロード要求の送信などダウンロードの実行を一層促すことができて好適である。
【００４２】
また、画像提供装置１００の課金処理部１０５は、合成用背景画像のデータの配信完了に応じ、記憶保持する設定金額を参照して前記利用者ＩＤの利用者に設定金額を課金し（Ｓ１１０）、前記課金情報を利用者データベース１０７の前記利用者ＩＤの利用者データに記憶する。そして、配信処理部１０４は、配信処理中の情報を有する画面の画面に代え、配信処理及び課金が完了した旨の情報を有する画面をタイマー１０８で計測して所定の設定時間だけ送信して提示し、前記設定時間の経過に応じ、指定処理部１０２が、前記配信処理及び課金の完了画面に代え、再度合成用画像指定画面を提示し、一連の処理が完了する。尚、課金処理部１０５が課金処理を完了した後に、配信処理部１０４が合成用背景画像を配信する構成としてもよく、又、合成用背景画像の配信に対して課金する設定金額は、合成用背景画像の種別或は内容に応じて設定する、若しくは一律の金額を設定する等が可能である。
【００４３】
その後、利用者がテレビ電話装置２００で他のテレビ電話装置の利用者と相互にコミュニケーションする場合には、入力部２０４等での入力で合成画像モードの指定及び所望の合成用背景画像の指定に応じ、テレビ電話装置２００の制御部２０１は、撮像部２０５で撮像する動画像から動画像の合成対象画像を抜き出して抽出し、メモリ２０２の所定記憶領域に記憶する合成用背景画像から選択指定された合成用背景画像を抽出し、前記合成対象画像と合成用背景画像の前方のレイヤーに重ね合わせ連続合成して合成画像を生成し、その合成画像を通信回線３００を介して通信相手の他のテレビ電話装置に送信する。この際に、テレビ電話装置２００の画像合成で用いる配信を受けた合成用背景画像が動画像の場合には、利用者やそのコミュニケーションの相手方の娯楽性等をより高めることができる。
【００４４】
上記の様に画像提供装置１００がテレビ電話装置２００から動画像の元画像を受信し、合成対象画像を連続的に抽出し、抽出した合成対象画像を合成用背景画像に合成して合成画像を生成し、前記元画像の送信と略リアルタイムで合成画像をテレビ電話装置２００に提示することにより、合成用背景画像を合成画像として実際に使用した状態を予め確認することができ、更に、テレビ電話装置２００に略リアルタイムで合成対象画像が反射的に提示するので、合成用背景画像を合成画像に実際に使用した状態を略リアルタイムで自在に調整しながら確認することができる。また、利用者は多様な合成用背景画像から所望の合成用背景画像を選択し、選択した合成用背景画像と合成対象画像の提示が受けられるので、選択の多様性を確保して合成用背景画像を試着するように試用することができる。従って、合成用背景画像を使用した状態を利用者にイメージ化させることができると共に、利用者の娯楽性や嗜好性を十分に充足することができる。また、利用者は予め試用した合成用背景画像の配信等を受けることが可能になるので、合成画像とした場合に利用者のイメージや嗜好と異なる合成用背景画像を利用者が対価を払って取得することを無くすことが可能となり、利用者は確実に嗜好に合う合成用背景画像を得ることができると共に、合理的消費により嗜好に合う合成用背景画像を取得することができる。また、合成用背景画像の配信或いは合成画像の提示に対して課金することで、画像提供装置１００の運営者等が確実に収益を確保することができ、更には利用者が継続的に利用するテレビ電話装置２００に対する合成用背景画像の配信や配信する合成用背景画像による合成画像の提示であることから、高い安定性で収益を得ることができる。更には、これらの相乗効果として利用者への強い誘因と確実な収益基盤を有する、非常に優れたビジネスモデルを得ることができる。
【００４５】
次に、第１実施形態の第１変形例について説明する。第１実施形態の第１変形例は、図１及び図３に示すように、テレビ電話装置２００が連続して撮像する動画像から合成対象画像を連続的に抜き出して抽出し、テレビ電話装置２００がＩＰ網である通信回線３００を介して接続される画像提供装置１００に、テレビ電話装置２００が上記第１実施形態の動画像を連続送信する構成に代え、テレビ電話装置２００が前記連続抽出する合成対象画像を前記撮像や抽出とリアルタイムに連続送信するものであり、画像提供装置１００は、テレビ電話装置２００から通信回線３００を介して合成対象画像を前記撮像や抽出と略リアルタイムに連続的に受信し、指定された動画像の背景画像若しくは静止画像の背景画像である合成用背景画像と前記連続受信する合成対象画像を前記撮像や抽出や送受信と略リアルタイムに重ね合成して合成画像を生成し、生成する合成画像をテレビ電話装置２００へ同じく略リアルタイムに送信して反射的に提示し、テレビ電話装置２００では前記撮像と略リアルタイムに前記合成対象画像を含む合成画像が表示される。更には、利用者の所望する合成用背景画像をテレビ電話装置２００に配信し、合成用背景画像の配信に対して利用者に課金するものである。
【００４６】
第１変形例の画像提供装置１００の基本的な構成は上記第１実施形態と同様であり、図１に示すように、認証処理部１０１、指定関連処理部１０２、画像合成部１０３、配信処理部１０４、課金処理部１０５、合成用画像データベース１０６、利用者データベース１０７、タイマー１０８、通信処理部１０９や他の所要部等を備えるものであるが、画像合成部１０３が、テレビ電話装置２００から受信する動画像から動画像の合成対象画像を連続的に抜き出して抽出し、合成画像を生成することに代え、テレビ電話装置２００から合成対象画像を受信して取得し、指定された合成用画像と合成対象画像を合成して合成画像を連続的に生成する構成である点において上記第１実施形態と相違する。
【００４７】
第１変形例のテレビ電話装置２００の基本的な構成も上記第１実施形態と同様であり、図１に示すように、制御部２０１、メモリ２０２、画像表示部２０３、入力部２０４、撮像部２０５、マイクロフォン２０６、スピーカ２０７、通信処理部２０８等を備え、メモリ２０２の所定の記憶領域に、ブラウザー機能を有するプログラム、撮像部２０５から動画像を取り込んで前記撮像部２０５での撮像とリアルタイムに前記動画像を送信するプログラム、撮像部２０５で撮像する動画像から動画像の合成対象画像を前記撮像とリアルタイムに連続的に抜き出して抽出し、メモリ２０２の所定記憶領域に記憶する合成用画像から入力部２０４等で選択された合成用画像と合成対象画像を合成して前記撮像とリアルタイムに合成画像を連続的に生成し、通信回線３００を介して通信相手の他のテレビ電話装置に前記合成画像を前記撮像とリアルタイムに連続送信するプログラム等を記憶し、又、メモリ２０２の所定の記憶領域に、撮像部２０５で撮像する動画像から動画像の合成対象画像を前記撮像とリアルタイムに連続的に抜き出して抽出し、画像提供装置１００に通信回線３００を介して前記撮像や抽出とリアルタイムに前記合成画像を連続送信するプログラムを記憶する。
【００４８】
第１変形例の画像提供装置１００がテレビ電話装置２００に画像を提供する際には、図３に示すように、先ず、上記第１実施形態と同様の処理で接続を確立し（Ｓ１０１）、認証処理部１０１が認証画面によるＩＤやパスワードの受付で認証処理を実行し（Ｓ１０２）、指定処理部１０２が合成用画像指定画面による合成用背景画像の指定識別番号を受け付ける（Ｓ１０３）。そして、指定処理部１０２は、合成対象画像を送信するように促すメッセージを有する画面をテレビ電話装置２００に送信して提示し、テレビ電話装置２００の制御部２０１は前記メッセージ画面を画像表示部２０３に表示する。テレビ電話装置２００の利用者は前記メッセージに従って、撮像部２０５で動画像を撮像し、撮像する動画像から合成対象画像を抽出し、抽出する合成対象画像を前記撮像とリアルタイムに送信する入力を入力部２０４等で行うと、制御部２０１は前記入力に応じ、撮像部２０５で動画像を撮像し、撮像部２０５で撮像する動画像を連続的に取り込み、取り込んだ動画像から合成対象画像を連続的に抜き出して抽出し、前記合成対象画像を画像提供装置１００に通信回線３００を介して前記動画像の撮像や合成対象画像の抽出とリアルタイムに連続して送信する。尚、制御部２０１が元画像である動画像から合成対象画像を分離抽出する構成は、本実施形態では、動画像の元画像に対し現在のフレームと連続する一つ前のフレームなど過去のフレーム間の画素の濃度若しくは明るさ或いは色によるフレーム間差分を取得し、フレーム間差分を設定される所定閾値と比較して２値化することにより動領域とそれ以外の領域を分離し、動領域を合成対象画像として抽出する構成としているが、前記構成以外にも適宜の構成を用いることができる。
【００４９】
画像提供装置１００の画像合成部１０３は、通信処理部１０９を介して連続して受信する合成対象画像を連続的に受け付け或いは認識し（Ｓ１１１）、前記受付或いは認識に応じ、前記受け付けた指定識別番号に基づき合成用画像データベース１０６から指定識別番号に対応する合成用背景画像を抽出し、例えば動画像の背景画像である合成用背景画像の前方のレイヤーに、記憶保持する合成用背景画像に対する所定位置及び所定サイズで利用者自身の画像等である合成対象画像を重ね合わせて合成する等により、前記テレビ電話装置２００に於ける動画像の撮像や送信と略リアルタイムに合成用背景画像と合成対象画像を連続して合成し、合成画像を生成する（Ｓ１０６）。尚、テレビ電話装置２００の制御部２０１が、例えば元画像の座標系に対する合成対象画像の外縁の所定基準点の座標値など、合成対象画像を抽出する動画像（元画像）に対する合成対象画像の位置及びサイズのデータを画像提供装置１００に送信し、画像合成部１０３が、前記元画像と同形・同サイズの合成用画像と受信する前記位置及びサイズのデータを用い、元画像に対する合成対象画像の位置及びサイズと同一の関係で、合成用背景画像の前方に合成対象画像を合成して合成画像を生成する構成等にすると、合成対象画像の合成対象の実際の位置を例えば移動と略リアルタイムに合成画像に反映することが可能となるので好適であり、又、元画像の合成対象画像以外を設定される不透明度αを０にして処理する等で透明化処理した画像を合成対象画像として送信する構成等としてもよい。
【００５０】
そして、上記第１実施形態と同様に、画像合成部１０３は、合成画像提示画面及び合成画像提示画面の所定位置に合成画像を表示させる制御等をテレビ電話装置２００の制御部２０１に実行させるプログラムをテレビ電話装置２００に送信すると共に、前記テレビ電話装置２００に於ける動画像の撮像や送信と略リアルタイムに連続して生成する合成画像を通信処理部１０９を介してテレビ電話装置２００に前記略リアルタイムに連続送信して提示し（Ｓ１０７）、テレビ電話装置２００の制御部２０１は、受信した前記プログラム及びブラウザー機能を有するプログラムと協働し、合成画像提示画面の所定位置に合成画像を合成し、前記略リアルタイムに連続受信する合成画像及び合成画像提示画面を画像表示部２０３に表示する。更に、設定時間の計測中に於けるダウンロード要求に応じ（Ｓ１０８）、配信処理部１０４がダウンロード要求で指定された合成用背景画像のデータをテレビ電話装置２００に配信し（Ｓ１０９）、課金処理部１０５が利用者に設定金額を課金し（Ｓ１１０）、前記課金情報を利用者データベース１０７の利用者データに記憶する等により、一連の処理が完了する。
【００５１】
上記の様に画像提供装置１００がテレビ電話装置２００から合成対象画像を受信し、受信した合成対象画像を合成用背景画像を合成して合成画像を生成し、前記合成対象画像の送信と略リアルタイムで合成画像をテレビ電話装置２００に提示することにより、合成用背景画像を合成画像として実際に使用した状態を予め確認することができ、更に、テレビ電話装置２００に略リアルタイムで合成対象画像が反射的に提示するので、合成用背景画像を合成画像に実際に使用した状態を略リアルタイムで自在に調整しながら確認することができる。また、利用者は多様な合成用背景画像から所望の合成用背景画像を選択し、選択した合成用背景画像と合成対象画像の提示が受けられるので、選択の多様性を確保して合成用背景画像を試着するように試用することができる。従って、合成用背景画像を使用した状態を利用者にイメージ化させることができると共に、利用者の娯楽性や嗜好性を十分に充足することができる。また、利用者は予め試用した合成用背景画像の配信等を受けることが可能になるので、合成画像とした場合に利用者のイメージや嗜好と異なる合成用背 景画像を利用者が対価を払って取得することを無くすことが可能となり、利用者は確実に嗜好に合う合成用背景画像を得ることができると共に、合理的消費により嗜好に合う合成用背景画像を取得することができる。また、合成用背景画像の配信或いは合成画像の提示に対して課金することで、画像提供装置１００の運営者等が確実に収益を確保することができ、更には利用者が継続的に利用するテレビ電話装置２００に対する合成用背景画像の配信や配信する合成用背景画像による合成画像の提示であることから、高い安定性で収益を得ることができる。更に、これらの相乗効果として利用者への強い誘因と確実な収益基盤を有する、非常に優れたビジネスモデルを得ることができる。
【００５２】
以上、第１実施形態及びその変形例の画像提供装置１００による利用者装置であるテレビ電話装置２００への画像提供について説明したが、本発明は上記実施形態に限定されるものではなく、例えば実施形態やその変形例の構成を適宜他の例の構成として適用したものも本発明に含まれ、又、例えば下記構成例を採用して構成を変更し、或は構成に追加したもの等も本発明に含まれる。又、画像提供装置１００やテレビ電話装置２００の各構成は、本発明の画像提供装置や利用者のテレビ電話装置等に対して適宜採用することができる。
【００５３】
また、上記実施形態では、画像提供装置１００の配信処理部１０４等が、ダウンロード要求を受信して受け付け、受け付けたダウンロード要求に対応する合成用背景画像を抽出或いは取得し、合成用背景画像のデータをテレビ電話装置２００にダウンロードさせ配信する構成等としたが、配信する形態は適宜であり、配信処理部１０４等が、配信要求の受付に応じて、配信要求に対応する合成用背景画像の各画像を有する電子メールを生成し、利用者データベース１０７等に記憶する若しくはテレビ電話装置２００等からの受信で取得するメールアドレスに前記電子メールを送信して配信する構成等としてもよい。例えば利用者データベース１０７等に利用者に対する画像配信先のメールアドレスを記憶し、配信処理部１０４等が、指定の合成用画像等の配信要求を受け付け、受け付けた配信要求に対応する合成用背景画像を抽出或いは取得すると共に、認証処理で認証した利用者ＩＤに対応する等の配信する利用者の画像配信先のメールアドレスを利用者データベース１０７等から抽出し、抽出した合成用背景画像を電子メールの本体として若しくは電子メールの添付ファイルとして送信可能に加工し、その合成用背景画像を包含する電子メールを前記抽出したメールアドレスに送信して配信する構成等としてもよい。
【００５４】
また、上記実施形態では、合成画像提示画面にダウンロード要求のメニュー項目等を設け、配信処理部１０４等が、指定の合成用背景画像のダウンロード要求の受け付け、受け付けた画像を配信する構成等としたが、合成画像提示画面に配信要求のメニュー項目等を設けずに、配信処理部１０４等が、合成画像の生成及び提示の終了に応じて、記憶保持する合成用背景画像の配信要求のメニュー項目等を有する画像配信画面を送信して提示し、画像配信画面の提示で直前に合成画像で用いた合成用背景画像の配信の要・不要を確認し、その配信要求の受付に応じて直前に提示を終了した合成画像で合成された合成用背景画像を取得して配信する構成等としてもよい。
【００５５】
また、課金構成に関し上記実施形態では、合成用背景画像の配信に対し、合成用背景画像の種別毎若しくは一律に設定する設定金額や単価に基づき課金する構成等とする場合について説明したが、課金構成にはビジネスモデルの収益基盤を確保可能な適宜の構成を採用可能であり、例えば画像提供装置が、所定のプログラムと協働する所定部或いは所定手段により、定期に課金する固定額や月末等の課金時点を記憶し、タイマーの計測等により課金時点を認識して固定額を登録利用者に課金し、登録利用者への課金情報を利用者データベース１０７等に記憶するなど定額制で課金する構成や、合成画像の生成回数等の生成や提示に関する回数・時間・伝送データ量等、若しくは合成用背景画像の配信回数等の配信に対する回数等をカウントして所定の設定金額を課金する或は回数等に対する所定金額をカウントするなど従量制で課金する構成等とすることができる。又、広告画像若しくは芸能人等の画像など特定画像を含む合成用背景画像に関する前記回数・時間・伝送データ量等をカウントする手段等を設け、前記カウント数及び一律若しくは格別に設定される設定金額に応じて広告主に課金して記憶する手段を設ける若しくは前記カウント数及び一律若しくは各別に設定される設定金額に応じて芸能人等へのロイヤリティーを算定して記憶する手段を設ける構成等とすることもできる。又、後払いの構成の他に、画像提供装置が金銭データを認識した後に画像の合成処理や配信処理する構成など前払いの構成とすることも可能である。又、画像提供装置と利用者装置の接続の通信料に対する所定割合の金額若しくは通信料に対する所定額の金額を通信回線の通信料を徴収する通信会社から受け取る仕組とし、画像提供装置が前記金額を記憶する手段を備える構成等としてもよい。又、画像提供装置が解像度若しくは画像サイズ若しくは機種種別の選択のメニュー項目等を有する画面を提示し、前記メニュー項目等の指定に応じた格納する若しくは生成する合成用背景画像等を配信等する構成とし、更には、前記指定に応じて各別等の設定金額を課金する構成としてもよい。
【００５６】
また、上記実施形態等では、画像提供装置１００の画像合成部１０３、１２３が、所定段階の合成用画像のぼかし量を指定可能な或いは合成用背景画像のぼかし量を段階的に調整可能なぼかし量の調整度合のメニュー項目或いはアイコンを有する合成画像提示画面を記憶保持し、前記合成画像提示画面等をテレビ電話装置２００に送信すると共に、生成する合成画像を略リアルタイム等で送信して提示し、テレビ電話装置２００の制御部２０１、２２１がこれらを受信して画像表示部２０３、２２３に合成画像を含む合成画像提示画面を表示し、更には、入力部２０４、２２４等による所定段階のぼかし量の調整度合の指定に応じてテレビ電話装置２００の制御部２０１、２２１が送信する指定された調整度合を画像提供装置１００の画像合成部１０３、１２３が受信して受け付けると、画像合成部１０３、１２３が、記憶保持するフィルターパラメータから受け付けた所定段階のぼかし量の調整度合に対応するフィルターパラメータを取得し、前記フィルターパラメータで合成画像で合成している合成用背景画像を前記所定段階のぼかし量にぼかすフィルタリングを実行し、フィルタリングを施して前記所定段階のぼかし量に調整した合成用背景画像と取得する合成対象画像を合成して合成画像を生成し、前記生成する合成画像を略リアルタイム等で送信して提示し、受信するテレビ電話装置２００の制御部２０１、２２１が前記所定段階のぼかし量に調整された合成用背景画像による合成画像を画像表示部２０３、２２３に表示する構成としてもよい。前記ぼかし量の調整度合のメニュー項目或いはアイコン等は、例えば比較的ぼかし量の度合が弱い段階１のアイコン等、ぼかし量の度合が中程度の段階２のアイコン等、比較的ぼかし量の度合が強い段階３のアイコン等のように所定段階毎に一若しくは複数設定される。
【００５７】
また、上記実施形態では、合成対象画像を動画像の元画像から分離して抽出し、その合成対象画像に対して後方に背景画像である合成用背景画像を配置して合成画像を生成する構成等としたが、所定のプログラムと協働する画像提供装置１００の画像合成部１０３或いは利用者のテレビ電話装置２００の制御部２０１、２２１等が、受信や撮像等する動画像（元画像）の前方にレイヤーに枠画像若しくはキャラクター画像の部分画像等の合成用部分画像を配置して、合成画像を生成する構成としてもよい。又、所定のプログラムと協働する画像提供装置１００の画像合成部１０３或いはテレビ電話装置２００の制御部２０１、２２１等が、動画像から抽出した合成対象画像を半透明化し、その合成対象画像を合成用背景画像の前方のレイヤーに配置して合成する構成や、或いは合成用背景画像を半透明化し、その合成用背景画像の前方のレイヤーに合成対象画像を配置して合成する構成や、或いは動画像を半透明化し、その動画像の前方のレイヤーに合成用部分画像を配置して合成画像を生成する構成や、或いは合成用部分画像を半透明化し、その合成用部分画像を動画像の前方のレイヤーに配置して合成する構成等としてもよい。尚、各画像の半透明化処理はαブランディング等で行うなど適宜であり、例えば画像提供装置１００の所定部或いはテレビ電話装置２００の所定部が、前方画像の色値等の画素値と後方画像の画素値を取得し、設定される不透明度αでによる割合でブレンドした画素値を取得し、前記取得した画素値により前方画像が半透明化した合成画像を生成する等により実行する。
【００５８】
また、画像提供装置１００が合成用背景画像や合成用部分画像の指定前或いは合成用画像指定画面の提示前から動画像若しくは合成対象画像をテレビ電話装置２００から受信する構成等とし、画像提供装置１００の指定処理部１０２等が、必要に応じて受信する動画像から合成対象画像を抽出して取得し、合成対象画像若しくは動画像及び合成用画像指定画面及び合成対象画像を合成用画像指定画面の一部の所定箇所に合成するプログラムをテレビ電話装置２００に送信し、上記合成画像を合成画像提示画面で表示する場合と同様の構成等で、合成対象画像若しくは動画像を合成用画像指定画面の所定箇所で反射的に提示する構成とし、好適には合成用画像指定画面に指定可能な合成用背景画像若しくは合成用部分画像のサンプル的な画像を提示すると、合成画像の生成前に予め利用者が合成画像のある程度のイメージを認識することが可能となる。
【００５９】
また、上記実施形態等では、画像提供装置１００の画像合成部１０３等が、合成画像を生成すると共に、生成する合成画像及び合成画像提示画面及び合成画像提示画面の所定位置に合成画像を表示させる制御等をテレビ電話装置２００の制御部２０１等に実行させるプログラム等を送信することにより、テレビ電話装置２００の制御部２０１等が受信する合成画像提示画面の所定位置に受信する合成画像を合成して表示する構成としたが、画像提供装置１００の画像合成部１０３等が、合成画像を生成すると共に、合成画像提示画面の所定位置に合成画像を合成し、合成画像と合成画像提示画面を合成したデータをテレビ電話装置２００に送信して提示する構成等としてもよい。又、例えば合成画像提示画面を細長形状等の部分的な画像とし、画像提供装置の画像合成部１０３等やテレビ電話装置２００の制御部２０１等が、所定のプログラムと協働し、部分的な画像である合成画像提示画面或いは合成画像提示画像を合成画像の最下部に横長で前方に合成する或いは合成画像の下辺の外側に横長で合成するなど設定記憶されている合成画像に対する所定位置に配置して合成する構成等としてもよい。又、テレビ電話装置２００の制御部等を所定手段として機能させるプログラムは、テレビ電話装置２００に合成画像の提示等とリアルタイムで若しくは予め送信するもの、或いは予めテレビ電話装置２００の所定の記憶部に設定するもの等とすることが可能である。又、テレビ電話装置２００の制御部等が、所定のプログラムや所要データと協働し、例えば必要に応じて画像表示部に要求メニュー等を表示する等により、画像提供装置１００に送信する各要求を入力部の所定入力に応じて送信可能な構成とし、合成画像提示画面等の所定画面を画像提供装置１００がテレビ電話装置２００に送信しない構成等とすることが可能である。
【００６０】
また、画像提供装置１００の画像合成部１０３等が、テレビ電話装置２００から送信される合成対象画像若しくは送信される動画像から抽出する合成対象画像若しくは合成用部分画像についてテレビ電話装置２００から送信される移動要求を受け付け、移動要求に応じて合成対象画像若しくは合成用部分画像を移動し、移動した合成対象画像若しくは合成用部分画像により合成画像を生成する構成としてもよい。例えば画像提供装置１００の画像合成部１０３等が、必要に応じて移動方向を示す移動要求のメニュー項目若しくはアイコンを有する合成画像提示画面を送信し、テレビ電話装置２００で入力され送信される合成対象画像若しくは合成用部分画像の移動方向を有する所定の移動要求を受信して受け付け、所定の移動要求に基づき移動方向を認識し、後方画像の座標系に対し前方画像の代表点の座標値を移動する等により記憶保持する単位距離だけ前記認識した移動方向へ合成対象画像若しくは合成用部分画像を移動し、移動した合成対象画像若しくは合成用部分画像により合成画像を生成する構成や、或いは画像提供装置１００の画像合成部１０３等が、テレビ電話装置２００のタッチパネル等により入力され送信される合成対象画像若しくは合成用部分画像の移動方向及び移動距離を有する所定の移動要求を受信して受け付け、所定の移動要求に基づき移動方向及び移動距離を認識し、後方画像の座標系に対し前方画像の代表点の座標値を移動する等により前記認識した移動距離だけ前記認識した移動方向へ合成対象画像若しくは合成用部分画像を移動し、移動した合成対象画像若しくは合成用部分画像により合成画像を生成する構成等とすることが可能であるが、前記構成以外にも適宜の構成とすることが可能である。更に、基本的に前記例等と同様の処理で、テレビ電話装置２００の制御部２０１等が、入力される合成対象画像若しくは合成用部分画像の移動要求を受け付け、移動要求に応じて合成対象画像若しくは合成用部分画像を移動し、移動した合成対象画像若しくは合成用部分画像により合成画像を生成する構成等とすることが可能である。
【００６１】
前記テレビ電話装置２００の画像表示部２０３等の表示位置を移動可能な合成対象画像は、例えば元画像から抽出した利用者自身の画像等の合成対象画像とすると好適であり、又、前記表示位置を移動可能な合成用部分画像はオブジェクト画像やキャラクター画像等の部分的な画像の合成用画像とすると好適であり、合成対象画像や合成用部分画像の位置を移動可能にすることで、自在に位置調整して多様な合成画像を生成して確認することが可能となり、利用者の嗜好性や娯楽性を一層充足することができる。
【００６２】
また、動画の合成画像を構成する組み合わせの合成用背景画像と合成対象画像、又は動画の合成画像を構成する組み合わせの合成用部分画像と動画像について、画像提供装置１００の画像合成部１０３等が、テレビ電話装置２００から送信される一時停止要求の受付に応じてこれらの画像を一時停止し、テレビ電話装置２００から送信される一時停止解除要求の受付に応じて一時停止を解除してこれらの画像を前記一時停止した場面から再生する構成や、テレビ電話装置２００から送信される再生要求の受付に応じてこれらの画像を最初の場面から再生する構成や、テレビ電話装置２００から送信される通常の再生速度より遅い若しくは速い再生速度による再生要求の受付に応じてこれらの画像を記憶保持する所定の遅い若しくは速い再生速度で再生する構成等を適宜採用することができる。前記各要求は、例えば合成画像提示画面のメニュー項目若しくはアイコンとして指定可能に提示し、入力部２０４で所定のメニュー項目等の指定に応じて画像提供装置１００へ送信される構成や、或いは入力部２０４での所定入力に応じて画像提供装置１００へ送信される構成等とすることが可能である。
【００６３】
前記通常の再生速度や前記遅い再生速度若しくは速い再生速度に応じて再生する構成では、画像提供装置１００の画像合成部１０３等が、動画の合成画像を構成する組み合わせの合成用背景画像と合成対象画像、又は合成用部分画像と動画像の再生速度を所定の再生要求の受付に応じて変化させ再生する構成の他に、動画の合成画像を構成する組み合わせの合成用背景画像と合成対象画像、又は動画の合成画像を構成する組み合わせの合成用部分画像と動画像の相対的な再生速度を変化させ再生する構成とすることが可能であり、例えば画像提供装置１００の画像合成部１０３等が、合成画像中の動画の合成用背景画像、若しくは合成画像中の動画の合成用部分画像、若しくは合成画像中の動画の合成対象画像を通常の再生速度より遅い若しくは速い再生速度で再生する再生要求のメニュー項目若しくはアイコンを有する合成画像提示画面を提示し、テレビ電話装置２００から入力され送信される所定の再生速度による再生要求の受付に応じ、これらの画像を通常の再生速度で再生しつつ、前記所定の再生速度による再生要求を受け付けた画像を記憶保持する所定の遅い若しくは速い再生速度で再生し、前記通常の再生速度の画像と前記所定の遅い若しくは速い再生速度の画像とで合成画像を生成して提示する構成等とする。又、例えばテレビ電話装置２００で遅い若しくは速い再生速度で再生させる動画の合成用背景若しくは動画の合成用部分若しくは動画の合成対象画像を入力部２０４等の入力によりポインターやカーソル等で指定し、その合成用背景画像若しくは合成用部分画像若しくは合成対象画像の指定情報と共に遅い若しくは速い再生速度の再生要求を画像提供装置１００に送信し、画像提供装置１００の画像合成部１０３等が、受信する前記指定情報と所定の遅い若しくは速い再生速度による再生要求の受付に応じ、前記指定情報の合成用背景画像若しくは合成用部分画像若しくは合成対象画像を記憶保持する所定の遅い若しくは速い再生速度で再生する構成等とすることも可能である。尚、上記構成と同様に、動画の合成画像を構成する組み合わせの合成用背景画像と合成対象画像の何れか一方、又は動画の合成画像を構成する組み合わせの合成用部分画像と動画像の何れか一方につき、一時停止可能な構成としてもよい。
【００６４】
前記構成により、例えば動画像若しくは合成対象画像の連続送信と略リアルタイムで反射的に提示される合成対象画像と遅い若しくは速い再生速度で再生される合成用背景画像若しくは合成用部分画像とにより生成され提示される合成画像等をテレビ電話装置２００の利用者が閲覧することが可能になるので、合成画像や合成用背景画像若しくは合成用部分画像や合成対象画像の調整の自由度が向上し、利用者の嗜好性や娯楽性を一層高めることができる。尚、所定の遅い若しくは速い再生速度は段階的に設定することが可能であり、例えば遅い若しくは速い再生要求の入力回数や入力時間等に応じて段階的に再生速度を変化させ再生する構成等とすることができ、又、テレビ電話装置２００の制御部２０１等も、上記画像提供装置１００の画像合成部１０３等と基本的に同様の処理を実行可能とすると好適であり、例えば上記再生要求等の各要求の入力を受け付け、前記受付に応じて生成する合成画像の合成用背景画像若しくは合成用部分画像若しくは合成対象画像若しくは合成画像の再生速度を変化させ、再生速度を変化させた画像で合成画像を生成して提示する或いは再生速度を変化させた合成画像を生成して提示する構成等とするとよい。
【００６５】
また、画像提供装置１００の合成用背景画像又は合成用部分画像を記憶する合成用画像データベース１０６に、テレビ電話装置２００或いは他の利用者装置或いは他の所定装置が新たな合成用背景画像若しくは合成用部分画像をアップロードして記憶することが可能な構成としてもよく、例えば画像提供装置１００の登録処理部等が、接続するテレビ電話装置２００等に、メモリ２０２内の所定の合成用画像データを指定するメニュー項目や指定される所定の合成用画像データのファイル名等を保持する指定欄やアップロード要求を有するアップロード画面を提示し、他方で、テレビ電話装置２００でアップロードするメモリ２０２内の所定の合成用画像データが指定され、テレビ電話装置２００からアップロード要求及び指定の合成用画像データが送信されると、画像提供装置の登録処理部等が、受信する前記アップロード要求及び指定の合成用画像データの受付に応じ、前記指定の合成用画像を合成用画像データベース１０６の所定の記憶領域に記憶する構成等とする。又、例えば画像提供装置１００の登録処理部等が、接続するテレビ電話装置２００等から電子メールで添付ファイル等により合成用画像を受信し、前記合成用画像を電子メールから抽出し、必要に応じて所定処理を施し、その合成用画像を合成用画像データベース１０６の所定の記憶領域に記憶する構成等としてもよい。
【００６６】
また、画像提供装置１００の配信処理部１０４が、所定の合成用画像を配信した際に、前記合成用背景画像若しくは合成用部分画像の合成用画像データベース１０６等に於ける識別番号を利用者データベース１０７等に履歴として記憶し、その後、別途に合成用画像を配信する際に、配信要求を受けた合成用画像の識別番号を前記履歴中の合成用画像の識別番号と照合し、配信した合成用画像の履歴中の合成用画像等と同一の合成用画像である場合に、テレビ電話装置２００に配信済である旨等の警告データを送信して提示する構成等としてもよい。又、画像提供装置１００の配信処理部１０４が、所定の合成用画像等を配信した際に、前記合成用画像の合成用画像データベース１０６等に於ける識別番号を利用者データベース１０７等に履歴として記憶し、画像提供装置１００の所定部が、履歴画像提示要求のメニュー項目等を有する所定画面を提示する等により、テレビ電話装置２００から送信される履歴画像提示要求を受信して受け付け、前記受付に応じて記憶する履歴の合成用画像の識別番号を認識し、前記識別番号に対応する合成用画像を合成用画像データベース１０６から抽出し、抽出した合成用画像等を所定画面と合成する等によりテレビ電話装置２００に送信して提示する構成等としてもよい。
【００６７】
また、画像提供装置１００の指定処理部１０２等が、合成画像で用いる合成用背景画像若しくは合成用部分画像の識別番号を指定可能な情報を提示する場合には、例えば前記履歴中の識別番号の合成用画像とカテゴリーや内容が近似する合成用画像を設定される所定の評点や相関関数等による所定の類似度に基づき類似度が高い順に抽出し若しくは予め抽出し、その合成用背景画像若しくは合成用部分画像の識別番号の情報を前記指定可能な情報として提示する構成等としてもよく、利用者の過去の履歴から推奨する合成用画像の情報を特定して提示することにより、前記指定可能な情報の合成用画像を利用者の嗜好により合うものにすることができる。
【００６８】
また、画像提供装置１００の所定部が、例えば他の利用者の利用者ＩＤ等を登録可能な画面を提示し、利用者のテレビ電話装置２００から入力され送信される他の利用者の利用者ＩＤ等や登録承認データを受信して利用者データベース１０７等の利用者のデータに前記他の利用者の利用者ＩＤ等を予め登録し、そして、登録した他の利用者が配信を受けた履歴の合成用画像等の提示を利用者が受けたい場合に、画像提供装置１００の所定部が、例えば合成用画像等の提示を受けたい他の利用者の利用者ＩＤ等を入力可能な画面を提示し、利用者のテレビ電話装置２００から入力され送信される他の利用者の利用者ＩＤ等を受信して受け付け、利用者データベース１０７等の利用者のデータに登録されている他の利用者の利用者ＩＤ等と前記受信した他の利用者の利用者ＩＤ等を照合して認証し、認証した場合に利用者データベース１０７等の他の利用者のデータから履歴の合成用画像等の識別情報を認識し、前記識別情報に対応する合成用画像等を合成用画像データベース１０６等から抽出し、抽出した合成用画像等を所定画面と合成する等によりテレビ電話装置２００に送信して提示する構成等としてもよく、前記構成により登録した友人などの他の利用者が配信を受けた合成用背景画像若しくは合成用部分画像を利用者が容易に認識することが可能となる。
【００６９】
また、上記実施形態では、例えば画像提供装置１００が通信回線３００を介して遠隔のテレビ電話装置２００と接続し、合成画像の提示や合成用画像等の配信等を行う場合等について説明したが、例えば飲食店・百貨店・小売店・ゲームセンター・車内や路側等の適宜の場所に、赤外線通信・無線ＬＡＮ・ブルートゥース（登録商標）等の適宜の近距離通信手段を有する画像提供装置を設置し、画像提供装置と携帯電話等の利用者のテレビ電話装置が前記近距離通信手段による接続で近距離通信路を確立し、画像提供装置等が基本的に上記と同様の処理等を実行する構成等としてもよく、係る構成により、遠隔以外の上記とほぼ同様の作用効果を得ることが可能になると共に、例えば飲食店・百貨店・小売店・ゲームセンター・車内や路側等の適宜の場所に於ける娯楽性を非常に高めることができ、顧客が来店する場所の場合には顧客誘因力を高めることができ、更に、多数のテレビ電話装置と同時に近距離通信が可能な近距離通信手段を有する画像提供装置の場合には、例えば近距離通信手段を有する携帯電話等のテレビ電話装置を保持する店内等の顧客が同時に合成画像の提示等のサービスを受けることが可能となる。
【００７０】
画像提供装置とテレビ電話装置が近距離通信する構成の場合には、例えば画像提供装置の所定部が、テレビ電話装置から元画像の動画像を連続等で受信して合成対象画像を連続等で抽出取得する、若しくは利用者装置から合成対象画像の動画像を連続等で受信して取得すると共に、例えば上記と同様にテレビ電話装置に送信する合成用画像指定画面から入力される合成用背景画像若しくは合成用部分画像の指定識別番号を受信して合成用画像の指定識別番号を受け付け、記憶する合成用画像から指定識別番号に対応する合成用背景画像若しくは合成用部分画像を抽出し、前記受信と略リアルタイム等で前記連続等で取得する合成対象画像と前記抽出する合成用背景画像若しくは合成用部分画像の合成による合成画像を生成し、生成する合成画像をテレビ電話装置に連続等で送信して前記受信と略リアルタイム等で提示し、必要に応じて、上記実施形態と基本的に同様の要求や受付や対応する処理等の過程により、合成用背景画像若しくは合成用部分画像の配信等をし、更に、必要に応じて、電子マネーの金銭情報の受け付け等による前払いや固定制による課金など上述した課金構成等による適宜の課金構成で課金すること等が可能である。
【００７１】
【発明の効果】
本発明の画像提供装置及び画像提供プログラムは、テレビ電話装置の利用者が合成画像を使用して相手方とコミュニケーションを行う際に用いる合成用背景画像若しくは合成用部分画像について、利用者は、合成用背景画像若しくは合成用部分画像の配信を受ける前に、その合成用背景画像若しくは合成用部分画像を実際に合成画像で使用した状態を予め確認することができる。そのため、利用者は確実に嗜好に合う合成用背景画像若しくは合成用部分画像を得ることができると共に、利用者のイメージと異なる合成用背景画像若しくは合成用部分画像の配信に対して対価を払うことが無くなる。更に、テレビ電話装置に略リアルタイムで合成画像が反射的に提示され、合成画像中の自ら送信している動画像や合成対象画像を自在に変化させ調整することができるので、利用者の合成画像で使用する合成用背景画像や合成用部分画像のイメージがより明確なものになると共に、利用者の娯楽性が高められる。また、利用者は多様な合成用背景画像や合成用部分画像から所望の合成用背景画像や合成用部分画像を選択可能であるから、利用者の多様な嗜好性を充足することが可能である。更に、テレビ電話装置のコミュニケーションに於けるコンテンツを多様化して充実させ、合成用背景画像や合成用部分画像を利用した合成画像によるテレビ電話装置の相互コミュニケーションの娯楽性など魅力を向上することができる。また、画像提供装置とテレビ電話装置の間での合成対象画像や合成用背景画像若しくは合成用部分画像による合成画像のデータ等の送受信或は利用者装置相互のデータの送受信等により、通信時間の長期化を図ることが可能であるから、通信料や伝送データ量等に応じた課金等により通信会社や画像提供事業者等の収益を確保し、或は収益を高めることが可能である。更には、新規なビジネスモデルを創出し、通信関連産業の発展を図ることができる。
【図面の簡単な説明】
【図１】第１実施形態に於ける画像提供装置及びテレビ電話装置の基本構成を示すブロック図。
【図２】第１実施形態に於ける画像提供の流れを示すフローチャート。
【図３】第１実施形態の第１変形例に於ける画像提供の流れを示すフローチャート。
【符号の説明】
１００ 画像提供装置
１０１ 認証処理部
１０２ 指定処理部
１０３ 画像合成部
１０４ 配信処理部
１０５ 課金処理部
１０６ 合成用画像データベース
１０７ 利用者データベース
２００ テレビ電話装置
２０１ 制御部
２０２ メモリ
２０３ 画像表示部
２０４ 入力部
２０５ 撮像部
３００ 通信回線[0001]
BACKGROUND OF THE INVENTION
The present invention mainly relates to an image providing apparatus and an image providing program for displaying a composite image on a user's videophone device.
[0002]
[Prior art]
Conventionally, for example, there is Patent Document 1 as a related art related to displaying a composite image on a user's videophone device. In Patent Document 1, videophone devices are connected to each other via a service provider system so that live video can be transmitted to each other, and the user permits the service provider system to use his live video as an advertising medium. The product to be set and advertised is set, and the service provider system synthesizes the product image with the live video transmitted from the user's videophone device and sends it to the videophone device of the communication partner. Furthermore, a system is disclosed that connects to a sponsor system that can obtain product descriptions and transaction information in response to a click on a product image of a communication partner.
[0003]
In Patent Documents 2 and 3, a videophone device on the transmission side, a relay station, and a videophone device on the reception side are connected by communication means, and an image captured by the videophone device on the transmission side is taken as a subject image and a background image. The background image is processed separately, and the background of the transmitting side is not displayed on the video of the videophone device on the receiving side. Further, the sponsor replaces the separated background image with the advertising image as a video and provides the advertising image. A system is disclosed in which the income obtained from the system is used for telephone charges and a banner advertisement is displayed on a video and linked to the Internet.
[0004]
Further, in Patent Document 4, an advertisement image is stored in a videophone device on the transmission side, a composite image obtained by combining the advertisement image and the photographed image is transmitted, and a composite image including the advertisement image is transmitted to the videophone device on the reception side. Further, there is disclosed a system for displaying an advertisement image and transmitting the advertisement image to a transmitting-side videophone device via a network, storing it in a storage means of the videophone device, and updating the advertisement image.
[0005]
In Patent Document 5, an identification code for identifying a photographed image and a background image is transmitted from a videophone device on the transmission side, and a photograph of the background image identified by the identification code on the videophone device on the reception side is transmitted. A system is disclosed in which images are synthesized and displayed, and a background image and an identification code are received from the outside via a network, and the contents of the background image storage means can be updated.
[0006]
[Patent Document 1]
JP 2001-283079 A
[Patent Document 2]
JP 2001-326918 A
[Patent Document 3]
JP 2001-326917 A
[Patent Document 4]
JP 2000-188741 A
[Patent Document 5]
JP 2000-175167 A
[0007]
[Problems to be solved by the invention]
By the way, in recent years, new communication environments such as mobile phones, the Internet, and broadband have been gradually developed. However, there is a lack of attractive services that strongly motivate users to participate in such communication environments. Has become a very big problem. And in order to give a strong motivation to a user, for example, it is required to satisfy individual preferences of various users and be a service with high entertainment.
[0008]
The present invention is proposed in view of the above-mentioned problems, satisfying individual preferences of various users, having high entertainment, and strong motivation for users to actively participate in the use of videophone devices. It is an object of the present invention to provide an image providing apparatus and an image providing program for displaying a composite image on a user's videophone device, which can realize a service that provides the user with the service and can create a new business model.
[0009]
[Means for Solving the Problems]
The image providing device of the present invention continuously transmits a moving image captured from the imaging unit to other videophone devices or image providing devices connected via a communication network in real time in response to an input of image transmission. In response to the input of the image for synthesis, the extraction of the synthesis target image, the image synthesis and the image transmission, the specified still image or background image for synthesis of the moving image is extracted from the storage unit, and the moving image captured from the imaging unit is extracted. The target area within a predetermined contour indicating a person or animal is continuously acquired to continuously extract moving image synthesis target images, and the moving image synthesis target is positioned at a predetermined position in a layer in front of the background image for synthesis of a still image or moving image. To a videophone device that generates a composite image by superimposing images and continuously transmits the composite image in real time to another videophone device connected via a communication network. An image providing apparatus for connecting a background image for composition of still images or moving images by connecting via a communication network, wherein the background image for composition of still images or moving images is associated with an identification number in a composition image database Means for storing, means for receiving an identification number of a background image for synthesis designated from a videophone device connected via a communication network, and a background image for synthesis corresponding to the designated identification number from a synthesis image database Means for extracting; means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device; and a target region within a predetermined contour indicating a person or an animal from the received moving image Means for continuously extracting images to be synthesized of moving images, and to extract the images to be synthesized of the moving images to be continuously extracted before the extracted background image for synthesis. Means for generating a composite image by superimposing it on a predetermined position of the layer of the image, and capturing the moving image in the videophone device and continuously transmitting the moving image from the videophone device, and generating the composite image in substantially real time. The TV Means for continuously transmitting to the speaking device, and transmitting from the videophone device in response to the input of the distribution request for the composite background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for the composition background image corresponding to the identification number, and means for distributing the composition background image corresponding to the identification number to the videophone device in response to the distribution request. It is characterized by.
[0010]
In addition, the image providing device of the present invention continuously transmits a moving image captured from the imaging unit to another videophone device connected via a communication network in real time in response to an input of image transmission, In response to input of image extraction and image transmission, a target area within a predetermined contour indicating a person or an animal is continuously acquired from a moving image captured from an imaging unit, and a composition target image of the moving image is continuously extracted. The composition target image is continuously transmitted in real time to the image providing apparatus connected via the communication network, and designated by the storage unit in accordance with the input of the composition image designation, composition target image extraction, image composition, and image transmission. A background image for synthesis of a still image or a moving image is extracted, and a target region within a predetermined contour indicating a person or an animal is continuously acquired from the moving image captured from the imaging unit, and the moving image Continuously extract the composition target image, generate a composite image by overlaying the target image of the moving image at a predetermined position of the layer in front of the still image or the background image for composition of the moving image, and connect via the communication network An image providing apparatus for connecting a still image or a background image for composition of a moving image to a videophone device that continuously transmits the composite image in real time to another videophone device that is connected via a communication network, Means for storing a background image for synthesis of an image or a moving image in correspondence with an identification number in a synthesis image database, and receiving an identification number of a background image for synthesis designated from a videophone device connected via a communication network Means for extracting a synthesis background image corresponding to the designated identification number from the synthesis image database; and imaging of the videophone device Means for receiving a synthesis target image of a moving image showing a person or animal continuously extracted from the moving image captured in step S1 and continuously transmitted from the videophone device, and a synthesis obtained by extracting the synthesis target image of the received moving image Means for generating a composite image by superimposing it on a predetermined position of a layer in front of the background image for use, imaging of the moving image in the videophone device, and continuous transmission of the video to be synthesized from the videophone device; Means for continuously transmitting the generated composite image to the videophone device in substantially real time, and a distribution request for the composite background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a composite background image corresponding to the identification number transmitted from the videophone device in response to the input of the videophone, and a response corresponding to the identification number in response to the distribution request. Means for delivering a composition background image to the videophone device.
[0011]
In addition, the image providing apparatus according to the present invention continuously transmits a moving image captured from the imaging unit to another videophone device or image providing apparatus connected via a communication network in real time in response to an image transmission input. Then, in response to the input of the partial image for synthesis, image synthesis, and image transmission, the designated partial image for the still image or moving image is extracted from the storage unit, and the front of the moving image captured from the imaging unit is extracted. A television that generates a composite image by superimposing a partial image for synthesis of a still image or a moving image at a predetermined position in a layer, and continuously transmits the composite image in real time to another videophone device connected via a communication network An image providing device that connects to a telephone device via a communication network and distributes a partial image for synthesis of a still image or a moving image, the object image or Is a character image or frame image still image or moving image combining partial image corresponding to the identification number stored in the combining image database, and a combination designated by a videophone device connected via a communication network Means for receiving the identification number of the partial image for use, means for extracting the partial image for synthesis corresponding to the designated identification number from the synthetic image database, and the videophone apparatus fetched by the imaging unit of the videophone apparatus Means for receiving continuously transmitted moving images, means for generating a combined image by superimposing the extracted composition partial image on a predetermined position of a layer in front of the received moving image, and a television of the moving image Imaging in the telephone device and continuous transmission of the moving image from the video phone device and the generated composite image in substantially real time are transmitted to the video phone device. And means for continuous transmission,該合 A composite image corresponding to the identification number transmitted from the videophone device in response to an input of a distribution request for a composite partial image corresponding to the identification number in the videophone device receiving and displaying the composite image And a means for receiving a partial image distribution request, and a means for distributing a composite partial image corresponding to the identification number to the videophone device in response to the distribution request.
[0012]
In addition, the image providing program of the present invention continuously transmits a moving image captured from the imaging unit to other videophone devices or image providing devices connected via a communication network in real time in response to an image transmission input. A moving image that is extracted from the image capturing unit by extracting a still image or a moving image combining background image specified from the storage unit in response to input of the image for synthesis, extraction of the target image, image synthesis, and image transmission. A target area within a predetermined contour indicating a person or animal is continuously acquired from the image, and a moving image composition target image is continuously extracted, and the moving image is placed at a predetermined position on a layer in front of the background image for synthesis of the still image or moving image. A television that superimposes the synthesis target images to generate a synthesized image, and continuously transmits the synthesized image to other videophone devices connected via a communication network in real time. An image providing program for use in an image providing apparatus that is connected to a speech apparatus via a communication network and distributes a background image for synthesizing a still image or a moving image, and an identification number for the background image for synthesizing a still image or a moving image Correspondingly stored in the image database for compositing, means for receiving the identification number of the background image for compositing designated from the videophone connected via the communication network, and compositing corresponding to the designated identification number Means for extracting a background image from the image database for synthesis, means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device, and a person or Means for continuously acquiring a target area within a predetermined contour indicating an animal and continuously extracting a synthesis target image of the moving image; and synthesis of the moving image to be continuously extracted Means for generating a composite image by superimposing an elephant image on a predetermined position of a layer in front of the extracted background image for composition; imaging of the moving image in the videophone device; and imaging of the video from the videophone device Means for continuously transmitting the generated composite image to the videophone device in continuous transmission and substantially in real time; and a background image for synthesis corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a composition background image corresponding to the identification number transmitted from the videophone device in response to an input of the distribution request, and a composition background corresponding to the identification number in response to the distribution request The image providing apparatus is caused to function as means for distributing an image to the videophone apparatus.
[0013]
In addition, the image providing program of the present invention continuously transmits a moving image captured from the imaging unit in real time to another videophone device connected via a communication network in accordance with an input of image transmission, In response to input of image extraction and image transmission, a target area within a predetermined contour indicating a person or an animal is continuously acquired from a moving image captured from an imaging unit, and a composition target image of the moving image is continuously extracted. The composition target image is continuously transmitted in real time to the image providing apparatus connected via the communication network, and designated by the storage unit in accordance with the input of the composition image designation, composition target image extraction, image composition, and image transmission. A still image or a background image for synthesis of a moving image is extracted, and a target region within a predetermined contour indicating a person or an animal is continuously acquired from the moving image captured from the imaging unit. Continuously extract images to be combined, generate a combined image by overlaying the target image of the moving image at a predetermined position on the front layer of the still image or background image for moving image combining, and connect via a communication network An image used for an image providing apparatus that distributes a background image for synthesis of a still image or a moving image by connecting to a videophone device that continuously transmits the composite image in real time to another videophone device that is connected via a communication network A program for providing a background image for synthesis of a still image or a moving image in a synthesis image database corresponding to an identification number and a background for synthesis designated by a videophone device connected via a communication network A means for receiving the identification number of the image, and a composition background image corresponding to the designated identification number is extracted from the composition image database. Means for receiving a synthesis target image of a moving image showing a person or an animal continuously extracted from a moving image captured by an imaging unit of the videophone device and continuously transmitted from the videophone device; and the received moving image Image composition Means for generating a composite image by superimposing a target image on a predetermined position of a layer in front of the extracted composition background image; imaging of the moving image in a videophone device; and television of the target image of the moving image Corresponding to the identification number in the videophone device receiving and displaying the composite image, and means for continuously transmitting the generated composite image to the videophone device substantially continuously in real time from the telephone device Means for receiving a distribution request for a composition background image corresponding to the identification number transmitted from the videophone device in response to an input of a distribution request for the composition background image, and corresponding to the identification number in response to the distribution request The image providing apparatus is made to function as means for distributing the composite background image to the videophone apparatus.
[0014]
In addition, the image providing program of the present invention continuously transmits a moving image captured from the imaging unit to other videophone devices or image providing devices connected via a communication network in real time in response to an image transmission input. Then, in response to the input of the partial image for synthesis, image synthesis, and image transmission, the designated partial image for the still image or moving image is extracted from the storage unit, and the front of the moving image captured from the imaging unit is extracted. A television that generates a composite image by superimposing a partial image for synthesis of a still image or a moving image at a predetermined position in a layer, and continuously transmits the composite image in real time to another videophone device connected via a communication network An image providing program used for an image providing apparatus that connects to a telephone device via a communication network and distributes a partial image for synthesis of a still image or a moving image. A videophone connected via a communication network with means for storing a composite partial image of a still image or moving image as an object image, character image, or frame image in correspondence with an identification number in a composite image database Means for receiving the identification number of the partial image for synthesis designated from the apparatus, means for extracting the partial image for synthesis corresponding to the designated identification number from the synthetic image database, and capturing by the imaging unit of the videophone device Means for receiving a moving image continuously transmitted from the videophone device, and means for generating a combined image by superimposing the extracted combining partial image on a predetermined position of a layer in front of the received moving image. Imaging of the moving image in the videophone device and continuous transmission of the moving image from the videophone device in substantially real time. In response to an input of a distribution request for a composite partial image corresponding to the identification number in the videophone device receiving and displaying the composite image; Means for receiving a distribution request for a composite partial image corresponding to the identification number transmitted from the videophone device, and a composite partial image corresponding to the identification number in response to the distribution request to the videophone device. The image providing apparatus is made to function as a means for distributing.
[0015]
Moving images transmitted in almost real time from the user's videophone deviceAlternatively, a synthesis target image that continuously extracts a target area within a predetermined contour from a transmitted moving imageAnd generating and presenting a composite image by combining the composite images selected or designated by the user,Near real timeIt is possible to generate a composite image that greatly reflects the user's will and movement. And the userVideo andConfirm that the desired image for combination is combined with the target image., Compositing images for compositingIt can be enjoyed as if you are trying it on, and the user can do the desired movement or movement.Video to be transmitted withGive changes such as movement and change to the composition target image in real time,Video andThe combined state of the compositing target image and the compositing image can be freely changed and adjusted in substantially real time, so that the enjoyment of the user can be greatly enhanced. In addition, since the user is presented with a composite image based on a favorite composite image, the user's preference can be satisfied. Further, the user can enjoy a desired composite image without being restricted by place or time. In particular, a variety of multiple or many composite images are stored, and a designated desired composite image is stored.Video andA configuration that can be combined with an image to be combined and presented as a combined image is preferable because the user can enjoy various combined images over a long period of time. or,A moving image or a synthesis target image from which a synthesis target image that is a target area within a predetermined contour is extractedIs transmitted once to the image providing device, and the image providing device returns the composition target image to the user's videophone device, whereby the image providing deviceVideo andVarious types of processing can be easily performed on the synthesis target image, and a synthesized image can be generated and presented in view of the user's preference, entertainment, and entertainment.
[0016]
Furthermore,Video andA composite image is generated by combining the target image and a composite image, and the composite image is distributed to a videophone device of a user having an image composition function capable of transmitting or displaying the composite image to a communication partner.WhenThe composite image in the same state as that when the composite image is generated by the user's videophone device is presented by the image providing device, and the user displays the composite state image in advance using the composite image presented by the image providing device. It is possible to confirm, and after the confirmation, it is possible to receive distribution of the composite image to the videophone device. That is, the user can use the composite image in advance with the composite image provided by the image providing device to confirm the image and then receive the desired composite image. There is no disappointment of the user because the composite image by the image or the image of the composite image that has been delivered is different from the expectation, and it is possible to provide a composite image that surely matches the user's preference. In addition, when communicating using a composite image with a videophone device that has an image composition function and can transmit the composite image to a communication partner, both the user and the other party of the communication are various and suitable for the composition. It is possible to enjoy a composite image by images, and to improve both entertainment. In addition, it is possible to cause the user to grow or increase the consciousness of handling the composite image like a decoration in the virtual space, and to create a new demand and market for the composite image and the like.
[0017]
Note that the image providing apparatus of the present invention may include means for charging the user for image provision or distribution using a composite image or a combination thereof. Revenue can be reliably obtained by charging, and a revenue base for business such as provision of composite images and distribution of predetermined images can be secured.
[0018]
For example, for generation and presentation of a composite image or presentation of a composite image, the display time of the composite image measured by a timer is set for each unit time corresponding to the unit price or the type of composite image that is uniformly set per unit time. The amount multiplied by the unit price, or the amount obtained by multiplying the connection time between the image providing device and the user's videophone device by the unit price set per unit time, the number of generations or the number of presentations of composite images to be counted, are set uniformly. A structure including means for charging a user with an amount obtained by multiplying a unit price or a unit price set according to the type of the composition image, or an appropriate combination of these, or a composition image The amount of money that is uniformly set corresponding to a predetermined image unit such as one image unit or set separately for each type of image for composition, etc. Multiplying the structure with charging means or the distribution of the composite image by the unit price set uniformly per unit time for the playback time or the unit price set separately corresponding to the type of composite image, etc. It is possible to adopt a configuration that includes means for charging the amount of money to the user.
[0019]
Or, a configuration including a means for charging the user with a fixed amount of usage fee, such as charging the user with a fixed amount in a monthly amount, or registering user authentication information with a setting where the fixed amount is charged and registering the user A configuration including a means for charging a user by providing a composite image by verifying registration authentication information and input authentication information or the like, or presenting a composite image or a composite image, etc. A configuration comprising means for charging the user an amount obtained by multiplying a transmission data amount such as image data by a unit price set per unit data amount for transmission or transmission of a moving image or a composition target image, or the like, or In addition, a configuration of an appropriate combination of these may be used, and a configuration including a unit for storing charging information for a user may be provided as necessary, and an appropriate charging configuration may be provided. In addition, the image providing device is provided with money information recognition means such as means for receiving and recognizing electronic money data via short-range wireless etc., and money information by the money information recognition means Generation and presentation of composite images or presentation of composite images or arrangement of composite images, etc.BelieveIt is possible to combine the configuration with the required billing configuration.
[0020]
It is also used for transmission and reception between the image providing device and the user's videophone device.Communication network Includes appropriate devices as long as the image providing device and the user's videophone device can communicate with each other and can transmit and receive data such as images and sounds.For example, dedicated line or public line, Internet or IP network, satellite communication, telephone line network such as mobile phone, or short distance communication such as wireless LAN, Bluetooth (registered trademark), infrared communication, dedicated narrow area communication (DSRC) Communication by means, etc., or a required combination thereof, including wired or wireless, or a combination of both, including communication by radio waves, communication by light, or a combination thereof . orIn the communication networkThe system configuration of the connected image providing apparatus and the user's videophone apparatus is appropriate as a client server system or a peer-to-peer configuration. Also, the image providing device and the user's videophone device are at a long distance.Communication networkFor example, when a user apparatus accesses and connects to a URL or IP address set in the image providing apparatus, or the image providing apparatus in which the telephone number is set is connected to a mobile phone or a fixed telephone. It is possible to make a configuration such as connecting the communication line between the image providing device and the user device when the user device makes a call with the telephone number. This makes it possible to secure profits more reliably.
[0021]
Further, the image providing apparatus is appropriate as long as it is a computer that functions as a predetermined means, such as a server, a personal computer, a plurality of computers connected via a network, a dedicated apparatus or a multi-function apparatus that communicates remotely with a user apparatus. It is possible to use a dedicated device or a multi-function device that is installed at a required location such as a shopping center or a convenience store and communicates with a user device at a short distance, or a required combination thereof. It should be noted that the predetermined means or the predetermined unit in the image providing apparatus can be realized by being configured by a required unit such as a CPU or a memory that cooperates with a predetermined program to be stored.Video phone equipmentThe same applies to the predetermined means or the predetermined part.
[0022]
The user's videophone device is appropriate as long as it functions as a videophone. For example, a landline phone, a mobile phone, a mobile terminal, an in-vehicle terminal, a personal computer, a videoconferencing device, a digital TV, a TV device, a video game, etc. Audio data and image data, such as a video game machine, a combination of a video game machine and a television set, a combination of a set-top box and a television device, and the like. It is possible to have a configuration capable of communication and having an image composition function and the like.
[0023]
Also,Object image or character image used when compositing an object image or character image as a partial image for compositionCan be one or more. For example, the predetermined unit of the image providing apparatusIt is an object image or a character imageFor multiple synthesisportionPresent images as selectable, for multiple desired compositesportionAccepts a plurality of compositing image designation requests in response to an image designation request, etc.Moving images transmitted from videophone devicesYou may make it synthesize | combine.In the synthesis of the object image and the character image, for example, a predetermined position with respect to the moving image is set by a coordinate value or the like in a memory such as an image providing device, and the representative point set in the object image or the character image is aligned with the predetermined position. Further, the predetermined unit of the image providing apparatus receives and accepts a movement request for moving the object image or character image combining position in a predetermined direction from the videophone device, and receives the movement request in the predetermined direction. The composition position of the object image or the character image may be moved by the set movement distance and moved to a predetermined position so that it can be arranged. Further, when a frame image is synthesized as a partial image for synthesis, for example, the same size as the moving image in which a hole for visually recognizing a part of the moving image received from the videophone device is formed at a predetermined position such as approximately the center. And the frame image is synthesized as a foreground image on a layer in front of the moving image. In addition, when compositing a compositing target image with a compositing background image, for example, the same size as the moving image before extracting the compositing target image. A composition background image is used, and the composition target image is synthesized with a layer ahead of the composition background image.
[0024]
Also for synthesisThe content of the background image is, for example,Indoor images such as specified indoors, outdoor images such as landscapes, space images, images of virtual spaces such as virtual three-dimensional space, movies and programsImages viewed from different viewpoints in the same spaceEtc. imagesAnd so on. Further, the object image of the partial image for composition is, for example, an image of a product such as interior furniture, an image viewed from a different viewpoint in the same article or the same space, and the character image of the partial image for composition is, for example, a person, animals, plants, virtual creatures And the like, images in which the same subject or the same animal or plant has different postures, or the like can be used, or these can be used in combination. Furthermore, the character image may be an image that the control unit of the user's videophone device operates in cooperation with a predetermined program, for example.
[0025]
In addition, a configuration in which a target area within a predetermined contour is continuously acquired from a moving image (original image) and a composition target image of the moving image is continuously extracted is appropriate.For example, a predetermined part of the image providing device orVideophoneThe predetermined unit of the apparatus acquires the inter-frame difference based on the pixel density, brightness, or color between the past frames such as the previous frame continuous with the current frame with respect to the original image of the moving image, and the inter-frame difference is obtained. A structure that separates the moving area from the other areas by binarization in comparison with a predetermined threshold value that is set, and extracts the moving area as a synthesis target image; orThe predetermined unit of the image providing device or the predetermined unit of the videophone device stores and holds the basic contour of the synthesis target image such as the shape of a preset person, executes pattern matching using the template of the shape or basic contour, It is possible to adopt a configuration in which an image to be synthesized with a basic contour that matches the template is extracted from the original image of the image.
[0026]
Alternatively, an active contour model may be used, for example, a predetermined unit of the image providing apparatus orVideophoneA predetermined part of the device(The original image)Set an outline that is the initial outline near the outside of the image to be combined in, and set energy consisting of image energy due to image features, energy that contracts the outline, energy that represents the smoothness of the outline, etc. By minimizing the function, the control point on the contour line can be moved to extract the contour of the compositing target image, and the compositing target image can be separated and extracted. The initial contour setting configuration is, for example, the difference between the frames.MinIt is appropriate to execute the processing and set the edge of the moving region extracted in the processing by enlarging it with a predetermined magnification or the like, or using a preset initial contour.
[0027]
Further, for example, a predetermined part of the image providing device orVideophoneA predetermined unit of the apparatus acquires distance information with respect to the image area, determines an image area existing within a reference distance or a reference distance or a reference distance range to be stored and held, and other image areas based on a predetermined threshold or the like, A configuration in which an image region such as a reference distance is separated and extracted as a synthesis target image may be used. The distance image is, for example, a focus match of a camera such as a focus match in a measurement refusal frame set at an approximate center of an image captured by a camera having an autofocus function, such as an ultrasonic wave or an infrared ray. Appropriately, for example, by acquiring a measurement refusal for an image area by linking a sensor and a camera, or taking a stereo image by a plurality of cameras, etc., and the reference distance is appropriately set, for example, about 20 to 80 cm. The distance can be set.
[0028]
Further, for example, a predetermined part of the image providing device orVideophoneThe predetermined unit of the device calculates the feature amount such as the luminance and color of the pixel of the original image, extracts the pixel having a small difference from the feature amount of the pixel at the representative position to be set as a continuous region with respect to the pixel at the representative position, and performs the extraction A configuration for separating and extracting the pixel area as an area of the synthesis target image or a feature quantity such as color information such as a skin color of a specific person is stored, a feature quantity of the pixel of the original image is calculated, and the calculated feature quantity A configuration in which pixels having little or the same difference from the stored feature amount are extracted as a continuous region, and the extracted pixel region is separated and extracted as a region of a synthesis target image, etc.May be used.Further, if necessary, a predetermined part of the image providing device orVideophoneConfiguration in which a predetermined part of the device detects the motion region by calculating the optical flowMay be used.In addition to this, moving images that include compositing targets(The original image)As the configuration for separating and extracting the synthesis target image from the above, it is possible to adopt an appropriate configuration such as an existing separation configuration other than the above-described configuration, or a configuration using these configurations in a required combination.
[0029]
Also for composition to deliverFor background images or partial images for compositionIt is preferable to apply anti-duplication processing. For example, an entertainer can perform copy protection such as digital watermarking on images to be distributed.ofWhen using an image or the like, portrait rights and copyrights can be appropriately protected, and an image with more attractive contents can be provided.
[0030]
In addition, the present invention includes those in which the configuration of each invention is appropriately changed to the configuration of another invention as long as partial effects can be obtained. For example, the configurations of the apparatus, system, method, and program are mutually different. Applied to the structure of the invention of the category of category, or the category of the device etc. changed to the category of method or programIt is good.In addition, the present invention includes those in which the configurations of the other inventions are appropriately added to the configurations of the respective inventions, and those obtained by deleting the configurations of the respective inventions and making them higher-level concepts can also obtain partial effects of the present invention. To the extent included in the present invention. In addition, the image providing apparatus orVideophoneEach predetermined means or each predetermined part of the apparatus is configured by required hardware or software, and is realized by, for example, a CPU, a memory, a program stored in the memory, required data, or the like, or cooperates with the predetermined program or required data. This is realized by a CPU, a memory and the like.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Image providing apparatus according to first embodiment of the present invention andVideophoneDevice and image providing deviceVideophoneA flow of image provision to the apparatus will be described. Image providing apparatus according to first embodiment andVideophoneThe basic configuration of the apparatus and the basic flow of image provision are as shown in FIGS.,An image providing apparatus 100 connected to a videophone apparatus 200 such as an IP telephone system via a communication line 300 that is an IP network is continuously imaged by the videophone apparatus 200 and is continuously captured in real time from the videophone apparatus 200. The moving image to be transmitted is received, and the image to be synthesized is extracted from the received moving image substantially in real time with the imaging and transmission / reception, continuously extracted, and the background image or still image of the specified moving image is extracted. For composition, which is the background image of an imagebackgroundimageInThe synthesis target images to be continuously extracted are substantially in real time with the imaging, transmission / reception and extraction.Overlay it on the front layerA composite image is generated, and the composite image to be generated is also transmitted to the videophone device 200 in substantially real time and reflected and presented in a reflective manner, and is synthesized from the captured image by the videophone device 200 in substantially real time with the imaging. A composite image including the image is displayed, and further, for the composite desired by the userbackgroundDeliver images to videophone device 200 for compositionbackgroundThe user is charged for the image distribution.
[0032]
As illustrated in FIG. 1, the image providing apparatus 100 according to the first embodiment includes an
[0033]
Note that, for data transmitted from the image providing apparatus 100 to the videophone apparatus 200 (to be described later) or data of each screen, a necessary program for causing the control unit 201 and the memory 202 of the videophone apparatus 200 to function as predetermined means, a browser Necessary programs for causing the control unit 201 and the memory 202 of the videophone device 200 to function as predetermined means in cooperation with a program having a function are appropriately included. The image providing apparatus 100 can be, for example, a single computer or a network computer composed of a plurality of computers connected by a network. In the case of using a network computer, necessary means are separately provided as appropriate. It is possible.
[0034]
As shown in FIG. 1, the videophone device 200 according to the first embodiment includes a CPU 201 that controls operations in cooperation with a predetermined operation program and the like, a control unit 201 such as a required memory, a predetermined operation program and a composition program.backgroundA memory 202 for storing predetermined data such as image data, an image display unit 203 that is a display for displaying an image, an input unit 204 such as a button, an imaging unit 205 that can capture a moving image, such as a CMOS camera or a CCD camera, and a microphone 206, a speaker 207, a communication processing unit 208 that functions as a communication interface and functions as a means for processing data to be transmitted and received in packets, such as packetization and restoration of data, and the like. , A program that captures a moving image from the image capturing unit 205 and transmits the moving image in real time with the image capturing in the image capturing unit 205, and continuously combines a target image to be synthesized from the moving image captured by the image capturing unit 205 in real time with the image capturing. Automatically extracted and pre-stored in the memory 202 For synthesis to be stored in the frequency rangebackgroundFor composition selected from the image by the input unit 204 or the likebackgroundSuperimposing and synthesizing the image and the image to be combined to continuously generate the combined image in real time with the imaging, and continuously transmitting the combined image in real time to the other videophone device via the communication line 300 Programs are included as appropriate, and a voice recognition program is included as necessary.
[0035]
When the image providing device 100 provides an image to the videophone device 200, as shown in FIG. 2, the videophone device 200 responds to the user's input via the IP network communication line 300. The image providing apparatus 100 receives a connection request from the videophone device 200 and establishes a connection (S101). Then, the
[0036]
On the other hand, if the authentication is successful, the
[0037]
The
[0038]
The image synthesizing unit 103 of the image providing apparatus 100 continuously receives or recognizes moving images continuously received via the communication processing unit 109 (S104), and continuously receives moving images according to the reception or recognition. The image to be synthesized is continuously extracted from the image, the image to be synthesized such as the user's own image is extracted and acquired continuously in real time with the reception or recognition (S105), and the received designation identification is performed.numberIdentification from the image database 106 for synthesis based onnumberFor synthesis corresponding tobackgroundExtract an image, for example, if necessary, for composition as a background image of a moving imagebackgroundThe image has the same shape and size as the moving image (original image) from which the image to be synthesized is extracted, and the position and size of the image to be synthesized with respect to the original image are coordinates with respect to the coordinate axis of the original image at a predetermined reference point located at the outer edge of the image to be synthesized It is grasped by the value etc., and it is for composition in the same relationship with the position and size of the composition target image with respect to the original image.backgroundForward of imageLayersThe target image that is the user's own image, etc.SuperimposeFor compositing or as a background image of a moving imagebackgroundThe image is made the same shape and size as the moving image (original image) from which the image to be synthesized is extracted, and the transparency is processed by setting the opacity α other than the original image to be synthesized to 0, etc.backgroundForward of imageLayersThe target image that is the user's own image, etc.SuperimposeBy synthesizing the image, the image for synthesis and the image to be synthesized are captured substantially in real time when the videophone device 200 captures and transmits the moving image.ReamSubsequently, the images are combined to generate a combined image (S106). In the present embodiment, the image synthesizing unit 103 separates and extracts a synthesis target image from a moving image that is an original image. In the present embodiment, a past frame such as a frame immediately preceding the current frame with respect to the original image of the moving image is used. The inter-frame difference due to the density, brightness, or color of the pixel between frames is acquired, and the inter-frame difference is compared with a predetermined threshold value and binarized to separate the moving area from the other areas. Although the region is extracted as the synthesis target image, an appropriate configuration can be used in addition to the above configuration.
[0039]
Furthermore, the image composition unit 103 stores and holds the compositionbackgroundThe control unit 201 of the videophone device 200 performs control of displaying a composite image at a predetermined position on the composite image presentation screen, a composite image presentation screen having a menu item or an icon for requesting download of an image and returning to the composite image designation screen. The program to be executed is extracted, and the composite image presentation screen and the program are transmitted to the videophone device 200 via the
[0040]
Then, in response to the start of generation or transmission of the composite image, the image composition unit 103 starts measurement of a predetermined set time such as a short time that is a presentation time of the composite image to be stored and held by the
[0041]
On the other hand, during the set time, which is the composite image presentation time, the control unit 201 of the videophone device 200 transmits in response to a download request designation input by the user input unit 204 or the like on the composite image presentation screen. When the
[0042]
In addition, the
[0043]
Thereafter, when the user communicates with a user of another videophone device using the videophone device 200, the composite image mode is designated by the input at the input unit 204 or the like and the desired composition is performed.backgroundIn response to the designation of the image, the control unit 201 of the videophone device 200 extracts and extracts a moving image synthesis target image from the moving image captured by the imaging unit 205 and stores it in a predetermined storage area of the memory 202.backgroundFor composition selected from imagesbackgroundExtract an image and combine it with the target imagebackgroundImageOverlay on the previous layerA composite image is generated by continuous composition, and the composite image is transmitted to another videophone device of the communication partner via the communication line 300. At this time, the composition for distribution received in the image composition of the videophone device 200 is received.backgroundWhen the image is a moving image, it is possible to further enhance the amusement of the user and the communication partner.
[0044]
As described above, the image providing device 100 receives the original image of the moving image from the videophone device 200, continuously extracts the synthesis target images, and uses the extracted synthesis target images for synthesis.In the background imageA composite image is generated by composition, and the composite image is presented to the videophone device 200 in substantially real time with the transmission of the original image.backgroundThe state in which the image is actually used as a composite image can be confirmed in advance, and furthermore, the composite target image is presented to the videophone device 200 in a substantially real-time manner.backgroundComposite imageOn the imageIt is possible to confirm the actual use state while freely adjusting it in substantially real time. In addition, users can use for various synthesis.backgroundFor desired composition from imagesbackgroundSelect an image and select the selected compositionbackgroundSince the presentation of the image and the image to be combined can be received, the selection diversity is ensuredbackgroundYou can try it out as you try on an image. Therefore, for synthesisbackgroundThe state in which the image is used can be imaged by the user, and the entertainment and taste of the user can be sufficiently satisfied. In addition, the user can use for synthesisbackgroundSince it is possible to receive image distribution etc., when it is a composite image, it is for composition that differs from the user's image and tastebackgroundIt is possible to eliminate the need for the user to acquire images at a price, and for the composition to ensure that the user meets the tastebackgroundFor images that can be obtained and for composition that suits tastes through reasonable consumptionbackgroundImages can be acquired. Also for synthesisbackgroundBy charging for image distribution or composite image presentation, the operator of the image providing apparatus 100 can ensure profits, and further, the videophone apparatus 200 that the user continuously uses can be secured. For synthesisbackgroundFor image distribution and compositionbackgroundSince the composite image is presented as an image, profit can be obtained with high stability. Furthermore, as a synergistic effect of these, it is possible to obtain a very excellent business model that has a strong incentive to users and a solid revenue base.
[0045]
Next, a first modification of the first embodiment will be described. As shown in FIGS. 1 and 3, the first modification of the first embodiment continuously extracts and extracts a synthesis target image from moving images continuously captured by the videophone device 200, and the videophone device 200. Is connected to the image providing apparatus 100 connected via the communication line 300 which is an IP network.Videophone device 200Instead of the configuration for continuously transmitting the moving image of the first embodiment,Videophone device 200The synthesis target images to be continuously extracted are continuously transmitted in real time with the imaging and extraction, and the image providing apparatus 100 transmits the synthesis target images from the videophone device 200 via the communication line 300 in substantially real time. For composition, which is a background image of a specified moving image or a background image of a still imagebackgroundThe image and the target image to be continuously received are superimposed and synthesized in real time with the imaging, extraction, and transmission / reception.TogetherA composite image is generated, and the composite image to be generated is also transmitted to the videophone device 200 in substantially real time and reflected in a similar manner, and the videophone device 200 displays the composite image including the synthesis target image in substantially real time with the imaging. Is done. Furthermore, for the synthesis desired by the userbackgroundDeliver images to videophone device 200 for compositionbackgroundThe user is charged for the image distribution.
[0046]
The basic configuration of the image providing apparatus 100 of the first modification is the same as that of the first embodiment, and as shown in FIG. 1, the
[0047]
The basic configuration of the videophone device 200 of the first modification is the same as that of the first embodiment. As shown in FIG. 1, the control unit 201, the memory 202, the image display unit 203, the input unit 204, and the imaging unit. 205, a microphone 206, a speaker 207, a communication processing unit 208, and the like. A program having a browser function and a moving image from the imaging unit 205 are captured in a predetermined storage area of the memory 202, and the imaging by the imaging unit 205 is performed in real time. From the program for transmitting the moving image, the image to be synthesized of the moving image from the moving image picked up by the image pickup unit 205 is extracted in real time and extracted in real time from the combining image stored in the predetermined storage area of the memory 202. The synthesis image selected by the input unit 204 or the like is synthesized with the synthesis target image to continuously generate the synthesized image in real time with the imaging. A program for continuously transmitting the composite image in real time with the imaging is stored in another videophone apparatus via the communication line 300, and the imaging unit 205 captures the image in a predetermined storage area of the memory 202. A program for continuously extracting and extracting a synthesis target image of a moving image from the moving image to be extracted in real time, and continuously transmitting the synthesized image to the image providing apparatus 100 via the communication line 300 in real time. Remember.
[0048]
When the image providing apparatus 100 according to the first modified example provides an image to the videophone apparatus 200, first, as shown in FIG. 3, a connection is established by the same processing as in the first embodiment (S101). The
[0049]
The image synthesizing unit 103 of the image providing apparatus 100 continuously accepts or recognizes the synthesis target images continuously received via the communication processing unit 109 (S111), and the received designation identification according to the acceptance or recognition.numberIdentification from the
[0050]
Similar to the first embodiment, the image composition unit 103 causes the control unit 201 of the videophone device 200 to execute control and the like to display a composite image at a predetermined position on the composite image presentation screen and the composite image presentation screen. Is transmitted to the videophone device 200, and a composite image that is generated substantially continuously in real time with moving image capturing and transmission in the videophone device 200 is transmitted to the videophone device 200 via the
[0051]
As described above, the image providing apparatus 100 receives the compositing target image from the videophone device 200, and the received compositing target image is used for compositing.backgroundA composite image is generated by combining the images, and the composite image is presented to the videophone device 200 in substantially real time with the transmission of the composite target image.backgroundThe state in which the image is actually used as a composite image can be confirmed in advance, and furthermore, the composite target image is presented to the videophone device 200 in a substantially real-time manner.backgroundComposite imageOn the imageIt is possible to confirm the actual use state while freely adjusting it in substantially real time. In addition, users can use for various synthesis.backgroundFor desired composition from imagesbackgroundSelect an image and select the selected compositionbackgroundSince the presentation of the image and the image to be combined can be received, the selection diversity is ensuredbackgroundYou can try it out as you try on an image. Therefore, for synthesisbackgroundThe state in which the image is used can be imaged by the user, and the entertainment and taste of the user can be sufficiently satisfied. In addition, the user can use for synthesisbackgroundSince it is possible to receive image distribution etc., when it is a composite image, it is for composition that differs from the user's image and tasteBack SceneryIt is possible to eliminate the need for the user to acquire images at a price, and for the composition to ensure that the user meets the tastebackgroundFor images that can be obtained and for composition that suits tastes through reasonable consumptionbackgroundImages can be acquired. Also for synthesisbackgroundBy charging for image distribution or composite image presentation, the operator of the image providing apparatus 100 can ensure profits, and further, the videophone apparatus 200 that the user continuously uses can be secured. For synthesisbackgroundFor image distribution and compositionbackgroundSince the composite image is presented as an image, profit can be obtained with high stability. Furthermore, as a synergistic effect of these, it is possible to obtain a very excellent business model that has a strong incentive to users and a solid revenue base.
[0052]
The image provision to the videophone device 200 which is the user device by the image providing device 100 according to the first embodiment and the modification thereof has been described above. However, the present invention is not limited to the above-described embodiment. A configuration in which the configuration of the embodiment or its modification is appropriately applied as a configuration of another example is also included in the present invention, and for example, a configuration modified by adding the following configuration example or added to the configuration, etc. Included in the invention. Each configuration of the image providing device 100 and the video phone device 200 can be appropriately adopted for the image providing device of the present invention, the user's video phone device, and the like.
[0053]
In the above embodiment, the
[0054]
In the above embodiment, a menu item for a download request is provided on the composite image presentation screen, and the
[0055]
In the above embodiment regarding the billing configuration,backgroundFor image distribution, for compositionbackgroundAlthough the case where it is configured to charge based on a set amount or unit price set uniformly for each image type or a unit price, an appropriate configuration capable of securing a profit base of a business model can be adopted as the charging configuration, for example, The image providing device stores a fixed amount to be charged periodically or a billing time such as the end of the month by a predetermined unit or a predetermined means that cooperates with a predetermined program, and registers the fixed amount by recognizing the charging time by measuring a timer or the like Charges for users, configuration of charging for registered users in the
[0056]
In the above-described embodiment, the image composition units 103 and 123 of the image providing apparatus 100 can specify the blurring amount of the composition image at a predetermined stage, or can be used for composition.backgroundA composite image presentation screen having a menu item or an icon of an adjustment degree of the blur amount capable of adjusting the blur amount of the image in stages is stored and held, and the composite image presentation screen and the like are transmitted to the videophone device 200 and generated. The composite image is transmitted and presented in substantially real time or the like, and the control units 201 and 221 of the videophone device 200 receive them and display the composite image presentation screen including the composite image on the image display units 203 and 223, and , The designated adjustment degree transmitted by the control units 201 and 221 of the videophone device 200 according to the designation of the adjustment amount of the blur amount at a predetermined stage by the input units 204 and 224, etc., the image composition unit 103 of the image providing device 100, When the image receiving unit 123 receives and accepts it, the image synthesizing units 103 and 123 perform blurring at a predetermined stage received from the filter parameters stored and retained. Gets the filter parameters corresponding to the degree of adjustment of, for synthesis are synthesized in the image in the filter parameterbackgroundPerforms filtering to blur the image to the blur amount at the predetermined stage, and performs filtering to adjust the blur amount at the predetermined stagebackgroundThe control unit 201, 221 of the videophone device 200 that generates the composite image by combining the image and the target image to be acquired, transmits the generated composite image, presents the received composite image, and receives the generated composite image in the predetermined stage. For compositing adjusted to the blur amountbackgroundIt is good also as a structure which displays the synthesized image by an image on the image display parts 203 and 223. FIG. The menu item or icon for adjusting the amount of blurring has a relatively small amount of blurring, for example, an icon for stage 1 with a relatively low degree of blurring, an icon for stage 2 with a moderate degree of blurring, etc. One or more are set for each predetermined stage, such as a strong stage 3 icon.
[0057]
In the above embodiment, the compositing target image isVideoExtracted separately from the original image, and for the composition that is the background image behind the composition target imagebackgroundThe composite image is generated by arranging the images. However, the image composition unit 103 of the image providing device 100 or the control units 201 and 221 of the user's videophone device 200 or the like that cooperates with a predetermined program receives the image. Or imagingA layer in front of the moving image (original image)For compositing frame images or partial images of character imagesportionIt is good also as a structure which arrange | positions an image and produces | generates a synthesized image. In addition, the image synthesizing unit 103 of the image providing device 100 or the control units 201 and 221 of the videophone device 200 cooperating with a predetermined program,Extracted from videoMake the target image translucent and use the target image for compositionbackgroundForward of imageComposition to be placed on the layer,Alternatively, the composition background image is made translucent and the composition target image is arranged and synthesized in the layer in front of the composition background image,OrA structure in which a moving image is made translucent and a composition partial image is generated by arranging a composition partial image in a layer in front of the moving image, or a composition partial image is made translucent and the composition partial image is converted to a moving image. Place in the previous layer and composeIt is good also as a structure. The translucency processing of each image is appropriately performed by α branding or the like. For example, a predetermined part of the image providing apparatus 100 or a predetermined part of the videophone device 200 may detect a pixel value such as a color value of the front image and the rear image. This is executed by obtaining a pixel value blended at a ratio according to the set opacity α, and generating a composite image in which the front image is translucent with the obtained pixel value.
[0058]
Also, the image providing apparatus 100 is for compositionBackground image and partial image for compositionThe
[0059]
In the above-described embodiment, the image composition unit 103 of the image providing apparatus 100 generates a composite image, and displays the composite image to be generated, a composite image presentation screen, and a composite image at predetermined positions on the composite image presentation screen. By transmitting a program or the like that causes the control unit 201 or the like of the videophone device 200 to execute control or the like, the composite image received at a predetermined position on the composite image presentation screen received by the control unit 201 or the like of the videophone device 200 is synthesized. The image synthesizing unit 103 of the image providing apparatus 100 generates a synthesized image, synthesizes the synthesized image at a predetermined position on the synthesized image presentation screen, and synthesizes the synthesized image and the synthesized image presentation screen. The data may be transmitted to the videophone device 200 and presented. Also, for example, the composite image presentation screen is a partial image such as an elongated shape, and the image composition unit 103 of the image providing device, the control unit 201 of the videophone device 200, etc. cooperate with a predetermined program to A composite image presentation screen or a composite image presentation image, which is an image, is placed at a predetermined position with respect to a composite image that is set and stored, for example, it is horizontally long and forwardly synthesized at the bottom of the synthetic image, or horizontally long outside the lower side of the synthesized image. It is good also as a structure etc. to synthesize | combine. or,Videophone device 200A program for causing the control unit or the like to function as a predetermined means isVideophone device 200To send a composite image in real time or in advance, orVideophone device 200It is possible to set the predetermined storage unit. or,Videophone device 200The image providing apparatus cooperates with a predetermined program and necessary data, for example, by displaying a request menu or the like on the image display unit as necessary.100Each request to be transmitted to the input unit is configured to be transmitted according to a predetermined input of the input unit, and a predetermined screen such as a composite image presentation screen is provided as an image providing device100 is a videophone device 200It is possible to adopt a configuration that does not transmit to the network.
[0060]
In addition, the image composition unit 103 of the image providing apparatus 100 or the like is a compositing target image transmitted from the videophone device 200.Or the synthesis target image extracted from the transmitted videoOr for synthesisportionimageIs transmitted from the videophone device 200Accepts a movement request and, depending on the movement request, compositing target image or for compositionportionMove the image and move the composition target image or for compositionportionIt is good also as a structure which produces | generates a synthesized image with an image. For example, the image synthesizing unit 103 of the image providing apparatus 100 transmits a composite image presentation screen having a movement request menu item or icon indicating the movement direction as necessary, and is input and transmitted by the videophone device 200 For image or compositionportionReceiving and accepting a predetermined movement request having the moving direction of the image, recognizing the moving direction based on the predetermined movement request, and storing and holding the coordinate value of the representative point of the front image with respect to the coordinate system of the rear image Image to be synthesized in the recognized moving direction by the unit distance to be synthesized or for synthesisportionMove the image and move the composition target image or for compositionportionA composition for generating a composite image based on an image, or a composition target image or composition image that is input and transmitted by the image composition unit 103 or the like of the image providing apparatus 100 via the touch panel or the like of the videophone device 200portionReceives and accepts a predetermined movement request having the moving direction and moving distance of the image, recognizes the moving direction and moving distance based on the predetermined movement request, and sets the coordinate value of the representative point of the front image with respect to the coordinate system of the rear image. For the image to be synthesized or for synthesis in the recognized moving direction by the recognized moving distance by moving etc.portionMove the image and move the composition target image or for compositionportionAlthough it is possible to have a configuration for generating a composite image from images, it is possible to have an appropriate configuration other than the above configuration. Further, the control unit 201 or the like of the videophone device 200 basically performs the same processing as in the above example and the like, and the composition target image or compositionportionAccepts an image move request and, depending on the move request, compositing target image or for compositingportionMove the image and move the composition target image or for compositionportionA configuration in which a composite image is generated from an image can be used.
[0061]
The composition target image that can move the display position of the image display unit 203 or the like of the videophone device 200 is preferably, for example, a composition target image such as a user's own image extracted from the original image. The partial image for composition that can be moved isObject image, character image, etc.It is suitable to be an image for composition of partial images ofportionBy making the position of the image movable, it is possible to freely adjust the position and generate various composite images for confirmation.,The user's taste and entertainment can be further satisfied.
[0062]
Also,About the composition background image and composition target image of the combination constituting the composite image of the moving image, or the combination partial image and moving image of the combination constituting the composite image of the movie,The image composition unit 103 of the image providing apparatus 100 or the like responds to the reception of the pause request transmitted from the videophone device 200.These imagesIs suspended, and the suspension is canceled in response to acceptance of the suspension cancellation request transmitted from the videophone device 200.These imagesIn response to a configuration in which the video is played from the paused scene or a playback request transmitted from the videophone device 200These imagesDepending on the configuration in which playback is performed from the first scene or the reception of a playback request at a playback speed slower or faster than the normal playback speed transmitted from the videophone device 200These imagesA configuration of reproducing at a predetermined slow or fast reproduction speed that is stored and held can be appropriately employed. Each request is presented as, for example, a menu item or an icon on the composite image presentation screen, and transmitted to the image providing apparatus 100 in response to designation of a predetermined menu item or the like by the input unit 204, or an input unit A configuration in which the image is transmitted to the image providing apparatus 100 in response to a predetermined input at 204 is possible.
[0063]
In the configuration in which playback is performed according to the normal playback speed, the slow playback speed, or the fast playback speed, the image composition unit 103 of the image providing apparatus 100,A combination background image and image to be combined, or a partial image and moving image for a combination constituting a composite image of a moving imageIn addition to the configuration in which the playback speed is changed in response to reception of a predetermined playback request,A combination background image and a composition target image constituting a combination image of a moving image, or a combination partial image and a moving image constituting a combination image of a movieFor example, the image synthesizing unit 103 of the image providing apparatus 100, for example,Background image for composition of a moving image in a composite image, a partial image for composition of a moving image in a composite image, or a target image for composition of a moving image in a composite imageA composite image presentation screen having a playback request menu item or icon for playback at a playback speed slower or faster than the normal playback speed is presented, and reception of a playback request at a predetermined playback speed input and transmitted from the videophone device 200 According toThese imagesIs played at the normal playback speed, and a playback request at the predetermined playback speed is accepted.PaintingThe image is played back at a predetermined slow or fast playback speed to store and hold the image, and the normal playback speedPaintingImage and said predetermined slow or fast playback speedPaintingA composition image is generated and presented with an image. Also, for example, the videophone device 200 can play back at a slow or fast playback speed.Video composition background, video composition part or video composition target imageDesignate the image with a pointer or cursor by inputting on the input unit 204, etc.The background image for synthesis, the partial image for synthesis, or the image to be synthesizedA request for reproduction at a slow or fast reproduction speed is transmitted to the image providing apparatus 100 together with the designation information, and the image synthesizing unit 103 of the image providing apparatus 100 requests the reproduction request at a predetermined slow or fast reproduction speed. For composition of the specified information upon receptionBackground image or partial image for compositionAlternatively, it may be configured to reproduce at a predetermined slow or fast reproduction speed for storing and holding the synthesis target image. As with the above configuration,Configuration that can be paused for either one of the combination background image and composition target image that composes the composite image of the moving image or one of the combination partial image and moving image that composes the composite image of the movie It is good.
[0064]
With the above configuration, for exampleVideoAlternatively, continuous transmission of the synthesis target image and the synthesis target image that is presented reflectively in substantially real time are played back at a slow or fast playback speed.Composition background image or composition partial imageThe user of the videophone device 200 can view the composite image generated and presented by theBackground image or composition partThe degree of freedom of adjustment of the image and the synthesis target image is improved, and the user's preference and entertainment can be further enhanced. The predetermined slow or fast playback speed can be set in stages, for example, a configuration in which the playback speed is changed in stages according to the number of inputs or the input time of the slow or fast playback request, etc. In addition, it is preferable that the control unit 201 of the video phone device 200 can perform basically the same processing as the image composition unit 103 of the image providing device 100, for example, the reproduction request or the like. For synthesizing a composite image that is generated in response to the input of each requestBackground image or partial image for compositionAlternatively, change the playback speed of the target image or composite image, and change the playback speed.PaintingA composition image may be generated and presented as an image, or a composition image may be generated and presented with a reproduction speed changed.
[0065]
Also, for composition of the image providing apparatus 100Background image or composition partA videophone device 200, another user device, or another predetermined device is newly added to the
[0066]
Further, when the
[0067]
In addition, the
[0068]
In addition, the predetermined unit of the image providing apparatus 100 presents a screen on which, for example, another user's user ID can be registered, and the other user's user input and transmitted from the user's videophone apparatus 200 is transmitted. History of receiving IDs and registration approval data, registering the user IDs of the other users in the user data such as the
[0069]
In the above embodiment, for example, the case where the image providing device 100 is connected to the remote videophone device 200 via the communication line 300 and presents a composite image, distributes a composite image, or the like has been described. For example, in an appropriate place such as a restaurant, a department store, a retail store, a game center, a car or a roadside, an image providing device having an appropriate short-range communication means such as infrared communication, wireless LAN, Bluetooth (registered trademark) is installed, Users of image providing devices and mobile phonesVideo phoneThe apparatus may establish a short-distance communication path by the connection by the short-distance communication means, and the image providing apparatus or the like may basically perform the same processing as the above. It is possible to obtain almost the same effect, and it is possible to greatly enhance the amusement in appropriate places such as restaurants, department stores, retail stores, game centers, cars, roadsides, etc. Can increase customer incentives in places where theyVideophoneIn the case of an image providing device having a short-range communication means capable of short-range communication simultaneously with the device, for example, a mobile phone having a short-range communication meansVideophoneA customer in the store or the like holding the apparatus can simultaneously receive services such as presentation of a composite image.
[0070]
Image providing deviceVideophoneIn the case where the device is configured to perform short-range communication, for example, the predetermined unit of the image providing deviceVideophoneOriginal image from the deviceVideoIs acquired continuously, and the synthesis target image is extracted and acquired continuously, or the synthesis target image is received from the user device.VideoFor example, in the same way as aboveVideophoneFor composition input from the image designation screen for composition to be sent to the deviceBackground image or composition partDesignated identification of imagesnumberSpecified identification of the image for compositionnumberSpecified identification from the composite imagenumberFor synthesis corresponding toBackground image or composition partThe image to be extracted, and the image to be combined to be acquired in the continuous and the like in the reception and the substantially real time and the composition for extraction to be extractedBackground image or composition partGenerate a composite image by combining images, and generate a composite imageVideophoneTransmit to the device continuously, etc. and present it in substantially real time with the reception, etc., if necessary, basically the same request and reception as the above embodiment, corresponding processing etc.processFor synthesisBackground image or composition partIt is possible to distribute images, etc., and, if necessary, charge with an appropriate billing configuration such as the above-described billing configuration such as prepayment by accepting money information of electronic money or billing by a fixed system.
[0071]
【The invention's effect】
An image providing apparatus and an image providing program of the present inventionThe user receives distribution of the background image for synthesis or the partial image for synthesis with respect to the background image for synthesis or the partial image for synthesis used when the user of the videophone device communicates with the other party using the synthesized image. Before that, it is possible to confirm in advance the state in which the composition background image or composition partial image is actually used in the composition image. Therefore, the user can surely obtain a background image for synthesis or a partial image for synthesis that suits his taste, and pays for delivery of a background image for synthesis or a partial image for synthesis different from the user's image. Disappears. Furthermore, the composite image is presented in a substantially real-time manner on the videophone device, and the moving image and the compositing target image in the composite image can be freely changed and adjusted, so that the composite image of the user can be adjusted. The background image for synthesis and the partial image for synthesis used in the above are made clearer and the entertainment of the user is enhanced. In addition, since the user can select a desired background image for synthesis or a partial image for synthesis from various background images for synthesis or partial images for synthesis, it is possible to satisfy various preferences of the user. . Furthermore, it is possible to diversify and enrich the contents in communication of the videophone device, and to improve the attractiveness such as the entertainment of the videophone device by the composite image using the composite background image and the composite partial image. . Also, communication time between the image providing device and the videophone device can be reduced by transmitting / receiving the synthesized image data by the synthesis target image, the synthesis background image or the synthesis partial image, or by sending / receiving data between user devices. Since it is possible to extend the period, it is possible to secure the profit of the communication company, the image provider, etc., or increase the profit by charging according to the communication fee or the amount of transmission data. Furthermore, a new business model can be created and the communication related industry can be developed.
[Brief description of the drawings]
FIG. 1FruitThe block diagram which shows the basic composition of the image provision apparatus and video telephone apparatus in embodiment.
FIG. 2 is a flowchart showing a flow of image provision in the first embodiment.
FIG. 3 is a flowchart showing a flow of image provision in a first modification of the first embodiment.
[Explanation of symbols]
100 Image providing apparatus
101 Authentication processing part
102 Designated processing part
103 Image composition unit
104 Distribution processing section
105 Charge processing unit
106 Image database for composition
107 User database
200 Videophone equipment
201 Control unit
202 memory
203 Image display
204 Input section
205 Imaging unit
300 Communication line
Claims (6)
静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、Means for storing a background image for synthesis of a still image or a moving image in a synthesis image database corresponding to an identification number;
通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、Means for receiving an identification number of a designated background image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、Means for extracting a composition background image corresponding to the designated identification number from the composition image database;
該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、Means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device;
該受信する動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出する手段と、Means for continuously acquiring a target region within a predetermined contour indicating a person or an animal from the received moving image and continuously extracting a synthesis target image of the moving image;
該連続抽出する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for superimposing the synthesis target images of the moving images to be continuously extracted on a predetermined position of a layer in front of the extracted synthesis background image;
該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the moving image from the videophone device and continuously transmitting the generated composite image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、 The composition corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composition background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a background image for use;
該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段とを備えることを特徴とする画像提供装置。An image providing apparatus comprising: means for distributing a composition background image corresponding to the identification number to the videophone device in response to the distribution request.
静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、Means for storing a background image for synthesis of a still image or a moving image in a synthesis image database corresponding to an identification number;
通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、Means for receiving an identification number of a designated background image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手A method for extracting the background image for synthesis corresponding to the specified identification number from the image database for synthesis. 段と、Step and
該テレビ電話装置の撮像部で取り込まれる動画像から連続抽出されて該テレビ電話装置から連続送信される人物若しくは動物を示す動画像の合成対象画像を受信する手段と、Means for receiving a synthesis target image of a moving image showing a person or an animal continuously extracted from a moving image captured by an imaging unit of the videophone device and continuously transmitted from the videophone device;
該受信する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for superimposing the synthesis target image of the received moving image on a predetermined position of a layer in front of the extracted synthesis background image;
該動画像のテレビ電話装置に於ける撮像及び該動画像の合成対象画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the synthesized image of the moving image from the videophone device and continuously transmitting the generated synthesized image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、 The composition corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composition background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a background image for use;
該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段とを備えることを特徴とする画像提供装置。An image providing apparatus comprising: means for distributing a composition background image corresponding to the identification number to the videophone device in response to the distribution request.
オブジェクト画像若しくはキャラクター画像若しくはフレーム画像である静止画像若しくは動画像の合成用部分画像を識別番号と対応して合成用画像データベースに格納する手段と、Means for storing a composite image of a still image or a moving image that is an object image, a character image, or a frame image in a composite image database in correspondence with an identification number;
通信ネットワークを介して接続したテレビ電話装置から指定された合成用部分画像の識別番号を受信する手段と、Means for receiving an identification number of a designated partial image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用部分画像を合成用画像データベースから抽出する手段と、Means for extracting a partial image for synthesis corresponding to the specified identification number from the image database for synthesis;
該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、Means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device;
該抽出した合成用部分画像を該受信する動画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for generating a composite image by superimposing the extracted composite partial image on a predetermined position of a layer in front of the received moving image;
該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the moving image from the videophone device and continuously transmitting the generated composite image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用部分画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用部分画像の配信要求を受信する手段と、 The composite corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composite partial image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a partial image distribution request;
該配信要求に応じて該識別番号に対応する合成用部分画像を該テレビ電話装置に配信する手段とを備えることを特徴とする画像提供装置。An image providing apparatus comprising: means for distributing a composite partial image corresponding to the identification number to the videophone device in response to the distribution request.
静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースAn image database for synthesis corresponding to an identification number for a background image for synthesis of a still image or a moving image に格納する手段と、Means for storing in,
通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、Means for receiving an identification number of a designated background image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、Means for extracting a composition background image corresponding to the designated identification number from the composition image database;
該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、Means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device;
該受信する動画像から人物若しくは動物を示す所定輪郭内の対象領域を連続取得して動画像の合成対象画像を連続抽出する手段と、Means for continuously acquiring a target region within a predetermined contour indicating a person or an animal from the received moving image and continuously extracting a synthesis target image of the moving image;
該連続抽出する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for superimposing the synthesis target images of the moving images to be continuously extracted on a predetermined position of a layer in front of the extracted synthesis background image;
該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the moving image from the videophone device and continuously transmitting the generated composite image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、 The composition corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composition background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a background image for use;
該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする画像提供プログラム。An image providing program for causing an image providing apparatus to function as means for distributing a composition background image corresponding to the identification number to the videophone device in response to the distribution request.
静止画像若しくは動画像の合成用背景画像を識別番号と対応して合成用画像データベースに格納する手段と、Means for storing a background image for synthesis of a still image or a moving image in a synthesis image database corresponding to an identification number;
通信ネットワークを介して接続したテレビ電話装置から指定された合成用背景画像の識別番号を受信する手段と、Means for receiving an identification number of a designated background image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用背景画像を合成用画像データベースから抽出する手段と、Means for extracting a composition background image corresponding to the designated identification number from the composition image database;
該テレビ電話装置の撮像部で取り込まれる動画像から連続抽出されて該テレビ電話装置から連続送信される人物若しくは動物を示す動画像の合成対象画像を受信する手段と、Means for receiving a synthesis target image of a moving image showing a person or an animal continuously extracted from a moving image captured by an imaging unit of the videophone device and continuously transmitted from the videophone device;
該受信する動画像の合成対象画像を該抽出した合成用背景画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for superimposing the synthesis target image of the received moving image on a predetermined position of a layer in front of the extracted synthesis background image;
該動画像のテレビ電話装置に於ける撮像及び該動画像の合成対象画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the synthesized image of the moving image from the videophone device and continuously transmitting the generated synthesized image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用背景画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用背景画像の配信要求を受信する手段と、 The composition corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composition background image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a distribution request for a background image for use;
該配信要求に応じて該識別番号に対応する合成用背景画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする画像提供プログラム。An image providing program for causing an image providing apparatus to function as means for distributing a composition background image corresponding to the identification number to the videophone device in response to the distribution request.
オブジェクト画像若しくはキャラクター画像若しくはフレーム画像である静止画像若しくは動画像の合成用部分画像を識別番号と対応して合成用画像データベースに格納する手段と、Means for storing a composite image of a still image or a moving image that is an object image, a character image, or a frame image in a composite image database in correspondence with an identification number;
通信ネットワークを介して接続したテレビ電話装置から指定された合成用部分画像の識別番号を受信する手段と、Means for receiving an identification number of a designated partial image for synthesis from a videophone device connected via a communication network;
指定された識別番号に対応する合成用部分画像を合成用画像データベースから抽出する手段と、Means for extracting a partial image for synthesis corresponding to the specified identification number from the image database for synthesis;
該テレビ電話装置の撮像部で取り込まれて該テレビ電話装置から連続送信される動画像を受信する手段と、Means for receiving a moving image captured by the imaging unit of the videophone device and continuously transmitted from the videophone device;
該抽出した合成用部分画像を該受信する動画像の前方のレイヤーの所定位置に重ね合わせて合成画像を生成する手段と、Means for generating a composite image by superimposing the extracted composite partial image on a predetermined position of a layer in front of the received moving image;
該動画像のテレビ電話装置に於ける撮像及び該動画像のテレビ電話装置からの連続送信と略リアルタイムに該生成する合成画像を該テレビ電話装置に連続送信する手段と、Means for capturing the moving image in the videophone device and continuously transmitting the moving image from the videophone device and continuously transmitting the generated composite image to the videophone device in substantially real time;
該合成画像を受信して表示しているテレビ電話装置に於ける該識別番号に対応する合成用部分画像の配信要求の入力に応じて該テレビ電話装置から送信される該識別番号に対応する合成用部分画像の配信要求を受信する手段と、 The composite corresponding to the identification number transmitted from the videophone device in response to the input of the distribution request for the composite partial image corresponding to the identification number in the videophone device receiving and displaying the composite image Means for receiving a partial image distribution request;
該配信要求に応じて該識別番号に対応する合成用部分画像を該テレビ電話装置に配信する手段として画像提供装置を機能させることを特徴とする画像提供プログラム。An image providing program for causing an image providing apparatus to function as means for distributing a composite partial image corresponding to the identification number to the videophone device in response to the distribution request.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101026A JP3793520B2 (en) | 2002-04-22 | 2003-04-04 | Image providing apparatus and image providing program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154718 | 2002-04-22 | ||
| JP2002183761 | 2002-06-25 | ||
| JP2003101026A JP3793520B2 (en) | 2002-04-22 | 2003-04-04 | Image providing apparatus and image providing program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004051383A Division JP2004173320A (en) | 2002-04-22 | 2004-02-26 | Image providing apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004088728A JP2004088728A (en) | 2004-03-18 |
| JP2004088728A5 JP2004088728A5 (en) | 2005-10-13 |
| JP3793520B2 true JP3793520B2 (en) | 2006-07-05 |
Family
ID=32074106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003101026A Expired - Fee Related JP3793520B2 (en) | 2002-04-22 | 2003-04-04 | Image providing apparatus and image providing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3793520B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248830A (en) * | 2013-04-10 | 2013-08-14 | 东南大学 | Real-time video combination method for augmented reality scene of mobile intelligent terminal |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4759980B2 (en) * | 2004-11-01 | 2011-08-31 | 日本電気株式会社 | Mobile phone with TV phone function, mobile phone system with TV phone function, and image transmission / reception methods thereof |
| KR101297164B1 (en) * | 2008-10-28 | 2013-08-21 | 에스케이플래닛 주식회사 | A contents supply system, a method, a service server, a storage means, a relay method, an application server and a cellular phone for multi connected end terminal |
| JP5962200B2 (en) * | 2012-05-21 | 2016-08-03 | カシオ計算機株式会社 | Imaging apparatus and imaging processing method |
| JP2015023382A (en) * | 2013-07-18 | 2015-02-02 | 株式会社デジタル・スタンダード | Information processing device, method, and program |
| JP6425312B2 (en) * | 2014-04-22 | 2018-11-21 | 日本電信電話株式会社 | Dynamic illusion presentation device, method thereof, program |
| JP7094216B2 (en) | 2018-12-28 | 2022-07-01 | グリー株式会社 | A video distribution system, video distribution method, and video distribution program that live-distributes videos containing animations of character objects generated based on the movements of distribution users. |
-
2003
- 2003-04-04 JP JP2003101026A patent/JP3793520B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248830A (en) * | 2013-04-10 | 2013-08-14 | 东南大学 | Real-time video combination method for augmented reality scene of mobile intelligent terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004088728A (en) | 2004-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106303662B (en) | Image processing method and device in net cast | |
| KR101895001B1 (en) | Full duplex live broadcast commerce service platform based on smart phone | |
| US8823807B2 (en) | Methods and apparatus for enhanced reality messaging | |
| JP5466646B2 (en) | Online reporting apparatus and method | |
| CN108986192B (en) | Data processing method and device for live broadcast | |
| WO2021246498A1 (en) | Live broadcasting system | |
| CN106792214A (en) | A kind of living broadcast interactive method and system based on digital audio-video place | |
| CN106792228A (en) | A kind of living broadcast interactive method and system | |
| JP2004145448A (en) | Terminal device, server device, and image processing method | |
| US20040268381A1 (en) | Method and device for operating an electronic communication network game | |
| JP2003016475A (en) | Information terminal device with image communication function and image distribution system | |
| JP3793520B2 (en) | Image providing apparatus and image providing program | |
| JP2019074789A (en) | Content distribution system and computer system | |
| US10665004B2 (en) | System and method for editing and monetizing personalized images at a venue | |
| CN109005441B (en) | Virtual competition completion scene playing method and device, terminal and server | |
| JP2023153790A (en) | program | |
| JP6609078B1 (en) | Content distribution system, content distribution method, and content distribution program | |
| JP2004173320A (en) | Image providing apparatus | |
| JP2015220651A (en) | Try-on simulation experience system, control method for the same, and computer program | |
| CN114430494A (en) | Interface display method, device, equipment and storage medium | |
| JP7162387B1 (en) | Performance video display program | |
| JP7378851B2 (en) | display device | |
| JP7323900B1 (en) | Program, information processing method, and information processing apparatus | |
| JP2015220650A (en) | Photographing system for user image, guidance method for shutter timing, and computer program | |
| JP7089815B1 (en) | server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050606 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |