JP3748374B2 - 画像合成方法及び画像合成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、インターネットなどを経由して画像を伝送しながら合成画像を生成する合成画像生成方法および情報処理装置に関する。
【０００２】
【従来の技術】
近年、デジタル画像が次第に普及し、その加工や編集、合成をする機会も増えつつある。例えば、ある背景画像に、離れた場所にいる複数の参加者の画像を合成する場合、通信回線で画像を送受するのが便利である。その際、文献「自己相似写像を用いたリアルタイムオブジェクト抽出」（井田、堀、三本杉、第６回 画像センシングシンポジウム講演論文集、Ｄ−２２、ｐｐ．１６１−１６６、Ｊｕｎｅ ２０００．）に示した、顔画像伝送システム（図１２参照）を用いることが考えられる。このシステムは、画像合成に参加する複数（ここでは、２つ）の第１の端末８０１、８０２と１つの第２の端末８０３とから構成され、各第１の端末では、カメラ９０１で撮影された画像から、切り出し部９０２で利用者の頭部を切り出し、圧縮部９０３で圧縮したデータを第２の端末へ伝送し、受信側の第２の端末８０３で、複数の第１の端末８０１、８０２から送られてきた顔画像を再生部９０４、９０５で再生し、合成部９０６で合成するものである。
【０００３】
このシステムでは、リアルタイムで合成画像を動画として生成できるのであるが、画像を合成する受信側の第２の端末では、複数の画像合成を行うために処理量が多くなるという問題点がある。
【０００４】
【発明が解決しようとする課題】
離れた場所にいる複数の参加者の画像を通信端末を用いて１つの画像に合成する場合、合成処理を行う特定の端末の負荷が大きくなるという問題点があった。
【０００５】
そこで、本発明は、上記問題点に鑑み、複数の端末のそれぞれの処理負荷を均等にした分散処理型の画像合成を可能にする画像合成方法およびそれを用いた情報処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像合成方法は、複数の端末のそれぞれが、各自で取得した画像中から所望の物体画像を抽出し、前記複数の端末のうちの１つから提供された１枚の画像を転送画像として前記複数の端末間でネットワークを介して転送しながら、前記転送画像に各端末にて抽出した物体画像を合成し、前記転送画像が前記複数の端末の全てに転送されて、物体画像の合成が終了したとき、その終点の端末から他の全てあるいは一部の端末へ前記物体画像の合成が終了した転送画像を送信することにより、画像合成に参加する複数の端末のそれぞれが１枚の転送画像上に自端末の物体画像を合成していくので、複数の端末のうちの特定の端末に画像合成処理の負荷が集中することなく、それぞれの処理負荷を均等にした分散処理型の画像合成を可能にする。
【０００７】
好ましくは、転送画像は、メールデータとして他の端末へ送信される。
【０００８】
また、各端末では、転送画像とともに受信した送信先リストに自端末のアドレスを順次追加していくことにより、終点の端末では、この送信先リストを前記物体画像の合成が終了した転送画像の送信先を設定する際に参考にでき、送信先の設定が容易に行える。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
【００１０】
図１に本発明の実施形態にかかる画像合成方法を実現するためのシステム全体の構成例を示したもので、インターネット等のネットワークを介して、複数（例えば、ここでは、４つ）の端末ＴＥ１〜ＴＥ４が互いに通信可能に接続されている。端末ＴＥ１〜ＴＥ４としては、携帯電話やパソコン、ＰＤＡ、家庭用ゲーム機などの通信端末を用い、電子メールなどをこれら複数の端末で順次転送しながら合成画像を生成するものである。画像合成を個々の端末で行うので、特定の端末の負荷が大きくなることがない。転送される画像（転送画像）は、例えば電子メールの添付データとして転送され、画像を受信した端末では、それに自分の顔画像などを新たに合成し、その合成画像を次の端末に送信する転送画像とする。なお、各端末間の通信は、有線／無線、公衆線／専用線を問わない。また、インターネット、ブルートゥースでも構わず、データの転送はそれぞれの通信プロトコルを用いる。以下の説明では、インターネットを用いて各端末間で通信を行う場合について説明するが、以下の説明は、どのような通信形態を用いる場合でも当てはまる。
【００１１】
以下、端末ＴＥ１〜ＴＥ４のそれぞれを区別する必要がない場合は、そのそれそれを簡単に端末と呼ぶ。
【００１２】
図２は、以下に説明する第１および第２の実施形態に共通する、本発明の画像合成方法を説明するためのフローチャートであり、以下、図２を参照しながら、画像合成方法について説明する
ステップＳ１では、端末を区別するための番号ｋを「１」とする。ｋはフローチャートが冗長な図になるのを避けるために用いた変数である。
【００１３】
ステップＳ２では、ｋ（＝１）番目の端末（例えば、端末ＴＥ１）において、これから転送する画像として図８に示すような背景とする任意の画像を設定する。これが各端末へ順次転送される転送画像の初期画像であり、これに、順次、参加者の顔画像などが合成されていく。
【００１４】
ステップＳ３では、ｋ（＝１）番目の端末（ＴＥ１）において、転送画像（初期画像）１に物体画像が合成される（図９参照）。
【００１５】
物体画像としては、例えば、各端末の利用者の顔画像がある。図９は、顔画像２を転送画像に合成した例を示したものである。このように、合成とは、転送画像の一部を物体画像で上書きすることをいう。カメラで撮影した画像は、通常、四角形であり、この例のように物体を輪郭に沿って切り出し、合成処理を行うには、物体の外側を透明として扱えるようにする必要がある。そのために、アルファマップと呼ばれる、四角形の画像と同じ大きさの別の画像を用意する。ここで、アルファマップと区別するために、カメラなどで撮影した、通常の画像をテクスチャ画像と呼ぶ。アルファマップにおいて、例えば画素値が「０」である部分を透明な画素、「２５５」である部分を不透明な画素とする。物体画像を転送画像に合成する際には、アルファマップを参照しながら、アルファマップの画素値が「２５５」である部分のテクスチャ画像の画素だけで上書きする。このような透明対応画像としては、アルファマップを用いるもの以外にも、例えばクロマキー画像がある。これでは、特定の色を透明を意味することにし、合成の際に、テクスチャ画像の画素値がその特定の色の場合には、上書きをしない。
【００１６】
合成する位置や物体画像の大きさは、予め決めておくか、利用者が操作した結果を反映する。
【００１７】
ｋ＞１の端末に転送されてくる転送画像１には、既に図９に示すように、前の端末での物体画像２が合成されているので、それに新たに物体画像３が合成される。その結果、図１０に示すような画像になる。このように、各端末では、カメラで撮影した顔画像に加えて、その胴体をアニメーションで合成しても楽しい。
【００１８】
ステップＳ４では、次の端末への転送をここで終了するか、転送を続行するかを判定する。例えば、予め転送するリストを用意しておき、その順序で転送し、そのリストの最後にきていたら転送終了、そうでない場合は転送続行とする。あるいは、端末の利用者が手動で転送先を操作した結果により、転送終了／続行を判定する方法もある。転送終了の場合はステップＳ７に進む。転送続行の場合はステップＳ５に進む。
【００１９】
ステップＳ５では、ｋ番目の端末から、その次のｋ＋１番目の端末に転送画像を送信する。ｋ＋１番目の端末は、前述した転送リストの次の端末、あるいは、利用者が設定したメールアドレスなどにより決める。
【００２０】
ステップ１０６では、ｋの値を１つ増やしてステップＳ３に戻り、転送画像１の次の転送先の端末で上記ステップＳ３〜ステップＳ５が実行される。
【００２１】
以降、ステップＳ４において、転送終了と判定されるまで、ステップＳ３〜ステップＳ６が繰り返される。
【００２２】
ステップＳ７では、画像合成の終点であるｋ番目の端末が、図１１に示すように、多くの物体画像が合成された転送画像１をこれまで転送されてきた、１番目の端末からｋ−１番目の端末に送信する。これにより、参加者が完成した合成画像を受け取れる。
【００２３】
（第１の実施形態）
図３は、端末ＴＥ１〜ＴＥ４に共通の画像合成のために必要な機能を説明するためのブロック図である。
【００２４】
図４に示すフローチャートを参照して、図３に示した各端末での、転送データを受信してから送信するまでの各機能部の処理動作について説明する。
【００２５】
ステップＳ１１では、電子メール送受信部１０６にて、電子メールのデータ（メールデータと呼ぶ）などの転送データを受信する。
【００２６】
ステップＳ１２では、画像抽出・挿入部１０７にて、メールデータから転送画像１を取り出す。例えば、転送データがテキストコードで表されるメールシステムの場合、画像データもテキストコードに変換され、メールデータの末尾に付加されている。これを抜き出して、元の画像データに逆変換する。また、画像データが圧縮されていれば、それを再生する。
【００２７】
ステップＳ１３では、例えばカメラ１０１で取得した画像（予め記憶した画像を読み出したものでもよい）から、切出し部１０２にて物体画像を取得する。図５にこのステップＳ１３において、文献「自己相似写像を用いたリアルタイムオブジェクト抽出」（前出）に示した方法を用いる場合の処理動作を示した。
【００２８】
図５のステップＳ２１では、端末に付属するカメラ１０１で利用者の顔を取得する。
【００２９】
ステップＳ２２では、例えば、文献に記載されいるような公知の技術を用いて、ある顔の概略形状の自動設定法を用いて顔領域を検出する。
【００３０】
ステップＳ２３では、その顔領域をもとにして頭部の輪郭線を抽出する。
【００３１】
ステップＳ２４では、輪郭線に沿って物体領域を切り出す。ここで、切り出すとは、前述した方法で透明な画素を決定することである。つまり、物体領域以外を透明とする。
【００３２】
図４の説明に戻る。
【００３３】
ステップＳ１４では、合成部１０３にて、画像抽出・挿入部１０７から抽出された転送画像１に、切出し部１０２で切り出された物体画像を合成する。
【００３４】
ステップＳ１５では、画像抽出・挿入部１０７にて、物体画像を合成した転送画像１をテキストコードに変換し、メールデータの末尾に付加する。この際、必要であれば圧縮も行う。
【００３５】
ステップＳ１６では、送信先選択部１０８にて、メールデータの送信先を選択する。例えば、利用者が選択したアドレスが送信先として選択される。あるいは、新たな転送は終了と利用者によって操作された場合は、これまで転送画像が転送されてきた端末全てあるいは一部を送信先として設定する。
【００３６】
ステップＳ１７では、電子メール送受信部１０６にて、選択された送信先にメールデータを送信する。
【００３７】
（第２の実施形態）
次に、転送画像と、この転送画像が転送された端末にて自端末のアドレスを書き込むためのアドレスリストとをメールデータに付加して転送しながら、転送画像に物体画像を合成する場合について説明する。
【００３８】
図６は、第２の実施形態に係る端末ＴＥ１〜ＴＥ４に共通の画像合成のために必要な機能を説明するためのブロック図である。
【００３９】
図７に示すフローチャートを参照して、図６に示した各端末での、転送データを受信してから送信するまでの各機能部の処理動作について説明する。なお、図６、図７において、図３、図４と同一部分には、同一符号を付し、異なる部分について説明する。すなわち、図６では、アドレスリスト操作部１１０が新たに追加されている。また、図７では、図４のステップＳ１１〜ステップＳ１７の処理に、ステップＳ１２〜ステップＳ１５の処理と並行に処理されるステップＳ３８〜ステップＳ４０がステップＳ１１とステップＳ１６との間に追加されている。ステップＳ３８〜ステップＳ４０の処理は、主に、アドレスリスト操作部１１０の処理である。
【００４０】
アドレスリストとは、例えば、「ａｂｃ＠ｘｘｘ．ｙｙｙ」「ｄｅｆ＠ｚｚｚ．ｙｙｙ」「ｇｈｉ＠ｕｕｕ．ｖｖｖ」のように、メールアドレスを羅列したものである。
【００４１】
ステップＳ３８では、アドレスリスト操作部１１０は、電子メール送受信部１０６で受信されたメールデータからアドレスリストを取り出す。例えば、メールデータ内でのアドレスリストの配置位置を予め決めておけば、アドレスリストを直ちに取り出せる。
【００４２】
ステップＳ３９では、アドレスリスト操作部１１０は、アドレスリストにその端末のメールアドレスを追加する。
【００４３】
ステップＳ４０では、その端末のアドレスが加えられたアドレスリストをメールデータの所定の位置に挿入する。
【００４４】
このようにして、転送画像を転送先の端末で、その画像合成に参加した端末のアドレスを次々にアドレスリストに追加されていくので、画像合成の終点の端末に転送画像とともに転送されてくるアドレスリストには、画像合成に参加した全ての端末のアドレスが書き込まれている。
【００４５】
そこで、この終点の端末では、ステップＳ３６において、転送画像を複数の端末間で転送しながらその各端末において転送画像に物体画像を合成していくことにより完成された合成画像の送信先を選択する際には、アドレスリストを参照して、メールアドレスの送信先を選択する。すなわち、このアドレスリストにアドレスが羅列されている画像合成に参加した全ての端末のアドレスのそれぞれを各端末宛のメールデータに付加する。このように、終点の端末では、アドレスリストを参照することにより、送信先の設定が容易になる。
【００４６】
これまで述べてきた転送画像は、１枚のテクスチャ画像のデータである必要はない。例えば、物体画像ごとにレイヤ表現された画像であれば、後で、物体画像ごとに、配置を変えたり、削除したり、複製したりできて便利である。ここで、レイヤ表現された画像とは、例えば、図１１の例では、１つの初期画像のデータと５つの透明対応画像のデータと、各透明対応画像の配置や大きさを指定するデータ、各透明対応画像の前後関係を指定するデータなどから成る。
【００４７】
また、初期画像や物体画像は静止画像でも動画像でもよい。動画像の場合には、動画像符号化の国際規格であるＭＰＥＧ−４のシェイプ符号化を用いれば、少ないデータ量で透明対応画像を表現できる。
【００４８】
また、物体画像は顔に限らない。人物の上半身や全身であったり、動物、自動車、建物、花、あるいは、利用者が描いたイラスト、文字や記号のなど、どのような画像でも構わない。
【００４９】
以上説明した、本発明の実施の形態に記載した本発明の手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【００５０】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記実施形態には種々の段階の発明は含まれており、開示される複数の構成要件における適宜な組み合わせにより、種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、複数の端末のうちの特定の端末に画像合成処理の負荷が集中することなく、それぞれの処理負荷を均等にした分散処理型の画像合成を可能にする。
【図面の簡単な説明】
【図１】本発明の実施形態にかかる画像合成方法を実現するためのシステム全体の構成例を示した図。
【図２】第１および第２の実施形態に共通する、本発明の画像合成方法を説明するためのフローチャート。
【図３】第１の実施形態に係る端末に共通の画像合成のために必要な機能を説明するためのブロック図。
【図４】図３に示した端末での、転送データを受信してから送信するまでの各機能部の処理動作について説明するためのフローチャート。
【図５】物体画像切出し処理を説明するためのフローチャート。
【図６】第２の実施形態に係る端末に共通の画像合成のために必要な機能を説明するためのブロック図。
【図７】図６に示した端末での、転送データを受信してから送信するまでの各機能部の処理動作について説明するためのフローチャート。
【図８】転送画像の初期画像の具体例を示した図。
【図９】図８の初期画像に物体画像が１つ合成された様子を示した図。
【図１０】図８の初期画像に物体画像が２つ合成された様子を示した図。
【図１１】図８の初期画像に全ての参加者により物体画像が合成されて、最終的にかんせいされた合成画像の具体例を示した図。
【図１２】従来例を説明するための顔画像伝送システムの構成例を示した図。
【符号の説明】
１０１…カメラ
１０２…切出し部
１０３…合成部
１０６…電子メール送受信部
１０７…画像抽出・挿入部
１０８…送受信選択部
１０９…表示部
１１０…アドレスリスト操作部

Claims (6)

1. ネットワークに接続された第１乃至第Ｋ（Ｋは３以上の任意の正の整数）端末で合成画像を生成するための合成画像生成方法であって、
   前記複数の端末のうちの第１端末が、当該第１端末で得た第１画像と、当該第１端末のアドレスを含むアドレスリストとが付加されたメールデータを、第２端末へ送信するステップと、
   前記複数の端末のうちの第ｋ（ｋは、２≦ｋ≦Ｋ−１の正の整数）端末が、第（ｋ−１）端末から送信されたメールデータを受信するステップと、
   前記第ｋ端末が、受信したメールデータ中の第（ｋ−１）画像上に、当該第ｋ端末で得た物体画像を合成し、第ｋ画像を生成するステップと、
   前記第ｋ端末が、前記受信したメールデータ中の前記第（ｋ−１）端末までのアドレスを含むアドレスリストに、当該第ｋ端末のアドレスを追加するステップと、
   前記第ｋ端末が、前記第ｋ画像と、前記第１乃至第ｋ端末のアドレスを含むアドレスリストとが付加されたメールデータを、当該第ｋ端末の次の端末へ送信するステップと、
   前記複数の端末のうちの最後の第Ｋ端末が、第（Ｋ−１）端末から送信されたメールデータを受信するステップと、
   前記第Ｋ端末が、受信したメールデータ中の第（Ｋ−１）画像上に、当該第Ｋ端末で得た物体画像を合成し、第Ｋ画像を生成するステップと、
   前記第Ｋ端末が、前記受信したメールデータ中の前記第（Ｋ−１）端末までのアドレスを含むアドレスリストのなかから、前記第Ｋ画像の送信先のアドレスを選択するステップと、
   を含み、
   選択されたアドレスの端末へ、前記第Ｋ画像が送信される画像合成方法。
2. 前記第２乃至第Ｋ端末のそれぞれは撮像手段を備え、前記第２乃至第Ｋ端末のそれぞれは、前記撮像手段で画像を取得し、当該画像中の所望の前記物体画像を当該物体の輪郭に沿って抽出する請求項１記載の画像合成方法。
3. 前記第Ｋ画像の送信先のアドレスを選択するステップでは、前記第Ｋ端末は前記アドレスリストを参照して前記第１乃至第（Ｋ−１）端末のアドレスを、前記第Ｋ画像の送信先のアドレスとして選択する、
   請求項１または請求項２に記載の画像合成方法。
4. ネットワークに接続された第１乃至第Ｋ（Ｋは３以上の任意の正の整数）端末で合成画像を生成する合成画像生成システムであって、
   前記複数の端末のうちの第１端末は、
   当該第１端末で得た第１画像と、当該第１端末のアドレスを含むアドレスリストとが付加されたメールデータを、第２端末へ送信する手段を具備し、
   前記複数の端末のうちの第ｋ（２≦ｋ≦Ｋ−１）端末は、
   第（ｋ−１）端末から送信されたメールデータを受信する受信手段と、
   受信したメールデータ中の第（ｋ−１）画像上に、当該第ｋ端末で得た物体画像を合成し、第ｋ画像を生成する手段と、
   前記受信したメールデータ中の前記第（ｋ−１）端末までのアドレスを含むアドレスリストに、当該第ｋ端末のアドレスを追加する手段と、
   前記第ｋ画像と、前記第１乃至第ｋ端末のアドレスを含むアドレスリストとが付加されたメールデータを、当該第ｋ端末の次の端末へ送信する手段と、
   を具備し、
   前記複数の端末のうちの最後の第Ｋ端末は、
   第（Ｋ−１）端末から送信されたメールデータを受信する受信手段と、
   受信したメールデータ中の第（Ｋ−１）画像上に当該第Ｋ端末で得た物体画像を合成し、第Ｋ画像を生成する手段と、
   前記受信したメールデータ中の前記第（Ｋ−１）端末までのアドレスを含むアドレスリストのなかから、前記第Ｋ画像の送信先のアドレスを選択する手段と、
   を具備し、
   選択されたアドレスの端末へ、前記第Ｋ画像が送信される画像合成システム。
5. 前記第２乃至第Ｋ端末のそれぞれは、
   撮像手段と、
   前記撮像手段で取得した画像から、所望の物体画像を当該物体の輪郭に沿って抽出する抽出手段と、
   をさらに具備した請求項４記載の画像合成システム。
6. 前記第Ｋ画像の送信先のアドレスを選択する手段は、前記第Ｋ画像の送信先のアドレスとして、前記第１乃至第（Ｋ−１）端末のアドレスを選択する、
   請求項４または請求項５記載の画像合成システム。

Images