JP4377886B2 - 画像通信中の画像合成方法及び装置 - Google Patents

Description

本発明は、通信端末機（以下、端末機という）の画像合成（composing images）方法及び装置に関し、特に、その端末機における画像通信（video communications）中の画像合成方法及び装置に関する。

デジタル技術が急速に発展するにつれて、画像合成技術も飛躍的に発展している。画像合成技術とは、２つ以上の画像をオーバーラップ及び／又は付加することにより所望の画像を生成することをいう。

現在商品化されている端末機（すなわち、有線端末機又は無線端末機）は、一般にカメラを標準装備しているため、画像通信（例えば、ビデオ会議）が可能である。また、カメラを標準装備する端末機が増加するにつれて、その端末機に画像合成技術を内蔵させたいとするユーザの要求が増加している。

しかし、このような従来の端末機においては、より向上した画像合成機能を提供していなかった。

そこで、本発明では、端末機における画像通信（画像送受信）中の画像合成方法及び装置を提供することを目的とする。これは、例えば、画像通信が可能な端末機を利用して相手と画像通信をしている際に、相手から伝送されて端末機のディスプレイに表示された相手の画像に、ユーザ自身の画像を表示させたい場合がある。また、ユーザは、例えば、相手から伝送されてきた伝送画像の背景に自己の画像を配置させるなど、端末機に表示された画像を調整して、多様な視覚効果を実現させたい場合がある。

従って、本発明の目的は、このような機能をユーザが実行できる画像合成方法及び装置を提供することにある。

このような目的を達成する本発明の通信端末機における画像通信中の画像合成方法は、画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１背景画像を抽出し、前記第１対象画像のサイズを検出する過程と、画像キャプチャ装置によりキャプチャされた第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出し、該抽出した第２対象画像に残存する前記第２背景画像の部分を空白に処理する過程と、前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整する過程と、前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成する過程と、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する過程と、を含むことを特徴とする。

この通信端末機における画像通信中の画像合成方法は、前記第１背景画像は、前記第１画像を前記第１対象画像と前記第１背景画像とに分離して、該第１対象画像を除去することにより抽出され、前記第２対象画像は、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより抽出されることを特徴とする。

この通信端末機における画像通信中の画像合成方法において、前記第３画像のうち前記空白処理した第２背景画像の部分は、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更されるとよい。

前記第１対象画像は、前記通信端末機のユーザと通信している相手の顔及び姿を含む画像を含んで構成されるとよい。また、前記第１対象画像は、矩形状であり、前記通信端末機のユーザと通信している相手の画像を含む部分を最小サイズとした大きさであるとよい。

前記第２対象画像は、前記通信端末機のユーザの顔及び姿を含む画像を含んで構成されるとよい。また、前記第２対象画像は、矩形状であり、前記通信端末機のユーザの画像を含む部分を最小サイズとした大きさであるとよい。

この通信端末機における画像通信中の画像合成方法は、前記第３画像を前記通信端末機に保存する過程をさらに含むとよい。

また、本発明では、通信端末機の画像合成装置をも提供する。該通信端末機の画像合成装置は、画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１背景画像を抽出すると共に前記第１対象画像のサイズを検出し、画像キャプチャ装置によりキャプチャされた第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出して該第２対象画像に残存する前記第２背景画像の部分を空白に処理し、前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整し、前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成し、及び、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する画像処理装置と、前記第３画像を表示するディスプレイと、前記第３画像を保存するメモリと、を含んで構成されることを特徴とする。

前記画像処理装置は、前記第１画像を前記第１対象画像と前記第１背景画像とに分離して、該第１対象画像を除去することにより前記第１背景画像を抽出し、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより前記第２対象画像を抽出するとよい。

前記画像処理装置は、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更するとよい。

前記通信端末機の画像合成装置は、前記第３画像を保存するためのファイルフォーマットに符号化するビデオエンコーダをさらに含んで構成されるとよい。

さらに、本発明では、画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１対象画像を抽出すると共に、前記第１対象画像のサイズを検出する第１画像処理部と、画像通信中に画像キャプチャ装置より受信した第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出し、該抽出した第２対象画像に残存する前記第２背景画像の部分を空白に処理する第２画像処理部と、前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整し、前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成し、及び、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する画像合成器と、前記画像合成器により生成された合成画像を保存するメモリと、を含んで構成されることを特徴とする通信端末機の画像合成装置をも提供する。

前記第１画像処理部は、前記第１画像を第１背景画像と前記第１対象画像とに分離して、該第１対象画像を除去することにより前記第１背景画像を抽出する背景分離器と、前記第１対象画像のサイズを検出する対象サイズ検出器と、を含んで構成されるとよい。

前記第２画像処理部は、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより前記第２対象画像を抽出するとよい。

前記画像合成器は、前記検出した第１対象画像のサイズに合わせて、前記第２対象画像のサイズを調整する対象サイズ調整器を含んで構成されるとよい。

前記画像合成器は、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更するとよい。

前記通信端末機の画像合成装置は、前記合成画像を保存するためのファイルフォーマットに符号化するビデオエンコーダをさらに含んで構成されるとよい。

本発明による画像通信中の画像合成方法及び装置は、相手と画像通信中に対象画像（例えば、自己の画像）をキャプチャし、そのキャプチャした対象画像を相手から伝送されてきた伝送画像の背景に合成できるため、ユーザは、仮想的に相手の場所にいるような満足を得ることができ、事業者は、本発明による端末機を使用するユーザに対して、品質を向上させた通信サービスを提供することができるという効果がある。

本発明は、画像を合成できる有線端末機又は無線端末機で実現される。ここで、端末機は、通信用端末機であって、例えば、携帯電話機、ＰＤＡ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオ電話機、ビデオ会議装置などが含まれる。また、本発明は、他の標準に準拠した通信システムの画像合成装置にも適用できる。また、本発明による端末機は、画像通信をサポートすることを前提とし、かつ、音声・画像（audio-video）通信、テキスト・画像（text-video）通信、触覚・画像（tactile-video）通信などのマルチメディア通信を付加的にサポートする。このようなマルチメディア通信の一例は、ビデオ会議である。ここで、ビデオ会議とは、２人以上のユーザがビデオ会議端末機に接続されたカメラ（又は、他の画像キャプチャ装置）によってキャプチャされた自己の画像を見ながら音声及び画像で通信することをいう。

画像通信中に、端末機は、自身と通信している他の端末機から画像を受信して表示する。端末機のユーザは、画像（例えば、静止画像、ビデオクリップ、アニメーション、動画像などを含む）を操作、修正、編集、合成、又は処理して、所望の視覚効果を実現できる。従って、本発明の実施態様としては、画像通信中に伝送されてきた伝送画像から背景画像を抽出したり、画像通信中に、端末機が、その端末機のユーザの画像（顔や姿など）を含む画像をキャプチャすることができる。この場合、キャプチャ画像から特定の対象（オブジェクト）画像、例えば、ユーザの画像を抽出することができる。また、伝送画像の背景画像に、抽出した対象画像を配置させて、所定の画像を合成することができる。このように合成された合成画像は、端末機に保存、又はディスプレイに表示することができる（合成画像を、端末機に保存すると共に、ディスプレイに表示することもできる）。本発明の実施に当たって、端末機の特徴、すなわち、移動性、処理部の能力、メモリのサイズ、バッテリの電力消費、ディスプレイスクリーンのサイズなどを考慮しなければならない。

本発明において使用される端末機は、ユーザと相手との画像通信が可能でなければならないため、端末機に接続されたカメラ又は他の類型の画像キャプチャ装置を含む。

以下、添付の図面を参照して本発明の好ましい実施形態を説明する。

図１は本発明の一実施形態による画像通信中の画像合成方法を示すフローチャートであり、図２は本発明の一実施形態による端末機の画像合成装置を示すブロック図である。

まず、図１及び図２を参照して本発明の一実施形態による画像通信中の画像合成方法及び装置の概略を説明する。相手と画像通信中（Ｓ１０）に、伝送されてきた相手の画像を、第１画像処理部１００により加工処理する（Ｓ２０）。端末機のカメラ（又は、他の画像キャプチャ装置）によりユーザの画像をキャプチャし、該キャプチャしたユーザの画像を、第２画像処理部２００により加工処理する（Ｓ３０）。加工処理したそれぞれの画像を、画像合成処理部３００により合成する（Ｓ４０）。その合成した合成画像は、ディスプレイ１０に表示され、画像符号化及びファイル生成部４００により符号化されて適当なファイル形式でメモリ５００に保存される（Ｓ５０）。

これをより詳しく説明すると次のとおりである。まず、ユーザが相手と画像通信をすると（Ｓ１０）、端末機の第１画像処理部１００は、相手から伝送されてきた伝送画像（以下、第１画像という）を加工処理する（Ｓ２０）。すなわち、端末機は、相手から伝送されてきた第１画像を受信し、該第１画像を伝送物理レイヤ１１０、デマルチプレクサ１２０、ビデオデコーダ１３０に順次に入力させて、第１画像を処理する。背景分離器１４０は、第１画像を対象画像（すなわち、相手の顔や姿等の画像（相手の画像）；以下、第１対象画像という）と、背景画像（以下、第１背景画像という）とに分離する（Ｓ２１）。

過程Ｓ２１は次のように行われる。第１画像の第１対象画像は、画像通信を行う相手（第１画像を受信側端末機に伝送した送信者）の画像である。第１画像は、第１対象画像と第１背景画像とに分離される。すなわち、第１対象画像は、第１画像から第１対象画像を除去（切り抜き）することにより抽出される。この第１対象画像は、所定の形状、例えば、四角形状、矩形状、円形状、半円形状、これらの組み合わせなどの形状となるが、これらに限定されるものではない。また、第１対象画像は、送信側端末機のユーザの画像（相手の画像）を全て含むために必要な最小サイズを有する。つまり、第１対象画像は、相手の画像を全て含む部分を最小サイズとした大きさで第１画像から切り抜かれる。第１画像の残存部分（第１対象画像を取り除いた第１画像）は、第１背景画像となる。

その後、分離した、例えば、四角形状の第１対象画像のサイズを、対象サイズ検出器１５０により検出し（Ｓ２３）、第１画像から四角形状の第１対象画像を除いた第１背景画像を抽出する（Ｓ２５）。ここで、第１対象画像の形状を四角形状にしたのは、処理が比較的容易であるためであり、これに限定されるものではない。また、抽出した第１背景画像は、ユーザが確認できるようにディスプレイ１０上に表示する。

次に、相手と画像通信中に、ユーザは、端末機のカメラ（又は、他の画像キャプチャ装置）２１０を使用して自身を被写体としてキャプチャする。ユーザ自身の姿をキャプチャした画像（以下、第２画像という）は、相手と画像通信中に第２画像処理部２００により加工処理される（Ｓ３０）。これは、まず、端末機のユーザの画像を含む対象画像（以下、第２対象画像という）を、対象分離器２２０により、第２画像から背景画像（以下、第２背景画像という）を除去（切り抜き）することによって抽出する。この抽出は、前述したように、伝送されてきた第１画像から第１背景画像を抽出する方法と類似した方法で行う（Ｓ３１）。つまり、第２対象画像は、第２画像を第２対象画像と第２背景画像とに分離した後、第２画像から第２背景画像を除去することによって抽出される。第２対象画像は、所定の形状、例えば、四角形状、矩形状、円形状、半円形状、これらの組み合わせなどの形状となるが、これらに限定されるものではない。第２対象画像は、受信側端末機のユーザの画像を全て含むために必要な最小サイズを有する。つまり、第２対象画像は、ユーザの画像を全て含む部分を最小サイズとした大きさで第２画像から切り抜かれる。第２対象画像は、多様な形状を有し、送信側端末機のユーザの画像（第１対象画像）よりもやや大きく抽出されると共に、第２画像の背景の一部を含む。第２対象画像のその背景部分は、空白の背景（ブランク）として処理する（Ｓ３３）。

過程Ｓ２０、Ｓ３０で加工処理した第１画像及び第２画像の各要素（パーツ）、すなわち、第１画像の第１背景画像と、第２画像の例えば四角形状の第２対象画像とが、画像合成処理部３００で合成される（Ｓ４０）。まず、対象サイズ調整器３１０が、第２対象画像の輪郭（アウトラインと）を、第１背景画像から第１対象画像を除去した部分の輪郭（アウトライン）に合わせるために、第２対象画像を調整する。すなわち、対象サイズ調整器３１０は、過程Ｓ３１で抽出した第２画像の四角形状の第２対象画像のサイズを、過程Ｓ２３で検出した第１画像の四角形状の第１対象画像のサイズと一致するように調整する（Ｓ４１）。次に、対象及び背景合成器３２０が、過程Ｓ３１で抽出した第２対象画像を、過程Ｓ２５で抽出した第１背景画像に加えて画像（以下、第３画像という）を生成する（Ｓ４３）。過程Ｓ４３は、第１画像から第１対象画像が除去された空間に第２対象画像を位置させることにより行われる。次いで、背景整合器３３０が、第２対象画像の空白の背景部分を第１背景画像と整合するように処理する（Ｓ４５）。例えば、過程Ｓ４５は、第２対象画像に残存する背景部分（すなわち、第２画像の背景の一部分）を、第２対象画像を囲んでいる第１背景画像の画素と整合するように変更することにより行われる。

このように、過程Ｓ４０で合成された第３画像は、画像符号化及びファイル生成部４００のビデオエンコーダ４１０及びファイル生成器４２０により符号化及び圧縮（例えば、ＭＰ４又は３ＧＰなどのフォーマット）されて、適切なファイルに作成された後、メモリ５００に保存される（Ｓ５０）。第３画像はディスプレイ１０上にも表示される。

画像処理部の他の実施形態として、第１画像処理部１００及び第２画像処理部２００の代りに、単一画像処理部を使用することもできる。すなわち、単一画像処理部は、第１画像処理部１００と第２画像処理部２００とを統合して実現することができ、第１画像処理部１００及び第２画像処理部２００と同様な形態及び機能を有する。さらに、単一画像処理部は、画像合成処理部３００の形態及び機能を含むように実現することもできる。

以上、第１画像の背景部分（すなわち、第１背景画像）と、第２画像の四角形状の対象部分（すなわち、第２対象画像）とを合成する画像合成装置及び方法に関する本発明の一実施形態について説明したが、画像合成対象は、ユーザなどの人に限らず、特定事物などを被写体としてキャプチャすることもできる。このような観点から、画像の背景及び対象は、これらに限定されるものではなく、ユーザが扱おうとする画像のいずれの部分においても可能である。さらに、本発明では、受信側端末機が、その受信側端末機ユーザと通信している相手の画像を第１画像に残しておくと共に、第１画像にユーザの画像を加えて、第１画像内で相手と一緒にいるような合成画像を生成することもできる。

第１背景画像との合成のために、第２対象画像のサイズを調整する過程は、前述した装置及び処理過程で自動的に行われるが、このような調整は、端末機のユーザ操作によって実行することも可能である。ユーザ操作によって、ユーザが、直接、画像のサイズ調整と合成とを行う場合、合成画像をより大きく調整できる。ユーザによる画像の調整は、端末機に適切なユーザインターフェース、例えば、前述したディスプレイ１０とキーを提供することによって可能になる。

この場合、ユーザが第２対象画像のサイズを調整できるように、端末機は、適切なサイズと形状とを有するガイドライン、例えば、第１対象画像の輪郭をディスプレイ１０に表示するための第１画像処理部１００を備える。第１対象画像の輪郭は、過程Ｓ２３で第１対象画像のサイズを検出した後に、自動的に表示させることも可能であり、キャプチャキーの活性化等のユーザ命令を受信することによって表示させることも可能である。また、第２画像をキャプチャする過程Ｓ３１は、第２画像の第２対象画像を、表示させた第１対象画像の輪郭内に含めるためのユーザ操作による画像調整過程を含む。この画像調整過程は、ディスプレイ１０上に表示させた第２対象画像を、第１対象画像の輪郭に合わせるために位置調整したり、第２対象画像のサイズを調整する過程を含むことができる。このような位置調整及びサイズ調整過程は、特定のインターフェース（例えば、所定キー）からの入力、つまり、ユーザの命令に基づいて実行したり、端末機のカメラ２１０と、第２画像に現れた対象、すなわち、端末機のユーザなどの人との距離を調整することによって実行される。表示させた画像及び輪郭の位置は、前記過程、すなわち、第１対象画像の輪郭に第２対象画像を合わせる過程中に調整できる。

サイズ調整過程は、例えば、キーの活性化などユーザ命令による指示により行われる。第２対象画像のサイズ調整が完了した後、合成画像は、画像合成処理部３００により前述の方式で処理される。これは、第２対象画像と第１背景画像とを含む画像を合成する過程を含む。

図３は、本発明の他の実施形態による画像通信中の画像合成方法を示すフローチャートである。この実施形態では、第１画像及び第２画像の対象画像を、メモリに保存された背景画像に合成することができる。別途の説明がない限り、図３に示す実施形態による装置及び方法は、図１及び図２に示す実施形態による装置及び方法と同様である。

まず、図１に示す実施形態と同様に、画像通信中（Ｓ１０）に、ユーザ（受信者）と通話している相手（送信者）から伝送されてきた伝送画像（以下、第１画像という）が、端末機の第１画像処理部１００により処理される（Ｓ２０’）。詳細には、端末機が、第１画像から第１画像の対象画像（以下、第１対象画像という）を抽出する（Ｓ２７）。次に、ユーザは、画像通信中に、画像キャプチャ装置、例えば、カメラ２１０を使用して自身の画像（以下、第２画像という）を、端末機にキャプチャさせる。この第２画像は、画像通信中に第２画像処理部２００により処理される（Ｓ３０’）。詳細には、端末機が、ユーザ操作に基づいて、第２画像から第２画像の対象画像（以下、第２対象画像という）を抽出する。第２対象画像は、端末機のユーザの画像を含む（Ｓ３７）。

本実施形態では、第１画像又は第２画像のいずれか一方の背景画像が選択されるのではなく、メモリ５００に保存された背景画像から１つの背景画像が選択される（Ｓ３９）。背景画像は、端末機が備えるディスプレイ１０、キーなどのユーザインターフェースによって、ユーザが選択した多様な静止画像、画像クリップ、アニメーションなどを含んで構成される。また、背景画像は、他の画像を挿入できる所定のサイズ及び形状を有する所定の部分を含んで構成されている。

画像合成処理部３００は、過程Ｓ２０’、Ｓ３０’で処理された第１画像、第２画像及びユーザが選択した背景画像、すなわち、第１対象画像、第２対象画像及び選択された背景画像の各要素（パーツ）を用いて画像を合成する（Ｓ４０’）。対象サイズ調整器３１０は、第１対象画像のサイズを調整して、選択された背景画像の第１所定部分サイズに合わせ、第２対象画像のサイズを調整して、選択された背景画像の第２所定部分サイズに合わせる（Ｓ４７）。次に、対象及び背景合成器３２０は、第１対象画像及び第２対象画像を、選択された背景画像に加えることにより、第３画像を生成する（Ｓ４８）。過程Ｓ４８は、第１対象画像を背景画像の第１所定部分に位置させ、第２対象画像を背景画像の第２所定部分に位置させる。次に、背景整合器３３０が、第１対象画像及び第２対象画像の空白の背景部分を処理して、第１対象画像及び第２対象画像を背景画像に整合させる（Ｓ４９）。

以上、本発明を、図面に示した実施形態を参照して説明したが、これは例示にすぎず、本発明の属する技術の分野における通常の知識を有する者であれば、これらから多様な変形及び均等な他の実施形態が可能であることを理解できる。従って、本発明の技術的範囲は、添付した特許請求の範囲の技術的思想により定められるはずである。前述した方法は、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラミング可能な論理配列、その他のハードウェア装置などの所定の専用ハードウェアにより実現できる。また、多様な実施形態による装置及びシステムを含むアプリケーションは、多様な電子及びコンピュータシステムを含むことができる。前述した本発明の各実施形態は、２つ又は複数の相互接続された特定のハードウェアモジュール又は装置を用いて、その機能を実現でき、また、特定のハードウェアモジュール（又は、装置）は、モジュールの間に（又は、モジュールにより）、関連する制御及びデータ信号を使用して、その機能を実現できる。特定のハードウェアモジュール（又は、装置）は、特定用途向け集積回路の一部分として実現することもできる。従って、本発明は、ソフトウェア、ファームウェア、及びハードウェアにより実現できる。

本発明の多様な実施形態によれば、前述の方法は、コンピュータシステムにより実行されるソフトウェアプログラムにより実現できる。また、この実現は、分散処理、構成要素／客体に分散された処理、及び並列処理を含むことができる。前述した各方法及び機能を実現するための代案として、実際のコンピュータシステム処理方法を構成することもできる。

本明細書では、特定の規格及びプロトコルを参照して、特定の実施形態により実現される構成要素及び機能を説明しているが、本発明は、それら規格及びプロトコルに限定されるものではない。それぞれの規格、プロトコル、及び言語は、従来技術において代表的なものである。それぞれの規格は同一機能を有する、より速い、又はより効率的な均等物により周期的に代替されてきている。従って、同一又は類似の機能を有する代替規格や代替プロトコルを、それぞれの規格やプロトコルの均等物として見なす。

ここに記載した実施形態に関する説明は、多様な実施形態の構成についての一般的な理解のためのものである。従って、前述の説明は、前述した構造又は方法を活用する装置やシステムの構成要素や特徴を完全に記述したものではない。本発明の提案により、その他の多くの実施形態が可能であることは、本発明の属する技術の分野における通常の知識を有する者にとっては自明である。また、本明細書は前述の実施形態に限定されるものではなく、他の実施形態として活用され、本明細書を外れない範囲で構造的かつ論理的な代替及び変更をすることも可能である。従って、本明細書と図面は、本発明に限定されるものではなく、例示的なものである。

本明細書の各実施形態は、単に、便宜のために、他の特定の発明又は進歩性の概念の範囲を制限しないために、「発明」という用語により個別的に又は集合的に言及されることもある。さらに、特定の実施形態を図示したが、同一又は類似の目的を達成するために考案された後続の構成が、前述した特定の実施形態を代替することもできる。本明細書は多様な実施形態の一部又は全ての適用、変形のためのものである。前述した本発明を検討した本発明の属する技術の分野における通常の知識を有する者は、特別な記載がなくても、前述した本発明の実施形態から他の実施形態を組み合わせ可能であることは自明である。前述した本発明は、本発明を制限するものでなく、単に例示するものであり、本発明が請求する特許請求の範囲内で多様な修正、向上、及び他の実施形態の適用が可能である。従って、本発明の領域は、特許法が許容する最大の範囲内で、特許請求の範囲及び均等物に対する最も広範囲の解釈により定められ、詳細な説明によっては制限されない。

本発明はいくつかの例示を参考として示しているが、詳細な説明に記載された用語は制限的な用語ではなく、記述又は例示するための用語である。本発明が該当領域及び特性の範囲内でいくつかの形式で実現可能であるため、前述した実施形態は、特別な言及がない限り、本発明のいかなる詳細な説明によっても制限されない。なお、前述した実施形態は、特許請求の範囲に記載された本発明の内容と領域の範囲内で広く解釈されるべきである。従って、前述のように、本発明の内容と領域を外れない範囲内で、特許請求の範囲の変更が可能である。

本発明の一実施形態による画像通信中の画像合成方法を示すフローチャートである。 本発明の一実施形態による端末機の画像合成装置を示すブロック図である。 本発明の他の実施形態による画像通信中の画像合成方法を示すフローチャートである。

符号の説明

１０ ディスプレイ
１００ 第１画像処理部
２００ 第２画像処理部
３００ 画像合成処理部
４００ 画像符号化及びファイル生成部
５００ メモリ

Claims (18)

1. 画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１背景画像を抽出し、前記第１対象画像のサイズを検出する過程と、
   画像キャプチャ装置によりキャプチャされた第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出し、該抽出した第２対象画像に残存する前記第２背景画像の部分を空白に処理する過程と、
   前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整する過程と、
   前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成する過程と、
   前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する過程と、
   を含むことを特徴とする通信端末機における画像通信中の画像合成方法。
2. 前記第１背景画像は、前記第１画像を前記第１対象画像と前記第１背景画像とに分離して、該第１対象画像を除去することにより抽出され、
   前記第２対象画像は、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより抽出される
   ことを特徴とする請求項１に記載の通信端末機における画像通信中の画像合成方法。
3. 前記第３画像のうち前記空白処理した第２背景画像の部分は、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更されることを特徴とする請求項１に記載の通信端末機における画像通信中の画像合成方法。
4. 前記第１対象画像が、前記通信端末機のユーザと通信している相手の顔及び姿を含む画像を含んで構成されることを特徴とする請求項１に記載の通信端末機における画像通信中の画像合成方法。
5. 前記第１対象画像が、矩形状であり、前記通信端末機のユーザと通信している相手の画像を含む部分を最小サイズとした大きさであることを特徴とする請求項４に記載の通信端末機における画像通信中の画像合成方法。
6. 前記第２対象画像が、前記通信端末機のユーザの顔及び姿を含む画像を含んで構成されることを特徴とする請求項１に記載の通信端末機における画像通信中の画像合成方法。
7. 前記第２対象画像が、矩形状であり、前記通信端末機のユーザの画像を含む部分を最小サイズとした大きさであることを特徴とする請求項６に記載の通信端末機における画像通信中の画像合成方法。
8. 前記第３画像を前記通信端末機に保存する過程をさらに含むことを特徴とする請求項１に記載の通信端末機における画像通信中の画像合成方法。
9. 画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１背景画像を抽出すると共に前記第１対象画像のサイズを検出し、画像キャプチャ装置によりキャプチャされた第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出して該第２対象画像に残存する前記第２背景画像の部分を空白に処理し、前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整し、前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成し、及び、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する画像処理装置と、
   前記第３画像を表示するディスプレイと、
   前記第３画像を保存するメモリと、
   を含んで構成されることを特徴とする通信端末機の画像合成装置。
10. 前記画像処理装置は、前記第１画像を前記第１対象画像と前記第１背景画像とに分離して、該第１対象画像を除去することにより前記第１背景画像を抽出し、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより前記第２対象画像を抽出することを特徴とする請求項９に記載の通信端末機の画像合成装置。
11. 前記画像処理装置は、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更することを特徴とする請求項９に記載の通信端末機の画像合成装置。
12. 前記第３画像を保存するためのファイルフォーマットに符号化するビデオエンコーダをさらに含んで構成されることを特徴とする請求項９に記載の通信端末機の画像合成装置。
13. 画像通信中に相手側通信端末機より受信した第１背景画像及び第１対象画像を含む第１画像から前記第１対象画像を抽出すると共に、前記第１対象画像のサイズを検出する第１画像処理部と、
    画像通信中に画像キャプチャ装置より受信した第２背景画像及び第２対象画像を含む第２画像から前記第２対象画像を抽出し、該抽出した第２対象画像に残存する前記第２背景画像の部分を空白に処理する第２画像処理部と、
    前記抽出した第２対象画像のサイズを前記検出した第１対象画像のサイズに合わせて調整し、前記抽出した第１背景画像と前記調整した第２対象画像とを用いて第３画像を合成し、及び、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第１背景画像と整合するように処理する画像合成器と、
    前記画像合成器により生成された合成画像を保存するメモリと、
    を含んで構成されることを特徴とする通信端末機の画像合成装置。
14. 前記第１画像処理部が、
    前記第１画像を第１背景画像と前記第１対象画像とに分離して、該第１対象画像を除去することにより前記第１背景画像を抽出する背景分離器と、
    前記第１対象画像のサイズを検出する対象サイズ検出器と、
    を含んで構成されることを特徴とする請求項１３に記載の通信端末機の画像合成装置。
15. 前記第２画像処理部が、前記第２画像を前記第２対象画像と前記第２背景画像とに分離して、該第２背景画像を除去することにより前記第２対象画像を抽出することを特徴とする請求項１３に記載の通信端末機の画像合成装置。
16. 前記画像合成器が、前記検出した第１対象画像のサイズに合わせて、前記第２対象画像のサイズを調整する対象サイズ調整器を含んで構成されることを特徴とする請求項１５に記載の通信端末機の画像合成装置。
17. 前記画像合成器が、前記第３画像のうち前記空白処理した第２背景画像の部分を、前記抽出した第２対象画像を囲む前記抽出した第１背景画像の画素と整合するように変更することを特徴とする請求項１３に記載の通信端末機の画像合成装置。
18. 前記合成画像を保存するためのファイルフォーマットに符号化するビデオエンコーダをさらに含んで構成されることを特徴とする請求項１３に記載の通信端末機の画像合成装置。

Images