JP6964671B2 - 通信装置、その方法及びそのコンピュータプログラム - Google Patents

Description

本発明は、映像通話提供装置、その方法及びそのコンピュータプログラムに関する。

情報通信技術及び電子装置と係わる技術の発展により、ユーザは、インターネットのような通信網に連結されたデスクトップ、ノート型パソコン、スマートフォンのような電子装置を介して、多様な機能を利用することができるようになった。

そのような多様な機能には、映像通話が含まれる。すなわち、情報通信技術の発展により、単に音声情報を含む信号送受信から、さらに、通話する人の映像をリアルタイムで撮影し、映像情報を含む信号を共に送受信することが可能になった。

前述の背景技術は、発明者が、本発明の導出のために保有していたり、本発明の導出過程で習得したりした技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とすることはできない。

本発明の実施形態は、映像通話を行うとき、多種の視覚的又は聴覚的なエフェクトを生じさせる信号を送受信することができる映像通話提供装置、その方法及びそのコンピュータプログラムを提供するものである。

本発明の実施形態は、エフェクト表示機能を提供する映像通話を進めるとき、既送受信のエフェクトが一定条件を満足するか否かを確認し、該確認結果に基づいて、追加エフェクトを発生させる映像通話提供装置、その方法及びそのコンピュータプログラムを提供するものである。

本発明の一実施形態は、外部通信装置と映像通話を行うことができる通信装置に、第１エフェクトを表示させるための第１エフェクト表示信号を前記外部通信装置に送信するか前記外部通信装置から受信する、第１信号処理工程と、前記第１エフェクト表示信号の送信後又は受信後、第２エフェクトを表示させるための第２エフェクト表示信号を前記外部通信装置に送信するか前記外部通信装置から受信する、第２信号処理工程と、前記第２エフェクト表示信号の送信後又は受信後、前記第１エフェクトの種類、前記第１エフェクト表示信号が送信されたか否か又は受信されたか否か、前記第２エフェクトの種類、及び前記第２エフェクト表示信号が送信されたか否か又は受信されたか否かを確認する、確認工程と、前記確認の結果に基づいて、エフェクトを追加出力するか否か、及び出力する追加エフェクトを決定する、決定工程と、前記決定工程の結果に基づいて前記追加エフェクトを表示する、表示工程と、を実行させるためのコンピュータプログラムを開示する。

そのような一般的であって具体的な側面は、システム、方法、コンピュータプログラム、あるいは任意のシステム、方法、コンピュータプログラムの組み合わせを使用しても実施される。

本発明の他の実施形態は、外部通信装置と映像通話を行うことができる通信装置であって、第１エフェクトを表示させるための第１エフェクト表示信号を、外部通信装置に送信するか前記外部通信装置から受信し、前記第１エフェクト表示信号の送信後又は受信後、第２エフェクトを表示させるための第２エフェクト表示信号を、前記外部通信装置に送信するか前記外部通信装置から受信する通信部と、前記第２エフェクト表示信号の送信後又は受信後、前記第１エフェクトの種類、前記第１エフェクト表示信号が送信されたか否か又は受信されたか否か、前記第２エフェクトの種類、及び前記第２エフェクト表示信号が送信されたか否か又は受信されたか否かを確認し、前記確認の結果に基づいて、エフェクトを追加出力するか否か、及び出力する追加エフェクトを決定する制御部と、前記エフェクトを追加出力するか否かの決定及び決定された前記追加エフェクトに基づいて、前記追加エフェクトを表示する表示部と、を含む通信装置を開示する。

このような本発明により、映像通話を行うとき、多種の視覚的又は聴覚的なエフェクトを生じさせる信号を送受信することができる映像通話提供装置、その方法及びそのコンピュータプログラムを提供することができる。

また、エフェクト表示機能を提供する映像通話を進めるとき、既送受信のエフェクトが一定条件を満足するか否かを確認し、該確認結果に基づいて、追加エフェクトを発生させる映像通話提供装置、その方法及びそのコンピュータプログラムを提供することができる。

本発明の一実施形態による映像通話提供システムの構成を概略的に図示した図面である。 本発明の一実施形態による映像通話提供システムの構成を概略的に図示した図面である。 本発明の一実施形態による映像通話提供方法を概略的に図示したフローチャートである。 本発明の一実施形態による映像通話提供方法を概略的に図示したフローチャートである。 本発明の一実施形態による映像通話提供方法を概略的に図示したフローチャートである。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。 本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。

本発明は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定の実施形態を図面に例示し、詳細な説明によって詳細に説明する。本発明の効果、特徴、及びそれらを達成する方法は、図面と共に詳細に後述されている実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、多様な形態にも具現される。以下の実施形態において、第１、第２のような用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的に使用されている。また、単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。また、「含む」又は「有する」というような用語は、明細書上に記載された特徴、あるいは構成要素が存在するということを意味するものであり、１つ以上の他の特徴、又は構成要素が付加される可能性をあらかじめ排除するものではない。また、図面においては、説明の便宜のために、構成要素がその大きさが誇張されていたり縮小されていたりする。例えば、図面に示された各構成の大きさ及び厚みは、説明の便宜のために任意に示されているので、本発明は、必ずしも図示されたところに限定されるものではない。

以下、添付された図面を参照し、本発明の実施形態について詳細に説明するが、図面を参照して説明するとき、同一であるか、あるいは対応する構成要素は、同一図面符号を付し、それに係わる重複説明は、省略する。

図１及び図２は、本発明の一実施形態による映像通話提供システムの構成を概略的に図示した図面である。

まず、図１を参照すれば、本発明の一実施形態による映像通話提供システム１０は、映像通話提供装置１００、外部通信装置２００、サーバ３００及び通信網４００を含んでもよい。

映像通話提供装置１００は、有無線通信環境において、外部通信装置２００と電子信号を送受信することができる通信端末機を意味する。このとき、該電子信号は、聴覚情報を含んでもよい。このとき、該聴覚情報は、映像通話提供装置１００を介して電話を行うとき、映像通話提供装置１００及び／又は外部通信装置２００の音声受信部を介して受信される音に係わる情報、及び映像通話提供装置１００及び／又は外部通信装置２００の音声出力部を介して出力することができる音に係わる情報を含んでもよい。

また、上記電子信号は、映像情報を含んでもよい。このとき、該映像情報は、映像通話提供装置１００を介して映像通話を行うとき、映像通話提供装置１００及び／又は外部通信装置２００の撮影部を介して撮影することができる映像情報、映像通話提供装置１００及び／又は外部通信装置２００のメモリに保存されている静止映像や動画に係わる情報、及び映像通話提供装置１００及び／又は外部通信装置２００の表示部を介して表示することができる映像に係わる情報を含んでもよい。

また、上記電子信号は、視覚的記号を、映像通話提供装置１００及び／又は外部通信装置２００の表示部上に表示するための情報を含んでもよい。このとき、視覚的記号は、文字（alphabet）、絵及び写真など視覚的に認知され、相手に視覚的な形態で情報を伝達することができる客体、又は該客体の集合を意味する。例えば、視覚的記号は、映像通話提供装置１００の表示部に表示されるテキストメッセージ、絵、写真、あるいはそれらを組み合わせて生成される文章（sentence）や顔文字（emoticon）などを含んでもよいが、本発明は、それらに限定されるものではない。

一方、１つの映像通話提供システム１０に含まれる外部通信装置２００は、複数でもある。例えば、映像通話提供システム１０には、第１外部通信装置２０１及び第２外部通信装置２０２が含まれてもよい。この場合、映像通話提供装置１００は、複数の外部通信装置２００のうちいずれか１つと映像通話を進めることができる。例えば、映像通話提供装置１００は、第１外部通信装置２０１と映像通話を進めることもでき、第２外部通信装置２０２と映像通話を進めることもできる。又は、映像通話提供装置１００は、複数の外部通信装置２００のうち２つ以上と、電話会議（conference call）の形態で、映像通話を進めることもできる。例えば、映像通話提供装置１００は、第１外部通信装置２０１及び第２外部通信装置２０２と同時に、多者間映像通話を進めることもできる。

図１では、映像通話提供装置１００及び／又は外部通信装置２００の例示として、スマートフォン（smart phone）形態及びノート型パソコン（notebook）形態の電子装置が図示されている。ただし、本発明は、それらに限定されるものではなく、有無線通信環境において、他の電子装置とデータを送受信することができる電子装置であるならば、制限なしに、本発明の映像通話提供装置１００又は外部通信装置２００に含まれてもよい。

例えば、映像通話提供装置１００及び／又は外部通信装置２００は、デスクトップ、タブレットＰＣ、スマートＴＶ、携帯電話、ＰＤＡ（personal digital assistant）、メディアプレーヤ、マイクロサーバ、ＧＰＳ（global position system）装置、電子書籍端末機、デジタル放送用端末機、ナビゲーション、キオスク、ＭＰ３プレーヤ、デジタルカメラ、ウェアラブル装置、及びその他モバイル又は非モバイルのコンピュータ装置を含んでもよいが、本発明は、それらに限定されるものではない。さらに、映像通話提供装置１００及び／又は外部通信装置２００は、電子黒板、タッチテーブルのようにタッチ入力を受信することができる多様な装置を含んでもよい。また、映像通話提供装置１００及び／又は外部通信装置２００は、通信機能及びデータプロセッシング機能を具備した時計、めがね、ヘアバンド及び指輪のようなアクセサリを含んでもよいが、本発明は、それらに限定されるものではない。

一方、映像通話提供装置１００及び外部通信装置２００は、ハードウェア自体又はソフトウェア自体の特徴によって区分されるものではなく、発明の動作について説明するために選択する主体によって区分されるものでもある。詳細には、映像通話機能を提供することができる２つの電子装置を利用し、本発明による映像通話提供方法について説明するとき、１つの電子装置は、映像通話提供装置１００とも呼ばれ、他の電子装置は、外部通信装置２００とも呼ばれる。

サーバ３００は、映像通話サービスを提供するために使われるサーバでもある。図１においては、１つのサーバを表示しているが、接続量あるいはデータ量により、複数個のサーバが、有無線通信で互いに連結されて存在することもできる。

サーバ３００は、映像通話提供装置１００及び／又は外部通信装置２００のうちいずれか１つから提供された資料を、映像通話提供装置１００及び／又は外部通信装置２００の全部又は一部に提供することができる。

サーバ３００は、映像通話提供サービス以外にも、一般的な検索サービス、及びその他ユーザの便宜を増進させる多様なサービスを提供することもできる。すなわち、サーバ３００は、映像通話提供サービス以外にも、検索、電子メール、ブログ、ソーシャルネットワークサービス（social network service）、ニュース、ショッピング情報提供のような多様なサービスを提供することができる。

あるいは、サーバ３００は、検索、電子メール、ニュース、ショッピングのようなポータル（portal）サービスを提供するサーバに含まれる装置でもある。ポータルサービスを提供するサーバは、ポータルサービスに情報提供を要請する映像通話提供装置１００及び／又は外部通信装置２００に、ポータルサービスが提供するウェブページを提供するサーバでもある。ここで、サーバ３００とポータルサービス提供サーバは、物理的に分離された別途のサーバであってもよく、１つの物理的なサーバ内部で論理的にだけ分離されたサーバであってもよい。

図１においては、映像通話提供装置１００及び／又は外部通信装置２００が、通信網４００を介して、互いに直接データを送受信することができるように連結されているようにも表示されており、実際においても、そのような方式で、データが送受信されることがある。ただし、本発明の一実施形態による映像通話提供システム１０の下では、映像通話提供装置１００及び／又は外部通信装置２００間のデータ送受信はサーバ３００を経てのみ遂行されることがある。すなわち、例えば、映像通話提供装置１００から電子信号として送信された視覚的記号が、通信網４００を介してサーバ３００に伝達され、その後、サーバ３００から通信網４００を介して、外部通信装置２００に、当該視覚的記号を送信することができる。

通信網４００は、映像通話提供装置１００、外部通信装置２００及びサーバ３００を連結する役割を遂行することができる。通信網４００は、例えば、ＬＡＮｓ（local area networks）、ＷＡＮｓ（wide area networks）、ＭＡＮｓ（metropolitan area networks）、ＩＳＤＮｓ（integrated service digital networks）のような有線ネットワークや、無線ＬＡＮｓ、ＣＤＭＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、衛星通信のような無線ネットワークを網羅することができるが、本発明の範囲は、それらに限定されるものではない。

図２を参照すれば、映像通話提供装置１００は、通信部１０１、入力受信部１０２、表示部１０３、メモリ１０４、プログラム保存部１０５及び制御部１０６を含んでもよい。

通信部１０１は、通信網４００を介して、外部通信装置２００又はサーバ３００と有無線通信を行うことができる。通信部１０１は、通信網４００を介して、外部通信装置２００又はサーバ３００と、映像通話に提供される音声情報及び／又は映像情報を含むデータを送受信することができる。通信部１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部、ＢＬＥ（Bluetooth low energy）通信部、近距離無線通信部（near field communication unit）、ＷＬＡＮ（wireless local area network）通信部、ジグビー（Zigbee）（登録商標）通信部、赤外線（ＩｒＤＡ：infrared data association）通信部、ＷＦＤ（Ｗｉ−Ｆｉ direct）通信部、ＵＷＢ（ultra-wideband）通信部、Ａｎｔ＋（登録商標）通信部などでもあるが、それらに限定されるものではない。

入力受信部１０２は、映像通話と係わるユーザ入力を受信することができる。例えば、入力受信部１０２は、ユーザの音声入力、ユーザの文字入力、あるいはユーザのタッチ入力を受信することができるが、本発明の範囲は、それらに限定されるものではない。例えば、入力受信部１０２は、ユーザの音声を受信するマイクを含んでもよい。また、入力受信部１０２は、映像通話画面上に、顔文字のようなエフェクト出力を要請するユーザのタッチ入力を受信するタッチ部を含んでもよい。入力受信部１０２の少なくとも一部は、表示部１０３とレイヤ構造をなし、１つのタッチスクリーンとしても構成される。その場合、入力受信部１０２の少なくとも一部と、表示部１０３とが１つの物理的な形態をなすことができる。

表示部１０３は、映像通話提供装置１００で処理される情報を表示することができる。表示部１０３は、映像通話提供装置１００及び外部通信装置２００間で送受信された視覚的エフェクトを表示することができる。例えば、表示部１０３は、映像通話提供装置１００及び／又は外部通信装置２００のユーザが送受信した視覚的エフェクトを表示することができる。

表示部１０３は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode（ＬＥＤ））、フレキシブルディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）、電気泳動ディスプレイ（electrophoretic display）のうち少なくとも１つを含んでもよいが、本発明の範囲は、それらに限定されるものではない。映像通話提供装置１００の具現形態により、映像通話提供装置１００は、表示部１０３を２つ以上含んでもよい。

メモリ１０４は、制御部１０６が処理するデータを、一時的又は永久に保存する機能を遂行することができる。ここで、メモリ１０４は、磁気記録媒体（magnetic storage media）又はフラッシュ記録媒体（flash storage media）を含んでもよいが、本発明の範囲は、それらに限定されるものではない。メモリ１０４は、外部通信装置２００又はサーバ３００と送受信したデータを保存する機能を遂行することができる。

プログラム保存部１０５は、映像通話サービスを提供する過程において、必須であったり補助的であったりする多様な作業を遂行するソフトウェアを搭載する構成要素でもある。

制御部１０６は、一般的に、映像通話提供装置１００の全般的な動作を制御することができる。例えば、制御部１０６は、映像通話提供装置１００に含まれるプログラム保存部１０５に保存されたソフトウェアを実行することにより、通信部１０１、入力受信部１０２、表示部１０３、メモリ１０４及び映像通話提供装置１００に含まれるその他構成部分を全般的に制御することができる。

制御部１０６は、プロセッサ（processor）のように、データを処理することができる全ての種類のデバイスを含んでもよい。ここで、「プロセッサ」は、例えば、プログラム内に含まれるコード又は命令によって表現された機能を遂行するために、物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理デバイスを意味する。そのように、ハードウェアに内蔵されたデータ処理デバイスの一例として、マイクロプロセッサ（microprocessor）、中央処理デバイス（ＣＰＵ：central processing unit）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field programmable gate array）のような処理デバイスを網羅することができるが、本発明の範囲は、それらに限定されるものではない。

図３ないし図５は、本発明の一実施形態による映像通話提供方法を概略的に図示したフローチャートである。

図３を参照すれば、本発明の一実施形態による映像通話提供方法を遂行する映像通話提供装置１００は、映像通話が進行している間に、第１エフェクトを表示せよという信号を送信又は受信する段階（Ｓ３１０段階）を遂行することができる。

詳細には、映像通話提供装置１００は、外部通信装置２００との映像通話機能を提供することができる。そのように、映像通話提供装置１００と外部通信装置２００の間の映像通話が提供されている間に、映像通話提供装置１００は、第１エフェクトを、映像通話提供装置１００及び外部通信装置２００に表示せよという入力を、ユーザから受信することができる。そのような入力が受信されると、映像通話提供装置１００は、第１エフェクトを表示せよという信号を、外部通信装置２００に送信することができる。また、外部通信装置２００から、第１エフェクトを表示せよという信号を受信することもできる。

本明細書において、所定のエフェクトを表示せよという信号は、当該所定のエフェクトを、電子装置上に表示させるための信号であり得る。このとき、所定のエフェクトを表示せよという信号は、当該所定のエフェクトの表示を命令する制御信号であってもよく、当該所定のエフェクトを表示するための映像情報を直接含む信号であってもよい。

映像通話提供装置１００が、第１エフェクトを表示せよという信号を、外部通信装置２００に送信する場合を仮定することができる。

このとき、例えば、第１エフェクトを表示せよという信号は、第１エフェクトを、映像通話映像とマージ（merge）させた映像信号でもある。その場合、外部通信装置２００は、第１エフェクトを表示せよという信号、すなわち、第１エフェクトを映像通話映像とマージさせた映像信号を受信し、表示部に映像通話映像を表示することもできる。

他の例示として、第１エフェクトを表示せよという信号は、第１エフェクトがどのようなものであるかを示すＩＤを含む信号でもある。その場合、外部通信装置２００は、第１エフェクトを表示せよという信号を受信して分析してＩＤを確認し、第１エフェクトを、外部通信装置２００内部において、直接第１エフェクトを生成する制御動作を介して、第１エフェクトを具現し、それを映像通話映像に付加して表示することができる。

他の例示として、第１エフェクトを表示せよという信号は、第１エフェクトを示す映像信号でありながら、映像通話映像とは異なる別途の映像信号でもある。その場合、外部通信装置２００は、映像通話映像信号から抽出された映像通話映像と、第１エフェクトを表示せよという信号から抽出された第１エフェクト映像と、を共に表示部に表示することができる。このとき、外部通信装置２００は、第１エフェクトが、ユーザに認識されることができるように、第１エフェクト映像を、映像通話映像より上位のレイヤにすることができる。

以上の例示においては、映像通話提供装置１００が、第１エフェクトを表示せよという信号を生成し、外部通信装置２００に送信する場合を仮定したが、反対に、外部通信装置２００で生成された第１エフェクトを表示せよという信号を、映像通話提供装置１００が受信する場合にも、類似した動作が映像通話提供装置１００でも遂行される。すなわち、映像通話提供装置１００が受信した第１エフェクトを表示せよという信号が、第１エフェクトと映像通話映像とがマージされた映像通話映像である場合、映像通話提供装置１００は、第１エフェクトを表示せよという信号に含まれる前記マージされた映像通話映像を表示することにより、第１エフェクトが表示されるようにする。あるいは、映像通話提供装置１００が受信した第１エフェクトを表示せよという信号の種類が、第１エフェクトのＩＤに係わる情報を含む信号である場合、映像通話提供装置１００が直接第１エフェクトを選定し、それを表示することができる。あるいは、映像通話提供装置１００が受信した第１エフェクトを表示せよという信号が、第１エフェクト映像信号である場合、映像通話提供装置１００は、映像通話映像信号から抽出された映像通話映像と、第１エフェクト映像信号から抽出された第１エフェクト映像とを共に表示することができる。

また、第１エフェクトを表示せよという信号には、映像通話映像と第１エフェクト映像との間の時間的及び／又は空間的同期信号が含まれてもよい。

第１エフェクトは、映像通話映像と共に、映像通話提供装置１００の表示部１０３にも表示される。例えば、第１エフェクトは、涙を流す顔文字であってよく、このとき、第１エフェクトは、映像通話映像において、映像通話提供装置１００又は外部通信装置２００のユーザの目と重なっても表示される。このとき、第１エフェクトが、映像通話映像より優先順位が高いレイヤにも表示される。すなわち、映像通話映像は、映像通話提供装置１００の表示部１０３のほぼ全ての領域を占めて表示され、第１エフェクトは、映像通話映像より優先順位が高いレイヤ上に、映像通話映像と重なっても表示される。

一方、映像通話提供装置１００は、映像通話進行のために、カメラで撮影を行うとき、ユーザの顔認識機能を使用することもできる。例えば、映像通話提供装置１００に含まれているカメラで撮影を行うとき、映像通話提供装置１００は、撮影した映像において、ユーザの顔を認識することができる。このとき、映像通話提供装置１００は、撮影した映像を分析し、目、鼻、口、顔型のうち少なくとも１つ以上の特徴を獲得することができる。その後、映像通話提供装置１００は、認識したユーザの顔の特定位置を基とし、エフェクトを表示することができる。例えば、表示するエフェクトが涙である場合、映像通話提供装置１００は、顔の目の部分にエフェクトを表示することができる。

その後、映像通話提供装置１００は、第１エフェクトを表示する段階（Ｓ３２０段階）を遂行することができる。このとき、映像通話提供装置１００が、第１エフェクト表示信号を生成してもよく、外部通信装置２００から、第１エフェクト表示信号を受信してもよい。すなわち、映像通話提供装置１００は、表示しようとするエフェクトを直接決定した場合、及びエフェクトを表示せよという信号を外部から受信した場合のいずれにおいても、当該エフェクトを表示することができる。

このとき、映像通話提供装置１００は、第１エフェクトの表示を、映像通話提供装置１００が決定したか、あるいは第１エフェクトを表示せよという信号を外部から受信したかによって、第１エフェクトを表示する位置を決定することができる。例えば、第１エフェクトの表示を映像通話提供装置１００が決定した場合には、第１エフェクトを、映像通話提供装置１００のユーザの顔に表示することができる。また、第１エフェクトを表示せよという信号を、外部通信装置２００から受信した場合には、第１エフェクトを、外部通信装置２００のユーザの顔に表示することができる。反対に、第１エフェクトの表示を映像通話提供装置１００が決定した場合には、第１エフェクトを、外部通信装置２００のユーザの顔に表示することができる。また、第１エフェクトを表示せよという信号を、外部通信装置２００から受信した場合には、第１エフェクトを映像通話提供装置１００のユーザの顔に表示することができる。映像通話提供装置１００が、どのユーザの顔に第１エフェクトを表示するかということは、映像通話提供装置１００の設定や第１エフェクトの特徴によって決定される。

その後、映像通話提供装置１００は、第２エフェクトを表示せよという信号を送信又は受信する段階（Ｓ３３０段階）を遂行することができる。

詳細には、映像通話提供装置１００と外部通信装置２００との間の映像通話が提供されている間に、映像通話提供装置１００は、第２エフェクトを、映像通話提供装置１００及び外部通信装置２００に表示せよという入力を、ユーザから受信することができる。そのような入力が受信されると、映像通話提供装置１００は、第２エフェクトを表示せよという信号を、外部通信装置２００に送信することができる。また、外部通信装置２００から、第２エフェクトを表示せよという信号を受信することもできる。

ここで、第２エフェクトを表示せよという信号は、第１エフェクトを表示せよという信号に類似して、第２エフェクトが、電子装置上に表示されるようにするための多種の信号であってよい。

その後、映像通話提供装置１００は、第１エフェクトを表示せよという信号の送信又は受信、及び第２エフェクトを表示せよという信号の送信又は受信と係わり、所定条件が満足されたか否かを確認する段階（Ｓ３４０段階）を遂行することができる。もしＳ３４０段階の確認結果、所定条件が満足されないと判断される場合、映像通話提供装置１００は、第２エフェクトを表示する段階（Ｓ３５０段階）を遂行することができる。すなわち、映像通話提供装置１００は、追加エフェクトを表示する条件が達成されていない場合には、現在表示要請があった第２エフェクトを、単に表示部１０３に表示することにより、エフェクト表示過程を終了することができる。もしＳ３４０段階の確認結果、所定条件が満足された場合、映像通話提供装置１００は、表示する追加エフェクトを決定する段階（Ｓ３６０段階）を遂行することができる。

このとき、映像通話提供装置１００で確認する所定条件には、第１エフェクトの種類及び第２エフェクトの種類が含まれてもよい。すなわち、本発明は、送信又は受信された２つ以上のエフェクト間に特定関連性がある場合、そのような関連性に対応する追加エフェクトを表示することを目的にする。

例えば、映像通話提供装置１００のユーザと、外部通信装置２００のユーザとの間で、「ジャンケン」を進める場合を想定する。このとき、第１エフェクトは、映像通話提供装置１００のユーザが入力する「チョキ」というエフェクトであり、第２エフェクトは、外部通信装置２００のユーザが入力する「グー」というエフェクトであってもよい。ここで、映像通話提供装置１００のユーザが入力する「チョキ」というエフェクトが、第２エフェクトであり、外部通信装置２００のユーザが入力する「グー」というエフェクトが、第１エフェクトでもあるということは言うまでもない。その場合、映像通話提供装置１００は、映像通話提供装置１００のユーザが「ジャンケン」で負けたというエフェクト、及び／又は外部通信装置２００のユーザが「ジャンケン」で勝ったというエフェクトを、映像通話提供装置１００のユーザの顔及び／又は外部通信装置２００のユーザの顔に表示することができる。

このように、映像通話提供装置１００は、ユーザが直接表示を要請したエフェクトに加え、追加エフェクトを表示部１０３に表示することができる。

他の例示として、映像通話提供装置１００のユーザが反復して腹を立てる場合を想定する。このとき、第１エフェクト及び第２エフェクトは、いずれも映像通話提供装置１００のユーザが入力する腹を立てるエフェクトであり、映像通話提供装置１００のユーザの目が睨みつける目に変わるエフェクトでもある。その場合、映像通話提供装置１００のユーザが腹を立てるエフェクトである第１エフェクトを出力すれば、映像通話提供装置１００のユーザの目が睨みつける目にも変更される。その後、映像通話提供装置１００のユーザが腹を立てるエフェクトである第２エフェクトをさらに出力すれば、映像通話提供装置１００のユーザの目が睨みつける目に変更される代わりに、映像通話提供装置１００のユーザ周辺に火が燃え上がる追加エフェクトが共に表示部１０３にも表示される。

このように、映像通話提供装置１００は、ユーザが直接表示を要請したエフェクトが所定条件を満足する場合、追加エフェクトで代替され、表示部１０３に表示することができる。

選択的には、映像通話提供装置１００で確認する所定条件には、第１エフェクトを表示せよという信号を送信した主体、及び第２エフェクトを表示せよという信号を送信した主体が含まれてもよい。すなわち、映像通話提供装置１００のユーザと、外部通信装置２００のユーザとの間に「ジャンケン」が成立するためには、第１エフェクト及び第２エフェクトそれぞれを送信した主体が互いに異なっていなければならない。同様に、ユーザが反復して腹を立てるという追加エフェクトを表示する状況になるには、第１エフェクト及び第２エフェクトのいずれも、同一主体が送信しなければならない。そのように、映像通話提供装置１００は、追加エフェクトを表示するための条件として、各エフェクトを送信した主体がだれであるかということを確認することができる。

選択的には、映像通話提供装置１００で確認する所定条件には、第１エフェクトを表示せよという信号の送信時点又は受信時点から、第２エフェクトを表示せよという信号の送信時点又は受信時点までに経過した時間が、所定制限時間以内であるか否かが含まれてもよい。すなわち、映像通話提供装置１００のユーザと、外部通信装置２００のユーザとの間で「ジャンケン」が成立するためには、一方が、「ジャンケン」のうち１つを第１エフェクトとして入力した時点から、他方が「ジャンケン」のうち１つを第２エフェクトとして入力した時点までの時間が、０．１秒又は０．２秒以内ほどと短くなければならない。同様に、映像通話提供装置１００は、一方のユーザが、腹を立てるエフェクトを第１エフェクトとして入力した後、数秒以内に、腹を立てるエフェクトを第２エフェクトとしてもう一度入力した場合、同一時点で腹を立てたと判断することができる。例えば、映像通話提供装置１００のユーザが、腹を立てるエフェクトを第１エフェクトとして入力した後、３秒後にもう一度、腹を立てるエフェクトを第２エフェクトとして入力した場合、映像通話提供装置１００は、それを、ユーザが同一時点で大きく腹を立てるための表現と判断し、追加エフェクトを表示することができる。他の例示として、映像通話提供装置１００のユーザが、腹を立てるエフェクトを第１エフェクトとして入力した後、３０分後にもう一度、腹を立てるエフェクトを第２エフェクトとして入力した場合、映像通話提供装置１００は、それぞれの腹を立てるエフェクトは、互いに異なる時点で腹を立てるための表現であると判断し、追加エフェクトを表示しない。

選択的には、映像通話提供装置１００で確認する所定条件には、第１エフェクトを表示せよという信号の送信時点又は受信時点から、第２エフェクトを表示せよという信号の送信時点又は受信時点までに経過した時間が、所定の第１制限時間以内であるか、所定の第２制限時間以内であるか、そうではなければ、所定の第２制限時間を超えているかということが含まれてもよい。このとき、第２制限時間の長さは、第１制限時間の長さよりも長い。例えば、外部通信装置２００のユーザが攻撃を行い、攻撃に対応し、映像通話提供装置１００のユーザが防御を行うゲームを、映像通話の最中、エフェクトを利用して遂行する場合を想定する。このとき、第２制限時間の長さは、第１制限時間の長さよりも長い。例えば、外部通信装置２００のユーザが入力する攻撃エフェクトが、第１エフェクトであってよい。もし第１エフェクトが入力され、映像通話提供装置１００のユーザが、第１制限時間以内に、防御エフェクトを第２エフェクトとして入力した場合、映像通話提供装置１００は、それを、映像通話提供装置１００のユーザが防御に成功した場合と判断し、映像通話提供装置１００のユーザが勝ったという追加エフェクトを表示することができる。もし第１エフェクトが入力され、映像通話提供装置１００のユーザが、第２制限時間以内に、防御エフェクトを第２エフェクトとして入力した場合、映像通話提供装置１００は、それを、映像通話提供装置１００のユーザが防御に半分だけ成功した場合と判断することができ、双方が引き分けたという追加エフェクトを表示することができる。もし第１エフェクトが入力され、映像通話提供装置１００のユーザが、第２制限時間を超えて防御エフェクトを第２エフェクトとして入力するか、あるいは防御エフェクトを入力することができなかった場合、映像通話提供装置１００は、それを、映像通話提供装置１００のユーザが防御に失敗した場合と判断することができ、外部通信装置２００のユーザが勝ったという追加エフェクトを表示することができる。

このように、映像通話提供装置１００は、第１エフェクト及び第２エフェクトが表示された時間間隔を基に、追加エフェクトを表示するか否か及び／又は表示する追加エフェクトの種類を決定することができる。

選択的には、映像通話提供装置１００は、該映像通話提供装置１００内部のデータベースを介して、第１エフェクトと第２エフェクトが連続して送信又は受信されたときに出力する追加エフェクトが存在するか否かを確認することができる。詳細には、映像通話提供装置１００内部のデータベースには、画面に表示することができる追加エフェクトに係わる情報と、それぞれの追加エフェクトが表示されるための所定条件（例えば、第１エフェクトの種類、第２エフェクトの種類、第１エフェクト及び／又は第２エフェクトの送信主体、第１エフェクトが表示され、第２エフェクトが表示されるまでの経過時間の条件など）とが保存されている。映像通話提供装置１００は、エフェクトが送受信されるたびに、所定条件が満足されたか否かを、データベースを参照することによって確認することができる。

Ｓ３６０段階の後、映像通話提供装置１００は、決定された追加エフェクトが、第２エフェクトを代替するエフェクトであるか、あるいは第２エフェクトと共に表示されるエフェクトであるかを確認する段階（Ｓ３７０段階）を遂行することができる。もし追加エフェクトが、第２エフェクトを代替するエフェクトである場合、映像通話提供装置１００は、第２エフェクトを表示せよという信号に対応し、追加エフェクトのみを表示することができる（Ｓ３８０段階）。すなわち、その場合には、たとえ受信された入力が第２エフェクトの表示要請であったとしても、映像通話提供装置１００は、第２エフェクトを表示せずに、追加エフェクトのみを表示することができる。もし追加エフェクトが、第２エフェクトを代替するエフェクトではない場合、映像通話提供装置１００は、第２エフェクトを表示せよという信号に対応し、第２エフェクト及び追加エフェクトを共に表示することができる（Ｓ３９０段階）。すなわち、その場合には、たとえ受信された入力が第２エフェクトの表示要請であったとしても、映像通話提供装置１００は、第２エフェクトに加え、追加エフェクトを追加して表示することができる。このとき、映像通話提供装置１００は、第２エフェクトと追加エフェクトとを同時に表示することもでき、第２エフェクトを表示し、所定のディレイの適用後に追加エフェクトを表示することもでき、追加エフェクトを表示し、所定のディレイの適用後に第２エフェクトを表示することもできる。

一方、そのような追加エフェクトの表示いかんは、映像通話提供装置１００及び／又は外部通信装置２００で別途に決定され、その効果を、他方の電子装置に送信しないことがある。そのような場合には、それぞれの電子装置で判断した追加エフェクト表示いかんにより、それぞれの電子装置に当該追加エフェクトが表示される。一方、追加エフェクトの表示いかんが、映像通話提供装置１００又は外部通信装置２００のうちいずれか１つで決定され、当該追加エフェクトを表示するための信号が、一方の電子装置から他方の電子装置に送信される場合も存在する。その場合、そのような追加エフェクトを表示する方法は、２つに分けられてよい。

まず、図４を参照すれば、映像通話提供装置１００は、図３を介して説明した過程で説明したように、表示する追加エフェクトを決定する段階（Ｓ４１０段階）を遂行することができる。

その後、映像通話提供装置１００は、表示する追加エフェクトを、送信する映像通話映像とマージする段階（Ｓ４２０段階）を遂行することができる。次に、映像通話提供装置１００は、マージされた映像を、映像通話提供装置１００上で表示し、マージされた映像を、外部通信装置２００に送信する段階（Ｓ４３０段階）を遂行することができる。すなわち、映像通話提供装置１００は、決定した追加エフェクトを、映像通話のために送信しなければならない映像と併合した後、併合された映像を外部に送信することにより、追加エフェクトに係わる情報を、外部通信装置２００に伝達することができる。

他の方法として、図５を参照すれば、映像通話提供装置１００は、表示する追加エフェクトを決定する段階（Ｓ５１０段階）を遂行することができる。

その後、映像通話提供装置１００は、決定した追加エフェクトに係わる情報を、映像通話のための映像とは別途に外部通信装置２００に送信することができる（Ｓ５２０段階）。詳細には、映像通話提供装置１００は、決定した追加エフェクトの表示いかんに係わるオン／オフ信号を、外部通信装置２００に送信することができる。もし追加エフェクトを表示すると決定した場合、映像通話提供装置１００は、決定した追加エフェクトの種類を示すＩＤ信号を、外部通信装置２００に送信することができる。その場合、外部通信装置２００は、外部通信装置２００内に含まれているデータベースから、当該ＩＤに対応する追加エフェクトを選択することができ、それを、外部通信装置２００の表示部に表示することができる。すなわち、映像通話提供装置１００は、直接追加エフェクトを映像化し、外部通信装置２００に送信しないとしても、追加エフェクトを特定することができる信号のみを、外部通信装置２００に伝達することもできる。

図６ないし図１１は、本発明の一実施形態による映像通話提供装置において、映像通話サービスを提供する例示的な形態を概略的に図示した図面である。

以下、図６ないし図１１を介して、映像通話サービスを提供する例示的な形態について説明する。そのような説明過程において、図３ないし図５を介して説明されたところと重複する内容は、省略する。

まず、図６を参照すれば、映像通話提供装置１００は、映像通話提供装置１００の表示部に、映像通話映像６１０を表示することができる。このとき、映像通話提供装置１００は、映像通話映像６１０の大部分領域に、相手の姿６２０を表示することができる。このとき、映像通話提供装置１００は、映像通話映像６１０の一部分に、参照映像６３０を表示することができる。映像通話提供装置１００は、そのような参照映像６３０に、映像通話提供装置１００のユーザの姿６４０を表示することができる。そのような参照映像６３０を介して、映像通話提供装置１００のユーザは、自分の姿がどのように相手に見えているかということを確認することができる。

このとき、映像通話提供装置１００は、映像通話映像６１０の下端部に、エフェクト送信のためのエフェクト選択領域６５０を表示することができる。映像通話提供装置１００は、エフェクト選択領域６５０に「グー」エフェクト選択のためのＵＩ ６６０、「チョキ」エフェクト選択のためのＵＩ ６７０及び「パー」エフェクト選択のためのＵＩ ６８０を表示することができる。

その後、図７を参照すれば、映像通話提供装置１００は、映像通話提供装置１００の表示部に、映像通話提供装置１００のユーザ、及び外部通信装置２００のユーザが選択した「ジャンケン」を表示することができる。まず、外部通信装置２００のユーザが「チョキ」を選択した場合、映像通話提供装置１００は、「チョキ」エフェクト７１０を映像通話映像６１０に表示することができる。すなわち、映像通話提供装置１００は、外部通信装置２００のユーザが「ジャンケン」で「チョキ」を出したようなエフェクトを表示することができる。同様に、映像通話提供装置１００のユーザが「グー」を選択した場合、映像通話提供装置１００は、「グー」エフェクト７２０を参照映像６３０に表示することができる。すなわち、映像通話提供装置１００は、映像通話提供装置１００のユーザが「ジャンケン」で「グー」を出したようなエフェクトを表示することができる。

その後、図８を参照すれば、映像通話提供装置１００は、映像通話提供装置１００の表示部に、「ジャンケン」で勝った映像通話提供装置１００のユーザが喜び、「ジャンケン」で負けた外部通信装置２００のユーザが悲しむ追加エフェクトを表示することができる。例えば、映像通話提供装置１００は、映像通話提供装置１００のユーザが勝利したという勝利文言エフェクト８１０及び笑う表情エフェクト８２０を、参照映像６３０のユーザの姿６４０に表示することができる。同様に、映像通話提供装置１００は、涙エフェクト８３０を相手の姿６２０に表示することができる。映像通話提供装置１００は、追加「ジャンケン」進行のためのエフェクト選択領域８５０、「グー」エフェクト選択のためのＵＩ ８６０、「チョキ」エフェクト選択のためのＵＩ ８７０、及び「パー」エフェクト選択のためのＵＩ ８８０をさらに表示することもできる。

次に、図９を参照すれば、映像通話提供装置１００は、映像通話提供装置１００の表示部に、映像通話映像９１０を表示することができる。このとき、映像通話提供装置１００は、映像通話映像９１０の大部分領域に、相手の姿９２０を表示することができる。このとき、映像通話提供装置１００は、映像通話映像９１０の一部分に、参照映像９３０を表示することができる。映像通話提供装置１００は、そのような参照映像９３０に、映像通話提供装置１００のユーザの姿９４０を表示することができる。

このとき、映像通話提供装置１００は、映像通話映像９１０の下端部に、エフェクト送信のためのエフェクト選択領域を表示することができる。映像通話提供装置１００は、そのようなエフェクト選択領域に、多様なエフェクトを選択するためのＵＩを表示することができる。例えば、映像通話提供装置１００は、エフェクト選択領域に、うれしい表情選択のためのＵＩ ９５０、泣く表情選択のためのＵＩ ９６０、及び腹立ち表情選択のためのＵＩ ９７０を表示することができる。映像通話提供装置１００のユーザが、泣く表情選択のためのＵＩ ９６０を選択した場合を仮定する。

その場合、図１０を参照すれば、映像通話提供装置１００は、参照映像９３０のユーザの姿９４０に、泣く表情エフェクト１０１０を表示することができる。そのように泣く表情エフェクト１０１０がユーザの姿９４０に表示されている最中、映像通話提供装置１００のユーザがもう一度泣く表情選択のためのＵＩ １０２０を選択した場合を仮定する。

その場合、図１１を参照すれば、映像通話提供装置１００は、参照映像９３０のユーザの姿９４０に涙どっぷりエフェクト１１１０を表示することができる。このとき、映像通話提供装置１００は、泣く表情エフェクト１１２０を、涙どっぷりエフェクト１１１０と共に表示することもできる。

以上で説明された本発明による実施形態は、コンピュータ上で多様な構成要素を介しても実行されるコンピュータプログラムの形態にも具現され、そのようなコンピュータプログラムは、コンピュータ読み取り可能な媒体にも記録される。このとき、該媒体は、コンピュータで実行可能なプログラムを永続的に保存するか、あるいは実行又はダウンロードのために一時保存するものでもある。また、媒体は、単一又は数個のハードウェアが結合された形態の多様な記録手段又は保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ及びＤＶＤのような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体あるいは記録媒体も挙げることができる。

一方、コンピュータプログラムは、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラによって使用されるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードも含まれてもよい。

本発明で説明する特定の実装は、一実施形態であり、いかなる方法によっても、本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、上記システムの他の機能的な側面の記載は、省略される。また、図面に図示された構成要素間の線の連結又は連結部材は、機能的な連結、及び／又は物理的又は回路的な連結を例示的に示したものであり、実際の装置においては、代替可能であったり追加されたりする多様な機能的な連結、物理的な連結あるいは回路的な連結としても示される。また、「必須な」、「重要に」というように、具体的な言及がなければ、本発明の適用のために必ずしも必要な構成要素ではないのである。

したがって、本発明の思想は、前述の実施形態に限って決められるものではなく、特許請求の範囲だけではなく、特許請求の範囲と均等、又はそれらから等価的に変更された全ての範囲が、本発明の思想の範疇に属するものとする。

本発明は、映像通話機能を提供する装置に適用可能な技術であり、該映像通話機能において、通話を進めているユーザに視覚的な付加効果を送信又は受信することができる。このような本発明は、映像通話を利用する人が、映像に付加効果を入れることができるようにすることにより、映像通話サービスの満足度を増大させることができる映像通話提供装置及び映像通話提供方法に利用可能である。

Claims (16)

1. 外部通信装置と映像通話を行うことができる通信装置に、
   第１エフェクトを表示させるための第１エフェクト表示信号を、前記外部通信装置に送信するか前記外部通信装置から受信する、第１信号処理工程と、
   前記第１エフェクト表示信号を前記外部通信装置に送信するか前記外部通信装置から受信するとき、前記映像通話の映像に前記第１エフェクトをマージして表示する、第１エフェクト表示工程と、
   前記第１エフェクト表示信号の送信後又は受信後、第２エフェクトを表示させるための第２エフェクト表示信号を、前記外部通信装置に送信するか前記外部通信装置から受信する、第２信号処理工程と、
   前記第２エフェクト表示信号の送信後又は受信後、第１エフェクトを表示せよという信号の送信又は受信、及び第２エフェクトを表示せよという信号の送信又は受信と係わり、所定条件が満足されたか否かを確認する、確認工程と、
   前記確認の結果に基づいて、エフェクトを追加出力するか否か、及び出力する追加エフェクトを決定する、決定工程と、
   前記決定工程の結果に基づいて、前記第２エフェクト及び前記追加エフェクトのうち一方又は両方を、前記映像通話の映像にマージして表示する、表示工程と、
   を実行させるためのコンピュータプログラム。
2. 前記確認工程は、
   前記第１エフェクト表示信号と前記第２エフェクト表示信号が連続して送信又は受信されたときに出力する前記追加エフェクトが存在するか否かを、前記通信装置の内部のデータベースを介して確認する工程を含むことを特徴とする請求項１に記載のコンピュータプログラム。
3. 前記確認工程は、
   前記第１エフェクト表示信号の送信後又は受信後から、前記第２エフェクト表示信号の送信時点又は受信時点までに経過した時間が、所定の制限時間以内であるか否かを確認する工程を含むことを特徴とする請求項１に記載のコンピュータプログラム。
4. 前記確認工程は、
   前記第１エフェクト表示信号の送信後又は受信後から、前記第２エフェクト表示信号の送信時点又は受信時点までに経過した時間が、所定の第１制限時間以内であるか、前記第１制限時間を超えて所定の第２制限時間以内であるか、あるいは前記第２制限時間を超えているかを確認する工程を含むことを特徴とする請求項１から３のいずれか１項に記載のコンピュータプログラム。
5. 前記決定工程は、
   前記確認の結果に基づいて、前記追加エフェクトを、前記第２エフェクトに代替して提供するか否かを決定する工程を含み、
   前記表示工程は、
   前記第２エフェクトの表示を省略し、前記追加エフェクトを表示する工程を含むことを特徴とする請求項１から４のいずれか１項に記載のコンピュータプログラム。
6. 前記決定工程は、
   前記確認の結果に基づいて、前記追加エフェクトを、前記第２エフェクトと共に提供するか否かを決定する工程を含み、
   前記表示工程は、
   前記第２エフェクトと同時に、又は前記第２エフェクトを表示して所定時間経過後に、前記追加エフェクトを表示する工程を含むことを特徴とする請求項１から４のいずれか１項に記載のコンピュータプログラム。
7. 前記表示工程の前に、
   前記確認の結果に基づいて、前記追加エフェクトを映像と共に表示するようにマージする工程をさらに含むことを特徴とする請求項１から６のいずれか１項に記載のコンピュータプログラム。
8. 前記表示工程の前に、
   前記確認の結果に基づいて、前記追加エフェクトを表示するか否かに係わる信号、及び前記追加エフェクトの種類を示すＩＤ信号を、前記外部通信装置に送信する工程をさらに含むことを特徴とする請求項１から６のいずれか１項に記載のコンピュータプログラム。
9. 外部通信装置と映像通話する通信装置であって、
   第１エフェクトを表示させるための第１エフェクト表示信号を、外部通信装置に送信するか前記外部通信装置から受信し、前記第１エフェクト表示信号の送信後又は受信後、第２エフェクトを表示させるための第２エフェクト表示信号を、前記外部通信装置に送信するか前記外部通信装置から受信する通信部と、
   前記第２エフェクト表示信号の送信後又は受信後第１エフェクトを表示せよという信号の送信又は受信、及び第２エフェクトを表示せよという信号の送信又は受信と係わり、所定条件が満足されたか否かを確認し、前記確認の結果に基づいて、エフェクトを追加出力するか否か、及び出力する追加エフェクトを決定する制御部と、
   前記第１エフェクト表示信号を前記外部通信装置に送信するか前記外部通信装置から受信すると、前記映像通話の映像に前記第１エフェクトをマージして表示し、前記エフェクトを追加出力するか否かの決定及び決定された前記追加エフェクトに基づいて、前記第２エフェクト及び前記追加エフェクトのうち一方又は両方を、前記映像通話の映像にマージして表示する表示部と、を含む通信装置。
10. 前記第１エフェクト及び前記第２エフェクトを含み、前記外部通信装置との通信の進行中に送受信されるエフェクトに係わる情報を保存するデータベースをさらに含み、
    前記制御部は、前記第１エフェクト表示信号と前記第２エフェクト表示信号が連続して送信又は受信されたときに出力する前記追加エフェクトが存在するか否かを、前記データベースに保存された情報を利用して確認することを特徴とする請求項９に記載の通信装置。
11. 前記制御部は、前記第１エフェクト表示信号の送信後又は受信後から、前記第２エフェクト表示信号の送信時点又は受信時点までに経過した時間が、所定の制限時間以内であるか否かを確認することを特徴とする請求項９又は１０に記載の通信装置。
12. 前記制御部は、前記第１エフェクト表示信号の送信後又は受信後から、前記第２エフェクト表示信号の送信時点又は受信時点までに経過した時間が、所定の第１制限時間以内であるか、前記第１制限時間を超えて所定の第２制限時間以内であるか、あるいは前記第２制限時間を超えているか否かを確認することを特徴とする請求項９から１１のいずれか１項に記載の通信装置。
13. 前記制御部は、前記確認の結果に基づいて、前記追加エフェクトを、前記第２エフェクトを代替して提供するか否かを決定し、
    前記表示部は、前記第２エフェクトの表示を省略し、前記追加エフェクトを表示することを特徴とする請求項９から１２のいずれか１項に記載の通信装置。
14. 前記制御部は、前記確認の結果に基づいて、前記追加エフェクトを、前記第２エフェクトと共に提供するか否かを決定し、
    前記表示部は、前記第２エフェクトと同時に、又は前記第２エフェクトを表示して所定のディレイの適用後に、前記追加エフェクトを表示することを特徴とする請求項９から１３のいずれか１項に記載の通信装置。
15. 前記制御部は、前記確認の結果に基づいて、前記追加エフェクトを、前記表示部に映像と共に表示するようにマージすることを特徴とする請求項９から１４のいずれか１項に記載の通信装置。
16. 前記通信部は、前記確認の結果に基づいて、前記追加エフェクトを表示するか否かに係わる信号、及び前記追加エフェクトの種類を示すＩＤ信号を、前記外部通信装置に送信することを特徴とする請求項９から１５のいずれか１項に記載の通信装置。

Images