JP6941406B2 - 視覚的または聴覚的効果の双方向伝達を利用した映像通話方法およびシステム - Google Patents

Description

下記の説明は、視覚的または聴覚的効果の双方向伝達を利用した映像通話方法およびシステムに関する。

従来技術に係る映像通話は、映像通話のために送受信される映像をイメージフィルタレベルでフィルタリングし、単純に固定的に予め設定されている符号化された効果を映像に合成する形態で提供されていたため、多様な効果を双方向でさらにはリアルタイムで伝達するのが困難であるという短所があった。

他の従来技術では、映像通話の送信側電子機器が望む効果のための識別子を受信側電子機器に伝達し、受信側電子機器が受信した識別子に該当する効果を検索して再生していた。例えば、特許文献１には、イベントに対応するコードを該当の携帯端末に送信し、該当の携帯端末でコードに対応する効果を出力する技術が開示されている。しかし、このような従来技術では、受信した識別子に該当する効果が受信側電子機器に存在しない場合には、効果をリアルタイムで映像通話に反映することができないという問題点があった。

韓国公開特許第１０−２０１０−００５００２１号公報 国際公開第２０１５／０６５００１号 米国特許出願公開第２０１４／００１９５４０号明細書 米国特許出願公開第２０１３／０３３２５４３号明細書 米国特許出願公開第２０１３／０２６０８９３号明細書

映像通話中に送信側電子機器で提示される多様な効果のうちの１つをユーザが選択することによって該当の効果の識別子がサーバに伝達され、サーバで該当の識別子による効果（効果を適用するためのコンテンツ）を映像通話のデータパケットと共に受信側電子機器に送信することにより、多様な効果を映像通話中に双方向で送信および適用することができる、映像通話方法およびシステムを提供する。

コンピュータによって実現されるサーバの映像通話システムであって、前記コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理するデータベース管理部、複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび効果識別子を、ネットワークを介して受信するように前記サーバを制御する受信制御部であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、受信制御部、前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出するコンテンツ抽出部、および前記の抽出されたコンテンツを、前記の受信されたデータパケットと関連付けて、該データパケットと共に、前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信するように前記サーバを制御する送信制御部であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと連係して再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、送信制御部を備える、映像通話システムを提供する。

コンピュータによって実現されるサーバにより実行される、複数の電子機器との間の映像通話のための映像通話方法であって、前記サーバが、視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理する段階、前記サーバが、前記複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび効果識別子を、ネットワークを介して受信する段階であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、段階、前記サーバが、前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出する段階、および前記サーバが、前記の抽出されたコンテンツを、前記の受信されたデータパケットと関連付けて、該データパケットと共に、前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信する段階であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと連係して再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、段階を含む、映像通話方法を提供する。

コンピュータによって実現される電子機器に、複数の電子機器との間の映像通話のための映像通話方法を実行させるためのコンピュータプログラムであって、前記映像通話方法は、前記電子機器が、映像通話のための映像と共に効果の選択のための選択インタフェースを前記電子機器の画面に表示する段階、前記電子機器が、前記選択インタフェースから選択された効果の効果識別子を認識する段階、および前記電子機器が、映像通話のためのデータパケットと共に前記の認識された効果識別子を、ネットワークを介してサーバに送信する段階を含み、前記サーバは、視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理し、前記電子機器から送信された効果識別子に対応するコンテンツを前記データベースから抽出し、前記の抽出されたコンテンツを、前記電子機器から送信されたデータパケットと関連付けて、該データパケットと共に、前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信し、前記受信側電子機器は、前記サーバから送信されたデータパケットに含まれる映像を画面に表示することと連係して前記コンテンツを再生し、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報を出力する、コンピュータプログラムを提供する。

映像通話中に送信側電子機器で提示される多様な効果のうちの１つをユーザが選択することによって該当の効果の識別子がサーバに伝達され、サーバで該当の識別子による効果（コンテンツ）を映像通話のデータパケットと共に受信側電子機器に送信することにより、多様な効果を映像通話中に双方向で送信および適用することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、サーバが実行することのできる映像通話方法の例を示したフローチャートである。 本発明の一実施形態における、送信側電子機器で効果を選択する画面の例を示した図である。 本発明の一実施形態における、受信側電子機器で効果が出力される画面の例を示した図である。 本発明の一実施形態における、サーバのプロセッサがさらに含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、コンテンツのパラメータを変更する過程の例を示したフローチャートである。 本発明の一実施形態における、サーバのプロセッサがさらに含むことのできる構成要素の他の例を示した図である。 本発明の一実施形態における、効果を推薦する過程の例を示したフローチャートである。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することのできる映像通話方法の例を示したフローチャートである。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣなどがある。一例として、電子機器１１０は、無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。

一例として、サーバ１６０は、ネットワーク１７０を介して接続した電子機器１（１１０）にアプリケーションのインストールのためのファイルを提供してよい。この場合、電子機器１（１１０）は、サーバ１６０から提供されたファイルを利用してアプリケーションをインストールしてよい。また、電子機器１（１１０）が含むオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）および少なくとも１つのプログラム（一例として、ブラウザやインストールされたアプリケーション）の制御にしたがってサーバ１５０に接続し、サーバ１５０が提供するサービスやコンテンツの提供を受けてよい。例えば、電子機器１（１１０）がアプリケーションの制御にしたがってネットワーク１７０を介してサービス要求メッセージをサーバ１５０に送信すると、サーバ１５０はサービス要求メッセージに対応するコードを電子機器１（１１０）に送信してよく、電子機器１（１１０）はアプリケーションの制御にしたがってコードに基づく画面を構成して表示することによってユーザにコンテンツを提供してよい。他の例として、サーバ１５０は、メッセージングサービスのための通信セッションを設定し、設定された通信セッションを通じて複数の電子機器１１０、１２０、１３０、１４０間のメッセージ送受信をルーティングしてもよい。さらに他の例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０間の映像通話を中継してもよい。例えば、電子機器１（１１０）と電子機器２（１２０）が映像通話をする過程において、電子機器１（１１０）が送信する映像通話のためのデータパケットをサーバ１５０が受信して電子機器２（１２０）に伝達してもよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、１つの電子機器に対する例として電子機器１（１１０）の内部構成を、１つのサーバに対する例としてサーバ１５０の内部構成を説明する。他の電子機器１２０、１３０、１４０やサーバ１６０も、同一または類似の内部構成を備えてもよい。

電子機器１（１１０）とサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１（１１０）にインストールされ駆動するブラウザや映像通話のためのアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、ドライブメカニズム（ｄｒｉｖｅ ｍｅｃｈａｎｉｓｍ）を利用してメモリ２１１、２２１とは別のコンピュータで読み取り可能な記録媒体からロードされてもよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール２１３、２２３を利用してメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてもよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１（１１０）とサーバ１５０とが互いに通信するための機能を提供してもよいし、他の電子機器（一例として、電子機器２（１２０））または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１のような記録装置に格納されたプログラムコードにしたがって生成した要求（一例として、映像通話サービスのための要求）が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてもよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１（１１０）の通信モジュール２１３を通じて電子機器１（１１０）に受信されてもよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令などは、プロセッサ２１２やメモリ２１１に伝達されてもよく、コンテンツやファイルなどは、電子機器１（１１０）がさらに含むことのできる格納媒体に格納されてもよい。

入力／出力インタフェース２１４、２２４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、電子機器１（１１０）のプロセッサ２１２は、メモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器２（１２０）が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてもよい。

また、他の実施形態において、電子機器１（１１０）およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１（１１０）は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１（１１０）がスマートフォンである場合、一般的にスマートフォンが備えている加速度センサやジャイロセンサ、カメラ、各種物理的なボタンやタッチパネルを利用したボタン、入力／出力ポートなどの多様な構成要素が電子機器１（１１０）にさらに備えられるように実現されてもよいことが分かる。

本実施形態において、サーバ１５０は、ネットワークを介して接続した通信端末に映像通話サービスを提供するシステム装置であってよい。ここで、電子機器１（１１０）および電子機器２（１２０）は、ネットワークを介してサーバ１５０から映像通話サービスの提供を受ける通信端末であってよい。例えば、サーバ１５０は、電子機器１（１１０）と電子機器２（１２０）のための通話セッションを設定してよい。この場合、電子機器１（１１０）と電子機器２（１２０）は、設定された通話セッションを通じてデータパケットを送受信することによって映像通話を行ってよい。映像通話では、１つのパケットデータの観点において、送信側電子機器（一例として、電子機器１（１１０））と受信側電子機器（一例として、電子機器２（１２０））が存在してよい。ここで、１つの電子機器は、送信側（Ｔｘ）であると同時に受信側（Ｒｘ）であってもよい。例えば、電子機器１（１１０）は、送信側のための構成要素と受信側のための構成要素すべてを含んでもよい。

図３は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示した図であり、図４は、本発明の一実施形態における、サーバが実行することのできる映像通話方法の例を示したフローチャートである。

図３に示すように、サーバ１５０は、映像通話サーバ（または映像通話システム）に対応してよく、サーバ１５０のプロセッサ２２２は、構成要素として、データベース管理部３１０、送受信制御部３２０、およびコンテンツ抽出部３３０を備えてよい。このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図４の映像通話方法が含む段階４１０〜４５０を実行するようにサーバ１５０を制御してよい。ここで、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードによる命令を実行するように実現されてよい。ここで、プロセッサ２２２の構成要素は、プロセッサ２２２によって実行される互いに異なる機能の表現であってよい。例えば、プロセッサ２２２が上述した命令にしたがってデータベースを管理するために動作する機能的表現としてデータベース管理部３１０が使用されてよい。

段階４１０で、プロセッサ２２２は、映像通話方法のためのプログラムのファイルに格納されたプログラムコードをメモリ２２１にロードしてよい。例えば、プログラムは、電子機器間の映像通話のためのデータパケットの中継のためにサーバ１５０にインストールされたプログラムであってよい。サーバ１５０にインストールされたプログラムが実行される場合、プロセッサ２２２は、プログラムのファイルからプログラムコードをメモリ２２１にロードしてよい。

このとき、プロセッサ２２２およびプロセッサ２２２が備えるデータベース管理部３１０、送受信制御部３２０、およびコンテンツ抽出部３３０それぞれは、メモリ２２１にロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階４２０〜４５０を実行するためのプロセッサ２２２の互いに異なる機能的表現であってよい。段階４２０〜４５０の実行のために、プロセッサ２２２およびプロセッサ２２２の構成要素は、サーバ１５０を制御してよい。例えば、プロセッサ２２２は、サーバ１５０が含む通信モジュール２２３を制御して電子機器１（１１０）や他の電子機器のうちの少なくとも１つ（一例として、電子機器２（１２０））と通信するようにサーバ１５０を制御してよい。他の例として、プロセッサ２２２は、プログラムコードをメモリ２２１にロードするにあたり、サーバ１５０が格納されたプログラムのファイルを見つけ出してメモリ２２１にプログラムコードを格納するようにサーバ１５０を制御してよい。

段階４２０で、データベース管理部３１０は、視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理してよい。視覚的情報は、一例として、映像通話の映像に付加されるイメージやアニメーション、動画のような情報や、映像通話の映像を変調するために必要な情報を含んでよい。聴覚的情報は、一例として、映像通話中に挿入される効果音や、映像通話の音声信号を変調するために必要な情報を含んでよい。このような視覚的情報や聴覚的情報、または視聴覚的情報がそれぞれ１つのコンテンツとして格納されてよく、それぞれのコンテンツは、対応する効果識別子によって識別されてよい。言い換えれば、映像通話の映像をイメージフィルタリングして変調したり音声を変調したりするだけでなく、映像通話中にイメージ、アニメーション、動画、効果音のような多様な効果の挿入が可能となるようサービスするために、多様な効果によるコンテンツがデータベースに格納および維持されてよい。

段階４３０で、送受信制御部３２０は、複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび効果識別子を、ネットワークを介して受信するようにサーバ１５０を制御してよい。送信側電子機器は、一例として、上述した電子機器１（１１０）に対応してよい。ここで、送信側電子機器から受信された効果識別子は、送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含んでよい。例えば、送信側電子機器では、映像通話中に多様な効果のうちの１つを選択するためのインタフェースが画面に表示されてよい。このとき、送信側電子機器のユーザが少なくとも１つの効果を選択すると、選択された効果の効果識別子が、現在送信されなければならないデータパケットと共にサーバ１５０に送信されてよい。

段階４４０で、コンテンツ抽出部３３０は、受信された効果識別子に対応するコンテンツをデータベースから抽出してよい。上述したように、データベースには、多様なコンテンツが効果識別子を通じて識別されてよく、コンテンツ抽出部３３０は、受信された効果識別子をデータベースから検索および抽出してよい。

段階４５０で、送受信制御部３２０は、抽出されたコンテンツを、受信されたデータパケットと関連付けて、該データパケットと共に、複数の電子機器のうちの受信側電子機器にネットワークを介して送信してよい。受信側電子機器は、一例として、上述した電子機器２（１２０）に対応してよい。ここで、コンテンツは、受信側電子機器で、サーバ１５０から送信されたデータパケットに含まれる映像を画面に表示することと連係して再生されてよく、コンテンツの再生に応じてコンテンツが含む視覚的または聴覚的情報が受信側電子機器で出力されてよい。例えば、受信側電子機器の画面でコンテンツが含む視覚的イメージが映像通話のための映像上にオーバーラップされるように表示されてもよいし、受信側電子機器のスピーカからコンテンツが含む聴覚的イメージが出力されてもよい。

このように、本実施形態では、単純に映像を変調するイメージフィルタリングレベルではなく、映像通話中に送信側電子機器で提示される多様な効果のうちの１つをユーザが選択することによって該当の効果の識別子がサーバに伝達され、サーバで該当の識別子による効果（コンテンツ）を映像通話のデータパケットと共に受信側電子機器に送信することにより、多様な効果を映像通話中に双方向で送信および適用することができる。

図５は、本発明の一実施形態における、送信側電子機器で効果を選択する画面の例を示した図である。図５の第１画面５１０は、送信側電子機器の画面の一例であって、映像通話の映像が表示された様子を示している。このとき、第１画面５１０は、映像と共に効果を選択するためのインタフェース「Ｅｆｆｅｃｔ」５３０が表示された様子を示している。ユーザがインタフェース「Ｅｆｆｅｃｔ」５３０を選択（一例として、タッチスクリーンが備えられたスマートフォンでインタフェース「Ｅｆｆｅｃｔ」５３０が表示された領域をタッチ）した場合、図５の第２画面５２０のように多数の効果のうちの１つの効果を選択するためのインタフェース５４１〜５４４が画面に表示されてよい。ユーザがインタフェース「４」５４４を選択した場合、送信側電子機器は、選択されたインタフェース「４」５４４に対応する効果の効果識別子を、ネットワークを介してサーバ１５０に送信してよい。例えば、送信側電子機器は、映像通話のためのデータパケットと共に効果識別子をサーバ１５０に送信してよい。

サーバ１５０は、効果識別子を利用してデータベースを検索してよく、データベースから検索されて抽出されたコンテンツを、データパケットと関連付けて、該データパケットと共に受信側電子機器に送信してよい。

第２画面５２０において、インタフェース「・・・」５４５は、他の追加の効果を表示するためのインタフェースであってよい。ユーザがインタフェース「・・・」５４５を選択した場合、ユーザには、インタフェース５４１〜５４４に対応する効果の他に、異なる追加の効果を選択するための追加のユーザインタフェースが提供されてよい。

図６は、本発明の一実施形態における、受信側電子機器で効果が出力された画面の例を示した図である。図６の第３画面６１０は、受信側電子機器の画面の一例であって、映像通話の映像が表示された様子を示している。ここで、第４画面６２０は、サーバ１５０から映像通話のためのデータパケットと関連付けられて、該データパケットと共に送信されたコンテンツが、映像通話のための映像にオーバーレイ（ｏｖｅｒｌａｙ）されて表示された例を示している。

このように、本発明の実施形態によると、単純に映像通話のための既存の映像をイメージフィルタリングするレベルの効果ではなく、新たなコンテンツとしての効果を映像と共に提供することが可能となる。効果は、このような視覚的効果の他に聴覚的効果を含んでもよい。

一方、追加のコンテンツをさらに提供するということは、データ量が増加する場合にはデータ送信時間が追加で必要となる場合もある。したがって、本発明の実施形態では、ネットワークトラフィックに応じてコンテンツの送信タイプ、画面解像度、フレーム数、音声のデータ送信速度などのような効果（コンテンツ）のパラメータを変更してネットワーク状況に最適化した効果を送信することにより、効果の追加が映像通話に及ぼす影響を最小化することができる。

図７は、本発明の一実施形態における、サーバのプロセッサがさらに含むことのできる構成要素の例を示した図であり、図８は、本発明の一実施形態における、コンテンツのパラメータを変更する過程の例を示したフローチャートである。図７は、プロセッサ２２２が、モニタリング制御部７１０およびパラメータ調整部７２０をさらに備えた実施形態を示している。モニタリング制御部７１０とパラメータ調整部７２０は、図８の段階８１０および段階８３０をそれぞれ実行するためのプロセッサ２２２の機能的表現であってよい。

段階８１０で、モニタリング制御部７１０は、ネットワークトラフィックのモニタリングを制御してよい。例えば、モニタリング制御部７１０は、複数の電子機器間のデータパケットの送信中継によるネットワークトラフィックをモニタリングするようにサーバ１５０を制御してよい。このような段階８１０は、図３の段階４１０以後に実行されてもよいし、周期的に継続的に実行されてもよい。他の実施形態において、モニタリング制御部７１０は、図３の段階４３０以後に実行されてもよく、データパケットと効果識別子の受信に応答して現在のネットワークトラフィックを知るために実行されてもよい。

第１点線矢印８２０は、図３を参照しながら説明した段階４４０によってデータベースからコンテンツが抽出されたことを、段階４４０を実行するコンテンツ抽出部３３０がパラメータ調整部７２０に通知する過程を意味してよい。

段階８３０で、パラメータ調整部７２０は、ネットワークトラフィックを決定してパラメータを変更してよい。例えば、パラメータ調整部７２０は、コンテンツ抽出部３３０からコンテンツが抽出されたことを通知してきた場合に段階８３０を実行してもよい。このとき、パラメータ調整部７２０は、モニタリング制御部７１０でモニタリングされたネットワークトラフィックに基づき、抽出されたコンテンツのための現在のネットワークトラフィックを決定してよい。また、パラメータ調整部７２０は、決定されたネットワークトラフィックに基づき、抽出されたコンテンツのパラメータを変更してよい。

第２点線矢印８４０は、変更されたパラメータを、段階４５０を実行する送受信制御部３３０に伝達する過程であってよい。このとき、段階４５０で、送受信制御部３３０は、抽出されたコンテンツを、変更されたパラメータに基づいて受信側電子機器に送信してよい。

より具体的な実施形態として、パラメータ調整部７２０は、段階８３０で、パラメータとして、第１送信タイプと第２送信タイプとのうちの１つの送信タイプを、ネットワークトラフィックに応じて選択してよい。

ここで、第１送信タイプは、抽出されたコンテンツが含む視覚的情報をデータパケットに含まれる映像に合成して送信するための送信タイプであってよい。例えば、コンテンツによる効果がデータパケットの映像に合成された状態でサーバ１５０から受信側電子機器に伝達される送信タイプが、第１送信タイプであってよい。第２送信タイプは、視覚的情報をデータパケットに含まれる映像とは別に送信し、データパケットに含まれる映像上にオーバーレイするための送信タイプであってよい。例えば、第２送信タイプにおいて、サーバ１５０は、映像とコンテンツをそれぞれ受信側電子機器に送信してよい。この場合、受信側電子機器は、映像を表示し、表示された映像の上にコンテンツをオーバーレイ方式によって表示してよい。

一例として、サーバ１５０は、決定されたネットワークトラフィックが一定の閾値以下である場合には、第１送信タイプでデータパケットとコンテンツを送信してよく、決定されたネットワークトラフィックが一定の閾値を超える場合には、第２送信タイプでデータパケットとコンテンツを送信してよい。言い換えれば、ネットワークトラフィックが相対的に低い場合には、データパケットに含まれる映像にコンテンツの視覚的情報をサーバ１５０が直接合成して送信したとしても、効果の合成にかかる演算時間が映像通話のリアルタイム性に大きく影響を及ぼさないため、第１送信タイプでデータパケットとコンテンツを送信することによって映像と効果との同期性を高めることができる。また、ネットワークトラフィックが相対的に高い場合には、データパケットとコンテンツをそのまま受信側電子機器に送信し、受信側電子機器では合成でなくデータパケットの映像とコンテンツの視覚的情報をオーバーレイ方式によって重ねて出力することにより、映像通話のリアルタイム性に対する影響を減らすことができる。

他の実施形態において、パラメータ調整部７２０は、段階８３０で、コンテンツに対するパラメータとして、コンテンツが含む視覚的情報の画面解像度またはフレーム数をネットワークトラフィックに応じて決定してもよい。

一例として、サーバ１５０は、決定されたネットワークトラフィックが大きくなるほど、コンテンツが含む視覚的情報の画面解像度およびフレーム数のうちの少なくとも１つを相対的に低めることにより、映像に付加される効果がネットワークトラフィックに及ぼす影響を減らすことができる。これとは反対に、決定されたネットワークトラフィックが小さくなるほど、コンテンツが含む視覚的情報の画面解像度およびフレーム数のうちの少なくとも１つを相対的に高めてよい。ネットワークトラフィックによる視覚的情報の画面解像度とフレーム数が、予め設定されて決められたネットワークトラフィックに応じて自動的に調整されてもよい。

さらに他の実施形態として、パラメータ調整部７２０は、段階８３０で、コンテンツに対するパラメータとして、コンテンツが含む聴覚的情報のデータ送信速度をネットワークトラフィックに応じて決定してもよい。例えば、聴覚的情報は、映像通話の音声信号に対する音声変調信号または効果音を含むことがある。このとき、パラメータ調整部７２０は、音声信号に対して音声変調信号または効果音の適用時点を同期化させるためのキロビット毎秒（ｋｂｐｓ）を、決定されたネットワークトラフィックに応じて調整してよい。

それぞれの実施形態は、互いに結合されてもよい。例えば、パラメータ調整部７２０は、ネットワークトラフィックが高くなるにしたがい、送信タイプを第２送信タイプに決定すると共に、視覚的情報の画面解像度およびフレーム数を低め、聴覚的情報のデータ送信速度を低めることにより、効果の適用が映像通話のリアルタイム性に及ぼす影響を最小化することができる。これとは逆に、パラメータ調整部７２０は、ネットワークトラフィックが低くなるにしたがい、送信タイプを第１送信タイプに決定すると共に、視覚的情報の画面解像度とフレーム数を高め、聴覚的情報のデータ送信速度を高めることにより、さらに高いクオリティの効果を提供することができる。

再び図５を参照すると、第２画面５２０には、多様な効果のうちの一部のインタフェース５４１〜５４４が優先的に画面に表示されている様子が示されている。このように、全体効果のうちの一部の効果がユーザに推薦されてもよい。以下では、ユーザに適した効果を推薦する方法について説明する。

図９は、本発明の一実施形態における、サーバのプロセッサがさらに含むことのできる構成要素の他の例を示した図であり、図１０は、本発明の一実施形態における、効果を推薦する過程の例を示したフローチャートである。図９において、プロセッサ２２２は、効果決定部９１０および効果推薦制御部９２０をさらに備えた実施形態を示している。効果決定部９１０および効果推薦制御部９２０は、図１０の段階１０１０および段階１０２０をそれぞれ実行するためのプロセッサ２２２の機能的表現であってよい。図１０に示すように、段階１０１０および段階１０２０は、図４の段階４２０と段階４３０の間に実行されてよい。

段階１０１０で、効果決定部９１０は、データベースから少なくとも１つのコンテンツを決定してよい。ここで、効果として推薦するためのコンテンツを決定する方法については、以下でさらに詳しく説明する。

段階１０２０で、効果推薦制御部９２０は、決定された少なくとも１つのコンテンツに対する効果識別子を送信側電子機器に送信するようにサーバ１５０を制御してよい。この場合、送信側電子機器では、サーバ１５０から受信した効果識別子に対応するコンテンツ（効果）をユーザに勧めてよい。例えば、図５の例示のように、多様な効果のうち、サーバ１５０から受信した効果識別子に対応する効果が優先的にユーザに表示されるようにしてもよい。

ユーザに推薦するための効果は、多様な方式によって決定されてよい。

一実施形態として、効果決定部９１０は、段階１０１０で、データパケットが含む音声のフォルマント（ｆｏｒｍａｎｔ）、音色ピッチ（ｐｉｔｃｈ）、および音声強度（ｉｎｔｅｎｓｉｔｙ）のうちの少なくとも１つを分析して性別および感情状態のうちの少なくとも１つの情報を決定してよい。例えば、人間の音声は、性別、声帯の長さ、
声帯の解剖学的構造などのような多様な特性によって周波数分布が異なるようになる。例えば、音声のスペクトルを分析してみると、男性の場合は低帯域（４ｋＨｚ）以下に多く分布するが、女性の場合は低帯域だけではなく高帯域にも多くの分布が見られる。さらに、言語の発声特性によってもスペクトルが異なるように分布する。効果決定部９１０は、このような音声を分析してユーザの性別や感情状態を分析および決定してよい。ここで、効果決定部９１０は、このように決定された情報に基づき、ユーザの性別や感情状態に適したコンテンツをデータベースから決定してよい。

他の実施形態において、データベース管理部３１０は、段階４２０で、データベースで管理されるコンテンツが音声通話のユーザによって選択される時間帯および位置に関する情報をデータベースに蓄積してもよい。このとき、効果決定部９１０は、段階１０１０で、送信側電子機器の位置および映像通話の時間帯のうちの少なくとも１つに基づき、データベースから少なくとも１つのコンテンツを決定してよい。ここで、送信側電子機器の位置は、送信側電子機器が備えるＧＰＳモジュールなどによって測定された送信側電子機器の現在位置を含んでよく、映像通話の時間帯は、現在映像通話が行われている時間に関する情報を含んでよい。

さらに他の実施形態では、さらに多様な情報が効果の推薦のために活用されてもよい。例えば、送受信制御部３２０は、段階１０１０以前に、送信側電子機器が備えるセンサから測定されたユーザ身体情報（一例として、心拍数）や、送信側電子機器にインストールされた対話アプリケーションに設定された状態情報、または前記対話アプリケーションに格納された対話ログを送信側電子機器から受信してもよい。このとき、効果決定部９１０は、段階１０１０で、受信した情報を利用してデータベースから少なくとも１つのコンテンツを決定してよい。対話アプリケーションは、映像通話のために送信側電子機器にインストールされたアプリケーションと同じアプリケーションであってもよいし、別の異なるアプリケーションであってもよい。このような対話アプリケーションの状態情報は、ユーザが対話アプリケーションにユーザの状態と関連して設定した情報であってよい。また、対話アプリケーションに格納された対話ログは、ユーザが対話アプリケーションを通じて他のユーザとチャットを行った対話の記録であってよい。このような心拍数や状態情報、対話ログなどは、ユーザの感情状態などを決定するために利用されてよく、決定された感情状態によってコンテンツが決定されてよい。

また、ユーザの顔の特徴情報がコンテンツを決定するために利用されてもよい。効果決定部９１０は、映像通話の以前の映像からユーザの顔の表情などを分析し、分析結果に基づいてユーザの感情状態を決定してよく、決定された感情状態によってコンテンツを決定してよい。

このように、サーバ１５０は、多様な情報を追加で活用してユーザに適した効果を勧めることができる。

図１１は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図であり、図１２は、本発明の一実施形態における、電子機器が実行することのできる映像通話方法の例を示したフローチャートである。

図１１に示すように、電子機器１（１１０）は、上述した送信側電子機器に対応してよく、電子機器１（１１０）のプロセッサ２１２は、構成要素として、選択インタフェース表示制御部１１１０、効果識別子認識部１１２０、および送受信制御部１１３０を備えてよい。このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図１２の映像通話方法が含む段階１２１０〜１２４０を実行するように電子機器１（１１０）を制御してよい。このとき、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードによる命令を実行するように実現されてよい。ここで、プロセッサ２１２の構成要素は、プロセッサ２１２によって実行される互いに異なる機能の表現であってよい。例えば、プロセッサ２１２が上述した命令にしたがって選択インタフェースを画面に表示するために動作する機能的表現として選択インタフェース表示制御部１１１０が使用されてよい。

段階１２１０で、プロセッサ２１２は、映像通話方法のためのアプリケーションのファイルに格納されたプログラムコードをメモリ２１１にロードしてよい。例えば、アプリケーションは、映像通話サービスの提供を受けるために電子機器１（１１０）にインストールされたプログラムであってよい。電子機器１（１１０）にインストールされたアプリケーションが実行される場合、プロセッサ２１２は、アプリケーションのファイルからプログラムコードをメモリ２１１にロードしてよい。

ここで、プロセッサ２１２およびプロセッサ２１２が備える選択インタフェース表示制御部１１１０、効果識別子認識部１１２０、および送受信制御部１１３０それぞれは、メモリ２１１にロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階１２２０〜１２４０を実行するためのプロセッサ２１２の互いに異なる機能的表現であってよい。段階１２２０〜１２４０の実行のために、プロセッサ２１２およびプロセッサ２１２の構成要素は、電子機器１（１１０）を制御してよい。例えば、プロセッサ２１２は、電子機器１（１１０）が備える通信モジュール２１３を制御してサーバ１５０や他の電子機器のうちの少なくとも１つ（一例として、電子機器２（１２０））と通信するように電子機器１（１１０）を制御してよい。他の例として、プロセッサ２１２は、プログラムコードをメモリ２１１にロードするにあたり、電子機器１（１１０）が格納されているアプリケーションのファイルを見つけ出してメモリ２１１にプログラムコードを格納するように電子機器１（１１０）を制御してよい。

段階１２２０で、選択インタフェース表示制御部１１１０は、映像通話のための映像と共に、効果の選択のための選択インタフェースを画面に表示するように電子機器１（１１０）を制御してよい。選択インタフェースは、多様な効果に関する情報を画面に表示し、これの選択を受けるためのインタフェースであってよい。図５では、多様な効果それぞれをアイコンの形式で表示した例を示している。上述したように、多様な効果のうち、選択インタフェースによって優先的に画面に表示される効果は、サーバ１５０で多様な方式に基づいて選択されて推薦された効果であってよい。

段階１２３０で、効果識別子認識部１１２０は、選択インタフェースから選択された効果の効果識別子を認識してよい。図５の例示では、ユーザが表示されたインタフェース５４１〜５４４のうちの１つが表示された領域をタッチして効果を選択する実施形態について説明した。それぞれの効果には、効果識別子が対応付けられてよく、効果識別子認識部１１２０は、ユーザの入力によって選択された効果に対応する効果識別子を認識してよい。

段階１２４０で、送受信制御部１１３０は、映像通話のためのデータパケットと共に、認識された効果識別子を、ネットワークを介してサーバ１５０に送信するように電子機器１（１１０）を制御してよい。映像通話のためのデータパケットは、継続的にサーバ１５０に送信されてよい。このとき、ユーザの入力によって効果が選択されると、送受信制御部１１３０は、選択された効果に対応する効果識別子を、ユーザの入力と関連した映像が含まれるデータパケットと共にサーバ１５０に送信してよい。

このように、本発明の実施形態によると、映像通話中に送信側電子機器で提示される多様な効果のうちの１つをユーザが選択することによって該当の効果の識別子がサーバに伝達され、サーバで該当の識別子による効果（コンテンツ）を映像通話のデータパケットと共に受信側電子機器に送信することにより、多様な効果を映像通話中に双方向で送信および適用することができる。また、送受信中のパケットの量のようなネットワークトラフィックに応じて送信タイプ、画面解像度、フレーム数、音声のデータ送信速度などのような効果（コンテンツ）のパラメータを変更してネットワーク状況に最適化した効果を送信することにより、効果の追加が映像通話に及ぼす影響を最小化することができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）、コンピュータ格納媒体または装置、または伝送される信号波に永久的または一時的に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された態様で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてもよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同じである。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能である。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

１１０、１２０、１３０、１４０：電子機器
１５０、１６０：サーバ
１７０：ネットワーク

Claims (14)

1. コンピュータによって実現されるサーバの映像通話システムであって、
   前記コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
   を含み、
   前記少なくとも１つのプロセッサは、
   視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理するデータベース管理部、
   複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび前記効果識別子を、ネットワークを介して受信するように前記サーバを制御する受信制御部であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、受信制御部、
   前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出するコンテンツ抽出部、
   前記の抽出されたコンテンツと、前記の受信されたデータパケットを前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信するように前記サーバを制御する送信制御部であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと共に再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、送信制御部、
   前記データパケットが含む音声のフォルマント、音色ピッチ、および音声強度のうちの少なくとも１つを分析して性別および感情状態のうちの少なくとも１つの情報を決定し、前記の決定された情報に基づいて、前記データベースで少なくとも１つのコンテンツを決定する効果決定部、および
   映像通話のための効果を推薦するために、前記の決定された少なくとも１つのコンテンツに対する前記効果識別子を前記送信側電子機器に送信するように前記サーバを制御する効果推薦制御部
   を備える、映像通話システム。
2. コンピュータによって実現されるサーバの映像通話システムであって、
   前記コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
   を含み、
   前記少なくとも１つのプロセッサは、
   視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理するデータベース管理部であって、前記データベースで管理されるコンテンツが音声通話のユーザによって選択される時間帯および位置に関する情報を前記データベースに蓄積する、データベース管理部、
   複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび前記効果識別子を、ネットワークを介して受信するように前記サーバを制御する受信制御部であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、受信制御部、
   前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出するコンテンツ抽出部、
   前記の抽出されたコンテンツと、前記の受信されたデータパケットを前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信するように前記サーバを制御する送信制御部であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと共に再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、送信制御部、
   前記送信側電子機器の位置および映像通話の時間帯のうちの少なくとも１つに基づいて、前記データベースから少なくとも１つのコンテンツを決定する効果決定部、および
   映像通話のための効果を推薦するために、前記の決定された少なくとも１つのコンテンツに対する前記効果識別子を前記送信側電子機器に送信するように前記サーバを制御する効果推薦制御部
   を備える、映像通話システム。
3. コンピュータによって実現されるサーバの映像通話システムであって、
   前記コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
   を含み、
   前記少なくとも１つのプロセッサは、
   視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理するデータベース管理部、
   複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび前記効果識別子を、ネットワークを介して受信するように前記サーバを制御する受信制御部であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、受信制御部、
   前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出するコンテンツ抽出部、
   前記の抽出されたコンテンツと、前記の受信されたデータパケットを前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信するように前記サーバを制御する送信制御部であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと共に再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、送信制御部、
   前記送信側電子機器が備えるセンサから測定されて送信されるユーザ身体情報、前記送信側電子機器にインストールされた対話アプリケーションに設定された状態情報、前記対話アプリケーションに格納された対話ログ、および前記データパケットが含む映像を分析して得られるユーザの顔特徴情報のうちの少なくとも１つを利用して前記データベースから少なくとも１つのコンテンツを決定する効果決定部、および
   映像通話のための効果を推薦するために、前記の決定された少なくとも１つのコンテンツに対する前記効果識別子を前記送信側電子機器に送信するように前記サーバを制御する効果推薦制御部
   を備える、映像通話システム。
4. 前記少なくとも１つのプロセッサは、
   前記複数の電子機器間のデータパケットの送信中継によるネットワークトラフィックをモニタリングするように前記サーバを制御するモニタリング制御部、および
   前記の抽出されたコンテンツに対するパラメータを、前記ネットワークトラフィックに基づいて変更するパラメータ調整部
   をさらに備え、
   前記送信制御部は、
   前記の抽出されたコンテンツを、前記の変更されたパラメータに基づいて前記受信側電子機器に送信する、請求項１乃至３のいずれか１項に記載の映像通話システム。
5. 前記パラメータ調整部は、
   前記の抽出されたコンテンツが含む視覚的情報を、前記データパケットに含まれる映像に合成して送信するための第１送信タイプと、前記視覚的情報を、前記データパケットに含まれる映像とは別に送信し、前記データパケットに含まれる映像の上にオーバーレイするための第２送信タイプとのうちの１つの送信タイプを、前記ネットワークトラフィックに応じて選択し、
   前記送信制御部は、
   前記第１送信タイプが選択された場合、前記データパケットに含まれる映像に前記視覚的情報を合成して前記受信側電子機器に送信するように前記サーバを制御し、前記第２送信タイプが選択された場合、前記データパケットと共に前記視覚的情報を含むコンテンツを前記受信側電子機器に送信するように前記サーバを制御する、請求項４に記載の映像通話システム。
6. 前記パラメータ調整部は、
   前記の抽出されたコンテンツが含む視覚的情報の画面解像度またはフレーム数を、前記ネットワークトラフィックに応じて決定し、
   前記送信制御部は、
   前記の決定された画面解像度またはフレーム数に応じて、前記の抽出されたコンテンツを変更して前記受信側電子機器に送信するように前記サーバを制御する、請求項４に記載の映像通話システム。
7. 前記パラメータ調整部は、
   前記の抽出されたコンテンツが含む聴覚的情報のデータ送信速度を、前記ネットワークトラフィックに応じて決定し、
   前記送信制御部は、
   前記データパケットが含む音声信号に対する前記聴覚的情報の適用時点を同期化させるために、前記の決定されたデータ送信速度で前記の抽出されたコンテンツを前記受信側電子機器に送信するように前記サーバを制御する、請求項４に記載の映像通話システム。
8. コンピュータによって実現されるサーバにより実行される、複数の電子機器間の映像通話のための映像通話方法であって、
   前記サーバが、視覚的または聴覚的情報を含むコンテンツを効果識別子と対応付けてデータベースに格納および管理する段階、
   前記サーバが、前記複数の電子機器のうちの送信側電子機器から、映像通話のためのデータパケットおよび前記効果識別子を、ネットワークを介して受信する段階であって、前記効果識別子は、前記送信側電子機器の画面で映像通話のための映像と共に表示される選択インタフェースから選択された効果の識別子を含む、段階
   前記サーバが、前記の受信された効果識別子に対応するコンテンツを前記データベースから抽出する段階、
   前記サーバが、前記の抽出されたコンテンツと、前記の受信されたデータパケットを前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信する段階であって、前記コンテンツは、前記受信側電子機器で、前記の送信されたデータパケットに含まれる映像を画面に表示することと共に再生され、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報が前記受信側電子機器で出力される、段階、および
   前記サーバが、前記電子機器から送信された前記データパケットが含む音声および／または映像、前記電子機器の位置情報、映像通話が行われる時間帯、前記電子機器が備えるセンサから測定されて前記サーバに送信されたユーザ身体情報、前記電子機器にインストールされた対話アプリケーションと関連して設定された状態情報、前記対話アプリケーションと関連して格納された対話ログのうちの少なくとも１つを分析して前記データベースから少なくとも１つのコンテンツの前記効果識別子を選択する段階、
   を含み、
   前記選択インタフェースは、前記サーバが選択した前記効果識別子に対応する効果のうちの１つを選択するように誘導するためのインタフェースを含む、映像通話方法。
9. 前記複数の電子機器間のデータパケットの送信中継によるネットワークトラフィックをモニタリングする段階、および
   前記の抽出されたコンテンツに対するパラメータを、前記ネットワークトラフィックに基づいて変更する段階
   をさらに含み、
   前記送信する段階は、
   前記の抽出されたコンテンツを、前記の変更されたパラメータに基づいて前記受信側電子機器に送信する、請求項８に記載の映像通話方法。
10. 前記パラメータを変更する段階は、
    前記の抽出されたコンテンツが含む視覚的情報を、前記データパケットに含まれる映像に合成して送信するための第１送信タイプと、前記視覚的情報を、前記データパケットに含まれる映像とは別に送信し、前記データパケットに含まれる映像の上にオーバーレイするための第２送信タイプとのうちの１つの送信タイプを、前記ネットワークトラフィックに応じて選択し、
    前記送信する段階は、
    前記第１送信タイプが選択された場合、前記データパケットに含まれる映像に前記視覚的情報を合成して前記受信側電子機器に送信し、前記第２送信タイプが選択された場合、前記データパケットと共に前記視覚的情報を含むコンテンツを前記受信側電子機器に送信する、請求項９に記載の映像通話方法。
11. 前記パラメータを変更する段階は、
    前記の抽出されたコンテンツが含む視覚的情報の画面解像度またはフレーム数を、前記ネットワークトラフィックに応じて決定し、
    前記送信する段階は、
    前記の決定された画面解像度またはフレーム数に応じて、前記の抽出されたコンテンツを変更して前記受信側電子機器に送信する、請求項９に記載の映像通話方法。
12. 前記パラメータを変更する段階は、
    前記の抽出されたコンテンツが含む聴覚的情報のデータ送信速度を、前記ネットワークトラフィックに応じて決定し、
    前記送信する段階は、
    前記データパケットが含む音声信号に対する前記聴覚的情報の適用時点を同期化させるために、前記の決定されたデータ送信速度で前記の抽出されたコンテンツを前記受信側電子機器に送信する、請求項９に記載の映像通話方法。
13. コンピュータによって実現される電子機器に、複数の電子機器間の映像通話のための映像通話方法を実行させるためのコンピュータプログラムであって、
    前記映像通話方法は、
    前記電子機器が、映像通話のための映像と共に効果の選択のための選択インタフェースを前記電子機器の画面に表示する段階、
    前記電子機器が、前記選択インタフェースから選択された効果の効果識別子を認識する段階、および
    前記電子機器が、映像通話のためのデータパケットと共に前記の認識された効果識別子を、ネットワークを介してサーバに送信する段階
    を含み、
    前記サーバは、視覚的または聴覚的情報を含むコンテンツを前記効果識別子と対応付けてデータベースに格納および管理し、前記電子機器から送信された前記効果識別子に対応するコンテンツを前記データベースから抽出し、前記の抽出されたコンテンツと、前記電子機器から送信されたデータパケットを前記複数の電子機器のうちの受信側電子機器にネットワークを介して送信し、
    前記サーバはさらに、前記電子機器から送信された前記データパケットが含む音声および／または映像、前記電子機器の位置情報、映像通話が行われる時間帯、前記電子機器が備えるセンサから測定されて前記サーバに送信されたユーザ身体情報、前記電子機器にインストールされた対話アプリケーションと関連して設定された状態情報、前記対話アプリケーションと関連して格納された対話ログのうちの少なくとも１つを分析して前記データベースから少なくとも１つのコンテンツの前記効果識別子を選択し、
    前記受信側電子機器は、前記サーバから送信されたデータパケットに含まれる映像を画面に表示することと共に前記コンテンツを再生し、前記コンテンツの再生に応じて前記コンテンツが含む視覚的または聴覚的情報を出力し、
    前記選択インタフェースは、前記サーバが選択した効果識別子に対応する効果のうちの１つを選択するように誘導するためのインタフェースを含む、コンピュータプログラム。
14. 前記サーバは、前記複数の電子機器間のデータパケットの送信中継によるネットワークトラフィックをモニタリングし、前記データベースから抽出されたコンテンツに対するパラメータを、前記ネットワークトラフィックに基づいて変更し、前記の抽出されたコンテンツを、前記の変更されたパラメータに基づいて前記受信側電子機器に送信する、請求項１３に記載のコンピュータプログラム。

Images