JP6510536B2 - インスタント通信において表現情報を処理する方法及び装置 - Google Patents

Description

（関連特許出願の相互参照）
本願は、全体として参照することにより本明細書に組み込まれる「インスタント通信において表現情報を処理する方法及び装置」と題する、2014年1月15日に出願された中国特許出願第201410018262.0号に対する外国優先権を主張する。

本開示はインスタント通信の分野に関し、より詳細にはインスタント通信中の表現情報処理方法及び表現情報処理装置に関する。

通信技術の連続的な開発に伴い、人はモバイル端末を通していつでも及びどこでも互いと通信し得る。本来、端末装置を通して実行される通信モードは、おもにショートメッセージ、マルチメディアメッセージ、及び電話を含むが、これらの通信モードはユーザーにとっては高価である。３Ｇ（第３世代）、ＷｉＦｉ（ワイヤレスフィデリティ）等の技術の促進、ネットワークフローコストの削減、及びインテリジェント携帯端末の拡大に伴い、（インスタント通信製品、またはインスタント通信機能付きのゲーム等の他の製品を含んだ）モバイル端末の通信製品を含む多数の製品が、モバイル端末通信の分野で開発されている。

ショートメッセージ及び電話等のかかる通信モードとは異なり、モバイル端末での通信製品は、ユーザーをバーチャルソーシャルネットワークとして編成することがあり、バーチャルソーシャルネットワークでは、ユーザーはテキスト／音声のメッセージ及び写真を送信する、または互いに多くのファイルを転送することがあり、情報は、相手側がオンラインである限り、リアルタイムで到達できる。この種のバーチャルソーシャルネットワークは、人々の間の通信を容易にし、さらに通信費用を削減する。

ユーザー間で情報を送信するための従来の通信製品の主要な搬送媒体は、ユーザーが自分の感情を表現するのを助けるために、特定の筋書きで簡略な表現ピクチャを備えることができるテキストである。表現ピクチャの使用は、対話プロセスをより面白くする。ただし、既存の技術では、各表現は、多くの場合、個人の感情の表現である。例えば、特定のユーザーＡが「見せびらかし（show off）」表現を送信するとき、相手は概して応答のみとして「軽蔑感（disdain）」表現を送信することがあり、表現は互いと無関係である。これは、ユーザーの感情の表現を大いに制限することがある。したがって、当業者によって解決される緊急の技術的な課題は、どのようにしてユーザーがそれぞれの感情を豊かに表現するのを助け、現実世界でのユーザー間の対面通信のシミュレーションの程度を強化するのかである。

本発明の概要は、発明を実施するための形態で以下にさらに説明される簡略化された形式で概念の選択を紹介するために提供される。本発明の概要は、主張されている主題の全ての重要な特徴または基本的な特徴を識別することを目的としておらず、主張されている主題の範囲を決定する上での助けとして単独で使用されることも目的としていない。例えば、用語「技術」は、上記文脈により許されるように、及び本開示の全体を通してデバイス（複数の場合がある）、システム（複数の場合がある）、方法（複数の場合がある）、及び／またはコンピュータ可読命令を参照することがある。

本開示は、インスタント通信ツールがそれによって現実世界でのユーザーのシミュレーションの程度を改善できるインスタント通信中の表現情報の処理の方法及び装置を提供する。

本開示は、次に示す解決策を提供する。

インスタント通信プロセスで送信側クライアントの表現情報を処理する方法であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するために使用されるそれぞれの操作活動情報が事前に第１の表現データベース内にセットアップされ、
インスタント通信会話ウィンドウ内の表現ピクチャを提供することと、
表現ピクチャに関してユーザーから送信されるユーザー操作活動と関連付けられた情報を獲得することと、
表現ピクチャ及びユーザー操作活動の獲得された情報に基づいて第１の表現データベースを検索し、ユーザー操作活動中の表現ピクチャに対応することが判明している第１の応答メッセージを生成することと、
受信側クライアントを手助けして、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するために、受信側ユーザーに対応する受信側クライアントに表現ピクチャ及びユーザー操作活動の取得された情報に関係する発見されたメッセージを送信すること、
を含む、方法。

インスタント通信プロセスで受信側クライアントの表現情報を処理する方法であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報が、事前に第２の表現データベースでセットアップされ、
インスタント通信会話ウィンドウ内で表現ピクチャを提供することと、
相手クライアントからの表現ピクチャに対して相手ユーザーが操作したことを示すメッセージを獲得することであって、表現ピクチャ及びメッセージがユーザー操作活動の情報に関係する情報を含む、メッセージを獲得することと、
表現ピクチャに関係する情報及びユーザー操作活動情報に基づいて第２の表現データベースを検索し、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成すること、
を含む、方法。

インスタント通信中に送信側クライアントの表現情報を処理する方法であって、第３の表現データベースが事前にサーバ側でセットアップされ、第３の表現データベースが応答メッセージを始めるために、表現ピクチャ、応答メッセージ、及び応答メッセージを記憶し、
インスタント通信会話ウィンドウで表現ピクチャを提供することと、
表現ピクチャに関して、ユーザーから送信されたユーザー操作活動の情報を取得することと、
サーバにユーザー操作活動の手に入れた情報、表現ピクチャに関係する情報、ユーザーの識別情報、及び受信側ユーザーの識別情報をアップロードして、サーバがユーザー操作活動の取得された情報に基づいて第３の表現データベースを検索し、第１の応答メッセージ及びユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成し、ユーザーに対応する送信側クライアントに第１の応答メッセージを返し、受信側ユーザーに対応する受信側クライアントに第２の応答メッセージを送信することをサーバが促進すること、
を含む、方法。

インスタント通信プロセスで表現情報を処理する方法であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための条件の間の対応する関係性が事前に第４の表現データベースでセットアップされ、
インスタント通信会話ウィンドウで表現ピクチャを提供することと、
表現ピクチャが第４の表現データベースに存在する場合、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかを調べることと、
存在する場合、表現ピクチャに対応する応答メッセージを生成すること、
を含む、方法。

インスタント通信プロセスでの表現情報処理方法であって、テキスト通信コンテンツ間の関連付け関係性が事前に第５の表現データベースでセットアップされ、表現ピクチャが相互に関連付けられたテキスト通信コンテンツに対応し、
インスタント通信会話ウィンドウでテキスト通信コンテンツを提供することと、
第５の表現データベースを調べることによって、テキスト通信コンテンツと関連付けられた他のテキスト通信コンテンツがインスタント通信会話ウィンドウに存在するかどうかを判断することと、
存在する場合、インスタント通信会話ウィンドウで対応する表現ピクチャを提供すること、
を含む、方法。

インスタント通信プロセスで送信側クライアントの表現情報を処理する装置であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報が事前に第１の表現データベースでセットアップされ、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第１の表現ピクチャ提供ユニットと、
表現ピクチャに関して、ユーザーから送信されたユーザー操作活動の情報を入手するために使用される第１の操作活動情報取得ユニットと、
表現ピクチャ及びユーザー操作活動の入手された情報に基づいて第１の表現データベースを検索し、ユーザー操作活動中の表現ピクチャに対応することが判明する第１の応答メッセージを生成するために使用される第１の取出しユニットと、
受信側ユーザーに対応する受信側クライアントに、表現ピクチャに関係する発見されたメッセージ及びユーザー操作活動の取得された情報を送信して、受信側クライアントが、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するのを容易にするために使用される第１の送信ユニットと、
を含む、装置。

インスタント通信プロセスで受信側クライアントの表現情報を処理する装置であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報が事前に第２の表現データベースにセットアップされ、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第２の表現ピクチャ提供ユニットと、
相手ユーザーが相手クライアントからの表現ピクチャに対して操作したことを示すメッセージを入手するために使用される第２の操作活動情報取得ユニットであって、メッセージが表現ピクチャに関係する情報及びユーザー操作活動の情報を含む、第２の操作活動情報取得ユニットと、
表現ピクチャに関係する情報及びユーザー操作活動情報に基づいて第２の表現データベースを検索し、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するために使用される第２の取出しユニットと
を含む、装置。

インスタント通信プロセスでの送信側クライアントの表現情報処理装置であって、第３の表現データベースが事前にサーバ側でセットアップされ、第３の表現データベースが、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための操作活動情報を記憶し、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第３の表現ピクチャ提供ユニットと、
表現ピクチャに関してユーザーから送信されるユーザー操作活動の情報を入手するために使用される第３の操作活動情報取得ユニットと、
サーバにユーザー操作活動の取得された情報、表現ピクチャに関係する情報、ユーザーの識別情報、及び受信側ユーザーの識別情報をアップロードして、サーバが、ユーザー操作活動の取得された情報に基づいて第３の表現データベースを検索し、第１の応答メッセージ及びユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成し、ユーザーに対応する送信側クライアントに第１の応答メッセージを返し、受信側ユーザーに対応する受信側クライアントに第２の応答メッセージを送信するため、サーバを促進するのに使用される情報アップロードユニットと、
を含む、装置。

インスタント通信プロセスでの表現情報処理装置であって、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための条件の間の対応する関係性が事前に第４の表現データベースにセットアップされ、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第４の表現ピクチャ提供ユニットと、
表現ピクチャが第４の表現データベースに存在する場合、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかを調べるために使用される検出ユニットと、
肯定の場合、表現ピクチャに対応する応答メッセージを生成するために使用される応答メッセージ生成ユニットと、
を含む、装置。

インスタント通信プロセスでの表現情報処理装置であって、テキスト通信コンテンツ間の関連付け関係性が事前に第５の表現データベースでセットアップされ、表現ピクチャが相互に関連付けられたテキスト通信コンテンツに対応し、
インスタント通信会話ウィンドウでテキスト通信コンテンツを提供するために使用されるテキスト通信コンテンツ提供ユニットと、
第５の表現データベースを調べることによって、テキスト通信コンテンツと関連付けられる他のテキスト通信コンテンツがインスタント通信会話ウィンドウに存在するかどうかを判断するために使用される第３の取出しユニットと、
肯定の場合、インスタント通信会話ウィンドウで対応する表現ピクチャを提供するために使用される第５の表現ピクチャ提供ユニットと、
を含む、装置。

本開示の実施形態に従って、本開示は、以下の技術的な効果を開示する。本開示の実施形態を通して、表現ピクチャに対する操作を実行するとき、ユーザーは対応する応答メッセージを決定し、再生してよく、したがって、該応答メッセージはユーザーによって送信される表現ピクチャがよりうまくユーザーの感情を表現し、このようにして現実世界のユーザーに関してインスタント通信ツールのシミュレーションの程度を改善し得るようにユーザーの操作に応える表現ピクチャに同等であってよい。言うまでもなく、本開示を実装するためのいかなる製品も必ずしも同時に全ての上記利点を達成するわけではない。

実施形態によって使用される図面は、本開示の実施形態または既存の技術の技術的な解決策をより明確にするために、本明細書で簡略に説明される。説明される図面は本開示のいくつかの実施形態にすぎず、当業者は、創造的な取組みに貢献しないことを前提として、これらの図面に基づいて他の図面を取得してよい。
本開示の実施形態に係る第１の方法のフローチャートである。 本開示の実施形態に係る第１のインタフェース図である。 本開示の実施形態に係る第２のインタフェース図である。 本開示の実施形態に係る第２の方法のフローチャートである。 本開示の実施形態に係る第３の方法のフローチャートである。 本開示の実施形態に係る第４の方法のフローチャートである。 本開示の実施形態による第３のインタフェース図である。 本開示の実施形態に係る第４のインタフェース図である。 本開示の実施形態に係る第５のインタフェース図である。 本開示の実施形態に係る第６のインタフェース図である。 本願の実施形態に係る第５の方法のフローチャートである。 本開示の実施形態に係る第１の装置の概略図である。 本開示の実施形態に係る第２の装置の概略図である。 本開示の実施形態に係る第３の装置の概略図である。 本開示の実施形態に係る第４の装置の概略図である。 本開示の実施形態に係る第５の装置の概略図である。 図１０から図１５により詳細に説明される装置の概略図である。

本開示の技術方式における明確且つ完全な説明は、本開示の実施形態の添付図面と併せて行われる。説明される実施形態は、本開示の実施形態の一部にすぎず、全てではない。本開示の実施形態に基づき、当業者により取得される全ての他の実施形態は本開示の保護の範囲内にある。

本開示の実施形態では、ユーザーがインスタント通信ツールを使用するときによりうまく相手側のユーザーと対話し、インスタント通信ツールを通してより便利に自分の感情を表現できるようにするために、特定の特別な表現ピクチャがインスタント通信ツールの表現データベースに加えられてよい。ユーザーが表現ピクチャを送信した後、表現ピクチャと関連付けられたユーザー操作に関するフィードバックが、動画または音楽を再生するために相応して行われてよい。例えば、ユーザーＡがユーザーＢに対し『心が折れ、泣いている』表現を送信した後、ユーザーＢはタッチスクリーンで操作（例えば、スライド）を実行し、それに応じて表現ピクチャ上に『手』が表示され、まさに現実世界の他の当事者をなだめるように「優しくなでる」アクションを実行してよい。これは、インスタント通信ツールに現実世界での人間対人間の対話をシミュレーションするより高度のシミュレーションをもたせ、ユーザーの感情の表現を容易にさせる。

本開示の実施形態では、表現の実行のために２つの特有のモード、一方はユーザーと表現との間、つまりユーザーが表現に対して（スライドさせる、クリックする等の）操作を実施し、表現ピクチャが対応するフィードバックを実行するモード、及び表現と表現／テキストの間の他方のモードがあることに留意する必要がある。例えば、ユーザーが表現ピクチャを送信後、相手側のユーザーが別の表現ピクチャで応答することがある。２つの表現ピクチャが互いに相互関連している場合、別の応答がなされることがある。「ユーザー及び表現」の特有の実装モードは、以下に詳細に紹介される。

第１の実施形態
第１の実施形態では、送信側クライアントの観点が最初に紹介される。いわゆる送信側クライアントは、ユーザー操作活動を実行するユーザーが位置するクライアントを指す。相応して、会話の相手側は受信側クライアントと呼ばれる。送信側関係者及び受信側関係者がインスタント通信プロセスで固定されていないことが留意されるべきである。２つの会話関係者は通信プロセスにおいて送信側関係者または受信側関係者であることがあり、それぞれの役割は絶えず交換されてよい。さらに、クライアント側プログラムの場合、ユーザーがクライアント側プログラムをインストールするとき、同じクライアント側プログラムが送信機能及び受信機能を実装してよい。したがって、本開示の実施形態では、送信側関係者及び受信側関係者の概念は、対話プロセスを明確に説明するために情報処理エンティティの観点から区別される。

図１を参照すると、本開示の第１の実施形態に係るインスタント通信プロセスにおける送信側クライアントの表現情報処理方法は以下を含むことがある。
ブロックＳ１０１は、インスタント通信会話ウィンドウで表現ピクチャを提供する。

インスタント通信会話ウィンドウは、概して２つの部分を含む。一方の部分は、入力されたテキスト及び／または選択された表現ピクチャをユーザー等から受信するために使用される情報編集領域である。他方の部分は、相手側のユーザーから送信されるテキスト（複数の場合がある）及び表現ピクチャ（複数の場合がある）だけではなく、ユーザーによって送信されるテキスト（複数の場合がある）及び表現ピクチャ（複数の場合がある）を表示するために使用される情報表示領域である。ブロックＳ１０１で提供されるいわゆる表現ピクチャは、ユーザーによって選択され、送信される表現ピクチャ、または相手側のユーザーから受信される表現ピクチャのどちらかであってよい。すなわち、ユーザーは、相手側のユーザーから送信される表現ピクチャ、自分自身によって送信される表現ピクチャ、または自分自身によって送信されるべきである表現ピクチャを操作してよい。

表現ピクチャがユーザー自身によって送信される場合、ユーザーによって選択される表現ピクチャはインスタント通信会話ウィンドウ内で直接的に提供される。さらに、表現ピクチャに関係する情報は、相手側のユーザーのクライアントがそのインスタント通信会話ウィンドウで表現ピクチャを表示し得るように相手側のユーザーに送信されてよい。

表現ピクチャが相手側のユーザーから送信される場合、表現ピクチャは、表現ピクチャが提供されるときに表現ピクチャ内の異なる情報に基づいて異なって処理されることがある。例えば、相手側のユーザーのクライアントが表現ピクチャ自体を送信する場合、表現ピクチャは現在のインスタント通信会話ウィンドウに直接的に表示されてよい。相手側のユーザーのクライアントが、表現ピクチャに関係する（ＩＤ等の）識別情報を送信する場合、対応する表現ピクチャは最初に識別情報に従って第１の表現データベースから発見されてよく、発見された表現ピクチャは次いで現在のインスタント通信会話ウィンドウに表示されてよい。

ブロックＳ１０２は、表現ピクチャに関してユーザーから送信されるユーザー操作活動の情報を入手する。

このブロックで、ユーザー操作活動の入手された情報は、以下にそれぞれ説明される、端末装置でユーザーによって実行される多様な操作活動であってよい。端末装置がタッチスクリーンで構成される場合、ユーザーによって実行されるユーザー操作活動は、概してスライド操作またはクリック操作であってよく、対応する操作活動情報は、ユーザー操作がタッチスクリーンで受信された後に出力されたユーザー操作活動情報であってよい。スライドタイプの操作の場合、異なるユーザー操作活動情報が、関連付けられたスライド活動の異なる位置、方向、及び／または軌跡に従って生成されてよい。クリックタイプの操作の場合、異なるユーザー操作活動情報は、関連付けられたクリック活動の異なる位置及び／または回数に従って生成されてもよい。

端末装置が重力センサで構成される場合、ユーザーによって実行されるユーザー操作活動は（デバイスを振動させる等の）操作であってもよく、対応する操作活動情報は、ユーザー操作が重力センサによって受信された後に出力されるユーザー操作活動情報であってよい。振動タイプの操作の場合、異なるユーザー操作活動情報は、振動活動に関連付けられた異なる方向及び／または大きさに従って生成されてよい。

端末装置が赤外線センサで構成される場合、ユーザーが端末装置の近くにいると、端末に近いユーザーの顔または手の活動は赤外線センサによって検出されてよい。この場合、対応する操作活動情報は、ユーザー操作が赤外線センサによって感知された後に出力されるユーザー操作活動情報であってよい。

ユーザーによって表現ピクチャに対してなされるユーザー操作活動の情報が入手できる限り、本開示の実施形態がタッチスクリーン、重力センサ、及び赤外線センサに制限されないことが説明されるべきである。さらに、これらの異なるユーザー操作は、組み合わされたユーザー操作活動情報を生成するために互いと組み合わされてよい。例えば、ユーザーはスライドする、クリックする、振動させる、及び接近する等の操作活動の１つまたは任意の組合せを同時に実行してよく、入手されるユーザー操作活動情報は、クリックする＋スライドさせる、スライドさせる＋振動させる、接近する＋クリックする、及びスライドさせる＋クリックする＋振動させる等の組み合わされた操作活動情報であってよい。

ブロックＳ１０３は、表現ピクチャ及びユーザー操作活動の入手された情報に基づいて第１のデータベースを検索し、ユーザー操作活動中の表現ピクチャに対応する第１の応答メッセージを生成する。

第１の表現データベースはこのブロックで使用される必要がある。表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報の間の対応する関係性は第１の表現データベースでセットアップされる。この第１の表現データベースの操作活動情報は、ユーザーによって定義されてよい、またはシステムによって設定されてよい。さらに、第１の表現データベースの１つの表現ピクチャは１つまたは複数の応答メッセージに対応してよい。

応答メッセージを開始するための操作活動情報は、ユーザー操作活動の入手された情報との突合せのため、及び表現ピクチャに関係するユーザーのユーザー操作活動の入手された情報が応答メッセージを開始するための操作活動情報に一致するとき、ユーザー操作活動中の表現ピクチャに対応する第１の応答メッセージを生成するために特に使用される。本開示の実施形態では、ユーザー操作活動情報が変わることがあるので、一致条件は、ユーザーに対応するユーザー操作活動情報が、対話効果を改善するために応答メッセージを開始するための操作活動情報に類似する限り成立すると言われる。

特有の実装例では、第１の表現データベースに記録される操作活動情報は操作タイプ情報であってよい。さらに、同じ表現ピクチャは異なるタイプの操作に基づく同じまたは異なる応答メッセージに対応してよい。具体的には、応答メッセージを開始するための第１の表現データベースに記憶される操作活動情報は操作タイプの情報をさらに含んでよく、操作タイプは端末装置に対して実行される以下の操作、つまりスライド操作タイプ、クリック操作タイプ、振動操作タイプ、及び端末接近操作タイプの内の１つまたは組合せを含む。相応して、第１の表現データベースでセットアップされるように、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための操作活動情報の間の対応する関係性は、表１に示される通りである。

言い換えると、ユーザーがポートレートＡに対して操作を実行するとき、ユーザー操作活動の情報が入手されるときに操作タイプに特有の情報が入手されてよく、操作タイプに対応する応答メッセージは第１の表現データベースで上記表１に問い合わせを行うことによって決定されてよい。例えば、対応する応答メッセージは、ユーザー操作活動の現在入手されている情報に対応する操作タイプがスライド操作タイプである場合、ポートレートＡの動画Ｘ１であると判断され、対応する応答メッセージは、ユーザー操作活動の現在入手されている情報に対応する操作タイプがクリック操作タイプ等である場合、ポートレートＡの動画Ｘ２であると判断されてよい。

さらに、実際のアプリケーションでは、ユーザー操作タイプは、ユーザー操作とのよりよい突合せを実行するためにより細かい粒度で再分割されてよい。例えば、ユーザーがポートレートＡの表現ピクチャに対してスライド操作を実行する場合、対応する応答メッセージは、ユーザーが、異なる方向及び軌跡に沿って異なる位置で表現ピクチャＡに対してスライド操作を実施するときとは異なることがある。係る状況では、インスタント通信会話ウィンドウに提供される表現ピクチャがポートレートＡの表現ピクチャである場合、第１の表現データベースに設定される表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための操作活動情報の間の対応する関係性は、表２に示される通りである。

多くの異なるタイプの対応する関係性がセットアップされることがあるので、上述の対応する関係性は単に説明のための例としてだけ使用され、制限ではない。表１の対応する関係性から分かるように、ユーザーがポートレートＡの頭に対してスライド操作を実行するとき、第１の表現データベースを介して生成される応答メッセージは、スライドと連動した表現ピクチャの頭の移動である。ユーザーがポートレートＡの手に対してスライド操作を実行するとき、第１の表現データベースを介して生成される応答メッセージは、スライドと連動した表現ピクチャの手の移動である。または、ユーザーがポートレートＡの表現ピクチャで水平スライド、垂直スライド、または別の角度でのスライドを実行するとき、対応する応答メッセージは、例えば表現ピクチャを水平に、垂直に、または他の角度に沿って分割する動画等、様々であってよい。同様に、クリック操作と関連付けられたクリックの位置及び／または数に関係する情報が入手されてよく、異なる応答は相応して異なる特有の情報に対応する。例えば、特定の表現ピクチャは、表現ピクチャが一度クリックされると「笑顔」を作成し、表現ピクチャが２度クリックされると「満面の笑み」を作成する等である。

異なる操作タイプに基づく同一の表現ピクチャに対応する応答メッセージは、上記に紹介されたモードで操作タイプがどのように再分割されているのかに関わりなく、個別に記憶されてよいことに留意するべきである。例えば、同一の表現ピクチャは、スライド、クリック、振動、接近等の操作タイプに基づく異なる応答メッセージに対応する。同一の操作タイプに基づく（スライド操作での位置、方向、及び軌跡、クリック操作での位置及びクリックの数、振動操作での方向及び大きさ等）異なる属性に対応する同一の表現ピクチャが異なる応答メッセージに対応するためにさらに必要とされる場合、異なる属性及び属性の異なる組合せに対応する応答メッセージは、例えば表２に示されるように、それぞれ定義される必要がある。これは、表現データベースのサイズを非常に大きくさせ、このことは限られた記憶スペースを有するモバイル通信端末にとってよろしくない。さらに、ユーザー操作の一致程度は十分に高くないことがある。つまり、概していくつかの代表的な属性値に対応する応答メッセージが記憶されてよく、同一の操作タイプに基づく異なる属性には、近似値だけが他の属性値のために採用されることがある。例えば、ユーザーが表現ピクチャの頭の上部位置でスライド動作を実行すると、これは結局頭だけで実行される操作として識別されることがあり、その後に表示される動画効果は、頭が、ユーザーが実際に操作を実行する位置等の代わりに、頭の真中から分割されている。

上記の問題を解決するために、本開示の実施形態では、第１の表現データベースに記憶される操作活動情報での対応する操作タイプが、表１で大まかに説明されたタイプにさらに分割されてよい。しかしながら、それぞれの応答メッセージは操作タイプに対応する計算方法の情報も含むことがある。計算方法は、パラメータが特有の操作タイプに基づく特有の属性情報であることがある式で記憶されてよい。言い換えると、この実装例では、第１の表現データベースでセットアップされる表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための操作活動情報の間の対応する関係性は、表３に示される通りであることがある。

表３によって、ユーザー操作活動の情報が入手されるとき、ユーザーが表現ピクチャに対して実行する操作タイプが入手されることがあり、操作タイプに基づく操作属性値（スライド位置、方向、及び／または軌跡の情報を含んだスライド活動の属性情報、クリック位置及び／またはクリックの数の情報を含んだクリック活動の属性情報、並びに振動方向及び／または大きさの情報を含んだ端末装置を振動させる活動の属性情報）も入手されてよい。操作活動情報の入手に応えて、対応する応答メッセージでの計算方法は、入手された操作タイプに最初に基づいた第１のデータベースから取り出されてよい。次いで、操作タイプに基づいて取得される属性値（複数の場合がある）は、ユーザー操作活動情報に基づいて発見される表現ピクチャに対応する応答データを計算するために計算方法に入力される。応答データに基づき、ユーザー操作活動の情報に一致する第１の応答メッセージが生成される。言い換えると、この実装例では、異なる操作タイプに基づく同一表現ピクチャに対応する異なる計算方法が、第１の表現データベースだけで定義される必要がある。例えば、特定の表現ピクチャの場合、スライド操作タイプに基づく対応する動画は、表現ピクチャを「ナイフ」で分割することである。関連付けられた応答メッセージでの「ナイフ」のピクチャ及び対応する計算方法だけが、第１の表現データベースで定義される必要がある。最終的な応答メッセージでは、どの位置で及びどの方向に沿って表現ピクチャが明確に分割されるのかが、リアルタイムで入手されるユーザー操作の属性情報に基づき、及び計算方法に従って決定される。表現ピクチャは、次いでリアルタイムで決定される位置及び方向に従って２つの部分に分割される。第１の表現データベースで定義される「ナイフ」のピクチャは、分割された表現ピクチャと組み合わせされ、動画効果が生成し直され、これにより動画は対応する第１の応答メッセージとしてユーザーに再生されてよい。

例えば、ユーザーは水平に、垂直に、または別の角度で表現ピクチャを横切ってスライド操作を実行する。このスライド操作活動情報の活動情報は、対応する表現ピクチャと突き合される。例えば、対応する位置及び方向で表現ピクチャを分割するための対応する動画は、スライド位置及びスライド方向に従って計算される。同様に、クリック活動と関連付けられたクリックの位置及び／または数等に関係する情報が取得されてよく、表現ピクチャに対応する動画は対応する表現ピクチャと突き合される異なるユーザー操作活動情報に従って計算される。

本第１の実施形態では、ユーザーが、事前にユーザーのローカル端末装置に第１の表現データベースのデータの部分または全てをダウンロードしてよいことが説明されるべきである。

さらに、特有の実装の間、表現ピクチャが表示されるとヒントメッセージが表示されることがあり、ヒントメッセージが、ユーザーが表現ピクチャ及び操作方法の情報に対してユーザー操作活動を実施してよいことを示すために使用させることも説明されるべきである。例えば、図２を参照すると、相手側のユーザーが表現ピクチャを送信した後、ヒントメッセージは「スライドを試みる、または表現をたたきなさい」であってよい。このようにして、ユーザーは表現ピクチャに対して操作を実行することが可能であることを知っていてよい。ユーザーが表現ピクチャ領域でスライド操作またはクリック操作を実行した後、インスタント通信クライアントは、ユーザーによって表現ピクチャに提出されるユーザー操作活動の情報を取得し、決定してよい。

具体的には、対応する情報がユーザーに提供されると、応答メッセージが音声メッセージである場合、音声メッセージは直接的に再生されてよい。応答メッセージが、表示されるビデオ、動画、またはピクチャ等の情報である場合、表現ピクチャに関係する応答メッセージは、操作される表現ピクチャの位置にあるインスタント通信会話ウィンドウで再生されてよい。図３に示されるように、ユーザーが、図２に示される表現ピクチャが他のユーザーから送信された後に表現ピクチャに対してスライド操作を実行する場合、図３に示される効果が表示される。つまり、『手』の形状のピクチャが、図２に示される表現ピクチャの上方に表示され、手の形状のピクチャは連続的に左から右に移動し、優しくなでるアクションを示す。一方、特定のテキストメッセージが事前に操作にセットアップされてよい。このテキストメッセージは上述の第１の表現データベースでセットアップされてよい。言い換えると、表現ピクチャ、操作活動情報、第１の応答メッセージ、及びテキストメッセージの間の対応する関係性は第１の表現データベースで事前にセットアップされてよい。第１のテキストメッセージは、第１の応答メッセージが再生されている間に表示されてよい。概して、テキストメッセージは、図３に示されるように、「慰めようとしていることを示す表現」等、ユーザーによって提供された操作活動に対応する応答メッセージを原文通りに説明するために使用される。さらに、第１の表現データベースは、対応する操作活動情報に基づいて表現ピクチャに提供される必要があるプロップの動画情報をさらに記憶してよい。ユーザー操作活動を実行するとき、プロップ動画がユーザーのためにさらに再生されてよい。例えば、ユーザーが泣く表現ピクチャに対してスライド操作を実行すると、ストロークを実行する「小さい手」が表示される。又は、ユーザーが特定の表現ピクチャに対してクリック操作を実行するとき、「ハンマー」が表示されることがある等である。

さらに、ユーザーが特定の表現ピクチャに対して特定の操作を実行した後、音楽がさらに再生されてよい。例えば、相手側のユーザーが楽器の表現ピクチャを送信する場合、スライド操作が、ギター、二胡、及びバイオリン等の楽器をならしてよい、またはクリック操作が実行されると、楽器がたたかれてよい。例えば、ユーザーＡがキーボードのピクチャを送信する場合、ユーザーＢはピクチャをクリックして音楽を再生して、ユーザーＢがユーザーＡのために音楽を演奏できるようにしてよい。ユーザーＢに対するテキストプロンプトは、以下、つまり、あなたは他の関係者のために音楽を再生しています、である。

特有の実装例では、同一の表現ピクチャは同一の操作活動情報に基づく複数の応答メッセージに対応してよいことが説明されるべきである。この場合、プロンプトメッセージが、複数の応答メッセージの内の１つを選択し、再生するようにユーザーに指示するためにユーザーに提供されてよい。さらに、ユーザーによって同一の表現ピクチャに従って実行される操作活動は、複数のアクションの組合せで形成されてよく、異なるアクションはそれぞれ１つまたは複数のメッセージに対応してよい。この状況では、応答メッセージの組合せは、ユーザーに再生するためのそれぞれの第１の応答メッセージの部分または全てからさらに生成されてよい。例えば、異なるアクションはそれぞれ１つの動画に対応し、動画は連続的に再生するために組み合わされてよい。

さらに、第１の応答メッセージの場合、第１の応答メッセージが音声情報、ビデオ情報、及び動画情報であるとき、情報は時間次元で再生することの連続性特性を有する情報であり、ユーザーによって実行されるスライド操作または振動操作もプロセスであり、時間に関して特定の連続性を有するので、操作活動の連続性と関連付けられた時間分が具現化されてよい。したがって、本開示の実施形態では、例えばユーザーによって表現ピクチャに対して実行される（１つのスライド操作または複数のスライド操作の組合せてあってよい）スライド操作または振動動作が検出される場合、関連付けられたユーザー操作活動の開始時間点及び終了時間点が取得されてよく、ユーザー操作活動の時間分は、開始時間点及び終了時間点に基づいて計算されてよい。したがって、第１の応答メッセージは、ユーザー操作活動の時間分に従ってユーザーに再生されてよい。言い換えると、ユーザー操作活動の時間分がより長い場合、第１の応答メッセージを再生するための時間はより長い。ユーザー操作活動の時間分がより短い場合、第１の応答メッセージを再生するための時間はより短い。具体的には、応答メッセージは、複数の連続ピクチャフレーム、つまり例えば一連のピクチャの集合体、を含む動画であってよく、隣接するピクチャフレーム間の表示時間間隔は事前にセットアップされている。スライド操作が検出され、ユーザー操作活動の時間分が取得された後、ユーザー操作活動の時間分は最初に動画の総時間分と比較されてよい。前者が後者未満である場合、動画が終了されるフレームは、ユーザー操作活動の時間分及び隣接するピクチャフレーム間の表示時間間隔に基づいて決定されてよい。次いで、動画がインスタント通信会話ウィンドウで再生されるとき、再生はこのフレームで終了することがある。ユーザー操作活動の時間分が動画の総時間分以上である場合、動画は、動画が終了されるまでインスタント通信会話ウィンドウで再生されてよい。

例えば、特定の動画は、（１）ピクチャ、（２）ピクチャ、（３）ピクチャ、（４）ピクチャ、及び（５）ピクチャから構成された集合体であり、（１）から（５）の動画の再生は０．５秒かかり、ピクチャ間の動画は０．１秒である。ユーザーが、単一のスライド操作の後にスライドを停止するとき、及び費やされた時間が０．３秒である場合、動画は（３）で止められ、動画は（３）状態で維持される。特定の時間後、ユーザーがスライドを続行する場合、動画が終了するまで以下の動画が続行される。動画は表現要件に従って繰り返されてよい。さらに、ユーザーがいったん停止すると、テキスト、プロップ動画、プロンプト、及び動画コンテンツは提供されなくなることがあり、伝送が実行される。同様に、第１の応答メッセージが音声ファイルである場合、音声ファイルを再生する時間分は動画のための方法と同じである。ユーザーがスライドを停止すると、音声ファイルのプレイバックは終了される。

Ｓ１０４は、表現ピクチャ及びユーザー操作活動の入手された情報に関係する発見された情報を、受信側ユーザーに対応する受信側クライアントに送信して、受信側クライアントが、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するのを容易にする。

送信側クライアントの場合、送信側クライアントが第１の応答メッセージを生成した後、送信側クライアントは、表現ピクチャ及びユーザー操作活動の入手された情報に関係する情報を、受信側ユーザーに対応する受信側クライアントに送信してよい。このようにして、受信側クライアントはユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成してよい。受信側ユーザーは、第２の応答メッセージに対応する第２の対話応答メッセージを生成し、第２の対話応答メッセージを再生してよい。送信側クライアントは対話操作情報を、リレーサーバを介して受信側クライアントに、またはピアツーピアモード等を介して直接的に受信側クライアントに、のどちらかで送信してよい。

特有の実装例では、ユーザー操作活動が複数のアクションを含んだ組み合わせされた操作である場合、表現ピクチャ情報及びユーザー操作活動の入手された情報が、アクションが検出された後に受信側ユーザーに対応する受信側関係者クライアントに送信されてよいことが説明されるべきである。代わりに、別の実装例では、受信側関係者クライアントによって再生される第２の応答メッセージをより円滑にすることを可能にするために、複数のアクションを含んだ組み合わせされた操作が検出された後、表現ピクチャ情報及び各アクションに対応するユーザー操作の情報が受信側ユーザーに対応する受信側関係者クライアントに送信されてよい。この実装例では、送信側クライアントと比べて、受信側クライアントは、応答メッセージを再生するときに一定の遅延を経験することがある。

受信側クライアントの場合、表現ピクチャに関係する情報及びユーザー操作活動の情報が受信された後、受信側クライアントは、送信側クライアントと同様に、第２の応答メッセージ及び再生モードを生成してよい。受信側クライアントのための実装プロセスは、第２の実施形態を使用し、以下に詳細に紹介される。

第２の実施形態
図４を参照すると、第２の実施形態は、第１の実施形態に対応する受信側クライアントの実装であり、第２の実施形態に係るインスタント通信プロセスでの受信側クライアントのための表現情報処理方法は以下を含んでよい。
Ｓ４０１は、インスタント通信会話ウィンドウで表現ピクチャを提供する。

Ｓ４０２は、相手ユーザーがクライアントからの表現ピクチャに対して対話操作を実行したことを示すメッセージ、つまり表現ピクチャ及びユーザー操作活動の情報に関係する情報を運ぶメッセージを取得する。

Ｓ４０３は、表現ピクチャに関係する情報及びユーザー操作活動の情報に基づいて第２の表現データベースを検索し、ユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成する。

受信された情報は、表現ピクチャに関係する情報及びユーザー操作活動の情報を含むので送信側ユーザーによってどの表現ピクチャに対してどのような種類の操作活動が実行されたのかは既知である。一方、受信側クライアントは第２の表現データベースを事前にローカル端末装置にダウンロードしてもよい。第２の表現データベースは表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報で構成される。このようにして、送信側ユーザーによってどの表現ピクチャに対してどのような種類の操作活動が実行されたのかを理解した後に、対応する第２の応答メッセージは、第２の表現データベースに問い合わせを行うことによって決定されてよい。本明細書の第２の応答メッセージは、表現ピクチャに関係する音声、ビデオ、動画、ピクチャ等も含んでよい。さらに、第２の応答メッセージは、リアルタイムでユーザーの操作活動情報と突き合わせることによって生成されてもよい。言い換えると、ユーザーが特定の表現ピクチャに対して特定の操作を実行した後、ユーザーの操作活動の情報はさらに動画と突き合わされてよい。取り出された第２の応答メッセージが動画と突き合わされたユーザー操作活動情報である場合、受信されたユーザー操作活動情報は対応する表現ピクチャと突き合わされる。例えば、受信されたユーザー操作活動情報がスライド位置またはスライド方向である場合、対応する位置及び対応する方向で分割された対応する表現ピクチャの対応する動画が計算される等である。例えば、表現ピクチャに対応してクリックする等、関係する動画は、受信されたユーザー操作活動情報がクリック活動のクリックの位置及び／または数に関係する情報である場合、受信されたユーザー操作活動情報に従って計算される。

Ｓ４０４は、決定された第２の応答メッセージに従って対応する第２の応答メッセージを生成する。

対応する第２の対話応答メッセージが生成された後、受信側クライアントは第２の応答メッセージを再生してよい。プレイバック中、第２の応答メッセージが表現ピクチャに関係する動画、ビデオまたはピクチャである場合、表現ピクチャに関係する動画、ビデオ、またはピクチャは、表現ピクチャがインスタント通信会話ウィンドウに位置する位置で表示されてもよい。これは、インスタント通信会話ウィンドウ内の情報表示領域の提示をリフレッシュすることと同等である。さらに、第２の応答メッセージは、代わりに特定のプレイバック時間分を有する動画、音声、又はビデオ等であってよい。したがって、送信側ユーザーがスライド操作を実行するとき、送信側クライアントも受信側クライアントにスライド操作に関係する時間分情報を送信してよい。このようにして、受信側クライアントはスライド操作の時間分に従って、関連付けられたユーザーのために第２の応答メッセージを再生してよい。

さらに、受信側クライアントは、操作される表現ピクチャに関係するユーザー操作活動に対応する第２のテキスト情報を取得し、情報表示領域に第２のテキスト情報を表示してもよい。言い換えると、操作された動画を見た後、または対応する音声を聞いた後、受信側ユーザーは、例えば「相手側があなたを元気づけようとしている表現」、「相手側があなたを参らせている表現」等、相手ユーザーによって実行されている操作を説明するために使用される情報表示領域でそれに対応するテキスト情報も見てよい。

同一の表現ピクチャ及び同じユーザー操作活動の場合、送信側クライアントの第１の応答メッセージが、受信側クライアントの第２の応答メッセージと同じであることもあれば、同じではないこともあることが説明されるべきである。ユーザーは、例えば異なる表現ピクチャ、動画、または突合せ方法等、自分の好み順位に従って対応する応答メッセージを選択してよい。相応して、送信側クライアントの第１の応答メッセージは、受信側クライアントの第２の応答メッセージと同じであることもあれば、同じでないこともある。さらに、第２の実施形態及び第１の実施形態は互いに対応しており、単に説明の観点で相違点を有することが留意されるべきである。特に、応答メッセージ等の関係するコンテンツを再生することに関して、第１の実施形態に参照することができ、詳細は本明細書で冗長に繰り返されない。

第３の実施形態
第１の実施形態及び第２の実施形態では、前提条件は、表現データベースがローカル端末装置にダウンロードされていることである。しかしながら、特有の実装例では、応答メッセージは概して動画または音声等であるため、端末装置の記憶リソースのかなりの量を占有する。したがって、端末のリソースの占有率を削減するために、表現データベースは、ローカル端末装置にダウンロードされる代わりにサーバ側に記憶されてよい。したがって、クライアントユーザ―が特定の表現ピクチャに対して対話操作を実行するとき、関連付けられた送信側クライアントはサーバに表現ピクチャに関係する情報及びユーザー操作活動情報をアップロードしてよく、サーバは、次いで送信側クライアント及び受信側クライアントに送信される、表現データベースに基づいた第１の応答メッセージ及び第２の応答々メッセージを決定する。特有の実装例の詳細は、以下の通り本明細書に説明される。

図５を参照すると、本開示の第３の実施形態は、インスタント通信プロセスで送信側クライアントに別の表現情報処理方法を提供する。方法は、以下を含む。
Ｓ５０１は、インスタント通信会話ウィンドウで表現ピクチャを提供する。

Ｓ５０２は、表現ピクチャに関してユーザーから送信されたユーザー操作活動情報を入手する。

Ｓ５０１及びＳ５０２は、第１の実施形態のＳ１０１及びＳ１０２と同じである。

Ｓ５０３は、サーバが入手されたユーザー操作活動情報に従って第３の表現データベースを検索し、ユーザー操作活動に起因する表現ピクチャに対応する第１の応答メッセージ及び第２の応答メッセージを生成し、ユーザーに対応する送信側クライアントに第１の応答メッセージを返し、受信側ユーザーに対応する受信側クライアントに第２の応答メッセージを送信するように、サーバに取得されたユーザー操作活動情報、表現ピクチャに関係する情報、ユーザーの識別情報、及び受信側ユーザーの識別情報をアップロードする。

表現データベースはローカル端末装置に記憶されないので、ユーザーから送信される表現ピクチャに関係するユーザー操作活動の情報は、ユーザーからそれを入手時にサーバにただちにアップロードされてよい。特有のユーザー操作活動情報は、第１の実施形態のユーザー操作活動情報と同じである。したがって、サーバが特有の第１の応答メッセージを決定するとき、それは第１の実施形態のＳ１０３と同じである。そして、サーバが特有の第２の応答メッセージを決定するとき、それは第１の実施形態のＳ４０３と同じである。相違点は、実行するエンティティにある。第１の応答メッセージが第２の応答メッセージと同じである場合、サーバは、１度、決定を下すだけでよい。第１の応答メッセージ及び第２の応答メッセージが決定された後、第１の応答メッセージは送信側クライアントに返されてよく、第２の応答メッセージは受信側クライアントに送信されてよい。

Ｓ５０４は、ユーザーのためにサーバによって返される第１の応答メッセージを再生する。

サーバから返される第１の応答メッセージを受信した後、送信側クライアントはユーザーのために第１の対話応答メッセージを生成し、再生してよい。相応して、サーバから送信される第２の応答メッセージを受信した後、受信側クライアントは受信側ユーザーのために第２の対話応答メッセージを生成し、再生してよい。

応答メッセージの特有の形式及びユーザーのためのプレイバックプロセスの実装の詳細は、第１の実施形態及び第２の実施形態のものと同じである。したがって、第１の実施形態及び第２の実施形態の説明が参照されてよく、本明細書で冗長に繰り返されない。

要するに、ユーザーと表現との間の対話は上述の第１の実施形態から第３の実施形態で紹介されている。これらの方法により、それは、ユーザーによって送信された表現ピクチャがユーザーの感情をよりうまく表現でき、かつ現実世界のユーザーに関するインスタント通信ツールのシミュレーションの程度も改善されてよいように、ユーザーの対話操作に応答できる表現ピクチャと同等である。

例えば、ユーザーＡは泣く表現を開始する。ユーザーＢが表現に対してスライド操作を実行する場合、表現の上部になだめる手のように動作する動画が表示され、テキストインタフェースＢは、あなたが表現を慰めようとしていることを示す。テキストインタフェースＡは、相手側があなたの表現を慰めようとしていることを示す。表現の慰めるプロセスの間、動画は、設計に基づいて変化してよく、ユーザーＡの端末装置は振動されてよい。ユーザーＢが指を使用し、表現をクリックすると、「ハンマー」のプロップを示す動画が表現上に表示されてよく、テキストプロンプトは、あなたが表現を参らせていることを示す。表現はそっと泣いているからより激しく泣いているに変わる。同様に、ユーザーＡは、他の関係者があなたの表現を参らせていることを示すテキストプロンプトも見てよい。

別の例の場合、ユーザーＡは、まさにユーザーＢがユーザーＡのために音楽を再生しているように、ユーザーＢがクリックして音楽を再生するキーボード表現ピクチャを送信する。ユーザーＢに対するテキストプロンプトは、以下、つまりあなたは相手側のために音楽を再生しています、である。ユーザーＡのためのテキストプロンプトは、以下、つまり他の関係者があなたのために音楽を再生しています、である。

さらに、ユーザーは、ユーザー自身によって送信された表現ピクチャに対する対話操作も実行してよい。例えば、ユーザーＡは泣く表現ピクチャを送信し、その後表現ピクチャに対してスライド操作を実行する。応答ピクチャの涙はより少なくなる。ピクチャの動画は、ユーザーＡが表現ピクチャをクリックする場合、より激しく泣くことを表示する。

第４の実施形態
第４の実施形態は、表現と表現／テキストとの対話をより詳細に説明する。

まず、第４の実施形態では、第４の表現データベースが事前にユーザーのローカル端末装置にダウンロードされる必要がある。第４の表現データベースは、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの条件の間の対応する関係性で構成される。図６を参照すると、本開示の第４の実施形態に係るインスタント通信プロセスでの表現情報処理方法は、以下を含むことがある。
Ｓ６０１は、インスタント通信会話ウィンドウで表現ピクチャを提供する。

Ｓ６０１は第１の実施形態Ｓ１０１に類似し、表現ピクチャはユーザーまたは相手側ユーザーのどちらかによって送信されてよい。

Ｓ６０２は、表現ピクチャが第４の表現データベースに存在するとき、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかを調べる。

どの表現ピクチャがウィンドウ内で提供されるのかを決定することに応えて、決定は、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかに関しても決定が下される。インスタント通信会話メッセージは、ユーザー間の現在のインスタント通信会話ウィンドウで、メッセージ（現在のチャットレコード等）、チャット履歴等であってよい。特有の実装例では、第４の表現データベースは、どの表現ピクチャが応答メッセージを所有しているのか、及びどの応答メッセージがそれに対応しているのかを記録する。したがって、応答メッセージを所有するかどうかは、第４の表現データベースに問い合わせを行うことによって決定されてよい。例えば、石、ナイフ、矢、水を噴霧する象、ライオン、ミサイル発射、スリッパ、街路で罵声を浴びせる女性等の、動画、音声またはビデオは、第４の表現データベースに表示され、他の表現ピクチャまたはテキストと関連付けられてよく、例えばいくつかの動画または特定の１つの音楽等、事前に対応する応答メッセージで構成される。

決定情報を圧倒し、ユーザー経験に影響を与えることによってシステムリソースの占有を回避するために、本開示の実施形態では、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかを判断するとき、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話ウィンドウに存在するかどうかに関する決定が下されるにすぎない。次のブロックの特有の説明では、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話ウィンドウに存在するかどうかを判断する例は説明のためだけに使用される。

Ｓ６０３は、ターゲットコンテンツが存在する場合、ターゲットコンテンツが位置する位置にある表現ピクチャに対応する応答メッセージを生成する。

応答メッセージを決定することに応えて、応答メッセージはユーザーに対して再生されてよい。応答メッセージは表現ピクチャに関係する動画であってよい。表現ピクチャに関係するターゲットコンテンツを決定すると、表現ピクチャに対応する応答メッセージはターゲットコンテンツの場所で再生されてよい。関係する動画は、概して矢を射る、石を投げる等のアクションであるのでターゲットコンテンツの場所で関係する動画を表示することは、実際に、ターゲットコンテンツで関連する動画を適用することを意味する。

特有の実装例では、第４の表現データベースに記憶される第１の表現ピクチャに対応する応答メッセージを開始するための条件は、インスタント通信会話ウィンドウで第１の表現ピクチャに関連付けられた第２の表現ピクチャを表示することを含んでよい。例えば、特有の実装例では、第４の表現データベースでセットアップされる表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの条件の間の対応する関係性は、表４に示されている内容であってよい。

このようにして、第１の表現ピクチャに関連付けられた第２の表現ピクチャがインスタント通信会話ウィンドウに存在するかどうかに関する決定が下されてよい。肯定である場合、表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツがインスタント通信会話ウィンドウに存在する旨の決定が下される。例えば、図７−１に示されるように、「見せびらかし」を示す表現ピクチャが情報表示領域に以前表示され、ユーザーがその後「矢」のピクチャを送信する場合、クライアントは、「見せびらかし」の表現ピクチャが「矢」の表現ピクチャと関連付けられ、対応する応答メッセージが動画Ｘ１、つまり矢が「見せびらかし」の表現ピクチャを狙って撃つと判断する。したがって、図７−２に示される効果が情報表示領域に表示されてよい。

代わりに、第４の表現データベースに記憶される特定の表現ピクチャに対応する応答メッセージを開始するための条件は、インスタント通信会話ウィンドウが表現ピクチャに関連付けられたテキストを表現することを含んでもよい。例えば、特有の実装例で、第４の表現データベースでセットアップされる表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの条件間の対応する関係は、表５に示される通りであってよい。

したがって、インスタント通信会話ウィンドウが表現ピクチャと関連付けられた別の表現ピクチャを表示しない場合、インスタント通信会話ウィンドウで表示されるテキストコンテンツは分析され、表現ピクチャと関連付けられたターゲットテキストが存在するかどうかを判断する。存在する場合、表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツはインスタント通信会話ウィンドウに存在するとして判断される。図８−１に示されるように、相手側のユーザーが「ハ、ハ、私はこんなにハンサムです」の表現ピクチャを以前に送信したことがある場合、ユーザーが矢印を撃つ表現ピクチャを送信した後、相手側のユーザーによって送信された文章及びその頭のポートレートは、応答メッセージのターゲットコンテンツ、つまり、図８−２に示されるようにこの文章及び頭のポートレートを狙って矢を撃つこととして判断されてよい。

特有の実装例では、応答メッセージの突合せは、インスタント通信クライアントまたはユーザーの表現ピクチャのためのサーバによって開始される。したがって、応答メッセージが再生される前に、プロンプトメッセージが先に送信されることがある。プロンプトメッセージは、応答メッセージを再生するかどうかユーザーに尋ねるために使用され、応答メッセージは、ユーザーがユーザーの嫌悪感を回避するために再生することを選択するときに、ユーザーに対して再生される。

さらに、特定の表現ピクチャがインスタント通信会話ウィンドウに表示される場合、複数の通信コンテンツがインスタント通信会話ウィンドウに表示されている可能性がある。したがって、インスタント通信会話ウィンドウの表現ピクチャに対応する応答メッセージ開始条件と一致する複数のターゲットコンテンツが存在する。かかる状況下では、ターゲットコンテンツは選択のためにユーザーに提供されてよい。ユーザーがそこから特定の通信コンテンツを選択する場合、その通信コンテンツは最終的に突き合わされたターゲットコンテンツと判断される。

さらに、上述されたように、特定の表現ピクチャがインスタント通信会話ウィンドウに表示される場合、複数の通信コンテンツがインスタント通信会話ウィンドウに表示されている可能性がある。しかしながら、特有の実装例では、表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツが、インスタント通信会話ウィンドウでの表現ピクチャの前または後に表示される事前設定数で存在するかどうかを検出することができる。例えば、表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツが、インスタント通信会話ウィンドウ内での表現ピクチャに関して、以前のＮ個のまたは後のＭ個のメッセージの間で存在するかどうかに関して検出が行われ、ＮはＭに等しいこともあれば、等しくないこともある。すなわち、インスタント通信会話ウィンドウの表現ピクチャの直前に表示されたコンテンツが、表現ピクチャに対応する応答メッセージ開始条件と一致するかどうかの検出だけが行われる。これは、検出の作業負荷を削減し、実際のニーズとより合わせられてよい。

応答メッセージが、ユーザーによって送信される表現ピクチャがインスタント通信会話ウィンドウに表示された後に概して表示されることが説明されるべきである。したがって、特有の実装例では、透明な浮動層がインスタント通信会話ウィンドウの上層で作成されてよく、表現ピクチャに関係する動画は透明な浮動層内で再生される。このようにして、動画の表示によって情報表示領域で他のコンテンツを不明瞭にすることを回避することが可能であることがある。

さらに、第４の実施形態では、異なるブロックの操作はクライアントまたはサーバのどちらかによって完了されてよいことが説明されるべきである。言い換えると、第４の表現データベースは、クライアントが位置するローカル端末装置に事前にダウンロードされる、またはサーバに記憶されるかのどちらかであってよい。さらに、ユーザーが表現ピクチャを送信した後、送信側クライアントは、表現ピクチャに関連付けられたコンテンツがインスタント通信会話ウィンドウに表示されるかどうかを判断してよく、存在する場合回答を提出する。受信側クライアントは、表現ピクチャと関連付けられたコンテンツが、相手側によって送信される表現ピクチャを受信した後に、インスタント通信会話ウィンドウに表示されるかどうかを判断してもよく、存在する場合応答を提出する。言い換えると、送信側クライアントにとってなのか、それとも受信側クライアントにとってなのかに関わりなく、表現ピクチャがインスタント通信会話ウィンドウで提供される場合、フォローアップ処理は同じであることがあり、したがって本明細書の特定の目的の観点から個別に説明されない。

要するに、表現間の対話を通して、表現はもはや相互に独立しているのではなく、相互に関連付けられる。１つの表現ピクチャは、現実世界のユーザー間での対話により近くなり、このようにして現実世界のより高いシミュレーション度を保証するために別の表現ピクチャに作用してよい。

第５の実施形態
全ての上述の実施形態は、ユーザーと表現の間の対話、または表現と表現／テキストの間の対話を説明する。第５の実施形態では、対応する表現ピクチャはテキストによって開始されてもよい。以下に詳細に紹介が行われる。

図９を参照すると、第５の実施形態は、第５の表現データベースのテキスト通信コンテンツ、及び事前に相互関連付けられたテキスト通信コンテンツに対応する表現ピクチャの間の関連付け関係性をセットアップする必要のあるインスタント通信プロセスでの表現情報処理方法を提供する。詳細に言えば、当該方法は以下のことを含みうる。
Ｓ９０１は、インスタント通信会話ウィンドウでテキスト通信コンテンツを提供する。

テキスト通信コンテンツは、ユーザーによって送信される文章または相手側のユーザーによって送信される文章のどちらかであってよい。

Ｓ９０２は、第５の表現データベースを検索することによって、テキスト通信コンテンツと関連付けられた他のテキストコンテンツがインスタント通信会話ウィンドウに存在するかどうかを判断する。

Ｓ９０３は、他のテキスト通信コンテンツが存在する場合、インスタント通信会話ウィンドウで対応する表現ピクチャを提供する。

言い換えると、第５の実施形態では、ユーザーは表現ピクチャの送信を開始しないが、クライアントまたはサーバがユーザーの通信コンテンツに従って関係する表現ピクチャを突き合わせ、インスタント通信会話ウィンドウにテキスト通信コンテンツを表示してよい。実際の用途では、表現ピクチャの開始条件は第５の表現データベースにさらに定義されてよい。つまり、関連付けられたテキスト通信コンテンツがインスタント通信会話ウィンドウに表示され、特定の開始条件が成立すると、対応する表現ピクチャが表示される。例えば、ユーザーは３回「ハ、ハ」を連続して送信し、「大笑い」の表現ピクチャはインスタント通信会話ウィンドウに自動的に表示されてよい。技術的な実装の観点から、「ハハ」と「ハハ」の間の関連付け関係性は事前に第５の表現データベースで定義されてよく、対応する表現ピクチャの開始条件は連続して３回、出現として設定される。このようにして、関連付けられたテキスト通信コンテンツの存在の検出に応えて、関連付けられたテキスト通信コンテンツが３回出現したかどうかに関する決定が下される。肯定の場合、関連表現ピクチャが開始される。それ以外の場合、対応する表現ピクチャは開始されない。

さらに、インスタント通信会話ウィンドウは複数の通信コンテンツを含むことがあるので、多すぎるコンテンツを調べるのを回避し、したがってシステムリソースの占有を生じさせ、ユーザーによって入力されたメッセージと干渉するために、テキスト通信コンテンツと関連付けられた他のテキスト通信コンテンツが、インスタント通信会話ウィンドウのテキスト通信コンテンツの前または後の事前に設定された数のメッセージに存在するかどうかに関する決定が下されてよい。具体的には、テキスト通信コンテンツと関連付けられた他のテキスト通信コンテンツが、インスタント通信会話ウィンドウでテキスト通信コンテンツと関連付けられた以前のＮ個または後のＭ個のメッセージに存在するかどうかに関する決定が下される。ＮはＭに等しいこともあれば、等しくないこともある。実施形態では、Ｎは１に等しい、及び／またはＭは１に等しい。

第５の実施形態で、異なるブロックでの操作がクライアントまたはサーバによって完了されてよいことが説明されるべきである。言い換えると、第５の表現データベースは、クライアントが位置するローカル端末装置に事前にダウンロードされる、またはサーバに記憶されるかのどちらかであってよい。さらに、ユーザーがテキスト通信コンテンツを送信した後、送信側クライアントはテキスト通信コンテンツと関連付けられたコンテンツがインスタント通信会話ウィンドウに表示されるかどうかを決定してよく、存在する場合応答を提出する。また、受信側クライアントは、相手側によって送信されたテキスト通信コンテンツを受信した後に、テキスト通信コンテンツと関連付けられたコンテンツがインスタント通信会話ウィンドウに表示されるかどうかを決定してもよく、存在する場合、応答を提出する。言い換えると、送信側クライアントにとってなのか、それとも受信側クライアントにとってなのかに関わりなく、テキスト通信コンテンツがインスタント通信会話ウィンドウで提供される場合、フォローアップ処理は同じであることがあり、したがって本明細書の特定の目的の観点から個別に説明されない。

結論として、第５の実施形態を通して、表現ピクチャはテキスト通信コンテンツ間の関連付け関係性を通して開始されてよく、このようにして表現ピクチャの活用率を改善し、ユーザーが、自分の感情を表現するために表現ピクチャを使用することに気付かないことなく自分の感情をより適切に且つより直感的に表現することを自動的に支援する。

本開示の第１の実施形態に係るインスタント通信プロセスで送信側クライアントのための表現情報処理方法に対応して、本開示は、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報が事前に第１の表現データベースでセットアップされている、インスタント通信プロセスで送信側クライアントに表現情報処理装置１０００も提供する。図１０を参照すると、装置は、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第１の表現ピクチャ提供ユニット１００１と、
表現ピクチャに関してユーザーから送信されたユーザー操作活動の情報を入手するために使用される第１の操作活動情報取得ユニット１００２と、
表現ピクチャ及びユーザー操作活動の入手された情報に基づいて第１の表現データベースを検索するため、及びユーザー操作活動中の表現ピクチャに対応していることが判明する第１の応答メッセージを生成するために使用される第１の取出しユニット１００３と、
受信側クライアントがユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するのを容易にするために、受信側ユーザーに対応する受信側クライアントに、表現ピクチャ及びユーザー操作活動の入手された情報に関係する発見されたメッセージを送信するために使用される第１の送信ユニット１００４と、
を含む。

応答メッセージを開始するために使用され、第１の表現データベースに記憶される操作活動情報は、操作タイプの情報をさらに含んでよい。操作タイプは、端末装置で実行される以下の操作、つまりスライド操作タイプ、クリック操作タイプ、振動操作タイプ、及び端末接近操作タイプの内の１つまたは組合せを含む。

第１の表現データベースに記憶される応答メッセージは、操作タイプに対応する計算方法メッセージを含み、第１の取出しユニット１００３は、特に
ユーザーによって表現ピクチャに対して実行される操作のタイプを決定し、操作タイプに対応する計算方法情報を取得するために使用される計算方法情報取得サブユニットと、
計算方法に従って、ユーザー操作活動情報に関係する決定された操作タイプに対応する情報、ユーザー操作活動情報に基づく表現ピクチャに対応する応答データを計算するために使用される計算サブユニットと、
応答データに従って、ユーザー操作活動情報と一致する第１の応答メッセージを生成するために使用される応答メッセージ生成サブユニットと、
を含む。

計算方法は、指定された操作タイプ及び操作タイプに対応する操作属性情報パラメータに従って決定される。

第１の操作活動情報取得ユニット１００２は、特に、
ユーザーによって実行される表現ピクチャに関係する操作タイプの情報、及び操作タイプに対応する操作属性情報を取得する
ために使用される。

計算サブユニットは特に、
入手された操作タイプ、及び操作タイプに対応する入手された属性情報に従って計算方法を決定する、及び
決定された計算方法に従って、ユーザー操作活動情報に基づいて表現ピクチャに対応する応答データを計算する
ために使用される。

第１の応答情報は、時間次元で再生する連続性を有する情報を含む。

装置は、
ユーザー操作活動の開始時点及び終了時点を取得するために使用される時点取得ユニットと、
開始時点及び終了時点に従ってユーザー操作活動の時間分を計算するために使用される時間分計算ユニットと、
ユーザー操作活動の時間分に従ってインスタント通信会話ウィンドウで第１の応答メッセージを再生するために使用される再生ユニットと、
をさらに含む。

時間次元で再生する連続性を有する情報は動画を含み、動画は複数の連続画像フレームを含み、表示時間間隔は隣接画像フレーム間で事前に設定され、再生ユニットは、
ユーザー操作活動の時間分を動画の総持続時間と比較するために使用される比較サブユニットと、
ユーザー操作活動の時間分が動画の総持続時間未満であるときに、ユーザー操作活動の時間分及び隣接画像フレーム間の表示時間間隔に従って再生される終了フレームを決定するために使用される終了フレーム決定サブユニットと、
終了フレームが再生されるまでインスタント通信会話ウィンドウで動画を再生するために使用される再生サブユニットと、
を含む。

さらに、再生サブユニットは、
ユーザー操作活動の時間分が動画の総持続時間以上であるときに動画が再生を終了するまでインスタント通信会話ウィンドウで動画を再生する
ためにも使用されてよい。

表現ピクチャのためのユーザーのユーザー操作活動の複数個の情報が入手され、相応して複数の第１の応答メッセージが第１の表現データベースから見付けられるとき、装置は、複数の第１の応答メッセージの部分または全てを使用し、組み合わせされた第１の応答メッセージを生成するために使用される組み合わせユニットをさらに含む。

送信ユニット１００４は特に、
受信側クライアントが、ユーザー操作活動の部分または全てで表現ピクチャに対応する第２の応答メッセージを生成するのを容易にするために、受信側ユーザーに対応する受信側クライアントに、表現ピクチャに関係する情報及びユーザー操作活動の入手された情報の部分または全てを送信する
ために使用される。

複数の第１の応答メッセージがユーザー操作活動中の表現ピクチャに対応することが判明する場合、装置は、
プロンプトメッセージを提供するために使用される第１のプロンプトユニットであって、プロンプトメッセージが、ユーザーに複数の第１の応答メッセージからメッセージを選択するようにプロンプトを出すために使用される、第１のプロンプトユニット
をさらに含む。

装置は、
表現ピクチャがインスタント通信会話ウィンドウで提供された後にプロンプトメッセージを表示するために使用される第２のプロンプトユニットであって、プロンプトメッセージはユーザーに対し、表現ピクチャに対して操作を実行できる機能及び表現ピクチャに対応する操作モード情報を示すために使用される、第２のプロンプトユニット
をさらに含む。

本開示の第２の実施形態に係るインスタント通信プロセスで受信側クライアントのための表現情報処理方法に対応して、本開示は、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するためのそれぞれの操作活動情報が事前に第２の表現データベースでセットアップされている、インスタント通信プロセスで受信側クライアントに表現情報処理装置１１００も提供する。図１１を参照すると、装置は、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第２の表現ピクチャ提供ユニット１１０１と、
相手ユーザーが相手クライアントからの表現ピクチャに対して操作したことを示すメッセージを入手するために使用される第２の操作活動情報取得ユニット１１０２であって、メッセージが表現ピクチャに関係する情報及びユーザー操作活動の情報を含む、第２の操作活動情報取得ユニット１１０２と、
表現ピクチャに関係する情報及びユーザー操作活動情報に基づいて第２の表現データベースを検索するため、及びユーザー操作活動中の表現ピクチャに対応する第２の応答メッセージを生成するために使用される第２の取出しユニット１１０３と、
を含む。

本開示の第３の実施形態に係るインスタント通信プロセスで送信側クライアントのための表現情報処理方法に対応して、本開示は、インスタント通信プロセスで送信側クライアントに表現情報処理装置１２００も提供し、第３の表現データベースは事前にサーバ側でセットアップされ、第３の表現データベースは表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための操作活動情報を記憶する。図１２を参照すると、装置は、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第３の表現ピクチャ提供ユニット１２０１と、
表現ピクチャに関してユーザーから送信されるユーザー操作活動の情報を入手するために使用される第３の操作活動情報取得ユニット１２０２と、
サーバがユーザー操作活動の取得された情報に基づいて第３の表現データベースを検索して、ユーザー操作活動中の表現ピクチャに対応する第１の応答メッセージ及び第２の応答メッセージを生成し、ユーザーに対応する送信側クライアントに第１の応答メッセージを戻し、受信側ユーザーに対応する受信側クライアントに第２の応答メッセージを送信するのを容易にするために、ユーザー操作活動の取得された情報、表現ピクチャに関係する情報、ユーザーの識別情報、及び受信側ユーザーの識別情報をサーバにアップロードするために使用される情報アップロードユニット１２０３と、
を含む。

上述の装置を使用し、ユーザーが表現ピクチャに対して操作を実行した後、ユーザーによって送信される表現ピクチャがよりうまくユーザーの感情を表現し、インスタント通信ツールによって現実世界のユーザーをシミュレーションする程度も改善されるように、したがってユーザー操作に反応する表現ピクチャに同等である対応する応答メッセージが決定され、再生される。

本開示の第４の実施形態に係るインスタント通信プロセスでの表現情報処理方法に対応して、本開示は、インスタント通信プロセスで表現情報処理装置も提供し、表現ピクチャ、応答メッセージ、及び応答メッセージを開始するための条件の間の対応する関係性が事前に第４の表現データベースでセットアップされている。図１３を参照すると、装置は、
インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される第４の表現ピクチャ提供ユニット１３０１と、
表現ピクチャが第４の表現データベースに存在する場合、表現ピクチャに対応する応答メッセージ初期化条件と一致するターゲットコンテンツがインスタント通信会話メッセージに存在するかどうかを調べるために使用される検出ユニット１３０２と、
肯定の場合、表現ピクチャに対応する応答メッセージを生成するために使用される応答メッセージ生成ユニット１３０３と、
を含む。

インスタント通信会話メッセージは、インスタント通信会話ウィンドウでのメッセージである。第４の表現データベースに記憶される第１の表現ピクチャに対応する応答メッセージを開始するための条件は、第１の表現ピクチャと関連付けられた第２の表現ピクチャを含んだインスタント通信会話ウィンドウを含み、検出ユニット１３０２は特に、
第１の表現ピクチャと関連付けられた第２の表現ピクチャがインスタント通信会話ウィンドウに存在するかどうかを検出するため、及び肯定の場合、表現ピクチャに対応する応答メッセージを開始するための条件に合うターゲットコンテンツがインスタント通信会話ウィンドウに存在すると判断するため
に使用される。

代わりに、第４の表現データベースに記憶される特定の表現ピクチャに対応する応答メッセージを開始するための条件は、表現ピクチャと関連付けられたテキストを含んだインスタント通信会話ウィンドウを含み、検出ユニット１３０２は特に、
インスタント通信会話ウィンドウに表示されるテキストコンテンツを分析するため、表現ピクチャと関連付けられたターゲットテキストが存在するかどうかを判断するため、及び存在する場合、表現ピクチャに対応する応答メッセージを開始するための条件と一致するターゲットコンテンツがインスタント通信会話ウィンドウに存在すると判断するため
に使用される。

加えて、装置は、
インスタント通信会話ウィンドウの表現の絵に対応する応答メッセージ開始条件と一致するターゲットコンテンツが複数である場合に、選択のためにユーザーにターゲットコンテンツまたはターゲットコンテンツに対応する応答メッセージを提供するために使用される第３のプロンプトユニット
をさらに含む。

具体的には、作業負荷を削減するために、検出ユニット１３０２は、
表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツが、インスタント通信会話ウィンドウの表現ピクチャの前または後の事前に設定された数のメッセージに存在するかどうかを判断する
ために使用される。

より詳細には、表現ピクチャに対応する応答メッセージ開始条件と一致するターゲットコンテンツが、インスタント通信会話ウィンドウの表現ピクチャの以前のメッセージまたは後のメッセージに存在するかどうかに関する決定が下される。

上記の装置によって、表現ピクチャがユーザーによって送信された後に、応答メッセージが表現ピクチャのためにセットアップされているかどうかに関する決定が下されてよい。存在する場合、表現ピクチャは再生され、このようにして表現間、または表現とテキストの間の対話を実現してよい。

本開示の第５の実施形態に係るインスタント通信プロセスでの表現情報処理方法に対応して、本開示は、インスタント通信プロセスで表現情報処理装置も提供し、テキスト通信コンテンツ間の関連付け関係性が事前に第５の表現データベースでセットアップされ、表現ピクチャは相互に関連付けられたテキスト通信コンテンツに対応する。図１４を参照すると、装置は、
インスタント通信会話ウィンドウでテキスト通信コンテンツを提供するために使用されるテキスト通信コンテンツ提供ユニット１４０１と、
第５の表現データベースを調べることによって、テキスト通信コンテンツと関連付けられる他のテキスト通信コンテンツが、インスタント通信会話ウィンドウに存在するかどうかを判断するために使用される第３の取出しユニット１４０２と、
肯定の場合、インスタント通信会話ウィンドウで対応する表現ピクチャを提供するために使用される第５の表現ピクチャ提供ユニット１４０３と、
を含む。

第３の取出しユニット１４０２は特に、
テキスト通信コンテンツに関連付けられた他のテキスト通信コンテキストが、インスタント通信会話ウィンドウのテキスト通信コンテンツの前または後の事前に設定された数のメッセージに存在するかどうかを検出する
ために使用される。

より詳細には、第３の取出しユニット１４０２は、テキスト通信コンテンツと関連付けられた他のテキスト通信コンテンツが、インスタント通信会話ウィンドウのテキスト通信コンテンツの以前のＮ個のメッセージまたは後のＭ個のメッセージに存在するかどうかを判断してよい。

上記の実装から、当業者は、本開示がソフトウェア及び必要な汎用ハードウェアプラットホームに関して実装できることを明確に理解し得る。この理解に基づき、本質的に本開示の技術的な解決策または既存の技術に対する貢献の部分はソフトウェア製品の形で具現化されてよい。ソフトウェア製品は、計算装置（パーソナルコンピュータ、サーバ、またはネットワークデバイス等）に、本開示の実施形態または実施形態の特定の部分に説明される方法を実行するように命令するための複数の命令を含んだＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク等の記憶媒体に記憶されてよい。

例えば、図１５は、上述された装置等の例の装置１５００をより詳細に示す。実施形態では、装置１５００は、１台または複数のプロセッサ１５０１、ネットワークインタフェース１５０２、メモリ１５０３、及び入力／出力インタフェース１５０４を含んでよいが、これに限定されるものではない。

メモリ１５０３は、揮発性メモリ、ＲＡＭ、及び／または例えばＲＯＭまたはフラッシュＲＡＭ等の不揮発性メモリ等のコンピュータ可読媒体の形を含んでよい。メモリ１５０３はコンピュータ可読媒体の例である。

コンピュータ可読媒体は、任意の方法または技術を使用し、情報の記憶を達成してよい、揮発性タイプまたは不揮発性タイプ、取外し可能な媒体または取外しできない媒体を含んでよい。情報はコンピュータ可読コマンド、データ構造、プログラムモジュール、または他のデータを含んでよい。コンピュータ記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、クイックフラッシュメモリ、または他の内部記憶技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光学ストレージ、磁気カセットテープ、磁気ディスクストレージもしくは他の磁気記憶装置、または計算装置によってアクセスされてよい情報を記憶するために使用されてよい任意の他の非伝送媒体を含むが、これに限定されるものではない。本明細書に定義されるように、コンピュータ可読媒体は、変調済みデータ信号及び搬送波等、一時媒体を含まない。

メモリ１５０３は、プログラムユニット１５０５及びプログラムデータ１５０６を含んでよい。装置１５００が（装置１０００等）送信側クライアント向けの装置、（装置１１００等の）受信側クライアント向けの装置、（装置１２００等の）サーバ内の装置等に対応するかどうかに応じて、プログラムユニット１５０５はユニット及びサブユニットの異なる組合せを含んでよい。これらのユニット及びサブユニットの詳細は上記説明に記載されることがあるため、本明細書に冗長に説明されない。

本開示の実施形態は進歩的に説明され、異なる実施形態の同じまたは類似する部分は互いに参照できる。各実施形態で強調される部分は他の実施形態とは異なる。特に、システムまたはシステム実施形態の説明は、それらが基本的に方法実施形態に類似し、関連する部分は方法実施形態のそれぞれの説明に参照できるため、相対的に簡略である。上述のシステム及びシステム実施形態は単に概略にすぎない。本明細書に別々の構成部品として説明されるユニットは、物理的に別々であることもあれば、物理的に別々でないこともある。そして、表示された構成部品として働くユニットは、物理的なユニットであることもあれば、物理的なユニットでないこともある。つまり、単一の場所に位置することもあれば、複数のネットワーク要素の間で分散することもできる。モジュールの全てまたは部分は、実施形態の解決策の目的を達成するための実際のニーズに従って選択されてよい。当業者は、創造的な取組みを行うことなく実施形態を理解し、実装し得る。

本開示に係るインスタント通信プロセスにおける表現情報処理方法及び表現往訪処理装置の詳細な説明が上述された。明細書は、特有の実施形態を使用し、本開示の原則及び実装例を説明する。上述の実施形態は単に本開示の方法及び中心概念を理解するのを手助けするために使用されるにすぎない。また、本開示の概念に基づき、当業者は特有の実装例及び適用の範囲を変更し得る。要するに、本明細書は本開示に対する制限として解釈されないものとする。

Claims (14)

1. インスタント通信会話ウィンドウで表現ピクチャを提供することと、
   前記表現ピクチャに関して送信側ユーザーからユーザー操作活動の情報を取得することと、
   前記表現ピクチャ及び前記ユーザー操作活動の前記取得された情報に基づいて第１の表現データベースを検索することと、
   前記ユーザー操作活動中の前記表現ピクチャに対応する第１の応答メッセージを生成することであって、前記第１の応答メッセージは、時間次元で再生性の連続性を有する情報を含む、ことと、
   受信側クライアントが、前記ユーザー操作活動中の前記表現ピクチャに対応する第２の応答メッセージを生成するのを容易にするために、受信側ユーザーに対応する前記受信側クライアントに前記表現ピクチャに関係する発見された情報及び前記ユーザー操作活動の前記取得された情報を送信すること
   を含む方法。
2. 前記第１の表現データベースが、表現ピクチャ、応答メッセージ、及び前記応答メッセージを開始するために使用されるそれぞれの操作活動情報を記憶する、請求項１に記載の方法。
3. 前記操作活動情報が操作タイプの情報を備える、請求項２に記載の方法。
4. 前記第１の表現データベースに記憶される前記応答メッセージが、操作タイプに対応する式を備え、前記ユーザー操作活動中の前記表現ピクチャに対応する前記第１の応答メッセージを生成することが、
   前記表現ピクチャで前記送信側ユーザーの操作タイプを決定し、前記操作タイプに対応する式を取得することと、
   前記ユーザー操作活動の前記情報に関連する前記決定された操作タイプに対応する前記式に従って、前記ユーザー操作活動の前記情報に基づき前記表現ピクチャに対応する応答データを取得することと、
   前記応答データに従って、前記ユーザー操作活動の前記情報に合う前記第１の応答メッセージを生成すること、
   を含む、請求項２に記載の方法。
5. 前記式が、前記操作タイプ、及び前記操作タイプに対応する操作属性情報パラメータに従って決定される、請求項４に記載の方法。
6. 前記表現ピクチャに関して前記送信側ユーザーから前記ユーザー操作活動の前記情報を取得することが、
   前記送信側ユーザーによって前記表現ピクチャに対して実行される操作タイプの情報、及び前記操作タイプに対応する属性情報を取得することと、
   前記ユーザー操作活動の前記情報に関連する決定された操作タイプに対応する式に従って、前記ユーザー操作活動の前記情報に基づき前記表現ピクチャに対応する応答データを求めることであって、
   前記操作タイプの前記取得された情報及び前記操作タイプに対応する前記属性情報に従って前記式を決定することと、
   前記決定された式に従って、前記ユーザー操作活動の情報に基づいて前記表現ピクチャに対応する前記応答データを取得することと、
   を含む、ことと、
   を含む、請求項１に記載の方法。
7. 前記ユーザー操作活動の開始時点及び終了時点を取得することと、
   前記開始時点及び前記終了時点に従って前記ユーザー操作活動の時間分を計算することと、
   前記ユーザー操作活動の前記時間分に従って前記インスタント通信会話ウィンドウで前記第１の応答メッセージを再生することと、
   をさらに含む、請求項１に記載の方法。
8. 前記時間次元で再生性の前記連続性を有する前記情報が、複数の連続画像フレームを備える動画を備え、表示時間間隔が隣接画像フレーム間で事前に設定され、前記ユーザー操作活動の前記時間分に従って前記インスタント通信会話ウィンドウで前記第１の応答メッセージを再生することが、
   前記ユーザー操作活動の時間分を前記動画の総持続時間と比較することと、
   前記ユーザー操作活動の前記時間分が前記動画の前記総持続時間未満であるときに、前記ユーザー操作活動の前記時間分及び前記隣接画像フレーム間の前記表示時間間隔に従って再生される終了フレームを決定することと、
   前記終了フレームが再生されるまで、前記インスタント通信会話ウィンドウで前記動画を再生することと、
   を含む、請求項７に記載の方法。
9. 前記時間次元で再生性の前記連続性を有する前記情報が、複数の連続画像フレームを備える動画を備え、表示時間間隔が隣接画像フレーム間で事前に設定され、前記ユーザー操作活動の前記時間分に従って前記インスタント通信会話ウィンドウで前記第１の応答メッセージを再生することが、前記ユーザー操作活動の前記時間分が前記動画の総持続時間以上である場合に、前記動画が再生を終了するまで、前記インスタント通信会話ウィンドウで前記動画を再生することを含む、請求項７に記載の方法。
10. 前記表現ピクチャに関する前記送信側ユーザーからの前記ユーザー操作活動の前記情報が複数個を含み、複数の第１の応答メッセージが前記第１の表現データベースから発見され、前記方法が前記複数の第１の応答メッセージの部分または全てを使用し、組み合わせされた第１の応答メッセージを生成することをさらに含む、請求項１に記載の方法。
11. 受信側関係者に対応する前記受信側クライアントに前記表現ピクチャに関連する前記情報及び前記ユーザー操作活動の前記取得された情報を送信することが、
    前記受信側クライアントが前記ユーザー操作活動の部分または全ての中の前記表現ピクチャに対応する前記第２の応答メッセージを生成するのを容易にするために、前記受信側ユーザーに対応する前記受信側クライアントに、前記表現ピクチャに関係する前記発見された情報、及び前記ユーザー操作活動の前記取得された情報の部分または全てを送信すること、
    を含む、請求項１に記載の方法。
12. 複数の第１の応答メッセージが、前記ユーザー操作活動中の前記表現ピクチャに対応することが判明するとき、前記方法が、前記ユーザーに前記複数の第１の応答メッセージから１つを選択するようにプロンプトを出すためにプロンプトメッセージを提供することをさらに含む、請求項１に記載の方法。
13. 前記インスタント通信会話ウィンドウで前記表現ピクチャを提供した後、前記方法が、前記表現ピクチャに対して操作する機能、及び前記インスタント通信会話ウィンドウの前記表現ピクチャに対応する操作モード情報をユーザーに示すプロンプトメッセージを表示することをさらに含む、請求項１に記載の方法。
14. インスタント通信プロセスでの送信側クライアントの表現情報処理装置であって、表現データベースが事前にサーバ側でセットアップされ、前記表現データベースが表現ピクチャ、応答メッセージ、及び前記応答メッセージを開始するための操作活動情報を記憶し、前記装置が、
    インスタント通信会話ウィンドウで表現ピクチャを提供するために使用される表現ピクチャ提供ユニットと、
    前記表現ピクチャに関してユーザーから送信されるユーザー操作活動の情報を取得するために使用される操作活動情報取得ユニットと、
    前記サーバが、前記ユーザー操作活動の前記取得された情報に基づいて前記表現データベースを検索して、前記ユーザー操作活動中に前記表現ピクチャに対応する第１の応答メッセージ及び第２の応答メッセージを生成し、前記ユーザーに対応する送信側クライアントに前記第１の応答メッセージを戻し、受信側ユーザーに対応する受信側クライアントに前記第２の応答メッセージを送信するためサーバを促進する様に、サーバに前記ユーザー操作活動の前記取得された情報、前記表現ピクチャに関係する情報、前記ユーザーの識別情報、及び前記受信側ユーザーの識別情報をアップロードするために使用される情報アップロードユニットであって、前記第１の応答メッセージは、時間次元で再生性の連続性を有する情報を含む、情報アップロードユニットと、
    を備えた装置。