JP6236075B2 - インタラクティブ方法、インタラクティブ装置及びサーバー - Google Patents

Description

本発明は、インターネット応用技術分野に関し、より具体的には、画像に基づくインタラクション方法、装置及びサーバーに関する。

コンピューター技術とネットワーク技術の飛躍的な発展に伴い、人間の日常生活や学習、仕事においてインターネット（Internet）とインスタント・メッセージ技術が果たす役割は、ますます大きくなっている。また、モバイルインターネットの発展に伴い、インターネットのインスタント・メッセージはモバイル化に向かって発展している。

次々と現れるインターネットアプリケーションにおいて、既にタグ付けアプリケーションがいくつか登場している。タグ付けアプリケーションは、通常、画像コンテンツを含むアプリケーション（ソーシャルアプリケーション、画像管理アプリケーション等）に見られる。画像上で人の位置を検出しラベリングすることにより、ラベリングされた本人や友達に、ラベリングされた人の画像内の行動が提示される。ユーザーがタッチデバイスを用いてタグ付け操作を行う場合、ユーザーは、タッチパネルに触れることでアプリケーションを操作することができる。具体的には、タグ付けとは、画像において、ユーザーがタッチデバイスを用いて、タッチパネルに触れることで画像内の顔領域をラベリングし、当該顔領域に関連するユーザーの名前情報を標示し、顔領域と当該顔領域に関連するユーザーの名前情報とを、関連する友達へプッシュすることを意味する。また、ユーザーは更に、顔領域に対応するユーザーに関するリンクを同時に提供することができ、リンクをクリックすることにより、顔領域に対応するユーザーのその他の情報を確認することができる。

しかしながら、現在の各種タグ付けアプリケーションでは、検出された顔領域に対してユーザーが自ら当該顔領域に関連するユーザーの名前情報を標示し、当該名前情報を関連する友達にプッシュすることができるに過ぎない。よってユーザーは、顔領域の関連情報（説明情報等）を適宜カスタマイズすることができない。また、ユーザーは顔領域の関連情報をカスタマイズできないので、当然ながら、カスタマイズした関連情報を関連する友達へプッシュすることができない。結果として、関連する友達は、顔領域に関する全般の豊富な情報を取得することができない。更に、関連する友達は顔領域をプッシュするユーザーによりカスタマイズされた当該顔領域の情報を取得することができないので、画像をプッシュするユーザーと関連する友達とのインタラクションに影響が出る。

更に、現在の技術では、顔領域に関連するユーザーの名前情報を表示する方法が１つしかないため、ユーザーの要求に従って表示方法を調整することができない。また、自動認識された顔領域を手動で調整することができず、操作が非常に煩雑になっている。

本発明の実施形態は、インタラクション成功率を向上するために、画像に基づくインタラクションの方法を提供する。

本発明の実施形態は更に、インタラクション成功率を向上するために、画像に基づくインタラクティブ装置を提供する。

本発明の実施形態は更に、インタラクション成功率を向上するために、サーバーを提供する。

本発明の実施形態の具体的な構成は、以下のとおりである。

画像に基づくインタラクション方法は、
画像内で顔領域を認識するステップと、
該顔領域に対応する顔フレームを生成するステップと、
該顔フレームに関連するラベルフレームを生成するステップと、
該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップと、
を含む。

該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップは、
サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、
ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、
のうちいずれか１つにより実行される。

画像に基づくインタラクティブ装置は、顔領域認識ユニット、顔フレーム生成ユニット及びラベル情報処理ユニットを含む。

顔領域認識ユニットは、画像内で顔領域を認識する。

顔フレーム生成ユニットは、該顔領域に対応する顔フレームを生成する。

ラベル情報処理ユニットは、該顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。ラベル情報処理ユニットは、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程とのうち、いずれか１つを実行することにより、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。

サーバーは、ラベル情報記憶ユニット及びラベル情報送信ユニットを有する。

ラベル情報記憶ユニットは、予め設定されたラベル情報を記憶する。

ラベル情報送信ユニットは、顔領域に関連するラベル情報をクライアントへ送信し、クライアントにより、ラベルフレーム内に当該ラベル情報を提示する。ここで、該顔領域はクライアントにより画像内で認識され、該ラベルフレームは、該顔領域に対応する顔フレームに関連する。

上述の技術的構成から明らかなように、本発明の実施形態では、まず画像内で顔領域を認識し、該顔領域に対応する顔フレームを生成する。更に、該顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップは、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、のうちいずれか１つにより実行される。このような構成から、本発明の実施形態を適用すると、サーバーから送出されるラベル情報又はユーザーにより入力されるカスタムのラベル情報に基づいて、ラベルフレーム内にラベル情報を提示することができ、名前の表示に限定されない。本発明の実施形態では、タグ付け領域の関連情報（コメント情報等）をカスタマイズできるだけでなく、これらの関連情報を関連する友達へプッシュすることができる。結果として、本発明の実施形態により、顔領域をプッシュするユーザーと関連する友達とのインタラクションを改善することができる。

本発明の実施形態に係る、画像のインタラクション方法を示すフローチャートである。 本発明の実施形態に係る、顔領域の選択を示す概略図である。 本発明の実施形態に係る、ラベル情報の生成を示す概略図である。 本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの方法を説明するフローチャートである。 本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの装置を示す第１の構成図である。 本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの装置を示す第２の構成図である。 本発明の実施形態に係るサーバーの構成図である。 本発明の実施形態に係る、ラベル情報の表示を説明する第１の概略図である。 本発明の実施形態に係る、ラベル情報の表示を説明する第２の概略図である。

本発明の目的、技術構成及び利点を更に明確にするために、添付の図面と併せて本発明を更に詳しく説明する。

本発明の実施形態では、ユーザーは、画像内の顔領域を、自身の関係リンクに含まれる友達又は友達でない人物に関連付けることができると同時に、顔検出技術を併用して、カスタマイズした顔フレームを添加することができる。このように、操作を最大限に減らすことができる。

タグ付けアプリケーションとは、主に、１つの画像において、ユーザーが画像内の顔領域を検出してラベリングし、この顔領域に関連する情報を、ユーザーの友達関係リンクに含まれる特定の関連ユーザーにプッシュすることができるものを指す。具体的には、本発明の実施形態がタグ付けアプリケーションに適用される場合、関係リンクから検索された友達を選択し、サーバーから送出されるラベル情報を、これらの友達にプッシュすることができる。更に、ユーザーにより入力されカスタマイズされたラベル情報を選択し、ユーザーにより入力されカスタマイズされたラベル情報を、友達にプッシュすることができる。

好ましくは、サーバーにより送出されるラベル情報は、具体的には、サーバーにより予め設定された、面白味のある興趣ラベル情報であってよい。同時に、ラベル情報は、サーバーにより動的に構成されるラベルフレーム背景情報を用いて生成されるラベルフレームによって、表示されてよい。これにより、ラベルの表示形式を豊富にすることができる。

図１は、本発明の実施形態に係る、画像に基づくインタラクション方法を示すフローチャートである。

図１に示すように、当該方法は以下のステップを含む。

ステップ１０１：クライアントは画像内で顔領域を認識する。

ここで、ユーザーが画像内で認識した顔領域を受信してもよいし、顔認識アルゴリズムを適用して、機械により画像内で顔領域を自動認識してもよい。

本発明の実施形態では、好ましくは、顔認識アルゴリズムを採用して顔領域を自動認識する。

顔認識とは、特に、顔の視覚特徴情報を比較することにより識別認証を行うコンピューター技術である。一般には、顔認識システムには、画像の取得、顔の位置決め、画像の前処理、顔認識（身分確認又は身分検索）等が含まれる。

現在よく用いられる顔認識アルゴリズムは、以下のように分類される。すなわち、顔特徴点に基づく認識アルゴリズム、顔画像全体に基づく認識アルゴリズム、テンプレートに基づく認識アルゴリズム、神経回路を利用して認識を実行するアルゴリズム等である。更に具体的には、本発明の実施形態に適用可能な顔認識アルゴリズムには、主成分分析（Principal Component Analysis：ＰＣＡ）アルゴリズム、独立成分分析（Independent Component Analysis：ＩＣＡ）アルゴリズム、アイソメトリック特徴マッピング（Isometric Feature Mapping：ＩＳＯＭＡＰ）、核主成分分析（Kernel Principal Component Analysis：ＫＰＣＡ）アルゴリズム、線形主成分分析（Linear Principal Component Analysis：ＬＰＣＡ）アルゴリズム等が含まれる。

当該技術分野の当業者には当然であるように、顔認識アルゴリズムの例示として詳細なリストを上述したが、本発明の実施形態はこれらに限定されない。

図２は、本発明の実施形態に係る、顔領域の選択を示す図である。ユーザー自身が画像内で顔領域を認識してもよいし、顔認識アルゴリズムを適用して、機械により画像内で顔領域を自動認識してもよい。図２には、顔を縁取ったフレーム２１が示されており、このフレームを顔フレームと呼ぶことがある。以下のステップ１０２において、顔フレームの生成プロセスを説明する。

ステップ１０２：クライアントは顔領域に対応する顔フレームを生成する。

顔認識アルゴリズムを適用して機械により画像内で顔領域を自動認識する場合、顔検出技術を利用して、クライアントのローカル又はネットワーク側に記憶される顔検出ライブラリを用いて、入力された画像に顔検出を実行し、その後、画像内の顔の位置情報を出力することができる。このような情報は、ユーザーが調節できるように、縁の形式を初期化することにより画像上に表示することができる。ユーザーが図中でドラッグ等により最終的に確定した位置情報に基づいて、顔フレームを生成することができる。

ユーザー自身が画像内で顔領域を認識する場合、ユーザーが図中でドラッグ等により確定した位置情報に基づいて、顔フレームを生成してよい。

同時に、生成された顔フレームには、ユーザーによって編集工程が実行されてよい。ユーザーは、以下の編集工程のうち任意の１つを採用して、顔フレームを編集してよい。

顔フレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点以外の任意の位置に触れて、接触点を移動させる。画面上の顔フレームは接触点の移動に伴って移動し、顔フレームが適切な位置まで移動すると、接触が中断される。

顔フレームをズームする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点位置に触れて、接触点を移動させる。接触点の移動に伴って顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される。

顔フレームを削除する。一実施形態において、タッチパネルを介して、ユーザーは顔フレーム内に削除ボタンが出現するまで、顔フレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。

以上の編集工程は、ポインティングデバイスの操作により実現されてもよい。ポインティングデバイスは、入力デバイスである。具体的には、ポインティングデバイスはインターフェースデバイスであってよい。ポインティングデバイスにより、ユーザーは、空間データ（すなわち、連続データ又は多次元データ）をコンピューターへ入力することができる。マウスは、最もよく見られるポインティングデバイスのひとつである。ポインティングデバイスの動きは、コンピューター機器の画面上のポインター、カーソル又はその他の代替物の動きにより表される。すなわち、ポインティングデバイスにより、コンピューター機器の画面上のポインター、カーソル又はその他代替物の動きを制御することができる。

好ましくは、複数の顔フレームが生成される場合、各顔フレームの位置を制限して、顔フレームが重なり合わないようにし、且つできるだけ各顔フレームが画像表示領域内に保持されるようにする必要がある。

ステップ１０３：クライアントは、顔フレームに関連するラベルフレームを生成し、当該ラベルフレーム内に顔領域に関連するラベル情報を提示する。ラベルフレーム内に顔領域に関連するラベル情報を提示するステップは、サーバーから顔領域に関連するラベル情報を取得し、当該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、ユーザーにより入力された顔領域に関連するラベル情報を受信し、当該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、のうちいずれか１つにより実行される。

ここで、顔フレームが生成された後すぐに、顔フレームに関連するラベルフレームが生成される。ラベルフレームは、ラベル情報を表示する。

一実施形態において、ネットワーク側のサーバーにより、クライアントにラベルフレーム背景情報が提供されてよく、クライアントは、ラベルフレーム背景情報に基づいてラベルフレームを生成してよい。このように、サーバーはバックグラウンドでラベルフレーム背景情報を調整し、複数の表現形式をもつラベルフレームをユーザーに提供することができる。例えば、サーバーにより提供されるラベルフレーム背景情報には、具体的には、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色等が含まれてよい。

任意に、ラベルフレームは、ユーザーの興味に基づいてユーザーによりローカルで生成されてよい。例えば、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色は、予めユーザーによりローカルで設定されてよい。クライアントは、設定されたラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色に基づいて、ラベルフレームを自動的に生成してよい。

一実施形態において、クライアントは、サーバーから顔領域に関連するラベル情報を取得し、生成されたラベルフレーム内に当該ラベル情報を表示する。顔領域に関連するラベル情報は、好ましくは、顔領域に対するコメント情報である。例えば、張三という名前の人の顔が顔領域で認識される場合、ラベル情報は「かっこいい」等の直接的なニュアンスのコメント情報であってもよく、「３歳の優勝者」等の間接的なニュアンスのコメント情報であってもよい。

図３は、本発明の実施形態に係る、ラベル情報の生成を示す概略図である。

予め設定されたラベル情報候補語彙（最近ネットワークで話題のキーワード、ユーザーが言及したカスタム語等）をサーバーに予め記憶することにより、ラベル情報リストを構成することができる。ラベル情報リストは、サーバーによりユーザーのクライアントへ送信される。ラベル情報リストから、ラベル情報として適切なラベル情報候補語彙がユーザーにより選択され、ラベルフレーム内に表示される。ここで、ラベル情報リストに含まれるラベル情報候補語彙は編集できることが好ましい。

好ましくは、ラベル情報リストの生成から送信までのプロセスには、具体的には以下の工程を含む。サーバーにより、ラベル情報候補語彙の使用頻度を計算し、ラベル情報候補語彙を当該使用頻度で降順ソートする。サーバーにより、ソート結果に従ってラベル情報リストを生成する。ここで、当該ラベル情報リストには、所定数の目的ラベル情報候補語彙が記憶される。サーバーにより、ラベル情報リストをクライアントへ送出する。クライアントにより、ラベル情報リストを解析してラベル情報候補語彙を取得し、ラベル情報候補語彙から、顔領域に関連する語彙を選択し、当該顔領域に関連する語彙をラベルフレーム内に表示する。

一実施形態において、ユーザーは更に、クライアントのラベルフレームにおいて、自分でユーザーカスタムラベル情報を直接編集することができる。ユーザーカスタムラベル情報は、認識された顔領域に関連するコメント情報、任意に表されるユーザーの心情的なコメント情報等であってよい。

サーバーによりクライアントにラベル情報が提供される場合、サーバーは、バックグランド動作でカスタム語の使用状況の統計をとり、現段階でのネットワーク流行語を整理することによって、ラベル情報を生成してよい。ラベル情報は、好ましくは面白味のある興趣ラベル情報である。興趣ラベル情報は、バックグラウンド動作でカスタム語の使用状況の統計をとり、現段階でのネットワーク流行語を整理することによって、生成されてよい。また、より鮮やかに見せるために、視覚的な設計に基づいて各フレームの表示形式や色等のコンテンツを自動的に構成してよい。

好ましくは、ラベルフレームを編集することができる。具体的には、以下の編集工程のうち少なくとも１つを採用して、ラベルフレームに対して編集工程を実行することができる。

ラベルフレームの色を調整する。一実施形態において、タッチパネルを介して、ユーザーは予め設定された色セットのうち１つの色をクリックする。このように、顔フレームはクリックされた色に変更される。

ラベルフレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーはラベルフレームの右下角頂点以外の任意の位置に触れ、接触点を移動させる。画面上のラベルフレームは接触点の移動に伴って移動し、ラベルフレームが適切な位置まで移動すると、接触が中断される。

ラベルフレームをズームする。一実施形態において、タッチパネルを介して、ユーザーはラベルフレームの右下角の頂点位置に触れ、接触点を移動させる。接触点の移動に伴ってラベルフレームのサイズが変化し、適切なラベルフレームサイズが得られると、接触が中断される。

ラベルフレームを削除する。一実施形態において、タッチパネルを介して、ユーザーはラベルフレーム内に削除ボタンが出現するまで、ラベルフレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。

上記のラベルフレームの編集工程は、ポインティングデバイスの操作により実行されてもよい。

好ましくは、クライアントは更に、顔領域に対応するユーザーのユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュしてよい。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）へ画像、ラベルフレーム及びラベル情報をプッシュしてよい。

好ましくは、クライアントは更に、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）の友達（すなわち李四と王五）へ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。

一実施形態において、クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。このように、サーバーは更に、受信された画像、ラベルフレーム及びラベルフレーム内のラベル情報に基づいて、顔領域に対応するユーザーのユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）へ画像、ラベルフレーム及びラベル情報をプッシュしてよい。

一実施形態において、クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。このようにして、サーバーは更に、受信された画像、ラベルフレーム及びラベルフレーム内のラベル情報に基づいて、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレームに表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ、画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）の友達（すなわち李四と王五）へ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。

本発明の実施形態により提供される画像に基づくインタラクション方法は、多くのアプリケーションに適用可能であり、特に、現在非常に広く受け入れられているタグ付けアプリケーションに適する。

図４は、本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの方法を説明するフローチャートである。

図４に示すのは、本発明により提供される画像に基づくタグ付けアプリケーションを実行する方法の具体的な実施形態である。当該方法は、具体的には以下のステップを含む。

ステップ４０１：クライアントは、顔領域が手動で検出されラベリングされるか否かを判定する。顔領域が手動で検出されラベリングされる場合は、ステップ４０２とそれ以降のステップが実行される。顔領域が手動で検出されラベリングされない場合は、ステップ４０３とそれ以降のステップが実行される。手動のタグ付けでは、クライアントは、ユーザーが肉眼で判断した顔領域の位置情報を受信する。

ステップ４０２：クライアントは、ユーザーが肉眼で判断した顔領域の位置情報を受信し、該顔領域の位置情報に基づいて、顔フレームを生成する。また、ステップ４０４とそれ以降のステップを実行する。

ステップ４０３：クライアントは、顔自動認識アルゴリズムを適用して、画像内で顔領域を自動認識し、顔フレームを添加する。顔フレームには、認識された顔領域が含まれる。ここで、具体的には、クライアントは、主成分分析アルゴリズム（ＰＣＡ）、独立成分分析アルゴリズム（ＩＣＡ）、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）、核主成分分析アルゴリズム（ＫＰＣＡ）、線形主成分分析アルゴリズム（ＬＰＣＡ）等のアルゴリズムを採用して、顔領域を自動認識してよい。また、ステップ４０４とそれ以降のステップが実行される。

ステップ４０４：クライアントは、ラベル情報がカスタマイズされるか否かを判定する。ラベル情報がカスタマイズされる場合は、ステップ４０５とそれ以降のステップが実行される。ラベル情報がカスタマイズされない場合は、ステップ４１０とそれ以降のステップが実行される。ここで、カスタムラベル情報とは、サーバーのバックグラウンドにより提供されるラベル情報である。

ステップ４０５：クライアントは、サーバーからラベルフレーム背景情報及びラベル情報をダウンロードする。

ステップ４０６：クライアントは、ラベルフレーム背景情報に基づいてラベルフレームを生成し、ラベル情報をラベルフレーム内に表示する。

ステップ４０７：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報を関連ユーザーへプッシュする必要があるか否かを判定する。プッシュする必要がある場合は、ステップ４０８とそれ以降のステップを実行する。プッシュする必要がない場合は、ステップ４０９とそれ以降のステップを実行する。ここで、関連ユーザーは、顔領域に対応するユーザー及び／又は顔領域に対応するユーザーの友達関係リンクに含まれるユーザーであってよい。

ステップ４０８：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報を関連ユーザーへプッシュし、プロセスを終了する。

ステップ４０９：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードし、プロセスを終了する。

ステップ４１０：クライアントは、ラベルフレームを生成し、顔領域に対応するユーザー識別情報を選択し、ラベルフレーム内にユーザー識別情報を表示する。

ステップ４１１：クライアントは、ユーザー識別情報に対応するユーザーのクライアントへ、画像、ラベルフレーム及びラベルフレーム内にラベリングされたユーザー識別情報をプッシュする。

上述の詳細な分析に基づき、本発明の実施形態は更に、画像に基づくインタラクティブ装置を提供する。

図５Ａは、本発明の実施形態に係る、画像に基づくインタラクティブ装置の第１の構成図である。装置は、好ましくは、インスタント・メッセージクライアントに位置付けられてよい。インスタント・メッセージクライアントは、具体的には、表示機能を有するコンピューター機器であってよい。

図５Ａに示すように、装置は、顔領域認識ユニット５０１、顔フレーム生成ユニット５０２及びラベル情報処理ユニット５０３を有する。

顔領域認識ユニット５０１は、画像内で顔領域を認識する。

顔フレーム生成ユニット５０２は、顔領域に対応する顔フレームを生成する。

ラベル情報処理ユニット５０３は、顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。該ラベルフレーム内に該顔領域に関連するラベル情報を提示する工程は、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、のうちいずれか１つにより実行される。

一実施形態において、顔領域認識ユニット５０１は、顔自動認識アルゴリズムを適用して、画像内の顔領域を認識する。好ましくは、顔自動認識アルゴリズムには、主成分分析アルゴリズム（ＰＣＡ）、独立成分分析アルゴリズム（ＩＣＡ）、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）、核主成分分析アルゴリズム（ＫＰＣＡ）、線形主成分分析アルゴリズム（ＬＰＣＡ）等が含まれる。

一実施形態において、装置は更に、顔フレーム編集ユニット５０４を有する。

顔フレーム編集ユニット５０４は、顔フレーム生成ユニット５０２により生成される顔フレームを編集する。ここで、顔フレームには、以下の編集工程のうち少なくとも１つの編集工程が実行される。

顔フレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角頂点以外の任意の位置に触れ、接触点を移動させる。画面上の顔フレームは接触点の移動に伴って移動し、顔フレームが適切な位置まで移動すると、接触が中断される。

顔フレームをズームする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点位置に触れ、接触点を移動させる。接触点の移動に伴って顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される。

顔フレームを削除する。一実施形態において、タッチパネルを介して、ユーザーは顔フレーム内に削除ボタンが出現するまで、顔フレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。

上記の編集工程は、ポインティングデバイスの操作により実行されてもよい。

好ましくは、ラベル情報処理ユニット５０３は、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成する。ここで、ラベルフレーム背景情報には、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色が含まれる。

一実施形態において、ラベル情報処理ユニット５０３は、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成する。

ラベル情報処理ユニット５０３は更に、ユーザーにより入力されるユーザーカスタムラベル情報を受信し、ラベルフレーム内に当該ユーザーにより入力されるユーザーカスタムラベル情報を提示する。

ラベル情報処理ユニット５０３は更に、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。

図５Ｂは、本発明の実施形態に係る、画像に基づくインタラクティブ装置の第２の構成図である。該装置は、好ましくは、インスタント・メッセージクライアントに位置付けられてよい。インスタント・メッセージクライアントは、具体的には、表示機能を有するコンピューター機器であってよい。

本実施例において、装置は、顔領域認識ユニット７０１、顔フレーム生成ユニット７０２、ラベル情報処理ユニット７０３、顔フレーム編集ユニット７０４の他に、更にラベル情報プッシュユニット７０５を有する。ラベル情報プッシュユニット７０５は、顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザーのクライアントへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。

ラベル情報プッシュユニット７０５は更に、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーのクライアントへ、画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、友達関係リンクに含まれるユーザーのクライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。

上述の詳細な分析に基づき、本発明の実施形態は更にサーバーを提供する。

図６は、本発明の実施形態に係るサーバーを示す構成図である。図６に示すように、サーバーは、ラベル情報記憶ユニット６０１及びラベル情報送信ユニット６０２を有する。

ラベル情報記憶ユニット６０１は、予め設定されたラベル情報を記憶する。

ラベル情報送信ユニット６０２は、顔領域に関連するラベル情報をクライアントへ送信し、クライアントにより、ラベルフレーム内に当該ラベル情報を提示する。ここで、顔領域はクライアントにより画像内で認識され、ラベルフレームは、顔領域に対応する顔フレームに関連する。

一実施形態において、サーバーは更に、ラベルフレーム背景情報送信ユニット６０３を有する。

ラベルフレーム背景情報送信ユニット６０３は、クライアントにラベルフレーム背景情報を提供することにより、クライアントに当該ラベルフレーム背景情報に基づいてラベルフレームを生成させる。

好ましくは、サーバーは更に、ラベル情報プッシュユニット６０４を有する。

ラベル情報プッシュユニット６０４は、クライアントによりアップロードされた画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信し、顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。

任意に、ラベル情報プッシュユニット６０４は更に、クライアントによりアップロードされる画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信し、顔領域に対応するユーザー識別情報を検索し、顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ画像、ラベルフレーム及びラベル情報をプッシュすることができる。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。

一実施形態において、ラベル情報記憶ユニット６０１は、予め設定されたラベル情報候補語彙の使用頻度を計算し、ラベル情報候補語彙を使用頻度で降順ソートし、ソート結果に従ってラベル情報リストを生成する。ここで、ラベル情報リストには、所定数の目的ラベル情報候補語彙が記憶される。

図７は、本発明の実施形態に係る、ラベル情報の表示を説明する第１の概略図である。図７に示す画像では、顔フレーム７１に関連するラベルフレーム７２内に、ラベル情報７３「テイテイ」が提示される。当該ラベル情報７３は、顔フレーム７１に対応するユーザーの名前情報である。図８は、本発明の実施形態に係る、ラベル情報の表示を説明する第２の概略図である。図８に示す画像では、顔フレーム８１に関連するラベルフレーム８２内に、ラベル情報８３「林は３歳の時に優勝した」が提示される。当該ラベル情報８３は、画像をプッシュするユーザーの、顔フレーム８１に対応するユーザーに対するコメント情報である。

例えば、画像、ラベルフレーム及びラベル情報を動的情報（フィード：Ｆｅｅｄ）として直接表示して、サーバーの構成に基づいてラベルを表示してよい。このような画像、ラベルフレーム及びラベル情報を表示することにより、表示を多様化し、より面白くすることができる。更に、画像内の友達情報又はラベル情報は、ユーザーが画像をアップロードする際に、補助情報の形でサーバーに記憶することができる。また、ユーザーの友達がサーバーにログインし友達動的情報にアクセスする場合、ユーザー画像内の補助情報を送出することにより、ラベル情報をモバイル端末に表示することができる。

上述の実施例の説明から、当該技術分野の当業者であれば、ソフトウェアと必要なハードウェアプラットフォームとを用いて、上述の実施形態を実施可能であることが明白に理解できるであろう。当然ながらハードウェアを用いることも可能であるが、多くの場合、ソフトウェアと必要なハードウェアプラットフォームとを用いる方がより好ましい。このような理解に基づき、本発明の技術的構成の本質、すなわち従来技術に貢献する部分は、ソフトウェアプロダクトの形で実現することができる。そのようなコンピューターソフトウェアプロダクトは、記憶媒体に、コンピューターデバイス（パーソナルコンピューター、サーバー、ネットワークデバイス等であってよい）に上述の実施形態の方法を実行させる命令を記憶する。

当該技術分野の当業者には当然であるように、上述の実施形態における装置のモジュールは、実施形態の説明に従って実施形態の装置に位置付けられてもよいし、実施形態とは異なる１以上の装置に位置付けられてもよい。上述の実施形態のモジュールは、１つのモジュールとして組み合わされてもよいし、更に複数のサブモジュールに分割されてもよい。

まとめると、本発明の実施形態では、まず画像内で顔領域を認識し、該顔領域に対応する顔フレームを生成する。サーバーから該顔領域に関連するラベル情報を取得し、ラベルフレーム内に当該ラベル情報を提示する工程と、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、のうちいずれか１つにより、ラベルフレーム内に該顔領域に関連するラベル情報を提示する。このように、本発明の実施形態を適用すると、タグ付領域の関連情報（コメント情報等）をカスタマイズすることができ、更に、このような関連情報を関連する友達にプッシュすることができる。結果として、本発明の実施形態により、顔領域をプッシュするユーザーと関連する友達とのインタラクションを改善することができる。

上記は本発明の好ましい実施形態に過ぎず、本発明の保護範囲を限定するものではない。本発明の趣旨及び原則において為される変形、均等物、変更等は、全て本発明の保護範囲に包含される。

Claims (14)

1. 画像に基づくインタラクティブ方法であって、
   画像内で顔領域をクライアントが認識するステップと、
   前記顔領域に対応する顔フレームを前記クライアントが生成するステップと、
   サーバーからラベルフレーム背景情報を取得し、該ラベルフレーム背景情報に基づいてラベルフレームを生成するステップであって、前記ラベルフレーム背景情報は、ラベルフレームのサイズ、ラベルフレームの展開形式及びラベルフレームの色のうち少なくとも１つを含む、ステップと、
   サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示することを実行することにより、前記クライアントが、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するステップと、
   前記クライアントが、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するステップと、
   ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、
   を有し、当該インタラクティブ方法は：
   前記サーバーにより、少なくとも１つの予め設定されたラベル情報候補語彙の使用頻度を計算し、当該少なくとも１つのラベル情報候補語彙を当該使用頻度に基づいて降順にソートして、ソート結果を取得するステップと、
   前記サーバーにより、前記ソート結果に従って、所定数の少なくとも１つの目的ラベル情報候補語彙を含むラベル情報リストを生成するステップと、
   を更に含み、
   サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得された前記ラベル情報を提示することは、
   前記クライアントが、前記サーバーから前記ラベル情報リストを取得するステップと、
   前記クライアントが、前記ラベル情報リストを解析して、少なくとも１つのラベル情報候補語彙を得るステップと、
   前記クライアントが、前記ラベル情報リストの少なくとも１つのラベル情報候補語彙から、前記顔領域に関連する少なくとも１つのラベル情報候補語彙を選択するステップと、
   前記クライアントが、前記ラベルフレーム内に、前記顔領域に対応する前記少なくとも１つのラベル情報候補語彙を表示するステップと、
   を含む、インタラクティブ方法。
2. 主成分分析（ＰＣＡ）アルゴリズムと、独立成分分析（ＩＣＡ）アルゴリズムと、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）と、核主成分分析（ＫＰＣＡ）アルゴリズムと、線形主成分分析（ＬＰＣＡ）アルゴリズムとのうち何れかを実行することにより、前記顔領域が認識される、
   請求項１に記載のインタラクティブ方法。
3. 前記顔フレームにおいて右下角の頂点以外の位置が動かされる場合に、前記顔フレームが適切な位置まで移動するように、前記顔フレームを接触点の移動に伴って移動させる工程と、
   前記右下角の頂点位置が触られた場合に、前記顔フレームの適切なサイズが得られるように、接触点の移動に伴って前記顔フレームのサイズを変化させる工程と、
   削除ボタンがクリックされた場合に、前記顔フレームを削除する工程と、
   のうち少なくとも１つの工程を、前記顔フレームについて実行するステップ、
   を更に含む、請求項１に記載のインタラクティブ方法。
4. 前記顔領域に対応するユーザーのユーザー識別情報を検索するステップと、
   前記顔領域に対応するユーザーの前記ユーザー識別情報を前記ラベルフレーム内に表示するステップと、
   当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップと、
   を更に含む、請求項１乃至３のいずれか一項に記載のインタラクティブ方法。
5. 画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードし、サーバーにより、前記顔領域に対応するユーザーのユーザー識別情報を検索するステップ；
   前記顔領域に対応するユーザーの前記ユーザー識別情報を前記ラベルフレーム内に表示するステップ；
   当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップ、
   を更に含む、請求項１乃至３のいずれか一項に記載のインタラクティブ方法。
6. 画像に基づくインタラクティブ装置であって：
   画像内で顔領域を認識する顔領域認識ユニットと、
   前記顔領域に対応する顔フレームを生成する顔フレーム生成ユニットと、
   サーバーからラベルフレーム背景情報を取得し、該ラベルフレーム背景情報に基づいてラベルフレームを生成するラベル情報処理ユニットであって、前記ラベルフレーム背景情報は、ラベルフレームのサイズ、ラベルフレームの展開形式及びラベルフレームの色のうち少なくとも１つを含む、ラベル情報処理ユニットと、
   を備え、前記ラベル情報処理ユニットは、
   サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、
   ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、
   のうち何れかを実行することにより、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示し、
   サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程は、
   サーバーからラベル情報リストを取得する工程であって、前記ラベル情報リストは所定数の少なくとも１つの目的ラベル情報候補語彙を含み、前記サーバーは、少なくとも１つの予め設定されたラベル情報候補語彙の使用頻度を計算し、当該少なくとも１つのラベル情報候補語彙を当該使用頻度で降順にソートすることによって得られたソート結果に従って、前記ラベル情報リストを生成する、工程と、
   前記ラベル情報リストを解析して、ラベル情報候補語彙を得る工程と、
   前記ラベル情報リストの少なくとも１つのラベル情報候補語彙から、前記顔領域に関連する少なくとも１つのラベル情報候補語彙を選択する工程と、
   前記ラベルフレーム内に、前記顔領域に対応する少なくとも１つのラベル情報候補語彙を表示する工程と、
   を含む、インタラクティブ装置。
7. 主成分分析（ＰＣＡ）アルゴリズムと、独立成分分析（ＩＣＡ）アルゴリズムと、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）と、核主成分分析（ＫＰＣＡ）アルゴリズムと、線形主成分分析（ＬＰＣＡ）アルゴリズムとのうち何れかを実行することにより、前記顔領域認識ユニットは前記顔領域を認識する、
   請求項６に記載のインタラクティブ装置。
8. 当該インタラクティブ装置は顔フレーム編集ユニットを更に備え、
   当該顔フレーム編集ユニットは、前記顔フレームに対して、
   前記顔フレームにおいて右下角の頂点以外の位置が動かされる場合に、前記顔フレームが適切な位置まで移動するように、前記顔フレームを接触点の移動に伴って移動させる工程と、
   前記右下角の頂点位置が触られた場合に、前記顔フレームの適切なサイズが得られるように、接触点の移動に伴って前記顔フレームのサイズを変化させる工程と、
   削除ボタンがクリックされた場合に、前記顔フレームを削除する工程と、
   のうち少なくとも１つの工程を、前記顔フレームについて実行する、
   請求項６に記載のインタラクティブ装置。
9. 前記ラベル情報処理ユニットは更に、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードして、サーバーが前記顔領域に対応するユーザーのユーザー識別情報を検索するようにし、前記顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
   請求項６に記載のインタラクティブ装置。
10. 当該インタラクティブ装置はラベル情報プッシュユニットを更に備え、
    当該ラベル情報プッシュユニットは、前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザー及び／又は当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ、前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
    請求項６乃至９のいずれか一項に記載のインタラクティブ装置。
11. 予め設定されたラベル情報を記憶するラベル情報記憶ユニットと、
    顔領域に関連するラベル情報をクライアントへ送信し、クライアントがラベルフレーム内に当該ラベル情報を提示するようにするラベル情報送信ユニットであって、前記顔領域はクライアントにより画像内で認識され、前記ラベルフレームは、前記顔領域に対応する顔フレームに関連する、ラベル情報送信ユニットと、
    クライアントにラベルフレーム背景情報を提供して、当該クライアントが当該ラベルフレーム背景情報に基づいて前記ラベルフレームを生成するようにするラベルフレーム背景情報送信ユニットであって、前記ラベルフレーム背景情報は、ラベルフレームのサイズ、ラベルフレームの展開形式及びラベルフレームの色のうち少なくとも１つを含む、ラベルフレーム背景情報送信ユニットと、
    を備え、前記ラベル情報記憶ユニットは更に、少なくとも１つの予め設定されたラベル情報候補語彙の使用頻度を計算し、当該少なくとも１つのラベル情報候補語彙を当該使用頻度で降順にソートしてソート結果を取得し、前記ソート結果に従って、所定数の少なくとも１つの目的ラベル情報候補語彙を含むラベル情報リストを生成する、
    サーバー。
12. 前記ラベル情報送信ユニットは更に、クライアントによりアップロードされるラベルフレーム内のラベル情報、ラベルボックス及び画像を受信する、
    請求項１１に記載のサーバー。
13. 前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報の対応するユーザーへ、前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
    を更に備える、請求項１２に記載のサーバー。
14. 前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ、前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
    を更に備える、請求項１２に記載のサーバー。

Images