JP6550156B2 - ライブストリーミング映像生成方法及び装置、ライブサービス提供方法及び装置、並びにライブストリーミングシステム - Google Patents

Description

本発明は、カメラで撮影される写真または画面に付加されるステッカーに基づく映像処理及びサービス提供方法に関する。

最近、放送ネットワークを介したＴＶ放送及びケーブル放送だけでなく、インターネットを介した放送が活性化されて、視聴者は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して多様なコンテンツの放送を経験するようになった。特に、おもしろいコンテンツを扱うプロードキャストジョッキー（ＢＪ：Ｂｒｏａｄｃａｓｔ Ｊｏｃｋｅｙ）の放送の場合は、多数の視聴者が視聴していて広告効果などに活用価値があるにもかかわらず、一般個人放送でこのような部分まで全て考慮することは難しくて技術的に適切に活用できない問題点がある。また、放送局で活用可能な多様な放送用特殊効果を一般個人放送で全て活用することは難しい問題点がある。

本発明の一態様による目的は、ライブ放送サービスのプロードキャストジョッキーが多様な形態のリアルタイムアニメーションステッカー及びエフェクト（ｅｆｆｅｃｔ）を活用することではるかに豊富なリッチメディア放送を進行可能にするライブストリーミング映像生成方法及び装置、ライブサービス提供方法及び装置、並びにライブストリーミングシステムを提供することにある。

前記目的を達成するための本発明の一態様によるクライアント端末におけるライブ（Ｌｉｖｅ）ストリーミング映像生成方法は、ストリーミング映像を生成するためのプラットフォーム情報を取得するステップ、前記プラットフォーム情報に基づいて第１のストリーミング映像を生成するステップ、前記第１のストリーミング映像をディスプレイするステップ、ユーザ入力により、前記ディスプレイされる第１のストリーミング映像の少なくとも一部を飾るためのステッカー（ｓｔｉｃｋｅｒ）及びエフェクト（ｅｆｆｅｃｔ）の中から少なくとも一つを選択するステップ、及び前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記第１のストリーミング映像にリアルタイムで適用することで第２のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を生成するステップを含む。

前記第１のストリーミング映像を生成するステップは、カメラで被写体を撮影するステップ及び前記撮影された被写体に基づいて第１のストリーミング映像を生成するステップを含む。

前記ステッカー及びエフェクトのうち少なくとも一つは、前記被写体を飾るためのステッカー及びエフェクトのうち少なくとも一つを含む。

前記第２のストリーミング映像を生成するステップは、前記被写体をリアルタイムでトラッキング（ｔｒａｃｋｉｎｇ）してトラッキング情報を取得するステップ及び前記取得されたトラッキング情報に基づいて、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記被写体に適用することで前記第２のストリーミング映像を生成するステップを含む。

前記トラッキング情報は、前記被写体の少なくとも一つの特徴点と関連付けられた情報を含み、前記トラッキング情報に含まれている前記少なくとも一つの特徴点を媒介にして前記選択されたステッカー及びエフェクトのうち少なくとも一つが前記被写体に適用される。

前記少なくとも一つの特徴点と関連付けられた情報は、前記少なくとも一つの特徴点の動き情報を含み、前記少なくとも一つの特徴点の動き情報に基づいて、前記被写体の動きに対応して前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記被写体に適用する。

前記少なくとも一つの特徴点である動き情報に基づいて、前記動き情報に対応されるステッカー及びエフェクトの中から少なくとも一つが選択される。

前記ライブストリーミング映像生成方法は、前記生成された第２のストリーミング映像を前記ライブ放送と関連付けられたサービスを提供するライブ放送サーバ（ｓｅｒｖｅｒ）に送信するステップをさらに含み、前記ライブ放送サーバに送信される第２のストリーミング映像は、前記ライブ放送を視聴する視聴者のクライアント端末に送信される。

前記ライブ放送サーバに送信される第２のストリーミング映像は、複数の視聴者のクライアント端末にリアルタイムで同時に送信される。

前記プラットフォーム情報は、ライブ放送と関連付けられたサービスを提供するライブ放送サーバから取得されたライブ放送と関連付けられた放送プラットフォーム（ｐｌａｔｆｏｒｍ）情報を含み、前記取得された放送プラットフォーム情報は、前記ステッカー及び前記エフェクトのうち少なくとも一つに対する情報を含む。

前記ステッカーは、前記第１のストリーミング映像内の一部を遮るためにユーザ入力によって前記第１のストリーミング映像内の位置情報を任意で設定したステッカーを含む。

前記ステッカーは、動くステッカーを含む。

前記エフェクトは、オーディオ（ａｕｄｉｏ）、字幕、テキスト、図形、３Ｄコンテンツ（ｃｏｎｔｅｎｔ）、ビデオ（ｖｉｄｅｏ）のうち少なくとも一つを含む。

前記エフェクトは、ユーザ入力により前記第１のストリーミング映像に既適用されたステッカーの少なくとも一部を消えるようにする効果を含む。

前記ステッカー及び前記エフェクトのうち少なくとも一つは、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つを含み、前記広告と関連付けられたステッカー及びエフェクトがユーザ入力により選択される場合、前記広告と関連付けられた収益の少なくとも一部が前記クライアント端末と関連付けられた口座に提供される。

前記目的を達成するための本発明の一態様によるライブ（Ｌｉｖｅ）ストリーミング映像生成装置は、サーバと通信する通信部、前記通信部を介して前記サーバから取得された、ストリーミング映像を生成するためのプラットフォーム情報に基づいて生成された第１のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をディスプレイするディスプレイ部、及びユーザ入力により、前記ディスプレイされる第１のストリーミング映像の少なくとも一部を飾るためのステッカー（ｓｔｉｃｋｅｒ）及びエフェクト（ｅｆｆｅｃｔ）の中から少なくとも一つを選択し、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記第１のストリーミング映像にリアルタイムで適用することで第２のストリーミング映像を生成する制御部を含む。

前記目的を達成するための本発明の一態様によるライブストリーミングサービスを提供するサーバ装置におけるライブストリーミングサービス提供方法は、ライブストリーミングと関連付けられたプラットフォーム情報を第１のクライアント端末に提供するステップ、前記第１のクライアント端末から、前記プラットフォームに基づいて生成された第１のストリーミング映像の少なくとも一部を飾るためのステッカー及びエフェクトのうち少なくとも一つをリアルタイムで適用した、第２のストリーミング映像を受信するステップ、及び前記第１のクライアント端末から取得した第２のストリーミング映像を第２のクライアント端末に提供するステップを含む。

前記プラットフォーム情報は、ステッカー及びエフェクトのうち少なくとも一つに対する情報を含む。

前記ライブストリーミングサービスは、前記第１のクライアント端末ベースのライブ放送サービスを含み、前記第２のクライアント端末は、前記第１のクライアント端末が開設した放送局に立場した視聴者と関連付けられた端末である。

前記第１のストリーミング映像は、カメラで撮影される被写体に基づいて生成されたストリーミング映像を含む。

前記プラットフォーム情報は、前記被写体をリアルタイムでトラッキングしてトラッキング情報を取得するトラッキングアルゴリズムに対する情報を含み、前記第２のストリーミング映像は、前記トラッキングアルゴリズムを利用して取得されたトラッキング情報に基づいて、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記被写体に適用することで生成される。

前記ステッカーは、前記第１のストリーミング映像内の一部を遮るためにユーザ入力によって前記第１のストリーミング映像内の位置情報を任意で設定したステッカーを含む。

前記エフェクトは、前記第２のクライアント端末におけるユーザ入力により前記ディスプレイ映像に既適用されたステッカーの少なくとも一部を消えるようにする効果を含む。

前記ステッカーを適用するための前記第１のクライアント端末におけるユーザ入力及び既適用されたステッカーのうち少なくとも一部を消えるようにする効果を活性化するための前記第２のクライアント端末におけるユーザ入力のうち少なくとも一つは、前記第１のクライアント端末と関連付けられたユーザアカウント及び前記第２のクライアント端末と関連付けられたユーザアカウントのうち少なくとも一つから前記サーバ装置への費用支払いと関連付けられる。

前記ステッカー及びエフェクトのうち少なくとも一つは、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つを含む。

前記第１のクライアント端末で前記広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つを適用することで前記ストリーミング映像を生成した時、前記第２のクライアント端末と関連付けられたユーザが前記ストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに基づいて、前記広告と関連付けられた任意の動作を実行することを検知した場合、前記ストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対応する広告関連情報を確認し、前記確認された広告関連情報に基づいて、前記第１のクライアント端末及び前記第１のクライアント端末のうち少なくとも一つと関連付けられたユーザに前記広告と関連付けられた収益のうち少なくとも一部を共有する。

前記広告と関連付けられた収益の共有は、前記第２のストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの適用回数を推定することによって行われる。

前記ライブストリーミングサービス提供方法は、前記プラットフォーム情報に基づいて第１のクライアント端末で適用可能なステッカー候補及びエフェクト候補のうち少なくとも一つを含むステッカー／エフェクト選択メニューを提供するステップをさらに含む。

前記ステッカー／エフェクト選択メニュー内に含まれるステッカー候補及びエフェクト候補のうち少なくとも一つは、前記第１のクライアント端末と関連付けられたユーザの履歴、コンテンツ、及びサービス類型のうち少なくとも一つを考慮し、それに対応されるステッカー候補及びエフェクト候補のうち少なくとも一つで構成される。

前記目的を達成するための本発明の一態様によるライブストリーミングサービスを提供する装置は、第１のクライアント端末及び第２のクライアント端末と通信する通信部、及び前記通信部を介して、第１のクライアント端末に提供するライブストリーミングと関連付けられたプラットフォーム情報を送信し、前記第１のクライアント端末から、前記プラットフォームに基づいて生成された第１のストリーミング映像の少なくとも一部を飾るためのステッカー及びエフェクトのうち少なくとも一つを適用した、第２のストリーミング映像を受信して前記第１のクライアント端末から取得した第２のストリーミング映像を第２のクライアント端末に提供する。

前記目的を達成するための本発明の一態様によるライブストリーミングシステムは、ストリーミング映像を生成するためのプラットフォーム情報に基づいて生成された第１のストリーミング映像をディスプレイし、ユーザ入力により、前記ディスプレイされる第１のストリーミング映像の少なくとも一部を飾るためのステッカー（ｓｔｉｃｋｅｒ）及びエフェクト（ｅｆｆｅｃｔ）の中から少なくとも一つを選択し、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記第１のストリーミング映像にリアルタイムで適用することで第２のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を生成する第１のクライアント端末、ライブストリーミングと関連付けられたプラットフォーム情報を第１のクライアント端末に提供し、前記第１のクライアント端末から、前記第２のストリーミング映像を受信して第２のクライアント端末に提供するサーバ装置、及び前記第２のストリーミング映像を受信する第２のクライアント端末を含む。

本発明のライブストリーミング映像生成方法及び装置、ライブストリーミングサービス提供方法及び装置、並びにライブストリーミングシステムによると、ライブ放送を介してブランド提携ステッカーを活用して付加的な収益創出が可能な効果がある。

また、ライブ放送を介して広告広報しようとする多様なブランド及び広告主からの広告売上げをライブ放送提供者、ＢＪ及びステッカー提供者が共有して効率的に売上げを分配する効果がある。

本発明の一実施例に係るライブストリーミングシステムを概略的に示す概念図である。 本発明の一実施例に係るライブストリーミング映像生成方法によってステッカー及び／またはエフェクトを適用したストリーミング映像を含む放送画面を示す。 本発明の一実施例に係るライブストリーミング映像生成方法及びライブ放送サービス提供方法を概略的に示す流れ図である。 サーバからクライアント端末に提供される放送プラットフォーム情報を具体的に説明するための概念図である。 トラッキング情報に基づいてストリーミング映像を生成する方法を具体的に示す詳細流れ図である。 広告と関連付けられたステッカーの適用及び適用されたステッカーに基づく広告収益を共有する方法を示す流れ図である。 多様な種類のステッカー及びエフェクトの例示を示す概念図である。 多様な種類のステッカー及びエフェクトの例示を示す概念図である。 本発明の一実施例に係るライブストリーミング映像生成装置を示すブロック図である。 本発明の一実施例に係るライブストリーミングサービス提供装置を示すブロック図である。 本発明の他の実施例に係るライブストリーミングシステムを示すブロック図である。 本発明の一実施例に係るライブストリーミング映像生成装置でユーザが直接著作したステッカーに基づいてストリーミング映像を生成する方法を概略的に示す流れ図である。 ユーザが著作したステッカーを具現するための実際アプリケーションの画面を示す。 図１２ａの画面に表示されたステッカーデザイン要素と被写体を関係付ける第１の実施例を示す概念図である。 図１２ａの画面に表示されたステッカーデザイン要素と被写体を関係付ける第２の実施例を示す概念図である。

本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。

しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。

第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。及び／またはという用語は、複数の関連記載された項目の組み合わせまたは複数の関連記載された項目のうちいずれか一つの項目を含む。

一構成要素が他の構成要素に“連結されている”または“接続されている”と言及された場合、該当他の構成要素に直接的に連結されており、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。それに対し、一構成要素が他の構成要素に“直接連結されている”または“直接接続されている”と言及された場合、中間に他の構成要素が存在しないと理解しなければならない。

本出願で使われる用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定し、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないと理解しなければならない。

技術的または科学的な用語を含めてここで使われる全ての用語は、他の意味で定義されない限り、本発明が属する技術分野において、通常の知識を有する者により一般的に理解される意味である。一般的に使われる辞書に定義されている用語は、関連技術の文脈上意味と一致すると解釈されなければならず、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。

以下、添付図面を参照し、本発明の好ましい実施例を詳細に説明する。本発明を説明するにあたって、全体的な理解を容易にするために、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

本明細書にわたって、ステッカー／エフェクトは、両方ともディスプレイ映像を飾るためのデジタル化された形態の情報を意味する。また、ステッカーという用語のみが使われる場合、エフェクトも共に考慮されることができることは、本技術分野の通常の技術者に自明である。

ライブストリーミング映像生成装置は、クライアント端末及びライブ放送ストリーミング映像生成装置とも呼ばれ、ライブストリーミングサービス提供装置は、サーバ装置及びライブ放送サービス提供装置とも呼ばれる。また、ステッカー／エフェクトの適用のためのステッカー候補及びエフェクト候補を含む選択メニューの提供、選択メニューでの選択によるステッカー／エフェクトの適用及びステッカー／エフェクト適用に基づくストリーミング映像の生成は、クライアント端末で実行されることもでき、サーバ装置で実行されることもできる。

本明細書の実施例において、ステッカー／エフェクトが放送サービスに使われることに基づいているが、必ず放送サービスにのみ使われるものではない。一般的な通信方式でも適用可能である。そして、放送サービスまたはその他のサービスで、前記ステッカー／エフェクトは、コンピュータグラフィックで仮想のイメージを挿入する仮想広告形態で活用されることもできる。

図１は、本発明の一実施例に係るライブストリーミングシステムを概略的に示す概念図である。図１に示すように、本発明の一実施例に係るライブストリーミングシステムは、第１のクライアント端末１１０、サーバ装置１２０及び第２のクライアント端末１３０を含むことができる。

図１を参照すると、第１のクライアント端末１１０は、前述したＩＰネットワークベースの放送システムでストリーミングを主導するプロードキャストジョッキーの端末である。即ち、サーバ装置１２０からプラットフォーム情報を受信してライブ個人放送を実行し、ライブ個人放送と関連付けられたストリーミング映像を生成してサーバ装置１２０に送信する。前記プラットフォーム情報は、基本的にストリーミング映像を生成する基本情報が含まれている。プラットフォーム情報は、放送プラットフォーム情報を含むことができる。第１のクライアント端末１１０は、プロードキャストジョッキー（ＢＪ）端末とも呼ばれる。第１のクライアント端末１１０は、放送プラットフォームに基づいて個人放送のための環境を生成する。生成された環境は、基本的に、ビデオベースの放送環境であり、プロードキャストジョッキーを進行役にして進行される形態を含むことができる。即ち、人間または動物、自動車のような動く被写体が存在できる。ただし、必ずこのような形態に限定されるものではない。即ち、第１のクライアント端末１１０は、端末１１０と連動するカメラのような撮影手段を介して停止し、または動く被写体を撮影して第１のストリーミング映像（基本ストリーミング映像とも呼ばれる）を生成する。または、特別な撮影手段無しで既存に保存された映像及び／または他の端末からリアルタイムまたは非リアルタイムで受信される映像に基づいて第１のストリーミング映像を生成することができる。

第１のクライアント端末１１０は、放送プラットフォーム内に存在する各種放送関連制御手段を利用してプロードキャストジョッキーの放送コンテンツを一層豊かにすることができる。放送コンテンツを豊かにする手段にはステッカー（ｓｔｉｃｋｅｒ）及び／またはエフェクト（ｅｆｆｅｃｔ）が含まれることができる。ステッカーは、カメラで撮影されてディスプレイ手段にディスプレイされる被写体、被写体を含むディスプレイ映像、及び／または前記プラットフォーム情報に基づいて生成される第１のストリーミング映像の少なくとも一部を飾るためのデザイン及びデザインと関連付けられた要素を包括的に意味する。例えば、被写体に施されたウールの帽子、王冠、めがね、ヘアバンド、各種図形、アニメーション図形などのデザインされた客体を含むことができる。ステッカーは、映像内の特定位置に被写体と関連なしに移動しないままで存在する場合もあり、または被写体と関連付けて、被写体の動きによって移動する形態で存在する場合もある。また、ステッカーは、アニメーションのように動くステッカー及び動かない停止ステッカーを含むことができ、３Ｄで具現されるステッカーも含むことができる。ステッカーは、ステッカー／エフェクトを選択した時、適用されている形態で利用されることができ、特定感情を表現して消える形態で利用されることもできる。エフェクトは、サウンドベースのオーディオエフェクト、字幕、テキスト、図形、サウンド（ｓｏｕｎｄ）、特定アニメーションを呼び出しできる機能的な図形、及びビデオ（ｖｉｄｅｏ）のうち少なくとも一つを含むことができる。ステッカーとエフェクトが同時に適用されることができ、複数個のステッカーとエフェクトが適用されることができる。

第１のクライアント端末１１０は、複数個のステッカー候補及び／またはエフェクト候補の中から第１のストリーミング映像に適用するステッカー及び／またはエフェクトを選択する。ここで、ステッカー候補及びエフェクト候補は、実際適用されるステッカー／エフェクトとして選択される前にステッカー保存場所（または、インベントリ（ｉｎｖｅｎｔｏｒｙ））に保存されている取捨選択可能なステッカー／エフェクトを意味する。ステッカー候補及びエフェクト候補は、ステッカー／エフェクト選択メニュー画面に表示され、表示されたステッカー候補及びエフェクト候補を含むステッカー／エフェクトセットの中から少なくとも一つを選択することで、ディスプレイ映像（第１のストリーミング映像）のうち少なくとも一部に適用できる。適用されたステッカー及び／またはエフェクトに基づいて第２のストリーミング映像が生成される。生成された第２のストリーミング映像がサーバ装置１２０に提供される。第１のクライアント端末１１０は、ステッカー／エフェクトが適用されない基本ストリーミング映像（第１のストリーミング映像）とステッカー／エフェクトが適用された第２のストリーミング映像とを共にサーバ装置１２０に送信できる。

サーバ装置１２０は、ライブ放送サービスを主管する端末である。サーバ装置１２０は、個人放送を実行する第１のクライアント端末１１０からストリーミング映像を受信し、不特定多数の第２のクライアント端末１３０に放送する。このような放送データの送信だけでなく、放送のための基本放送プラットフォーム情報もサーバ装置１２０が管理できる。放送は、アプリケーションまたはその他のソフトウェアプログラムを介して実施されることができ、前記放送プラットフォーム情報は、前記アプリケーションまたはソフトウェアプログラムの設置及び管理情報を含む。サーバ装置１２０は、特定ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を占有し、個人放送を実施しようとする第１のクライアント端末１１０からの要求に対する応答として、占有しているＵＲＬのうち一部を割り当てて該当チャネルを介して放送局を開設することができるようにする。そして、開設された放送局に他のユーザ（視聴者）の立場が可能にしてプロードキャストジョッキーと視聴者との間の円滑な放送が進行されるようにサポートする。

本発明の実施例によると、放送プラットフォーム情報は、ステッカー及び／またはエフェクトと関連付けられた情報を含む。また、ステッカー及び／またはエフェクトと関連付けられた広告収益に対する算出及び算出された広告収益の分配と関連付けられた政策情報を含むことができる。

第２のクライアント端末１３０は、サーバ装置１２０に接続し、サーバ装置１２０が管理する数多くの個人放送局（第１のクライアント端末１１０が開設した放送局を含む）に入場して放送を楽しむ視聴者の端末である。第２のクライアント端末１３０は、前記サーバ装置１２０が提供するＵＲＬベースの個人放送局に入場して第１のクライアント端末１１０が提供するストリーミング映像を視聴することができる。このとき、サーバ装置１２０が提供するチャットウィンドウを利用して多数の視聴者とプロードキャストジョッキーとの間にデータをやりとりすることができる。また、放送中にストリーミング映像に適用されたステッカー及び／またはエフェクトに基づいて、それから派生する各種広告コンテンツを視聴することができ、関連付けられた商品を購買する等の広告関連収益を発生する役割を遂行する。

本発明の実施例において、第１のクライアント端末１１０及び第２のクライアント端末１３０のうち少なくとも一つは、移動局（ＭＳ）、ユーザ装備（ＵＥ；Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、ユーザターミナル（ＵＴ；Ｕｓｅｒ Ｔｅｒｍｉｎａｌ）、無線ターミナル、アクセスターミナル（ＡＴ）、ターミナル、固定または移動加入者ユニット（Ｓｕｂｓｃｒｉｂｅｒ Ｕｎｉｔ）、加入者ステーション（ＳＳ；Ｓｕｂｓｃｒｉｂｅｒ Ｓｔａｔｉｏｎ）、セルラー電話、無線機器（ｗｉｒｅｌｅｓｓ ｄｅｖｉｃｅ）、無線通信デバイス、無線送受信ユニット（ＷＴＲＵ；Ｗｉｒｅｌｅｓｓ Ｔｒａｎｓｍｉｔ／Ｒｅｃｅｉｖｅ Ｕｎｉｔ）、移動ノード、モバイル、モバイル局、個人携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パソコン、無線センサー、消費者電子機器（ＣＥ）または他の用語で呼ばれることもある。端末の多様な実施例は、セルラー電話機、無線通信機能を有するスマートフォン、無線通信機能を有する個人携帯用端末（ＰＤＡ）、無線モデム、無線通信機能を有する携帯用コンピュータ、無線通信機能を有するデジタルカメラのような撮影装置、無線通信機能を有するゲーミング装置、無線通信機能を有する音楽保存及び再生家電製品、無線インターネット接続及びブラウジングが可能なインターネット家電製品だけでなく、そのような機能の組み合わせを統合している携帯型ユニットまたは端末を含むことができるが、これに限定されるものではない。

本発明の他の実施例によると、第１のクライアント端末１１０は、カメラで現在撮影される被写体みのがソース（ｓｏｕｒｃｅ）映像になることでなく、既存ストリーミング中である放送または録画された動画をソースとして使用してステッカー／エフェクトを適用することができる。例えば、他の端末で放送中であるストリーミング映像を中継する場合にもステッカーを適用することができる。

また、第２のクライアント端末１３０のような視聴者の端末でもステッカー／エフェクトを適用することで他のクライアント端末に提供することもできる。

図２は、本発明の一実施例に係るライブストリーミング映像生成方法によってステッカー及び／またはエフェクトを適用したストリーミング映像を含む放送画面を示す。

図２を参照すると、プロードキャストジョッキーは、第１のクライアント端末を介して個人放送を進行することができる。放送は、映像に基づいて実行されることができ、モバイル機器やＰＣのようなデスクトップ機器で実行されることができる。放送画面を見ると、放送画面は、ストリーミング映像が表示される部分、チャットウィンドウ部分及びチャットメッセージを作成する部分を含む。このとき、プロードキャストジョッキーは、ストリーミング映像にステッカー及び／またはエフェクトを適用することができる。

図２の左側図面は、ステッカー及び／またはエフェクト適用前の画面であり、図２の右側図面は、ステッカー及び／またはエフェクトを適用した画面である。ステッカー及び／またはエフェクトを適用するために、ステッカー／エフェクト適用メニューに入ると、ステッカー／エフェクト関連メニュー（２１０）が表示される。このとき、ステッカー適用のための選択メニュー２１０及び前記選択メニュー２１０に入るためのアイコンは、視聴者の画面と別個に第１のクライアント端末インターフェースにのみ見えるようにすることができる。ここには、サーバ装置から取得した多様な種類のステッカー／エフェクトが表示される。ステッカー／エフェクトの周辺には数字が表示されることができる。これは該当ステッカー／エフェクトを使用した時、広告収益として得ることができる金額と関連付けられる。即ち、“１０”の数字が表示された特定ブランドと関連付けられたステッカーを使用した時、該当ブランドから１０ポイントの広告収益を第１のクライアント端末のユーザ（即ち、プロードキャストジョッキー）が取得できる。このとき、１０ポイントは、決められたポイント−韓国ウォンの両替基準によって１千ウォンとなることもでき、１０ウォン、１００ウォンなどの価値に換算されることができる。本発明の実施例によると、該当ステッカー／エフェクトを使用することによって広告収益関連ポイントが取得されるようにする政策があり、またはステッカー／エフェクト使用を介してライブ放送ストリーミング映像にステッカー／エフェクトが適用され、適用されたステッカー／エフェクトを見た第２のクライアント端末（視聴者）で適用されたステッカー／エフェクトを利用して２次的な行為がある時、該当ポイントを第１のクライアント端末のユーザが取得するようにする政策がある。そのために、第２のクライアント端末での２次的な行為に対するモニタリングが実行されることができる。

図２の右側図面を参照すると、プロードキャストジョッキーは、自身を飾るために、ウールの帽子模様の一般ステッカー２２０−１（広告用ステッカーと差別化されたステッカー）を適用させることができる。このとき、例えば、ディスプレイされる映像（第１のストリーミング映像）の下段部に冬のように雪と雪だるまを含むエフェクトをステッカー２２０−１と同時に適用できる。ここに、特定ブランドのリップスティックステッカー２２０−２を選択及び適用することで画面の特定位置に表示できる。特定ブランドのリップスティックステッカー２２０−２は、広告用ステッカーであり、画面の右側上段に原形２３０で関連広告コンテンツ及び／または関連広告リンクが表示されるようにトリガリングできる。該当放送視聴者は、プロードキャストジョッキーのライブ放送ストリーミング映像に表示された広告用ステッカーまたはステッカーと関連付けられた広告コンテンツ及び／またはリンクを見て、周辺をクリックして広告と関連付けられた商品を案内するページに移動できる。このとき、視聴者のステッカーに対する２次的な動作をサーバ装置が検知して各行為に対応されるポイントをプロードキャストジョッキーに分配できる。前記２次的な動作は、商品購買、商品見回す、商品をかごに入れるなどの行為などのウェブを介したショッピング行為に区分されることができ、区分された行為は、各行為にマッチングされるポイントを有することができる。そして、このような広告と関連付けられた商品、及び商品に対する視聴者の行為をサーバが認知し、それに対する補償をプロードキャストジョッキーが共有できるようにする。前記補償は、プロードキャストジョッキーだけでなく、該当放送局に立場した視聴者に共有されることもできる。

本発明の実施例によると、サーバ装置を介して提供されるステッカー／エフェクトメニューに含まれている特定ステッカー／エフェクトは、複数個のステッカー要素を含むことができる。即ち、一つのステッカーをクリックして放送ストリーミング映像に適用する時、唇模様が画面全体にわたって１０個以上表示されるようにすることができる。即ち、一つのステッカーが複数個のステッカー要素を含み、第１の位置に第１のステッカー要素を配置し、第２の位置に第２のステッカー要素を配置する等、全体画面にわたってステッカー要素が配置されるステッカーを活用することができる。このようなステッカー／エフェクトと関連付けられた情報は、サーバ装置が放送プラットフォーム情報に含ませて保有している場合もあり、放送プラットフォーム情報を取得して放送を進行する第１のクライアント端末が保有している場合もある。

本発明の一実施例によると、前記放送ストリーミング映像を第１のクライアント端末で生成する。場合によって、ステッカー／エフェクトの適用と関連付けらては、サーバ装置でステッカー／エフェクトが適用されたストリーミング映像を生成することもできる。即ち、被写体をカメラで撮影して生成したり既保存された、または他の端末から受信される映像に基づいて生成された、基本ストリーミング映像を第１のクライアント端末で生成した後、これをサーバ装置に送信し、ステッカー／エフェクトの選択と関連付けられた信号を第１のクライアント端末からサーバ装置に提供すると、サーバ装置が前記ステッカー／エフェクトの選択と関連付けられた信号をパーシングして選択されたステッカー／エフェクトを基本ストリーミング映像に適用し、適用されたストリーミング映像を再び第１のクライアント端末及び／または第２のクライアント端末に送出する形態で放送が進行されることができる。

本発明の他の実施例によると、放送プラットフォーム情報に含まれて第１のクライアント端末に提供されるステッカー／エフェクト選択メニューに含まれているステッカー／エフェクト情報は、第１のクライアント端末のユーザ（即ち、プロードキャストジョッキー）の識別情報（例えば、プロードキャストジョッキーのユーザアカウント）によって異なるように提供されることができる。即ち、第１のユーザが音楽と関連付けられた個人放送を追求する場合、音楽と関連付けられたステッカー／エフェクトが多数含まれているステッカー／エフェクトセットが選択メニューとして提供されることができる。または、食べ物と関連付けられた個人放送を追求する場合、各種食べ物／後食及びデリバリーと関連付けられた提携社と関連付けられたステッカー／エフェクトセットが多数含まれているメニューが提供されることができる。即ち、ユーザの放送特性を考慮してステッカー／エフェクト情報を異なるように生成することができ、このように異なるように生成されたステッカー／エフェクト情報が放送プラットフォーム情報に含まれて第１のクライアント端末に提供されることができる。また、第１のクライアントのＩＰ、サービス形態別に互いに異なるステッカー／エフェクトセットが提供されることもできる。このようなパーソナライズステッカー／エフェクトを提供するために、ユーザの放送と関連付けられたデータまたはステッカー／エフェクト使用と関連付けられた履歴は、サーバ装置に保存され、サーバ装置は、保存されたデータに基づいて多様な統計アルゴリズムを介してパーソナライズステッカー／エフェクトを第１のクライアント端末に提供できる。

本発明の他の実施例によると、放送中、チャットウィンドウに使われるテキスト、及び／またはプロードキャストジョッキーが使用するメントを分析し、分析されたテキスト及び／またはメントに対応するステッカー／エフェクトを選択する画面が自動で表示されるようにする機能も付加できる。これは特定テキスト及びメントをサーバ装置に既保存しておき、保存されたテキスト及びメントが認識されると、それに対応されるステッカー／エフェクトを選択するためのメニューが自動でポップアップになるようにすることによって達成できる。

図３は、本発明の一実施例に係るライブ放送ストリーミング映像生成方法及びライブ放送サービス提供方法を概略的に示す流れ図である。

図３を参照すると、第１のクライアント端末３１０は、ライブ放送ストリーミング映像を生成するにあたって、まず、サーバ装置３２０から放送プラットフォーム情報を取得する（Ｓ３１０）。このとき、放送に視聴者として参加する第２のクライアント端末３３０も放送プラットフォーム情報をサーバ装置３２０から共に取得できる（Ｓ３１０）。放送プラットフォーム情報には放送のための各種情報が含まれる。これは図４を介して詳細に説明する。

図４は、サーバからクライアント端末に提供されるプラットフォーム情報を具体的に説明するための概念図である。

図４を参照すると、プラットフォーム情報は、サーバ４１０からクライアント端末４２０に提供される。クライアント端末４２０は、第１のクライアント及び／または第２のクライアントを含むことができる。プラットフォーム情報は、ストリーミングと関連付けられたアプリケーションまたはプログラムを端末に設置するための情報を含む。プラットフォーム情報は、放送プラットフォーム情報を含むことができる。放送プラットフォーム情報は、放送と関連付けられたアプリケーションまたはプログラムを端末に設置するための情報を含む。それによって、端末は、前記情報に基づいて放送を端末で実行できるようにするアプリケーション／プログラムを設置する。

プラットフォーム情報は、トラッキング（ｔｒａｃｋｉｎｇ）アルゴリズムを含む。トラッキングアルゴリズムは、フェイス（ｆａｃｅ）トラッキングアルゴリズムを含む。即ち、トラッキングアルゴリズムは、動く被写体の動きをついて行くための情報を取得するアルゴリズムであり、特定ステッカーが適用される特定被写体（例えば、顔、または顔でも口、鼻等）の少なくとも一つの特徴点を特定し、特定された少なくとも一つの特徴点の動きと関連付けられた情報（例えば、座標の移動）を取得するアルゴリズムを含む。このようなトラッキングアルゴリズムに基づいて動く被写体の移動を検知し、検知された移動距離に対応するステッカーの移動距離を算出し、算出された移動距離ほどステッカー／エフェクトを移動させて、被写体の動きによってステッカー／エフェクトも動くようにすることができる。ただし、ステッカーそれぞれの性格によってトラッキングが必要な場合もあり、そうでない場合もあるため、トラッキング情報によるステッカーの移動は、ステッカーの性格に対応して適用されることが好ましい。

プラットフォーム情報は、各種ステッカー／エフェクト情報を含む。これはサーバ装置が保存している全てのステッカー／エフェクト情報だけでなく、ユーザ及びサービス別にパーソナライズステッカー／エフェクトセット情報も含む。このようなステッカー／エフェクト情報は、ステッカー／エフェクトと関連付けられた情報が新しく生成されることによってアップデートされ続ける。また、ユーザの使用履歴などの統計分析が行われることによってアップデートされ続ける。アップデートされたステッカー／エフェクト情報を含むプラットフォーム情報は、各端末に周期的に提供されることができる。また、ステッカー／エフェクト情報には、特定テキスト、または音声認識による特定メントの検知によって、それに対応されるステッカー／エフェクト選択メニューの発動と関連付けられた情報も含まれる。また、本発明の他の実施例によると、放送プラットフォーム情報と関連付けて、前記ステッカー／エフェクトセットは、第１のクライアント端末の位置情報に基づいて該当位置と関連付けられ、または対応される広告ステッカー／エフェクトに基づいて構成されることができる。即ち、特定位置のプロードキャストジョッキーは、サーバに既設定された前記特定位置に対応される広告ステッカー／エフェクトセットを含む放送プラットフォーム情報をプロードキャストジョッキーに送信してストリーミング映像に位置ベースのステッカー／エフェクトが適用されるようにすることができる。

または、本発明の他の実施例によると、視聴者、即ち、第２のクライアント端末の位置に基づいて、特定広告ステッカーが既設定された位置に適用されるようにすることができる。前記地域ベースのステッカーは、第２のクライアント端末で受信される放送ストリーミング映像に直接適用されることができる。または、第２のクライアント端末から第３のクライアント端末に中継されるストリーミング映像に適用されることもできる。

放送プラットフォーム情報は、放送を進行するための各種機能的な情報を含む。ここには、チャット、画面配置、各放送局の視聴者の管理などのような情報が含まれることができる。

放送プラットフォーム情報は、リンク検知機能情報を含み、これは第２のクライアント端末を介して視聴者がステッカー／エフェクトに反応し、それと関連付けられた広告商品、広告コンテンツ、広告リンクを利用する行為を検知する機能と関連付けられた情報を意味する。即ち、視聴者の２次的な行為は、広告収益配分に重要な要素として利用されることができるため、これを検知するアルゴリズムは重要に活用されることができる。

放送プラットフォーム情報は、費用共有と関連付けられた政策情報を含む。これは、ステッカー／エフェクトの放送内の使用と関連付けられた政策と関連付けられた情報を示し、例えば、特定ステッカーの使用だけでポイントを取得することができるか、または特定ステッカーと関連付けられた視聴者の行為がある場合にポイントを取得することができるか等に対する細部的な政策情報が含まれることができる。

前記のようなストリーミング及び／または放送と関連付けられた多様な情報、そして、ストリーミング及び／または放送でのステッカー／エフェクト使用と関連付けられた情報がプラットフォーム情報に含まれてクライアント端末４２０に提供される。

再び、図３を参照すると、プラットフォーム情報を取得した第１及び第２のクライアント端末３１０、３３０は、ストリーミング及び／または放送関連アプリケーション／プログラムを設置する（Ｓ３１２）。そして、設置されたアプリケーション／プログラムを実行する。

まず、放送と関連付けられたストリーミングの実施例において、第１のクライアント端末３１０は、放送局を開設して個人放送を開始する（Ｓ３１４）。このとき、放送開設と共に、放送開設を知らせる放送開設情報がサーバ３２０に送信される。放送開設情報には第１のクライアント端末３１０と関連付けられたユーザアカウント、総立場可能な視聴者数、どのようなコンテンツに基づいているかに対するコンテンツ形態などの情報が含まれることができる。放送開設情報は、放送局立場をしようとする視聴者の端末、即ち、第２のクライアント端末３３０に提供されることができる（Ｓ３１８）。これは第２のクライアント端末３３０の要求に応答して行われることができる。現在開設された放送局の情報を要求すると、それに対する応答として、開設された放送局の情報が提供される。第２のクライアント端末３３０は、提供された開設放送局のうち自身が選択した放送局に入場できる（Ｓ３３０）。

放送を開設した第１のクライアント端末３１０は、端末と連動されるカメラまたは端末に含まれているカメラを利用して被写体を撮影することができる（Ｓ３２０）。このとき、被写体は、ユーザ自身だけでなく、他のどのようなものも可能である。そして、端末のディスプレイ手段を介して撮影された映像をディスプレイすることができる（Ｓ３２２）。撮影された被写体のディスプレイ画面がストリーミングされて放送される。放送途中に、ステッカー及び／またはエフェクトを適用したくなると、ユーザインターフェースを介してステッカー及び／またはエフェクトの選択のためのメニューウィンドウを表示するアイコンをクリックする。そのとき、放送プラットフォーム情報に含まれている多様なステッカー／エフェクトが画面に表示される。その場合、ユーザのアカウント、端末の種類、開設された放送局のコンテンツ形態と関連付けられた情報に基づいてそれに対応されるステッカー／エフェクトセットが生成されてパーソナライズで提供されることができる。第１のクライアント端末３１０は、提供されたステッカー／エフェクトセットから少なくとも一つを選択する（Ｓ３２４）。選択されたステッカー／エフェクトは、動く被写体を含むディスプレイ映像内の少なくとも一部に適用されてストリーミング映像として生成される（Ｓ３２６）。このようにステッカー／エフェクトが適用されたストリーミング映像は、サーバ３２０に送信され（Ｓ３２８）、サーバ３２０は、該当放送局に立場した全ての視聴者端末３３０にストリーミング映像を提供する（Ｓ３３４）。

図５は、トラッキング情報に基づいてストリーミング映像を生成する方法を具体的に示す詳細流れ図である。

図５を参照すると、第１のクライアント端末がステッカー／エフェクトを選択適用するにあたって、停止した状態で適用されることもできるが、動く被写体によって動く形態で適用することもできる。そのために、まず、第１のクライアント端末で適用するステッカー／エフェクトが選択されると（Ｓ５１０）、第１のクライアント端末は、放送プラットフォーム情報内に含まれているトラッキングアルゴリズムを実行して被写体の動きをトラッキングする（Ｓ５２０）。トラッキングのためには、まず、トラッキング対象が確定されなければならず、これは各個別ステッカーが適用される対象部位に基づいて特定できる。例えば、帽子模様のステッカーは、人体の頭部分に適用されるため、フェイストラッキングを介して人の顔の上段頭部分をトラッキング対象被写体として確定する。このような方式で、各ステッカーの適用部位と関連付けられたトラッキング対象被写体が確定されると、確定された対象被写体の特徴点を抽出する。抽出特徴点は、トラッキングアルゴリズムにあらかじめ設定されている。例えば、メッシュ（ｍｅｓｈ）ベースの顔トラッキングで上段部位のメッシュに基づく輪郭線のあらかじめ設定された特定位置のポイントが特徴点として抽出される。そして、該当特徴点を媒介にしてステッカー／エフェクトが適用され、被写体の移動は、特徴点の移動を意味するため、特徴点の移動経路を算出してトラッキング情報を取得する（Ｓ５３０）。そして、取得されたトラッキング情報に基づいて対象被写体の特徴点の移動経路に沿って、選択されたステッカーを移動させながら適用すると、被写体の動きによってステッカー／エフェクトも自然に動くようにすることができる（Ｓ５４０）。このように動きをトラッキングしながら適用されたステッカーに基づいてストリーミング映像を生成することができる（Ｓ５５０）。

図６は、広告と関連付けられたステッカーの適用及び適用されたステッカーに基づく広告収益を共有する方法を示す流れ図である。

図６を参照すると、第１のクライアントは、放送ストリーミング映像に適用するステッカー／エフェクトを選択し（Ｓ６１０）、これを適用することができる（Ｓ６２０）。

このとき、適用されたステッカー／エフェクトが広告と連関性があるかを確認することができる（Ｓ６３０）。広告と連関性があるとは、該当ステッカーは、特定事業体（例えば、ブランド）と提携して生成したステッカーであることを意味する。そのため、該当ステッカーは、特定事業体の商品と関連付けてそれに対する情報を含むことができる。即ち、ステッカークリック時、事業体の商品、事業体サイトなどにアクセスされ、または関連広告動画が再生される等の連係動作が発生することができる。

広告と連関性がない場合は、ステッカー／エフェクトの適用で視聴者におもしろさをあたえる機能を遂行するため、これでステッカー／エフェクト適用の目的を達成するようになる。しなし、広告と連関性がある場合は、広告効果による収益分配部分を追加的に考慮することができる。広告との連関性は、各ステッカー個別特徴情報をパーシングして確認することができ、場合によって、フラグ（ｆｌａｇ）を付与して広告ベースのステッカー／エフェクトは“１”で表示し、そうでないステッカー／エフェクトは“０”で表示できる。

適用されたステッカー／エフェクトが広告と連関性がある場合は、広告の収益分配と関連付けられた政策情報をパーシングする。このとき、使用と共に収益が配分される方式である場合、第１のクライアント端末での広告ベースのステッカーの使用だけで、プロードキャストジョッキーは、一部の手数料を取得することができる。このとき、該当放送局に入場した視聴者が多いければ多いほど広告効果は極大化されるため、ステッカー使用時点の該当放送局の立場視聴者の数を考慮して手数料を策定することができる。例えば、“１０”ポイントのステッカーの場合、１０名の視聴者がいる場合は１００ポイントに策定し、１００名の視聴者がいる場合は１０００ポイントに策定することで、プロードキャストジョッキーに手数料として提供できる。

ただし、前記のように使用と同時に手数料が策定されずに、該当放送局の視聴者の２次行為に基づいて手数料が策定される場合、適用されたステッカー／エフェクトと関連付けられた視聴者の端末での行為を検知する（Ｓ６４０）。これはサーバ装置で行われることができる。視聴者の端末で適用されたステッカーをクリックして広告動画を再生し、またはステッカーのブランドと連結されたサイトなどを介して商品購買、商品見回す、かごに入れるなどの動作が行われると、後続動作の形態によってそれに対応する補償がプロードキャストジョッキーに与えることができる。または、クリック動作の回数を考慮して手数料が策定されることもできる。即ち、前記のように多様な方式を介して策定された広告収益のうち少なくとも一部の金額は、プロードキャストジョッキーのアカウントと連結された口座に割り当てられる（Ｓ６５０）。即ち、プロードキャストジョッキーは、このような手数料の割当をインセンティブ（ｉｎｃｅｎｔｉｖｅ）で考慮して適切な時点に最大限広告ベースのステッカーを使用するようにし、これを介して広告と関連付けられた事業体も多様な広告効果を有することができるようにする。

図７ａ及び図７ｂは、多様な種類のステッカー及びエフェクトの例示を示す概念図である。

図７ａを参照すると、ストリーミング映像で特定部位を遮るステッカー７１０を活用することができる。例えば、化粧を介して楽しみをあたえるプロードキャストジョッキーの放送の場合、化粧した顔部位を遮るステッカー７１０を提供することができる。このとき、第１のクライアント端末は、ステッカー７１０を直接移動させながら遮る位置を決定することができ、第１のクライアント端末を介して決定された前記ステッカー７１０の座標情報は、サーバに伝達されることができる。このとき、ステッカー７１０を適用しない基本ストリーミング映像情報もサーバに共に伝達されることができる。

図７ｂを参照すると、前記特定位置を遮るステッカー７１０は、基本的に識別されたステッカー領域を消えるようにするためのものである。ただし、このとき、全ての視聴者にステッカー領域が消されると、遮る効果が少ないため、視聴者の費用精算によるクリックによってステッカー７１０の一定領域が消えるようになる形態でステッカー７１０を活用することができる。即ち、特定視聴者が３回の費用決済を実行すると、所望部位をクリックしてステッカー７１０領域のうち一部を消すことができる。即ち、目部位及び鼻部位７２０を３回クリックして３個の消された領域７２０を確保することができる。これはサーバ装置で基本ストリーミング映像も保有しているため、該当部分のステッカー領域のみが基本ストリーミング映像で代替することによって行われることができる。または、基本ストリーミング映像にステッカー７１０をサーバ装置で生成して被写体の上におき、おかれたステッカー７１０の一部領域を消すことで行われることもできる。このとき、消される領域の大きさ及び消される領域に対するクリック費用は、プロードキャストジョッキー及び／またはサーバで決定できる。また、ステッカーで遮る部分に対して他人の顔に変更して送出する形態のステッカーを適用することができる。第１のクライアント端末の被写体の顔部分に対して顔変更ステッカーを適用すると、変更しようとする他人の顔を選択するメニューが表示され、該当メニューを介して、第１のクライアント端末のユーザが他人の写真または映像を選択することができ、選択された写真または映像で他人の顔部分をトラッキングして抽出する。そして、顔変更ステッカーが存在する位置の顔部分を削除し、抽出された他人の顔を変更することができる。または、他人の顔形態のステッカーをメニューであらかじめ提供して該当ステッカーの顔に直接変更することもできる。

このような機能に基づいて、各視聴者は、互いに異なるクリック回数を介して互いに異なるストリーミング映像を取得することができる。これを介して視聴者の費用支出を誘導することができ、支出された費用がプロードキャストジョッキーにいくようにすることによって（サーバ装置でサービス提供者が一部手数料を取得することは可能）、プロードキャストジョッキーが放送を一層おもしろくするためのインセンティブをあたえる効果を付与することができる。

図８は、本発明の一実施例に係るライブストリーミング映像生成装置を示すブロック図である。図８に示すように、本発明の一実施例に係るライブストリーミング映像生成装置は、通信部８１０、カメラ８２０、ディスプレイ部８３０、制御部８４０、入力部８５０及びメモリ８６０を含むことができる。

図８を参照すると、通信部８１０は、サーバ装置及び他の装置との通信を遂行する機能を有する。通信部８１０は、無線または有線通信のための装備を含む。例えば、アンテナ及び／または通信プロセッサを含むことができる。

カメラ８２０は、被写体を撮影する装置であり、カメラ８２０で撮影された映像が制御部８４０で処理される。カメラ８２０は、前記ライブ放送ストリーミング映像生成装置の内部に存在してもよく、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のようなインターフェースを介して外部に連結された装置であってもよい。

ディスプレイ部８３０は、制御部８４０を介して映像処理された映像を出力する。ディスプレイ部８３０は、モニタ、タッチスクリーン及びＴＶ受信機などで具現されることができる。

制御部８４０は、放送ＡＰＰ実行部８４２、トラッキング情報生成部８４４、適用部８４６及びストリーミング映像生成部８４８を含むことができる。

放送ＡＰＰ実行部８４２は、通信部８１０を介して受信されたプラットフォーム情報に基づいてストリーミングと関連付けられたアプリケーション／プログラムを設置及び実行する。放送ストリーミングの場合、放送ＡＰＰ実行部８４２は、放送プラットフォーム情報に基づいて放送アプリケーション／プログラムを設置し、入力部８５０を介した入力により放送アプリケーション／プログラムを実行する。このとき、ログインのようなプログラム進入動作が実行されることができる。

トラッキング情報生成部８４４は、プラットフォーム情報に含まれているトラッキングアルゴリズムによってトラッキング情報を生成して適用部８４６に提供する。

適用部８４６は、ステッカー／エフェクトを適用する機能を遂行する。適用部８４６は、放送アプリケーション／プログラムに進入した第１のクライアント端末のユーザのアカウント、第１のクライアント端末のＩＰ、及び放送サービスコンテンツ及び形態のうち少なくとも一つに基づいて適したステッカー／エフェクトセットをディスプレイ部８３０を介して出力する。そして、ユーザの選択と関連付けられた入力を入力部８５０を介して入力を受けて選択されたステッカー／エフェクトを対象被写体またはディスプレイ画面（第１のストリーミング映像）の一領域に適用する。このとき、トラッキング情報に基づいて被写体の動きに沿ってステッカー／エフェクトが適用されることができるようにする。

ストリーミング映像生成部８４８は、カメラ８２０で撮影された映像を処理して基本ストリーミング映像を生成する。ここでは、エンコーディング及びデコーディングが実行されることができる。そして、ステッカー／エフェクトの適用時、ステッカー／エフェクトが適用された第２のストリーミング映像に対する処理も実行されることができる。

入力部８５０は、キーボード、マウス、タッチパッドのようにユーザ入力を処理するためのインターフェースである。

メモリ８６０は、制御部８４０で実行される各機能と関連付けられた命令語（または、指示語）が保存されている。メモリ８６０は、放送プラットフォーム情報に基づく命令語が含まれており、通信部８１０を介してサーバ装置や他の装置から受信された情報が保存されることができる。

図９は、本発明の一実施例に係るライブストリーミングサービス提供装置を示すブロック図である。図９に示すように、本発明の一実施例に係るライブストリーミングサービス提供装置は、通信部９１０、制御部９２０、入力部９３０及びメモリ９４０を含むことができる。

通信部９１０は、第１のクライアント端末及び第２のクライアント端末との通信を担当する装置である。

制御部９２０は、アプリケーションを管理して制御する構成要素であり、アカウント管理部９２１、放送プラットフォーム管理部９２３、ストリーミング映像処理部９２５、適用可否判断部９２７及び広告収益処理部９２９を含むことができる。

アカウント管理部９２１は、アプリケーション（例えば、放送アプリケーション）にログインするアカウントと関連付けられた情報を管理する。各アカウントの個人情報だけでなく、各アカウントで実行した放送関連履歴を管理することができる。例えば、特定ユーザアカウントを介して開設された放送局開設時間、開設フォーマット、取扱コンテンツ、サービス類型などの情報、他のユーザが開設した放送局に立場と関連付けられた情報、及び／または選択及び適用したステッカー／エフェクトの履歴などを管理することができる。

放送プラットフォーム管理部９２３は、図４のプラットフォーム情報（放送プラットフォーム情報を含む）を管理する。ここには、周期的なソフトウェアに対するアップグレードだけでなく、ユーザの放送関連使用履歴によるパーソナライズステッカー／エフェクトセットの生成も含まれる。

ストリーミング映像処理部９２５は、第１のクライアント端末から受信された第１のストリーミング映像及び／または第２のストリーミング映像を処理する。ストリーミング映像処理部９２５は、第１のクライアント端末からステッカー／エフェクトが適用されない基本ストリーミング情報（第１のストリーミング映像）とステッカー／エフェクトが適用されたストリーミング映像（第２のストリーミング映像）とを共に受信することができ、これを独立的に処理できる。例えば、基本ストリーミング映像情報を受信した状態で、特定ステッカーの適用要求と関連付けられた信号を受信し、受信された信号をパーシングすることによって、要求されたステッカーを前記基本ストリーミング映像に適用することでステッカーが適用されたストリーミング映像を直接生成することができる。

また、第２のクライアント端末でのステッカーと関連付けられた要求を個別的に処理することで、互いに異なる端末でステッカーの領域と関連付けらて互いに異なるストリーミング映像を見ることができるように映像処理を実行する。

適用可否判断部９２７は、ステッカーの適用可否だけでなく、広告用ステッカーの適用可否を判断する。広告用ステッカーの場合、どのような事業体（または、ブランド）と関連付けられているかを判断する。

広告収益処理部９２９は、ステッカーと関連付けられた広告収益を配分する。特に、広告用ステッカーの場合、前記広告用ステッカーを見た視聴者（該当放送局に入場した視聴者）が該当ブランドとリンクされる任意の動作を検知することで、プロードキャストジョッキー、ライブ放送サービス提供サーバ（及び／またはステッカー提供サーバ（図１０参照））が広告売上げによる収益を共に共有できる。このとき、広告収益の配分には広告用ステッカーと関連付けられたリンクに対するＣＰＣ（Ｃｏｓｔ Ｐｅｒ Ｃｌｉｃｋ）方式、ＰＰＣ（Ｐａｙ Ｐｅｒ Ｃｌｉｃｋ）方式、ＣＰＴ（Ｃｏｓｔ Ｐｅｒ Ｔｉｍｅ）方式、ＣＰＭ（Ｃｏｓｔ Ｐｅｒ Ｍｉｌｅ）方式、ＣＰＭ（Ｃｏｓｔ−Ｐｅｒ−Ｍｉｌｌｅｎｎｉｕｍ）方式、ＣＰＩ（Ｃｏｓｔ Ｐｅｒ Ｉｍｐｒｅｓｓｉｏｎ）方式、ＣＰＣｏｎ（Ｃｏｓｔ Ｐｅｒ Ｃｏｎｖｅｒｓｉｏｎ）方式などが活用されることができる。

入力部９３０は、放送アプリケーションと関連付けられた各種ユーザ設定を変更するためのユーザ入力を処理するためのインターフェースである。

メモリ９４０は、制御部９２０で実行される各機能と関連付けられた命令語が保存されている。例えば、アカウントと関連付けられたユーザ履歴情報、ステッカーの使用履歴情報、ステッカー自体情報（広告用ステッカーか、広告用ステッカーの場合はどのような事業者及びどのようなリンクと関連付けられているかに対する情報等）、広告収益配分と関連付けられた政策情報などを含むことができる。

図１０は、本発明の他の実施例に係るライブストリーミングシステムを示すブロック図である。図１０に示すように、本発明の他の実施例に係るライブストリーミングシステムは、第１のクライアント端末１０１０、サーバ１０２０、第２のクライアント端末１０３０、ステッカー提供サーバ１０４０及び広告主サーバ１０５０を含むことができる。

図１０を参照すると、第１のクライアント端末１０１０、サーバ１０２０、第２のクライアント端末１０３０での動作は、前述と同様である。

ステッカー提供サーバ１０４０は、フェイストラッキング開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）をライブ放送サーバ１０２０に提供し、ライブ放送サービスのウェブまたはＡＰＰクライアント１０１０、１０３０に適用できる。そして、第１のクライアント端末１０１０でプロードキャストジョッキーが使用する放送サービスにステッカーインベントリをオープンし、この中から少なくとも一つを選択使用することができるようにする。多様なライブ放送サービスのために、ステッカー提供サーバ１０４０のステッカーアーカイブ（ａｒｃｈｉｖｅ）に保存された多様なステッカーが同時に提供されることができる。

ステッカー提供サーバ１０４０は、アドネットワーク（Ａｄ ｎｅｔｗｏｒｋ）のように広告主が希望する媒体にステッカーを提供して運営できる。また、広告用ステッカー（ブランド提携ステッカー）以外にも放送に使われる背景音源、専門的なエフェクト、字幕機能及び中間広告などのコンテンツをサーバ１０２０にリアルタイムで提供できる。サーバ１０２０は、このように提供される情報をクライアント端末１０１０、１０３０に提供できる。

このような作用を具現するために、ステッカー提供サーバ１０４０は、フェイストラッキングＳＤＫ及びユーザ使用トラッカをライブ放送サーバ１０３０に提供し、ライブ放送サーバ１０３０は、ユーザ使用データ及び機能プロモーションと関連付けられた情報をステッカー提供サーバ１０４０に提供できる。そして、両者が共に広告売上げを共有することができる。

ステッカーは、前述したように、ウェブとモバイル環境の両方ともで適用可能であり、プロードキャストジョッキーは、自身の放送局で放送を視聴している視聴者にステッカーが適用された画面を見せて放送のおもしろさを極大化することができる。特に、ブランド提携ステッカーを活用する場合、ブランド提携ステッカーを見た視聴者が該当ブランドとリンクされる任意の動作を検知して広告売上げによる収益をプロードキャストジョッキー、ライブ放送サービス提供者（即ち、サーバ１０２０）及びステッカー提供サーバ１０４０が共に共有できる。このとき、広告収益の配分にはブランド提携ステッカーと関連付けられたリンクに対するＣＰＣ（Ｃｏｓｔ Ｐｅｒ Ｃｌｉｃｋ）方式、ＰＰＣ（Ｐａｙ Ｐｅｒ Ｃｌｉｃｋ）方式、ＣＰＴ（Ｃｏｓｔ Ｐｅｒ Ｔｉｍｅ）方式、ＣＰＭ（Ｃｏｓｔ Ｐｅｒ Ｍｉｌｅ）方式、ＣＰＭ（Ｃｏｓｔ−Ｐｅｒ−Ｍｉｌｌｅｎｎｉｕｍ）方式、ＣＰＩ（Ｃｏｓｔ Ｐｅｒ Ｉｍｐｒｅｓｓｉｏｎ）方式、ＣＰＣｏｎ（Ｃｏｓｔ Ｐｅｒ Ｃｏｎｖｅｒｓｉｏｎ）方式などが考慮されることができる。

本発明の他の実施例によると、広告収益の配分時、サーバ装置は、第１のクライアント端末を介した放送に出演している放送出演者と関連付けられたアカウント及び／または放送視聴者のアカウントで収益を分配することもできる。即ち、広告ステッカーが放送出演者に使われる時、前記ステッカーが適用された放送出演者の情報を取得し、取得された情報と関連付けられた口座に広告収益のうち一部を分配することができる。また、視聴者がストリーミング映像の広告ステッカーを視聴する時点で、ログを残して広告収益のうち一部を共有することもできる。

図１１は、本発明の一実施例に係るライブストリーミング映像生成装置でユーザが直接著作したステッカーに基づいてストリーミング映像を生成する方法を概略的に示す流れ図である。

図１１を参照すると、クライアント端末は、放送と関連付けられたアプリケーションを実行してカメラで撮影される被写体をディスプレイする（Ｓ１１１０）。そして、ステッカー／エフェクト適用メニューを開始し、該当メニューで、ステッカー著作ツール（ｔｏｏｌ）を実行する（Ｓ１１２０）。ステッカー著作ツールは、放送アプリケーションのステッカー／エフェクト適用メニューのうち一つの機能として提供されることができる。ユーザがステッカー著作ツールを選択すると、端末は、ディスプレイ画面にステッカー著作のためのメニューを表示する。本発明の他の実施例によると、撮影中ではなく、端末内に既保存された写真または動画を利用してステッカーを著作することもできる。

そして、ステッカー著作のためのモードを選択する（Ｓ１１３０）。ここで、著作のためのモードは、第１のモード及び第２のモードの二つのモードを含むことができる。

第１のモードは、顔のような被写体を認識するモードであり、ディスプレイされる被写体のうち少なくとも一つとユーザが入力して生成したステッカーデザイン要素とを関係付けるモードである。このとき、被写体の輪郭がステッカーデザイン要素との関係を決定する要素で考慮されることができる。被写体の輪郭は、既保存された輪郭テンプレートを利用して識別されることができる。例えば、被写体が顔である場合、顔内の目、鼻、口のような複数個のコンポーネントの全般的な配置情報を含む輪郭テンプレートをあらかじめ保存し、ディスプレイされる画面にディスプレイされた顔及び顔内のコンポーネントの輪郭をあらかじめ保存された輪郭テンプレートにマッチングさせ、顔であることをまず認識し、認識された顔の輪郭情報を識別して保存する。このとき、顔と背景を区分するために、明るさ、動き、色相、目の位置推定などの情報が利用されることができる。このとき、顔の主要部分を分析して微細な誤差は捨て、大きい特徴のみを把握して既保存された顔テンプレートと比較することが効率的である。本発明の実施例において、輪郭テンプレートは、必ず顔と関連付けられたものではなく、腕、足、手などのように、人体の他の部位に関連づけられたるものもある。

第１のモードの場合、被写体との連関性を有するため、被写体の動き及び／または被写体の大きさ変化などに反応してユーザが生成したステッカーデザイン要素も動いて大きさが変わることができる。

第２のモードは、被写体との連関性を考慮せず、ディスプレイされる画面との連関性、即ち、ディスプレイ画面内の特定位置に表示されるようにデザインするモードである。第２のモードの場合、ステッカーデザイン要素は、被写体の動きに影響を受けずに、ディスプレイ画面内の決められた位置に固定された大きさで表示されることができる。場合によって、第２のモードでも、ユーザの設定により大きさ変化など、動く効果を付与することもできる。

モード選択を完了すると、ユーザは、ユーザインターフェース（例えば、タッチスクリーン、キーボード、マウス等）を介してステッカーデザインのためのユーザ入力を受ける（Ｓ１１４０）。ステッカーデザインのためのユーザ入力は、テキスト入力があり、ドローイング（ｄｒａｗｉｎｇ）モードを介した入力がある。ドローイングモードは、ドゥードゥリング（ｄｏｏｄｌｉｎｇ）モードとも呼ばれる。テキスト入力は、キーボードを利用したタイピングを介して入力することによってステッカーデザイン要素が生成されることができ、ドローイングモードは、ユーザが選択した線または図形に基づいてマウスまたはタッチスクリーンを介して入力することによってステッカーデザイン要素が生成されることができる。

本発明の実施例によると、前記テキストとドローイング外に図形及びイメージを呼び出しできる。図形は、停止図形、アニメーション（ａｎｉｍａｔｉｏｎ）図形、または３Ｄオブジェクト（ｏｂｊｅｃｔ）を含むことができ、イメージは、カメラまたはアルバムで呼び起こしてステッカーデザイン要素として使われることができる。図形は、実線、三角形、四角形、矢印、折線、半月、雲、ハート、数式関連図形、流れ図関連図形などを含むことができる。このような図形は、あらかじめテンプレートに保存されている。

本発明の他の実施例によると、サウンド（ｓｏｕｎｄ）、特定アニメーションを呼び出しできる機能的な図形など、他のエフェクト（ｅｆｆｅｃｔ）もステッカーデザイン要素として活用されることができる。

クライアント端末は、このように入力されたステッカーデザイン要素をユーザ著作ステッカーとして記憶するために、各ステッカーデザイン要素の画面内の座標情報を識別する（Ｓ１１５０）。座標情報は、ディスプレイされる画面でステッカーデザイン要素と関連付けられたピクセルの座標を識別することによって認識される。識別された座標情報は、ユーザが選択したモードによって、ディスプレイ画面または被写体との連関性を示す関係情報として活用されることができる。

入力されたステッカーデザイン要素の座標を識別した後、第１のモードか、または第２のモードかを判断する（Ｓ１１６０）。もし、第１のモード（被写体認識モード）である場合、被写体の輪郭と連関性を有するようにし、第２のモードは、ディスプレイ画面と連関性を有するようにする。第１のモード及び第２のモードへの転換は、ステッカー保存前にいつでも可能であり、したがって、モード転換を検知すると、第２のモードと解釈されたステッカーデザイン要素が全て第１のモードと解釈されることができる。即ち、ステップ（Ｓ１１６５）を介して解釈されたステッカーデザイン要素がステップ（Ｓ１１７０）乃至ステップ（Ｓ１１９０）を経て解釈されることができ、その反対も可能である。

ステップ（Ｓ１１６０）で第１のモードを選択した場合、まず、輪郭テンプレートを利用して被写体の輪郭を識別する（Ｓ１１７０）。端末は、ステッカーデザイン要素を全て含む図形（例えば、四角形）をイメージで保存し、保存されたイメージ内の被写体を認識して識別された被写体の輪郭を識別する。このとき、被写体は、前記イメージ内に複数個ある。例えば、顔が被写体になることもでき、手、腕などのような人の他の部位が被写体になることもできる。クライアント端末は、既保存された被写体の輪郭テンプレートに基づいて被写体を認識し、該当被写体の輪郭を識別する。このとき、輪郭と関連付けられたピクセルの座標情報を確認することができる。

そして、ステップ（Ｓ１１５０）で識別したステッカーデザイン要素の座標情報に基づいて識別された被写体の輪郭とステッカーデザイン要素を関係付ける関係情報を生成する（Ｓ１１８０）。本発明の実施例によると、前記保存されたイメージに含まれている被写体の輪郭に基づいて被写体の中心点を探す。そして、中心点から被写体の輪郭までの距離に基づいて、被写体の輪郭または前記中心点からステッカーデザイン要素までの距離を考慮してステッカーデザイン要素と被写体の関係を把握することができる。そして、把握された関係に基づいて関係情報を生成することができる。

他の実施例によると、ステップ（Ｓ１１８０）において、既保存された輪郭テンプレート上で前記同期ポイントと対応される地点を探す。同期ポイントは、現在ディスプレイされる実際被写体の輪郭、ステッカーデザイン要素及び既保存された輪郭テンプレートを同期化するための地点であり、被写体の輪郭上の特定地点として特定されることができる。例えば、ステッカーデザイン要素の終端との連関関係を有する被写体の輪郭上の特定地点が同期ポイントとなる。または、ステッカーデザイン要素の開始点及び／または終点と輪郭上の最も近い地点が同期ポイントになることができる。場合によって、ステッカーデザイン要素と輪郭が接する地点が同期ポイントになることができる。このように同期ポイントを確定するアルゴリズムは多様に存在し、これはサーバ装置から受信される放送プラットフォーム情報に含まれて受信することができる。実際被写体の輪郭上の同期ポイントは、被写体とマッチングされる輪郭テンプレート上の特定地点に対応され、これに基づいて前記輪郭テンプレートが適用される他の被写体に適切に適用されることができる。このように生成される同期ポイントは、関係情報として考慮されることができる。

前記関係情報を生成すると、クライアント端末は、関係情報とステッカーデザイン要素に基づいてユーザ著作ステッカーをローカル領域に保存する（Ｓ１１９０）。このとき、ユーザは、保存アイコンをクリックして保存を実行するように命令できる。即ち、ステップ（Ｓ１１１０）乃至ステップ（Ｓ１１８０）までの過程を介してユーザ著作ステッカーを生成することをおもしろさ要素で実施し、その後、ユーザがステッカーで登録したい程度に選好ステッカーが生成されたと判断した場合、前記保存アイコンをクリックして現在実施されているステッカーを登録及び保存することができる。即ち、ステッカーの保存もプロードキャストジョッキーの選好可否により選択的に決定されることができる。そして、保存されたユーザ著作ステッカー情報及びユーザ著作ステッカーが適用されたストリーミング映像は、サーバ装置に送信される。これを受信したサーバ装置は、ユーザ著作ステッカーが適用されたストリーミング映像を視聴者クライアントに放送できる。

このとき、保存及び送信されるステッカー関連情報は、関係情報、被写体の輪郭及び各ステッカーデザイン要素の座標情報、及びステッカーデザイン要素の自体情報を含むことができる。または、関連付けられた輪郭テンプレート情報がさらに保存されることができる。このとき、関係情報は、同期ポイント情報（例えば、被写体上の特定地点またはそれに対応される輪郭テンプレート上の地点）、前記同期ポイントとステッカーデザイン要素との関係を示す情報（例えば、距離情報等）を含むことができる。ステッカーデザイン要素の自体情報は、ステッカーデザイン要素のタイプ（テキストかまたはドローイングか）、ドローイングである場合、ステッカーデザイン要素をなす線の色相、厚さ、形態などの情報などを含むことができる。

もし、ステップ（Ｓ１１６０）で第２のモードを選択した場合、第２のモードに入って、ステッカーデザイン要素の座標情報に基づいてディスプレイ画面内の位置を考慮してユーザ著作ステッカーを生成及び保存する（Ｓ１１６５）。このとき、被写体と関連付けられた情報は保存せずに、ディスプレイ画面との連関性のためにディスプレイ画面内の座標情報のみが保存されることができる。

あらかじめ保存された写真を利用する場合は関連ないが、撮影中、被写体は、動き続いており大きさも変更されることができるため、被写体の輪郭及びステッカーデザイン要素のピクセル座標を識別する時点は重要である。本発明の一実施例によると、被写体の輪郭及びステッカーデザイン要素の座標を識別する時点は、ステッカーデザイン要素生成のためのユーザ入力が開始される瞬間またはユーザ入力が完了する時点を含むことができる。該当時点に合わせて被写体及びステッカーデザイン要素が識別され、前記該当時点以後に被写体の変化に対応してステッカーデザイン要素も変化する。

図１２ａは、ユーザが著作したステッカーを具現するための実際アプリケーションの画面を示す。

図１２ａを参照すると、ユーザ著作ステッカーを生成するツールは、放送画面の上段に第１のモード及び第２のモードを選択するためのアイコン１２０２、ステッカーデザイン要素のタイプを選択するアイコン１２０４、１２０６を表示する。アイコン１２０２をクリックする場合は、第１のモードで動作して被写体の輪郭と連動してステッカーが動き、アイコン１２０２をクリックしない場合は、被写体との関連動作がないため、被写体の輪郭を認識しない。図１２ａの実施例は、第１のモードを選択した状況を仮定する。

また、アイコン１２０４を選択すると、テキスト入力が可能であり、アイコン１２０６を選択すると、ドローイングモードでユーザ入力が可能である。図１２ａの実施例は、ドローイングモードを選択した状況を仮定する。

ドローイングモードで、ユーザは、画面左側のドローイングのための基本線を選択するメニュー１２２０を介して線の厚さ及び形態を選択することができる。ユーザは、ドローイングする途中に任意で前記メニュー１２２０を利用して線の厚さ及び形態を変えることができる。例えば、線の厚さは、上段に最も厚い線から、下段に最も薄い線まで多数個の厚さを選択するメニューを提供することができる。また、線の形態を選択するメニュー（ペンタイプまたはブラッシュタイプを選択するメニュー）は、三角形模様の線、四角形模様の線、原形の線、ハート模様の線、または二つの色相が混合された線、３次元立体効果を入れた線、影効果を入れた線などの選択事項を含むことができる。

また、画面下段には線の色相を選択するメニュー１２３０を提供することができる。ユーザは、提供される複数個の色相の中から一つを選択してドローイングを実行することができる。

図１２ａの実施例において、ユーザは、顔を含む人体上半身を撮影しており、クライアント端末は、これをディスプレイする。プロードキャストジョッキーは、リアルタイムで撮影される途中にメニュー１２２０とメニュー１２３０を介して選択した線の厚さ、形態及び色相でドローイングを実行することで、複数個のステッカーデザイン要素１２１０−１〜１２１０−７を生成する。各ステッカーデザイン要素１２１０−１〜１２１０−７のための入力があるたびにメニュー１２２０とメニュー１２３０を介して互いに異なる線を利用することができる。全体的に、ステッカーデザイン要素１２１０−１、１２１０−２は、顔の上段に形成されてうさぎの耳模様をしている。ステッカーデザイン要素１２１０−３は、ハート模様であり、鼻付近に形成されており、ステッカーデザイン要素１２１０−４〜１２１０−７は、鼻を中心に発散される形態でひげ模様を形成している。

クライアント端末がこのようなステッカーデザイン要素１２１０−１〜１２１０−７を認識して全体的なユーザ著作ステッカーで保存する方法を具体的にみると、クライアント端末は、各ステッカーデザイン要素１２１０−４〜１２１０−７を個別的に認識して各ステッカーデザイン要素と被写体を関係付ける。即ち、ステッカーデザイン要素１２１０−４〜１２１０−７と関連付けられる被写体は、互いに異なる場合がある。ステッカーデザイン要素は、一つの連結された線からなる図形、一回にタイピングされた文字単位で認識されることができる。

図１２ｂは、図１２ａの画面に表示されたステッカーデザイン要素と被写体を関係付ける第１の実施例を示す概念図である。

図１２ｂを参照すると、ユーザ入力によりステッカーデザイン要素が生成されると、端末は、ステッカーデザイン要素を全て含む図形１２４０をイメージ形態で保存する。そして、図形１２４０内に含まれている被写体を識別する。図１２ｂの実施例ではイメージ内の被写体により顔が識別されることができる。このとき、被写体は、被写体の輪郭と既保存された顔テンプレートをマッチングして顔と認識され、これに基づいて顔の輪郭情報を取得することができる。顔の輪郭が取得されると、顔の輪郭情報に基づいて顔の中心点１２４２の座標を確保することができる。そして、顔の中心点１２４２の座標と顔の輪郭との関係に基づいて被写体（顔）と各ステッカーデザイン要素１２１０−１〜１２１０−７との関係情報を生成する。例えば、顔の中心点１２４２と顔の輪郭までの距離と前記顔の中心点１２４２と各ステッカーデザイン要素１２１０−１〜１２１０−７との距離（ｄ_１、ｄ_２、ｄ_３、ｄ_４含む）関係を関係情報として生成できる。または、顔の輪郭と各ステッカーデザイン要素１２１０−１〜１２１０−７までの距離が関係情報として考慮されることができる。各ステッカーデザイン要素１２１０−１〜１２１０−７までの距離計算時、各ステッカーデザイン要素１２１０−１〜１２１０−７の開始点及び終点が考慮されることが好ましい。

このように生成された関係情報に基づいて顔の輪郭が変われると（例えば、顔の形態が変わり、または顔の大きさが変わる場合）、中心点と顔の輪郭までの距離も変わるため、変わった距離に比例するように各ステッカーデザイン要素１２１０−１〜１２１０−７との距離も変更されることができる。

図１２ｃは、図１２ａの画面に表示されたステッカーデザイン要素と被写体を関係付ける第２の実施例を示す概念図である。

図１２ｃを参照すると、ステッカーデザイン要素１２１０−１は、開始点１２５０−１から入力が開始されて終点１２５０−２で入力が終了される。クライアント端末は、開始点１２５０−１及び終点１２５０−２を認識し、関係付ける被写体を識別することができる。本実施例ではステッカーデザイン要素１２１０−１と最も近い且つマッチング度が高い“顔”が関係付ける被写体として選択される。このとき、被写体は、被写体の輪郭と既保存された顔テンプレートをマッチングして顔と認識され、これに基づいて顔の輪郭１２１２情報を取得するようになる。クライアント端末は、ステッカーデザイン要素１２１０−１と連関性を有する被写体、即ち、顔の輪郭１２１２との関係を明確にするために、同期ポイントを探す。同期ポイントは、顔の輪郭１２１２上の地点であり、開始点１２５０−１及び終点１２５０−２と特定関係を有することが好ましい。例えば、開始点１２５０−１及び終点１２５０−２から最も近い地点などが好ましい。または、ステッカーデザイン要素１２１０−１と接する輪郭１２１２上の地点が同期ポイントになることができる。同期ポイントと関連付けられた情報は、被写体の輪郭上のどの地点かを指示する座標情報を含み、同期ポイント関連情報もユーザ著作ステッカー保存時、端末に保存される情報となる。

本実施例では、開始点１２５０−１及び終点１２５０−２と最も近い顔の輪郭１２１２上の地点である地点１２６０−１及び地点１２６０−２が同期ポイントとして検出されることができる。

クライアント端末は、同期ポイント１２６０−１、１２６０−２を検出した後、顔の輪郭１２１２と開始点１２５０−１及び終点１２５０−２との距離ｄ１′及びｄ２′を計算し、これを関係情報として保存することができる。即ち、他の顔に適用されても、同期ポイントに基づいて距離ｄ１′及びｄ２′ほど離れた位置にステッカーデザイン要素が生成されるようにする方式に著作されたステッカーを再現することができる。このとき、顔の大きさが変わると、その変更された大きさに比例して距離ｄ１′及びｄ２′も縮小または拡張すればよい。即ち、顔の形態または大きさ（ｓｃａｌｅ）が変わっても、現在顔の同期ポイントの座標に対応される座標を変わった顔で探してステッカーデザイン要素を適切に適用させることができる。

また、ステッカーデザイン要素が表示された全体ピクセルの座標を識別してその形態を認識及び記憶し、以後被写体の大きさ及び形態（傾き等）変更に対応してステッカーデザイン要素の大きさ及び形態も適切にリサイジング（ｒｅｓｉｚｉｎｇ）されるようにすることができる。例えば、被写体の大きさが変わると、同期ポイントの座標だけでなく、ステッカーデザイン要素の形態を維持しながら、大きさも変わった被写体の大きさに対応されるように変更されることができる。

次に、ステッカーデザイン要素１２１０−３の場合、顔の輪郭１２１２との関係も考慮することができるが、鼻の輪郭１２１４との関係も考量対象になる。したがって、この場合、複数個の被写体の輪郭１２１２、１２１４に対して複数個の同期ポイントを検出することができ、検出された複数個の同期ポイントとの関係情報を生成して保存されることができる。

本発明の他の実施例によると、顔の全体部分を遮るステッカーデザイン要素も生成可能である。この場合、顔の輪郭１２１２との関係を考慮し、顔が小さくディスプレイされると、小さくなった顔を遮る程の大きさでステッカーデザイン要素の大きさも小さくなり、顔が大きくディスプレイされると、大きくなった顔を遮ることができるようにステッカーデザイン要素の大きさも大きくなる。このようなステッカーデザイン要素の大きさ、形態及び同期ポイントの位置変更は、リアルタイムで撮影している被写体の大きさ及び形態の変更に反応して自動で行われることができる。

図１２ａ乃至図１２ｃで説明している本発明の一実施例に係る被写体とステッカーデザイン要素の関係情報ベースのトラッキング方法は、既保存されたステッカーと被写体とのトラッキングに適用可能である。また、前記実施例によって生成及び保存されたユーザ著作ステッカーと関連付けられた情報は、ストリーミング映像と共にサーバ装置に提供されることができる。

本発明の他の実施例によると、ライブ放送サービス提供方法で、サーバは、ストリーミング映像に適用されるステッカーに対するハッシュタグをデータベースに保存し、該当映像を共有する時点にデータベースに保存されたハッシュタグを自動適用することによって、広告用ステッカーが適用された映像を容易に検索でき、これを介して広告用ステッカーの使用回数または露出回数を推定することができる。もちろん、本発明の一実施例に係るステッカーには該当ステッカーに対するウォーターマークが挿入されている場合があり、このように挿入されたウォーターマークコードを利用してステッカーの使用回数を推定することもできる。

以上、図面及び実施例を参照して説明したが、本発明の保護範囲が前記図面または実施例により限定されるものではなく、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

Claims (17)

1. クライアント端末におけるライブ（Ｌｉｖｅ）ストリーミング映像生成方法において、
   ストリーミング映像を生成するためのプラットフォーム情報を取得するステップであって、前記プラットフォーム情報は、ライブ放送サービスを提供するライブ放送サーバから取得されたライブ放送と関連付けられた放送プラットフォーム（ｐｌａｔｆｏｒｍ）情報を含む、ステップ；
   前記プラットフォーム情報に基づいて第１のストリーミング映像を生成するステップ；
   前記第１のストリーミング映像をディスプレイするステップ；
   ユーザ入力により、前記ディスプレイされる第１のストリーミング映像の少なくとも一部を飾るためのステッカー（ｓｔｉｃｋｅｒ）及びエフェクト（ｅｆｆｅｃｔ）の中から少なくとも一つを選択するステップ；及び、
   前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記第１のストリーミング映像にリアルタイムで適用することで第２のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を生成するステップ；を含み、
   前記放送プラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対する第１のプラットフォーム情報と、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つと関連付けられた広告収益の分配に関する政策に対する第２のプラットフォーム情報とを含み、
   前記第１のプラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの候補を含むステッカー／エフェクト選択メニューの表示と関連付けられたユーザインターフェース情報を含み、
   前記ステッカー／エフェクト選択メニューは、広告収益の分配に関する政策に対する前記第２のプラットフォーム情報に基づいて、広告と関連付けられた第１のステッカー及び第１のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第１のステッカー及び前記第１のエフェクトのうち少なくとも一つに対応する第１の広告収益と、広告と関連付けられた第２のステッカー及び第２のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第２のステッカー及び前記第２のエフェクトのうち少なくとも一つに対応する第２の広告収益とを表示する、ライブストリーミング映像生成方法。
2. 前記第１のストリーミング映像を生成するステップは、
   カメラで被写体を撮影するステップ；及び、
   前記撮影された被写体に基づいて第１のストリーミング映像を生成するステップ；を含む請求項１に記載のライブストリーミング映像生成方法。
3. 前記第２のストリーミング映像を生成するステップは、
   前記被写体をリアルタイムでトラッキング（ｔｒａｃｋｉｎｇ）してトラッキング情報を取得するステップ；及び、
   前記取得されたトラッキング情報に基づいて、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記被写体に適用することで前記第２のストリーミング映像を生成するステップ；を含む請求項２に記載のライブストリーミング映像生成方法。
4. 前記トラッキング情報は、前記被写体の少なくとも一つの特徴点と関連付けられた情報を含み、
   前記トラッキング情報に含まれている前記少なくとも一つの特徴点を媒介にして前記選択されたステッカー及びエフェクトのうち少なくとも一つが前記被写体に適用される請求項３に記載のライブストリーミング映像生成方法。
5. 前記少なくとも一つの特徴点と関連付けられた情報は、前記少なくとも一つの特徴点の動き情報を含み、
   前記少なくとも一つの特徴点の動き情報に基づいて、前記被写体の動きに対応して前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記被写体に適用する請求項４に記載のライブストリーミング映像生成方法。
6. 前記生成された第２のストリーミング映像を前記ライブ放送サーバに送信するステップをさらに含み、
   前記ライブ放送サーバに送信される第２のストリーミング映像は、前記ライブ放送を視聴する視聴者のクライアント端末に送信される請求項１に記載のライブストリーミング映像生成方法。
7. 前記ステッカーは、前記第１のストリーミング映像内の一部を遮るためにユーザ入力によって前記第１のストリーミング映像内の位置情報を任意で設定したステッカーを含む請求項１に記載のライブストリーミング映像生成方法。
8. 前記エフェクトは、ユーザ入力により前記第１のストリーミング映像に既適用されたステッカーの少なくとも一部を消えるようにする効果を含む請求項１に記載のライブストリーミング映像生成方法。
9. ライブ（Ｌｉｖｅ）ストリーミング映像生成装置において、
   サーバと通信する通信部；
   前記通信部を介して前記サーバから取得された、ストリーミング映像を生成するためのプラットフォーム情報に基づいて生成された第１のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をディスプレイするディスプレイ部であって、前記プラットフォーム情報は、ライブ放送サービスを提供する前記サーバから取得されたライブ放送と関連付けられた放送プラットフォーム（ｐｌａｔｆｏｒｍ）情報を含む、ディスプレイ部；及び、
   ユーザ入力により、前記ディスプレイされる第１のストリーミング映像の少なくとも一部を飾るためのステッカー（ｓｔｉｃｋｅｒ）及びエフェクト（ｅｆｆｅｃｔ）の中から少なくとも一つを選択し、前記選択されたステッカー及びエフェクトのうち少なくとも一つを前記第１のストリーミング映像にリアルタイムで適用することで第２のストリーミング映像を生成する制御部；を含み、
   前記放送プラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対する第１のプラットフォーム情報と、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つと関連付けられた広告収益の分配に関する政策に対する第２のプラットフォーム情報とを含み、
   前記第１のプラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの候補を含むステッカー／エフェクト選択メニューの表示と関連付けられたユーザインターフェース情報を含み、
   前記ステッカー／エフェクト選択メニューは、広告収益の分配に関する政策に対する前記第２のプラットフォーム情報に基づいて、広告と関連付けられた第１のステッカー及び第１のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第１のステッカー及び前記第１のエフェクトのうち少なくとも一つに対応する第１の広告収益と、広告と関連付けられた第２のステッカー及び第２のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第２のステッカー及び前記第２のエフェクトのうち少なくとも一つに対応する第２の広告収益とを表示する、ライブストリーミング映像生成装置。
10. ライブストリーミングサービスを提供するサーバ装置におけるライブストリーミングサービス提供方法において、
    ライブストリーミングと関連付けられたプラットフォーム情報を第１のクライアント端末に提供するステップであって、前記プラットフォーム情報は、ライブ放送サービスと関連付けられた放送プラットフォーム（ｐｌａｔｆｏｒｍ）情報を含む、ステップ；
    前記第１のクライアント端末から、前記プラットフォームに基づいて生成された第１のストリーミング映像の少なくとも一部を飾るためのステッカー及びエフェクトのうち少なくとも一つをリアルタイムで適用した、第２のストリーミング映像を受信するステップ；及び、
    前記第１のクライアント端末から取得した第２のストリーミング映像を第２のクライアント端末に提供するステップ；を含み、
    前記放送プラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対する第１のプラットフォーム情報と、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つと関連付けられた広告収益の分配に関する政策に対する第２のプラットフォーム情報とを含み、
    前記第１のプラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの候補を含むステッカー／エフェクト選択メニューの表示と関連付けられたユーザインターフェース情報を含み、
    前記ステッカー／エフェクト選択メニューは、広告収益の分配に関する政策に対する前記第２のプラットフォーム情報に基づいて、広告と関連付けられた第１のステッカー及び第１のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第１のステッカー及び前記第１のエフェクトのうち少なくとも一つに対応する第１の広告収益と、広告と関連付けられた第２のステッカー及び第２のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第２のステッカー及び前記第２のエフェクトのうち少なくとも一つに対応する第２の広告収益とを表示する、ライブストリーミングサービス提供方法。
11. 前記ライブストリーミングサービスは、前記第１のクライアント端末ベースのライブ放送サービスを含み、
    前記第２のクライアント端末は、前記第１のクライアント端末が開設した放送局に立場した視聴者と関連付けられた端末である請求項１０に記載のライブストリーミングサービス提供方法。
12. 前記ステッカーを適用するための前記第１のクライアント端末におけるユーザ入力及び既適用されたステッカーのうち少なくとも一部を消えるようにする効果を活性化するための前記第２のクライアント端末におけるユーザ入力のうち少なくとも一つは、前記第１のクライアント端末と関連付けられたユーザアカウント及び前記第２のクライアント端末と関連付けられたユーザアカウントのうち少なくとも一つから前記サーバ装置への費用支払いと関連付けられる請求項１０に記載のライブストリーミングサービス提供方法。
13. 前記第１のクライアント端末で前記広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つを適用することで前記第２のストリーミング映像を生成した時、前記第２のクライアント端末と関連付けられたユーザが前記第２のストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに基づいて、前記広告と関連付けられた任意の動作を実行することを検知した場合、
    前記第２のストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対応する広告関連情報を確認し、
    前記確認された広告関連情報に基づいて、前記第１のクライアント端末及び前記第１のクライアント端末のうち少なくとも一つと関連付けられたユーザに前記広告と関連付けられた収益のうち少なくとも一部を共有する請求項１０に記載のライブストリーミングサービス提供方法。
14. 前記広告と関連付けられた収益の共有は、前記第２のストリーミング映像に適用された広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの適用回数を推定することによって行われる請求項１３に記載のライブストリーミングサービス提供方法。
15. 前記プラットフォーム情報に基づいて第１のクライアント端末で適用可能なステッカー候補及びエフェクト候補のうち少なくとも一つを含むステッカー／エフェクト選択メニューを提供するステップをさらに含む請求項１０に記載のライブストリーミングサービス提供方法。
16. 前記ステッカー／エフェクト選択メニュー内に含まれるステッカー候補及びエフェクト候補のうち少なくとも一つは、前記第１のクライアント端末と関連付けられたユーザの履歴、コンテンツ、及びサービス類型のうち少なくとも一つを考慮し、それに対応されるステッカー候補及びエフェクト候補のうち少なくとも一つで構成され、
    前記ステッカー／エフェクト選択メニュー内に含まれる前記ステッカー候補及び前記エフェクト候補のうち少なくとも一つは、前記第１のクライアント端末の位置情報を考慮している、請求項１５に記載のライブストリーミングサービス提供方法。
17. ライブストリーミングサービスを提供する装置において、
    第１のクライアント端末及び第２のクライアント端末と通信する通信部；及び、
    前記通信部を介して、第１のクライアント端末に提供するライブストリーミングと関連付けられたプラットフォーム情報を送信し、前記第１のクライアント端末から、前記プラットフォームに基づいて生成された第１のストリーミング映像の少なくとも一部を飾るためのステッカー及びエフェクトのうち少なくとも一つを適用した、第２のストリーミング映像を受信して前記第１のクライアント端末から取得した第２のストリーミング映像を第２のクライアント端末に提供する制御部；を含み、
    前記プラットフォーム情報は、ライブ放送サービスと関連付けられた放送プラットフォーム（ｐｌａｔｆｏｒｍ）情報を含み、
    前記放送プラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つに対する第１のプラットフォーム情報と、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つと関連付けられた広告収益の分配に関する政策に対する第２のプラットフォーム情報とを含み、
    前記第１のプラットフォーム情報は、広告と関連付けられたステッカー及びエフェクトのうち少なくとも一つの候補を含むステッカー／エフェクト選択メニューの表示と関連付けられたユーザインターフェース情報を含み、
    前記ステッカー／エフェクト選択メニューは、広告収益の分配に関する政策に対する前記第２のプラットフォーム情報に基づいて、広告と関連付けられた第１のステッカー及び第１のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第１のステッカー及び前記第１のエフェクトのうち少なくとも一つに対応する第１の広告収益と、広告と関連付けられた第２のステッカー及び第２のエフェクトのうち少なくとも一つと、広告と関連付けられた前記第２のステッカー及び前記第２のエフェクトのうち少なくとも一つに対応する第２の広告収益とを表示する、ライブストリーミングサービスを提供する装置。