JP6048692B2 - ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること - Google Patents

ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること Download PDF

Info

Publication number
JP6048692B2
JP6048692B2 JP2014528817A JP2014528817A JP6048692B2 JP 6048692 B2 JP6048692 B2 JP 6048692B2 JP 2014528817 A JP2014528817 A JP 2014528817A JP 2014528817 A JP2014528817 A JP 2014528817A JP 6048692 B2 JP6048692 B2 JP 6048692B2
Authority
JP
Japan
Prior art keywords
person
television
content
watching
currently
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014528817A
Other languages
English (en)
Other versions
JP2014529133A (ja
Inventor
リ、ウェンロン
ドゥ、ヤンチョウ
リ、ジアングオ
トーン、シァオフェン
ワン、ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2014529133A publication Critical patent/JP2014529133A/ja
Application granted granted Critical
Publication of JP6048692B2 publication Critical patent/JP6048692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、全体としてテレビに関し、ソーシャルネットワーキングツールを用いた交流に関する。
ソーシャルネットワーキングツールは、多くの人々の生活に欠かせないものになった。ソーシャルネットワーキングツールのおかげで、ユーザは友人の動向に通じ、以前からの友人および新しい友人との新たなつながりのもとを見つけることができる。
ソーシャルネットワーキングの1つの利点は、同じような関心事を有する友人を特定することができることである。しかし、通常はそれらの関心事がなんであるかを判断するために多くのユーザ入力が必要である。たとえば、ユーザは関心のある分野を示すフェイスブックのページを維持することができる。そのユーザのすべての関心事、好き嫌いを十分に提示したものを提供するためにかかる時間およびそれに伴い得る想像量のせいで、提供することができる情報の量は限定され得る。
本発明の一実施形態の概略図である。 本発明の一実施形態のフローチャートである。 本発明の別の実施形態のフローチャートである。
いくつかの実施形態によれば、ユーザのテレビ体験についての情報は、社会的交流を増やすための一様相としてソーシャルネットワーキングツールに自動的に伝えられ得る。さらに、いくつかの実施形態は、ユーザがオンラインであるかどうかだけでなく、ユーザが現にユーザのテレビディスプレイのすぐ近くにいるかどうかも実際に判断することができる。いくつかの実施形態においては、ユーザの表情からユーザが現在表示されている番組を好むか否か、あるいは嫌うか否かを判断することができる。いくつかの実施形態においては、さまざまなテレビ視聴者についてお気に入り番組のリストを自動的に集めることもできる。この情報を次にソーシャルネットワーキングツールまたは社会的交流のための他の手段にアップロードすることができる。
図1を参照する。一実施形態において、テレビディスプレイ18はテレビカメラ16を備えてよい。いくつかの実施形態において、テレビカメラはテレビディスプレイ18に取り付けられるかまたはテレビディスプレイ18と一体化されてよいが、もちろんカメラはテレビディスプレイとは完全に別個のものにすることができる。しかし、カメラ16は、テレビを見ている人々の画像を撮像することができ、人々の表情も取り込むこともできるように取り付けられていると有利である。したがって、テレビ18はビデオソースを受け取ってよく、ビデオソースは電波放送、ストリーミングインターネット情報、記憶装置たとえばDVDプレーヤからのデジタル映画、インターネット上でまたはデジタルメディアプレーヤを用いてプレイされるインタラクティブゲームであってよい。
カメラ16からの出力は、プロセッサベースのシステム10に接続されてよい。いくつか例を挙げると、プロセッサベースのシステム10はラップトップコンピュータ、デスクトップコンピュータ、娯楽装置、または携帯電話を含むどのような種類のコンピュータであってもよい。プロセッサベースのシステム10は、カメラ16からビデオを受け取り、ビデオをプロセッサ12による使用に適した形式に変換するビデオインタフェース22を含んでよい。ビデオインタフェースは、ユーザ状況モジュール24にビデオを提供してよい。
一実施形態によると、ユーザ状況モジュールは、ユーザが現にオンラインであるかどうか、いくつかの実施形態においては、ユーザが現にテレビを見ているかどうかを判断する。オンライン状況は、たとえばネットワークインタフェースコントローラを通じた入力および出力の検出から判断することができる。ユーザが現に番組を見ているかどうかは、たとえばユーザがテレビスクリーンの前にいるかどうかを検出するカメラ16のビデオフィードのビデオ分析から判断することができる。
いくつかの実施形態において、ユーザ状況モジュールは多数のテレビ視聴者を検出してよい。それらの視聴者のそれぞれが自動顔分析によって特定されてよい。たとえば、設定モードにおいて各視聴者はユーザの写真の取り込みに協力するようにうながされてよい。次に、システムは、テレビ番組の視聴者の顔の画像を事前に録画された視聴者のビデオクリップまたは設定モードの間に撮影された静止ショットと比較して、現在視聴中の視聴者を特定することができる。
したがって、いくつかの実施形態において、ユーザ状況モジュール24は、だれか視聴者がテレビを見ているかどうかを示すだけでなく、複数の視聴者のうちのどの視聴者が現にテレビディスプレイ18を見ているかを実際に特定する。
ユーザ状況モジュールは、ビデオインタフェース22からのビデオフィードも受け取るユーザ関心検出モジュール26に結合されてよい。ユーザ関心検出モジュール26は、ビデオ表情分析ツールを用いてユーザの表情を分析して、ユーザが番組に関心を抱いているかまたは無関心であるかを判断してよい。同様に、表情分析は、ユーザが番組を好むかまたは番組を嫌うかを判断するために用いることができる。ユーザ関心検出モジュールからの情報は、ソーシャルネットワーキングインタフェース28への情報の提供のために、ユーザ状況モジュールからの結果と組み合わされてよい。いくつかの実施形態において、ユーザの好き嫌いの瞬間的なビデオ顔分析がソーシャルネットワーキングツールに伝えられてよい。本明細書において用いられる「ソーシャルネットワーキングツール」とは、人々が以前からの友人または仲間と交流することを助け、および/または共通の関心事に光をあてることによって人々が新しい友人または仲間を発見することを助ける電子的な通信技術、たとえばウェブサイトである。ユーザの現在の活動および満足度を示すために電子メール、ツイート、携帯電話メール、または他の通信手段もソーシャルネットワーキングツールの一部として提供されてよい。
いくつかの実施形態において、テレビ番組からのビデオクリップが取り込まれ、ユーザの視聴状況およびユーザの現在の関心レベルの表示とともに、ソーシャルネットワーキングインタフェース28での配布のためにプロセッサ12に伝えられてよい。
記憶装置14は、本発明の実施形態を実行するために、取り込まれたビデオを記憶してよく、番組30および50も記憶してよい。
特に、本発明のいくつかの実施形態において、図2および図3に示されるシークエンスがハードウェア、ソフトウェアおよび/またはファームウェアに実装されてよい。ソフトウェアまたはファームウェア実装された実施形態において、これらのシークエンスは非一時的記憶媒体、たとえば半導体、磁気式または光学式の記憶装置に記憶されたコンピュータ実行型命令によって実行されてよい。
図2を参照すると、一実施形態において1つのシークエンスが図1に示されるカメラ16からフィードを受け取ること(ブロック32に示されるように)によって開始されてよい。初期段階(ブロック34)は、ユーザインタフェースを介したパスワードログイン、またはユーザがカメラ16およびユーザ状況モジュール24を用いてビデオ顔分析を受ける顔ログインを含んでよい。ユーザがログイン認証および/または顔認証によって彼自身または彼女自身であることを特定された後、ブロック36に示されるように、ユーザは視聴のためにビデオ番組を選んでよい。この番組はさまざまなツールを用いて特定されてよく、さまざまなツールは、電子的な番組ガイドから情報を取り込むこと、ビデオクリップ、オーディオクリップまたはメタデータクリップを取り込み、ソーシャルネットワーキングツールを通じてのユーザの友人たちからの入力、あるいはインターネットまたはデータベース画像またはテキスト検索からの入力、あるいは任意の他のツールを用いてこれらのクリップを分析することを含む。次に、ブロック38に示されるように、ユーザのオンライン状況がビデオ顔検出によって判断されてよい。すなわち、ユーザは、ユーザが彼または彼女のプロセッサベースのシステム10上でアクティブであるだけでなく、現にアクティブなテレビ番組の前にいて、アクティブなテレビ番組を見ていると判断するカメラフィード16の分析によって特定され得る。
次に、ユーザの関心レベルは、ブロック40に示されるように表情分析を用いて判断されてよい。ユーザが関心を抱いているかまたは無関心であるか、あるいはユーザがビデオの中の特定のシークエンスを好むかまたは嫌うかを判断するための周知のビデオ顔分析技法が用いられてよい。従って、ユーザの関心または無関心のレベル、あるいは好き嫌いが変化したかどうかを示すリアルタイムの情報が提供されてよい。この情報は、視聴されている現在のコンテンツから取り込まれたビデオクリップをユーザの関心レベルの表示とともに提供しつつ、たとえば時間の観点でそのコンテンツと相互に関連付けられてよい。
ビデオ顔分析は、ローカルにまたはリモートで実行することができる。リモートビデオ分析は、たとえばネットワークコネクションを通じてリモートサーバにビデオを送ることによって実現されてよい。
次に、表情分析から推定された情報は、ブロック42に示されるようにソーシャルネットワーキングツールを用いて友人たちに伝えられてよい。いくつかの実施形態において、ブロック42に示されるようにソーシャルネットワーキングメッセージの配布は友人であるユーザだけ、同じテレビ番組を好む友人であるユーザだけ、現にオンライン中の友人であるユーザだけ、現にテレビを見ている友人であるユーザだけ、またはこれらの範疇のいくつかの組み合わせに選別されるかまたはフィルタされてよい。次に、友人たちは、たとえば同じテレビ番組を好むならリンクされ得る。
このソーシャルネットワーキングツール交流は、新しい友人たちとの関わり合いを容易にしつつ、以前からの友人たちとの交流のためのリソースを生み出すことができるユーザについての情報を提供するための手段を提供する。さらに、情報は、コンテンツプロバイダおよび広告主による人口学的データ収集のために用いられてよい。特に、コンテンツプロバイダまたは広告主は、所定の番組または広告の間の特定の時間においてユーザが何を好んだかについての非常に詳細な情報を得ることができる。
例となる一実施形態では顔属性検出のために6つの主なステップが用いられてよい。最初に、所定のデジタル画像またはビデオフレームについて顔の矩形領域の位置を決める顔検出が実行されてよい。次に、検出されたそれぞれの顔の矩形の中の6つの点の目印、たとえば目頭・目尻および口角を見つける顔目印検出器が実行されてよい。次に、顔の矩形画像は位置調節され、顔の目印点にしたがって事前に定められた標準サイズ、たとえば64×64(すなわち幅64ピクセルかける高さ64ピクセル)に標準化されてよい。次に、標準化された顔画像の事前に選択された局所領域から局所バイナリパターン、ヒストグラム、または勾配方向のヒストグラムを含む局所特徴が抽出されてよい。次に、各局所領域は、予測のために多層認知弱分類器に入力される。弱分類器からの各局所領域の出力は最終検出スコアとして集計される。スコアは0〜1の範囲であってよく、スコアが大きいほど顔属性検出の信頼性が高い。顔検出は、標準ヴィオラ−ジョーンズ(Viola−Jones)ブースティングカスケードフレームワークに従ってよい。ヴィオラ−ジョーンズ検出器は、公開されているオープンCVソフトウェアパッケージ中で見つけることができる。顔目印は、左眼および右眼の目頭・目尻、ならびに口角を含む顔の6つの点を含む。目頭・目尻および口角もヴィオラ−ジョーンズ式分類器を用いて検出されてよい。さらに、顔の6つの点の幾何学的な関係を反映する幾何学的な制約が顔の6つの点に組み込まれてよい。
検出されたすべての顔はグレイスケールに変換され、位置調節され、事前に定められた標準サイズ、たとえば64×64に標準化されてよい。位置調節は、最初に目頭・目尻の線と水平な線との間の回転角を計算することによって実行されてよい。次に、画像角は、眼の端を水平な線に平行にするように回転される。次に、2つの眼の中心の距離wが計算され、眼から口までの距離hが計算される。次に、左眼中心が0.5w、0.5h、右中心が0.5w、0.5h、口中心がw、1.5hになるように2w×2hの矩形が顔領域から切り取られる。最後に、切り取られた矩形は標準サイズにスケール調節される。スケール調節された画像は、画像間の照明差を軽減するためにヒストグラムイコライズされ得る。
位置調節され、標準化された顔の局所領域の局所特徴が抽出されてよい。局所特徴は、局所バイナリパターン、ヒストグラム、勾配方向ヒストグラムであってよい。たとえば、抽出された局所特徴は、顔属性が異なれば異なってよい。たとえば、スマイル検出においては局所バイナリパターンが他の技法より少し良く、性別/年齢検出においては勾配方向ヒストグラムが若干良好に機能する。
局所領域は、4つ組(x,y,w,h)として定義される。ここで(x,y)は局所領域の左上の隅の点であり、(w,h)は局所領域の矩形の幅および高さである。学習データセットから顔属性検出のための差別化領域を選ぶためにブースティングアルゴリズムが用いられてよい。
選ばれた局所領域ごとに、弱分類を実行する分類器が学習させられてよい。ベース分類器は、サポートベクトルマシンよりはむしろ多層認知であってよい。いくつかの実施形態において、多層認知(MLP:Multi−layer perception)は、最先端のサポートベクトルマシン系アルゴリズムと同様の性能を提供することができるので有利となるであろう。また、MLPのモデルサイズは、サポートベクトルマシン(SVM:Support vector machine)よりはるかに小さい。MLPはモデルとしてネットワーク重みしか記憶しないが、SVMはスパースな学習サンプルを記憶するからである。MLPの予測は相対的に速い。MLPはベクトル積演算しか含まず、MLPは予測信頼性のためにだけ確率およびスコア出力を直接生成するからである。
MLPは入力層、出力層および1つの隠れ層を含んでよい。入力層にdノードがあるとする。ここでdは局所特徴の次元であって局所バイナリパターンヒストグラムについては59である。スマイル検出のための出力層には2ノードがあるとする。2ノードはスマイル動作または非スマイル動作のための予測確率を示す。さらに、隠れ層のノード数は調整パラメータであり、学習手順によって決定される。
ニューロンとして知られるMLPのすべてのノードは、同様であってよい。MLPは、入力として前の層のいくつかのノードからの出力値を取り、次の層のニューロンに応答を渡してよい。前の層から取り出された値はノードごとに学習重みを用いて合計され、バイアス項が加えられ、和は活性化関数fを用いて変換される。
活性化関数fは、通常はシグモイド関数、たとえばf(x)=e−xa/(1+e−xa)である。この関数の出力は0から1の範囲である。各ノードにおいて、計算は、重み因子と前の層からの入力ベクトルとの間のベクトル積y=f(w・x)である。ここで、wは重み因子、xは入力ベクトルである。したがって、計算は、単一命令複数データ処理命令(SIMD:single instruction,multiple data instructions)または他のアクセラレータによって容易に加速することができる。
MLPは、局所領域ごとに弱分類器として用いられる。選ばれた各領域は、1つのMLP分類器と関連付けられる。最終分類は、以下のように簡単な集計規則にもとづく。所定の試験サンプルxについて、選ばれた局所領域kごとにその領域における局所特徴xを抽出する。次に、弱MLP分類器C(x)を用いて予測を行う。最終出力は、以下の集計結果である。
Figure 0006048692
次に、図3を参照すると、ブロック32においてカメラフィードが受け取られる。ブロック52において、顔検出および顔認識を用いて人の識別リストがまとめられてよい。言い換えると、コンテンツ(たとえばテレビ番組)を見ているすべての人がカメラ16を用いて記録されてよい。次に、見ていてかつそのビデオストリームに映されている視聴者を特定するためにビデオコンテンツ分析が用いられてよい。一実施形態では、設定段階において顔が識別子とともに再び記録されてよい。
次に、ブロック54において示されるように、番組を見ているユーザのうちのどのユーザが所定の時間のインスタンスにおいて所定の番組を現に好むかを判断するためにビデオ表情分析が用いられてよい。ブロック56に示されるように、時間とともに、ビデオで特定された視聴者ごとにお気に入り番組リストが作成されてよい。次に、ブロック58において、ユーザのコンピュータ検出された表情にもとづく番組のおすすめが、たとえばウェブサイト、ツイート、携帯電話メールまたは電子メールを含むソーシャルネットワーキングツールを通じて友人にプッシュ送信されてよい。
本明細書全体を通じて、「一実施形態」または「実施形態」への参照は、その実施形態と関連して記載された特定の特徴、構造または特性が本発明の範囲に包含される少なくとも1つの実装に含まれることを意味する。したがって、句「一実施形態」または「実施形態において」が表れても必ずしも同じ実施形態を参照するわけではない。さらに、特定の特徴、構造または特性は、例示される特定の実施形態以外の他の適当な形で実施されてよく、そのようなすべての形は本願の請求項の範囲に包含されていればよい。
本発明は、限られた数の実施形態に関して記載されてきたが、当業者であれば分かるように、実施形態には多数の変更形および変化形がある。添付の請求項はすべてのそのような変更形および変化形を本発明の真の趣旨および範囲に属するとして包含するものとする。
(項目1)
人がテレビコンテンツを見ているかどうかを電子的に判断するステップを備える方法。
(項目2)
上記人がオンライン中であるかを電子的に判断するステップをさらに備える、項目1に記載の方法。
(項目3)
上記人がテレビを見ているかを判断するために電子的なビデオ分析を用いるステップを備える、項目1に記載の方法。
(項目4)
上記人がテレビを見ている時を、ソーシャルネットワーキングツールを用いて自動的に示すステップを備える、項目1に記載の方法。
(項目5)
上記人が上記テレビコンテンツを好むかどうかを自動的に電子的に評価するステップを備える、項目1に記載の方法。
(項目6)
上記人が上記テレビコンテンツを好むかどうかを評価するためにビデオ顔分析を用いるステップを備える、項目5に記載の方法。
(項目7)
上記人が上記テレビコンテンツを好むかどうかの分析をソーシャルネットワーキングツールを用いて自動的に報告するステップを備える、項目5に記載の方法。
(項目8)
テレビを見ている複数の人を電子的に特定するステップを備える、項目1に記載の方法。
(項目9)
テレビを見ている上記複数の人のそれぞれを特定するべく、電子的なビデオ分析を用いるステップを備える、項目8に記載の方法。
(項目10)
上記複数の人のそれぞれについてお気に入り番組のリストを電子的に作成するステップを備える、項目8に記載の方法。
(項目11)
コンピュータに、
人が現にテレビを見ているかどうかを判断させる手順、および、
上記人がテレビを見ているかどうかについての情報を、ソーシャルネットワーキングツールを用いて送信させる手順、を備えるプログラム。
(項目12)
上記人がオンライン中であるかを判断する手順、および、上記人がオンライン中であるかについての情報をソーシャルネットワーキングツールに送信する手順をさらに備える、項目11に記載のプログラム。
(項目13)
上記人が上記テレビに映っているものを好むかを判断する手順、および、上記人が上記テレビに映っているものを好むかについての情報をソーシャルネットワーキングツールに報告する手順をさらに備える、項目12に記載のプログラム。
(項目14)
上記人が上記テレビに映っているものを好むかどうかを判断するためにビデオ顔分析を用いる手順をさらに備える、項目13に記載のプログラム。
(項目15)
上記テレビを見ている複数の人のそれぞれを特定するためにビデオ分析を用いる手順をさらに備える、項目11に記載のプログラム。
(項目16)
上記複数の人のそれぞれがどのテレビ番組を好むかを判断する手順をさらに備える、項目15に記載のプログラム。
(項目17)
複数の視聴者のそれぞれが好むテレビ番組のリストを集める手順をさらに備える、項目16に記載のプログラム。
(項目18)
同じテレビ番組を好むソーシャルネットワーキングサイトの友人とリンクする手順をさらに備える、項目14に記載のプログラム。
(項目19)
テレビを見ている人を特定し、ソーシャルネットワーキングツールを通じて上記人がテレビを見ていることを報告するプロセッサ、および
上記プロセッサに結合された記憶装置を備えるシステム。
(項目20)
上記プロセッサはさらに、上記人がオンライン中であるかを判断する、項目19に記載のシステム。
(項目21)
上記プロセッサに結合されたビデオカメラを備え、
上記プロセッサは、上記人がテレビに映っている番組を好むかを判断するためにビデオ顔分析を用いる、項目19に記載のシステム。
(項目22)
上記プロセッサは、テレビを見ている複数の人を特定する、項目19に記載のシステム。
(項目23)
上記プロセッサは、上記複数の人のそれぞれがどの番組を好むかを判断する、項目22に記載のシステム。
(項目24)
上記複数の人のそれぞれが好む番組のリストを集める、項目23に記載のシステム。
(項目25)
上記プロセッサに結合されたビデオカメラを備え、
上記プロセッサは、誰がテレビを見ているか、および、テレビを見ている人はテレビに映っている番組を好むかどうかを判断するためにビデオ分析を用いる、項目24に記載のシステム。
(項目26)
上記プロセッサは、ソーシャルネットワークツールを用いて上記人がテレビ番組を好むかどうかを通信する、項目19に記載のシステム。
(項目27)
上記プロセッサは、ビデオカメラに結合され、
上記プロセッサは、上記人が上記テレビ番組を好むかどうかを判断するためにビデオを分析する、項目26に記載のシステム。

Claims (19)

  1. 電子的な番組ガイドから情報を取り込むことにより、テレビコンテンツを自動的に特定するステップと、
    人が前記テレビコンテンツを見ているかどうかを電子的に判断するステップと、
    カメラにより撮像された前記人の画像を用いて前記人の表情を分析することにより、前記人が前記テレビコンテンツを好むかどうかを自動的に決定するステップと、
    前記人の友人が現にオンライン中であるかどうかを決定するステップと、
    前記友人が現にテレビを見ているかどうかを決定するステップと、
    記友人が同じテレビコンテンツを好むかどうかを決定するステップと、
    前記人および前記友人が前記同じテレビコンテンツを好み、前記友人が現にオンライン中であり、かつ、前記友人が現に前記テレビを見ているという決定に基づいて、前記人と、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人を、電子的なソーシャルネットワーキングツールを介して自動的にリンクさせるステップと
    前記人がテレビを見ている時に、前記テレビコンテンツに対する前記人の好き嫌いが変化したことを示すリアルタイムの情報を、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人に、前記電子的なソーシャルネットワーキングツールを用いて自動的に示すステップと
    を備え
    前記人の好き嫌いの変化は、ビデオ顔分析により判断される、方法。
  2. 前記人がオンライン中であるかを電子的に判断するステップをさらに備える、請求項1に記載の方法。
  3. 前記人がテレビを見ているかを判断するために電子的なビデオ分析を用いるステップを備える、請求項1又は2に記載の方法。
  4. 前記人が前記テレビコンテンツを好むかどうかを自動的に決定するステップは、
    前記人が前記テレビコンテンツを好むかどうかを評価するためにビデオ顔分析を用いるステップを含む、請求項1からの何れか一項に記載の方法。
  5. 前記人が前記テレビコンテンツを好むかどうかの分析を、前記電子的なソーシャルネットワーキングツールを用いて自動的に報告するステップを備える、請求項1からの何れか一項に記載の方法。
  6. コンピュータに、
    電子的な番組ガイドから情報を取り込むことにより、テレビコンテンツを自動的に特定する手順と、
    人が現に前記テレビコンテンツを見ているかどうかを判断させる手順と、
    カメラにより撮像された前記人の画像を用いて前記人の表情を分析することにより、前記人が前記テレビコンテンツを好むかどうかを自動的に決定する手順と、
    前記人の友人が現にオンライン中であるかどうかを決定する手順と、
    前記友人が現にテレビを見ているかどうかを決定する手順と、
    記友人が同じテレビコンテンツを好むかどうかを決定するステップと、
    前記人および前記友人が前記同じテレビコンテンツを好み、前記友人が現にオンライン中であり、かつ、前記友人が現に前記テレビを見ているという決定に基づいて、前記人と、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人を、電子的なソーシャルネットワーキングツールを介して自動的にリンクさせる手順と
    前記人がテレビを見ている時に、前記テレビコンテンツに対する前記人の好き嫌いが変化したことを示すリアルタイムの情報を、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人に、前記電子的なソーシャルネットワーキングツールを用いて自動的に示す手順と
    を実行させ
    前記人の好き嫌いの変化は、ビデオ顔分析により判断される、プログラム。
  7. 前記コンピュータに、
    前記人がテレビを見ているかどうかについての情報を、前記電子的なソーシャルネットワーキングツールを用いて送信させる手順をさらに実行させる、請求項に記載のプログラム。
  8. 前記コンピュータに、
    前記人がオンライン中であるかを判断する手順、および、前記人がオンライン中であるかについての情報を、前記電子的なソーシャルネットワーキングツールに送信する手順をさらに実行させる、請求項6又は7に記載のプログラム。
  9. 前記コンピュータに、
    前記人が前記テレビに映っているものを好むかについての情報を、前記電子的なソーシャルネットワーキングツールに報告する手順をさらに実行させる、請求項に記載のプログラム。
  10. 前記人が前記テレビコンテンツを好むかどうかを自動的に決定する手順は、
    前記人が前記テレビに映っているものを好むかどうかを判断するためにビデオ顔分析を用いる手順を含む、請求項からの何れか一項に記載のプログラム。
  11. 前記コンピュータに、
    前記テレビを見ている複数の人のそれぞれを特定するためにビデオ分析を用いる手順をさらに実行させる、請求項から10の何れか一項に記載のプログラム。
  12. 前記コンピュータに、
    前記複数の人のそれぞれがどのテレビ番組を好むかを判断する手順をさらに実行させる、請求項11に記載のプログラム。
  13. 前記コンピュータに、
    複数の視聴者のそれぞれが好むテレビ番組のリストを集める手順をさらに実行させる、請求項12に記載のプログラム。
  14. 電子的な番組ガイドから情報を取り込むことによりテレビコンテンツを特定し、人が前記テレビコンテンツを見ているかどうかを決定し、カメラにより撮像された前記人の画像を用いて前記人の表情を分析することにより、前記人が前記テレビコンテンツを好むかどうかを決定し、前記人の友人が現にオンライン中であるかどうかを決定し、前記友人が現にテレビを見ているかどうかを決定し、記友人が同じテレビコンテンツを好むかどうかを決定し、前記人および前記友人が同じテレビコンテンツを好み、前記友人が現にオンライン中であり、かつ、前記友人が現に前記テレビを見ているという決定に基づいて、前記人と、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人を電子的なソーシャルネットワーキングツールを通じて自動的にリンクさせ、前記人がテレビを見ている時に、前記テレビコンテンツに対する前記人の好き嫌いが変化したことを示すリアルタイムの情報を、前記同じテレビコンテンツを好み、現にオンライン中であり、かつ、現に前記テレビを見ている前記友人に、前記電子的なソーシャルネットワーキングツールを用いて自動的に示すプロセッサと、
    前記プロセッサに結合された記憶装置と
    を備え
    前記人の好き嫌いの変化は、ビデオ顔分析により判断される、システム。
  15. 前記プロセッサはさらに、前記人がオンライン中であるかを判断する、請求項14に記載のシステム。
  16. 前記プロセッサに結合されたビデオカメラを備え、
    前記プロセッサは、前記人がテレビに映っている番組を好むかを判断するためにビデオ顔分析を用いる、請求項14又は15に記載のシステム。
  17. 前記プロセッサは、テレビを見ている複数の人を特定する、請求項14から16の何れか一項に記載のシステム。
  18. 前記プロセッサは、前記複数の人のそれぞれがどの番組を好むかを判断する、請求項17に記載のシステム。
  19. 前記複数の人のそれぞれが好む番組のリストを集める、請求項18に記載のシステム。
JP2014528817A 2011-09-12 2011-09-12 ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること Active JP6048692B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001544 WO2013037078A1 (en) 2011-09-12 2011-09-12 Facilitating television based interaction with social networking tools

Publications (2)

Publication Number Publication Date
JP2014529133A JP2014529133A (ja) 2014-10-30
JP6048692B2 true JP6048692B2 (ja) 2016-12-21

Family

ID=47882502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528817A Active JP6048692B2 (ja) 2011-09-12 2011-09-12 ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること

Country Status (5)

Country Link
US (3) US20130276007A1 (ja)
EP (2) EP2756473A4 (ja)
JP (1) JP6048692B2 (ja)
KR (3) KR20140069044A (ja)
WO (2) WO2013037078A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037078A1 (en) 2011-09-12 2013-03-21 Intel Corporation Facilitating television based interaction with social networking tools
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
EP2876847A1 (en) * 2013-11-21 2015-05-27 Nokia Corporation Establishment of an association between an object and a mood media item
EP3090562B1 (en) * 2013-12-30 2020-09-23 Telecom Italia S.p.A. Method and system for automatically selecting parts of a video and/or audio media content based on information obtained from social networks
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
US20160192018A1 (en) * 2014-12-29 2016-06-30 Microsoft Technology Licensing, Llc Previewing content available at local media sources
US9953151B2 (en) 2015-02-03 2018-04-24 Chon Hock LEOW System and method identifying a user to an associated device
JP6212521B2 (ja) * 2015-08-25 2017-10-11 カルチュア・コンビニエンス・クラブ株式会社 複数の対象者のうちコンテンツを利用した利用者を推定する装置、方法、およびプログラム
US10726245B2 (en) * 2017-12-12 2020-07-28 Black Sesame International Holding Limited Secure facial authentication system using active infrared light source and RGB-IR sensor
CN108733429B (zh) * 2018-05-16 2020-01-21 Oppo广东移动通信有限公司 系统资源配置的调整方法、装置、存储介质及移动终端

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US6701526B1 (en) * 1999-07-01 2004-03-02 Koninklijke Philips Electronics N.V. Method and apparatus for capturing broadcast EPG data for program title display
US20020072952A1 (en) 2000-12-07 2002-06-13 International Business Machines Corporation Visual and audible consumer reaction collection
US20030066071A1 (en) 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Program recommendation method and system utilizing a viewing history of commercials
US6585521B1 (en) 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US20040223606A1 (en) * 2003-03-03 2004-11-11 Noel Enete Host based video clips and transport mechanism
US8196168B1 (en) * 2003-12-10 2012-06-05 Time Warner, Inc. Method and apparatus for exchanging preferences for replaying a program on a personal video recorder
US7975062B2 (en) * 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
CN1725822A (zh) * 2004-07-22 2006-01-25 上海乐金广电电子有限公司 用户喜好节目设定装置及其使用方法
KR20060021544A (ko) * 2004-09-03 2006-03-08 (주) 엘지텔레콤 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법
JP2006197001A (ja) * 2005-01-11 2006-07-27 Yamaha Corp 端末装置
JP2006260275A (ja) * 2005-03-17 2006-09-28 Ricoh Co Ltd コンテンツ管理システム、表示制御装置、表示制御方法、および表示制御プログラム
JP2007116448A (ja) * 2005-10-20 2007-05-10 Funai Electric Co Ltd 視聴システム
US20070150916A1 (en) * 2005-12-28 2007-06-28 James Begole Using sensors to provide feedback on the access of digital content
US20080004951A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Web-based targeted advertising in a brick-and-mortar retail establishment using online customer information
KR20080048836A (ko) * 2006-11-29 2008-06-03 삼성전자주식회사 블로그 정보 관리 장치 및 방법
JP5267062B2 (ja) * 2007-11-16 2013-08-21 ソニー株式会社 情報処理装置、情報処理方法、コンテンツ視聴装置、コンテンツ表示方法、プログラム及び情報共有システム
JP4920571B2 (ja) * 2007-12-19 2012-04-18 ヤフー株式会社 Tv番組視聴メンバー管理システム及びtv番組視聴メンバー管理方法
US8600120B2 (en) * 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8806021B2 (en) 2008-01-28 2014-08-12 Sony Corporation Methods, portable electronic devices, systems and computer program products for automatically creating social networking services (SNS)
US8302120B2 (en) * 2008-02-19 2012-10-30 The Nielsen Company (Us), Llc Methods and apparatus to monitor advertisement exposure
MX2010009861A (es) * 2008-03-12 2010-09-28 Echostar Technologies Llc Aparato y metodos para controlar un dispositivo de entretenimiento utilizando un dispositivo de comunicacion movil.
CN201226568Y (zh) 2008-03-25 2009-04-22 赵力 带有监控和信息检索的智能电视终端
GB2459707B (en) * 2008-05-01 2010-08-11 Sony Computer Entertainment Inc Media recorder, audio visual entertainment system and method
US9246613B2 (en) * 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
CN101286201B (zh) 2008-05-30 2010-09-29 北京中星微电子有限公司 信息自动索取的控制方法和装置
US20090326970A1 (en) * 2008-06-30 2009-12-31 Microsoft Corporation Awarding users for discoveries of content based on future popularity in a social network
US20100057546A1 (en) * 2008-08-30 2010-03-04 Yahoo! Inc. System and method for online advertising using user social information
JP2010152477A (ja) * 2008-12-24 2010-07-08 Nec Corp 情報処理システム、サーバ装置、コミュニティ提供方法、プログラム及び記録媒体
US9003447B2 (en) * 2008-12-31 2015-04-07 Google Technology Holdings LLC System and method for customizing communication in a social television framework
CA2785956A1 (en) * 2009-03-20 2010-09-23 Peel Technologies, Inc. Device-based control system
US8761392B2 (en) 2009-09-29 2014-06-24 Motorola Mobility Llc Digital rights management protection for content identified using a social TV service
US20110153412A1 (en) * 2009-12-23 2011-06-23 Victor Novikov Selection and Presentation of Related Social Networking System Content and Advertisements
KR101157597B1 (ko) * 2010-01-28 2012-06-19 주식회사 팬택 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
US9332206B2 (en) * 2010-10-13 2016-05-03 Verizon Patent And Licensing Inc. Frame sharing
US8667519B2 (en) * 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US8848024B2 (en) * 2011-03-08 2014-09-30 CSC Holdings, LLC Virtual communal television viewing
US20120233633A1 (en) * 2011-03-09 2012-09-13 Sony Corporation Using image of video viewer to establish emotion rank of viewed video
US8806540B2 (en) * 2011-05-10 2014-08-12 Verizon Patent And Licensing Inc. Interactive media content presentation systems and methods
WO2013037078A1 (en) 2011-09-12 2013-03-21 Intel Corporation Facilitating television based interaction with social networking tools
CN103842992A (zh) 2011-09-12 2014-06-04 英特尔公司 促进与社交联网工具的基于电视的交互

Also Published As

Publication number Publication date
US20130276007A1 (en) 2013-10-17
EP3285222A1 (en) 2018-02-21
US20200236428A1 (en) 2020-07-23
KR20160103557A (ko) 2016-09-01
WO2013037078A1 (en) 2013-03-21
US10524005B2 (en) 2019-12-31
US20170347151A1 (en) 2017-11-30
EP2756473A4 (en) 2015-01-28
WO2013037226A1 (en) 2013-03-21
EP2756473A1 (en) 2014-07-23
KR20140069044A (ko) 2014-06-09
KR20170102570A (ko) 2017-09-11
JP2014529133A (ja) 2014-10-30
KR101895846B1 (ko) 2018-09-07
US10939165B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
JP6048692B2 (ja) ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること
US11936720B2 (en) Sharing digital media assets for presentation within an online social network
KR102630902B1 (ko) 서술적 모델들에 기초한 자동화된 결정들
US10628680B2 (en) Event-based image classification and scoring
US10529109B1 (en) Video stream customization using graphics
US11064257B2 (en) System and method for segment relevance detection for digital content
EP2567536B1 (en) Generating a combined image from multiple images
TWI605712B (zh) 互動式媒體系統
Bao et al. Your reactions suggest you liked the movie: Automatic content rating via reaction sensing
US10873697B1 (en) Identifying regions of interest in captured video data objects by detecting movement within higher resolution frames of the regions
KR20120078730A (ko) 이질적 컨텐트 소스들의 링크
US20140012792A1 (en) Systems and methods for building a virtual social network
US20230156245A1 (en) Systems and methods for processing and presenting media data to allow virtual engagement in events
De Pessemier et al. Enhancing recommender systems for TV by face recognition
CN108574875A (zh) 促进与社交联网工具的基于电视的交互
WO2023120263A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161108

R150 Certificate of patent or registration of utility model

Ref document number: 6048692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250