JP4335642B2 - 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム - Google Patents

Description

本発明は、視聴率やアクセスログだけではわからない「コンテンツ（テレビ番組など）がどのように見られているのか」という視聴の「質」を測定して提供する視聴者反応情報収集方法と、その視聴者反応情報収集方法を実装する視聴者反応情報収集システムで用いられるユーザ端末と、その視聴者反応情報収集システムで用いられる視聴者反応情報提供装置と、そのユーザ端末の実現に用いられる視聴者反応情報作成用プログラムと、その視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラムとに関する。

これまでも、番組やコンテンツを定量的に評価する（価値を測る）指標として、視聴の「量」を表す「率」だけでなく、視聴の質（以下、視聴質とよぶ）に関しても何らかの評価尺度が必要であることが叫ばれてきた。各放送事業者やコンテンツ配信事業者が広告効果を把握し、広告主に説明するためにも、今後視聴質がますます重要な指標となると考えられる。

また、2003年12月には三大都市圏で地上波デジタル放送が開始される予定で、多チャンネル化による視聴可能なチャンネル数が数百の単位に増加する。にもかかわらず、１日約３時間という限られた視聴時間のなかで、視聴者が見たい番組を数百チャンネルから選択するのは非常に困難である。こうした番組選択の負担を軽減する番組ナビゲーションサービスや番組自動推薦サービスの提供に向けて、これまで軽視されてきた「視聴者がどのようにテレビ番組を見ているのか」に焦点をあてる必要がある。

本発明は、コンテンツの視聴質調査の方法に関するもので、特に視聴者の行動、リアクションに着目することによって、実際に人がテレビ番組やデジタルコンテンツを見ているかどうかの実視聴判定、および実際に人がどの程度興味／関心をもって見ているかの注目度推定を可能とする。

本発明におけるコンテンツは、テレビ放送番組、インターネット上のデジタルコンテンツ、広告、またはそれらの組み合わせをさす。さらに、例えばＩＣタグ（ＲＦＩＤタグ、ＬＥＤタグ）などを利用した視聴者人数の推定および視聴者の個人特定を高速かつ高精度に実現するものである。

従来の視聴率測定技術の一つとして、赤外線映像を用いて、視聴者人数の把握もしくは視聴者個人の特定を行う装置がある（例えば、特許文献１参照）。

この装置は、赤外線ビデオカメラを用いて人の瞳孔検出を行うことにより、視聴者人数および実際に人がテレビジョンを見ているかどうかの判定を可能にする。さらに瞳孔の位置情報を用いて、ビデオカメラ映像出力信号における顔の２次元的な位置、大きさが一定な映像を得ることにより、かかる顔の映像より視聴者個人を高速かつ容易に特定する装置である。

一方、1997年４月にスタートしたインターネットを使ったテレビ番組に関する調査を行うＷebサイト「テレビ番組視聴質調査 リサーチＱ」がある（例えば、非特許文献１参照）。

このサイトは、視聴率だけではわからない視聴質を調査し、その結果を番組制作・編成に生かすことを目的とし、テレビ朝日編成部と慶應義塾大学環境情報学部熊坂研究室とで共同で開発・運営されている。なお、会員登録した利用者はアンケートに答えてＱポイントをためると、抽選でプレゼントがもらえるインセンティブも用意されている。
特許第2947289 号公報「テレビジョン視聴率測定装置」 「テレビ番組視聴質調査 リサーチＱ」，インターネット＜ＵＲＬ：http://www.rq-tv.com＞）2003.8.25 検索

ところが、視聴率を測定する従来の技術では、本発明の目的とするコンテンツ視聴質の調査まではカバーできない。例えば、テレビの電源が入っていながら視聴者がテレビを見ていないといった状況を把握することにより、いわゆる視聴率の精度向上を可能とする。しかしながら、視聴質はとれない。

一方、上述した「リサーチＱ」では、アンケート内容、質問項目によるが、それなりの視聴質を調査することができると考えられる。しかしながら、ＰＣを起動し、インターネットに接続し、それからＷebサイト上でアンケートに回答する手間、あるいは携帯電話専用のＷebサイトにアクセスし、コメント文を入力する煩わしさを考えると、利用者の負担が少ないとは言いがたい。

本発明は、上述の点に鑑み、従来技術の問題点を解決し、視聴者自身による記入やＷeb上での回答といった作業負荷を軽減し、通常の視聴形態におけるコンテンツの視聴質の自動集計を可能とする新たなコンテンツの視聴質調査技術の提供を目的とする。

〔１〕ユーザ端末で、視聴反応データと視聴データとを統合する構成
上述の目的を達成するために、本発明により実現されることになる視聴者反応情報収集システムは、（イ）視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集するセンシング装置と、（ロ）コンテンツを再生するとともに、画面操作履歴の情報を含む再生コンテンツについての視聴データを収集し、さらに、センシング装置から視聴者反応データを入手して、その収集した視聴データとその入手した視聴者反応データとを時間同期させて統合するユーザ端末と、（ハ）ユーザ端末から統合データを入手して、その入手した統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成する視聴者反応情報提供装置とを備える。

〔１−１〕この構成に従う場合のユーザ端末の構成
この構成に従う場合、ユーザ端末は、（イ）コンテンツ提供装置から送信されてくる視聴要求のコンテンツを再生する手段と、（ロ）コンテンツ提供装置から送信されてくる再生コンテンツのメタデータを入手する手段と、（ハ）視聴者による画面操作の情報を入手して保存手段に保存させることで画面操作履歴の情報を収集する手段と、（ニ）センシング装置から、視聴者反応データを入手する手段と、（ホ）その収集した画面操作履歴の情報とその入手した視聴者反応データとの事後統合を実現すべく、その画面操作履歴の情報が収集された際に割り付けられたタイムスタンプと、その視聴者反応データが収集された際に割り付けられたタイムスタンプとを使って、その画面操作履歴の情報とその視聴者反応データとを時間同期させて統合するとともに、それに再生コンテンツのメタデータを統合する手段と、（へ）その統合データを視聴者反応情報提供装置に送信する手段とを備えるように構成する。

以上の各処理手段はコンピュータプログラムによっても実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。

〔１−２〕この構成に従う場合の視聴者反応情報提供装置の構成
この構成に従う場合、視聴者反応情報提供装置は、（イ）ユーザ端末から、統合データを入手する手段と、（ロ）その入手した統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成する手段と、（ハ）その生成した視聴質データの流通用の視聴メタデータを作成する手段と、（ニ）その作成した視聴メタデータを要求元に送信する手段とを備えるように構成する。

以上の各処理手段はコンピュータプログラムによっても実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。

〔２〕視聴者反応情報提供装置で、視聴反応データと視聴データとを統合する構成
上述の目的を達成するために、本発明により実現されることになる視聴者反応情報収集システムは、（イ）視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集するセンシング装置と、（ロ）コンテンツを再生するとともに、画面操作履歴の情報を含む再生コンテンツについての視聴データを収集するユーザ端末と、（ハ）ユーザ端末から視聴データを入手するとともに、センシング装置から視聴者反応データを入手して、その入手した視聴データとその入手した視聴者反応データとを時間同期させて統合し、その統合したデータに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成する視聴者反応情報提供装置とを備える。

〔２−１〕この構成に従う場合のユーザ端末の構成
この構成に従う場合、ユーザ端末は、（イ）コンテンツ提供装置から送信されてくる視聴要求のコンテンツを再生する手段と、（ロ）コンテンツ提供装置から送信されてくる再生コンテンツのメタデータを入手する手段と、（ハ）視聴者による画面操作の情報を入手して保存手段に保存させることで画面操作履歴の情報を収集する手段と、（ニ）その収集した画面操作履歴の情報とその入手した再生コンテンツのメタデータとを加工することで視聴データを作成する手段と、（ホ）その作成した視聴データを視聴者反応情報提供装置に送信する手段とを備えるように構成する。

以上の各処理手段はコンピュータプログラムによっても実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。

〔２−２〕この構成に従う場合の視聴者反応情報提供装置の構成
この構成に従う場合、視聴者反応情報提供装置は、（イ）センシング装置から、視聴者反応データを入手する手段と、（ロ）ユーザ端末から、視聴データを入手する手段と、（ハ）その入手した視聴者反応データとその入手した視聴データとの事後統合を実現すべく、その視聴者反応データが収集された際に割り付けられたタイムスタンプと、その視聴データが収集された際に割り付けられたタイムスタンプとを使って、その視聴者反応データとその視聴データとを時間同期させて統合する手段と、（ニ）その統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成する手段と、（ホ）その生成した視聴質データの流通用の視聴メタデータを作成する手段と、（ヘ）その作成した視聴メタデータを要求元に送信する手段とを備えるように構成する。

以上の各処理手段はコンピュータプログラムによっても実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。

〔３〕このように構成される本発明の処理について
このように構成される本発明により実現されることになる視聴者反応情報収集システムでは、センシング装置で、視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集し、一方、ユーザ端末で、画面操作履歴の情報を含む再生コンテンツについての視聴データを収集すると、ユーザ端末あるいは視聴者反応情報提供装置で、その収集した視聴者反応データとその収集した視聴データとを時間同期させて統合する。そして、視聴者反応情報提供装置で、その統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成する。

このようにして、本発明によれば、「コンテンツ（テレビ番組など）がどのように見られているのか」という視聴の「質」を、視聴者に負荷をかけることなく測定して提供することができるようになる。

〔４〕本発明の具体的な構成について
次に、本発明の具体的な構成について説明する。

本発明は、具体的には、コンテンツ提供装置とセンシング装置とユーザ端末と推定蓄積装置（視聴者反応情報提供装置に相当するもの）とで構成される視聴者反応情報収集システムに適用される。

〔４−１〕コンテンツ提供装置の構成
コンテンツ提供装置は、放送局やインターネットサービスプロバイダやコンテンツ配信事業者などにより構築されて、コンテンツを格納するコンテンツ格納手段と、視聴可能なコンテンツリストを生成するコンテンツリスト生成手段と、生成したコンテンツリストをユーザ端末に送信する送信手段と、ユーザ端末から送信されてくるコンテンツのリクエスト情報を受信する受信手段と、受信したリクエスト情報に応じたコンテンツを選択するコンテンツ選択手段と、選択したコンテンツをユーザ端末に送信する送信手段と、コンテンツに関する情報を記述したメタデータを生成するコンテンツメタデータ生成手段と、生成したコンテンツメタデータをユーザ端末に送信する送信手段とを備える。

〔４−２〕センシング装置の構成
センシング装置は、コンテンツを視聴している人間の反応をセンシングする手段と、センシングしたデータを処理する認識手段と、センシングしたデータや認識結果のデータを送信する送信手段とを備える。

〔４−３〕ユーザ端末の構成
ユーザ端末は、コンテンツ提供装置から送信されてくるコンテンツリストを受信する受信手段と、受信したコンテンツリストを出力するコンテンツリスト表示手段と、視聴コンテンツを取得するためのリクエスト情報を送信するリクエスト送信手段と、リクエストしたコンテンツを受信するコンテンツ受信手段と、受信したコンテンツをバッファリングする記録手段と、受信したコンテンツを再生する再生手段と、コンテンツ提供装置から送信されてくるコンテンツメタデータを受信する受信手段と、受信したコンテンツメタデータを格納するコンテンツメタデータ格納手段と、受信したコンテンツを受信したコンテンツメタデータとあわせて画面に表示する表示手段と、ユーザによる画面操作やユーザにより入力されるコンテンツ評価の情報を入力する入力手段と、ユーザの操作する画面操作履歴の情報を格納する画面操作履歴格納部と、センシング装置から送信されてくるセンシングデータや認識データを受信する受信手段と、入力した画面操作履歴の情報やコンテンツ評価の情報と、受信したセンシングデータや認識データとを時間同期をとって統合するデータ統合手段と、その統合データを推定蓄積装置に送信する送信手段とを備える。

ここでは、ユーザ端末が、画面操作履歴の情報などの視聴データと、センシング装置から送信されてくるコンテンツ視聴者の反応を示す視聴者反応データとを統合するという構成を採っているが、推定蓄積装置で統合するようにしてもよい。

〔４−４〕推定蓄積装置の構成
推定蓄積装置は、ユーザ端末から送信されてくるコンテンツの統合データを受信する受信手段と、受信した統合データからコンテンツの視聴質データを推定して生成する生成手段と、生成した視聴質データを格納する視聴質データ格納手段と、生成した視聴質データからその視聴質データの流通用の視聴メタデータを抽出する加工手段と、新規の視聴メタデータを追加する更新手段と、視聴メタデータを送信する送信手段とを備える。

〔４−５〕さらに具体的な構成
このように構成される本発明の視聴者反応情報収集システムでは、再生コンテンツに対する視聴者の実視聴時間の情報、再生コンテンツに対する視聴者の注目度の時間遷移の情報、再生コンテンツに対する視聴者の感情・気分の情報、再生コンテンツに対する視聴者の視聴前後における感情・気分の変化の情報、視聴者の入力した再生コンテンツに対するコンテンツ評価の情報の少なくとも１つを含むことがある。

また、コンテンツが記録媒体に録画されたテレビ番組などであっても、コンテンツ視聴開始時刻と先頭からの再生時間、および推定蓄積装置に保存された統合データのタイムスタンプに基づき時間同期をとることによって、コンテンツに対する視聴者反応を事後解析することができる。

また、視聴者反応として視聴者自身の感情、気分を用いることとし、センシング装置により視聴者の表情、視線、瞬き、体温（皮膚温度）、血圧、心拍数、発汗の少なくとも１つ以上をセンシングすることにより、視聴者自身の感情、気分を推定する。

また、視聴者反応として視聴者自身の感情、気分を用いることとし、視聴者からの入力に従って、喜怒哀楽などの視聴者自身の感情、気分を推定する。

また、個人情報を格納する手段と個人情報を送信する手段とを備えた個人情報管理装置を用意して、ユーザ端末あるいは推定蓄積装置は、その個人情報管理装置にアクセスすることで、視聴者の個人情報を入手することがある。

本発明では、上述した技術手段を採用することにより、実際にテレビ番組やコンテンツを見ているかどうかの実視聴自動判定を可能とする。さらに、視聴時における視聴者のリアクションをセンシングし認識することによって、通常の視聴形態におけるテレビ番組やコンテンツに対しての視聴者の注目度の推定、気分・感情の推定を実現する。

以下に、添付の図面を用いて本発明の構造と動作について詳細に説明する。

ここで、以下の説明は、本発明の理解を助けるものであって、本発明の特許請求の範囲を制限するものではない。例えば、以降の説明では主として赤外線発光照明装置を使用した場合の記述であるが、それに限定するものではない。可視光、紫外光を用いても同様な効果が得られる。また、コンテンツはテレビ放送番組に限られるものではなく、インターネット上のデジタルコンテンツや広告なども含まれる。

本発明の実施の形態では、テレビ番組や映像コンテンツ視聴時における一般視聴者のリアクション情報を収集蓄積することがポイントの一つである。ところが、一般に自宅などでくつろいでいるときのカメラ映像やマイク音声を収集されることに対して大きな心理的抵抗があるため、何らかの動機づけがない限り、視聴者（サービス利用者）からそれらの利用許可を得ることは困難である。

後述する本発明の第１の実施形態では、視聴時におけるカメラ映像やマイク音声といった個人情報を流通させる対価としての利益（以下、「インセンティブ」）を一般視聴者に与えることを大きな特徴とする。

例えば、“「ファイバーティービー」インターネット＜ＵＲＬ：http://www.pointage.ne.jp/fibertv.html＞）2003.8.25 検索”によれば、映画・音楽・アニメーション・スポーツ・バラエティなどのビデオコンテンツをオンデマンドで配信するエンターテインメントコンテンツ専門チャネル「ファイバーティービー」がある。

この「ファイバーティービー」は、会員制有料サービスで、会員登録した利用者は家庭内テレビにセットトップボックス（ＳＴＢ）をつないで、インターネットや電力系ＣＡＴＶ経由で受信したコンテンツを視聴する。利用者のインセンティブとして、広告や有料番組を見れば「ビュー」と呼ばれるポイントを獲得する。この獲得ポイントをためれば、有料コンテンツを無料視聴できるといった特典を享受できる仕組みとなっている。

インセンティブの例としては、有料コンテンツの無料視聴クーポン、あるいは後日商品と交換したり、衛星放送やＣＡＴＶサービスの月額利用料支払いに充当したりすることが可能なポイントとする方法が考えられる。また、定期的な抽選によるプレゼント進呈、キャッシュバックであってもかまわない。こうした利用者へのインセンティブが威力を発揮し、後述する「テレビ番組／コンテンツの視聴質フィードバックサービス」、「独居高齢者／単身世帯主の自動安否確認サービス」のビジネスモデルが成立する。

図１は、本発明によるコンテンツに対する視聴者反応情報の収集システムの一般的な構成例を説明する図である。

図中、１０はコンテンツ提供装置、１１はコンテンツサーバ、１２はコンテンツメタデータＤＢサーバ、２０はユーザ端末、２１はセンシング装置、３０は推定蓄積装置、４１は視聴質ＤＢサーバ、４２はユーザＤＢサーバ、４３は課金決済サーバである。５０は通信網であって、コンテンツ提供装置１０、コンテンツサーバ１１、コンテンツメタデータＤＢサーバ１２、ユーザ端末２０、センシング装置２１、推定蓄積装置３０、視聴質ＤＢサーバ４１、ユーザＤＢサーバ４２、課金決済サーバ４３を相互に接続するものである。通信網５０の実現手段は、有線、無線を問わない。

図２および図３は、本発明によるコンテンツに対する視聴者反応情報の収集システムの代表的な動作例を説明するブロック図である。

両者の差異は、コンテンツの視聴データとコンテンツに対する視聴者反応のセンシングデータおよび認識データとの時刻同期をユーザ端末２０でとるか、推定蓄積装置３０でとるかの違いである。すなわち、図２が前記時刻同期をユーザ端末２０側でとる場合に相当し、図３が前記時刻同期を推定蓄積装置３０側でとる場合に相当する。

図４および図５は、本発明におけるコンテンツ提供装置１０、ユーザ端末２０、センシング装置２１、推定蓄積装置３０の動作を説明する処理フロー図である。ここで、図４が前記時刻同期をユーザ端末２０側でとる場合に相当し、図５が前記時刻同期を推定蓄積装置３０側でとる場合に相当する。

当然ながら、後述する２つのサービス応用例「テレビ番組／コンテンツの視聴質フィードバックサービス」、「独居高齢者／単身世帯主の自動安否確認サービス」にかかわらず、本発明の基本的な処理フローは共通となっている。

図２および図３において、コンテンツ提供装置１０は、コンテンツ格納部１０１、コンテンツリスト生成部１０２、コンテンツリスト送信部１０３、リクエスト受信部１０４、コンテンツ選択部１０５、コンテンツ送信部１０６、コンテンツメタデータ生成部１０７、コンテンツメタデータ送信部１０８から構成される。

ユーザ端末２０は、コンテンツリスト受信部２００１、コンテンツリスト表示部２００２、リクエスト送信部２００３、コンテンツ受信部２００４、コンテンツ記録部２００５、コンテンツ再生部２００６、画面表示部２００７、コンテンツメタデータ受信部２００８、コンテンツメタデータ格納部２００９、認識データ受信部２０１０、データ統合部２０１１、入力部２０１２、画面操作履歴格納部２０１３、統合データ送信部２０１４から構成される。

ここで、図３では、認識データ受信部２０１０、データ統合部２０１１および統合データ送信部２０１４がなく、その代わりに、視聴データ加工部２０１５および視聴データ送信部２０１６が追加されている。

コンテンツ提供装置１０において、コンテンツサーバ１１から取り出された利用可能な全コンテンツは一旦コンテンツ格納部１０１に保存される。コンテンツリスト生成部１０２で、サービス利用者ごとに視聴可能な映像コンテンツを識別し、コンテンツリストを作成する。当該コンテンツリストがコンテンツリスト送信部１０３を通じて、ユーザ端末２０に送信される。

これを受けて、ユーザ端末２０において、コンテンツリスト受信部２００１が前記コンテンツリストを受信し、コンテンツリスト表示部２００２で端末画面に表示される。前記サービス利用者がコンテンツリスト画面を見ながら、特定のコンテンツを選択すると、そのコンテンツに対応するメタデータ（以降、コンテンツメタデータとよぶ）からリクエストコンテンツの所在、すなわちコンテンツＵＲＬが抽出される。リクエスト送信部２００３は、前記リクエストコンテンツのＵＲＬを解析し、コンテンツＩＤなどコンテンツ取得に必要な情報をコンテンツ提供装置１０に送信する。

これを受けて、コンテンツ提供装置１０において、リクエスト受信部１０４はユーザ端末２０からのコンテンツリクエスト情報を受信し、コンテンツ選択部１０５に送る。コンテンツ選択部１０５は前記リクエストコンテンツをコンテンツ格納部１０１から呼び出し、コンテンツ送信部１０６が前記リクエストコンテンツの送信準備を行う。

それと同時に、コンテンツメタデータ生成部１０７によって、前記リクエストコンテンツのメタデータが、タイトル、サブタイトル、制作者、著作権者、放送時間／再生時間、ジャンル、出演者名、（コンテンツＵＲＬ）などを格納したコンテンツメタデータＤＢサーバ１２から自動作成され、前記リクエストコンテンツのメタデータがコンテンツメタデータ送信部１０８に渡される。

続いて、コンテンツ送信部１０６、コンテンツメタデータ送信部１０８によって、前記リクエストコンテンツおよびそのコンテンツメタデータ情報がユーザ端末２０に送信される。

これを受けて、ユーザ端末２０において、前記リクエストコンテンツはコンテンツ受信部２００４によって受信され、再生のためコンテンツ記録部２００５に一時的に記録される。その後、コンテンツ再生部２００６によって前記サービス利用者のリクエストしたコンテンツが画面上で再生される。

一方、前記リクエストコンテンツとともに送信された前記リクエストコンテンツのメタデータは、コンテンツメタデータ受信部２００８によって受信され、当該メタデータ情報はコンテンツメタデータ格納部２００９に格納される。タイトル、制作者、時間などの前記コンテンツメタデータ情報の一部は画面表示部２００７に送られ、端末画面に表示される。

図２および図３において、センシング装置２１は、センシング部２１０１、認識部２１０２、認識データ送信部２１０３から構成される。

本発明では、赤外線ビデオカメラ、頭部モーションセンサ、マイク、ＲＦ−ＩＤタグ／リーダといった非侵襲型センサを用いて、視聴時における人物の表情、視線パターン（注視方向）、目の瞳孔直径、瞬き、顔部の向き、笑い声、体温、心拍数、利用者識別ＩＤなどの情報をセンシングし、収集する。

ビデオカメラを用いた人物の表情認識に関しては、抽出された入力画像（静止画）の特徴ベクトルを喜怒哀楽などのカテゴリ別に量子化し、各カテゴリの表情を高精度に認識する手段について、例えば、特許2839855 号公報に、「顔の表情認識装置」が記載、開示されている。また、不特定多数の人物の顔動画像から、その表情を認識する手段については、例えば、特許2962549 号公報に、「顔動画像からの表情認識方法」が記載、開示されている。

また、赤外線ビデオカメラを用いた注視方向、片目の瞳孔直径の測定に関しては、利用者になるべく負担をかけずに、かつ、特別な器具を装着することなく注視方向を測定可能とする手段について、例えば、特開2003-079577 に、「視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体」が記載、開示されている。

また、マイクを用いた笑い声の検知に関しては、笑い声区間を自動的に、しかも少ない演算量とメモリサイズで抽出することができる音声処理装置と、動画像から笑い動作区間を自動的に抽出する手段とについて、例えば、特開2002-006874 に、「音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体」が記載、開示されている。

また、顔の向きは、市販の３Ｄモーションセンサ、例えばＭＤＰ−Ａ３０９（ＮＥＣトーキン製）などを頭部に装着すれば、容易にセンシングできる。体温は市販の体温計を用いて、心拍数は、市販の心拍計を胸部に装着して測定する。あるいは、市販の脈拍センサ（例えばパソリカＴＰ−ＨＢ４）を耳たぶに装着して測定した脈拍数で代用してもよい。利用者識別ＩＤは、市販のＲＦ−ＩＤタグとリーダとを用いて取得すればよい。

認識部２１０２は、前記特許文献に記載される手段などを用いて、視聴時における人物の顔に表れる表情、視線パターン（注視方向）、目の瞳孔直径、瞬き、笑い声を認識する。このようにして取得されたセンシングデータおよび認識データは、認識データ送信部２１０３によって、図２の構成に従う場合には、センシング装置２１からユーザ端末２０に送信される。

これを受けて、ユーザ端末２０において、前記センシングデータおよび認識データは、認識データ受信部２０１０によって受信され、データ統合部２０１１に送られる。

このデータ統合部２０１１は、時間同期をとることにより、当該センシングデータおよび認識データと、画面操作履歴格納部２０１３に保存されているサービス利用者の画面操作履歴データと、コンテンツメタデータ格納部２００９に格納されているコンテンツメタデータとを、前記リクエストコンテンツについての統合データ（視聴と認識についての統合データ）として統合する。なお、前述の画面操作履歴データについては、入力部２０１２を通じてサービス利用者が入力した画面操作の全履歴が格納されている。

ここで、データ統合部２０１１は、入力部２０１２がユーザの入力するコンテンツ評価の情報を受け取る場合には、そのデータについても統合することになる。

このとき生成される統合データは、サービス利用者の画面操作履歴データに従って、どういうコンテンツがどのような形態（例えば、チャネルが頻繁に切り替えられた中で選択されていたというような形態）で選択されて視聴されたのかを示すとともに、センシングデータおよび認識データに従って、そのとき視聴者がどのような反応を示したのかについて示すことになる。

最終的に時間同期のとれた統合データは、図２の構成に従う場合には、統合データ送信部２０１４によって、ある一定周期で推定蓄積装置３０に送信される。

図２において、推定蓄積装置３０は、統合データ受信部３０１、視聴質推定生成部３０２、視聴質データ格納部３０３、視聴質データ送信部３０４、視聴メタデータ加工部３０５、視聴メタデータ更新部３０６、視聴メタデータ格納部３０７、視聴メタデータ送信部３０８から構成される。

ここで、図３では、統合データ受信部３０１が備えられないとともに、前記３０２〜３０８の他に、視聴データ受信部３１０、認識データ受信部３１１およびデータ統合部３１２が追加されている。

図２あるいは図４においては、前記リクエストコンテンツの統合データは、推定蓄積装置３０の統合データ受信部３０１によって受信され、視聴質推定生成部３０２では後述する視聴質データを推定し、生成する。

一方、図３あるいは図５においては、推定蓄積装置３０の認識データ受信部３１１が、センシング装置２１から送信された視聴者反応のセンシングデータおよび認識データを受信し、推定蓄積装置３０の視聴データ受信部３１０が、ユーザ端末２０から送信された主としてコンテンツメタデータやコンテンツ視聴時間、利用者の画面操作履歴データを加工した視聴データを受信する。

そして、推定蓄積装置３０のデータ統合部３１２は、一定周期で、前記リクエストコンテンツに対する前記視聴者反応のセンシングデータおよび認識データと前記視聴データとを時間同期をとって統合し、それらを視聴質推定生成部３０２に渡す。視聴質推定生成部３０２では後述する視聴質データを推定し、生成する。

本発明における視聴質データは、（１）視聴コンテンツに対する実視聴時間、（２）注目度の時間遷移、（３）シーンごとの感情や視聴後の気分を指す。

これらの視聴質データの推定処理の具体的な処理手順について、図６に基づいて説明する。

（１）に関しては、前記センシングデータおよび認識データに含まれる顔部の向き、あるいは視線位置、あるいは両方が所定の範囲内にあるかを判定し、その結果に基づく２値の時系列データをそれぞれ生成して、それに基づいて視聴コンテンツに対する実視聴時間を算出する。

例えば、コンテンツを再生している表示機器の画面範囲内に視線位置がある時間を視聴コンテンツに対する実視聴時間とした場合、表示機器の画面範囲を前記所定の範囲とし、その範囲内にあると判定された時間を計数することにより、視聴コンテンツに対する実視聴時間を算出することができる。

このようにして算出される視聴コンテンツに対する実視聴時間は視聴の質を示すものであり、有効な視聴質データの１つである。

（２）に関しては、図６の処理６０１に示すように、時刻ｔにおける注目度ｙ（ｔ）を、時刻ｔにおけるｎ種類の視聴者の反応データｘ_i (t) と、ｎ個の重み係数ａ_i と、時刻ｔ−１の注目度ｙ（ｔ−１）と、１個の比例係数ｂとを用いて、
ｙ（ｔ）＝ａ₁ ｘ₁ (t) ＋ａ₂ ｘ₂ (t) ＋・・＋ａ_n ｘ_n (t) ＋ｂｙ（ｔ−１）
というように重み付き線形和で近似的に表し、当該注目度ｙ（ｔ）の値の時系列データを生成する。ただし、初期時刻における注目度の初期値ｙ（０）は０と定義する。

ここで、視聴者の反応データｘ_i (t) は、あらかじめ収集したサンプル母集団の最小値と最大値、あるいは標本平均と標本分散の値を用いて、所定の範囲内の数値となるように正規化処理を行う。

視聴者の反応データｘ_i (t) とは、統合データの元となったデータから選択されるものであって、視聴者反応のセンシングデータおよび認識データの中から設定されたり、視聴者の画面操作履歴データに基づいて設定されることになる。

例えば、ｘ₁ (t) として片目の瞳孔直径を設定し、ｘ₂ (t) として心拍数を設定し、ｘ₃ (t) として画面操作（ＴＶリモコン操作）の頻度を設定する。この場合、瞳孔が広がったり、心拍数が増えるのはコンテンツを注視している生理的現象と考えられるので、ａ_1,ａ₂ に正の重み係数をセットし、一方、頻繁にＴＶリモコンを操作して視聴コンテンツを切り替える現象はコンテンツに注目してないと考えられるので、ａ₃ に負の重み係数をセットすることで、視聴者が注目している程大きな値を示す注目度ｙ（ｔ）を定義できることになる。

このようにして算出される注目度の時間遷移は視聴の質を示すものであり、有効な視聴質データの１つである。

（３）に関しては、図６の処理６０２〜処理６０５に示すように、まず、ある時間区間における表情の発生頻度が最大のものをその時間範囲の感情として「喜」、「怒」、「哀」の３値でコード化する。コード化された感情の時系列データを、それぞれの時間区間をシーンと対応づけることによって、シーンごとの感情とする。

次に、感情の時系列データを用いてコンテンツに対する気分を決定したり、コンテンツの視聴前後での気分の変化を決定する。気分の値は持続時間が最大の感情の値に対し、当該持続時間が所定の閾値を超えるか否かで「快」、「不快」、「不定」の３値にコード化する。例えば、持続時間が最大の感情の値が「喜」あるいは「哀」、かつ所定の閾値を超える場合は気分を「快」とし、持続時間が最大の感情の値が「怒」、かつ所定の閾値を超える場合は、気分を「不快」とし、それ以外は「不定」とする。

このようにして推定されたシーンごとの感情やコンテンツに対する気分やコンテンツの視聴前後の気分の変化は視聴の質を示すものであり、有効な視聴質データの１つである。

こうして推定された前記リクエストコンテンツについての視聴質データは視聴質データ格納部３０３に格納され、視聴メタデータ加工部３０５によってメタデータ流通に適したフォーマットに加工される。前記リクエストコンテンツについて、前記サービス利用者以外のサービス利用者の視聴質データが新しく推定蓄積装置３０に送信されてきた場合には、視聴メタデータ更新部３０６によって追加更新され、視聴メタデータ格納部３０７に格納されることになる。

図７に、視聴メタデータ加工部３０５によって加工された視聴メタデータのフォーマットの一例を示す。この例では、視聴メタデータはＸＭＬベースで記述されており、推定蓄積装置３０における一元管理やネットワーク上のメタデータ流通との技術的親和性が高いものとなっている。

最後に、視聴質データ送信部３０４、視聴メタデータ送信部３０８は、クライアントやブラウザからの視聴質データの送信要求、視聴メタデータの送信要求にそれぞれ応答する。

図８に、視聴質データのうちの実視聴時間計測機能の表示画面の一例を図示する。また、図９に、視聴質データのうちの注目度推定機能の表示画面例の一例を図示する。

この図９の画面では、視聴コンテンツとそれに対する注目度の時系列データグラフ間の時刻同期がとれていることがポイントである。すなわち、注目度グラフのスライダを動かすことにより、ユーザがコンテンツのどのシーンで注目度が高いかを、一目で把握することを可能としている。

以上の説明では説明しなかったが、視聴者が誰であるのかを識別できる場合には、その識別結果をキーにして個人情報を管理するデータベースにアクセスすることで、視聴者の個人情報を得て、それを視聴質データや視聴メタデータに付加する形で送信するようにしてもよい。このようにすると、どういう視聴者がコンテンツにどのように反応したのかを知ることができるようになる。

〔Ｉ〕本発明にかかる第１の実施形態
次に、本発明にかかる第１の実施形態「テレビ番組／コンテンツの視聴質フィードバックサービス」について説明する。

当該サービスは、従来できていなかったコンテンツの視聴質情報をエンドユーザ側の生の意見としてコンテンツ制作事業者にフィードバックすることにより、良質なコンテンツ制作を実現するビジネスモデルである。

本実施形態において、テレビ番組／コンテンツ制作事業者は、制作番組／コンテンツに対する一般視聴者のリアクションに基づく注目度や心理状態、気分といった視聴質に関するデータを入手できる。その視聴質フィードバックを以降の番組やコンテンツ制作に活かすことで、競合他社との差異化をはかることが可能となる。

具体的には、ユーザ端末２０側の時間同期および統合処理によって、推定蓄積装置３０内で、着目するコンテンツのメタデータ、ならびにセンシング装置２１から送信された当該コンテンツの様々な視聴者反応に関するセンシングデータ・認識データが蓄積、一元管理されている。そのため、タイムスタンプを検索キーとして、いつでも当該コンテンツの実視聴時間や注目度の時間遷移といったデータを閲覧したり、さらに所望のシーン別に視聴者リアクションを解析したりすることが実現できる。

なお、市販のＨＤＤレコーダやＤＶＤレコーダなどの記録媒体に録画されたテレビ番組であっても、推定蓄積装置３０で蓄積されているセンシング装置２１から送信された着目コンテンツの様々な視聴者反応のセンシングデータ・認識データのタイムスタンプ、ならびにコンテンツ視聴開始時刻とコンテンツ先頭からの再生時間を合わせれば視聴メタデータの時間同期性が保たれる。よって、当該コンテンツに対する様々な視聴者反応をオフラインで事後解析することが可能となる。

さらに、広告主は前記視聴質データに基づいて、広告宣伝の効果を客観的に把握することができる。一方、一般視聴者は、顔画像や話し声（独り言）のデータを提供する対価として、ポイントをためて換金したり、有料コンテンツを無料で視聴したりするメリットを享受できる。

〔II〕本発明にかかる第２の実施形態
次に、本発明にかかる第２の実施形態「独居高齢者／単身世帯主の自動安否確認サービス」について説明する。

当該サービスは、通常ほとんどの世帯にテレビが少なくとも１台あることに着目し、テレビ番組の視聴質情報を独居高齢者や単身赴任中の家族の安否情報として提供し、遠隔地に住む家族や親類の安心感、そして一種のつながり感の醸成をねらったビジネスモデルである。

独居高齢者または遠隔地に離れて暮らす単身世帯主を見守るケースにおいて、例えば、後述する遠隔地に離れて暮らす家族の間で使われることを想定して開発されたシステムの端末である「Ｆamily Ｐlanter」端末がある。この「Ｆamily Ｐlanter」端末については、特開2003-141052 （「人の存在・状態情報の相互通信端末、人の存在・状態情報の相互通信方法、相互通信プログラムおよびそのプログラムを記録した記録媒体」）に詳しく記載されている。

「Ｆamily Ｐlanter」端末には、各種センサが組み込まれ、このセンサが検出したセンサ情報は、ネットワークを介して相手端末へ送られる。前記センサ情報を受信した相手端末では、前記受信したセンサ情報に応じて、モータを回転し、また、ＬＥＤを発光することによって、センサ情報に対応して表示する。また、「Ｆamily Ｐlanter」端末には、タッチセンサを備え、その端末に接触すると、この接触に応じて、相手端末で音が発生し、明示的な情報を伝達することができる。

このように「Ｆamily Ｐlanter」端末は、利用者の存在・状態情報を、主にセンサによって獲得し、相手端末に送っている。

第２の実施形態では、本発明がこの「Ｆamily Ｐlanter」端末の機能の一部を代替えするイメージである。以降、単身赴任の家庭を例にとって、詳細に説明する。

第２の実施形態では、基本的な構成として、独居高齢者や単身赴任中の世帯主の家族に対して、テレビ番組の視聴質情報を安否情報として提供することにより、「独居高齢者／単身世帯主の自動安否確認サービス」を実現する。

さらに、第２の実施形態では、この基本的な構成に加えて、以下に説明するような処理を行うことができるようになることで、より確実な「独居高齢者／単身世帯主の自動安否確認サービス」を実現することができるようになる。

単身赴任先の家に世帯主（利用者）が帰ると、その部屋に設置されているＲＦ−ＩＤリーダ端末がＲＦ−ＩＤタグによって当該世帯主を検知し、帰宅のメッセージが遠く離れた自宅の端末に送られ、画面に表示される。サービス利用者の家族がこの表示に気づくことによって、相手の存在を感じることができ、つながり感を醸成することが期待される。また、テレビの電源を入れることによって、利用者の存在感も離れて暮らす家族に伝えることができる。

なお、サービス利用者が、通信綱５０を介して、ユーザ端末２０に接続することを望む場合、サービス利用者側の端末で利用可能な存在・状態情報の種類を、ユーザ端末２０から獲得する。このときに、利用者の認証が行われる。

この利用者の認証によって、接続要求を出した利用者と接続を要求された利用者との間における社会的な親密度に応じて、利用することができる存在・状態情報を変えることができる。このように、社会的な親密度に応じて、利用することができる存在・状態情報を変えることによって、存在・状態情報の送信におけるプライバシの問題をある程度、解決することもできる。

例えば、遠隔地に住む家族であれば、赤外線・超音波センサ、カメラ、マイク、全ての存在・状態情報を利用することができるとする。一方、地方自治体による独居高齢者の介護サービスなど、仕事上でのみ関係する利用者に対しては、ＲＦ−ＩＤタグや赤外線センサから得られる存在・状態情報のみを利用することができるなど、存在・状態情報を選択的に提供してもよい。

次に、離れて暮らす人、家族の存在・状態情報の表現形式の例について説明する。

利用者が何らかのアクションをおこしたり、利用者の存在・状態に何らかの変化がおきたりすると、前記アクション、前記変化を時系列イベントとして記録し、推定蓄積装置３０に格納する。これらのイベント群によって、人の存在・状態情報を表現する。

また、遠隔地にいる相手の状態、安否を知らせる表現形式として、テキスト文字以外に、例えば「色」や「音」によって表現することも可能である。

例えば、「色」を使った簡単な例は、センシング装置２１に３種類のセンサが存在し、かつ利用可能であれば、これらのセンサの出力信号をそれぞれ、色の３要素：赤（Ｒed）、緑（Ｇreen）、青（Ｂlue)の値にＡＤ変換し提示する例が考えられる。

一方、「音」を使った簡単な例は、あらかじめ登録した電話番号（自宅）へ自動発信し、呼び出し音を３回だけ鳴らしたり、遠く離れた家族のＰＣ画面にあらかじめ登録したＷＡＶファイルを自動再生したりすることができる。

このようにして、本発明にかかる第２の実施形態「独居高齢者／単身世帯主の自動安否確認サービス」によれば、テレビ番組（コンテンツ）制作事業者は、制作番組（コンテンツ）に対する一般視聴者のリアクションに基づく注目度や心理状態、気分といった視聴質に関するデータを入手できる。そして、その視聴質フィードバックを以降の番組（コンテンツ）制作に活かすことで、競合他社との差異化をはかることが可能となる。

これに加えて、独居高齢者や単身世帯の家族・親類は、前記視聴質データに基づいて、前記独居高齢者や単身赴任中の家族の安否を確認対象の本人に意識させることなく確認できるので、ネットワークによるさりげない見守りが実現できる。一方、独居高齢者／単身世帯主は、顔画像や話し声（独り言）のデータを提供する対価として、ポイントをためて換金したり、有料コンテンツを無料で視聴したりするメリットを享受できる。

以上説明したように、本発明のコンテンツに対する視聴者反応情報の収集システムは、３Ｄモーションセンサによる顔の向き、赤外線ビデオカメラによる人の視線パターン、瞳孔直径、顔に表れる表情、笑い声といったマルチモーダルの情報を統合することで、視聴者自身による記入やＷeb上での回答といった作業負荷を軽減し、通常の視聴形態における視聴質データの自動集計を実現する。それと同時に、ＲＦ−ＩＤタグ読み取りによる視聴者個人の特定をも高速かつ容易に実現できる、などの効果が期待できる。

また、ユーザ端末２０や推定蓄積装置３０での時間同期および統合処理によって、推定蓄積装置３０内で、着目するコンテンツのメタデータ、ならびにセンシング装置２１から送信された当該コンテンツに対しての様々な視聴者反応に関するセンシングデータ・認識データが視聴メタデータ情報として蓄積、一元管理されている。したがって、タイムスタンプを検索キーとして、いつでも所望のシーン別に視聴者リアクションを解析したりすることができる。

さらに、ＨＤＤやＤＶＤなどの記録媒体に録画されたテレビ番組であっても、推定蓄積装置３０側の時間同期および統合処理によって、センシング装置２１から送信された着目コンテンツの様々な視聴者反応に関するセンシングデータ・認識データにはタイムスタンプが付与されている。ゆえに、前記タイムスタンプとコンテンツ視聴開始時刻・コンテンツ先頭からの再生時間とをつき合わせることによって、着目コンテンツに対する様々な視聴者反応を事後解析することが可能となる。

そして、本発明を視聴質フィードバックサービスに応用すれば、テレビ番組／コンテンツ制作事業者は視聴質情報を活かした番組／コンテンツ制作を行うことができ、自社の収益強化につながる。

そして、本発明を遠隔居住者の自動安否確認サービスに応用すれば、視聴質情報の取得を通じて、限りなく自然な形態で安否を確認したり、前記居住者本人に意識させることなく見守ったりすることが可能となる。つまりネットワークを介して、人の存在や元気に暮らしている、健康であるといった状態という非明示的な情報を、相手先に意識させることなく、生活環境に溶け込んだ形態で、自分の端末と相手端末との間で常時やり取りすることによって安否を確認し、利用者間のつながり感を醸成することができるという効果を奏する。

本発明のコンテンツに対する視聴者反応情報の収集システムの一般的な構成例を説明する図である。 本発明のコンテンツに対する視聴者反応情報の収集システムの代表的な動作例を説明するブロック図である。 本発明のコンテンツに対する視聴者反応情報の収集システムの代表的な動作例を説明するブロック図である。 本発明におけるコンテンツ提供装置、ユーザ端末、センシング装置、推定蓄積装置の動作を説明する処理フロー図である。 本発明におけるコンテンツ提供装置、ユーザ端末、センシング装置、推定蓄積装置の動作を説明する処理フロー図である。 本発明の視聴質推定生成部の動作を説明するブロック図である。 視聴メタデータ情報の一例を示した図である。 実視聴時間計測機能の表示画面の一例を示した図である。 注目度推定機能の表示画面の一例を示した図である。

符号の説明

１０ コンテンツ提供装置
１１ コンテンツサーバ
１２ コンテンツメタデータＤＢサーバ
２０ ユーザ端末
２１ センシング装置
３０ 推定蓄積装置
４１ 視聴質ＤＢサーバ
４２ ユーザＤＢサーバ
４３ 課金決済サーバ

Claims (8)

1. 再生されるコンテンツに対しての視聴者反応の情報を収集する視聴者反応情報収集方法であって、
   視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集する過程と、
   画面操作履歴の情報を含む再生コンテンツについての視聴データを収集する過程と、
   前記視聴者反応データと前記視聴データとの事後統合を実現すべく、前記視聴者反応データが収集された際に割り付けられたタイムスタンプと、前記視聴データが収集された際に割り付けられたタイムスタンプとを使って、前記視聴者反応データと前記視聴データとを時間同期させて統合する過程と、
   前記統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成する過程とを備えることを、
   特徴とする視聴者反応情報収集方法。
2. 請求項１に記載の視聴者反応情報収集方法において、
   前記視聴者反応データを収集する過程では、視聴者の感情・気分を示す情報を収集すべく、前記視聴者反応データとして、視聴者の表情、視線、瞬き、体温、血圧、心拍数、発汗のうち、少なくともいずれか１つを収集することを、
   特徴とする視聴者反応情報収集方法。
3. 請求項１に記載の視聴者反応情報収集方法において、
   前記視聴データを収集する過程では、視聴者の感情・気分を示す情報を収集すべく、前記視聴データの１つとして、前記ユーザ端末の備える入力装置から、視聴者の感情・気分を示す情報を収集することを、
   特徴とする視聴者反応情報収集方法。
4. 請求項１ないし３のいずれか１項に記載の視聴者反応情報収集方法において、
   個人情報を管理する装置から、前記視聴メタデータの作成元となった再生コンテンツを視聴する視聴者の個人情報を取得する過程を備えることを、
   特徴とする視聴者反応情報収集方法。
5. 再生されるコンテンツに対しての視聴者反応の情報を収集する視聴者反応情報収集システムで用いられるユーザ端末であって、
   コンテンツ提供装置から送信されてくる視聴要求のコンテンツを再生する手段と、
   前記コンテンツ提供装置から送信されてくる再生コンテンツのメタデータを入手する手段と、
   視聴者による画面操作の情報を入手して保存手段に保存させることで画面操作履歴の情報を収集する手段と、
   視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集するセンシング装置から、該視聴者反応データを入手する手段と、
   前記画面操作履歴の情報と前記視聴者反応データとの事後統合を実現すべく、前記画面操作履歴の情報が収集された際に割り付けられたタイムスタンプと、前記視聴者反応データが収集された際に割り付けられたタイムスタンプとを使って、前記画面操作履歴の情報と前記視聴者反応データとを時間同期させて統合するとともに、それに前記メタデータを統合する手段と、
   前記統合データを、コンテンツに対しての視聴者反応の情報を提供する視聴者反応情報提供装置に送信する手段とを備えることを、
   特徴とする視聴者反応情報収集システムで用いられるユーザ端末。
6. 再生されるコンテンツに対しての視聴者反応の情報を収集する視聴者反応情報収集システムで用いられる視聴者反応情報提供装置であって、
   視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者につい１の認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集するセンシング装置から、該視聴者反応データを入手する手段と、
   コンテンツを再生するユーザ端末から、画面操作履歴の情報と再生コンテンツのメタデータとを加工することにより生成された視聴データを入手する手段と、
   前記視聴者反応データと前記視聴データとの事後統合を実現すべく、前記視聴者反応データが収集された際に割り付けられたタイムスタンプと、前記視聴データが収集された際に割り付けられたタイムスタンプとを使って、前記視聴者反応データと前記視聴データとを時間同期させて統合する手段と、
   前記統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成する手段と、
   前記視聴質データの流通用の視聴メタデータを作成する手段と、
   前記視聴メタデータを要求元に送信する手段とを備えることを、
   特徴とする視聴者反応情報収集システムで用いられる視聴者反応情報提供装置。
7. 請求項５に記載のユーザ端末を構成する手段としてコンピュータを機能させるための視聴者反応情報作成用プログラム。
8. 請求項６に記載の視聴者反応情報提供装置を構成する手段としてコンピュータを機能させるための視聴者反応情報作成用プログラム。

Images