JP6395296B2 - 視聴者注目情報提供システム、並びに情報提供装置及びそのプログラム - Google Patents

Description

本発明は、経時的に変化する画像を見ている視聴者の注目部分に関する各種情報を視聴者その他の第三者に提供するための視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラムに関する。

本出願人は、視聴者に所定の画像が配信された際に、当該画像のどの部分を視聴者が意識的に見ているかの注目度を検出するための注目度検出システムについて、既に特許出願している（特許文献１参照）。この注目度検出システムには、複数の視聴者が見た画像において、どの時刻に、どの画像内の部分を注目したかに関する統計データをクライアント側に提供する構成を含んでいる。

特開２０１２−１９６２７９号公報

ところで、画像を配信する事業者、当該画像内に映る商品等の広告主や広告代理店等、配信画像に関連する各種事業者にとって、視聴者の前記統計データは、画像の視聴率や広告宣伝効果の検証等に有用活用され得る。そこで、当該統計データの精度及び価値をより高める必要があり、そのためには、より多くの視聴者に前記注目度検出システムで注目度を検出して貰い、より多くの視聴者の統計データを集める必要がある。しかしながら、視聴者の立場からは、画像内の注目部分に関する自らの情報を他人に提供しても、金銭等による報酬の受領がない限り、自己へのメリットが無く、視聴者に金銭等の謝礼を支払わない限り、より多くの視聴者の統計データを集めることは困難である。

本発明は、このような課題に着目して案出されたものであり、その目的は、視聴者に配信される所定の画像内において、視聴者が興味や関心のある注目部分のデータを視聴者から無償で提供して貰い易くするように、視聴者が注目する画像内の部分に関連する有用情報を視聴者に提供することができる視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラムを提供することにある。

前記目的を達成するため、本発明に係る視聴者注目情報提供システムは、主として、経時的に変化する画像を見ている視聴者の注目部分を検出することにより、当該注目部分に対応した情報を前記視聴者に提供するシステムであり、前記画像内に存在する同一対象物の範囲を時系列に並べてなる時空間ボリュームの存在範囲を特定し、当該時空間ボリュームに前記対象物の付随情報を付加してなる時空間マーカを設定する時空間マーカ設定装置と、前記注目部分の検出結果に基づき、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を前記視聴者に提供する情報提供装置とを備える、という構成を採っている。

本発明によれば、所定の事業者から視聴者に配信された画像内に存在する対象物のうち、視聴者が画像を見ている時間を総合的に考慮して視聴者が注目する対象物が特定され、当該対象物に関する商品情報等の付随情報が視聴者に提供されることになる。このため、本発明に係るシステムの運営者から当該付随情報の提供を希望する視聴者は、その代わりに、配信画像内に存在する自己の注目部分の情報を前記運営者に提供する必要があり、当該運営者は、配信画像に対して視聴者が興味や関心のある注目部分のデータを多く得ることができる。その結果、配信画像内の各部分についての注目度や注目情報に関する時系列の統計データの信頼性を向上させ、当該統計データの評価及び価値を高めることができる。

本実施形態に係る視聴者注目情報提供システムの全体構成を表すブロック図。 時空間ボリューム及び時空間マーカを説明するための概念図。 時空間マーカ設定装置と情報提供装置の構成を表すブロック図。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る視聴者注目情報提供システムの全体構成を表すブロック図が示されている。この図において、前記視聴者注目情報提供システム１０は、多くの視聴者に配信される映像（画像）について、各視聴者それぞれが注目する注目部分を経時的に検出し、当該検出結果に基づいて、各視聴者、及び映像コンテンツに関係する視聴者以外の事業者に有用となる各種情報を提供するシステムである。

この視聴者注目情報提供システム１０は、視聴者側にそれぞれ配置される視聴者側コンピュータユニット１１と、事業者側にそれぞれ配置される事業者側コンピュータユニット１２と、これらコンピュータユニット１１，１２との間をインターネット、ＬＡＮ、放送等のネットワーク１４を介して接続され、各コンピュータユニット１１，１２に対してサーバとして機能する情報処理ユニット１５とを備えている。

前記視聴者側コンピュータユニット１１は、情報処理ユニット１５との間での情報の送受信処理や内部での情報処理を行うコンピュータ本体１７と、情報処理ユニット１５から受信した映像や文字情報等を表示するディスプレイ等の表示装置１８と、表示装置１８に表示された映像を見ている視聴者の視線情報を取得する視線計測装置２０とを備えている。

ここで、前記視線計測装置２０は、表示装置１８に表示された映像の中で視聴者の視線が注がれている部位となる注視点の位置を少なくとも計測可能な公知の装置からなる。この視線計測装置２０では、表示装置１８に表示された映像における所定時刻毎の各フレームについて、当該フレーム内の注視点の位置を表す注視点座標を前記視線情報とした視線データが計測される。この視線データは、当該データを得たときのフレームの画像情報に対応させてコンピュータ本体１７を通じ、情報処理ユニット１５に送信される。なお、視線計測装置２０の構成は、本発明の本質部分でないため、詳細な説明を省略する。

前記事業者側コンピュータユニット１２は、情報処理ユニット１５との間での情報の送受信処理や内部での情報処理を行うコンピュータ本体２２と、情報処理ユニット１５から受信した映像や文字情報等を表示するディスプレイ等の表示装置２３とを備えている。

前記情報処理ユニット１５は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなる１又は複数のコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。

この情報処理ユニット１５は、視聴者側コンピュータユニット１１に映像を配信する画像配信装置２４と、各視聴者に配信される映像に映る１又は複数の対象物としての対象商品について、その映像中の全画像情報の集合である映像情報に、所定の付随情報を有する１又は複数の時空間マーカを埋め込む時空間マーカ設定装置２５と、前記視線データに基づき、時空間マーカを利用して得られた様々な情報を視聴者側及び事業者側のそれぞれのコンピュータ本体１７，２２に提供する情報提供装置２７としての機能を備えている。

前記時空間マーカは、図２に示されるように、映像を構成する各時刻の画像データであるフレームＦの画面内における空間軸（同図中ｘ−ｙ軸）に時間軸（同図中ｔ軸）を加えた直交３軸の座標で表される３次元の空間（以下、単に「時空間」と称する。）において、１対象商品が占める領域である時空間ボリュームＶに、後述する付随情報を関連付けたものである。なお、時空間ボリュームＶは、画像配信装置２４で３次元映像が配信される場合、３次元の画像情報に時間軸を加えた４次元の空間とされる。

前記時空間マーカ設定装置２５は、図３に示されるように、時空間における各対象商品の時空間ボリュームＶの存在範囲を特定する範囲特定手段２９と、存在範囲が特定された各時空間ボリュームＶについて、対象商品の種類をそれぞれ特定する種類特定手段３０と、対象商品の種類毎に、前記付随情報としての商品情報が記憶された情報データベース３１と、種類特定手段３０で種類が特定された各対象商品について、その商品情報を情報データベース３１から抽出して時空間マーカを生成する時空間マーカ生成手段３２と、時空間マーカを映像情報に埋め込んだ上で記憶する時空間マーカ保存手段３３とを備えている。

前記範囲特定手段２９では、画像認識及び追跡技術等の公知の画像処理技術を用い、次のように、前記時空間内における各対象商品それぞれの時空間ボリュームＶの存在範囲が特定される。すなわち、ある時刻のフレームＦに存在する対象商品の画像領域と同一の画像領域が当該時刻の前後の時刻における各フレームＦにて存在するか否か、すなわち、所定時間内の各フレームＦにおける同一の対象商品の存否が、画像マッチング等の手法によりそれぞれ判別される。その結果、ある時間での各フレームＦのそれぞれどこかに対象商品が映っていると、各フレームにおける当該対象商品の画面内座標（図２中ｘ−ｙ座標）と各フレームＦの時刻ｔとから、時空間内での対象商品の存在範囲が時空間ボリュームとして三次元的に特定される。

前記種類特定手段３０では、例えば、○○社のＸＸ（ブランド名）といった商品名等の商品の種類とともに予め記憶された対応する商品画像と、範囲特定手段２９で存在範囲が特定された各時空間ボリュームＶの対象商品の画像とが対比され、画像マッチング等の手法によって、各時空間ボリュームＶにつき、対象商品の商品名等の商品の種類が特定される。なお、各時空間ボリュームＶの対象商品の画像に、作業者が直接、商品名等を入力してもよく、この場合、当該商品の種類と時空間ボリュームＶが対応して記憶される。

前記情報データベース３１では、対象商品の種類毎に、例えば、当該商品の製造者や販売者からの広告宣伝情報やこれらの者の会社情報、また、ホームページのＵＲＬ等の関連情報等が、商品情報として記憶されている。

前記時空間マーカ生成手段３２では、種類特定手段３０で特定された各時空間ボリュームＶの対象商品の種類に対応する商品情報が情報データベース３１から抽出され、当該商品情報を、対応する時空間ボリュームＶに関連付けて付加することで、各対象商品の時空間ボリュームＶそれぞれの時空間マーカが生成される。

前記時空間マーカ保存手段３３では、時空間マーカ生成手段３２で生成された各時空間マーカが、前記映像情報に埋め込まれた上で保存される。

前記情報提供装置２７は、図３に示されるように、視聴者側コンピュータユニット１１から送信された視線データに基づき、時空間マーカ設定装置２５の時空間マーカを利用して前記商品情報を抽出する付随情報抽出手段３５と、付随情報抽出手段３５で抽出された付随情報を視聴者側コンピュータユニット１１に提供する付随情報提供手段３６と、システム内の各視聴者側コンピュータユニット１１から獲得した視線データを統合、集計して所定の統計処理を行い、時空間マーカ設定装置２５の時空間マーカを利用して、当該集計した全視聴者における各時空間マーカの商品情報の注目度に関するデータを得る付随情報統計管理手段３８と、当該データを事業者側コンピュータユニット１２に提供する統計情報提供手段３９とを備えている。

前記付随情報抽出手段３５は、それぞれの視聴者について個別に視線データを集計して所定の統計処理を行う個別集計処理部４２と、個別集計処理部４２での集計結果に基づき、時空間マーカ設定装置２５に記憶されている時空間マーカの中から、対象の視聴者が注目している時空間マーカを特定し、当該時空間マーカから、当該視聴者に提供される商品情報を抽出する注目マーカ特定部４３とを備えている。

前記個別集計処理部４２では、各視聴者側コンピュータユニット１１に配信された映像を見た各視聴者それぞれにつき、次の尤度分布データが視聴者毎に作成される。すなわち、視聴者毎に経時的に得られる視線データにより、注目度が高いと判定された注視点がフレームＦ毎に投票され、注目度の確率分布となる時系列の尤度分布データがフレームＦ毎に作成される。なお、前記注視点の決定や尤度分布データの作成に際しては、例えば、特開２０１２−１９６２７９号公報等に記載の公知の手法が用いられ、各フレーム内の部位毎に視聴者の注目度や注視率等を判定、算出できる限りにおいて、種々の手法を採用することができる。当該手法については、本発明の本質部分ではないため、詳細な説明を省略する。

前記注目マーカ特定部４３では、各視聴者それぞれについて、個別集計処理部４２で求めた映像内の各部位における注目度の時系列データ（時系列の尤度分布データ）から、各対象商品の時空間ボリュームＶ毎に当該注目度が集計され、各時空間ボリュームＶの中から、予め設定された所定の閾値以上の注目度を有する時空間ボリュームＶが特定され、その時空間ボリュームＶにおける時空間マーカの商品情報が、当該視聴者にとって興味や関心のある自己注目の商品情報として抽出される。

前記付随情報提供手段３６では、注目マーカ特定部４３で抽出された自己注目の商品情報が、該当する視聴者の保有する視聴者側コンピュータユニット１１に送信される。視聴者側コンピュータユニット１１で受信した自己注目の商品情報は、自己が見た映像の注目部分に付随した情報として表示装置１８を通じて当該視聴者が認識することができる。例えば、映像コンテンツがドラマであるような場合、視聴者が、当該ドラマに登場する演者の着衣にある程度の時間注目して見ているようなときに、所定のタイミングで、当該着衣に関する商品名の他、当該商品を取り扱っている販売店、価格情報、人気度等の商品情報を付随情報として、当該視聴者の表示装置１８に表示されることになる。

ここで、付随情報提供手段３６から送信される自己注目の商品情報は、視聴者の画面操作により、配信画像を見ている最中或いは配信画像を見た後等、所定のタイミングで表示装置１８に表示させることができる。また、視聴者側コンピュータユニット１１での設定により、情報提供装置２７から商品情報を選択的に受信することもできる。なお、視聴者に自己注目の商品情報が全て提供されるようにした場合、視聴者本人も意識的に知り得ない自身の潜在的な嗜好を把握することが可能になる。

前記付随情報統計管理手段３８は、システム内の各視聴者の視線データを統合して集計し、所定の統計処理を行う統合集計処理部４５と、時空間マーカ設定装置２５に記憶されている時空間マーカについて、統合集計処理部４５での処理結果に基づき、視聴者全般に対する注目度を評価する注目度評価部４６とを備えている。

前記統合集計処理部４５では、前述した付随情報抽出手段３５の個別集計処理部４２での処理と同様の手法により、本システム内に存在するそれぞれの視聴者側コンピュータユニット１１から送信された各視聴者の視線データをまとめて、映像のフレームＦ毎に投票され、映像のフレームＦ毎に注視点の尤度分布データ、すなわち全視聴者におけるフレームＦ毎の注視点分布データが生成される。

前記注目度評価部４６では、前記統合集計処理部４５で求めた全視聴者の注視点分布データから、時空間マーカ設定装置２５で生成された時空間マーカとの対比により、時空間マーカの各商品情報について、全視聴者を対象にした注目度に関する注目度データが生成される。すなわち、ここでは、全視聴者の注視点分布データが、各対象商品の時空間ボリュームＶ毎に集計され、それらの各商品情報について、全視聴者の視線データの集計値に対応した注目度を表す数値及び／又は文字からなる注目度データが得られる。

前記統計情報提供手段３９では、本システム内の視聴者を対象にした前記各商品情報の注目度データが、スポンサーや広告代理店等の事業者が保有する事業者側コンピュータユニット１２に送信される。これにより、事業者は、商品情報の視聴者に対する広告宣伝効果の良否等を数値等により定量的に評価可能になる。

なお、前記時空間マーカ設定装置２５は、前述の構成に限定されず、次の構成を採用することもできる。例えば、視線計測装置２０を用い、映像情報に時空間マーカを埋め込む構成も可能である。この場合、視聴者に配信される映像が作業者に呈示され、作業者は、商品情報等の付随情報を付加したい映像中の対象商品を注視する。このとき、前記範囲特定手段２９により、対象商品毎に時空間ボリュームＶの存在範囲が特定されており、視線計測装置２０により得られた作業者の視線情報の計測結果により、作業者が注視している対象商品の時空間ボリュームＶが特定される。そして、時空間マーカ生成手段３２では、特定された対象商品の時空間ボリュームＶに関して、作業者が新たに商品情報を入力し、或いは、前記情報データベース３１から該当する商品情報を作業者が選択することにより、当該商品情報を関連付けた時空間マーカが生成され、当該時空間マーカが時空間マーカ保存手段３３で映像情報に埋め込まれて保存される。これによれば、複数の作業者が同時に映像を見ながら、それぞれ異なる対象商品のボリュームに付随情報を付加することができる、時空間マーカの生成を複数の作業者で同時並行的に行うことができる。

また、１つの映像に対し、複数の作業者が対象商品別に個々に生成した時空間マーカが、各作業者のコンピュータ端末からインターネット、ＬＡＮ等のネットワークを介して情報処理ユニット１５に送信され、当該情報処理ユニット１５で時空間マーカを一括管理する構成も可能である。

更に、情報処理ユニット１５における前述の各機能の一部につき、当該機能を使って情報提供されるクライアント側のコンピュータに設けることも可能である。例えば、時空間マーカ設定装置２５から時空間マーカを視聴者側コンピュータユニット１１のコンピュータ本体１７に送信するともに、当該コンピュータ本体１７に前記付随情報抽出手段３５と付随情報提供手段３６を設けても良い。この場合、当該コンピュータ本体１７の付随情報抽出手段３５での処理によって抽出された付随情報が、コンピュータ本体１７の付随情報提供手段３６により、自己の表示装置１８に表示されることになる。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０ 視聴者注目情報提供システム
２０ 視線計測装置
２５ 時空間マーカ設定装置
２７ 情報提供装置
２９ 範囲特定手段
３０ 種類特定手段
３１ 情報データベース
３２ 時空間マーカ生成手段
３５ 付随情報抽出手段
３６ 付随情報提供手段
３８ 付随情報統計管理手段
３９ 統計情報提供手段
４２ 個別集計処理部
４３ 注目マーカ特定部
Ｖ 時空間ボリューム

Claims (6)

1. 経時的に変化する画像を見ている視聴者の注目部分を検出することにより、当該注目部分に対応した情報を前記視聴者に提供するシステムにおいて、
   前記画像内に存在する同一対象物の範囲を時系列に並べてなる時空間ボリュームの存在範囲を特定し、当該時空間ボリュームに前記対象物の付随情報を付加してなる時空間マーカを設定する時空間マーカ設定装置と、前記注目部分の検出結果に基づき、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を前記視聴者に提供する情報提供装置とを備え、
   前記情報提供装置は、前記付随情報を抽出する付随情報抽出手段を備え、
   前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
   前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた画像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする視聴者注目情報提供システム。
2. 前記時空間マーカ設定装置は、前記画像内に存在する複数の対象物それぞれの前記時空間ボリュームの存在範囲を特定する範囲特定手段と、前記各対象物に対応する前記時空間ボリュームに、該当する付随情報を付加することで、前記対象物毎に前記時空間マーカを生成する時空間マーカ生成手段とを備えたことを特徴とする請求項１記載の視聴者注目情報提供システム。
3. 前記情報提供装置は、システム内の各視聴者について前記注目部分の指標となる視聴者の視線情報を統合、集計して統計処理を行い、前記時空間マーカを利用して、当該集計した全視聴者における前記時空間マーカの付随情報の注目度に関するデータを得る付随情報統計管理手段と、当該付随情報統計管理手段で得られたデータを所定の事業者に送信する統計情報提供手段とを含むことを特徴とする請求項１又は２記載の視聴者注目情報提供システム。
4. 前記付随情報統計管理手段は、システム内の各視聴者の前記視線情報を統合して集計し、所定の統計処理を行う統合集計処理部と、前記時空間マーカ設定装置に記憶されている前記時空間マーカについて、前記統合集計処理部での処理結果に基づき、前記視聴者全般に対する注目度を評価する注目度評価部とを備え、
   前記統合集計処理部では、前記各視聴者の前記視線情報から、全視聴者における注視点分布データが前記画像のフレーム毎に生成され、
   前記注目度評価部では、前記統合集計処理部で求めた全視聴者の前記注視点分布データが、前記各対象物の前記時空間ボリューム毎に集計され、前記各対象物の前記付随情報について、全視聴者の前記視線情報の集計値に対応した注目度を表す数値及び／又は文字からなる注目度データが生成されることを特徴とする請求項３記載の視聴者注目情報提供システム。
5. 経時的に変化する画像を見ている視聴者の注目部分の検出結果に基づいて、当該注目部分に対応した情報を前記視聴者に提供する装置において、
   前記画像内に存在する同一対象物の範囲を時系列に並べた時空間ボリュームに、前記対象物の付随情報が付加された時空間マーカのうち、前記注目部分の検出結果から、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を抽出する付随情報抽出手段と、当該付随情報抽出手段で抽出された付随情報を前記視聴者に提供する付随情報提供手段とを備え、
   前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
   前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた画像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする情報提供装置。
6. 経時的に変化する画像を見ている視聴者の注目部分の検出結果に基づいて、当該注目部分に対応した情報を前記視聴者に提供する装置のコンピュータを機能させるプログラムにおいて、
   前記画像内に存在する同一対象物の範囲を時系列に並べた時空間ボリュームに、前記対象物の付随情報が付加された時空間マーカのうち、前記注目部分の検出結果から、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を抽出する付随情報抽出手段と、当該付随情報抽出手段で抽出された付随情報を前記視聴者に提供する付随情報提供手段として前記コンピュータを機能させ、
   前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
   前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた映像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする情報提供装置のプログラム。

Images