JP4609244B2

JP4609244B2 - コンテンツ再生装置及びコンテンツ再生方法

Info

Publication number: JP4609244B2
Application number: JP2005250320A
Authority: JP
Inventors: 哲二郎近藤; 和隆内田; 剛田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-08-30
Filing date: 2005-08-30
Publication date: 2011-01-12
Anticipated expiration: 2025-08-30
Also published as: JP2007067739A

Description

本発明は、例えば、テレビジョン放送等の複数のコンテンツを複数の画面に同時に表示するコンテンツ再生装置及びコンテンツ再生方法に関するものである。

近年、大容量のＨＤＤ（Hard Disk Drive）などにコンテンツデータを大量に蓄積することができる。また、多チャンネル化により、視聴可能なコンテンツが増大している。大量に蓄積されたコンテンツ又は受信したコンテンツを複数の画面に同時に表示することができる表示装置は、複数の情報を一度に取得することができるため、大変利便性が高いものである。例えば、映像データベースに格納された類似する複数の映像を同時に提示すれば、視聴者は類似する複数の映像を比較することができる（例えば、特許文献１参照。）。

特開２００２−５７９６５号公報

しかしながら、特許文献１に記載された技術では、比較視聴する情報をユーザが作成しなければならず、映像データベースに格納された複数の映像を容易に比較することが困難であった。

本発明は、上記問題点を解消するためになされたものであり、視聴者が効率よく容易に情報を取得することができるコンテンツ再生装置及びコンテンツ再生方法を提供することを目的とする。

上述した課題を解決するために、本発明に係るコンテンツ再生装置は、複数の画面を有する表示手段を備え、当該表示手段に複数のコンテンツを再生するコンテンツ再生装置において、視聴者の注視点を検出し、上記複数の画面から注視画面を検出する注視画面検出手段と、上記注視画面検出手段で検出された注視画面に表示されたコンテンツとの類似性に基づいて選択されたコンテンツを含むコンテンツリストを作成し、当該コンテンツリストに基づいて上記複数の画面に表示するコンテンツを切り替え再生する再生手段とを備え、上記再生手段は、各画面に再生されたコンテンツについて、上記コンテンツの切り替え要求を指示する指示手段により指示された切り替え要求から過去一定時間までの注視回数及び／又は注視時間と閾値とを比較し、上記注視回数及び／又は注視時間が上記閾値以下の画面のコンテンツを上記コンテンツリストに基づいて切り替え再生することを特徴としている。

また、本発明に係るコンテンツ再生方法は、複数の画面を有する表示手段に複数のコンテンツを再生するコンテンツ再生方法において、視聴者の注視点を検出し、上記複数の画面から注視画面を検出する注視画面検出工程と、上記注視画面検出工程で検出された注視画面に表示されたコンテンツとの類似性に基づいて選択されたコンテンツを含むコンテンツリストを作成し、当該コンテンツリストに基づいて上記複数の画面に表示するコンテンツを切り替え再生する再生工程とを有し、上記再生工程では、各画面に再生されたコンテンツについて、上記コンテンツの切り替え要求を指示する指示手段により指示された切り替え要求から過去一定時間までの注視回数及び／又は注視時間と閾値とを比較し、上記注視回数及び／又は注視時間が上記閾値以下の画面のコンテンツを上記コンテンツリストに基づいて切り替え再生することを特徴としている。

本発明によれば、視聴者が注視する注視画面に表示されたコンテンツとの類似性に基づいて選択されたコンテンツを含むコンテンツリストを作成し、このコンテンツリストに基づいてコンテンツを再生するため、視聴者は効率よく情報を取得することができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の一実施形態におけるコンテンツ再生装置を示すブロック図である。このコンテンツ再生装置１０は、複数のチャンネルのコンテンツデータを受信する受信部１１と、複数のコンテンツデータを記録する記録部１２と、複数の画面を有する表示部１３と、受信部１１及び／又は記録部１２から表示部１３の各画面に表示するコンテンツを切り替えるスイッチャー１４と、視聴者が注視する注視画面を検出する注視画面検出部１５と、視聴者の要求を指示するリモートコントローラ１６と、リモートコントローラ１６から視聴者の要求に応じた制御信号を受光する受光部１７と、受光部１７からの制御信号に応じて各構成部を制御する制御部１８とを備えて構成されている。

受信部１１は、所望のチャンネルの放送信号を受信するチューナを備えている。なお、異なるコンテンツを複数の画面に表示する場合、チューナは表示部１３が有する画面数分備えられることが好ましい。

記録部１２は、例えば、受信部１１で受信したチャンネルのコンテンツデータを記録するための大容量のＨＤＤ（Hard Disk Drive）を備えている。また、記録部１２は、コンテンツデータとともにそのコンテンツの属性情報を記録する。この属性情報は、例えば、ＥＰＧ（Electronic Program Guide）等から得ることができる、タイトル、ジャンル、キーワード、日時、提供媒体等の情報であり、これらの情報は、放送信号やインターネット等から取得することができる。なお、リアルタイムの放送を視聴する場合には、記録部１２は受信したコンテンツデータと属性情報を一時的に保持する。

図２は、属性情報としてＥＰＧにおけるジャンルの一例を示す図である。ここで、ジャンルとしては、地上波映画、ＢＳ映画、ドラマ、スポーツ、音楽、バラエティ、アニメ等が挙げられる。また、地上波映画、ＢＳ映画等のサブジャンルとしては、邦画、洋画等が挙げられる。また、ドラマのサブチャンネルとしては、時代劇、海外ドラマ等が挙げられる。また、スポーツのサブジャンルとしては、野球、サッカー、ゴルフ等が挙げられる。また、音楽のサブジャンルとしては、クラシック、ジャズ、演歌、歌謡曲等が挙げられる。また、バラエティのサブジャンルとしては、クイズ、お笑い等が挙げられる。なお、属性情報は、ジャンルの情報だけでなく、放送日時、公開日時、タイトル、キーワード等の情報も有しており、後述するコンテンツの類似性の評価に用いられる。

表示部１３は、複数の画面１３_１〜画面１３_Ｎを有しており、複数のコンテンツを同時に表示する。なお、表示部１３は、１つのディスプレイ画面を複数の画面に分割した構成でもよく、複数のディスプレイ画面を用いた構成としてもよい。

スイッチャー１４は、受信部１１で選局されたチャンネルのコンテンツデータや記録部１２に記録されたコンテンツデータの中から表示部１３の各画面に表示するコンテンツの切り替えを行う。

注視画面検出部１５は、視聴者を撮像する撮像手段を備えている。この注視画面検出部１５は、後述するように取得した画像から、顔の向きや位置を検出し、視線の向きを検出し、注視点を検出する。そして、検出した注視点より注視画面を検出する。

リモートコントローラ１６は、視聴者によって操作され、視聴者の要求を指示する。例えば、コンテンツの切り替えを要求する場合、リモートコントローラ１５のチャンネル切替ボタンを押すことにより、切替制御信号が送信される。

受光部１７は、リモートコントローラ１６からの制御信号を受信する。

制御部１８は、リモートコントローラ１６を介した視聴者からの指示に応じて各部を制御する。例えば、類似性の高いコンテンツ再生モードの場合、制御部１８は、注視画面検出部１５における視聴者が注視する注視画面の検出結果に基づいて選択されたコンテンツリストを作成し、このコンテンツリストに基づいてコンテンツを再生する。具体的には、最も注視回数及び／又は注視時間が多い画面に表示されたコンテンツと再生可能な他のコンテンツとの類似性を比較評価し、評価値が高い順番にコンテンツを並べたコンテンツリストを作成し、その順番でコンテンツの表示を切り替える。

類似性の評価は、例えば、ＥＰＧの内容が一致しているか否かに基づいて行われる。例えば、ジャンル、サブジャンル、タイトル、キーワードのうち一致するものが多いものを評価値の高いものとする。また、放送日時が現時点よりも近いものの評価値を高くする。

また、例えば、タイトル、ジャンル、キーワード、日時、提供媒体等の情報の嗜好度を設定し、評価値を算出することにより、視聴者が求めるコンテンツを効率よく再生させる。例えば、テレビジョン番組の場合、出演者のキーワード及び日時の嗜好度を高く設定して評価値を算出するようにすることにより、この出演者が出演しているコンテンツが複数再生され、お気に入りの出演者の最近の情報を効率よく得ることができる。また、例えば、ニュース番組を比較したい場合、ジャンル及び日時の嗜好度を高く設定して評価値を算出するようにすることにより、放送日時が近い他のニュース番組が複数比較再生されるため、着眼点の違いや取材の力の入れ方の違い等を理解することができる。なお、このコンテンツリストは、ある一定時間、画面上に表示されていないコンテンツが並べられたもので、重複して同じコンテンツが再生されないようになっている。

このコンテンツ再生装置１０は、制御部１８がスイッチャー１４を制御し、受信部１１や記録部１２から入力されたコンテンツ画像を表示部１３の複数の画面に振り分けることによりコンテンツを同時に再生する。

図３は、上述したコンテンツ再生装置１０のコンテンツ再生動作を示すフローチャートである。

ステップＳ１において、注視画面検出部１５は、視聴者が注視している画面を検出する。ここで、ステップＳ１の注視画面検出動作を図４に示すフローチャートを用いて説明する。ステップＳ１０１において、注視画面検出部１５は、例えば、肌色、白目の白、黒目の黒等の色彩情報を用いて、両目の輪郭、両目の位置を検出し、さらに画像の輝度情報を用いて鼻孔の位置を検出し、顔の向き及び位置を検出する。

次に、ステップＳ１０２において、注視画面検出部１５は、両目の位置及び鼻孔の位置の幾何学的な位置関係に基づいて眼球の中心の位置及び半径を推定するとともに輝度情報を用いて瞳孔の位置を検出し、眼球の中心と瞳孔の中心を結ぶベクトルを算出することにより視線の向きを検出する。

そして、ステップＳ１０２で検出された視線の延長上の注視点を検出し（ステップＳ１０３）、その注視点が画面上にあるか否かを判別する（ステップＳ１０４）。

ステップＳ１０４において、検出した注視点が画面上である場合、注視画面検出部１５は、その注視点がある画面の番号を出力する。また、検出した注視点が画面上でない場合、注視画像検出処理を終了する。

この注視画面検出処理は、例えば、所定時間Ｔ１毎に行われている。そして、注視画面検出部１５から出力された注視画面番号は、タイムコードとともに制御部１８内のＲＡＭ（Random Access Memory）等のメモリに蓄積される（ステップＳ２）。

ステップＳ３〜ステップＳ１０において、制御部１８は、ステップＳ２で蓄積された画面番号１〜画面番号ｉまでの注視画面情報に基づいてコンテンツの再生処理を行う。

ステップＳ３〜ステップＳ６では、画面毎に過去一定時間Ｔ２（Ｔ２＞Ｔ１）内に一定以上の注視回数があるか否かを判別し、コンテンツを切り替える画面を決定する。すなわち、画面番号１の画面から順次判別し（ステップＳ４）、画面番号ｉが表示部１３の画面数Ｎとなるまで判別し、コンテンツを切り替える画面を決定する。

ステップＳ５において、画面ｉ（１≦ｉ≦Ｎ）（Ｎは画面数）が表示部１３の画面数Ｎ以下の場合、ステップＳ６に進み、画面ｉの注視回数が一定以上あるか否かを判別する。

ステップＳ６において、画面ｉの注視回数が一定以上ない場合、ステップＳ７に進み、例えば、過去一定時間Ｔ２内に最も注視回数があった画面のコンテンツとの類似度に基づいて選択されたコンテンツを含むコンテンツリストを作成する。このコンテンツリストは、画面１〜Ｎにおける再生処理において同じものを用いることができる。また、ステップＳ６において、画面ｉの注視回数が一定以上ある場合、ステップＳ１０に進む。

ステップＳ８において、制御部１８は、画面ｉのコンテンツを類似度の評価がｊ番目に高いコンテンツに変更する。そして、コンテンツリストの評価値ｊをインクリメントし（ステップＳ９）、次に変更するコンテンツを決定する。

ステップＳ１０では、画面番号ｉをインクリメントし、ステップＳ５に戻り、ｉ＞Ｎとなった場合、上述の再生処理を終了する。

このように複数の画面から視聴者の注視回数に基づいてコンテンツの切り替え画面を決定し、最も注視回数の多いコンテンツと類似度が高いコンテンツを切り替え決定画面に再生することにより、視聴者は効率よく情報を取得することができる。換言すれば、視聴者があまり注視しない画面のコンテンツ、つまりあまり興味のないコンテンツを、類似度が高く、興味があるコンテンツに切り替えるようにしたため、視聴者は容易に多くの情報を得ることができる。

図５は、本実施の形態における再生処理例を模式的に示す図である。ここで、表示部１３は、９つの画面１３_１〜画面１３_９を有するものとする。また、過去一定時間内に注視回数が一定以上ない画面、すなわち、コンテンツを切り替える画面は、画面１３_２と画面１３_４であり、最も注視回数が多い画面は、画面１３_１であるとする。この場合、画面１３_１に再生されているコンテンツＡと他のコンテンツとの類似性の評価値を算出することにより、例えば、コンテンツＣ、コンテンツＥ、コンテンツＦ・・・の順番からなるコンテンツリストが作成される。このコンテンツリストに従って、過去一定時間内に注視回数が一定以上ない画面１３_２及び画面１３_４は、それぞれコンテンツＣ及びコンテンツＥの画像に切り替わる。これにより、例えば、違う局の同一話題のニュースを見比べることができ、新規の情報を発見することができる。また、映像を対比させて見ることによりその映像をより深く理解することができる。

なお、上記実施の形態では、注視されていない画面のコンテンツを定期的に切り替えるようにしたが、視聴者から受信したコンテンツの切り替え指示に応じてコンテンツを切り替えてもよい。

また、上記実施の形態では、過去一定時間内の注視回数に応じてコンテンツを切り替える画面を決定したが、過去一定時間内の注視時間に応じてコンテンツを切り替える画面を決定してもよい。この注視時間は、例えば画面をある時間注視した回数に基づいて算出しても、サンプリングされた画面の注視点に基づいて算出してもよい。

また、コンテンツの類似性の評価をＥＰＧ等の属性情報を用いて行うこととしたが、画像のフレーム差分や画像の色ヒストグラムの相関などの映像の画像特徴を用いて類似性を評価してもよい。

本発明の一実施形態におけるコンテンツ再生装置を示すブロック図である。属性情報としてＥＰＧのジャンルの一例を示す図である。コンテンツ再生動作例を示すフローチャートである。注視画面検出動作例を示すフローチャートである。本実施の形態における再生処理例を模式的に示す図である。

符号の説明

１０コンテンツ再生装置、１１受信部、１２記録部、１３表示部、１４スイッチャー、１５注視画面検出部、１６リモートコントローラ、１７受光部、１８制御部

Claims

複数の画面を有する表示手段を備え、当該表示手段に複数のコンテンツを再生するコンテンツ再生装置において、
視聴者の注視点を検出し、上記複数の画面から注視画面を検出する注視画面検出手段と、
上記注視画面検出手段で検出された注視画面に表示されたコンテンツとの類似性に基づいて選択されたコンテンツを含むコンテンツリストを作成し、当該コンテンツリストに基づいて上記複数の画面に表示するコンテンツを切り替え再生する再生手段とを備え、
上記再生手段は、各画面に再生されたコンテンツについて、上記コンテンツの切り替え要求を指示する指示手段により指示された切り換え要求から過去一定時間までの注視回数及び／又は注視時間と閾値とを比較し、上記注視回数及び／又は注視時間が上記閾値以下の画面のコンテンツを上記コンテンツリストに基づいて切り替え再生するコンテンツ再生装置。
上記再生手段は、上記注視画面検出手段における注視画面検出結果において最も注視回数及び／又は注視時間が多い画面のコンテンツの属性情報に基づいて他のコンテンツとの類似性を評価し、上記コンテンツリストを作成する請求項１記載のコンテンツ再生装置。
上記属性情報は、上記コンテンツのタイトル、ジャンル、キーワード、日時及び提供媒体の情報を含む請求項２記載のコンテンツ再生装置。
上記再生手段は、所定時間内における各画面の注視回数及び／又は注視時間に応じてコンテンツを切り替える画面を選択し、上記コンテンツリストに基づいてコンテンツを切り替え再生する請求項１記載のコンテンツ再生装置。
複数の画面を有する表示手段に複数のコンテンツを再生するコンテンツ再生方法において、
視聴者の注視点を検出し、上記複数の画面から注視画面を検出する注視画面検出工程と、
上記注視画面検出工程で検出された注視画面に表示されたコンテンツとの類似性に基づいて選択されたコンテンツを含むコンテンツリストを作成し、当該コンテンツリストに基づいて上記複数の画面に表示するコンテンツを切り替え再生する再生工程とを有し、
上記再生工程では、各画面に再生されたコンテンツについて、上記コンテンツの切り替え要求を指示する指示手段により指示された切り替え要求から過去一定時間までの注視回数及び／又は注視時間と閾値とを比較し、上記注視回数及び／又は注視時間が上記閾値以下の画面のコンテンツを上記コンテンツリストに基づいて切り替え再生するコンテンツ再生方法。