JP4371024B2

JP4371024B2 - 記録再生装置、記録再生方法および記録再生システム

Info

Publication number: JP4371024B2
Application number: JP2004280959A
Authority: JP
Inventors: 謙治荒島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2009-11-25
Anticipated expiration: 2024-09-28
Also published as: JP2006100881A

Description

この発明は、利用者の嗜好に応じた番組情報を自動的に呈示する記録再生装置、記録再生方法および記録再生システムに関する。

従来、テレビジョン放送では、テレビジョン受信装置に録画機器を接続し、放送される番組の録画、再生を行っていた。また、ラジオ放送でも同様に、ラジオ受信装置と録音装置を接続して放送される番組の録音、再生を行っていた。

ところで、近年、放送がディジタル化されつつあるが、ディジタル放送の特徴として、多チャンネル化が挙げられる。このような多チャンネル化の時代を迎え、番組の利用者は、自ら見たい番組を新聞や雑誌の番組情報欄から探し出すのが困難となりつつある。

そのため、予め利用者の好みを登録し、ディジタル放送のサービスのひとつである電子番組ガイド（ＥＰＧ（Electric Program Guide））を利用して番組を自動的に記録することが行われている。

下記特許文献１には、視聴履歴情報からユーザの嗜好を判定し、判定結果をもとにＥＰＧ情報の番組群から再生のための録画推薦番組表を生成し表示する、電子番組ガイド受信装置に関する発明が記載されている。

特開２００２−１１２１８６号公報

しかしながら、上述した従来の技術には以下のような問題点があった。すなわち、家族など複数の利用者がいる場合、好みの番組は各人により異なるため、各利用者すなわち家族全員の好みを個別に登録することが必要となる。家族全員のそれぞれの好みに応じた番組をすべて記録することは、ＨＤＤ（Hard Disk Drive）の記録容量が数百ギガバイトを超える現在では可能であるが、例えば数百種類の記録された番組から個人の好みに応じた最適な番組を探し出すのは容易ではない。また、録画した番組の一部分のみに興味がある場合に番組の、どの部分に興味があるかを利用者からのリモートコントローラによる操作のみから判別するのは容易ではない。

上記特許文献１に記載されている発明では、複数の利用者がいる場合は、ユーザＩＤを登録して入力する必要があり、手間がかかるという問題がある。

従って、この発明の目的は、利用者を自動的に認識して、認識した各利用者の好みに応じた番組情報を自動的に呈示することができる記録再生装置、記録再生方法および記録再生システムを提供することにある。

上述した課題を解決するために、請求項１に係る発明は、利用者を認識する利用者認識手段と、利用者認識手段により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶手段と、キーワードの順位を変更する変更手段と、番組情報および番組を表示する表示手段とを備え、嗜好情報に応じて自動録画を行う記録再生装置において、利用者認識手段は、撮像装置により表示手段の前方に居る利用者を撮影し、撮影された利用者の顔データと、登録された顔データとを照合することで利用者の顔を認識し、さらに利用者の視線を検出し、変更手段は、利用者認識手段により認識された利用者の顔および利用者の視線に基づいて、表示手段によって表示される番組に対する利用者の視聴行動を、表示手段に向いている場合、表示手段に向いていない場合、表示手段の前にいない場合のいずれかに分類し、視聴行動ごとの経過時間にそれぞれ所定の係数を乗じて得られた値の総計と所定のしきい値を比較し、総計がしきい値よりも大きい場合は番組に対応するキーワードの順位を上位に変更し、総計がしきい値より小さい場合は番組に対応するキーワードの順位を下位に変更し、表示手段は、自動録画された番組および／または放映中の番組から利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生装置である。

請求項３に係る発明は、利用者を認識する利用者認識ステップと、利用者認識手段により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶ステップと、キーワードの順位を変更する変更ステップと、番組情報および番組を表示手段に表示する表示ステップとを備え、嗜好情報に応じて自動録画を行う記録再生方法において、利用者認識ステップは、利用者を撮影し、撮影された利用者の顔データと、登録された顔データとを照合することで利用者の顔を認識し、さらに利用者の視線を検出し、変更ステップは、利用者認識ステップにより認識された利用者の顔および利用者の視線に基づいて、表示ステップによって表示される番組に対する利用者の視聴行動を、表示手段に向いている場合、表示手段に向いていない場合、表示手段の前にいない場合のいずれかに分類し、視聴行動ごとの経過時間にそれぞれ所定の係数を乗じて得られた値の総計と所定のしきい値を比較し、総計がしきい値よりも大きい場合は番組に対応するキーワードの順位を上位に変更し、総計がしきい値より小さい場合は番組に対応するキーワードの順位を下位に変更し、表示ステップは、自動録画された番組および／または放映中の番組から利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生方法である。

請求項５に係る発明は、映像を表示する表示装置と、利用者を認識する利用者認識装置と、利用者認識装置により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶手段と、キーワードの順位を変更する変更手段と、番組情報を表示する表示手段とを備え、嗜好情報に応じて自動録画を行う記録再生装置とからなる記録再生システムにおいて、利用者認識装置は、撮像装置により上記表示装置の前方に居る利用者を撮影し、撮影された利用者の顔データと、登録された顔データとを照合することで利用者の顔を認識し、さらに上記利用者の視線を検出し、変更手段は、利用者認識手段により認識された利用者の顔および利用者の視線に基づいて、表示手段によって表示される番組に対する利用者の視聴行動を、表示装置に向いている場合、表示装置に向いていない場合、表示装置の前にいない場合のいずれかに分類し、視聴行動ごとの経過時間にそれぞれ所定の係数を乗じて得られた値の総計と所定のしきい値を比較し、総計がしきい値よりも大きい場合は番組に対応するキーワードの順位を上位に変更し、総計がしきい値より小さい場合は番組に対応するキーワードの順位を下位に変更し、表示手段は、自動録画された番組および／または放映中の番組から利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生システムである。

この発明によれば、自動的に各利用者の嗜好が抽出、記録されるため、複数の利用者がいるリビングなどの視聴環境において、リモートコントローラのボタン操作などを行わなくても常に各利用者の嗜好に応じた最適な番組の録画を行い、最適なおすすめ番組を自動的に選択して提供することができる。これにより、例えば、毎週見ているドラマを見逃してしまった場合でも、そのドラマは自動的に録画されているため、後から視聴することができる。

また、この発明では、利用者認識手段のひとつとして撮像装置を用いることで顔検出を行うことができ、番組に対する各利用者の嗜好の度合いをより詳細に判別することができる。すなわち、じっくりと見ている番組と、適当に見ている番組を区別することができるため、あまり興味のない番組の録画を防ぐことができ、各利用者は、常に自分に興味、関心のある番組、番組表等の情報を得ることができる。

さらにこの発明によれば、各利用者の番組への嗜好が変化した場合に、変化に対応して嗜好情報を変更できるため、例えば、以前は興味があったが、現在は興味がなくなった番組などの録画を防ぐことができる。

以下、図面を参照しながらこの発明の一実施形態について説明する。なお、以下に説明する一実施形態では、利用者をリモートコントローラを操作しながら番組を視聴する操作者、単に番組を視聴している視聴者、利用者が特定できない場合の一般の嗜好と区分して説明する。一般の嗜好とは特定の利用者に限られない場合の嗜好情報をいう。

図１はこの発明の構成全体を示す。参照符号１１は表示手段としてのディスプレー装置を示し、例えばＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等が用いられる。

ディスプレー装置１１の近傍には、利用者認識手段の一例である撮像装置１２が備えられる。撮像装置１２は、ディスプレー装置１１の前方にいる操作者Ａおよび視聴者Ｂとほぼ対向する位置に備えられ、操作者Ａおよび視聴者Ｂの顔若しくは全体が写るように撮影する。なお、撮像装置１２はディスプレー装置１１と別個の構成とせず、一体とされた構成としてもよい。

参照符号１３は記録再生装置を示す。記録再生装置１３はディスプレー装置１１および撮像装置１２と例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４などのインタフェースを介して接続されてもよいし、無線による通信を行うことができるようにしてもよい。

なお、記録再生装置１３は、ディスプレー装置１１と一体とされた構成としてもよい。また、ディスプレー装置１１、撮像装置１２および記録再生装置１３の全てが一体とされた構成とすることも可能である。さらには、記録再生装置１３がパーソナルコンピュータに内蔵された構成も可能である。この一実施形態では、それぞれが別個に備えられ、接続された構成として説明する。

操作者Ａおよび視聴者Ｂは、ディスプレー装置１１に表示される映像を視聴し、またリモートコントローラ１４を操作することで、記録再生装置１３の動作を制御する。

図２は、記録再生装置１３の構成および周辺装置を示す。破線内は記録再生装置１３の構成を示す。記録再生装置１３の各部はマイクロプロセッサ等により実現されるコントローラ３１により制御される。また、記録再生装置１３には、受光部３２が設けられ、リモートコントローラ１４からの赤外線信号等の制御信号が受信される。受信された制御信号は、電気信号へと変換され、コントローラ３１に供給され、所定の処理が行われる。

参照符号２１は、放送局から送信される放送信号を受信するためのアンテナである。アンテナ２１は、アナログまたはディジタルのいずれの放送形態にも対応することができる。したがって、受信される放送信号は、例えば地上アナログ放送、ＢＳ（Broadcasting Satellite）ディジタル放送、ＣＳ（Communication Satellite）ディジタル放送、地上ディジタル放送等であり、放送形態により使用されるアンテナ２１も規定される。また、アンテナを衛星ディジタル放送用、地上アナログ／ディジタル放送用と複数設けてもよい。受信された放送信号は、記録再生装置１３に備えられる受信部３３に供給される。

受信部３３では、受信された放送信号に対し、種々の信号処理が施される。例えば、地上アナログ放送を例にして説明すると、受信部３３は受信した放送信号から、所望のチャンネルの放送信号を増幅して取り出し、変調されている映像、音声信号を検波、復調するデコーダである。デコードされた信号は入力部３５に供給される。また、受信部３３では、放送信号の垂直ブランキング期間（ＶＢＩ）に多重されて送られる番組情報データが分離され、番組情報入力部３４に送られる。

入力部３５は、デコードされた放送信号を記録する際に、記録に適したフォーマット（例えばＭＰＥＧ（Moving Picture Coding Experts Group）２）に変換する処理が行われる。所定のフォーマットに変換された信号は、記録部３６に供給され、例えばＨＤＤ（Hard Disk Drive）３９やその他の記録媒体（例えば、Ｄ（Digital）−ＶＨＳ、ＤＶＤ(Digital Versatile Disc)等）に記録される。

また、番組情報入力部３４に入力された番組情報データは、記録部３６および嗜好抽出部３７のそれぞれに供給される。なお、後述するディジタル放送でも同様であるが、番組情報入力部３４に入力される番組情報データは、設定された期間、番組情報入力部３４に備えられるメモリ（図示しない）に記録される。

アンテナ２１は、上述したような地上アナログ放送のみならず、ディジタル放送信号も受信することが可能とされている。受信される放送信号は、例えばＶＳＢ（Vestigial Side Band）、ＱＡＭ(Quadrature Amplitude Modulation)、ＱＰＳＫ（Quadrature Phase Shift Keying）等の変調方式で変調された放送信号である。特に、ＢＳディジタル放送では、トレリス符号化８ＰＳＫ（ＴＣ８ＰＳＫ）と呼ばれる誤り訂正能力を高めた変調方式が用いられている。

アンテナ２１で受信されたディジタル放送は、受信部３３に供給され、誤り訂正、デインタリーブ等の復調処理を受ける。また、ＭＰＥＧ２システムにより映像、音声が多重された入力ストリーム（ＭＰＥＧ２トランスポートストリーム）から所望の番組のパケットが取り出され、併せてＳＩ（Service Information）の取得、クロックの再生等の処理がなされる。さらに、圧縮符号化された映像、音声データをデコードして、圧縮前の信号が再生され、入力部３５に送られる。入力部３５で所定のフォーマットに変換された出力は、記録部３６に供給され、ＨＤＤ３９に記録される。

また、ＳＩのデータには番組のタイトルや時刻、出演者などの種々の番組情報が含まれ、それらの番組情報データは番組情報入力部３４へ供給され、さらに記録部３６および嗜好抽出部３７に供給される。

再生部４０では、ＨＤＤ３９に記録された映像信号が再生され、出力制御部４１で所定の信号処理（Ｄ／Ａ(Digital to Analog)変換等）が施された信号がディスプレー装置１１に供給され、映像（音声信号も含む）が表示される。

次に、撮像装置１２から記録再生装置１３に入力される画像信号の流れ、処理について説明する。撮像装置１２により撮影された画像信号は、例えばＣＣＤ（Charge Coupled Device）などの撮像素子により電気信号に変換され、画像処理部４２に供給される。

図３は、撮像装置１２により撮影された画像５１の一例である。画像５１は、操作者Ａおよび視聴者Ｂの顔や視聴行動の変化などを認識できるように、ディスプレー装置１１が設置されている空間（例えばリビングルーム）全体が写るようにされている。なお、撮像装置１２の撮影間隔は、例えば数十秒おきなど適切に設定することができる。

画像処理部４２では、ＣＣＤにより変換された信号に種々の信号処理がなされる。例えば、雑音低減処理（相関二重サンプリングなど）、輝度・色補正処理（シェージング補正、γ補正、ホワイトクリップなど）、欠陥画素補正処理等がなされる。

また、撮影された画像５１から操作者Ａおよび視聴者Ｂの顔部分の検出をする被写体検出処理もなされる。被写体検出処理は、例えば予めフレームメモリに記憶した背景画像と撮影画像を比較する背景メモリを利用する方法や、しきい値による２値化処理を利用する逐次成長法などの方法により行われる。なお、被写体検出処理はその他の方法でもよく、認識の方法に限定されることはない。

画像処理部４２で検出された操作者Ａおよび視聴者Ｂの顔は、顔検出判別部４３に供給され、認識処理が行われる。顔の認識処理に関する方法については、様々な方法が提案されており、この発明では特に限定されることはない。

例えば、エッジ検出で顔の輪郭を検出し、目、鼻、口などの位置を特徴点として抽出する。認証対象者のデータを、顔検出判別部４３に備えられた例えばＲＡＭ（Random Access Memory）などの書き換え可能なメモリ（図示しない）に事前に登録された顔のデータとを照合して、操作者Ａおよび視聴者Ｂの認識を行う。また、撮像装置１２により撮影された認証対象者の顔が登録された顔データにない場合は、その認証対象者の顔データを自動的に登録するようにしてもよい。

顔検出判別部４３の出力は、嗜好抽出部３７に供給される。顔検出判別部４３の出力は、認識された人物に関する信号のほか、利用者が誰であるかを判別できない旨の信号も含まれる。また、顔検出判別部４３で撮影された画像中の顔データと登録された顔データの合致指数を算出できるようにし、例えば合致指数が７０％である場合などは、その旨の信号も併せて送られるようにしてもよい。

顔検出判別部４３では、上述した被写体検出の処理を用いて、利用者の顔のみならず、例えばリモートコントローラ１４の位置を検出することも可能とされている。また、リモートコントローラ１４の発光部の認識パルスを認識して発光部を検出することで位置検出を行ってもよい。

嗜好抽出部３７では、各利用者毎の嗜好情報が抽出、記録される。図４は、嗜好情報の一例である嗜好リスト６１を示す。登録された利用者毎に、興味の程度によりキーワードが順位付けされている。たとえば、嗜好リスト６１は、操作者Ａはキーワードに「野球」、「ゴルフ」を含む番組に非常に高い興味を有し、逆に「料理」、「美容」といったキーワードを含む番組には興味がないことを示している。これらのキーワードは、利用者の嗜好の変化に応じて順位が変更できるようにされている。

図４に示した嗜好リスト６１では利用者は操作者Ａおよび視聴者Ｂだけであるが、その他に新規に登録したりすることは可能である。嗜好リスト６１は、例えばデータ蓄積部３８に蓄積される。

記録再生装置１３の構成は、上述した説明の構成に限定されず、他の機能、例えばネットワークインターフェースを設け、インターネット等と接続できるようにしてもよい。

次に、記録再生装置１３の動作処理について説明する。初期設定時では、記録再生装置１３のデータ蓄積部３８に嗜好リストのデータが記録されていないため、設定を行う。例えば、操作者Ａおよび視聴者Ｂがリモートコントローラ１４を操作することで、適当なキーワードを入力したり、またキーワードを選択したりすることで図４に示したような嗜好リスト６１を作成して設定を行う。

設定された嗜好リストに基づいて、自動的に番組の録画が行われる。例えば、コントローラ３１の制御信号に基づいてデータ蓄積部３８に記憶されている嗜好リスト６１が読み出され、嗜好抽出部３７に供給される。嗜好抽出部３７では、嗜好リスト６１のデータが記録部３６に供給される。より具体的には、操作者Ａは「野球」、「ゴルフ」に、また視聴者Ｂは「旅行」、「音楽」というキーワードに興味があることを示すデータである。

また、記録部３６には番組情報入力部３４から、例えばＥＰＧ等の番組情報が供給される。記録部３６は、嗜好抽出部３７より供給されたキーワードとＥＰＧの情報をもとにして記録する番組を決定する。

図５Ａは、嗜好リスト６１のキーワードをもとにしてＥＰＧの情報を検索したＥＰＧ検索リスト７１の一例を示す。ＥＰＧ検索リスト７１は、操作者Ａに関しては、「野球○−△」、「野球ニュース」等の番組が検索され、視聴者Ｂに関しては「フランス紀行」、「旅情報」等の番組が検索され、キーワードとの一致の度合い（ヒット率）順に番組名が並べられている。

また、図５Ｂは、ＥＰＧ検索リスト７１に基づいて作成される番組録画の予約リスト７２を示す。ＥＰＧには、各番組の放映日時、時間、チャンネル等の情報も含まれるため、検索された各番組の放映日時等が認識でき、各番組毎に予約リスト７２を作成することができる。予約リスト７２をもとにして、コントローラ３１は受信部３３等の制御を行い、該当する番組の自動録画を行う。

また、初期設定時に、操作者Ａおよび視聴者Ｂは、撮像装置１２を用いて自身の顔を撮影する。撮影された画像は、例えば顔検出判別部４３に備えられるメモリ（図示しない）に登録される。

次に、初期設定がされた記録再生装置１３の動作を説明する。はじめに利用者が、操作者Ａのみの場合について説明する。記録再生装置１３の電源がオンされると、撮像装置１２により撮影が行われ、顔の判別が行われる。顔検出判別部４３で利用者が操作者Ａと判別されると、その旨の信号がコントローラ３１に供給される。

コントローラ３１は再生部４０を制御し、ＨＤＤ３９に蓄積された操作者Ａの嗜好に対応して記録されている番組の情報を取り出す。取り出された番組の情報は、出力制御部４１で所定の処理が施され、ディスプレー装置１１に表示され、操作者Ａは、自身の嗜好に応じた記録済みの番組に関する情報を知ることができる。

さらに、この発明では記録された番組に関する情報のみならず現在放送中の番組（生番組）および近い将来の放送予定の番組に関する情報も呈示される。すなわち、コントローラ３１では、操作者Ａの嗜好リストにもとづいて番組情報入力部３４に記憶されているＥＰＧ等の番組データを検索し、現在放映中の番組の中から番組情報を検索しておすすめ番組に関する情報を表示する。

図６は、おすすめ番組の呈示画面（以下、おすすめ番組情報リスト８１と称する）の一例である。操作者Ａに対して、現在放送中の番組、記録済みの番組の中からそれぞれおすすめの番組が呈示される。

このように、操作者Ａは、記録再生装置１３の電源をオンするだけで、記録済みの番組のみならず現在放映中の番組から自らの嗜好に対応した、おすすめ番組に関する情報を知ることができる。

なお、顔検出判別部４３における判別で利用者をＡと認識できない場合は、例えば自動録画された番組に関する情報を表示するなどしてもよい。このような場合でも、自動的に撮像装置１２が所定の間隔で撮影を行い、再度、顔の認証処理が行われるため、操作者Ａの嗜好に対応した、おすすめ番組に関する情報を呈示することができる。

操作者Ａは、呈示された、おすすめ番組情報リスト８１の中から所望の番組を選択する。現在放送中の番組欄に呈示された番組から選択された場合は、コントローラ３１により受信部３３が制御され、選択された番組の映像がディスプレー装置１１に表示される。また、録画されている番組欄に呈示された番組から選択された場合は、ＨＤＤ３９から該当番組が読み出され、再生部４０に供給され、出力制御部４１を経てディスプレー装置１１に表示される。

おすすめ番組情報リスト８１にはその他の情報を付加することも可能である。例えば、嗜好リスト６１にもとづいてＥＰＧ等の番組情報を検索し、現在放送中の番組のみならず、近い将来（例えば現在から何時間以内の番組や本日の番組）に放送される、おすすめ番組情報を呈示するようにしてもよい。

図７は、顔検出判別部４３で利用者が二人判別された場合のおすすめ番組情報リスト９１の一例である。利用者が複数の場合は、それぞれの利用者（図７では操作者Ａおよび視聴者Ｂ）に対するおすすめ番組を呈示するようにされている。

この発明の一実施形態における記録再生装置１３には、利用者の嗜好の変化に応じ、嗜好リストを随時、変更できるように学習機能が備えられる。例えば、番組情報入力部３４から嗜好抽出部３７に供給される番組情報に同じキーワードが頻繁に含まれる場合は、嗜好リストにおける当該キーワードを興味有の方に移動することで変更することができる。すなわち番組視聴頻度によって嗜好リストを変更することができる。

また、撮像装置１２により撮影される画像より認識される利用者の視聴行動を利用して嗜好リストを変更することもできる。利用者の視聴行動を利用して嗜好リストを変更する方法の一例について説明する。

図８Ａは、ある番組（ここでは「ビジネスニュース」とする）の操作者Ａおよび視聴者Ｂの視聴行動およびその視聴行動の時間をまとめた表である。撮影画像から、操作者Ａは、ビジネスニュースを４２分見ており、３分間画面に向いておらず（その場にいるが見てない）、５分間はその場にいないと判別されたことが示されている。一方、視聴者Ｂは、ビジネスニュースを１０分間見ており、２０分間は画面に向いておらず、２０分間はその場にいないと判別されたことが示されている。画面を見ている、見ていないの判別は、視線検出や画像の色情報を利用することで行うことができる。

視聴行動をまとめた表に対して、ポイント変換を行う。ポイント変換は、各視聴行動の時間に対し、所定の係数を乗じることで行われる。例えば、視聴行動が見ているときは興味があると判別し、係数を５に設定する。また、その場にいるが、画面を見ていないときは興味がないと判別し、係数を０に設定する。さらに、その場にいないときはほとんど興味がないと判別し、係数を−２に設定する。

図８Ｂは、所定の係数を乗じてポイント変換を行い、総計を計算したものである。操作者Ａのポイントは２１５となり、視聴者Ｂのポイントは１０となる。例えば、あるしきい値を設定し、ポイントの総計がしきい値より大きければ、興味があると判別し、嗜好リストにおけるキーワードの変更を行う。しきい値を例えば１５０とすると、嗜好リスト中の「ビジネス」というキーワードが操作者Ａの場合は、上位に、視聴者Ｂの場合は、下位に変更される。

また、顔検出判別部４３から顔検出に関する合致指数が供給された場合は、合致指数に関する情報を嗜好リストの変更に反映させることもできる。すなわち、操作者Ａの顔判別の合致指数が９０％と６０％では判別された顔が本当にＡか否かに違いがある。そのため、例えば合致指数が６０％と判別された場合は、合致指数が９０％と判別された場合よりも嗜好リストにおけるキーワードの変更の度合いを小さくするようにしてもよい。

さらに、顔検出判別部でリモートコントローラ１４の位置が検出された場合は、リモートコントローラ１４の位置から最も近くの人物をリモートコントローラ１４の操作者と判別し、その要素を嗜好リストの変更に反映することもできる。すなわち、リモートコントローラ１４を持ちながら見ているという視聴行動は、番組に対してより興味があるものとし、単に見ている視聴行動より大きい係数を割り当てることでより詳細な嗜好の抽出を行うことができる。

図９は、記録再生装置１３の処理の一例を示すフローチャートである。なお、以下の説明では、すでに記録再生装置１３の初期設定はされているものとして説明する。

ステップＳ１では撮像装置１２により撮影された画像から利用者の顔が検出されたか否かが判別される。撮影される画像の領域に利用者の顔が存在しない場合や、撮像環境が著しくよくない場合など利用者の顔が検出できない場合は、動作はステップＳ７に進む。

ステップＳ７では、利用者を認識できないため、一般の嗜好として、言い換えれば特定の利用者に限られない嗜好として抽出され記録される。一般の嗜好の区分を設けることで、利用者が認識されない場合でも、登録された利用者の嗜好に対応した番組を記録しておくことができる。ステップＳ７の後に、動作はステップＳ８に進む。

ステップＳ１で利用者の顔が検出された場合は、動作はステップＳ２に進む。ステップＳ２では、顔判別が可能であるか否かが判別される。例えば、検出された利用者と事前に登録された顔データとの照合が行われ、利用者の認識が行われる。顔判別ができない、すなわち利用者を認識できない場合は、動作はステップＳ７に進み、一般の嗜好として、嗜好が抽出され、記録される。

顔判別が可能な場合は、動作はステップＳ３へ進む。ステップＳ３では、判別された利用者が複数であるか否かが判別される。利用者が複数でない場合は動作はステップＳ５に進み、操作者の嗜好が抽出される。

ステップＳ３で判別された利用者が複数いる場合は、処理はステップＳ４に進み、操作者が判別可能か否かが判別される。操作者が判別できない場合は、動作はステップＳ６に進み、複数の利用者の嗜好が抽出され、記録される。また、操作者が判別できた場合は、ステップＳ５およびステップＳ６により操作者の嗜好および視聴者の嗜好が抽出され、記録される。なお、操作者は視聴者および一般の場合より視聴している番組に興味があるものとして、操作者、視聴者、一般のそれぞれの区分によって例えば重み付けを変えるなどして優先順位を変えて嗜好を記録することができる。

ステップＳ１〜ステップＳ７の処理動作時にも、ステップＳ８ではデータ蓄積部３８に蓄積されている嗜好リストにもとづく番組の自動録画（蓄積受信）が行われている。

続いて処理はステップＳ９へと進む。ステップＳ９では、図６や図７を用いて説明した、おすすめ番組情報リストが呈示される。また、おすすめ番組情報リストのみならずテレビセッティングに関する情報が呈示されてもよい。例えば、操作者がテレビを見ている時間が大抵の場合、深夜であることを記憶することで音量レベルが平均レベルより低く設定してある旨の表示がされる。

続いて処理はステップＳ１０へと進む。ステップＳ１０では終了か、すなわち電源がオフされたかが判別され、オフされた場合は終了する。オフされない場合は、上述した一連の処理を繰り返し、嗜好の抽出、記録が行われる。

この発明は、この発明の要旨を逸脱しない範囲内でさまざまな変形や応用が可能であり、上述した一実施形態に限定されることはない。この発明の一実施形態では、利用者を認識する利用者認識手段として撮像装置を用い、顔画像を判別することで認識したが、その他にも体の特徴、指紋、瞳、脈などの生体情報を利用することもできる。

この発明の一実施形態におけるシステム全体を示す略線図である。この発明の一実施形態における記録再生装置等のブロック図である。この発明の一実施形態における撮影画像である。この発明の一実施形態における嗜好リストである。この発明の一実施形態における撮影画像である。この発明の一実施形態におけるＥＰＧ検索リストおよび予約リストである。この発明の一実施形態におけるおすすめ番組情報リストである。この発明の一実施形態における視聴行動からポイントへの変換を示す略線図である。この発明の一実施形態における記録再生装置の処理を示すフローチャートである。

符号の説明

１１ディスプレー装置
１２撮像装置
１３記録再生装置
１４リモートコントローラ
３１コントローラ
３６記録部
３７嗜好抽出部
３８データ蓄積部
３９ＨＤＤ
４２画像処理部
４３顔検出判別部
６１嗜好リスト
８１、９１おすすめ番組情報リスト

Claims

利用者を認識する利用者認識手段と、
上記利用者認識手段により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶手段と、
上記キーワードの順位を変更する変更手段と、
番組情報および番組を表示する表示手段とを備え、上記嗜好情報に応じて自動録画を行う記録再生装置において、
上記利用者認識手段は、撮像装置により上記表示手段の前方に居る利用者を撮影し、撮影された上記利用者の顔データと、登録された顔データとを照合することで上記利用者の顔を認識し、さらに上記利用者の視線を検出し、
上記変更手段は、上記利用者認識手段により認識された上記利用者の顔および上記利用者の視線に基づいて、上記表示手段によって表示される番組に対する上記利用者の視聴行動を、上記表示手段に向いている場合、上記表示手段に向いていない場合、上記表示手段の前にいない場合のいずれかに分類し、分類された各視聴行動の経過時間にそれぞれ視聴行動ごとに設定された係数を乗じて得られた値の総計と所定のしきい値を比較し、上記総計が上記しきい値よりも大きい場合は上記番組に対応する上記キーワードの順位を上位に変更し、上記総計が上記しきい値より小さい場合は上記番組に対応する上記キーワードの順位を下位に変更し、
上記表示手段は、自動録画された番組および／または放映中の番組から上記利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生装置。
上記利用者認識手段は、利用者を操作者、視聴者、一般に区分して認識する手段であり
、上記記憶手段は、上記区分された区分毎に優先順位を変えて嗜好情報を記憶する手段で
ある請求項１に記載の記録再生装置。
利用者を認識する利用者認識ステップと、
上記利用者認識手段により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶ステップと、
上記キーワードの順位を変更する変更ステップと、
番組情報および番組を表示手段に表示する表示ステップとを備え、上記嗜好情報に応じて自動録画を行う記録再生方法において、
上記利用者認識ステップは、上記利用者を撮影し、撮影された上記利用者の顔データと、登録された顔データとを照合することで上記利用者の顔を認識し、さらに上記利用者の視線を検出し、
上記変更ステップは、上記利用者認識ステップにより認識された上記利用者の顔および上記利用者の視線に基づいて、上記表示ステップによって表示される番組に対する上記利用者の視聴行動を、上記表示手段に向いている場合、上記表示手段に向いていない場合、上記表示手段の前にいない場合のいずれかに分類し、分類された各視聴行動の経過時間にそれぞれ視聴行動ごとに設定された係数を乗じて得られた値の総計と所定のしきい値を比較し、上記総計が上記しきい値よりも大きい場合は上記番組に対応する上記キーワードの順位を上位に変更し、上記総計が上記しきい値より小さい場合は上記番組に対応する上記キーワードの順位を下位に変更し、
上記表示ステップは、自動録画された番組および／または放映中の番組から上記利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生方法。
上記利用者認識ステップは、利用者を操作者、視聴者、一般に区分して認識するステッ
プを含み、上記記憶ステップは、上記区分された区分毎に優先順位を変えて嗜好情報を記
憶するステップを含む請求項３に記載の記録再生方法。
映像を表示する表示装置と、
利用者を認識する利用者認識装置と、
上記利用者認識装置により認識された利用者毎に、嗜好の程度により順位付けされたキーワードを嗜好情報として記憶する記憶手段と、上記キーワードの順位を変更する変更手段と、番組情報を表示する表示手段とを備え、上記嗜好情報に応じて自動録画を行う記録再生装置とからなる記録再生システムにおいて、
上記利用者認識装置は、撮像装置により上記表示装置の前方に居る利用者を撮影し、撮影された上記利用者の顔データと、登録された顔データとを照合することで上記利用者の顔を認識し、さらに上記利用者の視線を検出し、
上記変更手段は、上記利用者認識手段により認識された上記利用者の顔および上記利用者の視線に基づいて、上記表示手段によって表示される番組に対する上記利用者の視聴行動を、上記表示装置に向いている場合、上記表示装置に向いていない場合、上記表示装置の前にいない場合のいずれかに分類し、分類された各視聴行動の経過時間にそれぞれ視聴行動ごとに設定された係数を乗じて得られた値の総計と所定のしきい値を比較し、上記総計が上記しきい値よりも大きい場合は上記番組に対応する上記キーワードの順位を上位に変更し、上記総計が上記しきい値より小さい場合は上記番組に対応する上記キーワードの順位を下位に変更し、
上記表示手段は、自動録画された番組および／または放映中の番組から上記利用者認識手段により認識された利用者の嗜好情報に対応して選択された番組に関する番組情報を表示する記録再生システム。