JP5755483B2

JP5755483B2 - 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法

Info

Publication number: JP5755483B2
Application number: JP2011083986A
Authority: JP
Inventors: 智明吉永; 佑人小松; 克行中村; 光利守永
Original assignee: Hitachi Maxell Energy Ltd
Current assignee: Hitachi Maxell Energy Ltd
Priority date: 2011-04-05
Filing date: 2011-04-05
Publication date: 2015-07-29
Anticipated expiration: 2031-04-05
Also published as: JP2012222464A

Description

本発明は、録画機能を有するテレビなどの映像表示装置や録画装置に関し、特に、ユーザに最適な放送番組を自動的に録画する技術に関する。

近年、テレビなどの映像表示装置は、同一筐体内にハードディスクやブルーレイディスクドライブなどを備えて、録画機能を有するものが一般的に製品化されている。特許文献１には、テレビを扱うユーザのこれまでの操作履歴を過去の視聴状況として記録することで、過去どの番組を頻繁に見ていたかを判断し、その頻度が高い番組を自動録画することにより、ユーザ自身による録画動作の手間削減や、ユーザの録画し忘れによる見逃しを防ぐというアイディアが開示されている。

特許第３６３５００５号公報

しかしながら、上記特許文献１に開示されている方式では、以下の３つの問題点がある。１つ目は、ユーザの操作のみで視聴状況を判定するため、選局して表示しているが実際は見ていないようなユーザにとって重要度の低い番組まで勝手に録画してしまうという問題である。こうして勝手に録画された番組はユーザが自分で削除しなければならず、ユーザに余計な手間を生じさせる。２つ目は、テレビを家族など複数人で共有して使用している場合、操作者とは異なるユーザの視聴状況が反映されないという問題である。視聴状況が反映されなかったユーザに対しては自動録画が行われない。３つ目は、過去の視聴状況のみに鑑みて録画処理を行うため、リアルタイムで視聴しており録画する必要の無い番組まで自動的に録画してしまう点にある。この場合も、ユーザに削除の手間を生じさせる。

本発明の目的は、以上の問題点に鑑み、テレビなどの映像表示装置を用いる１または複数のユーザに対して、各ユーザの過去の視聴状況と現在の視聴状況に鑑みて、録画忘れを発生することなく、かつ不要な番組を録画することなく、正確な自動録画機能を有する装置を提供することである。

上記課題を解決するために本願で開示する構成の代表的なものは、以下の通りである。

本発明の映像表示装置の一例を挙げるならば、映像を録画する機能を有する映像表示装置であって、ユーザ映像を取得するカメラと、前記ユーザ映像を解析して前記映像表示装置に対する複数のユーザの視聴状態を認識する視聴状態認識部と、前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、前記視聴履歴記録部内に記録された各ユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部とを備え、前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とするものである。

また、本発明の録画装置の一例を挙げるならば、映像を録画する録画装置であって、ユーザ映像を取得するカメラと、前記ユーザ映像を解析して映像表示装置に対する複数のユーザの視聴状態を認識する視聴状態認識部と、前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、前記視聴履歴記録部内に記録された各ユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部とを備え、前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とするものである。

また、本発明の自動録画方法の一例を挙げるならば、録画装置の自動録画方法であって、カメラでユーザ映像を取得するステップと、前記ユーザ映像を解析して映像表示装置に対する複数のユーザの視聴状態を認識するステップと、前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録するステップと、前記複数のユーザの視聴状態と番組情報を対応づけて記録した各ユーザの過去の視聴状態から、自動録画候補番組を抽出するステップと、抽出された前記自動録画候補番組と現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行うステップとを備え、前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とするものである。

本発明によれば、各ユーザの過去の番組視聴履歴と、現在の各ユーザの番組視聴状況に応じて、自動で最適な番組録画を行うことが可能となる。例えば、ユーザＡが毎回欠かさずに見ている番組をユーザＢだけがリアルタイムで視聴している場合にも、現在視聴していないユーザＡのために自動的に録画することが可能となる。

本発明の実施例１の映像表示装置の概要を示す図である。本発明の実施例１の効果を示す図である。本発明の実施例１の映像表示装置の構成を示す図である。図３の視聴状態認識部620の構成を示す図である。視聴ユーザ識別部623におけるユーザ識別の方法を示す図である。視聴状態判定部626における視聴ユーザの最終判定フローを示す図である。視聴状態判定部626が出力する視聴状態テーブルの例を示す図である。図３の番組情報管理部630の構成を示す図である。視聴履歴記録部631が保存する視聴履歴テーブルの例を示す図である。録画番組抽出部632における自動録画番組候補の抽出フローを示す図である。録画予約リスト管理部634の有する録画予約番組リストの一例を示す図である。録画制御判定部640における処理フローの一例を示す図である。図１２のステップ1206にてパネル200に表示する録画確認画面の一例を示す図である。本発明の実施例２の操作ユーザ判別のフローを示す図である。本発明の実施例３の録画番組一覧表示時のパネル200の表示例を示す図である。本発明の実施例３の顔特徴量更新フローを示す図である。本発明の実施例４の番組消去リスト画面の一例を示す図である。本発明の実施例５の自動録画機能を有する録画装置の構成を示す図である。

以下、本発明の実施の形態を、図面を参照しつつ詳細に説明する。

図１は、本発明の概要を示す図である。本発明は、テレビなどの映像表示装置に対する複数のユーザの過去の視聴状態と現在の視聴状態を基に自動的に録画制御方法を切り替えることで、正確な自動録画機能を提供することが可能な装置に関する。

映像表示装置（ＴＶ）100は映像を表示するパネル200と音声を出力するスピーカ300を備え、アンテナ800から得られる放送波やインターネット900から得られる配信映像、HDD（Hard Disk Drive）やSSD（Solid State Disk）、BDD（Blue-ray Disk Drive）から成る記録装置700内の映像を再生する。また、記録装置700に放送波の映像を記録する。ユーザはリモコン400を使ってＴＶ100を操作し、電源のオンオフや音量ボリュームの調整、チャンネルの切替などの操作を行う。リモコン400からの赤外線信号はリモコン信号入力部500で受信され、これらのユーザ操作が実行される。ユーザ操作のオプション的な機器としてWi-Ｆi等の無線LAN機能を備えた携帯電話1100やタブレット型のＰＣ1200を使うこともある。これらの機器での操作命令は無線LANインタフェース1000を通じてTV100に入力される。

カメラ600とセンサ610はユーザの映像表示装置100に対する視聴状態を計測する手段である。これらは視聴状態を判定するアルゴリズムにより個数が変わる。それぞれ1つずつでも良いし、複数あってもよい。また、センサ610はなくてもよい。例えばカメラを２つ並べることにより広い視野のユーザ映像を取得すると共に、ユーザとTVとの距離を三角測量に基づくステレオカメラの原理から測定することができる。こうして得られたユーザ映像を映像表示装置100内部で認識処理することで、映像表示装置に対する視聴状態を判別することが可能となり、後述する好適な自動録画制御が可能となる。

図２は、本発明の効果の一例を示す図である。映像表示装置100に内蔵されたカメラ600で撮影されたユーザの視聴映像を解析することで、どのユーザがどの番組をどれだけ視聴していたかという視聴状況を判別する。そして、過去の視聴状況の履歴から、録画すべき番組を抽出し、現在の視聴状況と照合することで最適な自動番組録画を行う。すなわち、図２（ａ）に示す通り、番組１を毎週見ているユーザＢが番組1の放送時間中に映像表示装置100周辺に不在で番組１を視聴していない場合、映像表示装置100は自動的に番組１を録画する。一方、図２（ｂ）に示す通り、番組２を毎週見るユーザＡがリアルタイムに番組２を見ており、現在不在であるユーザＢが番組２を普段は視聴していない場合には、録画を行わない。このように本発明では、ユーザの過去の視聴状態と現在の視聴状態を用いて、見逃しそうな番組だけを正確に自動録画することが可能となる。

図３は、本発明の実施例１の構成を示すブロック図である。本発明の映像表示装置100は、ＴＶの基本機能部分に加え、ユーザの視聴状態を計測して録画を制御する手段を有することで構成される。

ＴＶの基本機能部分は、映像音声出力制御部110、全体制御部120、番組情報取得部130、パネル200、パネル制御部210、スピーカ300、リモコン信号入力部500、記録装置700により実現される。映像音声出力制御部110は、ユーザが選択した映像ソースの映像ストリームを制御する部分であり、復号化された映像ストリームを非圧縮の映像信号／音声信号に変換して、パネル200、パネル制御部210、スピーカ300を通して出力する。また、記録装置700に映像を記録させることや、全体制御部の命令を基に番組表や録画番組一覧などのメニュー画面をパネル200から出力させる。全体制御部120は、リモコン信号入力部500を経由して入力されるユーザ操作指示に基づき、電源のオンオフ、放送波やインターネット配信映像または記録装置700上の録画映像など様々な映像ソースの選択切り替え、録画番組の再生・巻き戻しなどの制御、スピーカ300から出力される音声ボリュームの調整等、映像表示装置100全体の制御を司る部分である。番組情報取得部（ＥＰＧ）130は、放送波やインターネットを通じて番組表および各番組情報を取得する部分である。得られた番組情報は番組情報管理部630で管理される他、記録装置700に録画番組と紐付けて記録される。

ユーザの視聴状態を計測して、録画を制御するための手段は、カメラ600、センサ610、視聴状態認識部620、番組情報管理部630、録画制御判定部640によって構成される。カメラ600によりユーザの映像を撮影し、センサ610から得られたセンサ情報と撮影映像から視聴状態認識部620で認識処理を行うことで映像表示装置100に対して、どのユーザが、どれくらい見ていたかという視聴状態を認識する。番組情報管理部630では、番組情報取得部130から得られる番組情報や、記録装置700中に保存された録画済み番組の情報など現在過去の番組情報を管理する。視聴状態認識部620から入力されるユーザの視聴状態をこれらの番組情報と紐付けて管理することで、どのユーザがどの番組を好んで視聴してきたかを管理できる。また蓄積した過去の視聴状態から予約番組リストに自動録画番組を追加する機能も有し、予約番組リスト中の番組が放送される時間が来た際に録画制御判定部640に制御信号を送る。録画制御判定部640では、視聴状態認識部620から得られる現在の視聴状態に応じて、その番組を実際に録画するかどうかの最終判定を行い、全体制御部120に録画制御信号を送る。

以上の構成により、過去の視聴履歴と現在の視聴状態に鑑みた最適な番組録画機能を提供することが可能となる。

図４は、視聴状態認識部620の構成を示すブロック図である。視聴状態認識部620は、人有無判定部621、顔検出部622、視聴ユーザ識別部623、ユーザ情報管理部624、ＴＶ注視有無判定部625、視聴状態判定部626から構成される。人有無判定部621はオプションで無くても良い。視聴状態認識部620は、カメラ600からの映像信号と、センサ610を搭載している際は赤外線信号などのセンサ信号を入力とし、番組情報管理部630に対して、映像表示装置100に対する視聴状態の情報を出力する。

人有無判定部621では、入力された赤外線などのセンサ信号から、TV周辺の人の有無を判定する。具体的には、入力された信号に一定時間以上変化があるかないかを判定し、変化のないときには人がいないと判定する。人がいないと判断されたときには顔検出部622に処理停止の信号を送り、顔検出や映像信号の入力自体を停止する。これにより、処理電力を低減することができる。顔検出部622はカメラ600から入力された映像信号からユーザの顔領域を検出し、検出した顔情報を視聴ユーザ識別部623に送信する。視聴ユーザ識別部623では、顔検出部622で検出した全ての顔に対してユーザ識別処理を行う。ユーザ識別処理により、映像中の１または複数の視聴ユーザがユーザ情報管理部624にあらかじめ記録されたユーザの誰であるかを識別する。こうして、映像信号中の全ての人物の顔画像と、その顔のユーザ識別結果がTV注視有無判別部625に出力される。なお、ユーザ識別を行った結果、不明と判断された場合にも、その情報を出力する。TV注視有無判定部625では、カメラに映る全人物それぞれに対してTVを注視しているかどうかを判定する。これは、単純に顔の有無で判断してもよいし、顔方向や視線方向を顔画像から推定し、映像表示装置100の方向を向いているかどうかを判定することで決定しても良い。以上の処理により得られた、カメラ映像中の全ての顔に対するユーザ識別結果と注視判定結果を視聴状態判定部626に出力する。視聴状態判定部626では、得られたユーザ識別結果と注視判定結果を過去数フレーム分の判定結果と照合することで現在の正しい視聴状態を確定し、これを出力する。

以上により、カメラ映像中に存在する全てのユーザに対して、そのユーザが誰で、TVを見ているか見ていないかという視聴状態を判定できる。

図５は、視聴ユーザ識別部623におけるユーザ識別の方法を示す図である。図５（a）は、ユーザ識別に用いる顔特徴量抽出方法の例である。入力された顔画像から、互いに重複を許して形状の異なる複数の領域A〜Dを切り出し、各領域の画像に対して特徴抽出部A〜Dで画像処理を行うことで特徴量を抽出し、それぞれから得られた特徴量を１つの特徴量とする。各特徴抽出部A〜Dでは、異なる画像処理を行っても、同様の画像処理を行っても良く、例えば、PCA（主成分分析）や、ICA（独立成分分析）、Haar-like、HOG（Histogram of Oriented Gradients）などの画像特徴量を各々の領域から抽出する。なお、ここでは、４つの領域を例として図示しているが、領域が複数あれば幾つでも良い。

このように複数の領域から特徴量を抽出することで、表情や顔方向などの変動に対して強い特徴量を得ることができる。また、それぞれの領域で重なりを許容することで、個人の識別に有効な特徴量を多く抽出することができる。例えば領域Bと領域Cはどちらも右目を含むが、切り出し領域が異なるため、領域Bからは左目に対する右目の変化を特徴として得られ、領域Cからは目尻や頬部分に対する右目の変化を特徴として得られる。これにより、右目の形状が類似する別人がいても、複数パーツ間のばらつきという別特徴によって分類することが可能となる。

図５（ｂ）は、画像特徴量を用いてユーザを識別する様子を示すものである。得られた特徴量をユーザ情報管理部624にあらかじめ保存されたユーザ毎の特徴量と比較することでユーザを識別する。なお、ユーザ毎の特徴量は映像表示装置100の初期設定時などに、ユーザの画像を撮影してユーザ名を入力して登録しておいても良いし、視聴している際の顔を蓄積して自動的に分類しても良い。顔特徴量としてN次元の特徴量Ｆを有する場合、以下の（数１）により、ユーザ情報管理部624に登録している各ユーザｊの特徴量Ｆ^jと現在の視聴者の顔特徴量Ｆⁱⁿとの距離ｄ_ｊを算出し、ｄ_ｊが最も小さくなるユーザを現在視聴しているユーザであると識別する。ただし、ｄ_ｊが一定の閾値よりも大きい場合は、登録しているどのユーザでも無い可能性が高いため、不明と判断する。

ここで、ｉ∈Ｎ、Ｆⁱⁿはカメラに映る人物の顔の特徴量、Ｆ^jはユーザ情報管理部624に保存されているユーザjの特徴量である。なお、この距離演算は、マハラノビス距離やサポートベクターマシンなど別の手法を用いても良い。

図６は、視聴状態判定部626における視聴ユーザの最終判定フローを示す図である。視聴状態判定部626では、視聴ユーザ識別部623とＴＶ注視有無判定部625で得られたユーザ識別結果と注視状態の結果を過去の視聴状態と照合することで、最終的な視聴状態を決定する。まずステップ61にて注視状態かどうかの確認を行い、注視状態であれば、ステップ62に、非注視状態であればステップ65へと進む。ステップ62では、現在の顔と同一人物であろう過去の識別結果があるかを判定する。同一人物の判定は、現フレームの顔検出位置と前フレームの顔検出位置を照合することで得られる。またテンプレートマッチングなどを行っても良い。前フレームに同一人物の識別結果があればステップ63へ、なければステップ64へと進む。ステップ63では、入力として与えられた現フレームのユーザ識別結果と、それ以前の数フレームの識別結果を照合することで最終的な視聴者識別結果を得る。顔識別は照明や表情、向きなどによって判定結果が異なることがある。このため、例えば、現フレームの識別結果がユーザＡであっても、過去９フレームの識別結果がユーザＢであった場合などは、最終的な視聴者識別結果はユーザＢと判定する。一方、ステップ64では、過去の識別結果が無いので現フレームの識別結果を最終的な視聴者識別結果として処理を終了する。一方、注視状態が無い顔に対するステップ65でも同様に、現在の顔に対して過去フレームで識別結果があったかを判定し、あればステップ66、なければステップ67へと進む。ステップ66では過去の視聴者識別を最終的な視聴者識別結果として利用する。これは現在の顔が注視状態にない、つまりは顔が映像表示装置の方向を向いていない視聴者識別の確信度が低い状態にあるためである。一方、ステップ67では、現在の識別結果の確信度が低く、かつ過去の識別結果も無いため、不明者であると判断する。なお不明者と判断されても、次フレーム以降で正しく識別されれば、遡ってユーザ識別結果を更新することが可能である。

以上の処理により複数フレームの識別結果を用いて最終的な視聴ユーザ識別結果を算出することで、より高精度な視聴ユーザの識別が可能となる。更には、不明者として視聴者を管理することで、識別困難だった際の注視／非注視時間も計上することが可能となり、正確な視聴履歴を作成できる。

図７は、視聴状態判定部626が出力する視聴状態テーブルの例を示す図である。図７（a）に示す視聴状態テーブルは、ユーザ情報管理部624に登録されている全てのユーザと複数の不明者の欄を有しており、ユーザ毎に管理番号、在／不在、注視有無、注視時間、位置の項目を有する。管理番号は検出した顔や人を追跡するために用いる内部処理用の番号である。ユーザ識別結果が時間により変化した場合にも管理番号で統一的に管理できる。在／不在は、顔検出部622で得られた顔情報を元に顔があれば在と判定する。また、一度顔を検出すれば、次フレーム以降で顔を検出できなくても体をトラッキングすることで在／不在を判定することが可能となる。注視有無は現在ユーザが注視しているかどうかを表す。注視時間は過去の注視結果を蓄積したものであり、以前の非注視からどれだけ連続して注視しているかをカウントする。位置は、顔または人の位置を表す。これは画像上での位置でも良いし、世界座標系での位置でも良い。図７（b）は、図７（a）のテーブルを出力した際のカメラ600から得られる画像の例である。

この視聴状態は、数フレームに一度の間隔で出力しても良いし、変化が生じた際にだけ出力しても良い。これにより、映像表示装置100に対して、現在どのユーザがどこにいて、各ユーザが注視しているかどうかを把握することが可能となる。

図８は、番組情報管理部630の構成を示すブロック図である。視聴状態認識部620で得られた現在の視聴ユーザの視聴状態は、番組情報取得部130からの番組情報と関連付けて、視聴履歴記録部631に、番組毎の視聴履歴またはユーザ毎の視聴履歴として保存される。録画番組抽出部632では、視聴履歴記録部631に保存されている視聴履歴と、番組情報記憶部633に保存されている放送予定番組情報を照らし合わせて自動録画候補番組を抽出し、この情報を録画予約リスト管理部634に保存する。ここで、自動録画候補番組とは、一人以上の特定ユーザが過去頻繁に視聴している定番番組でも良いし、この過去頻繁に視聴している番組と関連が近い機器推薦番組でも良い。録画予約リスト管理部634には、録画番組抽出部632によって指定された自動録画候補番組と、ユーザ自身の録画予約指示によって設定されたユーザ録画番組とが、まとめて管理される。録画済み番組リスト管理部635には、記録装置700に録画されている全番組のリストが管理されている。視聴状態の情報を入力として受付け、録画済み番組に対して誰がどれだけ見たかが記録される。録画命令通知部636では、録画予約リスト管理部634に保存されている録画予約番組が始まる時間になったら録画命令を通知する。以上の構成にすることで、放送・録画済み番組全てに対する視聴状態の履歴を管理でき、かつその過去の視聴履歴を基に、ユーザが録画予約を行っていなくてもユーザが好んで視聴している番組を自動録画候補番組として自動的に抽出することが可能となる。

図９に視聴履歴記録部631が保存する視聴履歴テーブルの例を示す。図９（a）は、番組別の視聴履歴テーブルの例であり、図９（b）は、ユーザ毎の視聴履歴テーブルの例である。視聴履歴記録部631では、いずれかまたは両方の方法を取って過去の視聴状態の履歴を管理する。

図９（a）の番組毎の視聴履歴テーブルでは、ユーザが映像表示装置100を操作して選択した番組毎に、視聴日時、選択時間、再生形態、視聴者、視聴時間、在時間、集中度を管理する。番組名は番組情報取得部130から得ることができ、視聴日時と選択時間は全体制御部120にてリモコン信号による放送チャンネルの切り替え時の時間を管理することで得ることができる。なお、録画番組を視聴した際には、再生と停止の時間で判定できる。本表で、視聴日時と選択時間が異なるのは途中で番組を切り替えたことを想定しているからであり、このような場合には、番組放送中で最後に番組を切り替えた時間までを視聴日時とする。再生形態は、視聴した番組が放送中の番組か、記録装置700に保存した録画済み番組であるかを示す。視聴状態認識部620で得られた視聴状態をカウントしていくことで、あらかじめ登録したユーザ毎に注視時間と在時間を記録する。集中度は、注視時間÷選択時間で求められる数値である。番組を選択していた時間に、どれだけ番組を集中して視聴していたかを表す数値となる。また、集中度を注視時間÷在時間などで算出しても良い。本テーブルを用いて視聴履歴を管理することで、番組毎に誰がどれくらい視聴していたかを管理することが可能となる。

ユーザ毎の視聴履歴テーブルでは、登録されたユーザ毎に各時間の視聴状況を記録する。図９（b）は、15分ごとの視聴の様子を示している。四角の濃淡が、各時間内での集中度を示しており、四角が無い時間はユーザが不在であることを表わしている。ユーザ毎の視聴履歴テーブルを用いて管理することで、各ユーザが、どの番組をどのように視聴しているかを容易に管理できる。なお、図において、選択番組は、視聴している番組を表すもので、数字は例えばチャンネル番号を表している。

図１０は、録画番組抽出部632における自動録画番組候補の抽出フローを示す。ステップ1001では、あるタイミングで自動録画番組候補の抽出を開始する。これは全体制御部120が特定時間に開始命令を出すことで開始される。例えば、毎週1回決められた時間に実行されても良いし、番組情報記憶部633内の放送予定番組リストが更新されたタイミングで実行されても良い。ステップ1002で、視聴履歴記録部631に存在する番組から判定対象の番組ｃを一つ選ぶ。ステップ1003では、録画予約リスト管理部634を参照して、番組ｃが既に録画設定がされていないかどうかを判定する。録画設定済みであれば新たに録画設定する必要はないのでステップ1009に移行し、録画設定されてなければステップ1004へと移行する。ステップ1004では、番組ｃの過去N週の視聴回数を確認し、ある閾値T1より少なければ、過去の視聴回数が少ないので録画不要と判断しステップ1009に進み、T1以上であればステップ1006へと進む。ステップ1005では、番組ｃの過去視聴ユーザuに関して処理を行う。ステップ1006ではユーザuの過去視聴時の集中度が閾値T2以上かどうかを判定し、閾値以上であればステップ1007にて録画予約リスト管理部634の録画リストに「番組ｃをユーザu向けに録画する」ことを追加登録した後、ステップ1008へ、閾値以下であれば登録せずにステップ1008へ移行する。ステップ1008では判定対象ユーザuを次のユーザに変更し、ステップ1005に戻る。こうして、全てのユーザに対してステップ1006から1007の処理が行われたらステップ1009に移行する。ステップ1009では、番組ｃを視聴履歴記録部内の次の番組に変更し、ステップ1002に戻る。全ての番組に対して処理を行っていればステップ1010に移行し、録画番組抽出処理を終了する。以上の処理フローを取ることで、TVを共有して使用するユーザ毎に、本当に見たい番組だけを高精度に抽出することができる。

図１１は、録画予約リスト管理部634の有する録画予約番組リストの一例である。例では番組毎に表にしているが、ユーザ毎や、予約方法毎にそれぞれリストを作成して管理しても良い。番組毎に放送日時、チャンネル、予約方法、視聴ユーザ、視聴ユーザ毎の視聴回数、放送回数、平均集中度を管理する。放送日時、チャンネル、放送回数は、番組情報記憶部633に保存されている番組表情報から得られる。予約方法は、どのように予約設定が行われたかを示す情報であり、ユーザが自ら設定した予約、ユーザによる毎週予約、自動予約などの分類となる。なお、ユーザによる予約を行った際に視聴状態認識部620にてユーザが識別できた際には、その識別結果を予約方法に記録しておく。これにより、誰が番組録画を行ったかを自動的に管理できる。視聴履歴記録部631に保存されている視聴ユーザ毎の視聴回数、平均集中度などの情報もリストに保存する。これにより、録画制御判定部640において録画を行うかの最終判定を行える。

以上のリストを管理することで、ユーザ指定番組も機器による自動録画候補番組も一元的に管理できるとともに、過去の視聴状況なども交えて管理できる。

図１２は、録画制御判定部640における処理フローの一例である。ステップ1201にて番組情報管理部630からの録画通知が来たら、録画判定のフローを開始する。まずステップ1202にて、記録装置700の空き容量を閾値と比較する。この閾値は、録画番組の推定容量でも良いし、固定値でも良い。自動録画番組用に固定の録画容量などを確保しておく場合には、この固定値と比較することになる。閾値未満であれば非録画としてステップ1209へ移行して処理を終了し、閾値以上であればステップ1203へと移行する。ステップ1203では、番組を予約した方法を確認する。例えばユーザ指定による録画であればステップ1208に移行して瞬時に録画を開始し、自動録画であればステップ1204へ移行して更なる判定を行う。ステップ1203はオプションであり、判定を行わなくても構わない。次にステップ1204にて、録画前提モードかどうかを確認する。このモードは事前にユーザの初期設定で変更可能とする。録画前提モードであれば、ユーザの在・不在にかかわらずステップ1208に移行して録画を開始し、非録画前提モードであればステップ1205へと移行する。なお、TVの電源が切れている場合や、録画番組とは違うチャンネルを選択しているときは録画前提モードと判断し、ステップ1208へと移行する。録画前提モードでは、確認せずに録画を行うが、この録画番組の終了時など一定のタイミングで録画を行った旨の確認画面を表示し、その画面上で消去することを可能にしても良い。ステップ1205では、録画指定された番組の視聴ユーザが現在TV前にいるかどうかを視聴状態認識部620から得られる結果を基に判定する。不在者が誰もいなければ、普段その番組を視聴しているユーザがTVを見ていると判断してステップ1209に移行して録画せず、不在者がいればステップ1206へ移行する。ステップ1206では、録画確認画面を表示し、録画する旨をユーザに伝える。ステップ1207にて、リモコン信号入力部500から全体制御部130を通じて、録画NGの信号が伝送されてこなければ、ステップ1208に移行して録画開始と判断する。録画開始と判断されたら、全体制御部120に録画待機の信号を伝送し、番組開始時刻になったら記録装置700に録画の制御を行う。

図１３は、図１２のステップ1206にてパネル200に表示する録画確認画面の一例を示す図である。図１３（a）は、ユーザＢが不在なために番組録画を開始する画面例である。現在の視聴を妨げないように画面内に小画面を表示して録画する旨を伝え、現在視聴しているユーザに最終確認を求める。ユーザが「録画しない」を選択すれば、小画面を消し、録画NGとして録画は行われない。「録画」を選択するか一定時間放置すれば、自動的に録画と判定する。

一方、図１３（b）は、ユーザＡが映像表示装置前にいる際に、ユーザＡのための自動録画番組がある際の画面例である。このとき、例のような小画面を表示してやることで、ユーザＡが違うチャンネルを見ている場合などに、いつも見ている番組を気付かせることができる。「見る」を選択した場合は提案された番組に切換え、「録画」を選択した場合は現在表示している番組を視聴したまま提案された番組を録画でき、「見る＋録画」を選択した場合は提案された番組を念のため録画しながら見ることができる。

本発明の第２の実施例は、視聴状態情報を用いてリモコンの操作者の識別ログを収集するものである。
図１４に、操作ユーザ判別のフローを示す。このフローは図３の全体制御部120内にて行われ、ステップ1401でリモコン信号入力部500から番組録画信号を受け取った際にフローが開始される。ステップ1402では、視聴状態認識部620から現在の視聴状態情報を獲得する。ステップ1403では、視聴状態情報中に注視中のユーザがいるかどうかを判別する。これにより、注視中のユーザがいなければ操作者不明と判断してステップ1405に移行し、注視中のユーザがいればステップ1404へと移行する。ステップ1404では、１または複数の注視中ユーザから誰がリモコン操作者であるかを判別する。これは、センサや画像処理によりリモコンの入力位置を判別して、その位置と最も近い位置にある顔のユーザを選択してもよいし、単純に最もTVに近い位置にある顔としても良い。また、携帯電話1100やPC1200などでTVを操作しているときは、その機器情報やログインIDをTVに登録しているユーザ情報とあらかじめリンクして登録しておくことで判別しても良い。ステップ1405では、録画時の確認画面上にステップ1403、1404で判定したユーザ情報を表示する。これを見たユーザは識別結果が異なっているなど不明な場合は、正しい情報をプルダウンなどから選択して変更することができる。最後にステップ1406で、ステップ1405において確定したユーザ情報を操作ユーザと確定し記録する旨を番組情報管理部630に通知する
以上の処理フローを取ることで、番組録画操作を行ったユーザが誰であるかを正確に識別することが可能となり、誰が録画したのかを管理することができる。また、録画操作時の例を示したが、放送中の番組操作やインターネット上の映像コンテンツの再生や購入などに関しても同様な処理フローで操作者を識別できる。

本発明の第３の実施例は、視聴状態情報を用いて録画済み番組の処理の案内を行うものである。
図１５に、録画番組一覧表示時のパネル200の表示例を示す。第１、２の実施例の構成を取ることにより、記録装置700に保存されている全ての番組コンテンツに対して、誰が録画して誰がどれくらい視聴したかの情報を保持したリストが番組情報管理部630に保存されている。このため、ユーザは過去に録画番組を見るために録画番組一覧表示の指示をリモコン400から出した場合、全体制御部120から番組情報管理部630を通じて現在視聴しているユーザが録画した番組だけを表示するように指示することが可能である。図１５（ａ）がその一例であり、これによりユーザは自分が録画した番組だけから番組選択を行うことができる。また、録画した番組だけでなく毎回視聴した番組全てを表示しても良い。これにより、他のユーザＢが録画した番組でもユーザＡも毎回視聴しているのであれば、これを選択できる。以上の操作により、現在の視聴ユーザは、自分に関連する録画番組だけを見て操作を行うことができるため、特に複数ユーザで機器を共有し、大量のコンテンツが録画されている場合などにも操作性を損なわない。

また、リスト表示だけでなく録画番組操作においても操作性向上することが可能である。

図１５（ｂ）は、途中まで視聴した録画番組を再生するときの画面の一例である。ユーザ毎の注視情報リストを図９に示したように管理しているため、異なるユーザＡとＢがそれぞれ別のところまで録画番組を再生した場合にも、それらを別々に管理し、かつ自動的に現在TVを見ているユーザのために選択して表示できる。

図１５（ｃ）は、毎週録画している番組コンテンツを再生する場合の一例である。こうしたコンテンツは、数週間分の話が蓄積されていることがありうる。そのような場合には選択番組の話が視聴済みか確認し、未視聴な話があれば、こちらを優先するかどうかを確認する画面を表示することで、見忘れや２重再生を防止できる。

図１６は、図１５（ｂ）（ｃ）の確認画面を用いた顔特徴量更新フローを示す図である。一般的に人間の顔は時間の経過とともに変化が生じるため、顔の特徴量を登録してから数か月が経過するとユーザ識別の精度が劣化するという問題がある。本処理フローは、図１５における再生確認などの情報を利用し、経年変化による精度の劣化を抑制するものである。確認画面においてユーザ確認が行われ、全体制御部120に確認結果が送信されると、ユーザ情報管理部624がそれを受け取り、以下の処理を行う。このユーザ確認情報を受け取るのがステップ1601である。ユーザ確認情報には、ユーザ識別結果が正しかったのか誰と間違えたのかという情報が含まれることになる。次にステップ1602にて、受け取ったユーザ確認情報が正解だったのか不正解だったのかを判定する。不正解だった場合（例えばユーザＡに対して判別結果をユーザＢと表示してしまったような場合）には、ステップ1605に移行し、現在の画像から得られる顔特徴量をユーザＡ情報として追加登録する。一方、正解している場合（ユーザＡに対してユーザＡと表示した場合）、特徴量更新は必須ではないのでステップ1603に移行し、他の更新判定を受ける。ステップ1603では、以前の特徴量更新からの経過日数を確認し、これが閾値以上であればステップ1605に移行し特徴量を更新する。なお閾値は３ヶ月程度にすることが好ましい。閾値以下であれば、更新の必要性は低いためステップ1604に移行し、特徴量を更新せず処理を終了する。

以上の処理フローを取ることで、ユーザの普段のTV操作の結果を用いて自動的にユーザ識別に用いる画像特徴量を更新することが可能となる。これにより、最初の顔画像登録から日にちが経過しても正確なユーザ識別機能を提供できる。また、顔画像の更新を、ユーザに別途操作を要求せずに自動かつ正確に行うことが可能となる。

本発明の第４の実施例は、録画済み番組について消去リストを表示するものである。
図１７に、番組消去リスト画面の一例を示す。本リストの作成・表示の流れは、図３により説明できる。図３において、リモコン信号入力部500からの番組消去リスト表示の指示を受けて、全体制御部130は番組情報管理部630に消去リスト表示の命令を送る。番組情報管理部630では、録画済み番組に対する各ユーザの視聴履歴を基に消去候補番組リストを作成し、映像音声出力部110に出力する。映像音声出力部110からパネル制御部210を通じてパネル200に消去リストを表示する。

消去候補番組リストの選定は図９に示した視聴履歴リストと録画済み番組リストを用いて行われる。例えば、録画済み番組リストの番組を、全ての過去視聴ユーザが視聴済みであれば消去候補とする。または視聴済みで録画時から時間が経過しても、何度も繰り返し視聴している番組であれば消去候補としない。以上の判定により数多くある録画済み番組から消去候補だけを抽出することができる。

以上の処理により得られた消去候補番組リストを図１７に示すようにパネル200上に表示する。番組毎に、番組名と視聴状況と消去提案理由を提示している。視聴状況には、登録済みの全ユーザの番組に対する視聴状況を表示する。視聴済みかどうかの判定は、一定時間以上注視していたか、または在状態だったかを確認することで得られる。視聴状況を表示することで操作ユーザは別のユーザの視聴状況を確認した上で、消去するかどうかの判断ができる。

以上の流れにより、記録装置700に録画された多くの番組の中から、視聴済みの番組だけを抽出した消去候補リストをユーザに提示でき、録画番組消去時のユーザの負担を軽減できる。この際、ユーザ毎に視聴済みかどうかが分かるため消去動作を行っているユーザとは、別のユーザの視聴状況の確認を補助することができる。

本発明の第５の実施例は、自動録画機能を有する録画装置に関するものである。
図１８に、ユーザの視聴状況を把握して自動録画機能を有する映像記録装置1800の一例を示す。図３の実施例１からパネル制御部、パネル、スピーカを除いた構造となっており、映像音声出力制御部110はHDMIケーブルやD端子、RGBケーブルなどを通じて映像と音声を、TVやPCモニタなどの映像表示装置へと出力する。カメラ600やセンサ610は、ＵＳＢケーブルなどで映像記録装置本体1800より離して、例えば映像表示装置の近くに配置されている。また、全体制御部120に映像表示装置100の操作ログ情報の入力Ｉ／Ｆを有しており、現在、映像表示装置で選択している番組の情報などを入力として受け取る。これにより記録装置でも映像表示装置の視聴状況を収集でき、自動録画機能を提供できる。

100…映像表示装置、200…パネル、300…スピーカ、400…リモコン、500…リモコン信号入力部、600…カメラ、610…センサ、700…記録装置、800…アンテナ、900…インターネット、1000…無線インタフェース、1100…携帯電話、PC…1200、
110…映像音声出力制御部、120…全体制御部、130…番組情報取得部、620…視聴状態認識部、630…番組情報管理部、640…録画制御判定部、
621…人有無判定部、622…顔検出部、623…視聴ユーザ識別部、624…ユーザ情報管理部、625…TV視聴有無判定部、626…視聴状態判定部、
631…視聴履歴記録部、632…録画番組抽出部、633…番組情報記憶部、634…録画予約リスト管理部、635…録画済み番組リスト管理部、636…録画命令通知部、
1800…映像記録装置。

Claims

映像を録画する機能を有する映像表示装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して前記映像表示装置に対する複数のユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録された各ユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部とを備え、
前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とする自動録画機能を有する映像表示装置。
請求項１に記載の自動録画機能を有する映像表示装置において、
前記録画番組抽出部で抽出する自動録画候補番組は、少なくとも一人以上のユーザが過去一定の集中度以上で視聴していた番組とすることを特徴とする自動録画機能を有する映像表示装置。
請求項２に記載の自動録画機能を有する映像表示装置において、
前記集中度は、前記自動録画候補番組の過去の放送を選局していた時間に対するユーザの注視時間であることを特徴とする自動録画機能を有する映像表示装置。
請求項２に記載の自動録画機能を有する映像表示装置において、
前記集中度は、前記自動録画候補番組の過去の放送の録画分を視聴した割合とすることを特徴とする自動録画機能を有する映像表示装置。
請求項１に記載の自動録画機能を有する映像表示装置において、
前記視聴状態認識部は、前記カメラの撮影画像内に存在するユーザの顔から重複を許して複数の領域を切り出して、それぞれの領域から画像特徴量を抽出し、あらかじめ登録しておいたユーザの顔の画像特徴量と比較することで、視聴しているユーザが誰かを識別することを特徴とする自動録画機能を有する映像表示装置。
請求項１に記載の自動録画機能を有する映像表示装置において、
人を検出するセンサを備え、
前記視聴状態認識部は、人がいないと判断されたときは、視聴状態の認識処理を停止することを特徴とする自動録画機能を有する映像表示装置。
映像を録画する機能を有する映像表示装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して前記映像表示装置に対するユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記ユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録されたユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在のユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部とを備え、
前記録画判定部は、前記自動録画候補番組を過去視聴していた１または複数のユーザが現在視聴しているかどうかを、前記視聴状態認識部の識別結果から確認して、過去視聴していたユーザのうち少なくとも１人以上のユーザが視聴していなければ録画すると判断することを特徴とする自動録画機能を有する映像表示装置。
映像を録画する機能を有する映像表示装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して前記映像表示装置に対するユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記ユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録されたユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在のユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部と、
録画済み番組リスト管理部を備え、
前記録画済み番組リスト管理部は、前記視聴状態認識部によって得られた録画操作時の視聴状態を基に、録画した番組毎に誰が録画したかというユーザ情報を紐付けて管理することで、録画されている番組の中から、現在視聴しているユーザが過去に録画した番組だけを一覧として表示することを特徴とする自動録画機能を有する映像表示装置。
映像を録画する機能を有する映像表示装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して前記映像表示装置に対するユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記ユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録されたユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在のユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部と、
録画済み番組リスト管理部を備え、
前記録画済み番組リスト管理部は、前記視聴状態認識部によって得られた番組の視聴状態を基に、番組毎に誰がどこまで視聴したかという情報を紐付けて管理することで、現在視聴しているユーザが過去に視聴した位置から再生することを特徴とする自動録画機能を有する映像表示装置。
請求項９に記載の自動録画機能を有する映像表示装置において、
前記ユーザが録画済み番組を再生する際に、過去に視聴した位置から再生するか、最初から再生するか、ユーザの識別結果に誤りがないかを確認して選択する画面を表示することを特徴とする自動録画機能を有する映像表示装置。
請求項１０に記載の自動録画機能を有する映像表示装置において、
前記確認画面の結果に基づいて、このとき行ったユーザ識別の結果得られるユーザの顔特徴量を、ユーザの最新の顔特徴として登録することによって、逐次顔特徴量を更新することを特徴とする自動録画機能を有する映像表示装置
映像を録画する機能を有する映像表示装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して前記映像表示装置に対するユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記ユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録されたユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在のユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部と、
録画済み番組リスト管理部を備え、
前記録画済み番組リスト管理部は、番組毎に誰がどこまで視聴したかという情報を紐付けて管理して、その番組の過去放送分を視聴していたユーザが視聴済みの番組だけを抽出して表示することで、録画番組の中から消去して良いであろう番組だけを確認可能にすることを特徴とする自動録画機能を有する映像表示装置
映像を録画する録画装置であって、
ユーザ映像を取得するカメラと、
前記ユーザ映像を解析して映像表示装置に対する複数のユーザの視聴状態を認識する視聴状態認識部と、
前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録する視聴履歴記録部と、
前記視聴履歴記録部内に記録された各ユーザの過去の視聴状態から、自動録画候補番組を抽出する録画番組抽出部と、
抽出された前記自動録画候補番組と前記視聴状態認識部から得られる現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行う録画判定部とを備え、
前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とする自動録画機能を有する録画装置。
録画装置の自動録画方法であって、
カメラでユーザ映像を取得するステップと、
前記ユーザ映像を解析して映像表示装置に対する複数のユーザの視聴状態を認識するステップと、
前記映像表示装置に入力される番組情報を取得し、前記複数のユーザの視聴状態と番組情報を対応づけて記録するステップと、
前記複数のユーザの視聴状態と番組情報を対応づけて記録した各ユーザの過去の視聴状態から、自動録画候補番組を抽出するステップと、
抽出された前記自動録画候補番組と現在の各ユーザの視聴状態から、前記自動録画候補番組を録画するかどうかの判断を行うステップと
を備え、
前記各ユーザの視聴状態は、ユーザ映像に存在する映像表示装置周辺に存在する各ユーザの識別結果と、前記映像表示装置周辺に存在する各ユーザの映像注視の有無であることを特徴とする自動録画方法。