JP4380524B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP4380524B2
JP4380524B2 JP2004366579A JP2004366579A JP4380524B2 JP 4380524 B2 JP4380524 B2 JP 4380524B2 JP 2004366579 A JP2004366579 A JP 2004366579A JP 2004366579 A JP2004366579 A JP 2004366579A JP 4380524 B2 JP4380524 B2 JP 4380524B2
Authority
JP
Japan
Prior art keywords
user
program
information
recording
bookmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004366579A
Other languages
English (en)
Other versions
JP2006174291A (ja
Inventor
武史 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004366579A priority Critical patent/JP4380524B2/ja
Priority to US11/298,674 priority patent/US7466898B2/en
Publication of JP2006174291A publication Critical patent/JP2006174291A/ja
Application granted granted Critical
Publication of JP4380524B2 publication Critical patent/JP4380524B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像及び音響信号のような情報を内蔵及び又は着脱自在な記録媒体に記録すると共に再生する情報処理装置及び情報処理方法に関する。
ビデオ記録再生装置(レコーダ)にあっては、現在、ハードディスクを記録媒体(ビデオメディア)として用い、テレビジョン放送等の番組を録画し蓄積することが行われている。ハードディスクの記録容量は、80GB〜250GBというように光ディスクに比べると非常に大きいので、空き容量を気にすくことなく、気軽に録画ができる。例えば、250GBの記録容量のハードディスクであれば、最大で約325時間(SLPモード)にわたり録画が可能である。
再生の場合には、録画した番組を、例えば再生タイトル画面に一覧表示させ、その中から見たい番組をユーザにリモートコントロール装置を使って選ばせ、再生を始める。
また、従来、ビデオメディアとしてハードディスク、光ディスク、あるいはビデオテープなどを用いているビデオレコーダでは、特に家族などの複数人で共有して使用している場合、録画したい番組が重複することがある。その際は、個人個人において個別に番組データをビデオメディアに録画するのではなく、ビデオメディアを効率的に使うために、ひとつのビデオメディアに1回だけ録画するのが一般的である。
特に、繰り返し録画可能なビデオメディアの場合、見終わった番組は消去をしたいが、その際に問題となるのが、その番組を見たい人全員がすでに見終わっているかどうかということである。
上記の問題を解決するに当たり、従来は、以下の3つの方法が考えられた。(1)個人個人個別に、人数分録画する。(2)共有しているメンバーに消去してよいか直接確認する。(3)リモコンのボタン入力などの手法で、見終わった人が情報入力する。
しかし、(1)の方法のように、人数分同じ番組を録画するのは、録画メディアの有効利用の点からは効率が悪い。また、(2)の方法のように、ビデオレコーダを共有しているメンバー全員に確認するには時間がかかることがある。また、(3)の方法のように、リモコンのボタン入力などの手法は煩わしいものである。
また、番組の再生を中断した場合、中断した個所から再生が出来るものも有るが、他の人が再生をしてしまうと前の利用者の再生途中から再生が始まってしまったりする。ユーザ個別に再生個所を選択できるものでも、リモコンのボタン入力が煩わしいものである。
そこで、ビデオレコーダで録画した番組をユーザ個々が再生してテレビジョン受像機を用いて視聴するときに、ユーザ個々を認識し、各ユーザ毎に録画番組を自動的に再生し、テレビジョン受像機に表示する等の動作が望まれる。
下記特許文献1には、テレビジョン受像機の視聴可能範囲を該テレビジョン受像機の近傍に設置した距離センサで定期的に走査し、前記距離センサの出力および前記視聴可能範囲に視聴者が存在しない状態において事前に測定しておいた前記距離センサの出力に基づき、前記視聴可能範囲内における視聴者の有無を監視するようにしたテレビジョン受像機の視聴監視方法が記載されている。
また、下記特許文献1には、従来技術として、テレビジョン受像機の視聴可能範囲を二次元イメージセンサで撮像して得た画像を画像認識処理して視聴者の有無等を監視する方法が下記特許文献2等を参照して記載されている。
特開平6−084032号公報 特開平2−120987号公報
ところで、上記特許文献1、特許文献2は、テレビジョン受像機を視聴している者を、精度良く監視することを目的とし、それを達成するための構成を開示しているだけであり、ビデオレコーダで録画した番組をユーザ個々が再生してテレビジョン受像機を用いて視聴するときに、ユーザ個々を認識し、各ユーザ毎に録画番組を自動的に再生し、テレビジョン受像機に表示する等の動作を行うための構成を開示しているものではない。また、そのようなユーザ個々に応じた再生を行うための構成を示唆する記載もない。
本発明は、上記実情に鑑みてなされたものであり、録画した番組をユーザ個々が再生してテレビジョン受像機を用いて視聴するときに、ユーザ個々を認識し、各ユーザ毎に録画番組を自動的に再生することができる情報処理装置及び情報処理方法の提供を目的とする。
本発明に係る情報処理装置は、上記課題を解決するために、映像及び音響信号からなる番組を内蔵及び/又は着脱自在なメディアに記録すると共に再生して表示装置に表示する記録再生手段と、上記メディアに記録された番組を再生して視聴しているユーザを撮像するカメラからの撮像信号に基づいて上記ユーザの顔を認識し、認識された顔情報に基づいてユーザ個々を識別する識別処理手段と、上記識別処理手段にて識別されたユーザの識別情報と、上記記録再生手段にて得られた番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて上記記録再生手段における番組再生を制御するブックマーク情報処理手段とを備え、上記ブックマーク情報処理手段は、上記ユーザの識別情報に、番組識別情報、視聴済み時間もしくは視聴済み時間の区間を対応付けして保持するようにし、上記表示装置の前に現在視聴中のユーザとは異なる他のユーザがいることを上記識別処理手段が識別したとき上記他のユーザの上記視聴済み時間若しくは視聴済み時間の区間を更新する。
ブックマーク情報処理手段は、ユーザの識別情報と、番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて番組再生を制御する。
本発明に係る情報処理方法は、上記課題を解決するために、映像及び音響信号からなる番組を内蔵及び/又は着脱自在なメディアに記録すると共に再生して表示装置に表示する記録再生工程と、上記メディアに記録された番組を再生して視聴しているユーザを撮像するカメラからの撮像信号に基づいて上記ユーザの顔を認識し、認識された顔情報に基づいてユーザ個々を識別する識別処理工程と、上記識別処理工程にて識別されたユーザの識別情報と、上記記録再生工程にて得られた番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて上記記録再生工程における番組再生を制御するブックマーク情報処理工程とを備え、上記ブックマーク情報処理工程では、上記ユーザの識別情報に、番組識別情報、視聴済み時間もしくは視聴済み時間の区間を対応付けして保持するようにし、上記表示装置の前に現在視聴中のユーザとは異なる他のユーザがいることを上記識別処理工程にて識別したとき上記他のユーザの上記視聴済み時間若しくは視聴済み時間の区間を更新する。
ブックマーク情報処理工程は、ユーザの識別情報と、番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて番組再生を制御する。
本発明に係る情報処理装置及び情報処理方法によれば、ブックマーク情報処理手段及び工程が、ユーザの識別情報と、番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて番組再生を制御するので、録画した番組をユーザ個々が再生してテレビジョン受像機を用いて視聴するときに、ユーザ個々を認識し、各ユーザ毎に録画番組を自動的に再生することができる。
このため、本発明を用いれば、煩わしいリモコン操作を必要とすることなく、各ユーザの録画番組視聴状況の提示と、視聴状況の情報更新が行われる。また、テレビジョン受像機の前に座るだけで、ユーザは未視聴の番組メニューから番組を選択することが出来る。また、リムーバルメディアの場合、収納場所も示してくれるので、ユーザはメディアを探す手間が省ける。
また、2名以上のユーザに対して、共通して見ていない番組を提示することで、一緒に録画番組を楽しむことができるようになる。また、ユーザのうちで、途中まで見た番組がある場合でも、そこまで番組の再生が進んだらそのユーザを呼び寄せることで、すでに見た番組の部分を見ることなく、まだ見ていない部分のみを一緒に見ることが出来るようになる。また、再録画可能なメディアの場合、録画番組を見たい人全員が見終わったら、録画番組を消去することができることを提示するため、録画メディアを効率的に使用することが出来るようになる。
以下、本発明を実施するための最良の形態を説明する。この実施の形態は、ハードディスク又は光ディスクをメディアとし、オーディオビデオ(Audio Video:AV)からなる情報信号を記録再生する記録再生装置である。特に、この記録再生装置は、ビデオオーディオからなる番組再生中にその番組を見ている人物を識別し、誰がどの番組を、どこまで視聴したかという情報を保持し、この情報を使ってユーザ(複数のユーザを含めて)毎に録画された番組の再生処理を制御することができる。
図1は記録再生装置の構成図である。記録再生装置は、ビデオを見ている人物1を識別する人物識別処理部10と、誰がどの番組をどこまで視聴したかという情報を処理するブックマーク情報処理部20と、ユーザによる操作に応じてテレビジョン放送の番組を記録再生する記録再生部30とを備えている。
人物識別処理部10は、例えばレンズを通した被写体画像をCCD等の撮像デバイスに投射し、電気信号である撮像信号に変換して画像を入力する画像入力部の具体例であるカメラ11と、カメラ11からの撮像信号に基づいて番組を見ているユーザの顔を認識する顔認識処理部12と、顔認識処理部12にて認識した顔情報に応じて個人個人を識別し、識別した結果から得られるユーザ識別(ID)情報を生成する個人識別処理部13とによって構成されている。カメラ11は、記録再生装置の筐体の一部であって、テレビジョン受像機34に表示される番組を見ようとしているユーザの顔を撮像できるところに配置される。もちろん、カメラ11のみをテレビジョン受像機34の近傍、又はテレビジョン受像機34に配置してもよい。
このため、人物識別処理部10は、画像入力部の具体例であるカメラ11から得られる画像から、後述の記録再生部30のテレビジョン受像機34を見ているユーザがいるかいないか、もしいたらどのユーザかを認識することができ、その識別結果であるユーザID情報IDをブックマーク情報処理部20に供給することができる。もちろん、人物識別処理部10は、カメラ11以外でも個人識別を行うことが出来るデバイスであれば、カメラの代わりにそのデバイスを用いることができる。人物識別処理部10を構成する顔認識処理部12についての具体例については後述する。
記録再生部30は、リモートコントローラ2を操作するユーザ1の再生・録画コマンドを受信するリモコン受信部31と、リモコン受信部31によって受信されたユーザの再生・録画コマンドに基づいて再生・録画処理のための制御信号を生成し、後述の記録再生処理部33等に送る記録再生制御部32と、記録再生制御部32によって生成されて送られてきた上記再生・録画処理のための制御信号に応じて指定されたチャンネルの番組を再生してテレビジョン受像機34に表示したり、番組のビデオオーディオ信号を内蔵のハードディスクや或いはリムーバブルである光ディスク等のメディアに録画する記録再生処理部33と、テレビジョン受像機のモニタ(以下、単にテレビジョン受像機という)34と、スピーカ35とを備える。記録再生処理部33は、内蔵のハードディスクや或いはリムーバブルな光ディスク等のメディアをドライブするメディアドライブ部36を備える。記録再生部30は、テレビジョン放送をチャンネルを選択して受信することができるチューナ装置を備えている。また、テレビジョン受像機34が備えているチューナ装置を利用して、テレビジョン放送をチャンネルを選択して受信してもよい。
このため、記録再生部30は、リモコン2からのユーザ1の録画・再生コマンドを受け、指定されたチャンネルの番組のビデオ及びオーディオ信号を記録再生処理部33のメディアドライブ部36が内蔵するハードディスク等に録画したり、指定されたチャンネルの番組をハードディスク等のメディアから再生し、再生したビデオ信号に基づいた画像をテレビジョン受像機34に表示すると共に再生したオーディオ信号に基づいた音声、音楽などをスピーカ35から出力する。また、記録再生処理部33は、番組を識別するための番組情報Inf-Pを生成してブックマーク情報処理部20に供給する。
番組情報Inf-Pは、各番組名や再生時間長さなどに関する情報である。記録再生部30の具体例については後述する。また、番組情報Inf-Pの詳細についても後述する。
ブックマーク情報処理部20は、人物識別処理部10の個人識別処理部13で認識したユーザID情報Inf-Uと、記録再生部30の記録再生処理部33から渡される番組情報Inf-Pとを用いて各ユーザ毎にブックマーク情報を対応付けしたり、後述するようにブックマーク情報の追加/更新を行ったり、ブックマーク情報等に基づいてユーザの未視聴番組メニュー等を生成するブックマーク情報対応付け処理部21と、ブックマーク情報対応付け処理部21にて生成された各ユーザ毎のブックマーク情報を書き換え可能な例えばRAMに保持するブックマーク情報保持部22とを備える。
ブックマーク情報は、録画予約をした番組ID、視聴済み時間、もしくは、視聴済み時間の区間(番組の途中だけを見た場合)、総番組時間からなる。このブックマーク情報は各個人に対応付けられ、組としてブックマーク情報保持部に格納される。ブックマーク情報の詳細については後述する。
以下、要部の構成、動作について詳細に説明する。先ず、人物識別処理部10の顔認識処理部12の詳細について説明する。顔認識処理部12は、本件出願人による特開2003−271958号公報に開示された画像処理方法を適用している。この画像処理方法は、入力された画像から顔画像を検出し、この顔画像から顔特徴情報を検出し、この顔画像及び顔特徴情報からなる個人顔データの分布をガウス分布近似することにより顔認識する画像入力方法であり、複数の個人の顔から予め学習した学習データベースに格納された、個人顔データ分布の共分散行列が全ての個人顔に共通であると仮定して予め求めた共通共分散行列及び各個人の複数の顔画像ベクトルを平均して予め求めた登録済平均顔画像ベクトルから確率密度分布を求めて顔認識する顔認識工程を有する。
図2は、上記画像処理方法を適用した顔認識処理部12の具体例を示す図である。図2に示すように、顔認識処理部12は、上記カメラ11からの画像信号をデジタル信号に変換して入力する画像入力部120と、画像入力部120のデジタル画像信号から顔画像を検出する顔検出部121と、顔検出部121からの顔画像情報が入力され、顔画像情報から顔特徴情報を検出する顔特徴検出部122と、顔画像情報及び顔特徴情報が入力され、これらの個人顔データの分布をガウス分布近似することにより顔認識する顔認識部123と、顔認識部123の結果を出力する認識結果部124とから構成される。また、この顔認識処理部12は、複数の個人顔から予め学習した学習データベース(図示せず)を有し、顔検出部121、顔特徴検出部122及び顔認識部123は、学習データベースのデータを必要に応じて取り出して処理を行うものである。
学習データベースは、個人顔データ分布の共分散行列が全ての個人顔に共通であると仮定して予め求めた共通共分散行列Σ、同一個人の複数の顔画像ベクトルを平均した平均顔画像ベクトル(登録済平均顔画像ベクトル)及び学習した顔画像の枚数情報等を有し、顔認識部123は、この共通共分散行列Σ及び登録済顔画像ベクトルを使用して確率密度分布を求め、顔を認識するものである。
以下、顔認識処理部12の具体的動作について説明する。
画像入力部120は、カメラ11からの撮像信号をデジタル変換し、顔検出部121へ入力する。顔検出部1003では、デジタル変換された画像内に含まれる顔画像の領域を抽出し、抽出された顔画像領域を顔特徴検出部122に入力する。顔特徴検出部122は、顔画像領域に含まれる眼、鼻、及び口等の顔特徴位置を検出し、この顔特徴位置を、顔検出部121で検出された顔画像と共に顔認識部123へ供給する。顔認識部123は、入力画像内の顔が学習データベース中の顔と同一人物のものである確率密度を計算する。認識結果部124は、顔認識部123の計算結果を認識結果として出力する。
図3は、顔検出部121を示すブロック図である。図3に示すように、顔検出部121は、画像切り出し部1211と顔判断部1212とを有する。先ず、画像入力部120より画像切り出し部1211に画像1201が入力される。画像切り出し部1211は、入力画像1201の全部又は一部の領域をラスタ走査し、入力画像1201から顔が含まれていると想定される様々な大きさの画像を切り出し、切り出した切出画像データを顔判断部1212に入力する。顔判断部1212は、顔学習データベース119に接続されており、この顔学習データベース119の顔学習データを使用し、切り取られた画像が顔であるか否かの判断を行う。切り取られた画像が顔であると判断された場合は、その顔画像又は顔領域情報(以下、顔画像1213という。)を顔特徴検出部122へ出力する。顔判断部1212の判断方法としては、相関法に基づくテンプレートマッチング法、PCA、及びSVM(Support Vector Machine)法等を使用した方法等がある。
図4は顔特徴検出部122を示すブロック図である。図4に示すように、顔特徴検出部122は、画像切り出し部1221と、顔特徴判断部1222とを有する。顔検出部121から顔画像1213が入力されると、顔特徴検出部122の画像切り出し部1221は、顔検出部121の画像切り出し部1211と同様に、入力された顔画像1213の全部又は一部の領域をラスタ走査し、眼、鼻及び耳等の顔特徴が含まれると想定される様々な大きさの画像を切り出し、切り出した画像を顔特徴判断部1222に入力する。顔特徴判断部1222は、学習データベース119に接続されており、この学習データベース119の顔学習データを使用して、切り出した画像が顔特徴であるか否かを判断する。切り出した画像が顔特徴であると判断した場合は、その顔特徴位置等の顔特徴情報1223を検査結果として出力する。この顔特徴判断部122の判断方法においても、顔検出部121の顔判断部1212と同様な方法、即ち相関法に基づくテンプレートマッチング法、PCA法、及びSVM法等を使用することができる。
図5は顔認識部123を示すブロック図である。図5に示すように、顔認識部123は、顔検出部121からの顔画像1213及び顔特徴検出部122からの顔特徴情報1223の各データが入力される顔画像アライメント部1231と、コントラスト正規化部1232と、確率推定部1233と、顔認識部1234とを有する。
画像アライメント部1231には、顔検出部121及び顔特徴検出部122から夫々顔画像1213及び顔特徴情報1223が入力される。画像アライメント部1231は、顔特徴位置が、予め決められた所定の基準位置となるようにアフィン変換等のモーフィング処理を行う。モーフィング処理されたデータは、コントラスト正規化部1232に入力される。コントラスト正規化部1232は、モーフィング処理後の顔画像の照明条件等を一定にするため、コントラストを調整する。コントラスト調整が行われた顔画像(顔画像ベクトル)は確率推定部1233に入力される。
確率推定部1233は、学習データベース119に接続されており、学習データベース119の登録済み顔と、コントラスト調整が行われた顔画像とのマッチングを行い、同一人物である確率を推定する。即ち、この確率推定部1233は、入力された顔画像ベクトル並びに学習データベース119に登録されている共通共分散行列Σ及び平均登録顔ベクトル等のデータに基づいて、入力顔画像ベクトルが登録済個人である確率を求める。この推定結果は、認識結果部1234に出力される。認識結果部1234は、登録された人物の中から入力顔と同一である可能性が最も高い人物を出力する。この際、同一である可能性が最も高い人物は、上述した確率が最も高い人物とすることもできるが、確率推定部1233の推定結果の時系列情報等を分析して、同一である可能性が最も高い人物を出力するようにすると、更に認識精度が向上する。
このように顔認識処理部12は、共分散行列を全ての個人顔に共通であるとした共通共分散行列を使用してガウス分布近似することにより、データ量を飛躍的に低減することができ、これにより、リアルタイムの顔認識を可能にすることができる。また、従来において、個人顔の顔の登録データが1枚の顔画像であるのに対し、複数枚の顔画像の平均顔を登録データとしているため、従来においては登録時の顔が不鮮明であったり、表情及び照明環境が標準的でない場合には認識率が低下したりしたが、この顔認識処理部12においては、登録データとして平均顔画像ベクトルを用いることにより、顔認識の精度を飛躍的に高めることができる。
個人認識処理部13は、顔認識処理部12にて認識した顔情報に応じて個人個人を識別し、識別した結果から得られるユーザ識別ID情報Inf-Uを生成する。
次に、記録再生部30の詳細について図6を参照して説明する。この記録再生部30は、メディアドライブ部36を含み、ハードディスク361または光ディスク362に対して、AV(Audio Video)信号などのコンテンツ情報を記録、または、再生する。メディアドライブ36で上記メディアに記録されるAV信号、または、メディアドライブ部36から再生されたAV信号は、テレビジョン受像機34とスピーカ35に出力される。ユーザは、記録、または、再生しているAV信号のうちのどちらをテレビジョン受像機34とスピーカ35に出力するか、リモコン受信部31を介してリモートコントローラ2により指定する。
記録再生制御部32は、リモコン受信部31から入力されるユーザの操作に対応するコマンドに基づいて、記録再生部30の各部を制御する。記録再生制御部32は、例えば、内部に有する発振部321において、固定された周波数のマスタークロックを生成し、分周部322、および、分周部323に供給する。分周部322で、所定の分周比で分周され、生成されたクロック(ハードディスク361の記録または再生に用いられるクロック)は、記録再生処理部33として枠で囲ってあるブロック内のサンプリングレートコンバータ331、A/Dコンバータ332、エンコーダ333、およびクロック選択部334に供給される。また、分周部323で、マスタークロックを所定の分周比で分周することで生成されたクロック(光ディスク362の記録または再生に用いられるクロック)は、同じく記録再生処理部33内のデコーダ335とクロック選択部334に供給される。
例えば、i.LINK(商標)を介して伝送されてきたデジタルAV信号、あるいは、デジタルBS(Broadcasting Satellite)/CS(Communications Satellite)チューナ(図示せず)により受信され、出力されたデジタルAV信号は、コーデック336に入力される。コーデック336は、入力されたデジタルAV(Audio Video)信号のうちビデオ信号の圧縮を解除し(伸長し)、NTSCデコーダ337に出力する。
サンプリングレートコンバータ331は、入力されたデジタルAV信号のうちのデジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換し、切換部338に出力する。
選択部339は、図示せぬアナログチューナからの入力、またはアナログライン入力の一方をユーザからの操作に基づき選択し、そのうちのアナログビデオ信号をNTSCデコーダ337に出力し、アナログオーディオ信号をA/Dコンバータ332に出力する。
A/Dコンバータ332は、入力されたアナログオーディオ信号をA/D変換し、切換部338に出力する。
切換部338は、サンプリングレートコンバータ331より入力されたデジタルオーディオ信号と、A/Dコンバータ332より入力されたデジタルオーディオ信号のいずれか一方を、ユーザの指示に基づき選択する。
NTSCデコーダ337は、コーデック336より入力されたデジタルビデオ信号、または選択部339より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換し、切換部338より出力されたデジタルオーディオ信号と合成し、出力する。
合成されたデジタルAV信号は、エンコーダ333に入力され、所定の方式でエンコードされた後、メディアドライブ部36に供給され、例えばハードディスク361に記録される。
合成されたデジタルAV信号のうち、デジタルビデオ信号は、ビデオ信号処理部340に供給される。ビデオ信号処理部340にはまた、メディアドライブ部36により、ハードディスク361または光ディスク362より再生され、デコーダ335よりデコードされたデジタルAV信号のうちのデジタルビデオ信号も供給される。
ビデオ信号処理部340は、NTSCデコーダ337とデコーダ335より供給されたデジタルビデオ信号を1枚のフレームの画像として合成し、NTSCエンコーダ341に供給する。NTSCエンコーダ341は、入力されたデジタルビデオ信号をNTSC方式のビデオ信号にエンコードし、テレビジョン受像機34に出力する。
D/Aコンバータ342は、NTSCデコーダ337より出力されたデジタルAV信号のうちのデジタルオーディオ信号、またはデコーダ335より出力されたデジタルAV信号のうちのデジタルオーディオ信号のうちの一方をD/A変換し、スピーカ35に出力する。
制御部2には、ドライブ37が必要に応じて接続される。ドライブ37には、磁気ディスク371(フレキシブルディスクを含む)、光ディスク372(CD−ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク373(MD(Mini-Disk)を含む)、または、半導体メモリ374が必要に応じて装着され、データの授受を行うようになされている。
この記録再生部30は、記録再生処理部33内のメディアドライブ部36にて番組を、ハードディスク361に記録する際、番組を識別するための番組情報Inf-Pを生成してブックマーク情報処理部20に供給する。
番組情報Inf-Pは、各番組のIDと、番組名と、番組データの長さ情報、或いは番組再生時間や、番組データの格納場所(格納ポインタ)等から構成される。「番組データの格納場所(格納ポインタ)」とは、例えばハードディスク361に番組を録画する場合は、ハードディスク上のアドレスを、リムーバブルディスクメディアに録画する場合は、ディスクIDとディスク上のアドレスを表す。
次に、ブックマーク情報処理部20の動作について詳細に説明する。前述したように、ブックマーク情報対応付け処理部21は、人物識別処理部10の個人識別処理部13で認識されたユーザID情報Inf-Uと、記録再生部30の記録再生処理部33から渡された番組情報Inf-Pとを対応付けて各ユーザ毎のブックマーク情報を生成する。また、ブックマーク情報保持部22は、ブックマーク情報対応付け処理部21にて生成された各ユーザ毎のブックマーク情報を書き換え可能な例えばRAMに保持する。
図7はブックマーク保持部22に保持されるブックマーク情報の具体例を示す図である。この具体例では、ユーザはA、B、Cの3名が登録されている。ユーザID情報Inf-Uには、ユーザが自分の名前やニックネームを登録できる。以下では説明のため、ユーザA、ユーザB、ユーザCとする。言い換えると、ユーザA、ユーザB、ユーザCは、人物識別処理部10で識別されたユーザID情報Inf-Uの具体例である。
番組は、1〜8のIDのものがあるが、ここではID1、4、6、7、8の番組が残っている。ID2、3、5の番組は、録画されていなかったか、すでに視聴が終わって消去されている状態である。また、DVDの映画が、I、IIという番組IDで登録されている。
各ユーザIDのブックマークには、録画予約をした番組IDやDVD映画のID(総称で「番組ID」と呼ぶ)、視聴済み時間、総番組時間の組で情報が集められている。
図7に示したブックマーク情報から以下のことが判る。例えば、ユーザAは番組ID「4」の番組をまだ見ていないことが判る。これは、視聴済み時間/総番組時間が(0:00/2:00)であることから判断できる。同様に、ユーザAは番組ID「7」の番組をまだ見ていない(0:00/1:00)。また、ユーザAは番組ID「8」の番組60分の内を45分間だけ見ている(0:45/1:00)。また、ユーザAは番組ID「I」、「II」のDVD映画をどちらもまだ見ていない。
また、ユーザBも番組ID「4」の番組をまだ見ていないことが判る。同様に、ユーザBは番組ID「6」の番組をまだ見ていない。また、ユーザBは番組ID「I」のDVD映画を見終わっている(2:30/2:30)。しかし、番組ID「II」のDVD映画はまだ見ていない。
また、ユーザCは番組ID「1」の番組を1:00だけ見たことが判る。同様に、ユーザCは番組ID「6」の番組を15分だけ見ている。また、ユーザCは番組ID「8」の番組を見終わっている。また、ユーザCは番組ID「I」のDVD映画を見終わっている(2:30/2:30)。しかし、番組ID「II」のDVD映画はまだ見ていない。
さらに、図7からユーザAとユーザBは共に番組ID「4」の番組を共にまだ見ていないことが判る。また、ユーザBとユーザCは、番組ID「6」の番組を録画したが、ユーザCのみが15分だけ見て、ユーザBは未だ見ていないことが判る。また、ユーザAとユーザCは、番組ID「8」の番組を録画し、ユーザCはそれを見終わったが、ユーザAは15分だけ残していることが判る。また、ユーザA、ユーザB、ユーザCの内、ユーザAだけが、番組ID「I」のDVD映画をまだ見ていないことが判る。また、ユーザA、ユーザB、ユーザCは、番組ID「II」のDVD映画を見終わっていることが判る。
なお、「視聴済み時間」の代わりに「視聴済み時間の区間」をブックマーク情報に入れるようにしてもよい。番組の途中の区間を見た場合に、適用することが出来る。
また、ブックマーク情報保持部22は、人物識別処理部10の個人識別処理部13で認識されたユーザID情報Inf-Uと、記録再生部30の記録再生処理部33から渡された番組情報Inf-Pを対応付けて保持する際、番組IDと番組情報、メディア情報の対応情報を保持してもよい。つまり、図7で使用されている番組IDを、番組名、メディアID、メディアの所在情報、メディア上の番組データ格納アドレスのポインタ、番組データの長さ情報と対応させて保持する。特に、メディアID、メディアの所在情報、メディア上の番組データ格納アドレスのポインタ、番組データの長さからなる情報メディア情報を保持することによって、リムーバブルメディア等の各種メディアに対応することが出来る。
図8には、番組IDと番組名(情報)、メディア情報の対応情報の例を示す。図7に示した番組ID「1」、「4」、「6」、「7」、「8」、「I」、「II」に対応している。メディアIDとメディアの所在はユーザがメディアを選定するときの補助情報として、番組データへのポインタと番組データの長さは、番組の再生・消去時とブックマーク情報の更新時にシステムが必要とする情報である。
番組IDの「1」〜「4」はリムーバブルディスクであるDVD−Rに録画した番組を表す。また、番組IDの「5」〜「8」はハードディスク上に録画した番組を表す。また、番組ID「I」、「II」はDVDの映画コンテンツを表す。
番組ID「1」は番組名「歴史道」で、メディアID「DVD−R−1」に録画され、その所在は「棚1」であり、番組データへのポインタは「0x00000000」であり、番組データの長さは「1:00」時間である。 番組ID「4」は番組名「音楽会21」で、メディアID「DVD−R−2」に録画され、その所在は「棚2」であり、番組データへのポインタは「0x080AD6B9」であり、番組データの長さは「2:00」時間である。
番組ID「6」は番組名「朝いちニュース」で、メディアID「HD」に録画され、その所在は「本体内蔵」であり、番組データへのポインタは「0x20C0D607」であり、番組データの長さは「0:30」時間である。 番組ID「7」は番組名「毎日クッキング」で、メディアID「HD」に録画され、その所在は「本体内蔵」であり、番組データへのポインタは「0x4A50D923」であり、番組データの長さは「1:00」時間である。 番組ID「8」は番組名「TVクリニック」で、メディアID「HD」に録画され、その所在は「本体内蔵」であり、番組データへのポインタは「0x7B262C98」であり、番組データの長さは「1:00」時間である。
番組ID「I」は番組名「ジャイアントコング」で、メディアID「DVD−1」に記録され、その所在は「棚2」であり、番組データへのポインタは「0x00000000」であり、番組データの長さは「2:30」時間である。 番組ID「II」は番組名「スターファイターズ」で、メディアID「DVD−2」に記録され、その所在は「棚2」であり、番組データへのポインタは「0x00000000」であり、番組データの長さは「2:15」時間である。
この情報を用いることで、記録再生装置は、例えばユーザが番組ID「4」の再生を指定した場合、図9に示すように、「棚2のDVD−R−2をセットしてください」とテレビジョン受像機34の画面に表示し、ユーザにメディアのセットを要求することが出来る。
また、ブックマーク情報処理部20は、ブックマーク情報の追加/更新をユーザの再生操作や、人物識別処理部10からの識別結果に応じて行う。詳細には、記録再生装置は、下記のタイミングで再生を停止して、ブックマーク情報中の視聴済み時間をアップデートする。例えば、テレビジョン受像機の前からユーザが立ち去るなどの理由で、人物識別処理部10が顔認識がなされない状態を検知した場合、番組再生中に、他のユーザがテレビジョン受像機の視聴に参加してきたことが人物識別処理部10により認識された場合、ユーザがテレビジョン受像機のスイッチを切ったときや、チャンネルを変えたとき、ユーザが未視聴の番組を、既視聴と登録したとき(ブックマーク情報には、番組を見終わったと記録する)等のタイミングである。このブックマーク情報の追加/更新の処理手順については図10を参照して後述する。
次に、ブックマーク情報を使った記録再生装置の処理手順について説明する。ブックマーク情報を使った動作としては以下に示すような動作がある。ユーザがテレビジョン受像機の前に座ったら、録画した番組と見ている途中のリスト(個人録画番組進捗表)を出す。ユーザは見たい番組もしくは見たい番組区間を選択できる。2名以上がテレビジョン受像機の前にいたら、一緒にテレビジョン受像機を見られるように、共通して見ていない番組もしくは共通してみていない番組区間を提示する。ユーザAさんが見ているところまでユーザBさんが見たら、BさんにAさんと一緒に見れることを提示する。再録画可能なメディアの場合、録画番組を見たい人全員が見終わったら、録画番組を消去することができることを提示する。
図10は、ブックマーク情報を使った記録再生装置の処理手順を示すフローチャートである。また、ブックマーク情報の追加/更新の処理手順についても示している。
先ず、記録再生装置の電源がオンとされた後、人物識別処理部10はカメラ11、顔認識処理部12及び個人識別処理部13を用い、カメラ11で得られた画像からテレビジョン受像機34の前に1名以上のユーザがいて、ユーザを認識しているか否かを判定する(ステップS1)。
ステップS1の判定にてユーザを認識した場合(YES)、ブックマーク情報処理部20は、ステップS1にて認識されたユーザのブックマーク情報より、視聴メニューをテレビジョン受像機34に表示する。2名以上のユーザが認識されたら、2名以上のユーザに共通したメニューを表示する(ステップS2)。
このステップS2にあって、ブックマーク情報処理部20のブックマーク情報対応付け処理部21は、例えば、図7に示したブックマーク情報と図8に示した番組情報より、ユーザの未視聴番組メニューを検索し、その未視聴番組メニューを記録再生部30を介してテレビジョン受像機34に表示する。ユーザは、未視聴番組メニューからリモコン2を使って視聴したい番組を選択することができる。
図11は、記録再生部30を介してブックマーク情報処理部20によりテレビジョン受像機34に表示されたユーザAの未視聴番組メニューを示す選択画面図である。番組名「音楽会21」が「0:00/2:00」、「毎日クッキング」が「0:00/1:00」、「TVクリニック」が「0:45/1:00」、「ジャイアントコング」が「0:00/2:30」、「スターファイターズ」が「0:00/2:15」だけ視聴済み(つまり、視聴済み時間が総番組時間に達していない時間だけ未視聴)であることが判る。
ステップS2にて、人物識別処理部10が2名以上のユーザを認識していた場合、ブックマーク情報処理部20は、2名以上のユーザに共通した未視聴番組メニューを記録再生部30を介してテレビジョン受像機34に表示する。複数ユーザに共通した未視聴番組メニューとは、例えば図7におけるユーザAとユーザBの場合、ブックマーク情報に共通している番組IDは、「4」、「II」である。
図12は、人物識別処理部10がユーザAとユーザBを認識した場合に、ブックマーク情報処理部20が記録再生部30を介してテレビジョン受像機34に表示する複数ユーザのための未視聴番組メニューである。ユーザAとユーザBが未視聴であるのは、上述した番組ID「4」の「音楽会21」、番組ID「II」の「スターファイターズ」であることを表示している。
上記ステップS2にてブックマーク情報処理部20が記録再生部30を介してテレビジョン受像機34に表示したユーザ(若しくは複数ユーザ)のための未視聴番組メニューを基に、ユーザ(若しくは複数ユーザ)がリモコンを用いて番組もしくは番組区間を選択することができる(ステップS3)。他のユーザと一緒に見たいときは、そのユーザIDを指定することができる。
例えば、ユーザBとユーザCがいる場合では、図7に示すように、共通して未視聴な番組は「6」、「II」であるが、番組「6」に関してはユーザCがすでに15分見ていることになっている。この場合、ユーザBとユーザCが番組「6」を見たい場合は、ユーザ達は15分経過後にユーザCを後から呼び寄せるかどうかの選択をすることが出来る。
図13はその際にテレビジョン受像機34に記録再生部30を介して表示するメッセージ例を示す。メッセージは、「ユーザCは、番組6をすでに15分見ています。この番組の15分経過したときに、ユーザCを呼び出すことができます。15分後にメッセージを表示しますか?」と訊ね、「表示します」又は「表示しません」という選択肢を挙げている。ここでは、ユーザC及びユーザBによって「表示します」がユーザによって選択されている。
次に、記録再生部30は、上記ステップS3にてユーザにより選択された番組を再生する(ステップS4)。この番組再生中でも、人物識別処理部10は、ユーザの認識を行っている。そして、ステップS5にあってユーザを認識しているかという判定を行っている。テレビジョン受像機34の前にユーザが残っている(YES)のであれば番組再生を続ける。テレビジョン受像機34の前に複数のユーザがいた状態から例えば一人のユーザがいなくなった場合、ブックマーク情報処理部20は、いなくなったユーザのブックマーク情報中の視聴時間情報をアップデートする(ステップS9)。テレビジョン受像機34の前にユーザが一人でも残っている(YES)のであれば番組再生を続けるが、1名もいなくなった場合にはステップS9に進み、番組再生を終了して、ブックマーク情報をアップデートする。
一方、ステップS6にて人物識別処理部10が新しいユーザがいる(YES)と判定した場合は、ステップS2に戻り、複数ユーザに共通した未視聴番組メニューを表示し、一緒に見ることのできる番組の選択を出来るようにする。ここで、新しいユーザのための番組メニューを表示せずに、その新しいユーザのブックマーク情報中の「番組視聴区間情報」をアップデートする方式をとっても良い。
ステップS6にて新しいユーザはいない(NO)と判定されたなら、番組再生を続ける。ステップS7では、上記ステップS3にて指定したユーザの見ている時間まで再生されたか否かを判定する。
例えば、ステップS3にて指定したユーザ(ここではユーザC)の視聴した時間(15分)まで番組が再生されたとステップS7にて判定した(YES)ならば、その時点でユーザBはユーザCと一緒に番組を見られるようになる。ここでシステムは番組再生を一時停止し、ユーザCを呼ぶことが出来るメッセージを表示する。
図14は、ユーザCを呼ぶことが出来るメッセージの具体例を表示している。「この番組は15分再生しました。今からユーザCを呼ぶと、一緒に番組を見ることができます。」と案内している。これは、上記ステップS3にて図13を参照して説明したように、「メッセージを表示する」が選択されたのに対応している。ここで、OKを選択してからステップS8にて、指定されたユーザ(ここではユーザC)をユーザBが呼ぶと、ユーザCはすでに見た番組の部分を見ることなく、まだ見ていない部分のみをユーザBと一緒に見ることが出来る。
上記ステップS5〜ステップS8の処理を繰り返しながら番組を再生していき、ステップS9にて番組の終了を判定する(YES)と、ステップS10にて番組再生を終了し、番組を視聴したユーザの「番組視聴時間」をアップデートする。
この際に、ステップS11にて、その番組についてブックマーク情報に登録されているユーザすべてが見終わったか否かを判定する。全員が見終わった番組があると判定(YES)したのであれば、記録再生装置はステップS12にてメッセージを表示し、ユーザにその番組を消去するか否かを選択させる。
図15には、番組の消去を確認するメッセージの具体例を示す。「この番組を録画予約したユーザは全員、この番組を見終わっています。この番組を消去しますか。」と訊ね、「消去しません」又は「消去します」を選択肢として挙げている。これにより、全員が見た番組をメディア上から消去することが出来、録画メディアを効率的に使用することが出来るようになる。
以上に説明したように、本実施の形態の記録再生装置によれば、煩わしいリモコン操作を必要とすることなく、各ユーザの録画番組視聴状況の提示と、視聴状況の情報更新が行われる。また、テレビジョン受像器の前に座るだけで、ユーザは未視聴の番組メニューから番組を選択することが出来る。また、リムーバルメディアの場合、収納場所も示してくれるので、ユーザはメディアを探す手間が省ける。また、2名以上のユーザに対して、共通して見ていない番組を提示することで、一緒に録画番組を楽しむことができるようになる。また、ユーザのうちで、途中まで見た番組がある場合でも、そこまで番組の再生が進んだらそのユーザを呼び寄せることで、すでに見た番組の部分を見ることなく、まだ見ていない部分のみを一緒に見ることが出来るようになる。また、再録画可能なメディアの場合、録画番組を見たい人全員が見終わったら、録画番組を消去することができることを提示するため、録画メディアを効率的に使用することが出来るようになる。
記録再生装置の構成図である。 顔認識処理部のブロック図である。 顔検出部のブロック図である。 顔特徴検出部のブロック図である。 顔認識部のブロック図である。 記録再生部のブロック図である。 ブックマーク情報を示す図である。 番組IDと番組情報、メディア情報の対応情報を示す図である。 リムーバブルディスクメディアに収録されている番組をユーザが選択した場合の表示画面を示す図である。 ブックマーク情報を使った記録再生装置の処理手順を示すフローチャートである。 ユーザAのみのときの再生番組の選択画面を示す図である。 ユーザAとユーザBのときの再生番組の選択画面を示す図である。 ユーザCを呼び出すメッセージを出すか否かの選択画面を示す図である。 ユーザCを呼び出すメッセージから15分経過後のメッセージの画面を示す図である。 番組を消去することができることを示すメッセージの画面を示す図である。
符号の説明
10 人物識別処理部、11 カメラ、12 顔認識処理部、13 個人識別処理部、20 ブックマーク情報処理部、21 ブックマーク情報対応付け処理部、22 ブックマーク情報保持部、30 記録再生部、31 リモコン受信部、32 記録再生制御部、33 記録再生処理部、34 テレビジョン受像機、35 スピーカ、36 メディアドライブ部

Claims (12)

  1. 映像及び音響信号からなる番組を内蔵及び/又は着脱自在なメディアに記録すると共に再生して表示装置に表示する記録再生手段と、
    上記メディアに記録された番組を再生して視聴しているユーザを撮像するカメラからの撮像信号に基づいて上記ユーザの顔を認識し、認識された顔情報に基づいてユーザ個々を識別する識別処理手段と、
    上記識別処理手段にて識別されたユーザの識別情報と、上記記録再生手段にて得られた番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて上記記録再生手段における番組再生を制御するブックマーク情報処理手段とを備え
    上記ブックマーク情報処理手段は、上記ユーザの識別情報に、番組識別情報、視聴済み時間もしくは視聴済み時間の区間を対応付けして保持するようにし、上記表示装置の前に現在視聴中のユーザとは異なる他のユーザがいることを上記識別処理手段が識別したとき上記他のユーザの上記視聴済み時間若しくは視聴済み時間の区間を更新する
    情報処理装置。
  2. 上記ブックマーク情報処理手段は、上記ユーザの識別情報と上記番組情報を用いて各ユーザ毎にブックマーク情報を対応付けするブックマーク情報対応付け処理手段と、上記ブックマーク情報対応付け処理手段からの各ユーザ毎に対応付けられたブックマーク情報を保持するブックマーク情報保持手段とを備える請求項1記載の情報処理装置。
  3. 上記ブックマーク情報処理手段は、上記ユーザの識別情報に対応付けする、番組識別情報に、番組名、番組データの長さ情報を加える請求項記載の情報処理装置。
  4. 上記ブックマーク情報処理手段は、上記ユーザの識別情報に対応付けする、番組識別情報に、さらに、メディア識別情報、メディアの所在情報、メディア上の番組データ格納アドレスのポインタを加える請求項記載の情報処理装置。
  5. 上記ブックマーク情報処理手段は、上記識別処理手段の識別結果に基づいて上記ブックマーク情報を追加/更新する請求項1記載の情報処理装置。
  6. 上記ブックマーク情報処理手段は、上記表示装置の前にユーザを識別できないという上記識別処理手段の識別結果に基づいて上記視聴済み時間若しくは視聴済み時間の区間を更新する請求項記載の情報処理装置。
  7. 上記ブックマーク情報処理手段は、上記表示装置の前にいるユーザが上記表示装置の電源スイッチを切ったとき、又はチャンネルを変えたときに上記視聴済み時間若しくは視聴済み時間の区間を更新する請求項記載の情報処理装置。
  8. 上記ブックマーク情報処理手段は、上記表示装置の前にいるユーザが未視聴の番組を既視聴と登録したとき、上記視聴済み時間若しくは視聴済み時間の区間を更新し、番組を見終わったと記録する請求項記載の情報処理装置。
  9. 上記ブックマーク情報処理手段は、上記識別処理手段がユーザを識別すると、当該ユーザの個人録画番組進捗表を上記記録再生手段を介して上記表示装置に表示する請求項1記載の情報処理装置。
  10. 上記ブックマーク情報処理手段は、上記識別処理手段が2名以上のユーザを識別すると、当該複数のユーザに共通する録画番組進捗表を上記記録再生手段を介して上記表示装置に表示する請求項1記載の情報処理装置。
  11. 上記ブックマーク情報処理手段は、複数のユーザが共通に録画した番組を、全てのユーザが見終わったのを確認すると、上記共通に録画した番組を消去できることを上記記録再生手段を介して上記表示装置に表示する請求項1記載の情報処理装置。
  12. 映像及び音響信号からなる番組を内蔵及び/又は着脱自在なメディアに記録すると共に再生して表示装置に表示する記録再生工程と、
    上記メディアに記録された番組を再生して視聴しているユーザを撮像するカメラからの撮像信号に基づいて上記ユーザの顔を認識し、認識された顔情報に基づいてユーザ個々を識別する識別処理工程と、
    上記識別処理工程にて識別されたユーザの識別情報と、上記記録再生工程にて得られた番組情報とを用いて各ユーザ毎にブックマーク情報を対応付けし、この各ユーザ毎に対応付けしたブックマーク情報を保持し、かつ各ユーザ毎に対応付けしたブックマーク情報を用いて上記記録再生工程における番組再生を制御するブックマーク情報処理工程とを備え
    上記ブックマーク情報処理工程では、上記ユーザの識別情報に、番組識別情報、視聴済み時間もしくは視聴済み時間の区間を対応付けして保持するようにし、上記表示装置の前に現在視聴中のユーザとは異なる他のユーザがいることを上記識別処理工程にて識別したとき上記他のユーザの上記視聴済み時間若しくは視聴済み時間の区間を更新する
    情報処理方法。
JP2004366579A 2004-12-17 2004-12-17 情報処理装置及び情報処理方法 Expired - Fee Related JP4380524B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004366579A JP4380524B2 (ja) 2004-12-17 2004-12-17 情報処理装置及び情報処理方法
US11/298,674 US7466898B2 (en) 2004-12-17 2005-12-12 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004366579A JP4380524B2 (ja) 2004-12-17 2004-12-17 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2006174291A JP2006174291A (ja) 2006-06-29
JP4380524B2 true JP4380524B2 (ja) 2009-12-09

Family

ID=36597434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004366579A Expired - Fee Related JP4380524B2 (ja) 2004-12-17 2004-12-17 情報処理装置及び情報処理方法

Country Status (2)

Country Link
US (1) US7466898B2 (ja)
JP (1) JP4380524B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018627A1 (en) * 2004-07-20 2006-01-26 Canon Kabushiki Kaisha Image reproducing apparatus and image reproducing method
JP3862027B2 (ja) * 2005-01-25 2006-12-27 船井電機株式会社 放送信号受信システム
WO2007068119A1 (en) * 2005-12-13 2007-06-21 Audio Pod Inc. Segmentation and transmission of audio streams
JP2007214651A (ja) * 2006-02-07 2007-08-23 Funai Electric Co Ltd ハードディスクレコーダ
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置,個人識別方法
JP2007250157A (ja) * 2006-03-20 2007-09-27 Casio Comput Co Ltd 録画再生装置及びプログラム
JP4830670B2 (ja) * 2006-06-29 2011-12-07 株式会社ニコン 再生装置
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP4372204B1 (ja) * 2008-06-30 2009-11-25 株式会社東芝 放送受信装置、及び録画制御方法
KR101494013B1 (ko) * 2008-08-22 2015-02-16 엘지전자 주식회사 영상표시기기에서 녹화물 재생 장치 및 방법
JP5402018B2 (ja) * 2009-01-23 2014-01-29 株式会社ニコン 表示装置及び撮像装置
JP5343658B2 (ja) * 2009-03-30 2013-11-13 富士通株式会社 録画再生装置及びコンテンツ検索プログラム
US9077951B2 (en) * 2009-07-09 2015-07-07 Sony Corporation Television program selection system, recommendation method and recording method
US9307184B2 (en) * 2009-07-31 2016-04-05 Echostar Technologies L.L.C. Multi-user recording allocation
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US8577092B2 (en) * 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
JP5510366B2 (ja) * 2011-03-08 2014-06-04 カシオ計算機株式会社 画像表示制御装置及びプログラム
JP5452774B2 (ja) 2011-06-22 2014-03-26 三菱電機株式会社 受信端末、視聴情報収集システムおよび視聴情報収集方法
JP5764005B2 (ja) * 2011-08-04 2015-08-12 キヤノン株式会社 再生装置および再生方法
JP2013037732A (ja) * 2011-08-04 2013-02-21 Canon Inc 再生装置及びその制御方法、プログラム、並びに記憶媒体
JP2014107677A (ja) * 2012-11-27 2014-06-09 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
US11070860B2 (en) 2013-02-14 2021-07-20 Comcast Cable Communications, Llc Content delivery
US9516259B2 (en) 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
US9852774B2 (en) * 2014-04-30 2017-12-26 Rovi Guides, Inc. Methods and systems for performing playback operations based on the length of time a user is outside a viewing area
US10440499B2 (en) 2014-06-16 2019-10-08 Comcast Cable Communications, Llc User location and identity awareness
US10045090B2 (en) * 2014-08-11 2018-08-07 Comcast Cable Communications, Llc Merging permissions and content access
US9729915B2 (en) * 2014-10-31 2017-08-08 Paypal, Inc. Detecting user devices to determine state of watched show
US10284902B2 (en) * 2015-09-18 2019-05-07 Samsung Electronics Co., Ltd. Apparatus and method for playing back multimedia content
US20170187982A1 (en) * 2015-12-29 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and terminal for playing control based on face recognition
US9805766B1 (en) * 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof
CN108921221B (zh) * 2018-07-04 2022-11-18 腾讯科技(深圳)有限公司 用户特征的生成方法、装置、设备及存储介质
US10631052B1 (en) 2018-10-02 2020-04-21 International Business Machines Corporation Streaming content based on rules for watching as a group
US11917251B2 (en) * 2021-10-18 2024-02-27 Rovi Guides, Inc. Systems and methods for predictive selection of pause points
US11722740B2 (en) * 2021-10-18 2023-08-08 Rovi Guides, Inc. Systems and methods for predictive selection of pause points

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858000A (en) 1988-09-14 1989-08-15 A. C. Nielsen Company Image recognition audience measurement system and method
JPH0684032A (ja) 1992-08-28 1994-03-25 Video Res:Kk テレビジョン受像機の視聴者監視方法
KR100438697B1 (ko) * 2001-07-07 2004-07-05 삼성전자주식회사 재생장치 및 그 북마크 정보 제공방법

Also Published As

Publication number Publication date
US20060136496A1 (en) 2006-06-22
US7466898B2 (en) 2008-12-16
JP2006174291A (ja) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4380524B2 (ja) 情報処理装置及び情報処理方法
JP5173337B2 (ja) 要約コンテンツ生成装置およびコンピュータプログラム
US8448068B2 (en) Information processing apparatus, information processing method, program, and storage medium
US8396351B2 (en) Information processing apparatus, information processing method, information processing program and imaging apparatus
US20070201824A1 (en) TV broadcast viewing and recording system
JPWO2006025284A1 (ja) ストリーム再生装置
US20070092220A1 (en) System for reproducing video
JP2003219287A (ja) 放送受信装置
US8644670B2 (en) Apparatus and method for reproducing contents
WO2009150827A1 (ja) コンテンツ編集装置
JP2006041888A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2007318431A (ja) 表示制御システムおよび表示制御方法
JP2007053510A (ja) 記録再生装置、再生装置、音量自動調整方法および音量自動調整プログラム
JP2006086717A (ja) 画像表示システム、画像再生装置及びレイアウト制御装置
JP2013016903A (ja) 情報処理装置及び情報処理方法
JP2001036861A (ja) 番組録画装置、及びプログラム記録媒体
JP2006311121A (ja) 番組選択装置
JP2006311322A (ja) テレビジョン表示装置
US8064750B2 (en) Picture reproducing apparatus
JP2002330390A (ja) 録画装置
JP2008289088A (ja) データ表示制御装置、データ表示制御方法及びプログラム
JP2002209178A (ja) 録画再生装置
EP1538835A2 (en) Data recording system, data recording apparatus, data transmission apparatus, data recording method and recording medium on which a recording program is recorded
JP2003324686A (ja) 映像再生装置及び映像再生方法
JP2003101911A (ja) 画像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees