JP5343658B2 - 録画再生装置及びコンテンツ検索プログラム - Google Patents

Description

本発明は、コンテンツ検索が可能な録画再生装置、及びコンテンツ検索プログラムに関する。

記録媒体等に記録したデータのうち、例えば動画像や静止画像等のデータにメタデータを付しておき、検索時にメタデータを検索クエリとして利用する方法が従来から用いられている。

例えば、検索用のメタデータとして、録画データの登場人物等を特定し、特定した情報を検索対象となるデータと対応付けて記憶させておく技術が提供されている（例えば、特許文献１）。また、カメラが取得した情報に、キーボード等から入力された人名等の情報を検索用の情報として記録する技術についても提供されている（例えば、特許文献２）。

コンテンツを録画／再生する録画再生装置においては、例えば番組名、テレビ放送であれば放送日時やチャンネル等のコンテンツを特定するための各種情報をメタデータとしてコンテンツデータと対応付けて記録しておく。録画したコンテンツの中から所望のコンテンツを得るために、メタデータを条件に指定して、検索を行う。

図１７は、従来におけるコンテンツ検索方法を説明する図である。視聴者が視聴したコンテンツについては、視聴履歴としてデータベースに記録しておく。このとき、視聴したコンテンツと対応付けて、コンテンツに付されたメタデータについても記録しておく。視聴者（ユーザ）は、コンテンツに付されたメタデータを利用して、検索条件にコンテンツのジャンルや放送日時、番組の内容等を指定することにより、コンテンツ検索を行う。

特開２００８−１６０４０８号公報 特許第２９４３２６５号公報 特開２０００−１７１８８６号公報

録画しておいたコンテンツについて検索を行うときには、コンテンツを録画・視聴してから時間が経過している場合もしばしば見られる。例えば、ユーザが、以前視聴したコンテンツ中のあるコーナーを後日再度視聴し、コーナーの内容を確認するために、検索を行う場合がある。視聴から時間が経過しており、ユーザがコンテンツの詳細については記憶していない場合、検索のために入力するキーワード自体を思いつかないこともあり得る。

そこで、特定の人が視聴したコンテンツを検索できることが望ましい。
開示の録画再生装置は、コンテンツの視聴者に係わる情報をコンテンツ検索に利用可能とする技術を提供することを目的とする。

開示の録画再生装置によれば、コンテンツの録画／再生の指示を受け付けると、該コンテンツの録画／再生中に視聴中の視聴者を特定する視聴者特定情報の取得を行うデータ取得部と、前記データ取得部が取得した前記視聴者特定情報と、録画再生部が録画／再生しているコンテンツの録画再生シーンとを関連付けて視聴者データベースに記録するインデキシング部と、前記視聴者特定情報を受け付け、前記視聴者データベースを参照して、前記受け付けた前記視聴者特定情報と関連付けられたコンテンツの録画再生シーンを抽出し、該抽出したコンテンツの録画再生シーンを出力する検索処理部と、を備える。

コンテンツの録画再生シーンとともに、コンテンツの録画再生中に取得した視聴者を特定する情報を関連付けて記録しておく。ユーザがコンテンツの検索を行う際には、視聴者特定情報についても検索条件として使用することが可能となる。

開示の録画再生装置によれば、コンテンツの視聴者に係わる情報を利用してコンテンツの検索を行うことが可能となる。

動画検索装置の原理図である。 実施形態に係る録画再生装置の構成図である。 データ取得部におけるデータを取得する処理を示したフローチャートである。 動画視聴検知部において視聴履歴データを取得する処理を示したフローチャートである。 ライフログ取得部においてライフログ情報を取得する処理を示したフローチャートである。 インデキシング部においてデータの結合を行う処理を示したフローチャートである。 個人識別抽出部において個人識別情報を抽出する処理を示したフローチャートである。 データ結合部において視聴履歴情報とライフログ情報とを結合する処理を示したフローチャートである。 視聴履歴データセットの例である。 ライフログ情報データセットの例である。 個人識別データセットの例である。 データセット間のリレーション設計を説明する図である。 検索処理部におけるコンテンツの検索処理を示したフローチャートである。 表示部によるコンテンツの検索結果の出力表示例である。 情報処理装置の構成図である。 記録媒体を示す図である。 従来におけるコンテンツ検索方法を説明する図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、動画検索装置の原理図である。図１に示す動画検索装置１００は、撮影装置１０１、動画再生装置１０２、及び表示装置１０４と接続され、個人端末１０３（図１においては１０３Ａ及び１０３Ｂ）と通信を行い、個人端末１０３からデータを受信する。

動画再生装置１０２は、コンテンツを再生する機能を備え、コンテンツ及びコンテンツに付されたメタデータ（動画情報）を保有している。
撮影装置１０１は、動画再生装置１０２において再生中のコンテンツを視聴するユーザ（視聴者）についての撮影を行う。

個人端末１０３は、ユーザが保有する端末装置であり、ユーザが入力したライフログ情報等を保有する。
表示装置１０４は、ユーザからのコンテンツの検索条件に対して得られた検索結果等を表示する。

図１に示すとおり、本実施形態に係る動画検索装置１００は、データ取得部２、インデキシング部３及び検索処理部４を有する。
データ取得部２は、視聴検知部１０及びライフログ取得部２０を含み、動画再生装置１０２から、録画／再生するコンテンツに係わるメタデータ等の情報を取得する。これとともに、データ取得部２は、動画検索装置１００のユーザすなわちコンテンツの視聴者の個人端末１０３から、視聴者に係わるライフログ情報等の情報を取得し、コンテンツ視聴中の視聴者の画像を撮影装置１０１から取得する。視聴検知部１０及びライフログ取得部２０の具体的な動作については後述する。

インデキシング部３は、個人情報抽出部３０及びデータ結合部４０を含み、データ取得部２において取得した情報、すなわち、録画／再生するコンテンツに係わる情報と、コンテンツの視聴者に係わる情報との対応付けを行う。そして、インデキシング部３は、検索キーワードを入力した視聴者に応じてコンテンツ検索を行うためのデータセットを作成する。個人情報抽出部３０及びデータ結合部４０の動作の詳細についても、後述することとする。

検索処理部４は、検索クエリ照合部５０及び結果表示部６０を含み、インデキシング部３において対応付けした情報を用いて、ユーザ（視聴者）の個人端末１０３を介してキーワード等の検索クエリが入力されると、コンテンツの検索を実行する。実行結果については、表示装置１０４に出力する。検索クエリ照合部５０及び結果表示部６０の動作の詳細についても、後述する。

本実施形態に係る動画検索装置１００は、コンテンツ検索時に利用する各種の情報を保有する。コンテンツ検索に利用する情報としては、例えば番組名や日時等のような、コンテンツと対応付けられたメタデータだけでなく、コンテンツを視聴したユーザ（すなわちコンテンツの視聴者）を特定する情報も含まれる。視聴者を特定する情報については、録画再生装置１において、撮影装置１０１や個人端末１０３から取得した情報に基づき、視聴したコンテンツに係わる情報と対応付けを行っておく。

コンテンツを視聴中のユーザが存在する場合には、コンテンツに係わるメタデータ等の情報に加えて、コンテンツを視聴したユーザの画像やユーザに係わるライフログ情報等の情報を記録しておく。ユーザは、本実施形態に係る録画再生装置１を利用して、メタデータ等だけでなく、ユーザのライフログ情報等をも用いて視聴したコンテンツの検索を行うことができる。

図１に示す各装置のうち、動画検索装置１００、動画再生装置１０２及び表示装置１０４については、地上デジタル放送視聴機能等を備え、インターネットに接続可能なパーソナルコンピュータ（ＰＣ）等で構成させることができる。撮影装置１０１としては、カメラ機能を内蔵したコンピュータを利用することができる。特に、リビングＰＣを用いる場合には、リビングＰＣを大型のディスプレイに接続することで、複数の視聴者があるテレビ番組等のコンテンツを視聴することが可能となる。

視聴者が保有する個人端末１０４としては、例えば、カメラ、ＰＣ及び携帯電話等を利用することができる。視聴者は、個人端末１０４を介して検索条件の入力操作や、ライフログ情報等の入力操作を行う必要がある。例えば携帯電話を視聴者の個人端末１０４として採用することにより、これらの入力操作が比較的容易で、簡便に持ち運びできると考えられる。

以下においては、図１に示す動画検索装置１００の機能を備えた録画再生装置を例に、ユーザが保有する携帯電話からライフログを取得して、ライフログをコンテンツ検索に供する方法について説明する。

図２は、本実施形態に係る録画再生装置１の構成図である。本実施形態に係る録画再生装置１は、図１を参照して説明したとおり、データ取得部２、インデキシング部３及び検索処理部４を含む。

図２に示す録画再生装置１は、図１の動画再生装置１０２が、動画検索装置１００の機能を備えた構成である。録画再生装置１は、テレビ１０２において受信したテレビ放送等のコンテンツを録画／再生する機能を備えるとともに、録画／再生したコンテンツの検索機能を備える。また、図２に示す構成では、録画再生装置１は、テレビ１０２と接続されており、テレビ１０２において受信したテレビ放送等のコンテンツを録画／再生し、テレビ１０２のディスプレイ１０４に出力する。

図２に示すように、実施例では、視聴者が保有する個人端末１０３の例として、携帯端末を用いる。
図１と同様に、図２においても、複数のテレビ１０２や携帯端末１０３が記載されているが、これは、本実施形態に係る録画再生装置１の各部との関係を明確に示すためである。

録画再生装置１は、テレビ１０２と接続され、テレビ１０２を介してユーザの携帯端末１０３と通信を行って取得した情報をテレビ１０２から受信する。テレビ１０２は、カメラ１０１、テレビ受信部１０５、計時部１０６及び通信部１０９を含む。携帯端末１０３は、通信部１０７及びメモリ１０８を含む。なお、カメラ１０１は、図１の撮影装置１１に対応するため、同じ符号を付す。

カメラ１０１は、録画／再生中のコンテンツを視聴している視聴者についての画像を取得する。テレビ受信部１０５は、テレビ放送等を受信する。計時部１０６は、計時機能を有し、時刻等の情報を取得する。通信部１０９は、検知した携帯端末１０３との間で例えば赤外線通信を行い、携帯端末１０３から取得した情報を録画再生装置１に渡す。

なお、テレビ１０２による携帯端末１０３の検知及び携帯端末１０３との通信に関しては、ユーザがコンテンツを視聴中は、テレビ１０２のディスプレイ１０３の前におり、携帯端末１０３はテレビ１０２の近くにあるとの前提に基づく。このような前提により、実施例では、携帯端末１０３の検出については、録画再生装置１ではなく、テレビ１０２が行う。録画再生装置１は、テレビ１０２から通知された検出結果に基づき、付近に携帯端末１０３が存在するか否かを判定し、携帯端末１０３が存在する場合には、携帯端末１０３から、テレビ１０２経由で必要な情報を受信する。

携帯端末１０３は、通信部１０７及びメモリ１０８を含む。通信部１０７は、テレビ１０２の通信部１０９との間で例えば赤外線通信を行い、携帯端末１０３において保有するライフログ情報等を、テレビ１０２を介して録画再生装置１に送信する。メモリ１０８には、携帯端末１０３を識別する情報や、ライフログ情報等を格納する。

なお、図２においては、各装置の構成は、本実施形態に係る録画再生装置１におけるコンテンツの検索方法に係わる構成のみを示している。
録画再生装置１のうち、データ取得部２の視聴検知部１０は、視聴者画像取得部１１、番組情報取得部１２、カット画像取得部１３、タイムスタンプ取得部１４、視聴履歴記録部１５及び視聴履歴データベース１６を含む。視聴検知部２０は、コンテンツの録画／再生中にコンテンツを視聴しているユーザを検知した場合には、コンテンツに紐付けされたメタデータ等の情報を取得する。

データ取得部２のライフログ取得部２０は、端末識別情報取得部２１、ライフログ情報取得部２２、ライフログ記録部２３及びライフログデータベース２４を含む。ライフログ取得部２０は、視聴検知部１０において、録画／再生中のコンテンツを視聴しているユーザを検知した場合には、ユーザの保有する携帯端末１０３から、携帯端末１０３を識別する識別情報や、ライフログ情報等の携帯端末１０３に保存されている情報を取得する。

インデキシング部３の個人情報抽出部３０は、顔画像取得・記録部３１、端末識別情報取得・記録部３３及び個人識別データベース３２を含む。個人情報抽出部３０は、データ取得部２において取得した情報のうち、コンテンツの視聴者が保有する携帯端末１０３を識別する端末識別情報と、視聴者がコンテンツの視聴中にカメラ１０１で撮影して取得した画像のうち、視聴者の顔部分の画像とを抽出する。以下においては、カメラ１０１から取得した画像から抽出した顔部分の画像を、「顔画像」とする。個人情報抽出部３０は、抽出した情報を互いに対応付けて、視聴者を特定する情報として記録する。端末識別情報は、携帯端末１０３が保有している情報であって、携帯端末１０３を一意に識別可能であれば、任意の情報を用いることができるが、例えば、電話番号等を利用することも可能である。

インデキシング部３のデータ結合部４０は、顔画像照合部４１、端末識別情報照合部４２、視聴者データ記録部４３及び視聴者データベース４４を含む。データ結合部４０は、個人情報抽出部３０において抽出し、記録した視聴者を特定する情報を利用して、視聴者が視聴したコンテンツに紐付けされたメタデータ等の情報と、視聴者の携帯端末１０３から取得したライフログ情報等の情報とを対応付け、結合させる。

検索処理部４の検索クエリ照合部５０は、例えばユーザの携帯端末１０３から検索条件を受信すると、受信した検索条件に対応するコンテンツを検索する。具体的には、検索クエリ照合部５０は、インデキシング部３のデータ結合部４０において結合した情報の中から、検索条件と一致する情報を検索し、対応するコンテンツを抽出する。

結果表示部６０は、検索クエリ照合部５０における抽出結果を、テレビ１０２のディスプレイ１０４に表示させる。
上記のとおり、本実施形態に係る録画再生装置１によれば、データ取得部２において取得した視聴履歴とライフログ情報とを、インデキシング部３において結合させる。結合により得られたデータセットは、視聴者のライフログ情報等の視聴者の活動記録が、視聴者の視聴したコンテンツと対応付けられている。このため、視聴者がコンテンツ検索をする際には、コンテンツのメタデータだけでなく、ライフログ情報等の自身の活動記録をも利用することが可能となる。

上記のとおり、録画再生装置1のデータ取得部２において、コンテンツに係わる情報だけでなく、ライフログ情報等の視聴者に係わる情報についても取得する。そして、インデキシング部３において、取得した情報に基づき、個々の視聴者を判別して、視聴者が視聴したコンテンツに係わる情報と、視聴者のライフログ情報等とを対応付ける。以下に、データ取得部２におけるデータの取得方法及びインデキシング部３における検索用のデータセットの生成方法について、図２を参照してより詳細に説明する。

データ取得部２の動画視聴検知部１０においては、視聴者画像取得部１１は、コンテンツの録画／再生中に、コンテンツを視聴しているユーザ（視聴者）が存在する場合には、ユーザの画像を取得する。番組情報取得部１２は、コンテンツの録画／再生中に、コンテンツの視聴者が存在する場合には、録画／再生中のコンテンツに紐付けされているメタデータを取得する。コンテンツの例としては、例えばテレビ番組が挙げられ、番組（コンテンツデータ）に付されたメタデータには、チャンネル、番組名、ジャンル、放送日時、出演者や字幕等の放送内容に係わる情報が含まれる。カット画像取得部１３は、コンテンツをカット単位に分割して得られるカット画像を取得する。タイムスタンプ取得部１４は、視聴者画像やカット画像の取得タイミングと合わせて、タイムスタンプを取得する。

視聴履歴データベース１５は、視聴者の視聴履歴、すなわち、視聴者が視聴したコンテンツに係わる情報を視聴履歴データベース１６に記録する。視聴履歴記録部１５は、視聴者画像取得部１１、番組情報取得部１２、カット画像取得部１３及びタイムスタンプ取得部１４において取得した情報を、カット画像ごとにそれぞれ対応付け、視聴履歴として視聴履歴データベース１５に記録する。

端末識別情報取得部２１は、コンテンツの録画／再生中に、視聴者が保有する携帯端末１０３を識別する端末識別情報を、携帯端末１０３から取得する。ライフログ情報取得部２２は、端末識別情報を取得できた携帯端末１０３のメモリ１０８からライフログ情報を取得する。

ライフログデータベース２４は、視聴者の携帯端末１０３から取得した端末識別情報やライフログ情報を格納する。ライフログ記録部２３は、取得したライフログ情報を端末識別情報と対応付け、タイムスタンプを付してライフログデータベース２４に記録する。

個人識別データベース３２は、各視聴者を識別するための情報を格納する。実施例では、上記のとおり、動画視聴検知部１０の視聴者画像取得部１１において取得した視聴者画像のうち視聴者の顔画像と、ライフログ取得部２０の端末識別情報取得部２１において取得した端末識別情報とを対応付けて、個々の視聴者を特定する情報として利用する。顔画像取得・記録部３１は、視聴履歴データベース１６に格納されている情報の中から、視聴者画像の顔画像を取り出して個人識別データベース３２に記録する。端末識別情報取得・記録部３３は、ライフログデータベース２４に格納されている情報の中から、携帯端末１０３を識別する端末識別情報を取り出して、個人識別データベース３２に記録する。視聴者の顔画像と端末識別情報とを対応付ける方法については、後述する。

顔画像照合部４１は、視聴履歴中の視聴者画像中に、視聴者として特定できる人物が含まれるかを、個人識別データベース３２に格納されている顔画像を利用して照合する。そして、顔部分が互いに一致する場合には、個人識別データベース３２から取り出したデータセットと、視聴履歴データベース１６から取り出したデータセットとを結合させる。

端末識別情報照合部４２は、顔画像照合部４１において視聴履歴データベース１６から取り出した視聴履歴データセットと結合を行った個人識別データセットについて、ライフログデータベース２４から取り出したデータセットとの間で端末識別情報を照合する。端末識別情報が互いに一致する場合には、ライフログ情報データセットと、個人識別データセットとを結合させる。

視聴者データベース４４は、視聴履歴データベース１６から取り出した視聴履歴データセットと、これに対応するライフログデータベース２４から取り出したライフログ情報データセットとを結合させて得られる視聴者データセットを格納する。

視聴者データ記録部４３は、顔画像照合部４１において個人識別データセットの顔画像と結合させた視聴履歴データセットと、端末識別情報照合部４２において個人識別データセットの端末識別情報と結合させたライフログ情報データセットとを結合させ、視聴者データセットを生成し、視聴者データベース４４に記録する。

このように、コンテンツに係わる情報だけでなく、視聴者のライフログ等についてもコンテンツ検索に利用可能とすることで、視聴者は、自己の活動等と照らし合わせてコンテンツ検索ができる。また、録画再生装置１において、視聴者を認識し、視聴者が視聴したコンテンツを判断して、ライフログ情報等との関連付けを行う。このため、視聴者自身は、自己のライフログ情報と視聴したコンテンツとの対応付けのための操作をする必要がない。

上記のとおり、図２に示す録画再生装置１は、テレビ１０２のテレビ受信部１０５において受信したテレビ放送等のコンテンツをテレビ１０２から取得するときに、カメラ１０１で撮影した視聴者の画像や計時部１０６で取得したタイムスタンプを併せて取得する。また、コンテンツの録画・再生中に、視聴者の保有する携帯端末１０３を認識できた場合には、携帯端末１０３からライフログ情報等の情報を取得する。

データ取得部２において取得した情報のうち、視聴者の顔画像と端末識別情報とについては、互いに関連付けて個人情報データベース３２に格納している。本実施形態に係る録画再生装置１は、個人データベース３２に格納されている情報を用いて、視聴履歴データベース１６に格納されているコンテンツに係わる情報の中から、視聴者画像と個人情報データベース３２に格納されている顔画像とを比較する。視聴者画像の中に、個人情報データベース３２上の顔画像と一致する顔部分が含まれる場合には、顔画像が示す視聴者が、視聴者画像と対応付けられたコンテンツの視聴者であると判断する。そして、個人識別情報の顔画像に対応するコンテンツに係わる情報と、顔画像と関連付けられた端末識別情報に対応する視聴者のライフログ情報等の視聴者に係わる情報とを結合させる。

以下の説明においては、視聴履歴と視聴者のライフログ等とを結合して得られた、視聴者ごとに用意されたコンテンツ検索に利用可能なデータを、「視聴者データ」とする。
次に、上記の実施形態に係る録画再生装置１における視聴者データを生成し、コンテンツ検索を行う方法について、フローチャートを参照して具体的に説明する。

図３は、データ取得部２における視聴者データの生成に必要なデータを取得する処理を示したフローチャートである。
まず、ステップＳ１で、動画視聴検知部１０は、コンテンツを視聴する視聴者の存在を検知すると、視聴履歴データセットに格納する各種情報をテレビ１０２から取得する。コンテンツを視聴する視聴者を検知する方法については、図４を参照して詳述する。

ステップＳ２で、動画視聴検知部１０は、ステップＳ１で取得した各種の情報に基づき、視聴履歴データセットを作成し、ステップＳ３で、動画視聴検知部１０は、作成した視聴履歴データセットを視聴履歴データベース１６に記録すると、ステップＳ４に進む。

ステップＳ４で、ライフログ取得部１０が、テレビ１０２と携帯端末１０３との間で通信が可能か否かを示す情報をテレビ１０２から受信して、テレビ１０２の周辺に携帯端末１０３が存在するか否かを判定する。テレビ１０２において携帯端末１０３を検知できない場合には、録画再生装置１が再生するコンテンツを視聴するユーザが携帯端末１０３を保有しておらず、ライフログ情報等の取得ができないと判断し、ステップＳ８に進む。

ステップＳ４において、携帯端末１０３がテレビ１０２の周辺に存在すると判断した場合には、ステップＳ５に進み、ライフログ取得部２０は、携帯端末１０３と通信を行って、携帯端末１０３からライフログ情報等を取得する。そして、ステップＳ６で、ライフログ情報データセットを作成し、ステップＳ７で、ライフログ取得部２０は、作成したライフログ情報データセットをライフログデータベース２４に記録し、ステップＳ８に進む。

ステップＳ８で、視聴検知部１０は、コンテンツの視聴が終了したか否かを判定する。コンテンツ視聴が終了したか否かの判定は、例えば、録画再生装置１やテレビ１０２の電源状態に基づき行う。録画再生装置１やテレビ１０２の電源がオン状態である場合には、ステップＳ１に戻り、上記の処理を繰り返す。録画再生装置１やテレビ１０２の電源がオフ状態となっている場合には、処理を終了する。

なお、図２の説明においても述べたとおり、上記のステップＳ４の携帯端末１０３の検知に関しては、ユーザがコンテンツを視聴中は、テレビ１０２のディスプレイ１０３の前におり、携帯端末１０３はテレビ１０２の近くにあるとの前提に基づく。

図４は、データ取得部２の動画視聴検知部１０において視聴履歴データを取得する処理を示したフローチャートである。図４に示す処理は、図３のステップＳ１の視聴履歴データセットを取得する処理に相当する。録画再生装置１のデータ取得部２のうち、動画視聴検知部１０が、コンテンツの録画／再生を開始したことを契機として、図４に示す処理を開始する。また、図４においては、録画再生装置１は、各種コンテンツのうち、テレビ１０２において受信するテレビ番組を録画／再生する場合を示す。

まず、ステップＳ１１で、番組情報取得部１２は、録画／再生中の番組のチャンネル情報を取得し、ステップＳ１２で、視聴者画像取得部１１は、視聴者の画像を取得する。
ステップＳ１３で、視聴履歴記録部１５は、ステップＳ１２において取得した視聴者画像の中から、顔部に相当する領域を検索して、顔部分を検出する。顔検索技術については、公知の技術であるので、詳細な説明は省略する。

ステップＳ１４で、視聴履歴記録部１５は、取得した情報と検出結果から、視聴者のコンテンツ視聴時間及び視聴人数の条件を満たすか否かの判定に基づき、視聴者がコンテンツを視聴しているか否かを判定する。具体的には、録画／再生中のコンテンツの視聴時間が５秒以上であり、且つ検出できた顔部の画像数が１以上すなわち１人以上の視聴者を検出できた場合には、少なくとも１人の視聴者が、ステップＳ１１で取得したチャンネルのテレビ番組を視聴中であると判断する。視聴時間が５秒未満の場合は、ザッピング（テレビ１０２のリモコンを回す行為）であると判断する。顔部の画像が検出されなかった場合、すなわち視聴者の人数が０人であった場合には、コンテンツの視聴者なしと判断する。

ステップＳ１４において、コンテンツの視聴者が存在すると判定された場合には、ステップＳ１５に進み、視聴履歴記録部１５は、ステップＳ１２において視聴者画像取得部１１が取得した視聴者画像と、視聴者の人数とをメモリに記録する。なお、視聴者の人数については、公知の画像分析技術を利用して、認識した顔部の数に基づき求める。

ステップＳ１６で、番組情報取得部１２が、視聴者が視聴中のコンテンツ（録画再生装置１が録画／再生中のコンテンツ）についてのメタデータ等をテレビ１０２から取得し、メモリに記録する。ステップＳ１７で、カット画像取得部１３が、コンテンツのフレーム画像をテレビ１０２から取得し、ステップＳ１８で、カット画像取得部１３は、カット画像取得部１３が取得したコンテンツのフレーム画像に基づき、カットフレームの判定を行う。カットフレームの判定方法については、公知の技術であるが、ここでは、前フレーム画像とステップＳ１７で取得した現フレーム画像とを比較して、色ヒストグラムの変化量が所定のしきい値以上である場合に、現フレーム画像を、カット画像と判定する。

ステップＳ１８において、現フレーム画像はカットフレームでないと判定した場合には、ステップＳ１７に戻り、カット画像取得部１３は、次のフレーム画像を取得して、同様にカットフレーム判定を行う。ステップＳ１８において、現フレーム画像はカットフレームであると判定した場合には、ステップＳ１９に進み、視聴履歴記録部１５は、ステップＳ１７において取得したフレーム画像を、番組のカット画像として、メモリに記録し、ステップＳ２０に進む。

ステップＳ２０で、タイムスタンプ取得部１４は、視聴履歴データセットに格納したカット画像に対応する時刻情報を、テレビ１０２の計時部１０６から取得して、取得したタイムスタンプをメモリに記録する。そして、メモリに記録されている情報を視聴履歴データセットとして返し、図４の視聴履歴データの取得処理を終了する。

（Ａ）は、視聴履歴データセットの模式図である。図４に示す処理により作成される視聴履歴データセットは、あるコンテンツのメタデータ（番組情報）に対して、シーンごとのカット画像が複数対応付けられ、カット画像ごとに、視聴者画像及び視聴者人数、タイムスタンプが対応付けられている。あるコンテンツから得られた複数のカット画像に対応するメタデータ（番組情報）としては、共通するメタデータが対応付けられることとなる。

図５は、データ取得部２のライフログ取得部２０においてライフログ情報を取得する処理を示したフローチャートである。図５に示す処理は、図３のステップＳ５のライフログ情報データセットを取得する処理に相当する。上記のとおり、図３のステップＳ４において、録画再生装置１において録画／再生するコンテンツを表示するテレビ１０２付近に携帯端末１０３が存在すると判定した場合に、録画再生装置１のデータ取得部２のうち、ライフログ取得部２０が、図５に示す処理を実行する。

まず、ステップＳ３１で、端末識別情報取得部２１は、携帯端末１０３から端末識別情報を取得し、ステップＳ３２で、端末識別情報取得部２１は、タイムスタンプを取得し、メモリに記録する。ステップＳ３３で、端末識別情報取得部２１は、取得した端末識別情報とタイムスタンプとを対応付けて、メモリに記録する。端末識別情報と対応付けを行うタイムスタンプについては、図４のステップＳ２０において取得したタイムスタンプと同じ情報を利用する。これは、インデキシング部３において視聴履歴とライフログとの対応付けを行うときに、タイムスタンプを利用して図３のフローのうち同一のカット画像に対応することを判断するためである。詳しくは、インデキシング部３によるインデキシング処理の説明において述べることとする。

ステップＳ３４で、ライフログ情報取得部２２は、携帯端末１０３からライフログ情報を取得し、更に、ステップＳ３５で、ライフログ情報取得部２２は、ライフログの日時情報を取得して、メモリに記録し、ステップＳ３６に進む。

ステップＳ３６で、ライフログ記録部２３は、ステップＳ３４において取得したライフログ情報と、既にライフログデータベース２４に格納されているライフログ情報との差分の有無を判定する。新たに取得したライフログ情報と既にライフログデータベース２４に記録されているライフログ情報との間に差分がある場合には、ステップＳ３７で、ライフログ記録部２３は、新たに取得したライフログ情報をメモリに記録する。そして、メモリに記録されている情報をライフログ情報データセットとして返しライフログ情報の取得処理を終了する。既にライフログデータベース２４に記録されているライフログ情報と差分がない場合には、特に処理を行わずに、処理を終了する。

（Ｂ）は、ライフログ情報データセットの模式図である。図５に示す処理により作成されるライフログ情報データセットは、シーンごとすなわちカット画像ごとに端末識別情報及びタイムスタンプを取得する。ライフログ情報については、端末識別情報（及びタイムスタンプ）を１回取得するごとに、前回との差分分のライフログ情報とその日時とを全て取得するため、あるカット画像に対して取得した端末識別情報に対し、ライフログ情報が複数対応付けられる場合もある。

上記のとおり、本実施形態に係る録画再生装置１のデータ取得部２によれば、コンテンツのシーンの先頭のフレーム（カットフレーム）ごとに、視聴履歴データセットが作成され、視聴履歴データベース１６に順次記録されてゆく。また、録画再生装置１と接続されているテレビ１０２が携帯端末１０３と通信可能である場合には、携帯端末１０３からライフログを取得し、ライフログデータベース２４には、ライフログ情報データセットとして記録する。このように、コンテンツ検索に必要な情報として、メタデータ等の番組情報だけでなく、ユーザのライフログについても取得しておく。

データ取得部２において取得した視聴履歴及びライフログについては、インデキシング部３において、ユーザごとに、視聴したコンテンツの視聴履歴とライフログとを対応付ける。次に、インデキシング部３において、視聴履歴とライフログとを対応付ける処理について説明する。

図６は、インデキシング部３において、視聴履歴データセットと、対応するライフログ情報データセットとを結合させる処理を示したフローチャートである。
まず、ステップＳ４１で、個人識別情報抽出部３０は、個人識別情報の抽出を行う。ステップＳ４１においては、個人識別情報抽出部３０は、視聴履歴データベース１６に格納されている視聴者画像のうち、未インデキシングの視聴者画像を対象に、対応するライフログデータベース２４に格納されている端末識別情報を判断して、視聴者を特定する情報として対応付けを行う。未インデキシングの視聴者画像の全てについて、個人識別情報の抽出処理を実行すると、ステップＳ４２に進む。

ステップＳ４２で、個人識別情報抽出部３０は、ステップＳ４１において抽出した個人識別情報から、個人識別データセットを作成し、ステップＳ４３で、個人識別情報抽出部３０は、インデキシング部３の個人識別データベース３２に個人識別情報を記録し、ステップＳ４４に進む。

ステップＳ４４で、データ結合部４０は、個人識別情報に基づき、視聴履歴情報と、ライフログ情報との結合を行う。ステップＳ４４においては、視聴履歴データベース１６に格納されている未インデキシングのタイムスタンプを対象に、視聴履歴情報とライフログ情報とで、タイムスタンプが一致するものについて結合させる。未インデキシングのタイムスタンプの全てについて、データ結合処理を実行すると、ステップＳ４５に進む。

ステップＳ４５で、データ結合部４０は、ステップＳ４４において結合させた視聴履歴情報とライフログ情報とから、視聴者データセットを作成する。そして、ステップＳ４６で、作成した視聴者データセットをインデキシング部３の視聴者データベース４４に記録し、処理を終了する。

図７は、インデキシング部３の個人識別抽出部３０において個人識別情報を抽出する処理を示したフローチャートである。図７に示す処理は、図６のステップＳ４１の処理に相当する。

まず、ステップＳ５１で、顔画像取得・記録部３１は、視聴履歴データベース１６から、未インデキシングの視聴者画像及び対応する視聴者人数を取得し、ステップＳ５２で、顔画像取得・記録部３１は、視聴者人数が１人であるか否かを判定する。視聴者人数が１人でない場合は、ステップＳ５１において取得した視聴者画像中には複数の視聴者が含まれており、個人識別情報を抽出することができないと判断し、処理を終了する。

ステップＳ５２において、視聴者人数が１人である場合には、ステップＳ５３に進み、端末識別情報取得・記録部３３は、ステップＳ５１において取得した視聴者画像に対応する端末識別情報がライフログデータベース２４に存在するか否かを判定する。具体的には、タイムスタンプが視聴履歴データセットのタイムスタンプと一致するライフログ情報データセットのうち、ライフログ情報データセット中に１つの端末識別情報が格納されているデータセットが、ライフログデータベース２４に存在するか否かを判定する。

ステップＳ５３において、上記の条件を満たす端末識別情報がライフログデータベース２４には存在しないと判定した場合には、個人識別情報の抽出処理を終了する。
ステップＳ５３において、上記の条件を満たす端末識別情報がライフログデータベース２４に存在する場合には、ステップＳ５４に進み、端末識別情報取得・記録部３３は、上記の条件を満たす端末識別情報をライフログデータベース２４から取得し、ステップＳ５５に進む。

ステップＳ５５で、顔画像取得・記録部３１は、ステップＳ５１において取得した視聴者画像から、顔部の画像領域を取り出す。そして、ステップＳ５６で、端末識別情報取得・記録部３３は、ステップＳ５４において取得した端末識別情報を個人識別データセットに格納する。最後に、ステップＳ５７で、顔画像取得・記録部３１は、ステップＳ５５において取得した顔画像を個人識別データセットに格納し、個人識別情報の抽出処理を終了する。

図８は、データ結合部４０における視聴履歴情報とライフログ情報とを結合する処理を示したフローチャートである。図８に示す処理は、図６のステップＳ４４の処理に相当する。

まず、ステップＳ６１で、顔画像照合部４１は、視聴履歴データベース１６から未インデキシングの視聴履歴データセットを取得し、ステップＳ６２で、端末識別情報照合部４２は、ライフログデータベース２４から未インデキシングのライフログ情報データセットを取得する。

ステップＳ６３で、顔画像照合部４１は、個人識別データベース３２から個人識別データセットを取得して、ステップＳ６４で、顔部の画像の照合を行う。顔部の画像の照合は、ステップＳ６１で取得した視聴履歴データセットに含まれる視聴者画像中に、取得した個人識別データセットに含まれる顔画像と一致する領域が存在するか否かに基づき行う。

ステップＳ６５で、顔画像照合部４１は、ステップＳ６４の顔部の画像を照合した結果、視聴者画像中に個人識別データセットに含まれる顔画像に対応する領域が存在する場合には、個人識別データセットと視聴履歴データセットとを結合させる（結合（１））。ある視聴履歴データセットに含まれる視聴者画像が、複数の顔部の画像を含むものであり、それぞれの顔部の画像につき対応する個人識別データセット（の顔部の画像）がある場合には、それぞれの個人識別データセットと結合させる。

ステップＳ６６で、端末識別情報照合部４２は、ステップＳ６５で視聴履歴データセットと結合させた個人識別データセットに含まれる端末識別情報と、ステップＳ６２で取得したライフログ情報データセットに含まれる端末識別情報との照合を行う。ステップＳ６７で、ステップＳ６５で結合させたデータセットに、端末識別情報が一致するライフログ情報データセットを更に結合させる（結合（２））。

ステップＳ６８で、視聴者データ記録部４３は、視聴履歴データセット中の視聴者人数を参照し、視聴者人数が複数であるか否かを判定する。視聴者人数が複数の場合には、ステップＳ６９に進み、視聴者データ記録部４３は、ステップＳ６７で結合して得られたデータセットを、視聴者ごとに分割し、ステップＳ７０に進む。視聴者人数が１人の場合は、特に処理を行わずに、ステップＳ７０に進む。

ここで、ステップＳ６９のデータセットを分割する処理については、視聴履歴データセットの視聴者画像に複数の視聴者の顔部領域が存在する場合には、ステップＳ６５において、各顔画像に対応する個人識別データセットを結合させているためである。

最後に、ステップＳ７０で、視聴者データ記録部４３は、得られた視聴者データセットを、視聴者データベース４４に記録し、データ結合処理を終了する。
上記のとおり、本実施形態に係る録画再生装置１のインデキシング部３によれば、まず、視聴履歴の視聴者画像のうち、視聴者が１人である画像を、個人を識別できる画像と判断し、視聴者画像から顔画像を抽出する。そして、データ取得部２において、顔画像を抽出した視聴者画像のタイムスタンプを参照し、一致するタイムスタンプの付されているライフログ情報を取得する。タイムスタンプが視聴履歴のそれと一致するライフログ情報の中から、視聴者の携帯端末１０３を識別する端末識別情報を取り出して、顔画像と対応付けて個人識別情報として管理する。そして、個人識別情報中の顔画像に対応する顔画像が視聴者画像中に含まれる視聴履歴データセットと、顔画像と対応する端末識別情報と一致する端末識別情報が格納されているライフログ情報データセットとを結合させて、視聴者データセットを得る。

このように、録画再生装置１は、コンテンツを録画／再生している間（ユーザにとってはコンテンツの視聴中）に取得しておいた視聴者画像の顔部分の画像と、コンテンツの録画／再生中に視聴者の携帯端末１０３から取得した端末識別情報とを対応付けて、個人識別情報を作成する。個人識別情報の顔画像と一致する顔部分が視聴履歴中の視聴者画像に含まれるときは、個人識別情報の顔画像により識別されるユーザは、視聴者画像と関連付けられているシーンを視聴したと判断する。そして、視聴したと判断したシーンについての視聴履歴と、判断に利用した顔画像と対応する端末識別情報が示す携帯端末１０３から取得したライフログ情報とを対応付ける。視聴履歴に視聴者画像を含むことで、視聴履歴と、視聴者のライフログの関連付けが可能となる。

また、視聴履歴とライフログ情報とを利用して個人識別情報を作成し、作成した個人識別情報を利用して視聴履歴とライフログ情報との対応付けを行うことにより、例えば、あるコンテンツを視聴中にユーザが携帯端末１０３を保有していなければ、録画再生装置１は、視聴しているコンテンツについては視聴履歴を記録するが、ライフログについては記録することができない。このような場合であっても、後で他のコンテンツを視聴した際に携帯端末１０３を持っていた場合に、視聴履歴とともにライフログ情報を取得する。後で視聴したコンテンツについて、個人識別情報を作成できた場合には、先に視聴したコンテンツについての視聴履歴とライフログ情報とを対応付けることが可能となる。

すなわち、先に視聴したコンテンツについての視聴履歴中の視聴者画像から顔画像を取得して、個人識別情報中の顔画像と比較する。顔画像が一致した場合には、先に視聴したコンテンツについての視聴履歴が、どの個人識別情報（の端末識別情報）と対応するかを認識できる。このことを利用して、録画再生装置１は、端末識別情報により識別される携帯端末１０３（を保有するユーザ）ごとに、視聴したコンテンツについての視聴履歴を判断し、ライフログ情報との対応付けを行う。

ところで、視聴履歴データセット、ライフログ情報データセット、個人識別データセット及び視聴者データセットについては、例えば、リレーショナルデータベースで管理できるようにテーブル設計をし、各データセット間の関係を構築する。以下に、各データセットのテーブル設計及びデータセット間のリレーション関係について説明する。

図９〜図１１は、本実施形態に係る録画再生装置１の視聴履歴データベース１６、ライフログデータベース２４及び個人識別データベース３２にそれぞれ格納されるデータセットの例を示す図である。図９〜図１１を参照して、視聴履歴データセット、ライフログ情報データセット及び個人識別データセットのデータ構造を説明する。

図９に示すように、視聴履歴データセットは、視聴履歴識別情報（図９においては「視聴履歴ＩＤ」）、番組情報、カット画像、視聴者画像、視聴者人数、タイムスタンプ及びインデキシング状態を含む。図９においては、番組情報の例としてチャンネルのみを示しているが、上記のとおり、番組情報としては、番組に付されたメタデータが格納されている。

インデキシング状態には、インデキシング部３においてライフログ情報との関連付けを行ったか否かを示す情報が格納される。例えば、個人識別情報抽出部３０における個人識別情報の抽出処理が完了しているか否かを示す情報と、データ結合部４０におけるデータ結合処理が完了しているか否かを示す情報の組が格納される。

図１０に示すように、ライフログ情報データセットは、ライフログ情報識別情報（図１０においては「ライフログ情報ＩＤ」）、タイムスタンプ、端末識別情報、ライフログ、ライフログ日時及びインデキシング状態を含む。

インデキシング状態は、インデキシング部３において、視聴履歴との関連付けを行ったか否かを示す情報が格納される。図９に示す視聴履歴データセットのインデキシング状態と同様に、例えば、個人識別情報抽出部３０及びデータ結合部４０のそれぞれについて処理が実行済みであるか否かを示す情報が格納される。

図１０に示すライフログ情報データセットのうち、タイムスタンプには、ライフログ情報データセットを取得するときに、視聴履歴データセットの取得日時と対応させて設定した日時が格納されている。ライフログ日時については、携帯端末１０３から取得したライフログに付されたタイムスタンプが示す日時情報が格納されている。

図１１に示すように、個人識別データセットは、端末識別情報及び顔画像を含む。上記のとおり、顔画像は、図１０の視聴履歴データセットの視聴者画像から抽出した顔画像であり、視聴履歴データセットのタイムスタンプと一致するタイムスタンプのライフログ情報データセット中の端末識別情報が顔画像と対応付けられている。

上記のインデキシング部３のデータ結合方法によれば、図９に示す視聴履歴データセットのうち、視聴者人数が１人であって、一致するタイムスタンプがライフログ情報データセットに含まれる場合には、視聴者画像から取り出した顔画像と、端末識別情報とを対応付けて個人識別データセットに記録している。

図９〜図１１に示す例では、視聴履歴識別情報「ｘ１」のタイムスタンプ「２００８年１０月２８日１０時５分１０秒」と一致するライフログ情報識別情報「ｙ１」がライフログデータベース２４に存在するので、視聴履歴識別情報「ｘ１」視聴者画像から取得した顔画像と、ライフログ識別情報「ｙ１」の端末識別情報とを対応付けて格納している。

図１２は、データセット間のリレーション設計を説明する図である。
個人識別データセットを利用して、視聴履歴データセット及びライフログ情報データセットを結合して、視聴者データセットを作成する。

個人識別データセットの端末識別情報及び顔画像の組み合わせから特定される視聴者ごとに、視聴履歴データセット及びライフログ情報データセットにつきそれぞれ結合（１）及び結合（２）の処理を実行する。これにより、視聴者データセットは、視聴者ごとに用意されることとなる。

このようにして作成された視聴者データセットには、端末識別情報と視聴者が視聴したコンテンツのメタデータやカット画像が対応付けられており、これにより、視聴者が視聴したコンテンツの検索が可能となる。

また、視聴者のライフログについても視聴者データセットに含まれるため、本実施形態に係る録画再生装置１のユーザ、すなわちコンテンツの視聴者は、コンテンツ検索時には、ライフログを参照して、自身の活動と視聴したコンテンツとの関係を利用して、より容易に所望のコンテンツ検索を行うことが可能となる。

上記のとおり、本実施形態に係る録画再生装置１によれば、図２のデータ取得部２において取得したデータをインデキシング部３において結合することにより、視聴者ごとの聴者データセットを作成しておく。携帯端末１０３を保有するユーザによるコンテンツ検索要求があった場合には、作成した視聴者データセットを利用して、コンテンツの検索を行う。

図１３は、検索処理部４におけるコンテンツの検索処理を示したフローチャートである。ユーザからのコンテンツの検索要求を録画再生装置１において受信したことを契機として、録画再生装置１の検索処理部４は、図１３に示す処理を実行する。ここでは、本実施形態に係る録画再生装置１は、接続するテレビ１０２のディスプレイ１０３を介してユーザからの検索クエリの受け付けや、検索結果の出力を行うこととする。

まず、ステップＳ８１で、端末識別情報取得部２１は、テレビ１０２の通信部１０９を介して携帯端末１０３から端末識別情報を受信すると、ステップＳ８２で、照合部５０は、視聴者データベース４４内を照合する。

なお、図１３においては、ステップＳ８１においてユーザの携帯端末１０３から受信した端末識別情報を利用して、ステップＳ８２で、図１２の内部結合（２）（図８のステップＳ６７）と同様の方法により、視聴者データベース４４内の端末識別情報に対するマッチング処理を実施する場合について示しているが、これには限らない。端末識別情報以外にも、例えば視聴者画像を、視聴者を特定するための情報（視聴者特定情報）として利用することができる。具体的には、ステップＳ８１でユーザの顔部を含む画像を取得して、ステップＳ８２において、図１２の内部結合（１）（図８のステップＳ６５）の顔照合と同様の方法により、視聴者データベース４４内の視聴者画像に対するマッチング処理を実施する構成とすることもできる。

ステップＳ８３で、照合部５０は、対応する視聴者データセットを取得する。なお、図１３においては記載を省略しているが、対応する視聴者データセットが視聴者データベース４４内に存在しない場合には、コンテンツの検索処理を終了する。

ステップＳ８４で、表示部６０は、検索条件の入力画面を、例えばテレビ１０２のディスプレイ２１等に表示させ、ステップＳ８５で、照合部５０は、ユーザが入力した検索クエリをステップＳ８３で取得した視聴者データセットに対して照合する。ステップＳ８６で、表示部６０は、ステップＳ８５における照合結果をテレビ１０２のディスプレイ１０４等に出力表示させる。

ステップＳ８７で、テレビ１０２のディスプレイを介して、ユーザが検索処理を終了する旨の指示を入力したか否かを判定する。検索終了の指示を受け付けたと判定した場合には、コンテンツの検索処理を終了する。

ステップＳ８７において、検索終了の指示を受け付けていないと判定した場合には、ステップＳ８４に戻り、表示部６０は、ステップＳ８６の検索結果の表示画面から、検索条件の入力画面へと表示を切り替える。以降は、ユーザから検索終了の指示が入力されるまで、ステップＳ８４以降の処理を繰り返す。

なお、上記のコンテンツの検索処理のうち、ステップＳ８１においてユーザの携帯端末１０３から端末識別情報を取得する処理については、録画再生装置１が直接携帯端末１０３と通信を行う構成としてもよい。あるいは、テレビ１０２等が携帯端末１０３と通信を行い、録画再生装置１は、テレビ１０２において取得した端末識別情報をテレビ１０２から受信する構成としてもよい。

図１４は、表示部６０によるコンテンツの検索結果の出力表示例である。時間軸に沿って、ある視聴者が視聴したコンテンツについての視聴履歴データと、視聴者のライフログ情報との対応関係を図示している。

実施例では、時間軸に沿って、検索の結果得られたコンテンツのカット画像のサムネイル画像を表示させ、視聴者のライフログが存在する場合には、ライフログの内容等についても表示する。視聴履歴については、図９のタイムスタンプに基づき、時系列で表示する。ライフログについては、図１０のライフログ日時に基づき、時系列で表示する。なお、図１４中では、視聴履歴に表示するサムネイル画像は、チャンネルごとに列を変えて表示している。

また、実施例では、視聴履歴のうち、視聴者人数についても表示させている。ユーザは、画面に表示されたライフログ情報及び視聴履歴を参照して、自身の行動を参考に探しているコンテンツを得ることができる。例えば、旅行の後に誰と一緒に視聴したコンテンツであるか等の情報に基づき、所望のシーンを探し出すことがより容易にできるようになる。

図１４に示した検索結果のサムネイル画像と、サムネイル画像に対応するコンテンツのシーンとにリンクを張っておき、ユーザがサムネイル画像を指定した場合には、対応するシーンを再生する構成とすることもできる。録画再生装置１がＰＣ等に内蔵される場合には、指定されたシーンに関するウェブサイトへアクセスする構成とすることもできる。

以上説明したように、本実施形態に係る録画再生装置１によれば、コンテンツを視聴中のユーザが保有する携帯端末１０３を認識できる場合には、携帯端末１０３からライフログ情報を取得しておく。これとともに、コンテンツのシーンごと（カット画像）ごとにユーザの画像を視聴者画像として取得しておく。ライフログ情報及び視聴者画像に付されたタイムスタンプから、視聴者がコンテンツのどのシーンを視聴していたかを判断し、コンテンツのメタデータ等の視聴履歴と、視聴者のライフログとをシーンごとに関連付けて記録する。コンテンツ検索時においては、メタデータ等のコンテンツに係わる情報だけでなく、ライフログ等の視聴者の活動記録についても検索条件に利用することが可能となる。

なお、上記においては、テレビ番組等のコンテンツを検索する方法を例に説明したが、これには限らない。静止画像、文書データあるいは音楽データ等の各種データ検索にも適用が可能である。

例えば、文書データに適用する場合には、ユーザがある文書ファイルを開いているときに、カメラを内蔵するＰＣにおいてユーザの画像を閲覧者画像として取得し、文書ファイルに付されたメタデータとともに閲覧履歴としてタイムスタンプを付して記録しておく。これとともに、ユーザが文書ファイルを開いているときに、ユーザの携帯端末からライフログを取得して記録しておく。ライフログと閲覧履歴との関連付けは、閲覧者画像から抽出した顔画像と、携帯端末から取得した端末識別情報とから作成した個人識別情報を利用する。これにより、ユーザは、自身のライフログについても文書検索を行うことが可能となる。

ところで、図１に示す動画検索装置１００や、図２に示す録画再生装置１は、例えば、図１５に示すような情報処理装置（コンピュータ）を用いて構成することができる。図１５の情報処理装置は、ＣＰＵ（中央処理装置）１００１、メモリ１００２、入力装置１００３、出力装置１００４、外部記憶装置１００５、媒体駆動装置１００６、ネットワーク接続装置１００７を備え、それらはバス１００８により互いに接続されている。

メモリ１００２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、必要な処理を行う。

図２の視聴者画像取得部１１、番組情報取得部１２、カット画像取得部１３、タイムスタンプ取得部１４、視聴履歴記録部１５、端末識別情報取得部２１、ライフログ情報取得部２２、ライフログ記録部２３、顔画像取得・記録部３１、端末識別情報取得・記録部３３、顔画像照合部４１、端末識別情報照合部４２、視聴者データ記録部４３、照合部５０及び表示部６０は、メモリ１００２に格納されたプログラムを実行することにより実現される機能に対応する。

入力装置１００３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、視聴者等のユーザからの指示や情報の入力に用いられる。出力装置１００４は、例えば、ディスプレイ等であり、ユーザに対して処理結果等を出力するために用いられる。

外部記憶装置１００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１００５に、上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

媒体駆動装置１００６は、可搬記録媒体１００９を駆動し、その記録内容にアクセスする。可搬記録媒体１００９は、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１００９に上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

ネットワーク接続装置１００７は、ＬＡＮ（local area network）、インターネット等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、上記プログラムおよびデータを外部の装置からネットワーク接続装置１００７を介して受け取り、それらをメモリ１００２にロードして使用する。

図１６は、図１５の情報処理装置にプログラムおよびデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体１００９やサーバ１１０１のデータベース１１０３に格納されたプログラムおよびデータは、情報処理装置１１０２のメモリ１００２にロードされる。サーバ１１０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して情報処理装置１１０２に送信する。ＣＰＵ１００１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
コンテンツの録画／再生の指示を受け付けると、該コンテンツの録画／再生中に視聴中の視聴者を特定する視聴者特定情報の取得を行うデータ取得部と、
前記データ取得部が取得した前記視聴者特定情報と、録画再生部が録画／再生しているコンテンツの録画再生シーンとを関連付けて視聴者データベースに記録するインデキシング部と、
前記視聴者特定情報を受け付け、前記視聴者データベースを参照して、前記受け付けた前記視聴者特定情報と関連付けられたコンテンツの録画再生シーンを抽出し、該抽出したコンテンツの録画再生シーンを出力する検索処理部と、
を備えることを特徴とする録画再生装置。
（付記２）
前記録画再生部において前記コンテンツの録画再生シーンを録画／再生しているときに、該コンテンツの録画再生シーンの視聴者を示す視聴者情報を取得し、該視聴者情報を、該視聴者についての該コンテンツの録画再生シーンの視聴履歴として、該コンテンツの録画再生シーンと関連付けを行う履歴取得部と、
を更に備え、
前記インデキシング部は、前記履歴取得部において取得した前記視聴者情報と、前記データ取得部において取得した前記視聴者特定情報とを利用して、前記視聴者が視聴した前記コンテンツの録画再生シーンと該視聴者特定情報との関連付けを行う
ことを特徴とする付記１記載の録画再生装置。
（付記３）
前記インデキシング部は、前記視聴者情報と、前記視聴者特定情報に含まれる前記視聴者の端末装置を識別する端末識別情報とを関連付けておき、該視聴者情報と該端末識別情報との関連付けに基づき、該視聴者情報を含む前記コンテンツの録画再生シーンについての視聴履歴と、該端末識別情報により識別される前記端末装置から受信した該視聴者の活動記録とを関連付けて記録する
ことを特徴とする付記２記載の録画再生装置。
（付記４）
前記検索処理部において、前記視聴者の活動記録に係わる情報を前記視聴者特定情報とともに受け付けた場合には、前記抽出部は、該視聴者の活動記録と関連付けられた前記コンテンツの録画再生シーンを抽出する
ことを特徴とする付記３記載の録画再生装置。
（付記５）
前記インデキシング部は、
前記視聴者情報に含まれる前記視聴者の画像から顔部を抽出して顔画像を取得し、該顔画像と該視聴者の端末装置を識別する端末識別情報とを関連付けて、個人を識別する個人識別情報として記録しておき、
前記視聴履歴中の前記視聴者情報に含まれる前記視聴者の画像に、複数の視聴者が含まれる場合には、該視聴者の画像の顔部分と前記個人識別情報の前記顔画像とが合致するか否かを判定し、該視聴者の画像の顔部分と該個人識別情報の該顔画像とが合致する場合には、該顔画像と対応する前記端末識別情報が示す前記端末装置から受信した前記視聴者特定情報と、前記コンテンツの録画再生シーンについての視聴履歴との関連付けを行う
ことを特徴とする付記２記載の録画再生装置。
（付記６）
コンテンツの検索を実行するコンテンツ検索プログラムであって、
コンテンツの録画／再生の指示を受け付けると、該コンテンツの録画／再生中に視聴中の視聴者を特定する視聴者特定情報の取得を行い、
前記取得した前記視聴者特定情報と、録画再生部が録画／再生しているコンテンツの録画再生シーンとを関連付けて視聴者データベースに記録し、
前記視聴者特定情報を受け付け、前記視聴者データベースを参照して、前記受け付けた前記視聴者特定情報と関連付けられたコンテンツの録画再生シーンを抽出し、該抽出したコンテンツの録画再生シーンを出力する、
処理をコンピュータに実行させることを特徴とするコンテンツ検索プログラム。
（付記７）
前記録画再生部において前記コンテンツの録画再生シーンを録画／再生しているときに、該コンテンツの録画再生シーンの視聴者を示す視聴者情報を取得し、該視聴者情報を、該視聴者についての該コンテンツの録画再生シーンの視聴履歴として、該コンテンツの録画再生シーンと関連付けを行う、
処理を更にコンピュータに実行させ、
前記視聴者データベースに前記視聴者特定情報と前記コンテンツの録画再生シーンとを関連付けて記録するステップにおいては、前記視聴者情報と、前記視聴者特定情報とを利用して、前記視聴者が視聴した前記コンテンツの録画再生シーンと該視聴者特定情報との関連付けを行う
ことを特徴とする付記６記載のコンテンツ検索プログラム。
（付記８）
前記視聴者データベースに前記視聴者特定情報と前記コンテンツの録画再生シーンとを関連付けて記録するステップにおいては、前記視聴者情報と、前記視聴者特定情報に含まれる前記視聴者の端末装置を識別する端末識別情報とを関連付けておき、該視聴者情報と該端末識別情報との関連付けに基づき、該視聴者情報を含む前記コンテンツの録画再生シーンについての視聴履歴と、該端末識別情報により識別される前記端末装置から受信した該視聴者の活動記録とを関連付けて記録する
ことを特徴とする付記７記載のコンテンツ検索プログラム。
（付記９）
前記視聴者の活動記録に係わる情報を前記視聴者特定情報とともに受け付けた場合には、該視聴者の活動記録と関連付けられた前記コンテンツの録画再生シーンを抽出する
ことを特徴とする付記８記載のコンテンツ検索プログラム。
（付記１０）
前記視聴者データベースに前記視聴者特定情報と前記コンテンツの録画再生シーンとを関連付けて記録するステップにおいては、
前記視聴者情報に含まれる前記視聴者の画像から顔部を抽出して顔画像を取得し、該顔画像と該視聴者の端末装置を識別する端末識別情報とを関連付けて、個人を識別する個人識別情報として記録しておき、
前記視聴履歴中の前記視聴者情報に含まれる前記視聴者の画像に、複数の視聴者が含まれる場合には、該視聴者の画像の顔部分と前記個人識別情報の前記顔画像とが合致するか否かを判定し、該視聴者の画像の顔部分と該個人識別情報の該顔画像とが合致する場合には、該顔画像と対応する前記端末識別情報が示す前記端末装置から受信した前記視聴者特定情報と、前記コンテンツの録画再生シーンについての視聴履歴との関連付けを行う
ことを特徴とする付記７記載のコンテンツ検索プログラム。
（付記１１）
データ出力の指示を受け付けると、該データの出力中にユーザを特定するユーザ特定情報の取得を行うデータ取得部と、
前記データ取得部が取得した前記ユーザ特定情報と、出力中のデータとを関連付けてユーザデータベース記録するインデキシング部と、
前記ユーザ特定情報を受け付け、前記ユーザデータベースを参照して、前記受け付けた前記ユーザ特定情報と関連付けられたデータを抽出し、該抽出したデータを出力する検索処理部と、
を備えることを特徴とする情報処理装置。

１ 録画再生装置
２ データ取得部
３ インデキシング部
４ 検索処理部
１０ 視聴検知部
１１ 視聴者画像取得部
１２ 番組情報取得部
１３ カット画像取得部
１４ タイムスタンプ取得部
１５ 視聴履歴記録部
１６ 視聴履歴データベース
２０ ライフログ取得部
２１ 端末識別情報取得部
２２ ライフログ情報取得部
２３ ライフログ記録部
２４ ライフログデータベース
３０ 個人識別情報抽出部
３１ 顔画像取得・記録部
３２ 個人識別データベース
３３ 端末識別情報取得・記録部
４０ データ結合部
４１ 顔画像照合部
４２ 端末識別情報照合部
４３ 視聴者データ記録部
４４ 視聴者データベース
５０ 照合部
６０ 表示部
１００ 動画検索装置
１０１ 撮影装置（カメラ）
１０２ 再生装置（テレビ）
１０３ 個人端末（携帯端末）
１０４ 表示装置（ディスプレイ）
１０５ テレビ受信部
１０６ 計時部
１０７ 通信部
１０８ メモリ
１０９ 通信部

Claims (4)

1. コンテンツの録画／再生の指示を受け付けると、該コンテンツの録画／再生中に視聴中の視聴者を特定する視聴者特定情報の取得を行うデータ取得部と、
   前記コンテンツの録画再生シーンを録画／再生しているときに、該コンテンツの録画再生シーンの視聴者を示す、視聴者人数を含む視聴者情報を取得し、該視聴者情報を、該視聴者についての該コンテンツの録画再生シーンの視聴履歴として、該コンテンツの録画再生シーンと関連付けを行う履歴取得部と、
   前記履歴取得部において取得した前記視聴者情報と、前記データ取得部において取得した前記視聴者特定情報とを利用して、前記視聴者情報が含む視聴者人数が一人の場合に、前記視聴者が視聴した前記コンテンツの録画再生シーンと該視聴者特定情報とを関連付けて視聴者データベースに記録するインデキシング部と、
   前記視聴者特定情報を受け付け、前記視聴者データベースを参照して、前記受け付けた前記視聴者特定情報と関連付けられたコンテンツの録画再生シーンを抽出し、該抽出したコンテンツの録画再生シーンを出力する検索処理部と、
   を備えることを特徴とする録画再生装置。
2. 前記インデキシング部は、前記視聴者情報と、前記視聴者特定情報に含まれる前記視聴者の端末装置を識別する端末識別情報とを関連付けておき、該視聴者情報と該端末識別情報との関連付けに基づき、該視聴者情報を含む前記コンテンツの録画再生シーンについての視聴履歴と、該端末識別情報により識別される前記端末装置から受信した該視聴者の活動記録とを関連付けて記録する
   ことを特徴とする請求項１記載の録画再生装置。
3. 前記インデキシング部は、
   前記視聴者情報に含まれる前記視聴者の画像から顔部を抽出して顔画像を取得し、該顔画像と該視聴者の端末装置を識別する端末識別情報とを関連付けて、個人を識別する個人識別情報として記録しておき、
   前記視聴履歴中の前記視聴者情報に含まれる前記視聴者の画像に、複数の視聴者が含まれる場合には、該視聴者の画像の顔部分と前記個人識別情報の前記顔画像とが合致するか否かを判定し、該視聴者の画像の顔部分と該個人識別情報の該顔画像とが合致する場合には、該顔画像と対応する前記端末識別情報が示す前記端末装置から受信した前記視聴者特定情報と、前記コンテンツの録画再生シーンについての視聴履歴との関連付けを行う
   ことを特徴とする請求項１記載の録画再生装置。
4. コンテンツの検索を実行するコンテンツ検索プログラムであって、
   コンテンツの録画／再生の指示を受け付けると、該コンテンツの録画／再生中に視聴中の視聴者を特定する視聴者特定情報の取得を行い、
   前記コンテンツの録画再生シーンを録画／再生しているときに、該コンテンツの録画再生シーンの視聴者を示す、視聴者人数を含む視聴者情報を取得し、該視聴者情報を、該視聴者についての該コンテンツの録画再生シーンの視聴履歴として、該コンテンツの録画再生シーンと関連付けを行い、
   前記視聴者情報と、前記視聴者特定情報とを利用して、前記視聴者情報が含む視聴者人数が一人の場合に、前記視聴者が視聴した前記コンテンツの録画再生シーンと該視聴者特定情報とを関連付けて視聴者データベースに記録し、
   前記視聴者特定情報を受け付け、前記視聴者データベースを参照して、前記受け付けた前記視聴者特定情報と関連付けられたコンテンツの録画再生シーンを抽出し、該抽出したコンテンツの録画再生シーンを出力する、
   処理をコンピュータに実行させることを特徴とするコンテンツ検索プログラム。