JP5630983B2 - 再生装置、コンテンツの再生方法 - Google Patents

Description

本発明は、動画コンテンツの再生装置において、他の視聴者と動画コンテンツの楽しみを共有することができる再生装置に関する。

従来、テレビ放送等の動画コンテンツを視聴する場合、家族など親しい間柄の人たちと同時に視聴して、当該動画コンテンツの楽しみを共有することが一般的だった。しかし現在は、核家族化が進行し、家族数そのものが減少している。さらに、ライフスタイルの多様化に伴い、家族同士が同じ時間に集まることが難しくなっている。このような状況より、視聴者の多くは家族と同時に動画コンテンツを視聴することが困難になり、家族間で動画コンテンツの楽しみを共有する機会が激減している。

もちろん、視聴者が別々に視聴後、それぞれの感想を述べることはできる。また、特許文献１には、番組中の同一の映像に対して各ユーザがコメントし、当該コメントをネットワーク上で共有する方法が開示されている。また、引用文献２には、テレビ視聴中に特定コマを指定してメッセージを付加し、当該メッセージを友人知人などに送信することが開示されている。

しかし、コメントやメッセージ等は当該動画コンテンツの特定シーンに対する限られた感想でしかない。したがって、動画コンテンツ全体を通して、家族など親しい間柄の視聴者がどのシーンでどのようなリアクションを行ったかを詳細に知ることは不可能である。

特開２００６−１５５３８４公報 特開２００４−２５９３７５公報

動画コンテンツの視聴を一緒に行わなくても、自分以外の視聴者がどのようなリアクションを行ったかを知ることができる動画コンテンツの再生装置を提供する。

本発明は、動画コンテンツの再生を行う再生装置において、動画コンテンツを保存するコンテンツ保存部と、前記動画コンテンツを視聴する視聴者の画像を取得する画像取得部と、前記動画コンテンツと前記画像とを対応づけて保存する画像保存部と、を有し、次に前記動画コンテンツを再生するとき、前記画像保存部の前記画像を同期させて表示し、前記動画コンテンツの一部が重複して再生された場合、前記画像のうち、前記重複して再生された部分に対応する部分を削除することを特徴とする。

前記画像取得部は、前記画像と、前記画像を取得したときの前記動画コンテンツの位置と対応づけて取得してもよい。

前記再生装置は、さらに前記画像から視聴者の顔を認識する顔認識部を有し、認識された前記視聴者の顔部分を前記画像からトリミングしてもよい。

前記動画コンテンツを再生中に特殊再生が行われた場合、前記取得部は前記画像の取得を中止し、前記画像のうち、前記特殊再生が行われた部分に対応する部分に、ダミーデータを挿入してもよい。

前記特殊再生とは、早送り、一時停止、又は再生の中止であってもよい。

また、本発明は、動画コンテンツの再生を行う再生装置におけるコンテンツの再生方法において、動画コンテンツを保存するコンテンツ保存ステップと、前記動画コンテンツを視聴する視聴者の画像を取得する画像取得ステップと、前記動画コンテンツと前記画像とを対応づけて保存する画像保存ステップと、次に前記動画コンテンツを再生するとき、前記画像保存ステップで保存した前記画像を同期させて表示するステップと、前記動画コンテンツの一部が重複して再生された場合、前記画像のうち、前記重複して再生された部分に対応する部分を削除するステップと、を有することを特徴とする。

本発明によれば、動画コンテンツの再生と同期して他の視聴者の顔動画を見ることができる。したがって、家族など親しい間柄の人たちが動画コンテンツのどの部分に対してどのようなリアクションを行ったかを知り、時間や場所を選ばずに家族間で動画コンテンツの楽しみを共有することができる。

本実施形態を構成する再生装置の機能ブロックを示す図である。 本実施形態の再生処理部の動作を示す図である。 本実施形態のモニタを示す図である。 第１、第２及び第３実施例を示す図である。

以下、図面を参照して本発明を実施するための形態について詳細に説明する。図１は、本実施形態を構成する再生装置の機能ブロックを示す図である。本実施形態の再生装置は、再生処理部１、モニタ２、コントローラ３、カメラ４、及びマイク５から構成される。

再生処理部１は、コンテンツ保存部１１、再生制御部１２、コンテンツ再生部１３、及び顔動画処理部１４を有する。

コンテンツ保存部１１には、予め動画コンテンツが保存されている。動画コンテンツは、例えば、テレビで放送された番組、インターネットからダウンロードした動画ファイル、ビデオで撮影された動画ファイルなどが考えられる。

再生制御部１２は、コントローラ３から送信された信号を受信する。信号の種類には、動画コンテンツの指定、動画コンテンツの再生、巻き戻し、早送りなどが含まれる。また、再生制御部１２は、コンテンツ再生部１３に対してコントローラ３から受信した信号に対応づけられた処理を命令する。

コンテンツ再生部１３は再生制御部１２の命令にしたがい、コンテンツ保存部１１より動画コンテンツを読み出し、重ね合わせ部１１８を介してモニタ２に出力する。また、コンテンツ再生部１３は、動画コンテンツの再生開始及び再生終了を、同期制御部１１１に通知する。

顔動画処理部１４は、同期制御部１１１、記録部１１２、一時記録保存部１１３、顔認識部１１４、顔動画作成部１１５、顔動画保存部１１６、顔動画再生部１１７、及び重ねあわせ部１１８を有する。

同期制御部１１１は、コンテンツ再生部１３より通知された再生開始及び再生終了を、記録部１１２に通知する。また、動画コンテンツの再生開始が通知されたとき、同期制御部１１は、当該動画コンテンツに対応する顔動画がないか、顔動画保存部１１６に保存された顔動画を検索する。対応する顔動画が存在する場合、当該顔動画を動画コンテンツと同期して再生するよう顔動画再生部１１７に命令する。

記録部１１２は、同期制御部１１１から送信された再生開始及び再生終了を受信する。再生開始が通知されたとき、記録部１１２はカメラ４及びマイク５を起動し、モニタ３の前面周辺、つまり視聴者の行動を記録する。また、再生終了が通知されたとき、記録部１１２はカメラ４及びマイク５を終了し、カメラ４及びマイク５によって取得した画像データ及び音声データ（以下記録データと呼ぶ）を一時記録保存部１１３に保存するとともに、記録終了を顔動画作成部１１５に通知する。

顔認識部１１４は、通常用いられる顔認識技術によって、一時記録保存部１１３に保存された記録データのうち、画像データのどの部分に視聴者の顔が含まれているかを検知する。

顔動画作成部１１５は、画像データより顔認識部１１４に検知された顔部分をトリミングする。また、顔動画作成部１１５は、トリミングした画像データ及び音声データ（以下顔動画と呼ぶ）を、当該顔動画が記録されたときに再生された動画コンテンツに対応づけ、顔動画保存部１１６に保存する。

重ねあわせ部１１８は、コンテンツ再生部１３により再生処理された動画コンテンツ、及び顔動画再生部１１７より再生処理された顔動画を重ねあわせ、モニタ２に表示する。

コントローラ３は、視聴者の操作によって再生処理部１に信号を送信する。コントローラ３は再生処理部１に一体成型されていてもよいし、別体であって赤外線通信等で再生処理部１に信号を送信してもよい。

カメラ４及びマイク５は記録部１１２の命令にしたがって起動し、モニタ２の前面近傍、つまり視聴者の動作を記録データに記録する。同様に、カメラ４及びマイク５は記録部１１２の命令に従って記録を終了し、電源をＯＦＦにする。カメラ４及びマイク５は、モニタ２又は再生処理部１と一体であってもよいし、別体であってもよい。また、カメラ４及びマイク５は一体形成されていてもよいし、それぞれ別体であってもよい。

続いて、図２を参照して、本実施形態の再生処理部１の動作について説明する。視聴者はコントローラ３を用いて任意の動画コンテンツを指定し、指定した動画コンテンツの再生をコントローラ３より再生信号として送信する（Ｓ１１）。再生信号を受信した再生制御部１２は、コンテンツ再生部１３に指定動画コンテンツの再生を命じる。コンテンツ再生部１３は、コンテンツ保存部１１より指定動画コンテンツを読み出し、指定動画コンテンツの再生処理を行う（Ｓ１２）。コンテンツ再生部１３は、再生処理を行うと同時に、同期制御部１１１に対して指定動画コンテンツの再生開始を通知する。同期制御部１１１は、再生開始を記録部１１２に通知する。通知を受けた記録部１１２は、カメラ４及びマイク５を起動し、視聴者の動作の記録を開始する（Ｓ２１）。

指定動画コンテンツがＭＰＥＧ形式で圧縮された動画である場合、指定動画コンテンツの再生中に、同期制御部１１１は、コンテンツ再生部１３より指定動画コンテンツの現在のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を取得する。同期制御部１１１は、取得したＰＴＳを記録部１１２に通知し、記録部１１２は動画コンテンツのＰＴＳと同一になるように、取得中の記録データのＰＴＳを記録する。

指定動画コンテンツの再生が終了したとき（Ｓ１３）、コンテンツ再生部１３は再生終了を同期制御部１１１に通知し、同期制御部１１１は再生終了を記録部１１２に通知する。通知を受けた記録部１１２はカメラ４及びマイク５の動作を終了し、カメラ４及びマイク５によって取得した記録データを一時記録保存部１１３に保存するとともに、記録終了を顔動画作成部１１５に通知する（Ｓ２２）。

記録終了が通知されたあと、顔認識部１１４は一時記録保存部１１３に記録された記録データのうち画像データの中から視聴者の顔を検知する（Ｓ２３）。そして、顔動画作成部１１５は画像データから顔部分をトリミングし、音声データと合わせて顔動画を作成する（Ｓ２４）。作成された顔動画は指定動画コンテンツに対応づけられ、画像保存部１１６に保存される（Ｓ２５）。顔動画が保存されると、一時記録保存部１１３に保存された記録データは消去される。

一方、再生信号を通知された同期制御部１１１は、指定動画コンテンツに対応する顔動画がないか、顔動画保存部１１６を検索する（Ｓ３１）。指定動画コンテンツに対応づけられた顔動画が存在する場合、同期制御部１１１は、顔動画再生部１１７に当該顔動画を動画コンテンツと同期して再生するように命令する。顔動画再生部１１７は、当該顔動画を再生処理する（Ｓ３２）。

指定動画コンテンツがＭＰＥＧ形式で圧縮された動画である場合、顔動画の再生中に、同期制御部１１１は、コンテンツ再生部１３より指定動画コンテンツの現在のＰＴＳを取得する。同期制御部１１１は、取得したＰＴＳ顔動画再生部１１７に通知し、顔動画再生部１１７は指定動画コンテンツのＰＴＳと同じ再生位置にて顔動画の再生を行う。ＰＴＳを一致させることによって、指定動画コンテンツと顔動画を完全に同期させることができる。

Ｓ３１において、指定動画コンテンツに対応する顔動画がない場合には、動画コンテンツの再生のみを行う。

指定動画コンテンツに対応する顔動画がある場合、重ねあわせ部１１８には、コンテンツ再生部１３が再生処理した指定動画コンテンツ、及び顔動画再生部１１７が再生処理した顔動画の両方が入力される。重ねあわせ部１１８は指定動画コンテンツ及び顔動画を重ねあわせ、モニタ２に出力する。モニタ２に出力された表示を図３に示す。図３では、モニタ２全体に指定動画コンテンツを表示し、その左上に２つの顔動画を表示した例である。

なお、本実施形態では、指定動画コンテンツを再生する際に、指定画像コンテンツに対応する既存の顔動画の再生、及び現在の視聴者の記録データの取得を同時に行う場合について説明した。しかし、どちらか一方の動作のみを行うことも可能である。例えば、指定動画コンテンツと顔動画の再生のみを行い、カメラ４及びマイク５による記録を行わない場合も考えられる。

また、本実施形態では、コンテンツ保存部に予め保存された動画コンテンツを再生する場合について説明した。しかし、放送中の動画コンテンツについて視聴と録画を同時に行う場合であっても適用可能である。
＜第１実施例＞
本実施例では、視聴者が一つの動画コンテンツを通常再生した場合を考える。本明細書における通常再生とは、早送り、巻き戻し、一時停止、倍速再生やスロー再生などの特殊再生を含まない再生のことである。

図４（ａ）は本実施例における動画コンテンツ、記録データ及び顔動画の再生時間を示す。動画コンテンツは通常再生されるため、動画コンテンツの再生時間２１と、当該動画コンテンツを再生中に取得した記録データの再生時間２２とは同じ長さである。そこで、顔動画を作成する際には、単純に記録データのうちの画像データから顔部分をトリミングし、音声データと合わせる処理を行えばよい。
＜第２実施例＞
本実施例では、視聴者が一つの動画コンテンツの一部を早送りした場合を考える。

図４（ｂ）は本実施例における動画コンテンツ、記録データ及び顔動画の再生時間を示す。再生した動画コンテンツについては、第１実施例と同一のものとする。動画コンテンツを再生中、視聴者は２１１から２１２まで早送りを行った。これにより、記録データの再生時間３２は、動画コンテンツ本来の再生時間２１よりも短くなる。そこで、顔動画の作成において、動画コンテンツの２１１から２１２までに対応する部分については、ダミーデータ２１３を挿入する。ダミーデータ２１３は、例えば、視聴者が未視聴である旨を表示するデータである。すると、動画コンテンツと顔動画の再生時間は同一となる。その後、他の視聴者が動画コンテンツを再生した場合、２１１から２１２までを通常再生すると、先の視聴者は２１１から２１２まで未視聴である旨が表示される。

なお、コントローラ３から早送り信号が送信された場合、再生制御部１２はコンテンツ再生部１３に早送りを命令し、コンテンツ再生部１３は動画コンテンツに対して早送り処理を行う。本実施例においては、コンテンツ再生部１３は早送り処理を行うのと同時に、同期制御部１１１に早送りを通知し、同時制御部１１１は記録部１１２に早送りを通知する。早送りが行われている間、記録部１１２は、カメラ４及びマイク５による記録を中止する。その後、動画コンテンツの早送りが終了し、通常再生に戻った場合には、カメラ４及びマイク５による記録を再開する。

本実施例では、視聴者が早送りを行った場合について説明したが、視聴者が再生を一時停止、又は再生を途中で中止した場合にも適用可能である。
＜第３実施例＞
本実施例では、視聴者が一つの動画コンテンツの一部を巻き戻した場合を考える。

図４（ｃ）は本実施例における動画コンテンツ、記録データ及び顔動画の再生時間を示す。再生した動画コンテンツについては、第１実施例と同一のものとする。通常再生動画コンテンツ再生中、視聴者は２２２の視聴を完了した時点で２２１まで巻き戻しを行った。つまり、視聴者は２２２と２２１の間を重複して視聴することになる。これにより記録データの再生時間４２は、動画コンテンツ本来の再生時間２１よりも長くなる。

ここで、最初の視聴を２２３（ａ）、巻き戻し後の視聴を２２４（ａ）として、２２３（ａ）に対応する記録データを２２３（ｂ）、２２４（ａ）に対応する記録データを２２４（ｂ）とする。当該部分の顔動画の作成において、記録データの２２３（ｂ）は削除し２２４（ｂ）のみを加工して顔動画２２４（ｃ）とする。すると、動画コンテンツと顔動画の再生時間は同一となる。

本発明によれば、動画コンテンツ再生と同期して、他の視聴者の顔動画を見ることができる。したがって、家族など親しい間柄の人たちが動画コンテンツに対してどのようなリアクションを行ったか知ることができる。例えば、バラエティ番組のどのシーンで家族が笑うか、又は教育番組のどのシーンで娘が喜ぶかなどを知ることができる。

これにより、時間や場所を選ばずに家族間で動画コンテンツの楽しみを共有することができ、家族の絆をよりいっそう深めることができる。

１ 再生処理部
２ モニタ
３ コントローラ
４ カメラ
５ マイク
１１ コンテンツ保存部
１２ 再生制御部
１３ コンテンツ再生部
１４ 顔動画処理部

Claims (6)

1. 動画コンテンツの再生を行う再生装置において、
   動画コンテンツを保存するコンテンツ保存部と、
   前記動画コンテンツを視聴する視聴者の画像を取得する画像取得部と、
   前記動画コンテンツと前記画像とを対応づけて保存する画像保存部と、を有し、
   次に前記動画コンテンツを再生するとき、前記画像保存部の前記画像を同期させて表示し、
   前記動画コンテンツの一部が重複して再生された場合、
   前記画像のうち、前記重複して再生された部分に対応する部分を削除することを特徴とする再生装置。
2. 請求項１において、前記画像取得部は、前記画像と、前記画像を取得したときの前記動画コンテンツの位置と対応づけて取得することを特徴とする再生装置。
3. 請求項１又は請求項２において、
   前記再生装置は、さらに前記画像から視聴者の顔を認識する顔認識部を有し、
   認識された前記視聴者の顔部分を前記画像からトリミングすることを特徴とする再生装置。
4. 請求項１乃至請求項３において、
   前記動画コンテンツを再生中に特殊再生が行われた場合、前記画像取得部は前記画像の取得を中止し、
   前記画像のうち、前記特殊再生が行われた部分に対応する部分に、ダミーデータを挿入することを特徴とする再生装置。
5. 請求項４において、前記特殊再生とは、早送り、一時停止、又は再生の中止であることを特徴とする再生装置。
6. 動画コンテンツの再生を行う再生装置におけるコンテンツの再生方法において、
   動画コンテンツを保存するコンテンツ保存ステップと、
   前記動画コンテンツを視聴する視聴者の画像を取得する画像取得ステップと、
   前記動画コンテンツと前記画像とを対応づけて保存する画像保存ステップと、
   次に前記動画コンテンツを再生するとき、前記画像保存ステップで保存した前記画像を同期させて表示するステップと、
   前記動画コンテンツの一部が重複して再生された場合、
   前記画像のうち、前記重複して再生された部分に対応する部分を削除するステップと、を有することを特徴とするコンテンツの再生方法。

Images