JP7272096B2 - 視聴録画装置、視聴録画方法および視聴録画プログラム - Google Patents

視聴録画装置、視聴録画方法および視聴録画プログラム Download PDF

Info

Publication number
JP7272096B2
JP7272096B2 JP2019084190A JP2019084190A JP7272096B2 JP 7272096 B2 JP7272096 B2 JP 7272096B2 JP 2019084190 A JP2019084190 A JP 2019084190A JP 2019084190 A JP2019084190 A JP 2019084190A JP 7272096 B2 JP7272096 B2 JP 7272096B2
Authority
JP
Japan
Prior art keywords
viewing
program
unit
recording
chapter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019084190A
Other languages
English (en)
Other versions
JP2020182111A (ja
Inventor
浩司 竹井
裕介 本家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2019084190A priority Critical patent/JP7272096B2/ja
Publication of JP2020182111A publication Critical patent/JP2020182111A/ja
Application granted granted Critical
Publication of JP7272096B2 publication Critical patent/JP7272096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、視聴録画装置、視聴録画方法および視聴録画プログラムに関する。
従来、放送信号に含まれるコマーシャルを自動的に検出するための技術が開発されている。
たとえば、特許文献1(特開2007-267211号公報)には、以下のようなコマーシャル検出方法が開示されている。すなわち、コマーシャル検出方法は、第1の所定の長さを有する第1のコマーシャルと、前記第1の長さとは異なる第2の所定の長さを有する第2のコマーシャルから構成されるコマーシャルブロックが放送番組情報に挿入された放送信号を受信して、その放送信号から前記コマーシャルブロックを検出する方法であって、コマーシャルが切り替わる時点であるコマーシャル切替時点を検出し、隣接するコマーシャル切替時点の時間間隔が前記第1の長さに相当する第1のコマーシャル候補区間を各々のコマーシャル切替時点について検出し、隣接するコマーシャル切替時点の時間間隔が前記第2の長さに相当する第2のコマーシャル候補区間を各々のコマーシャル切替時点について検出し、前記第1のコマーシャル候補区間と第2のコマーシャル候補区間により形成されるブロックが所定の条件を満たす場合にそのブロックをコマーシャルブロックであると判定する。
特開2007-267211号公報
このような特許文献1に記載の技術を超えて、番組の録画に関する優れた機能を実現することが可能な技術が望まれる。
この発明は、上述の課題を解決するためになされたもので、その目的は、番組の録画に関する優れた機能を実現することが可能な視聴録画装置、視聴録画方法および視聴録画プログラムを提供することである。
本開示の視聴録画装置は、放送される番組を受信する放送受信部と、前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部とを備える。
本開示の視聴録画方法は、視聴録画装置における視聴録画方法であって、放送される番組を受信するステップと、受信した前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定するステップと、判定した前記変化点に基づいて、前記映像における区切り位置を設定するステップとを含む。
本開示の視聴録画プログラムは、視聴録画装置において用いられる視聴録画プログラムであって、コンピュータを、放送される番組を受信する放送受信部と、前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部、として機能させるためのプログラムである。
本開示の一態様は、視聴録画装置の一部または全部を実現する半導体集積回路として実現され得る。また、本開示の一態様は、視聴録画装置を含むシステムとして実現され得る。
本開示によれば、番組の録画に関する優れた機能を実現することができる。
図1は、本開示の実施の形態に係る視聴録画装置の構成を示す図である。 図2は、本開示の実施の形態に係る視聴録画装置の詳細な構成を示す図である。 図3は、本開示の実施の形態に係る視聴録画装置における各データベースの内容の一例を示す図である。 図4は、本開示の実施の形態に係る視聴録画装置におけるチャプタ生成部により生成されるチャプタ情報の一例を示す図である。 図5は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ操作用画像の一例を示す図である。 図6は、本開示の実施の形態に係る視聴録画装置におけるチャプタ生成部の構成を示す図である。 図7は、本開示の実施の形態に係るチャプタ生成部における判定部による変化点の検知の一例を示す図である。 図8は、本開示の実施の形態に係るチャプタ生成部における判定部による変化点の検知の他の例を示す図である。 図9は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ編集用画像の一例を示す図である。 図10は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ編集用画像の他の例を示す図である。 図11は、本開示の実施の形態に係る視聴録画装置がチャプタポイントを設定する際の動作手順を定めたフローチャートである。 図12は、本開示の実施の形態に係る視聴録画装置が変化点を検出する際の動作手順の一例を定めたフローチャートである。 図13は、本開示の実施の形態に係る視聴録画装置が変化点を検出する際の動作手順の他の例を定めたフローチャートである。 図14は、本開示の実施の形態に係る視聴録画装置がユーザの評価結果を用いて学習モデルの更新を行う際の動作手順の一例を定めたフローチャートである。 図15は、本開示の実施の形態に係る視聴録画装置がユーザのチャプタ操作に基づいて嗜好情報DBの更新を行う際の動作手順の一例を定めたフローチャートである。
最初に、本開示の実施形態の内容を列記して説明する。
(1)本開示の実施の形態に係る視聴録画装置は、放送される番組を受信する放送受信部と、前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部とを備える。
このように、番組の内容に関する所定条件を用いて映像における変化点を判定し、変化点に基づいて映像における区切り位置を設定する構成により、番組の内容に応じた適切な区切り位置を設定し、録画番組の視聴におけるユーザの満足度を高めることができる。したがって、番組の録画に関する優れた機能を実現することができる。
(2)好ましくは、前記視聴録画装置は、さらに、ユーザの嗜好に関する嗜好情報を取得する取得部を備え、前記設定部は、前記取得部によって取得された前記嗜好情報、および前記変化点に基づいて、前記区切り位置を設定する。
このような構成により、ユーザ間において視聴したいシーンまたは視聴したくないシーンは異なるところ、ユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
(3)より好ましくは、前記取得部は、前記設定部によって設定された前記区切り位置に対応するユーザの操作内容を示す操作情報に基づく前記嗜好情報を取得する。
このような構成により、区切り位置に対応するユーザの実際の操作内容からユーザの好みを推察し、満足度の高い区切り位置を提供する精度を高めることができる。
(4)好ましくは、前記番組のジャンルに応じて、前記判定部による前記変化点の判定方法、および前記設定部による前記区切り位置の設定方法の少なくともいずれか一方の内容が異なる。
このような構成により、番組のジャンル間において、変化点を判定する際の判定条件、および視聴したいシーンまたは視聴したくないシーンは異なるところ、たとえばユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
(5)本開示の実施の形態に係る視聴録画方法は、視聴録画装置における視聴録画方法であって、放送される番組を受信するステップと、受信した前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定するステップと、判定した前記変化点に基づいて、前記映像における区切り位置を設定するステップとを含む。
このように、番組の内容に関する所定条件を用いて映像における変化点を判定し、変化点に基づいて映像における区切り位置を設定する方法により、番組の内容に応じた適切な区切り位置を設定し、録画番組の視聴におけるユーザの満足度を高めることができる。したがって、番組の録画に関する優れた機能を実現することができる。
(6)好ましくは、前記視聴録画方法は、さらに、ユーザの操作内容から、設定した前記区切り位置に対する前記ユーザの評価内容を導くステップと、導いた前記評価内容、および設定した前記区切り位置に基づいて、前記映像における区切り位置を新たに設定するステップとを含む。
このような方法により、ユーザの操作内容からユーザの嗜好に関する情報を自動的に取得し、ユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
(7)本開示の実施の形態に係る視聴録画プログラムは、視聴録画装置において用いられる視聴録画プログラムであって、コンピュータを、放送される番組を受信する放送受信部と、前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部、として機能させるためのプログラムである。
このように、番組の内容に関する所定条件を用いて映像における変化点を判定し、変化点に基づいて映像における区切り位置を設定する構成により、番組の内容に応じた適切な区切り位置を設定し、録画番組の視聴におけるユーザの満足度を高めることができる。したがって、番組の録画に関する優れた機能を実現することができる。
以下、本開示の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。
[構成および基本動作]
図1は、本開示の実施の形態に係る視聴録画装置の構成を示す図である。
図1を参照して、視聴録画装置101は、たとえばSTB(Set Top Box)であり、デジタル放送によるコンテンツ、およびVOD(Video On Demand)等のIP放送によるコンテンツを受信し、受信したコンテンツの録画および再生を行うことが可能である。
視聴録画装置101は、たとえば、コンテンツが複数のパケットに分割されたストリームを受信し、表示装置においてコンテンツを再生する。
より詳細には、視聴録画装置101は、受信部11と、処理部12と、記憶部13とを備える。
受信部11は、アンテナ経由、またはインターネット等のネットワーク経由でストリームを取得する。より詳細には、受信部11は、ストリームを構成する放送パケットの受信処理を行い、処理部12へ出力する。
ストリームは、たとえば、音声情報、映像情報、EPG(Electronic Program Guide)情報、字幕情報およびSI情報(Service Information)等を含む。
ストリームを構成する各放送パケットのペイロードには、たとえばPES(Packetized Elementary Stream)の一部または全部が含まれる。
視聴録画装置101において処理されるPESには、たとえば、画像を格納する画像PESおよび音声を格納する音声PES等がある。画像PESおよび音声PESのペイロードには、符号化された、画像および音声がそれぞれ含まれる。PESのヘッダには、当該PESの識別子であるストリームID、および当該PESのペイロードに含まれる画像または音声を出力すべきタイミングを示すPTS(Presentation Time Stamp)等が含まれる。
処理部12は、受信部11から受けた放送パケットを記憶部13に保存する。また、処理部12は、コンテンツを出力する処理を行う。より詳細には、処理部12は、たとえば、記憶部13に保存した情報等を用いてコンテンツを再生する処理を行い、得られた映像情報および音声情報等を表示装置へ送信する。
図2は、本開示の実施の形態に係る視聴録画装置の詳細な構成を示す図である。
図2を参照して、視聴録画装置101は、リモコン信号受信部41と、RF放送受信部42と、IP放送受信部43と、消去部44と、録画部45と、録画予約部46と、放送視聴部47と、録画再生部48と、チャプタ生成部50と、チャプタ編集部60とを備える。また、視聴録画装置101は、記憶媒体の一例であるHDD(Hard Disk Drive)181を備える。
リモコン信号受信部41、RF放送受信部42およびIP放送受信部43は、図1に示す受信部11に含まれる。消去部44、録画部45、録画予約部46、放送視聴部47、録画再生部48、チャプタ生成部50およびチャプタ編集部60は、図1に示す処理部12に含まれる。
録画DB71、番組情報DB72、予約管理DB73、嗜好情報DB75および学習モデルDB74は、図1に示す記憶部13に保存されている。
図3は、本開示の実施の形態に係る視聴録画装置における各データベースの内容の一例を示す図である。
図3を参照して、視聴録画装置101は、録画番組のデータベースである録画DB71、放送番組のデータベースである番組情報DB72、予約番組のデータベースである予約管理DB73、番組における映像の変化点を検出するための学習モデルのデータベースである学習モデルDB74、およびユーザの嗜好に関する情報のデータベースである嗜好情報DB75を有する。
具体的には、録画DB71には、各番組の、コンテンツファイル名、番組タイトル、ジャンル、開始時間、終了時間およびコンテンツ長が登録される。
番組情報DB72には、番組情報として、RF放送受信部42またはIP放送受信部43によってストリームから取得されたイベント情報テーブル(EIT)、およびEITなどを用いて作成されるEPGに基づく番組表が登録される。RF放送受信部42またはIP放送受信部43によってEITが定期的に取得されることにより、番組情報DB72は定期的に更新される。
予約管理DB73には、各番組の、番組タイトル、番組開始時間、番組終了時間、視聴開始時間および累積視聴時間が登録される。なお、予約管理DB73には、各番組の、チャンネル識別情報がさらに登録されてもよい。
学習モデルDB74には、番組の変化点の検出に用いられる学習モデルが登録される。たとえば、学習モデルDB74には、番組のジャンルごとに複数の学習モデルが登録される。学習モデルDB74における各学習モデルは、機械学習によって予め生成される。
たとえば、学習モデルDB74には、スポーツ番組用の学習モデル、ドラマ番組用の学習モデル、および有害シーン検知用の学習モデルなどが含まれる。
嗜好情報DB75には、嗜好情報として、番組のジャンルごとのユーザの嗜好に関する嗜好情報が登録される。
嗜好情報DB75は、たとえば、スポーツのジャンルに属する番組における嗜好情報として、好みのサッカーチームに関する情報、好みの野球チームに関する情報、および好みの野球選手に関する情報を含む。
具体的には、嗜好情報DB75は、たとえば、好みのサッカーチームに関する情報として、好みのサッカーチームのチーム名およびチームロゴなどを含む。
再び図2を参照して、RF放送受信部42は、放送受信部の一例であり、放送される番組を受信する。より詳細には、RF放送受信部42は、アンテナ経由でストリームを受信する、すなわちストリームを構成する放送パケットを取得し、記憶部13に保存する。
IP放送受信部43は、放送受信部の一例であり、放送される番組を受信する。より詳細には、IP放送受信部43は、ネットワーク経由でストリームを受信する、すなわちストリームを構成する放送パケットを取得し、記憶部13に保存する。
リモコン信号受信部41は、リモコン161におけるリモコン操作部61からリモコン信号を受信し、受信したリモコン信号に含まれる、ユーザの操作を示す操作情報を消去部44、録画部45、録画予約部46、放送視聴部47、録画再生部48およびチャプタ編集部60へ出力する。
録画予約部46は、リモコン信号受信部41から受けた操作情報に従い、番組情報DB72に登録されている番組表を参照し、操作情報の示す番組に関する情報を予約管理DB73に登録する。
録画予約部46は、予約管理DB73を参照し、当該番組の開始時間に従って録画部45へ録画指示を出力することにより、当該番組を録画する。
録画部45は、リモコン信号受信部41から受けた操作情報に従い、操作情報の示す番組を録画する。また、録画部45は、録画予約部46によって選択された番組を録画する。
より詳細には、録画部45は、リモコン信号受信部41から受けた操作情報または録画予約部46から受けた録画指示に従ってRF放送受信部42またはIP放送受信部43を制御することにより、操作情報または録画指示の示す番組に対応する放送パケットを取得し、取得した放送パケットをコンテンツファイルとしてHDD181に保存するとともに、当該番組に関する録画情報を録画DB71に登録する。
録画部45は、放送パケットのHDD181への保存を開始すると、当該放送パケットに対応する番組に関する録画情報をチャプタ生成部50へ出力する。
チャプタ生成部50は、録画部45から受けた録画番組に対応するチャプタ情報を生成し、生成したチャプタ情報を当該録画番組と対応付けてHDD181に保存する。
図4は、本開示の実施の形態に係る視聴録画装置におけるチャプタ生成部により生成されるチャプタ情報の一例を示す図である。
図4を参照して、チャプタ情報は、録画番組における章立て位置すなわちインデックスであるチャプタポイントのチャプタIDおよび再生位置、ならびに後述するチャプタ情報の生成の際に用いた検出画像を含む。
チャプタ情報における再生位置は、対応の録画番組の冒頭からの経過時間で表される。図4に示す例では、「CH-1」のチャプタポイントの再生位置は、14分20秒であり、「CH-3」のチャプタポイントの再生位置は、1時間10分20秒である。
チャプタ編集部60は、リモコン信号受信部41から受けた操作情報に従い、HDD181におけるチャプタ情報を編集する。
放送視聴部47は、放送番組を再生する。より詳細には、放送視聴部47は、リモコン信号受信部41から受けた操作情報に従ってRF放送受信部42またはIP放送受信部43を制御することにより、操作情報の示す番組に対応する放送パケットを取得し、取得した放送パケットに含まれる情報等を用いてコンテンツを再生する処理を行い、得られた映像情報および音声情報等を表示装置へ送信する。
録画再生部48は、HDD181に保存された番組である録画番組を再生する。より詳細には、録画再生部48は、リモコン信号受信部41から受けた操作情報に従い、操作情報の示す録画番組に対応する放送パケットをHDD181から取得する。そして、録画再生部48は、取得した放送パケットに含まれる情報等を用いてコンテンツを再生する処理を行い、得られた映像情報および音声情報等を表示装置へ送信する。
録画再生部48は、操作情報の示す録画番組に対応するチャプタ情報がHDD181に保存されている場合、当該チャプタ情報を取得する。そして、録画再生部48は、録画番組の再生中に、チャプタポイントの指定を含む操作情報をリモコン信号受信部41から受けると、チャプタ情報に基づいて、受けた操作情報において指定されたチャプタポイントの再生位置から録画番組の再生を行う。
また、録画再生部48は、チャプタ情報に基づくチャプタ操作用画像を表示する処理を行う。より詳細には、録画再生部48は、リモコン信号受信部41から受けた操作情報に従って、再生中の録画番組に対応するチャプタ情報に基づくチャプタ操作用画像を作成し、表示装置に表示する。
図5は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ操作用画像の一例を示す図である。
図5を参照して、録画再生部48によって表示装置の表示画面80に表示されるチャプタ操作用画像81は、再生中の録画番組のタイトルと、現在の再生位置と、再生終了位置と、チャプタ情報に基づくチャプタポイントが示されたシークバーとを含む。
たとえば、ユーザは、表示画面80に表示されたチャプタ操作用画像81を参照しながら、リモコン161を操作することにより、チャプタポイントを指定する操作であるチャプタ操作を行う。
録画再生部48は、チャプタ操作において指定されたチャプタポイントを含む操作情報をリモコン信号受信部41から受けると、チャプタ情報に基づいて、受けた操作情報において指定されたチャプタポイントの再生位置から録画番組の再生を行う。これにより、ユーザは、録画番組を視聴する際、チャプタ操作を行うことにより、視聴したくない映像をスキップして録画番組を再生する特殊再生を行うことができる。
消去部44は、リモコン信号受信部41から受けた操作情報に従い、操作情報の示す番組に対応する放送パケットをHDD181から消去するとともに、当該番組に関する録画情報を録画DB71から消去する。
[チャプタ生成部]
図6は、本開示の実施の形態に係る視聴録画装置におけるチャプタ生成部の構成を示す図である。
図6を参照して、チャプタ生成部50は、画像情報生成部51と、判定部52と、設定部53と、嗜好情報取得部54とを含む。
画像情報生成部51は、RF放送受信部42またはIP放送受信部43によって受信され、かつ録画部45によって録画される番組の映像情報から、複数の画像情報を生成する。
より詳細には、画像情報生成部51は、録画部45から録画情報を受けると、受けた録画情報が示す録画番組に対応する放送パケットをHDD181から取得する。
そして、画像情報生成部51は、取得した放送パケットに含まれるPESのヘッダにおけるPTSを参照することにより、録画番組を再生したときに所定間隔で表示される複数の画像の各画像データ、および対応のPTSを取得する。
たとえば、画像情報生成部51は、取得した放送パケットに含まれるPESのヘッダにおけるストリームIDおよびPTSを参照することにより、録画番組を再生したときに所定間隔で表示される複数のI(Intra)ピクチャである画像の各画像データ、および対応のPTSを取得する。
そして、画像情報生成部51は、取得した複数の画像データと対応のPTSとを含む複数の画像情報をそれぞれ生成し、生成した各画像情報および録画部45から受けた録画情報を判定部52へ出力する。
判定部52は、RF放送受信部42またはIP放送受信部43によって受信されて録画部45によって録画される番組の映像における、番組の内容に関する所定条件を満たす変化点を判定する。
より詳細には、判定部52は、画像情報生成部51によって録画番組に対応する放送パケットから生成された複数の画像情報に基づいて、当該録画番組における変化点を検出する。
判定部52は、学習モデルDB74における1または複数の学習モデルを用いて、上記変化点を検出する。
たとえば、判定部52による変化点の判定方法の内容は、番組のジャンルに応じて異なる。具体的には、判定部52は、録画番組のジャンルに応じて異なる学習モデルを選択し、選択した学習モデルを用いて当該録画番組における変化点を検出する。
判定部52は、画像情報生成部51から受けた録画情報に基づいて、録画番組のジャンルを確認する。そして、判定部52は、録画番組のジャンルに対応する学習モデルを学習モデルDB74から取得する。
判定部52は、取得した学習モデルおよび画像情報生成部51から受けた複数の画像情報を用いて、録画番組における変化点を検出する。
[変化点の検出例1]
録画部45により録画される録画番組のジャンルが、スポーツである場合を想定する。
判定部52は、録画番組の映像における、スポーツの得点の変化を、スポーツ番組の内容における所定条件を満たす変化点として検出する。
より詳細には、判定部52は、画像情報生成部51から受けた録画情報に基づいて、録画番組のジャンルがスポーツであることを確認すると、スポーツ番組用の学習モデルAを学習モデルDB74から取得する。
判定部52は、学習モデルAを用いて、たとえば、判定部52から受けた画像情報の示す画像を時系列でモニタすることにより、画像情報の示す画像における得点表示箇所の表示内容の変化を検知する。
図7は、本開示の実施の形態に係るチャプタ生成部における判定部による変化点の検知の一例を示す図である。図7は、判定部52が画像情報生成部51から受けた各画像情報に含まれる画像および当該画像の各再生位置を示している。
図7に示す例では、再生位置t1からt11までの各画像の得点表示箇所Sの表示内容は、Aチームの得点が1であり、Bチームの得点がゼロであり、また、再生位置t12以降の各画像の得点表示箇所Sの表示内容は、Aチームの得点が2であり、Bチームの得点がゼロである。
図7を参照して、学習モデルAは、画像情報の示す画像に表示される得点表示箇所を特定し、特定した得点表示箇所Sの表示内容をモニタする。
学習モデルAは、所定の条件を満たす画像を、得点表示箇所の表示内容が変化する前の画像である変化前画像として検出する。たとえば、学習モデルAは、録画番組における3秒以内分の複数の画像のうちの一部または全部の画像であり、かつ各々が同一の得点を示す得点表示箇所Sを含む3つの画像を、変化前画像であると判断する。
図7に示す例では、学習モデルAは、録画番組における3秒以内分の3つの画像であって、かつ各々が同一の得点を示す得点表示箇所Sを含む画像P1,P2,P3を、変化前画像であると判断する。
また、学習モデルAは、所定の条件を満たす画像を、得点表示箇所の表示内容が変化前画像から変化した後の画像である変化後画像として検出する。たとえば、学習モデルAは、録画番組における3秒以内分の複数の画像のうちの一部または全部の画像であり、かつ変化前画像の得点表示箇所Sとは異なる得点を示す得点表示箇所Sであって、各々が同一の得点を示す得点表示箇所Sを含む3つの画像を、変化後画像であると判断する。
図7に示す例では、学習モデルAは、録画番組における3秒以内分の3つの画像であって、かつ変化前画像である画像P1,P2,P3の得点表示箇所Sとは異なる得点を示す得点表示箇所Sであって、各々が同一の得点を示す得点表示箇所Sを含む画像P12,P13,P14を、変化後画像であると判断する。
同様にして、学習モデルAは、所定の条件を満たす画像を、得点表示箇所の表示内容が、変化前画像すなわち直前の変化後画像からさらに変化した後の画像である新たな変化後画像として検出する。たとえば、学習モデルAは、録画番組における3秒以内分の複数の画像のうちの一部または全部の画像であり、かつ直前の変化後画像の得点表示箇所Sとは異なる得点を示す得点表示箇所Sであって、各々が同一の得点を示す得点表示箇所Sを含む3つの画像を、新たな変化後画像であると判断する。
図7に示す例では、学習モデルAは、録画番組における3秒以内分の3つの画像であって、かつ直前の変化後画像である画像P12,P13,P14の得点表示箇所Sとは異なる得点を示す得点表示箇所Sであって、各々が同一の得点を示す得点表示箇所Sを含む3つの画像を、新たな変化後画像であると判断する。
このように、学習モデルAは、変化後画像の検出を繰り返す。
判定部52は、学習モデルAを用いて検出した3つの変化後画像の各組における、時系列的に最初の画像たとえば画像P12の再生位置を、変化点の再生位置として検出する。
そして、判定部52は、検出画像である変化前画像および変化後画像、ならびに検出した変化点の再生位置を含む変化点情報、ならびに画像情報生成部51から受けた録画情報を設定部53へ出力する。
[変化点の検出例2]
録画部45により録画される録画番組のジャンルが、ドラマである場合を想定する。
判定部52は、録画番組の映像における、特定の俳優Aの登場を、ドラマ番組の内容における所定条件を満たす変化点として検出する。
より詳細には、判定部52は、画像情報生成部51から受けた録画情報に基づいて、録画番組のジャンルがドラマであることを確認すると、ドラマ番組用の学習モデルBを学習モデルDB74から取得する。
判定部52は、学習モデルBを用いて、たとえば、判定部52から受けた画像情報の示す画像を時系列でモニタすることにより、画像情報の示す画像における俳優Aの登場を検知する。
図8は、本開示の実施の形態に係るチャプタ生成部における判定部による変化点の検知の他の例を示す図である。図8は、判定部52が画像情報生成部51から受けた各画像情報に含まれる画像および当該画像の各再生位置を示している。
図8に示す例では、たとえば、再生位置t1の画像には俳優Bが写っており、再生位置t3の画像には俳優Bおよび俳優Cが写っており、再生位置t4の画像には俳優Aが写っている。
図8を参照して、学習モデルBは、画像情報の示す画像に表示される人物の顔を時系列でモニタすることにより、俳優Aが写っている画像である出現画像を検出する。
学習モデルBは、所定の条件を満たす画像を、俳優Aの出演シーンである注目画像として検出する。たとえば、学習モデルBは、録画番組における10秒以内分の複数の画像のうちの一部または全部の画像であり、かつ俳優Aが写っている3つの出現画像を、注目画像であると判断する。
図8に示す例では、学習モデルBは、録画番組における10秒以内分の3つの画像であって、かつ俳優Aが写っている出現画像P4,P5,P8を、注目画像であると判断する。
また、学習モデルBは、時系列的に最後に検出した出現画像の再生位置を起点として所定時間分の俳優Aが写っていない画像を連続して検出すると、再び、上記所定の条件に従って注目画像を検出する。
図8に示す例では、時系列的に最後に検出した出現画像である画像P10の再生位置t10を起点としてたとえば300秒分の、俳優Aが写っていない画像P10~P80を連続して検出すると、検出した後の10秒以内分の3つの画像であって、かつ俳優Aが写っている出現画像P82,P83,P84を、注目画像であると判断する。
このように、学習モデルBは、注目画像の検出を繰り返す。
判定部52は、学習モデルBを用いて検出した3つの注目画像の各組において時系列的に最初の画像P4,P82の再生位置を、変化点の再生位置として検出する。
そして、判定部52は、検出画像である注目画像、および検出した変化点の再生位置を含む変化点情報、ならびに画像情報生成部51から受けた録画情報を設定部53へ出力する。
[変化点の検出例3]
たとえば、判定部52は、番組のジャンルに関わらず、有害シーン検知用の学習モデルCを学習モデルDB74から取得する。
判定部52は、学習モデルCを用いて、たとえば、判定部52から受けた画像情報の示す画像を時系列でモニタすることにより、暴力シーンなどの有害なシーンの開始および終了を変化点として検知する。
そして、判定部52は、検出画像および有害なシーンの再生位置を含む変化点情報ならびに画像情報生成部51から受けた録画情報を設定部53へ出力する。
[区切り位置の設定]
設定部53は、判定部52によって判定された変化点に基づいて、映像における区切り位置を設定する。
設定部53は、判定部52から変化点情報を受けると、受けた変化点情報が示す再生位置に基づいて区切り位置たとえばチャプタポイントを設定する。
設定部53は、たとえば、受けた変化点情報が示す再生位置の10秒前の再生位置をチャプタポイントの再生位置として設定する。そして、設定部53は、設定した再生位置、変化点情報に含まれる検出画像、およびチャプタIDを含むチャプタ情報を生成する。
たとえば、設定部53によるチャプタポイントの設定方法の内容は、番組のジャンルに応じて異なる。
設定部53は、判定部52から受けた録画情報に基づいて、録画番組のジャンルを確認する。そして、設定部53は、変化点情報が示す再生位置から録画番組のジャンルに応じた時間を差し引いた再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する。
具体的には、たとえば、設定部53は、録画番組のジャンルがスポーツである場合、変化点情報が示す再生位置から30秒を差し引いた再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する。
また、たとえば、設定部53は、録画番組のジャンルがドラマである場合、変化点情報が示す再生位置からたとえば5秒を差し引いた再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する。
設定部53は、生成したチャプタ情報を、録画番組に対応付けてHDD181に保存する。
[嗜好情報に基づく区切り位置の設定]
たとえば、設定部53は、ユーザの嗜好に関する嗜好情報および判定部52によって判定された変化点に基づいて、映像におけるチャプタポイントを設定する。
より詳細には、設定部53は、判定部52から受けた録画情報を嗜好情報取得部54へ出力する。
嗜好情報取得部54は、取得部の一例であり、ユーザの嗜好に関する嗜好情報を嗜好情報DB75から取得する。
より詳細には、嗜好情報取得部54は、設定部53から受けた録画情報に基づいて、録画番組のジャンルを確認する。そして、録画番組のジャンルに応じた嗜好情報を嗜好情報DB75から取得する。
たとえば、嗜好情報取得部54は、録画番組のジャンルがスポーツである場合、スポーツのジャンルに属する番組におけるユーザの嗜好情報として、ユーザの好みのサッカーチームに関する情報を嗜好情報DB75から取得する。嗜好情報取得部54は、取得した嗜好情報を設定部53へ出力する。
設定部53は、嗜好情報取得部54から嗜好情報を受けると、受けた嗜好情報および判定部52から受けた変化点情報に基づいて、チャプタポイントを設定する。
たとえば、設定部53は、図7に示す例において、判定部52から受けた変化点情報が示す検出画像を解析することにより、得点表示箇所にAチームおよびBチームの得点が表示されていると判断する。
そして、設定部53は、嗜好情報取得部54から受けた嗜好情報において、ユーザの好みのサッカーチームのチーム名がAチームであることを確認し、判定部52から受けた変化点情報に含まれる複数の変化前画像および変化後画像の組み合わせのうち、Aチームの得点の変化に伴う変化後画像の再生位置に基づくチャプタポイントの設定を行う一方で、Bチームの得点の変化に伴う変化後画像の再生位置に基づくチャプタポイントの設定を行わない。
[嗜好情報の更新]
録画再生部48は、上述したように、ユーザによるチャプタポイントの指定を含む操作情報をリモコン信号受信部41から受けると、チャプタ情報に基づいて、受けた操作情報において指定されたチャプタポイントの再生位置から録画番組の再生を行う。
また、録画再生部48は、設定部53によって設定されたチャプタポイントに対応するユーザの操作内容から、チャプタポイントに対するユーザの評価内容を導く。より詳細には、録画再生部48は、ユーザによるチャプタ操作ならびにチャプタ操作後の早送り操作および巻戻し操作等の操作内容から、チャプタポイントに対するユーザの評価内容を導く。そして、録画再生部48は、チャプタポイントに対するユーザの評価内容に基づいて、嗜好情報DB75を更新する。
より詳細には、録画再生部48は、ユーザによるチャプタポイントの指定を含む操作情報において指定されたチャプタポイントの再生位置から録画番組の再生を行った後、当該再生位置からの視聴が所定時間以上行われることなく、再度、ユーザによる他のチャプタポイントの指定を含む操作情報をリモコン信号受信部41経由で受けた場合、当該チャプタポイントはユーザにとって不要なチャプタポイントであると判断する。
一方で、録画再生部48は、ユーザによるチャプタポイントの指定を含む操作情報において指定されたチャプタポイントの再生位置から録画番組の再生を行った後、当該再生位置からの視聴が所定時間以上行われた場合、当該チャプタポイントはユーザにとって有用なチャプタポイントであると判断する。
以下、録画再生部48により不要なチャプタポイントであると判断されたチャプタポイントを、不要チャプタポイントとも称する。録画再生部48により有用なチャプタポイントであると判断されたチャプタポイントを、有用チャプタポイントとも称する。
そして、録画再生部48は、チャプタポイントが不要チャプタポイントであるか有用チャプタポイントであるかの判断結果および録画番組に対応するチャプタ情報に含まれる検出画像に基づいて、ユーザの嗜好情報を更新する。
より詳細には、録画再生部48は、チャプタ情報に含まれる、有用チャプタポイントに対応する検出画像および不要チャプタポイントに対応する検出画像に基づいて、ユーザの嗜好情報を更新する。
たとえば、スポーツの録画番組において、CチームおよびDチームの得点シーンを変化点として検知し、当該変化点に基づいて生成されたチャプタ情報がHDD181に保存されている場合を想定する。
録画再生部48は、検出画像を解析した結果、有用チャプタポイントに対応する検出画像がCチームの得点シーンに対応する検出画像であり、不要チャプタポイントに対応する検出画像がDチームの得点シーンに対応する検出画像である場合、ユーザの好みのチームはCチームであると判断し、ユーザの好みのサッカーチームに関する情報としてCチームのチーム名を嗜好情報DB75に追加する。
嗜好情報取得部54は、設定部53によって設定されたチャプタポイントに対応するユーザの操作内容を示す操作情報に基づく嗜好情報を取得する。
より詳細には、嗜好情報取得部54は、録画再生部48により更新された嗜好情報を嗜好情報DB75から取得し、取得した嗜好情報を設定部53へ出力する。
設定部53は、更新後の嗜好情報を嗜好情報取得部54から受けると、受けた嗜好情報および判定部52から受けた変化点情報に基づいて、チャプタポイントを設定する。
また、たとえば、設定部53は、チャプタポイントに対するユーザの評価内容、および設定したチャプタポイントに基づいて、録画番組の映像におけるチャプタポイントを新たに設定する。
具体的には、設定部53は、更新後の嗜好情報を嗜好情報取得部54から受けると、更新後の嗜好情報に基づいてチャプタポイントを再設定することにより、HDD181に保存したチャプタ情報を更新する。
[チャプタ編集部]
チャプタ編集部60は、リモコン信号受信部41から受けた操作情報に従い、再生中の録画番組に対応するチャプタ情報に基づくチャプタ編集用画像を作成し、表示装置に表示する。
図9は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ編集用画像の一例を示す図である。
図9を参照して、チャプタ編集部60によって表示装置の表示画面80に表示されるチャプタ編集用画像82は、チャプタポイントごとの、チャプタポイントの設定に用いた検出画像を含む。
図9は、検出画像として、得点表示箇所の表示内容が変化する前の画像として検出された複数の変化前画像P1,P2,P3,P51,P52,P53および得点表示箇所の表示内容が変化した後の画像として検出された複数の変化後画像P11,P12,P13,P71,P72,P73を示している。
ユーザは、表示画面80に表示されたチャプタ編集用画像82を参照しながら、リモコン161を操作することにより、検出画像としての適否を評価する。
たとえば、検出された変化前画像のうち、得点が変化する前の得点表示箇所を含む画像が正しく検出されている場合、ユーザは、リモコン161を操作することにより当該画像に高評価を示す評価結果を入力する。たとえば、ユーザは、リモコン161を操作することにより変化前画像P1,P2,P51,P52,P53に高評価を示す評価結果を入力する。
また、検出された変化後画像のうち、得点が変化した後の得点表示箇所を含む画像が正しく検出されている場合、ユーザは、リモコン161を操作することにより当該画像に高評価を示す評価結果を入力する。たとえば、ユーザは、リモコン161を操作することにより変化前画像P11,P71,P72,P73に高評価を示す評価結果を入力する。
一方で、検出された変化前画像および変化後画像に、得点表示箇所が表示されていない画像が含まれている場合、ユーザは、リモコン161を操作することにより当該画像に低評価を示す評価結果を入力する。たとえば、ユーザは、リモコン161を操作することにより変化前画像P3および変化後画像P12,P13に低評価を示す評価結果を入力する。
図10は、本開示の実施の形態に係る視聴録画装置における録画再生部により作成されるチャプタ編集用画像の他の例を示す図である。
図10は、検出画像として、俳優Aが写っている画像として検出された出現画像P21,P22,P23,P31,P32,P33,P41,P42,P43,P61,P62,P63を示している。
たとえば、検出された出現画像のうち、実際に俳優Aが写っている出現画像が正しく検出されている場合、ユーザは、リモコン161を操作することにより当該出現画像に高評価を示す評価結果を入力する。たとえば、ユーザは、リモコン161を操作することにより出現画像P21,P22,P31,P32,P33,P41,P42,P43,P62,P63に高評価を示す評価結果を入力する。
一方で、検出された出現画像に、実際には俳優Aが写っていない出現画像が含まれている場合、ユーザは、リモコン161を操作することにより当該出現画像に低評価を示す評価結果を入力する。たとえば、ユーザは、リモコン161を操作することにより出現画像P23,P61に低評価を示す評価結果を入力する。
また、ユーザは、図9および図10に示されるチャプタ編集用画像82を参照しながら、リモコン161を操作することにより、チャプタポイントを削除する。
チャプタ編集部60は、ユーザから受けた評価結果および操作内容を学習モデルDB74における学習モデルに反映する。
より詳細には、チャプタ編集部60は、評価対象となった検出画像の検出に用いた学習モデルへ、検出すべき画像として高評価画像を与えることにより、学習モデルを更新する。たとえば、チャプタ編集部60は、高評価画像を水増し(Data Augument)して学習モデルを更新する。
一方で、チャプタ編集部60は、低評価画像を用いた学習モデルの更新を行わない。
なお、チャプタ編集部60は、評価対象となった検出画像の検出に用いた学習モデルへ、検出すべきでない画像として低評価画像を与えることにより、学習モデルを更新する構成であってもよい。
また、チャプタ編集部60は、評価対象となった検出画像の検出に用いた学習モデルへ、ユーザにより削除されたチャプタポイントに対応する検出画像を、検出すべきでない画像として与えることにより、学習モデルを更新する構成であってもよい。
[動作の流れ]
本開示の実施の形態に係る視聴録画装置は、メモリを含むコンピュータを備え、当該コンピュータにおけるCPU等の演算処理部は、以下のフローチャートおよびシーケンスの各ステップの一部または全部を含むプログラムを当該メモリから読み出して実行する。この装置のプログラムは、外部からインストールすることができる。この装置のプログラムは、記録媒体に格納された状態で流通する。
図11は、本開示の実施の形態に係る視聴録画装置がチャプタポイントを設定する際の動作手順を定めたフローチャートである。
図11を参照して、まず、視聴録画装置101は、放送される番組を受信し、当該番組を再生したときに所定間隔で表示される複数の画像の画像データをそれぞれ取得する(ステップS102)。
次に、視聴録画装置101は、取得した各画像データの示す画像を時系列でモニタすることにより、番組における変化点を検出する(ステップS104)。
次に、視聴録画装置101は、検出した変化点に基づいて、映像におけるチャプタポイントを設定する(ステップS106)。
図12は、本開示の実施の形態に係る視聴録画装置が変化点を検出する際の動作手順の一例を定めたフローチャートである。図12は、録画番組のジャンルがスポーツ番組である場合における、図11におけるステップS104の詳細を示している。
図12を参照して、まず、視聴録画装置101は、録画番組のジャンルに対応するスポーツ番組用の学習モデルAを選択する。学習モデルAは、上述のとおり、録画番組における3秒以内分の複数の画像のうちの一部または全部の画像であり、かつ各々が同一の得点を示す得点表示箇所Sを含む3つの画像を変化前画像であると判断する。また、学習モデルAは、録画番組における3秒以内分の複数の画像のうちの一部または全部の画像であり、かつ変化前画像の得点表示箇所Sとは異なる得点を示す得点表示箇所Sであって、各々が同一の得点を示す得点表示箇所Sを含む3つの画像を変化後画像であると判断する(ステップS202)。
次に、視聴録画装置101は、選択した学習モデルAを用いて、録画番組を再生したときに所定間隔で表示される複数の画像を時系列でモニタする(ステップ204)。
次に、視聴録画装置101は、学習モデルAの検出対象である3つの変化前画像を検出するまで上記複数の画像を時系列でモニタし(ステップS206でNO)、3つの変化前画像を検出すると(ステップS206でYES)、検出した変化前画像を基準として用いて、録画番組を再生したときに所定間隔で表示される複数の画像を時系列でモニタする(ステップS208)。
次に、視聴録画装置101は、学習モデルAの検出対象である3つの変化後画像を検出するまで上記複数の画像を時系列でモニタし(ステップS210でNO)、3つの変化後画像を検出すると(ステップS210でYES)、検出した3つの変化後画像において時系列的に最初の画像の再生位置を、変化点の再生位置として検出する(ステップS212)。
次に、視聴録画装置101は、検出した変化後画像を変化前画像として設定し、設定した変化前画像を基準として用いて、録画番組を再生したときに所定間隔で表示される複数の画像の時系列でのモニタを再び行う(ステップS208)。
図13は、本開示の実施の形態に係る視聴録画装置が変化点を検出する際の動作手順の他の例を定めたフローチャートである。図13は、録画番組のジャンルがドラマ番組である場合における、図11におけるステップS104の詳細を示している。
図13を参照して、まず、視聴録画装置101は、録画番組のジャンルに対応するドラマ番組用の学習モデルBを選択する。学習モデルBは、上述のとおり、録画番組における10秒以内分の複数の画像のうちの一部または全部の画像であり、かつ俳優Aが写っている3つの出現画像を、注目画像であると判断する(ステップS302)。
次に、視聴録画装置101は、選択した学習モデルBを用いて、録画番組を再生したときに所定間隔で表示される複数の画像を時系列でモニタする(ステップ304)。
次に、視聴録画装置101は、学習モデルBの検出対象である3つの注目画像を検出するまで上記複数の画像を時系列でモニタし(ステップS306でNO)、3つの注目画像を検出すると(ステップS306でYES)、検出した3つの注目画像において時系列的に最初の画像の再生位置を、変化点の再生位置として検出する(ステップS308)。
次に、視聴録画装置101は、学習モデルBを用いて、録画番組を再生したときに所定間隔で表示される複数の画像を時系列でモニタする(ステップS310)。
次に、視聴録画装置101は、学習モデルBを用いて、時系列的に最後に検出した出現画像の再生位置を起点として300秒分の、俳優Aが写っていない画像を連続して検出するまで上記複数の画像を時系列でモニタし(ステップS312でNO)、300秒分の俳優Aが写っていない画像を連続して検知すると(ステップS312でYES)、学習モデルBの検出対象である3つの注目画像を検出するまで上記複数の画像の時系列でのモニタを再び行う(ステップS306)。
図14は、本開示の実施の形態に係る視聴録画装置がユーザの評価結果を用いて学習モデルの更新を行う際の動作手順の一例を定めたフローチャートである。
図14を参照して、まず、視聴録画装置101は、再生中の録画番組に対応するチャプタ情報に基づくチャプタ編集用画像を作成し、表示装置に表示する(ステップS402)。
次に、視聴録画装置101は、ユーザの評価結果が高評価である場合(ステップS404でYES)、評価対象となった検出画像の検出に用いた学習モデルへ、検出すべき画像として高評価画像を与えることにより、学習モデルを更新する(ステップS406)。
一方で、視聴録画装置101は、ユーザの評価結果が低評価であるか、またはユーザの操作がチャプタポイントの削除である場合(ステップS404でNO)、学習モデルの更新を行わない。
図15は、本開示の実施の形態に係る視聴録画装置がユーザのチャプタ操作に基づいて嗜好情報DBの更新を行う際の動作手順の一例を定めたフローチャートである。
図15を参照して、まず、視聴録画装置101は、録画番組を再生する(ステップS502)。
次に、視聴録画装置101は、ユーザによるチャプタポイントの指定を含むチャプタ操作を待ち受け(ステップS504でNO)、チャプタ操作を受けると(ステップS504でYES)、チャプタ操作において指定されたチャプタポイントの再生位置から録画番組の再生を行う(ステップS506)。
次に、視聴録画装置101は、ユーザのチャプタ操作の内容から、チャプタポイントに対するユーザの評価内容を導く。具体的には、視聴録画装置101は、指定されたチャプタポイントの再生位置から録画番組の再生を行った後、当該再生位置からの視聴が所定時間以上行われた場合(ステップS508でYES)、当該チャプタポイントは有用チャプタポイントであると判断し、有用チャプタポイントに対応する検出画像に基づいて、嗜好情報DB75における嗜好情報を更新する(ステップS510)。
一方で、視聴録画装置101は、指定されたチャプタポイントの再生位置から録画番組の再生を行った後、当該再生位置からの視聴が所定時間以上行われることなく、再度チャプタ操作を受けた場合(ステップS508でNO)、当該チャプタポイントは不要チャプタポイントであると判断し、不要チャプタポイントに対応する検出画像に基づいて、嗜好情報DB75における嗜好情報を更新する(ステップS512)。
次に、視聴録画装置101は、チャプタポイントに対するユーザの評価内容、および設定したチャプタポイントに基づいて、チャプタポイントを新たに設定する。具体的には、設定部53は、更新後の嗜好情報に基づいてチャプタポイントを再設定することにより、HDD181に保存したチャプタ情報を更新する(ステップS514)。
なお、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における画像情報生成部51は、録画部45から受けた録画情報が示す録画番組に対応する放送パケットをHDD181から取得し、取得した放送パケットに含まれるPESのヘッダにおけるPTSを参照することにより、複数の画像の各画像データ等を取得する構成であるとしたが、これに限定するものではない。画像情報生成部51は、録画番組に対応する放送パケットを録画部45から受けて、受けた放送パケットに含まれるPESのヘッダにおけるPTSを参照することにより、複数の画像の各画像データ等を取得する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における判定部52は、学習モデルを用いて録画番組における変化点を検出する構成であるとしたが、これに限定するものではない。判定部52は、学習モデルを用いることなく、パターンマッチング等の画像処理によって変化点を検出する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における判定部52は、スポーツ番組用の学習モデルとして、画像における得点表示箇所に表示される得点の変化を検知する学習モデルAを用いて変化点を検出する構成であるとしたが、これに限定するものではない。判定部52は、スポーツ番組用の学習モデルとして、たとえば、攻守が入れ替わる野球等のスポーツの録画番組おいて得点表示箇所に攻撃中のチームが示されている場合には、攻守の交代に伴う得点表示箇所の表示内容の変化を変化点として検出する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における判定部52は、番組の内容に関する所定条件を満たす変化点として、たとえば、スポーツの得点の変化または俳優Aの登場を判定する構成であるとしたが、これに限定するものではない。判定部52は、番組の内容に関する何らかの変化量を数値化し、数値化により得られる値と所定の閾値との比較結果に基づいて変化点を判定する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における設定部53は、嗜好情報取得部54によって取得された嗜好情報、および判定部52によって検出された変化点に基づいて、チャプタポイントを設定する構成であるとしたが、これに限定するものではない。設定部53は、嗜好情報を用いることなく、変化点のみに基づいてチャプタポイントを設定する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における設定部53は、変化点の再生位置から録画番組のジャンルに応じた時間を差し引いた再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する構成であるとしたが、これに限定するものではない。設定部53は、変化点の再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する構成であってもよい。また、設定部53は、設定部53は、変化点の再生位置から録画番組のジャンルに応じた時間を加算した再生位置をチャプタポイントの再生位置として含むチャプタ情報を生成する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、チャプタ生成部50における嗜好情報取得部54は、チャプタポイントに対応するユーザの操作内容を示す操作情報に基づく嗜好情報を取得する構成であるとしたが、これに限定するものではない。嗜好情報取得部54は、たとえばユーザによって予め入力された嗜好情報を取得する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、録画番組のジャンルに応じて、判定部52による変化点の判定方法の内容が異なる構成であるとしたが、これに限定するものではない。判定部52は、たとえば録画番組のジャンルに関わらず同じ学習モデルを用いることにより、録画番組のジャンルに関わらず同じ判定方法に基づいて変化点を判定する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、録画番組のジャンルに応じて、設定部53によるチャプタポイントの設定方法の内容が異なる構成であるとしたが、これに限定するものではない。設定部53は、録画番組のジャンルに関わらず、たとえば変化点の再生位置から一意に定まるチャプタポイントの再生位置を設定することにより、録画番組のジャンルに関わらず同じ設定方法に基づいてチャプタポイントを設定する構成であってもよい。
また、本開示の実施の形態に係る視聴録画装置101では、設定部53は、更新後の嗜好情報を嗜好情報取得部54から受けると、録画番組に対応付けてHDD181に保存したチャプタ情報を取得し、更新後の嗜好情報に基づいて、チャプタポイントを再設定する構成であるとしたが、これに限定するものではない。設定部53は、更新後の嗜好情報に基づいて、新たに録画される録画番組の映像におけるチャプタポイントを設定する一方で、HDD181に保存済のチャプタ情報におけるチャプタポイントの再設定を行わない構成であってもよい。
以上のように、本開示の実施の形態に係る視聴録画装置101では、RF放送受信部42またはIP放送受信部43は、放送される番組を受信する。判定部52は、RF放送受信部42またはIP放送受信部43によって受信された番組の映像における、番組の内容に関する所定条件を満たす変化点を判定する。設定部53は、判定部52によって判定された変化点に基づいて、映像における区切り位置を設定する。
このように、番組の内容に関する所定条件を用いて映像における変化点を判定し、変化点に基づいて映像における区切り位置を設定する構成により、番組の内容に応じた適切な区切り位置を設定し、録画番組の視聴におけるユーザの満足度を高めることができる。
したがって、本開示の実施の形態に係る視聴録画装置101では、番組の録画に関する優れた機能を実現することができる。
また、本開示の実施の形態に係る視聴録画装置101では、嗜好情報取得部54は、ユーザの嗜好に関する嗜好情報を取得する。設定部53は、嗜好情報取得部54によって取得された嗜好情報、および変化点に基づいて、区切り位置を設定する。
このような構成により、ユーザ間において視聴したいシーンまたは視聴したくないシーンは異なるところ、ユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
また、本開示の実施の形態に係る視聴録画装置101では、嗜好情報取得部54は、設定部53によって設定された区切り位置に対応するユーザの操作内容を示す操作情報に基づく嗜好情報を取得する。
このような構成により、区切り位置に対応するユーザの実際の操作内容からユーザの好みを推察し、満足度の高い区切り位置を提供する精度を高めることができる。
また、本開示の実施の形態に係る視聴録画装置101では、番組のジャンルに応じて、判定部52による変化点の判定方法、および設定部53による区切り位置の設定方法の少なくともいずれか一方の内容が異なる。
このような構成により、番組のジャンル間において、変化点を判定する際の判定条件、および視聴したいシーンまたは視聴したくないシーンは異なるところ、たとえばユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
また、本開示の実施の形態に係る視聴録画方法は、視聴録画装置101における視聴録画方法である。この視聴録画方法では、まず、視聴録画装置101が、放送される番組を受信する。次に、視聴録画装置101が、受信した番組の映像における、番組の内容に関する所定条件を満たす変化点を判定する。次に、視聴録画装置101が、判定した変化点に基づいて、映像における区切り位置を設定する。
このように、番組の内容に関する所定条件を用いて映像における変化点を判定し、変化点に基づいて映像における区切り位置を設定する方法により、番組の内容に応じた適切な区切り位置を設定し、録画番組の視聴におけるユーザの満足度を高めることができる。
したがって、本開示の実施の形態に係る視聴録画方法では、番組の録画に関する優れた機能を実現することができる。
また、本開示の実施の形態に係る視聴録画方法は、視聴録画装置101が、ユーザの操作内容から、設定した区切り位置に対するユーザの評価内容を導く。次に、視聴録画装置101が、導いた評価内容、および設定した区切り位置に基づいて、映像における区切り位置を新たに設定する。
このような方法により、ユーザの操作内容からユーザの嗜好に関する情報を自動的に取得し、ユーザの嗜好を反映して区切り位置の設定を行うことができるため、ユーザの満足度をさらに高めることができる。
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
以上の説明は、以下に付記する特徴を含む。
[付記]
放送される番組を受信する放送受信部と、
前記放送受信部によって受信された前記番組の情報を記憶装置に保存する録画部と、
前記記憶装置から前記番組の情報を取得し、取得した前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、
前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定し、前記区切り位置の情報を前記記憶装置に保存する設定部とを備え、
前記設定部により設定される前記区切り位置は、前記映像における、ユーザにとって関心のあるシーンのスタート位置、ユーザが視聴を避けるべきシーンのスタート位置、または前記映像において特殊再生が行われる位置である、視聴録画装置。
11 受信部
12 処理部
13 記憶部
41 リモコン信号受信部
42 RF放送受信部
43 IP放送受信部
44 消去部
45 録画部
46 録画予約部
47 放送視聴部
48 録画再生部
50 チャプタ生成部
51 画像情報生成部
52 判定部
53 設定部
54 嗜好情報取得部
60 チャプタ編集部
61 リモコン操作部
71 録画DB
72 番組情報DB
73 予約管理DB73
74 学習モデルDB
75 嗜好情報DB
80 表示画面
81 チャプタ操作用画像
82 チャプタ編集用画像
101 視聴録画装置
161 リモコン
181 HDD

Claims (7)

  1. 放送される番組を受信する放送受信部と、
    前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、
    前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部とを備え、
    前記判定部は、前記番組を再生したときに所定間隔で表示される複数のI(Intra)ピクチャである複数の画像と、学習モデルとを用いて前記変化点を判定する、視聴録画装置。
  2. 前記視聴録画装置は、さらに、
    前記設定部によって設定された前記区切り位置に対応するユーザの操作内容に基づいて自動的に推察されるユーザの嗜好に関する嗜好情報を取得する取得部を備え、
    前記設定部は、前記取得部によって取得された前記嗜好情報、および前記変化点に基づいて、前記区切り位置を設定する、請求項1に記載の視聴録画装置。
  3. 前記判定部は、時系列の前記複数の画像のうちの前記所定条件を満たす前記画像を検出する前記学習モデルを用いて、前記変化点を判定する、請求項1または請求項2に記載の視聴録画装置。
  4. 前記視聴録画装置は、さらに、
    前記学習モデルにより検出された前記画像に対するユーザの評価結果に基づいて、前記学習モデルを更新する更新部を備える、請求項3に記載の視聴録画装置。
  5. 視聴録画装置における視聴録画方法であって、
    放送される番組を受信するステップと、
    受信した前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定するステップと、
    判定した前記変化点に基づいて、前記映像における区切り位置を設定するステップとを含み、
    前記変化点を判定するステップ
    前記変化点を判定するステップにおいては、前記番組を再生したときに所定間隔で表示される複数のI(Intra)ピクチャである複数の画像と、学習モデルとを用いて前記変化点を判定する、視聴録画方法。
  6. 前記視聴録画方法は、さらに、
    ユーザの操作内容から、設定した前記区切り位置に対する前記ユーザの評価内容を導くステップと、
    導いた前記評価内容に基づいてユーザの嗜好を推察し、推察した嗜好および設定した前記区切り位置に基づいて、前記映像における区切り位置を新たに設定するステップとを含む、請求項5に記載の視聴録画方法。
  7. 視聴録画装置において用いられる視聴録画プログラムであって、
    コンピュータを、
    放送される番組を受信する放送受信部と、
    前記放送受信部によって受信された前記番組の映像における、前記番組の内容に関する所定条件を満たす変化点を判定する判定部と、
    前記判定部によって判定された前記変化点に基づいて、前記映像における区切り位置を設定する設定部、
    として機能させるためのプログラムであり、
    前記判定部は、前記番組を再生したときに所定間隔で表示される複数のI(Intra)ピクチャである複数の画像と、学習モデルとを用いて前記変化点を判定する、視聴録画プログラム。
JP2019084190A 2019-04-25 2019-04-25 視聴録画装置、視聴録画方法および視聴録画プログラム Active JP7272096B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019084190A JP7272096B2 (ja) 2019-04-25 2019-04-25 視聴録画装置、視聴録画方法および視聴録画プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019084190A JP7272096B2 (ja) 2019-04-25 2019-04-25 視聴録画装置、視聴録画方法および視聴録画プログラム

Publications (2)

Publication Number Publication Date
JP2020182111A JP2020182111A (ja) 2020-11-05
JP7272096B2 true JP7272096B2 (ja) 2023-05-12

Family

ID=73023537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019084190A Active JP7272096B2 (ja) 2019-04-25 2019-04-25 視聴録画装置、視聴録画方法および視聴録画プログラム

Country Status (1)

Country Link
JP (1) JP7272096B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283993A (ja) 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 映像情報記録再生装置及び映像情報記録再生方法
JP2007096675A (ja) 2005-09-28 2007-04-12 Victor Co Of Japan Ltd 情報記録再生装置
JP2007318200A (ja) 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2014030180A (ja) 2012-06-27 2014-02-13 Sharp Corp 録画装置、テレビジョン受信機及び録画方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283993A (ja) 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 映像情報記録再生装置及び映像情報記録再生方法
JP2007096675A (ja) 2005-09-28 2007-04-12 Victor Co Of Japan Ltd 情報記録再生装置
JP2007318200A (ja) 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2014030180A (ja) 2012-06-27 2014-02-13 Sharp Corp 録画装置、テレビジョン受信機及び録画方法

Also Published As

Publication number Publication date
JP2020182111A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
JP4692775B2 (ja) 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム
US8832732B2 (en) Controlled multi-media program review
US7366401B2 (en) Video summary play apparatus and method
JP4556752B2 (ja) コマーシャル視聴制御機能を有する録画再生装置
US20060104609A1 (en) Reproducing device and method
JP2010074518A (ja) 番組推奨装置
JP4387408B2 (ja) Avコンテンツ処理装置、avコンテンツ処理方法、avコンテンツ処理プログラムおよびavコンテンツ処理装置に用いる集積回路
JP4351927B2 (ja) 映像再生装置、再生スクリプト生成装置及び映像切出し装置
JP2010187374A (ja) 要約映像生成装置および要約映像生成方法
JP4668875B2 (ja) 番組録画再生装置、番組再生位置制御方法及び番組情報提供装置
JP2002262230A (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び記憶媒体
JP3592210B2 (ja) 記録装置および記録方法
JP7272096B2 (ja) 視聴録画装置、視聴録画方法および視聴録画プログラム
KR100991619B1 (ko) 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템
JP2002330411A (ja) 嗜好場面取得制御放送システム、放送送信装置、放送受信装置及び記録装置
JP4725554B2 (ja) 番組記録再生システム及び番組記録再生方法
JP2011078029A (ja) 電子機器、コンテンツ再生方法及びプログラム
KR101218921B1 (ko) 방송 수신기의 방송 프로그램 하이라이트 구간 처리 방법
KR101417007B1 (ko) 영상표시기기 및 녹화 제어 방법
JP3923918B2 (ja) 番組映像編集装置、番組映像編集方法及びプログラム
WO2003065715A1 (fr) Appareil, systeme et procede d'enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees
JP2024010692A (ja) 映像コンテンツ処理装置、映像コンテンツ処理方法および映像コンテンツ処理プログラム
JP2012134831A (ja) 録画装置
JP2003174609A (ja) 映像信号記録再生装置
KR100816922B1 (ko) 저장매체를 구비한 영상표시기기의 녹화물 표시 장치 및방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7272096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150