JP2024010692A

JP2024010692A - 映像コンテンツ処理装置、映像コンテンツ処理方法および映像コンテンツ処理プログラム

Info

Publication number: JP2024010692A
Application number: JP2022112116A
Authority: JP
Inventors: 竜彦田中; Tatsuhiko Tanaka
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2022-07-13
Filing date: 2022-07-13
Publication date: 2024-01-25

Abstract

【課題】映像コンテンツの録画再生における利便性を向上する。【解決手段】映像コンテンツ処理装置は、映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部とを備える。【選択図】図５

Description

本開示は、映像コンテンツ処理装置、映像コンテンツ処理方法および映像コンテンツ処理プログラムに関する。

従来、映像コンテンツの区切り位置であるチャプタを設定するための技術が知られている。

たとえば、特許文献１（特開２００７－７４０４０号公報）には、以下のような放送番組記録装置が開示されている。すなわち、放送番組記録装置は、ランダムアクセス可能な記録媒体を有する蓄積部に放送番組を予約して記録する放送番組記録装置であって、少なくとも毎日における概同時刻又は１週間のうちの所定の曜日における概同時刻に放送される番組である帯番組を一度の予約録画設定で繰り返し予約録画を実行するパターン予約録画に対して録画済みの前記帯番組のタイトルである参考タイトルのチャプタ情報よりチャプタ作成情報を作成する録画管理手段と、受信した放送番組を録画データストリームに変換して前記蓄積部へ出力する変換手段と、前記変換手段による録画中に前記録画データストリームに含まれているＣＭの検出を行いＣＭ検出結果を出力するＣＭ検出手段とを備え、前記変換手段は、前記録画管理手段からの前記チャプタ作成情報と前記ＣＭ検出手段からの前記ＣＭ検出結果とに基づいて前記パターン予約録画実行時に前記蓄積部に保存される前記録画データストリームの所定位置へ挿入すべきチャプタの作成を行うよう構成されている。

また、たとえば、非特許文献１（”時短で見る”、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://www.regza.com/bd-dvd/lineup/dbr-m4010-m3010/features/recording.html〉）には、録画している番組に自動的にチャプタを作成することが記載されている。

また、たとえば、非特許文献２（”有料サービスディモーラ”、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://panasonic.jp/diga/apps/premium.html〉）には、録画番組を再生する際、ユーザにより選択されたシーンから再生することが記載されている。

また、たとえば、非特許文献３（”隠れた実力「おまかせチャプター」”、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://www.sony.jp/products/Consumer/dvdrecorder/tour/omakase/index.html〉）には、音の切り替わりおよび映像の切り替わりを自動的に検出し、チャプタを作成することが記載されている。

特開２００７－７４０４０号公報

"時短で見る"、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://www.regza.com/bd-dvd/lineup/dbr-m4010-m3010/features/recording.html〉 "有料サービスディモーラ"、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://panasonic.jp/diga/apps/premium.html〉 "隠れた実力「おまかせチャプター」"、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈URL:https://www.sony.jp/products/Consumer/dvdrecorder/tour/omakase/index.html〉

特許文献１および非特許文献１から３に記載の技術を超えて、映像コンテンツの録画再生における利便性を向上することが可能な技術が望まれる。

本開示は、上述の課題を解決するためになされたもので、その目的は、映像コンテンツの録画再生における利便性を向上することが可能な映像コンテンツ処理装置、映像コンテンツ処理方法および映像コンテンツ処理プログラムを提供することである。

本開示の映像コンテンツ処理装置は、映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部とを備える。

本開示の一態様は、このような特徴的な処理部を備える映像コンテンツ処理装置として実現され得るだけでなく、映像コンテンツ処理装置の一部または全部を実現する半導体集積回路として実現され得たり、映像コンテンツ処理装置を含むシステムとして実現され得る。

本開示によれば、映像コンテンツの録画再生における利便性を向上することができる。

図１は、本開示の第１の実施の形態に係るコンテンツ配信システムの構成を示す図である。図２は、本開示の第１の実施の形態に係るコンテンツ視聴装置の構成の概要を示す図である。図３は、本開示の第１の実施の形態に係るコンテンツ視聴装置の詳細な構成を示す図である。図４は、本開示の第１の実施の形態に係るコンテンツ視聴装置におけるチャプタ生成部により生成されるチャプタ情報の一例を示す図である。図５は、本開示の第１の実施の形態に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図６は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における検出部による人間の顔の検出結果の一例を示す図である。図７は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における分類部による人間の顔の分類結果の一例を示す図である。図８は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における表示処理部により表示装置に表示される選択画面の一例を示す図である。図９は、本開示の第１の実施の形態に係るコンテンツ視聴装置における録画再生部により表示装置に表示されるチャプタ操作画面の一例を示す図である。図１０は、本開示の実施の形態に係るコンテンツ視聴装置がチャプタ情報の生成を行う際の動作手順の一例を定めたフローチャートである。図１１は、本開示の第１の実施の形態の変形例１に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図１２は、本開示の第１の実施の形態の変形例２に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図１３は、本開示の第１の実施の形態の変形例２に係るコンテンツ視聴装置における録画再生部により表示装置に表示されるチャプタ操作画面の一例を示す図である。図１４は、本開示の第２の実施の形態に係るコンテンツ配信システムの構成を示す図である。図１５は、本開示の第２の実施の形態に係るサーバの構成の概要を示す図である。図１６は、本開示の第２の実施の形態に係るサーバにおけるチャプタ生成部の構成を示す図である。

最初に、本開示の実施形態の内容を列記して説明する。

（１）本開示の実施の形態に係る映像コンテンツ処理装置は、映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部とを備える。

このように、映像コンテンツにおいて出現する視聴対象を分類した分類結果に対する選択結果を取得し、取得した選択結果が示す視聴対象の時間的な出現位置に基づいて区切り位置を設定する構成により、選択された視聴対象の分類に基づいて区切り位置を設定することができるので、映像コンテンツにおける当該視聴対象の複数の出現位置に基づいて効率的に区切り位置を設定することができるとともに、早送り機能等を用いることなく、たとえばユーザが着目する視聴対象が出現するシーンから再生することができる。したがって、映像コンテンツの録画再生における利便性を向上することができる。

（２）上記（１）において、前記選択結果取得部は、前記分類結果に基づいて、前記視聴対象を選択してもよく、前記設定部は、前記選択結果取得部により選択された前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記区切り位置を設定してもよい。

このような構成により、たとえば分類結果に対するユーザの選択結果を取得することなく、映像コンテンツ処理装置において、分類結果に基づいて自動的に視聴対象を選択して区切り位置を設定することができるので、ユーザの利便性をより向上することができる。

（３）上記（１）または（２）において、前記映像コンテンツ処理装置は、さらに、前記分類結果に基づく前記視聴対象を表示する処理を行う表示処理部を備えてもよく、前記選択結果取得部は、前記表示処理部により表示された前記視聴対象の前記選択結果を受け付けてもよい。

このような構成により、映像コンテンツにおいて出現する視聴対象のうちの、ユーザにより選択された視聴対象の出現位置に基づいて区切り位置を設定することができる。

（４）上記（３）において、前記表示処理部は、前記映像コンテンツにおける出現頻度の順に従って前記視聴対象を並べて表示する処理を行ってもよい。

このような構成により、ユーザにおいて、出現頻度を考慮して、区切り位置の設定に用いられる視聴対象を選択することができる。

（５）上記（１）から（４）のいずれかにおいて、前記映像コンテンツ処理装置は、さらに、映像コンテンツ配信装置から、前記映像コンテンツを含むストリームを受信する受信部と、前記受信部により受信された前記ストリームに含まれる前記映像コンテンツにおいて出現する前記視聴対象を検出する検出部とを備えてもよく、前記分類結果取得部は、前記検出部により検出された前記視聴対象を分類してもよい。

このような構成により、たとえばユーザ宅に設けられた映像コンテンツ処理装置において、分類結果を当該ユーザに提示することにより、当該ユーザの選択結果を簡単に取得することができる。

（６）上記（１）から（４）のいずれかにおいて、前記映像コンテンツ処理装置は、さらに、映像コンテンツ配信装置から、前記映像コンテンツを含むストリームを受信する受信部を備えてもよく、前記分類結果取得部は、前記映像コンテンツ配信装置から前記分類結果を取得してもよい。

このような構成により、映像コンテンツ処理装置における処理負荷を軽減することができる。

（７）上記（１）または（２）において、前記映像コンテンツ処理装置は、さらに、前記映像コンテンツが蓄積された記憶部と、前記記憶部に蓄積された前記映像コンテンツを映像コンテンツ再生装置へ配信する送信部と、前記記憶部に蓄積された前記映像コンテンツにおいて出現する前記視聴対象を検出する検出部とを備えてもよく、前記分類結果取得部は、前記検出部により検出された前記視聴対象を分類してもよい。

このような構成により、たとえば視聴対象の分類結果を映像コンテンツ処理装置へ送信することにより、映像コンテンツ処理装置における処理負荷を軽減することができる。

（８）本開示の実施の形態に係る映像コンテンツ処理方法は、映像コンテンツ処理装置における映像コンテンツ処理方法であって、映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得するステップと、取得した前記分類結果に対する選択結果を取得するステップと、取得した前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定するステップとを含む。

このように、映像コンテンツにおいて出現する視聴対象を分類した分類結果に対する選択結果を取得し、取得した選択結果が示す視聴対象の時間的な出現位置に基づいて区切り位置を設定する方法により、選択された視聴対象の分類に基づいて区切り位置を設定することができるので、映像コンテンツにおける当該視聴対象の複数の出現位置に基づいて効率的に区切り位置を設定することができるとともに、早送り機能等を用いることなく、たとえばユーザが着目する視聴対象が出現するシーンから再生することができる。したがって、映像コンテンツの録画再生における利便性を向上することができる。

（９）本開示の実施の形態に係る映像コンテンツ処理プログラムは、映像コンテンツ処理装置において用いられる映像コンテンツ処理プログラムであって、コンピュータを、映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部、として機能させるためのプログラムである。

以下、本開示の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。

＜第１の実施の形態＞
［構成および基本動作］
図１は、本開示の第１の実施の形態に係るコンテンツ配信システムの構成を示す図である。図１を参照して、コンテンツ配信システム４０１は、コンテンツ視聴装置１０１と、サーバ２０１と、表示装置３０１とを備える。コンテンツ視聴装置１０１は、映像コンテンツ再生装置の一例である。サーバ２０１は、映像コンテンツ配信装置の一例である。コンテンツ配信システム４０１は、複数のコンテンツ視聴装置１０１を備える構成であってもよい。

コンテンツ視聴装置１０１および表示装置３０１は、ユーザ宅に設けられる。表示装置３０１は、ユーザ宅において、たとえばＨＤＭＩ（登録商標）ケーブルを介してコンテンツ視聴装置１０１に接続される。

サーバ２０１は、映像コンテンツをコンテンツ視聴装置１０１へ配信する装置である。サーバ２０１は、配信可能な複数の映像コンテンツのうちの、ユーザにより選択された映像コンテンツをコンテンツ視聴装置１０１へ配信する。たとえば、サーバ２０１は、ＶＯＤ（ＶｉｄｅｏＯｎＤｅｍａｎｄ）の映像コンテンツをコンテンツ視聴装置１０１へ配信する。また、たとえば、サーバ２０１は、地上デジタル放送、ＢＳ（ＢｒｏａｄｃａｓｔＳａｔｅｌｉｔｅ）放送、ＣＳ（ＣｏｍｍｕｎｉｃａｔｉｏｎＳａｔｅｌｌｉｔｅ）放送、および自主放送等の映像コンテンツをコンテンツ視聴装置１０１へ配信する。

コンテンツ視聴装置１０１は、たとえばＳＴＢ（ＳｅｔＴｏｐＢｏｘ）である。コンテンツ視聴装置１０１は、サーバ２０１から配信される映像コンテンツを受信する。コンテンツ視聴装置１０１は、受信した映像コンテンツの録画および再生を行うことが可能である。コンテンツ視聴装置１０１は、たとえば、映像コンテンツが複数の放送パケットに分割されたストリームをインターネット等のネットワーク３５１経由で受信し、コンテンツ視聴装置１０１に接続される表示装置３０１において映像コンテンツを再生する。

ストリームは、たとえば音声情報、映像情報、ＥＰＧ（ＥｌｅｃｔｒｏｎｉｃＰｒｏｇｒａｍＧｕｉｄｅ）情報、字幕情報およびＳＩ（ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎ）等を含む。

ストリームを構成する各放送パケットのペイロードには、たとえばＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）の一部または全部が含まれる。

コンテンツ視聴装置１０１において処理されるＰＥＳには、たとえば、画像を格納する画像ＰＥＳおよび音声を格納する音声ＰＥＳ等がある。画像ＰＥＳおよび音声ＰＥＳのペイロードには、符号化された、画像および音声がそれぞれ含まれる。ＰＥＳのヘッダには、当該ＰＥＳの識別子であるストリームＩＤ、および当該ＰＥＳのペイロードに含まれる画像または音声を出力すべきタイミングを示すＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）等が含まれる。

表示装置３０１は、たとえばテレビジョン装置である。表示装置３０１は、コンテンツ視聴装置１０１により再生された映像コンテンツを画面に表示する。

（コンテンツ視聴装置）
図２は、本開示の第１の実施の形態に係るコンテンツ視聴装置の構成の概要を示す図である。図２を参照して、コンテンツ視聴装置１０１は、受信部１１と、処理部１２と、記憶部１３とを備える。受信部１１および処理部１２の一部または全部は、たとえば、１または複数のプロセッサを含む処理回路（Ｃｉｒｃｕｉｔｒｙ）により実現される。記憶部１３は、たとえば上記処理回路に含まれる不揮発性メモリである。

受信部１１は、サーバ２０１から映像コンテンツを含むストリームを受信する。より詳細には、受信部１１は、ストリームを構成する放送パケットをネットワーク３５１経由でサーバ２０１から受信し、受信した放送パケットを処理部１２へ出力する。

処理部１２は、受信部１１から受けた放送パケットを記憶部１３に保存する。また、処理部１２は、映像コンテンツを出力する処理を行う。より詳細には、処理部１２は、記憶部１３に保存した情報等を用いて映像コンテンツを再生する処理を行い、得られた映像情報および音声情報等を表示装置３０１へ送信する。

図３は、本開示の第１の実施の形態に係るコンテンツ視聴装置の詳細な構成を示す図である。図３を参照して、コンテンツ視聴装置１０１は、リモコン信号受信部１１１と、放送受信部１１２と、消去部１２１と、録画部１２２と、録画予約部１２３と、放送視聴部１２４と、録画再生部１２５と、チャプタ生成部１２６と、録画ＤＢ１３１と、番組情報ＤＢ１３２と、予約管理ＤＢ１３３とを備える。また、コンテンツ視聴装置１０１は、記憶媒体の一例であるＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１４と接続される。

リモコン信号受信部１１１および放送受信部１１２は、図２に示す受信部１１に含まれる。消去部１２１、録画部１２２、録画予約部１２３、放送視聴部１２４、録画再生部１１２５およびチャプタ生成部１２６は、図２に示す処理部１２に含まれる。録画ＤＢ１３１、番組情報ＤＢ１３２および予約管理ＤＢ１３３は、記憶部１３に保存されている。

録画ＤＢ１３１は、録画された映像コンテンツすなわち録画番組のデータベースである。録画ＤＢ１３１には、各映像コンテンツの、コンテンツファイル名、タイトル、ジャンル、開始時間、終了時間、およびコンテンツ長等が登録される。

番組情報ＤＢ１３２は、放送される映像コンテンツすなわち放送番組のデータベースである。番組情報ＤＢ１３２には、番組情報として、放送受信部１１２によってストリームから取得されたイベント情報テーブル（ＥＩＴ）、およびＥＩＴなどを用いて作成されるＥＰＧに基づく番組表が登録される。放送受信部１１２によってＥＩＴが定期的に取得されることにより、番組情報ＤＢ１３２は定期的に更新される。

予約管理ＤＢ１３３は、録画予約された映像コンテンツすなわち予約番組のデータベースである。予約管理ＤＢ１３３には、各映像コンテンツの、タイトル、番組開始時間および番組終了時間等が登録される。

リモコン信号受信部１１１は、リモコン１５におけるリモコン操作部１５１からリモコン信号を受信し、受信したリモコン信号に含まれる、ユーザの操作を示す操作情報を消去部１２１、録画部１２２、録画予約部１２３、放送視聴部１２４、録画再生部１２５およびチャプタ生成部１２６へ出力する。

放送受信部１１２は、ネットワーク３５１経由でストリームを構成する放送パケットを受信する。放送パケットは、たとえば、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）パケットまたはＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットを含むＩＰパケットである。

放送視聴部１２４は、放送番組を再生する。より詳細には、放送視聴部１２４は、リモコン信号受信部１１１から受けた操作情報に従って放送受信部１１２を制御することにより、操作情報の示す映像コンテンツに対応する放送パケットを取得し、取得した放送パケットに含まれる情報等を用いて映像コンテンツである放送番組を再生する処理を行い、得られた映像情報および音声情報等を表示装置３０１へ送信する。

録画予約部１２３は、リモコン信号受信部１１１から受けた操作情報に従い、番組情報ＤＢ１３２に登録されている番組表を参照し、操作情報の示す映像コンテンツに関する情報を予約管理ＤＢ１３３に登録する。録画予約部１２３は、予約管理ＤＢ１３３を参照し、当該映像コンテンツの開始時間に従って録画部１２２へ録画指示を出力する。

録画部１２２は、リモコン信号受信部１１１から受けた操作情報に従い、操作情報の示す映像コンテンツを録画する。また、録画部１２２は、録画予約部１２３から受けた録画指示に従い、録画指示の示す映像コンテンツを録画する。より詳細には、録画部１２２は、操作情報または録画指示に従って放送受信部１１２を制御することにより、操作情報または録画指示の示す映像コンテンツに対応する放送パケットを取得し、コンテンツファイルとしてＨＤＤ１４に保存するとともに、当該映像コンテンツに関する録画情報を録画ＤＢ１３１に登録する。

録画部１２２は、放送パケットのＨＤＤ１４への保存を開始すると、当該放送パケットに対応する映像コンテンツである録画番組に関する録画情報をチャプタ生成部１２６へ出力する。

チャプタ生成部１２６は、録画部１２２から受けた録画情報が示す録画番組に対応するチャプタ情報を生成し、生成したチャプタ情報を当該録画番組に対応付けてＨＤＤ１４に保存する。

図４は、本開示の第１の実施の形態に係るコンテンツ視聴装置におけるチャプタ生成部により生成されるチャプタ情報の一例を示す図である。

図４を参照して、チャプタ情報は、録画番組における章立て位置すなわちインデックスであるチャプタポイントのチャプタＩＤおよび再生位置Ｐｃ、ならびにチャプタ情報の生成の際に用いた後述する検出画像を含む。チャプタ情報における再生位置Ｐｃは、対応の映像コンテンツの冒頭からの経過時間で表される。図４に示す例では、「ＣＨ－１」のチャプタポイントの再生位置Ｐｃは、１４分２０秒であり、「ＣＨ－３」のチャプタポイントの再生位置Ｐｃは、１時間１０分２０秒である。再生位置Ｐｃは、区切り位置の一例である。

再び図３を参照して、録画再生部１２５は、ＨＤＤ１４に保存された録画番組を再生する。より詳細には、録画再生部１２５は、リモコン信号受信部１１１から受けた操作情報に従い、操作情報の示す録画番組に対応する放送パケットをＨＤＤ１４から取得する。そして、録画再生部１２５は、取得した放送パケットに含まれる情報等を用いて映像コンテンツである録画番組を再生する処理を行い、得られた映像情報および音声情報等を表示装置３０１へ送信する。

録画再生部１２５は、操作情報の示す録画番組に対応するチャプタ情報がＨＤＤ１４に保存されている場合、当該チャプタ情報を取得する。そして、録画再生部１２５は、録画番組の再生中に、チャプタポイントの指定を含む操作情報をリモコン信号受信部１１１から受けると、チャプタ情報に基づいて、受けた操作情報において指定されたチャプタポイントの再生位置Ｐｃから録画番組の再生を行う。

消去部１２１は、リモコン信号受信部１１１から受けた操作情報に従い、操作情報の示す録画番組に対応する放送パケットをＨＤＤ１４から消去するとともに、当該録画番組に関する録画情報を録画ＤＢ１３１から消去する。

（チャプタ生成部）
図５は、本開示の第１の実施の形態に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図５を参照して、チャプタ生成部１２６は、抽出部５１と、検出部５２と、分類部５３と、表示処理部５４と、受付部５５と、設定部５６とを含む。分類部５３は、分類結果取得部の一例である。受付部５５は、選択結果取得部の一例である。

（抽出部）
抽出部５１は、映像コンテンツを含むストリームを構成する放送パケットをＨＤＤ１４から取得する。より詳細には、抽出部５１は、録画部１２２から録画情報を受けて、受けた録画情報が示す録画番組である対象番組ＲＰに対応する放送パケットをＨＤＤ１４から取得する。

抽出部５１は、取得した放送パケットを用いて対象番組ＲＰを再生したときに所定間隔で表示される複数の画像を取得する。より詳細には、抽出部５１は、取得した放送パケットに含まれるＰＥＳのヘッダにおけるストリームＩＤおよびＰＴＳを参照することにより、対象番組ＲＰを再生したときにたとえば０．５秒間隔で表示される複数のＩ（Ｉｎｔｒａ）フレームＩＦを取得する。なお、ＩフレームＩＦは、Ｉピクチャとも称される。ＩフレームＩＦは、ＰフレームおよびＢフレームと比べて、簡易な処理で取得することができる。

抽出部５１は、取得した複数のＩフレームＩＦおよび各ＩフレームＩＦの再生位置Ｐｆを含む抽出画像情報を検出部５２へ出力する。

（検出部）
検出部５２は、抽出部５１から抽出画像情報を受けて、受けた抽出画像情報に基づいて、受信部１１により受信されたストリームに含まれる映像コンテンツにおいて出現する人間の顔を検出する。人間の顔は、視聴対象の一例である。

図６は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における検出部による人間の顔の検出結果の一例を示す図である。

図６を参照して、検出部５２は、たとえばＭＴＣＮＮ（Ｍｕｌｔｉ－ＴａｓｋＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）に従って作成された学習モデルを用いて、抽出画像情報に含まれるＩフレームＩＦのうちの人間の顔が含まれるＩフレームＩＦを抽出し、抽出したＩフレームＩＦにおいて人間の顔が含まれる領域である対象領域Ｒｔを検出する。たとえば、検出部５２は、１つのＩフレームＩＦに複数の人間の顔が含まれる場合、当該ＩフレームＩＦにおいて、当該複数の人間の顔にそれぞれ対応する複数の対象領域Ｒｔを検出する。

検出部５２は、抽出したＩフレームＩＦ、当該ＩフレームＩＦの再生位置Ｐｆ、および当該ＩＦフレームにおける対象領域Ｒｔの検出結果を含む検出情報を分類部５３へ出力する。たとえば、検出情報は、対象領域ＲｔのサイズおよびＩフレームＩＦにおける対象領域Ｒｔの位置を含む。

（分類部）
分類部５３は、映像コンテンツにおいて出現する人間の顔を分類した分類結果を取得する。たとえば、分類部５３は、検出部５２により検出された人間の顔を分類する。より詳細には、分類部５３は、検出部５２から検出情報を受けて、検出情報に含まれる対象領域Ｒｔの検出結果に基づいて、検出情報に含まれるＩフレームＩＦから、対象領域Ｒｔの画像である対象画像Ｇｔを抽出する。

図７は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における分類部による人間の顔の分類結果の一例を示す図である。

図７を参照して、分類部５３は、たとえば、顔認証ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）であるＯｐｅｎＦａｃｅを用いて、抽出した対象画像Ｇｔに含まれる人間の顔を分類することにより、複数の対象画像Ｇｔを、同一人物の顔を含む対象画像Ｇｔからなる１または複数のグループＧｒに分類する。分類部５３は、各対象画像Ｇｔの再生位置Ｐｆおよび対象画像Ｇｔの分類結果を、表示処理部５４および設定部５６へ出力する。

（表示処理部）
図８は、本開示の第１の実施の形態に係るコンテンツ視聴装置のチャプタ生成部における表示処理部により表示装置に表示される選択画面の一例を示す図である。

図８を参照して、表示処理部５４は、分類部５３による分類結果に基づく人間の顔を表示装置３０１に表示する処理を行う。より詳細には、表示処理部５４は、分類部５３から受けた分類結果に基づいて、各グループＧｒからたとえばサイズが最も大きい対象画像Ｇｔを取得し、取得した対象画像Ｇｔを含む選択画面Ｓｃ１を生成する。表示処理部５４は、生成した選択画面Ｓｃ１を表示装置３０１に表示する処理を行う。なお、表示処理部５４は、各グループＧｒから、サイズが最も大きい対象画像Ｇｔを取得する代わりに、対象番組ＲＰを再生したときに最初に表示される対象画像Ｇｔを取得してもよい。

たとえば、表示処理部５４は、映像コンテンツにおける出現頻度の順に従って、人間の顔を含む対象画像Ｇｔを並べて表示する処理を行う。より詳細には、表示処理部５４は、各グループＧｒから取得した対象画像Ｇｔが、対応のグループＧｒに属する対象画像Ｇｔの数の大きさの順に従って並べられた選択画面Ｓｃ１を生成する。

一例として、表示処理部５４は、録画再生部１２５により対象番組ＲＰが初めて再生されるタイミングにおいて、選択画面Ｓｃ１を表示する処理を行う。より詳細には、対象番組ＲＰを再生すべき旨を示す操作情報をリモコン信号受信部１１１から受けて、選択画面Ｓｃ１を表示する処理を行う。

（受付部）
受付部５５は、分類部５３による分類結果に対する選択結果を取得する。たとえば、受付部５５は、表示処理部５４により表示された人間の顔の選択結果を受け付ける。

より詳細には、コンテンツ視聴装置１０１のユーザは、表示装置３０１に表示された選択画面Ｓｃ１を参照しながら、リモコン１５を用いて、選択画面Ｓｃ１に含まれるサムネイル画像である対象画像Ｇｔのうちの、たとえば好みの人間の顔が含まれる対象画像Ｇｔを選択する操作を行う。

受付部５５は、ユーザにより選択された対象画像Ｇｔを示す操作情報をリモコン信号受信部１１１から受けて、受けた操作情報を設定部５６へ出力する。

（設定部）
設定部５６は、受付部５５により取得された選択結果が示す人間の顔の、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

より詳細には、設定部５６は、分類部５３から受けた分類結果に基づいて、受付部５５から受けた操作情報が示す対象画像Ｇｔが属するグループＧｒを特定する。設定部５６は、分類部５３から受けた各対象画像Ｇｔの再生位置Ｐｆのうちの、特定したグループＧｒに属する対象画像Ｇｔの再生位置Ｐｆを抽出し、抽出した再生位置Ｐｆに基づいて、チャプタポイントの再生位置Ｐｃを設定する。

たとえば、設定部５６は、抽出した再生位置Ｐｆの３秒前をチャプタポイントの再生位置Ｐｃとして設定する。そして、設定部５６は、設定した再生位置Ｐｃ、再生位置Ｐｃに対応する再生位置Ｐｆにおける検出画像であるＩフレームＩＦ、およびチャプタＩＤを含むチャプタ情報を生成する。設定部５６は、生成したチャプタ情報を、対象番組ＲＰに対応付けてＨＤＤ１４に保存する。

図９は、本開示の第１の実施の形態に係るコンテンツ視聴装置における録画再生部により表示装置に表示されるチャプタ操作画面の一例を示す図である。

図９を参照して、録画再生部１２５は、ＨＤＤ１４からチャプタ情報を取得し、取得したチャプタ情報からＩフレームＩＦを取得し、取得したＩフレームＩＦを含むチャプタ操作画面Ｓｃ２を生成する。録画再生部１２５は、生成したチャプタ操作画面Ｓｃ２を表示装置３０１に表示する処理を行う。

たとえば、コンテンツ視聴装置１０１のユーザは、表示装置３０１に表示されたチャプタ操作画面Ｓｃ２を参照しながら、リモコン１５を用いて、同一人物が登場する複数のシーンのうちの視聴したいシーンを示すＩフレームＩＦを選択する操作を行う。

録画再生部１２５は、ユーザにより選択されたＩフレームＩＦを示す操作情報をリモコン信号受信部１１１から受けて、受けた操作情報が示すＩフレームＩＦに対応するチャプタポイントの再生位置Ｐｃから対象番組ＲＰの再生を開始する。

［動作の流れ］
図１０は、本開示の実施の形態に係るコンテンツ視聴装置がチャプタ情報の生成を行う際の動作手順の一例を定めたフローチャートである。

図１０を参照して、まず、コンテンツ視聴装置１０１は、録画すべき映像コンテンツである対象番組ＲＰを含むストリームを受信する（ステップＳ１１）。

次に、コンテンツ視聴装置１０１は、受信したストリームからＩフレームＩＦを取得する（ステップＳ１２）。

次に、コンテンツ視聴装置１０１は、受信したストリームに含まれる映像コンテンツにおいて出現する人間の顔を検出する。より詳細には、コンテンツ視聴装置１０１は、取得したＩフレームＩＦのうちの人間の顔が含まれるＩフレームＩＦを抽出し、抽出したＩフレームＩＦにおいて人間の顔が含まれる領域である対象領域Ｒｔを検出する（ステップＳ１３）。

次に、コンテンツ視聴装置１０１は、検出した人間の顔を分類する。より詳細には、コンテンツ視聴装置１０１は、ＩフレームＩＦから対象画像Ｇｔを抽出し、抽出した対象画像Ｇｔに含まれる人間の顔を分類することにより、複数の対象画像Ｇｔを、同一人物の顔を含む対象画像Ｇｔからなる１または複数のグループＧｒに分類する（ステップＳ１４）。

次に、コンテンツ視聴装置１０１は、分類結果に基づく人間の顔を表示装置３０１に表示する処理を行う。より詳細には、コンテンツ視聴装置１０１は、選択画面Ｓｃ１を表示装置３０１に表示する処理を行う（ステップＳ１５）。

次に、コンテンツ視聴装置１０１は、ユーザによる対象画像Ｇｔの選択結果を取得する（ステップＳ１６）。

次に、コンテンツ視聴装置１０１は、取得した選択結果が示す対象画像Ｇｔが属するグループＧｒを特定し、特定したグループＧｒに属する対象画像Ｇｔの再生位置Ｐｆを抽出し、抽出した再生位置Ｐｆに基づいて再生位置Ｐｃを設定する（ステップＳ１７）。

次に、コンテンツ視聴装置１０１は、再生位置Ｐｃ、再生位置Ｐｃに対応する再生位置ＰｆにおけるＩフレームＩＦ、およびチャプタＩＤを含むチャプタ情報を生成し、生成したチャプタ情報を対象番組ＲＰに対応付けてＨＤＤ１４に保存する（ステップＳ１８）。

次に、コンテンツ視聴装置１０１は、生成したチャプタ情報からＩフレームＩＦを取得し、取得したＩフレームＩＦを含むチャプタ操作画面Ｓｃ２を表示装置３０１に表示する処理を行う（ステップＳ１９）。

次に、コンテンツ視聴装置１０１は、ユーザにより選択されたＩフレームＩＦに対応するチャプタポイントの再生位置Ｐｃから対象番組ＲＰの再生を開始する（ステップＳ２０）。

なお、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、チャプタ生成部１２６における表示処理部５４は、各グループＧｒから取得した対象画像Ｇｔが、対応のグループＧｒに属する対象画像Ｇｔの数の大きさの順に従って並べられた選択画面Ｓｃ１を表示する処理を行う構成であるとしたが、これに限定するものではない。表示処理部５４は、グループＧｒに属する対象画像Ｇｔの数に関わらず、各グループＧｒから取得した対象画像Ｇｔが対象番組ＲＰにおける出現順に並べられた選択画面Ｓｃ１を表示する処理を行う構成であってもよいし、各グループＧｒから取得した対象画像Ｇｔが任意の順に並べられた選択画面Ｓｃ１を表示する処理を行う構成であってもよい。

また、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、チャプタ生成部１２６における表示処理部５４は、録画再生部１２５により対象番組ＲＰが初めて再生されるタイミングにおいて、選択画面Ｓｃ１を表示する処理を行う構成であるとしたが、これに限定するものではない。表示処理部５４は、選択画面Ｓｃ１を表示すべき旨を示す操作情報をリモコン信号受信部１１１から受けて、選択画面Ｓｃ１を表示する処理を行う構成であってもよい。具体的には、リモコン１５は、シーン検索ボタンを含む。ユーザは、選択画面Ｓｃ１を表示させるために、シーン検索ボタンを押下する操作を行う。表示処理部５４は、ユーザによりシーン検索ボタンが押下されたことを示す操作情報をリモコン信号受信部１１１から受けて、選択画面Ｓｃ１を表示する処理を行う。

また、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、チャプタ生成部１２６における表示処理部５４は、対象画像Ｇｔを含む選択画面Ｓｃ１を表示する処理を行う構成であるとしたが、これに限定するものではない。表示処理部５４は、対象画像Ｇｔの代わりに、当該対象画像Ｇｔに含まれる人間の上半身をさらに含む画像、または当該対象画像Ｇｔに含まれる人間の背景をさらに含む画像、を含む選択画面Ｓｃ１を表示する処理を行う構成であってもよい。すなわち、表示処理部５４は、当該対象画像Ｇｔの抽出元のＩフレームＩＦの画像の一部または全部を含む選択画面Ｓｃ１を表示する処理を行う構成であってもよい。

また、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、チャプタ生成部１２６における検出部５２は、映像コンテンツにおいて出現する人間の顔を検出する構成であるとしたが、これに限定するものではない。検出部５２は、自動車、およびアニメのキャラクタの顔等の、人間の顔以外の視聴対象を検出する構成であってもよい。この場合、分類部５３は、検出部５２により検出された、人間の顔以外の視聴対象を分類する。表示処理部５４は、分類部５３による分類結果に基づく当該視聴対象を表示装置３０１に表示する処理を行う。受付部５５は、表示処理部５４により表示された当該視聴対象の選択結果を受け付ける。設定部５６は、受付部５５により取得された選択結果が示す当該視聴対象の、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

また、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、チャプタ生成部１２６における抽出部５１は、録画部１２２から録画情報を受けて、放送パケットをＨＤＤ１４から取得し、ＩフレームＩＦを取得する構成であるとしたが、これに限定するものではない。抽出部５１は、録画部１２２から録画情報を受けて、たとえば夜中等のコンテンツ視聴装置１０１の処理負荷が比較的小さい時間帯が到来するまで待機し、当該時間帯において放送パケットをＨＤＤ１４から取得し、ＩフレームＩＦを取得する構成であってもよい。

＜変形例１＞
図１１は、本開示の第１の実施の形態の変形例１に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図１１を参照して、チャプタ生成部１２６Ａは、チャプタ生成部１２６と比べて、抽出部５１、検出部５２および分類部５３の代わりに、取得部５７を含む。取得部５７は、分類結果取得部の一例である。コンテンツ視聴装置１０１は、チャプタ生成部１２６の代わりに、チャプタ生成部１２６Ａを備える構成であってもよい。

たとえば、サーバ２０１は、ユーザにより選択された映像コンテンツに加えて、当該映像コンテンツにおけるＩフレームＩＦ、当該ＩフレームＩＦの再生位置Ｐｆ、当該ＩＦフレームから抽出した対象画像Ｇｔ、および対象画像Ｇｔの分類結果を含む分類情報をコンテンツ視聴装置１０１へ配信する。

チャプタ生成部１２６Ａにおける取得部５７は、サーバ２０１から分類結果を取得する。

より詳細には、受信部１１は、分類情報をネットワーク３５１経由でサーバ２０１から受信し、受信した分類情報をチャプタ生成部１２６Ａへ出力する。

取得部５７は、受信部１１から分類情報を受けて、受けた分類情報を表示処理部５４および設定部５６へ出力する。

表示処理部５４は、取得部５７から受けた分類情報に含まれる分類結果に基づく人間の顔を、表示装置３０１に表示する処理を行う。より詳細には、表示処理部５４は、取得部５７から受けた分類情報に基づいて選択画面Ｓｃ１を生成し、生成した選択画面Ｓｃ１を表示装置３０１に表示する処理を行う。

＜変形例２＞
図１２は、本開示の第１の実施の形態の変形例２に係るコンテンツ視聴装置におけるチャプタ生成部の構成を示す図である。図１２を参照して、チャプタ生成部１２６Ｂは、チャプタ生成部１２６と比べて、表示処理部５４、受付部５５および設定部５６の代わりに、選択部５８および設定部５９を含む。選択部５８は、選択結果取得部の一例である。コンテンツ視聴装置１０１は、チャプタ生成部１２６の代わりに、チャプタ生成部１２６Ｂを備える構成であってもよい。

分類部５３は、各対象画像Ｇｔの再生位置Ｐｆおよび対象画像Ｇｔの分類結果を、選択部５８および設定部５６へ出力する。

選択部５８は、分類部５３による分類結果に基づいて、人間の顔を含む対象画像Ｇｔを選択する。たとえば、選択部５８は、複数の対象画像Ｇｔのうちの、対象番組ＲＰにおける出現頻度が所定値以上である人間の顔を含む対象画像Ｇｔを選択する。対象番組ＲＰは、たとえば、ニュース番組等の番組構成が予め概ね確定している番組である。

より詳細には、選択部５８は、複数のグループＧｒのうちの、属する対象画像Ｇｔの数が所定値以上であるグループＧｒを抽出し、抽出したグループＧｒに属する対象画像Ｇｔを選択する。たとえば、選択部５８は、属する対象画像Ｇｔの数が所定値以上であるグループＧｒとしてグループＧｒ１，Ｇｒ２，Ｇｒ３を抽出し、対象画像Ｇｔとして、グループＧｒ１，Ｇｒ２，Ｇｒ３にそれぞれ属する対象画像Ｇｔ１，Ｇｔ２，Ｇｔ３を選択する。選択部５８は、選択した対象画像Ｇｔを示す選択情報を設定部５９へ出力する。

設定部５９は、選択部５８により選択された対象画像Ｇｔの、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

より詳細には、設定部５９は、分類部５３から受けた各対象画像Ｇｔの再生位置Ｐｆのうちの、選択部５８から受けた選択情報が示す対象画像Ｇｔの再生位置Ｐｆを抽出し、抽出した再生位置Ｐｆに基づいて、チャプタポイントの再生位置Ｐｃを設定する。設定部５９は、設定した再生位置Ｐｃ、再生位置Ｐｃに対応する再生位置ＰｆにおけるＩフレームＩＦ、およびチャプタＩＤを含むチャプタ情報を生成し、生成したチャプタ情報を、対象番組ＲＰに対応付けてＨＤＤ１４に保存する。

図１３は、本開示の第１の実施の形態の変形例２に係るコンテンツ視聴装置における録画再生部により表示装置に表示されるチャプタ操作画面の一例を示す図である。

図１３を参照して、録画再生部１２５は、ＨＤＤ１４からチャプタ情報を取得し、取得したチャプタ情報からＩフレームＩＦを取得し、取得したＩフレームＩＦを含むチャプタ操作画面Ｓｃ３を生成する。録画再生部１２５は、生成したチャプタ操作画面Ｓｃ３を表示装置３０１に表示する処理を行う。

たとえば、コンテンツ視聴装置１０１のユーザは、表示装置３０１に表示されたチャプタ操作画面Ｓｃ３を参照しながら、リモコン１５を用いて、視聴したいシーンを示すＩフレームＩＦを選択する操作を行う。

ところで、映像コンテンツの録画再生における利便性を向上することが可能な技術が望まれる。たとえば、特定の人間が出現するシーンを簡単に視聴することが可能な技術が望まれる。非特許文献３に記載の技術のように音の切り替わりおよび映像の切り替わりを自動的に検出してチャプタを作成する方法、字幕情報に基づいてチャプタポイントの再生位置を設定する方法、ならびに所定間隔のチャプタポイントの再生位置を設定する方法では、特定の人間が出演するシーンに基づいてチャプタポイントの再生位置を設定することは困難である。また、特定の人間が出演するシーンに基づいて、手動でチャプタポイントの再生位置を設定することは、作業性の観点から現実的ではない。

これに対して、本開示の第１の実施の形態に係るコンテンツ視聴装置１０１では、分類部５３は、映像コンテンツにおいて出現する人間の顔を分類した分類結果を取得する。受付部５５は、分類部５３により取得された分類結果に対する選択結果を取得する。設定部５６は、受付部５５により取得された選択結果が示す人間の顔の、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

このように、映像コンテンツにおいて出現する人間の顔を分類した分類結果に対する選択結果を取得し、取得した選択結果が示す人間の顔の時間的な出現位置に基づいて再生位置Ｐｃを設定する構成により、選択された人間の顔の分類に基づいて再生位置Ｐｃを設定することができるので、映像コンテンツにおける当該人間の顔の複数の出現位置に基づいて効率的に再生位置Ｐｃを設定することができるとともに、早送り機能等を用いることなく、たとえばユーザが着目する特定の人間が出現するシーンから再生することができる。したがって、映像コンテンツの録画再生における利便性を向上することができる。

次に、本開示の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係るコンテンツ配信システム４０１と比べて、サーバ２０２がチャプタ情報を生成するコンテンツ配信システム４０２に関する。以下で説明する内容以外は第１の実施の形態に係るコンテンツ配信システム４０１と同様である。

図１４は、本開示の第２の実施の形態に係るコンテンツ配信システムの構成を示す図である。図１４を参照して、コンテンツ配信システム４０２は、コンテンツ配信システム４０１と比べて、コンテンツ視聴装置１０１の代わりにコンテンツ視聴装置１０２を備え、サーバ２０１の代わりにサーバ２０２を備える。たとえば、サーバ２０２は、ＶＯＤの映像コンテンツをコンテンツ視聴装置１０２へ配信する。

図１５は、本開示の第２の実施の形態に係るサーバの構成の概要を示す図である。図１５を参照して、サーバ２０２は、チャプタ生成部２１と、送信部２２と、受信部２３と、記憶部２４とを備える。チャプタ生成部２１、送信部２２および受信部２３の一部または全部は、たとえば、１または複数のプロセッサを含む処理回路（Ｃｉｒｃｕｉｔｒｙ）により実現される。記憶部２４は、たとえば上記処理回路に含まれる不揮発性メモリである。

記憶部２４には、サーバ２０２により配信可能な映像コンテンツが蓄積されている。より詳細には、記憶部２４には、ＶＯＤの映像コンテンツが蓄積されている。

送信部２２は、記憶部２４に蓄積された映像コンテンツをコンテンツ視聴装置１０２へ配信する。より詳細には、送信部２２は、ユーザにより選択された映像コンテンツを記憶部２４から取得し、取得した映像コンテンツが複数の放送パケットに分割されたストリームをネットワーク３５１経由でコンテンツ視聴装置１０２へ送信する。

図１６は、本開示の第２の実施の形態に係るサーバにおけるチャプタ生成部の構成を示す図である。図１６を参照して、チャプタ生成部２１は、抽出部６１と、検出部６２と、分類部６３と、選択部６８と、設定部６９とを含む。分類部６３は、分類結果取得部の一例である。選択部６８は、選択結果取得部の一例である。

（抽出部）
抽出部６１は、記憶部２４から映像コンテンツを取得し、取得した映像コンテンツである対象番組ＲＰを再生したときに所定間隔で表示される複数の画像を取得する。より詳細には、抽出部６１は、対象番組ＲＰを再生したときにたとえば０．５秒間隔で表示される複数のＩ（Ｉｎｔｒａ）フレームＩＦを取得する。抽出部６１は、取得した複数のＩフレームＩＦおよび各ＩフレームＩＦの再生位置Ｐｆを含む抽出画像情報を検出部６２へ出力する。

（検出部）
検出部６２は、抽出部６１から抽出画像情報を受けて、受けた抽出画像情報に基づいて、映像コンテンツにおいて出現する人間の顔を検出する。

より詳細には、検出部６２は、たとえばＭＴＣＮＮに従って作成された学習モデルを用いて、抽出画像情報に含まれるＩフレームＩＦのうちの人間の顔が含まれるＩフレームＩＦを抽出し、抽出したＩフレームＩＦにおいて人間の顔が含まれる領域である対象領域Ｒｔを検出する。たとえば、検出部６２は、１つのＩフレームＩＦに複数の人間の顔が含まれる場合、当該ＩフレームＩＦにおいて、当該複数の人間の顔にそれぞれ対応する複数の対象領域Ｒｔを検出する。

検出部６２は、抽出したＩフレームＩＦ、当該ＩフレームＩＦの再生位置Ｐｆ、および当該ＩＦフレームにおける対象領域Ｒｔの検出結果を含む検出情報を分類部６３へ出力する。

（分類部）
分類部５３は、映像コンテンツにおいて出現する人間の顔を分類した分類結果を生成する。たとえば、分類部６３は、検出部６２により検出された人間の顔を分類する。より詳細には、分類部６３は、検出部６２から検出情報を受けて、検出情報に含まれる対象領域Ｒｔの検出結果に基づいて、検出情報に含まれるＩフレームＩＦから、対象領域Ｒｔの画像である対象画像Ｇｔを抽出する。分類部６３は、たとえばＯｐｅｎＦａｃｅを用いて、抽出した対象画像Ｇｔに含まれる人間の顔を分類することにより、複数の対象画像Ｇｔを、同一人物の顔を含む対象画像Ｇｔからなる１または複数のグループＧｒに分類する。分類部６３は、各対象画像Ｇｔの再生位置Ｐｆおよび対象画像Ｇｔの分類結果を、選択部６８および設定部６９へ出力する。

（選択部）
選択部６８は、分類部６３により取得された分類結果に対する選択結果を取得する。選択部６８は、分類部６３による分類結果に基づいて、人間の顔を含む対象画像Ｇｔを選択する。たとえば、選択部６８は、分類部６３から受けた分類結果が示す複数の対象画像Ｇｔのうちの、対象番組ＲＰにおける出現頻度が所定値以上である人間の顔を含む対象画像Ｇｔを選択する。対象番組ＲＰは、たとえば、ニュース番組等の番組構成が予め概ね確定している番組である。

より詳細には、選択部６８は、複数のグループＧｒのうちの、属する対象画像Ｇｔの数が所定値以上であるグループＧｒを抽出し、抽出したグループＧｒに属する対象画像Ｇｔを選択する。選択部６８は、選択した対象画像Ｇｔを示す選択情報を設定部６９へ出力する。

（設定部）
設定部６９は、選択部６８により選択された対象画像Ｇｔの、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

より詳細には、設定部６９は、分類部６３から受けた各対象画像Ｇｔの再生位置Ｐｆのうちの、選択部６８から受けた選択情報が示す対象画像Ｇｔの再生位置Ｐｆを抽出し、抽出した再生位置Ｐｆに基づいて、チャプタポイントの再生位置Ｐｃを設定する。設定部６９は、設定した再生位置Ｐｃ、再生位置Ｐｃに対応する再生位置Ｐｆにおける検出画像であるＩフレームＩＦ、およびチャプタＩＤを含むチャプタ情報を生成する。設定部６９は、生成したチャプタ情報を映像コンテンツに対応付けて記憶部２４に保存する。

送信部２２は、ユーザにより選択された映像コンテンツに対応するチャプタ情報が記憶部２４に保存されている場合、当該映像コンテンツが複数の放送パケットに分割されたストリームに加えて、当該チャプタ情報をネットワーク３５１経由でコンテンツ視聴装置１０２へ送信する。なお、送信部２２は、チャプタ情報を、ストリームを構成する１または複数の放送パケットに含めてネットワーク３５１経由でコンテンツ視聴装置１０２へ送信する構成であってもよい。

コンテンツ視聴装置１０２は、ネットワーク３５１経由でサーバ２０２からストリームおよびチャプタ情報を受信する。コンテンツ視聴装置１０２は、ストリームに含まれる映像コンテンツを再生する場合、チャプタ情報に基づいてチャプタ操作画面Ｓｃ３を生成し、生成したチャプタ操作画面Ｓｃ３を表示装置３０１に表示する処理を行う。そして、コンテンツ視聴装置１０２は、チャプタ操作画面Ｓｃ３に含まれるＩフレームＩＦのうちのユーザにより選択されたＩフレームＩＦ、に対応するチャプタポイントの再生位置Ｐｃから映像コンテンツの再生を開始する。

たとえば、コンテンツ視聴装置１０２は、定期的または不定期に、ユーザによるチャプタポイントの選択結果を示すチャプタ使用情報をネットワーク３５１経由でサーバ２０２へ送信する。

サーバ２０２における受信部２３は、ネットワーク３５１経由で複数のコンテンツ視聴装置１０２からチャプタ使用情報を受信し、受信したチャプタ使用情報をチャプタ生成部２１へ出力する。

チャプタ生成部２１は、受信部２３から受けたチャプタ使用情報が示すチャプタポイントの選択結果に基づいて、ユーザからの人気が高い人物を推定する。そして、チャプタ生成部２１は、推定結果に基づいてチャプタ情報を生成する。より詳細には、チャプタ生成部２１における選択部６８は、分類部６３から受けた分類結果が示す複数の対象画像Ｇｔのうちの、ユーザからの人気が高い人物の顔を含む対象画像Ｇｔを優先的に選択する。

なお、本開示の第２の実施の形態に係るサーバ２０２では、チャプタ生成部１２６は、選択部６８および設定部６９を含む構成であるとしたが、これに限定するものではない。チャプタ生成部１２６は、選択部６８および設定部６９を含まない構成であってもよい。この場合、分類部６３は、分類結果を示す分類情報を映像コンテンツに対応付けて記憶部２４に保存する。送信部２２は、ユーザにより選択された映像コンテンツに対応する分類情報が記憶部２４に保存されている場合、当該映像コンテンツが複数の放送パケットに分割されたストリームに加えて、当該分類情報をネットワーク３５１経由でコンテンツ視聴装置１０２へ送信する。

以上のように、本開示の第２の実施の形態に係るサーバ２０２では、分類部６３は、映像コンテンツにおいて出現する人間の顔を分類した分類結果を取得する。選択部６８は、分類部６３により取得された分類結果に対する選択結果を取得する。設定部６９は、選択部６８により取得された選択結果が示す人間の顔の、映像コンテンツにおける時間的な出現位置に基づいて、当該映像コンテンツの再生位置Ｐｃを設定する。

このように、映像コンテンツにおいて出現する人間の顔を分類した分類結果に対する選択結果を取得し、取得した選択結果が示す人間の顔の時間的な出現位置に基づいて再生位置Ｐｃを設定する構成により、選択された人間の顔の分類に基づいて再生位置Ｐｃを設定することができるので、映像コンテンツにおける当該人間の顔の複数の出現位置に基づいて効率的に再生位置Ｐｃを設定することができるとともに、早送り機能等を用いることなく、たとえばユーザが着目する特定の人間が出現するシーンから再生することができる。したがって、映像コンテンツの録画再生における利便性を向上することができる。また、サーバ２０２において分類結果の生成および対象画像Ｇｔの選択等を行う構成により、ユーザ宅に設けられることが多いコンテンツ視聴装置１０２においてこれらの処理を行う構成と比べて、コンテンツ配信システム４０２全体における処理負荷を低減することができる。また、サーバ２０２において、ユーザによるチャプタポイントの選択結果を収集することにより、ユーザからの人気が高い人物を推定し、推定結果に基づいてチャプタ情報を生成することができるので、ユーザの利便性をより向上することができる。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

上述の実施形態の各処理（各機能）は、１または複数のプロセッサを含む処理回路（Ｃｉｒｃｕｉｔｒｙ）により実現される。上記処理回路は、上記１または複数のプロセッサに加え、１または複数のメモリ、各種アナログ回路、各種デジタル回路が組み合わされた集積回路等で構成されてもよい。上記１または複数のメモリは、上記各処理を上記１または複数のプロセッサに実行させるプログラム（命令）を格納する。上記１または複数のプロセッサは、上記１または複数のメモリから読み出した上記プログラムに従い上記各処理を実行してもよいし、予め上記各処理を実行するように設計された論理回路に従って上記各処理を実行してもよい。上記プロセッサは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、およびＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等、コンピュータの制御に適合する種々のプロセッサであってよい。なお、物理的に分離した上記複数のプロセッサが互いに協働して上記各処理を実行してもよい。たとえば、物理的に分離した複数のコンピュータのそれぞれに搭載された上記プロセッサがＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、およびインターネット等のネットワークを介して互いに協働して上記各処理を実行してもよい。上記プログラムは、外部のサーバ装置等から上記ネットワークを介して上記メモリにインストールされても構わないし、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、および半導体メモリ等の記録媒体に格納された状態で流通し、上記記録媒体から上記メモリにインストールされても構わない。

以上の説明は、以下に付記する特徴を含む。
［付記１］
映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、
前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、
前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部とを備え、
さらに、
前記映像コンテンツにおいて出現する前記視聴対象を検出する検出部を備え、
前記検出部は、ＭＴＣＮＮに従って作成された学習モデルを用いて、前記視聴対象を検出し、
前記分類結果取得部は、ＯｐｅｎＦａｃｅを用いて、前記視聴対象を分類する、映像コンテンツ処理装置。

［付記２］
処理回路を備え、
前記処理回路は、
映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得し、
取得した前記分類結果に対する選択結果を取得し、
取得した前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する、映像コンテンツ処理装置。

１１受信部
１２処理部
１３記憶部
１４ＨＤＤ
１５リモコン
２１チャプタ生成部
２２送信部
２３受信部
２４記憶部
５１，６１抽出部
５２，６２検出部
５３，６３分類部
５４表示処理部
５５受付部
５６，５９，５９設定部
５７取得部
５８，６８選択部
１０１，１０２コンテンツ視聴装置
１１１リモコン信号受信部
１１２放送受信部
１２１消去部
１２２録画部
１２３録画予約部
１２４放送視聴部
１２５録画再生部
１２６，１２６Ａ，１２６Ｂチャプタ生成部
１３１録画ＤＢ
１３２番組情報ＤＢ
１３３予約管理ＤＢ
１５１リモコン操作部
２０１，２０２サーバ
３５１ネットワーク
３０１表示装置
４０１，４０２コンテンツ配信システム
ＩＦＩフレーム
Ｒｔ対象領域
Ｇｔ対象画像
Ｇｒグループ
Ｓｃ１選択画面
Ｓｃ２，Ｓｃ３チャプタ操作画面

Claims

映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、
前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、
前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部とを備える、映像コンテンツ処理装置。
前記選択結果取得部は、前記分類結果に基づいて、前記視聴対象を選択し、
前記設定部は、前記選択結果取得部により選択された前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記区切り位置を設定する、請求項１に記載の映像コンテンツ処理装置。
前記映像コンテンツ処理装置は、さらに、
前記分類結果に基づく前記視聴対象を表示する処理を行う表示処理部を備え、
前記選択結果取得部は、前記表示処理部により表示された前記視聴対象の前記選択結果を受け付ける、請求項１または請求項２に記載の映像コンテンツ処理装置。
前記表示処理部は、前記映像コンテンツにおける出現頻度の順に従って前記視聴対象を並べて表示する処理を行う、請求項３に記載の映像コンテンツ処理装置。
前記映像コンテンツ処理装置は、さらに、
映像コンテンツ配信装置から、前記映像コンテンツを含むストリームを受信する受信部と、
前記受信部により受信された前記ストリームに含まれる前記映像コンテンツにおいて出現する前記視聴対象を検出する検出部とを備え、
前記分類結果取得部は、前記検出部により検出された前記視聴対象を分類する、請求項１または請求項２に記載の映像コンテンツ処理装置。
前記映像コンテンツ処理装置は、さらに、
映像コンテンツ配信装置から、前記映像コンテンツを含むストリームを受信する受信部を備え、
前記分類結果取得部は、前記映像コンテンツ配信装置から前記分類結果を取得する、請求項１または請求項２に記載の映像コンテンツ処理装置。
前記映像コンテンツ処理装置は、さらに、
前記映像コンテンツが蓄積された記憶部と、
前記記憶部に蓄積された前記映像コンテンツを映像コンテンツ再生装置へ配信する送信部と、
前記記憶部に蓄積された前記映像コンテンツにおいて出現する前記視聴対象を検出する検出部とを備え、
前記分類結果取得部は、前記検出部により検出された前記視聴対象を分類する、請求項１または請求項２に記載の映像コンテンツ処理装置。
映像コンテンツ処理装置における映像コンテンツ処理方法であって、
映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得するステップと、
取得した前記分類結果に対する選択結果を取得するステップと、
取得した前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定するステップとを含む、映像コンテンツ処理方法。
映像コンテンツ処理装置において用いられる映像コンテンツ処理プログラムであって、
コンピュータを、
映像コンテンツにおいて出現する視聴対象を分類した分類結果を取得する分類結果取得部と、
前記分類結果取得部により取得された前記分類結果に対する選択結果を取得する選択結果取得部と、
前記選択結果取得部により取得された前記選択結果が示す前記視聴対象の、前記映像コンテンツにおける時間的な出現位置に基づいて、前記映像コンテンツの区切り位置を設定する設定部、
として機能させるための、映像コンテンツ処理プログラム。