JP5257356B2 - コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム - Google Patents

コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム Download PDF

Info

Publication number
JP5257356B2
JP5257356B2 JP2009515282A JP2009515282A JP5257356B2 JP 5257356 B2 JP5257356 B2 JP 5257356B2 JP 2009515282 A JP2009515282 A JP 2009515282A JP 2009515282 A JP2009515282 A JP 2009515282A JP 5257356 B2 JP5257356 B2 JP 5257356B2
Authority
JP
Japan
Prior art keywords
division position
section
group
following section
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009515282A
Other languages
English (en)
Other versions
JPWO2008143345A1 (ja
Inventor
浩太 岩元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009515282A priority Critical patent/JP5257356B2/ja
Publication of JPWO2008143345A1 publication Critical patent/JPWO2008143345A1/ja
Application granted granted Critical
Publication of JP5257356B2 publication Critical patent/JP5257356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

[関連出願の記載]
本発明は、日本国特許出願:特願2007−137058号(2007年5月23日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、コンテンツの時間的な分割位置を判定するコンテンツ分割位置判定装置、方法、及びプログラム、並びにコンテンツ視聴制御装置、方法、及びプログラムに関し、特に、コンテンツの意味的な分割位置を判定するコンテンツ分割位置判定装置、方法、及びプログラム、並びにコンテンツ分割位置判定装置を利用したコンテンツ視聴制御装置、方法、及びプログラムに関する。
コンテンツ、例えばテレビ番組などの放送コンテンツなどを効率的にアクセス・視聴するためには、コンテンツを時間軸上で意味的に分割することが有効である。「コンテンツを意味的に分割する」とは、コンテンツを意味的にまとまった単位に分割することである。例えば放送コンテンツでは、意味的にまとまった単位であるコーナー(バラエティ番組、教育番組、趣味・娯楽番組、ドキュメンタリー番組)やトピック(ニュース番組)に分割することが有効である。
本発明に関連する技術として、コンテンツの意味的な分割位置を判定する方法が、例えば特許文献1乃至3に記載されている。
特許文献1には、コンテンツに対して、パターン認識処理によって得られた文字列を解析して得られた分割位置と、信号の変化点とを統合的に判断して意味的な映像分割位置を求める方法が記載されている。特許文献2には、コンテンツに含まれるテロップの出現パターンを用いて、コンテンツの意味的な映像分割位置を求める方法が記載されている。特許文献3には、コンテンツに対してショット分割を行い、各ショットから抽出した特徴量を学習して識別器を生成し、その識別器を用いて意味的な映像分割位置を求める方法が記載されている。
しかしながら、特許文献1乃至3に記載の方法では、コンテンツの制作者が意図した意味的な分割位置、例えばコーナーやトピックの分割位置を正確に判定することが困難であるという問題点がある。その理由は、これらの方法は、コンテンツの制作者が意図した意味的な分割位置を明示的に示す情報を利用していないからである。
一方で、コンテンツの制作者が意図した意味的な分割位置を判定する方法としては、コンテンツの制作段階において挿入される、コンテンツの意味的な分割位置(例えばコーナーやトピックの始まり)を告げる特徴的な短い音響信号、又は映像信号を検出する方法が有効である。このようなコンテンツの意味的な分割位置を明示的に告げる特徴的な短い音響信号、又は映像信号を、一般的にジングルと呼ぶ。ここで、通常、「ジングル」とは、このような音響信号のことのみを表すが、本明細書においてはこのような映像信号のことも「ジングル」ということとする。ジングルの持続時間は短くて1秒程度、長くて十数秒程度である。
コンテンツの意味的な分割位置を明示的に告げる特徴的な短い音響信号又は映像信号は、同一の意味を有する意味的な分割位置(例えば同一のコーナーやトピックの始まり)に対して、同一コンテンツ内、又は複数のコンテンツをまたいで(例えば同一シリーズの複数のコンテンツをまたいで)、繰返し使用されるという特徴がある。この特徴を利用して、コンテンツに繰返し出現する繰返し信号を、信号の類似性に基づいて検出して、コンテンツの意味的な分割位置を判定する方法が、例えば特許文献4乃至6に記載されている。
特許文献4には、番組表データにジングル情報を付与して発信するサーバと、そのジングル情報を用いてコンテンツを意味的に分割する録画装置が記載されている。この場合、自己相関を行ってジングルを抽出する。
また、特許文献5には、複数のコンテンツをまたいで繰返し使用される共通のシーン変化画像を検出し、コンテンツの意味的な映像分割位置を求める方法が記載されている。
さらに、特許文献6には、コンテンツに繰返し埋め込まれたジングルを含めたメディアオブジェクトを、自動的に検出する方法が記載されている。コンテンツに繰返し出現する繰返し信号をジングルとして検出し、コンテンツの意味的な分割位置を判定するこれらの方法は、コンテンツの制作者が意図する意味的な分割位置を判定するのに適している。
特開2004−240848号公報 特開2007−6454号公報 特開2006−135387号公報 特開2004−363749号公報 特開平11−259061号公報 特表2006−515721号公報
以上の特許文献1〜6の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。
しかしながら、上述のコンテンツの意味的な分割位置を判定する技術には、以下の問題点がある。特許文献1乃至3に記載の方法では、すでに述べたように、コンテンツの制作者が意図した意味的な分割位置を正確に判定することが困難であるという問題点がある。その理由は、これらの方法は、コンテンツの制作者が意図した意味的な分割位置を明示的に示す情報を利用していないからである。
一方で、コンテンツに繰返し出現する繰返し信号を、信号の類似性に基づいて検出し、コンテンツの意味的な分割位置を判定する特許文献4乃至6に記載の方法は、コンテンツの制作者が意図する意味的な分割位置を判定するのに適しているが、次のような問題点がある。
すなわち、特許文献4乃至6に記載の方法は、意味的な分割位置ではない繰返し信号も過剰に検出してしまい、意味的な分割位置である繰返し信号と、意味的な分割位置でない繰返し信号とを区別できないという問題点がある。過剰に検出してしまう意味的な分割位置でない繰返し信号には、笑い声、拍手、発話(特に頻繁に発話される単語など)、効果音、CMなどの音響信号や、同一スタジオでの撮影シーン、対話シーン、同一場所での長時間撮影のシーン(例えばスポーツ映像など)、CMなどの映像信号など、様々な信号が含まれる。すなわち、これらの方法では、精度良く意味的な分割位置を判定することが困難である。
その理由は、これらの方法は、信号の類似性のみに基づいて検出された繰返し信号を、意味的な分割位置と判定するからである。すなわち、信号の類似性に基づいて検出された繰返し信号には、意味的な分割位置である繰返し信号(ジングル)も、意味的な分割位置ではない繰返し信号(笑い声、拍手、発話、効果音、CM、同一スタジオでの撮影シーン、対話シーン、同一場所での長時間撮影のシーン等)も含まれてしまい、これらを区別する方法が上記関連技術では提供されていないからである。
本発明は上述の問題点に鑑みて発明されたものであって、その目的は、意味的な分割位置ではない位置(笑い声、拍手、発話、効果音、CM、同一スタジオでの撮影シーン、対話シーン、同一場所での長時間撮影のシーン、等)を過剰に検出することなく、コンテンツの制作者が意図した意味的な分割位置を高精度に検出することである。
より具体的には、本発明の目的は、コンテンツの繰返し信号を検出して意味的な分割位置を判定する方法において、意味的な分割位置である繰返し信号と、意味的な分割位置でない繰返し信号を区別できるように意味的な分割位置である確からしさを求めることにより、意味的な分割位置を高精度に判定し、検出することである。
本発明の第1の視点によれば、コンテンツの時間的な分割位置を判定するコンテンツ分割位置判定装置であって、1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出部と、前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出部と、前記繰返し信号区間グループに含まれる各繰返し信号区間が分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析部とを有するコンテンツ分割位置判定装置が提供される。
本発明の第2の視点によれば、上記コンテンツ分割位置判定装置が出力した前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行うコンテンツ視聴制御装置が提供される。
本発明の第3、題4の視点によれば、上記コンテンツ分割位置判定装置に対応するコンテンツ分割位置判定方法と、上記コンテンツの時間的な分割位置を判定する処理をコンピュータに実行させ、上記コンテンツ分割位置判定装置を実現するためのコンピュータプログラムが提供される。
本発明によれば、意味的な分割位置ではない位置(笑い声、拍手、発話、効果音、CM、同一スタジオでの撮影シーン、対話シーン、同一場所での長時間撮影のシーン、等)を過剰に検出することなく、コンテンツの制作者が意図した意味的な分割位置を高精度に検出することができるコンテンツ分割位置判定装置、コンテンツ分割位置判定方法及びプログラム、並びにコンテンツ視聴制御装置、コンテンツ視聴制御方法及びプログラムを提供することができる。
本発明の第1の実施形態にかかるコンテンツ分割位置判定装置を示す図である。 コンテンツ及び繰返し信号区間を示す模式図である。 本発明の第1の実施形態にかかるコンテンツ分割位置判定装置における繰返し信号区間グループ検出部1の一具体例を示す図である。 本発明の第1の実施形態にかかるコンテンツ分割位置判定方法を示すフローチャートである。 本発明の第1の実施形態にかかるコンテンツ分割位置判定装置における前後区間記述特徴量解析部3の第1の構成例(前後区間記述特徴量解析部3A)を示す図である。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3Aの動作を示すフローチャートである。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3の第2の構成例(前後区間記述特徴量解析部3B)を示す図である。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3Bの動作を示すフローチャートである。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3の第3の構成例(前後区間記述特徴量解析部3C)を示す図である。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3Cの動作を示すフローチャートであり 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3の第4の構成例(前後区間記述特徴量解析部3D)を示す図である。 同コンテンツ分割位置判定装置における前後区間記述特徴量解析部3Dの動作を示すフローチャートである。 本発明の第2の実施形態にかかるコンテンツ分割位置判定装置を示すブロック図である。 本発明の第2の実施形態にかかるコンテンツ分割位置判定方法を示すフローチャートである。 本発明の第3の実施形態にかかるコンテンツ分割位置判定装置を示す図である。 本発明の第4の実施形態にかかるコンテンツ分割位置判定装置を示す図である。 本発明の第1乃至4の実施形態のコンテンツ分割位置判定装置のハードウェア構成の一例を示す図である。
符号の説明
2 前後区間記述特徴量抽出部
3、3A、3B、3C、3D 前後区間記述特徴量解析部
4 分割位置情報出力部
5 シリーズコンテンツ取得部
6 コンテンツデータベース
7 コンテンツ視聴制御部
8 分割位置データベース
10、20、30 コンテンツ分割位置判定装置
11 信号特徴量系列抽出部
12 信号特徴量系列類似区間グループ検出部
31 前後区間相違度算出部
32 前後区間相違度統合部
33 前後区間記述特徴量グループ内類似度算出部
34 前後区間相違度グループ内類似度算出部
35 分割位置信頼度統合部
101 CPU
102 ROM
103 RAM
104 バス
105 入出力インターフェイス
106 入力部
107 出力部
108 記憶部
109 通信部
110 ドライブ
111 磁気ディスク
112 光ディスク
113 フレキシビルディスク
114 半導体メモリ
以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。本実施形態においては、コンテンツに含まれる相互に類似する繰返し信号のグループを検出して、グループの各繰返し信号が含まれる繰返し信号区間を意味的な分割位置の候補として検出する。そして、グループの複数の繰返し信号区間の前後の区間を記述する特徴量の特性を解析して、グループの各繰返し信号が含まれる繰返し信号区間が意味的な分割位置である確からしさ、すなわちグループの各繰返し信号が含まれる繰返し信号区間を挟んだ前区間と後区間とを分割してよい確率を算出する。このことにより、コンテンツの制作者が意図した意味的な分割位置(分割位置)を高精度に判定することができる。
[第1の実施形態]
先ず、本発明の第1の実施形態について図面を参照して詳細に説明する。図1は、本実施形態にかかるコンテンツ分割位置判定装置を示す図である。図1に示すように、コンテンツ分割位置判定装置10は、繰返し信号区間グループ検出部1と、前後区間記述特徴量抽出部2と、前後区間記述特徴量解析部3とを有する。
繰返し信号区間グループ検出部1は、1又は複数のコンテンツが入力されると、コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを、繰返し信号区間グループとして検出する。そして、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する。
ここでコンテンツとは、映像信号若しくは音響信号、又は映像信号及び音響信号の両方から構成されているものであり、例えばテレビ番組若しくはラジオ番組などの放送コンテンツ、又はDVDなどの記録媒体に格納されたコンテンツなどである。また、例えば、同一シリーズに属する複数のコンテンツ、例えば毎週放送されるテレビ番組の複数回分、をコンテンツとして入力してもよい。図2は、コンテンツ及び繰返し信号区間を示す模式図である。コンテンツA、B、Cは、それぞれ繰返し信号区間51〜59を含む。コンテンツA、B、Cは例えばそれぞれ第1〜3週目の同一のクイズ番組であり、繰返し信号区間51〜59は、このクイズ番組における設問の始まり部分等であり、当該クイズ番組は、図2に示すように、毎週3題のクイズを出題していることとする。上述の繰返し信号区間グループは、この繰返し信号区間51〜59の集合である。
また、信号とは、コンテンツに含まれる映像信号、若しくはコンテンツに含まれる音響信号、又はそれらの組み合わせの信号である。
繰返し信号区間グループ情報は、繰返し信号区間グループに含まれる各々の繰返し信号区間を特定する情報であり、例えば各繰返し信号区間に含まれるコンテンツの識別情報及びそのコンテンツにおける時間情報などである。時間情報は、例えば繰返し信号区間の開始点と終了点を示す時刻やフレーム番号などの情報である。すなわち、図2に示す例では、繰返し信号区間グループ情報は、各繰返し信号区間51〜59に含まれる、繰返し信号区間51〜59を特定する情報であり、繰返し信号区間51〜59を特定する情報とは、例えば、繰返し信号区間51〜59のそれぞれの開始点と終了点を示す時刻やフレーム番号である。
繰返し信号区間グループ検出部1が、コンテンツから繰返し信号区間グループを検出する方法は任意である。ここでは、繰返し信号区間グループ検出部1の具体的な構成の一例を示す。
図3は、繰返し信号区間グループ検出部1の一具体例を示す図である。図3に示すように、繰返し信号区間グループ検出部1の第1の構成例(以下、繰返し信号区間グループ検出部1Aという。)は、信号特徴量系列抽出部11と、信号特徴量系列類似区間グループ検出部12とを有する。
信号特徴量系列抽出部11は、1又は複数のコンテンツが入力されると、コンテンツから信号特徴量の系列である信号特徴量系列を抽出する。信号特徴量とは、コンテンツに含まれる映像信号を表す特徴量、若しくはコンテンツに含まれる音響信号を表す特徴量、又はそれらを組み合わせた特徴量である。
ここで、映像信号を表す信号特徴量の系列としては、例えばコンテンツの各フレームの画像から画像特徴量を抽出したものとすることができる。画像特徴量としては、例えば輝度情報を表す特徴量、色情報を表す特徴量、エッジ情報を表す特徴量、テクスチャ情報を表す特徴量、形状情報を表す特徴量、又は動き情報を表す特徴量などを使用することができる。また、例えば国際標準規格ISO/IEC 15938−3に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを抽出してもよい。
また、コンテンツの各フレームから画像特徴量を抽出せずに、例えば任意のサンプリング間隔で選択されたフレームのみから画像特徴量を抽出してもよい。さらに、例えばカット検出処理などの特定のフレームを選択する処理を適用して選ばれたフレームのみから画像特徴量を抽出してもよい。さらにまた、例えばコンテンツを任意の区間長の区間に分割し、各区間から、その区間に含まれる複数のフレームの画像特徴量を集約したものを使用することも可能である。画像特徴量を集約する方法としては、平均値を求める、中央値を求める、最頻出値を求める、又はヒストグラムを求めるなどの方法が挙げられる。
音響信号を表す信号特徴量の系列としては、例えば音響信号(音響波形)の連続する任意のサンプル数の区間(以後、音響フレームという。)に対して、解析処理を行って抽出したものとすることができる。例えば音響フレームに対してフーリエ変換などの周波数変換を行ってスペクトルを抽出し、その平均パワー、周波数帯域ごとの平均パワー、スペクトルの平坦度、又は周波数帯域ごとのスペクトルの平坦度などを、音響信号を表す信号特徴量として抽出することができる。
なお、信号特徴量系列抽出部11が抽出する信号特徴量は、上記に特徴量に限定されず、コンテンツに含まれる映像信号を表す特徴量、若しくはコンテンツに含まれる音響信号を表す特徴量、又はそれらを組み合わせた特徴量であればどのような信号特徴量であってもよい。
信号特徴量系列類似区間グループ検出部12は、信号特徴量系列抽出部11が抽出した信号特徴量系列から、信号特徴量が相互に類似する区間のグループを繰返し信号区間グループとして検出する。すなわち、図2に示す例であれば、信号特徴が相互に類似する区間51〜59を、繰返し信号区間グループとして検出する。そして、繰返し信号区間グループに含まれる各々の繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する。すなわち、繰返し信号区間51〜59を特定する情報を繰返し信号区間グループ情報として出力する。
信号特徴量系列から、信号特徴量が相互に類似する区間を検出する方法としては、例えばEiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato, Kyoji Hirata, "Video Material Archive System for Efficient Video Editing based on Medai Identification", Proc. on International Conference on Multimedia and Expo (ICME2004), Vol. 1, pp. 727-730, June 2004.(以下、非特許文献1という。)に記載の方法を用いてもよい。
非特許文献1には、映像信号の信号特徴量系列から、信号特徴量が相互に類似する区間を検出する方法が記載されている。非特許文献1に記載の方法は、まず、信号特徴量系列から短い時間長の区間をクエリ区間(参照区間)として抜き出す。信号特徴量系列の残りの区間に対して、クエリ区間と同じ時間長の区間を、時間軸上を移動しながら順次抜き出していき、クエリ区間との類似度を算出していく。類似度の算出は、区間の対応するフレーム間の画像特徴量の類似度の平均値が用いられる。クエリ区間との類似度が高い区間に対しては、時間軸の負の方向、及び正の方向に類似度を算出する区間を延長していき、信号特徴量が相互に類似する区間を開始点と終了点を確定する。あるクエリ区間に対してこの処理を終了すると、次のクエリ区間を抜き出し、同じ処理を繰返し行う。このようにして得られた信号特徴量が相互に類似する区間を統合すると、信号特徴量が相互に類似する区間のグループが検出できる。
上記非特許文献1の開示事項は、本書に引用をもって繰り込み記載されているものとする。
なお、非特許文献1に記載の方法は、映像信号の信号特徴量系列だけに限らず、音響信号を表す信号特徴量の系列に対しても同様に適用できる。なお、信号特徴量が相互に類似する区間を検出する際に、どの程度信号特徴量が類似した場合に類似区間として検出するかは、任意に決定することができる。したがって、例えば、テロップや、背景音などが重畳された場合であっても、類似とみなすようにすることも可能である。
また、信号特徴量系列から、信号特徴量が相互に類似する区間を検出する方法としては、その他、例えば特許文献6に記載の方法がある。特許文献6に記載の方法では、メディアストリーム内のメディアオブジェクトを探し出し、各メディアオブジェクトの時間的端点を決定する。先ず、メディアストリームの少なくとも1つのセグメントに関する特性情報を計算し、特性情報を分析して、メディアストリームのいずれかのセグメント内にメディアオブジェクトが存在する可能性があるか否かを判定する。そして、特性情報の分析により、メディアオブジェクトの少なくとも一部がメディアストリームのいずれかのセグメント内に存在する可能性があることが示されると、メディアストリームのセグメントの位置及び特性情報をオブジェクトデータベースの中に格納する。次いで、オブジェクトデータベースにクエリを行って、メディアストリームの合致する可能性があるセクションを探し出し、メディアストリームの合致する可能性があるセグメントを比較して、メディアストリーム内の繰り返されるセグメントを識別する。そして、メディアストリームのそれぞれの繰り返されるセグメントを中心とするメディアストリームの諸部分を自動的に整列させ、比較して、メディアストリーム内の各メディアオブジェクトの時間的端点を決定する。
また、西村拓一、水野道尚、小木しのぶ、関本信博、岡隆一、"アクティブ探索法による時系列データ中の一致区間検出―参照区間自由時系列アクティブ探索法―"、電子通信学会論文誌 D−II、Vol.J84−D−II、No.8、pp.1826−1837、August 2001.(以下、非特許文献2という。)に記載の方法を用いることも可能である。
従来、音響や動画像の時系列データベース(入力)から固定区間のクエリ(参照パターン)と一致する区間を高速で探索する時系列アクティブ探索法が提案されているが、非特許文献2では、2つの時系列において、事前の時間区間の切出しなしに、ほぼ一致する部分区間を高速で検出する手法として参照区間自由時系列アクティブ探索法が提案されている。この方法は、基本的には、参照パターンから一定区間を切り出し、従来の時系列アクティブ探索法と同様に、この区間と入力中の部分区間との類似度をヒストグラムの比較により求め、類似度が低いほど多くのフレームをスキップして検索を続ける。ただし、このスキップの方向が入力軸方向だけでなく参照軸の方向をも考慮するため、従来の時系列アクティブ探索法を反復した場合より高速な探索が可能となる。
上記非特許文献2の開示事項は、本書に引用をもって繰り込み記載されているものとする。
なお、これらの方法に限定されず、信号特徴量が相互に類似する区間を検出する方法であれば、どのような方法であってもよい。
前後区間記述特徴量抽出部2は、繰返し信号区間グループ検出部1が出力した繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、各々の前後区間を記述する特徴量である前後区間記述特徴量をコンテンツから抽出する。
前後区間は、各々の繰返し信号区間の時間的に前の区間である前区間、若しくは時間的に後の区間である後区間、又はその両方の区間を含む。前後区間の時間長、すなわち前後区間記述特徴量を抽出する対象とする区間は任意である。例えば、各々の繰返し信号区間に対して、規定された時間だけ前の区間を前区間、規定された時間だけ後の区間を後区間として、前後区間記述特徴量を抽出する対象を定めてもよい。図2に示す例においては、区間a1は繰返し信号区間51の前区間、区間a2は、繰返し信号区間51の後区間を示す。同じく、a3、a5、b1、b3、b5、c1、c3、c5は、それぞれ繰り返し信号区間52〜59の前区間、a4、a5、b2、b4、b6、c2、c4、c6は、それぞれ繰り返し信号区間52〜59の後区間を示す。
前後区間記述特徴量は、前区間を記述する特徴量と、後区間を記述する特徴量を分けて抽出されたものが望ましい。なお、後述する前後区間記述特徴量解析部3の第2の構成例とした場合、前後区間記述特徴量抽出部2は、前区間を記述する特徴量、又は後区間を記述する特徴量のいずれか一方をだけを抽出してもよいし、その両方を抽出してもよい。後述する前後区間記述特徴量解析部3の第1及び第3の構成例として場合には、前後区間記述特徴量抽出部2は、前区間を記述する特徴量と、後区間を記述する特徴量の両方を抽出する。すなわち、図2に示す例では、例えば繰返し信号区間51であれば、前区間a1及び/又は後区間a2の特徴量を前後区間記述特徴量として抽出する。
ここで、前後区間記述特徴量抽出部2が抽出する前後区間記述特徴量は、例えば、コンテンツの前後区間から抽出されたオブジェクトを記述する特徴量である。オブジェクトとは、コンテンツに含まれる特定の対象物のことである。コンテンツの映像信号から抽出し得るオブジェクトは、例えば、顔、人物、(特定の)物体、テロップ、画面構成などであるが、これらに限定されない。コンテンツの音響信号から抽出し得るオブジェクトは、例えば、発話文(文字列、単語列、キーワードを含む)、音楽などであるが、これらに限定されない。すなわち、図2に示す例では、例えば繰返し信号区間51であれば、前区間a1及び後区間a2から、前区間a1及び後区間a2に含まれる特定の人物等を記述する特徴量を前後区間記述特徴量として抽出する。
なお、これらのオブジェクトを抽出する方法は、例えば顔抽出技術、テロップ抽出技術、音声認識技術など、広く一般にパターン認識技術として確立されており、任意の方法を用いればよい。
オブジェクトを記述する特徴量は、例えば、抽出された個々のオブジェクトを記述する特徴量(特徴ベクトル)の集合体とすることができる。また、例えば顔の場合、抽出された個々の顔を記述する特徴ベクトル(例えば、輝度情報やエッジ情報を記述する特徴量)の集合体を前後区間記述特徴量とする。又は、個々の顔を記述する特徴量を分類(クラスタリング)し、クラスタリングされた値の集合体を前後区間記述特徴量としてもよい。また発話文の場合、個々の発話文の認識されたテキストそのものや、そこから抽出されたキーワードや、キーワードの出現頻度を表したキーワードベクトルなどの集合体を前後区間記述特徴量とすることができる。また個々の発話文をその音響特徴に基づいて分類(クラスタリング)し、クラスタリングされた値の集合体を前後区間記述特徴量としてもよい。
また、オブジェクトを記述する特徴量は、抽出された個々のオブジェクトを記述する特徴量(特徴ベクトル)を集約した特徴量であってもよい。例えば、前区間、後区間の各々に対して、抽出された個々のオブジェクトを記述する特徴量(特徴ベクトル)の平均値や、ヒストグラム、確率密度分布などに集約された特徴量を前後区間記述特徴量としてもよい。また、オブジェクトの抽出の有無や、抽出されたオブジェクトの個数などを統計化した情報、例えば複数のオブジェクトに対する抽出個数のヒストグラムなどを前後区間記述特徴量とすることも可能である。
また、前後区間記述特徴量抽出部2は、前後区間特徴量として、オブジェクトを記述する特徴量ではなく、コンテンツの前後区間の場面状況を記述する特徴量を抽出してもよい。場面状況を記述する特徴量とは、場面の状況を表す情報であり、例えば、屋内シーンであるかを表す特徴量、屋外シーンであるかを表す特徴量、対話シーンであるかを表す特徴量、スタジオ撮影であるかを表す特徴量、風景シーンであるかを表す特徴量、音楽シーンであるかを表す特徴量、又はナレーションであるかを表す特徴量などであるが、これらに限定されない。
また、前後区間特徴量は、カメラワークや照明条件などの撮影環境を記述する特徴量などであってもよい。場面状況を記述する特徴量は、例えば場面状況を表すテキストとすることができる。又は各々の場面状況の度合いを表す数値(特徴ベクトル)などとしてもよい。場面状況を記述する特徴量を抽出する方法は、例えば屋外屋内判定技術や、シーン分類技術、音楽検出技術など、広く一般のパターン認識技術の任意の方法を用いればよい。
また、前後区間記述特徴量抽出部2は、複数種類の特徴量を抽出して前後区間記述特徴量としてもよい。また複数種類の特徴量を、主成分分析などの方法により統合して得られた新たな特徴量を、前後区間特徴量としてもよい。なお、前後区間記述特徴量抽出部2が抽出する前後区間記述特徴量は、上記の特徴量に限定されず、前後区間を記述する特徴量であればどのような特徴量であってもよい。
前後区間記述特徴量解析部3は、繰返し信号区間グループが分割位置である確からしさを表す分割位置信頼度を算出する。この場合、前後区間記述特徴量抽出部2が抽出した繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間記述特徴量を用いて分割位置信頼度を算出する。すなわち、複数の前後区間記述特徴量を用いて、グループ全体の分割位置信頼度を算出する。分割位置信頼度は、繰返し信号区間グループが意味的な分割位置である確からしさを数値として表したものである。意味的な分割位置(分割位置)である確からしさが高いほど、分割位置信頼度が大きい値として表される。ここで、分割位置信頼度は、分割位置であるか否かという2値であってもよいし、分割位置である確からしさが高い場合には大きい値、分割位置である確からしさが低い場合には小さい値となるようにより細かい粒度で表現した値や、連続的な値であってもよい。なお、抽出された分割位置は、上述のように、繰返し信号区間であり、ある一定の区間であるが、当該区間の先頭でコンテンツを分割したり、当該区間の終わりでコンテンツを分割したりすることで、コンテンツを編集等することができる。
前後区間記述特徴量解析部3は、例えば、予め学習された意味的な分割位置である繰返し信号区間グループの前後区間記述特徴量が有する特性を用いて、分割位置信頼度を算出することができる。具体的には、前後区間記述特徴量抽出部2が出力した繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間記述特徴量と、予め学習された特性とを比較し、その類似性に基づいて分割位置信頼度を算出する。例えば繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間特徴量と、予め学習された特性とをそれぞれ比較し、その類似性が高いと判定された繰返し信号区間に対応する前後区間特徴量が多い場合に、分割位置信頼度を大きな値として出力するようにしてもよい。なお、意味的な分割位置である繰返し信号区間グループの前後区間記述特徴量が有する特性とは、これらの前後区間記述特徴量が有する典型的なパターンのことであり、これは意味的な分割位置である繰返し信号区間グループの学習データを複数用意して学習することができる。すなわち、図2に示す例であれば、コンテンツA、B、Cと同一番組の意味的な分割位置、例えば上述のように設問の始まり部分の所定区間の前後の特徴量を予め学習しておき、当該学習した特徴量と、コンテンツA、B、Cから抽出した繰返し信号区間51〜59の前後区間に含まれる特徴量とを比較し、これらが類似すれば、繰返し信号区間51〜59は意味的な分割位置であると推定することができる。なお、ここで述べた方法は、前後区間記述特徴量解析部3の1つの実現例であり、前後区間記述特徴量解析部3のその他の具体的な構成例については後述する。
次に、図1に示した第1の実施形態であって、繰返し信号区間グループ検出部1Aとした場合の動作を説明する。図4は、第1の実施形態にかかるコンテンツ分割位置判定方法を示すフローチャートである。図4に示すように、まず、1又は複数のコンテンツが入力されると信号特徴量系列抽出部11は、コンテンツから、信号特徴量の系列である信号特徴量系列を抽出し、信号特徴量系列類似区間グループ検出部12へ供給する(ステップS1)。
次に、信号特徴量系列類似区間グループ検出部12は、信号特徴量系列から、信号特徴量が相互に類似する区間のグループを、繰返し信号区間グループとして検出する(ステップS2)。そして、繰返し信号区間グループ情報を前後区間記述特徴量抽出部2へ供給する。次に、前後区間記述特徴量抽出部2は、繰返し信号区間グループ情報が特定する各々の繰返し信号区間に対して、その前区間、若しくは後区間又は前区間及び後区間を前後区間として特定する。そして、この前後区間を記述する特徴量である前後区間記述特徴量を抽出し、前後区間記述特徴量解析部3へ供給する(ステップS3)。最後に、前後区間記述特徴量解析部3は、繰返し信号区間グループの分割位置信頼度を、複数の前後区間記述特徴量を用いて算出し、出力する(ステップS4)。なお、上述した例においては、ステップS4では、前後区間記述特徴量解析部3は、繰返し信号区間グループの分割点信頼度を、複数の前後区間記述特徴量と予め学習された意味的な分割位置である繰返し信号区間グループの前後区間記述特徴量との類似性に基づき算出し、出力する。
次に、第1の実施形態の効果について説明する。コンテンツの意味的な分割位置となる繰返し信号区間のグループでは、各々の繰返し信号区間の前後区間を記述する特徴量に固有の特性がある。この特性を利用するために、前後区間記述特徴量解析部3が、繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間記述特徴量を用いて分割位置信頼度を算出する。このことにより、意味的な分割位置となる繰返し信号区間グループの前後区間記述特徴量が有する固有の特性を、入力される繰返し信号区間グループの前後区間記述特徴量が有するか否かで解析することができる。このため、繰返し信号区間グループが意味的な分割位置である確からしさ(分割位置信頼度)を高い信頼性で算出することができ、従って、意味的な分割位置を示す繰返し信号を高精度に検出することができる。
また、前後区間記述特徴量解析部3が、繰返し信号区間グループの「複数」の繰返し信号区間に対応する前後区間記述特徴量を用いて、繰返し信号区間グループ全体で分割位置信頼度を算出することで、各々の繰返し信号区間を個別に解析して分割位置信頼度を算出する場合と比較して、より信頼性が高い分割位置信頼度を算出できる。
このように、繰返し信号区間グループ全体で分割位置信頼度を算出することにより、より高精度に意味的な分割位置となる繰返し信号を判定することができる。すなわち、例えば図2に示す例であれば、繰返し信号区間51の前後区間a1、a2から求めた前後区間特徴量が何らかの原因で、他の前後区間から求めた前後区間特徴量とは異なる値となった場合でも、他の前後区間特徴量が類似していれば、繰返し信号区間51についても分割位置と判断することができる。
さらに、前後区間記述特徴量抽出部2は、繰返し信号区間グループの各々の繰返し信号区間の前後の所定区間からなる前後区間からのみ前後区間記述特徴量を抽出するため、コンテンツ全体から記述する特徴量を抽出する必要がなく、高速でかつ低コストに前後区間記述特徴量を抽出することができる。
次に、前後区間記述特徴量解析部3の具体的な4つの構成について説明する。
<前後区間記述特徴量解析部3の第1の構成例>
図5は、前後区間記述特徴量解析部3の第1の構成例(以下、前後区間記述特徴量解析部3Aという。)を示す図である。図5に示すように、前後区間記述特徴量解析部3Aは、前後区間相違度算出部31と、前後区間相違度統合部32とを有する。前後区間相違度算出部31は、繰返し信号区間グループの各々の繰返し信号区間に対して、各々の前区間と後区間の相違の度合いを表す前後区間相違度を、前後区間記述特徴量を用いて算出する。
前区間と後区間の相違の度合いが大きいほど、前後区間相違度が大きい値として表される。前後区間記述特徴量を用いて、各々の繰返し信号区間に対して前後区間相違度を算出するには、前区間を記述する特徴量と、後区間を記述する特徴量を比較し、それらの相違度を算出すればよい。このために前後区間記述特徴量解析部3Aにおいては、前後区間記述特徴量抽出部2は、前区間を記述する特徴量と、後区間を記述する特徴量の両方を、前後区間記述特徴量として抽出する。特徴量の相違度の算出方法は、特徴量の相違が大きいほど、相違度が大きくなるように算出する方法であれば、任意の方法を用いることができる。
特徴量間の相違度は、一般的には特徴量間の距離と呼ばれ、抽出した特徴量の種類に応じてその算出方法を異なる。このため、抽出した特徴量の種類に応じた距離計算方法を用いればよい。例えば、前後区間記述特徴量が、抽出した個々のオブジェクトを記述する特徴量を集約した特徴量である場合や、統計化した情報である場合で、特徴ベクトルとして表現されるものであれば、前区間を記述する特徴ベクトルと後区間を記述する特徴ベクトルの間のベクトル間距離を前後区間相違度として算出してもよい。ベクトル間距離は例えばユークリッド距離やマンハッタン距離を使用することができる。すなわち、図2に示す例であれば、繰返し信号区間51の前区間a1及び後区間a2の特徴量を算出する。この場合、前区間a1の特徴量と後区間a2の特徴量の相違度を前後区間相違度として求める。同じく、繰返し信号区間52についても、前区間a3の特徴量と後区間a4の特徴量の相違度を前後区間相違度として求める。他の繰返し信号区間53〜59についても同様である。
また、ベクトル間のコサイン類似度に基づいて前後区間相違度を算出してもよい。この場合コサイン類似度が小さいほど、前後区間相違度を大きい値として算出すればよい。また、前後区間記述特徴量が確率密度分布として表現されるものであれば、例えば、前区間を記述する確率密度分布と後区間を記述する確率密度分布の確率密度分布間の距離又は重なり度合いに基づいて前後区間相違度を算出してもよい。また、前後区間記述特徴量がテキストとして表現されるものであれば、テキスト間の一致度合い(例えば一致する単語の割合)などに基づいて前後区間相違度を算出してもよい。この場合一致度合いが小さいほど、前後区間相違度を大きい値として算出すればよい。
また、前後区間記述特徴量が抽出された個々のオブジェクトを記述する特徴量(特徴ベクトル)の集合体である場合、例えば、前区間で抽出された個々のオブジェクトを記述する特徴量と、後区間で抽出された個々のオブジェクトを記述する特徴量との間で、全ての組合せで特徴量間の距離を算出し、例えばそれらの距離の平均値を算出する処理や、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの統合処理によって、前後区間相違度を算出することも可能である。また、前区間で抽出された個々のオブジェクトを記述する特徴量と、後区間で抽出された個々のオブジェクトを記述する特徴量との間で、例えばJianbo Shi, Jitendra Malik, "Normalized Cuts and Image Segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 8, pp. 888-905, August 2000.(非特許文献3)に提案されているノーマライズトカット(又はノーマライズドアソシエーション)などのグラフカット理論に基づいたカット値に基づいて前後区間相違度を算出してもよい。
上記非特許文献3の開示事項は、本書に引用をもって繰り込み記載されているものとする。
ノーマライズドカットなどのグラフカットはクラスタリング(グループ化)手法の一種であり、エッジで連結されたノードにより構成されるグラフを分割する最適化問題として定式化される。すなわち、いまクラスタリングしたい対象をノードとみなし、各ノード間の類似度をエッジとしてグラフを構成する。このグラフを2分割する際に消去されるエッジの総量がカット値(この値をノード数に応じた正規化を行うとノーマライズドカット値となる)となり、これを最小化する分割方法を探索する問題となる。さて、個々のオブジェクトを記述する特徴量を用いてカット値を算出する場合、前区間と後区間で抽出された個々のオブジェクトをノードとして扱い、各ノード間のエッジは個々のオブジェクトを記述する特徴量の間の類似度とすればよい。この場合、距離が大きければ類似度が小さい値とし、距離が小さければ類似度が大きい値として算出できる。ここで、前区間のノード(前区間で抽出されたオブジェクト)と後区間のノード(後区間で抽出されたオブジェクト)の間で分割すると考え、前区間のノードと後区間のノードの間に張られた全てのエッジの総量、すなわち前区間のオブジェクトと後区間のオブジェクトの間の特徴量の類似度の総和がカット値となる。なお、この値をノード数に応じた正規化を行うことでノーマライズドカット値としてもよい。ここで、カット値が大きければ前後区間相違度を小さい値として、カット値が小さければ前後区間相違度を大きい値として算出することができる。
さらに、前後区間記述特徴量が複数種類入力される場合は、特徴量の種類毎に前後区間相違度を算出し、特徴量の種類毎に前後区間相違度を出力してもよい。また特徴量の種類毎に前後区間相違度を算出した後、それらを統合して単一の前後区間相違度として出力してもよい。この際、特徴量の種類毎に算出された前後区間相違度に対し、異なる特徴量の種類の前後区間相違度の統合を可能にするため、それぞれ何かしらの正規化処理を行う。その後、例えば平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、又は最頻出値を算出する処理などの方法を用いて統合した単一の前後区間相違度を算出することも可能である。
また、特徴量の種類毎に前後区間相違度がある規定の閾値よりも大きいか否かを判定し、前後区間相違度が閾値よりも大きいと判定された特徴量の種類の数に基づいて、その数が多いほど、前後区間相違度を大きい値として出力するようにしてもよい。ここで、上記閾値は特徴量の種類毎に異なる値であってもよい。このように、複数の数値に対して、それぞれ閾値処理を行って条件を満たすか否かを判定し、条件を満たす数値の個数に基づいて複数の数値を1つの数値に集約する方法を、以後「投票処理」と呼ぶ。投票処理は、複数のうち、一部だけが条件を満たすような場合に有効に働く。
前後区間相違度統合部32は、前後区間相違度算出部31が算出した、繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を用いて、分割位置信頼度を算出する。すなわち、複数の前後区間相違度を用いて、グループ全体の分割位置信頼度を算出する。
複数の前後区間相違度を用いて分割位置信頼度を算出する方法は、例えば、先ず、平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理などの処理によって複数の前後区間相違度を統合した前後区間相違度を算出する。そして、統合された前後区間相違度が大きいほど、分割位置信頼度を大きい値として算出することができる。すなわち、図2に示す上述の例では、繰返し信号区間51〜59についての前後区間相違度の例えば平均値を分割位置信頼度として算出する。
なお、統合処理は、上記に限らず、複数の数値から1つの数値に集約する方法であれば任意の方法とすることができる。統合された前後区間相違度は、そのまま分割位置信頼度として出力してもよいし、また何らかの正規化処理や、非線形変換などを行った後、分割位置信頼度として出力してもよい。また、統合した前後区間相違度を算出した後、統合された前後区間相違度がある規定の閾値よりも大きいか否かの判定に基づいて、分割位置であるか否かを表す2値の値として分割位置信頼度を出力してもよい。
また、複数の前後区間相違度を用いて分割位置信頼度を算出する方法は、例えば、複数の前後区間相違度のうち、前後区間相違度の値がある規定の閾値よりも大きいものの個数を集計し、前記個数が多いほど、前記分割位置信頼度を大きい値として算出するようにしてもよい(投票処理)。この場合、その個数をそのまま分割位置信頼度としてもよいし、また何らかの正規化処理や、非線形変換などを行った後、分割位置信頼度として出力してもよい。またその個数がある規定の閾値よりも大きいか否かの判定に基づいて、分割位置であるか否かを表す2値の値として分割位置信頼度を出力してもよい。
また、複数の特徴量の種類毎に前後区間相違度が入力される場合は、特徴量の種類毎に上述の方法などを用いて分割位置信頼度を算出し、特徴量の種類毎に算出された複数の分割位置信頼度を統合して単一の統合された分割位置信頼度を算出し、出力してもよい。この際、特徴量の種類毎に算出された分割位置信頼度に対し、異なる特徴量の種類の分割位置信頼度の統合を可能にするためそれぞれ何かしらの正規化処理を行った後、例えば平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、などの方法を用いて統合した単一の分割位置信頼度を算出してもよい。また、特徴量の種類毎に算出された分割位置信頼度が、ある規定の閾値よりも大きいか否かを判定し、分割位置信頼度がその閾値よりも大きいと判定された特徴量の種類の数に基づいて、その数が多いほど、統合された分割位置信頼度を大きい値として出力するようにしてもよい(投票処理)。ここで、上記閾値は特徴量の種類毎に異なる値であってもよい。また、例えば、分割位置信頼度がその閾値よりも大きいものの数が少なくとも1以上であった場合に、分割位置であることを表す値を分割位置信頼度として出力してもよい。
次に、前後区間記述特徴量解析部3Aの動作について説明する。図6は、前後区間記述特徴量解析部3Aの動作を示すフローチャートであり、図4に示す第1の実施形態にかかるコンテンツ分割判定方法を示すフローチャートにおけるステップS3、S4の詳細である。
図6に示すように、先ず、前後区間相違度算出部31は、繰返し信号区間グループの各々の繰返し信号区間に対して、前後区間相違度を、前後区間記述特徴量を用いて算出する。前後区間相違度の算出方法としては、ここでは次の方法とする。すなわち、前後区間記述特徴量抽出部2が、前区間を記述する特徴量及び後区間を記述する特徴量を、前後区間記述特徴量として抽出する(ステップS11)。そして、前区間を記述する特徴量と後区間を記述する特徴量とを比較し、それらの相違度を算出する(ステップS12)。算出した相違度を前後区間相違度として前後区間相違度統合部32へ供給する。
次に、前後区間相違度統合部32は、複数の前後区間相違度を用いて、分割位置信頼度を算出する。分割位置信頼度の算出方法としては、ここでは次の方法とする。すなわち、複数の前後区間相違度を統合した前後区間相違度を算出する(ステップS13)。次いで、統合された前後区間相違度が大きいほど、分割位置信頼度が大きい値として出力する(ステップS14)。
次に、前後区間記述特徴量解析部3Aの効果について説明する。コンテンツの意味的な分割位置となる繰返し信号区間では、各々の繰返し信号区間の前区間と後区間では異なる意味区間となる。このため、前区間と後区間を記述する特徴量の相違の度合いが大きくなるという特性がある。例えばオブジェクトの出現パターンの相違度が大きい、場面の状況の相違度が大きいなどである。この特性を利用するために、前後区間記述特徴量解析部3Aにより、繰返し信号区間グループに含まれる複数の繰返し信号区間の前区間と後区間の記述特徴量の相違度に基づいて分割位置信頼度を算出する。この場合、相違度が大きいほど分割位置信頼度を大きい値として算出する。このことにより、繰返し信号区間グループが意味的な分割位置である確からしさ(分割位置信頼度)を高い信頼性で算出することができる。従って、意味的な分割位置となる繰返し信号を高精度に判定することができる。
また、前後区間記述特徴量解析部3Aにより、前後区間相違度統合部が繰返し信号区間グループの「複数」の繰返し信号区間に対応する前後区間相違度を用いて、繰返し信号区間グループ全体で分割位置信頼度を算出する。このことにより、各々の繰返し信号区間に対して個別に分割位置信頼度を算出する場合と比較して、より信頼性の高い分割位置信頼度を算出することができる。従って、より高精度に意味的な分割位置となる繰返し信号を判定できることができる。
<前後区間記述特徴量解析部3の第2の構成例>
図7は、前後区間記述特徴量解析部3の第2の構成例(以下、前後区間記述特徴量解析部3Bという。)を示す図である。図7に示すように、前後区間記述特徴量解析部3Bは、前後区間記述特徴量グループ内類似度算出部33を有する。前後区間記述特徴量グループ内類似度算出部33は、繰返し信号区間グループに含まれる各々の繰返し信号区間に対して、抽出された前後区間記述特徴量が相互に類似する度合いを表す前後区間記述特徴量グループ内類似度を算出する。算出された前後区間記述特徴量グループ内類似度が大きいほど、分割位置信頼度を大きい値として算出する。
分割位置信頼度を算出する方法としては、前区間を記述する特徴量のみに対して前後区間記述特徴量グループ内類似度を算出し、それに基づいて分割位置信頼度を算出する方法がある。又は後区間を記述する特徴量のみに対して前後区間記述特徴量グループ内類似度を算出して、それに基づいて分割位置信頼度を算出してもよい。さらに、前区間と後区間の両方に対して前後区間記述特徴量グループ内類似度を算出して、それらに基づいて分割位置信頼度を算出してもよい。この際に前区間に対する分割位置信頼度と後区間に対する分割位置信頼度に対して、例えば平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの方法を用いて統合して分割位置信頼度を算出してもよい。
ここで、繰返し信号区間グループに含まれる各々の繰返し信号区間に対して、抽出された前後区間記述特徴量が相互に類似する度合いを表す前後区間記述特徴量グループ内類似度を算出するためには、グループ内の複数の繰返し信号区間に対して抽出された前後区間記述特徴量の間の類似度を算出する。すなわち、図2に示す例であれば、例えば前区間を記述する特徴量のみを使用する場合、繰返し信号区間51〜59のそれぞれ前区間a1、a3、a5、b1、b3、b5、c1、c3、c5の特徴量を前区間記述特徴量として抽出し、それらの特徴量が相互に類似する度合いを前後区間記述特徴量グループ内類似度とする。後区間を記述する特徴量のみを使用する場合、繰返し信号区間51〜59のそれぞれ後区間a2、a4、a6、b2、b4、b6、c2、c4、c6の特徴量を後区間記述特徴量として抽出し、それらの特徴量が相互に類似する度合いを前後区間記述特徴量グループ内類似度とする。前区間を記述する特徴量と後区間を記述する特徴量の両方を使用する場合、前区間を記述した特徴量のみを使用した場合の前後区間記述特徴量グループ内類似度と、後区間を記述した特徴量のみを使用した場合の前後区間記述特徴量グループ内類似度を算出し、それらの例えば平均値を求め、それに基づいて分割位置信頼度を算出する。
なお特徴量間の類似度は、前後区間記述特徴量解析部3Aで説明した特徴量間の相違度又は距離と逆の関係になっている。このため、前後区間記述特徴量解析部3Aで説明した特徴量間の相違度又は距離を算出し、相違度又は距離が大きいほど類似度は小さく、相違度又は距離が小さいほど類似度が大きくなるように算出すればよい。
そして、前後区間記述特徴量グループ内類似度を算出するために、前後区間記述特徴量の間の類似度を算出する方法としては、例えば、先ず、グループ内の複数の繰返し信号区間に対して抽出された前後区間記述特徴量の間の全ての組合せに対して類似度を算出する。そして、例えばそれらの類似度の平均値を算出する処理や、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの統合処理によって算出することができる。
また、前後区間記述特徴量グループ内類似度を算出する他の方法としては例えば、グループ内の複数の繰返し信号区間に対して抽出された前後区間記述特徴量の分散の度合いを算出する。すなわち、分散の度合いが大きいほど前後区間記述特徴量グループ内類似度を小さく、分散の度合いが小さいほどに前後区間記述特徴量グループ内類似度が大きくなるように前後区間記述特徴量グループ内類似度を算出してもよい。分散の度合いは、例えば平均特徴量(平均特徴量ベクトル)を算出し、平均特徴量からの各々の前後区間記述特徴量の距離の平均値として算出することができる。
ここで、前後区間記述特徴量が複数種類入力される場合は、特徴量の種類毎に前後区間記述特徴量グループ内類似度を算出し、それらを統合して一つの前後区間記述特徴量グループ内類似度を算出することができる。この際、異なる特徴量の種類の前後区間記述特徴量グループ内類似度の統合を可能にするため、特徴量の種類毎に算出された前後区間記述特徴量グループ内類似度に対してそれぞれ何かしらの正規化処理を行った後、例えば平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの方法を用いて統合すればよい。
このようにして求めた前後区間記述特徴量グループ内類似度は、そのまま分割位置信頼度とすることができる。又は、何らかの正規化処理を行った後、分割位置信頼度として出力してもよい。さらに、前後区間記述特徴量グループ内類似度がある規定の閾値より大きいか否かの判定に基づいて、分割位置であるか否かを表す2値の値として分割位置信頼度を出力してもよい。
次に、前後区間記述特徴量解析部3Bの動作について説明する。図8は、前後区間記述特徴量解析部3Bの動作を示すフローチャートであり、図4に示す第1の実施形態にかかるコンテンツ分割判定方法を示すフローチャートにおけるステップS4の詳細である。
先ず、前後区間記述特徴量グループ内類似度算出部33は、前後区間記述特徴量グループ内類似度を算出する。具体的には、上述したように、様々な方法があるが、ここでは次の方法とする。すなわち、グループ内の複数の繰返し信号区間に対して抽出された前後区間記述特徴量の間の全ての組み合せに対して類似度を算出する(ステップS21)。そして、これらの類似度の平均値を算出し(ステップS22)、これにより、一つに統合することで前後区間記述特徴量グループ内類似度を算出する(ステップS23)。次に、算出された前後区間記述特徴量グループ内類似度を分割位置信頼度として出力する。この場合は、前後区間記述特徴量グループ内類似度が大きいほど分割位置信頼度を大きい値となる(ステップS24)。
次に、前後区間記述特徴量解析部3Bの効果について説明する。コンテンツの意味的な分割位置となる繰返し信号区間は、同一繰返し信号区間グループにおいては、各々の繰返し信号区間が同一の意味の意味的な分割位置であることを示す。このため、各々の繰返し信号区間の前後区間を記述する特徴量が相互に類似するという特性がある。例えば、各々の繰返し信号区間の後区間のオブジェクトの出現パターンが類似するなどである。この特性を利用するために、前後区間記述特徴量解析部3Bにより、繰返し信号区間グループの各々の繰返し信号区間に対応する前後区間記述特徴量が相互に類似する度合いに基づいて分割位置信頼度を算出する。すなわち、類似度が大きいほど分割位置信頼度を大きい値として算出する。このことにより、一の繰返し信号区間グループに含まれる繰返し信号区間が意味的な分割位置である確からしさ(分割位置信頼度)を高い信頼性で算出することができ、従って、意味的な分割位置となる繰返し信号を高精度に判定することができる。
<前後区間記述特徴量解析部3の第3の構成例>
図9は、前後区間記述特徴量解析部3の第3の構成例(以下、前後区間記述特徴量解析部3Cという。)を示す図である。図9に示すように、前後区間記述特徴量解析部3Cは、前後区間相違度算出部31と、前後区間相違度グループ内類似度算出部34とを有する。
前後区間相違度算出部31は、図5に示した前後区間記述特徴量解析部3Aにおける前後区間相違度算出部31と同じであるため、ここでは詳細な説明を省略する。
先ず、前後区間相違度算出部31が繰返し信号区間グループの各々の繰返し信号区間に対して、前後区間相違度を算出する。これに基づき、前後区間相違度グループ内類似度算出部34は、前後区間相違度グループ内類似度を算出する。前後区間相違度グループ内類似度とは、前後区間相違度が相互に類似する度合いを示す。そして、算出された前後区間相違度グループ内類似度の値が大きいほど、分割位置信頼度を大きい値として算出する。
前後区間相違度グループ内類似度を算出するには、グループ内の複数の繰返し信号区間に対して算出された前後区間相違度の間の類似度を算出すればよい。これは、例えば、グループ内の複数の繰返し信号区間に対して算出された前後区間相違度の間の全ての組合せに対して、前後区間相違度の差分値を算出する。そして、例えばそれらの類似度の平均値を算出する処理や、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの統合処理によって統合された差分値を算出する。そして、統合された差分値が大きい場合に前後区間相違度グループ内類似度を小さく、統合された差分値が小さいほど、前後区間相違度グループ内類似度を大きくなるように算出することができる。すなわち、図2に示す例であれば、繰返し信号区間51の前区間a1と後区間a2の相違度を前後区間相違度として算出する。同様に繰返し信号区間52の前区間a3と後区間a4の相違度を前後区間相違度として算出する。他の繰返し信号区間53〜59についても同様である。そして、各繰返し信号区間51〜59の前後区間相違度について、それらの類似度を前後区間相違度グループ内類似度として算出する。
また、前後区間相違度グループ内類似度を算出する別の方法としては、例えば、グループ内の複数の繰返し信号区間に対して算出された前後区間相違度の分散値を求め、分散値が大きいほど前後区間相違度グループ内類似度を小さく、分散値が小さいほど前後区間相違度グループ内類似度を大きくなるように算出してもよい。
前後区間相違度が複数の特徴量の種類毎に入力される場合は、特徴量の種類毎に前後区間相違度グループ内類似度を算出し、それらを統合して一の前後区間相違度グループ内類似度を算出してもよい。この際、特徴量の種類毎に算出された前後区間相違度グループ内類似度に対してそれぞれ何かしらの正規化処理を行った後、異なる特徴量の種類の前後区間相違度グループ内類似度を統合すればよい。統合するためには、例えば平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理、投票処理などの方法を使用することができる。
このようにして求めた前後区間相違度グループ内類似度は、そのまま分割位置信頼度として出力することができる。又は、何らかの正規化処理を行った後、分割位置信頼度として出力してもよい。さらには、前後区間相違度グループ内類似度がある規定の閾値より大きいか否かの判定に基づいて、分割位置であるか否かを表す2値の値として分割位置信頼度を出力してもよい。
次に、前後区間記述特徴量解析部3Cの動作について説明する。図10は、前後区間記述特徴量解析部3Cの動作を示すフローチャートであり、図4に示す第1の実施形態にかかるコンテンツ分割判定方法を示すフローチャートにおけるステップS3、S4の詳細である。
先ず、前後区間相違度算出部31は、繰返し信号区間グループの各々の繰返し信号区間に対して、前後区間相違度を、前後区間記述特徴量を用いて算出する。具体的には、前後区間記述特徴量抽出部2が、前区間を記述する特徴量及び後区間を記述する特徴量を、前後区間記述特徴量として抽出する(ステップS31)。そして、前区間を記述する特徴量と後区間を記述する特徴量とを比較し、それらの相違度を算出する(ステップS32)。算出した相違度を前後区間相違度として前後区間相違度グループ内類似度算出部34へ供給する。
次に、前後区間相違度グループ内類似度算出部34は、グループ内の各前後区間相違度の類似度を、前後区間相違度グループ内類似度として算出する(ステップS33)。この場合、例えば、グループ内の複数の繰返し信号区間に対して算出された前後区間相違度の間の全ての組合せに対して、前後区間相違度の差分値を算出し、それらの差分値の平均値を算出し、差分値の平均値が大きい場合には前後区間相違度グループ内類似度を小さく、差分値の平均値が小さいほど、前後区間相違度グループ内類似度を大きくなるように前後区間相違度グループ内類似度を算出することができる。そして、前後区間相違度グループ内類似度を分割位置信頼度として出力する(ステップS34)。この場合には、前後区間相違度グループ内類似度の値が大きいほど分割位置信頼度が大きい値となる。
次に、前後区間記述特徴量解析部3Cの効果について説明する。コンテンツの意味的な分割位置となる繰返し信号区間グループでは、各々の繰返し信号区間が同一の意味の意味的な分割位置であるため、各々の繰返し信号区間の前区間と後区間の相違の度合いが相互に類似するという特性がある。この特性を利用するために、前後区間記述特徴量解析部3Cにより、繰返し信号区間グループの各々の繰返し信号区間に対応する前後区間相違度が相互に類似する度合いに基づいて分割位置信頼度を算出する。すなわち、類似度が大きいほど分割位置信頼度を大きい値として算出することにより、繰返し信号区間グループが意味的な分割位置である確からしさ(分割位置信頼度)を高い信頼性で算出することができる。従って、意味的な分割位置となる繰返し信号を高精度に判定することができる。
<前後区間記述特徴量解析部3の第4の構成例>
図11は、前後区間記述特徴量解析部3の第4の構成例(以下、前後区間記述特徴量解析部3Dという。)を示す図である。図11に示すように、前後区間記述特徴量解析部3Dは、図5、図7、図9に示した前後区間記述特徴量解析部3A、3B、3Cのうち2つ以上の構成を並列に有し、さらに分割位置信頼度統合部35を有する。
分割位置信頼度統合部35は、前後区間記述特徴量解析部3A〜3Cのうちの2つ以上の構成が算出した複数の分割位置信頼度を用いて新たな分割位置信頼度を算出し、出力する。
複数の分割位置信頼度を用いて、新たな分割位置信頼度を算出する方法としては、例えば、平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、最頻出値を算出する処理などの統合方法を用いて、複数の値を集約して新たな分割位置信頼度を算出してもよい。また、複数の分割位置信頼度のうち、分割位置信頼度の値がある規定の閾値よりも大きいものの個数を集計し、その個数に基づいて新たな分割位置信頼度を算出してもよい。この際は、その個数が多いほど新たな分割位置信頼度を大きい値として算出する。また、その個数がある規定の閾値よりも多い場合に、分割位置であることを表す値を分割位置信頼度として出力してもよい。
次に、前後区間記述特徴量解析部3Dの動作について説明する。図12は、前後区間記述特徴量解析部3Dの動作を示すフローチャートであり、図4に示す第1の実施形態にかかるコンテンツ分割判定方法を示すフローチャートにおけるステップS3、S4の詳細である。
ここでは、前後区間記述特徴量解析部3A〜3Cがそれぞれ並列に接続されているものとして説明する。前後区間記述特徴量解析部3A〜3Cの動作は上述のとおりである。すなわち、前後区間記述特徴量解析部3Aは、前後区間記述特徴量により、前後区間相違度を算出する(ステップS41)。そして、複数の前後区間相違度により分割位置信頼度を算出する(ステップS42)。また、前後区間記述特徴量解析部3Bでは、先ず、前後区間記述特徴量グループ内類似度を算出する(ステップS43)。そして、前後区間特徴量グループ内類似度に基づき分割位置信頼度を算出する(ステップS44)。さらに、前後区間記述特徴量解析部3Cでは、前後区間記述特徴量により前後区間相違度を算出する(ステップS45)。そして、前後区間相違度に基づき前後区間相違度グループ内類似度を算出し、前後区間相違度グループ内類似度に基づき分割位置信頼度を算出する(ステップS46)。こうして、各々が並列に実行され、各々が算出した分割位置信頼度を、分割位置信頼度統合部35へ供給する。次に、分割位置信頼度統合部35は、複数の分割位置信頼度を用いて、例えばその平均値を求めることで新たな分割位置信頼度を算出し、出力する(ステップS47)。
次に、前後区間記述特徴量解析部3Dの効果について説明する。前後区間記述特徴量解析部3Dにより、複数の構成により算出された分割位置信頼度を統合して新たな分割位置信頼度を出力できる。このため、単一の構成のみにより算出された分割位置信頼度と比較して、より信頼性が高い分割位置信頼度を算出することができる。従って、より高精度に意味的な分割位置となる繰返し信号を判定することができる。なお、上記例においては、前後区間記述特徴量解析部3A〜3Cがそれぞれ並列に接続されているものとして説明したが、いずれか2つが並列に接続されているものとしてもよい。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。図13は、本発明の第2の実施形態にかかるコンテンツ分割位置判定装置を示すブロック図である。本実施形態にかかるコンテンツ分割位置判定装置20は、図1に示す第1の実施形態の構成に加えて、分割位置情報出力部4を有する点が異なる。なお、図13において、図1に示す第1の実施形態と同一の構成要素は同一の符号を付しその詳細な説明は省略する。
分割位置情報出力部4は、繰返し信号区間グループが分割位置であるか否かを、前後区間記述特徴量解析部3が出力した分割位置信頼度に基づいて判定する。そして、分割位置であると判定した場合に、繰返し信号区間グループ検出部1が出力した繰返し信号区間グループ情報に基づいて分割位置を特定する情報を分割位置情報として出力する。
分割位置情報は、例えば繰返し信号区間グループ情報が特定する各々の繰返し信号区間が含まれるコンテンツの識別情報と、そのコンテンツにおける時間情報などである。時間情報は、例えば繰返し信号区間の開始点を示す時刻やフレーム番号、終了点を示す時刻やフレーム番号、中央点を示す時刻やフレーム番号、又はこれらの組み合わせなどである。これらの分割位置情報は、繰返し信号区間グループ情報から直接取得することができる。また分割位置情報は、繰返し信号区間グループ毎に割り当てられた識別子を含んでいてもよい。繰返し信号区間グループ毎に割り当てられた識別子により、同一の意味を有する分割位置を識別することができる。
繰返し信号区間グループが分割位置であるか否かを判定する方法は、例えば分割位置信頼度が分割位置であるか否かを示す2値の値である場合は、直接判定することができる。また、分割位置信頼度が連続的な数値である場合は、ある規定の閾値より大きい場合は分割位置であると判定し、それ以外の場合は分割位置ではないと判定する等の方法を用いることができる。ここでの閾値は固定の値である必要はない。
次に、第2の実施形態の動作について説明する。図14は、本実施形態にかかるコンテンツ分割位置判定方法を示すフローチャートである。まず、第1の実施形態と同様、図4に示す動作が実行され、前後区間記述特徴量解析部3が出力した分割位置信頼度と、繰返し信号区間グループ検出部1が出力した繰返し信号区間グループ情報が、分割位置情報出力部4に供給される。
すなわち、信号特徴量系列抽出部11は、1又は複数のコンテンツが入力されるとコンテンツから信号特徴量系列を抽出し、信号特徴量系列類似区間グループ検出部12へ供給する(ステップS51)。次に、信号特徴量系列類似区間グループ検出部12は、信号特徴量系列から、繰返し信号区間グループを検出し、繰返し信号区間グループ情報を前後区間記述特徴量抽出部2へ供給する(ステップS52)。次に、前後区間記述特徴量抽出部2は、繰返し信号区間グループ情報が特定する各々の繰返し信号区間に対して、前後区間記述特徴量を抽出し、前後区間記述特徴量解析部3へ供給する(ステップS53)。そして、前後区間記述特徴量解析部3は、繰返し信号区間グループの分割位置信頼度を、複数の前後区間記述特徴量を用いて算出し、出力する(ステップS54)。最後に、分割位置情報出力部4が、繰返し信号区間グループの分割位置信頼度を閾値処理する等して、分割位置情報であるか否かを判定する。分割位置であれば、分割位置を特定する分割位置情報を出力する(ステップS55)。
本第2の実施形態においては、繰返し信号が意味的な分割位置である確からしさを表す信頼性の高い分割位置信頼度に基づいて分割位置情報を出力することにより、意味的な分割位置を高精度に判定して出力することができるという効果を奏する。
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。図15は、本実施形態にかかるコンテンツ分割位置判定装置を示す図である。図15に示すように、本第3の実施形態にかかるコンテンツ分割位置判定装置30は、図1に示す第1の実施形態の構成に加えて、シリーズコンテンツ取得部5と、コンテンツデータベース6とを有する点で異なる。なお、本実施形態では、第1の実施形態との組み合わせの構成を示したが、図12に示す第2の実施形態に対し、シリーズコンテンツ取得部5及びコンテンツデータベース6を追加してもよいことは勿論である。
コンテンツデータベース6は、複数のコンテンツを格納したデータベースである。コンテンツデータベース6は、例えば放送局などのコンテンツ制作現場において大量のコンテンツを格納しているコンテンツアーカイブや、放送コンテンツを記録しているハードディスクレコーダなどの記録装置などである。
シリーズコンテンツ取得部5は、コンテンツのシリーズを特定するシリーズ情報が入力されると、シリーズ情報が特定するシリーズに該当する1又は複数のコンテンツを、コンテンツデータベース6から取得し、取得したコンテンツを繰返し信号区間グループ検出部1へ供給する。
ここでシリーズとは、例えば同一のコンテンツ名称や、同一の放送枠(放送チャネル、放送曜日、放送時間)で、例えば毎週、毎日等、定期的に放送されるコンテンツの群のことである。また、例えば同一の放送チャネルの中のニュース番組の群や、同一制作者により制作されたコンテンツの群など、何らかの同一の要素を有するコンテンツの群を、シリーズとしてもよい。シリーズ情報は、この同一の要素を指し示す情報であり、例えばコンテンツ名称や放送枠などの情報である。
シリーズコンテンツ取得部5は、例えばコンテンツデータベース6に格納されたコンテンツに関連付けられたEPG(Electronic Program Guide =電子番組ガイド)情報を参照して、シリーズに該当するコンテンツを取得することができる。
次に、第3の実施形態の動作について説明する。まず、シリーズコンテンツ取得部5は、シリーズ情報が入力されると、シリーズに該当する1又は複数のコンテンツを、コンテンツデータベース6から取得し、取得したコンテンツを繰返し信号区間グループ検出部1へ供給する。その後は、図4に示す第1の実施形態と同様の方法で分割位置信頼度を求める。
本実施形態においても、前後区間記述特徴量解析部が、繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間記述特徴量を用いて分割位置信頼度を算出する。このことにより、意味的な分割位置となる繰返し信号区間グループの前後区間記述特徴量が有する固有の特性を、入力される繰返し信号区間グループの前後区間記述特徴量が有するか否かで解析することができ、分割位置信頼度を高い信頼性で算出することができる。よって、意味的な分割位置を示す繰返し信号を高精度に検出することができる。
さらに、同一シリーズの属するコンテンツを入力コンテンツとして供給することで、シリーズを特定せずにあらゆるコンテンツを入力コンテンツとして供給する場合と比較して、分割位置信頼度をより高い信頼性で算出することができる。なぜならば、意味的な分割位置となる繰返し信号はコンテンツの制作者が意図して挿入するものであるため、必然的に相互に類似する同一の繰返し信号は同一シリーズのコンテンツにのみ存在することになり、これらの同一シリーズのコンテンツを繰返し信号区間グループの検出範囲に限定することにより、あらゆるコンテンツを繰返し信号区間グループの検出範囲とする場合と比較して、意味的な分割位置ではない繰返し信号を過剰に検出してしまう確率を抑制することができるからである。
[第4の実施形態]
次に、本発明の第4の実施形態について説明する。図16は、本実施形態にかかるコンテンツ視聴制御装置を示す図である。図16に示すように、本発明の第4の実施形態にかかるコンテンツ視聴制御装置40は、コンテンツ視聴制御部7と、分割位置データベース8とを有する。
分割位置データベース8は、複数のコンテンツに対する分割位置情報、又は繰返し信号区間グループ情報とその分割位置信頼度を格納したデータベースである。分割位置データベース8には、第1の実施形態乃至第3の実施形態のいずれかの形態の繰返し信号区間グループ検出部1が出力した繰返し信号区間グループ情報と前後区間記述特徴量解析部3が出力した分割位置信頼度、又は第2の実施形態の分割位置情報出力部4が出力した分割位置情報が供給され、格納される。
コンテンツ視聴制御部7は、コンテンツが入力されると、当該コンテンツに対する分割位置情報、又は繰返し信号区間グループ情報とその分割位置信頼度を、分割位置データベース8から取得し、取得した分割位置情報、又は繰返し信号区間グループとその分割位置信頼度に基づいてコンテンツの視聴制御を行う。
分割位置情報、又は繰返し信号区間グループとその分割位置信頼度に基づいてコンテンツの視聴制御を行う方法は、例えばそれらの情報に基づいて特定されたコンテンツの分割位置へのインデックスを一覧として視聴者に提供し、視聴者がある分割位置を指定した場合に、指定した分割位置からのコンテンツの再生を行う(頭出し再生)、などの方法がある。なお、分割位置は、繰返し信号区間、すなわちある一定の区間であるが、分割点としては、当該繰返し信号区間の先頭、又は終了点等を使用することができる。またコンテンツの再生中に、視聴者が「次の分割位置」又は「前の分割位置」を指定した場合に、指定された分割位置からコンテンツの再生を行うなどの方法もある。コンテンツの視聴制御を行う方法は、これらの方法に限定されず、分割位置情報、又は繰返し信号区間グループとその分割位置信頼度に基づいて行われる方法の全てを含む。
また、繰返し信号区間グループとその分割位置信頼度が取得される場合、分割位置信頼度に基づいて分割位置であるか否かを判定するための閾値を適応的に変化させるようにしてもよい。例えば視聴者がこの閾値を自由に制御できるようにしてもよい。こうすれば、視聴者の望む粒度での分割位置を提供することができる。
次に、以上説明した第1乃至第3の実施形態にかかるコンテンツ分割位置判定装置、及び第4の実施形態にかかるコンテンツ視聴制御装置のハードウェア構成について説明しておく。いずれのコンテンツ分割位置判定装置10、20、30、及びコンテンツ視聴制御装置40はいずれも同様の構成とすることができる。図17は、上述した各実施形態にかかるコンテンツ分割位置判定装置のハードウェア構成の一例を示す図である。図17に示すように、コンテンツ分割位置判定装置は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102及びRAM(Random Access Memory)103を有し、これらがバス104を介して相互に接続されたコンピュータからなる。なお、今コンピュータを動作させるためのOSソフトなどは説明を省略するが、コンテンツ分割位置判定装置も当然備えているものとする。
バス104にはまた、入出力インターフェイス105も接続されている。入出力インターフェイス105には、キーボード、マウスなどよりなる入力部106、CRT、LCDなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109などが接続されている。入力部106より入力画像を入力し、出力部107より画像向きを表示させることができる。
CPU101は、ROM102に記憶されているソフトウェアモジュールを構成する各種プログラム、又は記憶部108からRAM103にロードされたソフトウェアモジュールを構成する各種プログラムに従って各種の処理を実行する。例えば、上述した実施形態にかかるコンテンツ分割位置判定における各処理、例えば繰返し信号区間グループ検出処理、前後区間記述特徴量抽出処理、前後区間記述特徴量解析処理、又は分割位置情報出力処理等の各処理を実施する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
通信部109は、図示せぬインターネットを介しての通信処理を行ったり、CPU101から提供されたデータを送信したり、通信相手から受信したデータをCPU101、RAM103、記憶部108に出力したりする。記憶部108はCPU101との間でやり取りし、情報の保存・消去を行う。通信部109はまた、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。
入出力インターフェイス105にはまた、必要に応じてドライブ110が接続され、磁気ディスク111、光ディスク112、フレキシビルディスク113、又は半導体メモリ114などが適宜装着され、それらから読み出されたコンピュータ・プログラムが必要に応じて記憶部108にインストールされる。
以上の実施形態によれば、コンテンツの制作者が意図した意味的な分割位置を高精度に判定することができる。このため、放送局などのコンテンツアーカイブシステムや、ハードディスクレコーダなどのコンテンツ録画機器において、コンテンツを自動的に構造化して視聴者に提示することや、コンテンツの視聴制御をすることに適用できる。
なお、本発明は上述した各実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施形態における各ブロックの任意の処理は、CPUにコンピュータ・プログラムを実行させることにより実現することも可能である。この場合、コンピュータ・プログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。

Claims (35)

  1. コンテンツの時間的な分割位置を判定するコンテンツ分割位置判定装置であって、
    1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出部と、
    前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出部と、
    前記繰返し信号区間グループに含まれる各繰返し信号区間が分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析部とを有するコンテンツ分割位置判定装置。
  2. 前記前後区間記述特徴量抽出部は、前記コンテンツの前後区間からオブジェクトを抽出し、抽出したオブジェクトを記述する特徴量を前後区間記述特徴量として抽出する
    請求項1に記載のコンテンツ分割位置判定装置。
  3. 前記オブジェクトは、顔、人物、物体、テロップ、画面構成、発話文、及び音楽からなる群から選択された1以上を含む
    請求項2に記載のコンテンツ分割位置判定装置。
  4. 前記前後区間記述特徴量抽出部は、前記コンテンツの前後区間の場面状況を記述する特徴量を前後区間記述特徴量として抽出する
    請求項1乃至3のいずれか1項に記載のコンテンツ分割位置判定装置。
  5. 前記前後区間記述特徴量解析部は、前記前後区間記述特徴量と、予め学習された意味的な分割位置である繰返し信号区間グループの前後区間記述特徴量との比較に基づいて前記分割位置信頼度を算出する
    請求項1乃至4のいずれか1項に記載のコンテンツ分割位置判定装置。
  6. 前記前後区間記述特徴量解析部は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出部と、
    前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合部とを有する
    請求項1乃至4のいずれか1項に記載のコンテンツ分割位置判定装置。
  7. 前記前後区間相違度統合部は、平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、及び最頻出値を算出する処理からなる群から選択された1以上の処理によって、複数の前記前後区間相違度を統合した前後区間相違度を算出し、前記統合した前後区間相違度の値が大きいほど、前記分割位置信頼度を大きい値として算出する
    請求項6に記載のコンテンツ分割位置判定装置。
  8. 前記前後区間相違度統合部は、複数の前記前後区間相違度のうち、前記前後区間相違度の値が予め定められた閾値よりも大きいものの個数を集計し、前記個数が多いほど、前記分割位置信頼度を大きい値として算出する
    請求項6に記載のコンテンツ分割位置判定装置。
  9. 前記前後区間記述特徴量解析部は、
    前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出部を有する
    請求項1から4いずれか1項記載のコンテンツ分割位置判定装置。
  10. 前記前後区間記述特徴量解析部は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出部と、
    前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出部とを有する
    請求項1乃至4のいずれか1項に記載のコンテンツ分割位置判定装置。
  11. 第1乃至第3の前後区間記述特徴量解析部を有し、そのうち2つ以上が並列配置され、
    前記前後区間記述特徴量解析部のそれぞれの構成から算出された複数の分割位置信頼度を用いて新たな分割位置信頼度を算出し、出力する分割位置信頼度統合部とを備え、
    前記第1の前後区間記述特徴量解析部は、前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出部と、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合部とを有し、
    前記第2の前後区間記述特徴量解析部は、前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が、相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出部を有し、
    前記第3の前後区間記述特徴量解析部は、前記前後区間相違度算出部と、前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が、相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出部とを有する
    請求項6乃至10のいずれか1項に記載のコンテンツ分割位置判定装置。
  12. 前記分割位置信頼度統合部は、平均値を算出する処理、重み付き加算処理、最大値を算出する処理、中央値を算出する処理、及び最頻出値を算出する処理からなる群から選択された1以上の処理によって、複数の前記分割位置信頼度を統合した新たな分割位置信頼度を算出し、出力する
    請求項11に記載のコンテンツ分割位置判定装置。
  13. 前記分割位置信頼度統合部は、複数の前記分割位置信頼度のうち、前記分割位置信頼度の値が予め定められた閾値よりも大きいものの個数を集計し、前記個数に基づいて新たな分割位置信頼度を算出し、出力する
    請求項11に記載のコンテンツ分割位置判定装置。
  14. 前記繰返し信号区間グループが分割位置であるか否かを前記分割位置信頼度に基づいて判定し、分割位置であると判定された場合に、前記繰返し信号区間グループ情報に基づいて分割位置を特定する情報を分割位置情報として出力する分割位置情報出力部をさらに有する
    請求項1乃至13のいずれか1項に記載のコンテンツ分割位置判定装置。
  15. 複数のコンテンツを格納するコンテンツデータベースと、
    コンテンツのシリーズを特定するシリーズ情報が入力されると、シリーズ情報が特定するシリーズに該当する1又は複数のコンテンツを前記コンテンツデータベースから取得し、取得したコンテンツを前記信号区間グループ検出部に供給するシリーズコンテンツ取得部をさらに有する
    請求項1乃至14のいずれか1項に記載のコンテンツ分割位置判定装置。
  16. 請求項1乃至15に記載のいずれか1項のコンテンツ分割位置判定装置が出力した前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行うコンテンツ視聴制御装置。
  17. 複数のコンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を格納する分割位置データベースと、
    コンテンツが入力されると、前記コンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を前記分割位置データベースから取得し、取得した前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行うコンテンツ視聴制御部とを有する
    請求項16に記載のコンテンツ視聴制御装置。
  18. コンテンツの時間的な分割位置を判定するコンテンツ分割位置判定方法であって、
    1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出工程と、
    前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出工程と、
    前記繰返し信号区間グループに含まれる各繰返し信号区間が分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析工程とを有するコンテンツ分割位置判定方法。
  19. 前記前後区間記述特徴量解析工程は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出工程と、
    前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合工程とを含む
    請求項18に記載のコンテンツ分割位置判定方法。
  20. 前記前後区間記述特徴量解析工程は、
    前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が、相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出工程を含む
    請求項18記載のコンテンツ分割位置判定方法。
  21. 前記前後区間記述特徴量解析工程は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出工程と、
    前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が、相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出工程とを含む
    請求項18に記載のコンテンツ分割位置判定方法。
  22. 2つ以上の処理を並列に実施する第1乃至第3の前後区間記述特徴量解析工程と、
    前記前後区間記述特徴量解析工程のそれぞれの処理から算出された複数の分割位置信頼度を用いて新たな分割位置信頼度を算出し、出力する分割位置信頼度統合工程とを含み、
    前記第1の前後区間記述特徴量解析工程は、前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出工程と、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合工程とを含み、
    前記第2の前後区間記述特徴量解析工程は、前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が、相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出工程を含み、
    前記第3の前後区間記述特徴量解析工程は、前記前後区間相違度算出工程と、前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が、相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出工程とを含む
    請求項18乃至21いずれか1項に記載のコンテンツ分割位置判定方法。
  23. 前記繰返し信号区間グループが分割位置であるか否かを前記分割位置信頼度に基づいて判定し、分割位置であると判定された場合に、前記繰返し信号区間グループ情報に基づいて分割位置を特定する情報を分割位置情報として出力する分割位置情報出力工程をさらに含む
    請求項18乃至22のいずれか1項に記載のコンテンツ分割位置判定方法。
  24. コンテンツのシリーズを特定するシリーズ情報が入力されると、シリーズ情報が特定するシリーズに該当する1又は複数のコンテンツを、複数のコンテンツを格納するコンテンツデータベースから取得し、取得したコンテンツを前記信号区間グループ検出部に供給するシリーズコンテンツ取得工程をさらに含む
    請求項18乃至23のいずれか1項に記載のコンテンツ分割位置判定方法。
  25. コンテンツの視聴制御を行なうコンテンツ視聴制御方法であって、
    1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出工程と、
    前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出工程と、
    前記繰返し信号区間グループが分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析工程と、
    前記前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行う視聴制御工程とを有するコンテンツ視聴制御方法。
  26. 分割位置データベースに、複数のコンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を格納する格納工程と、
    コンテンツが入力されると、前記コンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を、前記分割位置データベースから取得する工程を更に含み、
    前記視聴制御工程では、取得した前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行う
    請求項25に記載のコンテンツ視聴制御方法。
  27. コンテンツの時間的な分割位置を判定するコンテンツ分割位置判定処理をコンピュータに実行させるためのプログラムであって、
    1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出処理と、
    前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出処理と、
    前記繰返し信号区間グループに含まれる各繰返し信号区間が分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析処理とを前記コンピュータに実行させるプログラム。
  28. 前記前後区間記述特徴量解析処理は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出処理と、
    前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合処理とを含む
    請求項27に記載のプログラム。
  29. 前記前後区間記述特徴量解析工程は、
    前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が、相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出工程を有する
    ことを特徴とする請求項27に記載のプログラム。
  30. 前記前後区間記述特徴量解析処理は、
    前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出処理と、
    前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が、相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出処理とを含む
    請求項27に記載のプログラム。
  31. 2つ以上の処理を並列に実行する第1乃至第3の前後区間記述特徴量解析処理と、
    前記前後区間記述特徴量解析工程のそれぞれの処理から算出された複数の分割位置信頼度を用いて新たな分割位置信頼度を算出し、出力する分割位置信頼度統合処理とを前記コンピュータに実行させ、
    前記第1の前後区間記述特徴量解析処理は、前記繰返し信号区間グループの各繰返し信号区間に対して、それぞれの前区間と後区間の相違の度合いを示す前後区間相違度を、前記前後区間記述特徴量を使用して算出する前後区間相違度算出処理と、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前後区間相違度を使用して、前記分割位置信頼度を算出する前後区間相違度統合処理とを含み、
    前記第2の前後区間記述特徴量解析処理は、前記繰返し信号区間グループの各繰返し信号区間に対して抽出された前記前後区間記述特徴量が、相互に類似する度合いを示す前後区間記述特徴量グループ内類似度を算出し、算出された前記前後区間記述特徴量グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間記述特徴量グループ内類似度算出処理を含み、
    前記第3の前後区間記述特徴量解析処理は、前記前後区間相違度算出処理と、前記繰返し信号区間グループの各繰返し信号区間に対して算出された前後区間相違度が、相互に類似する度合いを表す前後区間相違度グループ内類似度を算出し、算出された前記前後区間相違度グループ内類似度の値が大きいほど、前記分割位置信頼度を大きい値として算出する前後区間相違度グループ内類似度算出処理とを含む
    請求項27乃至30のいずれか1項に記載のプログラム。
  32. 前記繰返し信号区間グループが分割位置であるか否かを前記分割位置信頼度に基づいて判定し、分割位置であると判定された場合に、前記繰返し信号区間グループ情報に基づいて分割位置を特定する情報を分割位置情報として出力する分割位置情報出力処理をさらに前記コンピュータに実行させる
    請求項27乃至31のいずれか1項に記載のプログラム。
  33. コンテンツのシリーズを特定するシリーズ情報が入力されると、シリーズ情報が特定するシリーズに該当する1又は複数のコンテンツを、複数のコンテンツを格納するコンテンツデータベースから取得し、取得したコンテンツを前記信号区間グループ検出部に供給するシリーズコンテンツ取得処理をさらに前記コンピュータに実行させる
    請求項27乃至32のいずれか1項に記載のプログラム。
  34. コンテンツの視聴制御処理をコンピュータに実行させるためのプログラムであって、
    1又は複数のコンテンツが入力されると、前記コンテンツから、信号が相互に類似する区間である繰返し信号区間のグループを繰返し信号区間グループとして検出し、繰返し信号区間グループに含まれる各繰返し信号区間を特定する情報を繰返し信号区間グループ情報として出力する繰返し信号区間グループ検出処理と、
    前記繰返し信号区間グループ情報により特定される各繰返し信号区間に対して、それぞれの前後の区間を記述する特徴量である前後区間記述特徴量を、前記コンテンツから抽出する前後区間記述特徴量抽出処理と、
    前記繰返し信号区間グループが分割位置である確からしさを示す分割位置信頼度を、前記繰返し信号区間グループに含まれる複数の繰返し信号区間に対応する前記前後区間記述特徴量を使用して算出する前後区間記述特徴量解析処理と、
    前記前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行う視聴制御処理とを前記コンピュータに実行させるプログラム。
  35. 分割位置データベースに、複数のコンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を格納する格納処理と、
    コンテンツが入力されると、前記コンテンツに対する前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度を、前記分割位置データベースから取得する処理を更に前記コンピュータに実行させ、
    前記視聴制御処理では、取得した前記分割位置情報、又は前記繰返し信号区間グループ及びその前記分割位置信頼度に基づいて、前記コンテンツの視聴制御を行う
    請求項34に記載のプログラム。
JP2009515282A 2007-05-23 2008-05-23 コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム Active JP5257356B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009515282A JP5257356B2 (ja) 2007-05-23 2008-05-23 コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007137058 2007-05-23
JP2007137058 2007-05-23
PCT/JP2008/059543 WO2008143345A1 (ja) 2007-05-23 2008-05-23 コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム
JP2009515282A JP5257356B2 (ja) 2007-05-23 2008-05-23 コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2008143345A1 JPWO2008143345A1 (ja) 2010-08-12
JP5257356B2 true JP5257356B2 (ja) 2013-08-07

Family

ID=40032027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009515282A Active JP5257356B2 (ja) 2007-05-23 2008-05-23 コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Country Status (3)

Country Link
US (1) US20100169248A1 (ja)
JP (1) JP5257356B2 (ja)
WO (1) WO2008143345A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
EP2408190A1 (en) * 2010-07-12 2012-01-18 Mitsubishi Electric R&D Centre Europe B.V. Detection of semantic video boundaries
JP2012060238A (ja) * 2010-09-06 2012-03-22 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
US8930190B2 (en) 2012-04-20 2015-01-06 Panasonic Intellectual Property Corporation Of America Audio processing device, audio processing method, program and integrated circuit
JP5882259B2 (ja) * 2013-06-24 2016-03-09 日本電信電話株式会社 信号処理装置、方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259061A (ja) * 1998-03-12 1999-09-24 Toshiba Corp デジタル動画像処理装置およびデジタル動画像処理方法
JP2006054644A (ja) * 2004-08-11 2006-02-23 Sony Corp 画像処理装置および方法、撮影装置、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3002019B2 (ja) * 1991-07-04 2000-01-24 富士通株式会社 セル廃棄補償機能を有する画像符号化伝送方式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259061A (ja) * 1998-03-12 1999-09-24 Toshiba Corp デジタル動画像処理装置およびデジタル動画像処理方法
JP2006054644A (ja) * 2004-08-11 2006-02-23 Sony Corp 画像処理装置および方法、撮影装置、並びにプログラム

Also Published As

Publication number Publication date
US20100169248A1 (en) 2010-07-01
WO2008143345A1 (ja) 2008-11-27
JPWO2008143345A1 (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
Brezeale et al. Automatic video classification: A survey of the literature
US10134440B2 (en) Video summarization using audio and visual cues
US9009054B2 (en) Program endpoint time detection apparatus and method, and program information retrieval system
US8457469B2 (en) Display control device, display control method, and program
US7143353B2 (en) Streaming video bookmarks
US9837125B2 (en) Generation of correlated keyword and image data
US7555149B2 (en) Method and system for segmenting videos using face detection
US7302451B2 (en) Feature identification of events in multimedia
US7409407B2 (en) Multimedia event detection and summarization
US8467610B2 (en) Video summarization using sparse basis function combination
US20120057775A1 (en) Information processing device, information processing method, and program
WO2012020667A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2012020668A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20040143434A1 (en) Audio-Assisted segmentation and browsing of news videos
KR20010089605A (ko) 오디오/데이터/시각 정보 선택을 위한 방법 및 장치
JP4332700B2 (ja) マルチメディアの手掛かりを利用したテレビ番組をセグメント化及びインデクス化する方法及び装置
CN101129064A (zh) 动态生成过程建模
US20050289583A1 (en) Method and related system for detecting advertising sections of video signal by integrating results based on different detecting rules
JP5257356B2 (ja) コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム
US7349477B2 (en) Audio-assisted video segmentation and summarization
JP2008547259A (ja) メタサマリデータを通じてコンテンツアイテムの提供を可能とする装置及びその方法
JP2006058874A (ja) マルチメディア中の事象を検出する方法
Ben et al. Unsupervised mining of audiovisually consistent segments in videos with application to structure analysis
Fersini et al. Multimedia summarization in law courts: a clustering-based environment for browsing and consulting judicial folders
Huayong et al. A content-based broadcasted sports video retrieval system using multiple modalities: SportBR

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5257356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150