WO2006016590A1

WO2006016590A1 - 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体

Info

Publication number: WO2006016590A1
Application number: PCT/JP2005/014597
Authority: WO
Inventors: Noboru Murabayashi; Hiroshige Okamoto; Masaru Miyamoto
Original assignee: Sony Corporation
Priority date: 2004-08-10
Filing date: 2005-08-09
Publication date: 2006-02-16
Also published as: KR20120068050A; CN101053252A; EP1784012A4; JPWO2006016590A1; US20070286579A1; JP4935355B2; CN101053252B; EP1784012A1; KR101385087B1; US8634699B2; KR20070047776A

Abstract

　本発明は、放送番組の画像音声情報信号を要約再生（ダイジェスト再生）する特殊再生動作を行う場合に用いられる情報信号処理方法であり、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定特徴データを生成し、この特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号から抽出した音声特徴データと画像特徴データを記録媒体に記録する。

Description

情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体

技術分野

[0001] 本発明は、例えば放送番組における映像信号、音声信号などの画像音声データを MPEG (Moving Picture Export Group)など所定の帯域圧縮処理を行い、光磁気デイスク、ハードディスク（HDD : Hard Disk Drive)、半導体メモリなどの記録媒体に記録し再生する記録再生装置にお、て、所定の要約再生 (ダイジェスト再生)処理などの特殊再生動作を行う場合の情報信号処理方法、情報信号処理装置及びコンビュータプログラム記録媒体に関する。

本出願は、日本国において 2004年 8月 10日に出願された日本特許出願番号 200 4— 233943を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。

背景技術

[0002] 従来、 VTR (Video Tape Recorder)やディスク記録再生装置にお!/、て、長時間記録した記録内容を時間を短縮して再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ 1. 5〜2倍速程度で再生処理が行われている。

さらに、時間短縮して再生しその要約再生 (ダイジェスト再生)を行おうとすると、高速で再生した音声出力では音声の内容が理解できにくいため、無音とし画像出力のみの再生処理を行うようにしてヽる。

行うことが一般的であった。

そこで、記録する放送番組の画像音声データ (画像音声情報信号、画像音声信号、画像音声情報データ）に現れる特徴などに基づいて、所定の特徴データを抽出して、その所定の特徴データを用いてキーフレーム（重要フレーム）と思われるキーフレーム区間の検出を行い、あら力じめ決めた所定の規則に従って、所定のキーフレーム区間を順次選択して再生することで、元の記録した放送番組の記録時間よりも短い所定時間内で要約再生 (ダイジェスト再生）を行うことがある。また、記録した画像データの所定区間において、一定時間間隔、例えば 3分、 5分、 10分などの間隔毎に再生位置を示す位置情報データを自動で生成する力、又は、ユーザが手動で所望の位置に位置情報データを生成する、いわゆるチヤプタデ一タ生成を行い、その位置情報データ (チヤプタデータ）を利用して、スキップ再生、編集操作、サムネール画像表示を行う。

発明の開示

発明が解決しょうとする課題

ところで、上述した特徴データは、画像信号と音声信号毎に複数種類の特徴について特徴データを抽出することができ、各々の特徴データを例えば、画像音声データの記録の際に抽出処理を行い、その画像音声データとともに特徴データを記録媒体に記録する。

これら記録された特徴データを読み出して所定のルール処理により要約再生 (ダイジスト再生)を行う区間を決定する信号処理を行うことになるが、複数存在する特徴データを各々別々にファイルとして記録媒体に記録したのでは、ファイルの数が多くなり、信号処理の際におけるファイルの取扱いが煩雑になり効率的ではない。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、特徴データを用いる効果的な要約再生 (ダイジェスト再生)動作又はチヤプタ処理を行うために、特徴データを効率良く処理し、効果的な要約再生 (ダイジェスト再生）、チヤプタデータを用いる種々の動作を効率良く行うための情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体を提供することにある。

本発明に係る情報信号処理方法は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レべル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づ!、て音声信号から抽出した所定音声特徴データと画像特徴データを所定の記録媒体又は所定データメモリに記録する。

また、本発明に係る情報信号処理方法は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出しその特性データカゝら所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号力抽出処理した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データメモリのデータ又はデ一タファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成する。

さらに、本発明に係る情報信号処理方法は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間とし処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号力抽出処理した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上のデータ又はデータファイルを読み込んで、読み込んだデータを用いて、所定再生区間決定処理に応じた画像音声情報信号における複数の所定再生区間と再生区間設定処理又は所定再生時点設定処理に応じた所定データを生成し、生成されたデータ又は生成されたデータが記録された所定記録媒体又は所定データメモリから読み込んだデータを用いて、所定動作モードに応じて所定区間を再生又は所定時点を表示する。本発明に係る情報信号処理装置は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レべル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理を行う音声信号処理部と、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データ力所定区間の画像特徴を示す所定画像特徴データを生成する画像特徴データ処理部と、画像特徴データ処理部力の信号と音声信号処理部力の信号と所定の時間長又は区間長設定データに応じて音声信号処理部からの信号又は画像音声情報信号をセグメント処理する情報信号セグメント処理部と、情報信号セグメント処理部からの信号に基づいて音声信号力も抽出した所定音声特徴データと画像特徴データ、又は、それら特徴データに基づいて所定信号処理を行った所定特徴データと所定のデータを所定の記録媒体又は所定のデータ記憶部に記録するデータ記録部とを備える。また、本発明に係る情報信号処理装置は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間とし処理を行う音声信号処理部と、画像音声情報信号力画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成する画像特徴データ処理部と、画像特徴データ処理部からの信号と音声信号処理部からの信号と所定の時間長又は区間長設定データに応じて音声信号処理部からの信号又は画像音声情報信号をセグメント処理する情報信号セグメント処理部と、情報信号セグメント処理部からの信号に基づいて音声信号力抽出した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データ記憶部におけるデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成するデータ生成部とを備える。

さらに、本発明に係る情報信号処理装置は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間とし処理を行う音声信号処理部と、画像音声情報信号力画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成する画像特徴データ処理部と、画像特徴データ処理部からの信号と音声信号処理部からの信号と所定の時間長又は区間長設定データに応じて音声信号処理部からの信号又は画像音声情報信号をセグメント処理する情報信号セグメント処理部と、情報信号セグメント処理部からの信号に基づいて音声信号から抽出処理した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データ記憶部におけるデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成するデータ生成部と、データ生成部からのデータ又はデータ生成部からのデータが記録された所定記録媒体、又は、所定データ記憶部から読み込んだデータを用いて、所定動作モードの場合に、読み込んだデータに基づいて所定区間を再生するか又は所定時点を表示する情報信号処理部とを備える。

本発明にプログラム記録媒体は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データカゝら所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号から抽出した所定音声特徴データと画像特徴データを所定の記録媒体又は所定データメモリに記録する制御プログラムがコンピュータにより読取実行可能に記録されて、る。

また、本発明にプログラム記録媒体は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間として処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出しその特性データカゝら所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号力抽出処理した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データメモリのデータ又はデータファィルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成する制御プログラムがコンピュータにより読取実行可能に記録されている。

さらに、本発明にプログラム記録媒体は、所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて音声信号を所定のセグメント区間とし処理し、画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、画像特徴データと音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、画像音声情報信号をセグメント処理し、画像音声情報信号のセグメントに基づいて音声信号力抽出処理した所定音声特徴データと画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上のデータ又はデータファイルを読み込んで、読み込んだデータを用いて、所定再生区間決定処理に応じた画像音声情報信号における複数の所定再生区間と再生区間設定処理又は所定再生時点設定処理に応じた所定データを生成し、生成されたデータ又は生成されたデータが記録された所定記録媒体又は所定データメモリから読み込んだデータを用いて、所定動作モードに応じて所定区間を再生又は所定時点を表示する制御プログラムがコンピュータにより読取実行可能に記録されてヽる。

本発明によれば、複数種類の異なる画像特徴データと音声特徴データを効率良く各々の特徴データファイル又は 1つの特徴データファイルとしてまとめることができる。例えば、画像特徴として、カメラ特徴、テロップ特徴、シーン特徴、カラー特徴等、音声特徴として、無音特徴、音質特徴 (例えば話し声カゝ否か)などの複数ある特徴データを所定の書式により効率良くデータファイルとして処理することができ、画像音声データとともに所定の記録媒体に記録してファイル管理、信号処理の際のファイル処理なども効率的に行うことができる。

また、本発明によれば、特徴データ毎にファイルを設けないので、記録媒体において特徴データ毎にファイルを設ける場合に比べてそれだけファイルが占有する記録容量が少なくて済むことになる。

また、本発明により、ユーザがある機能が搭載されていない記録再生装置を購入した後でも、その機能が欲しいと思った場合に購入した装置そのものにその機能を容易に動作可能な状態とすることができる。

基本的な機能だけを装備した記録再生装置を初期段階で販売し、その後、色々な各ユーザの要望に応じて自分の欲し、機能を購入した装置そのものに容易に後から装備することができるので、ユーザは効率的にその装置を購入することができる。本発明のさらに他の目的、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施に形態から一層明らかにされるであろう。

図面の簡単な説明

[図 1]図 1A〜図 1Gは、本発明を適用した記録再生装置における要約再生、チヤプタ処理の動作を示す図である。

[図 2]図 2は、チヤプタ処理による表示の一例を示す図である。

[図 3]図 3は、記録再生装置における処理プロセスの一例を示すブロック図である。

[図 4]図 4は、記録再生装置における規則処理を示すブロック図である。

[図 5A]図 5Aは、記録再生装置における意味付け処理と特徴データの関係の一例を示す図である。

[図 5B]図 5Bは、記録再生装置における意味付け処理と特徴データの関係の一例を示す図である。

[図 6]図 6A〜図 6Cは、記録再生装置における規則ファイル書式の一例を示す図である。 [図 7]図 7は、記録再生装置における評価値の演算処理方法の一例を示す図である

[図 8]図 8A〜図 81は、記録再生装置における時間補正関数の一例を示すグラフである。

[図 9]図 9は、記録再生装置における時間補正関数の一般型の一例を示すグラフである。

[図 10]図 10は、記録再生装置におけるビデオデータの構造の一例を示す図である。

[図 11]図 11は、記録再生装置における再生ユニット間の接続関係の一例の図である

[図 12]図 12A、図 12Bは、記録再生装置における再生ユニット間の意味付け処理の一例を示す図である。

[図 13]図 13A、図 13Bは、記録再生装置における規則 2処理の一例を示す図である

[図 14]図 14は、記録再生装置における時間補正関数の一例を示すグラフである。

[図 15]図 15A、図 5Bは、記録再生装置における規則ファイルの構成の一例の説明図である。

[図 16]図 16A〜図 16Dは、記録再生装置における本発明の処理プロセスの一例を示す図である。

[図 17]図 17は、本発明を適用した記録再生装置の構成例を示すブロック回路図である。

[図 18]図 18は、記録再生装置における各種所定データ記録状態の一例を示す図である。

[図 19]図 19は、記録再生装置における表示の一例を示す図である。

[図 20]図 20は、本発明を適用した記録再生装置の他の構成例を示すブロック回路図である。

[図 21]図 21は、記録再生装置における音声系特徴抽出処理系の構成の一例を示すブロック回路図である。

[図 22]図 22は、記録再生装置における音声系特徴抽出処理系の構成の他の例を示すブロック回路図である。

[図 23]図 23は、記録再生装置における映像系特徴抽出処理系の構成の一例を示すブロック回路図である。

[図 24]図 24は、記録再生装置におけるシーンチェンジ処理を示す図である。

[図 25]図 25は、記録再生装置におけるテロップ、カラー特徴検出領域の一例を示す図である。

[図 26]図 26は、記録再生装置における類似画像特徴の一例を示す図である。

[図 27]図 27は、記録再生装置における人物特徴検出領域の一例を示す図である。

[図 28]図 28は、記録再生装置における人物検出処理の一例を示す図である。

[図 29]図 29は、記録再生装置における人物検出（人数判定)処理の一例を示す図である。

[図 30]図 30は、記録再生装置における人数検出処理の一例を示す図である。

[図 31]図 31は、記録再生装置における人数検出処理の一例を示す図である。

[図 32]図 32は、記録再生装置における人数検出処理の一例を示す図である。

[図 33]図 33は、記録再生装置における人数検出処理の一例を示す図である。

[図 34]図 34A〜図 34Eは、記録再生装置における再生ユニット処理の一例を示す図である。

[図 35]図 35A、図 35Bは、記録再生装置における再生ユニット処理の一例を示す図である。

[図 36]図 36は、記録再生装置における CM (コマーシャル)検出処理の一例を示す図である。

[図 37]図 37は、記録再生装置における再生ユニット処理系の構成例を示すブロック図である。

[図 38]図 38は、記録再生装置における特徴データファイルの構成の一例を示す図である。

[図 39]図 39は、記録再生装置における特徴データファイルの構成の一例を示す図である。

[図 40]図 40は、記録再生装置における特徴データファイルの構成の一例の説明図である。

[図 41]図 41は、記録再生装置における再生ユニットデータの階層構造の一例を示す図である。

[図 42]図 42は、記録再生装置における再生ユニットデータの階層構造の一例を示す図である。

[図 43]図 43は、記録再生装置における再生ユニット映像特徴データの構成の一例を示す図である。

[図 44]図 44A、図 44Bは、記録再生装置におけるプレイリスト（要約）データの一例を示す図である。

[図 45]図 45は、記録再生装置の動作の一例を示すフローチャートである。

[図 46]図 46は、記録再生装置における記録時間と選択可能要約再生時間の関係の一例を示す図である。

[図 47]図 47は、記録再生装置における記録時間と自動設定チヤプタ数一例を示す図である。

[図 48]図 48は、記録再生装置の記録動作の一例を示すフローチャートである。

[図 49]図 49は、記録再生装置の再生動作の一例を示すフローチャートである。

[図 50]図 50は、記録再生装置の再生動作の他の例を示すフローチャートである。発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を参照して以下の順序で詳細に説明する。なお、本発明は、以下の例に限定されるものではなぐ本発明の要旨を逸脱しな!、範囲で、適宜変更可能であることは言うまでもな、。

(1)本発明を適用したシステムの概要

1. 1 特徴データを用いた要約再生及びチヤプタ点設定処理

ここでは、本発明の動作処理概要について説明する。

下記の動作概要に関係する信号処理については、ここでの項目の他に後の項目で詳細に説明する。

下記の説明でプレイリストデータ生成に関し、特別に記述する他に、特別に記述しない場合でもプレイリストデータ生成とチヤプタデータを一緒に生成処理するものとしてもよい。

特徴データを用いた要約再生 (ダイジェスト再生)及びチヤプタ処理の説明図を図 1

A〜図 1Gに示す。

まず、特徴データを用いた要約再生動作につ!、て説明する。

(特徴データを用いた要約再生 (ダイジェスト再生)処理）

ここで、図 1Aに示すような画像音声データ系列があると想定する。

この画像音声データ系列は、放送番組や映画ソフトその他などがあり、ハードデイスク (HDD)や光磁気ディスク、大容量半導体メモリなど所定の記録媒体を用いて、 M

PEG (Moving Picture Export Group)など所定の帯域圧縮信号処理を用いて記録及び再生処理を行うものとする。

画像音声データ系列において、所定の意味を設定し、シーンチェンジ、音声セグメントなどに応じて所定のビデオ構造 (意味的ビデオ構造）に区切った所定区間の概念図を図 1Bに示す。

この所定の意味の設定処理、所定区間の設定処理、ビデオ構造などについては後述する。

ここで、図 1Cに示すように、意味毎に区切った各々の所定区間毎に、所定時間内に記録された全区間、所定プログラム区間など、所定の全区間 (所定全区間）における各々の区間の所定の評価値を設定する。この評価値が設定された区間を、それぞれ所定評価値区間 (評価データ区間）とする。

ここで、「所定時間内に記録された全区間」とは、番組の枠にとらわれず、ある所定時間分の画像音声データがあった場合に、その画像音声データの全区間を示す。また、「所定プログラム区間」とはある 1つの番組の画像音声データがあった場合に、その番組の枠の全区間を示す。

ここで、所定の評価値は所定全区間における所定キーフレーム区間（重要フレーム区間、重要 (画像音声）区間）となる場合ほど、高い評価値 (評価データ)を設定すると仮定する。

すなわち、評価値が高く設定された区間 (重要評価値区間)を再生すれば、その区間にはキーフレーム区間が含まれるので、全区間を再生しなくても概要を把握することがでさること〖こなる。

図 1Cは、所定評価値区間の概要を示すもので、図 1 Aに示す画像音声データ系列で、 fl〜f2、 f4〜f5、 f7〜f8の各区間が評価値において設定したしきい値 Th以上の区間で、図 1Dに示すように Al、 A2、 A3の各区間を所定の要約再生モード時にスキップ再生することで所定の要約再生 (ダイジェスト再生)行うことになる。

(特徴データを用いた自動チヤプタ処理）

図 1Eは、チヤプタ点を設定する場合の概念図であり、先に説明したような、所定キ一フレーム区間（重要フレーム区間）の先頭又はその近傍、及び、そのキーフレームの区間の最後に続く（最後に接続する）キーフレーム区間ではない区間の先頭又はその近傍にチヤプタ点を設定する。

ここで、例えば、従来用いられている DVD(Digital Versatile Disc)記録再生装置で自動チヤプタ機能と言われる所定区間の区切り点を設定することで、その時点を編集操作の目安にしたり、早送りフォワード再生 (FF再生）、早送り逆再生 (リワインド再生、 REW再生)などの場合に利用することができる。

従来、上述した自動チヤプタ機能として、例えば、 5分等間隔、 10分等間隔、 15分等間隔などのように時間間隔を等間隔とした処理が知られており、このようなチヤプタ処理では図 1Gに示すように、キーフレームと思われる時点の開始点にはチヤプタ点を設定できない場合がある。

また、従来、手動チヤプタ処理という、ユーザ自身が、所望するに任意の時点にチャプタ点を設定できる機能が知られているが、この機能は、ユーザ自身が記録した、又は記録する番組 (プログラム）を実際に見て設定処理を行うことになるので、ユーザにとつては面倒な操作であり、効率的ではな!/、。

これに対し、本発明の特徴データを用いたチヤプタ点設定処理 (所定時点設定処理、所定位置設定処理)では、図 1Eに示すように、適切にキーフレーム区間の先頭又はその近傍と、そのキーフレーム区間の最後に接続され、又は最後に続くキーフレーム区間ではない区間の先頭又はその近傍にチヤプタ点を自動的に設定処理することができるので、従来のチヤプタ処理よりも、より効果的なチヤプタ点設定を行うことができる、このチヤプタ処理を用いた効果的な編集操作 (編集処理)や、 FF再生、 R EW再生を行うことができる。

ここで、図 1Fに示す自動設定したチヤプタ点を所定の大きさのサムネール画像として所定の画像モニタに表示させる場合の概念図を図 2に示す。

図 1Fに示すように、 fl、 f4、 f7が各々、所定キーフレーム区間 Al、 A2、 A3の先頭又はその近傍で、 f3、 f6、 f9が各々 Al、 A2、 A3の区間の後のキーフレーム区間ではない区間 Bl、 B2、 B3の先頭又はその近傍であり、ユーザは図 2に示すような表示画面を見ることで、例えば、記録再生装置の記録媒体であるハードディスクに記録された放送番組の編集操作において、図 1Dに示すキーフレーム区間 Al、 A2、 A3を切り出し、 DVD(Digital Versatile Disc)などのディスク記録媒体に記録することなどの処理や、 fl、 f4、 f 7の時点にスキップ再生するなどの操作を想定する。

図 1Gに示す従来の所定時点設定点 (チヤプタ点、所定位置設定点)の一例を示すように、所定の一定間隔、例えば、 5分間隔、 10分間隔などの一定間隔又は略一定間隔で設定点 (チヤプタ点）が設定処理されるが、図 1C、図 1G力も分力るように、必ずしもキーフレーム（重要フレーム）に設定されるとは限らな!/、。

このように本発明における特徴データを用いて自動的に所定のチヤプタ点 (所定設定点、又は所定区切り点）又はセグメント処理を行うことで、より効果的な編集操作やスキップ再生を行うことができる。

1. 2 本発明の処理プロセスの一例

次に、本発明における処理プロセスの一例を図 3に示す。

図 3に示す処理プロセスでは、 MPEG画像音声ストリームデータから、画像系及び音声系の各特徴データを抽出する特徴抽出処理（2)を含んでいる。

ここでは、簡単のため MPEGストリーム（1) (MPEGデータ）は、所定記録媒体に記録する、又は、所定記録媒体に記録されているデータを想定している力例えば、所定の伝送系（有線系又は無線系）において伝送される画像音声データにおいても同様に本発明を適用することができる。

特徴抽出処理（2)は、記録処理と同時に行うことができる力所定の記録媒体にすでに画像音声データが記録されている場合には、その記録媒体力再生して所定の特徴抽出処理を行うこともできる。ここで、規則処理 (ルール処理）について説明する。

この規則処理は、ルールが所定の様式で記述されたルールファイル、又はルールデータを用いて所定の処理が行われる。

ルールファイルは、例えば、番組ジャンルに応じた、特徴データに基づくルールが記述されており、このルールファイルと所定区間の各特徴データが記述された PU特徴データファイル (再生ユニット特徴データファイル）との演算により、所定プレイリストファイルが生成されることになる。

ここで、説明を分力りやすくするため、便宜上、所定番組ジャンル nに対するルールファイルを Rf (n)、 PU特徴データファイルを Pu、プレイリストファイルを Dfとし、所望の要約時間を tとすると、以下の（1)式のような演算で表現できる。

Df=Pu ( * )Rf (n) ( * ) t · · · (1)

ここで、（ * )は所定ファイルのデータを用いた所定の演算子と仮定する。

ルールファイル Rf (n)は、以下で説明するように、例えば、所定の書式で記述され、所定の時間補正関数、意味、意味の重み付け係数 (評価値、重要度)などの所定パラメータのデータなどにより構成されている。

(再生ユニット処理）

特徴抽出処理（2)の後は、本発明の特徴の 1つである PU処理（3) (再生ユニット処理）を行う。

PU処理（3)にお、て、各特徴データは、 PU (再生ユニット） t 、う区切り（4)で所定のデータ (PU特徴データファイル）として所定の記録媒体又はバッファメモリに記録（記憶）される。

(規則 1処理）

PU特徴データファイルは、所定の規則 1処理（5)により PUの意味付け処理が行われる。後で説明するが、規則 1処理 (5)の概要は次の通りである。

(処理 1) 各特徴データの取り出し

(処理 2) 特徴データの組合せ力第 1ルールで表現されている意味の中で最も条件を満たすものを選択

(処理 3) 選択された意味をその PUの意味として採用この規則 1処理（5)では、 EPG (電子番組ガイド）その他により、番組ジャンル、又は、過去にユーザが視聴した番組ジャンル、時間帯、再生回数、再生時刻、再生日時、その他などのパラメータ、サイド情報などが利用できる場合には、これらパラメータを考慮して所定の処理を行うようにしてもょ、。

この処理に関連して行われる時間補正関数の処理については後述する。

(規則 2処理）

意味付けされた PU (6)は、所定の規則 2処理 (7)で所定の評価値処理が行われる規則 2処理（7)では、次の（処理 1)及び (処理 2)の重要度につ、ての評価値処理を行う。

(処理 1) 意味の重要度

(処理 2) 意味の出現パターンによる重要度

所定の評価値処理が行われた PU (8)では、 PU単体、又は、 PUが幾つ連結された PU群で所定の評価値が付けられて、る。

ここで、規則 1処理（5)、規則 2処理（7)では、図 4に示すように、ルール切り替え処理系 900により、複数の番組ジャンルに応じたルール処理データとして、ジャンル A 規則データ、ジャンル B規則データ、ジャンル C規則データ、 · · ·と幾つかの規則処理用データ (ルール処理データ）を備え、システムコントローラ系 20に入力した番組ジャンル情報データに応じて、規則 1処理 (5)、規則 2処理 (7)、又は、いずれか一方のルール処理を切り替える。

また、図 4に示すように、個人別にルール処理用データを幾つ設けて切り替える。この場合は、所定動作モードにおいて、システムコントローラに入力された所定のュ一ザによる設定処理により、個人 1用規則処理データ、個人 2用規則処理データ、個人 3用規則処理データ、 · · ·のいずれかが、システムコントローラ系 20を介して選択処理され、その選択された規則処理データに基づ!、て所定のルール処理が行われる。

図 4に示すような個人別の規則処理データを設けることで、例えば個人別に、通常再生又は特殊再生などの所定再生動作を行い、その再生状態、再生位置などの動作情報、動作位置情報などを所定の個人別規則処理に反映できるように所定メモリ手段に記憶して、それら情報データを所定の学習処理により、個人別規則処理データとして、随時、所定のタイミングでデータを更新処理するなどの動作を行うことにより個人別学習処理には有効な信号処理方法となる。

図 4に示すように、ルール切り替え処理系 901により各個人別ルール処理 (規則処理)を切り替える場合も、規則 1処理 (5)、規則 2処理 (7)、又は、どちらか一方のルール処理を切り替える。

(規則処理の書式）

(規則 1処理の場合）

ここで、意味付け処理された PUは、例えば、ある放送番組を想定した場合に、以下のような英文字と意味を設定して、所定の画像音声特徴データと関連させて記述する。

文字に対する意味付けは、その放送番組においてキーフレーム (重要フレーム、重要シーン)と想定されるであろうシーン、又は要約再生、チヤプタ設定などに有効と想定される所定の記録、再生区間を選択して記述する。

また、ユーザが所望するシーンを記述する。この場合は、所定の調整モードなどで、ユーザが所望するルールを記述できるようにする。

ここで、図 5A、図 5Bの上段に示すように、ニュース番組、相撲番組の場合の一例につ、て示すと次の表 1のようになる。

表 1：ニュース (報道)番組の場合の一例

ここで、図 5Aに示す例では、 aでアナウンサーのシーンを抜き出すルールを記述しているが、 1つの規則処理では、すべての想定される aのシーン（アナウンサーの出現シーン)を抽出することはできないと思われるため、幾つかの複数の規則に分けて記述するようにする。

図 5A中の b, c, d, eなど他の場合についても同様に複数の規則に分ける。

相撲番組の場合では、次の表 2のようになる。

表 2：相撲番組の場合の一例

図 5Bに示す例においても、 aの取組み紹介シーンにおいて、すべての想定される a のシーン、例えば、対戦に関連する力士、行司、審判員等の全員を抽出することができないものと想定されるので、幾つかの複数の規則に分けて記述するようにする。例えば、各文字に対して複数の規則を設定する。また、場合に応じて、抽出したいシーン (キーフレーム)の想定される規則を分けて記述を行う。

放送番組では、一義的に意味付けできないシーンも想定できる。例えば、定義文字を @とし、次の表 3のように設定することもできる。

表 3

上述のように設定した定義文字 (設定文字、意味文字）に対する規則 1処理について、ニュース番組の場合を例に具体的に説明する。

図 18に示すように、各所定の特徴データが検出される場合に、上述した-ユース番組の場合の定義文字 a, b, c, d, eに対する各シーンが対応すると仮定する。

ここで、図 5A、図 5B中〇の場合は論理積、△の場合は論理和の所定処理と仮定し、例えば、定義文字 a のアナウンサーのシーンでは、音声特徴の属性が話者音声、色特徴の検出領域 2又は検出領域 3で所定の色が検出され、類似画像情報の頻度 1位又は 2位が検出され、人物特徴の検出領域 1又は検出領域 2又は検出領域 5 で検出され、カメラ特徴は静止の場合と想定できる。

他の b, c, d, eなども図 5A、図 5Bの各〇、△印に応じて、上述の aの場合と同様に、各所定の特徴データと関係付けて、定義文字と特徴データとを関係付けることができる。

上述したように各定義文字と各特徴データは、所定の処理すなわち規則 1処理、規則 2処理を行うため、所定の書式に従って記述する。

図 6Aは、その一例で、ベクトル成分のように想定して記述するものである。

すなわち、図 5A、図 5Bに示した各特徴データを、例えば、音声特徴の属性とし、属性が話者音声であるときは Al、属性が音楽であるときは A2、属性がその他の場合は A3とする。

映像特徴の色特徴で、領域 1は Bl、領域 2は B2などとする。

以下、同様に、各特徴に対して、 B1〜： B4、 C1〜C2、 D1〜D5、 E1〜E4、 F1〜F

4、 Glなどが設定できる。

図 6Aにおいて、例えば、定義文字 aの場合は、次の（2)式のように記述できる。 a=l.0(A1)100* (1.0(B2) 100+1.0(B3)100) * (1.0 (CI) 100+1.0(

C2) 100) * (1.0(D1) 100+1.0(D2) 100+1.0(D5)100) *1.0(F1)100

••••(2)

他の定義文字に対しても、図 6Aに示すように記述できる。

なお、ここで、「*」は論理積 (AND)、「 +」は論理和（OR)と同様の所定演算を表現するものとする。

ここで、例えば、 1.0(A1) 100の記述について説明する。

上述したように、（A1)は、音声特徴で属性が話者音声の場合を表現している。

(重み付け係数）

1.0(A1) 100の 1.0は、（A1)に対する重み付け係数で、ここでは、便宜上、 0〜 1.0の範囲を想定している。

重み付け係数は、所定演算を行うための、便宜的な係数なので、重み付け係数は、 0〜100、又は 0〜 10の範囲で設定 (記述）する。 (検出割合係数）

1. 0 (A1) 100の 100は、（A1)に対する検出割合係数で、その再生ユニット区間で、 100%検出される場合に、 1. 0 (A1) 100は、その条件を満たすものとする。例えば、 1. 0 (A1) 50の場合は、その再生ユニット区間で、 50%検出される場合に

、 1. 0 (A1) 100は、その条件を満たすものとする。

この検出割合については、下記の（3)式で説明する。

ここで、検出割合係数は、便宜上、 0〜： L00の範囲を想定している。

検出割合係数は、所定演算を行うための、便宜的な係数なので、 0〜1の範囲で設定することや、 0〜： L0の範囲で設定 (記述)する。

ここで、この検出割合係数は、その特性がその再生ユニット区間で検出できた割合とすることができる。

例えば、上述の 1. 0 (A1) 100では、話者音声が 100%検出しなければ、（A1)の特性を検出したと判定しないとすることができる。

例えば、 1. 0 (A1) 50では、 50%検出したらその特性を検出したと判定する。すなわち、その所定区間において、所定の特性が検出された割合を係数で表現できる。 (特徴データの検出割合）

そこで、特性の検出の割合について説明する。

処理方法については、図 34〜図 35を参照して後述するが、本発明では、音声セグメント特徴とシーンチェンジ特徴に応じて設定処理される再生ユニット（又はプレイュニット） (PU)という所定の区間を設定する処理概念を導入している。

そこで、例えば、その PU区間全体に対する所定の特徴データが検出された割合で、上述した各所定の特性の割合を演算する。

例えば、図 7において、ある再生ユニットの区間長（フレーム長、時間長など）を faとし、ある特徴データ Pの検出区間を fO, flと仮定すると、この場合の特徴データ Pの検出割合 Fは、次の（3)式にて演算処理することができる。

F=∑fi/fa

= (f0+fl) /fa · ' · (3)

この（3)式による演算値は、後で説明する評価値処理において用いることになる。 (評価値の演算方法の例）（例 1)

評価値 (重要度)の演算方法の一例を示す。

各特徴データにっ、て、理想値と検出結果を以下のように処理する。

例えば、 p=m (M) nとして次の（処理 1)〜（処理 5)を行う。

(処理 1) (3)式を用いて、各所定特徴データの検出割合 sを演算する。

(処理 2) 上記検出割合係数 nと比較して、

s< nの場合、 p=m X s · · · (4)

s≥nの場合、 p=m X 100 · · · (5)

とする。

(処理 3) 上記処理で、各特徴 Mにおいて、 Ml, Μ2 · · 'など同じ属性の特徴の場合で論理和（ + )処理の場合は平均処理を行う。

論理積（* )処理の場合は、便宜上、論理積係数 rというような処理概念を導入し、その平均処理の結果に掛けた値とする。

(処理 4) 上述の処理を各特徴データ M毎に行い、各演算値の加算処理を行ってその処理結果をその評価値とする。

(処理 5) 演算した評価値を比較して評価値が最も大き!/、場合の意味をその再生ユニット aの意味とする。

上述の評価値処理は、処理方法の一例で、検出された特徴データ、又はその再生ユニット区間において検出された割合などと、設定した「意味」との対応が所定の妥当性を持った処理方法であれば、上記以外の処理方法でもよ、。

例えば、上述の（処理 3)の処理で論理積処理の場合は、平均化処理や論理積係数を掛けないで、同じ属性の特徴データを加算する処理だけにすることなどが想定される。

(処理 3)の処理の場合で、同じ特徴データで論理積処理の場合は、検出条件が論理和処理の場合と比較して厳しくなるので、検出値を論理和処理の場合よりも大きくとるように処理を行うことができる。

ここで、上述の（2)式の場合について説明する。

例えば、各特徴の検出割合を以下の表 4のようにし、検出割合係数、重み係数を一緒に示す。

表 4

ここで、 B2、 B3や、 Cl、 C2などのように同じ特徴の種類で、検出属性が異なる場合や、又は検出領域が異なる場合などで、論理和処理（+ )の場合は、便宜上、平均処理を求め、（2)式から、評価値 hは、次の（6)式にて示される。

h=100+ (80 + 80) /2+ (100+100) /2+ (80 + 80 + 80) /3 + 80

= 100 + 80+100 + 80 + 80

=440 ··· (6)

又は、特徴データの種類で平均化した値を評価値とすることができ、その場合は、特徴データは、 A〜Fの 5種類なので、次の（7)式に示すような評価値とすることもできる。

h=440/5

=88 ··· (7)

(属性が同じ特徴データ間の関係が論理積処理の場合）

ここで、（2)式の処理で、同じ属性の特徴データ、例えば、 B2、 B3が論理積処理の場合、すなわち、（1.0(B2)100*1.0(B3) 100)のような場合について検討する。上述の評価値処理の（処理 3)から論理積処理係数 rとヽぅ概念を導入し、 r (80 + 8 0) Z2のような処理を想定する。

例えば、 r=l.5とすると、 h=100+l.5X (80 + 80) /2+ (100+100) /2+ (80 + 80 + 80) /3 + 80

= 100+120+100 + 80 + 80

=480 ··· (8)

また、特徴データの種類 5で平均化処理して

h=480/5

=96 ··· (9)

という、評価値とすることができる。

これは、論理積処理の場合が論理和処理に比較して条件が厳しいので、検出した「意味」の評価値を大きく設定した方がよ!、とする場合である。

また、場合によっては、 r=0.8として、

h=100 + 0.8X (80 + 80) /2+ (100+100) /2+ (80 + 80 + 80) /3 + 80 = 100 + 64+100 + 80 + 80

=424 ··· (10)

また、特徴データの種類 5で平均化処理して

h=424/5

= 84.5 …（11)

t 、う評価値とすることもできる。

これは、上述の場合とは逆に、論理積処理の場合が論理和処理に比較して条件が厳、ので、評価値を小さく設定した方がょ、とする場合である。

(属性の異なる特徴データ間の関係が倫理和処理の場合）

ここで、例えば、（2)式で示したように、属性の異なる特徴データは、論理積演算子 ( * )で表現して、るが、論理和演算子（ + )の場合もある。

簡単のため、（2)式で第 1項目 Al、第 2項目 B2だけを求め、

a=l.0(A1) 100+1.0(B2)100 (12)式

上述の評価値演算方法 (3)で説明したような、便宜上、論理和係数 wというような概念に基づいて処理を行う。

この場合、（ 12)式から、評価値 hは、

h=(100 + 80)w ··· (13) となる。ここで、

w= 1

の場合は、論理積処理の場合で、

a=l.0(A1) 100*1.0(B2) 100 ··· (14)

h=100 + 80

= 180 ··· (15)

となる。

例えば、（8)式の論理和処理の場合には、

w=l.5 ··· (16)

として、

h= (100 + 80) XI.5

= 270 ··· (17)

と、論理積処理の場合よりも高い評価値となるような処理を行う。

また、

w=0.8 ··· (18)

として、

h= (100 + 80) X0.8

= 144 ··· (19)

のように、論理積処理よりも小さ!、評価値となるような処理を行う。

評価値処理は、設定した意味と各特徴データ、各種の係数などを結びつけた式の値の評価のために便宜上、導入した概念なので、上記評価式の各係数の範囲、値などは、上述の説明で述べた場合に限らず、小さぐ又は大きく設定することもできる以下のような評価値の演算により、ルールファイルにより、ルールに記述された再生ユニットの各区間の評価値が決められ、例えば、要約再生モードの場合は、要約再生時間に応じて、評価値の大きい PU区間が選択され、要約時間にできるだけ近くなるように、段々と評価値の小さい PU区間を選択していく。

そして、選択した各 PU区間を再生することで、所定の要約再生が実現できる。 (評価値処理の他の処理方法）

上記で述べた各特徴データ nの一項と、所定演算子 *とから w(M) *kとし、各所定特徴データの検出割合 det重み係数 w、検出割合係数 kとして、評価式の各項の特徴データ nの重み係数を w(n)として、演算関数 Pと演算子 *とする。

P(*k(n), det(n))とし、

d(n)=P(*k(n), det(n)) · · · (20)

とする。

ここで、演算子 *以下のいずれかに該当するものとして、

d(n)は、

(1) * = ( | | >)の場合、すなわち P(( | I >)k(n), det(n))で、

if(k(n)≤det(n)) then d(n)=0 ··· (21)

else d(n)=100 · · · (22)

(2) * = (| I <)の場合、すなわち P(( | I <)k(n), det(n))で、

if(k(n) >det(n)) then d(n)=0 · · · (23)

else d(n)=100 · · · (24)

となる。

上記（1)、（2)のような処理の場合は、検出 det (n)と設定検出割合 k(n)に応じて、途中処理値 d (n)を 100又は 0に処理するので、下記の（3)又は (4)で説明する途中処理値が差分値になる場合に比較して、特徴データを顕著に特徴付けた！/ヽ場合には有効である。

また、さらに、

(3) * = ( I >)の場合、すなわち P(( I »k(n), det(n))で、

if(k(n)<det(n)) then d(n)=0 · · · (25)

else d(n)= I k(n)— det(n) | . · · (26)

(4) * = ( I <)の場合、すなわち P(( I <)k(n), det(n))で、

if(k(n) >det(n)) then d(n)=0 · · · (27)

else d(n)= | k(n)— det(n) | · · · (28)

であるから、評価値は次の（29)式のようになる。 [数 1]

•••(29)

上述の演算子の導入により、例えば、 Al、 B2の特徴データがあった場合に以下のように記述することができる。

a= l. 0 (A1) ( I Iく） 100+ 1. 0 (B2) ( | < ) 100

•••(30)

この場合、例えば、 Al特徴の検出割合 (実際の検出値)を 100、 B2特徴の検出割合 (実際の検出値)を 80と仮定すると、上記（1)、（4)から、評価値 hは、

h= (1. O X (100-0) + 1. 0 (100— 80))Z(1. 0+ 1. 0) = (100 + 20) /2 =60 · · · (31)

t 、う評価値とすることができる。

上述のように、評価値処理の方法には、幾つかの方法がある力ここで説明した方法に限らなくともよい。

ここで、図 6Aに示す規則 1の記述においては、記述するデータの出現パターン (意味）の表現方法の一例で、意味として、 a, b, c- · 'などとした力その否定として A, B , C, · · ·、また、ワイルドカードとして、 *などを用いることができる。

(規則 2処理の場合）

規則 2処理では、上記規則 1処理で意味付けされた所定区間である再生ユニット同士の意味の接続を考慮して処理を行うようにする。

また、時間補正関数を用いて時間的な補正、すなわち時間的な重み付け処理を行例えば、上記規則 1処理において、意味 aの評価値を 70、意味 bの評価値を 80と仮定すると、（ab)の評価値 gは、

g = 70 + 80

= 150 又は、意味数の平均を求め、ここでは、 abの 2つなので、

g = 510/2

= 75

又は、それぞれの評価値の積を求め、

g = 70 X 80

= 5600

例えば、便宜上、最大値を 100と仮定して最大値で正規ィ匕すると、

g = 5600/100

= 56

とすることができる。

時間補正関数の重み付けは、例えば、上述の（ab)が、ある時点 tで検出でき、その評価値が gで、 tでの時間補正係数 (重み付け係数)を wとすると、 gtを最終的な評価値とする。

時間補正関数は、ルールファイルにおいて規則 2の所定記述場所に、所定記述規則に従って、その変化点 (変化点座標系の情報データ)を記述する。

規則 2処理の一例を図 6Bに示す。

(時間補正関数）

まず、時間補正関数について説明する。

この時間補正関数は、ルールファイルにおける所定番組ジャンルにおける要約時間補正を行うために利用することができる。

これは、ユーザによっては、所定の放送番組によっては、放送時間の前半や後半を重点的に再生した、と、う場合も想定できる。

そこで、記録する番組のジャンル、放送時間、その他などの、その放送番組に応じた種々のパラメータを考慮して、要約再生 (ダイジェスト再生)を行う所定の再生区間に対して時間（場合によっては時刻）の重み付けを行うようにすることができる。

すなわち、この重み付けを行う区間は、時間的にそれ以外の重み付けを行わない区間に比較して、要約再生 (ダイジェスト再生)を行う場合の再生の重要度を大きく処理すること〖こなる。図 8A〜図 81は、上述した時間の重み付けを行うための時間補正関数の一例を示すものである。

図 8Aは、フラットな特性で、所定の要約再生区間に対して時間の重み付けを行わない場合である。

図 8Bは、所定の区間内において、前半部の方を後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。図 8Cは、所定の区間内において、後半部の方を前半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。図 8Dは、所定の区間内において、前半部と後半部を中間部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である図 8Eは、所定の区間内において、中間部を前半部及び後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。

図 8Fは、図 8Dに示す違った形の補正関数を 2つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みを付けて、さらに各重み付けを異なつたものにして、る。

図 8Gは、図 8Eに示す違った形の補正関数を 2つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みを付けて、さらに各重み付けを異なつたものにして、る。

図 8Hは、図 8C及び図 8Dに示す組合せ関数で、図 81は、図 8Dと図 8Bの組合せ関数を示している。

図 9は、一般的な時間補正関数の様子を示したもので、開始点、変化点、終点の座標をそれぞれ、 PO (ts, s3) , Pl (tl, s3) , · · · , Pe (te, sO)としている。

ここで、座標の y成分は、重み付けを表しているので、ここでは、便宜上最大値を 10 0最小値を 0とし、 0〜： L00の間の値をとるものとし、 X座標は、位置情報で、後述する図 41〜図 43に示す「開始終了位置情報」のデータと同じディメンジョンの値、又は開始終了点間の区間に基づく開始点力もの割合で、 0〜100の間で設定して位置を示している。

(再生ユットの意味と接続関係、判定処理）

上記で説明したが、所定の特徴抽出処理による特徴データからその再生ユニット ( PU)における意味設定することができる。

ここで、図 10に示すようなビデオデータの構造について説明する。

ある 1つのプログラム（番組) kを想定すると、幾つかのシーン m、 m+ l、 · · ·に分類することができ、シーンは幾つかのショットに分類することができる。

そして、セグメント（ショット）を構成するのは、一つ一つのフレームとなる。

シーンの切れ目（区切り）は、シーンチェンジになる。

セグメント（又はショット、又は画像セグメント。以下同様）は、シーン毎に、そのシーンに応じた類似画像のまとまり、又は、類似した画像 (映像)特性のまとまりともすることがでさる。

セグメントやシーンなどは、そのプログラム（番糸且)の中において、固有な意味の概念を持っている。

そして、各々の意味を持ったセグメント、シーンは、幾つまとまってその番組を構成して、るビデオ構造と捉えることができる。

例えば、野球の番組を想定した場合に、打者の画面が続いていたとすると、打者の類似画像が検出され、その類似特性セグメントに分類できる。そのセグメントは、「打者の画像」 t 、う意味 (意味の概念）を有することになる。

また、投手の投球する画面が続いていたら、投手の類似画面が検出され、その類似特性に応じてセグメントに分類できる。そのセグメントは、「投手の画像」という意味（意味の概念)を持つことになる。

ここで、投手が投球して、打者が打撃し、その打者が走塁するような場合を想定した場合に、「投手の画像シーン」、「打者の画像シーン」、「打者の走塁の画像シーン」という、各々意味を持った画像シーンのつながりを捉えることができる。

所定プログラム (番組）において、上述した PU毎に、画像特徴データ、音声特徴データが処理され、それら特徴データに応じてその PUの意味を設定することを想定する。例えば、ニュース番組を想定した場合に、キャスター（アナウンサー）が最初に- ユースの項目を読み上げるシーン (ニュース番組のヘッドライン）の場合に、そのシーン (画像)の特徴として、人物特徴が 1人〜 2人、テロップ (Tip特徴）、音声特徴の属性が話者音声、さらに、ニュース番組としたときに、その-ユース番組の中で、ニュースを読み上げるシーンは幾つ存在するので、その-ユース読み上げシーンと類似するシーンは幾つ存在することになり、類似画像特徴すなわち、特定のシーン IDは出現頻度が高くなる。

このように、規則 1処理でも説明したように人物特徴、音声特徴、テロップ特徴、類似画像特徴、その他所定の特徴データに応じて、その PUの意味を設定することができる。

例えば、上述した野球の番組の例のように、所定の意味を持つ PUの接続関係が想定される。すなわち、所定の特徴データ又は特性データを持つ PU間の所定の接続とすることができる。

上述した所定の意味を持つ、すなわち所定の意味が設定された PUの接続関係を図 11に示す。

図 11にお、て、あるプログラム (番糸且)で所定の意味 a〜意味 dが設定されており、ぁる区間1³1；(11)〜1³1；(11+ 2)で、接続関係は、 PU (n)の意味 a、 PU (n+ l)の意味 b、 PU (n+ 2)の意味 cが最も自然なつながりとなることを示して、る。

すなわち、この図 11に示した例は相撲の場合を想定しており、意味 a「取組み紹介シーン」の後は意味 b「立会いシーン」が続くことが一番妥当性であり合理的であり、意味 b「立会、シーン」の後は意味 c「取組みシーン」が続くことが一番妥当性であり合理的である。

そして、接続関係として、 abcという意味を定義した文字系列とすることができ、この a beの系列がキーフレームとすれば、あるプログラム（番組）の中で abcを探して、探した所定区間の最初と最後、又は、その近傍などを所定設定点として設定処理を行うことがでさる。

他の例として、例えば、番糸且ジャンルが野球の場合は、ある区間で再生ユニットが、各々、「投球」、「打った」、「意味なし」、「得点」という場合に、「意味なし」を除いて、 3 つの意味、「投球」、「打った」、「得点」を持つと判定された PUを 1つにまとめて、「投球、打った、得点」という所定 PUのかたまりを想定することができる。

ここで、「意味なし」の PUは、意味がないと判定されたことにより含めても問題なぐ上記 4つの PUを 1つにまとめて「投球、打った、意味なし、得点」という所定 PUのまとまりとすることができる。

ここで、「意味なし」を例に挙げたのは、上述の規則 1の処理で所定の特徴データから所定の評価処理で、設定した幾つかの意味の中から、所定の意味付け処理を行う、すなわち、複数の意味力所定の信号処理に基づいて確からしい意味付けが行えな、場合も想定できるからである。

「意味なし」の代わりに、「どのような意味でもよい」とすることができる。これは、上記した @と同様の処理である。

ある-ユース番組の場合で、 aabbという接続、すなわち、「アナウンサーシーン」、「アナウンサーシーン」、「現場シーン」、「現場シーン」という接続力妥当で合理的である場合を図 12Aに示す。

先に説明した相撲番組の場合を図 12Bに示す。

図 13A、図 13Bは、上述の番組ジャンルが-ユース番組の場合で、図 13Aに示すように、参照パターン (参照文字系列）を上記で説明した「aabb」として、図 13Bに示すように、例に挙げる所定の番組記録区間の中で「aabb」の区間を探していき、区間 Al、区間 A2が「aabb」に一致して、検索できたことを示している。

そして、図 13Bに示すように、例えば、探すことができた「aabb」区間の最初の位置 pl、 p3、最後の位置 p2、 p4を所定設定位置として設定し、後で説明するプレイリストのチヤプタデータ (位置情報データ）として所定の処理を行う。例えば、要約再生モードの場合には、上記設定位置 pl〜p2、 p3〜p4を再生するように再生制御処理を行う。

チヤプタ設定など、所定時点設定 (所定位置設定)処理の場合には、 pl、 p2、 p3、 p4の各時点、又は、それら各点の所定の近傍の位置をその設定位置として所定の処理を行う。

このように、所定の特徴データ力所定の PUの意味を持つと判定し、その所定の意味を持つとその PUに設定し、それら意味が判定して設定された PU力意味の接続関係を想定して、所定の意味に応じた所定数の PUの接続や所定数の PUの集合を想定して処理を行うことができる。

図 6Bに示した規則 2処理の記述方法の一例では、キーフレーム（重要フレーム）と想定し、検索したい文字系列を (aabb)のようにし、その後に、重み付け係数として 10 0を設定している。その後の Ps (ts, s4) , Pl (tl, s4) , Pe (te, s3)は、先に説明した時間補正関数であって、この例の場合は、図 14に示すように、番組の後半部で徐々に重要度が減少するような関数となっている。この図 14に示すような時間補正関数の場合には、番組の前半部を重点的に視聴した、ような場合に適して、る。

ここで、図 6Bに示した規則 2処理の記述においては、記述するデータの出現パターン (意味)の表現方法の一例で、意味として、 a, b, c- - 'などとした力その否定として A, B, C, · · ·、また、ワイルドカードとして、 *などを用いることもできる。この図 6 Bに示した規貝 IJ2処理の記述において、ニュース番組のジャンルの場合の一として、例えば、（Abb)とした場合、には、 Aは、「アナウンサーのシーン」以外、 bは、「現場のシーン」 t\、うことになり、「アナウンサーのシーン」以外に「現場のシーン」が 2つ続く場合を検出することになる。

ここで、評価値の演算方法の一例として、以下のような処理である。例えば、再生ュニット群を (abc)として、上記（1)式により、 a b cの各検出割合 (value)と重み付け係数が以下の表 5に示すような場合がある。

表 5

意味 v l u e み備考

a 1 . 0 1 0 0 1 . 0 > 1 0 0 1 0 0

b 0 . S s 0 0 . s > < 8 0 = 6 4

c 0 . 8 8 0 0 . 8 > ( 8 〇 = 6 4 評価値 = 100 X ( 100 + 64 + 64) Z (重みの総和）

= 100 X 228/ (100 + 80 + 80)

= 100 X 228/260

=88

ここで、 100を掛けたのは、便宜上、割合（％)を考慮したためである力上述したように、評価値のスケールは、所定の評価処理が行えて、かつ所定の演算処理上問題なければよいので、オーバフローなど処理上問題なければ、割合を考慮しなくてもよい。

(規則 2処理における再生ユニット群の他の例）

ここで、規則処理 2における、ある「意味」の再生ユニットが複数接続した再生ュ-ット群を 1つの意味群ユニットとし、意味群ユニットが複数接続する場合を説明する。上記規則 1処理では、 1つの再生ユニットのみの例を挙げて説明した。それは、特徴データから、検出する「意味」に最も確からしいであろう再生ユニットを見つけるためであった。

これをさらに発展させて、再生ユニット群、すなわち、この規則 2処理で行った意味のつながりの再生ユニットを 1つのかたまりとして、そのかたまり同士を接続した区間を検出するようにすることができる。

例えば、上記（aabb)を Galとし、（GalGal)のような接続とすることができる。この場合に、 Galの評価値について規則 1と類似した処理を行う。この場合の評価値の演算方法として、例えば、各意味の再生ユニットの評価値の和の平均や、各意味の再生ユニットの評価値の積の平均などを求めることができる。

例えば、 aの評価値を 80、 bの評価値を 60とした場合に、 Galの評価値は、加算の場合は、

(80 + 80 + 60 + 60) /4 = 70

で、 70を評価値とすることができる。

規則 3処理の場合通常は、図 15Aに示すように、規則 2処理まででよいが、複数の番組対して特徴データを設けた場合に、例えば、番組毎に時間的重み付け処理を行う場合には、さらに規則処理として、図 15の（B)に示すように、規則 3処理を設ける。

その一例として、ニュース番組 (news)とスポーツ番組（sports)に対して重み付けと、時間補正を行う場合の例を図 6Cに示す。

図 6Cに示す例では、ニュース番組は、 100%の重み付けを行い、時間補正関数として開始点 Ps (ts, s4)、変化点 Pl (tl, s4)、終点 Pe (te, s3)とする補正を行い、スポーッ番組に対しては、 70%の重み付けを行い、時間補正関数として開始点 Ps (ts , s4)、変化点 Pl (tl, s4)、終点 Pe (te, s3)とする補正を行う。

図 3で説明した処理内容を図 16を参照してさらに説明する。

図 16Aに示すような、規則 1処理により、各種所定の特徴データに基づいて、各シーンは幾つかの意味付け処理が行われる。

ここで、規則 2によって意味付けされた各シーンには、図 16Bに示すように評価値が所定の処理により設定される。

例えば、要約再生モードの場合では、ユーザの所望する時間 tlで再生する場合に、上記評価値の一番高いシーン (画像)から選択していき、できるだけ tlに近くなるように評価値の高いシーン力も選択して、その選択した区間を再生するように、その位置情報を設定する。

設定した位置情報は所定のデータメモリに記憶し、再生制御を行う際に、位置情報を読み出して、所定区間の再生を行っていく。

そして、各区間を順次再生する (スキップ再生)することで、所定の要約再生 (ダイジェスト再生）を行う。

図 16Cに示す例では、全記録時間を例えば 60分とし、要約再生を 15分で行いたいと仮定して、評価値が 70以上の PUを選択して、 15分にやや満たない場合に、評価値 60の PUn+8 の区間を選択して、所望の再生時間 15分にできるだけ近くなるように処理を行っている。

このように評価値の大き、所定 PU区間を選択して、き、所定の再生時間にできるだけ近くなるように、 PU区間を選択していく。

所望の再生時間 Tmに対して所定の許容範囲 tc内に再生時間 Tがあるように、

Tm— tc Γく Tm+tc

となるように、評価値に基づいて所定の PU区間を選択する。

また、図 16Dに示すように、例えば、意味付けされた評価値の高い区間の最初 (又はその近傍)、評価値の高い区間の最後（又はその近傍）に所定位置 (チヤプタ)を設定することで、その区間の編集処理をしたり、スキップ再生の一時停止処理、繰り返し再生処理など、所定の操作を行うことに利用できる。 (2)ブロック構成例

ここでは、簡単のため、記録する画像音声データは、放送番組のデータとし、 MPE G (Moving Picture Export Group)による所定の帯域圧縮処理が行われるものとする。なお、その他の帯域圧縮信号処理としてウェーブレット変換、フラクタル解析信号処理その他などを用いるようにしてもよい。例えば、下記の説明で画像データの DCT係数は、ウェーブレット変換の場合には多重解像度解析における力解析係数などに相当し同様の信号処理を行うことができる。

2. 1 ブロック構成例 1

本発明を適用した記録再生装置 30の全体ブロック構成例を図 17に示す。

ここでは、簡単のためテレビ放送を受信して、受信した放送番組を記録する例を挙げて説明する。

2. 1. 1 記録信号処理系

この記録再生装置 30では、受信アンテナ系 1と受信系 2により所定の放送番組が受信され、音声信号は音声 AZD変換処理系 3で所定のサンプリング周波数、所定の量子化ビット数で所定の AZD変換信号処理が行われ、その後音声エンコーダ処理系 4に入力される。

音声エンコーダ処理系 4では、例えば MPEGオーディオや AC 3オーディオ（ドルビ一 AC3、又は Audio Code number 3)などの所定の帯域圧縮方式で信号処理が行われる。

同様に、映像信号は映像 AZD変換処理系 8で所定のサンプリング周波数、所定の量子化ビット数で所定の AZD変換信号処理が行われ、その後、画像エンコーダ処理系 9に入力される。

画像エンコーダ処理系 9は、 MPEGビデオやウェーブレット変換などの所定の帯域圧縮方式で信号処理が行われる。

音声エンコーダ処理系 4及び画像エンコーダ処理系 9で処理された音声データ及び画像データは、多重化処理系 5を介して記録処理系 6に入力される。

音声信号の特徴抽出を行うため、音声エンコーダ処理系 4に入力する信号の一部又は上記所定エンコーダ信号処理における信号処理過程の途中の信号の一部は特徴抽出処理系 10に入力される。

図 17に示す記録再生装置 30では、音声エンコーダ処理系 4に入力される信号の一部として、音声エンコーダ処理系 4から特徴抽出処理系 10に信号が入力されている力音声ェンコーダ処理系 4に入力されるとともに特徴抽出処理系 10に入力するようにしてもよい。

同様に映像 (画像)信号の特徴抽出を行うため、映像エンコーダ処理系 9に入力される信号の一部又は上記所定エンコーダ信号処理における信号処理過程の途中の信号の一部が特徴抽出処理系 10に入力される。

この図 17に示した記録再生装置 30では、映像エンコーダ処理系 9に入力される信号の一部として、映像エンコーダ処理系 9から特徴抽出処理系 10に信号が入力されているが、映像ェンコーダ処理系 9に入力される共に特徴抽出処理系 10に入力されるようにしてちょい。

記録モードにおいて所定区間毎に逐次特徴データは検出され、所定のエンコーダ処理がなされた画像音声データとともに所定の記録媒体 7の所定の記録領域に記録される。

上記特徴データから所定の要約再生 (ダイジェスト再生）を行うためのプレイリストデータの生成を行うプレイリスト処理（9)又はチヤプタデータの生成を行うダイジェスト再生チヤプタ処理（11)をプレイリスト ·チヤプタ生成系 19で所定の信号処理を行う。ここで、プレイリストデータ、チヤプタデータの生成は、以下のような信号処理プロセス（処理 a又は処理 b)で行うことができる。

(処理 a) 特徴データを所定メモリ系又はシステムコントローラ系の所定メモリ領域に所定データ量蓄積した後、所定のプレイリストデータの生成処理、所定のチヤプタデータの生成処理を行う。

(処理 b) 画像音声データを記録する記録媒体 7に所定の特徴抽出処理を行う毎に逐次特徴データを記録し、所定データ量記録した後、そのデータを再生して、所定プレイリストデータ、所定チヤプタデータの生成を行う。

(処理 a)の場合、例えば、所定時間長 tの放送番組を記録すると、その時間長 tの記録が終了したら、その放送番組におけるすべての所定特徴データが集積されるので、この時点で、時間長 tの中で所定の要約再生時間 tdに対応するキーフレームがどこになるかを決めるプレイリストデータ生成処理を行うことができる。すなわち、この時間長 tに処理される特徴データをメモリ系、又はシステムコントローラ系の所定メモリ領域に蓄積 (記憶又は記録)しておくことになる。

(処理 b)の場合は、上記 (処理 a)の場合と同様で所定時間長 t記録した後、所定時間 t記録終了したことを検出 (検知)して、所定の特徴データを再生して所定要約再生時間 tdに応じたプレイリストデータ生成処理を開始することになる。

プレイリストデータ生成処理が終了したら、所定の要約再生の動作を行う準備ができたことになり、このプレイリストデータを用いて所定の要約再生 (ダイジェスト再生）を行うことができる。

上記所定の特徴データは、プレイリストデータがすでに生成されているので、もうプレイリストデータを生成しな、とう、う場合には消去するように信号処理を行うことがある力プレイリストデータを修正するなど、データの生成を再度行う場合には、特徴データはそのまま記録して残してもよ!、。

上記特徴データは、システムコントローラ系 20を介して、所定区間の特徴データの蓄積の後、プレイリスト ·チヤプタ生成処理系 19で所定の要約再生 (ダイジェスト再生 )用プレイリストデータを生成する。

上記生成されたプレイリストデータは、記録処理系 6において所定の記録処理がなされた後、記録媒体 7の所定の記録領域に記録される。

ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、所定再生区間毎の再生開始点情報と再生終了点情報の対となるデータ力構成され、例えば、所定区間毎の再生開始フレーム番号と再生終了フレーム番号のデータ対などからなる。

プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することで要約再生 (ダイジェスト再生）を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータや MPEGにおける PTS (Prese ntation Time Stamp)、 DTS (Decode Time Stamp)などのタイムスタンプデータでもよい。プレイリストデータは、上記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにぉ、て、特徴データを用いて所定の処理を行うようにしてもょヽ図 17において、例えば、すでに MPEGなど所定のエンコード処理がなされた画像、音声データを記録する場合には、音声エンコーダ処理系 4、画像エンコード処理系 9でエンコード処理を行う必要はなぐ直接、多重化処理系 5に入力し、記録処理系 6 で記録処理を行い記録媒体に記録することができる。

ここで、直接デジタル画像、音声データが入力して記録される力、受信系 2によりァナログ信号が入力し所定のエンコード処理の後に記録されるかは、システムコント口ーラ系 20で検出することができ、このように入力系統違いに応じて、上記所定の画像、音声特徴データ抽出処理を記録モードのときに自動的に行うか、記録終了後に行うかを決めるようにする、又はデジタル画像、音声データが入力する場合には、所定のエンコード処理系をデータが通らないことから所定のデータ構造解析処理を行う必要がな!、ので、記録終了後に行うようにすることができる。

記録モードにおいて、上記アナログ入力系かデジタル入力系は、ユーザ入力 IZF 系 21を介してユーザの所定操作によって設定することもできる。

また、図 17で、音声エンコーダ処理系 4又は音声 AZD変換処理系 3、映像ェンコーダ処理系 9又は画像 AZD変換処理系 8からの信号と、所定エンコード処理されたデジタル画像、音声データを直接システムコントローラ系 20で検出することで自動的に検出することちできる。

所定エンコードされたデジタルデータが検出され、音声エンコーダ系 4又は音声 A ZD変換処理系 3、映像エンコーダ処理系 9又は画像 AZD変換処理系 8でデータが検出されない場合は、所定エンコード処理されたデジタル画像、音声データが入力していると判定できる。

所定のエンコードされたデジタルデータが検出さないで、音声エンコーダ系 4又は音声 AZD変換処理系 3、映像エンコーダ処理系 9又は画像 AZD変換処理系 8からのデータがシステムコントローラ系 20で検出される場合は、アナログ入力と判定できる。

アナログ入力とエンコード処理されたデジタルデータが両方検出される場合は、例えば、受信系 2からのアナログ入力信号を初期設定 (デフォルト設定)として所定の記録処理を行うようにしてもょヽ。

上述の特徴抽出処理は、例えば画像の DCTデータなどを用いるので、所定のェンコード処理がなされる場合には、通常の記録処理のために行う DCT処理を特徴抽出処理として兼用することができる。音声の場合には、所定エンコード処理におけるサブバンド処理データを用いることを考えると、所定のエンコード処理がなされる場合には、通常の記録処理のために行うサブバンド処理を特徴抽出処理として兼用することができる。

上述のように、エンコード処理されたデジタルデータが直接入力する場合は、ェンコード処理を行う必要がな、ので、このデータを解析して DCTなどデータを取り出すことが必要になり、処理の負荷が生じることになる。

そこで、必要に応じて記録終了後に特徴抽出処理を行うようにする。その他、記録終了後に、特徴抽出処理を行う場合として、上記アナログ入力の場合でも、信号処理系の負荷の具合に応じて、所定の記録が終了したら自動的に行うようにしてもよい例えば、図 20に示すように、特徴抽出処理はソフトウェア処理で行うこともできるので、システムコントローラ系の性能によっては記録モードの各所定信号処理と同時に行うことができないので、所定の記録処理が終了して力行うようにする。また、システムコントローラ系 20は CPU、 DSP (デジタルシグナルプロセッサ）、その他各種プロセッサなどで構成することができるが、性能が高いほど高価なので上述のように処理能力に応じて、特徴抽出処理を記録処理と同時に行うか、終了後に行うかを決めるようにしてもよい。

上述の特徴抽出処理を行う所定記録モード終了後としては、例えば、所定のタイマ記録動作終了後や、通常、ユーザがその装置を動作させていないと想定できる夜中に、所定の特徴抽出処理を行うことがある。このような場合に、例えば、装置が動作している時刻をシステムコントローラ系 20内の所定メモリ手段により記憶して、所定の学習処理により、適宜、特徴抽出処理する時刻を自動設定したりすればよい。

また、記録再生など通常の動作させてヽな、時間がシステムコントローラ系 20で検出される場合には、その動作させていない間に上記所定の特徴抽出処理を行うことができる。その場合に所定のデータすべてが処理されない場合も想定される力処理途中の場所をシステムコントローラ系 20内の所定メモリ手段に記憶しておき、装置が記録再生など通常動作していないことを検出して、処理できる時間があると判定されたら、途中の続きから所定の信号処理を行うようにすればょ、。

2. 1. 2 再生側処理

(通常再生モード動作）

次に、図 17に示した記録再生装置 30における再生信号処理について説明する。まず、通常再生モードの動作について説明する。

入力 IZF系 21により、通常再生モードになると、記録媒体 7から所定の画像音声データ、特徴データなどが記録されている所定のデータが再生され再生処理系 12にお Vヽて所定の再生処理が行われる。

再生された所定のデータは、再生データ分離処理系 13にお、て所定のデータに分離処理され、音声データは音声デコード処理系 14に入力され、記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされ、その後、音声 DZA処理系 15に入力されて DZA変換処理された後、音声信号として出力される。

また、所定の分類処理された画像（映像)データは、映像デコード処理系 16において記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされた後、映像 DZA処理系 17に入力されて DZA変換処理が行われ、映像信号として出力される。

(要約再生 (ダイジェスト再生)モード）

要約再生モードを考える場合に、画像音声データとともに特徴データ、プレイリストデータが記録媒体に記録されているかどうかで信号処理方法が異なる。

特徴データとプレイリストデータが記録媒体に記録されているか否かは図 18のように整理することができる。まず、図 18A、図 18Bの場合に相当するプレイリストデータ（プレイリストデータファィル）、チヤプタデータが再生できる場合、すなわち、プレイリストデータ、チヤプタデータが所定の記録媒体 (データ記録媒体）に記録されており、要約再生モード時に再生、又は、チヤプタ表示モード時に所定チヤプタ画像がサムネール表示できる場合について説明する。

すなわち、ユーザが要約再生モード又は所定チヤプタモードを選択した場合について説明する。

ユーザの入力操作によりユーザ入力 I/F系 21を介して、システムコントローラ系 20 に所定の要約再生 (ダイジェスト再生)モードの動作を行うコマンドが入力された場合に、再生データ分離処理系 13で所定データ分離し特徴データ、また、パラメータデータゃプレイリストデータ、チヤプタデータなどが記録されている場合には、それぞれ分離された所定の特徴データ、所定のパラメータデータ、所定のプレイリストデータ、チヤプタデータなどがシステムコントローラ系 20に入力される。

再生データ分離処理系 13で特徴データ、ノラメータデータ、プレイリストデータ、チャプタデータが分離できな、場合には、上記のそれぞれのデータはシステムコント口ーラ系 20に入力されな、ので、再生データ分離処理系 13とシステムコントローラ系 2 0とにより特徴データ、プレイリストデータ、所定チヤプタデータ、パラメータデータなどが所定記録媒体 7に記録されている力否かの判定処理を行う。

プレイリストデータは、所定の要約再生を行うために、所定の幾つかの再生区間の再生開始情報データと再生終了情報データから構成されている。

チヤプタデータは所定特徴区間の先頭又はその近傍、又はその所定特徴区間の最後又はその近傍、その特徴区間に接続された特徴区間以外の区間の先頭又はその近傍、又はその特徴区間以外の区間の最後又はその近傍の位置情報力構成される。

システムコントローラ系 20では、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことで要約再生 (ダイジェスト再生）を行う。

また、所定チヤプタデータによりチヤプタ点又はその近傍における画像を所定サムネール画像として所定表示処理を表示処理系 27で行ヽ、所定の画像表示を行う。次に、図 18C、図 18Dに示す場合に相当するプレイリストデータ（プレイリストデータファイル）、チヤプタデータが再生できない場合、すなわち、プレイリストデータ、チヤプタデータが記録媒体又は記憶媒体に記録 (記憶）されておらず、要約再生モード時に再生できな、場合、所定チヤプタモード時にサムネール時点を所定サムネール表示、チヤプタ再生など一連のチヤプタ関連処理できな、場合にっ、て説明する。上述した放送番組などを受信した画像音声データでなぐ例えば、記録媒体 25を DVDソフトとし記録媒体処理系 26、再生処理系 12により再生する場合など他の記録媒体からの画像音声データを再生する場合や、特徴抽出して!/ヽな!ヽ画像音声データを再生する場合などは、ここで説明する処理に該当する。

プレイリストデータ又はチヤプタデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータ、チヤプタデータを生成し直したい場合は、再生検出された所定の特徴データとパラメータデータとから要約再生用プレイリストデータ、及び所定チヤプタ関連モード用チヤプタデータを生成することができる。

図 26Cに示す場合、すなわち、記録時に特徴抽出処理が行われており、特徴データが再生できる場合には、図 17に示した記録再生装置 30における再生処理系 12又は再生データ分離処理系 13からプレイリストデータ又は上記所定の特徴データがプレイリスト ·チヤプタ生成処理系 19に入力され、所定のプレイリストデータ又は所定のチヤプタデータが生成される。

ここで説明する動作の場合に、ユーザが要約再生モードのコマンドを行った場合に、図 19に示すようなプレイリストデータがなヽことを示す所定の表示を表示処理系 27 で行うようにしてもよい。

生成されたプレイリストデータは、システムコントローラ系 20に入力される。システムコントローラ系 20は、ユーザ入力による所定の要約再生時間に応じて、プレイリストデータに基づ、た所定の再生区間を順次再生 (スキップ再生)するように再生制御系 1 8をコントロールしその制御により記録媒体 7を再生制御する。

また、生成されたチヤプタデータはシステムコントローラ系 20に入力される。システムコントローラ系 20は、ユーザ入力による所定のチヤプタ関連動作モードに応じて、上記チヤプタデータに基づ、た所定のチヤプタ時点の画像サムネール表示、チヤプタ点のカットや接続などの編集処理、ユーザ選択したチヤプタ点のスキップ再生など、所定チヤプタ関連動作が行うことができるように再生制御系 18をコントロールし、その制御により記録媒体 7の再生制御を行ったり、システムコントローラ系 20を介した表示処理系 27の制御などを行う。

上述したように、例えば、 DVDなど外部記録媒体を記録媒体 25として要約再生する場合にも、上述の場合と同様の信号処理により行うことができ、再生制御系 18により記録媒体処理系 26を制御し、上述したような所定の要約再生処理を行う。

また、チヤプタデータを用いた編集処理 (編集操作)、所定のチヤプタ点間（又はその近傍)のスキップ再生、チヤプタ点（又はその近傍)のサムネール画像表示など、一連の所定チヤプタ関連動作を上記と同様の信号処理により行うことができ、再生制御系 18により記録媒体処理系 26を制御し、上記したような所定信号処理を行う。

さらに、図 16Dに示す特徴データが再生できない場合について説明する。

上述の例では特徴データ力もプレイリストデータ、チヤプタデータを生成する場合について説明したが、例えば、他のユーザが記録した外部記録媒体 25を記録媒体 A2 6にコピーしたような場合には、特徴データが再生できない場合がある。

記録媒体 7に放送番組などの画像音声データは記録されてヽるが、特徴データが記録されておらず、再生できな、場合にっヽて説明する。

ここで説明する動作の場合に、ユーザが要約再生モード又は上記所定チヤプタ関連動作モードのコマンドを行った場合に、図 19に示すような特徴データがないことを示す所定の表示を表示処理系 27で行うようにしてもょヽ。

この場合の要約再生モードで記録媒体 A7から画像音声データを再生する場合は、再生処理系 12で再生されたデータは再生データ分離処理系 13に入力され、分離された記録時に所定の帯域圧縮方式で処理されている画像データと音声データは特徴抽出処理系 10に入力され、画像特性データである DCT DC係数、 AC係数、動きベクトル (モーションベクトル)など、音声特性データである音声パワー検出その他など各種所定の特性データ検出処理などが行われる。

特徴抽出処理系 10では、さら〖こ、上述の各種画像音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ (テロップ区間判定データ）、人物特徴データその他の画像特徴データ (画像特徴区間判定データ)、及び話者音声特徴データ (話者音声判定データ)、拍手歓声特徴データ (拍手歓声判定データ)その他の音声特徴データ (音声特徴区間判定データ)の各種特徴抽出処理が行われる。上記各種の画像特徴データ及び音声特徴データは、システムコントローラ系 20に入力され、所定番組又は、所定の画像音声区間のすべてについて所定の特徴抽出処理が終了したら特徴抽出処理が終了したと判定される。

ここで、特徴抽出処理が終了した場合には、システムコントローラ系 20から所定の信号処理が終了したことを示す信号が表示処理系 27に入力され、例えば図 19に示すような所定の表示を行うようにしてもょ、。

次に、特徴データ力も所定のプレイリストデータ、チヤプタデータを生成する処理について説明する。

上述の特徴データは、所定の特徴抽出区間毎にメモリ系 11に蓄えられ、上記すベての所定特徴データの処理が終了したらプレイリスト ·チヤプタ生成処理系 19に入力され、所定のプレイリストデータ又はチヤプタデータが生成される。

ここで、特徴抽出処理系 10から直接プレイリスト'チヤプタ生成処理系 19に、所定区間の特徴抽出処理データを逐次入力するようにしてもよぐ上述したように所定のすべての区間や所定放送番組の特徴抽出処理が終了したら、システムコントローラ系 20からの所定の信号により、プレイリスト ·チヤプタ生成処理系 19で上述の如き所定のプレイリストデータ又はチヤプタデータ生成処理を行うようにしてもょ、。

また、特徴抽出処理系からの上記処理された特徴データは、システムコントローラ系 20を介してプレイリスト'チヤプタ生成処理系 19に入力するように信号処理を行うようにしてもよい。

プレイリスト'チヤプタ生成処理系 19で、所定のプレイリストデータ又はチヤプタデ一タが生成されると、所定の処理が終了したことを示す信号がシステムコントローラ系 2 0に入力され、所望の要約時間に応じた要約再生又は所定のチヤプタデータを用いた所定チヤプタ関連動作を行うことができる。

この場合に、図 19に示すように、プレイリストデータ又はチヤプタデータが生成できたことを示す所定の表示を行い、又は、要約再生モード、チヤプタ関連の所定動作モードであることなどの表示を表示処理系 27に行うようにする。

ユーザが要約再生を行う場合に、例えば記録した放送番組が 1時間であったとし、それを 30分で再生したいの力、 20分で再生したいのかなど、ユーザの所望する要約再生時間は分力ゝらなヽので、記録した放送番組など画像音声データの特徴抽出した全区間の全時間長に応じて、あら力じめ幾つかの要約時間に対応するプレイリストデータを生成することを考えることができる。

例えば、特徴抽出する放送番組の記録時間が 1時間であったら、 40分、 30分、 20 分の要約再生を行う、それぞれのプレイリストデータを生成する。このようにプレイリストデータを生成することで、リモコン 22などのユーザ入力で要約時間が選択された場合に、すぐに所定の要約時間に対応した要約再生動作を行うことができる。

記録媒体 25を再生する場合については、上記記録媒体 A7を再生する場合と同様で、記録媒体処理系 26により記録媒体 25を検出し、再生処理系 12により再生信号処理し、再生データ分離処理系 13において所定の画像音声データを分離する。その後の信号処理は上記の記録媒体 7の場合と同様なので省略する。

ここで、上述した一連の処理を実行する制御プログラムは、専用のハードウェアに組み込まれて、るコンピュータ又は各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

この記録媒体は、制御プログラムが記録されているハードディスクだけではなぐコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスクもしくは半導体メモリなどよりなるパッケージメディアにより構成される。

2. 2 ブロック構成例 2

ここで、図 17に示した記録再生装置 30の他の例として図 20に示す例を挙げて説明する。

放送番組を記録再生処理する信号処理の過程は、図 17に示した記録再生装置 3 0と同様なので、信号処理の異なる部分について説明する。 2. 2. 1 記録側信号処理

この図 20に示す記録再生装置 30Aにおいて上述の記録再生装置 30と異なるのは、記録モードにおいて特徴抽出処理を行う一連の信号処理をシステムコントローラ系 20においてソフトウェア的に行うことである。

この記録再生装置 30Aでは、ネットワーク系 24により、所定のソフトウェアをダウン口ードして、説明するようなソフトウェア処理による、特徴抽出処理、プレイリスト処理 (チャプタ生成処理 (再生区間、再生時点位置情報生成処理) )などが行われる。

ソフトウェアによるダウンロードでは、例えば、本発明の処理が搭載されていない装置が、最初力もあった場合に、時間をおいて後力もソフト的に本発明を適用できる利点があり、例えば、製造販売などの時間的に間に合わない場合には、設計、製造側においては、本発明を適用しない簡単な構成のシステムと、後述する本発明を適用したシステムの両方のシステムをユーザに提供できる。

ユーザ側では、本発明を適用しない簡単な構成のシステムを購入した後で、ソフト的な処理で、本発明を適用できるので、後から機能を追加できるなどの利点がある。また、処理系を修正、改良するなどの場合にもソフトをダウンロードしてアップグレードすることで、対応できる利点がある。

本発明をソフトウェアのダウンロードで装備する場合は、ユーザは所定の操作系（リモコン 22など)で、所定のインターネットサイトにネットワーク系 24を介して接続し、所定の操作系による操作で本発明のソフトウェアをダウンロードする。

ダウンロードされた本発明のソフトウェアは、システムコントローラ系 20で、所定の解凍処理、インストール処理などが行われ、後で説明する、特徴抽出処理、プレイリスト処理、チヤプタ処理ほか、本発明の所定の処理機能が装備される。

システムコントローラ系 20として、所定性能を備えたマイクロプロセッサ（MPU、又は CPU)を用 Vヽることで上述した所定の特徴抽出処理を所定の記録処理と同時に行うことができる。

上述したメモリ系 11も、このシステムコントローラ系 20内に備えられた所定のデータ記憶メモリを用いることができる。

ここで、上述したように所定の記録処理として、所定の画像音声の帯域圧縮を行う場合に、上述のような所定の性能を備えた MPU又は CPU、又は DSP (デジタル 'シグナルプロセッサ）を用いることができ、この帯域圧縮処理を行っている同じ MPU又は CPU、又は DSPで上記所定の特徴抽出処理、プレイリスト生成処理などを行うことができる。

2. 2. 2 再生側信号処理

この図 20に示す記録再生装置 30Aにおいて上述の記録再生装置 30と異なるのは、再生モードにおいて、特徴データが検出できず特徴抽出処理を行う場合に、一連の信号処理をシステムコントローラ系 20においてソフトウェア的に行うことである。システムコントローラ系 20として、所定性能を備えたマイクロプロセッサ（MPU、又は CPU)を用 Vヽることで上述した所定の特徴抽出処理を所定の記録処理と同時に行うことができる。

(3)特徴抽出処理

次に、音声系特徴抽出処理及び映像 (画像)系特徴抽出処理の各信号処理について説明する。

3. 1 音声系特徴抽出処理

音声系特徴抽出処理系では、図 21に示すように、 MPEGの画像音声ストリームデ一タカストリーム分離系 100に入力され、分離された音声データは音声データデコード系 101に入力され所定のデコード処理が行われる。

デコードされた音声データ（音声信号）はレベル処理系 102、データカウンタ系 103 、データバッファ系 104に各々入力され、レベル処理系 102では、音声データの所定区間の平均パワー（又は平均レベル） Pavを演算するため、データの絶対値化処理を行い、データカウンタ系 103で所定サンプルデータ数まで計測されるまで、音声データ積算処理系 105で積算処理を行う。

ここで、平均パワー Pavは、音声データの値（レベル）を Ad (n)として以下の（32)式の演算により求めることができる。

[数 2]

•••(32)

平均レベルを演算する所定区間として、例えば、約 0. Olsec (10msec)〜lsecが考えられ、例えば、サンプリング周波数 Fsを Fs=48KHzとすると、 480〜48000サンプルの積算演算行!、、サンプル数 Smで平均処理を行って平均レベル（平均パヮ一) Pav 永める。

音声データ積算処理系 105から出力されたデータ Pavは、判定処理系 106に入力され、 L ヽ値設定系 107で設定された所定しきヽ値 Athと比較処理され無音判定処理が行われる。

ここで、しきい値設定系 107における所定しきい値 Athの設定において、 Athは固定値 AthOとして設定することが考えられる力固定値 AthOの他に、所定音声区間の平均レベルに応じた変動しきい値 Athmを設定することも考えられる。

変動しきい値 Athmとして、例えば、今処理を考えている区間を nとし、それより前の区間（n— k)の平均レベル Pav (n— k)を考え、次の（33)式のようにすることが考えられる。

[数 3]

Athm Pav(n-k)/m {t≤m )

•••(33)

例えば、 t= 2として、

Athm= (Pav(n- l) + Pav(n- 2) ) /m · · · (34)

例えば、 mは、おおよそ 2〜20くらいの範囲に設定する。

(その他の音声特徴抽出処理）

データバッファ系 104に蓄積された所定音声データは、周波数解析処理系 108に入力され、所定の周波数解析処理が行われる。ここで、周波数解析処理として FFT (高速フーリエ変換)などが考えられ、データバッファ系 104からのデータの所定解析サンプルデータ数は、例えば、 512、 1024、 2 048、その他、など 2のべき乗の所定サンプル数で所定の解析処理を行う。

周波数解析処理系 108からの信号 (データ）は、判定処理系 109に入力され、所定の判定処理が行われる。

音楽 (楽音)の判別処理は、所定周波数帯域のスペクトルピークの継続性力行うことがでさる。

例えば、特開 2002— 116784号公報などにはそれらの技術が開示されている。話者音声の判定では、人の会話音声波形で息継ぎの区間があるので、波形に所定の急峻な対上がり、又は立下り区間がみられ、その所定立ち上がり、又は立下り区間を検出することで所定の信号処理を行うことができる。

この場合に、上記音楽 (楽音)信号波形の場合は話者音声の場合に比べて、一般的に波形の立ち上がり、又は立下り区間が現れる確率は小さいと考えられるので、この楽音 (音楽)波形の特性 (特徴)も考慮して、総合的に音声信号の属性判定を行うようにする。

上述のような、話者音声信号の波形特徴 (波形特性)、音楽 (楽音)信号の波形特徴 (波形特性)の相違力も音声信号の属性判定を行う場合に、波形における時間的な物理特性を検出することになるので、上述したような周波数解析を行って力も所定の判定信号処理を行う方法 (周波数領域での信号解析、判定処理)の他に、ベースバンド領域で所定の判定処理を行う方法 (時間領域での信号解析、判定処理)を用いることがでさる。

ここで、音声信号 (音声データ)をデコード処理しないで、圧縮帯域のままで信号の属性解析を行う場合の音声系特徴抽出処理系の構成例を図 22に示す。

図 22に示す音声系特徴抽出処理系では、所定の帯域圧縮信号処理が施されたデータストリーム、例えば、 MPEGなどの画像音声データがストリーム分離系 100に入力されて画像データと音声データに分離され、音声データはストリームデータ解析系 110に入力され、所定のサンプリング周波数、量子化ビット数その他などの信号解析処理が行われ、所定の音声データはサブバンド解析処理系 111に入力される。サブバンド解析処理系 111で所定のサブバンド解析処理が行われ所定サブバンド帯域のデータは上記（32)式〜（34)式で説明したのと同様の所定信号処理が行われる。

すなわち、音声データ積算処理系 105に入力され、データカウント系 103で所定のサンプリングデータ数が検出されるまで所定の積算処理が行われ、その後、しきい値設定系 107で設定される所定しき、値に基づ、て判定処理系 106で所定の無音判定処理が行われる。

この無音判定処理では、音声データのスペクトルを考慮して、エネルギが多く集まつている帯域で、サブバンド帯域としては大よそ 3KHz以下の所定データ帯域を用いることがでさる。

また、周波数解析により楽音 (音楽)、話者音声の判定処理が行えることを述べたが、サブバンド解析処理系 111の処理により、この信号処理系で所定の周波数解析が行われることと同様であるので、上述したような所定スペクトルピークの継続性判定処理を行うことで属性判定の信号処理を行うことができる。

この場合、スペクトルピークは、各所定サブバンド帯域の中の最大データ帯域であるので、 FFT解析処理の場合と同様の信号処理を行うことができる。

3. 2 画像系特徴

次に映像 (画像)系の特徴抽出処理について説明する。

映像系特徴抽出処理系では、図 23に示すように、ストリーム分離系で所定の分離処理が行われた画像データは、ストリームデータ解析系 200に入力され、レート検出、画素数検出その他など所定のデータ解析が行われ、 DCT係数処理系 201で DCT の DC係数検出、 AC係数検出など所定の DCT演算処理 (逆 DCT演算処理)が行われ、この DCT係数処理系 201の出力に基づいて、シーンチェンジ検出処理系 202、色特徴検出処理系 203、類似画像検出処理系 204、人物検出処理系 205及びテロップ検出判定処理系 206における各種処理が行われ、動きベクトル処理系 208では、所定の動きベクトル検出処理が行われる。

3. 2. 1 シーンチェンジ特徴

シーンチェンジ検出処理系 202では、例えば、所定画面領域に分割しその領域毎に DCTの DC係数データの Y (輝度データ）、 Cb、 Cr (色差データ）の平均値を演算してフレーム間差分演算又は、フィールド間差分演算をその領域毎に行い、所定しきい値と比較して、所定のシーンチェンジ検出を行う。

シーンチェンジがない場合は、各領域のフレーム間（又はフィールド)差分データは所定しきい値より小さぐシーンチェンジがあるとしきい値より差分データが大きくなる場合が検出できる。

ここで、画面分割の領域は、例えば、図 24に示すように有効画面を 16分割するような領域とする。

演算する画面分割の方法は図 24の場合に限らず、分割数を多くすることも、少なくすることもできるが、少な過ぎるとシーンチェンジの検出精度が鈍感になり、分割数が多いと精度が鋭過ぎることが考えられるので、およそ 256 (16 X 16)以下の範囲の間で適当な所定の分割数を設定する。

3. 2. 2 色 (カラー）特徴

色特徴検出処理系 203では、 DCTの DC係数の、所定領域における Y、 Cb、 Crデータの平均値力も色特徴を検出することができる。

所定領域としては、例えば、図 25に示すような領域とすることができる。この図 25では、有効画面を横方向に 4分割し検出領域 1〜検出領域 4、縦方向に 4分割して検出領域 5〜検出領域 8を設けている。各検出領域には領域 IDが付され、各検出領域のデータは領域 IDによって識別される。

ここで、場合に応じて横方向だけの検出領域 1〜4、又は縦方向だけの検出領域 5 〜8を設けるようにする。

また、図 25のような領域分割以外にも、 5 X 5や、 6 X 6といった碁盤状の分割方法とすることちでさる。

例えば、放送番組で番組ジャンルとして「相撲」の場合を想定した場合に、図 25の検出領域 3領域で茶色が検出できる場合は「土俵のシーン」の確率が高、と想定できる。

この色特徴と例えば、音声の属性特徴と組み合わせると、「土俵のシーン」 +「音声属性その他 (又は話者音声)」から「取組みが開始するシーン」の確率が高、想定できるので、このようなシーン区間がキーフレーム区間と設定できる。

この場合には、取組み開始シーンでは観客の歓声などで音声レベルが大きくなつたり、通常の状態とは異なる音声周波数帯域のデータが検出されることになるので、音声レベルや、所定の周波数領域データも特徴データとすることができる。

3. 2. 3 類似シーン (類似画像)特徴

類似画像検出処理系 204では、類似シーン (類似画像、類似映像)毎に、所定の I D (識別番号、又は識別記号)をその画像 (シーン）に付与 (付加）（又は、割り当て）する処理で、類似画像 (シーン）には同一 IDが付与 (割り当て)処理される。例えば、特開 2002— 344872号公報にその技術が開示されている。

この付加 (付与)する処理はその画像 (シーン)又は画像 (シーン)の位置情報 (フレーム番号、 PTS、記録時刻など）と一対一に対応するメモリにその IDを記録するもので、その画像を表示又はその画像カゝら再生するなどの動作を行う場合に、その画像（シーン)の位置情報と IDは一対一に対応しており、画像 (シーン）自体とその位置情報も言うまでもなく一対一に対応しているので、例えば、同一 IDの画像を表示するなど類似画像分類や同一 IDの画像シーンの時点をスキップ再生するなど、 IDを利用する色々な所定動作を行うことができる。

この特徴データとしては、上述のシーン IDについて説明したように、検出頻度の 1 位、 2位などの検出出現順位とすることができる。

また、図 7に示すような、その PU区間長に対するその出現順位 1位、 2位など、検出した IDの検出長の割合とすることもできる。

この特徴抽出処理は、例えば、画面を複数分割（例えば、 25分割）して、その各分割した画面領域に対応する領域の DCTの平均 DC係数を演算して、その演算した平均 DC係数をベクトル成分として、所定ベクトル距離が所定しき!、値より小さ!/、所に対応する画像 (シーン)を類似画像 (類似シーン)とし、類似画像 (類似シーン)には、同一の所定 ID (シーン ID)を割り当てる処理である。

例えば、 IDとして、初期値を 1とし、上記所定しきい値より小さい画像 (シーン）が検出されない場合は、 IDの最大値に 1を加算したものを新たな IDとして、その画像 (シーン）に割り当てる。本発明における、この特徴データの利用方法として、図 5を参照して説明したように、所定区間での IDの出現頻度を演算して、頻度 1位〜 2位の検出を行うなどの処理方法がある。

これは、例えば-ユース番組を想定した場合に、アナウンサーシーンが頻繁に出現する場合や、相撲、野球など、類似シーンの出現が多く見込めるような番組ジャンルでは、有効な処理に用いることができる。すなわち、ニュース番組で出現頻度 1位や 2 位では、出現頻度の高いと想定できるアナウンサーシーンが検出できる確率が高いと考えられる。

図 26は、 IDの出現頻度の演算方法を説明するための概要を示すもので、例えば、区間 fl〜f2、 f3〜f4、 f5〜f6、 f7〜f8の 4区間で同一 IDである ID1が検出されている。すなわち、この区間では、類似したシーンが出現している。

図 26に示すように、所定区間同じ IDが連続している区間を 1つとして数え、そのような区間が幾つある力を演算する。

類似シーンが出現しなくなると同一 IDではなくなるので、 IDの連続性、不連続性の数を演算することで所定の頻度を算出することも考えられる。

3. 2. 4 人物特徴

人物検出処理系 205では、図 27に示すように画面の領域を分割し、各領域における所定の特定色を検出することで、人物が画面に現れているかを判定することができる。

図 27に示した例では、有効画面を 2 X 2に分割した領域 1〜4の 4つの領域と、画面中央付近の領域 5の 5つの領域としている。

例えば、ニュース番組では、領域 5にアナウンサーの顔が出現する場合の確率が高い。ことが考えられる。

また、フリップ又はテロップとアナウンサーシーンが出現する場合を想定すると、領域 1又は領域 2にアナウンサーの顔が出現する場合がある。その場合に領域 2又は領域 1にフリップ又はテロップが出現すると想定できる。

例えば、特定色として白人の肌色を想定すると、以下の条件式により特定色を検出することが実験力分力つて、る。 0.6<Cb/Cr<0.9〜0.97 ··· (35)

(0≤Cb≤255, 0≤Cr≤255) · · · (36)

以下に説明するように、図 27に示した領域における特定色の検出による方法と別の方法を用いることができる。

ここでは、簡単のため画面サイズを 720X480とする。

(処理 1)

色信号 (Cb, Cr)からの検出条件（白人系肌色条件) DCT係数 Cb、 Crの DC成分においてマクロブロックは 16X16で、 X方向は 720Z16=45で、（0〜44)、y方向は 480Z16 = 30で、（0〜29)毎に以下の（3.2.3)式に示す判定条件でデータポイントを検出する。場合によっては、 x、 y方向各々 1Z2に圧縮して X方向 0〜22、 y 方向 0〜14として処理する。ここで、 0≤Cb≤255、 0≤Cr≤255である。

0.6く CbZCrく 0.9〜0.97 …（37)

ここで、例えば、 8ビットシフト（128倍)して以下の（38)式のような判定条件とすることちでさる。

77< (Cb<<8/Cr)<115~124 · · · (38)

(処理 2)

輝度信号 AC係数からの検出条件 (人物、顔などの輪郭部検出条件)上述の (37) 式や（38)式にして示される判定条件にお!、て、所定しき!、値 Athより大き、データを x、 y方向毎に検出する。

xh(x) >Ath ··· (39)

yh(y)>Ath - - - (40)

場合によっては検出データから共分散処理を行う。

例えば、図 28に示すように、參の部分が検出点で例えば以下のようになる。

xh(0)= 0 yh(0)=0

xh(l)= 2 yh(l)=0

xh(2)= 2 yh(2)=3 (処理 3)

検出物の大きさの正当性の検出条件を考え、 xh(x)、 yh(y)の検出で、所定しきい値 Hthより大きヽ検出データ点

xh(x) >Hth ··· (41)

yh(y)>Hth - - - (42)

で、 X方向、 y方向毎に所定しきい値数 Lthより大きいデータ

xl(n) >Lth - - - (43)

yl(m) >Lth …（44)

の継続長を検出する。

例えば図 28に示す場合では、 Hth=2で

xh(x) >2

y (y)>2

の検出点が継続している部分の継続長は、

xl(0)=6

xl(l)=l

yl(0)=7

と検出され、例えば、 Lth=3とすると、 xl(0)、 yl(O)がここの処理での検出データとなる。

(処理 4)

人物の顔として、形状の正当性の検出条件をみる。検出された、 xl(n)、 yl(m)の各々についてその、差分又は比が所定範囲（0〜Dth又は ethl〜eth2)のデータを検出する。

I xl (n) -yl (m) | < Dth ... (45)

又は

ethl < xl (n) /yl (m) < eth2 · · · (46)

図 28の例では、 xl(O)、 yl(O)について演算を行う。ここで、人物の顔の形状を考え、顔を 4角形で近似すると仮定し、縦横比を演算する。

例えば、

0.8<xl(n)/yl(m)<l.5 …（47)

を検出条件と仮定すると、

yl(0)/xl(0)=l.2 - - - (48)

で、図 28の xl(0)、 yl(O)の領域の物体は人物の顔の確率が高いと判定できる。ここで、（3.2.4)の人物特徴を抽出するようなビットシフト処理を用いることができる上述の（処理 1)〜（処理 4)の検出条件の他、以下の（処理 5)のような検出データの継続性判定を行うことができる。

(処理 5)

検出形状の時間 «続性の条件を与える。

(継続性判定方法 5.1)

場合によっては、上述の（処理 1)〜（処理 4)の検出の時間継続性 (検出の安定性）を判定するようにする。

例えば、（48)式カもピクチャ Nでの検出値 S (N)を

S(N)=yl(0)/xl(0) - - - (49)

とし、 S(N+1)、 S(N + 2)などを検出して継続性の判定を行うようにする。

例えば、

0.8<S(N) <1.5 …（50)

0.8<S(N+1)<1.5 …（51)

0.8<S(N + 2)<1.5 ··· (52)

と 3ピクチャ継続した場合に検出したと判定する。

ここで、検出処理を行うピクチャは、 Iピクチャを用いることができる。

(継続性判定方法 5.2)

その他の方法として、上述の（処理 1)〜（処理 3)の検出値のいずれか、又は幾つかをピクチャ Nでの検出データとして、 N+l、 N+2、 N + 3と継続検出できるかを判定するようにしてちょい。

例えば、フレーム Nでの検出値を

Col(N) = (Cb<<8)/Cr · · · (53)

とし、

77<Col(N) <115 - - - (54)

77<Col(N+l)<115 …（55)

77<Col(N+2)<115 · · · (56)

のように、 3つの Iピクチャを継続して検出できたかを判定し、次の検出処理に移行するようにする。

また、検出された N〜(N + 2)ピクチャのデータの平均値を演算し、条件判定するようにしてもよい。

すなわち、検出された 3ピクチャデータの平均値を AvColとし、

AvCol= (Col(N) +Col(N+l) +Col(N + 2))/3

•••(57)

77<AvCol<115 · · · (58)

を判定処理することができる。

(継続性判定方法 5.3)

上記（39)式、（40)式により、それらをピクチャ Nでの検出値 xh(N) (x)、 yh(N) ( y)として、 N+l、 N + 2などのピクチャでの検出判定の継続性をみることができる。すなわち、

xh(N) (X) >Ath …（59)

xh(NH -1) (x) >Ath • · · (60)

xh(NH -2) (x) >Ath …（61)

y (N) (y) >Ath …（62)

yh(N— - 1) (y) >Ath …（63)

yh(N— -2) (y) >Ath • · · (64)

のように、 3つの Iピクチャが継続して検出できたかを判定し、次の検出処理に移行するようにする。また、検出された N〜(N + 2)ピクチャのデータの平均値を演算し、条件判定するようにしてもよい。

すなわち、検出された 3ピクチャデータの平均値を Avxh及び Avyhとし、

Avxh=(xh(N) (x)+xh(N+l) (x)+xh(N + 2) (x))/3

•••(65)

Avyh= (yh(N) (y) +yh(N+l) (y) +yh(N + 2) (y))/3

··· (66)式

Avxh>Ath ··· (67)

Avyh>Ath …（68)

を判定処理するようにしてもょヽ。

(継続性判定方法 5.4)

上記 (43)式、（44)式により、それらをピクチャ Nでの検出値 xl(N) (x)、 yl(N) (y) として、 N+l、 N + 2などのピクチャでの検出判定の «続性をみるようにしてもよい。すなわち、

xl(N)(x) >Lth ··· (69)

xl(N+l) (x) >Lth - - - (70)

xl(N + 2) (x) >Lth ··· (71)

yl(N) (y) >Lth ·'·(72)

yl(N+l) (y)>Lth · · · (73)

yl(N+2) (y)>Lth · · · (74)

のように、 31ピクチャ継続して検出できたかを判定し、次の検出処理に移行するようにしてちよい。

すなわち、検出された 3ピクチャデータの平均値を Avxl及び Avylとし、

Avxl=(xl(N) (x)+xl(N+l) (x)+xl(N + 2) (x))/3

•••(75)

Avyl= (yl(N) (y) +yl(N+l) (y) +yl(N + 2) (y))/3 •••(76)

Avxl>Lth ··· (77)

Avyl>Lth ··· (78)

を判定処理するようにしてもょヽ。

(人物数検出の基本的な処理方法の概要）

ここで、人物数の検出判定を説明する。

(人数判定方法 5.1B)

例えば、図 29の場合、 X方向の所定しきい値以上のデータ xl(0)、 xl(l)の 2個が検出され、 y方向は yl(O)の 1個が検出されていると仮定する。

ここで、 xl(O)と yl(O)とで特定される領域 1と、 xl(l)と yl(O)とで特定される領域 2 のデータ密度を説明する。

領域 1について、領域の全データポイント S1は、

Sl=xl(0) Xyl(O)

=20 ··· (79)

所定しき、値より大き、データ数は、

∑xh(x)=17 - - - (80)

データ密度 Δ 1、すなわち単位データポイント当たりのデータ数 Δ 1は、

Δ1 = 0.85 …（81)

ここで、領域 1がすべてしきい値より大きいデータが検出された場合はデータ密度は Δ 1 = 1になる。そこで、所定しき!、値 Mthを設定し、

Al>Mth ··· (82)

を判定する。

同様に領域 2について、領域の全データポイント S2は、

S2=xl(l) Xyl(O)

=25 ··· (83)

となる。所定しきい値より大きいデータ数は、

∑xh(x)=21 - - - (84)

となる。データ密度 Δ 2は、 Δ2 = 0. 84 …（85)

となる。

ここで、例えばしきい値 Mthを

Mth=0. 80 ··· (86)

と仮定すると、（81)式、（85)式から領域 1及び領域 2は条件を満たし、人物が検出されたとする確率が高、と判定される。

ここで、 X方向について、 xl(O) +X1(1)と yl(O)で特定される領域 Stは、全データポイント数が、

(xl(0)+xl(D) Xyl(0)=45 · · · (87)

となる。検出データ数は

∑xh(x) =17 + 21

=38 ··· (88)

となる。データ密度は Δは

Δ=8. 4 ··· (89)

となる。

ここで、領域 Stについても

Δ >Mth ··· (90)

であるので、領域 1と領域 2は、同じ y方向の位置に人物が検出されると判定される。 (その他の人数検出例 1 (領域が重なっている場合)）

図 30に示す例にぉ、ては、 X方向に xl (0)の 1個が検出され、 y方向に yl (0)の 1個が検出されている。

xl (0)と yl (0)で特定される領域 Rにつ!/、て全データポイント Srは

Sr=xl(0) Xhl(O)

=90 ··· (91)

となる。検出データ数は、

∑xh(x)=44 ··· (92)

データ密度 Δι:は、

ΔΓ=0.49 …（93) となる。

ここで、

Ar<Mth

なので、領域 Rには、 1つの人物は検出されるとは判定できない。

データ密度の逆数は、

であり、物体が 2つある可能性がある力図 31のようにデータがまばらな状態に存在する場合にもデータ密度は同じになる場合がある。

図 30について、 y方向の分散 σをみる。

yh(y)の平均値を yhav、データ数 mとして

m =yl(0) - - - (94)

σ y= (∑、yh、y)— yhav) 2) z m

= 2. 32 ··· (95)

となる。 x方向については、平均値を xhavデータ数 nとして

n =xl(0) ··· (96)

σχ= (∑ (xh(x)-xhav)"2) /n

= 1.04 ··· (97)

となる。

次に、図 37について、同様に y方向、 X方向の分散は、

σγ=0. 99 …（98)

σχ=0. 64 …（99)

となる。

上述の結果から、図 36の方がデータの分散値が大き、ことが分かる。

そこで、分散値に対して所定しきい値 Bth、検出物数に応じたしきい値 dl, d2を設定し、以下のような条件を判定し、検出物数を検出することができる。

ay>Bth …（100)

ax>Bth ··· (101)

dl<l/A<d2 ··· (102) 例えば、図 36の例では、

Bth=2.0 ··· (103)

dl =1.8 ··· (104)

d2 =2.3 …（105)

のように、しき、値を設定して判定することができる。

(その他の検出例 2 (領域が対角的に離れている場合)）

図 32の例では、 X方向に xl(0)、xl(l)の 2個が検出され、 y方向に yl(0)、yl(l)の 2個が検出されている。

xl (0)と yl (0)で特定される領域 ROOにつ!/、て全データポイント S00は

S00=xl(0) Xhl(O)

=20 ··· (106)

検出データ数は、

∑xh(x)=17 ··· (107)

データ密度 Δι:は、

Δ00 = 0.85 ··· (108)

ここで、上記（3.2.52)から

Mth=0.80

としたので、

Δ00> Mth ··· (109)

であり、領域 R00には、 1つの人物が検出される確率は高いと判定される。

次に、 xl(0)と (yl(0) +yl(l))で特定される領域 Raについて全データポイント Sa は

Sa = xl(0) X (yl(0)+yl(l))

=40 ··· (110)

となる。全検出データ数は、（107)式から

∑xh(x)=17 ··· (111)

であり、データ密度 Δ aは、

Aa= 17/40 = 0.43 ··· (112)

となる。これは、しきい値条件を満たしていない。

すなわち、今、 xl(O)と (yl(O) +yl(l))を考えているので、仮に、 Δ aが所定しきい値より大き、とすると、 2つの人物が検出される確率は高、と判定される。

しかし、（112)式から Δ aは、所定しき!、値以下なので、 xl (0)と (yl (0) +yl(l) )で特定される領域には、 2つの人物は検出されるとは判定できず、（109)式とから、 1つの人物が検出されると判定することができる。

すなわち、 xl(O)と yl(l)と特定される領域には人物が検出される確立は低いと判定される。

同様に、 xl(l)と (yl(O) +yl(l))とで特定される領域 Rbについて、全データ数は ∑xh(x)=17 ··· (113)

となる。全データポイント数 Sbは、

Sb=xl(l)(yl(0)+yl(l))

= 40 ··· (114)

となる。データ密度 Abは、

Ab = 17/40

= 0.43 ··· (115)

となる。

この（115)式力領域 Rbには 2つの人物が検出される確率は低いことになる。ここで、 xl(l)と yl(O)で特定される領域のデータ密度 Δ 10は、検出データ数が ∑xh(x)=17

であり、全データポイント数が

xl(l) Xyl(0)=20

なので、

Δ 10= 17/20

= 0.85 ··· (116)

xl(l)と yl (1)とで特定される領域のデータ密度 Δ 11につヽても同様に

Δ11 = 0.85 ··· (117) となる。

上記（115)式〜（117)式から、領域 10か領域 11のいずれかは人物が検出される確率は低いことになる。

次に、 (xl(O) +xl(l))と yl(O)で特定される領域 Rcのデータ密度について考える。検出データ数は、

∑yh(y)=17

全データポイント数は

(xl(0)+xl(l)) Xyl(0)=40

よって、データ密度 Acは、

Ac = 17/40

= 0.43 ··· (118)

これは、上述の所定しきい値 Mth以下なので、領域 Rcは 2つの人物が検出される確率は低ぐ（109)式及び（115)式〜（117)式などから、結局、人物が検出されるのは、 xl(0)と yl(0)で特定される領域、 1(1)と 1(1)で特定される領域の2っとなる以上のような判定処理により、人物数検出を行うことができる。

(その他の人検出処理方法（方式 2))

その他の方法として、 X方向（0〜44)及び y方向（0〜29)に対して順次、所定しきい値条件を満たすかを判定して人物検出を行うことができる。

データ系列を _d(x) (y)として、上記（37)式、（41)式及び (42)式の条件を満たすデータ系列を検出していき、例えば、

d(xl) (yl), d(x2) (yl)

d(xl) (y2), d(x2) (y2)

このように、 x方向と y方向で連続して検出されたとすれば、検出物の大きさと、位置も同時に分力ることになる。

この方法では全データを 1つずつ検出し、系列データの連続性の判定を行うなどのため、演算時間が上述の（方式 1)に比較して多くかかる。

この手法を行う場合には、例えば、 X方向及び、 y方向にデータを 1Z2に圧縮してデータ処理数を減らして力行うようにする。

(その他の人検出処理方法 (方式 3) )

上述の (方式 2)と類似の他の手法として、人物を 4角形で近似し、 4角形の大きさを順次変えて、その 4角形の領域のデータが所定の条件を満たすかを判定することにより人物の検出を行うようにすることができる。

例えば、図 33のように（2 X 2)、（3 X 3)、（4 X 4)の 4角形の領域を設定する。上述のような大きさの異なる 4角形の領域を順次小さい 4角形から 1データずつ移動させ、その領域内のデータが条件を満たす力判定していき、すべての領域で判定が終了したら、次の大きさの 4角形についても同様に処理を行う。

すべての大きさの 4角形について、処理が終了した時点で、検出領域と、検出個数が分力るが、上述の（方式 2)同様処理時間を要することになる。

3. 2. 5 テロップ特徴

テロップ検出判定処理系 206では、図 25に示すような画面の領域における DCTの AC係数の平均値を検出する。

所定領域における画面内で、所定の大きさの文字情報を含むテロップは比較的、輪郭がはっきりしており、図 25のいずれかの領域にテロップ画像が現れた場合に、所定しきい値以上の AC係数が検出でき、これによりテロップ検出を行うことができる。上述のように DCTの AC係数を検出する方法の他に、ベースバンド領域（時間領域の信号)でエッジ検出する方法を用いることができ、例えば、画像の輝度データのフレーム間差分によりエッジを検出するようにする。

また、ウェーブレット変換により、多重解像度解析を行い、所定の高周波成分データを含む所定の多重解析度領域におけるデータを用いて、図 25に対応する領域の平均値を演算するようにして DCTの AC係数を用いる場合と同様の信号を行う。テロップは、フリップの用に淡色領域とは限らず、例えば、ニュース映像の下部に出現する文字情報であり、出現領域は、おおむね、番組ジャンルにもよる力画面の下部、上部、又は左側際、右側際などの場合の可能性が大きい。

テロップ特徴と、フリップ特徴をまとめて、文字特徴とすることも考えられる。

3. 2. 6 カメラ特徴カメラ特徴判定処理系 209では、ズーム、パンその他などのカメラ動作に関する特徴で、例えば、特開 2003— 298981号公報に開示されているように、 MPEGの場合には、 Pピクチャのモーションベクトル（動きベクトル）を用いて判定することができる。その他に例えば、特表 2002— 535894号公報にカメラ特徴に関する技術が開示されている。

(4)再生ユニット（プレイユニット）処理

ここで、要約再生 (ダイジェスト再生）は、所定の信号処理による音声系特徴データ、映像系特徴データの各特徴データを用いて所定の信号処理により、所定区間内において幾つ力の重要再生区間 (キーフレーム区間）を選定 (選択)して、その各区間を逐次、スキップ再生するようにすることができる。

スキップ再生を行う場合に、例えば、話者音声区間の途中で、スキップすると、画面上は見ていてあまり違和感がない場合でも、音声の途中で途切れる場合にユーザによっては聴感上で違和感を生じる場合が想定されるので、所定音声レベル (音量)以下の区間を無音区間と設定し、その区間内の所定の時点をスキップ時点の候補とする。

また、映像のシーンチェンジは、放送番組、映画その他の映像再生では、話題の区切りの時点とみられるので、シーンチェンジ点、又はその近傍をスキップ時点の候補とすることちでさる。

上述のことから、所定音声信号における所定無音区間と所定映像信号のシーンチェンジ時点又はその近傍の所定時点に応じてスキップ再生時点、スキップ再生区間を捉えることができる。

ここでは、上述のような観点から、（スキップ再生時点間（又はその区間））を、便宜上、所定の再生単位（以下再生ユニット又はプレイユニット Play Unit (又は PU) )を設定して処理を行う。

このように設定された再生ユニット (PU)における所定の画像系特徴データ、所定の音声系特徴データが所定処理され、それら映像、音声特徴データと要約再生時間に応じて所定の要約再生 (ダイジェスト再生）区間が設定され、所定の要約再生モードでスキップ再生を行うことで所定の要約再生が実行される。また、上述のような要約再生を行うだけでなぐ所定の信号処理により設定された P uの最初 (又はその近傍)又は最後（又はその近傍)の時点にチヤプタ (又は編集点

、又は再生区切り点）を設定することもできる。

すなわち、上述したようなチヤプタを設定することで、そのチヤプタ点を所定の信号処理によりサムネール表示を行うことや、ユーザがそのサムネール表示を見て編集を行うなどの操作を行うことができる。

次に、再生ユニット（プレイユニット）（PU)の処理の一例について、図 34〜図 35を参照して説明する。

(有音区間の場合 (音声信号が所定レベル以上の場合)）

図 34Aに示す処理法 1のように、所定平均レベル以上の有音区間で、その音声区間が 10秒〜 20秒の範囲の場合には、シーンチェンジによらず音声セグメントが 15秒に最も近い切れ目（所定の無音検出時点）を再生ユニットの区切りとする。

図 34Bに示す処理法 2のように、音声区間が連続して 20秒より長ぐシーンチェンジ区間が 20秒以下の場合には、シーンチェンジの切れ目が 15秒に最も近いシーンチェンジ検出点を再生ユニットの区切りとする。

図 34Cに示す処理法 3のように、音声連続して 20秒より長ぐシーンチェンジ区間が 20秒より長い場合には、音声セグメント、シーンチェンジによらず、再生ユニットが 2 0秒になったらその時点で区切りとする。

図 34Dに示す処理法 4のように、音声特徴の属性が 10秒〜 20秒の範囲で変化する場合には、その属性変化点を再生ユットの区切り点とする。

図 34Eに示す処理法 5のように、 CM (コマーシャル)検出した場合には、 CM検出点を再生ユニットの区切り点とする。

ここで、 CM検出の方法について図 35を参照して説明する。

一般的に放送番組の CMの区間長は所定時間長（通常一般的には、 15秒又は 30 秒又は 60秒)であり、 CMの区切り点（開始、終了時点）ではシーンチェンジがあるので、上記所定時間長の検出とシーンチェンジ検出をすることで、図 36に示すように C Mを検出することが可能である。

(無音区間の場合 (音声の平均レベルが所定以下の場合)）図 35Aに示す処理法 6のように、無音区間（音声平均レベルが所定以下の区間）が 20秒より長ぐシーンチェンジ検出区間長が 20秒以下の場合には、 15秒に最も近いシーンチェンジ検出点を再生ユニットの区切り点とする。

図 35Bに示す処理法 7のように、無音区間が 20秒より長ぐシーンチェンジ検出区間が 20秒より長い場合には、シーンチェンジ検出点によらず、再生ユニットの開始点力も 20秒の時点で区切り点とする。

上述のいずれの再生ユニット処理の説明で、再生ユニットの開始点の初期値は、そのプログラム (放送番組)を記録した開始時点とする。

上述のような再生ユニット処理により、所定の音声特徴、所定の映像特徴 (シーンチェンジ特徴）に応じた所定の再生単位を再生することができる。

(再生ユニット生成処理系ブロック構成例）

上記で説明した再生ユニットの生成する処理系と、後で説明する、この再生ユニットに特徴データを入れ込むユニット化特徴データ処理系のブロック構成例を図 37に示す。

要約再生、チヤプタ点設定などの所定時点設定処理は、再生ユニットの開始点、終点に設定するので、上記で説明した再生ユニット毎に特徴データを対応付けて処理を行う。

すなわち、所定区間毎に特徴抽出した所定の各特徴データ、音声系特徴データ、映像系特徴データを再生ユニットの区間に基づいて反映させる処理を行う。

ここで、図 37に示すユニットィ匕特徴データ処理系のブロック構成例について説明する。

図 37に示すブロック構成例では、無音判定情報データが時間計測系 301に入力され、上記で説明した再生ユニット処理に基づく所定の間隔 (時間長）が計測され、その処理出力が再生ユニット処理系 302に入力される。

再生ユニット処理系 302は、シーンチェンジ判定情報データと CM検出判定情報データも入力され、再生ユニット処理の各処理方法の説明で行ったような信号処理を行 V、所定の再生ユニットを生成する。

ここで、 CM検出系 304は、無音特徴検出情報データとシーンチェンジ特徴情報データ、それに CMが放送されて!、る番組のチャンネルかを判定するチャンネル情報が入力され、図 36を参照して説明したような所定の信号処理方法により、 CM検出処理を行う。

再生ユニット特徴データ処理系 303は、音声属性情報、無音情報などの音声系特徴データと、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴

、人物特徴などの各特徴データが入力され、後で説明するように再生ユニットに各特徴データを入れ込む処理を行って、る。

(5) PU特徴データ処理

次に、 PU特徴データファイル処理について説明する。

PU特徴データファイルには、音声系特徴データ及び映像系（画像系）特徴データがある。

この特徴データ処理は、上述した再生ユニットに特徴抽出した各音声系、映像系特徴データを入れ込む処理を行った結果のデータ（データファイル)であり、再生ュ-ット毎に各種特徴データが所定の記録媒体に記録される。

ここで、再生ユニット毎に特徴データを記録する場合には、各特徴データを所定の検出区間通りに検出した各特徴データを所定記録媒体に記録して、その後、上述した再生ユニットの所定区間に応じた特徴データに処理を行う。

特徴データは、音声信号 (音声データ)、画像 (映像)信号 (画像 (映像)データ)から、所定の特性データ (特性信号)を取り出して、その取り出した信号 (データ)を所定の処理を行うことで、音声、画像の特徴を示す特徴データとすることができるが、ここでは、特別な注意書きをする場合を除き、特性データ (特性信号)から所定の処理を行って特徴を示す信号 (データ)も特徴データ (特徴信号)と記述するものとする。映像 (画像)信号は、 MPEGストリームカゝら特性データとして Iピクチャにおける輝度信号 (Y信号）、色信号 (色差信号）（Cb、 Cr信号)の DCTの DC係数、 B又は Pピクチャの動きベクトル（モーションベクトル）データ、また、 DCTの AC係数をそれぞれ取り出し、取り出した画面位置情報、所定しきい値、相関演算などから、シーンチェンジ特徴 (sen特徴)、カメラ動作特徴 (カメラ特徴）（cam特徴)、類似画像特徴 (類似シーン特徴又はシーン ID特徴）（sid特徴）、テロップ特徴 (tip特徴）、色特徴 (カラー特徴 ) (col特徴）、人物特徴 (Person特徴)などがある。

音声信号は、特性データ処理として、例えば、約 20ms毎に平均レベルが演算処理されこの演算データと所定しき、値とから、所定区間における音声信号の属性 (種別）、平均パワー（平均レベル)などの音声特徴 (seg特徴)である。

ここでは、音声属性として、話者音声、音楽 (楽音）、スポーツ番組などにおける歓声などの音声が想定される。

5. 1 特徴データファイルの構成

図 38に示す特徴データファイルの構成例 1は、上述した音声系特徴データ、シーンチェンジ特徴 (sen特徴）、カメラ特徴 (cam特徴）、類似シーン特徴 (sid特徴）、テロップ特徴 (tip特徴）、色特徴 (col特徴）、人物特徴 (Person特徴)などの映像系特徴データを各々別々の特徴データファイルとする例である。

各々の特徴データファイルはテキスト形式のデータ又は、バイナリ形式のデータで書き込まれている。

なお、これらの特徴データは、所定の記録媒体に記録するファイルデータとしての他に、通常のデータとして所定の記録媒体（半導体メモリなど）に一時的に記憶 (記録)して、後で説明する要約リストデータ生成や所定設定時点生成 (チヤプタ点の生成)などの所定の処理のために読み出して用いることも考えられる。以下に説明する図 39、図 40の場合も同様である。

図 39に示す例 2は、上述したすべての音声系特徴データをテキスト形式又は、バイナリ形式の 1つのファイルとしてまとめ、上述したすべての映像系特徴データをテキスト形式又は、ノイナリ形式の 1つのファイルとしてまとめた場合の例である。

図 40に示す例 3は、上記したすべての音声系特徴データ及び、上記したすべての映像系特徴データをテキスト形式又は、バイナリ形式の 1つのファイルとしてまとめた場合の例である。

このように、 1つのファイルとしてまとめることにより、図 38の例 1の場合と比較してフアイル数が 1つだけなので、ファイルとしての扱いが簡単になり、さらにバイナリ形式とすると、データサイズ (ファイルサイズ、ファイル容量）が小さくなり効率的になる。ここでは、特徴データファイルを図 40の例 3に示すような場合で特徴データをバイナリ形式で書き込む場合につ!、て説明する。

また、図 40に示す例 3は、図 39に示す例 2において、すべての音声系特徴データをバイナリ形式で記述したデータと、すべての映像系特徴データをバイナリ形式で記述したデータを一緒にしたものとなる。

上述のことから、特徴データファイルにおける以下の説明における音声系特徴データの処理方法 (記述方法）は、図 39に示す音声系特徴データについて適用することができ、映像系特徴データの処理方法 (記述方法）は、図 39の例 2における映像系特徴データについて適用することができる。

5. 2 特徴データの階層構造

再生ユニットを単位とする特徴データの階層構造を図 41に示す。

以下に示す例は、所定の処理単位 (再生ユニット）における所定の特徴データ処理である。

特徴データは、図 41に示すように、特徴データヘッダ情報、プログラム 1特徴データ、プログラム 2特徴データなどで構成される。

特徴データヘッダ情報は、図 42に示すように、プログラム 1、プログラム 2、などプログラム全体の総記録時間、記録開始、記録終了時刻、プログラム数 (番組数)、その他情報などの所定データ力構成されて、る。

次に、プログラム 1特徴データを例に、プログラム (番組)の特徴データについて説明する。

図 41に示すように、プログラム 1特徴データは、プログラム 1情報、再生ユニット 1情報、再生ユニット 2情報などで構成されている。

図 42に示すように、プログラム 1情報は、プログラム記録時間、プログラム開始、終了時刻、プログラムジャンル (番組ジャンル）、その他情報などの所定データで構成されている。

次に、再生ユニット 1情報を例に、再生ユニットのデータ構造について説明する。図 41に示すように再生ユニット 1情報は、音声特徴データ、映像特徴データで構成されている。

(音声系特徴データの構成）図 41に示すように、音声系特徴データは、系列番号情報、開始終了位置情報、音声属性情報、特徴データ、その他情報データなどで構成されている。

(映像系特徴データの構成）

図 41に示すように、映像系特徴データは、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴などの各所定の特徴情報データカゝら構成されている。

以下のシーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、力メラ特徴など各特徴データの説明で、すべての所定区間でその各項目の特徴データを所定記録媒体に記録 (書込処理)する処理の他に、例えば、所定しきい値以上の特徴データが検出された場合のみ、そのデータとして所定の記録媒体に記録 (書込処理)するように所定データ処理を行う。

このように、所定しきい値以上の特徴データが検出された場合のみ、所定のデータ処理を行う場合には、しきい値より小さい場合には所定の特徴データが書き込まれな V、ので、しき、値以上の特徴データが検出されて所定の記録 (書込)処理が行われ、最初から何番目の特徴データ検出力を知る場合には、下記で説明する系列番号情報から知ることができる。

(シーンチェンジ特徴）

図 43に示すように、系列番号情報、開始終了位置情報、特徴データ、その他データカらなる。

ここで、系列番号情報は、 0、 1、 2、 3、 · · ·とそのプログラム (方法番糸且)の始めからのシーンチェンジが起きた順番を示す情報である。

開始終了位置情報は、上記各順番のシーンチンジの開始終了の位置を示す情報データで、フレーム（フィールド)番号、 PTS、 DTS、時間などの情報データを用いることがでさる。

(色特徴）

図 43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなど力もなる。

ここで、系列番号情報は、 0、 1、 2、 3、 · · ·とそのプログラム (方法番糸且)の始めからの色特徴検出の順番を示す情報である。

開始終了位置情報は、上記各順番における色特徴検出で、各領域の特徴検出した開始終了の位置を示す情報データで、フレーム（フィールド)番号、 PTS、 DTS、時間などの情報データを用いることができる。

特徴データは、例えば、 RGB、 Y、 Cb、 Crなどのデータがある。

(類似画像特徴）

図 43に示すように、系列番号情報、頻度情報開始終了位置情報、特徴データ、その他データなどからなる。

ここで、系列番号情報は、 0、 1、 2、 3、 · · ·とそのプログラム (方法番糸且)の始めからの類似画像特徴検出の順番を示す情報である。

特徴データとしては、上述したような有効画面を所定数の領域に分割（例えば 25分割）した各分割領域の DCTの平均 DC係数などがある。

(人物特徴）

(テロップ特徴）

ここで、系列番号情報は、 0、 1、 2、 3、 · · ·とそのプログラム (方法番糸且)の始めからのテロップ特徴検出の順番を示す情報である。

(カメラ特徴）

ここで、系列番号情報は、 0、 1、 2、 3、 · · ·とそのプログラム (方法番糸且)の始めからのカメラ特徴検出の順番を示す情報である。

ここで、放送番組を記録する場合に、放送番組の所定の記録処理と同時に、ここで説明する特徴抽出処理、特徴データの書込処理 (記録処理)を行うことができるが、すでに、記録済みの放送番組や、その他映画、ドラマその他画像音声ソフトについて、所定の特徴抽出処理を行い、特徴データファイルを生成することもできる。

プログラム 1について、上述のように PUと特徴データを用いるとき、そのほかのプログラム 2、プログラム 3などを記録する場合にも、上述したプログラム 1の場合と同様に PUと特徴データを用いることができる。

(6)プレイリスト処理 (要約再生リスト生成処理）

次に、上記した特徴抽出処理が生成した PUファイル (PU特徴データファイル)から、要約再生 (ダイジェスト再生）を行うための要約データ処理に関する説明を行う。 6. 1 要約ルール処理

本願で述べる特徴データを用いる要約再生 (ダイジェスト再生)では、上述した PU を単位とする所定再生区間をスキップ再生処理することで所望の要約再生 (ダイジスト再生)を行う。

6. 2 所定時点設定処理 (プレイリストファイル)処理

次にプレイリストファイルについて説明する。

このファイルは、上記した特徴データに応じて意味付けされた PU、又は PUの接合体 (PUの集合体、又は PUの連結体)の内どれを選択して再生処理を行うかの所定データの情報が所定の書式に応じて記述されているデータである。

ここで、このデータは特徴抽出の基となった画像音声データが記録された所定の記録媒体に記録する（書込処理)場合の他に、所定のメモリ手段に一時的に記憶する場合も考えられる。

プレイリストファイルの一例を図 44A、図 44Bに示す。

図 44Aに示す例 1における（a)の縦のデータ系列は、再生区間の開始位置情報のデータで、フレーム番号、時間（時刻）、ストリーム (圧縮された画像音声データ)からの PTS (プレゼンテーション'タイム'スタンプ）、又は DTS (デコード ·タイム'スタンプ）などの所定の情報データなどである。

図 44Aに示す例 1における（b)の縦のデータ系列は、再生区間の終了位置情報のデータで、例 1の（a)のデータと対応して、フレーム番号、時間（時刻）、ストリーム（圧縮された画像音声データ）力ゝらの PTS (プレゼンテーション'タイム'スタンプ）、又は D TS (デコード ·タイム'スタンプ）などの所定の情報データなどである。

図 44Aに示す例 1における（c)の縦のデータ系列は、その PU (再生ユニット）又は再生ユニット群 (PU群）の重要度である。

図 44Aに示す例 1における（d)縦のデータ系列は、要約ルールで規定された、又は設定された意味の文字データである。

図 44Bに示す例 2は、すべての PU区間について意味文字と評価値 (重要度）を記述し、再生区間、チヤプタ設定などの所定時点を示すために「1」、「0」の識別データを設けた場合の例である。

図 44Bに示す例 2の（a) (b)で示される開始点、終了点は、次の段のデータと連続的になっているのが分かる。

例えば、図 44Bに示す例 2において、最初の開始点 0終了点 229で、次の開始点 2 30に連続的につながつている。

図 44Bに示す例 2における（e)の縦のデータ系列は、要約再生を行うかどうかのフラグ情報データで、「1」の場合は再生を行う場合で、「0」の場合は再生を行わない場合である。

また、「1」の最初の時点、「0」の最初の時点を所定時点設定点（チヤプタ点）とみることができる。

(7)動作フローチャート

図 45は、本発明の動作フローチャートの一例であり、これについて説明する。処理を開始すると、まず、最初のステップ S1で記録モードか再生モードか判定され

、記録モードの場合は記録処理 (R)に、また、再生モードの場合はステップ S2の処理に移行する。

7. 1 再生処理関係動作フローチャート

(再生処理動作フローチャートの一例）

再生モードの場合は、ステップ S2で要約再生 (ダイジェスト再生)モードか通常再生モードか判定され、通常再生モードの場合は通常再生処理 (P)に移行する。

要約再生モードの場合は、ステップ S3で所定の特徴データが所定記録媒体に記録されて!/ヽるかの検出処理、又は所定ファイルデータとして記録媒体の所定記録領域に記録されてヽるかの検出処理が判定処理される。

ステップ S3で所定の特徴データが検出される場合には、ステップ S4で所定のプレイリストデータ（データファイル）が所定記録媒体の所定記録領域に記録されて！ヽるかが検出され、プレイリストデータ (プレイリストファイル）が検出される場合は、ステップ S 5で所定プレイリストデータを読出処理する。

ステップ S3で所定の特徴データが検出されないと判定される場合には、ステップ S 8で今要約再生しょうとする画像音声データ（プログラム、放送番組)を読み込んで所定の特徴抽出処理を行い、ステップ S9で処理が終了したかが判定され終了しない場合はステップ S8に戻り終了するまで処理を行う。

ステップ S9で所定の特徴抽出処理が終了したと判定された場合には、ステップ S6 に移行して所定のプレイリストデータ生成処理が行われる。

ステップ S4で所定のプレイリストデータ（ファイル）が検出されないと判定される場合は、ステップ S6において所定の記録媒体の所定記録領域に記録され、又は記憶されて、る所定の特徴データを読込処理して所定のプレイリストデータ (ファイル)を生成処理して所定の記録媒体の所定領域に逐次、又は、処理が終了後データを書き込み、ステップ S7ですベてのプレイリスト生成処理が終了したかが判定され、終了しない場合はステップ S6に戻り処理を繰り返し、 S7で所定のプレイリストデータがすべて生成されたと判定された場合は、ステップ S5で書き込んだプレイリストデータを読込処理する。

ここで、ステップ S6において、逐次生成されたプレイリストデータは上記放送番組などの画像音声情報データが記録されている同じ記録媒体上の所定記録領域に、逐次記録するようにしてもよいし、又は画像音声データが記録されたのとは別の記録媒体、例えば、装着、着脱可能な所定メモリ手段などに情報を書き込むようにしてもよいこの場合にも、所定プレイリストデータが逐次生成処理されるとともに、逐次データを書き込む (記憶処理する）ようにしてもょ、し、所定プレイリストデータがすべて生成処理され、プレイリスト処理が終了してから、生成されたすベてのプレイリストデータをまとめて記録 (記憶)処理するようにしてもょヽ。

また、プレイリストデータは、図 46、図 47を参照して説明するように、記録時間に応じて、ユーザが複数の要約再生時間を選択できるように、記録時間に応じて、複数のプレイリストデータを生成するようにしてもよ、。

ここでは、上述したように、所定 PU区間、又は複数の PU区間の接合された所定区間毎に、所定評価値も設定処理されるので、評価値に応じて要約再生時間を操作することがでさる。

ステップ S10で再生時間選択モードになり、ステップ S11で、ユーザがすぐ再生時間を選択した力又は要約再生モード選択した後プレイリストデータの検出処理終了後から所定時間 tmod内にユーザが再生時間を選択処理したかが判定され、選択されない場合は、 S 12でユーザにより再生ストップが選択されたかが判定処理される。ステップ S12でユーザにより再生ストップが選択された場合は処理を終了し、再生ストップでない場合はステップ S 10に戻り上記所定の処理を繰り返す。

ステップ S11で、ユーザが再生時間をすぐ選択した場合、又は上記所定時間の tm od内で再生時間を選択しない場合はステップ SI 3で要約再生動作処理に移行するここで、ユーザが再生時間を選択した場合はその要約再生時間で、再生時間を選択しないで上記所定時間 tmod経過した場合は、所定のデフォルト設定再生時間（所期設定再生時間) tpbOが設定される。

ここで、ユーザにより要約再生時間を任意に選択できるようにしてもよいし、記録したプログラム記録時間とプレイリストデータに基づ、た、あら力じめ設定された再生時間から選択処理できるようにしてもよい。

この場合、例えば、 5分、 10分、 15分、 20分、 30分などの時間とした場合に、デフオルトの要約再生時間は、記録時間に応じて、例えば、図 46のように設定することもできる。

図 46に示す例では、所定記録時間以上 (Trecmin)の場合にのみ要約再生モードが設定できるようにして、この所定記録時間 Trecminとして、記録時間 Treeが 10分未満の場合は、時間が短いので、要約再生は設定されず通常再生のみとしている。一例として、図 46から記録時間 Treeが 60分の場合は、ユーザによる選択可能な要約再生時間は、 10分、 15分、 30分、 40分となり、デフォルトの設定時間は、 30分となる。

図 46に示す例では、記録時間 Treeが長くなるほど、ユーザによる選択可能な要約再生時間の選択数が多くなつているが、上記したように、記録時間が短い場合は、スキップ再生処理による要約再生でスキップ処理される総区間が多くなると、それだけ情報が欠落することになり、再生内容が把握できなくなることが考えられるので選択数を少なくし、適切な要約時間の選択が行えるようにし、それに比較して記録時間が長い場合は、情報量が多いので選択数を多くしてユーザによる効果的、有効な動作が行えるようにしている。

このようなユーザによる選択可能な要約再生時間の一覧、デフォルトの再生時間などの情報は、本発明を適用した記録再生装置における所定表示手段又は、その装置に接続された所定の表示手段、又は装置のリモコン上における液晶などの所定表示画面などに表示することが考えられる。

ここで、プレイリスト生成処理と同時に、チヤプタ設定処理を行うこともでき、記録時間に応じて図 44に示すように、設定可能なチヤプタ数に応じて自動的に所定のチヤプタ設定処理が行われる。

例えば、図 44から記録時間が 1時間の場合は、 5〜40個のチヤプタが設定されるように所定の信号処理が行われる。

ステップ S13では要約再生動作が行われる力上記したように、所定 PU区間又は複数の PU区間の接合区間毎に所定評価値が設定されているので、設定時間と評価値に応じてスキップ再生処理が行われ、それにより要約再生が行われる。

すなわち、評価値が高い PU区間から最優先して順次選択され、選択した要約再生時間にできるだけ近くなるように、順次、上記最優先評価値に比較して評価値の小さい区間を選択処理していく。

ステップ S14では再生動作を終了する力判定され、終了の場合は処理を終了し、終了しな、場合はステップ S 15で再生して、る所定プログラム（番組）が終了したか判定され、終了の場合は処理を終了し終了しない場合は、ステップ S 16に移行し再生時間を変更するか判定する。

ステップ S16で再生時間を変更する場合はステップ S10に戻り、上記処理を繰り返し、変更しない場合はステップ S 13に戻り、要約再生動作を繰り返す。

7. 2 記録処理関係動作フローチャート

(記録処理動作フローチャートの一例）

記録モードの場合における動作フローチャートの例を図 48に示す。

図 45に示したフローチャートのステップ S1で記録モードが選択された場合は、図 4 8に示すフローチャートのステップ R1でタイマ記録モードか通常記録モードかが判定され、通常記録モードの場合は、ステップ R9に移行し通常記録動作を行う。

ステップ R9の通常記録動作で所定の記録信号処理に移行して、ステップ R10において MPEGなどの所定エンコード処理される画像音声データ、又はエンコード処理された画像音声データから所定の特徴抽出処理が行われる。

ここで、記録信号処理と特徴抽出信号処理は、同時に行うことができる。

所定エンコード処理される画像音声データについては、所定エンコード処理される途中の画像音声データを用いて所定の特徴抽出処理を行うもので、例えば、画像の DCT処理系から DCT信号処理の DC係数データ、 AC係数データなどを取り出すことができ、それら所定のデータを用いて所定信号処理を行うことでシーンチェンジ特徴の検出（カット点特徴の検出）、テロップ特徴の検出など上述した各所定の特徴抽出信号処理を行う。

音声データは、所定の帯域圧縮信号処理における所定サブバンド信号処理において、所定サブバンド帯域におけるデータを用いることで、話者音声、音楽 (楽音)判定検出などの信号処理を行うことができる。

楽音判定信号処理については、例えば、所定サブバンド帯域におけるデータの継続性を判定することで判定処理を行うことができる。

また、ベースバンド帯域の画像音声データを用いることもでき、例えば、画像のベースバンド信号を用いて、フレーム（又はフィールド）間差分信号処理によりシーンチェンジ検出処理や、その差分信号によるエッジ検出によりテロップ特徴信号処理など、その他所定の特徴抽出信号処理を行うことができる。ここで、各画像、音声特徴抽出信号処理された特徴データは、画像音声データが記録される同じ所定記録媒体、又は所定のバッファメモリなどの所定データ記憶手段 (データ記録手段）に記録する。

ステップ Rl 1で通常記録モード終了力判定され、終了ではな、場合はステップ R9 に戻り、上記動作を繰り返し、終了の場合は、ステップ R12に移行しプレイリストデータ生成処理 (又はチヤプタデータ生成処理）に移行する。

ステップ R1でタイマ記録モードの場合は、ステップ R2で記録開始、記録終了時刻設定を行い、ステップ R3で所定の動作時刻カゝ判定され、所定時刻ではない場合は、ステップ R7で動作待機し、ステップ R8でユーザによりタイマ動作解除の割り込み処理が行われた力判定され、タイマ動作を継続する場合は、ステップ R3に戻り上記動作を繰り返す。

ステップ R8でタイマ動作が解除された場合は、図 45のステップ S1に戻り、最初の動作モード選択処理を行う。

ステップ R3で所定の記録動作時刻になったと判定されたら、記録動作を開始し、上述したステップ R9〜ステップ R11と同様の動作をステップ R4〜ステップ R6で行う特徴データは、上述したように、各画像、音声特徴抽出信号処理された特徴データ (特徴抽出データ）は画像音声データが記録される同じ所定記録媒体、又は所定のバッファメモリなどの所定データ記憶手段 (データ記録手段）に記録する。ステップ R6 で記録終了時刻と判定された場合は、ステップ R12に移行してプレイリストデータ生成処理又はチヤプタデータ生成処理を行う。

ステップ R12では、各種の所定特徴抽出処理された特徴データ (特徴抽出処理された所定特徴データを所定の加工処理、所定の信号処理を施したデータ、それらデータを用いて所定判定処理を行ったデータなども含む）を所定記録媒体から読出処理を行い、所定のプレイリストデータ（ファイル）生成処理、チヤプタデータ生成処理を行う。

生成されたプレイリストデータ、チヤプタデータは、所定記録媒体に記録され、ステップ R13で生成処理が終了した力判定処理され、終了しない場合は、ステップ R12 に戻り上記処理動作を繰り返し、ステップ R13で終了したと判定された場合は動作を終了する。

ここで、プレイリストデータ、チヤプタデータは、逐次、データの生成処理と同時に所定記録媒体に記録する場合の他に、上記、処理対象にしている所定の放送番組、プログラム、又は所定記録区間に対する所定プレイリストデータ、チヤプタデータのすべての生成処理が終了した後に、まとめて所定記録媒体に記録するようにしてもよい。 (特徴抽出処理と平行して（同時に)プレイリストデータ (チヤプタ)処理を行う場合）ここで、上述の説明では、所定の放送番組、プログラムなど画像音声情報データの記録処理と同時に所定の特徴抽出処理を行！ヽ、特徴抽出処理した各種の特徴データ（特徴抽出データ、又は特徴データを用いて所定の加工、所定の信号処理を施した信号を含む）を所定の記録媒体に記録して、上記所定の放送番組、プログラムが終了した後、記録した特徴データを読み出して、プレイリストデータ (ファイル）、チヤプタデータなどを生成処理する場合を述べたが、特徴抽出処理と同時に、又は特徴抽出処理と平行してプレイリストデータ（ファイル）、チヤプタデータ生成処理を行うようにしてもよい。

7. 3 再生ユニット処理関係動作フローチャート

(PU処理で所定データ区間毎に音声セグメント処理とシーンチェンジ処理を行う場合の動作フローチャート）

上述した PU信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの一例を図 49に示す。

処理を開始するとステップ P1で画像音声情報データが記録されている所定記録媒体から音声データ、及び後で説明するシーンチェンジ検出処理のために画像データの所定サンプルデータ数を読出処理して、ステップ P2で読み出したデータをメモリなど所定の記録手段であるデータバッファに記憶処理 (書込処理、記録処理)を行っていく。

ステップ P3で所定サンプル数のデータがバッファに記録されたと判定された場合はステップ P4に移行し、まだ所定サンプルデータが記録されな、と判定された場合はステップ P2に戻り動作を繰り返す。ここで、ステップ P2〜ステップ P7では PU処理のために、所定、音声信号の有音、無音判定処理を考えるので、ステップ P2の所定サンプルデータ数としては、大よそ 0 . 1秒くらい〜 1秒くらいの所定区間の間に相当するデータ数のバッファ処理を行う。例えば、サンプリング周波数 48KHzの場合は、 1秒間で 48000サンプルデータなので、 0. 1秒の場合は 4800サンプルのデータをバッファに記録する。

ステップ P4でバッファから音声データを読出処理し、ステップステップ P5で、上述したような所定区間の音声レベルの演算処理を行、、ステップ P6で所定レベルと比較処理を行い、所定レベル以上か所定レベル以下かの判定処理を行って、無音検出（無音判定)処理が行われる。

ステップ P6でその区間が無音区間と判定された場合は、ステップ P7でその情報を所定メモリ（バッファ）に記憶 (記録)し、無音でなく有音と判定された場合はステップ P 8に移行し、ステップ P1で読み込んだバッファのデータの音声バッファ処理が終了した力判定処理され、終了しない場合はステップ P2に戻り上記の処理を繰り返し、終了した場合はステップ P9に移行する。

ステップ P9では、ステップ P8で処理された音声セグメント情報データを読み出し、ステップ P10で上記した短い無音区間、有音区間、長い無音区間、有音区間のセグメント処理を行う。

ステップ PI 1では、所定データサンプル数の画像データの DCT処理データを所定のバッファメモリ（所定データ記録手段）に記録処理を行い、ステップ P12で所定データ量の記録が終了したかが判定され、所定データ量ではない場合は、ステップ P11 に戻り上記バッファメモリ系への書込処理を繰り返し、ステップ P 12で所定データ量の書込処理が終了したと判定された場合は、ステップ P13に移行する。

ステップ P13では上記所定のバッファメモリ系力も記録した (書込処理した)所定の DCTデータを読出処理し、ステップ P14において、フレーム間差分などの所定信号処理を行い、所定のシーンチェンジ検出処理を行う。

ステップ P15で所定のシーンチェンジがあつたか判定処理され、シーンチェンジがあつたと判定される場合は、ステップ P16で所定のメモリ手段 (データ記録手段、データバッファ手段など）にシーンチェンジがあった時点の位置情報データを記憶（書込処理）してステップ PI 7に移行し、ステップ P15でシーンチェンジがないと判定された場合はステップ P 17に移行する。

ステップ P17では、所定データバッファ内の所定データ量の上記シーンチェンジ検出処理が終了した力判定処理され、終了しない場合はステップ P11に戻り上記信号処理を繰り返し、ステップ P17で終了したと判定される場合は、ステップ P18に移行する。

ステップ P 18では所定バッファメモリ手段に記録された (記憶された)シーンチェンジ位置情報を読み出し、ステップ P19で所定区間長より短いなど、短過ぎる区間は前後区間と接合するなどの、シーンチェンジ検出区間の補正処理を行う。

ステップ P20では上記、所定区間における生成処理された音声セグメント位置情報データ及びシーンチェンジ位置情報データを読み出し、ステップ P21で音声セグメント位置、音声セグメント区間長、シーンチェンジ位置、シーンチェンジ区間長などの所定情報データから、所定の PUの位置情報、区間情報など所定 PU情報データを生成処理する。

ステップ P22では、ステップ P21で処理された PU情報から、その PU区間に対応する特徴データ (又は特徴抽出データ、又は特徴データを所定の信号処理を行った信号など）を所定の記録媒体、又は所定のデータバッファに書込処理を行う。

上記したように、これら記録媒体は、今処理の対象としている放送番組、プログラムなど所定区間の画像音声情報データが記録されているのと同じ所定記録媒体上における所定記録領域の他に、別の所定記録媒体上に記録 (記憶、書込処理)を行うことち考免られる。

ステップ P23では所定データ量の上記音声セグメント処理、シーンチェンジ処理、 P U処理など一連の信号処理が終了した力判定処理され、終了したと判定される場合は処理を終了し、終了していないと判定された場合はステップ P1に戻り、上述した処理を繰り返す。

(PU処理ですベての音声セグメント処理を行った後にシーンチェンジ処理を行う場合の動作フローチャート）

ここで、上述の例では、記録した所定放送番組、プログラムなどの、画像音声データの所定区間毎に、逐次、音声データのセグメント処理を行い、その後、画像のシーンチェンジ検出処理を行ったが、上述したように所定区間毎の処理ではなぐ今処理の対象として、る放送番組、プログラムの所定区間すベての音声セグメント処理が終了した後、すべてのシーンチェンジ検出処理を行い、すべてのシーンチェンジ検出処理が終了した後、所定の PU処理を行うようにすることもできる。

上述した PU信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの他の一例を図 50に示す。

処理を開始すると、まずまず最初のステップ T1において図 49に示すフローチヤ一トにおけるステップ P1〜ステップ P9で説明したような所定音声セグメント処理を行う。ここで、音声データは所定バッファメモリに逐次所定データサンプル量のデータを読み込んで行う。

ステップ T2で音声セグメント処理を行ったセグメント位置情報のデータを所定メモリ手段 (データ記憶手段、データ記録手段）に記録していき、ステップ T3において、今処理対象となって!/、る放送番組、プログラムなどの所定区間すベての音声データについて所定セグメント処理が終了した力判定され、終了しないと判定された場合はステツプ T1に戻り上記の処理を繰り返し、終了したと判定された場合はステップ T4に移行する。

ステップ T4において上記図 49のフローチャートにおけるステップ P11〜ステップ P 18で説明したような所定シーンチェンジ処理を行う。ここで、画像の DCTデータは所定バッファメモリに逐次所定データサンプル量のデータを読み込んで行う。

ステップ T5で所定シーンチェンジ処理を行ったシーンチェンジ位置情報のデータを所定メモリ手段 (データ記憶手段、データ記録手段）に記録していき、ステップ T6 において、今処理対象となっている放送番組、プログラムなどの所定区間すベての画像の DCTデータについて所定シーンチェンジ処理が終了したか判定され、終了しなヽと判定された場合はステップ T4に戻り上述の処理を繰り返し、終了したと判定された場合はステップ T7に移行する。

ステップ T7では上記所定メモリ手段力所定音声セグメント位置情報のデータと、所定シーンチェンジ位置情報のデータを読み出し、ステップ T8で所定 PU処理を行い、ステップ T9で、今処理対象となっている放送番組、プログラムなどの所定区間すベての区間にわたり所定 PU処理が終了した力判定され、終了したと判定された場合は処理を終了し、終了しないと判定された場合は Τ7に戻り上記動作を繰り返す。なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその同様のものを行うことができることは当業者にとって明らかである。

Claims

請求の範囲

[1] 1.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間として処理し上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて上記画像音声情報信号をセグメント処理し、

上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出した所定音声特徴データと上記画像特徴データを所定の記録媒体又は所定データメモリに記録する

ことを特徴とする情報信号処理方法。

[2] 2.所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、上記情報信号処理を実行可能な状態に設定し、

所定の操作系により所定の動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求の範囲第 1項記載の情報信号処理方法。

[3] 3.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間として処理し上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出しその特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、上記画像音声情報信号をセグメント処理し、上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出処理した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データメモリのデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成する

ことを特徴とする情報信号処理方法。

[4] 4.所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、上記情報信号処理を実行可能な状態に設定し、所定の操作系により所定の動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求の範囲第 3項記載の情報信号処理方法。

[5] 5.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間とし処理し、上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、上記画像音声情報信号をセグメント処理し、上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出処理した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上のデータ又はデータファイルを読み込んで、読み込んだデータを用いて、所定再生区間決定処理に応じた上記画像音声情報信号における複数の所定再生区間と上記再生区間設定処理又は所定再生時点設定処理に応じた所定データを生成し、

上記生成されたデータ又は上記生成されたデータが記録された所定記録媒体又は所定データメモリから読み込んだデータを用いて、所定動作モードに応じて所定区間を再生又は所定時点を表示する

ことを特徴とする情報信号処理方法。

[6] 6.所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、上記情報信号処理を実行可能な状態に設定し、

所定の操作系により所定の動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求の範囲第 5項記載の情報信号処理方法。

[7] 7.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間として処理を行う音声信号処理部と、

上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成する画像特徴データ処理部と、

上記画像特徴データ処理部からの信号と上記音声信号処理部からの信号と所定の時間長又は区間長設定データに応じて上記音声信号処理部力の信号又は上記画像音声情報信号をセグメント処理する情報信号セグメント処理部と、

上記情報信号セグメント処理部力の信号に基づいて上記音声信号力抽出した所定音声特徴データと上記画像特徴データ、又は、それら特徴データに基づいて所定信号処理を行った所定特徴データと所定のデータを所定の記録媒体又は所定のデータ記憶部に記録するデータ記録部と

を備えたことを特徴とする情報信号処理装置。

[8] 8.所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定部とを備え、上記情報信号セグメント処理部からの信号に基づいて上記音声信号から抽出した所定音声特徴データと上記画像特徴データ、又は、それら特徴データに基づいて所定信号処理を行つた所定特徴データと所定のデータを上記データ記録部により所定の記録媒体又は所定のデータ記憶部に記録することを特徴とする請求の範囲第 7項記載の情報信号処理装置。

[9] 9.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間とし処理を行う音声信号処理部と、

上記情報信号セグメント処理部力の信号に基づいて上記音声信号力抽出した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データ記憶部におけるデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成するデータ生成部と

を備えることを特徴とする情報信号処理装置。

[10] 10.所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定部とを備え、

上記情報信号セグメント処理部力の信号に基づいて上記音声信号力抽出した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データ記憶部におけるデータ又はデータファイルを読み込んで、上記データ生成部により所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成することを特徴とする請求の範囲第 9項記載の情報信号処理装置。

[11] 11.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間とし処理を行う音声信号処理部と、

上記情報信号セグメント処理部からの信号に基づいて上記音声信号から抽出処理した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データ記憶部におけるデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成するデータ生成部と、

上記データ生成部からのデータ又は上記データ生成部からのデータが記録された所定記録媒体、又は、所定データ記憶部から読み込んだデータを用いて、所定動作モードの場合に、上記読み込んだデータに基づいて所定区間を再生するか又は所定時点を表示する情報信号処理部と

を備えることを特徴とする情報信号処理装置。

[12] 12.所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、

上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定部とを備え、

上記データ生成部からのデータ又は上記データ生成部からのデータが記録された所定記録媒体、又は、所定データ記憶部から読み込んだデータを用いて、所定動作モードの場合に、上記情報信号処理部により上記読み込んだデータに基づいて所定区間を再生するか又は所定時点を表示することを特徴とする請求の範囲第 11項記載の情報信号処理装置。

[13] 13.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間として処理し、

上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて上記画像音声情報信号をセグメント処理し、上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出した所定音声特徴データと上記画像特徴データを所定の記録媒体又は所定データメモリに記録する

ことを特徴とする制御プログラムがコンピュータにより読取実行可能に記録されたプログラム記録媒体。

[14] 14.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間として処理し、

上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出しその特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、上記画像音声情報信号をセグメント処理し、上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出処理した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上の又は所定データメモリのデータ又はデータファイルを読み込んで、所定の再生区間決定処理又は所定再生時点設定処理に応じた所定データを生成する制御プログラムがコンピュータにより読取実行可能に記録されたプログラム記録媒体。

[15] 15.所定の画像音声情報信号又はその信号を所定の帯域圧縮処理した画像音声情報信号から音声信号の所定区間毎の音声レベル又は所定音声特性を検出し、その検出結果と所定設定値とに応じて上記音声信号を所定のセグメント区間とし処理し、

上記画像音声情報信号から画像信号の所定区間毎の所定の特性データを抽出し、その特性データから所定区間の画像特徴を示す所定画像特徴データを生成し、上記画像特徴データと上記音声のセグメント処理における信号と所定の時間長又は区間長設定データに応じて、上記画像音声情報信号をセグメント処理し、上記画像音声情報信号のセグメントに基づいて上記音声信号から抽出処理した所定音声特徴データと上記画像特徴データを用いて、又は、それら音声特徴データと画像特徴データが記録された所定記録媒体上のデータ又はデータファイルを読み込んで、読み込んだデータを用いて、所定再生区間決定処理に応じた上記画像音声情報信号における複数の所定再生区間と上記再生区間設定処理又は所定再生時点設定処理に応じた所定データを生成し、

上記生成されたデータ又は上記生成されたデータが記録された所定記録媒体又は所定データメモリから読み込んだデータを用いて、所定動作モードに応じて所定区間を再生又は所定時点を表示することを特徴とする制御プログラムがコンピュータにより読取実行可能に記録されたプログラム記録媒体。