JP4459179B2 - 情報処理装置及びその方法 - Google Patents

Description

本発明は、映像音声や音声の記録の処理を行う情報処理装置及びその方法に関する。

近年、音声や映像を記録する機器の主流は、従来のアナログ方式の磁気テープから、デジタル方式の磁気ディスクや半導体メモリ等に移っている。特に大容量のハードディスクを使用した映像記録再生機器では、記録可能な容量が飛躍的に拡大している。このような機器を使用すれば、放送や通信によって提供される多数の番組の映像を保存しておき、ユーザが自在に選択して視聴できる。

ここで、保存されている映像の管理においては、番組等の単位であるタイトル（プログラム）でファイル化した上で、名称その他の情報を付与しておき、一覧の際に代表画像（サムネイル）と名称等を並べて表示することができる。また、一番組（タイトル）の中をチャプタ（セグメント）と呼ばれる単位に分割し、チャプタ単位で再生や編集を行うこともできる。チャプタ名を付与したり、チャプタの代表画面（サムネイル）を表示したりして、チャプタ一覧から好みの場面を含むチャプタを選択して再生したり、選択したチャプタを並べてプレイリスト等を生成したりすることができる。これらの管理方法を規定するものとして、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のＶＲ（ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ）モードがある。

ところで、番組（タイトル）内の区間や位置の指定に用いられるマーカには、映像・音声コンテンツを再生したときの時間的位置に対応する再生時刻情報が含まれており、チャプタ分割点を表すチャプタマーカのほか、装置によっては、編集操作の際の対象区間を指定するエディットマーカや、頭出し操作の際にジャンプ先の地点を指定するインデックスマーカを使用する場合もある。なお、本明細書における「マーカ」も上記の意味で使用する。

番組名については、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等によって提供される番組情報を利用すれば、録画保存されたファイルに自動付与することもできる。ＥＰＧで提供される番組情報については、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ１０）がある。

しかし、一番組の中については、分割する時刻位置を与える情報や、分割された各々を容易に識別できるような名称等をはじめ、視聴や編集等を支援したり自動化したりするために有用なメタデータとしてさまざまなものが考えられるが、これらが汎用的に外部から提供されることはほとんど行われない。このため、一般の視聴者向けの機器においては、記録された音声や映像に基づいて、装置側でメタデータ生成を行うことが必要になっている。

映像・音声コンテンツに関する汎用的なメタデータの記述形式としてＭＰＥＧ−７があり、コンテンツと対応付けてＸＭＬ（extensible Markup Language）データベースに格納する方法がある。また、放送におけるメタデータの伝送方式等について、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ３８）があり、これらに準拠してメタデータを記録することもできる。

装置が自動的に行うものとして、無音部分、映像の切り替わり（カット）、音声多重モード（モノラル、ステレオ、二か国語）の切り替わり等の検出によるチャプタ分割機能が提供されている場合もある（例えば、特許文献１参照）。しかし、必ずしも適切に分割されるわけではなく、分割された個々のチャプタの意味付け・名称付与を含め、ユーザがかなりの部分を手動で行わなければならない。

また、テロップ画像認識や音声認識により得られた言語情報を利用した、自動的なキーワード抽出等のメタデータ生成については、全文検索的な利用については可能になってきているが（例えば、特許文献２参照）、チャプタ分割や名称付与という部分について全面的な適用は難しいのが現状である。

一方、音響の一致または類似を検索する音響検索や音響ロバストマッチングの方法が考案されているが、その多くは、視聴したい音楽等を検索して再生するといった形で利用されており、映像のメタデータ生成等に適した構成になっていない（例えば、特許文献３参照）。
特開２００３−３６６５３公報 特開平８−２４９３４３号公報 特開２０００−３１２３４３公報

このように、従来の技術では、大量に保存されている映像の管理において、特に一番組内の分割については、視聴に適した分割や制御点の決定と関連情報付与が容易にできないという問題があった。

そこで、本発明は上記事情を考慮してなされたもので、その目的は、記録保存される映像について、毎回の手動作業を要することなく、視聴に適した分割や制御点の決定と関連情報付与を行うことができるデータ処理装置を提供することにある。

本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、前記支援データを生成するためのキー音声データを取得するキー音声データ取得部と、前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力部と、前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して支援データを生成して記録媒体に記録する支援データ生成部と、を具備することを特徴とする情報処理装置である。

また、本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、第１の利用対象データに関する第１の支援データを入力する第１支援データ入力部と、前記第１の支援データに関連するキー音声データを取得するキー音声データ取得部と、前記入力された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して第２の支援データを生成して記録媒体に記録する第２支援データ生成部と、を具備することを特徴とする情報処理装置である。

さらに、本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、第１の支援データを生成するためのキー音声データを取得するキー音声データ取得部と、前記キー音声データの変化点を検出し、前記第１の支援データを生成する第１支援データ生成部と、前記生成された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して第２の支援データを生成して記録媒体に記録する第２支援データ生成部と、を具備することを特徴とする情報処理装置である。

本発明では、キー音声データ中の区間を指定して音声を切り出し、切り出した音声データまたは特徴抽出した音声パターンデータを検索キーとする際に、指定した区間の近傍の分割点や制御点の有無とそれらに付与された名称その他の情報とに基づく属性を合わせて保持する。

また、本発明では、利用対象音声データの分割点や制御点が設定される際に、その近傍の区間をキー音声データとして切り出し、切り出した音声データまたは特徴抽出した音声パターンデータを検索キーとするとともに、分割点や制御点とそれらに付与された名称その他の情報とに基づく属性を検索キーと合わせて保持する。

次に、検索キーと類似した区間を利用対象音声データ中から検出し、検索キーの保持する属性に従って、利用対象音声データにおける検出された(音声)区間の始終端の一方または両方を基準として分割点や制御点を決定し、分割された前後いずれかの(音声)区間や制御点または利用対象音声データ全体に対して、予め指定された名称または予め指定された命名方法に従って付与された名称を設定するようにしている。

したがって、本発明によれば、コーナータイトル音楽等の毎回出現する特定パターン音声をキーとして、その頭から再生したり、タイトル音楽をスキップしてコーナーの本編から再生したり、その時点や分割されたチャプタにコーナー名称を付与したり、このコーナーを含む番組名を付与したりすることができる。

以下、図面を参照して、本発明の一実施形態について説明する。

［第１の実施形態］
本発明の第１の実施形態に係る映像音声処理装置について図１から図９に基づいて説明する。本実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。

（１）映像音声処理装置の構成
図１は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１に示す映像音声処理装置は、記録媒体９０、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。

記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。また、記録媒体９０には、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

映像データ取得部４８は、記録媒体９０に記録されている映像音声データを読み出して取得し、映像データ指定部４７へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、映像データ指定部４７へ渡してもよい。なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理（例えば、Ｂ−ＣＡＳ）、デコード処理（例えば、ＭＰＥＧ２）、形式変換処理（例えば、ＴＳ／ＰＳ）、レート（圧縮率）変換処理等を行ってもよい。

映像データ指定部４７は、映像データ取得部４８において取得された映像音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。映像音声データを再生表示しておき、ユーザが映像音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタのサムネイル画像一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。

音声データ分離部２５は、映像データ指定部４７において指定された映像音声データから音声データを分離して、キー生成部３１へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２Ａｕｄｉｏ ＥＳを取り出し、デコード（ＡＡＣ等）する。

キー生成部３１は、後述する第３から第６の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ分離部２５から渡された音声データに基づいて生成する。ここで、検索キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。

キー関連データ取得部５５は、映像データ指定部４７において指定された映像音声データの区間に関連する情報であるキー関連データを記録媒体９０から取り出す。

例えば、指定された映像音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらの情報が取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキー関連データが保存されている場合は、図２のようなキー関連データが取り出される。また、キー関連データを外部入力してもよい。

さらに、指定された区間に直接対応しなくても、近接するチャプタやマーカを検索して見つかれば、それらの情報を取り出し、指定された区間とチャプタやマーカの位置関係により、情報を付与する。

キーデータ管理部１０は、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを付加して管理することができる。

本明細書において、「照合」とは、利用対象データ（映像音声データまたは音声データ）と検索キーである音声パターンデータとを比較し、利用対象データの中でどの位置、または、区間が音声パターンデータに該当するかを検出する意味である。この照合を行うのは、第３から第６の実施形態におけるキー照合部３０である。

本明細書において、「付加」とは、検索キーである音声パターンデータと属性情報等のキー関連データとを関連させることをいう。この付加を行うのは、キーデータ管理部１０である。

（２）キーデータ管理部１０において管理される情報
図２は、前記処理結果として生成された検索キーとなる音声パターンデータＡ〜Ｄと共にキーデータ管理部１０において管理される情報の例を示すものである。ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータが管理されている。以下、これらのデータをキー関連データという。

検索キーＡについては、「占いコーナー」、「朝の情報テレビ」、「ＢＧＭ属性１（ＢＧＭ−１）」、「前方一致」、「ＢＧＭ」という情報が管理されている。

検索キーＢについては、「オープニング」、「夜の連続ドラマ」、「オープニング音楽属性１（ＯＰＭ−１）」、「完全一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。

検索キーＣについては、「スポーツコーナー」、「１０時のニュース」、「コーナー音楽属性１（ＣＮＭ−１）」、「完全一致」、「ロバスト音楽（ＲＢＭ）」という情報が管理されている。

検索キーＤについて、「水泳スタート音」、「（タイトルなし）」、「競技開始イベント属性１（ＳＧＥ−１）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されている。

図３は、図２における属性に対応付けて規定された記録指示動作の例を示すものである。なお、この属性は、第３から６の実施形態では、キー照合部３０の検出結果に基づいて照合結果記録指示部３５で記録指示動作に使用される。

「ＢＧＭ属性１（ＢＧＭ−１）」については、検出された区間全体をそのままマーカ区間とし、その区間の名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）と設定する記録指示動作のために、検索キーに付加される属性である。なお、図３における「＃」は番号を表す。

「オープニング音楽属性１（ＯＰＭ−１）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定する記録指示動作のために、検索キーに付加される属性である。

「コーナー音楽属性１（ＣＮＭ−１）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定する記録指示動作のために、検索キーに付加される属性である。

「競技開始イベント属性１（ＳＧＥ−１）」については、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定する記録指示動作のために、検索キーに付加される属性である。

（３）検索キーＡへの属性情報の付加
検索キーＡ（音声パターンデータＡ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように属性を付加させるかについて図４の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。

図４に示す帯の中の斜線部分はマーカの記録されている区間、吹出しはマーカの名称を示し、帯の上に接した濃い印は検索キーＡを生成するために指定した区間を示す。

１２月２２日放送の「朝の情報テレビ」番組（１時間５４分）を記録したタイトル「朝の情報テレビ １２／２２」におけるマーカ「占いコーナー−１」部分を指定して、キーを生成した場合、キー指定部分とマーカ部分の一致を判定して、マーカの名称等を元に、検出時の動作を検索キーＡの属性情報として付加する。

例えば、「朝の情報テレビ １２／２２」から番組名「朝の情報テレビ」を、「占いコーナー−１」からキー名「占いコーナー」をそれぞれ得て、検出された区間全体をそのままマーカ区間とし、その区間の名称を「『占いコーナー』−番号」とする属性を付加する。

また、マーカ「占いコーナー−１」の始終端と、キー指定部分の始終端を比較し、始端のみがほぼ同一点であって、終端が異なる点になっている場合は、照合方法を「前方一致」と設定する。

なお、これらを規定の動作として含む「ＢＧＭ属性１（ＢＧＭ−１）」として設定してもよい。

（４）検索キーＢへの属性情報の付加
検索キーＢ（音声パターンデータＢ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図５の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。

図５に示す帯の中の縦線はチャプタ分割されている点、吹出しはチャプタ名を示し、帯の上に接した濃い印は検索キーＢを生成するために指定した部分を示す。

１２月２３日放送の「夜の連続ドラマ」の５話連続再放送の番組（１時間４０分）を記録したタイトル「夜の連続ドラマ １２／２３」におけるチャプタ「オープニング−２」を選択してキーを生成した場合、指定されたチャプタ「オープニング−２」及び同一のサフィックス「−２」を持つ隣接チャプタ「本編−２」の名称等を元に、検出時の動作を検索キーＢの属性情報として付加する。

例えば、「夜の連続ドラマ １２／２３」から番組名「夜の連続ドラマ」を、「オープニング−２」からキー名「オープニング」をそれぞれ得て、検出された区間の始終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」とする属性を付加する。

なお、これらを規定の動作として含む「オープニング音楽属性−１（ＯＰＭ−１）」として設定してもよい。

また、タイトル名「夜の連続ドラマ １２／２３」に設定されている、ジャンル「ドラマ」、保存先メディア「ＨＤＤ」、保存先フォルダ「マイドラマ」、最終保存レート（圧縮率）「低」等の情報を合わせて設定し、検索キーＢが検出されたタイトルの記録時に、タイトル名に代えて、またはタイトル名に加えて、ジャンル「ドラマ」が設定されたり、保存先のディスクをＨＤＤの「マイドラマ」フォルダにしたり、最終保存レートに従って品質を落とした「低」レートに変換して保存したりしてもよい。

さらに、番組「夜の連続ドラマ」のチャプタ「本編」を集めたプレイリスト「夜の連続ドラマ−本編」がある場合、新たなチャプタ「『本編』−番号」をプレイリスト「夜の連続ドラマ−本編」に追加し、プレイリスト上のチャプタ名を「１２／２３放送−番号」のようにしてもよい。

もし、オープニング音楽の始まりが徐々に音が大きくなる（フェードイン）ような場合は、検索キーの始端を後方にずらし、安定した区間を検索キーとしてとして指定するようにしてもよい。その場合でも、キー区間とチャプタとの位置関係が考慮されるので、検出された区間でのチャプタ分割は始端をずらす時間によらず正常に行われる。

（５）検索キーＣへの属性情報の付加
検索キーＣ（音声パターンデータＣ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図６の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。

図６に示す帯の中の縦線はチャプタ分割されている点、吹出しはチャプタ名を示し、帯の上に接した濃い印は検索キーＣを生成するために指定した部分を示す。

１２月２４日放送の「１０時のニュース」（６０分）を記録したタイトル「１０時のニュース １２／２４」におけるチャプタ「スポーツコーナー」の最初のコーナー音楽部分を選択してキーを生成した場合、指定された区間の始端とチャプタ「スポーツコーナー」の始端とが近接していることを利用して、検出時の動作を検索キーＣの属性情報として付加する。

例えば、検出された区間の始端でチャプタ分割し、後方のチャプタ名を「スポーツコーナー」、タイトル名「１０時のニュース」とする属性を付加する。これらを規定の動作として含む「コーナー音楽属性１（ＣＮＭ−１）」として設定してもよい。

（６）検索キーＤへの属性情報の付加
検索キーＤ（音声パターンデータＤ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図７の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。

図７に示す帯の中の吹出しはマーカ点とその名称を示し、帯の上に接した濃い印は検索キーＤを生成するために指定した部分を示す。

８月１９日放送の「国際水泳競技生中継」を記録したタイトル「国際水泳競技生中継 ０８／１９」や「７時のニュース ０８／１９」「今日のスポーツニュース ０８／１９」における水泳のスタート音の部分を指定してキーを生成した場合、指定された区間の始端の２秒前にマーカ「水泳スタート音−５」があることを利用して、検出時の動作を検索キーＤの属性情報として付加する。

例えば、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「『水泳スタート音』−番号」とする属性を付加する。

また、タイトル名については検出時に付与しない設定にすることができる。これらを規定の動作として含む「競技開始イベント属性１（ＳＧＥ−１）」として設定してもよい。

（７）キー関連データ取得部５５における処理
次に、キー関連データ取得部５５における処理の流れを、図８のフローチャートを使用して説明する。

上記したようにキー関連データ取得部５５は、映像データ指定部４７において指定された映像音声データの区間に関連するキー関連データ（チャプタ名やマーカ）を記録媒体９０から取り出すものであり、その取り出し処理を順番に説明する。

まず、映像データ指定部４７において指定された映像音声データの区間に関する情報として、指定区間の始端時刻Ｔsbと終端時刻Ｔseを取得する（ステップＳ１０１）。

次に、始端時刻Ｔsbに存在するチャプタ境界やマーカの情報を取得する（ステップＳ１１１）。ほぼ同一時刻と見なせる第１の時間幅ｔ1、例えば２００ミリ秒について、Ｔsbの前後を調べる。チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔbc、チャプタ境界の前方チャプタＣbf、後方チャプタＣbl等である。マーカに関して取得される情報としては、点マーカ時刻Ｔbm、区間マーカの始端時刻Ｔbp、点マーカＭbm、区間マーカＭbp、等がある。

同様に、終端時刻Ｔseに存在するチャプタ境界やマーカの情報を取得する（ステップＳ１１２）。ほぼ同一時刻と見なせる第１の時間幅ｔ1について、Ｔseの前後を調べる。チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔec、チャプタ境界の前方チャプタＣef、後方チャプタＣel等である。マーカに関して取得される情報としては、点マーカ時刻Ｔem、区間マーカの始端時刻Ｔep、点マーカＭem、区間マーカＭep、等がある。

ステップＳ１１１及びステップＳ１１２において、いずれも存在するチャプタやマーカの情報が取得されたとき、その中から、始終端の両方が指定区間と一致するチャプタＣcや区間マーカＭcpを取得する（ステップＳ１１３）。

また、ステップＳ１１１において、始端時刻Ｔsbに存在するチャプタやマーカが取得されなかった場合には、指定区間と関連があると見なせる第２の時間幅ｔ2、例えば１０秒について、Ｔsbの前後を調べる（ステップＳ１２１）。

このとき、Ｔsbの後方（Ｔsb＋ｔ1〜Ｔsb＋ｔ2の間）は、選択された区間に含まれるので、優先してもよい。ステップＳ１１１と同様に、チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔbc’、チャプタ境界の前方チャプタＣbf’、後方チャプタＣbl’等である。マーカに関して取得される情報としては、点マーカ時刻Ｔbm’、区間マーカの始端時刻Ｔbp’、点マーカＭbm’、区間マーカＭbp’、等がある。

ステップＳ１１２において、終端時刻Ｔseに存在するチャプタやマーカが取得されなかった場合には、指定区間と関連があると見なせる第２の時間幅ｔ2について、Ｔseの前後を調べる（ステップＳ１２２）。このとき、Ｔseの前方（Ｔse−ｔ2〜Ｔse−ｔ1の間）は、選択した区間に含まれるので、優先してもよい。ステップＳ１１２と同様に、チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔec’チャプタ境界の前方チャプタＣef’、後方チャプタＣel’等である。マーカに関して取得される情報としては、点マーカ時刻Ｔem’、区間マーカの始端時刻Ｔep’、点マーカＭem’、区間マーカＭep’、等がある。

なお、ステップＳ１２１またはステップＳ１２２において、チャプタ境界やマーカが見つかった場合、区間指定の履歴を参照して、今回の指定区間より見つかったチャプタやマーカに近いものがある場合には、チャプタやマーカを採用しないようにしてもよい（ステップＳ１２３）。

次に、ステップＳ１１１からステップＳ１２３までの処理で見つかったチャプタ及びマーカの情報により、指定された区間に対応するキーの属性を設定する（ステップＳ１３１）。

最後に、設定された属性を既存属性と比較し（ステップＳ１４１）、設定された属性部分が既存属性と一致している場合は、他の属性を含む既存属性を設定する（ステップＳ１４２）、不一致の場合は個別属性をそのまま設定する（ステップＳ１４３）。

（８）キーの属性設定処理
次に、ステップＳ１３１におけるキーの属性設定処理の詳細について、図９のフローチャートを使用して説明する。

（８−１）始終端に一致するチャプタＣcが取得されているとき
図８のステップＳ１１３において、始終端に一致するチャプタＣcが取得されているとき、キー名称＝ベース名（チャプタ名（Ｃc））、照合方法＝完全一致、動作＝チャプタ、チャプタ始端＝検出区間始端、チャプタ終端＝検出区間終端、チャプタ名＝既定名前規則（キー名称）、の属性がそれぞれ設定される（ステップＳ２０１）。

（８−２）始終端に一致する区間マーカＭcpが取得されているとき
ステップＳ１１３において、始終端に一致する区間マーカＭcpが取得されているとき、キー名称＝ベース名（マーカ名（Ｍcp））、照合方法＝完全一致、動作＝区間マーカ、マーカ始端＝検出区間始端、マーカ終端＝検出区間終端、マーカ名＝既定名前規則（キー名称）、の属性がそれぞれ設定される（ステップＳ２０２）。

（８−３）始端に一致するチャプタ境界があるとき
図８のステップＳ１１１において、始端に一致するチャプタ境界があるとき、照合方法＝前方一致、動作＝チャプタ、チャプタ分割点＝検出区間始端、の属性がそれぞれ設定される（ステップＳ２１１）。

さらに、前方チャプタＣbfと後方チャプタＣblの両方に名称があってサフィックスが同一かどうかを判定し、同一の場合には、キー名称＝ベース名（チャプタ名（Ｃbl））、前方チャプタ名＝既定名前規則（ベース名（チャプタ名（Ｃbf））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１３）。

サフィックスが同一でない場合やサフィックスがない場合、及び前方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃbl））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１４）。後方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃbf））、前方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１５）。

（８−４）始端に一致する点マーカＭbmが取得されているとき
図８のステップＳ１１１において、始端に一致する点マーカＭbmが取得されているとき、照合方法＝前方一致、動作＝点マーカ、マーカ点＝検出区間始端、の属性がそれぞれ設定される（ステップＳ２２１）。

さらに、点マーカＭbmに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍbm））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２２２）。

また、始端に一致する区間マーカＭbpが取得されているとき、照合方法＝前方一致、動作＝区間マーカ、マーカ区間＝検出区間始端〜マーカ長（Ｍbp）、の属性がそれぞれ設定される（ステップＳ２２３）。

さらに、区間マーカＭbpに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍbp））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２２４）。

（８−５）終端に一致するチャプタ境界があるとき
図８のステップＳ１１２において、終端に一致するチャプタ境界があるとき、照合方法＝後方一致、動作＝チャプタ、チャプタ分割点＝検出区間終端、の属性がそれぞれ設定される（ステップＳ２３１）。

さらに、前方チャプタＣefと後方チャプタＣelの両方に名称があってサフィックスが同一かどうかを判定し、同一の場合には、キー名称＝ベース名（チャプタ名（Ｃef））、前方チャプタ名＝既定名前規則（キー名）、後方チャプタ名＝既定名前規則（ベース名（チャプタ名（Ｃel））、の属性がそれぞれ設定される（ステップＳ２３３）。

サフィックスが同一でない場合やサフィックスがない場合、及び後方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃef））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２３４）。前方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃel））、前方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２３５）。

（８−６）終端に一致する点マーカＭemが取得されているとき
図８のステップＳ１１２において、終端に一致する点マーカＭemが取得されているとき、照合方法＝後方一致、動作＝点マーカ、マーカ点＝検出区間終端、の属性がそれぞれ設定される（ステップＳ２４１）。

さらに、点マーカＭemに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍem））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２４２）。

（８−７）終端に一致する区間マーカＭepが取得されているとき
図８のステップＳ１１２において、終端に一致する区間マーカＭepが取得されているとき、照合方法＝後方一致、動作＝区間マーカ、マーカ区間＝検出区間終端〜マーカ長（Ｍep）、の属性がそれぞれ設定される（ステップＳ２４３）。

さらに、区間マーカＭepに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍep））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２４４）。

［第２の実施形態］
本発明の第２の実施形態に係る音声処理装置について図１０から図１２に基づいて説明する。

本実施形態と第１の実施形態の異なる点は、第１の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

（１）音声処理装置の構成
図１０は、本実施形態に係る音声処理装置の構成を示すものである。

図１０に示す音声処理装置は、記録媒体９０、音声データ取得部２８、音声データ指定部２７、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。

記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。また、記録媒体９０には、音声データのタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関するキー関連データが記録されている。

音声データ取得部２８は、記録媒体９０に記録されている音声データを読み出して取得し、音声データ指定部２７へ渡す。また、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみを取得し、デジタル音声データに変換した後、音声データ指定部２７へ渡してもよい。なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。

音声データ指定部２７は、音声データ取得部２８において取得された音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。音声データを再生しておき、ユーザが音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタ名一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。

キー生成部３１は、第３から第６の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ指定部２７から渡された音声データについて生成する。ここで、キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。

キー関連データ取得部５５は、音声データ指定部２７において指定された音声データの区間に関連するキー関連データを記録媒体９０から取り出す。

例えば、指定された音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データが取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキーデータが保存されている場合は、図１１のようなキーデータが取り出される。また、キー関連データを外部入力してもよい。

さらに、指定された区間に直接対応しなくても、近接するチャプタやマーカを検索して見つかれば、それらのキー関連データを取り出し、指定された区間とチャプタやマーカの位置関係により、情報を付与する。

キーデータ管理部１０は、第１の実施形態と同様に、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを合わせて管理することができる。

（２）キーデータ管理部１０において管理される情報
図１１は、前記処理結果として生成された検索キーとなる音声パターンデータと共に本実施形態のキーデータ管理部１０において管理されるキー関連データの例を示すものである。

ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータがキー関連データとして管理されている。

検索キーＥ（音声パターンデータＥ）については、「道路渋滞情報」、「道路情報ラジオ」、「ＢＧＭ属性２（ＢＧＭ−２）」、「前方一致」、「ＢＧＭ」という情報が管理されている。

検索キーＦ（音声パターンデータＦ）については、「エンディング」、「○田×男のトーク番組」、「エンディング音楽属性２（ＥＤＭ−２）」、「後方一致」、「ロバスト音楽（ＲＢＭ）」という情報が管理されている。

検索キーＧ（音声パターンデータＧ）については、「カルチャーコーナー」、「トラベル会話」、「コーナー音楽属性２（ＣＮＭ−２）」、「完全一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。

検索キーＨ（音声パターンデータＨ）については、「金属バット音」、「（タイトルなし）」、「競技注目イベント属性２（ＡＧＥ−２）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されている。

さらに、組で動作する検索キーＪ１及びＪ２（音声パターンデータＪ１、Ｊ２）については、「曲名“Ａ”」、「（タイトルなし）」、「音楽開始属性２（ＢＯＭ−２）」、「前方一致」、「クリーン音楽（ＣＬＭ）」、及び「曲名“Ａ”末尾」、「（タイトルなし）」、「音楽終了属性２（ＥＯＭ−２）」、「後方一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。

図１２は、図１１における属性に対応付けて規定された記録指示動作の例を示すものである。なお、この属性は、第３から６の実施形態では、キー照合部３０の検出結果に基づいて照合結果記録指示部３５で記録指示動作に使用される。

「ＢＧＭ属性２（ＢＧＭ−２）」については、検出された区間全体をそのままマーカ区間とし、検出された箇所の放送時刻を「ＨＨ：ＭＭ」（００〜２３時、００〜５９分）として取得した後、その区間の名称を「（キーの名称）−時刻」）と設定する記録指示動作のために、検索キーに付加される属性である。なお、図１２における「％Ｒ」は「ＨＨ：ＭＭ」形式の時刻情報を表す。

「エンディング音楽属性２（ＥＤＭ−２）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『エンディング』」（複数検出された場合は「『エンディング』−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名としてそれぞれ設定する記録指示動作のために、検索キーに付加される属性である。

「コーナー音楽属性２（ＣＮＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名としてそれぞれ設定する記録指示動作のために、検索キーに付加される属性である。

「競技注目イベント属性２（ＡＧＥ−２）」については、検出された区間の始端の８秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」として設定する記録指示動作のために、検索キーに付加される属性である。

「音楽開始属性２（ＢＯＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」として設定する記録指示動作のために、検索キーに付加される属性である。

「音楽終了属性２（ＥＯＭ−２）」については、検出された区間の終端でチャプタ分割する記録指示動作のために、検索キーに付加される属性である。

（３）検索キーＥへの属性情報の付加
検索キーＥ（音声パターンデータＥ）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。

例えば、検索キーＥを生成するために、記録媒体９０に記録されている音声の中の一部分を指定したときの動作は次のようになる。

「道路情報ラジオ」番組を記録したタイトルにおけるマーカ「道路渋滞情報−１０：２８」部分を指定して、キーを生成した場合、キー指定部分とマーカ部分の一致を判定して、マーカの名称等を元に、検出時の動作をキーの属性情報として付加する。

例えば、マーカ「道路渋滞情報−１０：２８」からキー名「道路渋滞情報」を得て、検出された区間全体をそのままマーカ区間とし、その区間の名称を「『道路渋滞情報』−時刻」とする属性を付加する。また、マーカ「道路渋滞情報−１０：２８」の始終端と、キー指定部分の始終端を比較し、始端のみがほぼ同一点であって、終端が異なる点になっている場合は、照合方法を「前方一致」と設定する。

なお、これらを規定の動作として含む「ＢＧＭ属性２（ＢＧＭ−２）」として設定してもよい。

（４）検索キーＨへの属性情報の付加
検索キーＨ（音声パターンデータＨ）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。

「高校対抗野球大会」番組を記録したタイトルにおける金属バット音の部分を指定してキーを生成した場合、指定した区間の８秒前にマーカ「金属バット音−３」があることを利用して、検出時の動作をキーの属性情報として付加する。

例えば、検出された箇所の８秒前をマーカ点とし、マーカの名称を「『金属バット音』−番号」とする属性を付加する。

また、タイトル名については検出時に付与しない設定にすることができる。これらを規定の動作として含む「競技注目イベント属性２（ＡＧＥ−２）」として設定してもよい。

（５）検索キーＪ１とＪ２への属性情報の付加
検索キーＪ１（音声パターンデータＪ１）と検索キーＪ２（音声パターンデータＪ２）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。

音楽番組を記録したタイトルにおける曲名“Ａ”の音楽の開始部分を指定してキーを生成した場合、指定した区間の始端とほぼ同一点から始まる「曲名“Ａ”」のチャプタがあることを利用して、検出時の動作をキーの属性情報として付加する。例えば、検出された区間の始端でチャプタ分割し、後方のチャプタ名を「曲名“Ａ”」とする属性を付加する。

同様に、同じ音楽の終了部分を指定してキーを生成した場合、指定した区間の終端とほぼ同一点で終わる「曲名“Ａ”」のチャプタがあることを利用して、検出時の動作をキーの属性情報として付加する。例えば、検出された区間の終端でチャプタ分割し、前方のチャプタ名を「曲名“Ａ”」とする属性を付加する。また、タイトル名については検出時に付与しない設定にすることができる。これらをそれぞれ規定の動作として含む「音楽開始属性２（ＢＯＭ−２）」「音楽終了属性２（ＥＯＭ−２）」として設定してもよい。

［第３の実施形態］
本発明の第３の実施形態に係る映像音声処理装置について図１３から図１７に基づいて説明する。

第１の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データに支援データであるメタデータを記録させる機能も有している。

（１）映像音声処理装置の構成
図１３は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１３に示す映像音声処理装置は、キー生成に係る構成要素として、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、映像データ取得部４１、音声データ分離部２２、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。

キー生成に係る構成要素は、第１の実施形態と同様であり、説明を省略する。

キー検索に係る映像データ取得部４１は、外部のデジタルビデオカメラ、デジタル放送等の受信チューナー、その他のデジタル機器から入力される映像音声データを取得し、記録媒体９０に記録すると共に、音声データ分離部２２へ渡す。また、外部のビデオカメラ、放送受信チューナー、その他の機器から入力されるアナログ映像音声信号を取得し、デジタル映像音声データに変換した後、記録媒体９０に記録したり、音声データ分離部２２へ渡してもよい。なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理（例えばＢ−ＣＡＳ）、デコード処理（例えばＭＰＥＧ２）、形式変換処理（例えばＴＳ／ＰＳ）、レート（圧縮率）変換処理等を行ってもよい。

音声データ分離部２２は、映像データ取得部４１において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。

キーデータ管理部１０は、第１の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。キー生成の結果、図２のような情報が管理されている。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ分離部２２において分離された音声データとを照合し、類似した区間を検出する。

（２）キー検索の説明
検索キーＡに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＢに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＣに対しては、「完全一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＤに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

なお、図２記載の各情報は検索キーと共に予め設定されて管理されているものとしているが、実際に検出や検索のためにキー照合部３０に対して選択、設定する際に、一部または全部の情報を変更して使用してもよい。例えば、検索キーＢは通常は「完全一致」「クリーン音楽（ＣＬＭ）」となっているが、「前方一致」「ＢＧＭ」として使用することで、同番組の予告編を検索・検出するのに適したものになる。

（３）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。記録媒体９０において記録されるメタデータは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のＶＲ（Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ）モードで規定される構造になっている。

照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を図３を参考にして説明する。

「ＢＧＭ属性１（ＢＧＭ−１）」については、検出された区間全体をそのままマーカ区間とし、その区間の名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。なお、図３における「＃」は番号を表す。

「オープニング音楽属性１（ＯＰＭ−１）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「コーナー音楽属性１（ＣＮＭ−１）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「競技開始イベント属性１（ＳＧＥ−１）」については、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

（４）検索キーＡが検出されたときの記録指示動作
キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５が「ＢＧＭ属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１４は、その記録媒体９０に記録された情報を示す模式図である。

１２月２２日放送の「朝の情報テレビ」番組（１時間５４分）における「占いコーナー」の区間が、放送開始から５８分ちょうどと１時間５１分の計２回検出されて（帯の上に接した濃い印で示す）、それぞれ「占いコーナー−１」「占いコーナー−２」という名前のマーカ（帯の中の斜線で示した部分）がついている。

これにより、例えば、占いコーナーの部分だけを抜き出し、高圧縮で再エンコードして携帯機器に転送する等が可能となる。

（５）検索キーＢが検出されたときの記録指示動作
キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５が「オープニング音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１５は、その記録媒体９０に記録された情報を示す模式図である。

１２月２３日放送の「夜の連続ドラマ」の５話連続再放送の番組（１時間４０分）における「オープニング」の区間が、０分３０秒、２０分１５秒等の計５回検出されて（帯の上に接した濃い印で示す）、１回目の「オープニング」の前のチャプタ（名前なし）、１回目の「オープニング−１」、１回目のオープニングに続く「本編−１」、２回目の「オープニング−２」、２回目のオープニングに続く「本編−２」等のチャプタに分割（帯の中の縦線で示す）されている。また、タイトル名「夜の連続ドラマ」が設定されている。ここで、検索キーＢと関連付けて、タイトル名のほかに、ジャンル「ドラマ」、保存先メディア「ＨＤＤ」、保存先フォルダ「マイドラマ」、最終保存レート（圧縮率）「低」、プレイリスト「夜の連続ドラマ−本編」が設定されているとすると、検索キーＢが検出されたときに、タイトル名に代えて、またはタイトル名に加えて、ジャンル「ドラマ」が設定されたり、保存先のディスクをＨＤＤの「マイドラマ」フォルダにしたり、最終保存レートに従って品質を落とした「低」レートに変換して保存したり、新たなチャプタ「『本編』−番号」をプレイリスト「夜の連続ドラマ−本編」に追加したりしてもよい。

これにより、例えば、水曜日の再放送である３話目だけを見たい場合にチャプタ一覧から「オープニング−３」を選択して再生したり、オープニング再生中に「次チャプタへジャンプ」等の操作をすることにより、何度も同じオープニングを見ることなく、本編だけをまとめて見たりすることが可能となる。また、ＥＰＧによらないタイトル名設定や、ジャンル設定、保存先フォルダ設定等の自動化が可能となる。

（６）検索キーＣが検出されたときの記録指示動作
キー照合部３０において検索キーＣが検出されたときに、照合結果記録指示部３５が「コーナー音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１６は、その記録媒体９０に記録された情報を示す模式図である。

１２月２４日放送の「１０時のニュース」（６０分）における「スポーツコーナー」の音楽が検出され、コーナー音楽の頭（３５分３０秒）でチャプタ分割されて「スポーツコーナー」のチャプタ名がついている。これにより、例えば、スポーツにしか関心がないユーザは、チャプタ一覧から「スポーツコーナー」を選択して再生することができる。また、番組冒頭からしばらく主要ニュースを見た後、興味がなくなってきたところで「次チャプタへジャンプ」等の操作をすることにより「スポーツコーナー」までの間を飛ばすような視聴の仕方も可能となる。

（７）検索キーＤが検出されたときの記録指示動作
キー照合部３０において検索キーＤが検出されたときに、照合結果記録指示部３５が「競技開始イベント属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１７は、その記録媒体９０に記録された情報を示す模式図である。

８月１９日放送の「国際水泳競技生中継」番組における「水泳スタート音」が１２回、同日放送の「７時のニュース」番組で２回、「今日のスポーツニュース」番組で５回、それぞれ検出されて、各々２秒前に「水泳スタート音−１」「水泳スタート音−２」等のマーカがついている。これにより、「次マーカへジャンプ」等の操作をすることで、各レースのスタートのシーンを頭出しすることができ、例えば、特定の選手が出場しているなどで見たいレースがある場合、再生された映像を見ながら次々にジャンプして、見たいレースを見つけることが可能となる。

なお、キー検索に係る構成要素である映像データ取得部４１及び音声データ分離部２２は、キー生成に係る構成要素である映像データ取得部４８及び音声データ分離部２５と類似した処理を行うものであり、共通化してもよい。

［第４の実施形態］
本発明の第４の実施形態に係る音声処理装置について図１８に基づいて説明する。

本実施形態と第３の実施形態の異なる点は、第３の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

（１）音声処理装置の構成
図１８は、本実施形態に係る音声処理装置の構成を示すものである。

この図に示す音声処理装置は、キー生成に係る構成要素として、音声データ取得部２８、音声データ指定部２７、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、音声データ取得部２１、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。

キー生成に係る構成要素は、第２の実施形態と同様であり、説明を省略する。

キー検索に係る音声データ取得部２１は、外部のデジタルマイクロホン、デジタル放送等の受信チューナー、その他のデジタル機器から入力される音声データを取得し、記録媒体９０に記録すると共に、キー照合部３０へ渡す。また、外部のマイクロホン、放送受信チューナー、その他の機器から入力されるアナログ音声信号を取得し、デジタル音声データに変換した後、記録媒体９０に記録したり、キー照合部３０へ渡してもよい。また、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。

キーデータ管理部１０は、第２の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

（２）キー検索の説明
キー生成の結果、図１１のような情報が管理されているものとして、キー検索の説明をする。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２１において取得された音声データとを照合し、類似した区間を検出する。

検索キーＥに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＦに対しては、「後方一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。

検索キーＧに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＨに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＪ１に対しては、「前方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＪ２に対しては、「後方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。

なお、図１１記載の各情報は検索キーと共に予め設定されて管理されているものとしているが、実際に検出や検索のためにキー照合部３０に対して選択、設定する際に、一部または全部の情報を変更して使用してもよい。例えば、検索キーＪ１は通常は「クリーン音楽（ＣＬＭ）」となっているが、「ＢＧＭ」として使用することで、曲の最初にナレーションが入る形式の音楽番組やＣＭでの検索・検出に適したものになる。

（３）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。

図１２は、照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を示すものである。内容は第２の実施形態と同様であるので、説明を省略する。

（４）検索キーＥが検出されたとき
例えば、検索キーＥが検出されたときに、「ＢＧＭ属性２」の規定の動作に従って、「道路情報ラジオ」番組における「道路渋滞情報」の区間が、複数回検出されて、それぞれ放送された時刻に応じて「道路渋滞情報−９：５５」「道路渋滞情報−１０：２８」「道路渋滞情報−１０：５６」等という名前のマーカが検出された区間についている。これにより、例えば、道路渋滞情報だけを最新の情報から順に抜き出して聞く等が可能となる。

（５）検索キーＨが検出されたとき
検索キーＨが検出されたときに、「競技注目イベント属性２」の規定の動作に従って、「高校対抗野球大会」番組における「金属バット音」が検出され、各々検出された箇所の８秒前にマーカがついているので、打撃のシーンのみを直前の投球動作から順次再生することが可能となる。

（６）検索キーＪ１とＪ２が検出されたとき
検索キーＪ１とＪ２が検出されたときに、「音楽開始属性２」と「音楽終了属性２」の規定の動作の組み合わせによって、「曲名“Ａ”」の音楽の開始と終了の両方でチャプタ分割され、音楽の区間が「曲名“Ａ”」のチャプタとなる。

［第５の実施形態］
本発明の第５の実施形態に係る映像音声処理装置について図１９に基づいて説明する。

本実施形態と第３の実施形態の異なる点は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録済みの映像音声データについて処理を行うことである。

図１９は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１９に示す映像音声処理装置は、キー生成に係る構成要素として、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、映像データ取得部４６、音声データ分離部２２、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。

キー生成に係る構成要素は、第１の実施形態と同様であり、説明を省略する。

記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。また、記録媒体９０には、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

キー検索に係る映像データ取得部４６は、記録媒体９０に記録されている映像音声データを読み出して取得し、音声データ分離部２２へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、音声データ分離部２２へ渡してもよい。また、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。

音声データ分離部２２は、映像データ取得部４６において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２ Ａｕｄｉｏ ＥＳを取り出し、デコード（ＡＡＣ等）する。

キーデータ管理部１０は、第３の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

例えば、図２に示すように、検索キーＡについて「占いコーナー」「朝の情報テレビ」「ＢＧＭ属性１」等、検索キーＢについて「オープニング」「夜の連続ドラマ」「オープニング音楽属性１」等がキー関連情報として管理されている。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２６において取得された音声データとを照合し、類似した区間を検出する。

照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。

例えば、図３と同様に、検索キーＡの「ＢＧＭ属性１」については検出された区間全体を「（キーの名称）」、また、検索キーＢの「オープニング音楽属性１」については検出された区間の始終端の間を「オープニング」、終端の後方の区間を「本編」、さらにタイトル名を設定する等の記録指示動作が各属性について規定されている。

また、照合結果記録指示部３５において、記録媒体９０に記録されるメタデータは、例えばＡＲＩＢ ＳＴＤ−Ｂ３８で規定される構造になっている。

図２１は、キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。番組開始後３４８０秒（５８分）から１２０秒間の「占いコーナー−１」と、６６６０秒（１時間５１分）から１８０秒間の「占いコーナー−２」という２つのセグメントと、これらの占いコーナー部分を抜き出した「占いコーナー」というセグメントグループが記録されている。

図２２は、キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。プログラムに関する、名前（タイトル名）「夜の連続ドラマ」やジャンル「ドラマ」等の情報と、番組開始後３０秒から７０秒間の「オープニング−１」や１２１５秒（２０分１５秒）からの「オープニング−２」、これらの間の「本編−１」「本編−２」等のセグメントが記録されている。

［第６の実施形態］
本発明の第６の実施形態に係る音声処理装置について図２０に基づいて説明する。

本実施形態と第４の実施形態の異なる点は、外部から取得した音声データについて記録及び処理を行うのではなく、記録済みの音声データについて処理を行うことである。

図２０は、本実施形態に係る音声処理装置の構成を示すものである。

この図に示す音声処理装置は、キー生成に係る構成要素として、音声データ取得部２８、音声データ指定部２７、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、音声データ取得部２６、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。

キー生成に係る構成要素は、第２の実施形態と同様であり、説明を省略する。

キーデータ管理部１０は、第４の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。また、記録媒体９０には、音声データのタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

キー検索に係る音声データ取得部２６は、記録媒体９０に記録されている音声データを読み出して取得し、キー照合部３０へ渡す。

音声データ取得部２６は、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみ取得し、デジタル音声データに変換した後、キー照合部３０へ渡してもよい。なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。

キーデータ管理部１０は、第４の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

キー生成の結果、図１１のような情報が管理されているものとして、キー検索の説明をする。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２６において取得された音声データとを照合し、類似した区間を検出する。

照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。

［第７の実施形態］
本発明の第７の実施形態に係る映像音声処理装置について図２３、図２４に基づいて説明する。

本実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。

本実施形態と第１の実施形態の異なる点は、検索キーとする区間を外部から指定するのではなく、第１の支援データの入力に基づいて決定する点である。

（１）映像音声処理装置の構成
図２３は、本実施形態の映像音声処理装置の構成を示すブロック図である。

図２３に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

第１映像データ取得部４３は外部からキー生成に係る第１コンテンツの映像音声データを取得して記録媒体９１Ａに記録する。

第１音声データ分離部２５は、第１映像データ取得部４３において取得された映像音声データから音声データを分離して、キー指定情報生成部６１へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２Ａｕｄｉｏ ＥＳを取り出し、デコード（ＡＡＣ等）する。

第１支援データ入力部６６は、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。

キー指定情報生成部６１は、第１支援データ入力部６６において入力された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。

キー生成部３１は、第１の実施形態と同様に、第３から第６及び後述の各実施形態のキー照合部３０において使用される音声パターンデータを、キー指定情報生成部６１において決定された区間の音声データに基づいて生成する。ここで、検索キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。

キーデータ管理部１０は、第１の実施形態と同様に、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを付加して管理することができる。

（２）映像音声処理装置の別の構成
図２４は、本実施形態の別の構成を示すブロック図である。

図２４における第１映像データ取得部４８は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う点が、図２３における第１映像データ取得部４３と異なる。

記録媒体９１Ｂには、予め第１コンテンツの映像音声データまたは映像音声信号が記録されている。また、記録媒体９１Ｂには、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

［第８の実施形態］
本発明の第８の実施形態に係る映像音声処理装置について図２５、図２６、図２７に基づいて説明する。

（１）映像音声処理装置の第１の構成
図２５は、本実施形態の映像音声処理装置の第１の構成を示すブロック図である。

図２５に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ生成部６５、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

本実施形態と第７の実施形態の異なる点は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点である。

第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データの変化点を検出して、第１支援データを生成し、記録媒体９１Ａに記録する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。

キー指定情報生成部６１は、第１支援データ生成部６５において生成された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ生成部６５において生成された支援データがある。

第１映像データ取得部４３、第１音声データ分離部２５、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。

なお、第７の実施形態における図２４と同様、本実施形態においても、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。

（２）映像音声処理装置の第２の構成
図２６は、本実施形態の第２の構成を示すブロック図である。

図２６における第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４３において取得された映像音声データに基づいて第１支援データを生成する点が、図２５における第１支援データ生成部６５と異なる。例えば、映像の切り替わり（カット）を検出して、分割を行う。音声データを併用して、無音部分のカットで分割するようにしてもよい。また、特開２００５−１３０４１６公報のような、映像同士の類似度に基づく分割を行ってもよい。

（３）映像音声処理装置の第３の構成
図２７は、本実施形態のさらに別の第３の構成を示すブロック図である。

図２７における第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４８において取得された映像音声データに基づいて第１支援データを生成する点が、図２５における第１支援データ生成部６５と異なる。

また、図２７における第１映像データ取得部４８は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う点が、図２６における第１映像データ取得部４３と異なる。

［第９の実施形態］
本発明の第９の実施形態に係る映像音声処理装置について図２８、図２９に基づいて説明する。

（１）映像音声処理装置の構成
図２８は、本実施形態の映像音声処理装置の構成を示すブロック図である。

図２８に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ生成部６５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

本実施形態と第７及び第８の実施形態の異なる点は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点である。

第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データの変化点を検出して、支援データを生成する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。

第１支援データ入力部６６は、第１支援データ生成部６５において生成された支援データに基づきまたは加えて、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。第１支援データ生成部６５において生成された支援データは、入力画面上で基準値として表示したり、入力がない場合の初期値や規定値として採用したりするとよい。例えば、第１支援データ生成部６５において分割されたＣＭ部分に、ＣＭの名前等のテキスト情報を入力する。

キー指定情報生成部６１は、第１支援データ生成部６５において生成され、または第１支援データ入力部において入力された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データ或いは第１支援データ生成部６５において生成された支援データがある。

第１映像データ取得部４３、第１音声データ分離部２５、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。

なお、第７の実施形態における図２４と同様、本実施形態においても、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。

（２）映像音声処理装置の別の構成
図２９は、本実施形態の映像音声処理装置の別の構成を示すブロック図である。

図２９における第１支援データ生成部６５は、第８の実施形態における図２６と同様、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４３において取得された映像音声データに基づいて第１支援データを生成する点が、図２８における第１支援データ生成部６５と異なる。例えば、映像の切り替わり（カット）を検出して、分割を行う。音声データを併用して、無音部分のカットで分割するようにしてもよい。また、特開２００５−１３０４１６公報のような、映像同士の類似度に基づく分割を行ってもよい。また、第１支援データ入力部６６は、第１支援データ生成部６５において映像同士の類似度に基づいて分割された部分が話題単位になっている場合に、話題やコーナーの名前等のテキスト情報を入力する。

なお、第８の実施形態における図２７と同様、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。

［第１０の実施形態］
本発明の第１０の実施形態に係る音声処理装置について図３０、図３１に基づいて説明する。

本実施形態と第７の実施形態の異なる点は、第７の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

（１）音声処理装置の構成
図３０は、本実施形態に係る音声処理装置の構成を示すブロック図である。

図３０に示す音声処理装置は、第１音声データ取得部２３、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

第１音声データ取得部２３は外部からキー生成に係る第１コンテンツの音声データを取得して記録媒体９１Ａに記録するとともに、キー指定情報生成部６１へ渡す。

第１支援データ入力部６６は、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。

キー指定情報生成部６１は、第１支援データ入力部６６において入力された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。

キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。

（２）音声処理装置の別の構成
図３１は、本実施形態の別の構成を示すブロック図である。

図３１における第１音声データ取得部２８は、外部から取得した音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの音声データについて処理を行う点が、図３０における第１音声データ取得部２３と異なる。

記録媒体９１Ｂには、予め第１コンテンツの音声データまたは音声信号が記録されている。また、記録媒体９１Ｂには、音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

［第１１の実施形態］
本発明の第１１の実施形態に係る音声処理装置について図３２に基づいて説明する。

本実施形態と第８の実施形態の異なる点は、第８の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

図３２は、本実施形態に係る音声処理装置の構成を示すブロック図である。

図３２に示す音声処理装置は、第１音声データ取得部２３、第１支援データ取得部６５、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

本実施形態と第１０の実施形態の異なる点は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点である。

第１支援データ生成部６５は、第１音声データ取得部２３において取得された音声データの変化点を検出して、第１支援データを生成し、記録媒体９１Ａに記録する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。

キー指定情報生成部６１は、第１支援データ生成部６５において生成された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ生成部６５において生成された支援データがある。

第１音声データ取得部２３、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第１０の実施形態と同様であり、説明を省略する。

なお、第１０の実施形態における図３１と同様、本実施形態においても、外部から取得した音声データについて記録及び処理を行う第１音声取得部２３に代えて、記録媒体９１Ｂに記録済みの音声データについて処理を行う第１音声取得部２８を備えてもよい。

［第１２の実施形態］
本発明の第１２の実施形態に係る音声処理装置について図３３に基づいて説明する。

本実施形態と第９の実施形態の異なる点は、第９の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

図３３は、本実施形態の音声処理装置の構成を示すブロック図である。

図３３に示す音声処理装置は、第１音声データ取得部２３、第１支援データ生成部６５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。

本実施形態と第１０及び第１１の実施形態の異なる点は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点である。

第１支援データ生成部６５は、第１音声データ取得部２３において取得された音声データの変化点を検出して、支援データを生成する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。

第１支援データ入力部６６は、第１支援データ生成部６５において生成された支援データに基づきまたは加えて、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。第１支援データ生成部６５において生成された支援データは、入力画面上で基準値として表示したり、入力がない場合の初期値や規定値として採用したりするとよい。例えば、第１支援データ生成部６５において分割されたＣＭ部分に、ＣＭの名前等のテキスト情報を入力する。

キー指定情報生成部６１は、第１支援データ生成部６５において生成され、または第１支援データ入力部において入力された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データ或いは第１支援データ生成部６５において生成された支援データがある。

第１音声データ取得部２３、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第１０の実施形態と同様であり、説明を省略する。

なお、第１０の実施形態における図３１と同様、本実施形態においても、外部から取得した音声データについて記録及び処理を行う第１音声取得部２３に代えて、記録媒体９１Ｂに記録済みの音声データについて処理を行う第１音声取得部２８を備えてもよい。

［第１３の実施形態］
本発明の第１３の実施形態に係る映像音声処理装置について図３４、図３５、図３６及び図３７に基づいて説明する。

第７の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データに支援データであるメタデータを記録させる機能も有している。

本実施形態と第３の実施形態の異なる点は、検索キーとする区間を外部から指定するのではなく、第１の支援データの入力に基づいて決定する点である。

（１）映像音声処理装置の構成
図３４は、本実施形態に係る映像音声処理装置の構成を示すものである。

図３４に示す映像音声処理装置は、キー生成に係る構成要素として、第１映像データ取得部４８、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５及び第１コンテンツを記録した記録媒体９１Ｂを備えている。また、キー検索に係る構成要素として、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び第２コンテンツを記録する記録媒体９２Ａを備えている。さらに、共通の構成要素として、キーデータ管理部１０を備えている。

（２）キー生成に係る構成要素
本構成におけるキー生成に係る構成要素は、第７の実施形態の図２４と同様のものであるが、図２３に示す構成であっても構わない。

また、本実施形態におけるキー生成に係る構成要素は、第８の実施形態に記載した構成であっても構わない。この場合は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点で異なるものとなる。

さらに、本実施形態におけるキー生成に係る構成要素は、第９の実施形態に記載した構成であっても構わない。この場合は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点で異なるものとなる。

（３）キー検索に係る構成要素
（３−１）キー検索に係る構成要素の第１の構成
図３５は、本実施形態におけるキー検索に係る構成要素の第１の構成を示すブロック図である。

図３５に示す構成要素は、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５、第２コンテンツを記録する記録媒体９２Ａ及びキーデータ管理部１０である。

図３６は、本実施形態におけるキー検索に係る構成要素の第１の構成の別の例を示すブロック図である。

図３６における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図３５における第２映像データ取得部４１と異なる。

記録媒体９２Ｂには、予め第２コンテンツの映像音声データまたは映像音声信号が記録されている。また、記録媒体９２Ｂには、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

（３−２）キー検索に係る構成要素の第２の構成
図３７は、本実施形態におけるキー検索に係る構成要素の第２の構成を示すブロック図である。

図３７では、照合結果記録指示部３５に代えて、照合結果表示制御部３９を備える。

照合結果表示制御部３９は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、メタデータとして図示せぬ表示装置に表示させる制御を行う。例えば、第２映像データを表示する表示装置上に、コーナータイトル等のテキスト情報や、分割位置からの時間情報、その他属性をあらわす図形や文字を表示させる。

なお、照合結果表示制御部３９は、照合結果記録指示部３５に置き換えまたは追加して備えることができる。第３及び第４の実施形態における照合結果記録指示部３５に対しても同様に、置き換えまたは追加して備えることができる。表示装置は、映像データ表示とは別であってもよい。また、第２映像取得部４１は、外部から取得した映像音声データについて記録せずに処理のみ行うものであってもよく、記録媒体９２Ａを備えなくてもよい。

（３−３）キー検索に係る構成要素の第３の構成
図３８は、本実施形態におけるキー検索に係る構成要素の第３の構成を示すブロック図である。

図３８では、図３５に示す第１の構成に加えて、第２支援データ生成部６２を備える。

第２支援データ生成部６２は、映像データの変化点を検出して、第２支援データを生成する。例えば、映像のカットを検出し、分割する情報を生成する。音声データを併用したり、映像同士の類似度に基づく分割を行ってもよい。

照合結果記録指示部３５は、第２支援データ生成部６２で生成された第２支援データに加えて、第２コンテンツに関する支援データを生成し、記録媒体９２Ａに記録する。例えば、第２支援データ生成部６２において分割された部分に、コーナーの名前等のテキスト情報を生成する。

図３９は、本実施形態におけるキー検索に係る構成要素の第３の構成の別の例を示すブロック図である。

図３９における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図３８における第２映像データ取得部４１と異なる。

（３−４）キー検索に係る構成要素の第４の構成
図４０は、本実施形態におけるキー検索に係る構成要素の第４の構成を示すブロック図である。

本構成と第１の構成の異なる点は、第１の構成では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

図４１は、第４の構成の別の例を示すブロック図である。

図４１における第２音声データ取得部２６は、外部から取得した音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの音声データについて処理を行う点が、図４０における第２音声データ取得部２１と異なる。

記録媒体９２Ｂには、予め第２コンテンツの音声データまたは音声信号が記録されている。また、記録媒体９２Ｂには、音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

（３−５）キー検索に係る構成要素の第５の構成
図４２は、本実施形態におけるキー検索に係る構成要素の第５の構成を示すブロック図である。

本構成と第２の構成の異なる点は、第２の構成では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

［第１４の実施形態］
本発明の第１４の実施形態に係る映像音声処理装置について図４３、図４４及び図４５に基づいて説明する。

第７の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データを選択的に取得して、支援データであるメタデータを記録させる機能も有している。

図４３は、本発明に係る映像音声処理装置の第１４の実施形態の構成を示すブロック図である。

本実施形態と第１３の実施形態の異なる点は、データ取得制御部８１を備えた点である。

（１）映像音声処理装置の構成
図４３は、本実施形態に係る映像音声処理装置の構成を示すものである。

図４３に示す映像音声処理装置は、キー生成に係る構成要素として、第１映像データ取得部４８、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５及び第１コンテンツを記録した記録媒体９１Ｂを備えている。また、キー検索に係る構成要素として、データ取得制御部８１、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び第２コンテンツを記録する記録媒体９２Ａを備えている。さらに、共通の構成要素として、キーデータ管理部１０を備えている。

（２）キー生成に係る構成要素
本実施形態におけるキー生成に係る構成要素は、第７の実施形態の図２４と同様のものを例示しているが、第１３の実施形態の場合と同様に、第７乃至第９の実施形態に記載したいずれの構成であっても構わない。すなわち、第１支援データ入力部６６に代えてまたは加えて第１支援データ生成部６５を備えたり、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８に代えて、外部から取得した映像音声データについて記録媒体９１Ａに記録及び処理を行う第１映像取得部４３を備えたりしてもよい。

また、第１の実施形態と同様のものとして、記録媒体９１Ｂ、第１映像データ取得部４８、映像データ指定部４７、第１音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えたものとしてもよい。記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８に代えて、外部から取得した映像音声データについて記録媒体９１Ａに記録及び処理を行う第１映像取得部４３を備えたりしてもよい。

（３）キー検索に係る構成要素
図４４は、本実施形態におけるキー検索に係る構成要素を示すブロック図である。

図４４に示す構成要素は、データ取得制御部８１、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５、第２コンテンツを記録する記録媒体９２Ａ及びキーデータ管理部１０である。

データ取得制御部８１は、第２映像データ取得部４１において外部から取得するデータを、所定の条件を満たすもののみとする制御を行う。例えば、外部から取得するデータに関する番組の属性を電子番組表や番組メタデータに基づいて取得し、キー関連データ取得部５５においてキー関連データとして取得された第１コンテンツの番組の属性と一致または部分一致する番組の映像音声データのみを取得するようにする。予め所定の条件を満たす番組を指定または検索しておき、番組放送時に自動でチャンネル設定して受信し、自動処理されるように（予約）してもよい。

番組の属性に関する条件として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等の一致または部分一致する番組の映像音声データのみを取得するようにする。これにより、無関係な映像音声データに対して処理を行うことで負荷が増大したり、誤って支援データを生成したりすることを避けることができる。

図４５は、本実施形態におけるキー検索に係る構成要素の別の例を示すブロック図である。

図４５における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図４４における第２映像データ取得部４１と異なる。

データ取得制御部８６は、第２映像データ取得部４６において取得するデータを、記録済みのうち所定の条件を満たすもののみとする制御を行う。例えば、記録済みの映像データに関する番組の属性を番組メタデータを含む支援データに基づいて取得し、キー関連データ取得部５５においてキー関連データとして取得された第１コンテンツの番組の属性と一致または部分一致する番組の映像音声データのみを取得するようにする。

キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ｂに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。

（５）映像音声処理装置における処理
次に、本実施形態に係る映像音声処理装置における処理について、図４６〜図５０に基づいて説明する。

図４６は、本実施形態における処理を示すフローチャートである。

第１支援データ入力部６６において視聴支援情報を設定する「視聴支援情報設定」（ステップＳ３０１）。

キー指定情報生成部６１においてキー区間を決定する「キー区間決定」（ステップＳ３１１）。

キー生成部３１においてキーを生成する「キー生成」（ステップＳ３２１）。

キー関連データ取得部５５において関連情報を取得する「関連情報取得」（ステップＳ３３１）。

データ取得制御部８１において検索予約またはデータ取得制御部８６等において実行する「検索予約または実行」（ステップＳ３４１）。

図４７は、本実施形態の別の構成における処理を示すフローチャートである。

第１支援データ生成部６５において視聴支援情報を生成する「視聴支援情報生成」（ステップＳ３５１）。

キー指定情報生成部６１においてキー区間を決定する「キー区間決定」（ステップＳ３６１）。

キー生成部３１においてキーを生成する「キー生成」（ステップＳ３７１）。

キー関連データ取得部５５において関連情報を取得する「関連情報取得」（ステップＳ３８１）。

データ取得制御部８１において検索予約またはデータ取得制御部８６等において実行する「検索予約または実行」（ステップＳ３９１）。

次に、図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」の処理を、図４８〜図５０に基づいて説明する。

図４８は、本実施形態におけるデータ取得制御部８１の処理を示すフローチャートである。

電子番組表（ＥＰＧ）より、これから取得可能となる中から所定の条件を満たす番組を検索し、それぞれについて処理を実行するループ「ＥＰＧ番組検索」（ステップＳ４０１〜ステップＳ４２１）。

各々、録画予約を行うとともに、録画時にキー検索を行うためのキーを設定する「録画予約キー設定」（ステップＳ４１１）。

図４９は、本実施形態におけるデータ取得制御部８１の別の処理を示すフローチャートである。

録画予約を管理する録画予約リストより、すでに録画予約されている中から所定の条件を満たす番組を検索し、それぞれについて処理を実行するループ「予約済み番組検索」（ステップＳ４３１〜ステップＳ４５１）。

各々、録画時にキー検索を行うためのキーを、録画予約と関連付けて設定する「キー設定」（ステップＳ４４１）。

図５０は、本実施形態の別の構成におけるデータ取得制御部８６等の処理を示すフローチャートである。

データ取得制御部８６及び第２映像データ取得部４６において、記録媒体９２Ｂにおける録画済み番組の中から所定の条件を満たす番組を検索して取得し、それぞれについて処理を実行するループ「録画済み番組検索」（ステップＳ４６１〜Ｓ４９１）。

各々、キー照合部３０において、検索キーとの照合を実行する「キー照合」（ステップＳ４７１）。

照合結果記録指示部３５において、キー照合結果に基づいて第２支援データを生成する「視聴支援情報生成」（ステップＳ４８１）。

（６）映像音声処理装置における処理の具体例
続いて、本実施形態に係る映像音声処理装置における処理の具体例について、図５１に基づいて説明する。

図５１は、支援データとしてチャプタ（チャプタ分割とチャプタ名設定）を扱う場合の例を説明する図である。第１コンテンツ（番組１−１）及び第２コンテンツ（番組１−２）は３０分番組で、左が番組始端（時刻０：００：００．００）、右が番組終端（時刻０：３０：００．００）となる時間との対応を表している。

（ａ）第１支援データ入力部６６における第１支援データ入力の例。第１コンテンツに対して第１支援データとしてチャプタ分割とチャプタ名設定を行う。

（ｂ１）キー指定情報生成部６１におけるキー区間決定の例（チャプタ分割点１）。

「分割点の前後いずれかで一定時間長の音響キー」Ｘ１及びＹ１。一定時間は、例えば数秒でよいが、音楽の４小節程度に相当する８秒、ＣＭ等の単位に相当する１５秒等であってもよい。照合時に部分一致等で救済されるのであれば、それ以上の長時間でも構わない。また、区切り前の音の減衰やフェードアウト等の効果、無音の長さ等の傾向を考慮して、例えばチャプタ分割点の前方Ｘ１を１０秒、後方Ｙ１を５秒等のように、前後で異なる時間長としてもよい。いずれにしても、Ｘ１の終端及びＹ１の始端にチャプタ分割点があるので、それぞれのキー関連情報として管理する。

支援データの入力において、区間を指定してチャプタ名を入力する場合など、境界の前後いずれが注目されているかが識別可能な場合は、注目されている側のキー（Ｙ１）のみを使用してもよい。また、前後の音響的特徴を分析し、例えばチャプタ分割点付近の無音を挟んで、前方に音声、後方に音楽がある場合、音楽の側（Ｙ１）のみを使用するようにしてもよい。

「近傍の音楽部分の音響キー」Ｚ１。チャプタ分割点に（数秒の範囲で）最も近い（一定時間以上の）音楽部分を検索し、音楽部分境界から一定時間をキーとする。例えば、チャプタ分割点の後方２秒の点から４秒間をキーとする。この場合、Ｚ１の始端から前方２秒にチャプタ分割点があるので、キー関連情報として管理する。

ここで、さらに関連するキー相互の情報をキー関連情報として管理することもできる。例えば、同一のチャプタ分割点に関連するＸ１、Ｙ１、Ｚ１があるので、各キーを識別する情報や単に３つのキーがあるという情報を管理する。

（ｂ２）キー指定情報生成部６１におけるキー区間決定の例（チャプタ分割点２）。

「分割点の前後いずれかで一定時間長の音響キー」Ｘ２及びＹ２。なお、決定された区間の音に基づいて、キーを選別してもよい。例えば、音の大きさや音楽の含有を判定して、大きい音を含んでいないもの、音楽を含んでいないもの等をキーから除外してもよい。

「分割点をまたいだ効果音部分の音響キー」Ｚ２。チャプタ分割点付近が音楽（効果音）部分になっているとき、チャプタ分割点の前後（数秒の範囲）の音楽部分の境界を検索し、その間をキーとする。また、チャプタ分割点の前方の境界を検索して、そこから一定時間をきーとしてもよい。例えば、チャプタ分割点の前方１秒の点から２秒間をキーとする。

ここで、さらに関連するキー相互の情報をキー関連情報として管理することもできる。例えば、同一のチャプタ名設定に関連するＸ１、Ｙ１、Ｚ１、Ｘ２、Ｙ２、Ｚ２があるので、各キーを識別する情報や単に６つのキーがあるという情報を管理する。

また、図５１に対する別の説明として、図２６または図２７あるいは図２９の構成で、（ａ）第１支援データ生成部６５において映像特徴に基づくチャプタ分割が行われる。さらに第１支援データ入力部６６においてチャプタ名設定を行ってもよい。映像特徴に基づくチャプタ分割については、（ｂ）を参照する。画像特徴で画面の切り替わり（カット）の検出により、ショットＡ１とショットＢ１、ショットＡ２とショットＢ２のそれぞれの境界でチャプタ分割されている。音響特徴の無音を合わせて判定してもよい。

（ｃ）照合結果記録指示部３５。第２コンテンツに対して、キーＹ１、Ｚ１、Ｘ２、Ｚ２が検出されたとする。それぞれのキー関連情報に基づいて、第２支援データとしてチャプタ分割とチャプタ名設定が行われる。例えば、キーＺ１の始端から前方２秒またはキーＹ１の始端にチャプタ分割、キーＺ２の始端から後方１秒またはキーＸ２の終端にチャプタ分割、その間のチャプタ名設定が行われる。

複数のキーが検出された場合は、照合のスコアや予めキーに設定した優先度等に基づいて選択したり、多数決で決定したりしてもよい。例えば、キー関連情報として、チャプタ分割点１に関連するキーＸ１、Ｙ１、Ｚ１の３つが管理されている場合、これらの過半数となる２つが検出されたことにより、チャプタ分割を実行するようにしてもよい。また、チャプタ名設定に関するキーＸ１、Ｙ１、Ｚ１、Ｘ２、Ｙ２、Ｚ２の６つが管理されている場合、これらの過半数となる４つが検出されたことにより、チャプタ名設定を実行するようにしてもよい。

支援データの別の例として、「チャプタ名設定」に代えて「プレイリスト」。予め分割されたチャプタの１つを選択して、新規のプレイリストを作成または既存のプレイリストに追加するとする。チャプタに関連するキーが生成され、キー関連情報としてプレイリストが管理される。照合結果記録指示部３５では、キーが検出されると、キー関連情報に基づいてチャプタ分割に加えてプレイリストへの追加が行われる。例えば、番組中のあるコーナー部分のチャプタをプレイリストにした場合、毎回の放送から同コーナーがチャプタ分割されてプレイリストに追加されていく、という機能が実現される。

［変更例］
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記各実施形態では、支援データとしてメタデータを用いたが、再生、編集、検索が支援できる情報であれば、他のデータ形式でもよい。

本発明は、例えば、ＨＤＤ（ハードディスク）レコーダー、ＤＶＤレコーダー、パソコン、ＨＤＤ内蔵型音楽再生装置に好適である。

本発明に係る映像音声処理装置の第１の実施形態の構成を示すブロック図である。 第１の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。 第１の実施形態において、属性に対応付けて規定されている動作の例を示す表である。 第１の実施形態のキー関連データ取得部５５において、「ＢＧＭ属性１」またはこれに相当する属性情報が設定される例を示す模式図である。 第１の実施形態のキー関連データ取得部５５において、「オープニング音楽属性１」またはこれに相当する属性情報が設定される例を示す模式図である。 第１の実施形態のキー関連データ取得部５５において、「コーナー音楽属性１」またはこれに相当する属性情報が設定される例を示す模式図である。 第１の実施形態のキー関連データ取得部５５において、「競技開始イベント属性１」またはこれに相当する属性情報が設定される例を示す模式図である。 第１の実施形態のキー関連データ取得部５５における処理の流れを示すフローチャートである。 図８のステップＳ１３１におけるキーの属性設定処理における詳細な処理の流れを示すフローチャートである。 本発明に係る音声処理装置の第２の実施形態の構成を示すブロック図である。 第２の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。 第２の実施形態において、属性に対応付けて規定されている動作の例を示す表である。 本発明に係る映像音声処理装置の第３の実施形態の構成を示すブロック図である。 第３の実施形態の照合結果記録指示部３５において、「ＢＧＭ属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第３の実施形態の照合結果記録指示部３５において、「オープニング音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第３の実施形態の照合結果記録指示部３５において、「コーナー音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第３の実施形態の照合結果記録指示部３５において、「競技開始イベント属性１」の規定の動作に従って記録された情報の例を示す模式図である。 本発明に係る音声処理装置の第４の実施形態の構成を示すブロック図である。 本発明に係る映像音声処理装置の第５の実施形態の構成を示すブロック図である。 本発明に係る音声処理装置の第６の実施形態の構成を示すブロック図である。 キー照合部において検索キーＡが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。 キー照合部において検索キーＢが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。 本発明に係る映像音声処理装置の第７の実施形態の構成を示すブロック図である。 第７の実施形態の別の構成を示すブロック図である。 本発明に係る映像音声処理装置の第８の実施形態の構成を示すブロック図である。 第８の実施形態の映像音声処理装置の第２の構成を示すブロック図である。 第８の実施形態の映像音声処理装置の第３の構成を示すブロック図である。 本発明に係る映像音声処理装置の第９の実施形態の構成を示すブロック図である。 第９の実施形態の別の構成を示すブロック図である。 本発明に係る音声処理装置の第１０の実施形態の構成を示すブロック図である。 第１０の実施形態の別の構成を示すブロック図である。 本発明に係る音声処理装置の第１１の実施形態の構成を示すブロック図である。 本発明に係る音声処理装置の第１２の実施形態の構成を示すブロック図である。 本発明に係る映像音声処理装置の第１３の実施形態の構成を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第１の構成を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第１の構成の別の例を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第２の構成を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第３の構成を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第３の構成の別の例を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第４の構成を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第４の構成の別の例を示すブロック図である。 第１３の実施形態におけるキー検索に係る構成要素の第５の構成を示すブロック図である。 本発明に係る映像音声処理装置の第１４の実施形態の構成を示すブロック図である。 第１４の実施形態におけるキー検索に係る構成要素を示すブロック図である。 第１４の実施形態におけるキー検索に係る構成要素の別の例を示すブロック図である。 第１４の実施形態における処理を示すフローチャートである。 第１４の実施形態の別の構成における処理を示すフローチャートである。 図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」に係るデータ取得制御部８１の処理を示すフローチャートである。 図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」に係るデータ取得制御部８１の別の処理を示すフローチャートである。 第１４の実施形態の別の構成におけるデータ取得制御部８６等の処理を示すフローチャートである。 第１４の実施形態において、支援データとしてチャプタ（チャプタ分割とチャプタ名設定）を扱う場合の例を説明する図である。

符号の説明

１０ キーデータ管理部
２１ 第２音声データ取得部
２２ 第２音声データ分離部
２３ 第１音声データ取得部
２５ 第１音声データ分離部
２６ 第２音声データ取得部
２７ 音声データ指定部
２８ 第１音声データ取得部
３０ キー照合部
３１ キー生成部
３５ 照合結果記録指示部
３９ 照合結果表示制御部
４１ 第２映像データ取得部
４３ 第１映像データ取得部
４６ 第２映像データ取得部
４７ 映像データ指定部
４８ 第１映像データ取得部
５５ キー関連データ取得部
６１ キー指定情報生成部
６２ 第２支援データ生成部
６５ 第１支援データ生成部
６６ 第１支援データ入力部
８１ データ取得制御部
８６ データ取得制御部
９０ 記録媒体
９１ 記録媒体（第１コンテンツ）
９２ 記録媒体（第２コンテンツ）

Claims (36)

1. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
   前記支援データを生成するためのキー音声データを取得するキー音声データ取得部と、
   前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力部と、
   前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
   前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、
   前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して支援データを生成して記録媒体に記録する支援データ生成部と、
   を具備することを特徴とする情報処理装置。
2. 前記支援データ生成部は、
   前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得部と、
   前記音声パターンデータに前記キー関連データを付加してキーデータとして記録するキーデータ管理部と、
   前記利用対象音声データと前記音声パターンデータとを比較し、前記利用対象データの中でどの位置、または、区間が前記音声パターンデータに該当するかを検出し、該当した前記利用対象音声データにおける前記位置、または、前記区間を表す照合結果情報を出力するキー照合部と、
   前記出力された照合結果情報を前記支援データとして前記記録媒体に記録させる照合結果記録指示部と、
   を具備することを特徴とする請求項１記載の情報処理装置。
3. 前記利用対象データが映像音声データであり、
   前記音声データ取得部は、前記利用対象データから音声データを分離して、この音声データを利用対象音声データとして取得する
   ことを特徴とする請求項２記載の情報処理装置。
4. 前記キーデータの中の前記キー関連データは、前記再生、編集、検索時の動作に関連する動作属性情報を含み、
   前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って前記記録媒体に前記支援データを記録する
   ことを特徴とする請求項２または３記載の情報処理装置。
5. 前記キー指定情報を基準として、前記キー音声データにおけるマーカ位置または分割位置を検索するキーデータ検索部をさらに具備し、
   前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報をキー関連データとして取得する
   ことを特徴とする請求項４記載の情報処理装置。
6. 前記キーデータ検索部は、前記キー指定情報において指定された範囲に一致するマーカ範囲または分割単位を検索し、マーカまたは分割の情報として取得する
   ことを特徴とする請求項５記載の情報処理装置。
7. 前記キーデータ検索部は、前記キー指定情報において指定された範囲の始端または終端のいずれか一方に一致するマーカ位置または分割位置を検索し、前記マーカ位置、前記マーカ位置を含むマーカ範囲、前記分割位置、前記分割位置を含む分割単位のいずれかをマーカまたは分割の情報として取得する
   ことを特徴とする請求項５記載の情報処理装置。
8. 前記キーデータ検索部は、前記キー指定情報において指定された範囲の始端または終端のいずれか一方に近接するマーカ位置または分割位置を検索し、前記マーカ位置、前記マーカ位置を含むマーカ範囲、前記分割位置、前記分割位置を含む分割単位のいずれかをマーカまたは分割の情報として取得する
   ことを特徴とする請求項５記載の情報処理装置。
9. 前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合時の動作を指定する動作属性情報を生成する
   ことを特徴とする請求項５から８のいずれか一項に記載の情報処理装置。
10. 前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカの位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置に前記マーカを支援データとして記録する
    ことを特徴とする請求項５から８のいずれか一項に記載の情報処理装置。
11. 前記キー関連データ取得部は、前記キーデータ検索部において検索された分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置で前記利用対象データを分割するという情報を支援データとして記録する
    ことを特徴とする請求項５から８のいずれか一項に記載の情報処理装置。
12. 前記キー関連データ取得部は、前記照合結果情報に関連するテキスト情報の生成方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
    ことを特徴とする請求項１０または１１記載の情報処理装置。
13. 前記キーデータは、前記キーデータに関連するテキスト情報を含み、
    前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果情報に関連するテキスト情報を生成する
    ことを特徴とする請求項１２記載の情報処理装置。
14. 前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報に関連するテキスト情報を取得し、
    前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記マーカまたは分割の情報に関連するテキスト情報に基づいて前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割された各部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
    ことを特徴とする請求項１２記載の情報処理装置。
15. 前記キーデータは、前記キーデータに関連するテキスト情報を含み、
    前記照合結果記録指示部は、予め規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果情報に関連するテキスト情報を生成し、
    前記照合結果情報に関連するテキスト情報を支援データとして記録する
    ことを特徴とする請求項２または３に記載の情報処理装置。
16. 前記キー関連データ取得部は、前記キー指定情報に基づいて、前記キー音声データに関連するタイトル情報を取得し、
    前記照合結果記録指示部は、前記照合結果情報に含まれる一連の利用対象データ全体に関連するタイトル情報を支援データとして記録する
    ことを特徴とする請求項１５記載の情報処理装置。
17. 前記支援データが、メタデータである
    ことを特徴とする請求項１から１６のいずれか一項に記載の情報処理装置。
18. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理方法において、
    前記支援データを生成するためのキー音声データを取得し、
    前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力し、
    前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成し、
    前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得し、
    前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して支援データを生成して記録媒体に記録する
    ことを特徴とする情報処理方法。
19. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データをコンピュータに生成を実現させるための情報処理プログラムにおいて、
    前記コンピュータに、
    前記支援データを生成するためのキー音声データを取得するキー音声データ取得機能と、
    前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力機能と、
    前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成機能と、
    前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得機能と、
    前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して支援データを生成して記録媒体に記録する支援データ生成機能と、
    を実現させるための情報処理プログラム。
20. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
    第１の利用対象データに関する第１の支援データを入力する第１支援データ入力部と、
    前記第１の支援データに関連するキー音声データを取得するキー音声データ取得部と、
    前記入力された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、
    前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
    前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、
    前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して第２の支援データを生成して記録媒体に記録する第２支援データ生成部と、
    を具備することを特徴とする情報処理装置。
21. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
    第１の支援データを生成するためのキー音声データを取得するキー音声データ取得部と、
    前記キー音声データの変化点を検出し、前記第１の支援データを生成する第１支援データ生成部と、
    前記生成された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、
    前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
    前記キー指定情報によって指定されたキー音声データの区間に関連するキー関連データを取得するキー関連データ取得部と、
    前記音声パターンデータと前記キー関連データとを含むキーデータの中の前記音声パターンデータと、前記利用対象データとを照合して第２の支援データを生成して記録媒体に記録する第２支援データ生成部と、
    を具備することを特徴とする情報処理装置。
22. 前記第２支援データ生成部は、
    前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得部と、
    前記音声パターンデータに前記キー関連データを付加してキーデータとして記録するキーデータ管理部と、
    前記利用対象音声データと前記音声パターンデータとを比較し、前記利用対象データの中でどの位置、または、区間が前記音声パターンデータに該当するかを検出し、該当した前記利用対象音声データにおける前記位置、または、前記区間を表す照合結果情報を出力するキー照合部と、
    前記出力された照合結果情報を前記第２の支援データとして前記記録媒体に記録させる照合結果記録指示部と、
    を具備することを特徴とする請求項２０または２１記載の情報処理装置。
23. 前記利用対象データが映像音声データであり、
    前記音声データ取得部は、前記利用対象データから音声データを分離して、この音声データを利用対象音声データとして取得する
    ことを特徴とする請求項２２記載の情報処理装置。
24. 前記キーデータの中の前記キー関連データは、前記再生、編集、検索時の動作に関連する動作属性情報を含み、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って前記記録媒体に前記支援データを記録する
    ことを特徴とする請求項２２または２３記載の情報処理装置。
25. 前記キー指定情報を基準として、前記キー音声データにおけるマーカ位置または分割位置を検索するキーデータ検索部をさらに具備し、
    前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報をキー関連データとして取得する
    ことを特徴とする請求項２４記載の情報処理装置。
26. 前記第１の支援データは、マーカまたは分割の情報であり、
    前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の情報をキー関連データとして取得する
    ことを特徴とする請求項２４記載の情報処理装置。
27. 前記キー指定情報生成部は、前記第１の支援データにおけるマーカ範囲または分割単位に一致する範囲をキー指定情報として生成する
    ことを特徴とする請求項２６記載の情報処理装置。
28. 前記キー指定情報生成部は、
    前記第１の支援データにおけるマーカ位置、分割位置、マーカ範囲の始端、マーカ範囲の終端、分割単位の始端、分割単位の終端のいずれかを第１の端点とし、
    予め指定された方法により、前記第１の端点の前後いずれか側の第２の端点を決定し、
    前記第１の端点と前記第２の端点の間の範囲をキー指定情報として生成する
    ことを特徴とする請求項２６記載の情報処理装置。
29. 前記キー指定情報生成部は、
    予め指定された第１の方法により、前記第１の支援データにおけるマーカ位置、分割位置、マーカ範囲の始端、マーカ範囲の終端、分割単位の始端、分割単位の終端のいずれかに近接する第１の端点を決定し、
    予め指定された第２の方法により、前記第１の端点の前後いずれか側の第２の端点を決定し、
    前記第１の端点と前記第２の端点の間の範囲をキー指定情報として生成する
    ことを特徴とする請求項２６記載の情報処理装置。
30. 前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合時の動作を指定する動作属性情報を生成する
    ことを特徴とする請求項２６から２９のいずれか一項に記載の情報処理装置。
31. 前記キー関連データ取得部は、前記第１の支援データにおけるマーカの位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置に前記マーカを第２支援データとして記録する
    ことを特徴とする請求項２６から２９のいずれか一項に記載の情報処理装置。
32. 前記キー関連データ取得部は、前記第１の支援データにおける分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置で前記利用対象データを分割するという情報を第２支援データとして記録する
    ことを特徴とする請求項２６から２９のいずれか一項に記載の情報処理装置。
33. 前記キー関連データ取得部は、前記照合結果情報に関連するテキスト情報の生成方法を規定する動作属性情報を生成し、
    前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
    ことを特徴とする請求項３１または３２記載の情報処理装置。
34. 前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の情報に関連するテキスト情報を取得し、
    前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記マーカまたは分割の情報に関連するテキスト情報に基づいて前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割された各部分と関連付けて、前記生成されたテキスト情報を第２支援データとして記録する
    ことを特徴とする請求項３３記載の情報処理装置。
35. 前記キーデータは、前記キーデータに関連するテキスト情報を含み、
    前記照合結果記録指示部は、予め規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、
    前記照合結果情報に関連するテキスト情報を支援データとして記録する
    ことを特徴とする請求項２２または２３記載の情報処理装置。
36. 前記キー関連データ取得部は、前記キー指定情報に基づいて、前記キー音声データに関連するタイトル情報を取得し、
    前記照合結果記録指示部は、前記照合結果情報に含まれる一連の利用対象データ全体に関連するタイトル情報を支援データとして記録する
    ことを特徴とする請求項３５記載の情報処理装置。

Images