JP4081680B2 - 記録装置、記録方法、記録媒体、再生装置、再生方法およびコンテンツの伝送方法 - Google Patents

Description

この発明は、記録装置、再生装置およびコンテンツの伝送方法に関する。

情報検索装置として、撮像手段から得られる画像情報を、文字データや画像パターンデータとして認識し、この認識結果をキーワードとしてデータベースを検索するようにしたものが考えられている。このような情報検索装置によれば、画像情報を処理して情報検索用のキーワードを形成するので、そのキーワードの入力速度や正確性を向上させることができる。

また、書き換え可能な光磁気ディスクとしてミニディスクがあるが、このミニディスクにおいては、図１６に示すように、記録再生の可能なエリアが、データエリアと、その内周のＵＴＯＣエリアとに分けられている。そして、データエリアには、音声や映像のデジタルデータ、あるいはグラフィックスやテキストなどのデジタルデータを始めとする各種のコンテンツが格納される。

また、ＵＴＯＣエリアには、データエリアのアドレス情報やコンテンツ属性などが格納される。このため、ＵＴＯＣエリアは、エリアUTOC0と、エリアUTOC1、UTOC4とから構成され、エリアUTOC0にコンテンツのアドレス情報が格納され、エリアUTOC1あるいはUTOC4にディスクネームやトラックネーム（ディスクやトラックの名前）が、アスキーコードあるいはマルチバイトコードで格納される。

したがって、ミニディスクにおいては、エリアUTOC1またはUTOC4のネーム情報によってコンテンツを識別し、エリアUTOC0のアドレス情報を参照することによって目的とするコンテンツを検索することが可能である。

なお、先行技術文献として例えば以下のものがある。
特開平１１−４５２７７号公報

上述のように、ミニディスクからコンテンツを再生する場合、ＵＴＯＣエリアのネーム情報およびアドレス情報を使用することによってコンテンツを検索することが可能である。

しかし、そのためには、記録時にタイトルデータベースを参照することにより、あるいは再生時に手動により、ディスクネームやトラックネームを入力する必要がある。

また、エリアUTOC1またはUTOC4に記録される情報は、ディスクネームやトラックネームにとどまり、コンテンツを構成する動画、静止画などの映像、音声、グラフィックス、テキストなどのメタ情報（特徴データ）まで反映したものとはなっていない。

この発明は、このような問題点を解決しようとするものである。

この発明においては、
コンテンツを構成する情報から、その情報の特徴を表すメタ情報を抽出する抽出手段と、
上記コンテンツを記録するとともに、上記抽出されたメタ情報を、上記コンテンツと対応付けて管理情報として記録する記録手段と、
照合用メタ情報を格納する記憶手段と、
上記抽出されたメタ情報と、上記照合用メタ情報との差分を求め、その差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度を算出する演算手段と
を有し、
上記記録手段は、上記演算手段が算出した上記類似度に応じて上記抽出されたメタ情報を記録するとともに、上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記抽出された複数のメタ情報を関連付ける情報をさらに記録する
ことを特徴とする記録装置
とするものである。

この発明によれば、検索時、コンテンツを構成するオブジェクトの内容による検索を行うことができる。

〔１〕 記録再生装置
図１は、この発明を適用できる記録再生装置の一例を示し、この例においては、記録再生装置およびその記録媒体が、ビデオカメラ一体型の記録再生装置およびミニディスクの場合である。

すなわち、図１において、記録時には、被写体OBJの像が撮像レンズLNSによりＣＣＤイメージセンサ１１に投影され、ＣＣＤイメージセンサ１１からは被写体OBJのカラー画像信号が取り出される。この取り出されたカラー画像信号が、前処理回路１２に供給されてサンプリング・ホールドおよびＡＧＣなどの前処理が行われてからＡ／Ｄコンバータ回路１３に供給されてデジタル映像信号にＡ／Ｄ変換され、このデジタル映像信号がデータマネージャ回路３１に供給される。

このデータマネージャ回路３１には、バッファ用のメモリ３２と、動き検出回路３３と、ＭＰＥＧエンコーダ／デコーダ回路３４とが接続され、このデータマネージャ回路３１に供給されたデジタル映像信号は、例えばＭＰＥＧ２方式によりデータ圧縮される。また、マイクロフォン２１からの音声信号（オーディオ信号）が、Ａ／Ｄコンバータ回路２２に供給されてデジタル音声信号にＡ／Ｄ変換され、このデジタル音声信号が、エンコーダ／デコーダ回路２３に供給されて例えばＡＴＲＡＣ（登録商標）方式によりデータ圧縮されてデータマネージャ回路３１に供給される。

こうして、データマネージャ回路３１において、これに供給されたデジタル映像信号およびデジタル音声信号は、さらに１つのストリーミング信号にまとめられて取り出される。

そして、この取り出されたストリーミング信号が‥‥‥エンコード処理がされ、この処理結果の信号が変復調回路３６に供給されて記録用の被変調信号とされ、この被変調信号が記録再生ヘッド３７に供給されてミニディスク３８に記録される。

なお、この記録時、信号の記録に対応してミニディスク３８のＵＴＯＣエリアの内容が更新される。また、このとき、データマネージャ回路３１からデジタル映像信号が取り出され、このデジタル映像信号がＤ／Ａコンバータ回路１４に供給されてアナログ映像信号にＤ／Ａ変換され、このアナログ映像信号がディスプレイコントローラ１５によりモニタ用のＬＣＤ１６に供給され、ＬＣＤ１６にはＣＣＤイメージセンサ１１の撮像している画像が表示される。

さらに、符号３９は、マイクロコンピュータを有して構成されたシステム制御回路であり、これにより上述した記録の制御および管理が行われるとともに、次に述べる再生の制御および管理が行われる。

すなわち、再生時には、記録再生ヘッド３７によりミニディスク３８から被変調信号が再生され、この再生信号が変復調回路３６およびエンコーダ／デコーダ回路３５に順次供給されてもとのストリーミング信号が取り出され、このストリーミング信号がデータマネージャ回路３１に供給されてもとのデジタルデータにデータ伸長されたデジタル映像信号と、データ圧縮されたままのデジタル音声信号とが分離して取り出される。

そして、デジタル映像信号が、Ｄ／Ａコンバータ回路１４に供給されてアナログ映像信号にＤ／Ａ変換され、このアナログ映像信号がディスプレイコントローラ１５によりモニタ用のＬＣＤ１６に供給され、ＬＣＤ１６にはミニディスク３８から再生された画像が表示される。また、データマネージャ回路３１から取り出されたデジタル音声信号が、エンコーダ／デコーダ回路２３およびＤ／Ａコンバータ回路２４に順に供給されてもとのアナログ音声信号にデータ伸長およびＤ／Ａ変換され、この音声信号が出力端子２５に取り出される。

〔２〕 ミニディスク
ミニディスクにおいては、これに記録する信号が、音声信号や映像信号のように時間的に連続した信号であってもディスク上では離散的に記録することが認められている。このため、ミニディスクにおいては、ＵＴＯＣエリアは、例えば図２および図３に示すような構成とされている。

すなわち、ミニディスクにおいては、１つのクラスタが、本来のデジタルデータを格納する32個のセクタと、クラスタのリンク用の４個のセクタとから構成される。この場合、各セクタの大きさは2352バイトとされ、したがって、１クラスタは、84672バイト（＝2352バイト×32セクタ＋2352バイト×４セクタ）である。

そして、ミニディスクに対する記録は１クラスタを単位として行われる。また、ＵＴＯＣエリアは、上記のようにエリアUTOC0、UTOC1、UTOC4を有するが、エリアUTOC0、UTOC1、UTOC4のそれぞれに１つのセクタが割り当てられている。

図２はエリアUTOC0のセクタの詳細を示すもので、この図においては、１セクタ2352バイトのエリアを、縦588バイト×横４バイトのテーブル状に示している。なお、以下の説明においては、横４バイトのエリアを１番地とし、縦方向を第０番地〜第587番地とする（したがって、１番地は４バイトの大きさとなる）。また、以下は、ミニディスクのデータエリアに記録されているデータが音楽の曲のものであるとみなして説明する。

そして、第０番地〜第３番地のデータがヘッダとされ、第12番地の第２バイト目から第75番地の第４バイト目までの各１バイトには、第ｎ曲目の曲の記録位置に関するポインタP-TNOn（ｎ＝1〜255）が書き込まれる。また、第78番地〜第587番地の各第１バイト目〜第３バイト目に、第ｎ曲目の曲の記録の開始位置および終了位置を示す開始アドレスStart addressおよび終了アドレスEnd addressが、255組書き込まれている。

この場合、ポインタP-TNOnの示す番地が、第ｎ曲目の曲の開始アドレスStart addressの書き込まれいる番地であり、続く番地が終了アドレスEnd addressの書き込まれている番地である。つまり、P-TNOn＝ｍであれば、第（76＋ｍ×２）番地に第ｎ曲目の曲の開始アドレスStart addressが書き込まれ、続く第（76＋ｍ×２＋１）番地に第ｎ曲目の曲の終了アドレスEnd addressが書き込まれている。

また、開始アドレスStart addressの示す記録開始位置から終了アドレスEnd addressの示す記録開始位置までは、ディスク上のクラスタは連続して使用される。なお、以下、この１組の開始アドレスStart addressおよび終了アドレスEnd addressにより指定される連続した記録エリアを、「パーツ」と呼ぶ。このパーツの数は、開始アドレスStart addressおよび終了アドレスEnd addressの組みの数に等しいので、255個となる。

さらに、１つの曲に対して、ディスク上のクラスタを連続して使用できない場合、すなわち、１つの曲が複数のパーツを使用する場合、それらのパーツがどのような順番で使用されているかを知る必要がある。そこで、第78番地〜第587番地の各終了アドレスEnd addressに続く第４バイト目には、リンクポインタLink-Pが用意され、このリンクポインタLink-Pにより、このリンクポインタLink-Pの属するパーツに続くパーツの開始アドレスStart addressが、パーツポインタP-TNOnと同様にして指定される。なお、次に続くパーツがないとき、すなわち、そのパーツが、対応する曲の最後のパーツのとき、リンクポインタLink-Pは、例えば０とされる。

また、第78番地〜第587番地の各開始アドレスStart addressに続く第４バイト目には、各パーツの処理モードを示すモードデータTRACK Modeが書き込まれ、これにより対応するパーツのコピー禁止、書き込み禁止、エンファシスの有無などを識別できるようにされている。

したがって、例えば、図４に示すように、あるトラックが、パーツ＃１、＃２、＃３から構成される場合、エリアUTOC0のポインタP-TNO1によりパーツ＃１の開始アドレスが示され、このパーツ＃１のリンクポインタLink-Pにより続くパーツ＃２の開始アドレスが示され、このパーツ＃２のリンクポインタLink-Pにより、続くパーツ＃３の開始アドレスが示される。また、パーツ＃３のリンクポインタLink-Pは０とされる。

なお、開始アドレスStart addressおよび終了アドレスEnd addressのフォーマットは、図２にも示すように、それぞれ３バイトの大きさであるが、その先頭から14ビットがディスク上におけるクラスタのクラスタ番号を示し、続く６ビットが、そのクラスタにおけるセクタの番号を示し、さらに、最後の４ビットがそのセクタにおけるサウンドグループの番号を示す。したがって、この開始アドレスStart addressおよび終了アドレスEnd addressを使用すれば、ディスク上の位置を、サウンドグループ単位で特定できることになる。

そして、ミニディスクは、以上のようなフォーマットとされているので、デジタルデータの追加記録、上書き記録、部分的な消去などを行うことができる。また、消去は、データエリアのデジタルデータを実際にクリアしなくても、エリアUTOC0を書き換えることにより実現できる。

図３は、エリアUTOC1、UTOC4のセクタの詳細を示すもので、この図も図２と同様、エリアUTOC1、UTOC4のセクタをテーブル状に示している。そして、エリアUTOC1は、ミニディスクのディスクネームおよび曲のトラックネームをアスキーコードで格納し、エリアUTOC4はマルチバイトで格納するためのものである。

このため、第０番地〜第３番地のデータがヘッダとされ、第12番地の第２バイト目から第75番地の第４バイト目までの各１バイトには、第ｎ曲目の曲のトラックネームの記録位置に関するポインタP-TNAn（ｎ＝1〜255）が書き込まれる。

また、第76番地および第587番地のうち、奇数番地の第４バイト目を除く番地に、ディスクネーム、あるいは第ｎ曲目の曲のトラックネームが書き込まれる。さらに、第76番地〜第587番地のうち、奇数番地の第４バイト目に、リンクポインタLink-Pが用意され、このリンクポインタLink-Pにより、このリンクポインタLink-Pの属するパーツに続くパーツの開始アドレスStart addressが、ポインタP-TNAnと同様にして指定される。

したがって、〔１〕の記録再生装置においては、記録時には、データエリアに本来のデジタルデータが書き込まれるとともに、その書き込みに対応してＵＴＯＣエリアのテーブルが更新され、再生時には、ＵＴＯＣエリアのテーブルを参照して目的とするデジタルデータが取り出されることになる。

〔３〕 オブジェクトの内容の抽出（その１）
ここでは、記録されるオブジェクトの内容として顔画像をともなったコミュニケーションに着目し、オブジェクトの内容を抽出する手段の例として、記録される人物の顔認識を組み合わせた場合について説明する。

顔認識の方法はいろいろ提案されているが、いずれの認識方法においても、図５に示すように、顔認識回路は、入力された映像信号から顔の位置を検出する顔位置検出ブロック４１〜４２と、その顔画像から固有データを抽出する顔画像詳細処理ブロック４３〜４６と、その固有データとあらかじめ登録されたデータとを照合する照合ブロック５１〜５４とから構成される。

そして、図５の顔認識回路は、ウェイブレット変換とグラフマッチングとを組み合わせた場合であり、顔器官上にノードと呼ばれる特徴点を50ポイント程度設定し、ウェイブレット変換により、それぞれのノードにおける方向性、濃淡、位置関係などの特徴量を抽出し、この抽出した特徴量から記録される人物に固有のデータを作成している。

すなわち、例えば図６Ａに示すような画像の映像信号が、入力端子４１を通じて抽出回路４２に供給されて映像信号の連続するフレームから動きのある部分が抽出される。あるいは、抽出回路４２において、入力された映像信号に少ないノード数でグラフマッチングが行われて顔の部分が切り出される。そして、この抽出回路４２の抽出出力がプリセレクタ４３に供給され、図６Ｂに示すように、顔の部分が詳細に検出される。

次に、この検出された顔画像の映像信号が正規化回路４４に供給され、拡大あるいは縮小することにより最適な大きさに正規化され、この正規化された顔画像の映像信号がランドマークファインダ４５に供給され、各ノードが追従して適切な位置に合せられる。そして、ランドマークファインダ４５の出力が背景消去回路４６に供給され、図６Ｃに示すように、顔領域が切り出されるとともに、その他の部分は灰色で埋められ、各ノードから得られる情報が特徴量として抽出される。

そして、一般的な顔認識回路の場合には、背景消去回路４６により抽出された特徴量が照合回路５１に供給され、照合データベース５２に登録されている登録データと比較・照合されて本人の確認などが行われ、その結果が出力端子５３に取り出される。

しかし、この発明においては、背景消去回路４６により抽出された特徴量（メタ情報）を端子５４に取り出し、この特徴量を使用して次の〔４〕およびこれ以降の処理を行う。

〔４〕 特徴量の格納方法
記録されるオブジェクト（端子４１の入力映像信号）にとって、背景消去回路４６により抽出された特徴量が最も重要な情報である。そこで、この発明においては、この抽出された特徴量に着目し、この特徴量をＵＴＯＣ形式でミニディスクに格納する。

図７は、抽出された特徴量と、記録されるオブジェクトとの関連付けの一例を示す。すなわち、図７Ａに示すように、映像信号の中に顔画像ＦAの特徴量ＣAが抽出された場合、図７Ｂに示すように、その抽出されたときの開始アドレスSADD_Aおよび終了アドレスEADD_Aを、その特徴量ＣAとともにＵＴＯＣ形式で保存する。

また、映像信号の中に顔画像ＦB、ＦCの特徴量ＣB、ＣCが抽出された場合、その抽出されたとき開始アドレスSADD_B、SADD_Cおよび終了アドレスEADD_A、EADD_Cを、その特徴量ＣB、ＣCとともにＴＯＣエリアに保存する。あるいは、図７Ｃに示すように、顔画像ＦA〜ＦCの特徴量ＣA〜ＣCが抽出された場合、その抽出されたとき開始時刻ST_A、ST_B、ST_Cおよび終了時刻ET_A、ET_B、ET_Cを、特徴量ＣB、ＣCとともにＵＴＯＣ形式で保存する。

すなわち、記録されるオブジェクトの中に顔画像が検出された場合、それぞれの特徴量と、そのオブジェクトとを関連付ける情報として、そのときのオブジェクトのアドレス情報（開始アドレスおよび終了アドレス）あるいは時刻情報（開始時刻および終了時刻）などを、それぞれの特徴量とともに、ＵＴＯＣ形式で保存する。

このようにすれば、検索時、顔画像の特徴をキーワードとしてオブジェクトの検索を行うことができ、オブジェクトの検索性を向上させることができる。

〔５〕 特徴量の格納方法の例
ミニディスクにおいては、図２および図３（および図４）にも示すように、ＵＴＯＣエリアに格納されたアドレス情報は、コンテンツのトラックを構成するパーツおよびそのフラグメンテーションだけを定義している。

そこで、この例においては、特徴量を、例えば図８〜図１０に示すように、ＵＴＯＣ形式で格納する。すなわち、ミニディスクに記録される映像信号は、例えば図８Ａに示すように時間的に連続しているが、対象とする人物の顔（顔オブジェクト）が、斜線を付けた期間に離散的に現れているとする。つまり、１つのトラックのうち、斜線を付けた区間に対象とする顔オブジェクトが現れているとする。

すると、この顔オブジェクトについての管理情報は、図８Ｂに示すとおりとされる。すなわち、ポインタP-FADR1によりエリアOBJ#1-1の開始アドレスが示され、このエリアOBJ#1-1のリンクポインタLink-Pにより続くエリアOBJ#1-2の開始アドレスが示され、このエリアOBJ#1-2のリンクポインタLink-Pにより、続くエリアOBJ#1-3の開始アドレスが示される。

したがって、図８Ｂに示すポインタを使って図８Ａの映像信号を再生すると、図８Ｃに示すように、対象とする顔オブジェクトだけが再生されることになる。

このようなポインタ形式を実現するため、ミニディスクのデータエリアに、例えば図９および図１０に示すデータテーブルが用意される。ここで、図９に示すデータテーブルは、顔オブジェクトが記録されているエリアが図８Ｂに示すように分割されているとき、これを連続化するためのリンクテーブルであり、図２に示すＵＴＯＣエリアUTOC0と同様の構成とされる。

すなわち、このリンクテーブルにも１セクタが割り当てられ、図２と同様のテーブル構成とされる。そして、第０番地〜第３番地のデータがヘッダとされ、第12番地の第２バイト目から第75番地の第４バイト目までの各１バイトには、第ｎ番目の顔オブジェクトの記録位置に関するポインタP-FADRn（ｎ＝1〜255）が書き込まれる。また、第78番地〜第587番地の各第１バイト目〜第３バイト目に、第ｎ番目の顔オブジェクトの記録の開始位置および終了位置を示す開始アドレスStart addressおよび終了アドレスEnd addressが、255組書き込まれる。

この場合、ポインタP-FADRnの示す番地が、第ｎ番目の顔オブジェクトの開始アドレスStart addressの書き込まれている番地であり、続く番地が終了アドレスEnd addressの書き込まれている番地である。

さらに、第78番地〜第587番地の各終了アドレスEnd addressに続く第４バイト目には、リンクポインタLink-Pが用意され、このリンクポインタLink-Pにより、このリンクポインタLink-Pの属するパーツに続くパーツの開始アドレスStart addressが、パーツポインタP-FADRnと同様にして指定される。なお、次に続くパーツがないとき、すなわち、そのパーツが、対応する顔オブジェクトの最後のパーツのとき、リンクポインタLink-Pは、例えば０とされる。

したがって、例えば、図８に示すように、あるトラックのエリアOBJ#1-1、OBJ#1-2、OBJ#1-3に第１のオブジェクトの顔オブジェクトOBJ#1が記録されている場合、ポインタP-FADR1によりエリアOBJ#1-1の開始アドレスが示され、このエリアOBJ#1-1のリンクポインタLink-Pにより続くエリアOBJ#1-2の開始アドレスが示され、このエリアOBJ#1-2のリンクポインタLink-Pにより、続くエリアOBJ#1-3の開始アドレスが示される。

なお、開始アドレスStart addressおよび終了アドレスEnd addressのフォーマットは、図９にも示すように、それぞれ３バイトの大きさであるが、ＵＴＯＣエリアにおける開始アドレスStart addressおよび終了アドレスEnd addressと同様、その先頭から14ビットがディスク上におけるクラスタのクラスタ番号を示し、続く６ビットが、そのクラスタにおけるセクタの番号を示し、さらに、最後の４ビットがそのセクタにおけるサウンドグループの番号を示す。したがって、この開始アドレスStart addressおよび終了アドレスEnd addressを使用すれば、ディスク上の位置を、サウンドグループ単位で特定できることになる。

一方、図１０に示すデータテーブルは、顔オブジェクトが記録されている第１番目のエリアの開始アドレスを集めたエントリテーブルであり、図３に示すＵＴＯＣエリアUTOC1と同様の構成とされる。

すなわち、このエントリテーブルにも１セクタが割り当てられ、図３と同様のテーブル構成とされる。そして、第０番地〜第３番地のデータがヘッダとされ、第12番地の第２バイト目から第75番地の第４バイト目までの各１バイトには、第ｎ番目の顔オブジェクトの記録位置に関するポインタP-FNOn（ｎ＝1〜255）が書き込まれる。また、第78番地および第587番地のうち、偶数番地の全部と奇数番地の第４バイト目を除く番地とを１組とし、その第ｎ組目に第ｎ番目の顔オブジェクトの特徴量の情報が書き込まれる。

したがって、エントリテーブル（図１０）およびリンクテーブル（図９）を参照すれば、ある特徴量を有する顔オブジェクトの記録エリアを知ることができる。

〔６〕 顔オブジェクトの登録方法および検索方法
ここでは、図８ＡおよびＢに示すように、顔オブジェクトが現れるとする。すると、図５に示す顔認識回路において、第１番目の顔オブジェクトOBJ#1-1の特徴量が抽出されると、照合データベース５２のデータと比較される。この比較の結果、顔オブジェクトOBJ#1-1の特徴量が、照合データベース５２に登録されている顔オブジェクトOBJ#1の特徴量と一致すると、その特徴量がエントリテーブルに登録される。

なお、照合データベース５２が準備されていないとき、あるいは照合データベース５２に顔オブジェクトOBJ#1-1の特徴量が登録されていないときには、顔オブジェクトOBJ#1-1の特徴量が、新しい顔オブジェクトOBJ#1の特徴量として照合データベース５２に登録される。また、顔オブジェクトの特徴量の比較は、両特徴量の差分を比較し、その距離が所定の閾値より小さければ、一致とみなし、大きければ、不一致とみなすものである。

次に、第２番目の顔オブジェクトOBJ#1-2の特徴量が抽出されると、第１番目の顔オブジェクトOBJ#1-1の特徴量が抽出されたときと同様に処理される。さらに、第３番目の顔オブジェクトOBJ#1-3の特徴量が抽出されると、第２番目の顔オブジェクトOBJ#1-2の特徴量が抽出されたときと同様に処理される。

したがって、顔オブジェクトOBJ#1-1〜OBJ#1-3は、図８Ｂに示すようにリンクされるとともに、その特徴量が検索時のキーワードとなる。

一方、検索時（再生時）には、照合データベース５２に登録されている顔オブジェクトOBJ#1が指定されると、エントリテーブルうち、その顔オブジェクトOBJ#1のStart Addressへのポインタを示すP-FADRnにより第１番目の顔オブジェクトOBJ#1-1の先頭アドレスを知ることができる。また、その顔オブジェクトOBJ#1-1のリンクポインタLINK-Pにより第２番目の顔オブジェクトOBJ#1-2の先頭アドレスを知ることができ、さらに、その顔オブジェクトOBJ#1-2のリンクポインタLINK-Pにより第３番目の顔オブジェクトOBJ#1-3の先頭アドレスを知ることできる。

したがって、指定された顔オブジェクトOBJ#1だけを連続して再生することができ、図８Ｃに示すように、顔オブジェクトOBJ#1だけの連続したトラックが存在しているかのように見せることができる。

〔７〕 オブジェクトの内容の抽出（その２）
上述の〔３〕においては、人物の顔認識を組み合わせた場合であるが、以下は話者認識を使用する場合について説明する。

話者認識の方法もいろいろと提案されているが、いずれの認識方法においても、その認識回路は図１１に示すように構成される。すなわち、話者の音声信号が、入力端子６１を通じて前処理回路６２に供給されて帯域制限や信号レベルの正規化などの前処理が行われてから特徴パラメータ抽出回路６３に供給されて特徴パラメータが抽出され、類似度算出回路６４に供給される。

また、データベース６５からこれに登録されている音声データが取り出され、この音声データが特徴パラメータ抽出回路６６に供給されて特徴パラメータが抽出され、類似度算出回路６４に供給される。そして、類似度算出回路６４において、端子６１を通じて供給された音声信号と、データベース６５に登録されている音声データとの類似度が計算され、その計算結果が話者認識判定回路６７に供給され、（端子６１を通じて供給された音声信号を与えた）話者の判定結果が端子６８に出力される。

そこで、特徴パラメータ抽出回路６３から出力される話者の抽出パラメータが端子６９に特徴量として取り出され、この特徴量が〔３〕〜〔５〕により説明した特徴量の場合と同様にエントリテーブルおよびリンクテーブルに格納される。

すなわち、例えば図１２に示すように、あるトラックのエリアOBJ#1-1、OBJ#1-2、OBJ#1-3に第１のオブジェクトの特徴量OBJ#1が記録され、エリアOBJ#2-1、OBJ#2-2、OBJ#2-3に第２のオブジェクトの特徴量OBJ#2が記録される。すると、ポインタP-VADR1によりエリアOBJ#1-1の開始アドレスが示され、このエリアOBJ#1-1のリンクポインタLink-Pにより続くエリアOBJ#1-2の開始アドレスが示され、このエリアOBJ#1-2のリンクポインタLink-Pにより、続くエリアOBJ#1-3の開始アドレスが示される。

このようなポインタ形式を実現するため、ミニディスクのデータエリアに、例えば図１３および図１４に示すデータテーブルが用意される。これらのデータテーブルは、図９および図１０に示すデータテーブルと同様に構成され、図１３に示すＴＯＣエリアはリンクテーブルであり、図１４に示すデータテーブルはエントリテーブルである。

したがって、これらのエントリテーブルおよびリンクテーブルを参照すれば、話者の記録エリアを知ることができる。

〔８〕 特徴量の格納方法（その２）
上述の〔４〕〜〔７〕においては、特徴量をＵＴＯＣ形式で格納した場合であるが、例えば図１５に示すように、パーソナルコンピュータなどで採用されているトラックインフォメーションテーブル形式で格納することもできる。

すなわち、図１５は、記録媒体に格納されているディレクトリ\およびファイルをツリー形式で示すもので、ルートディレクトリ\Rootに、ビデオコンテンツを格納するディレクトリ\Videoと、オーディオコンテンツを格納するディレクトリ\Audioとが用意される。

そして、ディレクトリ\Videoには、本来の動画データのファイルを収納するディレクトリ\Video Data Fileと、このディレクトリ\Video Data Fileのファイル情報を収納するディレクトリ\Video Track Index Fileとが用意され、ディレクトリ\Audioには、本来の音声データのファイルを収納するディレクトリ\Audio Data Fileと、このディレクトリ\Audio Data Fileのファイル情報を収納するAudio Track Index Fileとが用意される。

さらに、ディレクトリ\Video Track Index Fileには、例えば図９および図１０に示すリンクテーブルおよびエントリテーブルが収納され、ディレクトリ\Audio Track Index Fileには、例えば図１３および図１４に示すリンクテーブルおよびエントリテーブルが収納される。

したがって、ディレクトリ\Video Track Index Fileおよび\Audio Track Index Fileのテーブルを参照することにより、オブジェクトの内容による検索ができる。

〔９〕 まとめ
上述のシステムによれば、動画、静止画などの映像や音声などコンテンツを記録する場合、画像抽出や音声抽出などを行うことにより、映像や音声などのメタ情報を抽出し、この抽出したメタ情報も管理情報として記録しているので、再生時、そのコンテンツを構成するオブジェクトの内容による検索を行うことができる。

なお、上述においては、コンテンツが映像あるいは音声の場合であるが、グラフィックスやテキストなどの情報に対して、イメージ抽出や文字抽出を行うことにより、グラフィックスやテキストなどのメタ情報を抽出することもでき、そのメタ情報を同様に記録することもできる。すなわち、メタ情報としては、
顔のときは、誰の顔か
話者のときは、誰の声か
音声のときは、何を話したか
画像のときは、何の画像か
テキストのときは、何の説明か
位置のときは、どこで起こったか
時刻のときは、いつ起こったか
などとすることができる。さらに、対象となる人の生体情報、例えば脈拍、呼吸、血圧などのデータをメタ情報として記録することもできる。

また、上述においては、コンテンツを記録・再生する場合であるが、伝送する場合にも、この発明を適用することができる。

〔略語の一覧〕
Ａ／Ｄ ：Analog to Digital
ＡＧＣ ：Automatic Gain Control
ＡＴＲＡＣ（登録商標）：Adaptive TRansform Acoustic Coding (Trade Mark)
ＣＣＤ ：Charge Coupled Device
Ｄ／Ａ ：Digital to Analog
ＬＣＤ ：Liquid Crystal Display
ＭＰＥＧ：Motion Picture Image Coding Experts Group
ＴＯＣ ：Table Of Contents
ＵＴＯＣ：User TOC

この発明の一形態を示す系統図である。 データテーブルの一例を示す図である。 データテーブルの一例を示す図である。 データの記録位置を説明するための図である。 顔認識回路の一例を示す系統図である。 特徴量の抽出方法の一例を示す図である。 特徴量とアドレスおよび時刻との関係の一例を示す図である。 データの記録位置を説明するための図である。 データテーブルの一例を示す図である。 データテーブルの一例を示す図である。 話者認識回路の一例を示す系統図である。 データの記録位置を説明するための図である。 データテーブルの一例を示す図である。 データテーブルの一例を示す図である。 データツリーの一例を示す図である。 ディスク構造の一例を示す図である。

符号の説明

１１…ＣＣＤイメージセンサ、１２…前処理回路、１３…Ａ／Ｄコンバータ回路、１４…Ｄ／Ａコンバータ回路、１５…ディスプレイコントローラ、１６…ＬＣＤ、２１…マイクロフォン、２２…Ａ／Ｄコンバータ回路、２３…エンコーダ／デコーダ回路、２４…Ｄ／Ａコンバータ回路、３１…データマネージャ回路、３２…メモリ、３３…動き検出回路、３４…ＭＰＥＧエンコー／デコーダダ回路、３５…エンコーダ／デコーダ回路、３６…変復調回路、３７…記録再生ヘッド、３８…ミニディスク

Claims (7)

1. コンテンツを構成する情報から、その情報の特徴を表すメタ情報を抽出する抽出手段と、
   上記コンテンツを記録するとともに、上記抽出されたメタ情報を、上記コンテンツと対応付けて管理情報として記録する記録手段と、
   照合用メタ情報を格納する記憶手段と、
   上記抽出されたメタ情報と、上記照合用メタ情報との差分を求め、その差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度を算出する演算手段と
   を有し、
   上記記録手段は、上記演算手段が算出した上記類似度に応じて上記抽出されたメタ情報を記録するとともに、上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記抽出された複数のメタ情報を関連付ける情報をさらに記録する
   ことを特徴とする記録装置。
2. コンテンツを構成する情報から、その情報の特徴を表すメタ情報を抽出する抽出ステップと、
   上記コンテンツを記録するとともに、上記抽出されたメタ情報を、上記コンテンツと対応付けて管理情報として記録する記録ステップと、
   上記抽出されたメタ情報と、記憶手段に格納されている照合用メタ情報との差分を求め、この差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度を算出する演算ステップと
   を有し、
   上記記録ステップは、上記演算ステップが算出した上記類似度に応じて上記抽出されたメタ情報を記録するとともに、上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記抽出された複数のメタ情報を関連付ける情報をさらに記録する
   ことを特徴とする記録方法。
3. コンテンツが記録されるとともに、このコンテンツを構成する情報から、その情報の特徴を表すメタ情報が抽出されて上記コンテンツと対応付けて管理情報として記録され、
   上記抽出されたメタ情報と、記憶手段に格納されている照合用メタ情報との差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度が算出されるとともに、この算出された上記類似度に応じて上記抽出したメタ情報が記録され、かつ、
   上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記複数のメタ情報を関連付けるリンク情報がさらに記録されている
   ことを特徴とする記録媒体。
4. コンテンツが記録されるとともに、このコンテンツを構成する情報から、その情報の特徴を表すメタ情報が抽出されて上記コンテンツと対応付けて管理情報として記録され、
   上記抽出されたメタ情報と、記憶手段に格納されている照合用メタ情報との差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度が算出されるとともに、この算出された上記類似度に応じて上記抽出されたメタ情報が記録され、かつ、
   上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記複数のメタ情報を関連付けるリンク情報がさらに記録されている記録媒体から上記コンテンツを再生する再生装置であって、
   上記記録媒体から上記コンテンツを再生するとき、上記メタ情報に対応するコンテンツを選択的に再生する再生手段を有する
   ことを特徴とする再生装置。
5. 請求項４に記載の再生装置において、
   上記記録媒体に上記リンク情報が記録されているとき、上記再生手段は、上記リンク情報にしたがってメタ情報を参照し、
   この参照したメタ情報に対応するコンテンツを再生する
   ことを特徴とする再生装置。
6. コンテンツが記録されるとともに、このコンテンツを構成する情報から、その情報の特徴を表すメタ情報が抽出されて上記コンテンツと対応付けて管理情報として記録され、
   上記抽出されたメタ情報と、記憶手段に格納されている照合用メタ情報との差分の大きさに基づいて、上記抽出されたメタ情報と上記照合用メタ情報との類似度が算出されるとともに、この算出された上記類似度に応じて上記抽出したメタ情報が記録され、かつ、
   上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記複数のメタ情報を関連付けるリンク情報がさらに記録されている記録媒体から上記コンテンツを再生する再生方法であって、
   上記記録媒体から上記コンテンツを再生するとき、上記メタ情報に対応するコンテンツを選択的に再生するとともに、
   上記記録媒体に上記リンク情報が記録されているとき、上記リンク情報にしたがってメタ情報を参照し、
   この参照したメタ情報に対応するコンテンツを再生する
   ことを特徴とする再生方法。
7. コンテンツを構成する情報から、その情報の特徴を表すメタ情報を抽出する抽出ステップと、
   上記コンテンツを伝送するとともに、上記抽出されたメタ情報を、上記コンテンツと対応付けて管理情報として伝送する伝送ステップと、
   上記抽出された上記メタ情報と、記憶手段に格納されている照合用メタ情報との差分を求め、この差分の大きさに基づいて、上記抽出された上記メタ情報と上記照合用メタ情報との類似度を算出する演算ステップと
   を有し、
   上記伝送ステップは、上記類似度に応じて上記メタ情報を伝送するとともに、上記抽出された複数のメタ情報が互いに類似していると判断されるとき、上記複数のメタ情報を関連付ける情報をさらに伝送する
   ことを特徴とするコンテンツの伝送方法。

Images