JP3607228B2 - 映像検索データ生成装置および映像検索データ生成方法並びに映像検索装置および映像検索方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、キーワードを用いて所望のシーン（映像及び又は音声）を検索するためのデータを生成する映像検索データ生成装置および映像検索データ生成方法並びに生成した検索データを用いて所望のシーンを検索する映像検索装置および映像検索方法に関する。
【０００２】
【従来の技術】
近年、テレビジョン放送の多チャンネル化やインターネットに代表されるコンピュータネットワークの急速な普及に伴い膨大な映像が家庭を含めた社会に流通している。一方、記録メディア容量の増大に伴い、家庭において大量の映像信号の蓄積が可能になっている。そこで、このような大量の映像信号の中からユーザが希望する映像シーンを簡単に且つ高い精度で取り出すための技術が必要になる。
【０００３】
これまでは、映像信号の変化から映像信号の変わり目を検出してその部分の映像シーンを表示する方式や、画像認識技術を用いて特定のオブジェクトで構成される特定シーンを検出して表示する方式などの検索システムが考えられている。しかしながら、これらの検索システムは、検索された映像シーンが必ずしもユーザの検索意図をよく反映したシーンとは限らないといった問題がある。
【０００４】
また、字幕情報や，米国のテレビジョン放送で採用されているクローズドキャプション情報を，映像中から文字認識によって読取り、特定シーンを検出する検索システムがある。しかし、この検索システムは、字幕情報やクローズドキャプションを良く反映したシーンでは検索意図を良く反映したシーンが得られるものの、こうした情報は、人手を介して付加されることから一部の放送番組に限られているために、広く一般の映像に適用することは困難である。
【０００５】
ところで、映像に付随している音声情報をキーワードとして用いることができれば、検索意図を良く反映した検索システムの実現が期待される。特開平６−６８１６８号公報には、音声キーワードを用いて所望のシーンを検索する映像検索システムが開示されている。
【０００６】
図１２に、上記特開平６−６８１６８号公報に開示された検索システムの機能ブロックが示されている。音声信号及び映像信号が音声映像入力部１２０１にて受信され、受信された音声信号は音声信号記録部１２０２へ蓄積され、受信された映像信号は映像信号記録部１２０３に蓄積される。音声信号は音声分析部１２０４において分析され、音声の特徴を表わした特徴パラメータの時系列データが生成される。生成された特徴パラメータの時系列は音声特徴記憶部１２０５へ格納される。
【０００７】
一方、ユーザが後からシーン検索に使用するためのキーワードが、音声の形式でキーワード特徴分析部１２０６に与えられる。キーワード特徴分析部１２０６は、キーワードとしての音声を分析して、音声キーワードの特徴を表わした特徴パラメータの時系列データを生成する。生成した特徴パラメータの時系列データはキーワード特徴パラメータ記憶部１２０７に格納される。
【０００８】
キーワード区間抽出部１２０８は、記憶部１２０２に蓄積されている音声信号の特徴パラメータの時系列データと、キーワード音声の特徴パラメータの時系列データとを比較して、音声信号中のキーワード区間を抽出する。インデクス付与部１２０９は、抽出されたキーワード区間とその音声信号に対応する映像信号のフレーム番号とを対応付けるインデクス位置データ１２１０を作成する。
【０００９】
検索時にインデクス位置データ１２１０を使用して検索すれば、音声信号からキーワードが出現する映像信号のフレーム番号を指定することが出来、映像音声出力部１２１１から該当する映像と音声を出力でき、ユーザが所望とする映像、音声を提示することができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、予め検索に使用すべき音声キーワードを登録しなければならず、それ以外のキーワードを使用して検索することができないといった問題がある。特に、ユーザが不確かなキーワードを入力した場合には、検索エラーとなってしまって検索意図を反映したシーンを検索できなかった。
【００１１】
本発明は、以上のような実情に鑑みてなされたものであり、映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる装置及び方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できるシーン検索システムである。
【００１７】
本発明は、映像信号に同期した音声信号から特徴パタンを抽出する抽出手段と、前記音声信号に対して処理対象となる音声区間を設定し、音素の標準音声パタンを複数音素分用意しておき、各音声区間において標準音声パタンと前記抽出特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報が含まれたインデクスを各音素について生成するインデクス生成手段と、映像信号、音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化手段と、を具備した映像検索データ生成装置である。
【００１８】
また本発明は、映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、前記音声信号に対して処理対象となる音声区間を設定し、各音声区間において音素の標準音声パタンと当該音声信号から抽出した特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報を含ませたものである、データストリームが記憶された記憶部と、前記記憶部から少なくともインデクスを分離して読み出す読出手段と、読み出したインデクスを時系列に並べた時系列データと入力キーワードの音素系列とを照合し、当該入力キーワードと類似する区間に属するインデクスに含まれた時間情報を使用して映像を検索する検索手段と、を具備した映像検索装置である。
【００１９】
また本発明は、ビデオ録画時に映像信号に同期して入力する音声信号から特徴パタンを抽出する抽出手段と、前記音声信号に対して処理対象となる音声区間を設定し、音素の標準音声パタンを複数音素分用意しておき、各音声区間において標準音声パタンと前記抽出特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報が含まれたインデクスを各音素について生成するインデクス生成手段と、入力映像信号、入力音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化手段と、この多重化手段から出力されるデータストリームが記録される映像記録媒体と、を具備したビデオ録画装置である。
【００２０】
また本発明は、映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、各インデクスに対応した音素の標準音声パタンと類似した類似区間の前記音声信号内での位置を示す時刻情報が含まれている、データストリームが記録された映像記録媒体と、ビデオ再生時に前記映像記録媒体から映像信号と音声信号とを同期を保ちながら読み出し、映像検索指示が与えられると前記映像記録媒体に記録されたデータストリームからインデクスを分離して読み出す読出処理手段と、入力キーワードを音素単位の時系列データに変換するキーワード変換手段と、入力キーワードの時系列データと前記インデクスとを照合して両者が類似する区間の時刻情報を求めるキーワードパタン照合手段と、この求めた時刻情報で特定された位置を読み出し開始位置として映像信号及び音声信号を読み出すように前記読出処理手段に対して指示する制御手段と、を具備したビデオ再生装置である。
【００２１】
【発明の実施の形態】
検索データ作成時には、映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデクスを生成する一方、検索処理時には入力されるキーワードに対する時間情報を前記インデクスの組合せから導出し、所望とする映像を検索する。
これにより、単語辞書又は予め登録した検索キーワードとの照合が無くなるため、未登録の単語キーワードに対応できないいわゆる未知語の問題が解決される。また、ユーザが不確かなキーワードを入力しても最も確からしい映像・音声シーンを検索する事ができる。
また、検索インデクスであるサブワードのスコアの時系列データを、映像信号、音声信号と共にデータストリームに多重化するので、放送網やインターネットなどの通信網を介した検索インデクスの流通も可能になる。
サブワードとは、単語よりも小さい音響モデルの基本単位をいい、音素や子音−母音、母音−子音−母音等の音節、半音節（ Demisyllable ）などが挙げられる。各単語はサブワードの系列として表わされる。
本発明の第１の態様は、映像信号に同期した音声信号から特徴パタンを抽出する抽出手段と、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデクスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデクスとを照合して所望とする映像を検索する検索処理部とを具備する映像検索装置である。
【００２２】
このように、検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できる。
【００２３】
本発明の第２の態様は、第１の態様の映像検索装置において、前記検索データ生成部は、入力された音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデクスを生成するインデクス生成部とを備える。
【００２４】
このように、音声特徴量と標準音声パタンとの間の類似度を計算して、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデクスを生成するので、後で入力されるキーワードを標準音声パタンに変換することにより、インデクスの中からキーワードに類似したインデクスを探す事ができる。
【００２５】
本発明の第３の態様は、第２の態様の映像検索装置において、前記音声特徴パタン抽出部は、入力された音声信号からサブワードに相当する区間から前記音声特徴量を抽出し、前記計算部は、サブワードを単位とした標準音声パタンを用いて類似度を計算する。
【００２６】
これにより、後で入力されるキーワードをサブワードに変換することにより、インデクスの中からキーワードに類似したインデクスを探す事ができる。
【００２７】
本発明の第４の態様は、第１の態様の映像検索装置において、前記検索処理部は、検索者から入力されるキーワードを音声特徴量の時系列パタンに変換するキーワード変換部と、変換されたキーワードを音声特徴量の時系列パタンと前記インデクスとを照合してキーワードと類似度の高い区間を検出するキーワードパタン照合部とを備える。
【００２８】
このように、入力されるキーワードを音声特徴量の時系列パタンに変換し、変換されたキーワードを音声特徴量の時系列パタンとインデクスとを照合してキーワードと類似度の高い区間を検出することにより、検索意図を反映したシーンを検索できる。
【００２９】
本発明の第５の態様は、第４の態様の映像検索装置において、前記キーワードパタン照合部は、前記音声信号の検索対象期間に亘って作成されたインデクスで構成される音素類似度表の中から前記入力キーワードに含まれるサブワードに対応したインデクスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元し、復元されたキーワード毎に類似度を加算する。
【００３０】
このように、音素類似度表の中から入力キーワードに含まれるサブワードに対応したインデクスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元するので、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる。
【００３１】
本発明の第６の態様は、第１の態様の映像検索装置において、前記検索データ生成部から前記検索処理部に対して伝送媒体を介して前記映像信号、音声信号及びインデクスが伝達される。
【００３２】
これにより、検索データ生成部と検索処理部とを物理的に離れた場所に配置して運用する事ができる。
【００３３】
本発明の第７の態様は、第６の態様の映像検索装置において、前記伝送媒体は、放送網、通信網又は記録媒体のいずれかである。
【００３４】
これにより、放送局や情報提供者等の情報発信元でインデクスを生成し、映像信号又は音声信号等の情報と共に送信できる。
【００３５】
本発明の第８の態様は、第６の態様の映像検索装置において、前記検索データ生成部は、映像信号、音声信号及びインデクスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデクスに分離する多重分離部を備える。
【００３６】
これにより、映像信号、音声信号及びインデクスを多重化してデータストリームの形式で出力することができるので、既存のデータ形式で容易に配信する事ができる。また、多重化されたデータストリームを映像信号、音声信号及びインデクスに分離することができるので、検索者側に既存のデータ形式で配信された情報から容易に検索をかけることもできる。
【００３７】
本発明の第９の態様は、第８の態様の映像検索装置において、前記多重化部は、前記インデクスをユニットに分割する単位を、対応する映像信号のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位と一致させる。
【００３８】
これにより、検索処理時には入力したキーワードに該当する検索インデクスと対応するＧＯＰにアクセスすることにより、容易に所望の映像シーンを再生開始することができるものとなる。
【００３９】
本発明の第１０の態様は、第９の態様の映像検索装置において、映像信号及び音声信号とインデクスとの時間同期情報としてインデクスのユニット部に対応する映像信号のタイムコードを記録する。
【００４０】
これにより、インデクスのユニット部に記録された映像信号のタイムコードに基づいて映像信号を特定できるので、既存のデータ形式を使って高速に所望のシーンにアクセスできる。
【００４１】
本発明の第１１の態様は、第１０の態様の映像検索装置において、前記インデクスのユニット部に記録するタイムコードは、そのユニット部に対応する映像信号の開始時刻及び継続時間である。
【００４２】
これにより、所望のシーンの高速再生が可能になる。
【００４３】
本発明の第１２の態様は、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデクスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデクスとを照合して所望とする映像を検索する検索処理部とを具備し、前記検索処理部は、通信網を経由して接続された検索端末からキーワードを受信する受信部と、検索された映像信号を前記通信網を経由して前記検索端末へ送信する送信部とを有する、映像検索装置である。
【００４４】
このように、検索処理部が通信網を経由して接続された検索端末からキーワードを受信し、検索された映像信号を検索端末へ送信するので、ユーザ端末に検索エンジンを持つ必要がなくなり、ユーザの負担を軽減できる。
【００４５】
本発明の第１３の態様は、音声信号から特徴パタンを抽出して音声検索のためのインデクスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデクスとを照合して所望とする音声を検索する検索処理部とを具備する音声検索装置である。
【００４６】
これにより、上記第１の態様と同様にして音声のシーン検索が可能になる。
【００４７】
本発明の第１４の態様は、第１３の態様の音声検索装置において、前記検索データ生成部は、入力された音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する音声信号との時間同期情報を含んだインデクスを生成するインデクス生成部とを備える。
【００４８】
これにより、音声特徴量と標準音声パタンとの間の類似度を算出し、計算された類似度及び対応する音声信号との時間同期情報を含んだインデクスを生成するので、入力されたキーワードを標準音声パタンに対応した系列に変換すればインデクスから音声のシーンを検索できる。
【００４９】
本発明の第１５の態様は、映像信号に同期した音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデクスを生成するインデクス生成部とを備える映像検索インデクス生成装置である。
【００５０】
本発明の第１６の態様は、第１５の態様の映像検索インデクス生成装置において、前記音声特徴パタン抽出部は、入力された音声信号からサブワードに相当する区間から前記音声特徴量を抽出し、前記計算部は、サブワードを単位とした標準音声パタンを用いて類似度を計算する。
【００５１】
これにより、入力音声信号をサブワードの単位とした標準音声パタンとの類似度の形式で保存する事ができる。
【００５２】
本発明の第１７の態様は、映像信号とこの映像信号に同期した音声信号とこの音声信号から生成された音素類似度表とが蓄積された記録部と、検索者から入力されるキーワードを音声特徴量の時系列パタンに変換するキーワード変換部と、変換されたキーワードを音声特徴量の時系列パタンと前記音素類似度表のインデクスとを照合してキーワードと類似度の高い区間を検出するキーワードパタン照合部と、検出区間の先頭サブワードの始端時刻に基づいて前記記録部から該当する映像信号を取り出す制御部とを備える検索処理装置である。
【００５３】
本発明の第１８の態様は、第１７の態様の検索処理装置において、前記キーワードパタン照合部は、音素類似度表の中から前記入力キーワードに含まれるサブワードに対応したインデクスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元し、復元されたキーワード毎に類似度を加算する。
【００５４】
本発明の第１９の態様は、記録媒体を有するビデオ録画装置において、ビデオ録画時に入力される音声信号から人物の発声帯域における発声特徴パタンを抽出する発声特徴パタン抽出部と、前記発声特徴パタンをビデオ信号への同期情報とともに前記記録媒体に映像検索インデクスとして記録するインデクス記録制御部とを備えるビデオ録画装置である。
【００５５】
本発明の第２０の態様は、記録媒体を有するビデオ録画装置において、ビデオ録画時に入力される音声信号から人物の発声帯域における発声特徴パタンを抽出する発声特徴パタン抽出部と、抽出された発声特徴パタンデータと予め登録されている複数のサブワードの各発声特徴パタンとの類似度を算出して類似度及び時刻情報を持った映像検索インデクスを生成するインデクス生成部と、入力音声対して作成された映像検索インデクスで構成される音素類似度表とビデオ信号とを前記記録媒体に記録する記録制御部とを備えるビデオ録画装置である。
【００５６】
本発明の第２１の態様は、第１９の態様において、発声特徴パタン抽出部は、ビデオ録画時に入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンデータとの照合を行い、映像信号から人物発声時の視覚特徴パタンデータを抽出する。
【００５７】
これにより、音声に雑音などが入っていても精度よく所望のシーンを検索できる。
【００５８】
本発明の第２２の態様は、ビデオ信号の再生を行うビデオ再生装置において、入力音声に対して作成された映像検索インデクスとビデオ信号とが記録された記録媒体と、検索者から入力されたキーワードをパタン照合用データに変換するキーワードパタン変換部と、前記キーワードのパタン照合用データと既に前記記録媒体に記録されているビデオ番組の前記映像検索インデクス内のパタン照合用データとのパタン照合を行うキーワードパタン照合部とを備えるビデオ再生装置である。
【００５９】
本発明の第２３の態様は、ビデオ信号の再生を行うビデオ再生装置において、入力音声に対して作成された映像検索インデクスから構成された音素類似度表とビデオ信号とが記録された記録媒体と、入力されたキーワードのサブワード系列と前記音素類似度表内のサブワードごとの類似度によってキーワード検出を行うキーワードパタン変換部とを備えたビデオ再生装置である。
【００６０】
本発明の第２４の態様は、第２２の態様のビデオ再生装置において、前記キーワードパタン変換部は、入力されるキーワードを視覚特徴パタンデータへの変換を行い、前記キーワードパタン照合部が、予め記録媒体に記録されている映像検索インデクスとして人物発声時の視覚特徴パタンデータを用いて、入力されたキーワードの視覚特徴パタンデータとの照合を行う。
【００６１】
本発明の第２５の態様は、第２２の態様のビデオ再生装置において、音声入力のためのマイクロフォンを備え、前記キーワードパタン変換部が前記マイクロフォンから入力されたキーワードの音声信号を発声特徴パタンデータへ変換する。
【００６２】
これにより、キーワードを音声にて入力できる。
【００６３】
本発明の第２６の態様は、第２２の態様のビデオ再生装置において、マイクロフォンと動画像入力のためのカメラ装置とを備え、前記キーワードパタン変換部は、利用者のキーワード発声時にカメラ装置から入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンとの照合を行い、キーワード発声時の映像信号からキーワードの視覚特徴パタンデータへの変換を行う。
【００６４】
本発明の第２７の態様は、映像信号に同期した音声信号から音声特徴量を抽出し、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出し、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデクスを生成し、検索者から入力されるキーワードと前記インデクスとを照合して所望とする映像を検索する映像検索方法である。
【００６５】
（第１の実施の形態）
図１に、第１の実施の形態にかかるシーン検索システムの機能ブロック図が示されている。本実施の形態のシーン検索システムは、蓄積されている映像の中から所望のシーンを検索するための映像検索インデクスを生成する検索データ生成部１００と、入力された検索キーワードと映像検索インデクスとを照合して検索意図を良く反映したシーンを検索する検索処理部２００とを有する。
【００６６】
検索データ生成部１００は、映像信号を受信する映像信号入力部１０１と、その映像信号に付随（同期）した音声信号を受信する音声信号入力部１０２とを有する。映像信号入力部１０１及び音声信号入力部１０２から入力された映像信号及び音声信号は、検索処理部２００に設けられた記録部２０１に格納される。さらに、音声信号入力部１０２から入力された音声信号は、音声特徴パタン抽出部１０３へも入力される。音声特徴パタン抽出部１０３は、音声信号を分析して音声特徴パタンを抽出する。抽出された音声特徴パタンは映像検索インデクス生成部１０４へ与えられる。映像検索インデクス生成部１０４は、抽出された音声特徴パタンと標準音声特徴パタン格納部１０５に格納されている標準音声パタンとを比較して、最も良く一致するサブワードの｛始端時刻、終端時刻、類似度を示すスコア｝の組を映像検索インデクスとして出力する。この映像検索インデクスは検索処理部２００にある記録部２０１に格納される。
【００６７】
検索処理部２００は、映像信号、音声信号及び映像検索インデクスが格納された記録部２０１を有する。記録部２０１には映像検索インデクスによる音素類似度表が形成されている。音素類似度表については後述する。制御部２０２は、記録部２０１に格納されている映像信号、音声信号の読出し位置を制御している。記録部２０１に格納されている映像の中から所望の映像シーンを検索するための検索キーワードはキーワード入力部２０３から入力される。入力されたキーワードはキーワード変換部２０４により入力キーワードを構成しているサブワードの時系列に変換される。キーワードパタン照合部２０５は、入力キーワードのサブワードと一致するサブワードの映像検索インデクスを記録部２０１から取り出す。記録部２０１から取り出された映像検索インデクスによって検索キーワードを復元し、復元された各キーワードのスコアを計算する。制御部２０２がスコアの高い復元キーワードの先頭サブワードの始端時刻に基づいて記録部２０１から該当する映像シーンを取り出す。記録部２０１から取り出される映像シーンを構成する映像信号は映像信号出力部２０６から外部へ出力され、その映像信号に付随した音声信号は音声信号出力部２０７から外部へ出力される。
【００６８】
次に、検索データ生成部１００において映像検索インデクスを生成する処理の詳細について説明する。音声特徴パタン抽出部１０３は、入力した音声信号を順次１０ｍｓｅｃの分析フレームに分割し、その各分析フレームを高速フーリエ変換して人物の発声周波数帯域の音響特性をあらわした音響特性データに変換する。さらに、発声周波数帯域の音響特性データを、音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータに変換する。このベクトルデータが音声特徴パタンとなる。音声特徴パタンに変換される音響特徴量として、入力音声の発声周波数帯域における短時間スペクトル又はスペクトルの対数値、入力音声の一定時間内での対数エネルギーなどを用いるのが望ましい。
【００６９】
このように、入力音声は１０ｍｓｅｃ毎に音声特徴パタン（ベクトルデータ）に変換され、順次変換された音声特徴パタンが映像検索インデクス生成部１０４へ出力される。なお、分析フレームのフレーム長は１０ｍｓｅｃに限定されるものではない。
【００７０】
標準音声特徴パタン格納部１０５に、サブワード（＃Ｖ，＃ＣＶ，＃ＣｊＶ、ＣＶ，ＣｊＶ、ＶＣ，ＱＣ，ＶＱ，ＶＶ，Ｖ＃、但し、Ｃは子音、Ｖは母音、ｊは拗音、Ｑは促音、＃は無音である）が標準音声パタンとして予め用意されている。予め複数の話者から収集した発声を分析して、サブワード単位で音声特徴パタンを抽出する。抽出された音声特徴パタンを統計的処理して標準音声パタンとして登録している。具体的には、個々のサブワードと、それらの標準音声パタン（抽出した音声特徴パタン）と、を対応させたテーブルが標準音声特徴パタン格納部１０５に格納されている。図２に標準音声パタンの具体例が示されている。標準音声パタンを５００個程度用意している。標準音声特徴パタン格納部１０５に格納すべき標準音声パタンの個数は５００個に限定されるものではなく、計算量と要求される検索精度との関係で適宜決められるべきである。
【００７１】
映像検索インデクス生成部１０４は、標準音声特徴パタン格納部１０５から第１番目の標準音声パタンを取り出し、第１番目の標準音声パタンと入力音声の音声特徴パタンとの類似度を音声認識処理によって求める。音声認識処理には、ＤＰ照合法、ＨＭＭなどの音声認識手法を用いる事が望ましい。第１番目の標準音声パタンに対して最も高い類似度を示す区間をサブワード区間として検出し、検出したサブワード区間の始端時刻と終端時刻と類似度であるスコアとを求める。このようにして求めた第１番目の標準音声パタンの検出サブワード区間に関して｛始端時刻、終端時刻、スコア｝の組が１つの映像検索インデクスとして出力される。すなわち、１つの映像検索インデクスは音素記号、始端時刻、終端時刻、スコアで構成されている。
【００７２】
第１番目の標準音声パタンに対する映像検索インデクスが求められたならば、第２番目の標準音声パタンが標準音声特徴パタン格納部１０５から取り出される。そして同一音声区間の音声特徴パタンと第２番目の標準音声パタンとを比較し、上記同様にして第２番目の標準音声パタンについてサブワード区間を検出し、検出サブワード区間に関する｛始端時刻、終端時刻、スコア｝の組を映像検索インデクスとして出力する。以下同様に、同一音声区間の音声特徴パタンに対して、標準音声パタンを切換えながら、残りの全ての標準音声パタンとの類似度をそれぞれ検出し、全ての標準音声パタンに関して｛始端時刻、終端時刻、スコア｝の組からなる映像検索インデクスを生成する。
【００７３】
入力音声のある音声区間において全ての標準音声パタンに関して映像検索インデクスが生成されたならば、処理対象となる音声区間を隣接する次の音声区間に移して同様の処理を実行する。以下同様に、処理対象となる音声区間をシフトしていき、入力音声の全区間に亘り検索インデクを生成したところで処理を完了する。
【００７４】
次に、検索処理部２００においてキーワードを用いて映像シーンを検索する処理の詳細について説明する。
【００７５】
図３に映像検索インデクスのラティス構造の一部が示されている。１０ｍｓｅｃ単位で分割した入力音声の各音声区間の終端を、その音声区間に対して生成した各映像検索インデクスの終端とし、同一音声区間における映像検索インデクスを生成された順番に配置すると、入力音声の全体では映像検索インデクスがラティス状に配列される。このような映像検索インデクスのラティス構造を音素類似度表と呼ぶこととする。音素類似度表において、各映像検索インデクスは始端時刻に対応した長さとそのスコアの組で表わされている。図３には、映像検索インデクスの音素類似度表の中から「Ａ」「ＫＡ」「ＳＡ」「ＴＡ」「ＮＡ」の５種類のサブワードだけを代表で示している。
【００７６】
いま、キーワード入力部２０３が検索キーワードとして「空」を受信したものとする。キーワード変換部２０４は、検索キーワード「空」をサブワードの系列に変換する。「空」は「ＳＯ、ＯＲ、ＲＡ」に変換される。
【００７７】
キーワードパタン照合部２０５は、音素類似度表の中から、検索キーワードを構成するサブワードだけをピックアップする。すなわち、各時刻のラティスから、検索キーワードを構成するサブワード「ＳＯ」「ＯＲ」「ＲＡ」だけを、ピックアップする。図４は検索キーワードのサブワード「ＳＯ」「ＯＲ」「ＲＡ」だけがピックアップされたラティスを示している。
【００７８】
ピックアップされた複数のラティス上のサブワード「ＳＯ」「ＯＲ」「ＲＡ」を、検索キーワードを変換したサブワードの系列順に隙間なく接続する。ある時刻のラティスから最後のサブワード「ＲＡ」を取り出し、「ＲＡ」の始端時刻にあたるラティスからその前のサブワード「ＯＲ」を取り出し、さらに「ＯＲ」の始端時刻にあたるラティスからさらに前のサブワード「ＳＯ」を取り出し、最後のサブワード「ＲＡ」の終端を基準にして「ＳＯ」「ＯＲ」「ＲＡ」を連結する。
【００７９】
このように「ＳＯ」「ＯＲ」「ＲＡ」を連結することにより復元されたキーワードについて、その復元キーワードのスコアを計算する。復元されたキーワードを構成するサブワード「ＳＯ」「ＯＲ」「ＲＡ」に付与されているスコアを加算する。この加算値が復元キーワードのスコアである。以下同様に、サブワード「ＲＡ」の終端時刻をずらした復元キーワードを全ての時刻について順次作成し、各復元キーワードについてそのスコアを計算する。図５にサブワード「ＲＡ」の終端時刻をずらした復元キーワードが示されている。
【００８０】
キーワードパタン照合部２０５は、音声の伸縮特性を考慮して各復元キーワード（サブワードの時系列データ）に対してＤＰ照合法などにより圧縮・伸張処理を加える。そして、全ての復元キーワードのスコアを計算する。これら復元キーワードのスコアを制御部２０２へ入力する。
【００８１】
制御部２０２は、スコアが上位となる復元キーワードの先頭サブワードの始端時刻から対応する映像信号のタイムコードを算出し、記録部２０１に蓄積された映像・音声信号の該当部分を再生するための制御を行う。この結果、映像信号出力部２０６、音声信号出力部２０７から再生された映像信号及び音声信号が出力される。
【００８２】
このように、検索対象の映像信号に付随した音声信号からスコアの付与されたサブワードの時系列データを作成して映像検索インデクスとしてそのまま記録部２０１に保存する一方、検索時にはキーワードをサブワードに変換して映像検索インデクスと照合するようにしたので、単語辞書又は検索キーワードを予め登録した格納部を排除する事ができ、未知語の問題も発生しないといった利点がある。
【００８３】
しかも、予め登録した検索キーワードとの照合を行わないことから、ユーザが不確かなキーワードを入力した場合であっても最も確からしい映像シーンを検索することができるといった優れた効果を奏することができる。
【００８４】
（第２の実施の形態）
本発明の第２の実施の形態にかかるシーン検索システムは、検索データ生成装置で生成した映像検索インデクスを、伝送媒体を介して検索装置へ伝送するようにしている。
【００８５】
図６に第２の実施の形態にかかるシーン検索システムの構成が示されている。上述した第１の実施の形態と同一機能を有する部分には同一符号が使われている。このシーン検索システムは、映像信号に付属した音声信号から生成された映像検索インデクスをデータストリームに多重化する検索データ生成装置１２０と、検索キーワードのサブワードと映像検索インデクスとを照合して所望の映像シーンを検索する検索装置２２０と、検索データ生成装置１２０で映像検索インデクスの多重化されたデータストリームを、検索装置２２０へ伝送するための伝送媒体２３０とから構成されている。伝送媒体２３０には、放送網、通信網、記録メディア等が含まれる。放送網には地上波放送網又はケーブル放送網があり、通信網にはインターネットがある。音声シーンの検索であればラジオ放送網も含まれる。
【００８６】
検索データ生成装置１２０は、映像信号入力部１０１、音声信号入力部１０２、音声特徴パタン抽出部１０３、映像検索インデクス生成部１０４、標準音声パタン格納部１０５を備えている。さらに、検索データ生成装置１２０は、映像検索インデクス生成部１０４で生成した映像検索インデクスと映像信号と音声信号とを多重化する多重化部１２１を有する。多重化部１２１は、映像検索インデクスと映像信号と音声信号とを、ＭＰＥＧストリーム上に多重化することが望ましいが、それ以外のデータストリーム上に多重化する事も可能である。
【００８７】
検索装置２２０は、記録部２０１、制御部２０２、キーワード入力部２０３、キーワード変換部２０４、キーワードパタン照合部２０５、映像信号出力部２０６、音声信号出力部２０７を備えている。さらに、検索装置２２０は、映像検索インデクスと映像信号と音声信号とが多重化されたデータストリームから、映像検索インデクス、映像信号及び音声信号をそれぞれ分離する多重分離部２２１を有する。
【００８８】
検索データ生成装置１２０に設けられた映像検索インデクス生成部１０４において、上述した第１の実施の形態と同様にして入力音声から映像検索インデクスが作成される。作成された映像検索インデクスは多重化部１２１へ出力される。なお、映像信号入力部１０１で受信された映像信号及び音声信号入力部１０２で受信された音声信号が多重化部１２１へ出力されている。
【００８９】
多重化部１２１は、映像信号、音声信号、映像検索インデクスを、それぞれ複数の映像ストリーム（映像ストリーム（１）〜映像ストリーム（ｎ））と、音声ストリーム（音声ストリーム（１）〜音声ストリーム（ｎ））と、ユーザデータを格納するためのプライベートストリーム（このストリームを映像検索インデクスの伝送に使うので、検索データストリームと呼ぶ：検索データストリーム（１）〜検索データストリーム（ｎ））に変換する。
【００９０】
図７（１）に、映像信号、音声信号及び映像検索インデクスが多重化されたＭＰＥＧストリームのフレーム構成が示されている。ＭＰＥＧストリームの先頭にはストリームを識別するためのストリームヘッダ１０１が付加される。図７（２）に映像ストリームの構成が示されている。映像ストリームは、複数のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ：ＧＯＰ（１）〜ＧＯＰ（ｎ））で構成されている。図７（３）にＧＯＰの構成が示されている。ＧＯＰは、フレーム内で符号化されるＩピクチャ（Ｉ（１））、Ｉピクチャ又はＰピクチャを参照して動き補償予測により符号化されるＰピクチャ（Ｐ（２）〜Ｐ（ｍ））、時間的に前後に位置するＩピクチャ、Ｐピクチャを参照して双方からの動き補償予測により符号化されるＢピクチャ（Ｂ（−１）〜Ｂ（ｍ−１））の一連のグループにより構成される。図７（４）に検索データストリームの構成を示されている。ＧＯＰを構成している一連の映像フレームに対応して、映像検索インデクス（映像検索インデクス（１）〜映像検索インデクス（ｎ））をユニット化する。
【００９１】
多重化部１２１によって多重化されたＭＰＥＧストリームは、伝送媒体２３０を介して検索装置２２０へ伝送され、記録部２０１に記録される。検索装置２２０では、多重分離部２２１が多重化されたＭＰＥＧストリームから検索インデクスを分離してキーワードパタン照合部２０５へ与える。映像検索インデクスと検索キーワードとを照合し、第１の実施の形態と同様にして復元キーワードを作成する。制御部２０２が、スコアの高い復元キーワードの始端時刻から対応するＧＯＰにアクセスして映像シーンを取り出す。なお、ＭＰＥＧストリームから映像検索インデクスを分離する時に一緒に映像信号及び音声信号も分離して、記録部２０１に記録するようにしても良い。
【００９２】
このように、入力音声のサブワードの単位で構成された映像検索インデクスを、映像信号及び音声信号とともにデータストリームに多重化したので、放送網や通信網を利用してユーザに映像と一緒に映像検索インデクスを渡す事ができる。
【００９３】
また、ＭＰＥＧの映像再生単位はＧＯＰなので、検索インデクスのユニット単位を一致させておくと、検索処理時には入力したキーワードに該当する検索インデクスと対応するＧＯＰにアクセスすることにより、容易に所望の映像シーンを再生開始することが可能になる。
【００９４】
（第３の実施の形態）
第３の実施の形態は、ユーザ端末から検索キーワードを入力したら、そのユーザ端末に通信網を介して接続されたサーバシステムから該当するシーンが提供されるようにしたシーン検索システムである。
【００９５】
図８に、第３の実施の形態にかかるシーン検索システムのシステム構成が示されている。図８において、上述した第１の実施の形態及び第２の実施の形態のシーン検索システムと同一機能を有する部分には同一符号を使用している。サーバシステムは、検索データ生成部１００と、検索処理部２３０とで構成されている、ユーザが希望する映像シーンを検索してユーザ端末へ送信する。
【００９６】
検索データ生成部１００は、映像信号入力部１０１、音声信号入力部１０２、音声特徴パタン抽出部１０３及び映像検索インデクス生成部１０４で構成されている。
【００９７】
検索処理部２３０は、記録部２０１、制御部２０２、キーワードパタン照合部２０５を備える。さらに、検索処理部２３０は、ユーザ端末３００から伝送媒体２３０を経由して送られてくる検索キーワードのデータを受信するキーワード受信部２３１と、検索されたシーンの映像信号と音声信号とをデータストリーム上に多重化して伝送媒体２３０を経由してユーザ端末３００へ送信する多重化部２３２とを有する。
【００９８】
ユーザ端末３００は、キーワード入力部２０３、キーワード変換部２０４、検索されたシーンの映像信号を出力する音声信号出力部２０７、検索されたシーンの音声信号を出力する音声信号出力部２０６を備える。さらに、ユーザ端末３００は、伝送媒体２３０を介してキーワード変換部２０４によって変換された検索キーワードのサブワードを検索処理部２３０へ送信するキーワード送信部３０１と、検索処理部２３０から伝送媒体２３０を介して受信したデータストリームから映像信号及び音声信号を分離する多重分離部３０２とを有する。
【００９９】
以上のように構成されたシーン検索システムでは、ユーザ端末３００において検索キーワードが入力される。ユーザ端末３００では、入力されたキーワードがキーワード変換部２０４により入力キーワードのサブワードに変換される。そして入力キーワードのサブワードがキーワード送信部３０１から伝送媒体２３０を介して送信される。本実施の形態における伝送媒体２３０はインターネットなどの通信網が望ましい。
【０１００】
検索処理部２３０の記録部２０１には、上述した第１の実施の形態と同様にして映像信号、音声信号及びラティス構造の映像検索インデクスが記録されている。キーワード受信部２３１が受信したキーワードデータはキーワードパタン照合部２０５へ渡される。キーワードパタン照合部２０５は、上述したように映像検索インデクスのラティス構造からキーワードのサブワードと一致する音素記号を持つ映像検索インデクスをピックアップして、各時刻における復元キーワードを作成する。そして制御部２０２がスコアの高い復元キーワードの始端時刻に基づいて該当する映像信号及び音声信号を取り出す。このようにして検索されたシーンの映像信号及び音声信号は多重化部２３２でデータストリームの多重化された後、伝送媒体２３０を経由してユーザ端末３００へ送られる。
【０１０１】
ユーザ端末３００では、多重分離部３０２が検索キーワードに対して送られてきたデータストリームから映像信号及び音声信号を分離する。分離された映像信号及び音声信号は映像信号出力部２０６及び音声信号出力部２０７からそれぞれ再生される。
【０１０２】
このように、ユーザ端末３００とサーバシステム（検索データ生成部１００及び検索処理部２３０）とを通信網２３０を介して接続する事により、映像検索インデクスを生成する機能及び検索する機能を持たないユーザ端末３００から所望のシーンを検索することができる。
【０１０３】
なお、上記した第３の実施の形態では、ユーザ端末３００にキーワード変換部２０４を備えているが、キーワード変換部２０４を検索処理部２３０に配置するように構成しても良い。この構成によれば、既存のユーザ端末に新たなソフトウエアのインストールすることなく、上述検索を行う事ができる。
【０１０４】
（第４の実施の形態）
第４の実施の形態は、本発明のシーン検索システムをビデオ録画装置に適用した例である。本実施の形態にかかるビデオ録画装置は、ビデオ録画時に得られる音声信号から人物の発声音を検出して、発声音から得られる音響特性データを発声特徴パタンデータとして抽出する。さらに、発声特徴パタンデータは時刻情報を添付したインデクス構造に成形したのち、映像信号及び音声信号と共に記録媒体へ記録する。
【０１０５】
図９に本実施の形態にかかるビデオ録画装置の構成が示されている。外部から入力されるビデオ録画指示制御信号等は制御信号入力部１で受信される。ビデオ録画制御部２は、受信された制御信号の種別に応じて装置を構成する各ブロックへ録画開始指示信号や停止指示信号を発行する。
【０１０６】
一方、ビデオ録画開始とともに入力されるアナログ音声信号は音声信号入力部３でデジタル音声信号に変換され、さらにデジタル音声信号が音声信号エンコード部４でＭＰＥＧ等の圧縮処理を施される。また、ビデオ録画開始とともに入力されるアナログ映像信号は映像信号入力部５でデジタル映像信号に変換され、さらにデジタル映像信号が映像信号エンコード部６でＭＰＥＧ等の圧縮処理を施される。
【０１０７】
音声信号入力部３からデジタル音声信号が発声特徴パタン抽出部１０へ分配入力される。発声特徴パタン抽出部１０は、入力したデジタル音声信号から人物の発声音の音響特性データを検出して発声特徴パタンデータを取得する。映像検索インデクス生成部１１は、発声特徴パタン抽出部１０から供給される発声特徴パタンデータを映像信号と同期した時間周期でパケット化し、時刻情報を添付した映像検索用インデクス構造に成形する。
【０１０８】
圧縮された映像信号及び音声信号と映像検索インデクスは、ビデオ録画制御部２から指示を受けた複合データ記録処理部７によって重畳されてＤＶＤ等の記録フォーマットで映像記録媒体９に記録される。映像記録媒体９は光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等で構成される。複合データ記録処理部７からの制御指示により映像記録媒体９の記録位置のシーク等の物理的な制御を記録媒体動作制御部８が行う。以上のように構成されたビデオ録画装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成することができる。このビデオ録画装置では、発声特徴パタン抽出手段は発声特徴パタン抽出部１０から構成され、インデクス情報記録手段は映像検索インデクス生成部１１と複合データ記録処理部７から構成される。
【０１０９】
次にこの装置の動作について説明する。
【０１１０】
制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ録画指示の制御信号を受け付けると、装置に適合した信号形式に変換した後にビデオ録画制御部２にビデオ録画指示信号を発行する。ビデオ録画指示信号を受けたビデオ録画制御部２は、装置を構成する各部にビデオ録画開始の指示を行い、装置状態をビデオ録画状態に遷移させる。
【０１１１】
ビデオ録画開始の指示を受けた音声信号入力部３は、外部のテレビジョン信号チューナー装置またはマイクロフォンまたはＶＴＲ装置等から入力される音声信号に対してＡ／Ｄ変換処理を施し量子化を行った後、音声信号エンコード部４及び発声特徴パタン抽出部１０へ逐次音声信号を供給する。音声信号エンコード部４に供給された音声信号はＭＰＥＧ等の音声信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
【０１１２】
音声信号入力部３から音声信号の分配供給を受けた発声特徴パタン抽出部１０では、一定時間単位の音声信号に対してＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータである発声特徴パタンデータを生成する。
【０１１３】
発声特徴パタン抽出部１０で抽出生成された発声特徴パタンデータは逐次映像検索インデクス生成部１１に出力される。映像検索インデクス生成部１１は、逐次入力されてくる個々の発声特徴パタンデータを、その時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に発声特徴パタンデータである事を示す識別と時刻情報を付与する。これにより、発声特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造が生成される。生成したインデクス構造パケットを複合データ記録処理部７に逐次転送する。
【０１１４】
一方、同じくビデオ録画開始の指示を受けた映像信号入力部５は、外部のテレビジョン信号チューナー装置またはカメラまたはＶＴＲ装置等から入力される映像信号に対してＡ／Ｄ変換処理を施し量子化を行い所定のデジタル映像信号として、映像信号エンコード部６に供給する。映像信号エンコード部６に供給されたデジタル映像信号はＭＰＥＧ等の映像信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
【０１１５】
ビデオ録画開始の指示を受けた複合データ記録処理部７は、データの記録開始に先立ち、記録媒体動作制御部８に制御信号を発行して、記録媒体９へのデータ記録開始位置の保持を行う。各々信号帯域圧縮処理を施された映像信号ならびに音声信号及び映像検索用インデクス生成部１１にて生成されたインデクス構造パケットを受け取った複合データ記録処理部７は、ＭＰＥＧ等の所定のフォーマットで映像信号と音声信号及びインデクス構造パケットを多重化し、記録媒体動作制御部８への制御信号を発行して映像記録媒体９の所定の位置に多重化したデータをＤＶＤ等の記録フォーマットにしたがって記録する。
【０１１６】
こうした一連の動作は、ビデオ録画開始からビデオ録画時間終了または外部からの映像信号入力の終了または外部からの制御信号によるビデオ録画停止指示、及び装置内各部からのエラー通知をビデオ録画制御部２が検出するまで繰り返される。ビデオ録画制御部２はこれらを検出した際は装置を構成する各部にビデオ録画停止指示を行い、装置を初期状態に遷移させる事で動作を終了する。
【０１１７】
ここで、上記インデクス構造パケットは発声特徴パタンデータの時系列で構成されていたが、映像検索インデクス生成部１１が発声特徴パタンデータの時系列に対して音素認識処理を施す事により、インデクス構造パケットをサブワード毎の時系列パタン照合結果である音素類似度表の時系列にする事ができる。
【０１１８】
すなわち、映像検索インデクス生成部１１が、発声特徴パタン抽出部１０より逐次入力される発声特徴パタンデータの時系列に対して、映像検索インデクス生成部１１に予め登録内蔵されてある各サブワードごとの標準パタンとの類似度を算出し音素類似度表を作成する。
【０１１９】
この際、各サブワードの標準音声パタンは発声特徴パタンデータと同様に短時間スペクトルデータ等の音素時系列である。そして入力されてくる発声特徴パタンデータに関しても照合区間を一定の時間長に固定しておき、標準音声パタンの音素時系列と発声特徴パタンデータの音素時系列とをＤＰ（ダイナミックプログラミング）照合法等を用いた時系列パタン照合を行う。
【０１２０】
時系列パタン照合では、すべてのサブワードごとに標準音声パタンに最も類似した発声特徴パタンデータの時系列内での照合区間を求め、照合結果を音素類似度表としてまとめる。尚、音素類似度表は各サブワードの識別（音素記号）とそのサブワードに最も類似した照合区間である発声区間（始端時刻、終端時刻）と類似度とから列を構成する。音素類似度表は標準音声パタンで保持するサブワード個数分の行で構成する。
【０１２１】
作成された音素類似度表から、類似度の高い順に上位Ｍ個（Ｍは任意の自然数）までを抜き出して前記類似度表を再構成し、時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に音素類似度表データである事を示す識別と時刻情報を付与する事で音素類似度表データの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造パケットを生成し、複合データ記録処理部７に逐次転送する。
【０１２２】
このようにして作成された音素類似度表データ時系列で構成されたインデクス構造パケットは、複合データ記録処理部７を経由して映像検索用インデクスとして、映像記録媒体９へ所定の記録フォーマットで記録される。
【０１２３】
このように、ビデオ録画時に音声信号から音素類似度表の時系列で構成された検索用インデクスを生成し、複合データ記録処理部７によりインデクスと映像信号と音声信号とを多重化して映像記録媒体９へ蓄積するようにしたので、後から映像検索インデクスを用いて用意に希望の映像信号及び音声信号にアクセスできる。本実施の形態で作成される検索用インデクスは上述した第１の実施の形態における映像検索インデクスと同じ構造であるので、第１の実施の形態と同様のキーワード検索も可能である。
【０１２４】
（第５の実施の形態）
第５の実施の形態にかかるビデオ録画装置は、映像信号から人物発声時の視覚特徴パタンデータを抽出し、視覚特徴パタンデータを映像検索用インデクスとして記録する。
【０１２５】
図１０に本実施の形態にかかるビデオ録画装置の構成が示されている。外部から入力されるビデオ録画指示制御信号等は制御信号入力部１で受信される。ビデオ録画制御部２は、受信された制御信号の種別に応じて装置を構成する各ブロックへ録画開始指示信号や停止指示信号を発行する。
【０１２６】
一方、ビデオ録画開始とともに入力されるアナログ音声信号は音声信号入力部３でデジタル音声信号に変換され、さらにデジタル音声信号が音声信号エンコード部４でＭＰＥＧ等の圧縮処理を施される。また、ビデオ録画開始とともに入力されるアナログ映像信号は映像信号入力部５でデジタル映像信号に変換され、さらにデジタル映像信号が映像信号エンコード部６でＭＰＥＧ等の圧縮処理を施される。
【０１２７】
音声信号入力部３からデジタル音声信号が発声特徴パタン抽出部１０へ分配入力される。発声特徴パタン抽出部１０は、入力した音声信号から人物の発声音の音響特性データを検出して発声特徴パタンデータを取得する。また、映像信号入力部５からデジタル映像信号が視覚特徴パタン抽出部１２へ分配入力される。視覚特徴パタン抽出部１２は、入力した映像信号から人物の口唇領域画像を検出し視覚特徴パタンデータを抽出する。映像検索インデクス生成部１１は、発声特徴パタン抽出部１０から供給される発声特徴パタンデータと視覚特徴パタン抽出部１２から供給される視覚特徴パタンデータを各々映像信号と同期した時間周期でパケット化し、時刻情報ならびにパタンデータ種別を添付した映像検索用インデクス構造に成形する。
【０１２８】
圧縮された映像信号及び音声信号と映像検索インデクスは、ビデオ録画制御部２から指示を受けた複合データ記録処理部７によって重畳されてＤＶＤ等の記録フォーマットで映像記録媒体９に記録される。映像記録媒体９は光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等で構成される。複合データ記録処理部７からの制御指示により映像記録媒体９の記録位置のシーク等の物理的な制御を記録媒体動作制御部８が行う。以上のように構成されたビデオ録画装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成することができる。
【０１２９】
次に、この装置の動作について説明する。
【０１３０】
制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ録画指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ録画制御部２にビデオ録画指示信号を発行する。ビデオ録画指示信号を受けたビデオ録画制御部２は、装置を構成する各部にビデオ録画開始の指示を行い、装置状態をビデオ録画状態に遷移させる。
【０１３１】
ビデオ録画開始の指示を受けた音声信号入力部３は、外部のテレビジョン信号チューナー装置またはマイクロフォンまたはＶＴＲ装置等から入力される音声信号に対してＡ／Ｄ変換処理を施し量子化を行った後、音声信号エンコード部４及び発声特徴パタン抽出部１０へ逐次音声信号の供給をおこなう。音声信号エンコード部４に供給された音声信号はＭＰＥＧ等の音声信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
【０１３２】
音声信号入力部３から音声信号の分配供給を受けた発声特徴パタン抽出部１０では、一定時間単位の音声信号に対してＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータであり、本発明ではこれを発声特徴パタンデータとして用いる。
【０１３３】
発声特徴パタン抽出部１０で抽出された発声特徴パタンデータは逐次映像検索インデクス生成部１１に出力される。映像検索インデクス生成部１１は、逐次入力されてくる個々の発声特徴パタンデータを、その時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に時刻情報を付与する。これにより、発声特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造を生成し、生成したインデクス構造パケットを複合データ記録処理部７に逐次転送する。
【０１３４】
一方、同じくビデオ録画開始の指示を受けた映像信号入力部は、外部のテレビジョン信号チューナー装置またはカメラまたはＶＴＲ装置等から入力される映像信号に対してＡ／Ｄ変換処理を施し量子化を行い所定のデジタル映像信号として、映像信号エンコード部６及び視覚特徴パタン抽出部１２に供給する。映像信号エンコード部６に供給されたデジタル映像信号はＭＰＥＧ等の映像信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
【０１３５】
映像信号入力部５から映像信号の分配供給を受けた視覚特徴パタン抽出部１２では、入力される映像信号の画像フレーム毎に予め視覚特徴パタン抽出部１２に登録・内蔵してある人物の口唇周辺画像から取り出した口唇特徴標準パタンを用いて、人物の口唇周辺部の検出及び口唇周辺画像の抽出処理を行う。口唇領域の検出と口唇領域画像の抽出には、画像特徴パタンデータとして口唇領域での色空間上の色分布ヒストグラムや、画像空間上の色分布として口唇領域画像をｎ×ｍ個（ｎ、ｍは任意の自然数でｎはＸ軸上の分割数をｍはＹ軸上の分割数）の画像ブロックに分割した各々のブロック内の色平均情報または輝度平均情報等の色情報を用い、入力される画像フレーム内の口唇領域の大きさがまちまちである事を考慮して口唇領域画像サイズを変数化して口唇領域の検出および口唇領域画像の抽出を行う。
【０１３６】
視覚特徴パタン抽出部１２は、入力された画像フレームから口唇領域を検出及び抽出できた場合、抽出した口唇領域画像からさらに人物発声時の視覚特徴パタンデータの抽出を行う。
【０１３７】
視覚特徴パタンデータは口唇の形状を代表する情報を用いる。例えば前記口唇領域画像抽出時に用いた口唇領域画像空間を任意の個数に分割した画像ブロックのおのおのの色平均情報または輝度平均情報から構成される分割した画像ブロック数分成分からなるベクトルデータや、または視覚特徴抽出した口唇領域画像データに対してさらに色フィルター等を用いて口唇部分のみを抽出し、口唇部分の面積重心点から垂直方向の唇外接点２点（上下）と水平方向外接点２点（左右）につきそれぞれ前記重心点からの相対距離を算出した４個の数値成分からなるベクトルデータ等である。
【０１３８】
発声特徴パタン抽出部１０で抽出された発声特徴パタンデータと視覚特徴パタン抽出部１２で抽出された視覚特徴パタンデータは、逐次映像検索インデクス生成部１１に出力される。映像検索インデクス部１１は、各々逐次入力されてくる個々の発声特徴パタンデータと視覚特徴パタンデータについて時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめて特徴パタンデータの種別ごとにパケット化し、パケット毎に特徴パタンデータの種別を表わす識別と時刻情報を付与する事で、発声特徴パタンデータ及び視覚特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造パケットを生成し複合データ記録処理部７に逐次転送する。
【０１３９】
ビデオ録画開始の指示を受けた複合データ記録処理部７は、データの記録開始に先立ち、記録媒体動作制御部８に制御信号を発行して、記録媒体９へのデータ記録開始位置の保持を行う。各々信号帯域圧縮処理を施された映像信号ならびに音声信号、及び映像検索用インデクス生成部１１にて生成されたインデクス構造パケットデータを受け取った複合データ記録処理部７は、ＭＰＥＧ等の所定のフォーマットで映像信号と音声信号及びインデクス構造パケットデータを多重化処理し、記録媒体動作制御部８への制御信号を発行して映像記録媒体９の所定の位置に多重化したデータをＤＶＤ等の記録フォーマットにしたがって記録する。
【０１４０】
こうした一連の動作は、ビデオ録画開始からビデオ録画時間終了または外部からの映像信号入力の終了または外部からの制御信号によるビデオ録画停止指示、及び装置内各部からのエラー通知をビデオ録画制御部２が検出するまで繰り返され、ビデオ録画制御部２はこれらを検出した際は装置を構成する各部にビデオ録画停止指示を行い、装置を初期状態に遷移させる事で動作を終了する。
【０１４１】
このように、映像信号から人物発声時の視覚特徴パタンを抽出し、発生特徴パタンデータとともに映像検索用インデクスを作成したので、ＢＧＭ（バックグラウンドミュージック）や環境ノイズなどにより音声認識精度が低下する場合に、認識精度を補完することができる。
【０１４２】
（第６の実施の形態）
第６の実施の形態にかかるビデオ再生装置は、第４、第５の実施の形態に記述した方式で記録された映像検索用インデクスを用いて、キーワードによる映像検索ならびに早見を行う。
【０１４３】
図１１に第６の実施の形態にかかるビデオ再生装置の構成が示されている。外部から入力されるビデオ再生指示制御信号等は制御信号入力部１で受信される。ビデオ再生制御部１３は、受信された制御信号の種別に応じて装置を構成する各ブロックに対して録画開始指示信号や停止指示信号を発行する。映像記録媒体９に、上述した第４、第５の実施の形態に記述した方式で生成された映像検索用インデクスを含む映像信号及び音声信号がＤＶＤ等の所定の記録フォーマットで記録されている。映像記録媒体９として光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等を用いる事ができる。複合データ読出処理部７は、ビデオ再生制御部１３からの指示により映像記録媒体９での記録フォーマットに従いビデオ再生位置を示す時刻位置から映像信号と音声信号を読み出し、さらに映映像検索インデクスを読み出す。このとき、記録媒体動作制御部８は複合データ読出処理部７からの制御指示により読み出しデータが記録された位置へのシーク等の物理的な制御を行う。
【０１４４】
音声信号デコード部１５は複合データ読出処理部１４から供給されるＭＰＥＧ等の信号帯域圧縮処理が施された音声信号の信号帯域を伸張し、音声信号出力部１６は信号帯域伸張処理を施された音声信号をＤ／Ａ変換して外部へ出力する。また、映像信号デコード部１７は複合データ読出処理部１４から供給されるＭＰＥＧ等の信号帯域圧縮処理が施された映像信号の信号帯域を伸張し、映像信号出力部１８は信号帯域伸張処理を施された映像信号をＤ／Ａ変換して外部へ出力する。
【０１４５】
映像検索インデクス形成部２１は、複合データ読出処理部１４から供給される映像検索用インデクスデータから映像検索用インデクス表の形成を行う。形成されたインデクス表は記憶回路２３に一時蓄積される。
【０１４６】
一方、外部から入力されたキーワードはキーワード入力部１９で受け付けられる。キーワードパタン変換部２０は入力されたキーワードを音素符号列に変換し、さらにパタン照合で使用するパタンデータに変換する。キーワードパタン照合部２２は、キーワードの特徴パタンデータの時系列を、記憶回路２３から読み出した映像検索用インデクス表内の特徴パタンデータの時系列とパタン照合する。以上のように構成されたビデオ再生装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成される。
【０１４７】
次に、この装置の動作について説明する。
【０１４８】
制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ再生指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ再生制御部１３にビデオ再生指示信号を発行する。ビデオ再生指示信号を受けたビデオ再生制御部１３は、複合データ読出処理部１４に対して例えばビデオ信号の先頭を示す時刻情報とともにビデオ再生開始の指示を行う。
【０１４９】
ビデオ再生開始の指示を受けた複合データ読出処理部１４は、映像記録媒体９にＤＶＤ等の所定の記録フォーマットで記録されている予めＭＰＥＧ等の信号帯域圧縮処理を施されている映像信号と音声信号の読み出し位置を指示された時刻情報により決定して、記録媒体動作制御部８に映像信号と音声信号の読み出し位置へのシーク等の制御信号を発行し、映像記録媒体９から映像信号と音声信号とを時間同期を保ちながら読み出す。
【０１５０】
複合データ読出処理部１４により読み出された映像信号は、映像信号デコード部１７に供給されＭＰＥＧ等の信号帯域伸張処理を施され後、映像信号出力部１８に供給されＤ／Ａ変換処理によりＮＴＳＣアナログ信号等に変換されて、外部のテレビジョンモニター装置等へ出力される。
【０１５１】
同じく複合データ読出処理部１４により読み出された音声信号は、音声信号デコード部１５に供給されＭＰＥＧ等の信号帯域伸張処理を施され後、音声信号出力部１６に供給されＤ／Ａ変換処理によりアナログ音声信号に変換されて、外部のスピーカ装置等へ出力される。
【０１５２】
制御信号入力部１が、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ検索指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ再生制御部１３にビデオ検索指示を発行する。
【０１５３】
ビデオ検索指示を受けたビデオ再生制御部１３は、キーワード入力部１９にキーワード入力を促す制御信号を発行する。
【０１５４】
キーワード入力部１９は、外部のキーボード等の入力装置からキーワードが入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行い、入力されたキーワード情報をキーワードパタン変換部２０へ転送する。
【０１５５】
キーワード入力完了通知を受けたビデオ再生制御部１３は、ビデオ信号内のキーワード検出位置を示す時刻情報を管理用にビデオ再生制御部１３内部に持つキーワード検出位置管理表を初期化した後、複合データ読出処理部１４へ映像検索用インデクスデータ読み出し指示を発行し、キーワードパタン照合部２２へパタン照合開始の指示を発行する。この際、映像記録媒体９がメモリカードやＨＤＤまたは光ディスク等の高いアクセス性が保証される記録媒体を用いている場合は通常のビデオ再生は継続して行われており、映像記録媒体９が磁気テープ等の高いアクセス性が得られない記録媒体を用いている場合は一旦通常のビデオ再生は停止される。
【０１５６】
キーワード情報を受け取ったキーワードパタン変換部２０は、キーワードを音素符号列に変換し、さらに予め内部に登録してある各サブワードの発声特徴パタンデータ時系列からなる標準音声パタンを参照してキーワードの音素符号列をキーワード構成サブワード分の発声特徴パタンデータ時系列に変換し、キーワードパタン照合部２２へ転送する。
【０１５７】
ここで、標準音声パタン及び発声特徴パタンデータ時系列として用いるデータは、上記第４、第５の実施の形態で用いた発声特徴パタンデータと同様に人物の発声周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータの時系列である。
【０１５８】
一方、ビデオ再生制御部１３からの映像検索用インデクスデータ読み出し指示を受け付けた複合データ読出処理部１４は、記録媒体動作制御部８に映像検索用インデクスデータの読み出し位置のシーク及び高速読み出し等の制御信号を発行し、映像記録媒体９に所定の記録フォーマットで記録されている映像検索用インデクスデータを高速に読み出し、読み出された映像検索用インデクスデータは逐次映像検索インデクス形成部２１へ転送される。
【０１５９】
映像検索用インデクスデータは、第４，第５の実施の形態で記述した方式で一定時間単位にパケット化されており、パケット毎にインデクスデータの種別と映像信号及び音声信号に同期した時刻情報が添付された発声特徴パタンデータまたは視覚特徴パタンデータまたは各サブワードごとの時系列パタン照合結果である音素類似度表からなる時系列データである。
【０１６０】
映像検索インデクス形成部２１では、複合データ読出処理部１４から転送された映像検索用インデクスデータを前記パケット単位に再形成して形成されたインデクス構造パケットを、インデクスデータ種別ごとに時系列を保ってキーワードの照合対象となるに十分な時間長分のＦＩＦＯ（ファストイン・ファストアウト）メモリ構造または循環メモリ構造を持つ記憶回路２３に書き込む。その後キーワードパタン照合部２２によって一時記憶回路２３からのインデクス構造パケットが読み捨てらてると、その都度映像検索インデクス形成部２１は記憶回路２３上の空き記憶領域に新たに転送されて形成されるインデクス構造パケットの補充書き込みを行う。尚、映像検索インデクス形成部２１はインデクスデータの最終部分を検出したらキーワードパタン照合部２２へのインデクス読み出し終了通知を行う。
【０１６１】
一方、ビデオ再生制御部１３からパタン照合開始指示をうけたキーワードパタン照合部２２は、内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくるキーワードの発声特徴パタンデータ時系列を受け取って、映像検索インデクス形成部２１によりパタン照合に十分な時間区間長をもって記憶回路２３内に時刻順に並べられたインデクス構造パケット内の発声特徴パタンデータ時系列と、受け取ったキーワードの発声特徴パタンデータの時系列とのパタン照合を行う。
【０１６２】
このパタン照合では、記憶回路２３に時刻順に並べられたインデクス構造パケット内の発声特徴パタンデータ時系列内での一定の時刻区間内で、ＤＰ照合法等を用いて照合区間を伸縮しながら、キーワードの発声特徴パタンデータの時系列として形成した場合の各発声特徴パタンデータ間の類似度の和によって一定の類似性が得られた照合区間をキーワードの検出区間とする事となる。
【０１６３】
パタン照合の際は、ＤＰ照合法等の時系列パタン照合を用いて、記憶回路２３内の照合を終えたインデクス構造パケットを逐次読み捨て更新しながら照合を繰り返し、照合を繰り返す過程で一定の類似性を得られた場合は、発声特徴パタンデータ時系列の最初の発声特徴パタンデータが存在するインデクス構造パケットに添付された時刻情報を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。尚、キーワードパタン照合部２２は、映像検索インデクス形成部２１からインデクス読み出し終了が通知された場合は、記憶回路２３内の残りのインデクス構造パケットの発声特徴パタンデータの照合処理を終えてから、ビデオ再生制御部１３へキーワード照合の終了を通知する。
【０１６４】
ビデオ再生制御部１３は、キーワードパタン照合部２２より１回目のキーワード検出位置を示す時刻情報を受け取ると一旦内部のキーワード検出位置管理表の先頭に受け取った時刻情報を記録して、受け取った時刻情報からのビデオ再生指示を複合データ読出処理部１４に発行し、その後この装置は通常のビデオ再生と同様の処理を経て、キーワードを検出した時刻情報位置からの映像信号及び音声信号を装置外部に出力する。
【０１６５】
ビデオ再生制御部１３は、キーワードパタン照合部２２より２回目以降のキーワード検出位置を示す時刻情報を受け取ると、前記キーワード検出位置管理表の先頭から２番目に位置以降に受け取った時刻情報を順次記録して、外部からの次候補再生を示す指示が制御信号入力部１を経由して指示された場合のみ前記キーワード検出時刻管理表から順次時刻情報を取り出して、指定時刻位置からのビデオ再生指示を複合データ読出処理部１４に発行し、その後この装置は通常のビデオ再生と同様の処理を経て、キーワードを検出した時刻情報位置からの映像信号及び音声信号を装置外部に出力する。
【０１６６】
ビデオ再生制御部１３は、キーワードパタン照合部２２からキーワード照合の終了を通知されても前記キーワード検出位置管理表の内容は維持されており、キーワードパタン照合動作が終了してからも外部からの次候補再生指示を受け取る度に、前記キーワード検出時刻管理表から順次時刻情報を取り出して、指定時刻位置からのビデオ再生指示を複合データ読出処理部１４に発行可能であり、前記キーワード検出位置管理表は外部からの次のビデオ検索指示による新たなキーワードが外部から入力される事で初期化される。
【０１６７】
この装置は、こうした一連の動作を外部からのキーワードによるビデオ検索指示を受け付ける度に繰り返えす事で、ビデオ番組の発声情報へのキーワード照合で映像シーンの特定し、特定した位置からのビデオ再生による早見が可能である。
【０１６８】
以上の説明ではインデクス構造パケットデータが発声特徴パタンデータの時系列であった。さらに、キーワードパタン照合部２２において、入力されたキーワードのサブワード列と前記音素類似度表内での各サブワードごとの類似度を用いたパタン照合を行う方式を採る事もできる。この場合、キーワードパタン変換部２０は、キーワード入力部１９から転送されてきたキーワードをその音素符号列に変換しキーワードパタン照合部２２へ転送する。
【０１６９】
キーワードパタン照合部２２は、ビデオ再生制御部１３からパタン照合開始指示をうけると内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくるキーワードの音素符号列を受け取って、映像検索インデクス形成部２１によりパタン照合に十分な時間区間長をもって記憶回路２３内に時刻順に並べられたインデクス構造パケット内の音素類似度表データ時系列と、受け取ったキーワードの音素符号列との時系列パタン照合を行う。
【０１７０】
このパタン照合では、記憶回路２３内に時刻順に並べられたインデクス構造パケット内の音素類似度表データ時系列内での一定の時刻区間内で、照合区間をＤＰ照合法で用いられる時間伸縮の手法等によって伸縮しながらキーワードの音素系列として形成した場合のサブワードごとの類似度の和によって一定の類似性得られた照合区間をキーワードの検出区間とする。
【０１７１】
すなわち、記録映像と同じ時間幅を持っている音素類似度表からパタン照合に十分な区間長のインデクス構造パケット群を取り出し、取り出された各インデクス構造パケットの発声特徴パタンデータ（始端時刻、終端時刻、類似度を持つ）を時刻順に並べる。音素類似度表における１区間には全標準音声パタン（サブワード）に対応した数の発声特徴パタンデータが同一時間軸上に配列されている。そのような発声特徴パタンデータの列が、パタン照合に十分な区間長に存在する区間の数だけ連続して配列される。このような映像検索インデクスの発声特徴パタンデータの時系列と，キーワードを構成しているサブワードの発声特徴パタンデータの時系列とを、ＤＰ照合法を用いて照合区間を伸縮しながら照合し、両者の類似度が所定値以上となる照合期間をキーワードの検出区間とする。両者の類似度は、キーワードを構成しているサブワード系列の順に該当するインデクス構造パケットの発声特徴パタンデータを取り出す、その取り出された各発声特徴パタンデータが持つ類似度を加算した値である。
【０１７２】
キーワード検出区間の最初のサブワードの始端時刻を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。
【０１７３】
こうしたパタン照合方式によれば、パタン照合処理の際に例えば発声特徴パタンデータ時系列のような音響特性成分からなるベクトルデータ間の照合処理を行う必要がない事から、照合処理時間を大幅に削減することが可能である。
【０１７４】
また、映像検索インデクスを，登録されたキーワードに対応させた固定的した形で持つのではなく，入力音声の音素類似度表といった中間状態の形で保存するので、検索キーワードを予め登録する必要がなく、ユーザが不確定なキーワードを入力した場合にも検索意図を最も良く反映した映像を検索する事ができる。
【０１７５】
また、キーワードパタン変換部が、入力されるキーワードを視覚特徴パタンデータへの変換を行い、前記キーワードパタン照合部が、予め記録媒体に記録されている映像検索用インデクスとして第５の実施の形態で記述した人物発声時の視覚特徴パタンデータを用い、入力されたキーワードの視覚特徴パタンデータとの照合を行うように構成する事が以下に可能である。
【０１７６】
この場合、キーワードパタン変換部２０は、キーワード入力部１９から転送されてきたキーワード情報を音素符号列に変換し、さらに予め内部に登録してある各サブワードの発声特徴パタンデータ時系列からなる音素標準パタン、及び各発声サブワードの視覚特徴パタンデータからなる視覚特徴標準パタンを参照してキーワードの音素符号列をキーワード構成サブワード分の発声特徴パタンデータ時系列と視覚特徴パタンデータ時系列に変換して、キーワードパタン照合部２２へ転送する。
【０１７７】
ビデオ再生制御部１３からパタン照合開始指示をうけたキーワードパタン照合部２２は、内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくる前記キーワードの発声特徴パタンデータ時系列と視覚特徴パタンデータ時系列を受け取って、映像検索インデクス形成部２１により記憶回路２３内に発声特徴パタンデータで構成されるインデクス構造パケットと視覚特徴パタンデータで構成されるインデクス構造パケット別に時刻順に並べられたインデクス構造パケット内のデータ時系列とのパタン照合を、それぞれのデータ種別ごとに行う。
【０１７８】
各々のパタン照合では、記憶回路２３内に時刻順に並べられたインデクス構造パケット内のそれぞれの特徴パタンデータ時系列内での一定の時刻区間内で、ＤＰ照合法等を用いて照合区間を伸縮しながらキーワードのそれぞれの特徴パタンデータ時系列とのパタン照合を行いデータ種別ごとに各サブワードの特徴パタンデータ間の類似度の和を求めキーワード類似度とする。
【０１７９】
このようにして求められた発声特徴パタンデータ時系列照合でのキーワード類似度と、視覚特徴パタンデータ時系列照合でのキーワード類似度の和から一定の類似性得られた照合区間をキーワードの検出区間とし、検出した区間の発声特徴パタンデータ時系列の最初の発声特徴パタンデータが存在するインデクス構造パケットに添付された時刻情報を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。
【０１８０】
このように音声からの発声特徴パタンデータと、映像からの視覚特徴パタンデータを併用したパタン照合をする事により、例えば録画したビデオ番組等でＢＧＭ（バックグラウンドミュージック）や騒音などによってインデクス構造デパケット内発声特徴パタンデータを構成する音響特性データの精度が下がっている場合でも、視覚特徴パタンデータを利用する事でキーワードの検出精度の大幅な低下を防ぐ事が可能である。
【０１８１】
また、キーワード入力部が音声入力用マイクロフォンを備え、キーワードパタン変換部が入力されたキーワードの音声信号からキーワードの発声特徴パタンデータへの変換を行うように構成する事が以下に可能である。
【０１８２】
キーワード入力部１９は、外部のマイクロフォン等の音声入力装置からキーワードが入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行い、入力されたキーワード音声信号にＡ／Ｄ変換処理を施してキーワードパタン変換部２０へ供給する。
【０１８３】
キーワードパタン変換部２０は、入力されたキーワード音声信号に対し、一定時間単位でＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータからなる発声特徴パタンデータ時系列を生成し、キーワードパタン照合部２２へ転送する。
【０１８４】
このように、マイクロフォン等を用いた音声によるキーワードの入力と、入力された音声信号からキーワード照合に必要なキーワードの発声特徴パタンデータ時系列を生成する事が可能となる。
【０１８５】
また、キーワード入力部がマイクロフォンと動画像入力用カメラ装置とを備え、前記キーワードパタン変換部が利用者のキーワード発声時に入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンとの照合を行い、キーワード発声時の映像信号からキーワードの視覚特徴パタンデータへの変換を行うように構成する事が以下に可能である。
【０１８６】
この場合、キーワード入力部１９は、外部のマイクロフォン等の音声入力装置及びビデオカメラ装置とからキーワード情報が入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行い、入力されたキーワード音声信号及びキーワード発声時の人物の顔を捉えた映像信号にＡ／Ｄ変換処理を施してキーワードパタン変換部２０へ供給する。
【０１８７】
キーワードパタン変換部２０は、入力されたキーワード音声信号からは、音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータからなる発声特徴パタンデータ時系列を生成し、同じく入力されたキーワード映像信号の画像フレーム毎に予め登録してある人物の口唇周辺画像から取り出した口唇特徴標準パタンを用いて、人物の口唇周辺部の検出及び口唇周辺画像の抽出処理を行い、抽出した口唇領域画像からさらに口唇の形状を代表する情報からなる人物発声時の視覚特徴パタンデータを抽出し、キーワード発声時間分の視覚特徴パタンデータ時系列生成し、それぞれキーワードパタン照合部２２へ転送する。
【０１８８】
視覚特徴パタンデータは、例えば前記口唇領域画像抽出時に用いた口唇領域画像空間を任意の個数に分割した画像ブロックのおのおのの色平均情報または輝度平均情報から構成される分割した画像ブロック数分の成分からなるベクトルデータや、または視覚特徴抽出した口唇領域画像データに対してさらに色フィルター等を用いて口唇部分のみを抽出し、口唇部分の面積重心点から垂直方向の唇外接点２点（上下）と水平方向外接点２点（左右）につきそれぞれ前記重心点からの相対距離を算出した４個の数値成分からなるベクトルデータ等である。
【０１８９】
このように、マイクロフォン及びビデオカメラ装置を用いた映像・音声によるキーワードの入力と、入力された音声信号からはキーワードの発声特徴パタンデータ時系列を、映像信号からはキーワードの視覚特徴パタンデータ時系列を生成する事が可能となる。
【０１９０】
また、本発明のシーン検索システムは音声だけのシーン検索に適用することができる。上述した方式にしたがって映像信号と音声信号と映像検索インデクス、又は音声信号と音声映像検索インデクスとを記録媒体に蓄積する。音声映像検索インデクスは上記映像検索インデクスと同じ構造のものを用いる事ができる。キーワード検出区間の先頭サブワードの始端時刻に対応する位置から音声信号の取り出しを開始すればよい。
【０１９１】
【発明の効果】
以上詳記したように本発明によれば、映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかるシーン検索システムの機能ブロック図
【図２】標準音声パタンのデータ構成図
【図３】音素類似度表を示す図
【図４】音素類似度表からキーワードの音素系列に相当するサブワードをピックアップした状態を示す図
【図５】ピックアップしたサブワードをキーワードの音素系列の順に配列した状態を示す図
【図６】本発明の第２の実施の形態にかかるシーン検索システムの機能ブロック図
【図７】（１） 映像信号、音声信号及び映像検索インデクスを多重化したＭＰＥＧストリームの構成図
（２） 映像ストリームの構成図
（３） ＧＯＰの構成図
（４） 検索データストリームの構成図
【図８】本発明の第３の実施の形態にかかるシーン検索システムの機能ブロック図
【図９】本発明の第４の実施の形態にかかるビデオ録画装置の機能ブロック図
【図１０】本発明の第５の実施の形態にかかるビデオ録画装置の機能ブロック図
【図１１】本発明の第６の実施の形態にかかるビデオ再生装置の機能ブロック図
【図１２】既存の映像検索システムの機能ブロック図
【符号の説明】
１ 制御信号入力部
２ ビデオ録画制御部
３ 音声信号入力部
４ 音声信号エンコード部
５ 映像信号入力部
６ 映像信号エンコード部
７ 複合データ記録処理部
８ 記録媒体動作制御部
９ 映像記録媒体
１０ 発声特徴パタン抽出部
１１ 映像検索インデクス生成部
１２ 視覚特徴パタン抽出部
１３ ビデオ再生制御部
１４ 複合データ読出処理部
１５ 音声信号デコード部
１６ 音声信号出力部
１７ 映像信号デコード部
１８ 映像信号出力部
１９ キーワード入力部
２０ キーワードパタン変換部
２１ 映像検索インデクス形成部
２２ キーワードパタン照合部
２３ 記憶回路
１００ 検索データ生成部
１０３ 音声特徴パタン抽出部
１０４ 映像検索インデクス生成部
１０５ 標準音声特徴パタン格納部
２００ 検索処理部
２０１ 記録部
２０３ キーワード入力部
２０５ キーワードパタン照合部

Claims (22)

1. 映像信号に同期した音声信号から特徴パタンを抽出する抽出手段と、前記音声信号に対して処理対象となる音声区間を設定し、音素の標準音声パタンを複数音素分用意しておき、各音声区間において標準音声パタンと前記抽出特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報が含まれたインデクスを各音素について生成するインデクス生成手段と、映像信号、音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化手段と、を具備した映像検索データ生成装置。
2. 前記多重化手段から出力されるデータストリームを、記録メディアに記録することを特徴とする請求項１記載の映像検索データ生成装置。
3. 前記多重化手段は、映像信号、音声信号及びインデクスをＭＰＥＧフォーマットで多重化することを特徴とする請求項１又は請求項２に記載の映像検索データ生成装置。
4. 前記インデクスは、音素の種類、検出類似区間の時刻情報及び標準音声パタンと特徴パタンとの類似度を示すスコアの組であることを特徴とする請求項１から請求項３のいずれかに記載の映像検索データ生成装置。
5. 映像信号に同期した音声信号から特徴パタンを抽出する抽出工程と、前記音声信号に対して処理対象となる音声区間を設定し、音素の標準音声パタンを複数音素分用意しておき、各音声区間において標準音声パタンと前記抽出特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報が含まれたインデクスを各音素について生成するインデクス生成工程と、映像信号、音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化工程と、を具備した映像検索データ生成方法。
6. 前記多重化工程によって得られるデータストリームを、記録メディアに記録する工程を具備することを特徴とする請求項５記載の映像検索データ生成方法。
7. 前記インデクスは、音素の種類、検出類似区間の時刻情報及び標準音声パタンと特徴パタンとの類似度を示すスコアの組であることを特徴とする請求項５又は請求項６に記載の映像検索データ生成方法。
8. 映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、前記音声信号に対して処理対象となる音声区間を設定し、各音声区間において音素の標準音声パタンと当該音声信号から抽出した特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報を含ませたものである、データストリームが記憶された記憶部と、前記記憶部から少なくともインデクスを分離して読み出す読出手段と、読み出したインデクスを時系列に並べた時系列データと入力キーワードの音素系列とを照合し、当該入力キーワードと類似する区間に属するインデクスに含まれた時間情報を使用して映像を検索する検索手段と、を具備する映像検索装置。
9. 前記検索手段は、分離されたインデクスの中から入力キーワードに対応したインデクスをピックアップし、当該インデクスの組合せから時間情報を求める照合手段と、この求めた時間情報を使用して前記入力キーワードに対応した映像を検索する制御手段と、を有することを特徴とする請求項８記載の映像検索装置。
10. 前記照合手段は、入力キーワードを音素系列に変換し、音素系列の順序に従ってインデクスをピックアップし、音素毎の類似度を加算（累積）することで、入力キーワードに対する類似度を求め、求めた類似度の高い区間の時間情報を取得することを特徴とする請求項９記載の映像検索装置。
11. 前記インデクスは、映像信号、音声信号と一緒にＭＰＥＧフォーマットで多重化していることを特徴とする請求項８から請求項１０のいずれかに記載の映像検索装置。
12. 映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームであって、前記インデク スは、前記音声信号に対して処理対象となる音声区間を設定し、各音声区間において音素の標準音声パタンと当該音声信号から抽出した特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報を含ませたものである、データストリームが記憶された記憶部から少なくともインデクスを分離して読み出す読出工程と、読み出したインデクスを時系列に並べた時系列データと入力キーワードの音素系列データとを照合し、当該入力キーワードと類似する区間に属するインデクスに含まれた時間情報を使用して映像を検索する検索工程と、を具備した映像検索方法。
13. 前記検索工程は、分離して読み出されたインデクスの中から入力キーワードに対応したインデクスをピックアップし、当該インデクスの組合せから時間情報を求める照合工程と、この求めた時間情報を使用して前記入力キーワードに対応した映像を検索する工程と、を有することを特徴とする請求項１２記載の映像検索方法。
14. 前記照合工程は、入力キーワードを音素系列に変換し、音素系列の順序に従ってインデクスをピックアップし、音素毎の類似度を加算（累積）することで、入力キーワードに対する類似度を求め、求めた類似度の高い区間の時間情報を取得することを特徴とする請求項１３記載の映像検索方法。
15. ビデオ録画時に映像信号に同期して入力する音声信号から特徴パタンを抽出する抽出手段と、前記音声信号に対して処理対象となる音声区間を設定し、音素の標準音声パタンを複数音素分用意しておき、各音声区間において標準音声パタンと前記抽出特徴パタンとが類似した類似区間を各音素について検出し、検出した類似区間に関する時刻情報が含まれたインデクスを各音素について生成するインデクス生成手段と、入力映像信号、入力音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化手段と、この多重化手段から出力されるデータストリームが記録される映像記録媒体と、を具備したビデオ録画装置。
16. ビデオ録画時に映像信号に同期して入力する音声信号から特徴パタンを抽出する抽出手段と、音素の標準音声パタンを複数音素分用意しておき、前記抽出特徴パタンと前記各標準音声パタンとを照合し、その照合結果から標準音声パタンと類似した区間の時間情報を含んだ音素類似度表を生成し、生成した音素類似度表について時系列を維持したまま映像信号、音声信号間で同期可能な時間単位でパケット化したインデクスを生成するインデクス生成手段と、入力映像信号、入力音声信号及びインデクスを多重化してデータストリーム形式で出力する多重化手段と、この多重化手段から出力されるデータストリームが記録される映像記録媒体と、を具備したビデオ録画装置。
17. 前記多重化手段は、入力映像信号、入力音声信号及びインデクスをＭＰＥＧフォームで多重化することを特徴とする請求項１５又は請求項１６記載のビデオ録画装置。
18. 前記データストリームは前記映像記録媒体の記録フォーマットにしたがって当該映像記録媒体に記録されることを特徴とする請求項１５から請求項１７のいずれかに記載のビデオ録画装置。
19. 映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、各インデクスに対応した音素の標準音声パタンと類似した類似区間の前記音声信号内での位置を示す時刻情報が含まれている、データストリームが記録された映像記録媒体と、ビデオ再生時に前記映像記録媒体から映像信号と音声信号とを同期を保ちながら読み出し、映像検索指示が与えられると前記映像記録媒体に記録されたデータストリームからインデクスを分離して読み出す読出処理手段と、入力キーワードを音素単位の時系列データに変換するキーワード変換手段と、入力キーワードの時系列データと前記インデクスとを照合して両者が類似する区間の時刻情報を求めるキーワードパタン照合手段と、この求めた時刻情報で特定された位置を読み出し開始位置として映像信号及び音声信号を読み出すように前記読出処理手段に対して指示する制御手段と、を具備したビデオ再生装置。
20. 映像信号と当該映像信号に同期した音声信号と当該音声信号から生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、音 素の標準音声パタンを複数音素分用意しておき、前記音声信号から抽出された特徴パタンと前記各標準音声パタンとを照合し、その照合結果から標準音声パタンと類似した区間の時間情報を含んだ音素類似度表を生成し、生成した音素類似度表について時系列を維持したまま映像信号、音声信号間で同期可能な時間単位でパケット化したインデクスである、データストリームが記録された映像記録媒体と、ビデオ再生時に前記映像記録媒体から映像信号と音声信号とを同期を保ちながら読み出し、映像検索指示が与えられると前記映像記録媒体に記録されたデータストリームからインデクスを分離して読み出す読出処理手段と、入力キーワードを特徴パタンの時系列データに変換するキーワード変換手段と、入力キーワードの時系列データと前記インデクス内の音素類似度表から生成される標準音声パタンの時系列データとを照合し、入力キーワードと類似した区間の音素類似度表に含まれた時間情報から前記音声信号に同期した時刻情報を取得するキーワードパタン照合手段と、この求めた時刻情報で特定された位置を読み出し開始位置として映像信号及び音声信号を読み出すように前記読出処理手段に対して指示する制御手段と、を具備するビデオ再生装置。
21. 映像信号と当該映像信号に同期した音声信号と当該音声信号から音素単位で生成されたインデクスとが多重されたデータストリームを映像記録媒体に記録しておき、前記各インデクスは、各インデクスに対応した音素の標準音声パタンと類似した特徴パタンの前記音声信号内での位置を示す時刻情報が含まれ、ビデオ再生時に前記映像記録媒体から映像信号と音声信号とを同期を保ちながら読み出し、映像検索指示が与えられると前記映像記録媒体に記録されたデータストリームからインデクスを分離して読み出し、入力キーワードを音素単位の時系列データに変換し、入力キーワードの時系列データと前記インデクスとを照合して両者が類似する類似区間の時刻情報を当該インデクス内の時刻情報から求め、この求めた時刻情報で特定された位置を読み出し開始位置として映像信号及び音声信号を読み出すことを特徴とするビデオ再生方法。
22. 映像信号と当該映像信号に同期した音声信号と当該音声信号から生成されたインデクスとが多重されたデータストリームであって、前記各インデクスは、音素の標準音声パタンを複数音素分用意しておき、前記抽出特徴パタンと前記各標準音声パタンとを照合し、その照合結果から標準音声パタンと類似した区間の時間情報を含んだ音素類似度表を生成し、生成した音素類似度表について時系列を維持したまま映像信号、音声信号間で同期可能な時間単位でパケット化したインデクスである、データストリームを映像記録媒体に記録しておき、ビデオ再生時に前記映像記録媒体から映像信号と音声信号とを同期を保ちながら読み出し、映像検索指示が与えられると前記映像記録媒体に記録されたデータストリームからインデクスを分離して読み出し、入力キーワードを特徴パタンの時系列データに変換し、入力キーワードの時系列データと前記インデクス内の音素類似度表から生成される標準音声パタンの時系列データとを照合し、入力キーワードと類似した区間の音素類似度表に含まれた時間情報から前記音声信号に同期した時刻情報を取得し、この求めた時刻情報で特定された位置を読み出し開始位置として映像信号及び音声信号を読み出すことを特徴とするビデオ再生方法。

Images