JP4491700B2 - 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 - Google Patents
音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 Download PDFInfo
- Publication number
- JP4491700B2 JP4491700B2 JP2000247233A JP2000247233A JP4491700B2 JP 4491700 B2 JP4491700 B2 JP 4491700B2 JP 2000247233 A JP2000247233 A JP 2000247233A JP 2000247233 A JP2000247233 A JP 2000247233A JP 4491700 B2 JP4491700 B2 JP 4491700B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic
- signal
- search
- searcher
- feature parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、検索対象の音響信号や映像信号から、例えば特定の楽器、特定の人声、動物の鳴き声等の部分や特定の人物画像、特定のシーンなどの部分を検索する検索処理方法および装置、また、この検索処理方法および装置を用いた情報蓄積方法および装置に関する。
【０００２】
【従来の技術】
例えば、会議録音を行った場合、記録された音響信号について、記録後に、特定の発言部分などを検索したりする要求がある。
【０００３】
このように、記録された音響信号について、使用者が希望する音響信号部分を検索する場合、従来は、記録時にマーカーを打ち込んでおき、再生時に、この打ち込みマーカーを検出することにより、希望する音響信号部分を検索するようにしている。
【０００４】
また、記録時に、後で検索したい音響信号部分が判るように、カウンタ数値や、記録開始時点からの時間を、それぞれの音響信号部分と対応を付けて記録するようにする方法も知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の方法の場合、記録時に、後で検索するであろう音響信号部分を判断してマーカーを打ち込んだり、カウンタ数値や時間を記録したりする必要があり、使い勝手について、次のような問題があった。
【０００６】
１．記録時に、マーカーを使用者が打ち込んだり、カウンタ数値や時間を別途に記録しなければならず、マーカー打ち込み操作やカウンタ数値や時間を記録する操作が厄介である。
【０００７】
２．マーカーやカウンタ数値、時間が記録されていない箇所は、検索することはできない。
【０００８】
３．特定の話者のみ、あるいは特定の楽器のみなどの部分を検索することができない。このため、例えば会議記録において発言区間を話者毎に分類したり、演奏区間を楽器毎に分類したりするなどということができない。
【０００９】
４．一旦、記録して、マーカーやカウンタ数値等を記録する必要があるため、記録を行わずに、複数の検索子について検索して分類するなどということはできなかった。
【００１０】
この発明は、以上の点にかんがみ、記録時に、マーカーを打ち込んだり、カウンタ数値や時間を記録する操作が必要なく、しかも、特定の話者や楽器などの部分を検索することができる方法および装置を提供することを目的とする。
【００１１】
また、音響信号を記録しなくても、検索対象の音響信号から、特定の音源などの音響信号を検索子とする検索が行えるようにする方法および装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による音響検索処理方法は、抽出手段が、検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索することを特徴とする。
【００１３】
この請求項１の発明においては、検索子として、例えば特定の話者、特定の楽器などの、構造的な要素が異なる音源からの音響信号を想定する。そして、それぞれの音源の構造的な要素に依存する音響特徴パラメータ（検索子音響特徴パラメータ）と、検索対象の音響信号を解析して得た音響特徴パラメータと比較することで、検索対象の音響信号から、検索子の音響信号と類似する部分を見つけ出すようにする。
【００１４】
これにより、検索対象の音響信号の記録時にマーカーなどを打ち込んでおかなくても、例えば、特定の話者の発言部分や、特定の楽器の演奏部分を、簡単に検索することができる。
【００１８】
また請求項１の発明によれば、検索対象の音響信号中から、検索子とすべき音源の音響信号を抽出することにより、必要な検索子の音響信号を簡単に用意することができる。
【００２０】
また請求項１の発明においては、検索時に検索したい、例えば話者などの音響信号部分を、検索対象の音響信号について指示すると、その指示された音響信号部分が解析されて、検索子音響特徴パラメータが生成される。そして、その検索子音響特徴パラメータにより、指示された検索子についての検索が行われることになる。
【００２１】
このように、この請求項１の発明によれば、予め検索子を用意しておかなくても、検索時に検索対象の音響信号から検索子とする音響信号部分を指定することより、検索子を設定することができる。したがって、使用者が希望する任意の検索子についての検索が可能となる。
【００２６】
また、請求項４の発明は、請求項１〜３のいずれかに記載の音響検索処理方法において、前記検索子が複数個である場合には、予め設定された単位時間ごとに、検索子を切り換えて、前記類似性の算出を行なうことを特徴とする。
【００２７】
この請求項４の発明によれば、時分割的に複数の検索子を切り換えて、検索を行うことにより、同時に複数個の検索子についての検索が可能になる。
【００２８】
また、請求項５の発明は、請求項１〜請求項４のいずれかに記載の音響検索処理方法において、前記検索結果の類似する部分を、前記検索対象の音響信号について、時間方向に表示することを特徴とする。
【００２９】
この請求項５の発明によれば、例えば会議録音された音響信号において、例えば特定の話者がどのように発言しているかなどを時間単位に表示することができる。
【００３０】
また、請求項６の発明は、請求項１〜請求項４のいずれかに記載の音響検索処理方法において、前記検索対象の音響信号のうちの、前記検索結果の類似する部分のみを抽出して再生することを特徴とする。
【００３１】
この請求項６の発明によれば、例えば会議録音された音響信号において、例えば特定の話者が発言した部分のみを再生することができる。
【００３２】
また、請求項２３の発明による音響映像検索処理方法は、映像信号と、その映像信号に関連する音響信号とからなる入力信号から、所定の部分を検索する音響映像検索処理方法において、抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索することを特徴とする。
【００３３】
この請求項２３の発明によれば、検索子とされた音響信号に関連する映像信号部分を検索することができる。
【００３４】
また、請求項２５の発明による音響映像検索処理方法は、抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、音響部分検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索すると共に、映像部分検索手段が、検索子とする１〜複数の映像信号についての、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、検索対象とする前記入力信号中の映像信号を解析して得た前記映像特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする前記入力信号中の映像信号中から前記検索子の画像と類似する画像部分を検索し、前記音響信号についての検索結果と、前記映像信号についての検索結果とに基づいて、前記入力信号中から所定の部分を検索することを特徴とする。
【００３５】
この請求項２５の発明によれば、検索子として、検索子音響特徴パラメータだけでなく、検索子映像特徴パラメータを用いて、入力信号についての検索を行なうので、検索の精度をあげることができ、また、音響的にも、映像的にも、区切りの良いシーンの検索などを行なうことができる。
【００３６】
【発明の実施の形態】
以下、この発明の実施の形態を、図を参照しながら説明する。
【００３７】
［第１の実施の形態］
図１は、この発明の第１の実施の形態のブロック図である。この第１の実施の形態では、検索対象の入力音響信号、例えばマイクロホンで収音した入力オーディオ信号を記録し、再生する機能を備える。この実施の形態では、再生音響信号も、検索対象の音響信号とする機能を備える。また、検索対象の入力音響信号または再生音響信号から検索子の音響信号を抽出して記憶蓄積する機能と、この蓄積された検索子の音響信号を用いて入力音響信号または再生音響信号について検索する機能と、さらに、検索結果を表示部に表示する機能を備える。
【００３８】
入力音響信号は、入力端子１１を通じて、スイッチ回路ＳＷ１に供給される。このスイッチ回路ＳＷ１は、コントロール部１０からの切り換え信号により、入力音響信号の記録時および入力音響信号についての検索時には、端子ａ側に切り換えられ、入力音響信号から検索子の音響信号を抽出するときには、端子ｂ側に切り換えられる。
【００３９】
そして、スイッチ回路ＳＷ１の端子ａ側に得られるオーディオ信号は、音響信号記録部１２を介して記録媒体１３、例えばメモリカード、磁気ディスクや光磁気ディスクなどの光ディスクや、ハードディスクに記録される。音響信号記録部１２は、キー操作部２０を通じて記録指示が使用者から与えられたときに、コントロール部１０からの制御信号により、アクティブになり、記録を実行する。
【００４０】
入力端子１１を通じた入力音響信号は、また、スイッチ回路ＳＷ２の入力端ＩＮに供給される。このスイッチ回路ＳＷ２の後段には、オーディオアンプ１５およびスピーカ１６が接続されており、後述する再生時以外は、スイッチ回路ＳＷ２はコントロール部１０からの切り換え制御信号により、入力端ＩＮ側に切り換えられる。したがって、再生時以外の時には、入力音響信号がオーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【００４１】
キー操作部２０を通じて再生指示が使用者から与えられると、コントロール部１０からの制御信号により、音響信号再生部１４がアクティブになり、記録媒体１３から再生音響信号が読み出されて再生され、スイッチ回路ＳＷ２の入力端ＰＢに供給される。この再生時には、スイッチ回路ＳＷ２は、コントロール部１０からの切り換え制御信号により、入力端ＰＢ側に切り換えられる。したがって、再生音響信号が、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【００４２】
スイッチ回路ＳＷ１の端子ａ側に得られる入力音響信号は、また、スイッチ回路ＳＷ３の一方の入力端ｄに供給される。このスイッチ回路ＳＷ３の他方の入力端ｃには、音響信号再生部１４からの再生音響信号が供給される。
【００４３】
スイッチ回路ＳＷ３は、検索対象の音響信号を切り換えるもので、キー操作部２０を通じた使用者による検索対象の音響信号の選択指示に応じて切り換えられる。
【００４４】
このスイッチ回路ＳＷ３から得られる検索対象の音響信号は、音響特徴パラメータ解析部２１に供給されて、例えば、発音体の構造や共振系などの違いなどの音源の構造的な要素、に依存する音響特徴パラメータに解析する。この音響特徴パラメータとしては、ピッチ周波数、その高調波成分周波数、フォルマント周波数や、ケプストラム情報、線形予測係数とその残差信号、パーコール係数などが挙げられる。
【００４５】
例えば、図２は一般的な男性音声の周波数成分分布（図２（Ａ））と時間波形（図２（Ｂ））の例である。また、図３は一般的な女性音声の周波数成分分布（図３（Ａ））と時間波形（図３（Ｂ））の例である。また、図４はサキソホンの周波数成分分布（図４（Ａ））と時間波形（図４（Ｂ））の例である。さらに、図５はベースギターの周波数成分分布（図５（Ａ））と時間波形（図５（Ｂ））の例である。
【００４６】
これらの図２〜図５は、単なる周波数成分分布および時間波形であるが、それぞれ、ピッチ周波数、その高調波成分、フォルマント構造やその有無に、音響的な特徴が見られることが判る。
【００４７】
このような周波数成分分布の他にも、線形予測係数とその残差信号などの音響特徴パラメータでも、音響信号の特徴を表わすことができる。
【００４８】
また、ピッチ周波数の時間的変動から得られる音声の抑揚パラメータも音響信号の特徴を表すパラメータとして有効であることが知られており、同一人物が話した言葉でも、抑揚によって別な状況と識別することができる。例えば、ピッチが通常より低く、さらに抑揚も下がる傾向のときには、元気のない場面や悲しい場面であると識別される。したがって、抑揚情報も音響特徴パラメータに用いることもできる。
【００４９】
この音響特徴パラメータ解析部２１からの音響特徴パラメータは、類似性算出部２２に供給される。この類似性算出部２２では、後述するように、検索子となる音響信号についての音響特徴パラメータ（以下、検索子音響特徴パラメータという）と、音響特徴パラメータ解析部２１からの検索対象の音響信号の音響特徴パラメータとの類似性を算出する。
【００５０】
この類似性算出部２２での類似性算出は、音声認識などのような音声時系列波形パターンの類似判定ではなく、発音体の構造や共振系について類似した構造を持った音源から発したものであるかの判定である。時系列波形のパターンの一致や類似度を算出するものではないので、例えばオーディオ信号の再生時に、再生速度を高速にしても類似性の算出が可能である。
【００５１】
すなわち、例えば、類似性の算出に当たって、音響特徴パラメータとして、前述したもののうちの、例えば、ピッチ周波数、フォルマント周波数などの３項目を取り上げて、パラメータ（ｘ，ｙ，ｚ）で表わすことにする。
【００５２】
今、ある時間幅ＴＷの区間での検索子音響特徴パラメータが、（ｘ０，ｙ０，ｚ０）であり、検索対象の音響信号の音響特徴パラメータが、（ｘｉ，ｙｉ，ｚｉ）であったとしたとき、類似性算出部２２では、次式に示す両者の距離Ｓを類似度として算出する。前記時間幅ＴＷは、類似性算出部２２で、類似性を判定するのに十分な程度のパラメータ情報と時間を見込んで、予め設定される。
【００５３】
Ｓ＝sqrt｛（ｘｉ−ｘ０）2 ＋（ｙｉ−ｙ０）2 ＋（ｚｉ−ｚ０）2 ｝
ここで、sqrt（）は、（）内の平方根演算を示すものである。
【００５４】
この距離Ｓが、小さければ小さいほど、類似度が大きいことになる。この実施の形態において、類似性算出部２２では、予め定めた時間幅ＴＷの区間ごとに、前記距離Ｓを算出し、その算出した距離Ｓが、予め定めた所定値Ｓthよりも小さいときに、前記時間幅ＴＷの区間の音響信号は、検索子の音響信号と同じあるいは類似していると判定し、そうでないときには、非類似であると判定するようにしている。
【００５５】
なお、距離Ｓの値は、類似の程度を表わしているので、その類似の程度をそのまま出力として用いるようにすることも、勿論可能である。
【００５６】
この類似性算出部２２の類似性判定出力は、表示制御部２３を通じて表示部２４に供給される。表示制御部２３は、この実施の形態では、検索対象の音響信号の先頭からの時間に対応させて、前記類似性判定出力を、例えば横バーグラフのように、表示部２４の画面に表示するようにする（後述する図８等参照）。
【００５７】
次に、検索子について説明する。この実施の形態では、検索子とする音響信号は、入力音響信号あるいは再生音響信号から抽出して、予め記憶部３２に記憶させておく。
【００５８】
すなわち、スイッチ回路ＳＷ１の端子ｂに得られる入力音響信号は、スイッチ回路ＳＷ４の入力端ｆに供給され、また、音響信号再生部１４からの再生音響信号が、スイッチ回路ＳＷ４の入力端ｅに供給される。このスイッチ回路ＳＷ４は、検索子の音響信号を入力音響信号から抽出するか、再生音響信号から抽出するかを、切り換えるもので、コントロール部１０からの制御信号により、キー操作部２０を通じた使用者の選択指示に応じて切り換えられる。
【００５９】
このスイッチ回路ＳＷ４からの音響信号は、検索子音響信号抽出格納部３１に供給される。この検索子音響信号抽出格納部３１には、コントロール部１０から、キー操作部２０を通じた使用者の操作に応じた制御信号が供給される。
【００６０】
この実施の形態においては、使用者は、スピーカからの入力音響信号または再生音響信号の音響再生出力音を聴取しながら、検索子としたい音響信号部分になったときに、キー操作部２０の検索子指示キー（図示せず）を操作する。すると、そのキー操作時点を含む予め定めた時間幅ＴＷの区間の音響信号を抽出し、それを検索子メモリ３２に格納する。検索子メモリ３２は、検索子単位の格納エリアを有し、各検索子は、それぞれ別々の格納エリアに格納される。
【００６１】
この例の場合、時間幅ＴＷの区間は、キー操作時点よりもわずかに前の時点から開始するように、検索子音響信号抽出格納部３１は、バッファメモリを備えている。そして、指示された時間幅ＴＷの区間の音響信号を検索子音響信号として、検索子メモリ３２に格納する。
【００６２】
この場合、検索子は、複数個が格納可能とされており、使用者が検索子の音響信号を指示するごとに、コントロール部１０からの制御信号により、検索子メモリ３２の検索子格納エリアが更新される。つまり、検索子格納エリアアドレスが更新される。そして、検索子音響信号抽出格納部３１からの、使用者の指示により抽出された時間幅ＴＷの区間の検索子の音響信号は、コントロール部１０からの切り換え制御信号に応じて、検索子メモリ３２の検索子格納エリアの更新に同期してスイッチ回路ＳＷ５が切り換えられることにより、順次に、検索子メモリ３２の別々の検索子格納エリアに格納される。
【００６３】
このとき、図示しないが、どのような検索子の音響信号を検索子メモリ３２に格納したかを、キー操作部２０を通じてメモ入力することができるようにされており、その検索子のメモ入力が、検索子格納エリア番号に対応して、例えばテーブル形式で表示部２４に表示される。使用者は、この表示部２４の検索子のテーブルを参照しながら、検索したい検索子が格納されている検索子格納エリア番号を指定することにより、所望の検索子により検索が実行できる。
【００６４】
すなわち、キー操作部２０を通じて、使用者が検索モードを選択し、所定の検索子格納エリア番号を指定すると、コントロール部１０からの制御信号により、スイッチ回路ＳＷ６が切り換えられると共に、検索子音響信号読出部３３により、検索子メモリ３２の指定された検索子格納エリアから検索子の音響信号が読み出される。
【００６５】
読出された検索子の音響信号は、検索子音響特徴パラメータ解析部３４に供給されて解析され、これより、当該検索子の音響信号についての検索子音響特徴パラメータが得られる。そして、この検索子音響特徴パラメータが前述した類似性算出部２２に供給され、前述したようにして、前記時間幅ＴＷの区間ごとに、検索対象の音響信号について、当該検索子の音響信号の検索が行われる。
【００６６】
以上のような構成の音響信号検索処理装置における動作について、さらに手順を追って説明する。
【００６７】
［検索子登録動作］
この実施の形態の場合、実際の検索処理に先立ち、検索子の登録が行われる。この例では、検索子は、前述したように音響信号の形で検索子メモリ３２に格納されて登録される。この検索子登録のときのコントロール部１０を主体にした動作のフローチャートは図６のようになる。この図６の処理ルーチンは、使用者がキー操作部２０を通じて検索子登録モードを選択したときに開始となる。以下、この図６を参照して、検索子登録動作について説明する。
【００６８】
まず、コントロール部１０は、キー操作部２０を通じての使用者の選択指示を判定し、入力音響信号から検索子を抽出するのか、再生音響信号から検索子を抽出するのか判定する（ステップＳ１０１）。
【００６９】
この判定の結果、抽出元が、入力音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ｂ側に、スイッチ回路ＳＷ２は入力端ＩＮ側に、スイッチ回路ＳＷ４は入力端ｆ側に、それぞれ切り換える（ステップＳ１０２）。
【００７０】
また、抽出元が再生音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ａ側に、スイッチ回路ＳＷ２は入力端ＰＢ側に、スイッチ回路ＳＷ４は入力端ｅ側に、それぞれ切り換える（ステップＳ１０３）。
【００７１】
ステップＳ１０２またはステップＳ１０３の次には、ステップＳ１０４に進み、コントロール部１０は、使用者によるキー操作部２０を通じた検索子の音響信号部分の指示を待つ。このとき、検索子の抽出元のオーディオ信号は、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。使用者は、そのスピーカ１６から放音された音を聴取して、検索子としたい、例えば特定話者など特定の検索子音源として利用したい音響信号部分をキー操作部２０を通じて指示入力する。
【００７２】
そして、ステップＳ１０４で、検索子の音響部分の指示入力を検出したら、コントロール部１０は、検索子メモリ３２の検索子格納エリアを更新し（ステップＳ１０５）、また、検索子音響信号抽出格納部３１を制御して、前述したように、一定時間幅ＴＷの区間の音響信号を抽出するようにする（ステップＳ１０６）。そして、抽出した検索子の音響信号部分を、検索子メモリ３２の、前記の更新した検索子格納エリアに書き込むように制御する（ステップＳ１０７）。
【００７３】
そして、次に、キー操作部２０を通じて検索子の登録モードの終了指示があったかどうか判別し（ステップＳ１０８）、終了指示あれば、この検索子の登録モードの処理ルーチンを終了させ、終了指示がなければ、ステップＳ１０４に戻り、使用者による次の検索子の抽出指示入力を待ち、上述の動作を繰り返す。
【００７４】
以上のようにして、検索子メモリ３２には、使用者が入力音響信号あるいは再生音響信号から抽出した検索子の音響信号を、登録して格納しておくことができる。この場合、検索子メモリ３２のメモリ容量が十分に余裕がある場合には、検索子の音響信号は、消去せずに、蓄積しておくことができる。
【００７５】
この発明では、音響特徴パラメータを用いて類似性を算出するものであるので、蓄積した検索子の音響信号は、これを抽出したオーディオ信号から、当該検索子の音響信号部分と類似する部分を検索する場合にのみ用いられるのではなく、これを抽出したものではない他の検索対象の音響信号について、その検索子の音響信号部分と類似する部分を検索する場合にも用いることができる。
【００７６】
したがって、この第１図の実施の形態の場合、予め、使用者が検索したい音源についての音響信号を、前記時間幅ＴＷずつ検索子メモリ３２に格納して蓄積しておくことにより、何時でも必要なときに、その検索子を用いた検索を行うことができる。
【００７７】
［検索処理動作］
以上のようにして検索子メモリ３２に格納された検索子の音響信号を用いて、次のようにして検索処理が実行される。この検索処理の処理ルーチンを図７に示す。この図７の処理ルーチンは、使用者がキー操作部２０を通じて検索処理モードを選択したときに開始となる。以下、この図７を参照して、検索処理動作について説明する。
【００７８】
まず、コントロール部１０は、キー操作部２０を通じての使用者の選択指示を判定し、検索対象は、入力音響信号か、再生音響信号かを判定する（ステップＳ２０１）。
【００７９】
この判定の結果、検索対象が入力音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ａ側に、スイッチ回路ＳＷ２は入力端ＩＮ側に、スイッチ回路ＳＷ３は入力端ｄ側に、それぞれ切り換える（ステップＳ２０２）。
【００８０】
また、検索対象が再生音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ２は入力ＰＢ側に、スイッチ回路ＳＷ３は入力端ｃ側に、それぞれ切り換える（ステップＳ２０３）。
【００８１】
ステップＳ２０２またはステップＳ２０３の次には、ステップＳ２０４に進み、コントロール部１０は、使用者により検索子として何が選択されたかを認識し（ステップＳ２０４）、その選択された検索子の音響信号を、検索子メモリ３２から読み出すように制御する（ステップＳ２０５）。
【００８２】
すると、メモリ３２から読み出された検索子の音響信号は、検索子音響信号読出部３３を介して検索子音響特徴パラメータ解析部３４に供給されて、検索子音響特徴パラメータとされて、類似性算出部２２に供給される。類似性算出部２２では、検索対象のオーディオ信号の例えば時間幅ＴＷの区間ごとの音響特徴パラメータと、検索子音響特徴パラメータとの前述したような類似性演算がなされて、両者の類似性の指標である類似度が算出される（ステップＳ２０６）。この例では、前述したように、類似度は、両者の距離Ｓとして求められる。
【００８３】
そして、この類似度である前記距離Ｓが、予め定めた閾値Ｓthよりも小さいか否かを判別し（ステップＳ２０７）、閾値Ｓthよりも小さいときには、検索子に類似する音響信号部分として判定し（ステップＳ２０８）、閾値Ｓthよりも大きいときには、非類似であると判定する（ステップＳ２０９）。そして、その判定結果を、表示制御部２３を介して表示部２４の画面に表示する（ステップＳ２１０）。
【００８４】
そして、検索対象のオーディオ信号が終了することにより、あるいは、使用者の終了指示により、検索処理が終了したか否かを判定し（ステップＳ２１１）、終了であれば、この処理ルーチンを終了し、そうでなければ、ステップＳ２０６に戻って、検索子による検索を継続する。
【００８５】
以上のようにして、検索された結果の表示例を図８に示す。この図８の例は、検索対象が会議録音の再生音響信号であって、検索子が特定の話者Ａである場合である。この表示例によれば、会議録音全体の中のどの時間的位置で話者Ａが発言しているかが示されることになる。
【００８６】
なお、以上の例では、検索子は、一つとして説明したが、複数個の検索子を指定し、その複数個の検索子についての類似性を算出して、表示するようにすることもできる。その場合、例えば１０数ミリ秒ごとに、検索子を時分割的に切り換えて、類似性算出部２２で算出演算を行うようにすればよい。
【００８７】
また、類似性算出部を複数個設け、それらの類似性算出部で並列的に複数個の検索子のそれぞれについての類似性算出を行うようにしてもよい。
【００８８】
そのように複数個の検索子を設定して検索を行った検索結果の表示例を図９に示す。この表示例は、会議録音全体の中で、３名の話者Ａ、Ｂ，Ｃがそれぞれどのような時間区間で発言を行ったかを示している。
【００８９】
こうして、この実施の形態によれば、例えば、複数の会議参加者が参加している会議において、各会議参加者ごとの音響信号を検索子として予め登録しておけば、会議の時間経過にともなった各会議参加者ごとの発言区間を分類して表示することが可能になる。
【００９０】
なお、以上の説明では、類似性の判定結果は、所定の閾値を超えたか否かによる２値的なものとしたが、前述の例の場合には、類似性の算出結果としての距離Ｓの値をそのまま表示に反映するようにしてもよい。すなわち、距離Ｓが短ければ短いほど類似度が高いとして、その類似度の高さに応じて、図８（Ｂ）に示すように、時間区間表示に濃淡を付けて、表示するようにしてもよい。例えば、図８（Ｂ）の例では、濃淡が濃い区間ほど、類似性が高いことを示すようにしている。また、濃淡の代わりに、類似度の高さの違いを表示色の違いにより、表示するようにしてもよい。
【００９１】
また、検索子が複数の場合には、検索子ごとに類似性判定出力の表示色を異ならせ、また、類似度の高さの違いを表示色の濃度の違いにより、表示するようにしてもよい。
【００９２】
なお、以上の表示例は、類似性判定出力を検索対象の音響信号の時間経過に対応して表示したものである。一方、検索対象の音響信号が再生音響信号の場合には、各時間区間の音響信号の記録媒体１３上における記録位置は容易に知ることができる。したがって、一度、再生音響信号についての検索結果としての類似性判定表示出力を得たら、それを表示部２３に表示しながら、図１０に示すように、その類似性判定表示出力に現在再生位置を、例えば再生位置カーソルによって対応表示するようにすることもできる。
【００９３】
また、逆に、図１０の再生位置カーソルを、使用者が指定できるようにすることにより、その指定した再生位置カーソルの位置から検索対象の音響信号の再生を行うようにすることもできる。その場合には、検索により、分類した検索子ごとの音響信号を、検索対象の音響信号から抽出して再生することが可能になる。
【００９４】
なお、検索対象の音響信号と検索子との類似性を算出するのは、この発明においては、音響特徴パラメータを用いているので、波形パターンが一致するかどうかのパターンマッチング処理を用いる音声認識などと異なり、音響信号の時系列波形をそのまま用いる必要がない。このため、再生音響信号を検索対象とする場合、再生速度はノーマル速度（１倍速）ではなく、２倍速や３倍速というような高速再生を行っても、同様の類似性判定出力を得ることができる。したがって、検索速度を高速にすることが可能である。
【００９５】
したがって、検索子を用いた検索を高速再生速度にて行い、検索子と類似している音響信号部分を検出したときに、その部分をノーマル再生するようにすることにより、検索子に類似する部分のみを抽出再生することができる。
【００９６】
また、一旦、検索を行えば、記録媒体上のアドレスと、検索結果とを対応させることができるので、その検索結果を用いて、特定の検索子と類似する音響信号部分のみを記録媒体から抽出して、再生するようにすることも可能である。
【００９７】
以上の効果の説明は、検索対象が再生音響信号の場合であるが、この実施の形態では、入力音響信号を検索対象として、予め登録してある検索子を用いて検索して、入力音響信号について、検索子ごとの分類などを行うことができるという効果もある。例えば、複数個の楽器の音響信号を検索子として登録しておき、入力音響信号の各パートが、どのような楽器を用いて演奏されたものであるかなどを分類表示することができる。
【００９８】
なお、以上の実施の形態では、検索子は、入力音響信号や再生音響信号から抽出して、検索子メモリ３２に格納するようにしたが、検索子ライブラリとして複数個の検索子の音響信号を検索子メモリ３２に予め記憶しておいても、もちろんよい。
【００９９】
また、類似性の算出は、音響特徴パラメータ間の幾何学的距離Ｓとして求めるようにしたが、幾つかのパラメータから新しいパラメータを算出し、それを用いて音響特徴パラメータ間の距離を求めるようにすることもできる。
【０１００】
例えば、上述の例のｘ，ｙ，ｚの３項目の音響特徴パラメータを用いる場合において、新しいパラメータをｋとしたとき、
ｋ＝ａｙ＋ｂｚ
として、パラメータｘと、この新たなパラメータｋとの２つのパラメータ（ｘ、ｋ）を用いて、検索対象と検索子の音響特徴パラメータ間の距離を算出するようにしてもよい。また、それぞれの音響特徴パラメータに重み付けを行って、重要なパラメータに着目した類似性を算出するようにすることもできる。
【０１０１】
また、検索子メモリ３２は、内蔵のメモリではなく、メモリカードなどの取り出し可能のものであってもよい。その場合には、複数個のメモリカードに、複数種の検索子を記憶して用意しておき、メモリカードを検索対象のオーディオ信号に合わせて交換することにより、希望する検索対象について、希望の検索子を用いた検索を容易に行うことができる。
【０１０２】
また、検索子とする音響信号の音源を用意し、その音源からの音響信号を予め入力端子１１から入力し、検索子メモリ３２に、検索子の音響信号として記憶格納するようにすることもできる。さらに、検索子メモリ３２に記憶することなく、検索子の音源からの音響信号を検索対象の音響信号とは別に入力し、バッファメモリにその検索子の音響信号を一時的に蓄えて、検索に用いるようにしてもよい。
【０１０３】
なお、検索子は、単一音源からの音響信号に限定されるものではなく、入力音響信号や再生音響信号から抽出された所定区間の音響信号であってもよいことはいうまでもない。
【０１０４】
なお、表示部には、画像を伴う音響信号の場合には、画像も一緒に表示することもできる。画像を併せて表示することで、検索を行った結果の分類の確認をすることができる。例えば、録画内容を音響信号を使用して検索、分類することも可能である。
【０１０５】
［第２の実施の形態］
図１１に、この第２の実施の形態の音響信号検索処理装置のブロック図を示す。第１の実施の形態は、登録検索子として、音響信号を格納するようにしたが、この第２の実施の形態では、登録検索子として、その音響特徴パラメータを検索子メモリ３２に格納するようにする。その他の構成は、図１の装置と全く同様であり、図１と同一部分については、同一符号を付してある。
【０１０６】
すなわち、この第２の実施の形態においては、スイッチ回路ＳＷ４の出力側には、検索子音響信号抽出部３５が設けられる。これは、図１の検索子音響信号抽出格納部３１のうちの、使用者の指示した検索子の音響信号部分を抽出する手段の部分に相当する。
【０１０７】
この検索子音響信号抽出部３５で抽出された検索子の音響信号は、検索子音響特徴パラメータ解析部３６で解析されて、音響特徴パラメータとされ、検索子音響特徴パラメータ格納部３７およびスイッチ回路ＳＷ５を通じて検索子メモリ３２に格納される。検索子音響特徴パラメータ格納部３７は、格納する対象情報が、検索子音響特徴パラメータに変わるだけで、図１の検索子音響信号抽出格納部３１のうちの、検索子として抽出した音響信号部分を検索子メモリ３２に格納する手段に相当し、前述と同様にして、各検索子（この実施の形態では、音響特徴パラメータ）を検索子メモリ３２の別々の検索子格納エリアに書き込む。
【０１０８】
検索子メモリ３２に格納された検索子の音響特徴パラメータは、キー操作部２０を通じた使用者の指示に基づいて生成されるコントロール部１０からの制御信号により、スイッチ回路ＳＷ６および検索子音響特徴パラメータ読出部３８によって読み出される。この第２の実施の形態の場合には、読み出されたものは音響特徴パラメータであるので、そのまま、類似性算出部２２に供給されて、検索のための類似性算出が実行される。
【０１０９】
この第２の実施の形態は、検索子メモリ３２に検索子音響特徴パラメータが格納される点が異なるのみで、検索子の登録動作や、検索子を用いた検索動作は、前述した第１の実施の形態と同様に行われるものである。したがって、この第２の実施の形態によれば、上述した第１の実施の形態の場合と同様の作用効果が得られる。また、上述した第１の実施の形態と同様の変形例が可能である。
【０１１０】
さらに、この第２の実施の形態では、検索子としては、その音響信号そのものではなく、検索子音響特徴パラメータを検索子メモリ３２に記憶するので、一つの検索子当たりの記憶容量が少なくて済み、格納して蓄積することができる検索子の数を多くすることが可能である。
【０１１１】
［第３の実施の形態］
この第３の実施の形態は、音響特徴パラメータとして、音響信号への再合成が可能なものを用いる場合である。音響特徴パラメータから音響信号への再合成が可能であることから、音響信号の記録も、音響特徴パラメータとして記録するようにする。そして、この第３の実施の形態では、第２の実施の形態と同様に、検索子は、その音響特徴パラメータを検索子メモリ３２に記憶格納しておくようにする。
【０１１２】
図１２は、この第３の実施の形態の音響信号検索処理装置のブロック図である。この図１２においても、前述の実施の形態の場合と同一部分には同一符号を付すことにする。この第３の実施の形態では、音響特徴パラメータとして、例えばボコーダのパラメータ等を用いる。
【０１１３】
図１２に示すように、この第３の実施の形態の場合には、入力端子１１を通じて入力音響信号は、音響特徴パラメータ解析部４１に供給されて、例えばボコーダ方式の音響特徴パラメータに解析される。そして、この音響特徴パラメータ解析部４１からの音響特徴パラメータが、スイッチ回路ＳＷ１を通じて音響特徴パラメータ記録部４２に供給され、コントロール部１０の制御の下、この音響特徴パラメータ記録部４２により、入力音響信号の音響特徴パラメータが記録媒体１３に記録される。
【０１１４】
そして、記録媒体１３に記録された入力音響信号の音響特徴パラメータは、コントロール部１０の制御の下、音響特徴パラメータ再生部４３により再生され、音響信号合成部４４に供給される。この音響信号合成部４４は、音響特徴パラメータから、元の音響信号を合成する。
【０１１５】
この音響信号合成部４４から得られた再生音響信号は、スイッチ回路ＳＷ２の入力端ＰＢ側を通じ、オーディオアンプ１５を通じてスピーカ１６に供給され、音響再生される。なお、入力端子１１からの入力音響信号がスイッチ回路ＳＷ２の入力端ＩＮ側およびオーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生されるのは、第１および第２の実施の形態の場合と同様である。
【０１１６】
そして、この第３の実施の形態では、音響特徴パラメータ解析部２１は設けられず、スイッチ回路ＳＷ３は、スイッチ回路ＳＷ１の出力端ａ側を通じて入力音響信号の音響特徴パラメータと、音響特徴パラメータ再生部４３からの再生音響特徴パラメータとのいずれかを、キー操作部２０を通じた使用者の指示に応じたコントロール部１０からの切り換え制御信号より選択して、類似性算出部２２に供給する。
【０１１７】
一方、検索子は、この第３の実施の形態では、第２の実施の形態と同様に、検索子音響特徴パラメータを検索子メモリ３２に格納する。このため、この第３の実施の形態の場合には、音響特徴パラメータ解析部４１からの音響特徴パラメータが、スイッチ回路ＳＷ１の出力端ｂ側を通じてスイッチ回路ＳＷ４の一方の入力端ｆに供給され、また、音響特徴パラメータ再生部４３からの再生音響パラメータがスイッチ回路ＳＷ４の他方の入力端ｅに供給される。
【０１１８】
そして、スイッチ回路ＳＷ４がコントロール部１０からの切り換え制御信号により、検索子の音響特徴パラメータを入力音響信号から抽出するか、再生音響信号から抽出するかに応じて、入力端ｅまたは入力端ｆのいずれかに切り換えられる。
【０１１９】
そして、このスイッチ回路ＳＷ４からの音響特徴パラメータが検索子音響特徴パラメータ抽出格納部４５に供給される。前述の第１の実施の形態の場合と同様にして、使用者は、スピーカからの入力音響信号または再生音響信号の音響再生出力を聴取しながら、検索子としたい音響信号部分になったときに、キー操作部２０の検索子指示キー（図示せず）を操作する。すると、検索子音響特徴パラメータ抽出格納部４５は、そのキー操作時点を含む予め定めた時間幅ＴＷの区間の音響信号の音響特徴パラメータを抽出し、検索子メモリ３２の検索子格納部に格納する。
【０１２０】
こうして、検索子メモリ３２には、入力音響信号あるいは再生音響信号のうちから抽出された検索子の音響信号の音響特徴パラメータが格納される。この検索子メモリ３２に格納された検索子音響特徴パラメータは、前述の第２の実施の形態と同様にして、使用者の指示に応じて、検索子音響特徴パラメータ読出部３８により読出されて、類似性算出部２２に供給される。
【０１２１】
検索子の登録動作と、検索動作は、前述の２つの実施の形態とほぼ同様であるので、その詳細は省略する。このように、この第３の実施の形態も、検索子メモリ３２に検索子音響特徴パラメータが格納される点が異なるのみで、検索子の登録動作や検索動作は、前述した第１の実施の形態や第２の実施の形態と同様に行われるものである。したがって、この第３の実施の形態の場合も、上述した第１の実施の形態の場合と同様の作用効果が得られ、また、上述した第１の実施の形態と同様の変形例が可能である。
【０１２２】
そして、この第３の実施の形態の場合には、特に、音響特徴パラメータを音響信号の代わりに記録媒体に記録するので、記録媒体の記録容量を有効に活用することができる。そして、第１の実施の形態や第２の実施の形態に比べて、音響特徴パラメータ解析部を、検索対象と検索子とで共通の一つとすることができて、構成を簡略化することができる。
【０１２３】
再合成可能な音響特徴パラメータとしての具体的な例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格の音響圧縮形式（ＭＰＥＧオーディオのレイヤＩ、レイヤII、レイヤIII ）データやＡＴＲＡＣ（Ａｄａｐｔｉｖｅ Ｔｒａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）形式のデータなどを用いる例も挙げられる。
【０１２４】
これらＭＰＥＧオーディオ規格やＡＴＲＡＣでは、人間の聴覚心理特性を効率良く利用するために、オーディオ帯域を複数個に細分化してサブバンド符号化を行なっている。例えばＭＰＥＧオーディオのレイヤＩでは、オーディオ信号の全帯域を等間隔の周波数幅で３２個のサブバンドに分割し、それぞれの信号を元のサンプリング周波数の１／３２でサブサンプリングして符号化する。
【０１２５】
そこで、ＭＰＥＧオーディオ規格の音響圧縮形式のデータやＡＴＲＡＣ形式のデータ（音響圧縮符号化データ）を検索対象とする場合には、そのサブバンドデータから、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行ない、その検出結果を検索子音響特徴パラメータとする。
【０１２６】
ＭＰＥＧオーディオ規格の音響圧縮形式のデータやＡＴＲＡＣ形式のデータを用いる方法を、図１２の例に適用するときは、入力端子１１からの入力音響信号がアナログ信号やリニアＰＣＭ信号の場合には、音響特徴パラメータ解析部４１では、前記ＭＰＥＧ規格の音響圧縮形式データやＡＴＲＡＣ形式のデータを生成する。そして、記録部４２は、その音響圧縮データを記録媒体１３に記録するようにする。
【０１２７】
そして、検索子音響特徴パラメータ抽出格納部４５では、音響特徴パラメータ解析部４１からの、あるいは再生部４３からの音響圧縮データからサブバンドのデータを生成し、そのサブバンドのデータについて、前述のように、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行ない、その検出結果を検索子音響特徴パラメータとして、検索子メモリ３２に書き込むようにする。
【０１２８】
そして、この場合、類似性算出部２２の前段には、図１や図１１の例と同様に、音響特徴パラメータ解析部を設け、スイッチＳＷ１からの、あるいは再生部４３からの音響圧縮データからサブバンドのデータを生成し、そのサブバンドのデータについて、前述のように、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行なうようにする。この場合の音響特徴パラメータ解析部は、構成が簡単になる。そして、類似性算出部２２は、その解析により得た音響特徴パラメータと、検索子音響特徴パラメータ読出部３８からの検索子音響特徴パラメータとを比較して、類比判定を行なう。
【０１２９】
以上の入力端子１１からの入力音響信号がアナログ信号やリニアＰＣＭ信号の場合であるが、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４規格のインターフェースからのシリアルデジタルデータで入力された場合や、デジタル放送受信装置においてデジタル音響圧縮信号として得られる信号が入力される場合には、ＭＰＥＧ規格の音響圧縮形式データやＡＴＲＡＣ形式のデータがそのまま得られるので、図１２の音響特徴パラメータ解析部４１は不要となる。
【０１３０】
以上説明した音響圧縮信号を検索対象とする検索方法は、デジタルオーディオ圧縮形式データを復号化して、リニアＰＣＭオーディオ信号に戻してから音響特徴分析するよりも分析のための時間遅れが小さくなると共に、演算規模が小さくなる、という利点がある。
【０１３１】
［第４の実施の形態］
第３の実施の形態では、音響特徴パラメータを音響信号の代わりに記録媒体に記録するようにしたが、第４の実施の形態では、音響信号と、音響特徴パラメータとを、互いに付随的に記録媒体に記録するようにする。この第４の実施の形態の場合は、音響信号が音響特徴パラメータと共に記録されるので、音響特徴パラメータは、第３の実施の形態のように音響信号に再合成できるものに限定されない。
【０１３２】
そして、この第４の実施の形態においては、磁気ディスク、光磁気ディスク、光ディスク、メモリカードなどの記録媒体へは、音響信号に付随して音響特徴パラメータを記録するようにする。すなわち、音響信号と音響特徴パラメータとは、音響信号の記録単位区間（パック、パケット、セクタなどの区間）分ごとに記録媒体に記録するが、音響信号の記録単位区間分のデータと、対応する単位区間分の音響特徴パラメータは、隣接した記録エリア等、互いに対応がとれる形態で、つまり、リンクされた構造で記録される。
【０１３３】
図１３に、この第４の実施の形態の音響信号検索処理装置のブロック図を示す。この図１３において、前述の実施の形態の図１、図１１および図１２に示した各部と同一部分には同一符号を付して、その詳細な説明は省略する。
【０１３４】
すなわち、この第４の実施の形態では、オーディオ入力端子１１を通じた入力音響信号は、スイッチ回路ＳＷ７を通じて音響信号記録部１２に供給される。スイッチ回路ＳＷ７は、コントロール部１０からの切り換え制御信号により、記録時にオンとされる。そして、この第４の実施の形態では、音響信号記録部１２を通じた入力音響信号は、記録データ制御部５１に供給される。
【０１３５】
また、入力端子１１を通じた入力音響信号は、音響特徴パラメータ解析部４１に供給されて、音響特徴パラメータに解析される。この音響特徴パラメータ解析部４１からの音響特徴パラメータは、検索対象の入力音響信号の音響特徴パラメータとしてスイッチ回路ＳＷ３の入力端ｄに供給されると共に、入力音響信号から検索子の音響特徴パラメータを抽出するために、スイッチ回路ＳＷ４の入力端ｆに供給される。さらに、音響特徴パラメータ解析部４１からの音響特徴パラメータは、記録データ制御部５１に供給される。
【０１３６】
記録データ制御部５１は、コントロール部１０の制御を受けて、記録時には、予め定められている記録フォーマットで、音響信号と音響特徴パラメータとを対応付けて記録する。この例では、記録データ制御部５１は、記録時には、前述したように、音響信号を記録単位区間分ごとに、記録媒体１３に記録すると共に、対応する記録単位区間分の音響特徴パラメータを、記録媒体１３の、当該音響信号記録位置に隣接する位置に記録する。
【０１３７】
そして、上記のような記録フォーマットで記録媒体１３に記録された入力音響信号およびその音響特徴パラメータは、読み出しデータ制御部５２により、コントロール部１０の制御を受けて再生される。そして、読み出しデータ制御部５２で記録媒体１３から再生された音響信号は、音響信号再生部１４に供給され、スイッチ回路ＳＷ２の入力端ＰＢ側を通じ、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【０１３８】
また、読み出しデータ制御部５２で記録媒体１３から再生された対応する音響特徴パラメータは、検索対象の再生音響信号の音響特徴パラメータとして、スイッチ回路ＳＷ３の入力端ｃに供給されると共に、再生音響信号から検索子の音響特徴パラメータを抽出するために、スイッチ回路ＳＷ４の入力端ｅに供給される。
【０１３９】
さらに、読み出しデータ制御部５２で記録媒体１３から再生された音響信号および音響特徴パラメータは、他の装置で音響信号についての検索を行うために、外部出力端子（図示せず）を通じて、外部へ転送可能とされている。したがって、検索を行う他の装置では、音響特徴パラメータを作成するために、音響特徴パラメータ解析部を備える必要はない。
【０１４０】
この第４の実施の形態は、入力音響信号と、その音響特徴パラメータとが、リンクさせた状態で、記録データ制御部５１により、記録媒体に記録され、また、互いにリンクされて、音響信号と、その音響特徴パラメータとが、読み出しデータ制御部５２により読み出されて再生される点が、前述の実施の形態と異なるが、音響特徴パラメータを用いて検索を行い、また、入力音響信号や再生音響信号について検索子音響特徴パラメータの抽出を行えるようにした点は、第３の実施の形態と同様である。
【０１４１】
したがって、この第４の実施の形態の場合も、上述した第１の実施の形態の場合と同様の作用効果が得られ、また、上述した第１の実施の形態と同様の変形例が可能である。
【０１４２】
そして、この第４の実施の形態の場合には、第３の実施の形態と同様に、第１の実施の形態や第２の実施の形態に比べて、音響特徴パラメータ解析部を、検索対象と検索子とで共通の一つとすることができて、構成を簡略化することができる。また、他の検索装置で検索を行う場合にも、当該他の検索装置に、音響特徴パラメータを供給することができるので、他の検索装置には、音響特徴パラメータ解析部は設ける必要がないという利点がある。
【０１４３】
なお、記録する音響信号と、対応する音響特徴パラメータとは、リンクして記録媒体に記録されていればよいので、上述の例のように必ずしも隣接して記録される必要はなく、記録媒体に、予め音響信号の記録エリアと音響特徴パラメータの記録エリアを別々に決めておき、それぞれの記録エリアの対応関係にある（リンクされている）アドレスに、対応する音響信号と音響特徴パラメータのそれぞれを記録するようにしてもよい。また、音響信号と音響特徴パラメータのリンク情報を別に記録して、そのリンク情報を用いて、両者を対応付けて、再生するようにしても勿論よい。
【０１４４】
［第５の実施の形態］
上述したように、この発明によれば、検索対象の音響信号について、音響特徴パラメータによって、検索子と類似性判定をすることにより、検索が可能であるので、検索対象の音響信号を記録しながら、指定した検索子についての検索を並行して行うことができる。したがって、記録終了時には、当該検索対象の音響信号についてのその検索子についての検索結果が得られる。そこで、記録媒体には、音響信号の記録領域と別個のエリアに、この検索結果を合わせて記録することも可能である。
【０１４５】
また、再生音響信号についての検索結果も、音響信号の記録領域と別個のエリアを記録媒体に用意することにより、後から記録媒体に記録することも可能である。
【０１４６】
第５の実施の形態においては、以上の点を考慮して、検索対象の音響信号と共に、その検索結果を記録するようにする。
【０１４７】
すなわち、この第５の実施の形態では、予め登録した検索子の一つあるいは複数個を用いて、記録する入力音響信号についての検索を、記録処理に並行して行う。
【０１４８】
例えば、記録媒体１３としては、磁気ディスク、光磁気ディスク、光ディスクなどのディスク媒体やメモリカードを用いる。その場合、記録時には、記録媒体上のアドレスを監視しながら、記録が行われる。この第５の実施の形態では、検索子による検索の結果、類似すると判定された音響信号部分が、記録媒体上のどのアドレス（記録位置）に記録されているかを、その検索子の識別情報に対応して記憶しておく。検索子の識別情報としては、例えば、この例では、スイッチ回路ＳＷ６の切り換え制御情報（検索子格納エリア、つまり検索子ナンバーに対応）を用いる。
【０１４９】
図１４は、この第５の実施の形態の場合において、記録終了後の、検索結果をテーブルとして表わしたものである。このテーブルは、記録媒体に記録された信号についての検索用インデックステーブルとなる。
【０１５０】
この図１４において、検索子名は、例えば、検索子の登録時に予め付与した名称であり、例えば、会議録音などの場合には、会議参加者名となる。区間データは、検索子と類似すると判定された区間を示すデータで、その区間の開始アドレスＳＴと、終了アドレスＥＤとで表わされる。また、ＡＤＲｉ（ｉは整数）は、記録媒体上のアドレス値をそれぞれ示すものである。
【０１５１】
この第５の実施の形態においては、この検索用インデックステーブルの情報を、記録媒体上の予め定めた記録エリアに、記録音響信号とは別個に記録するようにする。
【０１５２】
この第５の実施の形態の場合、この検索用インデックステーブルを用いることにより、例えば特定の検索子と類似する音響信号部分を抽出して再生（検索再生と称する）することが容易にできる。
【０１５３】
図１５は、その検索再生の際の処理ルーチンを示すものである。この処理ルーチンは、キー操作部を通じて、検索再生指示を行ったときに開始となる。
【０１５４】
まず、記録媒体から検索用インデックステーブルを作成するための検索用インデックスのデータが読出される（ステップＳ３０１）。コントロール部１０は、読み出したデータを基に、図１４に示したような検索用インデックステーブルを作成し、表示画面に表示する（ステップＳ３０２）。
【０１５５】
使用者は、表示された検索用インデックステーブルを見て、検索再生したい検索子をキー操作部を通じて入力する。そこで、使用者により指定された検索子を認識する（ステップＳ３０３）。そして、検索用インデックステーブルを参照し、その認識した検索子について、類似区間として判定された区間データを認識する（ステップＳ３０４）。そして、その認識した各区間データで示されるアドレス区間の音響信号を、記録媒体から順次読み出して、再生する（ステップＳ３０５）。
【０１５６】
こうして、この第５の実施の形態によれば、検索子に類似する音響信号部分のみを簡単に抽出して再生することができる。もっとも、この第５の実施の形態の場合にも、検索用インデックステーブルにない検索子を検索子メモリから指定して、検索を行うことも勿論可能である。
【０１５７】
なお、上述の第５の実施の形態の説明では、検索子の識別情報と検索子名とを検索用インデックステーブルに含めるようにしたが、検索子の音響信号を検索子名に替えて、あるいは併せて記録するようにしてもよい。そのようにすれば、検索子がどのような音響信号であったかを、それを音響再生することにより、容易に知ることができる。
【０１５８】
また、上述の説明では、検索結果を記録媒体に記録するようにしたが、コントロール部が管理するメモリに、記録媒体に対応させて、検索結果を記録するようにするようにしてもよい。
【０１５９】
［その他の実施の形態］
以上の実施の形態では、検索子は、予めメモリに登録したり、別個に用意するように説明したが、例えば、音響信号の記録中に、使用者が、その音響信号について検索子の音響信号部分を指定したとき、その指定後の音響信号については、指定した検索子を用いて検索を行うようにすることもできる。その場合には、予め検索子を登録しておく必要はない。
【０１６０】
また、検索子メモリに登録する検索子は、入力音響信号や再生音響信号から抽出する必要もない。例えば、検索子としたい音源を用意し、その音源からの音響信号を用いて、検索子を登録することもできる。
【０１６１】
また、検索子として登録する音響信号や音響特徴パラメータを、例えば、インターネットなどのネットワークを通じて取得して、検索子メモリに登録するようにすることもできる。
【０１６２】
また、例えば記録済み記録媒体を販売するときに、その記録媒体に、検索子の候補を予め一緒に記録するようにしてもよい。また、その記録媒体を販売するときに、検索子の候補を記録したメモリカードなどを付加して販売するようにしてもよい。
【０１６３】
［音響映像検索装置、音響映像蓄積装置の第１の実施の形態］
以上説明した実施の形態では、検索対象の入力信号は、音響信号単独の場合であったが、音響信号が、映像信号に関連するものとしてリンクされて、例えば記録再生される音響映像信号を、検索対象の入力信号とすることもできる。
【０１６４】
図１６および図１７は、ＭＰＥＧ２規格で圧縮された音響映像信号を記録再生する記録再生装置に、この実施の形態の音響映像検索装置および音響映像蓄積装置を適用した場合の構成例を示すブロック図である。
【０１６５】
この図１６、図１７の記録再生装置は、映像信号および音響信号を、ＭＰＥＧ２規格によって圧縮符号化し、多重化して、ＭＰＥＧシステムのトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として、ハードディスク装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内のハードディスクに記録し、ハードディスクから再生する場合である。
【０１６６】
なお、以下では、アナログ映像信号およびアナログ音響信号を、映像信号および音響信号と称し、デジタル映像信号およびデジタル音響信号は、デジタル映像データおよびデジタル音響データ、または単に映像データおよび音響データと称する。
【０１６７】
この例では、記録再生装置７０は、アナログテレビジョン放送を受信するアンテナ６１が接続され、アナログ入力端子７１Ｖ，７１Ａ，７１Ｓ、アナログ出力端子７２Ｖ，７２Ａ，７２Ｓ、デジタル入出力端子７３、デジタルインタフェース７４、入力処理部８０、出力処理部９０、マルチプレクサ／デマルチプレクサ１００、バッファコントローラ１１０、ハードディスク装置１２０、同期制御回路１３０、システムコントローラ１４０、音響検索処理部１５０、操作入力部１６０を備える。
【０１６８】
ハードディスク装置１２０は、この例では、３枚のハードディスク１２１，１２２，１２３を備え、そのいずれかにトランスポートストリームが記録され、いずれかからトランスポートストリームが再生されるように構成される。
【０１６９】
システムコントローラ１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４１を備え、そのシステムバス１４２にＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４３およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４４などが接続されて構成される。
【０１７０】
ＲＯＭ１４３には、ＣＰＵ１４１が実行すべきプログラムが、あらかじめ格納され、ＣＰＵ１４１は、そのプログラムを読み出して、記録再生装置７０の各部を制御する。ＲＡＭ１４４には、ＣＰＵ１４１が記録再生装置７０の各部を制御する上で必要な、その他のプログラムやデータが適宜、書き込まれる。
【０１７１】
操作入力部１６０は、キーボード、マウス、ボタン、スイッチ、リモートコマンダなどによって構成され、図示を省略した入出力インタフェースを介してシステムコントローラ１４０のシステムバス１４２に接続される。
【０１７２】
音響検索処理部１５０は、前述した第１の実施の形態から第５の実施の形態のうちのいずれかの機能を備えるものとして構成される部分である。特に、この実施の形態はＭＰＥＧ規格の圧縮符号化データが検索対象であるので、前述したように、第３の実施の形態の場合が好適である。
【０１７３】
ただし、この場合、記録媒体１３は、ハードディスク装置１２０のハードディスクを用いるようにされており、このため、記憶部１２または４２、再生部１４または４４などはバッファコントローラ１１０の部分により構成されるので、前述の各実施の形態の図のうち、主データとしての音響データの記録再生に関する部分を除く音響検索処理を行なう部分により、この音響検索処理部１５０が構成される。
【０１７４】
なお、検索子メモリ３２は、音響検索子処理部１５０内に設けることもできるし、ハードディスク装置１２０のハードディスクの一部の記憶エリアを用いることもできる。
【０１７５】
なお、デジタル音響圧縮データや、音響データと映像データとがリンクされて記録再生される音響映像データでは、検索や登録の該当区間を示すリンクされたアドレス情報として、フレーム番号やフィールド番号、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、パケット番号などが用いられる。
【０１７６】
（アナログ入力処理および記録）
アンテナ６１で受信されたアナログテレビジョン放送の信号は、操作入力部１６０での操作に基づくシステムコントローラ１４０の指示によって、チューナ８１で選局されて、チューナ８１から、選択されたチャンネルのコンポジット映像信号および音響信号が得られ、そのコンポジット映像信号および音響信号が、入力切換回路８２の一方の入力端に供給される。
【０１７７】
入力端子７１Ｖには、外部機器からコンポジット映像信号が、入力端子７１Ａには、外部機器から音響信号が、入力端子７１Ｓには、外部機器からセパレート映像信号（輝度信号と色差信号とに分離されたもの）が、それぞれ供給される。
【０１７８】
入力端子７１Ｖからのコンポジット映像信号、および入力端子７１Ａからの音響信号は、入力切換回路８２の他方の入力端に供給され、入力切換回路８２がシステムコントローラ１４０によって切り換えられて、入力切換回路８２から、いずれかのコンポジット映像信号および音響信号が選択されて取り出される。
【０１７９】
入力切換回路８２からのコンポジット映像信号は、ＹＣ分離回路８３で輝度信号と色差信号に分離されて、別の入力切換回路８４の一方の入力端に供給される。また、入力端子７１Ｓからのセパレート映像信号（輝度信号および色差信号）が、入力切換回路８４の他方の入力端に供給され、入力切換回路８４がシステムコントローラ１４０によって切り換えられて、入力切換回路８４から、いずれかの輝度信号および色差信号が選択されて取り出される。
【０１８０】
入力切換回路８４からの輝度信号および色差信号は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）デコーダ８５で、それぞれＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換され、さらにクロマエンコード処理されて、ＮＴＳＣデコーダ８５からコンポーネント映像データが得られる。
【０１８１】
また、ＮＴＳＣデコーダ８５では、入力切換回路８４からの輝度信号から垂直同期信号および水平同期信号が分離されるとともに、その分離された同期信号に基づいてクロックおよびフィールド判別信号が生成され、これら同期信号、クロックおよびフィールド判別信号が、同期制御回路１３０に供給される。同期制御回路１３０では、これらの信号を基準として記録再生装置７０の各部に必要なクロックおよびタイミング信号が生成されて、記録再生装置７０の各部に供給される。
【０１８２】
ＮＴＳＣデコーダ８５からの映像データは、プリ映像処理回路８６でプリフィルタリング処理などの処理が施されたのち、ＭＰＥＧ映像エンコーダ８７および出力処理部９０のポスト映像処理回路９２に供給される。
【０１８３】
ＭＰＥＧ映像エンコーダ８７では、プリ映像処理回路８６からの映像データに対してブロックＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの符号化処理が施されて、映像エレメンタリストリーム（ＥＳ：Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が生成され、その映像エレメンタリストリームがマルチプレクサ／デマルチプレクサ１００に供給される。
【０１８４】
一方、入力切換回路８２からの音響信号は、Ａ／Ｄ変換器８８でデジタル音響データに変換されたのち、ＭＰＥＧ音声エンコーダ８９および出力処理部９０の出力切換回路９５に供給される。
【０１８５】
ＭＰＥＧ音声エンコーダ８９では、Ａ／Ｄ変換器８８からの音響データがＭＰＥＧ方式によって圧縮符号化されて、音声エレメンタリストリームが生成され、その音声エレメンタリストリームがマルチプレクサ／デマルチプレクサ１００に供給される。
【０１８６】
マルチプレクサ／デマルチプレクサ１００では、そのマルチプレクサにおいて、ＭＰＥＧ映像エンコーダ８７からの映像エレメンタリストリームおよびＭＰＥＧ音声エンコーダ８９からの音声エレメンタリストリームと各種の制御信号が多重化されて、ＭＰＥＧシステムのトランスポートストリームが生成され、そのトランスポートストリームがバッファコントローラ１１０に送出される。
【０１８７】
バッファコントローラ１１０は、マルチプレクサ／デマルチプレクサ１００から連続的に入力されるトランスポートストリームを、ハードディスク装置１２０に断続的に送出する。すなわち、ハードディスク装置１２０がシーク動作を行っているときには、書き込みができないので、入力されたトランスポートストリームをバッファに一時蓄え、ハードディスク装置１２０が書き込み可能なときに、そのトランスポートストリームを入力レートより高いレートでバッファから読み出してハードディスク装置１２０に送出する。これによって、バッファコントローラ１１０に連続的に入力されるトランスポートストリームは、途切れることなくハードディスク１２１〜１２３に記録される。
【０１８８】
ハードディスク装置１２０は、システムコントローラ１４０によって制御されて、ハードディスク１２１〜１２３にトランスポートストリームを書き込む。バッファコントローラ１１０とハードディスク装置１２０との間のプロトコル（インタフェース）としては、ＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）などが用いられる。
【０１８９】
（再生およびアナログ出力処理）
再生時には、ハードディスク装置１２０は、システムコントローラ１４０によって制御されて、ハードディスク１２１〜１２３からトランスポートストリームを読み出し、バッファコントローラ１１０に送出する。バッファコントローラ１１０は、記録時とは逆に、ハードディスク装置１２０から断続的に入力されるトランスポートストリームを、連続的なトランスポートストリームに変換して、マルチプレクサ／デマルチプレクサ１００に供給する。
【０１９０】
マルチプレクサ／デマルチプレクサ１００では、そのデマルチプレクサにおいて、その連続的なトランスポートストリームのヘッダが解析処理されることによって、トランスポートストリームからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が分離されて、ＭＰＥＧ映像音声デコーダ９１に供給される。
【０１９１】
ＭＰＥＧ映像音声デコーダ９１では、マルチプレクサ／デマルチプレクサ１００からのＰＥＳが映像エレメンタリストリームと音声エレメンタリストリームに分離され、さらに、その映像エレメンタリストリームがＭＰＥＧ映像デコーダで復号されてベースバンドの映像データに変換され、音声エレメンタリストリームがＭＰＥＧ音声デコーダで復号されてベースバンドの音響データに変換される。変換後の映像データはポスト映像処理回路９２に供給され、音響データは出力切換回路９５に供給される。
【０１９２】
ポスト映像処理回路９２では、システムコントローラ１４０の指示によって、ＭＰＥＧ映像音声デコーダ９１からの映像データおよびプリ映像処理回路８６からの映像データに対して、両者の切り換え、または合成や、ポストフィルタリング処理などの処理が施される。
【０１９３】
ポスト映像処理回路９２では、また、ＧＵＩ（Ｇｒａｐｈｉｃａｌ ＵｓｅｒＩｎｔｅｒｆａｃｅ）用に、代表画面（静止画）を生成し、複数の代表画面を縮小して、ウィンドウに貼り付ける縮小静止画表示処理が施され、処理後の映像データが、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）処理回路９３に供給される。
【０１９４】
代表画面としては、例えば番組タイトルの中から特徴的な１場面や、番組の中の見たい場面を素早くアクセスできるようにするための、その番組のインデックスポイント（ワンシーン）の画面等がある。
【０１９５】
ＯＳＤ処理回路９３では、システムコントローラ１４０の指示によって、テキスト情報などに対応する画像データを生成して、ポスト映像処理回路９２からの映像データの、上記のウィンドウ部分の映像データに重畳する処理が施され、処理後の映像データが、ＮＴＳＣエンコーダ３４に供給される。縮小静止画表示された複数の代表画面の例を、図１８に示す。この図１８の例では、１６枚の縮小静止画２００がウインドウに貼り付けられて表示される。
【０１９６】
ＮＴＳＣエンコーダ９４では、ＯＳＤ処理回路９３からの映像データ（コンポーネント映像データ）が、輝度データと色差データとに変換された上で、または変換されることなくそのまま、それぞれＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換されて、それぞれアナログ信号のセパレート映像信号およびコンポジット映像信号が生成される。そのセパレート映像信号は出力端子７２Ｓに導出され、コンポジット映像信号は出力端子７２Ｖに導出される。
【０１９７】
一方、出力切換回路９５では、システムコントローラ１４０によって、ＭＰＥＧ映像音声デコーダ９１からの音響データと、Ａ／Ｄ変換器８８からの音響データとの、いずれかが選択されて取り出される。その選択された音響データは、Ｄ／Ａ変換器３６でアナログ音響信号に変換されて、出力端子７２Ａに導出される。
【０１９８】
出力端子７２Ｓに導出されたセパレート映像信号、出力端子７２Ｖに導出されたコンポジット映像信号、および出力端子７２Ａに導出された音響信号が、外部のテレビジョン受信機などのモニタ装置２に出力されることによって、モニタ装置２において、画像が表示され、音声が出力される。
【０１９９】
（外部装置からの映像音響データの記録再生）
この例では、記録再生装置７０は、デジタル入出力端子７３とマルチプレクサ／デマルチプレクサ１００との間にデジタルインタフェース７４が接続されて、デジタル入出力端子７３に外部装置６３を接続することによって、外部装置６３から入力されたトランスポートストリームをハードディスク１２１〜１２３に記録し、ハードディスク１２１〜１２３から再生されたトランスポートストリームを外部装置６３に出力することができるように構成される。
【０２００】
外部装置６３としては、ＩＲＤ（Ｉｎｔｅｇｒａｔｅｄ Ｒｅｃｅｉｖｅｒ Ｄｅｃｏｄｅｒ）やパーソナルコンピュータなどの機器を接続することができる。デジタルインタフェース７４としては、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆＥｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４デジタルインタフェースが用いられ、外部装置６３とデジタル入出力端子７３とを接続するシリアルバス６４としては、ＩＥＥＥ１３９４シリアルバスが用いられる。
【０２０１】
外部装置６３からシリアルバス６４を介してデジタル入出力端子７３に入力されたトランスポートストリームは、デジタルインタフェース７４でインタフェース処理されてマルチプレクサ／デマルチプレクサ１００に送出され、マルチプレクサ／デマルチプレクサ１００からバッファコントローラ１１０に送出されて、ハードディスク装置１２０によってハードディスク１２１〜１２３に記録される。
【０２０２】
これと同時に、マルチプレクサ／デマルチプレクサ１００のデマルチプレクサで、記録されるトランスポートストリームからＰＥＳが分離されて、ＭＰＥＧ映像音声デコーダ９１に供給されることによって、出力端子７２Ｖ，７２Ｓおよび７２Ａに、アナログ映像信号およびアナログ音響信号を得ることができる。
【０２０３】
再生時には、ハードディスク装置１２０によってハードディスク１２１〜１２３からトランスポートストリームが読み出されて、その再生されたトランスポートストリームが、バッファコントローラ１１０に送出され、バッファコントローラ１１０からマルチプレクサ／デマルチプレクサ１００に送出されて、デジタルインタフェース７４でインタフェース処理されてデジタル入出力端子７３に出力され、デジタル入出力端子７３からシリアルバス６４を介して外部装置６３に送出されて、外部装置６３に接続されたモニタ装置７において、画像が表示され、音声が出力される。
【０２０４】
これと同時に、マルチプレクサ／デマルチプレクサ１００のデマルチプレクサで、再生されたトランスポートストリームからＰＥＳが分離されて、ＭＰＥＧ映像音声デコーダ９１に供給されることによって、出力端子７２Ｖ，７２Ｓおよび７２Ａに、再生アナログ映像信号および再生アナログ音響信号を得ることができる。
【０２０５】
（音響検索処理）
前述したように、音響検索処理部１５０により、前述した第１の実施の形態〜第５の実施の形態と同様にして、音響検索することができる。この場合に、特定の検索子音響パラメータを指定して検索された部分の音響信号だけでなく、その検索された音響信号部分に対応する映像信号部分を、両者のリンク関係から、検索結果として抽出することができる。例えば、音楽番組の場合には、音楽が流れているシーン部分のみを検索して抽出することができる。
【０２０６】
この場合、検索対象の音響信号は、ハードディスク装置１２０に記録された音響データだけではなく、受信したあるいは入力された音響データであっても良いことは、前述した通りである。この場合に、この実施の形態の場合には、複数の入力音響データが存在するので、ある入力音響映像信号による画像と音声とをモニタ装置６２で視聴しているときに、他の入力音響映像信号中の音響信号について、検索を行ない、その検索結果の画像部分を、例えば子画面（子画面は検索されたときにのみ表示しても良いし、常時表示しておいても良い）として、視聴している親画面の一部に表示するようにすることもできる。この機能は、例えば、お気に入りの俳優の声紋などを検索子音響パラメータとして用い、その俳優がでてくるシーンを子画面に表示するなどの使い方ができる。
【０２０７】
また、図１８に示した縮小静止画２００のそれぞれに対応して、検索子音響特徴パラメータを登録しておき、使用者が検索子として縮小静止画２００のいずれかを指示したとき、その指示された縮小静止画２００に対応する検索子音響特徴パラメータを用いた音響検索動作を行なうようにすることもできる。
【０２０８】
例えば、縮小静止画には、特定の人物が表示されており、その人物の声紋などを検索子音響特徴パラメータとして検索子メモリに記憶しておき、その人物の縮小静止画が検索子として指定されたときに、音響検索処理を行なって、当該人物が登場して声を出しているシーンを抽出することができる。このように、縮小静止画に対応して、検索音響特徴パラメータを登録しておくことにより、縮小静止画を検索のためのインデックスとして使用することができる。
【０２０９】
また、逆に、特定の検索子音響特徴パラメータを指定することにより、その検索子音響特徴パラメータで検索されたシーンを、縮小静止画表示に使用する縮小静止画として登録するようにすることもできる。例えば、人物は映出されていないが、特定の人物の声紋などの音響的特徴を含むシーンを、前記縮小静止画として登録することができる。
【０２１０】
なお、検索子音響信号や検索子音響特徴パラメータを放送信号にデータとして重畳して提供するようにすることもできる。使用者は、提供された検索子の中から所望のものを選択して検索に利用したり、また、その提供されたものの中から必要な検索子音響信号や検索子音響特徴パラメータを検索子メモリ３２に登録して保存するようにすることもできる。
【０２１１】
［音響映像検索装置、音響映像蓄積装置の第２の実施の形態］
上述の第１の実施の形態では、音響信号についてのみ検索子を用いて検索を行なうようにしたが、この第２の実施の形態では、映像信号についても、同様にして検索を行なうようにする。
【０２１２】
すなわち、この第２の実施の形態では、映像信号の検索のために、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータを登録しておくようにする。この検索子映像特徴パラメータとして抽出する映像の特徴量としては、例えば、輝度とその変化、色合いとその変化、人物、物体などの映っているものとその変化などを用いることができる。
【０２１３】
この検索子映像特徴パラメータも、前述の検索子音響特徴パラメータと同様に、入力音響映像信号のうちから、使用者が指定した区間の映像信号を解析することにより得ることができるし、別途、検索子とする映像部分からなる映像信号を入力して、それを解析して得ることもできる。また、パーソナルコンピュータなどで予め解析して得られた検索子を、装置に登録するようにすることも、勿論できる。
【０２１４】
そして、検索対象の映像信号を解析して得た映像特徴パラメータと、検索子映像特徴パラメータとを比較し、両者の類似性を算出することにより、検索対象の映像信号中から検索子の画像と類似する画像部分を検索するようにする。そして、音響信号についての検索結果と、前記映像信号についての検索結果とに基づいて、入力音響映像信号中から所定の部分を検索するようにする。
【０２１５】
この場合に、検索子映像特徴パラメータと、検索子音響特徴パラメータとは、それぞれ別々の検索子として登録して別々に用いるようにしても良いし、互いに関連付けて登録して用いるようにしても良い。例えば、ある人物の映像の検索子映像特徴パラメータと、その人物の声紋などの検索子音響特徴パラメータとは互いに関連付けて登録しておくと良い。
【０２１６】
この第２の実施の形態においては、検索に当たっては、検索子映像特徴パラメータと、検索子音響特徴パラメータとの両方をそれぞれ個別に指定して検索を行なうことができる。また、前記の互いに関連付けられている検索子映像特徴パラメータおよび検索子音響特徴パラメータを用いるように検索子の指定をすることもできる。
【０２１７】
検索子音響特徴パラメータと検索子映像特徴パラメータの両者を用いた検索の方法としては、それぞれのパラメータのいずれかにより検索された類似部分の全てを検索結果として出力する方法、両パラメータで検索された類似部分のうち、互いに一部あるいは全部が重なり合う部分を検索結果として出力する方法などを指定することができる。
【０２１８】
このときの検索結果は、検索された部分を、アドレス情報などで表示しても良いし、また、映像部分については、検索された部分の先頭のシーンを前記の縮小静止画にして表示するようにしてもよい。また、前述の音響検索処理の各実施の形態と同様に、検索結果の信号部分を順次に再生するようにすることもできる。さらに、検索結果と、検索子とを関連させてメモリに記憶しておき、検索子を頼りに、後の時点で読出して再生するようにすることもできる。
【０２１９】
この第２の実施の形態によれば、映像特徴量を使用してシーン区間の検出することと、音響特徴量を使用してシーン区間を検出することとを併用することにより、検索結果のシーン区間を意味あるものとすることができる。例えば、映像的にはシーンが代わっていても、ナレーションなど音響的には続いているシーンを、映像の変化点で区切られることなく、検出することができる。
【０２２０】
また、前述の縮小静止画表示用の、縮小静止画として、検索子映像特徴パラメータと検索子音響特徴パラメータとにより検索された類似部分の重なり部分を抽出するようにすることにより、映像的だけでなく音響的にも意味のある縮小静止画を抽出して表示することができる。
【０２２１】
【発明の効果】
以上説明したように、この発明によれば、検索対象の音響信号と、操作部を通じた使用者の操作に応じて当該検索対象の音響信号から抽出した検索子としての音響信号とを、それぞれ音響特徴パラメータに解析し、その音響特徴パラメータについて比較して、類比判定することにより検索を行うようにしたことにより、検索対象の音響信号の記録時にマーカーなどを打ち込んでおかなくても、例えば、特定の話者の発言部分や、特定の楽器の演奏部分を、簡単に検索することができる。
【０２２２】
また、予め検索子を登録しておくことにより、その登録したものから選択した検索子についての検索子を容易に行うことができる。
【０２２３】
また、マーカーを施す場合のように、一旦記録しなければ検索ができないのではなく、予め用意した検索子についての検索を、検索対象の音響信号について行うことが可能である。
【０２２４】
また、音響映像信号からの任意のシーンの検索を行なう場合に、音響特徴パラメータと映像特徴パラメータとを用いてシーンの検索を行なうようにすれば、検索の精度を上げることができ、また、音響的にも映像的にも区切りのよいシーン検索ができるようになる。
【図面の簡単な説明】
【図１】この発明による音響検索処理装置の第１の実施の形態のブロック図である。
【図２】男性音声の音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図３】女性音声の音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図４】サキソホンの音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図５】ベースギターの音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図６】第１の実施の形態における検索子の登録処理動作を説明するためのフローチャートである。
【図７】第１の実施の形態における検索処理動作を説明するためのフローチャートである。
【図８】第１の実施の形態における検索処理結果の表示例を示す図である。
【図９】第１の実施の形態における検索処理結果の表示例の他の例を示す図である。
【図１０】第１の実施の形態における検索処理結果の表示例の他の例を示す図である。
【図１１】この発明による音響検索処理装置の第２の実施の形態のブロック図である。
【図１２】この発明による音響検索処理装置の第３の実施の形態のブロック図である。
【図１３】この発明による音響検索処理装置の第４の実施の形態のブロック図である。
【図１４】この発明による音響検索処理装置の第５の実施の形態の要部の説明に用いる図である。
【図１５】この発明による音響検索処理装置の第５の実施の形態の要部の説明に用いる図である。
【図１６】この発明による音響映像検索処理装置の第１の実施の形態のブロック図の一部である。
【図１７】この発明による音響映像検索処理装置の第１の実施の形態のブロック図の一部である。
【図１８】この発明による音響映像検索処理装置の第１の実施の形態の説明に用いる図である。
【符号の説明】
１０…コントロール部、１１…入力音響信号の入力端子、１２…音響信号記録部、１３…記録媒体、１４…音響信号再生部、１５…オーディオアンプ、１６…スピーカ、２０…キー操作部、２１…音響特徴パラメータ解析部、２２…類似性算出部、２３…表示制御部、２４…表示部、３１…検索子音響信号抽出格納部、３２…検索子メモリ、３３…検索子音響信号読出部、３４…検索子音響特徴パラメータ解析部、３５…検索子音響信号抽出部、３６…検索子音響特徴パラメータ解析部、３７…検索子音響特徴パラメータ格納部、３８…検索子音響特徴パラメータ読出部、４１…音響特徴パラメータ解析部、４２…音響特徴パラメータ記録部、４３…音響特徴パラメータ再生部、４４…音響信号合成部、４５…検索子音響特徴パラメータ抽出格納部、５１…記録データ制御部、５２…読み出しデータ制御部
【発明の属する技術分野】
この発明は、検索対象の音響信号や映像信号から、例えば特定の楽器、特定の人声、動物の鳴き声等の部分や特定の人物画像、特定のシーンなどの部分を検索する検索処理方法および装置、また、この検索処理方法および装置を用いた情報蓄積方法および装置に関する。
【０００２】
【従来の技術】
例えば、会議録音を行った場合、記録された音響信号について、記録後に、特定の発言部分などを検索したりする要求がある。
【０００３】
このように、記録された音響信号について、使用者が希望する音響信号部分を検索する場合、従来は、記録時にマーカーを打ち込んでおき、再生時に、この打ち込みマーカーを検出することにより、希望する音響信号部分を検索するようにしている。
【０００４】
また、記録時に、後で検索したい音響信号部分が判るように、カウンタ数値や、記録開始時点からの時間を、それぞれの音響信号部分と対応を付けて記録するようにする方法も知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の方法の場合、記録時に、後で検索するであろう音響信号部分を判断してマーカーを打ち込んだり、カウンタ数値や時間を記録したりする必要があり、使い勝手について、次のような問題があった。
【０００６】
１．記録時に、マーカーを使用者が打ち込んだり、カウンタ数値や時間を別途に記録しなければならず、マーカー打ち込み操作やカウンタ数値や時間を記録する操作が厄介である。
【０００７】
２．マーカーやカウンタ数値、時間が記録されていない箇所は、検索することはできない。
【０００８】
３．特定の話者のみ、あるいは特定の楽器のみなどの部分を検索することができない。このため、例えば会議記録において発言区間を話者毎に分類したり、演奏区間を楽器毎に分類したりするなどということができない。
【０００９】
４．一旦、記録して、マーカーやカウンタ数値等を記録する必要があるため、記録を行わずに、複数の検索子について検索して分類するなどということはできなかった。
【００１０】
この発明は、以上の点にかんがみ、記録時に、マーカーを打ち込んだり、カウンタ数値や時間を記録する操作が必要なく、しかも、特定の話者や楽器などの部分を検索することができる方法および装置を提供することを目的とする。
【００１１】
また、音響信号を記録しなくても、検索対象の音響信号から、特定の音源などの音響信号を検索子とする検索が行えるようにする方法および装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による音響検索処理方法は、抽出手段が、検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索することを特徴とする。
【００１３】
この請求項１の発明においては、検索子として、例えば特定の話者、特定の楽器などの、構造的な要素が異なる音源からの音響信号を想定する。そして、それぞれの音源の構造的な要素に依存する音響特徴パラメータ（検索子音響特徴パラメータ）と、検索対象の音響信号を解析して得た音響特徴パラメータと比較することで、検索対象の音響信号から、検索子の音響信号と類似する部分を見つけ出すようにする。
【００１４】
これにより、検索対象の音響信号の記録時にマーカーなどを打ち込んでおかなくても、例えば、特定の話者の発言部分や、特定の楽器の演奏部分を、簡単に検索することができる。
【００１８】
また請求項１の発明によれば、検索対象の音響信号中から、検索子とすべき音源の音響信号を抽出することにより、必要な検索子の音響信号を簡単に用意することができる。
【００２０】
また請求項１の発明においては、検索時に検索したい、例えば話者などの音響信号部分を、検索対象の音響信号について指示すると、その指示された音響信号部分が解析されて、検索子音響特徴パラメータが生成される。そして、その検索子音響特徴パラメータにより、指示された検索子についての検索が行われることになる。
【００２１】
このように、この請求項１の発明によれば、予め検索子を用意しておかなくても、検索時に検索対象の音響信号から検索子とする音響信号部分を指定することより、検索子を設定することができる。したがって、使用者が希望する任意の検索子についての検索が可能となる。
【００２６】
また、請求項４の発明は、請求項１〜３のいずれかに記載の音響検索処理方法において、前記検索子が複数個である場合には、予め設定された単位時間ごとに、検索子を切り換えて、前記類似性の算出を行なうことを特徴とする。
【００２７】
この請求項４の発明によれば、時分割的に複数の検索子を切り換えて、検索を行うことにより、同時に複数個の検索子についての検索が可能になる。
【００２８】
また、請求項５の発明は、請求項１〜請求項４のいずれかに記載の音響検索処理方法において、前記検索結果の類似する部分を、前記検索対象の音響信号について、時間方向に表示することを特徴とする。
【００２９】
この請求項５の発明によれば、例えば会議録音された音響信号において、例えば特定の話者がどのように発言しているかなどを時間単位に表示することができる。
【００３０】
また、請求項６の発明は、請求項１〜請求項４のいずれかに記載の音響検索処理方法において、前記検索対象の音響信号のうちの、前記検索結果の類似する部分のみを抽出して再生することを特徴とする。
【００３１】
この請求項６の発明によれば、例えば会議録音された音響信号において、例えば特定の話者が発言した部分のみを再生することができる。
【００３２】
また、請求項２３の発明による音響映像検索処理方法は、映像信号と、その映像信号に関連する音響信号とからなる入力信号から、所定の部分を検索する音響映像検索処理方法において、抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索することを特徴とする。
【００３３】
この請求項２３の発明によれば、検索子とされた音響信号に関連する映像信号部分を検索することができる。
【００３４】
また、請求項２５の発明による音響映像検索処理方法は、抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、音響部分検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索すると共に、映像部分検索手段が、検索子とする１〜複数の映像信号についての、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、検索対象とする前記入力信号中の映像信号を解析して得た前記映像特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする前記入力信号中の映像信号中から前記検索子の画像と類似する画像部分を検索し、前記音響信号についての検索結果と、前記映像信号についての検索結果とに基づいて、前記入力信号中から所定の部分を検索することを特徴とする。
【００３５】
この請求項２５の発明によれば、検索子として、検索子音響特徴パラメータだけでなく、検索子映像特徴パラメータを用いて、入力信号についての検索を行なうので、検索の精度をあげることができ、また、音響的にも、映像的にも、区切りの良いシーンの検索などを行なうことができる。
【００３６】
【発明の実施の形態】
以下、この発明の実施の形態を、図を参照しながら説明する。
【００３７】
［第１の実施の形態］
図１は、この発明の第１の実施の形態のブロック図である。この第１の実施の形態では、検索対象の入力音響信号、例えばマイクロホンで収音した入力オーディオ信号を記録し、再生する機能を備える。この実施の形態では、再生音響信号も、検索対象の音響信号とする機能を備える。また、検索対象の入力音響信号または再生音響信号から検索子の音響信号を抽出して記憶蓄積する機能と、この蓄積された検索子の音響信号を用いて入力音響信号または再生音響信号について検索する機能と、さらに、検索結果を表示部に表示する機能を備える。
【００３８】
入力音響信号は、入力端子１１を通じて、スイッチ回路ＳＷ１に供給される。このスイッチ回路ＳＷ１は、コントロール部１０からの切り換え信号により、入力音響信号の記録時および入力音響信号についての検索時には、端子ａ側に切り換えられ、入力音響信号から検索子の音響信号を抽出するときには、端子ｂ側に切り換えられる。
【００３９】
そして、スイッチ回路ＳＷ１の端子ａ側に得られるオーディオ信号は、音響信号記録部１２を介して記録媒体１３、例えばメモリカード、磁気ディスクや光磁気ディスクなどの光ディスクや、ハードディスクに記録される。音響信号記録部１２は、キー操作部２０を通じて記録指示が使用者から与えられたときに、コントロール部１０からの制御信号により、アクティブになり、記録を実行する。
【００４０】
入力端子１１を通じた入力音響信号は、また、スイッチ回路ＳＷ２の入力端ＩＮに供給される。このスイッチ回路ＳＷ２の後段には、オーディオアンプ１５およびスピーカ１６が接続されており、後述する再生時以外は、スイッチ回路ＳＷ２はコントロール部１０からの切り換え制御信号により、入力端ＩＮ側に切り換えられる。したがって、再生時以外の時には、入力音響信号がオーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【００４１】
キー操作部２０を通じて再生指示が使用者から与えられると、コントロール部１０からの制御信号により、音響信号再生部１４がアクティブになり、記録媒体１３から再生音響信号が読み出されて再生され、スイッチ回路ＳＷ２の入力端ＰＢに供給される。この再生時には、スイッチ回路ＳＷ２は、コントロール部１０からの切り換え制御信号により、入力端ＰＢ側に切り換えられる。したがって、再生音響信号が、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【００４２】
スイッチ回路ＳＷ１の端子ａ側に得られる入力音響信号は、また、スイッチ回路ＳＷ３の一方の入力端ｄに供給される。このスイッチ回路ＳＷ３の他方の入力端ｃには、音響信号再生部１４からの再生音響信号が供給される。
【００４３】
スイッチ回路ＳＷ３は、検索対象の音響信号を切り換えるもので、キー操作部２０を通じた使用者による検索対象の音響信号の選択指示に応じて切り換えられる。
【００４４】
このスイッチ回路ＳＷ３から得られる検索対象の音響信号は、音響特徴パラメータ解析部２１に供給されて、例えば、発音体の構造や共振系などの違いなどの音源の構造的な要素、に依存する音響特徴パラメータに解析する。この音響特徴パラメータとしては、ピッチ周波数、その高調波成分周波数、フォルマント周波数や、ケプストラム情報、線形予測係数とその残差信号、パーコール係数などが挙げられる。
【００４５】
例えば、図２は一般的な男性音声の周波数成分分布（図２（Ａ））と時間波形（図２（Ｂ））の例である。また、図３は一般的な女性音声の周波数成分分布（図３（Ａ））と時間波形（図３（Ｂ））の例である。また、図４はサキソホンの周波数成分分布（図４（Ａ））と時間波形（図４（Ｂ））の例である。さらに、図５はベースギターの周波数成分分布（図５（Ａ））と時間波形（図５（Ｂ））の例である。
【００４６】
これらの図２〜図５は、単なる周波数成分分布および時間波形であるが、それぞれ、ピッチ周波数、その高調波成分、フォルマント構造やその有無に、音響的な特徴が見られることが判る。
【００４７】
このような周波数成分分布の他にも、線形予測係数とその残差信号などの音響特徴パラメータでも、音響信号の特徴を表わすことができる。
【００４８】
また、ピッチ周波数の時間的変動から得られる音声の抑揚パラメータも音響信号の特徴を表すパラメータとして有効であることが知られており、同一人物が話した言葉でも、抑揚によって別な状況と識別することができる。例えば、ピッチが通常より低く、さらに抑揚も下がる傾向のときには、元気のない場面や悲しい場面であると識別される。したがって、抑揚情報も音響特徴パラメータに用いることもできる。
【００４９】
この音響特徴パラメータ解析部２１からの音響特徴パラメータは、類似性算出部２２に供給される。この類似性算出部２２では、後述するように、検索子となる音響信号についての音響特徴パラメータ（以下、検索子音響特徴パラメータという）と、音響特徴パラメータ解析部２１からの検索対象の音響信号の音響特徴パラメータとの類似性を算出する。
【００５０】
この類似性算出部２２での類似性算出は、音声認識などのような音声時系列波形パターンの類似判定ではなく、発音体の構造や共振系について類似した構造を持った音源から発したものであるかの判定である。時系列波形のパターンの一致や類似度を算出するものではないので、例えばオーディオ信号の再生時に、再生速度を高速にしても類似性の算出が可能である。
【００５１】
すなわち、例えば、類似性の算出に当たって、音響特徴パラメータとして、前述したもののうちの、例えば、ピッチ周波数、フォルマント周波数などの３項目を取り上げて、パラメータ（ｘ，ｙ，ｚ）で表わすことにする。
【００５２】
今、ある時間幅ＴＷの区間での検索子音響特徴パラメータが、（ｘ０，ｙ０，ｚ０）であり、検索対象の音響信号の音響特徴パラメータが、（ｘｉ，ｙｉ，ｚｉ）であったとしたとき、類似性算出部２２では、次式に示す両者の距離Ｓを類似度として算出する。前記時間幅ＴＷは、類似性算出部２２で、類似性を判定するのに十分な程度のパラメータ情報と時間を見込んで、予め設定される。
【００５３】
Ｓ＝sqrt｛（ｘｉ−ｘ０）2 ＋（ｙｉ−ｙ０）2 ＋（ｚｉ−ｚ０）2 ｝
ここで、sqrt（）は、（）内の平方根演算を示すものである。
【００５４】
この距離Ｓが、小さければ小さいほど、類似度が大きいことになる。この実施の形態において、類似性算出部２２では、予め定めた時間幅ＴＷの区間ごとに、前記距離Ｓを算出し、その算出した距離Ｓが、予め定めた所定値Ｓthよりも小さいときに、前記時間幅ＴＷの区間の音響信号は、検索子の音響信号と同じあるいは類似していると判定し、そうでないときには、非類似であると判定するようにしている。
【００５５】
なお、距離Ｓの値は、類似の程度を表わしているので、その類似の程度をそのまま出力として用いるようにすることも、勿論可能である。
【００５６】
この類似性算出部２２の類似性判定出力は、表示制御部２３を通じて表示部２４に供給される。表示制御部２３は、この実施の形態では、検索対象の音響信号の先頭からの時間に対応させて、前記類似性判定出力を、例えば横バーグラフのように、表示部２４の画面に表示するようにする（後述する図８等参照）。
【００５７】
次に、検索子について説明する。この実施の形態では、検索子とする音響信号は、入力音響信号あるいは再生音響信号から抽出して、予め記憶部３２に記憶させておく。
【００５８】
すなわち、スイッチ回路ＳＷ１の端子ｂに得られる入力音響信号は、スイッチ回路ＳＷ４の入力端ｆに供給され、また、音響信号再生部１４からの再生音響信号が、スイッチ回路ＳＷ４の入力端ｅに供給される。このスイッチ回路ＳＷ４は、検索子の音響信号を入力音響信号から抽出するか、再生音響信号から抽出するかを、切り換えるもので、コントロール部１０からの制御信号により、キー操作部２０を通じた使用者の選択指示に応じて切り換えられる。
【００５９】
このスイッチ回路ＳＷ４からの音響信号は、検索子音響信号抽出格納部３１に供給される。この検索子音響信号抽出格納部３１には、コントロール部１０から、キー操作部２０を通じた使用者の操作に応じた制御信号が供給される。
【００６０】
この実施の形態においては、使用者は、スピーカからの入力音響信号または再生音響信号の音響再生出力音を聴取しながら、検索子としたい音響信号部分になったときに、キー操作部２０の検索子指示キー（図示せず）を操作する。すると、そのキー操作時点を含む予め定めた時間幅ＴＷの区間の音響信号を抽出し、それを検索子メモリ３２に格納する。検索子メモリ３２は、検索子単位の格納エリアを有し、各検索子は、それぞれ別々の格納エリアに格納される。
【００６１】
この例の場合、時間幅ＴＷの区間は、キー操作時点よりもわずかに前の時点から開始するように、検索子音響信号抽出格納部３１は、バッファメモリを備えている。そして、指示された時間幅ＴＷの区間の音響信号を検索子音響信号として、検索子メモリ３２に格納する。
【００６２】
この場合、検索子は、複数個が格納可能とされており、使用者が検索子の音響信号を指示するごとに、コントロール部１０からの制御信号により、検索子メモリ３２の検索子格納エリアが更新される。つまり、検索子格納エリアアドレスが更新される。そして、検索子音響信号抽出格納部３１からの、使用者の指示により抽出された時間幅ＴＷの区間の検索子の音響信号は、コントロール部１０からの切り換え制御信号に応じて、検索子メモリ３２の検索子格納エリアの更新に同期してスイッチ回路ＳＷ５が切り換えられることにより、順次に、検索子メモリ３２の別々の検索子格納エリアに格納される。
【００６３】
このとき、図示しないが、どのような検索子の音響信号を検索子メモリ３２に格納したかを、キー操作部２０を通じてメモ入力することができるようにされており、その検索子のメモ入力が、検索子格納エリア番号に対応して、例えばテーブル形式で表示部２４に表示される。使用者は、この表示部２４の検索子のテーブルを参照しながら、検索したい検索子が格納されている検索子格納エリア番号を指定することにより、所望の検索子により検索が実行できる。
【００６４】
すなわち、キー操作部２０を通じて、使用者が検索モードを選択し、所定の検索子格納エリア番号を指定すると、コントロール部１０からの制御信号により、スイッチ回路ＳＷ６が切り換えられると共に、検索子音響信号読出部３３により、検索子メモリ３２の指定された検索子格納エリアから検索子の音響信号が読み出される。
【００６５】
読出された検索子の音響信号は、検索子音響特徴パラメータ解析部３４に供給されて解析され、これより、当該検索子の音響信号についての検索子音響特徴パラメータが得られる。そして、この検索子音響特徴パラメータが前述した類似性算出部２２に供給され、前述したようにして、前記時間幅ＴＷの区間ごとに、検索対象の音響信号について、当該検索子の音響信号の検索が行われる。
【００６６】
以上のような構成の音響信号検索処理装置における動作について、さらに手順を追って説明する。
【００６７】
［検索子登録動作］
この実施の形態の場合、実際の検索処理に先立ち、検索子の登録が行われる。この例では、検索子は、前述したように音響信号の形で検索子メモリ３２に格納されて登録される。この検索子登録のときのコントロール部１０を主体にした動作のフローチャートは図６のようになる。この図６の処理ルーチンは、使用者がキー操作部２０を通じて検索子登録モードを選択したときに開始となる。以下、この図６を参照して、検索子登録動作について説明する。
【００６８】
まず、コントロール部１０は、キー操作部２０を通じての使用者の選択指示を判定し、入力音響信号から検索子を抽出するのか、再生音響信号から検索子を抽出するのか判定する（ステップＳ１０１）。
【００６９】
この判定の結果、抽出元が、入力音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ｂ側に、スイッチ回路ＳＷ２は入力端ＩＮ側に、スイッチ回路ＳＷ４は入力端ｆ側に、それぞれ切り換える（ステップＳ１０２）。
【００７０】
また、抽出元が再生音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ａ側に、スイッチ回路ＳＷ２は入力端ＰＢ側に、スイッチ回路ＳＷ４は入力端ｅ側に、それぞれ切り換える（ステップＳ１０３）。
【００７１】
ステップＳ１０２またはステップＳ１０３の次には、ステップＳ１０４に進み、コントロール部１０は、使用者によるキー操作部２０を通じた検索子の音響信号部分の指示を待つ。このとき、検索子の抽出元のオーディオ信号は、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。使用者は、そのスピーカ１６から放音された音を聴取して、検索子としたい、例えば特定話者など特定の検索子音源として利用したい音響信号部分をキー操作部２０を通じて指示入力する。
【００７２】
そして、ステップＳ１０４で、検索子の音響部分の指示入力を検出したら、コントロール部１０は、検索子メモリ３２の検索子格納エリアを更新し（ステップＳ１０５）、また、検索子音響信号抽出格納部３１を制御して、前述したように、一定時間幅ＴＷの区間の音響信号を抽出するようにする（ステップＳ１０６）。そして、抽出した検索子の音響信号部分を、検索子メモリ３２の、前記の更新した検索子格納エリアに書き込むように制御する（ステップＳ１０７）。
【００７３】
そして、次に、キー操作部２０を通じて検索子の登録モードの終了指示があったかどうか判別し（ステップＳ１０８）、終了指示あれば、この検索子の登録モードの処理ルーチンを終了させ、終了指示がなければ、ステップＳ１０４に戻り、使用者による次の検索子の抽出指示入力を待ち、上述の動作を繰り返す。
【００７４】
以上のようにして、検索子メモリ３２には、使用者が入力音響信号あるいは再生音響信号から抽出した検索子の音響信号を、登録して格納しておくことができる。この場合、検索子メモリ３２のメモリ容量が十分に余裕がある場合には、検索子の音響信号は、消去せずに、蓄積しておくことができる。
【００７５】
この発明では、音響特徴パラメータを用いて類似性を算出するものであるので、蓄積した検索子の音響信号は、これを抽出したオーディオ信号から、当該検索子の音響信号部分と類似する部分を検索する場合にのみ用いられるのではなく、これを抽出したものではない他の検索対象の音響信号について、その検索子の音響信号部分と類似する部分を検索する場合にも用いることができる。
【００７６】
したがって、この第１図の実施の形態の場合、予め、使用者が検索したい音源についての音響信号を、前記時間幅ＴＷずつ検索子メモリ３２に格納して蓄積しておくことにより、何時でも必要なときに、その検索子を用いた検索を行うことができる。
【００７７】
［検索処理動作］
以上のようにして検索子メモリ３２に格納された検索子の音響信号を用いて、次のようにして検索処理が実行される。この検索処理の処理ルーチンを図７に示す。この図７の処理ルーチンは、使用者がキー操作部２０を通じて検索処理モードを選択したときに開始となる。以下、この図７を参照して、検索処理動作について説明する。
【００７８】
まず、コントロール部１０は、キー操作部２０を通じての使用者の選択指示を判定し、検索対象は、入力音響信号か、再生音響信号かを判定する（ステップＳ２０１）。
【００７９】
この判定の結果、検索対象が入力音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ１は出力端ａ側に、スイッチ回路ＳＷ２は入力端ＩＮ側に、スイッチ回路ＳＷ３は入力端ｄ側に、それぞれ切り換える（ステップＳ２０２）。
【００８０】
また、検索対象が再生音響信号であると判別したときには、コントロール部１０は、スイッチ回路ＳＷ２は入力ＰＢ側に、スイッチ回路ＳＷ３は入力端ｃ側に、それぞれ切り換える（ステップＳ２０３）。
【００８１】
ステップＳ２０２またはステップＳ２０３の次には、ステップＳ２０４に進み、コントロール部１０は、使用者により検索子として何が選択されたかを認識し（ステップＳ２０４）、その選択された検索子の音響信号を、検索子メモリ３２から読み出すように制御する（ステップＳ２０５）。
【００８２】
すると、メモリ３２から読み出された検索子の音響信号は、検索子音響信号読出部３３を介して検索子音響特徴パラメータ解析部３４に供給されて、検索子音響特徴パラメータとされて、類似性算出部２２に供給される。類似性算出部２２では、検索対象のオーディオ信号の例えば時間幅ＴＷの区間ごとの音響特徴パラメータと、検索子音響特徴パラメータとの前述したような類似性演算がなされて、両者の類似性の指標である類似度が算出される（ステップＳ２０６）。この例では、前述したように、類似度は、両者の距離Ｓとして求められる。
【００８３】
そして、この類似度である前記距離Ｓが、予め定めた閾値Ｓthよりも小さいか否かを判別し（ステップＳ２０７）、閾値Ｓthよりも小さいときには、検索子に類似する音響信号部分として判定し（ステップＳ２０８）、閾値Ｓthよりも大きいときには、非類似であると判定する（ステップＳ２０９）。そして、その判定結果を、表示制御部２３を介して表示部２４の画面に表示する（ステップＳ２１０）。
【００８４】
そして、検索対象のオーディオ信号が終了することにより、あるいは、使用者の終了指示により、検索処理が終了したか否かを判定し（ステップＳ２１１）、終了であれば、この処理ルーチンを終了し、そうでなければ、ステップＳ２０６に戻って、検索子による検索を継続する。
【００８５】
以上のようにして、検索された結果の表示例を図８に示す。この図８の例は、検索対象が会議録音の再生音響信号であって、検索子が特定の話者Ａである場合である。この表示例によれば、会議録音全体の中のどの時間的位置で話者Ａが発言しているかが示されることになる。
【００８６】
なお、以上の例では、検索子は、一つとして説明したが、複数個の検索子を指定し、その複数個の検索子についての類似性を算出して、表示するようにすることもできる。その場合、例えば１０数ミリ秒ごとに、検索子を時分割的に切り換えて、類似性算出部２２で算出演算を行うようにすればよい。
【００８７】
また、類似性算出部を複数個設け、それらの類似性算出部で並列的に複数個の検索子のそれぞれについての類似性算出を行うようにしてもよい。
【００８８】
そのように複数個の検索子を設定して検索を行った検索結果の表示例を図９に示す。この表示例は、会議録音全体の中で、３名の話者Ａ、Ｂ，Ｃがそれぞれどのような時間区間で発言を行ったかを示している。
【００８９】
こうして、この実施の形態によれば、例えば、複数の会議参加者が参加している会議において、各会議参加者ごとの音響信号を検索子として予め登録しておけば、会議の時間経過にともなった各会議参加者ごとの発言区間を分類して表示することが可能になる。
【００９０】
なお、以上の説明では、類似性の判定結果は、所定の閾値を超えたか否かによる２値的なものとしたが、前述の例の場合には、類似性の算出結果としての距離Ｓの値をそのまま表示に反映するようにしてもよい。すなわち、距離Ｓが短ければ短いほど類似度が高いとして、その類似度の高さに応じて、図８（Ｂ）に示すように、時間区間表示に濃淡を付けて、表示するようにしてもよい。例えば、図８（Ｂ）の例では、濃淡が濃い区間ほど、類似性が高いことを示すようにしている。また、濃淡の代わりに、類似度の高さの違いを表示色の違いにより、表示するようにしてもよい。
【００９１】
また、検索子が複数の場合には、検索子ごとに類似性判定出力の表示色を異ならせ、また、類似度の高さの違いを表示色の濃度の違いにより、表示するようにしてもよい。
【００９２】
なお、以上の表示例は、類似性判定出力を検索対象の音響信号の時間経過に対応して表示したものである。一方、検索対象の音響信号が再生音響信号の場合には、各時間区間の音響信号の記録媒体１３上における記録位置は容易に知ることができる。したがって、一度、再生音響信号についての検索結果としての類似性判定表示出力を得たら、それを表示部２３に表示しながら、図１０に示すように、その類似性判定表示出力に現在再生位置を、例えば再生位置カーソルによって対応表示するようにすることもできる。
【００９３】
また、逆に、図１０の再生位置カーソルを、使用者が指定できるようにすることにより、その指定した再生位置カーソルの位置から検索対象の音響信号の再生を行うようにすることもできる。その場合には、検索により、分類した検索子ごとの音響信号を、検索対象の音響信号から抽出して再生することが可能になる。
【００９４】
なお、検索対象の音響信号と検索子との類似性を算出するのは、この発明においては、音響特徴パラメータを用いているので、波形パターンが一致するかどうかのパターンマッチング処理を用いる音声認識などと異なり、音響信号の時系列波形をそのまま用いる必要がない。このため、再生音響信号を検索対象とする場合、再生速度はノーマル速度（１倍速）ではなく、２倍速や３倍速というような高速再生を行っても、同様の類似性判定出力を得ることができる。したがって、検索速度を高速にすることが可能である。
【００９５】
したがって、検索子を用いた検索を高速再生速度にて行い、検索子と類似している音響信号部分を検出したときに、その部分をノーマル再生するようにすることにより、検索子に類似する部分のみを抽出再生することができる。
【００９６】
また、一旦、検索を行えば、記録媒体上のアドレスと、検索結果とを対応させることができるので、その検索結果を用いて、特定の検索子と類似する音響信号部分のみを記録媒体から抽出して、再生するようにすることも可能である。
【００９７】
以上の効果の説明は、検索対象が再生音響信号の場合であるが、この実施の形態では、入力音響信号を検索対象として、予め登録してある検索子を用いて検索して、入力音響信号について、検索子ごとの分類などを行うことができるという効果もある。例えば、複数個の楽器の音響信号を検索子として登録しておき、入力音響信号の各パートが、どのような楽器を用いて演奏されたものであるかなどを分類表示することができる。
【００９８】
なお、以上の実施の形態では、検索子は、入力音響信号や再生音響信号から抽出して、検索子メモリ３２に格納するようにしたが、検索子ライブラリとして複数個の検索子の音響信号を検索子メモリ３２に予め記憶しておいても、もちろんよい。
【００９９】
また、類似性の算出は、音響特徴パラメータ間の幾何学的距離Ｓとして求めるようにしたが、幾つかのパラメータから新しいパラメータを算出し、それを用いて音響特徴パラメータ間の距離を求めるようにすることもできる。
【０１００】
例えば、上述の例のｘ，ｙ，ｚの３項目の音響特徴パラメータを用いる場合において、新しいパラメータをｋとしたとき、
ｋ＝ａｙ＋ｂｚ
として、パラメータｘと、この新たなパラメータｋとの２つのパラメータ（ｘ、ｋ）を用いて、検索対象と検索子の音響特徴パラメータ間の距離を算出するようにしてもよい。また、それぞれの音響特徴パラメータに重み付けを行って、重要なパラメータに着目した類似性を算出するようにすることもできる。
【０１０１】
また、検索子メモリ３２は、内蔵のメモリではなく、メモリカードなどの取り出し可能のものであってもよい。その場合には、複数個のメモリカードに、複数種の検索子を記憶して用意しておき、メモリカードを検索対象のオーディオ信号に合わせて交換することにより、希望する検索対象について、希望の検索子を用いた検索を容易に行うことができる。
【０１０２】
また、検索子とする音響信号の音源を用意し、その音源からの音響信号を予め入力端子１１から入力し、検索子メモリ３２に、検索子の音響信号として記憶格納するようにすることもできる。さらに、検索子メモリ３２に記憶することなく、検索子の音源からの音響信号を検索対象の音響信号とは別に入力し、バッファメモリにその検索子の音響信号を一時的に蓄えて、検索に用いるようにしてもよい。
【０１０３】
なお、検索子は、単一音源からの音響信号に限定されるものではなく、入力音響信号や再生音響信号から抽出された所定区間の音響信号であってもよいことはいうまでもない。
【０１０４】
なお、表示部には、画像を伴う音響信号の場合には、画像も一緒に表示することもできる。画像を併せて表示することで、検索を行った結果の分類の確認をすることができる。例えば、録画内容を音響信号を使用して検索、分類することも可能である。
【０１０５】
［第２の実施の形態］
図１１に、この第２の実施の形態の音響信号検索処理装置のブロック図を示す。第１の実施の形態は、登録検索子として、音響信号を格納するようにしたが、この第２の実施の形態では、登録検索子として、その音響特徴パラメータを検索子メモリ３２に格納するようにする。その他の構成は、図１の装置と全く同様であり、図１と同一部分については、同一符号を付してある。
【０１０６】
すなわち、この第２の実施の形態においては、スイッチ回路ＳＷ４の出力側には、検索子音響信号抽出部３５が設けられる。これは、図１の検索子音響信号抽出格納部３１のうちの、使用者の指示した検索子の音響信号部分を抽出する手段の部分に相当する。
【０１０７】
この検索子音響信号抽出部３５で抽出された検索子の音響信号は、検索子音響特徴パラメータ解析部３６で解析されて、音響特徴パラメータとされ、検索子音響特徴パラメータ格納部３７およびスイッチ回路ＳＷ５を通じて検索子メモリ３２に格納される。検索子音響特徴パラメータ格納部３７は、格納する対象情報が、検索子音響特徴パラメータに変わるだけで、図１の検索子音響信号抽出格納部３１のうちの、検索子として抽出した音響信号部分を検索子メモリ３２に格納する手段に相当し、前述と同様にして、各検索子（この実施の形態では、音響特徴パラメータ）を検索子メモリ３２の別々の検索子格納エリアに書き込む。
【０１０８】
検索子メモリ３２に格納された検索子の音響特徴パラメータは、キー操作部２０を通じた使用者の指示に基づいて生成されるコントロール部１０からの制御信号により、スイッチ回路ＳＷ６および検索子音響特徴パラメータ読出部３８によって読み出される。この第２の実施の形態の場合には、読み出されたものは音響特徴パラメータであるので、そのまま、類似性算出部２２に供給されて、検索のための類似性算出が実行される。
【０１０９】
この第２の実施の形態は、検索子メモリ３２に検索子音響特徴パラメータが格納される点が異なるのみで、検索子の登録動作や、検索子を用いた検索動作は、前述した第１の実施の形態と同様に行われるものである。したがって、この第２の実施の形態によれば、上述した第１の実施の形態の場合と同様の作用効果が得られる。また、上述した第１の実施の形態と同様の変形例が可能である。
【０１１０】
さらに、この第２の実施の形態では、検索子としては、その音響信号そのものではなく、検索子音響特徴パラメータを検索子メモリ３２に記憶するので、一つの検索子当たりの記憶容量が少なくて済み、格納して蓄積することができる検索子の数を多くすることが可能である。
【０１１１】
［第３の実施の形態］
この第３の実施の形態は、音響特徴パラメータとして、音響信号への再合成が可能なものを用いる場合である。音響特徴パラメータから音響信号への再合成が可能であることから、音響信号の記録も、音響特徴パラメータとして記録するようにする。そして、この第３の実施の形態では、第２の実施の形態と同様に、検索子は、その音響特徴パラメータを検索子メモリ３２に記憶格納しておくようにする。
【０１１２】
図１２は、この第３の実施の形態の音響信号検索処理装置のブロック図である。この図１２においても、前述の実施の形態の場合と同一部分には同一符号を付すことにする。この第３の実施の形態では、音響特徴パラメータとして、例えばボコーダのパラメータ等を用いる。
【０１１３】
図１２に示すように、この第３の実施の形態の場合には、入力端子１１を通じて入力音響信号は、音響特徴パラメータ解析部４１に供給されて、例えばボコーダ方式の音響特徴パラメータに解析される。そして、この音響特徴パラメータ解析部４１からの音響特徴パラメータが、スイッチ回路ＳＷ１を通じて音響特徴パラメータ記録部４２に供給され、コントロール部１０の制御の下、この音響特徴パラメータ記録部４２により、入力音響信号の音響特徴パラメータが記録媒体１３に記録される。
【０１１４】
そして、記録媒体１３に記録された入力音響信号の音響特徴パラメータは、コントロール部１０の制御の下、音響特徴パラメータ再生部４３により再生され、音響信号合成部４４に供給される。この音響信号合成部４４は、音響特徴パラメータから、元の音響信号を合成する。
【０１１５】
この音響信号合成部４４から得られた再生音響信号は、スイッチ回路ＳＷ２の入力端ＰＢ側を通じ、オーディオアンプ１５を通じてスピーカ１６に供給され、音響再生される。なお、入力端子１１からの入力音響信号がスイッチ回路ＳＷ２の入力端ＩＮ側およびオーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生されるのは、第１および第２の実施の形態の場合と同様である。
【０１１６】
そして、この第３の実施の形態では、音響特徴パラメータ解析部２１は設けられず、スイッチ回路ＳＷ３は、スイッチ回路ＳＷ１の出力端ａ側を通じて入力音響信号の音響特徴パラメータと、音響特徴パラメータ再生部４３からの再生音響特徴パラメータとのいずれかを、キー操作部２０を通じた使用者の指示に応じたコントロール部１０からの切り換え制御信号より選択して、類似性算出部２２に供給する。
【０１１７】
一方、検索子は、この第３の実施の形態では、第２の実施の形態と同様に、検索子音響特徴パラメータを検索子メモリ３２に格納する。このため、この第３の実施の形態の場合には、音響特徴パラメータ解析部４１からの音響特徴パラメータが、スイッチ回路ＳＷ１の出力端ｂ側を通じてスイッチ回路ＳＷ４の一方の入力端ｆに供給され、また、音響特徴パラメータ再生部４３からの再生音響パラメータがスイッチ回路ＳＷ４の他方の入力端ｅに供給される。
【０１１８】
そして、スイッチ回路ＳＷ４がコントロール部１０からの切り換え制御信号により、検索子の音響特徴パラメータを入力音響信号から抽出するか、再生音響信号から抽出するかに応じて、入力端ｅまたは入力端ｆのいずれかに切り換えられる。
【０１１９】
そして、このスイッチ回路ＳＷ４からの音響特徴パラメータが検索子音響特徴パラメータ抽出格納部４５に供給される。前述の第１の実施の形態の場合と同様にして、使用者は、スピーカからの入力音響信号または再生音響信号の音響再生出力を聴取しながら、検索子としたい音響信号部分になったときに、キー操作部２０の検索子指示キー（図示せず）を操作する。すると、検索子音響特徴パラメータ抽出格納部４５は、そのキー操作時点を含む予め定めた時間幅ＴＷの区間の音響信号の音響特徴パラメータを抽出し、検索子メモリ３２の検索子格納部に格納する。
【０１２０】
こうして、検索子メモリ３２には、入力音響信号あるいは再生音響信号のうちから抽出された検索子の音響信号の音響特徴パラメータが格納される。この検索子メモリ３２に格納された検索子音響特徴パラメータは、前述の第２の実施の形態と同様にして、使用者の指示に応じて、検索子音響特徴パラメータ読出部３８により読出されて、類似性算出部２２に供給される。
【０１２１】
検索子の登録動作と、検索動作は、前述の２つの実施の形態とほぼ同様であるので、その詳細は省略する。このように、この第３の実施の形態も、検索子メモリ３２に検索子音響特徴パラメータが格納される点が異なるのみで、検索子の登録動作や検索動作は、前述した第１の実施の形態や第２の実施の形態と同様に行われるものである。したがって、この第３の実施の形態の場合も、上述した第１の実施の形態の場合と同様の作用効果が得られ、また、上述した第１の実施の形態と同様の変形例が可能である。
【０１２２】
そして、この第３の実施の形態の場合には、特に、音響特徴パラメータを音響信号の代わりに記録媒体に記録するので、記録媒体の記録容量を有効に活用することができる。そして、第１の実施の形態や第２の実施の形態に比べて、音響特徴パラメータ解析部を、検索対象と検索子とで共通の一つとすることができて、構成を簡略化することができる。
【０１２３】
再合成可能な音響特徴パラメータとしての具体的な例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格の音響圧縮形式（ＭＰＥＧオーディオのレイヤＩ、レイヤII、レイヤIII ）データやＡＴＲＡＣ（Ａｄａｐｔｉｖｅ Ｔｒａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）形式のデータなどを用いる例も挙げられる。
【０１２４】
これらＭＰＥＧオーディオ規格やＡＴＲＡＣでは、人間の聴覚心理特性を効率良く利用するために、オーディオ帯域を複数個に細分化してサブバンド符号化を行なっている。例えばＭＰＥＧオーディオのレイヤＩでは、オーディオ信号の全帯域を等間隔の周波数幅で３２個のサブバンドに分割し、それぞれの信号を元のサンプリング周波数の１／３２でサブサンプリングして符号化する。
【０１２５】
そこで、ＭＰＥＧオーディオ規格の音響圧縮形式のデータやＡＴＲＡＣ形式のデータ（音響圧縮符号化データ）を検索対象とする場合には、そのサブバンドデータから、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行ない、その検出結果を検索子音響特徴パラメータとする。
【０１２６】
ＭＰＥＧオーディオ規格の音響圧縮形式のデータやＡＴＲＡＣ形式のデータを用いる方法を、図１２の例に適用するときは、入力端子１１からの入力音響信号がアナログ信号やリニアＰＣＭ信号の場合には、音響特徴パラメータ解析部４１では、前記ＭＰＥＧ規格の音響圧縮形式データやＡＴＲＡＣ形式のデータを生成する。そして、記録部４２は、その音響圧縮データを記録媒体１３に記録するようにする。
【０１２７】
そして、検索子音響特徴パラメータ抽出格納部４５では、音響特徴パラメータ解析部４１からの、あるいは再生部４３からの音響圧縮データからサブバンドのデータを生成し、そのサブバンドのデータについて、前述のように、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行ない、その検出結果を検索子音響特徴パラメータとして、検索子メモリ３２に書き込むようにする。
【０１２８】
そして、この場合、類似性算出部２２の前段には、図１や図１１の例と同様に、音響特徴パラメータ解析部を設け、スイッチＳＷ１からの、あるいは再生部４３からの音響圧縮データからサブバンドのデータを生成し、そのサブバンドのデータについて、前述のように、帯域レベル分布の算出、主要帯域周波数の算出、調波構造の検出、主要帯域周波数の時間推移の検出などを行なうようにする。この場合の音響特徴パラメータ解析部は、構成が簡単になる。そして、類似性算出部２２は、その解析により得た音響特徴パラメータと、検索子音響特徴パラメータ読出部３８からの検索子音響特徴パラメータとを比較して、類比判定を行なう。
【０１２９】
以上の入力端子１１からの入力音響信号がアナログ信号やリニアＰＣＭ信号の場合であるが、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４規格のインターフェースからのシリアルデジタルデータで入力された場合や、デジタル放送受信装置においてデジタル音響圧縮信号として得られる信号が入力される場合には、ＭＰＥＧ規格の音響圧縮形式データやＡＴＲＡＣ形式のデータがそのまま得られるので、図１２の音響特徴パラメータ解析部４１は不要となる。
【０１３０】
以上説明した音響圧縮信号を検索対象とする検索方法は、デジタルオーディオ圧縮形式データを復号化して、リニアＰＣＭオーディオ信号に戻してから音響特徴分析するよりも分析のための時間遅れが小さくなると共に、演算規模が小さくなる、という利点がある。
【０１３１】
［第４の実施の形態］
第３の実施の形態では、音響特徴パラメータを音響信号の代わりに記録媒体に記録するようにしたが、第４の実施の形態では、音響信号と、音響特徴パラメータとを、互いに付随的に記録媒体に記録するようにする。この第４の実施の形態の場合は、音響信号が音響特徴パラメータと共に記録されるので、音響特徴パラメータは、第３の実施の形態のように音響信号に再合成できるものに限定されない。
【０１３２】
そして、この第４の実施の形態においては、磁気ディスク、光磁気ディスク、光ディスク、メモリカードなどの記録媒体へは、音響信号に付随して音響特徴パラメータを記録するようにする。すなわち、音響信号と音響特徴パラメータとは、音響信号の記録単位区間（パック、パケット、セクタなどの区間）分ごとに記録媒体に記録するが、音響信号の記録単位区間分のデータと、対応する単位区間分の音響特徴パラメータは、隣接した記録エリア等、互いに対応がとれる形態で、つまり、リンクされた構造で記録される。
【０１３３】
図１３に、この第４の実施の形態の音響信号検索処理装置のブロック図を示す。この図１３において、前述の実施の形態の図１、図１１および図１２に示した各部と同一部分には同一符号を付して、その詳細な説明は省略する。
【０１３４】
すなわち、この第４の実施の形態では、オーディオ入力端子１１を通じた入力音響信号は、スイッチ回路ＳＷ７を通じて音響信号記録部１２に供給される。スイッチ回路ＳＷ７は、コントロール部１０からの切り換え制御信号により、記録時にオンとされる。そして、この第４の実施の形態では、音響信号記録部１２を通じた入力音響信号は、記録データ制御部５１に供給される。
【０１３５】
また、入力端子１１を通じた入力音響信号は、音響特徴パラメータ解析部４１に供給されて、音響特徴パラメータに解析される。この音響特徴パラメータ解析部４１からの音響特徴パラメータは、検索対象の入力音響信号の音響特徴パラメータとしてスイッチ回路ＳＷ３の入力端ｄに供給されると共に、入力音響信号から検索子の音響特徴パラメータを抽出するために、スイッチ回路ＳＷ４の入力端ｆに供給される。さらに、音響特徴パラメータ解析部４１からの音響特徴パラメータは、記録データ制御部５１に供給される。
【０１３６】
記録データ制御部５１は、コントロール部１０の制御を受けて、記録時には、予め定められている記録フォーマットで、音響信号と音響特徴パラメータとを対応付けて記録する。この例では、記録データ制御部５１は、記録時には、前述したように、音響信号を記録単位区間分ごとに、記録媒体１３に記録すると共に、対応する記録単位区間分の音響特徴パラメータを、記録媒体１３の、当該音響信号記録位置に隣接する位置に記録する。
【０１３７】
そして、上記のような記録フォーマットで記録媒体１３に記録された入力音響信号およびその音響特徴パラメータは、読み出しデータ制御部５２により、コントロール部１０の制御を受けて再生される。そして、読み出しデータ制御部５２で記録媒体１３から再生された音響信号は、音響信号再生部１４に供給され、スイッチ回路ＳＷ２の入力端ＰＢ側を通じ、オーディオアンプ１５を通じてスピーカ１６に供給されて、音響再生される。
【０１３８】
また、読み出しデータ制御部５２で記録媒体１３から再生された対応する音響特徴パラメータは、検索対象の再生音響信号の音響特徴パラメータとして、スイッチ回路ＳＷ３の入力端ｃに供給されると共に、再生音響信号から検索子の音響特徴パラメータを抽出するために、スイッチ回路ＳＷ４の入力端ｅに供給される。
【０１３９】
さらに、読み出しデータ制御部５２で記録媒体１３から再生された音響信号および音響特徴パラメータは、他の装置で音響信号についての検索を行うために、外部出力端子（図示せず）を通じて、外部へ転送可能とされている。したがって、検索を行う他の装置では、音響特徴パラメータを作成するために、音響特徴パラメータ解析部を備える必要はない。
【０１４０】
この第４の実施の形態は、入力音響信号と、その音響特徴パラメータとが、リンクさせた状態で、記録データ制御部５１により、記録媒体に記録され、また、互いにリンクされて、音響信号と、その音響特徴パラメータとが、読み出しデータ制御部５２により読み出されて再生される点が、前述の実施の形態と異なるが、音響特徴パラメータを用いて検索を行い、また、入力音響信号や再生音響信号について検索子音響特徴パラメータの抽出を行えるようにした点は、第３の実施の形態と同様である。
【０１４１】
したがって、この第４の実施の形態の場合も、上述した第１の実施の形態の場合と同様の作用効果が得られ、また、上述した第１の実施の形態と同様の変形例が可能である。
【０１４２】
そして、この第４の実施の形態の場合には、第３の実施の形態と同様に、第１の実施の形態や第２の実施の形態に比べて、音響特徴パラメータ解析部を、検索対象と検索子とで共通の一つとすることができて、構成を簡略化することができる。また、他の検索装置で検索を行う場合にも、当該他の検索装置に、音響特徴パラメータを供給することができるので、他の検索装置には、音響特徴パラメータ解析部は設ける必要がないという利点がある。
【０１４３】
なお、記録する音響信号と、対応する音響特徴パラメータとは、リンクして記録媒体に記録されていればよいので、上述の例のように必ずしも隣接して記録される必要はなく、記録媒体に、予め音響信号の記録エリアと音響特徴パラメータの記録エリアを別々に決めておき、それぞれの記録エリアの対応関係にある（リンクされている）アドレスに、対応する音響信号と音響特徴パラメータのそれぞれを記録するようにしてもよい。また、音響信号と音響特徴パラメータのリンク情報を別に記録して、そのリンク情報を用いて、両者を対応付けて、再生するようにしても勿論よい。
【０１４４】
［第５の実施の形態］
上述したように、この発明によれば、検索対象の音響信号について、音響特徴パラメータによって、検索子と類似性判定をすることにより、検索が可能であるので、検索対象の音響信号を記録しながら、指定した検索子についての検索を並行して行うことができる。したがって、記録終了時には、当該検索対象の音響信号についてのその検索子についての検索結果が得られる。そこで、記録媒体には、音響信号の記録領域と別個のエリアに、この検索結果を合わせて記録することも可能である。
【０１４５】
また、再生音響信号についての検索結果も、音響信号の記録領域と別個のエリアを記録媒体に用意することにより、後から記録媒体に記録することも可能である。
【０１４６】
第５の実施の形態においては、以上の点を考慮して、検索対象の音響信号と共に、その検索結果を記録するようにする。
【０１４７】
すなわち、この第５の実施の形態では、予め登録した検索子の一つあるいは複数個を用いて、記録する入力音響信号についての検索を、記録処理に並行して行う。
【０１４８】
例えば、記録媒体１３としては、磁気ディスク、光磁気ディスク、光ディスクなどのディスク媒体やメモリカードを用いる。その場合、記録時には、記録媒体上のアドレスを監視しながら、記録が行われる。この第５の実施の形態では、検索子による検索の結果、類似すると判定された音響信号部分が、記録媒体上のどのアドレス（記録位置）に記録されているかを、その検索子の識別情報に対応して記憶しておく。検索子の識別情報としては、例えば、この例では、スイッチ回路ＳＷ６の切り換え制御情報（検索子格納エリア、つまり検索子ナンバーに対応）を用いる。
【０１４９】
図１４は、この第５の実施の形態の場合において、記録終了後の、検索結果をテーブルとして表わしたものである。このテーブルは、記録媒体に記録された信号についての検索用インデックステーブルとなる。
【０１５０】
この図１４において、検索子名は、例えば、検索子の登録時に予め付与した名称であり、例えば、会議録音などの場合には、会議参加者名となる。区間データは、検索子と類似すると判定された区間を示すデータで、その区間の開始アドレスＳＴと、終了アドレスＥＤとで表わされる。また、ＡＤＲｉ（ｉは整数）は、記録媒体上のアドレス値をそれぞれ示すものである。
【０１５１】
この第５の実施の形態においては、この検索用インデックステーブルの情報を、記録媒体上の予め定めた記録エリアに、記録音響信号とは別個に記録するようにする。
【０１５２】
この第５の実施の形態の場合、この検索用インデックステーブルを用いることにより、例えば特定の検索子と類似する音響信号部分を抽出して再生（検索再生と称する）することが容易にできる。
【０１５３】
図１５は、その検索再生の際の処理ルーチンを示すものである。この処理ルーチンは、キー操作部を通じて、検索再生指示を行ったときに開始となる。
【０１５４】
まず、記録媒体から検索用インデックステーブルを作成するための検索用インデックスのデータが読出される（ステップＳ３０１）。コントロール部１０は、読み出したデータを基に、図１４に示したような検索用インデックステーブルを作成し、表示画面に表示する（ステップＳ３０２）。
【０１５５】
使用者は、表示された検索用インデックステーブルを見て、検索再生したい検索子をキー操作部を通じて入力する。そこで、使用者により指定された検索子を認識する（ステップＳ３０３）。そして、検索用インデックステーブルを参照し、その認識した検索子について、類似区間として判定された区間データを認識する（ステップＳ３０４）。そして、その認識した各区間データで示されるアドレス区間の音響信号を、記録媒体から順次読み出して、再生する（ステップＳ３０５）。
【０１５６】
こうして、この第５の実施の形態によれば、検索子に類似する音響信号部分のみを簡単に抽出して再生することができる。もっとも、この第５の実施の形態の場合にも、検索用インデックステーブルにない検索子を検索子メモリから指定して、検索を行うことも勿論可能である。
【０１５７】
なお、上述の第５の実施の形態の説明では、検索子の識別情報と検索子名とを検索用インデックステーブルに含めるようにしたが、検索子の音響信号を検索子名に替えて、あるいは併せて記録するようにしてもよい。そのようにすれば、検索子がどのような音響信号であったかを、それを音響再生することにより、容易に知ることができる。
【０１５８】
また、上述の説明では、検索結果を記録媒体に記録するようにしたが、コントロール部が管理するメモリに、記録媒体に対応させて、検索結果を記録するようにするようにしてもよい。
【０１５９】
［その他の実施の形態］
以上の実施の形態では、検索子は、予めメモリに登録したり、別個に用意するように説明したが、例えば、音響信号の記録中に、使用者が、その音響信号について検索子の音響信号部分を指定したとき、その指定後の音響信号については、指定した検索子を用いて検索を行うようにすることもできる。その場合には、予め検索子を登録しておく必要はない。
【０１６０】
また、検索子メモリに登録する検索子は、入力音響信号や再生音響信号から抽出する必要もない。例えば、検索子としたい音源を用意し、その音源からの音響信号を用いて、検索子を登録することもできる。
【０１６１】
また、検索子として登録する音響信号や音響特徴パラメータを、例えば、インターネットなどのネットワークを通じて取得して、検索子メモリに登録するようにすることもできる。
【０１６２】
また、例えば記録済み記録媒体を販売するときに、その記録媒体に、検索子の候補を予め一緒に記録するようにしてもよい。また、その記録媒体を販売するときに、検索子の候補を記録したメモリカードなどを付加して販売するようにしてもよい。
【０１６３】
［音響映像検索装置、音響映像蓄積装置の第１の実施の形態］
以上説明した実施の形態では、検索対象の入力信号は、音響信号単独の場合であったが、音響信号が、映像信号に関連するものとしてリンクされて、例えば記録再生される音響映像信号を、検索対象の入力信号とすることもできる。
【０１６４】
図１６および図１７は、ＭＰＥＧ２規格で圧縮された音響映像信号を記録再生する記録再生装置に、この実施の形態の音響映像検索装置および音響映像蓄積装置を適用した場合の構成例を示すブロック図である。
【０１６５】
この図１６、図１７の記録再生装置は、映像信号および音響信号を、ＭＰＥＧ２規格によって圧縮符号化し、多重化して、ＭＰＥＧシステムのトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として、ハードディスク装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内のハードディスクに記録し、ハードディスクから再生する場合である。
【０１６６】
なお、以下では、アナログ映像信号およびアナログ音響信号を、映像信号および音響信号と称し、デジタル映像信号およびデジタル音響信号は、デジタル映像データおよびデジタル音響データ、または単に映像データおよび音響データと称する。
【０１６７】
この例では、記録再生装置７０は、アナログテレビジョン放送を受信するアンテナ６１が接続され、アナログ入力端子７１Ｖ，７１Ａ，７１Ｓ、アナログ出力端子７２Ｖ，７２Ａ，７２Ｓ、デジタル入出力端子７３、デジタルインタフェース７４、入力処理部８０、出力処理部９０、マルチプレクサ／デマルチプレクサ１００、バッファコントローラ１１０、ハードディスク装置１２０、同期制御回路１３０、システムコントローラ１４０、音響検索処理部１５０、操作入力部１６０を備える。
【０１６８】
ハードディスク装置１２０は、この例では、３枚のハードディスク１２１，１２２，１２３を備え、そのいずれかにトランスポートストリームが記録され、いずれかからトランスポートストリームが再生されるように構成される。
【０１６９】
システムコントローラ１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４１を備え、そのシステムバス１４２にＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４３およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４４などが接続されて構成される。
【０１７０】
ＲＯＭ１４３には、ＣＰＵ１４１が実行すべきプログラムが、あらかじめ格納され、ＣＰＵ１４１は、そのプログラムを読み出して、記録再生装置７０の各部を制御する。ＲＡＭ１４４には、ＣＰＵ１４１が記録再生装置７０の各部を制御する上で必要な、その他のプログラムやデータが適宜、書き込まれる。
【０１７１】
操作入力部１６０は、キーボード、マウス、ボタン、スイッチ、リモートコマンダなどによって構成され、図示を省略した入出力インタフェースを介してシステムコントローラ１４０のシステムバス１４２に接続される。
【０１７２】
音響検索処理部１５０は、前述した第１の実施の形態から第５の実施の形態のうちのいずれかの機能を備えるものとして構成される部分である。特に、この実施の形態はＭＰＥＧ規格の圧縮符号化データが検索対象であるので、前述したように、第３の実施の形態の場合が好適である。
【０１７３】
ただし、この場合、記録媒体１３は、ハードディスク装置１２０のハードディスクを用いるようにされており、このため、記憶部１２または４２、再生部１４または４４などはバッファコントローラ１１０の部分により構成されるので、前述の各実施の形態の図のうち、主データとしての音響データの記録再生に関する部分を除く音響検索処理を行なう部分により、この音響検索処理部１５０が構成される。
【０１７４】
なお、検索子メモリ３２は、音響検索子処理部１５０内に設けることもできるし、ハードディスク装置１２０のハードディスクの一部の記憶エリアを用いることもできる。
【０１７５】
なお、デジタル音響圧縮データや、音響データと映像データとがリンクされて記録再生される音響映像データでは、検索や登録の該当区間を示すリンクされたアドレス情報として、フレーム番号やフィールド番号、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、パケット番号などが用いられる。
【０１７６】
（アナログ入力処理および記録）
アンテナ６１で受信されたアナログテレビジョン放送の信号は、操作入力部１６０での操作に基づくシステムコントローラ１４０の指示によって、チューナ８１で選局されて、チューナ８１から、選択されたチャンネルのコンポジット映像信号および音響信号が得られ、そのコンポジット映像信号および音響信号が、入力切換回路８２の一方の入力端に供給される。
【０１７７】
入力端子７１Ｖには、外部機器からコンポジット映像信号が、入力端子７１Ａには、外部機器から音響信号が、入力端子７１Ｓには、外部機器からセパレート映像信号（輝度信号と色差信号とに分離されたもの）が、それぞれ供給される。
【０１７８】
入力端子７１Ｖからのコンポジット映像信号、および入力端子７１Ａからの音響信号は、入力切換回路８２の他方の入力端に供給され、入力切換回路８２がシステムコントローラ１４０によって切り換えられて、入力切換回路８２から、いずれかのコンポジット映像信号および音響信号が選択されて取り出される。
【０１７９】
入力切換回路８２からのコンポジット映像信号は、ＹＣ分離回路８３で輝度信号と色差信号に分離されて、別の入力切換回路８４の一方の入力端に供給される。また、入力端子７１Ｓからのセパレート映像信号（輝度信号および色差信号）が、入力切換回路８４の他方の入力端に供給され、入力切換回路８４がシステムコントローラ１４０によって切り換えられて、入力切換回路８４から、いずれかの輝度信号および色差信号が選択されて取り出される。
【０１８０】
入力切換回路８４からの輝度信号および色差信号は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）デコーダ８５で、それぞれＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換され、さらにクロマエンコード処理されて、ＮＴＳＣデコーダ８５からコンポーネント映像データが得られる。
【０１８１】
また、ＮＴＳＣデコーダ８５では、入力切換回路８４からの輝度信号から垂直同期信号および水平同期信号が分離されるとともに、その分離された同期信号に基づいてクロックおよびフィールド判別信号が生成され、これら同期信号、クロックおよびフィールド判別信号が、同期制御回路１３０に供給される。同期制御回路１３０では、これらの信号を基準として記録再生装置７０の各部に必要なクロックおよびタイミング信号が生成されて、記録再生装置７０の各部に供給される。
【０１８２】
ＮＴＳＣデコーダ８５からの映像データは、プリ映像処理回路８６でプリフィルタリング処理などの処理が施されたのち、ＭＰＥＧ映像エンコーダ８７および出力処理部９０のポスト映像処理回路９２に供給される。
【０１８３】
ＭＰＥＧ映像エンコーダ８７では、プリ映像処理回路８６からの映像データに対してブロックＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの符号化処理が施されて、映像エレメンタリストリーム（ＥＳ：Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が生成され、その映像エレメンタリストリームがマルチプレクサ／デマルチプレクサ１００に供給される。
【０１８４】
一方、入力切換回路８２からの音響信号は、Ａ／Ｄ変換器８８でデジタル音響データに変換されたのち、ＭＰＥＧ音声エンコーダ８９および出力処理部９０の出力切換回路９５に供給される。
【０１８５】
ＭＰＥＧ音声エンコーダ８９では、Ａ／Ｄ変換器８８からの音響データがＭＰＥＧ方式によって圧縮符号化されて、音声エレメンタリストリームが生成され、その音声エレメンタリストリームがマルチプレクサ／デマルチプレクサ１００に供給される。
【０１８６】
マルチプレクサ／デマルチプレクサ１００では、そのマルチプレクサにおいて、ＭＰＥＧ映像エンコーダ８７からの映像エレメンタリストリームおよびＭＰＥＧ音声エンコーダ８９からの音声エレメンタリストリームと各種の制御信号が多重化されて、ＭＰＥＧシステムのトランスポートストリームが生成され、そのトランスポートストリームがバッファコントローラ１１０に送出される。
【０１８７】
バッファコントローラ１１０は、マルチプレクサ／デマルチプレクサ１００から連続的に入力されるトランスポートストリームを、ハードディスク装置１２０に断続的に送出する。すなわち、ハードディスク装置１２０がシーク動作を行っているときには、書き込みができないので、入力されたトランスポートストリームをバッファに一時蓄え、ハードディスク装置１２０が書き込み可能なときに、そのトランスポートストリームを入力レートより高いレートでバッファから読み出してハードディスク装置１２０に送出する。これによって、バッファコントローラ１１０に連続的に入力されるトランスポートストリームは、途切れることなくハードディスク１２１〜１２３に記録される。
【０１８８】
ハードディスク装置１２０は、システムコントローラ１４０によって制御されて、ハードディスク１２１〜１２３にトランスポートストリームを書き込む。バッファコントローラ１１０とハードディスク装置１２０との間のプロトコル（インタフェース）としては、ＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）などが用いられる。
【０１８９】
（再生およびアナログ出力処理）
再生時には、ハードディスク装置１２０は、システムコントローラ１４０によって制御されて、ハードディスク１２１〜１２３からトランスポートストリームを読み出し、バッファコントローラ１１０に送出する。バッファコントローラ１１０は、記録時とは逆に、ハードディスク装置１２０から断続的に入力されるトランスポートストリームを、連続的なトランスポートストリームに変換して、マルチプレクサ／デマルチプレクサ１００に供給する。
【０１９０】
マルチプレクサ／デマルチプレクサ１００では、そのデマルチプレクサにおいて、その連続的なトランスポートストリームのヘッダが解析処理されることによって、トランスポートストリームからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が分離されて、ＭＰＥＧ映像音声デコーダ９１に供給される。
【０１９１】
ＭＰＥＧ映像音声デコーダ９１では、マルチプレクサ／デマルチプレクサ１００からのＰＥＳが映像エレメンタリストリームと音声エレメンタリストリームに分離され、さらに、その映像エレメンタリストリームがＭＰＥＧ映像デコーダで復号されてベースバンドの映像データに変換され、音声エレメンタリストリームがＭＰＥＧ音声デコーダで復号されてベースバンドの音響データに変換される。変換後の映像データはポスト映像処理回路９２に供給され、音響データは出力切換回路９５に供給される。
【０１９２】
ポスト映像処理回路９２では、システムコントローラ１４０の指示によって、ＭＰＥＧ映像音声デコーダ９１からの映像データおよびプリ映像処理回路８６からの映像データに対して、両者の切り換え、または合成や、ポストフィルタリング処理などの処理が施される。
【０１９３】
ポスト映像処理回路９２では、また、ＧＵＩ（Ｇｒａｐｈｉｃａｌ ＵｓｅｒＩｎｔｅｒｆａｃｅ）用に、代表画面（静止画）を生成し、複数の代表画面を縮小して、ウィンドウに貼り付ける縮小静止画表示処理が施され、処理後の映像データが、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）処理回路９３に供給される。
【０１９４】
代表画面としては、例えば番組タイトルの中から特徴的な１場面や、番組の中の見たい場面を素早くアクセスできるようにするための、その番組のインデックスポイント（ワンシーン）の画面等がある。
【０１９５】
ＯＳＤ処理回路９３では、システムコントローラ１４０の指示によって、テキスト情報などに対応する画像データを生成して、ポスト映像処理回路９２からの映像データの、上記のウィンドウ部分の映像データに重畳する処理が施され、処理後の映像データが、ＮＴＳＣエンコーダ３４に供給される。縮小静止画表示された複数の代表画面の例を、図１８に示す。この図１８の例では、１６枚の縮小静止画２００がウインドウに貼り付けられて表示される。
【０１９６】
ＮＴＳＣエンコーダ９４では、ＯＳＤ処理回路９３からの映像データ（コンポーネント映像データ）が、輝度データと色差データとに変換された上で、または変換されることなくそのまま、それぞれＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換されて、それぞれアナログ信号のセパレート映像信号およびコンポジット映像信号が生成される。そのセパレート映像信号は出力端子７２Ｓに導出され、コンポジット映像信号は出力端子７２Ｖに導出される。
【０１９７】
一方、出力切換回路９５では、システムコントローラ１４０によって、ＭＰＥＧ映像音声デコーダ９１からの音響データと、Ａ／Ｄ変換器８８からの音響データとの、いずれかが選択されて取り出される。その選択された音響データは、Ｄ／Ａ変換器３６でアナログ音響信号に変換されて、出力端子７２Ａに導出される。
【０１９８】
出力端子７２Ｓに導出されたセパレート映像信号、出力端子７２Ｖに導出されたコンポジット映像信号、および出力端子７２Ａに導出された音響信号が、外部のテレビジョン受信機などのモニタ装置２に出力されることによって、モニタ装置２において、画像が表示され、音声が出力される。
【０１９９】
（外部装置からの映像音響データの記録再生）
この例では、記録再生装置７０は、デジタル入出力端子７３とマルチプレクサ／デマルチプレクサ１００との間にデジタルインタフェース７４が接続されて、デジタル入出力端子７３に外部装置６３を接続することによって、外部装置６３から入力されたトランスポートストリームをハードディスク１２１〜１２３に記録し、ハードディスク１２１〜１２３から再生されたトランスポートストリームを外部装置６３に出力することができるように構成される。
【０２００】
外部装置６３としては、ＩＲＤ（Ｉｎｔｅｇｒａｔｅｄ Ｒｅｃｅｉｖｅｒ Ｄｅｃｏｄｅｒ）やパーソナルコンピュータなどの機器を接続することができる。デジタルインタフェース７４としては、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆＥｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４デジタルインタフェースが用いられ、外部装置６３とデジタル入出力端子７３とを接続するシリアルバス６４としては、ＩＥＥＥ１３９４シリアルバスが用いられる。
【０２０１】
外部装置６３からシリアルバス６４を介してデジタル入出力端子７３に入力されたトランスポートストリームは、デジタルインタフェース７４でインタフェース処理されてマルチプレクサ／デマルチプレクサ１００に送出され、マルチプレクサ／デマルチプレクサ１００からバッファコントローラ１１０に送出されて、ハードディスク装置１２０によってハードディスク１２１〜１２３に記録される。
【０２０２】
これと同時に、マルチプレクサ／デマルチプレクサ１００のデマルチプレクサで、記録されるトランスポートストリームからＰＥＳが分離されて、ＭＰＥＧ映像音声デコーダ９１に供給されることによって、出力端子７２Ｖ，７２Ｓおよび７２Ａに、アナログ映像信号およびアナログ音響信号を得ることができる。
【０２０３】
再生時には、ハードディスク装置１２０によってハードディスク１２１〜１２３からトランスポートストリームが読み出されて、その再生されたトランスポートストリームが、バッファコントローラ１１０に送出され、バッファコントローラ１１０からマルチプレクサ／デマルチプレクサ１００に送出されて、デジタルインタフェース７４でインタフェース処理されてデジタル入出力端子７３に出力され、デジタル入出力端子７３からシリアルバス６４を介して外部装置６３に送出されて、外部装置６３に接続されたモニタ装置７において、画像が表示され、音声が出力される。
【０２０４】
これと同時に、マルチプレクサ／デマルチプレクサ１００のデマルチプレクサで、再生されたトランスポートストリームからＰＥＳが分離されて、ＭＰＥＧ映像音声デコーダ９１に供給されることによって、出力端子７２Ｖ，７２Ｓおよび７２Ａに、再生アナログ映像信号および再生アナログ音響信号を得ることができる。
【０２０５】
（音響検索処理）
前述したように、音響検索処理部１５０により、前述した第１の実施の形態〜第５の実施の形態と同様にして、音響検索することができる。この場合に、特定の検索子音響パラメータを指定して検索された部分の音響信号だけでなく、その検索された音響信号部分に対応する映像信号部分を、両者のリンク関係から、検索結果として抽出することができる。例えば、音楽番組の場合には、音楽が流れているシーン部分のみを検索して抽出することができる。
【０２０６】
この場合、検索対象の音響信号は、ハードディスク装置１２０に記録された音響データだけではなく、受信したあるいは入力された音響データであっても良いことは、前述した通りである。この場合に、この実施の形態の場合には、複数の入力音響データが存在するので、ある入力音響映像信号による画像と音声とをモニタ装置６２で視聴しているときに、他の入力音響映像信号中の音響信号について、検索を行ない、その検索結果の画像部分を、例えば子画面（子画面は検索されたときにのみ表示しても良いし、常時表示しておいても良い）として、視聴している親画面の一部に表示するようにすることもできる。この機能は、例えば、お気に入りの俳優の声紋などを検索子音響パラメータとして用い、その俳優がでてくるシーンを子画面に表示するなどの使い方ができる。
【０２０７】
また、図１８に示した縮小静止画２００のそれぞれに対応して、検索子音響特徴パラメータを登録しておき、使用者が検索子として縮小静止画２００のいずれかを指示したとき、その指示された縮小静止画２００に対応する検索子音響特徴パラメータを用いた音響検索動作を行なうようにすることもできる。
【０２０８】
例えば、縮小静止画には、特定の人物が表示されており、その人物の声紋などを検索子音響特徴パラメータとして検索子メモリに記憶しておき、その人物の縮小静止画が検索子として指定されたときに、音響検索処理を行なって、当該人物が登場して声を出しているシーンを抽出することができる。このように、縮小静止画に対応して、検索音響特徴パラメータを登録しておくことにより、縮小静止画を検索のためのインデックスとして使用することができる。
【０２０９】
また、逆に、特定の検索子音響特徴パラメータを指定することにより、その検索子音響特徴パラメータで検索されたシーンを、縮小静止画表示に使用する縮小静止画として登録するようにすることもできる。例えば、人物は映出されていないが、特定の人物の声紋などの音響的特徴を含むシーンを、前記縮小静止画として登録することができる。
【０２１０】
なお、検索子音響信号や検索子音響特徴パラメータを放送信号にデータとして重畳して提供するようにすることもできる。使用者は、提供された検索子の中から所望のものを選択して検索に利用したり、また、その提供されたものの中から必要な検索子音響信号や検索子音響特徴パラメータを検索子メモリ３２に登録して保存するようにすることもできる。
【０２１１】
［音響映像検索装置、音響映像蓄積装置の第２の実施の形態］
上述の第１の実施の形態では、音響信号についてのみ検索子を用いて検索を行なうようにしたが、この第２の実施の形態では、映像信号についても、同様にして検索を行なうようにする。
【０２１２】
すなわち、この第２の実施の形態では、映像信号の検索のために、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータを登録しておくようにする。この検索子映像特徴パラメータとして抽出する映像の特徴量としては、例えば、輝度とその変化、色合いとその変化、人物、物体などの映っているものとその変化などを用いることができる。
【０２１３】
この検索子映像特徴パラメータも、前述の検索子音響特徴パラメータと同様に、入力音響映像信号のうちから、使用者が指定した区間の映像信号を解析することにより得ることができるし、別途、検索子とする映像部分からなる映像信号を入力して、それを解析して得ることもできる。また、パーソナルコンピュータなどで予め解析して得られた検索子を、装置に登録するようにすることも、勿論できる。
【０２１４】
そして、検索対象の映像信号を解析して得た映像特徴パラメータと、検索子映像特徴パラメータとを比較し、両者の類似性を算出することにより、検索対象の映像信号中から検索子の画像と類似する画像部分を検索するようにする。そして、音響信号についての検索結果と、前記映像信号についての検索結果とに基づいて、入力音響映像信号中から所定の部分を検索するようにする。
【０２１５】
この場合に、検索子映像特徴パラメータと、検索子音響特徴パラメータとは、それぞれ別々の検索子として登録して別々に用いるようにしても良いし、互いに関連付けて登録して用いるようにしても良い。例えば、ある人物の映像の検索子映像特徴パラメータと、その人物の声紋などの検索子音響特徴パラメータとは互いに関連付けて登録しておくと良い。
【０２１６】
この第２の実施の形態においては、検索に当たっては、検索子映像特徴パラメータと、検索子音響特徴パラメータとの両方をそれぞれ個別に指定して検索を行なうことができる。また、前記の互いに関連付けられている検索子映像特徴パラメータおよび検索子音響特徴パラメータを用いるように検索子の指定をすることもできる。
【０２１７】
検索子音響特徴パラメータと検索子映像特徴パラメータの両者を用いた検索の方法としては、それぞれのパラメータのいずれかにより検索された類似部分の全てを検索結果として出力する方法、両パラメータで検索された類似部分のうち、互いに一部あるいは全部が重なり合う部分を検索結果として出力する方法などを指定することができる。
【０２１８】
このときの検索結果は、検索された部分を、アドレス情報などで表示しても良いし、また、映像部分については、検索された部分の先頭のシーンを前記の縮小静止画にして表示するようにしてもよい。また、前述の音響検索処理の各実施の形態と同様に、検索結果の信号部分を順次に再生するようにすることもできる。さらに、検索結果と、検索子とを関連させてメモリに記憶しておき、検索子を頼りに、後の時点で読出して再生するようにすることもできる。
【０２１９】
この第２の実施の形態によれば、映像特徴量を使用してシーン区間の検出することと、音響特徴量を使用してシーン区間を検出することとを併用することにより、検索結果のシーン区間を意味あるものとすることができる。例えば、映像的にはシーンが代わっていても、ナレーションなど音響的には続いているシーンを、映像の変化点で区切られることなく、検出することができる。
【０２２０】
また、前述の縮小静止画表示用の、縮小静止画として、検索子映像特徴パラメータと検索子音響特徴パラメータとにより検索された類似部分の重なり部分を抽出するようにすることにより、映像的だけでなく音響的にも意味のある縮小静止画を抽出して表示することができる。
【０２２１】
【発明の効果】
以上説明したように、この発明によれば、検索対象の音響信号と、操作部を通じた使用者の操作に応じて当該検索対象の音響信号から抽出した検索子としての音響信号とを、それぞれ音響特徴パラメータに解析し、その音響特徴パラメータについて比較して、類比判定することにより検索を行うようにしたことにより、検索対象の音響信号の記録時にマーカーなどを打ち込んでおかなくても、例えば、特定の話者の発言部分や、特定の楽器の演奏部分を、簡単に検索することができる。
【０２２２】
また、予め検索子を登録しておくことにより、その登録したものから選択した検索子についての検索子を容易に行うことができる。
【０２２３】
また、マーカーを施す場合のように、一旦記録しなければ検索ができないのではなく、予め用意した検索子についての検索を、検索対象の音響信号について行うことが可能である。
【０２２４】
また、音響映像信号からの任意のシーンの検索を行なう場合に、音響特徴パラメータと映像特徴パラメータとを用いてシーンの検索を行なうようにすれば、検索の精度を上げることができ、また、音響的にも映像的にも区切りのよいシーン検索ができるようになる。
【図面の簡単な説明】
【図１】この発明による音響検索処理装置の第１の実施の形態のブロック図である。
【図２】男性音声の音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図３】女性音声の音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図４】サキソホンの音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図５】ベースギターの音響的特徴を示すための周波数成分分布および時間波形を示す図である。
【図６】第１の実施の形態における検索子の登録処理動作を説明するためのフローチャートである。
【図７】第１の実施の形態における検索処理動作を説明するためのフローチャートである。
【図８】第１の実施の形態における検索処理結果の表示例を示す図である。
【図９】第１の実施の形態における検索処理結果の表示例の他の例を示す図である。
【図１０】第１の実施の形態における検索処理結果の表示例の他の例を示す図である。
【図１１】この発明による音響検索処理装置の第２の実施の形態のブロック図である。
【図１２】この発明による音響検索処理装置の第３の実施の形態のブロック図である。
【図１３】この発明による音響検索処理装置の第４の実施の形態のブロック図である。
【図１４】この発明による音響検索処理装置の第５の実施の形態の要部の説明に用いる図である。
【図１５】この発明による音響検索処理装置の第５の実施の形態の要部の説明に用いる図である。
【図１６】この発明による音響映像検索処理装置の第１の実施の形態のブロック図の一部である。
【図１７】この発明による音響映像検索処理装置の第１の実施の形態のブロック図の一部である。
【図１８】この発明による音響映像検索処理装置の第１の実施の形態の説明に用いる図である。
【符号の説明】
１０…コントロール部、１１…入力音響信号の入力端子、１２…音響信号記録部、１３…記録媒体、１４…音響信号再生部、１５…オーディオアンプ、１６…スピーカ、２０…キー操作部、２１…音響特徴パラメータ解析部、２２…類似性算出部、２３…表示制御部、２４…表示部、３１…検索子音響信号抽出格納部、３２…検索子メモリ、３３…検索子音響信号読出部、３４…検索子音響特徴パラメータ解析部、３５…検索子音響信号抽出部、３６…検索子音響特徴パラメータ解析部、３７…検索子音響特徴パラメータ格納部、３８…検索子音響特徴パラメータ読出部、４１…音響特徴パラメータ解析部、４２…音響特徴パラメータ記録部、４３…音響特徴パラメータ再生部、４４…音響信号合成部、４５…検索子音響特徴パラメータ抽出格納部、５１…記録データ制御部、５２…読み出しデータ制御部
Claims (35)
- 抽出手段が、検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索する
音響検索処理方法。 - 格納手段が、前記抽出手段により抽出された前記検索子とする音響信号を保持手段に格納し、
読み出し手段が、前記保持手段から選択された前記検索子とする音響信号を読み出し、前記音響特徴パラメータ解析手段に供給する
請求項１に記載の音響検索処理方法。 - 格納手段が、前記解析手段により解析された前記検索子音響特徴パラメータを保持手段に格納し、
読み出し手段が、前記保持手段から選択された前記検索子音響特徴パラメータを読み出し、前記検索手段に供給する
請求項１に記載の音響検索処理方法。 - 前記検索手段は、前記検索子とする音響信号が複数個である場合には、予め設定された単位時間ごとに、検索子とする音響信号を切り換えて、前記類似性の算出を行なう
請求項１〜請求項３のいずれかに記載の音響検索処理方法。 - 結果表示手段が、前記検索子とする音響信号毎の検索結果を、前記検索対象とする音響信号について、時間方向に表示する
請求項１〜請求項４のいずれかに記載の音響検索処理方法。 - 再生手段が、前記検索対象とする音響信号のうち、前記検索の結果、前記検索子とする音響信号と類似する部分のみを抽出して再生する
請求項１〜請求項４のいずれかに記載の音響検索処理方法。 - 抽出手段が、検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索し、
記録手段が、前記検索対象とする音響信号を記録媒体に記録し、さらに、前記検索手段による検索結果を、前記検索対象とする音響信号の前記記録媒体上の記録位置に関連させて記録する
音響情報蓄積方法。 - 前記記録手段は、前記検索手段による検索結果を、前記検索対象とする音響信号とともに、前記記録媒体に記録する
請求項７に記載の音響情報蓄積方法。 - 格納手段が、前記解析手段により解析された前記検索子音響特徴パラメータのそれぞれを、バッファメモリの異なるメモリエリアに記憶し、
読み出し手段が、前記バッファメモリから、前記検索子音響特徴パラメータのそれぞれを読み出し、
前記検索手段は、前記読み出し手段により読み出された検索子音響特徴パラメータを用いて前記検索対象とする音響信号についての前記類似性の算出処理による前記類似する部分の検索処理を行なう
請求項７又は請求項８に記載の音響情報蓄積方法。 - 格納手段が、前記抽出手段により抽出された前記検索子とする音響信号のそれぞれを、バッファメモリの異なるメモリエリアに記憶し、
読み出し手段が、前記バッファメモリから、前記検索子とする音響信号のそれぞれを読み出し、
前記音響特徴パラメータ解析手段は、前記読み出し手段により読み出された前記検索子とする音響信号についての前記検索子音響特徴パラメータを解析し、
前記検索手段は、前記解析手段により解析された前記検索子音響特徴パラメータを用いて前記検索対象とする音響信号についての前記類似性の算出処理による前記類似する部分の検索処理を行なう
請求項７又は請求項８に記載の音響情報蓄積方法。 - 前記記録手段は、前記検索手段による検索結果とともに、前記検索子音響特徴パラメータあるいは前記検索子とする音響信号も、前記記録媒体に記録する
請求項７〜請求項１０に記載の音響情報蓄積方法。 - 検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索手段の結果を表示する結果表示手段と、
を備える音響情報検索装置。 - 検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索手段での検索結果に基づいて、前記類似する部分のみを抽出して再生する再生手段と、
を備える音響情報検索装置。 - 前記結果表示手段は、
前記検索手段で検索された前記類似する部分を、前記検索対象とする音響信号の時間の流れに応じて表示する
請求項１２に記載の音響情報検索装置。 - 前記抽出手段により抽出された前記検索子とする音響信号を保持手段に格納する格納手段と、
前記保持手段から選択された前記検索子とする音響信号を読み出し、前記音響特徴パラメータ解析手段に供給する読み出し手段と
を備える請求項１２または請求項１３に記載の音響情報検索装置。 - 前記解析手段により解析された前記検索子音響特徴パラメータを保持手段に格納する格納手段と、
前記保持手段から選択された前記検索子音響特徴パラメータを読み出し、前記検索手段に供給する読み出し手段と
を備える請求項１２または請求項１３に記載の音響情報検索装置。 - 前記検索手段は、
前記検索子とする音響信号が複数個である場合には、予め設定された単位時間ごとに、検索子とする音響信号を切り換えて、前記類似性の算出を行なう
請求項１２または請求項１３に記載の音響情報検索装置。 - 検索対象とする音響信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索対象とする音響信号を記録媒体に記録し、さらに、前記検索手段による検索結果を、前記検索対象とする音響信号の前記記録媒体上の記録位置に関連させて記録する記録手段と
を備える音響情報蓄積装置。 - 前記記録手段は、
前記検索手段による検索結果を、前記検索対象とする音響信号とともに、前記記録媒体に記録する
請求項１８に記載の音響情報蓄積装置。 - 前記解析手段により解析された前記検索子音響特徴パラメータを保持手段に格納する格納手段と、
前記保持手段から選択された前記検索子音響特徴パラメータを読み出し、前記検索手段に供給する読み出し手段と
を備える請求項１８または請求項１９に記載の音響情報検索装置。 - 前記抽出手段により抽出された前記検索子とする音響信号を保持手段に格納する格納手段と、
前記保持手段から選択された前記検索子とする音響信号を読み出し、前記音響特徴パラメータ解析手段に供給する読み出し手段と
を備える請求項１８または請求項１９に記載の音響情報検索装置。 - 前記検索手段は、
前記検索子とする音響信号が複数個である場合には、予め設定された単位時間ごとに、検索子とする音響信号を切り換えて、前記類似性の算出を行なう
請求項１８または請求項１９に記載の音響情報検索装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号から、所定の部分を検索する音響映像検索処理方法において、
抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する
音響映像検索処理方法。 - 結果表示手段が、前記検索手段で検索された部分の映像信号による画像を表示する
請求項２３に記載の音響映像検索処理方法。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号から、所定の部分を検索する音響映像検索処理方法において、
抽出手段が、検索対象とする前記入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする前記入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする前記入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
音響部分検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする前記入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索すると共に、
映像部分検索手段が、検索子とする１〜複数の映像信号についての、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、検索対象とする前記入力信号中の映像信号を解析して得た前記映像特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする前記入力信号中の映像信号中から前記検索子の画像と類似する画像部分を検索し、前記音響信号についての検索結果と、前記映像信号についての検索結果とに基づいて、前記入力信号中から所定の部分を検索する
音響映像検索処理方法。 - 登録手段が、前記検索子音響特徴パラメータと前記検索子映像特徴パラメータとを、互いに関連付けてメモリに登録する
請求項２５に記載の音響映像検索処理方法。 - 抽出手段が、映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索し、
記録手段が、前記検索対象とする入力信号を記録媒体に記録し、さらに前記検索手段による検索結果を、前記検索対象とする入力信号の前記記録媒体上の記録位置とに関連させて記録する
音響映像情報蓄積方法。 - 抽出手段が、映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出し、
音響特徴パラメータ解析手段が、前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析し、
音響部分検索手段が、前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索し、さらに、
映像部分検索手段が、検索子とする１〜複数の映像信号についての、画像の特徴を表す映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、前記検索対象とする入力信号中の映像信号を解析して得た前記映像特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の映像信号中から前記検索子の画像と類似する画像部分を検索し、
記録手段が、前記検索対象とする入力信号を記録媒体に記録し、さらに前記音響部分検索手段及び前記映像部分検索手段による検索結果を、前記検索対象とする入力信号の前記記録媒体上の記録位置とに関連させて記録する
音響映像情報蓄積方法。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索手段の結果を表示する結果表示手段と、
を備える音響映像情報検索装置。 - 前記結果表示手段は、
前記検索手段で検索された部分の映像信号による画像を表示する
請求項２９に記載の音響映像情報検索装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索手段での検索結果に基づいて、前記類似する部分に対応する前記入力信号部分を抽出して再生する再生手段と、
を備える音響映像情報検索装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する音響部分検索手段と、
前記検索対象とする入力信号中の映像信号を、画像の特徴を表す映像特徴パラメータに解析する映像特徴パラメータ解析手段と、
検索子とする１〜複数の映像信号についての前記映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、前記映像特徴パラメータ解析手段からの前記検索対象とする入力信号中の映像信号の映像特徴パラメータとを比較して、前記検索対象とする入力信号中の映像信号中から前記検索子とする映像信号と類似する部分を検索する映像部分検索手段と、
前記音響部分検索手段および前記映像部分検索手段の結果を表示する結果表示手段と
を備える音響映像情報検索装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する音響部分検索手段と、
前記検索対象とする入力信号中の映像信号を、画像の特徴を表す映像特徴パラメータに解析する映像特徴パラメータ解析手段と、
検索子とする１〜複数の映像信号についての前記映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、前記映像特徴パラメータ解析手段からの前記検索対象とする入力信号中の映像信号の映像特徴パラメータとを比較して、前記検索対象とする入力信号中の映像信号中から前記検索子とする映像信号と類似する部分を検索する映像部分検索手段と、
前記音響部分検索手段および前記映像部分検索手段での検索結果に基づいて決定される前記入力信号部分を抽出して再生する再生手段と
を備える音響映像情報検索装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する検索手段と、
前記検索対象とする入力信号を記録媒体に記録し、さらに前記検索手段による検索結果を、前記検索対象とする入力信号の前記記録媒体上の記録位置とに関連させて記録する記録手段と
を備える音響映像情報蓄積装置。 - 映像信号と、その映像信号に関連する音響信号とからなる入力信号である検索対象とする入力信号が入力されると、操作部を通じた使用者の操作に応じた制御信号に基づいて、前記検索対象とする入力信号中の音響信号の１〜複数の部分を検索子とする音響信号として抽出する抽出手段と、
前記検索子とする音響信号及び前記検索対象とする入力信号中の音響信号についての、発音体の構造や共振系の違いなどの構造的な要素に依存するパラメータやピッチ周波数の時間的変動から得られる音声の抑揚パラメータなど音響信号の特徴を表す音響特徴パラメータを解析する音響特徴パラメータ解析手段と、
前記検索子とする音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータからなる検索子音響特徴パラメータと、前記検索対象とする入力信号中の音響信号について前記音響特徴パラメータ解析手段により解析された前記音響特徴パラメータとを比較し、両者の類似性を算出することにより、前記検索対象とする入力信号中の音響信号の中から前記検索子とする音響信号と類似する部分を検索する音響部分検索手段と、
前記検索対象とする入力信号中の映像信号を、画像の特徴を表す映像特徴パラメータに解析する映像特徴パラメータ解析手段と、
検索子とする１〜複数の映像信号についての前記映像特徴パラメータからなる検索子映像特徴パラメータのそれぞれと、前記映像特徴パラメータ解析手段からの前記検索対象とする入力信号中の映像信号の映像特徴パラメータとを比較して、前記検索対象とする入力信号中の映像信号中から前記検索子とする映像信号と類似する部分を検索する映像部分検索手段と、
前記検索対象とする入力信号を記録媒体に記録し、さらに前記音響部分検索手段及び前記映像部分検索手段による検索結果を、前記検索対象とする入力信号の前記記録媒体上の記録位置とに関連させて記録する記録手段と
を備える音響映像情報蓄積装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247233A JP4491700B2 (ja) | 1999-08-26 | 2000-08-17 | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23914599 | 1999-08-26 | ||
| JP11-239145 | 1999-08-26 | ||
| JP2000247233A JP4491700B2 (ja) | 1999-08-26 | 2000-08-17 | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001134613A JP2001134613A (ja) | 2001-05-18 |
| JP4491700B2 true JP4491700B2 (ja) | 2010-06-30 |
Family
ID=26534100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000247233A Expired - Fee Related JP4491700B2 (ja) | 1999-08-26 | 2000-08-17 | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4491700B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4734771B2 (ja) * | 2001-06-12 | 2011-07-27 | ソニー株式会社 | 情報抽出装置及び方法 |
| JP4696418B2 (ja) * | 2001-07-25 | 2011-06-08 | ソニー株式会社 | 情報検出装置及び方法 |
| JP2003037794A (ja) * | 2001-07-26 | 2003-02-07 | Matsushita Electric Ind Co Ltd | デジタル放送受信再生装置 |
| US20040064306A1 (en) * | 2002-09-30 | 2004-04-01 | Wolf Peter P. | Voice activated music playback system |
| GB0230097D0 (en) * | 2002-12-24 | 2003-01-29 | Koninkl Philips Electronics Nv | Method and system for augmenting an audio signal |
| JP4631251B2 (ja) * | 2003-05-06 | 2011-02-16 | 日本電気株式会社 | メディア検索装置およびメディア検索プログラム |
| US8918316B2 (en) * | 2003-07-29 | 2014-12-23 | Alcatel Lucent | Content identification system |
| JP4630678B2 (ja) * | 2005-01-28 | 2011-02-09 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| US7974420B2 (en) | 2005-05-13 | 2011-07-05 | Panasonic Corporation | Mixed audio separation apparatus |
| JP2007171772A (ja) * | 2005-12-26 | 2007-07-05 | Clarion Co Ltd | 音楽情報処理装置、音楽情報処理方法および制御プログラム |
| JP2007241130A (ja) * | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 声紋認識を利用するシステムと装置 |
| JP4224095B2 (ja) | 2006-09-28 | 2009-02-12 | 株式会社東芝 | 情報処理装置、情報処理プログラムおよび情報処理システム |
| JP5383056B2 (ja) * | 2007-02-14 | 2014-01-08 | 本田技研工業株式会社 | 音データ記録再生装置および音データ記録再生方法 |
| JP4909854B2 (ja) | 2007-09-27 | 2012-04-04 | 株式会社東芝 | 電子機器および表示処理方法 |
| JP2009128727A (ja) * | 2007-11-27 | 2009-06-11 | Sanyo Electric Co Ltd | 音楽データを再生可能な電子機器。 |
| JP4856105B2 (ja) * | 2008-01-31 | 2012-01-18 | 株式会社東芝 | 電子機器および表示処理方法 |
| JP5136621B2 (ja) * | 2010-10-15 | 2013-02-06 | ソニー株式会社 | 情報検索装置及び方法 |
| CN102929887A (zh) * | 2011-08-11 | 2013-02-13 | 天津市亚安科技股份有限公司 | 一种基于声音特征识别的快速录像检索方法及系统 |
| JP5330551B2 (ja) * | 2012-01-13 | 2013-10-30 | 株式会社東芝 | 電子機器および表示処理方法 |
| JP6413653B2 (ja) * | 2014-11-04 | 2018-10-31 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP6683231B2 (ja) * | 2018-10-04 | 2020-04-15 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| JP7200597B2 (ja) * | 2018-10-19 | 2023-01-10 | ヤマハ株式会社 | 情報処理方法および情報処理システム |
| DE112020002116T5 (de) | 2019-04-26 | 2022-01-27 | Sony Group Corporation | Informationsverarbeitungsvorrichtung und Verfahren und Programm |
-
2000
- 2000-08-17 JP JP2000247233A patent/JP4491700B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001134613A (ja) | 2001-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
| US8165306B2 (en) | Information retrieving method, information retrieving device, information storing method and information storage device | |
| JP4905103B2 (ja) | 動画再生装置 | |
| JP4321518B2 (ja) | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 | |
| US7941031B2 (en) | Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program | |
| JP4935355B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP4442585B2 (ja) | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 | |
| JP4683116B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび撮像装置 | |
| WO2000036833A1 (fr) | Procede et appareil permettant de retrouver vocalement des scenes video ou audio | |
| JP5050445B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP4513165B2 (ja) | 番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法 | |
| JP2005341180A (ja) | 動画像処理装置及びその方法 | |
| JP2004153764A (ja) | メタデータ制作装置及び検索装置 | |
| JP4913288B2 (ja) | 情報信号処理装置及び情報信号処理方法 | |
| JP4835439B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
| JPH08249343A (ja) | 音声情報取得装置及び音声情報取得方法 | |
| KR20060000172A (ko) | 위치정보를 이용한 자막, 정지영상, 동영상의 동기화생성/재생방법 및 그 장치 | |
| JP2001298711A (ja) | 画像記録再生装置および方法、並びに記録媒体 | |
| JP4287243B2 (ja) | 放送番組記録装置、放送番組再生装置、放送番組記録再生装置及び放送番組記録再生方法 | |
| JP4422538B2 (ja) | 音付映像の再生装置 | |
| JP2000268545A (ja) | 音声再生装置 | |
| JP2007081899A (ja) | 広告情報処理装置 | |
| KR100678895B1 (ko) | 모델 기반 세그먼트 메타데이터를 생성하는 장치 및 방법 | |
| JP2000092435A (ja) | 信号特徴抽出方法及びその装置、音声認識方法及びその装置、動画編集方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070205 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090825 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100311 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100324 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |