JP2741833B2 - マルチメデイア提示内で音声的サーチ・パターンを使用するためのシステム及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データ処理システム中
のマルチメデイア提示（multimedia presentation）を
処理する方法及びシステムに係り、より詳細に言えば、
データ処理システム中のある１つのマルチメデイア提示
の中で選択されたセグメントのサーチを遂行する方法及
びシステムに関する。本発明を具体的に言えば、本発明
は音声的なサーチ・パターンを用いてある１つのマルチ
メデイア提示の範囲内でサーチを行なう方法及びシステ
ムに関する。

【０００２】

【従来の技術】最近のデータ処理システムにおいて、情
報は、いわゆる「マルチメデイア提示」と呼ばれる提示
で、しばしばユーザに転送される。換言すれば、情報
は、音声、画像、テキスト型（text）データなどを含む
複数メデイア（媒体）を用いて転送される。このような
複数のメデイアを含むマルチメデイア提示の複雑さは、
マルチメデイア提示の中の特定の位置にマルチメデイア
提示を転送したいと望んでいるユーザに対して困難な問
題を与える。単一のマルチメデイアの範囲内でイメー
ジ、音声、画像及びテキスト型データの提示を捕えて同
期する問題は、マルチメデイアでなければ単純な上述の
タスクを達成するのを極めて困難にする。

【０００３】動画及びテレビジヨン・エンジニヤ協会
（The Society of Motion Picture and Television Eng
ineers-SMPTE）は、マルチメデイア事象を計時（timin
g）するための産業標準技術を与えており、これはマル
チメデイア出力の提示とＳＭＰＴＥタイム・コードとを
統合することを含んでいる。マルチメデイア堤示とタイ
ム・コードの発生とを統合し、その後、これらのタイム
・コードを用いたマルチメデイア提示を編集することに
よつて、良好に制御された態様でマルチメデイア提示を
編集し、獲得し、そして提示することが可能である。し
かしながら、ある１つのマルチメデイア提示の範囲内に
ある特定のセグメントを見つけ出す技術を利用するため
には、ユーザは、関連するタイム・コードによつてその
セグメントの正確な位置を知らなければならず、また、
その提示からその特定のタイム・コードの位置を導き出
すための機構が利用可能でなければならない。

【０００４】このような技術の一例は、１９９１年３月
のＩＢＭテクニカル・デイスクロージヤ・ブレテイン第
３３巻第１０Ａ号に記載されている。この技術はメモリ
装置に格納され、かつ格納された後に自動検索を容易に
するために使用されるデータベースを形成するための、
ワード及びフレームの位置の転写（transcription）を
作成することにより、連続的に記録されたデータの特定
のセグメントのサーチを自動化する処理技術である。こ
のシステムを用いたマルチメデイア提示中のデータを検
索するために、ユーザは、ワードまたはフレーズ（デー
タの区画）の引数を呼び出すことによつてデータベース
をサーチし、次に、検索されたワードまたはフレーズ
は、予め設定されたデータベースを用いた提示中の特定
のフレーム位置マーカと相関される。この技術はマルチ
メデイア提示を介して特定のワード、またはフレーズを
見つけるために比較的効率の良いサーチを可能にするけ
れども、この技術は、ある１つの提示の範囲内にあるす
べてのワード及びフレーズのためのデータベースが予め
設定され、且つデータベースが提示全体に対するフレー
ム位置の表示と対応付けられていることを必要とする。

【０００５】上述のサーチ方法は、マルチメデイア提示
のすべてのエレメントと関連したデイジタル・カウンタ
の校正を与えることによつてのみ達成される。従つて、
ユーザは、場面（scene）を適正なカウンタ値と関係付
けるために、カウンタの選択されたオフセツト値を知ら
なければならない。このため、数人のユーザが提示相関
装置を使用する場合には、一方のユーザにより用いられ
ているカウンタの校正を他方のユーザが妨害するので、
上述の問題は更に複雑な問題になる。

【０００６】従つて、提示の事前処理を必要とせず、か
つ提示と人工的に作成されたカウンタ（若しくはデイジ
タル・ロケータ）との間の正確な関係付けとを必要とせ
ずにマルチメデイア提示の特定の部分を位置付けるため
に、マルチメデイア提示を通して効率的なサーチができ
る方法及びシステムが必要であることは明らかである。

【０００７】

【発明が解決しようとする課題】本発明の目的は、デー
タ処理システム中のマルチメデイア提示を処理する方法
を提供することにある。

【０００８】本発明の他の目的は、データ処理システム
においてマルチメデイア提示の範囲内で選択されるセグ
メントのサーチを行なう方法及びシステムを提供するこ
とにある。

【０００９】本発明の他の目的は、音声的サーチ・パタ
ーンを用いてデータ処理システム中のマルチメデイア提
示中の選択されるセグメントのサーチを行なう方法及び
システムを提供することにある。

【００１０】

【課題を解決するための手段及び作用】本発明の方法及
びシステムはマルチメデイア提示中の選択されるセグメ
ントを高速度で効率的にサーチすることを可能にする。
本発明の方法、またはシステムのユーザは、サーチ・パ
ターンとして用いられる可聴音声（audible utteranc
e）を言語の音声（verbally）によるか、またはテキス
ト型データによるかのいずれかで特定する。テキスト入
力から音声的サーチ・パターンを作成するために、テキ
スト型データから音声への変換処理が用いられる。その
後、効率的なサーチ・パターンに拡張するために、可聴
音声の種々の属性がユーザによつて変更され、または編
集することが可能である。更に、サーチ・パターンを更
に特徴付けるために、ユーザは、周波数や最大振幅のよ
うな付加的なサーチ特性を、ブール論理関係でサーチ・
パターンと組合わせて特定することができる。その後、
サーチ・パターンはマルチメデイア提示中の特定の音声
を識別し、見つけ出すために使用される。本発明に従つ
て、サーチ動作の効率を大きく向上させるために、サー
チ・パターンは、提示の順序を逆方向に変えてマルチメ
デイア提示のサーチに供することができる。

【００１１】

【実施例】図１を参照すると、本発明の方法及びシステ
ムを適用することのできるデータ処理システム１０の模
式図が示されている。図示されているように、データ処
理システム１０は表示装置１２及びプロセツサ１４を含
んでいる。また、データ処理システム１０はマウスのよ
うな任意の図形指示装置を用いて実行される図形ポイン
タ１６を含んでいる。また、データ処理システム１０は
テキスト型サーチ・パターンの入力を発生するためにユ
ーザにより使用されるキーボード１８が与えられてい
る。テキスト型サーチ・パターンについては後述する。
データ処理システム１０は１つ以上のデイスケツト装置
２０を含むのが望ましい。データ処理システム１０はマ
ルチメデイア提示を処理し、かつ表示する能力を持つい
わゆる「パーソナル・コンピユータ」を使用して実行で
きるのは当業者であれば容易に理解できるであろう。こ
のようなデータ処理システムの一例はＩＢＭ社のＰＳ／
２パーソナル・コンピユータである。

【００１２】図１に示されているように、データ処理シ
ステム１０は表示装置１２の表示面２４の中にマルチメ
デイア提示を発生することのできる能力を持つものであ
る。加えて、本発明の方法及びシステムに従つて使用す
るための音声的サーチ・パターンを作成するために、デ
ータ処理システム１０と組み合わせたマイクロフオン２
２を使用することができる。これについては後述する。

【００１３】図２を参照すると、図１のデータ処理シス
テム１０の表示画面２４の模式的な表示が示されてい
る。図示されているように、表示画面２４は好ましくは
マルチメデイア提示ビユーワ２６を含んでおり、本発明
の図示の実施例において、この提示ビユーワ２６は表示
画面２４内の指定された領域を占めており、この領域中
でマルチメデイア提示を見ることができる。表示画面２
４の領域内のマルチメデイア提示は、現用のビデオから
捕えられたビツトマツプを用いることによるか、または
表示画面２４内で通常見られるテキスト型提示及び画像
提示によるビデオ提示材料をインターリーブすることに
よつて達成することができるのは当業者であれば容易に
理解できるであろう。更に、表示画面２４は、特徴デー
タ処理システム１０の中で呼び出すことのできるアプリ
ケーシヨンを表示する複数個の図形表示若しくはアイコ
ンを含むことが望ましい。音声的サーチ・パターンのア
イコン２８が、特に示されており、ユーザはこのアイコ
ンを選択することによつて、ビユーワ２６で眺望される
ある１つのマルチメデイア提示の範囲内で選択されたセ
グメントのサーチに用いるための音声的サーチ・パター
ンを作成し、修正することができ、選択されたセグメン
トはマルチメデイア提示ビユーワ２６内に表示される。
この処理については後述する。

【００１４】図３を参照すると、図１のデータ処理シス
テム１０の概観的なブロツク図が示されている。図示さ
れているように、表示装置１２、キーボード１８及びプ
ロセツサ１４はパーソナル・コンピユータの技術分野の
専門家に広く知られている態様で相互に接続されてい
る。加えて、図示されているように、マイクロフオン２
２がプロセツサ１４に接続されている。そして、本発明
に係る方法及びシステムによれば、当業者には周知の態
様でデイジタル・データ・サンプルに変換するためのア
ナログ／デイジタル・コンバータ３０に接続可能なマイ
クロフオン２２を用いて可聴音声を捕捉することによつ
て、音声的サーチ・パターンを作成することができる。
従つて、データ処理システム１０のユーザはマイクロフ
オン２２に向つて可聴音声で話すことができる。次い
で、本発明の方法及びシステムに従つて音声的サーチ・
パターンを作成するために、周知のアナログ信号からデ
イジタル信号への変換技術を用いて、上述の可聴音声を
デイジタル表示に変換する。他の実施例として、音声的
サーチ・パターンは、本発明の方法及びシステムに従つ
てキーボード１８を打鍵してテキスト型データを入力
し、次いで、テキスト型データ信号から音声信号へ変換
するコンバータ３２を用いることにより音声のデイジタ
ル表示に変換することによつて作成することができる。
上述のような態様で動作するような、テキスト型データ
の入力信号から可聴音声を作成する能力のある非常に優
れたコンバータが多数存在することは、音響合成技術の
分野の専門家であれば容易に理解できるであろう。

【００１５】図４を参照すると、本発明の方法及びシス
テムに従つて作成された音声的サーチ・パターンの模式
図が示されている。図示されているように、図４は音声
サーチ・パターンのアイコン２８を選択することにより
呼び出すことのできるサーチ・パターン・ウインドウ４
０を示している。このウインドウ４０は図形対話入力
（graphical user interface）の分野の専門家には周知
の態様のものである。サーチ・パターン・ウインドウ４
０は、サーチ・パターン・ウインドウ４０内の任意の時
点で音声的サーチ・パターンの状態を、テキスト型デー
タの態様で表示するために用いられる状態ライン４２を
含むことが望ましい。同様に、経過時間インジケータ４
４が与えられており、これはサーチ・パターン・ウイン
ドウ４０内で時間の進行を図形的に表示するのに用いら
れる。従つて、サーチ・パターン・ウインドウ４０は、
音声フレーズを捕捉することにより作成された音声的サ
ーチ・パターンを可視的に示すために用いることができ
ることや、キーボード１８を用いて特定のテキスト型フ
レーズを打鍵しコンバータ３２を用いてそのテキスト型
データの入力を音声的な出力に変換することにより作成
された音声的サーチ・パターンを可視的に示すために用
いることができることは当業者であれば上述の説明から
容易に理解できるであろう。従つて、図４に示されるよ
うに、可聴音声の入力か、あるいはテキスト型データの
入力のいずれかを使用して音声的サーチ・パターン４６
を作成し、またカーソル４８を用いてサーチ・パターン
・ウインドウ４０により表示された時間内の任意の時点
において音声的サーチ・パターン４６を検査することが
できる。

【００１６】本発明の方法及びシステムによつて、ユー
ザがある１つのマルチメデイア提示の範囲内で選択され
るセグメントをサーチすることができる自然で且つ直観
的な技術がもたらされることは、当業者であれば上述の
説明から容易に理解できるであろう。例えば、ユーザが
特定の場面に含まれた可聴音声を識別することにより、
ある１つのマルチメデイア提示内の特定の場面をユーザ
が特定することは、自然且つ直観的に行なわれる。例え
ば、ユーザは、フレーズ「やあ、ジヨージ君」が発声さ
れる場面の提示の繰り返しを望む場合がある。音声フレ
ーズ「やあ、ジヨージ君」を捕捉するか、またはこのフ
レーズをキーボード１８により打鍵するかのいずれかに
よつて、サーチ・パターン４６のような音声的サーチ・
パターンをサーチ・パターン・ウインドウ４０の中に作
成することができ、そして後に詳解するような処理の下
で、マルチメデイア提示を通して選択的にサーチし、音
声的サーチ・パターンで表わされた音声的な特性に合致
する発生を当該提示の内から全て見つけ出すために、サ
ーチ・パターン・ウインドウ中のサーチ・パターンが使
用できる。

【００１７】次に図５を参照すると、上述の態様の下で
作成された音声的サーチ・パターンが本発明の方法及び
システムに従つてユーザにより選択的に修正されるとい
う、本発明の重要な特徴が示されている。図５に示され
たメカニズムを提示することによつて、ユーザは、既存
のオーデイオ・エデイタにある方法と同じ方法で音声的
サーチ・パターンを操作し、または変更することができ
る。例えば、１９８９年２月のＩＢＭテクニカル・デイ
スクロージヤ・ブレテイン第３１巻第９号に示された記
載は、可視的で感覚的な操作に関する技術を利用して、
ユーザが、処理されるべきオーデイオ・オブジエクトを
選択し、または作成できるオーデイオ・エデイタのため
の基本的な画面フオーマツトを開示している。

【００１８】属性ウインドウ６０を呼び出すことによつ
て、ユーザは、図５に示された態様において、音質、周
波数、増幅率、減衰率（decay）、あるいはアタツク
（歪率）のような特定の属性を選択し、そして、サーチ
処理の間でマルチメデイア提示中の音声的テスト・パタ
ーンを包含する可変マージンを作成することができるよ
うな各属性の所望の精度を入力することができる。図５
に示されているように、ユーザにより選択された属性は
９０の「増幅率」と±１０％の精度が選ばれている。従
つて、音声のサーチ処理の間の特定の属性に対して許容
される変化量を特定する属性の変化幅は、参照数字６２
で示されたように作られる。

【００１９】加えて、本発明の他の重要な特徴に従つ
て、属性ウインドウ６０の中で特定された種々の属性は
ブール論理演算によつてサーチ・パターンに組合わせる
ことができる。例えば、サーチ・パターンの周波数は、
１８，０００ヘルツ±１，０００ヘルツと（ＡＮＤ論理
演算）、１２８±１２の増幅率か、または６０±１０の
増幅率（ＯＲ論理演算）として特定化することができ
る。このようにして、経験の浅いユーザでも、サーチ動
作の間でサーチ・パターンの中に包括されるマルチメデ
イア提示中の変動を受け入れるために、作成される音声
的サーチ・パターンを変更することができる。

【００２０】図６を参照すると、本発明の方法及びシス
テムに従つた上述の音声的サーチ・パターンの作成処理
を説明するための高レベルの流れ図が示されている。こ
の作成処理はブロツク８０で開始し、その後ブロツク８
２に通む。ブロツク８２において、ユーザがサーチ要求
を選択したか否かが決定される。若しユーザがサーチ要
求を選択しなければ、処理はサーチ要求が選択されるま
で単純に反復される。ブロツク８２においてユーザがサ
ーチ要求を選択した場合、処理はブロツク８４に進む。
ブロツク８４において、そのサーチ要求が音声ベース
か、またはテキストベースかが決定される。既に述べた
ように、若しサーチ要求がテキストベースならば、処理
はブロツク８６に進む。ブロツク８６において、ユーザ
の入力は、サーチ・パターンを作成する音声表示に変換
するために、テキスト型データ信号から音声信号への処
理プロセツサに供給される。

【００２１】ブロツク８４において、ユーザが音声ベー
スのサーチ要求を選択した場合、ブロツク８８におい
て、マイクロフオン２２（図１参照）とアナログ／デイ
ジタル・コンバータ３０とを使用して所望の音声セグメ
ントの捕捉動作が行なわれる。その後、ブロツク９０に
おいて、捕捉され変換された音声セグメントか、または
変換プロセツサ３２を用いて作成された音声セグメント
かのいずれかを用いて所望の音声的サーチ・パターンが
作成される。

【００２２】次に、処理はブロツク９２に進む。ブロツ
ク９２において、ユーザは作成状態からの音声的サーチ
・パターンを変更するか否かが決定される。若しユーザ
が変更を望むならば、処理はブロツク９４に進む。ブロ
ツク９４において、既に述べたような態様の属性ウイン
ドウ６０を用いて、ユーザにより選択されたような音声
的サーチ・パターンから、許容される変数が特定され
る。その後か、あるいは音声的サーチ・パターンの修正
を必要としないことが決定された後に、処理はブロツク
９６に進む。

【００２３】ブロツク９６において、音声的サーチ・パ
ターンと関連して使用される付加的なブール論理パラメ
ータを特定することをユーザが要求しているか否かを決
定する。若しブール論理パラメータを特定することが要
求されていれば、処理は、音声的サーチ・パターンに使
用するための特定のブール論理パラメータを特定するブ
ロツク９８に進み、その後か、または付加的なブール論
理パラメータを特定することが要求されていない場合
に、処理はブロツク１００に進む。ブロツク１００はサ
ーチ・パターン作成の終了を示しており、作成されたサ
ーチ・パターンは、本発明の方法及びシステムに従つ
て、その表示中の特定の場面のマルチメデイア提示内の
選択された音声セグメントをサーチするために使用され
る。

【００２４】図７を参照すると、本発明の方法及びシス
テムに従つて作成された音声的サーチ・パターンを用い
てマルチメデイア提示を通したサーチを説明するための
概観的な流れ図が示されている。図示されているよう
に、このサーチ処理はブロツク１１０で開始し、その
後、ブロツク１１２に進む。ブロツク１１２において、
サーチ対象となる特定のマルチメデイア提示の選択が行
なわれる。次に、処理は提示全体がサーチされるか否か
を決定するブロツク１１４に進む。若し提示全体をサー
チするのでなければ、マルチメデイア提示の一部だけを
サーチすべく、処理は参照数字１１６で示した分岐処理
Ａに進む。分岐処理Ａについては後述する。

【００２５】ブロツク１１４において、ユーザが提示全
体のサーチを要求した場合、処理はブロツク１１８に進
む。ブロツク１１８において、本発明の重要な特徴に従
つた逆方向サーチが要求されたか否かが決定される。マ
ルチメデイア提示を通じて逆方向の態様でサーチするた
めに、本発明の方法及びシステムに従つた「逆方向サー
チ」が用いられる。すなわち、逆方向サーチとはマルチ
メデイア提示を見る時に通常使用される順方向のサーチ
方向とは逆の方向に行なわれるサーチを意味する。逆方
向サーチの技術は、マルチメデイア提示を見た直後に、
マルチメデイア提示を巻き戻してマルチメデイア提示の
開始点からサーチを開始するのではなく、マルチメデイ
ア提示を逆方向の順序でサーチすることが望ましい時に
は、この逆方向サーチが特に効果的であることは、当業
者であれば上述の説明から容易に理解できるであろう。

【００２６】ブロツク１１８において、逆方向サーチが
要求されない場合には処理はブロツク１２０に進む。ブ
ロツク１２０において、提示の開始点までの巻き戻し動
作が開始される。術語「巻き戻し」は、勿論、類似語で
あつて、デイジタル表示に関連してこの術語が用いられ
た時に厳密な意味で解釈されるのとは異なつており、
「巻き戻し」の概念は、マルチメデイア提示の分野での
用語であつて、マルチメデイア提示中の開始点の提示に
戻すことを意味するのは当業者には容易に理解できるこ
とであろう。次に、処理は、マルチメデイア提示を順方
向に提示することと音声的サーチ・パターンと合致する
音声セグメントを当該提示内で走査することとを示すブ
ロツク１２２に進む。

【００２７】ブロツク１１８に戻つて説明を続けると、
逆方向サーチが要求された場合には、処理はブロツク１
２４に進む。ブロツク１２４において、図４及び図５に
関して説明した方法に従つて作成されたサーチ・パター
ンと経時的に逆行する逆方向サーチが行なわれ、その
後、処理はブロツク１２６に進む。ブロツク１２６にお
いて、提示を「巻き戻す」、若しくは提示の終了点まで
提示を早送りし、その後、処理はブロツク１２８に進
む。ブロツク１２８において、図４及び図５に関して説
明した方法に従つて作成される方向とは逆方向のサーチ
・パターンと合致するセグメントに対するマルチメデイ
ア提示の逆方向の提示と、音声セグメントの逆方向の走
査とが行なわれる。

【００２８】ブロツク１３０において、マルチメデイア
提示中の音声セグメントが、作成されたサーチ・パター
ンと合致するか、または合致しないかが決定される。本
発明の方法及びシステムに従つて作成されたサーチ・パ
ターンと合致する音声セグメントがマルチメデイア提示
の中で発見されない場合、処理はブロツク１３２に進
む。ブロツク１３２において、「フレームは発見され
ず」メツセージを通知して、処理はブロツク１３８で終
了する。ブロツク１３０に戻つて説明を続けると、本発
明の方法及びシステムに従つて作成された音声的サーチ
・パターンと合致する音声セグメントが、ブロツク１３
０において発見されたならば、その音声セグメントの位
置はブロツク１３４に示されているように「フレームの
発見」メツセージとして表示され、処理はブロツク１３
６に進む。ブロツク１３６において、見つけられたフレ
ームの再生順序の位置及び／又は見つけられたフレーム
の活性化をユーザに通知する。その後、処理はブロツク
１３８に進んで終了する。

【００２９】本発明の方法及びシステムに従つて作成さ
れた音声的サーチ・パターンと合致する各音声セグメン
トを見つけるために、マルチメデイア提示は順方向の態
様、または逆方向の態様のいずれでも走査できること
は、当業者であれば図７の流れ図及び上述の説明を参照
して容易に理解することができるであろう。

【００３０】最後に、図８を参照すると、本発明の方法
及びシステムに従つて作成された音声的サーチ・パター
ンを用いてマルチメデイア提示の選択される部分をサー
チする概観的な流れ図が示されている。図示されている
ように、図７のブロツク１１４において、マルチメデイ
ア提示全体のサーチを必要としないことが決定された後
に、このサーチ処理が開始される。次に、処理はブロツ
ク１５０に進み、ブロツク１５０において、マルチメデ
イア提示中の現在の位置から、最初の「Ｎ個」の入力を
見つけることを、ユーザが指示したか否かが決定され
る。勿論、サーチのこのパラメータは、ユーザによつて
周知の態様で任意に入力し、または変更することができ
る。

【００３１】次に、処理はブロツク１５２に進む。ブロ
ツク１５２において、逆方向サーチが要求されたか否か
が決定される。既に述べたように、ユーザは本発明の方
法及びシステムの下で、マルチメデイア提示の巻き戻し
の必要がない逆方向の態様でマルチメデイア提示を通し
てサーチすることができ、そして、公知のサーチ方法を
用いた技術により順方向の態様でマルチメデイア提示を
走査することができる。ブロツク１５２において、若し
逆方向サーチが要求されなければ、処理はブロツク１５
４に進む。ブロツク１５４において、マルチメデイア提
示の順方向提示と、既に述べた態様で作成された音声的
サーチ・パターンに合致した音声セグメントのマルチメ
デイア提示の走査とを行なう。再度、ブロツク１５２を
参照して説明を続けると、ブロツク１５２において、若
し逆方向サーチが要求されたならば、処理はブロツク１
５６に進む。ブロツク１５６において、経時的順序とは
逆方向のサーチ・パターンを作成するために、サーチ・
パターンの経時的方向の逆転が行なわれ、次に、処理は
ブロツク１５８に進む。ブロツク１５８において、マル
チメデイア提示の逆方向の提示と、本発明の方法及びシ
ステムに従つて作成された経時的方向とは反対方向のサ
ーチ・パターンに合致する音声入力の走査とが行なわれ
る

【００３２】順方向の提示、または逆方向の提示と、本
発明の方法及びシステムに従つて作成された音声的サー
チ・パターンに合致した音声セグメントの提示の走査と
が開始された後、処理はブロツク１６０に進む。ブロツ
ク１６０において、サーチ・パターンの合致が位置付け
られたか否かが決定される。若しサーチ・パターンの合
致が見つけ出されたならば、処理はブロツク１６２に進
む。ブロツク１６２において、いま発生した合致の数は
ブロツク１５０で示されたようなユーザによつて入力さ
れた特定の合致数よりも小さいか否かが決定される。若
し合致数が上述の特定合致数よりも小さければ、サーチ
・パターンの合致を見つけるサーチを続けるための反復
処理をするために、処理はブロツク１６０に戻る。若し
合致数が、ブロツク１５０においてユーザにより入力さ
れた特定の合致数と同じか、または、それよりも大きけ
れば、処理はブロツク１６８に進む。ブロツク１６８に
おいて、「フレーム発見」メツセージを表示する。「フ
レーム発見」メツセージは既に説明したような態様で作
成された音声的サーチ・パターンに合致した音声セグメ
ントのリストを含んでいる。そうではなく、若し音声的
サーチ・パターンの合致が発見されなければ、処理はブ
ロツク１６４に進む。ブロツク１６４において、本発明
の方法及びシステムに従つて作成された音声的サーチ・
パターンに合致する他の音声セグメントが発見されたか
否かが決定される。若し他の音声セグメントが発見され
たならば、本発明の方法及びシステムに従つて作成され
た音声的サーチ・パターンに合致する音声セグメントの
リストを含む「フレーム発見」メツセージを表示する。

【００３３】ブロツク１６４に戻つて説明を続けると、
ブロツク１６４において、本発明の方法及びシステムに
従つて作成された音声的サーチ・パターンに合致する音
声セグメントが発見されなかつたならば、処理はブロツ
ク１６６に進む。ブロツク１６６において、「フレーム
は発見されず」メツセージが通知された後、処理はブロ
ツク１７２に進んで終了する。再度、ブロツク１６８に
戻つて説明を続けると、本発明の方法及びシステムに従
つて作成された音声的サーチ・パターンに合致した音声
セグメントのリストを含む「フレーム発見」メツセージ
を表示した後、処理はブロツク１７０に進む。ブロツク
１７０において、位置付けられた音声セグメントを含む
再生順序の位置付け、即ち、再生順序の活性化をユーザ
に通知する。その後の処理は、既に述べたようにブロツ
ク１７２に進んで終了する。

【００３４】

【発明の効果】本発明によつて、順方向、あるいは逆方
向のいずれかの方向を持つマルチメデイア提示全体か、
あるいはマルチメデイア提示の一部分を構成するような
音声的サーチ・パターンが作成され、変更され、種々の
音声的属性がブール論理を用いて組み合わせ、そして、
作成された音声的サーチ・パターンに合致する音声セグ
メントを含むマルチメデイア提示の範囲内にある音声セ
グメントを見つけ出し且つ識別することができる。

【図面の簡単な説明】

【図１】本発明の方法及びシステムを実施するために使
用されるデータ処理システムの模式図である。

【図２】本発明の方法及びシステムを実施するために使
用される図１のデータ処理システムの表示画面を示す模
式図である。

【図３】図１のデータ処理システムの概観的なブロツク
図である。

【図４】本発明の方法及びシステムに従つて作成された
音声的サーチ・パターンの模式図である。

【図５】本発明の方法及びシステムに従つて作成された
音声的サーチ・パターンの模式図である。

【図６】本発明の方法及びシステムに従つた音声的サー
チ・パターンを作成する処理を説明するための流れ図で
ある。

【図７】本発明の方法及びシステムに従つて作成された
音声的サーチ・パターンを使用してマルチメデイア提示
全体をサーチする動作を説明するための流れ図である。

【図８】本発明の方法及びシステムに従つて作成された
音声的サーチ・パターンを使用してマルチメデイア提示
の選択された部分をサーチする動作を説明するための流
れ図である。

【符号の説明】

１０ データ処理システム １２ 表示装置 １４ プロセツサ １６ マウス １８ キーボード ２２ マイクロフオン ２４ 表示画面 ２６ マルチメデイア提示ビユーワ ２８ 音声的サーチ・パターンのアイコン ３０ アナログ／デイジタル・コンバータ ３２ テキスト型データ信号から音声信号へのコンバー
タ ４０ サーチ・パターン・ウインドウ ４２ 状態ライン ６０ 属性ウインドウ ６２ 変化幅

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウイリアム・ジェー・ジョンソン アメリカ合衆国 テキサス州 フラワ ー・マウンド、セダリア・ドライブ 1445 (72)発明者 マービン・エル・ウイリアムズ アメリカ合衆国 テキサス州 ルイスビ ル、セットラーズ・ウエイ 1152 (56)参考文献 特開 平２−56069（ＪＰ，Ａ) 特開 平３−291752（ＪＰ，Ａ) 特開 平３−12889（ＪＰ，Ａ) 特開 平３−53379（ＪＰ，Ａ) 欧州特許出願公開597798（ＥＰ，Ａ) ＩＢＭ ＴＥＣＨＩＮＩＣＡＬ ＤＩ ＳＣＬＯＳＵＲＥ ＢＵＬＬＥＴＩＮ ＶＯＬ．31，ＮＯ．９ ＰＰ．46−51, 59−65 （平成元年２月)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】マルチメデイア提示を表示するための表示
   装置を有するデータ処理システムにおいて、音声エレメ
   ントを含むマルチメデイア提示の選択される部分を効率
   的に見つけ出すための方法であって、ユーザからの入力に応答して音声サーチ・パターンを発
   生する ステップと、上記音声サーチ・パターンをその属性とともに上記表示
   装置に表示して、ユーザに上記属性を指定させる ステッ
   プと、ユーザにより指定された属性に従って上記音声サーチ・
   パターンを変更する ステップと、変更された音声サーチ・パターンを使用して上記マルチ
   メデイア提示をサーチすることにより、上記マルチメデ
   ィア提示において上記変更された音声サーチ・パターン
   に合致する音声エレメントを含む部分を見つける ステツ
   プと、 を具備するマルチメデイア提示の選択された部分を見つ
   け出す方法。
2. 【請求項２】マルチメデイア提示を表示するための表示
   装置を有するデータ処理システムにおいて、音声エレメ
   ントを含むマルチメデイア提示の選択される部分を効率
   的に見つけ出すためのシステムであって、ユーザからの入力に応答して音声サーチ・パターンを発
   生する 手段と、上記音声サーチ・パターンをその属性とともに上記表示
   装置に表示して、ユーザに上記属性を指定させる 手段
   と、ユーザにより指定された属性に従って上記音声サーチ・
   パターンを変更する 手段と、変更された音声サーチ・パターンを使用して上記マルチ
   メデイア提示をサーチすることにより、上記マルチメデ
   ィア提示において上記変更された音声サーチ・パターン
   に合致する音声エレメントを含む部分を見つける 手段
   と、 を具備するマルチメデイア提示の選択された部分を見つ
   け出すシステム。