JPH10511196A - 情報処理システム - Google Patents

Abstract

(57)【要約】 情報処理システム(10)は、キーボード(26)、マウス(28)及び音声データ入力デバイス(30)から入力データシーケンスで入力データを受け取る。マイクロホン(32)が受け取った音声を電気信号に変換し、該電気信号がアナログディジタルコンバータ(100)によりディジタル化される。ディジタル信号プロセッサ(102)がディジタル信号を多次元ベクトルに変換し、該多次元ベクトルが一時入力バッファ(104)に記憶される。システム(10)が入力データシーケンスに対応する出力データシーケンスでデータを出力することができるように、各データ入力がタイムスタンプを受け取る。タイミングコントローラ(24)が、キーボード又はマウスから受け取った命令が認識プロセッサにより処理された最新のデータのタイムスタンプよりも速いタイムスタンプを有するときにのみ、その命令が出力となることを確実にする。

Description

【発明の詳細な説明】 情報処理システム 本発明は、情報処理システムに関し、特に、複数のデータ入力装置を有する情 報処理システムに関する。 コンピュータ音声認識は、話し言葉の音のパターンを音声認識ユニットに記憶 された１つ以上の音のパターン又はモデルと一致させることにより達成される。 音のパターンの一致の原理は、J．S．Bridle他の論文、The Radio and Electron ic Engineer、53巻、４号、pp.167〜175、1983年４月、及び、“Speech Synthes is and Recognition”と題する本の第７章、J．N．Holmes著、Van Nostrand Rei nhold 発行、1988、ISBN 0-278-00013-4に記載されている。 話し言葉を一連の特徴ベクトルにより記述することは知られている。言葉を構 成する各音すなわち音素が、その音が発生する多数のタイムフレームに分割され る。各タイムフレームでは、多数の周波数バンドの各々における音のエネルギー が測定される。このようにして得られた情報は、各次元が周波数バンドの一つで ある多次元ベクトルとして表される。このベクトルは特徴ベクトルであり、各特 徴ベクトルは話し言葉のタイムスライスを表す。 現在、標準のコンピュータシステムに利用可能な音声認識システムは、Ｍａｒ ｕｃｏｎｉ Ｓｐｅｅｃｈ Ｓｙｓｔｅｍｓ ＭＲ８の音声認識機であり、この 音声認識機は、ＲＳ２３２直列ポートを介してホストコンピュータにインタフェ ースされている。音声認識機から出力を取り出してコンピュータを動作させる他 のアプリケーションへ模擬キーボード入力を与えるためにソフトウェアが設けら れている。音声認識システムは、従来、話されている一つの言葉或いは一連の言 葉と音声認識機により出力されている認識された言葉に対応するトークンとの間 に時間遅れを示す。音声認識機とキーボードの両方からデータを受け取るコンピ ュータシステムは、キーボード入力の前に話し言葉の入力が行われる場合に、話 されている言葉と認識されている言葉との間に時間遅れが生じ、音声認識機から のトークンを受け取る前にコンピュータによってキーボードのエントリが受け取 られて実行されるという難点がある。 本発明の目的は、改善された情報処理システムを提供することである。 本発明は、 （ａ）データをデータ入力シーケンスで受け取ってそれに応答してデータ要素を 発生する複数のデータ入力手段であって、該データ入力手段の少なくとも１つが 音響データを受け取る手段であるデータ入力手段と、 （ｂ）データ入力手段からデータ要素を受け取って処理されたデータをデータ出 力シーケンスで出力する処理手段と、 を含む情報処理システムにおいて、 （ｉ）前記システムが、各データ要素を少なくとも１つのそれぞれのシーケンス インジケータと関連させる手段を含み、 （ii）前記処理手段が、異なる入力手段により発生されるデータ要素に対する異 なる処理手段の遅れに関係なくデータ出力シーケンスがデータ入力シーケンスに 対応するように各データ要素の出力シーケンスを少なくとも１つのシーケンスイ ンジケータで決定する手段を含む、 ことを特徴とする情報処理システム、を提供する。 本発明は、複数の源からのデータがその後のデータ処理の間に導入される不均 一な遅延に関わらず最初の入力の順序で与えられるという利点を与える。これは 特に音声と非音声の入力を有する情報処理システムにとって有益である。 音声認識システムは、音声入力から特徴ベクトルを決定し、これらの特徴ベク トルから認識された語又は語句に対応するトークンを決定する。好ましい実施例 では、システムが、音声データ入力を受け取って該音声データ入力から特徴ベク トルを決定する手段を有し、データプロセッサが、音声データ入力に応じて認識 されたトークンを決定する手段を与える。 別の特徴では、本発明は、 ａ）少なくとも１つが音声源のデータ要素を与える複数の入力源からデータ入力 シーケンスでデータ要素を受け取り、 ｂ）シーケンスインジケータをそれぞれの受け取ったデータ要素と関連させ、 ｃ）各音声源のデータ要素を一つのモデルと一致させることにより音声源のデー タ要素を表すトークンを発生し、 ｄ）複数の源からのデータ要素のシーケンスインジケータを比較することにより 異なる処理遅延に関係なくデータ出力シーケンスがデータ入力シーケンスに対応 するように、処理されたデータ要素シーケンスについてデータ出力シーケンスを 確立する、ステップを含むデータ処理方法を提供する。 更なる特徴では、本発明は、 （ａ） データ入力シーケンスでデータ要素を与えるように構成された複数のデ ータ入力手段と、 （ｂ）データ要素を受け取って処理されたデータ要素の出力をデータ入力シーケ ンスに対応する出力シーケンスで発生するように構成された処理手段と、 を含む情報処理システムであって、 前記処理手段が、データ要素を与えるデータ入力手段に応じた可変の処理時間 間隔で各データ要素を処理するように構成されており、前記処理手段が、時間イ ンジケータを各データ要素と関連させ、処理された異なるデータ要素の時間イン ジケータを比較して出力シーケンスを決定する手段を含む、ことを特徴とする情 報処理システム、を提供する。 別の特徴では、本発明は、 （ａ）制御信号を発生する処理手段（24，24）と、 （ｂ）入力データを受け取ってそれに応答して処理手段（24，25）に入力データ 信号を供給する複数のデータ入力手段（26，28，30）と、 を含む情報処理システムであって、 （ｉ）各入力データ信号に、該入力データ信号により表された入力データを受け 取った相対時間を示すマーカ信号を付ける手段と、 （ii）制御信号を順序付けし、それにより、それぞれ制御信号となるデータ入力 信号が前記システムにより受け取られた順序に対応する順序で該制御信号が構成 されるようにする手段と、 を含むことを特徴とする情報処理システム、を提供する。 以下、本発明の実施例について添付図面を参照しながら例示することにより説 明する。 図１は、本発明の情報処理システムを概略的に示す図である。 図２は、従来の音声認識システムを概略的に示す図である。 図３は、図１のシステムを詳細に示す概略図である。 図１を参照すると、本発明の情報処理システム１０が示されている。情報処理 システム１０は中央プロセッサ２０に接続され、該中央プロセッサ２０は更にデ ィスプレイユニット２２に接続されている。情報処理システム１０はタイミング コントローラ２４と音声認識ユニット２５と複数のディスプレイ入力デバイスを を含む。これらの入力デバイスはキーボード２６、マウス２８及び音声入力デバ イス３０である。音声入力デバイス３０は、システム１０のオペレータが話す言 葉に応答して電気信号を発生するマイクロホン３２を含む。これらの電気信号は 、音声入力デバイスにより処理されて音声認識ユニット２５に送られる。 音声認識ユニット２５は、更に、音声データを表すトークンをタイミングコン トローラ２４に出力する。システム１０のオペレータは中央プロセッサ２０に命 令を入力する３つの機構を有する。これらの３つの機構は、（ｉ）音声入力を使 用すること、（ii）キーボード２６を使用して命令を入力すること、（iii）グ ラフィックユーザインタフェース環境で中央プロセッサ２０で動作するプログラ ムのためにディスプレイユニット２２と共にマウス２８を使用して命令を入力す ること、である。 音声入力命令、キーボード入力命令及びマウスを使用して入力された命令は、 データ要素と呼ばれる。タイミングコントローラ２４は、種々の入力デバイスか らのデータ要素が正しいデータ出力シーケンスで中央プロセッサ２０に送られる ことを確実にする。この出力シーケンスは、システム１０にデータ入力が行われ るのと同じシーケンスである。このシーケンスはデータ入力シーケンスと呼ばれ る。音声源のデータは、システム１０のオペレータにより話される言葉を含む。 システム１０に入力されるかもしれない他の形態の音声入力は、記録された音声 、放送の音声及び電気通信システムを通して送られた音声を含み、これらの形態 の音声入力のシステム１０へ直接入力は電気信号の形で行われる。 図２には、従来の音声認識システム５０が示されている。従来の音声認識シス テム５０では、キーボード６２、マウス６４及び音声認識ユニット６６のような 入力デバイスからのデータは、中央プロセッサ６０により直接受け取られる。デ ータは、中央プロセッサ６０によりディスプレイユニット６８に出力される。従 来のシステム５０は、音声入力が音声認識ユニット６６により受け取られ、その 後にキーボード入力が受け取られる場合には、中央プロセッサ６０が逆の順序で 命令を受け取るという欠点がある。音声認識ユニット６６が音声入力を受け取る のと、認識されたトークンを中央プロセッサ６０に出力するのとの間には、有限 の遅れがあるので、これが起きる可能性がある。この遅延の間にキーボードを使 用して命令が入力されれば、その命令が音声入力に対応するトークンの前にプロ セッサにより受け取られるであろう。 入力データの順序の反転の結果の例は次のとおりである。ユーザが幾つかのコ マンドを話し且つキーボードを使用してデータを入力することを望むとする。こ れを達成するために、ユーザはコマンド“Ｆｉｌｅ Ｎｅｗ”と話し、その後幾 つかのテキストをタイプする。ユーザはコマンドを話しタイプを正しい順序で開 始するけれども、音声コマンドを処理する音声認識ユニットにおける遅延によっ て、新しいファイルを開くコマンドが音声認識ユニットにより受け取られる前に 中央プロセッサ６０がキーボードからの入力を受け取ることになる。この場合に は、テキストが失われるか又は間違ったドキュメントに挿入される。適当な応答 を得るために、ユーザは、音声認識ユニットが処理されたコマンドを出力してし まうまで、キーボードを使用してデータを入力するのを待たなければならない。 これは時間の非効率な使用である。 図３は、情報処理システム１０を更に詳細に示している。音声入力デバイス３ ０はマイクロホン３２、アナログディジタル（Ａ／Ｄ）コンバータ１００を含む 。マイクロホン３２からＡ／Ｄコンバータ１００へ電気信号が送られる。Ａ／Ｄ コンバータ１００はサンプリング速度２０ｋＨｚでアナログ入力信号をディジタ ル出力信号へ変換する。そのディジタル出力信号はディジタル信号プロセッサ１ ０２へ送られる。信号プロセッサ１０２は、商品認識コードＤＳＰ３２Ｃを有す るＡＴ＆Ｔから市販されているプロセッサである。信号プロセッサ１０２は、表 １に示されるように、２７の周波数バンドの各々で平均エネルギーを計算するフ ィルタバンクとして構成されている。 信号プロセッサ１０２は、特徴ベクトルを１００Ｈｚの速度で出力する。特徴 ベクトルは、上述したJ.N.Holmesの本に記載されており、受け取った音の多次元 空間における周波数エネルギー分布を表示したものである。ここで、特徴ベクト ルは、２７の次元空間の一点であり、この２７の次元空間は、Ａ／Ｄコンバータ からのディジタル信号が処理される２７の周波数バンドに対応する。各話し言葉 は、信号特徴ベクトル又は特徴ベクトルのシーケンスのいずれかにより表される 。 ディジタル信号から特徴ベクトルを抽出するのに加えて、信号プロセッサ１０ ２はシーケンシャルタイムフレームを発生するクロックを維持する。信号プロセ ッサは、各特徴ベクトルに３２ビットワードの形態のそれぞれ一対のタイムフレ ームインジケータ又はタイムスタンプを加える。第１のタイムスタンプは、それ ぞれの特徴ベクトルが始まるタイムフレームを識別し、第２のタイムスタンプは 、その特徴ベクトルが終わるタイムフレームを識別する。そのタイムスタン プ対は、そのスタンプ対と関連する特徴ベクトルが関係するタイムフレームを固 有に識別する。このタイムスタンプは、データがシステムに入力されたシーケン スを表示する働きをする。各特徴ベクトルは関連するタイムスタンプとともに入 力バッファ１０４に送られる。認識プロセッサ１０６は、データを受け取る準備 ができると、入力バッファ１０４からデータを受け取りそのデータについて認識 プログラムを実行する。認識プロセッサ１０６は、付属メモリを備えたＩｎｍｏ ｓ^TMＴ８００トランスピュータである。認識プログラムは上述したJ．S．Bridle 他の論文に記載された接続された音声認識アルゴリズムである。このようなプロ グラムは、周知のタイプのものであって、コンピュータ音声認識の分野の多くの 当業者により実施されている。 認識プログラムは、特徴ベクトルのシーケンスを多数のモデルに関して分析す る。モデルは認識すべき言葉又は言葉の連続、背景ノイズのモデル、又は話者の 唇の開きにより発せられる舌づつみような他の予期される入力に関係する。各モ デルはトークンと関連している。トークンはモデルを固有に識別する文字のシー ケンスであり、実際はモデルのための名前である。認識プログラムは、どのモデ ルが各特徴ベクトルと関係しているかを決定し、結果として、各モデルの開始点 及び終了点が検出される。この開始点及び終了点に関する情報は、認識されたト ークンとともに認識プロセッサ１０６によりタイミングコントローラ２４へ出力 される。 例として、音声入力“Ｆｉｌｅ Ｎｅｗ”に応答した認識プロセッサ１０６か らの出力が表２に示されている。 トークン“”は背景ルームノイズのモデルと関係している。表２は、タイムフ レーム１２５５から１２５６まではオペレータが話していないと認識ユニットが 判断していることを示している。タイムフレーム１２５７から１２９７までは、 オペレータが話しておりその話された音は言葉“ｆｉｌｅ”に対応するトークン によって最も良く表されると判断された。その後、非音声入力の４つのタイムフ レームの期間があり、更に、言葉“ｎｅｗ”が話された６１のタイムフレームが 続く。表２の行の各々は一つのイベントに対応する。 特徴ベクトルにタイムスタンプを設けるのに加えて、ディジタル信号プロセッ サ１０２は、タイミング信号をタイミングコントローラ２４に利用可能にする。 タイミングコントローラ２４は、認識プロセッサ１０６、マウス２８及びキーボ ード２６から入力を受け取る。どのようなキーボードエントリ又はマウス２８の 動作も一つのイベントであり、そのイベントの各々にはタイミングコントローラ ２４によりタイムスタンプが与えられる。タイミングコントローラ２４は、認識 プロセッサ１０６により受け取られた最新のイベントの最終点タイムフレームを 含むレジスタを保持する。タイミングコントローラ２４はイベントのメモリにイ ベントリストを保持する。マウスの運動に対応するイベントがタイミングコント ローラに記憶されているイベントより先行していない限り、むしろマウスの運動 に対応するイベントの方が中央プロセッサに直接送られる。 タイミングコントローラ２４の動作は次のとおりである。タイミングコントロ ーラ２４はキーボード２６とマウス２８を監視する初期状態を有する。これらの デバイスの一つの状態にキーが押されるような何らかの変化が生じると、イベン トと、そのイベントをデバイスから受け取ったときのタイムフレームに注目して この情報をイベントリストに記憶する。従って音声入力がディジタル信号プロセ ッサ１０２においてタイムスタンプを受け取り、非音声入力がタイミングコント ローラ２４においてタイムスタンプを受け取る。データはデータ入力シーケンス でシステム１０に与えられる。各それぞれのデータ入力と関係するタイムスタン プは、データ入力シーケンスでそのデータの順序を決定するために使用すること ができ、従って、それはシーケンスインジケータと呼ばれる。タイムスタンプに より決定されるデータ入力シーケンスは、ディジタル信号プロセッサ１０２が音 声データを受け取り、タイミングコントローラ２４がキーボード入力データ又は マウス入力データのいずれかを受け取る順序である。 タイミングコントローラ２４は、マウス２８とキーボード２６から受け取った イベントを、それを受け取った順序で、それぞれの関係するタイミングスタンプ とともにイベントリストに記憶する。タイミングコントローラ２４は認識プロセ ッサ１０６からイベントを受け取ると、トークンの終了点のタイムフレームを決 定する。このタイムフレームは最新のタイム（ＭＲＴ）のシーケンスインジケー タと呼ばれる。ＭＲＴシーケンスインジケータは、認識プロセッサ１０６が処理 を完了した最新の音声入力のタイムスタンプに対応する。タイミングコントロー ラ２４は、ＭＲＴシーケンスインジケータをイベントリストに保持されたキーボ ード入力イベント及びマウス入力イベントのすべてのタイムスタンプと最も古い ものから始めて比較する。これらのイベントがＭＲＴシーケンスインジケータよ りも古い場合には、イベントが中央プロセッサ２０に転送されてイベントリスト から削除される。タイミングコントローラ２４がイベントリストに記憶されたす べてのイベントを判断してしまうと、認識プロセッサ１０６からのトークンを検 査する。そのトークンが沈黙の期間又は中央プロセッサ２０と無関係の他のモデ ルに対応する場合には、そのトークンは廃棄される。認識プロセッサ１０６から のトークンがコマンド又は関係のある他の入力に対応する場合には、そのトーク ンは中央プロセッサ２０に転送される。その後タイミングコントローラ２４は初 期状態に戻る。 上述した例を用いると、タイミングコントローラ２４はトークンコマンド“Ｆ ｉｌｅ Ｎｅｗ”に対応するトークンが認識プロセッサ１０６から受け取られる 前にキーボード入力テキストを受け取る。キーボードデータは各キーエントリの タイムスタンプを受け取り、これらのイベントがイベントリストに記憶される。 キーボードイベントのタイムスタンプはそのタイムにおけるレジスタのタイムス タンプよりも遅いので、中央プロセッサ２０に直接送られない。その後、タイミ ングコントローラ２４がトークン“Ｆｉｌｅ”及び“Ｎｅｗ”を受け取る。これ らのうちの最後のものが中央プロセッサ２０に送られてしまった後だけ、タイミ ングコントローラ２４が、メモリに記憶されたキーボード入力データを中央プロ セッサ２０に送る。タイミングコントローラはデータを中央プロセッサにデ ータ出力シーケンスで送る。タイミングコントローラが例えば音声入力及びキー ボード入力をデータ入力シーケンスに対応しないシーケンスで受け取ったとして もデータ出力シーケンスはデータ入力シーケンスに全く対応する。 タイミングコントローラ２４は、それ自身別のプログラムを実行する、認識プ ロセッサ１０６とは別のプロセッサであってもよい。好ましくは、タイミングコ ントローラ２４の動作は、認識プロセッサ１０６の動作を制御するプログラム内 に含まれている。従って、別の物理的エンティティの代わりに認識プロセッサ１ ０６及びタイミングコントローラ２４がトランスピュータの動作プログラム内に 組み込まれてもよい。 音声認識ユニットを組み込んだ情報処理システムについて説明したが、ここに 含まれる原理は音声入力デバイスを組み込んでいない情報処理システムにまで拡 大することもできる。種々の入力デバイスに対して種々の処理時間を必要とする システム、例えば、手書き文字認識ユニットを組み込んだシステム及び別のデバ イスからのデータ要素を処理しながら１つのデバイスからのデバイス要素を受け 取る可能性を与えるシステムは、システムに入力されたときにデータ要素をタイ ムスタンプする手段と、処理されたデータ要素のタイムスタンプを比較すること により正しい出力シーケンスを判断する手段とを含み、それにより、異なる入力 データからのデータ要素の異なる処理時間に起因する問題が回避できる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 セリーズ ロバート ウィリアム イギリス国 ウースターシャー ダブリュ ーアール14 ６ティーディー モルヴァー ン セント アンドリュース ロード （番地なし） ディフェンス リサーチ エージェンシー

Claims (1)

1. 【特許請求の範囲】 １．（ａ）データをデータ入力シーケンスで受け取ってそれに応答してデータ要 素を発生する複数のデータ入力手段であって、該データ入力手段の少なくとも１ つが音響データを受け取る手段であるデータ入力手段（26，28，30）と、 （ｂ）データ入力手段からデータ要素を受け取って処理されたデータをデータ 出力シーケンスで出力する処理手段(24，25，106)と、 を含む情報処理システム(10)において、 （ｉ）前記システムが、各データ要素を少なくとも１つのそれぞれのシーケン スインジケータと関連させる手段を含み、 （ii）前記処理手段(24，25，106)が、異なる入力手段（26，28，30）により 発生されるデータ要素に対する異なる処理手段の遅れに関係なくデータ出力シー ケンスがデータ入力シーケンスに対応するように各データ要素の出力シーケンス を少なくとも１つのシーケンスインジケータで決定する手段（24）を含む、 ことを特徴とする情報処理システム。 ２．前記処理手段(24，25，106)が、音響データ入力手段（30）から音響データ 要素を受け取ってそれに応答して音響データを表すトークンを発生する認識手段 (25，106)を含む請求項１に記載のシステム。 ３．前記音響データ要素は、音響データ入力手段によって音声入力から発生され る特徴ベクトルであり、前記認識手段(25，106)は、特徴ベクトルを記憶された モデルと比較して音響データ要素を表すトークンを発生するように構成されてい る請求項２に記載のシステム。 ４．各データ要素を少なくとも１つのそれぞれのシーケンスインジケータと関連 させる手段は、各音響データ要素を、音響データ入力の開始の時間と音響データ 入力の終了の時間とをそれぞれ表示するスタートインジケータとエンドインジケ ータを含む２つのシーケンスインジケータと比較するように構成されている請求 項３に記載のシステム。 ５．前記データ出力シーケンスを決定する手段（24）は、データ要素とそのそれ ぞれのシーケンスインジケータを記憶する記憶手段を組み込み、前記認識手段は 、認識手段(25，106)により処理された最新の特徴ベクトルのエンドインジ ケータに対応する最新時間（ＭＲＴ）のシーケンスインジケータを発生するよう に構成され、前記出力シーケンスを決定する手段（24）は、ＭＲＴシーケンスイ ンジケータを受け取り、ＭＲＴシーケンスインジケータを記憶手段に記憶された データ要素のシーケンスインジケータと比較して出力シーケンスを決定するよう に構成されている請求項４に記載のシステム。 ６．前記出力シーケンスを決定する手段（24）と認識手段(25，106)は、プログ ラムされたプロセッサである請求項５に記載のシステム。 ７．前記出力シーケンスを決定する手段（24）と認識手段(25，106)は、単一の プログラムされたプロセッサに具現化されている請求項３に記載のシステム。 ８．前記システムが、 （ａ）少なくとも１つの入力デバイスから非音響データ要素を処理手段に供給 し、 （ｂ）非音響データ要素をシーケンスインジケータで表示しデータをそのシー ケンスインジケータとともにイベントリストに記憶し、 （ｃ）処理手段に音声の音響データ要素に対応する特徴ベクトルを供給し、 （ｄ）前記特徴ベクトルを表すトークンを発生し、 （ｅ）認識手段により処理された最新の特徴ベクトルに対応するトークンのエ ンドインジケータに対応する最新時間（ＭＲＴ）のシーケンスインジケータを決 定し、 （ｆ）ＭＲＴシーケンスインジケータをイベントリストに記憶された非音声デ ータのシーケンスインジケータと比較し、 （ｇ）記憶されたデータのシーケンスインジケータがＭＲＴシーケンスインジ ケータより先行しているかどうかを決定し、もし先行しているならばその記憶さ れたデータのシーケンスインジケータを中央プロセッサに送り、 （ｈ）記憶されたシーケンスのどれもＭＲＴシーケンスインジケータに先行し ていないときに中央プロセッサにトークンを送る、 ステップを実行するように構成されている請求項７に記載のシステム。 ９．ａ）少なくとも１つが音声源のデータ要素を与える複数の入力源からデータ 入力シーケンスでデータ要素を受け取り、 ｂ）シーケンスインジケータをそれぞれの受け取ったデータ要素と関連させ、 ｃ）各音声源のデータ要素を一つのモデルと一致させることにより音声源のデ ータ要素を表すトークンを発生し、 ｄ）複数の源からのデータ要素のシーケンスインジケータを比較することによ り異なる処理遅延に関係なくデータ出力シーケンスがデータ入力シーケンスに対 応するように、処理されたデータ要素シーケンスについてデータ出力シーケンス を確立する、ステップを含むデータ処理方法。 10．（ａ） データ入力シーケンスでデータ要素を与えるように構成された複数 のデータ入力手段（26，28，30）と、 （ｂ）データ要素を受け取って処理されたデータ要素の出力をデータ入力シー ケンスに対応する出力シーケンスで発生するように構成された処理手段（24，25 ，106）と、 を含む情報処理システムであって、 前記処理手段（24，25，106）が、データ要素を与えるデータ入力手段に応 じた可変の処理時間間隔で各データ要素を処理するように構成されており、前記 処理手段が、時間インジケータを各データ要素と関連させ、処理された異なるデ ータ要素の時間インジケータを比較して出力シーケンスを決定する手段を含む、 ことを特徴とする情報処理システム。 11．（ａ）制御信号を発生する処理手段（24，24）と、 （ｂ）入力データを受け取ってそれに応答して処理手段（24，25）に入力デー タ信号を供給する複数のデータ入力手段（26，28，30）と、 を含む情報処理システムであって、 （ｉ）各入力データ信号に、該入力データ信号により表された入力データを受 け取った相対時間を示すマーカ信号を付ける手段と、 （ii）制御信号を順序付けし、それにより、それぞれ制御信号となるデータ入 力信号がシステムにより受け取られた順序に対応する順序で該制御信号が構成さ れるようにする手段と、 を含むことを特徴とする情報処理システム。