JP4238614B2 - ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 - Google Patents
ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4238614B2 JP4238614B2 JP2003088944A JP2003088944A JP4238614B2 JP 4238614 B2 JP4238614 B2 JP 4238614B2 JP 2003088944 A JP2003088944 A JP 2003088944A JP 2003088944 A JP2003088944 A JP 2003088944A JP 4238614 B2 JP4238614 B2 JP 4238614B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- stream data
- data
- flow rate
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Complex Calculations (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ストリームデータ（動画データ、楽音データ等）を入力デバイスから入力（キャプチャ）させ、何らかの処理を施した後、前記入力デバイスとは別個の出力デバイスから出力するストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
マルチメディア・データなどのストリームデータの処理においては、データストリームは、何らかのタイミング情報に基づいて同期して入出力や処理がなされるようになっている。タイミング情報としては、物理クロックや、ストリームデータに含まれるタイムスタンプ情報等がある。
【０００３】
このようなストリームデータを処理する装置においては、ストリームデータが入力される入力デバイスと、入力されたストリームデータを外部へ向けて出力する出力デバイスとがそれぞれ異なるクロックにより動作していることが多い。例えば、入力デバイスも出力デバイスも共に４４．１KHzのクロックで動作していることになっていても、発振器が異なることにより、両者の動作クロックの周期が微妙にずれることがあり得る。これにより、デバイス間のデータのやり取りの際にデータがオーバーフローしたり逆に枯渇したりすることにより、ノイズの発生など出力データが望ましい形とならないことが生じ得るという問題がある。
また、各デバイスの処理能力が何らかの理由により変動することにより、データがオーバーフローしたり逆に枯渇したりすることが生じ得るという問題がある。
【０００４】
このような問題は、こうしたストリームデータをソフトウエア的に構成する場合にも生じ得る。近年、パーソナルコンピュータ（ＰＣ）でストリームデータをソフトウエア的に処理するため、例えばマイクロソフト社のWINDOWS98などにおいては、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４インターフェースを用いてＰＣと外部機器を接続するために、DirectShow（登録商標）と呼ばれるストリームデータをＰＣ上で処理するのに適したＡＰＩ（Application Program Interface）が提供されている。DirectShowにおいては、データに対する何らかの処理を行うモジュール（これをフィルタという）を相互に接続して目的とするデータ処理を行っている。
【０００５】
こうした相互接続ソフトウエア・フィルタにより構成されるデータ処理システムにおいて、各フィルタの動作クロックが微妙にずれているような場合、これにより、データがオーバーフローしたり逆に枯渇したりすることにより、出力データが望ましい形とならないことが生じ得るという問題がある。
また、フィルタの一部がユーザ・モードで作成されたり、カーネル・モードであっても低いプライオリティで作成されるような場合には、データがオーバーフローしたり逆に枯渇したりすることにより、出力データが望ましい形とならないことが生じ得るという問題がある。例えば、オーディオ・データの処理システムに含まれるイフェクタ・フィルタは、イフェクトの設定をユーザが操作するためのユーザインタフェース機能を持つため、ユーザ・モードにより作成されることが多い。なお、ここで「カーネル・モード」とは、マイクロソフト社製のWINDOWS（登録商標）などのＯＳにおいて、非常に高いプライオリティが与えられた動作モードであり、コードはすべてのハードウエアとすべてのメモリに直接アクセス可能なモードをいう。また、「ユーザ・モード」とは、同様にWINDOWS（登録商標）などのＯＳにおいて、プライオリティが低く設定された動作モードであり、コードはハードウエアに直接アクセスすることができないようにされているモードをいう。
【０００６】
この場合、カーネル・モードのフィルタとユーザ・モードのフィルタとの間やユーザ・モードのフィルタの間でのデータの受け渡しにはカーネル・モードのフィルタ間のデータの受け渡しと比べて大きな処理負荷がかかるため、他のタスクの影響によりイフェクタ・フィルタの処理能力が変動して、イフェクタ・フィルタの前後においてデータのオーバーフロー又は枯渇が生じ、ストリームデータの理想的な出力ができなくなったり、ノイズが発生したりするという問題が生じる。
また、イフェクタ・フィルタがカーネル・モードで作成されていても、低いプライオリティで作成されている場合には、他のタスクの影響によりイフェクタ・フィルタの処理能力が変動し、データのオーバーフロー又は枯渇が生ずることが起こり得る。
【０００７】
この問題に鑑みた先行技術として、特許文献１に記載される同期化装置が知られている。この装置は、位置時間値（データストリームに関連する時間インターバル情報に基づく値であって、処理されるデータストリームの位置を反映するもの）、物理時間値（ハードウエア・オシレータまたはクロックに基づく値）、相関時間値（位置時間値などの指定時間値を参照時間値と共に提供するもの）という３つの異なる時間値を持ち、多数のデバイスで共通に利用することにより複数のストリームデータの入力及び出力タイミングのずれを最小化するようにしている。
【０００８】
【特許文献１】
特開平10-283199号（７頁他）
【０００９】
【発明が解決しようとする課題】
しかし、この公報に開示の装置では、入力及び出力タイミングのずれを最小化することはできるが、３つの異なる時間値を利用するため、処理レートの整合等のために複雑な制御を必要とした。本発明は、以上のような問題点に鑑みてなされたものであり、クロック制御のための複雑な構成を必要とせず、入力及び出力タイミングのずれを最小化することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的達成のため、本出願の第１の発明に係るストリームデータ処理システムは、相互接続ソフトウエア・フィルタにより構成されるストリームデータ処理システムにおいて、前記相互接続ソフトウエア・フィルタは、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタと、前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタと、前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタと、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタとを含み、前記キャプチャ・フィルタは、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整するように構成したことを特徴とする。
【００１１】
この第１の発明によれば、ストリームデータの流量が流量監視フィルタにより監視され、この監視結果に基づきデータ流量が調整される。
【００１２】
この第１の発明において、前記流量監視フィルタは、その後段に配置されるフィルタのバッファ情報に基づいて前記流量を判断するようにするのが好適である。さらに、前記キャプチャ・フィルタは、補間により前記データを挿入又は削除するのが好ましい。
また、前記流量監視フィルタは、前記後段に配置されるフィルタへの前記ストリームデータの出力を停止させた状態で前記バッファ情報を取得するようにすることができる。
また、前記流量監視フィルタは、ユーザ・モードで作成されるフィルタのバッファ情報に基づいて前記流量を判断するようにすることができる。この場合において、前記流量監視フィルタは、前記ストリームデータの流量に関する情報を前記キャプチャ・フィルタにフィードバックするように構成され、前記キャプチャ・フィルタは、前記フィードバックされた情報に基づき、前記流量が所定量より小さい場合には、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入することにより前記ストリームデータの流量を調整すると共に、前記流量が所定量より大きい場合には、バッファを間引く処理を実行することにより前記ストリームデータの流量を調整するように構成することができる。
【００１３】
上記目的達成のため、本出願の第２の発明に係るストリームデータ処理方法は、互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程とを備えたことを特徴とする。
【００１４】
上記目的達成のため、本出願の第３の発明に係るストリームデータ処理プログラムは、相互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、
前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程とをコンピュータに実行させるように構成されたことを特徴とする。また、このストリームデータ処理プログラムをコンピュータで読み取り可能な記録媒体に記録するようにしてもよい。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態を、図面に基づいて説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るストリームデータ処理システムのハードウエア構成を示すブロック図である。本実施の形態では、ストリームデータは、エレキギター、電子ピアノなどの楽器１より出力される楽音データであり、これをパーソナルコンピュータ（ＰＣ）２で処理し、スピーカ３より出力するものとする。ＰＣ２は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４等を有している。ＣＰＵ１１は、オペレーティングシステム（ＯＳ）の制御の下、各種のプログラムを実行するようにされている。
【００１６】
ＲＯＭ１２は、電源投入時に起動するブート・プログラムその他を記憶している不揮発性メモリである。また、ＲＡＭ１３は、起動された各種のプログラムを一時記憶するとともに、各種データを処理するための作業領域を提供する。ＨＤＤ１４は、ＯＳ及び各種プログラムを記憶するための磁気ディスクを駆動するためのドライブ装置である。
【００１７】
インターフェース（Ｉ／Ｆ）１５は、楽器１よりの楽音データを所定の方式に基づいて変換しＣＰＵ１１に出力する。また、オーディオ・コントローラ１６は、楽音信号の出力処理を行うための制御装置である。また、各種入力装置（マウス、キーボード等）からの入力は、Ｉ／Ｆ１７を介してＣＰＵ１１に入力される。
【００１８】
次に、ＰＣ２で実行されるプログラムのソフトウエア構成について説明する。図２は、ＰＣ２で実行されるプログラムのソフトウエア構造を、ハードウエア構成との対応関係を含めて図示したものである。
本実施の形態では、マイクロソフト社のDirectShow（登録商標）というＡＰＩによりストリームデータが処理されるものとする。
【００１９】
このDirectShowの仕組みにおいて、ソフトウエアは、フィルタと呼ばれる複数のオブジェクトを生成することにより構成され、また、各フィルタは、図示を略すフィルタ・グラフと呼ばれるアーキテクチャにより接続される。具体的には、本実施の形態のソフトウエアは、図２に示すように、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４から構成される。この例では、イフェクタ・フィルタ２２はユーザ・モードで、残余のフィルタはカーネル・モードで作成されているが、イフェクタ・フィルタ２２はカーネル・モードで作成してもよい。また、この実施の形態では、フィルタ２１〜２４は同一周波数の所定のクロックで動作するように設定されるが、様々な誤差要因により、実際のクロックの周期には、各フィルタ間で微妙なズレが存在しているものとする。
【００２０】
キャプチャ・フィルタ２１は、楽器１からの楽音データを取得するとともに、後段のイフェクタ・フィルタ２２等が認識できるようなフォーマットに変換して出力する機能を備えたものである。キャプチャ・フィルタ２１は、ＵＳＢバッファ２１ａと、リングバッファ２１ｂと、出力待ちバッファ２１ｃとを備えている。
楽器１からの楽音データは、最初にＵＳＢバッファ２１ａに保持され、順次リングバッファ２１ｂ、出力待ちバッファ２１ｃへと転送される。リングバッファ２１ｂは入力データのフォーマット変換の処理などに用いられる。出力待ちバッファ２１ｃの構成は様々に変更できるが、ここでは１０２４バイトのバッファが８個割り当てられるようにされたものとする。
【００２１】
イフェクタ・フィルタ２２は、キャプチャ・フィルタ２１から出力される楽音データに任意の変化を加えるためのものであり、入力バッファ２２ａと，リングバッファ２２ｂと、出力待ちバッファ２２ｃとを備えている。入力バッファ２２ａは、前段のキャプチャ・フィルタ２１内の出力待ちバッファ２１ｃと同様の構成とすることができる。入力バッファ２２ａは、出力待ちバッファ２１ｃとの間で所定のクロックに基づきバッファの受け渡しを行う。そして、入力バッファ２２ａ、リングバッファ２２ｂ、出力待ちバッファ２２ｃへと順次データの転送が行われる。リングバッファ２２ｂは楽音データのイフェクト付加の処理などに用いられる。出力待ちバッファ２２ｃも、出力待ちバッファ２１ｃや入力バッファ２２ａと同様の構成とすることができる。
このイフェクタ・フィルタ２２は、ユーザの多様な要請に応えるため様々なものが作られるとともに、ユーザが直接に操作の対象とする部分であるので、通常、ユーザ・モードで作られることが多い。
【００２２】
流量監視フィルタ２３は、イフェクタ・フィルタ２２とレンダラ・フィルタ２４との間に接続されており、入力バッファ２３ａ、リングバッファ２３ｂ、出力待ちバッファ２３ｃとを備えている。入力バッファ２３ａ，出力待ちバッファ２３ｃの構成は、前段の入力バッファ２２ａ，出力待ちバッファ２２ｃの構成と同じでよい。入力バッファ２３ａは、前段のイフェクタ・フィルタ２２内の出力待ちバッファ２２ｃとの間で所定のクロックに基づきバッファの受け渡しを行う。以下、順次入力バッファ２３ａ、リングバッファ２３ｂ、出力待ちバッファ２３ｃへとデータの転送が行われる。
また、この流量監視フィルタ２３は、フィルタ２１−２４により構成されるストリームデータ処理システムのデータストリーム中のデータの流量を監視するとともに、この監視の結果をキャプチャ・フィルタ２１やイフェクタ・フィルタ２２に向けて出力（フィードバック）する機能を有する。詳細は後述する。
【００２３】
レンダラ・フィルタ２４は、ストリームデータをオーディオ・コントローラ１６が認識できるフォーマットで出力するためのフィルタであり、レンダリングするデータを保持するためのバッファ２４ａを備えている。バッファ２４ａは、前段の出力待ちバッファ２３ｃ等と同様の構成でよい。バッファ２４ａは、出力待ちバッファ２３ｃとの間で所定のクロックに基づきバッファの受け渡しを行い、適宜オーディオ・コントローラ１６へデータを出力する。
なお、上記のフィルタ２１〜２４は、上述のように、基本的には同一の動作クロックにより駆動されているが、様々な誤差要因により微妙な周波数のズレが生じ得る。こうした周波数のズレがあり流量が多い場合には、上流のフィルタのバッファと下流のフィルタのバッファとの間でのデータの受け渡しにおいて、下流のフィルタの入力バッファにデータが溜まるのではなく、上流のフィルタの出力待ちバッファの方にデータが溜まることになる。
【００２４】
マネージャ２５は、流量監視フィルタ２３の監視タイミングを制御したり、この監視結果などの監視に関する情報に基づいてキャプチャ・フィルタ２１からの出力、及びレンダラ・フィルタ２４への入力、出力を制御したりするなど、各フィルタ間のデータ伝送の管理を担当する部分である。
【００２５】
次に、本実施の形態の作用を、図３に示すフローチャートに基づいて説明する。
ＨＤＤ１４よりストリームデータ処理プログラムが読み込まれ、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４等のフィルタが生成される。そして、楽器１よりＰＣ２に楽音データが入力されると、このデータがキャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４の順に転送され、スピーカ３に向けて出力される
【００２６】
この間、流量監視フィルタ２３は、データ流量を監視するため、レンダラ・フィルタ２４内の複数のバッファ２４ａのうちレンダリング中のバッファの数Ｃｒをカウントする（Ｓ１）。
入力バッファ２４ａのレンダリング中のバッファ数Ｃｒをカウントするようにしているのは、キャプチャ・フィルタ２１のクロックとレンダラ・フィルタ２４のクロックとの差が生じた場合に、その影響が反映され易いためである。すなわち、キャプチャ・フィルタ２１のクロックがレンダラ・フィルタ２４のクロックより速い状態においては、流量監視フィルタ２３の出力待ちバッファ２３ｃでデータが溜まり、レンダラ・フィルタ２４の入力バッファ２４ａでレンダリング中のバッファ数Ｃｒが少なくなる。この場合には、データ流量が多すぎると判断できる。一方、キャプチャ・フィルタ２１のクロックがレンダラ・フィルタ２４のクロックより遅い状態においては、流量監視フィルタ２３の出力待ちバッファ２３ｃに保持されるデータが減り、レンダラ・フィルタ２４の入力バッファ２４ａでレンダリング中のバッファ数Ｃｒが多くなる。この場合には、データ流量が少なすぎると判断できる。このレンダリング中のバッファ数Ｃｒのカウント結果に基づき、データ流量を制御する変数insertpoint、rejectpointを変化させる。
【００２７】
バッファ２４ａにおいてレンダリング中のバッファ数Ｃｒのカウントは、流量監視フィルタ２３内の出力待ちバッファ２３ｃの数をカウントすることにより実行してもよい。しかし、レンダリング中のバッファの何割がレンダリングが完了しているものかまで推測することは困難である。そこで、流量監視フィルタ２３の出力待ちバッファ２３ｃのキューにバッファが入れられてからレンダラ・フィルタ２４に出力されるまでの時間Ｔｗにより、バッファ２４ａにおいてレンダリング中のバッファ数Ｃｒを演算（カウント）する。時間Ｔｗが大きければ流量監視フィルタ２３内の出力待ちバッファ２３ｃの数は大きく、つまりレンダリング中のバッファ数Ｃｒは小さくなる。逆に、時間Ｔｗが小さければ流量監視フィルタ２３内の出力待ちバッファ２３ｃの数は小さく、つまりレンダリング中のバッファ数Ｃｒは大きくなる。
【００２８】
なお、バッファ数Ｃｒを演算する場合には、流量監視フィルタ２３のストリームが起動されたときに、まず下流のレンダラ・フィルタ２４にはデータを送らないで、出力待ちバッファ２３ｃにキューイングされているバッファの数をカウントし、バッファが一定時間キューイングされなくなった時のカウント値を出力待ちバッファ２３ｃとレンダラ・フィルタ２４との間のデータのやり取りに使用されるバッファ総数Ｃｂとする。
レンダリング中のバッファ数Ｃｒは、
【００２９】
【数１】
Ｃｒ＝Ｃｂ−Ｔｗ×Ｒ／Ｌｂ
ただし、
Ｌｂ：バッファ２４ａの各バッファのデータ長
Ｒ ：ストリームデータのデータの周期に対応した単位時間当たりの転送データの代表値
【００３０】
として求められる。ここで、Ｔｗの値は、例えば１０回程度の移動平均を取ったものとすると、高い精度でＣｒを演算することができる。
【００３１】
Ｃｒが演算されたら、流量監視フィルタ２３は、この演算値Ｃｒに基づいて変数insertpoint、rejectpointを決定する（Ｓ２）。変数insertpoint、rejectpointは、Ｃｒが所定の範囲内にあり、データ流量が過不足なく適当である場合にはinsertpoint＝０、rejectpoint＝０に設定される。Ｃｒが所定の範囲より大きく、データ流量が不足している場合には、insertpoint＞０、rejectpoint＝０とされ、一方、Ｃｒが所定の範囲より小さく、データ流量が過剰である場合には、insertpoint＝０、rejectpoint＞０とされる。
【００３２】
流量監視フィルタ２３は、この変数insertpoint、rejectpointをキャプチャ・フィルタ２１に向けて出力する（Ｓ３）。
キャプチャ・フィルタ２１は、この変数insertpoint、rejectpointが、０であるか又は０より大きいかを判定する（Ｓ４）。
キャプチャ・フィルタ２１は、insertpoint＞０の場合には、データを挿入するデータ挿入処理を実行する（Ｓ５）。すなわち、キャプチャ・フィルタ２１のＵＳＢバッファ２１ａでキャプチャした一定区間のデータ配列Ｓのデータ数をＮとした場合、新しく生成するデータ配列Ｃのデータ数ＭをＭ＝Ｎ＋ｐとする。
一方、rejectpoint＞０の場合には、キャプチャ・フィルタ２１はデータを削除するデータ削除処理を実行する（Ｓ６）。すなわち、キャプチャ・フィルタ２１でキャプチャした一定区間のデータ配列Ｓの長さをＮとした場合、新しく生成するデータ配列Ｃの長さＭをＭ＝Ｎ−ｐとする。Ｓ４、Ｓ５が終了したら、Ｓ１に戻って再度Ｃｒのカウントを行う。
【００３３】
次に、キャプチャ・フィルタ２１におけるデータ補間によるデータの追加及び削除の方法を、図４を用いて説明する。
元のデータ列Ｓが図４に示すごとく１区間にＮサンプルのデータを含むものである場合に、ｐ個のデータを補間して1区間にＭサンプル（Ｍ＝Ｎ＋ｐ）のデータを含む新たなデータ列Ｃを生成する場合を考える。
このとき、新データ列Ｃでの新たなサンプリング点ｍ（ｉ）は元のサンプリング点ｎ（ｉ）との関係において、
【００３４】
【数２】
ｍ（ｉ）＝Ｎ／Ｍ×ｎ（ｉ）（ｉ＝１，２、・・・Ｎ）
【００３５】
と表される。
【００３６】
また、これらの新たなサンプリング点におけるデータ値を、元のサンプリング点のデータに基づき、直線補間法を用いて求める。すなわち、ｍ（ｉ）がデータ配列Ｓ中でデータｎ（ｋ）とｎ（ｋ＋１）との間にあるとした場合（ｋ＝１，２・・・、Ｎ）、 ｍ（ｉ）でのデータの値Ｃｖ（ｍ（ｉ））は、
【００３７】
【数３】
Ｃｖ（ｍ（ｉ））
＝（Ｓｖ（ｎ（ｋ））×（ｎ（ｋ＋１）−ｍ（ｉ））
＋Ｓｖ（ｎ（ｋ＋１））×（ｍ（ｉ）−ｎ（ｋ）））／（ｎ（ｋ＋１）−ｎ（ｋ））
【００３８】
と表され、
特に、ｎ（ｋ＋１） ＝ｎ（ｋ）＋１の場合、
【００３９】
【数４】
Ｃｖ（ｍ（ｉ））
＝Ｓｖ（ｎ（ｋ））×（１−（ｍ（ｉ）−ｎ（ｋ）））＋Ｓｖ（ｎ（ｋ＋１））×（ｍ（ｉ）−ｎ（ｋ））
【００４０】
となる。
このように、本実施の形態のストリームデータ処理システムでは、レンダラ・フィルタ２４でのバッファ２４ａでの状況を流量監視フィルタ２３で監視し、監視結果に基づいてキャプチャ・フィルタ２１でのデータを補間により削除又は挿入している。これにより、キャプチャ・フィルタ２１とレンダラ・フィルタ２４のクロック周期の差によりデータストリームがオーバーフローしたり枯渇したりすることが無くなる。なお、データの追加及び削除処理は流量監視フィルタ２３で行ってもよい。この場合、入力バッファ２３ａから受け取ったデータをリングバッファ２３ｂを用いてデータの削除、挿入の処理を行い、出力待ちバッファ２３ｃに渡す。
【００４１】
ＰＣ２での処理を容易にするため、整数演算により補間データを求めるようにしてもよい。すなわち、ｎ（ｋ）とｎ（ｋ＋１）の間を例えば４０９６ポイントに分割して、次のように演算を実行してもよい。
【００４２】
【数５】
Ｃｖ（ｍ（ｉ））＝（Ｓｖ（ｎ（ｋ））×（4096−Ｒ）＋Ｓｖ（ｎ（ｋ＋１））×Ｒ）／4096
ただし、Ｒ＝（Ｎ／Ｍ×ｎ（ｉ）×4096）ｍｏｄ 4096
【００４３】
［第２の実施の形態］
次に、本発明の第２の実施の形態を、図５に基づいて説明する。この実施の形態のフィルタ構成は、第１の実施の形態（図２）と同様である。ただし、流量監視フィルタ２３は、レンダラ・フィルタ２４の入力バッファ２４ａを監視する代わりに、ユーザ・モードで作成されているイフェクタ・フィルタ２２の入力バッファ２２ａのバッファ数Ｃｒ´を監視し、このバッファ数Ｃｒ´に基づいて、キャプチャ・フィルタ２１でのデータを補間により削除又は挿入する点において、第１の実施の形態と異なっている。
【００４４】
この第２の実施の形態の作用を、図５に示すフローチャートに基づいて説明する。
流量監視フィルタ２３は、イフェクタ・フィルタ２２内の複数の入力バッファ２２ａのバッファの数Ｃｒ´をカウントする（Ｓ１１）。
Ｃｒ´がカウントされたら、流量監視フィルタ２３は、この演算値Ｃｒ´に基づいて変数insertpoint'、rejectpoint'を決定する（Ｓ１２）。変数insertpoint'、rejectpoint'は、Ｃｒ´が所定の範囲内にあり、データ流量が過不足なく適当である場合にはinsertpoint'＝０、rejectpoint'＝０に設定される。Ｃｒ´が所定の範囲より大きく、データ流量が不足している場合には、insertpoint'＞０、rejectpoint'＝０とされ、一方、Ｃｒ´が所定の範囲より小さく、データ流量が過剰である場合には、insertpoint'＝０、rejectpoint'＞０とされる。
【００４５】
流量監視フィルタ２３は、この変数insertpoint'、rejectpoint'をキャキャプチャ・フィルタ２１に向けて出力する（Ｓ１３）。
キャプチャ・フィルタ２１は、この変数insertpoint'、rejectpoint'が、０であるか又は０より大きいかを判定する（Ｓ１４）。キャプチャ・フィルタ２１は、insertpoint'＞０、rejectpoint'＝０の場合には、データを挿入するデータ挿入処理を実行する（Ｓ１５）。すなわち、イフェクタ・フィルタ２２のＵＳＢバッファ２１ａの一定区間のデータ配列Ｓのデータ数をＮとした場合、新しく生成するデータ配列Ｃのデータ数ＭをＭ＝Ｎ＋ｐとする。
【００４６】
一方、insertpoint'＝０、rejectpoint'＞０の場合には、キャプチャ・フィルタ２１はデータを削除するデータ削除処理を実行する（Ｓ１６）。すなわち、キャプチャ・フィルタ２１のＵＳＢバッファ２１ａの一定区間のデータ配列Ｓの長さをＮとした場合、新しく生成するデータ配列Ｃの長さＭをＭ＝Ｎ−ｐとする。Ｓ４、Ｓ５が終了したら、Ｓ１に戻って再度Ｃｒ´のカウントを行う。キャプチャ・フィルタ２１におけるデータ補間によるデータの追加及び削除の方法は、第１の実施の形態（図４）と同様である。
【００４７】
なお、イフェクタ・フィルタ２２は、他のタスクの影響によりその処理能力が変動するため、データのオーバーフロー又は枯渇が生じ易い。特に、イフェクタ・フィルタ２２がユーザ・モードで作成されたり、カーネル・モードであっても低いプライオリティで作成されたりしている場合には、その傾向が強くなる。このため、この実施の形態では、流量が所定値以下の場合には、上述のデータ挿入及び削除処理を行うと共に、流量が所定値以上となった場合には、データ補間によるデータの追加及び削除に加え、バッファ自体を間引く処理を実行する。その際、ノイズ除去のため、削除されたバッファに対応する区間の前後で周知のクロスフェード処理等を行うことが好ましい。なお、このバッファ自体を間引く処理は、イフェクタ・フィルタ２２で行ってもよい。
【００４８】
以上、ストリームデータの一例として楽音データを処理する場合について説明したが、本発明はこれに限られるものではなく、例えば映像データを処理する場合にも適用できるし、また効果音等の音響データ付の映像情報のような、楽音データと映像データの複合した信号を処理するのに適用できることはいうまでもない。
また、本実施の形態では、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４を設け、流量監視フィルタ２３をレンダラ・フィルタ２４の一段前に配置しているが、一段前である必要は必ずしもなく、例えば、上記以外の他のフィルタを流量監視フィルタ２４とレンダラ・フィルタ２４との間に配置してもよい。ただし、流量監視フィルタ２３は、監視対象であるフィルタの前段で、かつできるだけ近い位置に設置するのが好ましい。
また、上記実施の形態ではデータ補間の方法として直線補間を利用したが、これ以外の補間方法、例えばラグランジュ補間やスプライン補間を利用してもよい。
また、上記実施の形態では、ＵＳＢバッファ２１ａを利用したが、ＩＥＥＥ１３９４インターフェースなどのバッファを用いても良い。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、クロック制御のための複雑な構成を採用することなく、ストリームデータの入力・出力のタイミングの遅れを最小化することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係るストリームデータ処理システムの全体構成を示す。
【図２】 図１に示すストリームデータ処理システムのソフトウエア構成を示す。
【図３】 図１に示すストリームデータ処理システムの作用を示すフローチャートである。
【図４】 データ列中のデータの挿入・削除の方法を示す。
【図５】 本発明の第２の実施の形態に係るストリームデータ処理システムの作用を示すフローチャートである。
【符号の説明】
１・・・楽器、 ３・・・出力装置（スピーカ）、 １１・・・ＣＰＵ、 １２・・・ＲＯＭ、 １３・・・ＲＡＭ、 １４・・・ＨＤＤ、 １５・・・Ｉ／Ｆ、 １６・・・オーディオ・コントローラ、 ２１・・・キャプチャ・フィルタ、 ２２・・・イフェクタ・フィルタ、 ２３・・・流量監視フィルタ、 ２４・・・レンダラ・フィルタ。
【発明の属する技術分野】
本発明は、ストリームデータ（動画データ、楽音データ等）を入力デバイスから入力（キャプチャ）させ、何らかの処理を施した後、前記入力デバイスとは別個の出力デバイスから出力するストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
マルチメディア・データなどのストリームデータの処理においては、データストリームは、何らかのタイミング情報に基づいて同期して入出力や処理がなされるようになっている。タイミング情報としては、物理クロックや、ストリームデータに含まれるタイムスタンプ情報等がある。
【０００３】
このようなストリームデータを処理する装置においては、ストリームデータが入力される入力デバイスと、入力されたストリームデータを外部へ向けて出力する出力デバイスとがそれぞれ異なるクロックにより動作していることが多い。例えば、入力デバイスも出力デバイスも共に４４．１KHzのクロックで動作していることになっていても、発振器が異なることにより、両者の動作クロックの周期が微妙にずれることがあり得る。これにより、デバイス間のデータのやり取りの際にデータがオーバーフローしたり逆に枯渇したりすることにより、ノイズの発生など出力データが望ましい形とならないことが生じ得るという問題がある。
また、各デバイスの処理能力が何らかの理由により変動することにより、データがオーバーフローしたり逆に枯渇したりすることが生じ得るという問題がある。
【０００４】
このような問題は、こうしたストリームデータをソフトウエア的に構成する場合にも生じ得る。近年、パーソナルコンピュータ（ＰＣ）でストリームデータをソフトウエア的に処理するため、例えばマイクロソフト社のWINDOWS98などにおいては、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４インターフェースを用いてＰＣと外部機器を接続するために、DirectShow（登録商標）と呼ばれるストリームデータをＰＣ上で処理するのに適したＡＰＩ（Application Program Interface）が提供されている。DirectShowにおいては、データに対する何らかの処理を行うモジュール（これをフィルタという）を相互に接続して目的とするデータ処理を行っている。
【０００５】
こうした相互接続ソフトウエア・フィルタにより構成されるデータ処理システムにおいて、各フィルタの動作クロックが微妙にずれているような場合、これにより、データがオーバーフローしたり逆に枯渇したりすることにより、出力データが望ましい形とならないことが生じ得るという問題がある。
また、フィルタの一部がユーザ・モードで作成されたり、カーネル・モードであっても低いプライオリティで作成されるような場合には、データがオーバーフローしたり逆に枯渇したりすることにより、出力データが望ましい形とならないことが生じ得るという問題がある。例えば、オーディオ・データの処理システムに含まれるイフェクタ・フィルタは、イフェクトの設定をユーザが操作するためのユーザインタフェース機能を持つため、ユーザ・モードにより作成されることが多い。なお、ここで「カーネル・モード」とは、マイクロソフト社製のWINDOWS（登録商標）などのＯＳにおいて、非常に高いプライオリティが与えられた動作モードであり、コードはすべてのハードウエアとすべてのメモリに直接アクセス可能なモードをいう。また、「ユーザ・モード」とは、同様にWINDOWS（登録商標）などのＯＳにおいて、プライオリティが低く設定された動作モードであり、コードはハードウエアに直接アクセスすることができないようにされているモードをいう。
【０００６】
この場合、カーネル・モードのフィルタとユーザ・モードのフィルタとの間やユーザ・モードのフィルタの間でのデータの受け渡しにはカーネル・モードのフィルタ間のデータの受け渡しと比べて大きな処理負荷がかかるため、他のタスクの影響によりイフェクタ・フィルタの処理能力が変動して、イフェクタ・フィルタの前後においてデータのオーバーフロー又は枯渇が生じ、ストリームデータの理想的な出力ができなくなったり、ノイズが発生したりするという問題が生じる。
また、イフェクタ・フィルタがカーネル・モードで作成されていても、低いプライオリティで作成されている場合には、他のタスクの影響によりイフェクタ・フィルタの処理能力が変動し、データのオーバーフロー又は枯渇が生ずることが起こり得る。
【０００７】
この問題に鑑みた先行技術として、特許文献１に記載される同期化装置が知られている。この装置は、位置時間値（データストリームに関連する時間インターバル情報に基づく値であって、処理されるデータストリームの位置を反映するもの）、物理時間値（ハードウエア・オシレータまたはクロックに基づく値）、相関時間値（位置時間値などの指定時間値を参照時間値と共に提供するもの）という３つの異なる時間値を持ち、多数のデバイスで共通に利用することにより複数のストリームデータの入力及び出力タイミングのずれを最小化するようにしている。
【０００８】
【特許文献１】
特開平10-283199号（７頁他）
【０００９】
【発明が解決しようとする課題】
しかし、この公報に開示の装置では、入力及び出力タイミングのずれを最小化することはできるが、３つの異なる時間値を利用するため、処理レートの整合等のために複雑な制御を必要とした。本発明は、以上のような問題点に鑑みてなされたものであり、クロック制御のための複雑な構成を必要とせず、入力及び出力タイミングのずれを最小化することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的達成のため、本出願の第１の発明に係るストリームデータ処理システムは、相互接続ソフトウエア・フィルタにより構成されるストリームデータ処理システムにおいて、前記相互接続ソフトウエア・フィルタは、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタと、前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタと、前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタと、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタとを含み、前記キャプチャ・フィルタは、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整するように構成したことを特徴とする。
【００１１】
この第１の発明によれば、ストリームデータの流量が流量監視フィルタにより監視され、この監視結果に基づきデータ流量が調整される。
【００１２】
この第１の発明において、前記流量監視フィルタは、その後段に配置されるフィルタのバッファ情報に基づいて前記流量を判断するようにするのが好適である。さらに、前記キャプチャ・フィルタは、補間により前記データを挿入又は削除するのが好ましい。
また、前記流量監視フィルタは、前記後段に配置されるフィルタへの前記ストリームデータの出力を停止させた状態で前記バッファ情報を取得するようにすることができる。
また、前記流量監視フィルタは、ユーザ・モードで作成されるフィルタのバッファ情報に基づいて前記流量を判断するようにすることができる。この場合において、前記流量監視フィルタは、前記ストリームデータの流量に関する情報を前記キャプチャ・フィルタにフィードバックするように構成され、前記キャプチャ・フィルタは、前記フィードバックされた情報に基づき、前記流量が所定量より小さい場合には、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入することにより前記ストリームデータの流量を調整すると共に、前記流量が所定量より大きい場合には、バッファを間引く処理を実行することにより前記ストリームデータの流量を調整するように構成することができる。
【００１３】
上記目的達成のため、本出願の第２の発明に係るストリームデータ処理方法は、互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程とを備えたことを特徴とする。
【００１４】
上記目的達成のため、本出願の第３の発明に係るストリームデータ処理プログラムは、相互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、
前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程とをコンピュータに実行させるように構成されたことを特徴とする。また、このストリームデータ処理プログラムをコンピュータで読み取り可能な記録媒体に記録するようにしてもよい。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態を、図面に基づいて説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るストリームデータ処理システムのハードウエア構成を示すブロック図である。本実施の形態では、ストリームデータは、エレキギター、電子ピアノなどの楽器１より出力される楽音データであり、これをパーソナルコンピュータ（ＰＣ）２で処理し、スピーカ３より出力するものとする。ＰＣ２は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４等を有している。ＣＰＵ１１は、オペレーティングシステム（ＯＳ）の制御の下、各種のプログラムを実行するようにされている。
【００１６】
ＲＯＭ１２は、電源投入時に起動するブート・プログラムその他を記憶している不揮発性メモリである。また、ＲＡＭ１３は、起動された各種のプログラムを一時記憶するとともに、各種データを処理するための作業領域を提供する。ＨＤＤ１４は、ＯＳ及び各種プログラムを記憶するための磁気ディスクを駆動するためのドライブ装置である。
【００１７】
インターフェース（Ｉ／Ｆ）１５は、楽器１よりの楽音データを所定の方式に基づいて変換しＣＰＵ１１に出力する。また、オーディオ・コントローラ１６は、楽音信号の出力処理を行うための制御装置である。また、各種入力装置（マウス、キーボード等）からの入力は、Ｉ／Ｆ１７を介してＣＰＵ１１に入力される。
【００１８】
次に、ＰＣ２で実行されるプログラムのソフトウエア構成について説明する。図２は、ＰＣ２で実行されるプログラムのソフトウエア構造を、ハードウエア構成との対応関係を含めて図示したものである。
本実施の形態では、マイクロソフト社のDirectShow（登録商標）というＡＰＩによりストリームデータが処理されるものとする。
【００１９】
このDirectShowの仕組みにおいて、ソフトウエアは、フィルタと呼ばれる複数のオブジェクトを生成することにより構成され、また、各フィルタは、図示を略すフィルタ・グラフと呼ばれるアーキテクチャにより接続される。具体的には、本実施の形態のソフトウエアは、図２に示すように、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４から構成される。この例では、イフェクタ・フィルタ２２はユーザ・モードで、残余のフィルタはカーネル・モードで作成されているが、イフェクタ・フィルタ２２はカーネル・モードで作成してもよい。また、この実施の形態では、フィルタ２１〜２４は同一周波数の所定のクロックで動作するように設定されるが、様々な誤差要因により、実際のクロックの周期には、各フィルタ間で微妙なズレが存在しているものとする。
【００２０】
キャプチャ・フィルタ２１は、楽器１からの楽音データを取得するとともに、後段のイフェクタ・フィルタ２２等が認識できるようなフォーマットに変換して出力する機能を備えたものである。キャプチャ・フィルタ２１は、ＵＳＢバッファ２１ａと、リングバッファ２１ｂと、出力待ちバッファ２１ｃとを備えている。
楽器１からの楽音データは、最初にＵＳＢバッファ２１ａに保持され、順次リングバッファ２１ｂ、出力待ちバッファ２１ｃへと転送される。リングバッファ２１ｂは入力データのフォーマット変換の処理などに用いられる。出力待ちバッファ２１ｃの構成は様々に変更できるが、ここでは１０２４バイトのバッファが８個割り当てられるようにされたものとする。
【００２１】
イフェクタ・フィルタ２２は、キャプチャ・フィルタ２１から出力される楽音データに任意の変化を加えるためのものであり、入力バッファ２２ａと，リングバッファ２２ｂと、出力待ちバッファ２２ｃとを備えている。入力バッファ２２ａは、前段のキャプチャ・フィルタ２１内の出力待ちバッファ２１ｃと同様の構成とすることができる。入力バッファ２２ａは、出力待ちバッファ２１ｃとの間で所定のクロックに基づきバッファの受け渡しを行う。そして、入力バッファ２２ａ、リングバッファ２２ｂ、出力待ちバッファ２２ｃへと順次データの転送が行われる。リングバッファ２２ｂは楽音データのイフェクト付加の処理などに用いられる。出力待ちバッファ２２ｃも、出力待ちバッファ２１ｃや入力バッファ２２ａと同様の構成とすることができる。
このイフェクタ・フィルタ２２は、ユーザの多様な要請に応えるため様々なものが作られるとともに、ユーザが直接に操作の対象とする部分であるので、通常、ユーザ・モードで作られることが多い。
【００２２】
流量監視フィルタ２３は、イフェクタ・フィルタ２２とレンダラ・フィルタ２４との間に接続されており、入力バッファ２３ａ、リングバッファ２３ｂ、出力待ちバッファ２３ｃとを備えている。入力バッファ２３ａ，出力待ちバッファ２３ｃの構成は、前段の入力バッファ２２ａ，出力待ちバッファ２２ｃの構成と同じでよい。入力バッファ２３ａは、前段のイフェクタ・フィルタ２２内の出力待ちバッファ２２ｃとの間で所定のクロックに基づきバッファの受け渡しを行う。以下、順次入力バッファ２３ａ、リングバッファ２３ｂ、出力待ちバッファ２３ｃへとデータの転送が行われる。
また、この流量監視フィルタ２３は、フィルタ２１−２４により構成されるストリームデータ処理システムのデータストリーム中のデータの流量を監視するとともに、この監視の結果をキャプチャ・フィルタ２１やイフェクタ・フィルタ２２に向けて出力（フィードバック）する機能を有する。詳細は後述する。
【００２３】
レンダラ・フィルタ２４は、ストリームデータをオーディオ・コントローラ１６が認識できるフォーマットで出力するためのフィルタであり、レンダリングするデータを保持するためのバッファ２４ａを備えている。バッファ２４ａは、前段の出力待ちバッファ２３ｃ等と同様の構成でよい。バッファ２４ａは、出力待ちバッファ２３ｃとの間で所定のクロックに基づきバッファの受け渡しを行い、適宜オーディオ・コントローラ１６へデータを出力する。
なお、上記のフィルタ２１〜２４は、上述のように、基本的には同一の動作クロックにより駆動されているが、様々な誤差要因により微妙な周波数のズレが生じ得る。こうした周波数のズレがあり流量が多い場合には、上流のフィルタのバッファと下流のフィルタのバッファとの間でのデータの受け渡しにおいて、下流のフィルタの入力バッファにデータが溜まるのではなく、上流のフィルタの出力待ちバッファの方にデータが溜まることになる。
【００２４】
マネージャ２５は、流量監視フィルタ２３の監視タイミングを制御したり、この監視結果などの監視に関する情報に基づいてキャプチャ・フィルタ２１からの出力、及びレンダラ・フィルタ２４への入力、出力を制御したりするなど、各フィルタ間のデータ伝送の管理を担当する部分である。
【００２５】
次に、本実施の形態の作用を、図３に示すフローチャートに基づいて説明する。
ＨＤＤ１４よりストリームデータ処理プログラムが読み込まれ、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４等のフィルタが生成される。そして、楽器１よりＰＣ２に楽音データが入力されると、このデータがキャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４の順に転送され、スピーカ３に向けて出力される
【００２６】
この間、流量監視フィルタ２３は、データ流量を監視するため、レンダラ・フィルタ２４内の複数のバッファ２４ａのうちレンダリング中のバッファの数Ｃｒをカウントする（Ｓ１）。
入力バッファ２４ａのレンダリング中のバッファ数Ｃｒをカウントするようにしているのは、キャプチャ・フィルタ２１のクロックとレンダラ・フィルタ２４のクロックとの差が生じた場合に、その影響が反映され易いためである。すなわち、キャプチャ・フィルタ２１のクロックがレンダラ・フィルタ２４のクロックより速い状態においては、流量監視フィルタ２３の出力待ちバッファ２３ｃでデータが溜まり、レンダラ・フィルタ２４の入力バッファ２４ａでレンダリング中のバッファ数Ｃｒが少なくなる。この場合には、データ流量が多すぎると判断できる。一方、キャプチャ・フィルタ２１のクロックがレンダラ・フィルタ２４のクロックより遅い状態においては、流量監視フィルタ２３の出力待ちバッファ２３ｃに保持されるデータが減り、レンダラ・フィルタ２４の入力バッファ２４ａでレンダリング中のバッファ数Ｃｒが多くなる。この場合には、データ流量が少なすぎると判断できる。このレンダリング中のバッファ数Ｃｒのカウント結果に基づき、データ流量を制御する変数insertpoint、rejectpointを変化させる。
【００２７】
バッファ２４ａにおいてレンダリング中のバッファ数Ｃｒのカウントは、流量監視フィルタ２３内の出力待ちバッファ２３ｃの数をカウントすることにより実行してもよい。しかし、レンダリング中のバッファの何割がレンダリングが完了しているものかまで推測することは困難である。そこで、流量監視フィルタ２３の出力待ちバッファ２３ｃのキューにバッファが入れられてからレンダラ・フィルタ２４に出力されるまでの時間Ｔｗにより、バッファ２４ａにおいてレンダリング中のバッファ数Ｃｒを演算（カウント）する。時間Ｔｗが大きければ流量監視フィルタ２３内の出力待ちバッファ２３ｃの数は大きく、つまりレンダリング中のバッファ数Ｃｒは小さくなる。逆に、時間Ｔｗが小さければ流量監視フィルタ２３内の出力待ちバッファ２３ｃの数は小さく、つまりレンダリング中のバッファ数Ｃｒは大きくなる。
【００２８】
なお、バッファ数Ｃｒを演算する場合には、流量監視フィルタ２３のストリームが起動されたときに、まず下流のレンダラ・フィルタ２４にはデータを送らないで、出力待ちバッファ２３ｃにキューイングされているバッファの数をカウントし、バッファが一定時間キューイングされなくなった時のカウント値を出力待ちバッファ２３ｃとレンダラ・フィルタ２４との間のデータのやり取りに使用されるバッファ総数Ｃｂとする。
レンダリング中のバッファ数Ｃｒは、
【００２９】
【数１】
Ｃｒ＝Ｃｂ−Ｔｗ×Ｒ／Ｌｂ
ただし、
Ｌｂ：バッファ２４ａの各バッファのデータ長
Ｒ ：ストリームデータのデータの周期に対応した単位時間当たりの転送データの代表値
【００３０】
として求められる。ここで、Ｔｗの値は、例えば１０回程度の移動平均を取ったものとすると、高い精度でＣｒを演算することができる。
【００３１】
Ｃｒが演算されたら、流量監視フィルタ２３は、この演算値Ｃｒに基づいて変数insertpoint、rejectpointを決定する（Ｓ２）。変数insertpoint、rejectpointは、Ｃｒが所定の範囲内にあり、データ流量が過不足なく適当である場合にはinsertpoint＝０、rejectpoint＝０に設定される。Ｃｒが所定の範囲より大きく、データ流量が不足している場合には、insertpoint＞０、rejectpoint＝０とされ、一方、Ｃｒが所定の範囲より小さく、データ流量が過剰である場合には、insertpoint＝０、rejectpoint＞０とされる。
【００３２】
流量監視フィルタ２３は、この変数insertpoint、rejectpointをキャプチャ・フィルタ２１に向けて出力する（Ｓ３）。
キャプチャ・フィルタ２１は、この変数insertpoint、rejectpointが、０であるか又は０より大きいかを判定する（Ｓ４）。
キャプチャ・フィルタ２１は、insertpoint＞０の場合には、データを挿入するデータ挿入処理を実行する（Ｓ５）。すなわち、キャプチャ・フィルタ２１のＵＳＢバッファ２１ａでキャプチャした一定区間のデータ配列Ｓのデータ数をＮとした場合、新しく生成するデータ配列Ｃのデータ数ＭをＭ＝Ｎ＋ｐとする。
一方、rejectpoint＞０の場合には、キャプチャ・フィルタ２１はデータを削除するデータ削除処理を実行する（Ｓ６）。すなわち、キャプチャ・フィルタ２１でキャプチャした一定区間のデータ配列Ｓの長さをＮとした場合、新しく生成するデータ配列Ｃの長さＭをＭ＝Ｎ−ｐとする。Ｓ４、Ｓ５が終了したら、Ｓ１に戻って再度Ｃｒのカウントを行う。
【００３３】
次に、キャプチャ・フィルタ２１におけるデータ補間によるデータの追加及び削除の方法を、図４を用いて説明する。
元のデータ列Ｓが図４に示すごとく１区間にＮサンプルのデータを含むものである場合に、ｐ個のデータを補間して1区間にＭサンプル（Ｍ＝Ｎ＋ｐ）のデータを含む新たなデータ列Ｃを生成する場合を考える。
このとき、新データ列Ｃでの新たなサンプリング点ｍ（ｉ）は元のサンプリング点ｎ（ｉ）との関係において、
【００３４】
【数２】
ｍ（ｉ）＝Ｎ／Ｍ×ｎ（ｉ）（ｉ＝１，２、・・・Ｎ）
【００３５】
と表される。
【００３６】
また、これらの新たなサンプリング点におけるデータ値を、元のサンプリング点のデータに基づき、直線補間法を用いて求める。すなわち、ｍ（ｉ）がデータ配列Ｓ中でデータｎ（ｋ）とｎ（ｋ＋１）との間にあるとした場合（ｋ＝１，２・・・、Ｎ）、 ｍ（ｉ）でのデータの値Ｃｖ（ｍ（ｉ））は、
【００３７】
【数３】
Ｃｖ（ｍ（ｉ））
＝（Ｓｖ（ｎ（ｋ））×（ｎ（ｋ＋１）−ｍ（ｉ））
＋Ｓｖ（ｎ（ｋ＋１））×（ｍ（ｉ）−ｎ（ｋ）））／（ｎ（ｋ＋１）−ｎ（ｋ））
【００３８】
と表され、
特に、ｎ（ｋ＋１） ＝ｎ（ｋ）＋１の場合、
【００３９】
【数４】
Ｃｖ（ｍ（ｉ））
＝Ｓｖ（ｎ（ｋ））×（１−（ｍ（ｉ）−ｎ（ｋ）））＋Ｓｖ（ｎ（ｋ＋１））×（ｍ（ｉ）−ｎ（ｋ））
【００４０】
となる。
このように、本実施の形態のストリームデータ処理システムでは、レンダラ・フィルタ２４でのバッファ２４ａでの状況を流量監視フィルタ２３で監視し、監視結果に基づいてキャプチャ・フィルタ２１でのデータを補間により削除又は挿入している。これにより、キャプチャ・フィルタ２１とレンダラ・フィルタ２４のクロック周期の差によりデータストリームがオーバーフローしたり枯渇したりすることが無くなる。なお、データの追加及び削除処理は流量監視フィルタ２３で行ってもよい。この場合、入力バッファ２３ａから受け取ったデータをリングバッファ２３ｂを用いてデータの削除、挿入の処理を行い、出力待ちバッファ２３ｃに渡す。
【００４１】
ＰＣ２での処理を容易にするため、整数演算により補間データを求めるようにしてもよい。すなわち、ｎ（ｋ）とｎ（ｋ＋１）の間を例えば４０９６ポイントに分割して、次のように演算を実行してもよい。
【００４２】
【数５】
Ｃｖ（ｍ（ｉ））＝（Ｓｖ（ｎ（ｋ））×（4096−Ｒ）＋Ｓｖ（ｎ（ｋ＋１））×Ｒ）／4096
ただし、Ｒ＝（Ｎ／Ｍ×ｎ（ｉ）×4096）ｍｏｄ 4096
【００４３】
［第２の実施の形態］
次に、本発明の第２の実施の形態を、図５に基づいて説明する。この実施の形態のフィルタ構成は、第１の実施の形態（図２）と同様である。ただし、流量監視フィルタ２３は、レンダラ・フィルタ２４の入力バッファ２４ａを監視する代わりに、ユーザ・モードで作成されているイフェクタ・フィルタ２２の入力バッファ２２ａのバッファ数Ｃｒ´を監視し、このバッファ数Ｃｒ´に基づいて、キャプチャ・フィルタ２１でのデータを補間により削除又は挿入する点において、第１の実施の形態と異なっている。
【００４４】
この第２の実施の形態の作用を、図５に示すフローチャートに基づいて説明する。
流量監視フィルタ２３は、イフェクタ・フィルタ２２内の複数の入力バッファ２２ａのバッファの数Ｃｒ´をカウントする（Ｓ１１）。
Ｃｒ´がカウントされたら、流量監視フィルタ２３は、この演算値Ｃｒ´に基づいて変数insertpoint'、rejectpoint'を決定する（Ｓ１２）。変数insertpoint'、rejectpoint'は、Ｃｒ´が所定の範囲内にあり、データ流量が過不足なく適当である場合にはinsertpoint'＝０、rejectpoint'＝０に設定される。Ｃｒ´が所定の範囲より大きく、データ流量が不足している場合には、insertpoint'＞０、rejectpoint'＝０とされ、一方、Ｃｒ´が所定の範囲より小さく、データ流量が過剰である場合には、insertpoint'＝０、rejectpoint'＞０とされる。
【００４５】
流量監視フィルタ２３は、この変数insertpoint'、rejectpoint'をキャキャプチャ・フィルタ２１に向けて出力する（Ｓ１３）。
キャプチャ・フィルタ２１は、この変数insertpoint'、rejectpoint'が、０であるか又は０より大きいかを判定する（Ｓ１４）。キャプチャ・フィルタ２１は、insertpoint'＞０、rejectpoint'＝０の場合には、データを挿入するデータ挿入処理を実行する（Ｓ１５）。すなわち、イフェクタ・フィルタ２２のＵＳＢバッファ２１ａの一定区間のデータ配列Ｓのデータ数をＮとした場合、新しく生成するデータ配列Ｃのデータ数ＭをＭ＝Ｎ＋ｐとする。
【００４６】
一方、insertpoint'＝０、rejectpoint'＞０の場合には、キャプチャ・フィルタ２１はデータを削除するデータ削除処理を実行する（Ｓ１６）。すなわち、キャプチャ・フィルタ２１のＵＳＢバッファ２１ａの一定区間のデータ配列Ｓの長さをＮとした場合、新しく生成するデータ配列Ｃの長さＭをＭ＝Ｎ−ｐとする。Ｓ４、Ｓ５が終了したら、Ｓ１に戻って再度Ｃｒ´のカウントを行う。キャプチャ・フィルタ２１におけるデータ補間によるデータの追加及び削除の方法は、第１の実施の形態（図４）と同様である。
【００４７】
なお、イフェクタ・フィルタ２２は、他のタスクの影響によりその処理能力が変動するため、データのオーバーフロー又は枯渇が生じ易い。特に、イフェクタ・フィルタ２２がユーザ・モードで作成されたり、カーネル・モードであっても低いプライオリティで作成されたりしている場合には、その傾向が強くなる。このため、この実施の形態では、流量が所定値以下の場合には、上述のデータ挿入及び削除処理を行うと共に、流量が所定値以上となった場合には、データ補間によるデータの追加及び削除に加え、バッファ自体を間引く処理を実行する。その際、ノイズ除去のため、削除されたバッファに対応する区間の前後で周知のクロスフェード処理等を行うことが好ましい。なお、このバッファ自体を間引く処理は、イフェクタ・フィルタ２２で行ってもよい。
【００４８】
以上、ストリームデータの一例として楽音データを処理する場合について説明したが、本発明はこれに限られるものではなく、例えば映像データを処理する場合にも適用できるし、また効果音等の音響データ付の映像情報のような、楽音データと映像データの複合した信号を処理するのに適用できることはいうまでもない。
また、本実施の形態では、キャプチャ・フィルタ２１、イフェクタ・フィルタ２２、流量監視フィルタ２３、レンダラ・フィルタ２４を設け、流量監視フィルタ２３をレンダラ・フィルタ２４の一段前に配置しているが、一段前である必要は必ずしもなく、例えば、上記以外の他のフィルタを流量監視フィルタ２４とレンダラ・フィルタ２４との間に配置してもよい。ただし、流量監視フィルタ２３は、監視対象であるフィルタの前段で、かつできるだけ近い位置に設置するのが好ましい。
また、上記実施の形態ではデータ補間の方法として直線補間を利用したが、これ以外の補間方法、例えばラグランジュ補間やスプライン補間を利用してもよい。
また、上記実施の形態では、ＵＳＢバッファ２１ａを利用したが、ＩＥＥＥ１３９４インターフェースなどのバッファを用いても良い。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、クロック制御のための複雑な構成を採用することなく、ストリームデータの入力・出力のタイミングの遅れを最小化することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係るストリームデータ処理システムの全体構成を示す。
【図２】 図１に示すストリームデータ処理システムのソフトウエア構成を示す。
【図３】 図１に示すストリームデータ処理システムの作用を示すフローチャートである。
【図４】 データ列中のデータの挿入・削除の方法を示す。
【図５】 本発明の第２の実施の形態に係るストリームデータ処理システムの作用を示すフローチャートである。
【符号の説明】
１・・・楽器、 ３・・・出力装置（スピーカ）、 １１・・・ＣＰＵ、 １２・・・ＲＯＭ、 １３・・・ＲＡＭ、 １４・・・ＨＤＤ、 １５・・・Ｉ／Ｆ、 １６・・・オーディオ・コントローラ、 ２１・・・キャプチャ・フィルタ、 ２２・・・イフェクタ・フィルタ、 ２３・・・流量監視フィルタ、 ２４・・・レンダラ・フィルタ。
Claims (9)
- 相互接続ソフトウエア・フィルタにより構成されるストリームデータ処理システムにおいて、
前記相互接続ソフトウエア・フィルタは、
外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタと、
前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタと、
前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタと、
前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタと
を含み、
前記キャプチャ・フィルタは、前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整するように構成したことを特徴とするストリームデータ処理システム。 - 前記流量監視フィルタは、その後段に配置されるフィルタのバッファ情報に基づいて前記流量を判断する請求項１に記載のストリームデータ処理システム。
- 前記キャプチャ・フィルタは、補間により前記データを挿入又は削除する請求項１に記載のストリームデータ処理システム。
- 前記流量監視フィルタは、前記後段に配置されるフィルタへの前記ストリームデータの出力を停止させた状態で前記バッファ情報を取得する請求項２に記載のストリームデータ処理システム。
- 前記流量監視フィルタは、ユーザ・モードで作成されるイフェクタ・フィルタのバッファ情報に基づいて前記流量を判断する請求項１に記載のストリームデータ処理システム。
- 前記キャプチャ・フィルタは、前記フィードバックされた情報に基づき、前記流量が所定量より小さい場合には、前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入することにより前記ストリームデータの流量を調整すると共に、
前記流量が所定量より大きい場合には、前記バッファを間引く処理を実行することにより前記ストリームデータの流量を調整することを特徴とする
請求項５に記載のストリームデータ処理システム。 - 相互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、
外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、
前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、
前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、
前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、
前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列の サンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程とを備えたことを特徴とするストリームデータ処理方法。 - 相互接続ソフトウエア・フィルタを生成してストリームデータを処理するストリームデータ処理方法において、
外部より入力される楽音のストリームデータを保持し、後段のフィルタに出力するキャプチャ・フィルタを生成する工程と、
前記キャプチャ・フィルタが出力するストリームデータを入力して任意の変化を加えるためのイフェクタ・フィルタを生成する工程と、
前記イフェクタ・フィルタが出力するストリームデータを入力して外部に出力するレンダラ・フィルタを生成する工程と、
前記イフェクタ・フィルタと前記レンダラ・フィルタとの間に配置され前記キャプチャ・フィルタと前記レンダラ・フィルタとの間の前記ストリームデータの流量を監視する流量監視フィルタを生成する工程と、
前記流量監視フィルタからの前記監視に関する情報のフィードバックを受け、この監視に関する情報に基づき、前記キャプチャ・フィルタに保持された一定区間のデータ配列のサンプル数を増減して、該サンプル数の増減に応じた新たなサンプリング点におけるデータ列を生成することにより、前記イフェクタ・フィルタにおける前記ストリームデータからデータを一部削除し又は前記ストリームデータにデータを挿入して前記流量を調整する工程
とをコンピュータに実行させるように構成されたことを特徴とするストリームデータ処理プログラム。 - 請求項８に記載のストリームデータ処理プログラムを格納したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003088944A JP4238614B2 (ja) | 2002-04-26 | 2003-03-27 | ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002126886 | 2002-04-26 | ||
| JP2003088944A JP4238614B2 (ja) | 2002-04-26 | 2003-03-27 | ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005520A JP2004005520A (ja) | 2004-01-08 |
| JP4238614B2 true JP4238614B2 (ja) | 2009-03-18 |
Family
ID=30447541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003088944A Expired - Fee Related JP4238614B2 (ja) | 2002-04-26 | 2003-03-27 | ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4238614B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011111235A1 (ja) * | 2010-03-08 | 2011-09-15 | 株式会社日立製作所 | ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ流量制御プログラム |
-
2003
- 2003-03-27 JP JP2003088944A patent/JP4238614B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004005520A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060253675A1 (en) | Method and apparatus for scheduling real-time and non-real-time access to a shared resource | |
| US20060184261A1 (en) | Method and system for reducing audio latency | |
| JP2004513454A (ja) | 周期的タスクのベストケース反応時間を決定する方法および装置 | |
| US6150599A (en) | Dynamically halting music event streams and flushing associated command queues | |
| US7434078B2 (en) | Synchronization with hardware utilizing software clock slaving via a clock | |
| EP2313827B1 (en) | Method and system for measuring task load | |
| WO2021052120A1 (zh) | 离线视频文件倍速分析方法和装置 | |
| US7421706B2 (en) | Methods and systems for predicting events associated with renderable media content samples | |
| JP4238614B2 (ja) | ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体 | |
| KR100682444B1 (ko) | 오디오 신호 프로세서 | |
| US7590459B2 (en) | Stream data processing system, stream data processing method, stream data processing program, and computer readable recording medium for storing stream data processing program | |
| JPH04330561A (ja) | デジタル信号処理装置 | |
| JP4254677B2 (ja) | 楽音発生装置および楽音発生処理のプログラム | |
| JP4547123B2 (ja) | オーディオ・インターフェイス回路 | |
| JP3134811B2 (ja) | データ処理装置 | |
| JP2002032233A (ja) | マルチスレッドシステムにおけるデータｉ／ｏ処理方法 | |
| JP2006139158A (ja) | 音響信号の合成装置および合成再生装置 | |
| JP2684820B2 (ja) | サラウンド回路 | |
| JP3693045B2 (ja) | 楽音発生装置 | |
| JP2677062B2 (ja) | 時系列データの編集装置 | |
| JP5245689B2 (ja) | 並列処理装置、プログラム及び記録媒体 | |
| JP4325781B2 (ja) | 暗号装置 | |
| JP3416498B2 (ja) | サーバ装置およびその制御方法並びにサーバ装置制御プログラムを記録した記録媒体 | |
| JP2020071729A (ja) | 処理フレームワーク連携装置、処理フレームワーク連携方法および処理フレームワーク連携プログラム | |
| JP2000122650A (ja) | 音声データ処理装置およびコンピュータシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081015 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |