JP4542308B2 - 信号処理用デバイス及び情報処理機器 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば画像、音その他の意思表現媒体に関する複数書類の処理を統合的に実行可能な情報処理機器及びその構成部品に関する。
【０００２】
【従来の技術】
通信及びネットワーク技術の発展により、デジタル放送用のセットトップボックス、或いは、家庭内の複数の機器を連動させるホームサーバのようなエンタテインメント機器が普及し始めている。
【０００３】
図８は、エンタテインメント機器の一例となるホームサーバの構成図である。
ホームサーバは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＩＰＵ（Image Processing Unit）、ＳＰＵ（Sound Processing Unit）のような各種プロセッサユニット、ＲＡＭ（Random Access Memory）などのメモリ、ネットワークインタフェース、ハードディスク装置などのストレージを含んで構成され、各プロセッサユニットがそれぞれ所定のコンピュータプログラムを読み取って実行することにより、ネットワークで配信されるデータの受信、解読、圧縮・解凍、家庭内ネットワークへの配信、ネットワークへの送信など、さまざまな機能を実現する。
【０００４】
ＩＰＵは、圧縮データの解凍、デコード、画像のフィルタリング、マッチングなどの画像処理を高速に行うための専用プロセッサユニットである。ＧＰＵは、レンダリング処理用のプロセッサであり、「グラフィックエンジン」と呼ばれる場合もある。ＳＰＵoutは、音声出力処理用のプロセッサユニットであり、音声のフィルタリング、イフェクトなどを行う。ＳＰＵinは音声入力処理用のプロセッサユニットであり、音声の帯域制限、高速フーリエ変換などの処理を行う。
このような構成のホームサーバは、アプリケーションプログラムに応じて、種々の機能をサーバ内に構築する。以下、ゲーム、映像音声配信、画像音声通信用のアプリケーションプログラムが入力された場合の動作を説明する。
【０００５】
１．ゲーム
ＣＰＵと所定の基本プログラムとの協働により、ネットワーク上にあるゲームサーバからゲームプログラム及びデータをダウンロードし、これをストレージに蓄える。ＣＰＵはストレージに蓄えられたゲームプログラムを実行し、画像データ及び音声データを生成する。そして、これらをＧＰＵ、ＳＰＵoutに転送する。ＧＰＵは画像データに基づく画像を生成し、ＳＰＵoutは音声データに基づく音声を生成する。ユーザは、生成された画像及び音声を視聴しながらゲームを行い、必要に応じて、コントローラなどの操作を行う。これにより生成される操作データは、ＩＯを通じてホームサーバに入力され、ゲームの進行に影響を与える。
【０００６】
２．映像音声配信
ＣＰＵと所定の基本プログラムとの協働により、ネットワーク上の映像サーバから映像データ及び音声データをダウンロードし、これらをストレージに蓄える。
ＣＰＵは、ストレージに蓄えられたデータを読み出し、メモリに記録されている所定のプログラムを実行して映像音声を解読し、映像音声データを生成する。そして、この映像音声データをＧＰＵ及びＳＰＵoutへ転送し、映像についてはＧＰＵを通じてディスプレイに表示させ、音声についてはＳＰＵoutを通じてスピーカなどから出力させる。これにより、ユーザは、映像音声を視聴することができる。
【０００７】
３．画像音声を使った通信
カメラなどの撮像装置によってユーザのデジタルの撮像画像を取り込み、ＩＰＵによって画像処理を行う。この画像処理により、帯域制限及び動き検出などが行われる。ＣＰＵはＩＰＵの処理結果を使って撮像画像を圧縮し、圧縮された画像をＩＯからネットワーク上に送出する。
同一機能を有するホームサーバを保有する受信者が、ネットワーク上から上記の圧縮された映像データを受け取ると、そのホームサーバのＣＰＵは、受け取った映像データをメモリ上の解凍プログラムを実行させて解凍し、解凍後の画像をＩＰＵに送る。ＩＰＵは、解凍後の画像に対して画像処理を行い、画質を改善させた映像データを生成する。この映像データによる映像はＧＰＵを通じてディスプレイに表示される。音声についても同様に、送信側では圧縮し、受信側では解凍して、これにより得られた音声が、ＳＰＵoutを通じてスピーカなどから出力される。
【０００８】
セットトップボックスについても、外部機器との接続形態が異なるだけで、内部の動作については、ホームサーバとほぼ同様となる。
【０００９】
【発明が解決しようとする課題】
従来のホームサーバは、ユーザの需要、すなわち実行させるアプリケーションプログラムの内容によって、ＧＰＵ、ＩＰＵ、ＳＰＵout，ＳＰＵinを使い分ける必要があるが、複数種類のアプリケーションプログラムを同時に実行しなければならない場合もある。例えば、ユーザがゲームをしている間に画像通信を行うというような場合である。このとき、各プロセッサユニットは、次のように複数の処理を実行する必要がある。
【００１０】
・ＧＰＵがゲーム用の画像生成と画像通信用の画像生成とを行う。
・ＩＰＵが通信用入力画像処理と出力画像処理とを行う。
・ＳＰＵoutがゲーム用の出力音声処理と通信用の出力音声処理とを行う。
・ＳＰＵinがゲーム用の入力音声処理と通信用の入力音声処理とを行う。
このように、画像処理と画像生成、音声出力処理と音声入力処理をそれぞれ同時に行うためには、ＩＰＵ、ＧＰＵ、ＳＰＵをそれぞれ複数配備することが最も簡易な手法である。しかし、そうすると、複数種類の処理を同時に行わない場合、すなわち単一の処理のみを行うときに、使わないリソースが多くなり、無駄が生じる。一方、これらの複数種類の処理を単一のプロセッサユニットだけで行おうとすると、以下のような問題が生じる。
【００１１】
・性能が足りない
例えば、ＩＰＵが行っている画像処理を汎用のプロセッサユニットだけで行おうには、画像処理のための演算量が膨大であり、しかも、演算量が、処理対象となる画像の種類や処理の内容によって大きく変動するため、演算器の数が足りなすぎる。また、単一のプロセッサユニットになることで、メモリアクセスが一本化されてしまうことから、性能が十分なものとはならず、複数種類の処理を同時に行うことができない。
【００１２】
・性能の予測が難しい
複数種類の処理を単一のプロセッサユニットで行う形態では、対象となる処理を時分割で切り替える必要がある。そのため、このような形態では、一方の処理に要する時間の変化が他方の処理に影響を与えるため、単一の処理に予定される処理時間が狂うことがある。また、同一の資源を共用したメモリアクセスなどでは、メモリのキャッシュミスが起こる頻度が、単一の処理の場合とは著しく異なる可能性があり、性能の予測が外れる。
【００１３】
本発明は、このような事情に鑑み、複数種類の処理を効率的且つ高信頼性のもとで行うことができる情報処理機器及びその構成部品を提供することを主たる課題とするものである。
【００１４】
【課題を解決するための手段】
本発明が提供する情報処理機器は、信号処理用デバイスと、前記信号処理用デバイスに信号処理の需要を与える主プロセッサとを備え、複数種類の信号処理の同時実行を可能にするものである。
前記信号処理用デバイスは、汎用信号処理プロセッサ、管理プロセッサ及び入出力インタフェースを有している。前記汎用信号処理プロセッサは小プロセッサの集合により構成されている。各小プロセッサは、それぞれ他の小プロセッサとは独立に、信号処理に関わる演算を行うものである。前記入出力インタフェースは、外部デバイス又はいずれかの前記小プロセッサからの処理対象信号の入力と、外部デバイス又はいずれかの前記小プロセッサへの処理結果信号の出力とを行うものである。前記管理プロセッサは、各々の前記小プロセッサが行うべき演算の内容を、前記信号処理の需要に応じて変更させるとともに、前記入出力インタフェースを通じて入力された処理対象信号の受取先又は前記処理結果信号の出力元となる小プロセッサを、前記需要に応じて切り替えるように当該入出力インタフェースを制御するものである。
【００１５】
このように構成される情報処理機器では、各々の小プロセッサが行う演算の内容を信号処理の需要に応じて変えることができるので、同じハードウエア構成でありながら、多種類の処理を実行することが可能になる。また、入出力インタフェースを通じて小プロセッサ間を繋ぐこともできるので、小プロセッサ間で多種類の信号処理の結果を互いに利用して連携処理を行うことも可能になる。また、画像データと音声データなど、多種類のデータが、インターリーブされた入出力も扱いやすくなる。さらに、個々の小プロセッサの動作が独立しているので、個々の処理の性能予測が、他の処理に影響されず、容易になる効用がある。
【００１６】
ネットワーク接続によって外部サーバ等からデジタル情報を受け取り、これによって信号処理の需要を決定することもできる。この場合は、コンピュータネットワークとの接続を可能にするネットワークインタフェースと、コンピュータ読み取り可能なデジタル情報を蓄積するストレージ手段とを更に備えた情報処理機器とする。そして、前記主プロセッサが、前記ネットワークインタフェースを制御して外部機器から前記デジタル情報を取得し、取得したデジタル情報を前記ストレージ手段に蓄積するとともに、蓄積されたデジタル情報及びそれに基づく信号処理の需要を前記信号処理用デバイスの管理プロセッサに与えることにより、前記デジタル情報によりその内容が定まるエンタテインメント処理のための動作環境を１又は複数の前記小プロセッサ上に構築させるようにする。
【００１７】
このようなネットワーク接続可能な情報処理機器において、好ましくは、前記主プロセッサが、前記管理プロセッサを通じて前記１又は複数の小プロセッサにエンタテインメント処理のための動作環境を構築させた後、異なるデジタル情報を取得したときは、前記構築済みの動作環境を前記異なるデジタル情報に基づく新たな動作環境に再構築させるようにする。
前記デジタル情報は、例えば、それぞれ所要の機能を実現可能にするための複数種類のアプリケーションプログラムとすることができる。この場合、前記管理プロセッサは、前記小プロセッサの各々にいずれかの機能を割り当て、割り当てた機能を実現するためのアプリケーションプログラムを前記ストレージから読み出して実行させるように構成する。他の小プロセッサの処理によって自己に割り当てられた処理が停滞することになる事態を防止する観点からは、個々の前記小プロセッサが、前記管理プロセッサが他の需要を付与されるまでは自己に割り当てられた機能を実現するアプリケーションプログラムを実行するためにのみ動作するように構成する。
【００１８】
本発明は、また、本発明の情報処理機器の主要部品として実施可能な信号処理用デバイスを提供する。
この信号処理用デバイスは、主プロセッサを有する情報処理機器に備えられ、前記主プロセッサより与えられた信号処理の需要に応じて複数種類の信号処理の同時実行を可能にする信号処理用デバイスであって、汎用信号処理プロセッサと管理プロセッサとを有し、前記汎用信号処理プロセッサは、小プロセッサの集合により構成されており、各々の小プロセッサは、それぞれ他の小プロセッサとは独立に、信号処理に関わる演算を行うものであり、前記管理プロセッサは、各々の前記小プロセッサが行うべき演算の内容を、前記信号処理の需要に応じて変更させるものである。
【００１９】
外部デバイスとの連携によって多種多様な信号処理を可能にする用途に適合させる観点からは、外部デバイス又はいずれかの前記小プロセッサからの処理対象信号の入力と、外部デバイス又はいずれかの前記小プロセッサへの処理結果信号の出力とを行う入出力インタフェースをさらに備えて信号処理用デバイスを構成する。この場合、前記管理プロセッサは、入力された処理対象信号の受取先又は前記処理結果信号の出力元となる小プロセッサを信号処理の需要に応じて切り替えるように前記入出力インタフェースを制御するように構成する。前記入出力インタフェースは、例えば、前記外部デバイスといずれかの前記小プロセッサ、又は、前記小プロセッサ同士を選択的に接続可能にするクロスバスイッチを含み、あるいは、前記外部デバイスといずれかの前記小プロセッサ、又は、前記小プロセッサ同士を選択的に接続可能にする多重バスを含むものである。
【００２０】
好ましい実施の態様では、各々の小プロセッサにそれぞれローカルメモリが設けられており、各小プロセッサのローカルメモリには、当該小プロセッサによる信号処理の対象となる信号あるいは信号処理の結果が、前記入出力インタフェースへの出力が可能になるまでの間記録されるようにする。
【００２１】
前記汎用信号処理プロセッサ、前記管理プロセッサ及び前記入出力インタフェースが一つのパッケージ筐体に収容された信号処理用デバイスとしてもよい。このパッケージ筐体には、少なくとも、管理プロセッサに信号処理の需要を与える装置との接続を可能にする第１接続インタフェースと、前記入出力インタフェースとの間で信号の受け渡しを行う前記外部デバイスとの接続を可能にする第２接続インタフェースとが形成されているものである。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
＜エンタテインメント機器の構成：ホームサーバ＞
図１は、エンタテインメント機器の一例となるホームサーバの構成図である。
このホームサーバ１は、本発明の信号処理用デバイス１０と、ボードに実装されたＣＰＵ１１及びメモリ（Memory)１２と、ネットワークインタフェースの一例となるＩＯ（InputOutput）１３を共通バスＢに接続して構成される。ＩＯ１３には、インターネットのようなコンピュータネットワークが接続できるようになっており、さらに、ハードディスク装置などのストレージ（Storage)１４が接続されている。
【００２３】
ハードウエアとしてのＣＰＵ１１，メモリ１２及びＩＯ１３は、前述した従来のホームサーバのものと同じ部品である。メモリ１２にはＣＰＵ１１が読み取り可能な制御プログラム（オペレーティングシステム等）及び実行形式の各種プログラム（圧縮、解凍、暗号化、復号その他のユーティティリティ・プログラム）が蓄積されており、これらのプログラムに従ってＣＰＵ１１が信号処理用デバイス１０及びＩＯ１３を制御して、エンタテインメント処理用の各種アプリケーションプログラムの実行環境を構築させる。
【００２４】
信号処理用デバイス１０は、ハードウエアと入れ替え可能なアプリケーションとの協働により、自らのコンフィグレーション（動作環境）を需要に応じて変え、これにより複数種類の処理を選択的に実行可能にする、いわゆる多目的処理回路として動作する。そのためのハードウエア構成は、図示のとおりである。すなわち、一つのパッケージ筐体の内部に、管理プロセッサ１０１と、内部メモリ１０２と、汎用信号処理プロセッサ１０３とが内部バスＢ１０に接続されており、さらに、汎用信号処理プロセッサ１０３には入出力インタフェースの一例となるクロスバ１０４が接続されている。
【００２５】
管理プロセッサ１０１は、内部メモリ１０２に記録されている管理用プログラムを読み出して実行することにより、信号処理用デバイス１０の内部バスＢ１０を含む各部の動作及び共通バスＢを伝送するデータ等の制御と、ＣＰＵ１１との協働によってホームサーバの機能の一部とを行う。また、ＣＰＵ１１から転送されるプログラムを実行したり、そのプログラムの一部又は全部を汎用信号処理プロセッサ１０３に転送させたりする。処理すべき内容を判別して、必要となるプログラムを共通バスＢ上のメモリ１２から入手して実行する機能を持たせるようにしてもよい。
【００２６】
汎用信号処理プロセッサ１０３は、それぞれ独立の動作環境で動作可能な４つの小プロセッサ１０３Ａ〜１０３Ｄの集合により構成される。但し、「独立の動作環境」とは他の小プロセッサの動作環境に依存しないということであって、同じタイミングで同じ内容の動作を並行して行うことは可能である。また、他の小プロセッサと連携して動作することも可能である。
【００２７】
各小プロセッサ１０３Ａ〜１０３Ｄは、図２に示すように、それぞれ、ローカルメモリＬＭに記録されたデジタル情報をもとに制御部ＣＮが演算部ＣＬを制御して演算を行い、その結果をローカルメモリＬＭに一時的に保管する。演算の内容は、デジタル情報の内容に応じて異なる。例えば、画像処理のための演算、音声処理のための演算、通信処理のための演算等が、小プロセッサ１０３Ａ〜１０３Ｄで行う演算である。
デジタル情報は、例えば、管理プロセッサ１０１から転送されたプログラム及びデータ、又は、その小プロセッサが自ら管理プロセッサ１０１にリクエストして取得したプログラム及びデータである。管理プロセッサ１０１から送られるプログラム及びデータは、管理プロセッサ１０１自身が入手したものと、ＣＰＵ１１がメモリ１２に転送したものをさらに管理プロセッサ１０１によって転送されたものとを含む。
各小プロセッサ１０３Ａ〜１０３Ｄによる処理の結果は、クロスバ１０４を介して小プロセッサ間で相互に受け渡しを行えるようになっている。プログラムの内容によっては、処理した側の小プロセッサが内部バスＢ１０を通じて処理の結果を内部メモリ１０２に一時的に保存しておき、受け取り側の小プロセッサが、内部メモリ１０２から処理の結果をとりにいく、という形態もある。
【００２８】
汎用信号処理プロセッサ１０３をこのように小プロセッサ１０３Ａ〜１０３Ｄの集合により構成することで、異なる種類の処理ないし機能を小プロセッサの各々に割り当てることができる。割り当て方も自由に選べるので、リソースの無駄が少なくなる。従来のような専用のプロセッサでは、このような柔軟なやり方はできなかった。汎用信号処理プロセッサ１０３を構成する小プロセッサの数をいくつにするかは、エンタテインメント処理で必要となるフォーマットと性能に応じて決定すればよい。
【００２９】
クロスバ１０４は、半導体チップ用に構成された小型クロスバを用いることができる。このクロスバ１０４は、入出力ラインの交点であるクロスポイントのアドレスを指定することで、入出力ラインの接続を任意に切り替えるものである。
このアドレスの指定は、予めＣＰＵ１１の初期処理として行ってもよいし、管理プロセッサ１０１が目的とする処理の内容に応じて行ってもよいし、あるいは、信号処理用デバイス１０の汎用信号処理プロセッサ１０３が自己に割り当てられた処理の過程で直接、あるいは管理プロセッサ１０１又はＣＰＵ１１に依頼して行うようにしてもよい。
【００３０】
クロスバ１０４には、また、外部デバイスの一例となるディスプレイ１５、カメラ１６、スピーカ１７、マイクロフォン１８、ゲーム用コントローラ１９のような周辺機器が、それぞれ、例えばＵＳＢ（Universal Serial Bus ）のような、機器の種別を自動認識可能なインタフェースを通じて接続できるようになっている。
【００３１】
なお、図１におけるバス構成は例示であり、本発明を実施する際に、図示したものとは異なる種々の構成をとり得る。例えば、信号処理用デバイス１０内の内部バスＢ１０とクロスバ１０４とが一体になる構成、共通バスＢと内部バスＢ１０とクロスバ１０４とが一体になる構成も可能である。
【００３２】
＜ホームサーバの動作＞
次に、上記のように構成されるホームサーバ１の動作を説明する。ここでは、便宜上、従来例で示したゲーム、映像配信、画像音声通信を行う場合の動作例を説明する。
【００３３】
１．ゲーム
ホームサーバ１でゲームを行う場合の手順は、次のとおりである。
ＣＰＵ１１は、例えばゲーム用コントローラ１９からのゲーム開始指示に基づき、メモリ１２に記録されている制御プログラム及び実行形式のプログラムを読み出し、これらのプログラムとの協働により、信号処理用デバイス１０のコンフィグレーション（動作環境）をゲーム用に変える。このとき、実行形式のプログラムの一部又は全部が、信号処理用デバイス１０の内部メモリ１０２に到達させる。
【００３４】
信号処理用デバイス１０では、管理プロセッサ１０１が、内部メモリ１０２のプログラムに基づき、ゲームのための負荷と処理すべき内容とを推定する。そして、推定結果に応じて、動作させるべき小プロセッサの数を決め、これらの小プロセッサにゲーム用の動作環境を構築させる。
例えば、ゲームが、コンテンツとして画像と音声とを伴うもので、画像生成、画像処理、音声出力の処理を行う必要がある場合、管理プロセッサ１０１は、第１及び第２の小プロセッサ１０３Ａ，１０３Ｂに画像生成用プログラムを転送し、第３の小プロセッサ１０３Ｃに画像処理用プログラムを転送し、第４の小プロセッサ１０３Ｄに音声出力用プログラムを転送し、それぞれそれらのプログラムを実行可能にする。
【００３５】
ＣＰＵ１１は、次いで、ＩＯ１３を制御してネットワーク上のゲームサーバ（図示省略）からゲームプログラムとデータとをダウンロードし、これをストレージ１４に蓄える。
ダウンロードが終了すると、ＣＰＵ１１は、ストレージ１４に蓄えられているゲームプログラムを読み出し、これを実行する。その際、画像データについては、内部バスＢ１０を通じて第１及び第２小プロセッサ１０３Ａ，１０３Ｂに転送し、音データについては、内部バスＢ１０を通じて第４の小プロセッサ１０３Ｄに転送し、画像及び音を生成させる。
第１及び第２の小プロセッサ１０３Ａ，１０３Ｂで生成された画像は、内部バスＢ１０を通じて第３の小プロセッサ１０３Ｃに転送され、フィルタリングなどの後処理が行われた後、クロスバ１０４を通じてディスプレイ１５から出力される。第４の小プロセッサ１０３Ｄにより生成された音はクロスバ１０４を通じてスピーカ１７から出力される。なお、内部バスＢ１０及びクロスバ１０４の制御は、管理プロセッサ１０１により行われる。
ユーザは、それらを視聴しながらゲームを行い、必要に応じてゲーム用コントローラ１９などの操作を行う。これにより得られた操作データは、ＣＰＵ１１で実行されているゲームプログラムの進行に影響を与えることになる。
【００３６】
２．映像音声配信
映像音声をホームサーバ１で視聴するときの手順は、以下のとおりである。
ＣＰＵ１１は、メモリ１２に記録されている制御プログラム及び実行形式のプログラムとの協働により、信号処理用デバイス１０のコンフィグレーションを映像配信用に変える。このとき、実行形式のプログラムの一部又は全部を、信号処理用デバイス１０の内部メモリ１０２に到達させる。
【００３７】
信号処理用デバイス１０では、管理プロセッサ１０１が、この内部メモリ１０２のプログラムにより、全体の処理の負荷と処理の種類とを推定するとともに動作させるべき小プロセッサの数を決め、これらの小プロセッサに、映像音声配信用の動作環境を構築させる。
例えば、配信対象となる映像の画像生成に対して画像処理のための負荷が相対的に大きい場合、管理プロセッサ１０１は、第１の小プロセッサ１０３Ａに内部バスＢ１０を通じて画像生成用プログラムを転送し、第２及び第３の小プロセッサ１０３Ｂ、１０３Ｃに内部バスＢ１０を通じて画像処理用プログラムを転送し、第４の小プロセッサ１０３Ｄに内部バスＢ１０を通じて音声出力用プログラムを転送し、それぞれ、それらのプログラムを実行可能にする。
【００３８】
ＣＰＵ１１は、次いで、ＩＯ１３を制御してネットワーク上の映像サーバ（図示省略））から映像音声データをダウンロードし、これをストレージ１４に蓄える。ダウンロードが終了すると、ＣＰＵ１１は、ストレージ１４から映像音声データを読み出しながら、実行形式のプログラムにより映像音声の解読、解凍を行い、映像データ及び音データを生成する。そして、映像データを内部バスＢ１０を通じて第２及び第３の小プロセッサ１０３Ｂ、１０３Ｃに転送し、フィルタリングなどの後処理を行わせ、映像を生成させる。ＣＰＵ１１は、また、字幕、ユーザインタフェース用画像データを生成し、これを内部バスＢ１０を通じて第１の小プロセッサ１０３Ａに送り、字幕、ユーザインタフェース用画面を生成させる。ＣＰＵ１１は、さらに、内部バスＢ１０を通じて第２及び第３の小プロセッサ１０３Ｂ、１０３Ｃから第１の小プロセッサ１０３Ａへ映像データを送り、字幕、ユーザインタフェース画面と合成させ、クロスバ１０４を通じてディスプレイ１５へ出力させる。音データについては、これを内部バスＢ１０を通じて第４の小プロセッサ１０３Ｄに送り、クロスバ１０４を通じてスピーカ１７へ出力させる。この場合も、内部バスＢ１０及びクロスバ１０４の制御は、管理プロセッサ１０１により行われる。
これにより、ユーザは、映像音声を視聴することができる。
【００３９】
３．画像音声通信
ホームサーバ１によって画像音声を使った通信を行う場合の手順は、以下のとおりである。前提として、送受信側には、共に、本実施形態のホームサーバ１がネットワークを通じて接続されているものとする。
送受信側のホームサーバ１のＣＰＵ１１が、例えば図示しない入力装置あるいはゲーム用コントローラ１９からの指示に基づき、メモリ１２に記録されている各種プログラムとの協働により、信号処理用デバイス１０のコンフィグレーションを画像音声通信用に変える。このとき、メモリ１２に存するプログラムの一部又は全部を、共通バスＢ及び内部バスＢ１０を通じて信号処理用デバイス１０の内部メモリ１０２に到達させる。
【００４０】
信号処理用デバイス１０では、管理プロセッサ１０１が、この内部メモリ１０２のプログラムにより、全体の処理の負荷と処理の種類とを推定するとともに動作させるべき小プロセッサの数を決め、これらの小プロセッサに、画像音声配信用の動作環境を構築させる。
例えば、内部バスＢ１０を通じて、第１の小プロセッサ１０３Ａに画像生成用プログラムを転送し、第２の小プロセッサ１０３Ｂに画像処理用プログラムを転送し、第３の小プロセッサ１０３Ｃに音声出力用プログラムを転送し、第４の小プロセッサ１０３Ｄに音声入力用プログラムを転送し、それぞれそれらのプログラムを実行可能にする。
【００４１】
送信側のホームサーバ１のＣＰＵ１１は、クロスバ１０４を通じてカメラ１６の撮影画像を取り込み、第２の小プロセッサ１０３Ｂに画像処理を行わせる。この画像処理によって、帯域制限及び動き検出などが行われる。ＣＰＵ１１は、第２の小プロセッサ１０３Ｂによる画像処理の結果を内部バスＢ１０及び共通バスＢを通じて受け取り、この画像処理の結果により撮影画像を圧縮した後、この圧縮された撮影画像をＩＯ１３からネットワーク上に送出する。
受信側のホームサーバ１では、ネットワーク上から圧縮された映像データを受け取り、この受け取った映像データをＣＰＵ１１の処理によって解凍する。そして、解凍後の画像を共通バスＢ及び内部バスＢ１０を通じて第１の小プロセッサ１０３Ａへ転送し、これにより得られた映像をクロスバ１０４を通じてディスプレイ１５に表示させる。
【００４２】
送信側のホームサーバ１では、マイクロフォン１８からクロスバ１０４を通じて音声を取り込み、第４の小プロセッサ１０３Ｄによって音声処理を行う。ＣＰＵ１１は、この第４の小プロセッサ１０３Ｄで処理された情報を内部バスＢ１０及び共通バスＢを通じて取得し、この処理された情報を使って音声を圧縮し、圧縮された音声をＩＯ１３を通じてネットワーク上に送出する。
受信側のホームサーバ１では、ネットワーク上から圧縮された音声データを受け取り、これをストレージ１４に蓄える。ＣＰＵ１１は、ストレージ１４に蓄えられている音声データを解凍し、解凍後の画像を内部バスＢ１０を通じて第３の小プロセッサ１０３Ｃへ転送し、これにより得られた映像をクロスバ１０４を通じてディスプレイ１５に表示させる。この場合も、内部バスＢ１０及びクロスバ１０４の制御は、管理プロセッサ１０１により行われる。
なお、上記の例では、ゲーム用の動作環境、映像音声配信用の動作環境、画像音声通信用の動作環境は、それぞれ管理プロセッサ１０１が、ＣＰＵ１１から転送された各種小プロセッサ用のプログラムを該当する小プロセッサに転送して実行させることにより、各小プロセッサにおいて形成されることを前提として説明したが、各種小プロセッサ用のプログラムは、管理プロセッサ１０１が自らメモリ１２より読み出して転送するようにしてもよい。各小プロセッサ１０３Ａ〜１０３Ｄが処理すべきデータも、管理プロセッサ１０１がメモリ１２から読み出して転送してもよいし、小プロセッサ１０３Ａ〜１０３Ｄが管理プロセッサ１０１にリクエストして入手するようにしてもよい。
【００４３】
４．複数種類のアプリケーションの同時実行
例えば、上記のゲームと画像音声通信とを同時に実行する場合、これらのアプリケーションの組合せを、図３のように時分割で切り替えると、一方の処理時間が延びた場合に、他方の実行時間が足りなくなってしまうなどの不都合が生じる。例えば、本来予定されている通信画像処理の時間が足りなくなるか、あるいはできなくなる。図４の斜線部分は、この様子（通信画像処理が足りない状態）を図示したものである。
そこで、この実施形態では、図５のように、管理プロセッサ１０１から他の需要、すなわち他のアプリケーションの指示（プログラム等）が与えられるまでは、各小プロセッサ１０３Ａ〜１０３Ｄが、それぞれ自己に割り当てられた機能を実現するプログラムを実行するためにのみ動作するようにする。つまり、個々の小プロセッサを、常に同じアプリケーションで使うようにする。
このようにすれば、処理時間が変動しても、図６のように、同一のアプリケーションの中であれば、処理時間の負荷のバランスをとることができるので、総計では、一定の時間に収めることができる。
【００４４】
このように、本実施形態のホームサーバ１によれば、要求性能に合わせて、汎用信号処理用デバイス１０のコンフィグレーション（動作環境）を動的に変え、信号処理用デバイス１０で、画像生成、画像処理、音声入出力処理など、多種類の処理のいくつかを選択的に、又は、これらを同時に行うことができるので、ハードウエアリソースの無駄がなく、効率的な信号処理が可能になる。
また、個々の小プロセッサ１０３Ａ〜１０３Ｄが独立して動作し、他の処理に影響されないので、各処理の性能予測を行うことが容易になる。個々の小プロセッサに、処理結果を一時保管するための比較的大容量のローカルメモリを付加し、複数の小プロセッサの連携処理を行うときのメモリアクセスのオーバヘッドを抑制するようにすれば、各処理の性能予測がより容易になる。
さらに、画像の入力と出力、画像と音声など、多種類の処理の間で、処理結果の受け渡しを行うことが容易になり、しかも、画像データと音声データなど、多種類のデータが、インターリーブされた入出力が扱いやすくなるので、多種多様な表現形態のマルチメディアコンテンツの生成、複数の機能の同時形成による高度の画像処理が容易に行えるようになる。一方、比較的単純な内容の情報処理については、すべての小プロセッサ１０３Ａ〜１０３Ｄを同時期に動作させることで、高速処理が可能になる。
【００４５】
なお、本実施形態では、入出力インタフェースの例としてクロスバ１０４を用いた場合の例を挙げたが、図７のように、クロスバ１０４に多重バス１１４を用いてもよい。多重バス１１４は、外部デバイスといずれかの小プロセッサ、又は、小プロセッサ同士を、アドレス指定によって選択的に接続可能にするものである。符号１１３は、それぞれ上述した大容量のローカルメモリを付加した小プロセッサにより構成される汎用信号処理プロセッサである。
また、本実施形態では、一つの信号処理用デバイスを４つの小プロセッサで構成した場合の例を説明したが、小プロセッサの数は、エンタテインメント処理のために要求される性能の最大値に応じて任意に変更が可能である。
また、本実施形態では、ホームサーバ１の例を示したが、セットトップボックス等の他のエンタテインメント機器についても同様に適用が可能なものである。
また、本発明の信号処理用デバイスは、エンタテインメント機器のみならず、一般的な情報処理機器にも搭載が可能なものである。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、複数種類の処理を効率的且つ高信頼性のものとで行うことができる情報処理機器及び信号処理用デバイスを提供することができる。
【図面の簡単な説明】
【図１】 本発明を適用したホームサーバの構成図。
【図２】 信号処理用デバイスを構成する個々の小プロセッサの構成図。
【図３】 複数種類のアプリケーションを同時に行う状態を示した説明図。
【図４】 小プロセッサで複数のアプリケーションを切り替え実行するときの不具合状態を示した説明図。
【図５】 複数種類のアプリケーションを同時に行う場合に、各小プロセッサにそれぞれ同一の処理を割り当てた状態を示した説明図。
【図６】 図５のような処理形態の場合に不具合が生じないことを示した説明図。
【図７】 信号処理用デバイスの他の構成例を示した図。
【図８】 従来のホームサーバの構成図。
【符号の説明】
１・・・ホームサーバ、１０・・・信号処理用デバイス、１１・・・ＣＰＵ、１２・・・メモリ、１３・・・ＩＯ、１４・・・ストレージ、１５・・・ディスプレイ、１６・・・カメラ、１７・・・スピーカ、１８・・・マイクロフォン、１９・・・ゲーム用コントローラ、１０１・・・管理プロセッサ、１０２・・・内部メモリ、１０３，１１３・・・汎用信号処理プロセッサ、１０３Ａ〜１０３Ｄ・・・小プロセッサ、１０４・・・クロスバ、１１４・・・多重バス

Claims (11)

1. 情報処理機器に、主プロセッサと共に備えられる複数種類のアプリケーションを同時に実行可能な信号処理用デバイスであって、
   前記主プロセッサと協働で動作可能な管理プロセッサと、この管理プロセッサの支配下で動作する汎用信号処理プロセッサとを有しており、
   前記汎用信号プロセッサは、それぞれ前記管理プロセッサから他の種類のアプリケーションの指示を受け取るまでは各々が自己に割り当てられた機能を実現するプログラムを実行する小プロセッサの集合により構成されており、
   前記管理プロセッサは、前記主プロセッサより与えられた複数種類のアプリケーションをそれぞれ実現するための複数の小プロセッサ用のプログラムの各々の処理の負荷と処理すべき内容とを推定し、その推定結果に基づいて前記汎用信号プロセッサにおいて決められる動作させる小プロセッサに、該小プロセッサ用のプログラムを割り当てて実行させることでそれぞれに割り当てられたアプリケーションを実現させる、
   信号処理用デバイス。
2. 外部デバイス又はいずれかの前記小プロセッサからの処理対象信号の入力と、外部デバイス又はいずれかの前記小プロセッサへの処理結果信号の出力とを行う入出力インタフェースをさらに有し、
   前記管理プロセッサは、入力された処理対象信号の受取先又は前記処理結果信号の出力元となる小プロセッサをアプリケーションの種類に応じて切り替えるように前記入出力インタフェースを制御する、
   請求項１記載の信号処理用デバイス。
3. 前記入出力インタフェースが、前記外部デバイスといずれかの前記小プロセッサ、又は、前記小プロセッサ同士を選択的に接続可能にするクロスバスイッチを含む、
   請求項２記載の信号処理用デバイス。
4. 前記入出力インタフェースが、前記外部デバイスといずれかの前記小プロセッサ、又は、前記小プロセッサ同士を選択的に接続可能にする多重バスを含む、
   請求項２記載の信号処理用デバイス。
5. 各々の小プロセッサにそれぞれローカルメモリが設けられており、各小プロセッサのローカルメモリには、当該小プロセッサによる信号処理の対象となる信号あるいは信号処理の結果が、前記入出力インタフェースへの出力が可能になるまでの間記録されるように構成されている、
   請求項２記載の信号処理用デバイス。
6. 前記汎用信号処理プロセッサ、前記管理プロセッサ及び前記入出力インタフェースが一つのパッケージ筐体に収容されており、
   このパッケージ筐体には、少なくとも、管理プロセッサに前記他の種類のアプリケーションの指示を与える装置との接続を可能にする第１接続インタフェースと、前記入出力インタフェースとの間で信号の受け渡しを行う前記外部デバイスとの接続を可能にする第２接続インタフェースとが形成されている、
   請求項２記載の信号処理用デバイス。
7. 信号処理用デバイスと、前記信号処理用デバイスに信号処理の需要を与える主プロセッサとを備え、複数種類のアプリケーションの同時実行を可能にする情報処理機器であって、
   前記信号処理用デバイスは、汎用信号処理プロセッサ、管理プロセッサ及び入出力インタフェースを有し、
   前記汎用信号処理プロセッサは小プロセッサの集合により構成されており、
   各小プロセッサは、それぞれ前記管理プロセッサから他の種類のアプリケーションの指示を受け取るまでは各々が自己に割り当てられた機能を実現するプログラムを実行するものであり、
   前記入出力インタフェースは、外部デバイス又はいずれかの前記小プロセッサからの処理対象信号の入力と、外部デバイス又はいずれかの前記小プロセッサへの処理結果信号の出力とを行うものであり、
   前記管理プロセッサは、前記主プロセッサより与えられた複数種類のアプリケーションをそれぞれ実現するための複数の小プロセッサ用のプログラムの各々の処理の負荷と処理すべき内容とを推定し、その推定結果に基づいて前記汎用信号プロセッサにおいて決められる動作させる小プロセッサに、該小プロセッサ用のプログラムを割り当てて実行させることでそれぞれに割り当てられたアプリケーションを実現させるとともに、前記入出力インタフェースを通じて入力された処理対象信号の受取先又は前記処理結果信号の出力元となる小プロセッサを、アプリケーションの種類に応じて切り替えるように当該入出力インタフェースを制御するものである、
   情報処理機器。
8. コンピュータネットワークとの接続を可能にするネットワークインタフェースと、コンピュータ読み取り可能なデジタル情報を蓄積するストレージ手段とを更に備え、
   前記主プロセッサは、前記ネットワークインタフェースを制御して外部機器から前記デジタル情報を取得し、取得したデジタル情報を前記ストレージ手段に蓄積するとともに、蓄積されたデジタル情報及びそれに基づくアプリケーションの指示を前記信号処理用デバイスの管理プロセッサに与えることにより、前記デジタル情報によりその内容が定まるエンタテインメント処理のための動作環境を１又は複数の前記小プロセッサ上に構築させる、
   請求項７記載の情報処理機器。
9. 前記主プロセッサは、前記管理プロセッサを通じて前記１又は複数の小プロセッサにエンタテインメント処理のための動作環境を構築させた後、異なるデジタル情報を取得したときは、前記構築済みの動作環境を前記異なるデジタル情報に基づく新たな動作環境に再構築させる、
   請求項８記載の情報処理機器。
10. 前記デジタル情報が、それぞれ所要の機能を実現可能にするための複数種類のアプリケーションプログラムであり、
    前記管理プロセッサは、前記小プロセッサの各々にいずれかの機能を割り当て、割り当てた機能を実現するためのアプリケーションプログラムを前記ストレージ手段から読み出して実行させる、
    請求項８記載の情報処理機器。
11. 個々の前記小プロセッサは、前記管理プロセッサから他のアプリケーションを実現するプログラムを付与されるまでは自己に割り当てられた機能を実現するアプリケーションプログラムを実行するためにのみ動作する、
    請求項１０記載の情報処理機器。

Images