JP4331488B2 - 集積回路及びそれを用いた電子機器 - Google Patents
集積回路及びそれを用いた電子機器 Download PDFInfo
- Publication number
- JP4331488B2 JP4331488B2 JP2003042438A JP2003042438A JP4331488B2 JP 4331488 B2 JP4331488 B2 JP 4331488B2 JP 2003042438 A JP2003042438 A JP 2003042438A JP 2003042438 A JP2003042438 A JP 2003042438A JP 4331488 B2 JP4331488 B2 JP 4331488B2
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- memory
- image
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
- H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
- G06F13/161—Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Memory System (AREA)
- Telephone Function (AREA)
- Digital Computer Display Output (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、集積回路及びそれを用いた電子機器に関し、特に、集積回路が複数のプロセッサを有し、これらのプロセッサがバスを介して共用のメモリをアクセスする際の技術改良に関するものである。
【０００２】
【従来の技術】
近年、ビデオ、オーディオ及びその他の各種のデータからなる、マルチメディアデータを、電子機器で取り扱う機会が増えている。この電子機器では、それに実装された、専用あるいは汎用のプロセッサが、マルチメディアデータを処理している。
【０００３】
ここで、プロセッサの性能が極めて高く、また、その消費電力の大小が問われないならば、単一の高性能プロセッサのみで、必要な処理の全てを実行することも可能であろう。
【０００４】
しかしながら、特に、可搬性が重視される電子機器（例えば、携帯電話、ＰＤＡ、デジタルビデオカメラ、デジタルスチルカメラなど）では、電池駆動が主流であり、さらなる、小型・軽量化及び高性能化のため、消費電力の抑制と処理能力の向上を、両立させることが、望まれている。
【０００５】
また、据え置き型の電子機器（例えば、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＨＤレコーダなど）においても、省資源、省エネルギーのために、同様のことが当てはまる。
【０００６】
そして、マルチメディアデータを処理する集積回路について、必要十分な性能と低消費電力とを、両立させるために、非特許文献１では、次のような工夫をした技術が開示されている。
（工夫１）単一のプロセッサのみでは、十分な処理能力を得にくいため、ビデオ信号を処理するプロセッサと、オーディオ信号を処理するプロセッサとを、設けたマルチプロセッサ構成とする。
（工夫２）消費電力の半分以上が、チップ間Ｉ／Ｏ（Ｉｎ／Ｏｕｔ）によるものである点に着目し、ビデオ信号を処理するプロセッサと、オーディオ信号を処理するプロセッサの、両方が共用するメモリを、集積回路内部に設け、バスを介して、これらのプロセッサが、共用するメモリにアクセスするようにする。これにより、チップ間Ｉ／Ｏによる消費電力を削減する。
【０００７】
次に、図２を参照しながら、従来技術をさらに具体的に説明する。図２は、従来の集積回路の概略ブロック図である。
【０００８】
図２に示すように、集積回路１は、その内部に、バス２を有する。バス２には、共用メモリ３が接続される。
【０００９】
また、ビデオ信号を処理するビデオプロセッサ４、オーディオ信号を処理するオーディオプロセッサ５、ビットストリームに対して、多重化／分離処理を行う多重分離プロセッサ６とを設けた、マルチプロセッサ構成とし、これらのプロセッサ４、５、６を、バス２に接続する。
【００１０】
そして、各プロセッサ４、５、６は、バス２を介して、共用メモリ３にアクセスし、処理を分担しながら、協調しつつ並行して処理を実行する。
【００１１】
この構成によると、共用メモリ３は、ビデオプロセッサ４、オーディオプロセッサ５、多重分離プロセッサ６の全てからアクセスされるため、バス２に対するアクセスが競合することがある。このとき、バス２は、これらのアクセスを調停することになるが、その結果、アクセスを待たされるプロセッサについて、待ち時間が発生してしまう。
【００１２】
特に、ビデオプロセッサ４の処理は、オーディオプロセッサ５や多重分離プロセッサ６よりも重いものであり、ビデオプロセッサ４は、高速に、待ち時間なく、共用メモリ３をアクセスできないと、処理が遅延し、一定時間内に担当する処理を完了できなくなることがある。
【非特許文献１】
「ＭＰＥＧ−４ＬＳＩにおけるシステムＬＳＩ技術」 東芝レビュー Ｖｏｌ．５７ Ｎｏ１（２００２）
【発明が解決しようとする課題】
従来技術では、プロセッサ間における、処理負担の軽重について、考慮がなく、全体として、リアルタイム性が失われてしまうことがあった。
【００１３】
そこで本発明は、消費電力を抑制しながら、リアルタイム性が得やすい集積回路及びその関連技術を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１記載の集積回路は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを備え、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う。
【００１５】
この構成において、より多くのデータの処理、及び／又は、多くの演算を実行する第２の処理ユニットは、第２のメモリを使用することにより、第１のメモリに対するアクセス競合から解放される。即ち、第２の処理ユニットは、アクセス競合に起因する待ち時間なしに、処理を実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００１６】
また、第１のメモリ及び第２のメモリへのアクセスは、チップ間Ｉ／Ｏを介さずに行われるため、消費電力を低く抑えることができる。
【００１７】
請求項２記載の集積回路では、第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納する。
【００１８】
この構成において、圧縮されたマルチメディアデータのデコーダを実現でき、このデコーダにおいて、処理負担が重いビデオ信号の伸張処理を、アクセス競合に起因する待ち時間なしに、実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００１９】
請求項３記載の集積回路では、第１の処理ユニットは、オーディオ信号の圧縮処理を行い、第２の処理ユニットは、ビデオ信号の圧縮処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納する。
【００２０】
この構成において、マルチメディアデータを圧縮するエンコーダを実現でき、このエンコーダにおいて、処理負担が重いビデオ信号の圧縮処理を、アクセス競合に起因する待ち時間なしに、実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００２１】
請求項４記載の集積回路では、第１の処理ユニットは、ビットストリームからオーディオ信号とビデオ信号とを分離する処理、及び／又は、オーディオ信号とビデオ信号とをビットストリームに多重化する処理を実行する。
【００２２】
この構成において、処理負担が軽い第１の処理ユニットに、ビットストリームの取り扱いを兼務させ、集積回路をコンパクトに構成できる。
【００２３】
請求項５記載の集積回路では、第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する。
【００２４】
この構成において、第２の処理ユニットに、コンピュータグラフィクス画像の取り扱いを兼務させることにより、互いに、関連性が強い、ビデオ信号とコンピュータグラフィクス画像とを、一括して効率よく処理できる。
【００２５】
請求項７記載の電子機器は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行すし、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを有し、第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、かつ、伸張したビデオ信号に基づいて画像表示信号を生成し、第２の処理ユニットは、第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納し、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う集積回路と、第１の処理ユニットが伸張したオーディオ信号をアナログオーディオ信号に変換する変換器と、を備える。
【００２６】
この構成により、請求項２のデコーダを実装した再生機能を持つ電子機器を実現できる。
【００２７】
請求項９記載の電子機器では、画像表示回路が生成した画像表示信号を入力して画像を表示する表示デバイスと、変換器が出力するアナログオーディオ信号を入力して発音する再生デバイスとを備える。
【００２８】
この構成により、請求項７の作用効果に加え、再生された画像及び音響をモニタできる電子機器を実現できる。
【００２９】
請求項１０記載の電子機器では、第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する。
【００３０】
この構成により、互いに、関連性が強い、ビデオ信号とコンピュータグラフィクス画像とを、一括して効率よく処理できる。
【００３１】
請求項１１記載の電子機器では、カメラと、マイクと、集積回路と、変換器とを備え、集積回路は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを有し、第１の処理ユニットは、オーディオ信号の圧縮処理を行い、第２の処理ユニットは、カメラの出力を入力してビデオ信号を生成し、かつ、このビデオ信号の圧縮処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納し、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行い、変換器は、マイクの出力を入力してオーディオ信号を生成し、このオーディオ信号を第１の処理ユニットへ出力する。
【００３２】
この構成により、請求項３のエンコーダを実装した記録機能を持つ電子機器を実現できる。
【００３３】
【発明の実施の形態】
次に、図面を参照しながら、本発明の実施の形態を説明する。図１は、本発明の一実施の形態における電子機器のブロック図である。
【００３４】
本形態では、電子機器として、携帯電話を例にとって説明するが、本発明が適用できる電子機器としては、このほかに、従来の技術の項で述べた各種の電子機器、これらの電子機器を内蔵するテレビジョン装置、ＴＶ会議システム、ナビゲーションシステム、監視カメラ装置等がある。
【００３５】
図１に示すように、この電子機器は、集積回路１００を有する。本形態では、集積回路１００は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４に対応した、エンコーダ兼デコーダであるものとする。
【００３６】
しかしながら、必要に応じて、集積回路１００をエンコーダのみ、あるいは、デコーダのみにすることもできる。
【００３７】
例えば、電子機器が、再生専用のＤＶＤプレーヤであるときは、エンコーダの機能を省略しても差し支えないから、集積回路１００をデコーダのみとすることができる。
【００３８】
逆に、電子機器が監視カメラ装置であるときは、集積回路１００をエンコーダのみとすることができる。
【００３９】
集積回路１００のビデオ信号処理は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｅｃｔｏｒ）Ｈ．２６３、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等に対応するようにしてもよい。
【００４０】
集積回路１００のオーディオ信号処理は、ＡＭＲ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ Ｒａｔｅ）、ＩＴＵ−Ｔ Ｇ．２７９、Ｇ．２７３．１ 音声コーデック、ＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ３）、ＡＡＣ−ＬＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ−Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ）等に対応するものとしてもよい。
【００４１】
なお、図１では、説明を簡単にするため、オーディオ信号は、モノラルであることとするが、他に、ステレオ（２ｃｈ）、５．１ｃｈ、７．１ｃｈ等に拡張してもよい。
【００４２】
さて、図１に示すように、集積回路１００は、その内部にメインバス１０１を有する。その他、集積回路１００の内部に、周辺バス１０３が設けられており、メインバス１０１と周辺バス１０３とは、ブリッジ回路１０２により接続されている。メインバス１０１には、第１のメモリに相当する、共用メモリ１０４が接続される。
【００４３】
集積回路１００は、ビデオ信号を処理するビデオプロセッサ１０５、オーディオ信号の処理とビットストリームに対する、多重化／分離処理を行うオーディオ・多重分離プロセッサ１０６、システム全体を制御するシステムプロセッサ１０７とを設けた、マルチプロセッサ構成とする。これらのプロセッサ１０５、１０６、１０７は、メインバス１０１に接続される。また、ビデオプロセッサ１０５とオーディオ・多重分離プロセッサ１０６とは、それぞれ内部にバッファメモリ１０８、１０９を有する。
【００４４】
ここで、オーディオ・多重分離プロセッサ１０６は、第１の処理ユニットに相当し、ビデオプロセッサ１０５は、第２の処理ユニットに相当し、システムプロセッサ１０７は、制御ユニットに相当する。また、ビデオプロセッサ１０５は、後に詳述する、画像入力回路１３と画像表示回路１０とを内蔵する。
【００４５】
本形態では、ビデオプロセッサ１０５に対し、処理負担が軽い、オーディオ信号の処理と多重化／分離処理とを、オーディオ・多重分離プロセッサ１０６で一括して実行することとしたが、勿論、オーディオ信号の処理を行うプロセッサと、多重化／分離の処理を行うプロセッサとを、独立して設けても差し支えない。
【００４６】
また、本形態では、ビデオプロセッサ１０５は、ビデオ信号の処理だけでなく、コンピュータグラフィクスの生成・編集処理も行うようにした。コンピュータグラフィックスは、ビデオ信号に合成されたり、あるいは、単独で取り扱われる。
【００４７】
このようにすると、通常のビデオ信号とコンピュータグラフィクスとを、一括して取り扱えるため、便利である。しかし、コンピュータグラフィクスの処理を行わないようにしてもよい。
【００４８】
いずれにしても、ビデオプロセッサ１０５の処理負担は、オーディオ・多重分離プロセッサ１０６よりも重い。そのため、集積回路１００内部に、専用メモリ１１０を設け、ビデオプロセッサ１０５に専用メモリ１１０を占有させるようにしている。
【００４９】
ビデオプロセッサ１０５は、ビデオ信号の（伸張あるいは圧縮）処理過程で生成される参照画像のデータや、コンピュータグラフィクスの画像データ、あるいは、これらに伴う命令（インストラクション）等を、専用メモリ１１０に格納したり、読み出したりする。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００５０】
即ち、ビデオプロセッサ１０５が専用メモリ１１０にアクセスするときは、メインバス１０１を介さないため、メインバス１０１の競合により、待ち時間が発生することはない。なお、専用メモリ１１０は、第２のメモリに相当する。
【００５１】
周辺バス１０３には、第１インターフェイス１１１、第２インターフェイス１１２、第３インターフェイス１１３、第４インターフェイス１１４が、接続される。第１インターフェイス１１１には、ビットストリームが入出力され、第２インターフェイス１１２には、文字或いは数字などのキーセット１４の状態情報が入力される。
【００５２】
第３インターフェイス１１３には、ＡＤ・ＤＡ変換器１５が接続され、ＡＤ・ＤＡ変換器１５は、周辺バス１０３を介してオーディオ・多重分離プロセッサ１０６に接続される。ＡＤ・ＤＡ変換器１５は、マイク１６から入力があると、これをＡＤ変換してオーディオ・多重分離プロセッサ１０６へ出力する。
【００５３】
また、ＡＤ・ＤＡ変換器１５は、オーディオ・多重分離プロセッサ１０６からオーディオ信号を入力すると、これをＤＡ変換してスピーカ１７へ出力し、スピーカ１７は、発音する。
【００５４】
ここで、スピーカ１７は、再生デバイスに相当する。再生デバイスとしては、他にヘッドフォン等を用いてもよい。
【００５５】
ビデオプロセッサ１０５が、専用メモリ１１０を用いて伸張したビデオ信号に基づいて、ビデオプロセッサ１０５の画像表示回路１０は、画像表示信号を生成し、これを表示デバイスとしての、ＬＣＤ１１へ出力し、ＬＣＤ１１が画像を表示する。
【００５６】
表示デバイスとしては、このほかに、有機ＥＬ、ブラウン管、プラズマディスプレイ等を用いてもよい。
【００５７】
画像表示回路１０は、ＹＵＶ形式の画像データ、または、ＲＧＢ形式の画像データを映像に変換する機能を持つ。ビデオプロセッサ１０５は、専用メモリ１１０に格納された画像データを、画像表示回路１０に転送する。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００５８】
一方、カメラ１２が撮影を行うと、その出力は、ビデオプロセッサ１０５の画像入力回路１３へ入力され、画像入力回路１３がビデオ信号を生成し、ビデオプロセッサ１０５は、専用メモリ１１０を用いて、このビデオ信号を圧縮する。
【００５９】
画像入力回路１３は、映像をＹＵＶ形式（輝度信号と色差信号）の画像データに変換する機能、または、ＲＧＢ形式（赤信号、緑信号、青信号）の画像データに変換する機能、を持つ。このように、映像を画像データに変換することで、ビデオプロセッサ１０５は、映像を処理することが可能となる。
【００６０】
ビデオプロセッサ１０５は、画像入力回路１３が変換した画像データを、専用メモリ１１０に転送する。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００６１】
次に、ビットストリームの入力時の動作を説明する。まず、第１インターフェイス１１１からビットストリームが入力されると、このストリームは、オーディオ・多重分離プロセッサ１０６へ入力され、ストリームからオーディオ信号とビデオ信号とが、分離される。
【００６２】
オーディオ・多重分離プロセッサ１０６は、分離したビデオ信号を、ビデオプロセッサ１０５へ転送し、自らは、オーディオ信号の伸張処理を開始する。
【００６３】
ビデオ信号を受け取ったビデオプロセッサ１０５は、専用メモリ１１０を用いて、ビデオ信号を伸張する。この際、ビデオプロセッサ１０５は、専用メモリ１１０を用いるため、アクセスの競合が発生せず、遅延なく伸張を行える。
【００６４】
伸張されたビデオ信号は、ビデオプロセッサ１０５内部の画像表示回路１０を経てＬＣＤ１１に表示される。また、伸張されたオーディオ信号は、オーディオ・多重分離プロセッサ１０６から周辺バス１０３、第３インターフェイス１１３を経て、ＡＤ・ＤＡ変換器１５へ至り、アナログオーディオ信号に変換され、スピーカ１７から発音される。
【００６５】
次に、ビットストリームの出力時の動作を説明する。まず、カメラ１２の撮影と、マイク１６の集音が開始すると、カメラ１２が得た画像は、ビデオプロセッサ１０５の画像入力回路１３へ入力され、画像入力回路１３がビデオ信号を生成し、ビデオプロセッサ１０５は、専用メモリ１１０を用いてビデを信号を圧縮する。このときも、ビデオプロセッサ１０５は、専用メモリ１１０を用いるため、アクセスの競合が発生せず、遅延なく圧縮を行える。
【００６６】
また、マイク１６が得たアナログオーディオ信号は、ＡＤ・ＤＡ変換器１５によりデジタルのオーディオ信号に変換され、第３インターフェイス１１３、周辺バス１０３を経て、オーディオ・多重分離プロセッサ１０６へ至る。すると、オーディオ・多重分離プロセッサ１０６は、これを圧縮する。
【００６７】
そして、ビデオプロセッサ１０５が画像圧縮を終えると、圧縮されたビデオ信号が、オーディオ・多重分離プロセッサ１０６へ渡され、オーディオ・多重分離プロセッサ１０６は、これと、自身で圧縮したオーディオ信号とを、多重化し、周辺バス１０３、第１インターフェイス１１１を介して、多重化されたビットストリームが、外部（記録媒体など）へ出力される。
【００６８】
以上において、ビデオプロセッサ１０５は、オーディオ・多重分離プロセッサ１０６が共用メモリ１０４を用いて他の処理を行っている間にも、
▲１▼画像入力回路１３を通して専用メモリ１１０に格納した画像データの圧縮、
▲２▼圧縮されたデータの画像データへの伸張、
▲３▼グラフィックス処理による画像データの生成、
▲４▼画像データの加工や編集、
などの処理を、専用メモリ１１０を用いて、アクセスの競合なく、実行できる。
【００６９】
これにより、アクセスの競合を抑制し、リアルタイム性を高めることができる。
【００７０】
【発明の効果】
本発明によれば、処理負担が重い処理ユニットに、第２のメモリを占有させることにより、アクセス競合による待ち時間を回避し、リアルタイム性を向上できる。
【００７１】
アクセスの競合による待ち時間を回避できるため、画像入力時において、映像をスムーズに画像データとしてメモリに取り込める。
【００７２】
アクセスの競合による待ち時間を回避できるため、画像出力時において、映像をスムーズに表示デバイスへ表示でき、映像表示の途切れや乱れを抑制できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における電子機器のブロック図
【図２】従来の集積回路の概略ブロック図
【符号の説明】
１０ 画像表示回路
１１ ＬＣＤ
１２ カメラ
１３ 画像入力回路
１４ キーセット
１５ ＡＤ・ＤＡ変換器
１６ マイク
１７ スピーカ
１００ 集積回路
１０１ メインバス
１０２ ブリッジ回路
１０３ 周辺バス
１０４ 共用メモリ
１０５ ビデオプロセッサ
１０６ オーディオ・多重分離プロセッサ
１０７ システムプロセッサ
１０８、１０９ バッファメモリ
１１０ 専用メモリ
１１１ 第１インターフェイス
１１２ 第２インターフェイス
１１３ 第３インターフェイス
１１４ 第４インターフェイス
【発明の属する技術分野】
本発明は、集積回路及びそれを用いた電子機器に関し、特に、集積回路が複数のプロセッサを有し、これらのプロセッサがバスを介して共用のメモリをアクセスする際の技術改良に関するものである。
【０００２】
【従来の技術】
近年、ビデオ、オーディオ及びその他の各種のデータからなる、マルチメディアデータを、電子機器で取り扱う機会が増えている。この電子機器では、それに実装された、専用あるいは汎用のプロセッサが、マルチメディアデータを処理している。
【０００３】
ここで、プロセッサの性能が極めて高く、また、その消費電力の大小が問われないならば、単一の高性能プロセッサのみで、必要な処理の全てを実行することも可能であろう。
【０００４】
しかしながら、特に、可搬性が重視される電子機器（例えば、携帯電話、ＰＤＡ、デジタルビデオカメラ、デジタルスチルカメラなど）では、電池駆動が主流であり、さらなる、小型・軽量化及び高性能化のため、消費電力の抑制と処理能力の向上を、両立させることが、望まれている。
【０００５】
また、据え置き型の電子機器（例えば、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＨＤレコーダなど）においても、省資源、省エネルギーのために、同様のことが当てはまる。
【０００６】
そして、マルチメディアデータを処理する集積回路について、必要十分な性能と低消費電力とを、両立させるために、非特許文献１では、次のような工夫をした技術が開示されている。
（工夫１）単一のプロセッサのみでは、十分な処理能力を得にくいため、ビデオ信号を処理するプロセッサと、オーディオ信号を処理するプロセッサとを、設けたマルチプロセッサ構成とする。
（工夫２）消費電力の半分以上が、チップ間Ｉ／Ｏ（Ｉｎ／Ｏｕｔ）によるものである点に着目し、ビデオ信号を処理するプロセッサと、オーディオ信号を処理するプロセッサの、両方が共用するメモリを、集積回路内部に設け、バスを介して、これらのプロセッサが、共用するメモリにアクセスするようにする。これにより、チップ間Ｉ／Ｏによる消費電力を削減する。
【０００７】
次に、図２を参照しながら、従来技術をさらに具体的に説明する。図２は、従来の集積回路の概略ブロック図である。
【０００８】
図２に示すように、集積回路１は、その内部に、バス２を有する。バス２には、共用メモリ３が接続される。
【０００９】
また、ビデオ信号を処理するビデオプロセッサ４、オーディオ信号を処理するオーディオプロセッサ５、ビットストリームに対して、多重化／分離処理を行う多重分離プロセッサ６とを設けた、マルチプロセッサ構成とし、これらのプロセッサ４、５、６を、バス２に接続する。
【００１０】
そして、各プロセッサ４、５、６は、バス２を介して、共用メモリ３にアクセスし、処理を分担しながら、協調しつつ並行して処理を実行する。
【００１１】
この構成によると、共用メモリ３は、ビデオプロセッサ４、オーディオプロセッサ５、多重分離プロセッサ６の全てからアクセスされるため、バス２に対するアクセスが競合することがある。このとき、バス２は、これらのアクセスを調停することになるが、その結果、アクセスを待たされるプロセッサについて、待ち時間が発生してしまう。
【００１２】
特に、ビデオプロセッサ４の処理は、オーディオプロセッサ５や多重分離プロセッサ６よりも重いものであり、ビデオプロセッサ４は、高速に、待ち時間なく、共用メモリ３をアクセスできないと、処理が遅延し、一定時間内に担当する処理を完了できなくなることがある。
【非特許文献１】
「ＭＰＥＧ−４ＬＳＩにおけるシステムＬＳＩ技術」 東芝レビュー Ｖｏｌ．５７ Ｎｏ１（２００２）
【発明が解決しようとする課題】
従来技術では、プロセッサ間における、処理負担の軽重について、考慮がなく、全体として、リアルタイム性が失われてしまうことがあった。
【００１３】
そこで本発明は、消費電力を抑制しながら、リアルタイム性が得やすい集積回路及びその関連技術を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１記載の集積回路は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを備え、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う。
【００１５】
この構成において、より多くのデータの処理、及び／又は、多くの演算を実行する第２の処理ユニットは、第２のメモリを使用することにより、第１のメモリに対するアクセス競合から解放される。即ち、第２の処理ユニットは、アクセス競合に起因する待ち時間なしに、処理を実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００１６】
また、第１のメモリ及び第２のメモリへのアクセスは、チップ間Ｉ／Ｏを介さずに行われるため、消費電力を低く抑えることができる。
【００１７】
請求項２記載の集積回路では、第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納する。
【００１８】
この構成において、圧縮されたマルチメディアデータのデコーダを実現でき、このデコーダにおいて、処理負担が重いビデオ信号の伸張処理を、アクセス競合に起因する待ち時間なしに、実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００１９】
請求項３記載の集積回路では、第１の処理ユニットは、オーディオ信号の圧縮処理を行い、第２の処理ユニットは、ビデオ信号の圧縮処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納する。
【００２０】
この構成において、マルチメディアデータを圧縮するエンコーダを実現でき、このエンコーダにおいて、処理負担が重いビデオ信号の圧縮処理を、アクセス競合に起因する待ち時間なしに、実行でき、集積回路全体としての、リアルタイム性を高く保持できる。
【００２１】
請求項４記載の集積回路では、第１の処理ユニットは、ビットストリームからオーディオ信号とビデオ信号とを分離する処理、及び／又は、オーディオ信号とビデオ信号とをビットストリームに多重化する処理を実行する。
【００２２】
この構成において、処理負担が軽い第１の処理ユニットに、ビットストリームの取り扱いを兼務させ、集積回路をコンパクトに構成できる。
【００２３】
請求項５記載の集積回路では、第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する。
【００２４】
この構成において、第２の処理ユニットに、コンピュータグラフィクス画像の取り扱いを兼務させることにより、互いに、関連性が強い、ビデオ信号とコンピュータグラフィクス画像とを、一括して効率よく処理できる。
【００２５】
請求項７記載の電子機器は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行すし、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを有し、第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、かつ、伸張したビデオ信号に基づいて画像表示信号を生成し、第２の処理ユニットは、第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納し、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う集積回路と、第１の処理ユニットが伸張したオーディオ信号をアナログオーディオ信号に変換する変換器と、を備える。
【００２６】
この構成により、請求項２のデコーダを実装した再生機能を持つ電子機器を実現できる。
【００２７】
請求項９記載の電子機器では、画像表示回路が生成した画像表示信号を入力して画像を表示する表示デバイスと、変換器が出力するアナログオーディオ信号を入力して発音する再生デバイスとを備える。
【００２８】
この構成により、請求項７の作用効果に加え、再生された画像及び音響をモニタできる電子機器を実現できる。
【００２９】
請求項１０記載の電子機器では、第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する。
【００３０】
この構成により、互いに、関連性が強い、ビデオ信号とコンピュータグラフィクス画像とを、一括して効率よく処理できる。
【００３１】
請求項１１記載の電子機器では、カメラと、マイクと、集積回路と、変換器とを備え、集積回路は、バスと、バスに接続される第１のメモリと、バスを介して第１のメモリにアクセスする第１の処理ユニットと、バスを介して第１のメモリにアクセスし、かつ、第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、第２の処理ユニットにより、バスを介さずにアクセスされる第２のメモリとを有し、第１の処理ユニットは、オーディオ信号の圧縮処理を行い、第２の処理ユニットは、カメラの出力を入力してビデオ信号を生成し、かつ、このビデオ信号の圧縮処理を行い、第２の処理ユニットは、第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納し、第２の処理ユニットは、画像入力回路が変換した画像データを、第２のメモリに転送し、第２の処理ユニットは、第２のメモリに格納された画像データを、表示回路に転送し、し、第２の処理ユニットは、第１の処理ユニットが第１のメモリを用いて他の処理を行っている間に、（１）画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行い、変換器は、マイクの出力を入力してオーディオ信号を生成し、このオーディオ信号を第１の処理ユニットへ出力する。
【００３２】
この構成により、請求項３のエンコーダを実装した記録機能を持つ電子機器を実現できる。
【００３３】
【発明の実施の形態】
次に、図面を参照しながら、本発明の実施の形態を説明する。図１は、本発明の一実施の形態における電子機器のブロック図である。
【００３４】
本形態では、電子機器として、携帯電話を例にとって説明するが、本発明が適用できる電子機器としては、このほかに、従来の技術の項で述べた各種の電子機器、これらの電子機器を内蔵するテレビジョン装置、ＴＶ会議システム、ナビゲーションシステム、監視カメラ装置等がある。
【００３５】
図１に示すように、この電子機器は、集積回路１００を有する。本形態では、集積回路１００は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４に対応した、エンコーダ兼デコーダであるものとする。
【００３６】
しかしながら、必要に応じて、集積回路１００をエンコーダのみ、あるいは、デコーダのみにすることもできる。
【００３７】
例えば、電子機器が、再生専用のＤＶＤプレーヤであるときは、エンコーダの機能を省略しても差し支えないから、集積回路１００をデコーダのみとすることができる。
【００３８】
逆に、電子機器が監視カメラ装置であるときは、集積回路１００をエンコーダのみとすることができる。
【００３９】
集積回路１００のビデオ信号処理は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｅｃｔｏｒ）Ｈ．２６３、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等に対応するようにしてもよい。
【００４０】
集積回路１００のオーディオ信号処理は、ＡＭＲ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ Ｒａｔｅ）、ＩＴＵ−Ｔ Ｇ．２７９、Ｇ．２７３．１ 音声コーデック、ＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ３）、ＡＡＣ−ＬＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ−Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ）等に対応するものとしてもよい。
【００４１】
なお、図１では、説明を簡単にするため、オーディオ信号は、モノラルであることとするが、他に、ステレオ（２ｃｈ）、５．１ｃｈ、７．１ｃｈ等に拡張してもよい。
【００４２】
さて、図１に示すように、集積回路１００は、その内部にメインバス１０１を有する。その他、集積回路１００の内部に、周辺バス１０３が設けられており、メインバス１０１と周辺バス１０３とは、ブリッジ回路１０２により接続されている。メインバス１０１には、第１のメモリに相当する、共用メモリ１０４が接続される。
【００４３】
集積回路１００は、ビデオ信号を処理するビデオプロセッサ１０５、オーディオ信号の処理とビットストリームに対する、多重化／分離処理を行うオーディオ・多重分離プロセッサ１０６、システム全体を制御するシステムプロセッサ１０７とを設けた、マルチプロセッサ構成とする。これらのプロセッサ１０５、１０６、１０７は、メインバス１０１に接続される。また、ビデオプロセッサ１０５とオーディオ・多重分離プロセッサ１０６とは、それぞれ内部にバッファメモリ１０８、１０９を有する。
【００４４】
ここで、オーディオ・多重分離プロセッサ１０６は、第１の処理ユニットに相当し、ビデオプロセッサ１０５は、第２の処理ユニットに相当し、システムプロセッサ１０７は、制御ユニットに相当する。また、ビデオプロセッサ１０５は、後に詳述する、画像入力回路１３と画像表示回路１０とを内蔵する。
【００４５】
本形態では、ビデオプロセッサ１０５に対し、処理負担が軽い、オーディオ信号の処理と多重化／分離処理とを、オーディオ・多重分離プロセッサ１０６で一括して実行することとしたが、勿論、オーディオ信号の処理を行うプロセッサと、多重化／分離の処理を行うプロセッサとを、独立して設けても差し支えない。
【００４６】
また、本形態では、ビデオプロセッサ１０５は、ビデオ信号の処理だけでなく、コンピュータグラフィクスの生成・編集処理も行うようにした。コンピュータグラフィックスは、ビデオ信号に合成されたり、あるいは、単独で取り扱われる。
【００４７】
このようにすると、通常のビデオ信号とコンピュータグラフィクスとを、一括して取り扱えるため、便利である。しかし、コンピュータグラフィクスの処理を行わないようにしてもよい。
【００４８】
いずれにしても、ビデオプロセッサ１０５の処理負担は、オーディオ・多重分離プロセッサ１０６よりも重い。そのため、集積回路１００内部に、専用メモリ１１０を設け、ビデオプロセッサ１０５に専用メモリ１１０を占有させるようにしている。
【００４９】
ビデオプロセッサ１０５は、ビデオ信号の（伸張あるいは圧縮）処理過程で生成される参照画像のデータや、コンピュータグラフィクスの画像データ、あるいは、これらに伴う命令（インストラクション）等を、専用メモリ１１０に格納したり、読み出したりする。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００５０】
即ち、ビデオプロセッサ１０５が専用メモリ１１０にアクセスするときは、メインバス１０１を介さないため、メインバス１０１の競合により、待ち時間が発生することはない。なお、専用メモリ１１０は、第２のメモリに相当する。
【００５１】
周辺バス１０３には、第１インターフェイス１１１、第２インターフェイス１１２、第３インターフェイス１１３、第４インターフェイス１１４が、接続される。第１インターフェイス１１１には、ビットストリームが入出力され、第２インターフェイス１１２には、文字或いは数字などのキーセット１４の状態情報が入力される。
【００５２】
第３インターフェイス１１３には、ＡＤ・ＤＡ変換器１５が接続され、ＡＤ・ＤＡ変換器１５は、周辺バス１０３を介してオーディオ・多重分離プロセッサ１０６に接続される。ＡＤ・ＤＡ変換器１５は、マイク１６から入力があると、これをＡＤ変換してオーディオ・多重分離プロセッサ１０６へ出力する。
【００５３】
また、ＡＤ・ＤＡ変換器１５は、オーディオ・多重分離プロセッサ１０６からオーディオ信号を入力すると、これをＤＡ変換してスピーカ１７へ出力し、スピーカ１７は、発音する。
【００５４】
ここで、スピーカ１７は、再生デバイスに相当する。再生デバイスとしては、他にヘッドフォン等を用いてもよい。
【００５５】
ビデオプロセッサ１０５が、専用メモリ１１０を用いて伸張したビデオ信号に基づいて、ビデオプロセッサ１０５の画像表示回路１０は、画像表示信号を生成し、これを表示デバイスとしての、ＬＣＤ１１へ出力し、ＬＣＤ１１が画像を表示する。
【００５６】
表示デバイスとしては、このほかに、有機ＥＬ、ブラウン管、プラズマディスプレイ等を用いてもよい。
【００５７】
画像表示回路１０は、ＹＵＶ形式の画像データ、または、ＲＧＢ形式の画像データを映像に変換する機能を持つ。ビデオプロセッサ１０５は、専用メモリ１１０に格納された画像データを、画像表示回路１０に転送する。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００５８】
一方、カメラ１２が撮影を行うと、その出力は、ビデオプロセッサ１０５の画像入力回路１３へ入力され、画像入力回路１３がビデオ信号を生成し、ビデオプロセッサ１０５は、専用メモリ１１０を用いて、このビデオ信号を圧縮する。
【００５９】
画像入力回路１３は、映像をＹＵＶ形式（輝度信号と色差信号）の画像データに変換する機能、または、ＲＧＢ形式（赤信号、緑信号、青信号）の画像データに変換する機能、を持つ。このように、映像を画像データに変換することで、ビデオプロセッサ１０５は、映像を処理することが可能となる。
【００６０】
ビデオプロセッサ１０５は、画像入力回路１３が変換した画像データを、専用メモリ１１０に転送する。このようなデータ転送は、ＤＭＡＣ（ダイレクト・メモリアクセス・コントローラ）を用いて行ってもよいし、用いなくともよい。
【００６１】
次に、ビットストリームの入力時の動作を説明する。まず、第１インターフェイス１１１からビットストリームが入力されると、このストリームは、オーディオ・多重分離プロセッサ１０６へ入力され、ストリームからオーディオ信号とビデオ信号とが、分離される。
【００６２】
オーディオ・多重分離プロセッサ１０６は、分離したビデオ信号を、ビデオプロセッサ１０５へ転送し、自らは、オーディオ信号の伸張処理を開始する。
【００６３】
ビデオ信号を受け取ったビデオプロセッサ１０５は、専用メモリ１１０を用いて、ビデオ信号を伸張する。この際、ビデオプロセッサ１０５は、専用メモリ１１０を用いるため、アクセスの競合が発生せず、遅延なく伸張を行える。
【００６４】
伸張されたビデオ信号は、ビデオプロセッサ１０５内部の画像表示回路１０を経てＬＣＤ１１に表示される。また、伸張されたオーディオ信号は、オーディオ・多重分離プロセッサ１０６から周辺バス１０３、第３インターフェイス１１３を経て、ＡＤ・ＤＡ変換器１５へ至り、アナログオーディオ信号に変換され、スピーカ１７から発音される。
【００６５】
次に、ビットストリームの出力時の動作を説明する。まず、カメラ１２の撮影と、マイク１６の集音が開始すると、カメラ１２が得た画像は、ビデオプロセッサ１０５の画像入力回路１３へ入力され、画像入力回路１３がビデオ信号を生成し、ビデオプロセッサ１０５は、専用メモリ１１０を用いてビデを信号を圧縮する。このときも、ビデオプロセッサ１０５は、専用メモリ１１０を用いるため、アクセスの競合が発生せず、遅延なく圧縮を行える。
【００６６】
また、マイク１６が得たアナログオーディオ信号は、ＡＤ・ＤＡ変換器１５によりデジタルのオーディオ信号に変換され、第３インターフェイス１１３、周辺バス１０３を経て、オーディオ・多重分離プロセッサ１０６へ至る。すると、オーディオ・多重分離プロセッサ１０６は、これを圧縮する。
【００６７】
そして、ビデオプロセッサ１０５が画像圧縮を終えると、圧縮されたビデオ信号が、オーディオ・多重分離プロセッサ１０６へ渡され、オーディオ・多重分離プロセッサ１０６は、これと、自身で圧縮したオーディオ信号とを、多重化し、周辺バス１０３、第１インターフェイス１１１を介して、多重化されたビットストリームが、外部（記録媒体など）へ出力される。
【００６８】
以上において、ビデオプロセッサ１０５は、オーディオ・多重分離プロセッサ１０６が共用メモリ１０４を用いて他の処理を行っている間にも、
▲１▼画像入力回路１３を通して専用メモリ１１０に格納した画像データの圧縮、
▲２▼圧縮されたデータの画像データへの伸張、
▲３▼グラフィックス処理による画像データの生成、
▲４▼画像データの加工や編集、
などの処理を、専用メモリ１１０を用いて、アクセスの競合なく、実行できる。
【００６９】
これにより、アクセスの競合を抑制し、リアルタイム性を高めることができる。
【００７０】
【発明の効果】
本発明によれば、処理負担が重い処理ユニットに、第２のメモリを占有させることにより、アクセス競合による待ち時間を回避し、リアルタイム性を向上できる。
【００７１】
アクセスの競合による待ち時間を回避できるため、画像入力時において、映像をスムーズに画像データとしてメモリに取り込める。
【００７２】
アクセスの競合による待ち時間を回避できるため、画像出力時において、映像をスムーズに表示デバイスへ表示でき、映像表示の途切れや乱れを抑制できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における電子機器のブロック図
【図２】従来の集積回路の概略ブロック図
【符号の説明】
１０ 画像表示回路
１１ ＬＣＤ
１２ カメラ
１３ 画像入力回路
１４ キーセット
１５ ＡＤ・ＤＡ変換器
１６ マイク
１７ スピーカ
１００ 集積回路
１０１ メインバス
１０２ ブリッジ回路
１０３ 周辺バス
１０４ 共用メモリ
１０５ ビデオプロセッサ
１０６ オーディオ・多重分離プロセッサ
１０７ システムプロセッサ
１０８、１０９ バッファメモリ
１１０ 専用メモリ
１１１ 第１インターフェイス
１１２ 第２インターフェイス
１１３ 第３インターフェイス
１１４ 第４インターフェイス
Claims (13)
- バスと、
前記バスに接続される第１のメモリと、
前記バスを介して前記第１のメモリにアクセスする第１の処理ユニットと、
前記バスを介して前記第１のメモリにアクセスし、かつ、前記第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、
前記第２の処理ユニットにより、前記バスを介さずにアクセスされる第２のメモリとを備え、
前記第２の処理ユニットは、前記第２のメモリを占有し、前記画像入力回路が変換した画像データを、前記第２のメモリに転送し、
前記第２の処理ユニットは、前記第２のメモリに格納された画像データを、前記表示回路に転送し、
前記第２の処理ユニットは、前記第１の処理ユニットが前記第１のメモリを用いて他の処理を行っている間に、（１）前記画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う集積回路。 - 前記第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、
前記第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、
前記第２の処理ユニットは、前記第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納する、請求項１記載の集積回路。 - 前記第１の処理ユニットは、オーディオ信号の圧縮処理を行い、
前記第２の処理ユニットは、ビデオ信号の圧縮処理を行い、
前記第２の処理ユニットは、前記第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納する、請求項１記載の集積回路。 - 前記第１の処理ユニットは、ビットストリームからオーディオ信号とビデオ信号とを分離する処理、及び／又は、オーディオ信号とビデオ信号とをビットストリームに多重化する処理を実行する、請求項１から３のいずれか記載の集積回路。
- 前記第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する、請求項１から４のいずれか記載の集積回路。
- 前記第１の処理ユニット、及び／又は、前記第２の処理ユニットを、制御する制御ユニットを有する、請求項１から５のいずれか記載の集積回路。
- バスと、
前記バスに接続される第１のメモリと、
前記バスを介して前記第１のメモリにアクセスする第１の処理ユニットと、
前記バスを介して前記第１のメモリにアクセスし、かつ、前記第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、
前記第２の処理ユニットにより、前記バスを介さずにアクセスされる第２のメモリとを有し、
前記第１の処理ユニットは、圧縮されたオーディオ信号の伸張処理を行い、
前記第２の処理ユニットは、圧縮されたビデオ信号の伸張処理を行い、かつ、伸張したビデオ信号に基づいて画像表示信号を生成し、
前記第２の処理ユニットは、前記第２のメモリに、ビデオ信号の伸張処理過程で生成される参照画像データを格納し、
前記第２の処理ユニットは、前記第２のメモリを占有し、前記画像入力回路が変換した画像データを、前記第２のメモリに転送し、
前記第２の処理ユニットは、前記第２のメモリに格納された画像データを、前記表示回路に転送し、
前記第２の処理ユニットは、前記第１の処理ユニットが前記第１のメモリを用いて他の処理を行っている間に、（１）前記画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行う集積回路と、
前記第１の処理ユニットが伸張したオーディオ信号をアナログオーディオ信号に変換する変換器とを備える、電子機器。 - 前記集積回路は、前記第１の処理ユニット、及び／又は、前記第２の処理ユニットを、制御する制御ユニットを有する、請求項７記載の電子機器。
- 前記画像表示回路が生成した画像表示信号を入力して画像を表示する表示デバイスと、
前記変換器が出力するアナログオーディオ信号を入力して発音する再生デバイスとを備える、請求項７から８のいずれか記載の電子機器。 - 前記第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する、請求項７から９のいずれか記載の集積回路。
- カメラと、マイクと、集積回路と、変換器とを備え、
前記集積回路は、
バスと、
前記バスに接続される第１のメモリと、
前記バスを介して前記第１のメモリにアクセスする第１の処理ユニットと、
前記バスを介して前記第１のメモリにアクセスし、かつ、前記第１の処理ユニットよりも多くのデータの処理、及び／又は、多くの演算を実行し、カメラから得られる画像が入力する画像入力回路および画像表示信号を生成して表示デバイスに出力する画像表示回路を有する第２の処理ユニットと、
前記第２の処理ユニットにより、前記バスを介さずにアクセスされる第２のメモリとを有し、
前記第１の処理ユニットは、オーディオ信号の圧縮処理を行い、
前記第２の処理ユニットは、前記カメラの出力を入力してビデオ信号を生成し、かつ、このビデオ信号の圧縮処理を行い、
前記第２の処理ユニットは、前記第２のメモリに、ビデオ信号の圧縮処理過程で生成される参照画像データを格納し、
前記第２の処理ユニットは、前記第２のメモリを占有し、前記画像入力回路が変換した画像データを、前記第２のメモリに転送し、
前記第２の処理ユニットは、前記第２のメモリに格納された画像データを、前記表示回路に転送し、
前記第２の処理ユニットは、前記第１の処理ユニットが前記第１のメモリを用いて他の処理を行っている間に、（１）前記画像入力回路を通して第２のメモリに格納した画像データの圧縮、（２）圧縮されたデータの画像データへの伸長、（３）グラフィックス処理による画像データの生成、（４）画像データの加工および編集、の（１）〜（４）の内、少なくとも１つを行い、
前記変換器は、前記マイクの出力を入力してオーディオ信号を生成し、このオーディオ信号を前記第１の処理ユニットへ出力する、電子機器。 - 前記第２の処理ユニットは、コンピュータグラフィクス画像を生成する処理を実行する、請求項１１記載の電子機器。
- 前記集積回路は、前記第１の処理ユニット、及び／又は、前記第２の処理ユニットを、制御する制御ユニットを有する、請求項１１から１２のいずれか記載の電子機器。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003042438A JP4331488B2 (ja) | 2003-02-20 | 2003-02-20 | 集積回路及びそれを用いた電子機器 |
| DE602004020411T DE602004020411D1 (de) | 2003-02-20 | 2004-02-03 | Integrierter Schaltkreis und elektrische Vorrichtung, die diesen verwendet |
| EP04002308A EP1450263B1 (en) | 2003-02-20 | 2004-02-03 | Integrated circuit and electric device use thereof |
| US10/774,374 US8885053B2 (en) | 2003-02-20 | 2004-02-10 | Integrated circuit and electric device for avoiding latency time caused by contention |
| CNB2004100054135A CN1321386C (zh) | 2003-02-20 | 2004-02-18 | 集成电路和使用它的电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003042438A JP4331488B2 (ja) | 2003-02-20 | 2003-02-20 | 集積回路及びそれを用いた電子機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004252713A JP2004252713A (ja) | 2004-09-09 |
| JP4331488B2 true JP4331488B2 (ja) | 2009-09-16 |
Family
ID=32732959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003042438A Expired - Lifetime JP4331488B2 (ja) | 2003-02-20 | 2003-02-20 | 集積回路及びそれを用いた電子機器 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8885053B2 (ja) |
| EP (1) | EP1450263B1 (ja) |
| JP (1) | JP4331488B2 (ja) |
| CN (1) | CN1321386C (ja) |
| DE (1) | DE602004020411D1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7227554B2 (en) * | 2004-06-04 | 2007-06-05 | Broadcom Corporation | Method and system for providing accelerated video processing in a communication device |
| US7769274B2 (en) * | 2005-05-06 | 2010-08-03 | Mediatek, Inc. | Video processing and optical recording using a shared memory |
| JP4696889B2 (ja) * | 2005-12-12 | 2011-06-08 | パナソニック株式会社 | メニュー画面生成装置、メニュー画面生成方法、及びメニュー画面生成プログラム |
| US8487947B2 (en) * | 2006-09-28 | 2013-07-16 | Agere Systems Inc. | Video processing architecture having reduced memory requirement |
| JP4265650B2 (ja) * | 2006-12-13 | 2009-05-20 | ヤマハ株式会社 | データ処理装置、および画像デバイス |
| JP4574748B2 (ja) * | 2009-02-19 | 2010-11-04 | パナソニック株式会社 | 記録媒体、再生装置、記録方法、記録媒体再生システム |
| KR101337950B1 (ko) | 2012-02-24 | 2013-12-06 | 주식회사 휴비츠 | 그래픽 데이터 출력 장치 및 방법 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU598101B2 (en) * | 1987-02-27 | 1990-06-14 | Honeywell Bull Inc. | Shared memory controller arrangement |
| US5251303A (en) * | 1989-01-13 | 1993-10-05 | International Business Machines Corporation | System for DMA block data transfer based on linked control blocks |
| US6297843B1 (en) * | 1993-09-30 | 2001-10-02 | Intel Corporation | System providing video compression/encoding for communications across a network |
| US5487146A (en) * | 1994-03-08 | 1996-01-23 | Texas Instruments Incorporated | Plural memory access address generation employing guide table entries forming linked list |
| JPH0877347A (ja) | 1994-03-08 | 1996-03-22 | Texas Instr Inc <Ti> | 画像／グラフィックス処理用のデータ処理装置およびその操作方法 |
| US5706478A (en) * | 1994-05-23 | 1998-01-06 | Cirrus Logic, Inc. | Display list processor for operating in processor and coprocessor modes |
| DE69631393T2 (de) * | 1995-03-29 | 2004-10-21 | Hitachi Ltd | Dekoder für komprimierte und multiplexierte Bild- und Audiodaten |
| US5860086A (en) | 1995-06-07 | 1999-01-12 | International Business Machines Corporation | Video processor with serialization FIFO |
| KR19980044990A (ko) * | 1996-12-09 | 1998-09-15 | 양승택 | 휴대형 멀티미디어 데이터 입출력 처리기의 구조 및 그 구동 방법 |
| JPH10240681A (ja) | 1997-02-28 | 1998-09-11 | Canon Inc | 情報処理装置およびそのバス接続方法 |
| US5918073A (en) * | 1997-06-27 | 1999-06-29 | Advanced Micro Devices, Inc. | System and method for equalizing data buffer storage and fetch rates of peripheral devices |
| JP3907278B2 (ja) | 1997-08-19 | 2007-04-18 | キヤノン株式会社 | データ処理装置 |
| BR9906453A (pt) * | 1998-05-19 | 2000-09-19 | Sony Computer Entertainment Inc | Dispositivo e método do processamento de imagem, e meio de distribuição. |
| BR9906598A (pt) | 1998-07-15 | 2000-07-18 | Seiko Epson Corp | Dispositivo de exibição de vìdeo e método para seu ajuste |
| US6504825B1 (en) * | 1999-03-18 | 2003-01-07 | International Business Machines Corporation | Method and system for locating devices during system administration |
| US7194758B1 (en) * | 1999-05-24 | 2007-03-20 | Matsushita Electric Industrial Co., Ltd. | Digital broadcast system and its component devices that provide services in accordance with a broadcast watched by viewers |
| JP2001216048A (ja) * | 2000-02-03 | 2001-08-10 | Sony Corp | 情報処理装置および方法、並びにプログラム格納媒体 |
| JP4348821B2 (ja) * | 2000-03-27 | 2009-10-21 | ソニー株式会社 | 編集装置、編集方法 |
| JP2002041285A (ja) * | 2000-07-28 | 2002-02-08 | Toshiba Corp | データ処理装置およびデータ処理方法 |
| JP4433249B2 (ja) * | 2000-07-28 | 2010-03-17 | ソニー株式会社 | コンテンツ提示制御装置および方法 |
-
2003
- 2003-02-20 JP JP2003042438A patent/JP4331488B2/ja not_active Expired - Lifetime
-
2004
- 2004-02-03 EP EP04002308A patent/EP1450263B1/en not_active Expired - Fee Related
- 2004-02-03 DE DE602004020411T patent/DE602004020411D1/de not_active Expired - Lifetime
- 2004-02-10 US US10/774,374 patent/US8885053B2/en active Active
- 2004-02-18 CN CNB2004100054135A patent/CN1321386C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004252713A (ja) | 2004-09-09 |
| EP1450263B1 (en) | 2009-04-08 |
| CN1321386C (zh) | 2007-06-13 |
| US20040187165A1 (en) | 2004-09-23 |
| US8885053B2 (en) | 2014-11-11 |
| DE602004020411D1 (de) | 2009-05-20 |
| EP1450263A3 (en) | 2006-05-17 |
| EP1450263A2 (en) | 2004-08-25 |
| CN1523514A (zh) | 2004-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5726919B2 (ja) | リモートディスプレイに画像をレンダリングするためのデルタ圧縮ならびに動き予測およびメタデータの修正を可能にすること | |
| US7970049B2 (en) | Method and apparatus for encoding video in conjunction with a host processor | |
| US8619866B2 (en) | Reducing memory bandwidth for processing digital image data | |
| US20140310442A1 (en) | Integrated circuit for video / audio processing | |
| TW201907707A (zh) | 音訊驅動之視埠選擇 | |
| US9601156B2 (en) | Input/output system for editing and playing ultra-high definition image | |
| US7701466B2 (en) | Method and system for providing accelerated video processing in a communication device | |
| WO2021196994A1 (zh) | 编码的方法及装置、终端和存储介质 | |
| CN105979118A (zh) | 视频处理系统及具有其的多媒体播放设备 | |
| JP4331488B2 (ja) | 集積回路及びそれを用いた電子機器 | |
| US8514929B2 (en) | Combined audio/video/USB device | |
| JP3632028B2 (ja) | 多チャンネル動映像圧縮方法及び装置 | |
| CN101197981A (zh) | 一种录制音视频信息电视机及其实现方法 | |
| JP2001231046A (ja) | ディジタルカメラシステム及びそれに用いる画像転送方法 | |
| Konstantinides et al. | Design of an MPEG-2 codec | |
| TWI578763B (zh) | 編碼單元位元數限制 | |
| JP2004072629A (ja) | 画像信号処理装置及び画像記録出力装置 | |
| TWI276355B (en) | IC for hard disk recorder, hard disk recorder, electric device with built-in hard disk recorder, television device with built-in hard disk recorder, video recorder with built-in hard disk recorder, and DVD player with built-in hard disk recorder | |
| Okada et al. | System-on-a-chip for digital still cameras with VGA-size video clip shooting | |
| JP4247695B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、および、記憶媒体 | |
| JPH1185680A (ja) | 動画像取り込み装置、この動画像取り込み装置を使用したコンピュ−タシステム、および動画デ−タ利用方法 | |
| WO2007099580A1 (ja) | マルチメディアデータ再生装置および方法 | |
| JPH10294940A (ja) | 画像伝送システム及び画像伝送装置 | |
| JPH08289207A (ja) | ディジタルカメラ | |
| TW201136320A (en) | Buffer size reduction for wireless analog TV receivers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4331488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |