JP2888288B2 - 画像符号化装置 - Google Patents
画像符号化装置Info
- Publication number
- JP2888288B2 JP2888288B2 JP26294796A JP26294796A JP2888288B2 JP 2888288 B2 JP2888288 B2 JP 2888288B2 JP 26294796 A JP26294796 A JP 26294796A JP 26294796 A JP26294796 A JP 26294796A JP 2888288 B2 JP2888288 B2 JP 2888288B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- frame memory
- control processor
- register
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】本発明は、画像符号化装置に
関し、特に画像符号化専用ＬＳＩを用いた構成に基づく
画像符号化装置に関する。
関し、特に画像符号化専用ＬＳＩを用いた構成に基づく
画像符号化装置に関する。
【０００２】
【従来の技術】従来、この種の画像符号化装置は、複数
の画像符号化専用ＬＳＩを用いて構成されている。ま
た、画像符号化専用ＬＳＩ内部には制御ＣＰＵが搭載さ
れていたり、画像符号化専用ＬＳＩ毎にフレームメモリ
が接続される。例えば、１９９５年５月のＩＥＥＥ・カ
スタム・インテグレーテッド・サーキッツ・コンファレ
ンス（ＩＥＥＥ ＣＵＳＴＯＭ ＩＮＴＥＧＲＡＴＥＤ
ＣＩＲＣＵＩＴＳ ＣＯＮＦＥＲＥＮＣＥ）の予稿集
１７．１．１（ｐｐ．３９３−３９６）には、３種類の
画像符号化専用ＬＳＩを用いて構成される画像符号化装
置が記載されている。
の画像符号化専用ＬＳＩを用いて構成されている。ま
た、画像符号化専用ＬＳＩ内部には制御ＣＰＵが搭載さ
れていたり、画像符号化専用ＬＳＩ毎にフレームメモリ
が接続される。例えば、１９９５年５月のＩＥＥＥ・カ
スタム・インテグレーテッド・サーキッツ・コンファレ
ンス（ＩＥＥＥ ＣＵＳＴＯＭ ＩＮＴＥＧＲＡＴＥＤ
ＣＩＲＣＵＩＴＳ ＣＯＮＦＥＲＥＮＣＥ）の予稿集
１７．１．１（ｐｐ．３９３−３９６）には、３種類の
画像符号化専用ＬＳＩを用いて構成される画像符号化装
置が記載されている。
【０００３】この画像符号化装置には３種類のメモリが
必要なことがＦｉｇ．２に明記されている。また、３つ
のＬＳＩのうちの２つで制御プロセッサが搭載されてい
ることが、Ｆｉｇ．４、Ｆｉｇ．６に明記されている。
必要なことがＦｉｇ．２に明記されている。また、３つ
のＬＳＩのうちの２つで制御プロセッサが搭載されてい
ることが、Ｆｉｇ．４、Ｆｉｇ．６に明記されている。
【０００４】更に、上記予稿集１７．２．１（ｐｐ．３
９７−４００）には、３つのＬＳＩのうちの１つのＬＳ
Ｉ（ｐｉｘｅｌ ｐｒｏｃｅｓｓｏｒ）の詳細が述べら
れている。そこに示されているＦｉｇ．７より、ＲＩＳ
Ｃユニットは全体の２０％程度の面積を占めていること
がわかる。
９７−４００）には、３つのＬＳＩのうちの１つのＬＳ
Ｉ（ｐｉｘｅｌ ｐｒｏｃｅｓｓｏｒ）の詳細が述べら
れている。そこに示されているＦｉｇ．７より、ＲＩＳ
Ｃユニットは全体の２０％程度の面積を占めていること
がわかる。
【０００５】また、１９９４年８月のＩＥＥＥ・トラン
ザクションズ・オン・コンシューマ・エレクトロニク
ス、第４０巻、第３号（ＩＥＥＥ Ｔｒａｎｓａｃｔｉ
ｏｎｓｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃ
ｓ，Ｖｏｌ．４０，Ｎｏ．３）の４６６〜４７２ページ
には、２種類の画像符号化専用ＬＳＩを複数個用いて構
成される画像符号化装置の例が、Ｆｉｇ．８、Ｆｉｇ．
９を中心に記載されている。この例では、２種類のＬＳ
Ｉに対して、専用のメモリが必要になることがわかる。
ザクションズ・オン・コンシューマ・エレクトロニク
ス、第４０巻、第３号（ＩＥＥＥ Ｔｒａｎｓａｃｔｉ
ｏｎｓｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃ
ｓ，Ｖｏｌ．４０，Ｎｏ．３）の４６６〜４７２ページ
には、２種類の画像符号化専用ＬＳＩを複数個用いて構
成される画像符号化装置の例が、Ｆｉｇ．８、Ｆｉｇ．
９を中心に記載されている。この例では、２種類のＬＳ
Ｉに対して、専用のメモリが必要になることがわかる。
【０００６】これと同様のシステムの別な例が、１９９
６年２月の「電子技術」（日刊工業新聞社）の６ページ
にも記載されている。この例でも、２種類のＬＳＩに対
して、専用のメモリが必要になることが、６ページに示
された図７からわかる。また、２種類のＬＳＩのうちの
１つ（ＶＤＳＰ）は、プログラマブルなアーキテクチャ
を採用していることがわかる。
６年２月の「電子技術」（日刊工業新聞社）の６ページ
にも記載されている。この例でも、２種類のＬＳＩに対
して、専用のメモリが必要になることが、６ページに示
された図７からわかる。また、２種類のＬＳＩのうちの
１つ（ＶＤＳＰ）は、プログラマブルなアーキテクチャ
を採用していることがわかる。
【０００７】また、１９９５年８月のホット・チップス
ＶII（Ｈｏｔ Ｃｈｉｐｓ ＶII）の講演録の９８ペー
ジには、２種類の画像符号化専用ＬＳＩを用いて構成さ
れる画像符号化装置が図面４．１−０８を中心に記載さ
れている。これと同様のシステムの別な例が１９９６年
３月の電子情報通信学会総合大会の予稿集Ｃ−５６２
（ｐ．１７８）に記載されている。これらの図面より、
画像符号化装置には２種類のメモリが必要になるのがわ
かる。
ＶII（Ｈｏｔ Ｃｈｉｐｓ ＶII）の講演録の９８ペー
ジには、２種類の画像符号化専用ＬＳＩを用いて構成さ
れる画像符号化装置が図面４．１−０８を中心に記載さ
れている。これと同様のシステムの別な例が１９９６年
３月の電子情報通信学会総合大会の予稿集Ｃ−５６２
（ｐ．１７８）に記載されている。これらの図面より、
画像符号化装置には２種類のメモリが必要になるのがわ
かる。
【０００８】更に、１９９６年２月のＩＥＥＥ インタ
ーナショナル ソリッドステートサーキッツ コンファ
レンス（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏ
ｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒ
ｅｎｃｅ）の２４２ページにおいて、２種類のチップの
１つ（ＥＮＣ−Ｍ）が記載されている。そこに示されて
いるＦｉｇｕｒｅ ６より明白なように、制御プロセッ
サが約１／４の面積を占めている。また、上記のホット
・チップスＶIIの講演録には、もう１つのチップにも制
御ＬＳＩ（ＥＮＣ−Ｃ）が搭載され、その面積の１／４
が制御プロセッサであることが示唆されている（図面
４．１−１０）。また、上記のホット・チップスＶIIの
講演録の１０５ページには、３種類の画像符号化専用Ｌ
ＳＩを用いて構成される画像符号化装置の例が図面４．
２−０６に記載されている。内部構造は明らかではない
が、システムに必要なメモリはチップ数と同じく３種類
あることが明記されている。
ーナショナル ソリッドステートサーキッツ コンファ
レンス（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏ
ｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒ
ｅｎｃｅ）の２４２ページにおいて、２種類のチップの
１つ（ＥＮＣ−Ｍ）が記載されている。そこに示されて
いるＦｉｇｕｒｅ ６より明白なように、制御プロセッ
サが約１／４の面積を占めている。また、上記のホット
・チップスＶIIの講演録には、もう１つのチップにも制
御ＬＳＩ（ＥＮＣ−Ｃ）が搭載され、その面積の１／４
が制御プロセッサであることが示唆されている（図面
４．１−１０）。また、上記のホット・チップスＶIIの
講演録の１０５ページには、３種類の画像符号化専用Ｌ
ＳＩを用いて構成される画像符号化装置の例が図面４．
２−０６に記載されている。内部構造は明らかではない
が、システムに必要なメモリはチップ数と同じく３種類
あることが明記されている。
【０００９】
【発明が解決しようとする課題】上記の各画像符号化装
置における第１の問題点は、画像符号化専用ＬＳＩの規
模が大きく高価になるということである。画像符号化専
用ＬＳＩ内部に制御ＣＰＵが搭載された場合、そのチッ
プ面積に占める割合は、２割から３割となり、チップコ
ストの大幅な増加につながる。その理由は、画像符号化
専用ＬＳＩの制御にプログラマブルな部分を残したから
である。
置における第１の問題点は、画像符号化専用ＬＳＩの規
模が大きく高価になるということである。画像符号化専
用ＬＳＩ内部に制御ＣＰＵが搭載された場合、そのチッ
プ面積に占める割合は、２割から３割となり、チップコ
ストの大幅な増加につながる。その理由は、画像符号化
専用ＬＳＩの制御にプログラマブルな部分を残したから
である。
【００１０】本来、十分な仕様検討に基づいてＬＳＩ設
計を行えばこのようなプログラマビリティは不要である
が、システムチューニングに対する柔軟性を過度に持た
せたため、回路の増大化を招いている。
計を行えばこのようなプログラマビリティは不要である
が、システムチューニングに対する柔軟性を過度に持た
せたため、回路の増大化を招いている。
【００１１】第２の問題点は、画像符号化装置の部品点
数が増大し、そのためシステムコストや消費電力が増大
するということである。複数の画像符号化専用ＬＳＩを
必要とするシステムは、それだけで部品点数が増加する
のに加え、複数のメモリＬＳＩを各画像符号化専用ＬＳ
Ｉに配することになり、トータルシステムの部品点数の
増加は避けられない。その理由は、第１の問題点で述べ
たように、画像符号化専用ＬＳＩの規模が大きく、現状
の半導体製造技術では１チップでの集積が困難であるこ
とにある。
数が増大し、そのためシステムコストや消費電力が増大
するということである。複数の画像符号化専用ＬＳＩを
必要とするシステムは、それだけで部品点数が増加する
のに加え、複数のメモリＬＳＩを各画像符号化専用ＬＳ
Ｉに配することになり、トータルシステムの部品点数の
増加は避けられない。その理由は、第１の問題点で述べ
たように、画像符号化専用ＬＳＩの規模が大きく、現状
の半導体製造技術では１チップでの集積が困難であるこ
とにある。
【００１２】そこで、本発明の課題は、部品点数の少な
い画像符号化装置を提供することにある。
い画像符号化装置を提供することにある。
【００１３】本発明の別の課題は、画像符号化専用ＬＳ
Ｉの規模を小型化することにある。
Ｉの規模を小型化することにある。
【００１４】
【課題を解決するための手段】本発明はフレーム間画像
予測符号化を実行する装置であり、画像入力部と、動き
探索部と、直交変換（ＤＣＴ）、量子化、逆量子化、及
び逆直交変換（ＩＤＣＴ）を実行する画素数値演算部
と、可変長符号化部と、符号出力部と、フレームメモリ
と、前記フレームメモリに接続されるフレームメモリ制
御部と、制御プロセッサと、前記制御プロセッサに接続
されるホストインターフェース部とを備え、前記画像入
力部と、前記動き探索部と、前記画素数値演算部と、前
記可変長符号化部と、前記符号出力部とは、前記フレー
ムメモリ制御部に各々独立のバッファメモリを介して接
続され、前記フレームメモリとの間で時分割データ転送
を実行し、また、前記画像入力部と、前記動き探索部
と、前記画素数値演算部と、前記可変長符号化部と、前
記フレームメモリ制御部とは、前記ホストインターフェ
ース部に接続され、前記制御プロセッサによって参照設
定を受けるレジスタ群を有することを特徴とする。
予測符号化を実行する装置であり、画像入力部と、動き
探索部と、直交変換（ＤＣＴ）、量子化、逆量子化、及
び逆直交変換（ＩＤＣＴ）を実行する画素数値演算部
と、可変長符号化部と、符号出力部と、フレームメモリ
と、前記フレームメモリに接続されるフレームメモリ制
御部と、制御プロセッサと、前記制御プロセッサに接続
されるホストインターフェース部とを備え、前記画像入
力部と、前記動き探索部と、前記画素数値演算部と、前
記可変長符号化部と、前記符号出力部とは、前記フレー
ムメモリ制御部に各々独立のバッファメモリを介して接
続され、前記フレームメモリとの間で時分割データ転送
を実行し、また、前記画像入力部と、前記動き探索部
と、前記画素数値演算部と、前記可変長符号化部と、前
記フレームメモリ制御部とは、前記ホストインターフェ
ース部に接続され、前記制御プロセッサによって参照設
定を受けるレジスタ群を有することを特徴とする。
【００１５】なお、前記フレームメモリ制御部にバッフ
ァメモリを介して接続された符号化画質監視用の画像出
力部を更に備えても良い。
ァメモリを介して接続された符号化画質監視用の画像出
力部を更に備えても良い。
【００１６】また、オーディオ符号化部を更に備え、該
オーディオ符号化部と接続された制御プロセッサはオー
ディオ符号データを受け取り、これを前記フレームメモ
リに書き込み、前記符号出力部は、前記フレームメモリ
のデータをオーディオ符号、ビデオ符号、ヘッドデータ
を独立に読み出し編集した後出力するようにしても良
い。
オーディオ符号化部と接続された制御プロセッサはオー
ディオ符号データを受け取り、これを前記フレームメモ
リに書き込み、前記符号出力部は、前記フレームメモリ
のデータをオーディオ符号、ビデオ符号、ヘッドデータ
を独立に読み出し編集した後出力するようにしても良
い。
【００１７】前記フレームメモリ制御部は、特定の処理
単位期間毎に、前記時分割データ転送を、同一のスケジ
ューリング方式で決定する。
単位期間毎に、前記時分割データ転送を、同一のスケジ
ューリング方式で決定する。
【００１８】前記制御プロセッサは、特定の大きさの画
像矩形領域に対する処理単位時間毎に起動され、可変実
行時間のプログラム実行後に前記レジスタ群の参照設定
を、前記ホストインターフェース部を介して実行する。
像矩形領域に対する処理単位時間毎に起動され、可変実
行時間のプログラム実行後に前記レジスタ群の参照設定
を、前記ホストインターフェース部を介して実行する。
【００１９】前記可変長符号化部、前記画素数値演算部
はそれぞれ、内部に量子化スケールコードレジスタ、生
成符号量レジスタを具備し、これらを前記制御プロセッ
サが参照設定することで、生成される符号量の実時間制
御が実行できる。
はそれぞれ、内部に量子化スケールコードレジスタ、生
成符号量レジスタを具備し、これらを前記制御プロセッ
サが参照設定することで、生成される符号量の実時間制
御が実行できる。
【００２０】前記画素数値演算部は、内部に適応量子化
制御レジスタ、及び画像矩形領域の特徴量を累算するレ
ジスタを有し、これらを前記制御プロセッサが参照設定
することで、符号化画像の画質改善の実時間制御が実行
できる。
制御レジスタ、及び画像矩形領域の特徴量を累算するレ
ジスタを有し、これらを前記制御プロセッサが参照設定
することで、符号化画像の画質改善の実時間制御が実行
できる。
【００２１】前記動き探索部は、検出した動きベクトル
の情報を記録するレジスタ及び、動き探索範囲設定レジ
スタを内部に具備し、これを前記制御プロセッサが参照
設定することで、動き探索範囲の実時間変更ができる。
の情報を記録するレジスタ及び、動き探索範囲設定レジ
スタを内部に具備し、これを前記制御プロセッサが参照
設定することで、動き探索範囲の実時間変更ができる。
【００２２】少なくとも前記動き探索部は、内部にピク
チャタイプレジスタを有し、これを前記制御プロセッサ
が設定することで、符号化ピクチャタイプの実時間変更
ができる。
チャタイプレジスタを有し、これを前記制御プロセッサ
が設定することで、符号化ピクチャタイプの実時間変更
ができる。
【００２３】前記フレームメモリ制御部は、内部にピク
チャインデックスレジスタを有し、これを前記制御プロ
セッサが設定することで、前記画像入力部から入力され
る画像データが前記フレームメモリに書き込まれる際の
領域や、前記画素数値演算部で計算される予測画像が前
記フレームメモリに書き込まれる際の領域や、前記画像
出力部から出力される画像データが読み出される領域の
実時間変更が実行できる。
チャインデックスレジスタを有し、これを前記制御プロ
セッサが設定することで、前記画像入力部から入力され
る画像データが前記フレームメモリに書き込まれる際の
領域や、前記画素数値演算部で計算される予測画像が前
記フレームメモリに書き込まれる際の領域や、前記画像
出力部から出力される画像データが読み出される領域の
実時間変更が実行できる。
【００２４】前記符号出力部は、前記フレームメモリに
蓄積された可変長符号化部の出力データと、前記フレー
ムメモリに前記制御プロセッサによって設定された画像
ヘッダとを独立に読み出し編集して画像符号出力を生成
する。
蓄積された可変長符号化部の出力データと、前記フレー
ムメモリに前記制御プロセッサによって設定された画像
ヘッダとを独立に読み出し編集して画像符号出力を生成
する。
【００２５】前記画像入力部は、内部に画像差分判定回
路を有し、この結果を前記制御プロセッサが参照するこ
とで、前記画像入力部から入力される画像データが、直
前の画像と大きく異なるかどうかを判断し、その結果で
前記制御プロセッサの符号化処理内容を変更できる。
路を有し、この結果を前記制御プロセッサが参照するこ
とで、前記画像入力部から入力される画像データが、直
前の画像と大きく異なるかどうかを判断し、その結果で
前記制御プロセッサの符号化処理内容を変更できる。
【００２６】前記制御プロセッサの符号化処理内容の変
更が、前記ピクチャタイプレジスタの設定変更や前記量
子化スケールコードレジスタの設定変更に影響を与える
ようにしても良い。
更が、前記ピクチャタイプレジスタの設定変更や前記量
子化スケールコードレジスタの設定変更に影響を与える
ようにしても良い。
【００２７】前記画像入力部は、内部に画像差分判定回
路を有し、この結果を前記制御プロセッサが参照するこ
とで、前記画像入力部から入力される画像データが、直
前の画像と同一かどうかを判断し、その結果で前記制御
プロセッサの符号化処理内容を変更できる。
路を有し、この結果を前記制御プロセッサが参照するこ
とで、前記画像入力部から入力される画像データが、直
前の画像と同一かどうかを判断し、その結果で前記制御
プロセッサの符号化処理内容を変更できる。
【００２８】前記制御プロセッサの符号化処理内容の変
更が、フィールド繰り返しされているフレーム画像入力
のフィールド繰り返し除去後の符号化に影響を与えるよ
うにしても良い。
更が、フィールド繰り返しされているフレーム画像入力
のフィールド繰り返し除去後の符号化に影響を与えるよ
うにしても良い。
【００２９】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して詳細に説明する、図１は、本発明の
実施の形態の構成を示すブロック図である。図１におけ
る画像符号化の流れは、次のようになる。画像信号は画
像入力部３に入力され、入力フォーマットの変換、例え
ば４：２：２画像信号から４：２：０画像信号への変換
などが実行される。また、必要に応じて、全画面との差
分判定や、帯域制限やノイズ削減などが実行される。そ
のために、画像入力部３は、図示されない画像差分判定
回路を含んでいる。入力フォーマット変換の結果得られ
た画像は、バッファメモリ１３に蓄えられた後、フレー
ムメモリ制御部９を通じて、フレームメモリ１０に書き
込まれる。
て、図面を参照して詳細に説明する、図１は、本発明の
実施の形態の構成を示すブロック図である。図１におけ
る画像符号化の流れは、次のようになる。画像信号は画
像入力部３に入力され、入力フォーマットの変換、例え
ば４：２：２画像信号から４：２：０画像信号への変換
などが実行される。また、必要に応じて、全画面との差
分判定や、帯域制限やノイズ削減などが実行される。そ
のために、画像入力部３は、図示されない画像差分判定
回路を含んでいる。入力フォーマット変換の結果得られ
た画像は、バッファメモリ１３に蓄えられた後、フレー
ムメモリ制御部９を通じて、フレームメモリ１０に書き
込まれる。
【００３０】以後、全てのフレームメモリ１０へのアク
セスは必ずフレームメモリ制御部９を介して行われる。
その後、フレーム間予測符号化に必要な画像データがフ
レームメモリ１０から読み出され、バッファメモリ１４
を介して動き探索部４に転送される。予測符号化に必要
な画像は、現画像（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）
と参照画像（ｒｅｆｅｒｎｃｅ ｐｉｃｔｕｒｅ）であ
る。両方向予測の場合は、参照画像は前（ｆｏｒｗａｒ
ｄ）方向予測画像と後（ｂａｃｋｗａｒｄ）方向予測画
像の２つになる。また、予測構造に応じて、フィールド
画像の場合と、フレーム画像の場合とがある。動き探索
のアルゴリズム上、この転送データは画像の輝度成分に
限られることが多い。動き探索の結果、予測画像と、予
測誤差とが、動き探索部４から画素数値演算部５へ直接
転送される。
セスは必ずフレームメモリ制御部９を介して行われる。
その後、フレーム間予測符号化に必要な画像データがフ
レームメモリ１０から読み出され、バッファメモリ１４
を介して動き探索部４に転送される。予測符号化に必要
な画像は、現画像（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）
と参照画像（ｒｅｆｅｒｎｃｅ ｐｉｃｔｕｒｅ）であ
る。両方向予測の場合は、参照画像は前（ｆｏｒｗａｒ
ｄ）方向予測画像と後（ｂａｃｋｗａｒｄ）方向予測画
像の２つになる。また、予測構造に応じて、フィールド
画像の場合と、フレーム画像の場合とがある。動き探索
のアルゴリズム上、この転送データは画像の輝度成分に
限られることが多い。動き探索の結果、予測画像と、予
測誤差とが、動き探索部４から画素数値演算部５へ直接
転送される。
【００３１】図２は、図１の動き探索部４の構成を示す
ブロック図である。フレームメモリ１０から読み込まれ
た現画像はカレントメモリ４０に、参照画像は参照メモ
リ４１に各々転送される。これらのデータは必要に応じ
て探索プロセッサ４２に供給される。このようなデータ
供給の制御を行うのが探索制御部４３である。特に、探
索範囲設定レジスタ４５によって探索範囲が決定され
る。探索制御部４３にはピクチャタイプレジスタ４４に
よって、探索が前方向のみか（Ｐピクチャ）、両方向な
のか（Ｂピクチャ）が決定される。探索範囲内の動きベ
クトル候補により、可能な予測モードにおける動き補償
予測を行い、特徴量計算部４６において特徴量が算出さ
れ、その結果、動き判定回路４７において最終的な動き
ベクトルと予測モードの判定が行われる。ここで、特徴
量とは、予測誤差あるいは符号化画像の電力（ＡＣパワ
ー）などを意味する。
ブロック図である。フレームメモリ１０から読み込まれ
た現画像はカレントメモリ４０に、参照画像は参照メモ
リ４１に各々転送される。これらのデータは必要に応じ
て探索プロセッサ４２に供給される。このようなデータ
供給の制御を行うのが探索制御部４３である。特に、探
索範囲設定レジスタ４５によって探索範囲が決定され
る。探索制御部４３にはピクチャタイプレジスタ４４に
よって、探索が前方向のみか（Ｐピクチャ）、両方向な
のか（Ｂピクチャ）が決定される。探索範囲内の動きベ
クトル候補により、可能な予測モードにおける動き補償
予測を行い、特徴量計算部４６において特徴量が算出さ
れ、その結果、動き判定回路４７において最終的な動き
ベクトルと予測モードの判定が行われる。ここで、特徴
量とは、予測誤差あるいは符号化画像の電力（ＡＣパワ
ー）などを意味する。
【００３２】上記の判定結果に基づいて、予測誤差演算
部４８において予測誤差が画素毎に計算され、その計算
結果がバッファ４９に蓄えられた後、図１の画素数値演
算部５に転送される。これとは別に、マクロブロックの
特徴量も画素数値演算部５に転送される。また、予測画
像も画素数値演算部５に転送される。もし、動き探索部
３の処理が輝度成分に限られ、色差成分について予測画
像を画素数値演算部５で生成する場合、動きベクトルと
予測モードは画素数値演算部５にも転送される。更に、
動きベクトルと予測モードについては、可変長符号化部
６に転送され符号化情報に使用される。
部４８において予測誤差が画素毎に計算され、その計算
結果がバッファ４９に蓄えられた後、図１の画素数値演
算部５に転送される。これとは別に、マクロブロックの
特徴量も画素数値演算部５に転送される。また、予測画
像も画素数値演算部５に転送される。もし、動き探索部
３の処理が輝度成分に限られ、色差成分について予測画
像を画素数値演算部５で生成する場合、動きベクトルと
予測モードは画素数値演算部５にも転送される。更に、
動きベクトルと予測モードについては、可変長符号化部
６に転送され符号化情報に使用される。
【００３３】画素数値演算部５では、予測誤差データに
対して、ＤＣＴ、量子化、逆量子化、逆ＤＣＴ（ＩＤＣ
Ｔ）の処理を行う。ＤＣＴ、量子化までの結果で、量子
化変換係数が生成される。この変換係数データは可変長
符号化部６へ直接転送される。また、逆ＤＣＴまでの結
果を予測画像と加算することで、デコード画像が生成さ
れる。このデコード画像は、バッファメモリ１５を介し
て、フレームメモリ１０に書き込まれる。デコード画像
の用途は、他画像の符号化の参照画像として用いられる
場合、画質監視表示などがある。もし、動き探索部３の
処理が輝度成分に限られる場合、色差成分については、
予測画像、予測誤差の生成に必要なデータを全てフレー
ムメモリ１０から読み出した後、同様の処理が実行され
る。
対して、ＤＣＴ、量子化、逆量子化、逆ＤＣＴ（ＩＤＣ
Ｔ）の処理を行う。ＤＣＴ、量子化までの結果で、量子
化変換係数が生成される。この変換係数データは可変長
符号化部６へ直接転送される。また、逆ＤＣＴまでの結
果を予測画像と加算することで、デコード画像が生成さ
れる。このデコード画像は、バッファメモリ１５を介し
て、フレームメモリ１０に書き込まれる。デコード画像
の用途は、他画像の符号化の参照画像として用いられる
場合、画質監視表示などがある。もし、動き探索部３の
処理が輝度成分に限られる場合、色差成分については、
予測画像、予測誤差の生成に必要なデータを全てフレー
ムメモリ１０から読み出した後、同様の処理が実行され
る。
【００３４】図３は、図１の画素数値演算部５の構成を
示すブロック図である。動き探索部４から送られた予測
誤差は、ＤＣＴ／量子化／逆量子化／逆ＤＣＴ演算部５
０に送られ、演算が行われる。この際に、量子化スケー
ルコードレジスタ５３に設定された量子化スケールコー
ドを、動き探索部４から転送された特徴量に応じて変更
するのが適応量子化制御レジスタ５２である。量子化変
換係数は可変長符号化部６へ直接転送される。また、逆
ＤＣＴまでの結果を復号画像生成部５１において、動き
探索部４から読み込まれた予測画像と加算し、結果をデ
コード画像としてフレームメモリ１０に書き込む。これ
とは別に、動き探索部４から転送された特徴量は、特徴
量累算回路５４で累算され、その結果がレジスタ５５か
ら読み出せるようになっている。
示すブロック図である。動き探索部４から送られた予測
誤差は、ＤＣＴ／量子化／逆量子化／逆ＤＣＴ演算部５
０に送られ、演算が行われる。この際に、量子化スケー
ルコードレジスタ５３に設定された量子化スケールコー
ドを、動き探索部４から転送された特徴量に応じて変更
するのが適応量子化制御レジスタ５２である。量子化変
換係数は可変長符号化部６へ直接転送される。また、逆
ＤＣＴまでの結果を復号画像生成部５１において、動き
探索部４から読み込まれた予測画像と加算し、結果をデ
コード画像としてフレームメモリ１０に書き込む。これ
とは別に、動き探索部４から転送された特徴量は、特徴
量累算回路５４で累算され、その結果がレジスタ５５か
ら読み出せるようになっている。
【００３５】可変長符号化部６では、量子化変換係数デ
ータを可変長符号化して、結果のビット列をバッファメ
モリ１６を介してフレームメモリ１０に書き込む。更
に、可変長符号化部６では、量子化変換係数データと動
きベクトルなどのピクチャレイア以下の符号データを可
変長符号化して、バッファメモリ１６を介してフレーム
メモリ１０に書き込む。
ータを可変長符号化して、結果のビット列をバッファメ
モリ１６を介してフレームメモリ１０に書き込む。更
に、可変長符号化部６では、量子化変換係数データと動
きベクトルなどのピクチャレイア以下の符号データを可
変長符号化して、バッファメモリ１６を介してフレーム
メモリ１０に書き込む。
【００３６】図４は、図１の可変長符号化部６の構成を
示すブロック図である。可変長符号化回路６０でほとん
どの可変長符号化処理が実行されるが、その後工程に、
生成された符号量を計測する生成符号量レジスタ６１が
存在し、ピクチャごとの発生符号量を読み出すことが出
来る。
示すブロック図である。可変長符号化回路６０でほとん
どの可変長符号化処理が実行されるが、その後工程に、
生成された符号量を計測する生成符号量レジスタ６１が
存在し、ピクチャごとの発生符号量を読み出すことが出
来る。
【００３７】符号出力部７では、フレームメモリ１０に
書き込まれたビット列データと、予めフレームメモリ１
０に設定されたヘッダデータをバッファメモリ１７を介
して読み出し、編集処理の後、出力が実行される。画像
出力部８では、フレームメモリ１０に書き込まれたデコ
ード画像あるいは入力画像をバッファ１８を介して読み
出し表示する。必要に応じて、出力フォーマットへの変
換、例えば４：２：０画像信号から４：２：２画像信号
への変換などが実行される。
書き込まれたビット列データと、予めフレームメモリ１
０に設定されたヘッダデータをバッファメモリ１７を介
して読み出し、編集処理の後、出力が実行される。画像
出力部８では、フレームメモリ１０に書き込まれたデコ
ード画像あるいは入力画像をバッファ１８を介して読み
出し表示する。必要に応じて、出力フォーマットへの変
換、例えば４：２：０画像信号から４：２：２画像信号
への変換などが実行される。
【００３８】図１において、画像入力部３、動き探索部
４、画素数値演算部５、可変長符号化部６は、ホストイ
ンターフェース部２を介して、制御プロセッサ１の制御
を受ける。ホストインターフェース部２は制御プロセッ
サ１とのタイミングの整合性をとるためのものであり、
画像入力部３、動き探索部４、画素数値演算部５、可変
長符号化部６とのインターフェースはバス結合のような
態様が回路規模削減の上では好ましい。
４、画素数値演算部５、可変長符号化部６は、ホストイ
ンターフェース部２を介して、制御プロセッサ１の制御
を受ける。ホストインターフェース部２は制御プロセッ
サ１とのタイミングの整合性をとるためのものであり、
画像入力部３、動き探索部４、画素数値演算部５、可変
長符号化部６とのインターフェースはバス結合のような
態様が回路規模削減の上では好ましい。
【００３９】制御プロセッサ１は以上のような構造の下
で、画像入力部３、動き探索部４、画素数値演算部５、
可変長符号化部６の初期設定ならびに実時間での制御を
実行する。オーディオ符号化部１１は、本発明の実施の
形態に応じて存在してもしなくともよい。もし存在する
場合、オーディオ符号化部１１はオーディオデータの符
号化を実行する部分であり、その結果を制御プロセッサ
１に転送する。制御プロセッサ１は、その結果を図示さ
れない経路でフレームメモリ制御部９を介してフレーム
メモリ１０に書き込む。この結果は、符号出力部７によ
って読み出され、符号出力部７は画像符号やヘッダと共
に編集した結果を符号出力する。
で、画像入力部３、動き探索部４、画素数値演算部５、
可変長符号化部６の初期設定ならびに実時間での制御を
実行する。オーディオ符号化部１１は、本発明の実施の
形態に応じて存在してもしなくともよい。もし存在する
場合、オーディオ符号化部１１はオーディオデータの符
号化を実行する部分であり、その結果を制御プロセッサ
１に転送する。制御プロセッサ１は、その結果を図示さ
れない経路でフレームメモリ制御部９を介してフレーム
メモリ１０に書き込む。この結果は、符号出力部７によ
って読み出され、符号出力部７は画像符号やヘッダと共
に編集した結果を符号出力する。
【００４０】画像符号化処理は、通常、矩形領域、例え
ばマクロブロックと呼ばれる１６画素×１６ラインの領
域を単位に実行される。本実施の形態でも、画像入力部
３、動き探索部４、画素数値演算部５、可変長符号化部
６は、マクロブロック処理を単位として逐次動作するよ
うに設計される。
ばマクロブロックと呼ばれる１６画素×１６ラインの領
域を単位に実行される。本実施の形態でも、画像入力部
３、動き探索部４、画素数値演算部５、可変長符号化部
６は、マクロブロック処理を単位として逐次動作するよ
うに設計される。
【００４１】以上の処理におけるフレームメモリ１０の
アクセスを制御するのがフレームメモリ制御部９であ
る。フレームメモリ制御部９においても、処理は、画像
入力部３、動き探索部４、画素数値演算部５、可変長符
号化部６の各処理部と同様、マクロブロック周期で繰り
返されることに特徴がある。
アクセスを制御するのがフレームメモリ制御部９であ
る。フレームメモリ制御部９においても、処理は、画像
入力部３、動き探索部４、画素数値演算部５、可変長符
号化部６の各処理部と同様、マクロブロック周期で繰り
返されることに特徴がある。
【００４２】図６を参照して、フレームメモリ１０をア
クセスする場合のスケジューリングについて説明する。
ここで、各記号と上記各処理部との関係を明記すると、
画像入力部３からのフレームメモリ１０への書き込みは
Ｉ、動き探索部４へのフレームメモリ１０からの読み出
しはＦ、Ｂ、Ｙｃ、画素数値演算部５へのフレームメモ
リ１０からの読み出しはＣｃ、画素数値演算部５からの
フレームメモリ１０への書き込みはＬ、可変長符号化部
６からのフレームメモリ１０への書き込みはＶ、符号出
力部７へのフレームメモリ１０からの読み出しはＳ、画
像出力部８へのフレームメモリ１０からの読み出しはＯ
となる。このようなスケジューリングの詳細は、画像入
力部３、動き探索部４、画素数値演算部５、可変長符号
化部６の各処理部の処理タイミングに依存して決定され
る性質のものである。また、アービトレーションによっ
て競合解決するか、あるいは固定的に時刻の枠組みを決
めておくかは実施の態様に依存する。また、記載されて
いない項目、例えばヘッダの設定などは、時間的に余裕
が有る限り追加できる。
クセスする場合のスケジューリングについて説明する。
ここで、各記号と上記各処理部との関係を明記すると、
画像入力部３からのフレームメモリ１０への書き込みは
Ｉ、動き探索部４へのフレームメモリ１０からの読み出
しはＦ、Ｂ、Ｙｃ、画素数値演算部５へのフレームメモ
リ１０からの読み出しはＣｃ、画素数値演算部５からの
フレームメモリ１０への書き込みはＬ、可変長符号化部
６からのフレームメモリ１０への書き込みはＶ、符号出
力部７へのフレームメモリ１０からの読み出しはＳ、画
像出力部８へのフレームメモリ１０からの読み出しはＯ
となる。このようなスケジューリングの詳細は、画像入
力部３、動き探索部４、画素数値演算部５、可変長符号
化部６の各処理部の処理タイミングに依存して決定され
る性質のものである。また、アービトレーションによっ
て競合解決するか、あるいは固定的に時刻の枠組みを決
めておくかは実施の態様に依存する。また、記載されて
いない項目、例えばヘッダの設定などは、時間的に余裕
が有る限り追加できる。
【００４３】以上の処理におけるフレームメモリの分割
方法、すなわちメモリマップを図７を参照して説明す
る。メモリマップにおけるデータと処理の関係について
述べると、現画像は、画像入力部３から書き込まれる入
力画像、局所復号画像は、画素数値演算部５から書き込
まれるデコード画像、画像符号バッファは、可変長符号
化部６から書き込まれるビット列、オーディオ符号バッ
ファは、制御プロセッサ１から書き込まれるビット列、
へッダ情報などは、制御プロセッサ１から書き込まれる
ヘッダ情報などに対応している。ここで、現画像蓄積領
域が４枚分あるのは、フレーム間画像予測符号化におけ
る両方向予測の画像距離を３まで確保するためである。
また、局所復号画像蓄積領域が３枚分あるのは、両方向
予測の画像２枚と、表示画像１枚を蓄積するためであ
る。
方法、すなわちメモリマップを図７を参照して説明す
る。メモリマップにおけるデータと処理の関係について
述べると、現画像は、画像入力部３から書き込まれる入
力画像、局所復号画像は、画素数値演算部５から書き込
まれるデコード画像、画像符号バッファは、可変長符号
化部６から書き込まれるビット列、オーディオ符号バッ
ファは、制御プロセッサ１から書き込まれるビット列、
へッダ情報などは、制御プロセッサ１から書き込まれる
ヘッダ情報などに対応している。ここで、現画像蓄積領
域が４枚分あるのは、フレーム間画像予測符号化におけ
る両方向予測の画像距離を３まで確保するためである。
また、局所復号画像蓄積領域が３枚分あるのは、両方向
予測の画像２枚と、表示画像１枚を蓄積するためであ
る。
【００４４】図５は、図１のフレームメモリ制御部９内
のアドレス生成部のブロック図である。フレームメモリ
アドレス生成部９０は、画像入力部３、動き探索部４、
画素数値演算部５、可変長符号化部６の各処理部の処理
手順に従って、下位アドレスを生成するが、その上位ア
ドレスは、フレームメモリインデックスレジスタ９１で
指定される。フレームメモリインデックスレジスタ９１
は、画像入力部３、動き探索部４、画素数値演算部５、
可変長符号化部６の各処理部に対して独立にフレームメ
モリインデックスを指定することができる。一方、以上
の処理の制御を司るのが制御プロセッサ１である。
のアドレス生成部のブロック図である。フレームメモリ
アドレス生成部９０は、画像入力部３、動き探索部４、
画素数値演算部５、可変長符号化部６の各処理部の処理
手順に従って、下位アドレスを生成するが、その上位ア
ドレスは、フレームメモリインデックスレジスタ９１で
指定される。フレームメモリインデックスレジスタ９１
は、画像入力部３、動き探索部４、画素数値演算部５、
可変長符号化部６の各処理部に対して独立にフレームメ
モリインデックスを指定することができる。一方、以上
の処理の制御を司るのが制御プロセッサ１である。
【００４５】図８を参照して、制御プロセッサ１の動作
の概念を示す。制御プロセッサ１は、画像入力部３、動
き探索部４、画素数値演算部５、可変長符号化部６、及
び符号出力部７などの開始終了信号を基準とする割込み
信号によって起動され、画像入力部３、動き探索部４、
画素数値演算部５、可変長符号化部６、及び符号出力部
７などに対するステータスの参照を行い、それに基づい
た処理を実行し、最終的に画像入力部３、動き探索部
４、画素数値演算部５、可変長符号化部６、及び符号出
力部７などに対する制御指定の設定を行って、処理を終
了する。
の概念を示す。制御プロセッサ１は、画像入力部３、動
き探索部４、画素数値演算部５、可変長符号化部６、及
び符号出力部７などの開始終了信号を基準とする割込み
信号によって起動され、画像入力部３、動き探索部４、
画素数値演算部５、可変長符号化部６、及び符号出力部
７などに対するステータスの参照を行い、それに基づい
た処理を実行し、最終的に画像入力部３、動き探索部
４、画素数値演算部５、可変長符号化部６、及び符号出
力部７などに対する制御指定の設定を行って、処理を終
了する。
【００４６】割込みの種類は、１枚の画像の入力開始・
終了、１枚の画像の出力開始・終了、１枚の画像符号化
処理の開始・終了、あるいは画像矩形領域、例えばマク
ロブロックの画像符号化処理の終了、あるいは、定義さ
れた複数個のマクロブロックの画像符号化処理の終了な
どが考えられる。これとは別に、初期設定のため、制御
プロセッサ１は、画像符号化処理の定常的動作より以前
に別途起動され、必要な制御指定の設定を行うことも可
能であり、また必要である。
終了、１枚の画像の出力開始・終了、１枚の画像符号化
処理の開始・終了、あるいは画像矩形領域、例えばマク
ロブロックの画像符号化処理の終了、あるいは、定義さ
れた複数個のマクロブロックの画像符号化処理の終了な
どが考えられる。これとは別に、初期設定のため、制御
プロセッサ１は、画像符号化処理の定常的動作より以前
に別途起動され、必要な制御指定の設定を行うことも可
能であり、また必要である。
【００４７】制御プロセッサ１の具体的処理について
は、例えば符号量制御は、生成符号量レジスタ６１の内
容を１つあるいは複数のマクロブロックの画像符号化処
理毎に読み出して、その結果から、最適な量子化スケー
ルコードを量子化スケールコードレジスタ５３に設定す
る処理であると定義できる。
は、例えば符号量制御は、生成符号量レジスタ６１の内
容を１つあるいは複数のマクロブロックの画像符号化処
理毎に読み出して、その結果から、最適な量子化スケー
ルコードを量子化スケールコードレジスタ５３に設定す
る処理であると定義できる。
【００４８】また、画質改善処理は、特徴量累算回路５
４の出力を書き込むレジスタ５５の内容などを参照して
適応量子化制御レジスタ５２の設定内容を変更する処理
であると定義できる。
４の出力を書き込むレジスタ５５の内容などを参照して
適応量子化制御レジスタ５２の設定内容を変更する処理
であると定義できる。
【００４９】また、探索範囲変更処理は、検出した動き
ベクトルの情報を記録する図示されないレジスタの内容
などを参照して、探索範囲設定レジスタ４５の設定内容
を変更する処理であると定義できる。また、ピクチャタ
イプ決定処理は、予め与えられた画像符号化タイプの周
期などに基づいて、ピクチャタイプレジスタ４４や、フ
レームメモリインデックスレジスタ９１を設定する処理
であると定義できる。また。画像入力部３に含まれる図
示されない画像差分判定回路の結果によって、シーンチ
ェンジを判定し、上記の符号量制御処理、画質改善処
理、ピクチャタイプ決定処理が特別な条件処理を行うこ
とが考えられる。
ベクトルの情報を記録する図示されないレジスタの内容
などを参照して、探索範囲設定レジスタ４５の設定内容
を変更する処理であると定義できる。また、ピクチャタ
イプ決定処理は、予め与えられた画像符号化タイプの周
期などに基づいて、ピクチャタイプレジスタ４４や、フ
レームメモリインデックスレジスタ９１を設定する処理
であると定義できる。また。画像入力部３に含まれる図
示されない画像差分判定回路の結果によって、シーンチ
ェンジを判定し、上記の符号量制御処理、画質改善処
理、ピクチャタイプ決定処理が特別な条件処理を行うこ
とが考えられる。
【００５０】同様に、画像入力部３に含まれる図示され
ない画像差分判定回路の結果によって、３：２プルダウ
ンされた画像入力か否かを判定し、符号化処理の起動そ
のものを制御することができる。また、オーディオ処理
は、オーディオ符号化部１１の処理結果に応じて、１バ
イトあるいはその倍数のデータが蓄積した時点で、フレ
ームメモリ１０に書き込みを行う処理であると定義でき
る。
ない画像差分判定回路の結果によって、３：２プルダウ
ンされた画像入力か否かを判定し、符号化処理の起動そ
のものを制御することができる。また、オーディオ処理
は、オーディオ符号化部１１の処理結果に応じて、１バ
イトあるいはその倍数のデータが蓄積した時点で、フレ
ームメモリ１０に書き込みを行う処理であると定義でき
る。
【００５１】
【実施例】実施例として、例えば符号化アルゴリズムが
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）のＭＰ
＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ
Ｌｅｖｅｌ）の場合を想定すると、フレームメモリ１０
は、ＮＴＳＣ画像解像度（７２０×４８０画素）１枚で
約４メガビット必要なため、図７のようなメモリマップ
では３２メガビットのメモリ領域が必要になる。画像符
号バッファ領域は、１５Ｍｂｐｓまでの圧縮を仮定すれ
ば、仮想的な符号バッファの規約を満たすサイズを４メ
ガビット以下でとることができる。オーディオについて
も同様である。また、ヘッダ領域もこの範囲内で収める
ことが可能である。この３２メガビットメモリは高速Ｄ
ＲＡＭ、例えば同期型ＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕ
ｓ ＤＲＡＭ）などの半導体を用いて実現できる。アク
セス速度が十分かどうかは、動き探索部４の探索アルゴ
リズムやバッファメモリ１４の容量に依存するが、適切
なアルゴリズムの選定によって解決が可能である。
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）のＭＰ
＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ
Ｌｅｖｅｌ）の場合を想定すると、フレームメモリ１０
は、ＮＴＳＣ画像解像度（７２０×４８０画素）１枚で
約４メガビット必要なため、図７のようなメモリマップ
では３２メガビットのメモリ領域が必要になる。画像符
号バッファ領域は、１５Ｍｂｐｓまでの圧縮を仮定すれ
ば、仮想的な符号バッファの規約を満たすサイズを４メ
ガビット以下でとることができる。オーディオについて
も同様である。また、ヘッダ領域もこの範囲内で収める
ことが可能である。この３２メガビットメモリは高速Ｄ
ＲＡＭ、例えば同期型ＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕ
ｓ ＤＲＡＭ）などの半導体を用いて実現できる。アク
セス速度が十分かどうかは、動き探索部４の探索アルゴ
リズムやバッファメモリ１４の容量に依存するが、適切
なアルゴリズムの選定によって解決が可能である。
【００５２】図９は、このような実施例の場合の、ＳＤ
ＲＡＭアクセスの割合の一例を示したものである。予測
符号化におけるピクチャ構造と、ピクチャタイプによっ
てアクセス頻度が変化するが、最悪の場合であるフィー
ルド構造かつ両方向予測画像においても、アクセスが破
綻せずに時間内に収まっている状況を示している。
ＲＡＭアクセスの割合の一例を示したものである。予測
符号化におけるピクチャ構造と、ピクチャタイプによっ
てアクセス頻度が変化するが、最悪の場合であるフィー
ルド構造かつ両方向予測画像においても、アクセスが破
綻せずに時間内に収まっている状況を示している。
【００５３】また、この実施例における制御プロセッサ
１の必要性能について示したのが図１０である。ここ
で、最も頻度が高いのは、オーディオ処理である。オー
ディオ処理は、３８４ｋｂｐｓの符号化処理の場合、２
０．８μｓ／バイトの転送レートになり、これを割込み
ベースで実行する場合、１秒間に約５０，０００回の割
込みが発生することになる。しかし、一回の処理が３０
ステップ程度と単純なため、必要性能は１．５ＭＩＰＳ
（Ｍｅｇａ Ｉｎｓｔｒｕｃｔｉｏｎ ＰｅｒＳｅｃｏ
ｎｄ）程度であることがわかる。次が、マクロブロック
ライン毎に起動される符号量制御処理である。１秒間に
３０枚のフレームに対し、フレームの縦幅が３０マクロ
ブロックとすると、１秒間のマクロブロックライン数は
９００である。一回の処理で必要なステップ数は５００
程度であり、必要性能は０．４５ＭＩＰＳ程度である。
その他の画質改善処理、探索範囲変更処理、ピクチャタ
イプ決定処理、シーンチェンジ判定、３：２プルダウン
された画像入力判定などは、全てピクチャ一枚につき一
回の処理であり、負荷は大きくは無い。ステップ数を
２，０００として、０．０６ＭＩＰＳ程度、これが１０
倍になっても０．６ＭＩＰＳである。これらの処理に必
要な性能を合計すると、２ＭＩＰＳ（ＭｅｇａＯｐｅｒ
ａｔｉｏｎ Ｐｅｒ Ｓｅｃｏｎｄ）程度であることが
わかる。このことより、制御プロセッサ１の性能は、１
９９６年時点で市販されているシングルチップの３２ビ
ットＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏ
ｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）程度、すなわち、２０
ＭＩＰＳ程度で十分まかなえることがわかる。
１の必要性能について示したのが図１０である。ここ
で、最も頻度が高いのは、オーディオ処理である。オー
ディオ処理は、３８４ｋｂｐｓの符号化処理の場合、２
０．８μｓ／バイトの転送レートになり、これを割込み
ベースで実行する場合、１秒間に約５０，０００回の割
込みが発生することになる。しかし、一回の処理が３０
ステップ程度と単純なため、必要性能は１．５ＭＩＰＳ
（Ｍｅｇａ Ｉｎｓｔｒｕｃｔｉｏｎ ＰｅｒＳｅｃｏ
ｎｄ）程度であることがわかる。次が、マクロブロック
ライン毎に起動される符号量制御処理である。１秒間に
３０枚のフレームに対し、フレームの縦幅が３０マクロ
ブロックとすると、１秒間のマクロブロックライン数は
９００である。一回の処理で必要なステップ数は５００
程度であり、必要性能は０．４５ＭＩＰＳ程度である。
その他の画質改善処理、探索範囲変更処理、ピクチャタ
イプ決定処理、シーンチェンジ判定、３：２プルダウン
された画像入力判定などは、全てピクチャ一枚につき一
回の処理であり、負荷は大きくは無い。ステップ数を
２，０００として、０．０６ＭＩＰＳ程度、これが１０
倍になっても０．６ＭＩＰＳである。これらの処理に必
要な性能を合計すると、２ＭＩＰＳ（ＭｅｇａＯｐｅｒ
ａｔｉｏｎ Ｐｅｒ Ｓｅｃｏｎｄ）程度であることが
わかる。このことより、制御プロセッサ１の性能は、１
９９６年時点で市販されているシングルチップの３２ビ
ットＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏ
ｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）程度、すなわち、２０
ＭＩＰＳ程度で十分まかなえることがわかる。
【００５４】また、図１における２０で示された処理部
全体を、１つの集積回路として実現することが考えられ
る。その場合、この集積回路はホストインターフェー
ス、フレームメモリインターフェース、画像入出力、及
び符号出力といったインターフェースを有するように見
え、内部で画像予測符号化のほとんどの処理を実行でき
る。メモリやホストのインターフェースをまとめたこと
により、他の切口で機能分割するよりもピン数を少なく
できることになる。実際の設計データより、この集積回
路２０の規模は０．３５μｍのＣＭＯＳ設計プロセスを
用いて設計しても１２ｍｍ角程度であることが判明して
いる。
全体を、１つの集積回路として実現することが考えられ
る。その場合、この集積回路はホストインターフェー
ス、フレームメモリインターフェース、画像入出力、及
び符号出力といったインターフェースを有するように見
え、内部で画像予測符号化のほとんどの処理を実行でき
る。メモリやホストのインターフェースをまとめたこと
により、他の切口で機能分割するよりもピン数を少なく
できることになる。実際の設計データより、この集積回
路２０の規模は０．３５μｍのＣＭＯＳ設計プロセスを
用いて設計しても１２ｍｍ角程度であることが判明して
いる。
【００５５】本発明の形態は、オーディオ符号化部１１
が存在する必要は無いし、画像出力部８が存在する必要
も無い。本発明の実施例は、符号化アルゴリズムがＭＰ
ＥＧ−２のＭＰ＠ＭＬ以外の場合でも良い。特に、ＭＰ
ＥＧ−１（ＩＳＯ／ＩＥＣＩ２）の場合であってもかま
わない。
が存在する必要は無いし、画像出力部８が存在する必要
も無い。本発明の実施例は、符号化アルゴリズムがＭＰ
ＥＧ−２のＭＰ＠ＭＬ以外の場合でも良い。特に、ＭＰ
ＥＧ−１（ＩＳＯ／ＩＥＣＩ２）の場合であってもかま
わない。
【００５６】
【発明の効果】本発明の第１の効果は、画像符号化専用
ＬＳＩの規模が小さく安価になるということである。そ
の理由は、画像入力部、動き探索部や、画素数値演算部
等の処理部全体に対する制御プロセッサを１つにまとめ
たため、制御プロセッサを各処理部に搭載した場合の画
像符号化装置の回路規模の増分である３割から４割を削
減でき、特にＬＳＩ化の場合の、チップコストの大幅な
削減が可能であるからである。
ＬＳＩの規模が小さく安価になるということである。そ
の理由は、画像入力部、動き探索部や、画素数値演算部
等の処理部全体に対する制御プロセッサを１つにまとめ
たため、制御プロセッサを各処理部に搭載した場合の画
像符号化装置の回路規模の増分である３割から４割を削
減でき、特にＬＳＩ化の場合の、チップコストの大幅な
削減が可能であるからである。
【００５７】第２の効果は、画像符号化装置の部品点数
を削減し、システムコストや消費電力の低減が可能にな
るということである。その理由は、複数のメモリＬＳＩ
を各処理部に配することなく、１つのインターフェース
から共通にアクセスできるため、トータルシステムの部
品点数の低減が可能であることによる。
を削減し、システムコストや消費電力の低減が可能にな
るということである。その理由は、複数のメモリＬＳＩ
を各処理部に配することなく、１つのインターフェース
から共通にアクセスできるため、トータルシステムの部
品点数の低減が可能であることによる。
【図１】本発明の実施の形態の構成を示すブロック図で
ある。
ある。
【図２】図１の動き探索部の構成を示すブロック図であ
る。
る。
【図３】図１の画素数値演算部の構成を示すブロック図
である。
である。
【図４】図１の可変長符号化部６の構成を示すブロック
図である。
図である。
【図５】図１のフレームメモリ制御部内部のアドレス生
成部のブロック図である。
成部のブロック図である。
【図６】図１のフレームメモリに対するアクセスのスケ
ジューリングを示すタイミング図である。
ジューリングを示すタイミング図である。
【図７】図１のフレームメモリのメモリマップを示す説
明図である。
明図である。
【図８】図１の制御プロセッサの起動と処理実行を示す
説明図である。
説明図である。
【図９】フレームメモリがＳＤＲＡＭの場合のアクセス
比率を示す説明図である。
比率を示す説明図である。
【図１０】制御プロセッサの必要処理性能を示す説明図
である。
である。
１：制御プロセッサ ２：ホストインターフェース部 ３：画像入力部 ４：動き探索部 ５：画素数値演算部 ６：可変長符号化部 ７：符号出力部 ８：画像出力部 ９：フレームメモリ制御部 １０：フレームメモリ １１：オーディオ符号化部 １３〜１８：バッファメモリ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68 G06T 1/00 - 1/20
Claims (15)
- 【請求項１】 フレーム間画像予測符号化を実行する装
置であって、画像入力部と、動き探索部と、直交変換
（ＤＣＴ）、量子化、逆量子化、及び逆直交変換（ＩＤ
ＣＴ）を実行する画素数値演算部と、可変長符号化部
と、符号出力部と、フレームメモリと、前記フレームメ
モリに接続されるフレームメモリ制御部と、制御プロセ
ッサと、前記制御プロセッサに接続されるホストインタ
ーフェース部とを備え、 前記画像入力部と、前記動き探索部と、前記画素数値演
算部と、前記可変長符号化部と、前記符号出力部とは、
前記フレームメモリ制御部に各々独立のバッファメモリ
を介して接続され、前記フレームメモリとの間で時分割
データ転送を実行し、 また、前記画像入力部と、前記動き探索部と、前記画素
数値演算部と、前記可変長符号化部と、前記フレームメ
モリ制御部とは、前記ホストインターフェース部に接続
され、前記制御プロセッサによって参照設定を受けるレ
ジスタ群を有することを特徴とする画像符号化装置。 - 【請求項２】 前記フレームメモリ制御部にバッファメ
モリを介して接続された符号化画質監視用の画像出力部
を更に備えたことを特徴とする請求項１記載の画像符号
化装置。 - 【請求項３】 オーディオ符号化部を更に備え、該オー
ディオ符号化部と接続された制御プロセッサはオーディ
オ符号データを受け取り、これを前記フレームメモリに
書き込み、前記符号出力部は、前記フレームメモリのデ
ータをオーディオ符号、ビデオ符号、ヘッドデータを独
立に読み出し編集した後出力することを特徴とする請求
項１あるいは２記載の画像符号化装置。 - 【請求項４】 前記フレームメモリ制御部は、特定の処
理単位期間毎に、前記時分割データ転送を、同一のスケ
ジューリング方式で決定することを特徴とする請求項１
〜３のいずれかに記載の画像符号化装置。 - 【請求項５】 前記制御プロセッサは、特定の大きさの
画像矩形領域に対する処理単位時間毎に起動され、可変
実行時間のプログラム実行後に前記レジスタ群の参照設
定を、前記ホストインターフェース部を介して実行する
ことを特徴とする請求項１〜４のいずれかに記載の画像
符号化装置。 - 【請求項６】 前記可変長符号化部、前記画素数値演算
部はそれぞれ、内部に量子化スケールコードレジスタ、
生成符号量レジスタを具備し、これらを前記制御プロセ
ッサが参照設定することで、生成される符号量の実時間
制御が実行できることを特徴とする請求項１〜５のいず
れかに記載の画像符号化装置。 - 【請求項７】 前記画素数値演算部は、内部に適応量子
化制御レジスタ、及び画像矩形領域の特徴量を累算する
レジスタを有し、これらを前記制御プロセッサが参照設
定することで、符号化画像の画質改善の実時間制御が実
行できることを特徴とする請求項１〜６のいずれかに記
載の画像符号化装置。 - 【請求項８】 前記動き探索部は、検出した動きベクト
ルの情報を記録するレジスタ及び、動き探索範囲設定レ
ジスタを内部に具備し、これを前記制御プロセッサが参
照設定することで、動き探索範囲の実時間変更ができる
ことを特徴とする請求項１〜７のいずれかに記載の画像
符号化装置。 - 【請求項９】 少なくとも前記動き探索部は、内部にピ
クチャタイプレジスタを有し、これを前記制御プロセッ
サが設定することで、符号化ピクチャタイプの実時間変
更ができることを特徴とする請求項１〜８のいずれかに
記載の画像符号化装置。 - 【請求項１０】 前記フレームメモリ制御部は、内部に
ピクチャインデックスレジスタを有し、これを前記制御
プロセッサが設定することで、前記画像入力部から入力
される画像データが前記フレームメモリに書き込まれる
際の領域や、前記画素数値演算部で計算される予測画像
が前記フレームメモリに書き込まれる際の領域や、前記
画像出力部から出力される画像データが読み出される領
域の実時間変更が実行できることを特徴とする請求項１
〜９のいずれかに記載の画像符号化装置。 - 【請求項１１】 前記符号出力部は、前記フレームメモ
リに蓄積された可変長符号化部の出力データと、前記フ
レームメモリに前記制御プロセッサによって設定された
画像ヘッダとを独立に読み出し編集して画像符号出力を
生成することを特徴とする請求項１〜１０のいずれかに
記載の画像符号化装置。 - 【請求項１２】 前記画像入力部は、内部に画像差分判
定回路を有し、この結果を前記制御プロセッサが参照す
ることで、前記画像入力部から入力される画像データ
が、直前の画像と大きく異なるかどうかを判断し、その
結果で前記制御プロセッサの符号化処理内容を変更でき
ることを特徴とする請求項１〜１１のいずれかに記載の
画像符号化装置。 - 【請求項１３】 前記制御プロセッサの符号化処理内容
の変更が、前記ピクチャタイプレジスタの設定変更や前
記量子化スケールコードレジスタの設定変更に影響を与
えることを特徴とする請求項８〜１２のいずれかに記載
の画像符号化装置。 - 【請求項１４】 前記画像入力部は、内部に画像差分判
定回路を有し、この結果を前記制御プロセッサが参照す
ることで、前記画像入力部から入力される画像データ
が、直前の画像と同一かどうかを判断し、その結果で前
記制御プロセッサの符号化処理内容を変更できることを
特徴とする請求項１〜１３のいずれかに記載の画像符号
化装置。 - 【請求項１５】 前記制御プロセッサの符号化処理内容
の変更が、フィールド繰り返しされているフレーム画像
入力のフィールド繰り返し除去後の符号化に影響を与え
ることを特徴とする請求項１４記載の画像符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26294796A JP2888288B2 (ja) | 1996-10-03 | 1996-10-03 | 画像符号化装置 |
| US08/939,169 US5903674A (en) | 1996-10-03 | 1997-09-29 | Picture coding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26294796A JP2888288B2 (ja) | 1996-10-03 | 1996-10-03 | 画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10108199A JPH10108199A (ja) | 1998-04-24 |
| JP2888288B2 true JP2888288B2 (ja) | 1999-05-10 |
Family
ID=17382773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26294796A Expired - Fee Related JP2888288B2 (ja) | 1996-10-03 | 1996-10-03 | 画像符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5903674A (ja) |
| JP (1) | JP2888288B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113644B2 (en) | 2002-02-13 | 2006-09-26 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and image coding method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339659B1 (en) * | 1997-10-28 | 2002-01-15 | Sony Corporation | Fractal coding/decoding of picture data using memory capacity information |
| CN1112654C (zh) | 1998-06-25 | 2003-06-25 | 松下电器产业株式会社 | 图像处理装置 |
| JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| US6470050B1 (en) | 1999-04-09 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and its motion vector detection method |
| US7403981B2 (en) * | 2002-01-04 | 2008-07-22 | Quicksilver Technology, Inc. | Apparatus and method for adaptive multimedia reception and transmission in communication environments |
| JP4113044B2 (ja) * | 2003-05-23 | 2008-07-02 | 松下電器産業株式会社 | 画像符号化装置 |
| US8018463B2 (en) * | 2004-05-10 | 2011-09-13 | Nvidia Corporation | Processor for video data |
| US8130825B2 (en) * | 2004-05-10 | 2012-03-06 | Nvidia Corporation | Processor for video data encoding/decoding |
| US20080111923A1 (en) * | 2006-11-09 | 2008-05-15 | Scheuermann W James | Processor for video data |
| JP4991453B2 (ja) * | 2007-08-30 | 2012-08-01 | キヤノン株式会社 | 符号化処理装置、符号化処理システム及び符号化処理装置の制御方法 |
| JP2010035137A (ja) * | 2008-07-01 | 2010-02-12 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| KR101175680B1 (ko) * | 2008-12-23 | 2012-08-22 | 광운대학교 산학협력단 | 비트스트림 프로세서의 구동방법 |
| WO2014140674A1 (en) * | 2013-03-15 | 2014-09-18 | Emc Corporation | Lossless color image compression adaptively using spatial prediction or inter-component prediction |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5611038A (en) * | 1991-04-17 | 1997-03-11 | Shaw; Venson M. | Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information |
| US5212742A (en) * | 1991-05-24 | 1993-05-18 | Apple Computer, Inc. | Method and apparatus for encoding/decoding image data |
| US5829007A (en) * | 1993-06-24 | 1998-10-27 | Discovision Associates | Technique for implementing a swing buffer in a memory array |
-
1996
- 1996-10-03 JP JP26294796A patent/JP2888288B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-29 US US08/939,169 patent/US5903674A/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| "Ａ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｕｄｉｏ／Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｏｒ ｆｏｒ Ｈ．３２０，Ｈ．３２４，ａｎｄ ＭＰＥＧ"（ＥＰ１５．２），ＩＳＳＣＣ’９６，１９９６年２月，ｐ．２４４−２４５ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113644B2 (en) | 2002-02-13 | 2006-09-26 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and image coding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10108199A (ja) | 1998-04-24 |
| US5903674A (en) | 1999-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6842219B2 (en) | Moving picture decoding processor for multimedia signal processing | |
| US7620104B2 (en) | Video coding system | |
| JP2888288B2 (ja) | 画像符号化装置 | |
| US5589885A (en) | Moving picture coding and decoding circuit | |
| US5774206A (en) | Process for controlling an MPEG decoder | |
| US5675331A (en) | Decoding device for decoding a variety of code signals | |
| US8395634B2 (en) | Method and apparatus for processing information | |
| CN1937773B (zh) | 外部存储装置、存储图像数据的方法及图像处理器 | |
| JPH10313459A (ja) | ブロックを用いた動き補償によるビデオ信号の復号方法 及び装置 | |
| EP1689187A1 (en) | Method and system for video compression and decompression (CODEC) in a microprocessor | |
| JP2008506294A (ja) | デブロッキング・フィルタリングを実行する方法及びシステム | |
| US8281314B2 (en) | Information processing device and method | |
| US20060176960A1 (en) | Method and system for decoding variable length code (VLC) in a microprocessor | |
| US5752266A (en) | Method controlling memory access operations by changing respective priorities thereof, based on a situation of the memory, and a system and an integrated circuit implementing the method | |
| US6470050B1 (en) | Image coding apparatus and its motion vector detection method | |
| EP0602642B1 (en) | Moving picture decoding system | |
| Demura et al. | A single-chip MPEG2 video decoder LSI | |
| EP1147671B1 (en) | Method and apparatus for performing motion compensation in a texture mapping engine | |
| US20030222877A1 (en) | Processor system with coprocessor | |
| JP4319268B2 (ja) | 動画像復号方法及び装置 | |
| KR20020030269A (ko) | 비디오 디코딩 방법 및 장치 | |
| US7330595B2 (en) | System and method for video data compression | |
| JP3123496B2 (ja) | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 | |
| JP2007505545A (ja) | スケーラブル信号処理方法及び装置 | |
| US5666115A (en) | Shifter stage for variable-length digital code decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080219 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090219 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100219 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100219 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110219 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110219 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120219 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120219 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |