JP3004688B2 - 符号化装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、テレビ電話等の動画像通信や蓄積用動画像
等の符号化を行う符号化装置に関するものである。

（従来の技術） 従来、このような分野の技術としては、次のような文
献に記載されるものがあった。

文献1;テレビジョン学会誌、42［11］（1988）大久保栄
著「テレビ会議／電話方式の国際標準化動向」P.1219−
1225 文献2;吹抜敬彦著「TV画像の多次元信号処理」（昭63−
11−15）日刊工業新聞、P.252−256 文献3;安田晴彦監修「画像伝送における高能率符号化技
術」（昭62−３−31）（株）トリケプス、P.231−233 従来、テレビ会議でテレビ電話等における動画像の画
像符号化方式には、前記文献に記載された、テレビ会議
及びテレビ電話方式に関する国際標準化の装置の勧告案
があり、それを第２図及び第３図に示す。

第２図は、前記文献１に記載された従来のテレビ会議
用のCODEC（コーディック）の機能ブロック図である。

このCODECは、符号化制御回路１を有し、それには前
処理回路２、ソース符号化回路３、ビデオマルチプレッ
クス符号化回路４、及び伝送バッファ５が接続され、そ
の伝送バッファ５に、伝送路符号化回路６が接続されて
いる。

前処理回路２では、時間・空間フィルタにより、入力
ビデオ信号を中間フォーマットに変換し、併せて雑音除
去フィルタリングを行う。ソース符号化回路３は、入力
信号に含まれる冗長度を除き、残りの信号を一定の誤差
の範囲内で量子化する。ビデオマルチレックス符号化回
路４では、映像信号のほか、各種ブロック属性信号を可
変長符号化した後、定められたデータ構造の符号列に多
重化する。伝送路符号化回路６では、伝送チャネルのフ
ォーマットに従い、マルチメディア信号（映像、音声、
データ、制御）をビット列に多重化する。

第３図は、第２図中のソース符号化回路３の構成ブロ
ック図である。

この回路は、減算器10、フレーク内／間識別回路11、
有効／無効判定回路12、８×８の離散余弦変換（以下、
「DCT」という）回路13、量子化回路14、クラス分け回
路15、逆量子化回路（Q^-1）16、遅延回路（T^-1）17、加
算回路18、動き補償予測回路19、及びループフィルタ20
等で構成されている。なお、ｐはフレーム内／間フラ
グ、ｔは有／無効フラッグ、ｑはDCT係数の量子化イン
デックス、qzは量子化回路種別、ｖは動きべクトル、cl
はクラス、ｆはループフィルタオン／オフの信号であ
る。

このソース符号化回路の符号化アルゴリズムは、テス
ト画像を定めて、その計算機シミュレーション結果を比
較評価することにより、先ず、動き補償予測回路19によ
って画素空間で動き補償フレーム間予測を行う。次に、
その予測誤差をDCT回路13によって８×８のブロックサ
イズで直交変換した後、量子化回路14を用いて、係数空
間で量子化するハイブリッド方式で構成されている。こ
の方式は、動き補償フレーム間予測により、時間的変化
に関する冗長度を、直交変換符号化によって、フレーム
内の空間的変化に関わる冗長度を除く方式である。

予測は通常、フレーム間であるが、シーンチェンジの
ときなど、映像入力がそのままDCT回路13に加えられ
る。ループフィルタ20は、画質改善効果が大きく、ブロ
ック毎にオン／オフできる。これらフレーム内／間識別
回路11、及びループフィルタ20のオン／オフのブロック
属性情報は、サイド情報として送られるので、選択の基
準は設計者の自由に任せられる。

変換器はプログラマブルで、DCT回路13で行ってい
る。このDCT回路13は、ハイブリッド符号化に適してい
る。つまりフレーム間予測誤差信号に対しても適してい
る。一方、DCTには積和演算が必要なことから、送受の
逆DCT（以下、「IDCT」という）における演算方法ミス
マッチによる累積誤差が問題となる。量子化回路14もプ
ログラマブルである。クラス分け回路15は、変換係数の
伝送順序を指定することにより、有意係数のブロック内
分布の偏りを利用するためのものである。

前記文献１に記載された画像符号化方式は、フレーム
内／フレーム間（以下、「イントラ／インタ」とい
う）、ループフィルタ・オン／オフと言うように、８×
８のブロック毎に、いちばん情報量の少ない場合を判別
して伝送する画像符号化方式である。

この画像符号化方式における各方式を選択する判別基
準として、次式（１），（２）を用いる方法がある。

1/n×Σ（X_t−X_t-1）^２ …（１） 1/n×ΣX_t ²−（1/n）^２×（ΣX_t）^２ …（２） ここで、A_tは現画面の各ブロック内の画素の値、X_t-1
はX_tと同じ場所の前画面のブロック内の画素の値を示
す。

（１）式では、フレーム間の２乗の誤差量を演算し、
（２）式ではフレーム内の分散量を演算する。この
（１），（２）式で得た誤差量を基に、各画像符号化方
式を選択する。

前記文献１に記載されたDCT方式、及び動き補償フレ
ーム間予測（以下、「MC」という）の手法については、
前記文献2,3に記載されており、以下、それについて説
明する。

DCT方式 画像信号の自己相関関数は負指数関数で近似できる。
DCTは、この近似を行った場合の最適直交変換（karhune
n−Loeve変換,KL変換）に近い。従来、ハードウェアが
簡単なことから重要視されていたアダマール変換に代わ
って、効率を重視する立場から最も一般的な直交変換と
なり、種々の用途に採用されている。

（ａ）DCTの定義 標本値系列x₀,x₁,…,x_M-1を１ブロックとして、変換
行列［ｄ_k,m］により、変換係数y₀,y₁,…,y_M-1に直交変
換するものである。

（ｂ）IDCT DCTの変換係数［y₀,y₁,…,y_M-1］が与えられて、これ
からもとの信号［x₀,x₁,…,x_M-1］を求める変換であ
り、次式のようになっている。

但し、ｄ_0,m,d_k,m；（１）式のDCTの場合と同様 （ｃ）DCTの物理的意味 DCTの用語の由来と物理的意味を考える。標本値系列g
₀,g₁,…,g_M-1を、ｔ＝０を対称軸に反転する。この両者
を合わせた2M個の標本値からなる系列を離散的フーリエ
変換（以下、「DFT」という）する。標本点がT/2だけず
れていることを、すなわち、例えばg₀がｔ＝T/2の標本
値であることと、ｔ＝０に対して対称である（偶関数で
ある）ことを考慮すれば、sinの項はなくなり、次式の
ようになる。

DFTでは、本来のＭ個の標本値からなる系列に対して
は、Ｍ個の複素変換係数（あるいはsin,cos合わせてＭ
個の項）が得られる。一方、DCTでは、2M個の標本値か
らなる仮想的系列に対し、2M個の項が得られるが、sin
が消えてＭ個のcosの項のみが残る。

MCによる符号化方式 この方式は、符号化対象フレーム（現フレーム）を小
さな矩形ブロックに分割し、各ブロックに対して前フレ
ーム中から最も近似度の高い部分を検出し、これを予測
符号として用いるものである。この動きベクトルの検出
説明図を第４図（ａ）〜（ｃ）に示す。

第４図（ａ）は、現フレームF_tと前フレームF_t-1の対
応を示す図である。Ａ_（m,n）は現フレームF_tの分割さ
れた１ブロック、Ｂ_（m,n）は前フレームF_t-1のＡ
_（m,n）に対応する検索対象ブロックである。Ａ
_{（m,n＋１）}はＡ_（m,n）の隣接ブロック、Ｂ
_{（m,n＋１）}はＡ_{（m,n＋１）}に対応する検索対象ブロッ
ク、 はブロックＡ_（m,n）,A_{（m,n＋１）}と同じ位置で同じ大
きさのブロックである。

第４図（ｂ）は、ブロックＡ_（m,n）に対応する検索
範囲、即ちＢ_（m,n）の大きさを示す図である。

はブロックＡ_（m,n）とＢ_（m,n）内のどの部分と比較さ
れるかを示すブロックである。但し、p,qは の位置を中心にそのブロック位置で垂直方向にｐ、及び
水平方向にｑ画素分だけ移動させたことを示す。

内であるから、 −r₁≦ｐ≦ｒ_２′ −c₁≦ｑ≦c₂ となる。ここで、ブロックＡ_（m,n）内の各画素の値
は、そのブロックの大きさをIM×JNとすると、 で表わし、比較されるブロック 内を各画素の値を Ｘ_{ｔ−１（IMm＋ｉ＋p,JNn＋ｊ＋ｑ）} で示す。

Ｂ_（m,n）内でＡ_（m,n）と最も近似度の高い部分を検
出するのに、p,qを変化させ、 の差分絶対値を求め、その値が最も小さいものを近似度
の高いものとする。即ち、各p,qに対し、 の計算を行い、この計算結果が最小となるp,qを求め
る。このp,qを動きベクトル、 を予測信号として、符号化対象フレームとなる現フレー
ムF_tのブロックＡ_（m,n）との誤差を符号化した方が符
号化の効率を向上できる。

（発明が解決しようとする課題） しかしながら、上記構成の画像符号化方式を用いた符
号化装置では、イントラ／インタ判別のための２乗の累
積加算器及び累積加算の２乗回路、DCT等のマトリクス
変換及び動き補償のための動きベクトル検出を行うため
に、別々の専用のプロセッサ、または異なるハードウェ
アが必要となる。そして、これらを接続する場合、処理
効率を向上させるために並列処理が可能となる回路構成
を採用するが、それによって符号化装置の回路構成が複
雑になり、ハード量（回路規模）が多く、コスト高にな
るという問題があり、それを解決することが困難であっ
た。

本発明は、前記従来技術が持っていた課題として、回
路構成の複雑化と、それによるハード量の増大及びコス
ト高の点について解決した符号化装置を提供するもので
ある。

（課題を解決するための手段） 前記課題を解決するために、本発明のうちの第１の発
明は、１フレーム内を複数のブロックに分割し、その分
割した現ブロックと、該現ブロックを含むフレームより
過去のフレームとの比較によって動画像の符号化を行う
符号化装置において、評価関数値あるいは少なくとも数
ビットの乗算を行ってその乗算結果を累積加算する複数
の第１の演算回路と、前記各第１の演算回路の演算結果
を累積加算する第２の演算回路とを使用して、イントラ
／インタの判別に用いる２乗の累積加算演算及び累積加
算の２乗演算と、動き補償に用いる動きベクトル検出
と、DCT等のマトリクス変換とを、モード切替えによっ
て実行する構成にしている。

第２の発明は、第１の発明において、前記イントラ／
インタの判別に用いる２乗の累積加算演算時には、前記
第１の演算回路によって入力データの各桁のビット情報
に基づき累積加算を行い、前記第２の演算回路によって
前記第１の加算結果を桁合わせを行いながら累積加算を
行う構成にしている。

第３の発明は、第２の発明において、前記イントラ／
インタの判別に用いる累積加算の２乗演算時には、前記
第１の演算回路によって累積加算を行い、その加算結果
を該加算結果の各桁のビット情報に基づき出力し、前記
第２の演算回路により、前記第１の演算回路の出力を桁
合わせを行いながら累積加算を行う構成にしている。

第４の発明は、第２の発明において、前記マトリクス
変換の演算時には、前記第１の演算回路により、マトリ
クス係数データの各桁のビット情報に基づき累積加算を
行い、前記第２の演算回路により、前記第１の演算回路
の加算結果を桁合わせを行いながら累積加算する構成に
している。

第５の発明は、第２の発明において、前記動きベクト
ル検出時には、遅延回路を用いて前記現ブロックデータ
を遅延させると共に、前記第１の演算回路によって前記
評価関数値の演算処理を行わせることにより、各ベクト
ルに対する評価関数値を求める構成にしている。

第６の発明は、第２の発明において、前記第１の演算
回路は、係数を格納した係数メモリ、前記係数メモリの
出力を含めた信号をモード切替え信号によって選択する
セレクタ、入力データの絶対値の差分を求める絶対値差
分器、前記セレクタの出力に基づき前記絶対値差分器の
出力に対する累積加算を行う累積加算器、及び前記累積
加算器のバスに対する出力制御を行うバスコントローラ
を有している。

第７の発明は、第２又は第４の発明において、前記２
乗の累積加算演算時又は前記マトリクス演算時には、前
記第１の演算回路の割り振られた次数の低い方から順に
該第１の演算回路の演算結果を出力し、前記第２の演算
回路では、それまでの累積加算結果、つまり加算済の累
積加算結果を下位の方向にビットシフトして累積加算す
る構成にしている。

第８の発明は、第２又は第４の発明において、前記複
数の第１の演算回路及び前記第２の演算回路を複数組用
いて、前記２乗の累積加算演算及びマトリクス変換の演
算を同時に複数行い、広範囲のベクトルの候補地演算を
行う構成にしている。

第９の発明は、第２又は第５の発明において、前記第
１及び第２の演算回路と、前記第１の演算回路の出力の
比較処理を行う比較器とを、有している。

第10の発明は、第２又は第５の発明において、前記２
乗の累積加算演算時及び前記動きベクトル検出時には、
前記遅延回路により入力データを遅延させて、前記第１
の演算回路の出力を時間的にずらせて出力する構成にし
ている。

第11の発明は、第４又は第５の発明において、前記マ
トリクス変換の演算時及び動きベクトル検出時には、前
記遅延回路により入力データを遅延させて、前記各第１
の演算回路の出力を時間的にずらせて出力する構成にし
ている。

（作 用） 第１の発明によれば、以上のように符号化装置を構成
したので、モード切替えによってイントラ／インタの判
別に用いる２乗の累積加算演算及び累積加算の２乗演算
と、動き補償に用いる動きベクトル検出と、DCT等のマ
トリクス変換とが、第１及び第２の演算回路等を用いて
処理され、それによって前記３つのモードが同一のハー
ドウェアで実現される。

第２及び第３の発明では、第１の発明において、第１
及び第２の演算回路によって累積加算が行われ、イント
ラ／インタの判別に用いる２乗の累積加算演算が実行さ
れる。

第４の発明では、第２の発明において、第１及び第２
の演算回路によってマトリクス演算が実行される。

第５の発明では、第２の発明において、現ブロックデ
ータを遅延させる遅延回路と、前記第１の演算回路の評
価関数値を求める機能とにより、各ベクトルに対する評
価関数値を求め、動き補償の動きベクトル検出が実行さ
れる。

第６の発明では、第２の発明において、係数メモリ、
セレクタ、絶対値差分器、累積加算器及びバスコントロ
ーラ等によって、乗算結果を累積加算する第１の演算回
路の処理が行える。

第７の発明では、第２又は第４の発明において、第１
及び第２の演算回路を用いて、イントラ／インタの判別
に用いる２乗の累積加算演算、及びマトリクス変換の演
算が実行される。

第８図の発明では、第２又は第４の発明において、複
数の第１の演算回路及び第２の演算回路等で構成される
符号化回路を複数個用いて、イントラ／インタの判別に
用いる計算、及びマトリクス変換の演算が同時に実行さ
れる。

第９の発明では、第２又は第５の発明において、第１
及び第２の演算回路と比較器とを用いて、動き補償の動
きベクトルの検出が実行される。

第10の発明では、第２又は第５の発明において、遅延
回路により入力データを遅延させることにより、イント
ラ／インタの判別に用いる２乗の累積加算演算が実行さ
れる。

第11図の発明では、第４又は第５の発明において、遅
延回路により入力データを遅延させることにより、マト
リクス変換の演算が実行される。

（実施例） 第１図は、本発明の一実施例を示す符号化装置（即
ち、画像符号化回路）の構成ブロック図である。

この画像符号化回路は、入力端子30a,30b及び出力端
子31a〜31eを有している。入力端子30aと出力端子31eと
の間には、レジスタからなる複数段の遅延回路（以下、
「Re」という）40−１〜40−７が縦続接続されている。
入力端子30bには、プロセッサエレメントからなる複数
の第１の演算回路（以下、「Pe」という）50−１〜50−
８の各入力端子51bがそれぞれ接続されている。初段のP
e50−１の入力端子51aは入力端子30aに接続され、次段
のPe50−２〜50−８の各入力端子51aが、Re40−１〜40
−７の出力側にそれぞれ接続されている。各Pe50−１〜
50−８の出力端子52は、バス60に共通接続され、そのバ
ス60が累積加算器からなる第２の演算回路（以下、「A
U」という）61を介して出力端子31aに接続されると共
に、比較器62を介して出力端子31b〜31dに接続されてい
る。

前記Re40−１〜40−７とPe50−１〜50−８の接続関係
は、入力端子30aから入力されたデータを各Re40−１〜4
0−７によって１クロックずつ遅延し、その遅延された
データを各Pe50−２〜50−８にそれぞれ入力する構成に
なっている。

第５図は、第１図中の各Pe50−１〜50−８の構成ブロ
ック図である。

各Pe50−１〜50−８は、入力端子51a,51bからの入力
データの絶対値の差分を取る絶対値差分器53と、係数を
格納するROM（リード・オンリ・メモリ）等からなる係
数メモリ54とを有し、それらがセレクタ55に接続されて
いる。セレクタ55は、入力端子51aからの入力データ１
ビット（Pe50−１の場合は最下位ビットLSB）と加算モ
ード用の論理“1"（または“0"）とを入力し、それらの
入力をモード切替信号CSによって選択し、その選択した
信号によって累積加算器56を制御するようになってい
る。累積加算器56は、加算器56a及びレジスタ56bで構成
され、全体値差分器53の出力とレジスタ56bの出力とが
加算器56aの入力となり、その加算器56aの出力がレジス
タ56bの入力となっている。レジスタ56bの出力側には、
レジスタ57及びバスコントローラ58を介して出力端子52
に接続されている。

以上のような画像符号化回路を用いて、イントラ／イ
ンタの判別に用いる２乗の累積加算演算を行う動作（判
別モード１）と、イントラ／インタの判別に用いる累積
加算の２乗演算を行う動作（判別モード２）と、DCTの
変換を行う動作（DCTモード）と、動きベクトル検出を
行う動作（MVモード）とについて、以下説明する。

（Ｉ） 判別モード１ 判別モード１の時、第１図の画像符号化回路では２乗
するデータ長が８ビットである時のブロック図を示して
いる。第５図のセレクタ55は、モード切替信号CSによっ
て入力端子51aからの入力データ１ビットデータを選択
して加算器56aへ入力する。以下、２乗の累積加算を計
算する演算手段について説明する。

２乗の累積加算の数式は、次式（７）のように変形す
ることもできる。

Σ X_I ² ＝Σ｛X_I・（X_I ⁽⁰⁾・2⁰ ＋X_I ⁽¹⁾・2¹ ＋X_I ⁽²⁾・2²＋… ＋X_I ^(m-1)・2^m-1）｝ ＝Σ｛X_I・X_I ⁽⁰⁾・2⁰ ＋X_I・X_I ⁽¹⁾・2¹ ＋X_I・X_I ⁽²⁾・2²＋… ＋X_I・X_I ^(m-1)・2^m-1） ＝（ΣX_I・X_I ⁽⁰⁾）・2⁰ ＋（ΣX_I・X_I ⁽¹⁾）・2¹ ＋（ΣX_I・X_I ⁽²⁾）・2²＋… ＋（ΣX_I・X_I ^(m-1)・2^m-1） …（７） 但し、X_Iの右上のかっこ内の数字はデータX_Iの次数、
X_I ^{( ）}はその次数のビット情報を示す。

（７）式に示すように、累積加算する各値の桁毎に、
その値のビット情報に応じて累積加算をするかしないか
を制御することによって、各桁の累積加算を演算し、そ
の演算結果を合計して２乗の累積加算の結果を得ること
ができる。第１図の面像符号化回路において、入力デー
タＸを８ビットデータとし、（７）式におけるΣX_I・X_I
^(m-1)・2^m-1を各Pe50−１〜50−８で演算する。つま
り、ΣX_I・X_I ⁽⁰⁾の演算をPe50−１で、同様にΣX_I・X_I
⁽¹⁾の演算をPe50−２で行い、合計８個のPe50−１〜50
−８で８桁分の演算を行う。演算終了後、各Pe50−１〜
50−８の演算結果の合計をAU61で累積加算すれば、２乗
の累積加算結果を得ることができる。この判別モード１
の演算動作を以下、詳細に説明する。

入力端子30aから入力されたデータX_Iは、入力端子51a
を通じてPe50−１に供給される。第５図において、入力
端子51aから入力されたデータは、まず絶対値差分器53
に入力されるが、このモード時は何もせず、そのままの
値が加算器56aに入力される。ここで、Pe50−１はΣX_I
・X_I ⁽⁰⁾の演算を行うので、セレクタ55では入力データ
の最下位ビットとつながっており、このビット情報によ
って加算を行うか否かを制御する。つまりX_I ⁽⁰⁾が１で
あれば、X_Iをそれまでの累積値が格納されているレジス
タ56bの値との加算を行い、X_I ⁽⁰⁾が０であれば、加算を
キャンセルする。入力端子30aからデータX_Iの入力が終
了し、加算器56aでの作業が終了すると、レジスタ57に
レジスタ56bの値が格納される。

同様の動作がPe50−２でも行われる。但し、Pe50−12
ではΣX_I・X_I ⁽¹⁾の演算が行われるので、加算器56aを制
御する信号は、入力データの下位から２ビット目のビッ
トデータX_I ⁽¹⁾を用いる。他のPe50−３〜50−８でも、P
e50−２の時と同様、加算器56aを制御する信号が異なる
だけで、同様の動作を行う。

バスコントローラ58では、このように他のPe50−１〜
50−８の演算結果とバス60上で交錯しないように制御す
る。各Pe50−１〜50−８の演算、つまり各桁ごとの演算
が終了すると、Pe50−１の演算結果から順に、バス60に
演算結果を出力し、累積加算器であるAU61に入力する。
このAU61は全てのPe50−１〜50−８の出力結果の合計を
取るわけだが、各Pe50−１〜50−８ごとに実際の桁が異
なるので、該AU61では、桁合わせを行いながら累積加算
を行う。

Pe50−１の演算結果から順に出力するこの例では、隣
合うPe50−１〜50−８の演算結果の桁が１ビットずつず
れているので、AU61では、累積加算を行うとき、加算結
果の方を１ビット下位にシフトして加算すればよい。こ
のようにして累積加算された結果は、出力端子31aから
出力して２乗の累積加算結果が得られる。

（II） 判別モード２ 第１図の例では、８個のPe50−１〜50−８があるが、
この判定モード時はPe50−１のみを用いる。従って、他
のPe50−２〜50−８内のバスコントローラ58は、後段の
バス60に出力しないように、コントロールされる。以
下、第５図を用いて累積加算結果の２乗演算を行うPe50
−１の動作を説明する。

この例では、入力端子51aから入力データが入力さ
れ、判別モード１の時と同様に、絶対値差分器53で何も
せず、そのままの値が加算器56aに入力される。判別モ
ード１及び後述のDCTモードの時では、加算器56aはセレ
クタ55により選択された制御信号（入力端子51aからの
入力信号又は係数メモリ54の出力）によって制御される
が、この判別モード２の時は、該制御信号に関係なく、
“1"（又は“0"）により、入力データを累積加算する。

このようにして得られた累積加算結果は、レジスタ57
に格納されると同時に、累積加算に用いられるレジスタ
56bがクリアされる。このようにして得られた累積加算
結果を２乗する方法として、２乗の式を次式（８）のよ
うに分解する。

Z² ＝｛Ｚ・（Z⁽⁰⁾・2⁰ ＋Z⁽¹⁾・2¹ ＋Z⁽²⁾・2²＋… ＋Z^(m-1)・2^m-1）｝ ＝｛Ｚ・Z⁽⁰⁾・2⁰ ＋Ｚ・Z⁽¹⁾・2¹ ＋Ｚ・Z⁽²⁾・2²＋… ＋Ｚ・Z^(m-1)・2^m-1） ＝（Ｚ・Z⁽⁰⁾）・2⁰ ＋（Ｚ・Z⁽¹⁾）・2¹ ＋（Ｚ・Z⁽²⁾）・2¹＋… ＋（Ｚ・Z^(m-1)・2^m-1） …（８） 但し、Ｚの右上のかっこ内の数字は累積加算結果Ｚの
次数、Z^{( ）}はその次数のビット情報を示す。

レジスタ57に格納される累積加算結果は、バスコント
ローラ58によってまずＺ・Z⁽⁰⁾の演算を行う。バスコン
トローラ58では、入力された累積加算結果の最下位ビッ
トのビット情報により、累積加算結果を出力するか、零
を出力するかを制御する。つまり、Z⁽⁰⁾が１であればＺ
を出力し、Z⁽⁰⁾が０であれば零を出力する。

次にＺ・Z⁽¹⁾の演算を行う。バスコントローラ58では
今度は、累積加算結果の下位から２ビット目のビットデ
ータZ⁽¹⁾を用い、前記と同じ手法で値をバス60に出力す
る。このように累積加算結果がＺが（ｍ−１）次であれ
ば、ｍ回、この動作を行い、値はバス60を通してAU61で
累積加算が行われる。

このAU61では、Pe50−１が出力する値の合計を取るわ
けだが、出力する値ごとに実際の桁が異なるので、前記
判別モード１の時と同様に、AU61では、桁合わせを行い
ながら累積加算を行う。この例では、桁が小さいものか
ら順に、桁が１ビットずつずれている演算結果が出力さ
れるので、AU61では、累積加算を行うとき、加算結果の
方を１ビット下位にシフトして加算すればよい。このよ
うにして累積加算された結果は、出力端子31aから出力
して累積加算の２乗結果が得られる。

（III） DCTモード DCTモード時、第５図におけるセレクタ55は、判別モ
ード１の時とは異なり、モード切替信号CSによって係数
メモリ54から１ビットデータを選択し、加算器56aを制
御する。以下、マトリクス変換の１行分の累積加算の演
算手法について説明する。

マトリクス変換の１行分の累積加算の式を、次式
（９）のように変形することができる。

Σ X_IY_I ＝Σ｛X_I・（Y_I ⁽⁰⁾・2⁰ ＋Y_I ⁽¹⁾・2¹ ＋Y_I ⁽²⁾・2²＋… ＋Y_I ^(m-1)・2^m-1）｝ ＝Σ｛X_I・Y_I ⁽⁰⁾・2⁰ ＋X_I・Y_I ⁽¹⁾・2¹ ＋X_I・Y_I ⁽²⁾・2¹＋… ＋X_I・Y_I ^(m-1)・2^m-1） ＝（ΣX_I・Y_I ⁽⁰⁾）・2⁰ ＋（ΣX_I・Y_I ⁽¹⁾）・2¹ ＋（ΣX_I・Y_I ⁽²⁾）・2²＋… ＋（ΣX_I・Y_I ^(m-1)・2^m-1） …（９） 但し、X_Iは入力データ、Y_Iは係数メモリ54内のマトリ
クス係数データ、Y_Iの右上のかっこ内の数字は係数デー
タY_Iの次数、Y_I ^{( ）}はその次数のビット情報を示す。

このように、２乗の累積加算を計算する演算手法とほ
ぼ同様の方法を用いることができる。ここでは、２乗の
累積加算を行う時とは異なり、各入力データの各桁のビ
ット情報ではなく、係数メモリ54内の係数データの各桁
のビット情報によって累積加算器56を制御し、各桁の累
積加算を演算結果を合計することで、マトリクス変換の
１行分の演算結果を求めることができる。

第１図の例では、係数データＹを８ビットデータとし
て、（９）式におけるΣX_I・Y_I ^(m-1)・2^m-1を各Pe50−
１〜50−８で演算する。つまり、ΣX_I・Y_I ⁽⁰⁾の演算をP
e50−１で、同様にΣX_I・Y_I ⁽¹⁾の演算をPe50−２で行
い、合計８個のPe50−１〜50−８で８桁分の演算を行
う。演算終了後、各Pe50−１〜50−８の演算結果の合計
をAU61で累積加算してマトリクス変換の１行分の演算結
果を得ることができる。以下、その動作について説明す
る。

入力端子30aから入力されたデータX_Iは、入力端子51a
を通じてPe50−１に入力する。第５図において、入力端
子51aから入力されたデータは、まず絶対値差分器53に
入力されるが、このモード時も何もせず、そのままの値
が加算器56aに入力される。ここで、Pe50−１がΣX_I・Y
_I ⁽⁰⁾を行うため、セレクタ55はΣY_I ⁽⁰⁾の内容が格納さ
れた係数メモリ54の出力を選択し、その出力ビット情報
によって加算を行うか否かが制御される。つまりY_I ⁽⁰⁾
が１であれば、X_Iをそれまでの累積値が格納されている
レジスタ56bの値との加算を行い、Y_I ⁽⁰⁾が０であれば、
加算をキャンセルする。

入力端子30aからデータX_Iの入力が終了し、加算器56a
での作業が終了すると、レジスタ57にレジスタ56bの値
が格納される。同様の動作が、他のPe50−２〜50−８で
も行われる。但し、各Pe50−１〜50−８でΣY_I ^(m-1)の
値が異なるので、係数メモリ54の内容が異なる。バスコ
ントローラ58では、このように他のPe50−１〜50−８の
演算結果とバス60上で交錯しないように制御する。各Pe
50−１〜50−８の演算、つまり各桁ごとの演算が終了す
ると、Pe50−１の演算結果から順に、バス60に演算結果
を出力し、AU61に入力する。このAU61は、全てのPe50−
１〜50−８の出力結果の合計を取るわけだが、判別モー
ド１の時と同様に、各Pe50−１〜50−８ごとに演算結果
の桁が異なるので、該AU61では、桁合わせを行いながら
累積加算を行う。

Pe50−１の演算結果から順に出力するこの例では、隣
合うPe50−１〜50−８の演算結果の桁が１ビットずつず
れているので、判別モード1,2の時と同様に、AU61で
は、累積加算を行うとき、加算結果の方を１ビット下位
にシフトして加算すればよい。このようにして累積加算
された結果は、出力端子31aから出力してマトリクス変
換の１行分の演算結果が得られる。

もし、この例で挙げたDCTの変換が（３）式において
Ｍ＝８の場合であれば、係数メモリ54の異なる第１図の
画像符号化回路が８個、もしくは第５図の各Pe内で行数
分（この場合は８行分）の係数メモリ54のデータを保持
し上記の動作を８回繰り返すことで、１次元のDCTの変
換を行うことができる。また、この構成はマトリクス演
算を行えることから、各Pe内の係数メモリ54を追加する
か、あるいは係数メモリ内容を追加することで、IDCT変
換、並びに従来文献１に記載されているフィルタの演算
を実行することも可能である。

（IV） MVモード 次に、第６図（ａ），（ｂ）の基本ブロックと検索用
ブロックを示す図、及び第７図のMV検出モード時のタイ
ムチャートを参照しつつ、MVモード時の動作について説
明する。

第１図の例では、同時に８カ所の移動ベクトル検出が
可能である。使用されるデータは、第６図に示すよう
に、検出する基本ブロックの大きさが16×16であり、検
索用ブロックの大きさが23×16で、その位置が基本ブロ
ックに対応している。

第１図において、入力端子30aから基本ブロックデー
タＡを、入力端子30bから検索用ブロックデータＢを入
力する。この入力端子30bから入力された検索用ブロッ
クデータは、各Pe50−１〜50−８に直接入力される。入
力端子30aから入力された基本ブロックデータＡは、各R
e40−１〜40−７によって１クロックずつ遅延し、後段
の各Pe50−２〜50−８に入力する。各Pe50−１〜50−８
の１つ１つが、ベクトル候補地の演算を担当する。この
例では、基本ブロックと候補ブロックをＸ方向にそれぞ
れ−４から＋３まで移動した場合、系８ヵ所の候補ブロ
ックと基本ブロックの誤差量が計算される。

誤差量の求め方は、第５図のPe内で次のように計算さ
れる。入力端子51aから基本ブロックデータＡが、入力
端子51bから検索用ブロックデータＢが入力され、絶対
値差分器53で絶対値差分が計算され、その結果が加算器
56aの入力となり、累積加算が行われる。判別モード１
及びDCTモードの時では、加算器56aはセレクタ55によっ
て選択された制御信号（入力信号51aの入力データ又は
係数メモリ54の出力）によって制御されたが、このMVモ
ードの時は、該制御信号に関係なく、“1"（又は“0"）
によって累積加算される。

この例では、基本ブロックデータ数が256＝16×16な
ので、その回数だけ累積加算が行われ、その加算結果が
レジスタ57に格納されると同時に、累積加算に用いられ
るレジスタ57もクリアされる。この累積加算結果が誤差
量としてバス60を通して比較器62に送られるわけだが、
そのバス60上で、累積加算結果同士が交錯しないよう
に、バスコントローラ58によって制御される。

このタイムチャートが第７図に示されている。Ｂは入
力端子30bから入力される検索用ブロックデータ、A1は
入力端子30aからPe50−１に入力される基本ブロックデ
ータである。C1はPe50−１においてその時の入力データ
に対して演算を行うか停止するかを制御するコントロー
ル信号である。A2はRe40−１の出力で、Pe50−２に入力
される基本ブロックデータである。C2はPe50−２におい
てその時の入力データに対して演算を行うか停止するか
を制御するコントロール信号である。

入力端子30bから入力される検索用ブロックデータＢ
は、第６図（ｂ）に示すように、ブロックの左上Ｂ（0,
0）から順にＢ（1,0）,B（2,0），…のように、縦方向
に逐次入力し、Ｂ（22,0）まで入力すると、次にＢ（0,
1）というように、次の列への連続的に入力される。

入力端子30aから入力される基本ブロックデータA1
は、第６図（ａ）に示すように、ブロックの左上Ａ（0,
0）から順にＡ（1,0）,A（2,0），…のように、縦方向
に逐次入力し、Ａ（15,0）まで入力すると、一時的に入
力を停止し、検索用ブロックの走査が次の列移ったと同
時に、再び次の列の基本ブロックデータA1の入力を開始
する。即ち、入力端子30a,30bから各入力データは、そ
れぞれ基本ブロックデータA1、検索用ブロックデータB1
の列の先頭から同期して入力される。

このような入力データに対して、Pe50−１では基本ブ
ロックデータA1がＡ（15,15）まで入力し、演算が終わ
った時点で、（６）式に示したｐ＝−4,q＝０、つまり の計算が行われたことになる。この演算結果、即ちベク
トルｐ＝−3,q＝０に対する差分絶対値の累積値は、比
較器62に渡される。

Pe50−２においても、同様の計算が行われる。但し、
入力端子30aから入力され基本ブロックデータA1は、Re4
0−１によって１クロックタイミングがずれて入力され
ているのでｐ＝−3,q＝０、つまり の計算が行われたことになる。入力がPe50−１より１ク
ロックタイミングずれているため、出力も１クロック遅
れて出力される。

このようにして各Pe50−１〜50−８でベクトル候補地
ｐ＝−４〜＋３、ｑ＝０の演算を行い、その結果が全て
比較器62に集められ、それらの中から最小値を見付け、
それに対応したベクトル値も保持する。そして全てのベ
クトル候補地の演算が終了した時点で、各出力端子31c,
31dに各々のベクトル値を出力すると同時に、そのベク
トルに対応した誤差量も出力端子31bから出力される。

なお、第１図の画像符号化回路が複数個存在し、ある
第１図の画像符号化回路の出力端子31eが、適当な量の
遅延回路を通った後に、別の第１図の画像符号化回路の
入力端子30aに接続する構成を取れば、より多数のベク
トル候補地の演算を、同時に行うことができる。

以上のように、本実施例では次のような利点を有して
いる。

第１図の画像符号化回路を時分割にしてモードを切替
え、イントラ／インタの判別に用いる２乗の累積加算及
び累積加算の２乗と、MV検出と、フィルタと、DCT変換
と、IDCT変換とを実行することができる。そのため、こ
の画像符号化回路を用いて画像符号化システムを構成
し、その画像符号化回路のモードを切替えて時分割で画
像符号化処理を行えば、前記各モード時における使用す
る回路構成の多くの部分を共用できるので、画像符号化
システム全体の構成を簡略化でき、それによってハード
量の削減と低コスト化が図れる。またこの構成は、DCT
モードの時、マトリクス演算を行えることから、第５図
に示されるPe内の係数メモリ54を追加するか、あるいは
その係数メモリ54の内容を追加することにより、IDCT変
換、フィルタ等の他のマトリクス演算にも応用すること
ができる。

なお本発明は上記実施例に限定されず、例えば第１図
のRe40−１〜40−７及びPe50−１〜50−８の数を入力デ
ータのビット数に応じて他の数に変形したり、あるいは
各Pe50−１〜50−８の回路構成を第５図以外の構成に変
形する等、種々の変形が可能である。

（発明の効果） 以上詳細に説明したように、第１の発明によれば、Pe
（第１の演算回路）及びAU（第２の演算回路）を用いて
イントラ／インタの判別に用いる２乗の累積加算演算及
び累積加算の２乗演算と、動き補償に用いる動きベクト
ル検出と、DCT等のマトリクス変換とを、モード切替え
によって実行するようにしたので、そのモード切替えに
よって各モードを時分割で動作させれば、同一のハード
で前記３つのモードを実現できる。このように、２乗演
算と動きベクトル検出とマトリクス変換とをPe及びAUを
共通に使用することで、回路構成の多くの部分を共用で
きるため、回路構成の簡単化、ハード量の削減化、及び
低コスト化が可能になる。

第２及び第３の発明によれば、Pe及びAUを用いて累積
加算動作をさせることにより、イントラ／インタの判別
に用いる２乗の累積加算演算を的確に実行できる。

第４の発明によれば、Pe及びAUにより、マトリクス係
数データを用いて累積加算を行うことにより、的確なマ
トリクス演算を行うことができる。

第５の発明によれば、Re（遅延回路）を用いて現ブロ
ックを遅延させると共に、Peにより各ベクトルに対する
評価関数を演算させることにより、動き補償の動きベク
トル検出が的確に行える。

第６の発明によれば、係数メモリ、セレクタ、絶対値
差分器、累積加算器及びバスコントローラ等を用いてPe
を構成したので、モード切替信号によってセレクタの出
力を切替えることにより、Peの累積加算動作を簡単に切
替えることができる。

第７の発明によれば、Pe及びAUを累積加算動作を用い
てイントラ／インタの判別に用いる２乗の累積加算演
算、及びマトリクス演算が簡単に実行できる。

第８の発明によれば、Pe及びAU等で構成される符号化
装置を複数個用いて画像符号化システムを構成し、イン
トラ／インタの判別に用いる計算及びマトリクス変換を
行う計算を各符号化装置で同時に実行することにより、
広範囲のベクトルの候補地演算を簡単かつ的確に実行す
ることができる。

第９の発明によれば、Pe及びAUに比較器を設けること
により、動き補償の動きベクトル検出を簡単かつ的確に
行える。

第10図の発明によれば、Reを用いて入力データを遅延
させることにより、イントラ／インタの判別に用いる２
乗の累積加算演算と動き補償の動きベクトル検出とを容
易に実行できる。

第11の発明によれば、Reにより入力データを遅延させ
ることにより、マトリクス演算と動き補償の動きベクト
ル検出とを簡単かつ的確に行うことができる。

また前記第６の発明において、DCTモードの時にマト
リクス演算を行えることから、係数メモリを追加した
り、あるいはその係数メモリの内容を追加することで、
IDCT変換やフィルタ等といった他のマトリクス演算にも
応用することができる。

【図面の簡単な説明】

第１図は本発明の実施例を示す画像符号化回路の構成ブ
ロック図、第２図は従来のテレビ会議用CODECの構成ブ
ロック図、第３図は第２図中のソース符号化回路の構成
ブロック図、第４図（ａ）〜（ｃ）は動きベクトル検出
説明図、第５図は第１図中のPeの構成ブロック図、第６
図（ａ），（ｂ）は基本ブロックと検索用ブロックを示
す図、第７図はMV検出モード時のタイムチャートであ
る。 40−１〜40−７……Re（遅延回路）、50−１〜50−８…
…Pe（第１の演算回路）、53……絶対値差分器、54……
係数メモリ、55……セレクタ、56……累積加算器、58…
…バスコントローラ、60……バス、61……AU（第２の演
算回路）、62……比較器。

フロントページの続き (72)発明者 水谷 秀夫 東京都港区虎ノ門１丁目７番12号 沖電 気工業株式会社内 (56)参考文献 特開 平２−29088（ＪＰ，Ａ) 特開 平４−35385（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/32,7/14

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】１フレーム内を複数のブロックに分割し、
   その分割した現ブロックと、該現ブロックを含むフレー
   ムより過去のフレームとの比較によって動画像の符号化
   を行う符号化装置において、 評価関数値あるいは少なくとも数ビットの乗算を行って
   その乗算結果を累積加算する複数の第１の演算回路と、
   前記各第１の演算回路の演算結果を累積加算する第２の
   演算回路とを使用して、フレーム内／フレーム間の判別
   に用いる２乗の累積加算演算及び累積加算の２乗演算
   と、動き補償に用いる動きベクトル検出と、マトリクス
   変換とを、モード切替えによって実行する構成にしたこ
   とを特徴とする符号化装置。
2. 【請求項２】請求項１記載の符号化装置において、 前記フレーム内／フレーム間の判別に用いる２乗の累積
   加算演算時には、前記第１の演算回路によって入力デー
   タの各桁のビット情報に基づき累積加算を行い、前記第
   ２の演算回路によって前記第１の演算回路の加算結果を
   桁合わせを行いながら累積加算を行う構成にしたことを
   特徴とする符号化装置。
3. 【請求項３】請求項２記載の符号化装置において、 前記フレーム内／フレーム間の判別に用いる累積加算の
   ２乗演算時には、前記第１の演算回路によって累積加算
   を行い、その加算結果を該加算結果の各桁のビット情報
   に基づき出力し、前記第２の演算回路により、前記第１
   の演算回路の出力を桁合わせを行いながら累積加算を行
   う構成にしたことを特徴とする符号化装置。
4. 【請求項４】請求項２記載の符号化装置において、 前記マトリクス変換の演算時には、前記第１の演算回路
   により、マトリクス係数データの各桁のビット情報に基
   づき累積加算を行い、前記第２の演算回路により、前記
   第１の演算回路の加算結果を桁合わせを行いながら累積
   加算する構成にしたことを特徴とする符号化装置。
5. 【請求項５】請求項２記載の符号化装置において、 前記動きベクトル検出時には、遅延回路を用いて前記現
   ブロックデータを遅延させると共い、前記第１の演算回
   路によって前記評価関数値の演算処理を行わせることに
   より、各ベクトルに対する評価関数値を求める構成にし
   たことを特徴とする符号化装置。
6. 【請求項６】請求項２記載の符号化装置において、 前記第１の演算回路は、係数を格納した係数メモリ、前
   記係数メモリの出力を含めた信号をモード切替信号によ
   って選択するセレクタ、入力データの絶対値の差分を求
   める絶対値差分器、前記セレクタの出力に基づき前記絶
   対値差分器の出力に対する累積加算を行う累積加算器、
   及び前記累積加算器のバスに対する出力制御を行うバス
   コントローラを有することを特徴とする符号化装置。
7. 【請求項７】請求項２又は４記載の符号化装置におい
   て、 前記２乗の累積加算演算時又は前記マトリクス演算時に
   は、前記第１の演算回路の割り振られた次数の低い方か
   ら順に該第１の演算回路の演算結果を出力し、前記第２
   の演算回路では、演算済の累積加算結果を下位の方向に
   ビットシフトして累積加算する構成にしたことを特徴と
   する符号化装置。
8. 【請求項８】請求項２又は４記載の符号化装置におい
   て、 前記複数の第１の演算回路及び前記第２の演算回路を複
   数組用いて、前記２乗の累積加算演算及び前記マトリク
   ス変換の演算を同時に複数行い、広範囲のベクトルの候
   補地演算を行う構成にしたことを特徴とする符号化装
   置。
9. 【請求項９】請求項２又は５記載の符号化装置におい
   て、 前記第１及び第２の演算回路と、前記第１の演算回路の
   出力の比較処理を行う比較器とを有することを特徴とす
   る符号化装置。
10. 【請求項１０】請求項２又は５記載の符号化装置におい
    て、 前記２乗の累積加算演算時及び前記動きベクトル検出時
    には、前記遅延回路により入力データを遅延させて、前
    記各第１の演算回路の出力を時間的にずらせて出力する
    構成にしたことを特徴とする符号化装置。
11. 【請求項１１】請求項４又は５記載の符号化装置におい
    て、 前記マトリクス変換の演算時及び動きベクトル検出時に
    は、前記遅延回路により入力データを遅延させて、前記
    各第１の演算回路の出力を時間的にずらせて出力する構
    成にしたことを特徴とする符号化装置。