JP3442783B2

JP3442783B2 - 符号化装置及び方法

Info

Publication number: JP3442783B2
Application number: JP50157195A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-08
Filing date: 1994-06-07
Publication date: 2003-09-02
Anticipated expiration: 2018-09-02
Also published as: EP0654947A4; US5627581A; EP0654947B1; KR960700607A; EP0654947A1; DE69423072D1; DE69423072T2; KR100289854B1; WO1994030013A1

Description

【発明の詳細な説明】技術分野本発明は、映像信号と音声信号とを高能率で圧縮符号
化する符号化装置及び方法に関する。

背景技術映像信号や音声信号を高能率に圧縮符号化して伝送す
る方式が、従来から種々提案されている。これらの従来
の圧縮符号化方式では、映像信号及び音声信号のそれぞ
れの信号について、それぞれのマスキング効果に基づい
て信号劣化が目立たないように圧縮符号化を行ってい
る。

ところで、上記圧縮符号化方式は、人間の聴覚、視覚
のそれぞれの感度特性（マスキング特性）に合わせたも
のであるが、いずれも再生画像のみ或いは再生音のみを
評価対象として、独立に圧縮処理を行っている。

例えば、音を遮断して画像だけを評価するときは、画
像のジャーキネスやブロック歪み等の目立つ劣化を如何
に少なくするかが重要であるので、その点をポイントと
して圧縮符号化処理を行う。

しかしながら、映像やビデオソフト等のエンターテイ
メントでは、画像と音とが同時に再生されて、総合的に
人間に刺激を与えている。このため、例えば画像に関連
する音が同時に存在する場合には、上記画像のジャーキ
ネスのような画像のシビアな劣化は、殆どマスクされて
感じられないことが多い。特に、人間の興味（注意）が
主として音に向けられる部分（音の刺激量（アクティビ
ティ）が多い部分）では、画像に対する注意が散漫にな
り、上記のような画像のシビアな劣化は感じられないこ
とが多い。

上記のことは、音についても同様のことが言え、例え
ば画像が動いている場合など、画像からの刺激量が多い
場合には、音がマスクされてその劣化は感じられないこ
とが多い。

以上のように、人間の視聴覚の感度は（マスキング特
性は）、画像や音がそれぞれ独立に存在する場合と、映
画などのように画像と音とが相互に関連して存在してい
るときとでは、特性が全く異なる。したがって、映画等
のように、画像と音とが関連して存在している場合に、
従来のように画像と音とをそれぞれ独立に圧縮処理をし
たのでは、最適の圧縮符号化が行われていない可能性が
あった。

そこで、本発明は上述したような実情に鑑みてなされ
たものであって、画像及び音に関して、より最適な圧縮
符号化を行えるようにした符号化装置及び方法を提供す
ることを目的とするものである。

発明の開示本発明の符号化装置は、ディジタル映像信号と、これ
に関連するディジタル音声信号とをそれぞれ圧縮符号化
して伝送するようにした符号化装置であり、上記ディジ
タル映像信号の変化量に基づいて、上記ディジタル映像
信号の特性を示すアクティビティを検出する第１の特性
検出手段と、上記ディジタル音声信号の周波数成分に基
づいて、上記ディジタル音声信号の特性を示すアクティ
ビティを検出する第２の特性検出手段と、上記ディジタ
ル映像信号のアクティビティと第１の重み付け係数の乗
算された上記ディジタル音声信号のアクティビティとを
合成する演算を行う第１の演算手段と、第２の重み付け
係数の乗算された上記ディジタル映像信号のアクティビ
ティと上記ディジタル音声信号のアクティビティとを合
成する演算を行う第２の演算手段と、上記第１の演算手
段の出力に基づいて上記ディジタル映像信号の圧縮符号
化の割り当て情報量を制御する第１の制御手段と、上記
第２の演算手段の出力に基づいて上記ディジタル音声信
号の圧縮符号化の割り当て情報量を制御する第２の制御
手段とを有することを特徴とするものである。

また、本発明の符号化方法は、ディジタル映像信号
と、これに関連するディジタル音声信号とをそれぞれ圧
縮符号化して伝送するようにした符号化方法であり、上
記ディジタル映像信号の変化量に基づいて、上記ディジ
タル映像信号の特性を示すアクティビティを検出する第
１の特性検出工程と、上記ディジタル音声信号の周波数
成分に基づいて、上記ディジタル音声信号の特性を示す
アクティビティを検出する第２の特性検出工程と、上記
ディジタル映像信号のアクティビティと第１の重み付け
係数の乗算された上記ディジタル音声信号のアクティビ
ティとを合成する演算を行う第１の演算工程と、第２の
重み付け係数の乗算された上記ディジタル映像信号のア
クティビティと上記ディジタル音声信号のアクティビテ
ィとを合成する演算を行う第２の演算工程と、上記第１
の演算工程の出力に基づいて上記ディジタル映像信号の
圧縮符号化の割り当て情報量を制御する第１の制御工程
と、上記第２の演算工程の出力に基づいて上記ディジタ
ル音声信号の圧縮符号化の割り当て情報量を制御する第
２の制御工程とを有することを特徴とするものである。

したがって、本発明の符号化装置及び方法によれば、
ディジタル映像信号の圧縮符号化の割り当て情報量は、
第２の特性検出手段で検出された音声信号の特性が加味
されたものとなり、また、ディジタル音声信号の圧縮符
号化の割り当て情報量は、第１の特性検出手段で検出さ
れた映像信号の特性が加味されたものとなる。

このため、映像信号と音声信号の両者の関係から最適
な情報量配分が決められて、圧縮符号化が行われる。

図面の簡単な説明図１は本発明実施例の符号化装置の概略構成を示すブ
ロック回路図である。

図２は映像信号の圧縮符号化回路の一具体例の構成を
示すブロック回路図である。

図３は音声信号の圧縮符号化回路の一具体例の構成を
示すブロック回路図である。

図４はクリティカルバンドについて説明するための図
である。

図５は音声信号圧縮符号化回路のビット配分算出回路
の一具体例の構成を示すブロック回路図である。

図６はバークスペクトラムについて説明するための図
である。

図７はFIRフィルタの構成を示すブロック回路図であ
る。

図８はバークスペクトラムとマスキングスペクトラム
について説明するための図である。

図９は最小可聴カーブ、マスキングスペクトラムを合
成した図である。

図10は符号化制御回路の一具体例の構成を示すブロッ
ク回路図である。

図11は振幅情報発生回路の一具体例の構成を示すブロ
ック回路図である。

図12はバークスペクトラム形成回路の一具体例の構成
を示すブロック回路図である。

図13は伝送路の伝送レートとアクティビティ及びマス
キングを考慮した映像信号の伝送レートと音声信号の伝
送レートについて説明するための図である。

図14は映像信号の圧縮符号化回路の他の具体例につい
て説明するためのブロック回路図である。

図15はアクティビティ検出回路の他の具体例の構成を
示すブロック回路図である。

発明を実施するための最良の形態以下、本発明の好ましい実施例について図面を参照し
ながら説明する。

図１において、指示符号の10Vはディジタル映像信号
の圧縮符号化処理系を示し、指示符号の10Aはディジタ
ル音声信号の圧縮符号化処理系を示している。

ディジタル映像信号の圧縮符号化処理系10Vにおいて
は、入力端子11Vを通じたディジタル映像信号が、圧縮
符号化回路12Vに供給されて、映像信号に適した圧縮符
号化が行われる。この映像信号に適した圧縮符号化に
は、例えばDCT（ディスクリート・コサイン・トランス
フォーム）を用いた手法、いわゆるADRC（アダプティブ
・ダイナミックレンジ・コーディング）を用いた手法な
どを使用することができる。

なお、上記ADRCとは、日本国特許出願公開の特開昭61
−144989号公報及び特開昭62−266989号公報に記載され
ているように、１フィールド内の２次元ブロックに含ま
れる複数の画素に関して、ダイナミックレンジ（ブロッ
ク内の最大レベルと最小レベルの差）と最小レベルとを
求め、圧縮された量子化ビット数によりダイナミックレ
ンジを均等に分割し、ブロック内の各画素を最も近いレ
ベルのコードに符号化するものである。すなわち、例え
ばテレビジョン信号のような映像信号は、水平方向及び
垂直方向に相関を有しているので、定常部では同一のブ
ロックに含まれる画素データのレベルの変化幅は小さ
い。したがって、ブロック内の画素データが共有する最
小レベルを除去した後のデータのダイナミックレンジを
元の量子化ビット数より少ない量子化ビット数により量
子化しても、量子化歪みは殆ど生じない。このようにし
て量子化ビット数を少なくすることにより、データの伝
送帯域幅を元のものより狭くすることができる。

本実施例では、上記映像信号の圧縮符号化回路12V
は、図２に示すような上記ADRCを用いて圧縮符号化を行
う構成となされている。

すなわちこの図２に示す圧縮符号化回路12Vは、ディ
ジタル映像信号をブロック化し、このブロック内に含ま
れる複数の画素データの最大値MAX及び最小値MINにより
規定されるダイナミックレンジDRを求め、このブロック
単位で求めた上記ダイナミックレンジDRに適応した割り
当てビット数で当該ブロック内の各画素データを符号化
（再量子化）するようにしている。

この図２において、入力端子401には、例えば１サン
プルが８ビットに量子化されたディジタル映像信号（例
えばディジタルテレビジョン信号）が入力される。この
ディジタル映像信号がブロック化回路402に供給され
る。

上記ブロック化回路402では、上記入力ディジタル映
像信号を符号化の単位である２次元ブロック毎に連続す
る信号に変換する。本実施例では、１ブロックが８ライ
ン×８画素＝64画素の大きさとされている。ブロック化
回路402の出力信号はダイナミックレンジ検出回路403及
び減算回路として動作する加算回路404に供給される。
上記ダイナミックレンジ検出回路403は、ブロック毎に
ダイナミックレンジDR及び最小値MIN及び最大値MAXを検
出すると共に、上記ダイナミックレンジDRと最小値MIN
（或いは最大値MAX）の値を出力する。

上記最小値MINは上記加算回路404に減算信号として送
られる。また、この加算回路404には、上記ブロック化
回路402からの画素データPDが加算信号として供給さ
れ、したがって当該加算回路404では、上記最小値MINが
除去された画素データPDIが形成される。

また、上記ダイナミックレンジ検出回路403で検出さ
れたダイナミックレンジDRはビット長決定回路406に送
られる。当該ビット長決定回路406は、端子420を介して
供給される後述する符号化制御回路15Vからの制御信号
と、上記ダイナミックレンジDRとに基づいて、上記ブロ
ックなどの圧縮符号化単位ごとの割り当てビット数（量
子化の際の割り当てビット数）を決定する。

上記ビット長決定回路406によって決定された割り当
てビット数が量子化回路405に供給される。この量子化
回路405には、上記加算回路404からの最小値除去後の画
素データPDIが供給される。量子化回路405では、上述の
割り当てビット数でもって画素データPDIの量子化が行
われる。

ここで、上記ビット長決定回路406では、割り当てビ
ット数を決定する時に、ダイナミックレンジに対して最
大歪みを一定にするような線形な割り当てビット数とせ
ずに、人間の視覚特性にマッチングした非線形な特性で
最大歪みが変えられるような割り当てビット数を決定す
ることもできる。すなわち、一般に、ブロック内で例え
ば急峻な輝度レベルの変化がある場合（ダイナミックレ
ンジが大きい時）には、輝度レベルの小さな変化が目に
つき難い。したがって、例えば、ダイナミックレンジの
大きいブロックでは、割り当てビット数を少なくする。
このように、ビット長決定回路406において、ダイナミ
ックレンジに適応した可変な割り当てビット数を決定す
ることで、ダイナミックレンジが大きい時には最大歪み
が大きくても、ブロック歪みが生じず、したがって、圧
縮率を高めることが可能となる。

この量子化回路405からの符号化コードDTはフレーム
化回路407に送られる。フレーム化回路407には、ブロッ
ク毎の付加コードとして、ダイナミックレンジDR（例え
ば８ビット）及び最小値MIN（例えば８ビット）も供給
される。また、当該フレーム化回路407は、符号化コー
ドDT及び上述の付加コードに誤り訂正符号化の処理を施
すと共に、同期信号を付加する。

このフレーム化回路407の出力が圧縮符号化されたデ
ィジタル映像信号として端子408を介して、バッファメ
モリ13Vに送られ、当該バッファメモリ13Vを介して出力
端子14Vから出力される。

一方、ディジタル音声信号の圧縮符号化処理系10Aに
おいては、入力端子11Aを通じたディジタル音声信号
が、圧縮符号化回路12Aに供給され、ここで後述するよ
うに音声信号を人間の聴覚特性を考慮した圧縮符号化処
理が行われる。

なお、この人間の聴覚特性を考慮した圧縮符号化処理
とは、米国特許番号第5151941号に記載されるように、
オーディオ信号の入力ディジタル信号を複数の周波数帯
域に分割すると共に、高い周波数帯域ほど帯域幅を広く
選定し、各帯域毎のエネルギに基づいて各帯域単位の許
容のノイズレベルを設定し、各帯域のエネルギと設定さ
れた許容ノイズレベルの差のレベルに応じたビット数で
各帯域の成分を再量子化するものである。

本実施例では、上記音声信号の圧縮符号化回路12Aと
して、図３に示すような構成を有している。

この図３において、入力端子310には、例えばサンプ
リング周波数が44.1kHzの時、０〜22kHzのオーディオPC
M信号が供給されている。この入力信号は、例えばいわ
ゆるQMF（Quadrature Mirror filter）等のフィルタか
らなる帯域分割フイルタ311により０〜11kHz帯域と11k
〜22kHz帯域とに分割され、０〜11kHz帯域の信号は同じ
くいわゆるQMF等のフィルタからなる帯域分割フィルタ3
12により０〜5.5kHz帯域と5.5k〜11kHz帯域とに分割さ
れる。帯域分割フィルタ311からの11k〜22kHz帯域の信
号は直交変換回路の一例であるMDCT回路313に送られ、
帯域分割フィルタ312からの5.5k〜11kHz帯域の信号はMD
CT回路314に送られ、帯域分割フィルタ312からの０〜5.
5kHz帯域の信号はMDCT回路315に送られることにより、
それぞれMDCT処理される。

ここで上述した入力ディジタル信号を複数の周波数帯
域に分割する手法としては、例えば上記QMF等のフィル
タによる分割手法がある。この分割手法は文献「ディジ
タル・コーディング・オブ・スピーチ・イン・サブバン
ズ」（“Digital coding of speech in subbands"R.E.C
rochiere,Bell Syst.Tech.J.,Vol.55、No.8 1976）に述
べられている。

また文献「ポリフェィズ・クァドラチュア・フィルタ
ーズ −新しい帯域分割符号化技術」（“Polyphase Qu
adrature filters −A new subband coding techniqu
e",Joseph H.Rothweiler ICASSP 83,BOSTON）には、等
帯域幅のフィルタ分割手法が述べられている。

さらに、上述した直交変換としては、例えば入力オー
ディオ信号を所定単位時間でブロック化し、前記ブロッ
ク毎に高速フーリエ変換（FFT）、離散コサイン変換（D
CT）、変更離散コサイン変換（MDCT）等を行うことで時
間軸を周波数軸に変換するような直交変換がある。上記
MDCTについては、文献「時間領域エリアシング・キャン
セルを基礎とするフィルタ・バンク設計を用いたサブバ
ンド／変換符号化」（“Subband/Transform Coding Usi
ng Filter Bank Desings Based on Time Domain Aliasi
ng Cancellation,"J.P.Princen A.B.Bradley,Univ.of S
urrey Royal Melbourne Inst.of Tech.ICASSP 1987）に
述べられている。

上記各MDCT回路313、314、315にてMDCT処理されて得
られた周波数軸上のスペクトラムデータあるいはMDCT係
数データは、いわゆる臨界帯域（クリティカルバンド）
毎にまとめられて、適応ビット割当符号化回路318に送
られている。

なお、このクリティカルバンドとは、人間の聴覚特性
（周波数分析能力）を考慮して分割された周波数帯域で
あり、ある純音の周波数近傍の同じ強さの狭帯域バンド
ノイズによって当該純音がマスクされるときのそのノイ
ズの持つ帯域のことである。このクリティカルバンド
は、高域ほど帯域幅が広くなっており、上記０〜22kHz
の全周波数帯域は例えば25のクリティカルバンドに分割
されている。すなわち、例えば図４には図示を簡略化し
てバンド数を12バンド（B₁〜B₁₂）で表現しているが、
当該クリティカルバンドは、高域ほど帯域幅が広くなる
ものである。また、人間の聴覚は、一種のバンドパスフ
ィルタのような特性を有していて、各フィルタによって
分けられたバンドを臨界帯域と呼んでいる。

ビット配分算出回路320は、端子430を介して供給され
る後述する符号化制御回路15Aからの制御信号に基づい
て、ブロックやフレームなどの圧縮符号化単位ごとの割
り当てビット数が決定され、さらに上記クリティカルバ
ンドを考慮して分割されたスペクトラムデータに基づい
たいわゆるマスキング効果を考慮して各帯域毎に割り当
てビット数を求める。

この情報を適応ビット割当符号化回路318に送る。当
該適応ビット割当符号化回路318では、各帯域毎に割り
当てられたビット数に応じて各スペクトラムデータ（或
いはMDCT係数データ）を再量子化するようにしている。
このようにして符号化されたデータは、出力端子319を
介してバッファメモリ13Aに送られ、当該バッファメモ
リ13Aを介して出力端子14Aから出力される。

ここで、図５には上記ビット配分算出回路320の一具
体例の概略構成を示す。

この図５において、入力端子321には、上記各MDCT回
路313、314、315からの周波数軸上のスペクトラムデー
タが供給されている。

次にこの周波数軸上の入力データは、帯域毎のエネル
ギ算出回路322に送られて、上記クリティカルバンドを
考慮した各分割帯域のエネルギが、例えば当該バンド内
での各振幅値の総和を計算すること等により求められ
る。この各バンド毎のエネルギの代わりに、振幅値のピ
ーク値、平均値等が用いられることもある。このエネル
ギ算出回路322からの出力として、例えば各バンドの総
和値であるバークスペクトラムを図６の図中SBとして示
している。ただし、この図６では、図示を簡略化するた
め、分割帯域数を12バンド（B₁〜B₁₂）で表現してい
る。

ここで、上記バークスペクトラムSBのいわゆるマスキ
ングに於ける影響を考慮するために、該バークスペクト
ラムSBに所定の重み付け関数を掛けて加算するような畳
込み（コンボリューション）処理を施す。このため、上
記帯域毎のエネルギ算出回路322の出力すなわち該バー
クスペクトラムSBの各値は、畳込みフィルタ回路323に
送られる。

この畳込みフィルタ回路323は、例えば図７に示すよ
うなFIRフィルタで構成することができる。すなわち当
該畳込みフィルタ回路323は、図７に示すように、入力
端子100からの入力データを順次遅延させる遅延素子（z
^-1）101_1,101₂‥‥101_m-2〜101_m+3‥‥101_23,101₂₄と、
これら遅延素子101₁〜101₂₄からの出力にフィルタ係数
（重みづけの関数）を乗算する例えば25個の乗算器102
_1,102₂‥‥102_m-3〜102_m+3‥‥102_24,102₂₅と、総和加
算機104とから構成されるものである。

ここで、上記畳込みフィルタ回路323の各乗算器102
_m-3〜102_m+3において、例えば、任意のバンドに対応す
る乗算器Ｍの係数を１とするとき、乗算器102_m-3でフィ
ルタ係数0.0000086を、乗算器102_m-2でフィルタ係数0.0
019を、乗算器102_m-1でフィルタ係数0.15を、乗算器102
_mでフィルタ係数１を、乗算器102_m+1でフィルタ係数0.4
を、更に乗算器102_m+2でフィルタ係数0.06を乗算し、乗
算器102_m+3でフィルタ係数0.007を各遅延素子の出力に
乗算することにより、バークスペクトラムSBの畳込み処
理が行われる。この畳込み処理により、図６の図中点線
で示す部分の総和がとられる。

なお、ここで言う音声のマスキングとは、人間の聴覚
上の特性により、ある信号によって他の信号がマスクさ
れて聞こえなくなる現象をいうものであり、このマスキ
ング効果には、時間軸上の音の信号による時間軸マスキ
ング効果と、周波数軸上の信号による同時刻マスキング
効果とがある。これらのマスキング効果により、マスキ
ングされる部分にノイズがあったとしても、このノイズ
は聞こえないことになる。このため、実際の音の信号で
は、このマスキングされる範囲内のノイズは許容可能な
ノイズとされる。

次に、上記畳込みフィルタ回路323の出力は引算器324
に送られる。該引算器324は、上記畳込んだ領域での後
述する許容可能なノイズレベルに対応するレベルγを求
めるものである。なお、当該許容可能なノイズレベル
（許容ノイズレベル）に対応するレベルγは、後述する
ように、逆コンボリューション処理を行うことによっ
て、クリティカルバンドの各バンド毎の許容ノイズレベ
ルとなるようなレベルである。ここで、上記引算器324
には、上記レベルγを求めるための許容関数（マスキン
グレベルを表現する関数）が供給される。この許容関数
を増減させることで上記レベルγの制御を行っている。
当該許容関数は、次に説明するような（ｎ−ai）関数発
生回路325から供給されているものである。

すなわち、許容ノイズレベルに対応するレベルγは、
クリティカルバンドの低域から順に与えられる番号をｉ
とすると、次の（１）式で求めることができる。

γ＝Ｓ−（ｎ−ai）・・・（１）この（１）式において、n,aは定数でａ＞０、Ｓは畳込
み処理されたバークスペクトラムの強度であり、（１）
式中（ｎ−ai）が許容関数となる。本実施例ではｎ＝3
8,a＝１としており、この時の音質劣化はなく、良好な
符号化が行える。

このようにして、上記レベルγが求められ、このデー
タは、割算器326に伝送される。当該割算器326では、上
記畳込みされた領域での上記レベルγを逆コンボリユー
ションするためのものである。したがって、この逆コン
ボリユーション処理を行うことにより、上記レベルγか
らマスキングスペクトラムが得られるようになる。すな
わち、このマスキングスペクトラムが許容ノイズスペク
トラムとなる。なお、上記逆コンボリユーション処理
は、複雑な演算を必要とするが、本実施例では簡略化し
た割算器326を用いて逆コンボリユーションを行ってい
る。

次に、上記マスキングスペクトラムは、合成回路327
を介して減算器328に伝送される。ここで、当該減算器3
28には、上記帯域毎のエネルギ検出回路322からの出
力、すなわち前述したスペクトラムSBが、遅延回路329
を介して供給されている。したがって、この減算器328
で上記マスキングスペクトラムとスペクトラムSBとの減
算演算が行われることで、図８に示すように、上記スペ
クトラムSBは、該マスキングスペクトラムMSのレベルで
示すレベル以下がマスキングされることになる。

当該減算器328からの出力は、許容雑音補正回路330を
介し、例えば割り当てビット数情報が予め記憶されたRO
M331に送られる。このROM331は、上記減算回路328から
許容雑音補正回路330を介して得られた出力（上記各バ
ンドのエネルギと上記ノイズレベル設定手段の出力との
差分のレベル）に応じ、各バンド毎の割り当てビット数
情報を出力する。

この割り当てビット数情報は、さらにビット数補正回
路334に送られる。当該ビット数補正回路334は、前記端
子430を介して供給される後述する符号化制御回路15Aか
らの制御信号に基づいて、上記ROM331から出力されたビ
ット数情報を補正する。

このビット数補正回路334からのビット数情報が、端
子335を介して前記適応ビット割当符号化回路318に送ら
れることで、この適応ビット割当符号化回路318におい
てMDCT回路313、314、315からの周波数軸上の各スペク
トラムデータがそれぞれのバンド毎に割り当てられたビ
ット数で量子化される。

なお、遅延回路329は上記合成回路327以前の各回路で
の遅延量を考慮してエネルギ検出回路322からのスペク
トラムSBを遅延させるために設けられている。

また、上述した合成回路327での合成の際には、最小
可聴カーブ発生回路332から供給される図９に示すよう
な人間の聴覚特性であるいわゆる最小可聴カーブRCを示
すデータと、上記マスキングスペクトラムMSとを合成す
ることができる。この最小可聴カーブにおいて、雑音絶
対レベルがこの最小可聴カーブ以下ならば該雑音は聞こ
えないことになる。この最小可聴カーブは、コーディン
グが同じであっても例えば再生時の再生ボリュームの違
いで異なるものとなるが、現実的なディジタルシステム
では、例えば16ビットダイナミックレンジへの音楽のは
いり方にはさほど違いがないので、例えば4kHz付近の最
も耳に聞こえやすい周波数帯域の量子化雑音が聞こえな
いとすれば、他の周波数帯域ではこの最小可聴カーブの
レベル以下の量子化雑音は聞こえないと考えられる。

したがって、このように例えばシステムの持つワード
レングスの4kHz付近の雑音が聞こえない使い方をすると
仮定し、この最小可聴カーブRCとマスキングスペクトラ
ムMSとを共に合成することで許容ノイズレベルを得るよ
うにすると、この場合の許容ノイズレベルは、図９の図
中の斜線で示す部分までとすることができるようにな
る。なお、本実施例では、上記最小可聴カーブの4kHzの
レベルを、例えば20ビット相当の最低レベルに合わせて
いる。また、この図９は、信号スペクトラムSSも同時に
示している。

また、上記許容雑音補正回路330では、補正情報出力
回路333から送られてくる例えば等ラウドネスカーブの
情報に基づいて、上記減算器328からの出力における許
容雑音レベルを補正している。ここで、等ラウドネスカ
ーブとは、人間の聴覚特性に関する特性曲線であり、例
えば1kHzの純音と同じ大きさに聞こえる各周波数での音
の音圧を求めて曲線で結んだもので、ラウドネスの等感
度曲線とも呼ばれる。またこの等ラウドネス曲線は、図
９に示した最小可聴カーブRCと略同じ曲線を描くもので
ある。この等ラウドネス曲線においては、例えば4kHz付
近では1kHzのところより音圧が８〜10dB下がっても1kHz
と同じ大きさに聞こえ、逆に、50kHz付近では1kHzでの
音圧よりも約15dB高くないと同じ大きさに聞こえない。
このため、上記最小可聴カーブのレベルを越えた雑音
（許容ノイズレベル）は、該等ラウドネス曲線に応じた
カーブで与えられる周波数特性を持つようにするのが良
いことがわかる。このようなことから、上記等ラウドネ
ス曲線を考慮して上記許容ノイズレベルを補正すること
は、人間の聴覚特性に適合していることがわかる。

ところで、本実施例の符号化装置では、上述した映像
信号及び音声信号の圧縮符号化の際の割り当てビット数
の決定の際に、以下のようなことを行って、画像及び音
に関して、より最適な圧縮符号化を行えるようにしてい
る。

すなわち本発明実施例の符号化装置においては、符号
化制御回路15Vは、ディジタル映像信号の特性だけでな
く、そのときのディジタル音声信号の特性を加味するよ
うに、圧縮符号化回路12Vでの符号化処理の際の割り当
てビット数を定める。また、さらに、この割り当てビッ
ト数の決定に当たっては、バッファメモリ13Vから出力
されるディジタル映像信号の伝送レートが、予め定めら
れた目標値になるようにすることも考慮されている。

先ず、上記ディジタル映像信号の伝送レートを考慮す
るために、バッファメモリ13Vの出力は、図10に示す構
成の符号化制御回路15Vの端子410に供給される。

当該符号化制御回路15Vでは、データ量演算回路412に
よって上記バッファメモリ13Vから出力されるデータ量
が演算され、これによる伝送レートが求められ、誤差検
出回路413ではその伝送レートが目標値（端子14V後に接
続される伝送路の伝送レート）になっているか否か判定
される。そして、目標値になっていなければ、次段の補
正値決定回路414において、その誤差量と、端子415を介
して供給される後述するディジタル映像信号とディジタ
ル音声信号との両者の特性（両者の関係）とに基づい
て、圧縮符号化回路12Vでの最適な割り当てビット数を
定める。この補正値決定回路414からの信号が、端子420
を介して前記制御信号として圧縮符号化回路12Vに送ら
れる。

ディジタル音声信号についても同様であり、符号化制
御回路15Aは図10と同様の構成を有しており、当該符号
化制御回路15Aの端子411に供給されたバッファメモリ13
Aからのデータ量を演算してその伝送レートを求め、こ
の伝送レートと目標値との誤差量と、端子416を介して
供給されるディジタル音声信号とディジタル映像信号の
両者の特性（両者の関係）を加味した特性とに基づい
て、圧縮符号化回路12Aでの符号化処理の際の最適な割
り当てビット数を求める。この符号化制御回路15Aの補
正値決定回路414からの信号が、端子430を介して前記制
御信号として圧縮符号化回路12Aに送られる。

ここで、本実施例では、上記ディジタル映像信号及び
ディジタル音声信号の特性は、それぞれのアクティビテ
ィを求めることにより検出する。

図１に戻って、指示符号の20は第１の特性検出手段と
しての映像信号のアクティビティを求める回路を示し、
指示符号の30は第２の特性検出手段としての音声信号の
アクティビティを求める回路を示している。

映像信号のアクティビティを求める映像信号アクティ
ビティ検出回路20は、映像信号の空間的及び時間的変化
を検出する。すなわち、入力端子11Vに供給されたディ
ジタル映像信号は、減算回路22に供給されると共に、フ
レームメモリ21により１フレーム遅延された後、演算回
路22に供給され、これによって当該減算回路22から２フ
レーム間の変化が得られ、その時間的な変化が非線形回
路27に供給される。

また、入力端子11Vに供給されたディジタル映像信号
は、減算回路24に供給されると共に、ラインメモリ23に
より１ライン分遅延された後、減算回路24に供給され、
これによって減算回路24から２ライン間の変化が得ら
れ、その空間的な変化が非線形回路27に供給される。

さらに入力端子11Vに供給されたディジタル映像信号
は、減算回路26に供給されると共に、サンプルメモリ25
により１画素分遅延された後、減算回路26に供給され、
これによって減算回路24から２画素間の変化が得られ、
その空間的な変化が非線形回路27に供給される。

非線形回路27は、例えば経験則に応じて予め決定され
た非線形係数を保持するROMテーブルを有し、この非線
形係数を用いて減算回路22、24及び26からの空間的変化
及び時間的変化に非線形の重みを付けて合成する。そし
て、その合成出力が映像信号のアクティビティの検出出
力として当該アクティビティ検出回路20から得られる。

このアクティビティ検出回路20からの映像信号のアク
ティビティの検出出力は、前記合成手段としての合成回
路44に供給されると共に、重み付け回路41によって端子
46から所定の重み付け係数αが乗算されて同じく合成手
段としての合成回路43に供給される。

一方、第２の特性検出手段としての音声信号のアクテ
ィビティを求める音声信号アクティビティ検出回路30
は、人間の聴覚特性を考慮したもので、これも音声信号
の空間的及び時間的変化を求めるものである。なお、当
該アクティビティ検出回路30では、人間の聴覚は、周波
数領域の振幅には敏感であるが、位相についてはかなり
鈍感であることを利用して音声信号のアクティビティを
検出している。

すなわち、この音声信号アクティビティ検出回路30で
は、先ず入力端子11Aを通じたディジタル音声信号が、
振幅情報発生回路31に供給される。この振幅情報発生回
路31は、図11に示すように、端子241に供給されたディ
ジタル音声信号を高速フーリエ変換（FFT）する高速フ
ーリエ変換回路211と、当該高速フーリエ変換回路211で
の高速フーリエ変換処理の結果得られるFFT係数の実数
成分値Reと虚数成分値Imとからディジタル音声信号の振
幅値情報Amを形成する振幅位相情報発生回路212とから
なる。

この振幅情報発生回路31の端子241から出力される振
幅値情報Amは、前記エネルギ検出手段としてのバークス
ペクトラム形成回路32に供給される。このバークスペク
トラム形成回路32は、図12に示すような構成からなり、
先ず、上記振幅値情報Amを帯域分割回路213によって前
記クリティカルバンドに分割する。

上記帯域分割回路213の次の帯域毎エネルギ総和検出
回路214では、上記帯域分割回路213によって分割した各
バンド毎のエネルギ（各バンドでの各スペクトラム強
度）が、各バンド内の振幅値Amの総和（振幅値Amのピー
ク又は平均或いはエネルギ総和）を計算することより求
められる。

上記バークスペクトラム形成回路32の出力は、端子24
3を介してコンボリューション回路33に供給される、こ
のコンボリューション回路33では、上記バークスペクト
ラムSBのいわゆるマスキング（音声のマスキング）にお
ける影響を考慮するため、上記バークスペクトラムSBに
所定の重み付けの関数を畳み込む。

当該コンボリューション回路33は、例えば前記図７と
同様のFIRフィルタで構成することができる。

そして、上記コンボリューション回路33の出力が、音
声信号のアクティビティの検出出力として当該音声信号
アクティビティ検出回路30から得られる。この検出回路
30からの音声信号のアクティビティの検出出力は、前記
合成手段としての合成回路43に供給されると共に、端子
45から供給される所定の重み付け係数βを乗算する重み
付けを行う重み付け回路42を介して前記合成回路44に供
給される。

そして、上記合成回路43の出力が符号化制御回路15V
に供給されると共に、上記合成回路44の出力が符号化制
御回路15Aに供給される。

圧縮符号化回路12V及び12Aは、この符号化制御回路15
V及び15Aからの制御信号を受けて、ディジタル映像信号
及びディジタル音声信号を圧縮符号化する際の割り当て
ビット数が制御される。すなわち、圧縮符号化回路12V
及び12Aにおいては、ディジタル映像信号とディジタル
音声信号との両信号の特性、この例では両信号のアクテ
ィビティが総合的に判断されて、ディジタル映像信号及
びディジタル音声信号のそれぞれに最適の圧縮符号化処
理が行われる。

圧縮符号化回路12V及び12Aでは、また、前述したよう
に、符号化制御回路15V及び15Aからの制御信号を受け
て、バッファメモリ13V及び13Aからの映像信号データ及
び音声信号データの伝送レートを目標値になるように調
整するように割り当てビット数を制御することも行われ
る。

本発明実施例の符号化装置では、上述のようなバッフ
ァメモリ13V及び13Aのデータ量と、ディジタル映像信号
及びディジタル音声信号の両信号の特性とに基づいて圧
縮符号化の際の割り当てビット数を最適化することで、
図13のような伝送情報量の最適化が可能となる。

すなわち、図１の出力端子14V及び14A以降の伝送路で
の伝送レート（伝送情報量）は、図13の図中Ｒで示すよ
うに通常は一定の伝送レートとなされ、この内訳として
映像信号に関しては図13の図中rv、音声信号に関しては
図13の図中raとなされる。これに対して、本発明実施例
の符号化装置によれば、上記アクティビティの検出結果
及びマスキングを考慮して、上記図中Ｒで示す一定伝送
レートの内で、映像信号の伝送レートrvと音声信号の伝
送レートraの比を変えるようにしている。

例えば映像信号のアクティビティが大きい期間T1やT2
では当該映像信号に対する伝送情報量は必然的に増加す
ることになるが、当該映像信号自身がマスクされるので
映像信号の圧縮率を高めて伝送情報量を減らすことがで
きると共に、このときの人間の注意は映像に向けられる
ので、音声信号については図中C1やC2に示すように伝送
情報量を減らすことができる。逆に音声信号のアクティ
ビティが大きい期間T3では当該音声信号に対する伝送情
報量は増加するが、当該音声信号自身のマスキング効果
によって音声信号の圧縮率を高めて伝送情報量を減らす
ことができると共に、このときの人間の注意は音声に向
けられるので、映像信号については図中C3に示すように
伝送情報量を減らすことができる。結果として、全体の
伝送レートは図13の図中Ｒで示すように一定にすること
ができると共に、映像信号において情報量を多く必要と
する期間には当該映像信号に情報量を多く割り当てて、
音声信号に対する情報量を減らしても、音声信号の劣化
を目立たせないようにすることができ、また、音声信号
において情報量を多く必要とする期間では音声信号に情
報量を多く割り当てて、映像信号に対する情報量を減ら
しても映像信号の劣化を目立たなくさせることができ
る。したがって、人間の視聴覚の特性から、映像が注目
されているときには映像の画質を上げることができると
共に音声の劣化を人間に感じさせなくでき、逆に音声が
注目されているときには音質を上げることができると共
に映像の劣化を人間に感じさせなくすることができる。

次に、上記映像信号の圧縮符号化の他の例について図
14を用いて説明する。この図14の例は、動画像の代表的
な符号化方式として、MPEG（蓄積用動画像符号化）方法
を採用している。これは、ISO−IEC/JTC1/SC2/WG11にて
議論され標準案として提案されたものであり、動き補償
予測符号化とDCT（Discrete Cosine Transform）符号化
を組み合わせたハイブリッド方式が採用されている。

この図14において、図１の入力端子11Vに供給された
符号化されるべき画像データは、入力端子349を介して
マクロブロック単位で動きベクトル検出回路350に入力
される。動きベクトル検出回路350は、予め設定されて
いる所定のシーケンスに従って、各フレームの画像デー
タを、Ｉピクチャ（イントラ符号化画像:Intra−coded
picture）、Ｐピクチャ（前方予測符号化画像:Perdicti
ve−coded picture）またはＢピクチャ（両方向予測符
号化画像:Bidirectionally−coded picture）の３種類
のピクチャのいずれかのピクチャとして処理する。シー
ケンシャルに入力される各フレームの画像を、I,P,Bの
いずれのピクチャとして処理するかは、予め定められて
いる。

Ｉピクチャとして処理されるフレームの画像データは
動きベクトル検出回路350からフレームメモリ351内の前
方原画像領域に転送、記憶され、Ｂピクチャとして処理
されるフレームの画像データは原画像領域（参照原画像
領域）に転送、記憶され、Ｐピクチャとして処理される
フレームの画像データは後方原画像領域に転送、記憶さ
れる。

また、次のタイミングにおいて、さらにＢピクチャ又
はＰピクチャとして処理すべきフレームの画像が入力さ
れたとき、それまで後方原画像領域に記憶されていた最
初のＰピクチャの画像データが前方原画像領域に転送さ
れ、次のＢピクチャの画像データが原画像領域に記憶
（上書き）され、次のＰピクチャの画像データが後方原
画像領域に記憶（上書き）される。このような動作が順
次繰り返される。

フレームメモリ351に記憶された各ピクチャの信号
は、そこから読み出され、予測モード切り換え回路352
において、フレーム予測モード処理、またはフィールド
予測モード処理が行なわれる。さらにまた予測判定回路
354の制御の下に、演算部353において、イントラ符号化
モード、前方予測モード、後方予測モード、または両方
向予測モードによる演算が行なわれる。これらの処理の
うち、いずれの処理を行なうかは、予測誤差信号（処理
の対象とされている参照画像と、これに対する予測画像
との差分）に対応してマクロブロック単位で決定され
る。このため、動きベクトル検出回路350は、この判定
に用いられる予測誤差信号の絶対値和（自乗和でもよ
い）及び、その予測誤差信号に対応するイントラ符号化
モードの評価値をマクロブロック単位で生成する。

ここで、フレーム予測モードが設定された場合におい
ては、予測モード切り換え回路352は、動きベクトル検
出回路350より供給される４個の輝度ブロックを、その
まま後段の演算部353に出力する。このフレーム予測モ
ードにおいては、４個の輝度ブロック（マクロブロッ
ク）を単位として予測が行われ、４個の輝度ブロックに
対して１個の動きベクトルが対応される。

これに対して、予測モード切り換え回路352は、フィ
ールド予測モードが設定された場合、動きベクトル検出
回路350より入力される信号を、４個の輝度ブロックの
うち２個の輝度ブロックを例えば奇数フィールドのライ
ンのドットによりのみ構成させ、他の２個の輝度ブロッ
クを偶数フィールドのラインのデータにより構成させ
て、演算部353に出力する。この場合においては、奇数
フィールドからなる２個の輝度ブロックに対して、１個
の動きベクトルが対応され、他の偶数フィールドからな
る２個の輝度ブロックに対して、他の１個の動きベクト
ルが対応される。

尚、色差信号は、フレーム予測モードの場合、奇数フ
ィールドのラインのデータと偶数フィールドのラインの
データとが混在する状態で、演算部353に供給される。
また、フィールド予測モードの場合、各色差ブロックの
上半分（４ライン）が奇数フィールドの輝度ブロックに
対応する奇数フィールドの色差信号とされ、下半分（４
ライン）が偶数フィールドの輝度ブロックに対応する偶
数フィールドの色差信号とされる。

また、動きベクトル検出回路350は、次のようにし
て、予測判定回路354において、各マクロブロックに対
し、イントラ符号化モード、前方予測モード、後方予測
モード、または両方向予測モードのいずれの予測を行な
うか及びフレーム予測モード、フィールド予測モードの
どちらで処理するかを決定するためのイントラ符号化モ
ードの評価値及び各予測誤差の絶対値和をマクロブロッ
ク単位で生成する。

即ち、イントラ符号化モードの評価値として、これか
ら符号化される参照画像のマクロブロックの信号Aijと
その平均値との差の絶対値和Σ│Aij−（Aijの平均値）
│を求める。また、前方予測の予測誤差の絶対値和とし
て、フレーム予測モード及びフィールド予測モードそれ
ぞれにおける、参照画像のマクロブロックの信号Aij
と、予測画像のマクロブロックの信号Bijの差（Aij−Bi
j）の絶対値│Aij−Bij│の和Σ│Aij−Bij│を求め
る。また、後方予測と両方向予測の予測誤差の絶対値和
も、前方予測における場合と同様に（その予測画像を前
方予測における場合と異なる予測画像に変更して）フレ
ーム予測モード及びフィールド予測モードの場合のそれ
ぞれに対して求める。

これらの絶対値和は、予測判定回路354に供給され
る。予測判定回路354は、フレーム予測モード、フィー
ルド予測モードそれぞれにおける前方予測、後方予測及
び両方向予測の予測誤差の絶対値和のうち、最も小さい
ものを、インター（inter）予測の予測誤差の絶対値和
として選択する。さらに、このインター予測の予測誤差
の絶対値和と、イントラ符号化モードの評価値とを比較
し、その小さい方を選択し、この選択した値に対応する
モードを予測モード及びフレーム／フィールド予測モー
ドとして選択する。即ち、イントラ符号化モードの評価
値の方が小さければ、イントラ符号化モードが設定され
る。インター予測の予測誤差の絶対値和の方が小さけれ
ば、前方予測、後方予測または両方向予測モードのう
ち、対応する絶対値和が最も小さかったモードが予測モ
ード及びフレーム／フィールド予測モードとして設定さ
れる。

上述したように、予測モード切り換え回路352は、参
照画像のマクロブロックの信号を、フレームまたはフィ
ールド予測モードのうち、予測判定回路354により選択
されたモードに対応するデータを演算部353に供給す
る。また動きベクトル検出回路350は、予測判定回路354
により選択された予測モードに対応する予測画像と参照
画像との間の動きベクトルを出力し、後述する可変長符
号化回路358と動き補償回路364に供給する。なお、この
動きベクトルとしては、対応する予測誤差の絶対値和が
最小となるものが選択される。

予測判定回路354は、動きベクトル検出回路350が前方
原画像領域よりＩピクチャの画像データを読み出してい
るとき、予測モードとして、イントラ符号化モード（動
き補償を行わないモード）を設定し、演算部353からＩ
ピクチャの画像データがDCTモード切替回路355に入力さ
れる。

このDCTモード切替回路355は、４個の輝度ブロックの
データを、奇数フィールドのラインと偶数フィールドの
ラインが混在する状態（フレームDCTモード）、また
は、分離された状態（フィールドDCTモード）、のいず
れかの状態にして、DCT回路356に出力する。

即ち、DCTモード切り換え回路355は、奇数フィールド
と偶数フィールドのデータを混在してDCT処理した場合
における符号化効率と、分離した状態においてDCT処理
した場合の符号化効率とを比較し、符号化効率の良好な
モードを選択する。

例えば、入力された信号を、奇数フィールドと偶数フ
ィールドのラインが混在する構成とし、上下に隣接する
奇数フィールドのラインの信号と偶数フィールドのライ
ンの信号の差を演算し、さらにその絶対値の和（または
自乗和）を求める。また、入力された信号を、奇数フィ
ールドと偶数フィールドのラインが分離した構成とし、
上下に隣接する奇数フィールドのライン同士の信号の差
と、偶数フィールドのライン同士の信号の差を演算し、
それぞれの絶対値の和（または自乗和）を求める。さら
に、両者（絶対値和）を比較し、小さい値に対応するDC
Tモードを設定する。即ち、前者の方が小さければ、フ
レームDCTモードを設定し、後者の方が小さければ、フ
ィールドDCTモードを設定する。

そして、選択したDCTモードに対応する構成のデータ
をDCT回路356に出力するとともに、選択したDCTモード
を示すDCTフラグを、可変長符号化回路358に出力する。

予測モード切り換え回路352におけるフレーム／フィ
ールド予測モードと、このDCTモード切り換え回路355に
おけるDCTモードを比較して明らかなように、輝度ブロ
ックに関しては、両者の各モードにおけるデータ構造は
実質的に同一である。

予測モード切り換え回路352において、フレーム予測
モード（奇数ラインと偶数ラインが混在するモード）が
選択された場合、DCTモード切り換え回路355において
も、フレームDCTモード（奇数ラインと偶数ラインが混
在するモード）が選択される可能性が高く、また予測モ
ード切り換え回路352において、フィールド予測モード
（奇数フィールドと偶数フィールドのデータが分離され
たモード）が選択された場合、DCTモード切り換え回路3
55において、フィールドDCTモード（奇数フィールドと
偶数フィールドのデータが分離されたモード）が選択さ
れる可能性が高い。

しかしながら、必ずしも常にそのようになされるわけ
ではなく、予測モード切り換え回路352においては、予
測誤差の絶対値和が小さくなるようにモードが決定さ
れ、DCTモード切替回路355においては、符号化効率が良
好となるようにモードが決定される。

DCTモード切り換え回路355より出力されたＩピクチャ
の画像データは、DCT回路356に入力され、DCT処理さ
れ、DCT係数に変換される。このDCT係数は、量子化回路
357に入力され、ここで、前記バッファメモリ13Vに対応
する送信バッファ359のデータ蓄積量（バッファ蓄積
量）と、前記図１の合成回路44からの信号が端子380を
介して供給される前記符号化制御回路15Vによって求め
られた前記アクティビティを考慮した制御信号とに基づ
く量子化ステップで、量子化が施された後、可変長符号
化回路358に入力される。

可変長符号化回路358は、量子化回路357より供給され
る量子化ステップ（スケール）に対応して、量子化回路
357より供給される画像データ（いまの場合、Ｉピクチ
ャのデータ）を、例えばハフマン（Huffman）符号など
の可変長符号に変換し、送信バッファ359に出力する。

可変長符号化回路358にはまた、量子化回路357より量
子化ステップ（スケール）、予測判定回路354より予測
モード（イントラ符号化モード、前方予測モード、後方
予測モード、または両方向予測モードのいずれが設定さ
れたかを示すモード）、動きベクトル検出回路350より
動きベクトル、予測判定回路354より予測フラグ（フレ
ーム予測モードまたはフィールド予測モードのいずれが
設定されたかを示すフラグ）、及びDCTモード切り換え
回路355が出力するDCTフラグ（フレームDCTモードまた
はフィールドDCTモードのいずれが設定されたかを示す
フラグ）が入力されており、これらも可変長符号化され
る。

送信バッファ359は、入力されたデータを一時蓄積
し、蓄積量に対応するデータを前記符号化制御回路15V
を介して量子化回路357に出力する。

そして、送信バッファ359に蓄積されたデータは、所
定のタイミングで読み出され、出力端子369を介して伝
送路に出力される。

一方、量子化回路357より出力されたＩピクチャのデ
ータは、逆量子化回路360に入力され、量子化回路357よ
り供給される量子化ステップに対応して逆量子化され
る。逆量子化回路360の出力は、IDCT（逆DCT）回路361
に入力され、逆DCT処理された後、演算器362を介してフ
レームメモリ363の前方予測画像領域に供給され、記憶
される。

ところで動きベクトル検出回路350は、シーケンシャ
ルに入力される各フレームの画像データを、例えばI,B,
P,B,P,B・・・のピクチャとしてそれぞれ処理する場
合、最初に入力されたフレームの画像データをＩピクチ
ャとして処理した後、次に入力されたフレームの画像を
Ｂピクチャとして処理する前に、さらにその次に入力さ
れたフレームの画像データをＰピクチャとして処理す
る。Ｂピクチャは、後方予測及び両方向予測を伴う可能
性があるため、後方予測画像としてのＰピクチャが先に
用意されていないと、復号することができないからであ
る。

そこで、上記動きベクトル検出回路350は、Ｉピクチ
ャの処理の次に、フレームメモリ363の後方原画像領域
に記憶されているＰピクチャの画像データの処理を開始
する。そして、上述した場合と同様に、マクロブロック
単位でのイントラ符号化モードの評価値及びフレーム間
差分（予測誤差）の絶対値和が、動きベクトル検出回路
350から予測判定回路354に供給される。予測判定回路35
4は、このＰピクチャのマクロブロックのイントラ符号
化モードの評価値及び予測誤差の絶対値和に対応して、
フレーム予測モード、フィールド予測モードの何れか、
及びイントラ符号化モード、前方予測モードのいずれの
予測モードかをマクロブロック単位で設定する。

演算部353はイントラ符号化モードが設定されたと
き、このデータをＩピクチャのデータと同様にDCTモー
ド切り換え回路355に送り、以後、DCT回路356、量子化
回路357、可変長符号化回路358、送信バッファ359を介
して伝送路に伝送される。また、このデータは、逆量子
化回路360、IDCT回路361、演算器362を介してフレーム
メモリ363の後方予測画像領域に供給され、記憶され
る。

一方、前方予測モードの時、フレームメモリ363の前
方予測画像領域に記憶されている画像（いまの場合Ｉピ
クチャの画像）データが読み出され、動き補償回路364
により、動きベクトル検出回路350が出力する動きベク
トルに対応して動き補償される。すなわち、動き補償回
路364は、予測判定回路354より前方予測モードの設定が
指令されたとき、フレームメモリ363の前方予測画像領
域の読み出しアドレスを、動きベクトル検出回路350が
いま出力しているマクロブロックの位置に対応する位置
から動きベクトルに対応する分だけずらしてデータを読
み出し、予測画像データを生成する。

動き補償回路364より出力された予測画像データは、
演算器353に供給される。演算器353は、予測モード切り
換え回路352より供給された参照画像のマクロブロック
のデータから、動き補償回路364より供給された、この
マクロブロックに対応する予測画像データを減算し、そ
の差分（予測誤差）を出力する。この差分データは、DC
Tモード切り換え回路355、DCT回路356、量子化回路35
7、可変長符号化回路358、送信バッファ359を介して伝
送路に伝送される。また、この差分データは、逆量子化
回路360、IDCT回路361により局所的に復号され、演算器
362に入力される。

この演算器362にはまた、演算器353に供給されている
予測画像データと同一のデータが供給されている。演算
器362は、IDCT回路361が出力する差分データに、動き補
償回路364が出力する予測画像データを加算する。これ
により、元の（復号した）Ｐピクチャの画像データが得
られる。このＰピクチャの画像データは、フレームメモ
リ363の後方予測画像領域に供給され、記憶される。
尚、実際には、演算器362に供給される、IDCT回路の出
力する差分データのデータ構造と予測画像データのデー
タ構造とは、同じである必要があるため、フレーム／フ
ィール予測モードとフレーム／フィールドDCTモード
が、異なる場合に備えてデータの並べ替えを行う回路が
必要であるが、簡単のため省略する。

動きベクトル検出回路350は、このように、Ｉピクチ
ャとＰピクチャのデータがフレームメモリ363の前方予
測画像領域と後方予測画像領域にそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測判定回路35
4は、マクロブロック単位でのイントラ符号化モードの
評価値及びフレーム間差分の絶対値和の大きさに対応し
て、フレーム／フィールド予測モードを設定し、また、
予測モードをイントラ符号化モード、前方予測モード、
後方予測モード、または両方向予測モードのいずれかに
設定する。

上述したように、イントラ符号化モードまたは前方予
測モードの時、Ｐピクチャにおける場合と同様の処理が
行われ、データが伝送される。

これに対して、後方予測モードの時は、フレームメモ
リ363の後方予測画像領域に記憶されている画像（いま
の場合、Ｐピクチャの画像）データが読み出され、動き
補償回路364により、動きベクトル検出回路350が出力す
る動きベクトルに対応して動き補償される。すなわち、
動き補償回路364は、予測判定回路354より後方予測モー
ドの設定が指令されたとき、フレームメモリ363の後方
予測画像領域の読み出しアドレスを、動きベクトル検出
回路350がいま出力しているマクロブロックの位置に対
応する位置から動きベクトルに対応する分だけずらして
データを読み出し、予測画像データを生成する。

動き補償回路354より出力された予測画像データは、
演算器353に供給される。演算器353は、予測モード切り
換え回路352より供給された参照画像のマクロブロック
のデータから、動き補償回路364より供給された予測画
像データを減算し、その差分を出力する。この差分デー
タは、DCTモード切り換え回路355、DCT回路356、量子化
回路357、可変長符号化回路358、送信バッファ359を介
して伝送路に伝送される。

両方向予測モードの時、フレームメモリ363の前方予
測画像領域に記憶されている画像（いまの場合、Ｉピク
チャの画像）データと、後方予測画像領域に記憶されて
いる画像（いまの場合、Ｐピクチャの画像０データが読
み出され、動き補償回路364により、動きベクトル検出
回路350が出力する動きベクトルに対応して動き補償さ
れる。すなわち、動き補償回路364は、予測判定回路354
より両方向予測モードの設定が指令されたとき、フレー
ムメモリ363の前方予測画像領域と後方予測画像領域の
読み出しアドレスを、動きベクトル検出回路350がいま
出力しているマクロブロックの位置に対応する位置から
動きベクトル（この場合の動きベクトルは、フレーム予
測モードの場合、前方予測画像用と後方予測画像用の２
つ、フィールド予測モードの場合は、前方予測画像用に
２つ、後方予測画像用の２つの計４つとなる）に対応す
る分だけずらしてデータを読み出し、予測画像データを
生成する。

動き補償回路354より出力された予測画像データは、
演算器353に供給される。演算器353は、動きベクトル検
出回路350より供給された参照画像のマクロブロックの
データから、動き補償回路364より供給された予測画像
データの平均値を減算し、その差分を出力する。この差
分データは、DCTモード切り換え回路355、DCT回路356、
量子化回路357、可変長符号化回路358、送信バッファ35
9を介して伝送路に伝送される。

Ｂピクチャの画像は、他の画像の予測画像とされるこ
とがないため、フレームメモリ363には記憶されない。

なお、上記フレームメモリ363において、前方予測画
像領域と後方予測画像領域は、必要に応じてバンク切り
換えが行われ、所定の参照画像に対して、一方または他
方に記憶されているものを、前方予測画像あるいは後方
予測画像として切り換えて出力することができる。

以上においては、輝度ブロックを中心として説明をし
たが、色差ブロックについても同様に、マクロブロック
を単位として処理され、伝送される。尚、色差ブロック
を処理する場合の動きベクトルは、対応する輝度ブロッ
クの動きベクトルを垂直方向と水平方向に、それぞれ1/
2にしたものが用いられる。

以上の例では、映像信号及び音声信号の刺激量を、こ
れら信号のアクティビティとして検出するようにした
が、画像や音の内容によって、これらの刺激は変わるも
のであるので、その内容に応じて、信号の特性がどのよ
うなときに割り当て情報量を増減するかを決定するよう
にしてもよい。例えば、静けさの中の小鳥の囀りなど、
気になる音が現れた時には、人間の注意はその小鳥の囀
りに向けられ、刺激量としては大きいと考えられるの
で、そのときは画像情報量は、減らしても目立たない。
なお、この割り当て情報量も、予め経験則に基づいて設
定しておく。

図１の映像信号のアクティビティ検出回路20及び音声
信号のアクティビティ検出回路30は、例えば図15のよう
な構成とすることもできる。なお、ここでは映像信号の
場合を例に挙げて図15の構成について説明する。音声信
号の場合も基本的動作については同様であるためその説
明は省略する。

図15において、端子500には入力端子11Vからの映像信
号が供給され、この映像信号が大変化検出回路501に供
給される。この大変化検出回路501では差分値を求め第
１の所定値以上の差分値のみ、その出力の総和を演算す
る演算回路502に送る。演算回路502で求めた上記差分値
の総和は、比較回路503に送られ、ここで所定のしきい
値との比較が行われる。該比較回路503からの比較結果
を示す信号は、判定回路504に送られる。また、上記端
子500に供給された映像信号は、微小変化検出回路506に
も送られる。当該微小変化検出回路506は、供給された
映像信号の上記第１の所定値より小さい第２の所定値よ
りも小さい微小差分を求め、次の演算回路507ではその
微小差分の総和を求める。後段の比較回路508では上記
微小差分の総和と所定のしきい値とを比較し、その比較
結果を示す信号を判定回路504に送る。当該判定回路504
では、上記２つの比較回路503及び508からの信号に基づ
いてアクティビティが存在するか否かの判定を行い、ア
クティビティの存在の有無を示す信号を端子505から出
力する。

ここでは、しいき値比較回路503でしきい値比較回路
の入力信号がしきい値以下と判断され、かつ、しきい値
比較回路508でしきい値比較回路508の入力信号がしきい
値以上であると判断されたとき、判定回路504はアクテ
ィビティが大きいと判定する。具体的には、映像信号の
場合、上記条件の時は例えば霧の中で小動物が動いてい
るのが小さくぼんやり見えるような映像のような、全体
的にはほとんど変化がないが一部動きのある映像である
ことを示す。このような場合、視聴者は映像に注意を向
けるので、映像信号の割り当てビット数を増加させるよ
うにする。また、音声信号の場合には、上記条件のとき
は、例えば上述したような静けさの中に小鳥の囀りがあ
るような場合を示す。

なお、図14では差分を求める例を挙げているが、微分
を求めることもできる。この場合、大変化検出回路501
及び微小変化検出回路506において微分を求め、演算回
路503及び507では積分演算を行う。

また、上記の例では、圧縮符号化回路12V、12Aでは、
割り当てビット数を可変にして割り当て情報量を可変す
るようにしたが、圧縮符号化方式を変えて、それに応じ
た割り当てビット数となるようにして、割り当て情報量
を可変にするようにしてもよい。

以上説明したように、この発明によれば、映像信号
と、これに関連する音声信号の圧縮符号化に当たって、
それぞれの信号を独立に、自己の信号の特性を基準にし
て圧縮符号化するのではなく、映像信号と音声信号の両
者の、そのときの特性を勘案して、圧縮符号化を行うよ
うにしたので、映像信号と、これに関連する音声信号と
を、再生時の視聴覚上、劣化が少ない状態で、より高能
率に圧縮符号化することができる。

すなわち、人間に対して映像信号についての視覚とし
ての刺激が音声信号により聴覚による刺激よりも比較的
強い時には、音声信号のノイズはマスクされやすく、音
声信号は情報量が少なくともよい。逆に、音による刺激
が画像から与えられる刺激よりも少ないような状態の時
には、画像情報は情報量が少なくとも目立たなくなり、
少ない情報量で、良好な画像及び音の情報伝送を行うこ
とができるようになる。

Claims

(57)【特許請求の範囲】

【請求項１】ディジタル映像信号と、これに関連するデ
ィジタル音声信号とをそれぞれ圧縮符号化して伝送する
ようにした符号化装置において、上記ディジタル映像信号の変化量に基づいて、上記ディ
ジタル映像信号の特性を示すアクティビティを検出する
第１の特性検出手段と、上記ディジタル音声信号の周波数成分に基づいて、上記
ディジタル音声信号の特性を示すアクティビティを検出
する第２の特性検出手段と、上記ディジタル映像信号のアクティビティと第１の重み
付け係数の乗算された上記ディジタル音声信号のアクテ
ィビティとを合成する演算を行う第１の演算手段と、第２の重み付け係数の乗算された上記ディジタル映像信
号のアクティビティと上記ディジタル音声信号のアクテ
ィビティとを合成する演算を行う第２の演算手段と、上記第１の演算手段の出力に基づいて上記ディジタル映
像信号の圧縮符号化の割り当て情報量を制御する第１の
制御手段と、上記第２の演算手段の出力に基づいて上記ディジタル音
声信号の圧縮符号化の割り当て情報量を制御する第２の
制御手段とを有することを特徴とする符号化装置。
【請求項２】上記第１の特性検出手段は、上記ディジタ
ル映像信号をフレーム遅延するフレームメモリと、上記
ディジタル映像信号をライン遅延するラインメモリと、
上記ディジタル映像信号をサンプル遅延するサンプルメ
モリと、上記フレームメモリからのフレーム遅延された
ディジタル映像信号と上記ディジタル映像信号との差分
を求める第１の差分演算手段と、上記ラインメモリから
のライン遅延されたディジタル映像信号と上記ディジタ
ル映像信号との差分を求める第２の差分演算手段と、上
記サンプルメモリからのサンプル遅延されたディジタル
映像信号と上記ディジタル映像信号との差分を求める第
３の差分演算手段と、上記第1,第2,第３の差分演算手段
の出力を非線形的に合成する非線形合成手段とを有して
なることを特徴とする請求項１記載の符号化装置。
【請求項３】上記第２の特性検出手段は、上記ディジタ
ル音声信号の振幅情報を発生する振幅情報発生手段と、
上記振幅情報発生手段からの振幅値に基づいてエネルギ
を検出するエネルギ検出手段と、上記エネルギ検出手段
の出力に対して畳み込み演算を施す畳み込み演算手段と
を有してなることを特徴とする請求項１記載の符号化装
置。
【請求項４】上記第１の特性検出手段及び上記第２の特
性検出手段は、信号の大変化量を検出する大変化量検出
手段と、上記大変化量検出手段の出力を所定のしきい値
と比較する第１の比較手段と、信号の微小変化量を検出
する微小変化量検出手段と、上記微小変化量検出手段の
出力を所定のしきい値と比較する第２の比較手段と、上
記第1,第２の比較手段からアクティビティが存在するか
否かを判定する判定手段とをそれぞれ有することを特徴
とする請求項１記載の符号化装置。
【請求項５】ディジタル映像信号と、これに関連するデ
ィジタル音声信号とをそれぞれ圧縮符号化して伝送する
ようにした符号化方法において、上記ディジタル映像信号の変化量に基づいて、上記ディ
ジタル映像信号の特性を示すアクティビティを検出する
第１の特性検出工程と、上記ディジタル音声信号の周波数成分に基づいて、上記
ディジタル音声信号の特性を示すアクティビティを検出
する第２の特性検出工程と、上記ディジタル映像信号のアクティビティと第１の重み
付け係数の乗算された上記ディジタル音声信号のアクテ
ィビティとを合成する演算を行う第１の演算工程と、第２の重み付け係数の乗算された上記ディジタル映像信
号のアクティビティと上記ディジタル音声信号のアクテ
ィビティとを合成する演算を行う第２の演算工程と、上記第１の演算工程の出力に基づいて上記ディジタル映
像信号の圧縮符号化の割り当て情報量を制御する第１の
制御工程と、上記第２の演算工程の出力に基づいて上記ディジタル音
声信号の圧縮符号化の割り当て情報量を制御する第２の
制御工程とを有することを特徴とする符号化方法。
【請求項６】上記第１の特性検出工程は、フレーム遅延
されたディジタル映像信号と上記ディジタル映像信号と
の差分を求める第１の差分演算工程と、ライン遅延され
たディジタル映像信号と上記ディジタル映像信号との差
分を求める第２の差分演算工程と、サンプル遅延された
ディジタル映像信号と上記ディジタル映像信号との差分
を求める第３の差分演算工程と、上記第1,第2,第３の差
分演算工程の出力を非線形的に合成する非線形合成工程
とを有することを特徴とする請求項５記載の符号化方
法。
【請求項７】上記第２の特性検出工程は、上記ディジタ
ル音声信号の振幅情報を発生する振幅情報発生工程と、
上記振幅情報発生工程からの振幅値に基づいてエネルギ
を検出するエネルギ検出工程と、上記エネルギ検出工程
の出力に対して畳み込み演算を施す畳み込み演算工程と
を有することを特徴とする請求項５記載の符号化方法。
【請求項８】上記第１の特性検出工程及び上記第２の特
性検出工程は、信号の大変化量を検出する大変化量検出
工程と、上記大変化量検出工程の出力を所定のしきい値
と比較する第１の比較工程と、信号の微小変化量を検出
する微小変化量検出工程と、上記微小変化量検出工程の
出力を所定のしきい値と比較する第２の比較工程と、上
記第1,第２の比較工程における比較結果に基づいてアク
ティビティが存在するか否かを判定する判定工程とをそ
れぞれ有することを特徴とする請求項５記載の符号化方
法。