JPH06113285A

JPH06113285A - 画像処理装置

Info

Publication number: JPH06113285A
Application number: JP28227092A
Authority: JP
Inventors: Masakazu Yoshimoto; 正和吉本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-09-29
Filing date: 1992-09-29
Publication date: 1994-04-22

Abstract

(57)【要約】【構成】第１のＤＣＴ変換回路１０ａは、リファレン
スブロックデータをＤＣＴ変換すると共に、各係数の絶
対値和データを求める。第２のＤＣＴ変換回路１０ｂ
は、リファレンスブロックデータと各動きベクトル毎の
オフセットブロックデータとの差分を求め、ＤＣＴ変換
すると共に、各係数の絶対値和データを求める。最小値
選択回路１２は、各絶対値和データに基づいて動きベク
トル及び動作モードを切り換える切換信号を生成する。【効果】符号データのデータ発生量や圧縮歪みを従来
の装置に比して小さくすることができると共に、フィー
ルド内モードも考慮した最適な動作モード切換を行うこ
とができる。また、動きベクトル検出と動作モード切換
を同一基準で行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議システムや
テレビ電話システム、スタジオ間の素材伝送システム等
において使用される画像処理装置に関する。

【０００２】

【従来の技術】テレビ会議システムやテレビ電話システ
ム、スタジオ間の素材伝送システム等において使用され
る所謂ＭＣ−ＤＣＴ方式を用いた画像処理装置として、
従来、図７に示す装置が知られている。

【０００３】この図に示す画像処理装置は、現フレーム
の画像データ（以下現フレームデータという）から切り
出されたブロックデータと動き補償を施した前フレーム
データから切り出されたブロックデータの差データ等を
求める減算回路１０１と、上記現フレームのブロックデ
ータと上記減算回路１０１からの差データを切り換え選
択する切換スイッチ１１５と、該切換スイッチ１１５で
選択された現フレームのブロックデータ又は差データを
離散余弦変換（以下ＤＣＴ変換という）してＤＣＴ出力
データを生成するＤＣＴ回路１０２と、該ＤＣＴ回路１
０２からのＤＣＴ出力データを量子化して符号データを
生成する量子化回路１０３と、該量子化回路１０３から
の符号データを可変長符号化して可変長符号データを生
成し、これを圧縮済みのデータとして出力する可変長符
号化回路１０４とを備えている。

【０００４】さらに、この画像処理装置は、上記量子化
回路１０３からの符号データを逆量子化してＤＣＴ出力
データを再生する逆量子化回路１０５と、該逆量子化回
路１０５からのＤＣＴ出力データを逆離散余弦変換（以
下逆ＤＣＴ変換という）して現フレームのブロックデー
タ又は差データを再生する逆ＤＣＴ回路１０６と、該逆
ＤＣＴ回路１０６からの差データと動き補償を施した前
フレームのブロックデータを加算して現フレームのブロ
ックデータを再生する加算回路１０７と、上記逆ＤＣＴ
回路１０６からの現フレームのブロックデータと上記加
算回路１０７からの現フレームのブロックデータを切り
換え選択する切換スイッチ１１６と、該切換スイッチ１
１６で選択された現フレームのブロックデータを記憶す
ると共に、上記減算回路１０１に次フレームのブロック
データが入力されたとき、記憶している現フレームデー
タを前フレームデータとして出力するフレームメモリ回
路１０８と、該フレームメモリ回路１０８からの前フレ
ームデータと上記減算回路１０１に入力されている現フ
レームのブロックデータを比較して動きベクトルを生成
する動き検出回路１１０と、該動き検出回路１１０から
の動きベクトルに基づいて上記フレームメモリ回路１０
８からの前フレームデータに対し動き補償を施して動き
補償済みのブロックデータを生成し、これを上記減算回
路１０１と加算回路１０７に供給する動き補償回路１０
９とを備えている。

【０００５】そして、この画像処理装置は、フィールド
内モード、フィールド間モード及びフレーム間モードの
３つの動作モードを有し、フィールド内モードではフィ
ールド内の画素値（輝度信号、色差信号）を、フィール
ド間モードでは画素のフィールド間予測誤差値を、フレ
ーム間モードでは画素の動き補償フレーム間予測誤差値
を選択し、８画素×８画素からなるブロックデータを２
次元のＤＣＴ変換し、得られるＤＣＴ出力データを量子
化、可変長符号化して伝送するようになっている。

【０００６】例えばフィールド内モードでは、現フィー
ルドの８画素×８画素からなるブロックデータが供給さ
れると、このブロックデータにＤＣＴ変換処理、量子化
処理、可変長符号化処理を順次施して、現フィールドの
ブロックデータを圧縮し、この圧縮処理によって得られ
た可変長符号データを、例えばバッファメモリ（図示せ
ず）に一旦記憶し、記憶した可変長符号データを一定レ
ートで読み出して出力するようになっている。

【０００７】また、例えばフィールド間モードでは、現
フィールドのブロックデータが供給されると、このブロ
ックデータと前フィールドの対応するブロックデータ
（現フィールドと前フィールドの間では垂直方向に１ラ
イン分ずれているので、例えば上下のラインの平均値を
用いる）の差データを生成した後、この差データに対し
ＤＣＴ変換処理、量子化処理、可変長符号化処理を順次
施して、この圧縮処理によって得られた可変長符号デー
タをバッファメモリを介して出力するようになってい
る。

【０００８】また、例えばフレーム間モードでは、現フ
ィールドのブロックデータが供給されると、このブロッ
クデータと、前フレームデータとに基づいて最適な動き
ベクトルを選択して、この動きベクトルに基づき前フレ
ームデータに対して動き補償を施すと共に、動き補償済
みのブロックデータと現フィールドのブロックデータの
差データを生成した後、この差データに対しＤＣＴ変換
処理、量子化処理、可変長符号化処理を順次施して現フ
ィールドのブロックデータを圧縮し、この圧縮処理によ
って得られた可変長符号データをバッファメモリを介し
て出力するようになっている。

【０００９】また、この動作と並行して量子化動作によ
って得られた符号データを逆量子化した後、逆ＤＣＴ変
換して、フィールド内モードでは現フィールドのブロッ
クデータに対応するブロックデータ、すなわち現フィー
ルドのブロックデータに量子化歪みが付加されたブロッ
クデータを再生し、フィールド間モード又はフレーム間
モードでは差データを再生すると共に、この差データと
前フィールド又は前フレームのブロックデータに基づい
て現フィールドのブロックデータに対応するブロックデ
ータ、すなわち量子化歪みが付加されたブロックデータ
を生成し、これらを現フレームデータとして記憶する。

【００１０】そして、次フレームのブロックデータが入
力されたとき、このブロックデータと、記憶している前
回のフレームデータとに基づいて動きベクトルを生成し
て、前回のフレームデータに対し動き補償を施し、この
動き補償動作によって得られた動き補償済みブロックデ
ータと次フレームのブロックデータとの差を生成する。

【００１１】以下、上述した動作を繰り返して圧縮対象
となるフィールドをブロック単位で圧縮してバッファメ
モリを介して出力する。

【００１２】ところで、このような従来の画像処理装置
においては、図８に示す動き検出回路１１０によって現
フレームのブロックデータと、前フレームデータとを比
較して動きベクトルを求めると共に、上述の動作モード
の切り換えが行われるようになっている。

【００１３】すなわち、動き検出回路１１０は、上記フ
レームメモリ回路１０８に記憶されている前フレームデ
ータから各動きベクトル毎のブロックデータを生成する
オフセットブロック生成回路１１１と、上記減算回路１
０１に入力される現フィールドのブロックデータ（以下
リファレンスブロックデータという）と、このリファレ
ンスブロックデータの位置を基準として上記フレームメ
モリ回路１０８に記憶されている前フレームから切り出
した各動きベクトル毎のブロックデータ（以下オフセッ
トブロックデータという）との画素毎の差分を求めると
共に、それらの絶対値和を求めて、絶対値和データを生
成する複数のブロック評価回路１２０と、該複数のブロ
ック評価回路１２０からの各絶対値和データの最小値を
選択する最小値選択回路１１２と、該最小値選択回路１
１２で選択された絶対値和データと所定の閾値ＴＨを比
較する比較回路１１３とを備えている。

【００１４】そして、この動き検出回路１１０は、図９
に示すように、減算回路１０に入力されるリファレンス
ブロックデータから、このリファレンスブロックデータ
の位置を基準としてフレームメモリ回路１０８に記憶さ
れている前フレームデータから切り出した各動きベクト
ル毎のオフセットブロックデータをそれぞれ減算し、こ
れらの減算値に基づいて各オフッセトブロックデータの
うち、リファレンスブロックデータに最も近いオフセッ
トブロックデータの動きベクトルを選択して、これを動
き補償回路１０９に供給するようになっている。また、
動き検出回路１１０は、選択された動きベクトルに対応
する減算値に基づいて、フィールド内モードと、フィー
ルド間モード又はフレーム間モードの切換を制御するよ
うになっている。

【００１５】具体的には、オフセットブロック生成回路
１１１は、減算回路１０１に入力されるリファレンスブ
ロックデータの位置を基準としてフレームメモリ回路１
０８に記憶されている前フレームデータからリファレン
スブロックデータに対応する各動きベクトル毎のオフセ
ットブロックデータを作り出して各ブロック評価回路１
２０に供給する。

【００１６】各ブロック評価回路１２０は、上述の図８
に示すように、上記減算回路１０１に入力されるリファ
レンスブロックデータと、上記オフセットブロック生成
回路１１１から供給されるオフセットブロックデータと
の差を演算して差データを生成する減算回路１２１と、
該減算回路１２１からの差データを構成する各画素毎の
値の絶対値和を求める絶対値和回路１２３とそれぞれを
備えており、減算回路１０１に入力されるリファレンス
ブロックデータと、オフセットブロック生成回路１１１
から供給されるオフセットブロックデータとの差データ
を求めると共に、この差データの絶対値和を求め、得ら
れる絶対値和データをそれぞれ最小値選択回路１１２に
供給する。

【００１７】最小値選択回路１１２は、各ブロック評価
回路１２０から供給される各動きベクトル毎の絶対値和
データの値を比較して、最も値が小さい絶対値和データ
を選択し、この絶対値和データに対応する動きベクトル
を動き補償回路１０９に供給する。また、この最小値選
択回路１１２は、選択した絶対値和データを比較回路１
１３に供給する。

【００１８】比較回路１１３は、最小値選択回路１１２
から供給される絶対値和データを所定の閾値ＴＨと比較
して、絶対値和データが閾値ＴＨより大きいときは、切
換スイッチ１１５、１１６をＩＮＴＲＡ側（フィールド
内モード）に切り換え、閾値ＴＨよりも小さいときはＩ
ＮＴＥＲ側（フィールド間モード又はフレーム間モー
ド）に切り換える切換信号を生成する。

【００１９】

【発明が解決しようとする課題】したがって、従来の装
置では、フィールド内モードと、フィールド間モード又
はフレーム間モードとのデータ発生量を直接比較してお
らず、データ発生量を少なくする最適な動作モードへの
切換を行うことができなかった。また、ＤＣＴ変換前に
おける現フレームデータと、前フレームデータとを比較
する動き検出では、これらの差データに対しＤＣＴ変換
処理及び量子化処理を施して得られる符号データが、必
ずしも少ないデータ発生量にはならず、逆に量子化歪み
が大きくなってしまうことがあった。

【００２０】本発明は上述の事情に鑑み、データ発生量
を少なくする最適な動作モード切換をフィールド内モー
ドも含めた評価により行うことができると共に、動きベ
クトル検出と動作モード切換を同一基準により行うこと
ができる画像処理装置を提供することを目的としてい
る。

【００２１】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明による画像処理装置は、画像データをフィ
ールド内又はフレーム内において符号化する第１の動作
モードと、画像データのフィールド間又はフレーム間の
差分を符号化する第２の動作モードとを有し、画像デー
タをＭＣ−ＤＣＴ方式により符号化して符号データを生
成する画像処理装置において、画像データをフィールド
内又はフレーム内において離散余弦変換する第１のＤＣ
Ｔ変換手段と、現フィールド又は現フレームの画像デー
タと、前フィールド又は前フレームの画像データとの差
データを離散余弦変換する第２のＤＣＴ変換手段と、上
記第１のＤＣＴ変換手段と第２のＤＣＴ変換手段からの
各ＤＣＴ出力データに基づいて、上記第１の動作モード
と第２の動作モードを切り換えると共に、動きベクトル
を検出する動き検出手段とを備えることを特徴とする。

【００２２】

【作用】本発明を適用した画像処理装置では、画像デー
タをフィールド内又はフレーム内で離散余弦変換して得
られるＤＣＴ出力データと、現フィールド又は現フレー
ムの画像データと、前フィールド又は前フレームの画像
データとの差データを離散余弦変換して得られるＤＣＴ
出力データとに基づいて、第１の動作モードと第２の動
作モードを切り換えると共に、動きベクトルを検出す
る。

【００２３】

【実施例】以下、本発明に係る画像処理装置の実施例に
ついて図面を参照しながら説明する。この実施例は、例
えば所謂ＣＣＩＲ勧告７２３に準拠した画像処理装置に
本発明を適用したものであり、図１は、この画像処理装
置の回路構成を示すブロック図である。

【００２４】画像処理装置は、図１に示すように、現フ
レームの画像データ（以下現フレームデータという）か
ら切り出されたブロックデータと動き補償を施した前フ
レームデータから切り出されたブロックデータの差デー
タ等を求める減算回路１と、上記現フレームのブロック
データと上記減算回路１からの差データを切り換え選択
する切換スイッチ１５と、該切換スイッチ１５で選択さ
れた現フレームのブロックデータ又は差データを離散余
弦変換（以下ＤＣＴ変換という）してＤＣＴ出力データ
を生成するＤＣＴ回路２と、該ＤＣＴ回路２からのＤＣ
Ｔ出力データを量子化して符号データを生成する量子化
回路３と、該量子化回路３からの符号データを可変長符
号化して可変長符号データを生成し、これを圧縮済みの
データとして出力する可変長符号化回路４とを備えてい
る。

【００２５】さらに、この画像処理装置は、上記量子化
回路３からの符号データを逆量子化してＤＣＴ出力デー
タを再生する逆量子化回路５と、該逆量子化回路５から
のＤＣＴ出力データを逆離散余弦変換（以下逆ＤＣＴ変
換という）して現フレームのブロックデータ又は差デー
タを再生する逆ＤＣＴ回路６と、該逆ＤＣＴ回路６から
の差データと動き補償を施した前フレームのブロックデ
ータを加算して現フレームのブロックデータを再生する
加算回路７と、上記逆ＤＣＴ回路６からの現フレームの
ブロックデータと上記加算回路７からの現フレームのブ
ロックデータを切り換え選択する切換スイッチ１６と、
該切換スイッチ１６で選択された現フレームのブロック
データを記憶すると共に、上記減算回路１に次フレーム
のブロックデータが入力されたとき、記憶している現フ
レームのデータを前フレームデータとして出力するフレ
ームメモリ回路８と、上記減算回路１に入力されている
現フレームのブロックデータと、このブロックデータと
前フレームのブロックデータの差データをＤＣＴ変換
し、各ＤＣＴ出力データに基づいて、動きベクトルを生
成すると共に、動作モードを切り換える動き検出回路１
０と、該動き検出回路１０からの動きベクトルに基づい
て上記フレームメモリ回路８からの前フレームデータに
対し動き補償を施して動き補償済みのブロックデータを
生成し、これを上記減算回路１と加算回路７に供給する
動き補償回路９とを備えている。

【００２６】そして、この画像処理装置は、フィールド
内モード、フィールド間モード及びフレーム間モードの
３つの動作モードを有し、フィールド内モードではフィ
ールド内の画素値（輝度信号、色差信号）を、フィール
ド間モードでは画素のフィールド間予測誤差値を、フレ
ーム間モードでは画素の動き補償フレーム間予測誤差値
を選択し、例えば８画素×８画素からなるブロックデー
タを２次元のＤＣＴ変換し、得られるＤＣＴ出力データ
を量子化、可変長符号化して伝送するようになってい
る。

【００２７】例えばフィールド内モードでは、現フィー
ルドの例えば８画素×８画素からなるブロックデータが
供給されると、このブロックデータにＤＣＴ変換処理、
量子化処理、可変長符号化処理を順次施して、現フィー
ルドのブロックデータを圧縮し、この圧縮処理によって
得られた可変長符号データを、例えばバッファメモリ
（図示せず）に一旦記憶し、記憶した可変長符号データ
を一定レートで読み出して出力するようになっている。

【００２８】また、例えばフィールド間モードでは、現
フィールドのブロックデータが供給されると、このブロ
ックデータと前フィールドの対応するブロックデータ
（現フィールドと前フィールドの間では垂直方向に１ラ
イン分ずれているので、例えば上下のラインの平均値を
用いる）の差データを生成した後、この差データに対し
ＤＣＴ変換処理、量子化処理、可変長符号化処理を順次
施して、この圧縮処理によって得られた可変長符号デー
タをバッファメモリを介して出力するようになってい
る。

【００２９】また、例えばフレーム間モードでは、現フ
ィールドのブロックデータが供給されると、このブロッ
クデータと、前フレームデータとに基づいて最適な動き
ベクトルを選択して、この動きベクトルに基づき前フレ
ームデータに対して動き補償を施すと共に、動き補償済
みのブロックデータと現フィールドのブロックデータの
差データを生成した後、この差データに対しＤＣＴ変換
処理、量子化処理、可変長符号化処理を順次施して、現
フィールドのブロックデータを圧縮し、この圧縮処理に
よって得られた可変長符号データをバッファメモリを介
して出力するようになっている。

【００３０】具体的には、減算回路１は、フィールド間
モードでは、例えば８画素×８画素からなるブロック単
位で新たなフィールドのブロックデータ（現ブロックデ
ータ）が供給される毎に、この現ブロックデータと動き
補償回路９を介してフレームメモリ回路８から供給され
る前フィールドのブロックデータを画素単位で比較して
８画素×８画素からなる差データを求め、これをＤＣＴ
回路２に供給する。また、フレーム間モードでは、ブロ
ック単位で現ブロックデータが供給される毎に、この現
ブロックデータと動き補償回路９から供給される動き補
償が施された前フレームのブロックデータを画素単位で
比較して８画素×８画素からなる差データを求め、これ
をＤＣＴ回路２に供給する。

【００３１】切換スイッチ１５、１６は、動き検出回路
１０により制御され、切換スイッチ１５は、フィールド
内モードではＩＮＴＲＡ側に、フィールド間モード及び
フレーム間モードではＩＮＴＥＲ側に切り換わり、現フ
ィールドのブロックデータ（フィールド内の画素値）、
現フィールドのブロックデータと前フィールドのブロッ
クデータの差データ（フィールド間予測誤差値）又は現
フィールドのブロックデータと動き補償された前フレー
ムの対応するフィールドのブロックデータ（動き補償フ
レーム間予測誤差値）を選択する。

【００３２】そして、ＤＣＴ回路２は、切換スイッチ１
５で選択された８画素×８画素からなるブロックデータ
（フィールド内の画素値、フィールド間予測誤差値又は
動き補償フレーム間予測誤差値）をＤＣＴ変換する。例
えばフィールド内モードでは、ＤＣＴ回路２は、切換ス
イッチ１５で新たなフィールドのブロックデータが選択
されたとき、これをＤＣＴ変換して８係数×８係数から
なるＤＣＴ出力データを生成し、これを量子化回路３に
供給する。また、例えばフィールド間モードでは、ＤＣ
Ｔ回路２は、減算回路１からフィールド間のブロック単
位の差データが選択されたとき、これをＤＣＴ変換して
差データに対応する８係数×８係数からなるＤＣＴ出力
データを生成し、これを量子化回路３に供給する。ま
た、例えばフレーム間モードでは、ＤＣＴ回路２は、減
算回路１からフレーム間のブロック単位の差データが選
択されたとき、これをＤＣＴ変換して差データに対応す
る８係数×８係数からなるＤＣＴ出力データを生成し、
これを量子化回路３に供給する。

【００３３】量子化回路３は、例えば輝度信号に対する
２ブロックと色差信号に対する２ブロック（Ｃｒ、Ｃｂ
の各１ブロック）からなる所謂マクロブロック毎の符号
化難易度を示す所謂クリティカリティｍと、４５マクロ
ブロックからなるブロックストライプ毎のバッファ占有
度に相当する所謂伝送ファクタｆとに基づいて、ＤＣＴ
出力データに各係数毎に異なった重み付けをして量子化
し、符号データを生成する。

【００３４】具体的には、量子化回路３は、例えば図２
に示すように、上記ＤＣＴ回路２からのＤＣＴ出力デー
タに重み付けする重み付け回路３１ａと、該重み付け回
路３１ａからの重み付けされたＤＣＴ出力データを準線
形的に量子化する非線形量子化回路３１ｂとを備える。

【００３５】さらに、重み付け回路３１ａは、同じく図
２に示すように、この画像処理装置全体を制御する符号
化制御回路（図示せず）から供給される輝度信号と色差
信号を識別するＹ／Ｃ信号、及びＤＣＴ出力データを構
成する各係数の位置を識別する位置情報（ｋ，ｌ）に基
づいて、所謂視感度特性の初期値Ｐ₀(k,l)を発生する初
期値発生回路４０と、上記符号化制御回路から供給され
るマクロブロック毎のクリティカリティｍに基づいて、
変換値Ｔｒ(m) を生成する変換回路４１と、上記初期値
発生回路４０からの視感度特性の初期値Ｐ₀(k,l)に上記
変換回路４１からの変換値Ｔｒ(m) を加算する加算回路
４２と、上記クリティカリティｍに基づいて閾値Ｔｈ
(m) を生成する閾値生成回路４３と、上記加算回路４２
からの変換値Ｔｒ(m) が加算された視感度特性（Ｐ₀(k,
l)＋Ｔｒ(m) ）を、上記閾値生成回路４３からの閾値Ｔ
ｈ(m) 以下となるように制限して、視感度特性Ｐ(k,l,
m) を出力するリミッタ回路４４と、該リミッタ回路４
４からの視感度特性Ｐ(k,l,m)を２倍した後、４８を減
算し、得られる値が上記符号化制御回路から供給される
ブロックストライプ毎の伝送ファクタｆ以下となるよう
に制限するリミッタ回路４５と、該リミッタ回路４５の
出力に上記伝送ファクタｆを加算する加算回路４６と、
該加算回路４６の出力（ｑ(k,l,m,f) ）が０以上となる
ように制限するリミッタ回路４７と、上記符号化制御回
路から供給されるＤＣＴ出力データを構成する係数の所
謂ＤＣ成分（ｋ、ｌ＝０）とＡＣ成分（ｋ、ｌ≠０）を
識別するＤＣ／ＡＣ信号に基づいて、上記リミッタ回路
４７の出力（ｎ’(k,l,m,f) ）をＤＣ成分とＡＣ成分と
でそれぞれ所定の閾値以下となるように制限して、所謂
スケール制御パラメータｎ(k,l,m,f) を出力するリミッ
タ回路４８と、該リミッタ回路４８からのスケール制御
パラメータｎ(k,l,m,f) に基づいて、所謂伝送閾値Ｓ
（＝２^{n(k,l,m,f)/16}）を求めると共に、上記ＤＣＴ回
路２から供給されるＤＣＴ出力データを２倍した後、こ
の伝送閾値Ｓで割る演算回路４９とを備える。

【００３６】そして、初期値発生回路４０は、符号化制
御回路から供給されるＹ／Ｃ信号及び位置情報（ｋ，
ｌ）に基づいて、例えば輝度信号に対して、下記表１に
示すように、水平及び垂直方向の低域成分ほど小さな値
となる視感度特性の初期値Ｐ₀(k,l)を発生し、この初期
値Ｐ₀(k,l)を加算回路４２に供給する。

【００３７】

【表１】

【００３８】一方、変換回路４１は、符号化制御回路か
ら供給される例えば２ビット（すなわち４段階）からな
るクリティカリティｍに基づいて、例えば、ｍ＝０のと
きは８であって、ｍ＝１のときは２であって、ｍ＝２又
は３のときは０である変換値Ｔｒ(m) を生成し、この変
換値Ｔｒ(m) を加算回路４２に供給する。

【００３９】加算回路４２は、初期値発生回路４０から
供給される視感度特性の初期値Ｐ₀(k,l)に、変換回路４
１から供給される変換値Ｔｒ(m) を加算し、この変換値
Ｔｒ(m) が加算された視感度特性（Ｐ₀(k,l)＋Ｔｒ(m)
）をリミッタ回路４４に供給する。

【００４０】閾値生成回路４３は、符号化制御回路から
供給されるクリティカリティｍに基づいて、例えば、ｍ
＝２のときは３４であって、ｍ＝３のときは２４であっ
て、ｍ＝０又は１のときはリミッタがかからない十分に
大きな値（例えば５３以上）である閾値Ｔｈ(m) を生成
し、この閾値Ｔｈ(m) をリミッタ回路４４に供給する。

【００４１】リミッタ回路４４は、加算回路４２から供
給される変換値Ｔｒ(m) が加算された視感度特性（Ｐ
₀(k,l)＋Ｔｒ(m) ）を、閾値生成回路４３から供給され
る閾値Ｔｈ(m) 以下となるように制限して、ｍ＝０のと
きは、例えば下記表２に示すように５２以下であって、
水平及び垂直方向の低域成分ほど小さな値となる視感度
特性Ｐ(k,l,m) を出力し、ｍ＝１のときは、例えば下記
表３に示すように４６以下であって、水平及び垂直方向
の低域成分ほど小さな値となる視感度特性Ｐ(k,l,m) を
出力し、ｍ＝２のときは、例えば下記表４に示すように
３４以下であって、水平及び垂直方向の低域成分ほど小
さな値となる視感度特性Ｐ(k,l,m) を出力し、ｍ＝３の
ときは、例えば下記表５に示すように２４以下であっ
て、水平及び垂直方向の低域成分ほど小さな値となる視
感度特性Ｐ(k,l,m) を出力する。

【００４２】

【表２】

【００４３】

【表３】

【００４４】

【表４】

【００４５】

【表５】

【００４６】リミッタ回路４５は、リミッタ回路４４か
ら供給される視感度特性Ｐ(k,l,m)を２倍した後、４８
を減算すると共に、得られる値が、符号化制御回路から
供給される例えば１７６段階からなる伝送ファクタｆ以
下となるように制限する。

【００４７】加算回路４６は、リミッタ回路４５の出力
に伝送ファクタｆを加算し、得られる加算値（ｑ(k,l,
m,f) ）をリミッタ回路４７に供給する。

【００４８】リミッタ回路４７は、加算回路４６の出力
（ｑ(k,l,m,f) ）が、０以上となるように制限し、得ら
れる値（ｎ’(k,l,m,f) ）をリミッタ回路４８に供給す
る。

【００４９】リミッタ回路４８は、符号化制御回路から
供給されるＤＣ／ＡＣ信号に基づいて、リミッタ回路４
７の出力（ｎ’(k,l,m,f) ）を、ＤＣ成分に対応すると
きは４８以下となるように制限すると共に、ＡＣ成分に
対応するときは１７５以下となるように制限して、スケ
ール制御パラメータｎ(k,l,m,f) を生成し、このスケー
ル制御パラメータｎ(k,l,m,f) を演算回路４９に出力す
る。

【００５０】演算回路４９は、リミッタ回路４８から供
給されるスケール制御パラメータｎ(k,l,m,f) に基づい
て、伝送閾値Ｓ（＝２^{n(k,l,m,f)/16}）を求めると共
に、ＤＣＴ回路２から供給されるＤＣＴ出力データの各
係数を２倍した後、各伝送閾値Ｓでそれぞれ割ることに
よって、ＤＣＴ出力データを重み付けする。すなわち、
ＤＣＴ出力データの各係数をＺ(k,l) とすると、下記式
１に示す演算式により、ＤＣＴ出力データの各係数の相
対値Ｃ(k,l) を求める。

【００５１】Ｃ(k,l) ＝２Ｚ(k,l) ／Ｓ＝２Ｚ(k,l) ／２^{n(k,l,m,f)/16}・・・式１

【００５２】非線形量子化回路３１ｂは、ＤＣＴ出力デ
ータの各係数の相対値Ｃ(k,l) に対して、例えば下記表
６に示すように、値が２５５以下では線形であって、２
５６〜５１１では２ステップの線形であって、５１２〜
１０２３では４ステップの線形であって、１０２４〜２
０４７では８ステップの線形である準線形量子化を行
い、得られる符号データＣ’(k,l) を可変長符号化回路
４と逆量子化回路５に供給する。

【００５３】

【表６】

【００５４】絶対値和回路２３は、これらの符号データ
Ｃ’(k,l) の絶対値和データを求めてこれを最小値選択
回路１２に供給する。最小値選択回路１２は、各ブロッ
ク評価回路３０から供給される各動きベクトル毎の絶対
値和データの値を比較して、最も値が小さい絶対値和デ
ータを選択すると共に、この選択動作によって得られた
絶対値和データに対応する動きベクトルを動き補償回路
９に供給する。

【００５５】動き補償回路９は、動き検出回路１０から
供給される動きベクトルに基づいてフレームメモリ回路
８から供給されるフレームデータを動き補償処理し、こ
の処理によって得られた動き補償済みのブロックデータ
を減算回路１と加算回路７に供給する。

【００５６】一方、色差信号の量子化処理では、初期値
発生回路４０は、Ｙ／Ｃ信号及び各係数の位置情報
（ｋ，ｌ）に基づいて、例えば下記表７に示すような視
感度特性の初期値Ｐ₀(k,l)を発生するようになってい
る。

【００５７】

【表７】

【００５８】また、閾値生成回路４３は、符号化制御回
路から供給されるクリティカリティｍに基づいて、例え
ば、ｍ＝２のときは１６であって、ｍ＝３のときは９で
あって、ｍ＝０又は１のときはリミッタがかからない十
分に大きな値（例えば３４以上）である閾値Ｔｈ(m) を
生成するようになっている。

【００５９】そして、リミッタ回路４４は、加算回路４
２から供給される変換値Ｔｒ(m) が加算された視感度特
性（Ｐ₀(k,l)＋Ｔｒ(m) ）を、閾値生成回路４３から供
給される閾値Ｔｈ(m) 以下となるように制限して、ｍ＝
０のときは、例えば下記表８に示すように３４以下とな
る視感度特性Ｐ(k,l,m) を出力し、ｍ＝１のときは、例
えば下記表９に示すように２８以下となる視感度特性Ｐ
(k,l,m) を出力し、ｍ＝２のときは、例えば下記表１０
に示すように１６以下となる視感度特性Ｐ(k,l,m) を出
力し、ｍ＝３のときは、例えば下記表１１に示すように
９以下となる視感度特性Ｐ(k,l,m) を出力するようにな
っている。

【００６０】

【表８】

【００６１】

【表９】

【００６２】

【表１０】

【００６３】

【表１１】

【００６４】なお、量子化回路１０を、例えば図３に示
すように、所謂リードオンリメモリ（ＲＯＭ）で構成
し、このＲＯＭにＤＣＴ出力データを符号データに変換
するテーブルを予め記憶しておき、ＤＣＴ出力データの
各係数の値Ｚ(k,l) 、各係数の位置情報（ｋ，ｌ）等を
アドレスとして、符号データを読み出すようにしてもよ
い。

【００６５】可変長符号化回路４は、このようにして得
られる符号データに例えば所謂ハフマン符号化及びラン
レングス符号化を施して、可変長符号データを生成す
る。そして、上述したバッファメモリにおいて平滑化さ
れた可変長符号データに、動作モード、動きベクトル、
クリティカリティｍ、伝送ファクタｆ、誤り訂正符号、
音声データ等が多重化され、所定のチャンネルフレーム
構成で伝送される。この結果、例えば水平・垂直ブラン
キング期間を除いた有効画素のソースビットレートが約
１７０Ｍｂｐｓである所謂４：２：２コンポーネントテ
レビ信号が３２〜４５Ｍｂｐｓに圧縮されて伝送され
る。

【００６６】一方、逆量子化回路５は、量子化回路３か
ら供給される符号データを逆量子化し、この逆量子化処
理によって得られた８係数×８係数からなるＤＣＴ出力
データを逆ＤＣＴ回路６に供給する。

【００６７】逆ＤＣＴ回路６は、逆量子化回路５から供
給されるＤＣＴ出力データを逆ＤＣＴ変換して、例えば
フィールド内モードでは、減算回路１に入力されている
現フレームのブロックデータと対応するブロックデー
タ、すなわち現フレームのブロックデータに量子化歪み
が付加されたブロックデータを生成し、このブロックデ
ータを切換スイッチ１６を介してフレームメモリ回路８
に供給する。一方、フィールド間モード及びフレーム間
モードでは、減算回路１の出力に対応した差データ、す
なわち量子化歪みが付加された差データを生成し、この
差データを加算回路７に供給する。

【００６８】加算回路７は、例えばフィールド間モード
では、逆ＤＣＴ回路６から供給される差データと、動き
補償回路９を介して供給される前フィールドのブロック
データとを加算して減算回路１に入力されている現フィ
ールドのブロックデータと対応するブロックデータ、す
なわち量子化歪みが付加されたブロックデータを生成
し、これを切換スイッチ１６を介してフレームメモリ回
路８に供給する。また、フレーム間モードでは、逆ＤＣ
Ｔ回路６から供給される差データと、動き補償回路９か
ら供給される動き補償済みの前フレームのブロックデー
タとを加算して減算回路１に入力されている現フレーム
のブロックデータと対応するブロックデータ、すなわち
量子化歪みが付加されたブロックデータを生成し、これ
を切換スイッチ１６を介してフレームメモリ回路８に供
給する。

【００６９】切換スイッチ１６は、上述のしたように動
き検出回路１０によって制御され、フィールド内モード
では逆ＤＣＴ回路６の出力を選択し、フィールド間モー
ド及びフレーム間モードでは加算回路７の出力を選択す
る。

【００７０】フレームメモリ回路８は、切換スイッチ１
６を介してブロックデータが供給される毎に、これを取
り込んで現フレームに対応するデータを構築して記憶す
ると共に、減算回路１に次フレームのブロックデータが
入力されたとき、記憶しているフレームデータを前フレ
ームデータとして動き検出回路１０と動き補償回路９に
供給する。

【００７１】動き検出回路１０は、例えば図４に示すよ
うに、上記フレームメモリ回路８に記憶されている前フ
レームデータから各動きベクトル毎のブロックデータを
生成するオフセットブロック生成回路１１と、上記減算
回路１に入力される現フィールドのブロックデータ（以
下リファレンスブロックデータという）をＤＣＴ変換す
ると共に、得られるＤＣＴ出力データを構成する各係数
の絶対値和を求めて、絶対値和データを生成する第１の
ＤＣＴ変換回路１０ａと、上記リファレンスブロックデ
ータと、このリファレンスブロックデータの位置を基準
として上記フレームメモリ回路８に記憶されている前フ
レームから切り出した各動きベクトル毎のブロックデー
タ（以下オフセットブロックデータという）との画素毎
の差分を求め、該差分をＤＣＴ変換すると共に、それら
の絶対値和を求めて、動きベクトル毎の各ＤＣＴ出力デ
ータの絶対値和データを生成する第２のＤＣＴ変換回路
１０ｂと、上記第１のＤＣＴ変換回路１０ａと第２のＤ
ＣＴ変換回路１０ｂからの各絶対値和データに基づい
て、動きベクトル及び動作モードを切り換える切換信号
を生成する最小値選択回路１２とを備えている。

【００７２】そして、この動き検出回路１０は、減算回
路１に入力される現フィールドの例えば８画素×８画素
からなるリファレンスブロックデータと、このリファレ
ンスブロックデータの位置を基準としてフレームメモリ
回路８に記憶されている前フレームから切り出した各動
きベクトル毎のオフセットブロックデータとの差データ
をＤＣＴ変換し、これらの変換処理によって得られる８
係数×８係数からなる各ＤＣＴ出力データに基づいて、
現フィールドのブロックデータと各動きベクトル毎のオ
フセットブロックデータのうち、ＤＣＴ出力データを構
成する各係数の絶対値和である絶対値和データが最小と
なるオフセットブロックデータの動きベクトルを選択し
てこれを動き補償回路９に供給するようになっている。
また、この動き検出回路１０は、リファレンスブロック
データをＤＣＴ変換し、得られるＤＣＴ出力データと、
上述の選択された動きベクトルに対応するＤＣＴ出力デ
ータとを比較して、フィールド内モードと、フィールド
間モード又はフレーム間モードとを切り換える切換信号
を生成し、この切換信号により切換スイッチ１５、１６
を制御するようになっている。

【００７３】具体的には、第１のＤＣＴ変換回路１０ａ
は、上述の図４に示すように、上記減算回路１に入力さ
れるリファレンスブロックデータをＤＣＴ変換するＤＣ
Ｔ回路３２と、該ＤＣＴ回路３２から供給されるＤＣＴ
出力データを構成する各係数の絶対値和を演算して絶対
値和データを生成する絶対値和回路３３とを備え、リフ
ァレンスブロックデータをＤＣＴ変換すると共に、得ら
れるＤＣＴ出力データの各係数の絶対値和を求め、得ら
れる絶対値和データを最小値選択回路１２に供給する。

【００７４】オフセットブロック生成回路１１は、減算
回路１に入力される現フィールドのリファレンスブロッ
クデータの位置を基準としてフレームメモリ回路８に記
憶されている前フレームデータからリファレンスブロッ
クデータに対応する各動きベクトル毎のオフセットブロ
ックデータを切り出して第の動き検出回路１０ｂに供給
する。

【００７５】第２のＤＣＴ変換回路１０ｂは、複数のブ
ロック評価回路２０から構成される。各ブロック評価回
路２０は、上述の図４に示すように、上記減算回路１に
入力されるリファレンスブロックデータと、上記オフセ
ットブロック生成回路１１から供給されるオフセットブ
ロックデータとの差を演算して８画素×８画素からなる
差データを生成する減算回路２１と、該減算回路２１か
らの差データをＤＣＴ変換してＤＣＴ出力データを生成
するＤＣＴ回路２２と、該ＤＣＴ回路２２から供給され
るＤＣＴ出力データを構成する各係数の絶対値和を演算
して絶対値和データを生成する絶対値和回路２３とを備
えており、減算回路２１に入力されるリファレンスブロ
ックデータと、オフセットブロック生成回路１１から供
給されるオフセットブロックデータとの差データを求め
ると共に、差データをＤＣＴ変換してＤＣＴ出力データ
を生成した後、ＤＣＴ出力データの絶対値和データを求
めて、これを最小値選択回路１２にそれぞれ供給する。

【００７６】最小値選択回路１２は、各ブロック評価回
路２０から供給される各動きベクトル毎の絶対値和デー
タの値を比較して、最も値が小さい絶対値和データを選
択し、この絶対値和データに対応する動きベクトルを動
き補償回路９に供給する。また、この最小値選択回路１
２は、第１のＤＣＴ変換回路１０ａから供給されるリフ
ァレンスブロックデータに対する絶対値和データと、上
述の選択された絶対値和データを比較して、第１のＤＣ
Ｔ変換回路１０ａからの絶対値和データが小さいとき
は、切換スイッチ１５、１６をＩＮＴＲＡ側（フィール
ド内モード）に切り換え、大きいときはＩＮＴＥＲ側
（フィールド間モード又はフレーム間モード）に切り換
える切換信号を生成する。

【００７７】すなわち、リファレンスブロックデータ
と、このリファレンスブロックデータと動きベクトル毎
のオフセットブロックの差データとをＤＣＴ変換し、得
られる各ＤＣＴ出力データの絶対値和を求めて、これら
を比較することにより、フィールド内モード（リファレ
ンスブロックデータをＤＣＴ変換したとき）のデータ発
生量と、フィールド間モード又はフレーム間モード（リ
ファレンスブロックデータとオフセットブロックの差デ
ータをＤＣＴ変換したとき）のデータ発生量を直接比較
することができ、フィールド内モードでのデータ発生量
が少ないときは、フィールド内モード（切換スイッチ１
５、１６をＩＮＴＲＡ側）とすることができ、フィール
ド間モード又はフレーム間モードでのデータ発生量が少
ないときは、フィールド間モード又はフレーム間モード
（切換スイッチ１５、１６をＩＮＴＥＲ側）とすること
ができる。換言すると、フィールド内モードも考慮した
最適な動作モード切換を行うことができる。

【００７８】動き補償回路９は、動き検出回路１０から
供給される動きベクトルに基づいてフレームメモリ回路
８から供給されるフレームデータを動き補償処理し、こ
の処理によって得られた動き補償済みのブロックデータ
を減算回路１と加算回路７に供給する。

【００７９】かくして、動き検出回路１０において、減
算回路１に入力される現フレームのブロックデータ（リ
ファレンスブロックデータ）と、このリファレンスブロ
ックデータの位置を基準としてフレームメモリ回路８に
記憶されている前フレームデータから切り出した各動き
ベクトル毎のブロックデータ（オフセットブロックデー
タ）とに基づいて動きベクトルを検出する際に、リファ
レンスブロックデータと各動きベクトル毎のオフセット
ブロックデータの差データをそれぞれ求め、これらの差
データをＤＣＴ変換して得られる各ＤＣＴ出力データの
絶対値和を比較して、ＤＣＴ出力データの絶対値和が最
小となるブロックデータの動きベクトルを選択するよう
にしているので、ＤＣＴ回路２から出力されるＤＣＴ出
力データのデータ発生量を少なくするのに最適な動きベ
クトルを選択することができ、これによって最終的に得
られる符号データのデータ発生量や圧縮歪みを、従来の
装置に比して小さくすることができる。また、リファレ
ンスブロックデータをＤＣＴ変換して得られるＤＣＴ出
力データの絶対値和と、リファレンスブロックデータと
各動きベクトル毎のオフセットブロックデータの差デー
タをＤＣＴ変換して得られるＤＣＴ出力データの絶対値
和とに基づいて、フィールド内モードと、フィールド間
モード又はフレーム間モードとの切換を行うことによ
り、フィールド内モードも考慮した最適な動作モード切
換を行うことができる。また、動きベクトル検出と動作
モード切換を同一基準で行うことができる。

【００８０】つぎに、上述のようにして圧縮されたコン
ポーネントテレビ信号を再生する受信装置は、例えば図
５に示すように受信される可変長符号データを復号化し
て符号データを再生する可変長復号化回路６１と、該可
変長復号化回路６１からの符号データを逆量子化してＤ
ＣＴ出力データを再生する逆量子化回路６２と、該逆量
子化回路６２からのＤＣＴ出力データを逆ＤＣＴ変換し
てブロックデータ又は差データを再生する逆ＤＣＴ回路
６３と、該逆ＤＣＴ回路６３からの差データと前フィー
ルド又は前フレームのブロックデータを加算してブロッ
クデータを再生する加算回路６４と、上記逆ＤＣＴ回路
６３の出力と加算回路６４の出力を切り換え選択する切
換スイッチ６５と、前フレームデータを記憶しているフ
レームメモリ回路６６と、該フレームメモリ回路６６に
記憶されている前フレームデータに動き補償を加える動
き補償回路６７とを備える。

【００８１】そして、可変長復号化回路６１は、受信さ
れる可変長符号データを復号化して符号データを再生
し、逆量子化回路６２は、受信されるクリティカリティ
ｍ、伝送ファクタｆ等に基づいて、符号データを逆量子
化してＤＣＴ出力データを再生する。逆ＤＣＴ回路６３
は、ＤＣＴ出力データを逆ＤＣＴ変換してブロックデー
タ（フィールド内の画素値、フィールド間予測誤差値又
は動き補償フレーム間予測誤差値）を再生する。切換ス
イッチ６５は、受信される動作モードに従って制御さ
れ、フィールド内モードではＩＮＴＲＡ側に、フィール
ド間モード及びフレーム間モードではＩＮＴＥＲ側に切
り換わる。この結果、切換スイッチ６５からは、フィー
ルド内モードではフィールド内の画素値が出力され、フ
ィールド間モードではフレームメモリ回路６６に記憶さ
れている前フィールドの上下ライン上の画素値の平均値
とフィールド間予測誤差値が加算されて出力され、フレ
ーム間モードではフレームメモリ回路６６に記憶されて
いる前フレームの画素値に動き補償が施されると共に、
フィールド間予測誤差値が加算されて出力される。

【００８２】なお、本発明は上述の実施例に限定される
ものではなく、例えば、上述の図４に示す動き検出回路
１０では、ＤＣＴ回路２から出力されるＤＣＴ出力デー
タのデータ発生量が最小となる動作モードの切り換え及
び動き補償を行うことによって、符号データのデータ発
生量を従来の装置に比して少なくしているので、ＤＣＴ
出力データを量子化して得られる符号データのデータ発
生量が最小とはならないことがある。そこで、例えば図
６に示すように、第１のＤＣＴ変換回路１０ａのＤＣＴ
回路３２と絶対値和回路３３の間に、上述の図１に示す
量子化回路３と同等の量子化特性を有する量子化回路３
４を追加し、各ブロック評価回路２０のＤＣＴ回路２２
と絶対値和回路２３の間に、同じ量子化特性を有する量
子化回路２４を追加するようにしてもよい。この場合、
量子化回路４から出力される符号データを少なくするの
に最適な動きベクトルを選択することができ、上述の実
施例よりもさらに、符号データのデータ発生量や圧縮歪
みを小さくすることができる。

【００８３】また、例えば、上述した実施例において
は、フレーム間でのＭＣ−ＤＣＴ方式による圧縮に対し
て本発明を適用するようにしているが、フィールド間で
のＭＣ−ＤＣＴ方式による圧縮や他の画像圧縮等に対し
て本発明を適用するようにしても良い。

【００８４】

【発明の効果】以上の説明で明らかなように、本発明を
適用した画像処理装置では、画像データをフィールド内
又はフレーム内で離散余弦変換して得られるＤＣＴ出力
データと、現フィールド又は現フレームの画像データ
と、前フィールド又は前フレームの画像データとの差デ
ータを離散余弦変換して得られるＤＣＴ出力データとに
基づいて、第１の動作モードと第２の動作モードを切り
換えると共に、動きベクトルを検出することにより、符
号データのデータ発生量や圧縮歪みを従来の装置に比し
て小さくすることができると共に、第１の動作モードも
考慮した最適な動作モード切換を行うことができる。ま
た、動きベクトル検出と動作モード切換を同一基準で行
うことができる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施例の回
路構成を示すブロック図である。

【図２】上記画像処理装置を構成する量子化回路の具体
的な回路構成を示すブロック図である。

【図３】上記画像処理装置を構成する量子化回路の他の
具体的な回路構成を示すブロック図である。

【図４】上記画像処理装置を構成する動き検出回路の具
体的な回路構成を示すブロック図である。

【図５】受信装置の構成例を示すブロック図である。

【図６】上記画像処理装置を構成する動き検出回路の他
の具体的な回路構成を示すブロック図である。

【図７】従来の画像処理装置の回路構成を示すブロック
図である。

【図８】従来の画像処理装置に用いられている動き検出
回路の回路構成を示すブロック図である。

【図９】動き検出回路の動作を説明するための前フレー
ムと現フレームの関係を示す図である。

【符号の説明】

１・・・減算回路２・・・ＤＣＴ回路３・・・量子化回路５・・・逆量子化回路６・・・逆ＤＣＴ回路７・・・加算回路８・・・フレームメモリ回路９・・・動き補償回路１０・・・動き検出回路１５、１６・・・切換スイッチ１０ａ・・・第１のＤＣＴ変換回路１０ｂ・・・第２のＤＣＴ変換回路１１・・・オフセットブロック生成回路１２・・・最小値選択回路２０・・・ブロック評価回路２１・・・減算回路２２、３２・・・ＤＣＴ回路２３、３３・・・絶対値和回路

Claims

【特許請求の範囲】

【請求項１】画像データをフィールド内又はフレーム
内において符号化する第１の動作モードと、画像データ
のフィールド間又はフレーム間の差分を符号化する第２
の動作モードとを有し、画像データをＭＣ−ＤＣＴ方式
により符号化して符号データを生成する画像処理装置に
おいて、画像データをフィールド内又はフレーム内において離散
余弦変換する第１のＤＣＴ変換手段と、現フィールド又は現フレームの画像データと、前フィー
ルド又は前フレームの画像データとの差データを離散余
弦変換する第２のＤＣＴ変換手段と、上記第１のＤＣＴ変換手段と第２のＤＣＴ変換手段から
の各ＤＣＴ出力データに基づいて、上記第１の動作モー
ドと第２の動作モードを切り換えると共に、動きベクト
ルを検出する動き検出手段とを備えることを特徴とする
画像処理装置。