JP3204952B2

JP3204952B2 - 画像処理装置及びその方法

Info

Publication number: JP3204952B2
Application number: JP16257999A
Authority: JP
Inventors: 満大和田; 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-06-09
Filing date: 1999-06-09
Publication date: 2001-09-04
Anticipated expiration: 2016-09-04
Also published as: JP2000032453A

Description

【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は画像処理装置及びそ
の方法に関し、特に高能率符号化された画像信号の復号
処理に関するものである。【０００２】【従来の技術】従来から、符号化方式の一つとして、例
えばテレビジョン信号の高能率符号化方式が知られてい
る。このテレビジョン信号高能率符号化方式では、伝送
帯域を狭くする必要性から、１画素当りの平均ビット数
を小さくする所謂MIN-MAX 法が採られている。以下、こ
のMIN-MAX 法について説明する。【０００３】テレビジョン信号は強い時空間の相関を有
している。そして、画像を微小なブロックに分割する
と、各ブロックは局所的相関により、小さなダイナミッ
クレンジしか持たないことが多い。従って、各ブロック
でダイナミックレンジを求め、適応的に符号化すること
により非常に効率の良い圧縮ができることになる。【０００４】そこで、この符号化について具体的に図面
を参照して、説明していく。【０００５】図３は、従来技術の一例としての画像情報
伝送システムの概略構成を示す図である。図中の301 は
入力端子であり、例えばテレビジョン信号等のラスター
スキャンされたアナログ画像信号を所定の周波数で標本
化し、１サンプル当りｎビットのデータにディジタル化
されたディジタル画像データが入力される。この2ⁿ階調
のディジタル画像データは、画素ブロック分割回路302
に供給される。【０００６】図４は、１画面分の全画素データを画素ブ
ロックに分割する様子を示す図である。画素ブロック分
割回路302 においては、いったん一画面分の全画素デー
タをメモリ等に記憶し、図４に示すように、水平方向
（以下、Ｈ方向と称す）にｌ（小文字のエル）画素、垂
直方向（以下、Ｖ方向と称す）にｍ画素の（ｌ×ｍ）個
の画素より構成される画素ブロック単位で画素データを
読み出す。即ち、この各画素ブロックのデータ毎に出力
が行われる。【０００７】図５は、各画素ブロックの構成を示す。図
中、D_1,1〜D_m,lは各画素データを示している。画素ブロ
ック分割回路302 より出力される画像データは最大値検
出部303 ，最小値検出部304 ならびにタイミング調整部
305 に入力される。これによって各画素ブロック内の全
画素データ（D_1,1〜D_m,l）中、最大値を有するもの(D
_max)と最小値を有するもの( D_min )が検出部303,304 に
より検出され、出力される。【０００８】一方、タイミング調整部305 においては最
大値検出部303 並びに最小値検出部304 でD_max,D_min を
検出するのに必要な時間だけ、全画素データを遅延さ
せ、各画素ブロック毎に予め定められた順序で画素デー
タを分割値変換部306 に送出する。例えば、各画素ブロ
ック毎にD_1,1，D_2,1，D_3,1，…，D_m,l，D_1,2，…，D_m,₂
_,…， D_1,(l-1) ，… ，D_m,(l-1)，D_1,l _,…，D_m,l
という具合に送出する。【０００９】このようにして各画素ブロック内の全画素
データ（D_1,1〜D_m,l）及びこれらの最大値(D_max)及び最
小値(D_min)は分割値変換部306 に入力され、各画素デー
タについて、D_maxとD_minの間を2^k分割した量子化レベル
と比較されたｋビットの分割符号（Δ_1,1 〜Δ_m,l ) を
得る。ここでｋはｎより小さい整数であり、その量子化
の様子を図６(a) に示す。【００１０】図６(a) にて示したようにΔ_i,j はｋビッ
トの２値符号として出力される。このようにして得たｋ
ビットの分割符号Δ_i,j 及びｎビットのD_max及びD_minは
それぞれパラレル−シリアル(P-S) 変換器307, 307’,
307 ”にてシリアルデータとされ、データセレクタ308
において、図7 に示す如きシリアルデータとされる。な
お、図7 においては、１つの画素ブロックに対する伝送
データを示している。【００１１】データセレクタ308 より出力されたデータ
はファーストイン・ファーストアウト・メモリ(FIFO メ
モリ)309にて一定のデータ伝送レートとなるように時間
軸処理され、更に同期付加部310 により同期信号が付加
され、出力端子311 より伝送路（例えばVTR 等の磁気記
録再生系）に送出される。ここで同期信号の付加につい
ては、各画素ブロック毎、複数の画素ブロック毎に行え
ばよい。【００１２】なお、上述各部の動作タイミングはタイミ
ングコントロール部312 より出力されるタイミング信号
に基づいて決定される。【００１３】図８は、図３に示したデータ送信側に対応
する受信側の概略構成を示すブロック図である。図８に
おいて、821 は前述した送信側にて高能率符号化された
伝送データが入力される端子である。入力された伝送デ
ータ中の同期信号は同期分離部822 により分離され、タ
イミングコントロール部823 へ供給される。このタイミ
ングコントロール部は、同期信号に基づいて、この受信
側の各部の動作タイミングを決定している。【００１４】他方、データセレクタ824 においては前述
の伝送データ中ｎビットのデータD_max, D_minと、各画素
データをD_max, D_min間でｋビット量子化した符号Δ_i,j
とに振り分けられる。これは、それぞれシリアル−パラ
レル(S−P)変換器825, 825’にてパラレルデータに変換
される。S −P 変換器825 にてパラレルデータとされた
各画素ブロック内の最大値データD_max及び最小値データ
D_minはそれぞれラッチ回路826, 827にてラッチされ、ラ
ッチされた最大値データD_maxおよび最小値データD_minは
それぞれ分割値逆変換部828 に出力される。他方、各画
素ブロック内の各画素データに係る分割符号Δ_i,j は前
述したような所定の順序でS −P 変換器825 ’により出
力され、分割値逆変換部828 に供給される。【００１５】図６(b) は分割符号Δ_i,j 及びD_max ,D_min
から元の画素データに係る代表値データD ’_i,j を復号
する様子を示す図で、図示の如く、代表値は例えば
D_max, D_minを2^k分割した各量子化レベルの中間に設定す
る。このようにして分割値逆変換部828 より得たｎビッ
トの代表値データ( D ’_1,1 〜 D’_m,l ) は、前述の順
序で各画素ブロック毎に出力されることになる。スキャ
ンコンバータ部829 においては分割値逆変換部828 の出
力データを、ラスタースキャンに対応する順序に変換
し、復号画像データとして出力端子830 に出力すること
になる。【００１６】【発明が解決しようとする課題】しかしながら、上記従
来例では、画像の２次元空間のみの相関性を利用してい
る。そのため、静止画像または動きの少ない画像を伝送
する場合、伝送情報に時間軸の冗長度が生じ、同じ情報
を繰り返し伝送することとなり、伝送効率を悪化させて
しまうという欠点がある。【００１７】よって本発明の目的は、上述の点に鑑み、
高能率符号化された画像信号を効率良く復号することが
できる画像処理装置及びその方法を提供することにあ
る。【００１８】【課題を解決するための手段】上記の目的を達成するた
めに、本発明に係る画像処理装置は、入力された画像信
号に対して単一画面の画像信号によって構成された第１
のブロックを形成し、当該ブロックに対して完結処理を
施して第１の符号化ブロックデータを出力する第１の符
号化モードと、入力された画像信号に対して複数画面の
画像信号によって構成された第２のブロックを形成し、
当該ブロックに対して完結処理を施して第２の符号化ブ
ロックデータを出力する第２の符号化モードとを用い、
入力された画像信号の動きに応じて前記第１の符号化モ
ードまたは前記第２の符号化モードを選択し、その選択
した符号化モードに従って符号化された前記第１の符号
化ブロックデータまたは前記第２の符号化ブロックデー
タをシリアルデータに変換するに際して、前記入力され
た画像信号の動きに応じてデータの変換順序を制御する
ことにより得られたシリアル符号化データを復号化する
画像処理装置であって、該画像処理装置は、前記シリア
ル符号化データを入力する入力手段と、前記記入力手段
により入力された前記シリアル符号化データのデータ入
力順序を検知することにより、前記第１の符号化モード
または前記第２の符号化モードにより符号化された画像
信号の動きを判定する判定手段と、前記判定手段からの
動き判定出力に応じて、前記シリアル符号化データを復
号化する復号化手段とを有するものである。また、上記
の目的を達成するために、本発明に係る画像処理方法
は、入力された画像信号に対して単一画面の画像信号に
よって構成された第１のブロックを形成し、当該ブロッ
クに対して完結処理を施して第１の符号化ブロックデー
タを出力する第１の符号化モードと、入力された画像信
号に対して複数画面の画像信号によって構成された第２
のブロックを形成し、当該ブロックに対して完結処理を
施して第２の符号化ブロックデータを出力する第２の符
号化モードとを用い、入力された画像信号の動きに応じ
て前記第１の符号化モードまたは前記第２の符号化モー
ドを選択し、その選択した符号化モードに従って符号化
された前記第１の符号化ブロックデータまたは前記第２
の符号化ブロックデータをシリアルデータに変換するに
際して、前記入力された画像信号の動きに応じてデータ
の変換順序を制御することにより得られたシリアル符号
化データを復号化する画像処理方法であって、該画像処
理方法は、前記シリアル符号化データを入力する入力工
程と、前記入力された前記シリアル符号化データのデー
タ入力順序を検知することにより、前記第１の符号化モ
ードまたは前記第２の符号化モードにより符号化された
画像信号の動きを判定する判定工程と、前記判定工程に
おける動き判定出力に応じて、前記シリアル符号化デー
タを復号化する復号化工程とを有するものである。【００１９】【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。【００２０】図１は、高能率符号化したデータを出力す
るするための回路を示す参考図である。図２は、本発明
の実施の形態による受信側回路の構成を例示したブロッ
ク図である。【００２１】図１において、101 は入力端子，102 は画
素ブロック分割回路，103 は画素ブロック分割回路102
の出力を１フレーム遅延させるフレームメモリ，104 は
画素ブロック分割回路102 の出力とフレームメモリ103
の出力の差を求める減算器，105 は減算器104 の結果よ
り動き検出を行う動き検出器，106 は画素ブロック分割
回路102 の出力とフレームメモリ103 の出力との平均値
を求める平均値演算回路，107 は平均値演算回路106 の
出力とフレームメモリ103 の出力とを選択する切り換え
器，108 は切り換え器107 からの入力値の最大値を求め
る最大値検出器，109 は最小値検出器，110 は切り換え
器107 の入力を遅延させる遅延回路，111 は最大値検出
器108 および最小値検出器109 からのデータを基に遅延
回路１１０からの信号を変換する分割値変換器，１００
は動き検出器105 の情報により最大値検出器108 の出
力と最小値検出器109 の出力とを選択して出力する切り
換え器，112 は出力信号を選択する切り換え器，113 は
動き検出器105 からのデータを記憶するフレームメモ
リ，114 は本システム各回路のタイミングを制御するタ
イミングコントローラ，115 は切り換え器112 からのパ
ラレルデータをシリアルデータに変換するパラレル・シ
リアル(P−S)変換器，116 はファーストイン・ファース
トアウト・メモリ（FIFOメモリ），117 はFIFOメモリ11
6 からの入力信号に同期信号を付加する同期付加回路，
118 は出力端子である。【００２２】図２に示す受信側ブロック図において、12
0 は受信系入力端子，121 はシリアル・パラレル変換を
行うシリアル・パラレル(S−P)変換器，122 は入力信号
より同期信号を分離する同期分離回路，123 は同期分離
回路122 からの入力を基に各回路のタイミングを制御す
るタイミングコントローラ，124 はS −P 変換器121か
らのデータから動き情報を検出する最大・最小位置検出
器，125 は最大・最小位置検出器124 の出力信号を記憶
するフレームメモリ，126 はS −P 変換器121からの入
力から最大値を求める最大値検出器，127 は同じく最小
値検出器，128は上記検出器126,127 からのデータを基
にS −P 変換器121 からの信号を逆変換する分割値逆変
換器，129 はフレームメモリ125 の出力を基にフレーム
メモリ130 のアドレスを発生するアドレス発生器，131
は出力端子である。【００２３】以下、順を追って上記各ブロックの動作を
説明する。【００２４】図１に示す送信側ブロックにおいて、入力
端子101 は、例えばテレビジョン信号等のラスタースキ
ャンされたアナログ画像信号を所定の周波数で標本化
し、ディジタル化されたｎビットのディジタル画像デー
タが入力される。この2ⁿ階調のディジタル画像データ
は、画素ブロック分割回路102 に供給され、水平方向に
ｌ画素，垂直方向にｍ画素の（ｌ×ｍ）個の画素より構
成される画素ブロックに分割される。すなわち、この各
画素ブロックのデータ毎に出力が行われる。【００２５】画素ブロック分割回路102 より出力される
画像データはフレームメモリ103 ，減算器104 ，平均値
演算回路106 に入力される。フレームメモリ103 ではデ
ータを１フレーム分遅延させ、減算器104 ，平均値演算
回路106 に出力する。減算器104 では、１フレーム前の
データと現フレームのデータとの差を求めることによ
り、時間軸空間の相関性を求め、動き検出器105 から動
き情報が出力される。【００２６】動き検出器105 では、フレーム間差分値を
設定されたしきい値で比較し、１ビットの動き情報を出
力する。得られた動き情報により、先に得られた２フレ
ーム間の平均値(106の出力）と１フレーム遅れた原デー
タ(103の出力）のどちらを符号化し伝送するかを決定す
る。この操作は切り換え器107 にて行われる。【００２７】この動き情報を基に、図９に示すような符
号化伝送情報が出力される。動きブロックについては、
フレームメモリの出力をMIN −MAX 法により符号化し、
毎フレームの情報を伝送する。静止ブロックについて
は、原データと１フレーム前のデータ、つまりフレーム
メモリ出力との平均値をMIN −MAX 法により符号化し、
２フレームに１フレーム分の情報を伝送する。【００２８】具体的に、まず動きブロックと判定された
場合について説明する。フレームメモリ103 の出力は、
切り換え器107 を介して最大値検出器108 ，最小値検出
器109 ，遅延回路110 に入力される。これによって各画
素ブロック内の全画素データ（D_1,1〜D_m,l）中、最大値
(D_max)と最小値(D_min)が最大値検出器108 ，最小値検出
器109 により検出され、切り換え器100 に出力される。【００２９】切り換え器100 は動き検出器105 の情報に
より最大値検出器108 の出力と最小値検出器109 の出力
とを選択して出力する切り換え器であり、例えば動き検
出器105 があるブロックを「動き」画像と判定したとき
は、最大値検出器108 の出力D_maxを切り換え器112 の端
子2aに出力し、最小値検出器109 の出力を端子2bに出力
する。また、「静止」画像と判定したときには、逆に、
D_maxを端子2bに、Ｄ_ｍｉｎを端子２ａにそれぞれ切り換
え出力するものである。【００３０】一方、遅延回路110 においては最大値検出
器108 ，最小値検出器109 の処理時間だけ全画素データ
を遅延し、各画素ブロック毎に予め定められた順序で画
素データを分割値変換器111 に送出する。例えば、各画
素ブロック毎にD_1,1, D_2,1,D_3,1, …，D_m,l, D_1,2，
…，D_1,(l-1), …，D_m,(l-1), D_1,l，…，D_m,l という
具合に送出する。【００３１】このようにして各画素ブロック内の全画素
データ（D_1,1〜D_m,l) およびこれらの最大値(D_max)，最
小値(D_min)を分割値変換器111 に入力し、D_maxとD_minの
間を2^k分割した量子化レベルと各画素データを比較して
ｋビットの分割符号（Δ_1,1〜Δm,l)を得る。ここで、
ｋはｎより小さい整数である。このようにして得たｋビ
ットの分割符号，ｎビットのD_max, D_minは切り換え器11
2 に供給される。【００３２】切り換え器112 は、伝送データの送出順序
に従ってデータを選択する切り換え器である。これら切
り換え器100,112 の動作により、動きブロックについて
はD_max, D_min, Δ_1,1 , …， Δ_m,l の順序に、静止ブ
ロックについてはD_min, D_max, Δ_1,1 ，…，Δ_m,l の順
序にデータ送出順序を設定することができる。つまり、
D_max, D_minの送出順序を動き情報によって変え、出力す
るわけである。【００３３】そして、切り換え器112 により順次切り換
え出力されたデータは、パラレル・シリアル変換器115
によってシリアルデータとされる。【００３４】切り換え器112 より出力されたデータはフ
ァーストイン・ファーストアウト・メモリ（FIFOメモ
リ）116 にて一定のデータ伝送レートとなるように時間
軸処理され、さらに同期付加回路117 により同期信号が
付加され、出力端子118 より伝送路（例えばVTR 等の磁
気記録再生系）に送出される。ここで同期信号の付加に
ついては、各画素ブロック毎、複数の画素ブロック毎に
行えばよい。なお、上述各部の動作タイミングは、タイ
ミングコントローラ114 より出力されるタイミング信号
に基づいて決定される。【００３５】次に、静止ブロックと判定された場合につ
いて説明する。【００３６】図９に示すＡのフレームでは、平均値演算
回路106 の出力は切り換え器107 を介して以下同様な信
号処理が行われ、出力される。これと同時に、動き検出
器105 からの動き情報をフレームメモリ113 に記録す
る。このフレームメモリ113 は、各画素ブロック毎に１
ビットのデータ容量で構成すればよい。つまり、（ｌ×
ｍ×１）ビットの容量でよい。【００３７】図９に示すＢのフレームでは、画像データ
を伝送せず圧縮率を高める。Ｂのフレームで画像データ
を伝送するかどうかについては、フレームメモリ113 に
前フレーム（Ａフレーム）で判断したブロック毎の動き
情報が記憶されているので、この情報を基に制御され
る。【００３８】再び、図２に示した受信側回路について説
明する。本図中の120 は上述した送信側からの信号を入
力する入力端子であり、伝送されたデータはシリアル・
パラレル変換器121,同期分離回路122 に入力される。同
期分離回路122 では、入力された伝送データ中の同期信
号を検出・分離し、タイミングコントローラ123 に供給
する。このタイミングコントローラ123 は同期信号に基
づいて受信側各部の動作タイミングを決定する。【００３９】他方、シリアル・パラレル変換器121 で
は、シリアル入力データをパラレルデータに変換し、最
大・最小位置検出器124 ，最大値検出器126 ，最小値検
出器127 ，分割値逆変換器128 に供給する。【００４０】最大・最小位置検出器124 では伝送されて
きた情報のうちブロック毎にD_max,D_minの順序を判定
し、その結果より、そのブロックが動きブロックである
か静止ブロックであるかの動き情報を得る。【００４１】最大・最小位置検出器124 で得られた各画
素ブロック毎の動き情報データは、フレームメモリ125
に記憶される。上記データは、図９に示すＡフレームの
伝送時のみ送信側から送られてくるため、Ｂフレームを
受信・再生する時に用いられる。【００４２】分割値逆変換器128 では得られたD_max, D
_minからD_max, D_min間を2^k分割し、S−P 変換器121 から
の画素データΔ_1,1,…，Δ_m,l をその分割値に変換して
出力する。【００４３】フレームメモリ130 では分割値逆変換器12
8 の出力を記憶し、アドレス発生器129 の制御信号によ
りラスタースキャンに対応する順序に変換し、復号画像
データとして出力端子131 に出力する。この時フレーム
メモリ130 には、図９のＡフレーム時は全画素について
データが書き込まれるが、Ｂフレーム時は動きブロック
の画素のみが書き込まれる。【００４４】アドレス発生器129 では、フレームメモリ
125 の動きブロックの情報を基に書き込みアドレスを発
生させ、読み出し時は前述のようにラスタースキャンに
対応する画素順序となるようにアドレスを発生し、フレ
ームメモリ130 に記憶されているデータを復号画像デー
タとして出力端子131 より出力する。【００４５】なお、上述の実施の形態にあっては、動き
情報を付加情報として述べたが、これに限るわけではな
く、他の情報でも良いことは言うまでもない。【００４６】【発明の効果】以上説明したように、本発明によれば、
画像情報の持つ時間方向の冗長度を除去して高能率で高
品位に符号化された画像情報を効率良く復号化処理する
ことができる。【００４７】また、特に各符号化モードともブロック内
で完結処理を施している符号を復号対象としているの
で、現ブロックの誤りが次のブロックへ伝播することは
なく、高品位な画像信号を再現することができる。

【図面の簡単な説明】【図１】高能率符号化したデータを出力するための回
路を示す参考図である。【図２】本発明の実施の形態による受信側回路の構成
を例示したブロック図である。【図３】従来技術による画像情報伝送システムの送信
側の概略構成図である。【図４】全画像データを画素ブロック群に分割する様
子を示す図である。【図５】各画素ブロックのデータ配置を示す図であ
る。【図６】図３における分割値変換部の変換特性を示す
図（ａ）、および、図８における分割値逆変換部の変換
特性を示す図（ｂ）である。【図７】伝送されるデータを説明するための図であ
る。【図８】図３に示した画像情報伝送システムの送信側
に対応する受信側の概略構成を示す図である。【図９】図１および図２の動作を説明する図である。【符号の説明】 102 画素ブロック分割回路 103 フレームメモリ 104 減算器 105 動き検出器 106 平均値演算回路 100,112,107 切り換え器 108,126 最大値検出器 109,127 最小値検出器 110 遅延回路 111 分割値変換器 114,123 タイミングコントローラ 115 パラレル・シリアル変換器 121 シリアル・パラレル変換器 124 最大・最小位置検出器 128 分割値逆変換器 129 アドレス発生器 130 フレームメモリ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims

(57)【特許請求の範囲】１．入力された画像信号に対して単一画面の画像信号に
よって構成された第１のブロックを形成し、当該ブロッ
クに対して完結処理を施して第１の符号化ブロックデー
タを出力する第１の符号化モードと、入力された画像信号に対して複数画面の画像信号によっ
て構成された第２のブロックを形成し、当該ブロックに
対して完結処理を施して第２の符号化ブロックデータを
出力する第２の符号化モードとを用い、入力された画像信号の動きに応じて前記第１の符号化モ
ードまたは前記第２の符号化モードを選択し、その選択した符号化モードに従って符号化された前記第
１の符号化ブロックデータまたは前記第２の符号化ブロ
ックデータをシリアルデータに変換するに際して、前記
入力された画像信号の動きに応じてデータの変換順序を
制御することにより得られたシリアル符号化データを復
号化する画像処理装置であって、該画像処理装置は、前記シリアル符号化データを入力する入力手段と、前記入力手段により入力された前記シリアル符号化デー
タのデータ入力順序を検知することにより、前記第１の
符号化モードまたは前記第２の符号化モードにより符号
化された画像信号の動きを判定する判定手段と、前記判定手段からの動き判定出力に応じて、前記シリア
ル符号化データを復号化する復号化手段とを有すること
を特徴とする画像処理装置。２．入力された画像信号に対して単一画面の画像信号に
よって構成された第１のブロックを形成し、当該ブロッ
クに対して完結処理を施して第１の符号化ブロックデー
タを出力する第１の符号化モードと、入力された画像信号に対して複数画面の画像信号によっ
て構成された第２のブロックを形成し、当該ブロックに
対して完結処理を施して第２の符号化ブロックデータを
出力する第２の符号化モードとを用い、入力された画像信号の動きに応じて前記第１の符号化モ
ードまたは前記第２の符号化モードを選択し、その選択した符号化モードに従って符号化された前記第
１の符号化ブロックデータまたは前記第２の符号化ブロ
ックデータをシリアルデータに変換するに際して、前記
入力された画像信号の動きに応じてデータの変換順序を
制御することにより得られたシリアル符号化データを復
号化する画像処理方法であって、該画像処理方法は、前
記シリアル符号化データを入力する入力工程と、前記入力された前記シリアル符号化データのデータ入力
順序を検知することにより、前記第１の符号化モードま
たは前記第２の符号化モードにより符号化された画像信
号の動きを判定する判定工程と、前記判定工程における動き判定出力に応じて、前記シリ
アル符号化データを復号化する復号化工程とを有するこ
とを特徴とする画像処理方法。