JPH07162858A

JPH07162858A - 画像信号符号化装置と画像信号復号化装置

Info

Publication number: JPH07162858A
Application number: JP31043793A
Authority: JP
Inventors: Ryoji Yamaguchi; 良二山口; Toshiyuki Kondo; 敏志近藤; Hiroyuki Suzuki; 宏之鈴木; Yoshiya Takemura; 佳也竹村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-12-10
Filing date: 1993-12-10
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】本発明は画像信号を記録再生または伝送する
ための符号化装置、復号化装置に関し、符号化器及び復
号化器によるフレームメモリへのアクセスを簡単に行
う。【構成】再生画像信号を書き込み、参照画像信号を読
み出すフレームメモリ４と、小画像のある領域が参照す
る可能性のある隣接小画像の再生画像信号を蓄積するバ
ッファメモリ５と、バッファメモリ内の再生画像信号を
隣接フレームメモリに複写する際の制御を行うアドレス
発生器６と、複写のタイミングを管理するスーパーバイ
ザー７とを備え、符号化器、復号化器のフレームメモリ
へのアクセスの同期を取り、フレームメモリがアクセス
されていないタイミングをスーパーバイザーが検知し、
アドレス発生器を制御しバッファメモリ内の再生小画像
を隣接フレームメモリに書き込む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はサンプリング周波数の高
い画像信号を並列処理する画像信号符号化装置及び、画
像信号復号化装置に関するものである。

【０００２】

【従来の技術】近年、画像信号は情報量が多いため、効
率が良く再現性の高い符号化、復号化技術が蓄積メディ
アや情報通信等の分野で必要とされている。とりわけＨ
ＤＴＶの画像信号は転送レートが非常に高く情報量が多
いため、リアルタイムで符号化を行う場合、ＨＤＴＶの
画面を複数の小画像に分割し、各々の小画像に対して独
立した符号化器で符号化を並列に行う。この時、分割さ
れた小画像間にまたがる動き補償を行うことによって、
全画面で画像信号の符号化を行った時と同じように分割
処理による画質の劣化をきたさない符号化を符号化装置
は行うことが望まれる。また、前記符号化器によって符
号化された画像信号の符号化信号を復号化するときにも
符号化器と同様に並列処理を行い、分割画面間にまたが
る動き補償処理をし、ＨＤＴＶの画像を再生する。以下
に従来例の画像信号符号化装置について説明を行う。

【０００３】図３は従来の画像信号符号化装置のブロッ
ク図である。図３において、１は画像信号分割器、２
ａ，２ｂは符号化器、４ａ，４ｂはフレームメモリ、３
は符号化器とフレームメモリとを接続するデータバス、
８はマルチプレクサーである。原画面は図５（ａ）の示
すように縦方向に２分割する。

【０００４】以上のように構成された従来のマルチプロ
セッサーの符号化装置は以下の動作をする。入力画像信
号は画像信号分割器１によりＭ個（図３、図５でＭ＝
２）の小画像に分割され、各小画像ごとに符号化器２
ａ，２ｂで符号化される。符号化器内では小画像がブロ
ック化（Ａ×Ｂ画素単位、Ａ，Ｂは整数、以下このブロ
ックを画像ブロックという）され、過去に再生された画
像を参照して動き補償フレームまたはフィールドの信号
を予測する。

【０００５】次に原画像信号もしくは予測信号と原画像
信号との差分を直交変換し、量子化する。量子化された
信号に対し可変長符号化を行う。各符号器の出力はマル
チプレクサー８で多重化されてから伝送路に送り出され
る。一方、予測信号として再生画像が用いられるので、
各符号化器内には局部復号化器があり、符号化信号の復
号化を行い、再生された画像をフレームメモリに格納す
る。

【０００６】動き補償フレームまたはフィールド間予測
符号化方式では、圧縮効率を向上させるために、隣接画
像ブロックを相互参照し動き補償する。図５を用いて説
明する。簡単のために、図５（ａ）のように、原画面１
１を垂直に２つの画像１２、１３に分割した場合を考え
る。小画像が２つ以上の場合や水平、田の字分割の場合
についても同様である。図５（ａ）の第一小画像１２と
第二小画像１３を符号化する。それぞれの小画像はまた
復号再生されて、次の符号化の参照画像として用いられ
る。

【０００７】図５（ｂ）は第一小画像１２の動き補償を
示す図である。第一小画像１２の画像ブロック１４の予
測信号として第二小画像１３のブロック１５が最も効率
がいいとする。このブロックは第二小画像１３内にある
から、画像ブロック１４を符号化するときに第二小画像
１３の画像ブロック１５を参照することになる。第一小
画像１２の走査順に連なる複数の画像ブロックで構成さ
れるスライスの終端にある他のブロックをブロックを符
号化するときも同様である。また、第二小画像１３のス
ライスの始端にある画像ブロックを符号化するときに第
一小画像１２の画像ブロックを参照する。

【０００８】

【発明が解決しようとする課題】このように、１つの符
号化器は複数のフレームメモリにアクセスすることにな
り、複数の符号化器が同時に同じフレームメモリをアク
セスすることが生じる。図６を用いて説明する。第一小
画像１２と第二小画像１３の右上の画像ブロックを符号
化するとする。参照画像ブロックの探索範囲は隣接する
画像ブロック内とする。第一符号化器２ａは第二フレー
ムメモリ４ｂの左上の２つの画像ブロックと第一フレー
ムメモリ４ａの右上の４つの画像ブロックのいずれか
を、第二符号化器２ｂは第二フレームメモリ４ｂの右上
の４つの画像ブロックのいずれかを参照画像ブロックと
して選ぶ。第一符号化器２ａが第二フレームメモリ４ｂ
の左上の２つの画像ブロックのいずれかを参照画像ブロ
ックとして選ぶと、第一、第二符号化器は同時に第二フ
レームメモリ４ｂをアクセスすることになる。

【０００９】複数の符号化器が同時に同じフレームメモ
リをアクセスしないように、符号化器がフレームメモリ
をアクセスするタイミングを制限し、同時アクセスが生
じる場合は、一方の符号化器の処理を待たせる必要があ
る。また、１つの符号化器を複数のフレームメモリに接
続し、フレームメモリを選択するための切り替え回路が
増え、切り替え制御が複雑になる。

【００１０】同様のことが復号化装置についても当ては
まる。図４は従来例の画像信号復号化装置である。符号
化信号分割器９によって分割された分割小画像毎の符号
化信号はそれぞれの復号化器１０ａ，１０ｂに送られ
る。それぞれの復号化器は可変長復号化、逆量子化、逆
直交変換を行い、フレーム内符号化の場合はそのまま再
生信号として出力し、フレーム間符号化信号の場合は復
号化器１０ａ，１０ｂは符号化信号列から動きベクトル
を抽出し、参照画像信号を取り込み、逆直交変換した信
号と加算し復号化を行う。動きベクトルが分割小画像間
にまたがるものであった場合、隣接フレームメモリに参
照画像ブロックを読みに行くため、復号化器１０ａ，１
０ｂ間でフレームメモリのアクセスがぶつかる可能性が
ある。

【００１１】本発明はかかる点に鑑み、符号化時、及び
復号化時のフレームメモリの同時アクセスをなくし、フ
レームメモリへのアクセスを高速化、及び簡単化するこ
とを目的としている。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、各符号化器及び、復号化器が参照する画像ブロッ
ク、とりわけ他の符号化器の局所復号化器及び、復号化
器によって再生された参照画像ブロックが必要とされる
場合、その領域の画像ブロックをあらかじめバッファメ
モリに複写し、次の符号化または、復号化を継続する一
方、隣接するフレームメモリにバッファメモリの内容を
符号化または、復号化の空き時間に書き込む。

【００１３】これを実現するために、本発明による画像
信号符号化装置は、画像信号分割器と、Ｍ個（Ｍは２以
上の整数）の符号化器と、Ｍ個のフレームメモリとＮ個
（ＮはＭ以上の整数）のバッファメモリと、前記バッフ
ァメモリに一時的に蓄積されている再構成画像信号をフ
レームメモリに書き込む際のアドレス及び、制御信号を
与えるアドレス発生器と、並列画像信号符号化装置の全
体を制御するスーパーバイザーと、それぞれの符号化器
によって符号化された符号化信号を多重化するマルチプ
レクサとを具備し、画像信号分割器は入力画像信号をＭ
個の符号化器に対応した画像信号列に分割し、第ｍ（ｍ
＝１〜Ｍ）番目の符号化器は第ｍ番目の小画像を符号化
し、再構成された第ｍ番目の小画像を第ｍ番目の符号化
器に接続されている第ｍ番目のフレームメモリに格納
し、マルチプレクサはＭ個の符号化器の出力を多重化し
て伝送路に送るシステムであって、前記ｍ番目の符号化
器が再生されたｍ番目の小画像の画像ブロックを第ｍ番
目のフレームメモリに書き込む際に、隣接する符号器が
符号化を行うのに必要な領域の再構成画像信号である場
合、該当フレームメモリに再構成画像信号を書き込むの
と同時に同じ再構成信号を隣接する符号化器に対応する
バッファメモリに書き込み、符号化処理の空いた時間
で、隣接する符号化器に対応したフレームメモリに、バ
ッファメモリに蓄積された前記再構成画像信号を書き込
む構成である。

【００１４】また、復号化装置についても符号化装置と
同様に、ｍ番目の復号化器で再生されたｍ番目の小画像
の再構成画像信号を第ｍ番目のフレームメモリに書き込
む際に、復号化信号が隣接する復号器が復号化を行うの
に必要な領域のものである場合、該当フレームメモリに
復号化信号を書き込むのと同時に同じ復号化信号を隣接
する復号化器に対応するバッファメモリに書き込み、復
号化処理の空いた時間で、隣接する復号化器に対応した
フレームメモリに、バッファメモリに蓄積された前記復
号化画像信号を書き込む構成である。

【００１５】

【作用】本発明の画像信号符号化装置及び、画像信号復
号化装置は上記した構成により、一つのフレームメモリ
はそれぞれ一つの符号化器及び、復号化器に接続される
ことになり、符号化器による局所復号化及び、復号化器
による復号化時にローカルフレームメモリだけをアクセ
スすればよく、複数の符号化器及び、復号化器が同時に
同じフレームメモリをアクセスすることが避けられる。

【００１６】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は本発明の実施例の画像信号符
号化装置のブロック図を示す。尚、従来例と同一機能の
構成要素には同一符号をつけてその詳細な説明は省略す
る。

【００１７】図１において、５ａ，５ｂはバッファメモ
リ、６はアドレス発生器、７はスーパーバイザーであ
る。

【００１８】画像信号分割器１は入力画像信号をＭ個の
小画像に対応した画像信号列に分割する。各小画像ごと
に分割された画像信号はそれぞれの符号化器２ａ，２ｂ
にそれぞれ入力され、符号化される。符号化器２ａ，２
ｂの動作は従来例と同様である。符号化器内部の局所復
号化器で復号化された符号化信号は、次のフレームの画
像信号の参照画像信号としてデータバス３を経由してフ
レームメモリ４ａ，４ｂにそれぞれ格納される。

【００１９】符号化時に動きベクトルが分割画面間にま
たがる場合には隣接する小画像の再構成画像信号を参照
する必要がある。本実施例では局所復号化した再構成画
像信号で、隣接小画像の符号化器が参照する可能性のあ
る領域のものを符号化器が自身のフレームメモリに書き
込むのと同時に同じ再構成画像信号をバッファメモリに
書き込む。符号化器がフレームメモリに書き込みにいく
際に、その書き込み制御信号の１Ｈ期間内の個数をスー
パーバイザー７はカウントし、Ｌ個（Ｌは整数）カウン
トした時点で符号化器のそれ以降のフレームメモリへの
アクセスを中止することによって各符号化器間でフレー
ムメモリへのアクセスの同期をとる。

【００２０】各符号化器のフレームメモリへのアクセス
は１Ｈ期間で同期しているので、スーパーバイザー７は
１Ｈ中において符号化器がフレームメモリにアクセスし
ていない空き時間を判断して、バッファメモリに蓄積さ
れている再構成画像信号をフレームメモリに複写に行く
ようにアドレス発生器６に制御信号を送る。

【００２１】スーパーバイザー７からの制御信号を受け
たアドレス発生器６はバッファメモリの再構成画像信号
の読み出しと書き込み先のフレームメモリのアドレスと
書き込み制御信号の生成を行い、バッファメモリ内の再
構成画像信号のフレームメモリへの複写を行う。

【００２２】スーパーバイザー７は１Ｈ期間中での符号
化器のシステムクロックをカウントしており、Ｌ個目の
再構成画像信号の書き込みが終了した時点でのシステム
クロックの個数から１Ｈ期間中の余り時間をみて、バッ
ファメモリの再構成画像信号を書き込みにいく時間的な
余裕がある場合には、フレームメモリに複写を行う。

【００２３】以上の動作を１画面の間行う。１画面分の
符号化処理が終了して垂直ブランキング期間に入った
ら、スーパーバイザー７はバッファメモリ中の未複写の
再構成画像信号の複写を行うようにアドレス発生器６に
制御信号を送る。

【００２４】図２は実施例の画像信号復号装置のブロッ
ク図を示す。図２において、３はデータバス、４ａ，４
ｂはフレームメモリ、５ａ，５ｂ、５ｃはバッファメモ
リ、６はアドレス発生器、７はスーパーバイザー、８は
マルチプレクサー、９は符号化信号分割器、１０ａ，１
０ｂは復号化器である。

【００２５】符号化信号分割器９は入力符号化信号をＭ
個の小画像に対応した符号化信号列に分割する。ここで
Ｍは２以上の整数であり、図２ではＭ＝２である。分割
された符号化信号は復号化器２ａ，２ｂによって復号化
され、復号化された画像ブロックを復号化器に接続され
ているフレームメモリ４ａ，４ｂに格納する。復号化器
の動作は従来例で述べたものと同様である。例えば、図
２において第一復号化器２ａは第一の符号化信号を復号
化し、再生された第一の復号化信号をデータバス３を経
由して第一のフレームメモリ４ａに格納する。

【００２６】このようなシステムにおいて符号化装置と
同様に、効率良く、かつ精度の高い復号化を行うため
に、他の復号化器によって再生された画像ブロックを参
照して動き補償処理がなされる。そこで、隣接復号器に
よって復号化された参照したい領域の画像ブロックの信
号を参照画像として自身のフレームメモリに取り込む。

【００２７】例えば、図２において、復号化器１０ａ，
１０ｂは符号化信号分割器９によって各々の復号化器に
割り当てられた符号化信号列を並列で復号化を行う。デ
ータバス３の制御を簡単にするために、符号化列の復号
化において、適当な処理単位ごとに復号化器間で同期を
とる。ここでは、１Ｈの間に復号器が復号化信号をフレ
ームメモリに書き込みに行く時のフレームメモリ４ａ，
４ｂの書き込み制御信号の個数をスーパーバイザー７が
カウントし、カウント値がＬ個になると復号化器２ａ，
２ｂがフレームメモリへのアクセスを中止する事によっ
て各復号化器間でフレームメモリへのアクセスの同期を
取る。

【００２８】復号化器１０ａ，１０ｂは自身のフレーム
メモリに復号化信号を書き込む一方で、同時に隣接復号
化器が復号に必要な領域の復号化信号をバッファメモリ
５ａ，５ｂに書き込む。スーパーバイザー７はＬ個目の
復号化信号を復号化器１０ａ，１０ｂが各々のフレーム
メモリ４ａ，４ｂに書き込んだ後、符号化装置の場合と
同様に１Ｈの期間での処理の余り時間が、バッファメモ
リ５ａ，５ｂ内の復号化信号を隣接復号化器が所有する
フレームメモリ４ａ，４ｂに書き込むのに余裕があると
判断した場合、アドレス発生器６及び、フレームメモリ
４ａ，４ｂ、データバス３に制御信号を送り、バッファ
メモリ５ａ，５ｂ内の復号化信号を隣接フレームメモリ
４ａ，４ｂに複写する。

【００２９】上記の動作を１画面の間に繰り返し行う。
１画面分の処理が終了して垂直ブランキング期間に入っ
たら、スーパーバイザー７はバッファメモリ５ａ，５ｂ
にある隣接フレームメモリ４ａ，４ｂに複写していない
復号化信号を複写するように、アドレス発生器６に制御
信号を送り、残りの復号化信号の隣接フレームメモリへ
の複写を行う。

【００３０】なお、分割方法は垂直分割の他に水平、田
の字分割等が考えられるが、本発明はこれらに限定され
るものではない。

【００３１】

【発明の効果】このように本発明の画像信号符号化装置
及び、画像信号復号化装置は、参照画像の参照時に符号
化器及び復号化器が各々に接続されたフレームメモリだ
けをアクセスすればよく、複数の符号化器及び、復号化
器が同時に同じフレームメモリをアクセスすることが避
けられるため、符号化器及び、復号化器のフレームメモ
リへのアクセスが高速化及び簡単化される。

【図面の簡単な説明】

【図１】本発明の一実施例の画像信号符号化装置を示す
ブロック図

【図２】本発明の一実施例の画像信号復号化装置を示す
ブロック図

【図３】従来例の画像信号符号化装置を示すブロック図

【図４】従来例の画像信号復号化装置を示すブロック図

【図５】画面の分割と隣接する小画像を参照する動き補
償の例を示す図

【図６】複数の復号化器が同時に同じフレームメモリを
アクセスする例を示す図

【符号の説明】

１画像信号分割器２ａ第一復号化器２ｂ第二復号化器３データバス４ａ第一フレームメモリ４ｂ第二フレームメモリ５ａ第一バッファメモリ５ｂ第二バッファメモリ５ｃ第二バッファメモリ６アドレス発生器７スーパーバイザー８マルチプレクサー９符号化信号分割器１０ａ第一復号化器１０ｂ第二復号化器

───────────────────────────────────────────────────── フロントページの続き (72)発明者竹村佳也大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】画像信号分割器と、Ｍ個（Ｍは２以上の整
数）の局部復号化器を備えた符号化器と、Ｍ個のフレー
ムメモリと、Ｎ個（ＮはＭ以上の整数）のバッファメモ
リと、データバスと、アドレス発生器と、スーパーバイ
ザーと、マルチプレクサーとを備え、前記画像信号分割器は入力画像をＭ個の小画像に分割
し、第ｍ（ｍ＝１〜Ｍ）番目の符号化器は第ｍ番目の小
画像を符号化し、更に前記局部復号化器によって再生さ
れた第ｍ番目の再生小画像を前記データバスを介して第
ｍ番目のフレームメモリに格納し、隣接小画像の符号化
器が動き補償に使う可能性のある領域の再生小画像につ
いてはバッファメモリに格納し、前記マルチプレクサー
は前記Ｍ個の符号化器の出力を多重化して伝送するシス
テムであって、Ａ×Ｂ（Ａ，Ｂは整数）画素ごとのブロック（以下画像
ブロックという）単位でフレーム内またはフレーム間符
号化を行い、Ｋ個（Ｋは整数）の画像ブロックごとに各
分割画像に対応した符号化器間で前記フレームメモリへ
のアクセスの同期を取り、前記符号化器が前記フレーム
メモリにアクセスしていない時間を前記スーパーバイザ
ーは検知し、前記アドレス発生器の書き込み制御信号に
よって前記バッファメモリに蓄積されている前記再生小
画像を前記データバスを介して隣接フレームメモリに複
写し、分割された小画像間にまたがる動き補償を行うこ
とを特徴とする画像信号符号化装置。
【請求項２】１Ｈの期間に再生小画像をフレームメモリ
に書き込む時の書き込み制御信号をスーパーバイザーが
カウントし、Ｌ個（Ｌは整数）カウントした時点で符号
化器が次の再生小画像をフレームメモリに書き込まない
よう制御することを特徴とする請求項１記載の画像信号
符号化装置。
【請求項３】バッファメモリに蓄積された隣接小画像の
符号化器が動き補償に使う可能性のある領域の再生小画
像を隣接小画像に対応するフレームメモリに垂直ブラン
キング期間に複写することを特徴とする請求項２記載の
画像信号符号化装置。
【請求項４】符号化信号分割器と、Ｍ個の復号化器と、
Ｍ個のフレームメモリと、Ｎ個のバッファメモリと、デ
ータバスと、アドレス発生器と、スーパーバイザーと、
マルチプレクサーとを備え、画面１フレーム分の画像信
号をＭ個の小画像ごとに分割し、小画像内の画像ブロッ
クごとにフレーム内、フレーム間で符号化された符号化
信号を復号化し、全画面での画像信号を得る画像信号復
号化装置であって、前記符号化信号分割器は入力される符号化信号を小画像
ごとにＭ分割し、第ｍ番目の復号化器は第ｍ番目の小画
像の符号化信号を復号化し、再生された第ｍ番目の小画
像の画像ブロックを前記データバスを介して前記第ｍ番
目のフレームメモリに格納し、隣接小画像の復号化器が
動き補償に使う可能性のある領域の再生画像ブロックに
ついては前記バッファメモリに格納し、前記マルチプレ
クサーは前記Ｍ個の復号化器の出力を多重化して伝送す
るシステムであって、復号化を行う際に、画像ブロック単位で復号化を行い、
Ｋ個の画像ブロックごとに各分割画像に対応した復号化
器間で前記フレームメモリへのアクセスの同期を取り、
前記復号化器が前記フレームメモリにアクセスしていな
い時間を前記スーパーバイザーが検知し、前記アドレス
発生器の書き込み制御信号により、前記バッファメモリ
に蓄積されているある領域の再生画像ブロックを前記デ
ータバスを介して隣接フレームメモリに複写し、分割小
画像間にまたがる動き補償を行うことを特徴とする画像
信号復号化装置。
【請求項５】１Ｈの期間に再生画像ブロックをフレーム
メモリに書き込む時の書き込み制御信号をスーパーバイ
ザーがカウントし、Ｌ個カウントした時点で次の再生画
像ブロックをフレームメモリに書き込まないよう制御す
ることを特徴とする請求項４記載の画像信号復号化装
置。
【請求項６】バッファメモリに蓄積されている隣接小画
像の復号化器が動き補償に使う可能性のある領域の再生
画像ブロックを隣接小画像に対応するフレームメモリに
垂直ブランキング期間に書き込むことを特徴とする請求
項５記載の画像信号復号化装置。