JPH11243552A - 画像データ圧縮伸長処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 動ベクトルを検出する探索範囲の画像データ
を高速かつ小容量のメモリにより形成し、処理効率の高
い画像データ圧縮伸長処理装置を提供する。 【解決手段】 マクロブロック番号をマクロブロックカ
ウンタにより検知し、マクロブロックのフレーム画像上
の位置関係より、その動きベクトル探索範囲がフレーム
領域内か否か判断し、さらにフレーム領域外に及ぶ場合
にその外挿パターンを示す外挿パターン信号を生成す
る。探索範囲がフレーム領域内のものは、フレームメモ
リ２を用い、フレーム領域外に及ぶものは予測メモリ３
を用いる。制御部１は画像データ転送手段を持ち、フレ
ームメモリ２から予測メモリ３にマクロブロックデータ
及び周辺データを転送する。予測メモリ３は画像データ
外挿手段を持ち、転送データと外挿パターン信号に基づ
いて外挿に必要なロウアドレスカラムアドレスを指定し
て外挿を行ない、探索範囲の画像データを形成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データの圧縮伸
長処理を実行する装置、特に動きベクトルを利用した符
号化を行う装置に関するものである。

【０００２】

【従来の技術】近年、ディジタル通信システムの技術的
発展は著しく、マルチメディア通信、パーソナル移動体
通信端末をはじめとしてさまざまな技術が活発に議論、
研究されている。通信されるデータは音声、動画像、静
止画像など多岐に渡っているが、今後のマルチメディア
通信では画像データの高速通信技術が重要である。画像
データ量は膨大であるため、特にデータの圧縮伸長技術
は重要な技術である。圧縮伸長アルゴリズムはＩＳＯに
おけるＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔにおける
Ｈ.２６１、Ｈ.２６３等、その用途に応じて標準化が行
われている。

【０００３】これらの圧縮伸長アルゴリズムにおいて、
直交変換などのフレーム内符号化と動き補償などのフレ
ーム間符号化が行われるが、アルゴリズム処理の大部分
を占めるのは動きベクトル検出処理に関連する部分であ
る。これら動きベクトルを利用した圧縮伸長は画質の向
上には欠かせない処理となっている。フレーム間符号化
は、まず前画像と入力画像のフレーム間差分を計算して
圧縮する(図１６の前画像ａ１と入力画像データｂの差
分１)。差分が小さい程、圧縮の効率が良くなることと
なる。しかし、動きのある画像を圧縮する場合にはフレ
ーム間差分が大きくなり、単にフレーム間差分をとって
も圧縮効率を上げることはできない。そこであらかじめ
前画像データの動きを予測して前画像データを移動させ
る動き補償を施して移動後の画像データと入力画像のデ
ータとで差分をとることにより圧縮効率を上げることが
できる(図１６の前画像からの補償データａ２と入力画
像データｂとの差分２)。この動きを予測して動かす方
向が動きベクトルである。

【０００４】以下、動きベクトル検出の概略を示す。圧
縮アルゴリズムでは符号化処理は１６×１６画素データ
からなるマクロブロック単位で行われ、動きベクトルも
マクロブロック単位で求める。動きベクトルを算出する
対象となるマクロブロックを定められた探索領域内で移
動させる(図１７(ａ))。次に移動後のマクロブロックと
入力画像のマクロブロックとの相関を求める。すなわち
それぞれ対応する画素データの差分絶対値和を求める。
この差分絶対値和を全ての探索領域内での移動後のマク
ロブロックについてそれぞれ求め、相関が最大となるも
のを検出し、その移動量を動きベクトルとする。

【０００５】しかし、図１７(ｂ)に示すように例えばフ
レームの境界のマクロブロック２００において移動を行
なうと探索領域２１０がフレームからはみ出る場合が出
てくる。従来はこのような動きベクトルは考えないこと
になっていたが、実際の画像がはみ出る方向に動いてい
る場合には、動き補償によるフレーム間符号化を行うこ
とができず、著しく圧縮効率が落ちてしまい、また結果
としてブロック歪み等のノイズにより画質が悪くなる場
合もあった。そこでＨ.２６３等では精度を上げるため
にオプションとして非制限動ベクトルが加えられてい
る。非制限動ベクトルは、上記のようにフレームからは
み出てしまう場合には、図１８に示すように、探索領域
２１０のうち、フレームからはみ出る領域に対しても画
素データを用意することにより探索領域２１０すべての
データがあるとして動きベクトルを求めるものである。
フレームからはみ出る領域の正しい画像データが得られ
ない場合はそのフレーム境界のデータをもっとも近いデ
ータと仮定して用いる。

【０００６】

【発明が解決しようとする課題】上記非制限動ベクトル
算出処理の実現方法としては、第１には、ＬＳＩ等のハ
ードウェアによる処理は特に対策せず、ソフトウェア処
理で実現する方法が考えられる。すなわち、図４に示す
フローチャートのように、画素データを移動させる時
に、移動する前のアドレスに移動量を加算もしくは減算
して移動後のアドレスを求め、そのアドレスがフレーム
からはみ出るかどうかを判断し、はみ出る場合には、境
界のデータを参照するという処理ステップにより実現す
るものである。考えうる第２の実現方法は、フレームメ
モリ領域を大きく設定してフレームデータ領域およびそ
の外周辺の探索領域分領域を加えたものとし、あらかじ
めフレーム画像と外周辺の画素データを転送して形成し
ておき、それらのデータを用いて入力画像との相関をと
るという方法がある。

【０００７】しかしながら、上記第１の実現方法ではマ
クロブロックの動きベクトル算出にあたり、探索領域で
の移動後の計算毎に全て条件分岐が入り、処理が複雑に
なるとともに、高速なプロセッサを用いている場合には
条件分岐が実行されるとパイプライン処理によるペナル
ティにより、非常に処理効率が悪くなってしまうという
問題があった。また、上記第２の実現方法のメモリ領域
を多くとる方法によれば、必要なメモリ容量が増大して
しまうという問題があった。

【０００８】本発明は上記問題点に鑑み、少ない専用メ
モリを利用し、ソフトウェアでの処理工数を増やすこと
なしに、非制限動ベクトルを求めることのできる画像デ
ータ圧縮伸長処理装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像データ圧縮伸長処理装置は、フレームメ
モリと、動きベクトル検出の探索領域の画像データを格
納する予測メモリと、動きベクトルの探索領域の一部が
フレーム画像領域の外側に及ぶ第１のマクロブロックに
対して前記第１のマクロブロックの画像データと前記第
１のマクロブロックの探索領域に含まれるマクロブロッ
クの画像データとを前記フレームメモリから前記予測メ
モリの対応する領域に転送・書き込みする画像データ転
送手段と、前記予測メモリの未書き込みの領域である外
挿領域に対して前記外挿領域との境界にある画像データ
に基づいて外挿することにより前記予測メモリに探索領
域画像データを形成する画像データ外挿手段と、前記予
測メモリの探索領域画像データと入力画像データから非
制限動ベクトルを求める動きベクトル検出手段とを備え
たことを特徴とする。

【００１０】上記構成により、非制限動ベクトルを検出
するための予測メモリ内の画像データ形成を、データ圧
縮処理対象となっている第１のマクロブロックおよび周
辺のマクロブロックをフレームメモリなどからのデータ
転送と残りの外挿領域データを第１のマクロブロックの
境界データと同じデータを書き込むことで行うことがで
き、高速・簡便に予測メモリ画像データの形成、非制限
動ベクトル検出を行うことができる。また、予測メモリ
の容量は、対象となる一の第１のマクロブロックとその
周辺のマクロブロック容量分のみでよく、メモリ消費量
を小さくすることができる。

【００１１】次に、前記画像データ圧縮伸長処理装置
は、読み込まれたマクロブロックの動きベクトル探索領
域がすべてフレーム画像領域内にあるかフレーム画像領
域外に及んでいるかを判断するマクロブロック判断部を
備え、前記動きベクトル検出手段は、読み込まれたマク
ロブロックの動きベクトル探索領域がすべてフレーム画
像領域内にある場合は前記フレームメモリの画像データ
を用いて前記動きベクトルを検出し、動きベクトル探索
領域がフレーム画像領域外に及んでいる場合であれば前
記予測メモリの画像データを用いて前記動きベクトルを
検出することが好ましい。

【００１２】上記構成により、動きベクトル検出処理対
象となるマクロブロックの探索領域がフレーム画像領域
の外側に及ぶ場合のみ予測メモリを利用する処理を実行
することとし、動きベクトル検出の処理工数の増大防止
と効率化を図ることができる。

【００１３】次に、前記マクロブロック判断部は、読み
込まれたマクロブロックがフレーム画像の周辺エッジに
位置するマクロブロックであれば、その動きベクトル探
索領域がフレーム画像領域外に及んでいると判断し、フ
レーム画像の周辺エッジではない内側に位置するマクロ
ブロックであれば、動きベクトル探索領域がすべてフレ
ーム画像領域内にあると判断することが好ましい。

【００１４】上記構成により、読み込んだマクロブロッ
クの動きベクトル検出にあたり、予測メモリを利用する
必要があるか、フレームメモリの利用のみで良いかを簡
便に検知できる。複雑な判断シーケンスを不要とするこ
とができ、マクロブロック番号から簡単に周辺エッジに
位置するマクロブロックか内側に位置するマクロブロッ
クか判断できる。ここで、周辺エッジに位置するマクロ
ブロックとは、探索領域がフレーム領域外に及んでしま
うフレームエッジ近傍のマクロブロックであり、探索領
域大きさの設定に従って該当するマクロブロックは一意
に定めることができる。

【００１５】次に、前記第１のマクロブロックがＮ×Ｎ
のデータからなり、前記探索領域が上下左右Ｍデータ分
である時に、前記予測メモリが(Ｎ＋２Ｍ)×(Ｎ＋２Ｍ)
データ分の容量を持つことが好ましい。

【００１６】上記構成により、探索領域の設定に応じて
必要量の予測メモリを確保することができ、探索領域を
柔軟に可変設定でき、かつ、動的に必要な容量の予測メ
モリを用意することによりメモリ資源を節約することが
できる。

【００１７】次に、前記画像データ外挿手段が、前記外
挿領域に対して、同じロウアドレスを持つ前記第１のマ
クロブロックデータがあれば、前記予測メモリにマッピ
ングしたときに前記外挿領域にもっとも近い位置にある
前記第１のマクロブロックの境界の画像データを書き込
む第１の外挿手段と、同じカラムアドレスを持つ前記第
１のマクロブロックデータがあれば、前記予測メモリに
マッピングしたときに前記外挿領域にもっとも近い位置
にある前記第１のマクロブロックの境界の画像データを
書き込む第２の外挿手段と、同じロウアドレス、カラム
アドレスを持つ前記第１のマクロブロックデータがなけ
れば、前記予測メモリにマッピングしたときに前記外挿
領域にもっとも近い位置にある前記第１のマクロブロッ
クの隅の境界の画像データを書き込む第３の外挿手段を
備えることが好ましい。

【００１８】上記構成により、外挿領域に書き込む画像
データとして、フレーム画像のうちもっとも近い画像デ
ータを一意に指定して外挿することができ、予測メモリ
の画像データを高速に形成することができる。

【００１９】次に、周辺エッジに位置するマクロブロッ
クに対して、周辺エッジのいずれの位置にあるかを示す
外挿パターン信号を発生し、前記画像データ外挿手段
は、前記外挿パターン信号に基づいて所定の外挿を実行
することが好ましい。

【００２０】上記構成により、対象となるマクロブロッ
クのフレーム画像上の位置によって一意に定まる外挿の
パターンを外挿パターン信号を与えることにより指定
し、簡便かつ高速に外挿を行ない、予測メモリの画像デ
ータを形成することができる。

【００２１】次に、前記画像データ外挿手段は、予測メ
モリのアクセス番地を示すアドレス信号と前記外挿パタ
ーン信号と前記予測メモリへのリード・ライト信号とを
デコードして前記予測メモリの対応する１または複数の
ロウアドレスを指定するロウデコーダと、１または複数
のカラムアドレスを指定するカラムデコーダとを備える
ことが好ましい。

【００２２】上記構成により、第１のマクロブロックが
読み書きされる予測メモリのアドレス指定に加え、外挿
手段に対し、外挿パターン信号に応じて書き込まれる外
挿領域のロウアドレス、カラムアドレスを指定すること
ができ、予測メモリの画像データを高速に形成すること
ができる。

【００２３】

【発明の実施の形態】以下、図面を参照しながら、本発
明にの画像データ圧縮伸長処理装置の実施形態を説明す
る。

【００２４】図１は、本発明の実施形態の画像データ圧
縮伸長処理装置の概略構成を示しており、図２は、図１
の制御部を概略構成を示した図、図３は図１の予測メモ
リを中心としてその概略構成を示した図である。

【００２５】図１において、１は制御部、２はフレーム
メモリ、３は予測メモリ、４は動きベクトル検出部であ
る。制御部１は画像データ転送手段を備え、予測メモリ
３は画像データ外挿手段を備えている。詳しい処理内容
は順を追って説明するが、ここで処理全体の大まかな流
れを説明しておくと、制御部１は動きベクトル検出処理
対象のマクロブロック番号を検知しており、探索領域が
フレーム領域内にあるマクロブロックに対しては、動き
ベクトル検出部４はフレームメモリ２の画像データを用
いて動きベクトル検出を行なう。探索領域がフレーム領
域外に及ぶマクロブロック処理を検知すると、制御手段
１は画像データ転送手段によりフレームメモリ２から予
測メモリ３へ画像データを転送し、併せて外挿パターン
信号を予測メモリ３に与える。予測メモリ３は外挿パタ
ーン信号に従い、画像データ外挿手段によりフレーム画
像外周辺を含む画像データを形成し、動きベクトル検出
部４は非制限動ベクトルを検出する。以上が処理全体の
大まかな流れである。

【００２６】まず、制御部１関連の処理内容を詳しく説
明する。本実施形態で扱うフレーム画像は、図５に示す
ように９×１１個のマクロブロックより構成され、各マ
クロブロックには図５に示すようにマクロブロック番号
１〜９９が付されている。１つのマクロブロックは１６
×１６個の画素データからなる。

【００２７】図６は一つのマクロブロックと当該マクロ
ブロックの持つ動きベクトル探索領域を示した図であ
る。マクロブロックは中心に５で示されたものであり、
５を除く１〜９が探索領域の領域であり、±１５画素分
とする。つまり図３に示した予測メモリにおいてＭ＝１
５、Ｎ＝１６とした場合を説明する。

【００２８】図６に示したように各マクロブロックは周
囲に設定された探索領域を持つため、マクロブロックの
フレーム画像における位置によって、その探索領域がフ
レーム画像の領域内にあるか領域外に及ぶのかが一意に
定まる。図５においてハッチングをかけた範囲がその探
索領域がフレーム画像領域外に及ぶもので、周辺エッジ
マクロブロックと定義する。なお、周辺エッジマクロブ
ロックは最外郭のマクロブロックのみとは限らず、探索
領域Ｍの設定が大きい場合はエッジ近傍の内側のマクロ
ブロックも含まれる場合がある。

【００２９】さらに、マクロブロックのフレーム画像に
おける位置によって、その探索領域のうちフレーム画像
領域外となる範囲、つまり外挿が必要となる範囲が一意
に定まる。この外挿が必要となる範囲は８パターンあ
る。図７が外挿パターンと対応するマクロブロック番号
を示した図である。図７において各々中心のブロックが
マクロブロックであり、周辺が探索領域、ハッチングを
かけた範囲が外挿部分である。外挿パターン１は図５の
マクロブロック番号１に対するもの、外挿パターン２は
マクロブロック番号２〜１０に対するものという具合
に、マクロブロック番号が定まれば、必要とされる外挿
パターンは一意に定まる。

【００３０】制御部１は図２に示すようにマクロブロッ
クカウンタ１１を持ち、動きベクトル検出対象となるマ
クロブロック番号を検知している。マクロブロック判断
部１２は受信したマクロブロック番号を調べることによ
りマクロブロックが図５に示した周辺エッジマクロブロ
ックか否か、さらに周辺エッジマクロブロックで有る場
合には必要とされる外挿パターンがどれであるかを一意
に判断することができる。

【００３１】マクロブロック判断部１２が、周辺エッジ
マクロブロックではないと判断した場合は、プログラム
切替信号１０７（“０”）により予測メモリ非使用プロ
グラム１３ａを選択し、制御部１および動きベクトル検
出部４は、フレームメモリ２内の画像データを用いた動
きベクトル検出の処理に進む。

【００３２】マクロブロック判断部１２が、周辺エッジ
マクロブロックと判断した場合は、プログラム切替信号
１０７（“１”）により、予測メモリ使用プログラム１
３ｂを選択する。予測メモリ使用プログラム１３ｂは画
像データ転送プログラムを含んでおり、フレームメモリ
２から予測メモリ３へ当該マクロブロックおよび探索領
域のうちフレームメモリ上に存在する画像データを転送
させるために必要な命令、アドレス信号、リード信号、
ライト信号を出力する。また、マクロブロック判断部１
２は、マクロブロック番号に基づいて図７に示した外挿
パターンのうちどの外挿パターンであるかを示す外挿パ
ターン信号を予測メモリ３に出力し、予測メモリ３に画
像データ形成する処理に進む。

【００３３】予測メモリ３に画像データを形成する処理
を以下に詳しく述べる。図３が予測メモリを中心とした
概略構成を示す図である。１００が予測メモリセル、１
１０はロウデコーダ、１２０はカラムデコーダである。
ロウデコーダ１１０およびカラムデコーダ１２０は後述
するように画像データ外挿機能を有している。

【００３４】予測メモリセル１００は、Ｎ＋２Ｍ＝４６
より、４６×４６個の画素数に対応する記憶容量を持っ
ており、予測メモリセル１００のアドレスは図８に示す
ように左斜め上を“１”として、各行右方向に“１”ず
つ番地が増加し、右端まで到達すると１行下の左端へと
続き、同様に行右方向に番地が増加して行くものとす
る。

【００３５】アドレスデータ１０１は制御部１より出力
され、予測メモリセル１００のアクセス番地を指示す
る。外挿パターン信号１０２はマクロブロック探索領域
とフレーム画像領域との関係が図７に示す８パターンの
うちのいずれかを示す情報であり、ここでは３ビット幅
の情報とする。

【００３６】ロウデコーダ１１０は、図１４に示すテー
ブルを保持しており、リード・ライト信号、外挿パター
ン信号１０２、アドレスデータ１０１に従い、ロウアド
レスを指定する。図１４に示すように、ロウに対する画
像データ外挿が必要ない場合は１つのロウアドレスを出
力し、ロウに対する画像データ外挿が必要となる場合は
複数のロウアドレスを出力する。

【００３７】カラムデコーダ１２０は、図１５に示すテ
ーブルを保持しており、リード・ライト信号、外挿パタ
ーン信号１０２、アドレスデータ１０１に従い、カラム
アドレスを指定する。図１５に示すように、カラムに対
する画像データ外挿が必要ない場合は１つのカラムアド
レスを出力し、カラムに対する画像データ外挿が必要と
なる場合は複数のカラムアドレスを出力する。

【００３８】予測メモリセル１００へのデータ転送書き
込みにおいて、画像データ外挿を必要としないフレーム
メモリ２から予測メモリセル１００の該当画素への１対
１の転送書き込みを示したものが図９ａである。ライト
信号１０４がアクティブ(＝“１”)になった時に、後述
するロウアドレス信号１１１と後述するカラムアドレス
信号１２１とで選択される番地にデータバス１３０のデ
ータが書き込まれる。例えば、ロウアドレス信号１１１
の２番目と、カラムアドレス信号１２１の３番目がアク
ティブ(＝"１")であった場合、図９ａのハッチングの番
地にデータが書き込まれる。画像データ外挿を必要とす
るフレームメモリ２から予測メモリセル１００への外挿
書き込みの概念を説明したものが図９ｂである。この例
ではロウアドレス信号１１１の２および３番目と、カラ
ムアドレス信号１２１の３番目がアクティブ(＝"１")で
あった場合、図９ｂにハッチングした複数の番地に同じ
データが書き込まれる。この図９ｂに示した複数番地へ
のデータ書き込み原理を応用し、外挿パターンに応じて
ロウアドレスデコーダ１１０が１または複数のロウアド
レスを出力し、カラムアドレスデコーダ１２０が１また
は複数のカラムアドレスを出力し、高速かつ簡便に画像
データ外挿を行ない、非制限動ベクトル検出に利用す
る。

【００３９】以上説明した構成に基づき、本発明の画像
データ圧縮伸長処理装置による画像データ外挿処理の全
体の流れを具体例を挙げて詳しく示す。説明の便宜上、
ロウアドレス信号１１１のＮ番目をロウアドレス信号１
１１[Ｎ]と記述し、またカラムアドレス信号１２１のＮ
番目をカラムアドレス信号１２１[Ｎ]と記述する。ま
た、それぞれ"１"でアクティブ、"０"でノンアクティブ
を表わすものとする。

【００４０】（ステップ１）マクロブロックカウンタ１
１が、処理対象のマクロブロック番号を検知し、マクロ
ブロック判断部１２は、探索領域が画像領域からはみ出
る周辺エッジマクロブロックであるか、探索領域すべて
が画像領域内にある内側のマクロブロックであるかを判
断する。図５において、ハッチングをかけた境界にある
マクロブロック番号であれば、周辺エッジマクロブロッ
クと判断する。

【００４１】なお、内側のマクロブロックであれば入力
画像データとフレームメモリ２内にある前画像データと
の相関をとって動きベクトルを算出する。ここでは、マ
クロブロック番号“１”の周辺エッジマクロブロックと
する。周辺エッジマクロブロックの外挿パターンは図７
に示す８パターンあるが、以下、外挿パターンは外挿パ
ターン１の場合を例として説明する。他の外挿パターン
のマクロブロックに対する処理動作は外挿パターン１の
場合の処理動作から容易に理解できるので省略する。

【００４２】（ステップ２）マクロブロック番号が"１"
の時、制御装置が制御レジスタに外挿パターン信号１０
２の値を設定し、外挿パターン信号１０２の値は"１"と
なる。

【００４３】マクロブロック番号１のマクロブロックデ
ータをフレームメモリ２からデータバス１３０を経由し
て予測メモリセル１００の中心部(図８の"７０６"と"１
４１１"を対角とする矩形)の該当位置に転送する。

【００４４】転送される画素データは図８に示すように
７０６番地から書き込まれて行く。ここで、マクロブロ
ックデータの予測メモリセル１００への書き込みは、予
測メモリセル１００の対応する位置のみならず、以下に
示すように外挿する位置のメモリに対してもデータを書
き込んでいく。まず、図１０に示すフレームメモリ２中
の１番目の画素データを予測メモリセル１００に転送す
る場合、ロウデコーダ１１０は図１４に示すテーブルに
したがって、アドレスデータ１０１＝"７０６"、外挿パ
ターン信号１０２＝"１"、リード信号１０３＝"０"、ラ
イト信号１０４＝"１"である場合において、ロウアドレ
ス信号１１１[Ｎ]＝"１"(Ｎ＝１,２,…,１６)、ロウア
ドレス信号１１１[Ｎ]＝"０"(Ｎ＝１７,１８,…,４６)
を出力する。同様に、カラムデコーダ１２０は、図１５
に示すテーブルにしたがって、アドレスデータ１０１
＝"７０６"、外挿パターン信号１０２＝"１"、リード信
号１０３＝"０"、ライト信号１０４＝"１"である場合に
おいて、カラムアドレス信号１２１[Ｎ]＝"１"(Ｎ＝１,
２,…,１６)、カラムアドレス信号１２１[Ｎ]＝"０"(Ｎ
＝１７,１８,…,４６)を出力する。上記により、図１１
ａにハッチングで示す領域にマクロブロックの１番目の
画素データと同じ画素データが書き込まれる(ステップ
２ｂ)。

【００４５】次のデータの転送先のアドレスは、図１０
に示すように７０７番地である。図１０に示すフレーム
メモリ２中の２番目の画素データを予測メモリセル１０
０に転送する場合、ロウデコーダ１１０は、図１４に示
すテーブルにしたがって、アドレスデータ１０１＝"７
０７"、外挿パターン信号１０２＝"１"、リード信号１
０３＝"０"、ライト信号１０４＝"１"である場合におい
て、ロウアドレス信号１１１[Ｎ]＝"１"(Ｎ＝１,２,…,
１６)、ロウアドレス信号１１１[Ｎ]＝"０"(Ｎ＝１７,
１８,…,４６)を出力する。同様に、カラムデコーダ１
２０は図１５に示すテーブルに従って、アドレスデータ
１０１＝"７０７"、外挿パターン信号１０２＝"１"、リ
ード信号１０３＝"０"、ライト信号１０４＝"１"である
場合において、カラムアドレス信号１２１[１７]＝"
１"、カラムアドレス信号１２１[Ｎ]＝"０"(Ｎ＝１,２,
…,４６；Ｎ≠１７)を出力する。上記により、図１１ｂ
にハッチングで示す領域に、マクロブロックの２番目の
画素データと同じ画素データが書き込まれる(ステップ
２ｃ)。

【００４６】図１０に示すフレームメモリ２中の３番目
〜１５番目の画素データを、予測メモリセル１００に転
送する場合、ステップ２ｃと同様の処理をする。その結
果、それぞれカラム方向で上方にマクロブロック境界の
データと同じデータが書き込まれる(ステップ２ｄ)。な
お、図１０に示すフレームメモリ２中の１６番目の画素
データを予測メモリセル１００に転送する場合、マクロ
ブロックの境界の角のデータであるが、ステップ２ｂの
動作ではなく、ステップ２ｃの処理と同様の処理とな
る。これはフレームメモリ２中に１６番目の画素データ
より右側の位置のデータが画像データとして存在するの
で、このカラムより右側に外挿する必要が無いためであ
る(ステップ２ｅ)。

【００４７】次に、１７番目のデータの転送先のアドレ
スは、図８に示すように７５２番地である。図１０に示
すフレームメモリ２中の１７番目の画素データを、予測
メモリセル１００に転送する場合、ロウデコーダ１１０
は、図１４に示すテーブルにしたがって、アドレスデー
タ１０１＝"７５２"、外挿パターン信号１０２＝"１"、
リード信号１０３＝"０"、ライト信号１０４＝"１"であ
る場合において、ロウアドレス信号１１１[１７]＝"
１"、ロウアドレス信号１１１[Ｎ]＝"０"(Ｎ＝１,２,
…,４６；Ｎ≠１７)を出力する。同様に、カラムデコー
ダ１２０は、図１５に示すテーブルにしたがって、アド
レスデータ１０１＝"７５２"、外挿パターン信号１０２
＝"１"、リード信号１０３＝"０"、ライト信号１０４
＝"１"である場合において、カラムアドレス信号１２１
[Ｎ]＝"１"(Ｎ＝１,２,…,１６)、カラムアドレス信号
１２１[Ｎ]＝"０"(Ｎ＝１７,１８,…,４６)を出力す
る。上記により、図１１ｃにハッチングで示す領域に、
マクロブロックの１７番目の画素データと同じ画素デー
タが書き込まれる(ステップ２ｆ)。

【００４８】１８番目のデータの転送先のアドレスは、
図８に示すように７５３番地であり、マクロブロックの
境界のデータではないものである。図１０に示すフレー
ムメモリ２中の１８番目の画素データを予測メモリセル
１００に転送する場合、ロウデコーダ１１０は、図１４
に示すテーブルにしたがって、アドレスデータ１０１
＝"７５３"、外挿パターン信号１０２＝"１"、リード信
号１０３＝"０"、ライト信号１０４＝"１"である場合に
おいて、ロウアドレス信号１１１[１８]＝"１"、ロウア
ドレス信号１１１[Ｎ]＝"０"(Ｎ＝１,２,…,４６；Ｎ≠
１８)を出力する。同様に、カラムデコーダ１２０は、
図１５に示すテーブルにしたがって、アドレスデータ１
０１＝"７５３"、外挿パターン信号１０２＝"１"、リー
ド信号１０３＝"０"、ライト信号１０４＝"１"である場
合において、カラムアドレス信号１２１[１７]＝"１"、
カラムアドレス信号１２１[Ｎ]＝"０"(Ｎ＝１,２,…,４
６；Ｎ≠１７)を出力する。上記により、図１１ｄにハ
ッチングで示す領域のみに画素データが書き込まれる
（ステップ２ｇ）。

【００４９】以上示したように、第１のマクロブロック
の境界にあるデータの転送、予測メモリ１００への書き
込みを上記ステップ２ｃ〜ステップ２ｆのいずれかを繰
り返して行い、マクロブロックの境界ではないデータの
転送、予測メモリ１００への書き込みを上記ステップ２
ｇを繰り返して行うことにより、２５６回の転送が終了
した時には、図１２にハッチングで示す領域にデータが
書き込まれている。

【００５０】（ステップ３）マクロブロック番号１の周
辺のマクロブロックのうち、フレームメモリ２内に画像
データが存在するものはその画素データ(図１３ａでハ
ッチングで示したブロック)をフレームメモリ２からデ
ータバス１３０を経由して、予測メモリセル１００の該
当するアドレスのセルに転送する。

【００５１】（ステップ４）ステップ３において転送さ
れた図１３ａでハッチングで示したそれぞれの画素デー
タのうち、境界にあるデータを基にステップ２ｄまたは
ステップ２ｆを繰り返すことにより、図１３ｂに示すハ
ッチングの領域にもデータを外挿して書き込む。

【００５２】以上、ステップ２からステップ４の処理に
より、予測メモリ１００のアドレス全てにデータが書き
込むことができる。以上で、予測メモリ１００上にマク
ロブロック番号１に対応する探索領域を全てカバーする
データが揃った。

【００５３】（ステップ５）予測メモリ１００中のブロ
ック番号５のマクロブロックの枠を上下左右に移動させ
てその移動後の画像データと入力画像データとで相関を
とる。相関が最も大きくなる時のデータの移動量が非制
限動ベクトルとなる。

【００５４】以上により、本発明の画像データ圧縮伸長
処理装置を用いて非制限動ベクトルを求める事ができ
る。予測メモリの画像データ形成にあたり、外挿手段で
利用される画像データが転送された場合に、転送手段が
予測メモリの対応するアドレスに書き込むとともに画像
データ外挿手段が外挿パターン信号をもとに画像データ
の外挿を行う。つまり画像データ外挿手段による外挿領
域へのデータ書き込みに際して、外挿領域と同じロウア
ドレスを持つ第１のマクロブロックデータがあれば、外
挿領域のカラムアドレスと最も近いカラムアドレスを持
つ第１のマクロブロックの境界の画像データを書き込
み、同じカラムアドレスを持つ第１のマクロブロックデ
ータがあれば、外挿領域のロウアドレスと最も近いロウ
アドレスを持つ第１のマクロブロックの境界の画像デー
タを書き込み、同じロウアドレス、カラムアドレスを持
つ第１のマクロブロックデータがなければ、外挿領域の
カラムアドレス、ロウアドレスと最も近いカラムアドレ
ス、ロウアドレスを持つ第１のマクロブロックの隅の画
像データを書き込むことになる。

【００５５】上記処理はマクロブロック番号１、外挿パ
ターン１に対応するものであるが、他の周辺エッジマク
ロブロック、外挿パターンに対する処理は、上記説明と
同様であり、図１４、図１５のテーブルに示したロウデ
コーダ、カラムデコーダのロウアドレス、カラムアドレ
ス指定に従い、画像データ外挿を実行する。

【００５６】なお、上記実施形態の説明では、Ｎ＝１
６，Ｍ＝１５としたが、Ｎ，Ｍが他のデータ構成数値で
も本発明を利用することができることは言うまでもな
い。

【００５７】

【発明の効果】本発明にかかる画像データ圧縮伸長処理
装置によれば、Ｈ.２６３等の画像圧縮伸長処理におい
て、非制限動ベクトルを求めるための予測メモリへの探
索領域をカバーする画像データ外挿処理が、単なる画像
データ転送と複数アドレスへの書き込みの繰り返しで実
行することができ、高速かつ簡便に予測メモリへの画像
データの形成、非制限動ベクトルの検出ができる。従来
方法で必要とされた複数の判断および分岐処理(例えば
３〜１０ステップ)の繰り返し処理を不要とすることが
できるので従来方法に比べ処理時間を短縮することがで
きる。

【００５８】また、削減した処理時間を、リアルタイム
処理などの場合に他の画像処理に充てることにより表示
動画像の高画質化を図ることも可能となる。用意する予
測メモリは、動きベクトル探索領域の容量のみでよく、
メモリ消費量を抑制することができる。

【図面の簡単な説明】

【図１】 本発明の画像データ圧縮伸長処理装置の概略
構成を示す図

【図２】 図１の制御部の概略構成を示す図

【図３】 図１の予測メモリの概略構成を示す図

【図４】 ソフトウェア処理によるフレームデータ外側
のデータを求める手順を示すフローチャート

【図５】 マクロブロック番号の振り方およびマクロブ
ロック内の画素データの関係を示す図

【図６】 マクロブロックおよびその探索領域を示す図

【図７】 外挿パターンと探索領域における外挿範囲の
関係を示す図

【図８】 予測メモリセル１００内のアドレスの振り方
を示す図

【図９】 予測メモリセル１００における外挿による複
数アドレスへの書き込みを説明する図

【図１０】 フレームメモリ２におけるマクロブロック
の画素データのアドレス番号を示す図

【図１１】 マクロブロックの画素データ１、２、１
７、１８に対する予測メモリセル１００上での外挿範囲
または書き込み範囲を示す図

【図１２】 マクロブロック番号１の画像データ転送・
外挿により書き込まれるデータ領域を示す図

【図１３】 マクロブロック番号１以外でフレームメモ
リ２から転送されるデータにより書き込み・外挿が行な
われる領域を示す図

【図１４】 ロウデコーダのテーブル

【図１５】 カラムデコーダのテーブル

【図１６】 入力画像データと前画像データの差分のと
り方を示す図

【図１７】 マクロブロックの探索領域を示す図

【図１８】 フレーム領域外のデータ推定を説明する図

【符号の説明】

１ 制御部 ２ フレームメモリ ３ 予測メモリ ４ 動きベクトル検出部 １１ マクロブロックカウンタ １２ マクロブロック判断部 １３ プログラムメモリ １３ａ 予測メモリ非使用プログラム １３ｂ 予測メモリ使用プログラム １４ 命令デコーダ １００ 予測メモリセル １０１，１０５ アドレスデータ １０２ 外挿パターン信号 １０３，１０６ リード信号 １０４ ライト信号 １０７ プログラム切替信号 １１０ ロウデコーダ １１１ ロウアドレス信号 １２０ カラムデコーダ １２１ カラムアドレス信号 １３０ データバス ２００ マクロブロック ２１０ 探索領域

Claims (7)

【特許請求の範囲】
1. 【請求項１】 フレームメモリと、 動きベクトル検出の探索領域の画像データを格納する予
   測メモリと、 動きベクトルの探索領域の一部がフレーム画像領域の外
   側に及ぶ第１のマクロブロックに対して前記第１のマク
   ロブロックの画像データと前記第１のマクロブロックの
   探索領域に含まれるマクロブロックの画像データとを前
   記フレームメモリから前記予測メモリの対応する領域に
   転送・書き込みする画像データ転送手段と、 前記予測メモリの未書き込みの領域である外挿領域に対
   して前記外挿領域との境界にある画像データに基づいて
   外挿することにより前記予測メモリに探索領域画像デー
   タを形成する画像データ外挿手段と、 前記予測メモリの探索領域画像データと入力画像データ
   から非制限動ベクトルを求める動きベクトル検出手段と
   を備えたことを特徴とする画像データ圧縮伸長処理装
   置。
2. 【請求項２】 読み込まれたマクロブロックの動きベク
   トル探索領域がすべてフレーム画像領域内にあるかフレ
   ーム画像領域外に及んでいるかを判断するマクロブロッ
   ク判断部を備え、 前記動きベクトル検出手段は、読み込まれたマクロブロ
   ックの動きベクトル探索領域がすべてフレーム画像領域
   内にある場合は前記フレームメモリの画像データを用い
   て前記動きベクトルを検出し、動きベクトル探索領域が
   フレーム画像領域外に及んでいる場合であれば前記予測
   メモリの画像データを用いて前記動きベクトルを検出す
   る請求項１に記載の画像データ圧縮伸長処理装置。
3. 【請求項３】 前記マクロブロック判断部は、読み込ま
   れたマクロブロックがフレーム画像の周辺エッジに位置
   するマクロブロックであれば、その動きベクトル探索領
   域がフレーム画像領域外に及んでいると判断し、フレー
   ム画像の周辺エッジではない内側に位置するマクロブロ
   ックであれば、動きベクトル探索領域がすべてフレーム
   画像領域内にあると判断する請求項２に記載の画像デー
   タ圧縮伸長処理装置。
4. 【請求項４】 前記第１のマクロブロックがＮ×Ｎのデ
   ータからなり、前記探索領域が上下左右Ｍデータ分であ
   る時に、前記予測メモリが(Ｎ＋２Ｍ)×(Ｎ＋２Ｍ)デー
   タ分の容量を持つ請求項１に記載の画像データ圧縮伸長
   処理装置。
5. 【請求項５】 前記画像データ外挿手段が、前記外挿領
   域に対して、同じロウアドレスを持つ前記第１のマクロ
   ブロックデータがあれば、前記予測メモリにマッピング
   したときに前記外挿領域にもっとも近い位置にある前記
   第１のマクロブロックの境界の画像データを書き込む第
   １の外挿手段と、同じカラムアドレスを持つ前記第１の
   マクロブロックデータがあれば、前記予測メモリにマッ
   ピングしたときに前記外挿領域にもっとも近い位置にあ
   る前記第１のマクロブロックの境界の画像データを書き
   込む第２の外挿手段と、同じロウアドレス、カラムアド
   レスを持つ前記第１のマクロブロックデータがなけれ
   ば、前記予測メモリにマッピングしたときに前記外挿領
   域にもっとも近い位置にある前記第１のマクロブロック
   の隅の境界の画像データを書き込む第３の外挿手段を備
   えた請求項１に記載の画像データ圧縮伸長処理装置。
6. 【請求項６】 周辺エッジに位置するマクロブロックに
   対して、周辺エッジのいずれの位置にあるかを示す外挿
   パターン信号を発生し、前記画像データ外挿手段は、前
   記外挿パターン信号に基づいて所定の外挿を実行する請
   求項１に記載の画像データ圧縮伸長処理装置。
7. 【請求項７】 前記画像データ外挿手段は、予測メモリ
   のアクセス番地を示すアドレス信号と前記外挿パターン
   信号と前記予測メモリへのリード・ライト信号とをデコ
   ードして前記予測メモリの対応する１または複数のロウ
   アドレスを指定するロウデコーダと、１または複数のカ
   ラムアドレスを指定するカラムデコーダとを備えた請求
   項６に記載の画像データ圧縮伸長処理装置。