JPH05236466A - 動き補償フレーム間予測画像符号化装置及び方法 - Google Patents

動き補償フレーム間予測画像符号化装置及び方法

Info

Publication number
JPH05236466A
JPH05236466A JP7554492A JP7554492A JPH05236466A JP H05236466 A JPH05236466 A JP H05236466A JP 7554492 A JP7554492 A JP 7554492A JP 7554492 A JP7554492 A JP 7554492A JP H05236466 A JPH05236466 A JP H05236466A
Authority
JP
Japan
Prior art keywords
image
output
circuit
decoded
storage circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7554492A
Other languages
English (en)
Inventor
Ichiro Tamiya
一郎 民谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP7554492A priority Critical patent/JPH05236466A/ja
Priority to DE1993630191 priority patent/DE69330191T2/de
Priority to EP19930102843 priority patent/EP0557948B1/en
Priority to US08/022,316 priority patent/US5473378A/en
Publication of JPH05236466A publication Critical patent/JPH05236466A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【目的】 ビデオレートの蓄積系メディア用動画像符号
化装置を低コストで提供する。 【構成】 入力動画像のフレーム順序を変更する入力画
像並べ替え手段1、画像内符号化及び前方向予測符号化
画像の復号画像を蓄える記憶回路2、アドレス発生手段
3、多段の動きベクトル探索を行なう動き検出手段4、
フレーム間予測信号とその予測差信号を出力する予測信
号生成手段5、量子化手段6、可変長符号化手段7、局
所復号手段8を含み、予測信号生成手段5は、記憶回路
2から最終段のベクトル探索用に動き検出手段4に読み
出されるデータを同時に取り込んで記憶回路2へのアク
セスを減らす。また、局所復号手段8の出力のうち画像
内符号化及び前方向予測符号化画像の復号画像を格納す
る記憶回路10、アドレス発生手段11により、局所復
号画像を再生フレーム順に戻して復号画像信号をモニタ
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像符号化を実現す
る符号化装置に関し、更に詳しくは、ビデオメールシス
テム,ビデオレコーダ等に用いられる蓄積系メディア用
のビデオレート圧縮再生装置に関する。
【0002】
【従来の技術】ビデオ信号をコンパクトディスク(C
D)のような比較的狭帯域のディジタルストレージメデ
ィアに格納することを目的に、高能率符号化処理が施さ
れる。国際標準化組織ISO−IEC JTC1/SC
2/WG11(以下、通称MPEG)では、1.5Mb
ps相当のメディアに対応した符号化方式が検討されて
いる。検討方式の概要については、例えば、画像電子学
会誌第20巻第4号306〜316項に解説が掲載され
ている。掲載内容によれば、動き補償フレーム間予測と
離散コサイン変換(DCT)、量子化、可変長符号化を
組み合わせたハイブリッド符号化が国際標準化方式とし
て採用される見通しである。MPEG方式の基本的な枠
組は、動画像通信用途を目的として既に国際標準化され
ているCCITT勧告H.261と同様であるが、画像
内符号化(I画像)、前方向予測符号化(P画像)に加
え、新たに後ろ方向予測を含めた双方向予測符号化(B
画像)を組み入れたフレーム間予測方式が用いられてい
る。また、動き補償に用いる動ベクトルも半画素精度ま
で精度を上げることによって符号化効率の向上を計って
いる。上述のような性能改善のために、符号化処理に要
する演算処理量や所要メモリ容量は、H.261の装置
実現に比べて飛躍的に増大するので、符号化装置の実現
には工夫を要する。
【0003】MPEG方式に基づいた画像符号化処理装
置を現状の技術で実現するには、市販の画像信号処理用
チップセットを用いることが考えられる。利用可能なも
のとしては、グラフィックス・コミュニケーション・テ
クノロジーズ(GCT)社から、商用となっているチッ
プセットがある。各チップの機能は、日経エレクトロニ
クス1990年6月25日号の209頁から222頁に
解説されている。同記載内容によれば、このチップセッ
トは、動ベクトル検出、DCT、逆DCT、量子化、逆
量子化、可変長符号化、可変長復号化といった個々の演
算機能を専用チップとして提供し、この組み合わせによ
りH.261用符号化装置を構成するものである。
【0004】
【発明が解決しようとする課題】ところが、前述のチッ
プセットを用いて、MPEG方式で新たに要求される前
方/後方フレーム間予測や半画素精度のベクトル検出を
ビデオレートで実現するには、多数のチップを並列動作
させざるを得ず、装置コストが増大するという問題が生
ずる。また、符号化用チップと復号用チップが別々にな
っているので、符号化装置に復号機能を組み込むと、演
算チップ数の増大につながるという問題がある。本発明
は、このような問題を解決し、オーサリング,ビデオメ
ール,ディジタルビデオレコーダ等で用いられるビデオ
レートの蓄積系メディア用符号化装置を低コストで提供
することを目的とする。
【0005】そのために、まず、両方向の動き補償や1
画素以下の精度のベクトル検出の様に既存のLSIでは
効率的に実現できない演算機能を、より高性能なVLS
Iに置き換え、部品数の低減を図ることが必要である。
実際、近年のVLSI技術を用いれば、所要の演算処理
能力を持ったVLSIを開発すること自体は難しくな
い。但し、当面のLSI技術では、画像データを保持す
るフレームメモリ回路を演算チップに内蔵できないの
で、VLSIの他にメモリ回路を用いたシステム構成が
前提となる。この場合、メモリ回路へのアクセス頻度に
より、採用するメモリチップの所要スピードやチップ数
が定まるので、最適なメモリ構成を与え、システム全体
のコストを低減することが重要である。従って、本発明
の課題は、外付けのメモリ配置に留意したシステムアー
キテクチャと具体的な実時間符号化処理手法を与えるこ
とにある。
【0006】また、上記のアプリケーションシステムで
は、実時間符号化機能と供に、符号化により得られたビ
ット系列から動画像を再生する機能が必須であり、ま
た、圧縮符号化による画質への影響を監視するために符
号化中の画像をモニタリングする機能も求められる。よ
って、復号装置を別途用意することなく、これら再生及
び実時間のモニタリング機能を符号化装置に組み入れら
れる構成を提供することも本発明の課題となる。
【0007】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明による第1の符号化装置は、動画像信号の
各画像フレームを、画像内符号化画像(以下I画像)、
前方向予測符号化画像(以下P画像)、両方向予測符号
化画像(以下B画像)の少なくとも3種のフレーム間予
測画像として符号化を施す動画像符号化装置であって、
フレーム間予測方式に基づき入力動画像のフレーム順序
を変更する入力画像並べ替え手段と、既に符号化したI
及びP画像の復号画像を蓄える第1の記憶回路と、第1
の記憶回路の入出力を制御する第1のアドレス発生手段
と第1の記憶回路に蓄えた復号画像と入力画像並べ替え
手段の出力との間で動きベクトルを検出する動き検出手
段と、検出された動きベクトルと第1の記憶回路に蓄え
た復号画像からフレーム間予測信号を生成し、入力画像
並べ替え手段の出力との予測差信号を出力する予測信号
生成手段と、予測差信号に対して量子化処理を施す量子
化手段と、量子化手段の出力に可変長符号化を施す可変
長符号化手段と、量子化手段の出力とフレーム間予測信
号を入力されI及びP画像の復号画像を生成する局所復
号手段とを含み、動き検出手段は、検出した動きベクト
ルにより第1のアドレス発生手段を制御して多段階の動
きベクトル探索を実現する動画像符号化装置であり、予
測信号生成手段は、動き検出手段が第1の記憶回路から
最終段のベクトル探索用に読み出したデータを同時に取
り込むことを特徴とした予測信号生成方法を採用してい
る。
【0008】本発明による第2の動画像符号化装置は、
前記第1の符号化装置に加えて、第2の記憶回路を具備
し、前記入力画像フレーム並べ替え手段の出力のうち、
I,P画像を第2の記憶回路に格納し、前記動き検出手
段は、第2の記憶回路に蓄えた入力画像と入力画像並べ
替え手段の出力との間で動きベクトルを検出し、第2の
記憶回路の入出力は、前記第1のアドレス発生手段で制
御される動画像符号化装置であり、前記予測信号生成手
段は、動き検出手段が第2の記憶回路から最終段のベク
トル探索用に読み出す入力画像データと同じアドレスの
復号データを第1の記憶回路から同時に読み出して予測
生成に用いることを特徴とした予測信号生成方法を採用
している。
【0009】また、本発明による第3の動画像符号化装
置は、前記第1もしくは第2の動画像符号化装置に加え
て、前記局所復号手段の出力を格納する第3の記憶回路
と第3の記憶回路の入出力を制御する第2のアドレス発
生手段と、第3の記憶回路もしくは局所復号手段からの
出力データを外部に出力する出力ポートとを具備し、局
所復号手段は、B画像の復号画像をも生成することを特
徴とした動画像符号化装置であり、局所復号手段から得
られるB画像の復号画像は出力ポートに出力し、I,P
画像の復号画像は、第3の記憶回路に格納した後に出力
ポートに出力することにより、符号化画像の局所復号画
像を再生フレーム順に戻して出力する復号画像信号モニ
タ方法を実現している。
【0010】本発明による第4の動画像符号化装置で
は、前記第3の符号化装置に加えて、外部から供給され
る可変長符号語を可変長復号する可変長復号手段を具備
し、第2のアドレス発生手段は、可変長復号手段が復号
した動きベクトルを用いて第3の記憶回路からの予測画
像データ読み出しを制御し、局所復号手段が、第3の記
憶回路から読み出された予測画像データと可変長復号手
段の出力から復号画像を再生する動画像符号化装置であ
り、局所復号手段より得られたB画像の復号画像は出力
ポートに出力し、局所復号手段より得られたI,P画像
の復号画像は、第3の記憶手段に格納した後に出力ポー
トに出力することにより、復号画像を再生フレーム順に
戻して出力する復号画像再生方法を採用している。
【0011】
【作用】ビデオレートで後ろ方向を含めたフレーム間予
測符号化を滞りなく行なうために、符号化処理に先だっ
て入力ビデオ信号のフレーム順序を入れ換える。これ
は、符号化対象画像に対する将来からのフレーム間予測
を行なうには、時間的に後から入力されるフレームを先
に符号化/復号化する必要があるためである。このよう
にフレーム順が入れ替わった入力を前提とすれば、各フ
レームの符号化に要する時間を1フレーム周期内に納め
ることで実時間での符号化処理が可能となる。
【0012】上記のような処理過程は、図2を用いて概
観できる。図の最上段に入力画像のフレーム列Fi (…
-10 1 2 …)を示している。各画像フレームに
は、画像内符号化(I画像)、前方向予測符号化(P画
像)、両方向予測符号化(B画像)のいずれかの符号化
方式が割り当てられる。この割り当てに基づいて入力順
を入れ換えたフレーム順序がその下段に示されている。
並べ替えられたフレーム順は、(…F0 -2-13
1 2 6 …)となり、この順には、符号化処理が施さ
れる。FM及びFM′は、画像2画面分の容量を持つフ
レームメモリで、各々、動きベクトルサーチと局所復号
信号格納に用いられる。サーチ用メモリ(FM)には、
I,P画像に対応する入力画像を格納して、現入力フレ
ームとの動きベクトルを検出に用いる。例えばF-2やF
-1の符号化時には、F-3とF0 がサーチメモリに格納さ
れているので、これを動きベクトル探索に用いる。求ま
った動きベクトルを用いて、メモリFM′に格納された
局所復号信号(F′-3F′0 )を読み出して予測信号を
生成する。例えばF-2やF-1の符号化には、前方向予測
は局所復号信号F′-3を、後ろ方向はF′0 を用いてフ
レーム間予測信号を生成する。FM及びFM′は、図2
最下段に示した信号TGLにより、入力信号及び局所復
号信号を格納する先頭アドレスを切替えて、最近符号化
された2枚のI画像もしくはP画像が格納される。尚、
公知の様に、動きベクトルの検出には、入力信号の代り
に局所復号信号を用いてもよい。この場合、FM′の内
容と現入力フレームとの間で動ベクトルを検出すれば良
いのでフレームメモリFMは削除できる。
【0013】各フレーム周期での符号化処理は、1枚の
画像をN画素×Nラインの小ブロックに分けて行なわれ
る。MPEG方式では、N=16とし、例えば、352
画素×240ラインの標準的な画像は、330個のブロ
ックに分けて符号化している。
【0014】1個のブロックに対して、先ず、前方向、
後ろ方向それぞれの動ベクトルを検出する。このとき、
双方向の動き検出が必要なこと、また、連続するB画像
の枚数に応じて、動ベクトル検索範囲を広げる必要もあ
るので、探索領域はH.261の8倍以上ともなる。従
って、全探索をそのまま実現すると、メモリアクセスも
大幅に増大する。このため、本発明は、まず、動ベクト
ル検出については、多段階サーチ法(以下段数をKとす
る)を採用し、各段の探索にはサブサンプルした信号の
みを使用して、サブサンプルに応じたアクセス頻度の削
減を図る。但し、1画素精度以下のベクトル検出を前提
とすると、補間計算が必要なので、少なくとも最終段の
ベクトルサーチには、探索範囲内の全ての画素値が必要
となる。一方、予測信号生成には、本質的に全ての画素
が必要となるので、サブサンプルできない。従って、本
発明では、メモリアクセスの効率を更に向上させるため
に、最終段サーチのためのメモリアクセスと予測信号作
成のためのアクセスを同時に行う方式を導入した。導入
にあたっては、動きベクトル検出に、局所復号信号を用
いる(図2のFM′に格納したデータをベクトル探索に
用いる)場合と、入力信号を用いる(図2のFMに格納
したデータをベクトル探索に用いる)場合の各々につい
て検討しているので、順次説明する。
【0015】先ず、局所復号信号から動きベクトルを検
出する場合では、N段目のサーチのためにFM′から読
み出したデータを同時に予測信号生成部内に設けたバッ
ファに取り込んでしまい、サーチ終了後1画素精度以下
のベクトルが確定してからバッファ内のデータを用いて
予測信号を生成する。こうすると、フレームメモリF
M′に対する間引きできないアクセス回数を2回から1
回に削減できる。
【0016】次に、入力信号から動きベクトルを検出す
る場合を考える。ベクトルサーチは、入力信号に対して
行なわれるので、サーチ部と予測生成部が、同じデータ
を使用することはできない。ところが、図2から分かる
ように、サーチ用メモリ(FM)と局所復号信号格納用
のメモリ(FM′)の同じアドレスに、対応する入力画
像と局所復号画像を格納できる。すなわち、予測信号生
成とK段目のサーチのためのデータ読み出しは、同じア
ドレス制御部でサーチ用メモリと局所復号信号格納用メ
モリの両方を同時にアクセスすることが可能である。以
上のようにして、前方向/後ろ方向の動きベクトル検出
と予測信号の生成に必要なメモリアクセスを減らしてい
る。
【0017】次に、符号化している画像を実時間でモニ
タリングするために、局所復号信号を外部に出力する方
法を示す。符号化順序は、入力信号と異なっているが、
最も最近復号された2枚のIもしくはP画像を一旦メモ
リに蓄えることで、元の順序に戻すことができる。この
表示フレームの順序変換は、再生機能としても必要であ
る。本発明では、再生及びモニタリング両用にフレーム
メモリ(FM″)を用意した。図2のように、FM″に
(局所)復号信号を格納し、その下段に示す表示順に戻
して出力する。
【0018】図2では、FM″内にB画像を蓄える領域
を確保して、B画像も一旦格納する。こうして、I,
P,B画像いずれにも同じ走査順に変換しながら読み出
すことができる。但し、後段にフレームバッファが用意
されている場合などでは、必ずしも走査変換を必要とし
ないので、FM″のB画像領域を削除してフレーム順の
並べ替えのみとすることもできる。
【0019】
【実施例】図1は本発明による第1の動画像符号化装置
の実施例を示している。図において、1は、フレーム間
予測方式に基づき入力動画像のフレーム順序を変更する
入力画像並べ替え回路、2は、符号化したI,P画像の
局所復号画像を蓄える記憶回路、3は、アドレス発生回
路、4は、動き検出回路、5は、予測信号生成回路、6
は、DCT及び量子化処理を施す量子化回路、7は、可
変長符号化回路、8は、逆量子化,逆DCT,フレーム
加算を施す局所復号回路、17は、画像信号入力ポー
ト、18は、ビット系列入出力ポートである。以下、本
実施例の動作を、各ブロックの詳細を説明しながら示
す。
【0020】図3には、入力フレームの並べ替え回路1
の構成例を示している。この例では、IもしくはP画像
の間に、M−1枚のBフレームが入るフレーム構成を実
現する。図において、31は、入力画像にM−1フレー
ムおきにI又はP画像を割り当て、その間のフレームを
B画像とするシーケンス回路で、フレーム周期毎に、3
bitの信号を出力する。32は、M−1画面分のデー
タを格納できるフレームメモリ、33a,33bは、ス
イッチ、34はオアゲート、35は、オアゲート34の
出力が‘1’のときフレーム同期により内容を反転する
トグルフリップフロップ、36は、ラスタ走査信号をブ
ロックスキャン信号に変換する走査変換回路である。シ
ーケンス回路31の出力は、図3の上方をMSBとする
2進数で表せば、I画像のとき‘100’、P画像のと
き‘010’、B画像のとき‘001’である。スイッ
チ33により、I又はP画像は入力ポート17の信号を
そのまま出力し、B画像はフレームメモリ32に格納し
て、Mフレーム周期遅延させた後に出力する。図2に示
した並べ替えの例では、最上段の入力フレーム(…F-2
-10 1 …F6 )から(…F-40 -2-13
1 2 6 )への変換はM=3として実現される。並べ
替えられた画像信号は、走査変換回路36で16画素×
16ラインのブロックスキャン信号に変換されて、出力
ポート38から出力される。また、図2のTGL信号波
形は、トグルフリップフロップ35の出力である。
【0021】このように入力画像並べ替え回路1で順序
及び走査順が変換された入力動画信号は、図1の動き検
出回路4に入力され、ブロック毎に符号化処理が施され
る。尚、カラー動画像の符号化は、色信号符号化部を別
途設けたり、色差信号のブロックをインタリーブして実
現するが、以下の説明では、1個のブロックを輝度信号
のみの16×16画素とし、記述を簡明にしている。
【0022】まず、動き検出回路4により、記憶回路2
に格納された局所復号信号から動ベクトルを検出し、検
出された動ベクトルに基づいて予測信号生成回路5が記
憶回路2のデータを用いて最適な予測信号を生成する。
そして、生成した予測信号は、局所復号回路8に、入力
信号との予測差信号は、量子化回路6に出力される。ア
ドレス発生回路3、動き検出回路4、予測信号生成回路
5の構成及び動作については、後に詳細に説明する。予
測差信号は、量子化回路6で離散コサイン変換と変換係
数への量子化が施され、可変長符号化回路7で、図示せ
ずも動ベクトル等の符号化モード情報と供に最終的なビ
ット系列に符号化され出力ポート18を介して外部に出
力される。一方、局所復号回路8では、量子化回路6の
逆操作が施され、更に、予測信号生成回路5より入力さ
れた予測信号とからI,P画像の局所復号信号を生成し
記憶回路2に格納する。量子化回路6、可変長符号化回
路7、局所復号回路8は、既に商用となっているLS
I、例えば、前述のGCT社より供給されるチップセッ
ト等を用いて構成できる。
【0023】図4は、本発明による第2の動画像符号化
装置の実施例を示している。図4において、1〜8,1
7,18は、図1と同じである。9は、入力画像並べ替
え回路1の出力のうちI,P画像のみが格納される記憶
回路である。但し、本実施例では動き検出回路4には、
記憶回路9に格納した画像信号が入力されている。ま
た、記憶回路9へのアクセスには、アドレス発生回路3
から記憶回路2に供給されるアドレスと同一のアドレス
が用いられる。
【0024】動き検出回路4と予測信号生成回路5(図
4内の点線で囲んだ範囲。)の詳細を図5に示してい
る。動きベクトル探索方式は、第1段では、32画素×
32行の領域内を2画素精度で探索し、第2段では1画
素及び0.5画素精度の動きベクトル探索を行なう2段
階ベクトル探索で、前方向と後ろ方向に対して、水平/
垂直方向各々±9の範囲内で0.5画素精度の動きベク
トルを検出している。図6(a)に第1段の探索、図6
(b)に第2段の探索の様子を図解してある。
【0025】図5において、41,43は、各々第1
段,第2段のベクトル探索用バッファメモリ、42,4
4は、各々第1段、第2段のベクトル探索回路、45
は、局所復号信号のバッファメモリ、46は、予測信号
生成ユニット、47は、予測信号格納用バッファメモ
リ、48は、入力画像信号から予測信号を減算し、予測
差信号を得る減算器、411,412,413,414
は、入力信号用バッファメモリ、410は入力画像並べ
替え回路1からの入力ポート、415,416は、各々
量子化回路6、局所復号回路8への出力ポート、417
は、アドレス発生回路3への動きベクトル出力ポート、
418は、入力ポートで、図1の構成では記憶回路2の
出力が、図4の構成では記憶回路9の出力が供給され
る。また、419は、記憶回路2からのデータ入力ポー
トである。
【0026】第1段探索は、32画素×32行の探索ウ
インドウから行方向列方向それぞれに1/2サブサンプ
リングを行なって16×16を図5の探索用バッファ4
1に取り込む。一方、入力信号も、1ブロックのデータ
(16×16)を同じく格子状にサブサンプルして、8
×8とし、バッファ411に格納する。このときのサブ
サンプルパタンは、図6(a)中に丸印で示されてい
る。ベクトル探索回路42で、水平/垂直方向各々±4
の範囲(原画像信号上では±8に対応)を探索する。こ
のときの試行ベクトル数は、水平,垂直各々9ベクトル
(±4)づつの81個となる。また、1つのブロックの
第1段の探索を行なった後、右隣のブロックの探索に移
るが、このとき、バッファメモリ41に新たに格納する
必要があるのは、図6(a)内に斜線で示した8×16
(原画像信号上では16画素×32行に対応)の領域で
ある。
【0027】第1段の動ベクトル探索回路42は、試行
ベクトル各々について画素単位の差の絶対値を積算し、
その最小値を検出することで、最適ベクトルとする。こ
のような演算処理は、例えば、INMOS社製の動きベ
クトル検出用LSI:ST3220を用いて実現でき
る。ST3220の動作概要は、映像情報誌1991年
6月号の83頁から89頁に記載がある。記載内容によ
れば、−8/+7画素,−8/+7ラインの範囲内の2
56点の試行ベクトルの中から最適なベクトルを検出す
るために、試行ベクトル数と同じ256個のプロセッサ
エレメント(PE)を並列動作させている。本実施例の
ベクトル探索回路42を実現するには、256個中の8
1個のPEのみを動作させれば、第1段の探索を実現で
きることになる。
【0028】第2段目の探索は、図6(b)の様に、第
1段で求まったベクトルの周辺からサブサンプリングせ
ずに18画素×18行の探索ウインドウをバッファメモ
リ43に取り込み、1画素以下の精度の動きベクトルを
検出する。第2段の動ベクトル探索回路43の詳細を図
7に示した。図7において、61は、1ライン(18画
素)の遅延を実現するラインメモリ、62a,62b,
62cは、加算器、64a,64b,64cは、各々1
/2,1/2,1/4を掛け合わせる乗算器、65a,
65bは、遅延器であり、以上により内挿ユニット60
が構成される。また、63a,63b,63c,63d
は、ベクトル探索回路、66は、最小値検出回路、6
7,68は、各々図5のバッファメモリ413と43と
から入力ブロック信号,第2段の探索領域データが供給
される入力ポート、69は、検出された動ベクトルを予
測信号生成回路5に出力する出力ポートである。
【0029】入力ポート68には、バッファメモリ43
に取り込まれた18×18画素のデータがブロックスキ
ャン順に読み出される。図6(b)の配置に対応する、
整数画素(o),水平方向0.5画素内挿(h),垂直
方向0.5画素内挿(v),水平/垂直0.5画素内挿
(hv)のデータ列が内挿ユニット60から出力され
る。各内挿信号に対して、前述のST3220と同様な
プロセッサエレメント(PE)を対応する試行ベクトル
数づつ接続する。すなわち、出力ポートo,h,v,h
vに、各々9個、6個、6個、4個の合計25個のPE
を配置し、並列動作させれば第2段の動きベクトル検出
回路を構成できる。以上のようにして、最適な0.5画
素精度の動きベクトル(探索範囲±1)が最小値検出回
路36で求まり、出力ポート69を介して予測信号生成
回路5に出力される。
【0030】図5の予測信号生成回路5では、バッファ
メモリ45内には、既に、バッファメモリ43内の画像
データに対応する18×18画素のデータが入力ポート
419から書き込まれている。従って、予測信号生成ユ
ニット46では、図7の内挿ユニット60と同様な処理
により、バッファメモリ45に格納された局所復号信号
から0.5画素精度のベクトルに対応した予測信号を生
成する。更に、バッファメモリ414の入力ブロック信
号との間で、最適な予測方式を判定して、フレーム間予
測信号を求め、予測信号格納用バッファメモリ47に格
納する。バッファメモリ47に格納されたフレーム間予
測信号は、出力ポート416を介して局所復号回路8に
出力される。一方、バッファメモリ412,413,4
14によりベクトル探索及び予測信号生成に要する時間
だけ遅延された入力信号は、減算器48によりバッファ
メモリ47に格納されている最適なフレーム間予測信号
との差信号に変換され出力ポート415を介して量子化
回路6に出力される。
【0031】図8は、図5の回路の動作タイミングを示
している。各フレームは、16×16画素のブロック
が、第1段の探索、第2段の探索、予測信号の生成とい
う3段のブロック周期で順次パイプライン処理される。
例えば、352×240,30フレーム/秒の動画像で
は、1ブロックの符号化周期が、約100マイクロ秒以
内であれば実時間処理が保証される。前方向と後ろ方向
のベクトル検出は、1ブロック周期を半分に分け、時分
割で行なっている。また、ベクトル検出や予測信号生成
に必要なデータが図5のバッファメモリ41,43,4
5に揃うように、ブロック周期の前半で前方向予測に必
要なデータの取り込みが、後半で後ろ方向予測に必要な
データが取り込まれる。また、図8下段に示した制御信
号x,y,zにより、I画像,P画像,B画像各々につ
いてアドレス発生回路3が制御され、記憶回路2及び記
憶回路9へのデータ入出力タイミングが決定される。
【0032】図9には、アドレス発生回路3の詳細を示
した。図9において、90は、符号化ブロックのブロッ
クベースアドレス発生回路、91aは、記憶回路9への
書き込み用ブロックベースアドレス発生回路、91b
は、記憶回路2への書き込み用ブロックベースアドレス
発生回路、92a,92bは、加算器、93は、1ブロ
ック周期遅れたブロックベースアドレスを出力する遅延
器、94、95、96は、ブロックスキャンアドレス発
生回路、97a、97b、97c、97dは、セレク
タ、99は、ゲート回路、910は、第1段ベクトル探
索回路42の検出した動きベクトルが供給される入力ポ
ート、911は、記憶回路2と記憶回路9にアドレスを
出力する出力ポートである。また、98は、フレームベ
ースアドレス発生回路で、図2のTGL信号により、画
像信号の2つのベースアドレスを2つの出力端子に交互
に切り替えて出力する。
【0033】ブロックスキャンアドレス発生回路94
は、符号化対象ブロックのベースアドレスを出力するブ
ロックベースカウンタ90の出力を起点に、第1段の動
ベクトル探索に必要な8×16=128画素の領域の読
みだしアドレスを発生する。ブロックスキャンアドレス
発生回路95は、前ブロック周期で求めた第1段の動き
ベクトル情報に基づいて第2段目のベクトル探索のため
の18×18=324画素の領域の読みだしアドレスを
発生する。一方、ブロックスキャンアドレス発生回路9
6は、記憶回路9及び記憶回路2にデータを書き込むた
めの16×16=256画素の領域の書き込みアドレス
を発生する。これらのアドレスは、図8下段に示した制
御信号x,y,zと、シーケンス制御回路31(図3)
の発生するI,P,B識別信号の組合せで定まるタイム
スロットで時分割多重して出力される。
【0034】B画像を符号化する間は、セレクタ97c
の出力として制御信号xにかかわらずセレクタ97bの
出力が選択される。セレクタ97bは、制御信号yがハ
イレベルの時、第1段のベクトル探索用データ読み出し
アドレスを、制御信号yがローレベルの時、第2段のベ
クトル探索用データ読み出しアドレスを選択する。
【0035】セレクタ97cは、IもしくはP画像を符
号化する間は、ブロック周期の後半は、ブロックスキャ
ンアドレス発生回路96の出力を選択する。ブロックス
キャンアドレス発生回路96へは、セレクタ97aによ
り、制御信号zがハイレベルの時、記憶回路9への書き
込みブロックベースアドレス発生回路91aの出力を選
択し、制御信号zがローレベルの時、記憶回路2への書
き込みブロックベースアドレス発生回路91bの出力を
選択する。このようにして、P画像及びI画像の間は、
ブロック周期の後半は、局所復号信号と、サーチメモリ
へのデータ書き込みに用いられる。
【0036】ブロック周期毎のメモリアクセスインタリ
ーブをまとめたのが図10である。図10(a)は、図
1の構成時、(b)は、図4の構成時のタイムスロット
割当を示し、1画素のデータを書き込み、もしくは、読
み出しに1サイクルかかるとしている。図中、r1f,
r1bは、第1段のベクトル探索に必要なデータの読み
だしを、r2f,r2bは、第2段のベクトル探索に必
要なデータの読みだしを、w2は、記憶回路2へのデー
タの書き込みを、w9は、記憶回路9へのデータの書き
込みを表している。
【0037】図10(b)についてアクセス頻度を調べ
る。先ず、I画像では、フレーム間予測を行なわないの
で、書き込み(w2,w9)の256サイクル×2=5
12サイクルのみ。P画像では、前方向予測(r1f,
r2f)の128+324=452サイクルと書き込み
(w2,w9)用の512サイクルの合計964サイク
ル。B画像では、前方向(r1f,r2f)と後方向
(r1b,r2b)予測の452サイクル×2=904
サイクルとなる。
【0038】ここで、1ブロックは16×16=256
画素なので、ブロック周期あたり256サイクルのメモ
リアクセスは、入力ビデオ信号の信号レートに相当す
る。図10から、L,P,B画像いずれを符号化する場
合も、ブロック周期あたり1024サイクルを下回って
いるので、本実施例の回路構成では、記憶回路2及び9
へのアクセスは、原信号の4倍以内に収っていることが
分かる。
【0039】以上、本発明による第1及び第2の動画像
符号化装置の実施例を示し、動ベクトル探索及び予測信
号生成に必要な記憶回路2、記憶回路9に対するアクセ
ス方式を説明した。
【0040】尚、サブサンプルによるベクトル探索の精
度改善のために、サブサンプルの前段に低域通過フィル
タを施すことが公知となっている。本発明においては、
動きベクトル検出回路が参照する記憶回路9もしくは記
憶回路2に書き込む際に、低域通過フィルタを施し、1
/4にサブサンプルする。このとき、記憶回路へのアク
セスは、原信号の1/4=0.25倍だけ増える。この
場合でも、全体として原信号レートの4倍あまりのアク
セス頻度のなかで全てのアクセスが実現されることが分
かる。
【0041】また、図4に示した実施例では、記憶回路
2と記憶回路9を個別のメモリとしているが、高速なメ
モリチップを採用すれば、一個の記憶回路の別のアドレ
ス空間に記憶回路2と記憶回路9の内容をマッピングす
ることもできる。
【0042】一般に、動ベクトル探索方式として、偶数
(又は、奇数)画素のみを用いたパタン照合を前提とす
れば、検出すべき動ベクトルが偶数(又は、奇数)画素
である限り、水平/垂直ともに偶数(又は、奇数)アド
レスのデータのみが演算対象となる。従って、第1段は
4画素精度、第2段は2画素精度とし、第3段で0.5
画素精度の動きベクトル探索を行なう3段階(K=3)
動きベクトル探索でも図5のバッファメモリ構成と図
8,図9,図10で示したメモリアクセス方式により実
現できる。すなわち、第1段ベクトル探索回路42のみ
を変更すれば、第1〜第K−1段の探索をバッファメモ
リ41の内容を用いて実現できる。このとき、バッファ
メモリ41へのデータ転送に必要なメモリアクセスとバ
ッファメモリ41の容量は、同じ探索範囲を1画素精度
で行なう場合の1/4である。
【0043】次に、本発明による第3及び第4の動画像
符号化装置の実施例を説明する。図11に、本発明によ
る第3の符号化装置の実施例のブロック図を示してい
る。本実施例は、実時間の符号化処理を行なうと同時
に、局所復号画像をモニタ画面に出力し、圧縮符号化画
像の監視手段を与えるものである。図11において、1
0は、モニタ/再生用記憶回路、11は、アドレス発生
回路、19は、モニタ/再生信号出力ポートであり、1
〜9,17,18は、図4と同じである。また、13
は、スイッチであり、動ベクトル検出回路4が、記憶回
路9に格納された入力信号と記憶回路2に格納された局
所復号信号のいづれかをベクトル探索に使用できる構成
となっている。
【0044】本実施例では、局所復号回路8は、I,P
画像のみならずB画像の局所復号信号も生成する。局所
復号されたI,P画像は、本発明の第1及び第2の実施
例と同じく記憶回路2に格納するが、同時に記憶回路1
0にも格納する。記憶回路10に書き込んだI,P画像
の局所復号信号は、図2下段に示したタイミングで遅ら
せて出力することにより、再生フレーム順に戻して出力
ポート19に出力できる。
【0045】局所復号回路8は、ブロック周期毎に復号
信号を出力するので、B画像を局所復号回路8から直接
出力ポート19に出力する場合、フレーム内の走査順
は、16×16のブロックスキャンとなる。これを外部
の画像モニタ回路等に合わせるために、記憶回路10か
らの読みだしをラスタ走査順とする。I,P画像につい
ては、既に、一旦記憶回路10に格納するので、読みだ
しアドレスの発生で実現できるが、B画像用のスキャン
変換は、変換領域を新たに記憶回路10の中に確保する
必要がある。このようなフレーム順序変換やフレーム内
走査変換に必要なアドレス発生回路11の動作は後述す
る。
【0046】図12は、本発明による第4の符号化装置
の実施例である。本実施例は、既に符号化したビット系
列を再生して符号化画像を確認したり、編集時に編集点
を探すための手段を与えるものである。図において12
は、可変長復号回路であり、1〜11,13,17〜1
9は、図11と同じである。但し、再生時は、符号化の
ために必要な機能、すなわち、入力画像並べ替え回路
1、動き検出回路4、予測信号生成回路5、量子化回路
6、可変長符号化回路7は動作を休止する。
【0047】可変長復号回路12は、ビット系列入出力
ポート18に外部より供給される符号化ビット系列を可
変長復号する。可変長復号回路12で再生された動ベク
トルは、アドレス生成回路11に出力される。局所復号
回路8には、可変長復号回路12と記憶回路10からア
ドレス生成回路で読み出された信号が入力される。ここ
で、可変長復号回路12は、従来の技術の頁で述べたチ
ップセットにあるようなLSIで実現できる。
【0048】局所復号回路8では、記憶回路10から読
み出された復号画像から予測信号を再生し、可変長復号
回路12から入力される予測差信号とのフレーム加算処
理により再生画像を得る。このとき、0.5画素精度の
動ベクトルを使った予測信号は、前方向と後ろ方向各々
について17×17の領域から局所復号回路8内で計算
により再生する必要がある。局所復号回路8で再生され
たI,P画像は、記憶回路10に格納され、後から復号
されるP画像及びB画像のフレーム間予測信号生成に用
いられる。出力ポート19から再生信号を出力する方法
は、前述の第3の符号化装置におけるモニタ出力と同じ
である。
【0049】第3及び第4の符号化装置の実施例に共通
して用いられるアドレス発生回路11の詳細を図13に
示している。
【0050】図13において、130は、局所復号回路
8で復号化されるブロックのベースアドレスを出力する
ブロックベースアドレス発生回路、131は、ブロック
ベースアドレスを遅延させる遅延器、132a,132
bは、加算器、134は、読みだし用ラスタ走査アドレ
ス発生回路、135は、書き込み用ブロックスキャンア
ドレス発生回路、136は、17×17のブロックスキ
ャンアドレスを発生する復号用ブロックスキャンアドレ
ス発生回路、137a,137b,137c,137d
は、セレクタ、138は、フレームベースアドレス発生
回路、139は、ゲート回路、133aは、アドレス出
力ポートである。また、133bは、入力ポートで、図
12の構成時のみ可変長復号回路12で復号された動き
ベクトルの整数部分が入力される。フレームベースアド
レス発生回路138は、図2のTGL信号により、画像
信号の2つのベースアドレスを2つの出力端子に交互に
切り替えて出力する。
【0051】書き込み用ブロックスキャンアドレス発生
回路135は、ブロックベースカウンタ130の出力を
局所復号回路8による再生処理遅延(1ブロック周期)
分だけ遅延器131で遅らせたアドレスを起点として復
号信号書き込みアドレスを生成する。また、読みだし用
ラスタ走査アドレス発生回路134は、記憶回路10か
ら出力ポート19に読み出すデータのアドレスを生成す
る。
【0052】一方、復号用プロックスキャンアドレス発
生回路136は、ビット系列から再生信号を得る場合の
み用いられる。ブロックベースカウンタ130の出力
に、入力ポート133aより入力される復号動ベクトル
の整数部を加算器132aで加えたアドレスを起点とし
て予測信号の再生に必要な17×17の領域を読み出す
アドレスを生成する。
【0053】セレクタ137aでは、制御信号xによ
り、ブロック周期の前半で、読みだし用ラスタ走査アド
レス発生回路134の出力を、後半で、ブロックスキャ
ンアドレス発生回路135の発生する書き込みアドレス
を選択する。また、セレクタ137bは、制御信号zが
ハイレベルの時、ブロックスキャンアドレス発生回路1
36の出力を選択し、制御信号zがローレベルの時、セ
レクタ137aの出力を選択する。このように、セレク
タ137bの出力には3種類のアドレス生成回路の出力
がブロック周期内でインタリーブして出力される。更
に、TGL信号及び、ゲート回路139によって適切な
フレームベースアドレスがセレクタ137c,137d
で選択され、加算器132bによりメモリ上の実アドレ
スに変換される。例えば、B画像の復号時で、かつ、z
信号がローレベルの間のみ、B画像のスキャン変換領域
のベースアドレス“B−base”をセレクタ137c
が選択する。それ以外では、ブロック周期の前半と後半
で前方向予測用のフレームベースアドレスと後ろ方向予
測用のフレームベースアドレスがセレクタ137dで切
替えられ、加算器132bに供給される。
【0054】アドレス発生回路11の出力アドレスのブ
ロック周期内のタイムスロット割り当てを図14に示
す。ここでは、再生時に用いられるタイムスロットを示
している。図示するように、ブロック周期内に3種のメ
モリアクセスがインタリーブされて記憶回路10に出力
される。ここで、roは、出力ポート19へのデータの
読みだしを、rf,rbは、再生時に必要な局所復号回
路8へのデータの読みだしを、wは、記憶回路10への
データの書き込みを表している。
【0055】I画像では、復号用の読み出しは必要無い
ので、書き込み(w)及びモニタ用読みだし(ro)の
計512サイクルのみ。P画像では、前方向予測信号生
成に必要(rf)な17×17=289サイクルと、モ
ニタ用入出力(ro,w)の512サイクルの合計80
1サイクル。B画像では、前方向及び後方向予測(r
f,rb)の289×2とモニタ用入出力(ro,w)
の512サイクルの合計1090サイクルとなる。
【0056】従って、記憶回路10へのアクセス頻度
は、原信号の1090/256=4.26倍となる。
尚、走査変換を行なわない場合、B画像では、289×
2=578に減少するので、P画像の801サイクルが
記憶回路10へ最大のアクセス頻度となり、原信号の8
01/256=3.13倍で良い。
【0057】以上のように、本発明による実施例では、
動ベクトル検出に、入力信号を用いる場合と局所復号信
号を用いる場合のいづれであっても、また、符号化画像
のモニタリングや、ビット系列からの再生を行なう場合
も各記憶回路に対しては原画像信号レートの高々4倍あ
まりのメモリアクセス範囲の中で実現できることが示さ
れた。
【0058】
【発明の効果】一般に、ブロックサイズをN×N,探索
ベクトルの範囲を水平方向m、垂直方向にnとするとき
の片方向の動ベクトル検出と予測信号生成に必要なメモ
リアクセスを評価する。
【0059】本発明による探索方式では、第1段目のア
クセス回数は、0.25N*(N+n)、第2段目の探
索(及び予測生成)は、(N+2)2 である。従って、
合計のアクセスは1.25N2 +(4+0.25n)N
+4となる。これは、ブロック周期あたりのアクセス頻
度なので、N2 で正規化すると原信号レートの1.25
+(4+0.25n)*(1/N)+4/N2 倍となる
ことが分かる。具体的な数値として、N=16で、ベク
トル探索に許されるアクセスを原信号レートの2倍とし
たとき、n=31程度まで探索可能である。これは±1
6の範囲で0.5画素精度の動ベクトルが求まることを
意味する。また、2.5倍まで見込むとn=63(±3
2)となり、実用上十分な動き補償範囲が得られる。
【0060】比較のために、局所復号信号からベクトル
探索を行なう場合を示す。ここでは、ベクトル探索に
は、ブロック周期毎にN*(N+n)のデータを取り込
み、かつ、バッファメモリ内に全てのデータを保持して
アクセスが最小となる場合を想定している。N2 で正規
化すると、1+n/Nとなる。N=16では、n=16
ですでに原信号レートの2倍となり、更に、n=32と
すると3倍、n=64とすると5倍となる。本方式に比
較して探索範囲の拡大(nの増加)が、全体のアクセス
に大きく影響することがわかる。
【0061】このように、本発明による動きベクトル探
索、予測信号生成に要するアクセスは、書き込みに要す
るアクセスを組み入れても、原信号の4〜5倍の信号レ
ートで、n=31〜64といった実用的な補償範囲が実
現できることが示された。
【0062】本発明により、符号化及び復号化に必要な
メモリをほぼ均等なアクセス頻度で配置したビデオレー
トの蓄積系メディア用符号化/復号化装置と符号化処理
手法が得られた。このため、各演算機能を、より高性能
なVLSIに置き換えて、更に部品数の低減を図った符
号化装置開発が可能となる。
【0063】符号化時のモニタリングや復号化処理にお
いては、記憶回路を用いて走査変換まで行なえるので、
後段での走査変換が不要となり、外付け回路を低減でき
る。また、モニタ/再生用メモリにB画像を全て格納す
る領域を確保すれば、B画像の再生もしくは局所復号時
でのスティル(ポーズ)画像もモニタ/再生用メモリか
ら繰り返し読みだすことで実現できる。外部に別途ステ
ィル用メモリを配置する構成に比べ、フレームメモリを
削減できる。
【0064】動ベクトル検出と予測信号生成部の実現に
はサブサンプリングを用いた多段方式を採用しているの
で、全探索法に比べてバッファメモリサイズが小さくて
済み、VLSI化に適する。また、アドレス発生回路が
1つで良いので、外部メモリアクセス用のアドレス出力
ピン数が節約できる。フレーム間予測方式として、入力
信号から動ベクトルを検出するにはメモリチップの追加
(もしくはメモリチップの高速化)のみで実現できるの
で、採用方式に適したシステムを構築できる。
【0065】可変長符号化と復号化処理、及び、モニタ
リング用アドレス生成と再生用アドレス生成は、各々符
号化時、復号化時のみに使用される機能である。従っ
て、VLSI開発においてプロセッサ形式を採用し、1
個のVLSIをプログラムの入れ換えで機能を切替える
ことが可能となる。このとき、再生、モニタリング機能
は、必要に応じてメモリチップのみの追加で実現できる
ので、装置構成に適したシステムを構築できる。
【図面の簡単な説明】
【図1】本発明による第1の符号化装置の実施例のブロ
ック図である。
【図2】本発明による実施例の動作タイミングを示した
説明図である。
【図3】本発明による実施例の詳細ブロック図である。
【図4】本発明による第2の符号化装置の実施例のブロ
ック図である。
【図5】本発明による実施例の詳細ブロック図である。
【図6】本発明の動作を示した説明図である。
【図7】本発明による実施例の詳細ブロック図である。
【図8】本発明による実施例の動作タイミングを示した
説明図である。
【図9】本発明による実施例の詳細ブロック図である。
【図10】本発明による実施例の動作タイミングを示し
た説明図である。
【図11】本発明による第3の符号化装置の実施例のブ
ロック図である。
【図12】本発明による第4の符号化装置の実施例のブ
ロック図である。
【図13】本発明による実施例の詳細ブロック図であ
る。
【図14】本発明による実施例の動作タイミングを示し
た説明図である。
【符号の説明】
1 入力画像並べ替え回路 2 記憶回路 3 アドレス発生回路 4 動き検出回路 5 予測信号生成回路 6 量子化回路 7 可変長符号化回路 8 局所復号回路 9 記憶回路 10 モニタ用記憶回路 11 アドレス発生回路 12 可変長復号回路 13 スイッチ 17 画像信号入力ポート 18 符号化系列入出力ポート 19 モニタ/再生信号出力ポート

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 動画像信号の各画像フレームを、画像内
    符号化画像(以下I画像)、前方向予測符号化画像(以
    下P画像)、両方向予測符号化画像(以下B画像)の少
    なくとも3種のフレーム間予測画像として符号化を施す
    動画像符号化装置であって、フレーム間予測方式に基づ
    き入力動画像のフレーム順序を変更する入力画像並べ替
    え手段と、既に符号化したI及びP画像の復号画像を蓄
    える第1の記憶回路と、前記第1の記憶回路の入出力を
    制御する第1のアドレス発生手段と前記第1の記憶回路
    に蓄えた復号画像と前記入力画像並べ替え手段の出力と
    の間で動きベクトルを検出する動き検出手段と、前記検
    出された動きベクトルと前記第1の記憶回路に蓄えた復
    号画像からフレーム間予測信号を生成し、更に、前記入
    力画像並べ替え手段の出力との予測差信号を出力する予
    測信号生成手段と、前記予測差信号に対して量子化処理
    を施す量子化手段と、前記量子化手段の出力に可変長符
    号化を施す可変長符号化手段と、前記量子化手段の出力
    と前記フレーム間予測信号を入力されI及びP画像の復
    号画像を生成する局所復号手段とを含み、前記動き検出
    手段は、検出した動きベクトルにより前記第1のアドレ
    ス発生手段を制御して多段階の動きベクトル探索を実現
    する動画像符号化装置。
  2. 【請求項2】 請求項1に記載の動画像符号化装置にお
    いて、前記予測信号生成手段は、前記動き検出手段が前
    記第1の記憶回路から最終段のベクトル探索用に読み出
    したデータを同時に取り込む予測信号生成方法。
  3. 【請求項3】 第2の記憶回路を具備し、前記入力画像
    フレーム並べ替え手段の出力のうち、I,P画像を前記
    第2の記憶回路に格納し、前記動き検出手段は、前記第
    2の記憶回路に蓄えた入力画像と前記入力画像並べ替え
    手段の出力との間で動きベクトルを検出し、前記第2の
    記憶回路の入出力は、前記第1のアドレス発生手段で制
    御される請求項1に記載の動画像符号化装置。
  4. 【請求項4】 請求項3に記載の動画像符号化装置にお
    いて、前記予測信号生成手段は、前記動き検出手段が前
    記第2の記憶回路から最終段のベクトル探索用に読み出
    す入力画像データと同じアドレスの復号データを前記第
    1の記憶回路から同時に読み出して予測生成に用いる予
    測信号生成方法。
  5. 【請求項5】 請求項1または3に記載の動画像符号化
    装置において、前記動き検出手段のベクトル探索は、第
    1段から第K−1段で2画素精度までの動きベクトル探
    索を、第K段では1画素精度以下の動きベクトル探索を
    行なうK段階の動きベクトル探索方法であって、第1段
    から第K−1段までのベクトル探索には前記第1または
    第2の記憶回路に格納される画像信号のうち格子状にサ
    ブサンプルした画素のみを参照する動きベクトル探索方
    法。
  6. 【請求項6】 前記局所復号手段の出力を格納する第3
    の記憶回路と前記第3の記憶回路の入出力を制御する第
    2のアドレス発生手段と、前記第3の記憶回路もしくは
    前記局所復号手段からの出力データを外部に出力する出
    力ポートとを具備し、前記局所復号手段は、B画像の復
    号画像をも生成する請求項1または3に記載の動画像符
    号化装置。
  7. 【請求項7】 請求項6に記載の動画像符号化装置にお
    いて、前記局所復号手段から得られるB画像の復号画像
    は前記出力ポートに出力し、I,P画像の復号画像は、
    前記第3の記憶回路に格納した後に前記出力ポートに出
    力することにより、符号化画像の局所復号画像を再生フ
    レーム順に戻して出力する復号画像信号モニタ方法。
  8. 【請求項8】 請求項6に記載の動画像符号化装置にお
    いて、前記局所復号手段から得られたI,P,B画像の
    復号画像は、全て前記第3の記憶回路に格納した後に出
    力ポートに出力することにより、符号化画像の局所復号
    画像を再生フレーム順に戻すと供に、画面内走査順を変
    換して外部に出力する復号画像信号モニタ方法。
  9. 【請求項9】 外部から供給される可変長符号語を可変
    長復号する可変長復号手段を具備し、前記第2のアドレ
    ス発生手段は、前記可変長復号手段が復号した動きベク
    トルを用いて前記第3の記憶回路からの予測画像データ
    読み出しを制御し、前記局所復号手段が、前記第3の記
    憶回路から読み出された予測画像データと前記可変長復
    号手段の出力から復号画像を得ることによって再生機能
    を実現する請求項6に記載の動画像符号化装置。
  10. 【請求項10】 請求項9に記載の動画像符号化装置に
    おいて、前記局所復号手段より得られたB画像の復号画
    像は出力ポートに出力し、前記局所復号手段より得られ
    たI,P画像の復号画像は、前記第3の記憶手段に格納
    した後に前記出力ポートに出力することにより、復号画
    像を再生フレーム順に戻して出力する復号画像再生方
    法。
  11. 【請求項11】 請求項9に記載の動画像符号化装置に
    おいて、前記局所復号手段より得られたI,P,B画像
    の復号画像を、全て前記第3の記憶手段に格納した後に
    前記出力ポートに出力することにより、復号画像を再生
    フレーム順に戻すと供に、画面内走査順を変換して出力
    する復号画像再生方法。
JP7554492A 1992-02-25 1992-02-25 動き補償フレーム間予測画像符号化装置及び方法 Pending JPH05236466A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP7554492A JPH05236466A (ja) 1992-02-25 1992-02-25 動き補償フレーム間予測画像符号化装置及び方法
DE1993630191 DE69330191T2 (de) 1992-02-25 1993-02-24 Prädiktive Zwischenbildkodierungsvorrichtung mit Bewegungsausgleich
EP19930102843 EP0557948B1 (en) 1992-02-25 1993-02-24 Motion compensating inter-frame predictive picture coding apparatus
US08/022,316 US5473378A (en) 1992-02-25 1993-02-25 Motion compensating inter-frame predictive picture coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7554492A JPH05236466A (ja) 1992-02-25 1992-02-25 動き補償フレーム間予測画像符号化装置及び方法

Publications (1)

Publication Number Publication Date
JPH05236466A true JPH05236466A (ja) 1993-09-10

Family

ID=13579254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7554492A Pending JPH05236466A (ja) 1992-02-25 1992-02-25 動き補償フレーム間予測画像符号化装置及び方法

Country Status (4)

Country Link
US (1) US5473378A (ja)
EP (1) EP0557948B1 (ja)
JP (1) JPH05236466A (ja)
DE (1) DE69330191T2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181746B1 (en) 1996-01-26 2001-01-30 Rohm Co., Ltd Image data decoding method and apparatus using memory for storing decoded data
WO2006006489A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 動き検出装置
KR100892471B1 (ko) * 2004-07-13 2009-04-10 파나소닉 주식회사 움직임 검출 장치
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
US7676101B2 (en) 2002-12-02 2010-03-09 Sony Corporation Method and apparatus for compensating for motion prediction
JP2016092557A (ja) * 2014-10-31 2016-05-23 富士通株式会社 動き探索処理プログラム、動き探索処理方法および動き探索処理装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485214A (en) * 1993-02-25 1996-01-16 Industrial Technology Research Institute Dual bus dual bank architecture for motion compensation
JP3275423B2 (ja) * 1993-03-04 2002-04-15 キヤノン株式会社 記録装置
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
WO1995004432A1 (en) * 1993-07-30 1995-02-09 British Telecommunications Plc Coding image data
CN1085466C (zh) * 1993-09-14 2002-05-22 株式会社金星社 图象解码器中包括半象素单元运动补偿装置的b帧处理装置
KR970003102B1 (ko) * 1993-09-17 1997-03-14 대우전자 주식회사 영상 복호기에서의 하프 픽셀 움직임 보상 회로
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
DE4342305A1 (de) * 1993-12-11 1995-06-29 Thomson Brandt Gmbh Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
FR2717648B1 (fr) * 1994-03-16 1996-05-15 France Telecom Procédé et dispostif d'estimation de mouvement entre images de télévision d'une séquence d'images.
FR2717979B1 (fr) * 1994-03-24 1996-06-21 Sgs Thomson Microelectronics Filtre de matrices de pixels.
ATE246864T1 (de) * 1994-06-06 2003-08-15 Sci Worx Gmbh Verfahren zur codierung/decodierung eines datenstroms
KR970010091B1 (en) 1994-06-13 1997-06-21 Lg Electronics Inc Address generating apparatus for image moving compensation
JP2858631B2 (ja) * 1994-06-29 1999-02-17 日本ビクター株式会社 画像データ編集装置及び画像データ復号装置
JP2970417B2 (ja) * 1994-08-22 1999-11-02 日本電気株式会社 動画像符号化方式
JP3506504B2 (ja) * 1994-09-26 2004-03-15 三菱電機株式会社 ディジタル映像信号記録再生装置
KR0178231B1 (ko) * 1995-08-10 1999-05-01 배순훈 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
JP3191583B2 (ja) * 1994-12-12 2001-07-23 ソニー株式会社 情報復号化装置
JP2738325B2 (ja) * 1995-01-24 1998-04-08 日本電気株式会社 動き補償フレーム間予測装置
US5557320A (en) * 1995-01-31 1996-09-17 Krebs; Mark Video mail delivery system
US5734677A (en) * 1995-03-15 1998-03-31 The Chinese University Of Hong Kong Method for compression of loss-tolerant video image data from multiple sources
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd 1つまたは2つの予測ブロックからブロックの画素値を計算する方法
US8625665B2 (en) * 1996-09-20 2014-01-07 At&T Intellectual Property Ii, L.P. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
EP1689188A3 (en) 1996-11-07 2008-12-10 Panasonic Corporation Image encoder and image decoder
US6208655B1 (en) 1996-11-27 2001-03-27 Sony Europa, B.V., Method and apparatus for serving data
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
EP0917363A1 (en) * 1997-11-17 1999-05-19 STMicroelectronics S.r.l. Motion estimator algorithm and system's architecture
US6313767B1 (en) * 1999-02-19 2001-11-06 Canon Kabushiki Kaisha Decoding apparatus and method
US20020110094A1 (en) * 2001-02-13 2002-08-15 Reddy Naveen S. Spot beam hopping packet scheduler system
US6868123B2 (en) * 2001-12-07 2005-03-15 Motorola, Inc. Programmable motion estimation module with vector array unit
US6987807B2 (en) * 2002-04-19 2006-01-17 Seiko Epson Corporation Frame compression using differential codes and an escape code
TWI266539B (en) * 2005-01-13 2006-11-11 Via Tech Inc Decoding device with multi-buffers
JP4764807B2 (ja) * 2006-11-30 2011-09-07 富士通セミコンダクター株式会社 動きベクトル検出装置および動きベクトル検出方法
US20090033791A1 (en) * 2007-07-31 2009-02-05 Scientific-Atlanta, Inc. Video processing systems and methods
US9369742B2 (en) 2012-12-06 2016-06-14 Avaya Inc. System and method to estimate end-to-end video frame delays
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US20150341659A1 (en) * 2014-05-22 2015-11-26 Apple Inc. Use of pipelined hierarchical motion estimator in video coding
JP6665611B2 (ja) 2016-03-18 2020-03-13 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03129985A (ja) * 1989-10-14 1991-06-03 Sony Corp 映像信号符号化方法及び映像信号符号化装置
JPH03247190A (ja) * 1990-02-26 1991-11-05 Sony Corp 動きベクトル検出回路
JPH03295377A (ja) * 1990-04-13 1991-12-26 Fujitsu Ltd 動画像符号化制御方式
JP3111073B2 (ja) * 1989-11-25 2000-11-20 ローベルト・ボッシュ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 燃料供給ポンプの駆動装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH0832047B2 (ja) * 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
DE69031107T2 (de) * 1989-10-14 1997-11-13 Sony Corp Anordnung und Verfahren zum Übertragen eines Videosignals
JPH07112284B2 (ja) * 1990-01-20 1995-11-29 日本ビクター株式会社 予測符号化装置及び復号化装置
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
FR2660138B1 (fr) * 1990-03-26 1992-06-12 France Telecom Cnet Dispositif de codage/decodage de signaux d'image.
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
JP2855861B2 (ja) * 1991-01-16 1999-02-10 日本ビクター株式会社 フレーム間・フィールド間予測符号化装置及びその方法
JPH0575988A (ja) * 1991-02-08 1993-03-26 Canon Inc 通信装置
US5146325A (en) * 1991-04-29 1992-09-08 Rca Thomson Licensing Corporation Video signal decompression apparatus for independently compressed even and odd field data
US5185819A (en) * 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
US5213549A (en) * 1991-07-22 1993-05-25 Pierre Blanchard Derailleurs for multi-speed bicycles
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
US5144424A (en) * 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
KR940010241B1 (ko) * 1991-12-14 1994-10-22 산성전자 주식회사 이동 벡터 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03129985A (ja) * 1989-10-14 1991-06-03 Sony Corp 映像信号符号化方法及び映像信号符号化装置
JP3111073B2 (ja) * 1989-11-25 2000-11-20 ローベルト・ボッシュ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 燃料供給ポンプの駆動装置
JPH03247190A (ja) * 1990-02-26 1991-11-05 Sony Corp 動きベクトル検出回路
JPH03295377A (ja) * 1990-04-13 1991-12-26 Fujitsu Ltd 動画像符号化制御方式

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181746B1 (en) 1996-01-26 2001-01-30 Rohm Co., Ltd Image data decoding method and apparatus using memory for storing decoded data
US7676101B2 (en) 2002-12-02 2010-03-09 Sony Corporation Method and apparatus for compensating for motion prediction
WO2006006489A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 動き検出装置
JPWO2006006489A1 (ja) * 2004-07-13 2008-04-24 松下電器産業株式会社 動き検出装置
KR100892471B1 (ko) * 2004-07-13 2009-04-10 파나소닉 주식회사 움직임 검출 장치
JP4709155B2 (ja) * 2004-07-13 2011-06-22 パナソニック株式会社 動き検出装置
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
JP2016092557A (ja) * 2014-10-31 2016-05-23 富士通株式会社 動き探索処理プログラム、動き探索処理方法および動き探索処理装置

Also Published As

Publication number Publication date
EP0557948A2 (en) 1993-09-01
DE69330191T2 (de) 2002-01-31
US5473378A (en) 1995-12-05
DE69330191D1 (de) 2001-06-13
EP0557948B1 (en) 2001-05-09
EP0557948A3 (en) 1994-07-27

Similar Documents

Publication Publication Date Title
JPH05236466A (ja) 動き補償フレーム間予測画像符号化装置及び方法
US6028635A (en) Reducing the memory required for decompression by storing compressed information using DCT based techniques
JP4138056B2 (ja) マルチスタンダード脱圧縮及び/又は圧縮装置
EP0712249B1 (en) Pixel interpolation filters for video decompression processor
US6104416A (en) Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US6215822B1 (en) Motion compensated digital video decoding and buffer memory addressing therefor
US6320909B1 (en) Picture decoding and display unit including a memory having reduce storage capacity for storing pixel data
EP1689195A2 (en) Picture memory mapping to minimize memory bandwidth in compression and decompression of image sequences
EP1719346A1 (en) Method of video decoding
US6552749B1 (en) Method and apparatus for video motion compensation, reduction and color formatting
JPH08294115A (ja) Mpeg復号化器及びその復号化方法
US7542612B2 (en) Signal processing method and signal processing device
US6928115B2 (en) Compression-encoded data decoding apparatus cross-reference to related applications
US7330595B2 (en) System and method for video data compression
JPH10136381A (ja) 動画像符号化復号化装置及びその方法
JPH0723397A (ja) 画像信号復号化装置及び画像信号復号化方法
WO1999016252A1 (en) Motion compensated digital video decoding with buffered picture storage memory map
US6108381A (en) Tree search vector quantization for compressing digital video data to be stored in buffers and MPEG decoder and SQTV processor with reduced memory requisites
JP2863096B2 (ja) 並列処理による画像復号装置
JPH0730903A (ja) 画像処理用メモリ集積回路
JPH07298264A (ja) 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置
JP2776284B2 (ja) 画像符号化装置
JP4559785B2 (ja) 信号処理方法および信号処理装置
US7269288B2 (en) Apparatus for parallel calculation of prediction bits in a spatially predicted coded block pattern and method thereof
US20040179592A1 (en) Image coding apparatus

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19980630