JPH1070728A - 現フレーム予測装置 - Google Patents

現フレーム予測装置

Info

Publication number
JPH1070728A
JPH1070728A JP11932397A JP11932397A JPH1070728A JP H1070728 A JPH1070728 A JP H1070728A JP 11932397 A JP11932397 A JP 11932397A JP 11932397 A JP11932397 A JP 11932397A JP H1070728 A JPH1070728 A JP H1070728A
Authority
JP
Japan
Prior art keywords
frame
current frame
signal
predicted
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11932397A
Other languages
English (en)
Other versions
JP3938972B2 (ja
Inventor
Binshyo Ri
敏燮 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of JPH1070728A publication Critical patent/JPH1070728A/ja
Application granted granted Critical
Publication of JP3938972B2 publication Critical patent/JP3938972B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 現フレ-ム信号を効率的に予測して、デー
タ圧縮効率を向上させ得る現フレーム予測装置を提供す
る。 【解決手段】 本発明の現フレ-ム予測装置は、パニ
ングベクトルを検出するパニングベクトル検出部220
と、パニングベクトル及び基準フレームに基づいて、代
替可能な領域及び代替不可能な領域よりなる予測フレー
ムを決定する予測フレーム決定部230と、選択情報を
発生する選択制御部240と、第1の予測現フレーム信
号を生成する第1フレーム発生部270と、第2の予測
現フレーム信号を発生する第2現フレーム発生部280
と、選択情報に応じて、第1または第2予測現フレーム
信号を予測現フレーム信号として選択する選択部290
とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号符号化装
置に関し、特に、現フレーム信号をより正確に予測し
て、伝送すべきデータの量をより一層減らし得る現フレ
ーム予測装置に関する。
【0002】
【従来の技術】公知のように、ディジタル映像信号の伝
送はアナログ信号よりも高画質の映像を得ることができ
る。一連のイメージ「フレーム」からなる映像信号が、
ディジタル形態に表現される場合、とりわけ、高精細度
テレビジョンシステムの場合に、その伝送の際に大量の
データが必要となる。しかしながら、従来の伝送チャネ
ル上の利用可能な周波数帯域幅は制限されているので、
その制限されたチャネルを通じて大量のディジタルデー
タを伝送するためには、伝送すべきデータの量を圧縮す
るか減らす必要がある。このために、多様な映像圧縮技
法のうち、統計的符号化技法と、時間的、空間的技法と
を組み合わせた技法、いわゆるハイブリッド符号化技法
が最も効率的なものとして知られている。
【0003】ほとんどのハイブリッド符号化技法は、動
き補償DPCM(差分パルス符号変調)、2次元DCT
(離散的コサイン変換)、DCT係数の量子化、VLC
(可変長符号化)などを用いる。動き補償DPCMは、
現フレームとその前フレームまたは未来フレーム(即
ち、基準フレーム)との間の物体の動きを推定し、物体
の動きに応じて現フレームを予測して、現フレームとそ
の予測値との間の差を表す差分信号を生成する方法であ
る。この方法は、例えば、Staffan Erics
sonによる、“Fixed and Adaptiv
e Predictors for Hybrid P
redictive/TransformCodin
g, IEEE Transactions on C
ommunications,COM−33, No.
12(1985年12月)”またはNinomiya及
びOhtsukaの論文“A Motion Comp
ensated Interframe Coding
Scheme for Television Pi
ctured, IEEE Transactions
on Communications,COM−3
0, No.1(1982年1月)”に開示されてい
る。
【0004】映像データ間の空間的冗長性を減らすか、
または、それを利用する2次元DCTでは、ディジタル
映像データよりなるブロック(例えば、8×8画素ブロ
ック)を変換係数データの組に変換する。この技法はC
hen及びPrattの論文“Scene Adapt
ive Coder, IEEE Transacti
ons on Communications,COM
−32, No.3(1984年3月)”に開示されて
いる。そのような変換係数データを量子化器、ジグザグ
走査及び可変長符号化で処理することによって、伝送す
べきデータの量をより一層効果的に圧縮することができ
る。
【0005】詳述すると、動き補償DPCMでは、現フ
レーム信号が、現フレームと基準フレームとの間の動き
推定に基づいて対応する基準フレームから予測される。
そのように推定された動きは、基準フレームと現フレー
ムとの間の画素の変位を表す2次元動きベクトルによっ
て定義され得る。
【0006】物体の画素の変位を推定するための2つの
基本的な方法がある。その1つはブロック単位の推定方
法であり、他の1つは画素単位の推定方法である。
【0007】ブロック単位の動き推定方法において、現
フレーム内のブロックは最適整合が検出されるまで、そ
の基準フレーム内の各ブロックと比較される。これによ
って、全ブロックに対するフレーム間変位ベクトル(こ
れは、各フレーム間で各画素のブロックがどのくらい移
動したかを表す)が伝送される現フレームに対して推定
され得る。
【0008】そのようなブロックマッチング技法は、
“ITU Telecommunication St
andardization Sector Stud
y Group 15, Working Party
15/1 Expert‘sGroup on Ve
ry Low Bit Rate Visual Te
lephony, Video Codec Test
Model, TMN4 Revl(1994年10
月25日)”に開示されたように、フレームシーケンス
内のPフレーム及びBフレームを推定するのに用いられ
得る。ここで、Pフレーム(または、予測フレーム)
は、(基準フレームとしての)その前フレームから予測
されるフレームを表し、Bフレーム(または、両方向予
測フレーム)は、(基準フレームとしての)その前フレ
ーム及び後続フレームから予測される。Bフレームを符
号化する際には、特に、両方向動き推定技法を用いて順
方向及び逆方向の変位ベクトルを求める。ここで、順方
向の変位ベクトルは、Bフレームと基準フレームとして
のその前のイントラフレーム(Iフレーム)または予測
フレーム(Pフレーム)との間の物体動きを推定して得
られ、逆方向変位ベクトルは、Bフレームと、基準フレ
ームとしてのその後続IフレームまたはPフレームとに
基づいて求められる。
【0009】ブロックマッチング技法では、現フレーム
内の各探索ブロックに対する動きベクトルを求めるた
め、現フレーム内の探索ブロックと、基準フレーム内の
一般により大きい探索領域に含まれており、各々が同一
な大きさを有する複数の候補ブロックの各々との間の類
似度の計算が行われる。平均絶対エラーや平均二乗エラ
ーのようなエラー関数が、現フレーム内の探索ブロック
と探索領域内の候補ブロックのうち何れか1つとの間の
類似度の計算が行うのに用いられる。また、動きベクト
ルは、探索ブロックと最小のエラー、つまり差分をもた
らす候補ブロックとの間の変位として定義される。各動
きベクトルは符号化された後、動き補償符号化方法を用
いて伝送器の伝送チャネルを通じて受話器に送られる。
受信器では、伝送された動きベクトルを用いて現フレー
ムを再構成する。
【0010】動き補償DPCMにおいて、ほとんどの周
囲画面または背景画面は動かずにフレームシーケンスの
動きが物体上で局所的または微細に生じるか、または、
例えばカメラパニングの場合のような単純な並進運動の
みを行うことがあり得る。その場合、フレームシーケン
スの実際値と予測値との間には差が発生し得る。従っ
て、同一な変位を有する複数の動きベクトルが発生する
ことになる。しかし、動き補償符号化方法においては、
同一な変位を有する全ての動きベクトルを伝送する前に
符号化されるので、データ圧縮システムの効率の低下が
もたらされるという不都合がある。
【0011】
【発明が解決しようとする課題】従って、本発明の主な
目的は、現フレーム信号を効果的に予測して、ディジタ
ル映像信号圧縮システムのデータ圧縮効率を向上させ得
る現フレーム予測装置を提供することにある。
【0012】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、映像信号符号化システムに用い
られ、一連のフレームよりなる映像信号に含まれる現フ
レームと基準フレームとに基づいて予測現フレーム信号
を求める現フレーム予測装置であって、前記現フレーム
と前記基準フレームとの間の空間的変位を表すパニング
ベクトル(panning vector)を検出するパニングベクト
ル検出手段と、前記パニングベクトル及び前記基準フレ
ームに基づいて、前記基準フレームから選択された画素
値を有する代替可能な領域と画素値を全く有しない代替
不可能な領域とを有する予測フレームを決定する予測フ
レーム決定手段と、前記パニングベクトルの大きさと基
準値とを比較して、選択情報を発生する選択情報発生手
段と、前記予測フレーム内の前記代替可能な領域な領域
に属する画素値を前記代替不可能な領域に移動させて、
第1の予測現フレーム信号を生成する第1予測現フレー
ム信号生成手段と、前記パニングベクトル、前記現フレ
ーム信号及び前記基準フレーム信号に基づき、前記代替
不可能な領域に対してブロックマッチング技法を用い
て、第2予測現フレーム信号を生成する第2予測現フレ
ーム信号生成手段と、前記選択情報に応じて、前記第1
の予測現フレーム信号または前記第2予測現フレーム信
号の何れかを前記予測現フレーム信号として選択する予
測現フレーム信号選択手段とを含むことを特徴とする現
フレーム予測装置が提供される。
【0013】
【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。
【0014】図1は、本発明による映像信号符号化シス
テムを示すブロック図で、入力映像信号はフレーム再配
列ブロック100に供給される。図7に例示的に示した
ように、入力映像信号は1つのイントラフレーム(Iフ
レーム)、3つの両方向予測フレーム(Bフレーム)B
1、B2、B3及び3つの予測フレーム(Pフレーム)
P1、P2、P3からなるフレームシーケンスから構成
される。かくして、フレームシーケンスはI1、B1、
P1、B2、P2、B3、P3からなり、フレーム再配
列ブロック100に供給される。このフレーム再配列ブ
ロック100では、Bフレームに対する両方向予測フレ
ーム信号を生成するため、フレームシーケンスは例え
ば、I1、B1、P1、B2、P2、B3、P3の再配
列映像信号に再び配列される。その後、再配列映像信号
はフレーム格納ブロック900にフレーム単位で供給さ
れる。
【0015】フレーム格納ブロック900は受け取った
各フレーム信号を格納し、格納していたフレーム信号を
ラインL10を介して、現フレーム信号として動き補償
ブロック200に供給すると共に、現フレーム信号をブ
ロック単位で第1スイッチ750へ供給する。ここで、
現フレーム信号は、N×M個の画素値を有する複数のブ
ロックに分けられN及びMは各々正の整数である。
【0016】図1に示したように、映像信号符号化シス
テムは、フレーム符号化モードに従って切替えられる第
1〜第3スイッチ750、770、850を備えてい
る。第1及び第2スイッチ750、770は、2つの符
号化モード、即ち、イントラフレーム符号化モード及び
インタフレーム符号化モードを選択的に行うため、従来
のシステム制御器(例えは マイクロプロセッサ(図示
せず))からの第1フレームモード制御信号SC1によ
って駆動される。詳述すると、第1スイッチ750はイ
ントラフレーム符号化モードの際はラインL70に接続
されインタフレーム符号化モードの際にはラインL80
に接続される。また、第2スイッチ770は、第1フレ
ームモード制御信号SC1に応動してイントラフレーム
符号化モードの際はオフにされ、インタフレーム符号化
モードの際にはオンにされる。一方、第3スイッチ85
0は、第2フレームモード制御信号SC2に応じて、現
フレームがPフレームまたはIフレームである場合に
は、オンにされ、現フレームがBフレ-ムである場合に
はオフにされる。これらのスイッチ750、770、8
50は、上述のように動作するものであり、以下、これ
に関する説明は省略する。
【0017】イントラフレーム符号化モードでは、フレ
ーム格納ブロック900から取り出されたイントラフレ
ーム信号(例えば、I1フレーム信号)は、現フレーム
信号としてラインL70を介して映像信号符号化器40
0に直接に送られる。
【0018】この映像信号符号化器400において、現
フレーム信号は、例えば、離散的コサイン変換(DC
T)及び公知の量子化方法のうちの何れか1つを用いて
量子化変換係数の組に符号化される。その後、量子化変
換係数はエントロピー符号化器600及び映像信号符号
化器500に供給される。
【0019】エントロピー符号化器600において、映
像信号符号化器400からの量子化変換係数は、例え
ば、可変長符号化技法を用いて符号化された後、符号化
映像信号として伝送器(図示せず)を通じて伝送され
る。
【0020】一方、映像信号符号化器500は、映像信
号符号化器400からの量子化変換係数を、逆量子化及
び逆離散的コサイン変換を用いて再構成イントラフレー
ム信号に再び変換する。映像信号符号化器500からの
再構成イントラフレーム信号は格納ブロック300に基
準フレーム信号として格納される。この格納ブロック3
00は、各々ラインL20及びL30を介して動き補償
ブロック200に接続された2つのフレームメモリ31
0及び320を備えている。
【0021】インタフレーム符号化モードでは、即ち、
現フレームが予測フレームである場合は、現フレーム信
号は、ラインL10を介してフレーム単位で動き補償ブ
ロック200に供給され、第1スイッチ750を通じて
ブロック単位で減算器700に供給される。
【0022】動き補償ブロック200では、現フレーム
信号(即ち、予測フレーム)が格納ブロック300に格
納された基準フレーム信号に基づいて予測され、予測現
フレーム信号が出力される。このような予測過程におい
ては、前述したようにPフレームはその前フレームから
予測される一方、Bフレームはその両側に位置する2つ
のフレームから予測される。例えば、現フレームがP1
フレームである場合、その前フレーム(即ち、再配列さ
れた映像信号におけるI1フレーム)が基準フレームと
して用いられる。一方、現フレームがB1フレームであ
る場合には、両側フレーム(即ち、I1フレーム及びP
1フレーム)がその基準フレームとして用いられる。
【0023】図2には、本発明による動き補償ブロック
200の詳細なブロック図が示されている。この動き補
償ブロック200は、パニングベクトル(panning vect
or)決定部220、フレーム決定部230、選択制御部
240、ブロック形成部250、ブロック整合部26
0、第1フレーム発生部270、第2フレーム発生部2
80及び選択部290からなる。以下、動き補償ブロッ
ク200を構成している各部について説明する。
【0024】最初、ラインL10を介してフレーム格納
ブロック900から取り出された現フレーム信号は、パ
ニングベクトル決定部220及びブロック形成部250
に供給される。また、ラインL20及び/またはライン
L80を介して格納ブロック300から取り出された基
準フレーム信号はパニングベクトル決定部220、予測
フレーム決定部230及びブロック整合部260に各々
入力される。
【0025】パニングベクトル決定部220では、現フ
レームと最適に整合する基準フレームが求められるま
で、基準フレームを現フレームに沿ってシフトさせるこ
とによって、最適の整合位置にある基準フレームと現フ
レームとの間の空間的変位を表すパニングベクトルを決
定する。このように最適整合となるようにシフトされる
基準フレームと現フレームとの間の空間的変位は、2つ
のフレームの重複領域に属する対応する各画素値間の最
小エラー即ち差分をもたらし、これが現フレームのパニ
ングベクトルとして決定される。上記エラーは、基準フ
レームと現フレームとの間の類似度を測定するため用い
られる平均絶対エラーまたは平均二乗エラーとして定義
される。
【0026】例えば、図3に示したように、上記過程
で、現フレームCFがPフレームである場合、現フレー
ムCFと前フレームPFとの間の空間的変位FMV1が
現フレームCFのパニングベクトルとして決定される。
一方、Bフレームが現フレームとして与えられる場合に
は、逆方向変位ベクトルBMV1と順方向変位ベクトル
FMV1とのうち、より小さいエラー値を有するフレー
ムに対応する動きベクトルが現フレームCFのパニング
ベクトルとして決定される。ここで、BMV1は現フレ
ームCFとその後続フレームSFとの間の空間的変位を
表し、FMV1は現フレームCFとその前フレームPF
との間の空間的変位を表す。以下、説明の便宜上、FM
V1が現フレームCFのパニングベクトルであると仮定
する。
【0027】パニングベクトル決定部220から生成さ
れたパニングベクトルFMV1はラインL50に、予測
フレーム決定部230、ブロック形成部250、ブロッ
ク整合部260及び選択制御部240に各々供給され
る。
【0028】図4に示したように、予測フレーム決定部
230は基準フレーム(即ち、前フレームPF)をパニ
ングベクトルFMV1の分だけシフトさせることによっ
て、「代替可能な領域」と「代替不可能な領域」とを有
する予測フレームを生成する。図中で参照番号10と示
されている「代替可能な領域」は基準フレームによって
カバーされる現フレームの一部分に対応する領域を表
す。一方、図中で符号20を付して示した「代替不可能
な領域」は、現フレームの残り部分に対応する領域を表
す。代替可能な領域10は前フレームPFから取り出さ
れた画素値を有し代替不可能な領域20は画素値を全く
有していない。また、代替可能な領域10と代替不可能
な領域20との間には境界B0が存在する。予測フレー
ム決定部280から取り出された予測フレームは、選択
制御部240、第1フレーム発生部270及び第2フレ
ーム発生部280に送られる。
【0029】選択制御部240は図2に示したように、
分散計算器241、第1コンパレータ242、第2コン
パレータ243及び選択信号発生器244を備えてい
る。まず、この予測フレーム決定部230からの予測フ
レームは、初めに選択制御部240内の分散計算器24
1に供給される。
【0030】図4を再び参照すれは、分散計算器241
は代替可能な領域10内の境界領域10′に含まれた画
素値の分散を計算する。この境界領域10′は代替可能
な領域10と、境界B0を代替可能な領域10へL個
(Lは正の整数)の画素だけ水平垂直方向にシフトして
形成された領域との間のギャップを表す。この分散は、 f(1)+f(2)+…+f(n)=Σ[k=1,n]
f(k)のように表すものとすると、次式 σD 2=−1/KΣ[i=1,K]( Di − DM2 で定義される。ここで、 σD 2:画素値の分散 Di:前記境界領域に含まれた各画素値(iは正の整
数) DM:前記境界領域に含まれた前記各画素値の平均値 K:前記境界領域内の画素数 である。
【0031】コンパレータ242は、このように求めら
れた分散を、予め定められた閾値TH1と比較して、第
1または第2比較信号を第2コンパレータ243に供給
する。分散が予め定められた閾値TH1以上である場合
には、第1比較信号COM1が生成され、そうでない場
合には、第2比較信号COM2が出力される。そのよう
な分散によって、両比較信号COM1またはCOM2が
境界領域10′内の画素値の分布の複雑さを求めるのに
測定値として用いられ得る。つまり、第1比較信号CO
M1が生成される場合、境界領域10′内の画素値の分
布の複雑さは第2比較信号COM2の場合に比べて高い
ということに注目されたい。
【0032】第2コンパレータ243は、現フレームの
フレーム形態(FT)、即ち、PフレームまたはBフレ
ームの何れであるかに基づいて生成された第2フレーム
モード制御信号SC2に応じて、第1または第2比較信
号に基づき、表1に例示されているような基準値を決定
する。
【0033】
【表1】
【0034】上記表1に示すように、Pフレームの基準
値がBフレームの基準値より大きく、基準値は分散値が
減少することにつれて増加する。即ち、第2比較信号C
OM2の基準値が第1比較信号COM2より大きい。従
って、前述したように、現フレームがPフレームである
場合、表1の2番目の行に位置する値が選択され、基準
値は両比較信号COM1またはCOM2によって決定さ
れる。
【0035】その後、表1に従って選択された基準値は
選択信号発生器244に供給され、パニングベクトル決
定部220から出力されたパニングベクトルFMV1の
大きさと比較され、第1比較信号SS1または第2比較
信号SS2を選択部290へ供給する。パニングベクト
ルの大きさが基準値以上である場合、第1選択信号SS
1が発生され、そうでない場合には第2選択信号SS2
が発生される。
【0036】一方、本発明の好適実施例によれば、第1
フレーム発生部270は予測フレーム決定部230から
の予測フレーム信号に基づいて、第1の予測現フレーム
信号を生成する。図5を参照すれは、パディング領域2
0A、20B、20C及び代替可能な領域10から構成
される第1の予測現フレームが示されている。ここで、
第1パディング領域20Aは、垂直境界B1に沿って位
置する各画素値を図4内の代替不可能な領域20に水平
に移動即ちパディングすることによって定めされ、第2
パディング領域20Bは、水平境界B2に沿って位置す
る各画素値を垂直にパディングすることにより定められ
る。一方、第3パディング領域20Cは第1パディング
領域20Aの下側にある画素値と第2パディング領域2
0Bの左側にある画素値とを平均して求められた画素値
によって満たされる。この第1の予測現フレーム信号は
選択部290に供給される。
【0037】上記の過程において、ブロック形成部25
0はパニングベクトル決定部220からのパニングベク
トルFMV1及びラインL10を介して供給された現フ
レーム信号に基づいて、整合プロセスの際に用いられる
探索ブロックを検出する。
【0038】ブロック整合部260は格納ブロック30
0からの基準フレーム信号に基づいて、該探索ブロック
に対応する動きベクトル及び図4の予測フレーム内の代
替不可能な領域20を満たす画素値を検出する。
【0039】図6を参照すれば、図4に示した予測フレ
ーム内の代替不可能な領域20に対する動きベクトル検
出過程を説明するための模式図が示されている。
【0040】本発明の実施例によれば、代替不可能な領
域20は各々が異なる大きさを有し得る複数の領域、例
えば、図6Aに示したように、3つの領域A、B、Cに
分けられる。各領域A、B、Cに対応する探索ブロック
は現フレームから選択され各分割領域及びそれに対応す
る探索ブロックは1つのフレーム内で、それぞれ同一の
位置に存在する。各領域A、B、Cに対する探索ブロッ
クはブロック整合部260に順に供給される。
【0041】一方、本発明の他の好適実施例によれば、
代替不可能な領域20は図6Bに示したように、代替不
可能な領域20をカバーする複数の同一の大きさの探索
ブロックによって表される。ここで、各探索ブロックは
H×V個の画素値(H及びVは正の整数)を有する。同
一の大きさの各探索ブロックは図6Aに用いられたよう
な方法にて、現フレームから検出される。この同一の大
きさの各探索ブロックはブロック単位でブロック整合部
260に供給される。
【0042】ブロック整合260は、ブロック形成部2
50からの探索ブロック及び格納ブロック300からの
基準フレーム信号を用いて、公知の各ブロック整合技法
を用いてブロック整合プロセスを実行することによっ
て、各探索ブロックに対応する複数の動きベクトルを検
出する。動きベクトルが検出されると、ブロック整合部
260は基準フレーム信号に基づき、動きベクトルによ
って決定された各画素値によってカバーされた、補償さ
れた代替不可能な領域を生成する。ブロック整合プロセ
スがBフレームに対して行われる場合に、パニングベク
トルがBフレームの前フレームによって求められる場合
には、Bフレームに対応する基準フレームが前フレーム
及び後続フレームを含んでいるため、ブロック整合プロ
セスは、Bフレームの後続フレームに基づいて実行され
る。かくして、検出された動きベクトルはラインL50
上に、補償された代替不可能な領域は第2フレーム発生
部280に各々出力される。
【0043】第2フレーム発生部280においては、予
測フレーム決定部230からの予測フレーム信号と補償
された代替不可能な領域とが組み合わせられて、第2の
予測現フレーム信号として選択部290に供給される。
この際、予測フレーム内の代替可能な領域と補償された
代替不可能な領域との間に重複エリアがある場合、重複
エリアにおいて補償された代替不可能な領域に属する画
素値は捨てられる。
【0044】選択部290は、選択信号発生器244か
らの選択信号に応じて第1の予測現フレーム信号または
第2の予測現フレーム信号を選択し、選択されたフレー
ム信号を予測現フレームとしてラインL60に供給す
る。第1選択信号SS1が選択部290に入力された場
合には第2予測現フレーム信号が、第2選択信号SS2
が入力された場合には第1予測現フレーム信号が、予測
現フレーム信号として選択される。
【0045】図1を再度参照すれば、減算器700に
て、予測現フレーム信号はラインL80上の現フレーム
信号から減算され、その結果データ、即ち、差分画素値
を表すエラー信号は映像信号符号化器400に供給され
る。ここで、エラー信号は、例えば、DCT及び周知の
量子化方法のうちの何れか1つを用いて量子化変換係数
の組に符号化される。しかる後、量子化変換係数の組は
エントロピー符号化器600及び映像信号復号化器50
0に各々伝送される。
【0046】エントロピー符号化器600において、量
子化変換係数の組はラインL50を介して動き補償ブロ
ック200から供給されたパニングベクトル及び動きベ
クトルと共に符号化された後、符号化映像信号として伝
送器(図示せず)を通じて伝送される。
【0047】一方、映像信号復号化器500は、逆量子
化及び逆離散的コサイン変換を用いて、量子化変換係数
を再構成エラー信号に変換する。映像信号復号化器50
0からの再構成エラー信号と動き補償ブロック200か
ら第2スイッチ770を介した予測現フレーム信号とは
加算器800にて組み合わせられて、再構成フレーム信
号を供給する。上述したように、再構成フレーム信号
は、現フレームがIフレームまたはPフレームである場
合のみ第3スイッチ850を通じて格納ブロック300
に供給されて、その内に基準フレーム信号として格納さ
れる。即ち、現フレームがBフレームである場合には、
再構成フレーム信号は捨てられる。
【0048】格納ブロック300は、例えば、図1に示
したように、直列に接続された2つのフレームメモリ3
10及び320を有する。従って、加算器800からの
再構成フレーム信号は、最初、例えば、第1フレームメ
モリ320に格納され、次いでラインL30を介して基
準フレーム信号として動き補償ブロック200に供給さ
れ、また、次の再構成フレーム信号が加算器800から
第1フレームメモリ320に入力されると、フレーム単
位で第2フレームメモリ310に送られる。かくして、
Pフレームに対するインタフレーム符号化モードの際
に、フレームメモリ310に格納された再構成フレーム
信号は基準フレーム信号としてラインL20を介して動
き補償ブロック200に供給されBフレームに対しては
第2フレームメモリ310に格納された再構成フレーム
信号はラインL20を介して、第1フレームメモリ32
0に格納された再構成フレーム信号はラインL80を介
して各々フレーム信号として動き補償ブロック200に
供給される。
【0049】上記のプロセスは、映像信号符号化の動作
が行われる間順次繰り返される。
【0050】上記において、本発明の好適な実施の形態
について説明したが、本発明の請求の範囲を逸脱するこ
となく、当業者は種々の改変をなし得るであろう。
【0051】
【発明の効果】従って、本発明によれば、予測現フレー
ム信号がフレーム差分信号、探索ブロックに対するパニ
ングベクトル及び動きベクトルによって再構成され得、
動きベクトルが予測フレーム内の代替不可能な領域のみ
で検出されるので、伝送すべき動きベクトルのデータの
量をより一層減らすことができる。
【図面の簡単な説明】
【図1】本発明による映像信号符号化システムの概略的
なブロック図である。
【図2】本発明による図1の動き補償ブロックの詳細な
ブロック図である。
【図3】異なる空間的変位による3つの連続フレームを
示した模式図である。
【図4】基準値を求める過程を説明するための模式図で
ある。
【図5】本発明に基づいて、境界パディングプロセスを
説明するための模式図である。
【図6】図6A及び6Bよりなり、各々、予測フレーム
内の代替不可能な領域に対する動きベクトル検出過程を
説明するための模式図である。
【図7】フレームシーケンスを示した模式図である。
【符号の説明】
10 代替可能な領域 10′ 境界領域 20 代替不可能な領域 20A、20B、20C パディング領域 100 フレーム再配列ブロック 200 動き補償ブロック 220 パニングベクトル決定部 230 予測フレーム決定部 240 選択制御部 241 分散計算部 242 コンパレータ 243 第2コンパレータ 244 選択信号発生部 250 ブロック形成部 260ブロック整合部 270 第1フレーム発生部 280 第2フレーム発生部 290 選択部 300 格納ブロック 310 第2フレームメモリ 320 第1フレームメモリ 400 映像信号符号化器 500 映像信号復号化器 600 エントロピー符号化器 700 減算器 750、770、850 スイッチ 800 加算器 900 フレーム格納ブロック SC1、SC2 フレームモード制御信号 CF 現フレーム PF 前フレーム SF 後続フレーム BMV1 逆方向変位ベクトル FMV1 順方向変位ベクトル B0、B1、B2 境界

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 映像信号符号化システムに用いられ、
    一連のフレームよりなる映像信号に含まれる現フレーム
    と基準フレームとに基づいて予測現フレーム信号を求め
    る現フレーム予測装置であって、 前記現フレームと前記基準フレームとの間の空間的変位
    を表すパニングベクトル(panning vector)を検出する
    パニングベクトル検出手段と、 前記パニングベクトル及び前記基準フレームに基づい
    て、前記基準フレームから選択された画素値を有する代
    替可能な領域と画素値を全く有しない代替不可能な領域
    とを有する予測フレームを決定する予測フレーム決定手
    段と、 前記パニングベクトルの大きさと基準値とを比較して、
    選択情報を発生する選択情報発生手段と、 前記予測フレーム内の前記代替可能な領域な領域に属す
    る画素値を前記代替不可能な領域に移動させて、第1の
    予測現フレーム信号を生成する第1予測現フレーム信号
    生成手段と、 前記パニングベクトル、前記現フレーム信号及び前記基
    準フレーム信号に基づき、前記代替不可能な領域に対し
    てブロックマッチング技法を用いて、第2予測現フレー
    ム信号を生成する第2予測現フレーム信号生成手段と、 前記選択情報に応じて、前記第1の予測現フレーム信号
    または前記第2予測現フレーム信号の何れかを前記予測
    現フレーム信号として選択する予測現フレーム信号選択
    手段とを含むことを特徴とする現フレーム予測装置。
  2. 【請求項2】 前記現フレームが、予測フレーム(P
    フレーム)である場合、前記現フレームはその前フレー
    ムから前記基準フレームとして予測されることを特徴と
    する請求項1に記載の現フレーム予測装置。
  3. 【請求項3】 前記現フレームが、両方向予測フレー
    ム(Bフレーム)である場合、前記現フレームはその前
    フレーム及びその後続フレームから前記基準フレームと
    して予測されることを特徴とし、 前記パニングベクトル検出手段が、 前記現フレームとその前フレームとの間の空間的変位を
    表す順方向変位ベクトルを検出する順方向変位ベクトル
    検出手段と、 前記現フレームとその後続フレームとの間の空間的変位
    を表す逆方向変位ベクトルを検出する逆方向変位ベクト
    ル検出手段と、 最小のエラーを有するフレームに対応する前記変位ベク
    トルを前記パニングベクトルとして発生するパニングベ
    クトル発生手段であって、前記前フレーム及び前記後続
    フレームに対するエラーは、前記現フレームと前記前フ
    レームまたは前記後続フレームとの間の類似度の測定に
    用いられる平均絶対エラーまたは平均二乗エラーとして
    定義される、該パニングベクトル発生手段とを有するこ
    とを特徴とする請求項1に記載の現フレーム予測装置。
  4. 【請求項4】 前記選択情報発生手段が、 前記代替可能な領域内の境界領域にある各画素値の分散
    を計算する画素値分散計算手段であって、前記境界領域
    は、前記代替可能な領域と、前記代替可能な領域と前記
    代替不可能な領域との間の境界線を前記代替可能な領域
    へL個の画素(Lは正の整数)だけシフトさせることに
    よって形成された領域との間のギャップを表す、前記画
    素値分散計算手段と、 前記分散と予め定められた閾値とを比較して、前記分散
    が前記閾値以上である場合は第1比較信号を出力し、前
    記分散が前記閾値未満である場合には第2比較信号を発
    生する比較信号発生手段と、 前記第1比較信号または第2比較信号に基づいて、前記
    基準値を決定する基準値決定手段と、 前記パニングベクトルの大きさと前記基準値とを比較し
    て、前記選択情報を生成する選択情報生成手段とを備え
    ることを特徴とする請求項2または3に記載の現フレー
    ム予測装置。
  5. 【請求項5】 前記分散が、 σD 2を画素値の分散とし、 Diを前記境界領域に含まれた各画素値とし(iは正の
    整数)、 DMを前記境界領域に含まれた前記各画素値の平均値と
    し、 Kを前記境界領域内の画素数とし、 f(1)+f(2)+…+f(n)=Σ[k=1,n]
    f(k)のように表すものとすると、 σD 2=−1/KΣ[i=1,K]( Di − DM2 なる式で求められることを特徴とする請求項4に記載の
    現フレーム予測装置。
  6. 【請求項6】 前記第1比較信号に対する前記基準値
    が、前記第2比較信号による基準値未満になるように定
    められることを特徴とする請求項5に記載の現フレーム
    予測装置。
  7. 【請求項7】 前記第2予測現フレーム信号発生手段
    が、 前記代替不可能な領域をカバーする前記現フレームの一
    部分を検出する代替不可能な領域検出手段と、 前記代替不可能な領域を、各々が複数の画素を有する複
    数の探索ブロックに分割するブロック分割手段と、 前記基準フレームに基づいて、前記複数の探索ブロック
    に対して前記ブロックマッチング技法を施すことによっ
    て、前記探索ブロックに対応する画素値を検出する画素
    値検出手段と、 前記代替可能な領域と前記代替不可能な領域に対応する
    前記探索ブロックに対する前記画素値とを組み合わせ
    て、前記第2予測現フレーム信号を発生する予測現フレ
    ーム信号発生手段とを有することを特徴とする請求項6
    に記載の現フレーム予測装置。
  8. 【請求項8】 前記各探索ブロックが、H×V個(H
    及びVは正の整数)の画素値を有する同一の大きさのブ
    ロックとして定義されることを特徴とする請求項7に記
    載の現フレーム予測装置。
  9. 【請求項9】 前記選択情報が第1または第2選択信
    号を含み、前記第1の予測現フレーム信号が、前記パニ
    ングベクトルの大きさが前記基準値以上である場合に発
    生する前記第1選択信号によって選択され、前記第2予
    測現フレーム信号が、前記パニングベクトルの大きさが
    前記基準値未満である場合に発生する前記第2選択信号
    によって選択されることを特徴とする請求項8に記載の
    現フレーム予測装置。
JP11932397A 1996-05-09 1997-05-09 現フレーム予測装置 Expired - Fee Related JP3938972B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1996-15267 1996-05-09
KR1019960015267A KR100204478B1 (ko) 1996-05-09 1996-05-09 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JPH1070728A true JPH1070728A (ja) 1998-03-10
JP3938972B2 JP3938972B2 (ja) 2007-06-27

Family

ID=19458190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11932397A Expired - Fee Related JP3938972B2 (ja) 1996-05-09 1997-05-09 現フレーム予測装置

Country Status (4)

Country Link
US (1) US5862261A (ja)
JP (1) JP3938972B2 (ja)
KR (1) KR100204478B1 (ja)
CN (1) CN1111336C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225591A (ja) * 2007-03-09 2008-09-25 Nippon Telegr & Teleph Corp <Ntt> カメラワーク検出方法,装置,プログラムおよびその記録媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US6687410B1 (en) * 2000-02-07 2004-02-03 Sun Microsystems, Inc. Method and apparatus for compression and decompression of data
US7029403B2 (en) * 2000-04-18 2006-04-18 Acushnet Company Metal wood club with improved hitting face
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030081685A1 (en) * 2001-10-31 2003-05-01 Montgomery Dennis L. Method and apparatus for determining patterns within adjacent blocks of data
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US7184093B2 (en) * 2002-05-20 2007-02-27 Thomson Licensing Video image formatting technique
JP2004126474A (ja) * 2002-10-07 2004-04-22 Sharp Corp 表示装置の駆動方法、表示装置、および、そのプログラム
US7515156B2 (en) * 2003-01-08 2009-04-07 Hrl Laboratories, Llc Method and apparatus for parallel speculative rendering of synthetic images
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
JP4677351B2 (ja) * 2006-02-17 2011-04-27 キヤノン株式会社 動き補償器、動き補償処理方法、コンピュータプログラム及び記憶媒体
US8451902B2 (en) * 2008-04-23 2013-05-28 Telefonaktiebolaget L M Ericsson (Publ) Template-based pixel block processing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111980A1 (de) * 1991-04-12 1992-10-15 Thomson Brandt Gmbh Verfahren zur codierung
KR960015395B1 (ko) * 1993-04-09 1996-11-11 대우전자 주식회사 움직임벡터 검출장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225591A (ja) * 2007-03-09 2008-09-25 Nippon Telegr & Teleph Corp <Ntt> カメラワーク検出方法,装置,プログラムおよびその記録媒体

Also Published As

Publication number Publication date
KR970078660A (ko) 1997-12-12
US5862261A (en) 1999-01-19
KR100204478B1 (ko) 1999-06-15
JP3938972B2 (ja) 2007-06-27
CN1179063A (zh) 1998-04-15
CN1111336C (zh) 2003-06-11

Similar Documents

Publication Publication Date Title
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR0181034B1 (ko) 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
US5598216A (en) Method and apparatus for encoding/decoding a video signal
EP0734165B1 (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
JP3938972B2 (ja) 現フレーム予測装置
JPH08307874A (ja) 映像信号符号化装置
US5614954A (en) Motion compensation apparatus for use in an image encoding system
GB2322991A (en) Motion estimation method for video data compression system
JP2001508632A (ja) 動き補償予測画像符号化および復号化
JP3681784B2 (ja) 映像信号符号化装置
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR100252340B1 (ko) 현재 프레임 예측방법 및 그 장치
CN101262607A (zh) 二重预测视频编解码方法和装置
JPH08242457A (ja) 動きベクトル検出方法
JPH04369192A (ja) 画像符号化方法及び装置
KR100252346B1 (ko) 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
EP0734179A2 (en) Method and apparatus for selectively encoding/decoding a video signal
CN1108061C (zh) 利用搜索网格对视频信号编码的装置
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법
KR100200226B1 (ko) 초저속 전송을 위한 영상처리 장치
KR0174444B1 (ko) 초저속 전송을 위한 움직임 보상장치
Zafar et al. Block-classified motion compensation scheme for digital video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees