JP3287977B2 - 動きベクトル検出方法および装置と動画像符号化方法および装置 - Google Patents

動きベクトル検出方法および装置と動画像符号化方法および装置

Info

Publication number
JP3287977B2
JP3287977B2 JP10665495A JP10665495A JP3287977B2 JP 3287977 B2 JP3287977 B2 JP 3287977B2 JP 10665495 A JP10665495 A JP 10665495A JP 10665495 A JP10665495 A JP 10665495A JP 3287977 B2 JP3287977 B2 JP 3287977B2
Authority
JP
Japan
Prior art keywords
motion vector
polygon
vertex
interpolated
coordinate conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10665495A
Other languages
English (en)
Other versions
JPH08305895A (ja
Inventor
森 正 浩 若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP10665495A priority Critical patent/JP3287977B2/ja
Publication of JPH08305895A publication Critical patent/JPH08305895A/ja
Application granted granted Critical
Publication of JP3287977B2 publication Critical patent/JP3287977B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、テレビ会議、テレビ電
話、蓄積メディア、無線画像伝送、映像の放送の映像圧
縮等に利用する動画像符号化の一機能である動きベクト
ル検出装置に関する。
【0002】
【従来の技術】図2は従来のコンピュータグラフィック
ス画像を符号化する動画像符号化装置の構成を示してい
る。図2において、120はコンピュータグラフィック
ス装置であり、モデリング部101、座標変換部10
2、レンダリング部103、映像メモリ104からな
る。121は動画像符号化装置であり、動きベクトル検
出部105と動画像符号化部106からなる。
【0003】モデリング部101は、ポリゴンの頂点座
標151およびポリゴンの座標変換行列152を出力す
る。座標変換部102は、ポリゴンの頂点座標151お
よびポリゴンの座標変換行列152を入力とし、座標変
換後の頂点座標153を出力する。レンダリング部10
3は、座標変換後の頂点座標153を入力とし、映像信
号154を出力する。映像メモリ104は、映像信号1
54を入力とし、表示用映像信号155を出力する。動
きベクトル検出部105は、表示用映像信号155を入
力とし、動きベクトル156を出力する。動画像符号化
部106は、表示用映像信号155および動きベクトル
156を入力とし、符号化信号157を出力する。
【0004】次に上記従来例の動作について説明する。
図2において、モデリング部101は、図形を複数のポ
リゴンで構成し、各々のポリゴンの頂点座標と動きを示
す変換行列を生成し、ポリゴンの頂点座標151および
ポリゴンの座標変換行列152として出力する。座標変
換部102は、ポリゴンの頂点座標151およびポリゴ
ンの座標変換行列152から座標変換後の頂点座標を算
出し、座標変換後の頂点座標153として出力する。レ
ンダリング部103は、座標変換後の頂点座標153を
用いてシェーディング計算を行ない、隠面消去をし、映
像信号154として出力する。映像メモリ104は、2
フレームのフレームメモリから構成され、一方のフレー
ムメモリでは、映像信号154をランダムに書き込み、
他方のフレームメモリでは、表示する順序で表示用映像
信号155として出力する。ここで書き込み用のフレー
ムメモリと表示用のフレームメモリはフレーム単位に入
れ替える。動きベクトル検出部105は、ブロック(例
えば16画素*16ライン)単位毎に、表示用映像信号
155と1フレーム前に入力された表示用映像信号とを
用いてブロックマッチングを行ない、各ブロックの動き
ベクトルを検出し、動きベクトル156を出力する。動
画像符号化部106は、表示用映像信号155と動きベ
クトル156を用いて、例えばCCITT 勧告H.261 に示さ
れるように、動き補償フレーム間予測変換符号化を行な
った後、可変長符号化され、符号化信号157を出力す
る。
【0005】このように、上記従来の動画像符号化装置
では、コンピュータグラフィックス画像を、映像信号と
して動画像符号化装置に入力することにより、動画像符
号化を行なうことができる。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の動画像符号化装置では、コンピュータグラフィック
ス装置側で、ポリゴンの座標変換行列により動きベクト
ルが分かっているにもかかわらず、動画像符号化装置で
は、映像信号として入力されるため、動きベクトルを再
度検出する必要があった。
【0007】本発明は、このような従来の問題を解決す
るものであり、動きベクトル検出の精度向上による高画
質化および動きベクトル部のハードウェアを削減できる
優れた動きベクトル検出方法およびその装置と動画像符
号化方法およびその装置とを提供することを目的とす
る。
【0008】
【課題を解決するための手段】本発明は、上記目的を達
成するために、コンピュータグラフィックス装置からの
ポリゴン頂点座標と座標変換後の頂点座標を用いて頂点
の動きベクトルを求め、その頂点の動きベクトルからポ
リゴン内の各画素の動きベクトルを補間するとともに、
座標変換後の頂点座標からポリゴン内の各画素のZ値を
補間し、Zバッファ処理により隠面部分に対する補間さ
れた動きベクトルを無効にし、それ以外の補間された動
きベクトルを有効として出力し、補間された動きベクト
ルを表示の順序に合わせて動画像符号化装置へ出力する
ようにしたものである。
【0009】
【作用】本発明は、上記構成により、コンピュータグラ
フィックス装置で持っている動きベクトルの情報(座標
変換行列)を用いてコンピュータグラフィックス画像の
動きベクトルを求めることにより、動きベクトル検出の
精度向上による高画質化および動きベクトル部のハード
ウェアの削減を図ることができる。
【0010】
【実施例】図1は本発明の一実施例の構成を示してい
る。図1において、20はコンピュータグラフィックス
装置であり、モデリング部1、座標変換部2、レンダリ
ング部3、映像メモリ4からなる。21は動画像符号化
装置であり、動きベクトル(周辺領域)検出部5および
動画像符号化部6からなる。22は動きベクトル(初期
ベクトル)検出装置であり、頂点の動きベクトル算出部
7、動きベクトル補間部8、Z値補間部9、Zバッファ
処理部10、動きベクトル用メモリ11からなる。
【0011】モデリング部1は、ポリゴンの頂点座標5
1およびポリゴンの座標変換行列52を出力する。座標
変換部2は、ポリゴンの頂点座標51およびポリゴンの
座標変換行列52を入力とし、座標変換後の頂点座標5
3を出力する。レンダリング部3は、座標変換後の頂点
座標53を入力とし、映像信号54を出力する。映像メ
モリ4は、映像信号54を入力とし、表示用映像信号5
5を出力する。動きベクトル(周辺領域)検出部5は、
表示用映像信号55および初期ベクトル62を入力と
し、動きベクトル56を出力する。動画像符号化部6
は、表示用映像信号55および動きベクトル56を入力
とし、符号化信号57を出力する。頂点の動きベクトル
算出部7は、ポリゴンの頂点座標51および座標変換後
の頂点座標53を入力とし、頂点の動きベクトル58を
出力する。動きベクトル補間部8は、座標変換後の頂点
座標53および頂点の動きベクトル58を入力とし、補
間された動きベクトル59を出力する。Z値補間部9
は、座標変換後の頂点座標53を入力とし、補間された
Z値60を出力する。Zバッファ処理部10は、補間さ
れた動きベクトル59および補間されたZ値60を入力
とし、Zバッファ処理後の補間された動きベクトル61
を出力する。動きベクトル用メモリ11は、Zバッファ
処理後の補間された動きベクトル61を入力とし、初期
ベクトル62を出力する。
【0012】次に上記実施例の動作について説明する。
図1において、モデリング部1は、図形を複数のポリゴ
ンで構成し、各々のポリゴンの頂点座標と動きを示す変
換行列を生成し、ポリゴンの頂点座標51およびポリゴ
ンの座標変換行列52として出力する。座標変換部2
は、ポリゴンの頂点座標51およびポリゴンの座標変換
行列52から座標変換後の頂点座標を算出し、座標変換
後の頂点座標53として出力する。レンダリング部3
は、座標変換後の頂点座標53を用いてシェーディング
計算を行ない、隠面消去をし、映像信号54として出力
する。映像メモリ4は、2フレームのフレームメモリか
ら構成され、1つのフレームメモリでは映像信号54を
ランダムに書き込み、他方のフレームメモリでは、表示
する順序で表示用映像信号55として出力する。ここで
書き込み用のフレームメモリと表示用のフレームメモリ
はフレーム単位に入れ替える。
【0013】頂点の動きベクトル算出部7は、ポリゴン
の頂点座標51と座標変換後の頂点座標53を用いて、
頂点の動きベクトル58を求めて出力する。ポリゴンの
頂点座標を(x, y, z) 、座標変換後の頂点座標を(x',
y', z')とすると、2次元平面に平行投影された動きベ
クトルMVは、 MV=(x'−x , y'−y ) として求められる。動きベクトル補間部8では、ポリゴ
ン(例えば三角形)の頂点の動きベクトル58と、座標
変換後の頂点座標53を用いて、座標変換後のポリゴン
に含まれる各画素の動きベクトル値を線形補間で求め、
補間された動きベクトル59として出力する。Z値補間
部9は、座標変換後の頂点座標53を用いて、座標変換
後のポリゴンに含まれる各画素のZ値を線形補間で求
め、補間されたZ値60として出力する。Zバッファ処
理部10では、Zバッファ(奥行き値)を各映像フレー
ムの最初に最大値に初期化し(奥行きが無限大とす
る)、以後座標変換されたポリゴンの各画素の座標に対
するZバッファ値と補間されたZ値60を比較し、補間
されたZ値がZバッファに格納されたZ値より小さい
(投影面に近い)場合は、補間されたZ値を各画素の座
標に対するZバッファとして更新するとともに、動きベ
クトル用メモリ11にZバッファ処理後の補間された動
きベクトル値61として書き込む。補間されたZ値がZ
バッファに格納されたZ値より大きいかまたは等しい
(投影面に遠い)場合は、Zバッファは更新せず、補間
された動きベクトルは捨てられ、動きベクトル用メモリ
11には書き込まれない。動きベクトル用メモリ11
は、2フレームのフレームメモリから構成される。一方
のフレームメモリは映像フレームの最初で0に初期化
し、Zバッファ処理後の補間された動きベクトル値61
を書き込む。1フレームの書き込み処理が終了した時点
では、隠面の動きベクトルは無効になり、投影面に最も
近いポリゴン内の画素に対応する動きベクトルのみがメ
モリに保存される。他方のフレームメモリは、表示の順
序に合わせて、各画素の動きベクトルを初期ベクトル6
2として出力する。ここで書き込み用のフレームメモリ
と表示用のフレームメモリはフレーム単位に入れ替え
る。
【0014】動きベクトル検出部5は、初期ベクトル6
2を中心として、その周辺の動きベクトルの中から1つ
の動きベクトルを求め、動きベクトル56として出力す
る。動きベクトルは、例えば、ブロック(16画素*1
6ライン)単位毎に、表示用映像信号55と1フレーム
前に入力された表示用映像信号と用いてブロックマッチ
ングを行ない、それらの差分の絶対値の総和が最小とな
るような動きベクトルを選択するというような方法によ
って求められる。動画像符号化部6は、表示用映像信号
55と動きベクトル56を用いて、例えばCCITT 勧告H.
261 に示されるように、動き補償フレーム間予測変換符
号化を行なった後、可変長符号化され、符号化信号57
を出力する。
【0015】このように、上記実施例によれば、頂点の
動きベクトル算出部7がポリゴンの頂点座標51と座標
変換後の頂点座標53を用いて頂点の動きベクトル58
を求め、動きベクトル補間部8で座標変換後のポリゴン
内の各画素に対する動きベクトルを補間し、Zバッファ
処理部10はZ値補間部9で補間されるポリゴン内の各
画素に対するZ値60を用いて隠面に対する動きベクト
ルを捨て、投影面に最も近い各画素に対する動きベクト
ルを動きベクトル用メモリ11に保持し、表示順序で動
きベクトルを出力することにより、各ポリゴンの座標変
換行列を用いて動きベクトルを求めることができ、動き
ベクトルの精度向上が図られ、画質が向上するという効
果を有する。また動きベクトル検出部5のハードウェア
量を削減できるという効果も有する。
【0016】
【発明の効果】本発明は、上記実施例から明らかなよう
に、ポリゴンの頂点座標と座標変換後の頂点座標を用い
て頂点の動きベクトルを求め、座標変換後のポリゴン内
の各画素に対する動きベクトルを補間し、補間されるポ
リゴン内の各画素に対するZ値を用いてZバッファ処理
をすることにより隠面に対する動きベクトルを無効に
し、投影面に最も近い各画素に対する動きベクトルを表
示順序で出力することにより、各ポリゴンの座標変換行
列を用いて動きベクトルを求めることができ、動きベク
トルの精度向上が図られ、画質が向上するという効果を
有する。また動きベクトル検出回路のハードウェア量を
削減できるという効果も有する。
【図面の簡単な説明】
【図1】本発明の一実施例における動画像符号化装置の
構成を示すブロック図
【図2】従来の例における動画像符号化装置の構成を示
すブロック図
【符号の説明】
1 モデリング部 2 座標変換部 3 レンダリング部 4 映像メモリ 5 動きベクトル(周辺領域)検出部 6 動画像符号化部 7 頂点の動きベクトル算出部 8 動きベクトル補間部 9 Z値補間部 10 Zバッファ処理部 11 動きベクトル用メモリ 20 コンピュータグラフィックス装置 21 動画像符号化装置 22 動きベクトル(初期ベクトル)検出装置 51 ポリゴンの頂点座標 52 ポリゴンの座標変換行列 53 座標変換後の頂点座標 54 映像信号 55 表示用映像信号 56 動きベクトル 57 符号化信号 58 頂点の動きベクトル 59 補間された動きベクトル 60 補間されたZ値 61 Zバッファ処理後の補間された動きベクトル 62 初期ベクトル 101 モデリング部 102 座標変換部 103 レンダリング部 104 映像メモリ 105 動きベクトル検出部 106 動画像符号化部 120 コンピュータグラフィックス装置 121 動画像符号化装置 151 ポリゴンの頂点座標 152 ポリゴンの座標変換行列 153 座標変換後の頂点座標 154 映像信号 155 表示用映像信号 156 動きベクトル 157 符号化信号
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 - 5/50 G06T 9/00 - 17/50 H04N 7/12 - 7/137 H03M 3/00 - 11/00 JICSTファイル(JOIS)

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 コンピュータグラフィックス装置からの
    ポリゴン頂点座標と座標変換後の頂点座標を用いて頂点
    の動きベクトルを求めるステップと、頂点の動きベクト
    ルからポリゴン内の各画素の動きベクトルを補間するス
    テップと、座標変換後の頂点座標からポリゴン内の各画
    素のZ値を補間するステップと、Zバッファ処理により
    隠面部分に対する補間された動きベクトルを無効にし、
    それ以外の補間された動きベクトルを有効として出力す
    るステップと、補間された動きベクトルを表示の順序に
    合わせて動画符号化装置へ出力するステップとを備えた
    動きベクトル検出方法。
  2. 【請求項2】 請求項1記載の動きベクトル検出方法を
    用いた動画像符号化方法。
  3. 【請求項3】 請求項1記載の動きベクトル検出方法で
    求めた動きベクトルを初期ベクトルとして、その周辺の
    動きベクトルの中から1つの動きベクトルを求める動き
    ベクトル検出方法。
  4. 【請求項4】 請求項3記載の動きベクトル検出方法
    を用いた動画像符号化方法。
  5. 【請求項5】 コンピュータグラフィックス装置からの
    ポリゴン頂点座標と座標変換後の頂点座標を用いて頂点
    の動きベクトルを求める頂点の動きベクトル算出部と、
    頂点の動きベクトルからポリゴン内の各画素の動きベク
    トルを補間する動きベクトル補間部と、座標変換後の頂
    点座標からポリゴン内の各画素のZ値を補間するZ値補
    間部と、Zバッファ処理により隠面部分の補間された動
    きベクトルを無効にし、それ以外の補間された動きベク
    トル有効として出力するZバッファ処理部と、補間され
    た動きベクトルを表示の順序に合わせて動画像符号化装
    置へ出力する動きベクトル用メモリを備えた動きベクト
    ル検出装置。
  6. 【請求項6】 請求項5記載の動きベクトル検出装置を
    備えた動画像符号化装置。
  7. 【請求項7】 請求項5記載の動きベクトル検出装置の
    動きベクトルを初期ベクトルとして、その周辺の動きベ
    クトルの中から1つの動きベクトルを求める周辺ベクト
    ル検出部を備えた動きベクトル検出装置。
  8. 【請求項8】 請求項7記載の動きベクトル検出装置を
    備えた動画像符号化装置。
JP10665495A 1995-04-28 1995-04-28 動きベクトル検出方法および装置と動画像符号化方法および装置 Expired - Fee Related JP3287977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10665495A JP3287977B2 (ja) 1995-04-28 1995-04-28 動きベクトル検出方法および装置と動画像符号化方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10665495A JP3287977B2 (ja) 1995-04-28 1995-04-28 動きベクトル検出方法および装置と動画像符号化方法および装置

Publications (2)

Publication Number Publication Date
JPH08305895A JPH08305895A (ja) 1996-11-22
JP3287977B2 true JP3287977B2 (ja) 2002-06-04

Family

ID=14439100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10665495A Expired - Fee Related JP3287977B2 (ja) 1995-04-28 1995-04-28 動きベクトル検出方法および装置と動画像符号化方法および装置

Country Status (1)

Country Link
JP (1) JP3287977B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897373B2 (en) 2012-04-12 2014-11-25 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US8988501B2 (en) 2012-02-23 2015-03-24 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium
US9008187B2 (en) 2011-08-17 2015-04-14 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7038676B2 (en) 2002-06-11 2006-05-02 Sony Computer Entertainmant Inc. System and method for data compression
JP4931223B2 (ja) * 2007-03-30 2012-05-16 株式会社バンダイナムコゲームス 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム
CN109655064B (zh) * 2018-11-27 2021-04-27 孙秀聪 一种基于相对转动的地球固连系-惯性系快速高精度转换方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008187B2 (en) 2011-08-17 2015-04-14 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
US8988501B2 (en) 2012-02-23 2015-03-24 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium
US9491433B2 (en) 2012-02-23 2016-11-08 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium
US8897373B2 (en) 2012-04-12 2014-11-25 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US9868060B2 (en) 2012-04-12 2018-01-16 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US10004983B2 (en) 2012-04-12 2018-06-26 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium

Also Published As

Publication number Publication date
JPH08305895A (ja) 1996-11-22

Similar Documents

Publication Publication Date Title
JP3068304B2 (ja) 動画像符号化方式および復号化方式
US8102428B2 (en) Content-aware video stabilization
EP1641278B1 (en) Accelerated video encoding using a graphics processing unit
JP2797959B2 (ja) 多次元画像圧縮伸張方法
Wallach et al. Accelerated MPEG compression of dynamic polygonal scenes
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
JP4108935B2 (ja) 3次元生成シーンにおける回転および垂線の符号化方法およびシステム
US20050094899A1 (en) Adaptive image upscaling method and apparatus
US7440613B2 (en) Binary mask interpolation
JP3287977B2 (ja) 動きベクトル検出方法および装置と動画像符号化方法および装置
TW525391B (en) Method and apparatus for performing motion compensation in a texture mapping engine
RU2225035C1 (ru) Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
US6501862B1 (en) Picture information processing method and apparatus and entertainment apparatus
US20070076978A1 (en) Moving image generating apparatus, moving image generating method and program therefor
JP3055152B2 (ja) 動画像信号の符号化・復号化方法およびその装置
JP2795119B2 (ja) 多次元画像圧縮伸張方式
JP3859989B2 (ja) 画像マッチング方法およびその方法を利用可能な画像処理方法と装置
EP0928112A1 (en) Image mapping device and method, and image generating device and method
KR20010089664A (ko) 3차원 모델링 시스템 및 방법
JPH1023420A (ja) 動き検出方法および動き検出装置
JPH08149461A (ja) 動画像処理装置とその方法
JP2002369205A (ja) 動画像生成装置
JPH04340886A (ja) 動画像符号化装置及び動画像復号化装置
JP3107917B2 (ja) 3次元形状モデルを用いた動画像のフレーム内挿方法及びその装置
KR0160458B1 (ko) 매스크 블럭 매칭 방법으로 움직임 벡터를 예측하는 동영상 압축 장치 및 방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees