JPH10191358A - 動ベクトル検出装置 - Google Patents

動ベクトル検出装置

Info

Publication number
JPH10191358A
JPH10191358A JP35700596A JP35700596A JPH10191358A JP H10191358 A JPH10191358 A JP H10191358A JP 35700596 A JP35700596 A JP 35700596A JP 35700596 A JP35700596 A JP 35700596A JP H10191358 A JPH10191358 A JP H10191358A
Authority
JP
Japan
Prior art keywords
pixel
motion vector
integer
block
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35700596A
Other languages
English (en)
Other versions
JP4570700B2 (ja
Inventor
Akira Iizuka
彰 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP35700596A priority Critical patent/JP4570700B2/ja
Publication of JPH10191358A publication Critical patent/JPH10191358A/ja
Application granted granted Critical
Publication of JP4570700B2 publication Critical patent/JP4570700B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 整数画素精度の動ベクトルと半画素精度の動
ベクトルとをより簡単な構成で求めることが可能な動ベ
クトル検出装置を提供する。 【解決手段】 第2のフレームメモリ105bから読み
出された整数画素精度の探索範囲内の各画素値か、これ
らの画素値から半画素補間部104で生成された半画素
精度の各画素値かの何れかを選択するマルチプレクサ1
01と、マルチプレクサ101により選択された何れか
の各画素値を用いて動ベクトルを検出する整数/半画素
精度動ベクトル検出部102とを設け、1つの整数/半
画素精度動ベクトル検出部102を整数画素精度と半画
素精度とで使い回すようにすることにより、1つの動ベ
クトル検出手段を用いて整数画素精度の動ベクトルと半
画素精度の動ベクトルとの両方を求めることができるよ
うにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動ベクトル検出装置
に関し、特に、整数画素精度の動ベクトルと半画素精度
の動ベクトルとの両方を検出する動ベクトル検出装置に
用いて好適なものである。
【0002】
【従来の技術】動画像信号の符号化においては、情報量
を高能率圧縮するために、動画像信号のフレーム間の相
関性の高さに着目してフレーム間の差分を符号化する方
法(フレーム間符号化)が採用されることが多い。すな
わち、差分をとる対象フレームが存在しない最初のフレ
ームについては1画面をそのまま符号化するが、それ以
降のフレームについては、符号化した情報を更に復号し
た1つ前のフレーム(参照フレーム)との差分をとり、
その差分を符号化するという方法である。
【0003】しかし、この方法では、全てのフレームに
ついて1画面をそのまま符号化する場合に比べれば情報
量を少なくできるが、差分をとるフレーム間で画面に動
きがあった部分については、差分値が大きくなることが
あり、情報量の圧縮という点に関してはまだまだ十分と
は言えない。そこで、このような場合も考慮して更に効
率的に情報量を圧縮するために、動き補償という方法
(動き補償フレーム間符号化)が用いられる。
【0004】動き補償を用いないフレーム間符号化にお
いては、フレーム間の差分は、比較される両フレームの
空間座標が互いに同一の箇所でとられる。これに対して
動き補償を用いる場合は、両フレームの空間座標は必ず
しも同一である必要はなく、画面の動きを考慮し、フレ
ーム間の差分がより小さくなるような参照フレームの箇
所との間で差分がとられる。このときの符号化対象箇所
の座標と参照フレーム内の差分をとる箇所の座標とのず
れを表すのが動ベクトルである。これを図面を用いて説
明する。
【0005】図4は、動き補償フレーム間予測および動
ベクトルの説明図である。図4において、401は参照
フレーム、402は符号化対象フレームであり、白抜き
の星☆だけが動いていて背景は全く動いていない様子が
示されている。符号化対象フレーム402は、動き補償
フレーム間符号化を行うにあたって複数の小さなブロッ
クに分割され、このブロック単位で符号化が行われる。
【0006】例えば、動画像通信の符号化標準であるI
TU−T勧告H.261やH.263、動画像蓄積の符
号化標準であるMPEG1やMPEG2、MPEG4で
は、マクロブロックと呼ばれる縦横16画素の単位に分
割して符号化される。403は符号化対象フレーム40
2を複数のマクロブロックに分割した様子を示すもので
ある。
【0007】今、符号化対象フレーム403の分割され
た複数のマクロブロックのうち、白抜きの星☆がある4
03aのブロックに注目する。404は401と同じ参
照フレームであるが、ここでマクロブロック403aと
同じ座標のブロックは、404aのブロックとなる。し
かし、これらのフレーム間では動きが発生しているの
で、マクロブロック403aとの差分をとるにあたって
その差分値が最も小さくなるのは404bに位置するブ
ロックである。このとき、ブロック404aの座標とブ
ロック404bの座標とのずれを表す404cが動ベク
トルとなる。
【0008】情報の圧縮という点に関しては、符号化対
象フレーム内のマクロブロック403aと参照フレーム
内のブロック404aとの差分を符号化するよりも、符
号化対象フレーム内のマクロブロック403aと参照フ
レーム内のブロック404bとの差分および動ベクトル
404cを符号化した方が効率が良い。
【0009】この動ベクトルを検出する方法として、よ
く用いられる方法の1つにブロックマッチング法があ
る。これは、符号化対象ブロックの位置を中心にして動
ベクトルを検出するための探索範囲をあらかじめ設定
し、その探索範囲内の全ての候補ベクトルに対するブロ
ックについて符号化対象ブロックの各画素との差分の絶
対値の合計を算出し、その合計値が最小となった候補ブ
ロックを参照ブロック(図4のブロック404bに相
当)として採用するという方法である。これを図面を用
いて説明する。
【0010】図5は、ブロックマッチング法の説明図で
あり、説明の簡略化のため、符号化対象ブロックは縦横
2画素、探索範囲は符号化対象ブロックを中心にして上
下左右とも+2画素の範囲としている。図5において、
501は符号化対象フレーム内の符号化対象ブロック位
置を示し、502は1フレーム前の参照フレーム内の探
索範囲を示している。503〜527は探索範囲502
内の全ての候補ベクトルに対するブロックである。ま
た、○内の数字は、画素番号を示している。
【0011】この例の場合、符号化対象ブロック501
と探索範囲502内の各候補ブロック503〜527と
の間で対応する位置の画素間の差分絶対値の合計を算出
する。左上の候補ブロック503を例にとると、 |a15-b1|+|a16-b2|+|a21-b7|+|a22-b8| を算出することになる。ここで、a** は符号化対象画素
の値、b** は参照画素の値であり、**が図5の画素番号
に対応している。同様の演算を他の候補ブロック504
〜527についても行い、その結果が最小であったブロ
ックを参照ブロックとして採用する。
【0012】さらに、H.263やMPEG1、2、4
では、縦横の画素間のデータを補間することで半画素精
度のデータを生成し、この補間データを含めて参照フレ
ームのデータとして、半画素精度で動ベクトルを採用す
ることも可能である。これを図面を用いて説明する。
【0013】図6は、半画素精度の動ベクトルの説明図
であり、説明の簡略化のため、符号化対象ブロックを縦
横4画素としている。図6において、601は参照フレ
ームであり、この中の各画素のうち、丸印(白抜きの
丸、黒塗りの丸、斜線を施した丸の全て)は元の画素
(整数画素)を示している。これに対して、三角印(白
抜きの三角、斜線を施した三角の全て)は上記整数画素
を用いて補間によって生成された半画素を示している。
【0014】602は符号化対象ブロックの位置を示
し、この中の黒塗りの丸が符号化対象の整数画素位置を
示している。このとき、603が整数画素精度の動ベク
トルを求めた場合の参照ブロックの一例であり、斜線を
施した丸が参照画素である。また、604は半画素精度
の動ベクトルを求めた場合の参照ブロックの一例であ
り、斜線を施した三角が参照画素である。
【0015】図6から分かるように、半画素精度の動ベ
クトルを採用する場合については、参照フレーム601
内の画素の数が整数画素精度の動ベクトルを採用する場
合に比べて非常に多くなり、候補ベクトルの数も非常に
多くなってしまう。そのため、それら全ての候補ベクト
ルに対するブロックについて符号化対象ブロック間で差
分絶対値を計算していると、計算時間が莫大なものとな
ってしまう。そこで、通常は、最初に整数画素精度の動
ベクトルを検出し、次のそのとき求めた整数画素精度の
参照ブロックを中心にして縦横±0.5画素の範囲を設
定し、その範囲についてのみ同様の動ベクトル検出を行
う。これを図面を用いて説明する。
【0016】図7は、半画素精度の動ベクトルの検出方
法の説明図である。ここでは、例えば図5で説明したよ
うな処理によって、509のブロックが整数画素精度の
参照ブロックとして選ばれたものとする。図7におい
て、701は上記選択された整数画素精度の参照ブロッ
ク509とそれを囲む周辺の整数画素データとから半画
素データを補間して生成した半画素精度の探索範囲を示
している。702〜710は上記半画素精度の探索範囲
701内の全ての候補ベクトルに対するブロックであ
る。また、○内のアルファベットは、半画素番号を示し
ている。
【0017】この例の場合、図5の符号化対象ブロック
501と半画素精度の探索範囲701内の各候補ブロッ
ク702〜710との間で対応する位置の画素間の差分
絶対値の合計を算出する。そして、その合計値が最小で
あった候補ブロックを半画素精度の動ベクトルによる参
照ブロックとして採用する。すなわち、半画素精度の動
ベクトルを求める方法は、符号化対象ブロック501で
はなく、最初に求めた整数画素精度の参照ブロック50
9を原点にした縦横±0.5画素の探索範囲のブロック
マッチング法ということができる。
【0018】
【発明が解決しようとする課題】上記に挙げた種々の符
号化方式のうち、H.263やMPEG4は最近になっ
て標準化が成されたばかりであり、これらを応用した製
品はまだ数多く存在しないのが現状である。したがっ
て、整数画素精度の動ベクトルと半画素精度の動ベクト
ルとの両方を求めることが可能な装置をどのように構成
するかは、今後の課題とも言える。
【0019】特に、H.263やMPEG4では、MP
EG1あるいはMPEG2とは異なり、縦横の画素数が
176×144のQCIF(Quater Common Intermedia
te Format )を単位として符号化を行うので、処理の高
速化については従来ほど考慮しなくても良い。
【0020】そこで本発明は、このようなH.263や
MPEG4の応用化に先駆けて、処理の高速化よりも装
置のコンパクト化に重点をおき、整数画素精度の動ベク
トルと半画素精度の動ベクトルとをより簡単な構成で求
めることが可能な動ベクトル検出装置を提供することを
目的とする。
【0021】
【課題を解決するための手段】本発明の動ベクトル検出
装置は、整数画素精度の動ベクトルを求めるための探索
範囲内の画素値から、各画素間のデータを補間すること
で半画素精度の画素値を生成する半画素補間手段と、上
記半画素補間手段により生成された半画素精度の画素値
か上記整数画素精度の画素値かの何れかを選択する選択
手段と、上記選択手段により選択された整数画素精度あ
るいは半画素精度の何れかの画素値と符号化対象ブロッ
ク内の画素値とを用いて動ベクトルを検出する動ベクト
ル検出手段と、上記選択手段および上記動ベクトル検出
手段を所定の制御信号により制御する制御手段とを備え
る。
【0022】本発明の他の特徴とするところは、上記動
ベクトル検出手段は、上記符号化対象ブロック内の各画
素値と、上記選択手段により選択された整数画素精度あ
るいは半画素精度の探索範囲中で参照ブロックの候補と
なるブロック内の各画素値との差分絶対値を計算する各
画素毎の差分絶対値計算手段と、上記各画素毎の差分絶
対値計算手段に対して上記整数画素精度の各画素値が入
力されるように遅延処理を施すか、上記半画素精度の各
画素値が入力されるように遅延処理を施すかを切り換え
る切り換え手段と、上記切り換え手段の切り換えにより
得られる整数画素精度あるいは半画素精度の各画素値を
用いて上記差分絶対値計算手段により求められた各画素
毎の差分絶対値を合算する合算手段と、上記合算手段に
よる計算結果に基づいて上記参照ブロックを決定し、動
ベクトルを求める動ベクトル発生手段とを備え、上記切
り換え手段が上記制御手段より与えられる所定の制御信
号により制御されることを特徴とする。
【0023】本発明のその他の特徴とするところは、上
記半画素補間手段は、上記動ベクトル検出手段で検出さ
れた整数画素精度の動ベクトルに基づいて、該動ベクト
ルに対応する参照ブロック内の画素値とその周辺の画素
値とから上記半画素精度の画素値を補間生成することを
特徴とする。
【0024】本発明のその他の特徴とするところは、符
号化の方式がH.263またはMPEG4であることを
特徴とする。
【0025】本発明は上記技術手段より成るので、動ベ
クトル検出手段に入力する探索範囲の画素値として整数
画素精度の画素値を選択するか半画素精度の画素値を選
択するかを選択手段により切り換えて、1つの動ベクト
ル検出手段を使い回すことにより、1つの動ベクトル検
出手段で整数画素精度の動ベクトルと半画素精度の動ベ
クトルとの両方を求めることが可能となる。
【0026】
【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。図1は、本実施形態による動ベク
トル検出装置の要部構成を示すブロック図である。図1
において、101はマルチプレクサ、102は整数/半
画素精度動ベクトル検出部、103は整数画素精度探索
データ用メモリ、104は半画素補間部、105a,1
05bはフレームメモリ、106a,106b,106
cは読み出し部、107は制御回路である。
【0027】符号化対象フレームの画像は、第1のフレ
ームメモリ105aに格納され、その中から第1の読み
出し部106aより出力されるアドレスに従って符号化
対象ブロックの各画素値(以下、符号化対象ブロックデ
ータ)が読み出されて、整数/半画素精度動ベクトル検
出部102に供給される。
【0028】また、上記符号化対象フレームより1フレ
ーム前の参照フレームの画像は、第2のフレームメモリ
105bに格納され、その中から第2の読み出し部10
6bより出力されるアドレスに従って整数画素精度の探
索範囲内の各画素値(以下、整数画素精度探索データ)
が読み出されて、マルチプレクサ101および整数画素
精度探索データ用メモリ103に供給される。
【0029】マルチプレクサ101は、制御回路107
から与えられる所定のコントロール信号に従って、第2
のフレームメモリ105bから読み出された整数画素精
度探索データか半画素補間部104から出力された半画
素精度探索データかの何れかを選択して整数/半画素精
度動ベクトル検出部102に供給する。
【0030】整数/半画素精度動ベクトル検出部102
は、制御回路107から与えられる所定のコントロール
信号に従って、第1のフレームメモリ105aから読み
出された符号化対象ブロックデータと、マルチプレクサ
101から出力された整数画素精度探索データあるいは
半画素精度探索データとの間でブロックマッチング法に
よる動ベクトル検出処理を行う。
【0031】半画素補間部104は、整数画素精度探索
データ用メモリ103から読み出される整数画素精度探
索データを用いて半画素データを補間生成する。上記整
数画素精度探索データ用メモリ103からどの部分の整
数画素データを読み出すかは、第3の読み出し部106
cからのアドレスに従って制御される。第3の読み出し
部106cは、整数/半画素精度動ベクトル検出部10
2で求められた整数画素精度の動ベクトルに対応する参
照ブロックとその周辺の整数画素データとを読み出すよ
うに制御する。
【0032】以下に、上記のように構成した本実施形態
による動ベクトル検出装置の大まかな動作について説明
する。
【0033】まず、整数画素精度の動ベクトルを検出す
るために、符号化対象ブロックデータと整数画素精度探
索データとが整数/半画素精度動ベクトル検出部102
に入力される。ここで、マルチプレクサ101において
は、第2のフレームメモリ105bからの整数画素精度
探索データと半画素補間部104からの半画素精度探索
データとの何れかの選択で前者が選択され、整数/半画
素精度動ベクトル検出部102に入力される。このと
き、整数画素精度探索データは整数画素精度探索データ
用メモリ103にも入力され、その全てが保持される。
【0034】上記整数/半画素精度動ベクトル検出部1
02では、整数画素精度の動ベクトルがブロックマッチ
ング法により決定される。ここで求められた動ベクトル
の値は、外部に出力されるとともに第3の読み出し部1
06cに入力され、これによって整数画素精度探索デー
タ用メモリ103の中から上記決定された整数画素精度
動ベクトルに対応する参照ブロックの探索データとその
周辺画素の探索データとが読み出され、半画素補間部1
04に入力される。
【0035】半画素補間部104では、入力された整数
画素精度の探索データを用いて半画素データが補間生成
される。そして、この生成された半画素精度探索データ
はマルチプレクサ101に入力される。今回は、半画素
精度の動ベクトルを検出するために、マルチプレクサ1
01において、第2のフレームメモリ105bからの整
数画素精度探索データと半画素補間部104からの半画
素精度探索データとの何れかの選択で後者が選択され、
整数/半画素精度動ベクトル検出部102に入力され
る。
【0036】整数/半画素精度動ベクトル検出部102
では、あらかじめ入力された符号化対象ブロックデータ
と上記マルチプレクサ101で選択された半画素精度探
索データとを用いて、上述した縦横±0.5画素の探索
範囲のブロックマッチング法により半画素精度の動ベク
トルが決定され、外部に出力される。
【0037】この一連の動作の中で、制御回路107
は、整数画素精度の動ベクトルを求めるときはマルチプ
レクサ101で上側の入力を選択するように制御し、半
画素精度の動ベクトルを求めるときはマルチプレクサ1
01で下側の入力を選択するように制御する。また、整
数画素精度の動ベクトルを求めるか半画素精度の動ベク
トルを求めるかに応じて、後述する整数/半画素精度動
ベクトル検出部102内のマルチプレクサの切り換え動
作を制御する。
【0038】次に、上記整数/半画素精度動ベクトル検
出部102の内部構成について、図面を参照しながら説
明する。図2は、整数/半画素精度動ベクトル検出部1
02の構成を示す図である。なお、説明の簡略化のため
に、符号化対象ブロックは縦横4画素、整数画素精度動
ベクトルの探索範囲は符号化対象ブロックを中心にして
縦横±4画素の範囲であるものとする。
【0039】図2において、201は差分絶対値計算回
路、202は合算回路、203は最小値決定/動ベクト
ル発生回路である。上記差分絶対値計算回路201の内
部において、11a,11bは画素毎の差分絶対値計算
回路(以下、PDCという)、12a,12bはマルチ
プレクサ(以下、MPXという)、13はシフトレジス
タ(以下、SRという)、14は8つのシフトレジスタ
が直列に接続された8段シフトレジスタ、15は3つの
シフトレジスタが直列に接続された3段シフトレジスタ
である。
【0040】点線で囲んだ21aは上記PDC11a、
MPX12a、SR13の3つを組み合わせた回路ブロ
ックであり、21b,21cの点線で囲んだブロックも
同様に構成されている。また、一点鎖線で囲んだ22a
は上述の構成を全て含んだ回路ブロックであり、22
b,22cの一点鎖線で囲んだブロックも同様に構成さ
れている。
【0041】このように、上から3行の回路ブロック2
2a〜22cは全て同様に構成されているが、一番下の
行だけは、3つの回路ブロック21a〜21cと1つの
PDC11bのみにより構成されており、8段シフトレ
ジスタ14、MPX12bおよび3段シフトレジスタ1
5は含まれていない。
【0042】以上の構成によれば、PDCは各行に4
個、4行全部で16個備えられているが、これらのPD
Cの位置は、実際の画面上の符号化対象ブロック(縦横
4画素)の画素の位置に対応している。なお、以下の説
明において“PDC11”と記すときは、16個のPD
Cの全てを指しているものとする。また、“MPX1
2”と記すときは、差分絶対値計算回路201内の全て
のマルチプレクサを指しているものとする。
【0043】さらに、上記PDC11の内部構成を図3
に示す。図3において、301〜303はシフトレジス
タ(SR)、304は計算回路である。第1のSR30
1は、第1のフレームメモリ105aから読み出された
符号化対象ブロックデータの1画素分を保持する。第3
のSR303は、前段から送られてくる探索データの1
画素分を保持する。
【0044】計算回路304は、上記第1のSR301
に保持された1画素分の符号化対象ブロックデータA
と、第3のSR303に保持された1画素分の探索デー
タBとの差分絶対値|A−B|を計算し、その計算結果
は第2のSR302に保持される。第2のSR302に
保持された1画素分の差分絶対値は合算回路202に出
力され、第3のSR303に保持された前段からの探索
データBは、上記差分絶対値が出力されるのと同じタイ
ミングで次段に出力される。
【0045】各PDC11が図3のように構成されてい
るので、差分絶対値計算回路201内の各行では、入力
された探索データが右から左へと順に送られていく。ま
た、上から2行目以降の一番左にあるPDC11aから
出力された探索データは、それぞれその上の行に送られ
る。
【0046】本実施形態においては、整数画素精度の探
索範囲が横方向に12画素であるのに対して、探索範囲
内の各候補ブロックの大きさ(符号化対象ブロックと同
じ大きさ)は横方向に4画素で探索範囲より8画素少な
い。そのため、3つの回路ブロック22a〜22c内に
設けた8段シフトレジスタ14は、候補ブロック内の画
素値として使わない各行8画素分の探索データを格納
(遅延)するものとして機能する。
【0047】また、半画素精度の探索範囲は、各整数画
素データ間に上記半画素補間部104で補間生成された
半画素データが更に増えているので、3つの回路ブロッ
ク22a〜22c内に設けたSR13および3段シフト
レジスタ15は、半画素精度の動ベクトルを求めるとき
に候補ブロック内の画素値として使わない探索データを
格納(遅延)するものとして機能する。
【0048】また、MPX12aは、各回路ブロック2
1a〜21c内のPDC11aの前段に夫々設けられ、
前段のPDCからの出力とSR13からの出力とのどち
らかを選択出力するようになっている。MPX12b
は、8段シフトレジスタ14の前段に設けられ、3段シ
フトレジスタ15からの出力と下の行の一番左にあるP
DC11aからの出力とのどちらかを選択出力するよう
になっている。
【0049】以上に述べた各MPX12は、図1の制御
回路107から与えられるコントロール信号に応じて切
り換えられるようになっており、整数画素精度の動ベク
トルを求めるときは全て下側の入力が選択される。一
方、半画素精度の動ベクトルを求めるときは全て上側の
入力が選択される。
【0050】これにより、整数画素精度の動ベクトルを
求めるときは、16個のPDCが3個の8段シフトレジ
スタ14を途中に介しながら直列に接続され、探索デー
タが右下のPDC11bから左上のPDC11aへと順
に送られていくことになる。一方、半画素精度の動ベク
トルを求めるときは、16個のPDCが全てのシフトレ
ジスタ13,14,15を途中に介しながら直列に接続
され、探索データが右下のPDC11bから左上のPD
C11aへと順に送られていくことになる。
【0051】合算回路202は、16個のPDC11内
で計算された各画素毎の差分絶対値の合計を求め、その
結果を最小値決定/動ベクトル発生回路203に供給す
る。最小値決定/動ベクトル発生回路203は、合算回
路202から各候補ブロックごとに与えられる差分絶対
値の合計値の中から最小のものを決定し、その合計値が
最小の候補ブロックを参照ブロックとして採用して動ベ
クトルを発生する。
【0052】次に、上記のように構成した本実施形態に
よる整数/半画素精度動ベクトル検出部102の動作に
ついて詳しく説明する。まず、図1に示した第1のフレ
ームメモリ105aから符号化対象ブロックデータが整
数/半画素精度動ベクトル検出部102内の差分絶対値
計算回路201に入力され、各画素のデータがそれぞれ
対応するPDC11中の第1のSR301に保持され
る。この符号化対象ブロックデータは、同一のブロック
の処理期間中はそのまま第1のSR301に保持され
る。
【0053】なお、第1のフレームメモリ105aから
の符号化対象ブロックデータの入力は、以下に述べる探
索範囲のデータの入力において、最初のデータが図2の
一番左上のPDC11aに到着するまでに完了していれ
ば良い。
【0054】次に、差分絶対値計算回路201に探索範
囲のデータが入力されるが、最初に整数画素精度の動ベ
クトルを求めるために、第2のフレームメモリ105b
から整数画素精度の探索データが入力される。ここで
は、縦横4画素の符号化対象ブロックに対して縦横±4
画素を探索するので、整数画素精度探索データの大きさ
は縦横12画素となる。
【0055】また、図2における全てのMPX12で
は、図1の制御回路107からのコントロール信号に従
って下側の入力を選択する。これにより、一点鎖線で囲
んだ各回路ブロック22a〜22c内のPDC11bよ
り前段のシフトレジスタは8段になる。さらに、点線で
囲んだ各回路ブロック21a〜21c内にあるPDC間
のSR13は通過しなくなる。
【0056】このため、最下行を除く各行の探索データ
のパスでは、各PDC11内にある第3のSR303を
併せて12段のシフトレジスタが直列に結ばれることに
なる。また、最下行の探索データのパスでは、各PDC
11内にある第3のSR303によって4段のシフトレ
ジスタが直列に結ばれることになる。
【0057】各行間では直下の行の出力が直上の行の入
力に接続されており、最下行の入力側から整数画素精度
の探索データをラスタスキャン順に入力すると、最初の
データ(探索範囲の左上にあるデータ)が一番左上のP
DC11aに到着した時点で、左上の候補ブロック(図
5で言うところの候補ブロック503に相当)のデータ
が各PDC11に入力されたことになる。
【0058】このとき、各PDC11内の計算回路30
4で符号化対象ブロックデータと整数画素精度探索デー
タとの差分絶対値が各画素ごとに計算され、その結果が
第2のSR302に保持される。これらの差分絶対値は
合算回路202に入力されて合算されることにより、差
分絶対値の合計を得る。こうして得られた差分絶対値の
合計は、最小値決定/動ベクトル発生回路203に入力
され、図示しない内部のレジスタに保持される。
【0059】次に、最下行の入力側から次の探索データ
を1画素分入力すると、各PDC11には次の候補ブロ
ック(図5で言うところの候補ブロック504に相当)
のデータが入力されたことになる。この場合も同様にし
て、差分絶対値の合計が算出され、それが最小値決定/
動ベクトル発生回路203に入力される。最小値決定/
動ベクトル発生回路203では、今回入力された差分絶
対値の合計と、前回図示しない内部のレジスタに保持さ
れた差分絶対値の合計とを大小比較し、値の小さい方を
上記レジスタに保持し直す。
【0060】以下同様にして、最下行の入力側から探索
データを順次入力していき、各候補ブロックごとに差分
絶対値の合計を求めていく。ところで、最初の候補ブロ
ックのデータが各PDC11に入力されたときから数え
て、9画素分の探索データを入力すると、水平位置が同
じ9個の候補ブロック(図5で言うところの候補ブロッ
ク503〜507に相当。ただし、図5では探索範囲が
本例と異なるので、候補ブロックは5個となっている)
が各PDC11に順に入力される。
【0061】続く3画素分の探索データを入力したとき
には差分絶対値の合計の計算には無関係になるが、更に
それに続く9画素分の探索データを順に入力すると、先
に入力された9個の候補ブロックから水平位置が1画素
下がった9個の候補ブロック(図5で言うところの候補
ブロック508〜512に相当。ただし、図5では探索
範囲が本例と異なるので、候補ブロックは5個となって
いる)が各PDC11に順に入力される。このように整
数画素精度探索データを順次入力していくことで、全て
の候補ブロックの探索データが各PDC11に順に入力
される。
【0062】このとき、最小値決定/動ベクトル発生回
路203は、上述したような大小比較およびレジスタへ
の更新記憶の処理を各候補ブロックについて差分絶対値
の合計が計算されるごとに行うことにより、最終的に各
候補ブロックの中で最小の差分絶対値の合計を有する候
補ブロックを参照ブロックとして決定する。そして、そ
の決定した参照ブロックに対応する動ベクトルを発生し
て、整数画素精度の動ベクトルとして外部に出力する。
【0063】次に、半画素精度の動ベクトルを求めるた
めに、差分絶対値計算回路201の最下行の入力側から
半画素精度の探索データをラスタスキャン順に入力す
る。半画素精度の動ベクトルを求める場合には、縦横4
画素の符号化対象ブロックデータ(整数画素データ)に
対して、その上下左右の各画素間に半画素データが補間
されるので、半画素精度探索データの大きさは縦横9画
素となる。
【0064】この場合は、全てのMPX12は上側の入
力を選択する。この意味するところを、図7を用いて説
明する。まず、各PDC11間にSR13が挿入され
る。これは、図7の702〜710に示したように、半
画素精度探索範囲701内の各候補ブロックのデータと
して1画素おきの画素値が用いられることに対応するも
のである。
【0065】例えば、符号化対象ブロック501と半画
素精度の探索範囲701内の候補ブロック702とにつ
いて差分絶対値を計算する場合、 |15−a|+|16−c|+|21−i|+|22−k| を算出することになる。ここで、数字は符号化対象ブロ
ック501内の対応する画素番号の画素値、アルファベ
ットは候補ブロック702内の対応する半画素番号の画
素値を示している。
【0066】上記の式から分かるように、候補ブロック
702内の画素値は横方向に対してはa,cのように1
画素おきに用いられる。しかし、半画素精度探索データ
は差分絶対値計算回路201にa,b,cの順に入力さ
れる。そこで、各PDC11間に1個のSR13を挿入
することで、各PDC11に半画素精度探索データを
a,cのように1画素おきに入力できるようにしてい
る。
【0067】また、全てのMPX12が上側の入力を選
択することで、一点鎖線で囲んだ各回路ブロック22a
〜22c内のPDC11bより前段のシフトレジスタは
11段になる。このため、最下行を除く各行の探索デー
タのパスでは、各PDC11内にある第3のSR30
3、各PDC11間に挿入されたSR13を併せて18
段のシフトレジスタが直列に結ばれることになり、半画
素精度探索データの2行分のデータ数に等しくなる。
【0068】再び図7において、例えば符号化対象ブロ
ック501と候補ブロック702とで差分絶対値を計算
する場合を考えると、候補ブロック702内の画素値は
縦方向に対してはaの行,iの行のように1行おきに用
いられるが、半画素精度探索データは差分絶対値計算回
路201にaの行、fの行、iの行の順に入力され、a
の行、iの行の順ではない。そこで、行間に1行分のシ
フトレジスタを挿入することで、すなわち、1行あたり
のシフトレジスタの数を2行分にすることで、各行のP
DC11a,11bに半画素精度探索データをaの行、
iの行のように1行おきに入力できるようにしている。
【0069】これにより、最初の候補ブロックのデータ
が各PDC11に入力されたときから数えて、3画素分
の探索データを入力すると、水平位置が同じ3個の候補
ブロック(図7で言うところの候補ブロック702〜7
04に相当)が各PDC11に順に入力される。
【0070】続く15画素分の探索データを入力したと
きには差分絶対値の合計の計算には無関係になるが、更
にそれに続く3画素分の探索データを順に入力すると、
先に入力された3個の候補ブロックから水平位置が1画
素下がった3個の候補ブロック(図7で言うところの候
補ブロック705〜707に相当)が各PDC11に順
に入力される。このように半画素精度探索データを順次
入力していくことで、全ての候補ブロックの探索データ
が各PDC11に順に入力される。
【0071】このとき、最小値決定/動ベクトル発生回
路203は、上述したような大小比較およびレジスタへ
の更新記憶の処理を各候補ブロックについて差分絶対値
の合計が計算されるごとに行うことにより、最終的に各
候補ブロックの中で最小の差分絶対値の合計を有する候
補ブロックを参照ブロックとして決定する。そして、そ
の決定した参照ブロックに対応する動ベクトルを発生し
て、半画素精度の動ベクトルとして外部に出力する。
【0072】以上詳しく述べたように、本実施形態によ
れば、整数画素精度の動ベクトル検出部と半画素精度の
動ベクトル検出部とを別々に持たず、1つの動ベクトル
検出部で整数画素精度と半画素精度の動ベクトルを検出
することができる。
【0073】本実施形態の動ベクトル検出装置は、H.
261やMPEG1、2の符号化方式のシステムにも適
用可能であるが、H.263やMPEG4の符号化方式
のシステムに適用した場合に特に有利である。それは、
従来例で述べたように、H.261やMPEG1、2の
符号化方式ではデータ量の多い画像データをそのまま符
号化するため、符号化処理に時間がかかる。そのため、
整数画素精度の動ベクトル検出部と半画素精度の動ベク
トル検出部とを別々に持ち、パイプライン的に処理する
ことによって処理時間を短くする必要がある。
【0074】これに対して、H.263やMPEG4で
は、通信についての共通中間フォーマットであるCIF
に対して縦横の画素数を1/2に間引いたデータ量の少
ないQCIFを単位として符号化を行うので、パイプラ
イン処理によって符号化処理の高速化を図る必要性に乏
しい。したがって、本実施形態のように、1つの整数/
半画素精度動ベクトル検出部102を整数画素精度と半
画素精度とで使い回すようにしても、全体の符号化処理
時間がそれほど長くなることはない。
【0075】なお、以上の実施形態では、説明の簡略化
のために符号化対象ブロックが縦横4画素で、整数画素
精度の探索範囲が符号化対象ブロックを中心にして縦横
±4画素の範囲の場合について述べたが、本発明はこれ
に限定されない。従来例で述べたように、H.263や
MPEG4では実際には符号化対象ブロックは縦横16
画素で構成されるので、PDC、MPXおよびSR等を
その数に応じて構成すれば良い。
【0076】また、本実施形態において、半画素精度動
ベクトルの検出の探索範囲を広げたい場合は、一点鎖線
で囲んだ各回路ブロック22a〜22c内の3段シフト
レジスタ15の段数を、0.5画素の拡張に対して1段
増やすことで対応することが可能である。
【0077】なお、本発明においては図1で示した構成
の他に、他の実施形態として図8に示す構成をとっても
良いものである。すなわち、図8において図1と異なる
ところは、整数画素精度探索データ用メモリ103およ
び第3の読み出し部106cがないことであり、第2の
読み出し部106bにおいて第2のフレームメモリ10
5bを整数/半画素精度それぞれの場合に応じて読み出
せばよいものである。その他の構成は図1と同じである
ので、説明は省略する。
【0078】
【発明の効果】本発明は上述したように、整数画素精度
の探索範囲内の画素値か、これらの画素値から生成され
た半画素精度の画素値かの何れかを選択する選択手段
と、選択手段により選択された何れかの画素値を用いて
動ベクトルを検出する動ベクトル検出手段とを設けたの
で、1つの動ベクトル検出手段を用いて、整数画素精度
の動ベクトルと半画素精度の動ベクトルとを求めること
ができるようになり、上記2種類の動ベクトルをより簡
単な構成で求めることができる。
【図面の簡単な説明】
【図1】本発明による動ベクトル検出装置の一実施形態
を示す要部構成図である。
【図2】図1に示した整数/半画素精度動ベクトル検出
部の構成図である。
【図3】図2に示した画素毎の差分絶対値計算回路(P
DC)の構成図である。
【図4】動き補償フレーム間予測および動ベクトルを説
明するための図である。
【図5】動ベクトルを検出する方法の1つであるブロッ
クマッチング法を説明するための図である。
【図6】半画素精度の動ベクトルを説明するための図で
ある。
【図7】半画素精度の動ベクトルを検出する方法を説明
するための図である。
【図8】他の実施形態による動ベクトル検出装置の要部
構成図である。
【符号の説明】
11a,11b PDC 12a,12b MPX 13 SR 14 8段シフトレジスタ 15 3段シフトレジスタ 101 マルチプレクサ 102 整数/半画素精度動ベクトル検出部 103 整数画素精度探索データ用メモリ 104 半画素補間部 105a,105b フレームメモリ 106a〜106c 読み出し部 107 制御回路 201 差分絶対値計算回路 202 合算回路 203 最小値決定/動ベクトル発生回路 301〜303 SR 304 計算回路

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 整数画素精度の動ベクトルを求めるため
    の探索範囲内の画素値から、各画素間のデータを補間す
    ることで半画素精度の画素値を生成する半画素補間手段
    と、 上記半画素補間手段により生成された半画素精度の画素
    値か上記整数画素精度の画素値かの何れかを選択する選
    択手段と、 上記選択手段により選択された整数画素精度あるいは半
    画素精度の何れかの画素値と符号化対象ブロック内の画
    素値とを用いて動ベクトルを検出する動ベクトル検出手
    段と、 上記選択手段および上記動ベクトル検出手段を所定の制
    御信号により制御する制御手段とを備えたことを特徴と
    する動ベクトル検出装置。
  2. 【請求項2】 上記動ベクトル検出手段は、 上記符号化対象ブロック内の各画素値と、上記選択手段
    により選択された整数画素精度あるいは半画素精度の探
    索範囲中で参照ブロックの候補となるブロック内の各画
    素値との差分絶対値を計算する各画素毎の差分絶対値計
    算手段と、 上記各画素毎の差分絶対値計算手段に対して上記整数画
    素精度の各画素値が入力されるように遅延処理を施す
    か、上記半画素精度の各画素値が入力されるように遅延
    処理を施すかを切り換える切り換え手段と、 上記切り換え手段の切り換えにより得られる整数画素精
    度あるいは半画素精度の各画素値を用いて上記差分絶対
    値計算手段により求められた各画素毎の差分絶対値を合
    算する合算手段と、 上記合算手段による計算結果に基づいて上記参照ブロッ
    クを決定し、動ベクトルを求める動ベクトル発生手段と
    を備え、 上記切り換え手段が上記制御手段より与えられる所定の
    制御信号により制御されることを特徴とする請求項1に
    記載の動ベクトル検出装置。
  3. 【請求項3】 上記半画素補間手段は、上記動ベクトル
    検出手段で検出された整数画素精度の動ベクトルに基づ
    いて、該動ベクトルに対応する参照ブロック内の画素値
    とその周辺の画素値とから上記半画素精度の画素値を補
    間生成することを特徴とする請求項1または2に記載の
    動ベクトル検出装置。
  4. 【請求項4】 符号化の方式がH.263またはMPE
    G4であることを特徴とする請求項1〜3の何れか1項
    に記載の動ベクトル検出装置。
JP35700596A 1996-12-26 1996-12-26 動ベクトル検出装置 Expired - Lifetime JP4570700B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35700596A JP4570700B2 (ja) 1996-12-26 1996-12-26 動ベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35700596A JP4570700B2 (ja) 1996-12-26 1996-12-26 動ベクトル検出装置

Publications (2)

Publication Number Publication Date
JPH10191358A true JPH10191358A (ja) 1998-07-21
JP4570700B2 JP4570700B2 (ja) 2010-10-27

Family

ID=18451890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35700596A Expired - Lifetime JP4570700B2 (ja) 1996-12-26 1996-12-26 動ベクトル検出装置

Country Status (1)

Country Link
JP (1) JP4570700B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099231A (zh) * 2021-03-23 2021-07-09 北京百度网讯科技有限公司 确定亚像素插值位置的方法、装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099231A (zh) * 2021-03-23 2021-07-09 北京百度网讯科技有限公司 确定亚像素插值位置的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP4570700B2 (ja) 2010-10-27

Similar Documents

Publication Publication Date Title
US6263025B1 (en) Motion vector detecting apparatus
US7929609B2 (en) Motion estimation and/or compensation
RU2251820C2 (ru) Экстраполяция вектора движения для перекодировки видеопоследовательности
KR100413153B1 (ko) 화상 부호화 장치, 화상 복호화 장치 및 기록 매체
JP3386142B2 (ja) 画像復号装置および画像復号方法
KR20030007087A (ko) 움직임 추정 장치 및 탐색영역에서 레퍼런스매크로블록창의 스캐닝 방법
KR0182058B1 (ko) 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
JP2004120732A (ja) 動画像符号化装置及び動画像復号装置
JPH07115646A (ja) 画像処理装置
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
JPH10215457A (ja) 動画像復号方法及び動画像復号装置
KR100413770B1 (ko) 완전 탐색블록 정합회로 및 완전 탐색블록 정합방법
US20040247032A1 (en) Motion vector detection device and motion vector detection method
JP4570700B2 (ja) 動ベクトル検出装置
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JP3513277B2 (ja) 映像符号化装置及び映像復号化装置
JP3968161B2 (ja) 動ベクトル検出装置および記録媒体
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP2007151169A (ja) 動ベクトル検出装置および記録媒体
JP2004229150A (ja) 動きベクトル探索方法および装置
KR100926440B1 (ko) 영상부호화를 위한 블록 매칭 움직임 추정 장치
JP3698501B2 (ja) 動きベクトル検出装置
KR20010034374A (ko) 움직임 벡터 검출 장치 및 방법
JP3585628B2 (ja) 動きベクトル検出装置
JP2003163934A (ja) 動きベクトル検出方法及び動きベクトル検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080116

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080130

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080425

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term