JPH10191358A - 動ベクトル検出装置 - Google Patents
動ベクトル検出装置Info
- Publication number
- JPH10191358A JPH10191358A JP35700596A JP35700596A JPH10191358A JP H10191358 A JPH10191358 A JP H10191358A JP 35700596 A JP35700596 A JP 35700596A JP 35700596 A JP35700596 A JP 35700596A JP H10191358 A JPH10191358 A JP H10191358A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- integer
- block
- precision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ベクトルとをより簡単な構成で求めることが可能な動ベ
クトル検出装置を提供する。 【解決手段】 第2のフレームメモリ105bから読み
出された整数画素精度の探索範囲内の各画素値か、これ
らの画素値から半画素補間部104で生成された半画素
精度の各画素値かの何れかを選択するマルチプレクサ1
01と、マルチプレクサ101により選択された何れか
の各画素値を用いて動ベクトルを検出する整数/半画素
精度動ベクトル検出部102とを設け、1つの整数/半
画素精度動ベクトル検出部102を整数画素精度と半画
素精度とで使い回すようにすることにより、1つの動ベ
クトル検出手段を用いて整数画素精度の動ベクトルと半
画素精度の動ベクトルとの両方を求めることができるよ
うにする。
Description
に関し、特に、整数画素精度の動ベクトルと半画素精度
の動ベクトルとの両方を検出する動ベクトル検出装置に
用いて好適なものである。
を高能率圧縮するために、動画像信号のフレーム間の相
関性の高さに着目してフレーム間の差分を符号化する方
法(フレーム間符号化)が採用されることが多い。すな
わち、差分をとる対象フレームが存在しない最初のフレ
ームについては1画面をそのまま符号化するが、それ以
降のフレームについては、符号化した情報を更に復号し
た1つ前のフレーム(参照フレーム)との差分をとり、
その差分を符号化するという方法である。
ついて1画面をそのまま符号化する場合に比べれば情報
量を少なくできるが、差分をとるフレーム間で画面に動
きがあった部分については、差分値が大きくなることが
あり、情報量の圧縮という点に関してはまだまだ十分と
は言えない。そこで、このような場合も考慮して更に効
率的に情報量を圧縮するために、動き補償という方法
(動き補償フレーム間符号化)が用いられる。
いては、フレーム間の差分は、比較される両フレームの
空間座標が互いに同一の箇所でとられる。これに対して
動き補償を用いる場合は、両フレームの空間座標は必ず
しも同一である必要はなく、画面の動きを考慮し、フレ
ーム間の差分がより小さくなるような参照フレームの箇
所との間で差分がとられる。このときの符号化対象箇所
の座標と参照フレーム内の差分をとる箇所の座標とのず
れを表すのが動ベクトルである。これを図面を用いて説
明する。
ベクトルの説明図である。図4において、401は参照
フレーム、402は符号化対象フレームであり、白抜き
の星☆だけが動いていて背景は全く動いていない様子が
示されている。符号化対象フレーム402は、動き補償
フレーム間符号化を行うにあたって複数の小さなブロッ
クに分割され、このブロック単位で符号化が行われる。
TU−T勧告H.261やH.263、動画像蓄積の符
号化標準であるMPEG1やMPEG2、MPEG4で
は、マクロブロックと呼ばれる縦横16画素の単位に分
割して符号化される。403は符号化対象フレーム40
2を複数のマクロブロックに分割した様子を示すもので
ある。
た複数のマクロブロックのうち、白抜きの星☆がある4
03aのブロックに注目する。404は401と同じ参
照フレームであるが、ここでマクロブロック403aと
同じ座標のブロックは、404aのブロックとなる。し
かし、これらのフレーム間では動きが発生しているの
で、マクロブロック403aとの差分をとるにあたって
その差分値が最も小さくなるのは404bに位置するブ
ロックである。このとき、ブロック404aの座標とブ
ロック404bの座標とのずれを表す404cが動ベク
トルとなる。
象フレーム内のマクロブロック403aと参照フレーム
内のブロック404aとの差分を符号化するよりも、符
号化対象フレーム内のマクロブロック403aと参照フ
レーム内のブロック404bとの差分および動ベクトル
404cを符号化した方が効率が良い。
く用いられる方法の1つにブロックマッチング法があ
る。これは、符号化対象ブロックの位置を中心にして動
ベクトルを検出するための探索範囲をあらかじめ設定
し、その探索範囲内の全ての候補ベクトルに対するブロ
ックについて符号化対象ブロックの各画素との差分の絶
対値の合計を算出し、その合計値が最小となった候補ブ
ロックを参照ブロック(図4のブロック404bに相
当)として採用するという方法である。これを図面を用
いて説明する。
あり、説明の簡略化のため、符号化対象ブロックは縦横
2画素、探索範囲は符号化対象ブロックを中心にして上
下左右とも+2画素の範囲としている。図5において、
501は符号化対象フレーム内の符号化対象ブロック位
置を示し、502は1フレーム前の参照フレーム内の探
索範囲を示している。503〜527は探索範囲502
内の全ての候補ベクトルに対するブロックである。ま
た、○内の数字は、画素番号を示している。
と探索範囲502内の各候補ブロック503〜527と
の間で対応する位置の画素間の差分絶対値の合計を算出
する。左上の候補ブロック503を例にとると、 |a15-b1|+|a16-b2|+|a21-b7|+|a22-b8| を算出することになる。ここで、a** は符号化対象画素
の値、b** は参照画素の値であり、**が図5の画素番号
に対応している。同様の演算を他の候補ブロック504
〜527についても行い、その結果が最小であったブロ
ックを参照ブロックとして採用する。
では、縦横の画素間のデータを補間することで半画素精
度のデータを生成し、この補間データを含めて参照フレ
ームのデータとして、半画素精度で動ベクトルを採用す
ることも可能である。これを図面を用いて説明する。
であり、説明の簡略化のため、符号化対象ブロックを縦
横4画素としている。図6において、601は参照フレ
ームであり、この中の各画素のうち、丸印(白抜きの
丸、黒塗りの丸、斜線を施した丸の全て)は元の画素
(整数画素)を示している。これに対して、三角印(白
抜きの三角、斜線を施した三角の全て)は上記整数画素
を用いて補間によって生成された半画素を示している。
し、この中の黒塗りの丸が符号化対象の整数画素位置を
示している。このとき、603が整数画素精度の動ベク
トルを求めた場合の参照ブロックの一例であり、斜線を
施した丸が参照画素である。また、604は半画素精度
の動ベクトルを求めた場合の参照ブロックの一例であ
り、斜線を施した三角が参照画素である。
クトルを採用する場合については、参照フレーム601
内の画素の数が整数画素精度の動ベクトルを採用する場
合に比べて非常に多くなり、候補ベクトルの数も非常に
多くなってしまう。そのため、それら全ての候補ベクト
ルに対するブロックについて符号化対象ブロック間で差
分絶対値を計算していると、計算時間が莫大なものとな
ってしまう。そこで、通常は、最初に整数画素精度の動
ベクトルを検出し、次のそのとき求めた整数画素精度の
参照ブロックを中心にして縦横±0.5画素の範囲を設
定し、その範囲についてのみ同様の動ベクトル検出を行
う。これを図面を用いて説明する。
法の説明図である。ここでは、例えば図5で説明したよ
うな処理によって、509のブロックが整数画素精度の
参照ブロックとして選ばれたものとする。図7におい
て、701は上記選択された整数画素精度の参照ブロッ
ク509とそれを囲む周辺の整数画素データとから半画
素データを補間して生成した半画素精度の探索範囲を示
している。702〜710は上記半画素精度の探索範囲
701内の全ての候補ベクトルに対するブロックであ
る。また、○内のアルファベットは、半画素番号を示し
ている。
501と半画素精度の探索範囲701内の各候補ブロッ
ク702〜710との間で対応する位置の画素間の差分
絶対値の合計を算出する。そして、その合計値が最小で
あった候補ブロックを半画素精度の動ベクトルによる参
照ブロックとして採用する。すなわち、半画素精度の動
ベクトルを求める方法は、符号化対象ブロック501で
はなく、最初に求めた整数画素精度の参照ブロック50
9を原点にした縦横±0.5画素の探索範囲のブロック
マッチング法ということができる。
号化方式のうち、H.263やMPEG4は最近になっ
て標準化が成されたばかりであり、これらを応用した製
品はまだ数多く存在しないのが現状である。したがっ
て、整数画素精度の動ベクトルと半画素精度の動ベクト
ルとの両方を求めることが可能な装置をどのように構成
するかは、今後の課題とも言える。
EG1あるいはMPEG2とは異なり、縦横の画素数が
176×144のQCIF(Quater Common Intermedia
te Format )を単位として符号化を行うので、処理の高
速化については従来ほど考慮しなくても良い。
MPEG4の応用化に先駆けて、処理の高速化よりも装
置のコンパクト化に重点をおき、整数画素精度の動ベク
トルと半画素精度の動ベクトルとをより簡単な構成で求
めることが可能な動ベクトル検出装置を提供することを
目的とする。
装置は、整数画素精度の動ベクトルを求めるための探索
範囲内の画素値から、各画素間のデータを補間すること
で半画素精度の画素値を生成する半画素補間手段と、上
記半画素補間手段により生成された半画素精度の画素値
か上記整数画素精度の画素値かの何れかを選択する選択
手段と、上記選択手段により選択された整数画素精度あ
るいは半画素精度の何れかの画素値と符号化対象ブロッ
ク内の画素値とを用いて動ベクトルを検出する動ベクト
ル検出手段と、上記選択手段および上記動ベクトル検出
手段を所定の制御信号により制御する制御手段とを備え
る。
ベクトル検出手段は、上記符号化対象ブロック内の各画
素値と、上記選択手段により選択された整数画素精度あ
るいは半画素精度の探索範囲中で参照ブロックの候補と
なるブロック内の各画素値との差分絶対値を計算する各
画素毎の差分絶対値計算手段と、上記各画素毎の差分絶
対値計算手段に対して上記整数画素精度の各画素値が入
力されるように遅延処理を施すか、上記半画素精度の各
画素値が入力されるように遅延処理を施すかを切り換え
る切り換え手段と、上記切り換え手段の切り換えにより
得られる整数画素精度あるいは半画素精度の各画素値を
用いて上記差分絶対値計算手段により求められた各画素
毎の差分絶対値を合算する合算手段と、上記合算手段に
よる計算結果に基づいて上記参照ブロックを決定し、動
ベクトルを求める動ベクトル発生手段とを備え、上記切
り換え手段が上記制御手段より与えられる所定の制御信
号により制御されることを特徴とする。
記半画素補間手段は、上記動ベクトル検出手段で検出さ
れた整数画素精度の動ベクトルに基づいて、該動ベクト
ルに対応する参照ブロック内の画素値とその周辺の画素
値とから上記半画素精度の画素値を補間生成することを
特徴とする。
号化の方式がH.263またはMPEG4であることを
特徴とする。
クトル検出手段に入力する探索範囲の画素値として整数
画素精度の画素値を選択するか半画素精度の画素値を選
択するかを選択手段により切り換えて、1つの動ベクト
ル検出手段を使い回すことにより、1つの動ベクトル検
出手段で整数画素精度の動ベクトルと半画素精度の動ベ
クトルとの両方を求めることが可能となる。
に基づいて説明する。図1は、本実施形態による動ベク
トル検出装置の要部構成を示すブロック図である。図1
において、101はマルチプレクサ、102は整数/半
画素精度動ベクトル検出部、103は整数画素精度探索
データ用メモリ、104は半画素補間部、105a,1
05bはフレームメモリ、106a,106b,106
cは読み出し部、107は制御回路である。
ームメモリ105aに格納され、その中から第1の読み
出し部106aより出力されるアドレスに従って符号化
対象ブロックの各画素値(以下、符号化対象ブロックデ
ータ)が読み出されて、整数/半画素精度動ベクトル検
出部102に供給される。
ーム前の参照フレームの画像は、第2のフレームメモリ
105bに格納され、その中から第2の読み出し部10
6bより出力されるアドレスに従って整数画素精度の探
索範囲内の各画素値(以下、整数画素精度探索データ)
が読み出されて、マルチプレクサ101および整数画素
精度探索データ用メモリ103に供給される。
から与えられる所定のコントロール信号に従って、第2
のフレームメモリ105bから読み出された整数画素精
度探索データか半画素補間部104から出力された半画
素精度探索データかの何れかを選択して整数/半画素精
度動ベクトル検出部102に供給する。
は、制御回路107から与えられる所定のコントロール
信号に従って、第1のフレームメモリ105aから読み
出された符号化対象ブロックデータと、マルチプレクサ
101から出力された整数画素精度探索データあるいは
半画素精度探索データとの間でブロックマッチング法に
よる動ベクトル検出処理を行う。
データ用メモリ103から読み出される整数画素精度探
索データを用いて半画素データを補間生成する。上記整
数画素精度探索データ用メモリ103からどの部分の整
数画素データを読み出すかは、第3の読み出し部106
cからのアドレスに従って制御される。第3の読み出し
部106cは、整数/半画素精度動ベクトル検出部10
2で求められた整数画素精度の動ベクトルに対応する参
照ブロックとその周辺の整数画素データとを読み出すよ
うに制御する。
による動ベクトル検出装置の大まかな動作について説明
する。
るために、符号化対象ブロックデータと整数画素精度探
索データとが整数/半画素精度動ベクトル検出部102
に入力される。ここで、マルチプレクサ101において
は、第2のフレームメモリ105bからの整数画素精度
探索データと半画素補間部104からの半画素精度探索
データとの何れかの選択で前者が選択され、整数/半画
素精度動ベクトル検出部102に入力される。このと
き、整数画素精度探索データは整数画素精度探索データ
用メモリ103にも入力され、その全てが保持される。
02では、整数画素精度の動ベクトルがブロックマッチ
ング法により決定される。ここで求められた動ベクトル
の値は、外部に出力されるとともに第3の読み出し部1
06cに入力され、これによって整数画素精度探索デー
タ用メモリ103の中から上記決定された整数画素精度
動ベクトルに対応する参照ブロックの探索データとその
周辺画素の探索データとが読み出され、半画素補間部1
04に入力される。
画素精度の探索データを用いて半画素データが補間生成
される。そして、この生成された半画素精度探索データ
はマルチプレクサ101に入力される。今回は、半画素
精度の動ベクトルを検出するために、マルチプレクサ1
01において、第2のフレームメモリ105bからの整
数画素精度探索データと半画素補間部104からの半画
素精度探索データとの何れかの選択で後者が選択され、
整数/半画素精度動ベクトル検出部102に入力され
る。
では、あらかじめ入力された符号化対象ブロックデータ
と上記マルチプレクサ101で選択された半画素精度探
索データとを用いて、上述した縦横±0.5画素の探索
範囲のブロックマッチング法により半画素精度の動ベク
トルが決定され、外部に出力される。
は、整数画素精度の動ベクトルを求めるときはマルチプ
レクサ101で上側の入力を選択するように制御し、半
画素精度の動ベクトルを求めるときはマルチプレクサ1
01で下側の入力を選択するように制御する。また、整
数画素精度の動ベクトルを求めるか半画素精度の動ベク
トルを求めるかに応じて、後述する整数/半画素精度動
ベクトル検出部102内のマルチプレクサの切り換え動
作を制御する。
出部102の内部構成について、図面を参照しながら説
明する。図2は、整数/半画素精度動ベクトル検出部1
02の構成を示す図である。なお、説明の簡略化のため
に、符号化対象ブロックは縦横4画素、整数画素精度動
ベクトルの探索範囲は符号化対象ブロックを中心にして
縦横±4画素の範囲であるものとする。
路、202は合算回路、203は最小値決定/動ベクト
ル発生回路である。上記差分絶対値計算回路201の内
部において、11a,11bは画素毎の差分絶対値計算
回路(以下、PDCという)、12a,12bはマルチ
プレクサ(以下、MPXという)、13はシフトレジス
タ(以下、SRという)、14は8つのシフトレジスタ
が直列に接続された8段シフトレジスタ、15は3つの
シフトレジスタが直列に接続された3段シフトレジスタ
である。
MPX12a、SR13の3つを組み合わせた回路ブロ
ックであり、21b,21cの点線で囲んだブロックも
同様に構成されている。また、一点鎖線で囲んだ22a
は上述の構成を全て含んだ回路ブロックであり、22
b,22cの一点鎖線で囲んだブロックも同様に構成さ
れている。
2a〜22cは全て同様に構成されているが、一番下の
行だけは、3つの回路ブロック21a〜21cと1つの
PDC11bのみにより構成されており、8段シフトレ
ジスタ14、MPX12bおよび3段シフトレジスタ1
5は含まれていない。
個、4行全部で16個備えられているが、これらのPD
Cの位置は、実際の画面上の符号化対象ブロック(縦横
4画素)の画素の位置に対応している。なお、以下の説
明において“PDC11”と記すときは、16個のPD
Cの全てを指しているものとする。また、“MPX1
2”と記すときは、差分絶対値計算回路201内の全て
のマルチプレクサを指しているものとする。
に示す。図3において、301〜303はシフトレジス
タ(SR)、304は計算回路である。第1のSR30
1は、第1のフレームメモリ105aから読み出された
符号化対象ブロックデータの1画素分を保持する。第3
のSR303は、前段から送られてくる探索データの1
画素分を保持する。
に保持された1画素分の符号化対象ブロックデータA
と、第3のSR303に保持された1画素分の探索デー
タBとの差分絶対値|A−B|を計算し、その計算結果
は第2のSR302に保持される。第2のSR302に
保持された1画素分の差分絶対値は合算回路202に出
力され、第3のSR303に保持された前段からの探索
データBは、上記差分絶対値が出力されるのと同じタイ
ミングで次段に出力される。
るので、差分絶対値計算回路201内の各行では、入力
された探索データが右から左へと順に送られていく。ま
た、上から2行目以降の一番左にあるPDC11aから
出力された探索データは、それぞれその上の行に送られ
る。
索範囲が横方向に12画素であるのに対して、探索範囲
内の各候補ブロックの大きさ(符号化対象ブロックと同
じ大きさ)は横方向に4画素で探索範囲より8画素少な
い。そのため、3つの回路ブロック22a〜22c内に
設けた8段シフトレジスタ14は、候補ブロック内の画
素値として使わない各行8画素分の探索データを格納
(遅延)するものとして機能する。
素データ間に上記半画素補間部104で補間生成された
半画素データが更に増えているので、3つの回路ブロッ
ク22a〜22c内に設けたSR13および3段シフト
レジスタ15は、半画素精度の動ベクトルを求めるとき
に候補ブロック内の画素値として使わない探索データを
格納(遅延)するものとして機能する。
1a〜21c内のPDC11aの前段に夫々設けられ、
前段のPDCからの出力とSR13からの出力とのどち
らかを選択出力するようになっている。MPX12b
は、8段シフトレジスタ14の前段に設けられ、3段シ
フトレジスタ15からの出力と下の行の一番左にあるP
DC11aからの出力とのどちらかを選択出力するよう
になっている。
回路107から与えられるコントロール信号に応じて切
り換えられるようになっており、整数画素精度の動ベク
トルを求めるときは全て下側の入力が選択される。一
方、半画素精度の動ベクトルを求めるときは全て上側の
入力が選択される。
求めるときは、16個のPDCが3個の8段シフトレジ
スタ14を途中に介しながら直列に接続され、探索デー
タが右下のPDC11bから左上のPDC11aへと順
に送られていくことになる。一方、半画素精度の動ベク
トルを求めるときは、16個のPDCが全てのシフトレ
ジスタ13,14,15を途中に介しながら直列に接続
され、探索データが右下のPDC11bから左上のPD
C11aへと順に送られていくことになる。
で計算された各画素毎の差分絶対値の合計を求め、その
結果を最小値決定/動ベクトル発生回路203に供給す
る。最小値決定/動ベクトル発生回路203は、合算回
路202から各候補ブロックごとに与えられる差分絶対
値の合計値の中から最小のものを決定し、その合計値が
最小の候補ブロックを参照ブロックとして採用して動ベ
クトルを発生する。
よる整数/半画素精度動ベクトル検出部102の動作に
ついて詳しく説明する。まず、図1に示した第1のフレ
ームメモリ105aから符号化対象ブロックデータが整
数/半画素精度動ベクトル検出部102内の差分絶対値
計算回路201に入力され、各画素のデータがそれぞれ
対応するPDC11中の第1のSR301に保持され
る。この符号化対象ブロックデータは、同一のブロック
の処理期間中はそのまま第1のSR301に保持され
る。
の符号化対象ブロックデータの入力は、以下に述べる探
索範囲のデータの入力において、最初のデータが図2の
一番左上のPDC11aに到着するまでに完了していれ
ば良い。
囲のデータが入力されるが、最初に整数画素精度の動ベ
クトルを求めるために、第2のフレームメモリ105b
から整数画素精度の探索データが入力される。ここで
は、縦横4画素の符号化対象ブロックに対して縦横±4
画素を探索するので、整数画素精度探索データの大きさ
は縦横12画素となる。
は、図1の制御回路107からのコントロール信号に従
って下側の入力を選択する。これにより、一点鎖線で囲
んだ各回路ブロック22a〜22c内のPDC11bよ
り前段のシフトレジスタは8段になる。さらに、点線で
囲んだ各回路ブロック21a〜21c内にあるPDC間
のSR13は通過しなくなる。
のパスでは、各PDC11内にある第3のSR303を
併せて12段のシフトレジスタが直列に結ばれることに
なる。また、最下行の探索データのパスでは、各PDC
11内にある第3のSR303によって4段のシフトレ
ジスタが直列に結ばれることになる。
力に接続されており、最下行の入力側から整数画素精度
の探索データをラスタスキャン順に入力すると、最初の
データ(探索範囲の左上にあるデータ)が一番左上のP
DC11aに到着した時点で、左上の候補ブロック(図
5で言うところの候補ブロック503に相当)のデータ
が各PDC11に入力されたことになる。
4で符号化対象ブロックデータと整数画素精度探索デー
タとの差分絶対値が各画素ごとに計算され、その結果が
第2のSR302に保持される。これらの差分絶対値は
合算回路202に入力されて合算されることにより、差
分絶対値の合計を得る。こうして得られた差分絶対値の
合計は、最小値決定/動ベクトル発生回路203に入力
され、図示しない内部のレジスタに保持される。
を1画素分入力すると、各PDC11には次の候補ブロ
ック(図5で言うところの候補ブロック504に相当)
のデータが入力されたことになる。この場合も同様にし
て、差分絶対値の合計が算出され、それが最小値決定/
動ベクトル発生回路203に入力される。最小値決定/
動ベクトル発生回路203では、今回入力された差分絶
対値の合計と、前回図示しない内部のレジスタに保持さ
れた差分絶対値の合計とを大小比較し、値の小さい方を
上記レジスタに保持し直す。
データを順次入力していき、各候補ブロックごとに差分
絶対値の合計を求めていく。ところで、最初の候補ブロ
ックのデータが各PDC11に入力されたときから数え
て、9画素分の探索データを入力すると、水平位置が同
じ9個の候補ブロック(図5で言うところの候補ブロッ
ク503〜507に相当。ただし、図5では探索範囲が
本例と異なるので、候補ブロックは5個となっている)
が各PDC11に順に入力される。
には差分絶対値の合計の計算には無関係になるが、更に
それに続く9画素分の探索データを順に入力すると、先
に入力された9個の候補ブロックから水平位置が1画素
下がった9個の候補ブロック(図5で言うところの候補
ブロック508〜512に相当。ただし、図5では探索
範囲が本例と異なるので、候補ブロックは5個となって
いる)が各PDC11に順に入力される。このように整
数画素精度探索データを順次入力していくことで、全て
の候補ブロックの探索データが各PDC11に順に入力
される。
路203は、上述したような大小比較およびレジスタへ
の更新記憶の処理を各候補ブロックについて差分絶対値
の合計が計算されるごとに行うことにより、最終的に各
候補ブロックの中で最小の差分絶対値の合計を有する候
補ブロックを参照ブロックとして決定する。そして、そ
の決定した参照ブロックに対応する動ベクトルを発生し
て、整数画素精度の動ベクトルとして外部に出力する。
めに、差分絶対値計算回路201の最下行の入力側から
半画素精度の探索データをラスタスキャン順に入力す
る。半画素精度の動ベクトルを求める場合には、縦横4
画素の符号化対象ブロックデータ(整数画素データ)に
対して、その上下左右の各画素間に半画素データが補間
されるので、半画素精度探索データの大きさは縦横9画
素となる。
力を選択する。この意味するところを、図7を用いて説
明する。まず、各PDC11間にSR13が挿入され
る。これは、図7の702〜710に示したように、半
画素精度探索範囲701内の各候補ブロックのデータと
して1画素おきの画素値が用いられることに対応するも
のである。
素精度の探索範囲701内の候補ブロック702とにつ
いて差分絶対値を計算する場合、 |15−a|+|16−c|+|21−i|+|22−k| を算出することになる。ここで、数字は符号化対象ブロ
ック501内の対応する画素番号の画素値、アルファベ
ットは候補ブロック702内の対応する半画素番号の画
素値を示している。
702内の画素値は横方向に対してはa,cのように1
画素おきに用いられる。しかし、半画素精度探索データ
は差分絶対値計算回路201にa,b,cの順に入力さ
れる。そこで、各PDC11間に1個のSR13を挿入
することで、各PDC11に半画素精度探索データを
a,cのように1画素おきに入力できるようにしてい
る。
択することで、一点鎖線で囲んだ各回路ブロック22a
〜22c内のPDC11bより前段のシフトレジスタは
11段になる。このため、最下行を除く各行の探索デー
タのパスでは、各PDC11内にある第3のSR30
3、各PDC11間に挿入されたSR13を併せて18
段のシフトレジスタが直列に結ばれることになり、半画
素精度探索データの2行分のデータ数に等しくなる。
ック501と候補ブロック702とで差分絶対値を計算
する場合を考えると、候補ブロック702内の画素値は
縦方向に対してはaの行,iの行のように1行おきに用
いられるが、半画素精度探索データは差分絶対値計算回
路201にaの行、fの行、iの行の順に入力され、a
の行、iの行の順ではない。そこで、行間に1行分のシ
フトレジスタを挿入することで、すなわち、1行あたり
のシフトレジスタの数を2行分にすることで、各行のP
DC11a,11bに半画素精度探索データをaの行、
iの行のように1行おきに入力できるようにしている。
が各PDC11に入力されたときから数えて、3画素分
の探索データを入力すると、水平位置が同じ3個の候補
ブロック(図7で言うところの候補ブロック702〜7
04に相当)が各PDC11に順に入力される。
きには差分絶対値の合計の計算には無関係になるが、更
にそれに続く3画素分の探索データを順に入力すると、
先に入力された3個の候補ブロックから水平位置が1画
素下がった3個の候補ブロック(図7で言うところの候
補ブロック705〜707に相当)が各PDC11に順
に入力される。このように半画素精度探索データを順次
入力していくことで、全ての候補ブロックの探索データ
が各PDC11に順に入力される。
路203は、上述したような大小比較およびレジスタへ
の更新記憶の処理を各候補ブロックについて差分絶対値
の合計が計算されるごとに行うことにより、最終的に各
候補ブロックの中で最小の差分絶対値の合計を有する候
補ブロックを参照ブロックとして決定する。そして、そ
の決定した参照ブロックに対応する動ベクトルを発生し
て、半画素精度の動ベクトルとして外部に出力する。
れば、整数画素精度の動ベクトル検出部と半画素精度の
動ベクトル検出部とを別々に持たず、1つの動ベクトル
検出部で整数画素精度と半画素精度の動ベクトルを検出
することができる。
261やMPEG1、2の符号化方式のシステムにも適
用可能であるが、H.263やMPEG4の符号化方式
のシステムに適用した場合に特に有利である。それは、
従来例で述べたように、H.261やMPEG1、2の
符号化方式ではデータ量の多い画像データをそのまま符
号化するため、符号化処理に時間がかかる。そのため、
整数画素精度の動ベクトル検出部と半画素精度の動ベク
トル検出部とを別々に持ち、パイプライン的に処理する
ことによって処理時間を短くする必要がある。
は、通信についての共通中間フォーマットであるCIF
に対して縦横の画素数を1/2に間引いたデータ量の少
ないQCIFを単位として符号化を行うので、パイプラ
イン処理によって符号化処理の高速化を図る必要性に乏
しい。したがって、本実施形態のように、1つの整数/
半画素精度動ベクトル検出部102を整数画素精度と半
画素精度とで使い回すようにしても、全体の符号化処理
時間がそれほど長くなることはない。
のために符号化対象ブロックが縦横4画素で、整数画素
精度の探索範囲が符号化対象ブロックを中心にして縦横
±4画素の範囲の場合について述べたが、本発明はこれ
に限定されない。従来例で述べたように、H.263や
MPEG4では実際には符号化対象ブロックは縦横16
画素で構成されるので、PDC、MPXおよびSR等を
その数に応じて構成すれば良い。
ベクトルの検出の探索範囲を広げたい場合は、一点鎖線
で囲んだ各回路ブロック22a〜22c内の3段シフト
レジスタ15の段数を、0.5画素の拡張に対して1段
増やすことで対応することが可能である。
の他に、他の実施形態として図8に示す構成をとっても
良いものである。すなわち、図8において図1と異なる
ところは、整数画素精度探索データ用メモリ103およ
び第3の読み出し部106cがないことであり、第2の
読み出し部106bにおいて第2のフレームメモリ10
5bを整数/半画素精度それぞれの場合に応じて読み出
せばよいものである。その他の構成は図1と同じである
ので、説明は省略する。
の探索範囲内の画素値か、これらの画素値から生成され
た半画素精度の画素値かの何れかを選択する選択手段
と、選択手段により選択された何れかの画素値を用いて
動ベクトルを検出する動ベクトル検出手段とを設けたの
で、1つの動ベクトル検出手段を用いて、整数画素精度
の動ベクトルと半画素精度の動ベクトルとを求めること
ができるようになり、上記2種類の動ベクトルをより簡
単な構成で求めることができる。
を示す要部構成図である。
部の構成図である。
DC)の構成図である。
明するための図である。
クマッチング法を説明するための図である。
ある。
するための図である。
構成図である。
Claims (4)
- 【請求項1】 整数画素精度の動ベクトルを求めるため
の探索範囲内の画素値から、各画素間のデータを補間す
ることで半画素精度の画素値を生成する半画素補間手段
と、 上記半画素補間手段により生成された半画素精度の画素
値か上記整数画素精度の画素値かの何れかを選択する選
択手段と、 上記選択手段により選択された整数画素精度あるいは半
画素精度の何れかの画素値と符号化対象ブロック内の画
素値とを用いて動ベクトルを検出する動ベクトル検出手
段と、 上記選択手段および上記動ベクトル検出手段を所定の制
御信号により制御する制御手段とを備えたことを特徴と
する動ベクトル検出装置。 - 【請求項2】 上記動ベクトル検出手段は、 上記符号化対象ブロック内の各画素値と、上記選択手段
により選択された整数画素精度あるいは半画素精度の探
索範囲中で参照ブロックの候補となるブロック内の各画
素値との差分絶対値を計算する各画素毎の差分絶対値計
算手段と、 上記各画素毎の差分絶対値計算手段に対して上記整数画
素精度の各画素値が入力されるように遅延処理を施す
か、上記半画素精度の各画素値が入力されるように遅延
処理を施すかを切り換える切り換え手段と、 上記切り換え手段の切り換えにより得られる整数画素精
度あるいは半画素精度の各画素値を用いて上記差分絶対
値計算手段により求められた各画素毎の差分絶対値を合
算する合算手段と、 上記合算手段による計算結果に基づいて上記参照ブロッ
クを決定し、動ベクトルを求める動ベクトル発生手段と
を備え、 上記切り換え手段が上記制御手段より与えられる所定の
制御信号により制御されることを特徴とする請求項1に
記載の動ベクトル検出装置。 - 【請求項3】 上記半画素補間手段は、上記動ベクトル
検出手段で検出された整数画素精度の動ベクトルに基づ
いて、該動ベクトルに対応する参照ブロック内の画素値
とその周辺の画素値とから上記半画素精度の画素値を補
間生成することを特徴とする請求項1または2に記載の
動ベクトル検出装置。 - 【請求項4】 符号化の方式がH.263またはMPE
G4であることを特徴とする請求項1〜3の何れか1項
に記載の動ベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35700596A JP4570700B2 (ja) | 1996-12-26 | 1996-12-26 | 動ベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35700596A JP4570700B2 (ja) | 1996-12-26 | 1996-12-26 | 動ベクトル検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10191358A true JPH10191358A (ja) | 1998-07-21 |
JP4570700B2 JP4570700B2 (ja) | 2010-10-27 |
Family
ID=18451890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35700596A Expired - Lifetime JP4570700B2 (ja) | 1996-12-26 | 1996-12-26 | 動ベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4570700B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113099231A (zh) * | 2021-03-23 | 2021-07-09 | 北京百度网讯科技有限公司 | 确定亚像素插值位置的方法、装置、电子设备和存储介质 |
-
1996
- 1996-12-26 JP JP35700596A patent/JP4570700B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113099231A (zh) * | 2021-03-23 | 2021-07-09 | 北京百度网讯科技有限公司 | 确定亚像素插值位置的方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4570700B2 (ja) | 2010-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6263025B1 (en) | Motion vector detecting apparatus | |
US7929609B2 (en) | Motion estimation and/or compensation | |
RU2251820C2 (ru) | Экстраполяция вектора движения для перекодировки видеопоследовательности | |
KR100413153B1 (ko) | 화상 부호화 장치, 화상 복호화 장치 및 기록 매체 | |
JP3386142B2 (ja) | 画像復号装置および画像復号方法 | |
KR20030007087A (ko) | 움직임 추정 장치 및 탐색영역에서 레퍼런스매크로블록창의 스캐닝 방법 | |
KR0182058B1 (ko) | 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 | |
JP2004120732A (ja) | 動画像符号化装置及び動画像復号装置 | |
JPH07115646A (ja) | 画像処理装置 | |
KR100976718B1 (ko) | 필드 레이트 업변환을 위한 방법 및 장치 | |
JPH10215457A (ja) | 動画像復号方法及び動画像復号装置 | |
KR100413770B1 (ko) | 완전 탐색블록 정합회로 및 완전 탐색블록 정합방법 | |
US20040247032A1 (en) | Motion vector detection device and motion vector detection method | |
JP4570700B2 (ja) | 動ベクトル検出装置 | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
JP3968161B2 (ja) | 動ベクトル検出装置および記録媒体 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JP2007151169A (ja) | 動ベクトル検出装置および記録媒体 | |
JP2004229150A (ja) | 動きベクトル探索方法および装置 | |
KR100926440B1 (ko) | 영상부호화를 위한 블록 매칭 움직임 추정 장치 | |
JP3698501B2 (ja) | 動きベクトル検出装置 | |
KR20010034374A (ko) | 움직임 벡터 검출 장치 및 방법 | |
JP3585628B2 (ja) | 動きベクトル検出装置 | |
JP2003163934A (ja) | 動きベクトル検出方法及び動きベクトル検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080116 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080130 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080425 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100811 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |