JPH0540828A

JPH0540828A - ブロツクマツチング探索方式

Info

Publication number: JPH0540828A
Application number: JP3195302A
Authority: JP
Inventors: Osamu Kawai; 修川井; Katsuhiro Eguchi; 勝博江口; Atsushi Tanaka; 淳田中; Makiko Konoshima; 真喜子此島; Yasuhiro Kawakatsu; 保博川勝; Hiroshi Miyake; 啓史三宅; Kiichi Matsuda; 喜一松田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-08-05
Filing date: 1991-08-05
Publication date: 1993-02-19

Abstract

(57)【要約】【目的】本発明はブロックマッチング探索方式に関
し、ブロックマッチングの演算量を大幅に軽減できるブ
ロックマッチング探索方式の提供を目的とする。【構成】データ平面３内の１データ以上を間引いた各
位置でブロックデータ１，２間のマッチング検査を行
い、最大マッチングが得られる最適候補ブロック４を探
索する第１の探索行程と、最適候補ブロック４中の基準
データＲを囲む所定範囲内の各データＲａ〜Ｒｎを基準
データとする各位置でブロックデータ１，２間のマッチ
ング検査を行い、最大マッチングが得られる最適ブロッ
クデータ５を探索する第２の探索行程とを備える。ま
た、第１及び第２の探索行程ではブロックデータ１，２
の対応する１データ以上を間引いた状態でマッチング検
査を行う。また第１の探索行程ではデータを間引いた状
態でマッチング検査を行い、第２の探索行程ではデータ
の間引きをしない状態でマッチング検査を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はブロックマッチング探索
方式に関し、更に詳しくは第１及び第２のブロックデー
タ間でブロックマッチング検査を行い、かつ第２のブロ
ックデータの位置を所定のデータ平面内で移動させるこ
とにより第１のブロックデータとの間で最大のブロック
マッチングが得られる最適ブロックデータを探索するブ
ロックマッチング探索方式に関する。

【０００２】近年、ＴＶ等の動画像信号を高能率で情報
圧縮符号化できる動き補償フレーム間符号化方式が注目
されている。この方式では、フレーム間での画像の動き
を追跡するために現時点のビデオデータと過去のフレー
ムデータとの間で所定範囲にわたるブロックマッチング
探索を行う。この場合に、探索範囲を広くとれば画像の
大きな動きにも追従でき、かつ誤差信号パワーも減少し
て符号化効率は向上するが、それに伴いブロックマッチ
ングの演算量は膨大になってしまう。そこで、探索範囲
が広くとれると共に、ブロックマッチングの演算量を大
幅に軽減できるようなブロックマッチング探索方式の提
供が要望されている。

【０００３】

【従来の技術】図８は従来の動き補償フレーム間符号化
方式の構成を示す図で、図において１１は減算器、１２
は量子化部、１３は加算器、１４はフレームメモリ、１
５は可変遅延バッファ、１６は動き補償予測部、１７は
ビデオバッファ、１８はフレームバッファ、１９は演算
処理部である。

【０００４】減算器１１は現時点の入力ビデオデータＶ
Ｄと予測データＰＤとの間で差分をとり、該差分出力は
量子化部１２で量子化されて予測誤差データＰＥとな
る。この状態で、加算器１３は予測データＰＤと予測誤
差データＰＥとを加算して現時点のビデオデータＶＤ´
を再生しており、これによりフレームメモリ４のフレー
ムデータＦＤが更新される。

【０００５】さらに、フレームメモリ１４のフレームデ
ータＦＤは次フレームの入力ビデオデータＶＤの予測の
ために読み出されるが、該読み出されたフレームデータ
ＦＤは、その際のフレーム間での画像の動きを補償する
ために可変遅延バッファ１５により可変遅延を受けて次
フレームの予測データＰＤとなる。そして、動き補償予
測部１６は、フレーム間における画像の動きをブロック
マッチング探索演算により求め、得られた最適動ベクト
ルＭＶにより可変遅延バッファ１５の遅延量を制御して
いる。

【０００６】例えば、動き補償予測部１６の演算処理部
１９では次のようなブロックマッチング探索演算を行っ
ている。即ち、ビデオバッファ１７内の画素ブロックデ
ータをＸ_k（ｋ＝１〜１６）、フレームバッファ１８内
での探索すべきｉ番目の画素ブロックデータをＹ_i，_k
（ｋ＝１〜１６）とする時に、両ブロックデータ間の差
分絶対値和Ｓ_iを、Ｓ_i＝Σ｜Ｘ_k−Ｙ_i,k｜（ｋ＝１〜１６）のブロックマッチング演算で求め、かつこの差分絶対値
和Ｓ_iが最小となるような最適画素ブロックＹ_i,kを探
索し、これに基づいて最適動ベクトルＭＶを求めてい
る。次に、これを図をもって具体的に説明する。

【０００７】図９は従来の動き補償予測部におけるブロ
ックマッチング探索演算を説明する図で、該図は１／２
画素（ハーフペル）単位の動き補償も行える場合を示し
ている。なお、図１０は１／２画素の一例の演算方法を
示す図で、図中Ａ〜Ｄは各一画素データ、ａ〜ｅは１／
２画素データである。各１／２画素データａ〜ｅは、例
えば一画素データＡ〜Ｄからの次の補間演算、ａ＝（Ａ＋Ｂ）／２ｂ＝（Ａ＋Ｃ）／２ｃ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４ｄ＝（Ｂ＋Ｄ）／２ｅ＝（Ｃ＋Ｄ）／２により求められる。

【０００８】図９に戻り、円印は一画素データ、×印は
１／２画素データ、Ｒは各画素ブロックの基準画素であ
る。なお、この基準画素位置は任意に定められる。今、
ある時点のビデオバッファ１７の画素ブロック１がフレ
ームバッファ１８上の画素ブロック６の位置に対応して
いるとすると、この画素ブロック１に最も類似した画素
ブロック２が画素ブロック６の位置からどれだけ離れた
位置にあるかを見つけるのがブロックマッチング探索演
算である。

【０００９】従来は、画素ブロック１，２間でブロック
マッチング検査を行い、かつ画素ブロック２の位置をフ
レームバッファ１８上で順次隣の画素（１／２画素を含
む）に移動させ、こうしてフレームバッファ１８の全範
囲についてのブロックマッチング検査を行い、画素ブロ
ック１，２間で最大のブロックマッチングが得られる最
適画素ブロック５を探索していた。そして、最適動ベク
トルＭＶは、最適画素ブロック５の基準画素Ｒから画素
ブロック６の基準画素Ｒに向かう矢印Ａとして求まる。

【００１０】しかし、上記従来の方法によると、ブロッ
クマッチングの演算量が膨大になってしまう。例えばビ
デオデータＶＤとして通常の１３．５ＭＨ_Zでサンプリ
ングしたＮＴＳＣ信号を考え、探索対象範囲を１／２画
素を含まない（３１×３１）画素、即ち、探索ブロック
数にして９６１個とし、この範囲を全探索すると、約１
３０００ＭＯＰＳの差分絶対値和演算が必要となってし
まう。

【００１１】さらに、１／２画素も含めた精細な動き補
償予測では、予めビデオバッファ１７及びフレームバッ
ファ１８上の全範囲で１／２画素を補間演算しておく必
要があり、しかも、１画素及び１／２画素データの全て
を基準画素としてフレームバッファ１８上の全範囲を探
索しなくてはならないから、その演算量は倍以上になっ
てしまう。

【００１２】このために、従来は、探索範囲が狭く制限
され、あるいは演算処理部１９に膨大な量の差分絶対値
和演算回路を並列の設ける必要があった。

【００１３】

【発明が解決しようとする課題】上記のように従来のブ
ロックマッチング探索方式では、フレームバッファ１８
上の全画素位置についてブロックマッチング探索演算を
行うので、ブロックマッチングの演算量が膨大になって
しまう欠点があった。本発明の目的は、このようなブロ
ックマッチングの演算量を大幅に軽減できるブロックマ
ッチング探索方式を提供することにある。

【００１４】

【課題を解決するための手段】上記の課題は図１の構成
により解決される。即ち、本発明のブロックマッチング
探索方式は、第１及び第２のブロックデータ１，２間で
ブロックマッチング検査を行い、かつ第２のブロックデ
ータ２の位置を所定のデータ平面３内で移動させること
により第１のブロックデータ１との間で最大のブロック
マッチングが得られる最適ブロックデータ５を探索する
ブロックマッチング探索方式において、データ平面３内
の１データ以上を間引いた各位置で第１及び第２のブロ
ックデータ１，２間のブロックマッチング検査を行い、
最大のブロックマッチングが得られる最適候補ブロック
データ４を探索する第１の探索行程と、最適候補ブロッ
クデータ４中の基準データＲを囲む所定範囲内の各デー
タＲａ〜Ｒｎを基準データとする各位置で第１及び第２
のブロックデータ１，２間のブロックマッチング検査を
行い、最大のブロックマッチングが得られる最適ブロッ
クデータ５を探索する第２の探索行程とを備える。

【００１５】

【作用】本発明によれば、第１の探索行程では、まず全
データ平面３にわたり飛び飛びのブロックマッチング検
査を行うことにより最適候補ブロックデータ４を探索
し、次の第２の探索行程では、最適候補ブロックデータ
４中の基準データＲを囲む所定範囲内の各データＲａ〜
Ｒｎを基準データとする各位置でブロックマッチング検
査を行うことにより最適ブロックデータ５を探索するも
のである。従って、従来の方式に比べて探査精度を損な
うことなくブロックマッチングの演算量を大幅に軽減で
きる。

【００１６】また、第１及び第２の探索行程では、第１
及び第２のブロックデータ（１，２）の対応する１デー
タ以上を間引いた状態でブロックマッチング検査を行
う。従って、第１及び第２の探索行程では各ブロックマ
ッチングの演算量そのものが軽減され、もって全体とし
ての演算量を一層軽減できる。また、第１の探索行程で
は、第１及び第２のブロックデータ（１，２）の対応す
る１データ以上を間引いた状態でブロックマッチング検
査を行い、第２の探索行程では、第１及び第２のブロッ
クデータ（１，２）の間引きをしない状態でブロックマ
ッチング検査を行う。従って、第１の探索行程では各ブ
ロックマッチングの演算量そのものが軽減されると共
に、第２の探索行程では間引きをしない状態で高精度な
ブロックマッチング探索が行える。

【００１７】しかも、データ平面３についての必要な補
間データの演算は、第２の探索行程に入ってから行えば
よく、かつ少数のデータＲａ〜Ｒｎを夫々基準データと
する各第２のブロックデータについてのみ求めれば良
い。

【００１８】

【実施例】以下、添付図面に従って本発明による実施例
を詳細に説明する。なお、全図を通して同一符合は同一
又は相当部分を示すものとする。図２は実施例の動き補
償予測部のブロック図で、該動き補償予測部は例えば図
８の動き補償予測部１６に代わるものである。

【００１９】図において、１７はビデオバッファ、１８
はフレームバッファ、２０は演算処理部、ＰＢ₁〜ＰＢ
_nは各同一に構成された演算ボード、２１は減算器、２
２は絶対値回路、２３は加算器、２４はレジスタ、２５
は最小値検出部、２６はベクトル変換部、２７は制御部
である。制御部２７は、ビデオバッファ１７からは固定
のビデオブロックデータＶＤを読み出し、かつフレーム
バッファ１８からは飛び飛びの位置の各フレームブロッ
クデータＦＤを読み出して各演算ボードＰＢ₁〜ＰＢ_n
に分配する。各演算ボードＰＢ₁〜ＰＢ_nは夫々以下の
差分絶対値和演算を並列に行う。即ち、減算器２１はビ
デオブロックデータＶＤとフレームブロックデータＦＤ
間で差分をとり、絶対値回路２２は該差分の絶対値を求
める。そして、加算器２３は得られた各絶対値を累積加
算し、レジスタ２４は累積加算結果（差分絶対値和）を
保持する。こうして、ｎ個の差分絶対値和が出揃うと、
最小値検出部２５は最小のものを検出し、その旨を制御
部２７に知らせる。このような一回の並列演算でフレー
ムバッファ１８の全エリアをカバーできる場合は良い
が、そうでない場合は、制御部２７は、さらに残りのエ
リアにつて同様の処理を行う。かかる構成で、次に制御
部２７による実施例のブロックマッチング探索制御を説
明する。

【００２０】図３は実施例の制御部によるブロックマッ
チング探索制御のフローチャートで、ステップＳ１では
フレームバッファ１８内の１データ以上を間引いた各位
置でビデオブロックデータＶＤと各フレームブロックデ
ータ間のブロックマッチング探索演算を行う。ステップ
Ｓ２では全探索終了か否かを判別し、全探索終了でない
時はステップＳ１に戻る。やがて全探索終了になると、
ステップＳ３ではそれまでに最小値検出部２５より得ら
れた最小の差分絶対値和に基づき最適候補ブロックを求
め、ステップＳ４では最適候補ブロック周辺の所定エリ
アのフレームブロックデータＦＤについてのみ１／２画
素値を補間演算する。

【００２１】ステップＳ５では最適候補ブロックの周辺
で１／２画素を含めた高精細なブロックマッチング探索
演算を行い、ステップＳ６では全探索終了か否かを判別
する。全探索終了でない時はステップＳ５に戻り、やが
て全探索終了になると、ステップＳ７ではそれまでに最
小値検出部２５より得られた最小の差分絶対値和に基づ
き最適ブロックを求め、ベクトル変換部２６はこれに基
づいて最適動ベクトルＭＶを求める。

【００２２】図４は実施例の動き補償予測部における第
１の探索行程を説明する図で、今、ある時点のビデオバ
ッファ１７の画素ブロック１がフレームバッファ１８上
の画素ブロック６の位置に対応しているとすると、この
画素ブロック１に最も類似している画素ブロック２が画
素ブロック６の位置からどれだけ離れた位置にあるかを
探索する。

【００２３】本実施例では、画素ブロック１，２間でブ
ロックマッチング検査を行い、かつ画素ブロック２の位
置をフレームバッファ１８上で１画素以上を間引いた位
置に順次移動させ、こうしてフレームバッファ１８の全
範囲についてのブロックマッチング検査を行い、画素ブ
ロック１，２間で最大のマッチングが得られる最適候補
ブロック４を求める。

【００２４】図５は実施例の動き補償予測部における第
２の探索行程を説明する図で、ここでは図示の如く１／
２画素データを補間演算により求め、かつ最適候補ブロ
ック４中の基準画素Ｒを囲む所定範囲内の各画素Ｒａ〜
Ｒｎを基準データとする各位置で画素ブロック１，２間
のブロックマッチング検査を行い、画素ブロック１，２
間で最大のマッチングが得られる最適ブロック４を求め
る。そして、最適ブロック５の基準画素Ｒから画素ブロ
ック６の基準画素Ｒに向かう矢印Ａが最適動ベクトルＭ
Ｖとして求まる。

【００２５】図６は他の実施例の第１の探索行程を説明
する図で、この例では、ビデオバッファ１７の画素ブロ
ック１とフレームバッファ１８上の各画素ブロック２に
付き対応する１データ以上を間引いた状態で図４と同様
のブロックマッチング探索演算を行っている。図７は他
の実施例の第２の探索行程を説明する図で、ここでは図
示の如く１／２画素データを補間演算により求め、かつ
ビデオバッファ１７の画素ブロック１とフレームバッフ
ァ１８上の各画素ブロック２に付き対応する１データ以
上を間引いた状態で図５の場合と同様のブロックマッチ
ング探査演算を行っている。

【００２６】従って、上記第１及び第２の探索行程で
は、各ブロックマッチングの演算量そのものが軽減さ
れ、もって全体としての演算量を格段に軽減できる。ま
た、図７の第２の探索行程は、ビデオバッファ１７の画
素ブロック１とフレームバッファ１８上の各画素ブロッ
ク２に付き夫々データの間引きをしない状態で、図５の
場合と同様のブロックマッチング探査演算を行うように
しても良い。こうすれば、実質的な探索精度は損なわれ
ない。

【００２７】なお、上記実施例では１／２画素データの
補間演算を行う場合について述べたが、これに限らな
い。Ｎを任意数とする１／Ｎ画素データの補間演算を行
うような場合、即ち、１／Ｎ画素の動き補償を行うよう
な場合についても本発明を適用できる。また、上記実施
例では前画面から予測する場合を述べたが、本発明は後
ろ画面からの予測や、前及び後ろ画面からの予測をする
場合にも適用できる。

【００２８】また、上記実施例では差分絶対値和による
ブロックマッチング演算の例を示したが、他の差分２乗
和等でも良い。また、上記実施例では動き補償フレーム
間符号化への応用例を示したが、本発明は、同一平面の
画像データ内で互いに最も類似したブロックデータを探
索するようなブロックマッチング探索にも適用でき、か
かる場合にも威力を発揮するものである。

【００２９】

【発明の効果】以上述べた如く本発明によれば、データ
平面３内の１データ以上を間引いた各位置でブロックデ
ータ１，２間のマッチング検査を行い、最大のマッチン
グが得られる最適候補ブロックデータ４を探索する第１
の探索行程と、最適候補ブロックデータ４中の基準デー
タＲを囲む所定範囲内の各データＲａ〜Ｒｎを基準デー
タとする各位置でブロックデータ１，２間のマッチング
検査を行い、最大のマッチングが得られる最適ブロック
データ５を探索する第２の探索行程とを備えるので、従
来のものに比べて探索精度を損なうことなくブロックマ
ッチングの演算量を大幅に軽減でき、かつデータ平面３
に対する画素データのアクセス回数も大幅に削減でき
る。

【００３０】従って、本発明を動き補償フレーム間符号
化方式等に応用した場合は、探索範囲の拡大化、並列演
算回路の削減又は処理の高速化等の効果が得られる。

【図面の簡単な説明】

【図１】図１は本発明の原理的構成図である。

【図２】図２は実施例の動き補償予測部のブロック図で
ある。

【図３】図３は実施例の制御部によるブロックマッチン
グ探索制御のフローチャートである。

【図４】図４は実施例の動き補償予測部における第１の
探索行程を説明する図である。

【図５】図５は実施例の動き補償予測部における第２の
探索行程を説明する図である。

【図６】図６は他の実施例の第１の探索行程を説明する
図である。

【図７】図７は他の実施例の第２の探索行程を説明する
図である。

【図８】図８は従来の動き補償フレーム間符号化方式の
構成を示す図である。

【図９】図９は従来の動き補償予測部におけるブロック
マッチング探索演算を説明する図である。

【図１０】図１０は１／２画素の一例の演算方法を示す
図である。

【符号の説明】

１第１のブロックデータ２第２のブロックデータ３データ平面４最適候補ブロックデータ５最適ブロックデータＲ基準データＲａ〜Ｒｎデータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者田中淳神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者此島真喜子神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者川勝保博神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者三宅啓史福岡県福岡市博多区博多駅前３丁目22番８号富士通九州デイジタル・テクノロジ株式会社内 (72)発明者松田喜一神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】第１及び第２のブロックデータ（１，
２）間でブロックマッチング検査を行い、かつ第２のブ
ロックデータ（２）の位置を所定のデータ平面（３）内
で移動させることにより第１のブロックデータ（１）と
の間で最大のブロックマッチングが得られる最適ブロッ
クデータ（５）を探索するブロックマッチング探索方式
において、データ平面（３）内の１データ以上を間引いた各位置で
第１及び第２のブロックデータ（１，２）間のブロック
マッチング検査を行い、最大のブロックマッチングが得
られる最適候補ブロックデータ（４）を探索する第１の
探索行程と、最適候補ブロックデータ（４）中の基準データ（Ｒ）を
囲む所定範囲内の各データ（Ｒａ〜Ｒｎ）を基準データ
とする各位置で第１及び第２のブロックデータ（１，
２）間のブロックマッチング検査を行い、最大のブロッ
クマッチングが得られる最適ブロックデータ（５）を探
索する第２の探索行程とを備えることを特徴とするブロ
ックマッチング探索方式。
【請求項２】第１及び第２の探索行程は、第１及び第
２のブロックデータ（１，２）の対応する１データ以上
を間引いた状態でブロックマッチング検査を行うことを
特徴とする請求項１のブロックマッチング探索方式。
【請求項３】第１の探索行程は、第１及び第２のブロ
ックデータ（１，２）の対応する１データ以上を間引い
た状態でブロックマッチング検査を行い、第２の探索行
程は、第１及び第２のブロックデータ（１，２）の間引
きをしない状態でブロックマッチング検査を行うことを
特徴とする請求項１のブロックマッチング探索方式。