JPH11168731A - 動きベクトル検出方法及びその方法を実施する装置 - Google Patents

動きベクトル検出方法及びその方法を実施する装置

Info

Publication number
JPH11168731A
JPH11168731A JP22994998A JP22994998A JPH11168731A JP H11168731 A JPH11168731 A JP H11168731A JP 22994998 A JP22994998 A JP 22994998A JP 22994998 A JP22994998 A JP 22994998A JP H11168731 A JPH11168731 A JP H11168731A
Authority
JP
Japan
Prior art keywords
motion vector
dimensional
image
dct
uncompressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP22994998A
Other languages
English (en)
Other versions
JP3667105B2 (ja
Inventor
Daisaku Komiya
大作 小宮
Tsutomu Uenoyama
上野山  努
Kazunori Yamada
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP22994998A priority Critical patent/JP3667105B2/ja
Priority to US09/164,333 priority patent/US6925121B1/en
Priority to EP20040026452 priority patent/EP1503598A1/en
Priority to EP19980118570 priority patent/EP0907291A3/en
Publication of JPH11168731A publication Critical patent/JPH11168731A/ja
Application granted granted Critical
Publication of JP3667105B2 publication Critical patent/JP3667105B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 高速且つ高精度で動きベクトルを検出する動
きベクトル検出装置を提供する。 【解決手段】 DCT変換された映像信号のブロックか
ら、低周波成分を含むx方向及びy方向の1次元DCT
画像を抽出するDCT成分抽出手段12と、各方向の1次
元DCT画像を逆変換してx方向及びy方向の1次元非
圧縮画像を生成する1次元逆DCT手段13、14と、生成
された各方向の1次元非圧縮画像を順次記憶するフレー
ムメモリ15、16と、動き検出対象領域の1次元非圧縮画
像と探索領域の1次元非圧縮画像とを用いて、動き検出
対象領域の各方向の動きベクトル成分を探索し、それら
成分を合成して動きベクトルを検出するマッチング手段
17とを設ける。少ない演算量で、2次元画像による全探
索と変わらない検出精度を得ることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号の圧縮符
号化に用いる動きベクトルを検出する方法と、それを実
施する装置に関し、特に、高速且つ高精度で動きベクト
ルを検出することを可能にするものである。
【0002】
【従来の技術】近年、デジタル映像信号を扱う機器が増
加し、また、それらの機器で扱うデジタル映像信号のデ
ータ量を削減するための種々の圧縮符号化方式が定めら
れている。
【0003】そうした方式の一つであるMPEG1やM
PEG2は、コンピュータで利用する映像信号に多く用
いられている。この方式では、DCT(離散コサイン変
換)によるフレーム内の空間的な冗長度の削減と、動き
補償によるフレーム間の時間的な冗長度の削減とを組み
合わせて、画像データが圧縮される。
【0004】なお、MPEG1については「ISO/IEC 11
172-2 "Information technology -Coding of moving pi
ctures and associated audio for digital strage med
iaat up to about 1,5Mbit/s - Part 2: Video"」、M
PEG2については「ISO/IEC 13818-2 "Information t
echnology - Generic coding of moving Pictures and
associated audio information - Part 2: Video"」に
その内容が詳しく説明されている。
【0005】この動き補償による冗長度の削減は、現在
のフレーム画像の対象ブロックを符号化する場合に、過
去のフレーム画像から、そのブロックと最も相関度が大
きいブロック(相関度最大ブロック)を探し出し、対象
ブロック位置から相関度最大ブロック位置までの動きベ
クトルと、相関度最大ブロック及び対象ブロックの間の
画像データの差分データとを求めて符号化することによ
り、データ量の削減を図るものである。MPEGでは、
マクロブロック(2×2ブロック)の単位でこの動きベ
クトルの検出が行なわれる。
【0006】この動き予測の処理における演算量は、符
号化の演算量の相当部分を占めている。
【0007】従来の符号化装置は、図7に示すように、
非圧縮画像71から動きベクトルを検出する動きベクトル
検出部72と、検出された動きベクトルを用いてMPEG
方式の圧縮画像79を生成するエンコーダ部78とを備えて
おり、動きベクトル検出部72は、非圧縮画像71からブロ
ックを順番に読み出すブロック読出し手段74と、エンコ
ーダ部78のデコード手段92でデコードされた予測画像を
記憶するフレームメモリ75と、ブロック読出し手段74で
読み出された対象ブロックとフレームメモリ75に記憶さ
れた予測画像とのマッチングを取り、動きベクトルを検
出するマッチング手段76と、マッチング手段76で検出さ
れた動きベクトルをエンコーダ部78に出力する動きベク
トル出力手段77と、ブロック読出し手段74及びマッチン
グ手段76の動作を制御する動きベクトル検出部制御手段
73とを具備し、また、エンコーダ部78は、非圧縮画像71
及び動きベクトルから圧縮画像79を生成するエンコード
カーネル91と、圧縮画像79をデコードしてフレームメモ
リ75に書き込むための予測画像を生成するデコード手段
92とを具備している。
【0008】この装置では、ブロック読出し手段74が、
ベクトル検出部制御手段73の制御を受けて、非圧縮画像
71から、図8に示す、現在フレーム81の対象ブロック82
を順番に読み出し、読み出されたブロックがマッチング
手段76に出力される。
【0009】また、エンコーダ部78のデコード手段92
は、エンコードカーネル91によりDCT、量子化された
画像をデコードし、このデコードされた画像が予測画像
としてフレームメモリ75に書き込まれる。
【0010】現在フレーム81の対象ブロック82が入力し
たマッチング手段76は、フレームメモリ75に記憶されて
いる予測画像83を読出し、動きベクトル検出部制御手段
73によって範囲が指定された探索領域84の全域に渡っ
て、探索領域84の画像データと対象ブロック82の画像デ
ータとのマッチングを取り、探索領域84の中から、対象
ブロック82と最も相関度が大きい相関度最大ブロック85
を検出し、対象ブロック82の位置から相関度最大ブロッ
ク85の位置までの方向及び長さを表す動きベクトル86を
算出する。
【0011】動きベクトル出力手段77は、マッチング手
段76が求めた動きベクトル86をエンコーダ部78に出力す
る。
【0012】エンコーダ部78は、この動きベクトルに基
づいて、入力する非圧縮画像71から、フレームメモリ75
に蓄えられている予測画像の相関度最大ブロック85と現
在フレーム81の対象ブロック82との画像データの差分を
算出する。そして、その差分データにDCT変換、量子
化、可変長符号化を施し、動きベクトルなどの情報とと
もにMPEGデータ79を生成して出力する。
【0013】この装置では、動きベクトルを検出するた
め、探索領域の全域に渡って全探索を実施しているが、
この検出を高速化するために、高速化アルゴリズムを使
用して、図9(a)に示すように、対象ブロックと探索
領域とのマッチングを、探索領域の画素の1画素置きに
実施したり、図9(b)に示すように、対象ブロックか
らサンプリングしたデータを用いて探索領域とのマッチ
ングを取ったり、図9(c)に示すように、それらを組
み合わせたり、探索領域の数画素置きにマッチングを実
施するなど、図9(a)(b)の方法をアレンジした方
法なども行なわれている。
【0014】また、圧縮符号化方式には、この他、デジ
タルビデオカメラなどのデジタルビデオ機器向けの規格
であるDV方式が知られている。このDV方式は、19
96年に制定されたビデオカセットレコーダ向けの規格
である、「Specifications of Consumer-Use Digital V
CRs (HD Digital VCR Conference, 1996)」に準拠した
規格であり、ブロック単位でDCT(離散コサイン変
換)が施され、この処理によるフレーム内の空間的な冗
長度の削減により、画像圧縮が図られている。
【0015】DV方式で圧縮された映像データのフレー
ム当たりの符号量は、標準的なMPEG2方式の映像デ
ータの6倍程度に達する。そのため、ネットワークを通
じて映像信号を伝送する場合には、MPEGデータの方
が適している。しかし、DVデータは、フレームごとに
独立しているため、フレーム単位のカット&ペーストな
どの映像の編集が容易であり、また、符号量が多い分、
画質が優れているという利点がある。
【0016】そこで、本発明者等を含むグループでは、
デジタルビデオカメラで撮影したDVデータの動画を編
集し、映像信号の圧縮フォーマットをMPEG方式に変
換して、パソコン端末などに配信するシステムを開発
し、実用化している。
【0017】このシステムでは、映像信号変換装置を用
いてDVデータをMPEGデータに変換しているが、こ
うした変換では、一般的に、DV方式の映像データを復
号して非圧縮のフレーム画像を生成し、次いで、非圧縮
映像信号をMPEG方式で圧縮符号化する処理が行なわ
れる。
【0018】このとき、動き予測の処理としては、図7
の機構の下で、図8または図9で説明した各方法が行な
われている。
【0019】
【発明が解決しようとする課題】しかし、全探索による
動きベクトルの検出は、演算量が膨大になり、処理速度
が遅いという問題点がある。
【0020】また、高速化アルゴリズムの下に、探索領
域や対象ブロックの画像データの一部を省略して行なう
動きベクトルの検出は、解の精度が落ち、画質が低下す
るという問題点がある。
【0021】これは、非圧縮画像では全ての画素が同じ
重さの情報量を持つからであり、動きベクトルの検出に
使用する画素を減らして演算量を削減した場合には、そ
の分、動きベクトルの検出精度が低下し、画質の劣化が
避けられない。即ち、検出精度と検出速度とはトレード
オフの関係にある。
【0022】本発明は、こうした従来の問題点を解決す
るものであり、高速且つ高精度で動きベクトルを検出す
ることができる動きベクトル検出方法を提供し、その方
法を実施する装置を提供することを目的としている。
【0023】
【課題を解決するための手段】そこで、本発明の動きベ
クトル検出方法では、直交変換された映像信号から情報
量が集中している部分を取り出して逆変換し、逆変換で
得られた動き検出対象領域の非圧縮画像と探索領域の非
圧縮画像とを用いて、探索領域から動き検出対象領域の
動きベクトルを検出している。
【0024】この方法では、情報量が集中している部分
の画像データを動きベクトルの検出に使用しているた
め、演算量の削減量が多いにも拘わらず、検出精度の低
下は小さい。
【0025】また、本発明の動きベクトル検出方法で
は、非圧縮の映像信号のブロックから各列または各行に
含まれる画素値の和を求めることによって動き検出対象
領域のx方向またはy方向の1次元非圧縮画像を作成
し、この1次元非圧縮画像と、探索領域のx方向または
y方向の1次元非圧縮画像とを用いて、探索領域から動
き検出対象領域の動きベクトルを検出している。
【0026】この方法では、非圧縮の映像信号から、少
ない演算量で、且つ、高い精度で動きベクトルを検出す
ることができる。
【0027】また、本発明の動きベクトル検出装置で
は、DCT変換された映像信号のブロックから、低周波
成分を含むx方向及びy方向の1次元DCT画像を抽出
するDCT成分抽出手段と、各方向の1次元DCT画像
を逆変換してx方向及びy方向の1次元非圧縮画像を生
成する1次元逆DCT手段と、生成された各方向の1次
元非圧縮画像を順次記憶するフレームメモリと、動き検
出対象領域の1次元非圧縮画像と探索領域の1次元非圧
縮画像とを用いて、動き検出対象領域の各方向の動きベ
クトル成分を検出し、それら成分を合成して動きベクト
ルを求めるマッチング手段とを設けている。
【0028】また、非圧縮の映像信号の動きベクトルを
検出する装置では、非圧縮の映像信号のブロックから、
各ブロックの各列または各行の画素値の和をすべての列
または行に対して計算して1次元非圧縮画像を求めるア
キュムレータアレイと、アキュムレータアレイが求めた
1次元非圧縮画像を順番に記憶する1次元画像フレーム
メモリと、動き検索対象ブロックの1次元非圧縮画像と
それに対応する過去フレームの探索領域の1次元非圧縮
画像とのマッチングを取り、動きベクトルを検出するマ
ッチング手段とを設けている。
【0029】これらの装置では、少ない演算量で、2次
元画像による全探索と変わらない検出精度を得ることが
できる。
【0030】また、本発明では、これらの動きベクトル
検出装置を用いて、DVフォーマットのデータをMPE
Gフォーマットのデータに変換したり、非圧縮の映像信
号をMPEGフォーマットのデータに変換する映像信号
変換装置を構成している。
【0031】前者の装置は、DVデータを復号して非圧
縮映像信号を生成するDVデコーダと、DCT変換され
たDVデータを用いて動きベクトルを検出する動きベク
トル検出手段と、DVデコーダから送られて来る非圧縮
映像信号と動きベクトル検出手段から送られて来る動き
ベクトルとを用いてMPEGデータへの符号化を行なう
エンコーダとを具備し、この動きベクトル検出手段が、
前記動きベクトル検出装置で構成されている。
【0032】この装置では、ブロックごとにDCT変換
されているDVデータのDCT係数を利用して、MPE
G符号化に必要な動きベクトルを検出しているため、M
PEGデータへの変換を効率的に行なうことができる。
【0033】また、後者の装置は、非圧縮のデジタル映
像信号のブロックから、各行または各列の画素値の和を
すべての行または列に対して求めるアキュムレータアレ
イと、エンコーダ部により逆量子化が施された後に得ら
れるDCTブロックからx方向及びy方向の各1次元D
CT画像を抽出するDCT成分抽出手段と、1次元DC
T画像に対して逆DCTを施す1次元逆DCT手段と、
デコードされた1次元画像を予測画像として1次元画像
フレームメモリに書き込む予測画像生成手段と、1次元
予測画像を順番に記憶する1次元画像フレームメモリ
と、動き検索対象ブロックの1次元画像とそれに対応す
る過去フレームの探索領域の1次元予測画像とを用い
て、動き検出対象領域の各方向の動きベクトル成分を検
出し、それらを合成して動きベクトルを求めるマッチン
グ手段とを設けている。
【0034】この装置では、1次元予測画像を作成し動
き検出に用いているので、エンコーダ部でのブロック差
分の画素値を小さく抑えることが可能となり、圧縮効率
及び画質が向上する。また、この装置では、エンコーダ
部で作成された2次元予測画像を用いずに、エンコーダ
部内のデコード手段のデコード中間データから1次元予
測画像を直接計算することができるので演算負荷が小さ
い。
【0035】
【発明の実施の形態】本発明の請求項1に記載の発明
は、映像信号の圧縮符号化に用いる動きベクトルの検出
方法において、直交変換された映像信号から情報量が集
中している部分を取り出して逆変換し、逆変換で得られ
た動き検出対象領域の非圧縮画像と探索領域の非圧縮画
像とを用いて、探索領域から動き検出対象領域の動きベ
クトルを検出するようにしたものであり、情報量が集中
している部分の画像データを選択して使用しているた
め、検出精度をそれ程落とすことなく、演算量の削減が
可能になる。
【0036】請求項2に記載の発明は、DCT変換され
た映像信号のブロックから直流成分を含む1次元DCT
画像を取り出して逆変換し、逆変換で得られた動き検出
対象領域の1次元非圧縮画像と探索領域の1次元非圧縮
画像とを用いて、探索領域から動き検出対象領域の動き
ベクトルを検出するようにしたものであり、DCT変換
により情報量が集中する低周波成分のデータを選択して
使っているため、演算量の大幅な低減にも関わらず、検
出精度の低下は少ない。
【0037】請求項3に記載の発明は、ブロックから、
1次元DCT画像としてx方向1次元DCT画像とy方
向1次元DCT画像とを取り出して逆変換し、x方向1
次元DCT画像の逆変換で得られた動き検出対象領域の
x方向1次元非圧縮画像と探索領域のx方向1次元非圧
縮画像とを用いて、探索領域から動き検出対象領域の動
きベクトルx成分を検出し、y方向1次元DCT画像の
逆変換で得られた動き検出対象領域のy方向1次元非圧
縮画像と探索領域のy方向1次元非圧縮画像とを用い
て、探索領域から動き検出対象領域の動きベクトルy成
分を検出し、動きベクトルx成分及び動きベクトルy成
分を合成して動きベクトルを求めるようにしたものであ
り、2次元画像による全探索と変わらない検出精度を得
ることができる。
【0038】請求項4に記載の発明は、ブロックから、
x方向1次元DCT画像として1×8ピクセルのDCT
係数を取り出し、y方向1次元DCT画像として8×1
ピクセルのDCT係数を取り出すようにしたものであ
り、8×8ピクセルから成るブロックの縦・横各辺のD
CT係数が使用される。
【0039】請求項5に記載の発明は、ブロックから、
x方向1次元DCT画像として1×6または1×4ピク
セルのDCT係数を取り出し、y方向1次元DCT画像
として6×1または4×1ピクセルのDCT係数を取り
出すようにしたものであり、高速化に重点を置く場合
に、こうした方法を取ることができる。
【0040】請求項6に記載の発明は、非圧縮の映像信
号から動きベクトルを検出する動きベクトル検出方法に
おいて、非圧縮の映像信号のブロックから各列または各
行に含まれる画素値の和を求めることによって動き検出
対象領域のx方向またはy方向の1次元非圧縮画像を作
成し、この1次元非圧縮画像と、探索領域のx方向また
はy方向の1次元非圧縮画像とを用いて、探索領域から
動き検出対象領域の動きベクトルを検出するようにした
ものであり、入力する非圧縮の映像信号を対象として、
少ない演算量で、且つ、高い精度で動きベクトルを検出
することができる。
【0041】請求項7に記載の発明は、この探索領域の
x方向またはy方向の1次元非圧縮画像として、非圧縮
の映像信号のブロックから各列または各行に含まれる画
素値の和を求めることによって作成した1次元非圧縮画
像を用いるようにしたものであり、入力する非圧縮の映
像信号から作成された動き検出対象領域の1次元非圧縮
画像を順次蓄積することによって、次の探索領域の1次
元非圧縮画像とすることができる。
【0042】請求項8に記載の発明は、この探索領域の
x方向またはy方向の1次元非圧縮画像として、DCT
変換された映像信号のブロックから直流成分を含む1次
元DCT画像を抽出し、これを逆変換することによって
作成した1次元非圧縮画像を用いるようにしたものであ
り、これを順次蓄積することによって次の探索領域の1
次元非圧縮画像とすることができる。
【0043】請求項9に記載の発明は、動き検出対象領
域の各列に含まれる画素値の和から作成したx方向1次
元非圧縮画像と、探索領域のx方向1次元非圧縮画像と
を用いて、探索領域から動き検出対象領域の動きベクト
ルx成分を検出し、動き検出対象領域の各行に含まれる
画素値の和から作成したy方向1次元非圧縮画像と、探
索領域のy方向1次元非圧縮画像とを用いて、探索領域
から動き検出対象領域の動きベクトルy成分を検出し、
この動きベクトルx成分及び動きベクトルy成分を合成
して動きベクトルを求めるようにしたものであり、2次
元画像による全探索と変わらない検出精度で動きベクト
ルを得ることができる。
【0044】請求項10に記載の発明は、探索領域のx
方向1次元非圧縮画像の各々から、それらの中間に位置
するx方向1次元非圧縮画像を補間し、探索領域のy方
向1次元非圧縮画像の各々から、それらの中間に位置す
るy方向1次元非圧縮画像を補間するようにしたもので
あり、動き予測の精度を高め、高画質化を実現すること
ができる。
【0045】請求項11に記載の発明は、探索領域から
動き検出対象領域の動きベクトルx成分及び動きベクト
ルy成分を検出するとき、後から検出する動きベクトル
成分の探索領域上の探索範囲を、先に行なった動きベク
トル成分の検出において、1次元非圧縮画像が検出され
た探索領域上の位置の周囲に限定するようにしたもので
あり、一方の成分の動きベクトル検出における検出結果
を、他方の成分の検出の際に利用することにより、探索
範囲を狭めることができ、高速に動きベクトルを求める
ことができる。
【0046】請求項12に記載の発明は、DCT変換さ
れた映像信号のブロックから低周波成分を含む4×4ま
たは2×2ピクセルサイズの2次元DCT画像を取り出
して4×4または2×2サイズのDCT逆変換を施し、
逆変換で得られた動き検出対象領域の2次元非圧縮画像
と探索領域の2次元非圧縮画像とを用いて、探索領域か
ら動き検出対象領域の動きベクトルを検出するようにし
たものであり、検出精度は粗いものの極めて高速度で動
きベクトルを検出することができる。
【0047】請求項13に記載の発明は、この動きベク
トルの検出結果に基づいて、探索領域を限定し、限定し
た探索領域に対して高精度の動きベクトル検出方法を適
用するようにしたものであり、この組み合わせで、全体
の検出時間を短縮し、且つ検出精度を高めることができ
る。
【0048】請求項14に記載の発明は、この高精度の
動きベクトル検出方法として請求項3または4に記載の
動きベクトル検出方法を適用するようにしたものであ
り、この組み合わせで、検出精度が高く、検出速度が速
い動きベクトルの検出が可能となる。
【0049】請求項15に記載の発明は、映像信号の圧
縮符号化に用いる動きベクトルを検出する動きベクトル
検出装置において、DCT変換された映像信号のブロッ
クから、低周波成分を含むx方向1次元DCT画像とy
方向1次元DCT画像とを抽出するDCT成分抽出手段
と、x方向1次元DCT画像を逆変換してx方向1次元
非圧縮画像を生成するx方向1次元逆DCT手段と、y
方向1次元DCT画像を逆変換してy方向1次元非圧縮
画像を生成するy方向1次元逆DCT手段と、生成され
たx方向1次元非圧縮画像を順番に記憶するx方向1次
元画像フレームメモリと、生成されたy方向1次元非圧
縮画像を順番に記憶するy方向1次元画像フレームメモ
リと、動き検出対象領域のx方向1次元非圧縮画像と探
索領域のx方向1次元非圧縮画像とを用いて、動き検出
対象領域の動きベクトルx成分を検出し、動き検出対象
領域のy方向1次元非圧縮画像と探索領域のy方向1次
元非圧縮画像とを用いて、動き検出対象領域の動きベク
トルy成分を検出し、動きベクトルx成分及び動きベク
トルy成分を合成して動きベクトルを求めるマッチング
手段とを設けたものであり、請求項3、4または5の方
法を実施することができる。
【0050】請求項16に記載の発明は、映像信号の圧
縮符号化に用いる動きベクトルを検出する動きベクトル
検出装置において、DCT変換された映像信号のブロッ
クから、低周波成分を含む4×4または2×2ピクセル
サイズの2次元DCT画像を抽出するDCT成分抽出手
段と、2次元DCT画像を逆変換して低解像度非圧縮画
像を生成する逆DCT手段と、生成された低解像度非圧
縮画像を順番に記憶するフレームメモリと、動き検出対
象領域の低解像度非圧縮画像と探索領域の低解像度非圧
縮画像とを用いて、動き検出対象領域の動きベクトルを
検出するマッチング手段とを設けたものであり、請求項
12の方法を実施することができる。
【0051】請求項17に記載の発明は、DVフォーマ
ットで圧縮符号化されたDVデータをMPEGフォーマ
ットで圧縮符号化されたMPEGデータに変換する映像
信号変換装置において、DVデータを復号して非圧縮映
像信号を生成するDVデコーダと、DCT変換されたD
Vデータを用いて動きベクトルを検出する動きベクトル
検出手段と、DVデコーダから送られて来る非圧縮映像
信号と動きベクトル検出手段から送られて来る動きベク
トルとを用いてMPEGデータへの符号化を行なうエン
コーダとを設け、動きベクトル検出手段として、請求項
15に記載の動きベクトル検出装置を用いるようにした
ものであり、ブロックごとにDCT変換されているDV
データのDCT係数を動きベクトル検出に用いることに
より、MPEGデータへの符号化を効率的に行なうこと
ができる。
【0052】請求項18に記載の発明は、動きベクトル
検出手段として、さらに請求項16に記載の動きベクト
ル検出装置を設け、この動きベクトル検出装置の探索結
果に基づいて、探索領域を限定するようにしたものであ
り、この動きベクトル検出装置の探索を事前に行ない、
精度の高い動きベクトル検出方法を適用する探索領域を
狭めることにより、全体として、短い時間で、且つ高精
度の動きベクトルの検出が可能となる。
【0053】請求項19に記載の発明は、非圧縮の映像
信号から動きベクトルを検出する動きベクトル検出装置
において、この映像信号のブロックから、各ブロックの
各列または各行の画素値の和をすべての列または行に対
して計算して1次元非圧縮画像を求めるアキュムレータ
アレイと、アキュムレータアレイが求めた1次元非圧縮
画像を順番に記憶する1次元画像フレームメモリと、動
き検索対象ブロックの1次元非圧縮画像とそれに対応す
る過去フレームの探索領域の1次元非圧縮画像とのマッ
チングを取り、動きベクトルを検出するマッチング手段
とを設けたものであり、非圧縮の映像信号から、直接動
きベクトルを検出することができる。
【0054】請求項20に記載の発明は、非圧縮映像信
号をMPEGフォーマットで圧縮符号化されたMPEG
データに変換する映像信号変換装置において、入力する
非圧縮映像信号から動きベクトルを検出する動きベクト
ル検出手段と、入力する非圧縮映像信号と動きベクトル
検出手段から送られて来る動きベクトルとを用いてMP
EGデータへの符号化を行なう符号化手段とを設け、動
きベクトル検出手段として、請求項19に記載の動きベ
クトル検出装置を用いたものであり、入力する非圧縮映
像信号から求めた動きベクトルを用いてMPEGデータ
への変換を行なうことができる。
【0055】請求項21に記載の発明は、非圧縮映像信
号をMPEGフォーマットで圧縮符号化されたMPEG
データに変換する映像信号変換装置において、入力する
非圧縮映像信号から動きベクトルを検出する動きベクト
ル検出手段と、入力する非圧縮映像信号と動きベクトル
検出手段から送られて来る動きベクトルとを用いてMP
EGデータへの符号化を行なう符号化手段とを設け、動
きベクトル検出手段に、入力する非圧縮映像信号のブロ
ックから、各ブロックの各列または各行の画素値の和を
すべての列または行に対して計算して動き検索対象ブロ
ックの1次元非圧縮画像を求めるアキュムレータアレイ
と、符号化手段が中間データとして生成するDCT変換
されたブロックから直流成分を含む1次元DCT画像を
取り出すDCT成分抽出手段と、取り出された1次元D
CT画像を逆変換する逆変換手段と、逆変換手段の出力
を基に過去フレームの1次元非圧縮画像を生成する予測
画像生成手段と、予測画像生成手段によって生成された
過去フレームの1次元非圧縮画像を記憶する1次元画像
フレームメモリと、アキュムレータアレイから出力され
た動き検索対象ブロックの1次元非圧縮画像と1次元画
像フレームメモリから読み出した対応する過去フレーム
の探索領域の1次元非圧縮画像とのマッチングを取り、
動きベクトルを検出するマッチング手段とを設けたもの
であり、符号化手段で実際に符号化された画像データに
対して、最も相関度が高いブロックが検出され、動きベ
クトルが算出されるため、圧縮効率が向上し、また、画
質が向上する。
【0056】以下、本発明の実施の形態について、図面
を用いて説明する。
【0057】(第1の実施形態)第1の実施形態の動き
ベクトル検出方法は、DV方式で符号化された映像信号
をMPEG方式の映像信号に変換する映像信号変換装置
の中で実施されている。この映像信号変換装置は、図2
に示すように、入力するDVデータ21を保持する、フレ
ームメモリから成る入力手段22と、DVデータを非圧縮
の映像信号に復号するDVデコード部23と、ブロックご
とにDCT変換されているDVデータを利用して動きベ
クトルを検出する動きベクトル検出部24と、検出された
動きベクトルを用いて非圧縮映像信号をMPEGデータ
に符号化するエンコーダ部25と、符号化されたMPEG
データ27を出力する出力手段26とを備えている。
【0058】また、動きベクトル検出部24は、図1に示
すように、入力手段(フレームメモリ)22からDCTブ
ロックを順番に読み出すDCTブロック読出し手段11
と、各DCTブロックからx方向及びy方向の各1次元
DCT画像を抽出するDCT成分抽出手段12と、y方向
の1次元DCT画像に対して逆DCTを施すy方向1次
元逆DCT手段13と、x方向の1次元DCT画像に対し
て逆DCTを施すx方向1次元逆DCT手段14と、デコ
ードされたy方向の1次元画像を順番に記憶する1次元
画像(y)フレームメモリ15と、デコードされたx方向
の1次元画像を順番に記憶する1次元画像(x)フレー
ムメモリ16と、デコードされた対象ブロックの1次元画
像とそれに対応する過去フレームの探索領域の1次元画
像とのマッチングを取り、動きベクトルを検出するマッ
チング手段17と、マッチング手段で求めた動きベクトル
をエンコーダ部25に出力する動きベクトル出力手段18
と、DCTブロック読出し手段11、DCT成分抽出手段
12及びマッチング手段17の動作を制御する動きベクトル
検出部制御手段19とを備えている。
【0059】この映像信号変換装置の入力手段22には、
各ブロックごとにDCT変換されているDV画像21が入
力し、このDV画像は、入力手段22を介してDVデコー
ド部23と動きベクトル検出部24とに入力する。DVデコ
ード部23は、DV画像を非圧縮画像にデコードしてエン
コーダ部25に送る。また、動きベクトル検出部24は、D
V画像を用いて、後述する方法により動きベクトルを検
出し、エンコーダ部25に送る。エンコーダ部25では、送
られて来る非圧縮画像と動きベクトルとを用いてMPE
Gエンコードを行ない、出力手段26を介してMPEGス
トリームを出力する。
【0060】動きベクトル検出部24は、次のような動作
で動きベクトルを検出する。
【0061】動きベクトル検出部制御手段19は、DCT
ブロック読出し手段11、DCT成分抽出手段12及びマッ
チング手段17の各々がフレーム中のどのブロックを処理
しているかを把握し、各手段の動作を制御する。
【0062】DCTブロック読出し手段11は、入力手段
(フレームメモリ)22からDCTブロックを順番に読み
出す。
【0063】DCT成分抽出手段12は、図3に示すよう
に、読み出された各DCTブロック31に対して、8×8
の要素の内、第1行の要素だけが1でその他は0のマス
ク32を掛け、1×8ピクセルのDCT係数より成るx方
向の1次元DCT画像を生成してx方向1次元逆DCT
手段14に出力し、また、読み出された各DCTブロック
31に対して、8×8の要素の内、第1列の要素だけが1
でその他は0のマスク33を掛け、8×1ピクセルのDC
T係数より成るy方向の1次元DCT画像を生成してy
方向1次元逆DCT手段13に出力する。
【0064】x方向1次元逆DCT手段14は、入力した
x方向1次元DCT画像に対して、1次元逆DCTを施
し、得られたx方向1次元画像34を1次元画像(x)フ
レームメモリ16に出力する。また、y方向1次元逆DC
T手段13は、入力したy方向1次元DCT画像に対し
て、1次元逆DCTを施し、得られたy方向1次元画像
35を1次元画像(y)フレームメモリ15に出力する。
【0065】1次元画像フレームメモリ15、16は、デコ
ードされた1次元画像を順番に記憶し、フレーム単位で
蓄積する。この1次元画像フレームメモリ15、16は、過
去数フレーム分の1次元画像を貯えることができる。
【0066】マッチング手段17は、1次元画像(x)フ
レームメモリ16から、対象ブロックのx方向1次元画像
と、それに対応する過去フレームの探索領域におけるx
方向1次元画像とを読み出し、それらのマッチングを取
る。このとき、MPEGではマクロブロック単位で動き
ベクトルが検出されるため、対象ブロックとして二ブロ
ックを合わせた1×16のx方向1次元画像が読み出さ
れる。また、探索領域の範囲は動きベクトル検出部制御
手段19から指示される。
【0067】このマッチングで動きベクトルを検出する
方法を図4に示している。
【0068】現フレーム41のDCT画像に含まれる対象
ブロック42のDCT係数からx方向1次元DCT画像が
抽出され、これに1次元逆DCTが施され、こうして得
られたx方向1次元非圧縮画像を、図4では45で表して
いる。
【0069】また、これまでに行なわれた同様の処理で
得られたブロックごとのx方向1次元非圧縮画像は、1
次元画像(x)フレームメモリ15にフレーム単位で纏め
られており、これが、DCT画像の過去フレーム43に対
応するx方向1次元非圧縮画像となる。この内、探索領
域のx方向1次元非圧縮画像を44で表している。
【0070】マッチングは、対象ブロック42のx方向1
次元非圧縮画像45を、探索領域のx方向1次元非圧縮画
像44の各行の上を1ピクセル分ずつx方向に移動し、そ
のときの両者の間の画像データの差分(SAD:Sum of
Absolute Difference)を演算することによって行なわ
れ、そのSADが最も小さい位置が検出される。
【0071】いま、46の位置でSADが最小であったと
すると、対象ブロック42のx方向1次元非圧縮画像45の
位置から46の位置までのx方向成分が動きベクトルx成
分47として検出される。
【0072】マッチング手段17は、また、1次元画像
(y)フレームメモリ15から、対象ブロックのy方向1
次元画像と、それに対応する過去フレームの探索領域に
おけるy方向1次元画像とを読み出し、同じように、そ
れらのマッチングを取り、動きベクトルy成分を求め
る。
【0073】こうして求めた動きベクトルx成分と動き
ベクトルy成分とを合成したものが動きベクトルとな
る。
【0074】動きベクトル出力手段18は、マッチング手
段17が求めた動きベクトルをエンコーダ部25に出力す
る。
【0075】また、探索領域の1次元非圧縮画像につい
ては、補間画像を生成して加えることにより、動きベク
トルの検出精度を高めることができる。例えば、x方向
1次元非圧縮画像の場合では、図4に示すように、それ
ぞれ、2本のx方向1次元非圧縮画像からその中間の補
間画像48を生成して、探索領域のx方向1次元非圧縮画
像44に加える。こうして、x方向1次元非圧縮画像をy
方向に補間することにより、動きベクトルx成分を高精
度に求めることができる。
【0076】また、y方向についても同様であり、探索
領域のy方向1次元非圧縮画像をx方向に補間すること
により、動きベクトルy成分を高精度に求めることがで
きる。
【0077】また、先の説明では、DCT成分抽出手段
12が、DCTブロックから、1×8ピクセルのDCT係
数より成るx方向1次元DCT画像と、8×1ピクセル
のDCT係数より成るy方向1次元DCT画像とを抽出
しているが、高速検出の場合には、1×8、8×1の代
わりに、1×6、6×1、あるいは1×4、4×1など
を抽出するようにしてもよい。なお、DCT成分抽出手
段12で抽出するサイズの指定は動きベクトル検出部制御
手段19によって行なわれる。
【0078】このように、この実施形態の動きベクトル
検出では、DCT変換された映像信号から得られる1次
元非圧縮画像を用いて動きベクトルを検出している。こ
の動き予測では、2次元の領域から各方向の成分(1次
元)を抽出して、動き探索を行なっているため、2次元
の領域を使って行なう全探索と同じ精度を得ることがで
きる。一方、この検出に要する演算量は、全探索に比べ
て、大幅に削減することができる。
【0079】(第2の実施形態)第2の実施形態では、
粗い精度で、且つ高速度で動きベクトルを検出する動き
ベクトル検出方法と、それを実施する装置について説明
する。この方法は、第1の実施形態と組み合わせること
で、動きベクトルの検出を高速化することができる。こ
こでは、この装置が、図2の映像信号変換装置に組み込
まれて使用される場合について説明する。
【0080】この動きベクトル検出装置は、図5に示す
ように、入力手段(フレームメモリ)22からDCTブロ
ックを順番に読み出すDCTブロック読出し手段51と、
各DCTブロックから4×4ピクセルサイズの2次元D
CT画像を抽出するDCT成分抽出手段52と、抽出され
た2次元DCT画像に4×4ピクセルサイズの逆DCT
を施して非圧縮画像を生成する逆DCT手段53と、デコ
ードされた非圧縮画像を順番に記憶する低解像度フレー
ムメモリ54と、デコードされた対象ブロックの非圧縮画
像とそれに対応する過去フレームの探索領域における非
圧縮画像とのマッチングを取り、動きベクトルを検出す
るマッチング手段55と、マッチング手段55で求めた動き
ベクトルをエンコーダ部25に出力する動きベクトル出力
手段56と、DCTブロック読出し手段51、DCT成分抽
出手段52及びマッチング手段55の動作を制御する動きベ
クトル検出部制御手段57とを備えている。
【0081】この装置の動きベクトル検出部制御手段57
は、DCTブロック読出し手段51、DCT成分抽出手段
52及びマッチング手段55の各々がフレーム中のどのブロ
ックを処理しているかを把握し、各手段の動作を制御す
る。
【0082】DCTブロック読出し手段51は、入力手段
(フレームメモリ)22からDCTブロックを順番に読み
出す。
【0083】DCT成分抽出手段52は、読み出された各
DCTブロックから4×4ピクセルサイズの2次元DC
T画像を抽出して逆DCT手段53に出力し、逆DCT手
段53は、入力した2次元DCT画像に逆DCTを施し
て、図6(a)に示すように、低解像度の非圧縮画像を
生成する。
【0084】この低解像度画像は、マッチング手段55と
低解像度フレームメモリ54とに出力され、低解像度フレ
ームメモリ54は、デコードされた低解像度画像を順番に
記憶し、フレーム単位で蓄積する。この低解像度フレー
ムメモリ54は、過去数フレーム分の低解像度画像を貯え
ることができる。
【0085】マッチング手段55は、対象ブロックの低解
像度画像が入力すると、それに対応する過去フレームの
探索領域における低解像度画像を低解像度フレームメモ
リ54から読み出し、それらのマッチングを取る。
【0086】このマッチングで動きベクトルを検出する
方法を図6(b)に示している。
【0087】現フレーム61のDCT画像に含まれる対象
ブロック62のDCT係数から4×4ピクセルのDCT画
像を抽出し、これに逆DCTを施して得られた低解像度
非圧縮画像を64で表している。
【0088】また、これまでに行なわれた同様の処理で
得られたブロックごとの低解像度非圧縮画像が、低解像
度フレームメモリ54にフレーム単位で纏められており、
これが、DCT画像の過去フレーム63に対応する低解像
度非圧縮画像となる。この内、探索領域の低解像度非圧
縮画像を65で表している。
【0089】マッチングは、対象ブロック62の低解像度
画像64と、探索領域の各ブロックの低解像度画像との間
で画像データのSADを演算することによって行なわ
れ、そのSADが最も小さい探索領域上の位置を求め、
対象ブロック62の低解像度画像64の位置からSADが最
小の探索領域上の位置に至る動きベクトル66が検出され
る。
【0090】動きベクトル出力手段56は、マッチング手
段55が求めた動きベクトルをエンコーダ部25に出力す
る。
【0091】なお、先の説明では、DCT成分抽出手段
52が4×4ピクセルサイズの2次元DCT画像を抽出す
る場合について説明したが、2×2の2次元DCT画像
を抽出するようにしてもよい。
【0092】このように、この動きベクトル検出では、
DCT変換された映像信号から低周波成分のDCT画像
だけを取り出して逆変換し、得られた非圧縮画像を用い
て動きベクトルを検出している。そのため、マッチング
の演算量が少なくて済み、全探索を行なう場合に比べ
て、凡そ1/32の時間で動きベクトルを検出すること
ができる。
【0093】しかし、この方法では、動きベクトルの方
向や長さを、細かいステップで検出することができず、
例えば4×4ピクセルのブロックを用いた場合では、全
探索の2倍のステップ幅でしか動きベクトルを把握する
ことができない。
【0094】従って、この方法は、動きベクトルの探索
領域を絞り込むために使用する方が相応しく、この方法
で動きベクトルを検出して、動きベクトルの探索領域を
限定し、次いで、限定した狭い範囲の探索領域に、全探
索や、あるいは第1の実施形態で示した、精度の高い動
きベクトル検出方法を適用して、最終的な動きベクトル
を検出する。こうすることにより、全体として、精度の
高い動きベクトル検出を短時間で実施することが可能と
なる。
【0095】(第3の実施形態)第3の実施形態では、
第1の実施形態の方法を、演算量がさらに削減できるよ
うに改良した動きベクトル検出方法について説明する。
【0096】この動きベクトル検出方法が、第1の実施
形態と同じ映像信号変換装置(図2)の動きベクトル検
出部(図1)において実施される場合について説明す
る。この方法では、マッチング手段17の動作が第1の実
施形態と違っているが、その他の各部の動作は全て同じ
である。
【0097】このマッチング手段17の動作を図10によ
り説明する。
【0098】マッチング手段17は、1次元画像(x)フ
レームメモリ16から、対象ブロックのx方向1次元画像
と、それに対応する過去フレームの探索領域におけるx
方向1次元画像とを読み出し、それらのマッチングを取
る。このとき、MPEGではマクロブロック単位で動き
ベクトルが検出されるため、対象ブロックとして二ブロ
ックを合わせた1×16のx方向1次元画像が読み出さ
れる。また、探索領域の範囲は動きベクトル検出部制御
手段19から指示される。
【0099】このマッチングで動きベクトルを検出する
方法を図10に示している。
【0100】現フレーム111のDCT画像に含まれる対
象ブロック112のDCT係数からx方向1次元DCT画
像が抽出され、これに1次元逆DCTが施され、こうし
て得られたx方向1次元非圧縮画像を、図10では115
で表している。
【0101】また、これまでに行なわれた同様の処理で
得られたブロックごとのx方向1次元非圧縮画像は、1
次元画像(x)フレームメモリ15にフレーム単位で纏め
られており、これが、DCT画像の過去フレーム113に
対応するx方向1次元非圧縮画像となる。この内、探索
領域のx方向1次元非圧縮画像を114で表している。
【0102】同様に、現フレーム111のDCT画像に含
まれる対象ブロック112のDCT係数からy方向1次元
DCT画像が抽出され、これに1次元逆DCTが施さ
れ、こうして得られたy方向1次元非圧縮画像を、図1
0では119で表している。
【0103】また、これまでに行なわれた同様の処理で
得られたブロックごとのy方向1次元非圧縮画像は、1
次元画像(y)フレームメモリ16にフレーム単位で纏め
られており、これが、DCT画像の過去フレーム113に
対応するy方向1次元非圧縮画像となる。この内、探索
領域のy方向1次元非圧縮画像を118で表している。
【0104】マッチングは、まず、対象ブロック112の
x方向1次元非圧縮画像115を、探索領域のx方向1次
元非圧縮画像114の各行の上を1ピクセル分ずつx方向
に移動し、そのときの両者の間の画像データのSADを
演算することによって行なわれ、そのSADが最も小さ
い位置が検出される。ここまでの動作は第1の実施形態
と同じである。
【0105】いま、116の位置でSADが最小であった
とすると、対象ブロック112のx方向1次元非圧縮画像1
15の位置から116の位置までのx方向成分が動きベクト
ルx成分117として検出される。そして、マッチング手
段17は、116の位置(動きベクトルx成分117、y方向の
行数)をマッチング手段17の内部のメモリに一旦格納す
る。
【0106】マッチング手段17は、次に、1次元画像
(y)フレームメモリ16から、対象ブロックのy方向1
次元画像と、過去フレーム探索領域におけるy方向1次
元画像とを読み出すが、このとき、探索領域のy方向1
次元非圧縮画像118のすべてを読み出して探索領域とす
るのではなく、探索領域を探索範囲121に絞り込み、こ
の探索範囲121に含まれるy方向1次元画像のみを1次
元画像(y)フレームメモリ16から読み出す。
【0107】この探索範囲121は、動きベクトルx成分
検出の際に、マッチング手段17の内部のメモリに保持し
ておいた116の位置を中心としたある一定の大きさを持
つ正方形である。
【0108】動きベクトルy成分を検出するためのマッ
チングは、対象ブロック112のy方向1次元非圧縮画像1
19と探索範囲121内のy方向1次元画像との間でSAD
を計算することによって行なわれ、そのSADが最も小
さい位置が検出される。
【0109】いま、120の位置でSADが最小であった
とすると、対象ブロック112のy方向1次元非圧縮画像1
19の位置から120の位置までのy方向成分が動きベクト
ルy成分122として検出される。
【0110】こうして求めた動きベクトルx成分と動き
ベクトルy成分とを合成したものが動きベクトルとな
る。
【0111】動きベクトル出力手段18は、マッチング手
段17が求めた動きベクトルをエンコーダ部25に出力す
る。
【0112】なお、この実施形態では、動きベクトルの
x成分を先に検出し、動きベクトルのy成分の検出の際
に、x成分の検出結果を利用して探索範囲を狭めている
が、この順序を逆にして、動きベクトルのy成分の検出
を先に行ない、動きベクトルx成分の検出時に、y成分
の検出結果を利用して探索範囲を限定するようにしても
同じ効果が得られる。
【0113】このように、この実施形態の動きベクトル
検出では、第1の実施形態と同様に、2次元の領域から
各方向の成分(1次元)を抽出して、動き探索を行なっ
ているため、2次元の領域を使って行なう全探索と同じ
精度を得ることができる。また、第1の実施形態と違っ
て、動きベクトルの一方の成分を検出する際に得られる
位置情報を、他方の成分の検出時に利用して探索範囲を
限定しているため、動きベクトル検出に要する演算量を
削減することができ、第1の実施形態に比べて高速で動
きベクトルを検出することができる。
【0114】(第4の実施の形態)第4の実施形態の動
きベクトル検出方法は、非圧縮のデジタル映像信号をM
PEG方式の映像信号に符号化する場合に適用すること
ができる。
【0115】この方法を実施する映像符号化装置は、図
11に示すように、入力する非圧縮画像131を保持す
る、フレームメモリから成る入力手段144と、動きベク
トル検出を行なう動きベクトル検出部132と、検出され
た動きベクトルを用いて非圧縮画像信号131をMPEG
データに符号化するエンコーダ(符号化)部139と、予
測画像を格納しておくフレームメモリ142と、符号化さ
れたMPEGデータ143を出力する出力手段145とを備え
ている。
【0116】また、動きベクトル検出部132は、入力手
段(フレームメモリ)144から画像をブロック単位で順
番に読み出すブロック読出し手段134と、各ブロックの
各行または各列の画素値の和をすべての行または列に対
して求めるアキュムレータアレイ135と、アキュムレー
タアレイ135で計算された1次元画素列を順番に記憶す
る1次元画像フレームメモリ136と、動き検索対象ブロ
ックの1次元画像とそれに対応する過去フレームの探索
領域の1次元画像とのマッチングを取り、動きベクトル
を検出するマッチング手段137と、マッチング手段で求
めた動きベクトルをエンコーダ部139に出力する動きベ
クトル出力手段138と、ブロック読み出し手段134及びマ
ッチング手段137の動作を制御する動きベクトル検出部
制御手段133とを備えている。
【0117】この非圧縮画像131は、入力手段144を介し
てエンコーダ部139と動きベクトル検出部132とに入力す
る。動きベクトル検出部132は、後述する方法により動
きベクトルを検出して、エンコーダ部139に送る。エン
コーダ部139では、送られて来る非圧縮画像と動きベク
トルとフレームメモリ142に記憶してある予測画像とを
用いてMPEGエンコードを行ない、出力手段145を介
してMPEGストリームを出力する。
【0118】動きベクトル検出部132は、次のような動
作で動きベクトルを検出する。
【0119】動きベクトル検出部制御手段133は、ブロ
ック読出し手段134及びマッチング手段137の各々がフレ
ーム中のどのブロックを処理しているかを把握し、各手
段の動作を制御する。ブロック読出し手段134は、入力
手段(フレームメモリ)144から画像をブロック単位で
順番に読み出し、アキュムレータアレイ135へブロック
を送る。
【0120】アキュムレータアレイ135は、図12に示
すように、入力されたブロック151に対して、x方向及
びy方向に沿ってブロック151内の画素値の和を求め、
1次元画像152、153をそれぞれ求める。ブロックの最上
行を0行とし、ブロックの最左行を0列としx,yの増
加する方向に行、列の番号が増加するものとする。アキ
ュムレータアレイ135内部にはブロック内の全画素を記
憶できるレジスタとアキュムレーション後の1次元画像
を記憶できるレジスタとを備えている。また、アキュム
レータアレイ135は、映像信号の画素に割り当てられた
ビット幅を一度に加算できるアキュムレータをブロック
の1辺に含まれる画素の数だけ有する。
【0121】アキュムレータアレイ135は、x方向アキ
ュムレーションの際、アキュムレータアレイ135の各ア
キュムレータがブロックの行を担当し、各行の画素の和
を計算し、内部の1次元画像を保持しておくためのレジ
スタに結果を入れる。続いて、アキュムレータアレイ13
5は、y方向アキュムレーションの際、アキュムレータ
アレイ135の各アキュムレータがブロックの列を担当
し、各列の画素の和を計算し先ほどと同様に、内部の1
次元画像を保持しておくためのレジスタに結果を入れ
る。
【0122】こうして、アキュムレータアレイ135は、
1次元画像152及び153を得た後、1次元フレームメモリ
136にそれらを書き込む。
【0123】このアキュムレータアレイ135から出力さ
れる1次元画像152及び153は、第1の実施形態において
1次元逆DCT手段によって得られる1次元画像と本質
的に等価なものである。そのことを図13の式を用いて
説明する。
【0124】式(1)は1次元DCTを示す。ここで、
fは画素値、Fは変換されたDCT係数、Nは変換する
領域、uは1次元方向の位置を示す。また、C(w)は
変換時の定数であり、式(2)に示すような値を持つ。
【0125】式(3)は2次元DCTを示し、式(1)
を2次元に拡張したものである。いま、DCT係数の0
列目に着目する。DCT係数の0列目とは、式(3)で
v=0としたものであり、式(4)のようになる。ただ
し、式(4)の3行目で式(5)の置き換えを行なって
いる。式(4)の4行目のG(u)はg(j)を1次元
DCTしたものである。DCTにおける定数は本質的な
意味を持たないのでここでは考えないことにすると、式
(4)から、DCT係数0列目は、gを行方向に関して
1次元DCTしたものであると言える。
【0126】ここで、第1の実施形態のy方向1次元逆
DCT手段13によって得られるy方向1次元画像35(図
3)に注目すると、このy方向1次元画像35は、式
(4)で示されるDCT係数0列目、即ち、F(u,
0)を1次元逆DCTしたものである。F(u,0)を
1次元逆DCTしたものは、まさにg(j)である。j
はブロックの行を表すので、式(5)で表されるg
(j)はブロック内の画素値の行ごとの和を取ったもの
である。
【0127】以上のことから、第1の実施形態のy方向
1次元逆DCT手段13によって得られるy方向1次元画
像35とアキュムレータアレイ135が出力する1次元画像1
52とは本質的に等価であることが分かる。図13では、
y方向に関して説明したが同様にしてx方向1次元画像
も等価となる。
【0128】1次元画像フレームメモリ136は、アキュ
ムレータアレイ135から出力された1次元画像を順番に
記憶し、フレーム単位で蓄積する。なお、この1次元画
像フレームメモリ136は、x方向1次元画像及びy方向
1次元画像の両方を蓄えるのに十分な容量を有する。
【0129】マッチング手段137は、1次元画像フレー
ムメモリ136から、対象ブロックのx方向1次元画像
と、それに対応する過去フレームの探索領域におけるx
方向1次元画像とを読み出し、それらのマッチングを取
る。このとき、MPEGではマクロブロック単位で動き
ベクトルが検出されるため、対象ブロックとして二ブロ
ックを合わせた1×16のx方向1次元画像が読み出さ
れる。また、探索領域の範囲は動きベクトル検出部制御
手段133から指示される。
【0130】このマッチングで動きベクトルのx方向成
分を、図4に示す第1の実施形態の検出方法と同じ方法
で検出する。同様に、マッチング手段137は、1次元画
像フレームメモリ136から、対象ブロックのy方向1次
元画像と、それに対応する過去フレームの探索領域にお
けるy方向1次元画像とを読み出し、それらのマッチン
グを取り、動きベクトルy方向成分を検出する。このと
き、第3の実施形態の検出方法(図10)を採ることも
できる。
【0131】マッチング手段137は、こうして求めた動
きベクトルx方向成分と動きベクトルy方向成分とを合
成し、動きベクトルを得る。動きベクトル出力手段138
は、マッチング手段137が求めた動きベクトルをエンコ
ーダ部139に出力する。
【0132】このように、この第4の実施形態の動きベ
クトル検出では、非圧縮映像信号から1次元画像を作成
し、その1次元画像を用いて動きベクトルを検出してい
る。この動き予測では、2次元の領域から各方向の代表
成分(1次元)を作成して、動き探索を行なっているた
め、2次元の領域を使って行なう全探索と同じ精度を得
ることができる。この第4の実施形態の動きベクトル検
出部132のアキュムレータアレイ135が非圧縮画像から作
成した1次元画像は、第1の実施形態の1次元逆DCT
手段13、14によって得られる1次元画像と同じものであ
り、第4の実施形態の動きベクトル検出方法は、非圧縮
映像の入力に対して、少ない演算量で高精度に動きベク
トルを検出することを可能にする。
【0133】(第5の実施形態)第5の実施形態の動き
ベクトル検出方法は、非圧縮のデジタル映像信号をMP
EG方式の映像信号に符号化する映像符号化装置に対し
て、より適合した動きベクトルを与えることができる。
【0134】この動きベクトル検出では、非圧縮画像か
ら第4の実施形態の方法を用いて対象ブロックの1次元
画像を作成し、また、符号化の過程で作成されるDCT
画像データから第1の実施形態の方法を用いて過去フレ
ームの探索領域の1次元画像を作成し、これらの1次元
画像により動きベクトルを検出している。
【0135】この映像符号化装置は、図14に示すよう
に、入力する非圧縮画像171を保持する、フレームメモ
リから成る入力手段184と、動きベクトル検出を行なう
動きベクトル検出部172と、検出された動きベクトルを
用いて非圧縮画像信号171をMPEGデータに符号化す
るエンコーダ部179と、予測画像を格納しておくフレー
ムメモリ182と、符号化されたMPEGデータ183を出力
する出力手段185とを備えている。
【0136】エンコーダ部179は、非圧縮画像及び動き
ベクトルから圧縮画像を生成するエンコードカーネル18
0と、圧縮画像をデコードしてフレームメモリ182に書き
込むための予測画像を生成するデコード手段181とを具
備し、また、動きベクトル検出部172は、入力手段(フ
レームメモリ)184から画像をブロック単位で順番に読
み出すブロック読出し手段174と、各ブロックの各行ま
たは各列の画素値の和をすべての行または列に対して求
めるアキュムレータアレイ175と、エンコーダ部179より
出力されるDCTブロックからx方向及びy方向の各1
次元DCT画像を抽出するDCT成分抽出手段186と、
1次元DCT画像に対して逆DCTを施す1次元逆DC
T手段187と、デコードされた1次元画像を予測画像と
して1次元画像フレームメモリ176に書き込む予測画像
生成手段188と、1次元予測画像を順番に記憶する1次
元画像フレームメモリ176と、動き検索対象ブロックの
1次元画像とそれに対応する過去フレームの探索領域の
1次元予測画像とのマッチングを取り、動きベクトルを
検出するマッチング手段177と、マッチング手段177で求
めた動きベクトルをエンコーダ部179に出力する動きベ
クトル出力手段178と、ブロック読み出し手段174、マッ
チング手段177及び予測画像生成手段188の動作を制御す
る動きベクトル検出部制御手段173とを具備している。
【0137】このブロック読出し手段174、アキュムレ
ータアレイ175、マッチング手段177、1次元画像フレー
ムメモリ176及び動きベクトル出力手段178は、第4の実
施形態と同じものであり、DCT成分抽出手段186及び
1次元逆DCT手段187は、第1の実施形態と同じもの
である。
【0138】この非圧縮画像171は、入力手段184を介し
てエンコーダ部179と動きベクトル検出部172とに入力す
る。動きベクトル検出部172は、後述する方法により動
きベクトルを検出し、エンコーダ部179に送る。エンコ
ーダ部179では、エンコードカーネル180が送られて来る
非圧縮画像と動きベクトルとフレームメモリ182に記憶
してある予測画像とを用いてMPEGエンコードを行な
い、出力手段185を介してMPEGストリームを出力す
る。
【0139】まず、エンコーダ部179の動作について図
15を用いて説明する。エンコーダ部179のエンコーダ
カーネル192は、減算器194、DCT手段195、量子化手
段196、可変長符号化手段197、及び動き情報符号化手段
198を備え、また、デコード手段193は、逆量子化手段19
9、逆DCT手段2000、及び加算器2001を備えている。
また、図15の非圧縮画像190、フレームメモリ2002、
動きベクトル検出部2003、及びMPEGストリーム2004
は図14と同じものである。
【0140】動きベクトル検出部2003は、非圧縮画像19
0のブロックに対して動き検出を行ない、動きベクトル
が検出できたときは検出した動きベクトルをエンコーダ
カーネル192へ送る。図示していないエンコーダカーネ
ル制御部は、動きベクトルがあるブロックに対しては減
算器194及び加算器2001のステートをオンに、動きベク
トルが無いブロックに対しては減算器194及び加算器200
1のステートをオフにセットする。
【0141】DCT手段195は、減算器194のステートが
オンの時は、非圧縮画像ブロックと予測画像との差分を
得る。また、減算器194のステートがオフの時は、非圧
縮画像ブロックを得る。DCT手段195は、受け取った
ブロックに対して二次元DCTを施し量子化手段196へ
出力する。量子化手段196は、受け取ったDCTブロッ
クに対して量子化を施し可変長符号化手段及び逆量子化
手段199へ出力する。逆量子化手段199は受け取った量子
化データを逆量子化し、逆DCT手段2000へ出力する。
逆DCT手段2000は受け取ったDCTブロックに対して
逆DCTを施し、加算器2001のステートがオンの時は、
フレームメモリ2002から予測画像を読み出し、出力を加
算した後、次のフレームの予測画像としてフレームメモ
リ2002の所定の位置へ書き込む。また、加算器2001のス
テートがオフの時は、逆DCT手段2000は出力をそのま
まフレームメモリ2002の所定の位置へ書き込む。
【0142】デコード手段193は、動きベクトル検出部2
003で予測画像による動きベクトル検出が行なえるよう
に、逆量子化手段199の出力であるDCTブロックを動
きベクトル検出手段2003に送る。また、それと同時に図
示していないエンコーダカーネル制御部が、そのブロッ
クに動きベクトルが存在するか否かという情報を動きベ
クトル検出手段2003に送る。
【0143】動きベクトル検出部172は、次のような動
作で動きベクトルを検出する。
【0144】動きベクトル検出部制御手段173は、ブロ
ック読出し手段174とマッチング手段177の各々がフレー
ム中のどのブロックを処理しているかを把握し、各手段
の動作を制御する。また、動きベクトル検出部制御手段
173は、エンコーダ部179から動きベクトルの存在情報を
得て、予測画像生成手段188に通知する。
【0145】ブロック読出し手段174は、入力手段(フ
レームメモリ)184から画像をブロック単位で順番に読
み出し、アキュムレータアレイ175へブロックを送る。
アキュムレータアレイ175は、入力されたブロックに対
して、x方向及びy方向に沿ってブロック内の画素値の
和を求め、1次元画像をそれぞれ求める。
【0146】DCT成分抽出手段186は、デコード手段1
81からデコード中間データであるDCTブロックを受け
取り、そのDCTブロックの最上行及び最左列のDCT
成分を抽出し、1次元逆DCT手段187に出力する。1
次元逆DCT手段187は、抽出された各々の1次元デー
タに対して1次元逆DCTを施し予測画像生成手段188
に出力する。予測画像生成手段188は、動きベクトル検
出部制御手段173から通知された動きベクトル存在情報
に基づき、もしそのブロックが動き補償されていれば、
1次元画像フレームメモリ176から相当する1次元予測
画像を読み出し、1次元逆DCT手段187の出力に足し
合わせ、次のフレームの予測画像として1次元画像フレ
ームメモリ176の所定の位置へ書き込む。また、もしそ
のブロックが動き補償されていなければ、予測画像生成
手段188は、1次元逆DCT手段187の出力をそのまま1
次元画像フレームメモリ176の所定の位置へ書き込む。
なお、この1次元画像フレームメモリ176は、x方向1
次元画像とy方向1次元画像の両方を数フレーム分、蓄
えるのに十分な容量を有する。
【0147】マッチング手段177は、1次元アキュムレ
ータアレイ175によって求められた対象ブロックのx方
向1次元画像と、1次元画像フレームメモリ176から読
み出した対応する過去フレームの探索領域におけるx方
向1次元予測画像とを用いてマッチングを取る。このと
き、MPEGではマクロブロック単位で動きベクトルが
検出されるため、対象ブロックとして二ブロックを合わ
せた1×16のx方向1次元画像が読み出される。ま
た、探索領域の範囲は動きベクトル検出部制御手段173
から指示される。
【0148】このマッチングで動きベクトルのx方向成
分を検出する方法は、図4に示す第1の実施形態の検出
方法と同じである。同様に、マッチング手段177は、1
次元アキュムレータアレイ175によって求められた対象
ブロックのy方向1次元画像と、1次元画像フレームメ
モリ176から読み出した対応する過去フレームの探索領
域におけるy方向1次元予測画像とを用いてマッチング
を取り、動きベクトルy方向成分を検出する。このと
き、第3の実施形態の方法を採っても良い。
【0149】マッチング手段177は、こうして求めた動
きベクトルx方向成分と動きベクトルy方向成分とを合
成し、動きベクトルとする。動きベクトル出力手段178
は、マッチング手段177が求めた動きベクトルをエンコ
ーダ部179に出力する。
【0150】このように、この実施形態の動きベクトル
検出では、非圧縮映像信号から1次元画像を作成して、
それを動きベクトル検出参照ブロックとし、また、MP
EGエンコーダ部内のデコード手段のデコード中間デー
タを用いて探索領域の1次元予測画像を作成し、両者の
マッチングにより動きベクトルを検出している。
【0151】この動き予測では、2次元の領域から各方
向の代表成分(1次元)を作成して、動き探索を行なっ
ているため、2次元の領域を使って行なう全探索と同じ
精度を得ることができる。
【0152】また、第4の実施形態では、動きベクトル
の検出を行なう探索領域の1次元画像を原画像から求め
ているが、第5の実施形態の動きベクトル検出方法で
は、エンコーダ部内で圧縮データをデコードし、それを
基に1次元予測画像を作成し、これを動き検出に用いて
いるため、エンコーダ部でのブロック差分の画素値を小
さく抑えることが可能となり、圧縮効率及び画質の向上
が可能となる。
【0153】また、第5の実施形態の動きベクトル検出
方法では、1次元予測画像を作成するのに、エンコーダ
部で作成された2次元予測画像を用いずに、エンコーダ
部内のデコード手段のデコード中間データから直接計算
している。そのため、大きな演算負荷を伴うこと無く、
1次元予測画像を得ることができる。
【0154】なお、この実施形態の動きベクトル検出部
では、MPEGエンコーダ部内のデコード手段のデコー
ド中間データを用いて探索領域の1次元予測画像を作成
しているが、その代わりに、二次元の予測画像を記憶す
るフレームメモリ2003から、動きベクトル検出部2003が
ブロックを受け取り、アキュムレータアレイ175で探索
領域の1次元予測画像を作成し、動きベクトルを検出す
るようにすることもできる。
【0155】
【発明の効果】以上の説明から明らかなように、本発明
の動きベクトル検出方法は、直交変換された映像信号か
ら情報量が集中している部分を取り出して用いているた
め、演算量の削減量が多いにも拘わらず、検出精度の低
下を抑えることができる。
【0156】また、DCT変換された映像信号のブロッ
クから直流成分を含む1次元DCT画像を取り出して用
いる動きベクトル検出方法は、検出速度の向上を実現す
ると共に、2次元画像による全探索と変わらない検出精
度を得ることができる。
【0157】また、非圧縮の映像信号から動きベクトル
を検出する方法は、非圧縮の映像信号のブロックから各
列または各行に含まれる画素値の和を求めることによっ
て、非圧縮の映像信号から、少ない演算量で、且つ、2
次元画像による全探索と変わらない検出精度で、動きベ
クトルを検出することができる。
【0158】また、これらの検出方法において、動きベ
クトルの一方の成分を検出する際に得られる位置情報
を、他方の成分の検出時に利用して探索範囲を限定する
ことによって、動きベクトル検出に要する演算量をさら
に削減することができる。
【0159】また、DCT変換された映像信号のブロッ
クから低周波成分を含む少数のピクセルサイズの2次元
DCT画像を取り出して用いる動きベクトル検出方法
は、検出精度は粗いものの極めて速い検出速度を得るこ
とができ、そのため、高精度の動きベクトル検出方法と
組み合わせて、探索領域の絞り込みに利用することによ
り、総合的な検出速度及び検出精度を高めることができ
る。
【0160】また、本発明の動きベクトル検出装置は、
検出速度及び検出精度が共に優れた動きベクトル検出方
法を実施することができる。
【0161】また、本発明の映像信号変換装置は、ブロ
ックごとにDCT変換されているDVデータの特性を利
用して、MPEG符号化に必要な動きベクトルを検出す
ることができ、MPEGデータへの変換を効率化するこ
とができる。
【0162】また、入力する非圧縮映像信号から直接1
次元非圧縮画像を作成する手段と、MPEGエンコーダ
のデコード中間データから過去フレームの1次元予測画
像を作成する手段とを備える映像信号変換装置は、圧縮
効率及び画質を向上させることができる。
【図面の簡単な説明】
【図1】第1の実施形態における動きベクトル検出装置
の構成を示すブロック図、
【図2】第1の実施形態の動きベクトル検出装置が組み
込まれた映像信号変換装置の構成を示すブロック図、
【図3】第1の実施形態の動きベクトル検出方法での1
次元画像の生成方法を説明する説明図、
【図4】第1の実施形態の動きベクトル検出方法でのマ
ッチング方法を説明する説明図、
【図5】第2の実施形態における動きベクトル検出装置
の構成を示すブロック図、
【図6】第2の実施形態の動きベクトル検出方法でのマ
ッチング方法を説明する説明図、
【図7】従来の符号化装置の構成を示すブロック図、
【図8】従来の一般的な動きベクトル検出方法を説明す
る説明図、
【図9】従来の動きベクトルの高速検出方法を説明する
説明図、
【図10】第3の実施形態の動きベクトル検出方法での
マッチング方法を説明する説明図、
【図11】第4の実施形態の動きベクトル検出装置が組
み込まれた映像信号変換装置の構成を示すブロック図、
【図12】第4の実施形態のアキュムレータアレイによ
る1次元画像の生成方法を説明する図、
【図13】第1の実施形態の1次元画像と第3の実施形
態の1次元画像が等価であることを説明する図、
【図14】第5の実施形態の動きベクトル検出装置が組
み込まれた映像信号変換装置の構成を示すブロック図、
【図15】第5の実施形態のエンコーダ部が組み込まれ
た映像信号変換装置の構成を示すブロック図である。
【符号の説明】
11、51 DCTブロック読出し手段 12、52、186 DCT成分抽出手段 13 y方向1次元逆DCT手段 14 x方向1次元逆DCT手段 15 1次元画像(y)フレームメモリ 16 1次元画像(x)フレームメモリ 17、55、76、137、177 マッチング手段 18、56、77、138、178 動きベクトル出力手段 19、57、73、133、173 動きベクトル検出部制御手段 21 DV圧縮画像 22、144、184 入力手段 23 DVデコーダ部 24、132、172、2003 動きベクトル検出部 25、78、139、179、191 エンコーダ部 26、145、185 出力手段 27、143、183、2004 MPEG圧縮画像 31 DCTブロック 32、33 マスク 34 x方向対象画像 35 y方向対象画像 41、61、11 現フレーム 42、62、112 対象ブロック 43、63、113 過去フレーム 44、114 探索領域のx方向1次元画像 45、115 対象ブロックのx方向1次元画像 46、116、120 相関度最大位置 47、117 動きベクトルx成分 48 補間画像 53 逆DCT手段 54 低解像度フレームメモリ 64 対象ブロックの低解像度画像 65 探索領域の低解像度画像 66、86 動きベクトル 71、131、171、190 非圧縮画像 72 動きベクトル検出部 74、134、174 ブロック読出し手段 75、142、182、2002 フレームメモリ 79 圧縮画像 81 現在フレーム 82 対象ブロック 83 過去フレーム 84 探索領域 85 相関度最大ブロック 91、140、 180、192 エンコードカーネル 92、141、181、193 デコード手段 119 対象ブロックのy方向1次元画像 121 探索範囲 122 動きベクトルx成分 135、175 アキュムレータアレイ 136、176 1次元画像フレームメモリ 151 ブロック 152 y方向1次元画像 153 x方向1次元画像 187 1次元逆DCT手段 188 予測画像生成手段 195 DCT手段 196 量子化手段 197 可変長符号化手段 198 動き情報符号化手段 199 逆量子化手段 2000 逆DCT手段

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 映像信号の圧縮符号化に用いる動きベク
    トルの検出方法において、 直交変換された映像信号から情報量が集中している部分
    を取り出して逆変換し、前記逆変換で得られた動き検出
    対象領域の非圧縮画像と探索領域の非圧縮画像とを用い
    て、前記探索領域から動き検出対象領域の動きベクトル
    を検出することを特徴とする動きベクトル検出方法。
  2. 【請求項2】 DCT変換された映像信号のブロックか
    ら直流成分を含む1次元DCT画像を取り出して逆変換
    し、前記逆変換で得られた動き検出対象領域の1次元非
    圧縮画像と探索領域の1次元非圧縮画像とを用いて、前
    記探索領域から動き検出対象領域の動きベクトルを検出
    することを特徴とする請求項1に記載の動きベクトル検
    出方法。
  3. 【請求項3】 前記ブロックから、前記1次元DCT画
    像としてx方向1次元DCT画像とy方向1次元DCT
    画像とを取り出して逆変換し、前記x方向1次元DCT
    画像の逆変換で得られた動き検出対象領域のx方向1次
    元非圧縮画像と探索領域のx方向1次元非圧縮画像とを
    用いて、前記探索領域から動き検出対象領域の動きベク
    トルx成分を検出し、前記y方向1次元DCT画像の逆
    変換で得られた動き検出対象領域のy方向1次元非圧縮
    画像と探索領域のy方向1次元非圧縮画像とを用いて、
    前記探索領域から動き検出対象領域の動きベクトルy成
    分を検出し、前記動きベクトルx成分及び動きベクトル
    y成分を合成して動きベクトルを求めることを特徴とす
    る請求項2に記載の動きベクトル検出方法。
  4. 【請求項4】 前記ブロックから、前記x方向1次元D
    CT画像として1×8ピクセルのDCT係数を取り出
    し、前記y方向1次元DCT画像として8×1ピクセル
    のDCT係数を取り出すことを特徴とする請求項3に記
    載の動きベクトル検出方法。
  5. 【請求項5】 前記ブロックから、前記x方向1次元D
    CT画像として1×6または1×4ピクセルのDCT係
    数を取り出し、前記y方向1次元DCT画像として6×
    1または4×1ピクセルのDCT係数を取り出すことを
    特徴とする請求項3に記載の動きベクトル検出方法。
  6. 【請求項6】 非圧縮の映像信号から動きベクトルを検
    出する動きベクトル検出方法において、 非圧縮の映像信号のブロックから各列または各行に含ま
    れる画素値の和を求めることによって動き検出対象領域
    のx方向またはy方向の1次元非圧縮画像を作成し、こ
    の1次元非圧縮画像と、探索領域のx方向またはy方向
    の1次元非圧縮画像とを用いて、前記探索領域から動き
    検出対象領域の動きベクトルを検出することを特徴とす
    る動きベクトル検出方法。
  7. 【請求項7】 前記探索領域のx方向またはy方向の1
    次元非圧縮画像として、非圧縮の映像信号のブロックか
    ら各列または各行に含まれる画素値の和を求めることに
    よって作成した1次元非圧縮画像を用いることを特徴と
    する請求項6に記載の動きベクトル検出方法。
  8. 【請求項8】 前記探索領域のx方向またはy方向の1
    次元非圧縮画像として、DCT変換された映像信号のブ
    ロックから直流成分を含む1次元DCT画像を抽出し、
    これを逆変換することによって作成した1次元非圧縮画
    像を用いることを特徴とする請求項6に記載の動きベク
    トル検出方法。
  9. 【請求項9】 前記動き検出対象領域の前記各列に含ま
    れる画素値の和から作成したx方向1次元非圧縮画像
    と、前記探索領域のx方向1次元非圧縮画像とを用い
    て、前記探索領域から動き検出対象領域の動きベクトル
    x成分を検出し、前記動き検出対象領域の前記各行に含
    まれる画素値の和から作成したy方向1次元非圧縮画像
    と、前記探索領域のy方向1次元非圧縮画像とを用い
    て、前記探索領域から動き検出対象領域の動きベクトル
    y成分を検出し、前記動きベクトルx成分及び動きベク
    トルy成分を合成して動きベクトルを求めることを特徴
    とする請求項6に記載の動きベクトル検出方法。
  10. 【請求項10】 前記探索領域のx方向1次元非圧縮画
    像の各々から、それらの中間に位置するx方向1次元非
    圧縮画像を補間し、前記探索領域のy方向1次元非圧縮
    画像の各々から、それらの中間に位置するy方向1次元
    非圧縮画像を補間することを特徴とする請求項3または
    9に記載の動きベクトル検出方法。
  11. 【請求項11】 前記探索領域から動き検出対象領域の
    動きベクトルx成分及び動きベクトルy成分を検出する
    とき、後から検出する動きベクトル成分の探索領域上の
    探索範囲を、先に行なった動きベクトル成分の検出にお
    いて、1次元非圧縮画像が検出された探索領域上の位置
    の周囲に限定することを特徴とする請求項3または9に
    記載の動きベクトル検出方法。
  12. 【請求項12】 DCT変換された映像信号のブロック
    から低周波成分を含む4×4または2×2ピクセルサイ
    ズの2次元DCT画像を取り出して4×4または2×2
    サイズのDCT逆変換を施し、前記逆変換で得られた動
    き検出対象領域の2次元非圧縮画像と探索領域の2次元
    非圧縮画像とを用いて、前記探索領域から動き検出対象
    領域の動きベクトルを検出することを特徴とする請求項
    1に記載の動きベクトル検出方法。
  13. 【請求項13】 前記動きベクトルの検出結果に基づい
    て、探索領域を限定し、限定した前記探索領域に対して
    高精度の動きベクトル検出方法を適用することを特徴と
    する請求項12に記載の動きベクトル検出方法。
  14. 【請求項14】 前記高精度の動きベクトル検出方法と
    して、請求項3または4に記載の動きベクトル検出方法
    を適用することを特徴とする請求項13に記載の動きベ
    クトル検出方法。
  15. 【請求項15】 映像信号の圧縮符号化に用いる動きベ
    クトルを検出する動きベクトル検出装置において、 DCT変換された映像信号のブロックから、低周波成分
    を含むx方向1次元DCT画像とy方向1次元DCT画
    像とを抽出するDCT成分抽出手段と、 前記x方向1次元DCT画像を逆変換してx方向1次元
    非圧縮画像を生成するx方向1次元逆DCT手段と、 前記y方向1次元DCT画像を逆変換してy方向1次元
    非圧縮画像を生成するy方向1次元逆DCT手段と、 生成されたx方向1次元非圧縮画像を順番に記憶するx
    方向1次元画像フレームメモリと、 生成されたy方向1次元非圧縮画像を順番に記憶するy
    方向1次元画像フレームメモリと、 動き検出対象領域のx方向1次元非圧縮画像と探索領域
    のx方向1次元非圧縮画像とを用いて、動き検出対象領
    域の動きベクトルx成分を検出し、動き検出対象領域の
    y方向1次元非圧縮画像と探索領域のy方向1次元非圧
    縮画像とを用いて、動き検出対象領域の動きベクトルy
    成分を検出し、前記動きベクトルx成分及び動きベクト
    ルy成分を合成して動きベクトルを求めるマッチング手
    段とを備えることを特徴とする動きベクトル検出装置。
  16. 【請求項16】 映像信号の圧縮符号化に用いる動きベ
    クトルを検出する動きベクトル検出装置において、 DCT変換された映像信号のブロックから、低周波成分
    を含む4×4または2×2ピクセルサイズの2次元DC
    T画像を抽出するDCT成分抽出手段と、 前記2次元DCT画像を逆変換して低解像度非圧縮画像
    を生成する逆DCT手段と、 生成された低解像度非圧縮画像を順番に記憶するフレー
    ムメモリと、 動き検出対象領域の低解像度非圧縮画像と探索領域の低
    解像度非圧縮画像とを用いて、動き検出対象領域の動き
    ベクトルを検出するマッチング手段とを備えることを特
    徴とする動きベクトル検出装置。
  17. 【請求項17】 DVフォーマットで圧縮符号化された
    DVデータをMPEGフォーマットで圧縮符号化された
    MPEGデータに変換する映像信号変換装置において、 DVデータを復号して非圧縮映像信号を生成するDVデ
    コーダと、 DCT変換されたDVデータを用いて動きベクトルを検
    出する動きベクトル検出手段と、 前記DVデコーダから送られて来る非圧縮映像信号と前
    記動きベクトル検出手段から送られて来る動きベクトル
    とを用いてMPEGデータへの符号化を行なうエンコー
    ダとを備え、前記動きベクトル検出手段として、請求項
    15に記載の動きベクトル検出装置を具備することを特
    徴とする映像信号変換装置。
  18. 【請求項18】 前記動きベクトル検出手段として、さ
    らに請求項16に記載の動きベクトル検出装置を具備
    し、前記動きベクトル検出装置の探索結果に基づいて、
    探索領域を限定することを特徴とする請求項17に記載
    の映像信号変換装置。
  19. 【請求項19】 非圧縮の映像信号から動きベクトルを
    検出する動きベクトル検出装置において、 前記映像信号のブロックから、各ブロックの各列または
    各行の画素値の和をすべての列または行に対して計算し
    て1次元非圧縮画像を求めるアキュムレータアレイと、 前記アキュムレータアレイが求めた前記1次元非圧縮画
    像を順番に記憶する1次元画像フレームメモリと、 動き検索対象ブロックの1次元非圧縮画像とそれに対応
    する過去フレームの探索領域の1次元非圧縮画像とのマ
    ッチングを取り、動きベクトルを検出するマッチング手
    段とを備えることを特徴とする動きベクトル検出装置。
  20. 【請求項20】 非圧縮映像信号をMPEGフォーマッ
    トで圧縮符号化されたMPEGデータに変換する映像信
    号変換装置において、 入力する非圧縮映像信号から動きベクトルを検出する動
    きベクトル検出手段と、 入力する非圧縮映像信号と前記動きベクトル検出手段か
    ら送られて来る動きベクトルとを用いてMPEGデータ
    への符号化を行なう符号化手段とを備え、 前記動きベクトル検出手段として、請求項19に記載の
    動きベクトル検出装置を具備することを特徴とする映像
    信号変換装置。
  21. 【請求項21】 非圧縮映像信号をMPEGフォーマッ
    トで圧縮符号化されたMPEGデータに変換する映像信
    号変換装置において、 入力する非圧縮映像信号から動きベクトルを検出する動
    きベクトル検出手段と、 入力する非圧縮映像信号と前記動きベクトル検出手段か
    ら送られて来る動きベクトルとを用いてMPEGデータ
    への符号化を行なう符号化手段とを備え、 前記動きベクトル検出手段が、 入力する非圧縮映像信号のブロックから、各ブロックの
    各列または各行の画素値の和をすべての列または行に対
    して計算して動き検索対象ブロックの1次元非圧縮画像
    を求めるアキュムレータアレイと、 前記符号化手段が中間データとして生成するDCT変換
    されたブロックから直流成分を含む1次元DCT画像を
    取り出すDCT成分抽出手段と、 取り出された前記1次元DCT画像を逆変換する逆変換
    手段と、 前記逆変換手段の出力を基に過去フレームの1次元非圧
    縮画像を生成する予測画像生成手段と、 前記予測画像生成手段によって生成された過去フレーム
    の1次元非圧縮画像を記憶する1次元画像フレームメモ
    リと、 前記アキュムレータアレイから出力された動き検索対象
    ブロックの1次元非圧縮画像と、前記1次元画像フレー
    ムメモリから読み出した、対応する過去フレームの探索
    領域の1次元非圧縮画像とのマッチングを取り、動きベ
    クトルを検出するマッチング手段とを備えることを特徴
    とする映像信号変換装置。
JP22994998A 1997-10-01 1998-08-03 動きベクトル検出方法及びその方法を実施する装置 Expired - Fee Related JP3667105B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP22994998A JP3667105B2 (ja) 1997-10-01 1998-08-03 動きベクトル検出方法及びその方法を実施する装置
US09/164,333 US6925121B1 (en) 1997-10-01 1998-10-01 Motion vector detecting method and system and devices incorporating the same
EP20040026452 EP1503598A1 (en) 1997-10-01 1998-10-01 Motion vector detecting method and system and devices incorporating the same
EP19980118570 EP0907291A3 (en) 1997-10-01 1998-10-01 Motion vector detecting method and system and devices incorporating the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-283162 1997-10-01
JP28316297 1997-10-01
JP22994998A JP3667105B2 (ja) 1997-10-01 1998-08-03 動きベクトル検出方法及びその方法を実施する装置

Publications (2)

Publication Number Publication Date
JPH11168731A true JPH11168731A (ja) 1999-06-22
JP3667105B2 JP3667105B2 (ja) 2005-07-06

Family

ID=26529076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22994998A Expired - Fee Related JP3667105B2 (ja) 1997-10-01 1998-08-03 動きベクトル検出方法及びその方法を実施する装置

Country Status (3)

Country Link
US (1) US6925121B1 (ja)
EP (2) EP0907291A3 (ja)
JP (1) JP3667105B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545081A (ja) * 2006-07-25 2009-12-17 クゥアルコム・インコーポレイテッド デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1361541B1 (en) * 2002-04-09 2011-06-22 STMicroelectronics Srl Process and device for global motion estimation in a sequence of images, for instance for optical mice
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
JP4734679B2 (ja) * 2006-03-14 2011-07-27 富士フイルム株式会社 画像処理装置、方法およびプログラム
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
US8200020B1 (en) * 2011-11-28 2012-06-12 Google Inc. Robust image alignment using block sums
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10681388B2 (en) * 2018-01-30 2020-06-09 Google Llc Compression of occupancy or indicator grids

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
JPH06205388A (ja) * 1992-12-28 1994-07-22 Canon Inc 画像符号化装置
JPH0799658A (ja) * 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
DE69417127T2 (de) * 1993-09-09 1999-10-14 Sony Corp. Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
KR100366141B1 (ko) * 1994-01-31 2003-03-03 소니 가부시끼 가이샤 화상대조방법및장치
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
US6002801A (en) * 1995-04-18 1999-12-14 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
US6115070A (en) * 1997-06-12 2000-09-05 International Business Machines Corporation System and method for DCT domain inverse motion compensation using shared information
US6134270A (en) * 1997-06-13 2000-10-17 Sun Microsystems, Inc. Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545081A (ja) * 2006-07-25 2009-12-17 クゥアルコム・インコーポレイテッド デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset

Also Published As

Publication number Publication date
EP1503598A1 (en) 2005-02-02
EP0907291A3 (en) 2002-03-27
US6925121B1 (en) 2005-08-02
JP3667105B2 (ja) 2005-07-06
EP0907291A2 (en) 1999-04-07

Similar Documents

Publication Publication Date Title
JP3667105B2 (ja) 動きベクトル検出方法及びその方法を実施する装置
JP4863333B2 (ja) 高分解能静止画像を創出するための方法及び装置
JP2699703B2 (ja) 動き補償予測方法とそれを用いた画像信号符号化方法
US6928234B2 (en) Picture recording apparatus and method thereof
US20020015513A1 (en) Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded
JPH04177992A (ja) 階層性を有する画像符号化装置
JP2004229315A (ja) 直交変換−ドメインブロックマッチングを用いる動き推定
JPH0955941A (ja) 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
JP3532709B2 (ja) 動画像符号化方法および装置
JP4590335B2 (ja) 画像処理装置及び画像処理方法
JP3140487B2 (ja) 画像記録再生装置
KR100511810B1 (ko) 화상 부호화 및 복호화 방법 및 장치
US6038345A (en) Apparatus for encoding/decoding image data
JP3063380B2 (ja) 高能率符号化装置
JP3164056B2 (ja) 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体
JPH1023420A (ja) 動き検出方法および動き検出装置
JP2000069484A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
JP2000078589A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
JPH0795590A (ja) 映像信号処理装置、映像信号処理方法及び撮像装置
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
JP3251900B2 (ja) 動画変換装置
JP2000050278A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
JP3407727B2 (ja) 記録媒体
JP3186406B2 (ja) 画像合成符号化方法及び画像合成装置
JPH06105299A (ja) 動画像圧縮装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120415

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130415

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees