JP2900369B2 - ディジタルテレビジョン画像の動きベクトル数の減少方法 - Google Patents

ディジタルテレビジョン画像の動きベクトル数の減少方法

Info

Publication number
JP2900369B2
JP2900369B2 JP63142352A JP14235288A JP2900369B2 JP 2900369 B2 JP2900369 B2 JP 2900369B2 JP 63142352 A JP63142352 A JP 63142352A JP 14235288 A JP14235288 A JP 14235288A JP 2900369 B2 JP2900369 B2 JP 2900369B2
Authority
JP
Japan
Prior art keywords
field
motion
motion vectors
vector
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63142352A
Other languages
English (en)
Other versions
JPS63313987A (ja
Inventor
ヘンリー ギラード クライヴ
カール ハラダイン ヴィンセント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB878713455A external-priority patent/GB8713455D0/en
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPS63313987A publication Critical patent/JPS63313987A/ja
Application granted granted Critical
Publication of JP2900369B2 publication Critical patent/JP2900369B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/877Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/89Time-base error compensation
    • H04N9/896Time-base error compensation using a digital memory with independent write-in and read-out clock generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ディジタルテレビジョン画像の動きベク
トル数の減少方法に関する。このような動きベクトルの
減少は、特にテレビジョン標準方式変換器やスローモー
ション処理器に用いられるが、これに限られるわけでは
ない。
〔従来の技術〕
国際的にテレビジョン番組を交換する場合には、国に
よってテレビジョン標準方式が異なるので、例えばイギ
リス連合王国で使用するPAL方式では625ライン、毎秒50
フィールド(625/50)であり、アメリカ合衆国で使用す
るNTSC方式では525ライン、毎秒60フィールド(525/6
0)であるので、標準方式変換器が必要である。
これまで多くの種々の標準方式変換器が提案されてき
たが、それらのうち最もよく知られているのは、英国放
送会社によって開発されたACE(Advanced Conversion E
quipment)である。ACEは、基本的には、入力ディジタ
ル・テレビジョン信号をライン(走査線)毎に処理して
出力ディジタル・テレビジョン信号を作るのに必要な補
間されたサンプルを取出している。補間は、入力テレビ
ジョン信号の4本の連続する水平走査線を用いて空間的
に行うだけでなく、入力テレビジョン信号の4つの連続
するフィールドを用いて時間的にも行っている。よっ
て、出力テレビジョン信号の各ラインは、入力テレビジ
ョン信号の16ラインからの各サンプルにそれぞれ重み付
け係数(weighting coefficient)を乗じて作り出して
いる。
ACEについての詳細は、英国特許明細書GB−A−2 059
712号及び「テレビジョン」(英国王立テレビジョン協
会雑誌)1982年1月及び2月号の11〜13頁に記載のR.N.
Robinson及びG.J.Cooper両氏による「80年代の4フィー
ルド・ディジタル標準方式変換器」に記載されている。
〔発明が解決しようとする課題〕
ACEは良好な結果を与えているが、設備が大きくて扱
いにくいという問題がある。この問題を解決するため、
我々は先に、或る標準方式の入力ディジタル・テレビジ
ョン信号を受ける3個のフィールド・メモリ及び4個の
4ライン・メモリを設け、これを用いて入力テレビジョ
ン信号の連続する4フィールドの各々からの4本の連続
ラインより成る16ラインのアレイを取出すようにしたテ
レビジョン標準方式変換器を提案した。重み付け係数メ
モリにより、16個の重み付け係数の組を記憶する。これ
らの各組は、異なる標準方式の出力ディジタルテレビジ
ョン信号の入力テレビジョン信号の16ラインに対するそ
れぞれのラインの空間及び時間的位置に対応する。それ
から、2個の補間フィルタにより、入力テレビジョン信
号の16本のラインの各々からの対応するサンプル値に重
み付け係数の1組における各重み付け係数を乗じ、それ
らの積を加算して補間したサンプル値を作り、ライン毎
に出力テレビジョン信号を作り出す。そして、作り出し
た出力テレビジョン信号のラインを4個の出力フィール
ド・メモリに記憶させる。出力テレビジョン信号が入力
テレビジョン信号より多くのラインを有する場合に生じ
る追加のラインを記憶させるため、1個の45−ライン・
メモリを補間フィルタの1つと出力フィールド・メモリ
の間に入れる。これ以上の詳細は、我々の英国特許明細
書GB−A−2 140644号を参照されたい。
このような垂直的及び時間的補間手法を用いる標準方
式変換器の性能は、動きの描写は良好であるが画がぼや
け、垂直方向の解像度は維持するがジャダー(judder)
が大きい。前者は、じゃまな折り返し(alias)効果を
防ぐため、あとで濾波する結果、生じるものであり、後
者は、隣接する2次元的繰返しサンプル構成の侵入の結
果生じるものである。
そこで、我々は、テレビジョン標準方式変換器及びス
ローモーション処理器においては動きベクトルの評価を
併用すべきである、と提案した。現在の多くの動きベク
トル評価方法の問題点は、主題が一般にひとりの人の頭
部及び肩か又はテーブルを囲んで座った少数の人間かで
あるビデオ会議タイプの画像に偏って使用されているこ
とである。このタイプのテレビジョン画像については、
例えば、競馬においてカメラでレースの先頭馬を追うよ
うな放送テレビジョン画像に比較すると、動きが簡単で
ある。この例のような状況では例えばカメラが動くので
動きが複雑である。従って、背景は1フィールド当たり
8画素より大きなスピードで動くであろうし、一方前景
の中には全速力で走る少なくとも1頭の馬があるであろ
う。このことは動きベクトル評価方法では、既に動いて
いる背景とは異なる方向に動くであろう馬の足を追って
行かなければならないことを意味する。
この発明の目的は、改良されたディジタルテレビジョ
ン画像の動きベクトル数の減少方法を提供することであ
る。
この発明の他の目的は、改良されたディジタルテレビ
ジョン画像の動きベクトル数を減少する装置を提供する
ことである。
この発明の他の目的は、改良されたテレビジョン標準
方式変換器を提供することである。
この発明の別の目的は、改良されたスローモーション
処理器を提供することである。
〔課題を解決するための手段〕
上記の課題を解決するために、本発明は、ディジタル
テレビジョン画像の動きベクトル数の減少方法であっ
て、 上記テレビジョン画像内の各ブロックの画素に対して
上記ブロック画素の最も共通の動きベクトルを表す複数
の動きベクトルであって、各々がそれと関連した精度の
表示を有する動きベクトルを導出するステップと、 上記複数の動きベクトルを、前回のフィールドからの
同じ位置に対する更に1つのベクトル及び次のフィール
ドからの同じ位置に対する更に1つのベクトルであっ
て、これらの各ベクトルがそれに関連させてその精度の
表示を持つベクトルと関連付けるステップと、 上記表示に依存して、上記複数の動きベクトル及び上
記更に関連付けた動きベクトルから数がもっと少ない動
きベクトルを選択するステップと、 を含むディジタルテレビジョン画像の動きベクトル数減
少方法を提供する。
この発明の上述した及びその他の目的、特徴及び利点
は添付図面と関連して以下に詳述する例示の実施例の説
明から明らかになろう。
〔実施例〕
この発明の要旨を成す動き最適補間を容易に理解する
ために、先ず斯る動き最適補間を使用する2つの方式変
換器及びスローモーション処理器の構成と動作を述べ
る。叙述する方式変換器は垂直解像度を維持し、フィー
ルド間の動きを補償することによりジャダーを除去す
る。実質的に連続するフィールド間の動きが分析され
る。それからこれ等のフィールドは変換を行うことがで
きる静止画を表わすように画素毎に配列できる。結果と
して垂直解像度を維持できる。
ここに説明する方式変換器は2つの部分に分割でき
る。第1の部分は垂直及び時間補間を行って525/60テレ
ビジョン方式と625/50テレビジョン方式を変換する周知
の方式変換器に類似している。これは垂直解像度を維持
する出力を発生するがジャダーの付加結果を生じる。こ
のジャダーを除去するため、変換過程で使用される入力
ディジタルテレビジョン信号の4フィールドは方式変換
器の第2の部分を形成する動き分析器から発生される動
きベクトルの制御のもとに配列される。
これを第1図に非常に簡略化したブロック図で示す。
ある方式の入力ディジタルテレビジョン信号の映像部分
(これは例えばアナログテレビジョン信号を13.5MHzで
サンプルして得てもよい)が補間器(1)に供給され、
そこから異なる方式の所要の出力テレビジョン信号の映
像部分が導き出される。動き分析器(2)は輝度映像を
受けて動きベクトルを得、これを入力テレビジョン信号
の連続するフィールド間の動きを表わすデータとして補
間器(1)に供給してその動作を制御する。補間器
(1)は例えば上述した周知の方式変換器の対応する部
分と一般に同じ方法で動作する。しかしながら、また、
動きベクトルの制御のもとに補間の際に使用される4フ
ィールドを配列する手段を有する。
4フィールドの再位置決めは2段階で行われる。第1
段階は各フィールドに関連した可変遅延要素のアドレス
を変えて画像を最も近いライン又はサンプルに移す。第
2段階は1ラインの±1/16または1サンプルの±1/8内
で垂直及び水平の両方向に再位置決めする補間法を使用
する。動きがない画像に付いても上述の方法は共にライ
ン標準方式の変換を可能とするために使われる。
垂直補間器はフィールド当たり4個のタップを有し、
静止画に対して8タップ垂直フィルタを効果的に適用で
きるようにさせる。8タップ補間器は最小の歪で良好な
垂直解像度が維持できるようにする。水平補間器の歪の
影響は問題がなく、従って例えば4タップ水平フィルタ
を使用してもよいが、2タップ水平フィルタを使用す
る。
時間補間器は遠近変化の補間を可能とする通常動作、
又は、感知できる動きベクトルが検出されないときに使
われるが、その場合、補間器(1)は画像の再位置決め
が起こらない通常の方式変換動作に戻らなければならな
い。
高いフィールドレートからより低いフィールドレート
に変換するとき到来するフィールドはどんな動きの劣化
も伴うことなく補間フィールドが時折欠落できるように
補間される。補間は全て入力フィールドレートで行われ
て時間軸補正器に通され、この時間軸補正器は出力方式
に必要な期間にわたってフィールドを広げる。
上述の動作は525/60から625/50への変換のとき必要で
ある。しかし、入力信号に525ラインしか存在しない場
合は、625ラインを発生しなければならないことは明白
である。
ライン数の変換問題を克服するため、入力側で第2の
時間軸補正器を使用して60Hzのレートで585ラインを有
する信号を発生する。585ラインフォーマットは625ライ
ンフォーマットにおけるアクチブ画像情報を全て含むこ
とができる。この第1の時間軸補正器に続いて、映像信
号をもたない随時ラインがある。この間補間器のメモリ
は凍結する(freeze)ので、前の出力ラインを発生する
のに使用したのと同じラインから付加的に補間されたラ
インを発生できる。この処理により元の525ラインから6
25ラインを補間できる。
次に585/60フォーマットを選択する理由を詳細に説明
する。625ラインの画像は各フィールドに288のアクチブ
ラインを含み、且つ各水平ラインに13.5MHzのサンプリ
ングレートで720サンプルを含む。後述する第2図及び
第3図のテレビジョン方式変換器の回路は、画像をプラ
ス又はマイナス24サンプルだけ水平方向にシフトさせる
手法を使用する。これは48サンプルの最小水平ブランキ
ングを要する。従って、フィールドに必要な全サンプル
位置の数は (720+48)×288=221184 である。
全システムを通して13.5MHzのクロックを使用する
と、明らかに多大な利益があり、この場合60Hz周期(正
確には59.94Hz周期)内のクロックサイクルの数は 225225 である。
1フレームに576ラインのデータが必要な場合は、水
平サンプル数は782.03125となる。この数は所要の(720
+48)のサンプルを含むのに十分であるけれども、端数
サンプルは構造がライン間の軸に対して非直交であった
ことを意味する。これは方式変換器の残部の設計を著し
く困難にするので、所要のライン数は576から各ライン
に存在する全サンプル数、実際には770、まで次第に増
大させた。
直交構造を作る唯一のフォーマットは585/60フォーマ
ットであり、これは更に第1フィールドで4ライン、第
2フィールドで5ラインの有効な垂直ブランキング及び
50サンプルの水平ブランキングを与える。
後述する625/50から625/50へのスローモーションモー
ドでは60Hzの周期内で625フォーマットのアクチブ映像
を記憶する必要はなく、従って補間及びその他の処理が
通常の625/50フォーマットでなされる。
低いフィールドレートからより高いフィールドレート
へ変換するとき、入力時間軸補正器は出力レートで映像
信号を作ることを要求される。これは時折入力フィール
ドを反復することによって行われる。フィールドが反復
するとき、前回の出力フィールドを作るのに使用したの
と同じ入力フィールドに補間が適用されるように、補間
器の蓄積器を全て凍結しなければならない。
もしこの手法を使用しなければ、欠落したフィールド
を作るのに2組の補間器及び動き検出器が必要である。
上述の動作は625/50から525/60への変換のとき行われ
る。毎秒60フィールドの周期間に625ライン存在させる
ためには、585/60の中間フォーマットを用いることがま
た必要である。この過程で、元の625から525のみ作れば
よいので、補間ラインのいくつかは必要でない。従って
出力側に最終的な525/60フォーマットを発生するのに時
間軸補正器が必要である。
必要な補間量は入力及び出力同期化パルスの位相を比
較することにより決定される。
上述の如く動きの解析は入力映像の輝度について行わ
れる。採用した方法は各画素に対して単一の動きベクト
ルに到達するために多数の段階を含む。動きは、水平に
±24画素、垂直に±8(フィールドレート)の範囲で検
出できる。
第1段階では、水平に16サンプル、垂直に8ライン間
隔をおいたスクリーン上の数点で画像の動きを、ブロッ
ク整合法(ブロック突き合わせ技法)を使用して決定す
る。1フィールドの元の複数の動きベクトルは16サンプ
ル毎及び8ライン毎に計算される。これ等の点の各々は
検索ブロックの中心にある。概念的には、検索ブロック
の領域で2フィールド間の差の合計が発生される毎に次
のフィールド上で、各ブロックが水平に±24サンプル、
垂直に+8及び−8サンプルスキャンされる。最小の総
合差はその点の対象物がどの方向に動いたかを示す。
実際には、上述の手法は、必要なハードウエアの量及
び複雑さを大いに減少するように別々のステップで適用
される。すなわち、 ステップ1. ブロックの中央位置、16サンプルだけ左の
位置及び16サンプルだけ右の位置の丁度3つの位置にお
ける最小差をみつける試験をする。
ステップ2. 上記の点(即ち、ブロックの中央位置)か
ら開始する。
8サンプルまたはラインのステップ(間隔)で上記開
始点のあたりに対称的に分布した9個の位置での差の中
の最小差をみつける試験をする。
ステップ3. 上記の点より開始する。
4サンプル又はラインのステップで上記開始点のあた
りに対称的に分布した9個の位置の最小差をみつける試
験をする。
ステップ4. 上記の点より開始する。
2サンプル又はラインのステップで上記開始点のあた
りに対称的に分布した9個の位置での差の中の最小差を
みつける試験をする。
ステップ5. 上記の点より開始する。
1サンプル又はラインのステップで上記開始点のあた
りに対称的に分布した9個の位置での差の中の最小差を
みつける試験をする。
ステップ6. ステップ5の後は、対象物の動きは最も近
い画素まで検出されている。第6番目のステップを付加
することにより、もっと正確なベクトル値が得られる。
この第6番目のステップでは、ステップ5で示した最終
位置に生じた差を上下の2つの差と比較して垂直ベクト
ル値を調整し、左右の2つの差と比較して水平ベクトル
値を調整する。
上述の方法により基準検索ブロックと次のフィールド
の同様のブロック(検索位置)の映像データの間の相関
を得ることができる。ステップ5では、真の動きは検出
されたものより1/2画素大きいか小さいが、たとえ正確
な相関が達成できなくとも、この点で最良の相関を生ず
ることが必要である。これを確実に生じさせるため、1/
2ナイキスト周波数で+6dB減衰のガウスフィルタにより
画像を垂直及び水平の両方向に濾波することができる。
同様に、ステップ4にして、1/4ナイキスト周波数の
所で6dB減衰するガウスフィルタを使って画像を濾波す
ることができ、このフィルタが許す検出エラーは1画素
である。
ステップ3では2画素エラーを許す1/8ナイキスト周
波数で6dB減衰のガウスフィルタで濾波された画像を使
用する。
ステップ2じは、4画素エラーを許す1/16ナイキスト
周波数で6dB減衰のガウスフィルタで濾波された画像を
使用する。
最後に、ステップ1では、8画素エラーを許す1/32ナ
イキスト周波数で6dB減衰のガウスフィルタで濾波され
た画像を使用する。さらに、ステップ1,2,3及び4間に
画像が非常に多量に濾波されるので、サンプルの数を例
えば半減でき、これは更に計算の数及び必要なハードウ
エアの量を大きく減少させる。
有効な検索ブロックの大きさは高さが16ライン長さが
48サンプルである。大きな平面領域の動きを正確に検出
するには大きな検索ブロックが必要である。平面領域の
中央部分は、これ等の点の画素の値が或るフィールドか
ら次のフィールドまで変化しないので重要でないが、斯
る対象物の端縁は明らかに重要である。動きの検出が水
平に±24サンプルに、垂直に±8ラインに制限されれ
ば、上述の検索ブロックの大きさは正確な動きを検出す
るには最小の大きさである。
方式変換器において、動き検出器(2)に入る輝度映
像は、変換モードに応じて585ライン/60フィールド/秒
の種々の形をしている。これは525入力に対する反復ラ
インまたは625入力に対する反復フィールドを含むかも
しれない。更に、入力は両方のフィールド極性を有す
る。第1の処理は動き推定処理のためにデータの連続性
及び単一フィールド極性であることを確保することであ
る。これは連続性を維持するためにベクトルインタフェ
ースにより入力データに補間をほどこすこと、及び後続
する動き検出/相関を助けるために水平方向に濾波する
ことによって行なわれる。
この回路からの個別の出力は動き評価ベクトルフィル
タ及び動き検出フィールドメモリ/ベクトル選択器に通
される。上述の如く、ベクトルインタフェースの出力は
空間的に連続しており、単一フィールド極性のデータで
ある。フィールドメモリ/ベクトル選択器に対する出力
は入力及び出力モードに依存する。或るモードではそれ
は連続であり、他のモードではそれは反復ライン/フィ
ールドを含む。ベクトルフィルタ及びベクトル計算器は
上述したステップを行う。
種々のステップの処理はベクトル計算器及びベクトル
処理器で行われる。ベクトル計算器はステップ1〜5を
行い、ベクトル処理器はステップ6を行う。更に、ベク
トル処理器は動き評価の第2段階を次のように行う。
各8×16ブロックに対して7つの動きベクトルの中か
ら4つを選択し、7つの動きベクトルはその特定のブロ
ックに対して1つ、6つの最も近いブロックに対して6
つである。
更に、ベクトル処理器は全入力フィールドを通して4
つの最も共通の動きベクトルを決定し、これ等はモーダ
ル動きベクトルと呼ばれる。モーダル動きベクトルは、
それが任意の局部的な動きベクトルを計算することが実
際にできない場合に、1フィールドの端縁に近い境界領
域で主に使用する。また、任意の1以上の局部的動きベ
クトルが等しければ、これ等はモーダル動きベクトルに
よって置換される。
動き検出の次の段階で、各画素に対し、フィールド0
〜1で外挿した位置間の差を作ることによって4つの動
きベクトルが試験される。方式変換中、2つのフィール
ド、すなわちフィールド0とフィールド1の間に1つの
フィールドが補間される必要がある。従って、これ等の
2つのフィールド間で発生された動きベクトルは動きを
最も表わしているものと考えられる。これ等2つのフィ
ールドから4つの動きベクトルを使用する。どれが正し
い動きベクトルであるかを決定するために、その動きベ
クトルを使用して発生すべき画素がフィールド0上のど
こから来て、そしてその画素がフィールド1ではどこへ
行ってしまったのかを決定するためにフィールド0から
の画素とフィールド1からの画素を比較する。数学的に
示すと、位置x,y,zを発生しなければならないならば
(ただし、x=水平位置、y=垂直位置、z=フィール
ド0及び1間の時間位置)、比較のために使用される画
素は以下に示す如くである。フィールド0はz=0の所
に、フィールド1はz=1の所にあるものと仮定する。
フィールド0からの画素 x0=x−(Vh z) y0=y−(Vv z) フィールド1からの画素 x1=x+(1−z)Vh y1=y+(1−z)Vv Vh=ベクトルの水平成分 Vv=ベクトルの垂直成分 各動きベクトルに対して、フィールド0及びフィール
ド1で示された画素間の差の係数を見出す。第1推定と
して、最小差が正しい動きベクトルを示すものと仮定す
る。多くの動きベクトルが非常に類似した差を生ずるな
ら、再びフィールドを−1及び0間を比較してこれ等の
動きベクトルを試験する。
フィールド−1からの画素 x-1=x−(1+z)Vh y-1=y−(1+z)Vv この第2の試験により生じた残りの動きベクトルの差
の最小係数は最も正確に動きベクトルを表わしていると
考えられる。
多くの動きベクトルがなお類似の差を持つならば、動
きがないと仮定するように選択する。水平成分のみが変
化して垂直成分が変化しなければ、水平成分のみを零に
設定し、垂直成分は検出値に維持する。垂直成分のみが
変化して水平成分が変化しなければ、水平成分を検出値
に維持し、垂直成分のみを零に設定する。選択した画素
の差が非常に大きければ、両方向で全動きベクトルを零
に設定するように選択する。
全画素に動きベクトルが割り当てられると最終段階が
適用される。この場合に各画素の動きは或るフィールド
から次のフィールドまで追跡され、巡回型(recursiv
e)フィルタがそのベクトル値に適用される。これはノ
イズの影響及び小さな動きの評価エラーを除去し、また
動きベクトルの軌跡を円滑にする。
画素の動きを追跡するのに2つの方法がある。その第
1の方法では、フィールドtの画素に対する動きベクト
ルを使用してフィールド(t+1)の画素を指示する。
その後フィールド(t+1)のこの画素に対して決定さ
れた動きベクトルは巡回的に濾波され、フィールド(t
+1)の画素に対する最終の動きベクトルを形成する。
第2の方法では、フィールドtの所定の画素に対する
動きベクトルを使用してフィールド(t−1)の画素を
指示する。その後この画素からの動きベクトルは、所定
の画素に対する動きベクトルと共に巡回的に濾波され、
フィールドtのこの所定の画素に対する最終の動きベク
トルを形成する。
いずれの場合も、最終出力は各画素に対する1つの動
きベクトルであり、これは動き分析器(2)から方式変
換過程で使用される4つのフィールドを配列するのに用
いる補間器(1)に送られる。
625ライン、50フィールド/秒の入力ディジタルテレ
ビジョン信号を、525ライン、60フィールド/秒の出力
ディジタルテレビジョン信号に変換する第1の方式変換
器は、第2図にブロック図で詳細に示す。
50フィールド/秒でサンプルレートが13.5MHzの入力
映像、すなわちCCIR601データは、デマルチプレクサ(3
1)に供給され、このデマルチプレクサ(31)はそのデ
ータを輝度成分Y、同期回路信号SYNC及び色成分UVに分
離する。輝度成分Yは4フィールド輝度時間軸補正器
(TBC)(11Y)に供給され、色成分UVは4フィールド色
TBC(11C)に供給される。同期化信号SYNCは外部入力端
子からの入力フィールド極性信号及び別な外部入力端子
からの出力フィールド同期化基準信号と共に制御器(3
2)に供給される。TBC(11Y)及び(11C)は時折フィー
ルドを反復するので、出力は60フィールド/秒である。
フィールドを反復させるTBC(11Y)及び(11C)への制
御信号Cは入力フィールド同期化パルス及び所要の出力
フィールド同期化パルスから得られる。また、同期化パ
ルスを比較することで、60フィールド/秒で円滑な動き
が観察されるようにTBC(11Y)及び(11C)の出力で必
要な時間補間の量を示す時間オフセット値も準備する。
この方法で50フィールド/秒から60フィールド/秒に
変換するとき、625から525へのライン変換が必要であ
る。従って、補間されたラインを形成するために、それ
等が全て利用できるように元の625ラインの情報を60フ
ィールド/秒のレートに維持する必要がある。
方式変換器は、60フィールド/秒のレートで50フィー
ルド/秒の信号のアクチブな垂直情報を全て含むことが
できる中間方式を使用する。また、中間方式は更に元の
13.5MHzのサンプルレートを使用しながらライン毎に直
交して配列されたアクチブライン情報の全てを含む。
使用された上述の如きこれ等の全ての条件に合致する
ことができる中間方式は60フィールド/秒で585ライン
フォーマットである。13.5MHzでサンプルされる時、こ
のフォーマットの各ラインは正確に770サンプルであ
る。従って、60フィールド/秒のレート625ラインフォ
ーマットの576アクチブラインを含むには585ラインで十
分であることがわかる。アクチブラインの幅は単に720
サンプルであるので、なお50サンプルの水平ブランキン
グが存在する。
輝度TBC(11Y)からの輝度データDは処理補償遅延器
(17Y)を介して4つのフィールドメモリ(FS)(12
Y),(13Y),(14Y)及び(15Y)から成る輝度時間シ
フトレジスタ(16Y)に供給される。また、輝度TBC(11
Y)は時間凍結信号Fを遅延器(17Y)を介してシフトレ
ジスタ(16Y)に供給する。色TBC(11C)は色データD
を処理補償遅延器(17C)を介して色時間シフトレジス
タ(16C)に供給し、このシフトレジスタ(16C)は4つ
のフィールドメモリ(12C),(13C),(14C)及び(1
5C)から成る。また、色TBC(11C)は時間凍結信号Fを
遅延器(17C)を介してシフトレジスタ(16C)に供給す
る。シフトレジスタ(16Y)は、フィールドメモリ(12
Y),(13Y),(14Y)及び(15Y)の各々から入力を受
けて585ラインフォーマットを導き出す輝度補間器(1
Y)と関連付けられている。輝度補間器(1Y)の出力は
2フィールド輝度TBC(18Y)に供給される。シフトレジ
スタ(16C)は、フィールドメモリ(12C),(13C),
(14C)及び(15C)の各々から入力を受けて585ライン
フォーマットを得る色補間器(1C)と関連付けられてい
る。色補間器(1C)の出力は2フィールド色TBC(18C)
に供給される。TBC(11Y)及び(11C)の出力が反復フ
ィールドの間凍結されると、また、シフトレジスタ(16
Y)及び(16C)も凍結され、その結果、入力の4つの別
個の連続するフィールドが常にシフトレジスタ(16Y)
及び(16C)に存在する。従って、シフトレジスタ(16
Y)及び(16C)を使用して補間器(1Y)及び(1C)に対
して時間タップを与える。
各時間タップは複数の動きベクトルに依存する1つの
位置に4つのラインタップを作るので、必要な補間を行
うために2次元フィルタを使用できる。補間した画像は
576アクチブラインを含み、この結果1フィールド内の
6ライン毎に1ラインが欠落する時、正しい画像が得ら
れる。残った484ラインは525ラインフォーマットとアク
チブ画像部分を作る。この方法でラインが欠落できるよ
うにするために、補間器(1Y)及び(1C)からの出力を
2フィールドTBC(18)に供給する。TBC(18Y)及び(1
8C)は576/2ラインの全てに書き込むが、必要な484/2ラ
インのみを読み出して所要の出力テレビジョン信号を発
生する。輝度TBC(18Y)及び色TBC(18C)の各出力はマ
ルチプレクサ(34)に供給され、このマルチプレクサ
(34)は輝度成分Yと色成分UVを多重化して525ライン6
0フィールド/秒のディジタルテレビジョン信号の形で
出力CCIR601データを出力する。
制御器(32)は制御信号Cを輝度TBC(11Y)及び色TB
C(11C)に供給する。制御器(32)は制御信号Cを輝度
TBC(18Y)及び色TBC(18C)にも供給する。制御器(3
2)は補間制御信号ICを輝度補間器(1Y)及び色補間器
(1C)にも供給する。
また、輝度TBC(11Y)により供給されるような輝度デ
ータのみが第2図の上部に示す動き分析器(2)に供給
され、この結果動きベクトルを発生できる。実際には、
動きベクトルを処理する時間をとるためにTBC(11Y)及
び(11C)とシフトレジスタ(16Y),(16C)の間に1
フレーム遅延が必要である。従って、またシフトレジス
タ(16Y)及び(16C)の凍結は1フレームだけ遅延しな
ければならず、これ等の遅延は遅延器(17Y)及び(17
C)でなされる。
動き分析器(2)はベクトルインタフェース(35)を
有し、このベクトルインタフェース(35)には輝度TBC
(11Y)からの輝度データDが供給されると共に制御器
(32)から補間制御信号ICが供給される。ベクトルイン
タフェース(35)は一緒になって上述した動き評価を行
うベクトルフィルタ(36)及びベクトル計算器(37)に
625のラインに補間されたデータを供給する。ベクトル
計算器(37)の出力はモーダル動きベクトル処理器(3
8)及びサブ画素(sub pixel)動き評価器(39)に供給
される。動きベクトル処理器(38)の4つの出力を、そ
してサブ画素動き評価器(39)は1つの出力を動きベク
トル減衰器(40)に供給し、この減衰器(40)は4つの
出力をベクトル選択器(41)に供給する。
また、ベクトルインタフェース(35)は処理補償遅延
器(42)に計算フィールドに補間されたデータDと、受
けた補間制御信号ICと、ベクトルインタフェース(35)
で発生した時間凍結信号Fを供給する。遅延器(42)か
らのデータDは3つのフィールドメモリ(44),(45)
及び(46)からの成る時間シフトレジスタ(43)に供給
され、これ等のフィールドメモリ(44),(45)及び
(46)は各データ出力をベクトル選択器(41)に供給す
る。遅延器(42)は補間制御信号ICをベクトル選択器
(41)に供給し、この選択器(41)は選択された動きベ
クトルを巡回型(リカーシブ)動きベクトルフィルタ
(47)に供給し、その出力が輝度補間器(1Y)及び色補
間器(1C)に供給される動きベクトルデータである。
動き分析器(2)が動きベクトルデータを得る方法は
詳細に上述し且つ更に以下に述べるが、要素(35)〜
(43)及び(47)の動作を次に簡単に述べる。
ベクトルインタフェース(35)は輝度TBC(11Y)から
輝度データDを、そして制御器(32)から補間制御信号
ICを受ける。ベクトルインタフェース(35)は585/60フ
ォーマット以内に正常に含まれる625ラインデータをベ
クトルフィルタ(36)に供給する。また、ベクトルイン
タフェース(35)はデータDを遅延器(42)に供給す
る。これ等のデータは再び585/60フォーマット内に正常
に含まれる所要の出力と同じライン方式の画像を含まな
ければならない。また、補間されたデータの各フィール
ドは等分に現れるように作られる。
ベクトルフィルタ(36)は動き検出の上記ステップ1
〜5で必要な濾波した画像データを作る。濾波した画像
データはサンプルを減少した形でベクトル計算器(37)
に供給される。
ベクトル計算器(37)はベクトルフィルタ(36)から
の濾波され且つサンプルの減少されたデータで、動き検
出の上記ステップ1〜5に関して述べたアルゴリズムを
使用して動作する。その過程は実質的に画素/ライン解
像度まで下がる動きに対する2次元2進検索である。各
フィールドに対して、1200の動きベクトルが発生され、
これ等は形式上(モーダル)の動きベクトル処理器(3
8)及びサブ画素動き評価器(39)の両方に供給され
る。また、ベクトル計算器(37)は上記ステップ5で計
算したような周囲の重み付け絶対差(WAD)の値をサブ
画素動き評価器(39)に供給する。WAD計算の詳細は198
5年4月号IEEE会報に記載されたマスマン(Musmann)等
による「画像コーティングの進歩」を参照されたい。動
き検出の上記ステップ5で最小の特定のWAD値は良度指
数(FOM)を与える。
ベクトル処理器(38)は各フィールドで検出される4
つの最も共通の動きベクトルを計算し、それをベクトル
減少器(40)に供給する。
サブ画素動き評価器(39)は周囲のWAD値と共にベク
トル計算器(37)から動きベクトルを受ける。これらか
ら評価器(39)は動きベクトル値に付加すべきサブ画素
の動きを評価する。また各動きベクトルと共に、それに
対応する最終WAD値もベクトル減少器(40)に供給され
る。
ベクトル減少器(40)はベクトル処理器(38)及びサ
ブ画素動き評価器(39)から動きベクトルを受ける。サ
ブ画素動き評価器(39)からの各動きベクトルに対して
それに最も接近した6つの動きベクトルが一緒にグルー
プ化される。そこで、各動きベクトルに対して11の選択
がある。減少過程でベクトル選択器(41)に供給するた
め11から4つの動きベクトルを選択する。
ベクトル減少器(40)は画像の各8ライン×16画素ブ
ロックに対して4つの代表的な動きベクトルをベクトル
選択器(41)に供給する。以下に詳細に述べるように、
3つのフィールドにわたって画素を比較することによ
り、ベクトル選択器(41)は画像の各画素に対して単一
の最良の動きベクトルを選択する。選択された動きベク
トルは動きベクトルフィルタ(47)に供給される。
遅延器(42)は21ラインより少ない1フレームだけデ
ータを遅延してシステム内の他の遅延を補償する。
時間シフトレジスタ(43)はベクトル選択器(41)で
使用されるデータのうちの3フィールドを保持し、これ
をベクトル選択器(41)へ供給する。
動きベクトルフィルタ(47)は1フィールドから他の
フィールドまで動きベクトルを追跡し、異なったフィー
ルドにある動きベクトルを組合わせることにより動きベ
クトルに或るフィルタ作用を与え、動き検出の誤りを低
減する。動くベクトルフィルタ(47)の出力は輝度補間
器(1Y)及び色補間器(1C)に供給されて、フィールド
データの配列を制御する。
625/50または525/60テレビジョン信号のいずれかに対
して良好な動き描写を行うスローモーション処理器とし
て全く同じハードウエアを使用できる。しかし、ライン
数変換を行うのに垂直補間器を使う必要はない。全ての
場合に、制御器(32)は、入力及び出力フィールド同期
化パルスから入力/出力標準方式を識別することにより
どのような作用が要求されるかを決定する。スローモー
ションでは入力フィールド極性が使用される。
50フィールド/秒から60フィールド/秒への変換では
時折1つのフィールドが反復されるが、スローモーショ
ンでは入力フィールドが反復されるのと同じ回数だけフ
ィールドが反復される。反復されたフィールドはシフト
レジスタ(16Y)及び(16C)に書き込まれないのでシフ
トレジスタ(16Y)及び(16C)は再びはっきりした連続
的なフィールドを含む。実際、ビデオテープレコーダが
それ自身の補間を何もしないで再生すれば、元のインタ
ーレース構造が保持され、全解像度の映像を再生するこ
とができる。必要な時間オフセットは、それ等が50フィ
ールド/秒であろうと60フィールド/秒であろうと、新
しいフィールドが受信されるレートと、実際のフィール
ドレートパルスを比較することにより計算される。この
方法で時間オフセットを決定するためには、システムは
繰り返し再生されるフィールドの真のフィールド極性を
示す使用可能な信号を必要とする。垂直補間器は常に出
力の所で要求されるフィールド極性を作る。
概念的には、TBC(11Y)及び(11C)はスローモーシ
ョン動作のためには実際には必要ないが、それ等がある
とフレーム同期化設備を提供し、システムの構成を簡略
化する。
525ライン60フィールド/秒の入力ディジタルテレビ
ジョン信号を625ライン50フィールド/秒の出力ディジ
タルテレビジョン信号に変換するもう1つの方式変換器
を第3図にブロック図で詳細に示す。
この場合、補間は全ての入力データが連続形で利用で
きることを要求する。従って、この場合、補間器(1Y)
及び(1C)の前に50フィールド/秒に変換することは出
来ない。しかし、入力データは484アクチブラインしか
含まず、補間器(1Y)及び(1C)は576ラインを作らな
ければならない。従って、484ラインから576ラインへの
変換に必要なタイムストロットを与えるためには2フィ
ールドTBC(18Y)及び(18C)が方式変換器の前に位置
付けられる。
TBC(18Y)及び(18C)に元の連続ライン構造が書き
込まれるが、略6ライン毎にブランクにした585ライン
方式で読み出される。そこで、ブランク入力ライン中そ
のラインメモリを凍結し、出力に必要な付加ラインを作
り、空間的に正しい画像が確実に得られるようにして、
出力ラインレートで凍結画像を作るために、補間器(1
Y)及び(1C)を用いる。1つのフィールドを時折欠落
させ、かつ動きが円滑になるように補間が行われるが、
第1の方式変換器におけるように、必要な時間オフセッ
トが検出されて適用される。60フィールド/秒から50フ
ィールド/秒への変換が達成されるようにそのフィール
ドが欠落される。このフィールドの欠落は出力側に4フ
ィールドTBC(11Y)及び(11C)を使用して達成され
る。
従って、第2の方式変換器は第2図に示された第1の
方式変換器と少しの点だけ異なる。特に輝度TBC(11Y)
及び(18Y)が交換され、また色TBC(11C)及び(18C)
が交換される。また、時間凍結信号は必要でない。
両方の場合において、制御器(32)は次のように種々
の機能を有する。すなわち、TBC(11Y),(11C),(1
8Y)及び(18C)の読み出し及び書き込みを制御し、時
間オフセット数及び第1の方式変換器の場合は時間凍結
信号を発生し、垂直補間制御信号と共に垂直オフセット
数を発生する。これ等の機能を次に詳細に説明する。
先ず、2フィールド輝度TBC(18Y)及び2フィールド
色TBC(18C)は60Hzフィールドの終わり毎にフィールド
メモリを常に切換える。しかも、4フィールド輝度TBC
(11Y)及び4フィールド色TBC(11C)の動作は動作モ
ードに依存し、またそれ等の制御は時間オフセット信号
の発生に関連している。事実、輝度TBC(11Y)及び色TB
C(11C)の制御は入力及び出力フィールド同期化信号に
より決定される。
525/60から625/50への変換動作の場合における時間オ
フセット信号の導出を、次に第4図及び第5図を参照し
て説明する。
第4図において、制御器(32)はラインカウンタ(6
1)、第1ラッチ(62)及び第2ラッチ(63)を含むよ
うに示されている。ラインカウンタ(61)のクロック端
子CLKにラインクロック信号が供給され、一方ラインカ
ウンタ(61)のリセット端子及び第2ラッチ(63)のク
ロック端子CLKに入力フィールド同期化信号が供給され
る。出力フィールド同期化信号は第1ラッチ(62)のク
ロック端子CLKに供給される。ラインカウンタ(61)の
出力は第1ラッチ(62)の入力側に供給され、第1ラッ
チ(62)の出力は第2ラッチ(63)の入力側に供給さ
れ、第2ラッチ(63)の出力は時間オフセット信号とし
て輝度TBC(11Y),(18Y)及び色TBC(11C)及び(18
C)に供給される。
入力及び出力フィールド同期化信号を夫々第5図及び
第5図Bに示す。第5図Cは繰返し0〜524までをカウ
ントするラインカウンタ(61)の出力を示す。第5図D
及び第5図Eは夫々第1ラッチ(62)及び第2ラッチ
(63)の出力を示す。ラインカウンタ(61)をラッチす
ることにより、入力フィールド期間の所要の割合が決定
される。時間シフト値tnは第5図Aに斜線で示すフィー
ルドが欠落したとき、なお連続した動きが生じるように
出力フィールドが補間されなければならない場合の2つ
の入力フィールド間の位置を示す。従って、第5図Eの
斜線で示す時間オフセットを使用するフィールドは欠落
したフィールドである。第5図A及び第5図Bからわか
るように、欠落したフィールドはそれと関連した新しい
時間シフトを持たないフィールドである。欠落すべきフ
ィールド(矢印)は、時間凍結信号により次の回路に指
示される。
625/60から525/50への変換動作の場合における時間オ
フセット信号の発生を、次に第6図及び第7図を参照し
て説明する。
第6図において、制御器(32)はラインカウンタ(7
1)及びラッチ(72)を含む。ラインカウンタ(71)の
クロック端子CLKにラインクロック信号が供給され、一
方ラインカウンタ(71)のリセット端子Rに入力フィー
ルド同期化信号が供給される。この出力フィールド同期
化信号はラッチ(72)のクロック端子CLKに供給され
る。ラインカウンタ(71)の出力はラッチ(72)の入力
側に供給され、ラッチ(72)の出力は時間オフセット信
号として輝度TBC(11Y),(18Y)及び色TBC(11C)及
び(18C)に供給される。
入力及び出力フィールド同期化信号を夫々第7図A及
び第7図Bに示す。第7図Cは0から624までを繰り返
しカウントするラインカウンタ(71)の出力を示す。第
7図Dはラッチ(72)の出力を示す。カウンタ(71)を
ラッチすることにより、入力フィールド期間の所要の割
合が決定される。従って、時間シフト値tnは再び、斜線
で示すフィールドが反復されたとき、なお連続した動き
が生じるように出力フィールドが補間されなければなら
ない場合の2つの入力フィールド間の位置を示す。反復
されるフィールドはそれと関連した2つの時間シフト値
を持つフィールドである。反復すべきフィールド(矢
印)は、時間凍結信号により次の回路に指示する。
525/60から525/60又は625/50から625/50のいずれであ
れ、スローモーションの場合における時間オフセット信
号のずれは同じであり、次にこれを第8図及び第9図を
参照して説明する。
第8図において、制御器(32)はラインカウンタ(8
1)、フィールドカウンタ(82)、第1〜第4ラッチ(8
3)〜(86)、イクスクルーシブオアゲート(87)及び
スケーラ(88)を含む。入力フィールド同期化信号が第
1ラッチ(83)のクロック端子CLK、フィールドカウン
タ(82)のクロックイネーブル端子CLKEN及びラインカ
ウンタ(81)の第2リセット端子R2に夫々供給される。
入力フィールド極性信号は第1ラッチ(83)に供給さ
れ、更にこの第1ラッチ(83)から第2ラッチ(84)及
びゲート(87)の1入力端に供給される。第2ラッチ
(84)はその出力をゲート(87)の他の入力端に供給
し、ゲート(87)の出力はラインカウンタ(81)の第1
リセット端子R1、フィールドカウンタ(82)のリセット
端子R及び第3ラッチ(85)のクロック端子CLKに供給
され、この第3ラッチ(85)は速度検出ラッチを形成す
る。ラインクロック信号は第2ラッチ(84)のクロック
端子CLK、ラインカウンタ(81)及びフィールドカウン
タ(84)の各クロック端子CLKに供給される。ラインカ
ウンタ(81)の出力はスケーラ(88)の入力端子INに供
給され、フィールドカウンタ(82)の出力は第3ラッチ
(85)の入力端子及びスケーラ(88)のオフセット入力
端子OFF SETに供給される。出力フィールド同期化信号
は第4ラッチ(86)のクロック端子CLKに供給される。
第3ラッチ(85)の出力はスケーラ(88)のスケール係
数端子SCALE・FACTORに供給され、その出力は第4ラッ
チ(86)に供給され、この第4ラッチ(86)の出力が時
間オフセット信号である。
入力フィールド同期化信号及び入力フィールド極性信
号を夫々第9図A及び第9図Bに示す。また、第9図C
は入力フィールド同期化信号を示し、第9図Dは出力フ
ィールド同期化信号を示す。第9図E及び第9図Fは夫
々フィールドとラインを0からNまでカウントするフィ
ールドカウンタ(82)及びラインカウンタ(81)の動作
を示す。第9図Gは時間オフセット信号である第4ラッ
チ(86)の出力を示す。第9図Hは時間凍結信号(これ
は低レベルのときアクチブ)を示し、矢印で示すように
図示した時間オフセットを使用する斜線で示すフィール
ドは時間オフセットt1を使用した前のフィールドの繰返
しである。
時間凍結信号を発生するために、同期型RSフリップフ
ロップ(91)、ラッチ(92)、インバータ(93)及びア
ンドゲート(94)を含む制御器(32)を第10図に示す。
出力フィールド同期化信号がフリップフロップ(91)の
1入力端S、インバータ(93)の入力端及びラッチ(9
2)のクロックイネーブル端子CLKENに供給される。入力
フィールド同期化信号がフリップフロップ(91)の他入
力端Rに供給され、一方ラインクロック信号がフリップ
フロップ(91)及びラッチ(92)のクロック端子CLKに
供給される。フリップフロップ(91)の出力はアンドゲ
ート(94)の1入力端に供給され、このゲート(94)は
他入力端にインバータ(93)の出力を受ける。ゲート
(94)の出力はラッチ(92)の入力側に供給され、その
出力は時間凍結信号を形成する。この回路の動作は、1
以上の出力フィールド同期化パルスが入力フィールド同
期化パルスに続くようであれば、凍結を生じるようにな
る。
第2図に戻り、制御器(32)による垂直オフセット数
の発生を次に説明する。輝度TBC(11Y)から輝度補間器
(1Y)及び動き分析器(2)にデータを読み出すのと同
じアドレス発生器は消去可能なプログラマブルリードオ
ンリイメモリ(EPROM)をアドレスし、このEPROMは所要
時、垂直凍結信号と共に垂直オフセット数を発生する。
526/60から625/50への変換に対して使用される第3図
の構成において、輝度TBC(18Y)の読み出しアドレスが
使用されるが、他の全てのモードでは輝度TBC(11Y)の
読み出しアドレスが使用される。
垂直オフセット数は入力及び出力フィールドが共に対
等であるとして発生され、従ってそれはライン625/50か
ら525/60の変換で時折欠落するか或いはラインが525/60
から625/50への変換で時折反復される場合、歪のない画
像が生じるように出力ラインを補間しなければならない
ときの2つの入力ラインの間の位置を示す。
輝度TBC(11Y)又は(18Y)がラインを反復すると、
垂直凍結信号が発生される。
複数の入力フィールドが共に対等でない場合、確実に
正しい補間を行なうために補間器(1Y)及び(1C)は入
力フィールド極性及び出力フィールド極性を使用しなけ
ればならない。
EPROMの内容は、525及び625ラインの画像の両方で既
知のライン位置を使用して、時間オフセット信号に対し
て第10図と関連して上述したのと類似の方法で発生され
る。
この発明と特に関係するベクトル減少器(40)の構成
と動作を次に第11図〜第13図を参照して詳細に説明す
る。
上述の如く、フィールド当たり1200の動きベクトルが
発生され、各動きベクトルは8ライン×16水平サンプル
として配列された画素のブロックと関連している。
勿論、1つの動きベクトルは、そのブロックの大きさ
に拘らず、特定のブロック内の動きを示すものではな
い。従って、そのブロック内の全ての画素がその動きを
正確に評価される公平な機会を持つように各ブロックに
対して動きベクトルの選択を行う必要がある。
この場合、4つの動きベクトルが7つの局部的動きベ
クトルから選択される。その後これ等4つの動きベクト
ルは4つから1つを選択する第2の処理器に送られる。
動きベクトルは垂直成分及び水平成分として利用でき
るようにデカルト座標システムで表わされる。ブロック
内のWAD(重み付け絶対差)に基づくFOM(良度指数)が
各動きベクトルと関連している。これはブロック内の相
関の比率の量的評価を表わす。
第11図において、3つの連続フィールドに対する動き
ベクトルアレイを上側の左手角に示し、7つの動きベク
トルから4つが選択されていることを表わしている。こ
の例において、ブロックAは考慮中であり、当然、その
関連した動きベクトルが7つのうちの1つを作り、また
同じフィールドから4つの最も近い動きベクトルすなわ
ち現在の動きベクトルの上下及び左右の動きベクトルが
使用される。残りの2つのベクトルは次のフィールド及
び前のフィールド上のブロックAと同じ位置から空間的
に得られたものである。これ等はアレイの外側端縁を除
いて全てのブロックに対して選択された7つの動きベク
トルである。第11図から理解できるように、必ずしも最
も近い動きベクトルは存在する必要はない。この状況で
は、アレイ内の更に遠い所から次の最も近い動きベクト
ルが選択される。
7つの動きベクトルからどの4つを決定するかの処理
は、7つの動きベクトルの各々と関連したFOMを、そのF
OMが選ばれた最も低い大きさで成る4つの動きベクトル
と比較する問題である。
この点でFOMを捨てることができ、任意の1つ以上が
等しいかどうかを知るため、その4つの動きベクトルに
ついて更に試験が行われる。垂直及び水平成分は整数部
と分数部の両方をもった2の補数の形で表わされる。比
較段階で、分数部のいくらか又は全部と、整数部の最下
位ビットを省略(mask off)することが可能であり、こ
れは実質的に比較段階の感度制御に相当する。
もし1以上の動きベクトルが等しいことがわかれば、
冗長な動きベクトルは最悪の場合3つであるが、4つの
モーダル動きベクトルのどれかで置換される。
従って、動きベクトル減少器(40)は7つのうごきベ
クトルから4つを選択しなければならず、この7つの動
きベクトルは、現フィールドからの5つの動きベクトル
及び次のフィールドと前のフィールドの各々から1つの
動きベクトルで造られる。この条件を満足するため、各
々1200の動きベクトルとそれ等に関連したFOMを保存で
きる4つの動きベクトルフィールドメモリが必要であ
る。第12図はベクトル減少器(40)の全体の簡単なブロ
ック図を示す。
ベクトル減少器(40)は図示の如く接続されて入力を
受ける8個のレジスタ(R)(101)〜(108)、4個の
動きベクトルフィールドメモリ(109)〜(112)、7つ
の動きベクトルから4つを選択する処理器(113)及び
出力メモリ(114)を備えている。
4つの動きベクトルフィールドメモリ(109)〜(11
2)は周期的に動作し、それにより第4番目のフィール
ドメモリが次のフィールドに何があるかについて書き込
まれている間、フィールドメモリ(109)〜(112)のう
ちの3つが現在のフィールド、次のフィールド及び前の
フィールドに対するデータを供給する。その次のフィー
ルドではデータは現在フィールドのデータ、それから前
のフィールドのデータ、そして最終に再び書き込む準備
がされる。動きベクトルフィールドメモリ(109)〜(1
12)の他の3つも同じようなパターンで行われる。
7つの動きベクトルから最良の4つを決定するのに使
用される方法は、全部で7つの動きベクトルに関してそ
のFOMが最小である4つを選択することである。実際、
どの3つの動きベクトルが最大のFOMを示すかを見つけ
るのは容易である。
第13図は、最良の4つを確立する前に7つの動きベク
トルを4回読むための7つの動きベクトルから4つを選
択する動きベクトル処理器(120)の簡単なブロック図
を示し、3つの最大のFOMを見つけるのに3つの読取り
サイクルが必要であり、その特定のブロックに対して最
良の4つの動きベクトルを読み出すのに1つの読取りサ
イクルが必要である。
処理器(120)は図示の如く接続されて入力を受ける
6個の同期してロード可能なレジスタ(SLR)(121)〜
(126)、4個の比較器(127)〜(130)、2個のアン
ドゲート(131)及び3個のオアゲート(133)〜(13
5)を備えている。
処理器(130)の動作は次の如くである。7つのFOMが
順次SLR(122)に同期供給され、各サイクルの始めで、
比較器(127)の出力でゲートを開いたアンドゲート(1
31)からの開始制御信号により第1のFOMがSLR(123)
に強制的に入れられる。前のFOMより大きなFOMが見出さ
れる毎にその値は、3つの読取りサイクルのどれが働い
ているかに応じてSLR(124)、SLR(125)又はSLR(12
6)のいずれかにロードされる特定のFOMのアドレスと共
にSLR(123)にロードされる。例えば第1サイクル中第
2のFOMが最大であれば、そのアドレスはSLR(124)に
ロードされる。第2サイクル中第2のFOMのアドレスが
生じると、比較器(128)の出力が低レベル(L)にな
る。これはSLR(122)へのクロックを消勢(disable)
する効果を有し、従って、3つのサイクルが完了した後
まで第2のFOMは第2のサイクル等には含まれず、この
ときに3つの最大のFOMのアドレスがわかるであろう。
第4サイクル中、比較器(128),(129)及び(13
0)のゲートされた出力を使用してSLR(121)へのクロ
ックを消勢し、選択された4つの動きベクトルを保持す
る機能を有する4レベルパイプライン遅延を次のプロセ
スに対して準備する。
動きベクトルを出力に通す前の最終プロセスは、選択
された4つの動きベクトルが等しいかどうかを決定する
プロセスである。これは任意の等しい動きベクトルを形
式上の動きベクトルに置換する比較器によって行われ
る。
選択された4つの動きベクトルは、1水平ライン当た
り40ブロックあり、大きさが8ライン×16サンプルの画
素の1ブロックと関連付けられていることを想起された
い。従って同じデータが8ラインに対して必要であり、
7つの動きベクトルから4つを得る計算を8ライン当た
り1回行うため、動きベクトルが、それ等を決定できる
よう、2個の出力メモリ(114)の1つに記憶される。
その後次の8ラインに対する動きベクトルが決定されて
他の出力メモリ(114)に書き込まれる間そのメモリか
ら必要な動きベクトルを読み取ることは可能である。
英国特許出願に対応し、類似の要旨に関する7つの他
の米国特許出願第8728446〜8728452号(これ等に基づく
優先権を主張した日本特許出願を本出願と一緒に提出し
た。)における開示事項をこの発明と関連して参照され
たい。
この発明の実施例をここに添付図面を参照して詳細に
説明したけれども、この発明はこれ等の正確な実施例に
限定されず、この発明の要旨を逸脱することなく種々の
変更及び変形が当業者によってなし得ることが理解され
よう。
〔発明の効果〕 上記のとおり、本発明のディジタルテレビジョン画像
の動きベクトル数減少方法は、テレビジョン画像内の各
ブロックの画素に対して該ブロック画素の最も共通の動
きベクトルを表す複数の動きベクトルであって、各々が
それと関連した精度の表示を有する動きベクトルを導出
するステップと、 上記複数の動きベクトルを、前回のフィールドからの
同じ位置に対する更に1つのベクトル及び次のフィール
ドからの同じ位置に対する更に1つのベクトルであっ
て、これらの各ベクトルがそれに関連させてその精度の
表示を持つベクトルと関連付けるステップと、 上記表示に依存して、上記複数の動きベクトル及び上
記更に関連付けた動きベクトルから数がもっと少ない動
きベクトルを選択するステップと、 を含むテレビジョン画像の動きベクトル数減少方法とな
っているので、ローカルな動きベクトルに対しても良好
な動きベクトルの減少ができ、かつ、必要なハーフウエ
アの両もおおいに減らすことができる。
【図面の簡単な説明】
第1図はテレビジョン方式変換器をきわめて簡略化して
示すブロック図、第2図は第1のテレビジョン方式変換
器を示すブロック図、第3図は第2のテレビジョン方式
変換器を示すブロック図、第4図は第3図のテレビジョ
ン方式変換器の一部を詳細に示すブロック図、第5図は
第4図の動作説明に供するためのタイミングチャート、
第6図は第2図のテレビジョン方式変換器の一部を詳細
に示すブロック図、第7図は第6図の動作説明に供する
ためのタイミングチャート、第8図は第2図のテレビジ
ョン方式変換器の一部を詳細に示すブロック図、第9図
は第8図の動作説明に供するためのタイミングチャー
ト、第10図は第2図のテレビジョン方式変換器の一部を
詳細に示すブロック図、第11図は3つの連続するフィー
ルドの動きベクトルアレイの一部を示す図、第12図は第
2図の方式変換器の一部を詳細に示すブロック図、第13
図は第2図の方式変換器の一部を詳細に示すブロック図
である。 (1)は補間器、(1Y)は輝度補間器、(1C)は色補間
器、(2)は動き分析器、(11Y)は4フィールド輝度
時間軸補正器、(11C)は4フィールド色時間軸補正
器、(16Y)は輝度時間シフトレジスタ、(16C)は色時
間シフトレジスタ、(17Y),(17C)は処理補償遅延
器、(18Y)は2フィールド輝度時間軸補正器、(18C)
は2フィールド色時間軸補正器、(32)は制御器、(3
6)はベクトルフィールド、(35)はベクトルインタフ
ェース、(37)はベクトル計算器、(38)は動きベクト
ル処理器、(39)はサブ画素動き評価器、(40)は動き
ベクトル減少器、(41)はベクトル選択器、(42)は処
理補償遅延器、(43)は時間シフトレジスタ、(47)は
動きベクトルフィルタである。

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】ディジタルテレビジョン画像の動きベクト
    ル数の減少方法であって、 上記テレビジョン画像内の各ブロックの画素に対して上
    記ブロック画素の最も共通の動きベクトルを表す複数の
    動きベクトルであって、各々がそれと関連した精度の表
    示を有する動きベクトルを導出するステップと、 上記複数の動きベクトルを、前回のフィールドからの同
    じ位置に対する更に1つのベクトル及び次のフィールド
    からの同じ位置に対する更に1つのベクトルであって、
    これらの各ベクトルがそれに関連させてその精度の表示
    を持つベクトルと関連付けるステップと、 上記表示に依存して、上記複数の動きベクトル及び上記
    更に関連付けた動きベクトルから数がもっと少ない動き
    ベクトルを選択するステップと、 を含むディジタルテレビジョン画像の動きベクトル数の
    減少方法。
  2. 【請求項2】請求項1に記載の方法であって、上記表示
    が、上記ブロック内の画素でなる動きベクトルの荷重絶
    対差に基づく良度指数であるディジタルテレビジョン画
    像の動きベクトル数の減少方法。
JP63142352A 1987-06-09 1988-06-09 ディジタルテレビジョン画像の動きベクトル数の減少方法 Expired - Fee Related JP2900369B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB8713455 1987-06-09
GB878713455A GB8713455D0 (en) 1987-06-09 1987-06-09 Television standards converters
GB8728445 1987-12-04
GB8728445A GB2205706B (en) 1987-06-09 1987-12-04 Motion vector reduction in television images

Publications (2)

Publication Number Publication Date
JPS63313987A JPS63313987A (ja) 1988-12-22
JP2900369B2 true JP2900369B2 (ja) 1999-06-02

Family

ID=26292333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63142352A Expired - Fee Related JP2900369B2 (ja) 1987-06-09 1988-06-09 ディジタルテレビジョン画像の動きベクトル数の減少方法

Country Status (4)

Country Link
US (1) US4862259A (ja)
EP (1) EP0294956B1 (ja)
JP (1) JP2900369B2 (ja)
DE (1) DE3850709T2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2631768B1 (fr) * 1988-05-20 1990-08-17 Labo Electronique Physique Systeme d'emission et reception de television a haute definition a debit de donnees reduit
JPH0771296B2 (ja) * 1989-03-20 1995-07-31 松下電器産業株式会社 動きベクトル検出装置
GB2231747B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
GB2231744B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231750B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231745B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231746B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231228B (en) * 1989-04-27 1993-09-22 Sony Corp Video signal to photographic film conversion
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231743B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231748B (en) * 1989-04-27 1993-08-18 Sony Corp Motion dependent video signal processing
GB2231227B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
JPH0832048B2 (ja) * 1990-01-23 1996-03-27 日本ビクター株式会社 動きベクトル検出装置
FR2660141A1 (fr) * 1990-03-20 1991-09-27 France Etat Procede et systeme d'estimation de mouvement pour des images de television numerique haute definition.
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JP3106485B2 (ja) * 1990-07-24 2000-11-06 ソニー株式会社 映像信号再生装置及び映像信号処理装置
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
DE4104067C2 (de) * 1991-02-11 1994-08-25 Telefonbau & Normalzeit Gmbh Verfahren zur Verbesserung der Qualität von Bewegungsvektoren für digitale Bildübertragung
JP3226539B2 (ja) * 1991-05-24 2001-11-05 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
EP0533195A2 (en) * 1991-09-20 1993-03-24 Sony Corporation Picture signal encoding and/or decoding apparatus
JPH0620050A (ja) * 1992-07-03 1994-01-28 Matsushita Electric Ind Co Ltd 動画像信号の復号化装置と推定動きベクトル算出方法
KR950006769B1 (ko) * 1992-12-31 1995-06-22 현대전자산업주식회사 고선명 텔레비젼의 색차신호 동벡터 추출방법 및 움직임 보상장치
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd 1つまたは2つの予測ブロックからブロックの画素値を計算する方法
KR19990081354A (ko) * 1998-04-28 1999-11-15 김영환 영상의 영역별 움직임 추정방법
WO2000003545A2 (en) * 1998-07-10 2000-01-20 Koninklijke Philips Electronics N.V. Motion vector processing
US6760378B1 (en) * 1999-06-30 2004-07-06 Realnetworks, Inc. System and method for generating video frames and correcting motion
EP1290639A2 (en) * 2000-05-18 2003-03-12 Koninklijke Philips Electronics N.V. Image foreground/background velocity detector
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
KR100924401B1 (ko) * 2001-06-05 2009-10-29 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 기록 매체 및 촬상 장치
WO2003005731A1 (en) * 2001-07-06 2003-01-16 Koninklijke Philips Electronics N.V. Motion estimation and compensation with controlled vector statistics
US7346226B2 (en) 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7499494B2 (en) 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US20100111166A1 (en) * 2008-10-31 2010-05-06 Rmi Corporation Device for decoding a video stream and method thereof
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
CN113596459A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5331572B2 (ja) * 1973-05-24 1978-09-04
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPS61113377A (ja) * 1984-11-07 1986-05-31 Sony Corp テレビジヨン信号の動き検出装置
JPS61200789A (ja) * 1985-03-04 1986-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の物体の動きベクトル検出方式
JPS61240786A (ja) * 1985-04-18 1986-10-27 Mitsubishi Electric Corp 磁気記録再生装置
EP0236519B1 (en) * 1986-03-08 1989-06-07 ANT Nachrichtentechnik GmbH Motion compensating field interpolation method using a hierarchically structured displacement estimator

Also Published As

Publication number Publication date
DE3850709D1 (de) 1994-08-25
EP0294956A2 (en) 1988-12-14
US4862259A (en) 1989-08-29
EP0294956B1 (en) 1994-07-20
DE3850709T2 (de) 1994-11-24
JPS63313987A (ja) 1988-12-22
EP0294956A3 (en) 1991-01-23

Similar Documents

Publication Publication Date Title
JP2900369B2 (ja) ディジタルテレビジョン画像の動きベクトル数の減少方法
US4864394A (en) Motion vector selection in television images
US4862267A (en) Motion compensated interpolation of digital television images
US4864393A (en) Motion vector estimation in television images
US4864398A (en) Motion vector processing in digital television images
US4901145A (en) Motion vector estimation in television images
US4862266A (en) Television standards converters
US4862260A (en) Motion vector processing in television images
EP0549681B2 (en) Video image processing
JPH01877A (ja) テレビジョン方式変換器
KR0141702B1 (ko) 움직임 백터 처리방법 및 그 장치
KR970002696B1 (ko) 텔레비젼 방식 변환기
KR970010044B1 (ko) 텔레비젼 영상 움직임 벡터 평가 방법 및 장치

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees