JPH0754979B2 - 動き補正サブサンプル内挿装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は高品位テレビ受像機において、あるフィール
ドの動き補正量に見合う前フィールドの補正量を演算に
より求め、フィールド間処理である２次元補間フィルタ
によって欠落点を補間する動き補正サブサンプル内挿装
置に関するものである。

〔従来の技術〕

現在提案されている動き補正サブサンプル内挿方式は、
NHK放送技術研究所が昭和59年６月の創立記念講演で、
「高品位テレビの新しい伝送方式（MUSE）」で発表した
資料に述べられている。これによると、第４図に示すよ
うな構成の動き補正サブサンプル内挿方式が考えられて
いる。

図において、１は16.2MHzサンプルレートで伝送される
映像信号を入力する映像入力端子、２は該入力端子１に
入力される映像信号と、後述する動き補正フィールドメ
モリ４の出力信号とを32.4MHzのサブサンプルのタイミ
ングで切り換える第１のスイッチ（S₁）、３はこのスイ
ッチ２を通過する32.4MHzのサンプルレートの１フレー
ム分の信号を蓄える非動き補正フィールドメモリ、４は
このメモリ３から出力された32.4MHzのサンプルレート
の１フレーム分の信号を蓄え、２フィールド分の動き補
正量である動きベクトルによって動き補正を行う動き補
正フィールドメモリである。41は非動き補正フィールド
メモリ３の出力信号を１ライン遅延させる１ライン遅延
器（以下、1H遅延器と記す）、42は非動き補正フィール
ドメモリ３の出力信号と1H遅延器41の出力信号とを加算
する加算器である。また、８は加算器42の出力信号と第
１のスイッチ２を通過した信号をもとに欠落サンプル点
を補間する２次元補間フィルタ、43は第１のスイッチ２
を通過した信号のみをもとに欠落サンプル点を補間する
１次元補間フィルタ、44は動き補正を行わないときには
接点44a側に接続されて２次元補間フィルタ８の出力を
通過させ、また動き補正を行う時には接点44b側に接続
されて１次元補間フィルタ43の出力信号を通過させる第
２のスイッチ（S₂）、９は欠落サンプル点が補間され、
64.8MHzのサンプルレートとなった信号を出力する映像
出力端子である。

次に動作について説明する。

高品位テレビ信号の新しい伝送方式は、４フィールドで
一巡するサブナイキストサンプリングであり、その所要
帯域は8.1MHzである。

今、映像入力端子１に第１フィールドの信号が入力され
ている場合を考える。この時、非動き補正フィールドメ
モリ３には一巡前の第２フィールドと第４フィールドの
信号が記録され、一方動き補正フィールドメモリ４には
一巡前の第１フィールドと第３フィールドの信号が記憶
されている。カメラのパンニングにより動きベクトルが
存在した時には、動き補正フィールドメモリ４の内容は
そのベクトル量に従って２次元的に移動する。動きベク
トルは２フィールド分の動き補正量を表しているので、
動き補正フィールドメモリ４の内容は映像入力端子１に
入力される第１フィールドの信号を基準に動き補正が行
われる。第１のスイッチ２は32.4MHzのサブサンプルの
タイミングで切り替わり、フィールド毎に位相が反転
し、また動きベクトル量によっても位相が反転する。結
局、この場合映像入力端子１から入力された第１フィー
ルドの信号と動きベクトルにより動き補正が行われた一
巡前の第３フィールドの信号が第１のスイッチ２を通過
する。

一方、非動き補正フィールドメモリ３の出力信号は1H遅
延器41により１ライン遅延され、加算器42により非動き
補正フィールドメモリ３の出力信号と加算される。さら
に、加算器42の出力信号と第１のスイッチ２を通った信
号は、補間フィルタ８に入力される。補間フィルタ８
は、第１のスイッチ２を通過したフィールドの信号と加
算器42の出力信号である前フィールドの信号とが入力さ
れ、フィールド間処理を行う２次元補間フィルタであ
り、動き補正を行っていない時、即ち第２のスイッチ44
が接点44a側に倒れている時には、映像出力端子９から
２次元補間された64.8MHzのサンプルレートの映像信号
を出力する。

また、第１のスイッチ２を通過した信号は、補間フィル
タ43に入力される。補間フィルタ43はフィールド内処理
を行う１次元フィルタを構成しており、動き補正を行っ
ている時、即ち第２のスイッチ44が接点44b側に倒れて
いる時には、映像出力端子９から１次元補間された64.8
MHzのサンプルレートの映像信号を出力する。

動き補正が行われずに、映像入力端子１にa₂フィールド
が入力された時の第４図の5a〜5eの信号の状態を第５図
に示す。このときには２次元補間が行われることとな
る。但し、信号をフィールドで表すと、…a₁,b₁,c₁,d₁,
a₂,b₂,c₂,d₂…の順に流れているとする。図中、Ａはフ
ィールド間内挿である補間関数fAによりb₁,c₁,d₁,a₂か
ら補間される補間値を示す。また動き補正が行われ、映
像入力端子１にa₂フィールドが入力された時の第４図の
6a〜6eの信号の状態を第６図に示す。このときには２次
元補間は行われていない。図中、記号の上の横線は動き
補正が行われたことを示し、Ｂはフィールド内内挿であ
る補間関数fBにより▲▼,a₂から補間される補間値
を示す。

〔発明が解決しようとする問題点〕

従来の動き補正サブサンプル内挿方式では、動き補正実
施時には、動きベクトルが２フィールド分の動き補正量
であるため相隣り合うフィールド間の関係は全く考慮に
入れておらず、このため欠落サンプル点の補間はフィー
ルド内で行わなければならず１次元フィルタによって補
間していた。しかるに、この方式では動き補正実施時の
解像度が低下するという問題があった。

この発明は、上記のような問題点を解消するためになさ
れたもので、伝送されてくる動き補正ベクトルから各フ
ィールド間の動き補正ベクトルを求めて、フィールド間
処理である２次元補間フィルタを用いることにより、解
像度の低下を抑えることのできる動き補正サブサンプル
内挿装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る動き補正サブサンプル内挿装置は、動き
ベクトルの初期状態が０であることに着目し、伝送され
てくるフレーム間の動きベクトルから１フィールド隔て
たフィールド間の動きベクトルを演算により求め、送信
側で検出された１フレーム隔てたフィールド間動き情報
とともに、注目するフィールドに対して過去３フィール
ドのサンプル値の補間位置を補正し、第１フィールドか
ら第４フィールドまでのすべての信号を動き補正するこ
とによって、フィールド間処理である２次元補間を行え
るようにしたものである。

〔作用〕

この発明においては、１フィールド隔てたフィールド間
の動きベクトルを求めることにより、常に２次元補間フ
ィルタで補間を行うので、解像度の低下を抑えることが
できる。

〔実施例〕

以下、本発明の実施例を図について説明する。第１図に
おいて、１は16.2MHzサンプルレートで伝送される映像
信号を入力する映像入力端子、２は該入力端子１に入力
される映像信号と後述する第１の動き補正フィールドメ
モリ４の出力信号とを32.4MHzのサブサンプルのタイミ
ングで切り換える第１のスイッチ（S₁）、３はこのスイ
ッチ２を通過する16.2MHzのサンプルレートの１フレー
ム分の信号を蓄える非動き補正フィールドメモリ、４は
このメモリ３から出力された16.2MHzのサンプルレート
の１フレーム分の信号を蓄え、動きベクトルによって動
き補正を行う第１の動き補正フィールドメモリ（第１の
動き補正手段）である。５は現フィールドの伝送されて
くるフレーム間の動きベクトルから、１フィールド遅延
器６の出力信号である前フィールドのフィールド間の動
きベクトルを減算する減算器、６は減算器５の出力信号
である現フィールドのフィールド間の動きベクトルを１
フィールド遅延させる１フィールド遅延器であり、この
減算器５及び１フィールド遅延器６によりフィールド間
の動き情報を得るためのフィールド間動き情報演算手段
が構成されている。７は第１のスイッチ２を通過する1
6.2MHzのサンプルレートの１フレーム分の信号を蓄え、
減算器５から出力されるフィールド間の動きベクトルに
よって動き補正を行う第２の動き補正フィールドメモリ
（第２の動き補正手段）である。また、８は第１のスイ
ッチ２を通過する信号と第２の動き補正フィールドメモ
リ７の出力信号とをもとに欠落サンプル点を補間する２
次元補間フィルタ、９は欠落サンプル点が補間され、6
4.8MHzのサンプルレートとなっタ２次元補間フィルタ８
の出力信号を出力する映像出力端子である。

次に動作について説明する。

第２図は、第１図の動作を説明するために、画像上の物
体が時間とともに移動していることを表す一例を示して
おり、その時の動きベクトルの変化の様子を示してい
る。第２図（ａ），第２図（ｂ），第２図（ｃ）はそれ
ぞれ動きベクトルをxy平面,yt平面,xt平面で示したもの
である。なおｘ軸は水平軸,y軸は垂直軸,t軸は時間軸で
ある。

ある時間（第１フィールド）に画面上の物体がa1の位置
にあったとする。この物体は現在静止しており、次のフ
ィールド（第２フィールド）、すなわち1/n秒後（フィ
ールド周波数をnHzとする）にも同じ位置b1に存在す
る。時間方向には１フィールド分移動するので、第２図
（ｂ），（ｃ）ではｔ軸方向に変位している。次にその
物体は水平方向に移動し、第３フィールドにはc1の位置
に移動したとする。すなわち、第２図（ａ）ではｘ軸方
向にのみ移動し、第２図（ｂ）ではｔ軸方向に移動す
る。第２図（ｃ）ではｘ軸,t軸方向の移動が示されてい
る。同様にその注目する物体が画面右上方向に移動して
いく軌跡はフィールド単位でd1,a2,b2,c2の通りであ
る。したがって、b2で物体は再び静止したことになる。

次にこの物体の移動を、１フレーム（＝２フィールド）
隔てたフィールド間の動きベクトルで表現すると、動き
ベクトルの系列は▲▼，▲▼，▲▼，▲
▼，▲▼のようになる。すなわち、▲▼は第
１フィールドと第３フィールドとの間の物体の変位を表
している。同様に、▲▼は第２フィールドと第４フ
ィールドとの間の物体の変位を表している。残りの動き
ベクトルの系列についても同様である。

まず、第１図の映像入力端子１にc₁フィールドの信号が
入った時、非動き補正フィールドメモリ３には、b₁フィ
ールド,d₀フィールドの信号が、第１の動き補正フィー
ルドメモリ４にはa₁フィールド,c₀フィールドの信号が
記憶されている。このとき、第１の動き補正フィールド
メモリ４に入力される動きベクトルA₁によって、該メモ
リ４に記憶されているa₁,c₀フィールドが２次元的に移
動し、映像入力端子１に入力されるc₁フィールドを基準
に動き補正が行われる。これにより第１のスイッチ２を
通過する信号は、c₁フィールドと動きベクトルにより補
正が行われたa₁フィールドとの信号である。

一方、第２の動き補正フィールドメモリ７には非動き補
正フィールドメモリ３と同じくb₁フィールド,d₀フィー
ルドの信号が記憶されている。動きベクトルA₁の１フィ
ールド前の動きベクトルD₀、即ち１フィールド遅延器ｂ
の出力は０であるから、減算器５の出力はベクトルA₁そ
のままであり、第２の動き補正フィールドメモリ７の内
容はこの動きベクトルA₁によって２次元的に移動し、C₁
フィールドを基準に動き補正が行われる。

このようにして、c₁フィールドを基準にして動き補正が
行われたd₀フィールド,a₁フィールド,b₁フィールドと、
c₁フィールド自身の４フィールド分の信号が補間フィル
タ８に入るので２次元補間が可能となる。

このように、第１の動き補正フィールドメモリ４には、
映像入力端子１から入力されるフィールドに対して２フ
ィールド前と４フィールド前の信号が記憶されているの
で、２フィールド分の動き補正量である動きベクトルに
より補正されるが、第２の動き補正フィールドメモリ７
には映像入力端子１から入力されるフィールドに対して
１フィールド前と３フィールド前の信号が記憶されてい
るので、動きベクトルから１フィールド分の動き補正量
であるベクトルを作らなければならない。第２図に示し
た動きベクトル▲▼，▲▼，▲▼，▲
▼，▲▼はそれぞれ２フィールド隔てたフィールド
間の動きベクトルである。画像のパンニングが静止画か
ら始まると考えると、これら２フィールド隔てたフィー
ルド間の動きベクトルから１フィールド隔てたフィール
ド間の動きベクトルを求めることができる。以下の説明
において、１フィールド隔てたフィールド間の動きベク
トルを、▲▼，▲▼，▲▼，▲▼，▲
▼，▲▼とする。すなわち、▲▼はa1フィ
ールドとb1フィールドとの間の動きベクトルである。動
きベクトル▲▼以降も同様である。これら動きベク
トルはフィールド単位の画像間の関係を示すもので、ｘ
−ｙ平面上の２次元ベクトルと考えればよい。例えば、
▲▼はa1フィールドとc1フィールドとの間の動きベ
クトルであるが、a1フィールド,b1フィールドは静止画
であることから、 ▲▼＝ である。▲▼＋▲▼＝▲▼、であるから、 ▲▼＝▲▼ となる。すなわち、▲▼はb1フィールドとc1フィー
ルドとの間の動きベクトルに等しい。同様に、▲▼
＋▲▼＝▲▼、であるから、 ▲▼＝▲▼−▲▼＝▲▼−▲▼ となる。以下、同様に、 ▲▼＝▲▼−▲▼＝▲▼−（▲▼
−▲▼） ▲▼＝▲▼−▲▼＝▲▼−（▲▼
−（▲▼−▲▼）） のように、順次求められる。

このように、進めて行くと、 ▲▼＝▲▼−▲▼ となるが、b2フィールドは静止画であるから、▲▼
＝▲▼、であり、 ▲▼＝ となる。

このようにして画像のパンニングが静止画から始まると
の前提では、２フィールド隔てたフィールド間の動きベ
クトルから１フィールド隔てたフィールド間の動きベク
トルを正確に求めることができる。従って、映像入力端
子１からc₂フィールドの信号が入力された時には、c₂フ
ィールドと動き補正されたa₂フィールドの信号が第１の
スイッチ２を通過し、第２の動き補正フィールドメモリ
７の出力信号は、１フィールド分の動き補正をされたb₂
フィールドとd₁フィールドの信号である。従って、動き
補正された４フィールド分の信号が補間フィルタ８に入
るので２次元補間が可能となる。

補間フィルタ８で欠落サンプル点を２次元補間した信号
はサンプルレートが64.8MHzとなっており、映像出力端
子９から出力される。

第３図は、第１図の映像入力端子１にa2フィールドの信
号が入力された時の3a〜3fの信号の状態を示すタイミン
グチャートである。第３図の3aは映像信号が16.2MHzの
伝送レートであることを示している。第１図のスイッチ
２が32.4MHzの周波数で切り替わる時に、非動き補正フ
ィールドメモリ３には、32.4MHzのレートで映像入力端
子１からの入力信号3aと、第１の動き補正フィールドメ
モリ４の出力信号3cが交互に入力される。その状態が第
３図の3dに示される。非動き補正フィールドメモリ３は
１フィールド遅延した信号を出力するので、第３図の3b
に示すような状態となる。さらに第１の動き補正フィー
ルドメモリ４は入力される動きベクトルにより動き補正
しつつ１フィールド遅延した信号を出力するので、第３
図の3cに示すような状態となる。▲▼はa1が動き補
正されたことを示す。同様に加算器５と１フィールド遅
延回路６により受像機で予測された動きベクトルによ
り、第２の動き補正フィールドメモリ７は動き補正しつ
つ１フィールド遅延した信号を出力するので、第３図3e
に示すようになる。3b〜3eはそれぞれ32.4MHzのレート
で２種類の信号が時分割多重された状態である。次に２
次元補間フィルタ８は3dと3eの信号系列から補間を行
い、64.8MHzのレートでa2フィールドの信号とc1フィー
ルドの動き補正された信号と２次元補間された信号Ａと
がa2,A,▲▼,Aの順で出力される。第３図の3fはこ
の状態を示している。

〔発明の効果〕

以上のように、この発明によれば、伝送される動きベク
トルから１フィールド分の動き補正量を求め、各フィー
ルドに対して全て動き補正を行うので、静止画状態と同
様、パンニングが起こっても２次元補間フィルタによる
補間を行うことができ、パンニング時の解像度低下を抑
えることができる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による動きサブサンプル内
挿装置の概略構成図、第２図（ａ）（ｂ）（ｃ）はその
作用を説明するための図、第３図は該動き補正サブサン
プル内挿装置の信号の流れを示すタイミングチャート
図、第４図は従来の動き補正サブサンプル内挿方式の概
略構成図、第５図はその動き補正を行わない場合の信号
の流れを示すタイミングチャート図、第６図は該従来方
式の動き補正を行う場合の信号の流れを示すタイミング
チャート図である。 １……映像信号入力端子、2,44……第1,第２のスイッ
チ、３……非動き補正フィールドメモリ、４……第１の
動き補正フィールドメモリ、５……減算器、６……１フ
ィールド遅延器、７……第２の動き補正フィールドメモ
リ、８……２次元補間フィルタ、９……映像信号出力端
子。 なお時中同一符号は同一又は相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】映像信号の相隣るフィールド間もしくはフ
   レーム間にて所定のサンプル位置を保って第１ないし第
   ４の４フィールドで一巡し、互いに間欠的にサブサンプ
   ルして伝送されたサンプル値から、受信側でフィールド
   期間もしくはフレーム期間に受信したサンプル値の欠落
   を補間して映像信号を再生するサブサンプル内挿装置に
   おいて、 送信側にて検出した映像のフレーム間の動き情報により
   入力端子に入力される第１フィールドの信号を基準に一
   巡前の第１及び第３フィールドの信号の動き補正を行う
   第１の動き補正手段と、 １フィーム隔てた上記フィールド間動き情報に基づき受
   信側で１フィールド隔てたフィールド間の動き情報を演
   算により求めるフィールド間動き情報演算手段と、 該フィールド間の動き情報により上記入力端子に入力さ
   れる第１フィールドの信号を基準に一巡前の第２及び第
   ４フィールドの信号の動き補正を行う第２の動き補正手
   段と、 上記入力された第１フィールドの信号及び動き補正され
   た第２ないし第４フィールドの信号によりフィールド間
   内挿を行い欠落サンプル点を補間する２次元補間フィル
   タとを備えたことを特徴とする動き補正サブサンプル内
   挿装置。