JPH0234515B2

JPH0234515B2 -

Info

Publication number: JPH0234515B2
Application number: JP58093358A
Authority: JP
Inventors: Juichi Ninomya; Yoshimichi Ootsuka
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1983-05-28
Filing date: 1983-05-28
Publication date: 1990-08-03
Also published as: JPS59221090A

Description

【発明の詳細な説明】技術分野本発明は、画像信号の相隣るフイールド間もし
くはフレーム間にて所定のサンプル位置関係を保
つて互いに間欠的にサブサンプルしたサンプル値
を順次に伝送し、受信してほぼ１フイールド期間
もしくは１フレーム期間遅延させたサンプル値に
より、順次のフイールド期間もしくはフレーム期
間に受信したサンプル値の欠落を補間して画像信
号を再生する際に、送信側にて検出した画像の動
きに応じてサンプル値の補間位置を補正するよう
にした動き補正サブサンプル伝送方法に関するも
のである。

従来技術一般に、高品位テレビジヨン画像信号等の広帯
域画像信号を伝送する場合には、所要伝送帯域幅
を可能な限り圧縮して節減する必要がある。かか
る所要伝送帯域圧縮の一手法として、上述した種
類のサブサンプル伝送方法が知られている。この
サブサンプル伝送方法には種々の形式のものがあ
るが、その一例においては、サブサンプルにより
標本化した画像信号のサンプル値をすべて伝送す
ることなく、一部のサンプル値、例えば、あるフ
レーム期間については、一つおきのサンプル点に
おけるサンプル値を間欠的に伝送し、引続く次の
フレーム期間については、残りの一つおきのサン
プル点におけるサンプル値を間欠的に伝送するよ
うにし、受信側においては、順次の各フレーム期
間中にて欠落したサンプル点のサンプル値を内挿
補間することによつて、原画像信号をほぼ復元し
た状態に再生し得るようにしたものである。

かかるサンプル値の補間を行なう信号内挿には
さらに種々の内挿方法が知られているが、テレビ
ジヨン画像信号においてはフレーム相関が強いこ
とを利用した内挿方法が最も有利と考えられてい
る。このフレーム間相関利用の内挿方式を２：１
サブサンプリングを行なう場合を例にとつて説明
すると、つぎのとおりである。

まず、画像信号の相隣る２フレーム間において
２：１サブサンプリングを行なう場合のサンプル
点の位置関係を第１図に示す。図示のサンプル位
置関係においては、あるフレーム期間には〇印に
て示すサンプル点のサンプル値を伝送し、引続く
次のフレーム期間には×印にて示すサンプル点の
サンプル値を伝送するようにして、順次のフレー
ム期間毎に〇印のサンプル値と×印のサンプル値
とをフレーム交互に伝送することにより、所要の
情報伝送量を半減し得るようにしている。なお、
図示の例においては、各フレーム内のサンプル点
を千鳥型、あるいは、いわゆるクインカンクス型
すなわち五の目型に選定してあるが、この例に限
ることなく、適切な他の構成配置となし得ること
勿論である。

一方、受信側においては、フレームメモリを備
えておき、例えば、第１図示のサンプル点の位置
関係における〇印のサンプル点のサンプル値が伝
送されているときには、×印のサンプル点のサン
プル値として前フレーム期間の対応するサンプル
値を代用することによつてサンプル値を補間し、
完全な１フレーム分の画像信号再生を行なつてい
た。

しかして、静止画像信号を伝送する場合には、
上述のような態様の画像信号伝送によつても完全
な画像信号再生を行なうことができるが、動き画
像信号を伝送する場合には、同一サンプル点にお
けるサンプル値であつても相隣る２フレーム間に
てサンプル値が異なり、あるいは、同一サンプル
値が現われるサンプル位置が相隣る２フレーム間
にてずれて来るので、再生画像にいわゆる２線ボ
ケが生ずるのみならず、第１図に示したようなサ
ブサンプル構造が再生画像に現われてしまうこと
になる。したがつて、動き画像信号をサブサンプ
ルして伝送する場合には、同一フレーム内の画像
情報のみに基づいて欠落した画像信号サンプル値
の内挿補間を行なわざるを得なかつた。

したがつて、動き画像信号の場合には、静止画
像信号の場合に比して再生画像がボケることにな
り、この点が上述した従来の画像信号サブサンプ
ル伝送方式の最大の欠点であつた。

一般に、視覚の特性は、特に画像のボケに関し
ては、静止画像に対するよりも、動き画像に対す
る方が寛大であり、動きが緩かに連続する通常の
画像信号を伝送する場合には、上述の程度の画像
ボケが動き画像に生じていてもあまり気にならな
いので、実用上差支えはないが、例えば、静止し
て擦像中のテレビジヨンカメラをゆつくりパンし
始めた場合など、擦像出力画像が静止画像から緩
漫な動き画像に変化した場合には、動き画像のか
かる画像ボケが、直前まで表示されていた静止画
像との直接の比較に基づいて、著しく目立つの
で、上述した程度の画像ボケが動き画像に対して
も許容し得なくなる、という問題も従来生じてい
た。

発明の要点本発明の目的は、上述した従来の欠点を除去し
て問題を解決し、画像の動きにより再生画像に生
じていた画像ボケを、画像の動きに応じた補正に
よつて排除した動き補正画像信号サブサンプル伝
送方法を提供することにある。

すなわち、本発明動き補正画像信号サブサンプ
ル伝送方法は、本発明者らの提案に係る特開昭54
−124927号公報に記載の「動ベクトル検出方法」
をサブサンプル伝送に利用して、画像の動きに基
づく再生画像のボケを軽減するようにしたもので
あり、例えば、画像の動きベクトルを原画像信号
から検出して、サブサンプルした画像信号とは別
個に伝送し、第１図示のサブサンプル構造におけ
る〇印のサンプル点のサンプル値を伝送したフレ
ームについて先行フレームにおける×印のサンプ
ル点のサンプル値を補間する場合に、その先行フ
レームのサンプル値を動きベクトルの分だけ×印
のサンプル点からずれた位置に補間することによ
り、２線ボケの発生を抑えてフレーム間における
内挿を行ない得るようにしたものであり、画像信
号の相隣るフイールド間もしくはフレーム間にて
所定のサンプル位置関係を保つ互いに間欠的にサ
ブサンプルしたサンプル値を順次に伝送し、受信
してほぼ１フイールド期間もしくはほぼ１フレー
ム期間遅延させて再生したサンプル値により、順
次のフイールド期間もしくは順次のフレーム期間
に受信したサンプル値の欠落を補間して画像信号
を再生するにあたり、送信側にて検出した現在フ
イールドもしくは現在フレームの画像の動きベク
トル情報に相隣るフイールド間もしくは相隣るフ
レーム間における前記所定のサンプル位置関係に
基づくサンプル位置の移動ベクトル情報を合成し
て形成した補正動きベクトル情報により修正した
サンプル位置情報に基づき、ほぼ１フイールド期
間もしくはほぼ１フレーム期間遅延させて補間に
用いるサンプル値の再生位置を修正するようにし
たことを特徴とするものである。

実施例以下に図面を参照して実施例につき本発明を詳
細に説明する。

本発明方法による画像信号の動き補正サブサン
プル伝送系の概略構成の例を第１図示の２：１サ
ブサンプル伝送の例に対応させて第２図に示す。
図示の構成による画像信号伝送系においては、入
力画像信号をスイツチＳ１により断続することに
より、第１図示のサブサンプル構造に従つて画像
信号をサブサンプル伝送するとともに、動きベク
トル検出回路３により検出した入力画像信号に関
する動きベクトルの情報を、例えば、他の狭帯域
伝送路や画像信号の帰線期間あるいは音声伝送チ
ヤネル等を利用して別途伝送する。なお、動ベク
トルは、本来、画像を多数の区画に細分して各区
画につき検出した動ベクトルを広帯域伝送するの
であるが、前述したカメラのパン時のように緩慢
な画像の動きに対しては１フレームに１つの動ベ
クトルを検出して伝送すれば足りる。したがつ
て、画像信号のサブサンプル伝送に要するかかる
動ベクトルの伝送は、画像信号の垂直帰線期間等
を利用しても充分に達成することができる。

一方、受信側においては、切換スイツチＳ２を
上側接点に接続して、例えば第１図示のサブサン
プル構造における〇印の位置にあるサンプル点の
サンプル値を受信出力画像情報信号として取出し
た後に、切換スイツチＳ２を下側接点に接続し
て、直前のフレーム期間に間欠伝送されて来た〇
印の次に位置する×印のサンプル点のサンプル値
をフレームメモリ１から読出して上述の受信出力
画像情報信号を順次に補間するに際し、フレーム
メモリ１から読出した×印のサンプル点のサンプ
ル値を一旦動きベクトル補正回路２に導き、送信
側から別途伝送した来た前述の動きベクトル情報
などに基づいて、×印のサンプル値のうち最適の
サンプル値をもつて補間する画面上の位置、すな
わち補間のタイミングとなるように修正したうえ
で、スイツチＳ２を介し、正しい補間用のフレー
ム間内挿信号として取出す。したがつて、動き画
像についても、動きベクトル状報を参照して補間
位置を修正することにより、フレーム間内挿の手
法の適用を可能とし、サブサンプル伝送した複数
フレームの画像信号を用いて原画像に一層近似し
た画像を再生することができる。しかしながら、
かかる補間位置の修正を行なうに際して、サブサ
ンプリングパターンの設定と動きベクトル情報に
基づく補間位置の修正設定とを、相互に無関係
に、それぞれ独立に行ない、単純に周期的に設定
していたのでは、動きベクトルによつてはつぎの
例のように不具合生ずることになる。

例えば、第１図示のサブサンプリング構造に従
つてサブサンプリング伝送中の画像信号における
画像の動きがフレーム当り１サンプルピツチの割
合いにて右に微少移動するものとし、前述の最も
目立ち易い場合を考え、その動きに基づく動きベ
クトル情報を参照して補間位置を修正しようとす
ると、補間位置を１サンプルピツチだけ右にずら
す必要があることになる。したがつて、第１図示
のように周期的に反復するサブサンプル構造であ
れば、かかる動き補正のためには、フレーム間内
挿用の補間信号として、前フレーム期間には送信
しなかつたサンプル点のサンプル値を用いて補間
せざるを得ず、フレーム間内挿が実行不可能とな
る。なお、この問題に関しては、送信側にて画像
信号をサブサンプルする際のサブサンプル構造を
第１図のように周期的に異ならせることなく、つ
ねに、同一サブサンプル構造に従つて各フレーム
期間毎のサブサンプル伝送を行なうものとすれ
ば、伝送上の利点はないが、受信側にて前述した
ような態様により補間位置を動きベクトル情報の
みに基いて修正することにより、適切なフレーム
間内挿が行われることになる。

したがつて、上述したところに基づき、動きベ
クトルと伝送上の利点が得られるサブサンプル構
造との関係を一般的に表わすると、つぎのように
なる。

(1) 画像信号をサブサンプル伝送する際に用いる
サブサンプル構造を、例えば第１図示のように
２：１サブサンプル構造に設定すると、サンプ
ル点の位置のフレーム毎の移動量が決まり、こ
の例においては、サンプル点の位置移動量はフ
レーム当り１サンプルピツチである。

しかも、図示のサブサンプル構造は周期性を
有しているので、この周期性を利用してサンプ
ル点の位置の移動量とすることができ、この例
においては、サンプル点の位置の移動量が、つ
ねに、フレーム当り＋１サンプル（右）、ある
いは、フレーム当り−１サンプル（左）の位置
移動を反復したサブサンプル構造であるという
ことができる。

(2) したがつて、サブサンプル伝送する画像信号
に関して動きベクトルが求められると、そのサ
ンプル間隔単位で近似した動きベクトルによる
移動量を上述したサンプル点の移動量によつて
修正した移動量が正しい補間位置の移動量に相
当することになる。

なお、上述したような動きベクトルとサブサン
プル構想との関係は、二次元の動きについても、
上述したと全く同様に考えることができ、垂直方
向および水平方向のそれぞれの動きについて、そ
の動きベクトルに応じたサンプル点の移動量につ
いて上述と同様の計算を行なうことにより補間位
置の移動量を設定することができる。

上述したようなサンプル点の二次元移動に関
し、受信側における補間位置の修正を行なう場合
の構成例を第３図に示し、かかる構成によつて行
なうサンプル値補間の態様の例を第４図および第
５図に示す。

第３図示の構成において、スイツチS₂およびフ
レームメモリ１１は第２図に示したものと同一機
能を有するものであるが、フレームメモリ１１は
外部から供給した読出しアドレスによつてその読
出し位置を任意に設定し得るものとし、その読出
しアドレスの二次元走査における時間の推移に対
応した位置X_i（ｉ＝０、１、２…）、Y_i（ｉ＝０、
１、２…）およびその他の位置移動を表わすベク
トル信号は、いずれも、第１図示の格子状サンプ
ル点の間隔を単位として表わすものとする。

しかして、第３図示の構成において、ベクトル
合成回路１５の一方の入力点Ａには、第２図示の
動ベクトル検出回路３から動ベクトルを受信側で
サンプルピツチ間隔単位に近似した動ベクトル
B_D（X_D、Y_D）を供給してあり、また、他方の入
力点Ｂには、この動ベクトルに関連して前述した
サンプル点の位置の移動量を表わすサンプル点位
置移動量ベクトルB_S（X_S、Y_S）をサンプル点移動
量発生器１３によつて供給してあり、ベクトル合
成回路１５はそれらのベクトルを合成する。した
がつて、そのベクトル合成回路１５の出力点Ｃに
は、動ベクトルB_Dとサンプル点位置移動量ベク
トルB_Sとの合成出力として新たな補正動ベクト
ルB_C（X_C、Y_C）が得られ、この補正動ベクトル
B_CはB_C（X_D＋X_S、Y_D＋Y_S）と表わすことができ
る。

また、第３図示の構成においては、画像信号か
ら分離した同期信号を入力として、その同期信号
に基づき、通常の２次元走査の速度および順次で
読出しを行なうための読出しアドレスをフレーム
メモリ１１に供給する読出しアドレス発生器１２
を設けてあり、その発生器１２の出力点Ｄに得ら
れる読出しアドレスは、通常の読出しアドレス・
ベクトルB_F（X_F、Y_F）によつて表わされる。な
お、第１図示の格子状サンプル点配列よりなる画
面に対する通常の２次元走査においては、この通
常の読出しアドレス・ベクトルにより画面左上端
を原点（X_O、Y_O）とし、右方向および下方向を
それぞれＸ方向およびＹ方向として、（X₀、Y₀）、
（X₁、Y₀）、（X₂、Y₀）…（X₀、Y₁）、（X₁、
Y₁）、（X₂、Y₁）…のように各サンプル位置情報
が発生する。第３図示の構成においては、この通
常の読出しアドレス・ベクトルB_F、（X_F、Y_F）
と前述した補正動ベクトルB_C（X_C、Y_C）とをベ
クトル合成回路１４により合成した合成ベクトル
がフレームメモリ１１の実際の読出しアドレス
B_A（X_A、Y_A）としてその出力点Ｅに得られる。
したがつて、この実際の読出しアドレスB_A（X_A、
Y_A）は、B_A（X_F＋X_D＋X_S、Y_F＋Y_D＋Y_S）と表
わすことができ、通常のフレームメモリ読出しア
ドレスX_FおよびY_Fに対してＸ方向およびＹ方向
にそれぞれX_D＋X_SおよびY_D＋Y_S分だけ修正を施
したものとなる。

第４図に示す格子状サンプル点配列の態様は、
２：１サブサンプル伝送方式において、順次のフ
レーム毎に速度_D′で平行移動する文字「Ａ」の
画像伝送の形態を模式的に示したものであり、現
在フレームのサンプル点△印によつて伝送した文
字「Ａ」のサンプル点▲印のほかに、この文字
「Ａ」の範囲に含まれる欠落サンプル点、例えば
◎印P_Eのサンプル値を、フレームメモリ１１に
記憶している１フレーム前のサンプル点〇印のう
ち「Ａ」の範囲に含まれるサンプル点●印の中か
ら最寄りの該当サンプル点、例えば○ぐ

Claims

【特許請求の範囲】１画像信号の相隣るフイールド間もしくはフレ
ーム間にて所定のサンプル位置関係を保つて互い
に間欠的にサブサンプルしたサンプル値を順次に
伝送し、受信してほぼ１フイールド期間もしくは
ほぼ１フレーム期間遅延させて再生したサンプル
値により、順次のフイールド期間もしくは順次の
フレーム期間に受信したサンプル値の欠落を補間
して画像信号を再生するにあたり、送信側にて検
出した現在フイールドもしくは現在フレームの画
像の動きベクトル情報に相隣るフイールド間もし
くは相隣るフレーム間における前記所定のサンプ
ル位置関係に基づくサンプル位置の移動ベクトル
情報を合成して形成した補正動きベクトル情報に
より修正したサンプル位置情報に基づき、ほぼ１
フイールド期間もしくはほぼ１フレーム期間遅延
させて補間に用いるサンプル値の再生位置を修正
するようにしたことを特徴とする動き補正サブサ
ンプル伝送方法。２前記画像の動きベクトル情報と前記サンプル
位置の移動ベクトル情報とを合成した前記サンプ
ル位置情報を送信側にて形成して受信側に伝送
し、前記サンプル値の再生位置を修正するように
したことを特徴とする特許請求の範囲第１項記載
の動き補正サブサンプル伝送方法。