JPS59221090A - 動き補正サブサンプル伝送方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技術分野 本発明は、画像信号の相隣るフィールド間もしくはフレ
ーム間にて所定のサンプル位置関係を保“つて互いに間
欠的にサブサンプルしたサンプル値を順次に伝送し、受
信してほぼ１フイ一ルド期間もしくは１フレ一ム期間遅
延させたサンプル値により、順次のフィールド期間もし
くはフレーム期間に受信したサンプル値の欠落を補間し
て画像信″号を再生する際に、送供側にて検出した画像
の動きに応じてサンプル値の補間位置を補正するように
した動き補正サブサンプル伝送方式に関するものである
０ 従来技術 一般に、高品位テレビジョン画像信号等の広帯域画像信
号を伝送する場合には、所要伝送帯域幅を可能な限り圧
縮して節減する必要がある。かかる所要伝送帯域圧縮の
一手法として、上述した種類のサブサンプル伝送方式が
知られている。このサブサンプル伝送方式には種々の形
式のものがあるが、その−例においては、サンプリング
により標本化した画像信号のサンプル値をすべて伝送す
ること六＜、一部のサンプル値、例えば、あるフレーム
期間については、一つおきのサンプル点におけるサンプ
ル値を間欠的に伝送し、引続く次のフレーム期間につい
ては、残りの一つおきのサンプル点におけるサンプル値
を間欠的に伝送するようにし、受信側においては、順次
の各フレーム期間中にて欠落したサンプル点のサンプル
値を内挿補間することによって、原画像信号をほぼ復元
した状態に再生し得るようにしたものである。

かかるサンプル値の補間を行なう信号内挿には・さらに
種々の内挿方式が知られているが、テレビジョン画像信
号においてはフレーム相関が強いことを利用した内挿方
式が最も有利と考えられている。このフレーム間相関利
用の内挿方式を２＝１サブサンプリングを行なう場合を
例にとって説明すると、つぎのとおりである。

まず、画像信号の相隣る２フレ一ム間において２：１サ
ブサンプリングを行なう場合のサンプル点の位置関係を
第１図に示す。図示のサンプル位置関係においては、あ
るフレーム期間には○印にて示スサンプル点のサンプル
値を伝送し、引続く次のフレーム期間にはＸ印にて示す
サンプル点のサンプル値を伝送するようにして、順次の
フレーム期間毎に○印のサンプル値とＸ印のサンプル値
とをフレーム交互に伝送することにより、所要の情報伝
送量を半減し得るようにしている。なお、図示の例にお
いては、各フレーム内のサンプル点を千鳥型、あるいは
、いわゆるクインカンクス型すなわち五の目立に選定し
であるが、この例に限ることなく、適切な他の構成配置
となし得ること、勿論である。

一方、受信側においては、フレームメモリを備えておき
、例えば、第１図示のサンプル点の位置関係における○
印のサンプル点のサンプル値が伝送されているときには
、Ｘ印のサンプル点のサンプル値として前フレーム期間
の対応するサンプル値を代用することによってサンプル
値を補関し、完全な１フレ一ム分の画像信号再生を行な
っていた。

しかして、静止画像信号を伝送する場合には、上述のよ
うな態様の画像信号伝送によっても完全な画像信号再生
を行なうことができるが、動き画像信号を伝送する場合
には、同一サンプル点におけるサンプル値であっても相
隣る２フレ一ム間にてサンプル値が異なり、あるいは、
同一サンプル値が現われるサンプル位置が相隣る２フレ
一ム間にてずれて来るので、再生画像にいわゆる２線ボ
ケが生ずるのみならず、第１図に示したようなサブサン
プル構造が再生画像に現われてしまうことになる。した
がって、動き画像信号をサブサンプ、ルして伝送する場
合には、同一フレーム内の画像情報のみに基づいて欠落
した画像信号サンプル値の内挿補間を行なわざるを得な
かった。

したがって、動き画像信号の場合には、静止画像信号の
場合に比して再生画像がボケることになり、この点が上
述した従来の画像信号サブサンプル伝送方式の最大の欠
点であった。

一般に、視覚の特性は、特に画像のボケに関しては、静
止画像に対するよりも、動き画像に対する方が寛大であ
り、動きが緩かに連続する通常の画像信号を伝送する場
合には、上述の程度の画像ボケが動き画像に生じていて
もあまり気にならないので、実用上差支えはないが、例
えば、静止して撮像中のテレビジョンカメラをゆっくり
パンし始めた場合など、撮像出力画像が静止画像から緩
漫な動き画像に変化した場合には、動き画像のかかる画
像ボケが、直前まで表示されていた静止画像との直接の
比較に基づいて、著しく目立つので、上述した程度の画
像ボケが動き画像に対しても許容し得なくなる、という
問題も従来生じていた。

発明の要点 本発明の目的は、上述した従来の欠点を除去して問題を
解決し、画像の動きにより再生画像に生じていた画像ボ
ケを、画像の動きに応じた補正によって排除した動き補
正画像信号サブサンプル伝送方式を提供することにある
。

すなわち、本発明動き補正画像信号サブサンプル伝送方
式は、本発明者らの提案に係る特開昭５４−１２４９２
７号公報に記載の「動ベクトル検出方法」をサブサンプ
ル伝送に利用して、画像の動きに基づく再生画像のボケ
を軽減するようにしたものであり、例えば、画像の動き
ベクトルを原画像信号から検出して、サブサンプルした
画像信号とは別個に伝送し、第１図示のサブサンプル構
造における○印のサンプル点のサンプル値を伝送したフ
レームについて先行フレームにおけるＸ印のサンプル点
のサンプル値を補間する場合に、その先行フレームのサ
ンプル値を動きベクトルの分だけＸ印のサンプル点から
ずれた位置に補間することにより、２線ボケの発生を抑
えてフレーム間における内挿を行ない得るようにしたも
のであり、画像信号の相隣るフィールド間もしくはフレ
ーム間にて所定のサンプル位置関係を保って互いに間欠
的にサブサンプルしたサンプル値を順次に伝送し、受信
してほぼ１フイ一ルド期間もしくは１フレ一ム期間遅延
させたサンプル値Ｇこよす、順次のフィールド期間もし
くはフレーム期間に受信したサンプル値の欠落を補間し
て画像信号を再生するサブサンプル伝送方式において、
送信側（こて検出した画像の動き情報に相隣るフィール
ド間もしくはフレーム間における前記所定のサンプル位
置関係に基づくサンプル位置の移動情報を加えた位置情
報に基づき、遅延させて補間するサンプル値の補間位置
を補正するようにしたことを特徴とするものである。

実施例 以下に図面を参照して実施例につき本発明の詳細な説明
する。

本発明方式による画像信号の動き補正サブサンプル伝送
系の概略構成の例を第１図示の２二１サブサンプル伝送
の例に対応させて第２図に示す。

図示の構成による画像信号伝送系においては、入力画像
信号をスイッチＳ１により断続することにより、第１図
示のサブサンプル構造に従って画像信号をサブサンプル
伝送するとともに、動きベクトル検出回路３により検出
した入力画像信号に関する動きベクトルの情報を、例え
ば、他の狭帯域伝送路や画像信号の帰線期間あるいは音
声伝送チャネル等を利用して別途伝送する。なお、動ベ
クトルは、本来、画像を多数の区画に細分して各区画に
つき検出した動ベクトルを広帯域伝送するのであるが、
前述したカメラのパン時のように緩慢な画像の動きに対
しては１フレームに１つの動ベクトルを検出して伝送す
れば足りる。したがって、画像信号のサブサンプル伝送
に要するかかる動ベクトルの伝送は、画像信号の垂直帰
線期間等を利用しても充分に達成することができる。

一方、受信側においては、切換スイッチＳ２を上側接点
に接続して、例えば第１図示のサブサンプル構造におけ
る○印の位置にあるサンプル点のサンプル値を受信出力
画像情報信号として取出した後に、切換スイッチＳ２を
下側接点に接続して、直前のフレーム期間に間欠伝送さ
れて来た○印の次に位置するＸ印のサンプル点のサンプ
ル値をフレームメモリ１から読出して上述の受信出力画
像情報信号を順次に補間するに際し、フレームメモリ１
から読出したＸ印のサンプル点のサンプル値を一旦動き
ベクトル補正回路２に導き、送信側から別途伝送して来
た前述の動きベクトル情報などに基づいて、Ｘ印のサン
プル値のうち最適のサンプル値をもって補間する画面上
の位置、すなわち補間のタイミングとなるように修正し
たうえで、スイッチＳ２を介し、正しい補間用のフレー
ム間内挿信号として取出す。したがって、動き画像につ
いても、動きベクトル情報を参照して補間位置を修正す
ることにより、フレーム間内挿の手法の適用を可能とし
、サブサンプル伝送した複数フレームの画像信号を用い
て原画像に一層近似した画像を再生することができる。

しかしながら、かかる補間位置の修正を行なうに際して
、サブサンプリングパターンの設定と動きベクトル情報
に基づく補間位置の修正設定とを、相互に無関係に、そ
れぞれ独立に行ない、単純に周期的に設定していたので
は、つぎの例のように不具合が生ずることになる。

例えば、第１図示のサブサンプル構造に従ってサブサン
プル伝送中の画像信号における画像の動きがフレーム当
り１サンプルピツチの割合いにて右に移動するものとす
ると、その動きに基づく動きベクトル情報を参照して補
間位置を修正した結果は、補間位置が１サンプルピツチ
だけ右にずれることになる。したがって、第１図示のよ
うに周期的に反復するサブサンプル構造であれば、かか
る動き補正の結果、フレーム間内挿用の補間信号として
、前フレーム期間には送信しなかったサンプル点のサン
プル値を用いて補間せざるを得ず、フレーム間内挿が実
行不可能となる。この問題に関しては、送信側にて画像
信号をサブサンプルする際のサブサンプル構造を第１図
示のように周期的に異ならせることなく、つねに、同一
サブサンプル構造に従って各フレーム期間毎のサブサン
プル伝送を行なうものとすれば、伝送上の利点はないが
、受信側にて前述したような態様により補間位置を動き
ベクトル情報のみに基いて修正することにより、適切な
フレーム間内挿が行なわれることになる。したがって、
上述したところに基づき、動きベクトルと伝送上の利点
が得られるサブサンプル構造との関係を一般的に表わす
と、つぎのようになる。

（１）画像信号をサブサンプル伝送する際に用いるサブ
サンプル構造を、例えば第１図示のように設定すると、
サンプル点の位置のフレーム毎の移動量が決まり、この
例においては、サンプル点の位置移動量はフレーム当り
１サンプルピツチである。

なお、図示のサブサンプル構造は周期性を有しているの
で、この周期性を利用してサンプル点の位置の移動量と
することができ、この例においては、サンプル点の位置
の移動量が、つねに、フレーム当り＋１ザンブル（右）
、あるいは、フレーム当り一１サンプル（左）の位置移
動を反復したサブサンプル構造であるということができ
る。

（２）シたがって、サブサンプル伝送する画像信号に関
して動きベクトルが求められると、その動きベクトルと
、上述したサンプル点の位置の移動量との和が修正すべ
き正しい補間位置の移動量に相当することになる。

なお、上述したような動きベクトルとサブサンプル構造
との関係は二次元の動き乃至移動についても、上述した
と全く同様に考えることができ、垂直方向および水平方
向のそれぞれの動きについて、上述したと同様の計算を
打なって補間位置の移動量を設定することができる。

上述したようなサンプル点の二次元移動に関し、受信側
における補間位置の修正を行なう場合の構成例を第３図
に示し、かかる構成によって行なうサンプル値補間の態
様の例を第４図に示す。

図宗の構成において、スイッチＳ２およびフレームメモ
リ１１は第２図に示したものと同一機能を有するもので
あるが、フレームメモリ１１は外部から供給した読出し
アドレスによってその読出し位置を任意に変更し得るも
のとし、その読出しアドレスの二次元的寿タイミング（
ＸＡ、ＹＡ）およびその他のベクトル信号は第１図示の
格子状サンプル点を単位として表わすものとする。

しかして、第４図示のサンプル値補間の態様において、
Ａ点（ＸＡ　、　ＹＡ　）には、第２図示の動ベクトル
検出回路３からの動ベクトルＢＤ　（ＸＤ　、　ＹＤ　
）を加えて゛おり、またＢ点には、前述したサンプル点
移動量に関するベクトルＢＳ（Ｘ８．Ｙ８）をサンプル
点移動量発生器１３によって供給し、ベクトル合成回路
１５によって合成する。したがって、そのベクトル合成
回路１５の合成出力としては、動ベクトルＢＤとサンプ
ル点位置移動量ヘクトルＢ３とを合成した新たな補正動
ベクトルＢｏ（Ｘａ　、　Ｙ（３）が得られる。なお、
この補正動ベクトルＢｃはＢＯ（ＸＤ＋ＸＳ　、　ＹＤ
＋ＹＳ　）と表わすこともできる。

一方、画像信号から分離した同期信号に基づき、・フレ
ームメモリ１１を通常の速度および順序にて読出すため
の読出しアドレス発生器１２を設け、その発生器１２が
らの読出しアドレスをベクトルＢＦ（ＸＦ　、ＹＦ）に
て表わすと、第１図示の格子状サンプル点配列に対し、
画面左上端を原点とし、右方向および下方向をそれぞれ
Ｘ方向およびＹ方向として、（ＸＯ、Ｙｇ　）　＋　（
Ｘｌ　＋　Ｙｏ）　ｒ（Ｘ２　＋　Ｙｏ）　、−−−−
−（ＸＯ＋　Ｙｌ　）　ｒ　（Ｘｌ　ｒ　Ｙｌ）（Ｘ　
　、Ｙ　　）−−−−一のように各サンプル位置情報１ が発生される。この読出しアドレスＢＦ（ＸＦ、ＹＦ）
と前述した補正動ベクトルＢＧ（Ｘｏ、　Ｙｏ）とをベ
クトル合成回路１４にて合成したものがフレーＡ　メ％
　ＩＪ　１１の実際の読出しアドレスＢＡ（ＸＡ、　Ｙ
Ａ）となる。したがって、この読出しアドレスＢＡ　（
ＸＡ　、　ＹＡ　）は、　ＢＡ　　（ＸＦ十ＸＤ＋ＸＳ
　　、　　ＹＦ＋ＹＤ＋ＹＳ　　’）と表わすことがで
き、通常のフレームメモリ読出しアドレスに対してＸ方
向およびＹ方向にそれぞれＸＤ＋ＸｓおよびＹＤ＋Ｙｓ
分だけ修正したものとなる。

第４図示の態様は、２：１サブサンプル伝送方・式にお
いて、順次のフレーム毎に速度旺にて平行移動する文字
ｒＡＪの画像の伝送形態を模式的に示したものであり、
現在のフレーム信号Δ印にて伝送した文字ｒＡＪのサン
プル点ム印のほかに、この文字ｒＡＪの範囲に含まれる
欠落サンプル点○印のサンプル値を、フレームメモリ１
１に記憶している１フレーム前のフレーム信号中の該当
サンプル点φ印等から選択して適切なタイミングにて補
間し、一層完全な画素構成の文字ｒＡＪを再現するよう
にしている。例えば、現フレーム信号中の欠落サンプル
点ＰＥに対応する前フレーム信号中の最寄りのサンプル
点Ｐ。を、フレームメモリ１１の読出しアドレスを適切
に設定してサンプル点ＰＥのタイミングにて読出し、補
間する操作を正しく行なうためには、第３図示の構成に
よって読出しアドレスの修正を行なう。

すなわち、第４図示の例における読出しアドレスの修正
は、第５図に示すようなベクトルの合成によって行なう
。図示のベクトル合成において、点ＰＥは補間すべきサ
ンプル点の現在位置を示し、゛第３図示の構成における
読出しアドレス発生器１２による読出しアドレスＢ、　
（ｘＦ、　ｙＦ）が、丁度＼この現在位置にさしががっ
たものとする。

また、ベクトルＢＤ′は、１フレ一ム期間前における画
像の位置を示すベクトルであり、第４図中のベクトルＢ
Ｄ’に対応する。このベクトルＢＤ’に対して、前述の
ベクトルＢＤは、例えば２：１サブサンプルにおける当
該フレームの画素構成Δ印の最寄りのサンプル点に統合
されたものとなるように信号処理をしたものとなる。

かかる動ベクトルＢｐに対し、さらに、サブサンプルに
よるサンプル点移動量ベクトルＢＳとして、フレーム当
り１サンプル左の移動量を加えたものが補正動ベクトル
Ｂｃとなる。このようにして、サンプル点ＰＥの現在位
置ＢＦ（ＸＦ、　ＹＦ）に対し、図示の例においては、
ＢＤ　（−３、２）　。

Ｂｓ（−１，０）、したがって、Ｂ（３（−４，２）と
なり、この値の分だけ現在のサンプル点位置から修正し
たサンプル点Ｐｏの位置の読出しアドレスＢＡ（ＸＡ、
ＹＡ）を形成し、フレームメモリ１１・中の１フレ一ム
期間前のサンプル点Ｐ。のサンプル値を読出してサンプ
ル点ＰＥの位置に補間する。

なお第３図示の例においては、動ベクトル信号を受けて
、受信側において補正動ベクトルを形成し、補間位置を
修正するようにしたが、この例に限ることなく、送信側
において動ベクトル検出、サンプル点移動量補正を行な
った補正動ベクトルＢｃを形成し、その補正動ベクトル
を受信側に伝送するようにして、受信側の構成を簡単化
することもできる。また、２：１サブサンプル伝送ノ例
について述べたが、４：１サブサンプルや２：１ライン
インターレース伝送などについても、上述したところを
同様に適用することができる。

効　　　　　　果 以上の説明から明らかなように、本発明によれば、サブ
サンプル伝送する画像信号が動き画像信号であっても、
フレームオフセットサンプリング等のサブサンプル伝送
の技術を有効に適用し、しかも、フレーム間における欠
落情報の内挿を行な・うことかでき、したがって、いわ
ゆる２線ボケ等により再生画質を劣化させることなく、
動き画像信号を有効にサブサンプル伝送することができ
るという顕著な効果が得られる。

【図面の簡単な説明】

第１図は画像信号サブサンプル伝送に用いるサブサンプ
ル構造の例を示す線図、 第２図は本発明方式による画像信号サブサンプル伝送系
の概略構成の例を示すブロックａ図、第３図は同じくそ
の受信側の詳細構成０例を示１゛すブロック線図、 第４図は同じくそのサンプル値補間の態様の例を示す線
図、 第５図は同じくそのサンプル値補間の態様の例を示すベ
クトル図である。 ｌ・・・フレームメモリ ２・・・動きベクトル補正回路 ３・・・動きベクトル検出回路 １１・・・フレームメモリ １２・・・読出しアドレス発生器 １３・・・サンプル点移動量発生器 １４　、１５・・・ベクトル合成回路 Ｓｌ　、　Ｓ２・・・スイッチ

Claims (1)

1. 【特許請求の範囲】 Ｌ　画像信号の相隣るフィールド間もしくはフレーム間
   にて所定のサンプル位！関係を保って互いに間欠的にサ
   ブサンプルしたサンプル値を順次に伝送し、受信してほ
   ぼｌフィールド期間もしくは１フレ一ム期間遅延させた
   サンプル値により、順次のフィールド期間もしくはフレ
   ーム期間に受信したサンプル値の欠落を補間して画像信
   号を再生するサブサンプル伝送方式において、送信側に
   て検出した画像の動き情報に相隣るフィールド間もしく
   はフレーム間における前記所定のサンプル位置関係に基
   づくサンプル位置の移動情報を加えた位置情報に基づき
   、遅延させて補間するサンプル値の補間位置を補正する
   ようにしたことを特徴とする動き補正サブサンプル伝送
   方式。 入　前記画像の動き情報および前記サンプル位置情報を
   加算した前記位置情報を送信側にて電形成して受信側に
   伝送し、前記補間位置を補正するようにしたことを特徴
   とする特許請求の範囲第１項記載の動き補正サブサンプ
   ル伝送方式。