JPS5997284A - 動画像信号の動き内插方式およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は動ベクトルを利用したテレビジョン信号の内挿
方式に関するものである。従来、動ベクトルを利用した
テレビジョン信号の内挿方式として、いくつかの方法か
知られている。

衆知のある方法では間引かれたフレームの前後のフレー
ムから求まる各ブロックの動ベクトルから、間引かれた
フレームと、その前のフレーノ・との間との助ベクトル
を求めて、こ２１．を内挿すべき間引かれたフレームの
各ブロック（たとえばす、）に割あて、間引かれたフレ
ームの前のフレームにおける、当該ブロックｂｉを基準
として前述の動ベクトルと大きさが同じで、向きが逆の
負ベクトルに相当する位置にあるブロックの画信号をも
って内挿すべきフレームのブロックの画信号としている
。

また別のある方法では、やはり間引かれたフレームの前
後のフレームから動ベクトルを求め、この動ベクトルか
ら、間引かれたフレームの前のフレームから間引かれた
フレームへの動ベクトルを求めて、間引かれたフレーム
の前のフレーム、即ち内挿すべきフレームの前のフレー
ムの各ブロック（ｂｉに対して１フレーム前のブロック
）にこれを割あてこのブロックの画信号ケもって、動ベ
クトルに相当する位置にある内挿すべき間引かｎだフレ
ームのブロックの画信号を得ている。

こｎら従来の方法では、内挿すべきブロックの画信号を
力えるブロックは、間引かれたフレーノ・の前のフレー
ムにおける、ある１個のブロックであったために、特に
大きな動きを含む領域では、内挿画像に、フロックを単
位とする不連続領域が現われるという欠点を有していた
。この欠点は、ひとつには、動ベクトルの検出誤まり、
あるいは検出誤差を完全には避けられないことさらには
、本来連続量である動ベクトルを離散値として取り扱っ
ていることなどに由来している。

的とする。即ち本発明は内挿すべきブロックについて算
出された動ベクトルの大きさに従って、内挿画像信号の
平滑化処理方法を制御することにより品質の良い動画像
を再生する。

本発明においては、まず内挿すべき間引かれたフレーム
の前後のフレームを用いて内挿しようとする各ブロック
（あるいは各画素）の動ベクトルを求める。動ベクトル
を求める方法は、いくつか知られているが、たとえば、
マツチング法と呼ばれる方法では内挿すべきフレームの
前のフレーム信号を後ろのフレーム信号の同じ位置を基
準としてシフトさせ（このシフト量をシフトベクトルと
呼ぶ）、ブロック間の差分をとり、この差分信号より求
められる評価関数（たとえば差分信号の２乗才口）の値
を求め、評価関数の値を最小とするシフトベクトルをも
って動ベクトルとする。また、グラジェント法と呼ばれ
る方法では、輝度信号の勾配と前後のフレームの差分信
号とから動ベクトルが求められる〇 本発明においては動ベクトルの求め方は、いずれの方法
でもかまわないが、このようにして得られた動ベクトル
をもとに内挿すべきフレームと前のフレーム（内挿すべ
き画信号を提供するフレーム）トノ間の動ベクトルを算
出し、そのノルムと予め決められたいくつかの閾値との
比較によって内挿に使われる動ベクトルの数Ｎを変化さ
せる。

Ｎについてはノルムが大きくなるに従い増−加するよう
に定めるとよい。−例をあげれば、ノｊＬｚ　ムｆＪ１
最小の閾値Ｔｆ（ｌよりも小であるとき、即ち１ｖ１≦
ＴＨ１のときはＮ＝１とし、ＴＨｌ〈１ｖ１≦ＴＨ２（
７）トキＮ＝３．１ｖ１〉ＴＨ２のときＮ−５とする。

たとえば第１図に示す＋’Ｖ＋≦ＴＨＩすなわちＮ＝１
の場合は、内挿されるフレームＢに含まれる内挿すべき
ブロックｂＩについて求められた動ベクトルＭを内挿に
用いる。即ち着目する内挿すべきブロックを基準として
、前のフレーム（フレームＡ）において、同じ位置より
動ベクトルの負ベクトル即ち−ＶＩに相当する位置にあ
るブロックａ１の画信号をもって着目するブロックｂｌ
の画信号とする。

もし、ノルムが零であったときは負ベクトルも零ベクト
ルとなるので前のフレームの画信号をそのまま着目する
フロックｂ１の画信号とする。

第２図に示すｒＨｌ＜１Ｖ＋１≦ＴＨ２すなわちｉ’Ｊ
＝３の場合は、着目する内挿すべきブロックの動ベクト
ルＶｒとその動ベクトルの向きに対し垂直方向、または
同一方向に位置する２個の隣接ブロックｂ＋−ｔ　、　
ｂｔ＋１（Ｄ　ｍへ９　）　ル”！＋−１，Ｖｔ＋、の
計３個を内挿に使い、着目するブロックｂｉを基準とし
て、前のフレームにおいて前述３個の動ベクトルの負ベ
クトル、−Ｖ’１−ｔ　、’　−Ｖｉ　、−Ｖ’１＋１
ニヨ’）　指定すｔＬル３個のブロックを重ねあわせた
ときに、同一位置にくる画信号の平均値をもって、着目
するブロックの両信号とする。

同様に第３図に示すｌ　Ｖｉ　ｌ）　ＴＨ２すなわちＮ
＝５の場合は、着目する内挿すべきブロックｂ１．Ｊ　
　の動ベクトル？＋　、　＋と、その動ベクトルの向き
に対し垂直方向、同一方向に位置する４個の隣接するブ
ロック、　　ｂｉ−１，ｊ−１，ｂｉ−１，ｊ刊＋　ｂ
ｉ＋１．ｉ−１＊　ｂｔ＋ｔ、ｉ＋ｔ　　の動ベクトル
、Ｖ−１，ｊ−Ｊ　、　”Ｙ−１，ｊ＋Ｉ　、　Ｌ、ｊ
−１、Ｌｌ、Ｉ＋１　。

計５個を内挿に使い、着目するブロックを基準として、
前フレームにおいて前述５個の動ベクトルノ負ヘクトル
、−■−ｔ、Ｊ　１　、　９１−１．ｊ−）１　、　　
ｖｔ、　ｊ　。

Ｖ＋、　　　　−Ｖ刊ｔ＋””　ｔにより指定される５
個のブー−！。

ロックを重ねあわせたときに同一位置にくる画信号の平
均値をもって着目するブロックの画信号とする。従って
比較的広い面積をもった物体が平行に動いた場合に動ベ
クトルが正しく検出されたならば、内挿すべきブロック
を含む周辺ブロックの動ベクトル、即ち上記Ｎ個の動ベ
クトルは同一となることが多くなる。この場合には、実
質的には画信号の位置を負ベクトル分たけ移動するのみ
であるので、平均的処理に由来するボケの生じない内挿
画信号が得られる。動ベクトル検出に誤まりがあると必
ずしも動ベクトルは同一とならず、平均処理により内挿
画ＩＪ号が得られるためボケを生じる。このボケにより
動ベクトル検出誤まりによって起るはずの内挿画信号の
不連続性が大幅に軽減される。

本発明は、１す上のような原理により、より画質のよい
内挿画像を提４！ｊｉｌすることを可能としている。

次に本発明の実施例について、図面を参照して詳細に説
明する。

第４図は、送信側の一実施例である。入力画像信号は、
線１０１０　、線１０１１を介して遅延回路１０、最適
予測判定回路１１へ送られる。最適予測判定回路１１は
、動ベクトル検出回路でもあり、たとえば前記マノチン
ク法で説明された方式で動ベクトルが検出さ石、予測誤
差最小、即ち最適予測を与える予測方式を技しだす。遅
延回路１０は、最適予測方式が検出される時間分、入力
信号を遅延させ、線１０１２を介して＃勢回路１２に送
る。可変遅延回路１３は、ＫＭ　１１１３を介して得ら
れる最適予測方式をもとに、最適予測値をｆｇＪ１３１
２を経て、減算回路１２へ供給する。減鉢回路１２では
、この遅延された入力信号と最適予測値との差信号、即
ち予測誤差信号を発生し、量子化器１４へ出力する。量
子化器１４では、予測誤差信号を量子化して出力するが
、間引きするフレームに相当する場合は、たとえば出力
レベル零の量子化を行ない、フレーム間引き信号を出力
する。７ＩＯ算回路１６では、線１３１６を介して供給
される可変遅延回路１３の出力、即ち最適予測信号と、
線１４１６を介して供給される量子化された予測誤差信
号の和を取り、局部復号信号を発生し、フレームメモリ
１５へ出力する。フレームメモリ１５は、人力画像信号
のおよそｌフレーム分記憶できるもので、局部復号信号
を約１フレーム時間分遅延して、線１５１３を介して、
可変遅延回路１３へ出力する。ｙＪｌ　１４１７を介し
、て、量子化器１４の出力、即ち量子化された予測誤差
信号は圧縮符号化回路１７に供給され、不等長符号化の
手法を用いて圧縮されて伝送路２０００へ出力されるが
、前述マツチング法の場合には、線１１１７を介して供
給される最適予測方式を表わす情報も付加して伝送路２
０００へ送り出す。

第５図は、受信側の一実施例である。符号伸長回路２０
は、伝送路２０００を経て供給される符号化された予測
誤差信号の復号伸長を行ない、線２０２１を介して加算
回路２１へ出力する。加算回路２１はこの予測誤差信号
と線２２２１を介して可変遅延回路２２より供給される
最適予測信号の和を取り、その加算結果を局部復号信号
として出力する。可変遅延回路２２は、最適予測判定回
路２４から線２４２２を介して供給される最適予測方式
をもとに、フレームメモリ２３によりおよそ１フレ一ム
時間遅延した局部復号信号より予測信号を発生し、最適
予測（８号として１ｍ　２２２１を介して加算回路２１
へ出力する。

フレーム間引す２３は、ｉ　２１２３を介して供給され
る局部復号信号をおよそ１フレ一ム時間遅延させ、線２
３２２、線２３２８を介して各々、可変遅延回路２２と
内挿回′＃！ｌ２）３へ供給する。遅延回路２６におい
ては、入力は内挿回路２８において、間引か孔だフレー
ムの画像信号を内作計算するのに必要な時間分だけ遅延
されてｆＢ’４２６２７を介して切換回路２７へ供給さ
れる。

最適予測判定回路２４は、動ベクトル検出回路でもあり
、たとえば前述のマツチング法のように、動ベクトル情
報が予測誤差信号とともに伝送されてくる方式の場合は
１ｍ、２０２４を倉して符号伸長回路２０から動ベクト
ルが供給され、グラジェント法のように受信側で動ベク
トル情報を求める方式の場合は、加算回路２１より綜２
１２４を介して供給される局部復号信号をもとに、動ベ
クトルを算出し、その結果を線２４２２を介して最適内
挿方式乏して可変遅延回路２２に供給するほか、線２４
２５を介し、除算回路２５にも供給する。除算回路２５
は、間引かれたフレームの前後のフレーム間において求
められた動ベクトルを用いて、間引かれたフレームの前
のフレームから間引か眉、たフレームへの動ベクトルを
算出する回路であり、勢：出結果をｌｉｔ　２５２８゜
２５２９を介して内挿回路２８へ供給する。

次に内挿回路２８の実施例を第６図を用いてｉ（？、明
する。

線２５２８を介して、動ベクトルは、動ベクトル判定回
路３５に、供給される。動ベクトル判定回路３５はノル
ム引算器３６と比較器３７に分か４１．ており、ノルム
計算器３６の出力と予め定められた１閥値との比較結果
は６３７３８を介して内挿制御回路３８へ供給される。

内挿制御回路３８はこの比較結果と、予め設定されてい
るテーブルをもとに、内挿に使用する動ベクトルの個数
Ｎをｉ　３８３２を介して平均化回路３２へ、また線３
８３４を介して可変遅延回路３４へ出力する。可変遅延
回路３４は、線２５２９を経て供給さｎる動ベクトルを
高々］フレーム分記憶し、内挿制御回路３８の指示に従
いＮ個の動ベクトルを、最適内挿方式として線３４３１
を介して可変遅延回路３１へ出力する。可変遅延回路３
■は、線２３２８を経て供給される信号より、最適内挿
方式に対応する信号を読み出し、線３１３２を経て平均
化回路３２へ供給する。平均化回路３２は、内挿制御回
路３８より６３８３２を介して送らｎてくる内挿に使う
動ベクトルの個数分（Ｎ）だけのブロックの画信号から
、フロック内の同一位置にある１ｌｉｉ素について平均
を計算し、内挿画信号として、紗３２３３を介しバッフ
ァメモリ３３へ出力する。バッファメモリ３３に貯えら
れた内挿画信号は第５図２７の切換回路によって、前後
のフレームと時間的整合性を持つようにして連続読みだ
しされる。

以上説明したように本発明ｌこおいては、前フレームの
画信号より内挿画信号を合成するにあたり、内挿すべき
ブロックについて求められた動ベクトルのノルムの大き
さζこ従って、読みだすブロックの個数と位置が可変で
ある。この方式により、いくつかの有益な効果が内挿画
像にもたらさ几る。

検出された動ベクトルの絶対誤差は、ノルムの大きさに
伴なって大きくなることが考えられるが、本発明では、
ノルムの大きさに伴なって内挿に用いるブロックの個数
が増やされる。即ち、前フレームにおいてより広い範囲
のブロックの画信号の平均化処理から内挿画信号を得る
ため、ノルムの大きさに伴なって大きくなる動ベクトル
検出誤差に由来する内挿画像の不連続性を軽減する効果
を持つ。加えて、前記の平均化処理は、二次元的に方向
性を有した処理である。動ベクトルの向き、および大き
さは、隣接する複数ブロックの動ベクトルの向き、およ
び大きさと相関を持つ可能性が高い。従って、たとえ動
ベクトルの検出誤まりが生じた場合でも本発明において
は、隣接する複数ブロックの動ベクトルにより指定され
る前フレームにおける複数ブロックの両信号をもって平
均化処理を行なうので、単に全方位で二次元的に平均化
し、常ｌこボケのある画像を再生する手法と異なり、動
ベクトルの検出誤まりがあるブロックについてのみボケ
を加え、正しい動ベクトルが検出される画像部分につい
てはボケを生じさせないため高品質な画像を再現するこ
とができる。

このように本発明によれば、動領域においても連続的で
自然な内挿画像が得らｎる。

【図面の簡単な説明】

第１図は、動き内挿原理を示す図、特にノルムが／Ｊ’
ｓさい場合、第２図は、同様にノルムが中程度の場合、
第３図は同様にノルムが大きい場合の内挿原理を示す図
。第４図は、本発明の方法を具現する際ζご用いる送信
回路例を示す図、第５図は受信回路例を示す図、第６図
は第５図で示した内伸回路の詳しい回路例を示す図であ
る。 図中、１０６間引き回路、１１．遅延回路、１２．最適
予測判定回路、１３゜減算回路、１４．可変遅延回路、
】５．量子化器、１６．フレームメモリ、１７．加算器
、１８、圧縮符号化回路、２０．符号伸長回路、２１．
加算器、２２．可変遅延回路、２３．フレームメモリ、
２４、可変遅延回路、２５゜除算回路、２６．伸長回路
、２７゜切換回路、２８゜内挿回路、３１゜可変遅延回
路、３２、平均化回路、３３．バッファメモＩＪ　、３
４．可変遅延回路、３５．動ベクトル判定回路、３６ｏ
ノルム計算器、３７゜比較器、３８．内挿側側１回路、
である。 Ｍ　４　図 １１１７ 」５　　　　乙　　　　図 手続補正書（１剖 昭和　　年　　月　　［１ 特許庁長官　殿 １、事件の表示　　　昭和５７年　特　許　願第２０７
０１９号２、発明の名称　　　　動画像信号の動ぎ内挿
方式およびその装置３、補正をする者 事件との関係　　　　　　　出　Ｊｆ（ｉ　　人東京都
港区芝Ｉｉ丁目３３番１″Ｉ″１（４２３）　　　日本
電気株式会社 代表者　関本忠弘 ４、代理人 〒１０８　　東京都港区芝Ｔｉ丁１１３７番８シ】−住
友三ＩＩＩヒル１１本電気株式会石内 （６５９１）　　弁理士　内　原　　　晋電話　東、ｊ
＋Ｃ（０３）４５６　３１１１（大代表）５　補正の対
象 図面の簡単な説明の欄 ６　補正の内容 明細書第１５頁第２行目〜第５行目に「図中、１０間引
き回路、１１．遅延回路、１２．最適予測判定回路、１
３．減算回路、１４．可変遅延回路、１５量子化器、１
６フレームメモリ、１７加算器、１８圧縮符号化回路、
」 とあるのを 「図中、ｌＯ遅延回路、１１最適予６１１１判定回路、
１２減算回路、１３．可変遅延回路、１４損子化器、１
５フレームメモリ、１６加嘗器、】７圧縮符号化回路、
」 と補正する。

Claims (2)

【特許請求の範囲】
1. （１）　　フレーム、またはフィールド単位の画面から
   なる動画像信号に対し、間引かれた画面の前後の画面か
   ら、ブロック単位に求められた動ベクトルを用いて間引
   か２”したフレームの画面を内挿する方法において、前
   記間引かれた画面の前後の画面から求められた動ベクト
   ルから、内挿すべき画面内の各ブロック（当該ブロック
   ）の動ベクトルを求めて、この動ベクトルの大きさに従
   って当該ブロックに対する内挿画信号の平滑化処理方法
   を制御することを特徴とする動画像信号の動き内挿方式
   。
2. （２）　　フレーム、またはフィールド単位の画面から
   なる動画像信号に対し、間引かれた前後の画面から、ブ
   ロック単位に第１の勤ベクトルを求める手段と、そのＳ
   ｉ！Ｊｌの動ベクトルを用いて、内挿すべき画面内の各
   ブロック（当該ブロック）の第２の動ベクトルを求める
   手段と、当該ブロックに対する内挿画信号を平滑化処理
   する手段と、第２の動ベクトルの大きさに従って、この
   平滑化処理を制御する手段を有することを特徴とする動
   画像信号の動き内挿装置。