JPS61159880A

JPS61159880A - 方式変換装置

Info

Publication number: JPS61159880A
Application number: JP60000712A
Authority: JP
Inventors: Yutaka Tanaka; 豊田中; Daiji Nishizawa; 台次西澤; Yuichi Ninomiya; 佑一二宮; Toshiro Omura; 大村　俊郎; Taishirou Kurita; 泰市郎栗田; Yoshimichi Otsuka; 吉道大塚
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1985-01-07
Filing date: 1985-01-07
Publication date: 1986-07-19
Also published as: JPH0232835B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（技術分野）本発明は、テレビジョン画像信号のフレーム数および走
査線数を変換するテレビジョン方式変換方式に関し、特
に、方式変換にもとなって生ずる複数の動き画像部分の
ぼけおよびジャキーネスなどの画質劣化を軽減し得るよ
うにしたものである。

（従来技術）従来方式のテレビジョン方式変換装置では、第８図に示
すように、Ｍライン／Ｎフィールド方式のテレビジョン
信号をにライン／ヒフイールドの異種方式のテレビジョ
ン信号に変換するために、補間フィルタ４１と間引き回
路４２とにより、時空間線形信号処理を行なって、毎秒
フィールド数と走査線数を変換していた。例えば、Ｎ＝
６０フィールド／秒の入力テレビジョン信号をＬ＝５０
フィールド／秒の出力テレビジョン信号に変換する場合
には、第９図に示すように、入力信号の第１〜第６フイ
ールドを出力信号の５フィールドａ−ｅに変換するのが
変換周期となる。かかるフィールド数変換においては、
連続した２フイールドの入力画像信号の中間に位置する
新たなフィールドの出力画像信号を形成するのに、前後
のフィールドの入力画像信号の加重平均を求める線形信
号処理を行なう際、画像に動きがあると、加重平均を求
める２フイールドの入力画像信号の位置がずれているの
で、画像のエツジ部にぼけやジャキーネスが生じ、動き
画像が著しい画質劣化を来たす、という重大な欠点があ
った。

この従来の欠点は、単なる直線内挿を行なうために必然
的に生ずるものであり、本願発明者らによる同一出願人
の特願昭５９−２４４６３８号「テレビジョン方式変換
方式」においては、画像の動き、動きベクトルを検出し
、画像位置を制御の上内拝する方式を提案し、通常の画
像における前記欠点を大幅に改善した。確かに画像の多
くは特定の被写体をフォローするパン、チルトのような
単純な動きのものが多く、この手法でかなりの効果は得
られるものの、同一画像中に比較的注目され易くかつ異
なった動きをする複数の画像部分を含むものもあり、こ
のような場合には画質改善効果が十分得られない欠点が
あった。

（発明の目的）本発明の目的は、上述の残された欠点をも除去し、方式
変換を施すべきテレビジョン−信号の画像に複数の異な
った部分があっても、変換出力画像信号の動きぼけやジ
ャキーネスによる画質劣化を大幅に軽減し得るようにし
た方式変換装置を提供することにある。

（発明の構成）すなわち、本発明方式変換装置は、テレビジョン方式の
フレーム数を変換するに当り、連続したＮおよびＮ＋１
フレームの原画像信号から、直線内挿により新たなフレ
ームの直線内挿画像信号を形成するとともに、前記原画
像を複数の領域に分割して、それぞれの領域の画像の移
動の方向および距離に応じた動きベクトルを検出し、こ
れらのベクトルに応じて前記ＮおよびＮ＋１フレームの
原画像信号全体をそれぞれ移動させた複数のＮおよびＮ
＋１フレームの動き補償画像信号を形成して、複数の新
たなフレームの動き補償内挿画像信号を形成し、Ｎおよ
びＮ＋１フレームの前記原画像信号と、前記複数のＮお
よびＮ＋１フレームの動き補償画像信号とにおけるそれ
ぞれのフレーム閂差の絶対値から、それら絶対値の最小
値に対応する前記直線内挿画像信号、もしくは前記複数
の動き補償内挿画像信号のいずれかを選択することによ
り、変換出力画像信号を形成するようにしたことを特徴
とするものである。

（実施例）本発明実施例の説明に先立ち本発明装置の理解を容易に
するため、本発明に関連ある前記特願昭５９−２４４６
３８号の実施例を図面を参照して説明する。

前記特許出願によるテレビジョン方式変換装置における
動き補償型フレーム数変換部の構成例を第１０図に示す
。図示の構成によるフレーム数変換部においては、順次
走査画像信号を線形補間フィルタ１４．１５．１６．１
９、動き調整バッファメモリ２２゜２３および動き、動
きベクトル検出回路２４に供給する。線形補間フィルタ
は、従来慣用のものと同様に、入力順次走査画像信号に
対して連続した２フレーム信号の加重平均による線形内
挿を施し、新たな内挿フレーム画像信号を形成する。一
方、動き調整バッファメモリ２２．２３は、一旦記憶し
た順次走査画像信号について、動き、動きベクトル検出
回路２４によって検出した一方向性ベクトル、すなわち
、撮像カメラのパン、チルトなどによる移動の方向およ
びフレーム内挿タイミングに対応した制御信号θ１．θ
２により、それぞれ制御したメモリアドレスの画像信号
を読出すことにより、画像の動きに対する信号波形のな
まりを補償した動き補償内挿画像信号を形成する。なお
、この制御信号θ１．θ２は、１画面、すなわち、変換
１フレーム毎に形成されるものとする。

撮像カメラを速度ｖ０でパンしながら、速度ｖ０の移動
物体例えば人物を背景例えば樹木とともに撮像している
状態を示すと、かかる場合には、移動物体がカメラのパ
ン方向にパン速度と同じ速度で平行移動していることに
なるので、移動物体については、カメラに対する相対速
度が零となるから、移動物体像は画面上においては静止
画像領域となり、反対に、静止している背景の方が画面
上では動き画像領域となる。動き・動きベクトル検出回
路２４においては、入力順次走査画像信号のフレーム間
差信号に基づいて制御信号θ１．θ２を検出し、その制
御信号θ１．θ２により前述したように動き調整バッフ
ァメモリ２２．２３を制御して入力順次走査画像信号の
動き画像領域に対して画像の動きによるぼけやジャキー
ネスを補償した動き補償内挿画像信号を形成させる。次
にその動き補償内挿画像信号と直線内挿画像信号を加重
加算して合成する際に、フレーム間差信号が小さい方の
内挿画像信号に対する加重比を大きくするように可変係
数器１７および１８をそれぞれ制御するようにした制御
信号θ３を形成する。

したがって、線形補間フィルタからの直線内挿画像信号
を可変係数器１７に供給するとともに、動き調整バッフ
ァメモリ２２．２３からの動き補償内挿画像信号を可変
係数器１８に供給し、それらの可変係数器１７および１
８の各係数℃および（１−Ａ＞を動き・動きベクトル検
出回路２４からの上述した制御信号θ３により相補的に
可変制御したうえで、それらの可変係数器の出力画像信
号を加算器２０により加算合成し、Ｍライン／上フレー
ム方式のフレーム数変換出力順次走査画像信号として取
出せば、パン撮像出力画像信号に対しては、画面上動き
画像領域となる大面積の背景画像は、画像の動きによる
ぼけやジャキーネスの少ない動き補償内挿画像信号成分
の大きい変換出力画像となり、また、画面上静止画像領
域となる移動物体画像は、線形補間による完全な直線内
挿画像信号成分の大きい変換出力画像信号となり、その
結果、従来の直線内挿補間のみに比し、画面全体として
画像の動きによる画質劣化が極めて少ないフレーム数変
換出力画像信号が得られる。

しかしながら前記特許出願では、すでに述べたように、
特定の被写体をフォローするカメラのパン、チルトによ
る画像に対しては十分効果が得られるものであるが、例
えば第２図に示すような同−画面中に左右に向って走行
する自動車が、目立つ大きさで存在する特殊な画像の場
合には、効果が十分得られない欠点がある。これは画面
中において１つしか動きベクトル検出動き調整機能を備
えていないためであり、本発明はこのような特殊な画像
の場合を含めてフレーム変換における画質劣化を低減し
ようとするものである。

第１図に本発明装置の実施例の構成を示す。前記特願昭
５９−２４４６３８号発明実施例の構成図第１０図と本
発明実施例の構成図第１図とを比較すれば明らかなごと
く、本発明の骨子は前記特願昭５９−２４４６３８号を
一歩進めた発明である。

第１０図では動き調整バッフ７メモリの組（２２，２３
）は単に１個であったが、第１図においては複数組（６
，７）存在する（第１図では４組の例を示しである）。

これによって第２図に示すような同−画面中に２個以上
の目立つ大きさの被写体をフォローしようとするもので
ある。

また第１０図では直線内挿画像信号（１９の出力）と動
き補償内挿画像信号（２１の出力）とは混合される（２
０）前に、動き・動きベクトル検出回路２４からの制御
信号θ３により制御された相補的可変係数β、１−Ｊ２
が乗ぜられているのに対し、第１図ではまず連続したＮ
およびＮ＋１フレームの原画像信号から形成した直線内
挿の新たなフレームの直線内挿画像信号（１，２，３，
４，５で形成、第１０図の１３．１４．１５．１６．１
９に対応しこの部分は同じ）と、動きベクトル検出回路
ｐにより検出された複数の動きベクトルにより制御され
た複数のＮおよびＮ＋１フレームの動き補償画像信号（
それぞれ６．７の出力）から形成した複数の新たなフレ
ームの動き補償内挿画像信号（それぞれ８の出力）とを
用意し、ＮおよびＮ＋１フレームの原画像信号と、複数
のＮおよびＮ＋１フレームの動き補償画像信号（それぞ
れ６，７の出力）とにおけるそれぞれのフレーム間差の
絶対値（それぞれ１０の出力）を最小値ラベル検出回路
１１に導いて、それらフレーム間差の絶対値を比較して
最小値を求め、それら絶対値の最小値に対応する前記直
線内挿画像信号、もしくわ前記複数の動き補償内挿画像
信号のいずれかを信号選択回路１２で選択し、変換出力
画像信号を得ている（Ｍライン／ＮフレームをＭライン
／上フレームに変換）。

以上が本発明装置構成の主要部分の説明であるが、次に
第１図示の動きベクトル検出回路の中味についてその一
実施例を記述し、画面中目立った動きをする複数の動き
画像部分に対応する動きベクトルの正しい検出法を明ら
かにする。

動きベクトルの検出方法すでに説明したように、本発明では同一画像に含まれる
複数の異なった動き画像部分に対して適切な動き補償を
行なった内挿画像信号を形成するために、第１図示の動
きベクトル検出回路２４を設けて、前記具なった複数の
動き画像部分に対応する動きベクトルを検出している。

この場合に適合する正しい動きベクトルを検出するため
に、本発明では特に、方式変換すべき画像信号を対象と
する異なった動き画像部分の数や統計的な画面上の位置
などに対応した複数の領域に分割するとともに、各分割
領域からの動きベクトル検出にあたり、所要の動き画像
における動きベクトル量に対応する荷重検出法を適用し
た。

以下にこの検出方法の具体例にって第３図を参照して説
明する。第３図（ａ　）は画像の複数領域への分割例と
して左右・上下に分割した場合（４分割）を示す。各動
きベクトルはこの分割領域毎に検出するために、各分割
領域内には第３図（ｂ）に示すごとく多数の動きベクト
ル検出小ブロックを設けである。この小ブロックは一画
面全体で４０００個程度したがって一分割領域には１０
００個程度になる。

各小ブロックの大きさは、検出すべき動きベクトルの最
大値を考慮して定められ、その範囲に含まれる画素数は
第３図（Ｃ）に示すごとく例えば垂直方向上下４ライン
、水平方向左右２０サンプル程度に選ばれる。したがっ
て小ブロックの中心の画素ＰｉＪに対して、この画素か
ら各サンプル点に向う動きベクトルＶｎは３２０程度考
慮することができる。

動きベクトル検出小ブロックを利用する所要の動きベク
トル検出法には、周知のマツチング法などがあり、詳細
は省略するが、その大要は次の通りである。画像信号の
ＮおよびＮ＋１フレーム信号において、例えばＮフレー
ムの画像の各小ブロツク毎にベクトルＶｎの移動を与え
た後にＮ＋１フレーム信号との差を求め、各小ブロック
における差の総和が最小となるベクトルをもって動きベ
クトルとするものである。この関係を式で表わせば次の
ようになる。

ただしＤＶｎはベクトルＶｎの移動を与えたＮフレーム
信号とＮ＋１フレーム信号との差の各ブロックの総和、
ｄｖｍｐ　ｉｊは小ブロックＰｉｊにおけるベクトルｖ
ｎを与えたＮフレーム信号とＮ＋１フレーム信号との差
、Ｉは小ブロックの数である。

この式で表わされる動きベクトル検出法では、画像の一
様な動き部分の大小、動き量の大きざには無関係に動き
ベクトルが検出される欠点があり、本発明に適用する動
きベクトル検出法としては不充分である。その理由は画
像領域を分割したとはいえ、同一分割画像領域において
も異なった動きの画像部分を含むこともあり、またこの
領域内のほとんどの画像には動きがないが、注目される
小面積の動き画像部分が存在することもあるからである
。

そのため、本発明に適用する動きベクトル検出において
は、Ｄｖｎからその最小値に対応するＶｎを直接求める
のではなくて、所要の荷重係数ＷｎをかけたＷｎＸＤＶ
ｎについて、その最小値に対応するＶｎを求めるように
している。

第３図（ｄ　）〜（ｆ）はこの荷重係数の例を示したも
のである。第３図（ｄ　）の場合は、特に水平方向の比
較的大きな動きベクトルが検出されやすく、垂直方向や
小さい動きベクトルは検出され難くしようとする場合の
荷重例であり、画面上水平方向に一定速度以上で移動す
る画像部分から動きベクトルを検出したい場合に適用さ
れる。

第３図（ｅ）は特に垂直方向の比較的大きな動きベクト
ルを検出する場合、第３図（［）は垂直、水平両方向の
比較的大きな動きベクトルを検出する場合の荷重例であ
る。

第３図（ｄ　＞、　　＜ｅ　）、　　（ｆ　）何れかの
場合にも検出されやすい方向のベクトルの荷重係数は小
さく、検出され難い方向の荷重係数を大きくとることに
注目されたい。

次に最小値ラベル検出回路１１から信号選択回路１２に
いたる部分の本発明に適用して好適な実施例について述
べる。

動き補償内挿画像信号の画質改善これまでに、直線内挿画像信号と複数の動き補償内挿画
像信号とから、フレーム間差の絶対値の最小値もしくは
、フレーム間差信号の総和に荷重係数を乗じた上で求め
た最小値に応じて、所要の内挿画像信号を選択し、変換
出力画像信号とすることを述べたが、当該サンプル点に
関する前記最小値のみによって内挿画像信号を選択する
と、直線内挿画像部分と複数の動き補償内挿画像部分間
、または動き補償内挿画像部分相互間の接続点などでい
わゆる虫くい状の画質劣化を生ずる場合がある。

この画質劣化を防止するための構成例を第４図に示す。

第４図中の最小値のラベル検出回路１１および信号選択
回路１２は本発明の実施例である第１図中の同名のブロ
ックと同じであり、第４図ではこの両回路ブロックの間
にエリヤフィルタ３１を設けて前記の虫くい状画質劣化
を防止するようにした。

このエリヤフィルタ３１の構成は例えば第５図のように
、複数の１Ｈメモリ３３，１サンプルメモリ３４などか
らなり、二次元的なサンプル領域を形成するフィルタで
ある。第６図は当該サンプル点を中心とする二次元的サ
ンプル領域とその領域に収容されたデータの例を示した
ものである。この例では当該サンプル点を中心に垂直５
サンプル、水平１５サンプルの７５サンプル領域をもっ
ている。また収容されたデータはラベルをＯ”と１″の
２つの場合を示した。この２種のラベルは例えば２種の
動きベクトルに対応するものと考えればよい。第６図の
収容データの場合、第１図の構成では、第６図の中央ハ
ツチ部分（当該サンプル点）のデータであるラベル゛１
′″の内挿画像信号が選択されることとなるが、この構
成例ではサンプル領域に含まれる０″および１″のラベ
ルのそれぞれの数がチェックされ、第５図の比較回路３
６において別に設定したスレシホールドレベルと比較さ
れ、スレシホールド以上の数のラベルが出力される。第
６図のサンプル領域では総数１５なので３８以上の数の
ラベルが出力される。

なおラベルが３種以上の場合も同様であるが、その場合
は最大の数のラベルが出力され、対応する内挿画像信号
を選択する。

第７図は虫くい状画質劣化防止の他の構成例である。最
小値判定回路の入力に対して、それらの判定出力のそれ
ぞれに対して前記のエリヤフィルタを設け、それらのフ
ィルタ出力値のうち最大値を判定して当該サンプル点の
ラベルとし内挿信号の選択を行なうものである。

（発明の効果）以上述べてきたように、本発明装置を使用すれば、テレ
ビジョン画像信号のフレーム数を変換するに際し、比較
的口につき易くかつ異なった画像部分が複数個あっても
変換に伴って生ずるぼけおよびジャキーネスなどの画質
劣化を軽減することができる。

また本発明装置の動きベクトル検出方法に従来にない荷
重係数手法を用いることにより、あらかじめ目につき易
い方向の移動を強調して検出できるので、より良好なフ
レーム数変換が可能である。

またさらに最小値ラベル検出回路と信号選択回路の間に
エリヤフィルタを設けた信号処理をすることにより、内
挿画像信号が異なる部分間の境目のいわゆる虫くい状の
画質劣化を除去してより良好なフレーム数変換を可能と
することができる。

【図面の簡単な説明】

第１図は本発明装置の実施例の構成を示す図、第２図は
本発明の詳細な説明するための挿絵図で、第２図（ａ　
）はＮフレーム画像（原画像）、第２図（ｂ　’）はＮ
＋１フレーム画像（原画像）、第２図＜Ｃ，）は直線内
挿画像、第２図（ｄ　）は車Ａに対する動き補償内挿画
像、第２図（ｅ　）は車Ｂに対する動き補償内挿画像を
示す図、第３図は本発明の動きベクトル検出方法を説明
するための図で、第３図（ａ　）は画像分割の例を示し
、第３図（ｂ）はその１画像分割領域の小ブロックへの
分割を示し、第３図（Ｃ）はその１小ブロツクを示し、
第３図（ｄ　＞、　　（ｅ　＞、　　Ｃｆ　）は各々荷
重係数の例を示す図、第４．５．６．７図は本発明装置のエリヤフィルタの働
きを説明するための図、第８．９．１０図は従来方式の変換装置を説明するため
の図である。１．１３・・・フレーム順位回路２．１４・・・フレームメモリ３、　４．１５．１６．１７．１８・・・係数乗算器５
、　８．１９．２０．２１・・・加算器６、　７．２２
．２３・・・動き調整バッファメモリ９・・・動きベク
トル検出回路１０・・・絶対値回路（ＡＢＳ）１１・・・最小値ラベル検出回路１２・・・信号選択回路２４・・・動き・動きベクトル検出回路３１・・・エリ
ヤフィルタ３２・・・最大値判定回路　３３・・・１Ｈメモリ３４
・・・１サンプルメモリ３５・・・総和加算　　　　３６・・・比較回路４１・
・・補間フィルタ　　４２・・・間引き回路特許出願人
　　　日　本　放　送　協　会第１図第２図第４図第５図（ｌ　　　　ｂ　　　　ｃ　　　　ｄ　　　　ｅ　　　
　ｆ　　　　　　　　　ｔ（綺Ｍ）研究所内丁目１幡１１号　日本放送協会放送技術丁目１０１ｒｌ
１号　日本放送協会放送技術手続補正書昭和６０年２月１８日１、事件の表示昭和６０年　特　許　願第　７１２〜号・２、発明の名
称方式変換装置３、補正をする者・バ件、との関係　特許出願人（４３５）日本放送協会５゜６、補正の対象　明細占の「発明の詳細な説明」の’Ａ
Ｆ（１１、明乏を０１１第１４頁第９行（７）　「ｄｖｍｐｉｊ　Ｊを「
ｄｖｎｐｉｊ　Ｊ訂正する。

Claims

【特許請求の範囲】１、テレビジョン方式のフレーム数を変換するに当り、
連続したＮおよびＮ＋１フレームの原画像信号から、直
線内挿により新たなフレームの直線内挿画像信号を形成
するとともに、前記原画像を複数の領域に分割して、そ
れぞれの領域の画像の移動の方向および距離に応じた動
きベクトルを検出し、これらのベクトルに応じて前記Ｎ
およびＮ＋１フレームの原画像信号全体をそれぞれ移動
させた複数のＮおよびＮ＋１フレームの動き補償画像信
号を形成して、複数の新たなフレームの動き補償内挿画
像信号を形成し、ＮおよびＮ＋１フレームの前記原画像
信号と、前記複数のＮおよびＮ＋１フレームの動き補償
画像信号とにおけるそれぞれのフレーム間差の絶対値か
ら、それら絶対値の最小値に対応する前記直線内挿画像
信号、もしくは前記複数の動き補償内挿画像信号のいず
れかを選択することにより、変換出力画像信号を形成す
るようにしたことを特徴とする方式変換装置。２、前記それら絶対値の最小値を求めるに際し、ベクル
トＶｎの移動を支えたＮフレーム信号とＮ＋１フレーム
信号との差の各小ブロックの総和に、所望の係数を乗じ
た上で最小値を求めることを特徴とする特許請求の範囲
第１項記載の方式変換装置。３、前記いずれかを選択するに際し、最小値のラベル検
出回路と信号選択回路間にエリヤフィルタを設けて信号
処理をおこない、異なる内挿画像信号が出力される新た
なフレームの互いに異なる領域の境界の、虫くい状画質
劣化を防止したことを特徴する特許請求の範囲第１項記
載の方式変換装置。