JPH0325119B2 - - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、テレビジヨン信号等の画像フレーム
レート変換方式に係、特には、動画像のフレーム
レート変換に適し、例えば、テレビジヨン標準方
式の相互変換や、時間軸圧縮動画像信号の正規フ
レームレートへの伸長処理に適用して有効な動き
量を用いた動画像フレームレート変換方式に関す
る。

（従来技術） テレビジヨンを含め一般の動画像は、毎秒一定
のフレームレートで静止画像を次々と表示するこ
とを基本原理としていて、時間的に連続した信号
としては与えられていない。

例えば、放送テレビジヨン方式をみると、日本
では30フレーム／秒のフレームレートが採用さ
れ、一方、英仏を含む多くのヨーロツパ諸国では
25フレーム／秒のフレームレートが採用されてい
る。従つて、これらフレームレートが異なるテレ
ビジヨン方式を採用する国の間で、放送プログラ
ムを交換する場合には、フレームレートの変換技
術が不可欠となつている。

ここで、従来から行われているフレームレート
変換技術の原理を説明する。ただし、一般に放送
カラーテレビジヨン信号は、Ｒ，Ｇ，Ｂもしくは
Ｙ，Ｉ，Ｑといつた３成分の信号が複合された信
号であり、このような信号のフレームレートを変
換する場合には、元の３成分の信号に分解して、
それぞれの成分の信号に対して同一の方法による
フレームレートの変換を施している。従つて、以
下の説明では、前述した３成分信号のうちの１成
分の信号に着目してフレームレート変換技術を説
明することとする。これはモノクローム信号を前
提とする説明と当価である。

図１および図２にフレームレート変換の原理図
を示す。図１は、フレームレート25フレーム／秒
（a₂₅，b₂₅，…）へのフレームレート30フレー
ム／秒（a₃₀，b₃₀，…）への変換を、図２はこれ
の逆方向の変換を示している。いずれの場合に
も、縦の実線および点線は２次元的拡がりを有す
る動画像信号１フレームを示す。

これ等の例の場合、フレームレートの比率は
25：30＝５：６となつており、従つてある時点で
25フレーム／秒フレームの位置と30フレーム／秒
のそれとを同期させれば５あるいは６フレームお
きに両者のフレームが再び同期する。例えば図１
ではf₂₅フレームとg₃₀フレームが、図２ではg₃₀と
f₂₅とが一致することにより明らかである。従つ
て、これ等の異なるフレームレートの間の動画像
信号の変換において同様の処理を数フレームおき
に（上述例では５又は６フレームおき）繰り返せ
ば十分である。以下フレームレート25フレーム／
秒、30フレーム／秒の場合を中心に、特に図１の
場合（25フレーム／秒→30フレーム／秒）につい
て説明する。

図１の場合、具体的には変換フレームa₃₀，
b₃₀，…g₃₀は以下の方法により得られる。

フレームa₃₀……フレームa₂₅そのまま フレームb₃₀……フレームa₂₅とフレームb₂₅とよ
り合成 フレームc₃₀……フレームb₂₅とフレームc₂₅とよ
り合成 フレームd₃₀……フレームc₂₅とフレームd₂₅とよ
り合成 フレームe₃₀……フレームd₂₅とフレームe₂₅とよ
り合成 フレームf₃₀……フレームe₂₅とフレームf₂₅とよ
り合成 フレームg₃₀……フレームf₂₅そのまま フレーム信号の合成に際しては、内挿処理が行
われる。内挿処理のための内挿フイルタとしては
多くのものが考えられるが、ここではハードウエ
ア構成の最も簡単であると考えられる線形内挿フ
イルタを例にとる。

図３は、隣接する２フレーム、ＡおよびＢから
内挿フレームＩを内挿処理する例である。すなわ
ち、内挿フレームＩ上の各画素（標本化された画
像信号の１標本値）y_ij（ｉは走査線番号、ｊは左
端より数えた画素の番号）に対して、隣接する２
フレーム、ＡおよびＢにおいて同一位置にある２
画素x_ij ⁽¹⁾およびx_ij ⁽²⁾を用いて以下のように内挿を
行う。

y_ij＝ｂ×x_ij ⁽¹⁾＋ａ×x_ij ⁽²⁾ …(1) ただし、ａ，ｂは内挿フレームと隣接フレーム
Ａ，Ｂとの時間軸上の距離比であり、以下条件に
従つて正規化しておく。

ａ＋ｂ＝1.0（ａ，ｂ０） …(2) 例えば図１においてフレームb₂₅，e₂₅よりフレ
ームc₃₀を合成する場合には、ａ＝２／３、ｂ＝１／３ である。

（発明が解決しようとする問題点） 上述した従来技術によつて、明らかな静止画像
を処理する場合、すなわち、図３の例でフレーム
ＡとフレームＢの信号値が雑音信号の重畳を除い
て同一の場合には、内挿フレームＩの信号値もこ
れらの信号値と同一となり、解像度の劣化は生じ
ない。

しかしながら、画像信号が動く場合、図３にお
いて内挿に用いる２画素x_ij ⁽¹⁾，x_ij ⁽²⁾が同じ信号値
をもつことはまれて、エリアジング誤差と呼ばれ
る余分な信号成分が含まれてしまう。このため、
従来技術には、内挿フレームＩの信号が極端に
ぼける、動画像の動きに不自然さ（ジヤーキネ
ス）が生じる等の欠点があつた。この傾向はカメ
ラの対象動画像に対する分解能の向上、対象動画
像の動き量の増加に伴い顕著となることが明らか
にされている（「動画像信号のフレーム数変換−
時間軸方向処理による変換特性の解析」電子通信
学会論文誌 ’84／2vol.J67−ＢNo.２）。

（問題点を解決するための手段） 本発明は以上の単純な時間軸方向の内挿特有の
欠点を除去し、画像信号に多くの動きが含まれる
場合においても解像度の劣化することの少ないフ
レームレート変換手法を提供することを目的とす
る。

本発明の特徴は変換合成フレームの個々の画素
あるいはこれ等の画素を幾つかまとめた画素ブロ
ツクに対して、対応する画像信号の動き量を利用
して、図３のように単に隣接する２フレームにお
いて合成位置を同一位置の画素を用いるのではな
く、対応した動き量だけ偏位した画素を用いて内
挿を行うことにある。

（作 用） 図４は本発明の原理を示す図である。先ず、内
挿フレームＩ内の内挿画素y_i,jに対し、この画素
またはこの画素を含んだブロツクに対する動き量
を求め、その結果をv_x，v_y（画素／フレーム）と
する。次に隣接した２フレームより、この動き量
だけ偏位した位置の画素、x⁽¹⁾ｉ−av_x，ｊ−
av_y）、x⁽²⁾（ｉ＋b_x，ｊ＋bv_y）を抽出し、次式に
より内挿処理を実行する。

y_i,j＝ｂ×x⁽¹⁾ｉ−av_x，ｊ−av_y ＋ａ×x⁽²⁾ｉ＋b_x，ｊ＋bv_x …(3) ここで、ａ、ｂは前述と同様、内挿フレームＩ
と隣接フレームＡ，Ｂとの時間軸上の距離比であ
る。

この内挿処理を行う際、例えばフレームＡ中の
画素位置ｉ−av_x，ｊ−av_yが必ずしもフレームＡ
の走査線及び走査線上の標本点で定義される離散
して存在する画素のいずれかと正確に一致すると
は限らない。このような場合には、これと隣接し
た画素値で置き換えることが考えられるが、近接
する４画素を用いて線形内挿してその画素位置ｉ
−av_x，ｊ−av_yに匹敵する画素値を求め、これを
内挿処理に用いることが、画像信号のボケを少な
くする意味で有効である。このような場合の画素
値x⁽¹⁾ｉ−av_x，ｊ−av_yとx⁽²⁾ｉ＋b_x，ｊ＋b_yは次
式(4)、(5)により求めることができる。

x⁽¹⁾ｉ−av_x，ｉ−av_y＝α₂｛β₂×x_i,j＋β₁×x_i,j+
1｝ ＋α₁｛β₂×x_i+1,j＋β₄×x_i+1,j+1｝ …(4) ただし、 i′＝〔ｉ−av_x〕（〔・〕はガウス記号） j′＝〔ｊ−av_y〕（〔・〕はガウス記号） α₁＝｜１−av_x−〔−av_x〕｜＜１ α₂＝１−α₁ β₁＝｜−av_y−〔−av_y〕｜＜１ β₂＝１−β₁ x⁽²⁾ｉ−bv_x，ｊ−ab_y＝γ₂｛δ₂×x_i,j＋δ₁×x_i,j+
1｝ ＋γ₁｛δ₂×x_i+1,j＋δ₁×x_i+1,j+1｝ …(5) ただし、 i″＝〔ｉ＋bv_x〕（〔・〕はガウス記号） j″＝〔ｊ＋bv_y〕（〔・〕はガウス記号） γ₁＝｜bv_x−〔bv_x〕｜＜１ γ₂＝１−γ₁ δ₁＝｜bv_y−〔bv_y〕｜＜１ δ₂＝１−δ₁ なお、動き量v_x，v_yを求める方法は、テレビ画
面上同一位置を基準として、任意のシフトベクト
ルだけずれた位置の前フレームの信号と入力信号
とから評価関数値を求め、動ベクトルの検出をＮ
段階に分けて行い、段Ｌ段階（Ｌ＝１、２…Ｎ−
１）において定められた第Ｌのシフトベクトル群
について求めた評価関数値にもとづいて第（Ｌ＋
１）シフトベクトル群を決定し、第Ｎ段階におい
ては決定された第Ｎのシフトベクトル群について
求めた評価関数値にもとづいて１個のシフトベク
トルを動ベクトルとして検出する方法（特開昭55
−15874「フレーム間符号化装置」）や特開昭55−
162683〜５（「テレビジヨン画像の動き検出方法）
等、従来から公知な技術を適用できる。

さらに動き量を高い精度で検出できるものとし
て勾配法を利用した方法がある。これは、あるフ
レームのある画素または画素ブロツクの動き量を
求める際、先ず前フレームからこの画素または画
素ブロツクと同じ座標位置にある画素または画素
ブロツクに勾配法を適用して動き量（ベクトル
量）を求め、次に求められた動き量だけ逆方向に
偏位した画素または画素ブロツクを切出し、再び
勾配法により動き量を求める。この操作を検出さ
れる動き量がある値以下になるまで繰返して、検
出されたそれぞれの動き量のベクトル総和を前記
求めようとする画素または画素ブロツクの動き量
とするものである（電子通信学会、IE83−93、
「反復勾配法による動き検出」、1984、２、２）。

（実施例） 図６は、上述した本発明のアルゴリズムに従つ
た装置の一構成例を示す図である。図において、
１は図４におけるフレームＡを記憶するフレーム
メモリ２を内包し画素値x⁽¹⁾ｉ−av_x，ｊ−av_yを
計算する回路、２は図４におけるフレームＢを記
憶するフレームメモリ４を内包し画素値x⁽²⁾ｉ−
bv_x，ｊ＋bv_yを計算する回路、５は内挿フレーム
Ｉを記憶するフレームメモリ、６，９は加算器、
７，８は乗算器である。なお、計算回路１および
２については、後に詳説する。本構成例への入力
信号は、Video inからの画像信号の他、内挿画
素座標ｉ，ｊ、内挿フレームの位置を示すパラメ
ータａおよび外部より与えられる画像信号の動き
量v_x，v_yである。なお、点線で示す１と３の内容
は図６及び図７に示される。なお、パラメータａ
は式(2)において説明したように原フレームと変換
フレームの相対的位置関係により一意に定まる。

次に、本実施例の動作を説明する。

Video inからの画像信号の隣接する２フレー
ムが、フレームメモリ２および４に順次格納され
る。計算回路１および２は、外部から与えられる
内挿画素の座標ｉ，ｊ、画像信号の動き量v_x，v_y
およびパラメータａを元して、計算回路１は画素
値x⁽¹⁾ｉ−av_x，ｊ−av_yを計算し、計算回路２は
画像値x⁽²⁾ｉ＋bv_x，ｊ＋bv_yを計算する。乗算器
７は計算回路１の出力に（１−ａ）すなわちｂを
乗算し、式(3)の右辺第１項を求める。乗算器８は
計算回路２の出力にａを乗算し、式(3)の右辺第２
項を求める。これらの信号を加乗器９によつて加
算し、式(3)の画素値y_i,jを求められる。この画素
値y_x,jは、フレームメモリ５の座標ｉ，ｊで指定
される番地に記憶される。したがつて、フレーム
メモリ５を所定のタイミングで読み出すことによ
り、変換フレームＩを得ることができる。

ここで、フレーム数の変換においては変換フレ
ームの読み出し速度が入力原フレームの読み出し
速度と異なる。これは図２に示したようにフレー
ムレートの低減を図る場合よりもむしろ図１のよ
うにフレームレートを増加させる場合に問題とな
る。図１の変換に対応して、図６のフレームメモ
リＡへ入力する映像信号、内挿処理を完了しフレ
ームメモリＣへ記憶され新たなフレームレートで
読み出される映像信号との関係を図７に示す。

図７において、ａはフレームメモリ２および３
への画像信号の読み込みタイミングを示し、ｂは
フレームメモリ５への内挿信号の記憶と読み出し
タイミングを示している。

次に図６の計算回路１および２の具体的な構成
例を説明する。計算回路１は式(4)に従う演算を行
い、計算回路２は式(5)に従う演算を行うものであ
り、これらの回路構成は基本的に同じであるの
で、計算回路１について詳説する。

図８は計算回路１の構成例を示すものであり、
図において、１０，１５，２０〜２３，２６，２
７は乗算器、１１，１４，１６，１９，２４，２
５，２８は加算器、１３，１８は小数点以下のみ
出力する小数化器、１２，１７は小数点以下を切
り捨てる整数化器である。図５および式(4)、(5)に
関連して説明したように、フレームメモリ２から
読み出すべき画素は、内挿すべき画素の座標ｉ−
av_x，ｊ−av_yの周囲にある４画素x_i,j、x_i+1,j、
x_i+1,j、x_i+1,j+1である。フレームメモリ２は、内
挿すべき画素の座標ｉ−av_x，ｊ−av_yを与えるこ
とで、前記４画素が出力されるように構成されて
いる。内挿すべき画素の座標のうち、ｉ−av_xを
求めるのが乗算器１０、加算器１１、整数化器１
２であり、ｊ−av_yを求めるのが乗算器１５、加
算器１６、整数化器１７である。ここで、乗算器
１０で求まるａ・v_xの値のうちの小数部は図５で
示したα₁に該当し、乗算器１５で求まるａ・v_yの
値のうちの小数部は図５で示したβ₁に該当する。
したがつて、小数化回路１３，１８で小数部を取
り出せばα₁，β₁を求めることができる。加算器１
４，１９はα₁＋α₂＝１、β₁＋β₂＝１の関係から
α₂，β₂を求めるものである。以上、４画素とα₁，
α₂，β₁，β₂が求まれば式(4)に従つた演算は容易で
あり、２０〜２８の演算子は式(4)のそれぞれに対
応することが判る。

以上述べた計算回路１の構成例は、演算回数が
多いので、処理時間が問題になる場合がある。こ
のような場合には、図５で説明した内挿処理を行
わず、周囲の４画素のうちの１画素を選択するこ
とが考えられる。このような簡易な計算回路の構
成例を図９に示す。図９では、座標ｉ，ｊを求め
る際に、ａ・v_xおよびａ・v_yの値を四捨五入する
ことで、誤差を小さくするようにしている。

以上、フレームレートの変換について詳細に説
明した。ところで前述のようにTV信号の標準変
換においてはフレームレートの変換に加えて走査
線数の変換が必要である。一フレームを構成する
走査線数が異なる場合には今まで述べて来た内挿
フレーム内の画像信号の内挿位置が原画像信号の
標本的位置と縦方向に周期的なずれを生ずる。こ
の様子を走査線数比６：５の場合を例に図１０に
示す。

この例の場合には原フレーム信号の走査線間隔
を１とすれば内挿フレーム上の走査線間隔は1.2
となり、従つて式(3)は y_i,j＝ｂ×x⁽¹⁾ｉ−av_x，1.2j−av_y＋ａ×⁽²⁾ｉ＋b
v_x，1.2j＋bv_y…(8) x⁽¹⁾ｉ−av_x，１，2j−av_y＝α₂｛β₂×x_i′_,j′＋
β₁×x_i′_,j′₊₁｝ ＋α₁｛β₂×x_i′_+1,j′＋β₁×x_i′_+1,j′₊₁｝ i′＝〔ｉ−av_x〕（〔・〕はガウス記号） j′＝〔1.2j−av_y〕（〔・〕はガウス記号） α₁＝｜av_x−〔av_x〕｜＜１ α₂＝１−α₁ β₁＝｜1.2j−av_y−〔1.2j−av_y〕｜＜１ β₂＝１−β₁ x⁽¹⁾ｉ−bv_x，１，2j−bv_yについても同様 へ変更される。この場合、動き量v_x，v_yは内挿画
素に関して求めた動き量を適用するのは前述の通
りである。

又、この場合、図８，９はｊを1.2×ｊとする
ために多少の変更が必要であるが、変換回路全体
からすればほとんど無視することのできる程小さ
いものである。

一方、以上の説明は走査線数比６：５の場合で
あるが、一般の走査線数比ｋ：ｌの場合には上述
１、２の代りにｋ／ｌを用いれば良い。

（発明の効果） 以上述べたごとく本発明によつて画像信号に動
きが存在する場合においても動き量の検出結果を
フレーム内挿処理に考慮することによつてボケ、
動きの不自然さ（ジヤーキネス）の少い高品質変
換画像が得られる。

【図面の簡単な説明】

図１と図２と図３は従来のフレームレート変換
の例を示す図、図４は本発明によるフレーム信号
の時間軸内挿を示す図、図５はフレーム内画像信
号の内挿を示す図、図６は本発明によるフレーム
数変換回路のブロツク図、図７はフレームレート
変換の為の処理タイムチヤートを示す図、図８は
図６における計算回路１のブロツク図、図９は変
換フレーム画像信号の内挿のための回路構成を示
す図、図１０は走査線数比６：５の場合の内挿フ
レーム上の走査線の相対的ずれを示す図である。

Claims (1)

1. 【特許請求の範囲】 １ 所定のフレームレートを有する原動画像信号
   の連続する２フレームの間に新たな動画像フレー
   ムを生成して該原動画像を異なるフレームレート
   の動画像信号に変換する動画像フレームレート変
   換方式において、 前記新たな動画像フレームを生成する際に前記
   ２フレーム間の画像の動き量を検出し、該検出し
   た動き量に基づきそれぞれのフレームにおいて内
   挿すべきフレーム上の各画素に対応する位置に対
   しての相互に偏立した最近傍の位置の画素、ある
   いは前記偏立した位置に近接した画素を用いて新
   たに画素を線形内挿し、さらにこれらの画素を用
   いて新たな動画像フレームの画素値の内挿処理を
   することを特徴とする動き量を用いて動画像フレ
   ームレート変換方式。