JPH03101389A - 動画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、テレビカメラ（工業用カメラまたはビデオカ
メラ）などから人力される時間的に連続する動画像信号
を、異なるフレームレートで画像表示したり、あるいは
画像伝送・ファイリングする場合の処理方法に関する。

〔従来の技術〕

ＴＶ左カメラ工業用カメラまたはビデオカメラ）からの
画像をディジタル処理して表示する場合に、従来から標
準規格としていわゆるＮＴＳＣ方式が用いられてきた。

しかし、最近の画像・グラフィックス技術の普及により
、ＮＴＳＣ方式によるＴＶ画像をパーソナルコンピュー
タ（パソコン）のＣＲＴやグラフィック端末に動画表示
したり、動画を伝送・ファイリングしたりする用途が多
くなってきている。さらに、高品位テレビ（ＥＤＴＶ：
ｅｘｔｅｎｄｅｄ　　ｄｅｆｉｎｉｔｉｏｎ　　ＴＶ）
などへの画像信号の変換の用途など、ＴＶ画像のフレー
ムレートあるいは周波数を変換する必要性が高まってき
ている。

このとき、問題になるのは空間方向、すなわち画像のフ
レームサイズの変換に伴う補正と、時間方向すなわちフ
レーム間の内挿に伴う補正である。

特に、対象が静止画ではなく、動画像として処理・表示
する場合は、後者のフレーム間内挿の方法が重要な問題
となる。

時間方向の標本化周波数であるフレーム周波数を変換す
る必要性としては、具体的には次のようなケースがあげ
られる。

１）フレーム周波数方式変換 ■）コマ落としした画像信号から元のＴＶ信号の再生、
またはＴＶ信号の各コマ間の画像信号の推定 ■）ノンインタレース走査からインクレース走査への変
換 このようなケースにおいて、従来から一般的に考えられ
ている方法には次のようなものがある。

ｉ）ある時刻のフレームの前後のフレームから、時間間
隔の関係に従って画像の値を加重加算し、新しいフレー
ムを作成する。

この方式では画像が二重となり、とても実用にならない
。

ｉｉ　）必要に応じてフレームを単純に繰り返す。

この方式の場合、人間の視覚系の内挿能力によって比較
的連続的な画像となる。しかし、インタレース走査のま
まで繰り返すと、画像のちらつきが発生し易い。

ｉｉｉ　）各フレームの画像を時間方向の標本値と考え
、サンプリング定理に従って前後の多くのフレームの信
号から時間的に連続な信号を再生する。

この方式は、元の画像が必ずしも時間軸方向に帯域制限
されないため、補間されたフレームにぼけが生じ易い。

〔発明が解決しようとする課題〕

すなわち、上記いずれの方法も、画像の動きが問題とな
る処理や表示において、動きの補正が原画像に忠実でな
いため、フレーム周波数を変更して動画像を再生した場
合に画質の劣化が生じるという問題がある。

〔課題を解決するための手段〕

テレビジョンカメラにて撮像した画像を、撮像フレーム
周波数とは異なる周波数で処理して表示するに当たり、
原画像を一旦圧縮し、この圧縮された画像について連続
する各フレーム間で指定ブロック毎に差分とその総和を
求め、その最小値を検出することによって、フレーム間
での画像の移動方向ベクトルを推定し、この移動方向ベ
クトルと原画像との間で所定の演算をしてフレーム間の
内挿を行ない、周波数変換時における画像の動きを補正
する。

〔作用〕

各フレーム間での画像の移動方向ベクトルを求め、動き
を考慮したフレーム間内挿を次の２段階のステップで行
なうことにより、劣化の少ない動画像を補償する。

（１）移動方向ベクトルの推定 第３図に示すように、対象とする動画像をｆ　（Ｘ＋　
　ｙ＋　　ｊ）で表現し、ある時刻ｔ０での画像ｆ　（
ｘ、ｙ＋　　ｔｏ）と次の時刻ｔ、での画像ｆ　（Ｘ＋
　　ｙ＋１＋）の間で画像の移動方向ベクトルを求める
ことを考える。

一般に、フレーム間の移動方向を知るためには、いくつ
かの方法が知られている。例えば、（ａ）画像のフーリ
エ変換により相互相関係数を求め、変位の最大方向を移
動方向とする方法。

（ｂ）画像をブロックに分け、各ブロック内でのパター
ンマツチングにより移動方向を求める方法。

（ｃ）画像のフレーム間差分と勾配の比を演算すること
により法線方向ベクトルを求め、さらにいろいろの法線
方向ベクトルを持ち、同一方向に動く物体の複数個の画
素から接線方向ベクトルを求める方法。

などである。いずれも、そのままでは演算量が膨大にな
ったり、あるいはノイズの影響を受は易かったりするこ
とが多い。

そこで、本発明ではまず第４図に示すように、各フレー
ム画像のｎｘｎ画素（例えば３×３でよい）のブロック
を圧縮した画像ｆ’　（ｘ’、　　ｙ’、　　ｔ）を作
成する。圧縮の方法としてはｎＸｎ画素の平均画素、ま
たは中央値をとる画素などで置きかえる。必要に応じて
、ｆ’　（ｘ’、　　ｙ’、　　ｔ）をさらにｎｘｎ画
素で圧縮した画像ｆ”　（ｘ”、ｙ”、ｔ）を作成する
。

次に、圧縮画像ｆ’　（ｘ’、　　ｙ’、　　ｔ）また
はｆ”（ｘ　”　ｒ　　ｙ　”　ｒ　　ｔ　）において
、ｍｘｍ画素のブロック内（例えば３×３）で次式に示
す如きフレーム間差分の総和を演算する。

Ｄ　（ａ、ｂ）＝Σａｌ　ｆ’　（Ｘ’　　ａ、　　ｙ
’−ｂ、　　ｔ６）ｆ’　（Ｘ’、　　ｙ’、　　ｔ＋
） （Σ、はブロック内での総和を示す） ここに、（ａ、ｂ）は画像ｆ°が時刻ｔ０がら時刻ｔ１
へ移動した時の移動方向ベクトル変数であり、Ｄ（ａ、
ｂ）が最小となる時の値（例えば、（ａｏ。

ｂｏ）とする）が求める移動方向ベクトル値である。

この操作をｆｏのすべての画素について求めることによ
り、ｆｏの移動方向ベクトル群Ｖ　（ａ＝　　ｂ＋　　
ｔｏ＋１＋）が作成される。これは、ｆｏのがゎりにｆ
”を用いる場合も同様である。

以上により、元の画像ｆのｎｘｎブロックに対応した移
動方向ベクトル群が、第５図の如く算出される。

（２）フレーム間内挿 第６図に示すように、元のフレーム周波数でのフレーム
をｆ　（Ｘ、ｙ、ｔ）　、フレーム周波数変換後のフレ
ームをｇ　（ｘ、ｙ、ｔ）とする。フレーム周波数変換
においては、ｒ　　（ｘ、　　）’＋　　ｔ）とｇ　（
ｘ、　　ｙ、　　ｔ）の間の対応規則は、あらかじめ一
意的に決めておくものとする。すなわち、新しいフレー
ムｇ　（ｘ＋　　ｙ、ｔ）は、元のフレームｆ（ｘ、ｙ
、ｔ）の中の２つのフレームｆ　　（ｘ、ｙ。

ｔｐ）とｆ　（ｘ、ｙ＋　　ｔ（１）をｐ：ｑの時間分
割比で作成する、などである。これは、ｆ　　（ｘ、　
　ｙ＋ｔ）とｇ　（ｘ、　　ｙ、　　ｔ）の関係が非線
形なものでない限り、一意的に決まる。第６図はこのよ
うな関係を概念的に示している。

本発明によるフレーム間内挿の原理につき、第７図を参
照して説明する。まず、元の画像における２つのフレー
ムｆ　（ｘ、　　ｙ、　　ｔｐ）とｆ　（ｘ、ｙ＋ｔｊ
の間の移動方向ベクトルＶ　’（ａ、　　ｂ、　　ｔｐ
＋　　ｔｑ）を（１）項で説明した方法により演算し、
フレームの移動補正を行なう。すなわち、フレームｒの
各画素において、ｎＸｎのブロック内での移動方向ベク
トル■を用いて、次式に従い移動補正後のフレームｒｃ
を算出する。

ｆｃ　　（ｘ、　　３’＋　　ｔｐ）＝ｒ　　（ｘ、　
　ｙ、　　ｔ、）＋　　　　　　　　−Ｖ　　（ａ、　
　　ｂ、　　　ｔ　　ｐ、　　　ｔ　　Ｑ）ｐ＋ｑ ｒｃ　　（ｘ、　　７ｔ　　ｔ＋）＝ｒ　　（ｘ、　　
ｙ、　　ｔｑ）−Ｖ　　（ａ、　　ｂ、　　ｔｐ、　　
ｔ９）ｐ＋ｑ そして、求めるべき新しいフレームｇ　（ｘ、　　ｙ＋
＋ｒｃ　（ｘ、　　ｙ、　　ｔｑ＞） で求められる。

このようにして、フレーム周波数変換後のフレーム間内
挿が実行される。

〔実施例〕

第１図は本発明の実施例を示すブロック図である。これ
は第１Ａ図の如く、ＮＴＳＣ方式のＴＶカメラで撮像し
た動画像を、動きを補正したフレーム周波数変換により
、ＮＴＳＣ方式でないモニタ（ＣＲＴ）、例えばパソコ
ンのＣＲＴまたは高品位テレビのＣＲＴに動画表示する
場合に用いて好適な例である。

同図において、１はＴＶカメラ、２はフレームメモリ、
３は画像圧縮メモリ、４は差分器、５は加算器、６は最
小値検出回路、７は補正演算回路、８は補正後フレーム
メモリ、９は表示用フレームバッファ、１０はＣＲＴで
ある。

ＴＶカメラ１で撮像した画像は一旦フレームメモリ２に
格納される。同時に、移動方向ベクトル算出のための圧
縮画像が、圧縮画像メモリ３に格納される。これらは、
各フレーム毎にリアルタイムに実行される。なお、画像
圧縮の方法としては、例えば第２図（イ）に示すように
ｎｘｎ画素の局部メモリ２１．加算回路２２および平均
回路２３を設けてｎＸｎ画素の平均をとる方法、または
第２図（ロ）に示すように中央値回路２４を設け、ｎｘ
ｎ画素の各画素値を例えば小さいものから大きなもの＼
順に並べてその中央値をとる方法、さ画像メモリ３には
かかる処理を行なう回路を含むものとする。圧縮画像メ
モリ３に格納された圧縮画像は、連続する各フレーム間
でブロック内での差分の総和が、差分器４および加算器
５によって演算され、最小値検出回路６により移動方向
ベクトルが算出される。補正演算回路７では、フレーム
メモリ２に入っている各フレームの画像と、移動方向ベ
クトルとにより移動補正後のフレーム画像が演算され、
これが補正後フレームメモリ８に格納される。変換後の
新しいフレーム画像は、補正後フレームメモリ８に格納
された、対応するフレームを画像加算することにより、
作成される。

これを表示用フレームバッファ９に転送し、動き補正後
の画像をパソコンのＣＲＴや、高品位ＴＶモニタ１０に
表示する。

〔発明の効果〕

本発明によれば、各画像フレーム間で画像の移動方向ベ
クトルを求め、動きを考慮したフレーム間内挿を行なっ
て画像を得るようにしたので、動画像をほぼリアルタイ
ムで、しかもその動きを忠実に補正することができる利
点がもたらされる。

【図面の簡単な説明】

第１図は本発明の実施例を示すブロック図、第１Ａ図は
原画像を周波数変換して表示する方式を説明するための
説明図、第２図は画像圧縮方法の具体例を説明するため
の説明図、第３図は動画像を説明するための説明図、第
４図は画像の圧縮方法を説明するための説明図、第５図
はブロック毎に抽出される移動方向ベクトルを説明する
ための説明図、第６図は元のフレームから周波数変換さ
れたフレームを求めるための原理を概念的に説明するた
めの説明図、第７図はフレーム間内挿の原理を説明する
ためのブロック図である。 符号説明 １・・・テレビカメラ、２・・・フレームメモリ、３・
・・圧縮画像メモリ、４・・・差分器、５・・・加算器
、６・・・最小値検出回路、７・・・補正演算回路、８
・・・補正後フレームメモリ、９・・・表示用フレーム
バッファ、１０・・・ＣＲＴ、２１・・・局部メモリ、
２２・・・加算回路、２３・・・平均回路、２４・・・
中央値回路、２５・・・サンプリング回路。 宵　１　図 ＷＸ２Ｉｌ！！ （イ） ４ （ロ） 奪１Ａ図 （ハ） 出力 ５ ｇ（ｘ、ｙ、ｔ） １１３ ■ 冨　５　■ 鴇６図 藁　４ 図 π７ 因

Claims (1)

1. 【特許請求の範囲】 １）テレビジョンカメラにて撮像した画像を、撮像フレ
   ーム周波数とは異なる周波数で処理して表示するに当た
   り、 原画像を一旦圧縮し、この圧縮された画像について連続
   する各フレーム間で指定ブロック毎に差分とその総和を
   求め、その最小値を検出することによって、フレーム間
   での画像の移動方向ベクトルを推定し、この移動方向ベ
   クトルと原画像との間で所定の演算をしてフレーム間の
   内挿を行ない、周波数変換時における画像の動きを補正
   することを特徴とする動画像処理方法。