JPH04205572A - 信号処理装置及び信号処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、例えばコンピュータグラフィックスによる映
像又はビデオカメラによる映像等に振れ（モーションプ
ロー）の効果を付加するモーションプロー生成装置に適
用して好適な信号処理装置に関する。

［発明の概要］ 本発明は、例えばコンピュータグラフィックスによる映
像又はビデオカメラによる映像等に振れ（モーションブ
ロー）の効果を付加するモーションブロー生成装置に通
用して好適な信号処理装置に関し、人力画像信号の動き
の方向及び大きさを示す動きデータを形成する動き検出
手段と、その動きデータに応じて重み付け係数を設定す
る係数設定手段と、その重み付け係数でその入力画像信
号の所定部分を重み付けして加算することにより出力画
像信号を得る２次元フィルタ手段とを備え、その人力画
像信号にその動きデータに応じた処理を施すことにより
、チラッキの少ない自然な動画像を得ることができるよ
うにしたものである。

［従来の技術］ コンピュータグラフィックスの進歩により実際の映像に
近いアニメーションが制作できるようになって来ている
が、そのようなアニメーションにおいては、更に自然な
動画により近い映像を實現することが要求されている。

また、電荷結合型撮像デバイス（ＣＣＤ）等を備えたビ
デオカメラにより手軽に動画を記録できるようになって
来ているが、従来はシャッタースピードが比較的遅いの
でＣＣＤ等の積分効果により比較的自然な動画が得られ
ていた。

［発明が解決しようとする課題］ しかしながら、そのアニメーションにおいて自然な動画
により近い映像を実現するために、例えば単に１秒当り
の異なる場面の数を増加するだけでは、動いているキャ
ラクタの映像にチラッキ等が生じる不都合がある。

また、ビデオカメラにおいて近時は例えば４０００分の
１秒程度の高速シャンク−が使用できるようになって来
ているが、このような高速シャッターで動体を撮影する
と再生画像が不自然にちらついて見える場合がある。そ
のコンピュータグラフィックスの原画像及び高速シャッ
ターにより撮像した画像に共通しているのは、全体とし
ては動画であっても、個々の１フレーム又は１フイール
ドの映像信号に対応する原画像が略完全な静止画であり
所謂ぼけがほとんど含まれていないことである。

本発明は斯かる点に鑑み、入力される映像信号に対応す
る画像が全体としては動画であっても個々の１フレーム
又はｌフィールド等の画像が完全な静止画に近いような
場合であっても、再生される画像に不自然なチラッキ等
が生しることがない信号処理装置を提供することを目的
とする。

［課題を解決するための手段］ 本発明による信号処理装置は、例えば第１図に示す如く
、入力画像信号Ｖｌの動きの方向及び大きさを示す動き
データ（例えば動きベクトル〈ＭＶ＞）を形成する動き
検出手段（４）と、その動きデータに応じて重み付け係
数を設定する係数設定手段（５）と、その重み付け係数
でその入力画像信号の所定部分を重み付けして加算する
ことにより出力画像信号ＶＰを得る２次元フィルタ手段
（６）とを備え、その入力画像信号Ｖｌにその動きデー
タに応した処理を施すようにしたものである。

［作用］ 斯かる本発明によれば、その入力画像信号Ｖｌが動画に
対応する場合には、その動き検出手段（４）によりその
動画の動きの方向及び大きさを示す動きデータが形成さ
れる。そして、この動きデータに応じて設定された重み
付け係数でその入力画像信号ｖｒの所定部分（例えば処
理対象とする画素の近傍の所定個の画素の夫々の画像信
号）を重み付けして加算することにより、その処理対象
とする画素の出力画像信号として元の入力画像信号の所
定部分をその画素の動きの方向に平均化したような信号
が割り当てられる。

従って、その出力画像信号を再生して得られる画像に全
体として不自然なチラッキ等が生じることがない。

［実施例］ 以下、本発明の一実施例につき図面を参照して説明しよ
う。本例はモーションブロー生成装置に本発明を適用し
たものである。

第１図は本例のモーションブロー生成装置の構成を示し
、この第１図において、（１）は入力画像系列用のフレ
ームメモリであり、このフレームメモリ（１）の内容を
図示省略したビデオカメラ又はＶＴＲ等からアナログ／
デジタル変換器を介して供給される映像信号で周期的に
書き換える。このフレームメモリ（１）は省くことがで
きる。（２）及び（３）は夫々遅延時間が１フレ一ム期
間の遅延回路を示し、そのフレームメモリ（１）から読
み出した現フレームの映像信号ＶＩを遅延回路（２）に
通して前フレームの映像信号ＶＪを得て、その現フレー
ムの映像信号ＶＩを直接に及び遅延回路（３）を介して
夫々動きベクトル検出回路（４）に供給する。

この動きベクトル検出回路（４）は、それら互いに１フ
レ一ム期間離れた２個の映像信号Ｖｌ及びＶＪに例えば
ブロンク差分法を適用することにより、前フレームの処
理対象とする１個又は複数の画素よりなるブロックの動
きベクトル〈ＭＶ〉を求める。ブロック差分法において
は、前フレームの処理対象とするプロ、りの映像信号と
現フレームの所定範囲の複数のプロ、りの映像信号との
差分が夫々求められ、差分の絶対値が最小となる現フレ
ームのフ゛ロック（これを「目的）゛ロック、という）
が特定される。そして、その前フレームの処理対象とす
るブロックの中心からその目的ブロックの中心に向かう
ベクトルがその動きベクトル（ＭＶ）となる。

その動きベクトル＜ＭＶ＞をパラメータ発生回路（５）
に供給し、このパラメータ発生回路（５）ではその動き
ベクトル＜ＭＶ＞の大きさ及び方向に対応じて個数及び
値が変化する１組のパラメータを発生する。（６）は複
数の乗算回路と複数の加算回路とを組み合わせてなる振
れフィルタを示し、その１組のパラメータ及び前フレー
ムの映像信号■Ｊをその振れフィルタ（６）に供給する
。その振れフィルタ（６）は、その前フレームの映像信
号ＶＪの内の処理対象とするブロックを含む１組のブロ
ックに対応する映像信号をその１ｍのパラメータで重み
付けした信号を加算することにより、その処理対象とす
るプロ、りの出力映像信号ＶＰを形成する。

本例の動きベクトル検出回路（４）は、前フレームの映
像信号の全てのフロックについて夫々動きベクトル（Ｍ
Ｖ＞を検出し、パラメータ発生回路（５）は個々の動き
ベクトル＜ＭＶ＞に対して夫々１組のパラメータを発生
して振れフィルタ（６）に供給する。これに応じて振れ
フィルタ（６）では、前フレームの映像信号ＶＪの全て
のブロックについて夫々対応する１＆ｕのパラメータを
用いてフィルタ処理を施す。この振れフィルタ（６）か
ら出力される出力映像信号ＶＰは出力画像系列用のフレ
ームメモリ（７）を介して図示省略したテレビジョン受
像機等に供給される。

本例のパラメータ発生回路（５）の動作につき第２図及
び第３図を参照して詳細に説明する。

第２図は動きベクトル検出回路（４）から供給される動
きベクトルの一例を示し、この第２図において、ハンチ
ングを施されたブロック（例えば第２図へのブロック（
８））が前フレームの処理対象とする１個又は複数の画
素よりなるブロックである。

このブロックの中心を始点とするベクトル（例えば第２
図Ａのプロ、り（８）からプロ、り（１０）へ向かうベ
クトル（９））がそのブロックの動きベクトル（ＭＶ）
を示す。

第３圓は第２圀の動きベクトルに対応じてパラメータ発
生回路（５）で発生される１組のパラメータの例を示し
、例えば動きベクトルが水平方向に１ブロツク分の成分
を有するときには（第２図Ａ）、その１組のパラメータ
として第３図Ａに示すように、その動きベクトルの始点
のブロック（８）及び終点のブロック（９）に夫々１／
２が割り当てられ、他のブロックには０が割り当てられ
る。また、動きベクトルが水平方向に１ブロツクで垂直
方向に１ブロツクの成分を有するときには（第２図Ｂ）
、その１＆ｌＩのパラメータとして第３図Ｂに示すよう
に、その動きベクトルの始点及び終点のブロック（対角
線上の２個のブロック）に夫々１／２が割り当てられ、
他のブロックには０が割り当てられ同様に、動きベクト
ルが水平方向に２ブロツク分の成分を有するとき（第２
図Ｃ）又は水平方向及び垂直方向に共に２ブロツク分の
成分を有するとき（第２図Ｅ）には、対応する１組のパ
ラメータとして夫々その動きベクトルが通る３個のブロ
ックにのみ１／３が割り当てられる（第３図Ｃ１Ｅ）。

そして、動きベクトルが水平方向に２ブロツク分で垂直
方向に１ブロツク分の成分を有するときには（第２図Ｄ
）、対応する１組のパラメータとして第３図りに示すよ
うに、その動きベクトルの始点及び終点のブロックに夫
々１／３が割り当てられ、それらの中間の２個のブロッ
クに夫々１／６が割り当てられる。

上述の規則をまとめると、一般に動きベクトルが水平方
向に（Ｎ−１）ブロック分（Ｎ＝２．３．・・・・）で
垂直方向にＭブロック分（０≦ＩＭＩ≦Ｎ−１）の成分
を有するときには、その動きベクトルの始点及び終点の
ブロックに夫々１／Ｎを割り当てる。

また、それら始点と終点との間ではその動きベクトルは
垂直方向に常に１個又は２個のプロ、りを横切るので、
その垂直方向に１個又は２個のブロックに夫々合計でｌ
／Ｎになるパラメータを割り当てる。そして、その動き
ベクトルが垂直方向に２個のブロックを横切るときには
、それら２個のブロックの夫々の中心とその動きベクト
ルとの距離に反比例する大きさのパラメータをそれら２
個のフ゛ロックに割り当てる。

また、それ以外のブロックには値がＯのパラメータを割
り当てるようにして、割り当てられたパラメータの値の
合計が１になるようにする。

具体的に、Ｎ＝４の場合について説明するに、先ず動き
ベクトルが水平方向に３ブロック分の成分を有するとき
（第２図Ｈ）又は動きベクトルが水平方向及び垂直方向
に夫々３ブロック分の成分を有するとき（第２図■）に
は、第３図Ｈ及びＩに示すようにその動きベクトルの通
る４個のブロックに夫々値が１／４のパラメータが割り
当てられる。

一方、第２図Ｈに示すように動きベクトル（１１）が水
平方向に３ブロック分で垂直方向↓こ２プロ、。

り分の成分を有するときには、その動きベクトル（１１
）の始点のプロ、り（８）と終点のプロ、り（１２）に
は第３図Ｈに示すようＤこ夫々値が１／４のパラメータ
が割り当てられる。そして、その始点のブロック（８）
に隣接する２個のブロック（１３）及び（１４）の中心
とその動きベクトル（１１）との垂直方向の距離は夫々
Ｌ１及びＬ２であるので、それら２個のブロック（１３
）及び（１４）に割り当てるパラメータの値を夫々ＦＡ
Ｉ及びＰＡ２とすると、これらのパラメータには次の関
係がある。

ＰＡ１＋ＰＡ２＝１／４ ＰＡＩ：ＰＡ２＝Ｌ２：Ｌ１＝１：２ ・・・・（１） この式（１）よりその２個のパラメータはＦＡＩ＝１／
１２．　　ＰＡ２＝１／６になる。同様にして終点のブ
ロック（１２）に隣接する２個のブロックの中心と動き
ベクトルとの距離を夫々Ｌ３及びＬ４とすると、Ｌ３：
Ｌ４＝１：２であることからそれら２個のプロ、りに割
り当てられるパラメータが計算される。また、動きベク
トルが第２図Ｇのベクトル（１５）である場合には、対
応するパラメータの割当ては第３図Ｇに示すようになる
。

また、その動きベクトルが通過するブロック以外のブロ
ックについてはパラメータとして０が割り当てられる。

このようにパラメータを割り当てると、割り当てられた
パラメータの値の合計はｌになる。

更に、動きベクトル（ＭＶ）の垂直方向の成分が水平方
向の成分よりも大きい場合、例えば第２図Ｇに示すよう
に動きベクトル（１６）が動きベクトル（１５）を転置
したようなものである場合には、その動きベクトル（１
６）に対応するパラメータは第３図Ｇに示す配列のパラ
メータを転置したものになる。

次に第１図例中の振れフィルタ（６）の動作につき具体
的に説明するに、この例では動きベクトル検出回路（４
）から供給される動きベクトルは第２図Ｈに示すベクト
ルであり、パラメータ発生回路（５）からその振れフィ
ルタ（６）に対して第３図Ｈに示すパラメータの配列が
供給されているものとする。第４図Ａはその第３図Ｈの
配列を繰り返して示し、第４図Ｈは処理対象とするブロ
ック（８）を左下の頂点とする４行×４列のブロックを
示す。

この例では供給される１組のパラメータは４行×４列の
ブロックの内部でのみ０以外の値を有するので、振れフ
ィルタ（６）では処理対象とするブロック（８）を始点
とする４行×４列のブロックの映像信号のデータのみを
演算の対象とすればよい。

この４行×４列のブロックの内の１行目且つｊ列目のブ
ロックの映像信号をＧｉｊで表すものとすると、処理対
象とするプロ、りの映像信号はＧ４１になる。

この場合、その振れフィルタ（６）は、そのブロック（
８）を始点とする１６個のブロックの映像信号を対応す
るパラメータで重み付けした値を加算してそのブロック
（８）に対応する出力映像信号■Ｐを得るので、その出
力映像信号ＶＰは次のようになる。

ｖＰ＝Ｇ４１／４＋Ｇ３２／６＋Ｃ；４２／１２＋Ｇ２
３／　１２　＋Ｇ３３／６　＋Ｇ２４／４・・・・（２
） また、−Ｇに供給される１＆ＩｌのパラメータがＮ行×
Ｎ列（Ｎ＝１．２．・・・・）のブロックの内部でのみ
Ｏ以外の値を有するときには、その振れフィルタ（６）
ではＮ行×Ｎ列のブロックの映像信号を演算の対象とす
る。

上述のように、本例では処理対象とするプロ。

りの動きベクトル及びこのベクトルに応した１組のパラ
メータが求められ、そのブロックを始点としてその動き
ベクトルの方向に配列されている１組のブロックの映像
信号をその１Ｍｉのパラメータで重み付けした値を加算
した結果がその処理対象とするブロックの出力映像信号
ＶＰとなる。従って、この出力映像信号ＶＰは入力映像
信号ＶＪを動きベクトルの方向に略平均化した信号、即
ち動画状態の信号となるので、その出力映像信号ＶＰに
対応する画像はチラッキのない自然な動画となる利益が
ある。

なお、上述実施例では前フレームの画像、即ち動く前の
画像に対しで動きベクトルを用いて動画化処理を施して
いるが、現フレームの画像、即ち動いた後の画像に対し
てその動きベクトルの方向を反転したベクトルを用いて
動画化処理を施すようにしてもよい。

このように、本発明は上述実施例に限定されず本発明の
要旨を逸脱しない範囲で種々の構成を取り得ることは勿
論である。

［発明の効果ｊ 本発明によれば、入力画像信号を動きの方向に平均化し
たような処理が施されるので、出力画像信号の再生画像
に不自然なチラッキ等が生しることがない利益がある。

【図面の簡単な説明】

第１図は本発明の一実施例のモーションブロー生成装置
の構成を示すブロック図、第２図はその実施例における
動きベクトルの例を示す線図、第３図はその動きベクト
ルに対応したパラメータの例を示す線図、第４図はその
実施例の振れフィルタの動作の説明に供する線図である
。 （１）はフレームメモリ、（２）　、　（３）は夫々遅
延回路、（４）は動きベクトル検出回路、（５）はパラ
メータ発生回路、（６）は振れフィルタである。

Claims (1)

1. 【特許請求の範囲】 入力画像信号の動きの方向及び大きさを示す動きデータ
   を形成する動き検出手段と、 上記動きデータに応じて重み付け係数を設定する係数設
   定手段と、 上記重み付け係数で上記入力画像信号の所定部分を重み
   付けして加算することにより出力画像信号を得る２次元
   フィルタ手段とを備え、 上記入力画像信号に上記動きデータに応じた処理を施す
   ようにしたことを特徴とする信号処理装置。