JPH02248173A - 動画静止画変換方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、テレビ・カメラやＶＴＲなどから入力された
動画像をＣＲＴやプリンタなどに静止画像として出力す
る動画／静止画変換装置に関する。

［従来の技術］ 従来、プリンタ等で出力される画像は、イメージ・スキ
ャナなどの静止画入力装置から入力されたものが主であ
ったが、最近は、入力装置として、テレビ・カメラやビ
デオ・カメラ、ＶＴＲなどの多種多様の装置が使用され
るようになってきた。

また、ＨＤＴＶのようにテレビジョン信号の高精細化に
伴い、高精細テレビジョン信号の画像をプリンタや印刷
装置に出力する傾向が強くなってきている。

［発明が解決しようとする課題］ しかし一般に、テレビ・カメラの出力のような動画像の
１シーンを静止画像として取り出す場合、良好な静止画
像を得るにはまだ多くの課題がある。

特に、動画像では目立たないノイズ成分が静止画像では
顕著に目立つという問題点がある。即ち、動画像では、
視覚系の時間軸方向の積分効果により１フレーム中のノ
イズが見えにくくなるのに対して、１フレームを抽出し
た静止画像では、視覚系の積分効果が少なく、ノイズに
よる画質劣化が目立ってしまう。

従って、動画像から静止画像に変換する場合、効果的な
ノイズ除去を行なう必要がある。本発明は、効果的なノ
イズ低減を行なう動画／静止画変換装置を提示すること
を目的とする。

［課題を解決するための手段］ 本発明に係る動画／静止画変換装置は、入力の動画像の
中で、動きの大きい動画部と動きの小さい又は静止した
静止画部とを判定する動画／静止画判定手段と、当該判
定手段の判定結果に従い、動画像の時間軸方向でのノイ
ズ低減処理を行なう第１のノイズ低減手段と、当該判定
手段の判定結果に従い、動画像の２次元空間でのノイズ
低減処理を行なう第２のノイズ低減手段とを具備するこ
とを特徴とする。

［作用］ 上記手段により、時間軸方向及び２次元空間のそれぞれ
についてノイズを低減することができ、従って、ノイズ
の比較的大きい動画像からでも、ノイズを低減させた鮮
明な静止画像を得ることができる。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例の構成ブロック図を示す。１
０は ビデオ・カメラやＶＴＲなどの動画像信号を出力する装
置に接続する動画像入力端子、１２はそのインターフェ
ース部である。１４は、画像データ及びその加工データ
を記憶するメモリ部であり、内部には、フラグ・メモリ
部１６と画像メモリ部１８とを具備する。２０はフレー
ム内での平滑化を行なうフレーム内平滑化部、２２は画
像の小領域（本実施例では１画素）単位で動きの大きな
画像か又は、動きの小さい又は静止した画像かを判定す
る動画／静止画判定部、２４は時間軸方向で、即ち複数
のフレームにわたって同じ位置の画像小領域（本実施例
では１画素）で平滑化を行なうフレーム間平滑化部、２
８はＣＲＴ映像表示装置やプリンタなとの静止画像出力
装置との接続のためのインターフェース部、３０は出力
端子である。

３２は、画像メモリ１８の入力バスを切り換えるバス切
換え部である。

第２図は、動画／静止画判定部２２及びフレーム間平滑
化部２４の具体的構成ブロック図を示す。

３４は２つのフレームＡ１．　Ｉ＋　　ＢＬ　Ｉの画素
間の差分を求める差分器、３６は差分器３４の出力を所
定の閾値にと比較する比較器である。３８は、２つのフ
レームＡ　＋、　Ｉ＋　Ｂ　＋、　＋の画素間の平滑化
を行なう平滑器、４０は比較器３６の出力に従い、平滑
器３８の出力又はフレームＡ３．、の画素値を選択する
セレクタである。

第３図はフレーム内平滑化部２０の具体的構成例のブロ
ック図を示す。４０．４２は、ライン走査の画像データ
及びフラグ・データをブロック単位に変換するライン／
ブロック変換回路、４６゜４８．５０．５２はラッチ回
路、５４はセレクタ、５６は比較回路、５８は乗算器、
６０は平滑化フィルタの係数Ｃｓ、ｔが格納されたＲＯ
Ｍ、６２は加算器、６４はクリア機能付きのラッチ回路
、６６はラッチ回路である。

上記の構成における動作を説明する。動画像の取り込み
のために、先ず、バス切換え部３２をａ側に接続する。

外部指示によりインターフェース部１２を起動すると、
ビデオ・カメラやＶＴＲからの動画像信号が、インター
フェース部１２及びバス切換え部３２を介して画像メモ
リ１８に取り込まれる。このとき、インターフェース部
１２は、ビデオ・カメラ等の画像入力装置からの画像入
力速度と、画像メモリ部１８の書込み速度との調整を行
なう。なお、説明を簡単にするため、画像メモリ部１８
に取り込まれる画像は、２画面（２フレーム）であると
する。

次に、バス切換え部３２をｂ側に切り換え、画像メモリ
部１８から２フレームの画像信号についてライン走査順
に画素Ａ＋、１．Ｂ＋、１　（ｉ＝１〜Ｍ。

ｊ−１〜Ｎ）毎に読み出し、動画／静止画判定部２２及
びフレーム間平滑化部２４に入力する。なお、Ｍ、Ｎは
１フレームの水平画素数及び垂直画素数である。動画／
静止画判定部２２は、画素毎に動画か静止画かを判定し
、判定結果Ｆ１．．を出力する。この判定結果Ｆ　、、
　、は、フラグ・メモリ部１６に格納され、また、フレ
ーム間平滑化部２４に出力する。

動画／静止画判定部２４の内部では、差分器３４が画素
毎の２つのフレームＡ１．＋＋　　Ｂ　ｌ、　ｌの差Ａ
＋、＋　　Ｂ１１１を求める。比較部３６は、差分器３
４の出力を閾値にと比較し、ｌ’Ａ＋、＋　　Ｂ≧にな
らば、動画と判定してフラグＦ１．．を１にし、ｌ　Ａ
＋、＋　　Ｂ＋、１１　＜ｋならば静止画と判定してフ
ラグＦ　ｌ、　、をＯにする。

一方、フレーム間平滑化部２４では、平滑器３８が、２
フレームＡ　Ｉ、　＋＋　Ｂ　１．　＋の対応画素を平
滑化した画素値を出力しており、セレクタ４０が、動画
／静止画判定部２２の判定結果Ｆ７．．に従い、静止画
（Ｆ、ローＯ）の場合には平滑器３８の出力、即ち２フ
レームＡ　１．　Ｈ，Ｂ　１．　Ｉを平滑化した画素値
を選択し、動画ＣＦ＋、＋＝１）の場合には、フレーム
Ａ５口の画素を選択する。セレクタ４０の出力、即ちフ
レーム間平滑化部２４の出力Ｘ、は、スイッチ３２を介
して画像メモリ部１８に送られ、記憶される。画像メモ
リ部１８でのＸ。

、の記憶位置は、フレームＡＩ、、の記憶領域でも、フ
レームＢ　、、　、の記憶領域でもとちらでもよいし、
また、フレームＡ１．　＋＋　　Ｂ　ｌ、　ｌ以外の特
別のフレームを記憶領域として画像メモリ部１８に設け
てもよい。

このようにして、１画面の全体について処理が終了する
と、静止画部分について時間軸方向の平滑化が行なわれ
たことになる。このフレーム間平滑化が行なわれている
ときには、フレーム内平滑化部２０はインターフェース
部２６には画像データを出力しない。

次に、フレーム内平滑化を説明する。時間軸方向に平滑
化された画像データＸＩ、、を画像メモリ部１８から順
次読み出す。フレーム内平滑化部２０はこれを取り込ん
で、成る画素領域（ここでは説明を簡単にするために３
×３画素を１つのブロックとする。）毎に、フラグ・メ
モリ部１６のフラグＦｉ、ｊに従い平滑化処理を行ない
、インターフェース部２６に出力する。出力端子３０に
はデイスプレィ装置やプリンタなどの出力装置が接続し
ており、インターフェース部２６は、これら出力装置へ
のデータ転送と、フレーム内平滑化部２０での処理速度
との調整を行なっている。

第４図を参照し、フレーム内平滑化部２０での平滑化の
概念を説明する。先ず、例１と例２により、注目画素Ｘ
３１．に対する平滑化処理を説明する。−船釣な平滑化
処理では、処理ブロックＸ□や１．ｎ＋、（ｓ、ｔ＝−
１，０，１）に対して平滑化フィルタ係数Ｃ１１，を乗
算する方法をとり、その場合、平滑化された画素データ
Ｙ５９．は、に同一ブロック内に動画部と静止画部があ
る場合、動画部と静止画部が混合されて平滑化されるの
で、移動物のエツジがぼけるという欠点がある。

これに対して本実施例では、注目画素Ｘｍ、。のフラグ
Ｆ、、、。が０（即ち、静止画）の場合には、そのブロ
ック内で、フラグＦ　ｍ＋ｇ、　、、＋＋が１である画
素に対する平滑化フィルタ係数Ｃｓ、ｌをＯにし、その
分を中心のフィルタ係数Ｃ６，０に加算した修整平滑化
フィルタ係数ＣＺ、ｌを用い、逆に、注目画素Ｘ。、ｎ
のフラグＦ、ｆｉ、。が１（即ち、動画）の場合には、
そのブロック内で、フラグＦ□ｓ　ｎｉｌが０である画
素に対する平滑化フィルタ係数Ｃ１，。

をＯにし、その分を中心のフィルタ係数Ｃ６，０に加算
した修整平滑化フィルタ係数Ｃ“１．１を用いる。

即ち、例１では、注目画素Ｘ０．。のフラグＦ　、。

が０であるので、フラグＦ　ｍ＋＊、。１が１である画
素に対する平滑化フィルタ係数Ｃ８，１を０にし、その
分を中心のフィルタ係数Ｃ８，。に加算する。

これにより、フィルタ係数Ｃ６，０は９／１６になり、
修整平滑化フィルタ係数Ｃ’ｓ、ｔは全体として第４図
に符号７０で示すようになる。従って、注目画素Ｘ。。

を平滑化した画素値Ｙ。。は、Ｙ□、 （Ｘ−−ｔ　、、−１＋２　Ｘ、、、−１，、十Ｘ、、
、−ｚ　−＋１＋　２　Ｘ、、、　−−１＋　９　Ｘ、
、　、＋Ｘ−＋＋、　ｏ−１）　／　１６となる。

他方、例２の場合には、注目画素Ｘイ、、、のフラグＦ
、。が１であるので、フラグＦ　ｍ＋ｈ。ヤ、がＯであ
る画素に対する平滑化フィルタ係数Ｃａｌを０にし、そ
の分を中心のフィルタ係数Ｃ６，。に加算する。これに
より、フィルタ係数Ｃ８，０は１１／１６になり、修整
平滑化フィルタ係数Ｃ’１．ｌは全体として第４図に符
号７２で示すようになる。従って、注目画素Ｘ、ｎ、。

を平滑化した画素値Ｙ□、。は、１ｌｌ１１ （２Ｘ、ｆｉ−＋　ｎ＋ｘｍ−１、、＋＋＋１１Ｘ、、
　。

＋Ｘ□ｎｅ、）　／１６ となる。

次に、上記動作を第３図に図示したフレーム内平滑化部
２０の内部構成を参照して説明する。画像メモリ部１８
及びフラグ・メモリ部１６からライン順次で読み出され
た画素データＸ１．１及びフラグＦ１１．は、それぞれ
ライン／ブロック変換部４２．４４によりブロック単位
の信号に変換される。本実施例では、３×３画素のブロ
ックに変換する。ライン／ブロック変換部４２．４４は
先ず、注目画素Ｘ１，１及びそのフラグＦ　Ｉ、　、を
出力し、ラッチ回路４６．５０がそれぞれを一時保持す
る。

ライン／ブロック変換部４２．４４は次に、ブロック内
の画素値Ｘイ＋６．。＋１及び？ラグＦｍ＋）＋ｎヤ。

（ｓ、ｔ＝−１，０，１）を順次出力し、ラッチ回路４
８．５２がこれを一時保持する。比較器５６はラッチ回
路５０．５２の出力により、フラグＦｍ、ｎとフラグＦ
　ｍ＋＋１．、＋１とを比較する。セレクタ５４は比較
器５６からの一致信号によりラッチ回路４８の出力Ｘ　
ｍ＋ｈ　ｎｉｌを選択し、比較器５６からの不一致信号
によりラッチ回路４６の出力Ｘ、。

、を選択する。

乗算器５８は、セレクタ５４の出力にＲＯＭ６０の出力
Ｃ，，、（フィルタ係数）を乗算し、加算器６２はラッ
チ回路６４の出力に乗算器５８の出力を加算してラッチ
回路６４に出力する。即ち、加算器６２及びラッチ回路
６４により累積加算を行なう。但し、ラッチ回路６４は
、ブロックの始めの画素Ｘ　ｍ−１、ｎ−１を処理する
ときには、０にクリアされる。

上記の一連の作業をブロック内の全画素（９画素）につ
いて行ない、最終画素Ｘ　ｍ　＋　１、。＋１の処理結
果がラッチ回路６４で保持されたら、ラッチ回路６４の
出力をラッチ回路６６に取り込み、平滑化画素値Ｙゎ。

とじて出力する。

そして、このようなブロック単位の処理を全画素Ｘ、、
、（ｉ＝１〜Ｍ、ｊ＝１〜Ｎ）について行なう。

本実施例では、動画像の基本画面をフレームで扱ったが
、勿論、フィールドで行なうことも可能である。また、
本実施例では、メモリ部１４に２フレームの画像を取り
込んだが、メモリ容量をまして２フレ一ム以上を取り込
んでもよい。動画像の時間軸方向のノイズ低減処理には
、２フレームの同一位置の画素の平均値を用いたが、本
発明はこれに限定されない。例えば、３フレ一ム以上用
いる場合では、適度な加重平均を用いることもできる。

更には、動画像の２次元空間でのノイズ低減処理として
、ブロック内の加重平均を用いたが、単純平均やその他
のフィルタリング処理を用いてもよい。

また、時間軸方向のノイズ低減処理を全領域について行
なった後で、２次元空間でのノイズ低減処理を行ないつ
つ静止画像を出力しているが、本発明はこれに限定され
ない。例えば、フレーム洋の画像メモリを用いずに適度
なバッファ・メモリを使い、小領域毎に時間軸方向のノ
イズ低減処理と２次元空間でのノイズ低減処理とをパイ
プライン的処理で行ないつつ静止画像を出力するように
してもよい。

動画／静止画判定回路２２では、２フレームの対応する
画素の差分の大きさにより判定したが、例えば、テレビ
ジョン系で利用される動き検出や動きベクトル検出など
の手法を使用してもよい。

本実施例ではフレーム間平滑化において動画部では平滑
化処理を行なっていないが、例えば、動きベクトル検出
などの手法を用いて次のフレームの何処に移動したかを
求め、その画素又は一部を用いて平滑化を行なってもよ
い。

ハードウェアによる構成で説明したが、一部又は全部を
ソフトウェアにより処理することができることはいうま
でもない。

本実施例では、動画像の動画部と静止画部とに応じて、
フレーム間平滑化による時間軸方向のノイズ低減と、フ
レーム内平滑化による２次元空間でのノイズ低減を行な
っており、これにより、ノイズが比較的大きい動画像か
らでも、ノイズの少ない鮮明な静止画像を得ることがで
きる。

［発明の効果］ 以上の説明から容易に理解できるように、本発明によれ
ば、ノイズの少ない鮮明な静止画像を得ることができる
。

【図面の簡単な説明】

第１図は本発明の一実施例の構成ブロック図、第２図は
第１図の動画／静止画判定部２２及びフレーム間平滑化
部２４の構成ブロック図、第３図はフレーム内平滑化部
２０の構成ブロック図、第４図はフレーム内平滑化の概
念説明図である。 １０：入力端子　２０：フレーム内平滑化部　２２：動
画／静止画判定部　２４：フレーム間平滑化部　３０．
出力端子 （例１） 図 ＋Ｘｍ−１，ｎ＋１　’　ｘｍ　ｎ−１＋９Ｘｍ、　ｎ
　’！１１＋１．　ｎ−１）＋１１Ｘ、　ｎ＋２ｘ、。 ＋１）

Claims (1)

【特許請求の範囲】
1. 入力の動画像の中で、動きの大きい動画部と動きの小さ
   い又は静止した静止画部とを判定する動画／静止画判定
   手段と、当該判定手段の判定結果に従い、動画像の時間
   軸方向でのノイズ低減処理を行なう第１のノイズ低減手
   段と、当該判定手段の判定結果に従い、動画像の２次元
   空間でのノイズ低減処理を行なう第２のノイズ低減手段
   とを具備することを特徴とする動画／静止画変換装置。