JPH0442682A - 動画／静止画変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、テレビ・カメラやＶＴＲなどから入力された
動画像をＣＲＴやプリンタなどに静止画として出力する
動画／静止画変換装置に関する。

［従来の技術］ 従来、プリンタなどに印加される画像信号は、イメージ
・スキャナなどの静止画入力装置から入力されたものが
主であったが、近年、テレビ・カメラ、ビデオ・カメラ
、ＶＴＲなどの多種多様な映像機器が使用されるように
なった。また、ハイビジョン・テレビなどの画像の高精
細化に伴い、ハイビジョン・テレビ画像をプリンタをプ
リンタや印刷装置により印刷したいとする要望がある。

［発明が解決しようとする課題］ しかし、テレビ・カメラの入力画像は動画像であるのに
対し、プリンタにおける出力画像は静止画像であるので
、動画像を静止画像に変換する装置が必要になる。動画
／静止画変換に際しては、ノイズ成分が動画像より静止
画像で視覚的に目立ちやすいという点が問題になってく
る。即ち、動画像では視覚系の時間軸方向の積分効果に
より１フレーム中のノイズが見えにくくなるのに対し、
ｌフレームを抽出した静止画像では視覚系の積分効果が
無く、ノイズによる画質劣化が目立つ。

ノイズ除去方法には、フレーム間平滑化と、フレーム内
平滑化があるが、一長一短である。即ち、フレーム間平
滑化では、画像に動き部分があると、フレーム間での画
像位置がずれ、従ってノイズの除去されない部分が残る
だけでなく、ボケや色にじみなどの不鮮明部分が発生す
る。また、フレーム内平滑化では、高周波成分が除去さ
れるので、画像のエツジ部分が不鮮明になる。エツジを
保存してフレーム内平滑化を行なう各種のフィルタリン
グ手法が提案されているが、フレーム内の情報のみを使
用しているので、ノイズ除去が不十分である。

そこで本発明は、このような問題点を解決する動画／静
止画変換装置を提示することを目的とする。

［課題を解決するための手段］ 本発明に係る動画／静止画変換装置は、所定数の画像を
記憶自在な画像メモリと、当該画像メモリに記憶される
少なくとも２つの画像から注目領域毎に動き量及びエツ
ジ量を検出する検出手段と、当該検出手段の検出結果に
従う２次元空間処理（例えば、フレーム内処理）及び時
間軸方向の処理（例えば、フレーム間処理）の割合で、
当該画像メモリに記憶される画像にノイズ低減処理を施
すノイズ低減手段とからなることを特徴とする。

［作用］ 上記手段により、画像の動き量及びエツジ量に応じた時
間軸方向の処理及び２次元空間処理の割合で、ノイズ除
去が行なわれるので、エツジを保存又は強調すると共に
、ボケや色にじみなどの画質劣化が視覚的に目立たない
静止画像を得ることができる。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例及びその周辺装置の構成ブロ
ック図を示す。１０は本発明の一実施例である動画／静
止画変換装置、１２はテレビ・カメラ、ビデオ・カメラ
、ＶＴＲなどの動画像入力装置、１４はカラー・プリン
タやカラー・モニタなどの静止画像出力装置である。

本実施例１０において、１６は動画像入力装置１２きの
インターフェース、１８は静止画像出力装置１４とのイ
ンターフェース、２０は画像データ・バス、２２は制御
信号バス、２４は全体を制御する制御回路、２６は動画
像をフレーム単位で数フレーム分記憶できる画像メモリ
、２８はフレーム間の画像の動き量を検出する動き量検
出回路、３０はフレーム内のエツジ量を検出するエツジ
量検出回路である。３２はノイズ除去回路であり、フレ
ーム内でノイズ低減処理するフレーム内処理回路３４と
フレーム間でノイズ低減処理するフレーム間処理回路３
６を具備する。

第２図は、動き量検出回路２８、エツジ量検出回路３０
及びノイズ除去回路３２からなる部分の詳細な回路構成
ブロック図を示す。以下、１画面を３×３画素からなる
ブロックに分割し、このブロック単位でノイズ除去処理
を行なう場合を例に説明する。エツジ量検出回路３０に
おいて、４０は注目するブロックの画像Ａｉｊ内の最小
値Ａｍ１ｎを検出する最小値検出器、４２は最大値Ａｍ
ａｘを検出する最大値検出器、４４は最大値Ａｍａｘと
最小値触ｉｎとの差分Ａｓを求める差分器である。動き
量検出回路２８において、４６は第１フレームの注目ブ
ロックの画像Ａｉｊと第２フレーム（例えば第１フレー
ムの次のフレーム）で画像Ａｉｊに相当する位置の画像
Ｂｉｊとのフレーム差分画像（Ａｉｊ−Ｂｉｊ）を求め
る差分器、４８はフレーム差分画像（Ａｉｊ−Ｂｉｊ）
内の最小値Ｓｍ１ｎを検出する最小値検出器、５０は最
大値Ｓｍａｘを検出する最大値検出器、５２は最大値Ｓ
ｍａｘと最小値Ｓｍ１ｎとの差分Ｓｓを求める差分器で
ある。

ノイズ除去回路３２のフレーム内処理回路３４において
、５４はエツジ量検出回路３０の出力Ａｓに基づいて加
重平均の係数Ｋｉｊを発生する係数発生器、５６はフレ
ーム間処理回路３６の出力Ｓｉｊに係数Ｋｉｊを掛ける
乗算器、５８は乗算器５６の出力を加算する加算器であ
る。また、フレーム間処理回路３６において、６０は動
き量検出回路２８の出力Ｓｓに基づいてフレーム間処理
の程度を示す係数Ｔを発生する係数発生器、６２は差分
器４６の出力（Ａｉｊ−Ｂｉｊ）に係数Ｔを掛ける乗算
器、６４は画像Ａｉｊから乗算器６２の出力を減算する
差分器である。

本実施例の動作を説明する。動画像の入力要求が図示し
ない指示装置から動画／静止画変換装置に入力されると
、制御回路２４は、制御バス２２を介してインターフェ
ース１６及び画像メモリ２６をアクティブにして、画像
データ・バス２０へのアクセス権を与える。インターフ
ェース１６は、動画像入力装置１２からフレーム同期信
号などの同期信号に同期して動画像信号を取り込み、画
像データ・バス２０上に出力する。勿論、動画像入力装
置１２の出力信号がアナログ信号である場合、インター
フェース１６はディジタル信号に変換して画像データ・
バス２０上に出力する。画像メモリ２６は、画像データ
・バス２０上の画像データを順次、連続する画像をフレ
ーム単位で数フレーム分取り込み、記憶する。所定フレ
ーム数の画像データが画像メモリ２６に記憶されると、
制御回路２４は、制御バス２２を介してインターフェー
ス１６及び画像メモリ２６をノンアクティブにする。こ
れにより動画像の入力が完了する。

次に、画像メモリ２６に記憶された複数のフレーム画像
から、ノイズ除去された静止画像を形成し、静止画像出
力装置１４に出力する。即ち、制御回路２４は制御バス
２２を介して、画像メモリ２６、動き量検出回路２８、
エツジ量検出回路３０及びノイズ除去回路３２をアクテ
ィブにし、画像データ・バス２０へのアクセス権を与え
る。画像メモリ２６の第１フレームの注目ブロックの画
像Ａｉｊが動き量検出回路２８及びエツジ量検出回路３
０に印加され、また、第２フレームの画像Ｂｉｊが動き
量検出回路２８に印加される。

エツジ量検出回路３０では、最小値検出器４０が注目ブ
ロック内の最小値Ａｍ１ｎを検出し、最大値検出器４２
が最大値Ａｍａｘを検出し、差分器４４が最大値Ａｍａ
ｘと最小値Ａｍ１ｎとの差分Ａｓを出力する。

差分器４４の出力、即ちエツジ量検出回路３０の出力Ａ
ｓは、注目ブロックの画像Ａｉｊの分散の程度を表わす
。また動き量検出回路２８では、差分器４６が第１フレ
ームと第２フレームとの差分画像（Ａｉｊ−Ｂｉｊ）を
求め、最小値検出器４８が注目ブロック内の差分画像の
最小値Ｓｍ１ｎを検出し、最大値検出器５０が差分画像
の最大値Ｓｍａｘを検出し、差分器５２が最大値Ｓｍａ
ｘと最小値Ｓｍ１ｎとの差分Ｓｓを出力する。差分器５
２の出力、即ち動き量検出回路２８の出力Ｓｓは、差分
画像（Ａｉｊ−Ｂｉｊ）の分散の程度を表わす。

ニー）ジ量Ａｓ、動き量Ｓｓ、差分画像（Ａｉｊ−Ｂｉ
ｊ）及び画像Ａｉｊがノイズ除去回路３２に印加される
。

図示は省略したが、ノイズ除去回路３２の入力は、適当
なラッチ回路又はバッファ・メモリにより一時的に保持
される。ノイズ除去回路３２の内部では、係数発生器６
０が動き量Ｓｓに応じてフレーム間処理の程度を示す係
数Ｔを発生し、乗算器６２が差分画像（Ａｉｊ−Ｂｉｊ
）に係数Ｔを乗算した値Ｔ（Ａｉｊ−Ｂｉｊ）を出力す
る。差分器６４は画像ＡｉｊからＴ（Ａｉｊ−Ｂｉｊ）
を減算したＳｉｊ　（＝Ａｉ　ｊ−Ｔ（Ａｉｊ−Ｂｉｊ
））を出力する。

このようにして得られたＳｉｊはフレーム間処理された
画像になる。Ｓｉｊはフレーム内処理回路３４に印加さ
れ、ここで、エツジ量Ａｓに応じたフレーム内処理を施
される。即ち、係数発生器５４はエツジ量Ａｓに応じて
、フレーム内処理の度合いを示す係数Ｋｉｊを出力し、
乗算器５６がフレーム間処理回路３６の出力Ｓｉｊに係
数Ｋｉｊを画素毎に乗算する。加算器５８は画素毎の積
Ｋｉｊ−８ｉｊを注目ブロック内で積算し、Ｐ＋霊（＝
ΣＫｉｊ−Ｓｉｊ）を出力する。

Ｐ、は注目ブロック内でフレーム内処理された中心画素
値に相当する。

係数発生器５４．６０の発生する係数Ｋｉｊ、Ｔの一例
を夫々第３図及び第４図に図示した。

第３図において、係数Ｋｉｊのうち、注目ブロック内の
中心画素に対する係数に□をＫａとし、注目ブロック内
のその他の周辺画素（この例では８画素）に対する係数
を同じ値の係数Ｋｂとした。また、注目ブロック内の係
数の総和は１になるように、即ちＫａ＋ＫｂＸ　８　＝
　１になるように規格化しである。

エツジ量Ａｓが大きくな−るほど係数Ｋａが大きくなり
、係数Ｋｂが小さくなって、フレーム内処理の程度が小
さくなる。具体的には、エツジ量Ａｓが０がら所定値Ａ
ｓ１の間では係数Ｋａ、Ｋｂは共に１７９であり、ノイ
ズ除去回路３２の出力ｐｓｉはΣＳｔｊ／９になり、こ
れはフレーム内平均化されたことに相当する。エツジ量
Ａｓが所定値Ａｓ、より大きい場合、Ｋａは１に、Ｗｂ
は０になり、Ｐ□はＳ２２になり、これはフレーム内処
理されていないことに相当する。エツジ量ＡｓがＡｓ１
からＡｓ、の間では、係数Ｋａは１／９から１の間で連
続的な値をとり、係数Ｋｂは１／９から０の間で連続的
な値をとり、ＰＲ’ＪはΣＳｉｊ／９からＳａｔの間で
連続的に変化し、これは、フレーム内処理の程度が連続
的に変化することに相当する。

第４図では、動き量Ｓｓが大きい程、係数Ｔは小さくな
り、フレーム間処理の程度も小さくなる。

具体的には、動き量Ｓｓが０から所定値Ｓｓ、の間では
、係数Ｔ＝１／２であり、従って、Ｓｉｊは（Ａｉｊ÷
Ｂｉｊ）／２となり、これはフレーム間平均されたこと
に相当する。動き量Ｓｓが所定値Ｓｓ、より大きい場合
、係数Ｔ＝Ｏで、５ｉｊ＝Ａｉｊとなり、これはフレー
ム間処理されていないことに相当する。動き量ＳｓがＳ
ｓ、からＳｓ！の間では、係数Ｔは１／２から０の間で
連続的な値をとり、Ｓｉｊは（Ａｉｊ＋Ｂｉｊ）／２か
らＡｉｊの範囲で連続的に変化する。これはフレーム間
処理の程度が連続的に変わることを意味する。

このようにして得られたノイズ除去回路３２の出力Ｐ、
は、画像データ・バス２０を介して画像メモリ２６の出
力用フレーム記憶エリアに記憶される。以後、順次、注
目ブロックを１画素ずつずらして、以上の処理をフレー
ムの全画像領域に対して行なうことにより、ノイズ低減
されたフレーム画像が画像メモリ２６の出力用フレーム
記憶エリアに記憶される。但し厳密には、フレームの最
外部の１画素は特異ケースになる。

ノイズ低減処理が完了すると、制御回路２４は制御バス
２２を介して動き量検出回路２８、エツジ量検出回路３
０及びノイズ除去回路３２をノンアクティブにし、イン
ターフェース１８をアクチーブにして、画像メモリ２６
の出力フレーム用記憶エリアに記憶される出力用フレー
ムを順次画像データ・バス２０に読み出す。インターフ
ェース１８は画像データ・バス２０の画像データを、静
止画像出力装置１４と同期をとって静止画像出力装置１
４に出力する。静止画像出力装置１４は、これによりく
可視の静止画像を形成出力する。静止画像出力装置１４
の信号入力形式がアナログ形式である場合には、インタ
ーフェース１８は内部のＤ／Ａ変換器によりアナログ画
像信号を出力する。

各回路ブロックの機能は、個別のハードウェアにより実
現しても、専用又は汎用のディジタル演算処理装置によ
りソフトウェア処理により実現してもよいことはいうま
でもない。適宜の箇所の処理をパイプライン処理により
同時実行させてもよい。本実施例では、処理対象画像を
２フレームとしたが、勿論、３フレ一ム以上の画像を使
用して、逐次的にノイズ低減処理を行なってもよい。イ
ンターレース走査の動画像に対してはフィールド単位で
あってもよい。

また、上記実施例では、エツジ量として注目領域の画像
の最大値と最小値との差分を用いたが、本発明はこれに
限定されず、統計的処理（例えば相関値）や空間周波数
での処理などの構造解析から別のエツジ量を検出しても
よい。動き量としては、各種の動きベクトル検出方式に
より得た動き量を用いてもよい。

ノイズ除去方式として、フレーム間の加重平均処理とフ
レーム内の加重平均処理を併用し、それらの加重平均の
係数を動き量及びエツジ量に応じて値とすることにより
、フレーム間処理とフレーム内処理の割合を制御するよ
うにしたが、本発明は、これに限定されない。即ち、各
種のフィルタリング処理のような、異なる方式のフレー
ム間処理及びフレーム内処理を採用してもよい。動き量
及びエツジ量によって制御するパラメータは、加重平均
の係数だけでなく、他の複数のパラメータであったり、
エツジ量と動き量が複合的に関係するパラメータであっ
てもよい。フレーム間処理とフレーム内処理の順序も上
記例に限定されず、上記例の逆でも、部分的に互いに関
係するようなものでもよい。処理単位である注目ブロッ
クを３×３画素としたが、注目ブロックの大きさ及び形
は、用いるフレーム間処理及びフレーム内処理に応じて
決定すればよい。例えば、処理単位自体を動き量とエツ
ジ量で制御する構成としてもよい。

また本実施例で説明した１又は複数の回路ブロックの機
能をソフトウェア処理により実現してもよいことはいう
までもない。

［発明の効果］ 以上の説明から容易に理解できるように、本発明によれ
ば、エツジを保存又は強調し、且つ、ボケや色にじみな
どの画質劣化が目立たない鮮明な静止画像を得ることが
できる。特に、動き量とエツジ量に応じて２次元空間処
理と時間軸方向の処理の割合を連続的に調整するので、
処理不連続性で発生する画像歪みを抑制できる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成ブロック図、第２図は
第１図の主要部の構成ブロック図、第３図はフレーム内
処理の係数Ｋｉｊの特性図、第４図はフレーム間処理の
係数Ｔの特性図である。 １０：動画／静止画変換装置　１２：動画像入力装置　
１４：静止画像出力装置　１６，１８：インターフェー
ス　２０：画像データ・バス　２２：制御信号バス　２
４：制御回路　２６：画像メモリ　２８：動き量検出回
路　３０：エツジ量検出回路　３２：ノイズ除去回路　
３４：フレーム内処理回路　３６：フレーム間処理回路
　４０゜４８：最小値検出器　４２，５０：最大値検出
器４４．４６，５２，６４：差分器　５４．６０＝係数
発生器　５６，６２：乗算器　５８：加算器 フレーム内 処理の程度　Ｋｉｊ 第 図 第４ 図

Claims (1)

【特許請求の範囲】
1. 　所定数の画像を記憶自在な画像メモリと、当該画像メ
   モリに記憶される少なくとも２つの画像から注目領域毎
   に動き量及びエッジ量を検出する検出手段と、当該検出
   手段の検出結果に従う２次元空間処理及び時間軸方向の
   処理の割合で、当該画像メモリに記憶される画像にノイ
   ズ低減処理を施すノイズ低減手段とからなることを特徴
   とする動画／静止画変換装置。