JP2782766B2 - 動画静止画変換方法 - Google Patents

動画静止画変換方法

Info

Publication number
JP2782766B2
JP2782766B2 JP1067444A JP6744489A JP2782766B2 JP 2782766 B2 JP2782766 B2 JP 2782766B2 JP 1067444 A JP1067444 A JP 1067444A JP 6744489 A JP6744489 A JP 6744489A JP 2782766 B2 JP2782766 B2 JP 2782766B2
Authority
JP
Japan
Prior art keywords
image
still image
smoothing
pixel
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1067444A
Other languages
English (en)
Other versions
JPH02248173A (ja
Inventor
俊之 谷中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP1067444A priority Critical patent/JP2782766B2/ja
Publication of JPH02248173A publication Critical patent/JPH02248173A/ja
Application granted granted Critical
Publication of JP2782766B2 publication Critical patent/JP2782766B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、テレビ・カメラやVTRなどから入力された
動画像をCRTやプリンタなどに静止画像として出力する
動画静止画変換方法に関する。
[従来の技術] 従来、プリンタ等で出力される画像は、イメージ・ス
キャナなどの静止画入力装置から入力されたものが主で
あったが、最近は、入力装置として、テレビ・カメラや
ビデオ・カメラ、VTRなどの多種多様の装置が使用され
るようになってきた。また、HDTVのようにテレビジョン
信号の高精細化に伴い、高精細テレビジョン信号の画像
をプリンタや印刷装置に出力する傾向が強くなってきて
いる。
[発明が解決しようとする課題] しかし一般に、テレビ・カメラの出力のような動画像
の1シーンを静止画像として取り出す場合、良好な静止
画像を得るにはまだ多くの課題がある。特に、動画像で
は目立たないノイズ成分が静止画像では顕著に目立つと
いう問題点がある。即ち、動画像では、視覚系の時間軸
方向の積分効果により1フレーム中のノイズが見えにく
くなるのに対して、1フレームを抽出した静止画像で
は、視覚系の積分効果が少なく、ノイズによる画質劣化
が目立ってしまう。
従って、動画像から静止画像に変換する場合、効果的
なノイズ除去を行なう必要がある。本発明は、効果的な
ノイズ低減を行なう動画静止画変換方法を提示すること
を目的とする。
[課題を解決するための手段] 本発明に係る動画静止画変換方法は、入力画像の画面
内で、動画部分と静止画部分の画素を判定し、前記入力
画像中の動きがないとみなされる静止画部分は前記入力
画像中の時間軸方向の第1のノイズ低減処理を行い、前
記入力画像中の動きがあるとみなされる画素に対しては
画面内で動きがないとみなされた画素よりも動きがある
とされた画素を用いて第2のノイズ低減処理を行い、前
記第1のノイズ低減処理と前記第2のノイズ低減処理の
出力を組み合わせて1画面分の画像情報として生成する
ことを特徴とする。
[作用] 上記手段により、時間軸方向及び2次元空間のそれぞ
れについてノイズを低減することができ、従って、ノイ
ズの比較的大きい動画像からでも、ノイズを低減させた
鮮明な静止画像を得ることができる。
[実施例] 以下、図面を参照して本発明の実施例を説明する。
第1図は本発明の一実施例の構成ブロック図を示す。
10はビデオ・カメラやVTRなどの動画像信号を出力する
装置に接続する動画像入力端子、12はそのインターフェ
ース部である。14は、画像データ及びその加工データを
記憶するメモリ部であり、内部には、フラグ・メモリ部
16と画像メモリ部18とを具備する。20はフレーム内での
平滑化を行なうフレーム内平滑化部、22は画像の小領域
(本実施例では1画素)単位で動きの大きな画像か又
は、動きの小さい又は静止した画像かを判定する動画/
静止画判定部、24は時間軸方向で、即ち複数のフレーム
にわたって同じ位置の画像小領域(本実施例では1画
素)で平滑化を行なうフレーム間平滑化部、28はCRT映
像表示装置やプリンタなどの静止画像出力装置との接続
のためのインターフェース部、30は出力端子である。32
は、画像メモリ18の入力バスを切り換えるバス切換え部
である。
第2図は、動画/静止画判定部22及びフレーム間平滑
化部24の具体的構成のブロック図を示す。34は2つのフ
レームAi,j,Bi,jの画素間の差分を求める差分器、36は
差分器34の出緑を所定の閾値kと比較する比較器であ
る。38は、2つのフレームAi,j,Bi,jの画素間の平滑化
を行なう平滑器、40は比較器36の出力に従い、平滑器38
の出力又はフレームAi,jの画素値を選択するセレクタ
である。
第3図はフレーム内平滑化部20の具体的構成例のブロ
ック図を示す。40,42は、ライン走査の画像データ及び
フラグ・データをブロック単位に変換するライン/ブロ
ック変換回路、46,48,50,52はラッチ回路、54はセレク
タ、56は比較回路、58は乗算器、60は平滑化フィルタの
係数Cs,tが格納されたROM、62は加算器、64はクリア機
能付きのラッチ回路、66はラッチ回路である。
上記の構成における動作を説明する。動画像の取り込
みのために、先ず、バス切換え部32をa側に接続する。
外部指示によりインターフェース部12を起動すると、ビ
デオ・カメラやVTRからの動画像信号が、インターフェ
ース部12及びバス切換え部32を介して画像メモリ18に取
り込まれる。このとき、インターフェース部12は、ビデ
オ・カメラ等の画像入力装置からの画像入力速度と、画
像メモリ部18の書込み速度との調整を行なう。なお、説
明を簡単にするため、画像メモリ部18に取り込まれる画
像は、2画面(2フレーム)であるとする。
次に、バス切換え部32をb側に切り換え、画像メモリ
部18から2フレームの画像信号についてライン走査順に
画素Ai,j,Bi,j(i=1〜M,j=1〜N)毎に読み出
し、動画/静止画判定部22及びフレーム間平滑化部24に
入力する。なお、M,Nは1フレームの水平画素数及び垂
直画素数である。動画/静止画判定部22は、画素毎に動
画か静止画かを判定し、判定結果Fi,jを出力する。こ
の判定結果Fi,jは、フラグ・メモリ部16に格納され、
また、フレーム間平滑化部24に出力する。
動画/静止画判定部24の内部では、差分器34が画素毎
の2つのフレームAi,j,Bi,jの差|Ai,j−Bi,j|を求め
る。比較部36は、差分器34の出力を閾値kと比較し、|A
i,j−Bi,j|≧kならば、動画と判定してフラグFi,j
を1にし、|Ai,j−Bi,j|<kならば静止画と判定して
フラグFi,jを0にする。
一方、フレーム間平滑化部24では、平滑器38が、2フ
レームAi,j,Bi,Jの対応画素を平滑化した画素値を出力
しており、セレクタ40が、動画/静止画判定部22の判定
結果Fi,jに従い、静止画(Fi,J=0)の場合には平滑
器38の出力、即ち2フレームAi,j,Bi,Jを平滑化した画
素値を選択し、動画(Fi,j=1)の場合には、フレー
ムAi,jの画素を選択する。セレクタ40の出力、即ちフ
レーム間平滑化部24の出力Xi,jは、スイッチ32を介し
て画像メモリ部18に送られ、記憶される。画像メモリ部
18でのXi,jの記憶位置は、フレームAi,jの記憶領域で
も、フレームBi,jの記憶領域でもどちらでもよいし、
また、フレームAi,j,Bi,j以外の特別のフレームを記憶
領域として画像メモリ部18に設けてもよい。
このようにして、1画面の全体について処理が終了す
ると、静止画部分について時間軸方向の平滑化が行なわ
れたことになる。このフレーム間平滑化が行なわれてい
るときには、フレーム内平滑化部20はインターフェース
部26には画像データを出力しない。
次に、フレーム内平滑化を説明する。時間軸方向に平
滑化された画像データXi,jを画像メモリ部18から順次
読み出す。フレーム内平滑化部20はこれを取り込んで、
或る画素領域(ここでは説明を簡単にするために3×3
画素を1つのブロックとする。)毎に、フラグ・メモリ
部16のフラグFi,jに従い平滑化処理を行ない、インター
フェース部26に出力する。出力端子30にはディスプレイ
装置やプリンタなどの出力装置が接続しており、インタ
ーフェース部26は、これら出力装置へのデータ転送と、
フレーム内平滑化部20での処理速度との調整を行なって
いる。
第4図を参照し、フレーム内平滑化部20での平滑化の
概念を説明する。先ず、例1と例2により、注目画素X
i,jに対する平滑化処理を説明する。一般的な平滑化処
理では、処理ブロックXm+s,n+t(s,t=−1,0,1)
に対して平滑化フィルタ係数Cs,tを乗算する方法をと
り、その場合、平滑化された画素データYi,jは、 となる。しかし、この方法では、例1,2のように同一ブ
ロック内に動画部と静止画部がある場合、動画部と静止
画部が混合されて平滑化されるので、移動物のエッジが
ぼけるという欠点がある。
これに対して本実施例では、注目画素Xm,nのフラグ
m,nが0(即ち、静止画)の場合には、そのブロック
内で、フラグFm+s,n+tが1である画素に対する平
滑化フィルタ係数Cs,tを0にし、その分を中心のフィ
ルタ係数C0,0に加算した修整平滑化フィルタ係数C′
s,tを用い、逆に、注目画素Xm,nのフラグFm,nが1
(即ち、動画)の場合には、そのブロック内で、フラグ
m+s,n+tが0である画素に対する平滑化フィルタ
係数Cs,tを0にし、その分を中心のフィルタ係数C0,0
に加算した修整平滑化フィルタ係数C′s,tを用いる。
言い換えると、本実施例の処理は注目画素が動きのあ
る画素(動画部分に含まれる画素)であると判定された
際には、当該画素の周辺の動きが無いとされた画素(静
止画部分に含まれる画素)を用いることなく、動きがあ
ると判定された画素を用いて平滑化している。従って、
動画部分の境界にある画素を静止部分の画素を用いて平
滑化することがないので、境界部がぼけてしまうことを
防止できる。これらを式を用いて説明する。
即ち、例1では、注目画素Xm,nのフラグFm,nが0で
あるので、フラグFm+s,n+tが1である画素に対す
る平滑化フィルタ係数Cs,tを0にし、その分を中心の
フィルタ係数C0,0に加算する。これにより、フィルタ
係数C0,0は9/16になり、修整平滑化フィルタ係数C′
s,tは全体として第4図に符号70で示すようになる。従
って、注目画素Xm,nを平滑化した画素値Ym,nは、 Ym,n =(Xm−1,n−1+2Xm−1,n+Xm−1,n+1 +2Xm,n−1+9Xm,n+Xm+1,n−1)/16 となる。
他方、例2の場合には、注目画素Xm,nのフラグFm,n
が1であるので、フラグFm+s,n+tが0である画素
に対する平滑化フィルタ係数Cs,tを0にし、その分を
中心のフィルタ係数C0,0に加算する。これにより、フ
ィルタ係数C0,0は11/16になり、修整平滑可フィルタ係
数C′s,tは全体として第4図に符号72で示すようにな
る。従って、注目画素Xm,nを平滑化した画素値Y
m,nは、 Ym,n =(2Xm−1,n+Xm−1,n+1+11Xm,n
m,n+1)/16 となる。
次に、上記動作を第3図に示したフレーム内平滑化部
20の内部構成を参照して説明する。画像メモリ部18及び
フラグ・メモリ部16からライン順次で読み出された画素
データXi,j及びフラグFi,jは、それぞれライン/ブロ
ック変換部42,44によりブロック単位の信号に変換され
る。本実施例では、3×3画素のブロックに変換する。
ライン/ブロック変換部42,44は先ず、注目画素Xi,j
びそのフラグFi,jを出力し、ラッチ回路46,50がそれぞ
れを一時保持する。ラッチ/ブロック変換部42,44は次
に、ブロック内の画素値Xm+s,n+t及びフラグF
m+s,n+t(s,t=−1,0,1)を順次出力し、ラッチ回
路48,52がこれを一時保持する。比較器56はラッチ回路5
0,52の出力により、フラグFm,nとフラグFm+s,n+t
とを比較する。セレクタ54は比較器56からの一致信号に
よりラッチ回路48の出力Xm+s,n+tを選択し、比較
器56からの不一致信号によりラッチ回路46の出力Xm,n
を選択する。
乗算器58は、セレクタ54の出力にROM60の出力C
s,t(フィルタ係数)を乗算し、加算器62はラッチ回路6
4の出力に乗算器58の出力を加算してラッチ回路64に出
力する。即ち、加算器62及びラッチ回路64により累積加
算を行なう。但し、ラッチ回路64は、ブロックの始めの
画素Xm−1,n−1を処理するときには、0にクリアされ
る。
上記の一連の作業をブロック内の全画素(9画素)に
ついて行ない、最終画素Xm+1,n+1の処理結果がラ
ッチ回路64で保持されたら、ラッチ回路64の出力をラッ
チ回路66に取り込み、平滑化画素値Ym,nとして出力す
る。
そして、このようなブロック単位の処理を全画素X
i,j(i=1〜M,j=1〜N)について行なう。
本実施例では、動画像の基本画面をフレームで扱った
が、勿論、フィールドで行なうことも可能である。ま
た、本実施例では、メモリ部14に2フレームの画像を取
り込んだが、メモリ容量をまして2フレーム以上取り込
んでもよい。動画像の時間軸方向のノイズ低減処理に
は、2フレームの同一位置の画素の平均値を用いたが、
本発明はこれに限定されない。例えば、3フレーム以上
用いる場合では、適度な加重平均を用いることもでき
る。更には、動画像の2次元空間でのノイズ低減処理と
して、ブロック内の加重平均を用いたが、単純平均やそ
の他のフィルタリング処理を用いてもよい。
また、時間軸方向のノイズ低減処理を全領域について
行なった後で、2次元空間でのノイズ低減処理を行ない
つつ静止画像を出力しているが、本発明はこれに限定さ
れない。例えばフレーム洋の画像メモリを用いずに適度
なバッファ・メモリを使い、小領域毎に時間軸方向のノ
イズ低減処理と2次元空間でのノイズ低減処理とをパイ
プライン的処理で行ないつつ静止画像を出力するように
してもよい。
動画/静止画判定回路22では、2フレームの対応する
画素の差分の大きさにより判定したが、例えば、テレビ
ジョン系で利用される動き検出や動きベクトル検出など
の手法を使用してもよい。
本実施例ではフレーム間平滑化において動画部では平
滑化処理を行なっていないが、例えば、動きベクトル検
出などの手法を用いて次のフレームの何処に移動したか
を求め、その画素又は一部を用いて平滑化を行なっても
よい。
ハードウェアによる構成で説明したが、一部又は全部
をソフトウェアにより処理することができることはいう
までもない。
本実施例では、動画像の動画部と静止画部とに応じ
て、フレーム間平滑化による時間軸方向のノイズ低減
と、フレーム内平滑化による2次元空間でのノイズ低減
を行なっており、これにより、ノイズが比較的大きい動
画像からでも、ノイズの少ない鮮明な静止画像を得るこ
とができる。
[発明の効果] 以上の説明から容易に理解できるように、本発明によ
れば、ノイズの少なく、且つ鮮明な静止画像を得ること
ができる。特に、本発明によれば、動画部と静止画部と
の境界部においては、動きがあるとみなされた部分に対
して、その周辺の動きがないとされた画素よりも、動き
があるとされた画素を用いて画面内の平滑化を行うの
で、移動物のエッジがぼけることがなく、高品位の静止
画を得ることができる。
【図面の簡単な説明】
第1図は本発明の一実施例の構成ブロック図、第2図は
第1図の動画/静止画判定部22及びフレーム間平滑化部
24の構成ブロック図、第3図はフレーム内平滑化部20の
構成ブロック図、第4図はフレーム内平滑化の概念説明
図である。 10:入力端子、20:フレーム内平滑化部、22:動画/静止
画判定部、24:フレーム間平滑化部、30:出力端子

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像の画面内で、動画部分と静止画部
    分の画素を判定し、 前記入力画像中の動きがないとみなされる静止画部分は
    前記入力画像中の時間軸方向の第1のノイズ低減処理を
    行い、 前記入力画像中の動きがあるとみなされる画素に対して
    は画面内で動きがないとみなされた画素よりも動きがあ
    るとされた画素を用いて第2のノイズ低減処理を行い、 前記第1のノイズ低減処理と前記第2のノイズ低減処理
    の出力を組み合わせて1画面分の画像情報として生成す
    る ことを特徴とする動画静止画変換方法。
JP1067444A 1989-03-22 1989-03-22 動画静止画変換方法 Expired - Fee Related JP2782766B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1067444A JP2782766B2 (ja) 1989-03-22 1989-03-22 動画静止画変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1067444A JP2782766B2 (ja) 1989-03-22 1989-03-22 動画静止画変換方法

Publications (2)

Publication Number Publication Date
JPH02248173A JPH02248173A (ja) 1990-10-03
JP2782766B2 true JP2782766B2 (ja) 1998-08-06

Family

ID=13345106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1067444A Expired - Fee Related JP2782766B2 (ja) 1989-03-22 1989-03-22 動画静止画変換方法

Country Status (1)

Country Link
JP (1) JP2782766B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI91341C (fi) * 1992-05-20 1994-06-10 Salon Televisiotehdas Oy Menetelmä ja laite kohinan vaimentamiseksi HD-MAC-signaalista
GB9607668D0 (en) 1996-04-12 1996-06-12 Snell & Wilcox Ltd Video noise reducer
JPH1169202A (ja) * 1997-08-19 1999-03-09 Toshiba Corp 映像信号処理回路
JP5200890B2 (ja) * 2007-12-06 2013-06-05 セイコーエプソン株式会社 画像処理装置及びその制御方法
WO2010073488A1 (ja) 2008-12-22 2010-07-01 パナソニック株式会社 画像ノイズ除去装置及び方法
CN104115482B (zh) 2012-10-04 2017-11-21 松下电器(美国)知识产权公司 图像噪声除去装置、以及图像噪声除去方法
CN104869287A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄降噪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2637978B2 (ja) * 1987-04-16 1997-08-06 日本ビクター株式会社 動き適応形画質改善装置

Also Published As

Publication number Publication date
JPH02248173A (ja) 1990-10-03

Similar Documents

Publication Publication Date Title
US5784115A (en) System and method for motion compensated de-interlacing of video frames
JP3103894B2 (ja) ビデオデータの手振れ補正装置およびその方法
EP0549681B1 (en) Video image processing
US6456329B1 (en) De-interlacing of video signals
EP0574192A2 (en) Implementation architecture for performing hierarchical motion analysis of images in real time
EP0677958A2 (en) Motion adaptive scan conversion using directional edge interpolation
KR100745386B1 (ko) 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
US5473441A (en) Video signal reproduction processing method and apparatus for reproduction of a recorded video signal as either a sharp still image or a clear moving image
JP2860702B2 (ja) 動きベクトル検出装置
US6762792B1 (en) Digital still camera
JP2782766B2 (ja) 動画静止画変換方法
JP3674186B2 (ja) 画像情報変換装置および方法
JPH1175181A (ja) ディジタル画像信号の変換装置及び変換方法
GB2202706A (en) Video signal processing
JPH06153167A (ja) 動きベクトル検出回路
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
JP3455263B2 (ja) 画像処理装置
JPH07123337A (ja) 信号処理装置
JP2770300B2 (ja) 画像信号処理処置
JPH03102978A (ja) 動画/静止画変換装置
JP3070041B2 (ja) 動画/静止画変換装置
JPH0232835B2 (ja)
JP2519526B2 (ja) 信号処理装置
JPH09327005A (ja) 画像表示方法及び装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees