JPWO2004002135A1 - 動き検出装置及びそれを用いたノイズリダクション装置 - Google Patents

動き検出装置及びそれを用いたノイズリダクション装置 Download PDF

Info

Publication number
JPWO2004002135A1
JPWO2004002135A1 JP2004515176A JP2004515176A JPWO2004002135A1 JP WO2004002135 A1 JPWO2004002135 A1 JP WO2004002135A1 JP 2004515176 A JP2004515176 A JP 2004515176A JP 2004515176 A JP2004515176 A JP 2004515176A JP WO2004002135 A1 JPWO2004002135 A1 JP WO2004002135A1
Authority
JP
Japan
Prior art keywords
line memory
output
unit
signal
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004515176A
Other languages
English (en)
Other versions
JP3856031B2 (ja
Inventor
英樹 森野
英樹 森野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2004002135A1 publication Critical patent/JPWO2004002135A1/ja
Application granted granted Critical
Publication of JP3856031B2 publication Critical patent/JP3856031B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

ノイズ除去効果を大きくできると共にノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることができ、強電界から弱電界に至るまでノイズ除去効果を大きくできると共にそれに伴う残像や張り付き感などの見た目の不自然さを解消することができる動き検出装置及びそれを用いたノイズリダクション装置が提供される。この動き検出装置はフレーム差分をしきい値と比較し、複数画素のブロックに対してその結果の総和をとりしきい値と比較し所望の信号を出力し、さらにこの出力を水平あるいは垂直方向に数画素拡大適用するなどして動き検出を実行する。このノイズリダクション装置はこの動き検出装置を用いる。

Description

本発明は、テレビジョン受信機における映像信号処理技術に関する。
ノイズの入った映像入力信号からノイズを除去する方法としてフレーム巡回型のノイズリダクションがある。例えば、映像出力信号(ノイズ除去されたもの)をフレーム遅延させたものと映像入力信号との差分をとり、この差分値に所望の巡回係数(0以上1未満)をかけ、これをもとの映像入力信号から加減算することによりノイズを除去するものがある。
その他にも、動き検出やノイズリダクションの従来技術については、特開2002−94834号公報や“トランジスタ技術SPECIAL”(松井俊也、No.52、1999年、CQ出版株式会社、89−92頁)などに記載されている。
以下、従来の技術について例を挙げて説明する。
図18Aと図18Bは従来のフレーム巡回型ノイズリダクション装置の一例を示す。図18Aで、フレームメモリ1801は映像出力信号(ノイズ除去されたもの)1807をフレーム遅延する。減算器1802は、フレームメモリ1801の出力と映像入力信号1806とのフレーム差分をとる。この差分値は動き検出と巡回係数の生成を行なう動き検出及び巡回係数生成回路1803に入力される。動き検出及び巡回係数生成回路1803は差分値に応じて巡回係数を生成する。
図18Bは、この差分値と巡回係数との関係の一例を示している。図18Bにおいて、横軸1810は差分値を、縦軸1811は巡回係数を、曲線1812は差分値と巡回係数との関係をそれぞれ示している。曲線1812が示すように、動き検出及び巡回係数生成回路1803は差分が大きくなるにつれて巡回係数を非線形的に小さくする特性を持っている。これは動きが大きくなることと差分が大きくなることとの関連性を利用して動き検出をしていることになる。このようにして得られた巡回係数とフレーム差分とが乗算器1804において掛け合わせられる。さらに、加減算器1805が乗算器1804の出力をフレーム差分の符号に応じて映像入力信号1806から加減算することにより、ノイズが除去された映像出力信号1807が得られる。
上述の従来方式では、巡回係数を大きくすることでノイズ除去の効果は大きくなるが、この場合動きのある部分についてはフレーム差分に起因する尾引きの弊害が発生する。そこでフレーム差分値に応じて非線形処理したり、動き検出をしてその結果に応じて巡回係数を変えたりする方法がある。しかし、従来の動き検出はフレーム差分値をそのまま用いたり水平および垂直のエッジ検出を利用するものであるため、ノイズレベルと同程度かそれ以下のレベルである動き部分に対してはノイズと動きの区別ができない。この状態でノイズを除去しようとすると、尾引きの現象が発生する。従って、この様な状態では、尾引きの弊害を防ぐ観点から、ノイズ除去効果は限られている。
また、差分値に応じて非線形処理したり、動き検出をしてその結果に応じて巡回係数を変えたりする方法がある。この方法は、前述の非特許文献に記載されている。しかし、従来の動き検出はフレームあるいはフィールド差分値をそのまま用いたりするものである。この場合ノイズレベルと同程度かそれ以下のレベルである動き部分に対してはノイズと動きの区別ができない。この状態でノイズを除去しようとすると、残像の現象が発生する。従って、この様な状態では、残像の弊害を防ぐ観点から、ノイズ除去効果は限られている。
上記の構成では、フレーム差分において動きに起因する差分値がノイズに起因する差分値と同程度かそれ以下のレベルの場合には両者の区別ができないため尾引きの発生を防止する目的から巡回係数を大きくできずノイズ除去効果は制限される。
またノイズ量が多くなりやすい暗い部分に対して適応的にノイズ除去効果を高めるために、AGC回路からの情報や入力信号レベルによりノイズ除去レベルを制御する方法も考えられる。しかし、AGC回路との連携に新たな制御回路を付加する必要があり、また入力信号レベルそのものを使用する方法ではノイズの影響により空間方向において制御レベルの変動が起こりやすい。
さらに巡回型ノイズリダクションと空間方向のフィルタを用いた非巡回型ノイズリダクションとを動き検出結果により適応的に併用する場合、従来の不連続的な動き検出結果を用いると空間方向の不連続的な処理に伴い見た目上の不自然さが生じやすいうえ輪郭を含んだ動画領域に対して空間方向のフィルタをかけるため動画時において輪郭のボケが生じやすく輪郭補正回路を付加する必要がある。
また、一般的に映像の中では静止画部分や動画部分はあるまとまりを持って出現する。従って、その領域においては動き検出の結果から隣接画素間で同じ巡回係数を用いる可能性が高く、特に巡回係数を大きくした場合においてはこれにより映像の張り付き感など見た目の不自然さが生じやすい。また弱電界時においては動き検出におけるしきい値が大きくなり、巡回係数を大きくすると画面全体に膜が張ったような不自然さが生じやすい。
動き検出装置は少なくとも
映像入力信号をフレーム遅延させるフレームメモリと、
映像入力信号とフレームメモリから読み出されるフレーム遅延信号との差分をとる減算器と、
減算器の出力と任意のしきい値との比較を行なう比較部と、
比較部から出力される信号を遅延させる第1のラインメモリと、
第1のラインメモリの信号をさらに遅延させる第2のラインメモリと、
映像信号の各画素を中心に水平および垂直方向に隣接する複数の画素を一つのブロックとして、比較部からの出力と第1のラインメモリからの出力と第2のラインメモリからの出力に対してブロック内の各画素の総和をとり、この和と任意のしきい値とを比較するブロック判別部と、
を備える。
ノイズリダクション装置は少なくとも、
上述の動き検出装置と、
減算器の出力に対して係数をかけ、映像入力信号と加減算を行なうことによりノイズを除去するノイズリダクション処理部と、
比較部と特異点除去部とのライン遅延量だけノイズリダクション処理部からの出力を遅延させる第3のラインメモリと、
比較部と特異点除去部とのライン遅延量だけ映像入力信号を遅延させる第4のラインメモリと、
第3のラインメモリの出力と第4のラインメモリの出力とを動き検出結果信号に応じて選択して映像出力信号を出力するセレクタとを備え、
フレームメモリにセレクタにより選択された映像出力信号が入力される。
発明を実施する最良の形態
本発明は、従来の動き検出装置やノイズリダクション装置での課題を解決する動き検出装置及びそれを用いたノイズリダクション装置を提供する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、(実施の形態1)について、その詳細を説明する。
図1は本発明の(実施の形態1)における動き検出装置の構成図を示す。
フレームメモリ101は映像入力信号108をフレーム遅延させ、減算器102は映像入力信号108とフレームメモリ101から読み出されるフレーム遅延信号との差分をとる。比較部103は減算器102からの出力と所定のしきい値との比較を行ない、その結果に応じて所望の信号を発生する。第1のラインメモリ(図1ではラインメモリと記載する)104は比較部103から出力される信号を1ライン(1水平走査期間)遅延させ、第2のラインメモリ(図1ではラインメモリと記載する)105は第1のラインメモリ104の出力をさらに1ライン遅延させる。ブロック判別部106は、ブロック内の各画素の総和をとり、この総和と所定のしきい値とを比較し、その結果に応じて所望の信号をそのブロックの中心画素の値として出力する。このブロックは、各画素を中心にして、その画素と水平および垂直方向の近傍の幾つかの画素で構成される。ブロックを構成する画素は、比較部103および第1のラインメモリ104および第2のラインメモリ105から得られる。特異点除去部107は、ブロック判別部106などでの一連の処理で発生する特異点を取り除いて、動き検出結果として出力する。特異点除去部107で特異点を取り除く処理は、ブロック判別部106の結果を水平あるいは垂直方向に数画素拡大適用したり、時間軸方向に拡大適用したり、ブロック判別部106での処理前の信号と各画素において比較することなどにより実行される。
以下具体例を挙げてその動作を説明する。
減算器102は、映像入力信号108がフレームメモリ101において1フレーム遅延された信号と映像入力信号108との間でフレーム差分をとり、そのフレーム差分を比較部103に入力する。比較部103はフレーム差分と所定のしきい値とのレベルを比較し、その比較結果に応じて所望の信号を出力する。比較部103は、フレーム差分値の絶対値をとり、これとしきい値との大小関係を比べ、差分値の絶対値がしきい値より小さければ0、それ以上なら1の1ビットの信号を出力する。
図4Aは、比較部103の特性例を示している。図4Aにおいて、横軸411は上述のフレーム差分、縦軸412はフレーム差分の絶対値、直線413及び414はフレーム差分とフレーム差分の絶対値との関係を示している。また、フレーム差分とフレーム差分の絶対値は、しきい値415を境にして、領域416と領域417に分割される。比較部103は、領域416では0を、領域417では1を、それぞれ出力する。
このとき、フレーム差分信号に対しローパスフィルタ処理をするなどして多少のノイズを除去することも可能である。この1ビットの信号と、これが第1のラインメモリ104で1ライン遅延された信号と、第1のラインメモリ104の出力信号が第2のラインメモリ105でさらに1ライン遅延された信号とがブロック判別部106に入力される。
ブロック判別部106の動作を図4B及び図4Cと伴に説明する。図4Bにおいて、矢印421は画面の水平方向を、矢印422は画面の垂直方向をそれぞれ示している。画素P6を中心に3画素、5画素、3画素の計11画素が1つのブロックとして処理される。このとき比較部103の出力は画素P9、画素P10、画素P11であり、第1のラインメモリ104の出力は画素P4、画素P5、画素P6、画素P7、画素P8であり、第2のラインメモリ105の出力は画素P1、画素P2、画素P3である。
図4Cは、図4Bの各画素に対する比較部103の出力を示している。斜線が施された画素は0で、斜線が施されていない画素は1を意味している。ブロック判別部106においては、この11画素について、比較部103とラインメモリ104とラインメモリ105から出力された1ビットの信号(1か0)の総和をとり、その総和と所定のしきい値とでその大小関係を比較する。このとき総和の最小値は0で最大値は11である。ブロック判別部106は、これがしきい値よりも小さければ0を、それ以上なら1の1ビットの信号を中心画素P6の値として出力する。ここで1の値をもつ画素は動きのある画素とみなされる。図4Cでは総和が7で、しきい値が6なので、ブロック判別部106はP6が動き部分であると判断して1を出力する。この処理は、映像の動き部分は複数の隣接画素である程度のまとまりをもって現れることと、ノイズは隣接画素間でばらばらに出現するというランダム性とを利用している。ブロック判別部106はこのようなブロックによる判別を各画素において行ない、その判別結果を特異点除去部107に入力する。
ここでは、水平あるいは垂直方向にブロック判別部106の結果を数画素拡大適用したり、時間軸方向に拡大適用したりする場合を例に挙げる。例えば、水平に1画素拡大適用するということは、図4Bにおいて画素P6が1(動き)ならば画素P5、画素P7も1とし動きのある画素とすることである。これは、上述のようなブロック判別においては動きの部分とそうでない部分の境界において誤判定(本来1である部分が0と判定される)が起こりやすいため、動画部分を拡大しこの誤判定を補正するものである。このようにして誤検出を補正した信号を動き検出の結果出力信号として出力する。このようなブロックによる判別を用いることにより入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能になる。
(実施の形態2)
次に本発明の(実施の形態2)について、その詳細を説明する。
図2に(実施の形態2)におけるノイズリダクション装置の構成図を示す。図2のフレームメモリ201、減算器202、比較部203、第1のラインメモリ(図2ではラインメモリと記載する)204、第2のラインメモリ(図2ではラインメモリと記載する)205、ブロック判別部206、特異点除去部207は図1のフレームメモリ101、減算器102、比較部103、第1のラインメモリ104、第2のラインメモリ105、ブロック判別部106、特異点除去部107とそれぞれ同等の機能を有する。従って、これらについては詳細な説明を省略する。但し、フレームメモリ201はこのノイズリダクション装置の映像出力信号をフレーム遅延させる。
ノイズリダクション処理部208は減算器202の出力に対して所定の係数をかけ、映像入力信号212と加減算を行なうことなどによりノイズを除去する。第3のラインメモリ(図2ではラインメモリと記載する)209は、比較部203と特異点除去部207とのライン遅延量だけノイズリダクション処理部208からの出力を遅延する。第4のラインメモリ(図2ではラインメモリと記載する)210は、比較部203と特異点除去部207とのライン遅延量だけ映像入力信号212を遅延する。セレクタ211は、第3のラインメモリ209によって遅延されたノイズリダクション処理部208からの出力と第4のラインメモリ210によって遅延された映像入力信号212とを特異点除去部207からの動き検出結果に応じて選択する。そうして、セレクタ211は選択した信号を映像出力信号213として出力する。
以下具体例を挙げてその動作を説明する。
減算器202は、フレームメモリ201でフレーム遅延させられた映像出力信号213と映像入力信号212とのフレーム差分をとる。このフレーム差分を用いて前述した(実施の形態1)と同様の方法で動き検出が行われ、特異点除去部207から動き検出の結果信号として各画素に対して動き部分なら1が、そうでないなら0が出力される。一方、ノイズリダクション処理部208は減算器202の出力結果(フレーム差分)に対してその差分量に応じた所定の係数(0以上1未満)をかけ、その結果を映像入力信号212からフレーム差分の符号に応じて加減算することによりノイズ除去を行なう。第3のラインメモリ209は比較部203と特異点除去部207とのライン遅延量だけノイズリダクション処理部208からの出力を遅延する。また第4のラインメモリ210は比較部203と特異点除去部207とのライン遅延量だけ映像入力信号212を遅延する。すなわちこの場合、図4Bに示されるように3ラインのブロック判別を行ないその中心画素が1ライン遅延信号にあたるので、第3のラインメモリ209と第4のラインメモリ210では1ライン遅延が実行される。セレクタ211は第3のラインメモリ209によって遅延されたノイズリダクション処理部208からの出力と第4のラインメモリ210によって遅延された映像入力信号212とを特異点除去部207からの動き検出結果に応じて選択する。具体的には、セレクタ211は動き検出結果が1(動き)なら第4のラインメモリ210で遅延された映像入力信号を、0ならば第3のラインメモリ209で遅延されたノイズリダクション処理部208からの信号を選択し、映像出力信号213として出力する。このノイズリダクション装置では、図1に示された動き検出装置によってノイズの影響を抑えた動き検出ができるため、ノイズリダクション処理部208において従来よりもノイズ除去効果を大きくできるとともに動き部分に起因する尾引きの弊害も抑えることが可能となる。
(実施の形態3)
次に本発明の(実施の形態3)について、その詳細を説明する。
図3は(実施の形態3)におけるノイズリダクション装置の構成例を示す。
図3のフレームメモリ301、減算器302、比較部303、第1のラインメモリ(図3ではラインメモリと記載する)304、第2のラインメモリ(図3ではラインメモリと記載する)305、ブロック判別部306、特異点除去部307、ノイズリダクション処理部308、第3のラインメモリ(図3ではラインメモリと記載する)309、第4のラインメモリ(図3ではラインメモリと記載する)310、セレクタ311は図2のフレームメモリ201、減算器202、比較部203、第1のラインメモリ204、第2のラインメモリ205、ブロック判別部206、特異点除去部207、ノイズリダクション処理部208、第3のラインメモリ209、第4のラインメモリ210、セレクタ211とそれぞれ同等の機能を有する。従って、これらについては詳細な説明を省略する。フィルタ312(図3ではLPFと記載する)はノイズの入った映像入力信号313に対してローパスフィルタ処理によりノイズ成分を軽減する。図2に記載されたノイズリダクション装置では、動き部分として検出され且つノイズを多く含んだ映像入力信号212がそのまま出力される部分と、ノイズリダクション処理部208でノイズが除去される部分とのノイズ量の差による見た目の不自然さが発生する場合がる。これに対し、図3の構成をとることにより、上述したノイズ量の差による見た目の不自然さを軽減することが可能になる。
なお、ノイズ量がそれほど多くない場合にはフィルタ処理による画質低下を避けるためこのフィルタ処理をしないように制御することも可能である。
(実施の形態4)
次に、本発明の(実施の形態4)について、その詳細を説明する。
図5は(実施の形態4)における動き検出装置の構成図を示す。
図5の映像入力信号551、減算器502、第1のラインメモリ(図5ではラインメモリと記載する)504、第2のラインメモリ(図5ではラインメモリと記載する)505、ブロック判別部508はそれぞれ図1の映像入力信号108、減算器102、第1のラインメモリ104、第2のラインメモリ105、ブロック判別部106と同じである。従って、これらについては詳細な説明を省略する。
メモリ501は図1のフレームメモリ101に対応する。重み付け処理部503は図1の比較部103に対応する。重み付け処理部503は図1の比較部103よりも多くのしきい値を持ち、出力パターン数も多い。即ち、重み付け処理部503は減算器502の出力をその値に応じて所定のしきい値により複数のレベルに重み付けを行なう。第1の加算器(図5では加算器と記載する)506と動き係数生成部507がブロック判別部508を構成している。
第1の加算器506は映像信号の各画素を中心に水平および垂直方向に隣接する複数の画素を一つのブロックとして扱い、重み付け処理部503の出力と第1のラインメモリ504の出力と第2のラインメモリ505の出力に対してブロック内の各画素の総和をとる。動き係数生成部507は第1の加算器506における加算結果に応じて非線形な連続関数を用いてブロックの中心画素に対する動き係数532を生成し、その動き係数532を出力する。
以下具体例を挙げてその動作を説明する。
重み付け処理部503は減算器502の出力をその値に応じて所定のしきい値により複数のレベルに重み付けを行なう。ここでは、4つのレベルに重み付けを行なう例を挙げて説明する。
図6Aは4つのレベルに重み付けを行なう重み付け処理部503の入出力関係を示している。図6Aにおいて、横軸611はフレーム差分、縦軸612はフレーム差分の絶対値、直線613及び614はフレーム差分とフレーム差分の絶対値との関係を示している。また、フレーム差分とフレーム差分の絶対値は、しきい値615と616と617を境にして、領域618と領域619と領域620と領域621とに分割される。重み付け処理部503はフレーム差分値の絶対値をとり、その大きさに応じて3つのしきい値(th1、th2、th3)を用いてこれを0から3まで4つのレベルに重み付けを行なう。その絶対値がth1より小さければ領域618に相当するので0を、しきい値th1以上th2未満なら領域619に相当するので1を、th2以上th3未満なら領域620に相当するので2を、th3以上なら領域621に相当するので3が出力される。このように、重み付け処理部503は0から3の何れかを示す2ビットの信号を出力する。このときフレーム差分信号に対しローパスフィルタ処理をするなどして多少のノイズを除去することも可能である。
この2ビットの信号と、これが第1のラインメモリ504で1ライン遅延された信号と、第1のラインメモリ504の出力信号が第2のラインメモリ505でさらに1ライン遅延された信号とが第1の加算器506に入力される。第1の加算器506は例えば図6Bのように画素P6の画素を中心にした合計11画素を1つのブロックとして加算処理を行なう。重み付け処理部503の出力は画素P9、画素P10、画素P11であり、第1のラインメモリ504の出力は画素P4、画素P5、画素P6、画素P7、画素P8であり、第2のラインメモリ505の出力は画素P1、画素P2、画素P3である。矢印631と矢印632は図4Bの矢印421と矢印422とそれぞれ同じである。 第1の加算器506はこれら画素P1から画素P11の11画素の重み付けされた2ビットの値を加算処理し中心画素P6の値として出力する。すなわち加算結果の最小値は0であり最大値は33であり、この値が大きいほどその領域が動き部分である可能性が高い。動き係数生成部507はこの加算結果に応じて非線形な連続関数を用いて中心画素P6に対する動き係数532を生成し、出力する。
図6Cは、動き係数生成部507の特性例を示している。図6Cにおいて、横軸651は第1の加算器506の加算結果を、縦軸652は動き係数生成部507から出力される動き係数を、線653は入力される加算結果と出力される動き係数との関係をそれぞれ示す。図6Cが示すように、加算結果が小さいほど動き係数は1に近く、加算結果が大きいと動き係数は0に近づく。即ち、静止画ほど1に近づき、加算結果が大きい動画ほど0に近い値が動き係数として算出される。実際にデジタル処理する場合、例えば32から0といった整数値が出力され、処理の最後に32で割られることになる。このとき加算結果が0に近い部分(加算結果がa以下)についてはノイズに起因した値である可能性が高いので、静止画すなわち動き係数は1とする。また加算結果が大きくなると(加算結果がbより大きい部分)動画である可能性が高いので動画すなわち動き係数を0とする。残りの部分については高次の関数により非線形な動き係数が算出される。このとき加算結果は、aおよびbの位置でそれぞれ1および0となるようにする。
この一例を図6Dと図6Eを用いて説明する。図6Dで、横軸661は加算結果を、縦軸662は演算結果を、線663は入力される加算結果と演算結果との関係をそれぞれ示す。また、図6Eで、横軸671は加算結果を、縦軸672は動き係数を、線673は入力される加算結果と出力される動き係数との関係をそれぞれ示している。まず加算結果からa(1以上の整数)が引かれ、結果は(−a)以上(33−a)以下となる。次に32からこの結果が引かれ、(a−1)以上(32+a)以下となり、それが32でリミットされると線663のようになる。この演算結果をx、aを3としてxに対して(x)/(32)という4次関数を求めると図6Eのような動き係数が得られる。
ここでは動き係数を32倍したものになる(この動き係数を乗算する場合には乗算した後に32で割ることになる)。デジタル処理を考えると実際には小数点以下は切捨てられることになるため、加算結果が22以上で動き係数が0になる。これにより重み付け処理で用いるしきい値のみでより多くの動き係数を求めることができるため、より連続的な動き係数を用いた処理が可能になる。しきい値により動き係数を判別する方法では、連続的な係数を得るにはより多くのしきい値が必要となるため制御が複雑になるなどの問題が生じる。本実施の形態は、重み付け処理を行ない所定のブロック単位でその重み付け値の加算を行ない、そこから非線形の関数により動き係数を求める方法である。この方法では、重み付けすることでより少ない回路規模で非線形特性の連続的な動き係数を得ることができる。もちろん、重み付けしないでフレーム差分値をそのままブロック単位で加算し、その結果から非線形特性を持つ動き係数を求めることも可能である(重み付けのしきい値を増やしていくことに相当する)。またブロック単位で加算処理する目的は、映像の動き部分は複数の隣接画素である程度のまとまりをもって現れることと、ノイズは隣接画素間でばらばらに出現するランダム性を持つということを利用したものである。これによりノイズと動きを区別して入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能になる。
(実施の形態5)
次に本発明の(実施の形態5)について、その詳細を説明する。
図7は(実施の形態5)における動き検出装置の構成図を示す。図7において、映像入力信号732、メモリ701、減算器702、重み付け処理部703、第1のラインメモリ(図7ではラインメモリと記載する)704、第2のラインメモリ(図7ではラインメモリと記載する)705、ブロック判別部731、第1の加算器(図7では加算器と記載する)706、動き係数生成部707、動き係数733はそれぞれ図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507、動き係数532と同じである。従って、これらについての詳細な説明を省略する。
第2の加算器(図7では加算器と記載する)708は重み付け処理部703からの出力に対して、処理単位である上述のブロック内の同一ラインにある画素の和をとる。第3の加算器(図7では加算器と記載する)709は第2のラインメモリ705からの出力に対してブロック内の同一ラインにある画素の和をとる。特異点除去部710は第2の加算器708の加算結果および第3の加算器709の加算結果に応じて、動き係数生成部707から出力される動き係数を補正する。即ち、特異点除去部710は動き係数生成部707から出力される動き係数を垂直方向に動き部分を拡大したり、あるいは動き係数生成部707からの動き係数に対して水平方向に動き部分を拡大したりすることで、ブロック単位での処理で発生しやすい特異点を除去する。
以下具体例を挙げてその動作を説明する。
(実施の形態4)と同様の方法で映像入力信号732に対する動き係数が動き係数生成部707から出力される。第2の加算器708は図6Bの画素P9、画素P10、画素P11の3画素に対する重み付け処理部703で重み付けされた2ビットの値を加算する。また第3の加算器709は第2のラインメモリ705から出力される図6Bの画素P1、画素P2、画素P3の3画素に対する重み付けされた2ビットの値を加算する。それぞれの加算結果が特異点除去部710に入力される。
特異点除去部710は、その加算結果に応じて動き係数生成部707からの動き係数を補正し垂直方向に動き部分を拡大するあるいは動き係数生成部707からの動き係数に対して水平方向に動き部分を拡大しブロック単位での処理で発生しやすい特異点を除去する。
次に、特異点除去部710での処理の1例を示す。まず各画素に対して動き係数生成部707から出力される(実施の形態4)で示した図6Eのような動き係数に対し、左右1画素ないし2画素の最小値をその中心画素の動き係数とすることで水平方向に動き部分を拡大することができる。また垂直方向の動き部分の拡大では、図8に示されるように、第2の加算器708あるいは第3の加算器709の加算結果(最小値は0、最大値は9である)により処理ブロック単位の中心画素P6の動き係数を補正する。図8の矢印801、矢印802、画素P1から画素P11は、図6Bの矢印631、矢印632、画素P1から画素P11に対応する。特異点除去部710は、例えば加算結果が7以上なら画素P6の動き係数を0にするというようにして動き係数生成部707からの動き係数を補正し動き部分を拡大する。このような処理によりブロック単位での処理で発生しやすい特異点を除去することが可能になる。
(実施の形態6)
次に本発明の(実施の形態6)について、その詳細を説明する。
図9は(実施の形態6)におけるノイズリダクション装置の構成例を示す。図9における映像入力信号951、メモリ901、減算器902、重み付け処理部903、第1のラインメモリ(図9ではラインメモリと記載する)904、第2のラインメモリ(図9ではラインメモリと記載する)905、ブロック判別部931、第1の加算器(図9では加算器と記載する)906、動き係数生成部907の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部531、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また第2の加算器(図9では加算器と記載する)908、第3の加算器(図9では加算器と記載する)909、特異点除去部910の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。従って、これらについての詳細な説明を省略する。
第5のラインメモリ911(図9ではラインメモリと記載する)は映像入力信号951を1ライン遅延させる。第6のラインメモリ(図9ではラインメモリと記載する)912はメモリ901から読み出される信号を1ライン遅延させる。第2の減算器913は第5のラインメモリ911からの信号と第6のラインメモリ912からの信号の差分をとる。第1の掛け算器914は第2の減算器913の出力に所定のゲイン(0以上1以下)を掛ける。第2の掛け算器915は第1の掛け算器914の結果に動き係数生成部907および特異点除去部910により決定される動き係数を掛ける。加減算器916は、第2の減算器913における減算結果の正負の符号に応じて、第2の掛け算器915の出力を第5のラインメモリ911の信号に加減算する。メモリ901は加減算器916からの映像出力信号952を(1フレーム−1ライン)の遅延した信号を出力する。これは(実施の形態4)あるいは(実施の形態5)で示された動き検出装置を用いた巡回型ノイズリダクション装置である。
以下具体例を挙げてその動作を説明する。
減算器902は、映像出力信号(ノイズ除去された信号)952をメモリ901において(1フレーム−1ライン)遅延した信号と映像入力信号951との差分をとる。メモリ901における遅延量が1フレームよりも1ライン少ない理由は、(実施の形態4)あるいは(実施の形態5)で示された動き検出装置において動き係数の出力が映像入力信号951に対して1ライン遅れるからである。この差分に対して、(実施の形態4)および(実施の形態5)で説明された方法により、動き係数生成部907および特異点除去部910を経て動き係数が決定される。一方、第2の減算器913は、映像入力信号951が第5のラインメモリ911において1ライン遅延された信号と、メモリ901からの信号が第6のラインメモリ912において1ライン遅延された信号との差分をとる。第1の掛け算器914はその差分に対して任意のゲイン(0以上1以下)917を掛ける。このゲイン917は動き係数とは独立にかける係数であり巡回量を決定する要素の一つである。ゲイン917を大きくするとノイズ除去効果が大きくなる。デジタル処理の場合を仮定すると、第1の掛け算器914は実際には例えば32倍したもの、すなわち0以上32以下の整数値を差分値に掛けた後にその結果を32で割る。第2の掛け算器915はこの第1の掛け算器914の結果に対して、動き係数生成部907および特異点除去部910により決定される動き係数を掛ける。このとき動き係数としては例えば(実施の形態4)で示された図6Eのような係数を掛ける。すなわち、第2の掛け算器915は動きに応じて0から32までの整数値を掛け、その後32で割ることになる。これにより、第1の掛け算器914で掛けられる全画素一様なゲイン(巡回量)がその画素の動き量に応じて調整されることになる。第2の掛け算器915の結果を第5のラインメモリ911の信号に対して第2の減算器913における減算結果の正負の符号に応じて加減算器916において加減算することによりノイズ除去することができる。
このノイズリダクション装置は実施の形態4あるいは実施の形態5に記載された動き検出装置を採用している。これらの動き検出装置を採用することにより、強電界から弱電界に到るまでノイズの影響を抑えた動き検出ができると同時に隣接画素間で映像の動き量に応じてより連続的な動き係数を得ることができる。そのため、本実施の形態におけるノイズリダクション装置はノイズ除去効果を大きくできるとともに残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを軽減することが可能になる。
(実施の形態7)
次に本発明の(実施の形態7)について、その詳細を説明する。
図10は(実施の形態7)におけるノイズリダクション装置の構成例を示す。図10における映像入力信号1051、メモリ1001、減算器1002、重み付け処理部1003、第1のラインメモリ(図10ではラインメモリと記載する)1004、第2のラインメモリ(図10ではラインメモリと記載する)1005、ブロック判別部1031、第1の加算器(図10では加算器と記載する)1006、動き係数生成部1007の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また、第2の加算器(図10では加算器と記載する)1008、第3の加算器(図10では加算器と記載する)1009、特異点除去部1010の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。また、第5のラインメモリ(図10ではラインメモリと記載する)1011、第6のラインメモリ(図10ではラインメモリと記載する)1012、第2の減算器1013、第1の掛け算器1014、第2の掛け算器1015、加減算器1016各ブロックは図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。従って、これらの詳細な説明は省略する。
第1のセレクタ1017は、制御信号1043に制御されて、第1のゲイン1041と第2のゲイン1042の何れか一方を選択する。第1のセレクタ1017は、水平および垂直方向およびフレームあるいはフィールド方向に画素ごとに決定される制御信号1043により複数のゲインを切り替える。
以下具体例を挙げてその動作を説明する。
(実施の形態6)で示された方法によりノイズを除去するノイズリダクション装置においては、映像入力信号951に対して第1の掛け算器914で第2の減算器913での差分結果に対してゲインを掛ける。本実施の形態におけるノイズリダクション装置においては、このゲインを複数用いこれらを水平および垂直方向およびフレームあるいはフィールド方向に画素ごとに切り替える。
図11Aと図11Bは上述の切り替えの例を示している。両図は、フレーム内またはフィールド内での各画素におけるゲインを表示している。G1は第1のゲイン1041、G2は第2のゲイン1042を示す。画面1101と画面1102は隣り合うフレームまたはフィールドである。画面1101及び画面1102では、水平方向及び垂直方向にG1とG2が交互に切り替わっている。且つ、画面内の同一位置の画素に対して、画面1101と画面1102との間でもG1とG2が交互に切り替わっている。
上述のように水平および垂直方向さらにフィールドまたはフレーム方向で隣り合う画素同士で2つのゲインを切り替えるような制御信号1043を発生され、第1のセレクタ1017に入力される。第1のセレクタ1017はこの制御信号1043に従って2つのゲインを切り替える。この場合、一方のゲインに対し別のゲインをそれより小さく設定することで意図的に微小なノイズを付加し、ゲインが大きくなることに伴う残像や空間方向における映像の張り付き感などの見た目の不自然さを軽減できる。さらにゲインを切り替えることにより一つのゲインで処理を行なう場合よりも一方のゲインを大きく設定することができるため、より大きなノイズ除去効果が得られる。従って、例えば強電界時において張り付き感のないようにゲインを設定すれば一方のゲインを1にすることも可能になる。ノイズ除去の過程では一般的に同じ巡回係数をもつ画素が集まりやすい(特に静止画に近いエリアについては)ため張り付き感など見た目の不自然さが起こりやすい。しかし、このように画素単位でゲインを制御することによりこの現象を抑えることができる。この方法はもちろん他のノイズリダクション装置においても適用可能である。
(実施の形態8)
次に本発明の(実施の形態8)について、その詳細を説明する。
図12は(実施の形態8)におけるノイズリダクション装置の構成例を示す。図12における映像入力信号1251、メモリ1201、減算器1202、重み付け処理部1203、第1のラインメモリ(図12ではラインメモリと記載する)1204、第2のラインメモリ(図12ではラインメモリと記載する)1205、ブロック判別部1231、第1の加算器(図12では加算器と記載する)1206、動き係数生成部1207の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また、第2の加算器(図12では加算器と記載する)1208、第3の加算器(図12では加算器と記載する)1209、特異点除去部1210の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。また、第5のラインメモリ(図12ではラインメモリと記載する)1211、第6のラインメモリ(図12ではラインメモリと記載する)1212、第2の減算器1213、第1の掛け算器1214、第2の掛け算器1215、加減算器1216各ブロックは図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916と同等の機能を有する。また第1のセレクタ1217は図10の第1のセレクタ1017と同等の機能を有する。第1のゲイン1241、第2のゲイン1242、制御信号1243は図10の第1のゲイン1041、第2のゲイン1042、制御信号1043に相当する。従って、これらについての詳細な説明を省略する。
レベル調整部1218は、第2の減算器1213から出力される信号の絶対値レベルが所定のレベル以下ならこれを元の絶対値より小さい値に連続的に調整する。その調整された値は第1の掛け算器1214に入力される。
以下具体例を挙げてその動作を説明する。
(実施の形態6)および(実施の形態7)で示されたノイズリダクション装置では、映像入力信号1251に対して第1の掛け算器1214で第2の減算器1213での差分結果に対してゲインを掛けている。本実施の形態では、この差分の絶対値が所定の値以下ならば、レベル調整部1218はその差分の絶対値を元の値より小さい値に連続的に調整を行なう。
図13はレベル調整部1218の入出力特性の一例を示している。図13において、横軸1301はレベル調整部1218に入力される差分値、縦軸1302はレベル調整部1218から入力される値、折れ線1303はレベル調整部1218の入出力関係をそれぞれ示している。レベル調整部1218に入力される差分値をDとし、しきい値をthとする。レベル調整部1218は、入力される差分値Dがth/2以下ならD/2を出力し、th/2より大きくth以下なら3D/2−th/2を出力し、th以上ならDを出力する。この入出力特性により、しきい値th以下の差分値においてノイズ除去効果は小さくなる。これは低レベルのノイズ除去量を意図的にある程度制限することになる。ところで、弱電界時のノイズ除去処理では画面全体の膜張り感などの見た目の不自然さが生じやすい。本実施の形態のようにして低レベルのノイズをある程度残すことにより、この見た目の不自然さを軽減することができる。電界のレベルに応じてしきい値を制御し、強電界ではレベル調整が効かないようにして弱電界になるにつれて低レベルのノイズ除去量を制限するようにすることができる。弱電界時には重み付け処理部1203のしきい値を大きくするため、ノイズ除去処理に伴い映像全体の膜張り感が増える傾向にある。しかし、このようなレベル調整を行なうことで見た目の不自然さを抑えつつ、より目立ちやすいレベルの大きなノイズを重点的に除去することが可能となる。差分値を調整する代わりにしきい値以下のゲインを小さくするなど、このレベル調整の方法は幾つか考えられるが低差分レベルのノイズ除去効果を抑えるという点では同じことである。
(実施の形態9)
次に本発明の(実施の形態9)について、その詳細を説明する。
図14は(実施の形態9)におけるノイズリダクション装置の構成例を示す。図14のメモリ1401、減算器1402、重み付け処理部1403、第1のラインメモリ(図14ではラインメモリと記載する)1404、第2のラインメモリ(図14ではラインメモリと記載する)1405、第1の加算器(図14では加算器と記載する)1406、動き係数生成部1407、ブロック判別部1431の各ブロックは図5でのメモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、第1の加算器506、動き係数生成部507、ブロック判別部508の各ブロックと同等の機能を有する。また第2の加算器(図14では加算器と記載する)1408、第3の加算器(図14では加算器と記載する)1409、特異点除去部1410の各ブロックは、図7の第2の加算器708、第3の加算器709、特異点除去部710の各ブロックと同等の機能を有する。また第5のラインメモリ(図14ではラインメモリと記載する)1411、第6のラインメモリ(図14ではラインメモリと記載する)1412、第2の減算器1413、第1の掛け算器1414、第2の掛け算器1415、加減算器1416の各ブロックは、図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。また第1のセレクタ1417は図10の第1のセレクタ1017と同等の機能を有する。またレベル調整部1418は図12のレベル調整部1218と同等の機能を有する。また第一のゲイン1441、第2のゲイン1442、制御信号1443は図10の第1のゲイン1041、第2のゲイン1042、制御信号1043に対応する。従って、これらの詳細な説明は省略する。
平均値回路1419は映像入力信号1451と第5のラインメモリ1411の信号に対して(実施の形態4)で示した処理ブロック内に対応する画素の総和をとり、その平均信号レベルを算出する。ゲイン調整部1420は平均値回路1419で算出される平均値に応じて第1の掛け算器1414で掛けるゲインを調整する。
以下具体例を挙げてその動作を説明する。
(実施の形態8)に示された方法によりノイズを除去するノイズリダクション装置においては、第1の掛け算器1414はレベル調整部1418の出力に対して第1のセレクタ1417から出力されるゲインを掛けている。本実施例では、このゲインを処理対象の画素とその周辺画素の平均信号レベルを基にして制御する。
図15Aと図15Bはその制御の一例を示す図である。図15Aに示されているように、映像入力信号1451のデータ1502と第5のラインメモリ1411からのデータ1501において(実施の形態4)で示された処理ブロック内に対応する画素、すなわち図6B中の画素P4から画素P11に相当する8画素の平均信号レベルを平均値回路1419が算出する。そして、ゲイン調整部1420はこの平均信号レベルによりゲインを調整する。ゲイン調整部1420は、この平均信号レベルが大きい、すなわち明るい部分についてはゲインを相対的に小さくし、輝度レベルが小さい、すなわち暗い部分についてはゲインを大きめに設定する。
図15Bは、ゲイン調整部1420の特性の一例を示している。図15Bにおいて、横軸1521は平均値回路1419からの平均信号レベルを、縦軸1521はゲイン調整部1420でのゲイン調整量を、折れ線1523はその平均信号レベルとそのゲイン調整量との関係の一例を示している。ここでは、ゲイン調整部1420は第1のセレクタ1417からのゲインに対し例えば図15Bのように折れ線的に調整し、ある平均信号レベルth以上ではゲインを90%程度に設定する。すなわちもともとのゲイン設定は平均信号レベルが小さい場合を基準として設定することになる。このように平均信号レベルでゲインを調整することにより、同一フレーム内や同一フィールド内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して画素ごとにノイズ除去効果を高めることができる。また、AGC回路との連動をする必要もない。なおここでは回路や演算量の観点からこのような歪な8画素を一つのブロックとして平均信号レベルが求められているが、このブロックは任意に決定できる。ポイントは複数の画素の平均信号レベルを求めて、これによりゲインを調整することにある。入力信号レベルそのものを使用する方法ではノイズの影響により空間方向において制御レベルの変動が起こりやすくなる。本実施の形態はこの変動を軽減するために周辺の画素により平均化したものにより制御する。
(実施の形態10)
次に本発明の(実施の形態10)について、その詳細を説明する。
図16は(実施の形態10)におけるノイズリダクション装置の構成例を示す。
図16のメモリ1601、減算器1602、重み付け処理部1603、第1のラインメモリ(図16ではラインメモリと記載する)1604、第2のラインメモリ(図16ではラインメモリと記載する)1605、第1の加算器(図16では加算器と記載する)1606、動き係数生成部1607、ブロック判別部1631の各ブロックは図5でのメモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、第1の加算器506、動き係数生成部507、ブロック判別部508の各ブロックと同等の機能を有する。また第2の加算器(図16では加算器と記載する)1608、第3の加算器(図16では加算器と記載する)1609、特異点除去部1610の各ブロックは、図7の第2の加算器708、第3の加算器709、特異点除去部710の各ブロックと同等の機能を有する。また第5のラインメモリ1611、第6のラインメモリ1612、第2の減算器1613、第1の掛け算器1614、第2の掛け算器1615、加減算器1616の各ブロックは、図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。また第1のセレクタ1617は図10の第1のセレクタ1017と同等の機能を有する。またレベル調整部1618は図12のレベル調整部1218と同等の機能を有する。また平均値回路1619、ゲイン調整部1620は図14の平均値回路1419、ゲイン調整部1420と同等の機能を有する。従って、これらの詳細な説明は省略する。
フィルタ処理部1621は、加減算器1616の出力に対して空間方向のローパスフィルタ処理を行なう。ブレンディング係数演算部1622は、動き係数生成部1607および特異点除去部1610から得られる連続的な動き係数の値により、フィルタ処理部1621の出力と加減算器1616の出力信号とのブレンディングの比を決定する。ブレンディング処理部1623はフィルタ処理部1621の出力と加減算器1616の出力信号とをブレンディング係数演算部1622で決定されるブレンディング係数によりブレンドする。輪郭検出部1624は加減算器1616の出力信号から映像の輪郭部を抽出する。第2のセレクタ1625は、輪郭検出部1624からの出力により、ブレンディング処理部1623の出力と加減算器1616の出力信号とを切り替える。
以下具体例を挙げてその動作を説明する。
本実施の形態は、映像入力信号1651に対し(実施の形態6)および(実施の形態7)および(実施の形態8)および(実施の形態9)で示された方法によりノイズを除去するノイズリダクション装置の出力信号に対し、フィルタ処理部1621において空間方向のローパスフィルタ処理を行なう。例えば図16のフィルタ処理部1621はラインメモリを追加せずに水平方向のみのフィルタを用いる。このフィルタ処理部1621の出力信号とフィルタ処理部1621の入力信号とがブレンドされることで、空間フィルタの効果が調整される。このとき、ブレンディング係数演算部1622は動き係数生成部1607および特異点除去部1610から得られる動き係数の値によりブレンディング係数を決定する。すなわち、(実施の形態6)および(実施の形態7)および(実施の形態8)および(実施の形態9)で示されたノイズリダクション装置においては、残像などの影響とのかねあいによりノイズ除去しにくい動画部分で残留ノイズが発生する場合がある。これにより、見た目の不自然さが発生する場合がある。本実施の形態はこの不自然さを軽減する。そのために、例えば(実施の形態4)で示された図6Eのような動き係数に対して、図17に示されるようなブレンディングの比が設定される。
図17と共にこのブレンディングの比を説明する。図17の横軸1701、縦軸1702、曲線1703は図6Eの横軸671、縦軸672、曲線673にそれぞれ相当する。従って、これらの詳細な説明は省略する。図17に示されるように、動画に近いすなわち動き係数が小さい画素ほど空間方向のフィルタのブレンディング割合は大きくなる。あるしきい値th1704を設定し、動き係数1702がth以上(静止に近い)の領域1709ならフィルタ処理部1621の出力のブレンディング割合は0(すなわち(実施の形態9)以前で示されたノイズリダクション装置の出力そのもの)に、3th/4以上でth未満の領域1708ならその割合は1/4に、th/2以上で3th/4未満の領域1707ならその割合は1/2に、th/4以上でth/2未満の領域1706ならその割合は3/4に、th/4未満の領域1705ならその割合は1(すなわちフィルタ処理部1621の出力そのもの)に設定される。このしきい値th1704を変化させることにより空間方向のフィルタの効果を制御できるので、弱電界になるにつれてこのしきい値を大きくするとよい。なおこのブレンディング係数(上述のブレンディング割合)も関数をもちいて計算するなど幾つかの算出方法が考えられる。このように決定されるブレンディング係数により、ブレンディング処理部1623においてフィルタ処理されない信号とフィルタ処理された信号とがブレンドされることで、動き量に応じて空間方向のフィルタ処理の効果が調整される。さらに空間方向のフィルタをかけることによる映像のボケを防止するため、輪郭検出部1624において輪郭部分が検出される。例えば水平方向のみのフィルタをかける場合には水平差分をとり、この差分があるレベル以上なら輪郭であると判断し、その左右1、2画素については空間方向のフィルタをかけないように第2のセレクタ1625が制御される。その結果、フィルタ処理されていない信号が出力される。このような処理により、巡回型のノイズ除去処理に伴って発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能となる。同時に輪郭補正回路を付加することなく、空間方向のフィルタ処理に伴う輪郭部のボケをある程度抑えることができる。
以上に記載した通り、本発明では、ノイズのランダム性を利用して映像出力信号をフレーム遅延させた信号と映像入力信号とのフレーム差分をとり、この差分値に対して所定のしきい値との比較が行われる。その結果出力される信号について、各画素を中心に水平および垂直方向に隣接する数画素のブロックの総和がとられ、この総和が所定のしきい値と比較され、ブロックの中心画素の値として所望の信号が出力される。さらにこの出力を水平あるいは垂直方向に数画素拡大適用したり、時間軸方向に拡大適用したり、ブロック判別部での処理前の信号と各画素において比較するなどしてブロック単位での処理で発生しやすい特異点が取り除かれる。こうすることにより、映像入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能となる。さらにフレーム差分に対して所望の係数をかけ映像入力信号と加減算を行なうことなどにより、ノイズを除去した信号と映像入力信号とがこの動き検出結果に応じて画素ごとに選択されて映像出力信号となる。こうすることによりノイズ除去効果を大きすることができるとともに映像の動きに起因する尾引きの弊害を抑えることが可能となる。
また、本発明はノイズの入った映像入力信号に対してフレーム差分値の大きい動き部分の検出に加え、ノイズレベルと同程度かそれ以下のフレーム差分値を持つ映像の動き部分とノイズとを区別してノイズの影響を抑えた映像の動き検出を行ない、さらにこれを用いたノイズ除去装置を構築する。そうすることにより、従来よりもノイズ除去効果を大きくすると同時に、ノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることが出来る。
また、本発明のより、ノイズが多い場合にノイズが除去される部分とのノイズ量の差による見た目の不自然さを軽減することが可能となる。
また、本発明はノイズのランダム性を利用して空間方向の幾つかの画素情報から動き検出を行ない、ルックアップテーブルなどを用いず回路規模を抑えた方法により映像の動き量に応じて隣接画素感でより連続的な動き係数を出力する動き検出装置を提供する。さらに、これを用いたノイズリダクション装置を構築することによりノイズ除去効果を向上させると同時に残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを抑えることを可能にする。
さらに、本発明は、周辺に対してノイズ量が多くなりやすい暗い部分において、AGC回路などの情報を用いずにノイズの影響を抑えて適応的にノイズ除去効果を高める。またノイズ除去に伴う動き部分の残留ノイズによる見た目上の不自然さを軽減し、強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や見た目の不自然さの防止を両立させる。
本発明によれば、重み付けされたフレームあるいはフィールド差分に対して隣接する複数の画素を一つの処理単位として加算処理が行なわれ、これよりしきい値を用いずに非線形な関数により連続的な動き係数を出力する動き検出装置を提供することができる。こうすることで、ノイズのランダム性を利用したノイズと動きの区別により、入力信号に含まれるノイズの影響を抑えて映像の動きに応じて連続的な動き係数を提供することができる。さらにこれを用いた巡回型のノイズリダクション装置を構築することで、ノイズ除去効果を大きくできるとともに残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを軽減することが可能になる。さらに、複数のゲインを画素ごとに切り替えることで、意図的に微小なノイズを付加することができ、ゲインが大きくなることに伴う残像や空間方向におけるノイズの張り付き感などの見た目の不自然さが軽減できる。加えて、ゲインを大きくすることによるノイズ除去効果の向上が実現できる。また、弱電界時においては低レベルの差分値を調整して意図的に低差分レベルのノイズ除去効果を制限することにより、膜張り感などの見た目の不自然さを軽減すると同時に目立ちやすい大きなレベルのノイズを重点的に除去することができる。また、隣接する複数の画素に対する平均信号レベルに基いてゲインを調整することにより、同一画面内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して画素ごとにノイズ除去効果を高めることができる。さらに、空間方向のフィルタを動き検出装置からの動き係数と輪郭検出部からの輪郭情報により適応的に併用することにより、動き部分の輪郭をボケさせることなく巡回型のノイズ除去処理に伴い発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能になる。
このような巡回型ノイズリダクション装置を用いることにより、強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や映像の張り付き感など見た目の不自然さの軽減を両立させることが可能になる。
また、本発明は、同一画面内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して、画素ごとにノイズ除去効果を高めることができる。
また、本発明のより、動き部分の輪郭をボケさせることなく、巡回型のノイズ除去処理に伴い発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能になる。
このような巡回型ノイズリダクション装置を用いることにより強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や見た目の不自然さの防止を両立させることが可能になる。
産業の利用可能性
本発明による動き検出装置及びそれを用いたノイズリダクション装置は、ノイズ除去効果を大きくできると共にノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることができる。更に、強電界から弱電界に至るまでノイズ除去効果を大きくできると共にそれに伴う残像や張り付き感などの見た目の不自然さを解消することができる。
図面の参照符号の一覧表
101、201、301、 フレームメモリ
102、202、302、502、702、902、1002、1202、1402、1602 減算器
103、203、303 比較部
104、204、304、504、704、904、1004、1204、1404、1604 第1のラインメモリ
105、205.305、505、705、905、1005、1205、1405、1605 第2のラインメモリ
106、206、306、508、731、931、1031、1231、1431、1631 ブロック判別部
107、207、307、710、910、1010、1210、1410、1610 特異点除去部
108、212、313、551、732、951、1051、1251、1451、1651 映像入力信号
208、308 ノイズリダクション処理部
209、309 第3のラインメモリ
210、310 第4のラインメモリ
211、311 セレクタ
213、314、952、1052、1252、1452、1652 映像出力信号
312 フィルタ
501、701、901、1001、1201、1401、1601 メモリ
503、703、903、1003、1203、1403、1603 重み付け処理部
506、706、906、1006、1206、1406、1606 第1の加算器
507、707、907、1007、1207、1407、1607 動き係数生成部
708、908、1008、1208、1408、1608 第2の加算器
709、909、1009、1209、1409、1609 第3の加算器
911、1011、1211、1411、1611 第5のラインメモリ
912、1012、1212、1412、1612 第6のラインメモリ
914、1014、1214、1414、1614 第1の掛け算器
915、1015、1215、1415、1615 第2の掛け算器
916、1016、1216、1416、1616 加減算器
917 ゲイン
913、1013、1213、1413、1613 第2の減算器
1017、1217、1417、1617 第1のセレクタ
1041、1241、1441 第1のゲイン
1042、1242、1442 第2のゲイン
1043、1243、1443 制御信号
1218、1418、1618 レベル調整部
1419、1619 平均値回路
1420、1620 ゲイン調整部
1621 フィルタ処理部
1622 ブレンディング係数演算部
1623 ブレンディング処理部
1624 輪郭検出部
1625 第2のセレクタ
図1は、本発明の実施の形態1におけるブロック判別を用いた動き検出装置を示す図である。
図2は、本発明の実施の形態2におけるノイズリダクション装置を示す図である。
図3は、本発明の実施の形態3におけるノイズリダクション装置を示す図である。
図4Aから図4Cは、ブロック判別による動き検出の説明図である。
図5は、本発明の実施の形態4における動き検出装置を示す図である。
図6A〜図6Eは、本発明の実施の形態4における動き検出の説明図である。
図7は、本発明の実施の形態5における動き検出装置を示す図である。
図8は、本発明の実施の形態5における特異点除去の説明図である。
図9は、本発明の実施の形態6におけるノイズリダクション装置を示す図である。
図10は、本発明の実施の形態7におけるノイズリダクション装置を示す図である。
図11Aと図11Bは、本発明の実施の形態7におけるゲイン制御の説明図である。
図12は、本発明の実施の形態8におけるノイズリダクション装置を示す図である。
図13は、本発明の実施の形態8におけるレベル調整の説明図である。
図14は、本発明の実施の形態9におけるノイズリダクション装置を示す図である。
図15Aと図15Bは、本発明の実施の形態9におけるゲイン調整の説明図である。
図16は、本発明の実施の形態10におけるノイズリダクション装置を示す図である。
図17は、本発明の実施の形態10におけるブレンディング係数の算出方法の説明図である。
図18Aと図18Bは、従来例におけるフレーム巡回型ノイズリダクション装置を示す図である。
本発明は、テレビジョン受信機における映像信号処理技術に関する。
ノイズの入った映像入力信号からノイズを除去する方法としてフレーム巡回型のノイズリダクションがある。例えば、映像出力信号(ノイズ除去されたもの)をフレーム遅延させたものと映像入力信号との差分をとり、この差分値に所望の巡回係数(0以上1未満)をかけ、これをもとの映像入力信号から加減算することによりノイズを除去するものがある。
その他にも、動き検出やノイズリダクションの従来技術については、特許文献1や非特許文献1などに記載されている。
以下、従来の技術について例を挙げて説明する。
図18Aと図18Bは従来のフレーム巡回型ノイズリダクション装置の一例を示す。図18Aで、フレームメモリ1801は映像出力信号(ノイズ除去されたもの)1807をフレーム遅延する。減算器1802は、フレームメモリ1801の出力と映像入力信号1806とのフレーム差分をとる。この差分値は動き検出と巡回係数の生成を行なう動き検出及び巡回係数生成回路1803に入力される。動き検出及び巡回係数生成回路1803は差分値に応じて巡回係数を生成する。
図18Bは、この差分値と巡回係数との関係の一例を示している。図18Bにおいて、横軸1810は差分値を、縦軸1811は巡回係数を、曲線1812は差分値と巡回係数との関係をそれぞれ示している。曲線1812が示すように、動き検出及び巡回係数生成回路1803は差分が大きくなるにつれて巡回係数を非線形的に小さくする特性を持っている。これは動きが大きくなることと差分が大きくなることとの関連性を利用して動き検出をしていることになる。このようにして得られた巡回係数とフレーム差分とが乗算器1804において掛け合わせられる。さらに、加減算器1805が乗算器1804の出力をフレーム差分の符号に応じて映像入力信号1806から加減算することにより、ノイズが除去された映像出力信号1807が得られる。
上述の従来方式では、巡回係数を大きくすることでノイズ除去の効果は大きくなるが、この場合動きのある部分についてはフレーム差分に起因する尾引きの弊害が発生する。そこでフレーム差分値に応じて非線形処理したり、動き検出をしてその結果に応じて巡回係数を変えたりする方法がある。しかし、従来の動き検出はフレーム差分値をそのまま用いたり水平および垂直のエッジ検出を利用するものであるため、ノイズレベルと同程度かそれ以下のレベルである動き部分に対してはノイズと動きの区別ができない。この状態でノイズを除去しようとすると、尾引きの現象が発生する。従って、この様な状態では、尾引きの弊害を防ぐ観点から、ノイズ除去効果は限られている。
また、差分値に応じて非線形処理したり、動き検出をしてその結果に応じて巡回係数を変えたりする方法がある。この方法は、前述の非特許文献1に記載されている。しかし、従来の動き検出はフレームあるいはフィールド差分値をそのまま用いたりするものである。この場合ノイズレベルと同程度かそれ以下のレベルである動き部分に対してはノイズと動きの区別ができない。この状態でノイズを除去しようとすると、残像の現象が発生する。従って、この様な状態では、残像の弊害を防ぐ観点から、ノイズ除去効果は限られている。
特開2002−94834号公報 "トランジスタ技術SPECIAL"(松井俊也、No.52、1999年、CQ出版株式会社、89−92頁)
上記の構成では、フレーム差分において動きに起因する差分値がノイズに起因する差分値と同程度かそれ以下のレベルの場合には両者の区別ができないため尾引きの発生を防止する目的から巡回係数を大きくできずノイズ除去効果は制限される。
またノイズ量が多くなりやすい暗い部分に対して適応的にノイズ除去効果を高めるために、AGC回路からの情報や入力信号レベルによりノイズ除去レベルを制御する方法も考えられる。しかし、AGC回路との連携に新たな制御回路を付加する必要があり、また入力信号レベルそのものを使用する方法ではノイズの影響により空間方向において制御レベルの変動が起こりやすい。
さらに巡回型ノイズリダクションと空間方向のフィルタを用いた非巡回型ノイズリダクションとを動き検出結果により適応的に併用する場合、従来の不連続的な動き検出結果を用いると空間方向の不連続的な処理に伴い見た目上の不自然さが生じやすいうえ輪郭を含んだ動画領域に対して空間方向のフィルタをかけるため動画時において輪郭のボケが生じやすく輪郭補正回路を付加する必要がある。
また、一般的に映像の中では静止画部分や動画部分はあるまとまりを持って出現する。従って、その領域においては動き検出の結果から隣接画素間で同じ巡回係数を用いる可能性が高く、特に巡回係数を大きくした場合においてはこれにより映像の張り付き感など見た目の不自然さが生じやすい。また弱電界時においては動き検出におけるしきい値が大きくなり、巡回係数を大きくすると画面全体に膜が張ったような不自然さが生じやすい。
動き検出装置は少なくとも映像入力信号をフレーム遅延させるフレームメモリと、映像入力信号とフレームメモリから読み出されるフレーム遅延信号との差分をとる減算器と、減算器の出力と任意のしきい値との比較を行なう比較部と、比較部から出力される信号を遅延させる第1のラインメモリと、第1のラインメモリの信号をさらに遅延させる第2のラインメモリと、映像信号の各画素を中心に水平および垂直方向に隣接する複数の画素を一つのブロックとして、比較部からの出力と第1のラインメモリからの出力と第2のラインメモリからの出力に対してブロック内の各画素の総和をとり、この和と任意のしきい値とを比較するブロック判別部と、を備える。ノイズリダクション装置は少なくとも、上述の動き検出装置と、減算器の出力に対して係数をかけ、映像入力信号と加減算を行なうことによりノイズを除去するノイズリダクション処理部と、比較部と特異点除去部とのライン遅延量だけノイズリダクション処理部からの出力を遅延させる第3のラインメモリと、比較部と特異点除去部とのライン遅延量だけ映像入力信号を遅延させる第4のラインメモリと、第3のラインメモリの出力と第4のラインメモリの出力とを動き検出結果信号に応じて選択して映像出力信号を出力するセレクタとを備え、フレームメモリにセレクタにより選択された映像出力信号が入力される。
本発明による動き検出装置及びそれを用いたノイズリダクション装置は、ノイズ除去効果を大きくできると共にノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることができる。更に、強電界から弱電界に至るまでノイズ除去効果を大きくできると共にそれに伴う残像や張り付き感などの見た目の不自然さを解消することができる。
本発明は、従来の動き検出装置やノイズリダクション装置での課題を解決する動き検出装置及びそれを用いたノイズリダクション装置を提供する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、(実施の形態1)について、その詳細を説明する。
図1は本発明の(実施の形態1)における動き検出装置の構成図を示す。
フレームメモリ101は映像入力信号108をフレーム遅延させ、減算器102は映像入力信号108とフレームメモリ101から読み出されるフレーム遅延信号との差分をとる。比較部103は減算器102からの出力と所定のしきい値との比較を行ない、その結果に応じて所望の信号を発生する。第1のラインメモリ(図1ではラインメモリと記載する)104は比較部103から出力される信号を1ライン(1水平走査期間)遅延させ、第2のラインメモリ(図1ではラインメモリと記載する)105は第1のラインメモリ104の出力をさらに1ライン遅延させる。ブロック判別部106は、ブロック内の各画素の総和をとり、この総和と所定のしきい値とを比較し、その結果に応じて所望の信号をそのブロックの中心画素の値として出力する。このブロックは、各画素を中心にして、その画素と水平および垂直方向の近傍の幾つかの画素で構成される。ブロックを構成する画素は、比較部103および第1のラインメモリ104および第2のラインメモリ105から得られる。特異点除去部107は、ブロック判別部106などでの一連の処理で発生する特異点を取り除いて、動き検出結果として出力する。特異点除去部107で特異点を取り除く処理は、ブロック判別部106の結果を水平あるいは垂直方向に数画素拡大適用したり、時間軸方向に拡大適用したり、ブロック判別部106での処理前の信号と各画素において比較することなどにより実行される。
以下具体例を挙げてその動作を説明する。
減算器102は、映像入力信号108がフレームメモリ101において1フレーム遅延された信号と映像入力信号108との間でフレーム差分をとり、そのフレーム差分を比較部103に入力する。比較部103はフレーム差分と所定のしきい値とのレベルを比較し、その比較結果に応じて所望の信号を出力する。比較部103は、フレーム差分値の絶対値をとり、これとしきい値との大小関係を比べ、差分値の絶対値がしきい値より小さければ0、それ以上なら1の1ビットの信号を出力する。
図4Aは、比較部103の特性例を示している。図4Aにおいて、横軸411は上述のフレーム差分、縦軸412はフレーム差分の絶対値、直線413及び414はフレーム差分とフレーム差分の絶対値との関係を示している。また、フレーム差分とフレーム差分の絶対値は、しきい値415を境にして、領域416と領域417に分割される。比較部103は、領域416では0を、領域417では1を、それぞれ出力する。
このとき、フレーム差分信号に対しローパスフィルタ処理をするなどして多少のノイズを除去することも可能である。この1ビットの信号と、これが第1のラインメモリ104で1ライン遅延された信号と、第1のラインメモリ104の出力信号が第2のラインメモリ105でさらに1ライン遅延された信号とがブロック判別部106に入力される。
ブロック判別部106の動作を図4B及び図4Cと伴に説明する。図4Bにおいて、矢印421は画面の水平方向を、矢印422は画面の垂直方向をそれぞれ示している。画素P6を中心に3画素、5画素、3画素の計11画素が1つのブロックとして処理される。このとき比較部103の出力は画素P9、画素P10、画素P11であり、第1のラインメモリ104の出力は画素P4、画素P5、画素P6、画素P7、画素P8であり、第2のラインメモリ105の出力は画素P1、画素P2、画素P3である。
図4Cは、図4Bの各画素に対する比較部103の出力を示している。斜線が施された画素は0で、斜線が施されていない画素は1を意味している。ブロック判別部106においては、この11画素について、比較部103とラインメモリ104とラインメモリ105から出力された1ビットの信号(1か0)の総和をとり、その総和と所定のしきい値とでその大小関係を比較する。このとき総和の最小値は0で最大値は11である。ブロック判別部106は、これがしきい値よりも小さければ0を、それ以上なら1の1ビットの信号を中心画素P6の値として出力する。ここで1の値をもつ画素は動きのある画素とみなされる。図4Cでは総和が7で、しきい値が6なので、ブロック判別部106はP6が動き部分であると判断して1を出力する。この処理は、映像の動き部分は複数の隣接画素である程度のまとまりをもって現れることと、ノイズは隣接画素間でばらばらに出現するというランダム性とを利用している。ブロック判別部106はこのようなブロックによる判別を各画素において行ない、その判別結果を特異点除去部107に入力する。
ここでは、水平あるいは垂直方向にブロック判別部106の結果を数画素拡大適用したり、時間軸方向に拡大適用したりする場合を例に挙げる。例えば、水平に1画素拡大適用するということは、図4Bにおいて画素P6が1(動き)ならば画素P5、画素P7も1とし動きのある画素とすることである。これは、上述のようなブロック判別においては動きの部分とそうでない部分の境界において誤判定(本来1である部分が0と判定される)が起こりやすいため、動画部分を拡大しこの誤判定を補正するものである。このようにして誤検出を補正した信号を動き検出の結果出力信号として出力する。このようなブロックによる判別を用いることにより入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能になる。
(実施の形態2)
次に本発明の(実施の形態2)について、その詳細を説明する。
図2に(実施の形態2)におけるノイズリダクション装置の構成図を示す。図2のフレームメモリ201、減算器202、比較部203、第1のラインメモリ(図2ではラインメモリと記載する)204、第2のラインメモリ(図2ではラインメモリと記載する)205、ブロック判別部206、特異点除去部207は図1のフレームメモリ101、減算器102、比較部103、第1のラインメモリ104、第2のラインメモリ105、ブロック判別部106、特異点除去部107とそれぞれ同等の機能を有する。従って、これらについては詳細な説明を省略する。但し、フレームメモリ201はこのノイズリダクション装置の映像出力信号をフレーム遅延させる。
ノイズリダクション処理部208は減算器202の出力に対して所定の係数をかけ、映像入力信号212と加減算を行なうことなどによりノイズを除去する。第3のラインメモリ(図2ではラインメモリと記載する)209は、比較部203と特異点除去部207とのライン遅延量だけノイズリダクション処理部208からの出力を遅延する。第4のラインメモリ(図2ではラインメモリと記載する)210は、比較部203と特異点除去部207とのライン遅延量だけ映像入力信号212を遅延する。セレクタ211は、第3のラインメモリ209によって遅延されたノイズリダクション処理部208からの出力と第4のラインメモリ210によって遅延された映像入力信号212とを特異点除去部207からの動き検出結果に応じて選択する。そうして、セレクタ211は選択した信号を映像出力信号213として出力する。
以下具体例を挙げてその動作を説明する。
減算器202は、フレームメモリ201でフレーム遅延させられた映像出力信号213と映像入力信号212とのフレーム差分をとる。このフレーム差分を用いて前述した(実施の形態1)と同様の方法で動き検出が行われ、特異点除去部207から動き検出の結果信号として各画素に対して動き部分なら1が、そうでないなら0が出力される。一方、ノイズリダクション処理部208は減算器202の出力結果(フレーム差分)に対してその差分量に応じた所定の係数(0以上1未満)をかけ、その結果を映像入力信号212からフレーム差分の符号に応じて加減算することによりノイズ除去を行なう。第3のラインメモリ209は比較部203と特異点除去部207とのライン遅延量だけノイズリダクション処理部208からの出力を遅延する。また第4のラインメモリ210は比較部203と特異点除去部207とのライン遅延量だけ映像入力信号212を遅延する。すなわちこの場合、図4Bに示されるように3ラインのブロック判別を行ないその中心画素が1ライン遅延信号にあたるので、第3のラインメモリ209と第4のラインメモリ210では1ライン遅延が実行される。セレクタ211は第3のラインメモリ209によって遅延されたノイズリダクション処理部208からの出力と第4のラインメモリ210によって遅延された映像入力信号212とを特異点除去部207からの動き検出結果に応じて選択する。具体的には、セレクタ211は動き検出結果が1(動き)なら第4のラインメモリ210で遅延された映像入力信号を、0ならば第3のラインメモリ209で遅延されたノイズリダクション処理部208からの信号を選択し、映像出力信号213として出力する。このノイズリダクション装置では、図1に示された動き検出装置によってノイズの影響を抑えた動き検出ができるため、ノイズリダクション処理部208において従来よりもノイズ除去効果を大きくできるとともに動き部分に起因する尾引きの弊害も抑えることが可能となる。
(実施の形態3)
次に本発明の(実施の形態3)について、その詳細を説明する。
図3は(実施の形態3)におけるノイズリダクション装置の構成例を示す。
図3のフレームメモリ301、減算器302、比較部303、第1のラインメモリ(図3ではラインメモリと記載する)304、第2のラインメモリ(図3ではラインメモリと記載する)305、ブロック判別部306、特異点除去部307、ノイズリダクション処理部308、第3のラインメモリ(図3ではラインメモリと記載する)309、第4のラインメモリ(図3ではラインメモリと記載する)310、セレクタ311は図2のフレームメモリ201、減算器202、比較部203、第1のラインメモリ204、第2のラインメモリ205、ブロック判別部206、特異点除去部207、ノイズリダクション処理部208、第3のラインメモリ209、第4のラインメモリ210、セレクタ211とそれぞれ同等の機能を有する。従って、これらについては詳細な説明を省略する。フィルタ312(図3ではLPFと記載する)はノイズの入った映像入力信号313に対してローパスフィルタ処理によりノイズ成分を軽減する。図2に記載されたノイズリダクション装置では、動き部分として検出され且つノイズを多く含んだ映像入力信号212がそのまま出力される部分と、ノイズリダクション処理部208でノイズが除去される部分とのノイズ量の差による見た目の不自然さが発生する場合がる。これに対し、図3の構成をとることにより、上述したノイズ量の差による見た目の不自然さを軽減することが可能になる。
なお、ノイズ量がそれほど多くない場合にはフィルタ処理による画質低下を避けるためこのフィルタ処理をしないように制御することも可能である。
(実施の形態4)
次に、本発明の(実施の形態4)について、その詳細を説明する。
図5は(実施の形態4)における動き検出装置の構成図を示す。
図5の映像入力信号551、減算器502、第1のラインメモリ(図5ではラインメモリと記載する)504、第2のラインメモリ(図5ではラインメモリと記載する)505、ブロック判別部508はそれぞれ図1の映像入力信号108、減算器102、第1のラインメモリ104、第2のラインメモリ105、ブロック判別部106と同じである。従って、これらについては詳細な説明を省略する。
メモリ501は図1のフレームメモリ101に対応する。重み付け処理部503は図1の比較部103に対応する。重み付け処理部503は図1の比較部103よりも多くのしきい値を持ち、出力パターン数も多い。即ち、重み付け処理部503は減算器502の出力をその値に応じて所定のしきい値により複数のレベルに重み付けを行なう。第1の加算器(図5では加算器と記載する)506と動き係数生成部507がブロック判別部508を構成している。
第1の加算器506は映像信号の各画素を中心に水平および垂直方向に隣接する複数の画素を一つのブロックとして扱い、重み付け処理部503の出力と第1のラインメモリ504の出力と第2のラインメモリ505の出力に対してブロック内の各画素の総和をとる。動き係数生成部507は第1の加算器506における加算結果に応じて非線形な連続関数を用いてブロックの中心画素に対する動き係数532を生成し、その動き係数532を出力する。
以下具体例を挙げてその動作を説明する。
重み付け処理部503は減算器502の出力をその値に応じて所定のしきい値により複数のレベルに重み付けを行なう。ここでは、4つのレベルに重み付けを行なう例を挙げて説明する。
図6Aは4つのレベルに重み付けを行なう重み付け処理部503の入出力関係を示している。図6Aにおいて、横軸611はフレーム差分、縦軸612はフレーム差分の絶対値、直線613及び614はフレーム差分とフレーム差分の絶対値との関係を示している。また、フレーム差分とフレーム差分の絶対値は、しきい値615と616と617を境にして、領域618と領域619と領域620と領域621とに分割される。重み付け処理部503はフレーム差分値の絶対値をとり、その大きさに応じて3つのしきい値(th1、th2、th3)を用いてこれを0から3まで4つのレベルに重み付けを行なう。その絶対値がth1より小さければ領域618に相当するので0を、しきい値th1以上th2未満なら領域619に相当するので1を、th2以上th3未満なら領域620に相当するので2を、th3以上なら領域621に相当するので3が出力される。このように、重み付け処理部503は0から3の何れかを示す2ビットの信号を出力する。このときフレーム差分信号に対しローパスフィルタ処理をするなどして多少のノイズを除去することも可能である。
この2ビットの信号と、これが第1のラインメモリ504で1ライン遅延された信号と、第1のラインメモリ504の出力信号が第2のラインメモリ505でさらに1ライン遅延された信号とが第1の加算器506に入力される。第1の加算器506は例えば図6Bのように画素P6の画素を中心にした合計11画素を1つのブロックとして加算処理を行なう。重み付け処理部503の出力は画素P9、画素P10、画素P11であり、第1のラインメモリ504の出力は画素P4、画素P5、画素P6、画素P7、画素P8であり、第2のラインメモリ505の出力は画素P1、画素P2、画素P3である。矢印631と矢印632は図4Bの矢印421と矢印422とそれぞれ同じである。第1の加算器506はこれら画素P1から画素P11の11画素の重み付けされた2ビットの値を加算処理し中心画素P6の値として出力する。すなわち加算結果の最小値は0であり最大値は33であり、この値が大きいほどその領域が動き部分である可能性が高い。動き係数生成部507はこの加算結果に応じて非線形な連続関数を用いて中心画素P6に対する動き係数532を生成し、出力する。
図6Cは、動き係数生成部507の特性例を示している。図6Cにおいて、横軸651は第1の加算器506の加算結果を、縦軸652は動き係数生成部507から出力される動き係数を、線653は入力される加算結果と出力される動き係数との関係をそれぞれ示す。図6Cが示すように、加算結果が小さいほど動き係数は1に近く、加算結果が大きいと動き係数は0に近づく。即ち、静止画ほど1に近づき、加算結果が大きい動画ほど0に近い値が動き係数として算出される。実際にデジタル処理する場合、例えば32から0といった整数値が出力され、処理の最後に32で割られることになる。このとき加算結果が0に近い部分(加算結果がa以下)についてはノイズに起因した値である可能性が高いので、静止画すなわち動き係数は1とする。また加算結果が大きくなると(加算結果がbより大きい部分)動画である可能性が高いので動画すなわち動き係数を0とする。残りの部分については高次の関数により非線形な動き係数が算出される。このとき加算結果は、aおよびbの位置でそれぞれ1および0となるようにする。
この一例を図6Dと図6Eを用いて説明する。図6Dで、横軸661は加算結果を、縦軸662は演算結果を、線663は入力される加算結果と演算結果との関係をそれぞれ示す。また、図6Eで、横軸671は加算結果を、縦軸672は動き係数を、線673は入力される加算結果と出力される動き係数との関係をそれぞれ示している。まず加算結果からa(1以上の整数)が引かれ、結果は(−a)以上(33−a)以下となる。次に32からこの結果が引かれ、(a−1)以上(32+a)以下となり、それが32でリミットされると線663のようになる。この演算結果をx、aを3としてxに対して(x4)/(323)という4次関数を求めると図6Eのような動き係数が得られる。
ここでは動き係数を32倍したものになる(この動き係数を乗算する場合には乗算した後に32で割ることになる)。デジタル処理を考えると実際には小数点以下は切捨てられることになるため、加算結果が22以上で動き係数が0になる。これにより重み付け処理で用いるしきい値のみでより多くの動き係数を求めることができるため、より連続的な動き係数を用いた処理が可能になる。しきい値により動き係数を判別する方法では、連続的な係数を得るにはより多くのしきい値が必要となるため制御が複雑になるなどの問題が生じる。本実施の形態は、重み付け処理を行ない所定のブロック単位でその重み付け値の加算を行ない、そこから非線形の関数により動き係数を求める方法である。この方法では、重み付けすることでより少ない回路規模で非線形特性の連続的な動き係数を得ることができる。もちろん、重み付けしないでフレーム差分値をそのままブロック単位で加算し、その結果から非線形特性を持つ動き係数を求めることも可能である(重み付けのしきい値を増やしていくことに相当する)。またブロック単位で加算処理する目的は、映像の動き部分は複数の隣接画素である程度のまとまりをもって現れることと、ノイズは隣接画素間でばらばらに出現するランダム性を持つということを利用したものである。これによりノイズと動きを区別して入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能になる。
(実施の形態5)
次に本発明の(実施の形態5)について、その詳細を説明する。
図7は(実施の形態5)における動き検出装置の構成図を示す。図7において、映像入力信号732、メモリ701、減算器702、重み付け処理部703、第1のラインメモリ(図7ではラインメモリと記載する)704、第2のラインメモリ(図7ではラインメモリと記載する)705、ブロック判別部731、第1の加算器(図7では加算器と記載する)706、動き係数生成部707、動き係数733はそれぞれ図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507、動き係数532と同じである。従って、これらについての詳細な説明を省略する。
第2の加算器(図7では加算器と記載する)708は重み付け処理部703からの出力に対して、処理単位である上述のブロック内の同一ラインにある画素の和をとる。第3の加算器(図7では加算器と記載する)709は第2のラインメモリ705からの出力に対してブロック内の同一ラインにある画素の和をとる。特異点除去部710は第2の加算器708の加算結果および第3の加算器709の加算結果に応じて、動き係数生成部707から出力される動き係数を補正する。即ち、特異点除去部710は動き係数生成部707から出力される動き係数を垂直方向に動き部分を拡大したり、あるいは動き係数生成部707からの動き係数に対して水平方向に動き部分を拡大したりすることで、ブロック単位での処理で発生しやすい特異点を除去する。
以下具体例を挙げてその動作を説明する。
(実施の形態4)と同様の方法で映像入力信号732に対する動き係数が動き係数生成部707から出力される。第2の加算器708は図6Bの画素P9、画素P10、画素P11の3画素に対する重み付け処理部703で重み付けされた2ビットの値を加算する。また第3の加算器709は第2のラインメモリ705から出力される図6Bの画素P1、画素P2、画素P3の3画素に対する重み付けされた2ビットの値を加算する。それぞれの加算結果が特異点除去部710に入力される。
特異点除去部710は、その加算結果に応じて動き係数生成部707からの動き係数を補正し垂直方向に動き部分を拡大するあるいは動き係数生成部707からの動き係数に対して水平方向に動き部分を拡大しブロック単位での処理で発生しやすい特異点を除去する。
次に、特異点除去部710での処理の1例を示す。まず各画素に対して動き係数生成部707から出力される(実施の形態4)で示した図6Eのような動き係数に対し、左右1画素ないし2画素の最小値をその中心画素の動き係数とすることで水平方向に動き部分を拡大することができる。また垂直方向の動き部分の拡大では、図8に示されるように、第2の加算器708あるいは第3の加算器709の加算結果(最小値は0、最大値は9である)により処理ブロック単位の中心画素P6の動き係数を補正する。図8の矢印801、矢印802、画素P1から画素P11は、図6Bの矢印631、矢印632、画素P1から画素P11に対応する。特異点除去部710は、例えば加算結果が7以上なら画素P6の動き係数を0にするというようにして動き係数生成部707からの動き係数を補正し動き部分を拡大する。このような処理によりブロック単位での処理で発生しやすい特異点を除去することが可能になる。
(実施の形態6)
次に本発明の(実施の形態6)について、その詳細を説明する。
図9は(実施の形態6)におけるノイズリダクション装置の構成例を示す。図9における映像入力信号951、メモリ901、減算器902、重み付け処理部903、第1のラインメモリ(図9ではラインメモリと記載する)904、第2のラインメモリ(図9ではラインメモリと記載する)905、ブロック判別部931、第1の加算器(図9では加算器と記載する)906、動き係数生成部907の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部531、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また第2の加算器(図9では加算器と記載する)908、第3の加算器(図9では加算器と記載する)909、特異点除去部910の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。従って、これらについての詳細な説明を省略する。
第5のラインメモリ911(図9ではラインメモリと記載する)は映像入力信号951を1ライン遅延させる。第6のラインメモリ(図9ではラインメモリと記載する)912はメモリ901から読み出される信号を1ライン遅延させる。第2の減算器913は第5のラインメモリ911からの信号と第6のラインメモリ912からの信号の差分をとる。第1の掛け算器914は第2の減算器913の出力に所定のゲイン(0以上1以下)を掛ける。第2の掛け算器915は第1の掛け算器914の結果に動き係数生成部907および特異点除去部910により決定される動き係数を掛ける。加減算器916は、第2の減算器913における減算結果の正負の符号に応じて、第2の掛け算器915の出力を第5のラインメモリ911の信号に加減算する。メモリ901は加減算器916からの映像出力信号952を(1フレーム−1ライン)の遅延した信号を出力する。これは(実施の形態4)あるいは(実施の形態5)で示された動き検出装置を用いた巡回型ノイズリダクション装置である。
以下具体例を挙げてその動作を説明する。
減算器902は、映像出力信号(ノイズ除去された信号)952をメモリ901において(1フレーム−1ライン)遅延した信号と映像入力信号951との差分をとる。メモリ901における遅延量が1フレームよりも1ライン少ない理由は、(実施の形態4)あるいは(実施の形態5)で示された動き検出装置において動き係数の出力が映像入力信号951に対して1ライン遅れるからである。この差分に対して、(実施の形態4)および(実施の形態5)で説明された方法により、動き係数生成部907および特異点除去部910を経て動き係数が決定される。一方、第2の減算器913は、映像入力信号951が第5のラインメモリ911において1ライン遅延された信号と、メモリ901からの信号が第6のラインメモリ912において1ライン遅延された信号との差分をとる。第1の掛け算器914はその差分に対して任意のゲイン(0以上1以下)917を掛ける。このゲイン917は動き係数とは独立にかける係数であり巡回量を決定する要素の一つである。ゲイン917を大きくするとノイズ除去効果が大きくなる。デジタル処理の場合を仮定すると、第1の掛け算器914は実際には例えば32倍したもの、すなわち0以上32以下の整数値を差分値に掛けた後にその結果を32で割る。第2の掛け算器915はこの第1の掛け算器914の結果に対して、動き係数生成部907および特異点除去部910により決定される動き係数を掛ける。このとき動き係数としては例えば(実施の形態4)で示された図6Eのような係数を掛ける。すなわち、第2の掛け算器915は動きに応じて0から32までの整数値を掛け、その後32で割ることになる。これにより、第1の掛け算器914で掛けられる全画素一様なゲイン(巡回量)がその画素の動き量に応じて調整されることになる。第2の掛け算器915の結果を第5のラインメモリ911の信号に対して第2の減算器913における減算結果の正負の符号に応じて加減算器916において加減算することによりノイズ除去することができる。
このノイズリダクション装置は実施の形態4あるいは実施の形態5に記載された動き検出装置を採用している。これらの動き検出装置を採用することにより、強電界から弱電界に到るまでノイズの影響を抑えた動き検出ができると同時に隣接画素間で映像の動き量に応じてより連続的な動き係数を得ることができる。そのため、本実施の形態におけるノイズリダクション装置はノイズ除去効果を大きくできるとともに残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを軽減することが可能になる。
(実施の形態7)
次に本発明の(実施の形態7)について、その詳細を説明する。
図10は(実施の形態7)におけるノイズリダクション装置の構成例を示す。図10における映像入力信号1051、メモリ1001、減算器1002、重み付け処理部1003、第1のラインメモリ(図10ではラインメモリと記載する)1004、第2のラインメモリ(図10ではラインメモリと記載する)1005、ブロック判別部1031、第1の加算器(図10では加算器と記載する)1006、動き係数生成部1007の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また、第2の加算器(図10では加算器と記載する)1008、第3の加算器(図10では加算器と記載する)1009、特異点除去部1010の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。また、第5のラインメモリ(図10ではラインメモリと記載する)1011、第6のラインメモリ(図10ではラインメモリと記載する)1012、第2の減算器1013、第1の掛け算器1014、第2の掛け算器1015、加減算器1016各ブロックは図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。従って、これらの詳細な説明は省略する。
第1のセレクタ1017は、制御信号1043に制御されて、第1のゲイン1041と第2のゲイン1042の何れか一方を選択する。第1のセレクタ1017は、水平および垂直方向およびフレームあるいはフィールド方向に画素ごとに決定される制御信号1043により複数のゲインを切り替える。
以下具体例を挙げてその動作を説明する。
(実施の形態6)で示された方法によりノイズを除去するノイズリダクション装置においては、映像入力信号951に対して第1の掛け算器914で第2の減算器913での差分結果に対してゲインを掛ける。本実施の形態におけるノイズリダクション装置においては、このゲインを複数用いこれらを水平および垂直方向およびフレームあるいはフィールド方向に画素ごとに切り替える。
図11Aと図11Bは上述の切り替えの例を示している。両図は、フレーム内またはフィールド内での各画素におけるゲインを表示している。G1は第1のゲイン1041、G2は第2のゲイン1042を示す。画面1101と画面1102は隣り合うフレームまたはフィールドである。画面1101及び画面1102では、水平方向及び垂直方向にG1とG2が交互に切り替わっている。且つ、画面内の同一位置の画素に対して、画面1101と画面1102との間でもG1とG2が交互に切り替わっている。
上述のように水平および垂直方向さらにフィールドまたはフレーム方向で隣り合う画素同士で2つのゲインを切り替えるような制御信号1043を発生され、第1のセレクタ1017に入力される。第1のセレクタ1017はこの制御信号1043に従って2つのゲインを切り替える。この場合、一方のゲインに対し別のゲインをそれより小さく設定することで意図的に微小なノイズを付加し、ゲインが大きくなることに伴う残像や空間方向における映像の張り付き感などの見た目の不自然さを軽減できる。さらにゲインを切り替えることにより一つのゲインで処理を行なう場合よりも一方のゲインを大きく設定することができるため、より大きなノイズ除去効果が得られる。従って、例えば強電界時において張り付き感のないようにゲインを設定すれば一方のゲインを1にすることも可能になる。ノイズ除去の過程では一般的に同じ巡回係数をもつ画素が集まりやすい(特に静止画に近いエリアについては)ため張り付き感など見た目の不自然さが起こりやすい。しかし、このように画素単位でゲインを制御することによりこの現象を抑えることができる。この方法はもちろん他のノイズリダクション装置においても適用可能である。
(実施の形態8)
次に本発明の(実施の形態8)について、その詳細を説明する。
図12は(実施の形態8)におけるノイズリダクション装置の構成例を示す。図12における映像入力信号1251、メモリ1201、減算器1202、重み付け処理部1203、第1のラインメモリ(図12ではラインメモリと記載する)1204、第2のラインメモリ(図12ではラインメモリと記載する)1205、ブロック判別部1231、第1の加算器(図12では加算器と記載する)1206、動き係数生成部1207の各ブロックは図5の映像入力信号551、メモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、ブロック判別部508、第1の加算器506、動き係数生成部507の各ブロックと同等の機能を有する。また、第2の加算器(図12では加算器と記載する)1208、第3の加算器(図12では加算器と記載する)1209、特異点除去部1210の各ブロックは図7の第2の加算器708、第3の加算器709、特異点除去部710各ブロックと同等の機能を有する。また、第5のラインメモリ(図12ではラインメモリと記載する)1211、第6のラインメモリ(図12ではラインメモリと記載する)1212、第2の減算器1213、第1の掛け算器1214、第2の掛け算器1215、加減算器1216各ブロックは図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916と同等の機能を有する。また第1のセレクタ1217は図10の第1のセレクタ1017と同等の機能を有する。第1のゲイン1241、第2のゲイン1242、制御信号1243は図10の第1のゲイン1041、第2のゲイン1042、制御信号1043に相当する。従って、これらについての詳細な説明を省略する。
レベル調整部1218は、第2の減算器1213から出力される信号の絶対値レベルが所定のレベル以下ならこれを元の絶対値より小さい値に連続的に調整する。その調整された値は第1の掛け算器1214に入力される。
以下具体例を挙げてその動作を説明する。
(実施の形態6)および(実施の形態7)で示されたノイズリダクション装置では、映像入力信号1251に対して第1の掛け算器1214で第2の減算器1213での差分結果に対してゲインを掛けている。本実施の形態では、この差分の絶対値が所定の値以下ならば、レベル調整部1218はその差分の絶対値を元の値より小さい値に連続的に調整を行なう。
図13はレベル調整部1218の入出力特性の一例を示している。図13において、横軸1301はレベル調整部1218に入力される差分値、縦軸1302はレベル調整部1218から入力される値、折れ線1303はレベル調整部1218の入出力関係をそれぞれ示している。レベル調整部1218に入力される差分値をDとし、しきい値をthとする。レベル調整部1218は、入力される差分値Dがth/2以下ならD/2を出力し、th/2より大きくth以下なら3D/2−th/2を出力し、th以上ならDを出力する。この入出力特性により、しきい値th以下の差分値においてノイズ除去効果は小さくなる。これは低レベルのノイズ除去量を意図的にある程度制限することになる。ところで、弱電界時のノイズ除去処理では画面全体の膜張り感などの見た目の不自然さが生じやすい。本実施の形態のようにして低レベルのノイズをある程度残すことにより、この見た目の不自然さを軽減することができる。電界のレベルに応じてしきい値を制御し、強電界ではレベル調整が効かないようにして弱電界になるにつれて低レベルのノイズ除去量を制限するようにすることができる。弱電界時には重み付け処理部1203のしきい値を大きくするため、ノイズ除去処理に伴い映像全体の膜張り感が増える傾向にある。しかし、このようなレベル調整を行なうことで見た目の不自然さを抑えつつ、より目立ちやすいレベルの大きなノイズを重点的に除去することが可能となる。差分値を調整する代わりにしきい値以下のゲインを小さくするなど、このレベル調整の方法は幾つか考えられるが低差分レベルのノイズ除去効果を抑えるという点では同じことである。
(実施の形態9)
次に本発明の(実施の形態9)について、その詳細を説明する。
図14は(実施の形態9)におけるノイズリダクション装置の構成例を示す。図14のメモリ1401、減算器1402、重み付け処理部1403、第1のラインメモリ(図14ではラインメモリと記載する)1404、第2のラインメモリ(図14ではラインメモリと記載する)1405、第1の加算器(図14では加算器と記載する)1406、動き係数生成部1407、ブロック判別部1431の各ブロックは図5でのメモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、第1の加算器506、動き係数生成部507、ブロック判別部508の各ブロックと同等の機能を有する。また第2の加算器(図14では加算器と記載する)1408、第3の加算器(図14では加算器と記載する)1409、特異点除去部1410の各ブロックは、図7の第2の加算器708、第3の加算器709、特異点除去部710の各ブロックと同等の機能を有する。また第5のラインメモリ(図14ではラインメモリと記載する)1411、第6のラインメモリ(図14ではラインメモリと記載する)1412、第2の減算器1413、第1の掛け算器1414、第2の掛け算器1415、加減算器1416の各ブロックは、図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。また第1のセレクタ1417は図10の第1のセレクタ1017と同等の機能を有する。またレベル調整部1418は図12のレベル調整部1218と同等の機能を有する。また第一のゲイン1441、第2のゲイン1442、制御信号1443は図10の第1のゲイン1041、第2のゲイン1042、制御信号1043に対応する。従って、これらの詳細な説明は省略する。
平均値回路1419は映像入力信号1451と第5のラインメモリ1411の信号に対して(実施の形態4)で示した処理ブロック内に対応する画素の総和をとり、その平均信号レベルを算出する。ゲイン調整部1420は平均値回路1419で算出される平均値に応じて第1の掛け算器1414で掛けるゲインを調整する。
以下具体例を挙げてその動作を説明する。
(実施の形態8)に示された方法によりノイズを除去するノイズリダクション装置においては、第1の掛け算器1414はレベル調整部1418の出力に対して第1のセレクタ1417から出力されるゲインを掛けている。本実施の形態では、このゲインを処理対象の画素とその周辺画素の平均信号レベルを基にして制御する。
図15Aと図15Bはその制御の一例を示す図である。図15Aに示されているように、映像入力信号1451のデータ1502と第5のラインメモリ1411からのデータ1501において(実施の形態4)で示された処理ブロック内に対応する画素、すなわち図6B中の画素P4から画素P11に相当する8画素の平均信号レベルを平均値回路1419が算出する。そして、ゲイン調整部1420はこの平均信号レベルによりゲインを調整する。ゲイン調整部1420は、この平均信号レベルが大きい、すなわち明るい部分についてはゲインを相対的に小さくし、輝度レベルが小さい、すなわち暗い部分についてはゲインを大きめに設定する。
図15Bは、ゲイン調整部1420の特性の一例を示している。図15Bにおいて、横軸1521は平均値回路1419からの平均信号レベルを、縦軸1521はゲイン調整部1420でのゲイン調整量を、折れ線1523はその平均信号レベルとそのゲイン調整量との関係の一例を示している。ここでは、ゲイン調整部1420は第1のセレクタ1417からのゲインに対し例えば図15Bのように折れ線的に調整し、ある平均信号レベルth以上ではゲインを90%程度に設定する。すなわちもともとのゲイン設定は平均信号レベルが小さい場合を基準として設定することになる。このように平均信号レベルでゲインを調整することにより、同一フレーム内や同一フィールド内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して画素ごとにノイズ除去効果を高めることができる。また、AGC回路との連動をする必要もない。なおここでは回路や演算量の観点からこのような歪な8画素を一つのブロックとして平均信号レベルが求められているが、このブロックは任意に決定できる。ポイントは複数の画素の平均信号レベルを求めて、これによりゲインを調整することにある。入力信号レベルそのものを使用する方法ではノイズの影響により空間方向において制御レベルの変動が起こりやすくなる。本実施の形態はこの変動を軽減するために周辺の画素により平均化したものにより制御する。
(実施の形態10)
次に本発明の(実施の形態10)について、その詳細を説明する。
図16は(実施の形態10)におけるノイズリダクション装置の構成例を示す。図16のメモリ1601、減算器1602、重み付け処理部1603、第1のラインメモリ(図16ではラインメモリと記載する)1604、第2のラインメモリ(図16ではラインメモリと記載する)1605、第1の加算器(図16では加算器と記載する)1606、動き係数生成部1607、ブロック判別部1631の各ブロックは図5でのメモリ501、減算器502、重み付け処理部503、第1のラインメモリ504、第2のラインメモリ505、第1の加算器506、動き係数生成部507、ブロック判別部508の各ブロックと同等の機能を有する。また第2の加算器(図16では加算器と記載する)1608、第3の加算器(図16では加算器と記載する)1609、特異点除去部1610の各ブロックは、図7の第2の加算器708、第3の加算器709、特異点除去部710の各ブロックと同等の機能を有する。また第5のラインメモリ1611、第6のラインメモリ1612、第2の減算器1613、第1の掛け算器1614、第2の掛け算器1615、加減算器1616の各ブロックは、図9の第5のラインメモリ911、第6のラインメモリ912、第2の減算器913、第1の掛け算器914、第2の掛け算器915、加減算器916の各ブロックと同等の機能を有する。また第1のセレクタ1617は図10の第1のセレクタ1017と同等の機能を有する。またレベル調整部1618は図12のレベル調整部1218と同等の機能を有する。また平均値回路1619、ゲイン調整部1620は図14の平均値回路1419、ゲイン調整部1420と同等の機能を有する。従って、これらの詳細な説明は省略する。
フィルタ処理部1621は、加減算器1616の出力に対して空間方向のローパスフィルタ処理を行なう。ブレンディング係数演算部1622は、動き係数生成部1607および特異点除去部1610から得られる連続的な動き係数の値により、フィルタ処理部1621の出力と加減算器1616の出力信号とのブレンディングの比を決定する。ブレンディング処理部1623はフィルタ処理部1621の出力と加減算器1616の出力信号とをブレンディング係数演算部1622で決定されるブレンディング係数によりブレンドする。輪郭検出部1624は加減算器1616の出力信号から映像の輪郭部を抽出する。第2のセレクタ1625は、輪郭検出部1624からの出力により、ブレンディング処理部1623の出力と加減算器1616の出力信号とを切り替える。
以下具体例を挙げてその動作を説明する。
本実施の形態は、映像入力信号1651に対し(実施の形態6)および(実施の形態7)および(実施の形態8)および(実施の形態9)で示された方法によりノイズを除去するノイズリダクション装置の出力信号に対し、フィルタ処理部1621において空間方向のローパスフィルタ処理を行なう。例えば図16のフィルタ処理部1621はラインメモリを追加せずに水平方向のみのフィルタを用いる。このフィルタ処理部1621の出力信号とフィルタ処理部1621の入力信号とがブレンドされることで、空間フィルタの効果が調整される。このとき、ブレンディング係数演算部1622は動き係数生成部1607および特異点除去部1610から得られる動き係数の値によりブレンディング係数を決定する。すなわち、(実施の形態6)および(実施の形態7)および(実施の形態8)および(実施の形態9)で示されたノイズリダクション装置においては、残像などの影響とのかねあいによりノイズ除去しにくい動画部分で残留ノイズが発生する場合がある。これにより、見た目の不自然さが発生する場合がある。本実施の形態はこの不自然さを軽減する。そのために、例えば(実施の形態4)で示された図6Eのような動き係数に対して、図17に示されるようなブレンディングの比が設定される。
図17と共にこのブレンディングの比を説明する。図17の横軸1701、縦軸1702、曲線1703は図6Eの横軸671、縦軸672、曲線673にそれぞれ相当する。従って、これらの詳細な説明は省略する。図17に示されるように、動画に近いすなわち動き係数が小さい画素ほど空間方向のフィルタのブレンディング割合は大きくなる。あるしきい値th1704を設定し、動き係数1702がth以上(静止に近い)の領域1709ならフィルタ処理部1621の出力のブレンディング割合は0(すなわち(実施の形態9)以前で示されたノイズリダクション装置の出力そのもの)に、3th/4以上でth未満の領域1708ならその割合は1/4に、th/2以上で3th/4未満の領域1707ならその割合は1/2に、th/4以上でth/2未満の領域1706ならその割合は3/4に、th/4未満の領域1705ならその割合は1(すなわちフィルタ処理部1621の出力そのもの)に設定される。このしきい値th1704を変化させることにより空間方向のフィルタの効果を制御できるので、弱電界になるにつれてこのしきい値を大きくするとよい。なおこのブレンディング係数(上述のブレンディング割合)も関数をもちいて計算するなど幾つかの算出方法が考えられる。このように決定されるブレンディング係数により、ブレンディング処理部1623においてフィルタ処理されない信号とフィルタ処理された信号とがブレンドされることで、動き量に応じて空間方向のフィルタ処理の効果が調整される。さらに空間方向のフィルタをかけることによる映像のボケを防止するため、輪郭検出部1624において輪郭部分が検出される。例えば水平方向のみのフィルタをかける場合には水平差分をとり、この差分があるレベル以上なら輪郭であると判断し、その左右1、2画素については空間方向のフィルタをかけないように第2のセレクタ1625が制御される。その結果、フィルタ処理されていない信号が出力される。このような処理により、巡回型のノイズ除去処理に伴って発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能となる。同時に輪郭補正回路を付加することなく、空間方向のフィルタ処理に伴う輪郭部のボケをある程度抑えることができる。
以上に記載した通り、本発明では、ノイズのランダム性を利用して映像出力信号をフレーム遅延させた信号と映像入力信号とのフレーム差分をとり、この差分値に対して所定のしきい値との比較が行われる。その結果出力される信号について、各画素を中心に水平および垂直方向に隣接する数画素のブロックの総和がとられ、この総和が所定のしきい値と比較され、ブロックの中心画素の値として所望の信号が出力される。さらにこの出力を水平あるいは垂直方向に数画素拡大適用したり、時間軸方向に拡大適用したり、ブロック判別部での処理前の信号と各画素において比較するなどしてブロック単位での処理で発生しやすい特異点が取り除かれる。こうすることにより、映像入力信号に含まれるノイズの影響を抑えて映像の動き部分のみを検出することが可能となる。さらにフレーム差分に対して所望の係数をかけ映像入力信号と加減算を行なうことなどにより、ノイズを除去した信号と映像入力信号とがこの動き検出結果に応じて画素ごとに選択されて映像出力信号となる。こうすることによりノイズ除去効果を大きすることができるとともに映像の動きに起因する尾引きの弊害を抑えることが可能となる。
また、本発明はノイズの入った映像入力信号に対してフレーム差分値の大きい動き部分の検出に加え、ノイズレベルと同程度かそれ以下のフレーム差分値を持つ映像の動き部分とノイズとを区別してノイズの影響を抑えた映像の動き検出を行ない、さらにこれを用いたノイズ除去装置を構築する。そうすることにより、従来よりもノイズ除去効果を大きくすると同時に、ノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることが出来る。
また、本発明のより、ノイズが多い場合にノイズが除去される部分とのノイズ量の差による見た目の不自然さを軽減することが可能となる。
また、本発明はノイズのランダム性を利用して空間方向の幾つかの画素情報から動き検出を行ない、ルックアップテーブルなどを用いず回路規模を抑えた方法により映像の動き量に応じて隣接画素感でより連続的な動き係数を出力する動き検出装置を提供する。さらに、これを用いたノイズリダクション装置を構築することによりノイズ除去効果を向上させると同時に残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを抑えることを可能にする。
さらに、本発明は、周辺に対してノイズ量が多くなりやすい暗い部分において、AGC回路などの情報を用いずにノイズの影響を抑えて適応的にノイズ除去効果を高める。またノイズ除去に伴う動き部分の残留ノイズによる見た目上の不自然さを軽減し、強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や見た目の不自然さの防止を両立させる。
本発明によれば、重み付けされたフレームあるいはフィールド差分に対して隣接する複数の画素を一つの処理単位として加算処理が行なわれ、これよりしきい値を用いずに非線形な関数により連続的な動き係数を出力する動き検出装置を提供することができる。こうすることで、ノイズのランダム性を利用したノイズと動きの区別により、入力信号に含まれるノイズの影響を抑えて映像の動きに応じて連続的な動き係数を提供することができる。さらにこれを用いた巡回型のノイズリダクション装置を構築することで、ノイズ除去効果を大きくできるとともに残像や不連続的な係数を用いた処理に伴う映像の見た目の不自然さを軽減することが可能になる。さらに、複数のゲインを画素ごとに切り替えることで、意図的に微小なノイズを付加することができ、ゲインが大きくなることに伴う残像や空間方向におけるノイズの張り付き感などの見た目の不自然さが軽減できる。加えて、ゲインを大きくすることによるノイズ除去効果の向上が実現できる。また、弱電界時においては低レベルの差分値を調整して意図的に低差分レベルのノイズ除去効果を制限することにより、膜張り感などの見た目の不自然さを軽減すると同時に目立ちやすい大きなレベルのノイズを重点的に除去することができる。また、隣接する複数の画素に対する平均信号レベルに基いてゲインを調整することにより、同一画面内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して画素ごとにノイズ除去効果を高めることができる。さらに、空間方向のフィルタを動き検出装置からの動き係数と輪郭検出部からの輪郭情報により適応的に併用することにより、動き部分の輪郭をボケさせることなく巡回型のノイズ除去処理に伴い発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能になる。
このような巡回型ノイズリダクション装置を用いることにより、強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や映像の張り付き感など見た目の不自然さの軽減を両立させることが可能になる。
また、本発明は、同一画面内でもノイズ量の多くなりがちな信号レベルの小さい領域に対して、画素ごとにノイズ除去効果を高めることができる。
また、本発明のより、動き部分の輪郭をボケさせることなく、巡回型のノイズ除去処理に伴い発生しやすい残留ノイズによる動画部分の見た目の不自然さを軽減することが可能になる。
このような巡回型ノイズリダクション装置を用いることにより強電界から弱電界に至るまで動画および静止画に対してノイズ除去効果の向上とそれに伴い発生する残像や見た目の不自然さの防止を両立させることが可能になる。
本発明による動き検出装置及びそれを用いたノイズリダクション装置は、ノイズ除去効果を大きくできると共にノイズ除去効果の増大に伴う動き部分の尾引きの発生を抑えることができる。更に、強電界から弱電界に至るまでノイズ除去効果を大きくできると共にそれに伴う残像や張り付き感などの見た目の不自然さを解消することができる。
本発明の実施の形態1におけるブロック判別を用いた動き検出装置を示す図 本発明の実施の形態2におけるノイズリダクション装置を示す図 本発明の実施の形態3におけるノイズリダクション装置を示す図 AからCは、ブロック判別による動き検出の説明図 本発明の実施の形態4における動き検出装置を示す図 A〜Eは、本発明の実施の形態4における動き検出の説明図 本発明の実施の形態5における動き検出装置を示す図 本発明の実施の形態5における特異点除去の説明図 本発明の実施の形態6におけるノイズリダクション装置を示す図 本発明の実施の形態7におけるノイズリダクション装置を示す図 AとBは、本発明の実施の形態7におけるゲイン制御の説明図 本発明の実施の形態8におけるノイズリダクション装置を示す図 本発明の実施の形態8におけるレベル調整の説明図 本発明の実施の形態9におけるノイズリダクション装置を示す図 AとBは、本発明の実施の形態9におけるゲイン調整の説明図 本発明の実施の形態10におけるノイズリダクション装置を示す図 本発明の実施の形態10におけるブレンディング係数の算出方法の説明図 AとBは、従来例におけるフレーム巡回型ノイズリダクション装置を示す図
符号の説明
101、201、301 フレームメモリ
102、202、302、502、702、902、1002、1202、1402、1602 減算器
103、203、303 比較部
104、204、304、504、704、904、1004、1204、1404、1604 第1のラインメモリ
105、205.305、505、705、905、1005、1205、1405、1605 第2のラインメモリ
106、206、306、508、731、931、1031、1231、1431、1631 ブロック判別部
107、207、307、710、910、1010、1210、1410、1610 特異点除去部
108、212、313、551、732、951、1051、1251、1451、1651 映像入力信号
208、308 ノイズリダクション処理部
209、309 第3のラインメモリ
210、310 第4のラインメモリ
211、311 セレクタ
213、314、952、1052、1252、1452、1652 映像出力信号
312 フィルタ
501、701、901、1001、1201、1401、1601 メモリ
503、703、903、1003、1203、1403、1603 重み付け処理部
506、706、906、1006、1206、1406、1606 第1の加算器
507、707、907、1007、1207、1407、1607 動き係数生成部
708、908、1008、1208、1408、1608 第2の加算器
709、909、1009、1209、1409、1609 第3の加算器
911、1011、1211、1411、1611 第5のラインメモリ
912、1012、1212、1412、1612 第6のラインメモリ
914、1014、1214、1414、1614 第1の掛け算器
915、1015、1215、1415、1615 第2の掛け算器
916、1016、1216、1416、1616 加減算器
917 ゲイン
913、1013、1213、1413、1613 第2の減算器
1017、1217、1417、1617 第1のセレクタ
1041、1241、1441 第1のゲイン
1042、1242、1442 第2のゲイン
1043、1243、1443 制御信号
1218、1418、1618 レベル調整部
1419、1619 平均値回路
1420、1620 ゲイン調整部
1621 フィルタ処理部
1622 ブレンディング係数演算部
1623 ブレンディング処理部
1624 輪郭検出部
1625 第2のセレクタ

Claims (11)

  1. 映像入力信号をフレーム遅延させるフレームメモリと、
    前記映像入力信号と前記フレームメモリから読み出されるフレーム遅延信号との差分をとる減算器と、
    前記減算器の出力と任意のしきい値との比較を行なう比較部と、
    前記比較部から出力される信号を遅延させる第1のラインメモリと、
    前記第1のラインメモリの信号をさらに遅延させる第2のラインメモリと、
    映像信号の各画素を中心に水平および垂直方向に隣接する複数の画素を一つのブロックとして、前記比較部からの出力と前記第1のラインメモリからの出力と前記第2のラインメモリからの出力に対して前記ブロック内の各画素の総和をとり、この和と任意のしきい値とを比較するブロック判別部と、
    を備える動き検出装置。
  2. 前記ブロック判別部の結果を
    水平あるいは垂直方向に複数画素拡大適用したり、
    時間軸方向に拡大適用したり、
    前記ブロック判別部での処理前の信号と各画素において比較する
    などして前記ブロック判別部のブロック単位の処理で発生する特異点を取り除いて動き検出結果信号を出力する特異点除去部を更に備える請求項1に記載の動き検出装置。
  3. 請求項1または2に記載の動き検出装置と、
    前記減算器の出力に対して係数をかけ、前記映像入力信号と加減算を行なうことによりノイズを除去するノイズリダクション処理部と、
    前記比較部と前記特異点除去部とのライン遅延量だけ前記ノイズリダクション処理部からの出力を遅延させる第3のラインメモリと、
    前記比較部と前記特異点除去部とのライン遅延量だけ前記映像入力信号を遅延させる第4のラインメモリと、
    前記第3のラインメモリの出力と前記第4のラインメモリの出力とを前記動き検出結果信号に応じて選択して映像出力信号を出力するセレクタと
    を備え、
    前記フレームメモリに前記セレクタにより選択された映像出力信号が入力されるノイズリダクション装置。
  4. 前記第4のラインメモリと前記セレクタとの間に挿入され、前記第4のラインメモリ出力にフィルタ処理を行なうフィルタ
    を更に備え請求項3記載のノイズリダクション装置。
  5. 前記比較部は前記減算器の出力をその値に応じて任意のしきい値により複数のレベルに重み付けを行なう重み付け処理部で構成され、
    前記ブロック判別部は
    前記第1のラインメモリからの出力および第2のラインメモリからの出力に対して前記ブロック内の各画素の総和をとる第1の加算器と、
    前記加算器における加算結果に応じて非線形な連続関数を用いて前記ブロックの中心画素に対する動き係数として出力する動き係数生成部と
    で構成される
    請求項1または2に記載の動き検出装置。
  6. 前記重み付け処理部からの出力に対して前記ブロック内の同一ラインにある画素の和をとる第2の加算器と
    前記第2のラインメモリからの出力において前記ブロック内の同一ラインにある画素の和をとる第3の加算器と
    を備え、
    前記特異点除去部は、
    前記第2の加算器の結果および前記第3の加算器の結果に応じて前記動き係数を補正し、
    垂直方向に動き部分を拡大するあるいは前記動き係数生成部からの動き係数に対して水平方向に動き部分を拡大しブロック単位での処理で発生しやすい特異点を除去する
    請求項5に記載の動き検出装置。
  7. 請求項5あるいは請求項6に記載の動き検出装置と、
    前記映像入力信号を1ライン遅延させる第5のラインメモリと、
    前記メモリから読み出されるフレームあるいはフィールド遅延信号を1ライン遅延させる第6のラインメモリと、
    前記第5のラインメモリからの信号および前記第6のラインメモリからの信号の差分をとる第2の減算器と、
    前記第2の減算器の出力に任意のゲインをかける第1の掛け算器と、
    前記第1の掛け算器の結果に請求項5あるいは請求項6に記載の前記動き検出装置から出力される動き係数をかける第2の掛け算器と、
    前記第2の掛け算器の出力を前記第5のラインメモリの信号に前記第2の減算器における減算結果の正負の符号に応じて加減算を行なう加減算器と
    を備え、
    前記メモリに前記加減算器の映像出力信号が入力され、
    前記メモリは(1フィールド−1ライン)あるいは(1フレーム−1ライン)の遅延信号を出力する
    ノイズリダクション装置。
  8. 水平および垂直方向およびフレームあるいはフィールド方向に画素ごとに複数のゲインを切り替えるセレクタを更に備え、
    前記第1の掛け算器は前記セレクタからのゲインを前記第2の減算器の出力に対して掛ける
    請求項7に記載のノイズリダクション装置。
  9. 前記第2の減算器の出力信号の絶対値が所定のレベル以下なら前記第2の減算器の出力信号の絶対値を元の値より小さい値に連続的に調整を行ない、前記第1の掛け算器に出力するレベル調整部
    を更に備える請求項7または8に記載のノイズリダクション装置。
  10. 前記映像入力信号と前記第5のラインメモリの信号において前記ブロック内に対応する画素の総和をとり、その平均信号レベルを算出する平均値回路と、
    前記平均値回路の値に応じて前記第1の掛け算器でかけるゲインを調整するゲイン調整部と
    を更に備える請求項9に記載のノイズリダクション装置。
  11. 請求項10に記載のノイズリダクション装置の出力に対し空間方向のローパスフィルタ処理を行なうフィルタ処理部と、
    請求項10に記載の動き検出装置から得られる連続的な動き係数の値により前記フィルタ処理部の出力と前記ノイズリダクション装置の出力信号とのブレンディングの比を決定するブレンディング係数演算部と、
    前記フィルタ処理部の出力と前記ノイズリダクション装置の出力信号とを前記ブレンディング係数演算部で決定されるブレンディング係数によりブレンドするブレンディング処理部と、
    前記ノイズリダクション装置の出力信号より映像の輪郭部を抽出する輪郭検出部と、
    前記輪郭検出部からの出力により前記ブレンディング処理部の出力と前記ノイズリダクション装置からの出力信号とを切り替える第2のセレクタと
    を備え、
    前記第2のセレクタで選択された信号を前記メモリに入力する請求項10に記載のノイズリダクション装置。
JP2004515176A 2002-06-25 2003-06-24 動き検出装置及びそれを用いたノイズリダクション装置 Expired - Fee Related JP3856031B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2002183891 2002-06-25
JP2002183891 2002-06-25
JP2003032138 2003-02-10
JP2003032138 2003-02-10
PCT/JP2003/007980 WO2004002135A1 (ja) 2002-06-25 2003-06-24 動き検出装置及びそれを用いたノイズリダクション装置

Publications (2)

Publication Number Publication Date
JPWO2004002135A1 true JPWO2004002135A1 (ja) 2005-10-27
JP3856031B2 JP3856031B2 (ja) 2006-12-13

Family

ID=30002270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004515176A Expired - Fee Related JP3856031B2 (ja) 2002-06-25 2003-06-24 動き検出装置及びそれを用いたノイズリダクション装置

Country Status (7)

Country Link
US (1) US7903179B2 (ja)
EP (1) EP1515544A4 (ja)
JP (1) JP3856031B2 (ja)
KR (1) KR100687645B1 (ja)
CN (1) CN100566379C (ja)
AU (1) AU2003246185A1 (ja)
WO (1) WO2004002135A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100541961B1 (ko) * 2004-06-08 2006-01-12 삼성전자주식회사 선명도 향상 및 잡음처리가 가능한 영상신호 처리장치 및방법
US20060028562A1 (en) * 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
US20070133893A1 (en) * 2005-12-14 2007-06-14 Micron Technology, Inc. Method and apparatus for image noise reduction
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP4977444B2 (ja) * 2006-10-31 2012-07-18 三星電子株式会社 動画像ノイズ除去装置および動画像ノイズ除去方法
JP2008271365A (ja) * 2007-04-24 2008-11-06 Murata Mach Ltd 画像処理装置及び画像処理方法
US8233094B2 (en) * 2007-05-24 2012-07-31 Aptina Imaging Corporation Methods, systems and apparatuses for motion detection using auto-focus statistics
US20080310751A1 (en) * 2007-06-15 2008-12-18 Barinder Singh Rai Method And Apparatus For Providing A Variable Blur
TWI336202B (en) * 2007-07-06 2011-01-11 Quanta Comp Inc Noise reduction device and method
KR20090013548A (ko) * 2007-08-02 2009-02-05 삼성전자주식회사 영상표시장치 및 그의 노이즈 제거 방법
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
US20090153739A1 (en) * 2007-12-14 2009-06-18 Texas Instruments Incorporated Method and Apparatus for a Noise Filter for Reducing Noise in a Image or Video
JP4257382B1 (ja) * 2007-12-26 2009-04-22 株式会社東芝 ノイズリダクション装置、ノイズリダクション方法
US8593572B2 (en) * 2008-01-30 2013-11-26 Csr Technology Inc. Video signal motion detection
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US20100238354A1 (en) * 2009-03-18 2010-09-23 Shmueli Yaron Method and system for adaptive noise reduction filtering
JP5235807B2 (ja) * 2009-07-23 2013-07-10 三菱電機株式会社 ノイズ除去装置
KR101674078B1 (ko) * 2009-12-16 2016-11-08 삼성전자 주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
JP5792990B2 (ja) * 2011-04-28 2015-10-14 キヤノン株式会社 画像処理装置およびその制御方法
CN104780295B (zh) * 2015-04-16 2018-03-30 北京思朗科技有限责任公司 一种基于噪声相关性的视频去噪系统
CN108955897B (zh) * 2018-08-13 2019-11-01 成都森川科技股份有限公司 运动货运列车测温还原方法
CN109084900B (zh) * 2018-10-17 2019-11-01 成都森川科技股份有限公司 一种移动物体热像拖尾像素检测方法
US11010622B2 (en) * 2018-11-02 2021-05-18 Toyota Research Institute, Inc. Infrastructure-free NLoS obstacle detection for autonomous cars
CN113438386B (zh) * 2021-05-20 2023-02-17 珠海全志科技股份有限公司 一种应用于视频处理的动静判定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117274A (ja) * 1989-09-29 1991-05-20 Mitsubishi Electric Corp 雑音低減回路
JPH0530391A (ja) * 1991-07-18 1993-02-05 Toshiba Corp 動き検出回路
JPH06350881A (ja) * 1993-06-07 1994-12-22 Texas Instr Japan Ltd 動き検出回路及びノイズ低減回路
JP2000115585A (ja) * 1998-09-29 2000-04-21 Matsushita Electric Ind Co Ltd 動き検出回路とノイズ低減装置
JP2001160909A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4090221A (en) * 1972-03-13 1978-05-16 Bell Telephone Laboratories, Incorporated Apparatus for improving video signal-to-noise ratio
US4240109A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Video movement detection
US4240106A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Video noise reduction
DE3121597C3 (de) * 1981-05-30 1993-09-30 Bosch Gmbh Robert System zur Verminderung des Rauschens in einem Fernseh-Bildsignal
US4661853A (en) 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
JP2579930B2 (ja) * 1987-03-17 1997-02-12 株式会社東芝 複合信号分離回路
DE3809249A1 (de) * 1988-03-18 1989-09-28 Thomson Brandt Gmbh Bewegungsdetektor
US4933757A (en) * 1988-08-20 1990-06-12 Olympus Optical Co., Ltd. Electronic endoscope apparatus provided with a movement detecting means
US4979040A (en) * 1989-01-18 1990-12-18 Sanyo Electric Co., Ltd. Decoder for subsampled video signal
US5386249A (en) * 1992-01-22 1995-01-31 Samsung Electronics Co., Ltd. Video motion detector with full-band response except for diagonal spatial frequencies
JP3117274B2 (ja) * 1992-03-30 2000-12-11 三菱重工業株式会社 集じん装置
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
DE19636952C2 (de) 1996-09-11 1999-11-04 Siemens Ag Verfahren zur Rauschreduktion eines Bildsignals
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
EP1137268A1 (en) 2000-03-15 2001-09-26 Koninklijke Philips Electronics N.V. Video-apparatus with noise reduction
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
JP4270733B2 (ja) 2000-09-14 2009-06-03 株式会社東芝 画像のサイズ変換方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117274A (ja) * 1989-09-29 1991-05-20 Mitsubishi Electric Corp 雑音低減回路
JPH0530391A (ja) * 1991-07-18 1993-02-05 Toshiba Corp 動き検出回路
JPH06350881A (ja) * 1993-06-07 1994-12-22 Texas Instr Japan Ltd 動き検出回路及びノイズ低減回路
JP2000115585A (ja) * 1998-09-29 2000-04-21 Matsushita Electric Ind Co Ltd 動き検出回路とノイズ低減装置
JP2001160909A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置

Also Published As

Publication number Publication date
EP1515544A4 (en) 2008-03-12
CN100566379C (zh) 2009-12-02
EP1515544A1 (en) 2005-03-16
KR20050013151A (ko) 2005-02-02
JP3856031B2 (ja) 2006-12-13
AU2003246185A1 (en) 2004-01-06
CN1663239A (zh) 2005-08-31
US20050168651A1 (en) 2005-08-04
KR100687645B1 (ko) 2007-02-27
US7903179B2 (en) 2011-03-08
WO2004002135A1 (ja) 2003-12-31

Similar Documents

Publication Publication Date Title
JP3856031B2 (ja) 動き検出装置及びそれを用いたノイズリダクション装置
US9153015B2 (en) Image processing device and method
KR20020008179A (ko) 비디오 영상의 선명도를 향상시키는 시스템 및 방법
JP2007208399A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US20090002562A1 (en) Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon
US8279346B2 (en) Frame rate converting apparatus and method thereof
JP4768510B2 (ja) 画質改善装置および画質改善方法
US7471336B2 (en) Global motion adaptive system with motion values correction with respect to luminance level
CN101141655A (zh) 影像信号像素点色彩值调整方法
WO2016063450A1 (en) Image processing apparatus, control method therefor, image display apparatus, and computer readable storage medium
US8265419B2 (en) Image processing apparatus and image processing method
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
JP2002247611A (ja) 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
JP2006208854A (ja) 画像処理装置、プログラム、記録媒体および画像表示装置
JP5701035B2 (ja) 画像処理装置および方法並びにプログラム
TWI392334B (zh) 影像處理裝置以及影像處理方法
EP1622080B1 (en) Signal processing device and method, recording medium, and program
JP4571605B2 (ja) ノイズ低減装置および方法
JP7300164B2 (ja) ノイズリダクション方法
JP5099438B2 (ja) 画像処理装置および方法、並びにプログラム
JP2000134510A (ja) 映像信号のノイズ除去回路
Cho et al. Color transient improvement with transient detection and variable length nonlinear filtering
Cho Adaptively rate-controlled shoot suppression
JP5968067B2 (ja) 画像処理装置及びその制御方法
JP4910839B2 (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees