JP4977444B2 - 動画像ノイズ除去装置および動画像ノイズ除去方法 - Google Patents

Description

本発明は動画像ノイズ除去装置、より具体的には３次元ノイズリダクションによりノイズ除去を行っているテレビ、ビデオレコーダまたはビデオカメラ等の民生用映像機器に適用可能な動画像ノイズ除去装置および動画像ノイズ除去方法に関する。

近年、民生用映像機器の技術進歩は目覚しいものがあり、再生する映像機器の大画面化に伴って、よりノイズの少ない高画質が画像が求められている。このような背景により、動画像のノイズ除去に関する従来技術は種々のものが提案されており、その一例として例えば文献１から文献３に記載された従来技術がある。

３次元ノイズリダクションによる動画像除去装置は、このような民生用映像機器に組み込まれている動画像のノイズ除去装置として、一般的に良く知られているノイズ除去装置である。ＭＰＥＧ等の動画圧縮を行う際には、画像相関を利用するので時間方向の単独ノイズは大きな画質劣化を引き起こす。このような画質劣化を除去するのに、３次元ノイズリダクションは大きな効果があることが知られている。

図１１は３次元ノイズリダクションを用いた従来技術における動画像ノイズ除去装置の機能ブロック図である。３次元ノイズリダクションは撮像時間の異なる複数フレームの画像データを用い、複数フレーム間において２次元位置が同一の画素を合成してノイズを除去する方法である。

以下、図１１を用いて従来技術におけるノイズ除去装置１５を説明する。差分回路１４２は、画像入力部１４０より現画像をフレームメモリ１５０より１フレーム前の画像をそれぞれ入力し、フレーム間の差分を出力する回路である。差分検出回路１４２はフレーム間の差分をノイズ判定部１４４に出力する。

ノイズ判定部１４４は、差分回路１４２からの差分出力を入力し、その値が小さな差分であった場合にはノイズの可能性が高いとして判定してその差を打ち消す方向に働く画像信号を出力する。一方、入力した値がある程度以上の大きさの場合には動領域と判定して画像入力部１４０より入力した信号がそのまま出力されるようにする。

差分回路１４８は、画像入力部１４０より現画像を入力するとともに、ノイズ判定部１４４よりノイズか否かの判定結果に応じた信号を入力し、現画像からノイズと判定された画像を除去したものを画像出力部１５２に出力する。このように、３次元ノイズリダクションは通常フレーム間の差分を元に、小さな差分があった場合にはノイズの可能性が高いとして現画像からその差を打ち消す方向に働き、ある程度以上の大きさの場合には動領域と判定してそのまま現画像を出力する。
特開２００３−２８３８７６号公報 特開２００５−１５０９０３号公報 特開２００５−２１０２１６号公報

しかしながら、このような従来技術における３次元ノイズリダクション装置では、例えばデジタルビデオカメラ等で自動露出が良好に動作しなかった場合には適切なノイズ除去ができないという問題があった。具体的には、自動露出が良好に動作しなかった場合、撮像している画像は同じでもフレーム間の輝度は少しずつ変化するといった現象が生じる。従来技術における３次元ノイズリダクション装置では、このような輝度の変化をノイズとして判定してしまう。その結果、ある程度輝度が変わってから急に輝度が追いかけるという現象が生じ、自動露出の不安定性を助長する結果となってしまうという問題があった。

本発明はこのような従来技術の課題を解決し、たとえば自動露出が良好に機能しなかった場合でも輝度の変化をノイズとして判定することが無い優れた動画像ノイズ除去装置および動画像ノイズ除去方法を提供することを目的とする。

本発明は上記課題を解決するための手段として、請求項１に記載された発明は、第1の画像とこの第1の画像と異なるフレームの第２の画像を入力し、第１の画像と第２の画像間の差分を抽出する第１の差分画像出力手段と、第１の差分画像出力手段により抽出された画像間の差分より、ノイズか否かの判定を行い、ノイズと判定した場合には第１の画像からノイズ部分を打ち消す信号を出力するノイズ判定手段と、第１の画像の対象画素と周辺画素により形状判定するとともに、第２の画像の対象画素と周辺画素により形状を判定し、第1の画像の形状と第２の画像の形状とを出力する形状判定手段と、形状判定手段より第１の画像の形状と第２の画像の形状とを入力し、第１の画像の形状と第２の画像の形状を元に第１の画像と第２の画像との相関関係とノイズの有無を判定して重み付け信号を出力する相関判定手段と、ノイズ判定手段からノイズ部分を打ち消す信号を入力するとともに、相関判定手段より重み付け信号を入力し、打ち消す信号と重み付け信号を演算した信号を出力する演算手段と、第１の画像と演算手段から出力された信号とを入力し、第１の画像と演算手段から出力された信号の差分をとることでノイズ除去した画像を出力する第２の差分画像出力手段とを有することを特徴とする。

請求項２に記載された発明は、請求項１に記載の動画像ノイズ除去装置において、形状判定手段は、第１の画像の対象画素と周辺画素の差分、第２の画像の対象画素と周辺画素の差分により形状判定することを特徴とする。

請求項３に記載された発明は、請求項１に記載の動画像ノイズ除去装置において、相関判定手段は、連続した５画素以上を用いて、周辺と中心部に分けて評価することにより、第１の画像と前記第２の画像との相関関係とノイズの有無を判定することを特徴とする。

請求項４に記載された発明は、請求項１に記載の動画像ノイズ除去装置において、相関判定手段は、ラインメモリを用いた二次元画素データによって評価する周辺画素を用いることで、第１の画像と前記第２の画像との相関関係とノイズの有無を判定することを特徴とする。

請求項５に記載された発明は、第1の画像とこの第1の画像と異なるフレームの第２の画像を入力して第1の画像と第２の画像間の差分を抽出し、抽出した差分結果よりノイズ判定して第１の画像からノイズ除去する値を求め、同時に第１の画像の対象画素と周辺画素により第１の画像を形状判定するとともに、第２の画像の対象画素と周辺画素により第２の画像を形状判定し、第１の画像の形状判定と第２の画像の形状判定の結果を元に第１の画像と第２の画像との相関関係とノイズの有無を判定して重み付けを行い、重み付けに応じて第１の画像からノイズ除去する値を調整することを特徴とする。

請求項６に記載された発明は、請求項５に記載の動画像ノイズ除去方法において、形状判定は、第１の画像の対象画素と周辺画素の差分、第２の画像の対象画素と周辺画素の差分により形状判定することを特徴とする。

請求項７に記載された発明は、請求項５に記載の動画像ノイズ除去方法において、第１の画像と第２の画像との相関関係と第１の画像のノイズの有無の判定は、連続した５画素以上を用い、周辺部の画素の差分比率により第１の画像と第２の画像の相関関係を求め、中心部の画素の差分比率により第１の画像のノイズの有無を判定することを特徴とする。

請求項８に記載された発明は、請求項５に記載の動画像ノイズ除去方法において、第１の画像と第２の画像との相関関係と第１の画像のノイズの有無の判定は、ラインメモリを用いた二次元画素データの周辺部の画素の差分比率により第１の画像と第２の画像の相関関係を求め、中心部の画素の差分比率により前記第１の画像のノイズの有無を判定することを特徴とする。

本発明によれば、３次元ノイズリダクションを行い際に、輝度が変化したものかノイズかの区別を的確に行うことができる。したがって、従来技術では実際には輝度が変化しているのにこれをノイズと見做してノイズリダクションを行ってしまい、映像が不自然になることことがあったが、本発明ではこのようなことが無くなる。また、本発明をビデオカメラ等に適用すれば、自動露出が良好に機能しなかった場合でも、それによる輝度変化をノイズとして画像補正を行わないので、画像劣化を最小限に抑えることが可能となる。

次に添付図面を参照して本発明による動画像ノイズ除去装置および動画像ノイズ除去方法の実施の形態を詳細に説明する。
図２を参照すると、本発明による動画像ノイズ除去装置の実施の形態が組み込まれたデジタルビデオカメラ１の機能ブロック図が示されている。撮像部１０はズームレンズ等で構成された撮影レンズおよびＣＣＤ等の固体撮像素子により構成された撮像装置である。撮像部１０は、図示しない制御装置からの制御により自動露出およびオートフォーカスが行われ、その映像信号をカメラ信号処理部１２に出力する。

カメラ信号処理部１２は、撮像部１０より入力した映像信号に画素補間、カラーバランス制御またはカンマ補正等の信号処理を行う回路である。カメラ信号処理部１２は信号処理を行った映像信号を３次元ノイズリダクション部１４に出力する。

３次元ノイズリダクション部１４は本発明の実施の形態であり、撮像部１０で適切な自動露出等が行われなかった場合でも、その状態を検出してノイズ除去のゲインを調整する機能を備えている。３次元ノイズリダクション部１４にはカメラ信号処理部１２で処理された映像信号が入力されるため、撮像部１０の自動露出やオートフォーカスが不安定な状況であれば、その結果として入力する映像自体も不安定になる。

本実施の形態の３次元ノイズリダクション部１４では、自動露出が不安定であること、また輝度が微妙に変化していることを検知する機能を備えており、自動露出が不安定であったり照明の変化により微妙に輝度が変化した場合にはノイズ除去の強度を低くなるよう制御する。３次元ノイズリダクション部１４はノイズ除去した映像信号をビデオエンコーダ１６に出力する。なお、３次元ノイズリダクション部１４は、ＳＤＲＡＭコントローラ１８を介してＳＤＲＡＭ２０と接続され、このＳＤＲＡＭ２０をフレームメモリとして使用している。

ビデオエンコーダ１６は、３次元ノイズリダクション部１４から入力した映像信号を圧縮符号化したデータ列である所定の映像ストリームにする画像エンコード処理を行う回路である。すなわち、ビデオエンコーダ１６はＳＤＲＡＭコントローラ１８を介してＳＤＲＡＭ２０と接続され、このＳＤＲＡＭ２０をメモリとして利用することでエンコード処理を行う。ビデオエンコーダ１６は映像ストリームをストリーム多重化部２６に出力する。

マイク（Ｍｉｃ）２２は映像部１０で撮像した被写体の音声を収音する指向性のマイクである。マイク２２は収音した音声をオーディオエンコーダ２４に出力する。オーディオエンコーダ２４はマイク２２から入力した音声信号を圧縮符号化したデータ列である所定の音声ストリームにする音声エンコード処理を行う回路である。オーディオエンコーダ２４は音声ストリームをストリーム多重化部２６に出力する。

ストリーム多重化部２６は、ビデオエンコーダ１６より入力した映像ストリームとオーディオエンコーダ２４より入力した音声ストリームとを多重化する回路である。ストリーム多重化部２６は音声と映像を多重化した音声・映像ストリームを記録メディアインターフェイス２８に出力する。記録メディアインターフェイス２８は各種記録媒体とのインターフェイスをとる回路であり、ストリーム多重化部２６から入力した音声・映像ストリームを所定の記録媒体に記憶する。

図１を参照すると、図２に示した３次元ノイズリダクション部１４の機能ブロック図が示されている。図１において、画像入力部１４０はカメラ信号処理部１２の出力側と接続され、これより映像信号を入力する。差分回路１４２は、画像入力部１４０より現画像をフレームメモリ１５０（図２ではＳＤＲＡＭ２０）より１フレーム前の画像をそれぞれ入力し、フレーム間の差分を出力する回路である。差分検出回路１４２はフレーム間の差分をノイズ判定部１４４に出力する。

ノイズ判定部１４４は、差分回路１４２からの差分出力を入力し、その値が小さな差分であった場合にはノイズの可能性が高いとして判定してその差を打ち消す方向に働く画像信号を積算器１４６に出力する。一方、入力した値がある程度以上の大きさの場合には動領域と判定して画像入力部１４０より入力した信号がそのまま出力されるようにする。このようにノイズ判定部１４４は、差分結果からノイズか否かの判定を行い、その結果、ノイズと判定した場合には入力した現画像から減算する値を求める回路である。

積算器１４６は、ノイズ判定部１４４よりノイズか否かの判定結果に応じた信号を入力するとともに、後述する相関判定部１５８よりこの判定結果に応じた信号の有効度を示す「０」以上「１」以下の信号を入力する。積算器１４６は、相関判定部１５８から入力した信号とノイズ判定部１４４からの信号とを演算し、差分回路１４８に出力する。

差分回路１４８は、画像入力部１４０より現画像を入力するとともに、積分器１４６より調整された信号を入力し、現画像からノイズ画像を除去した画像を画像出力部１５２に出力する。
Ｄフリップフロップである遅延回路１５４ａ，１５４ｂ、形状判定部１５６ａ，１５６ｂおよび相関判定部１５８は、対象画素の周辺画素を使用して現画像とその１つ前の画像の該当位置が相似形であるか否かを判断する処理部である。

形状判定部１５６ａは、画像入力部１４０より現画像を入力するとともに遅延回路１５４ａより画像入力部１４０より入力した画像の１画素前の画像を入力し、入力した画像の形状判定を行う。同様に形状判定部１５６ｂは、フレームメモリ１５０より現画像の１フレーム前の画像を入力するとともに、遅延回路１５４ｂよりフレームメモリ１５０より入力した画像の１画素前の画像を入力し、入力した画像の形状判定を行う。形状判定部１５６ａおよび１５６ｂはその判定結果を相関判定部１５８に出力する。

相関判定部１５８は、形状判定部１５６ａおよび１５６ｂはその判定結果を元に現画像とそれより１フレーム前の画像とが相関関係にあるか、すなわち同じ画像であるか否かを判定する。その結果、相関関係にあると判定した場合には、ノイズ判定部１４４から出力された入力画像から減算する信号の割合を小さくする（「０」に近い値）の信号を積分器１４６に出力する。一方、相関関係にないと判定した場合には、ノイズ判定部１４４から出力された入力画像から減算する信号の割合を大きくする（「１」に近い値）の信号を積分器１４６に出力する。

図３には輝度変化を判定する形状判定部１５６ａ，１５６ｂおよび相関判定部１５８の概略を示したブロック図である。形状判定部１５６ａは現画像の連続する２つの画素（ａ１，ｂ１）を入力してその差分Diff_aを出力する。同様に、形状判定部１５６ｂは現画像の１フレーム前の同じ位置の連続する２つの画素（ａ２，ｂ２）を入力してその差分Diff_bを出力する。

これら差分Diff_aおよびDiff_bは演算器１５８ａに入力される。演算器１５８ａは、Diff_aとDiff_bの差を求め、その値の絶対値（｜Diff_a−Diff_b｜）を輝度正規化部１５８ｂに出力する。輝度正規化部１５８ｂは、入力した信号を輝度で正規化して、値の大きい領域と小さい領域で感度が異ならないようにしている。

形状判定は３次元ノイズリダクションが影響を及ぼす小さな輝度変化の領域では、差分で実現することが可能である。このため、形状判定部１５６は２入力の差分とすることができる。理想的には比率で演算することが望ましいが、差分であっても大きな差が生じることは無く、差分にすることで回路を非常にシンプルにすることが可能となる。相関判定はこの２つの差分結果がどのくらい近いかによって判定する。ここでは２つの差分値の差分をとることで簡単に実現している。ただし、この差分は輝度によって若干変化するので、輝度正規化部１５８ｂで輝度の正規化を行っている。輝度正規化部１５８ｂでは除算を行っているが、輝度の値に応じてテーブル形式にしても良い。

図４および図５は図１に示した３次元ノイズリダクション部１４をさらに詳細にした２つの実施の形態を示す機能ブロック図である。図４に示した３次元ノイズリダクション部1５は、差分値を４つ使用して連続５画素で判断した、前後２画素を使って評価した場合のブロック図を示している。なお、３次元ノイズリダクション部１５では、前後２画素を使って評価するため、図１に示した３次元ノイズリダクション部１４と異なり、現画像とこれより１フレーム前の画像の１画素前の画像が差分回路１４２ａに入力される。

差分回路１４２ａの後段にはＤフリップフロップである遅延回路１４２ｂが接続され、１画素遅延した画像がノイズ判定部１４４に出力される。一方、輝度正規化部１５８ｂの後段にはＤフリップフロップである３つの遅延回路１５８ｃ，１５８ｄ，１５８ｅが直列に接続されている。これら３つの遅延回路１５８により、積分器１４６に出力されるノイズか否かの判定結果がなされた画素の前後２画素の差分値ａ，ｂ，ｃ，ｄが相関値演算部１５８ｈに出力される。

相関値演算部１５８ｈは、右上の２つのグラフf(x)とg(x)に、隣り合う画素の差分値とそれよりは離れた画素の差分値を代入し、これらを演算することで相関値の割合を算出する。グラフf(x) とg(x)は横軸が入力、縦軸がその出力である。グラフf(x)は減少関数になっており、これには差分値ａ，ｂが代入される。一方、グラフg(x)は増加関数になっており、これには差分値ｃ，ｄが代入される。そして、(f(a)+f(d))*(g(b)+g(c))の演算を行うことで、輝度の変化かノイズかの判断をし、ノイズ判定部１４４の有効度を示す「０」以上「１」以下の信号を積分器１４６に出力する。

差分値ａとｄに関しては、積分器１４６に入力される画素から見て離れた画素の差分値なので、その値が大きくなればなるほど相関が小さくなるのでグラフf(x)が減少関数になっている。また、差分値ｂ，ｃに関しては、積分器１４６に入力される画素から見て隣接した画素の差分値なので、その値が大きくなればなるほどノイズである可能性が高いので増加関数になっている。なお、これら関数は実験の結果によるものである。

図５に示した３次元ノイズリダクション部1７は、差分値を６つ使用して連続７画素で判断した、前後３画素を使って評価した場合のブロック図を示している。３次元ノイズリダクション部１７では、前後３画素を使って評価するため、差分回路１４２ａの後段に２つの遅延回路１４２ｂ，１４２ｃが直列接続されるとともに、輝度正規化部１５８ｂの後段に５つの遅延回路１５８ｃ〜１５８ｇが直列接続されている。

輝度正規化部１５８ｂとこれら５つの遅延回路１５８ｃ〜１５８ｇからの出力が、差分値ａ〜ｆとして相関値演算部１５８ｉに入力される。相関値演算部１５８ｉでは、相関値演算部ｈと同様に、積分器１４６に入力される画素から見て離れた画素の差分値はグラフf(x)に、隣接した画素の差分値はグラフg(x)にそれぞれ代入される。そして、相関値演算部１５８ｉは、(f(a)+f(b)+ f(e)+f(f))*(g(c)+g(d))の演算を行うことで、輝度の変化かノイズかの判断をし、ノイズ判定部１４４の有効度を示す「０」以上「１」以下の信号を積分器１４６に出力する。

図６および図７は前後２画素を使って評価した場合の概念を示した模式図である。前述したように、前後２画素を使って評価する場合には差分値が４つ必要になるので連続５画素で判断することになる。したがって、図６および図７ではａ〜ｅの５画素が示されている。

（Ａ）および（Ｃ）は図１に示した形状判定部１５６ａに入力される現画像における各画素の輝度レベルを表したものであり、ａ１，ｂ１，ｃ１，ｄ１，ｅ１は横方向に隣り合う連続した画素である。（Ｂ）および（Ｄ）は図１に示した形状判定部１５６ｂに入力される現画像の１フレーム前における各画素の輝度レベルを表したものである。ａ２，ｂ２，ｃ２，ｄ２，ｅ２はａ１，ｂ１，ｃ１，ｄ１，ｅ１にそれぞれ対応した１フレーム前の連続した画素である。

（Ａ）と（Ｂ）に示した各画素は、下記の式（１）に示す関係にある。
ａ１：ｂ１：ｃ１：ｄ１：ｅ１≒ａ２：ｂ２：ｃ２：ｄ２：ｅ２ （１）
このように（Ａ）と（Ｂ）では、ａ，ｂ，ｃ，ｄ，ｅが相似関係にあるので、２つのフレーム間で位置は変わっておらず、輝度のみが変化したものと見做す。

一方、（Ｃ）と（Ｄ）に示した各画素は、下記の式（２）に示す関係にある。
ａ１：ｂ１≒ａ２：ｂ２
ｄ１：ｅ１≒ｄ２：ｅ２
ｂ１：ｃ１≠ｂ２：ｃ２
ｃ１：ｄ１≠ｃ２：ｄ２ （２）
この場合、ａ，ｂ，ｄ，ｅが相似であるので、２つのフレーム間で位置は変わっていないと判断する。さらに、この場合にはｂ，ｃ，ｄが相似でないのでｃ２はノイズが存在すると判断する。

図８はラインメモリを用い、二次元画素データを使って評価する場合を示した説明図である。「現画像」とそれより１フレーム前の「前画像」は、撮像した画像の中のある５×３のマトリックスを表しており、細い矢印および太い矢印は隣接する画素間の差分比率をそれぞれ示している。

「現画像」と「前画像」において、細い矢印の差分比率が一致した場合にはこれら２つのフレーム間で位置は変わっていない、すなわち形状は同じと判定する。一方、「現画像」と「前画像」において、細い矢印の差分比率が一致しない場合には２つのフレーム間で位置が変わったとしてノイズでは無いと判定する。

また、「現画像」と「前画像」において、細い矢印の差分比率が一致し、かつ太い矢印の差分比率が一致した場合にはノイズ無しと判定する。さらに、「現画像」と「前画像」において、細い矢印の差分比率が一致し、かつ太い矢印の差分比率が一致しない場合にはノイズと判定する。なお、図８に示した処理は図１の相関判定部１５８により行われ、「ノイズではない」または「ノイズ無し」と判定した場合には３次元ノイズリダクションがかからないように積分器１４６に調整信号を出力する。

図９および図１０は入力画像、従来技術、本実施の形態の動作を比較したグラフであり、これら図を用いて本実施の形態である３次元ノイズリダクションの効果を説明する。これら図において、縦軸は輝度を横軸は時間（フレーム）を示している。また、実線は図１の画像入力部１４０より入力された現画像である入力画像を、２点鎖線は従来技術における３次元ノイズリダクションより処理を行った画像を、点線は図１の画像出力部１５２より出力される本実施の形態の３次元ノイズリダクションにより処理した画像をそれぞれ示している。

図９はノイズが無い場合の動作例を示したグラフである。同図に示すように従来技術では自動露出の変化に影響され、段階的に不自然な３次元ノイズリダクションがかかってしまい画質劣化を引き起こしているのがわかる。一方、本実施の形態では、自動露出の変化の影響を受けず、入力画像とほぼ同じ曲線になっており画質劣化が起きていないことがわかる。

図１０は時間方向の単独ノイズが発生したときの動作例を示したものである。同図に示すように、入力画像のあるフレームに「ノイズ部分」があると、入力画像はその影響をまともに受けてしまい、曲線に窪みが生じて画質劣化が起きているのがわかる。一方、本実施の形態では「ノイズ部分」を検出してそれを修正するので、曲線にほとんど窪みが起きず画質が劣化することは無い。

以上、本発明による動画像ノイズ除去装置および動画像ノイズ除去方法の実施の形態を説明したが、本発明はこれに限定されるものではなく技術的思想が同一の変形または修正は本発明に含まれる。すなわち、本実施の形態では現画像より１フレーム前の画像を用いて動画像のノイズ除去を行うとしたが、本発明は特に１フレーム前の画像に限定されるものではなく、例えば未来のフレームの画像であってもよい。また、本実施の形態では本発明をデジタルビデオカメラに適用したが、デジタルビデオカメラに限定されるものではなく、動画像のノイズ除去を行うテレビ、ビデオレコーダまたはビデオカメラ等の民生用映像機器に適用可能である。

本発明による動画像ノイズ除去装置を３次元ノイズリダクション部としたときの実施の形態を示す機能ブロック図。 図１に示した３次元ノイズリダクション部をデジタルビデオカメラに組み込んだときの実施の形態を示す機能ブロック図。 図１に示した３次元ノイズリダクション部における輝度変化を判定する形状判定部および相関判定部の概略を示したブロック図。 図１に示した３次元ノイズリダクション部において前後２画素を使って評価する場合のブロック図。 図１に示した３次元ノイズリダクション部において前後３画素を使って評価する場合のブロック図。 前後２画素を使って評価した場合におけるノイズが無いと判断される場合を示した輝度変化の模式図。 前後２画素を使って評価した場合におけるノイズがあると判断される場合を示した輝度変化の模式図。 ２つのフレーム間の二次元画素データを使って評価する場合を示したものであり、形状が変わった（ノイズではない）、形状の相関関係がありノイズ無し、または形状の相関関係はあるがノイズがある場合の具体例の説明図。 オリジナルである入力画像、従来技術における３次元ノイズリダクションを行った場合、本実施の形態における３次元ノイズリダクションを行ったノイズが無い場合のそれぞれの動作例を示したグラフ。 オリジナルである入力画像、従来技術における３次元ノイズリダクションを行った場合、本実施の形態における３次元ノイズリダクションを行ったノイズがあった場合のそれぞれの動作例を示したグラフ。 従来技術における３次元ノイズリダクションの機能ブロック図。

符号の説明

１０ 撮像部
１２ カメラ信号処理部
１４、１５、１７ ３次元ノイズリダクション部
１６ ビデオエンコーダ
１８ ＳＤＲＡＭコントローラ
２０ ＳＤＲＡＭ
２２ マイク
２４ オーディオエンコーダ
２６ ストリーム多重化部
２８ 記録メディアインターフェイス
１４０ 画像入力部
１４２、１４８ 分回路
１４４ イズ判定部
１４６ 分器
１５０ レームメモリ
１５２ 像出力部
１５４ａ、１５４ｂ 延回路
１５６ａ、１５６ｂ 状判定部
１５８ 関判定部

Claims (7)

1. 第1の画像とこの第1の画像と異なるフレームの第２の画像を入力し、前記第１の画像と前記第２の画像間の差分を抽出する第１の差分画像出力手段と、
   前記第１の差分画像出力手段により抽出された前記画像間の差分より、ノイズか否かの判定を行い、ノイズと判定した場合には前記第１の画像からノイズ部分を打ち消す信号を出力するノイズ判定手段と、
   前記第１の画像の対象画素と周辺画素により形状判定するとともに、前記第２の画像の対象画素と周辺画素により形状を判定し、前記第1の画像の形状と前記第２の画像の形状とを出力する形状判定手段と、
   前記形状判定手段より前記第１の画像の形状と前記第２の画像の形状とを入力し、前記第１の画像の形状と前記第２の画像の形状を元に前記第１の画像と前記第２の画像との相関関係とノイズの有無を判定して重み付け信号を出力する相関判定手段と、
   前記ノイズ判定手段から前記ノイズ部分を打ち消す信号を入力するとともに、前記相関判定手段より重み付け信号を入力し、前記打ち消す信号と前記重み付け信号を演算した信号を出力する演算手段と、
   前記第１の画像と前記演算手段から出力された信号とを入力し、前記第１の画像と前記演算手段から出力された信号の差分をとることでノイズ除去した画像を出力する第２の差分画像出力手段とを有し、
   前記第１の画像と前記第２の画像との相関関係と前記第１の画像のノイズの有無の判定は、ラインメモリを用いた二次元画素データの周辺部の画素の差分比率により前記第１の画像と前記第２の画像の相関関係を求め、中心部の画素の差分比率により前記第１の画像のノイズの有無を判定することを特徴とする動画像ノイズ除去装置。
2. 請求項１に記載の動画像ノイズ除去装置において、前記形状判定手段は、前記第１の画像の対象画素と周辺画素の差分、前記第２の画像の対象画素と周辺画素の差分により形状判定することを特徴とする動画像ノイズ除去装置。
3. 請求項１に記載の動画像ノイズ除去装置において、前記相関判定手段は、連続した５画素以上を用いて前後２画素の差分値を求め、隣り合う前記画素の差分値を増加関数に、前記隣り合う画素の差分値より離れた前記画素の差分値を減少関数に代入して演算することにより、周辺と中心部に分けて評価し、輝度の変化かノイズかを判断することにより、前記第１の画像と前記第２の画像との相関関係とノイズの有無を判定することを特徴とする動画像ノイズ除去装置。
4. 請求項１に記載の動画像ノイズ除去装置において、前記相関判定手段は、ラインメモリを用いた二次元画素データの周辺部の画素の差分比率により相関関係を求め、中心部の画素の差分比率によりノイズの有無を判定することで、前記第１の画像と前記第２の画像との相関関係とノイズの有無を判定することを特徴とする動画像ノイズ除去装置。
5. 第1の画像とこの第1の画像と異なるフレームの第２の画像を入力して前記第1の画像と第２の画像間の差分を抽出し、
   前記抽出した差分結果よりノイズ判定して前記第１の画像からノイズ除去する値を求め、
   同時に前記第１の画像の対象画素と周辺画素により第１の画像を形状判定するとともに、前記第２の画像の対象画素と周辺画素により第２の画像を形状判定し、
   前記第１の画像の形状判定と前記第２の画像の形状判定の結果を元に第１の画像と第２の画像との相関関係とノイズの有無を判定して重み付けを行い、
   前記重み付けに応じて前記第１の画像からノイズ除去する値を調整し、
   前記第１の画像と前記第２の画像との相関関係と前記第１の画像のノイズの有無の判定は、ラインメモリを用いた二次元画素データの周辺部の画素の差分比率により前記第１の画像と前記第２の画像の相関関係を求め、中心部の画素の差分比率により前記第１の画像のノイズの有無を判定することを特徴とする動画像ノイズ除去方法。
6. 請求項５に記載の動画像ノイズ除去方法において、前記形状判定は、前記第１の画像の対象画素と周辺画素の差分、前記第２の画像の対象画素と周辺画素の差分により形状判定することを特徴とする動画像ノイズ除去方法。
7. 請求項５に記載の動画像ノイズ除去方法において、前記第１の画像と前記第２の画像との相関関係と前記第１の画像のノイズの有無の判定は、連続した５画素以上を用い、周辺部の画素の差分比率により前記第１の画像と前記第２の画像の相関関係を求め、中心部の画素の差分比率により前記第１の画像のノイズの有無を判定することを特徴とする動画像ノイズ除去方法。

Images