JP3818044B2 - ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 - Google Patents
ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3818044B2 JP3818044B2 JP2000318465A JP2000318465A JP3818044B2 JP 3818044 B2 JP3818044 B2 JP 3818044B2 JP 2000318465 A JP2000318465 A JP 2000318465A JP 2000318465 A JP2000318465 A JP 2000318465A JP 3818044 B2 JP3818044 B2 JP 3818044B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- noise
- value
- candidate
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000003708 edge detection Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 2
- 239000000428 dust Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
Images
Landscapes
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像中に含まれるノイズ領域を検出し、除去するノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
ディジタル画像におけるノイズとは、一般的に画像中に記録されている対象物や背景領域に含まれている周囲画素とは大きく異なる画素値を持った画素のことである。このようなノイズは、画像中にランダムに、しかも広範囲に分散して存在することがある。ディジタル画像処理におけるノイズ除去処理とは、このような画素を原画像から除去するものであり、例えば３次元ノイズフィルタなどのローパスフィルタを用いて除去する方法がある。このような３次元ノイズフィルタはランダムノイズの低減に効果を発揮する一方で、より強い効果を得るためには時間空間方向のローパスフィルタを強くかける必要がある。これによって、原画像がもっていた周波数帯域を制限することになり、画像がぼけて原画像の鮮鋭感が失われてしまう。
【０００３】
今日、ＤＶＤやディジタル放送をはじめとする高Ｓ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）のディジタル画像の普及によって、以前ほどノイズフィルタの重要性は失われてきた。しかし、映画などのフィルムからディジタル画像を作成するような場合、フィルムに付着した埃や塵がそのままディジタル画像に記録され、それらがノイズとなってディジタル画像に記録されたままになってしまう。このよううな埃や塵が原因のノイズの特徴としては、動画像のフレーム間の相関が小さい、ノイズ部分の画像濃度は同レベルになりやすい等の特徴がある。上述したような従来のノイズ除去処理は、広範囲に分散した１から数画素程度の小さなランダムノイズを対象にしている。フィルム等からディジタル画像を作成する際に、フィルムに物理的に付着していた埃や塵等が同時に記録されてノイズとなったようなものは数画素から十数画素程度の領域を持つことになるので、従来のノイズ除去方法によって除去することは難しい。
【０００４】
【発明が解決しようとする課題】
この発明は、このような事情を考慮してなされたもので、従来のランダムノイズを対象にしたノイズフィルタよりもノイズ除去の効果が大きく、かつ、画像の周波数帯域を制限することがないノイズ検出装置及び方法並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段と、前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定するエッジ検出手段と、前記エッジ検出手段によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する画素レベル判定手段と、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定するノイズ判定手段とを有することを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える置換手段を有することを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記画素レベル判定手段は、２種類のしきい値を記憶する記憶手段と、前記エッジ検出手段によってエッジとみなされた部分と同位置の原フレーム画像の各画素値と第１のしきい値とを比較する第１の比較手段と、前記第１の比較手段における同じ画素の画素値と前後フレームの同位置における画素値との差分と第２のしきい値とを比較する第２の比較手段と、前記第１の比較手段における同じ位置の画素の上下左右画素のいずれかの画素値と前後フレーム画像における同位置の画素値との差分と前記第２のしきい値との大きさを比較する第３の比較手段とを有することを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の発明において、前記ノイズ判定手段は、３種類のしきい値を記憶する記憶手段と、孤立するノイズ候補画素を除去してフレームの１走査線ごとに隣接するノイズ候補画素を統合してノイズ領域候補とする統合手段と、ノイズ領域候補内の画素値の分散値と第１のしきい値を比較する第１の比較手段と、ノイズ候補領域外の左右のある大きさの領域の画素値の平均値の差分を比較する第２の比較手段と、前記第２の比較手段におけるノイズ候補領域部分の左右の領域の画素値の分散値と第３のしきい値を比較する第３の比較手段とを有することを特徴とする。
【０００９】
請求項５に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出し、読み出したフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定し、検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定し、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定することを特徴とする。
【００１０】
請求項６に記載の発明は、請求項５に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換えることを特徴とする。
【００１１】
請求項７に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出す第１の処理と、前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定する第２の処理と、前記第２の処理によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する第３の処理と、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定する第４の処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００１２】
請求項８に記載の発明は、請求項７に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える処理を含むことを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態によるノイズ除去装置の構成を示すブロック図である。図１において、画像記憶手段１１は、映画フィルム等をディジタル化することにより得られた動画像を記憶したり、ノイズ除去処理過程で得られる画像等を一時的に記憶する部分である。画像記憶手段１１に相当するものとして、例えば、端末装置のメモリやハードディスクなどがある。
【００１４】
エッジ検出手段１２は、しきい値を記憶する記憶手段と、画像記憶手段１１から処理対象のフレーム画像を読み出してＳｏｂｅｌフィルタ等のハイパスフィルタを適用する制御手段と、ハイパスフィルタ適用後の画像の各画素値の絶対値としきい値との大きさを比較することにより画像中のエッジを判定する判定手段とを有する。
【００１５】
画素レベル判定手段１３は、２種類のしきい値を記憶する記憶手段と、３つの比較手段を有する。第１の比較手段は、エッジ検出手段１２によってエッジとみなされた部分と同位置の原フレーム画像の各画素値と第１のしきい値を比較する。第２の比較手段は、第１の比較手段における同じ画素の画素値と注目フレームの前後フレームの同位置における画素値との差分と第２のしきい値との大きさを比較する。第３の比較手段は、第１の比較手段における同じ位置の画素の上下左右画素のいずれかの画素値と前後フレーム画像における同位置の画素値との差分と第２のしきい値との大きさを比較する。
【００１６】
ノイズ判定手段１４は、３種類のしきい値を記憶する記憶手段と、孤立するノイズ候補画素を除去し、フレームの１走査線ごとに隣接するノイズ候補画素を統合してノイズ領域候補とする統合手段と、３つの比較手段とを有する。第１の比較手段は、ノイズ領域候補内の画素値の分散値と第１のしきい値を比較する。第２の比較手段は、ノイズ候補領域外の左右のある大きさの領域の画素値の平均値の差分を比較する。第３の比較手段は、第２の比較手段におけるノイズ候補領域部分の左右の領域の画素値の分散値と第３のしきい値を比較する。
ノイズ除去手段１５は、ノイズと判定された領域を前後フレームの同じ位置の画素の平均に置き換えることによってノイズを除去する。
【００１７】
次に、この発明の一実施形態によるノイズ除去装置の動作についてフローチャートを用いて説明する。図２は、図１の実施形態におけるノイズ除去装置の処理手順全般に関するフローチャートである。まず、あるフレーム画像についてノイズ除去処理を初めて行う場合は、対象となるフレーム画像を記憶手段１１から読み出し、ノイズを含むと考えられるエッジをエッジ検出手段１２によって検出する。ノイズは、一般に画像中において対象物や背景領域内の画素とは大きく異なる画素値を持つものだからである。そして、以降の処理はエッジ検出手段１２でエッジとみなされた位置の画素のみについて行う（ステップＳ２１）。
【００１８】
ステップＳ２１に示すエッジ検出処理について説明する。図３は、図１に示す実施形態におけるエッジ検出手段の動作を示すフローチャートである。本エッジ検出のための処理手順は次のステップから成る。
画像記憶手段１１から読み出したあるフレームにおいて左上の画素から順に注目して処理を行う。処理は注目画素とその周辺画素に対して、Ｓｏｂｅｌフィルタに代表されるようなハイパスフィルタを適用して適用後の注目画素の画素値ｘを求める（ステップＳ３１）。求められた画素値ｘの絶対値とあらかじめ記憶させたエッジレベルのしきい値ＥＴＨとを比較する（ステップＳ３２）。
【００１９】
この結果、注目画素の画素値ｘの絶対値がエッジレベルのしきい値ＥＴＨよりも大きい場合は、注目画素をエッジに相当する画素とみなし（ステップＳ３３）、エッジレベルのしきい値ＥＴＨよりも小さい場合は、注目画素はエッジに相当する画素とはみなさない（ステップＳ３４）。
尚、エッジレベルのしきい値ＥＴＨはあらかじめ記憶させておく場合の他に、後から装置の利用者が入力する、あるいは各フレーム画像ごとに計算させることによって決定してもよい。
【００２０】
次に画素レベル判定手段１３においては、ステップＳ２１で検出されたエッジに対して、エッジ画素の上下左右画素の輝度値及び前後フレームにおける前記エッジ画素と同位置の画素の輝度値を比較することによってノイズ候補を判定する（ステップＳ２２）。
ステップＳ２２において条件を満足する場合はステップＳ２３へ進み、条件を満足しない画素についてはノイズではないと判断される（ステップＳ２６）。
【００２１】
ステップＳ２２に示す画素レベル判定処理について説明する。図４は、図１に示す実施形態における画素レベル判定手段の動作に関するフローチャートである。尚、図４のフローチャートにおいて注目画素と近傍領域等の各画素との位置関係は図５に示すように定義する。図５において、ｙ０は現在処理しているフレーム画像における注目画素であり、ｙ０の座標を（ｉ，ｊ）とする。この場合、同フレーム画像中のｙ１は（ｉ，ｊ−１）の位置の画素、ｙ３は（ｉ−１，ｊ）の位置の画素、ｙ５は（ｉ＋１，ｊ）の位置の画素、ｙ７は（ｉ，ｊ＋１）の位置の画素を示す。また、ｙｂは１フレーム前の画像におけるｙ０と同じ位置の画素、ｙｆは１フレーム後の画像におけるｙ０と同じ位置の画素である。
【００２２】
図４のフローチャートにおいて画素レベル判定のための処理手順は次のステップから成る。まず、注目画素ｙ０の画素値Ｎy0が画素レベルしきい値ＤＴＨよりも小さいか否かを判断し（ステップＳ４１）、判断結果がＹＥＳの場合、すなわち輝度が低い場合は、ステップＳ４２へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れている、すなわちノイズではないと判定して終了する（ステップＳ５２）。
【００２３】
次に、ｙ０とｙｆの画素値の差分の絶対値｜Ｎy0ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４２）、判断結果がＹＥＳの場合は、ステップＳ４３へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
また、ｙ０とｙｂの画素値の差分の絶対値｜Ｎy0ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４３）、判断結果がＹＥＳの場合は、ステップＳ４４へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２４】
さらに、ｙ３とｙｂの画素値の差分の絶対値｜Ｎy3ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４４）、判断結果がＹＥＳの場合は、ステップＳ４５へ進む。ＮＯの場合は、ステップＳ４６へ進む。
ｙ３とｙｆの画素値の差分の絶対値｜Ｎy3ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４５）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２５】
ｙ５とｙｂの画素値の差分の絶対値｜Ｎy5ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４６）、判断結果がＹＥＳの場合は、ステップＳ４７へ進む。ＮＯの場合は、ステップＳ４８へ進む。
ｙ５とｙｆの画素値の差分の絶対値｜Ｎy5ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４７）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２６】
ｙ１とｙｂの画素値の差分の絶対値｜Ｎy1ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４８）、判断結果がＹＥＳの場合は、ステップＳ４９へ進む。ＮＯの場合は、ステップＳ５０へ進む。
ｙ１とｙｆの画素値の差分の絶対値｜Ｎy1ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４９）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２７】
ｙ７とｙｂの画素値の差分の絶対値｜Ｎy7ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ５０）、判断結果がＹＥＳの場合は、ステップＳ５１へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
ｙ７とｙｆの画素値の差分の絶対値｜Ｎy7ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ５１）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５２）。ＮＯの場合は、もとの画素値がノイズのレベルと離れていると判定して終了する（ステップ５２）。
【００２８】
さらに、注目フレームの画像において、画像内の全ての画素についてノイズ除去処理が終了しているかどうかを判断する。そして、ノイズ除去処理がすべての画素について終了していれば次のフレームの画像に進み、すべての画素について終了していなければ次の画素を注目画素として次の処理対象画素にする（ステップＳ２３）。
【００２９】
尚、ステップＳ２２において輝度値を用いた比較を行った後に、色差を用いて同様の処理を行うことによって、さらにノイズ候補となる画素を限定する事が可能となる。例えば、８ビットのレベルで表現すると色差成分は、１６進数で８０（１０進数で１２８）付近で輝度信号は１６進数で４０（１０進数で６４）以下で画素レベルを判定する。
また、画像のヒストグラムをとり、輝度成分だと下位数パーセント以下のレベルを黒レベルのしきい値として採用する方法をとれば、画像の内容に合わせて黒レベルを適応的に変化させることができる。
【００３０】
ステップＳ２４に示すノイズ判定に関する処理について説明する。図６は、図１に示す実施形態におけるノイズ判定手段１４の動作を示すフローチャートである。ノイズ判定手段の動作は次のステップから成る。
まず、フレーム画像の各ノイズ候補画素に隣接する上下左右斜めの合計８つの隣接画素内に他のノイズ候補画素があるかどうかを判断し（ステップＳ６０）、判断結果がＹＥＳの場合、すなわち他のノイズ候補画素に隣接している場合は、ステップＳ６１へ進む。ＮＯの場合は、ノイズ候補領域ではない（孤立点である）と判定して終了する（ステップＳ６９）。
【００３１】
次に、フレーム画像の各走査線毎に図７に示すようにノイズ候補領域を作成する。そして、ノイズ候補領域を挟んだ同一の走査線の左右のある一定領域の画素をそれぞれ前サンプル、後サンプルと呼ぶ。尚、これらの前後サンプルを構成する画素数は任意に決めることができる。このようにして作成したノイズ候補領域内の画素値の分散値ｖａｒを計算する（ステップＳ６１）。
分散値ｖａｒが領域の分散のしきい値ＶａｒＴＨよりも小さいかどうかを判断し（ステップＳ６２）、判断結果がＹＥＳの場合は、ステップＳ６３へ進む。ＮＯの場合は、ノイズ領域でないと判定して終了する（ステップＳ６９）。
【００３２】
次に、後サンプルの画素値の平均値ｂｅｘｐを計算し（ステップＳ６３）、前サンプルの画素値の平均値ｆｅｘｐを計算する（ステップＳ６４）。ｆｅｘｐとｂｅｘｐの差分の絶対値｜ｆｅｘｐ−ｂｅｘｐ｜が前後平均値のしきい値ｅｘＴＨよりも小さいか否かを判断し（ステップＳ６５）、判断結果がＹＥＳの場合は、ステップＳ６６に進む。ＮＯの場合はノイズ領域でないと判定して終了する（ステップＳ６９）。
【００３３】
前サンプル及び後サンプルの分散値ＶａｒＳを計算する（ステップＳ６６）。前サンプル及び後サンプルの分散値ＶａｒＳが前後画素の分散のしきい値ＶａｒＳＴＨよりも小さいか否かを判断し（ステップＳ６７）、判断結果がＹＥＳの場合は、ノイズ領域であると判定して終了する。ＮＯの場合はノイズ領域でないと判定して終了する（ステップＳ６９）。尚、上述したＶａｒＴＨ、ｅｘＴＨ、ＶａｒＳＴＨの各しきい値は、あらかじめ記憶させておく他に、後から装置の利用者が入力する、あるいは画像ごとに計算させることによって決定してもよい。
【００３４】
以上の処理によってフレーム画像の各走査線毎にノイズ領域を検出することができる。尚、検出したノイズ領域の大きさについて一定領域以内のものに限定することによって、画像中の横方向に長い線状物体等を誤検出することがなくなる。また、フレーム画像の縦方向に対する同様の処理を上記手順に組み合わせて行ってもよい。ノイズ除去手段１５でノイズ領域であると判断された領域内の画素については、前後フレームの同じ位置の画素の平均値に置き換えることによってノイズ除去処理が終了する。
【００３５】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりノイズ除去処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００３６】
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３８】
【発明の効果】
以上説明したように、この発明によれば、連続フレームの画像を記憶する画像記憶手段から読み出されたフレームの注目する画素及び周辺画素の輝度値からエッジ画素を検出し、エッジ画素の上下左右画素の輝度値等の画素の輝度値からエッジ画素をノイズ候補として判定し、ノイズ候補の画素の周囲に他のノイズ候補の画素が存在する場合について、フレームの各走査線ごとにノイズ領域候補を作成し、その輝度値の分散等からノイズ領域を判定する手段を有するので、従来のランダムノイズを対象にしたノイズフィルタよりもノイズ除去の効果が大きく、かつ、画像の周波数帯域を制限することがないので画像がぼける欠点が生じない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施形態によるノイズ除去装置の構成を示すブロック図である。
【図２】図１の実施形態におけるノイズ除去装置の処理手順全般に関するフローチャートである。
【図３】図１の実施形態におけるエッジ検出手段の動作を示すフローチャートである。
【図４】図１の実施形態における画素レベル判断手段の動作を示すフローチャートである。
【図５】図４の画素レベル判断手段の動作を説明するためのフレームと各画素の位置関係を示す図である。
【図６】図１の実施形態におけるノイズ判定手段の動作を示すフローチャートである。
【図７】図１の実施形態におけるノイズ領域及び前後サンプルを説明するための図である。
【符号の説明】
１１ 画像記憶手段
１２ エッジ検出手段
１３ 画素レベル判定手段
１４ ノイズ領域判定手段
１５ ノイズ除去手段
【発明の属する技術分野】
この発明は、動画像中に含まれるノイズ領域を検出し、除去するノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
ディジタル画像におけるノイズとは、一般的に画像中に記録されている対象物や背景領域に含まれている周囲画素とは大きく異なる画素値を持った画素のことである。このようなノイズは、画像中にランダムに、しかも広範囲に分散して存在することがある。ディジタル画像処理におけるノイズ除去処理とは、このような画素を原画像から除去するものであり、例えば３次元ノイズフィルタなどのローパスフィルタを用いて除去する方法がある。このような３次元ノイズフィルタはランダムノイズの低減に効果を発揮する一方で、より強い効果を得るためには時間空間方向のローパスフィルタを強くかける必要がある。これによって、原画像がもっていた周波数帯域を制限することになり、画像がぼけて原画像の鮮鋭感が失われてしまう。
【０００３】
今日、ＤＶＤやディジタル放送をはじめとする高Ｓ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）のディジタル画像の普及によって、以前ほどノイズフィルタの重要性は失われてきた。しかし、映画などのフィルムからディジタル画像を作成するような場合、フィルムに付着した埃や塵がそのままディジタル画像に記録され、それらがノイズとなってディジタル画像に記録されたままになってしまう。このよううな埃や塵が原因のノイズの特徴としては、動画像のフレーム間の相関が小さい、ノイズ部分の画像濃度は同レベルになりやすい等の特徴がある。上述したような従来のノイズ除去処理は、広範囲に分散した１から数画素程度の小さなランダムノイズを対象にしている。フィルム等からディジタル画像を作成する際に、フィルムに物理的に付着していた埃や塵等が同時に記録されてノイズとなったようなものは数画素から十数画素程度の領域を持つことになるので、従来のノイズ除去方法によって除去することは難しい。
【０００４】
【発明が解決しようとする課題】
この発明は、このような事情を考慮してなされたもので、従来のランダムノイズを対象にしたノイズフィルタよりもノイズ除去の効果が大きく、かつ、画像の周波数帯域を制限することがないノイズ検出装置及び方法並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段と、前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定するエッジ検出手段と、前記エッジ検出手段によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する画素レベル判定手段と、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定するノイズ判定手段とを有することを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える置換手段を有することを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記画素レベル判定手段は、２種類のしきい値を記憶する記憶手段と、前記エッジ検出手段によってエッジとみなされた部分と同位置の原フレーム画像の各画素値と第１のしきい値とを比較する第１の比較手段と、前記第１の比較手段における同じ画素の画素値と前後フレームの同位置における画素値との差分と第２のしきい値とを比較する第２の比較手段と、前記第１の比較手段における同じ位置の画素の上下左右画素のいずれかの画素値と前後フレーム画像における同位置の画素値との差分と前記第２のしきい値との大きさを比較する第３の比較手段とを有することを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の発明において、前記ノイズ判定手段は、３種類のしきい値を記憶する記憶手段と、孤立するノイズ候補画素を除去してフレームの１走査線ごとに隣接するノイズ候補画素を統合してノイズ領域候補とする統合手段と、ノイズ領域候補内の画素値の分散値と第１のしきい値を比較する第１の比較手段と、ノイズ候補領域外の左右のある大きさの領域の画素値の平均値の差分を比較する第２の比較手段と、前記第２の比較手段におけるノイズ候補領域部分の左右の領域の画素値の分散値と第３のしきい値を比較する第３の比較手段とを有することを特徴とする。
【０００９】
請求項５に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出し、読み出したフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定し、検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定し、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定することを特徴とする。
【００１０】
請求項６に記載の発明は、請求項５に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換えることを特徴とする。
【００１１】
請求項７に記載の発明は、映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出す第１の処理と、前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定する第２の処理と、前記第２の処理によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する第３の処理と、前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定する第４の処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００１２】
請求項８に記載の発明は、請求項７に記載の発明において、前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える処理を含むことを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態によるノイズ除去装置の構成を示すブロック図である。図１において、画像記憶手段１１は、映画フィルム等をディジタル化することにより得られた動画像を記憶したり、ノイズ除去処理過程で得られる画像等を一時的に記憶する部分である。画像記憶手段１１に相当するものとして、例えば、端末装置のメモリやハードディスクなどがある。
【００１４】
エッジ検出手段１２は、しきい値を記憶する記憶手段と、画像記憶手段１１から処理対象のフレーム画像を読み出してＳｏｂｅｌフィルタ等のハイパスフィルタを適用する制御手段と、ハイパスフィルタ適用後の画像の各画素値の絶対値としきい値との大きさを比較することにより画像中のエッジを判定する判定手段とを有する。
【００１５】
画素レベル判定手段１３は、２種類のしきい値を記憶する記憶手段と、３つの比較手段を有する。第１の比較手段は、エッジ検出手段１２によってエッジとみなされた部分と同位置の原フレーム画像の各画素値と第１のしきい値を比較する。第２の比較手段は、第１の比較手段における同じ画素の画素値と注目フレームの前後フレームの同位置における画素値との差分と第２のしきい値との大きさを比較する。第３の比較手段は、第１の比較手段における同じ位置の画素の上下左右画素のいずれかの画素値と前後フレーム画像における同位置の画素値との差分と第２のしきい値との大きさを比較する。
【００１６】
ノイズ判定手段１４は、３種類のしきい値を記憶する記憶手段と、孤立するノイズ候補画素を除去し、フレームの１走査線ごとに隣接するノイズ候補画素を統合してノイズ領域候補とする統合手段と、３つの比較手段とを有する。第１の比較手段は、ノイズ領域候補内の画素値の分散値と第１のしきい値を比較する。第２の比較手段は、ノイズ候補領域外の左右のある大きさの領域の画素値の平均値の差分を比較する。第３の比較手段は、第２の比較手段におけるノイズ候補領域部分の左右の領域の画素値の分散値と第３のしきい値を比較する。
ノイズ除去手段１５は、ノイズと判定された領域を前後フレームの同じ位置の画素の平均に置き換えることによってノイズを除去する。
【００１７】
次に、この発明の一実施形態によるノイズ除去装置の動作についてフローチャートを用いて説明する。図２は、図１の実施形態におけるノイズ除去装置の処理手順全般に関するフローチャートである。まず、あるフレーム画像についてノイズ除去処理を初めて行う場合は、対象となるフレーム画像を記憶手段１１から読み出し、ノイズを含むと考えられるエッジをエッジ検出手段１２によって検出する。ノイズは、一般に画像中において対象物や背景領域内の画素とは大きく異なる画素値を持つものだからである。そして、以降の処理はエッジ検出手段１２でエッジとみなされた位置の画素のみについて行う（ステップＳ２１）。
【００１８】
ステップＳ２１に示すエッジ検出処理について説明する。図３は、図１に示す実施形態におけるエッジ検出手段の動作を示すフローチャートである。本エッジ検出のための処理手順は次のステップから成る。
画像記憶手段１１から読み出したあるフレームにおいて左上の画素から順に注目して処理を行う。処理は注目画素とその周辺画素に対して、Ｓｏｂｅｌフィルタに代表されるようなハイパスフィルタを適用して適用後の注目画素の画素値ｘを求める（ステップＳ３１）。求められた画素値ｘの絶対値とあらかじめ記憶させたエッジレベルのしきい値ＥＴＨとを比較する（ステップＳ３２）。
【００１９】
この結果、注目画素の画素値ｘの絶対値がエッジレベルのしきい値ＥＴＨよりも大きい場合は、注目画素をエッジに相当する画素とみなし（ステップＳ３３）、エッジレベルのしきい値ＥＴＨよりも小さい場合は、注目画素はエッジに相当する画素とはみなさない（ステップＳ３４）。
尚、エッジレベルのしきい値ＥＴＨはあらかじめ記憶させておく場合の他に、後から装置の利用者が入力する、あるいは各フレーム画像ごとに計算させることによって決定してもよい。
【００２０】
次に画素レベル判定手段１３においては、ステップＳ２１で検出されたエッジに対して、エッジ画素の上下左右画素の輝度値及び前後フレームにおける前記エッジ画素と同位置の画素の輝度値を比較することによってノイズ候補を判定する（ステップＳ２２）。
ステップＳ２２において条件を満足する場合はステップＳ２３へ進み、条件を満足しない画素についてはノイズではないと判断される（ステップＳ２６）。
【００２１】
ステップＳ２２に示す画素レベル判定処理について説明する。図４は、図１に示す実施形態における画素レベル判定手段の動作に関するフローチャートである。尚、図４のフローチャートにおいて注目画素と近傍領域等の各画素との位置関係は図５に示すように定義する。図５において、ｙ０は現在処理しているフレーム画像における注目画素であり、ｙ０の座標を（ｉ，ｊ）とする。この場合、同フレーム画像中のｙ１は（ｉ，ｊ−１）の位置の画素、ｙ３は（ｉ−１，ｊ）の位置の画素、ｙ５は（ｉ＋１，ｊ）の位置の画素、ｙ７は（ｉ，ｊ＋１）の位置の画素を示す。また、ｙｂは１フレーム前の画像におけるｙ０と同じ位置の画素、ｙｆは１フレーム後の画像におけるｙ０と同じ位置の画素である。
【００２２】
図４のフローチャートにおいて画素レベル判定のための処理手順は次のステップから成る。まず、注目画素ｙ０の画素値Ｎy0が画素レベルしきい値ＤＴＨよりも小さいか否かを判断し（ステップＳ４１）、判断結果がＹＥＳの場合、すなわち輝度が低い場合は、ステップＳ４２へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れている、すなわちノイズではないと判定して終了する（ステップＳ５２）。
【００２３】
次に、ｙ０とｙｆの画素値の差分の絶対値｜Ｎy0ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４２）、判断結果がＹＥＳの場合は、ステップＳ４３へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
また、ｙ０とｙｂの画素値の差分の絶対値｜Ｎy0ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４３）、判断結果がＹＥＳの場合は、ステップＳ４４へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２４】
さらに、ｙ３とｙｂの画素値の差分の絶対値｜Ｎy3ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４４）、判断結果がＹＥＳの場合は、ステップＳ４５へ進む。ＮＯの場合は、ステップＳ４６へ進む。
ｙ３とｙｆの画素値の差分の絶対値｜Ｎy3ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４５）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２５】
ｙ５とｙｂの画素値の差分の絶対値｜Ｎy5ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４６）、判断結果がＹＥＳの場合は、ステップＳ４７へ進む。ＮＯの場合は、ステップＳ４８へ進む。
ｙ５とｙｆの画素値の差分の絶対値｜Ｎy5ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４７）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２６】
ｙ１とｙｂの画素値の差分の絶対値｜Ｎy1ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４８）、判断結果がＹＥＳの場合は、ステップＳ４９へ進む。ＮＯの場合は、ステップＳ５０へ進む。
ｙ１とｙｆの画素値の差分の絶対値｜Ｎy1ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ４９）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５３）。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
【００２７】
ｙ７とｙｂの画素値の差分の絶対値｜Ｎy7ーＮyb｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ５０）、判断結果がＹＥＳの場合は、ステップＳ５１へ進む。ＮＯの場合は、もとの画素値がノイズレベルと離れていると判定して終了する（ステップＳ５２）。
ｙ７とｙｆの画素値の差分の絶対値｜Ｎy7ーＮyf｜がフレーム間差分しきい値ＤＴＨ２よりも大きいか否かを判断し（ステップＳ５１）、判断結果がＹＥＳの場合は、もとの画素値がノイズのレベルに近いと判定して終了する（ステップＳ５２）。ＮＯの場合は、もとの画素値がノイズのレベルと離れていると判定して終了する（ステップ５２）。
【００２８】
さらに、注目フレームの画像において、画像内の全ての画素についてノイズ除去処理が終了しているかどうかを判断する。そして、ノイズ除去処理がすべての画素について終了していれば次のフレームの画像に進み、すべての画素について終了していなければ次の画素を注目画素として次の処理対象画素にする（ステップＳ２３）。
【００２９】
尚、ステップＳ２２において輝度値を用いた比較を行った後に、色差を用いて同様の処理を行うことによって、さらにノイズ候補となる画素を限定する事が可能となる。例えば、８ビットのレベルで表現すると色差成分は、１６進数で８０（１０進数で１２８）付近で輝度信号は１６進数で４０（１０進数で６４）以下で画素レベルを判定する。
また、画像のヒストグラムをとり、輝度成分だと下位数パーセント以下のレベルを黒レベルのしきい値として採用する方法をとれば、画像の内容に合わせて黒レベルを適応的に変化させることができる。
【００３０】
ステップＳ２４に示すノイズ判定に関する処理について説明する。図６は、図１に示す実施形態におけるノイズ判定手段１４の動作を示すフローチャートである。ノイズ判定手段の動作は次のステップから成る。
まず、フレーム画像の各ノイズ候補画素に隣接する上下左右斜めの合計８つの隣接画素内に他のノイズ候補画素があるかどうかを判断し（ステップＳ６０）、判断結果がＹＥＳの場合、すなわち他のノイズ候補画素に隣接している場合は、ステップＳ６１へ進む。ＮＯの場合は、ノイズ候補領域ではない（孤立点である）と判定して終了する（ステップＳ６９）。
【００３１】
次に、フレーム画像の各走査線毎に図７に示すようにノイズ候補領域を作成する。そして、ノイズ候補領域を挟んだ同一の走査線の左右のある一定領域の画素をそれぞれ前サンプル、後サンプルと呼ぶ。尚、これらの前後サンプルを構成する画素数は任意に決めることができる。このようにして作成したノイズ候補領域内の画素値の分散値ｖａｒを計算する（ステップＳ６１）。
分散値ｖａｒが領域の分散のしきい値ＶａｒＴＨよりも小さいかどうかを判断し（ステップＳ６２）、判断結果がＹＥＳの場合は、ステップＳ６３へ進む。ＮＯの場合は、ノイズ領域でないと判定して終了する（ステップＳ６９）。
【００３２】
次に、後サンプルの画素値の平均値ｂｅｘｐを計算し（ステップＳ６３）、前サンプルの画素値の平均値ｆｅｘｐを計算する（ステップＳ６４）。ｆｅｘｐとｂｅｘｐの差分の絶対値｜ｆｅｘｐ−ｂｅｘｐ｜が前後平均値のしきい値ｅｘＴＨよりも小さいか否かを判断し（ステップＳ６５）、判断結果がＹＥＳの場合は、ステップＳ６６に進む。ＮＯの場合はノイズ領域でないと判定して終了する（ステップＳ６９）。
【００３３】
前サンプル及び後サンプルの分散値ＶａｒＳを計算する（ステップＳ６６）。前サンプル及び後サンプルの分散値ＶａｒＳが前後画素の分散のしきい値ＶａｒＳＴＨよりも小さいか否かを判断し（ステップＳ６７）、判断結果がＹＥＳの場合は、ノイズ領域であると判定して終了する。ＮＯの場合はノイズ領域でないと判定して終了する（ステップＳ６９）。尚、上述したＶａｒＴＨ、ｅｘＴＨ、ＶａｒＳＴＨの各しきい値は、あらかじめ記憶させておく他に、後から装置の利用者が入力する、あるいは画像ごとに計算させることによって決定してもよい。
【００３４】
以上の処理によってフレーム画像の各走査線毎にノイズ領域を検出することができる。尚、検出したノイズ領域の大きさについて一定領域以内のものに限定することによって、画像中の横方向に長い線状物体等を誤検出することがなくなる。また、フレーム画像の縦方向に対する同様の処理を上記手順に組み合わせて行ってもよい。ノイズ除去手段１５でノイズ領域であると判断された領域内の画素については、前後フレームの同じ位置の画素の平均値に置き換えることによってノイズ除去処理が終了する。
【００３５】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりノイズ除去処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００３６】
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３８】
【発明の効果】
以上説明したように、この発明によれば、連続フレームの画像を記憶する画像記憶手段から読み出されたフレームの注目する画素及び周辺画素の輝度値からエッジ画素を検出し、エッジ画素の上下左右画素の輝度値等の画素の輝度値からエッジ画素をノイズ候補として判定し、ノイズ候補の画素の周囲に他のノイズ候補の画素が存在する場合について、フレームの各走査線ごとにノイズ領域候補を作成し、その輝度値の分散等からノイズ領域を判定する手段を有するので、従来のランダムノイズを対象にしたノイズフィルタよりもノイズ除去の効果が大きく、かつ、画像の周波数帯域を制限することがないので画像がぼける欠点が生じない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施形態によるノイズ除去装置の構成を示すブロック図である。
【図２】図１の実施形態におけるノイズ除去装置の処理手順全般に関するフローチャートである。
【図３】図１の実施形態におけるエッジ検出手段の動作を示すフローチャートである。
【図４】図１の実施形態における画素レベル判断手段の動作を示すフローチャートである。
【図５】図４の画素レベル判断手段の動作を説明するためのフレームと各画素の位置関係を示す図である。
【図６】図１の実施形態におけるノイズ判定手段の動作を示すフローチャートである。
【図７】図１の実施形態におけるノイズ領域及び前後サンプルを説明するための図である。
【符号の説明】
１１ 画像記憶手段
１２ エッジ検出手段
１３ 画素レベル判定手段
１４ ノイズ領域判定手段
１５ ノイズ除去手段
Claims (8)
- 映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段と、
前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定するエッジ検出手段と、
前記エッジ検出手段によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する画素レベル判定手段と、
前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定するノイズ判定手段と
を有することを特徴とするノイズ除去装置。 - 前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える置換手段を有することを特徴とする請求項１に記載のノイズ除去装置。
- 前記画素レベル判定手段は、２種類のしきい値を記憶する記憶手段と、
前記エッジ検出手段によってエッジとみなされた部分と同位置の原フレーム画像の各画素値と第１のしきい値とを比較する第１の比較手段と、
前記第１の比較手段における同じ画素の画素値と前後フレームの同位置における画素値との差分と第２のしきい値とを比較する第２の比較手段と、
前記第１の比較手段における同じ位置の画素の上下左右画素のいずれかの画素値と前後フレーム画像における同位置の画素値との差分と前記第２のしきい値との大きさを比較する第３の比較手段と
を有することを特徴とする請求項１または２に記載のノイズ除去装置。 - 前記ノイズ判定手段は、３種類のしきい値を記憶する記憶手段と、
孤立するノイズ候補画素を除去してフレームの１走査線ごとに隣接するノイズ候補画素を統合してノイズ領域候補とする統合手段と、
ノイズ領域候補内の画素値の分散値と第１のしきい値を比較する第１の比較手段と、
ノイズ候補領域外の左右のある大きさの領域の画素値の平均値の差分を比較する第２の比較手段と、
前記第２の比較手段におけるノイズ候補領域部分の左右の領域の画素値の分散値と第３のしきい値を比較する第３の比較手段と
を有することを特徴とする請求項１ないし３のいずれかに記載のノイズ除去装置。 - 映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出し、
読み出したフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定し、
検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定し、
前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定することを特徴とするノイズ除去方法。 - 前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換えることを特徴とする請求項５に記載のノイズ除去方法。
- 映画フィルム等をディジタル化した連続フレームの画像を記憶する画像記憶手段からフレームを読み出す第１の処理と、
前記画像記憶手段から読み出されたフレームの対象画素とその画素の周辺画素の輝度差から前記対象画素がエッジ画素であるか否かを判定する第２の処理と、
前記第２の処理によって検出されたエッジ画素の上下左右画素の輝度値と、前後フレームにおける前記エッジ画素と同位置の画素の輝度値との比較結果に基づいて前記エッジ画素がノイズ候補であるか否かを判定する第３の処理と、
前記フレームの各走査線ごとに隣接する前記ノイズ候補を統合してノイズ領域候補を作成し、前記ノイズ領域候補の各画素の輝度のばらつきと前記ノイズ領域候補の前後に隣接する一定領域の各画素の輝度値のばらつきとに基づいて前記ノイズ領域候補がノイズ領域であるか否かを判定する第４の処理と
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記ノイズ領域内の各画素値を前記前後のフレーム内の同位置の画素の画素値の平均値に置き換える処理を含むことを特徴とする請求項７に記載のコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318465A JP3818044B2 (ja) | 2000-10-18 | 2000-10-18 | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318465A JP3818044B2 (ja) | 2000-10-18 | 2000-10-18 | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002135623A JP2002135623A (ja) | 2002-05-10 |
| JP2002135623A5 JP2002135623A5 (ja) | 2005-05-12 |
| JP3818044B2 true JP3818044B2 (ja) | 2006-09-06 |
Family
ID=18797087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000318465A Expired - Fee Related JP3818044B2 (ja) | 2000-10-18 | 2000-10-18 | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3818044B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4599279B2 (ja) * | 2005-11-24 | 2010-12-15 | 富士フイルム株式会社 | ノイズリダクション装置及びノイズリダクション方法 |
| CN101115132B (zh) * | 2006-07-24 | 2011-08-03 | 致伸科技股份有限公司 | 获得高信噪比图像的方法 |
| KR100799834B1 (ko) * | 2006-09-27 | 2008-01-31 | 삼성전기주식회사 | 노이즈 특성이 개선된 영상 프레임 획득방법 |
| JP4337857B2 (ja) | 2006-09-28 | 2009-09-30 | ソニー株式会社 | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 |
| US8264591B2 (en) * | 2007-10-22 | 2012-09-11 | Candela Microsystems (S) Pte. Ltd. | Method and system for generating focus signal |
| KR101812341B1 (ko) * | 2011-06-24 | 2017-12-26 | 엘지이노텍 주식회사 | 이미지의 에지 향상 방법 |
| JP5724859B2 (ja) * | 2011-12-06 | 2015-05-27 | 株式会社デンソー | 画像処理装置 |
| JP6543025B2 (ja) * | 2014-09-12 | 2019-07-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2000
- 2000-10-18 JP JP2000318465A patent/JP3818044B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002135623A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4042563B2 (ja) | 画像ノイズの低減 | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| JP3862140B2 (ja) | ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス | |
| JP4489120B2 (ja) | デジタル映像のアーティファクト削減 | |
| KR100721543B1 (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
| KR20090102610A (ko) | 영상 스케일링 검출 방법 및 장치 | |
| KR100485594B1 (ko) | 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그시스템 | |
| KR100619012B1 (ko) | 링잉 아티팩트 적응 감소 방법 및 장치 | |
| JP4060074B2 (ja) | データ処理方法 | |
| WO2021179826A1 (zh) | 图像处理方法及相关产品 | |
| US6959117B2 (en) | Method and apparatus for deblurring and re-blurring image segments | |
| KR20020000547A (ko) | 노이즈 감소 | |
| JP2003058894A (ja) | ピクセル化された画像をセグメント化するための方法および装置 | |
| JP2001118062A (ja) | ダイナミックレンジ自動圧縮方法 | |
| JPH0622135A (ja) | 画像処理方法 | |
| KR20020053014A (ko) | 데이터 처리 방법 | |
| KR100560027B1 (ko) | 압축 에지 적응형 비디오 및 화상의 샤프닝 및 스캐일링 | |
| KR20010081009A (ko) | 디지털 비디오 화상들에서 블록화 현상들을 식별하는 방법및 디바이스 | |
| JP3818044B2 (ja) | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 | |
| JP2004040247A (ja) | 画像処理装置及びその制御方法 | |
| US20030053140A1 (en) | Method of controlling image reading system and control program thereof | |
| JP5130171B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
| Tenze et al. | Blotches correction and contrast enhancement for old film pictures | |
| US20090086092A1 (en) | Image processing apparatus and image processing method thereof | |
| JP3881455B2 (ja) | 画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040625 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |