JP5576812B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 Download PDF

Info

Publication number
JP5576812B2
JP5576812B2 JP2011031119A JP2011031119A JP5576812B2 JP 5576812 B2 JP5576812 B2 JP 5576812B2 JP 2011031119 A JP2011031119 A JP 2011031119A JP 2011031119 A JP2011031119 A JP 2011031119A JP 5576812 B2 JP5576812 B2 JP 5576812B2
Authority
JP
Japan
Prior art keywords
reference image
image
target pixel
reliability
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011031119A
Other languages
English (en)
Other versions
JP2012170006A (ja
Inventor
英治 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011031119A priority Critical patent/JP5576812B2/ja
Priority to PCT/JP2011/079170 priority patent/WO2012111232A1/ja
Publication of JP2012170006A publication Critical patent/JP2012170006A/ja
Priority to US13/959,320 priority patent/US9167135B2/en
Application granted granted Critical
Publication of JP5576812B2 publication Critical patent/JP5576812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置に関する。
従来の動画像のノイズ除去技術として、巡回型のノイズリダクション技術がある。この技術は、入力フレーム画像と処理済みの前フレーム画像との間で動き補償を行い、各画素に関する動き補償の信頼度を周辺画素の差分量から算出する。信頼度と動き量とノイズ推定量に応じて導出されたブレンド合成比率（混合比率）で、入力フレーム画像（現フレーム）と前フレーム画像は、ブレンド合成される（特許文献１、２参照）。
近年の動画記録の高画素化・高フレームレート化により、画素毎に動き検出することは、回路規模や計算時間が多大となってしまう。一方、離散点での動き検出に基づいて動き補償することで回路規模や計算時間が減少するが、この場合、動き検出に誤差が生じる。また、高速に動き検出できるブロックマッチング法などでは、レンズ歪みやローリングシャッター等の影響により動き検出に誤差が生じる。さらにノイズの影響によっても、動き検出に誤差が生じる。そのため、従来のノイズ除去技術は、ブレンド合成時に残像やアーティファクトが発生しないように、動き補償の信頼度が高いほど程、前フレーム画像の合成比率を高くし、動き補償の信頼度が低いほど、前フレーム画像の合成比率を低くする。なお、動き補償の信頼度は、動き補償した画像間の差分絶対値和（ＳＡＤ）などの相違度の評価値から算出でき、差分絶対値和が小さいほど信頼度は増加し、差分絶対値和が大きいほど信頼度は減少する。
特許第４３２１６２６ 特開２０１０−１４７９８６
しかし、画像中の低、中、高の各コントラスト部分では、同じ動き検出誤差、例えば＋方向０．５ピクセルの動き量又は動きベクトルの誤差があった場合でも、画像間の差分絶対値和（ＳＡＤ）の値に対する誤差の影響が著しく異なる。コントラストが高い部分ほど、誤差の影響で差分絶対値和は大きくなってしまう。そのため、異なるコントラストの部分が密接した被写体の場合、動き検出誤差があると、低中コントラスト部分は、前フレーム画像の合成比率が高くなるようブレンド合成されても、高コントラスト部分は現フレームの合成比率が高くなるようブレンド合成される。
静止物体がパン／チルト撮影される場合において、一様なパンチルトの動き量が変化して、高コントラスト部分に対する低中コントラスト部分の動き検出誤差（即ち動き補償誤差）が＋０．５ピクセルから−０．５ピクセルへ急激に変わる場合がある。この場合、巡回型のノイズリダクションでは、高コントラスト部分は、差分絶対値和（ＳＡＤ）が大きいので誤差がない現フレーム画像の位置にあるために、動画像として見た際に低中コントラスト部は揺れてしまうという問題が発生する。この問題は、ノイズ除去効果を高くするほど、つまり、処理済みの前フレーム画像のブレンド合成比率を高くするほど顕著となる。
本発明は、上記の問題に鑑みて、ブレンド合成比率に対する動き補償誤差の影響がコントラストにより異なることを抑制し、ノイズを除去しつつ揺れの少ない動画像を得ることを目的とする。
本発明のある態様に係る画像処理装置は、基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理装置であって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出部と、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、を備え、前記コントラスト算出部は、前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値を、前記対象画素のコントラストの値として算出する。
本発明の別の態様に係る画像処理方法は、基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理方法であって、前記基準画像と前記参照画像との間の動きベクトルを算出することと、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出することと、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含み、前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値が、前記対象画素のコントラストの値として算出される。
本発明のさらに別の態様に係る画像処理プログラムは、基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理プログラムであって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出手順と、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させ、前記コントラスト算出手順では、前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値を、前記対象画素のコントラストの値として算出する。
本発明によると、参照画像と基準画像の画素を合成する場合、合成比率に対する動き補償誤差の影響がコントラストにより異なることを抑制できる。これにより、ノイズを除去しつつ揺れの少ない動画像を得ることができる。
本発明に係る画像処理装置を示すブロック図である。 本発明に係るブレンド合成処理を示すシーケンス図である。 第一実施形態に係る信頼度算出処理の手順を示すフローチャートである。 （ａ）相違度の補正方法の一例を示す図である。（ｂ）相違度の補正方法の他の一例を示す図である。（ｃ）相違度の補正方法のさらに他の一例を示す図である。 動き補償の信頼度Ｒとブレンド合成比率との関係を示すグラフである。 第二実施形態に係る信頼度算出処理の手順を示すフローチャートである。 第二実施形態に係るコントラスト値と相違度の算出領域サイズを対応付けるテーブルの一例である。 第三実施形態に係る信頼度算出処理の手順を示すフローチャートである。 第三実施形態に係るコントラスト値とローパスフィルタ強度を対応付けるテーブルの一例である。 画像処理プログラムの手順を例示するフローチャートである。
［第一実施形態］
図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。
撮像装置は、撮像部１００と画像処理装置２００とを備える。画像を撮影する撮像部１００は、画像処理装置２００へ画像（画像データ）を入力する画像入力部として機能する。画像処理装置２００は、ノイズを除去した画像を外部へ出力する。
撮像部１００は、撮像光学系、撮像素子、Ａ／Ｄ変換回路などを備える。画像処理装置２００は、動きベクトル算出部１０１（動きベクトル算出手段）、動き補償部１０２（動き補償手段）、コントラスト算出部１０３（コントラスト算出手段）、信頼度算出部１０４（信頼度算出手段）、合成比率算出部１０５（合成比率算出手段）、ブレンド合成部１０６（ブレンド合成手段）を備える。なお、画像処理装置２００の上記の各部（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、画像処理装置２００の上記の各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。
さらに、画像処理装置２００は、フレームメモリ１０７（記憶部）も備える。フレームメモリ１０７は、撮像部１００により撮像されフレームメモリ１０７に出力された現フレーム画像と、ブレンド合成部１０６から出力された前フレーム画像とを画素値データとして保存する。
フレームメモリ１０７に保存された前フレーム画像と現フレーム画像は、動きベクトル算出部１０１に入力され、それぞれ、参照画像と基準画像として使用される。ここで、「前フレーム画像」は、前回の画像処理装置２００の処理で、ブレンド合成部１０６から出力されフレームメモリ１０７に記憶された画像である。「現フレーム画像」は、今回の画像処理装置２００の処理で、ブレンド合成の対象となる撮像部１００で撮像された画像（合成前の画像）である。
動きベクトル算出部１０１は、テンプレートマッチング法などにより、入力された２フレームの画像間の動きベクトルを算出し、動き補償部１０２へ出力する。動き補償部１０２は、参照画像としての前フレーム画像を、基準画像としての現フレーム画像に位置合わせするように動き（位置ずれ）を補償する。さらに、動き補償部１０２は、現フレーム画像の小領域、及び、現フレーム画像に位置合わせした前フレーム画像の小領域を切り出す。前フレーム画像の小領域は、現フレーム画像の小領域に対応し、それぞれ、参照領域と基準領域と呼ばれることがある。動き補償部１０２は、動きベクトルを相殺するように、動きベクトルに基づいて前フレーム画像の小領域の切り出し位置を決定する。小領域は、ブレンド合成の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域である。
フレームメモリ１０７に保存された現フレーム画像（基準画像）の小領域と前フレーム画像（参照画像）の小領域の画素値データは、コントラスト算出部１０３に入力される。コントラスト算出部１０３は、ブレンド合成の対象となる対象画素のコントラスト値ＣＮを算出して、信頼度算出部１０４へと出力する。
信頼度算出部１０４は、現フレーム画像の小領域と前フレーム画像の小領域との間の相違度（ＳＡＤなど）を算出し、さらにコントラスト値ＣＮに応じてこの相違度を補正する。さらに、信頼度算出部１０４は、補正された相違度から動き補償の信頼度Ｒ（即ち、動きベクトルの信頼度Ｒ）を算出して、合成比率算出部１０５へ出力する。
合成比率算出部１０５は、入力された信頼度Ｒに基づいて、現フレーム画像の対象画素（小領域の中心画素）とこれに対応する前フレーム画像の対応画素とのブレンド合成比率を算出し、ブレンド合成部１０６に出力する。前フレーム画像の対応画素の合成比率をαとすると、現フレーム画像の対象画素の合成比率は（１−α）となる。ブレンド合成部１０６は、算出された合成比率によってこれら対象画素と対応画素をブレンド合成して、フレームメモリ１０７に出力して保存する。ブレンド合成として、対象画素と対応画素の合成比率を重みとして、重み付き加算、又は、加重平均が行われる。
その後、全ての対象画素（即ち、現フレーム画像の全画素）に関してブレンド合成が行われた後、フレームメモリ１０７の合成画像は、記録媒体（メモリカード）などに出力され記録されるか、又は、表示部（液晶モニタ等）に出力され表示される。
図２は、第一実施形態に係る処理シーケンス図を示す。複数の画像を連続して撮像する動画撮像の際、一枚目の入力画像は、そのまま出力画像となる。２枚目の入力画像が撮像されたら、保存してある一枚目の出力画像（前フレーム画像）と２枚目の入力画像（現フレーム画像）とが、ブレンド合成され合成画像が生成される。合成画像が２枚目の出力動画像となる。図２に示すように、３枚目の入力画像以降も、２枚目の入力画像と同様にブレンド合成が行われる。
コントラスト算出部１０３におけるコントラスの算出方法について説明する。例えば、コントラスト算出部１０３は、現フレーム画像の輝度のうち、対象画素を含む小領域内での輝度の平均値を求め、その平均値と小領域内の各画素との差分量（差の絶対値）を算出し、その差分量が最大のものを対象画素に関するコントラスト値ＣＮとする。また、例えば、コントラスト算出部１０３は、現フレーム画像の輝度のうち、対象画素を含む小領域内で最も輝度が低い画素値と最も輝度が高い画素値の差を、対象画素に関するコントラスト値ＣＮとしてもよい。これら二つの場合、コントラスト値ＣＮは、０から２５５までの範囲の値としてよい。
さらに、例えば、コントラスト算出部１０３は、現フレーム画像のうち対象画素を含む小領域において、エッジを抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、小領域内の各エッジ量の合計を正規化したものを、対象画素に関するコントラスト値ＣＮとしてもよい。この場合の正規化は、他の手法によるコントラスト値ＣＮと同一の尺度になるように、０から２５５までの範囲の値になるように正規化すればよい。
なお、前述した３つのコントラスト算出方法において、現フレーム画像の輝度が利用されるが、画素の明度を示すような、例えば三原色ＲＧＢのうちのＧの画素値などを利用してもよい。また、現フレーム画像からコントラストを算出するようにしたが、動き補償によって、現フレーム画像（基準画像）の対象画素に対して動き補償によって位置が対応する前フレーム画像の対応画素がわかるため、前フレーム画像の対応画素を含む小領域を利用してコントラストを算出してよい。
図３のフローチャートに、信頼度算出部１０４が実行する信頼度算出処理の手順を示す。フローチャートにおいて、Ｓを付した番号はステップ番号を示す。
まず、Ｓ１１において、信頼度算出部１０４は、フレームメモリ１０７から現フレーム画像の小領域の画素値データと位置合わせにより抽出された前フレーム画像の小領域の画素値データを読み込み、両小領域の相違度として差分の絶対値和（ＳＡＤ）を算出する。代わりに、信頼度算出部１０４は、相違度や類似度が評価できる画素差の二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などで相違度を算出してもよい。
Ｓ１２において、信頼度算出部１０４は、コントラスト値ＣＮと第一の閾値ＴＨ1を比較し、比較結果に応じてＳＡＤ（つまり相違度）を補正する必要があるか否か判断する。コントラスト値ＣＮが第一の閾値ＴＨ1以下である場合、ＳＡＤを補正する必要はない。コントラスト値ＣＮが第一の閾値ＴＨ1より大きい場合、ＳＡＤを補正する必要がある。ＳＡＤを補正する必要がある場合、ルーチンはＳ１３、Ｓ１４に進む。ＳＡＤを補正する必要がない場合、ルーチンはＳ１５に進む。Ｓ１３において、信頼度算出部１０４は、コントラスト値ＣＮに応じてＳＡＤ（相違度）を補正する。補正方法については後述する。
Ｓ１４において、信頼度算出部１０４は、補正されたＳＡＤ（補正後のＳＡＤ）に基づいて、動き補償の信頼度Ｒを算出する。Ｓ１５において、信頼度算出部１０４は、補正しないＳＡＤ（Ｓ１１で計算されたＳＡＤ）に基づいて、動き補償の信頼度Ｒを算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。例えば、信頼度Ｒは、相違度が大きいほど値が小さくなる関数を用いて計算できる。
このように、信頼度算出部１０４は、Ｓ１１−Ｓ１４の信頼度算出処理により、対象画素のコントラストに応じて、信頼度Ｒを算出する。合成比率算出部１０５は、信頼度Ｒに応じて合成比率を計算するため、対象画素のコントラストに応じて合成比率を得ていることになる。
図４（ａ）−（ｃ）を参照して、ＳＡＤ（相違度）の補正方法を説明する。例えば、コントラスト値ＣＮに応じたゲイン値ＧＮが計算され、Ｓ１１で算出されたＳＡＤに補正量としてゲイン値を乗算した値が、補正されたＳＡＤ（補正後のＳＡＤ）になる。或いは、コントラスト値ＣＮに応じたオフセット値ＶＦが計算され、Ｓ１１で算出されたＳＡＤから補正量としてオフセット値を減算した値が、補正されたＳＡＤ（補正後のＳＡＤ）になる。
図４（ａ）の補正例１において、ゲイン値を乗算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ1以下の場合には、ゲイン値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、ゲイン値は１．０であり、これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ1より大きい場合には、コントラスト値ＣＮが高くなるほど、ゲイン値が小さくなる。図４（ａ）のようにゲイン値とコントラスト値を対応付ける関数、マップ又はテーブルにより、ゲイン値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してゲイン値を乗算した値が、補正後のＳＡＤに設定される。
図４（ｂ）の補正例２において、ゲイン値を乗算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ1以下の場合、ゲイン値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、ゲイン値は１．０であり、これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ1から第二の閾値ＴＨ2の範囲内では、コントラスト値ＣＮが高くなるほど、ゲイン値が小さくなる。コントラスト値ＣＮが第二の閾値ＴＨ2以上の場合には、ゲイン値はコントラスト値に依存しない値（第二の補正量）で一定である。図４（ｂ）のようにゲイン値とコントラスト値を対応付ける関数、マップ又はテーブルにより、ゲイン値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してゲイン値を乗算した値が、補正後のＳＡＤに設定される。
図４（ｃ）の補正例３において、オフセット値を減算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ1以下の場合、オフセット値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、コントラスト値は０である。これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ1から第二の閾値ＴＨ2の範囲内では、コントラストが高くなるほど、オフセット値が大きくなる。コントラスト値ＣＮが第二の閾値ＴＨ2以上の場合には、オフセット値はコントラスト値に依存しない値（第二の補正量）で一定である。図４（ｃ）のようにオフセット値とコントラスト値を対応付ける関数、マップ又はテーブルにより、オフセット値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してオフセット値を減算した値が、補正後のＳＡＤに設定される。
なお、第一の閾値ＴＨ1以下のコントラスト値ＣＮでも補正が行われる場合（即ちゲイン値が１．０でない場合やオフセット値が０でない場合）、Ｓ１２、Ｓ１５のステップは省略される。また、補正例１〜３のそれぞれについて、第一の閾値ＴＨ1は異なってよい。補正例２、３のそれぞれについて、第二の閾値ＴＨ2は異なってよい。
図５は、信頼度Ｒとブレンド合成比率との関係を示す。図５に示すように、合成比率算出部１０５は、信頼度Ｒに基づいて、前フレーム画像の対応画素の合成比率αと、現フレーム画像の対象画素の合成比率（１−α）を決定する。図５の実線のように、前フレーム画像の合成比率αは、信頼度Ｒが低いほど小さくなる。図５の破線のように、現フレーム画像の合成比率（１−α）は、信頼度Ｒが低いほど大きくなる。ブレンド合成部１０６は、決定された合成比率で現フレーム画像の対象画素と前フレーム画像の対応画素とをブレンド合成する。ブレンド合成部１０６は、ブレンド合成までの画像処理を現フレーム画像の全画素について施したものを現フレーム画像の出力画像とする。フレームメモリ１０７は、この出力画像を次のフレーム処理で使用する前フレーム画像として保存する。
なお、上記の第一実施形態において、信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出する。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。しかし、代替として、信頼度算出部１０４は、ＳＡＤを補正せず、コントラストとは無関係に信頼度Ｒを算出し、合成比率算出部１０５は、信頼度Ｒから合成比率を算出した後、直接的にコントラスト値ＣＮに応じて合成比率を補正することもできる。また、合成比率は、画素ごとに求めるのではなく、画像の領域ごとに求めることもできる。
（作用効果）
コントラスト算出部１０３は、基準画像（現フレーム画像）の対象画素のコントラストの値を、基準画像または参照画像（前フレーム画像）から算出する。合成比率算出部１０５は、対象画素のコントラストの値に応じて、基準画像の対象画素と、これに対応する動き補償した参照画像の対応画素との合成比率を算出する。ブレンド合成部１０６は、算出した合成比率に基づいて、基準画像の対象画素と参照画像の対応画素をブレンド合成する。このため、合成比率に対する動き補償誤差の影響がコントラストにより異なることを抑制できる。そして、動き補償誤差が生じる動き検出精度においても動画像の揺れを回避しつつノイズを低減することができる。
信頼度算出部１０４は、対象画素のコントラストの値に応じて、対象画素について動き補償の信頼度を算出する。合成比率算出部１０５は、信頼度に応じて合成比率を算出する。従って、コントラストの値に応じた動き補償の信頼度を用いて、合成比率に対する動き補償誤差の影響がコントラストにより異なることを好適に抑制できる。また、例えば、信頼度が低い場合に、参照画像（前フレーム画像）の対応画素の合成比率を低めて、画像処理装置から出力される画像の画質を向上できる。
信頼度算出部１０４は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域との間で相違度を算出し、対象画素のコントラストの値に応じて相違度を小さくするように補正し、補正した相違度が小さいほど信頼度が高くなるように信頼度を計算する。高コントラストの場合に相違度が動き補償誤差に敏感になるが、コントラストの値に応じて補正された相違度に基づいて、信頼度が求められるため、高コントラストの画像領域において、動き補償誤差が合成比率に大きく影響することを抑えられる。
信頼度算出部１０４は、対象画素のコントラストの値が第一の閾値ＴＨ1より高い場合、コントラストの値が高くなるほどより相違度が小さくように補正してよい。これにより、高コントラストの画像領域において、動き補償誤差が合成比率に大きく影響することをより好適に抑えられる。対象画素のコントラスト値が、第一の閾値より大きな第二の閾値ＴＨ2以上である場合、コントラストの値に依存しない補正量で相違度が補正されてよい。これにより、高コントラストの画像領域で過度にＳＡＤが低下して、参照画像（前フレーム画像）の合成比率αが高くなりすぎることが防止できる。
［第二実施形態］
図６のフローチャートに、第二実施形態に係る信頼度算出部１０４が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。第一実施形態では、現フレーム画像の小領域と前フレーム画像の小領域と間の相違度（ＳＡＤなど）を算出し、算出した相違度をコントラスト値に基づいて補正した。しかし、第二実施形態では、信頼度算出部１０４は、算出した相違度を補正しないが、相違度を算出するための算出領域（小領域）のサイズをコントラスト値に応じて変更する。算出領域は、対象画素を中心とする領域である。信頼度算出部１０４は、相違度を算出するために、相互に動き補償によって対応する現フレーム画像（基準画像）の相違度算出領域（基準領域）と前フレーム画像（参照画像）の相違度算出領域（参照領域）を切り出す。
Ｓ２１において、信頼度算出部１０４は、コントラスト算出部１０３によって算出されたコントラス値ＣＮを離散化する。例えば、信頼度算出部１０４は、コントラスト値を一定の値で除算して、小数点以下の端数を切り捨て（又は切り上げ）した値を離散化されたコントラスト値に設定してよい。例えば、コントラスト値の範囲が０から２５５までである場合、コントラスト値は、一定の値６４で除算される。或いは、信頼度算出部１０４は、
ある範囲内のコントラスト値の場合だけ一定の値で除算して離散化し、コントラスト値がその範囲以下の場合とその範囲以上の場合とで区別して、それぞれ定数値を対応付けて離散化しても良い。
Ｓ２２において、信頼度算出部１０４は、相違度を算出するための算出領域のサイズを離散化されたコントラスト値に応じて決定する。これにより、離散化される前の元のコントラスト値のある範囲に対して、一つの算出領域サイズを対応させることになる。コントラスト値が高くなるほど、相違度の算出領域のサイズは大きくなる。なお、算出領域のサイズの決定方法については後述する。
Ｓ２３において、信頼度算出部１０４は、現フレーム画像と前フレーム画像の算出領域に対して、画素値の差分の絶対値和（ＳＡＤ）を相違度として算出する。代わりに、信頼度算出部１０４は、相違度や類似度が評価できる差の二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を相違度として算出しても良い。
Ｓ２４において、信頼度算出部１０４は、算出されたＳＡＤから信頼度Ｒを算出する。なお、和であるＳＡＤは、算出領域のサイズが大きくなるほど大きな値になる傾向があるため、ＳＡＤを算出領域の画素数で除算した値から信頼度Ｒが算出されてよい。ＳＡＤやＳＳＤで相違度を評価する場合、信頼度Ｒは、相違度が小さいほど高く、相違度が大きいほど低くなるように、算出される。信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出することになる。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。
図７は、離散化されたコントラスト値と相違度の算出領域サイズを対応付けるテーブルの一例を示す。図７は、離散化されたコントラストが０から３までの例で、コントラスト値が高くなるほど、相違度の算出領域のサイズは大きくなる。信頼度算出部１０４は、このテーブルを参照して、算出領域サイズを決定する。離散化されたコントラストが０、１、２、３の場合、相違度の算出領域のサイズは、それぞれ３×３ピクセル、５×５ピクセル、７×７ピクセル、９×９ピクセルの領域である。
第二実施形態によると、信頼度算出部は、対象画素のコントラストの値が高くなるほど、基準画像の対象画素を含む基準領域（基準画像の算出領域）と、動き補償した参照画像内で基準領域に対応する参照領域（参照画像の算出領域）のサイズを大きく設定し、基準領域と参照領域との間で相違度を算出する。従って、ノイズや、許容される範囲での動き補償誤差があっても、コントラスト値が高い画像部分でＳＡＤなどの相違度が極端に高くなるのを避けることが可能となる。これにより、高いコントラストの画像部分で、相違度（ひいては信頼度）から算出される合成比率に対する動き補償誤差の影響を抑えることができる。
図８のフローチャートに、第三実施形態に係る信頼度算出部１０４が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。第一実施形態では、現フレーム画像の小領域と前フレーム画像の小領域と間の相違度（ＳＡＤなど）を算出し、算出した相違度をコントラスト値に基づいて補正した。しかし、第三実施形態では、信頼度算出部１０４は、算出した相違度を補正しないが、相違度を算出する前に、高い空間周波数成分を除去するローパスフィルタを現フレーム画像（基準画像）の相違度算出領域（基準領域）と前フレーム画像（参照画像）の相違度算出領域（参照領域）にかける。両算出領域にかけるローパスフィルタの強度は、コントラスト値に応じて変更される。
Ｓ３１において、信頼度算出部１０４は、Ｓ２１と同様に、コントラスト算出部１０３によって算出されたコントラス値ＣＮを離散化する。Ｓ３２において、信頼度算出部１０４は、離散化されたコントラスト値に基づいて相違度の算出領域にかけるローパスフィルタの強度を決定する。これにより、離散化される前の元のコントラスト値のある範囲に対して、一つのローパスフィルタの強度を対応させる。
Ｓ３３において、信頼度算出部１０４は、決定されたローパスフィルタの強度で、前フレーム画像と現フレーム画像のそれぞれの算出領域に対してフィルタ処理を行う。Ｓ３４において、信頼度算出部１０４は、現フレーム画像と前フレーム画像のフィルタ処理後の算出領域に対して、画素値の差分の絶対値和（ＳＡＤ）を相違度として算出する。代わりに、信頼度算出部１０４は、相違度や類似度が評価できる差の２乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を相違度として算出しても良い。
Ｓ３５において、信頼度算出部１０４は、算出されたＳＡＤから信頼度Ｒを算出する。ＳＡＤやＳＳＤで相違度を評価する場合、信頼度Ｒは、相違度が小さいほど高く、相違度が大きいほど低くなるように、算出される。信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出することになる。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。
図９は、離散化されたコントラスト値とローパスフィルタ強度を対応付けるテーブルの一例を示す。図７は、離散化されたコントラストが０から３までの例で、コントラストが高くなるほど、ローパスフィルタの強度は大きくなる。信頼度算出部１０４は、このテーブルを参照して、算出領域サイズを決定する。離散化されたコントラストが０の場合、ローパスフィルタ処理は行われない。離散化されたコントラストが１の場合、ローパスフィルタの強度は弱い。離散化されたコントラストが２の場合、ローパスフィルタの強度は中程度である。離散化されたコントラストが３の場合、ローパスフィルタの強度は強い。
第三実施形態によると、信頼度算出部は、基準画像の対象画素を含む基準領域（基準画像の算出領域）と、動き補償した参照画像内で前記基準領域に対応する参照領域（参照画像の算出領域）にローパスフィルタをかけ、ローパスフィルタをかけた後の基準領域と参照領域との間で相違度を算出する。そして、コントラストの値が高いほどローパスフィルタの強度を強くすることで、ノイズや許容される範囲での動き補償誤差があっても、極端にＳＡＤなどの相違度が高くなるのを避けることが可能となる。これにより、相違度（ひいては信頼度）から算出される合成比率に対する動き補償誤差の影響を抑えることができる。また、ローパスフィルタの強度を変更する構成であるため、実装が容易である。
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
図１０のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムを例示する。ステップＳ１００において、画像処理装置は、メモリカード等の記録媒体に記録された画像データ（動画の各フレーム）を読み取る。図１０のステップＳ１０１―Ｓ１０６で行われる処理は、それぞれ、図１の各部１０１−１０６が行う処理に対応する。
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
１００ 撮像部（画像入力部）
１０１ 動きベクトル算出部
１０２ 動き補償部
１０３ コントラスト算出部
１０４ 信頼度算出部
１０５ 合成比率算出部
１０６ ブレンド合成部
１０７ フレームメモリ
２００ 画像処理装置

Claims (13)

  1. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理装置であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、
    前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出部と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、を備え、
    前記コントラスト算出部は、
    前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値を、前記対象画素のコントラストの値として算出することを特徴とする画像処理装置。
  2. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理装置であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出部と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出部と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、
    を備え、
    前記信頼度算出部は、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度を算出し、
    前記対象画素のコントラストの値に応じて前記算出した相違度を小さくするように補正し、
    前記補正した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    さらに、前記信頼度算出部は、
    前記対象画素のコントラストの値が第一の閾値から第二の閾値の範囲内である場合、前記コントラストの値が高くなるほど相違度がより小さくように補正し、
    前記対象画素のコントラスト値が前記第二の閾値以上である場合、前記コントラストの値に依存しない補正量で相違度を補正することを特徴とする画像処理装置。
  3. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理装置であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出部と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出部と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、
    を備え、
    前記信頼度算出部は、
    前記対象画素のコントラストの値が高くなるほど、前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域のサイズを大きく設定し、
    前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算することを特徴とする画像処理装置。
  4. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理装置であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出部と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出部と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、
    を備え、
    前記信頼度算出部は、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域にローパスフィルタをかけ、
    前記ローパスフィルタをかけた後の前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    前記コントラストの値が高くなるほど前記ローパスフィルタの強度を強くすることを特徴とする画像処理装置。
  5. 請求項１から請求項４のいずれか一つに記載の画像処理装置を備えることを特徴とする撮像装置。
  6. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理方法であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出することと、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、
    前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出することと、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含み、
    前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値が、前記対象画素のコントラストの値として算出されることを特徴とする画像処理方法。
  7. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理方法であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出することと、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出することと、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出することと、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含み、
    前記信頼度を算出することにおいて、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度を算出し、
    前記対象画素のコントラストの値に応じて前記算出した相違度を小さくするように補正し、
    前記補正した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    さらに、前記信頼度を算出することにおいて、
    前記対象画素のコントラストの値が第一の閾値から第二の閾値の範囲内である場合、前記コントラストの値が高くなるほど相違度がより小さくように補正し、
    前記対象画素のコントラスト値が前記第二の閾値以上である場合、前記コントラストの値に依存しない補正量で相違度を補正することを特徴とする画像処理方法。
  8. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理方法であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出することと、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出することと、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出することと、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含み、
    前記信頼度を算出することにおいて、
    前記対象画素のコントラストの値が高くなるほど、前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域のサイズを大きく設定し、
    前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算することを特徴とする画像処理方法。
  9. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理方法であって、
    前記基準画像と前記参照画像との間の動きベクトルを算出することと、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出することと、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出することと、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含み、
    前記信頼度を算出することにおいて、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域にローパスフィルタをかけ、
    前記ローパスフィルタをかけた後の前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    前記コントラストの値が高くなるほど前記ローパスフィルタの強度を強くすることを特徴とする画像処理方法。
  10. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理プログラムであって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、
    前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出手順と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させ、
    前記コントラスト算出手順では、
    前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素との差分の最大値を、前記対象画素のコントラストの値として算出することを特徴とする画像処理プログラム。
  11. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理プログラムであって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出手順と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出手順と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させ、
    前記信頼度算出手順では、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度を算出し、
    前記対象画素のコントラストの値に応じて前記算出した相違度を小さくするように補正し、
    前記補正した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    さらに、前記信頼度算出手順では、
    前記対象画素のコントラストの値が第一の閾値から第二の閾値の範囲内である場合、前記コントラストの値が高くなるほど相違度がより小さくように補正し、
    前記対象画素のコントラスト値が前記第二の閾値以上である場合、前記コントラストの値に依存しない補正量で相違度を補正することを特徴とする画像処理プログラム。
  12. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理プログラムであって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出手順と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出手順と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させ、
    前記信頼度算出手順では、
    前記対象画素のコントラストの値が高くなるほど、前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域のサイズを大きく設定し、
    前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算することを特徴とすることを特徴とする画像処理プログラム。
  13. 基準画像と少なくとも一つの参照画像とを合成してノイズを除去する画像処理プログラムであって、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
    前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
    前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、
    前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出手順と、
    前記対象画素のコントラストの値に応じて算出された前記信頼度に基づいて、前記基準画像の対象画素と、これに対応する前記動き補償した参照画像の対応画素との合成比率を算出する合成比率算出手順と、
    前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させ、
    前記信頼度算出手順では、
    前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域にローパスフィルタをかけ、
    前記ローパスフィルタをかけた後の前記基準領域と前記参照領域との間で相違度を算出し、
    前記算出した相違度が小さいほど前記信頼度が高くなるように前記信頼度を計算し、
    前記コントラストの値が高くなるほど前記ローパスフィルタの強度を強くすることを特徴とする画像処理プログラム。
JP2011031119A 2011-02-16 2011-02-16 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 Active JP5576812B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011031119A JP5576812B2 (ja) 2011-02-16 2011-02-16 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
PCT/JP2011/079170 WO2012111232A1 (ja) 2011-02-16 2011-12-16 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US13/959,320 US9167135B2 (en) 2011-02-16 2013-08-05 Image processing device, image processing method, photographic imaging apparatus, and recording device recording image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011031119A JP5576812B2 (ja) 2011-02-16 2011-02-16 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Publications (2)

Publication Number Publication Date
JP2012170006A JP2012170006A (ja) 2012-09-06
JP5576812B2 true JP5576812B2 (ja) 2014-08-20

Family

ID=46672181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011031119A Active JP5576812B2 (ja) 2011-02-16 2011-02-16 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Country Status (3)

Country Link
US (1) US9167135B2 (ja)
JP (1) JP5576812B2 (ja)
WO (1) WO2012111232A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
JP6017279B2 (ja) * 2012-11-22 2016-10-26 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
JP6160292B2 (ja) * 2013-06-24 2017-07-12 富士通株式会社 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
US9554048B2 (en) * 2013-09-26 2017-01-24 Apple Inc. In-stream rolling shutter compensation
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
JP5968379B2 (ja) * 2013-10-29 2016-08-10 キヤノン株式会社 画像処理装置およびその制御方法
JP6493855B2 (ja) * 2014-02-26 2019-04-03 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
KR101480750B1 (ko) * 2014-06-26 2015-01-12 (주)유디피 모션 검출 장치 및 방법
GB2523253B (en) * 2015-01-23 2017-04-12 Visidon Oy Image processing method
US9466094B1 (en) * 2015-03-26 2016-10-11 Sony Corporation Method to improve video quality under low light conditions
JP6438136B2 (ja) * 2015-06-29 2018-12-12 オリンパス株式会社 画像処理装置、画像処理方法および顕微鏡
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
US10397504B2 (en) * 2017-02-13 2019-08-27 Kidde Technologies, Inc. Correcting lag in imaging devices
JP6932531B2 (ja) * 2017-03-28 2021-09-08 キヤノン株式会社 像ブレ補正装置、撮像装置および撮像装置の制御方法
CN107527360B (zh) * 2017-08-23 2019-05-17 维沃移动通信有限公司 一种图像对齐方法及移动终端
US11227371B2 (en) 2017-12-14 2022-01-18 Nec Corporation Image processing device, image processing method, and image processing program
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4804310B2 (ja) * 2006-11-15 2011-11-02 三洋電機株式会社 撮像装置並びに画像復元方法
JP4321626B2 (ja) 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
JP5255335B2 (ja) * 2008-06-17 2013-08-07 沖電気工業株式会社 バーコード認識装置、及びバーコード認識プログラム
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4645746B2 (ja) 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP2010278701A (ja) * 2009-05-28 2010-12-09 Casio Computer Co Ltd 画像合成装置、画像合成方法及びプログラム

Also Published As

Publication number Publication date
WO2012111232A1 (ja) 2012-08-23
US20130314557A1 (en) 2013-11-28
US9167135B2 (en) 2015-10-20
JP2012170006A (ja) 2012-09-06

Similar Documents

Publication Publication Date Title
JP5576812B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US7916937B2 (en) Image processing device having color shift correcting function, image processing program and electronic camera
US8311282B2 (en) Image processing apparatus, image processing method, and program
RU2527198C2 (ru) Устройство обработки изображения и способ управления устройством обработки изображения
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP6021078B2 (ja) 画像処理装置および画像処理方法
US20100220222A1 (en) Image processing device, image processing method, and recording medium storing image processing program
US10235741B2 (en) Image correction apparatus and image correction method
US8160369B2 (en) Image processing apparatus and method
KR20120027099A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램, 기록 매체 및 집적 회로
US20140125847A1 (en) Image processing apparatus and control method therefor
JP2012231389A (ja) 画像処理装置、画像処理方法、及びプログラム
EP1968308B1 (en) Image processing method, image processing program, image processing device, and imaging device
US8619162B2 (en) Image processing apparatus and method, and image processing program
JP5914843B2 (ja) 画像処理装置及び画像処理方法
JP5841345B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2011055259A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
KR101361114B1 (ko) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2013085044A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
WO2013125198A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2008072428A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP6584173B2 (ja) 画像処理装置及び画像処理方法
JP2009129221A (ja) 画像のぼけ量測定装置、ぼけ量測定方法、および、ぼけ量測定プログラム
JP5506623B2 (ja) 映像処理装置及び映像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140704

R151 Written notification of patent or utility model registration

Ref document number: 5576812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250