JPWO2008102898A1 - 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム - Google Patents
画質改善処理装置、画質改善処理方法及び画質改善処理プログラム Download PDFInfo
- Publication number
- JPWO2008102898A1 JPWO2008102898A1 JP2009500260A JP2009500260A JPWO2008102898A1 JP WO2008102898 A1 JPWO2008102898 A1 JP WO2008102898A1 JP 2009500260 A JP2009500260 A JP 2009500260A JP 2009500260 A JP2009500260 A JP 2009500260A JP WO2008102898 A1 JPWO2008102898 A1 JP WO2008102898A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- quality improvement
- input image
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Abstract
遮蔽領域や位置合わせ誤差が大きい領域を取り除き、画質改善処理に適する画素を選択し、高画質な画像を生成するようにした画質改善処理装置を提供する。基準画像と入力画像との位置合わせ処理を行い、位置合わせ処理済基準画像を生成する手段と、位置合わせ処理済基準画像と入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と入力画像とに基づいて画像合成を行い、画素選択された入力画像を生成する手段と、画素選択された入力画像の画素の明度が対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正し、画素選択及び明度補正された入力画像を生成する手段と、画素選択及び明度補正された入力画像に基づき、画質改善処理を行い、高画質な画像を生成する手段とを備える。
Description
本発明は、画像処理技術に関し、特に、画素選択処理や明度補正処理を利用し、画素選択及び明度補正された画素に基づき、高画質な画像を生成するようにした、画質改善処理装置、画質改善処理方法及び画質改善処理プログラムに関する。
画像処理技術において、複数の入力画像を利用して高画質な画像を生成する画質改善処理がある。「超解像処理」はこのような画質改善処理のひとつである。
超解像処理とは、位置ずれのある複数の低解像度画像を利用して、一つの高解像度画像を推定（再構成）するもので、具体的に、位置ずれのある複数の低解像度画像を位置合わせする「位置合わせ処理」と、位置合わせ後の複数の低解像度画像の画素に基づき、高解像度画像を生成（推定）する「高解像度化処理」からなる。
かかる超解像処理においては、所望の高画質な画像を得るために、低解像度画像間の高精度の位置合わせ（レジストレーション）が非常に重要であり、つまり、超解像処理では、高精度の位置合わせ処理が要求される。
しかしながら、一般に、画像間の位置合わせ処理は難しく、大きな誤差が含まれていたり、また失敗してしまうことも多い。
超解像処理において、位置合わせ処理の精度が低ければ、超解像処理結果（得られる高解像度画像）が大きく劣化してしまう。また、基準画像上に設定されている注目領域（高解像度化したい領域）が遮蔽された場合（即ち、遮蔽領域が存在する場合）も、同様に超解像処理結果が大きく劣化してしまう。
更に、遮蔽に伴い影が生じることも多い。この場合、仮に、位置合わせ処理が精密に行われていたとしても、遮蔽による影が超解像処理結果を劣化される原因となってしまう。
従来、超解像処理において、例えば、非特許文献１に開示されたように、基準画像と入力画像の対応する画素の周辺の領域の相互相関に基づき、高解像度化処理に使用される画素（以下、単に「画素」と言う。）を選択するといった画素選択方法がある。つまり、非特許文献１に記載されたような画素選択方法とは、相互相関による類似度のみによる画素選択方法である。
また、例えば、非特許文献２に開示されたように、基準画像と入力画像の画素値の差に基づき、画素を選択するといった画素選択方法がある。つまり、非特許文献２に記載されたような画素選択方法とは、単純な輝度差に基づく類似度のみによる画素選択方法である。
更に、非特許文献３では、基準画像と入力画像で、ブロックごとに輝度値の差や、移動量およびフレーム距離に基づき、ブロックごとに重要度を設定するといった方法が開示されている。つまり、非特許文献３に記載されたような方法とは、ブロックごとの輝度差に基づく類似度に、移動量やフレーム距離を考慮したものである。
上述したように、非特許文献１乃至３に開示されたこれら三つの方法は、基準画像と入力画像の対応する画素同士の類似度のみ、又は対応するブロック同士の類似度のみに基づき、高解像度化処理に使用する画素の選択を行っているため、正しく画素が選択されないことが多いという問題が発生してしまう。よって、正しく選択されていない画素を利用して、高解像度化処理を行っても、超解像処理結果（得られる高解像度画像）が大きく劣化してしまう問題が発生する。
また、遮蔽領域が存在する場合でも、特願２００６−０８０７８４及び非特許文献４に開示されたような、その遮蔽領域を考慮した上で位置合わせ処理を高精度に行う「画像レジストレーション方法」があるが、遮蔽領域を考慮せずに位置合わせ処理をした後に高解像度化処理を行うと、遮蔽領域の影響で、高解像度画像が非常に劣化し、本来存在しないようなノイズが発生するとの問題が生じる。
超解像処理とは、位置ずれのある複数の低解像度画像を利用して、一つの高解像度画像を推定（再構成）するもので、具体的に、位置ずれのある複数の低解像度画像を位置合わせする「位置合わせ処理」と、位置合わせ後の複数の低解像度画像の画素に基づき、高解像度画像を生成（推定）する「高解像度化処理」からなる。
かかる超解像処理においては、所望の高画質な画像を得るために、低解像度画像間の高精度の位置合わせ（レジストレーション）が非常に重要であり、つまり、超解像処理では、高精度の位置合わせ処理が要求される。
しかしながら、一般に、画像間の位置合わせ処理は難しく、大きな誤差が含まれていたり、また失敗してしまうことも多い。
超解像処理において、位置合わせ処理の精度が低ければ、超解像処理結果（得られる高解像度画像）が大きく劣化してしまう。また、基準画像上に設定されている注目領域（高解像度化したい領域）が遮蔽された場合（即ち、遮蔽領域が存在する場合）も、同様に超解像処理結果が大きく劣化してしまう。
更に、遮蔽に伴い影が生じることも多い。この場合、仮に、位置合わせ処理が精密に行われていたとしても、遮蔽による影が超解像処理結果を劣化される原因となってしまう。
従来、超解像処理において、例えば、非特許文献１に開示されたように、基準画像と入力画像の対応する画素の周辺の領域の相互相関に基づき、高解像度化処理に使用される画素（以下、単に「画素」と言う。）を選択するといった画素選択方法がある。つまり、非特許文献１に記載されたような画素選択方法とは、相互相関による類似度のみによる画素選択方法である。
また、例えば、非特許文献２に開示されたように、基準画像と入力画像の画素値の差に基づき、画素を選択するといった画素選択方法がある。つまり、非特許文献２に記載されたような画素選択方法とは、単純な輝度差に基づく類似度のみによる画素選択方法である。
更に、非特許文献３では、基準画像と入力画像で、ブロックごとに輝度値の差や、移動量およびフレーム距離に基づき、ブロックごとに重要度を設定するといった方法が開示されている。つまり、非特許文献３に記載されたような方法とは、ブロックごとの輝度差に基づく類似度に、移動量やフレーム距離を考慮したものである。
上述したように、非特許文献１乃至３に開示されたこれら三つの方法は、基準画像と入力画像の対応する画素同士の類似度のみ、又は対応するブロック同士の類似度のみに基づき、高解像度化処理に使用する画素の選択を行っているため、正しく画素が選択されないことが多いという問題が発生してしまう。よって、正しく選択されていない画素を利用して、高解像度化処理を行っても、超解像処理結果（得られる高解像度画像）が大きく劣化してしまう問題が発生する。
また、遮蔽領域が存在する場合でも、特願２００６−０８０７８４及び非特許文献４に開示されたような、その遮蔽領域を考慮した上で位置合わせ処理を高精度に行う「画像レジストレーション方法」があるが、遮蔽領域を考慮せずに位置合わせ処理をした後に高解像度化処理を行うと、遮蔽領域の影響で、高解像度画像が非常に劣化し、本来存在しないようなノイズが発生するとの問題が生じる。
本発明は、上述のような事情よりなされたものであり、本発明の目的は、上記従来の問題点を解決し、つまり、遮蔽領域や位置合わせが失敗している領域、位置合わせ誤差が大きい領域を取り除き、画質改善処理に適する画素を選択し、選択した画素に対して明度補正を行い、画素選択及び明度補正された画素に基づき、高画質な画像を生成するようにした画質改善処理装置、画質改善処理方法及び画質改善処理プログラムを提供することにある。
本発明は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置に関し、本発明の上記目的は、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択された入力画像の画素の明度が、対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記明度補正処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、前記明度補正された入力画像と、前記位置合わせ処理済基準画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記明度補正された入力画像とに基づいて画像合成を行うことにより、画素選択及び明度補正された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、前記明度補正処理部で生成された、明度補正された入力画像に基づき、画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記入力画像前処理付画素選択処理部で画素毎に推定された位置ずれの推定量に基づき、前記明度補正処理部で生成された画素選択及び明度補正された入力画像の各画素の位置を補正する、画素位置補正処理部と、前記画素位置補正処理部からの画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
本発明は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置に関し、本発明の上記目的は、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択された入力画像の画素の明度が、対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記明度補正処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、前記明度補正された入力画像と、前記位置合わせ処理済基準画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記明度補正された入力画像とに基づいて画像合成を行うことにより、画素選択及び明度補正された入力画像を生成する、画素選択処理部と、前記画素選択処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、前記明度補正処理部で生成された、明度補正された入力画像に基づき、画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
また、本発明の上記目的は、基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、前記入力画像前処理付画素選択処理部で画素毎に推定された位置ずれの推定量に基づき、前記明度補正処理部で生成された画素選択及び明度補正された入力画像の各画素の位置を補正する、画素位置補正処理部と、前記画素位置補正処理部からの画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部とを備えることによって効果的に達成される。
第１図は、本発明に係る画質改善処理装置の第１実施形態を示すブロック構成図である。
第２図は、本発明の位置合わせ処理部で行われる「位置合わせ処理」及び画素選択処理部で行われる「画素選択処理」を説明するための模式図である。
第３図は、本発明の明度補正処理部で行われる「明度補正処理」を説明するための模式図である。
第４図は、本発明に係る画質改善処理装置の第２実施形態を示すブロック構成図である。
第５図は、本発明に係る画質改善処理装置の第３実施形態を示すブロック構成図である。
第６図は、本発明に係る画質改善処理装置の第４実施形態を示すブロック構成図である。
第７図は、本発明に係る画質改善処理装置の第５実施形態を示すブロック構成図である。
第８図は、本発明の基準画像前処理付位置合わせ処理部で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部で行われる「画素選択処理」を説明するための模式図である。
第９図は、本発明に係る画質改善処理装置の第６実施形態を示すブロック構成図である。
第１０図は、従来法による画像処理結果及び本発明による画像処理結果を示す図である。第１０図（Ａ）に基準画像を示す。第１０図（Ｂ）に従来の超解像処理方法による高解像度化処理結果を示す。第１０図（Ｃ）に、第１図に示す本発明の第１実施形態に係る「画質改善処理装置」による高解像度化処理結果を示す。
第２図は、本発明の位置合わせ処理部で行われる「位置合わせ処理」及び画素選択処理部で行われる「画素選択処理」を説明するための模式図である。
第３図は、本発明の明度補正処理部で行われる「明度補正処理」を説明するための模式図である。
第４図は、本発明に係る画質改善処理装置の第２実施形態を示すブロック構成図である。
第５図は、本発明に係る画質改善処理装置の第３実施形態を示すブロック構成図である。
第６図は、本発明に係る画質改善処理装置の第４実施形態を示すブロック構成図である。
第７図は、本発明に係る画質改善処理装置の第５実施形態を示すブロック構成図である。
第８図は、本発明の基準画像前処理付位置合わせ処理部で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部で行われる「画素選択処理」を説明するための模式図である。
第９図は、本発明に係る画質改善処理装置の第６実施形態を示すブロック構成図である。
第１０図は、従来法による画像処理結果及び本発明による画像処理結果を示す図である。第１０図（Ａ）に基準画像を示す。第１０図（Ｂ）に従来の超解像処理方法による高解像度化処理結果を示す。第１０図（Ｃ）に、第１図に示す本発明の第１実施形態に係る「画質改善処理装置」による高解像度化処理結果を示す。
１，２，３，４，５，６ 画質改善処理装置
１０ 位置合わせ処理部
１１ 基準画像前処理付位置合わせ処理部
２０ 画素選択処理部
２１ 入力画像前処理付画素選択処理部
３０ 明度補正処理部
３５ 画素位置補正処理部
４０ 画質改善処理部
１０ 位置合わせ処理部
１１ 基準画像前処理付位置合わせ処理部
２０ 画素選択処理部
２１ 入力画像前処理付画素選択処理部
３０ 明度補正処理部
３５ 画素位置補正処理部
４０ 画質改善処理部
最初に、本発明の着眼点について述べる。
まず、超解像処理において、低解像度画像である基準画像と入力画像は、何らかの方法（例えば、従来のレジストレーション方法）で位置合わせは行われているものとする。遮蔽領域がある場合の位置合わせは、例えば、非特許文献４や特願２００６−０８０７８４に開示されている「画像レジストレーション方法」が利用可能である。
このとき、基準画像と入力画像の対応する画素（以下、単に「注目画素」と言う。）の周辺の小領域（以下、単に「小領域」と言う。）を考える。
基準画像と入力画像の対応する小領域の類似度が高く、かつ、何れかの小領域を利用して位置ずれ量を再推定したときに、推定された位置ずれ量が小さければ、対応する画素同士は、正しく対応している画素であると考えることができる。
すなわち、画質改善処理（画質改善処理が超解像処理の場合には、高解像度化処理となる。）に適する画素として、注目画素が選択される条件とは、（１）基準画像と入力画像の対応する小領域の類似度が高いこと、かつ（２）何れかの小領域を利用した位置ずれ推定量が小さいことである。
次に、明度変化について考慮する。画素選択処理を行う前に、又は行った後に、明度補正処理が行われると考える。
そのため、画素選択処理は、明度変化に依存しない方法によって行われるのが望ましい。なぜならば、画素選択処理の後に、画素選択された画素に対して、明度補正処理を行うことにより、明度のみが変化している画素は、画質改善処理に利用可能となるためである。
そこで、本発明では、画素選択処理の際に利用される類似度や位置ずれ量推定には、明度変化に依存しない類似度や位置ずれ量推定方法を利用することに着目した。
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
本発明は、基準画像及び１枚以上の入力画像（入力画像列）に基づき、基準画像と入力画像との間の「位置合わせ処理（又は基準画像前処理付位置合わせ処理）」を行った後に、「画素選択処理（又は入力画像前処理付画素選択処理）」、「明度補正処理」、「画素位置補正処理」のうちの１つ以上の画像処理を行い、当該１つ以上の画像処理が行われた結果として選択された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する、画質改善処理装置、画質改善処理方法及び画質改善処理プログラムに関するものである。
第１図は、本発明に係る画質改善処理装置の第１実施形態を示すブロック構成図である。
第１図に示されたように、本発明の第１実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置１」とも言う。）は、位置合わせ処理部１０と、画素選択処理部２０と、明度補正処理部３０と、画質改善処理部４０とから構成される。
本発明の画質改善処理装置１では、まず、位置合わせ処理部１０が、基準画像及び入力画像（入力画像列）に基づき、基準画像と入力画像との間の「位置合わせ処理」を行い、次に、画素選択処理部２０が、位置合せ処理後の基準画像と入力画像に基づき、画質改善処理に適する画素を選択する「画素選択処理」を行い、そして、明度補正処理部３０が、画素選択された入力画像の画素に対して、当該入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、明度補正を行う「明度補正処理」を行い、最後に、画質改善処理部４０が、画素選択及び明度補正された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
本発明では、位置合わせ処理部１０で行われる「位置合わせ処理」及び画質改善処理部４０で行われる「画質改善処理」には、既存の方法を利用する。
例えば、画質改善処理が超解像処理の場合、画質改善処理部４０で行われる「画質改善処理」は高解像度化処理になる。そして、画質改善処理部４０で行われる「画質改善処理」には、高解像度化処理以外に、ノイズ除去処理や、広ダイナミックレンジ画像化処理などを利用することもできる。
ここで、まず、位置合わせ処理部１０で行われる「位置合わせ処理」及び画素選択処理部２０で行われる「画素選択処理」について説明する。
説明上の便宜を図るために、基準画像及び入力画像（入力画像列）がグレイ画像またはカラー画像の場合について述べる。
なお、基準画像及び入力画像が色モザイク画像の場合、つまり、色モザイク画像から高解像度画像を生成する場合には、一度、色モザイク画像をカラー画像に復元し、復元したカラー画像を利用して、本発明を適用すれば、所望の高画質な画像が得られる。
第２図は、本発明の位置合わせ処理部１０で行われる「位置合わせ処理」及び画素選択処理部２０で行われる「画素選択処理」を説明するための模式図である。
第２図に示されるように、まず、位置合わせ処理部１０では、入力画像列におけるｋ番目の入力画像Ｉｋ（ｘ，ｙ）（第２図に図示せず）と基準画像Ｔ（ｘ，ｙ）とに基づき、位置合わせ処理（変形）を行うことにより、つまり、ｋ番目の入力画像Ｉｋ（ｘ，ｙ）（以下、単に、「入力画像」と言う。）に一致するように、基準画像Ｔ（ｘ，ｙ）を変形させることにより、変形基準画像Ｔ’（ｘ，ｙ）を生成する。
つまり、位置合わせ処理部１０では、基準画像と入力画像との位置合わせ処理を行うことにより、変形基準画像が生成される（得られる）。ちなみに、前述したように、この位置合わせ処理（変形処理）には、既存の方法を利用する。
ただし、本発明では、入力画像に対する基準画像の変形は完全であるとは限らず、つまり、位置合わせ処理部１０で行われる、基準画像・入力画像間の位置合わせ処理は必ず精密に行われたとは限らず、位置合わせ誤差を含んでいたり、遮蔽（遮蔽領域）が存在したりする場合もある。
次に、位置合わせ処理（変形）が行われた後に、画素選択処理部２０で行われる「画素選択処理」を詳細に説明する。画素選択処理部２０で行われる「画素選択処理」とは、画質改善処理部４０で行われる「画質改善処理」に利用する画素、即ち、画質改善処理に適する画素を選び出す処理である。
ここで、画素選択処理部２０において、入力画像のある位置（ｘ，ｙ）の画素（以下、単に「注目画素」とも言う。）について、画素選択処理を行う場合について説明する。
つまり、画素選択処理部２０では、注目画素の周辺の小領域に対して、下記２つの条件を満足している場合、当該注目画素を「画質改善処理に利用する画素」として選択する。
条件１：
注目画素を含む入力画像の小領域と、当該入力画像と基準画像との位置合わせ処理により得られた「位置合わせ処理済基準画像」（第２図の場合、当該入力画像に合わせて基準画像を変形させて得られた変形基準画像Ｔ’（ｘ，ｙ））の対応する小領域の類似度が、所定の閾値（単に、第１の閾値とも称する。）以上である。
条件２：
入力画像の小領域又は、位置合わせ処理済基準画像（変形基準画像）の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が、所定の閾値（単に、第２の閾値とも称する。）以下である。
画素選択処理部２０では、上記条件１及び条件２を満足している注目画素を画素値１、満足していない注目画素を画素値０とすることで、入力画像に対応して第２図に示すような二値画像（画素選択結果）を生成し、つまり、画質改善処理に利用する画素を選び出すようにしている。
画素選択処理部２０では、具体的な、第２図の二値画像（画素選択結果）において、白色部分の画素の画素値は１で、当該画素は、画質改善処理に利用する画素として、選択され、また、黒色部分の画素の画素値は０で、画質改善処理に利用する画素として選択されない。つまり、黒色部分の画素は、本発明の「画素選択処理」により取り除く画素である。第２図の二値画像は、マスク画像と考えることができる。
更に、画素選択処理部２０では、必要があれば、第２図の二値画像にローパスフィルタを施し、適切な閾値を用いた二値化処理を行うことにより、画質改善処理に利用する画素の選択を行うことも可能である。
要するに、画素選択処理部２０では、上記条件１及び条件２を満たす注目画素を画質改善処理に利用する画素として選択し、上記条件１及び条件２を満たさない注目画素を取り除くようにすることにより、画素選択を行い、画素選択結果である二値画像（画素値１の画素は画質改善処理に利用する画素を意味し、画素値０の画素は画質改善処理に利用しない画素、即ち、取り除かれる画素を意味する。）と入力画像に基づいて画像合成（マスク合成）を行うことにより、第２図に示すような「画素選択された入力画像」を生成する。
なお、上述した画素選択処理部２０では、閾値の判定処理に基づいて条件１及び条件２を満たしているか否かを判定することにより、つまり画素選択マスクとして２値マスクを用いて画素選択を行うようにしているが、本発明は２値マスクを用いることに限定されることはなく、多値マスク（重み）を利用して画素選択を行うようにすることもできる。要するに、条件１も条件２も、閾値処理ではなく、類似度又は位置ずれの推定量（位置ずれ量）に基づいて、画素選択マスクとして、多値マスク（重み）を生成するようにする。
具体的に、条件１では、注目画素を含む入力画像の小領域と、当該入力画像と基準画像との位置合わせ処理により得られた「位置合わせ処理済基準画像」の対応する小領域の類似度が大きくなれば、第１の多値マスク（第１の重み）の値も大きくなるようにする。また、条件２では、入力画像の小領域又は、位置合わせ処理済基準画像（変形基準画像）の対応する小領域のいずれかを利用した、当該注目画素の位置ずれ量が小さくなれば、第２の多値マスク（第２の重み）の値が大きくなるようにする。
このように、条件１及び条件２では、類似度及び位置ずれ量から、それぞれ多値マスクの値、即ち、第１の重み及び第２の重みが生成される（得られる）。得られた第１の重み及び第２の重みは、適当な演算（例えば、掛け算）により合成される。合成された重み（多値マスク）によって、多値画像（画素選択結果）が得られる。必要があれば、この多値画像にローパスフィルタを施し、適切な閾値を用いた二値化処理を行うことにより、画質改善処理に利用する画素の選択を行うことも可能である。画質改善処理において、注目画素の多値マスクを注目画素の重要度（重み）として利用することができる。
また、上述した本発明の「画素選択処理部２０」の実施形態では、上記条件１及び条件２の満足を画素選択の条件としているが、本発明の「画素選択処理部２０」は、それに限定されることがなく、上記条件１のみを満足する注目画素、又は、上記条件２のみを満足する注目画素を画質改善処理に利用する画素として、選択することも可能である。
次に、明度補正処理部３０で行われる「明度補正処理」について説明する。
明度補正処理部３０で行われる「明度補正処理」とは、当該明度補正処理における入力画像の注目画素の明度が、対応する「位置合わせ処理済基準画像（即ち、変形基準画像）」の画素の明度と等しくなるように、当該明度補正処理における入力画像の当該注目画素の画素値を補正する処理である。
ちなみに、第１図に示す画質改善処理装置１における明度補正処理部３０では、明度補正処理における入力画像は、「画素選択処理部２０」で行われた「画素選択処理」により生成された「画素選択された入力画像」である。
第３図は、本発明の明度補正処理部３０で行われる「明度補正処理」を説明するための模式図である。
第３図に示す明度補正処理部３０で行われる「明度補正処理」は、「画素選択処理部２０」による「画素選択処理」が行われた後に、行う「明度補正処理」であり、即ち、第１図に示す画質改善処理装置１における明度補正処理部３０で行われる「明度補正処理」である。第３図の「明度補正処理」における入力画像とは、「画素選択処理」により生成された「画素選択された入力画像」を意味する。
第３図に示されるように、明度補正処理部３０では、「画素選択された入力画像」の注目画素と、対応する変形基準画像Ｔ’（ｘ，ｙ）の画素の明度を「明度推定処理」によりそれぞれ推定し、推定された明度に基づき、変形基準画像に対する明度画像（第１の明度画像）及び画素選択された入力画像に対する明度画像（第２の明度画像）を生成する。
そして、明度補正処理部３０では、生成された第１の明度画像及び第２の明度画像に基づき、両者の明度比を計算し、「画素選択された入力画像」の注目画素の明度が対応する変形基準画像の画素の明度と等しくなるように、「画素選択された入力画像」の注目画素の画素値を補正する「明度補正処理」を行うことにより、「画素選択及び明度補正された入力画像」を生成する。
ここで、注目画素の明度を推定する方法の具体例として、注目画素を含む小領域の各画素毎に明度を求め、求めた明度を平均化または重み付き平均化することにより、平均化又は重み付き平均化された明度を、当該注目画素の明度として推定する方法が考えられる。対応する変形基準画像の画素の明度も、同じ方法で推定することができる。
また、各画素毎の明度の求め方としては、例えば、六角錘モデルのＨＳＩ色空間のＩを使う方法などがある。六角錘モデルのＨＳＩ色空間のＩは、各画素のＲチャネル、Ｇチャネル又はＢチャネルの画素値の最大値となる（非特許文献５を参照）。
以上は、本発明の画素選択処理部２０で行われる「画素選択処理」及び明度補正処理部３０で行われる「明度補正処理」について詳細に説明した。
第１図に示す画質改善処理装置１における画質改善処理部４０では、明度補正処理部３０で生成された「画素選択及び明度補正された入力画像」に基づき、画質改善処理を行うことにより、高画質な画像を生成する。ちなみに、前述したように、この画質改善処理には、既存の方法を利用する。
また、第１図に示す画質改善処理装置１による画像処理では、画素選択処理部２０による画素選択処理の後に、明度補正処理部３０による明度補正処理が行われる流れとなっているので、画素選択処理部２０による画素選択処理では、明度変化に対して頑強な画素選択方法を用いる。要するに、上記条件１で言う類似度は、明度変化に依存しない類似度を用い、そして、上記条件２で言う位置ずれの推定量は、明度変化に依存しない位置ずれ量の推定方法を用いて推定することが好ましい。
明度変化に依存しない類似度の具体的な好適例としては、例えば、対応する小領域の正規化相互相関が挙げられる。また、明度変化に依存しない位置ずれの推定方法の具体的な好適例としては、例えば、平行移動を仮定して、画素単位の位置ずれにおける正規化相互相関のパラボラフィッティングを利用して、位置ずれ量を推定する方法が挙げられる。
第４図は、本発明に係る画質改善処理装置の第２実施形態を示すブロック構成図である。
第４図に示されたように、本発明の第２実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置２」とも言う。）は、位置合わせ処理部１０と、明度補正処理部３０と、画素選択処理部２０と、画質改善処理部４０とから構成される。
第１図に示す画質改善処理装置１による画像処理では、画素選択処理部２０による「画素選択処理」が行われた後に、明度補正処理部３０による「明度補正処理」を行うという流れとなっているが、本発明による画像処理はそれに限定されることはなく、第４図に示す画質改善処理装置２のように、明度補正処理部３０による「明度補正処理」が行われた後に、画素選択処理部２０による「画素選択処理」を行うことも可能である。
要するに、第４図に示す画質改善処理装置２の位置合わせ処理部１０で行われる「位置合わせ処理」には、第１にに示す画質改善処理装置１の位置合わせ処理部１０による「位置合わせ処理」と同じように、既存の方法を利用する。
また、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」では、画質改善処理装置２の位置合わせ処理部１０の入力でもある「入力画像（入力画像列）」を「明度補正処理における入力画像」とし、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」により生成された画像は、「明度補正された入力画像」となる。
更に、第４図に示す画質改善処理装置２の画素選択処理部２０では、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」により生成された「明度補正された入力画像」を上記条件１及び条件２における「入力画像」とし、即ち、この「明度補正された入力画像」を第２図における「入力画像」とし、第１図に示す画質改善処理装置１の画素選択処理部２０で行われる「画素選択処理」と同じ方法で画素選択を行い、画素選択結果である二値画像と、明度補正された入力画像に基づいて、画像合成（マスク合成）を行うことにより、「画素選択及び明度補正された入力画像」を生成する。
最後に、第４図に示す画質改善処理装置２の画質改善処理部４０では、第４図に示す画質改善処理装置２の画素選択処理部２０で生成された「画素選択及び明度補正された入力画像」に基づき、第１図に示す画質改善処理装置１の画質改善処理部４０による「画質改善処理」と同じように、既存の方法を用い、高画質な画像を生成する。
第５図は、本発明に係る画質改善処理装置の第３実施形態を示すブロック構成図である。第５図に示されたように、本発明の第３実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置３」とも言う。）は、位置合わせ処理部１０と、画素選択処理部２０と、画質改善処理部４０とから構成される。
第５図に示すように、画質改善処理装置３による画像処理では、位置合わせ処理部１０による「位置合わせ処理」が行われた後に、明度補正処理を行わずに、画素選択処理部２０による「画素選択処理」を行い、その画素選択処理により生成された「画素選択された入力画像」に基づき、画質改善処理部４０による「画質改善処理」を行い、高画質な画像を生成する。ちなみに、第５図に示す画質改善処理装置３の画素選択処理部２０で行われる「画素選択処理」の入力と出力は、第１図に示す画質改善処理装置１の画素選択処理部２０で行われる「画素選択処理」のそれらと同じである。
第６図は、本発明に係る画質改善処理装置の第４実施形態を示すブロック構成図である。第６図に示されたように、本発明の第４実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置４」とも言う。）は、位置合わせ処理部１０と、明度補正処理部３０と、画質改善処理部４０とから構成される。
第６図に示すように、画質改善処理装置４による画像処理では、位置合わせ処理部１０による「位置合わせ処理」が行われた後に、画素選択処理を行わずに、明度補正処理部３０による「明度補正処理」を行い、その明度補正処理により生成された「明度補正された入力画像」に基づき、画質改善処理部４０による「画質改善処理」を行い、高画質な画像を生成する。ちなみに、第６図に示す画質改善処理装置４の明度補正処理部３０で行われる「明度補正処理」の入力と出力は、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」のそれらと同じである。
以上をまとめると、本発明に係る「画素選択及び明度補正を利用した画質改善処理」とは、第１図に示す画質改善処理装置１による画像処理、又は第４図に示す画質改善処理装置２による画像処理を意味し、また、本発明に係る「画素選択を利用した画質改善処理」とは、第５図に示す画質改善処理装置３による画像処理を意味し、そして、本発明に係る「明度補正を利用した画質改善処理」とは、第６図に示す画質改善処理装置４による画像処理を意味する。
第７図は、本発明に係る画質改善処理装置の第５実施形態を示すブロック構成図である。
第７図に示されたように、本発明の第５実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置５」とも言う。）は、基準画像前処理付位置合わせ処理部１１と、入力画像前処理付画素選択処理部２１と、明度補正処理部３０と、画質改善処理部４０とから構成される。
本発明の画質改善処理装置５では、まず、基準画像前処理付位置合わせ処理部１１が、基準画像前処理が施された基準画像（以下、単に「前処理済基準画像」という。）及び入力画像（入力画像列）に基づき、前処理済基準画像と入力画像との間の「位置合わせ処理」を行い、次に、入力画像前処理付画素選択処理部２１が、位置合せ処理後の前処理済基準画像（以下、単に「変形前処理済基準画像」という。）と、入力画像前処理が施された入力画像（以下、単に「前処理済入力画像」という。）と、入力画像とに基づき、画質改善処理に適する画素を選択する「画素選択処理」を行い、そして、明度補正処理部３０が、画素選択された入力画像の画素に対して、当該入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、明度補正を行う「明度補正処理」を行い、最後に、画質改善処理部４０が、画素選択及び明度補正された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
画質改善処理装置５の明度補正処理部３０で行われる「明度補正処理」及び画質改善処理部４０で行われる「画質改善処理」は、画質改善処理装置１の明度補正処理部３０で行われる「明度補正処理」及び画質改善処理部４０で行われる「画質改善処理」と同様であるため、それらの処理の説明は省略する。
ここで、画質改善処理装置５の基準画像前処理付位置合わせ処理部１１で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部２１で行われる「画素選択処理」について説明する。
第８図は、本発明の基準画像前処理付位置合わせ処理部１１で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部２１で行われる「画素選択処理」を説明するための模式図である。
第８図に示されるように、まず、基準画像前処理付位置合わせ処理部１１では、基準画像Ｔ（ｘ，ｙ）に基準画像前処理を行う（施す）ことにより、前処理済基準画像を生成し、生成された前処理済基準画像と、入力画像列におけるｋ番目の入力画像Ｉｋ（ｘ，ｙ）（第８図に図示せず）とに基づき、位置合わせ処理（変形）を行うことにより、つまり、ｋ番目の入力画像Ｉｋ（ｘ，ｙ）（入力画像）に一致するように、前処理済基準画像を変形させることにより、変形前処理済基準画像を生成する。
つまり、基準画像前処理付位置合わせ処理部１１では、前処理済基準画像と入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像が生成される（得られる）。ちなみに、この位置合わせ処理（変形処理）には、既存の方法を利用する。
ただし、本発明では、入力画像に対する前処理済基準画像の変形は完全であるとは限らず、つまり、基準画像前処理付位置合わせ処理部１１で行われる、前処理済基準画像・入力画像間の位置合わせ処理は必ず精密に行われたとは限らず、位置合わせ誤差を含んでいたり、遮蔽（遮蔽領域）が存在したりする場合もある。
次に、位置合わせ処理（変形）が行われた後に、入力画像前処理付画素選択処理部２１で行われる「画素選択処理」を詳細に説明する。入力画像前処理付画素選択処理部２１で行われる「画素選択処理」とは、画質改善処理部４０で行われる「画質改善処理」に利用する画素、即ち、画質改善処理に適する画素を選び出す処理である。
入力画像前処理付画素選択処理部２１では、まず、入力画像に入力画像前処理を行う（施す）ことにより、前処理済入力画像を生成する。
ここで、入力画像前処理付画素選択処理部２１において、入力画像のある位置（ｘ，ｙ）の画素（注目画素）について、画素選択処理を行う場合について説明する。
つまり、入力画像前処理付画素選択処理部２１では、注目画素の周辺の小領域に対して、下記２つの条件を満足している場合、当該注目画素を「画質改善処理に利用する画素」として選択する。
条件Ａ：
注目画素を含む前処理済入力画像の小領域と、変形前処理済基準画像の対応する小領域の類似度が、所定の閾値（第１の閾値）以上である。
条件Ｂ：
前処理済入力画像の小領域又は、変形前処理済基準画像の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が、所定の閾値（第２の閾値）以下である。
入力画像前処理付画素選択処理部２１では、上記条件Ａ及び条件Ｂを満足している注目画素を画素値１、満足していない注目画素を画素値０とすることで、入力画像に対応して第８図に示すような二値画像（前処理付画素選択結果）を生成し、つまり、画質改善処理に利用する画素を選び出すようにしている。
要するに、入力画像前処理付画素選択処理部２１では、上記条件Ａ及び条件Ｂを満たす注目画素を画質改善処理に利用する画素として選択し、上記条件Ａ及び条件Ｂを満たさない注目画素を取り除くようにすることにより、画素選択を行い、前処理付画素選択結果である二値画像（画素値１の画素は画質改善処理に利用する画素を意味し、画素値０の画素は画質改善処理に利用しない画素、即ち、取り除かれる画素を意味する。）と入力画像（入力画像前処理を施す前の入力画像）に基づいて画像合成（マスク合成）を行うことにより、第８図に示すような「画素選択された入力画像」を生成する。
つまり、入力画像前処理付画素選択処理部２１で行われる「画素選択処理」では、入力画像前処理された入力画像（前処理済入力画像）と位置合わせ処理後の基準画像前処理された基準画像（変形前処理済基準画像）に基づき、画素選択処理を行うことによりマスクを生成し、そして、生成されたマスクと入力画像（入力画像前処理されていない入力画像）とに基づき、画素選択された入力画像を生成することを特徴としている。
なお、第８図に、基準画像前処理として、ローパスフィルタ処理及びテクスチャ判定処理（つまり、ローパスフィルタ処理を施した後にテクスチャ判定処理を行うとの処理流れ）を用い、また、入力画像前処理として、ローパスフィルタ処理のみを用いるという具体的な例を示しているが、本発明はそれに限定されることはなく、例えば、基準画像前処理としてローパスフィルタ処理のみを用い、また、入力画像前処理としてもローパスフィルタ処理のみを用いるようにしても良く、そのほかにも一般的な画像処理が、基準画像前処理及び入力画像前処理として利用可能である。
テクスチャ判定処理は、基準画像の注目画素周辺の小領域毎にテクスチャを判定することにより、基準画像の注目画素周辺においてテクスチャが所定の閾値以上の画素を選択し、選択した画素を利用して２値マスクを生成する。テクスチャ判定処理には、小領域内の画素値の分散が閾値以上などの各種方法が利用可能である。
テクスチャ判定処理の一具体例として、ある２次元の画像座標（ｘ，ｙ）に対応する画素について、下記数１の数式の値ｆ（ｘ）が所定の閾値以上であることにより、その画素を選択するように、テクスチャ判定処理を行う。
ただし、ｘ，ｙは２次元の画像座標を、Ｓ（ｘ）は画像座標ｘの周辺の画像座標の集合を、Ｉ（ｘ）は画像座標ｘにおける画素値情報を、Ｉ（ｙ）は画像座標ｙにおける画素値情報を、ｄ（Ｉ（ｘ），Ｉ（ｙ））は画素値情報Ｉ（ｘ）とＩ（ｙ）との距離関数を、ｔは画素値情報の距離に関する閾値を、それぞれ表す。距離関数としては、ユークリッド距離関数などが利用できる。
ちなみに、第８図の前処理済基準画像と変形前処理済基準画像では、黒く表されている画素はテクスチャ判定処理により、テクスチャが少ないと判定された画素（即ち、テクスチャ判定処理により選択されていない画素）を表している。
なお、上述したテクスチャ判定処理で生成したマスクは、２値マスクであるが、本発明のテクスチャ判定処理はそれに限定されることはなく、多値マスクを生成するようにしても良く、例えば、テクスチャが強いほど、多値マスクの値が大きくなるように多値マスクを設定する。
画質改善処理において、注目画素の多値マスクを注目画素の重要度（重み）の指標として利用することができる。
また、本発明では、第７図に示す画質改善処理装置５において、その明度補正処理部３０（明度補正処理部３０による明度補正処理）を省略することも可能である。
なお、画素選択処理部２０と同じように、入力画像前処理付画素選択処理部２１でも、上述のように２値マスクを用いて画素選択を行うようにしても良く、また、多値マスク（重み）を利用して画素選択を行うようにしても良い。
また、上述した本発明の「入力画像前処理付画素選択処理部２１」の実施形態では、上記条件Ａ及び条件Ｂの満足を画素選択の条件としているが、本発明の「入力画像前処理付画素選択処理部２１」は、それに限定されることがなく、上記条件Ａのみを満足する注目画素、又は、上記条件Ｂのみを満足する注目画素を画質改善処理に利用する画素として、選択することも可能である。
第９図は、本発明に係る画質改善処理装置の第６実施形態を示すブロック構成図である。
第９図に示されたように、本発明の第６実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置６」とも言う。）は、基準画像前処理付位置合わせ処理部１１と、入力画像前処理付画素選択処理部２１と、明度補正処理部３０と、画素位置補正処理部３５と、画質改善処理部４０とから構成される。
第９図と第７図を比較すれば分かるように、第７図に示す画質改善処理装置５に「画素位置補正処理部３５」を追加することにより、第９図に示す画質改善処理装置６が得られる。
画質改善処理装置６による画像処理の流れや画像処理の内容は、基本的に、画質改善処理装置５のものと同じであるため、それらの説明は省略する。ここで、画質改善処理装置５にはなく、画質改善処理装置６に備えられた、「画素位置補正処理」を行う「画素位置補正処理部３５」について説明する。
画質改善処理装置６における「画素位置補正処理部３５」では、「入力画像前処理付画素選択処理部２１」で画素毎に推定された位置ずれの推定量に基づき、明度補正処理部３０からの画素選択及び明度補正された入力画像の各画素の位置を補正するように、「画素位置補正処理」を行う。
そして、画質改善処理装置６における「画質改善処理部４０」では、「画素位置補正処理部３５」からの画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
なお、第９図に示す画質改善処理装置６に対して、画素位置補正処理部３５と明度補正処理部３０の接続順番を入れ替えること、又は明度補正処理部３０を省略することも可能である。また、第９図に示す画質改善処理装置６に対して、「入力画像前処理付画素選択処理部２１」の代わりに、第１図の「画素選択処理部２０」を利用することも可能である。
つまり、本発明では、「画素選択処理部２０」又は「入力画像前処理付画素選択処理部２１」で行われる画素選択処理により、小領域毎に位置ずれ量が再推定されるので、そこで、「画素位置補正処理部３５」では、再推定された位置ずれ量に基づき、注目画素の画素位置を補正することにより、画素位置補正処理を行う。
上述した本発明に係る画質改善処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアにより実装されることも勿論できる。
本発明の効果を検証するために、下記の実施例を実施した。
ベイヤーカラーフィルタを有するディジタルカメラを利用して、３０枚の画像を撮影し、撮影した全ての画像をフルカラー化した。即ち、本発明を適用する際に、３０フレームのフルカラー化した画像（以下、観測画像とも言う。）からなる入力画像列が存在する。また、本実施例において、画質改善処理として、超解像処理（高解像度化処理）を用いる。
この入力画像列の初期フレーム（１フレーム目）の画像を基準画像に設定し、基準画像を除いて、２フレーム目の画像〜３０フレーム目の画像を入力画像として、第１図に示す「本発明の第１実施形態に係る画質改善処理装置」を用いて画像処理を行い、高画質な画像を生成した。
基準画像と入力画像との位置合わせ処理には、画像全体に対して濃度勾配法を利用した。また、画素選択処理では、注目画素周辺の小領域の大きさを１５ピクセル×１５ピクセルにし、上記条件１における類似度には、正規化相互相関を利用し、所定の閾値（第１の閾値）は０．９９とした。また、上記条件２における位置ずれの推定においては、小領域の大きさを１５ピクセル×１５ピクセルとし、類似度に正規化相互相関を用いたパラボラフィッティングによるサブピクセル推定を行い、位置ずれ量の閾値（第２の閾値）を０．５とした。
さらに、上記のような条件により選択された画素の画素値を１、選択されなかった画素の画素値を０として得られた二値画像に対して、大きさ９ピクセル×９ピクセルの平均化フィルタを施し、閾値を０．２とした二値化処理を行い、最終的な画素選択結果とした。つまり、この最終的な画素選択結果をマスク画像として、当該マスク画像と入力画像とに基づき、画像合成（マスク合成）を行い、画素選択された入力画像を生成する。
明度補正処理では、生成された「画素選択された入力画像」および「位置合わせ処理済基準画像」の各画素に関して、六角錐モデルの明度を計算し、求められた明度画像（第１の明度画像及び第２の明度画像）に大きさ５ピクセル×５ピクセルの平均化フィルタを施すことにより、明度を推定した。このように推定された「画素選択された入力画像」の各画素の明度が、「位置合わせ処理済基準画像」の対応する画素の明度と一致するように、「画素選択された入力画像」の画素を補正した。このような明度補正処理により、「画素選択及び明度補正された入力画像」を生成する。
以上のように、生成された「画素選択及び明度補正された入力画像」に基づき、換言すれば、観測画像である入力画像から画素選択され、更に明度補正された画素を利用して、高解像度化処理を行った。高解像度化処理には既存の手法を利用し、倍率を４×４とした。
観測画像のうち基準画像とした画像を第１０図（Ａ）に、画素選択及び明度補正を利用していない従来の超解像処理方法による高解像度化処理結果を第１０図（Ｂ）に、第１図に示す本発明に係る「画素選択及び明度補正を利用した画質改善処理」による高解像度化処理結果を第１０図（Ｃ）に、それぞれ示す。
第１０図から、従来の方法を用いた場合には、遮蔽の影響により正しく高解像度化が行われていないのに対して、本発明に係る画質改善処理装置（画質改善処理方法）を用いた場合には、遮蔽の影響のない高解像度化が行われていることが確認された。
まず、超解像処理において、低解像度画像である基準画像と入力画像は、何らかの方法（例えば、従来のレジストレーション方法）で位置合わせは行われているものとする。遮蔽領域がある場合の位置合わせは、例えば、非特許文献４や特願２００６−０８０７８４に開示されている「画像レジストレーション方法」が利用可能である。
このとき、基準画像と入力画像の対応する画素（以下、単に「注目画素」と言う。）の周辺の小領域（以下、単に「小領域」と言う。）を考える。
基準画像と入力画像の対応する小領域の類似度が高く、かつ、何れかの小領域を利用して位置ずれ量を再推定したときに、推定された位置ずれ量が小さければ、対応する画素同士は、正しく対応している画素であると考えることができる。
すなわち、画質改善処理（画質改善処理が超解像処理の場合には、高解像度化処理となる。）に適する画素として、注目画素が選択される条件とは、（１）基準画像と入力画像の対応する小領域の類似度が高いこと、かつ（２）何れかの小領域を利用した位置ずれ推定量が小さいことである。
次に、明度変化について考慮する。画素選択処理を行う前に、又は行った後に、明度補正処理が行われると考える。
そのため、画素選択処理は、明度変化に依存しない方法によって行われるのが望ましい。なぜならば、画素選択処理の後に、画素選択された画素に対して、明度補正処理を行うことにより、明度のみが変化している画素は、画質改善処理に利用可能となるためである。
そこで、本発明では、画素選択処理の際に利用される類似度や位置ずれ量推定には、明度変化に依存しない類似度や位置ずれ量推定方法を利用することに着目した。
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
本発明は、基準画像及び１枚以上の入力画像（入力画像列）に基づき、基準画像と入力画像との間の「位置合わせ処理（又は基準画像前処理付位置合わせ処理）」を行った後に、「画素選択処理（又は入力画像前処理付画素選択処理）」、「明度補正処理」、「画素位置補正処理」のうちの１つ以上の画像処理を行い、当該１つ以上の画像処理が行われた結果として選択された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する、画質改善処理装置、画質改善処理方法及び画質改善処理プログラムに関するものである。
第１図は、本発明に係る画質改善処理装置の第１実施形態を示すブロック構成図である。
第１図に示されたように、本発明の第１実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置１」とも言う。）は、位置合わせ処理部１０と、画素選択処理部２０と、明度補正処理部３０と、画質改善処理部４０とから構成される。
本発明の画質改善処理装置１では、まず、位置合わせ処理部１０が、基準画像及び入力画像（入力画像列）に基づき、基準画像と入力画像との間の「位置合わせ処理」を行い、次に、画素選択処理部２０が、位置合せ処理後の基準画像と入力画像に基づき、画質改善処理に適する画素を選択する「画素選択処理」を行い、そして、明度補正処理部３０が、画素選択された入力画像の画素に対して、当該入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、明度補正を行う「明度補正処理」を行い、最後に、画質改善処理部４０が、画素選択及び明度補正された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
本発明では、位置合わせ処理部１０で行われる「位置合わせ処理」及び画質改善処理部４０で行われる「画質改善処理」には、既存の方法を利用する。
例えば、画質改善処理が超解像処理の場合、画質改善処理部４０で行われる「画質改善処理」は高解像度化処理になる。そして、画質改善処理部４０で行われる「画質改善処理」には、高解像度化処理以外に、ノイズ除去処理や、広ダイナミックレンジ画像化処理などを利用することもできる。
ここで、まず、位置合わせ処理部１０で行われる「位置合わせ処理」及び画素選択処理部２０で行われる「画素選択処理」について説明する。
説明上の便宜を図るために、基準画像及び入力画像（入力画像列）がグレイ画像またはカラー画像の場合について述べる。
なお、基準画像及び入力画像が色モザイク画像の場合、つまり、色モザイク画像から高解像度画像を生成する場合には、一度、色モザイク画像をカラー画像に復元し、復元したカラー画像を利用して、本発明を適用すれば、所望の高画質な画像が得られる。
第２図は、本発明の位置合わせ処理部１０で行われる「位置合わせ処理」及び画素選択処理部２０で行われる「画素選択処理」を説明するための模式図である。
第２図に示されるように、まず、位置合わせ処理部１０では、入力画像列におけるｋ番目の入力画像Ｉｋ（ｘ，ｙ）（第２図に図示せず）と基準画像Ｔ（ｘ，ｙ）とに基づき、位置合わせ処理（変形）を行うことにより、つまり、ｋ番目の入力画像Ｉｋ（ｘ，ｙ）（以下、単に、「入力画像」と言う。）に一致するように、基準画像Ｔ（ｘ，ｙ）を変形させることにより、変形基準画像Ｔ’（ｘ，ｙ）を生成する。
つまり、位置合わせ処理部１０では、基準画像と入力画像との位置合わせ処理を行うことにより、変形基準画像が生成される（得られる）。ちなみに、前述したように、この位置合わせ処理（変形処理）には、既存の方法を利用する。
ただし、本発明では、入力画像に対する基準画像の変形は完全であるとは限らず、つまり、位置合わせ処理部１０で行われる、基準画像・入力画像間の位置合わせ処理は必ず精密に行われたとは限らず、位置合わせ誤差を含んでいたり、遮蔽（遮蔽領域）が存在したりする場合もある。
次に、位置合わせ処理（変形）が行われた後に、画素選択処理部２０で行われる「画素選択処理」を詳細に説明する。画素選択処理部２０で行われる「画素選択処理」とは、画質改善処理部４０で行われる「画質改善処理」に利用する画素、即ち、画質改善処理に適する画素を選び出す処理である。
ここで、画素選択処理部２０において、入力画像のある位置（ｘ，ｙ）の画素（以下、単に「注目画素」とも言う。）について、画素選択処理を行う場合について説明する。
つまり、画素選択処理部２０では、注目画素の周辺の小領域に対して、下記２つの条件を満足している場合、当該注目画素を「画質改善処理に利用する画素」として選択する。
条件１：
注目画素を含む入力画像の小領域と、当該入力画像と基準画像との位置合わせ処理により得られた「位置合わせ処理済基準画像」（第２図の場合、当該入力画像に合わせて基準画像を変形させて得られた変形基準画像Ｔ’（ｘ，ｙ））の対応する小領域の類似度が、所定の閾値（単に、第１の閾値とも称する。）以上である。
条件２：
入力画像の小領域又は、位置合わせ処理済基準画像（変形基準画像）の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が、所定の閾値（単に、第２の閾値とも称する。）以下である。
画素選択処理部２０では、上記条件１及び条件２を満足している注目画素を画素値１、満足していない注目画素を画素値０とすることで、入力画像に対応して第２図に示すような二値画像（画素選択結果）を生成し、つまり、画質改善処理に利用する画素を選び出すようにしている。
画素選択処理部２０では、具体的な、第２図の二値画像（画素選択結果）において、白色部分の画素の画素値は１で、当該画素は、画質改善処理に利用する画素として、選択され、また、黒色部分の画素の画素値は０で、画質改善処理に利用する画素として選択されない。つまり、黒色部分の画素は、本発明の「画素選択処理」により取り除く画素である。第２図の二値画像は、マスク画像と考えることができる。
更に、画素選択処理部２０では、必要があれば、第２図の二値画像にローパスフィルタを施し、適切な閾値を用いた二値化処理を行うことにより、画質改善処理に利用する画素の選択を行うことも可能である。
要するに、画素選択処理部２０では、上記条件１及び条件２を満たす注目画素を画質改善処理に利用する画素として選択し、上記条件１及び条件２を満たさない注目画素を取り除くようにすることにより、画素選択を行い、画素選択結果である二値画像（画素値１の画素は画質改善処理に利用する画素を意味し、画素値０の画素は画質改善処理に利用しない画素、即ち、取り除かれる画素を意味する。）と入力画像に基づいて画像合成（マスク合成）を行うことにより、第２図に示すような「画素選択された入力画像」を生成する。
なお、上述した画素選択処理部２０では、閾値の判定処理に基づいて条件１及び条件２を満たしているか否かを判定することにより、つまり画素選択マスクとして２値マスクを用いて画素選択を行うようにしているが、本発明は２値マスクを用いることに限定されることはなく、多値マスク（重み）を利用して画素選択を行うようにすることもできる。要するに、条件１も条件２も、閾値処理ではなく、類似度又は位置ずれの推定量（位置ずれ量）に基づいて、画素選択マスクとして、多値マスク（重み）を生成するようにする。
具体的に、条件１では、注目画素を含む入力画像の小領域と、当該入力画像と基準画像との位置合わせ処理により得られた「位置合わせ処理済基準画像」の対応する小領域の類似度が大きくなれば、第１の多値マスク（第１の重み）の値も大きくなるようにする。また、条件２では、入力画像の小領域又は、位置合わせ処理済基準画像（変形基準画像）の対応する小領域のいずれかを利用した、当該注目画素の位置ずれ量が小さくなれば、第２の多値マスク（第２の重み）の値が大きくなるようにする。
このように、条件１及び条件２では、類似度及び位置ずれ量から、それぞれ多値マスクの値、即ち、第１の重み及び第２の重みが生成される（得られる）。得られた第１の重み及び第２の重みは、適当な演算（例えば、掛け算）により合成される。合成された重み（多値マスク）によって、多値画像（画素選択結果）が得られる。必要があれば、この多値画像にローパスフィルタを施し、適切な閾値を用いた二値化処理を行うことにより、画質改善処理に利用する画素の選択を行うことも可能である。画質改善処理において、注目画素の多値マスクを注目画素の重要度（重み）として利用することができる。
また、上述した本発明の「画素選択処理部２０」の実施形態では、上記条件１及び条件２の満足を画素選択の条件としているが、本発明の「画素選択処理部２０」は、それに限定されることがなく、上記条件１のみを満足する注目画素、又は、上記条件２のみを満足する注目画素を画質改善処理に利用する画素として、選択することも可能である。
次に、明度補正処理部３０で行われる「明度補正処理」について説明する。
明度補正処理部３０で行われる「明度補正処理」とは、当該明度補正処理における入力画像の注目画素の明度が、対応する「位置合わせ処理済基準画像（即ち、変形基準画像）」の画素の明度と等しくなるように、当該明度補正処理における入力画像の当該注目画素の画素値を補正する処理である。
ちなみに、第１図に示す画質改善処理装置１における明度補正処理部３０では、明度補正処理における入力画像は、「画素選択処理部２０」で行われた「画素選択処理」により生成された「画素選択された入力画像」である。
第３図は、本発明の明度補正処理部３０で行われる「明度補正処理」を説明するための模式図である。
第３図に示す明度補正処理部３０で行われる「明度補正処理」は、「画素選択処理部２０」による「画素選択処理」が行われた後に、行う「明度補正処理」であり、即ち、第１図に示す画質改善処理装置１における明度補正処理部３０で行われる「明度補正処理」である。第３図の「明度補正処理」における入力画像とは、「画素選択処理」により生成された「画素選択された入力画像」を意味する。
第３図に示されるように、明度補正処理部３０では、「画素選択された入力画像」の注目画素と、対応する変形基準画像Ｔ’（ｘ，ｙ）の画素の明度を「明度推定処理」によりそれぞれ推定し、推定された明度に基づき、変形基準画像に対する明度画像（第１の明度画像）及び画素選択された入力画像に対する明度画像（第２の明度画像）を生成する。
そして、明度補正処理部３０では、生成された第１の明度画像及び第２の明度画像に基づき、両者の明度比を計算し、「画素選択された入力画像」の注目画素の明度が対応する変形基準画像の画素の明度と等しくなるように、「画素選択された入力画像」の注目画素の画素値を補正する「明度補正処理」を行うことにより、「画素選択及び明度補正された入力画像」を生成する。
ここで、注目画素の明度を推定する方法の具体例として、注目画素を含む小領域の各画素毎に明度を求め、求めた明度を平均化または重み付き平均化することにより、平均化又は重み付き平均化された明度を、当該注目画素の明度として推定する方法が考えられる。対応する変形基準画像の画素の明度も、同じ方法で推定することができる。
また、各画素毎の明度の求め方としては、例えば、六角錘モデルのＨＳＩ色空間のＩを使う方法などがある。六角錘モデルのＨＳＩ色空間のＩは、各画素のＲチャネル、Ｇチャネル又はＢチャネルの画素値の最大値となる（非特許文献５を参照）。
以上は、本発明の画素選択処理部２０で行われる「画素選択処理」及び明度補正処理部３０で行われる「明度補正処理」について詳細に説明した。
第１図に示す画質改善処理装置１における画質改善処理部４０では、明度補正処理部３０で生成された「画素選択及び明度補正された入力画像」に基づき、画質改善処理を行うことにより、高画質な画像を生成する。ちなみに、前述したように、この画質改善処理には、既存の方法を利用する。
また、第１図に示す画質改善処理装置１による画像処理では、画素選択処理部２０による画素選択処理の後に、明度補正処理部３０による明度補正処理が行われる流れとなっているので、画素選択処理部２０による画素選択処理では、明度変化に対して頑強な画素選択方法を用いる。要するに、上記条件１で言う類似度は、明度変化に依存しない類似度を用い、そして、上記条件２で言う位置ずれの推定量は、明度変化に依存しない位置ずれ量の推定方法を用いて推定することが好ましい。
明度変化に依存しない類似度の具体的な好適例としては、例えば、対応する小領域の正規化相互相関が挙げられる。また、明度変化に依存しない位置ずれの推定方法の具体的な好適例としては、例えば、平行移動を仮定して、画素単位の位置ずれにおける正規化相互相関のパラボラフィッティングを利用して、位置ずれ量を推定する方法が挙げられる。
第４図は、本発明に係る画質改善処理装置の第２実施形態を示すブロック構成図である。
第４図に示されたように、本発明の第２実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置２」とも言う。）は、位置合わせ処理部１０と、明度補正処理部３０と、画素選択処理部２０と、画質改善処理部４０とから構成される。
第１図に示す画質改善処理装置１による画像処理では、画素選択処理部２０による「画素選択処理」が行われた後に、明度補正処理部３０による「明度補正処理」を行うという流れとなっているが、本発明による画像処理はそれに限定されることはなく、第４図に示す画質改善処理装置２のように、明度補正処理部３０による「明度補正処理」が行われた後に、画素選択処理部２０による「画素選択処理」を行うことも可能である。
要するに、第４図に示す画質改善処理装置２の位置合わせ処理部１０で行われる「位置合わせ処理」には、第１にに示す画質改善処理装置１の位置合わせ処理部１０による「位置合わせ処理」と同じように、既存の方法を利用する。
また、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」では、画質改善処理装置２の位置合わせ処理部１０の入力でもある「入力画像（入力画像列）」を「明度補正処理における入力画像」とし、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」により生成された画像は、「明度補正された入力画像」となる。
更に、第４図に示す画質改善処理装置２の画素選択処理部２０では、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」により生成された「明度補正された入力画像」を上記条件１及び条件２における「入力画像」とし、即ち、この「明度補正された入力画像」を第２図における「入力画像」とし、第１図に示す画質改善処理装置１の画素選択処理部２０で行われる「画素選択処理」と同じ方法で画素選択を行い、画素選択結果である二値画像と、明度補正された入力画像に基づいて、画像合成（マスク合成）を行うことにより、「画素選択及び明度補正された入力画像」を生成する。
最後に、第４図に示す画質改善処理装置２の画質改善処理部４０では、第４図に示す画質改善処理装置２の画素選択処理部２０で生成された「画素選択及び明度補正された入力画像」に基づき、第１図に示す画質改善処理装置１の画質改善処理部４０による「画質改善処理」と同じように、既存の方法を用い、高画質な画像を生成する。
第５図は、本発明に係る画質改善処理装置の第３実施形態を示すブロック構成図である。第５図に示されたように、本発明の第３実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置３」とも言う。）は、位置合わせ処理部１０と、画素選択処理部２０と、画質改善処理部４０とから構成される。
第５図に示すように、画質改善処理装置３による画像処理では、位置合わせ処理部１０による「位置合わせ処理」が行われた後に、明度補正処理を行わずに、画素選択処理部２０による「画素選択処理」を行い、その画素選択処理により生成された「画素選択された入力画像」に基づき、画質改善処理部４０による「画質改善処理」を行い、高画質な画像を生成する。ちなみに、第５図に示す画質改善処理装置３の画素選択処理部２０で行われる「画素選択処理」の入力と出力は、第１図に示す画質改善処理装置１の画素選択処理部２０で行われる「画素選択処理」のそれらと同じである。
第６図は、本発明に係る画質改善処理装置の第４実施形態を示すブロック構成図である。第６図に示されたように、本発明の第４実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置４」とも言う。）は、位置合わせ処理部１０と、明度補正処理部３０と、画質改善処理部４０とから構成される。
第６図に示すように、画質改善処理装置４による画像処理では、位置合わせ処理部１０による「位置合わせ処理」が行われた後に、画素選択処理を行わずに、明度補正処理部３０による「明度補正処理」を行い、その明度補正処理により生成された「明度補正された入力画像」に基づき、画質改善処理部４０による「画質改善処理」を行い、高画質な画像を生成する。ちなみに、第６図に示す画質改善処理装置４の明度補正処理部３０で行われる「明度補正処理」の入力と出力は、第４図に示す画質改善処理装置２の明度補正処理部３０で行われる「明度補正処理」のそれらと同じである。
以上をまとめると、本発明に係る「画素選択及び明度補正を利用した画質改善処理」とは、第１図に示す画質改善処理装置１による画像処理、又は第４図に示す画質改善処理装置２による画像処理を意味し、また、本発明に係る「画素選択を利用した画質改善処理」とは、第５図に示す画質改善処理装置３による画像処理を意味し、そして、本発明に係る「明度補正を利用した画質改善処理」とは、第６図に示す画質改善処理装置４による画像処理を意味する。
第７図は、本発明に係る画質改善処理装置の第５実施形態を示すブロック構成図である。
第７図に示されたように、本発明の第５実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置５」とも言う。）は、基準画像前処理付位置合わせ処理部１１と、入力画像前処理付画素選択処理部２１と、明度補正処理部３０と、画質改善処理部４０とから構成される。
本発明の画質改善処理装置５では、まず、基準画像前処理付位置合わせ処理部１１が、基準画像前処理が施された基準画像（以下、単に「前処理済基準画像」という。）及び入力画像（入力画像列）に基づき、前処理済基準画像と入力画像との間の「位置合わせ処理」を行い、次に、入力画像前処理付画素選択処理部２１が、位置合せ処理後の前処理済基準画像（以下、単に「変形前処理済基準画像」という。）と、入力画像前処理が施された入力画像（以下、単に「前処理済入力画像」という。）と、入力画像とに基づき、画質改善処理に適する画素を選択する「画素選択処理」を行い、そして、明度補正処理部３０が、画素選択された入力画像の画素に対して、当該入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、明度補正を行う「明度補正処理」を行い、最後に、画質改善処理部４０が、画素選択及び明度補正された画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
画質改善処理装置５の明度補正処理部３０で行われる「明度補正処理」及び画質改善処理部４０で行われる「画質改善処理」は、画質改善処理装置１の明度補正処理部３０で行われる「明度補正処理」及び画質改善処理部４０で行われる「画質改善処理」と同様であるため、それらの処理の説明は省略する。
ここで、画質改善処理装置５の基準画像前処理付位置合わせ処理部１１で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部２１で行われる「画素選択処理」について説明する。
第８図は、本発明の基準画像前処理付位置合わせ処理部１１で行われる「位置合わせ処理」及び入力画像前処理付画素選択処理部２１で行われる「画素選択処理」を説明するための模式図である。
第８図に示されるように、まず、基準画像前処理付位置合わせ処理部１１では、基準画像Ｔ（ｘ，ｙ）に基準画像前処理を行う（施す）ことにより、前処理済基準画像を生成し、生成された前処理済基準画像と、入力画像列におけるｋ番目の入力画像Ｉｋ（ｘ，ｙ）（第８図に図示せず）とに基づき、位置合わせ処理（変形）を行うことにより、つまり、ｋ番目の入力画像Ｉｋ（ｘ，ｙ）（入力画像）に一致するように、前処理済基準画像を変形させることにより、変形前処理済基準画像を生成する。
つまり、基準画像前処理付位置合わせ処理部１１では、前処理済基準画像と入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像が生成される（得られる）。ちなみに、この位置合わせ処理（変形処理）には、既存の方法を利用する。
ただし、本発明では、入力画像に対する前処理済基準画像の変形は完全であるとは限らず、つまり、基準画像前処理付位置合わせ処理部１１で行われる、前処理済基準画像・入力画像間の位置合わせ処理は必ず精密に行われたとは限らず、位置合わせ誤差を含んでいたり、遮蔽（遮蔽領域）が存在したりする場合もある。
次に、位置合わせ処理（変形）が行われた後に、入力画像前処理付画素選択処理部２１で行われる「画素選択処理」を詳細に説明する。入力画像前処理付画素選択処理部２１で行われる「画素選択処理」とは、画質改善処理部４０で行われる「画質改善処理」に利用する画素、即ち、画質改善処理に適する画素を選び出す処理である。
入力画像前処理付画素選択処理部２１では、まず、入力画像に入力画像前処理を行う（施す）ことにより、前処理済入力画像を生成する。
ここで、入力画像前処理付画素選択処理部２１において、入力画像のある位置（ｘ，ｙ）の画素（注目画素）について、画素選択処理を行う場合について説明する。
つまり、入力画像前処理付画素選択処理部２１では、注目画素の周辺の小領域に対して、下記２つの条件を満足している場合、当該注目画素を「画質改善処理に利用する画素」として選択する。
条件Ａ：
注目画素を含む前処理済入力画像の小領域と、変形前処理済基準画像の対応する小領域の類似度が、所定の閾値（第１の閾値）以上である。
条件Ｂ：
前処理済入力画像の小領域又は、変形前処理済基準画像の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が、所定の閾値（第２の閾値）以下である。
入力画像前処理付画素選択処理部２１では、上記条件Ａ及び条件Ｂを満足している注目画素を画素値１、満足していない注目画素を画素値０とすることで、入力画像に対応して第８図に示すような二値画像（前処理付画素選択結果）を生成し、つまり、画質改善処理に利用する画素を選び出すようにしている。
要するに、入力画像前処理付画素選択処理部２１では、上記条件Ａ及び条件Ｂを満たす注目画素を画質改善処理に利用する画素として選択し、上記条件Ａ及び条件Ｂを満たさない注目画素を取り除くようにすることにより、画素選択を行い、前処理付画素選択結果である二値画像（画素値１の画素は画質改善処理に利用する画素を意味し、画素値０の画素は画質改善処理に利用しない画素、即ち、取り除かれる画素を意味する。）と入力画像（入力画像前処理を施す前の入力画像）に基づいて画像合成（マスク合成）を行うことにより、第８図に示すような「画素選択された入力画像」を生成する。
つまり、入力画像前処理付画素選択処理部２１で行われる「画素選択処理」では、入力画像前処理された入力画像（前処理済入力画像）と位置合わせ処理後の基準画像前処理された基準画像（変形前処理済基準画像）に基づき、画素選択処理を行うことによりマスクを生成し、そして、生成されたマスクと入力画像（入力画像前処理されていない入力画像）とに基づき、画素選択された入力画像を生成することを特徴としている。
なお、第８図に、基準画像前処理として、ローパスフィルタ処理及びテクスチャ判定処理（つまり、ローパスフィルタ処理を施した後にテクスチャ判定処理を行うとの処理流れ）を用い、また、入力画像前処理として、ローパスフィルタ処理のみを用いるという具体的な例を示しているが、本発明はそれに限定されることはなく、例えば、基準画像前処理としてローパスフィルタ処理のみを用い、また、入力画像前処理としてもローパスフィルタ処理のみを用いるようにしても良く、そのほかにも一般的な画像処理が、基準画像前処理及び入力画像前処理として利用可能である。
テクスチャ判定処理は、基準画像の注目画素周辺の小領域毎にテクスチャを判定することにより、基準画像の注目画素周辺においてテクスチャが所定の閾値以上の画素を選択し、選択した画素を利用して２値マスクを生成する。テクスチャ判定処理には、小領域内の画素値の分散が閾値以上などの各種方法が利用可能である。
テクスチャ判定処理の一具体例として、ある２次元の画像座標（ｘ，ｙ）に対応する画素について、下記数１の数式の値ｆ（ｘ）が所定の閾値以上であることにより、その画素を選択するように、テクスチャ判定処理を行う。
ちなみに、第８図の前処理済基準画像と変形前処理済基準画像では、黒く表されている画素はテクスチャ判定処理により、テクスチャが少ないと判定された画素（即ち、テクスチャ判定処理により選択されていない画素）を表している。
なお、上述したテクスチャ判定処理で生成したマスクは、２値マスクであるが、本発明のテクスチャ判定処理はそれに限定されることはなく、多値マスクを生成するようにしても良く、例えば、テクスチャが強いほど、多値マスクの値が大きくなるように多値マスクを設定する。
画質改善処理において、注目画素の多値マスクを注目画素の重要度（重み）の指標として利用することができる。
また、本発明では、第７図に示す画質改善処理装置５において、その明度補正処理部３０（明度補正処理部３０による明度補正処理）を省略することも可能である。
なお、画素選択処理部２０と同じように、入力画像前処理付画素選択処理部２１でも、上述のように２値マスクを用いて画素選択を行うようにしても良く、また、多値マスク（重み）を利用して画素選択を行うようにしても良い。
また、上述した本発明の「入力画像前処理付画素選択処理部２１」の実施形態では、上記条件Ａ及び条件Ｂの満足を画素選択の条件としているが、本発明の「入力画像前処理付画素選択処理部２１」は、それに限定されることがなく、上記条件Ａのみを満足する注目画素、又は、上記条件Ｂのみを満足する注目画素を画質改善処理に利用する画素として、選択することも可能である。
第９図は、本発明に係る画質改善処理装置の第６実施形態を示すブロック構成図である。
第９図に示されたように、本発明の第６実施形態に係る「画質改善処理装置」（以下、単に「画質改善処理装置６」とも言う。）は、基準画像前処理付位置合わせ処理部１１と、入力画像前処理付画素選択処理部２１と、明度補正処理部３０と、画素位置補正処理部３５と、画質改善処理部４０とから構成される。
第９図と第７図を比較すれば分かるように、第７図に示す画質改善処理装置５に「画素位置補正処理部３５」を追加することにより、第９図に示す画質改善処理装置６が得られる。
画質改善処理装置６による画像処理の流れや画像処理の内容は、基本的に、画質改善処理装置５のものと同じであるため、それらの説明は省略する。ここで、画質改善処理装置５にはなく、画質改善処理装置６に備えられた、「画素位置補正処理」を行う「画素位置補正処理部３５」について説明する。
画質改善処理装置６における「画素位置補正処理部３５」では、「入力画像前処理付画素選択処理部２１」で画素毎に推定された位置ずれの推定量に基づき、明度補正処理部３０からの画素選択及び明度補正された入力画像の各画素の位置を補正するように、「画素位置補正処理」を行う。
そして、画質改善処理装置６における「画質改善処理部４０」では、「画素位置補正処理部３５」からの画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、「画質改善処理」を行うことにより、高画質な画像を生成する。
なお、第９図に示す画質改善処理装置６に対して、画素位置補正処理部３５と明度補正処理部３０の接続順番を入れ替えること、又は明度補正処理部３０を省略することも可能である。また、第９図に示す画質改善処理装置６に対して、「入力画像前処理付画素選択処理部２１」の代わりに、第１図の「画素選択処理部２０」を利用することも可能である。
つまり、本発明では、「画素選択処理部２０」又は「入力画像前処理付画素選択処理部２１」で行われる画素選択処理により、小領域毎に位置ずれ量が再推定されるので、そこで、「画素位置補正処理部３５」では、再推定された位置ずれ量に基づき、注目画素の画素位置を補正することにより、画素位置補正処理を行う。
上述した本発明に係る画質改善処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアにより実装されることも勿論できる。
本発明の効果を検証するために、下記の実施例を実施した。
ベイヤーカラーフィルタを有するディジタルカメラを利用して、３０枚の画像を撮影し、撮影した全ての画像をフルカラー化した。即ち、本発明を適用する際に、３０フレームのフルカラー化した画像（以下、観測画像とも言う。）からなる入力画像列が存在する。また、本実施例において、画質改善処理として、超解像処理（高解像度化処理）を用いる。
この入力画像列の初期フレーム（１フレーム目）の画像を基準画像に設定し、基準画像を除いて、２フレーム目の画像〜３０フレーム目の画像を入力画像として、第１図に示す「本発明の第１実施形態に係る画質改善処理装置」を用いて画像処理を行い、高画質な画像を生成した。
基準画像と入力画像との位置合わせ処理には、画像全体に対して濃度勾配法を利用した。また、画素選択処理では、注目画素周辺の小領域の大きさを１５ピクセル×１５ピクセルにし、上記条件１における類似度には、正規化相互相関を利用し、所定の閾値（第１の閾値）は０．９９とした。また、上記条件２における位置ずれの推定においては、小領域の大きさを１５ピクセル×１５ピクセルとし、類似度に正規化相互相関を用いたパラボラフィッティングによるサブピクセル推定を行い、位置ずれ量の閾値（第２の閾値）を０．５とした。
さらに、上記のような条件により選択された画素の画素値を１、選択されなかった画素の画素値を０として得られた二値画像に対して、大きさ９ピクセル×９ピクセルの平均化フィルタを施し、閾値を０．２とした二値化処理を行い、最終的な画素選択結果とした。つまり、この最終的な画素選択結果をマスク画像として、当該マスク画像と入力画像とに基づき、画像合成（マスク合成）を行い、画素選択された入力画像を生成する。
明度補正処理では、生成された「画素選択された入力画像」および「位置合わせ処理済基準画像」の各画素に関して、六角錐モデルの明度を計算し、求められた明度画像（第１の明度画像及び第２の明度画像）に大きさ５ピクセル×５ピクセルの平均化フィルタを施すことにより、明度を推定した。このように推定された「画素選択された入力画像」の各画素の明度が、「位置合わせ処理済基準画像」の対応する画素の明度と一致するように、「画素選択された入力画像」の画素を補正した。このような明度補正処理により、「画素選択及び明度補正された入力画像」を生成する。
以上のように、生成された「画素選択及び明度補正された入力画像」に基づき、換言すれば、観測画像である入力画像から画素選択され、更に明度補正された画素を利用して、高解像度化処理を行った。高解像度化処理には既存の手法を利用し、倍率を４×４とした。
観測画像のうち基準画像とした画像を第１０図（Ａ）に、画素選択及び明度補正を利用していない従来の超解像処理方法による高解像度化処理結果を第１０図（Ｂ）に、第１図に示す本発明に係る「画素選択及び明度補正を利用した画質改善処理」による高解像度化処理結果を第１０図（Ｃ）に、それぞれ示す。
第１０図から、従来の方法を用いた場合には、遮蔽の影響により正しく高解像度化が行われていないのに対して、本発明に係る画質改善処理装置（画質改善処理方法）を用いた場合には、遮蔽の影響のない高解像度化が行われていることが確認された。
本発明は、位置合わせが不正確な領域（即ち、位置合わせ誤差の大きい領域）や遮蔽領域を判断して該当する領域を取り除いた上で、画質改善処理に適する画素を選択する「画素選択処理」、画素選択された画素に対して、入力画像の画素値を対応する基準画像の明度と一致するように明度補正を行う「明度補正処理」を最も顕著な技術特徴としている。
かかる技術特徴を有する本発明によれば、画質改善処理に適する画素として、選択された画素を利用して、画質改善処理を行うようにしているため、位置合わせ処理があまり精密に行われていない場合においても、画質改善処理結果に不自然なノイズは発生せず、所望の高画質な画像が得られるという優れた効果を奏する。
つまり、本発明の「画素選択処理」に使用された手法は、位置合わせ誤差に対して非常に頑強であるため、実用上の有用性は極めて大きい。例えば、本発明を適用することにより、「ＭＰＥＧなどの動画像にあらかじめ埋め込まれている移動量情報を利用して、画質改善処理を行う」といった応用が高く期待される。画質改善処理として、例えば、高解像度化処理やノイズ低減処理などが考えられる。
さらに、遮蔽が生じる際、遮蔽物体の影が対象領域に生じることが多い。しかし、本発明の「画素選択処理」に使用された手法は、影による明度変化に対して頑強な画素選択方法でもあるため、画素選択処理の後、画素選択された画素の明度を補正して、画素選択及び明度補正された画素に基づき、画質改善処理を行うことにより、影により明度が変化した領域も利用して画質改善処理をすることにより、高画質な画像を得ることができる。
＜参考文献一覧＞
ダブリュ．チャオ（Ｗ．Ｚｈａｏ）、エイチ．エス．サウネイ（Ｈ．Ｓ．Ｓａｗｈｎｅｙ）共著，「イズ スーパー・レゾルーション ウィズ オプティカル フロー フィージブル？（Ｉｓ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｆｅａｓｉｂｌｅ？）」，プロック．ユーロ．コンフ．コンピュータ ビジョン レクチャー ノート イン コンピュータ サイエンス：シュプリンガー・バーラグ（Ｐｒｏｃ．Ｅｕｒｏ．Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ：Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），第２３５０巻，ｐ．５９９−６１３，２００２年 ゼッド．エイ．イワノフスキー（Ｚ．Ａ．Ｉｖａｎｏｖｓｋｉ）、エル．パノフスキー（Ｌ．Ｐａｎｏｖｓｋｉ）、エル．ジェー．カラム（Ｌ．Ｊ．Ｋａｒａｍ）共著，「ロバスト スーパー・レゾルーション ベーセド オン ピクセル・レベル セレクテビティ（Ｒｏｂｕｓｔ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｉｘｅｌ−ｌｅｖｅｌ ｓｅｌｅｃｔｉｖｉｔｙ）」，ビジュアル コミュニケーションズ アンド イメージ プロセシング ２００６（Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００６），プロック．オフ ＳＰＩＥ−ＩＳ＆Ｔ エレクトロニック イメージング（Ｐｒｏｃ．ｏｆ ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ），ＳＰＩＥ第６０７７巻，２００６年 戸田真人・塚田正人・井上晃共著，「レジストレーション誤差を考慮した超解像処理」，プロック．ＦＩＴ ２００６（Ｐｒｏｃ．ＦＩＴ ２００６），ｐ．６３−６４，２００６年 張馴槿・清水雅夫・奥富正敏共著，「照明変化やオクルージョンにロバストな領域選択２段階レジストレーション」，画像の認識・理解シンポジウム（ＭＩＲＵ２００６）論文集，ｐ．２２９−２３４，２００６年７月 奥富正敏・他著編，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年
かかる技術特徴を有する本発明によれば、画質改善処理に適する画素として、選択された画素を利用して、画質改善処理を行うようにしているため、位置合わせ処理があまり精密に行われていない場合においても、画質改善処理結果に不自然なノイズは発生せず、所望の高画質な画像が得られるという優れた効果を奏する。
つまり、本発明の「画素選択処理」に使用された手法は、位置合わせ誤差に対して非常に頑強であるため、実用上の有用性は極めて大きい。例えば、本発明を適用することにより、「ＭＰＥＧなどの動画像にあらかじめ埋め込まれている移動量情報を利用して、画質改善処理を行う」といった応用が高く期待される。画質改善処理として、例えば、高解像度化処理やノイズ低減処理などが考えられる。
さらに、遮蔽が生じる際、遮蔽物体の影が対象領域に生じることが多い。しかし、本発明の「画素選択処理」に使用された手法は、影による明度変化に対して頑強な画素選択方法でもあるため、画素選択処理の後、画素選択された画素の明度を補正して、画素選択及び明度補正された画素に基づき、画質改善処理を行うことにより、影により明度が変化した領域も利用して画質改善処理をすることにより、高画質な画像を得ることができる。
＜参考文献一覧＞
ダブリュ．チャオ（Ｗ．Ｚｈａｏ）、エイチ．エス．サウネイ（Ｈ．Ｓ．Ｓａｗｈｎｅｙ）共著，「イズ スーパー・レゾルーション ウィズ オプティカル フロー フィージブル？（Ｉｓ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｆｅａｓｉｂｌｅ？）」，プロック．ユーロ．コンフ．コンピュータ ビジョン レクチャー ノート イン コンピュータ サイエンス：シュプリンガー・バーラグ（Ｐｒｏｃ．Ｅｕｒｏ．Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ：Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），第２３５０巻，ｐ．５９９−６１３，２００２年 ゼッド．エイ．イワノフスキー（Ｚ．Ａ．Ｉｖａｎｏｖｓｋｉ）、エル．パノフスキー（Ｌ．Ｐａｎｏｖｓｋｉ）、エル．ジェー．カラム（Ｌ．Ｊ．Ｋａｒａｍ）共著，「ロバスト スーパー・レゾルーション ベーセド オン ピクセル・レベル セレクテビティ（Ｒｏｂｕｓｔ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｉｘｅｌ−ｌｅｖｅｌ ｓｅｌｅｃｔｉｖｉｔｙ）」，ビジュアル コミュニケーションズ アンド イメージ プロセシング ２００６（Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００６），プロック．オフ ＳＰＩＥ−ＩＳ＆Ｔ エレクトロニック イメージング（Ｐｒｏｃ．ｏｆ ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ），ＳＰＩＥ第６０７７巻，２００６年 戸田真人・塚田正人・井上晃共著，「レジストレーション誤差を考慮した超解像処理」，プロック．ＦＩＴ ２００６（Ｐｒｏｃ．ＦＩＴ ２００６），ｐ．６３−６４，２００６年 張馴槿・清水雅夫・奥富正敏共著，「照明変化やオクルージョンにロバストな領域選択２段階レジストレーション」，画像の認識・理解シンポジウム（ＭＩＲＵ２００６）論文集，ｐ．２２９−２３４，２００６年７月 奥富正敏・他著編，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年
Claims (36)
- 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、
前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、
前記画素選択処理部で生成された、画素選択された入力画像の画素の明度が、対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、
前記明度補正処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、
前記位置合わせ処理部で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理部と、
前記画素選択処理部で生成された、画素選択された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 条件１とは、注目画素を含む前記入力画像の小領域と、前記位置合わせ処理済基準画像の対応する小領域の類似度が第１の閾値以上であることであり、
条件２とは、前記入力画像の小領域又は、前記位置合わせ処理済基準画像の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が第２の閾値以下であることであり、
前記所定の条件とは、前記条件２、又は、前記条件１及び条件２であり、
前記画素選択処理部では、前記所定の条件を満たす前記注目画素を前記画質改善処理に利用する画素として選択し、前記所定の条件を満たさない前記注目画素を取り除くようにすることにより、画素選択を行う請求の範囲第１項又は請求の範囲第２項に記載の画質改善処理装置。 - 前記条件１における類似度は、対応する小領域の正規化相互相関を利用する、明度変化に依存しない類似度であり、
前記条件２における位置ずれの推定量は、平行移動を仮定した正規化相互相関のパラボラフィッティングを利用する、明度変化に依存しない位置ずれの推定方法によって推定される請求の範囲第３項に記載の画質改善処理装置。 - 前記画素選択結果は二値画像であり、前記二値画像に、ローパスフィルタを施し、適切な閾値を用いた二値化処理を行う請求の範囲第７項乃至請求の範囲第４項の何れかに記載の画質改善処理装置。
- 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、
前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、
前記明度補正された入力画像と、前記位置合わせ処理済基準画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記明度補正された入力画像とに基づいて画像合成を行うことにより、画素選択及び明度補正された入力画像を生成する、画素選択処理部と、
前記画素選択処理部で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 条件１とは、注目画素を含む前記明度補正された入力画像の小領域と、前記位置合わせ処理済基準画像の対応する小領域の類似度が第１の閾値以上であることであり、
条件２とは、前記明度補正された入力画像の小領域又は、前記位置合わせ処理済基準画像の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が第２の閾値以下であることであり、
前記所定の条件とは、前記条件２、又は、前記条件１及び条件２であり、
前記画素選択処理部では、前記所定の条件を満たす前記注目画素を前記画質改善処理に利用する画素として選択し、前記所定の条件を満たさない前記注目画素を取り除くようにすることにより、画素選択を行う請求の範囲第６項に記載の画質改善処理装置。 - 前記条件１における類似度は、対応する小領域の正規化相互相関を利用する、明度変化に依存しない類似度であり、
前記条件２における位置ずれの推定量は、平行移動を仮定した正規化相互相関のパラボラフィッティングを利用する、明度変化に依存しない位置ずれの推定方法によって推定される請求の範囲第７項に記載の画質改善処理装置。 - 前記画素選択結果は二値画像であり、前記二値画像に、ローパスフィルタを施し、適切な閾値を用いた二値化処理を行う請求の範囲第１２項乃至請求の範囲第８項の何れかに記載の画質改善処理装置。
- 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理部と、
前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理部と、
前記明度補正処理部で生成された、明度補正された入力画像に基づき、画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理ステップと、
前記位置合わせ処理ステップで生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理ステップと、
画素選択処理ステップで生成された、画素選択された入力画像の画素の明度が、対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理ステップと、
明度補正処理ステップで生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理ステップと、
前記位置合わせ処理ステップで生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、画素選択処理ステップと、
画素選択処理ステップで生成された、画素選択された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理ステップと、
前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理ステップと、
前記明度補正された入力画像と、前記位置合わせ処理済基準画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記明度補正された入力画像とに基づいて画像合成を行うことにより、画素選択及び明度補正された入力画像を生成する、画素選択処理ステップと、
画素選択処理ステップで生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する、位置合わせ処理ステップと、
前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する、明度補正処理ステップと、
明度補正処理ステップで生成された、明度補正された入力画像に基づき、画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成するための画質改善処理プログラムであって、
Ａ１．前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する手順と、
Ａ２．手順Ａ１で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する手順と、
Ａ３．手順Ａ２で生成された、画素選択された入力画像の画素の明度が、対応する位置合わせ処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する手順と、
Ａ４．手順Ａ３で生成された、画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する手順と、
をコンピュータに実行させるためのプログラム。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成するための画質改善処理プログラムであって、
Ｂ１．前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する手順と、
Ｂ２．手順Ｂ１で生成された位置合わせ処理済基準画像と、前記入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する手順と、
Ｂ３．手順Ｂ２で生成された、画素選択された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する手順と、
をコンピュータに実行させるためのプログラム。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成するための画質改善処理プログラムであって、
Ｃ１．前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する手順と、
Ｃ２．前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する手順と、
Ｃ３．前記明度補正された入力画像と、前記位置合わせ処理済基準画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記明度補正された入力画像とに基づいて画像合成を行うことにより、画素選択及び明度補正された入力画像を生成する手順と、
Ｃ４．手順Ｃ３で生成された画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する手順と、
をコンピュータに実行させるためのプログラム。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成するための画質改善処理プログラムであって、
Ｄ１．前記基準画像と前記入力画像との位置合わせ処理を行うことにより、位置合わせ処理済基準画像を生成する手順と、
Ｄ２．前記入力画像の画素の明度が、対応する前記位置合わせ処理済基準画像の画素の明度と等しくなるように、当該入力画像の画素の画素値を補正することにより、明度補正された入力画像を生成する手順と、
Ｄ３．手順Ｄ２で生成された明度補正された入力画像に基づき、画質改善処理を行うことにより、前記高画質な画像を生成する手順と、
をコンピュータに実行させるためのプログラム。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、
前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、
前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、
前記画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理装置であって、
前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理部と、
前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理部と、
前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理部と、
前記入力画像前処理付画素選択処理部で画素毎に推定された位置ずれの推定量に基づき、前記明度補正処理部で生成された画素選択及び明度補正された入力画像の各画素の位置を補正する、画素位置補正処理部と、
前記画素位置補正処理部からの画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理部と、
を備えることを特徴とする画質改善処理装置。 - 条件Ａとは、注目画素を含む前記前処理済入力画像の小領域と、前記変形前処理済基準画像の対応する小領域の類似度が第１の閾値以上であることであり、
条件Ｂとは、前記前処理済入力画像の小領域又は、前記変形前処理済基準画像の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が第２の閾値以下であることであり、
前記所定の条件とは、前記条件Ｂ、又は、前記条件Ａ及び条件Ｂであり、
前記入力画像前処理付画素選択処理部では、前記所定の条件を満たす前記注目画素を前記画質改善処理に利用する画素として選択し、前記所定の条件を満たさない前記注目画素を取り除くようにすることにより、画素選択を行う請求の範囲第１９項又は請求の範囲第２０項に記載の画質改善処理装置。 - 前記条件Ａにおける類似度は、対応する小領域の正規化相互相関を利用する、明度変化に依存しない類似度であり、
前記条件Ｂにおける位置ずれの推定量は、平行移動を仮定した正規化相互相関のパラボラフィッティングを利用する、明度変化に依存しない位置ずれの推定方法によって推定される請求の範囲第２１項に記載の画質改善処理装置。 - 前記基準画像前処理として、ローパスフィルタ処理及びテクスチャ判定処理を用い、前記入力画像前処理として、ローパスフィルタ処理を用いる請求の範囲第１９項乃至請求の範囲第２２項の何れかに記載の画質改善処理装置。
- 前記テクスチャ判定処理は、基準画像の注目画素周辺の小領域毎にテクスチャを判定することにより、基準画像の注目画素周辺においてテクスチャが所定の閾値以上の画素を選択し、選択した画素を利用して２値マスクを生成する請求の範囲第２３項に記載の画質改善処理装置。
- 前記テクスチャ判定処理は、ある２次元の画像座標（ｘ，ｙ）に対応する画素について、
ただし、ｘ，ｙは２次元の画像座標を、Ｓ（ｘ）は画像座標ｘの周辺の画像座標の集合を、Ｉ（ｘ）は画像座標ｘにおける画素値情報を、Ｉ（ｙ）は画像座標ｙにおける画素値情報を、ｄ（Ｉ（ｘ），Ｉ（ｙ））は画素値情報Ｉ（ｘ）とＩ（ｙ）との距離関数を、ｔは画素値情報の距離に関する閾値をそれぞれ表し、
上記の数式の値ｆ（ｘ）が所定の閾値以上であることにより、その画素を選択するように、テクスチャ判定処理を行う請求の範囲第２３項に記載の画質改善処理装置。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理ステップと、
前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理ステップと、
前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理ステップと、
前記画素選択及び明度補正された入力画像に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 基準画像及び１枚以上の入力画像に基づき、高画質な画像を生成する画質改善処理方法であって、
前記基準画像に対し基準画像前処理を施すことにより得られた前処理済基準画像と前記入力画像との位置合わせ処理を行うことにより、変形前処理済基準画像を生成する、基準画像前処理付位置合わせ処理ステップと、
前記変形前処理済基準画像と、前記入力画像に対し入力画像前処理を施すことにより得られた前処理済入力画像とに基づき、所定の条件により画質改善処理に利用する画素を選択し、画素選択結果と、前記入力画像とに基づいて画像合成を行うことにより、画素選択された入力画像を生成する、入力画像前処理付画素選択処理ステップと、
前記画素選択された入力画像の画素の明度が、対応する変形前処理済基準画像の画素の明度と等しくなるように、当該画素選択された入力画像の画素の画素値を補正することにより、画素選択及び明度補正された入力画像を生成する、明度補正処理ステップと、
前記入力画像前処理付画素選択処理ステップで画素毎に推定された位置ずれの推定量に基づき、前記明度補正処理ステップで生成された画素選択及び明度補正された入力画像の各画素の位置を補正する、画素位置補正処理ステップと、
前記画素位置補正処理ステップで得られた画素位置補正済の画素選択及び明度補正された入力画像の各画素に基づき、前記画質改善処理を行うことにより、前記高画質な画像を生成する、画質改善処理ステップと、
を有することを特徴とする画質改善処理方法。 - 入力画像と、前記入力画像に位置合わせした基準画像の対応するそれぞれの画素について、位置ずれの推定量、又は、類似度及び前記位置ずれの推定量に基づき、前記画素を選択する画素選択処理を行い、選択された画素を利用して画質改善処理を行うことを特徴とする画質改善処理装置。
- 入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、前記入力画像の画素の画素値を補正し、明度補正された画素を利用して画質改善処理を行うことを特徴とする画質改善処理装置。
- 入力画像と、前記入力画像に位置合わせした基準画像の対応するそれぞれの画素について、明度変化に影響されない位置ずれの推定量、又は、明度変化に影響されない類似度及び前記位置ずれの推定量に基づき、前記画素を選択する画素選択処理を行い、選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正し、選択・明度補正された画素を利用して画質改善処理を行うことを特徴とする画質改善処理装置。
- 前記画素選択処理により得られた画素選択結果である二値画像に、ローパスフィルタを施し、適切な閾値を用いた二値化処理を行う請求の範囲第２８項又は請求の範囲第３０項に記載の画質改善処理装置。
- 前記類似度は対応する小領域の正規化相互相関を利用するものである請求の範囲第２８項、請求の範囲第３０項又は請求の範囲第３１項の何れかに記載の画質改善処理装置。
- 前記位置ずれの推定量は、平行移動を仮定した正規化相互相関のパラボラフィッティングを利用する位置ずれの推定方法によって推定される請求の範囲第２８項、請求の範囲第３０項又は請求の範囲第３１項の何れかに記載の画質改善処理装置。
- 入力画像と、前記入力画像に位置合わせした基準画像の対応するそれぞれの画素について、位置ずれの推定量、又は、類似度及び前記位置ずれの推定量に基づき、前記画素を選択する画素選択処理を行い、選択された画素を利用して画質改善処理を行うことを特徴とする画質改善処理方法。
- 入力画像の画素の明度を対応する基準画像の画素の明度と一致するように、前記入力画像の画素の画素値を補正し、明度補正された画素を利用して画質改善処理を行うことを特徴とする画質改善処理方法。
- 入力画像と、前記入力画像に位置合わせした基準画像の対応するそれぞれの画素について、明度変化に影響されない位置ずれの推定量、又は、明度変化に影響されない類似度及び前記位置ずれの推定量に基づき、前記画素を選択する画素選択処理を行い、選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正し、選択・明度補正された画素を利用して画質改善処理を行うことを特徴とする画質改善処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007038006 | 2007-02-19 | ||
| JP2007038006 | 2007-02-19 | ||
| PCT/JP2008/053124 WO2008102898A1 (ja) | 2007-02-19 | 2008-02-19 | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2008102898A1 true JPWO2008102898A1 (ja) | 2010-05-27 |
Family
ID=39710168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009500260A Withdrawn JPWO2008102898A1 (ja) | 2007-02-19 | 2008-02-19 | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20100040304A1 (ja) |
| JP (1) | JPWO2008102898A1 (ja) |
| WO (1) | WO2008102898A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010108161A (ja) * | 2008-10-29 | 2010-05-13 | Pioneer Electronic Corp | 画像処理装置及び方法、並びにコンピュータプログラム |
| WO2011078244A1 (ja) * | 2009-12-24 | 2011-06-30 | シャープ株式会社 | 多眼撮像装置および多眼撮像方法 |
| JP5645052B2 (ja) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | 画像処理装置 |
| JP5645051B2 (ja) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | 画像処理装置 |
| US8989474B2 (en) | 2010-03-18 | 2015-03-24 | Konica Minolta Medical & Graphic, Inc. | X-ray image capturing system |
| US8879835B2 (en) * | 2011-08-26 | 2014-11-04 | Adobe Systems Incorporated | Fast adaptive edge-aware matting |
| JP6012167B2 (ja) * | 2011-11-29 | 2016-10-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3530652B2 (ja) * | 1995-09-26 | 2004-05-24 | キヤノン株式会社 | 画像合成方法及び画像合成装置 |
| JP3695119B2 (ja) * | 1998-03-05 | 2005-09-14 | 株式会社日立製作所 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
| JP4170767B2 (ja) * | 2001-04-19 | 2008-10-22 | 株式会社東芝 | 画像処理装置 |
| JP4429816B2 (ja) * | 2004-06-10 | 2010-03-10 | オリンパス株式会社 | 撮像装置および画像の高解像度化方法 |
-
2008
- 2008-02-19 JP JP2009500260A patent/JPWO2008102898A1/ja not_active Withdrawn
- 2008-02-19 WO PCT/JP2008/053124 patent/WO2008102898A1/ja active Application Filing
-
2009
- 2009-08-18 US US12/543,191 patent/US20100040304A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008102898A1 (ja) | 2008-08-28 |
| US20100040304A1 (en) | 2010-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7680354B2 (en) | Image deblur based on two images | |
| JP4480760B2 (ja) | 画像データ処理方法および画像処理装置 | |
| US20100123792A1 (en) | Image processing device, image processing method and program | |
| US20120008005A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon | |
| US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
| US20090324135A1 (en) | Image processing apparatus, image processing method, program and recording medium | |
| JPWO2008102898A1 (ja) | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム | |
| US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
| JP2007072573A (ja) | 画像処理装置及び画像処理方法 | |
| WO2015159581A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN1734500A (zh) | 利用基于模型的稳健贝叶斯估算计算较高分辨率图像 | |
| JP2009545794A (ja) | 動き解析への用途を有するスパース積分画像記述子 | |
| JP6236259B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| CN106169173B (zh) | 一种图像插值方法 | |
| JP2012208553A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5437414B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4839448B2 (ja) | 複数領域に対応した画質改善処理方法及び画質改善処理プログラム | |
| JP2019169000A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN111932594B (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
| Gaidhani | Super-resolution | |
| US8571356B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| WO2016051716A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
| JP2008003683A (ja) | 画像生成装置及びその方法並びに記録媒体 | |
| JP5498970B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110510 |