JP5500163B2 - 画像処理システム、画像処理方法および画像処理プログラム - Google Patents

画像処理システム、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP5500163B2
JP5500163B2 JP2011500530A JP2011500530A JP5500163B2 JP 5500163 B2 JP5500163 B2 JP 5500163B2 JP 2011500530 A JP2011500530 A JP 2011500530A JP 2011500530 A JP2011500530 A JP 2011500530A JP 5500163 B2 JP5500163 B2 JP 5500163B2
Authority
JP
Japan
Prior art keywords
pixel
image
target image
pixels
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011500530A
Other languages
English (en)
Other versions
JPWO2010095460A1 (ja
Inventor
剛志 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011500530A priority Critical patent/JP5500163B2/ja
Publication of JPWO2010095460A1 publication Critical patent/JPWO2010095460A1/ja
Application granted granted Critical
Publication of JP5500163B2 publication Critical patent/JP5500163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理システム、画像処理方法および画像処理プログラムに関し、特に、被写体の局所的な動きによって、仮定された幾何学的な変形モデルに基づいて計算された画像間の画素同士の対応関係が不適当となる領域を特定する画像処理システム、画像処理方法および画像処理プログラムに関する。
複数フレームの画像を用いてより高画質な画像を生成する方法として、例えば、複数フレーム劣化逆変換法がある（例えば特許文献１参照)。一般に、カメラで被写体を複数フレームに渡って撮影する場合、フレームごとにカメラ位置、姿勢は微小に変動する。このため、異なる画像間では被写体のサンプリング位置にサブピクセル単位のずれが生じる。なお、サブピクセル単位のずれとは、例えば、１画素未満の精度で表されるずれを意味する。このような微小なずれにより、被写体の同じ箇所の画素であっても、画像間で画素値が異なる。複数フレーム劣化逆変換法は、被写体の位置ずれを画素間隔以下の高い精度で推定することで、被写体の同一部分が撮像された複数の画像の画素値から、より高画質な画像を生成するものである。
この方法は、被写体の位置ずれを高い精度で推定する位置ずれ量推定処理と、そこで得られた位置ずれ量から高画質な画像を生成する高画質画像作成処理とを含んでいる。より詳しくこれらの処理について説明する。図２０は位置ずれ量推定を行う画像の例を示す。図２０（ａ）に示す画像１０１は、複数の入力画像のうち基準となる基準画像を示し、図２０（ｂ）に示す画像１０２は、基準画像以外の入力画像である。基準画像１０１におけるビル１０３および家１０４と、他の画像１０２におけるビル１０５および家１０６は同じ被写体である。画像１０２撮影時のカメラの位置や姿勢は、基準画像１０１撮影時とは異なる。そのため、画像１０１，１０２間で、同一の箇所を表す画素の位置にずれが生じる。このような複数画像における画素の位置ずれを推定する場合、予め幾何学的な変形モデルを仮定し、その変形モデルをもとに位置ずれ量を画素毎に算出する。入力画像間の画素の位置ずれ量を推定した後、それらの位置ずれ量を基に、複数の入力画像からより高画質な画像の画素値を求める。その手法として、例えば、ＭＬ法（Maximum Likelihood法）やＭＡＰ法（Maximum A Posteriori法）等が知られている（非特許文献１参照）。
また、被写体の中に動物体が存在する場合、その動物体は、仮定された変形モデルによって表される変化とは別の動きをする。そのため、位置ずれ推定量が不正確となる画素が生じる。そのような被写体を含む画像から、より高画質な画像を生成する場合、位置ずれ推定量が不正確な画素を検出し、その画素以外の画素を用いて、ＭＬ法やＭＡＰ法を用いる。位置ずれ推定量が不正確な画素の検出方法が非特許文献２に記載されている。非特許文献２に記載された方法では、画像間の画素の差分の大きさをもとに位置ずれ量が不正確な画素を検出する。
また、特許文献２にも、画像中の動き部分を考慮して高解像度画像を生成する方法が記載されている。特許文献２には、基準フレーム以外の対象画像中の動き判定を行う判定画素と、判定画素を囲む基準フレーム内の各画素との間で、輝度値の最大値、最小値を計算する。この最大値をＶｍａｘとし、最小値をＶｍｉｎとする。また、判定画素の輝度値をＶｔｅｓｔとする。また、閾値をΔＶｔｈとする。このとき、以下の２つの式を満たす場合には、判定画素に動きはないと判定し、そうでなければ動きがあると判定する。
Ｖｔｅｓｔ＞Ｖｍｉｎ−ΔＶｔｈ
Ｖｔｅｓｔ＜Ｖｍａｘ＋ΔＶｔｈ
特開２０００−１８８６８０号公報（第３頁−第７頁） 特開２００５−１３０４４３号公報（段落００９１，０１１０，０１１２）
Sung Cheol Park, Min Kyu Park, Moon Gi Kang, "Super-resolution image reconstruction: a technical overview", Signal Processing Magazine, IEEE, Volume 20, Issue 3, ２００３年５月 ｐ．２１−３６ Zoran A. Ivanovski, Ljupcho Panovski, Lina.J.Karam, "Robust super-resolution based on pixel-level selectivity", Proc. SPIE, Vol. 6077, 607707 ２００６年
被写体として動物体が存在している場合に動物体の動きを考慮しないと、各画素の位置ずれ量が高精度に求まらない。すると、複数の入力画像からより高画質な画像を得ることができない。図２１は、図２０に示すビルや家の他に被写体として月も撮影した場合の画像である。図２１（ａ）は基準画像２０１を示し、図２１（ｂ）は他の画像２０２を示す。図２０と同様の被写体については図２０と同一の符号を付す。基準画像２０１中のビル１０３、家１０４は、他の画像２０１において一様に変形したビル１０５、家１０６として表される。しかし、基準画像２０１内の月２０７と、他の画像２０２内の月２０８との間には、月自身の移動による位置ずれが生じ、月の部分の変形は、予め仮定された幾何学的な変形モデルによって表される変形、すなわち本例の場合には画像全体の一様な変形には従っていない。この部分では、位置ずれ推定量が不正確になるため、高画質な画像を得られない。
非特許文献２や特許文献２に記載された技術は、そのような位置ずれ推定量が不正確な領域を特定するものである。そのような領域を除外して、高画質画像を生成することで、動物体の動きを考慮しない場合よりも画質を高めることができる。
しかし、非特許文献２に記載された方法のように、対応する画像間の画素の単純な差分値を用いる方法では、隣接する画素間で画素値の変化が大きいと、本来、高画質画像生成処理に適した領域であっても、高画質画像生成処理に適当でない領域と判定されやすい。そのような領域まで除外してしまうことで、画素値の変化が激しい領域では画質改善効果が減少してしまうという問題があった。
この問題について、より詳しく説明する。一般に、カメラの位置や姿勢の微小な変動のために、被写体の同じ箇所を表す画素であっても画像間では画素値が異なる。この傾向は、隣接する画素同士で画素値の変化が大きい領域で特に顕著となる。よって、複数画像における対応する画素同士の単純な画素値の差分から不適切領域を判定すると、画素同士が同じ箇所を示していても、不適切領域と判定されてしまう。図２２は、対応する画素間の画素値が大きく変化する例を示す。図２２（ａ）は、黒色および白色の領域で構成される被写体３０１を示す。この被写体を異なるカメラ位置や姿勢で撮影し、画像３０２，３０３を得たとする。ここで、画像３０２，３０３の間には０．５画素分の位置ずれが生じているとする。画像３０２の右上の画素３０４は黒色である。一方、画像３０３の右上の画素３０５は、画像３０２と０．５画素ずれていることにより、黒色と白色の中間色である灰色となる。画素３０４，３０５は、いずれも画像３０１の同じ部分を表す画素であるが、画素３０４は黒色となり、画素３０５は灰色となるので両者の画素値の差分は大きい。このため、本来同じ部分を表す画素３０４，３０５等の領域は、高画質画像化処理に不適切な領域と判定されやすくなり、高画質画像化処理で用いられなくなってしまう。
また、特許文献２に記載された方法でも、本来、高画質画像化処理に適切な画素と判定すべきときに不適切な画素と判定する場合が生じ得る。図２３は、そのような状態の例を示す説明図である。ここでは説明を簡単にするため、画素の座標を１次元で示す。図２３に示す横軸はその座標軸であり、縦軸は画素の輝度値を表す。また、丸は基準画像の画素を表し、四角形は他の画像の画素を表す。ここでは、画素１５０が判定画素であり、画素１６０〜１６２が画素１５０を囲む画素であるとする。図２３（ｂ）は、動き画像でないと判定される領域を示す。図２３（ｂ）に示すように、画素１６２の輝度値をＶｍｉｎとし、画素１６０の輝度値をＶｍａｘとすると、（Ｖｍｉｎ−ΔＶｔｈ）〜（Ｖｍａｘ＋ΔＶｔｈ）の範囲内に、判定画素の輝度値が含まれていなければ、判定画素は不適切領域の画素と判定される。よって、図２３に示す判定画素１５０は、不適切領域の画素と判定される。しかし、判定画素１５０の輝度値は、画素１６０に近く、画素１５０は高画質画像化処理に適切な画素と言える。特許文献２に記載された方法では、このような画素１５０についても高画質画像化処理に不適切な画素を判定してしまう。
また、以上の説明では、複数の入力画像から高画質画像を生成する場合を例に説明したが、その他の場合であっても、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域を特定することが要求されることもある。
そこで、本発明は、仮定された変化に従わない局所的な領域を高い精度で判定することができる画像処理システム、画像処理方法および画像処理プログラムを提供することを目的とする。
本発明による画像処理システムは、基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算手段と、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が局所領域の画素であるか否かを判定する画素演算手段とを備えることを特徴とする。
また、本発明による画像処理方法は、基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算し、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が局所領域の画素であるか否かを判定することを特徴とする。
また、本発明による画像処理プログラムは、コンピュータに、基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算処理、および、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が局所領域の画素であるか否かを判定する画素演算処理を実行させることを特徴とする。
本発明によれば、仮定された変化に従わない局所的な領域を高い精度で判定することができる
本発明の第１の実施形態の画像処理システムの例を示すブロック図である。 許容空間の例を示す説明図である。 最大変化ベクトルを示す説明図である 補正後の対象画像の画素と基準画像の画素とを示す説明図である。 第１の実施形態における処理経過の例を示す説明図である。 本発明の第２の実施形態の画像処理システムの例を示すブロック図である。 補正後の対象画像の画素と基準高解像度画像の画素とを表す説明図である。 第２の実施形態における処理経過の例を示すフローチャートである。 本発明の第３の実施形態の画像処理システムの例を示すブロック図である。 対象画像の画素値の置き換えの例を示す説明図である。 第３の実施形態における処理経過の例を示すフローチャートである。 本発明の第４の実施形態の画像処理システムの例を示すブロック図である。 ブレンド画像生成の例を示す説明図である。 第４の実施形態における処理経過の例を示すフローチャートである。 本発明の第５の実施形態の画像処理システムの例を示すブロック図である。 第５の実施形態における処理経過の例を示すフローチャートである。 本発明の第６の実施形態の画像処理システムの例を示すブロック図である。 不適切領域の例を示す説明図である。 本発明の最小構成を示すブロック図である。 位置ずれ量推定を行う画像の例を示す説明図である。 図２０に示すビルや家の他に被写体として月も撮影した場合の画像である。 対応する画素間の画素値が大きく変化する例を示す説明図である。 高画質画像化処理に適切な画素と判定すべきときに不適切な画素と判定する例を示す説明図である。
以下、本発明の実施形態を図面を参照して説明する。以下の説明では、複数のカラー画像が入力され、カラー画像中で、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域を特定する場合を例にして説明する。
実施形態１．
図１は、本発明の第１の実施形態の画像処理システムの例を示すブロック図である。本実施形態の画像処理システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）４００と、画像入力手段４１０と、画像出力手段４２０とを備える。また、コンピュータ４００は、位置ずれ量推定手段４０１と、不適切領域判定手段４０２と、画像復元手段４０３とを有する。さらに、不適切領域判定手段４０２は、許容領域計算手段４０４と、画像差分計算手段４０５と、不適切領域抽出手段４０６と、不適切領域記憶手段４０７とを含む。
また、画像入力手段４１０は、基準画像入力手段４１１と、対象画像入力手段４１２とを有する。画像入力手段４１０に入力される画像の数をＫ枚とする。画像毎に画像番号ｋ（ｋ＝１，・・・，Ｋ）を割り当て、各画像を画像番号で区別するものとする。また、各入力画像の画素数は等しく、１つの画像中の各画素を画素番号ｉで識別した場合、画像番号ｋの画像のある画素ｉの画素値を要素とするベクトルをｘｋｉと表すこととする。例えば、画像がＹＵＶ信号で表現されている場合、画像番号ｋの画素ｉの画素値を要素とするベクトルｘｋｉは、ｘｋｉ＝（Ｙｋｉ，Ｕｋｉ，Ｖｋｉ）ｔという３次元ベクトルで表すこととする。Ｙｋｉは、ｉ番目の画素のＹ信号（輝度）であり、Ｕｋｉ，Ｖｋｉは、ｉ番目の画素のＵ信号、Ｖ信号（色差信号）である。なお、ｔは転置行列を意味する。
ここでは、画像がＹＵＶ信号で表現されている場合を例示したが、画像が他の形式で表現されていてもよい。例えば、ＲＧＢ形式で表現されていてもよく、その場合、ｘｋｉはＲ，Ｇ，Ｂの各成分を要素とする３次元ベクトルである。ベクトルｘｋｉの次元は３次元に限定されない。例えば、画像がグレースケールで表現される場合、ベクトルｘｋｉは１次元ベクトルとなる。また、画像が、マルチスペクトル画像やハイパースペクトル画像である場合、ベクトルｘｋｉは３次元より大きな多次元ベクトルとなる。入力画像における個々の画素がｒ個の信号で表現されているとすると、色空間はｒ次元空間となり、ベクトルｘｋｉはｒ次元ベクトルとなる。以下、画像がＹＵＶ形式で表現されている場合を例にする。
図１に示す各手段について説明する。
ここで、位置ずれ量推定計算の際に基準となる画像を基準画像と記す。また、基準画像に対して画素がどれだけずれているかを計算される画像を対象画像と記す。画像入力手段４１０に入力されるＫ枚の画像のうち、１つが基準画像となり、残りの画像が対象画像である。Ｋ枚の入力画像のうち、どの画像を基準画像としてもよいが、本実施形態では、先頭の画像（ｋ＝１の画像）を基準画像とする場合を例にする。
基準画像入力手段４１１には、位置ずれ量推定計算の際に基準となる基準画像が入力され、基準画像入力手段４１１は、その基準画像を記憶する。対象画像入力手段４１２には、対象画像が入力され、対象画像入力手段４１２はその対象画像を記憶する。
位置ずれ量推定手段４０１は、基準画像入力手段４１１に入力された基準画像の画素値と、対象画像入力手段４１２に入力された対象画像の画素値とに基づいて、両者の相対的な位置ずれ量をサブピクセル精度（１画素未満の精度）で計算し、その位置ずれ量を記憶する。この位置ずれは、仮定された幾何学的な変形モデルによって表される変化で生じる位置ずれである。また、位置ずれ量推定手段４０１は、基準画像の画素をどのような位置に変動させることで対象画像のようになるかという変換方法も併せて特定してもよい。
基準画像を基準とする対象画像の変動は、平行移動、回転移動等の一様な幾何学的な変形モデルや、あるいはＢスプライン関数等の補間関数によって表される非一様変形な幾何学的な変形モデル、あるいはそれらの幾何学的な変形モデルの組み合わせで表される。すなわち、仮定された幾何学的な変形モデルによって表される変化の態様には、画像全体の一様な変化や、画像全体の非一様な変化がある。それらの各種変動毎に、画像の変換方法および変動量を表すパラメータを予め位置ずれ量推定手段４０１が記憶し、その情報を用いて位置ずれ量を推定してもよい。例えば、位置ずれ量推定手段４０１が基準画像をそれぞれの変動方法で変換し、変換後の画像の画素値と対象画像の画素値との差を画素毎に計算して、その差分の総和を求める。そして、その総和が最小となるときの変換方法および変動量を特定することによって位置ずれ量を定めてもよい。
または、幾何学的な変形モデル（基準画像に対する変換方法の種類）については予め定めておき、位置ずれ量推定手段４０１は、その変形モデルにおける変換量（すなわち位置ずれの変動量）を推定してもよい。例えば、カメラ位置の違いに基づく基準画像と対象画像との位置ずれは、平行移動等の予め定めておいた変換方法で表せるものとし、位置ずれ量推定手段４０１は、その変動量（例えば平行移動量）を推定してもよい。この場合、位置ずれ量推定手段４０１は、変換後の基準画像の画素の画素値と対象画像の画素値との差分の二乗和が最小となるような変動量を、例えば勾配法などを用いて計算し、その変動量を示すパラメータを特定することによって位置ずれ量を定めてもよい。このように位置ずれ量を特定する方法は、以下に示す参考文献１に記載されている。
［参考文献１］
Bruce D.Lucas, Takeo Kanade, “An Iterative Registration Technique with an Application to Stereo Vision”, Proceedings of Imaging Understanding Workshop, １９８１年，pp.121-130
以下、幾何学的な変形モデルは予め定められており、位置ずれ量推定手段４０１が、その変形モデルにおける変動量を推定する場合を例にして説明する。すなわち、基準画像から対象画像への変換方法自体は予め既知であり、変動量に関する推定を行う場合を例にする。
また、位置ずれ量推定手段４０１は、基準画像からの位置ずれ量を、個々の対象画像毎に求める。
不適切領域判定手段４０２は、基準画像入力手段４１１に記憶された基準画像の画素値と、位置ずれ量推定手段４０１で得られた画像間の位置ずれ量とを用いて、対象画像毎に、高画質画像生成処理に不適切な領域を特定し、その領域を記憶する。
許容領域計算手段４０４は、基準画像入力手段４１１に入力された基準画像の画素値を用いて、許容領域を計算し記憶する。許容領域とは、対象画像中の画素が仮定された幾何学的な変形モデルによって表される変化に従っている領域の画素であるか否かを判定するための色空間内の領域である。本例では、前述のように、幾何学的な変形モデルは予め仮定されている。許量領域は、基準画像の個々の画素毎に定められる。基準画像との位置ずれを解消するように対象画像を補正し、補正したときの対象画像の画素に最も近い位置にある基準画像中の画素を特定することにより、対象画像の画素と基準画像の画素とを対応付けたとする。このとき、基準画像中の画素に対応する対象画像中の画素の画素値が示す色空間での位置が、その基準画像中の画素の許容領域に含まれれば、その対象画像中の画素は、予め仮定された幾何学的な変形モデルによって表される変化に従っている領域（換言すれば固定物体の移動等による局所的変動が生じていない領域）の画素であると言うことができる。許容領域計算手段４０４は、基準画像の画素毎にこのような許容領域を計算する。なお、上記のような対象画像の補正（位置ずれを解消する補正）は、許容領域計算とは別に行われ、許容領域の計算自体では対象画像を用いない。
図２は、許容空間の例を示す説明図である。図２に示す色空間において、位置１４０３（ｘ１ｉ）は、基準画像中の一つの画素の画素値が示す色空間内の位置である。楕円体１４０１は、この基準画像の画素について求めた許容領域である。また、位置１４０２（ｘｋｊ）は、対象画像中の画素が示す色空間内の位置である。位置１４０２は、許容領域１４０１内に存在するので、その対象画像中の画素は、予め仮定された幾何学的な変形モデルによって表される変化に従っている領域であると判断されることになる。また、対象画像中の画素の画素値が示す色空間内の位置が、図２に示す位置１４０４（ｘｋｌ）であるとすると、位置１４０４は許容領域１４０１の外側なので、その対象画像中の画素は、予め仮定された幾何学的な変形モデルによって表される変化に従っている領域でないと判断されることになる。
許容領域計算手段４０４は、基準画像入力手段４１１に入力された基準画像の画素を順に選択し、画素毎に許容領域を計算する。許容領域計算手段４０４は、画素を選択すると選択した画素における最大変化ベクトルを求める。さらに、許容領域計算手段４０４は、中心軸方向の半径（以下、中心軸半径）が最大変化ベクトルの大きさとなり、中心軸の方向が最大変化ベクトルと同方向である楕円体を許容領域とする。なお、ｎ次元色空間上のｎ次元楕円体はｎ本の主軸を有するが、中心軸以外のｎ−１本の各軸方向の半径は予め定めておく。また、中心軸は、ｎ次元楕円体のｎ本の主軸のうち、主軸方向の半径が最も長い軸である。最大変化ベクトルの大きさが、予め定められたｎ−１本の各軸方向の半径よりも小さい場合、許容領域計算手段４０４は、予め定められた半径のうち最大の長さを、中心軸半径とする。例えば、図２に例示する３次元楕円体を定める場合、短軸半径は予め定めておく。そして、許容領域計算手段４０４は、最大変化ベクトルの大きさが長軸半径となる領域を許容領域と定める。このとき、最大変化ベクトルの大きさが短軸半径よりも小さければ、長軸半径を短軸半径と同じ値とした楕円体を許容領域と定める。
図３は、最大変化ベクトルを示す説明図である。図３（ａ）は、基準画像から選択した画素ｉおよび、画素ｉに隣接する周囲の画素である。選択した画素ｉの周囲には、図３（ａ）に示すように８個の画素がある。許容領域計算手段４０４は、選択した画素ｉとその周囲の各画素との間で、差分ベクトルを求める。許容領域計算手段４０４は、差分ベクトルとして、画素ｉの周囲の画素の画素値を要素とするベクトルから、画素ｉの画素値を要素とするベクトルを減算したベクトルを求める。例えば、図３（ａ）に示す画素ｉ，ｊのベクトルをそれぞれｘ１ｉ，ｘ１ｊとすると、許容領域計算手段４０４は、差分ベクトルとしてｘ１ｊ−ｘ１ｉを求める。なお、色空間において、画素ｉの画素値を座標値とする位置から、画素ｉの周囲の画素の画素値を座標値とする位置までの方向を画素値勾配と呼ぶ。上記の差分ベクトルの方向は画素値勾配であるということができる。図３（ａ）に示すように、周囲の画素が８個ある場合には、許容領域計算手段４０４は、８個の差分ベクトルを求めることになる。許容領域計算手段４０４は、差分ベクトルのうち、大きさが最大となる差分ベクトルを特定する。このベクトルを、最大変化ベクトルと記す。なお、選択した画素の周囲の画素のうち、最大変化ベクトルをなす画素を最大変化画素と記す。
許容領域計算手段４０４が求める差分ベクトルは、基準画像における画素とその周囲の画素との間における差分ベクトルであり、隣接画素間差分ベクトルということができる。
図３に示す例では、画素ｊが最大変化画素であるものとする。選択した画素の画素値が示す色空間（本例ではＹＵＶ空間）内の位置を位置１７０３とする（図３（ｂ）参照）。また、最大変化画素ｊの画素値が示す色空間内の位置を位置１７０６とする（図３（ｂ）参照）。この場合、最大変化ベクトルは、図３（ｂ）に示すベクトル１７０５となる。基準画像中の画素ｉについて求めた最大変化ベクトルをΔｘ１ｉと記す。
許容領域計算手段４０４は、選択した画素ｉの画素値が示す色空間内の位置を中心とし、最大変化ベクトルΔｘ１ｉの大きさを中心軸半径とし、中心軸の方向が最大変化ベクトルと同方向である楕円体を表すパラメータを計算し、そのパラメータを記憶する。図２に例示する３次元楕円体では、長軸が中心軸となる。
許容領域計算手段４０４は、楕円体を許容領域とする。このことは、選択した画素ｉの画素値が示す色空間内の位置を中心とし、その中心から許容領域の中心軸上の各頂点までの距離が等しくなるように許容領域を特定することを意味する。すなわち、楕円体の中心点から中心軸方向への広がりに偏りがない。例えば、図３（ａ）に示す例において、画素ｉを囲む画素のうち、画素ｊ以外の画素値が画素ｉに近い画素値であっても、一方の長軸が長く他方の長軸を短く定めることはない。
最大変化ベクトルの方向は、選択する画素毎に異なる。また、画素ｉとその周囲の画素との間での画素値の変化が大きいほど、最大変化ベクトルも大きくなる。そのため、許容領域計算手段４０４は、基準画像中の画素毎に、最大変化ベクトルの方向や大きさに応じた許容範囲を定める。
ここでは、選択した画素ｉの画素値が示す色空間内の位置を楕円体の中心とし、最大変化ベクトルによって楕円体の中心軸の方向および中心軸半径を定める場合を示した。他の方法で、許容領域となる楕円体を定めてもよい。例えば、許容領域計算手段４０４は、選択した画素ｉおよびその周囲の８画素の画素値の平均を求める。例えば、ＹＵＶ形式の画素であるならば、選択した画素およびその周囲の画素におけるＹ信号の平均値、Ｕ信号の平均値、Ｖ信号の平均値を計算する。そして、許容領域計算手段４０４は、そのＹ，Ｕ，Ｖ信号の各平均値が示す色空間内の位置を楕円体の中心位置と定めてもよい。さらに、許容領域計算手段４０４は、共分散行列を計算し、主成分分析により、第一主軸（中心軸）の方向と、第１主成分得点を求める。許容領域計算手段４０４は、中心軸半径の大きさが得られた第１主成分得点の中で最大のものであるものとして楕円体（許容領域）を定める。
また、主成分分析を用いて許容領域を定める方法として、以下のような方法を採用してもよい。この方法では、上記の場合と同様に、許容領域計算手段４０４は、選択した画素ｉおよびその周囲の８画素の画素値の平均を求め、各平均値が示す色空間内の位置を楕円体の中心位置と定める。そして、許容領域計算手段４０４は、共分散行列を計算し、主成分分析により、第ｎ主軸と第ｎ主成分得点を求め、楕円体の第ｎ本目の軸方向を、第ｎ主軸の方向として決定する。さらに、第ｎ主成分得点のうち最も大きいものをｔｎとするとき、第ｎ本目の軸の方向の半径をｔｎ＋Ｌとする。画素値がＮ次元である場合、ｎ＝１，，・・・，Ｎである。例えばＹＵＶ画像ではＮ＝３であり、ｎは１から３までの値をとる。また、Ｌは半径の大きさを決定する定数であり、予め定められている。
画素差分計算手段４０５は、位置ずれ量推定手段４０１が推定した位置ずれを解消するように対象画像を補正する。位置ずれ量推定手段４０１は位置ずれ量を推定しているので、画素差分計算手段４０５は、その位置ずれ量をなくすように、基準画像から対象画像への変換の逆変換を行って、位置ずれを解消したときの対象画像の画素位置を求めればよい。そして、画素差分計算手段４０５は、補正後の対象画像中の画素に対応する基準画像中の画素を特定し、対応する画素の画素値が示すベクトル（画素値を要素とするベクトル）の差分ベクトルを計算する。
画素差分計算手段４０５が計算する差分ベクトルは、基準画像と対象画像との間において対応する画素の差分ベクトルであり、対応画素差分ベクトルということができる。
位置ずれ量推定手段４０１はサブピクセル精度で位置ずれ量を推定している。従って、その位置ずれを解消するように対象画像を補正したとき、補正後の対象画像の画素と、基準画像の画素とは合致するとは限らない。図４は、補正後の対象画像の画素と基準画像の画素とを示す説明図である。図４は、画像中で画素がどの位置に存在するかを示す２次元平面を表している。丸で示した画素は、基準画像の画素である。三角形で示した画素は、補正後の対象画像の画素であり、同様に四角形で示した画素も補正後の他の対象画像の画素である。サブピクセル精度で推定した位置ずれを解消するように補正しているので、図４に示すように、各対象画像の画素は、基準画像の画素に一致するとは限らない。画素差分計算手段４０５は、補正後の対象画像の画素の位置（画像中における位置）に最も近い基準画像中の画素を特定し、その２つの画素が対応していると定める。この結果、対象画像の画素と基準画像の画素との対応関係が定まる。そして、対応付けた各画素の画素値を要素とするベクトル（色空間におけるベクトル）の差分ベクトルを計算する。例えば、画素差分計算手段４０５は、図４に示す対象画像中の画素１５０１に最も近い基準画像中の画素１５０２を特定し、画素１５０１，１５０２を対応付ける。そして、画素差分計算手段４０５は、画素１５０１の画素値を要素とするベクトルから、画素１５０２の画素値を要素とするベクトルを減算した差分ベクトルを計算する。画素差分計算手段４０５は、各対象画像の各画素について差分ベクトルを計算する。
なお、画素差分計算手段４０５は、直接差分ベクトルを計算する代わりに、対象画像中の画素位置における画素値を基準画像の画素から補間して求め、その補間により求めた画素値を要素とするベクトルと、基準画像中の画素値が示すベクトルとの差分ベクトルを計算してもよい。例えば、図４に示す画素１５０１における画素値を、基準画像の画素値を用いてbilinear補間やbicubic補間によって計算してもよい。そして、その画素値を要素とするベクトルと画素１５０２の画素値を要素とするベクトルとの差分ベクトルを計算してもよい。
不適切領域抽出手段４０６は、画素差分計算手段４０５で得られた許容領域を用いて、対象画像中の各画素が予め仮定された幾何学的な変形モデルによって表される変化に従っていない領域の画素であるか否かを判定する。より具体的には、不適切領域抽出手段４０６は、対象画像中の画素に対応する基準画像中の画素について求めた許容領域と、その二つの画素について求めた差分ベクトルとを用いて、対象画像中の画素の画素値が示す色空間での位置が許容領域外であるか否かを判定する。対象画像中の画素の画素値が示す色空間での位置が許容領域外であるならば、不適切領域抽出手段４０６は、その対象画像中の画素は、予め仮定された幾何学的な変形モデルによって表される変化に従っていない領域の画素であると判定する。一方、対象画像中の画素の画素値が示す色空間での位置が許容領域の内部あるいは領域上であるならば、不適切領域抽出手段４０６は、その対象画像中の画素は、予め仮定された幾何学的な変形モデルによって表される変化に従っている領域の画素であると判定する。
予め仮定された幾何学的な変形モデルによって表される変化に従っていない領域であるということは、高画質画像生成に不適切な領域であることを意味する。この領域を単に不適切領域と記す。また、予め仮定された幾何学的な変形モデルによって表される変化に従っている領域であるということは、高画質画像生成に適切な領域であることを意味する。この領域を単に適切領域と記す。
不適切領域記憶手段４０７は、不適切領域抽出手段４０６で計算された不適切領域の画素の番号を記憶する。この画素の番号は、画像中における画素を識別するための画素番号であり、予め画素毎に定めておけばよい。不適切領域抽出手段４０６が、不適切領域の画素と判断したときに、その画素番号を不適切領域記憶手段４０７に記憶させてもよい。また、画素番号以外の態様で、不適切領域の画素を特定するための情報を記憶させてもよい。なお、画素番号を記憶する代わりに、各画素について、不適切領域抽出手段４０６が、対象画像中の画素が不適切領域に該当するか否かの計算結果から、その画素が画像復元手段４０３で使用されるべき適切領域であるかに関する信頼度を計算し、不適切領域記憶手段４０７がこれを記憶してもよい。
画像復元手段４０３は、位置ずれ推定手段４１０が計算した位置ずれ推定量と、不適切領域記憶手段４０７に記憶された不適切領域の画素番号と、画像入力手段４１０に記憶された複数の画像の画素値とに基づいて、より高画質な画像を復元する。この高画質な画像を復元画像と記す。画像復元手段４０３についてより具体的に説明する。Ｋ枚の入力画像におけるｋ枚目（ｋは１〜Ｋの整数）の入力画像の画素値のうち輝度値（ＹＵＶ形式のＹ信号）のみを所定順序に並べた列ベクトルをＩｋとする。各入力画像における画素数をＮとすると、Ｉｋは（Ｙｋ１，Ｙｋ２，・・・，Ｙｋｉ，・・・，ＹｋＮ）ｔというＮ次元ベクトルとなる。
また、画像復元手段４０３により復元される復元画像の輝度値（ＹＵＶ形式のＹ信号）のみを所定順序に並べた列ベクトルをベクトルＴとする。復元画像は、入力画像よりも高解像度の画像（すなわち画素数が多い画像）であり、復元画像の画素数をＭとする。ここで、Ｍ＞Ｎである。ベクトルＴは、Ｍ次元ベクトルである。
なお、ＩｋやＴにおいて輝度値を並べる順序は、例えばラスタスキャン順でもよく、あるいは他の順序でもよい。
画像復元手段４０３は、以下に示す式（１）で表される評価関数Ｅ［Ｔ］の値が最小となるベクトルＴを求めることによって、復元画像の各画素の輝度値（Ｙ信号）を求める。
Figure 0005500163
式（１）において、Ｄ，Ｂ，Ｑは予め定められた行列である。Ｄ，Ｂは、それぞれダウンサンプリング、カメラボケを表すローパスフィルタを表す行列である。Ｑは、ハイパスフィルタを表す行列である。Ｍｋは、復元画像に対する幾何学的変形を表す行列であり、具体的には、基準画像に対する対象画像の幾何学的な変形（例えば平行移動や回転移動）を復元画像に施す変換を表す行列である。画像復元手段４０３は、位置ずれ量推定手段４０１に推定された位置ずれ量を復元画像に生じさせる行列Ｍｋを定めればよい。なお、Ｍｋ自体は画像の拡大や縮小を伴うものではなく、復元画像の画素数を入力画像の画素数に減少させて画像を縮小することは、行列Ｄによって表される。従って、ＤとＭｋとの組み合わせにより、対象画像の画素値（本例では輝度値）と、復元画像の画素値との対応関係が定められる。
また、式（１）における行列Ｓｋは、対角行列であり、画像復元手段４０３は、Ｓｋの対角成分を以下のように定める。すなわち、画像復元手段４０３は、入力画像のｉ番目の画素が不適切領域に該当する場合、Ｓｋのｉ番目の対角成分を０と定め、入力画像のｉ番目の画素が適切領域に該当する場合、Ｓｋのｉ番目の対角成分を１と定める。入力画像のｉ番目の画素が適切領域に該当するか不適切領域に該当するかは、例えば、そのｉ番目の画素の画素番号が不適切領域記憶手段４０７に記憶されているか否かによって判定すればよい。ただし、ｋが基準画像を意味する場合（すなわちｋ＝１の場合）、基準画像の画素については不適切領域であるか適切領域であるかの判定を行っていないので、画像復元手段４０３は、Ｓｋの対角成分を全て１とする。
式（１）の右辺の第一項は、誤差項と呼ばれる項であり、復元画像の輝度値（ベクトルＴ）に位置ずれ補正、カメラボケ、ダウンサンプリングを施したときの値と実際に得られているｋ枚目の輝度値（ベクトルIk）との差を最小にするための項である。式（１）の右辺の第二項は正則化項と呼ばれるものであり、数値的に計算が不安定になるのを防ぐための項である。また、αは正則化項の強さを表す重みである。
画像復元手段４０３は、式（１）の評価関数Ｅ［Ｔ］を最小化する最適化手法として、例えば、共役勾配法やガウスニュートン法を用いればよい。画像復元手段４０３は、共役勾配法やガウスニュートン法を用いてＥ［Ｔ］が最小値に十分収束するまで計算を行い、ベクトルＴ（すなわち復元画像の各Ｙ信号）を求めればよい。
一方、画像復元手段４０３は、復元画像の色差成分、すなわち復元画像の各画素のＵ信号およびＶ信号については、以下のように求めればよい。すなわち、画像復元手段４０３は、入力画像のうち基準画像に対してbilinear補間やbicubic補間を行うことによって拡大し、その拡大画像における各画素のＵ信号およびＶ信号を、復元画像における各画素のＵ信号およびＶ信号とすればよい。
また、ここでは基準画像を拡大する場合を例にして説明したが、画像復元手段４０３は、任意の一枚の対象画像を拡大してもよい。この場合、画像復元手段４０３は、対象画像に対してbilinear補間やbicubic補間を行うことによって拡大する。そして、その拡大画像からＵ信号のみを抽出し所定の順番（例えばラスタスキャン順）に並べた列ベクトルを作成し、前述の変換行列Ｍｋにその列ベクトルを乗じ、その結果得られるベクトルに含まれる各要素の値を復元画像の各画素のＵ信号とする。また、画像復元手段４０３は、同様に、拡大画像からＶ信号のみを抽出し所定の順番に並べた列ベクトルを作成し、前述の変換行列Ｍｋにその列ベクトルを乗じ、その結果得られるベクトルに含まれる各要素の値を復元画像の各画素のＶ信号とする。
ここでは、基準画像または対象画像を補間して得た拡大画像に基づいて復元画像のＵ，Ｖ信号を定める場合を説明したが、Ｕ信号およびＶ信号を輝度値（Ｙ信号）と同様に計算してもよい。すなわち、ｋ枚目（ｋは１〜Ｋの整数）入力画像の画素値のうちＵ信号のみを所定順序に並べたベクトルをＩｋとし、復元画像におけるＵ信号のみを所定順序に並べた列ベクトルをベクトルＴとして、評価関数Ｅ［Ｔ］の値が最小となるベクトルＴを求めることで、復元画像の各画素のＵ信号を求めてもよい。この場合、復元画像の各画素のＹ信号についても同様に求めればよい。
また、ここでは、入力画像がＹＵＶ形式で表現される場合を例にして説明したが、入力画像が他の表現形式（マルチスペクトル画像やハイパースペクトル画像）となっている場合にも、復元画像における個々の画素の画素値を同様の計算により求めればよい。
画像出力手段４２０は、画像復元手段４０３が生成した復元画像を出力（例えば、表示）する。画像出力手段４２０は、例えばディスプレイ装置によって実現される。
位置ずれ量推定手段４０１、許容領域計算手段４０４、画像差分計算手段４０５、不適切領域抽出手段４０６、画像復元手段４０３は、例えば画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、ＣＰＵが、プログラム記憶手段（図示せず）に記憶された画像処理プログラムを読み込み、そのプログラムに従って位置ずれ量推定手段４０１、許容領域計算手段４０４、画像差分計算手段４０５、不適切領域抽出手段４０６、画像復元手段４０３として動作してもよい。あるいは、各手段が専用回路で実現されていてもよい。
次に、動作について説明する。図５は、第１の実施形態における処理経過の例を示す説明図である。まず、基準画像入力手段４１１は基準画像を入力されると、その基準画像を記憶する（ステップＳ５０１）。次に、許容領域計算手段４０４は、基準画像の個々の画素毎に許容領域を表すパラメータを計算し、そのパラメータを記憶する（ステップＳ５０２）。例えば、既に説明したように、基準画像から選択した画素が示す色空間内の位置を中心とし、その画素に関する最大変化ベクトルの方向を中心軸方向とし、その最大変化ベクトルの大きさを中心軸半径とする楕円体を許容領域として定め、その許容領域を表すパラメータを記憶する。
対象画像入力手段４１２は、対象画像を入力されると、その対象画像を記憶する（ステップＳ５０３）。新たに対象画像が１枚入力され、記憶されると、位置ずれ量推定手段４０１は、基準画像に対するその対象画像の位置ずれ量をサブピクセル精度で推定し、記憶する（ステップＳ５０４）。
次に、画素差分計算手段４０５は、位置ずれ量推定手段４０１が推定した位置ずれを解消するように対象画像を補正し、補正後の対象画像中の画素と基準画像中の画素とを対応付ける。そして、対応付けた画素の組における差分ベクトルを計算する（ステップＳ５０５）。
次に、不適切領域抽出手段４０６は、ステップＳ５０３で入力された対象画像中の画素毎に、その画素について計算した差分ベクトルと、その画素に対応する基準画像中の画素の許容領域とを用いて不適切領域であるか否かを判定する。そして、不適切領域と判定された画素を不適切領域記憶手段４０７に記憶させる（ステップＳ５０６）。例えば、画素番号を記憶させる。
ステップＳ５０４〜Ｓ５０６の処理を行った対象画像が最後の対象画像でなければ（ステップＳ５０７のＮｏ）、ステップＳ５０３以降の処理を繰り返す。例えば、対象画像入力手段４１２に次の対象画像が入力されたならば、対象画像入力手段４１２がその対象画像を記憶し（ステップＳ５０３）、その対象画像についてステップＳ５０４〜Ｓ５０６の処理を行う。また、ステップＳ５０４〜Ｓ５０６の処理を行った対象画像が最後の対象画像である場合（例えば、次の対象画像が入力されない場合）、画像復元手段４０３は、不適切領域記憶手段４０７に記憶された不適切領域の情報と、画像入力手段４１０に記憶されている基準画像および各対象画像とを用いて、合成画像（高解像度画像）を生成する（ステップＳ５０８）。画像復元手段４０３は、生成した復元画像を、画像出力手段４２０に出力する。例えば、ディスプレイ装置に復元画像を表示させる。
本実施形態によれば、基準画像における個々の画素毎に、その画素とその周囲の画素の輝度値に応じた許容領域を、色空間における楕円体として定める。このように、基準画像中の個々の画素の色の変化に応じて許容領域を個別に定めるので、画像中の画素値の変化が激しい領域が、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域（不適切領域）と判定されやすくなってしまうことを防止できる。その結果、復元画像作成時に画質改善効果が減少してしまうことを防げる。
また、本実施形態によれば、基準画像の画素の画素値が示す色空間内の位置を中心とした楕円体を許容空間とする。従って、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域であるか否かの判定をより適切に行うことができる。例えば、図２３（ｂ）に示す例において、画素１６０に対応する判定画素１５０は適切領域の画像であると判定することができる。
なお、本実施形態では、ベクトルｘｋｉの要素として画素の画素値自体を用いる場合について述べたが、画素値自体の代わりに、画像の特徴を表す値をベクトルｘｋｉの要素としてもよい。例えば、画像の特徴を表す値として、各画素の画素値をｘ方向やｙ方向に微分した値があり、これをベクトルｘｋｉの要素としてもよい。あるいは、このような特徴値と画素値自体の両方を要素としたベクトルをベクトルｘｋｉとしてもよい。許容領域となる楕円体を定める空間は、そのようなベクトルを表現可能な空間として予め定めておけばよい。
また、本実施形態では、許容領域計算手段４０４が基準画像に対して許容領域を計算する場合を説明したが、許容領域計算手段４０４が対象画像に対して許容領域を計算し、その許容領域を用いて不適切領域を判定してもよい。この場合、許容領域計算手段４０４が対象画像の画素毎に許容領域を計算する。そして、不適切領域抽出手段４０６が、対象画像の画素毎に計算された許容領域と、画素差分計算手段４０５で計算された差分ベクトルとを用いて、不適切領域を判定してもよい。なお、対象画像の画素毎の許容領域の計算は、基準画像の画素毎の許容領域の計算と同様である。
また、許容領域計算手段４０４は、基準画像と対象画像の各画素全てについて許容領域を計算し、その許容領域をもとに不適切領域を判定してもよい。基準画像の各画素について計算する許容領域をＲａとする。また、対象画像の各画素について計算する許容領域をＲｂとする。不適切領域抽出手段４０６は、許容領域Ｒａと画素差分計算手段４０５で計算された差分ベクトルとを用いた判定結果と、許容領域Ｒｂと画素差分計算手段４０５で計算された差分ベクトルとを用いた判定結果が、共に不適切領域の画素であるという判定結果であれば、不適切領域抽出手段４０６は、着目している画素を不適切領域の画素であるとすればよい。あるいは、基準画像についての許容領域Ｒａによる判定結果と、対象画像についての許容領域Ｒｂによる判定結果のうち、一方でも、不適切領域の画素であるという判定結果であれば、不適切領域抽出手段４０６は、着目している画素を不適切領域の画素であると定めてもよい。
実施形態２．
図６は、本発明の第２の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第２の実施形態の画像処理システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）４００ａと、画像入力手段４１０と、画像出力手段４２０とを備える。コンピュータ４００ａは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２ａと、画像復元手段４０３とを有する。
不適切領域判定手段４０２ａは、許容領域計算手段４０４ａと、画像差分計算手段４０５ａと、不適切領域抽出手段４０６と、不適切領域記憶手段４０７と、基準高解像度画像生成手段６０８とを備え、基準画像を高解像度化した画像を用いて、対象画像中の画素が不適切領域に該当するか否かを判定する。不適切領域抽出手段４０６、不適切領域記憶手段４０７は、第１の実施形態と同様である。また、画像入力手段４１０、位置ずれ量推定手段４０１、画像復元手段４０３、および画像出力手段４２０も第１の実施形態と同様である。
基準高解像度画像生成手段６０８は、基準画像入力手段４１１に入力された基準画像を取得し、基準画像に対して補間（例えばbilinear補間やbicubic補間）を行うことによって基準画像を高解像度化した画像を生成し、記憶する。この画像を基準高解像度画像と記す。
本実施形態の許容領域計算手段４０４ａは、基準高解像度画像生成手段６０８に記憶された基準高解像度画像の個々の画素毎に許容領域を定め、その許容用域を表すパラメータを記憶する。基準画像ではなく基準高解像度画像を対象とする点以外は第１の実施形態の許容領域計算手段４０４と同様である。すなわち、画素毎に許容領域を定める方法は、第１の実施形態と同様である。
画素差分計算手段４０５ａは、位置ずれ量推定手段４０１が推定した位置ずれを解消するように（すなわち、推定された位置ずれ量をなくすように）対象画像を補正する。そして、画素差分計算手段４０５ａは、補正後の対象画像中の画素に対応する基準高解像度画像中の画素を特定し、対応する画素の画素値が示すベクトル（画素値を要素とするベクトル）の差分ベクトルを計算する。対象画像中の画素に対応する対象が基準高解像度画像である点の他は、第１の実施形態と同様である。
図７は、補正後の対象画像の画素と基準高解像度画像の画素とを表す説明図であり、画像中で画素がどの位置に存在するかを示す２次元平面を表している。丸で示した画素は、基準画像の画素であり、三角形で示した画素は補正後の対象画像の画素である。基準高解像度画像は基準画像を補間によって高解像度化した画像であるので、対象画像よりも画素数が多くなる。また、画素差分計算手段４０５ａは、サブピクセル精度で推定された位置ずれを解消するように対象画像を補正するので、各対象画像の画素は、基準高解像度画像の画素に一致するとは限らない。画素差分計算手段４０５ａは、補正後の対象画像の画素の位置（画像中における位置）に最も近い基準高解像度画像中の画素を特定し、その２つの画素が対応していると定める。そして、画素差分計算手段４０５ａは、対応付けた各画素の画素値を要素とするベクトル（色空間におけるベクトル）の差分ベクトルを計算する。例えば、画素差分計算手段４０５ａは、図７に示す対象画像中の画素１６０１に最も近い基準高解像度画像の画素１６０２を特定し、画素１６０１，１６０２を対応付ける。そして、画素差分計算手段４０５ａは、画素１６０１の画素値を要素とするベクトルから、画素１６０２の画素値を要素とするベクトルを減算した差分ベクトルを計算する。画素差分計算手段４０５ａは、各対象画像の各画素について差分ベクトルを計算する。第２の実施形態では、補間によって新たに生成された基準高解像度画像中の画素と、対象画像中の画素とが対応付けられることもある。
不適切領域抽出手段４０６は、画素差分計算手段４０５ａで得られた許容領域を用いて、対象画像中の各画素が予め仮定された幾何学的な変形モデルによって表される変化に従っていない領域の画素であるか否かを判定する。この動作は第１の実施形態と同様に行えばよい。不適切領域抽出手段４０６は、対象画像中の画素に対応する基準高解像度画像中の画素について求めた許容領域と、その二つの画素について求めた差分ベクトルとを用いて、対象画像中の画素の画素値が示す色空間での位置が許容領域外であるかいなかを判定すればよい。
基準高解像度画像生成手段６０８、許容領域計算手段４０４ａ、画素差分計算手段４０５ａは、例えばプログラムに従って動作するＣＰＵによって実現される。あるいは、専用回路によって実現されていてもよい。
第２の実施形態の動作について説明する。図８は、第２の実施形態における処理経過の例を示すフローチャートである。基準画像入力手段４１１は基準画像を入力されると、その基準画像を記憶する。そして、基準高解像度画像生成手段６０８は、その基準画像に対してbilinear補間やbicubic補間を行い、基準高解像度画像を生成し、記憶する（ステップＳ７０１）。次に、許容領域計算手段４０４ａは、基準高解像度画像の個々の画素毎に許容領域を表すパラメータを計算し、そのパラメータを記憶する（ステップＳ７０２）。
対象画像入力手段４１２は、対象画像を入力されると、その対象画像を記憶する（ステップＳ７０３）。次に、位置ずれ量推定手段４０１は、基準画像に対するその対象画像の位置ずれ量をサブピクセル精度で推定し、記憶する（ステップＳ７０４）。位置ずれ量推定手段４０１は、基準画像入力手段４１１に記憶されている基準画像を用いればよい。ステップＳ７０３，Ｓ７０４は、ステップＳ５０３，Ｓ５０４と同様である。
次に、画素差分計算手段４０５ａは、位置ずれ量推定手段４０１が推定した位置ずれを解消するように対象画像を補正し、対象画像中の画素と基準高解像度画像中の画素とを対応付ける。そして、対応付けた画素の組における差分ベクトルを計算する（ステップＳ７０５）。
次に、不適切領域抽出手段４０６は、ステップＳ７０３で入力された対象画像中の画素毎に、その画素について計算した差分ベクトルと、その画素に対応する基準高解像度画像中の画素について求めた許容領域とを用いて不適切領域であるか否かを判定する。そして、不適切領域と判定された画素を不適切領域記憶手段４０７に記憶させる（ステップＳ７０６）。
ステップＳ７０４〜Ｓ７０６の処理を行った対象画像が最後の対象画像でなければ（ステップＳ７０７のＮｏ）、ステップＳ７０３以降の処理を繰り返す。例えば、次の対象画像が入力されたならば、対象画像入力手段４１２がその対象画像を記憶し（ステップＳ７０３）、その対象画像についてステップＳ７０４〜Ｓ７０６の処理を行う。また、ステップＳ７０４〜Ｓ７０６の処理を行った対象画像が最後の対象画像である場合（例えば、次の対象画像が入力されない場合）、画像復元手段４０３は、不適切領域記憶手段４０７に記憶された不適切領域の情報と、画像入力手段４１０に記憶されている基準画像および各対象画像とを用いて、合成画像を生成し、画像出力手段４２０に出力する（ステップＳ７０８）。ステップＳ７０６〜Ｓ７０７の動作は、ステップＳ５０６〜Ｓ５０８と同様である。
第２の実施形態でも、第１の実施形態と同様に、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域であるか否かの判定を適切に行うことができ、復元画像作成時に画質改善効果の減少を防ぐことができる。特に、第２の実施形態では、基準画像から基準高解像度画像を生成する際に補間を行うので、基準画像中の画素間に、元から存在する複数画素の中間色の画素が挿入される。従って、隣接する画素同士の色空間（例えばＹＵＶ空間）における距離は、基準高解像度画像の方が短くなる。許容領域計算手段４０４ａは、この基準高解像画像の画素毎に許容領域を定めるので、画像中の画素間における色の変化を第１の実施形態よりもさらに反映した許容領域を定めることができる。その結果、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域であるか否かの判定をさらに適切に行うことができる。また、復元画像における画質改善効果をさらに高めることができる。
第２の実施形態においても、第１の実施形態で説明したように、ベクトルｘｋｉの要素として、画素値をｘ方向やｙ方向に微分した値等の特徴値を用いてもよい。
また、第１の実施形態で説明したように、基準画像に対して許容領域を計算するのではなく、対象画像に対して許容領域を計算してもよい。この場合、画像処理システムは、対象画像を補間して高解像度化する対象画像高解像度化手段（図示略）を備え、対象画像高解像度化手段は、基準高解像度画像生成手段６０８と同様の動作によって、対象画像を高解像度化すればよい。そして、画素差分計算手段４０５ａは、高解像度化された対象画像を、位置ずれを解消するようにして補正し、その補正後の画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付ければよい。画素差分計算手段４０５ａは、その対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する。
また、許量領域計算手段４０４ａは、対象画像の画素を順に選択し、選択した画素とその周囲の画素のとの間で、最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域として定めればよい。この動作は、基準画像に関して許容領域を求める場合と同様である。
また、第１の実施形態で説明したように、基準画像の各画素について許容領域（Ｒａ）を計算し、対象画像の各画素についても許容領域（Ｒｂ）を計算し、不適切領域抽出手段４０６が、基準画像および対象画像についてそれぞれ求めた許容領域Ｒａ，Ｒｂを用いて、対象画像の画素が不適切領域の画素であるか否かを判定してもよい。
実施形態３．
図９は、本発明の第３の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第３の実施形態の画像処理システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）４００ｂと、画像入力手段４１０と、画像出力手段４２０とを備える。コンピュータ４００ｂは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２ｂと、画像復元手段４０３ｂとを有する。
不適切領域判定手段４０２ｂは、許容領域計算手段４０４と、画像差分計算手段４０５と、不適切領域抽出手段４０６と、使用画像生成手段８０７とを備え、対象画像中の不適切領域の画素の画素値を、対応する基準画像の画素の画素値に置き換えることで、復元画像作成のために使用する画像を生成する。許容領域計算手段４０４、画像差分計算手段４０５および不適切領域抽出手段４０６は、第１の実施形態と同様である。また、画像入力手段４１０、位置ずれ量推定手段４０１および画像出力手段４２０も第１の実施形態と同様である。
本実施形態では、不適領域抽出手段４０６は、各対象画像の不適切領域に該当する画素の情報（例えば画素番号）を、使用画像生成手段８０７に送る。
使用画像生成手段８０７は、その不適切領域と判定された画素の情報に基づいて、対象画像中における不適切領域と判定された画素の画素値を、その画素に対応する基準画像の画素の画素値に置き換える。基準画像と、使用画像生成手段８０７によって画素値が置き換えられた対象画像が、復元画像生成のために使用される。
図１０は、対象画像の画素値の置き換えの例を示す説明図である。図１０（ａ）は家および月を撮影した基準画像であり、図１０（ｂ）は同じ家および月を撮影した対象画像である。図１０（ａ），（ｂ）では、各画像に表されている月および家を実線で図示し、他の画像中の月を表す領域に対応する領域を破線で示している。例えば、図１０（ｂ）に示す領域１９０９は、基準画像中の月を表す領域１９０１に対応し、対象画像では背景に相当する。対象画像には、撮影時のカメラの位置等に起因して、基準画像に対して一様な変化が生じている。ただし、被写体である月自身も動いているので、画像全体の一様な変化に従わない局所的な領域が生じる。すなわち、予め仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域が生じる。このため、月を表す画素同士が対応付けられていない。図１０（ｂ）に示す領域１９０９内の画素は、図１０（ａ）に示す領域１９０１内の画素に対応付けられ、同様に、図１０（ｂ）に示す領域１９０２内の画素は、図１０（ａ）に示す領域１９０８内の画素に対応付けられる。そして、この対象画像中の領域１９０９，１９０２内の画素は、不適切領域抽出手段４０６によって不適切領域の画素であると判定されることになる。
使用画像生成手段８０７は、そのように不適切領域の画素と判定された画素の画素値を、対応する基準画像中の画素の画素値に置き換える。図１０に示す例では、使用画像生成手段８０７は、図１０（ｂ）に示す領域１９０９内の画素の画素値を、基準画像の領域１９０１内の画素の画素値に置き換え、同様に、図１０（ｂ）に示す領域１９０２内の画素の画素値を、基準画像の領域１９０８内の画素の画素値置き換える。その結果、図１０（ｂ）に示す対象画像は、図１０（ｃ）に示す画像となる。その結果、図１０（ｃ）に示すように、領域１９０９は月を表す領域となり、領域１９０２は背景領域となる。
使用画像生成手段８０７は、基準画像および各対象画像を記憶する。画素値を置き換えた対象画像については、画素値置き換え後の対象画像を記憶する。
画像復元手段４０３ｂは、使用画像生成手段８０７が記憶する基準画像および対象画像を用いて復元画像を生成する。ただし、画像復元手段４０３ｂは、復元画像の画素値（例えばＹＵＶ表現におけるＹ信号等）を定めるときに、以下に示す式（２）で表される評価関数Ｅ［Ｔ］の値が最小となるベクトルＴを求めることによって、復元画像の各画素の輝度値を求めればよい。
Figure 0005500163
画像復元手段４０３ｂは、評価関数Ｅ［Ｔ］として式（２）を用いる点の他は第１の実施形態における画像復元手段４０３と同様である。
第３の実施形態では、使用画像生成手段８０７が、対象画像の不適切領域の画素値を、対応する基準画像の画素の画素値に置き換えるので、対象画像における不適切領域は存在しなくなる。よって、式（１）における対角行列Ｓｋにおいて、対角成分は１とすればよい。式（２）は、式（１）の対角行列Ｓｋの対角成分を全て１とした場合の式であるということができる。
使用画像生成手段８０７および画像復元手段４０３ｂは、例えば、プログラムに従って動作するＣＰＵによって実現される。あるいは、専用回路によって実現されていてもよい。
第３の実施形態の動作について説明する。図１１は、第３の実施形態における処理経過の例を示すフローチャートである。基準画像入力手段４１１に基準画像が入力され、許容領域計算手段４０４が基準画像の画素毎に許容領域を表すパラメータを計算し、記憶するまでの処理（ステップＳ９０１，Ｓ９０２）は、第１の実施形態のステップＳ５０１，Ｓ５０２と同様である。
また、対象画像入力手段４１２は、対象画像を入力されると、その対象画像を記憶する（ステップＳ９０３）。そして、位置ずれ量推定手段４０１は、基準画像に対するその対象画像の位置ずれ量をサブピクセル精度で推定し、記憶する（ステップＳ９０４）。次に、画素差分計算手段４０５は、その位置ずれを解消するように対象画像を補正し、対象画像中の画素と基準画像中の画素とを対応付ける。そして、対応付けた画素の組における差分ベクトルを計算する（ステップＳ９０５）。不適切領域抽出手段４０６は、対象画像中の画素毎に、その画素について計算した差分ベクトルおよび許容領域を用いて不適切画領域であるか否かを判定する。そして、不適切領域と判定された画素を使用画像生成手段８０７に送る（ステップＳ９０６）。ステップＳ９０３〜Ｓ９０６の処理は、第１の実施形態のステップＳ５０３〜Ｓ５０６と同様である。
使用画像生成手段８０７は、ステップＳ９０３で入力された対象画像の画素のうち、不適切領域の画素と判定された各画素の画素値を、その画素に対応する基準画像中の画素の画素値に置き換える（ステップＳ９０７）。例えば、ステップＳ９０３で図１０（ｂ）に例示する対象画像が入力されたとすると、使用画像生成手段８０７は、その対象画像の領域１９０２，１９０９の画素の画素値を、基準画像（図１０（ａ））の領域１９０８，１９０１の画素の画素値に置き換える。使用画像生成手段８０７は、基準画像と、画素値を置き換えた対象画像を記憶する。なお、対象画像中に不適切領域がなく、画素値を置き換えなかった場合、その対象画像をそのまま記憶する。
ステップＳ９０４〜Ｓ９０７の処理を行った対象画像が最後の対象画像でなければ（ステップＳ９０８のＮｏ）、ステップＳ９０３以降の処理を繰り返す。例えば、次の対象画像が入力されたならば、対象画像入力手段４１２がその対象画像を記憶し（ステップＳ９０３）、その対象画像についてステップＳ９０４〜Ｓ９０７の処理を行う。また、ステップＳ９０４〜Ｓ９０７の処理を行った対象画像が最後の対象画像である場合（例えば、次の対象画像が入力されない場合）、画像復元手段４０３ｂは、使用画像生成手段８０７に記憶された基準画像および対象画像を用いて、復元画像を生成し、画像出力手段４２０に出力する（ステップＳ９０９）。ステップＳ９０９の動作は、評価関数Ｅ［Ｔ］として、式（２）を用いる点以外は、ステップＳ５０８と同様である。
第３の実施形態でも、第１の実施形態と同様に、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域であるか否かの判定を適切に行うことができ、復元画像作成時に画質改善効果の減少を防ぐことができる。また、第３の実施形態では、使用画像生成手段８０７が対象画像中の不適切領域と判定された領域について画素値を置き換え、その対象画像を記憶し、画像復元手段４０３ｂは画素値置き換え後の対象画像を用いて復元画像を生成する。従って、画像復元手段４０３ｂは、不適切領域と判定された領域の情報を必要とせず、その情報を記憶するためのメモリ（不適切領域記憶手段４０７）を設ける必要がない。よって、第３の実施形態によれば、より少ないメモリ記憶量で高画質画像生成処理を行うことができる。
第３の実施形態において、不適切領域判定手段４０２ｂが、第２の実施形態で説明した基準高解像度画像生成手段６０８を備え、画素差分計算手段４０５が基準高解像度画像と対象画像とから差分ベクトルを計算してもよい。使用画像生成手段８０７は、対象画像の画素のうち、不適切領域の画素と判定された各画素の画素値を、その画素に対応する基準高解像度画像中の画素の画素値に置き換えればよい。
実施形態４．
第１から第３までの各実施形態では、入力画像よりも画素数の多い高解像度画像を生成する場合の構成を説明したが、第４の実施形態では、個々の入力画像と同じ解像度のブレンド画像を生成する場合の構成を説明する。ブレンド画像とは、複数の画像間の対応する画素の画素値の平均を画素毎に計算して得られる画像である。
図１２は、本発明の第４の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第４の実施形態の画像処理システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）４００ｃと、画像入力手段４１０と、画像出力手段４２０とを備える。コンピュータ４００ｃは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２と、ブレンド画像生成手段１００３とを備える。
不適切領域判定手段４０２は、許容領域計算手段４０４と、画像差分計算手段４０５と、不適切領域抽出手段４０６と、不適切領域記憶手段４０７とを備える。画像入力手段４１０、位置ずれ量推定手段４０１、不適切領域判定手段４０２、画像出力手段４２０は、第１の実施形態と同様である。
ブレンド画像生成手段１００３は、基準画像および各対象画像において対応する画素の画素値の平均値を画素毎に計算することによってブレンド画像を生成する。例えば、基準画像の画素毎に、その画素自身、および、その画素に対応する各対象画像の各画素における画素値の平均値を求めることによってブレンド画像を生成する。ただし、ブレンド画像生成手段１００３は、ブレンド画像において動物体を表す領域の画素に関しては、平均値計算によって求めるのではなく、基準画像中で動物体を表している領域の画素値をブレンド画像における画素値として定める。また、基準画像および各対象画像において対応する画素の画素値の平均値を計算する場合、不適切領域に該当すると判定された画素は、平均値算出の対象から除外して画素値の平均値を計算する。
図１３は、ブレンド画像生成手段１００３によるブレンド画像生成の例を示す説明図である。図１３に示す画像Ｐ０は基準画像であり、画像Ｐ１，Ｐ２は対象画像であり、画像Ｂはブレンド画像である。また、図１３では、各画像に表されている月および家を実線で図示し、他の画像中の月を表す領域に対応する領域を破線で示している。例えば、対象画像Ｐ１における領域２００２ａ，２００４ｂは、基準画像Ｐ０や対象画像Ｐ２で月を表す領域２００２，２００４に対応する。本例では、対象画像Ｐ１では、領域２００２ａ，２００３の画素が不適切領域の画素と判定され、対象画像Ｐ２では、領域２００２ｂ，２００４の画素が不適切領域の画素と判定される。その他の領域では、予め仮定された幾何学的な変形モデルによって表される変化が生じ、適切領域と判定されている。
図１３に示す例では、基準画像Ｐ０の領域２００２内の画素は、対象画像Ｐ１，Ｐ２の領域２００２ａ，２００２ｂ内の画素と対応付けられる。同様に、領域２００３，２００３ａ，２００３ｂ内の画素が対応付けられ、領域２００４，２００４ａ，２００４ｂ内の画素が対応付けられる。また、家を表す領域２００５，２００６，２００７内の画素が対応付けられる。
ブレンド画像生成手段１００３は、基準画像中の画素に対応する各対象画像中の画素がいずれも適切領域の画素と判定されている場合、その基準画像中の画素、およびその画素に対応する各対象画像中の画素の画素値の平均値を計算し、ブレンド画像における画素値とする。例えば、基準画像Ｐ０の領域２００５に対応する対象画像Ｐ１，Ｐ２の領域２００６，２００７はいずれも不適切領域ではない。従って、ブレンド画像生成手段１００３は、領域２００５，２００６，２００７の対応する画素の画素値の平均値を計算し、その平均値をブレンド画像Ｂにおける画素値とする。このようにして、例えば、ブレンド画像Ｂにおける領域２００８の画素値が求められる。
また、ブレンド画像生成手段１００３は、基準画像中において動物体を表す領域２００２の画素の画素値を、ブレンド画像中の動物体を表す領域の画素の画素値としてそのまま用いる。従って、領域２００２，２００２ａ，２００２ｂの画素は対応付けられるが、その画素値の平均値を計算することはなく、ブレンド画像Ｂにおいて、基準画像における動物体の領域２００２と同じ位置２００９の画素値は、領域２００２における画素値と同じ値に定めればよい。なお、基準画像中において動物体を表す領域の画素であるか否かの判定は、例えば、以下のように行えばよい。すなわち、基準画像の画素に対応する各対象画像の画素がいずれも不適切領域とされていれば、ブレンド画像生成手段１００３は、その基準画像の画素が動物体を表す領域の画素であると判定すればよい。ただし、ブレンド画像生成手段１００３は、基準画像中において動物体を表す領域の画素を他の方法で判定してもよい。
また、ブレンド画像生成手段１００３は、基準画像の画素に対応する対象画像の画素野中に、不適切領域の画素と判定されている画素があれば、基準画像の画素と、その画素に対応する対象画像の画素のうち適切領域の画素と判定されている画素の画素値の平均値を計算し、ブレンド画像における画素値とする。例えば、基準画像Ｐ０の領域２００３ａ内の画素は、対象画像Ｐ１，Ｐ２の領域２００３，２００３ｂの画素に対応する。ただし、領域２００３の画素は不適切領域の画素と判定されているので、ブレンド画像生成手段１００３は、領域２００３ａの画素、および、その画素に対応する領域２００３ｂの画素の画素値の平均値をブレンド画像Ｂの画素値と定める。また、基準画像Ｐ０の領域２００４ａ内の画素は、対象画像Ｐ１，Ｐ２の領域２００４ｂ，２００４の画素に対応する。領域２００４の画素は不適切領域の画素と判定されているので、ブレンド画像生成手段１００３は、領域２００４ａの画素、および、その画素に対応する領域２００４ｂの画素の平均値をブレンド画像Ｂの画素値と定める。
ブレンド画像生成手段１００３は、例えば、プログラムに従って動作するＣＰＵによって実現される。あるいは、専用回路によって実現されてもよい。
図１４は、第４の実施形態における処理経過の例を示すフローチャートである。第１の実施形態と同様の処理については図５と同一の符号を付し、説明を省略する。基準画像の入力から、各対象画像中の不適切領域の画素の情報を不適切領域記憶手段４０７に記憶させるまでの動作（ステップＳ５０１〜Ｓ５０７）は、第１の実施形態と同様である。
また、ステップＳ５０４〜Ｓ５０６の処理を行った対象画像が最後の対象画像である場合（例えば、次の対象画像が入力されない場合）、ブレンド画像生成手段１００３は、各対象画像中の不適切領域に該当する画素の情報を参照して、上述のように、基準画像および各対象画像からブレンド画像を生成する（ステップＳ６００）。ブレンド画像生成手段１００３は、ブレンド画像を画像出力手段４２０に出力する。
第４の実施形態においても、第１の実施形態と同様に、画像中の画素値の変化が激しい領域が、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域（不適切領域）と判定されやすくなってしまうことを防止できる。よって、そのような画素値の変化が激しい領域の画素もブレンド画像生成処理に使用でき、生成するブレンド画像の画質を高めることができる。また、ブレンド画像生成手段１００３は、対象画像中の不適切領域の画素の画素値はブレンド画像生成時に平均値計算に用いない。このことによっても、ブレンド画像の画質を高めることができる。
第４の実施形態において、不適切領域判定手段４０２が、第２の実施形態で説明した基準高解像度画像生成手段６０８を備え、基準高解像度画像生成手段６０８が生成した基準高解像度画像を用いて許容領域を定め、不適切領域の画像を判定する構成であってもよい。
また、不適切領域判定手段４０２が、第３の実施形態で説明した使用画像生成手段８０７を備え、使用画像生成手段８０７が各対象画像の不適切領域内の画素の画素値を、対応する基準画像中の画素の画素値に置き換えてもよい。この結果、対象画像からは不適切領域がなくなる。よって、ブレンド画像生成手段１００３は、基準画像および対象画像で、対応している各画素の画素値の平均値を求め、その画素値をブレンド画像の画素値と定めてブレンド画像を生成すればよい。
実施形態５．
図１５は、本発明の第５の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態、第４の実施形態と同様の構成要素については、図１、図１２と同一の符号を付し、詳細な説明を省略する。第５の実施形態の画像処理システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）４００ｄと、画像入力手段４１０と、画像出力手段４２０とを備える。コンピュータ４００ｄは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２ｄと、ブレンド画像生成手段１００３とを備える。画像入力手段４１０、画像出力手段４２０、位置ずれ量推定手段４０１、ブレンド画像生成手段１００３は第４の実施形態と同様である。
不適切領域判定手段４０２ｄは、最大変化画素計算手段１２０８と、許容領域計算手段１２４０と、画素差分計算手段４０５と、不適切領域抽出手段４０６と、不適切領域記憶手段４０７とを備える。画素差分計算手段４０５、不適切領域抽出手段４０６、および不適切領域記憶手段４０７は、第１および第４の実施形態と同様である。
不適切領域判定手段４０２ｄは、基準画像入力手段４１１に記憶された基準画像の画素値と、位置ずれ量推定手段４０１で得られた画像間の位置ずれ量とを用いて、対象画像毎に、不適切領域を特定し、その領域を記憶する。
最大変化画素計算手段１２０８は、基準画像入力手段４１１に記憶された基準画像の画素毎に、最大変化画素を特定し、その最大変化画素を記憶する。最大変化画素計算手段１２０８は、基準画像の画素毎に、最大変化ベクトルを特定することによって最大変化画素を定めればよい。最大変化ベクトルの特定は、第１の実施形態における許容領域計算手段４０４と同様に行えばよい。
許容領域計算手段１２４０は、基準画像の画素毎に、その画素について特定されている最大変化画素を用いて、許容領域を定める。許容領域計算手段１２４０は、基準画像の画素と、その画素の最大変化画素から差分ベクトル（すなわち、最大変化ベクトル）を計算する。そして、許容領域計算手段１２４０は、その基準画像の画素の画素値が示す色空間内の位置を中心とし、最大変化ベクトルの大きさを中心軸半径とし、中心軸の方向が最大変化ベクトルと同方向である楕円体を表すパラメータを計算すればよい。ただし、許容領域計算手段１２４０は、許容領域を表すそのパラメータを記憶しない。
なお、最大変化画素計算手段１２０８が、最大変化画素を記憶するのではなく、最大変化ベクトル自体を記憶してもよい。そして、許容領域計算手段１２４０がその最大変化ベクトルを用いて許容領域を定めてもよい。
最大変化画素計算手段１２０８および許容領域計算手段１２４０は、例えば、プログラムに従って動作するＣＰＵによって実現される。あるいは、専用回路によって実現されていてもよい。
最大変化画素計算手段１２０８および許容領域計算手段１２４０は、第１の実施形態の許容領域計算手段４０４の機能を分けた要素である。ただし、第１の実施形態では、基準画像が入力されたときに、基準画像の画素毎に許量領域を求め、その許容領域を表すパラメータを記憶していた。一方、第５の実施形態では、基準画像が入力されたときには、画素毎の最大変化画素を特定して記憶するだけで、許量領域のパラメータまでは計算しない。そして、許容領域計算手段１２４０は、対象画像の画素が不適切領域の画素であるか否かを判定するときに、個々の対象画像毎に、最大変化画素の情報を利用して許容領域を計算する。対象画像毎に許量領域を計算することにより、許量領域を表すパラメータを記憶せずに、そのメモリ容量の削減を実現する。以下、フローチャートを参照して第５の実施形態の処理経過を説明する。
図１６は、第５の実施形態における処理経過の例を示すフローチャートである。第１の実施形態や第４の実施形態と同様の処理については、図５、図１４と同一の符号を付し、説明を省略する。基準画像入力手段４１１は基準画像を入力されると、その基準画像を記憶する（ステップＳ５０１）。
そして、最大変化画素計算手段１２０８は、その基準画像の画素毎に最大変化画素を特定し、記憶する（ステップＳ５０２ａ）。最大変化画素計算手段１２０８は、基準画像の画素を順に選択していく。そして、選択した画素をｉとすると、画素ｉとその周囲の各画素の差分ベクトルを計算し、画素ｉの周囲の画素のうち、差分ベクトルの大きさが最大となる画素（最大変化ベクトルをなす画素）を最大変化画素として特定すればよい。他の実施形態と異なり、基準画像が入力された際に、最大変化画素計算手段１２０８は、許容領域を計算しない。また、最大変化画素計算手段１２０８は、最大変化画素の情報として画素の識別情報（例えば画素番号）を記憶すればよい。
対象画像の入力（ステップＳ５０３）から、位置ずれを解消するように対象画像を補正し、対象画像中の画素と基準画像中の画素とを対応付け、対応付けた画素の組における差分ベクトルを計算する処理（ステップＳ５０５）までの処理は、第４の実施形態と同様である。
次に、許容領域計算手段１２０４は、基準画像入力手段１２１１に入力されている基準画像の画素毎に、その画素の最大変化画素がどの画素であるかを最大変化画素計算手段１２０８から読み込み、許容領域を表すパラメータを計算する（ステップＳ５０５ａ）。
次に、不適切領域抽出手段４０６は、ステップＳ５０３で入力された対象画像中の画素毎に、その画素について計算した差分ベクトルと、その画素に対応する基準画像中の画素の許容領域とを用いて不適切領域であるか否かを判定する。そして、不適切領域と判定された画素を不適切領域記憶手段４０７に記憶させる（ステップＳ５０６）。
ステップＳ５０４〜Ｓ５０６の処理を行った対象画像が最後の対象画像でなければ（ステップＳ５０７のＮｏ）、ステップＳ５０３以降の処理を繰り返す。例えば、対象画像入力手段４１２に次の対象画像が入力されたならば、対象画像入力手段４１２がその対象画像を記憶し（ステップＳ５０３）、その対象画像についてステップＳ５０４〜Ｓ５０６の処理を行う。また、ステップＳ５０４〜Ｓ５０６の処理を行った対象画像が最後の対象画像である場合（例えば、次の対象画像が入力されない場合）、ブレンド画像生成手段１００３は、各対象画像中の不適切領域に該当する画素の情報を参照して、第４の実施形態と同様にブレンド画像を生成し、画像出力手段４２０に出力する。
ステップＳ５０３〜Ｓ５０７のループ処理では、許容領域計算手段１２０４がステップＳ５０５ｂに移行する毎に基準画像の各画素の許容領域を表すパラメータを計算し、不適切領域抽出手段４０６は、そのパラメータを用いてステップＳ５０６の判定を行う。従って、許容領域を表すパラメータを記憶しておく必要がなく、許容領域を記憶するためのメモリ容量を削減することができる。
本実施形態においても、第４の実施形態と同様に、画像中の画素値の変化が激しい領域が、仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域（不適切領域）と判定されやすくなってしまうことを防止できる。そして、生成するブレンド画像の画質を高めることができる。また、許量領域を表すパラメータを対象画像毎に計算し直すので、許量領域を表すパラメータを記憶しておく必要がなく、最大変化画素の情報を記憶しておけばよいので、メモリ容量を削減することができる。
第５の実施形態において、不適切領域判定手段４０２ｄが、第２の実施形態で説明した基準高解像度画像生成手段６０８を備え、最大変化画素計算手段１２０８が、基準高解像度画像の画素毎に最大変化画素を特定する構成であってもよい。この場合、許容領域計算手段１２０４は、ステップＳ５０５ａにおいて、基準高解像度画像の各画素について許容領域を表すパラメータを計算すればよい。
また、不適切領域判定手段４０２ｄが、第３の実施形態で説明した使用画像生成手段８０７を備え、使用画像生成手段８０７が各対象画像の不適切領域内の画素の画素値を、対応する基準画像中の画素の画素値に置き換えてもよい。この結果、対象画像からは不適切領域がなくなる。よって、ブレンド画像生成手段１００３は、基準画像および対象画像で、対応している各画素の画素値の平均値を求め、その画素値をブレンド画像の画素値と定めてブレンド画像を生成すればよい。
また、第５の実施形態では、ブレンド画像を生成する場合の構成を示したが、第１から第３までの各実施形においても、許容領域計算手段４０４，４０４ａの代わりに最大変化画素計算手段１２０８および許容領域計算手段１２０４を備え、基準画像入力時では最大変化画素を特定するに留め、対象画像毎のループ処理内で画素毎の許容領域を計算する構成としてもよい。その場合にもメモリ容量を削減できる。
第３、第４、第５の各実施形態においても、第１の実施形態で説明したように、ベクトルｘｋｉの要素として、画素値をｘ方向やｙ方向に微分した値等の特徴値を用いてもよい。
また、第３、第４、第５の各実施形態においても、第１の実施形態で説明したように、基準画像に対して許容領域を計算するのではなく、対象画像に対して許容領域を計算してもよい。また、基準画像の各画素について許容領域（Ｒａ）を計算し、対象画像の各画素についても許容領域（Ｒｂ）を計算し、不適切領域抽出手段４０６が、基準画像および対象画像についてそれぞれ求めた許容領域Ｒａ，Ｒｂを用いて、対象画像の画素が不適切領域の画素であるか否かを判定してもよい。
また、第１から第５までの各実施形態において、画像処理システムが画像復元手段４０３，４０３ｂ、または、ブレンド画像生成手段１００３と、画像出力手段４２０を備えず、復元画像やブレンド画像を生成しない構成であってもよい。そのような構成であっても、対象画像の各画素が仮定された幾何学的な変形モデルによって表される変化に従わない局所的な領域であるか否かを高い精度で判定することができる。この場合、他の装置が復元画像やブレンド画像を生成すればよい。
実施形態６．
第１から第５までの各実施形態では、対象画像の画素が不適切領域の画素であるか否かを判定する場合に、対象画像の画素に対応する基準画像内の画素に関する楕円体を用いて判定する場合を示した。対象画像内のある一つの画素が不適切領域の画素であるか否かを判定する場合に、対象画像内の複数の画素に関する色空間内での各位置が、その複数の画素に対応する基準画像内の各画素に関する色空間内の楕円体の内側に存在するか外側に存在するかの程度を表す値を計算し、その値に基づいて、対象画像内の一つの画素が不適切領域の画素であるか否かを判定してもよい。以下、第６の実施形態として、このように対象画像内の各画素について判定を行う実施形態を示す。
図１７は、本発明の第６の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第６の実施形態の画像処理システムは、プログラム制御により動作するコンピュータ４００ｅと、画像入力手段４１０と、画像出力手段４２０とを備える。コンピュータ４００ｅは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２ｅと、画像復元手段４０３とを有する。
不適切領域判定手段４０２ｅは、画素差分計算手段４０５と、不適切領域抽出手段５００と、不適切領域記憶手段４０７とを備え、対象画像中の画素が不適切領域に該当するか否かを判定する。
画素差分計算手段４０５は、第１の実施形態における画素差分計算手段４０５と同様であり、基準画像と対象画像との間において対応する画素の差分ベクトル（対応画素差分ベクトル）を計算する。
また、不適切領域記憶手段４０７も、第１の実施形態における不適切領域記憶手段４０７と同様である。
不適切領域抽出手段５００は、対象画像内の個々の画素について、不適切領域の画素であるか否かを判定する。不適切領域抽出手段５００は、対象画像内の一つ一つの画素に関してこの判定を行うときに、対象画像内の複数の画素に関する色空間内での各位置が、その複数の画素に対応する基準画像内の各画素に関する色空間内の楕円体の内側に存在するか外側に存在するかの程度を表す値（以下、判定指標値と記す）を、対応画素差分ベクトルを用いて計算し、その判定指標値に基づいて、対象画像内の画素が不適切領域の画素であるか否かを判定する。
位置ずれ量推定手段４０１、画素差分計算手段４０５および不適切領域抽出手段５００は、例えばプログラムに従って動作するＣＰＵによって実現される。あるいは、専用回路によって実現されていてもよい。
ここで、説明を簡単にするために、基準画像内の画素に関する色空間内の楕円体を表すパラメータについて説明する。本例では、基準画像および対象画像がＹＵＶ形式で表現されているものとする。この楕円体は、第１の実施形態において許容領域として計算される楕円体と同様の楕円体である。ただし、第６の実施形態では、基準画像内の一つの画素に関する一つの楕円体そのものが、判定用領域として用いられるわけではない。基準画像内の任意の画素をｉとし、その画素ｉの画素値を要素とするベクトルをｘ１ｉ＝（Ｙ１ｉ，Ｕ１ｉ，Ｖ１ｉ）ｔとする。このとき、画素ｉに関する色空間内の楕円体は、以下の式（３）に示す行列Ａによって表される。
Figure 0005500163
式（３）に示すσは、楕円体の回転軸以外の軸方向の半径である。図２に例示する楕円体では、σは楕円体の短軸半径である。σは、予め定数として定めておく。Ｉは、色空間の次元と同数の行数および列数の単位行列である。本例では、Ｉは３×３の単位行列である。また、式（３）に示すΔｘ１ｉは、基準画像中の画素ｉの最大変化ベクトルである。すなわち、画素ｉに隣接する周囲の８画素の画素値が示すベクトルから、画素ｉの画素値が示すベクトルを減算した差分ベクトルのうち大きさが最大となるベクトルである。
式（３）に示すｄは、楕円体の中心軸半径である。図２に例示する楕円体では、ｄは楕円体の長軸半径である。ｄは、画素ｉの最大変化ベクトルΔｘ１ｉの大きさである。ただし、中心軸半径の上限ｄｍａｘを定数として予め定めておく。Δｘ１ｉの大きさをｄと定めるが、Δｘ１ｉ＞ｄｍａｘであればｄ＝ｄｍａｘと定める。また、中心軸半径は、他の軸方向の半径以上となるように定める。従って、最大変化ベクトルΔｘ１ｉの大きさがσよりも小さい場合には、中心軸半径ｄ＝σとなる。
次に、動作について説明する。ここでは、画像入力手段４１０に入力される１枚目の画像が基準画像として基準画像入力手段４１１に入力され、２枚目以降の画像が対象画像として対象画像入力手段４１２に入力されるものとする。また、ここでは、基準画像および対象画像がＹＵＶ形式で表現されているものとする。画像処理システムは、対象画像毎に、以下に示す処理を行う。以下の説明では、処理対象として着目している対象画像が、ｋ枚目（ｋ≧２）の入力画像であるものとする。
位置ずれ量推定手段４０１は、１枚目の入力画像である基準画像の画素値ｘｉと、対象画像の画素値ｘｋとを用いて、基準画像に対する対象画像の位置ずれ量をサブピクセル精度で計算する。入力画像全体における対象画像の順番をｋとしている。位置ずれ量推定手段４０１は、対象画像の各画素が基準画像のどの位置座標に存在するかを計算しているということができる。位置ずれ量を推定するとき、位置ずれ量推定手段４０１は、例えば、一様な変形を仮定した変形モデルである射影変換モデルを用いて計算を行う。画像中の大部分の領域の位置ずれ量が一様な変形によって表現できる場合には、その領域については少ない誤差で位置ずれ量を推定することが可能である。位置ずれ量推定手段４０１は、推定した位置ずれ量を記憶する。
次に、画素差分計算手段４０５は、計算された位置ずれ量に基づいて、着目しているｋ枚目の対象画像の画素に最も近い基準画像中の画素を特定する。その対象画像中の画素をｊとし、画素ｊの画素値が表すベクトルをｘｋｊとする。また、画素ｊに最も近いと判定された基準画像中の画素をｉとし、その画素値が表すベクトルをｘｋｉとする。画素差分計算手段４０５は、画素ｉと画素ｊとを対応付ける。そして、画素ｊと画素ｉの差分ベクトルとして、ベクトルδｘ（ｋ，ｉ，ｊ）＝ｘｋｊ−ｘ１ｉを計算する。画素差分計算手段４０５は、対象ベクトル内の各画素について、同様に、基準画像中の画素と対応付け、差分ベクトルを計算する。
次に、不適切領域抽出手段５００は、対象画像内の画素ｊが不適切領域の画素であるか否かを、判定指標値に基づいて判定する。判定指標値は、対象画像内の複数の画素に関する色空間内での各位置が、その複数の画素に対応する基準画像内の各画素に関する色空間内の楕円体の内側に存在するか外側に存在するかの程度を表す値である。判定指標値の値が小さいほど、対象画像内の複数の画素に関する色空間内での各位置が各楕円体の内側に存在する程度が大きいことを意味する。対象画像内の複数の画素には、画素ｊ自身も含まれる。この複数の画素は、画素ｊを中心とする複数の画素である。本例では、対象画像内の複数の画素として、対象画像内の全画素を用いる場合を例にして説明するが、判定対象となる画素ｊとの距離が、予め定められた距離閾値以内になっている各画素のみを用いてもよい。
不適切領域抽出手段５００は、具体的には、以下の式（４）に例示する計算を行って、判定指標値Ｄ１を計算する。
Figure 0005500163
式（４）において、ｊ’は、着目している対象画像（ｋ枚目の入力画像）中から選択した画素を表す。ｉ’は、対象画像中の画素ｊ’に対応する基準画像内の画素を表す。すなわち、不適切領域抽出手段５００は、対象画像から個々の画素を選択し、選択した画素毎にＦ（ｊ、ｊ’）・Ｃ（ｋ，ｉ’，ｊ’）を計算し、その総和を判定指標値Ｄ１とする。
式（４）におけるＣ（ｋ，ｉ’，ｊ’）は、以下に示す式（５）で表される。
Figure 0005500163
Ｃ（ｋ，ｉ’，ｊ’）は、画素ｊ’に関する色空間内での位置が、画素ｊ’に対応する基準画像内の画素に関する色空間内の楕円体の内部にあるか外部にあるかを表す値であるということができる。
また、不適切領域抽出手段５００は、例えば、基準画像が入力されたときに、基準画像内の各画素に関して行列Ａを予め計算して記憶しておく。行列Ａを計算するということは、楕円体を定めることを意味する。不適切領域抽出手段５００は、基準画像の入力時に、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって行列Ａを計算すればよい。そして、不適切領域抽出手段５００は、基準画像の画素毎に計算した行列Ａを記憶しておけばよい。
式（５）におけるＦ（ｊ、ｊ’）は、不適切領域の画素であるか否かの判定対象画素である画素ｊと、画素ｊ’との位置関係（距離）に応じた重み係数である。例えば、画素ｊ、Ｊ’間の距離が小さいほど、重み係数が大きくなるように、重み係数Ｆ（ｊ、ｊ’）を定めてもよい。Ｆ（ｊ、ｊ’）は、例えば、以下に示す式（６）のように定めてもよい。
Figure 0005500163
式（６）において、Ｒｊ，ｊ’は、画素ｊ，ｊ’間の距離である。また、式（６）におけるεは、Ｆ（ｊ、ｊ’）の大きさを調整するパラメータである。εの値を大きく設定しておくほど、画素ｊ，ｊ’間の距離（Ｒｊ，ｊ’）が大きい場合にも、Ｆ（ｊ、ｊ’）の値が大きな値となる。
また、例えば、Ｆ（ｊ、ｊ’）は、以下に示す式（７）のように定めてもよい。
Figure 0005500163
式（７）は、画素ｊ，ｊ’間の距離（Ｒｊ，ｊ’）がＲ０以上である場合には、重み係数Ｆ（ｊ、ｊ’）の値を０とし、距離Ｒｊ，ｊ’がＲ０未満の場合に、重み係数Ｆ（ｊ、ｊ’）の値を１／Ｒ０ ２とする。Ｒ０は、重み係数を０とする範囲と、０としない範囲との境界を規定する距離である。
不適切領域抽出手段５００は、式（５）の計算を行って、判定指標値Ｄ１を計算したならば、判定指標値Ｄ１と、予め定められた閾値とを比較する。そして、Ｄ１が閾値よりも大きければ、不適切領域抽出手段５００は、対象画像内の画素ｊが不適切領域の画素であると判定する。逆に、Ｄ１が閾値以下であれば、不適切領域抽出手段５００は、対象画像内の画素ｊが不適切領域の画素でないと判定する。
不適切領域抽出手段５００は、以上の判定を、対象画像内の各画素に対して行い、不適切領域の画素と判定された画素を不適切領域記憶手段４０７に記憶させる。
１枚の対象画像中の各画素についての判定処理が終了した後、画像処理システムは、次の対象画像についても同様の処理を繰り返す。全ての対象画像についての判定処理が終了した後、画像復元手段４０３が画像を復元する。
本実施形態においても、第１の実施形態と同様の効果が得られる。
なお、上記の説明では、式（４）で計算されるＤ１を判定指標値とする場合を示したが、式（４）以外の計算方法で判定指標値を計算してもよい。例えば、不適切領域抽出手段５００は、以下に示す式（８）の計算によりＤ２を求め、Ｄ２を判定指標値としてもよい。
Figure 0005500163
式（８）は、対象画像内の画素毎に計算したＦ（ｊ、ｊ’）・Ｃ（ｋ，ｉ’，ｊ’）のうちの最大値をＤ２とすることを表している。このように判定指標値Ｄ２を求めた場合にも、不適切領域抽出手段５００は、予め定めた閾値とＤ２とを比較し、Ｄ２が閾値よりも大きければ、画素ｊが不適切領域の画素であると判定し、Ｄ２が閾値以下ならば、画素ｊが不適切領域の画素でないと判定すればよい。
また、上記の説明では、不適切領域抽出手段５００が基準画像内の各画素に関して行列Ａ（換言すれば楕円体）を予め計算して記憶する場合を示した。行列Ａ自体を予め計算して記憶するのではなく、第５の実施形態と同様に、基準画像内の各画素に関する最大変化画素を予め記憶しておいてもよい。そして、個々の対象画像毎に、対象画像内の画素が不適切領域の画素であるか否かを判定するときに、最大変化画素を参照して行列Ａを計算してもよい。行列Ａを計算する際には、基準画像の画素を順に選択し、選択した画素とその画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルによって行列Ａを計算すればよい。このように、基準画像が入力されたときには、基準画像内の各画素に関する最大変化画素を記憶しておき、対象画像毎に、基準画像内の各画素に関する行列Ａを計算すれば、第５の実施形態と同様の効果が得られる。
また、第６の実施形態において、不適切領域判定手段４０２ｅは、第２の実施形態と同様に、基準高解像度画像生成手段６０８（図６参照）を備え、基準高解像度画像生成手段６０８が、基準高解像度画像を生成してもよい。そして、画素差分計算手段４０５および不適切領域抽出手段５００は、基準高解像度画像と対象画像とを用いて、上記と同様の処理を行ってもよい。この場合、第２の実施形態と同様の効果が得られる。
また、第６の実施形態において、コンピュータ４００ｅが、不適切領域記憶手段４０７および画像復元手段４０３の代わりに、第３の実施形態で示した使用画像生成手段８０７および画像復元手段４０３ｂを備える構成であってもよい。この場合、第３の実施形態と同様の効果が得られる。
また、第６の実施形態において、コンピュータ４００ｅが、画像復元手段４０３の代わりに、第４の実施形態で示したブレンド画像生成手段１００３を備える構成であってもよい。この場合、第４の実施形態と同様の効果が得られる。
その他、第１から第５までの各実施形態において説明した種々の変形例を、第６の実施形態に適用してもよい。例えば、第６の実施形態においても、対象画像を補間して高解像度化する対象画像高解像度化手段を備えていてもよい。そして、画素差分計算手段４０５は、高解像度化された対象画像を、位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像中の画素と、基準画像中の画素とを対応付けてもよい。そして、画素差分計算手段４０５は、その対応付けた各画素に応じた対応画素差分ベクトルを計算すればよい。
図１を参照して、本発明の実施例を説明する。この実施例は第１の実施形態に対応するものである。
本実施例では、画像入力手段４１０として、ＮＴＳＣ（National Television System Committee）信号を入出力できるビデオキャプチャボードを用いる。画像出力手段４２０として、ディスプレイ装置を用いる。また、コンピュータ４００として、画像処理プロセッサを搭載した画像処理ボードを用いる。ビデオキャプチャボードは、入力されたビデオ信号をＹＵＶ信号に変換し、画像処理ボードに送る。また、ビデオキャプチャボードは、画像処理ボードにおける処理結果が転送させると、その処理結果をビデオ信号に変換してディスプレイ装置に表示させる。このように、本実施例では、画像処理ボードの処理結果をビデオキャプチャボードに転送し、ビデオキャプチャボードが画像をディスプレイ装置に表示させる。
画像処理ボードは、位置ずれ量推定手段４０１と、不適切領域判定手段４０２（許容領域計算手段４０４、画像差分計算手段４０５、不適切領域抽出手段４０６、不適切領域記憶手段４０７）と、画像復元手段４０３とを含む。
基準画像の入力信号が基準画像入力手段４１１に入力されると、基準画像入力手段４１１はその値を記憶する。本実施例では、複数の入力画像のうち、１枚目を基準画像とするものとする。また、基準画像および対象画像は、ＹＵＶ形式で表現されているとする。許容領域計算手段４０４は、基準画像の画素を順に選択する。選択した画素を画素ｉとして、その画素ｉの画素値を要素とするベクトルをｘ１ｉ＝（Ｙ１ｉ，Ｕ１ｉ，Ｖ１ｉ）ｔとする。本実施例では、許容領域計算手段４０４、許容領域を表すパラメータを、既に説明した式（３）に示す行列Ａとして求める。
式（３）に示すσは、許容領域となる楕円体の回転軸以外の軸方向の半径である。図２に示す例では、σは楕円体の短軸半径である。σは、予め定数として定めておく。Ｉは、色空間の次元と同数の行数および列数の単位行列である。本例では、色空間は、Ｙ，Ｕ，Ｖの３次元空間であるので、Ｉは３×３の単位行列となる。また、式（３）に示すΔｘ１ｉは、基準画像から選択した画素ｉの最大変化ベクトルである。すなわち、画素ｉに隣接する周囲の８画素の画素値が示すベクトルから、画素ｉの画素値が示すベクトルを減算した差分ベクトルのうち大きさが最大となるベクトルである。
式（３）に示すｄは、許容領域となる楕円体の中心軸半径である。すなわち、図２に示す例では、ｄは楕円体の長軸半径である。ｄは、画素ｉの最大変化ベクトルΔｘ１ｉの大きさである。ただし、中心軸半径の上限ｄｍａｘを定数として予め定めておく。許容領域計算手段４０４は、Δｘ１ｉの大きさをｄと定めるが、Δｘ１ｉ＞ｄｍａｘであればｄ＝ｄｍａｘと定める。また、中心軸半径は、他の軸方向の半径以上となるように定める。従って、許容領域計算手段４０４は、最大変化ベクトルΔｘ１ｉの大きさがσよりも小さい場合には、中心軸半径ｄ＝σと定める。
対象画像が対象画像入力手段４１２に入力されると、位置ずれ量推定手段４０１は、１枚目の入力画像である基準画像の画素値ｘｉと、対象画像の画素値ｘｋとを用いて、基準画像に対する対象画像の位置ずれ量をサブピクセル精度で計算する。入力画像全体における対象画像の順番をｋとしている。位置ずれ量推定手段４０１は、対象画像の各画素が基準画像のどの位置座標に存在するかを計算しているということができる。位置ずれ量を推定するとき、位置ずれ量推定手段４０１は、例えば、一様な変形を仮定した変形モデルである射影変換モデルを用いて計算を行う。画像中の大部分の領域の位置ずれ量が一様な変形によって表現できる場合には、その領域については少ない誤差で位置ずれ量を推定することが可能である。位置ずれ量推定手段４０１は、推定した位置ずれ量を記憶する。
次に、画素差分計算手段４０５は、計算された位置ずれ量に基づいて、着目しているｋ枚目の対象画像の画素に最も近い基準画像中の画素を特定する。その、対象画像中の画素をｊとし、その画素ｊの画素値が表すベクトルをｘｋｊとする。また、画素ｊに最も近いと判定された基準画像中の画素をｉとし、その画素値が表すベクトルをｘｋｉとする。画素差分計算手段４０５は、画素ｉと画素ｊとを対応付ける。そして、画素ｊと画素ｉの差分ベクトルとして、ベクトルδｘ（ｋ，ｉ，ｊ）＝ｘｋｊ−ｘ１ｉを計算する。画素差分計算手段４０５は、対象ベクトル内の各画素について、同様に、基準画像中の画素と対応付け、差分ベクトルを計算する。
不適切領域抽出手段４０６は、対象画像中の画素毎に、その画素に対応付けられた基準画像中の画素におけるパラメータＡと、画素差分計算手段４０５が計算した差分ベクトルδｘ（ｋ，ｉ，ｊ）とを用いて、対象画像中の画素が不適切領域に該当するか否かを判定する。不適切領域抽出手段４０６は、対象画像中の画素ｊの画素値が示す色空間での位置が、対応する画素ｉの許容領域外であるか否かを判定すればよい。具体的には、不適切領域抽出手段４０６は、以下の式（９）に示すＣ（ｋ，ｉ，ｊ）を計算し、Ｃ（ｋ，ｉ，ｊ）が閾値より大きい値であるか否かを判定すればよい。この閾値は予め定めておけばよい。
Figure 0005500163
不適切領域抽出手段４０６は、Ｃ（ｋ，ｉ，ｊ）が閾値より大きければ、対象画像中の画素ｊの画素値が示す色空間での位置が、基準画像中の対応する画素ｉの許容領域外であり、画素ｊは不適切領域の画素であると判定する。一方、Ｃ（ｋ，ｉ，ｊ）が閾値以下であれば、対象画像中の画素ｊの画素値が示す色空間での位置が、基準画像中の対応する画素ｉの許容領域内であり、画素ｊは適切領域の画素であると判定する。
不適切領域抽出手段４０６は、不適切領域の画素を特定する情報を不適切領域記憶手段４０７に記憶させる。本実施例では、対象画像の画素数をＮとしたときに、Ｎ×Ｎの対角行列を以下のように定め、その対角行列を不適切領域記憶手段４０７に記憶させる。不適切領域抽出手段４０６は、着目している対象画像（ｋ枚目の入力画像）のｊ番目の画素に関して、その画素が不適切領域と判定した場合、Ｎ×Ｎの対角行列のｊ番目の対角成分の値を０とし、適切領域と判定した場合、ｊ番目の対角成分の値を１とする。このように定めたＮ×Ｎの対角行列は、式（１）における行列Ｓｋに該当する。
図１８は、不適切領域の例を示す説明図である。図１８（ａ）は基準画像を表し、図１８（ｂ）は対象画像を表している。基準画像および対象画像で撮影された家１８０１，１８０２は静止物体であり、家を表す領域は、位置ずれ量推定手段４０１で仮定された射影変換モデルによる変換に従う。基準画像および対象画像で撮影された月１８０３，１８０４は、時間と共に位置が変化するので、射影変換モデルに従わない。このとき、月の領域１８０４内の画素、および領域１８０３に対応する領域の画素について計算したＣ（ｋ，ｉ，ｊ）は、一定値以上の大きな値となり、不適切領域と判定される。よって、対象画像中の領域のうち、図１８（ｃ）に示す領域１８０５，１８０６の画素が不適切領域と判定される。不適切領域抽出手段４０６は、対象画像中の領域１８０５，１８０６の画素に対応する対角成分を０とし、対象画像中の他の画素に対応する対角成分を１とした行列（Ｓｋ）を定め、不適切領域記憶手段４０７に記憶させる。
また、不適切領域抽出手段４０６は、この行列のｊ番目の対角成分として、以下の値を定めてもよい。
Figure 0005500163
Ｃ（ｋ，ｉ，ｊ）は、ｋ枚目の対象画像中のｊ番目の画素について、式（９）の計算により求めた値である。βは、Ｃ（ｋ，ｉ，ｊ）の値をどの程度、行列Ｓｋの対角成分に反映させるかを表すパラメータであり、予め定められた定数である。Ｃ（ｋ，ｉ，ｊ）とβを用いて上記の計算によって求めた対角成分は、ｊ番目の画素が適切領域である信頼度を表している。
入力された対象画像毎に対角行列（Ｓｋ）が記憶された後、画像復元手段４０３は、置ずれ量推定手段４０１に計算された位置ずれ推定量と、対象行列毎に定められた行列Ｓｋを用いて、高解像度画像を生成する。画像復元手段４０３は、式（１）の評価関数Ｅ［Ｔ］を最小にする行列Ｔを求めることによって、高解像度画像を生成すればよい。最後に、生成した高解像度画像を画像出力手段４２０に送り、表示させる。
基準画像および対象画像がＹＵＶ形式の画像である場合、式（３）における単位行列Ｉとして３×３の単位を用い、３×３の行列Ａを計算する。そして式（９）では、３×３の行列と３次元ベクトルの計算を行う。基準画像および対象画像が、マルチスペクトル画像やハイパースペクトル画像のように３以外の次元の色空間で表される場合には、式（３）において、その色空間の次元に応じた単位行列Ｉを用いればよい。すなわち、画素がｒ個の画素値を有する場合、ｒ×ｒの単位行列Ｉを用いて式（３）の計算を行えばよい。
以下、本発明の最小構成について説明する。図１９は、本発明の最小構成を示すブロック図である。本発明の画像処理システムは、位置ずれ量計算手段９１と、画素演算手段９５とを備える。
位置ずれ量計算手段９１（例えば、位置ずれ量推定手段４０１）は、基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する。
画素演算手段９５（例えば、不適切領域判定手段４０２，４０２ａ，４０２ｂ，４０２ｄ，４０２ｅ）は、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が局所領域の画素であるか否かを判定する。
そのような構成により、画像中の画素値の変化が激しい領域が、仮定された変化に従わない局所領域と判定されやすくなってしまうことを防止できる。
また、上記の実施形態には、画素演算手段が、基準画像の画素に対応する対象画像の画素が局所領域の画素であるか否かを判定するための判定用領域（例えば、許容領域）を、予め定められた空間（例えば、色空間）内における楕円体として求める判定用領域特定手段（例えば、許量領域計算手段４０４，４０４ａ、あるいは最大変化画素計算手段１２０８および許量領域計算手段１２０４）と、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算手段（例えば、画素差分計算手段４０５，４０５ａ）と、対象画像の画素毎に、当該対象画像の画素に応じた空間内の位置が、当該画素に対応する基準画像の画素の判定用領域の外側であるか否かを対応画素差分ベクトルを用いて判定することにより、対象画像の画素が局所領域の画素であるか否かを判定する局所領域判定手段（例えば、不適切領域抽出手段４０６）とを含む構成が開示されている。
また、上記の実施形態には、判定用領域特定手段が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする構成が開示されている。
また、上記の実施形態には、判定用領域特定手段が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素の周囲の画素のうち、選択した画素との間で画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルの大きさが最大となる最大変化画素を求める最大変化画素特定手段（例えば、最大変化画素計算手段１２０８）と、局所領域判定手段が、対象画像の画素が仮定された変化に従っていない局所領域の画素であるか否かを対象画像毎に判定するときに、基準画像の画素を順に選択し、選択した画素とその画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする判定用領域算出手段（例えば、判定用領域計算手段１２０４）とを含む構成が開示されている。そのような構成によれば、局所領域であるか否かの判定を行うまでに用いるメモリ記憶量を抑えることができる。
また、上記の実施形態には、判定用領域特定手段が、対象画像が入力されたときに、対象画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする構成が開示されている。
また、上記の実施形態には、画素演算手段（例えば、不適切領域判定手段４０２ｅ）が、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算手段（例えば、画素差分計算手段４０５）と、対象画像の画素毎に、当該画素を中心とする対象画像内の複数の画素に応じた、予め定められた空間内における各位置が、その複数の画素に対応する基準画像内の各画素に応じた空間内における各楕円体の内側に存在するか外側に存在するかの程度を表す基準指標値を対応画素差分ベクトルを用いて計算し、基準指標値に基づいて、対象画像の画素が局所領域の画素であるか否かを判定する局所領域判定手段（例えば、不適切領域抽出手段５００）とを含む構成が開示されている。
また、上記の実施形態には、局所領域判定手段（例えば、不適切領域抽出手段５００）が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって楕円体を定める構成が開示されている。
また、上記の実施形態には、局所領域判定手段（例えば、不適切領域抽出手段５００）が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化画素を特定し、対象画像の画素が局所領域の画素であるか否かを判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、当該隣接画素間差分ベクトルによって楕円体を定める構成が開示されている。
また、上記の実施形態には、仮定された変化に従っていない局所領域の画素がどこであるかを示す情報に応じて、基準画像および対象画像から一つの画像を生成する画像生成手段（例えば、画像復元手段４０３、４０３ｂ、あるいはブレンド画像生成手段１００３）を備えた構成が開示されている。
また、上記の実施形態には、画像生成手段（例えば、画像復元手段４０３、４０３ｂ）が、基準画像および対象画像から、基準画像および対象画像よりも画素数の多い高解像度画像を生成する構成が開示されている。そのような構成によれば、仮定された変化に従わない局所領域を精度良く判定するので、高画質画像生成時における画質改善効果の減少を防ぐことができる。
また、上記の実施形態には、仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、その画素に対応する基準画像の画素の画素値に置き換える画素値置換手段（例えば、使用画像生成手段８０７）を備え、画像生成手段が、基準画像と、画素値置換手段によって画素値が置き換えられた対象画像とから高解像度画像を生成する構成が開示されている。そのような構成によれば、より少ないメモリ記憶量で高画質画像を生成できる。
また、上記の実施形態には、画像生成手段が、基準画像および対象画像から、基準画像および対象画像の対応する画素同士の画素値の平均値を算出するとともに、仮定された変化に従っていない局所領域の画素を平均値の算出対象から除外し、算出した平均値を画素値とするブレンド画像を生成する構成が開示されている。そのような構成によれば、仮定された変化に従わない局所領域を精度良く判定するので、ブレンド画像の画質を高めることができる。
また、上記の実施形態には、仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、その画素に対応する基準画像の画素の画素値に置き換える画素値置換手段（例えば、使用画像生成手段８０７）を備え、画像生成手段が、基準画像と、画素値置換手段によって画素値が置き換えられた対象画像とから、基準画像および対象画像の対応する画素同士の画素値の平均値を画素値とするブレンド画像を生成する構成が開示されている。そのような構成によれば、より少ないメモリ記憶量で画質のよいブレンド画像を生成できる。
また、上記の実施形態には、基準画像を補間して高解像度化する基準画像高解像度化手段（例えば、基準高解像度画像生成手段６０８）を備え、差分計算手段が、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い高解像度化された基準画像の画素を特定することによって、対象画像の画素と高解像度化された基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する構成が開示されている。
また、上記の実施形態には、対象画像を補間して高解像度化する対象画像高解像度化手段を備え、差分計算手段が、高解像度化された対象画像を位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する構成が開示されている。
なお、上記の実施の形態では、以下の（１）〜（１５）に示すような画像処理システムの特徴的構成が開示されている。
（１）基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算部と、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が局所領域の画素であるか否かを判定する画素演算部とを備えることを特徴とする画像処理システム。
（２）画素演算部が、基準画像の画素に対応する対象画像の画素が局所領域の画素であるか否かを判定するための判定用領域を、予め定められた空間内における楕円体として求める判定用領域特定部と、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算部と、対象画像の画素毎に、当該対象画像の画素に応じた空間内の位置が、当該画素に対応する基準画像の画素の判定用領域の外側であるか否かを対応画素差分ベクトルを用いて判定することにより、対象画像の画素が局所領域の画素であるか否かを判定する局所領域判定部とを含む画像処理システム。
（３）判定用領域特定部が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする画像処理システム。
（４）判定用領域特定部が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素の周囲の画素のうち、選択した画素との間で画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルの大きさが最大となる最大変化画素を求める最大変化画素特定部と、局所領域判定部が、対象画像の画素が仮定された変化に従っていない局所領域の画素であるか否かを対象画像毎に判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする判定用領域算出部とを含む画像処理システム。
（５）判定用領域特定部が、対象画像が入力されたときに、対象画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と選択した画素の画素値とにより定まる楕円体を判定用領域とする画像処理システム。
（６）画素演算部が、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算部と、対象画像の画素毎に、当該画素を中心とする対象画像内の複数の画素に応じた、予め定められた空間内における各位置が、その複数の画素に対応する基準画像内の各画素に応じた空間内における各楕円体の内側に存在するか外側に存在するかの程度を表す基準指標値を対応画素差分ベクトルを用いて計算し、基準指標値に基づいて、対象画像の画素が局所領域の画素であるか否かを判定する局所領域判定部とを含む画像処理システム。
（７）局所領域判定部が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって楕円体を定める画像処理システム。
（８）局所領域判定部が、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化画素を特定し、対象画像の画素が局所領域の画素であるか否かを判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、当該隣接画素間差分ベクトルによって楕円体を定める画像処理システム。
（９）仮定された変化に従っていない局所領域の画素がどこであるかを示す情報に応じて、基準画像および対象画像から一つの画像を生成する画像生成部を備えた画像処理システム。
（１０）画像生成部が、基準画像および対象画像から、基準画像および対象画像よりも画素数の多い高解像度画像を生成する画像処理システム。
（１１）仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換部を備え、画像生成部が、基準画像と、画素値置換部によって画素値が置き換えられた対象画像とから高解像度画像を生成する画像処理システム。
（１２）画像生成部が、基準画像および対象画像から、基準画像および対象画像の対応する画素同士の画素値の平均値を算出するとともに、仮定された変化に従っていない局所領域の画素を平均値の算出対象から除外し、算出した平均値を画素値とするブレンド画像を生成する画像処理システム。
（１３）仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換部を備え、画像生成部が、基準画像と、画素値置換部によって画素値が置き換えられた対象画像とから、基準画像および対象画像の対応する画素同士の画素値の平均値を画素値とするブレンド画像を生成する画像処理システム。
（１４）基準画像を補間して高解像度化する基準画像高解像度化部を備え、差分計算部が、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い高解像度化された基準画像の画素を特定することによって、対象画像の画素と高解像度化された基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する画像処理システム。
（１５）対象画像を補間して高解像度化する対象画像高解像度化部を備え、差分計算部が、高解像度化された対象画像を位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する画像処理システム。
また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限定されない。
（付記１）基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算し、前記位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が前記局所領域の画素であるか否かを判定することを特徴とする画像処理方法。
（付記２）基準画像の画素に対応する対象画像の画素が局所領域の画素であるか否かを判定するための判定用領域を、予め定められた空間内における楕円体として求め、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対象画像の画素毎に、当該対象画像の画素に応じた前記空間内の位置が、当該画素に対応する基準画像の画素の判定用領域の外側であるか否かを前記対応画素差分ベクトルを用いて判定することにより、対象画像の前記画素が前記局所領域の画素であるか否かを判定する付記１に記載の画像処理方法。
（付記３）基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする付記２に記載の画像処理方法。
（付記４）基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素の周囲の画素のうち、選択した画素との間で画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルの大きさが最大となる最大変化画素を求め、対象画像の画素が仮定された変化に従っていない局所領域の画素であるか否かを対象画像毎に判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする付記２に記載の画像処理方法。
（付記５）対象画像が入力されたときに、対象画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする付記２に記載の画像処理方法。
（付記６）対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対象画像の画素毎に、当該画素を中心とする対象画像内の複数の画素に応じた、予め定められた空間内における各位置が、前記複数の画素に対応する基準画像内の各画素に応じた前記空間内における各楕円体の内側に存在するか外側に存在するかの程度を表す基準指標値を対応画素差分ベクトルを用いて計算し、前記基準指標値に基づいて、対象画像の前記画素が局所領域の画素であるか否かを判定する付記１に記載の画像処理方法。
（付記７）基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって楕円体を定める付記６に記載の画像処理方法。
（付記８）基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化画素を特定し、対象画像の画素が局所領域の画素であるか否かを判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、当該隣接画素間差分ベクトルによって楕円体を定める付記６に記載の画像処理方法。
（付記９）仮定された変化に従っていない局所領域の画素がどこであるかを示す情報に応じて、基準画像および対象画像から一つの画像を生成する付記１から付記８のうちのいずれかに記載の画像処理方法。
（付記１０）基準画像および対象画像から、前記基準画像および対象画像よりも画素数の多い高解像度画像を生成する付記９に記載の画像処理方法。
（付記１１）仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換え、基準画像と、画素値が置き換えられた対象画像とから高解像度画像を生成する付記１０に記載の画像処理方法。
（付記１２）基準画像および対象画像から、前記基準画像および対象画像の対応する画素同士の画素値の平均値を算出するとともに、仮定された変化に従っていない局所領域の画素を前記平均値の算出対象から除外し、算出した平均値を画素値とするブレンド画像を生成する付記９に記載の画像処理方法。
（付記１３）仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換え、基準画像と、画素値が置き換えられた対象画像とから、前記基準画像および対象画像の対応する画素同士の画素値の平均値を画素値とするブレンド画像を生成する付記９に記載の画像処理方法。
（付記１４）基準画像を補間して高解像度化し、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い高解像度化された基準画像の画素を特定することによって、対象画像の画素と高解像度化された基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する付記１から付記１３のうちのいずれかに記載の画像処理方法。
（付記１５）対象画像を補間して高解像度化し、高解像度化された対象画像を位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する付記１から付記１３のうちのいずれかに記載の画像処理方法。
（付記１６）コンピュータに、基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算処理、および、前記位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が前記局所領域の画素であるか否かを判定する画素演算処理を実行させるための画像処理プログラム。
（付記１７）コンピュータに、画素演算処理で、基準画像の画素に対応する対象画像の画素が局所領域の画素であるか否かを判定するための判定用領域を、予め定められた空間内における楕円体として求める判定用領域特定処理、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算処理、および、対象画像の画素毎に、当該対象画像の画素に応じた前記空間内の位置が、当該画素に対応する基準画像の画素の判定用領域の外側であるか否かを前記対応画素差分ベクトルを用いて判定することにより、対象画像の前記画素が前記局所領域の画素であるか否かを判定する局所領域判定処理を実行させる付記１６に記載の画像処理プログラム。
（付記１８）コンピュータに、判定用領域特定処理として、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする処理を実行させる付記１７に記載の画像処理プログラム。
（付記１９）コンピュータに、判定用領域特定処理として、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素の周囲の画素のうち、選択した画素との間で画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルの大きさが最大となる最大変化画素を求める最大変化画素特定処理、および、局所領域判定処理で、対象画像の画素が仮定された変化に従っていない局所領域の画素であるか否かを対象画像毎に判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする判定用領域算出処理を実行させる付記１７に記載の画像処理プログラム。
（付記２０）コンピュータに、判定用領域特定処理として、対象画像が入力されたときに、対象画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする処理を実行させる付記１７に記載の画像処理プログラム。
（付記２１）コンピュータに、画素演算処理で、対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算処理、および、対象画像の画素毎に、当該画素を中心とする対象画像内の複数の画素に応じた、予め定められた空間内における各位置が、前記複数の画素に対応する基準画像内の各画素に応じた前記空間内における各楕円体の内側に存在するか外側に存在するかの程度を表す基準指標値を対応画素差分ベクトルを用いて計算し、前記基準指標値に基づいて、対象画像の前記画素が局所領域の画素であるか否かを判定する局所領域判定処理を実行させる付記１６に記載の画像処理プログラム。
（付記２２）コンピュータに、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって楕円体を定めさせる付記２１に記載の画像処理プログラム。
（付記２３）コンピュータに、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化画素を特定させ、対象画像の画素が局所領域の画素であるか否かを判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、当該隣接画素間差分ベクトルによって楕円体を定めさせる付記２１に記載の画像処理プログラム。
（付記２４）コンピュータに、仮定された変化に従っていない局所領域の画素がどこであるかを示す情報に応じて、基準画像および対象画像から一つの画像を生成する画像生成処理を実行させる付記１６から付記２３のうちのいずれかに記載の画像処理プログラム。
（付記２５）コンピュータに、画像生成処理で、基準画像および対象画像から、前記基準画像および対象画像よりも画素数の多い高解像度画像を生成させる付記２４に記載の画像処理プログラム。
（付記２６）コンピュータに、仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換処理を実行させ、画像生成処理で、基準画像と、画素値が置き換えられた対象画像とから高解像度画像を生成させる付記２５に記載の画像処理プログラム。
（付記２７）コンピュータに、画像生成処理で、基準画像および対象画像から、前記基準画像および対象画像の対応する画素同士の画素値の平均値を算出するとともに、仮定された変化に従っていない局所領域の画素を前記平均値の算出対象から除外し、算出した平均値を画素値とするブレンド画像を生成させる付記２４に記載の画像処理プログラム。
（付記２８）コンピュータに、仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換処理を実行させ、画像生成処理で、基準画像と、画素値が置き換えられた対象画像とから、前記基準画像および対象画像の対応する画素同士の画素値の平均値を画素値とするブレンド画像を生成させる付記２４に記載の画像処理プログラム。
（付記２９）コンピュータに、基準画像を補間して高解像度化する基準画像高解像度化処理を実行させ、差分計算処理で、位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い高解像度化された基準画像の画素を特定することによって、対象画像の画素と高解像度化された基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算させる付記１６から付記２８のうちのいずれかに記載の画像処理プログラム。
（付記３０）コンピュータに、対象画像を補間して高解像度化する対象画像高解像度化処理を実行させ、差分計算処理で、高解像度化された対象画像を前記位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算させる付記１６から付記２８のうちのいずれかに記載の画像処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２００９年２月１９に出願された日本出願特願２００９−０３６８２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 産業上の利用の可能性
本発明は、複数の画像から高解像度画像やブレンド画像を生成する処理等に適用可能である。
４０１ 位置ずれ量推定手段
４０３ 画像復元手段
４０４ 許容領域計算手段
４０５ 画像差分計算手段
４０６ 不適切領域抽出手段
４０７ 不適切領域記憶手段
４１１ 基準画像入力手段
４１２ 対象画像入力手段
６０８ 基準高解像度画像生成手段
８０７ 使用画像生成手段
１００３ ブレンド画像生成手段
１２０４ 許容領域計算手段
１２０８ 最大変化画素計算手段

Claims (17)

  1. 基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算手段と、
    前記位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が前記局所領域の画素であるか否かを判定する画素演算手段とを備える
    ことを特徴とする画像処理システム。
  2. 画素演算手段は、
    基準画像の画素に対応する対象画像の画素が局所領域の画素であるか否かを判定するための判定用領域を、予め定められた空間内における楕円体として求める判定用領域特定手段と、
    対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算手段と、
    対象画像の画素毎に、当該対象画像の画素に応じた前記空間内の位置が、当該画素に対応する基準画像の画素の判定用領域の外側であるか否かを前記対応画素差分ベクトルを用いて判定することにより、対象画像の前記画素が前記局所領域の画素であるか否かを判定する局所領域判定手段とを含む
    請求項１に記載の画像処理システム。
  3. 判定用領域特定手段は、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする
    請求項２に記載の画像処理システム。
  4. 判定用領域特定手段は、
    基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素の周囲の画素のうち、選択した画素との間で画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルの大きさが最大となる最大変化画素を求める最大変化画素特定手段と、
    局所領域判定手段が、対象画像の画素が仮定された変化に従っていない局所領域の画素であるか否かを対象画像毎に判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、隣接画素間差分ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする判定用領域算出手段とを含む
    請求項２に記載の画像処理システム。
  5. 判定用領域特定手段は、対象画像が入力されたときに、対象画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルの大きさおよび方向と前記選択した画素の画素値とにより定まる楕円体を判定用領域とする
    請求項２に記載の画像処理システム。
  6. 画素演算手段は、
    対象画像と基準画像との位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算する差分計算手段と、
    対象画像の画素毎に、当該画素を中心とする対象画像内の複数の画素に応じた、予め定められた空間内における各位置が、前記複数の画素に対応する基準画像内の各画素に応じた前記空間内における各楕円体の内側に存在するか外側に存在するかの程度を表す基準指標値を対応画素差分ベクトルを用いて計算し、前記基準指標値に基づいて、対象画像の前記画素が局所領域の画素であるか否かを判定する局所領域判定手段とを含む
    請求項１に記載の画像処理システム。
  7. 局所領域判定手段は、基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化ベクトルを特定し、最大変化ベクトルによって楕円体を定める
    請求項６に記載の画像処理システム。
  8. 局所領域判定手段は、
    基準画像が入力されたときに、基準画像の画素を順に選択し、選択した画素とその周囲の画素との間で、画素に応じたベクトル同士の差分ベクトルである隣接画素間差分ベクトルを求め、隣接画素間差分ベクトルの大きさが最大となる最大変化画素を特定し、
    対象画像の画素が局所領域の画素であるか否かを判定するときに、基準画像の画素を順に選択し、選択した画素と当該画素の最大変化画素とから隣接画素間差分ベクトルを計算し、当該隣接画素間差分ベクトルによって楕円体を定める
    請求項６に記載の画像処理システム。
  9. 仮定された変化に従っていない局所領域の画素がどこであるかを示す情報に応じて、基準画像および対象画像から一つの画像を生成する画像生成手段を備えた
    請求項１から請求項８のうちのいずれか１項に記載の画像処理システム。
  10. 画像生成手段は、基準画像および対象画像から、前記基準画像および対象画像よりも画素数の多い高解像度画像を生成する
    請求項９に記載の画像処理システム。
  11. 仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換手段を備え、
    画像生成手段は、基準画像と、画素値置換手段によって画素値が置き換えられた対象画像とから高解像度画像を生成する
    請求項１０に記載の画像処理システム。
  12. 画像生成手段は、基準画像および対象画像から、前記基準画像および対象画像の対応する画素同士の画素値の平均値を算出するとともに、仮定された変化に従っていない局所領域の画素を前記平均値の算出対象から除外し、算出した平均値を画素値とするブレンド画像を生成する
    請求項９に記載の画像処理システム。
  13. 仮定された変化に従っていない局所領域の画素であると判定された対象画像の画素の画素値を、当該画素に対応する基準画像の画素の画素値に置き換える画素値置換手段を備え、
    画像生成手段は、基準画像と、画素値置換手段によって画素値が置き換えられた対象画像とから、前記基準画像および対象画像の対応する画素同士の画素値の平均値を画素値とするブレンド画像を生成する
    請求項９に記載の画像処理システム。
  14. 基準画像を補間して高解像度化する基準画像高解像度化手段を備え、
    差分計算手段は、
    位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い高解像度化された基準画像の画素を特定することによって、対象画像の画素と高解像度化された基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する
    請求項１から請求項１３のうちのいずれか１項に記載の画像処理システム。
  15. 対象画像を補間して高解像度化する対象画像高解像度化手段を備え、
    差分計算手段は、
    高解像度化された対象画像を位置ずれを解消するように補正した画像の画素の中から、基準画像の画素位置に最も近い画素を特定することによって、高解像度化された対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の対応画素差分ベクトルを計算する
    請求項１から請求項１３のうちのいずれか１項に記載の画像処理システム。
  16. 基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算し、
    前記位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が前記局所領域の画素であるか否かを判定する
    ことを特徴とする画像処理方法。
  17. コンピュータに、
    基準画像に対する仮定された変化に従っていない局所領域の有無を判定される画像である対象画像と基準画像との位置ずれにおける位置ずれ量を計算する位置ずれ量計算処理、および、
    前記位置ずれを解消するように対象画像を補正したときにおける対象画像の画素位置に最も近い基準画像の画素を特定することによって、対象画像の画素と基準画像の画素とを対応付け、対応付けた各画素に応じたベクトル同士の差分ベクトルである対応画素差分ベクトルを計算し、対応画素差分ベクトルと、予め定められた空間内における基準画像の画素に応じた楕円体とに基づいて、対象画像の画素が前記局所領域の画素であるか否かを判定する画素演算処理
    を実行させるための画像処理プログラム。
JP2011500530A 2009-02-19 2010-02-19 画像処理システム、画像処理方法および画像処理プログラム Active JP5500163B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011500530A JP5500163B2 (ja) 2009-02-19 2010-02-19 画像処理システム、画像処理方法および画像処理プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009036826 2009-02-19
JP2009036826 2009-02-19
JP2011500530A JP5500163B2 (ja) 2009-02-19 2010-02-19 画像処理システム、画像処理方法および画像処理プログラム
PCT/JP2010/001109 WO2010095460A1 (ja) 2009-02-19 2010-02-19 画像処理システム、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2010095460A1 JPWO2010095460A1 (ja) 2012-08-23
JP5500163B2 true JP5500163B2 (ja) 2014-05-21

Family

ID=42633747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011500530A Active JP5500163B2 (ja) 2009-02-19 2010-02-19 画像処理システム、画像処理方法および画像処理プログラム

Country Status (5)

Country Link
US (1) US8903195B2 (ja)
EP (1) EP2400461A4 (ja)
JP (1) JP5500163B2 (ja)
CN (1) CN102326183A (ja)
WO (1) WO2010095460A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9224229B2 (en) * 2010-11-24 2015-12-29 Blackford Analysis Limited Process and apparatus for data registration
US20160070985A1 (en) * 2013-05-02 2016-03-10 Konica Minolta Inc. Image processing apparatus, image processing method, and storage medium storing image processing program thereon
JP2015012304A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN107025644A (zh) * 2017-02-10 2017-08-08 马瑞强 影像降噪的图像位移量补差方法
CN107742280A (zh) * 2017-11-02 2018-02-27 浙江大华技术股份有限公司 一种图像锐化方法及装置
JP6975070B2 (ja) * 2018-02-27 2021-12-01 シャープ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN109840890B (zh) * 2019-01-31 2023-06-09 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110349415B (zh) * 2019-06-26 2021-08-20 江西理工大学 一种基于多尺度变换的行车速度测量方法
CN111353470B (zh) * 2020-03-13 2023-08-01 北京字节跳动网络技术有限公司 图像的处理方法、装置、可读介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130443A (ja) * 2003-09-30 2005-05-19 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像の生成
JP2007226656A (ja) * 2006-02-24 2007-09-06 Toshiba Corp 画像の高解像度化方法及び装置
JP2008139074A (ja) * 2006-11-30 2008-06-19 Rozefu Technol:Kk 画像の欠陥検出方法
JP2009140393A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 映像処理装置、映像表示装置、映像処理方法および映像表示方法
JP2009217658A (ja) * 2008-03-12 2009-09-24 Hitachi Ltd 表示装置および画像処理回路

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2336054B (en) * 1998-04-01 2002-10-16 Discreet Logic Inc Processing image data
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6956576B1 (en) * 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
JP2002223366A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置及びその方法、及び画像処理システム
US20020176604A1 (en) * 2001-04-16 2002-11-28 Chandra Shekhar Systems and methods for determining eye glances
US6970595B1 (en) * 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
US7672538B2 (en) * 2003-04-17 2010-03-02 Seiko Epson Corporation Generation of still image from a plurality of frame images
US20050157949A1 (en) * 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
EP1571825B8 (en) * 2004-03-02 2008-07-02 Seiko Epson Corporation Generation, starting from a time sequence of source still image data, of a still image file including additional information for subsequent processing
JP4513357B2 (ja) * 2004-03-02 2010-07-28 セイコーエプソン株式会社 画像の出力に用いる出力装置に適した画像データの生成
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US7715620B2 (en) * 2006-01-27 2010-05-11 Lockheed Martin Corporation Color form dropout using dynamic geometric solid thresholding
US7808508B2 (en) * 2006-07-21 2010-10-05 Degudent Gmbh Dental color system and method to produce dental prosthesis colors
JP2009036826A (ja) 2007-07-31 2009-02-19 Kyocera Mita Corp 画像形成装置
CN100530222C (zh) * 2007-10-18 2009-08-19 清华大学 图像匹配方法
US8428351B2 (en) * 2008-12-24 2013-04-23 Brother Kogyo Kabushiki Kaisha Image processing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130443A (ja) * 2003-09-30 2005-05-19 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像の生成
JP2007226656A (ja) * 2006-02-24 2007-09-06 Toshiba Corp 画像の高解像度化方法及び装置
JP2008139074A (ja) * 2006-11-30 2008-06-19 Rozefu Technol:Kk 画像の欠陥検出方法
JP2009140393A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 映像処理装置、映像表示装置、映像処理方法および映像表示方法
JP2009217658A (ja) * 2008-03-12 2009-09-24 Hitachi Ltd 表示装置および画像処理回路

Also Published As

Publication number Publication date
WO2010095460A1 (ja) 2010-08-26
US20110299795A1 (en) 2011-12-08
EP2400461A1 (en) 2011-12-28
JPWO2010095460A1 (ja) 2012-08-23
CN102326183A (zh) 2012-01-18
EP2400461A4 (en) 2017-08-02
US8903195B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
JP5500163B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP5645051B2 (ja) 画像処理装置
JP4814840B2 (ja) 画像処理装置又は画像処理プログラム
WO2011099647A1 (ja) 画像処理装置
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
JP2011227578A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN111164959A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN108292367B (zh) 图像处理装置、半导体装置、图像识别装置、移动体装置以及图像处理方法
WO2021017589A1 (zh) 一种基于梯度域映射的图像融合方法
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN105335977A (zh) 摄像系统及目标对象的定位方法
US20160005158A1 (en) Image processing device and image processing method
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
CN115546027A (zh) 图像缝合线确定方法、装置以及存储介质
US8472756B2 (en) Method for producing high resolution image
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP2009100407A (ja) 画像処理装置及びその方法
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP7393179B2 (ja) 撮影装置
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JP2009065283A (ja) 画像ぶれ補正装置
KR102480209B1 (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
JP2023132342A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R150 Certificate of patent or registration of utility model

Ref document number: 5500163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150