JP6253792B2 - 画像処理装置及び画像処理方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、複数の低解像度画像から高解像度画像を生成する画像処理装置及び画像処理方法に関する。本発明は上記の画像処理装置又は画像処理方法の処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。

複数の低解像度画像から１枚の高解像度画像を生成する技術は、超解像処理と呼ばれており、従来から多くの技術が開発されてきた。代表的な超解像処理方法としては、ＭＬ（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）法、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ）法、ＰＯＣＳ（Ｐｒｏｊｅｃｔｉｏｎ Ｏｎ ｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ）法などが提案されている。

上述した方法はいずれも再構成型超解像の一種である。この種の処理では、高解像度画像と低解像度画像を関係付ける劣化モデルに基づき、高解像度画像を反復演算により逐次更新することで、原画像をより忠実に表現した高解像度画像を得る。反復演算では、劣化モデルにより高解像度画像を劣化させた擬似低解像度画像（劣化画像）と、観測された複数の低解像度画像の差分が最小となるように高解像度画像を更新する。

ところで上述の反復演算では、初期値となる高解像度画像（初期高解像度画像）を事前に生成し、入力する必要がある。この初期値がどれだけ原画像に近いかによって、充分な画質の高解像度画像を得るために必要な反復演算回数、或いは出力される最終の高解像度画像の画質が大きく変化する。

初期高解像度画像を得る一般的な手法として、低解像度画像の任意のフレームを補間拡大する手法がある。また別の手法として、画素値のサンプリング位置にずれを有する（位置ずれを有する）複数の低解像度画像の各画素値を、位置ずれ量に基づき対応する高解像度空間に投射し（位置合わせし）、高解像度画像の画素に対応付けをすることで、高画質な初期高解像度画像を得る手法も存在する（例えば、特許文献１参照）。

上述の様な位置合わせの手法を用いて初期高解像度画像生成を行った場合、高解像度画像中には、対応付けられる低解像度画像の画素が存在せず、従って画素値が定義されない画素（未定義画素）が含まれることがある。

そこで特許文献１では、未定義画素の画素値を周辺画素から推定する、または基準となる入力の低解像度画像を拡大し、未定義画素に対応する画素を参照して埋め合わせを行う、またはそれらの推定画素をアルファブレンドする手法が提案されている。

特開２００８−１０９３７５号公報（第７−９頁）

ここで、もし画像撮像時の時間的、または空間的制約により撮像枚数に制約がある場合、少ない枚数の入力画像にて超解像処理を行う必要がある。

しかしながら、少ない枚数の入力画像で特許文献１の様な処理を行った場合、初期高解像度画像に多くの未定義画素が生じる。この場合、未定義画素が多い領域では有効な周辺画素を十分に得られずに推定精度が低下する。また拡大した低解像度画像を参照する手法では、画像拡大時に高周波成分が失われてしまい、それらの画素で未定義画素の埋め合わせをすることで高解像度画像が劣化してしまうといった課題があった。

本発明は上記の様な問題点を解決するためになされたものであり、本発明の目的は、少ない枚数の低解像度画像を用いても、より高精度に、高画質な高解像度画像を生成することができる画像処理装置及び画像処理方法を提供することにある。

本発明の一つの態様の画像処理装置は、
互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
前記位置ずれ量に基づき、前記目標倍率よりも小さい中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む中間解像度画像を生成し、前記中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された中間解像度拡大画像を生成する中間解像度拡大画像生成部と、
前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記中間解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填部とを有する
ことを特徴とする。

本発明の他の態様の画像処理装置は、
互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
前記位置ずれ量に基づき、前記目標倍率よりも小さい、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む第１乃至第Ｉの中間解像度画像を生成し、前記第１乃至第Ｉの中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された第１乃至第Ｉの中間解像度拡大画像を生成する中間解像度拡大画像生成部と、
前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成部と、
前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填部とを有する
ことを特徴とする。

本発明のさらに他の態様の画像処理装置は、
互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
前記位置ずれ量に基づき、前記目標倍率よりも小さい、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む第１乃至第Ｉの中間解像度画像を生成し、前記第１乃至第Ｉの中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された第１乃至第Ｉの中間解像度拡大画像を生成し、前記第１乃至第Ｉの中間解像度拡大画像の各々の各画素について、当該画素が、対応する中間解像度画像における有効画素に対応する位置にある高信頼度画素であるか、対応する中間解像度画像未定義画素に対応する位置にある低信頼度画素であるかを示す信頼度情報を出力する中間解像度拡大画像生成部と、
前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成部と、
前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の各々について、その周囲の画素のうちの有効画素の割合が予め定められた有効画素割合閾値以上であれば、その近隣の有効画素を参照して補間を行って、初期高解像度補間画像を出力する初期高解像度画像補間部と、
前記第１乃至第Ｉの中間解像度拡大画像の各々における前記低信頼度画素の各々について、その周囲の画素のうちの前記高信頼度画素の割合が予め定められた高信頼度画素割合閾値以上であれば、その近隣の前記高信頼度画素を参照して補間を行って、第１乃至第Ｉの中間解像度拡大補間画像を出力する中間解像度拡大画像補間部と、
前記初期高解像度補間画像未定義画素を順次選択して注目画素として、前記第１乃至第Ｉの中間解像度拡大補間画像及び前記低解像度拡大画像の、前記注目画素に対応する画素の画素値に基づいて前記注目画素の画素値を推定する未定義画素充填部と
を有することを特徴とする。

本発明によれば、少ない枚数の低解像度画像を用いても、より高精度に、高画質な高解像度画像を生成することが可能である。

本発明の実施の形態１に係る画像処理装置を示すブロック図である。 （ａ）及び（ｂ）は、低解像度画像と高解像度画像における画素配置を示す図である。 （ａ）〜（ｄ）は、実施の形態１における位置ずれ量検出及び初期高解像度画像生成の処理を示す図である。 実施の形態１における中間解像度拡大画像生成部の構成例を示すブロック図である。 （ａ）〜（ｄ）は、実施の形態１における位置ずれ量検出及び中間解像度画像生成の処理を示す図である。 (ａ）及び（ｂ）は、実施の形態１における高解像度画像充填の処理を示す図である。 本発明の実施の形態２に係る画像処理装置を示すブロック図である。 実施の形態２における中間解像度拡大画像生成部の構成例を示すブロック図である。 （ａ）〜（ｆ）は、実施の形態２における低解像度画像からの投射による中間解像度画像の生成を示す図、（ｇ）は、画素中心からの投射位置のずれを示す図である。 実施の形態２における低解像度拡大画像生成部の構成例を示すブロック図である。 （ａ）及び（ｂ）は、実施の形態２における低解像度画像からの投射による合成低解像度画像の生成の処理を示す図である。 実施の形態２における高解像度画像充填部の構成例を示すブロック図である。 本発明の実施の形態３に係る画像処理装置を示すブロック図である。 実施の形態３における高解像度画像充填部の構成例を示すブロック図である。 本発明の実施の形態４に係る画像処理装置を示すブロック図である。 実施の形態４における中間解像度拡大画像生成部の構成例を示すブロック図である。 本発明の実施の形態４における高解像度画像充填部の構成例を示すブロック図である。 実施の形態４における高解像度画像充填部の他の構成例を示すブロック図である。 実施の形態４における高解像度画像充填部のさらに他の構成例を示すブロック図である。 実施の形態４に係る画像処理装置の他の構成例を示すブロック図である。 本発明の実施の形態５に係る画像処理装置を示すブロック図である。 実施の形態５における画像処理の手順を示すフロー図である 図２２の中間解像度画像拡大の処理の手順の詳細を示すフロー図である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置１００を示すブロック図である。実施の形態１に係る画像処理装置１００は、位置ずれを有する複数の低解像度画像ＤＩＮに対して縦方向及び横方向の解像度がともにＭ倍の高解像度画像ＤＯＵＴを出力するものであり、位置ずれ量検出部１と、初期高解像度画像生成部２と、中間解像度拡大画像生成部３と、高解像度画像充填部４とを備えている。Ｍを目標倍率或いは最終倍率と言う。目標倍率は画像処理の開始に先立って指定される。以下ではＭ＝５の場合について説明する。

図２（ａ）及び（ｂ）は低解像度画像と高解像度画像における画素配置を示す。これらの図で一つのマス目が一つの画素を示す。図２（ａ）及び（ｂ）では簡単のため、低解像度画像のうちの３×３画素の部分と、対応する高解像度画像の１５×１５個の画素の部分が示されている。
図２（ａ）の低解像度画像ＤＩＮに対して図２（ｂ）の高解像度画像ＤＯＵＴの画素数は縦方向及び横方向ともに５倍であり、高解像度画像ＤＯＵＴ中には、低解像度画像ＤＩＮの各画素に対応する位置に５×５個の画素の群が生成される。この５×５個の画素の群（それぞれ太線で囲って示す）をセルと呼ぶ。以下では説明の便宜上、低解像度画像ＤＩＮにおける縦方向及び横方向の距離を画素間隔で正規化して（即ち画素間隔を１として）表し、高解像度画像ＤＯＵＴにおける縦方向及び横方向の距離をセル間隔で正規化して（即ちセル間隔を１として）表す。従って、高解像度画像においては、画素間隔は０．２（＝１／５）であり、各画素の中心から縦方向及び横方向に±０．１の範囲が当該画素の画素範囲と定義される。

位置ずれ量検出部１は、位置ずれを有する、即ち互いに画素の位置がずれた複数の低解像度画像ＤＩＮの各画素について、位置ずれ量、例えば基準画像からの位置ずれ量を検出し、検出した位置ずれ量を示す位置ずれ量情報Ｄ１を生成して出力する。以下では、複数の低解像度画像ＤＩＮとして、４枚の低解像度画像が用いられるものとして説明する。

初期高解像度画像生成部２は、複数の低解像度画像ＤＩＮと、それぞれの低解像度画像ＤＩＮの位置ずれ量情報Ｄ１とに基づき、初期高解像度画像Ｄ２を生成する。初期高解像度画像Ｄ２は、高解像度画像ＤＯＵＴと同じく、低解像度画像ＤＩＮに対して縦方向、横方向ともにＭ（＝５）倍の解像度を有するが、後述のように、画素のうちには画素値が定義されていない画素（初期高解像度画像未定義画素）が含まれている。

初期高解像度画像生成部２は、高解像度画像空間に、複数の低解像度画像ＤＩＮの各画素をその位置ずれ量に応じた位置に投影乃至投射し、該投射位置に基づく対応付けを行うことで初期高解像度画像Ｄ２を生成する。この初期高解像度画像Ｄ２の各画素に対して、複数の低解像度画像ＤＩＮのいずれからも投射される画素（対応する画素）が存在しない場合、当該画素（初期高解像度画像Ｄ２の画素）は画素値が定義されない。この画素値が定義されない画素を「未定義画素」と呼ぶ。一方、上記の投射により画素値が定義された画素を「有効画素」と呼ぶ。

中間解像度拡大画像生成部３は、複数の低解像度画像ＤＩＮと、それぞれの低解像度画像ＤＩＮにおける位置ずれ量情報Ｄ１とに基づき、中間解像度拡大画像Ｄ３を生成する。
中間解像度拡大画像Ｄ３は、低解像度画像ＤＩＮに対して縦方向、横方向ともにＭ倍（＝５）の画素数を有するが、複数の低解像度画像ＤＩＮと、それぞれの低解像度画像ＤＩＮにおける位置ずれ量情報Ｄ１とに基づき、一旦解像度がＮ倍（１＜Ｎ＜Ｍ）の画像（中間解像度画像）を生成し、該中間解像度画像の未定義画素（中間解像度画像未定義画素）をその周辺の有効画素から推定する処理を行い、さらにフィルタ演算処理でＳｃ（＝Ｍ／Ｎ）倍に拡大することで得られたものであり、すべての画素が定義されている。本実施の形態ではＮ＝３であるものとする。

高解像度画像充填部４は、初期高解像度画像Ｄ２に含まれている未定義画素の画素値を中間解像度拡大画像Ｄ３の対応画素の画素値に基づいて推定し、この推定により未定義画素に画素値を充填し、すべての未定義画素に画素値が充填された高解像度画像ＤＯＵＴを出力する。

以下、図１のそれぞれの構成要素についてより詳しく説明する。
まず、図３（ａ）〜（ｄ）を参照して位置ずれ量情報Ｄ１及び初期高解像度画像Ｄ２の生成方法について説明する。

図３（ａ）〜（ｄ）は、４枚の低解像度画像ＤＩＮを使用して初期高解像度画像Ｄ２を生成する場合を示す。４枚の低解像度画像ＤＩＮはそれぞれフレーム１〜４の画像Ｆ１〜Ｆ４である。
図２（ａ）及び（ｂ）と同様に、図３（ａ）及び（ｂ）でも、簡単のため、低解像度画像ＤＩＮのうちの３×３画素の部分と、対応する初期高解像度画像Ｄ２の１５×１５個の画素の部分が示されている。図３（ｃ）には、低解像度画像ＤＩＮの一つの画素についての位置ずれが示され、図３（ｄ）には、初期高解像度画像Ｄ２の一つのセル内の画素及び該セル内における低解像度画像ＤＩＮの画素の投射位置を示す。

位置ずれ量検出部１は、位置ずれを含む低解像度画像ＤＩＮの各画素が、基準となる画像に対してどれだけ位置ずれを有しているかを、画素毎に算出し、位置ずれ量情報Ｄ１として出力する。位置ずれ量の検出は、例えばオプティカルフローの計算により、或いはカメラ(低解像度画像ＤＩＮの生成に用いられたもの)の３次元空間における位置姿勢等を参考に算出することによって行う。この位置ずれ量はサブピクセル単位の精度で（低解像度画像の画素間隔よりも短い単位の精度で）検出する必要がある。

図３（ｃ）に低解像度画像の一つの画素についての位置ずれの例を示している。図示の例では４枚の画像のうちの１枚（フレーム１の画像）Ｆ１を基準画像とし、その画素Ｐｆ１（□で示す）に対して、他の３枚の画像（フレーム２、３、４の画像）Ｆ２、Ｆ３、Ｆ４の画素Ｐｆ２、Ｐｆ３、Ｐｆ４（それぞれ○、△、◇で示す）が左上方向、右上方向、下方向にずれている様子を示す。

位置ずれ量はベクトルＶ２１、Ｖ３１、Ｖ４１で示される。ベクトルＶ２１、Ｖ３１、Ｖ４１は、画素Ｐｆ２、Ｐｆ３、Ｐｆ４の画素Ｐｆ１に対する相対位置、例えば、画素Ｐｆ１の位置を原点とするローカル座標（ｘ２１，ｙ２１）、（ｘ３１，ｙ３１）、（ｘ４１，ｙ４１）で表される。

位置ずれ量Ｖ２１、Ｖ３１、Ｖ４１の算出に当たって、位置ずれ量検出部１は、基準画像以外の画像において、基準画像の各画素（注目画素）に対応する画素を探索し、対応すると判断された画素の、注目画素に対する相対位置を求める。

このようにして求められた、各画素についての位置ずれ量Ｖ２１、Ｖ３１、Ｖ４１を示す位置ずれ量情報Ｄ１は、位置ずれ量検出部１から、初期高解像度画像生成部２及び中間解像度拡大画像生成部３に供給される。

初期高解像度画像生成部２は、位置ずれ量情報Ｄ１に基づき、複数の（４枚の）低解像度画像ＤＩＮの各画素を、対応する高解像度画像空間に投射し、投射位置に基づいて高解像度画像空間内の画素に対応付ける（位置合わせする）ことで、１枚の初期高解像度画像Ｄ２（図３（ｂ））を生成する。高解像度画像空間には、各画素の配置位置と、該配置位置を中心とする各画素の画素範囲が定義されている。

初期高解像度画像Ｄ２は、高解像度画像ＤＯＵＴと同じく、低解像度画像ＤＩＮの各画素に対応する位置に一つのセル（太線で囲って示す）を有し、各セルはＭ×Ｍ（＝５×５）個の画素Ｐ１〜Ｐ２５から成る。

図３（ｄ）は、一つのセル内の５×５個の画素Ｐ１〜Ｐ２５と、セル内における低解像度画像の画素の投射位置を示す。図３（ｄ）では、各画素の範囲を点線のマス目で示す。

基準画像Ｆ１の画素Ｐｆ１（□で示す）は、対応するセルの中心に投射され、画素Ｐｆ１の画素値がセルの中心の画素Ｐ１３の画素値の定義（決定）に用いられる。

基準画像以外の画像Ｆ２、Ｆ３、Ｆ４の画素Ｐｆ２、Ｐｆ３、Ｐｆ４（それぞれ○、△、◇で示す）は、対応するセル内における、それぞれその位置ずれ量Ｖ２１、Ｖ３１、Ｖ４１に応じた位置に投射され、その投射位置（投射された画素の中心の位置）が属する画素範囲を有する画素の画素値の定義（決定）に用いられる。

ここで位置ずれ量に応じた位置への投射とは、低解像度画像中で、基準画像の画素（基準画素）の中心に対する位置ずれ量が（ｘｄ，ｙｄ）であれば、高解像度画像中で対応するセルの中心に対する相対位置が（ｘｄ，ｙｄ）である位置に投射されることを意味する。
図３（ｄ）には、画素Ｐｆ２、Ｐｆ３、Ｐｆ４がそれぞれ画素Ｐ１、Ｐ９、Ｐ２２の画素範囲に投射された場合を示す。

画素Ｐｆ１〜Ｐｆ４の内の複数の画素が同じ画素Ｐｑ（ｑは１〜２５のいずれか）の画素範囲に投射された場合（同じ画素範囲に重複して配置された場合）には、当該複数の画素の画素値を合成し、合成結果を画素Ｐｑの画素値とする。合成は、例えば平均値の算出によって行う。この平均値は単純平均値でも加重平均値でも良い。加重平均値を用いる場合には、投射位置と画素Ｐｑの中心との距離が小さいほど重みを大きくしても良い。また、投射位置が画素Ｐｑの中心に最も近い画素の画素値を選択して、画素Ｐｑの画素値としても良い。これは、投射位置が画素Ｐｑの中心に最も近い画素の重みを１とし、他の画素の重みを０として加重平均するのと同じである。

画素Ｐ１〜Ｐ２５の中にはその画素範囲内に、画素Ｐｆ１〜Ｐｆ４の画素のいずれも投射されない画素が存在する。図３（ｄ）の例では、画素Ｐ２〜Ｐ８、Ｐ１０〜Ｐ１２、Ｐ１４〜Ｐ２１、Ｐ２３〜Ｐ２５にはその画素範囲内にいずれの画素も投射されていない。そのため、これらの画素の画素値は定義（決定）されない。上記のように、このような画素値が定義されていない画素は未定義画素と呼ばれる。

図３（ｂ）の画像は、そのすべてのセルにおいて、画素の投射及び画素値の定義が図３（ｄ）で示すように行われた場合に得られるものである。即ち、図３（ｂ）は、３枚の低解像度画像Ｆ２、Ｆ３、Ｆ４の基準画像Ｆ１に対する位置ずれが図示の９個の画素相互間で同じであり、従って高解像度画像空間内の、低解像度画像の画素からの投射位置が９つのセル相互間で互いに同じである場合を示している。

以上のようにして少なくとも一部の画素が有効画素である、言い換えると画素値が定義された画素である有効画素を含む初期高解像度画像Ｄ２が生成される。生成された初期高解像度画像Ｄ２は高解像度画像充填部４に供給される。

中間解像度拡大画像生成部３は、位置ずれ量情報Ｄ１と低解像度画像ＤＩＮから、目標倍率よりも小さな倍率（中間倍率）Ｎの解像度を有し、画素数が高解像度画像ＤＯＵＴと同じ画像を中間解像度拡大画像Ｄ３として生成し出力する。

図４は、中間解像度拡大画像生成部３の構成の一例を示すブロック図である。図示の中間解像度拡大画像生成部３は、中間解像度画像生成部３１と、画像拡大部３２とを有する。

以下、中間解像度画像生成部３１の動作を、図５（ａ）〜（ｄ）を参照して説明する。図５（ａ）及び（ｃ）は、図２（ａ）及び（ｃ）と同じであり、位置ずれ量検出部１の動作を示す。

中間解像度画像生成部３１は、位置ずれ量情報Ｄ１に基づき、複数の（４枚の）低解像度画像ＤＩＮの各画素を、中間解像度画像空間内の画素位置に投射し、投射位置に基づいて中間解像度画像空間内の画素に対応付ける（位置合わせする）ことで、１枚の中間解像度画像Ｄ３１（図５（ｂ））を生成する。中間解像度画像空間には、各画素の配置位置と、該配置位置を中心とする各画素の画素範囲が定義されている。
中間解像度画像Ｄ３１は、低解像度画像ＤＩＮの各画素に対応するＮ×Ｎ（３×３）個の画素Ｐ１〜Ｐ９から成るセル（太線で囲って示す）を有する。

図５（ｄ）は、一つのセル内の３×３個の画素Ｐ１〜Ｐ９と、セル内における低解像度画像の画素の投射位置を示す。図５（ｄ）では、各画素の範囲を点線のマス目で示す。

基準画像Ｆ１の画素Ｐｆ１（□で示す）は、対応するセルの中心に投射され、画素Ｐｆ１の画素値がセルの中心の画素Ｐ５の画素値の定義（決定）に用いられる。

基準画像以外の画像Ｆ２、Ｆ３、Ｆ４の画素Ｐｆ２、Ｐｆ３、Ｐｆ４（それぞれ○、△、◇で示す）は、対応するセル内における、それぞれその位置ずれ量Ｖ２１、Ｖ３１、Ｖ４１に応じた位置に投射され、その投射位置（投射された画素の中心の位置）が属する画素範囲を有する画素の画素値の定義（決定）に用いられる。

ここで位置ずれ量に応じた位置への投射とは、低解像度画像中で、基準画像の画素（基準画素）の中心に対する位置ずれ量が（ｘｄ，ｙｄ）であれば、中間解像度画像中で対応するセルの中心に対する相対位置が（ｘｄ，ｙｄ）である位置に投射されることを意味する。
図５（ｄ）には、画素Ｐｆ２、Ｐｆ３、Ｐｆ４がそれぞれ画素Ｐ１、Ｐ３、Ｐ８の画素範囲に投射された場合を示す。

画素Ｐｆ１〜Ｐｆ４の内の複数の画素が同じ画素Ｐｑ（ｑは１〜９のいずれか）の画素範囲に投射された場合（同じ画素範囲に重複して配置された場合）には、当該複数の画素の画素値の平均値を画素Ｐｑの画素値とする。この平均値は単純平均値でも加重平均値でも良い。加重平均値を用いる場合には、投射位置と画素Ｐｑの中心との距離が小さいほど重みを大きくしても良い。また、投射位置が画素Ｐｑの中心に最も近い画素の画素値を、画素Ｐｑの画素値としても良い。これは、投射位置が画素Ｐｑの中心に最も近い画素の重みを１とし、他の画素の重みを０として加重平均するのと同じである。

画素Ｐ１〜Ｐ９の中にはその画素範囲内に、画素Ｐｆ１〜Ｐｆ４の画素のいずれも投射されなかった画素が存在する。図５（ｄ）の例では、画素Ｐ２、Ｐ４、Ｐ６、Ｐ７、Ｐ９にはその画素範囲内にいずれの画素も投射されておらず、従ってこれらの画素は未定義画素である。

図５（ｂ）の画像は、そのすべてのセルにおいて、画素の投射及び画素値の定義が図５（ｄ）で示すように行われた場合に得られるものである。即ち、図５（ｂ）は、３枚の低解像度画像Ｆ２、Ｆ３、Ｆ４の基準画像Ｆ１に対する位置ずれが図示の９個の画素相互間で同じであり、従って中間解像度画像空間内の、低解像度画像の画素からの投射位置が９つのセル相互間で互いに同じである場合を示している。

以上のようにして少なくとも一部の画素が有効画素である、言い換えると画素値が定義された画素である有効画素を含む画素値が定義された中間解像度画像Ｄ３１が生成される。生成された中間解像度画像Ｄ３１は、画像拡大部３２に供給される。

画像拡大部３２は、中間解像度画像Ｄ３１の未定義画素に推定値を充填することで充填中間解像度画像を生成し、該充填中間解像度画像を高解像度画像ＤＯＵＴと同じ大きさ（画素数）にまで拡大し、中間解像度拡大画像Ｄ３として出力する。各未定義画素の推定値としては、例えば当該未定義画素の周辺の有効画素の画素値の平均値、又は当該未定義画素に最も近い有効画素の画素値を用いることができる。後者の場合、最も近い有効画素が複数あるときは当該複数の有効画素の画素値の平均値又は当該複数の有効画素のうち予め定められた規則で選択されたものの画素値を用いても良い。

充填中間解像度画像の拡大に当たっては、該充填中間解像度画像を、バイリニア又はバイキュービック法等のフィルタ演算処理により高解像度画像ＤＯＵＴと同じ画素数まで拡大するとともに、補間を行って、すべての画素の画素値が定義された中間解像度拡大画像Ｄ３を生成する。目標倍率がＭで、中間倍率がＮの場合、画像拡大部３２で行う拡大の倍率（拡大率）Ｓｃは式（１）により表わされる。

Ｓｃ＝Ｍ／Ｎ （１）

画像拡大部３２における上記の未定義画素充填及び拡大によりすべての画素の画素値が定義された中間解像度拡大画像Ｄ３が生成される。生成された中間解像度拡大画像Ｄ３は、高解像度画像充填部４に供給される。

高解像度画像充填部４は中間解像度拡大画像生成部３より出力された中間解像度拡大画像Ｄ３を参照して、初期高解像度画像生成部２より出力された初期高解像度画像Ｄ２の未定義画素（図６（ａ）にハッチングで示す）の画素値を推定する。例えば、高解像度画像充填部４は、図６（ａ）に示される、初期高解像度画像Ｄ２の各未定義画素Ｐｕに、該未定義画素に対応する（画像中の同じ位置にある）中間解像度拡大画像Ｄ３の画素Ｐｍｅ（図６（ｂ））の画素値で充填する。このようにして、初期高解像度画像Ｄ２の未定義画素のすべてに画素値が充填された画像が高解像度画像ＤＯＵＴとして出力される。

上記の処理により、初期高解像度画像Ｄ２の、低解像度画像からの投射により画素値が定義された画素（有効画素）はそのまま高解像度画像ＤＯＵＴの画素となり、初期高解像度画像Ｄ２の、低解像度画像からの投射により画素値が定義されなかった画素は、中間解像度拡大画像Ｄ３の対応する画素の画素値が充填されて、高解像度画像ＤＯＵＴの画素となる。従って、高解像度画像ＤＯＵＴは、すべての画素の画素値が定義された画像である。

以上が、実施の形態１に係る画像処理装置の動作の説明である。
次に実施の形態１の画像処理装置により得られる効果を説明する。
実施の形態１の画像処理装置１００では、目標倍率Ｍの初期高解像度画像Ｄ２を生成するとともに、これとは別に、中間解像度拡大画像Ｄ３を生成し、初期高解像度画像Ｄ２の未定義画素に、中間解像度拡大画像Ｄ３の対応する画素の画素値を充填することで、全ての画素につき画素値が定義された高解像度画像ＤＯＵＴを生成している。これにより、少ない枚数の低解像度画像を用いても、より高精度に高解像度画像を生成することができる。

本実施の形態の手法は、従来の、低解像度画像を拡大して、対応する画素値を参照する手法と比較して、中間解像度拡大画像Ｄ３の生成の際の補間拡大の倍率が小さい分入力の低解像度画像ＤＩＮよりも多くの高周波成分を含み、従って、未定義画素の推定をより高精度に行うことができる。

また、本実施の形態の手法には、低解像度画像の枚数が少なく、もしくは目標倍率が大きく、初期高解像度画像中に有効画素(低解像度画像からの投射によって画素値が定義された画素)が少ない場合でも、従来の、未定義画素をその周囲の画素から推定する手法と比較して、安定して未定義画素に画素値を充填し、高周波成分を再現した高解像度画像を生成することができるという効果がある。

実施の形態２．
図７は、本発明の実施の形態２に係る画像処理装置１００ｂを示すブロック図である。
図示の画像処理装置１００ｂは、図１の画像処理装置１００と概して同じであるが、中間解像度拡大画像生成部３及び高解像度画像充填部４の代わりに、中間解像度拡大画像生成部３ｂ及び高解像度画像充填部４ｂが用いられ、さらに低解像度拡大画像生成部５が付加されている。

中間解像度拡大画像生成部３ｂは、図８に示されるように、複数の、例えば第１乃至第３の中間解像度拡大画像生成モジュール３−１、３−２、３−３を有する。
第１乃至第３の中間解像度拡大画像生成モジュール３−１、３−２、３−３の各々の内部構成は図４に示す中間解像度拡大画像生成部３と同じであるが、中間倍率が互いに異なり、第１乃至第３の中間解像度拡大画像生成モジュール３−１、３−２、３−３の中間倍率Ｎ１、Ｎ２、Ｎ３は例えば２、３、４である。

即ち、第１の中間解像度拡大画像生成モジュール３−１は、第１の中間解像度画像生成部３１−１と、第１の画像拡大部３２−１とを有する。第２の中間解像度拡大画像生成モジュール３−２は、第２の中間解像度画像生成部３１−２と、第２の画像拡大部３２−２とを有する。第３の中間解像度拡大画像生成モジュール３−３は、第３の中間解像度画像生成部３１−３と、第３の画像拡大部３２−３とを有する。
第１乃至第３の中間解像度画像生成部３１−１〜３１−３の各々は、図４の中間解像度画像生成部３１と同じであるが、中間倍率がそれぞれＮ１、Ｎ２、Ｎ３である。

中間解像度画像生成部３１−１、３１−２、３１−３は、それぞれ、複数の低解像度画像ＤＩＮの各画素を、それぞれ中間倍率がＮ１、Ｎ２、Ｎ３である中間解像度画像空間内の画素位置に投射し、投射位置に基づいて中間解像度画像空間内の画素に対応付ける（位置合わせする）ことで、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３を生成する。

図９（ａ）〜（ｃ）は、複数の低解像度画像ＤＩＮの対応する画素（互いに位置ずれのある画素）をそれぞれ、中間倍率Ｎ１、Ｎ２、Ｎ３の中間解像度画像空間に投射したときの、中間解像度画像の一つのセル内における投射位置を示し、図９（ｄ）〜（ｆ）は、中間解像度画像の上記セル内における有効画素と未定義画素とを区別して示す。

図９（ａ）に示すように第１の中間解像度画像Ｄ３１−１のセルは２×２個の画素を有し、図９（ｂ）に示すように第２の中間解像度画像Ｄ３１−２のセルは３×３個の画素を有し、図９（ｃ）に示すように第３の中間解像度画像Ｄ３１−３のセルは４×４個の画素を有する。
図９（ａ）〜（ｃ）では、図５（ａ）〜（ｄ）の場合に比べてより多数の、具体的には８枚の低解像度画像が用いられ、より多数の（８個の）画素が投射されている場合を示す。「・」印は、画素の中心を示す。投射された画素のうち、７個が「○」印で示されている。基準画像から投射された画素は、セルの中心に位置するが、セルの中心よりも若干左上に「□」印で示されている。

低解像度画像ＤＩＮの各画素は、それぞれの中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３中の対応するセル内に、それぞれの位置ずれ量に応じた位置に投射され、その投射位置が属する画素範囲を有する画素の画素値の定義（決定）に用いられる。

なお、基準画像から投射された画素は、セルの中心に位置するが、中間倍率がＮ１＝２の場合、及び中間倍率がＮ３＝４の場合のようにセルの中心で４つの画素範囲が互いに接している場合には、そのうちのいずれか、例えば左上の画素範囲内に投射されたものとして処理をする。図９（ａ）〜（ｃ）において、投射位置がセルの中心から若干左上に示されているのはそのためである。

中間解像度画像生成部３１−１では、中間解像度画像Ｄ３１−１の一つのセル内の画素Ｐ１〜Ｐ４のうち、画素Ｐ１の画素範囲には４個の画素が投射され、画素Ｐ２の画素範囲には２個の画素が投射され、画素Ｐ３の画素範囲及び画素Ｐ４の画素範囲にはそれぞれ１個の画素が投射されている。この場合、画素Ｐ１の画素範囲に投射された４個の画素の画素値の合成（平均又は選択）により画素Ｐ１の画素値が定義され、画素Ｐ２の画素範囲に投射された２個の画素の画素値の合成（平均又は選択）により画素Ｐ２の画素値が定義され、画素Ｐ３の画素範囲に投射された１個の画素の画素値により画素Ｐ３の画素値が定義され、画素Ｐ４の画素範囲に投射された１個の画素の画素値により画素Ｐ４の画素値が定義される。この結果、図９（ｄ）に示すように、４個の画素はすべて画素値が定義される。

中間解像度画像生成部３１−２では、中間解像度画像Ｄ３１−２の一つのセル内の画素Ｐ１〜Ｐ９のうち、画素Ｐ１、Ｐ２、Ｐ４、Ｐ６、Ｐ７の画素範囲にはそれぞれ１個の画素が投射されており、投射された画素の画素値がこれらの画素の画素値と定義される。画素Ｐ５の画素範囲には３個の画素が投射され、画素Ｐ５の画素範囲に投射された３個の画素の画素値の合成（平均又は選択）により画素Ｐ５の画素値が定義される。
一方、画素Ｐ３、Ｐ８、Ｐ９の画素範囲に投射された画素は存在しない。従って、これらの画素Ｐ３、Ｐ８、Ｐ９の画素値は定義されない。
図９（ｅ）には画素値が定義された画素を白（ハッチングなし）で、画素値が未定義の画素をハッチングで示してある。

中間解像度画像生成部３１−３では、中間解像度画像Ｄ３１−３の一つのセル内の画素Ｐ１〜Ｐ１６のうち、画素Ｐ１、Ｐ５、Ｐ１１、Ｐ１４の画素範囲にはそれぞれ１個の画素が投射されており、投射された画素の画素値がこれらの画素の画素値と定義される。画素Ｐ６、Ｐ７の画素範囲には各々２個の画素が投射され、画素Ｐ６の画素範囲に投射された２個の画素の画素値の合成（平均又は選択）により画素Ｐ６の画素値が定義され、画素Ｐ７の画素範囲に投射された２個の画素の画素値の合成（平均又は選択）により画素Ｐ７の画素値が定義される。
一方、画素Ｐ２〜Ｐ４、Ｐ８〜Ｐ１０、Ｐ１２、Ｐ１３、Ｐ１５、Ｐ１６の画素範囲に投射された画素は存在しない。従って、これらの画素Ｐ２〜Ｐ４、Ｐ８〜Ｐ１０、Ｐ１２、Ｐ１３、Ｐ１５、Ｐ１６の画素値は定義されない。
図９（ｆ）には画素値が定義された画素を白（ハッチングなし）で、画素値が未定義の画素をハッチングで示してある。

以上のようにして少なくとも一部の画素が有効画素である、言い換えると画素値が定義された画素である有効画素を含む中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３が生成される。生成された中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３は、それぞれ画像拡大部３２−１、３２−２、３２−３に供給される。

中間解像度画像生成部３１−１、３１−２、３１−３は、上記の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３とともに、各画素が有効な画素か未定義の画素かを示す情報（有効性情報）Ｄ３１ｖ−１、Ｄ３１ｖ−２、Ｄ３１ｖ−３を生成し、出力する。この情報は後述の画像選択部４１ｂで利用される。

画像拡大部３２−１、３２−２、３２−３は、それぞれ中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の未定義画素を推定値で充填することで充填中間解像度画像を生成し、該充填中間解像度画像を、高解像度画像ＤＯＵＴと同じ大きさ（画素数）にまで拡大し、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３として出力する。各未定義画素の推定値としては、例えば当該未定義画素の周辺の有効画素の画素値の平均値、又は当該未定義画素に最も近い有効画素の画素値を用いることができる。後者の場合、最も近い有効画素が複数あるときは当該複数の有効画素の画素値の平均値又は当該複数の有効画素のうち予め定められた規則で選択されたものの画素値を用いても良い。

画像拡大部３２−１、３２−２、３２−３による拡大は、実施の形態１の画像拡大部３２による拡大と同様にバイリニア法、バイキュービック法等のフィルタ演算処理で行われる。但し、画像拡大部３２−１の拡大率Ｓｃ１はＭ／Ｎ１＝５／２、画像拡大部３２−２の拡大率Ｓｃ２はＭ／Ｎ２＝５／３、画像拡大部３２−３の拡大率Ｓｃ３はＭ／Ｎ３＝５／４である。
上記の未定義画素充填及び拡大の結果、すべての画素の画素値が定義された中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３が生成される。

以上のように、中間解像度拡大画像生成モジュール３−１、３−２、３−３は、互いに異なる複数の中間倍率Ｎ１、Ｎ２、Ｎ３の解像度を持つ第１乃至第３の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３を生成し、さらに第１乃至第３の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の未定義画素への画素値の充填を行った上で、拡大を行い、目標倍率Ｍの高解像度画像ＤＯＵＴと同じ画素数を持つ第１乃至第３の中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３を生成する。
中間解像度拡大画像生成モジュール３−１、３−２、３−３で生成された中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３は、高解像度画像充填部４ｂに供給される。

低解像度拡大画像生成部５は、図１０に示されるように、合成低解像度画像生成部５１と、画像拡大部５２とを有する。

合成低解像度画像生成部５１は、複数の（８枚の）低解像度画像ＤＩＮの各画素を、それぞれ低解像度画像空間内の画素位置に投射し、投射位置に基づいて低解像度画像空間内の画素に対応付ける（位置合わせする）ことで、低解像度画像ＤＩＮと同じ解像度の画像Ｄ５１を生成する。合成低解像度画像生成部５１で生成される画像Ｄ５１は、複数の低解像度画像ＤＩＮを合成することで生成されるものであるので、合成低解像度画像と呼ばれる。これに対し低解像度画像ＤＩＮを区別のため入力低解像度画像と呼ぶこともある。

図１１（ａ）は、複数の低解像度画像ＤＩＮの対応する画素（互いに位置ずれのある画素）を合成低解像度画像空間に投射したときの、合成低解像度画像の一つのセル内における投射位置を示す。

図１１（ａ）に示すように合成低解像度画像Ｄ５１のセルは１個の画素を有する。
図１１（ａ）では、図９（ａ）〜（ｃ）の場合と同様に、８個の画素が投射されている場合を示す。「・」印は、画素の中心を示す。投射された画素のうち、７個が「○」印で示されている。基準画像から投射された画素は、セルの中心に位置するが、セルの中心よりも若干左上に「□」印で示されている。これは図９（ａ）〜（ｃ）に合わせるためである。

低解像度画像ＤＩＮの各画素は、それぞれの合成低解像度画像Ｄ５１中の対応するセル内に、それぞれの位置ずれ量に応じた位置に投射され、その投射位置が属する画素範囲を有する画素の画素値の定義（決定）に用いられる。
合成低解像度画像Ｄ５１においては、各セルが１個の画素で構成される。従って、すべての画素が有効画素となる。

図１１（ａ）に示す例では、合成低解像度画像生成部５１では、合成低解像度画像Ｄ５１の一つのセル内の画素Ｐ１の画素範囲に８個の画素が投射されている。
この場合、画素Ｐ１の画素範囲に投射された８個の画素の画素値の合成（平均又は選択）により画素Ｐ１の画素値が定義される。
図１１（ｂ）は、合成低解像度画像Ｄ５１の画素Ｐ１が、画素値が定義された画素であることを、白（ハッチングなし）で示す。

以上のようにしてすべての画素の画素値が定義された合成低解像度画像Ｄ５１が生成される。生成された合成低解像度画像Ｄ５１は、画像拡大部５２に供給される。

画像拡大部５２は、合成低解像度画像Ｄ５１を、高解像度画像ＤＯＵＴと同じ大きさ（画素数）にまで拡大し、低解像度拡大画像Ｄ５として出力する。

画像拡大部５２による拡大は、実施の形態１の画像拡大部３２による拡大と同様にバイリニア法、バイキュービック法等のフィルタ演算処理で行われる。但し、画像拡大部５２の拡大率Ｓｃ０は目標倍率Ｍ（＝５）に等しい。拡大の結果、すべての画素の画素値が定義された低解像度拡大画像Ｄ５が生成される。

以上のように、低解像度拡大画像生成部５は、低解像度画像ＤＩＮと同じ解像度を持つ合成低解像度画像Ｄ５１を生成し、生成した合成低解像度画像Ｄ５１を拡大して、目標倍率Ｍの高解像度画像ＤＯＵＴと同じ画素数を持つ低解像度拡大画像Ｄ５を生成する。
低解像度拡大画像生成部５で生成された低解像度拡大画像Ｄ５は、高解像度画像充填部４ｂに供給される。

低解像度拡大画像生成部５は、中間解像度拡大画像生成モジュール３−１〜３−３と同様の構成で、中間倍率を１とした場合に相当し、従って、中間倍率が１以上の値に自由にすることが可能な中間解像度拡大画像生成モジュール３−ｉ（ｉ＝１、２、…）を複数個用意し、そのうちの一つの中間倍率を１とすることで、低解像度拡大画像生成部５として作用させることができる。
この場合、低解像度拡大画像生成部５は、中間倍率を１として生成された中間解像度画像（合成低解像度画像）Ｄ５１を拡大することで拡大画像（低解像度拡大画像）Ｄ５を生成するものと見ることができる。

高解像度画像充填部４ｂは、初期高解像度画像Ｄ２の未定義画素の各々について、第１乃至第３の中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３、及び低解像度拡大画像Ｄ５のいずれかを選択し、選択した拡大画像の対応画素の画素値を用いて、上記未定義画素の画素値の推定を行う。この推定により未定義画素に画素値が充填される。

図１２は、高解像度画像充填部４ｂの構成の一例を示すブロック図である。
図示の高解像度画像充填部４ｂは、画像選択部４１ｂと、画素充填部４２とを備える。

画像選択部４１ｂは、初期高解像度画像Ｄ２の未定義画素の各々を順次注目画素とし、複数の（３つの）中間倍率Ｎ１、Ｎ２、Ｎ３の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の内の、注目画素の位置に対応する位置の周辺の領域内の各画素についての有効性情報Ｄ３１ｖ−１、Ｄ３１ｖ−２、Ｄ３１ｖ−３を入力とし、上記周辺の領域における有効画素割合ＲＤ１、ＲＤ２、ＲＤ３を算出し、算出した有効画素割合ＲＤ１、ＲＤ２、ＲＤ３に基づいて第１乃至第３の中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のいずれを選択すべきかの判定を行い、判定結果を示す情報（画像選択情報）Ｄ４１を出力する。

上記のように、低解像度拡大画像生成部５は、中間倍率を１として生成された中間解像度画像（合成低解像度画像）Ｄ５１を拡大することで拡大画像（低解像度拡大画像）Ｄ５を生成するものと見れば、画像選択情報Ｄ４１は、初期高解像度画像Ｄ２の未定義画素の充填に用いるべき拡大画像（中間解像度拡大画像又は低解像度拡大画像）の生成に用いられた中間解像度画像の中間倍率を選択する中間倍率選択情報であるということもできる。

画素充填部４２は、初期高解像度画像Ｄ２の未定義画素の各々を順次注目画素とし、画像選択情報Ｄ４１で示される拡大画像（中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のうちの選択すべきと判定されたもの）を選択し、選択した拡大画像のうちの、注目画素に対応する画素の画素値で、注目画素の画素値を推定する。
この推定により注目画素に画素値が充填される。

画像選択部４１ｂは、有効画素割合計算部４１１と、選択情報生成部４１２とを有する。
有効画素割合計算部４１１は、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の内の、注目画素の位置に対応する位置を中心とする、予め定められた大きさの周辺領域内における、各画素についての有効性情報Ｄ３１ｖ−１、Ｄ３１ｖ−２、Ｄ３１ｖ−３を入力とし、該周辺領域内の有効画素割合ＲＤ１、ＲＤ２、ＲＤ３を算出する。
有効画素割合ＲＤｉ（ｉは１、２又は３）は、上記の周辺領域内に位置する中間解像度画像Ｄ３１−ｉの画素のうち、有効画素（画素値が定義された画素）が占める割合である。

ここで、有効画素割合ＲＤｉが算出される周辺領域をＮｓｉ×Ｎｓｉ個の画素から成る領域としたとき、その周辺領域での有効画素割合ＲＤｉを求める計算は式（２）で表わされる。なお、本実施の形態では、周辺領域の大きさＮｓｉ×Ｎｓｉは、各中間解像度画像Ｄ３１−ｉにおけるセルの大きさ（セル内の画素の数Ｎｉ×Ｎｉ）と同じ（Ｎｓｉは中間倍率Ｎｉと同じ）であるが、同じでなくても良い。

ＲＤｉ＝Ｆｉ／（Ｎｓｉ×Ｎｓｉ） （２）

式（２）において、Ｆｉは上記の周辺領域（Ｎｓｉ×Ｎｓｉ個の画素から成る領域）内の有効画素（低解像度画像からの投射で画素値が定義された画素）の数を表す。

即ち、中間倍率がＮ１で生成された中間解像度画像Ｄ３１−１については、
ＲＤ１＝Ｆ１／（Ｎｓ１×Ｎｓ１） （２ａ）
即ち、中間倍率がＮ２で生成された中間解像度画像Ｄ３１−２については、
ＲＤ２＝Ｆ２／（Ｎｓ２×Ｎｓ２） （２ｂ）
即ち、中間倍率がＮ３で生成された中間解像度画像Ｄ３１−３については、
ＲＤ３＝Ｆ３／（Ｎｓ３×Ｎｓ３） （２ｃ）
である。
図９（ｄ）、（ｅ）、（ｆ）に示す例では、Ｆ１、Ｆ２、Ｆ３はそれぞれ４、６、６であり、
有効画素割合ＲＤ１、ＲＤ２、ＲＤ３はそれぞれ
ＲＤ１＝４／４（＝１）
ＲＤ２＝６／９（＝０．６６７）
ＲＤ３＝６／１６（＝０．３７５）
となる。

有効画素割合ＲＤｉの計算には、中間解像度画像Ｄ３１−ｉの各画素が有効画素であるか未定義画素であるかを知る必要がある。そこで、有効画素割合計算部４１１は、中間解像度画像生成部３１−ｉから出力される、各中間解像度画像の各画素についての有効性情報Ｄ３１ｖ−ｉを用いて、式（２）の計算を行って有効画素割合ＲＤｉを算出する。
式（２）の有効画素割合ＲＤｉは、初期高解像度画像Ｄ２中の未定義画素の各々について、かつ、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の各々について計算される。

選択情報生成部４１２は、有効画素割合計算部４１１から出力されたそれぞれの中間倍率Ｎ１、Ｎ２、Ｎ３での有効画素割合ＲＤ１、ＲＤ２、ＲＤ３を基に、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３、及び低解像度拡大画像Ｄ５のうちのいずれの画像を選択すべきかを判定し、判定結果を示す情報を画像選択情報Ｄ４１として出力する。この選択は、初期高解像度画像Ｄ２の未定義の画素毎に行われる。例えば、高解像度画像の未定義画素を順に選択し、選択した画素（注目画素）について行われる。
例えば、選択情報生成部４１２は、上記のようにして算出された有効画素割合ＲＤｉのいずれかが閾値（有効画素割合閾値）ＲＤｔｈ以上であるときは、有効画素割合が該閾値ＲＤｔｈ以上である中間解像度画像のうち、中間倍率が最も大きいものから生成された中間解像度拡大画像を選択し、選択した中間解像度拡大画像を示す情報を画像選択情報Ｄ４１として出力する。上記の閾値ＲＤｔｈは、例えば０．６である。

図９（ｄ）、（ｅ）、（ｆ）の場合、ＲＤ１（＝４／４）、ＲＤ２（＝６／９）が閾値ＲＤｔｈ（０．６）以上であり、それらの有効画素割合（ＲＤ１、ＲＤ２）に対応する中間倍率（Ｎ１、Ｎ２）の中で最も大きい中間倍率はＮ２であり、従って、画像選択情報Ｄ４１として、中間倍率Ｎ２を示すもの、従って中間倍率Ｎ２の中間解像度画像から生成された中間解像度拡大画像を示すものが出力される。

画像選択部４１ｂは、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３のうちいずれについてもその有効画素割合ＲＤｉが閾値ＲＤｔｈ未満であれば、低解像度拡大画像Ｄ５を選択すべきことを示す画像選択情報Ｄ４１を出力する。

画素充填部４２は、初期高解像度画像Ｄ２の未定義画素を順に選択して注目画素とし、注目画素について選択情報生成部４１２から出力された画像選択情報Ｄ４１に従って、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のいずれかを選択し、選択した拡大画像内の、注目画素に対応する画素の画素値を用いて、注目画素の画素値を推定する。
この推定により注目画素に画素値が充填され、画素値が充填された画素は高解像度画像ＤＯＵＴの画素となる。
このような充填処理を、初期高解像度画像Ｄ２のすべての未定義画素について行うことで、すべての画素の画素値が定義された高解像度画像ＤＯＵＴが生成される。

実施の形態２では、実施の形態１と同様の効果が得られるほか、以下の付加的な効果が得られる。即ち、複数の中間倍率の解像度の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３を生成し、さらにこれらの中間解像度画像をその未定義画素を推定値で充填した上で拡大することで複数の中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３を生成し、例えば中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の有効画素割合ＲＤ１、ＲＤ２、ＲＤ３に基づいて、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のうちの最適のものを選択することで、有効画素の分布が不均一な場合、或いは有効画素の割合が不十分な場合でも、従来の、周囲の画素からの推定の手法と比較して、均一な画質で高解像度画像を生成することができる。

特に、画像の位置ずれには平行移動、剪断、回転、射影などがあり、例えば射影の場合には画像の位置によって有効画素の分布が不均一となり、有効画素の割合が不十分な箇所が生じる。このような有効画素の割合が不十分な箇所ではより小さな中間倍率の中間解像度画像から生成した中間解像度拡大画像の画素或いは低解像度拡大画像の画素を使用する。一方、有効画素の割合が大きい箇所では、より大きな中間倍率の中間解像度画像から生成した中間解像度拡大画像の画素を使用する。このようにすることで、安定して未定義画素に画素値を充填するとともに、高周波成分の再現性を高めることができる。

以上、中間解像度拡大画像生成部３ｂで３つの互いに異なる中間解像度の中間解像度拡大画像を生成する場合について説明したが、本発明は、これに限定されず、２つ又は４つ以上の異なる中間解像度の中間解像度拡大画像が生成される場合にも適用可能である。

一般化して言えば、中間解像度拡大画像生成部３ｂが、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間への低解像度画像ＤＩＮの画素の投射により、第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉを生成し、さらに第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉを、その未定義画素を推定値で充填した上で、拡大して、高解像度画像ＤＯＵＴと同じ画素数を持つ第１乃至第Ｉの中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉを生成するものであり、高解像度画像充填部４ｂが、第１乃至第Ｉの中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉ及び低解像度拡大画像Ｄ５のいずれか一つを選択し、選択した拡大画像の対応画素の画素値に基づいて上記初期高解像度画像Ｄ２の未定義画素の画素値の推定を行うものであれば良い。

例えば、高解像度画像充填部４ｂは、初期高解像度画像Ｄ２の未定義画素を順次選択して注目画素とし、第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉ内の、注目画素の位置に対応する位置の周辺の領域における、低解像度画像ＤＩＮからの投射により画素値が定義された画素の割合を示す有効画素割合ＲＤ１〜ＲＤＩに基づいて、中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉ及び低解像度拡大画像Ｄ５のいずれかを選択し、選択した拡大画像の上記対応画素の画素値を用いて、注目画素の画素値を推定するものであれば良い。

より具体的には、高解像度画像充填部４ｂは、上記周辺の領域内において、低解像度画像ＤＩＮからの投射により画素値が定義された画素の割合（有効画素割合）ＲＤｉが予め定められた閾値（ＲＤｔｈ）以上である中間解像度画像のうち、中間倍率が最大のものから生成された中間解像度拡大画像を選択し、中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉのいずれについても上記の有効画素割合ＲＤｉが上記閾値（ＲＤｔｈ）未満である場合には、低解像度拡大画像を選択するものであれば良い。

上記の実施の形態では、中間解像度拡大画像生成部が複数の中間解像度拡大画像を生成するが、中間解像度拡大画像生成部が生成する中間解像度拡大画像の数は１つでも良い。その場合には、一つの中間解像度拡大画像と低解像度拡大画像のうちのいずれかを選択する。例えば、一つの中間解像度画像についての有効画素割合が閾値以上であれば中間解像度拡大画像を選択し、そうでなければ低解像度拡大画像を選択することとすれば良い。

実施の形態３．
図１３は、本発明の実施の形態３に係る画像処理装置１００ｃを示すブロック図である。
図示の画像処理装置１００ｃは、図７の画像処理装置１００ｂと概して同じであるが、位置ずれ量検出部１の代わりに、位置ずれ量検出部１ｃが用いられ、中間解像度拡大画像生成部３ｂの代わりに、中間解像度拡大画像生成部３ｃが用いられ、高解像度画像充填部４ｂの代わりに、高解像度画像充填部４ｃが用いられている。

位置ずれ量検出部１ｃは位置ずれ量検出部１と同様のものであるが、投射位置ずれ量情報ＶＤ１〜ＶＤ３の生成及び出力を行う機能をも有する点で異なる。投射位置ずれ量情報ＶＤ１〜ＶＤ３は、複数の（３つの）中間倍率Ｎ１、Ｎ２、Ｎ３の中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の内の、注目画素の位置に対応する位置の周辺の領域における投射位置ずれ量を表す情報である。

中間解像度拡大画像生成部３ｃは、中間解像度拡大画像生成部３ｂと同様のものであるが有効性情報Ｄ３１ｖ−１、Ｄ３１ｖ−２、Ｄ３１ｖ−３の生成及び出力を行う機能を持つ必要がない。

高解像度画像充填部４ｃの構成例を図１４に示す。図示の高解像度画像充填部４ｃは、画像選択部４１ｃと、画素充填部４２を備える。画素充填部４２は、図１２に示す画素充填部４２と同様のものである。

画像選択部４１ｃは、初期高解像度画像Ｄ２の未定義画素の各々を順次注目画素とし、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の内の、注目画素の位置に対応する位置の周辺の領域における投射位置ずれ量を表す投射位置ずれ量情報ＶＤ１、ＶＤ２、ＶＤ３を入力とし、上記周辺の領域における投射位置のずれの度合い（位置ずれ度合）ＲＱ１、ＲＱ２、ＲＱ３を算出し、算出した位置ずれ度合ＲＱ１、ＲＱ２、ＲＱ３に基づいて、第１乃至第３の中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のいずれを選択すべきかの判定を行い、判定結果を示す画像選択情報Ｄ４１を出力する。

画像選択部４１ｃは、位置ずれ度合計算部４１３と、選択情報生成部４１４とを有する。
位置ずれ度合計算部４１３は、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の内の、注目画素の位置に対応する位置を中心とする、予め定められた大きさの周辺領域内における、投射位置ずれ量を表す投射位置ずれ量情報ＶＤ１、ＶＤ２、ＶＤ３を入力とし、該周辺領域内の位置ずれ度合ＲＱ１、ＲＱ２、ＲＱ３を計算する。
位置ずれ度合ＲＱｉ（ｉは１、２又は３）は、上記の周辺領域内における、低解像度画像の複数の画素の投射位置のずれの程度を表す指標であり、例えば、低解像度画像ＤＩＮの各画素の投射位置と、該投射位置が属する（中間解像度画像の）画素範囲の中心との距離の平均（又は平均に比例する値）で与えられる。例えば、図９（ａ）〜（ｃ）の例のように、セル内の投射位置の数が、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３相互間で互いに等しい場合、上記距離の総和は平均に比例する値である。以下では平均に比例する値として総和を求める場合について説明する。

ここで、位置ずれ度合ＲＱｉが算出される周辺領域をＮｔｉ×Ｎｔｉ個の画素から成る領域としたとき、その周辺領域での位置ずれ度合ＲＱｉを求める式は式（３）で表わされる。
なお、本実施の形態では、周辺領域の大きさＮｔｉ×Ｎｔｉは、各中間解像度画像におけるセルの大きさ（セル内の画素の数Ｎｉ×Ｎｉ）と同じ（Ｎｔｉは中間倍率Ｎｉと同じ）であるが、同じでなくても良い。

式（３）で、
（ｘ_ｊ，ｙ_ｊ）は、低解像度画像ＤＩＮの画素の、上記セル内の投射位置（図９（ａ）〜（ｃ）では○印で示されている）の各々、即ち、ｊ番目の投射位置の座標であり、
（ｘ_ｊｃ，ｙ_ｊｃ）は、上記セル内のｊ番目の投射位置が属する画素範囲の中心（符号「・」で示す）の座標を示す。
Ｊ_ｉ（ｉは１、２又は３）は、上記セル内に投射された画素の数であり、図９（ａ）〜（ｃ）の例では、Ｊ_１＝Ｊ_２＝Ｊ_３＝８である。
（ｘ_ｊ−ｘ_ｊｃ）及び（ｙ_ｊ−ｙ_ｊｃ）は、上記ｊ番目の投射位置の、該投射位置が属する画素範囲の中心に対するずれ（投射位置ずれ）、即ち、横軸方向及び縦軸方向の差を表す。この投射位置ずれは、二次元の座標（ｘ_ｊ−ｘ_ｊｃ，ｙ_ｊ−ｙ_ｊｃ）で表される。
中間倍率Ｎｉが３の場合について、（ｘ_ｊ−ｘ_ｊｃ，ｙ_ｊ−ｙ_ｊｃ）を表すベクトルＶＤ２−ｊが図９（ｇ）に示されている。図９（ｇ）には、ベクトルＶＤ２−ｊのうち、比較的大きいものに対してのみ矢印及び符号「ＶＤ２−ｊ」が付されている。

中間解像度画像生成部３１における中間解像度画像生成の際の投射位置ずれ量ＶＤ１−ｊ（ｊ＝１〜Ｊ_１）、ＶＤ２−ｊ（ｊ＝１〜Ｊ_２）、ＶＤ３−ｊ（ｊ＝１〜Ｊ_３）は、例えば、位置ずれ量検出部１ｃで検出され、検出された投射位置ずれ量を表す投射位置ずれ量情報ＶＤ１、ＶＤ２、ＶＤ３が、位置ずれ量検出部１ｃから位置ずれ度合計算部４１３に供給され、位置ずれ度合計算部４１３で式（３）の計算が行われて位置ずれ度合ＲＱｉが求められる。

投射位置ずれ量ＶＤｉ−ｊ（ｉは１、２又は３）は、位置ずれ量（図３（ｃ）或いは図５（ｃ）におけるＶ２１、Ｖ３１、Ｖ４１など）に基づいて算出される。即ち位置ずれ量に基づいて投射位置を算出し、投射位置の、各倍率の中間解像度画像の画素の中心位置（中間倍率に基づいて位置ずれ量検出部１ｃ内で算出される）に対する差を求めることで投射位置ずれ量が求まる。

式（３）の位置ずれ度合ＲＱｉは、初期高解像度画像Ｄ２中の未定義画素の各々について、かつ、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３の各々についてそれぞれ算出される。

選択情報生成部４１４は、位置ずれ度合計算部４１３から出力されたそれぞれの中間倍率Ｎ１、Ｎ２、Ｎ３での位置ずれ度合ＲＱ１、ＲＱ２、ＲＱ３を基に、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３、及び低解像度拡大画像Ｄ５のうちのいずれの画像を選択すべきかを判定し、判定結果を示す情報を画像選択情報Ｄ４１として出力する。この選択は、初期高解像度画像Ｄ２の未定義の画素毎に行われる。例えば、高解像度画像の未定義画素を順に選択し、選択した画素（注目画素）について行われる。
例えば、選択情報生成部４１４は、上記のようにして算出された位置ずれ度合ＲＱｉが最も小さい中間解像度画像から生成された中間解像度拡大画像が最適であり、従って選択すべきものであると判定し、判定結果を示す情報を画像選択情報Ｄ４１として出力する。

但し、上記の最も小さい位置ずれ度合が予め定められた閾値（位置ずれ度合閾値）ＲＱｔｈよりも大きいとき、従って、中間解像度画像Ｄ３１−１、Ｄ３１−２、Ｄ３１−３のうちいずれについてもその位置ずれ度合ＲＱｉが閾値ＲＱｔｈよりも大きいときは、低解像度拡大画像Ｄ５を選択すべきことを示す画像選択情報Ｄ４１を出力する。

実施の形態２について説明したのと同様に、画素充填部４２は、初期高解像度画像Ｄ２の未定義画素を順に選択して注目画素とし、注目画素について選択情報生成部４１４から出力された画像選択情報Ｄ４１に従って中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３及び低解像度拡大画像Ｄ５のいずれかを選択し、選択した拡大画像の内の、注目画素に対応する画素の画素値を用いて、注目画素の画素値を推定する。
この推定により注目画素の画素値が充填され、画素値が充填された画素は高解像度画像ＤＯＵＴの画素となる。
このような充填処理を、初期高解像度画像Ｄ２のすべての未定義画素について行うことで、すべての画素の画素値が定義された高解像度画像ＤＯＵＴが生成される。

実施の形態３でも実施の形態２と同様の効果が得られる。但し、以下の点で異なる。
実施の形態３では、初期高解像度画像Ｄ２の未定義画素の各々について当該未定義画素の充填に用いる拡大画像の選択を、低解像度画像の画素の投射位置のずれの程度を表す位置ずれ度合ＲＱｉに基づいて行う。従って、投射位置ずれのより少ない中間解像度画像から生成された中間解像度拡大画像を充填に用いることができ、より精度の高い画素値の推定を行うことができる。この結果、有効画素の分布が不均一である場合にもより均一な画質で高解像度画像を生成できる。

以上、中間解像度拡大画像生成部３ｃで３つの互いに異なる中間解像度の中間解像度拡大画像を生成する場合について説明したが、本発明は、これに限定されず、２つ又は４つ以上の異なる中間解像度の中間解像度拡大画像が生成される場合にも適用可能である。

一般化して言えば、中間解像度拡大画像生成部３ｃが、実施の形態２の中間解像度拡大画像生成部３ｂに関し述べたのと同様に、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間への低解像度画像ＤＩＮの画素の投射により、第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉを生成し、さらに第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉを、その未定義画素を推定値で充填した上で、拡大して、高解像度画像ＤＯＵＴと同じ画素数を持つ第１乃至第Ｉの中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉを生成するものであり、高解像度画像充填部４ｃが、第１乃至第Ｉの中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉ及び低解像度拡大画像Ｄ５のいずれか一つを選択し、選択した拡大画像の対応画素の画素値に基づいて未定義画素の画素値の推定を行うものであれば良い。

例えば、高解像度画像充填部４ｃは、初期高解像度画像Ｄ２の未定義画素を順次選択して注目画素とし、第１乃至第Ｉの中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉ内の、注目画素の位置に対応する位置の周辺の領域内における投射位置のずれの度合（位置ずれ度合ＲＱｉ）に基づいて、中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉ及び低解像度拡大画像Ｄ５のいずれかを選択し、選択した拡大画像の上記対応画素の画素値を用いて注目画素の画素値を推定するものであれば良い。

より具体的には、高解像度画像充填部４ｃは、上記周辺の領域内の画素のうち、上記投射により低解像度画像ＤＩＮの画素に対応付けられた画素の各々に対する、対応する上記投射位置のずれの平均を上記位置ずれ度合ＲＱｉとして算出し、上記位置ずれ度合ＲＱｉが予め定められた閾値（ＲＱｔｈ）以下であって、かつ最小である中間解像度画像から生成された中間解像度拡大画像を選択し、中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉのいずれについても上記の位置ずれ度合ＲＱｉが閾値（ＲＱｔｈ）よりも大きければ、低解像度拡大画像Ｄ５を選択するものであれば良い。

なお、合成低解像度画像Ｄ５１についても中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉと同様に位置ずれ度合ＲＱ０を求め、中間解像度画像Ｄ３１−１〜Ｄ３１−Ｉについての位置ずれ度合ＲＱ１〜ＲＱＩ及び合成低解像度画像Ｄ５１についての位置ずれ度合ＲＱ０のうちの最小のもの（位置ずれ度合）が求められた画像(Ｄ３１−１〜Ｄ３１−Ｉ、Ｄ５１のうちのいずれか)から生成された拡大画像（中間解像度拡大画像Ｄ３−１〜Ｄ３−Ｉ及び低解像度拡大画像Ｄ５のいずれか）を選択して、初期高解像度画像Ｄ２の未定義画素の充填に用いることとしても良い。

上記の実施の形態では、中間解像度拡大画像生成部が複数の中間解像度拡大画像を生成するが、中間解像度拡大画像生成部が生成する中間解像度拡大画像の数は１つでも良い。その場合には、一つの中間解像度拡大画像と低解像度拡大画像のうちのいずれかを選択することとなる。例えば、一つの中間解像度画像についての位置ずれ度合が閾値以下であれば中間解像度拡大画像を選択し、そうでなければ低解像度拡大画像を選択することとすれば良い。代わりに、一つの中間解像度画像についての位置ずれ度合と、合成低解像度画像についての位置ずれ度合を比較し、中間解像度画像についての位置ずれ度合が小さければ、中間解像度拡大画像を選択し、合成低解像度画像についての位置ずれ度合が小さければ、低解像度拡大画像を選択することとしても良い。

実施の形態４．
図１５は、本発明の実施の形態４に係る画像処理装置１００ｄを示すブロック図である。
図示の画像処理装置１００ｄは、図７の画像処理装置１００ｂと概して同じであるが、中間解像度拡大画像生成部３ｂの代わりに、中間解像度拡大画像生成部３ｄが用いられ、高解像度画像充填部４ｂの代わりに、高解像度画像充填部４ｄが用いられている。

中間解像度拡大画像生成部３ｄの構成例を図１６に示す。図１６で図８と同じ符号は同じ機能を持つ要素を示す。図示の中間解像度拡大画像生成部３ｄは、第１乃至第３の中間解像度拡大画像生成モジュール３ｄ−１〜３ｄ−３を有する。第１乃至第３の中間解像度拡大画像生成モジュール３ｄ−１〜３ｄ−３は、それぞれ、図８の第１乃至第３の中間解像度拡大画像生成モジュール３−１〜３−３と同様であるが、以下の点で異なる。

第１の中間解像度拡大画像生成モジュール３ｄ−１は、中間解像度画像生成部３１−１と、画像拡大部３１ｄ−１とを有し、第２の中間解像度拡大画像生成モジュール３ｄ−２は、中間解像度画像生成部３１−２と、画像拡大部３１ｄ−２とを有し、第３の中間解像度拡大画像生成モジュール３ｄ−３は、中間解像度画像生成部３１−３と、画像拡大部３１ｄ−３とを有する。
中間解像度画像生成部３１−１、３１−２、３１−３は、それぞれ図８に同じ符号で示す要素と同じである。

画像拡大部３２ｄ−１、３２ｄ−２、３２ｄ−３は、それぞれ図８の画像拡大部３２−１、３２−２、３２−３と同じ機能を持つほか、拡大により生成された中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３の各画素についてその画素値が信頼性の高いものであるか否か、即ち高信頼度画素であるか低信頼度画素であるかを示す信頼度情報Ｄ３ｖ−１、Ｄ３ｖ−２、Ｄ３ｖ−３を生成する。

ここで、各画素についてその画素値の信頼性が高いか否かは、各画素が中間解像度画像Ｄ３１−ｉ（ｉは１、２又は３）の有効画素に対応するものであるか、未定義画素に対応するものであるかに基づいて判定される。
中間解像度画像Ｄ３１−ｉの各画素と中間解像度拡大画像Ｄ３−ｉの各画素との対応関係は、中間解像度画像Ｄ３１−ｉと中間解像度拡大画像Ｄ３−ｉとを重ね合わせたときの、それらの位置関係に基づいて判定する。例えば、中間解像度画像Ｄ３１−ｉと中間解像度拡大画像Ｄ３−ｉとを重ね合わせたときに、中間解像度画像Ｄ３１−ｉの画素のうち、中間解像度拡大画像Ｄ３−ｉの各画素（注目画素）の中心が位置する画素範囲を持つ画素が、当該注目画素に対応する画素であると判定する。そして、対応する画素が有効画素であれば、注目画素は高信頼度画素であると判定し、対応する画素が未定義画素であれば注目画素は低信頼度画素であると判定する。
また、中間解像度画像Ｄ３１−ｉの画素のうち、上記注目画素の位置に対応する位置の近傍にその中心がある１又は２以上の画素を、当該注目画素に対応する画素であるとしても良い。２以上の画素が「対応する画素」である場合には、対応する画素のうちの有効画素の数と未定義画素の数とに基づいて、当該注目画素が高信頼度画素であるか、低信頼度画素であるかの判定をすることとしても良い。この場合、中心間の距離を考慮に入れ、「対応する画素」のうち距離のより短いものほどより大きな重みをつけて判定をすることとしても良い。

高解像度画像充填部４ｄの構成例を図１７に示す。図示の高解像度画像充填部４ｄは、画像選択部４１ｂと、画素充填部４２ｄとを有する。画像選択部４１ｂは、図１２の画像選択部４１ｂと同じものである。画素充填部４２ｄは、初期高解像度画像補間部４２１と、中間解像度拡大画像補間部４２２−１、４２２−２、４２２−３と、未定義画素充填部４２３とを有する。

初期高解像度画像補間部４２１は、初期高解像度画像Ｄ２の未定義画素の各々について、その周囲の画素のうちの画素値が定義された画素（有効画素）の割合を有効画素割合ＲＥとして求め、該有効画素割合ＲＥが予め定められた閾値（第２の有効画素割合閾値）ＲＥｔｈ以上であれば、当該未定義画素の画素値を、その近隣の有効画素の画素値を用いて補間する。この補間は例えば当該未定義画素の近隣の有効画素を用いたメディアンフィルタにより行われる。一方、有効画素割合ＲＥが上記の閾値ＲＥｔｈ未満であれば補間を行わず、当該未定義画素をそのまま出力する。
周囲の画素とは例えば未定義画素を中心とするＭｕ×Ｍｕ個の画素から成る範囲内の画素である。Ｍｕは例えばＭ（＝５）に等しい。近隣の有効画素も同様に例えば未定義画素を中心とするＭｖ×Ｍｖ個の画素から成る範囲内の有効画素である。Ｍｖは例えばＭ（＝５）に等しい。このような処理をすべての未定義画素に対して行う結果、未定義画素の一部又は全部が補間された初期高解像度補間画像Ｄ４２１が得られる。
初期高解像度補間画像Ｄ４２１は、未定義画素充填部４２３に供給される。

中間解像度拡大画像補間部４２２−１、４２２−２、４２２−３は、それぞれ中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３の低信頼度画素の各々について、その周囲の画素のうちの高信頼度画素の割合を高信頼度画素割合ＲＦ１、ＲＦ２、ＲＦ３として求め、該高信頼度画素割合ＲＦ１、ＲＦ２、ＲＦ３がそれぞれに対して予め定められた閾値（高信頼度画素割合閾値）ＲＦ１ｔｈ、ＲＦ２ｔｈ、ＲＦ３ｔｈ以上であれば、当該低信頼度画素の画素値を、その近隣の高信頼度画素の画素値を用いて補間する。この補間は例えば当該低信頼度画素の近隣の高信頼度画素を用いたメディアンフィルタにより行われる。一方、高信頼度画素割合ＲＦ１、ＲＦ２、ＲＦ３がそれぞれ上記の閾値ＲＦ１ｔｈ、ＲＦ２ｔｈ、ＲＦ３ｔｈ未満であれば補間を行わず、当該低信頼度画素をそのまま出力する。
周囲の画素とは例えば低信頼度画素を中心とするＮｕ１×Ｎｕ１、Ｎｕ２×Ｎｕ２、Ｎｕ３×Ｎｕ３個の画素から成る範囲内の画素である。Ｎｕ１、Ｎｕ２、Ｎｕ３は例えばＮ１、Ｎ２、Ｎ３（＝２、３、４）に等しい。近隣の高信頼度画素も同様に例えば低信頼度画素を中心とするＮｖ１×Ｎｖ１、Ｎｖ２×Ｎｖ２、Ｎｖ３×Ｎｖ３個の画素から成る範囲内の高信頼度画素である。Ｎｖ１、Ｎｖ２、Ｎｖ３は例えばＮ１、Ｎ２、Ｎ３（＝２、３、４）に等しい。このような処理をすべての低信頼度画素に対して行う結果、低信頼度画素の一部又は全部が補間された中間解像度拡大補間画像Ｄ４２２−１、Ｄ４２２−２、Ｄ４２２−３が得られる。
中間解像度拡大補間画像Ｄ４２２−１、Ｄ４２２−２、Ｄ４２２−３は、未定義画素充填部４２３に供給される。

未定義画素充填部４２３は、初期高解像度画像補間部４２１による補間の後もなお、画素値が定義されていない画素、即ち初期高解像度補間画像Ｄ４２１における未定義画素（初期高解像度補間画像未定義画素）を、順次注目画素として選択し、実施の形態２の高解像度画像充填部４ｂと同じ方法で充填する。但し、中間解像度拡大画像Ｄ３−１、Ｄ３−２、Ｄ３−３の代わりに、中間解像度拡大補間画像Ｄ４２２−１、Ｄ４２２−２、Ｄ４２２−３を用いる。

即ち、未定義画素充填部４２３は、画像選択情報Ｄ４１が中間解像度拡大画像Ｄ３−ｉを選択すべきことを示すものである場合、言い換えると、中間倍率Ｎｉを選択するものである場合には、中間解像度拡大補間画像Ｄ４２２−ｉを選択する。
このように、未定義画素充填部４２３は、画像選択情報Ｄ４１に対応する画像（中間解像度拡大補間画像Ｄ４２２−１、Ｄ４２２−２、Ｄ４２２−３及び低解像度拡大画像Ｄ５のいずれか）を選択し、選択した画像の内の、注目画素に対応する画素の画素値を用いて、注目画素の画素値を推定する。
この推定により注目画素の画素値が充填され、画素値が充填された画素は高解像度画像ＤＯＵＴの画素となる。
このような充填処理を、初期高解像度補間画像Ｄ４２１のすべての未定義画素について行うことで、すべての画素の画素値が定義された高解像度画像ＤＯＵＴが生成される。

なお、図１８に示すように、初期高解像度画像補間部４２１で補間した画素の画素値と、未定義画素充填部４２３で充填した画素の画素値を合成部４２５で合成（ブレンド）した画素値を未定義画素再充填部４２６において初期高解像度画像Ｄ２に充填し、最終出力としての高解像度画像ＤＯＵＴとしても良い。このように構成された画素充填部が符号４２ｅで示されている。

また、図１９に示すように、初期高解像度画像補間部４２１で補間した画素の画素値と、未定義画素充填部４２３で充填した画素の画素値を合成部４２５で合成（ブレンド）した画素値を未定義画素再充填部４２７において初期高解像度補間画像Ｄ４２１に充填し、最終出力としての高解像度画像ＤＯＵＴとしても良い。このように構成された画素充填部が符号４２ｆで示されている。

初期高解像度画像補間部４２１における近隣の有効画素を用いた補間、或いは中間解像度拡大画像補間部４２２−１〜４２２−３における近隣の高信頼度画素を用いた補間を行うと、高周波成分の多い領域では、誤り（ノイズ）が生じやすいが、図１８又は図１９に示されるように、合成部４２５による合成（ブレンド）を行うことでノイズの影響を低減することができる。

以上、図１５を参照して実施の形態２の中間解像度拡大画像生成部３ｂの代わりに図１６の中間解像度拡大画像生成部３ｄを設け、高解像度画像充填部４ｂの代わりに図１７の高解像度画像充填部４ｄを設けた構成について説明したが、図２０に示すように、実施の形態３の中間解像度拡大画像生成部３ｃの代わりに図１６の中間解像度拡大画像生成部３ｄを設け、高解像度画像充填部４ｃの代わりに高解像度画像充填部４ｅを設けることとしても良い。高解像度画像充填部４ｅは、図１７の高解像度画像充填部４ｄと同様のものであるが、画像選択部４１ｂの代わりに、図１４の画像選択部４１ｃが用いられている点で異なる。このように構成された画像処理装置が符号１００ｅで示されている。

さらに、図１５の画像処理装置で用いられる図１７の高解像度画像充填部４ｄに関し、画素充填部４２ｄの代わりに、図１８又は図１９の画素充填部４２ｅ、４２ｆを設ける変形例について説明したが、図２０の画像処理装置の高解像度画像充填部４ｅについても同様の変形を加え得る。即ち、図１４の画素充填部４２ｄの代わりに、図１８又は図１９の画素充填部４２ｅ、４２ｆを設けることとしても良い。

上記の実施の形態では、中間解像度拡大画像生成部が複数の中間解像度拡大画像を生成し、高解像度画像充填部４ｄが複数の中間解像度拡大画像補間部を有するが、中間解像度拡大画像生成部が生成する中間解像度拡大画像の数は１つであっても良く、その場合、高解像度画像充填部４ｄは、一つの中間解像度拡大画像補間部を有する構成であっても良い。その場合には、一つの中間解像度拡大画像と低解像度拡大画像のうちのいずれかを選択することとなる。例えば、図１５の構成においては、一つの中間解像度画像についての有効画素割合が閾値以上であれば中間解像度拡大画像を選択し、そうでなければ低解像度拡大画像を選択することとすれば良い。一方、図２０の構成においては、一つの中間解像度画像についての位置ずれ度合が閾値以下であれば中間解像度拡大補間画像を選択し、そうでなければ低解像度拡大画像を選択することとすれば良い。代わりに、一つの中間解像度画像についての位置ずれ度合と、合成低解像度画像についての位置ずれ度合を比較し、中間解像度画像についての位置ずれ度合が小さければ、中間解像度拡大補間画像を選択し、合成低解像度画像についての位置ずれ度合が小さければ、低解像度拡大画像を選択することとしても良い。

実施の形態４によれば、初期高解像度画像補間部４２１において、初期高解像度画像Ｄ２の各未定義画素につき、その周囲の画素の有効画素割合又は位置ずれ度合に応じて、補間または充填が行われる。例えば、有効画素割合が大きい箇所或いは位置ずれ度合が小さい箇所では、補間を行うことで、より解像度の高い画像（初期高解像度画像）における画素の画素値に基づいて未定義画素の画素値を決定することができる。

実施の形態５．
実施の形態１〜４で説明した画像処理装置の構成の一部又は全部はソフトウェアで、即ちプログラムされたコンピュータで実現することができる。図２１にはその場合に用いられるコンピュータを示す。図示のコンピュータは、プロセッサ６０１、プログラムメモリ６０２、データメモリ６０３、入力インターフェース６０４、出力インターフェース６０５及びこれらを接続するバス６０６を含む。

プロセッサ６０１は、入力インターフェース６０４を介して入力される低解像度画像ＤＩＮに対して、プログラムメモリ６０２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ６０３に記憶させる。処理の結果生成された高解像度画像ＤＯＵＴは出力インターフェース６０５を介して出力される。

以下では、実施の形態１の画像処理装置における処理を図２１のコンピュータに実施させるときの手順を、図２２及び図２３を参照して説明する。
まず、位置ずれ量検出ステップＳ１にて、低解像度画像ＤＩＮにおける位置ずれ量情報Ｄ１を算出する。この処理は、位置ずれ量検出部１で行われる処理と同じである。

次に初期高解像度画像生成ステップＳ２において、位置ずれ量情報Ｄ１を参照して複数の低解像度画像ＤＩＮから、初期高解像度画像Ｄ２を生成する。この処理は、初期高解像度画像生成部２で行われる処理と同じである。

次に中間解像度拡大画像生成ステップＳ３において、位置ずれ量情報Ｄ１を参照して、目標倍率よりも小さい倍率の中間解像度拡大画像Ｄ３を生成する。この処理は、中間解像度拡大画像生成部３で行われる処理と同じである。

図２３に、中間解像度拡大画像生成ステップＳ３における処理の手順の一例を示す。まず、中間解像度画像生成ステップＳ３１において、中間倍率の中間解像度画像Ｄ３１を生成する。この処理は、中間解像度画像生成部３１で行われる処理と同じである。
次に画像拡大ステップＳ３２において、中間解像度画像Ｄ３１を高解像度画像ＤＯＵＴと同じ大きさにまで拡大し、中間解像度拡大画像Ｄ３として出力する。拡大においては、例えばバイリニア法、バイキュービック法等のフィルタ演算処理を用いる。この処理は、画像拡大部３２で行われる処理と同じである。

ステップＳ３の次に高解像度画像充填ステップＳ４において、初期高解像度画像Ｄ２の未定義画素を、中間解像度拡大画像Ｄ３上の対応する画素の画素値を参照して充填する。
充填の結果得られる、全ての未定義画素の画素値が推定された高解像度画像ＤＯＵＴを出力する。この処理は、高解像度画像充填部４で行われる処理と同じである。

実施の形態２及び３の画像処理装置における処理も上記と同様の手順でコンピュータに実施させることができる。その場合、図２３の中間解像度画像生成ステップＳ３１では、複数の互いに異なる中間倍率の中間解像度画像を生成し、画像拡大ステップＳ３２では、それぞれの中間解像度画像をその未定義画素に推定値を充填した上で拡大して高解像度画像と同じ大きさの中間解像度拡大画像Ｄ３−１〜Ｄ３−３を生成する。
高解像度画像充填ステップＳ４では、有効画素割合ＲＤｉまたは位置ずれ度合ＲＱｉを計算し、計算した有効画素割合ＲＤｉまたは位置ずれ度合ＲＱｉをもとに、複数の中間解像度拡大画像及び低解像度拡大画像のいずれかを選択して、初期高解像度画像の画素値の推定に用いる。

実施の形態４の画像処理装置における処理も上記と同様の手順でコンピュータに実施させることができる。その場合、図２３の中間解像度画像生成ステップＳ３１では、実施の形態２或いは実施の形態３をコンピュータで実現する場合と同様に、複数の互いに異なる中間倍率の中間解像度画像を生成し、画像拡大ステップＳ３２では、それぞれの中間解像度画像をその未定義画素に推定値を充填した上で拡大して高解像度画像と同じ大きさの中間解像度拡大画像Ｄ３−１〜Ｄ３−３を生成する。
高解像度画像充填ステップＳ４では、初期高解像度画像Ｄ２の未定義画素をその近隣の有効画素で補間して初期高解像度補間画像Ｄ４２１を生成し、中間解像度拡大画像Ｄ３−１〜Ｄ３−３の低信頼度画素をその近隣の高信頼度画素で補間して中間解像度拡大補間画像Ｄ４２２−１〜Ｄ４２２−３を生成し、有効画素割合ＲＤｉまたは位置ずれ度合ＲＱｉをもとに、複数の中間解像度拡大補間画像及び低解像度拡大画像のいずれかを選択して初期高解像度補間画像の未定義画素の画素値の推定に用いる。
実施の形態１〜４について述べた変形は、実施の形態５にも加え得る。

実施の形態２及び３では、１又は２以上の中間解像度拡大画像及び低解像度拡大画像の中で最適のものを選択し、選択した拡大画像中の、注目画素に対応する画素の画素値で注目画素の画素値を推定しているが、１又は２以上の中間解像度拡大画像及び低解像度拡大画像の、注目画素に対応する画素の平均値を、注目画素の画素値の推定に用いても良い。実施の形態４についても同様に、１又は２以上の中間解像度拡大補間画像及び低解像度拡大画像の、注目画素に対応する画素の平均値を、注目画素の画素値の推定に用いても良い。

以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置の各部の機能又は画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム、該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

以上で説明したように、少ない枚数の低解像度画像を用いても、より高精度に、高画質な高解像度画像を生成することが可能となる。

１ 位置ずれ量検出部、 ２ 初期高解像度画像生成部、 ３、３ｂ、３−１、３−２、３−３ 中間解像度拡大画像生成部、 ４、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ 高解像度画像充填部、 ５ 低解像度拡大画像生成部、 ３１、３１−１、３１−２、３１−３ 中間解像度画像生成部、 ３２、３２−１、３２−２、３２−３ 画像拡大部、 ４１ｂ、４１ｃ 画像選択部、 ４２、４２ｄ、４２ｅ、４２ｆ 画素充填部、 ５１ 合成低解像度画像生成部、 ５２ 画像拡大部、 １００、１００ｂ、１００ｃ 画像処理装置、 ４１１ 有効画素割合計算部、 ４１２ 選択情報生成部、 ４１３ 位置ずれ度合計算部、 ４１４ 選択情報生成部、 ４２１ 初期高解像度画像補間部、 ４２２−１、４２２−２、４２２−３ 中間解像度拡大画像補間部、 ４２３ 未定義画素充填部、 ４２５ 合成部、 ４２６、４２７ 未定義画素再充填部。

Claims (20)

1. 互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
   前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
   検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
   前記位置ずれ量に基づき、前記目標倍率よりも小さい中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む中間解像度画像を生成し、前記中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された中間解像度拡大画像を生成する中間解像度拡大画像生成部と、
   前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記中間解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填部とを有する
   ことを特徴とする画像処理装置。
2. 前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成部をさらに有し、
   前記高解像度画像充填部は、
   前記中間解像度拡大画像及び前記低解像度拡大画像のいずれかを選択して、前記初期高解像度画像未定義画素の画素値の推定に用いる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
   前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
   検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
   前記位置ずれ量に基づき、前記目標倍率よりも小さい、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む第１乃至第Ｉの中間解像度画像を生成し、前記第１乃至第Ｉの中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された第１乃至第Ｉの中間解像度拡大画像を生成する中間解像度拡大画像生成部と、
   前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成部と、
   前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填部とを有する
   ことを特徴とする画像処理装置。
4. 前記高解像度画像充填部は、
   前記初期高解像度画像未定義画素を順次選択して注目画素とし、
   前記第１乃至第Ｉの中間解像度画像の各々内の、前記注目画素の位置に対応する位置の周辺の領域における前記有効画素の割合に基づいて前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像のいずれかを選択し、選択した画像の前記注目画素に対応する画素の画素値を用いて、前記注目画素の画素値を推定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記高解像度画像充填部は、
   前記第１乃至第Ｉの中間解像度画像の中の、前記有効画素の割合が予め定められた有効画素割合閾値以上である前記中間解像度画像のうち、前記中間倍率が最大である前記中間解像度画像から生成された前記中間解像度拡大画像を選択する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記高解像度画像充填部は、前記第１乃至第Ｉの中間解像度画像のいずれについても、前記有効画素の割合が前記有効画素割合閾値未満であるときは、前記低解像度拡大画像を選択して、前記注目画素の画素値の推定に用いる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記高解像度画像充填部は、
   前記初期高解像度画像未定義画素を順次選択して注目画素とし、
   前記第１乃至第Ｉの中間解像度画像の各々内の、前記注目画素の位置に対応する位置の周辺の領域内における投射位置のずれの度合に基づいて前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像のいずれかを選択し、選択した画像の前記注目画素に対応する画素の画素値を用いて前記注目画素の画素値を推定する
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記高解像度画像充填部は、
   前記第１乃至第Ｉの中間解像度画像のうち、前記投射位置のずれの度合が最小である前記中間解像度画像から生成された中間解像度拡大画像を選択する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記高解像度画像充填部は、前記第１乃至第Ｉの中間解像度画像のいずれについても、前記投射位置のずれの度合が予め定められた位置ずれ度合閾値よりも大きいときは、前記低解像度拡大画像を選択して、前記注目画素の画素値の推定に用いる
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記低解像度拡大画像生成部は、前記位置ずれ量に基づき、前記低解像度画像と同じ解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、すべての画素の画素値が定義された合成低解像度画像を生成し、該合成低解像度画像を拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された低解像度拡大画像を生成し、
    前記高解像度画像充填部は、
    前記初期高解像度画像未定義画素を順次選択して注目画素とし、
    前記第１乃至第Ｉの中間解像度画像及び前記合成低解像度画像の各々内の、前記注目画素の位置に対応する位置の周辺の領域内における投射位置のずれの度合に基づいて、前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像のいずれかを選択し、選択した画像の前記注目画素に対応する画素の画素値を用いて前記注目画素の画素値を推定する
    ことを特徴とする請求項３に記載の画像処理装置。
11. 前記高解像度画像充填部は、
    前記周辺の領域内の画素のうち、前記投射により前記低解像度画像の画素に対応付けられた画素の各々に対する、対応する投射位置のずれの平均を前記投射位置のずれの度合として算出することを特徴とする請求項７から１０のいずれか１項に記載の画像処理装置。
12. 互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理装置であって、
    前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出部と、
    検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成部と、
    前記位置ずれ量に基づき、前記目標倍率よりも小さい、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む第１乃至第Ｉの中間解像度画像を生成し、前記第１乃至第Ｉの中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された第１乃至第Ｉの中間解像度拡大画像を生成し、前記第１乃至第Ｉの中間解像度拡大画像の各々の各画素について、当該画素が、対応する中間解像度画像における有効画素に対応する位置にある高信頼度画素であるか、対応する前記中間解像度画像未定義画素に対応する位置にある低信頼度画素であるかを示す信頼度情報を出力する中間解像度拡大画像生成部と、
    前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成部と、
    前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の各々について、その周囲の画素のうちの有効画素の割合が予め定められた有効画素割合閾値以上であれば、その近隣の有効画素を参照して補間を行って、初期高解像度補間画像を出力する初期高解像度画像補間部と、
    前記第１乃至第Ｉの中間解像度拡大画像の各々における前記低信頼度画素の各々について、その周囲の画素のうちの前記高信頼度画素の割合が予め定められた高信頼度画素割合閾値以上であれば、その近隣の前記高信頼度画素を参照して補間を行って、第１乃至第Ｉの中間解像度拡大補間画像を出力する中間解像度拡大画像補間部と、
    前記初期高解像度補間画像未定義画素を順次選択して注目画素として、前記第１乃至第Ｉの中間解像度拡大補間画像及び前記低解像度拡大画像の、前記注目画素に対応する画素の画素値に基づいて前記注目画素の画素値を推定する未定義画素充填部と
    を有することを特徴とする画像処理装置。
13. 前記第１乃至第Ｉの中間解像度画像の各々内の、前記注目画素の位置に対応する位置の周辺の領域における前記有効画素の割合に基づいて前記第１乃至第Ｉの中間解像度拡大補間画像及び前記低解像度拡大画像のいずれかを選択する画像選択部をさらに有し、
    前記未定義画素充填部は、前記画像選択部が選択した画像の前記注目画素に対応する画素の画素値を用いて、前記注目画素の画素値を推定する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１乃至第Ｉの中間解像度画像の各々内の、前記注目画素の位置に対応する位置の周辺の領域内における投射位置のずれの度合に基づいて前記第１乃至第Ｉの中間解像度拡大補間画像及び前記低解像度拡大画像のいずれかを選択する画像選択部をさらに有し、
    前記未定義画素充填部は、前記画像選択部が選択した画像の前記注目画素に対応する画素の画素値を用いて前記注目画素の画素値を推定する
    ことを特徴とする請求項１２に記載の画像処理装置。
15. 前記未定義画素充填部における画素値の推定の結果得られた画像と、前記初期高解像度補間画像とを合成する合成部と、
    前記合成部における合成の結果得られた画像を用いて前記初期高解像度画像未定義画素の画素値を推定する未定義画素再充填部と
    をさらに有することを特徴とする請求項１２から１４のいずれかに記載の画像処理装置。
16. 前記未定義画素充填部における画素値の推定の結果得られた画像と、前記初期高解像度補間画像とを合成する合成部と、
    前記合成部における合成の結果得られた画像を用いて前記初期高解像度補間画像未定義画素の画素値を推定する未定義画素再充填部と
    をさらに有することを特徴とする請求項１２から１４のいずれかに記載の画像処理装置。
17. 互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理方法であって、
    前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出ステップと、
    検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成ステップと、
    前記位置ずれ量に基づき、前記目標倍率よりも小さい中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む中間解像度画像を生成し、前記中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された中間解像度拡大画像を生成する中間解像度拡大画像生成ステップと、
    前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記中間解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填ステップとを有する
    ことを特徴とする画像処理方法。
18. 互いに画素の位置がずれている複数の低解像度画像から、該低解像度画像に対して予め定められた目標倍率の解像度を持つ、高解像度画像を生成する画像処理方法であって、
    前記複数の低解像度画像の各画素についての位置ずれ量を検出する位置ずれ量検出ステップと、
    検出された前記位置ずれ量に基づき、前記目標倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む初期高解像度画像を生成する初期高解像度画像生成ステップと、
    前記位置ずれ量に基づき、前記目標倍率よりも小さい、互いに異なる第１乃至第Ｉ（Ｉは２以上の整数）の中間倍率の解像度を持つ画像空間に前記低解像度画像の画素を投射し、該投射位置に基づいて、該画像空間内の画素に対応付けることで、画素値が定義された画素である有効画素を含む第１乃至第Ｉの中間解像度画像を生成し、前記第１乃至第Ｉの中間解像度画像のうちの画素値が定義されていない画素である中間解像度画像未定義画素の画素値をその周囲の有効画素の画素値に基づいて推定した上で、拡大することで前記目標倍率の高解像度画像と画素数が等しい、すべての画素の画素値が定義された第１乃至第Ｉの中間解像度拡大画像を生成する中間解像度拡大画像生成ステップと、
    前記低解像度画像を拡大することで低解像度拡大画像を生成する低解像度拡大画像生成ステップと、
    前記初期高解像度画像に含まれる、画素値が定義されていない画素である初期高解像度画像未定義画素の画素値を前記第１乃至第Ｉの中間解像度拡大画像及び前記低解像度拡大画像の、前記初期高解像度画像未定義画素に対応する画素の画素値に基づいて推定する高解像度画像充填ステップとを有する
    ことを特徴とする画像処理方法。
19. 請求項１７又は１８に記載の画像処理方法の各ステップによる処理をコンピュータに実行させるためのプログラム。
20. 請求項１９に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images