JP5197446B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の低解像度画像を基に高解像度画像を作成する超解像処理を行う画像処理装置、画像処理方法およびプログラムに関する。

複数の低解像度画像を再構成して高解像度画像を作成する画像処理技術は、超解像処理と呼ばれており、従来から多くの技術が開発されてきた。例えば、ＭＬ（Maximum-likelihood）法やＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection On to Convex Sets）法などの代表的な超解像処理方法が提案されている。また、特許文献１に記載があるように、位置ずれを含む複数の低解像度画像から一つの高解像度画像を生成する高解像度画像生成方法なども提案されている。

特開２００８−１０９３７５号公報

このような超解像処理では、元画像である低解像度画像の使用枚数に応じて、作成される高解像度画像の画質が大きく変わってくる。使用する低解像度画像の枚数が５０枚、６０枚、１００枚と多ければ多いほど、被写体をより忠実に再現した高画質な高解像度画像を作成することができる。しかし、多数の画像を扱うことになるため、計算量が莫大に増加してしまう。その一方で、使用する低解像度画像の枚数が５枚、１０枚と少ないとすると、重ね合わせた後に残っているブランク画素の割合が高くなり、推定した画素値の誤差が大きくなるため、被写体を復元できないという問題が生じてしまう。

本発明は、上記事情に鑑みてなされたものであり、より少ない枚数の低解像度画像からより高画質な高解像度画像を作成できる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

かかる目的を達成するために、本発明の画像処理装置は、第１の態様として、複数の低解像度画像における画素値を基に高解像度画像を作成する画像処理装置において、複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成手段と、複数の低解像度画像を重ね合わせることでアキュム画像を作成し、アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせ手段と、アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により画素ベクトルの整理を行う画素ベクトル整理手段と、画像重ね合わせ手段で画素値を確定させた画素値確定画素と、画素ベクトル整理手段で整理した画素ベクトルとを用い、予め設定された条件に基づいて、画像重ね合わせ手段で画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定手段と、第１の画素値推定手段で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定手段と、を有することを特徴とする。

また、本発明の画像処理装置は、第２の態様として、画素値が確定している画素値確定画素がランダムに存在する画像に対し、画素値確定画素の画素ベクトルを算出する画素ベクトル生成手段と、画素値確定画素と、画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定手段と、第１の画素値推定手段で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定手段と、を有することを特徴とする。

本発明の画像処理方法は、第１の態様として、複数の低解像度画像における画素値を基に高解像度画像を作成する装置が行う画像処理方法において、複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成ステップと、複数の低解像度画像を重ね合わせることでアキュム画像を作成し、アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせステップと、アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により画素ベクトルの整理を行う画素ベクトル整理ステップと、画像重ね合わせステップで画素値を確定させた画素値確定画素と、画素ベクトル整理ステップで整理した画素ベクトルとを用い、予め設定された条件に基づいて、画像重ね合わせステップで画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定ステップと、第１の画素値推定ステップで推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定ステップと、を有することを特徴とする。

また、本発明の画像処理方法は、第２の態様として、画像処理を行う装置が行う画像処理方法において、画素値が確定している画素値確定画素がランダムに存在する画像に対し、画素値確定画素の画素ベクトルを算出する画素ベクトル生成ステップと、画素値確定画素と、画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定ステップと、第１の画素値推定ステップで推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定ステップと、を有することを特徴とする。

本発明のプログラムは、第１の態様として、複数の低解像度画像における画素値を基に高解像度画像を作成する装置に実行させるプログラムにおいて、複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成処理と、複数の低解像度画像を重ね合わせることでアキュム画像を作成し、アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせ処理と、アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により画素ベクトルの整理を行う画素ベクトル整理処理と、画像重ね合わせ処理で画素値を確定させた画素値確定画素と、画素ベクトル整理処理で整理した画素ベクトルとを用い、予め設定された条件に基づいて、画像重ね合わせ処理で画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定処理と、第１の画素値推定処理で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定処理と、を実行させることを特徴とする。

また、本発明のプログラムは、第２の態様として、画像処理を行う装置に実行させるプログラムにおいて、画素値が確定している画素値確定画素がランダムに存在する画像に対し、画素値確定画素の画素ベクトルを算出する画素ベクトル生成処理と、画素値確定画素と、画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定処理と、第１の画素値推定処理で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、ブランク画素の画素値を推定する第２の画素値推定処理と、を実行させることを特徴とする。

本発明によれば、より少ない枚数の低解像度画像からより高画質な高解像度画像を作成することが可能となる。

本発明の一実施形態に係る画像処理装置の機能を示すブロック図、及び、画像処理装置の動作を示すフロー図である。 画素ベクトル生成判定領域を説明する図である。 画素ベクトルの大きさを説明する図である。 ｎ倍に拡大した画素ベクトルの大きさを説明する図である。 画素ベクトル整理工程での画素ベクトル追加方法を説明する図である。 画素ベクトル整理工程での画素ベクトル削除方法を説明する図である。 ブランク画素の画素値推定に用いる画素値確定画素を選択する条件１を説明する図である。 ブランク画素の画素値推定に用いる画素値確定画素を選択する条件２を説明する図である。 ブランク画素の画素値推定の実行例を説明する図である。 ブランク画素の画素間の距離を説明する図である。 ブランク画素の方向性を決定する方法を説明する図である。 本発明の一実施形態に係る画像処理装置の動作を示すフロー図である。 ランダムに点在する画素値確定画素を持つ画像を被写体と重ねあわせて説明する図である。 ランダムに点在する画素値確定画素を持つ画像を説明する図である。 画素ベクトル生成判定領域を説明する図である。 画素ベクトルを説明する図である。

以下、本発明を実施するための形態（実施形態）について添付図面を参照して詳細に説明する。なお、以下に説明する本発明の実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下の実施形態で説明される構成の全てが本発明の必須の構成要件ではない。

本発明の実施形態における画像処理装置について説明する。本実施形態の画像処理装置は、複数の低解像度画像を基に高解像度画像を作成する超解像処理を行うものであればよい。本実施形態の画像処理装置の適用例としては、コピー、ファクシミリ、スキャナ、プリント等の複合機能を有するＭＦＰ（Multi Function Peripheral）、ファクシミリ装置、プリンタ装置、パーソナルコンピュータ、ゲーム機器、携帯電話機、カーナビゲーション装置、デジタルカメラ、テレビ、ＤＶＤ（Digital Versatile Disc）プレーヤ等が挙げられる。

本実施形態の画像処理装置は、ハードウェア構成として、画像処理装置全体の処理を制御するＣＰＵ（Central Processing Unit）、ＣＰＵを制御するプログラム等の固定的なデータを予め格納したＲＯＭ（Read Only Memory）、各種データを一時的に記憶するエリアを形成するＲＡＭ（Random Access Memory）、とを有する。ＣＰＵは、ＲＯＭから読み込んだ制御プログラムに従って画像処理装置全体の動作を制御し、図１（ａ）に示す各機能を実現する。

次に、本実施形態の画像処理装置が有する機能を、図１（ａ）を用いて説明する。図１（ａ）は、本実施形態の画像処理装置の機能ブロック図である。図１（ａ）に示すように、画像処理装置は、画素ベクトル生成部１１、画像重ね合わせ部１２、画素ベクトル整理部１３、画素値推定部１４を備える。これら各部により、図１（ｂ）に示す５段階の工程が実行される。

次に、図１（ｂ）を用いて説明した本実施形態の画像処理装置の動作（本発明の画像処理方法の一実施形態）の詳細について、以下に説明する。

本実施形態では、位置ずれのある複数枚の低解像度画像の位置あわせを行い、重ね合わせることによって、高解像度画像を生成する最終過程において、重ね合わせた画像に残っているブランク画素の画素値を、画素ベクトルを用いて効率よく推定する。

まず、画素ベクトル生成部１１は、画像内画素ベクトル生成処理（第１段階）として、複数の低解像度画像の全ての画素の画素ベクトルを算出する（ステップＳ１）。以下、本ステップの詳細について説明する。

画素ベクトル生成部１１は、低解像度画像において、例えば図２に示すように中央に位置する画素を算出対象とする場合（以下、この画素を対象画素という）、その対象画素を基準として、垂直／水平方向に隣接する４つの画素と、対角２方向に接する４つの画素とを合わせた合計８つの画素（判定領域画素）を判定領域とする。図２中では、太線で示す各画素が判定領域となる。そして、画素ベクトル生成部１１は、対象画素と８つの判定領域画素との画素値の差分を計算し、予め設定した閾値より差分が小さい画素との方向を求める。

さらに、画素ベクトル生成部１１は、例えば図３に示すように垂直／水平方向に隣接する画素との距離を１．０、対角２方向に接する画素との距離を１．５と設定することで対象画素の画素ベクトルを定める。

例えば、水平右方向に隣接する画素との差分が閾値以下だった場合、対象画素は水平方向右向きに大きさ１．０の画素ベクトルを持つことになる。

このようにして、画素ベクトル生成部１１は、他の低解像度画像における全ての画素について、画素ベクトルを求める。

次に、画像重ね合わせ部１２は、画像重ね合わせ処理（第２段階）として、低解像度画像の位置合わせを行った後、画像を重ね合わせる。すなわち、画像重ね合わせ部１２は、始めに各低解像度画像の位置ずれから座標変換ベクトルを算出し、次に全ての低解像度画像をｎ倍し、最後に座標変換を行って重ね合わせる（ステップＳ２）。なお、重ね合わせた画像のことを、以下「アキュム画像」と称す。以下、本ステップの詳細について説明する。

本ステップでは、複数枚の画像を統合して大きな画像を作成するモザイキング処理等で一般に使用される位置あわせ処理を用いる。

画像重ね合わせ部１２は、複数枚の低解像度画像の位置合わせを行うため、基準画像として１枚の低解像度画像を指定する。

画像重ね合わせ部１２は、基準画像以外の低解像度画像（以下、フレーム画像という）を基準画像に重ね合わせるため、フレーム画像の座標変換ベクトルを求める。

画像重ね合わせ部１２は、フレーム画像を変換ベクトルに基づいて画像を変形させる（以下、予測フレーム画像という）。それと同時に、画像重ね合わせ部１２は、予測フレーム画像の画素ベクトルも変換ベクトルに基づいて変更する。

基準画像と複数枚の予測フレーム画像の画素間の距離をｎ（ｎは１よりも大きな数）にすることにより、図４に示すように、画素ベクトルの大きさも１→ｎ、１．５→１．５ｎになる。

画像重ね合わせ部１２は、ｎ倍した基準画像と複数枚の予測フレーム画像を重ね合わせ、アキュム画像を作成する。このとき、画像を重ね合わせることで複数の画素が重なり合った場合には、画像重ね合わせ部１２は、画素値の平均値を計算するなどして画素値を決定する。なお、全く画素が存在しない場合、画素は補完せず、ブランク（画素値未定義）のままにしておく。

次に、画素ベクトル整理部１３は、画像間画素ベクトル整理処理（第３段階）として、それぞれの低解像度画像で定めた画素ベクトルを、低解像度画像間で整理（追加／削除）する（ステップＳ３）。以下、本ステップの詳細について説明する。

ｎ倍に拡大する前の、基準画像、フレーム画像時に、垂直／水平／対角２方向に接していた８画素（判定領域画素）に囲まれた一辺２ｎの正方形の中心に位置する画素（対象画素）の画素ベクトルと、同領域内部に存在する他画像の画素との位置関係と画素値に着目する。

画素ベクトル整理部１３は、領域内部に対象画素の画素値と予め設定した閾値以内の差分を持つ画素値の画素が存在する場合、画素ベクトルを追加する。

例えば、図５において、対象画素５１を中心とした一辺２ｎの領域内部に、対象画素５１との画素値差分が予め設定した閾値以内の差分を持つ画素５２が存在した場合、画素ベクトル整理部１３は、対象画素５１に画素ベクトル５３を追加する。

また、画素ベクトル整理部１３は、対象画素の画素ベクトル上又は／及び画素ベクトル近辺に、対象画素の画素値と予め設定した閾値を超える差分を持つ画素値の画素が存在する場合、その画素ベクトルを削除する。

例えば、図６において、対象画素６１の画素ベクトル６３上に、対象画素６１の画素値と予め設定した閾値を超える差分を持つ画素６２が存在した場合、画素ベクトル整理部１３は、画素ベクトル６３を削除する。

画素ベクトル整理部１３は、上述した動作をアキュム画像の全ての画素について行う。

このように本ステップまでの段階で得た基準画像とフレーム画像の情報を基にして、以下に説明するブランク画素の画素値推定を行われることになる。

次に、画素値推定部１４は、ブランク画素の画素値推定Ａ処理（第４段階）として、画素ベクトル整理部１３にて最終的に決定された画素ベクトルを用いて、ブランク画素の画素値を推定する（ステップＳ４）。以下、本ステップの詳細について説明する。

画素値推定部１４は、次に示す条件を満たす画素よりブランク画素の画素値推定を行う。

条件１：画素ベクトルが対象ブランク画素を貫いている。
条件１は、例えば図７に示すように、画素値確定画素７１からの画素ベクトル７３が、ブランク画素７２を貫いている場合をいう。この図７の例において、ブランク画素７２の画素値を推定する場合、画素値推定部１４は、画素値確定画素７１の画素値を使用する。

条件２：一つの画素から出ている画素ベクトルが作る三角形内部に対象ブランク画素が含まれている。
条件２は、例えば図８に示すように、画素値確定画素８１からの画素ベクトル８３と画素ベクトル８４が作る三角形の内部に含まれるブランク画素８２の画素値を推定する場合、画素値推定部１４は、画素値確定画素８１の画素値を使用する。ただし、画素値確定画素と対象ブランク画素の距離が近ければ、二つの画素ベクトルが作る角度の有効範囲を大きく取り、遠い場合には、有効範囲を小さくする。

画素値推定部１４は、以上の条件を満たす画素値確定画素をブランク画素の距離によって重み付けを行い、ブランク画素の画素値を推定する。

例えば図９において、画素値推定部１４がブランク画素９５の画素値を推定する場合、次のようになる。

画素値確定画素９１：２つの画素ベクトルが作る三角形内部にブランク画素９５は含まれている。
画素値確定画素９２：１つの画素ベクトルがブランク画素９５を貫いている。
画素値確定画素９３：２つの画素ベクトルが作る三角形内部にブランク画素９５は含まれている。
画素値確定画素９４：２つの画素ベクトルが作る三角形内部にブランク画素９５は含まれていない。

以上より、画素値推定部１４は、ブランク画素９５の画素値を推定する場合、画素値確定画素９１、画素値確定画素９２、画素値確定画素９３を使用する。例えば、画素値推定部１４は、各画素値確定画素９１、９２、９３の画素値の平均値を計算し、ブランク画素９５の画素値とする。

またこのとき、画素値推定部１４は、ブランク画素９５と画素値確定画素９１、画素値確定画素９２、画素値確定画素９３の距離（値）をパラメータとして考慮し、ブランク画素９５の画素値を推定するようにしてもよい。

このように本ステップの段階で全てのブランク画素の画素値が推定できた場合、高解像度画像を得ることができる。

ところが、急激に色が変化するエッジ部分等については、画素値の差分が大きいため画素値推定のために必要な画素ベクトルが発生せず、ブランク画素がそのまま残ってしまう可能性が大きい。そこで、以下に説明する画素推定が行われる。

次に、画素値推定部１４は、ブランク画素の画素値推定Ｂ処理（第５段階）として、ブランク画素の画素値推定処理Ａで推定できなかったブランク画素の方向性を推測し画素値の推定を行う（ステップＳ５）。以下、本ステップの詳細について説明する。

まず、画素値推定部１４は、ブランク画素の方向性を求める。

画素値推定部１４は、各ブランク画素について、垂直／水平／対角２方向の計４方向に一直線上に連続に並ぶブランク画素の画素数をカウントする。

このとき、画素値推定部１４は、図１０に示すように、垂直／水平方向に隣接する画素との距離を１．０、対角２方向に接する画素との距離を１．５と設定する。

例えば図１１において、ブランク画素１１１は、ブランク画素１１１を含めて水平方向に連続して４個、垂直方向に連続して３個、対角右上左下方向に連続して５個、対角左上右下方向に連続して２個存在する。この場合、それぞれの方向の距離は、
水平方向：５．０、
垂直方向：４．０、
対角右上左下方向：９．０
対角左上右下方向：４．５
となるので、画素値推定部１４は、ブランク画素１１１の方向性として、最も距離の長い対角右上左下方向と定める。

次に、画素値推定部１４は、ブランク画素の画素値推定に使用する画素を決定する。

ブランク画素の画素値推定には、ブランク画素の方向性に対して垂直両方向に存在する、画素値の確定している画素が使用される。

例えば図１１におけるブランク画素１１１の場合、方向性は対角右上左下方向なので、画素値推定部１４は、ブランク画素１１１を挟んで対角左上右下両方向に存在する画素値確定画素１１２と画素値確定画素１１３の画素値を使用する。このとき、画素値推定部１４は、画素値確定画素をブランク画素の距離によって重み付けを行い、ブランク画素の画素値を推定する。

以上説明したように、本実施形態によれば、超解像画像の作成において、複数枚の低解像度画像を重ね合わせた後に残っている画素値未定義画素（ブランク画素）の画素値を、画素ベクトル生成部１１で生成した複数枚の低解像度画像の画素ベクトルと、画像重ね合わせ部１２で重ね合わせた画像の画素ベクトルとを画素ベクトル整理部１３で整理し、画素値推定部でブランク画素の方向性を推測し、画素値を推定する。

従って、本実施形態によれば、画素ベクトルとブランク画素の方向性を用いて画素値を推定することにより、より少ない数の低解像度画像から高画質な高解像度画像を作成できる。

また、本実施形態によれば、使用する低解像度画像の枚数を減らすことにより、計算コストを削減できる。

また、本実施形態によれば、画素ベクトルとブランク画素の方向性を用いて画素値を推定することにより、ランダムに点在する画素値確定画素を持つ画像の復元ができる。

次に、上述した実施形態（以下、第１の実施形態という）とは別の実施形態について、図面を参照して詳細に説明する。

本実施形態の画像処理装置の構成は、図示していないが、図１（ａ）における画素ベクトル生成部１１と画素値推定部１４とを有する構成である。図１２は、本実施形態における画像処理装置の動作（ブランク画素値推定方法）を示すフロー図である。上述した第１の実施形態においては、複数枚超解像画像作成工程におけるブランク画素値推定方法としていたが、本実施形態では、例えば図１３のように、被写体に対して画素値確定画素がランダムな状態でしか得られなかった場合のブランク画素の画素値推定方法にも有効であることを説明する。

画素ベクトル生成部１１は、図１４に示すようなランダムに存在する画素値確定画素を持つ画像に対し、全ての画素値確定画素の画素ベクトルを生成する（ステップＳ１３１）。

本実施形態では、画素ベクトル判定領域として、図１５に示す７画素×７画素とすると、画素ベクトルは図１６に示すようになる。

以降は、第１の実施形態（図１（ｂ）のステップＳ４、Ｓ５）と同様に、画素値推定部１４は、画素ベクトルを用いた画素値推定を行い（ステップＳ１３２）、その後、ブランク画素の方向性を用いた画素値推定を行う（ステップＳ１３３）。

以上説明したように、本実施形態によれば、入力されたランダムに点在する画素値確定画素を含む画像から、ブランク画素の画素値を推定する。従って、本実施形態では、被写体に対して画素値確定画素がランダムな状態でしか得られなかった場合のブランク画素の画素値推定方法にも有効である。

以上、本発明の各実施形態について説明したが、上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。

例えば、上述した各実施形態における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明は、画像処理を行う技術に適用でき、特に、超解像処理を行う装置・機器、システム、方法、プログラム全般に適用できる。

１１ 画素ベクトル生成部
１２ 画像重ね合わせ部
１３ 画素ベクトル整理部
１４ 画素値推定部
５１、６１ 対象画素
５２、６２ 画素
５３、６３ 画素ベクトル
７１、８１、９１、９２、９３、９４、１１２、１１３ 画素値確定画素
７２、８２、９５、１１１ ブランク画素
７３、８３、８４ 画素ベクトル

Claims (11)

1. 複数の低解像度画像における画素値を基に高解像度画像を作成する画像処理装置において、
   前記複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成手段と、
   前記複数の低解像度画像を重ね合わせることでアキュム画像を作成し、前記アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせ手段と、
   前記アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により前記画素ベクトルの整理を行う画素ベクトル整理手段と、
   前記画像重ね合わせ手段で画素値を確定させた画素値確定画素と、前記画素ベクトル整理手段で整理した画素ベクトルとを用い、予め設定された条件に基づいて、前記画像重ね合わせ手段で画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定手段と、
   前記第１の画素値推定手段で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定手段と、
   を有することを特徴とする画像処理装置。
2. 前記画素ベクトル生成手段は、
   前記複数の低解像度画像における全ての画素毎に、垂直方向、水平方向及び２つの対角方向に存在する画素を判定領域画素として定め、前記各判定領域画素との画素値の差分を計算し、
   前記差分が予め設定された閾値よりも小さい判定領域画素との方向を求め、
   前記方向に予め設定された距離を設定することで、前記画素ベクトルとすることを特徴とする請求項１記載の画像処理装置。
3. 前記画像重ね合わせ手段は、
   前記複数の低解像度画像のうち一つを基準画像に指定し、
   前記基準画像以外の低解像度画像をフレーム画像として前記基準画像に重ね合わせるために、前記フレーム画像の座標変換ベクトルを求め、
   前記フレーム画像を前記変換ベクトルに基づいて変形させて予測フレーム画像とするとともに、前記予測フレーム画像の画素ベクトルを前記変換ベクトルに基づいて変更し、
   前記基準画像と複数枚の前記予測フレーム画像の画素間の距離を所定の値ｎ（ｎ＞１）とし、前記ｎ倍した前記基準画像と複数枚の前記予測フレーム画像を重ね合わせ、前記アキュム画像を作成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画素ベクトル整理手段は、
   前記アキュム画像における全ての画素毎に、垂直方向、水平方向及び２つの対角方向に所定の範囲内で存在する各判定領域画素との画素値の差分を計算し、前記差分が予め設定された閾値以内の判定領域画素との間に新たな画素ベクトルを追加する一方で、
   前記アキュム画像における全ての画素毎に、前記画素ベクトル生成手段で生成された前記画素ベクトルの上又は／及び近辺に存在する画素との画素値の差分を計算し、前記差分が予め設定された閾値を超える画素との間に存在する画素ベクトルを削除することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１の画素値推定手段は、
   前記画素値確定画素を基点とする画素ベクトルが前記ブランク画素の上を通過している場合、前記画素値確定画素を用いて前記ブランク画素の画素値を推定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の画素値推定手段は、
   前記画素値確定画素を基点とする２つの画素ベクトルで作られる三角形の範囲内に前記ブランク画素が存在している場合、前記画素値確定画素を用いて前記ブランク画素の画素値を推定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 画素値が確定している画素値確定画素がランダムに存在する画像に対し、前記画素値確定画素の画素ベクトルを算出する画素ベクトル生成手段と、
   前記画素値確定画素と、前記画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定手段と、
   前記第１の画素値推定手段で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定手段と、
   を有することを特徴とする画像処理装置。
8. 複数の低解像度画像における画素値を基に高解像度画像を作成する装置が行う画像処理方法において、
   前記複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成ステップと、
   前記複数の低解像度画像を重ね合わせることでアキュム画像を作成し、前記アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせステップと、
   前記アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により前記画素ベクトルの整理を行う画素ベクトル整理ステップと、
   前記画像重ね合わせステップで画素値を確定させた画素値確定画素と、前記画素ベクトル整理ステップで整理した画素ベクトルとを用い、予め設定された条件に基づいて、前記画像重ね合わせステップで画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定ステップと、
   前記第１の画素値推定ステップで推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定ステップと、
   を有することを特徴とする画像処理方法。
9. 画像処理を行う装置が行う画像処理方法において、
   画素値が確定している画素値確定画素がランダムに存在する画像に対し、前記画素値確定画素の画素ベクトルを算出する画素ベクトル生成ステップと、
   前記画素値確定画素と、前記画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定ステップと、
   前記第１の画素値推定ステップで推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定ステップと、
   を有することを特徴とする画像処理方法。
10. 複数の低解像度画像における画素値を基に高解像度画像を作成する装置に実行させるプログラムにおいて、
    前記複数の低解像度画像における全ての画素について、画素ベクトルを算出する画素ベクトル生成処理と、
    前記複数の低解像度画像を重ね合わせることでアキュム画像を作成し、前記アキュム画像における全ての画素に対して画素値を確定させる又は画素値を未確定とする画像重ね合わせ処理と、
    前記アキュム画像における全ての画素毎に、予めなされた設定に基づいて、追加又は削除により前記画素ベクトルの整理を行う画素ベクトル整理処理と、
    前記画像重ね合わせ処理で画素値を確定させた画素値確定画素と、前記画素ベクトル整理処理で整理した画素ベクトルとを用い、予め設定された条件に基づいて、前記画像重ね合わせ処理で画素値を未確定としたブランク画素の画素値を推定する第１の画素値推定処理と、
    前記第１の画素値推定処理で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定処理と、
    を実行させることを特徴とするプログラム。
11. 画像処理を行う装置に実行させるプログラムにおいて、
    画素値が確定している画素値確定画素がランダムに存在する画像に対し、前記画素値確定画素の画素ベクトルを算出する画素ベクトル生成処理と、
    前記画素値確定画素と、前記画素ベクトルとを用い、予め設定された条件に基づいて、画素値が未確定であるブランク画素の画素値を推定する第１の画素値推定処理と、
    前記第１の画素値推定処理で推定できなかったブランク画素の画素値毎に、垂直方向、水平方向及び２つの対角方向に連続して並ぶブランク画素の画素数のうち最も画素数が多い方向を決定し、前記決定した方向に対して垂直両方向に存在する画素値確定画素に基づいて、前記ブランク画素の画素値を推定する第２の画素値推定処理と、
    を実行させることを特徴とするプログラム。

Images