JP4315349B2

JP4315349B2 - 画像処理方法および装置並びにプログラム

Info

Publication number: JP4315349B2
Application number: JP2005094568A
Authority: JP
Inventors: 元中李
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2009-08-19
Anticipated expiration: 2025-03-29
Also published as: JP2006279441A

Description

本発明は画像処理、具体的に画像の修復などに用いられる画像処理方法および装置並びにそのためのプログラムに関するものである。

近年、大容量記録媒体の低価格化に伴い個人が多量のデータを保存できるようになり、電子アルバムのような多量の画像データの保存、管理を行うシステムが個人が所有することが可能になっている。また、ユーザの代わりにユーザの写真画像データを電子アルバムのように管理するサービスも提供されている。これらの管理システムに求められる機能としては、デジタルカメラで撮像されたデジタル画像だけを管理するのではなく、写真フィルムや、写真プリント、紙などの媒体に形成された既存の写真画像をデジタル化して保存、管理すること（フォトマイニング）がある。

フォトマイニングのサービスを提供するシステムは、媒体に形成された画像をスキャナなどの読取装置で読み取ってデジタル化するが、媒体の保管年数、保管環境によって、媒体上に糸屑が付着したり、カビが発生したりするなどのことがあるため、デジタル化して得た画像には、本来無い糸屑、カビなどが欠陥領域として現れてしまい、画質に悪い影響を与えてしまうという問題がある。

特許文献１には、媒体を読み取って得たデジタル画像から、本来無い欠陥領域の部分を修復する方法として、複数の媒体を読み取って得たデジタル画像を比較することによって、読取装置のＣＣＤの欠陥場所やレンズ上のゴミの付着場所を見つけ、画像の該当する場所の部分に対して修復を行う方法が記載されている。

また、非特許文献１には、オペレータにより欠陥領域を指定し、指定された欠陥領域に対して修復を行う方法が記載されている。
特開平７−１１４６３９号公報Ａ．Ｃｒｉｍｉｎｉｓｉ，Ｐ．Ｐｅｒｅｚ，ａｎｄＫ．Ｔｏｙａｍａ，ＯｂｊｅｃｔＲｅｍｏｖａｌｂｙＥｘｅｍｐｌａｒ−ｂａｓｅｄＩｎｐａｉｔｉｎｇ，Ｃｏｎｆ．ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ，Ｍａｄｉｓｏｎ，Ｗｉｓｃｏｎｓｉｎ，２００３

しかしながら、特許文献１記載の方法は、読取装置のＣＣＤの欠陥やレンズに付着したゴミなどにより、該読取装置により得られた画像の固定した位置に生じる欠陥領域を見つけて修復することができるが、媒体上の任意の場所に付着した糸屑などのゴミや、カビなどにより生じた欠陥領域を有する画像の修復に適用することができない。

また、非特許文献１に記載の方法は、オペレータに負担をかける上に、熟練した技術者ではなければ、正確に指定することができないという問題がある。

本発明は、上記事情に鑑み、媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を効率良く修復することができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、前記画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を修復する画像処理方法において、
糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて前記欠陥領域を検出し、
検出された前記欠陥領域を修復対象領域とし、該修復対象領域の画像を該修復対象領域以外の画像に置き換えることによって前記欠陥領域を修復することを特徴とするものである。

ここで、前記欠陥領域を修復する際に、検出された前記欠陥領域を膨張させて得た領域を前記修復対象領域とすることが好ましい。

本発明の画像処理装置は、媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、前記画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を修復する画像処理装置において、
糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて前記欠陥領域を検出する欠陥領域検出手段と、
検出された前記欠陥領域を修復対象領域とし、該修復対象領域の画像を該修復対象領域以外の画像に置き換えることによって前記欠陥領域を修復する修復実行手段とを有してなることを特徴とするものである。

本発明の画像処理装置は、前記欠陥領域検出手段により検出された前記欠陥領域を膨張させる膨張手段を有し、
前記修復実行手段が、前記膨張手段により膨張させられた前記欠陥領域を前記修復対象領域とするものであることが好ましい。

また、本発明の画像処理装置は、前記欠陥領域検出手段により検出された前記欠陥領域以外の領域における欠陥領域をユーザに指定させるための欠陥領域指定手段をさらに備え、前記修復実行手段が、前記欠陥領域指定手段により指定された欠陥領域も前記修復対象領域とするものであることがより好ましい。

本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供してもよい。

本発明の画像処理方法および装置によれば、写真プリントや紙などの印刷媒体、写真フィルムなどは経年保管により付着されたゴミのほとんどが糸屑またはカビであることに着目し、このようなゴミの特徴に応じて、媒体を読み取って得た画像から、糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて欠陥領域を検出して修復を行うようにしているので、オペレータに負担をかけずに画像の修復を実現している。

また、検出された欠陥領域を膨張させて得た領域を修復対象領域として修復を行うことによって、欠陥領域の辺縁部の修復漏れを防ぐことができる。

また、欠陥領域指定手段を備え、前述した検出により検出できなかった欠陥領域（例えば大きいカビや、ゴミ）をユーザに指定させるようにしてもよく、こうすることによってより確実に欠陥領域を取得することができると共に、オペレータによる指定の前に、殆どの欠陥領域が既に検出されたため、オペレータの負担が小さい。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、入力された画像に対して修復処理を行うものであり、補助記憶装置に読み込まれた処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。

図１に示すように、本実施形態の画像処理装置は、画像を入力する画像入力手段１と、入力された画像における欠陥領域（以下修復領域という）を取得する修復領域取得手段１０と、修復領域取得手段１０により取得された修復領域に画素値を付与することによって修復領域を修復する修復手段１００とを有してなる。

画像入力手段１は、本実施形態の画像処理装置の処理対象となる画像を入力するためのものであり、写真フィルムや、紙、プリント用紙などの媒体上に形成された画像を光電変換によって読み取ってデジタル画像を得るスキャナなどとすることができる。

修復領域取得手段１０は、画像入力手段１により得られたデジタル画像（以下単に画像という）から修復領域を取得するものであり、図１に示すように、検出手段１０ａと膨張手段１０ｂとを備えてなる。

検出手段１０ａは、第１のモルフォロジーフィルタを用いて、糸状で、かつ背景とのコントラストが強い微小領域を検出すると共に、第２のモルフォロジーフィルタを用いて背景とのコントラストが強く、かつ近接して存在する点状領域を検出するものである。ここで、第１のモルフォロジーフィルタによる処理と第２のモルフォロジーフィルタによる処理を夫々第１の検出処理と第２の検出処理として、具体的に説明する。

第１の検出処理は、目的の領域、すなわち糸状で、かつ背景とのコントラストが強い微小領域として、輝度値が９０（画像の輝度値の範囲は０〜２５５とする）より大きく、かつ背景とのコントラストが３０より大きく、かつ幅が３画素未満の領域を検出するものである。このような領域を検出するために、まず、画像入力手段１により得られた画像における輝度値が９０より大きい画素に対して３×３の正方形構造要素を用いたオープニング処理を施して画像Ａを得る。そして、画像入力手段１により得られた画像から画像Ａを減算して画像Ｂを得る。画像Ｂは、閾値３０で２値化する２値化処理、すなわち輝度値が３０より大きい画素の２値化輝度値を１とし、輝度値が３０以下の画素の２値化輝度値を０とする処理が施されて２値化画像となり、この２値化画像における明るい領域（すなわち２値化輝度値が１である領域）は目的の領域として検出される。

第２の検出処理は、目的の領域、すなわち背景とのコントラストが強く、かつ近接して存在する点状領域として、輝度値が２２０より大きく、かつ背景とのコントラストが３０より大きく、かつその短辺の長さが６画素未満の領域を検出するものである。このような領域を検出するために、まず、画像入力手段１により得られた画像における輝度値が２２０より大きい画素に対して６×６の正方形構造要素を用いたオープニング処理を施して画像Ｃを得る。そして、画像入力手段１により得られた画像から画像Ｃを減算して画像Ｄを得る。画像Ｄは、閾値３０で２値化する２値化処理、すなわち輝度値が３０より大きい画素の２値化輝度値を１とし、輝度値が３０以下の画素の２値化輝度値を０とする処理が施されて２値化画像となり、この２値化画像における明るい領域（すなわち２値化輝度値が１である領域）は目的の領域として検出される。

膨張手段１０ｂは、検出手段１０ａにより検出された各領域を膨張させるものであり、本実施形態においては、各領域の辺縁を外に向かって数画素例えば２画素分拡張させ、拡張させられた各領域を修復領域として取得する。すなわち、検出手段１０ａにより検出された領域と、該領域の近傍の領域とが修復領域とされる。

修復領域取得手段１０により、媒体上に付着した糸屑などのゴミ、カビの数だけ修復領域が取得され、修復手段１００は、これらの全ての修復領域に対して修復を行うが、各修復領域に対する修復手法が同じであるので、以下修復領域が１つのみである場合を例にして説明を行う。図３に示す画像Ｄ０は、修復領域が取得された画像の例であり、その中央部分の白い空白は修復領域を示し、陰影部分は画素値が既知の画素により構成された既知領域である。

図２は、修復手段１００の構成を示すブロック図である。

図２に示すように、修復手段１００は、多重解像度画像作成手段１０５と、優先度算出手段１１０と、埋め込み元画像取得手段１１５と、埋め込み手段１２０と、縁辺修整手段１３０とを備えてなるものである。以下、これらの各構成の詳細について説明する。

多重解像度画像作成手段１０５は、画像Ｄ０から複数の解像度の異なる画像Ｄｉを作成するものであり、各画像Ｄｉは、ｉの大きい順から、解像度が低くなっている。本実施形態において、多重解像度画像作成手段１０５は、まず、画像Ｄ０をＤ_１とし、画像Ｄ０を１／２、１／４、１／８の縮小率で夫々縮小して得た画像をＤ_２、Ｄ_３、Ｄ_４として作成する。図３は、多重解像度画像作成手段１０５により得られた画像Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を示している。

優先度算出手段１１０は、画像Ｄ０、すなわち解像度が最も高い画像Ｄ_１における修復領域の縁辺上の各画素の位置の埋め込み優先度βを算出するものである。本実施形態において、優先度算出手段１１０は、４つの画像Ｄｉ（ｉ＝１〜４）を、解像度の低い画像からの順（すなわち、Ｄ_４からの順）を夫々用いて優先度βを算出する。ここで、まず、画像Ｄｉ（ｉ＞１）（すなわちＤ_４、Ｄ_３、Ｄ_２）を用いて優先度βを算出する処理について説明する。

＜画像Ｄｉ（ｉ＞１）を用いた優先度βの算出＞
画像Ｄi（ｉ＞１）を用いて優先度βを算出するのに当たり、優先度算出手段１１０は、優先度を算出するためのパッチ（本実施形態において９画素×９画素のパッチ。以下優先度算出用パッチＦｙという）を図４に示すように、その中心が画像Ｄiにおける修復領域の縁辺上の画素（図中画素Ａ）に位置するように配置し、この位置の埋め込み優先度βを求める。

画素Ａの埋め込み優先度βを求めるのに当たり、優先度算出手段１１０は、まず、優先度算出用パッチＦｙ内の既知領域の画素数を確認する。優先度算出用パッチＦｙ内の既知領域の画素数が、図７に示すように少なく、所定の閾値Ｋ１以下となる場合において、画素Ａの優先度を０として設定する。

一方、画素Ａに配置された優先度算出用パッチＦｙ内の既知領域の画素数が、閾値Ｋ１より大きい場合において、優先度算出手段１１０は、画素Ａにおいて、修復領域を埋め込む方向（以下埋め込み方向）を決定する。本実施形態において、図５に示すような４つの方向を埋め込む方向とする。図５において、黒い領域と白い領域は夫々既知領域と修復領域とを示し、修復領域を埋め込む方向は、左から右（方向ｄ１）、上から下（方向ｄ２）、右から左（方向ｄ３）、下から上（方向ｄ４）の４つとなっている。優先度算出手段１１０は、画素Ａにおける、既知領域から修復領域に向かう法線の方向ｈに基づいて埋め込み方向を決定するものであり、具体的には、この法線方向ｈが上記４つの方向のうちのいずれか１つの方向と一致する場合には、法線方向ｈを埋め込み方向に決定して埋め込み優先度βを求める一方、法線方向ｈが上記４つの方向のうちの２つの方向の間に位置する場合には、この２つの方向を埋め込み方向候補とし、２つの埋め込み方向候補について夫々埋め込み優先度を求め、求められた埋め込み優先度が高い方の方向を埋め込み方向に決定すると共に、この方向について既に求められた埋め込み優先度をこの位置の埋め込み優先度βとする。

図４に示す画素Ａの位置の場合、その法線方向ｈが図６（ａ）に示すように上から下の方向、図５（ｂ）に示す方向ｄ２と一致するため、優先度算出手段１１０は、この方向ｈ（ｄ２）を画素Ａにおける埋め込み方向として決定する。一方、図６（ｂ）に示すような場合、画素Ｂにおける法線方向ｈが、埋め込み方向ｄ１と埋め込み方向ｄ４との間にあるため、優先度算出手段１１０は、画素Ｂに対して、埋め込み方向ｄ１と埋め込み方向ｄ２を埋め込み方向候補とし、２つの方向について埋め込み優先度を算出する。

埋め込み優先度算出手段１１０は、埋め込み方向（または埋め込み方向候補）を決定した後、優先度算出用パッチＦｙ内の既知領域において境界線の検出を行って、優先度を算出する。

優先度算出手段１１０は、まず、優先度算出用パッチＦｙ内の既知領域の画素値（例えば輝度値）の分散値を計算し、この分散値が所定の閾値Ｋ２以下であれば、優先度算出用パッチＦｙ内の既知領域が均一な１つの領域であり、領域と領域との間の境界線が無いとして優先度を０に設定する。

なお、既知領域内の画素値の分散値σは、例えば下記の式（１）に従って算出すればよい。

一方、優先度算出用パッチＦｙ内の既知領域の画素値の分散値が閾値Ｋ２より大きい場合において、優先度算出手段１１０は、優先度算出用パッチＦｙ内の既知領域についてその境界線を検出して、優先度を設定する。

本実施形態において、優先度算出手段１１０は、レベルセット（ＬｅｖｅｌＳｅｔ）領域分割手法を用いて境界線の検出を行う。具体的には、まず、優先度算出用パッチＦｙ内の既知領域上において、枠を配置する。ここで、枠を配置するのに当たり、大きい枠を用いると、演算時間を短縮することができるが、領域分割の精度が良くないため、本実施形態において、優先度算出手段１１０は、図８（ｂ）に示すように、複数（図の例示では３つ）の小さい枠Ｗを、既知領域上の離れた位置に夫々配置する。そして、優先度算出手段１１０は、各枠Ｗに対して変形処理を行って、既知領域を２つの領域に分割する。

変形処理は、下記の式（２）に示す、枠内の画素値の分散値σａと、枠外の画素値の分散値σｂとの総和Ｑが、最も小さくなるように各枠Ｗを変形させるものであり、具体的に、枠Ｗを内凹させる内凹処理と、枠Ｗを外凸させる外凸処理とを繰り返す処理である。内凹処理は、当該枠Ｗの内縁の画素のうちの、該画素を枠Ｗの外に出すことによって総和Ｑが小さくなる画素を内凹処理の対象とし、該画素の位置において枠Ｗを内凹させる処理であり、外凸処理は、当該枠Ｗの外縁の画素のうちの、該画素を枠Ｗの中に入れることによって総和Ｑが小さくなる画素を外凸処理の対象とし、該画素の位置において枠Ｗを外凸させる外凸処理である。なお、図９（ａ）に示すように、枠Ｗ上の画素Ａ２を枠Ｗの外縁の画素とすれば、画素Ａ２と隣接する枠Ｗ内の画素Ａ１が内縁の画素となり、図９（ｂ）に示すように、枠Ｗ上の画素Ａ２を内縁の画素とすれば、画素Ａ２と隣接する枠Ｗ外の画素Ａ３が外縁の画素となる。また、枠上に画素が無ければ、枠を挟んで隣接する２つの画素が夫々内縁の画素と外縁の画素となる。本実施形態においては、図９（ｂ）に示すように、枠Ｗ上の画素を当該枠Ｗの内縁の画素とし、この画素と隣接する枠Ｗ外の画素を外縁の画素とする。図９（ｃ）は、枠Ｗの内縁の画素Ａ２を枠Ｗの外に出すことによって、前述した分散値の総和Ｑが小さくなる場合に枠Ｗを内凹させた例を示しており、図９（ｄ）は、枠Ｗの外縁の画素Ａ３を枠Ｗの中に入れることによって、前述した分散値の総和Ｑが小さくなる場合に枠Ｗを外凸させた例を示している。

優先度算出手段１１０は、このような内凹処理と外凸処理を繰り返し、枠Ｗの変形（および変形に起因する枠の結合）を経て、既知領域を１つの枠の中と外との２つの領域に分割する。そして、分割の結果として、この２つの領域の境界線を得る。

優先度算出手段１１０は、検出された境界線について、まず、この境界線が、優先度算出用パッチＦｙの既知領域側の輪郭線から、優先度算出用パッチＦｙ内の修復領域の縁辺まで延びる境界線であるか否かを確認する。具体的には、この境界線の両端は、境界線と、優先度算出用パッチＦｙの既知領域側の輪郭線と優先度算出用パッチ内の修復領域の縁辺との夫々の接点であるか否かを確認し、夫々の接点であれば、言い変えれば、境界線が優先度算出用パッチＦｙの輪郭線から修復領域の縁辺まで延びるものであればさらに境界線の態様および埋め込み方向（埋め込み方向候補を含む）に基づいて０より大きい優先度を設定するが、接点ではなければ、画素Ａの優先度βを０に設定する。

図１０は、境界線が優先度算出用パッチＦｙ内の修復領域の縁辺まで延びる境界線であるか場合において、優先度算出手段１１０による優先度の設定を説明するための図であり、左から右へ、優先度の高い順を示している。図示のように、優先度は、下記のルールに従って設定される。

ルール１：境界線と修復領域の縁辺との接点の位置が、優先度算出用パッチＦｙの中心点に近いほど、優先度が高い。

なお、境界線は、図１０に示す例（ｂ）、例（ｃ）のように２本ある場合には、この接点の位置を、２本の境界線と修復領域の縁辺との夫々の接点の位置の平均位置とする。

ルール２：ルール１を前提とした上で、境界線が２本ある場合より、境界線が１本しかない場合のほうが、優先度が高い。

ルール３：境界線が２本の場合、２本の境界線により囲まれた領域の面積が大きいほど優先度が高い。

ルール４：ルール１、２、３を前提とした上で、境界線の延びる方向が埋め込み方向に近いほど優先度が高い。

優先度算出手段１１０は、このようにして優先度算出用パッチＦｙが配置された位置の画素の優先度を設定する。なお、図６（ｂ）に示すように、埋め込み候補方向が２つある場合において、優先度算出手段１１０は、２つの埋め込み候補について優先度を夫々算出し、大きいほうの優先度が算出された埋め込み方向候補を埋め込み方向として決定すると共に、該方向について算出された優先度を該画素の優先度とする。

優先度算出手段１１０は、優先度算出用パッチＦｙを最初に配置した位置の画素について上述の処理を行って該画素の優先度βを算出する。そして、優先度算出用パッチＦｙを、その中心点が修復領域の縁辺上において１画素ずらして配置し、新たなに配置された位置の画素の優先度βを算出する。

優先度算出手段１１０は、優先度算出用パッチＦｙの配置、優先度の算出、優先度算出用パッチＦｙの移動、優先度の算出・・・を繰り返し、画像Ｄｉにおける修復領域の縁辺上の各画素の優先度βを得る。

ここで、埋め込み元画像取得手段１１５は、優先度算出手段１１０により算出された優先度βに基づいて、優先度βが０より大きい画素のうち、優先度βが最も高い画素からの順にこの画素の位置における埋め込み元画像を取得する。ここで、埋め込み元画像取得手段１１５により埋め込み元画像を取得する処理について説明する。

＜埋め込み元画像を取得する処理＞
埋め込み元画像取得手段１１５は、優先度算出手段１１０により、画像Ｄｉ（ｉ＞１）を用いて得られた優先度βを確認し、優先度βが０より大きい画素が無ければ、埋め込み元画像を取得する処理を行わないが（この場合の後の処理について後述する）、優先度βが０より大きい画素があれば、まず、優先度算出手段１１０により優先度を算出した際に用いた画像と同じ画像Ｄｉ（ｉ＞１）において、優先度βが最も高い画素の位置における埋め込み元画像を取得する。具体的には、埋め込み元画像取得手段１１５は、画像Ｄｉにおける修復領域の縁辺上の画素のうちの対象画素（ここでは優先度βが０より大きい画素のうち、最も高い優先度βを有する画素）に対して、まず、優先度算出用パッチＦｙよりも小さい埋め込み用パッチＦｕ１（本実施形態においては５画素×５画素のパッチ）を、その中心点が対象画素（図１１に示す画素Ａ）に位置するように配置する。そして、配置された埋め込み用パッチＦｕ１内において、既知領域の部分をマッチング領域として設定して、図１１下部に示す、画素Ａに対する埋め込み元画像取得用パッチＦｕ２を得る。なお、分かりやすくするために、図１１下部の埋め込み元画像取得用パッチＦｕ２を拡大して表示しているが、埋め込み元画像取得用パッチＦｕ２の大きさは、埋め込み用パッチＦｕ１と同じく５画素×５画素である。そして、埋め込み元画像取得手段１１５は、埋め込み元画像取得用パッチＦｕ２を、対象画素Ａの近傍の既知領域上を移動しつつ、移動された各位置において、埋め込み元画像取得用パッチＦｕ２内におけるマッチング領域の画像と、埋め込み用パッチＦｕ１内の既知領域の画像との相似度を求める。そして、この相似度が最も高い位置に配置された埋め込み元画像取得用パッチＦｕ２内の画像を埋め込み元画像として取得する。

なお、相似度については、例えば埋め込み元画像取得用パッチＦｕ２内のマッチング領域の画像と、埋め込み用パッチＦｕ１内の既知領域の画像との輝度値のユークリッド（Ｅｕｃｌｉｄ）距離を求め、この距離が小さいほど相似度が高いように求めることができる。

埋め込み元画像取得手段１１５は、このようにして埋め込み元画像を取得する。

一方、その詳細については後述するが、修復手段１００の埋め込み手段１２０は、解像度が最も高い画像Ｄ_１において、優先度βが高い画素の位置からの順で修復領域の埋め込みを行うものである。それに対して、ここで、優先度算出手段１１０により算出された優先度βは、算出する際に用いられた画像Ｄｉ（ｉ＞１）における修復領域の縁辺上の画素のものであり、埋め込み元画像取得手段１１５により得られた埋め込み元画像は、優先度算出時に用いられた画像Ｄｉ（ｉ＞１）における画像である。そのため、埋め込み手段１２０に供するために、このように算出された優先度βを有する画素が対応する画像Ｄ_１における画素の位置、および埋め込み元画像が対応する画像Ｄ_１上の画像の位置を確定する必要がある。以下、この位置を確定する処理を回帰処理という。なお、ここで、回帰処理について説明する。

＜回帰処理＞
上述したように、回帰処理は、画像Ｄｉ（ｉ＞１）を用いて算出した優先度βが０より大きい画素、および該画素に対して取得された埋め込み元画像に対して行われる。

まず、最も解像度の低い画像、優先度βの算出および埋め込み元画像の取得に画像Ｄ_４を用いた場合を例にして回帰処理について説明する。

回帰処理を行うのに当たって、まず、優先度算出手段１１０は、優先度を算出した際に用いられた画像（ここでは画像Ｄ_４）より解像度が１つ高い画像、ここでは画像Ｄ_３において、画像Ｄ_４を用いて算出された優先度βが０より大きい画素の位置を確定する。画像Ｄ_４は、画像Ｄ_３を１／２縮小したものであるため、画像Ｄ_４における１つの画素の位置が、画像Ｄ_３上における２つの画素の位置に対応する。優先度算出手段１１０は、画像Ｄ_４において算出された、優先度βが０より大きい画素の位置に夫々対応する、画像Ｄ_３上の画素の位置において、優先度算出用パッチＦｙの配置および優先度の算出を行う。なお、ここで、優先度算出用パッチＦｙおよび優先度の算出は、画像Ｄ_４において算出された、優先度βが０以上の画素の位置に夫々対応する、画像Ｄ_３上の位置の画素（その数は、画像Ｄ_４において算出された、優先度βが０より大きい画素の数の２倍）に対してのみ行われるため、短時間でできる。そして、埋め込み元画像取得手段１１５は、画像Ｄ_４において取得された埋め込み元画像の、画像Ｄ_３における位置を、優先度算出手段１１０により得られた画像Ｄ_３上の位置に応じて調整し、画像Ｄ_３上の埋め込み元画像の位置を得る。

そして、埋め込み優先度算出手段１１０と埋め込み元画像取得手段１１５は、このように低解像度画像上における位置を、１つ高い解像度上の画像上の対応する位置に確定する処理をＤ_３からＤ_２、Ｄ_２からＤ_１に繰り返し、解像度が最も高い画像Ｄ_１における、埋め込み優先度βが０より大きい画素の位置、およびこれらの各画素の位置における埋め込み元画像の位置を確定できたことをもって、回帰処理を終了する。

なお、ここで、画像Ｄ_４を用いて優先度の算出および埋め込み元画像の取得を行った場合の回帰処理について説明したが、画像Ｄ_３を用いて優先度の算出および埋め込み元画像の取得を行った場合には、回帰処理として、画像Ｄ_３より解像度が１つ高い画像、すなわち画像Ｄ_２において、画像Ｄ_３において算出された優先度βが０より大きい画素の位置および相対応する埋め込み元画像の位置が確定され、その後、画像Ｄ_２より解像度が１つ高い画像、すなわち画像Ｄ_１において、画像Ｄ_２において算出された優先度βが０より大きい画素の位置および相対応する埋め込み元画像の位置が確定される。また、画像Ｄ_２を用いて優先度の算出および埋め込み元画像の取得を行った場合には、回帰処理としては、画像Ｄ_２より解像度が１つ高い画像、すなわち画像Ｄ_１において、画像Ｄ_２において算出された優先度βが０より大きい画素の位置および相対応する埋め込み元画像の位置が確定される。

次に、優先度算出手段１１０が画像Ｄ_１を用いて優先度βを算出する処理について説明する。

＜画像Ｄ_１を用いた優先度βの算出＞
優先度算出手段１１０は、画像Ｄ_１を用いて優先度βを算出するのに当たり、他の画像を用いて優先度βを算出する際と同じように、まず、図４に示す優先度算出用パッチＦｙを、その中心点が画像Ｄ_１における修復領域の縁辺上の画素に位置するように配置し、配置された優先度算出用パッチＦｙ内の既知領域の画素数を確認する。優先度算出用パッチＦｙ内の既知領域の画素数が閾値Ｋ１以下となる場合において、優先度算出手段１１０は、その画素の優先度を０として設定する。

一方、優先度算出用パッチＦｙ内の既知領域の画素数が、閾値Ｋ１より大きい場合において、優先度算出手段１１０は、優先度算出用パッチＦｙが配置された画素の位置における埋め込み方向を決定する。この埋め込み方向を決定する処理は、他の画像Ｄｉ（ｉ＞１）を用いて優先度βを算出する際の埋め込み方向の決定と同じであるので、ここで詳細な説明を省略する。なお、ここでも、図６（ａ）に示すように埋め込み方向が２つの可能性がある場合において、この２つの方向を埋め込み方向候補にして夫々について優先度を求め、優先度が大きい埋め込み方向候補を埋め込み方向として決定すると共に、該方向について算出された優先度を該画素の優先度とする。

埋め込み方向（埋め込み方向候補を含む）を決定した後、優先度算出手段１１０は、優先度算出用パッチＦｙの中心点においてエッジの検出を行い、該中心点においてエッジが検出されなかった場合には、該中心点に位置する画素の優先度βを１に設定する一方、エッジが検出された場合には、エッジの強度が強いほど高い優先度となるように、優先度算出用パッチＦｙの中心点の画素の優先度βを１より大きい値に設定する。

なお、この場合は、優先度βは画像Ｄ_１において算出されているので、回帰処理が行われない。

次いで、本実施形態の画像処理全体の処理についてさらに説明する。

図１２は、本実施形態の画像処理装置全体の処理を示すフローチャートである。図示のように、画像入力手段１により得られた処理対象の画像は、修復領域取得手段１０により修復領域が取得されて画像Ｄ０となって、修復手段１００に入力される（Ｓ１０）。修復手段１００において、多重解像度画像作成手段１０５は、まず、ｉを４として、ｉ個（すなわち４つ）の解像度の異なる画像Ｄ_１（Ｄ０）、Ｄ_２、Ｄ_３、Ｄ_４を作成する（Ｓ１５、Ｓ２０）。そして、優先度算出手段１１０は、最も解像度の低い画像Ｄｉ（ここでＤ_４）を用いて優先度の算出を行い、画像Ｄ_４における修復領域の縁辺上の各画素の優先度β、およびこれらの画素における埋め込み方向を得る（Ｓ３０）
埋め込み元画像取得手段１１５は、優先度βが０より大きい画素の有無を確認し、優先度βが０より大きい画素があれば（Ｓ１１０：Ｙｅｓ、Ｓ１１１：Ｙｅｓ）、これらの画素のうちの、優先度βが最も高い画素の位置において埋め込み元画像を取得する（Ｓ１１２）。そして、優先度算出手段１１０と埋め込み元画像取得手段１１５は、画像Ｄ_４において算出された０より大きい優先度βを有する画素の位置および相対応する埋め込み元画像の位置を、画像Ｄ_１において確定する回帰処理を行って、画像Ｄ１において、修復領域の縁辺上の画素のうちの、優先度βが０より大きい画素、およびこれらの画素の埋め込み方向と埋め込み元画像を得る（Ｓ１１３）。そして、埋め込み手段１２０は、画像Ｄ１において、優先度の高い画素からの順に、該画素に対して取得された埋め込み元画像を用いて該埋め込み元画像を取得する際に用いられた埋め込み元画像取得用パッチＦｕ２が対応する埋め込み用パッチＦｕ１内の画像を置き換えることによって埋め込みを実行する。ここで、埋め込み用パッチＦｕ１および埋め込み元画像取得用パッチＦｕ２のサイズは、画像Ｄ_４における５画素×５画素であるので、画像Ｄ_１に対応する大きさは４０画素×４０画素となる。

埋め込み手段１２０は、まず、優先度βが最も高い画素において埋め込みを行い、優先度が最も高い画素における埋め込みが終了すれば、次に高い優先度βを有する画素において埋め込みを行う。このように優先度βが高い順から、優先度βが０より大きい画素の埋め込みを行う（Ｓ１Ｓ１２５：Ｙｅｓ、Ｓ１１８、Ｓ１２０）。優先度βが０より大きい画素の埋め込みが全て終了すれば、画像Ｄｉ（ここではＤ_４）を用いて算出した優先度βに基づいた埋め込みを終了し、この埋め込みによって得られた新たな画像Ｄ_１（元の画像Ｄ_１が、優先度βが０より大きい画素において埋め込みが行われた画像）を多重解像度画像作成手段１０５に出力する。多重解像度画像作成手段１０５は、新たな画像Ｄ_１を用いて、優先度βを求める際に既に用いられた画像（ここではＤ_４）の解像度より１つ高い解像度までの複数の新たな画像（ここでは新たな画像Ｄ_１、Ｄ_２、Ｄ_３）を作成し、優先度算出手段１１０は、新たな画像のうちの、最も低い解像度を有する画像（ここでは新たな画像Ｄ_３）を用いて優先度βを算出し、ステップＳ３０からの処理が繰り返される（（Ｓ１２５：Ｎｏ、Ｓ１２８、Ｓ２０、Ｓ３０〜）。

一方、ステップＳ１１１において、優先度βが０より大きい画素がなければ（Ｓ１１１：Ｎｏ）、埋め込み元画像取得手段１１５は、埋め込み元画像を取得する処理行わず、優先度算出手段１１０は、前回、優先度βを求める際に既に用いられた画像（ここではＤ_４）より１つ解像度が高い画像（ここではＤ_３）を用いて優先度βを算出し、ステップＳ３０からの処理が繰り返される（Ｓ１１４、Ｓ３０〜）。

このような処理は、解像度が原画像より１つのみ低い画像（そのときの画像Ｄ_２）を用いて算出された優先度βに基づいた埋め込みが終了するまで行われる（Ｓ２０〜Ｓ１２８）。

解像度が原画像より１つのみ低い画像を用いて算出された優先度βに基づいた埋め込みが終了すると、埋め込みがなされた画像が新たな画像Ｄ_１として得られる。この場合、優先度を算出する処理から、算出された優先度に基づいた埋め込みまでの処理は、原画像より解像度が低い画像について全部行われたので、優先度算出手段１１０は、原画像と同じ解像度を有する新たな画像Ｄ_１を用いて優先度βを算出する（Ｓ３０、Ｓ１１０：Ｙｅｓ）。埋め込み元画像取得手段１１５と埋め込み手段１２０は、優先度βが最も高い画素から埋め込みを行い、優先度βが最も低い０となる画素の位置における埋め込みが終了することをもって、処理を終了する（Ｓ１３０〜Ｓ１３６）。

埋め込みが終了した画像（原画像と同じ解像度）に対して、縁辺修整手段１３０は、埋め込みによって、不平滑な縁辺などの修整を行い、修復処理を終了する。

図１３は、優先度算出手段１１０による優先度βを算出する処理（すなわち図１２におけるステップＳ３０の処理Ｐ）を示すフローチャートである。図示のように、優先度算出手段１１０は、画像Ｄｉを用いて優先度βの算出に当たり、まず、画像Ｄｉにおいて優先度算出用パッチＦｙを、その中心点が画像Ｄｉにおける修復領域の縁辺上の画素に位置するように配置する（Ｓ３２）。そして、優先度算出用パッチＦｙ内の既知領域の画素数が閾値Ｋ１以下であれば、優先度算出用パッチＦｙの中心点の画素の優先度βを０に設定する（Ｓ３４：Ｎｏ、Ｓ５５）一方、優先度算出用パッチＦｙ内の既知領域の画素数が閾値Ｋ１より大きければ、埋め込み方向を図５示すいずれかの方向に決定する（Ｓ３６）。そして、解像度が原画像より低い画像Ｄｉ（ｉ＞１）に対して、優先度算出手段１１０は、優先度算出用パッチＦｙ内の既知領域の画素値の分散値σを求め（Ｓ４０：Ｙｅｓ、Ｓ４２）、分散値σが閾値Ｋ２以下であれば、優先度算出用パッチＦｙの中心点の画素の優先度βを０に設定する（Ｓ４４：Ｎｏ、Ｓ５５）一方、分散値σが閾値Ｋ２より大きければ、優先度算出用パッチＦｙ内の既知領域において領域の分割を行うことによって境界線を検出する（Ｓ４４：Ｙｅｓ、Ｓ４６）。検出された境界線が、優先度算出用パッチＦｙの既知領域側の輪郭線から優先度算出用パッチＦｙ内の修復領域の縁辺まで延びる境界線ではなければ、優先度算出手段１１０は、優先度算出用パッチＦｙの中心点の画素の優先度βを０に設定する（Ｓ４８：Ｎｏ、Ｓ５５）一方、検出された境界線が、優先度算出用パッチＦｙの既知領域側の輪郭線から優先度算出用パッチＦｙ内の修復領域の縁辺まで延びる境界線であれば、その境界線の態様および優先度算出用パッチＦｙの中心点の画素における埋め込み方向に基づいて、該画素の優先度βを０以上の値に設定する（Ｓ４８：Ｙｅｓ、Ｓ５０）。優先度算出手段１１０は、画像Ｄｉにおける修復領域の縁辺上の各画素において優先度算出用パッチＦｙの配置および優先度算出用パッチＦｙが配置された位置の画素（優先度算出用パッチＦｙの中心点の画素）に対して優先度β求め（Ｓ６０：Ｎｏ、Ｓ８２、Ｓ３４〜）、求められた各々の画素の優先度βと、埋め込み方向と共に埋め込み元画像取得手段１１５に出力する（Ｓ６０：Ｙｅｓ、Ｓ１００）。

一方、解像度が原画像と同じ画像Ｄ_１を用いて優先度βを算出する際に（Ｓ４０：Ｎｏ）、優先度算出手段１１０は、優先度算出用パッチＦｙの中心点においてエッジの検出を行い、該中心点においてエッジが検出されなかった場合には、該中心点に位置する画素の優先度βを１に設定する一方、エッジが検出された場合には、エッジの強度が強いほど高い優先度となるように、優先度算出用パッチＦｙの中心点の画素の優先度βを１より大きい値に設定すると共に、各画素に対して設定された優先度βをその埋め込み方向と共に埋め込み元画像取得手段１１５に出力する（Ｓ７２〜Ｓ１１０）。

なお、図１３に示していないが、優先度算出手段１１０は、優先度算出用パッチＦｙの中心点の画素における埋め込み方向を決定する際に、図６（ａ）に示すように埋め込み方向が２つの可能性がある場合において、この２つの方向を埋め込み方向候補にして夫々について優先度を求め、優先度が大きい埋め込み方向候補を埋め込み方向として決定すると共に、該方向について算出された優先度を該画素の優先度とする。

このように、本実施形態の画像処理装置によれば、写真プリントや紙などの印刷媒体、写真フィルムなどは経年保管により付着されたゴミのほとんどが糸屑またはカビであることに着目し、このようなゴミの特徴に応じて、媒体を読み取って得た画像から、糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタと、背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて欠陥領域を検出して修復を行うようにしているので、オペレータに負担をかけずに画像の修復を実現している。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、埋め込みの手法、各々のパッチのサイズ、多重解像度画素の個数など、様々な増減、変化を加えることができる。

例えば、本実施形態の画像処理装置は、修復領域取得手段１０における検出手段１０ａにより自動的に検出された修復領域を修復するようにしているが、修復領域取得手段１０に、オペレータにより修復領域を指定させるための欠陥領域指定手段を備え、検出手段１０ａにより検出できなかった欠陥領域（例えば大きいカビや、ゴミ）を取得することができるようにしてもよい。こうすることによってより確実に欠陥領域を取得することができると共に、オペレータによる指定の前に、殆どの欠陥領域が既に検出手段１０ａにより検出されたため、オペレータの負担が小さい。

例えば、本実施形態の画像処理装置は、埋め込み用パッチよりサイズが大きい優先度算出用パッチを、その中心点が画像中における修復領域の縁辺上の画素に位置するように配置し、この優先度算出用パッチ内の既知領域内において、優先度算出用パッチの輪郭線から、優先度算出用パッチ内の修復領域の縁辺まで延びる境界線を検出し、この境界線が検出された優先度算出用パッチの中心点の画素の埋め込み優先度を、境界線が検出された優先度算出用パッチの中心点の画素の埋め込み優先度より高く設定する。そして、埋め込むのに際し、埋め込み優先度の高い画素からの順に、修復領域の縁辺上の画素に埋め込み用パッチを配置して埋め込みを行うようにし、画像中に領域を分ける境界線が存在しても良い修復効果を得ることができるようにしているが、例えば、特許文献１に記載されたように、修復領域の辺縁上に所定のサイズ（例えば３画素×３画素）のパッチを配置し、配置されたパッチ内における既知領域の画素の画素値の平均値を求めて、同じパッチ内における修復領域の画素の新たな画素値とするようにして修復を行うようにしてもよい。また、平均値の代わりに、パッチ内における既知領域の画素の画素値に対して補間処理を行うことによって、同じパッチ内における修復領域の画素の新たな画素値を求めるようにしてもよい。この方法は、修復領域が大きいときは、修復領域の中心部に近くなるほど、周波数成分がなくなるため、埋め込まれた修復領域のボケが目立ち、処理後の画像は違和感が大きいが、修復領域が小さいときは、簡単かつ迅速に修復を行うことができる。

また、本実施形態の画像処理装置は、良い修復効果と早い処理速度を図るために、埋め込み優先度の算出や、埋め込み元画像の取得などの処理を、複数の解像度において行うようにしているが、カビなどのゴミのサイズが小さいため、複数の解像度に分けて行わずにオリジナルの解像度の画像のみにおいて行うようにしてもよい。勿論、オペレータにより指定された欠陥領域のサイズが大きい場合においては、その大きい欠陥領域に対してのみ複数の解像度に分けて処理を行うことが好ましい。

本発明の実施形態となる画像処理装置の構成を示すブロック図図１に示す実施形態の画像処理装置における修復手段１００の構成を示すブロック図多重解像度画像の例を示す図優先度算出用パッチＦｙの配置を説明するための図埋め込み方向を示す図埋め込み方向の決定方法を説明するための図優先度算出用パッチＦｙ内の既知領域の画素数が少ない例を示す図境界線の検出を説明するための図枠の変形処理を説明するための図境界線が検出された場合の優先度の設定を説明するための図埋め込み元画像取得手段１１５の処理を説明するための図図１に示す画像処理装置全体の処理を示すフローチャート優先度算出手段１１０により優先度を算出する処理を示すフローチャート

符号の説明

１画像入力手段
１０修復領域取得手段
１００修復手段
１０５多重解像度画像作成手段
１１０優先度算出手段
１１５埋め込み元画像取得用手段
１２０埋め込み手段
１３０縁辺修整手段
β 埋め込み優先度

Claims

媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、前記画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を修復する画像処理方法において、
糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて前記欠陥領域を検出し、
検出された前記欠陥領域を修復対象領域とし、該修復対象領域の画像を該修復対象領域以外の画像に置き換えることによって前記欠陥領域を修復するものであり、
該欠陥領域を修復する工程が、
前記デジタル画像よりも解像度の低い解像度変換画像を作成し、
作成した前記解像度変換画像から前記修復領域の縁辺上の画素を中心とした設定画素数の領域をパッチとして複数生成し、
生成した該複数のパッチの修復順序を決定するための優先度を算出し、
算出した前記優先度が設定しきい値以上の前記解像度変換画像内の前記パッチに基づいて前記デジタル画像内において修復を行う位置および修復順序を確定し、
確定した前記デジタル画像の前記パッチ中心の画素を前記優先度の高い順に該修復対象領域以外の画像に置き換えて修復することを含むものであり、
前記欠陥領域を修復する工程が、作成する前記解像度変換画像の解像度を予め設定された最も解像度の低い前記解像度変換画像から前記デジタル画像の解像度まで解像度を上げながら繰り返し行われるものであることを特徴とする画像処理方法。
検出された前記欠陥領域を膨張させて得た領域を前記修復対象領域とすることを特徴とする請求項１記載の画像処理方法。
媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、前記画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を修復する画像処理装置において、
糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて前記欠陥領域を検出する欠陥領域検出手段と、
検出された前記欠陥領域を修復対象領域とし、該修復対象領域の画像を該修復対象領域以外の画像に置き換えることによって前記欠陥領域を修復する修復手段とを有し、
該修復手段が、
前記デジタル画像よりも解像度の低い解像度変換画像を作成する多重解像度画像作成手段と、
該多重解像度画像作成手段により作成された前記解像度変換画像から前記修復領域の縁辺上の画素を中心とした設定画素数の領域をパッチとして複数生成し、生成した該複数のパッチの修復順序を決定するための優先度を算出する優先度算出手段と、
該優先度算出手段により算出された前記優先度が設定しきい値以上の前記解像度変換画像内の前記パッチに基づいて前記デジタル画像内において修復を行う位置および修復順序を確定し、確定した前記デジタル画像の前記パッチ中心の画素を前記優先度の高い順に該修復対象領域以外の画像に置き換えて修復する埋め込み手段と
を有するものであり、
前記修復手段が、前記多重解像度画像作成手段において作成する前記解像度変換画像の解像度を予め設定された最も解像度の低い前記解像度変換画像から前記デジタル画像の解像度まで解像度を上げながら繰り返し行われるものであることを特徴とする画像処理装置。
前記優先度算出手段が、前記パッチ内において前記既知領域側の前記パッチの輪郭線上から前記パッチ内の前記縁辺まで延びる被写体の境界線を有するか否かを検出し、
前記境界線が検出された前記パッチの優先度を前記境界線が検出されなかった前記パッチよりも高く設定するものであることを特徴とする請求項３記載の画像処理装置。
前記優先度算出手段が、前記境界線が検出された前記複数のパッチのうち、前記境界線と前記縁辺との接点が該境界線に対応する前記パッチの中心点に近いものほど、該パッチの記優先度を高く設定することを特徴とする請求項３または４記載の画像処理装置。
前記欠陥領域検出手段により検出された前記欠陥領域を膨張させる膨張手段を有し、
前記修復実行手段が、前記膨張手段により膨張させられた前記欠陥領域を前記修復対象領域とするものであることを特徴とする請求項３から５のいずれか１項記載の画像処理装置。
前記欠陥領域検出手段により検出された前記欠陥領域以外の領域における欠陥領域をユーザに指定させるための欠陥領域指定手段をさらに備え、
前記修復実行手段が、前記欠陥領域指定手段により指定された欠陥領域も前記修復対象領域とするものであることを特徴とする請求項３から６のいずれか１項記載の画像処理装置。
媒体上に形成された画像を光電変換によって読み取って得たデジタル画像に対して、前記画像に本来無い微小物質が前記媒体上に付着したことに起因する欠陥領域を修復する画像処理をコンピュータに実行させるプログラムであって、
前記画像処理が、糸状で、かつ背景とのコントラストが強い微小領域を検出するための第１のモルフォロジーフィルタ、および／または背景とのコントラストが強く、かつ近接して存在する点状領域を検出するための第２のモルフォロジーフィルタを用いて前記欠陥領域を検出する欠陥領域検出処理と、
検出された前記欠陥領域を修復対象領域とし、該修復対象領域の画像を該修復対象領域以外の画像に置き換えることによって前記欠陥領域を修復する修復実行処理とを有し、
該欠陥領域を修復する工程が、
前記デジタル画像よりも解像度の低い解像度変換画像を作成し、
作成した前記解像度変換画像から前記修復領域の縁辺上の画素を中心とした設定画素数の領域をパッチとして複数生成し、
生成した該複数のパッチの修復順序を決定するための優先度を算出し、
算出した前記優先度が設定しきい値以上の前記解像度変換画像内の前記パッチに基づいて前記デジタル画像内において修復を行う位置および修復順序を確定し、
確定した前記デジタル画像の前記パッチ中心の画素を前記優先度の高い順に該修復対象領域以外の画像に置き換えて修復することを含むものであり、
前記欠陥領域を修復する工程が、作成する前記解像度変換画像の解像度を予め設定された最も解像度の低い前記解像度変換画像から前記デジタル画像の解像度まで解像度を上げながら繰り返し行うことを実行させるための画像処理プログラム。
前記欠陥領域検出処理により検出された前記欠陥領域を膨張させる膨張処理をさらにコンピュータに実行させ、
前記修復実行処理が、前記膨張処理により膨張させられた前記欠陥領域を前記修復対象領域とすることを特徴とする請求項８記載のプログラム。