JP4239094B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像データの欠陥部分を修正するための画像処理装置、方法、及びプログラムに関し、特に、画像データの欠陥部分に画像の境界が存在する場合であってもそれらを反映して好適に補間することが可能な修正処理を行う画像処理装置、方法、及びプログラムに関する。

写真フィルムには、その表面に傷、埃、汚れ等の欠陥が存在する場合がある。そこで、そのような欠陥が存在する写真フィルムから画像を読み取って印画紙に記録し、或いはディスプレイに表示する等により出力する場合に、そのような欠陥部を輝度調整処理や補間処理等の画像処理により修正する技術が知られている。

このような技術として、例えば、赤外光は、可視光と異なり、写真フィルムに照射した場合にそこに写っている画像の影響をほとんど受けず、傷や埃等による影響のみを受けるという特性を利用して、輝度調整処理により修正を行う技術が知られている。これは、具体的には、写真フィルムに赤外光及び可視光を照射し、赤外光による画像データの画素値が一定の閾値以下である部分を欠陥部と認識し、当該欠陥部の各色成分（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ））の画素値に対して、正常部に対する欠陥部の赤外光の減衰量分を上乗せして輝度を高めることにより、欠陥部の各色成分の画素値を正常部に合せて輝度調整する技術である（例えば、特許文献１参照）。

しかし、このような輝度調整処理は、欠陥部において各色成分の画素値が互いに同じ量だけ減衰していることを前提としているため、写真フィルムの乳剤面に傷が付いている場合のように、色成分毎の画素値の減衰の量が異なる場合には、適切に欠陥部を修正することができない。

そのような場合には、周囲の正常画素の画素値を用いて欠陥部の修正を行う補間処理の技術が用いられるが、単純に隣接する正常画素の画素値を欠陥画素に適用するだけでは、欠陥部に境界等が存在する場合に適切に修正することができない。そこで、画像の境界が存在する方向を検出し、その方向に沿った補間処理を行う技術が知られている。これは、具体的には、欠陥画素から互いに異なる複数の方向に沿って、各方向についての正常画素の濃度勾配や正常画素間の距離等の画像特徴量を各々演算し、更に、前記欠陥画素に対して画像上で所定の方向に存在する正常画素の情報から前記欠陥画素を修正するための修正値を補間によって求めることを前記複数の方向について各々行い、前記画像特徴量と各方向毎に演算された修正値とから最終修正値を求め前記欠陥画素の修正を行う技術である（例えば、特許文献２参照）。

特開平１１−９８３７０号公報（第１５−１６頁、第４図） 特開２００１−７８０３８号公報（第７−８頁、第４−５図、第８図）

しかしながら、上記の特許文献２に記載されたような従来の補間処理による修正方法では、欠陥部の周囲に存在する正常画素に基づいて欠陥部の修正を行うことから、欠陥部内に複雑な模様等が存在するために画像の境界が複雑に入り組んでいる場合であっても、そのような画像の境界の存在を欠陥部の周囲の正常画素のみから判断することは難しく、結果として欠陥部を正確に修正することが困難であった。特に、欠陥部の領域が広い場合には、欠陥部内に複雑な境界や模様が存在する可能性が高く、正確に修正することが困難であった。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、欠陥部内に画像の境界が複雑に入り組んでいる場合であっても、それらを反映した補間処理によって正確に欠陥を修正することが可能な画像処理装置を提供することにある。

上記目的を達成するための本発明に係る画像処理装置の第１特徴構成は画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行う輝度調整手段と、前記欠陥画素の中から１の対象画素を選択する対象画素選択手段と、前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出する正常画素検出手段と、前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算する画素値比演算手段と、前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算する重み係数演算手段と、前記正常画素検出手段により検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算する補間値演算手段と、前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算する修正値演算手段と、前記修正値演算手段により演算された修正値を用いて前記対象画素の修正を行う修正手段と、を有する点にある。

なお、正常画素検出手段において、各検出ラインに沿って対象画素を挟んだ両側にそれぞれ正常画素を検出する際に、前記両側のそれぞれについて複数の正常画素を検出する処理を行うことも可能である。その場合には、画素値比演算手段及び重み係数演算手段において用いる正常画素の画素値として、前記両側のそれぞれについての複数の正常画素の画素値の平均値等を用いることができる。

この第１特徴構成によれば、各検出ラインについて、前記両側の正常画素の画素値比（第１画素値比）に加えて、欠陥部に属する輝度調整後の対象画素と前記正常画素との画素値比（第２画素値比、及び第３画素値比）を用いて重み係数を演算することにより、欠陥部内の画素値の状態に応じて適正な方向の正常画素の画素値を修正に用いることができるので、欠陥部内に複雑な模様等が存在し、画像の境界が複雑に入り組んでいる場合であっても、そのような画像の境界を反映して正確に欠陥を修正することが可能となる。

本発明に係る画像処理装置の第２特徴構成は、上記第１特徴構成に加えて、前記画素値比演算手段は、前記第１画素値比、第２画素値比、及び第３画素値比を、それぞれ複数の色成分毎に演算し、前記重み係数演算手段は、前記第１画素値比、第２画素値比、及び第３画素値比のそれぞれについて前記複数の色成分の中の最小値を演算し、これらの最小値を用いて前記重み係数を演算する点にある。

この第２特徴構成によれば、処理対象の画像データが複数の色成分を有するカラー画像である場合に、第１から第３の各画素値比のそれぞれについての複数の色成分の中の最小値を用いて重み係数を演算することにより、最も欠陥の状態が悪い色成分を基準として重み係数を演算することになるので、他の色成分は当然にそれよりも状態が良いことになる。したがって、全ての色成分について対象画素及び正常画素の画素値がより近似している方向の検出ラインについての重み係数が重くなるように重み係数の演算を行うことになるので、より適切に画像の境界が存在する方向を検出し、画像の境界を反映した正確な欠陥の修正が可能となる。

本発明に係る画像処理装置の第３特徴構成は、上記第１又は第２の特徴構成に加えて、前記修正値演算手段は、前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の補間値の重み付き平均値を演算し、この重み付き平均値を前記対象画素の修正値とする点にある。

この第３特徴構成によれば、画像の境界が存在する可能性が高い方向の検出ラインについての対象画素の補間値が最終的な修正値に対して与える影響を大きくするとともに、画像の境界が存在する可能性があまり高くない方向の検出ラインについての対象画素の補間値も最終的な修正値に対してある程度の影響を与えるようにすることで、極端に誤った修正値となることを防止し、修正のばらつきを抑制することが可能となる。

本発明に係る画像処理装置の第４特徴構成は、上記第３特徴構成に加えて、前記修正値演算手段は、前記重み係数演算手段により演算された各検出ラインについての重み係数をｎ乗（ｎは１０以上の任意の数）した値を用いて、前記対象画素の補間値の重み付き平均値の演算を行う点にある。

この第４特徴構成によれば、各検出ラインについての重み係数をｎ乗することにより強調し、重み係数の大きい方向の検出ライン、すなわち修正に適した方向の検出ラインについての補間値が修正値（重み付き平均値）に与える影響がより大きくなるように強調することができる。したがって、画像の境界を反映した適切な欠陥画素の補間処理を行うことが可能となる。ここで、ｎの値は、修正すべき画像の状態によって適切な値が異なることから、各種の画像データの統計等から実験的に求めた値とするのが好適である。

本発明に係る画像処理装置の第５特徴構成は、上記第１から第４の特徴構成に加えて、前記補間値演算手段は、前記検出ラインについての前記対象画素の補間値を、当該検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との間の線形補間により演算する点にある。

この第５特徴構成によれば、前記検出ラインに沿って対象画素を挟んだ両側にそれぞれ位置する正常画素の画素値と、前記両側に位置する正常画素間の距離とに基づいて、対象画素の適切な補間値を演算することができる。

本発明に係る画像処理方法の特徴構成は、画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行うステップと、前記欠陥画素の中から１の対象画素を選択するステップと、前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出するステップと、前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算するステップと、前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算するステップと、前記検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算するステップと、前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算するステップと、前記修正値を用いて前記対象画素の修正を行うステップと、を有するを有する点にある。

この特徴構成によれば、前記第１特徴構成による効果と同じく、欠陥部内に複雑な模様等が存在し、画像の境界が複雑に入り組んでいる場合であっても、そのような画像の境界を反映して正確に欠陥を修正することが可能となる。

本発明に係る画像処理プログラムの特徴構成は、画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行うステップと、前記欠陥画素の中から１の対象画素を選択するステップと、前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出するステップと、前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算するステップと、前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算するステップと、前記検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算するステップと、前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算するステップと、前記修正値を用いて前記対象画素の修正を行うステップと、をコンピュータに実行させる点にある。

この特徴構成によれば、前記第１特徴構成による効果と同じく、欠陥部内に複雑な模様等が存在し、画像の境界が複雑に入り組んでいる場合であっても、そのような画像の境界を反映して正確に欠陥を修正することが可能となる。

以下、本発明の実施形態として、本発明に係る画像処理装置１を、写真フィルム２から画像を読み取って印画紙３に記録する画像プリントシステム４に適用した場合について図面に基づいて説明する。図１は、本実施形態に係る画像プリントシステム４の外観を示す斜視図であり、図２は、本実施形態に係る画像プリントシステム４の概略構成を示す模式図であり、図３は、本実施形態に係る画像処理装置１の機能を示すブロック図である。

これらの図に示すように、この画像プリントシステム４は、図示しないフィルム現像機によって現像処理された写真フィルム２の撮影画像コマをデジタル画像データとして読み取る画像読取装置５、取得された画像データに画像処理を施してプリントデータを作成する画像処理装置１、及び画像処理装置１からのプリントデータに基づいて露光処理と現像処理とを行って印画紙３に画像を記録する画像記録装置６を備えて構成されている。

画像読取装置５は、いわゆるフィルムスキャナであり、主な構成要素としては、図２に示すように、照明光学系７、ズームレンズ等の撮像光学系８、入射してきた光を可視光と赤外光に分けるダイクロイックミラー９、可視光用センサユニット１０、赤外光用センサユニット１１を備えている。照明光学系７は、光源としてのハロゲンランプ又は発光ダイオードと、その光源からの光を調光するミラートンネルや拡散板などから構成されている。可視光用センサユニット１０は、写真フィルム２の３つの基本色成分、本実施形態においてはＲ（赤色）光、Ｇ（緑色）光、Ｂ（青色）光（以下、単にＲ、Ｇ、Ｂとする。）からなる可視光画像を検出するためにそれぞれ適合するカラーフィルタを装着した３つのＣＣＤアレイ１０ａと、これらのＣＣＤアレイ１０ａによって検出された可視光信号を処理して基本色成分で構成されたＲ光、Ｇ光、及びＢ光のそれぞれの画像データを生成して画像処理装置１へ転送する可視光用信号処理回路１０ｂを備えている。また、赤外光用センサユニット１１は、写真フィルム２に付いている傷の状態を赤外光画像として検出するために、ダイクロイックミラー９から分岐された赤外光のみを受けるように配置されたＣＣＤアレイ１１ａと、このＣＣＤアレイ１１ａによって検出された赤外光信号を処理して赤外光画像データを生成して画像処理装置１へ転送する赤外光用信号処理回路１１ｂを備えている。

このように構成された画像読取装置５では、写真フィルム２の撮影画像コマが所定の読取位置に位置決めされると、撮影画像コマの読取処理が開始されるが、その際撮影画像コマの投影光像は、フィルム搬送機構１２による写真フィルム２の副走査方向への送り操作により、複数のスリット画像に分割された形で順次可視光用センサユニット１０及び赤外光用センサユニット１１によって読み取られ、Ｒ、Ｇ、Ｂの各色成分の画像信号並びに赤外成分の画像信号に光電変換され、デジタル画像データとして画像処理装置１に送られる。このような、照明光学系７、撮像光学系８、可視光用センサユニット１０及び赤外光用センサユニット１１の各制御は画像処理装置１によって行われており、本実施形態では、画像処理装置１の一部の機能部分が画像読取装置５の構成要素となっている。

画像処理装置１は、ここでは基本的には汎用パソコンから構成されており、更に、この画像プリントシステム４の操作画面を表示するモニタ１３、デジタルカメラ等のメモリカード等から画像を読み込むメディアリーダ１４、オペレータによる操作入力に用いられるキーボード１５及びマウス１６等が付属して構成されている。

画像処理装置１は、ＣＰＵ１７を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されているが、本発明に特に関係する機能部としては、図３に示すように、可視光画像データ及び赤外光画像データを各種処理のために一時的に格納するメモリ１８、メモリ１８に格納されている可視光画像データ及び赤外光画像データを用いて欠陥画素の修正を行う欠陥画素修正部１９と、メモリ１８に展開されている可視光画像データに対して色調補正やフィルタリング（ぼかしやシャープネスなど）やトリミング等の欠陥画素修正以外の各種画像処理を施す画像調整部２０、画像データやその他の表示アイテムをビデオメモリに取り込むとともにこのビデオメモリに展開されたイメージをビデオコントローラによってビデオ信号に変換してモニタ１３に送るビデオ制御部２１、欠陥画素修正部１９及び画像調整部２０で処理された最終的な画像データをプリントデータに変換して画像記録装置６の露光プリント部２２に転送するプリントデータ生成部２３、グラフィカルユーザーインターフェイス（ＧＵＩ）を用いて作り出された操作画面の下でキーボード１５及びマウス１６等を通じて入力された操作指令や予めプログラム化された操作指令に基づいて各機能部を制御するプリント管理部２４が挙げられる。

欠陥画素修正部１９は、メモリ１８に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が正常画素か欠陥画素かの判定を行い、正常画素及び欠陥画素の各座標を登録した正常／欠陥マップを作成する正常／欠陥判定部２５と、この正常／欠陥判定部２５において欠陥画素と判定された画素の輝度を調整する処理を行う輝度調整部２６と、正常／欠陥判定部２５において欠陥画素と判定された画素の中から１の対象画素Ｏを順次選択する対象画素選択部２７と、この対象画素選択部２７により選択された各対象画素Ｏについて、対象画素Ｏを通る複数方向の検出ラインＬに沿って対象画素Ｏを挟んだ両側にそれぞれ正常画素Ｐを検出する正常画素検出部２８と、各検出ラインＬについて、対象画素Ｏを挟んだ両側の正常画素Ｐのうちの一方の正常画素Ｐ１の画素値と他方の正常画素Ｐ２の画素値との比率である第１画素値比Ｆ１、一方の正常画素Ｐ１の画素値と対象画素Ｏの輝度調整後の画素値との比率である第２画素値比Ｆ２、及び他方の正常画素Ｐ２の画素値と対象画素Ｏの輝度調整後の画素値との比率である第３画素値比Ｆ３を演算する画素値比演算部２９と、この画素値比演算部２９により演算された第１画素値比Ｆ１、第２画素値比Ｆ２、及び第３画素値比Ｆ３を用いて、各検出ラインＬについての重み係数Ｗを演算する重み係数演算部３０と、正常画素検出部２８により検出ラインＬに沿って検出された正常画素Ｐの画素値を用いて、当該検出ラインＬについての対象画素Ｏの補間値Ｈを演算する補間値演算部３１と、各検出ラインＬについての重み係数Ｗと対象画素Ｏの補間値Ｈとを用いて、対象画素Ｏの修正値Ａを演算する修正値演算部３２と、この修正値演算部３２により演算された修正値Ａを用いて対象画素Ｏの修正を行う修正部３３と、を備えている。これらの欠陥画素修正部１９の各部は、ハードディスクドライブやＲＯＭ（Read Only Memory）等の記憶装置、或いはＣＤ（Compact Disc）やＤＶＤ等の記憶媒体に記憶されたプログラムにより好適に実現することができる。なお、「Ｏ」、「Ｐ」、「Ｌ」、「Ｆ」、「Ｈ」、「Ｗ」、及び「Ａ」は、それぞれ複数存在する対象画素、正常画素、検出ライン、画素値比、補間値、重み係数、及び修正値を代表する符号であって、後の説明においては、複数存在する内の特定のものを指す場合にのみ、「Ｐ○」や「Ｌ○」等のように、数字又は英文字の添字を付して表す。

ここで、本実施形態における輝度調整部２６、対象画素選択部２７、正常画素検出部２８、画素値比演算部２９、重み係数演算部３０、補間値演算部３１、修正値演算部３２、及び修正部３３は、それぞれ特許請求の範囲における輝度調整手段、対象画素選択手段、正常画素検出手段、画素値比演算手段、重み係数演算手段、補間値演算手段、修正値演算手段、及び修正手段に含まれる構成である。なお、この欠陥画素修正部１９における対象画素の欠陥の修正処理については、後に詳細に説明する。

画像記録装置６は、図２に示されているように、２つの印画紙マガジン４０に納められたロール状の印画紙３を引き出してシートカッター４１でプリントサイズに切断すると共に、このように切断された印画紙３に対し、バックプリント部４２で色補正情報やコマ番号などのプリント処理情報を印画紙３の裏面に印字するとともに、露光プリント部２２で印画紙３の表面に撮影画像の露光を行い、この露光後の印画紙３を複数の現像処理槽を有した処理槽ユニット４３に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア４４からソータ４５に送られた印画紙３は、このソータ４５の複数のトレイ４６にオーダ単位で仕分けられた状態で集積される（図１参照）。

また、画像記録装置６には、印画紙３に対する各種処理に合わせた搬送速度で印画紙３を搬送するために印画紙搬送機構４７が敷設されている。印画紙搬送機構４７は、印画紙搬送方向に関して露光プリント部２２の前後に配置されたチャッカー式印画紙搬送ユニット４７ａを含む複数の挟持搬送ローラ対から構成されている。露光プリント部２２には、副走査方向に搬送される印画紙３に対して、主走査方向に沿って画像記録装置６からのプリントデータに基づいてＲ、Ｇ、Ｂの３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット４３は、発色現像処理液を貯留する発色現像槽４３ａと、漂白定着処理液を貯留する漂白定着槽４３ｂと、安定処理液を貯留する安定槽４３ｃとを備えている。

次に、本実施形態における欠陥画素の修正処理について、図４に示すフローチャートに従って詳細に説明する。

まず、画像読取装置５の可視光用センサユニット１０及び赤外光用センサユニット１１によって取得された可視光画像データ及び赤外光画像データをメモリ１８に取り込む（＃０１）。そして、正常／欠陥判定部２５において、＃０１の処理でメモリ１８に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が正常画素か欠陥画素かの判定を行い、正常画素及び欠陥画素の各座標を登録した正常／欠陥マップを作成する（＃０２）。この処理は、赤外光画像データに含まれる各画素の画素値が、予め設定した一定の閾値以上である場合には正常画素と判定し、当該一定の閾値未満である場合には欠陥画素と判定して、正常／欠陥マップにそれらの各画素の座標に対応させて正常又は欠陥を表す情報を登録することにより行うことができる。ここで用いる一定の閾値としては、赤外光画像データに含まれる全画素の画素値の平均値に基づいて設定すると好適である。

次に、輝度調整部２６において、＃０２の処理において欠陥画素と判定された画素の輝度を、欠陥の無い状態に合せて調整する輝度調整処理を行う（＃０３）。この処理において用いる輝度調整方法としては、例えば、赤外光画像データに含まれる全ての正常画素の画素値の平均値と各欠陥画素の画素値との差分を各欠陥画素の傷による画素値の減衰量とし、可視光画像データに含まれる各欠陥画素のＲＧＢの色成分毎の画素値にそれぞれ加算することにより、可視光画像データに含まれる全ての欠陥画素の輝度を調整する方法を用いることができる。なお、この輝度調整処理において用いる輝度調整の方法はこれに限定されるものではなく、背景技術の欄において説明した方法等、任意の輝度調整方法を適用することが可能である。

そして、対象画素選択部２７において、正常／欠陥判定部２５において欠陥画素と判定された画素の中から１の対象画素Ｏを選択する（＃０４）。この対象画素Ｏとしては、正常／欠陥マップに欠陥画素として登録されている画素であって、未だ対象画素Ｏとして選択されていない画素の中から選択する。この際、未だ対象画素Ｏとして選択されていない欠陥画素の中から任意の画素を選択することが可能であるが、最終的には、処理対象の画像データに含まれる全ての欠陥画素が対象画素Ｏとして選択されるようにする。

次に、正常画素検出部２８において、対象画素Ｏを通る所定の角度間隔の複数方向の検出ラインＬを設定し、その中の１の方向の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側にそれぞれ正常画素Ｐ１、Ｐ２を検出する（＃０５）。図５に、対象画素Ｏを通る複数方向の検出ラインＬに沿って正常画素Ｐを検出する際の一例を示す。この図では、対象画素Ｏを通る複数方向の検出ラインＬの角度間隔が「１５°」である場合を示している。ここで、検出ラインＬは、対象画素を中心とする放射状の複数方向のうち、対象画素Ｏを挟んで直線上に存在する反対向きの２方向が１のラインである。なお、検出ラインＬの角度間隔は、画像データの画素数等に応じて適当な間隔とすることができる。

検出ラインＬに沿って正常画素Ｐを検出する際において、隣接する検出ラインＬ間の角度間隔が９０°又は４５°以外の場合には、検出ラインＬがすべての画素の中央を通るとは限らないことから、その場合には、検出ラインＬが通過する位置に対して中心位置が最も近い画素を検出ラインＬ上の画素とみなす。そして、正常画素Ｐの検索に際しては、対象画素Ｏから検出ラインＬに沿って外側に向かってそれぞれ欠陥画素か正常画素かを判断し、その中で対象画素Ｏから最も近い位置にある正常画素が、その検出ラインＬに沿って対象画素Ｏを挟んだ両側にそれぞれ位置する正常画素Ｐとして検出される。なお、本実施形態においては、１の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側にそれぞれ１個ずつの正常画素Ｐ１、Ｐ２を検出し、それらの正常画素Ｐ１、Ｐ２の値を用いて後の第１〜第３の画素値比Ｆ１〜Ｆ３及び対象画素Ｏの補間値Ｈの演算を行う構成としているが、対象画素Ｏを挟んだ両側にそれぞれ２個以上ずつの正常画素Ｐを検出し、これら２個以上の正常画素Ｐの平均値等を用いて後の第１〜第３の画素値比Ｆ１〜Ｆ３及び対象画素Ｏの補間値Ｈの演算を行う構成とすることも可能である。また、正常画素Ｐの検索は上記のような検出ラインＬ上に限定されるものではなく、検出ラインＬの近傍に位置する正常画素Ｐをも含めて検索する構成とすることも可能である。

そして、上記１の検出ラインＬ１に沿って正常画素Ｐ１、Ｐ２を検索した結果、対象画素Ｏを挟んだ両側のそれぞれ所定距離内に正常画素Ｐ１、Ｐ２が検出されたか否かについて判断する（＃０６）。これは、対象画素Ｏから遠く離れた位置にある正常画素Ｐの値は、対象画素Ｏの修正に用いるのに適しないことから、予め設定された所定距離内に正常画素Ｐが存在しない場合には、その方向の検出ラインＬについての正常画素Ｐの値を第１〜第３の画素値比Ｆ１〜Ｆ３及び対象画素Ｏの補間値Ｈの演算に用いないようにするためである。したがって、対象画素Ｏを挟んだ両側のうちのいずれか一方でも所定距離内に正常画素が存在しなかった場合には（＃０６：ＮＯ）、処理は＃０５へ戻り、上記検出ラインＬ１とは別の１の検出ラインＬに沿って正常画素Ｐを検出する処理が行われる。ここで、前記所定距離としては、例えば、「２５」画素等のように単純に距離（画素数）により表される一定値としてもよいし、処理対象の画像データの全体の画素数と前記所定距離との関係を登録したテーブル等を用いて処理対象の画像データに含まれる画素数に応じて変化する値としてもよい。

一方、上記１の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側のそれぞれについて所定距離内に正常画素Ｐ１、Ｐ２が検出された場合には（＃０６：ＹＥＳ）、次に、画素値比演算部２９において、上記１の検出ラインＬ１について、対象画素Ｏを挟んだ両側の正常画素Ｐ１、Ｐ２のうちの一方の正常画素Ｐ１の画素値と他方の正常画素Ｐ２の画素値との比率である第１画素値比Ｆ１、一方の正常画素Ｐ１の画素値と対象画素Ｏの輝度調整後の画素値との比率である第２画素値比Ｆ２、及び他方の正常画素Ｐ２の画素値と対象画素Ｏの輝度調整後の画素値との画素値の比率である第３画素値比Ｆ３を演算する。本実施形態においては、複数の色成分を有するカラー画像の画像データを処理対象としており、画素値比演算部２９は、第１画素値比Ｆ１、第２画素値比Ｆ２、及び第３画素値比Ｆ３を、それぞれ複数の色成分毎に演算する（＃０７）。ここでは、上記のとおり、画像処理装置１において取り扱う複数の色成分は、Ｒ、Ｇ、Ｂの３つの色成分である。画素値は、例えば２５６階調の画像データの画素であれば０〜２５５までの値をとり、画素値比は、対象となる２つの画素についてのこのような画素値の比率である。本実施形態における第１画素値比Ｆ１、第２画素値比Ｆ２、及び第３画素値比Ｆ３のＲ、Ｇ、Ｂの色成分毎の演算式を具体的に示すと、以下の式（１）〜（９）のようになる。

ここでは、Ｒ、Ｇ、Ｂの各色成分についての第１画素値比をそれぞれＦ１Ｒ、Ｆ１Ｇ、Ｆ１Ｂ、第２画素値比をそれぞれＦ２Ｒ、Ｆ２Ｇ、Ｆ２Ｂ、第３画素値比をそれぞれＦ３Ｒ、Ｆ３Ｇ、Ｆ３Ｂとしている。また、（Ｒ０、Ｇ０、Ｂ０）は対象画素ＯのＲＧＢの色成分毎の画素値であり、（Ｒ１、Ｇ１、Ｂ１）は正常画素Ｐ１のＲＧＢの色成分毎の画素値であり、（Ｒ２、Ｇ２、Ｂ２）は正常画素Ｐ２のＲＧＢの色成分毎の画素値である。そして、上式では、対象となる２つの画素の画素値の大きい方の値（ｍａｘ）を分母とし、小さい方の値（ｍｉｎ）を分子とすることにより、対象となる２つの画素の画素値が近いほど各画素値比Ｆが「１」に近い値をとり、対象となる２つの画素の画素値が離れているほど「０」に近い値をとるようにしている。これにより、第１画素値比Ｆ１Ｒ、Ｆ１Ｇ、Ｆ１Ｂは対象画素Ｏを挟んだ両側の正常画素Ｐ１、Ｐ２のＲＧＢの色成分毎の画素値の近さの程度、第２画素値比Ｆ２Ｒ、Ｆ２Ｇ、Ｆ２Ｂは一方の正常画素Ｐ１と輝度調整後の対象画素ＯとのＲＧＢの色成分毎の画素値の近さの程度、第３画素値比Ｆ３Ｒ、Ｆ３Ｇ、Ｆ３Ｂは他方の正常画素Ｐ２と輝度調整後の対象画素ＯとのＲ、Ｇ、Ｂの色成分毎の画素値の近さの程度をそれぞれ表す値とすることができる。

次に、重み係数演算部３０において、＃０７でＲＧＢの色成分毎に演算された第１画素値比Ｆ１Ｒ、Ｆ１Ｇ、Ｆ１Ｂ、第２画素値比Ｆ２Ｒ、Ｆ２Ｇ、Ｆ２Ｂ、及び第３画素値比Ｆ３Ｒ、Ｆ３Ｇ、Ｆ３Ｂを用いて、上記１の検出ラインＬ１についての重み係数Ｗを演算する（＃０８）。１の検出ラインＬ１についての重み係数Ｗは、後述する＃０９の処理において上記１の検出ラインＬ１について演算された対象画素Ｏの補間値Ｈを、他の方向の検出ラインＬについて演算された対象画素Ｏの補間値Ｈとの関係で、どの程度の割合（重み）で修正値Ａ対して用いるか、すなわち各検出ラインＬについての対象画素Ｏの補間値Ｈがどの程度適正な値であるかという信頼性を定める係数である。

本実施形態では、第１画素値比Ｆ１Ｒ、Ｆ１Ｇ、Ｆ１Ｂ、第２画素値比Ｆ２Ｒ、Ｆ２Ｇ、Ｆ２Ｂ、及び第３画素値比Ｆ３Ｒ、Ｆ３Ｇ、Ｆ３ＢのそれぞれについてＲ、Ｇ、Ｂの各色成分の中の最小値（ｍｉｎ）を演算し、これらの３つの最小値を乗算した値を重み係数Ｗとする演算を行う。この演算式は、具体的には、以下の式（１０）のようになる。なお、式（１０）の「Ｗagl」の「agl」は対象画素Ｏを通る複数の検出ラインＬの角度であって、「０°〜１８０°」までの範囲で所定の角度間隔（ここでは「１５°」）の値をとる。

一般的に、画像の境界を跨ぐ方向に並んでいる画素の画素値は画像の境界部分において急激に変化しているが、画像の境界に沿う方向に並んでいる画素の画素値の変化は少ない。したがって、対象画素Ｏを補間する場合において、画像の境界を跨ぐ方向に沿って線形補間等を行っても、欠陥部内で大きく変化している画素値を適正に推測して補間することは困難であるのに対して、画像の境界に沿う方向に沿って線形補間等を行えば、対象画素Ｏのより適正な補間値を求めることが可能である。ここで、上記１の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側に位置する正常画素Ｐ１と正常画素Ｐ２との色成分毎の画素値の近さの程度を表す第１画素値比Ｆ１Ｒ、Ｆ１Ｇ、Ｆ１Ｂがいずれも１に近い大きい値である場合は、正常画素Ｐ１と正常画素Ｐ２との色が近い場合であり、そのような検出ラインＬ１の方向は、画像の境界に沿う方向である可能性が高い。

上記式（１０）の「ｍｉｎ（Ｆ１Ｒ，Ｆ１Ｇ，Ｆ１Ｂ）」は、正常画素Ｐ１と正常画素Ｐ２とのＲ、Ｇ、Ｂの各色成分の画素値を対比したときに最も画素値が離れている１の色成分についての画素値比である。よって、他の２つの色成分についての画素値比は、いずれも「ｍｉｎ（Ｆ１Ｒ，Ｆ１Ｇ，Ｆ１Ｂ）」より大きい値となる。したがって、上記「ｍｉｎ（Ｆ１Ｒ，Ｆ１Ｇ，Ｆ１Ｂ）」が「１」に近い大きい値をとるときは、全ての色成分についての画素値比が「１」に近い大きい値をとる場合であって、上記のように正常画素Ｐ１と正常画素Ｐ２との色が近く、そのような検出ラインＬ１の方向が適切な補間方向である可能性が高いといえる。

また、対象画素Ｏは、＃０３の処理において輝度調整が既に行われていることから、例え欠陥が各色成分のバランスを崩すような欠陥である場合であっても、ある程度は正常画素に近い状態まで修正されているはずである。よって、上記１の検出ラインＬ１に沿って存在する一方の正常画素Ｐ１と輝度調整後の対象画素ＯとのＲＧＢの色成分毎の画素値の近さの程度を表す第２画素値比Ｆ２Ｒ、Ｆ２Ｇ、Ｆ２Ｂがいずれも１に近い大きい値である場合は、正常画素Ｐ１と輝度調整後の対象画素Ｏとの色が近い場合であり、そのような検出ラインＬ１の方向は、画像の境界に沿う方向である可能性が高い。このことは、第３画素値比Ｆ３Ｒ、Ｆ３Ｇ、Ｆ３Ｂについても同様である。

上記式（１０）の「ｍｉｎ（Ｆ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂ）」は、正常画素Ｐ１と輝度調整後の対象画素ＯとのＲ、Ｇ、Ｂの各色成分の画素値を対比したときに最も画素値が離れている１の色成分についての画素値比である。よって、他の２つの色成分についての画素値比は、いずれも「ｍｉｎ（Ｆ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂ）」より大きい値となる。したがって、上記「ｍｉｎ（Ｆ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂ）」が「１」に近い大きい値をとるときは、全ての色成分についての画素値比が「１」に近い大きい値をとる場合であって、上記のように正常画素Ｐ１と輝度調整後の対象画素Ｏとの色が近く、そのような検出ラインＬ１の方向が適切な補間方向である可能性が高いといえる。また、このことは、上記式（１０）の「ｍｉｎ（Ｆ３Ｒ，Ｆ３Ｇ，Ｆ３Ｂ）」についても全く同様である。

そして、上記式（１０）では、これらの「ｍｉｎ（Ｆ１Ｒ，Ｆ１Ｇ，Ｆ１Ｂ）」、「ｍｉｎ（Ｆ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂ）」及び「ｍｉｎ（Ｆ３Ｒ，Ｆ３Ｇ，Ｆ３Ｂ）」を乗算した値を、上記１の検出ラインＬ１についての重み係数Ｗとしている。したがって、この重み係数Ｗは、１の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側の正常画素Ｐ１及び正常画素Ｐ２の画素値比に加えて、欠陥部に属する輝度調整後の対象画素Ｏと正常画素Ｐ１又は正常画素Ｐ２との画素値比をも反映したより適切な係数とすることができる。なお、この重み係数Ｗは、後述するように、Ｒ、Ｇ、Ｂの各色成分の修正値Ａの演算に共通して用いる。

次に、補間値演算部３１において、＃０５で検出された正常画素Ｐ１、Ｐ２の画素値を用いて、当該正常画素Ｐ、Ｐ２を検出した検出ラインＬ１についての対象画素Ｏの補間値Ｈを演算する（＃０９）。この対象画素Ｏの補間値Ｈの演算方法としては、対象画素Ｏに欠陥がない場合にその値であったと予想される画素値を推定的に求める方法が用いられ、例えば、線形補間を適用することができる。具体的には、図５に示す１の検出ラインＬ１に沿って対象画素Ｏを挟んだ両側に位置する正常画素Ｐ１、Ｐ２の画素値を用いて対象画素Ｏの補間値Ｈを演算する際には、Ｒ、Ｇ、Ｂの各色成分のそれぞれについて、図６に示すように、正常画素Ｐ１の画素値と正常画素Ｐ２の画素値とを直線で結び、対象画素Ｏから正常画素Ｐ１又はＰ２までの距離の比に応じた前記直線上の値を線形補間により演算する。ここでは、対象画素ＯのＲ、Ｇ、Ｂの各色成分の補間値をそれぞれＨＲ、ＨＧ、ＨＢと表す。図６のグラフの縦軸は各画素の画素値（ＲＧＢいずれかの色成分を表している）であり、横軸は検出ラインＬ１に沿って位置する各画素の位置関係を表す。本実施形態に係る対象画素Ｏの補間値Ｈの演算式を、Ｒ、Ｇ、Ｂの各成分のうちのＲ成分を例として具体的に示すと、以下の式（１１）のようになる。

ここで、上記のとおり、「Ｒ１」は対象画素Ｏを挟んで位置する一方の正常画素Ｐ１のＲ成分の画素値、「Ｒ２」は他方の正常画素Ｐ２のＲ成分の画素値、「Ｄ１」は対象画素Ｏから正常画素Ｐ１までの距離の絶対値、「Ｄ２」は対象画素Ｏから正常画素Ｐ２までの距離の絶対値、「ＨＲagl」の「agl」は対象画素Ｏを通る複数の検出ラインＬの角度であって、「０°〜１８０°」までの範囲で所定の角度間隔（ここでは「１５°」）の値をとる。Ｇ成分及びＢ成分についても、同様の方法により、補間値ＨＧagl及びＨＢaglをそれぞれ演算することができる。なお、対象画素Ｏの補間値Ｈの演算方法は、線形補間に限定されるものではなく、対象画素Ｏに欠陥がない場合にその値であったと予想される画素値を推定して求めることができる補間方法であれば用いることが可能である。

次に、所定の角度間隔（ここでは「１５°」）の対象画素Ｏを通る複数方向の検出ラインＬの全てについて、＃０５〜＃０９の処理を終了したか否かについて判断する（＃１０）。そして、上記複数方向の検出ラインＬの全てについての＃０５〜＃０９の処理が終了していない場合（＃１０：ＮＯ）には、処理は＃０５へ戻り、既に処理が終了している検出ラインＬ以外の検出ラインＬを選択し、＃０５〜＃０９の処理を繰り返し行う。

一方、上記複数方向の検出ラインＬの全てについての＃０５〜＃０９の処理が終了した場合（＃１０：ＹＥＳ）には、修正値演算部３２において、＃０４の処理において選択した１の対象画素Ｏについての修正値Ａを演算する（＃１１）。すなわち＃０４〜＃０９の処理において演算された各検出ラインＬについての重み係数Ｗと対象画素Ｏの補間値Ｈとを用いて、選択した１の対象画素Ｏの修正値Ａを演算する。ここでは、各検出ラインＬについての上記の重み係数Ｗaglと対象画素Ｏの各色成分の補間値ＨＲagl、ＨＧagl及びＨＢaglとを用いて、対象画素Ｏの補間値Ｈの重み付き平均値を演算し、この重み付き平均値を対象画素Ｏの修正値Ａとする。また、この重み付き平均値の演算に際しては、各検出ラインＬについての重み係数Ｗaglをｎ乗した値を用いると好適である。具体的には、各検出ラインＬについてのＲ、Ｇ、Ｂの各色成分の補間値ＨＲagl、ＨＧagl又はＨＢaglに当該検出ラインＬについての各色成分共通の重み係数Ｗaglのｎ乗を乗算した乗算値を、当該対象画素Ｏを通る複数の検出ラインＬの全てについて総和し、この総和を前記乗算値の演算に用いた全ての重み係数Ｗaglのｎ乗の総和で除算することにより行う。Ｒ、Ｇ、Ｂの各成分のうちのＲ成分を例とした修正値ＡＲの演算式は、具体的には、以下の式（１２）のようになる。なお、同様の方法により、Ｇ成分の修正値ＡＧ、及びＢ成分の修正値ＡＢもそれぞれ演算することができる。

上記のとおり、重み係数Ｗは「０」以上「１」以下の値となるので、重み係数Ｗをｎ乗することにより、上記式（１２）の計算結果に及ぼす重み係数Ｗの影響を強調することができる。これにより、対象画素Ｏの周囲の画像の境界の存在する方向に沿って演算された対象画素Ｏの補間値Ｈが上記修正値Ａに与える影響を大きくすることができ、画像の境界の方向を反映したより適切な欠陥画素の修正を行うことが可能となる。ここで、ｎの値は、修正すべき画像の状態によって適切な値が異なることから、各種の画像データの統計等から実験的に求めた値とするのが好適であるが、一般的には、このｎの値が小さすぎれば、修正後の画像は、像の境界がぼやけた状態となり、このｎの値が大きすぎれば、修正後の画像は、像の境界がはっきりしすぎた状態となる。具体的には、通常の写真であれば、ｎの値は１０〜３０程度が適している場合が多く、更には、肌色と黒色との境界が適切に修正されるようなｎの値としては２０程度が適している場合が多い。

次に、修正部３３において、＃１１の処理により演算された対象画素Ｏの修正値Ａを用いて対象画素Ｏの修正を行う（＃１２）。具体的には、Ｒ、Ｇ、Ｂの各成分のそれぞれについて演算された対象画素Ｏの修正値ＡＲ、ＡＧ、ＡＢを対象画素ＯのＲ、Ｇ、Ｂの各成分の画素値に置き換えることにより行う。

次に、＃０２の処理において正常／欠陥マップに欠陥画素として登録された全ての欠陥画素について、対象画素Ｏとして選択して＃０４〜＃１２の処理を既に終了したか否かについて判断する（＃１３）。ここで、全ての欠陥画素を対象画素Ｏとして選択済みでない場合には（＃１３：ＮＯ）、処理は＃０４へ戻り、既に処理が終了している対象画素Ｏ以外の対象画素Ｏを選択し、＃０４〜＃１２の処理を繰り返し行う。そして、全ての欠陥画素を対象画素Ｏとして選択し、＃０４〜＃１２の処理を既に終了した場合には（＃１３：ＹＥＳ）、画像処理装置１における欠陥画素の修正処理を終了する。

上記実施形態では、画像処理装置１においてＲ、Ｇ、Ｂの３つの色成分を取り扱う場合について説明したが、本発明において取り扱うことが可能な複数の色成分はこれに限定されるものではなく、画像読取装置５等の構成に合せてシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）等を色成分として取り扱うことも当然に可能である。また、画像処理装置１においてモノクロ画像の画像データを処理対象とする場合には、単一の色成分のみを取り扱うことも可能である。

また、上記実施形態では、＃１１の処理における対象画素Ｏの修正値Ａの演算に際して、各検出ラインＬについて重み係数Ｗaglと対象画素Ｏの各色成分の補間値ＨＲagl、ＨＧagl及びＨＢaglとをそれぞれ演算したものを用いて対象画素Ｏの補間値Ｈの重み付き平均値を演算し、この重み付き平均値を対象画素Ｏの修正値Ａとする処理を行う場合について説明したが、対象画素Ｏの修正値Ａの演算方法はこれに限定されるものではなく、例えば、重み係数Ｗaglの最も大きい方向の検出ラインＬを一つ選択し、当該選択された検出ラインＬについての各色成分の補間値ＨＲagl、ＨＧagl及びＨＢaglを、重み付き平均することなくそのまま各色成分の修正値ＡＲ、ＡＧ、ＡＢとすることも可能である。

なお、上記実施形態においては、写真フィルム２から画像を読み取って印画紙３に記録する画像プリントシステム４に適用した場合について説明したが、本発明を適用する対象はこれに限定されるものではなく、画像データの欠陥部を修正して出力するものであれば、他の画像処理装置等に適用することも可能である。

本発明は、画像データの欠陥部分の修正の際に、欠陥部内に複雑な画像の境界が存在する場合であってもそれらを反映した正確な修正処理を行うことを可能にするものであって、各種の画像処理装置やプログラム等に用いることが可能である。

本発明の実施形態に係る画像プリントシステムの外観を示す斜視図 本発明の実施形態に係る画像プリントシステムの概略構成を示す模式図 本発明の実施形態に係る画像処理装置の機能を示すブロック図 本発明の実施形態に係る欠陥画素の修正処理のフローチャート 本発明の実施形態に係る欠陥画素の修正処理における、１の対象画素を通る複数方向の検出ラインに沿って正常画素Ｐを検出する処理の一例を示す説明図 本発明の実施形態に係る欠陥画素の修正処理における、対象画素の補間値の演算方法の一例を示すグラフ

符号の説明

１ 画像処理装置
４ 画像プリントシステム
５ 画像読取装置
６ 画像記録装置
１７ ＣＰＵ
１８ メモリ
１９ 欠陥画素修正部
２５ 正常／欠陥判定部
２６ 輝度調整部
２７ 対象画素選択部
２８ 正常画素検出部
２９ 画素値比演算部
３０ 重み係数演算部
３１ 補間値演算部
３２ 修正値演算部
３３ 修正部
Ｏ 対象画素
Ｐ 正常画素
Ｌ 検出ライン
Ｆ１ 第１画素値比
Ｆ２ 第２画素値比
Ｆ３ 第３画素値比
Ｈ 対象画素の補間値
Ｗ 重み係数
Ａ 修正値

Claims (8)

1. 画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行う輝度調整手段と、
   前記欠陥画素の中から１の対象画素を選択する対象画素選択手段と、
   前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出する正常画素検出手段と、
   前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算する画素値比演算手段と、
   前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算する重み係数演算手段と、
   前記正常画素検出手段により検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算する補間値演算手段と、
   前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算する修正値演算手段と、
   前記修正値演算手段により演算された修正値を用いて前記対象画素の修正を行う修正手段と、
   を有する画像処理装置。
2. 前記画素値比演算手段は、前記第１画素値比、第２画素値比、及び第３画素値比を、それぞれ複数の色成分毎に演算し、前記重み係数演算手段は、前記第１画素値比、第２画素値比、及び第３画素値比のそれぞれについて前記複数の色成分の中の最小値を演算し、これらの最小値を用いて前記重み係数を演算する請求項１に記載の画像処理装置。
3. 前記修正値演算手段は、前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の補間値の重み付き平均値を演算し、この重み付き平均値を前記対象画素の修正値とする請求項１又は２に記載の画像処理装置。
4. 前記修正値演算手段は、前記重み係数演算手段により演算された各検出ラインについての重み係数をｎ乗（ｎは１０以上の任意の数）した値を用いて、前記対象画素の補間値の重み付き平均値の演算を行う請求項３に記載の画像処理装置。
5. 前記補間値演算手段は、前記検出ラインについての前記対象画素の補間値を、当該検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との間の線形補間により演算する請求項１から４の何れか１項に記載の画像処理装置。
6. 画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行うステップと、
   前記欠陥画素の中から１の対象画素を選択するステップと、
   前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出するステップと、
   前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算するステップと、
   前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算するステップと、
   前記検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算するステップと、
   前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算するステップと、
   前記修正値を用いて前記対象画素の修正を行うステップと、
   を有する画像処理方法。
7. 画像データに含まれる欠陥画素の輝度を、欠陥の無い状態に合せるよう調整する処理を行うステップと、
   前記欠陥画素の中から１の対象画素を選択するステップと、
   前記対象画素を通る複数方向の検出ラインに沿って前記対象画素を挟んだ両側にそれぞれ正常画素を検出するステップと、
   前記各検出ラインについて、前記対象画素を挟んだ両側の正常画素のうちの一方の正常画素の画素値と他方の正常画素の画素値との比率である第１画素値比、前記一方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第２画素値比、及び前記他方の正常画素の画素値と前記対象画素の輝度調整後の画素値との比率である第３画素値比を演算するステップと、
   前記第１画素値比、第２画素値比、及び第３画素値比を用いて、各検出ラインについての重み係数を演算するステップと、
   前記検出ラインに沿って検出された正常画素の画素値を用いて、当該検出ラインについての前記対象画素の補間値を演算するステップと、
   前記各検出ラインについての前記重み係数と前記対象画素の補間値とを用いて、前記対象画素の修正値を演算するステップと、
   前記修正値を用いて前記対象画素の修正を行うステップと、
   をコンピュータに実行させるための画像処理プログラム。
8. 前記欠陥画素の輝度を調整する処理が、赤外光画像データに含まれる全ての正常画素の画素値の平均値と各欠陥画素の画素値との差分を各欠陥画素の傷による画素値の減衰量とし、可視光画像データに含まれる各欠陥画素のＲＧＢの色成分毎の画素値にそれぞれ加算することである請求項１から５の何れか１項に記載の画像処理装置。

Images