JP4239091B2 - 画像処理装置、方法、及びプログラム - Google Patents

画像処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP4239091B2
JP4239091B2 JP2004031932A JP2004031932A JP4239091B2 JP 4239091 B2 JP4239091 B2 JP 4239091B2 JP 2004031932 A JP2004031932 A JP 2004031932A JP 2004031932 A JP2004031932 A JP 2004031932A JP 4239091 B2 JP4239091 B2 JP 4239091B2
Authority
JP
Japan
Prior art keywords
pixel
value
target pixel
normal
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004031932A
Other languages
English (en)
Other versions
JP2005223815A (ja
Inventor
耕次 北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2004031932A priority Critical patent/JP4239091B2/ja
Priority to CNB200410100019XA priority patent/CN1323542C/zh
Priority to DE602005000572T priority patent/DE602005000572T2/de
Priority to EP05002528A priority patent/EP1562145B1/en
Priority to EP05002525A priority patent/EP1562144B1/en
Priority to DE602005020867T priority patent/DE602005020867D1/de
Priority to US11/054,778 priority patent/US7356167B2/en
Publication of JP2005223815A publication Critical patent/JP2005223815A/ja
Application granted granted Critical
Publication of JP4239091B2 publication Critical patent/JP4239091B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00Photographic printing apparatus
    • G03B27/72Controlling or varying light intensity, spectral composition, or exposure time in photographic printing apparatus
    • G03B27/73Controlling exposure by variation of spectral composition, e.g. multicolor printers
    • G03B27/735Controlling exposure by variation of spectral composition, e.g. multicolor printers in dependence upon automatic analysis of the original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像データの欠陥部分を修正するための画像処理装置、方法、及びプログラムに関し、特に、画像データの欠陥部分に画像の境界が存在する場合であってもそれらを反映して好適に補間することが可能な修正処理を行う画像処理装置、方法、及びプログラムに関する。
写真フィルムには、その表面に傷、埃、汚れ等の欠陥が存在する場合がある。そこで、そのような欠陥が存在する写真フィルムから画像を読み取って印画紙に記録し、或いはディスプレイに表示する等により出力する場合に、そのような欠陥部を輝度調整処理や補間処理等の画像処理により修正する技術が知られている。
このような技術として、例えば、赤外光は、可視光と異なり、写真フィルムに照射した場合にそこに写っている画像の影響をほとんど受けず、傷や埃等による影響のみを受けるという特性を利用して、輝度調整処理により修正を行う技術が知られている。これは、具体的には、写真フィルムに赤外光及び可視光を照射し、赤外光による画像データの画素値が一定の閾値以下である部分を欠陥部と認識し、当該欠陥部の各色成分(赤色(R)、緑色(G)、青色(B))の画素値に対して、正常部に対する欠陥部の赤外光の減衰量分を上乗せして輝度を高めることにより、欠陥部の各色成分の画素値を正常部に合せて輝度調整する技術である(例えば、特許文献1参照)。
しかし、このような輝度調整処理は、欠陥部において各色成分の画素値が互いに同じ量だけ減衰していることを前提としているため、写真フィルムの乳剤面に傷が付いている場合のように、色成分毎の画素値の減衰の量が異なる場合には、適切に欠陥部を修正することができない。
そのような場合には、周囲の正常画素の画素値を用いて欠陥部の修正を行う補間処理の技術が用いられるが、単純に隣接する正常画素の画素値を欠陥画素に適用するだけでは、欠陥部に境界等が存在する場合に適切に修正することができない。そこで、画像の境界が存在する方向を検出し、その方向に沿った補間処理を行う技術が知られている。これは、具体的には、欠陥画素から互いに異なる複数の方向に沿って、各方向についての正常画素の濃度勾配や正常画素間の距離等の画像特徴量を各々演算し、更に、前記欠陥画素に対して画像上で所定の方向に存在する正常画素の情報から前記欠陥画素を修正するための修正値を補間によって求めることを前記複数の方向について各々行い、前記画像特徴量と各方向毎に演算された修正値とから最終修正値を求め前記欠陥画素の修正を行う技術である(例えば、特許文献2参照)。
特開平11−98370号公報(第15−16頁、第4図) 特開2001−78038号公報(第7−8頁、第4−5図、第8図)
しかしながら、上記の特許文献2に記載されたような従来の補間処理による修正方法では、修正対象の欠陥画素から互いに異なる複数の方向に沿って正常画素を検索する際に、前記欠陥画素に近い画素から順に外側へ向かって正常画素か否かを1画素ずつ判断する処理を行う必要がある。したがって、欠陥画素が存在する領域が広い場合には、CPU等の演算処理部の負荷が高くなり、演算処理に要する時間が長くなるという問題があった。特に、処理対象の画像データが、画素数の多い高精細画像である場合には、一つの欠陥に含まれる欠陥画素の数も多くなり、演算処理に要する時間が長くなる傾向が高い。
一方、処理対象の画像データが、画素数の多い高精細画像である場合には、画像の境界、すなわち画像中の色彩の変わり目も詳細に表現されることになり、画像の境界の方向を検出する精度を高めなければ正確な修正を行うことが出来ないところ、上記の特許文献2に記載されたような従来の補間処理による修正方法では、欠陥画素を中心として正常画素を検索する方向が画像データに関わらず一定であるため、画素数の多い高精細画像に対して正常画素を検索する方向が少なすぎて画像の境界の方向を検出する精度が十分でなく、或いは画素数の少ない画像に対しては正常画素を検索する方向が必要以上に多すぎるために演算処理に要する時間を無駄にしている場合があるという問題があった。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像の欠陥部の周囲における境界の存在する方向を正確に検出し、その方向に沿って適切な補間処理を行うことを可能とするとともに、前記境界の存在する方向の検出のための演算処理の演算量を抑えることにより、処理速度を高めることが可能な画像処理装置、方法、及びプログラムを提供することにある。
上記目的を達成するための本発明に係る画像処理装置の第1特徴構成は、画像データに含まれる欠陥画素の中から1の対象画素を選択する対象画素選択手段と、前記画像データに含まれる画素数に応じて検索間隔を調節する検索間隔調節手段と、前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出する正常画素検出手段と、前記画像データに含まれる画素数に応じて、前記正常画素検出手段により正常画素を検出する際の前記検出ラインに沿った検索間隔を調節する検索間隔調節手段と、前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算する補間値演算手段と、前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算する重み係数演算手段と、前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算する重み付き平均値演算手段と、前記重み付き平均値演算手段により演算された重み付き平均値を用いて前記対象画素の修正を行う修正手段と、を有する点にある。
なお、正常画素検出手段において、各検出ラインに沿って対象画素を挟んだ両側にそれぞれ2以上の正常画素を検出した場合には、補間値演算手段及び重み係数演算手段においては、それら両側それぞれの2以上の正常画素の画素値の平均値を演算する等により、それら2以上の正常画素の画素値を用いて対象画素の補間値や重み係数の演算を行うこともできる。
この第1特徴構成によれば、各欠陥画素について複数方向の検出ラインに沿って存在する正常画素の画素値に基づく補間値を求めることができ、更には、各検出ラインに沿って存在する正常画素の画素値に基づいて各方向の重み係数を求め、それを用いた重み付き平均値を演算して欠陥画素を修正するので、欠陥画素の周囲の各方向に存在する画像の境界に応じた最終修正値を求めることが可能となり、画像の境界を正確に反映した適切な補間処理を行うことが可能となる。また、正常画素を検出する際の各検出ラインに沿った検索間隔を処理対象の画像データに含まれる画素数に応じて調節することにより、処理対象の画像データが画素数の多い高精細画像であって、欠陥画素が存在する領域が広い場合等であっても、それに応じて境界の存在する方向の検出のための演算処理の演算量を抑えることが可能であり、処理速度を高めることができる。
本発明に係る画像処理装置の第2特徴構成は、上記第1特徴構成に加えて、前記画像データに含まれる画素数に応じて、前記正常画素検出手段により正常画素を検出する際の隣接する前記検出ライン間の角度間隔を調節する検索角度調節手段を有する点にある。
処理対象の画像データに含まれる画素数が多い場合には画像の境界が詳細に表現されることになり、画像の境界の方向を検出する精度を高める必要がある一方、画像の境界の方向を検出するための検出ラインの数を必要以上に増やすと、演算処理の量が増えて処理速度が遅くなることになる。上記第2特徴構成によれば、処理対象の画像データに含まれる画素数に応じて検出ライン間の角度を調節し、適切な数の検出ラインを用いて演算処理を行うことが可能となるので、処理対象の画像データに含まれる画素数に応じて、画像の境界の方向を検出する精度と演算処理速度とを適切に調節することができる。
本発明に係る画像処理装置の第3特徴構成は、上記第1又は第2の特徴構成に加えて、前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を対数変換した値を用いて、前記補間値演算手段による前記対象画素の補間値の演算と前記重み係数演算手段による各検出ラインについての重み係数の演算とを行い、前記重み付き平均値演算手段により演算された前記対象画素の補間値の重み付き平均値を逆対数変換した値を用いて、前記修正手段による前記対象画素の修正を行う点にある。
この第3特徴構成によれば、画像中に比較的多く表れる中間調付近の画素値の階調差を少なくして、1の対象画素に対する各検出ライン毎の補間値の差を少なくすることができるので、画像データ中に像の境界が複雑に入り組んだ画像が含まれている場合であっても、それらの境界の方向の検出に誤りがある場合であっても、その誤りを強調しすぎることなく修正することが可能となり、修正箇所を目立たないようにすることができる。
本発明に係る画像処理装置の第4特徴構成は、上記第1から第3の特徴構成に加えて、前記重み係数演算手段により演算された各検出ラインについての重み係数をn乗(nは10以上の任意の数)した値を用いて、前記重み付き平均値演算手段による前記対象画素の補間値の重み付き平均値の演算を行う点にある。
この第4特徴構成によれば、各検出ラインについての重み係数をn乗することにより強調し、重み係数の大きい方向の検出ライン、すなわち修正に適した方向の検出ラインについての補間値が修正値(重み付き平均値)に与える影響がより大きくなるように強調することができる。したがって、画像の境界を反映した適切な欠陥画素の補間処理を行うことが可能となる。ここで、nの値は、修正すべき画像の状態によって適切な値が異なることから、各種の画像データの統計等から実験的に求めた値とするのが好適である。
本発明に係る画像処理装置の第5特徴構成は、上記第1から第4の特徴構成に加えて、前記重み係数演算手段は、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値とのいずれか大きい側の値を分母に、小さい側の値を分子に用いた比率を重み係数として演算する点にある。また、本発明に係る画像処理装置の第6特徴構成は、上記第1から第4の特徴構成に加えて、前記重み係数演算手段は、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との差分の絶対値の所定値に対する補数を重み係数として演算する点にある。
この第5又は第6の特徴構成によれば、検出ラインに沿って対象画素を挟んだ両側にそれぞれ位置する1又は2以上の正常画素の画素値が近いほど重み係数を重くすることができるので、適切な補間方向にある検出ラインについての重み係数を重くして対象画素の修正を行うことができる。
本発明に係る画像処理装置の第7特徴構成は、上記第1から第6の特徴構成に加えて、前記補間値演算手段は、各検出ラインについての前記対象画素の補間値を、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との間の線形補間により演算する点にある。
この第7特徴構成によれば、各検出ラインに沿って対象画素を挟んだ両側にそれぞれ位置する1又は2以上の正常画素の画素値と、それらの両側に位置する正常画素間の距離とに基づいて、対象画素の適切な補間値を演算することができる。
本発明に係る画像処理方法の特徴構成は、画像データに含まれる欠陥画素の中から1の対象画素を選択するステップと、前記画像データに含まれる画素数に応じて検索間隔を調節して、前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出するステップと、前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算するステップと、前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算するステップと、前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算するステップと、前記重み付き平均値を用いて前記対象画素の修正を行うステップと、
を有する点にある。
この特徴構成によれば、前記第1特徴構成による効果と同じく、画像の境界を正確に反映した適切な補間処理を行うことができるとともに、処理対象の画像データに含まれる画素数に応じて境界の存在する方向の検出のための演算処理の演算量を抑え、処理速度を高めることができる。
本発明に係る画像処理プログラムの特徴構成は、画像データに含まれる欠陥画素の中から1の対象画素を選択するステップと、前記画像データに含まれる画素数に応じて検索間隔を調節して、前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出するステップと、前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算するステップと、前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算するステップと、前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算するステップと、前記重み付き平均値を用いて前記対象画素の修正を行うステップと、をコンピュータに実行させる点にある。
この特徴構成によれば、前記第1特徴構成による効果と同じく、画像の境界を正確に反映した適切な補間処理を行うことができるとともに、処理対象の画像データに含まれる画素数に応じて境界の存在する方向の検出のための演算処理の演算量を抑え、処理速度を高めることができる。
以下、本発明の実施形態として、本発明に係る画像処理装置1を、写真フィルム2から画像を読み取って印画紙3に記録する画像プリントシステム4に適用した場合について図面に基づいて説明する。図1は、本実施形態に係る画像プリントシステム4の外観を示す斜視図であり、図2は、本実施形態に係る画像プリントシステム4の概略構成を示す模式図であり、図3は、本実施形態に係る画像処理装置1の機能を示すブロック図である。
これらの図に示すように、この画像プリントシステム4は、図示しないフィルム現像機によって現像処理された写真フィルム2の撮影画像コマをデジタル画像データとして読み取る画像読取装置5、取得された画像データに画像処理を施してプリントデータを作成する画像処理装置1、及び画像処理装置1からのプリントデータに基づいて露光処理と現像処理とを行って印画紙3に画像を記録する画像記録装置6を備えて構成されている。
画像読取装置5は、いわゆるフィルムスキャナであり、主な構成要素としては、図2に示すように、照明光学系7、ズームレンズ等の撮像光学系8、入射してきた光を可視光と赤外光に分けるダイクロイックミラー9、可視光用センサユニット10、赤外光用センサユニット11を備えている。照明光学系7は、光源としてのハロゲンランプ又は発光ダイオードと、その光源からの光を調光するミラートンネルや拡散板などから構成されている。可視光用センサユニット10は、写真フィルム2の3つの基本色成分、本実施形態においてはR(赤色)光、G(緑色)光、B(青色)光からなる可視光画像を検出するためにそれぞれ適合するカラーフィルタを装着した3つのCCDアレイ10aと、これらのCCDアレイ10aによって検出された可視光信号を処理して基本色成分で構成されたR光、G光、及びB光のそれぞれの画像データを生成して画像処理装置1へ転送する可視光用信号処理回路10bを備えている。また、赤外光用センサユニット11は、写真フィルム2に付いている傷の状態を赤外光画像として検出するために、ダイクロイックミラー9から分岐された赤外光のみを受けるように配置されたCCDアレイ11aと、このCCDアレイ11aによって検出された赤外光信号を処理して赤外光画像データを生成して画像処理装置1へ転送する赤外光用信号処理回路11bを備えている。
このように構成された画像読取装置5では、写真フィルム2の撮影画像コマが所定の読取位置に位置決めされると、撮影画像コマの読取処理が開始されるが、その際撮影画像コマの投影光像は、フィルム搬送機構12による写真フィルム2の副走査方向への送り操作により、複数のスリット画像に分割された形で順次可視光用センサユニット10及び赤外光用センサユニット11によって読み取られ、R、G、Bの各色成分の画像信号並びに赤外成分の画像信号に光電変換され、デジタル画像データとして画像処理装置1に送られる。このような、照明光学系7、撮像光学系8、可視光用センサユニット10及び赤外光用センサユニット11の各制御は画像処理装置1によって行われており、本実施形態では、画像処理装置1の一部の機能部分が画像読取装置5の構成要素となっている。
画像処理装置1は、ここでは基本的には汎用パソコンから構成されており、更に、この画像プリントシステム4の操作画面を表示するモニタ13、デジタルカメラ等のメモリカード等から画像を読み込むメディアリーダ14、オペレータによる操作入力に用いられるキーボード15及びマウス16等が付属して構成されている。
画像処理装置1は、CPU17を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されているが、本発明に特に関係する機能部としては、図3に示すように、可視光画像データ及び赤外光画像データを各種処理のために一時的に格納するメモリ18、メモリ18に格納されている可視光画像データ及び赤外光画像データを用いて欠陥画素の修正を行う欠陥画素修正部19と、メモリ18に展開されている可視光画像データに対して色調補正やフィルタリング(ぼかしやシャープネスなど)やトリミング等の欠陥画素修正以外の各種画像処理を施す画像調整部20、画像データやその他の表示アイテムをビデオメモリに取り込むとともにこのビデオメモリに展開されたイメージをビデオコントローラによってビデオ信号に変換してモニタ13に送るビデオ制御部21、欠陥画素修正部19及び画像調整部20で処理された最終的な画像データをプリントデータに変換して画像記録装置6の露光プリント部22に転送するプリントデータ生成部23、グラフィカルユーザーインターフェイス(GUI)を用いて作り出された操作画面の下でキーボード15及びマウス16等を通じて入力された操作指令や予めプログラム化された操作指令に基づいて各機能部を制御するプリント管理部24が挙げられる。
欠陥画素修正部19は、メモリ18に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が正常画素か欠陥画素かの判定を行い、正常画素及び欠陥画素の各座標を登録した正常/欠陥マップを作成する正常/欠陥判定部25と、この正常/欠陥判定部25において欠陥画素と判定された画素の中から1の対象画素Oを順次選択する対象画素選択部26と、この対象画素選択部26により選択された各対象画素Oについて、対象画素Oを通る複数方向の検出ラインLに沿って対象画素Oを挟んだ両側にそれぞれ正常画素Pを検出する正常画素検出部27と、画像データに含まれる画素数に応じて、正常画素検出部27により正常画素を検出する際の検出ラインLに沿った検索間隔を調節する検索間隔調節部28と、画像データに含まれる画素数に応じて、正常画素検出部27により正常画素を検出する際の隣接する検出ラインL間の角度間隔を調節する検索角度調節部29と、正常画素検出部27により各検出ラインLに沿って検出された正常画素Pの画素値を用いて、各検出ラインLについての対象画素Oの補間値Hを演算する補間値演算部30と、正常画素検出部27により各検出ラインLに沿って検出された正常画素の画素値を用いて、各検出ラインLについての重み係数Wを演算する重み係数演算部31と、各検出ラインLについての対象画素Oの補間値Hと重み係数Wとを用いて、対象画素Oの補間値Hの重み付き平均値Aを演算する重み付き平均値演算部32と、重み付き平均値演算部32により演算された重み付き平均値Aを用いて最終修正値Fを演算し、対象画素Oの修正を行う修正部33と、を備えている。これらの欠陥画素修正部19の各部は、ハードディスクドライブやROM(Read Only Memory)等の記憶装置、或いはCD(Compact Disc)やDVD等の記憶媒体に記憶されたプログラムにより好適に実現することができる。なお、「O」、「P」、「L」、「H」、「W」、「A」、及び「F」は、それぞれ複数存在する対象画素、正常画素、検出ライン、補間値、重み係数、重み付き平均値、及び最終修正値を代表する符号であって、後の説明においては、複数存在する内の特定のものを指す場合にのみ、「P○」や「L○」等のように、数字又は英文字の添字を付して表す。
ここで、本実施形態における対象画素選択部26、正常画素検出部27、検索間隔調節部28、検索角度調節部29、補間値演算部30、重み係数演算部31、重み付き平均値演算部32、及び修正部33は、それぞれ特許請求の範囲における対象画素選択手段、正常画素検出手段、検索間隔調節手段、検索角度調節手段、補間値演算手段、重み係数演算手段、重み付き平均値演算手段、及び修正手段に相当する。なお、この欠陥画素修正部19における対象画素の欠陥の修正処理については、後に詳細に説明する。
画像記録装置6は、図2に示されているように、2つの印画紙マガジン40に納められたロール状の印画紙3を引き出してシートカッター41でプリントサイズに切断すると共に、このように切断された印画紙3に対し、バックプリント部42で色補正情報やコマ番号などのプリント処理情報を印画紙3の裏面に印字するとともに、露光プリント部22で印画紙3の表面に撮影画像の露光を行い、この露光後の印画紙3を複数の現像処理槽を有した処理槽ユニット43に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア44からソータ45に送られた印画紙3は、このソータ45の複数のトレイ46にオーダ単位で仕分けられた状態で集積される(図1参照)。
また、画像記録装置6には、印画紙3に対する各種処理に合わせた搬送速度で印画紙3を搬送するために印画紙搬送機構47が敷設されている。印画紙搬送機構47は、印画紙搬送方向に関して露光プリント部22の前後に配置されたチャッカー式印画紙搬送ユニット47aを含む複数の挟持搬送ローラ対から構成されている。露光プリント部22には、副走査方向に搬送される印画紙3に対して、主走査方向に沿って画像記録装置6からのプリントデータに基づいてR、G、Bの3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット43は、発色現像処理液を貯留する発色現像槽43aと、漂白定着処理液を貯留する漂白定着槽43bと、安定処理液を貯留する安定槽43cとを備えている。
次に、本実施形態における欠陥画素の修正処理について、図4に示すフローチャートに従って詳細に説明する。
まず、画像読取装置5の可視光用センサユニット10及び赤外光用センサユニット11によって取得された可視光画像データ及び赤外光画像データをメモリ18に取り込む(#01)。そして、正常/欠陥判定部25において、#01の処理でメモリ18に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が正常画素か欠陥画素かの判定を行い、正常画素及び欠陥画素の各座標を登録した正常/欠陥マップを作成する(#02)。この処理は、赤外光画像データに含まれる各画素の画素値が、予め設定した一定の閾値以上である場合には正常画素と判定し、当該一定の閾値未満である場合には欠陥画素と判定して、正常/欠陥マップにそれらの各画素の座標に対応させて正常又は欠陥を表す情報を登録することにより行うことができる。ここで用いる一定の閾値としては、赤外光画像データに含まれる全画素の画素値の平均値に基づいて設定すると好適である。
次に、対象画素選択部26において、正常/欠陥判定部25において欠陥画素と判定された画素の中から1の対象画素Oを選択する(#03)。この対象画素Oとしては、正常/欠陥マップに欠陥画素として登録されている画素であって、未だ対象画素Oとして選択されていない画素の中から選択する。この際、未だ対象画素Oとして選択されていない欠陥画素の中から任意の画素を選択することが可能であるが、最終的には、処理対象の画像データに含まれる全ての欠陥画素が対象画素Oとして選択されるようにする。
次に、後の#06において対象画素Oを通る複数方向の検出ラインLに沿って対象画素を挟んだ両側にそれぞれ正常画素Pを検出する処理を行うのに先立って、検索間隔調節部28において、画像データに含まれる画素数に応じて、正常画素Pを検出する際の検出ラインLに沿った検索間隔を決定し(#04)、検索角度調節部29において、画像データに含まれる画素数に応じて、正常画素を検出する際の隣接する検出ラインL間の角度間隔を決定する(#05)。
上記#04の処理における正常画素を検出する際の検索間隔は、処理対象の画像データに含まれる画素数に応じて、その画素数が多いほど検索間隔を大きくし、その画素数が少ないほど検索間隔を小さくするように決定すると好適である。例えば、画像処理装置1において扱う画像データを、画素数により、画素数が少ないものと、画素数が中間のものと、画素数が多いものの3段階に分けたテーブルを用意し、画素数が少ないものは検索間隔を「0」とし、検出ラインLに沿った全ての画素を対象として正常画素Pの検索を行い、画素数が中間のものは検索間隔を「1」とし、検出ラインLに沿って1画素置きに正常画素Pの検索を行い、画素数が多いものは検索間隔を「2」とし、検出ラインLに沿って2画素置きに正常画素Pの検索を行うことができる。また、このようなテーブルを用いず、処理対象の画像データの画素数と検索間隔とを一定の関係式により表し、修正処理の度に検索間隔を演算して決定することも可能である。なお、処理対象の画像データの画素数と検索間隔との関係は、プリント画像に必要な画質や画像処理装置1の処理能力等により適宜定めることができる。
本実施形態に係る画像処理装置1は、フィルムから読み取った画像データを処理対象とするものであるので、画像データに含まれる画素数が多い場合とは、フィルムの画像を高精細に読み取った場合であり、そのような場合には、一つの傷や埃等の欠陥を読み取った結果として表れる欠陥画素のかたまり、すなわち欠陥画素が存在する領域は大きくなることが多い。したがって、そのような大きい欠陥画素のかたまりの中の1の対象画素Oから各検出ラインLに沿って正常画素Pを検索する際には、対象画素Oから正常画素Pまでの距離が長く(画素数が多く)なることが多く、正常画素Pの検出のための演算量が多くなり、演算処理に要する時間が長くなる。そこで、処理対象の画像データに含まれる画素数が多い場合には、上記のように検索間隔を大きくすることにより、正常画素Pの検出のための演算量を削減することができる。また、そのような高精細の画像データでは、隣接する画素の画素値は近い値となることが多いため、検索間隔を大きくしても修正部分の画質の低下はほとんどない。一方、画像データに含まれる画素数が少ない場合は、フィルムの画像を比較的粗く読み取った場合であり、そのような場合には、一つの傷や埃等の欠陥を読み取った結果として表れる欠陥画素のかたまりは小さいことが多い。したがって、対象画素Oから正常画素Pまでの画素間距離は短いことが多く、検索間隔を小さくしても正常画素Pの検出のための演算量はあまり多くならない。
また、上記#05の処理における正常画素を検出する際の隣接する検出ラインL間の角度間隔は、処理対象の画像データに含まれる画素数に応じて、その画素数が多いほど角度間隔を小さくし、その画素数が少ないほど角度間隔を大きくするように決定すると好適である。例えば、上記#04の処理における検索間隔の場合と同様に、画像処理装置1において扱う画像データを、画素数により、画素数が少ないものと、画素数が中間のものと、画素数が多いものの3段階に分けたテーブルを用意し、画素数が多いものは隣接する検出ラインL間の角度間隔を「10°」とし、画素数が中間のものは隣接する検出ラインL間の角度間隔を「20°」とし、画素数が少ないものは隣接する検出ラインL間の角度間隔を「30°」とすることができる。また、このようなテーブルを用いず、処理対象の画像データの画素数と検出ラインL間の角度間隔とを一定の関係式により表し、修正処理の度に角度間隔を演算して決定することも可能である。なお、処理対象の画像データの画素数と検出ラインL間の角度間隔との関係は、プリント画像に必要な画質や画像処理装置1の処理能力等により適宜定めることができる。
本実施形態に係る画像処理装置1は、フィルムから読み取った画像データを処理対象とするものであるので、画像データに含まれる画素数が多い場合とは、フィルムの画像を高精細に読み取った場合であり、そのような場合には、画像データ中の画像に含まれる像の境界も細かく滑らかに表れることになる。したがって、そのような高精細の画像の境界の上に欠陥画素が存在する場合には、隣接する検出ラインL間の角度間隔を小さくして、より多くの方向に沿って正常画素Pを検索し、適切な補間方向をより正確に検索することで、像の境界を正確に反映してその境界を滑らかに修正することが可能になる。なお、検出ラインL間の角度間隔を小さくすると、より多くの方向について正常画素Pを検索する必要があるために演算量が増加するが、その増加分は、上記のとおり#04の処理における検索間隔を調整することにより吸収することが可能である。一方、画像データに含まれる画素数が少ない場合は、フィルムの画像を比較的粗く読み取った場合であり、そのような場合には、画像データ中の画像に含まれる像の境界も粗いことが多い。したがって、検出ラインLの角度間隔を比較的粗くしても、修正後の画質に対する影響は少ない。
次に、正常画素検出部27において、#05の処理において決定された検出ラインL間の角度間隔に従って、対象画素Oを通る複数方向の検出ラインLを設定し、その中の1の方向の検出ラインLに沿って対象画素Oを挟んだ両側にそれぞれ正常画素Pを検出する(#06)。この正常画素Pを検出する際の検出ラインLに沿った検索間隔は、#04の処理において決定された検索間隔とする。図5に、対象画素Oを通る複数方向の検出ラインLに沿って正常画素Pを検出する際の一例を示す。この図では、#04の処理において決定された検索間隔は「2」であり、#05の処理において決定された検出ラインL間の角度間隔は「15°」である場合を示している。ここで、検出ラインLは、対象画素を中心とする放射状の複数方向のうち、対象画素Oを挟んで直線上に存在する反対向きの2方向が1のラインである。
検出ラインLに沿って正常画素Pを検出する際において、隣接する検出ラインL間の角度間隔が90°又は45°以外の場合には、検出ラインLがすべての画素の中央を通るとは限らないことから、その場合には、検出ラインLが通過する位置に対して中心位置が最も近い画素を検出ラインL上の画素とみなす。そして、正常画素Pの検索に際しては、そのようにみなされた画素を含む検出ラインL上の画素を対象として上記所定の検索間隔で検索を行う。図5においては、検索間隔は「2」であるので、対象画素Oから検出ラインLに沿って外側に向かってそれぞれ1画素置きに欠陥画素か正常画素かを判断し、その中で対象画素Oから最も近い位置にある正常画素が、その検出ラインLに沿って対象画素Oを挟んだ両側にそれぞれ位置する正常画素Pとして検出される。なお、本実施形態においては、検出ラインLに沿って対象画素Oを挟んだ両側にそれぞれ1個ずつの正常画素Pを検出し、それらの正常画素Pの値を用いて後の対象画素Oの補間値Hや重み係数Wの演算を行う構成としているが、対象画素Oを挟んだ両側にそれぞれ2個以上ずつの正常画素Pを検出し、これら2個以上の正常画素Pの平均値等を用いて後の対象画素Oの補間値Hや重み係数Wの演算を行う構成とすることも可能である。また、正常画素Pの検索は上記のような検出ラインL上に限定されるものではなく、検出ラインLの近傍に位置する正常画素Pをも含めて検索する構成とすることも可能である。
そして、上記1の検出ラインLに沿って正常画素Pを検索した結果、対象画素Oを挟んだ両側共に所定距離内に正常画素Pが検出されたか否かについて判断する(#07)。これは、対象画素Oから遠く離れた位置にある正常画素Pの値は、対象画素Oの修正に用いるのに適しないことから、予め設定された所定距離内に正常画素が存在しない場合には、その方向の検出ラインLについての正常画素Pの値を対象画素Oの補間値Hや重み係数Wの演算に用いないようにするためである。したがって、対象画素Oを挟んだ両側のうちのいずれか一方でも所定距離内に正常画素が存在しなかった場合には(#07:NO)、処理は#06へ戻り、次の1の検出ラインLに沿って正常画素Pを検出する処理が行われる。ここで、前記所定距離としては、例えば、「25」画素等のように単純に距離(画素数)により表される一定値としてもよいし、「25×(検索間隔)」画素のように処理対象の画像データに含まれる画素数に応じて変化する値としてもよい。
一方、対象画素Oを挟んだ両側共に所定距離内に正常画素Pが検出された場合には(#07:YES)、次に、補間値演算部30において、#06で検出された正常画素Pの画素値を用いて、当該正常画素Pを検出した検出ラインLについての対象画素Oの補間値Hを演算する(#08)。この対象画素Oの補間値Hの演算方法としては、対象画素Oに欠陥がない場合にその値であったと予想される画素値を推定的に求める方法が用いられ、例えば、線形補間を適用することができる。具体的には、図5に示す1の検出ラインL1に沿って対象画素Oを挟んだ両側に位置する正常画素をそれぞれP1、P2とし、これらの正常画素P1、P2の画素値を用いて対象画素Oの補間値H1を演算する際には、R、G、Bの各成分のそれぞれについて、図6に示すように、正常画素P1の画素値と正常画素P2の画素値とを直線で結び、対象画素Oから正常画素P1又はP2までの距離の比に応じた前記直線上の値を線形補間により演算し、対象画素Oの補間値H1r、H1g、H1bとする。ここで、図6のグラフの縦軸は各画素の画素値であり、横軸は検出ラインL1に沿って位置する各画素の位置関係を表す。本実施形態に係る対象画素Oの補間値Hの演算式を、R、G、Bの各成分のうちのRを例として具体的に示すと、以下の式(1)のようになる。
Figure 0004239091
ここで、Rdat1は対象画素Oを挟んで位置する一方の正常画素P1のR成分の画素値を対数変換した値、Rdat2は他方の正常画素P2のR成分の画素値を対数変換した値、rad1は対象画素Oから正常画素P1までの距離の絶対値、rad2は対象画素Oから正常画素P2までの距離の絶対値、(m,n)は対象画素Oの座標、aglは対象画素Oを通る複数の検出ラインLの角度であって#05の処理において決定された検出ラインL間の角度間隔毎の値をとる。そして、Hragl,m,nは検出ラインLについての対象画素OのR成分の補間値である。正常画素P1及びP2のR成分の画素値を対数変換する際の対数の底は、ここでは「e」として自然対数をとするが、常用対数を用いてもよい。なお、ここでは正常画素P1及びP2の画素値を対数変換した値を用いているが、これらの画素値をそのまま用いて以降の演算を行うことも可能である。
G成分及びB成分についても、同様の方法により、補間値H1g及びH1bをそれぞれ演算することができる。なお、対象画素Oの補間値Hの演算方法は、線形補間に限定されるものではなく、対象画素Oに欠陥がない場合にその値であったと予想される画素値を推定して求めることができる補間方法であれば用いることが可能である。
次に、重み係数演算部31において、#06で検出された正常画素Pの画素値を用いて、当該正常画素Pを検出した検出ラインLについての重み係数Wを演算する(#09)。1の検出ラインL1についての重み係数W1は、#08の処理において1の検出ラインL1について演算された対象画素Oの補間値H1を、後述するように他の方向の検出ラインLについて演算された対象画素Oの補間値Hとの関係で、どの程度の割合(重み)で最終修正値(重み付き平均値A)に対して用いるか、すなわち各検出ラインLについての対象画素Oの補間値Hがどの程度適正な値であるかという信頼性を定める係数である。
一般的に、ある1の検出ラインLに沿って対象画素Oを挟んだ両側に位置する正常画素P1の画素値と正常画素P2の画素値との値が離れている場合には、正常画素P1と正常画素P2との間に画像の境界、すなわち画像中の色彩の変わり目が存在する可能性が高く、逆に、正常画素P1の画素値と正常画素P2の画素値との値が近い場合には正常画素P1と正常画素P2との間に画像の境界が存在しない可能性が高い。このような場合において、画像の境界を跨ぐ方向に補間した欠陥画素の補間値Hよりも、画像の境界に沿う方向に補間した欠陥画素の補間値Hの方が適正な値である可能性が高いと考えられる。これは、画素値の変化が大きい方向に沿って正常画素の間に存在する対象画素O(欠陥画素)の画素値を線形補間等によって適正に推定することが困難であるのに対して、画素値の変化が少ない方向に沿った補間では対象画素Oの適正な補間値を容易に推定することが可能であることによる。
そこで、本実施形態においては、正常画素P1の画素値と正常画素P2の画素値のいずれか大きい方の値を分母とし、小さい方の値を分子とする比をR、G、Bの各成分のそれぞれについて演算し、重み係数Wr、Wg、Wbとする。これにより、重み係数Wは、正常画素P1の画素値と正常画素P2の画素値とが近いほど重みが重くなるような係数としてそれぞれ演算される。本実施形態に係る重み係数Wの演算式を、R、G、Bの各成分のうちのRを例として具体的に示すと、以下の式(2)のようになる。
Figure 0004239091
ここで、max(Rdat1,Rdat2)は上記Rdat1又はRdat2のいずれか大きい方の値、min(Rdat1,Rdat2)は上記Rdat1又はRdat2のいずれか小さい方の値、Wragl,m,nは検出ラインLについての重み係数である。なお、Rdat1及びRdat2の両方の値が「0」である場合には、計算が不可能になることを避けるため、Wragl,m,nは「1」とする処理を行う。G成分及びB成分についても、同様の方法により、補間値Wg及びWbをそれぞれ演算することができる。
また、検出ラインLについての重み係数Wの演算方法は、上記の方法に限定されるものではなく、正常画素P1の画素値と正常画素P2の画素値との差分の絶対値の所定値αに対する補数を所定値αで除した値をR、G、Bの各成分のそれぞれについて演算し、重み係数Wr、Wg、Wbとすることも可能である。このような重み係数Wの演算式を、R、G、Bの各成分のうちのRを例として具体的に示すと、以下の式(3)のようになる。
Figure 0004239091
ここで、所定値αは、正常画素P1の画素値と正常画素P2の画素値との差分の絶対値がとり得る最大値に設定すると好適である。これにより、正常画素P1の画素値と正常画素P2の画素値が近いほど重み係数Wが重くなるようにできる。なお、所定値αの値はこれに限定されるものではなく、正常画素P1の画素値と正常画素P2の画素値との差分の絶対値がとり得る最大値以下の値に設定することも可能である。ただし、その場合には、前記補数が負の値になる場合が生じ得るので、前記補数が「0」以下となる場合には、重み係数Wを「0」とする等の条件が必要となる。また、ここでは、重み係数Wが「0」以上「1」以下の値となるようにするため、前記補数を所定値αにより除算することとしているが、前記補数を所定値αにより除算することなく、重み係数Wとすることも可能である。
次に、#05の処理において決定された検出ラインL間の角度間隔に従って設定された、対象画素Oを通る複数方向の検出ラインLの全てについて、#06〜#09の処理を終了したか否かについて判断する(#10)。そして、上記複数方向の検出ラインLの全てについての#06〜#09の処理が終了していない場合(#10:NO)には、処理は#06へ戻り、既に処理が終了している検出ラインL以外の検出ラインLを選択し、#06〜#09の処理を繰り返し行う。
一方、上記複数方向の検出ラインLの全てについての#06〜#09の処理が終了した場合(#10:YES)には、重み付き平均値演算部32において、#03の処理において選択した1の対象画素Oについての重み付き平均値Aを演算する(#11)。すなわち#03〜#09の処理において演算された各検出ラインLについての対象画素Oの補間値Hと重み係数Wとを用いて、選択した1の対象画素Oの補間値Hの重み付き平均値Aを演算する。具体的には、R、G、Bの各成分のそれぞれについて、各検出ラインLについての補間値Hに当該検出ラインLについての重み係数Wのn乗を乗算した乗算値を、当該対象画素Oを通る複数の検出ラインLの全てについて総和し、この総和を前記乗算値の演算に用いた全ての重み係数Wのn乗の総和で除算することにより行う。この重み付き平均値Aの演算式を、R、G、Bの各成分のうちのRを例として具体的に示すと、以下の式(4)のようになる。
Figure 0004239091
本実施形態においては、対象画素Oを通る検出ラインLは、15°間隔で12本設定されており、そのそれぞれについてR、G、Bの各成分毎に、補間値Hr、Hg、Hbと重み係数Wr、Wg、Wbが演算されているので、重み付き平均値Aは、これら12個の補間値Hと重み係数Wのn乗の乗算値の和を、12個の重み係数Wのn乗の和で除算することにより演算される。
ここで、重み係数Wは「0」以上「1」以下の値となるので、重み係数Wをn乗することにより、重み係数Wの値を強調することができる。これにより、対象画素Oの周囲の画像の境界の存在する方向に沿って演算された対象画素Oの補間値Hが上記重み付き平均値Aに与える影響を大きくすることができ、画像の境界の方向を反映した適切な欠陥画素の修正を行うことが可能となる。ここで、nの値は、修正すべき画像の状態によって適切な値が異なることから、各種の画像データの統計等から実験的に求めた値とするのが好適であるが、一般的には、このnの値が小さすぎれば、修正後の画像は、像の境界がぼやけた状態となり、このnの値が大きすぎれば、修正後の画像は、像の境界がはっきりしすぎた状態となる。具体的には、通常の写真であれば、nの値は10〜30程度が適している場合が多く、更には、肌色と黒色との境界が適切に修正されるようなnの値としては20程度が適している場合が多い。
次に、修正部33において、#11の処理により演算された対象画素Oの重み付き平均値Aを用いて対象画素Oの修正を行う(#12)。具体的には、R、G、Bの各成分のそれぞれについて演算された対象画素Oの重み付き平均値Ar、Ag、Abを、逆対数変換し、その値を当該対象画素Oの最終修正値Fr、Fg、Fbとし、これらを対象画素OのR、G、Bの各成分の画素値に置き換えることにより行う。この最終修正値Fの演算式を、R、G、Bの各成分のうちのRを例として具体的に示すと、以下の式(5)のようになる。
Figure 0004239091
このように最終修正値Fの演算に際して、対象画素Oの重み付き平均値Aを逆対数変換するのは、上記#08の処理において、対象画素Oの補間値Hを演算する際に、正常画素P1及びP2のR成分の画素値を対数変換していることによるものである。したがって、ここでは自然対数の底「e」により逆対数変換を行う。なお、上記の式(1)において、正常画素P1及びP2の画素値を対数変換せずにそのまま用いた場合には、この逆対数変換の処理は行わないので、対象画素Oの重み付き平均値Ar、Ag、Abがそのまま最終修正値となる。
次に、#02の処理において正常/欠陥マップに欠陥画素として登録された全ての欠陥画素について、対象画素Oとして選択して#03〜#12の処理を既に終了したか否かについて判断する(#13)。ここで、全ての欠陥画素を対象画素Oとして選択済みでない場合には(#13:NO)、処理は#03へ戻り、既に処理が終了している対象画素O以外の対象画素Oを選択し、#03〜#12の処理を繰り返し行う。そして、全ての欠陥画素を対象画素Oとして選択し、#03〜#12の処理を既に終了した場合には(#13:YES)、画像処理装置1における欠陥画素の修正処理を終了する。
なお、上記実施形態においては、写真フィルム2から画像を読み取って印画紙3に記録する画像プリントシステム4に適用した場合について説明したが、本発明を適用する対象はこれに限定されるものではなく、画像データの欠陥部を修正して出力するものであれば、他の画像処理装置等に適用することも可能である。また、上記実施形態においては、可視光画像データとしてR、G、Bの色成分を有するカラーの画像データを扱う場合について説明したが、可視光画像データとして他の色成分を有するカラー画像データや、可視光画像データが一の色成分のみを有するモノクロの画像データを扱う場合についても、同様に本発明を適用することができる。
本発明は、画像データの欠陥部分の修正の際に、欠陥部内に複雑な画像の境界が存在する場合であってもそれらを反映した正確な修正処理を高い処理速度で行うことを可能にするものであって、各種の画像処理装置やプログラム等に用いることが可能である。
本発明の実施形態に係る画像プリントシステムの外観を示す斜視図 本発明の実施形態に係る画像プリントシステムの概略構成を示す模式図 本発明の実施形態に係る画像処理装置の機能を示すブロック図 本発明の実施形態に係る欠陥画素の修正処理のフローチャート 本発明の実施形態に係る欠陥画素の修正処理における、1の対象画素を通る複数方向の検出ラインに沿って正常画素Pを検出する処理の一例を示す説明図 本発明の実施形態に係る欠陥画素の修正処理における、対象画素の補間値の演算方法の一例を示すグラフ
符号の説明
1 画像処理装置
4 画像プリントシステム
5 画像読取装置
6 画像記録装置
17 CPU
18 メモリ
19 欠陥画素修正部
25 正常/欠陥判定部
26 対象画素選択部
27 正常画素検出部
28 検索間隔調節部
29 検索角度調節部
30 補間値演算部
31 重み係数演算部
32 重み付き平均値演算部
33 修正部
O 対象画素
P 正常画素
L 検出ライン
H 対象画素の補間値
W 重み係数
A 重み付き平均値
F 最終修正値

Claims (9)

  1. 画像データに含まれる欠陥画素の中から1の対象画素を選択する対象画素選択手段と、
    前記画像データに含まれる画素数に応じて検索間隔を調節する検索間隔調節手段と、
    前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出する正常画素検出手段と、
    前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算する補間値演算手段と、
    前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算する重み係数演算手段と、
    前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算する重み付き平均値演算手段と、
    前記重み付き平均値演算手段により演算された重み付き平均値を用いて前記対象画素の修正を行う修正手段と、
    を有する画像処理装置。
  2. 前記画像データに含まれる画素数に応じて、前記正常画素検出手段により正常画素を検出する際の隣接する前記検出ライン間の角度間隔を調節する検索角度調節手段を有する請求項1に記載の画像処理装置。
  3. 前記正常画素検出手段により各検出ラインに沿って検出された正常画素の画素値を対数変換した値を用いて、前記補間値演算手段による前記対象画素の補間値の演算と前記重み係数演算手段による各検出ラインについての重み係数の演算とを行い、前記重み付き平均値演算手段により演算された前記対象画素の補間値の重み付き平均値を逆対数変換した値を用いて、前記修正手段による前記対象画素の修正を行う請求項1又は2に記載の画像処理装置。
  4. 前記重み係数演算手段により演算された各検出ラインについての重み係数をn乗(nは10以上の任意の数)した値を用いて、前記重み付き平均値演算手段による前記対象画素の補間値の重み付き平均値の演算を行う請求項1から3の何れか1項に記載の画像処理装置。
  5. 前記重み係数演算手段は、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値とのいずれか大きい側の値を分母に、小さい側の値を分子に用いた比率を重み係数として演算する請求項1から4の何れか1項に記載の画像処理装置。
  6. 前記重み係数演算手段は、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との差分の絶対値の所定値に対する補数を重み係数として演算する請求項1から4の何れか1項に記載の画像処理装置。
  7. 前記補間値演算手段は、各検出ラインについての前記対象画素の補間値を、各検出ラインに沿って前記対象画素を挟んだ一方側に検出された正常画素の画素値を用いた値と他方側に検出された正常画素の画素値を用いた値との間の線形補間により演算する請求項1から6の何れか1項に記載の画像処理装置。
  8. 画像データに含まれる欠陥画素の中から1の対象画素を選択するステップと、
    前記画像データに含まれる画素数に応じて検索間隔を調節して、前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出するステップと、
    前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算するステップと、
    前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算するステップと、
    前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算するステップと、
    前記重み付き平均値を用いて前記対象画素の修正を行うステップと、
    を有する画像処理方法。
  9. 画像データに含まれる欠陥画素の中から1の対象画素を選択するステップと、
    前記画像データに含まれる画素数に応じて検索間隔を調節して、前記対象画素を通る複数方向の検出ラインに沿った前記検索間隔毎の画素から前記対象画素を挟んだ両側にそれぞれ1又は2以上の正常画素を検出するステップと、
    前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての前記対象画素の補間値を演算するステップと、
    前記各検出ラインに沿って検出された正常画素の画素値を用いて、各検出ラインについての重み係数を演算するステップと、
    前記各検出ラインについての前記対象画素の補間値と重み係数とを用いて、前記対象画素の補間値の重み付き平均値を演算するステップと、
    前記重み付き平均値を用いて前記対象画素の修正を行うステップと、
    をコンピュータに実行させるための画像処理プログラム。
JP2004031932A 2004-02-09 2004-02-09 画像処理装置、方法、及びプログラム Expired - Fee Related JP4239091B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004031932A JP4239091B2 (ja) 2004-02-09 2004-02-09 画像処理装置、方法、及びプログラム
CNB200410100019XA CN1323542C (zh) 2004-02-09 2004-11-30 图像处理装置、方法、以及程序
EP05002528A EP1562145B1 (en) 2004-02-09 2005-02-07 Image processing apparatus and image processing method for correcting image data
EP05002525A EP1562144B1 (en) 2004-02-09 2005-02-07 Image processing apparatus and image processing method for correcting image data
DE602005000572T DE602005000572T2 (de) 2004-02-09 2005-02-07 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zur Korrektur von Bilddaten
DE602005020867T DE602005020867D1 (de) 2004-02-09 2005-02-07 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zur Korrektur von Bilddaten
US11/054,778 US7356167B2 (en) 2004-02-09 2005-02-09 Image processing apparatus and image processing method for correcting image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004031932A JP4239091B2 (ja) 2004-02-09 2004-02-09 画像処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2005223815A JP2005223815A (ja) 2005-08-18
JP4239091B2 true JP4239091B2 (ja) 2009-03-18

Family

ID=34824193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004031932A Expired - Fee Related JP4239091B2 (ja) 2004-02-09 2004-02-09 画像処理装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US7356167B2 (ja)
JP (1) JP4239091B2 (ja)
CN (1) CN1323542C (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007036055A1 (en) * 2005-09-30 2007-04-05 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
JP2008018047A (ja) * 2006-07-13 2008-01-31 Fujifilm Corp 欠陥領域補正装置および方法並びにプログラム、放射線検出装置
US7932938B2 (en) * 2006-08-25 2011-04-26 Micron Technology, Inc. Method, apparatus and system providing adjustment of pixel defect map
US8559762B2 (en) 2007-12-28 2013-10-15 Nikon Corporation Image processing method and apparatus for interpolating defective pixels
JP5365740B2 (ja) * 2010-03-10 2013-12-11 富士通株式会社 画像復号装置、画像復号方法及び画像復号用コンピュータプログラム
TWI407801B (zh) * 2010-08-11 2013-09-01 Silicon Motion Inc 用來進行壞像素補償之方法與用來進行壞像素補償之裝置
TWI488484B (zh) * 2010-08-18 2015-06-11 Silicon Motion Inc 用來進行去雜訊處理之方法與用來進行去雜訊處理之裝置
JP6111730B2 (ja) * 2012-03-28 2017-04-12 株式会社リコー 測色装置、画像形成装置、測色システムおよび測色方法
US8731324B1 (en) * 2012-11-02 2014-05-20 Cyberlink Corp. Systems and methods for performing image inpainting
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN117095134B (zh) * 2023-10-18 2023-12-22 中科星图深海科技有限公司 一种三维海洋环境数据插值处理方法
CN118154459A (zh) * 2024-05-10 2024-06-07 浙江大华技术股份有限公司 基于非局部均值滤波的图像降噪方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4910694A (en) * 1988-01-11 1990-03-20 Eastman Kodak Co Method for approximating a value which is a nonlinear function of the linear average of pixel data
JPH02162475A (ja) * 1988-12-15 1990-06-22 Dainippon Screen Mfg Co Ltd 画像輪郭修正方法
US5097518A (en) * 1990-02-27 1992-03-17 Eastman Kodak Company Technique for performing digital image scaling by logically combining or replicating pixels in blocks of differing groupsizes
EP0624848A3 (en) * 1993-05-04 1994-11-30 Eastman Kodak Company A technique for the detection and removal of local defects in digital continuous-tone images
JP2590705B2 (ja) * 1993-09-28 1997-03-12 日本電気株式会社 動き補償予測装置
US5875040A (en) * 1995-12-04 1999-02-23 Eastman Kodak Company Gradient based method for providing values for unknown pixels in a digital image
CN1155222A (zh) * 1996-01-15 1997-07-23 国际电气株式会社 图像数据的补偿方法及补偿装置
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JPH1198370A (ja) 1997-07-24 1999-04-09 Nikon Corp 画像処理方法、画像処理装置及び制御手順を記憶する記憶媒体
JP4005277B2 (ja) 1999-09-06 2007-11-07 富士フイルム株式会社 画像処理装置、方法及び記録媒体
US6741754B2 (en) * 2001-02-19 2004-05-25 Eastman Kodak Company Correcting for defects in a digital image taken by an image sensor caused by pre-existing defects in two pixels in adjacent columns of an image sensor
JP3938120B2 (ja) * 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
US7356167B2 (en) 2008-04-08
US20050175220A1 (en) 2005-08-11
CN1323542C (zh) 2007-06-27
CN1655581A (zh) 2005-08-17
JP2005223815A (ja) 2005-08-18

Similar Documents

Publication Publication Date Title
JP3938120B2 (ja) 画像処理装置、方法、及びプログラム
JP3952301B2 (ja) 画像処理装置、方法、及びプログラム
JP4244018B2 (ja) 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
US7356167B2 (en) Image processing apparatus and image processing method for correcting image data
US7433545B2 (en) Image processing apparatus and image processing method for correcting image data
US20060245002A1 (en) Image processing method and program for restricting granular noise and module for implementing the method
JP2003344021A (ja) 画像中の人の顔の寸法を計算する方法及び顔を検出する方法
JP4655210B2 (ja) 濃度補正曲線生成方法と濃度補正曲線生成モジュール
EP1562145B1 (en) Image processing apparatus and image processing method for correcting image data
JP4366634B2 (ja) ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置
JP5157760B2 (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
JP3997486B2 (ja) 画像処理装置、方法及びプログラム
JP4433285B2 (ja) 画像の不要領域を修正するための画像処理方法
JP5157677B2 (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
JP4513006B2 (ja) 乳剤傷判定方法及び乳剤傷判定システム
JP2006301675A (ja) 画像処理装置及び画像処理方法
JP2005159388A (ja) コントラスト調整方法及びこの方法を実施するコントラスト調整装置
JP2006024013A (ja) フィルム情報コード解読方法及びこの方法を実施するシステム
JP2007235737A (ja) 欠陥画素修正方法及び欠陥画素修正システム
JP2005078314A (ja) 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP2005091434A (ja) 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4239091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees