WO2007023817A1 - 画像処理システムおよび画像処理プログラム - Google Patents

画像処理システムおよび画像処理プログラム Download PDF

Info

Publication number
WO2007023817A1
WO2007023817A1 PCT/JP2006/316425 JP2006316425W WO2007023817A1 WO 2007023817 A1 WO2007023817 A1 WO 2007023817A1 JP 2006316425 W JP2006316425 W JP 2006316425W WO 2007023817 A1 WO2007023817 A1 WO 2007023817A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image processing
defective
image
unit
Prior art date
Application number
PCT/JP2006/316425
Other languages
English (en)
French (fr)
Inventor
Hideo Hoshuyama
Masato Takeishi
Keiichi Nitta
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to JP2007532132A priority Critical patent/JP4985403B2/ja
Priority to US11/988,273 priority patent/US8089537B2/en
Publication of WO2007023817A1 publication Critical patent/WO2007023817A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • an interpolation unit that performs an interpolation process on the image
  • the detection unit and the estimation unit are configured to detect the correlation when the interpolation unit performs the interpolation process. It is also possible to estimate the pixel value.
  • FIG. 2 is a flowchart showing the operation of the interpolation and defective pixel correction unit 7.
  • FIG. 5 is another diagram illustrating correction of defective pixels.
  • the electronic camera 1 includes an image sensor 2 that captures a subject image, an AZD conversion unit 3 that performs AZD conversion, a defective pixel identification information creation unit 4 that creates identification information that is a feature of the present invention, White balance adjustment unit 5 that performs white balance adjustment, gamma processing unit 6 that performs gamma processing, interpolation and defective pixel correction unit 7 that performs interpolation processing and defective pixel correction that is a feature of the present invention, color reproduction processing, color space conversion, etc.
  • the defective pixel identification information creation unit 4 creates identification information indicating that the pixel is a defective pixel.
  • the pixel value of the defective pixel is replaced with 4095.
  • 4095 is the maximum value that the pixel value can take, and 4095 is a mark indicating that it is a defective pixel as it is. It is also possible to employ a configuration in which a defective pixel is automatically detected based on the average value of neighboring pixels other than the defective pixel address information.
  • the white balance adjustment unit 5 When the pixel value in the defective pixel is replaced, the white balance adjustment unit 5 performs white balance adjustment, and the gamma processing unit 6 performs gamma processing. Since specific methods of white balance adjustment and gamma processing are the same as those in the known art, description thereof will be omitted. However, in each process, when a mark indicating a defective pixel (pixel value: 4095) is detected, the white balance adjustment unit 5 performs image processing without modifying the identification information by performing the following process. .
  • FIG. 2 is a flowchart showing the operation of the interpolation and defective pixel correction unit 7.
  • step S1 the interpolation and defective pixel correction unit 7 checks the pixels included in the image after the gamma processing in a predetermined order, and determines whether or not a mark (pixel value: 4095) as a defective pixel is detected. Determine whether. In this embodiment, the process proceeds from the upper left pixel in the right direction, and when the first line ends, the process proceeds to the leftmost pixel in the second line. If the interpolation and defective pixel correction unit 7 determines that a mark has been detected, the process proceeds to step S2. on the other hand, If no mark is detected even after checking all the pixels included in the image after the gamma processing, the process proceeds to step S10 described later.
  • step S2 the interpolation and defective pixel correction unit 7 determines whether or not the force is detected in the pixel adjacent to the pixel in which the mark is detected (hereinafter referred to as "target pixel"). For example, when the pixel ⁇ indicating “ ⁇ ” in FIG. 3A is the target pixel, the interpolation and defective pixel correction unit 7 determines whether or not a mark exists in the four pixels indicated by the frame E0, and If it is determined that a mark is detected in a pixel adjacent to the pixel, the process proceeds to step S3. If it is determined that a mark is not detected in a pixel adjacent to the target pixel, the process proceeds to step S7 described later.
  • step S3 the case of “Yes” is a case where there are three consecutive marks (defective pixels are present) in any of the vertical, horizontal, and diagonal directions.
  • step S6 If the interpolation and defective pixel correction unit 7 determines that the continuous direction and the correlation direction of the defective pixels are the same, the process proceeds to step S6. On the other hand, if it is determined that the continuous direction of the defective pixel is not the same as the correlation direction, the process proceeds to step S7 described later.
  • step S 6 the interpolation and defective pixel correction unit 7 estimates the pixel value of the target pixel based on the pixel value of the nearest pixel of the same color. Then, the interpolation and defective pixel correction unit 7 proceeds to Step S9 described later.
  • step S10 the interpolation and defective pixel correction unit 7 determines whether or not processing has been performed on all pixels included in the image after gamma processing, and processing is performed on all pixels. If it is determined that the process has been performed, the series of processing ends. On the other hand, all pixels are processed If not, the process returns to step S1, and the process from step S1 is performed on the subsequent pixels.
  • the color processing unit 8 performs color processing on the image after interpolation and defective pixel correction, and the contour enhancement unit 9
  • the image is compressed by the compression unit 10 and output to a recording unit (not shown). Note that specific methods such as color processing, contour enhancement, and compression are the same as those in the publicly known technology, and thus description thereof is omitted.
  • FIG. 6 is a flowchart showing the operation of the interpolation and defective pixel correction unit 7 when the second method is performed.
  • identification information is created in a state where the gradation information is the largest in the imaging system using the imaging device. Therefore, more accurate and high-quality correction of defective pixels can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の画像処理システムは、撮像素子と、撮像素子に生じる欠陥画素の位置を示す情報を取得する取得部と、撮像素子を介して生成される画像における欠陥画素の位置を示す識別情報を作成する作成部と、欠陥画素ごとに、近傍画素との相関性を検出する検出部と、検出部による検出結果に応じて、欠陥画素ごとの画素値を推定する推定部とを備えることで、より正確で質の良い欠陥画素の補正を実現することができる。なお、画像処理システムは、撮像装置と画像処理プログラムを記録したコンピュータとから成り、撮像装置は、撮像素子と、取得部と、作成部とを含み、画像処理プログラムは、コンピュータを、検出部と、推定部として機能させても良い。

Description

明 細 書
画像処理システムおよび画像処理プログラム
技術分野
[0001] 本発明は、欠陥画素を補正する画像処理システムおよび画像処理プログラムに関 する。
背景技術
[0002] 従来より、電子カメラなどの撮像装置では、光電変換の手段として撮像素子が広く 用いられて 、る。このような撮像素子では受光素子の欠陥あるいは受光面の不均一 性などによる欠陥画素が生じる場合がある。このような欠陥画素では画素の出力が異 常になり、輝点や黒点となって再現される。このような欠陥画素を補正するために、置 換などの技術が用いられている (例えば、特許文献 1参照)。
特許文献 1 :特開平 5— 41868号公報
発明の開示
発明が解決しょうとする課題
[0003] しかし、上述した特許文献 1の発明では、被写体の状態や撮影時の条件によって は、十分な補正を行うことが困難であり、満足できる補正効果を得られない場合があ つた o
本発明は、より正確で質の良い欠陥画素の補正を実現可能な画像処理システムお よび画像処理プログラムを提供することを目的とする。
課題を解決するための手段
[0004] 本発明の画像処理システムは、撮像素子と、前記撮像素子に生じる欠陥画素の位 置を示す情報を取得する取得部と、前記撮像素子を介して生成される画像における 前記欠陥画素の位置を示す識別情報を作成する作成部と、前記欠陥画素ごとに、 近傍画素との相関性を検出する検出部と、前記検出部による検出結果に応じて、前 記欠陥画素ごとの画素値を推定する推定部とを備える。
[0005] なお、好ましくは、前記画像処理システムは、撮像装置と画像処理プログラムを記 録したコンピュータとから成り、前記撮像装置は、前記撮像素子と、前記取得部と、前 記作成部とを含み、前記画像処理プログラムは、前記コンピュータを、前記検出部と 、前記推定部として機能させても良い。
また、好ましくは、前記撮像装置の前記作成部は、前記識別情報を前記画像のへ ッダ情報として作成し、前記コンピュータは、前記画像とともに前記ヘッダ情報を取得 しても良い。
[0006] また、好ましくは、前記画像に対して補間処理を施す補間部を備え、前記検出部お よび前記推定部は、前記補間部が前記補間処理を施す際に、前記相関性の検出お よび前記画素値の推定を行っても良 ヽ。
また、好ましくは、前記検出部は、前記識別情報に基づいて、前記欠陥画素に隣 接する画素が欠陥画素であるか否かを判定しても良い。
[0007] また、好ましくは、前記推定部は、前記欠陥画素を含む 3つ以上の欠陥画素が、任 意の方向に連続して存在し、かつ、それらの欠陥画素が連続している方向と、最も高 い相関性を有する方向とが同じである場合には、最近傍の同色の画素の画素値に 基づいて、前記欠陥画素の画素値を推定しても良い。
また、好ましくは、前記作成部は、前記画像における前記欠陥画素の位置を示す 識別情報の作成として、前記欠陥画素の画素値を、前記画素値が取り得る最大値と 最小値との少なくとも一方に置き換えても良い。
[0008] また、好ましくは、前記推定部による前記画素値の推定を行う前に、前記画像に対 してホワイトバランス調整と色処理と階調変換処理との少なくとも 1つを含む画像処理 を施す画像処理部を備え、前記画像処理部は、前記識別情報を改変せずに前記画 像処理を行っても良い。
また、好ましくは、前記作成部は、前記撮像素子による撮像系の中で、階調情報の 最も多 、状態にぉ 、て前記識別情報の作成を行っても良 、。
[0009] 本発明の画像処理プログラムは、欠陥画素の位置に、欠陥画素であることを示す 識別情報を有した画像に対する画像処理をコンピュータで実現する画像処理プログ ラムであって、前記欠陥画素であることを示す前記識別情報を有した画像を取得す る取得ステップと、前記欠陥画素の画素値を、近傍の画素値に基づいて置換する置 換ステップと、前記画像に対して補間処理を施す補間ステップとを有し、前記置換ス テツプは、前記補間ステップにおいて前記補間処理が終了するまでの間に、前記欠 陥画素の画素値を、近傍の画素値に基づいて置換する。
発明の効果
[0010] 本発明の画像処理システムおよび画像処理プログラムによれば、より正確で質の良 V、欠陥画素の補正を実現することができる。
図面の簡単な説明
[0011] [図 1]第 1実施形態の電子カメラ 1の構成および処理の流れを示す図である。
[図 2]補間および欠陥画素補正部 7の動作を示すフローチャートである。
[図 3]欠陥画素の補正について説明する図である。
[図 4]欠陥画素の補正について説明する別の図である。
[図 5]欠陥画素の補正について説明する別の図である。
[図 6]補間および欠陥画素補正部 7の動作を示す別のフローチャートである。
[図 7]第 2実施形態の画像処理システム 100の構成および処理の流れを示す図であ る。
[図 8]欠陥画素の補正について説明する別の図である。
発明を実施するための最良の形態
[0012] 《第 1実施形態》
以下、図面を用いて本発明の第 1実施形態について説明する。第 1実施形態では 、本発明の画像処理システムを備えた電子カメラ 1を用いて説明を行う。
電子カメラ 1は、図 1に示すように、被写体像を撮像する撮像素子 2、 AZD変換を 行う AZD変換部 3、本発明の特徴である識別情報を作成する欠陥画素識別情報作 成部 4、ホワイトバランス調整を行うホワイトバランス調整部 5、ガンマ処理を行うガンマ 処理部 6、補間処理および本発明の特徴である欠陥画素補正を行う補間および欠陥 画素補正部 7、色再現処理や色空間変換などを行う色処理部 8、輪郭強調処理を行 う輪郭強調部 9、画像を圧縮する圧縮部 10を備える。
[0013] 撮像素子 2から出力された信号は、 AZD変換部 3でアナログ信号カゝらディジタル 信号に変換される。従来の技術では、この AZD変換の後に、欠陥画素のアドレス情 報を検出し、検出したアドレス情報に基づいて、当該画素の画素値を近傍の値に置 換する。また、本実施形態では、撮像素子 2はべィァ配列を有するものとする。
本実施形態では、 AZD変換の後に、欠陥画素識別情報作成部 4において、その 画素が欠陥画素であることを示す識別情報を作成する。例えば、 AZD変換部 3が 1 2bitの精度を有している場合、欠陥画素の画素値を 4095に置き換える。 4095は、 画素値が取り得る最大値であり、 4095であることがそのまま欠陥画素であることを示 すマークとなる。なお、欠陥画素のアドレス情報ではなぐ近傍の画素の平均値など 力も自動的に欠陥画素を検出する構成としても良い。
[0014] 欠陥画素における画素値の置き換えを行うと、ホワイトバランス調整部 5はホワイトバ ランス調整を行い、ガンマ処理部 6はガンマ処理を行う。ホワイトバランス調整および ガンマ処理の具体的な方法は公知技術と同様であるため説明を省略する。ただし、 各処理において、欠陥画素であるというマーク（画素値: 4095)を検出すると、ホワイ トバランス調整部 5は、以下の処理を行うことにより、識別情報を改変せずに画像処 理を行う。
[0015] すなわち、ホワイトバランス調整前のデータを Db、ホワイトバランス調整後のデータ を Daとすると、
if Db=4095 then Da=4095
if Db≠4095 then
if Da≥4095 then Da=4094
なるクリップ処理を行う。ガンマ処理部 6についても、同様の処理を行うことにより、 識別情報を改変せずに画像処理を行う。
[0016] 次に、補間および欠陥画素補正部 7は、補間と同時に欠陥画素の補正処理を行う 図 2は、補間および欠陥画素補正部 7の動作を示すフローチャートである。 ステップ S1において、補間および欠陥画素補正部 7は、ガンマ処理後の画像に含 まれる画素を予め定められた順番でチェックし、欠陥画素であるというマーク（画素値 :4095)が検出されたか否かを判定する。なお、本実施形態は、左上の画素から右 方向に進み、一行目が終了すると 2行目の左端の画素に進む。そして、補間および 欠陥画素補正部 7は、マークが検出されたと判定すると、ステップ S2に進む。一方、 ガンマ処理後の画像に含まれる全ての画素をチェックしても、マークが検出されない 場合には、後述するステップ S 10に進む。
[0017] ステップ S2において、補間および欠陥画素補正部 7は、マークが検出された画素（ 以下、「注目画素」と称する）に隣接する画素でマークが検出された力否かを判定す る。例えば、図 3Aの「〇」を示した画素 ρθが注目画素である場合、補間および欠陥 画素補正部 7は、枠 E0に示す 4つの画素において、マークが存在するか否かを判定 し、注目画素に隣接する画素でマークが検出されたと判定すると、ステップ S3に進み 、注目画素に隣接する画素でマークが検出されないと判定すると、後述するステップ S7に進む。
[0018] ステップ S3において、補間および欠陥画素補正部 7は、さらに隣接する画素でマ ークが検出されたか否かを判定する。例えば、ステップ S2において、図 3Aの「〇」を 示した画素 piでマークが検出された場合、補間および欠陥画素補正部 7は、枠 E1 に示す画素において、マークが存在するか否かを判定する。また、ステップ S 2にお いて、図 3Aの「〇」を示した画素 p2, 3, 4でマークが検出された場合、補間および欠 陥画素補正部 7は、それぞれ枠 E2, 3, 4に示す画素において、マークが存在するか 否かを判定する。そして、さらに隣接する画素でマークが検出されたと判定すると、ス テツプ S4に進み、さらに隣接する画素でマークが検出されないと判定すると、後述す るステップ S7に進む。なお、ステップ S3において、「Yes」である場合とは、縦、横、斜 めの何れかの方向に連続して 3つのマークが存在する (欠陥画素が存在する）場合 である。
[0019] ステップ S4にお 、て、補間および欠陥画素補正部 7は、ステップ S1からステップ S 3で検出したマークが全て G画素のものである力否かを判定する。本実施形態の撮 像素子 2は、べィァ配列を有するため、全て G画素であるということは、すなわち、図 3 Bに示す L1または L2に示すように、斜めに連続する G画素において、マークが検出 されたということである。補間および欠陥画素補正部 7は、全て G画素のものであると 判定すると、後述するステップ S6に進む。一方、全て G画素のものではない（G画素 、 R画素、 B画素の少なくとも 2つを含む）と判定すると、ステップ S5に進む。
[0020] ステップ S5において、補間および欠陥画素補正部 7は、欠陥画素の連続方向と相 関方向とが同じである力否かを判定する。補間および欠陥画素補正部 7は、まず、注 目画素とその近傍の画素との相関性を検出する。例えば、補間および欠陥画素補正 部 7は、図 4に示すように、注目画素 ρθを中心として、縦、横、斜め（a〜d)の 4方向の 相関性を検出する。そして、相関性が最も高い方向である相関方向と欠陥画素の連 続方向とが同じである力否かを判定する。補間および欠陥画素補正部 7は、欠陥画 素の連続方向と相関方向とが同じであると判定すると、ステップ S6に進む。一方、欠 陥画素の連続方向と相関方向とが同じでないと判定すると、後述するステップ S7に 進む。
[0021] ステップ S6において、補間および欠陥画素補正部 7は、最近傍の同色の画素の画 素値に基づいて、注目画素の画素値を推定する。そして、補間および欠陥画素補正 部 7は、後述するステップ S9に進む。
ステップ S7において、補間および欠陥画素補正部 7は、注目画素とその近傍の画 素との相関性を検出する。検出の具体的な方法は後述する。なお、ステップ S7の処 理が行われる場合とは、ステップ S2およびステップ S3の判定により、欠陥画素が 3つ 以上連続していないと判定された場合と、ステップ S5の判定により、欠陥画素の連続 方向と相関方向とが同じでないと判定された場合である。この場合には、補間および 欠陥画素補正部 7は、後述する欠陥画素の補正を行う。
[0022] ステップ S8にお 、て、補間および欠陥画素補正部 7は、ステップ S7で検出した相 関性に基づいて、注目画素の画素値を推定する。推定の具体的な方法は後述する ステップ S9において、補間および欠陥画素補正部 7は、公知技術と同様の補間処 理を行う。なお、補間処理において、上述した各ステップで検出した相関性に関する 情報などを用いて、補間処理を行うと良い。なお、ステップ S1において、欠陥画素で あるというマーク（画素値: 4095)を検出しない場合にも、公知技術と同様の補間処 理を行う。
[0023] ステップ S10において、補間および欠陥画素補正部 7は、ガンマ処理後の画像に 含まれる全ての画素にお 、て処理を行ったか否かを判定し、全ての画素にお 、て処 理を行ったと判定すると、一連の処理を終了する。一方、全ての画素において処理を 行っていない場合には、ステップ S1に戻り、続きの画素においてステップ S1からの 処理を行う。
補間および欠陥画素補正部 7が図 2のフローチャートで説明した一連の処理を終 了すると、色処理部 8は、補間および欠陥画素補正後の画像に対して色処理を施し 、輪郭強調部 9は、輪郭強調を施し、圧縮部 10にて画像を圧縮して不図示の記録部 などに出力する。なお、色処理、輪郭強調、圧縮等の具体的な方法は公知技術と同 様であるため説明を省略する。
[0024] 次に、図 2のフローチャートのステップ S7およびステップ S8で説明した相関性の検 出および注目画素の画素値の推定の詳細を説明する。
<第 1の方法 >
補間および欠陥画素補正部 7は、注目画素とその近傍の画素との相関性を検出す る。補間および欠陥画素補正部 7は、図 4に示した縦、横、斜め（a〜d)の 4方向の相 関性を検出する。例えば、注目画素が図 5Aの中央の R画素であった場合、検出した 各方向の相関性のうち、相関性の最も高!ヽ縦方向（図 4の矢印 aの方向）を補正方向 として決定する。そして、図 5Bに示すように、縦方向において上下の画素の平均値を 求めて、置き換えを行うことにより、注目画素の画素値を推定する。
[0025] <第 2の方法 >
図 6は、第 2の方法を行う際の補間および欠陥画素補正部 7の動作を示すフローチ ヤートである。
ステップ S21において、補間および欠陥画素補正部 7は、注目画素が B画素である か否かを判定する。補間および欠陥画素補正部 7は、注目画素が B画素であると判 定すると、ステップ S22に進む。一方、注目画素が B画素でない（G画素または R画素 である）と判定すると、後述するステップ S 25に進む。
[0026] ステップ S22において、補間および欠陥画素補正部 7は、注目画素である B画素に 隣接する G画素および R画素の画素値に基づ 、て、注目画素の G画素成分および R 画素成分を補間する。補間により生成された G画素成分を「G'画素」と称し、 R画素 成分を「R '画素」と称する。
ステップ S23において、補間および欠陥画素補正部 7は、ステップ S22で生成した G'画素および R'画素を用いて、近傍の G画素および R画素との相関性を検出する。
[0027] ステップ S24にお 、て、補間および欠陥画素補正部 7は、ステップ S23で検出した 相関性に基づいて、注目画素である B画素の画素値を推定する。補間および欠陥画 素補正部 7は、ステップ S23で検出した各方向の相関性に基づいて、補正方向を決 定し、補正方向において近傍の画素の平均値などを求めて、置き換えを行うことによ り、注目画素の画素値を推定する。
[0028] ステップ S21にお!/、て、注目画素が B画素でな!、（G画素または R画素である）と判 定すると、ステップ S25において、補間および欠陥画素補正部 7は、注目画素が G画 素であるか否かを判定する。補間および欠陥画素補正部 7は、注目画素が G画素で あると判定すると、ステップ S26に進む。一方、注目画素が G画素でない (R画素であ る）と判定すると、後述するステップ S29に進む。
[0029] ステップ S26からステップ S28において、補間および欠陥画素補正部 7は、上述し たステップ S22からステップ S24にならつた処理を行う。すなわち、ステップ S26にお いて、注目画素である G画素に隣接する B画素および R画素の画素値に基づいて、 注目画素の B画素成分（「B '画素」 )および R画素成分（「R'画素」）を補間する。そし て、ステップ S27において、 B，画素および R，画素を用いて、近傍の B画素および R 画素との相関性を検出する。そして、ステップ S28において、ステップ S27で検出し た相関性に基づ 、て、注目画素である G画素の画素値を推定する。
[0030] また、ステップ S29からステップ S31にお 、て、補間および欠陥画素補正部 7は、上 述したステップ S22からステップ S24にならつた処理を行う。すなわち、ステップ S29 において、注目画素である R画素に隣接する B画素および G画素の画素値に基づい て、注目画素の B画素成分（「B '画素」）および G画素成分（「G '画素」）を補間する。 そして、ステップ S30において、 B'画素および G'画素を用いて、近傍の B画素およ び G画素との相関性を検出する。そして、ステップ S31において、ステップ S30で検 出した相関性に基づ 、て、注目画素である R画素の画素値を推定する。
[0031] 以上説明したように、第 1実施形態によれば、撮像素子に生じる欠陥画素の位置を 示す情報を取得し、撮像素子を介して生成される画像における欠陥画素の位置を示 す識別情報を作成する。そして、欠陥画素ごとに、近傍画素との相関性を検出し、検 出結果に応じて、欠陥画素ごとの画素値を推定する。したがって、より正確で質の良 V、欠陥画素の補正を実現することができる。
[0032] また、第 1実施形態によれば、画像に対して補間処理を施す際に、相関性の検出 および画素値の推定を行う。したがって、補間処理において算出される相関情報を 用いて、効率良く相関性の検出および画素値の推定を行うことができる。
また、第 1実施形態によれば、識別情報に基づいて、欠陥画素に隣接する画素が 欠陥画素であるか否かを判定する。したがって、注目する欠陥画素に隣接する画素 の状態に応じた補正を実現することができる。
[0033] また、第 1実施形態によれば、注目する欠陥画素を含む 3つ以上の欠陥画素が、任 意の方向に連続して存在し、かつ、それらの欠陥画素が連続している方向と、最も高 い相関性を有する方向とが同じである場合には、最近傍の同色の画素の画素値に 基づいて、注目する欠陥画素の画素値を推定する。したがって、本発明の欠陥画素 補正が適切でない欠陥画素について、画像の劣化を最小限に抑えることができる。
[0034] また、第 1実施形態によれば、画像における欠陥画素の位置を示す識別情報の作 成として、欠陥画素の画素値を、画素値が取り得る最大値と最小値との少なくとも一 方に置き換える。したがって、画像自体に識別情報を埋め込むことができる。
また、第 1実施形態によれば、画素値の推定を行う前に、画像に対してホワイトバラ ンス調整と色処理と階調変換処理との少なくとも 1つを含む画像処理を施すが、この 際に、識別情報を改変せずに画像処理を行う。したがって、画素値の推定を行うまで の間、識別情報を保持し続けることができ、画素値の推定を正確に実行することがで きる。
[0035] なお、第 1実施形態では、識別情報として欠陥画素であるというマーク (画素値: 40 95)を用いる例を示したが、欠陥画素識別情報作成部 4において、欠陥画素のァドレ ス情報をヘッダ情報として作成するようにしても良 、。
《第 2実施形態》
以下、図面を用いて本発明の第 2実施形態について説明する。第 2実施形態では 、図 7に示すように、電子カメラとコンピュータとからなる画像処理システム 100を用い て説明を行う。 [0036] 第 2実施形態の電子カメラは、第 1実施形態の電子カメラと同様の構成を持つ。した がって、以下では第 1実施形態の電子カメラ 1と同様の符号を用いて説明を行う。た だし、第 2実施形態においては、電子カメラ 1は、第 1実施形態と同様に、欠陥画素識 別情報作成部 4により識別情報を作成した後の画像データをコンピュータ 20に出力 する。識別情報が特定の画素値 (第 1実施形態では、 4095)である場合には、画像 のみを出力し、識別情報がヘッダ情報 (欠陥画素のアドレス情報を含む)である場合 には、画像とともにヘッダ情報を出力する。また、コンピュータ 20内の各部において、 第 1実施形態の電子カメラ 1と同様の構成については、第 1実施形態と同様の符号を 用いて説明を行う。
[0037] 電子カメラ 1から画像を取得すると、ホワイトバランス調整部 5は第 1実施形態と同様 にホワイトバランス調整を行う。なお、ただし、各処理において、欠陥画素であるという 識別情報を検出すると、ホワイトバランス調整部 5は、第 1実施形態と同様に、識別情 報を改変せずに画像処理を行う。
そして、補間および欠陥画素補正部 7は、ホワイトバランス調整後の画像に対して 補間と同時に欠陥画素の補正処理を行う。第 1実施形態では、ガンマ処理部 6による ガンマ処理後の画像に対して補間と同時に欠陥画素の補正処理を行った。これと比 較して、第 2実施形態では、ガンマ処理前の画像に対して補間と同時に欠陥画素の 補正処理を行う。すなわち、階調情報が多い状態で欠陥画素の補正処理を行うこと により、より正確で質の良い欠陥画素の補正をコンピュータにおいて実現することが できる。なお、補間および欠陥画素補正は、第 1実施形態と同様に行われる。
[0038] そして、色再現処理部 21は、欠陥画素補正後の画像に対して色再現処理を施し、 ガンマ処理部 6は、ガンマ処理を施し、色空間変換部 22は、 RGB力 YCbCrへの 色空間変換を行う。なお、色再現処理および色空間変換の具体的な方法は公知技 術と同様であるため説明を省略する。なお、ガンマ処理部 6は、第 1実施形態と異なり 、欠陥画素補正後の画像に対してガンマ処理を施すため、第 1実施形態のように識 別情報の改変にっ 、て留意する必要はな 、。
[0039] さらに、輪郭強調部 9は、輪郭強調を施し、ノイズリダクション部 23は、ノイズリダクシ ヨンを実行し、圧縮部 10にて画像を圧縮して不図示の記録部などに出力する。なお 、輪郭強調、ノイズリダクション、圧縮等の具体的な方法は公知技術と同様であるた め説明を省略する。
以上説明したように、第 2実施形態によれば、撮像装置と画像処理プログラムを記 録したコンピュータとから成り、撮像装置は、撮像素子に生じる欠陥画素の位置を示 す情報を取得し、撮像素子を介して生成される画像における欠陥画素の位置を示す 識別情報を作成する。そして、コンピュータは、欠陥画素ごとに、近傍画素との相関 性を検出し、検出結果に応じて、欠陥画素ごとの画素値を推定する。したがって、より 正確で質の良い欠陥画素の補正を実現することができる。また、撮像装置における 処理を軽減するとともに、コンピュータにおいて、ユーザの要求に合った質の良い欠 陥画素の補正を実現することができる。
[0040] また、第 2実施形態によれば、撮像装置は、識別情報を画像のヘッダ情報として作 成し、コンピュータは、画像とともにヘッダ情報を取得する。したがって、画素値の置 き換えを行わなくても、識別情報を利用することができる。また、撮像装置からコンビ ユータに供給されるまでの間に圧縮処理が行われても、識別情報を改変させずに保 持することができる。
[0041] また、第 2実施形態によれば、撮像素子による撮像系の中で、階調情報の最も多い 状態において識別情報の作成を行う。したがって、より正確で質の良い欠陥画素の 補正を実現することができる。
また、第 2実施形態によれば、欠陥画素の位置に、欠陥画素であることを示す識別 情報を有した画像に対する画像処理をコンピュータで実現する際に、補間処理が終 了するまでの間に、欠陥画素の画素値を、近傍の画素値に基づいて置換する。した 力 て、より正確に欠陥画素の補正を実現することができる。
[0042] なお、第 2実施形態のように、撮像装置からコンピュータに画像を供給する場合に は、画像の圧縮処理を行わないようにすると良い。これは、識別情報の確実な保持の ためである。または、第 1実施形態で説明したように、画素値が取り得る最大値を欠 陥画素であることを示すマークとして用いる代わりに、最小値を用いるようにしても良 いし、両方を用いるようにしても良い。すなわち、出力値が中間値より大きい場合には 最大値を用い、出力値が中間値より小さい場合には最小値を用いる。このように 2種 類の値を用いることにより、撮像装置力 コンピュータに供給されるまでの間に圧縮 処理が行われても、識別情報を改変させずに保持することができる。
[0043] また、第 2実施形態のように、撮像装置からコンピュータに画像を供給する場合に おいて、特に、 RAWデータ等の画像データを出力する場合には、受け手側のコンビ ユータのプログラムが、 RAWデータ等に含まれる「欠陥画素であることを示すマーク」 (識別情報)を認識できない場合がある。すなわち、「欠陥画素であることを示すマー ク」として最小値や最大値を用いても、これを認識できな 、コンピュータの画像処理プ ログラムにおいては、適切な欠陥画素の補正を行うことができないので、輝点や黒点 となってしまう。
[0044] そこで、 RAWデータ等の画像データのディジタル値の最終桁を用いて、「欠陥画 素であることを示すマーク」としても良い。例えば、欠陥画素については、最終桁を全 て「0」とし、欠陥画素でない画素については、最終桁を全て「1」とする。すなわち、欠 陥画素のうち、最終桁が「1」であるものは、全て「0」に変更する。一方、欠陥画素で ない画素のうち、最終桁が「0」であるものは、全て「1」に変更する。このように、デイジ タル値の最終桁を変更しても、実際の画素値にはほとんど影響はない。したがって、 ディジタル値の最終析をマークとして用いることにより、受け手側のコンピュータのプ ログラムが、 RAW等データに含まれる「欠陥画素であることを示すマーク」を認識でき な 、場合でも、画像の劣化を最小限に抑えることができる。
[0045] なお、上述した「欠陥画素であることを示すマーク」を作成する際には、 AZD変換 部 3により出力された画像データにおける欠陥画素そのものについてディジタル値の 最終桁をマークとしても良いし、 AZD変換部 3により出力された画像データに対して 、公知技術のように、例えば置換による補正を行い、補正後の画像データにおける欠 陥画素のディジタル値の最終桁をマークとしても良い。
[0046] また、第 2実施形態では、電子カメラ力も画像を取得する例を示したが、取得する画 像が本発明の識別情報を有して 、れば、他の外部機器や記録媒体など力 取得す るようにしても良い。また、インターネット上にこのようなプログラムを設置し、欠陥画素 の補正をインターネット上で行うようにしても良 、。
また、上記各実施形態では、べィァ配列の撮像素子を用いて説明を行ったが、そ の他の配列の撮像素子に本発明を適用しても良 、。
[0047] また、上記各実施形態における欠陥画素には、受光量に応じた正しい出力を行わ ない画素（受光しているのに無反応、受光していないのに反応など)や、固定パター ンノイズなどが該当する。
また、上記各実施形態における各処理の順番はこの例に限定されない。構成や求 める画質などに応じて、順番を入れ替えたり一部を省略するようにしても良い。例え ば、補間と欠陥画素の補正とを別々に行うようにしても良い。
[0048] 例えば、図 8に示すように、欠陥画素（「X」を記した画素）が複雑に連続している場 合には、上述した方法では対応しづらいので、まず、条件の良い欠陥画素から順に、 欠陥画素の画素値を推定し、全ての画素の画素値が揃ってから、全体に対して補間 処理を施す構成としても良い。なお、条件の良い欠陥画素とは、隣接する画素にお ける欠陥画素の数がより少ないものである。図 8の例においては、まず、（1)に示す欠 陥画素を補正する (画素値を推定する)。その結果、条件の良くなつた (2)に示す欠 陥画素を補正する。さらに、（3)に示す欠陥画素を補正することにより、（4)に示す欠 陥画素も好条件で補正することができる。

Claims

請求の範囲
[1] 撮像素子と、
前記撮像素子に生じる欠陥画素の位置を示す情報を取得する取得部と、 前記撮像素子を介して生成される画像における前記欠陥画素の位置を示す識別 情報を作成する作成部と、
前記欠陥画素ごとに、近傍画素との相関性を検出する検出部と、
前記検出部による検出結果に応じて、前記欠陥画素ごとの画素値を推定する推定 部と
を備えたことを特徴とする画像処理システム。
[2] 請求項 1に記載の画像処理システムにお 、て、
前記画像処理システムは、撮像装置と画像処理プログラムを記録したコンピュータ とから成り、
前記撮像装置は、前記撮像素子と、前記取得部と、前記作成部とを含み、 前記画像処理プログラムは、前記コンピュータを、前記検出部と、前記推定部として 機能させる
ことを特徴とする画像処理システム。
[3] 請求項 2に記載の画像処理システムにお 、て、
前記撮像装置の前記作成部は、前記識別情報を前記画像のヘッダ情報として作 成し、
前記コンピュータは、前記画像とともに前記ヘッダ情報を取得する
ことを特徴とする画像処理システム。
[4] 請求項 1に記載の画像処理システムにお 、て、
前記画像に対して補間処理を施す補間部を備え、
前記検出部および前記推定部は、前記補間部が前記補間処理を施す際に、前記 相関性の検出および前記画素値の推定を行う
ことを特徴とする画像処理システム。
[5] 請求項 4に記載の画像処理システムにお 、て、
前記検出部は、前記識別情報に基づいて、前記欠陥画素に隣接する画素が欠陥 画素であるか否かを判定する
ことを特徴とする画像処理システム。
[6] 請求項 5に記載の画像処理システムにお 、て、
前記推定部は、前記欠陥画素を含む 3つ以上の欠陥画素が、任意の方向に連続 して存在し、かつ、それらの欠陥画素が連続している方向と、最も高い相関性を有す る方向とが同じである場合には、最近傍の同色の画素の画素値に基づいて、前記欠 陥画素の画素値を推定する
ことを特徴とする画像処理システム。
[7] 請求項 1に記載の画像処理システムにお 、て、
前記作成部は、前記画像における前記欠陥画素の位置を示す識別情報の作成と して、前記欠陥画素の画素値を、前記画素値が取り得る最大値と最小値との少なくと も一方に置き換える
ことを特徴とする画像処理システム。
[8] 請求項 1に記載の画像処理システムにお 、て、
前記推定部による前記画素値の推定を行う前に、前記画像に対してホワイトバラン ス調整と色処理と階調変換処理との少なくとも 1つを含む画像処理を施す画像処理 部を備え、
前記画像処理部は、前記識別情報を改変せずに前記画像処理を行う ことを特徴とする画像処理システム。
[9] 請求項 1に記載の画像処理システムにお 、て、
前記作成部は、前記撮像素子による撮像系の中で、階調情報の最も多い状態に お!、て前記識別情報の作成を行う
ことを特徴とする画像処理システム。
[10] 欠陥画素の位置に、欠陥画素であることを示す識別情報を有した画像に対する画 像処理をコンピュータで実現する画像処理プログラムであって、
前記欠陥画素であることを示す前記識別情報を有した画像を取得する取得ステツ プと、
前記欠陥画素の画素値を、近傍の画素値に基づ!、て置換する置換ステップと、 前記画像に対して補間処理を施す補間ステップとを有し、 前記置換ステップは、前記補間ステップにお 、て前記補間処理が終了するまでの 間に、前記欠陥画素の画素値を、近傍の画素値に基づいて置換する
ことを特徴とする画像処理プログラム。
PCT/JP2006/316425 2005-08-23 2006-08-22 画像処理システムおよび画像処理プログラム WO2007023817A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007532132A JP4985403B2 (ja) 2005-08-23 2006-08-22 画像処理システムおよび画像処理プログラム
US11/988,273 US8089537B2 (en) 2005-08-23 2006-08-22 Image processing system and image processing program for defective pixel correction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005241570 2005-08-23
JP2005-241570 2005-08-23

Publications (1)

Publication Number Publication Date
WO2007023817A1 true WO2007023817A1 (ja) 2007-03-01

Family

ID=37771560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316425 WO2007023817A1 (ja) 2005-08-23 2006-08-22 画像処理システムおよび画像処理プログラム

Country Status (3)

Country Link
US (1) US8089537B2 (ja)
JP (1) JP4985403B2 (ja)
WO (1) WO2007023817A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469275A (zh) * 2010-11-02 2012-05-23 慧荣科技股份有限公司 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5084366B2 (ja) * 2007-06-21 2012-11-28 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
KR101696672B1 (ko) * 2010-05-10 2017-01-17 삼성전자주식회사 영상 신호 처리 방법 및 이를 이용하는 영상 촬영 방법
JP5616442B2 (ja) * 2010-06-09 2014-10-29 富士フイルム株式会社 撮像装置及び画像処理方法
TWI407801B (zh) * 2010-08-11 2013-09-01 Silicon Motion Inc 用來進行壞像素補償之方法與用來進行壞像素補償之裝置
TWI488484B (zh) * 2010-08-18 2015-06-11 Silicon Motion Inc 用來進行去雜訊處理之方法與用來進行去雜訊處理之裝置
US8351696B2 (en) * 2010-09-17 2013-01-08 Foveon, Inc. Correcting defective pixels in digital color images
TWI511526B (zh) * 2012-03-28 2015-12-01 Tpv Display Technology Xiamen Dimensional display device, image processor and image processing method
JP2017055309A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JP2000287135A (ja) * 1999-03-31 2000-10-13 Sony Corp 撮像装置並びに固体撮像素子の画素欠陥検出装置及び方法
JP2002176586A (ja) * 2000-12-07 2002-06-21 Nikon Corp 画素欠陥修正装置
JP2004080761A (ja) * 2002-08-16 2004-03-11 Agilent Technol Inc デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
JP2004297687A (ja) * 2003-03-28 2004-10-21 Seiko Epson Corp 画像データの構造、ディジタルカメラ、及び画像データ作成プログラム
JP2005020682A (ja) * 2003-06-27 2005-01-20 Honda Motor Co Ltd イメージセンサの出力補正装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3156282B2 (ja) 1991-08-06 2001-04-16 松下電器産業株式会社 固体撮像装置
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
JP2000050129A (ja) * 1998-07-31 2000-02-18 Minolta Co Ltd デジタルカメラ
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置
JP4054184B2 (ja) * 2001-10-03 2008-02-27 オリンパス株式会社 欠陥画素補正装置
JP2006026234A (ja) * 2004-07-20 2006-02-02 Olympus Corp 生体内撮像装置および生体内撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JP2000287135A (ja) * 1999-03-31 2000-10-13 Sony Corp 撮像装置並びに固体撮像素子の画素欠陥検出装置及び方法
JP2002176586A (ja) * 2000-12-07 2002-06-21 Nikon Corp 画素欠陥修正装置
JP2004080761A (ja) * 2002-08-16 2004-03-11 Agilent Technol Inc デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
JP2004297687A (ja) * 2003-03-28 2004-10-21 Seiko Epson Corp 画像データの構造、ディジタルカメラ、及び画像データ作成プログラム
JP2005020682A (ja) * 2003-06-27 2005-01-20 Honda Motor Co Ltd イメージセンサの出力補正装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469275A (zh) * 2010-11-02 2012-05-23 慧荣科技股份有限公司 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置
CN102469275B (zh) * 2010-11-02 2014-04-16 慧荣科技股份有限公司 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置

Also Published As

Publication number Publication date
US8089537B2 (en) 2012-01-03
JPWO2007023817A1 (ja) 2009-02-26
US20090079853A1 (en) 2009-03-26
JP4985403B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
JP4985403B2 (ja) 画像処理システムおよび画像処理プログラム
JP4709084B2 (ja) 画像処理装置及び画像処理方法
JP4054184B2 (ja) 欠陥画素補正装置
US7593569B2 (en) Pixel defect correction device
US8682068B2 (en) Image processing apparatus, image processing method, and program
WO2011042948A1 (ja) 撮像装置の欠陥検出方法及び撮像装置
US7366347B2 (en) Edge detecting method
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8248483B2 (en) Signal processing apparatus, signal processing method, control program, readable recording medium, solid-state image capturing apparatus, and electronic information device
US20080062409A1 (en) Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
US8780215B2 (en) Apparatus and method for processing an image to correct image distortion caused by a hand shake
US20090324089A1 (en) Imaging system, image processing method, and image processing program
US20140125847A1 (en) Image processing apparatus and control method therefor
US7843501B2 (en) Image sensing apparatus and defect correction method
JP2010081511A (ja) 撮像装置、設定値変更方法およびプログラム
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP4679174B2 (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2008056566A1 (fr) Appareil, programme et procédé de traitement de signal d&#39;image
JP4331120B2 (ja) 欠陥画素検出方法
US20080273100A1 (en) Noise reduction apparatus, method and computer- readable recording medium
JP4166974B2 (ja) 画素キズ検出・補正装置
JP2007266956A (ja) 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム
JP2006060744A (ja) ノイズリダクション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007532132

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11988273

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06796639

Country of ref document: EP

Kind code of ref document: A1