JP4104495B2 - データ処理装置、画像処理装置およびカメラ - Google Patents
データ処理装置、画像処理装置およびカメラ Download PDFInfo
- Publication number
- JP4104495B2 JP4104495B2 JP2003174061A JP2003174061A JP4104495B2 JP 4104495 B2 JP4104495 B2 JP 4104495B2 JP 2003174061 A JP2003174061 A JP 2003174061A JP 2003174061 A JP2003174061 A JP 2003174061A JP 4104495 B2 JP4104495 B2 JP 4104495B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- pattern
- pixel
- data
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 188
- 238000000034 method Methods 0.000 claims description 57
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000003672 processing method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100033126 Phosphatidate cytidylyltransferase 2 Human genes 0.000 description 1
- 101710178746 Phosphatidate cytidylyltransferase 2 Proteins 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を利用したカメラ、ビデオカメラおよびデジタルカメラなどに用いられ、各画素毎のイメージ信号に欠落している色信号を補間処理するカメラ信号処理装置などのデータ処理装置および、これを用いた画像処理装置、これが用いられ、固体撮像素子を利用したカメラ、カメラ付き携帯電話装置、ビデオカメラおよびデジタルカメラなどのカメラに関する。
【０００２】
【従来の技術】
従来、固体撮像素子を利用した単板式のカメラ、ビデオカメラおよびデジタルカメラ（以下、カメラと総称する）においては、固体撮像素子の各画素部に、カラーフィルタが離散的に配置されている。
【０００３】
このカラーフィルタは、例えばＲ（赤）Ｇ（緑）Ｂ（青）の３種類の色（三原色）からなっており、ＲＧＢのフィルタが各画素部毎に１色ずつ配置されている。画素部に配置された色フィルタ以外の色に対して、その色信号を演算によって求めることにより、あたかもそこに連続的に３種類の色フィルタが配置されているかのように、空間的（この場合には２次元）なデータの連続性を確保することができる。このような演算処理により、空間的なデータの連続性を求めることを補間処理という。
【０００４】
以下に、この補間処理について具体的に説明する。
【０００５】
図８は、従来の一般的なカラーフィルタにおける各色の配置例を示す図である。
【０００６】
一般に、カラーフィルタにおいては、図８に示すように、Ｇフィルタが市松配列、ＲフィルタおよびＢフィルタが線順次モザイク配列に配置されたベイヤ配列と言われる配置方法が用いられる。
【０００７】
このように、各画素部に対してカラーフィルタがベイヤ配列で配列された固体撮像素子から得られるデジタル化されたイメージ信号には、それぞれの画素に対応するイメージ信号として、一つの色データしか得られない。したがって、各画素部毎にＲＧＢ全ての色データを示すフルカラーのイメージ信号を得るためには、各画素において存在しない色データについて、その色のフィルタが配置されている他の画素のイメージ信号から補間処理を行うことにより生成する必要がある。
【０００８】
このような補間処理においては、Ｇ画素と、それ以外のＲ画素およびＢ画素とを、それぞれ２種類の方法を用いて補間する方法が用いられている。
【０００９】
図９（ａ）および図９（ｂ）はそれぞれ、従来の補間処理方法について説明するための図である。ここでは、Ｇのフィルタが配置されている画素をＧとして示している。また、ＲおよびＢのフィルタは対象位置に配置されているため、ここではＲおよびＢのフィルタが配置されている画素をそれぞれＰおよびＱとして示して説明を行う。
【００１０】
例えば、図９（ａ）に示すように、補間処理の対象画素を中央部分のＧ３３とすると、その画素のＲおよびＢ（ＰおよびＱ）のデータを補間処理により求める必要がある。ここで、Ｇの画素と隣接する画素は、Ｒの画素である場合とＢの画素である場合との２種類の場合が存在する。
【００１１】
このＧ３３に対して補間処理した後のＰおよびＱのデータをそれぞれ、Ｐ３３およびＱ３３とする。Ｐ３３およびＱ３３は、Ｇ３３の周辺に隣接するＰおよびＱの画素のデータを用いて補間処理が行われるため、一般に、
Ｇ３３＝Ｇ３３
Ｐ３３＝（Ｐ３２＋Ｐ３４）／２
Ｑ３３＝（Ｑ２３＋Ｑ４３）／２
によってデータが算出される。
【００１２】
次に、図９（ｂ）に示すように、補間処理の対象画素をＱ３３とすると、その画素のＧおよびＰのデータを補間処理により求める必要がある。ここで、Ｑの画素と隣接する画素は、Ｇの画素である場合とＰの画素である場合との２種類の場合が存在する。
【００１３】
このＱ３３を補間処理した後のＧおよびＰのデータをそれぞれ、Ｇ３３およびＰ３３とする。Ｇ３３およびＰ３３は、Ｑ３３の周辺に隣接するＧおよびＰの画素のデータを用いて補間処理が行われるため、一般に、
Ｇ３３＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４
Ｐ３３＝（Ｐ２２＋Ｐ２４＋Ｐ４２＋Ｐ４４）／４
Ｑ３３＝Ｑ３３
によってデータが算出される。
【００１４】
しかしながら、上述した一般的な補間方法では、詳細に後述するが、画像破綻が発生したり、エッジ部分の解像度が劣化したりするという問題がある。
【００１５】
以下に、この問題について、図１０（ａ）に示すような縦の格子模様の被写体を撮像した場合を一例として説明する。
【００１６】
図１０（ａ）に示すＧ１１〜Ｇ１５のラインは、輝度が高いラインであり、一般的に白表示となる。また、Ｑ２１〜Ｑ２５のラインは、輝度が低いラインであり、一般的に黒表示となる。
【００１７】
図１０（ｂ）は、図１０（ａ）に示す縦の格子模様（ストライプ模様）の被写体を撮像した場合における各画素のイメージ信号の値を示しており、白の部分が１００、黒の部分が０として示されている。
【００１８】
補間処理の対象画素をＧ３３とすると、上記補間処理の式から、
Ｇ３３＝１００
Ｐ３３＝（Ｐ３２＋Ｐ３４）／２＝１００
Ｑ３３＝（Ｑ２３＋Ｑ４３）／２＝０
となる。
【００１９】
これと同様に、全ての画素について、上記式により補間処理を行った結果を図１０（ｃ）〜（ｅ）に示している。図１０（ｃ）には補間処理後のＧの値、図１０（ｄ）には補間処理後のＰの値、図１０（ｅ）には補間処理後のＱの値が示されている。
【００２０】
図１０(ｃ)に示すように、補間されたＧのデータは、格子模様（ストライプ模様）を表しておらず、画像が破綻している、また、図１０（ｅ）に示すように、補間されたＱのデータは、格子模様（ストライプ模様）を表しておらず、エッジが無くなっていることから、画像が破綻している。
【００２１】
このような補間処理による画像破綻を解決する方法として、例えば特許文献１には、水平方向および垂直方向の輝度値の差から階調値を求め、この階調値を予め定められた閾値と比較し、その比較結果に応じて補間処理を行う方法が開示されている。
【００２２】
以下に、特許文献１に開示されている補間方法について、図１１（ａ）に示すような横の格子模様（ストライプ模様）の被写体を撮像した場合を一例として説明する。
【００２３】
図１１（ａ）に示すＧ１１〜Ｇ５１、Ｇ１３〜Ｇ５３およびＧ１５〜Ｇ５５の各ラインは、輝度が低いラインであり、一般的に黒表示となる。また、Ｐ１２〜Ｐ５２およびＰ１４〜Ｐ５４の各ラインは、輝度が高いラインであり、一般的に白表示となる。
【００２４】
図１１（ｂ）は、図１１（ａ）に示す横の格子模様の被写体を撮像した場合における各画素のイメージ信号の値を示しており、白の部分が１００、黒の部分が０として示されている。
【００２５】
この特許文献１によると、図１１（ａ）に示す画素Ｑ２３を補間処理の対象とした場合に、色データのＧ２３およびＰ２３は、下記の式（数１）により求められる。
【００２６】
【数１】
【００２７】
上記式（数１）において、Ａｄａｐは特許文献１より下記の式（数２）に示すような条件判断により求められる。なお、以下では、図１１（ａ）の画素Ｇ２３に対応した計算式としている。また、下記の式（数２）において、Ｔｈｒｅｓｈｏｌｄは予め定められた閾値、Ｇｄｉｆｆ−ｈｏｒは水平方向の輝度値の差、Ｇｄｉｆｆ−ｖｅｒは垂直方向の輝度値の差を示している。
【００２８】
【数２】
【００２９】
【特許文献１】
特開平７−５９０９８号公報
【００３０】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に開示されている補間処理方法を用いても、画像の破綻が生じることがある。
【００３１】
例えば、図１１（ｂ）に示すデータ値から、上記式（数１）および上記式（数２）を用いてデータＧ２３を求めると、
Ｇｄｉｆｆ−ｈｏｒ＝Ｇｄｉｆｆ−ｖｅｒ＝０
となり、閾値Ｔｈｒｅｓｈｏｌｄの値に関わらず、
Ｇ２３＝ＡｄａｐＧ２３＝｜Ｇ１３＋Ｇ３３＋Ｇ２２＋Ｇ２４｝／４＝５０
となる。また、データＧ４３も同様に求められ、Ｇ４３＝５０となる。
【００３２】
特許文献１によると、データＧ１３、Ｇ３３およびＧ３５はそれぞれの画素のデータから生成されるため、Ｇ１３＝Ｇ３３＝Ｇ３５＝０となる。
【００３３】
以上により、データＧ１３〜Ｇ３５の１水平ライン分のデータは、図１１（ｃ）に示すようなものとなる。
【００３４】
この図１１（ｃ）によれば、本来は黒（または白）を示す図１１（ａ）のようなデータに対して補間処理を行うことにより偽信号が生じて、水平ライン上で輝度の差が生じている。これは、あたかも白黒もしくは強弱のパターンが繰り返されているように見えるジッパーノイズと言われるノイズが生じて、画像が破綻していることを示している。
【００３５】
また、この特許文献１の補間処理方法では、水平方向および垂直方向の輝度値の差と閾値とを比較している。この方法では、イメージ信号にノイズなどが生じない場合には有効であるが、ノイズなどの影響により水平方向および垂直方向の輝度値の差が閾値付近で変動する場合には、時系列的に補間処理の計算方法が変化することによりデータの変動が生じ、補間処理の対象画素が時系列的に点滅して表示されるという不具合が生じるおそれがある。
【００３６】
本発明は、上記従来の問題を解決するもので、複数種類の色フィルタが各画素に離散的に配置された固体撮像素子から得られるデジタル化されたイメージ信号を補間処理する際に、ノイズなどの影響を受けず、画像破綻を防止することができるカメラ信号処理装置などのデータ処理装置および、これを用いた画像処理装置、これを用いたカメラを提供することを目的とする。
【００３７】
【課題を解決するための手段】
本発明のデータ処理装置は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段と、該イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段とを有し、該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンが格納されており、該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを、該補間パターン格納手段の各補間パターンから選択し、この選択した補間パターンに対応した補間処理を行うものであり、そのことにより上記目的が達成される。
【００３８】
本発明のデータ処理装置は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段を有し、該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、かつ該補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンを選択し、この求めかつ選択した補間パターンに対応した補間処理を行うものであり、そのことにより上記目的が達成される。
【００３９】
さらに、好ましくは、本発明のデータ処理装置において、補間パターン格納手段に格納されている各補間パターンにはそれぞれ識別情報が付されており、前記補間処理手段は、該補間パターン格納手段に、前記選択した補間パターンの識別情報を格納する。
【００４０】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号から、各補間パターンとの近似度を表す方向性データを算出し、該方向性データが最小となる補間パターンを選択する。
【００４２】
さらに、好ましくは、本発明のデータ処理装置において、前記イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段をさらに有し、該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、前記それぞれ補間パターンが格納されている。
【００４３】
さらに、好ましくは、本発明のデータ処理装置における補間パターン格納手段には、各補間パターンとして、所定のデータ値の画素が水平に並んでいるパターン、垂直に並んでいるパターン、右上方向に傾斜しているパターン、右下方向に傾斜しているパターン、左上角部に集まっているパターン、右上角部に集まっているパターン、左下角部に集まっているパターンおよび右下角部に集まっているパターンがそれぞれ格納されている。
【００４４】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが該補間パターン格納手段内に格納されていない場合には、所定の計算式により補間処理を行う。
【００４５】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間パターン格納手段に補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが二つ以上格納されている場合には、該その周辺画素で選択された補間パターンに応じて、該二つ以上の補間パターンから一つを選択する。
【００４６】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、求められた補間パターンに対応する計算式により補間処理を行う。
【００４７】
本発明の画像処理装置は、請求項１〜１０の何れかに記載のデータ処理装置と、該データ処理装置によって求められた補間パターンに対応した画像処理を行う画像処理手段とを有しており、そのことにより上記目的が達成される。
【００４８】
本発明のカメラは、固体撮像素子からイメージ信号が入力されて前記補間処理および画像処理を行ってカメラ用の画像データを得ており、そのことにより上記目的が達成される。
【００５０】
上記構成により、以下に、本発明の作用について説明する。
【００５１】
ＲＧＢ（三原色）などの複数種類の色フィルタが離散的に配置（例えばベイヤ配列）された固体撮像素子から得られるデジタル化されたイメージ信号（画素信号）において、ある色のフィルタが設けられていない画素部に対して、あたかも全ての画素部毎に連続的に各色のフィルタが配置されているように、その欠落している色のデータ（信号）を補間処理によって求めることができる。例えば、固体撮像素子の画素数が１０００画素である場合、各画素のデータはＲＧＢのいずれかのイメージ信号であるが、補間処理の結果、ＲＧＢそれぞれに対して、１０００個のデータ（信号）が得られ、３０００個の色信号が得られることになる。これによって、空間的な（この場合には２次元）データの連続性を確保することができる。
【００５２】
本発明にあっては、この補間処理において、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、この求められた補間パターンに対応した補間処理を行う。このように、イメージ信号の均一性および勾配性を考慮して補間処理を行うため、従来の補間処理方法のような画像破綻を防ぐことができる。また、閾値を用いて補間処理を行う特許文献１の従来技術のように、ノイズなどの影響により補間処理の計算に変化が生じ、イメージ信号の変動が生じることを防ぐことができる。
【００５３】
補間パターンは、イメージ信号の均一性および勾配性を考慮したものであり、例えばデータ値が小さい画素が水平に並んでいるパターン、垂直に並んでいるパターン、右下方向に傾斜しているパターン、右上方向に傾斜しているパターン、左上角部に集まっているパターン、および右下角部に集まっているパターンなど、複数の補間パターンを補間パターン格納手段に用意しておき、各補間パターンに対して、その補間パターンとの近似度を表す方向性データを算出し、方向性データが最小となる補間パターンを選択することができる。
【００５４】
その補間パターン上に画素が配置されているものとして、補間対象画素およびその周辺画素のイメージ信号、またはその周辺画素のイメージ信号を用いて、それぞれの補間パターンに応じた計算式により補間処理を行う。この処理を、全ての画素に対して順次行う。
【００５５】
また、補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが補間パターン格納手段に存在しない場合には、予め決められた所定の計算式により補間処理を行うことによって、均一性および勾配性に応じて最適な補間パターンを求めることができない場合であっても、より正確な補間処理を行うことができる。
【００５６】
また、補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが補間パターン格納手段に２種類以上存在する場合には、その周辺画素にて選択された補間パターンに基づいて、２種類以上の補間パターンのうち何れかを選択することができる。このように、その周辺画素の補間パターンを考慮することによって、ノイズなどの影響によりイメージ信号のデータが時系列的に変化しても、補間処理によって算出されるイメージ信号の変動が生じることを防ぐことができる。
【００５７】
また、画像のエッジ部分では輝度の変化が大きくなり、色の変化は比較的小さいため、補間対象画素がＧ画素のように主として輝度を構成する画素である場合にはデータの変化が大きく、補間対象画素がＲ画素やＢ画素のように主として輝度を構成しない画素である場合にはデータの変化が少ない。よって、それぞれの場合に分けて補間処理を行うことにより、最適な補間処理を行うことができる。
【００５８】
さらに、補間処理以降に行われるエッジ強調処理や偽色抑圧処理などのデジタル画像信号処理に対しても、補間対象の画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて求められた補間パターンに対応して画像処理を行うことによって、良好なイメージ信号を生成することができる。
【００５９】
【発明の実施の形態】
以下に、本発明のデータ処理装置の実施形態を用いた画像処理装置をカメラ（カメラシステム）に適用した場合について図面を参照しながら説明する。
【００６０】
図１は、本発明のカメラの一実施形態における要部構成を示すブロック図である。なお、図１中の実線矢印はイメージ信号の流れを示し、点線矢印は制御信号の流れを示している。
【００６１】
図１において、このカメラ１００は、固体撮像素子１と、ＣＤＳ（相関二重サンプリング回路）２と、ＡＧＣ（自動利得制御回路）３と、Ａ／Ｄ（アナログ／デジタル）変換回路４と、カメラ信号処理装置である画像処理装置としてのＤＳＰ（デジタルシグナルプロセッサ）５と、ＴＧ（タイミング信号発生回路）６とを有している。
【００６２】
固体撮像素子１は、光電変換を行うフォトダイオードを有し、それぞれのフォトダイオードには、図８で示したようなベイヤ配列と言われる配列方式により、Ｒ、Ｇ、Ｂ（三原色）のカラーフィルタが離散的に配置されている。このフォトダイオードに入射された光信号は、光電変換されて電気信号として出力される。
【００６３】
ＣＤＳ２およびＡＧＣ３は、固体撮像素子１から出力された信号を、相関二重サンプリング処理と、自動利得制御処理を行う。
【００６４】
Ａ／Ｄ変換回路４は、イメージ信号として、アナログ信号からデジタル信号に変換される。
【００６５】
ＤＳＰ５は、Ａ／Ｄ変換回路４からのデジタル信号を、詳細に後述する画像処理を行う。
【００６６】
ＴＧ６は、上記電気信号を転送するためのタイミング信号を生成・駆動するための回路である。
【００６７】
ＤＳＰ５は、５ライン分のラインメモリ７と、補間処理部８と、補間パターン格納メモリ９と、画像信号処理部１０と、Ｉ／Ｆ部１１とを有している。これらのラインメモリ７、補間処理部８および補間パターン格納メモリ９によりデータ処理装置１２が構成されている。
【００６８】
ラインメモリ７は、ＤＳＰ５に入力されたイメージ信号の５ライン分のデータを保持して、順次、補間処理部８に供給する。
【００６９】
補間処理部８は、ラインメモリ７に入力されたイメージ信号から、補間パターン格納メモリ９に格納されている補間パターンのデータを必要に応じて用いて、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じた補間処理を行い、その補間処理後のイメージ信号を画像信号処理部１０に転送する。
【００７０】
補間パターン格納メモリ９は、予め複数の補間パターンを格納している。補間処理部８による補間処理時に、補間パターン格納メモリ９から選択された補間パターンの番号は、補間パターンの識別情報として、補間パターン格納メモリ９内に格納される。
【００７１】
画像信号処理部１０は、イメージ信号を処理する周知のブロックであるため、ここではその詳細な説明を省略するが、一般的には、固体撮像素子１の露出を調整するための自動露出制御処理、イメージ信号の白レベルを調整する自動ホワイトバランス制御処理、エッジ信号を強調するエッジ強調処理、エッジ部で発生する偽色を除去する偽色抑圧処理などの各種画像処理が行われる。
【００７２】
Ｉ／Ｆ部１１は、画像信号処理部１０で好適に処理されたイメージ信号が入力され、外部回路とのイメージ信号の同期転送を行う。
【００７３】
以下に、補間処理部８で行われる補間処理について、図２に示すフローチャートおよび、図３〜図６を用いて詳細に説明する。
【００７４】
図３は、ラインメモリ７に格納されたイメージ信号について、水平方向および垂直方向にそれぞれ５画素分を切り出し、補間対象画素を中心位置Ｇ３３に配置したイメージ図である。図３（ａ）は、補間対象の画素部に配置されたフィルタ色がＧである場合のイメージ図であり、図３（ｂ）は、補間対象の画素部に配置されたフィルタ色がＲまたはＢである場合のイメージ図である。なお、ここでは、ベイヤ配列では、ＲおよびＢのフィルタは対象位置に配置されるため、図３（ｂ）ではＰおよびＱとして置き換えて示している。
【００７５】
通常、画像のエッジ部分では輝度の変化が大きくなり、色の変化は比較的小さくなることが知られている。例えば、エッジ部分では、輝度を主として構成するイメージ信号であるＧ画素はデータの変化が大きく、反対に、輝度を主として構成しない画素であって主に色成分を構成する画素であるＲ画素およびＢ画素はデータの変化が少ないことになる。
【００７６】
これらから、補間処理部８は、図２のステップＳ１において、Ｇ画素と、Ｒ画素またはＢ画素とに場合分けして、それぞれに最適な補間処理を行う。
【００７７】
まず、Ｇ画素の補間処理について説明する。
【００７８】
図２のステップＳ２では、ステップＳ１において対象画素がＧ画素である場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号の均一性および勾配性を求める。イメージ信号の均一性および勾配性を求めるためには、その均一性および勾配性を数値化する必要があり、その数値化されたデータを方向性データという。
【００７９】
本実施形態では、図４（１）〜図４（８）に示すような各補間パターンを補間パターン格納メモリ９に用意し、それぞれ、後述する計算式により、方向性データＧｖ（ｘ）を求める。これによって、補間パターンと同じ数の方向性データが算出される。これらの方向性データは、それぞれの補間パターンとの近似度を表しており、その方向性データの数値が小さい場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号のデータ値のパターンと補間パターンとが近似していると判定される。
【００８０】
例えば、図４（１）は、輝度が低い部分が右上方向に傾斜している補間パターンを示している。図４（１）に示す補間パターンは、均一性が無く、勾配性は右上傾斜となっている。この補間パターンにイメージ信号のデータ値のパターンが近似している場合には、画像データはこの右上傾斜線上に存在していることになる。したがって、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(１)は、補間対象の画素であるＧ３３に対して、残りの画素Ｇ５１、Ｇ４２、Ｇ２４およびＧ１５との値の差分を取り、その平均値を求めることによって算出することができる。よって、方向性データＧｖ（１）は、
Ｇｖ(１)＝ (｜Ｇ３３ − Ｇ５１| ＋ ｜Ｇ３３ − Ｇ４２｜＋｜Ｇ３３ − Ｇ２４｜＋ ｜Ｇ３３ − Ｇ１５｜) ／ ４
によって求められる。ここで、補間対象の画素およびその周辺領域の画素のイメージ信号がこの補間パターン上にある場合には、これらの差分は全てゼロとなるので、この方向性データＧｖ（１）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（１）に示す補間パターンに近似していることになる。
【００８１】
また、図４（２）は、輝度が低い部分が水平方向に並んでいる補間パターンを示している。この図４（２）に示す補間パターンは、均一性が無く、勾配性は水平傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(２)は、
Ｇｖ(２) ＝ (｜Ｇ３３ − Ｇ１３| ＋ ｜Ｇ３３ − Ｇ５３｜)／２
によって求められる。この方向性データＧｖ（２）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（２）に示す補間パターンに近似していることになる。
【００８２】
また、図４（３）は、輝度が低い部分が右下方向に傾斜している補間パターンを示している。図４（３）に示す補間パターンは、均一性が無く、勾配性は右下傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(３)は、
Ｇｖ(３) ＝ (｜Ｇ３３ − Ｇ１１| ＋ ｜Ｇ３３ − Ｇ２２｜＋｜Ｇ３３ − Ｇ４４｜＋ ｜Ｇ３３ − Ｇ５５｜) ／ ４
によって求められる。この方向性データＧｖ（３）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（３）に示す補間パターンに近似していることになる。
【００８３】
また、図４（４）は、輝度が低い部分が垂直方向に並んでいる補間パターンを示している。図４（４）に示す補間パターンは、均一性が無く、勾配性は垂直傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(４)は、
Ｇｖ(４) ＝ (｜Ｇ３３ − Ｇ３１｜＋ ｜Ｇ３３ − Ｇ３５｜)／２
によって求められる。この方向性データＧｖ（４）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（４）に示す補間パターンに近似していることになる。
【００８４】
また、図４（５）は、輝度が低い部分が左上に集中している補間パターンを示している。図４（５）に示す補間パターンは、均一性は左上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(５)は、
Ｇｖ(５) ＝ (｜Ｇ３３ − Ｇ１１｜＋ ｜Ｇ３３ − Ｇ３１｜＋｜Ｇ３３ − Ｇ２２｜＋ ｜Ｇ３３ − Ｇ１３｜) ／ ４
によって求められる。この方向性データＧｖ（５）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（５）に示す補間パターンに近似していることになる。
【００８５】
また、図４（６）は、輝度が低い部分が右上に集中している補間パターンを示している。この図４（６）に示す補間パターンは、均一性は右上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(６)は、
Ｇｖ(６) ＝ (｜Ｇ３３ − Ｇ３１｜＋ ｜Ｇ３３ − Ｇ４２｜＋｜Ｇ３３ − Ｇ５１｜＋ ｜Ｇ３３ − Ｇ５３｜) ／ ４
によって求められる。この方向性データＧｖ（６）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（６）に示す補間パターンに近似していることになる。
【００８６】
また、図４（７）は、輝度が低い部分が左下に集中している補間パターンを示している。この図４（７）に示す補間パターンは、均一性は左下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(７)は、
Ｇｖ(７) ＝ (｜Ｇ３３ − Ｇ１３｜＋ ｜Ｇ３３ − Ｇ２４｜＋｜Ｇ３３ − Ｇ１５｜＋ ｜Ｇ３３ − Ｇ３５｜) ／ ４
によって求められる。この方向性データＧｖ（７）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（７）に示す補間パターンに近似していることになる。
さらに、図４（８）は、輝度が低い部分が右下に集中している補間パターンを示している。この図４（８）に示す補間パターンは、均一性は右下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(８)は、
Ｇｖ(８) ＝ (｜Ｇ３３ − Ｇ３５｜＋ ｜Ｇ３３ − Ｇ４４｜＋｜Ｇ３３ − Ｇ５３｜＋ ｜Ｇ３３ − Ｇ５５｜) ／ ４
によって求められる。この方向性データＧｖ（８）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（８）に示す補間パターンに近似していることになる。
【００８７】
なお、上記方向性データの計算式において、イメージ信号のデータは２個の場合と４個の場合とがあるが、いずれも、その補間パターン上に存在する全ての画素数に対応している。
【００８８】
このような方向性データＧｖ（１）〜Ｇｖ（８）の値が最も小さいものが、補間パターン格納メモリ９に用意されている補間パターンに近似していることになる。ここで、方向性データの（ ）内の数値を補間パターン番号と言い、その補間パターンをＧｎ３３ということにする。
【００８９】
次に、図２に示すステップＳ３では、上記方向性データＧｖ（１）〜Ｇｖ（８）を用いて、補間対象の画素およびその周辺の画素のイメージ信号から、方向性データが最小となる補間パターンを求める。
【００９０】
例えば、図５（ａ）に示すような２本の横縞模様を撮像した場合において、図５（ｂ）に示すようなイメージ信号のデータ値が得られた場合に、画素Ｇ３３を補間対象の画素として、Ｇｖ（１）〜Ｇｖ（８）を求めると、
Ｇｖ（１）＝（１００＋１００＋１００＋ ０）／４＝７５
Ｇｖ（２）＝（０ ＋ ０）／２＝０
Ｇｖ（３）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（４）＝（１００＋０）／２＝５０
Ｇｖ（５）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（６）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（７）＝（１００＋０＋０＋０）／４＝２５
Ｇｖ（８）＝（１００＋０＋０＋０）／４＝２５
となる。
【００９１】
この例では、最小値に対応した方向性データはＧｖ（２）であり、方向性データが最小値となる補間パターンは一つである。
【００９２】
次に、図２のステップＳ４では、方向性データが最小値となる補間パターンが一つであるか否かを判定し、一つである場合（はい）にはステップＳ５の処理に進み、二つ以上である場合（いいえ）にはステップＳ６の処理に進む。
【００９３】
ステップＳ５において、例えば最小値がＧｖ（２）である場合には、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（２）に示す補間パターンに近似していることが分かる。この場合には、補間処理部８は、その補間対象画素の補間パターンの番号Ｇｎ３３＝２として、補間パターン格納メモリ９に格納する。
【００９４】
ステップＳ７では、補間処理部８は、それぞれの補間パターンに対応した補間処理を行う。この補間処理において求められる色データを、それぞれ、Ｇｏ、ＰｏおよびＱｏとすると、それぞれの補間パターンに対応して、補間パターン格納メモリ９などに予め用意された補間計算式を用いて、それらの色データを求めることができる。
【００９５】
以下に、それぞれ、Ｇｖ（１）〜Ｇｖ（８）の補間パターンに適した補間計算式の一例を示す。
【００９６】
補間パターン番号１：（Ｇｖ（１）が最小）
Ｇｏ＝（Ｇ１５＋Ｇ２４×２＋Ｇ３３×２＋Ｇ４２×２＋Ｇ５１）／８
Ｐｏ＝（Ｐ１４＋Ｐ３４＋Ｐ３２＋Ｐ５２）／４
Ｑｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４１）／４
補間パターン番号２：（Ｇｖ（２）が最小）
Ｇｏ＝（Ｇ１３＋Ｇ３３×２＋Ｇ５３）／４
Ｐｏ＝（Ｐ１２＋Ｐ１４＋Ｐ３２×２＋Ｐ３４×２＋Ｐ５２＋Ｐ５４）／８
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２
補間パターン番号３：（Ｇｖ（３）が最小）
Ｇｏ＝（Ｇ１１＋Ｇ２２×２＋Ｇ３３×２＋Ｇ４４×２＋Ｇ５５）／８
Ｐｏ＝（Ｐ１２＋Ｐ３４＋Ｐ３２＋Ｐ５４）／４
Ｑｏ＝（Ｑ２１＋Ｑ２３＋Ｑ４３＋Ｑ４５）／４
補間パターン番号４：（Ｇｖ（４）が最小）
Ｇｏ＝（Ｇ３１＋Ｇ３３×２＋Ｇ３５）／４
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２１＋Ｑ４１＋Ｑ２３×２＋Ｑ４３×２＋Ｑ２５＋Ｑ４５）／８
補間パターン番号５：（Ｇｖ（５）が最小）
Ｇｏ＝（Ｇ１１＋Ｇ１３＋Ｇ２２＋Ｇ３１＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ１２＋Ｐ３２）／２
Ｑｏ＝（Ｑ２１＋Ｑ２３）／２
補間パターン番号６：（Ｇｖ（６）が最小）
Ｇｏ＝（Ｇ３１＋Ｇ４２＋Ｇ５３＋Ｇ５１＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３２＋Ｐ５２）／２
Ｑｏ＝（Ｑ４１＋Ｑ４３）／２
補間パターン番号７：（Ｇｖ（７）が最小）
Ｇｏ＝（Ｇ１３＋Ｇ１５＋Ｇ２４＋Ｇ３５＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ１４＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ２５）／２
補間パターン番号８：（Ｇｖ（８）が最小）
Ｇｏ＝（Ｇ３５＋Ｇ４４＋Ｇ５３＋Ｇ５５＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３４＋Ｐ５４）／２
Ｑｏ＝（Ｑ４３＋Ｑ４５）／２
以上のような計算式を用いて補間処理を行うことによって、好適な色データを算出することができる。
【００９７】
なお、上記補間計算式では、Ｇｏ、ＰｏおよびＱｏを算出するためにイメージ信号の平均値を求めているが、その場合に、いずれも２のべき乗の数の平均値を求めている。これは、２のべき乗の数であれば、ビットシフトで演算が簡単になるため、計算器（ハードウェア）の構成が簡単になり、計算速度も高速化することができるからである。また、データの数が２のべき乗になるように加算平均を行う際に、単純平均ではなく、特定の画素に対して重み付けを行っている。これは、補間対象の画素に近い画素部からのデータをより多く採用することによって、より正確なデータを得ることができるからである。
【００９８】
ここで、上記図２のステップＳ４の処理について説明する。方向性データが最小値となる補間パターンは、常に一つとは限らない。例えば、図５（ａ）に示すような横縞模様を撮像した場合、そのイメージ信号のデータ値は図５（ｂ）に示すようなものになるが、ノイズなどの影響により、図５（ｃ）に示すようにＧ３１が「０」となった場合には、Ｇｖ（１）〜Ｇｖ（８）は、以下のような計算結果となる。
【００９９】
Ｇｖ（１）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（２）＝（０＋０）／２＝０
Ｇｖ（３）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（４）＝（０＋０）／２＝０
Ｇｖ（５）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（６）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（７）＝（１００＋０＋０＋０）／４＝２５
Ｇｖ（８）＝（１００＋０＋０＋０）／４＝２５
これらの計算結果によれば、方向性データが最小値となる補間パターンは、Ｇｖ（２）およびＧｖ（４）の二つとなる。
【０１００】
このように、方向性データが最小値となる補間パターンおよび補間パターン番号を求める方法では、上記計算結果に示すように、好適な補間パターンが二つ以上求められるおそれがあり、どちらの補間パターンを用いた補間計算式が最適であるかを判別することができない。
【０１０１】
そこで、本実施形態では、図２のステップＳ６において、方向性データが最小値となる補間パターンが二つ以上あった場合には、すでに最適な補間パターンが決定されている周辺画素の補間パターンとの相関を考慮する。これは、撮像された画像では、当該画素と周辺画素とでイメージ信号のデータ値の相関関係が高いためである。
【０１０２】
図５（ｃ）において、左上の画素から右方向に、次に下方向に処理が行われて、Ｑ０１、Ｇ１１、・・・、Ｑ４１、Ｇ５１、Ｇ０２、Ｐ１２、・・・、Ｑ４５、Ｇ５５の順に補間処理が行われているものとする。
【０１０３】
現在の補間対象画素がＧ３３である場合に、上記順序で補間処理が行われている場合には、画素Ｇ１３、Ｇ２２およびＧ３１は既に補間処理が行われており、補間パターン番号が補間パターン格納メモリ９に格納されている。
【０１０４】
図５（ｃ）に示す画素Ｇ１３、Ｇ２２、Ｇ３１のそれぞれについて、格納された補間パターン番号をＧｎ１３、Ｇｎ２２、Ｇｎ３１とする。この場合、図５（ａ）に示すような２本線の横縞模様を撮像したことから、Ｇｎ１３およびＧｎ２２＝２であり、Ｇｎ３１≠４であることは明らかである。したがって、Ｇｖ（２）が周辺画素の補間パターンと相関があるものと判断する。即ち、最小パターンの一つ＝周辺Ｇ画素の補間パタ−ンならば、補間パタ−ン＝周辺Ｇ画素補間パタ−ンの一つであると判断する。この場合に、ステップＳ７で「それぞれのパターンに対応した補間処理」を行う。即ち、最適な補間パターン番号Ｇ３３＝２として、Ｇｖ(２)の補間パターンに適した補間計算式を用いて補間処理を行う。
【０１０５】
これによって、ノイズの影響により、図５（ｂ）に示すデータが図５（ｃ）に示すようになったとしても、画素Ｇ３３の補間処理をノイズの影響を受けずに行って、正確な色データを算出することが可能となる。
【０１０６】
しかしながら、図５（ｄ）に示すような撮像条件の場合には、方向性データＧｖ（１）〜Ｇｖ（８）は全て同じ値であり、周辺の画素の補間パターンとの相関は得られない。このような場合には、ステップＳ６において判定不能と判断しする。即ち、「最小パターン＝周辺Ｇ画素の補間パターン」が一つも存在しないならば、「補間パタ−ン＝判定不可能」と判断する。「判定不可能」であると判断されると、ステップＳ７で「それぞれのパターンに対応した補間処理」を行う。即ち、予め補間パターン格納メモリ９に用意されている判定不能の場合に応じた補間計算式を用いて補間処理を行う。
【０１０７】
以下に、判定不能時の補間計算式の一例を示す。
【０１０８】
判定不能：
Ｇｏ＝（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２
このようにして求められた補間パターン番号または判定不能を表す番号をＧｎ３３として、補間パターン格納メモリ９に格納し、周辺の画素の補間処理時に補間パターンの相関を検証するために用いることができる。
【０１０９】
以上のステップＳ１〜Ｓ７の処理により、輝度を主として構成するイメージ信号であるＧ信号における最適な補間処理を実現することができる。
【０１１０】
次に、Ｒ画素およびＢ画素の補間処理について説明する。
【０１１１】
なお、Ｒ画素を補間対象の画素としたときのＢ画素の配置と、Ｂ画素を補間対象の画素としたときのＲ画素の配置とは同様であるため、以下では、補間対象の画素をＰ、それ以外の画素であってＧ画素以外の画素をＱとして説明する。
【０１１２】
Ｐ画素およびＱ画素に対する好適な補間パターンを求めるために、図２のステップＳ８の処理では、まず、周辺のＧ画素に対して求められた補間パターンの相関について検証する。
【０１１３】
通常、解像度の変化はエッジ部分で起こるが、これは輝度（＝白黒）が大きく変化するものであり、色信号の変化としては殆ど目立たない。したがって、この部分では、輝度を構成するＧ画素のデータを処理すればよく、Ｒ画素やＢ画素を補間処理すると、本来白黒であるはずの部分に色信号がついてしまうことになる。よって、Ｒ画素およびＢ画素（Ｐ画素およびＱ画素）の補間処理を行う際には、Ｇ画素の補間パターンについて、周辺の画素との相関を調べる必要がある。
【０１１４】
本実施形態では、図２のステップＳ８において、補間対象のＰ画素の周辺にあるＧ画素に対して求められた補間パターン番号がそれぞれ同じ場合には、補間対象のＰ画素についても、最適な補間パターンとして、周辺Ｇ画素の補間パターンに準じた番号を使用する。
【０１１５】
ステップＳ８の処理で、周辺Ｇ画素同士の補間パターン番号が同じであれば、ステップＳ１４の処理において補間対象Ｐ画素の補間パターンを周辺Ｇ画素の補間パターンとする。例えば、補間対象のＰ画素の補間パターン番号をＰｎ３３とすると、左上の画素から右方向に、次に下方向に順次補間処理が行われる場合に、周辺Ｇ画素の補間パターン番号としてＧｎ３２およびＧｎ２３を用いる。ステップＳ８の処理において、Ｇｎ２３＝Ｇｎ３２であれば、図２のステップＳ１４において、補間パターンをＰｎ３３＝Ｇｎ２３とする。
【０１１６】
次に、図２のステップＳ８の処理において、補間対象のＰ画素の周辺Ｇ画素同士の補間パターン番号が異なる場合（いいえ）には、ステップＳ９の処理において、補間対象のＰ画素とその周辺領域の画素のイメージ信号の均一性および勾配性を求めるために数値化された方向性データを求める。
【０１１７】
本実施形態では、図６（１）〜図６（８）に示すような補間パターンを補間パターン格納メモリ９に用意し、それぞれ、後述する計算式により、方向性データＰｖ（ｘ）を求める。
【０１１８】
これによって、補間パターンと同じ数値の方向性データが算出される。これらの方向性データは、それぞれの補間パターンとの近似度を表しており、その方向性データの数値が小さい場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号のデータ値のパターンと補間パターンとが近似していると判定される。Ｐ画素の補間処理においては、周辺Ｇ画素との相関を考慮することから、補間パターンとしてＧ画素で用意した補間パターンと同様のパターンを用意し、補間パターン番号も同様に設定している。
【０１１９】
例えば、図６（１）は、図４（１）と同様に、輝度が低い部分が右上方向に傾斜している補間パターンを示している。図６（１）に示す補間パターンは、均一性が無く、勾配性は右上傾斜となっている。この補間パターンにイメージ信号のデータ値のパターンが近似している場合には、画像データはこの右上傾斜線上に存在していることになる。したがって、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(１)は、補間対象の画素であるＰ３３に対して、残りの画素Ｐ５１およびＰ１５との値の差分を取り、その平均値を求めることによって算出することができる。よって、方向性データＰｖ（１）は、
Ｐｖ(１)＝ (｜Ｐ３３ −Ｐ５１| ＋ ｜Ｐ３３ − Ｐ１５｜) ／ ２
によって求められる。
【０１２０】
ここで、補間対象の画素およびその周辺領域の画素のイメージ信号がこの補間パターン上にある場合には、これらの差分は全てゼロとなるので、この方向性データＰｖ（１）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（１）に示す補間パターンに近似していることになる。
【０１２１】
また、図６（２）は、図４（２）と同様に、輝度が低い部分が水平方向に並んでいる補間パターンを示している。図６（２）に示す補間パターンは、均一性が無く、勾配性は水平傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(２)は、
Ｐｖ(２) ＝ (｜Ｐ３３ − Ｐ１３| ＋ ｜Ｐ３３ − Ｐ５３｜)／２
によって求められる。この方向性データＰｖ（２）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（２）に示す補間パターンに近似していることになる。
【０１２２】
また、図６（３）は、図４（３）と同様に、輝度が低い部分が右下方向に傾斜している補間パターンを示している。図６（３）に示す補間パターンは、均一性が無く、勾配性は右下傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(３)は、
Ｐｖ(３) ＝ (｜Ｐ３３ − Ｐ１１| ＋ ｜Ｐ３３ − Ｐ５５｜) ／２
によって求められる。この方向性データＰｖ（３）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（３）に示す補間パターンに近似していることになる。
【０１２３】
また、図６（４）は、図４（４）と同様に、輝度が低い部分が縦方向に並んでいる補間パターンを示している。この図６（４）に示す補間パターンは、均一性が無く、勾配性は垂直傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(４)は、
Ｐｖ(４) ＝ (｜Ｐ３３ − Ｐ３１｜＋ ｜Ｐ３３ − Ｐ３５｜)／２
によって求められる。この方向性データＰｖ（４）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（４）に示す補間パターンに近似していることになる。
【０１２４】
また、図６（５）は、図４（５）と同様に、輝度の低い部分が左上に集中している補間パターンを示している。図６（５）に示す補間パターンは、均一性は左上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(５)は、
Ｐｖ(５) ＝ (｜Ｐ３３ − Ｐ１１｜＋ ｜Ｐ３３ − Ｐ３１｜＋｜Ｐ３３ − Ｐ１３｜) ／３
によって求められる。この方向性データＰｖ（５）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（５）に示す補間パターンに近似していることになる。
【０１２５】
また、図６（６）は、図４（６）と同様に、輝度が低い部分が右上に集中している補間パターンを示している。図６（６）に示す補間パターンは、均一性は右上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(６)は、
Ｐｖ(６) ＝ (｜Ｐ３３ − Ｐ３１｜＋ ｜Ｐ３３ − Ｐ５１｜＋｜Ｐ３３ − Ｐ５３｜) ／３
によって求められる。この方向性データＰｖ（６）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（６）に示す補間パターンに近似していることになる。
【０１２６】
また、図６（７）は、図４（７）と同様に、輝度が低い部分が左下に集中している補間パターンを示している。この図６（７）に示す補間パターンは、均一性は左下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(７)は、
Ｐｖ(７) ＝ (｜Ｐ３３ − Ｐ１３｜＋ ｜Ｐ３３ − Ｐ１５｜＋｜Ｐ３３ − Ｐ３５｜) ／３
によって求められる。この方向性データＰｖ（７）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（７）に示す補間パターンに近似していることになる。
【０１２７】
さらに、図６（８）は、図４（８）と同様に、輝度が低い部分が右下に集中している補間パターンを示している。図６（８）に示す補間パターンは、均一性は右下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(８)は、
Ｐｖ(８) ＝ (｜Ｐ３３ − Ｐ３５｜＋ ｜Ｐ３３ − Ｐ５３｜＋｜Ｐ３３ − Ｐ５５｜) ／３
によって求められる。この方向性データＰｖ（８）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（８）に示す補間パターンに近似していることになる。
【０１２８】
なお、上記方向性データの計算式において、イメージ信号のデータは２個の場合と３個の場合とがあるが、いずれも、その補間パターン上に存在する全ての画素数に対応している。
【０１２９】
上記方向性データＰｖ（１）〜Ｐｖ（８）の値が小さいものが、補間パターン格納メモリ９に用意されている補間パターンに近似していることになる。ここで、方向性データの（ ）内の数値を補間パターン番号と称し、その補間パターンをＰｎ３３と称する。
【０１３０】
図２に示すステップＳ１０では、Ｇ画素の補間処理と同様に、上記方向性データＰｖ（１）〜Ｐｖ（８）を用いて、補間対象の画素およびその周辺の画素のイメージ信号から、方向性データが最小となる補間パターンを求める。
【０１３１】
そして、図２に示すステップＳ１１では、方向性データが最小値となる補間パターンが１つであるか否かを判定し、一つである場合にはステップＳ１２に進み、二つ以上である場合にはステップＳ１３の処理に進む。
【０１３２】
図２に示すステップＳ１２では、ステップＳ１１において方向性データが最小となる補間パターンが１つであるため、その補間パターン番号を補間対象画素の補間パターンの番号Ｐｎ３３として、補間パターン格納メモリ９に格納する。
【０１３３】
また、図２のステップＳ１２において、方向性データが最小となる補間パターンが二つ（２種類）以上あった場合には、ステップＳ１３において、すでに最適な補間パターンが決定されている周辺画素の補間パターンとの相関を考慮する。左上の画素から右方向に、次に下方向に補間処理が行われている場合に、現在の補間対象画素がＰ３３であれば、既に補間処理が行われて補間パターン番号（識別情報）が補間パターン格納メモリ９に格納されている画素Ｇ２３およびＧ３２の補間パターン番号Ｇｎ２３およびＧｎ３２と、方向性データＰｖ（ｘ）が最小となる二つ以上の補間パターンの一つが一致する場合には、その補間パターン番号をＰｎ３３として補間パターン格納メモリ９に格納する。Ｐ、Ｑ画素ではなくＧ画素を考慮する理由は、Ｇ画素の方がＰ、Ｑ画素よりもパターン検出に適しているからである。
【０１３４】
また、方向性データが最小となる２つ以上の補間パターンのいずれも、周辺画素の補間パターンと一致しない場合には、ステップＳ１３において判定不能とし、予め補間パターン格納メモリ９に用意されている判定不能の場合に応じた補間計算式を用いて補間処理を行う。
【０１３５】
図２に示すステップＳ１５では、それぞれの補間パターンに対応した補間処理を行う。補間処理において求められる色データを、それぞれ、Ｇｏ、ＰｏおよびＱｏとすると、それぞれの補間パターンに対応して、予め用意された補間計算式を用いて、それらの色データを求めることができる。
【０１３６】
以下に、それぞれ、Ｐｖ（１）〜Ｐｖ（８）の補間パターンに適した補間計算式の一例を示す。
【０１３７】
補間パターン番号１：（Ｐｖ（１）が最小）
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３×２＋Ｇ３４×２＋Ｇ３２×２＋Ｇ４３×２＋Ｇ４１＋Ｇ５２）／１２
Ｐｏ＝（Ｐ１５＋Ｐ３３×２＋Ｐ５１）／４
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２
補間パターン番号２：（Ｐｖ（２）が最小）
Ｇｏ＝（Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ１３＋Ｐ３３×２＋Ｐ５３）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
補間パターン番号３：（Ｐｖ（３）が最小）
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３×２＋Ｇ３２×２＋Ｇ３４×２＋Ｇ４３×２＋Ｇ４５＋Ｇ５４）／１２
Ｐｏ＝（Ｐ１１＋Ｐ３３×２＋Ｐ５５）／４
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２
補間パターン番号４：（Ｐｖ（４）が最小）
Ｇｏ＝（Ｇ３２＋Ｇ３４）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３×２＋Ｐ３５）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
補間パターン番号５：（Ｐｖ（５）が最小）
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３×２＋Ｇ３２×２）／６
Ｐｏ＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３×３）／６
Ｑｏ＝Ｑ２２
補間パターン番号６：（Ｐｖ（６）が最小）
Ｇｏ＝（Ｇ４１＋Ｇ５２＋Ｇ３２×２＋Ｇ４３×２）／６
Ｐｏ＝（Ｐ３１＋Ｐ５１＋Ｐ５３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ４２
補間パターン番号７：（Ｐｖ（７）が最小）
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３×２＋Ｇ３４×２）／６
Ｐｏ＝（Ｐ１５＋Ｐ３５＋Ｐ１３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ２４
補間パターン番号８：（Ｐｖ（８）が最小）
Ｇｏ＝（Ｇ５４＋Ｇ４５＋Ｇ３４×２＋Ｇ４３×２）／６
Ｐｏ＝（Ｐ５５＋Ｐ３５＋Ｐ５３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ４４
判定不能時：
Ｇｏ＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
以上のような計算式を用いて補間処理を行うことによって、好適な色データを算出することができる。
【０１３８】
以上により、輝度を主として構成するイメージ信号であるＧ信号、並びに輝度を構成しないイメージ信号であるＲ信号およびＢ信号における最適な補間処理を実現することができる。
【０１３９】
このようにして求められた補間パターン番号または判定不能を表す番号を、補間パターン格納メモリ９に格納しておき、補間処理以降に画像信号処理部１０によって行われるデジタル画像信号処理時に、それぞれの補間パターンに対応して信号処理を行うことによって、好適な信号処理を行うことが可能である。
【０１４０】
以下では、その一例として、補間パターン格納メモリ９に格納されている補間パターン番号を用いて、図７（ａ）に示すような画像パターンに対してエッジ強調処理を行う場合について、簡単に説明する。
【０１４１】
図７（ｂ）は、図７（ａ）に示す画像のイメージ信号値を示す図であり、白の部分を１００、黒の部分を４０としている。通常のエッジ強調処理では、図７（ｃ）に示すようなラプラシアンフィルタと称されるフィルタを通した後、元の信号にその値を加算する処理が行われる。
【０１４２】
図７（ｄ）は、図７（ｂ）に示す画像（データ）を、図７（ｃ）に示すフィルタを通した後に１／８積算し、元の画像に加算することによりエッジ強調処理を行った結果の数値を表す図である。
【０１４３】
図７（ｅ）は、図７（ｄ）において横方向に並ぶ画素Ｇ１３、Ｑ１３、Ｇ３３、Ｑ４３およびＧ５３の数値をグラフ化したものであり、図７（ｆ）は、図７（ｄ）において左上から斜め方向に並ぶ画素Ｇ１１、Ｇ２２、Ｇ３３、Ｇ４４およびＧ５５の数値をグラフ化したものである。
【０１４４】
図７（ｅ）によれば、この方法により信号がエッジ強調処理されているが、図７（ｆ）によれば、画素Ｇ３３の信号はマイナス側に強調されているものの、画素Ｇ２２の信号は全く強調処理されていない。
【０１４５】
本実施形態では、それぞれの画素の補間パターン番号が補間パターン格納メモリ９に格納されており、例えば図７（ａ）に示す画像の場合には、図４（１）に示すような補間パターンの番号が補間パターン格納メモリ９に格納されている。
【０１４６】
そこで、図４（１）の補間パターンに対応するフィルタとして、図７（ｇ）に示すフィルタを用いて、画素Ｇ２２のデータを、図７（ｇ）に示すフィルタを通した後に１／４積算し、元の画像に加算することによりエッジ強調処理を行う。その結果の数値を図７（ｈ）に示す。この図７（ｈ）によれば、それぞれの補間パターンに応じて、エッジ強調処理が好適に処理されていることは明らかである。また、これと同様に、補間パターンに対応するフィルタを用いて、偽色処理など、補間パターンに対応した他のデジタル信号処理を行うこともできる。
【０１４７】
以上により、本実施形態によれば、複数の補間パターンを補間パターン格納メモリ９に用意しておき、補間処理部８によって、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、その求めた補間パターン上に補間対象画素が配置されているものとして、その補間パターンに対応した計算式を用いて補間処理を行う。これによって、イメージ信号の均一性および勾配性を考慮して補間処理を行うことができるので、ノイズなどの影響を受けず、従来の補間方法で生じるような画像破綻を防ぐことができる。
【０１４８】
なお、本実施形態では、補間パターンとして８種類（判定不能も含めると９種類）を用意しているが、補間パターン格納メモリ９などの回路規模を小さくするために、パターン数を変更することも当然可能である。例えば、本願発明者らが実験を行ったところ、上記８種類の補間パターンのうち、図４（１）および図６（１）に示す水平傾斜、図４（２）および図６（２）に示す垂直傾斜、図４（３）および図６（３）に示す右下傾斜、図４（４）および図６（４）に示す右上傾斜のパターンが殆どの場合（９０％程度）を占めていた。よって、コストパフォーマンスを考慮すると、４種類の補間パターンによってイメージ信号の均一性および勾配性を表すようにしてもよい。また、例えば、バーコードリーダ用途など、１次元の画像を用いるシステムにおいては、図４（４）および図６（４）に示す補間パターンのみを使用することも可能である。また、回路規模や演算性能が十分備わっているシステムにおいては、ラインメモリ７を大きくして、補間パターン数をさらに増やすことにより、高度なパターンによる好適な補間処理を行うことも可能となる。
【０１４９】
また、本実施形態では、それぞれの補間パターンに応じた補間処理を行うために、簡略な計算式を用いている。しかしながら、本発明は、イメージ信号の均一性および勾配性に応じて補間対象の画素およびその周辺領域の画素のパターンに近似している補間パターンを求め、その補間パターンに応じた補間処理を行うことを特徴としているため、各補間パターンに対する補間計算方法については、最適なものを適宜設定することができるものとする。
【０１５０】
本発明では、補間対象の画素およびその周辺領域の画素の均一性および勾配性から最適な補間パターンを求めて、その補間パターンと周辺の画素の補間パターンとを有効に用いて、補間処理方法を決定することを特徴としている。よって、その補間パターン、補間パターン数、補間パターン番号、補間計算方法、補間対象の画素の補間パターンの活用方法、周辺の画素の補間パターンの活用方法、補間パターンを用いた補間処理以降のデジタル画像信号処理について、適宜変更を行っても、本発明の範囲に含まれるものである。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、ＲＧＢなどの複数種類の色フィルタが離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置において、補間処理を行う際に、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、その求められた補間パターンに対応した補間処理を行う。このように、イメージ信号の均一性および勾配性を考慮して補間処理を行うため、従来の補間方法のような画像破綻を防ぐことができる。また、ノイズなどの画像外の信号が存在しても、特許文献１のようなイメージ信号の変動を防いで良好なエッジを表現し、解像度の劣化を防ぐことができる。
【０１５２】
さらに、補間処理以降に行われるエッジ強調処理や偽色抑圧処理などのデジタル画像信号処理に対しても、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて求められた補間パターンに対応して処理を行うことによって、良好なイメージ信号を生成することができる。
【図面の簡単な説明】
【図１】本発明のカメラの実施形態における要部構成を示すブロック図である。
【図２】図１の補間処理部による補間処理の処理手順について説明するためのフローチャートである。
【図３】（ａ）および（ｂ）はそれぞれ、図１のラインメモリに格納されたイメージ信号のイメージ図である。
【図４】（１）〜（８）はそれぞれ、Ｇ画素に対する補間パターンの例を示す図である。
【図５】（ａ）〜（ｄ）はそれぞれ、本発明の補間処理において、補間パターンを決定する方法について説明するための図である。
【図６】（１）〜（８）はそれぞれ、Ｐ画素に対する補間パターンの例を示す図である。
【図７】（ａ）〜（ｈ）はそれぞれ、本発明の画像処理としてエッジ強調処理について説明するための図である。
【図８】従来のベイヤ配列のカラーフィルタにおける各色の配置を示す図である。
【図９】（ａ）および（ｂ）はそれぞれ、従来の補間処理方法について説明するための図である。
【図１０】（ａ）〜（ｅ）はそれぞれ、従来の補間方法の問題を説明するための図である。
【図１１】（ａ）〜（ｃ）はそれぞれ、従来の他の補間処理方法の問題を説明するための図である。
【符号の説明】
１ 固体撮像素子
２ ＣＤＳ
３ ＡＧＣ
４ Ａ／Ｄ
５ ＤＳＰ
６ ＴＧ
７ ラインメモリ
８ 補間処理部
９ 補間パターン格納メモリ
１０ 画像信号処理部
１１ Ｉ／Ｆ部
１２ データ処理装置
１００ カメラ
【発明の属する技術分野】
本発明は、固体撮像素子を利用したカメラ、ビデオカメラおよびデジタルカメラなどに用いられ、各画素毎のイメージ信号に欠落している色信号を補間処理するカメラ信号処理装置などのデータ処理装置および、これを用いた画像処理装置、これが用いられ、固体撮像素子を利用したカメラ、カメラ付き携帯電話装置、ビデオカメラおよびデジタルカメラなどのカメラに関する。
【０００２】
【従来の技術】
従来、固体撮像素子を利用した単板式のカメラ、ビデオカメラおよびデジタルカメラ（以下、カメラと総称する）においては、固体撮像素子の各画素部に、カラーフィルタが離散的に配置されている。
【０００３】
このカラーフィルタは、例えばＲ（赤）Ｇ（緑）Ｂ（青）の３種類の色（三原色）からなっており、ＲＧＢのフィルタが各画素部毎に１色ずつ配置されている。画素部に配置された色フィルタ以外の色に対して、その色信号を演算によって求めることにより、あたかもそこに連続的に３種類の色フィルタが配置されているかのように、空間的（この場合には２次元）なデータの連続性を確保することができる。このような演算処理により、空間的なデータの連続性を求めることを補間処理という。
【０００４】
以下に、この補間処理について具体的に説明する。
【０００５】
図８は、従来の一般的なカラーフィルタにおける各色の配置例を示す図である。
【０００６】
一般に、カラーフィルタにおいては、図８に示すように、Ｇフィルタが市松配列、ＲフィルタおよびＢフィルタが線順次モザイク配列に配置されたベイヤ配列と言われる配置方法が用いられる。
【０００７】
このように、各画素部に対してカラーフィルタがベイヤ配列で配列された固体撮像素子から得られるデジタル化されたイメージ信号には、それぞれの画素に対応するイメージ信号として、一つの色データしか得られない。したがって、各画素部毎にＲＧＢ全ての色データを示すフルカラーのイメージ信号を得るためには、各画素において存在しない色データについて、その色のフィルタが配置されている他の画素のイメージ信号から補間処理を行うことにより生成する必要がある。
【０００８】
このような補間処理においては、Ｇ画素と、それ以外のＲ画素およびＢ画素とを、それぞれ２種類の方法を用いて補間する方法が用いられている。
【０００９】
図９（ａ）および図９（ｂ）はそれぞれ、従来の補間処理方法について説明するための図である。ここでは、Ｇのフィルタが配置されている画素をＧとして示している。また、ＲおよびＢのフィルタは対象位置に配置されているため、ここではＲおよびＢのフィルタが配置されている画素をそれぞれＰおよびＱとして示して説明を行う。
【００１０】
例えば、図９（ａ）に示すように、補間処理の対象画素を中央部分のＧ３３とすると、その画素のＲおよびＢ（ＰおよびＱ）のデータを補間処理により求める必要がある。ここで、Ｇの画素と隣接する画素は、Ｒの画素である場合とＢの画素である場合との２種類の場合が存在する。
【００１１】
このＧ３３に対して補間処理した後のＰおよびＱのデータをそれぞれ、Ｐ３３およびＱ３３とする。Ｐ３３およびＱ３３は、Ｇ３３の周辺に隣接するＰおよびＱの画素のデータを用いて補間処理が行われるため、一般に、
Ｇ３３＝Ｇ３３
Ｐ３３＝（Ｐ３２＋Ｐ３４）／２
Ｑ３３＝（Ｑ２３＋Ｑ４３）／２
によってデータが算出される。
【００１２】
次に、図９（ｂ）に示すように、補間処理の対象画素をＱ３３とすると、その画素のＧおよびＰのデータを補間処理により求める必要がある。ここで、Ｑの画素と隣接する画素は、Ｇの画素である場合とＰの画素である場合との２種類の場合が存在する。
【００１３】
このＱ３３を補間処理した後のＧおよびＰのデータをそれぞれ、Ｇ３３およびＰ３３とする。Ｇ３３およびＰ３３は、Ｑ３３の周辺に隣接するＧおよびＰの画素のデータを用いて補間処理が行われるため、一般に、
Ｇ３３＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４
Ｐ３３＝（Ｐ２２＋Ｐ２４＋Ｐ４２＋Ｐ４４）／４
Ｑ３３＝Ｑ３３
によってデータが算出される。
【００１４】
しかしながら、上述した一般的な補間方法では、詳細に後述するが、画像破綻が発生したり、エッジ部分の解像度が劣化したりするという問題がある。
【００１５】
以下に、この問題について、図１０（ａ）に示すような縦の格子模様の被写体を撮像した場合を一例として説明する。
【００１６】
図１０（ａ）に示すＧ１１〜Ｇ１５のラインは、輝度が高いラインであり、一般的に白表示となる。また、Ｑ２１〜Ｑ２５のラインは、輝度が低いラインであり、一般的に黒表示となる。
【００１７】
図１０（ｂ）は、図１０（ａ）に示す縦の格子模様（ストライプ模様）の被写体を撮像した場合における各画素のイメージ信号の値を示しており、白の部分が１００、黒の部分が０として示されている。
【００１８】
補間処理の対象画素をＧ３３とすると、上記補間処理の式から、
Ｇ３３＝１００
Ｐ３３＝（Ｐ３２＋Ｐ３４）／２＝１００
Ｑ３３＝（Ｑ２３＋Ｑ４３）／２＝０
となる。
【００１９】
これと同様に、全ての画素について、上記式により補間処理を行った結果を図１０（ｃ）〜（ｅ）に示している。図１０（ｃ）には補間処理後のＧの値、図１０（ｄ）には補間処理後のＰの値、図１０（ｅ）には補間処理後のＱの値が示されている。
【００２０】
図１０(ｃ)に示すように、補間されたＧのデータは、格子模様（ストライプ模様）を表しておらず、画像が破綻している、また、図１０（ｅ）に示すように、補間されたＱのデータは、格子模様（ストライプ模様）を表しておらず、エッジが無くなっていることから、画像が破綻している。
【００２１】
このような補間処理による画像破綻を解決する方法として、例えば特許文献１には、水平方向および垂直方向の輝度値の差から階調値を求め、この階調値を予め定められた閾値と比較し、その比較結果に応じて補間処理を行う方法が開示されている。
【００２２】
以下に、特許文献１に開示されている補間方法について、図１１（ａ）に示すような横の格子模様（ストライプ模様）の被写体を撮像した場合を一例として説明する。
【００２３】
図１１（ａ）に示すＧ１１〜Ｇ５１、Ｇ１３〜Ｇ５３およびＧ１５〜Ｇ５５の各ラインは、輝度が低いラインであり、一般的に黒表示となる。また、Ｐ１２〜Ｐ５２およびＰ１４〜Ｐ５４の各ラインは、輝度が高いラインであり、一般的に白表示となる。
【００２４】
図１１（ｂ）は、図１１（ａ）に示す横の格子模様の被写体を撮像した場合における各画素のイメージ信号の値を示しており、白の部分が１００、黒の部分が０として示されている。
【００２５】
この特許文献１によると、図１１（ａ）に示す画素Ｑ２３を補間処理の対象とした場合に、色データのＧ２３およびＰ２３は、下記の式（数１）により求められる。
【００２６】
【数１】
上記式（数１）において、Ａｄａｐは特許文献１より下記の式（数２）に示すような条件判断により求められる。なお、以下では、図１１（ａ）の画素Ｇ２３に対応した計算式としている。また、下記の式（数２）において、Ｔｈｒｅｓｈｏｌｄは予め定められた閾値、Ｇｄｉｆｆ−ｈｏｒは水平方向の輝度値の差、Ｇｄｉｆｆ−ｖｅｒは垂直方向の輝度値の差を示している。
【００２８】
【数２】
【特許文献１】
特開平７−５９０９８号公報
【００３０】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に開示されている補間処理方法を用いても、画像の破綻が生じることがある。
【００３１】
例えば、図１１（ｂ）に示すデータ値から、上記式（数１）および上記式（数２）を用いてデータＧ２３を求めると、
Ｇｄｉｆｆ−ｈｏｒ＝Ｇｄｉｆｆ−ｖｅｒ＝０
となり、閾値Ｔｈｒｅｓｈｏｌｄの値に関わらず、
Ｇ２３＝ＡｄａｐＧ２３＝｜Ｇ１３＋Ｇ３３＋Ｇ２２＋Ｇ２４｝／４＝５０
となる。また、データＧ４３も同様に求められ、Ｇ４３＝５０となる。
【００３２】
特許文献１によると、データＧ１３、Ｇ３３およびＧ３５はそれぞれの画素のデータから生成されるため、Ｇ１３＝Ｇ３３＝Ｇ３５＝０となる。
【００３３】
以上により、データＧ１３〜Ｇ３５の１水平ライン分のデータは、図１１（ｃ）に示すようなものとなる。
【００３４】
この図１１（ｃ）によれば、本来は黒（または白）を示す図１１（ａ）のようなデータに対して補間処理を行うことにより偽信号が生じて、水平ライン上で輝度の差が生じている。これは、あたかも白黒もしくは強弱のパターンが繰り返されているように見えるジッパーノイズと言われるノイズが生じて、画像が破綻していることを示している。
【００３５】
また、この特許文献１の補間処理方法では、水平方向および垂直方向の輝度値の差と閾値とを比較している。この方法では、イメージ信号にノイズなどが生じない場合には有効であるが、ノイズなどの影響により水平方向および垂直方向の輝度値の差が閾値付近で変動する場合には、時系列的に補間処理の計算方法が変化することによりデータの変動が生じ、補間処理の対象画素が時系列的に点滅して表示されるという不具合が生じるおそれがある。
【００３６】
本発明は、上記従来の問題を解決するもので、複数種類の色フィルタが各画素に離散的に配置された固体撮像素子から得られるデジタル化されたイメージ信号を補間処理する際に、ノイズなどの影響を受けず、画像破綻を防止することができるカメラ信号処理装置などのデータ処理装置および、これを用いた画像処理装置、これを用いたカメラを提供することを目的とする。
【００３７】
【課題を解決するための手段】
本発明のデータ処理装置は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段と、該イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段とを有し、該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンが格納されており、該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを、該補間パターン格納手段の各補間パターンから選択し、この選択した補間パターンに対応した補間処理を行うものであり、そのことにより上記目的が達成される。
【００３８】
本発明のデータ処理装置は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段を有し、該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、かつ該補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンを選択し、この求めかつ選択した補間パターンに対応した補間処理を行うものであり、そのことにより上記目的が達成される。
【００３９】
さらに、好ましくは、本発明のデータ処理装置において、補間パターン格納手段に格納されている各補間パターンにはそれぞれ識別情報が付されており、前記補間処理手段は、該補間パターン格納手段に、前記選択した補間パターンの識別情報を格納する。
【００４０】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号から、各補間パターンとの近似度を表す方向性データを算出し、該方向性データが最小となる補間パターンを選択する。
【００４２】
さらに、好ましくは、本発明のデータ処理装置において、前記イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段をさらに有し、該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、前記それぞれ補間パターンが格納されている。
【００４３】
さらに、好ましくは、本発明のデータ処理装置における補間パターン格納手段には、各補間パターンとして、所定のデータ値の画素が水平に並んでいるパターン、垂直に並んでいるパターン、右上方向に傾斜しているパターン、右下方向に傾斜しているパターン、左上角部に集まっているパターン、右上角部に集まっているパターン、左下角部に集まっているパターンおよび右下角部に集まっているパターンがそれぞれ格納されている。
【００４４】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが該補間パターン格納手段内に格納されていない場合には、所定の計算式により補間処理を行う。
【００４５】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、前記補間パターン格納手段に補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが二つ以上格納されている場合には、該その周辺画素で選択された補間パターンに応じて、該二つ以上の補間パターンから一つを選択する。
【００４６】
さらに、好ましくは、本発明のデータ処理装置における補間処理手段は、求められた補間パターンに対応する計算式により補間処理を行う。
【００４７】
本発明の画像処理装置は、請求項１〜１０の何れかに記載のデータ処理装置と、該データ処理装置によって求められた補間パターンに対応した画像処理を行う画像処理手段とを有しており、そのことにより上記目的が達成される。
【００４８】
本発明のカメラは、固体撮像素子からイメージ信号が入力されて前記補間処理および画像処理を行ってカメラ用の画像データを得ており、そのことにより上記目的が達成される。
【００５０】
上記構成により、以下に、本発明の作用について説明する。
【００５１】
ＲＧＢ（三原色）などの複数種類の色フィルタが離散的に配置（例えばベイヤ配列）された固体撮像素子から得られるデジタル化されたイメージ信号（画素信号）において、ある色のフィルタが設けられていない画素部に対して、あたかも全ての画素部毎に連続的に各色のフィルタが配置されているように、その欠落している色のデータ（信号）を補間処理によって求めることができる。例えば、固体撮像素子の画素数が１０００画素である場合、各画素のデータはＲＧＢのいずれかのイメージ信号であるが、補間処理の結果、ＲＧＢそれぞれに対して、１０００個のデータ（信号）が得られ、３０００個の色信号が得られることになる。これによって、空間的な（この場合には２次元）データの連続性を確保することができる。
【００５２】
本発明にあっては、この補間処理において、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、この求められた補間パターンに対応した補間処理を行う。このように、イメージ信号の均一性および勾配性を考慮して補間処理を行うため、従来の補間処理方法のような画像破綻を防ぐことができる。また、閾値を用いて補間処理を行う特許文献１の従来技術のように、ノイズなどの影響により補間処理の計算に変化が生じ、イメージ信号の変動が生じることを防ぐことができる。
【００５３】
補間パターンは、イメージ信号の均一性および勾配性を考慮したものであり、例えばデータ値が小さい画素が水平に並んでいるパターン、垂直に並んでいるパターン、右下方向に傾斜しているパターン、右上方向に傾斜しているパターン、左上角部に集まっているパターン、および右下角部に集まっているパターンなど、複数の補間パターンを補間パターン格納手段に用意しておき、各補間パターンに対して、その補間パターンとの近似度を表す方向性データを算出し、方向性データが最小となる補間パターンを選択することができる。
【００５４】
その補間パターン上に画素が配置されているものとして、補間対象画素およびその周辺画素のイメージ信号、またはその周辺画素のイメージ信号を用いて、それぞれの補間パターンに応じた計算式により補間処理を行う。この処理を、全ての画素に対して順次行う。
【００５５】
また、補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが補間パターン格納手段に存在しない場合には、予め決められた所定の計算式により補間処理を行うことによって、均一性および勾配性に応じて最適な補間パターンを求めることができない場合であっても、より正確な補間処理を行うことができる。
【００５６】
また、補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが補間パターン格納手段に２種類以上存在する場合には、その周辺画素にて選択された補間パターンに基づいて、２種類以上の補間パターンのうち何れかを選択することができる。このように、その周辺画素の補間パターンを考慮することによって、ノイズなどの影響によりイメージ信号のデータが時系列的に変化しても、補間処理によって算出されるイメージ信号の変動が生じることを防ぐことができる。
【００５７】
また、画像のエッジ部分では輝度の変化が大きくなり、色の変化は比較的小さいため、補間対象画素がＧ画素のように主として輝度を構成する画素である場合にはデータの変化が大きく、補間対象画素がＲ画素やＢ画素のように主として輝度を構成しない画素である場合にはデータの変化が少ない。よって、それぞれの場合に分けて補間処理を行うことにより、最適な補間処理を行うことができる。
【００５８】
さらに、補間処理以降に行われるエッジ強調処理や偽色抑圧処理などのデジタル画像信号処理に対しても、補間対象の画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて求められた補間パターンに対応して画像処理を行うことによって、良好なイメージ信号を生成することができる。
【００５９】
【発明の実施の形態】
以下に、本発明のデータ処理装置の実施形態を用いた画像処理装置をカメラ（カメラシステム）に適用した場合について図面を参照しながら説明する。
【００６０】
図１は、本発明のカメラの一実施形態における要部構成を示すブロック図である。なお、図１中の実線矢印はイメージ信号の流れを示し、点線矢印は制御信号の流れを示している。
【００６１】
図１において、このカメラ１００は、固体撮像素子１と、ＣＤＳ（相関二重サンプリング回路）２と、ＡＧＣ（自動利得制御回路）３と、Ａ／Ｄ（アナログ／デジタル）変換回路４と、カメラ信号処理装置である画像処理装置としてのＤＳＰ（デジタルシグナルプロセッサ）５と、ＴＧ（タイミング信号発生回路）６とを有している。
【００６２】
固体撮像素子１は、光電変換を行うフォトダイオードを有し、それぞれのフォトダイオードには、図８で示したようなベイヤ配列と言われる配列方式により、Ｒ、Ｇ、Ｂ（三原色）のカラーフィルタが離散的に配置されている。このフォトダイオードに入射された光信号は、光電変換されて電気信号として出力される。
【００６３】
ＣＤＳ２およびＡＧＣ３は、固体撮像素子１から出力された信号を、相関二重サンプリング処理と、自動利得制御処理を行う。
【００６４】
Ａ／Ｄ変換回路４は、イメージ信号として、アナログ信号からデジタル信号に変換される。
【００６５】
ＤＳＰ５は、Ａ／Ｄ変換回路４からのデジタル信号を、詳細に後述する画像処理を行う。
【００６６】
ＴＧ６は、上記電気信号を転送するためのタイミング信号を生成・駆動するための回路である。
【００６７】
ＤＳＰ５は、５ライン分のラインメモリ７と、補間処理部８と、補間パターン格納メモリ９と、画像信号処理部１０と、Ｉ／Ｆ部１１とを有している。これらのラインメモリ７、補間処理部８および補間パターン格納メモリ９によりデータ処理装置１２が構成されている。
【００６８】
ラインメモリ７は、ＤＳＰ５に入力されたイメージ信号の５ライン分のデータを保持して、順次、補間処理部８に供給する。
【００６９】
補間処理部８は、ラインメモリ７に入力されたイメージ信号から、補間パターン格納メモリ９に格納されている補間パターンのデータを必要に応じて用いて、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じた補間処理を行い、その補間処理後のイメージ信号を画像信号処理部１０に転送する。
【００７０】
補間パターン格納メモリ９は、予め複数の補間パターンを格納している。補間処理部８による補間処理時に、補間パターン格納メモリ９から選択された補間パターンの番号は、補間パターンの識別情報として、補間パターン格納メモリ９内に格納される。
【００７１】
画像信号処理部１０は、イメージ信号を処理する周知のブロックであるため、ここではその詳細な説明を省略するが、一般的には、固体撮像素子１の露出を調整するための自動露出制御処理、イメージ信号の白レベルを調整する自動ホワイトバランス制御処理、エッジ信号を強調するエッジ強調処理、エッジ部で発生する偽色を除去する偽色抑圧処理などの各種画像処理が行われる。
【００７２】
Ｉ／Ｆ部１１は、画像信号処理部１０で好適に処理されたイメージ信号が入力され、外部回路とのイメージ信号の同期転送を行う。
【００７３】
以下に、補間処理部８で行われる補間処理について、図２に示すフローチャートおよび、図３〜図６を用いて詳細に説明する。
【００７４】
図３は、ラインメモリ７に格納されたイメージ信号について、水平方向および垂直方向にそれぞれ５画素分を切り出し、補間対象画素を中心位置Ｇ３３に配置したイメージ図である。図３（ａ）は、補間対象の画素部に配置されたフィルタ色がＧである場合のイメージ図であり、図３（ｂ）は、補間対象の画素部に配置されたフィルタ色がＲまたはＢである場合のイメージ図である。なお、ここでは、ベイヤ配列では、ＲおよびＢのフィルタは対象位置に配置されるため、図３（ｂ）ではＰおよびＱとして置き換えて示している。
【００７５】
通常、画像のエッジ部分では輝度の変化が大きくなり、色の変化は比較的小さくなることが知られている。例えば、エッジ部分では、輝度を主として構成するイメージ信号であるＧ画素はデータの変化が大きく、反対に、輝度を主として構成しない画素であって主に色成分を構成する画素であるＲ画素およびＢ画素はデータの変化が少ないことになる。
【００７６】
これらから、補間処理部８は、図２のステップＳ１において、Ｇ画素と、Ｒ画素またはＢ画素とに場合分けして、それぞれに最適な補間処理を行う。
【００７７】
まず、Ｇ画素の補間処理について説明する。
【００７８】
図２のステップＳ２では、ステップＳ１において対象画素がＧ画素である場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号の均一性および勾配性を求める。イメージ信号の均一性および勾配性を求めるためには、その均一性および勾配性を数値化する必要があり、その数値化されたデータを方向性データという。
【００７９】
本実施形態では、図４（１）〜図４（８）に示すような各補間パターンを補間パターン格納メモリ９に用意し、それぞれ、後述する計算式により、方向性データＧｖ（ｘ）を求める。これによって、補間パターンと同じ数の方向性データが算出される。これらの方向性データは、それぞれの補間パターンとの近似度を表しており、その方向性データの数値が小さい場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号のデータ値のパターンと補間パターンとが近似していると判定される。
【００８０】
例えば、図４（１）は、輝度が低い部分が右上方向に傾斜している補間パターンを示している。図４（１）に示す補間パターンは、均一性が無く、勾配性は右上傾斜となっている。この補間パターンにイメージ信号のデータ値のパターンが近似している場合には、画像データはこの右上傾斜線上に存在していることになる。したがって、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(１)は、補間対象の画素であるＧ３３に対して、残りの画素Ｇ５１、Ｇ４２、Ｇ２４およびＧ１５との値の差分を取り、その平均値を求めることによって算出することができる。よって、方向性データＧｖ（１）は、
Ｇｖ(１)＝ (｜Ｇ３３ − Ｇ５１| ＋ ｜Ｇ３３ − Ｇ４２｜＋｜Ｇ３３ − Ｇ２４｜＋ ｜Ｇ３３ − Ｇ１５｜) ／ ４
によって求められる。ここで、補間対象の画素およびその周辺領域の画素のイメージ信号がこの補間パターン上にある場合には、これらの差分は全てゼロとなるので、この方向性データＧｖ（１）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（１）に示す補間パターンに近似していることになる。
【００８１】
また、図４（２）は、輝度が低い部分が水平方向に並んでいる補間パターンを示している。この図４（２）に示す補間パターンは、均一性が無く、勾配性は水平傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(２)は、
Ｇｖ(２) ＝ (｜Ｇ３３ − Ｇ１３| ＋ ｜Ｇ３３ − Ｇ５３｜)／２
によって求められる。この方向性データＧｖ（２）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（２）に示す補間パターンに近似していることになる。
【００８２】
また、図４（３）は、輝度が低い部分が右下方向に傾斜している補間パターンを示している。図４（３）に示す補間パターンは、均一性が無く、勾配性は右下傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(３)は、
Ｇｖ(３) ＝ (｜Ｇ３３ − Ｇ１１| ＋ ｜Ｇ３３ − Ｇ２２｜＋｜Ｇ３３ − Ｇ４４｜＋ ｜Ｇ３３ − Ｇ５５｜) ／ ４
によって求められる。この方向性データＧｖ（３）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（３）に示す補間パターンに近似していることになる。
【００８３】
また、図４（４）は、輝度が低い部分が垂直方向に並んでいる補間パターンを示している。図４（４）に示す補間パターンは、均一性が無く、勾配性は垂直傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(４)は、
Ｇｖ(４) ＝ (｜Ｇ３３ − Ｇ３１｜＋ ｜Ｇ３３ − Ｇ３５｜)／２
によって求められる。この方向性データＧｖ（４）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（４）に示す補間パターンに近似していることになる。
【００８４】
また、図４（５）は、輝度が低い部分が左上に集中している補間パターンを示している。図４（５）に示す補間パターンは、均一性は左上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(５)は、
Ｇｖ(５) ＝ (｜Ｇ３３ − Ｇ１１｜＋ ｜Ｇ３３ − Ｇ３１｜＋｜Ｇ３３ − Ｇ２２｜＋ ｜Ｇ３３ − Ｇ１３｜) ／ ４
によって求められる。この方向性データＧｖ（５）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（５）に示す補間パターンに近似していることになる。
【００８５】
また、図４（６）は、輝度が低い部分が右上に集中している補間パターンを示している。この図４（６）に示す補間パターンは、均一性は右上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(６)は、
Ｇｖ(６) ＝ (｜Ｇ３３ − Ｇ３１｜＋ ｜Ｇ３３ − Ｇ４２｜＋｜Ｇ３３ − Ｇ５１｜＋ ｜Ｇ３３ − Ｇ５３｜) ／ ４
によって求められる。この方向性データＧｖ（６）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（６）に示す補間パターンに近似していることになる。
【００８６】
また、図４（７）は、輝度が低い部分が左下に集中している補間パターンを示している。この図４（７）に示す補間パターンは、均一性は左下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(７)は、
Ｇｖ(７) ＝ (｜Ｇ３３ − Ｇ１３｜＋ ｜Ｇ３３ − Ｇ２４｜＋｜Ｇ３３ − Ｇ１５｜＋ ｜Ｇ３３ − Ｇ３５｜) ／ ４
によって求められる。この方向性データＧｖ（７）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（７）に示す補間パターンに近似していることになる。
さらに、図４（８）は、輝度が低い部分が右下に集中している補間パターンを示している。この図４（８）に示す補間パターンは、均一性は右下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＧｖ(８)は、
Ｇｖ(８) ＝ (｜Ｇ３３ − Ｇ３５｜＋ ｜Ｇ３３ − Ｇ４４｜＋｜Ｇ３３ − Ｇ５３｜＋ ｜Ｇ３３ − Ｇ５５｜) ／ ４
によって求められる。この方向性データＧｖ（８）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（８）に示す補間パターンに近似していることになる。
【００８７】
なお、上記方向性データの計算式において、イメージ信号のデータは２個の場合と４個の場合とがあるが、いずれも、その補間パターン上に存在する全ての画素数に対応している。
【００８８】
このような方向性データＧｖ（１）〜Ｇｖ（８）の値が最も小さいものが、補間パターン格納メモリ９に用意されている補間パターンに近似していることになる。ここで、方向性データの（ ）内の数値を補間パターン番号と言い、その補間パターンをＧｎ３３ということにする。
【００８９】
次に、図２に示すステップＳ３では、上記方向性データＧｖ（１）〜Ｇｖ（８）を用いて、補間対象の画素およびその周辺の画素のイメージ信号から、方向性データが最小となる補間パターンを求める。
【００９０】
例えば、図５（ａ）に示すような２本の横縞模様を撮像した場合において、図５（ｂ）に示すようなイメージ信号のデータ値が得られた場合に、画素Ｇ３３を補間対象の画素として、Ｇｖ（１）〜Ｇｖ（８）を求めると、
Ｇｖ（１）＝（１００＋１００＋１００＋ ０）／４＝７５
Ｇｖ（２）＝（０ ＋ ０）／２＝０
Ｇｖ（３）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（４）＝（１００＋０）／２＝５０
Ｇｖ（５）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（６）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（７）＝（１００＋０＋０＋０）／４＝２５
Ｇｖ（８）＝（１００＋０＋０＋０）／４＝２５
となる。
【００９１】
この例では、最小値に対応した方向性データはＧｖ（２）であり、方向性データが最小値となる補間パターンは一つである。
【００９２】
次に、図２のステップＳ４では、方向性データが最小値となる補間パターンが一つであるか否かを判定し、一つである場合（はい）にはステップＳ５の処理に進み、二つ以上である場合（いいえ）にはステップＳ６の処理に進む。
【００９３】
ステップＳ５において、例えば最小値がＧｖ（２）である場合には、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図４（２）に示す補間パターンに近似していることが分かる。この場合には、補間処理部８は、その補間対象画素の補間パターンの番号Ｇｎ３３＝２として、補間パターン格納メモリ９に格納する。
【００９４】
ステップＳ７では、補間処理部８は、それぞれの補間パターンに対応した補間処理を行う。この補間処理において求められる色データを、それぞれ、Ｇｏ、ＰｏおよびＱｏとすると、それぞれの補間パターンに対応して、補間パターン格納メモリ９などに予め用意された補間計算式を用いて、それらの色データを求めることができる。
【００９５】
以下に、それぞれ、Ｇｖ（１）〜Ｇｖ（８）の補間パターンに適した補間計算式の一例を示す。
【００９６】
補間パターン番号１：（Ｇｖ（１）が最小）
Ｇｏ＝（Ｇ１５＋Ｇ２４×２＋Ｇ３３×２＋Ｇ４２×２＋Ｇ５１）／８
Ｐｏ＝（Ｐ１４＋Ｐ３４＋Ｐ３２＋Ｐ５２）／４
Ｑｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４１）／４
補間パターン番号２：（Ｇｖ（２）が最小）
Ｇｏ＝（Ｇ１３＋Ｇ３３×２＋Ｇ５３）／４
Ｐｏ＝（Ｐ１２＋Ｐ１４＋Ｐ３２×２＋Ｐ３４×２＋Ｐ５２＋Ｐ５４）／８
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２
補間パターン番号３：（Ｇｖ（３）が最小）
Ｇｏ＝（Ｇ１１＋Ｇ２２×２＋Ｇ３３×２＋Ｇ４４×２＋Ｇ５５）／８
Ｐｏ＝（Ｐ１２＋Ｐ３４＋Ｐ３２＋Ｐ５４）／４
Ｑｏ＝（Ｑ２１＋Ｑ２３＋Ｑ４３＋Ｑ４５）／４
補間パターン番号４：（Ｇｖ（４）が最小）
Ｇｏ＝（Ｇ３１＋Ｇ３３×２＋Ｇ３５）／４
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２１＋Ｑ４１＋Ｑ２３×２＋Ｑ４３×２＋Ｑ２５＋Ｑ４５）／８
補間パターン番号５：（Ｇｖ（５）が最小）
Ｇｏ＝（Ｇ１１＋Ｇ１３＋Ｇ２２＋Ｇ３１＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ１２＋Ｐ３２）／２
Ｑｏ＝（Ｑ２１＋Ｑ２３）／２
補間パターン番号６：（Ｇｖ（６）が最小）
Ｇｏ＝（Ｇ３１＋Ｇ４２＋Ｇ５３＋Ｇ５１＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３２＋Ｐ５２）／２
Ｑｏ＝（Ｑ４１＋Ｑ４３）／２
補間パターン番号７：（Ｇｖ（７）が最小）
Ｇｏ＝（Ｇ１３＋Ｇ１５＋Ｇ２４＋Ｇ３５＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ１４＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ２５）／２
補間パターン番号８：（Ｇｖ（８）が最小）
Ｇｏ＝（Ｇ３５＋Ｇ４４＋Ｇ５３＋Ｇ５５＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３４＋Ｐ５４）／２
Ｑｏ＝（Ｑ４３＋Ｑ４５）／２
以上のような計算式を用いて補間処理を行うことによって、好適な色データを算出することができる。
【００９７】
なお、上記補間計算式では、Ｇｏ、ＰｏおよびＱｏを算出するためにイメージ信号の平均値を求めているが、その場合に、いずれも２のべき乗の数の平均値を求めている。これは、２のべき乗の数であれば、ビットシフトで演算が簡単になるため、計算器（ハードウェア）の構成が簡単になり、計算速度も高速化することができるからである。また、データの数が２のべき乗になるように加算平均を行う際に、単純平均ではなく、特定の画素に対して重み付けを行っている。これは、補間対象の画素に近い画素部からのデータをより多く採用することによって、より正確なデータを得ることができるからである。
【００９８】
ここで、上記図２のステップＳ４の処理について説明する。方向性データが最小値となる補間パターンは、常に一つとは限らない。例えば、図５（ａ）に示すような横縞模様を撮像した場合、そのイメージ信号のデータ値は図５（ｂ）に示すようなものになるが、ノイズなどの影響により、図５（ｃ）に示すようにＧ３１が「０」となった場合には、Ｇｖ（１）〜Ｇｖ（８）は、以下のような計算結果となる。
【００９９】
Ｇｖ（１）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（２）＝（０＋０）／２＝０
Ｇｖ（３）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（４）＝（０＋０）／２＝０
Ｇｖ（５）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（６）＝（１００＋１００＋１００＋０）／４＝７５
Ｇｖ（７）＝（１００＋０＋０＋０）／４＝２５
Ｇｖ（８）＝（１００＋０＋０＋０）／４＝２５
これらの計算結果によれば、方向性データが最小値となる補間パターンは、Ｇｖ（２）およびＧｖ（４）の二つとなる。
【０１００】
このように、方向性データが最小値となる補間パターンおよび補間パターン番号を求める方法では、上記計算結果に示すように、好適な補間パターンが二つ以上求められるおそれがあり、どちらの補間パターンを用いた補間計算式が最適であるかを判別することができない。
【０１０１】
そこで、本実施形態では、図２のステップＳ６において、方向性データが最小値となる補間パターンが二つ以上あった場合には、すでに最適な補間パターンが決定されている周辺画素の補間パターンとの相関を考慮する。これは、撮像された画像では、当該画素と周辺画素とでイメージ信号のデータ値の相関関係が高いためである。
【０１０２】
図５（ｃ）において、左上の画素から右方向に、次に下方向に処理が行われて、Ｑ０１、Ｇ１１、・・・、Ｑ４１、Ｇ５１、Ｇ０２、Ｐ１２、・・・、Ｑ４５、Ｇ５５の順に補間処理が行われているものとする。
【０１０３】
現在の補間対象画素がＧ３３である場合に、上記順序で補間処理が行われている場合には、画素Ｇ１３、Ｇ２２およびＧ３１は既に補間処理が行われており、補間パターン番号が補間パターン格納メモリ９に格納されている。
【０１０４】
図５（ｃ）に示す画素Ｇ１３、Ｇ２２、Ｇ３１のそれぞれについて、格納された補間パターン番号をＧｎ１３、Ｇｎ２２、Ｇｎ３１とする。この場合、図５（ａ）に示すような２本線の横縞模様を撮像したことから、Ｇｎ１３およびＧｎ２２＝２であり、Ｇｎ３１≠４であることは明らかである。したがって、Ｇｖ（２）が周辺画素の補間パターンと相関があるものと判断する。即ち、最小パターンの一つ＝周辺Ｇ画素の補間パタ−ンならば、補間パタ−ン＝周辺Ｇ画素補間パタ−ンの一つであると判断する。この場合に、ステップＳ７で「それぞれのパターンに対応した補間処理」を行う。即ち、最適な補間パターン番号Ｇ３３＝２として、Ｇｖ(２)の補間パターンに適した補間計算式を用いて補間処理を行う。
【０１０５】
これによって、ノイズの影響により、図５（ｂ）に示すデータが図５（ｃ）に示すようになったとしても、画素Ｇ３３の補間処理をノイズの影響を受けずに行って、正確な色データを算出することが可能となる。
【０１０６】
しかしながら、図５（ｄ）に示すような撮像条件の場合には、方向性データＧｖ（１）〜Ｇｖ（８）は全て同じ値であり、周辺の画素の補間パターンとの相関は得られない。このような場合には、ステップＳ６において判定不能と判断しする。即ち、「最小パターン＝周辺Ｇ画素の補間パターン」が一つも存在しないならば、「補間パタ−ン＝判定不可能」と判断する。「判定不可能」であると判断されると、ステップＳ７で「それぞれのパターンに対応した補間処理」を行う。即ち、予め補間パターン格納メモリ９に用意されている判定不能の場合に応じた補間計算式を用いて補間処理を行う。
【０１０７】
以下に、判定不能時の補間計算式の一例を示す。
【０１０８】
判定不能：
Ｇｏ＝（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ３３×４）／８
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２
このようにして求められた補間パターン番号または判定不能を表す番号をＧｎ３３として、補間パターン格納メモリ９に格納し、周辺の画素の補間処理時に補間パターンの相関を検証するために用いることができる。
【０１０９】
以上のステップＳ１〜Ｓ７の処理により、輝度を主として構成するイメージ信号であるＧ信号における最適な補間処理を実現することができる。
【０１１０】
次に、Ｒ画素およびＢ画素の補間処理について説明する。
【０１１１】
なお、Ｒ画素を補間対象の画素としたときのＢ画素の配置と、Ｂ画素を補間対象の画素としたときのＲ画素の配置とは同様であるため、以下では、補間対象の画素をＰ、それ以外の画素であってＧ画素以外の画素をＱとして説明する。
【０１１２】
Ｐ画素およびＱ画素に対する好適な補間パターンを求めるために、図２のステップＳ８の処理では、まず、周辺のＧ画素に対して求められた補間パターンの相関について検証する。
【０１１３】
通常、解像度の変化はエッジ部分で起こるが、これは輝度（＝白黒）が大きく変化するものであり、色信号の変化としては殆ど目立たない。したがって、この部分では、輝度を構成するＧ画素のデータを処理すればよく、Ｒ画素やＢ画素を補間処理すると、本来白黒であるはずの部分に色信号がついてしまうことになる。よって、Ｒ画素およびＢ画素（Ｐ画素およびＱ画素）の補間処理を行う際には、Ｇ画素の補間パターンについて、周辺の画素との相関を調べる必要がある。
【０１１４】
本実施形態では、図２のステップＳ８において、補間対象のＰ画素の周辺にあるＧ画素に対して求められた補間パターン番号がそれぞれ同じ場合には、補間対象のＰ画素についても、最適な補間パターンとして、周辺Ｇ画素の補間パターンに準じた番号を使用する。
【０１１５】
ステップＳ８の処理で、周辺Ｇ画素同士の補間パターン番号が同じであれば、ステップＳ１４の処理において補間対象Ｐ画素の補間パターンを周辺Ｇ画素の補間パターンとする。例えば、補間対象のＰ画素の補間パターン番号をＰｎ３３とすると、左上の画素から右方向に、次に下方向に順次補間処理が行われる場合に、周辺Ｇ画素の補間パターン番号としてＧｎ３２およびＧｎ２３を用いる。ステップＳ８の処理において、Ｇｎ２３＝Ｇｎ３２であれば、図２のステップＳ１４において、補間パターンをＰｎ３３＝Ｇｎ２３とする。
【０１１６】
次に、図２のステップＳ８の処理において、補間対象のＰ画素の周辺Ｇ画素同士の補間パターン番号が異なる場合（いいえ）には、ステップＳ９の処理において、補間対象のＰ画素とその周辺領域の画素のイメージ信号の均一性および勾配性を求めるために数値化された方向性データを求める。
【０１１７】
本実施形態では、図６（１）〜図６（８）に示すような補間パターンを補間パターン格納メモリ９に用意し、それぞれ、後述する計算式により、方向性データＰｖ（ｘ）を求める。
【０１１８】
これによって、補間パターンと同じ数値の方向性データが算出される。これらの方向性データは、それぞれの補間パターンとの近似度を表しており、その方向性データの数値が小さい場合に、対象画素のＧ画素とその周辺領域の画素のイメージ信号のデータ値のパターンと補間パターンとが近似していると判定される。Ｐ画素の補間処理においては、周辺Ｇ画素との相関を考慮することから、補間パターンとしてＧ画素で用意した補間パターンと同様のパターンを用意し、補間パターン番号も同様に設定している。
【０１１９】
例えば、図６（１）は、図４（１）と同様に、輝度が低い部分が右上方向に傾斜している補間パターンを示している。図６（１）に示す補間パターンは、均一性が無く、勾配性は右上傾斜となっている。この補間パターンにイメージ信号のデータ値のパターンが近似している場合には、画像データはこの右上傾斜線上に存在していることになる。したがって、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(１)は、補間対象の画素であるＰ３３に対して、残りの画素Ｐ５１およびＰ１５との値の差分を取り、その平均値を求めることによって算出することができる。よって、方向性データＰｖ（１）は、
Ｐｖ(１)＝ (｜Ｐ３３ −Ｐ５１| ＋ ｜Ｐ３３ − Ｐ１５｜) ／ ２
によって求められる。
【０１２０】
ここで、補間対象の画素およびその周辺領域の画素のイメージ信号がこの補間パターン上にある場合には、これらの差分は全てゼロとなるので、この方向性データＰｖ（１）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（１）に示す補間パターンに近似していることになる。
【０１２１】
また、図６（２）は、図４（２）と同様に、輝度が低い部分が水平方向に並んでいる補間パターンを示している。図６（２）に示す補間パターンは、均一性が無く、勾配性は水平傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(２)は、
Ｐｖ(２) ＝ (｜Ｐ３３ − Ｐ１３| ＋ ｜Ｐ３３ − Ｐ５３｜)／２
によって求められる。この方向性データＰｖ（２）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（２）に示す補間パターンに近似していることになる。
【０１２２】
また、図６（３）は、図４（３）と同様に、輝度が低い部分が右下方向に傾斜している補間パターンを示している。図６（３）に示す補間パターンは、均一性が無く、勾配性は右下傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(３)は、
Ｐｖ(３) ＝ (｜Ｐ３３ − Ｐ１１| ＋ ｜Ｐ３３ − Ｐ５５｜) ／２
によって求められる。この方向性データＰｖ（３）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（３）に示す補間パターンに近似していることになる。
【０１２３】
また、図６（４）は、図４（４）と同様に、輝度が低い部分が縦方向に並んでいる補間パターンを示している。この図６（４）に示す補間パターンは、均一性が無く、勾配性は垂直傾斜となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(４)は、
Ｐｖ(４) ＝ (｜Ｐ３３ − Ｐ３１｜＋ ｜Ｐ３３ − Ｐ３５｜)／２
によって求められる。この方向性データＰｖ（４）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（４）に示す補間パターンに近似していることになる。
【０１２４】
また、図６（５）は、図４（５）と同様に、輝度の低い部分が左上に集中している補間パターンを示している。図６（５）に示す補間パターンは、均一性は左上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(５)は、
Ｐｖ(５) ＝ (｜Ｐ３３ − Ｐ１１｜＋ ｜Ｐ３３ − Ｐ３１｜＋｜Ｐ３３ − Ｐ１３｜) ／３
によって求められる。この方向性データＰｖ（５）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（５）に示す補間パターンに近似していることになる。
【０１２５】
また、図６（６）は、図４（６）と同様に、輝度が低い部分が右上に集中している補間パターンを示している。図６（６）に示す補間パターンは、均一性は右上、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(６)は、
Ｐｖ(６) ＝ (｜Ｐ３３ − Ｐ３１｜＋ ｜Ｐ３３ − Ｐ５１｜＋｜Ｐ３３ − Ｐ５３｜) ／３
によって求められる。この方向性データＰｖ（６）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（６）に示す補間パターンに近似していることになる。
【０１２６】
また、図６（７）は、図４（７）と同様に、輝度が低い部分が左下に集中している補間パターンを示している。この図６（７）に示す補間パターンは、均一性は左下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(７)は、
Ｐｖ(７) ＝ (｜Ｐ３３ − Ｐ１３｜＋ ｜Ｐ３３ − Ｐ１５｜＋｜Ｐ３３ − Ｐ３５｜) ／３
によって求められる。この方向性データＰｖ（７）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（７）に示す補間パターンに近似していることになる。
【０１２７】
さらに、図６（８）は、図４（８）と同様に、輝度が低い部分が右下に集中している補間パターンを示している。図６（８）に示す補間パターンは、均一性は右下、勾配性は角部となっている。また、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンがこの補間パターンにどれくらい近似しているかを数値化した方向性データＰｖ(８)は、
Ｐｖ(８) ＝ (｜Ｐ３３ − Ｐ３５｜＋ ｜Ｐ３３ − Ｐ５３｜＋｜Ｐ３３ − Ｐ５５｜) ／３
によって求められる。この方向性データＰｖ（８）の値が小さいほど、補間対象の画素とその周辺領域の画素のイメージ信号のデータ値のパターンが図６（８）に示す補間パターンに近似していることになる。
【０１２８】
なお、上記方向性データの計算式において、イメージ信号のデータは２個の場合と３個の場合とがあるが、いずれも、その補間パターン上に存在する全ての画素数に対応している。
【０１２９】
上記方向性データＰｖ（１）〜Ｐｖ（８）の値が小さいものが、補間パターン格納メモリ９に用意されている補間パターンに近似していることになる。ここで、方向性データの（ ）内の数値を補間パターン番号と称し、その補間パターンをＰｎ３３と称する。
【０１３０】
図２に示すステップＳ１０では、Ｇ画素の補間処理と同様に、上記方向性データＰｖ（１）〜Ｐｖ（８）を用いて、補間対象の画素およびその周辺の画素のイメージ信号から、方向性データが最小となる補間パターンを求める。
【０１３１】
そして、図２に示すステップＳ１１では、方向性データが最小値となる補間パターンが１つであるか否かを判定し、一つである場合にはステップＳ１２に進み、二つ以上である場合にはステップＳ１３の処理に進む。
【０１３２】
図２に示すステップＳ１２では、ステップＳ１１において方向性データが最小となる補間パターンが１つであるため、その補間パターン番号を補間対象画素の補間パターンの番号Ｐｎ３３として、補間パターン格納メモリ９に格納する。
【０１３３】
また、図２のステップＳ１２において、方向性データが最小となる補間パターンが二つ（２種類）以上あった場合には、ステップＳ１３において、すでに最適な補間パターンが決定されている周辺画素の補間パターンとの相関を考慮する。左上の画素から右方向に、次に下方向に補間処理が行われている場合に、現在の補間対象画素がＰ３３であれば、既に補間処理が行われて補間パターン番号（識別情報）が補間パターン格納メモリ９に格納されている画素Ｇ２３およびＧ３２の補間パターン番号Ｇｎ２３およびＧｎ３２と、方向性データＰｖ（ｘ）が最小となる二つ以上の補間パターンの一つが一致する場合には、その補間パターン番号をＰｎ３３として補間パターン格納メモリ９に格納する。Ｐ、Ｑ画素ではなくＧ画素を考慮する理由は、Ｇ画素の方がＰ、Ｑ画素よりもパターン検出に適しているからである。
【０１３４】
また、方向性データが最小となる２つ以上の補間パターンのいずれも、周辺画素の補間パターンと一致しない場合には、ステップＳ１３において判定不能とし、予め補間パターン格納メモリ９に用意されている判定不能の場合に応じた補間計算式を用いて補間処理を行う。
【０１３５】
図２に示すステップＳ１５では、それぞれの補間パターンに対応した補間処理を行う。補間処理において求められる色データを、それぞれ、Ｇｏ、ＰｏおよびＱｏとすると、それぞれの補間パターンに対応して、予め用意された補間計算式を用いて、それらの色データを求めることができる。
【０１３６】
以下に、それぞれ、Ｐｖ（１）〜Ｐｖ（８）の補間パターンに適した補間計算式の一例を示す。
【０１３７】
補間パターン番号１：（Ｐｖ（１）が最小）
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３×２＋Ｇ３４×２＋Ｇ３２×２＋Ｇ４３×２＋Ｇ４１＋Ｇ５２）／１２
Ｐｏ＝（Ｐ１５＋Ｐ３３×２＋Ｐ５１）／４
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２
補間パターン番号２：（Ｐｖ（２）が最小）
Ｇｏ＝（Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ１３＋Ｐ３３×２＋Ｐ５３）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
補間パターン番号３：（Ｐｖ（３）が最小）
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３×２＋Ｇ３２×２＋Ｇ３４×２＋Ｇ４３×２＋Ｇ４５＋Ｇ５４）／１２
Ｐｏ＝（Ｐ１１＋Ｐ３３×２＋Ｐ５５）／４
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２
補間パターン番号４：（Ｐｖ（４）が最小）
Ｇｏ＝（Ｇ３２＋Ｇ３４）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３×２＋Ｐ３５）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
補間パターン番号５：（Ｐｖ（５）が最小）
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３×２＋Ｇ３２×２）／６
Ｐｏ＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３×３）／６
Ｑｏ＝Ｑ２２
補間パターン番号６：（Ｐｖ（６）が最小）
Ｇｏ＝（Ｇ４１＋Ｇ５２＋Ｇ３２×２＋Ｇ４３×２）／６
Ｐｏ＝（Ｐ３１＋Ｐ５１＋Ｐ５３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ４２
補間パターン番号７：（Ｐｖ（７）が最小）
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３×２＋Ｇ３４×２）／６
Ｐｏ＝（Ｐ１５＋Ｐ３５＋Ｐ１３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ２４
補間パターン番号８：（Ｐｖ（８）が最小）
Ｇｏ＝（Ｇ５４＋Ｇ４５＋Ｇ３４×２＋Ｇ４３×２）／６
Ｐｏ＝（Ｐ５５＋Ｐ３５＋Ｐ５３＋Ｐ３３×３）／６
Ｑｏ＝Ｑ４４
判定不能時：
Ｇｏ＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
以上のような計算式を用いて補間処理を行うことによって、好適な色データを算出することができる。
【０１３８】
以上により、輝度を主として構成するイメージ信号であるＧ信号、並びに輝度を構成しないイメージ信号であるＲ信号およびＢ信号における最適な補間処理を実現することができる。
【０１３９】
このようにして求められた補間パターン番号または判定不能を表す番号を、補間パターン格納メモリ９に格納しておき、補間処理以降に画像信号処理部１０によって行われるデジタル画像信号処理時に、それぞれの補間パターンに対応して信号処理を行うことによって、好適な信号処理を行うことが可能である。
【０１４０】
以下では、その一例として、補間パターン格納メモリ９に格納されている補間パターン番号を用いて、図７（ａ）に示すような画像パターンに対してエッジ強調処理を行う場合について、簡単に説明する。
【０１４１】
図７（ｂ）は、図７（ａ）に示す画像のイメージ信号値を示す図であり、白の部分を１００、黒の部分を４０としている。通常のエッジ強調処理では、図７（ｃ）に示すようなラプラシアンフィルタと称されるフィルタを通した後、元の信号にその値を加算する処理が行われる。
【０１４２】
図７（ｄ）は、図７（ｂ）に示す画像（データ）を、図７（ｃ）に示すフィルタを通した後に１／８積算し、元の画像に加算することによりエッジ強調処理を行った結果の数値を表す図である。
【０１４３】
図７（ｅ）は、図７（ｄ）において横方向に並ぶ画素Ｇ１３、Ｑ１３、Ｇ３３、Ｑ４３およびＧ５３の数値をグラフ化したものであり、図７（ｆ）は、図７（ｄ）において左上から斜め方向に並ぶ画素Ｇ１１、Ｇ２２、Ｇ３３、Ｇ４４およびＧ５５の数値をグラフ化したものである。
【０１４４】
図７（ｅ）によれば、この方法により信号がエッジ強調処理されているが、図７（ｆ）によれば、画素Ｇ３３の信号はマイナス側に強調されているものの、画素Ｇ２２の信号は全く強調処理されていない。
【０１４５】
本実施形態では、それぞれの画素の補間パターン番号が補間パターン格納メモリ９に格納されており、例えば図７（ａ）に示す画像の場合には、図４（１）に示すような補間パターンの番号が補間パターン格納メモリ９に格納されている。
【０１４６】
そこで、図４（１）の補間パターンに対応するフィルタとして、図７（ｇ）に示すフィルタを用いて、画素Ｇ２２のデータを、図７（ｇ）に示すフィルタを通した後に１／４積算し、元の画像に加算することによりエッジ強調処理を行う。その結果の数値を図７（ｈ）に示す。この図７（ｈ）によれば、それぞれの補間パターンに応じて、エッジ強調処理が好適に処理されていることは明らかである。また、これと同様に、補間パターンに対応するフィルタを用いて、偽色処理など、補間パターンに対応した他のデジタル信号処理を行うこともできる。
【０１４７】
以上により、本実施形態によれば、複数の補間パターンを補間パターン格納メモリ９に用意しておき、補間処理部８によって、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、その求めた補間パターン上に補間対象画素が配置されているものとして、その補間パターンに対応した計算式を用いて補間処理を行う。これによって、イメージ信号の均一性および勾配性を考慮して補間処理を行うことができるので、ノイズなどの影響を受けず、従来の補間方法で生じるような画像破綻を防ぐことができる。
【０１４８】
なお、本実施形態では、補間パターンとして８種類（判定不能も含めると９種類）を用意しているが、補間パターン格納メモリ９などの回路規模を小さくするために、パターン数を変更することも当然可能である。例えば、本願発明者らが実験を行ったところ、上記８種類の補間パターンのうち、図４（１）および図６（１）に示す水平傾斜、図４（２）および図６（２）に示す垂直傾斜、図４（３）および図６（３）に示す右下傾斜、図４（４）および図６（４）に示す右上傾斜のパターンが殆どの場合（９０％程度）を占めていた。よって、コストパフォーマンスを考慮すると、４種類の補間パターンによってイメージ信号の均一性および勾配性を表すようにしてもよい。また、例えば、バーコードリーダ用途など、１次元の画像を用いるシステムにおいては、図４（４）および図６（４）に示す補間パターンのみを使用することも可能である。また、回路規模や演算性能が十分備わっているシステムにおいては、ラインメモリ７を大きくして、補間パターン数をさらに増やすことにより、高度なパターンによる好適な補間処理を行うことも可能となる。
【０１４９】
また、本実施形態では、それぞれの補間パターンに応じた補間処理を行うために、簡略な計算式を用いている。しかしながら、本発明は、イメージ信号の均一性および勾配性に応じて補間対象の画素およびその周辺領域の画素のパターンに近似している補間パターンを求め、その補間パターンに応じた補間処理を行うことを特徴としているため、各補間パターンに対する補間計算方法については、最適なものを適宜設定することができるものとする。
【０１５０】
本発明では、補間対象の画素およびその周辺領域の画素の均一性および勾配性から最適な補間パターンを求めて、その補間パターンと周辺の画素の補間パターンとを有効に用いて、補間処理方法を決定することを特徴としている。よって、その補間パターン、補間パターン数、補間パターン番号、補間計算方法、補間対象の画素の補間パターンの活用方法、周辺の画素の補間パターンの活用方法、補間パターンを用いた補間処理以降のデジタル画像信号処理について、適宜変更を行っても、本発明の範囲に含まれるものである。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、ＲＧＢなどの複数種類の色フィルタが離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置において、補間処理を行う際に、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、その求められた補間パターンに対応した補間処理を行う。このように、イメージ信号の均一性および勾配性を考慮して補間処理を行うため、従来の補間方法のような画像破綻を防ぐことができる。また、ノイズなどの画像外の信号が存在しても、特許文献１のようなイメージ信号の変動を防いで良好なエッジを表現し、解像度の劣化を防ぐことができる。
【０１５２】
さらに、補間処理以降に行われるエッジ強調処理や偽色抑圧処理などのデジタル画像信号処理に対しても、補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて求められた補間パターンに対応して処理を行うことによって、良好なイメージ信号を生成することができる。
【図面の簡単な説明】
【図１】本発明のカメラの実施形態における要部構成を示すブロック図である。
【図２】図１の補間処理部による補間処理の処理手順について説明するためのフローチャートである。
【図３】（ａ）および（ｂ）はそれぞれ、図１のラインメモリに格納されたイメージ信号のイメージ図である。
【図４】（１）〜（８）はそれぞれ、Ｇ画素に対する補間パターンの例を示す図である。
【図５】（ａ）〜（ｄ）はそれぞれ、本発明の補間処理において、補間パターンを決定する方法について説明するための図である。
【図６】（１）〜（８）はそれぞれ、Ｐ画素に対する補間パターンの例を示す図である。
【図７】（ａ）〜（ｈ）はそれぞれ、本発明の画像処理としてエッジ強調処理について説明するための図である。
【図８】従来のベイヤ配列のカラーフィルタにおける各色の配置を示す図である。
【図９】（ａ）および（ｂ）はそれぞれ、従来の補間処理方法について説明するための図である。
【図１０】（ａ）〜（ｅ）はそれぞれ、従来の補間方法の問題を説明するための図である。
【図１１】（ａ）〜（ｃ）はそれぞれ、従来の他の補間処理方法の問題を説明するための図である。
【符号の説明】
１ 固体撮像素子
２ ＣＤＳ
３ ＡＧＣ
４ Ａ／Ｄ
５ ＤＳＰ
６ ＴＧ
７ ラインメモリ
８ 補間処理部
９ 補間パターン格納メモリ
１０ 画像信号処理部
１１ Ｉ／Ｆ部
１２ データ処理装置
１００ カメラ
Claims (11)
- 複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、
各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段と、該イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段とを有し、
該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンが格納されており、
該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを、該補間パターン格納手段の各補間パターンから選択し、この選択した補間パターンに対応した補間処理を行うデータ処理装置。 - 複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から得られるイメージ信号をデータ処理するデータ処理装置であって、
各画素のイメージ信号で欠落している色信号を、補間対象画素およびその周辺画素のイメージ信号のうち少なくとも該周辺画素のイメージ信号を用いて補間処理により生成する補間処理手段を有し、
該補間処理手段は、該補間対象画素およびその周辺画素のイメージ信号の均一性および勾配性に応じて該補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンを求め、かつ該補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、それぞれ補間パターンを選択し、この求めかつ選択した補間パターンに対応した補間処理を行うデータ処理装置。 - 前記補間パターン格納手段に格納されている各補間パターンにはそれぞれ識別情報が付されており、前記補間処理手段は、該補間パターン格納手段に、前記選択した補間パターンの識別情報を格納する請求項１に記載のデータ処理装置。
- 前記補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号から、各補間パターンとの近似度を表す方向性データを算出し、該方向性データが最小となる補間パターンを選択する請求項１〜３のいずれかに記載のデータ処理装置。
- 前記イメージ信号の均一性および勾配性を表す複数の補間パターンが格納された補間パターン格納手段をさらに有し、
該補間パターン格納手段には、補間対象画素が主として輝度を構成する画素である場合と、該補間対象画素が主として輝度を構成しない画素である場合とで、前記それぞれ補間パターンが格納されている請求項２に記載のデータ処理装置。 - 前記補間パターン格納手段には、各補間パターンとして、所定のデータ値の画素が水平に並んでいるパターン、垂直に並んでいるパターン、右上方向に傾斜しているパターン、右下方向に傾斜しているパターン、左上角部に集まっているパターン、右上角部に集まっているパターン、左下角部に集まっているパターンおよび右下角部に集まっているパターンがそれぞれ格納されている請求項１に記載のデータ処理装置。
- 前記補間処理手段は、前記補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが前記補間パターン格納手段内に格納されていない場合には、所定の計算式により補間処理を行う請求項１に記載のデータ処理装置。
- 前記補間処理手段は、前記補間パターン格納手段に補間対象画素およびその周辺画素のイメージ信号のデータ値パターンに近似している補間パターンが二つ以上格納されている場合には、該その周辺画素で選択された補間パターンに応じて、該二つ以上の補間パターンから一つを選択する請求項１に記載のデータ処理装置。
- 前記補間処理手段は、求められた補間パターンに対応する計算式により補間処理を行う請求項１または２に記載のデータ処理装置。
- 請求項１〜９の何れかに記載のデータ処理装置と、該データ処理装置によって求められた補間パターンに対応した画像処理を行う画像処理手段とを有する画像処理装置。
- 固体撮像素子からイメージ信号が入力されて前記補間処理および画像処理を行ってカメラ用の画像データを得る請求項１０に記載の画像処理装置を備えたカメラ。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174061A JP4104495B2 (ja) | 2003-06-18 | 2003-06-18 | データ処理装置、画像処理装置およびカメラ |
| US10/869,819 US7415170B2 (en) | 2003-06-18 | 2004-06-15 | Data processing apparatus, image processing apparatus, camera, and data processing method |
| EP04014263A EP1489556A3 (en) | 2003-06-18 | 2004-06-17 | Data processing apparatus, image processing apparatus, camera and data processing method |
| CNB200410059386XA CN1290343C (zh) | 2003-06-18 | 2004-06-18 | 数据处理设备、图像处理设备、相机和数据处理方法 |
| KR1020040045714A KR100627706B1 (ko) | 2003-06-18 | 2004-06-18 | 데이터처리장치, 화상처리장치, 카메라 및 데이터처리방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174061A JP4104495B2 (ja) | 2003-06-18 | 2003-06-18 | データ処理装置、画像処理装置およびカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005012479A JP2005012479A (ja) | 2005-01-13 |
| JP4104495B2 true JP4104495B2 (ja) | 2008-06-18 |
Family
ID=33410966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003174061A Expired - Fee Related JP4104495B2 (ja) | 2003-06-18 | 2003-06-18 | データ処理装置、画像処理装置およびカメラ |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7415170B2 (ja) |
| EP (1) | EP1489556A3 (ja) |
| JP (1) | JP4104495B2 (ja) |
| KR (1) | KR100627706B1 (ja) |
| CN (1) | CN1290343C (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7948604B2 (en) * | 2002-12-10 | 2011-05-24 | Nikon Corporation | Exposure apparatus and method for producing device |
| JP3899118B2 (ja) * | 2004-02-19 | 2007-03-28 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
| US7551214B2 (en) * | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
| KR100784162B1 (ko) * | 2005-12-29 | 2007-12-11 | 엠텍비젼 주식회사 | 격자 노이즈 제거를 이용한 컬러 보간 장치 |
| JP4771539B2 (ja) * | 2006-07-26 | 2011-09-14 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
| KR100840568B1 (ko) * | 2006-11-17 | 2008-06-23 | 주식회사 대우일렉트로닉스 | 선택적 필터링을 이용한 차등 보간 방법 및 장치 |
| KR100903817B1 (ko) * | 2006-11-28 | 2009-06-25 | 한양대학교 산학협력단 | 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법 |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| US7995840B2 (en) * | 2008-03-28 | 2011-08-09 | Seiko Epson Corporation | Image processing apparatus, image processing method, and program for attaining image processing |
| KR20090120991A (ko) * | 2008-05-21 | 2009-11-25 | 엘지이노텍 주식회사 | 자동 화이트 밸런스 영역 설정 방법 |
| JP5251316B2 (ja) * | 2008-07-10 | 2013-07-31 | 日本電気株式会社 | 画像補正装置、画像補正方法および画像補正プログラム |
| JP5191407B2 (ja) * | 2009-01-20 | 2013-05-08 | 三洋電機株式会社 | 画像処理装置 |
| JP5640370B2 (ja) * | 2009-12-18 | 2014-12-17 | ソニー株式会社 | 画像処理装置，画像処理方法及び撮像装置 |
| WO2014045525A1 (ja) * | 2012-09-24 | 2014-03-27 | ソニー株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2619354B2 (ja) * | 1985-03-25 | 1997-06-11 | 株式会社日立製作所 | 固体撮像装置 |
| US5148497A (en) * | 1990-02-14 | 1992-09-15 | Massachusetts Institute Of Technology | Fractal-based image compression and interpolation |
| JP3092024B2 (ja) * | 1991-12-09 | 2000-09-25 | 松下電器産業株式会社 | 画像処理方法 |
| US5382976A (en) | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
| JP3662949B2 (ja) | 1993-12-29 | 2005-06-22 | 三洋電機株式会社 | 信号補間方法 |
| US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| JP3503372B2 (ja) | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JP3946866B2 (ja) | 1997-07-31 | 2007-07-18 | 富士フイルム株式会社 | 画像信号処理装置及びプログラムを記録した媒体 |
| US6563537B1 (en) | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| US6366694B1 (en) * | 1998-03-26 | 2002-04-02 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space |
| JP2000102024A (ja) | 1998-09-25 | 2000-04-07 | Sony Corp | 画像信号処理装置 |
| JP2001169301A (ja) | 1999-12-03 | 2001-06-22 | Nikon Corp | 多板式撮像装置および画像データ処理用記録媒体 |
| JP4253095B2 (ja) | 1999-12-15 | 2009-04-08 | 富士フイルム株式会社 | 画像データ・フィルタリング装置および方法 |
| JP2002112276A (ja) | 2000-09-29 | 2002-04-12 | Toshiba Corp | カラー固体撮像装置 |
-
2003
- 2003-06-18 JP JP2003174061A patent/JP4104495B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-15 US US10/869,819 patent/US7415170B2/en not_active Expired - Fee Related
- 2004-06-17 EP EP04014263A patent/EP1489556A3/en not_active Withdrawn
- 2004-06-18 CN CNB200410059386XA patent/CN1290343C/zh not_active Expired - Fee Related
- 2004-06-18 KR KR1020040045714A patent/KR100627706B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| EP1489556A3 (en) | 2005-02-16 |
| KR20040111184A (ko) | 2004-12-31 |
| CN1574973A (zh) | 2005-02-02 |
| CN1290343C (zh) | 2006-12-13 |
| US20050007470A1 (en) | 2005-01-13 |
| KR100627706B1 (ko) | 2006-09-25 |
| JP2005012479A (ja) | 2005-01-13 |
| EP1489556A2 (en) | 2004-12-22 |
| US7415170B2 (en) | 2008-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7015961B2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| TWI516132B (zh) | An image processing apparatus, an image processing method, and a program | |
| US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
| JP5016255B2 (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
| JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
| US7236191B2 (en) | Method and system for image processing with pixel interpolation using second order gradients | |
| JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
| US8515210B2 (en) | Image processing method and image processing device | |
| JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
| KR100652408B1 (ko) | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 | |
| US8248496B2 (en) | Image processing apparatus, image processing method, and image sensor | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| US9332199B2 (en) | Imaging device, image processing device, and image processing method | |
| JP2013066157A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP4982897B2 (ja) | 画像処理装置 | |
| KR20060078646A (ko) | 디지털 촬영장치의 색상 보간법 | |
| US20040160521A1 (en) | Image processing device | |
| JP2006180210A (ja) | 撮像装置および方法、並びにプログラム | |
| JP4133908B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記憶媒体 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP5109911B2 (ja) | 撮像装置および補間処理方法 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| CN111885281A (zh) | 图像处理 | |
| JP2016019245A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080325 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |