JPWO2013031081A1 - 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 - Google Patents

信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JPWO2013031081A1
JPWO2013031081A1 JP2013531016A JP2013531016A JPWO2013031081A1 JP WO2013031081 A1 JPWO2013031081 A1 JP WO2013031081A1 JP 2013531016 A JP2013531016 A JP 2013531016A JP 2013531016 A JP2013531016 A JP 2013531016A JP WO2013031081 A1 JPWO2013031081 A1 JP WO2013031081A1
Authority
JP
Japan
Prior art keywords
pixel
signal processing
interpolation
signal
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013531016A
Other languages
English (en)
Other versions
JP5675996B2 (ja
Inventor
大輔 舩尾
大輔 舩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013531016A priority Critical patent/JP5675996B2/ja
Application granted granted Critical
Publication of JP5675996B2 publication Critical patent/JP5675996B2/ja
Publication of JPWO2013031081A1 publication Critical patent/JPWO2013031081A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

ＣＣＤイメージセンサ１での光電変換により得られたアナログ画素信号Ａｇを、表示画面上の明度または彩度の低い領域で補間によりノイズが低減してＳ／Ｎが改善され、表示画面上の明度や彩度の高い領域でエッジ強調により解像度が高められるよう処理することができる信号処理装置１００を実現する。ＣＣＤイメージセンサ１からのアナログ画素信号ＡｇをＡＤ変換して信号処理する信号処理装置１００において、各画素毎に画素の明度または彩度を判定し、対象画素のデジタル画素信号を、判定した対象画素の明度あるいは彩度に基づいて、該対象画素の周辺に位置する周辺画素の画素信号から算出する補間処理を、適応的に切り替える補間処理部１０４を備えた。

Description

本発明は、信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体に関し、特に、画素信号の補間処理を画面上の明るい領域と暗い領域とで適応的に切り替える信号処理装置及び信号処理方法、このような信号処理装置を搭載した固体撮像装置、このような固体撮像装置を搭載した電子情報機器、上記のような信号処理方法をコンピュータに実行させる信号処理プログラム、及びこの信号処理プログラムを記録したコンピュータ読み取り可能な記憶媒体に関するものである。
従来からデジタルカメラには、被写体からの光（以下、被写体光ともいう。）を光電変換して被写体の画像信号を生成することにより被写体を撮像するＣＣＤ型固体撮像装置およびＣＭＯＳ型固体撮像装置などの固体撮像装置が用いられている。
図１０は、従来のＣＣＤ型固体撮像装置を説明する図であり、図１０（ａ）は、従来の固体撮像装置の全体構成を概略的に示し、図１０（ｂ）は、この固体撮像装置を構成するＣＣＤ型イメージセンサを示し、図１０（ｃ）は、この固体撮像装置（図１０（ｂ）の部分Ａ）におけるカラーフィルタの配列を示している。
このＣＣＤ型固体撮像装置２００ａは、被写体からの光を光電変換して画素信号を出力するＣＣＤイメージセンサ１と、該イメージセンサ１から出力されるアナログ画素信号ＡｇをＡＤ変換し、得られたデジタル画素信号に信号処理を施す信号処理装置２００とを有している。
ここで、ＣＣＤ型イメージセンサ１は、図１０（ｂ）に示すように、複数の画素Ｐをマトリクス状に配列してなる画素部１ａと、この画素部１ａの各画素列に沿って配置され、各画素で被写体からの光の光電変換により得られた信号電荷を垂直方向Ｙに転送する垂直電荷転送部（垂直ＣＣＤ）１ｂと、垂直ＣＣＤ１ｂと対応する画素列の画素Ｐとの間に配置された読み出しゲート部２と、垂直ＣＣＤ１ｂの一端側に配置され、垂直ＣＣＤ１ｂからの信号電荷を水平方向Ｘに転送する水平電荷転送部（水平ＣＣＤ）１ｃと、水平ＣＣＤ１ｃからの信号電荷を電圧信号に変換し、この電圧信号を増幅してアナログ画素信号として出力する出力部３とを有している。ここでは、垂直ＣＣＤ１ｂは、ＣＣＤ駆動回路（図示せず）からの４相の垂直転送信号ΦＶ１〜ΦＶ４により駆動され、水平ＣＣＤ１ｃはＣＣＤ駆動回路（図示せず）からの２相の水平転送信号ΦＨ１及びΦＨ２により駆動されるようになっている。
また、画素部１ａを構成する各画素は、半導体基板上に形成されたフォトダイオードを含んでおり、該フォトダイオードが形成された領域には、Ｒ（赤）、Ｇ（緑）またはＢ（青）のカラーフィルタが設けられており、カラーフィルタの色に応じて、赤色の画素信号（Ｒ画素値）を出力するＲ画素、緑色の画素信号（Ｇ画素値）を出力するＧ画素、青色の画素信号（Ｂ画素値）を出力するＢ画素となっている。
図１０（ｃ）は、例えば、図１０（ａ）に示す画素部１ａのＡ部分でのカラーフィルタの配列を示しており、このＣＣＤイメージセンサ１では、カラーフィルタの配列はいわゆるベイヤー配列と呼ばれる配列となっている。つまり、緑色フィルタＦｇが、マトリクス状に配列された画素Ｐに対して市松状に設けられ、青色フィルタＦｂと赤色フィルタＦｒとが、画素列あるいは画素行に沿って交互に緑色フィルタの間を埋めるように配置されている。
また、信号処理装置２００は、ＣＣＤ型イメージセンサ１から出力されたアナログ画素信号ＡｇをＡＤ変換し、得られたデジタル画素信号に対して信号処理を施すものであり、デジタル画素信号に対する黒レベルの調整、ホワイトバランスの調整、画素補間、カラーマトリックス処理、コントラスト調整、ガンマ補正などの各種処理を施すよう構成されている。
次に動作について説明する。
このような構成のＣＣＤ型固体撮像装置２００ａでは、ＣＣＤイメージセンサ１は被写体からの光を光電変換してアナログ画素信号Ａｇを生成し、このアナログ画素信号Ａｇを信号処理装置２００に出力する。
つまり、ＣＣＤイメージセンサ１に入射した被写体光は、画素部１ａの各画素Ｐで光電変換され、光電変換により生成された信号電荷が各画素Ｐから読み出しゲート部２を介して垂直ＣＣＤ１ｂに読み出される。垂直ＣＣＤ１ｂでは、信号電荷は垂直方向Ｙに転送され、水平ＣＣＤ１ｃでは、垂直ＣＣＤ１ｂから転送されてきた信号電荷が水平方向Ｘに転送される。水平ＣＣＤ１ｃの終端側の出力部３では、信号電荷は電圧信号に変換されてアナログ画素信号Ａｇとして信号処理装置２００に出力される。信号処理装置２００は、このアナログ画素信号Ａｇに対して種々の信号処理を施す。
図１１は、信号処理装置２００での具体的な信号処理を説明する図であり、一般的な画像処理の流れをＡ／Ｄ変換処理から順に示している。
この信号処理装置２００は、画素からの信号電荷を電圧信号に変換して得られたアナログ画素信号をデジタル画素信号に変換し、さらにこのデジタル画素信号に信号処理を施して、画像処理後のカラー画像信号を生成する。
まず、信号処理装置２００では、ＣＣＤイメージセンサ１から出力されたアナログ画素信号ＡｇをＡＤ変換器（図示せず）によりデジタル画素信号に変換し（ステップＳ１）、各色の画素に対応するデジタル画素信号の黒レベルを規定値に固定するなどの黒レベルの調整処理を行う（ステップＳ２）。
次に、黒レベルが調整されたデジタル画素信号におけるＲ画素およびＢ画素のデジタル画素信号に対して所定の値を乗算してホワイトバランスの調整処理を行う。具体的には、白色の被写体を撮像したときのＲ、Ｇ、Ｂ各画素のデジタル画素信号の信号レベルが等しくなるよう、該デジタル画素信号のゲインを調整する（ステップＳ３）。
その後、各画素に対応する画素信号に対して補間処理、つまり画素が有するカラーフィルタの色以外の色の画素信号を各画素について求める処理を行う。各画素が赤、緑、青の一色の要素（デジタル画素信号）しか持っておらず、このため、この補間処理により、各画素に対応する他の色の要素（デジタル画素信号）が周囲の画素からの補間により求められる（ステップＳ４）。
例えば、Ｒ画素は、赤色のデジタル画素信号しか持っていないので、このＲ画素に対する緑色のデジタル画素信号および青色のデジタル画素信号を周辺のＧ画素のデジタル画素信号およびＢ画素のデジタル画素信号から生成する。同様に、Ｇ画素およびＢ画素はそれぞれ、緑色のデジタル画素信号および青色のデジタル画素信号しか持っていないので、他の色のデジタル画素信号を周辺の他の色の画素のデジタル画素信号から生成する。
続いて、各画素の各色（ＲＧＢ）のデジタル画素信号に対するカラーマトリックス処理により、ＣＣＤイメージセンサから出力されるＲＧＢ各色のデジタル画素信号の特性を、自然なカラー画像が表示されるよう人の目のＲＧＢ各色に対する感度特性と合わせる。（ステップＳ５）。
さらに、カラーマトリックス処理を施したＲＧＢ各色のデジタル画素信号に対してコントラスト調整処理、ガンマ補正処理を施してデジタル画像信号を生成する（ステップＳ６）。
なお、図１１に示した信号処理は、信号処理装置での基本的な処理であり、これらの処理に限定されるものではなく、ノイズ、白傷、縦線、横線補正などの各種補正やシェーディング補正などここに記載しなかったものも、適切に行った方が望ましく、通常は補間処理の前に行うことが望ましい。これらの補正は補間処理の前に行った方が効果的であるが、補間処理の後に行うことも可能である。また、処理の順番も、図１１に示すものに限定されない。
なお、固体撮像装置には、上記のとおり、ＣＣＤ型固体撮像装置の他にＣＭＯＳ型固体撮像装置もある。
図１２は、従来のＣＭＯＳ型固体撮像装置を説明する図である。
このようなＣＭＯＳ型固体撮像装置の出力信号も上記のような信号処理装置で信号処理されてデジタル画像信号が得られる。
このＣＭＯＳイメージセンサ１０は、画素を行列状に配列してなる画素部１１と、該画素部１１の画素を行単位で選択する垂直選択回路（Ｖ選択回路）１２と、該垂直選択回路１２により選択された画素行の画素のアナログ画素信号に対してノイズ除去処理を施して保持する信号処理回路（Ｓ／Ｈ、ＣＤＳ回路）１３とを有している。この信号処理回路１３は、選択した各行の画素からのアナログ画素信号に対して、画素毎の固定パターンノイズを除去する処理を施すものである。
また、ＣＭＯＳイメージセンサ１０は、該信号処理回路１３に保持されているアナログ画素信号を順番に取り出して出力する水平選択回路（Ｈ選択回路）１４と、該信号処理回路１３から出力されたアナログ画素信号を適切なゲインで増幅するＡＧＣ回路１６と、該ＡＧＣ回路１６で増幅されたアナログ画素信号をデジタル画素信号に変換するＡ／Ｄ変換器１７と、該デジタル画素信号を増幅して出力するデジタルアンプ１８と、上記各回路を制御するタイミング信号を生成するタイミング生成部（ＴＧ）１５とを有している。
さらに、ＣＭＯＳ型固体撮像装置１０は、該デジタルアンプ１８から出力されたデジタル画素信号に対する信号処理を行う信号処理装置１９を有しており、この信号処理装置１９は、図１０（ａ）に示す信号処理装置２００とは、Ａ／Ｄ変換器を有していない点以外は同一の構成を有している。
このようなＣＭＯＳ型固体撮像装置１０では、製造プロセスはＣＭＯＳ ＬＳＩの標準プロセスが土台となっているので、ＣＭＯＳイメージセンサとして機能する部分（画素部１１、Ｖ選択回路１２、Ｈ選択回路１４、信号処理回路１３）以外の機能を実現する回路（タイミング生成部１５、ＡＧＣ回路１６、Ａ／Ｄ変換器１７、デジタルアンプ１８及び信号処理装置１９）も同一チップに組み込むことができる。
以下、上述した補間処理について詳しく説明する。
上述したように、この種の固体撮像装置では、赤、緑、青のカラーフィルタを持つ画素が市松状に並べられており、また、このようなカラーフィルタの配列を、近接する４つの赤、緑、青のカラーフィルタを単位として、４５度回転させハニカム型にしている固体撮像装置も存在するが、いずれのフィルタ配列でも、各画素は赤、緑、青の一色の要素しかもっておらず、他の色の要素は周囲の画素からの補間により求める必要がある。この補間の中で最も有名なものは線形補間である。
図１３は、線形補間の方法を説明する図であり、図１０（ｂ）に示す画素部１ａにおける画素Ｐの配列を、図１３（ａ）、図１３（ｂ）、図１３（ｃ）にて赤、緑、青の各色で分離して示している。
なお、これらの図では、各升目は画素を示しており、各升目内のＲ，Ｇ，Ｂは各画素に設けられているカラーフィルタの色を示している。逆にＲ，Ｇ，Ｂと表示していないところが補間により色を発生させる必要がある画素であり、括弧内に画素の座標を示している。
ここで、補間しようとしている画素（対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。なお、（ｘ，ｙ）＝（０，０）は、図１３（ａ）、図１３（ｂ）、図１３（ｃ）に示す各色の画素の配列の基準点とする。
図１３（ａ）はＲ画素の画素信号の補間処理を説明する図である。
まず、水平方向に並ぶ隣接するＲ画素の間の画素Ｐ２２のＲ画素値（赤色のデジタル画素信号）を補間により求める場合は、図１３（ａ）に示す式（１ａ）により求める。ここで、式（１ａ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ２２でのＲ画素値である。
また、垂直方向に並ぶ隣接するＲ画素の間の画素Ｐ７３のＲ画素値を補間により求める場合は、図１３（ａ）に示す式（１ｂ）により求める。ここで、式（１ｂ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ７２でのＲ画素値である。
また、正方形の頂点に位置する隣接する４つのＲ画素を用いて、この正方形の中心に位置する画素Ｐ１６３のＲ画素値を補間により求める場合は、図１３（ａ）に示す式（１ｃ）により求める。ここで、式（１ｃ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ１６３でのＲ画素値である。
図１３（ｂ）はＧ画素の画素信号の補間処理を説明する図である。
正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＧ画素を用いて、この菱形の中心に位置する画素Ｐ６３のＧ画素値（緑色のデジタル画素信号）を補間により求める場合は、図１３（ｂ）に示す式（２）により求める。ここで、式（２）におけるＧ（ｘ、ｙ）は、補間される対象画素Ｐ６３でのＧ画素値である。
図１３（ｃ）はＢ画素の画素信号の補間処理を示している。
まず、水平方向に並ぶ隣接するＢ画素の間の画素Ｐ３３のＢ画素値を補間により求める場合は、図１３（ｃ）に示す式（３ａ）により求める。ここで、式（３ａ）におけるＢ（ｘ、ｙ）は、補間される対象画素Ｐ３３でのＢ画素値である。
また、垂直方向に並ぶ隣接するＢ画素の間の画素Ｐ８４のＢ画素値（青色のデジタル画素信号）を補間により求める場合は、図１３（ｃ）に示す式（３ｂ）により求める。ここで、式（３ｂ）におけるＢ（ｘ、ｙ）は、補間対象画素Ｐ８４でのＢ画素値である。
また、正方形の頂点に位置する隣接する４つのＢ画素を用いて、この正方形の中心に位置する画素Ｐ１７４のＢ画素値を補間により求める場合は、図１３（ｃ）に示す式（３ｃ）により求める。ここで式（３ｃ）におけるＢ（ｘ、ｙ）は、補間される対象画素Ｐ１７４でのＢ画素値である。
このような線形補間は、画素値を平均化する補間の代表だが、平均化する補間とは、対象画素の周囲の画素の画素値を混合して足し合わせる補間であり、係数の和は通常１になる。尚、補間方法は無数に存在し、ここに説明したものは、本発明の従来技術を理解するための例示であり、これらのみに限定されない。
線形補間は、上記の例の通り平均化する補間であるため、エッジ境界が曖昧になり、解像度が低下する。
そこで、補間時に画素値の平均化のみすることを避け、同時にエッジ強調をかけることで解像度を向上させることが多い。
図１４は、エッジ強調を行うＲ画素値の補間処理を説明する図であり、図１０（ｂ）に示す画素部１ａにおける画素Ｐの配列を、図１４（ａ）、図１４（ｂ）、図１４（ｃ）にて赤、緑、青の各色で分離して示している。これらの図では、図１３と同様に、補間しようとしている画素（対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。
まず、水平方向に並ぶ隣接するＲ画素の間の画素Ｐ２２のＲ画素値を補間により求める場合は、図１４（ａ）に示す式（４ａ）により求める。ここで、式（４ａ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ２２でのＲ画素値である。
また、正方形の頂点に位置する隣接する４つのＲ画素を用いて、この正方形の中心に位置する画素Ｐ１６３のＲ画素値を補間により求める場合は、図１４（ａ）に示す式（４ｂ）により求める。ここで、式（４ｂ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ１６３でのＲ画素値である。
ここでは、対象画素の上下左右の位置ではＧ画素の画素値をエッジ強調に用いている。
また、正方形の頂点に位置する隣接する４つのＲ画素を用いて、この正方形の中心に位置する画素Ｐ２４３のＲ画素値を補間により求める場合は、図１４（ａ）に示す式（４ｃ）により求める。ここで、式（４ｃ）におけるＲ（ｘ、ｙ）は、補間される対象画素Ｐ２４３でのＲ画素値である。
ここでは、画素の上下左右の位置ではＢ画素の画素値をエッジ強調に用いている。
図１５は、エッジ強調を行うＧ画素値の補間処理を説明する図であり、図１０（ｂ）に示す画素部１ａにおける画素Ｐの配列を、図１５（ａ）、図１５（ｂ）、図１５（ｃ）にて赤、緑、青の各色で分離して示している。これらの図では、図１３と同様に、補間しようとしている画素（対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。
まず、正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＧ画素を用いて、この菱形の中心に位置する画素Ｐ７２のＧ画素値を補間により求める場合は、図１５（ｂ）に示す式（５ａ）により求める。ここで、式（５ａ）におけるＧ（ｘ、ｙ）は、補間される対象画素Ｐ７２でのＧ画素値である。また、エッジ強調にはＲ画素の画素値を用いている。
また、正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＧ画素を用いて、この菱形の中心に位置する画素Ｐ２０３のＧ画素値を補間により求める場合は、図１５（ｂ）に示す式（５ｂ）により求める。ここで、式（５ｂ）におけるＧ（ｘ、ｙ）は、補間される対象画素Ｐ２０３でのＧ画素値である。また、エッジ強調にはＢ画素の画素値を用いている。
図１６は、同色の画素でエッジ強調した補間の例を説明する図であり、図１０（ｂ）に示す画素部１ａにおけるＧ画素の配列を示している。この図では、図１３と同様に、補間しようとしている画素（対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。
上下左右をＧ画素により挟まれた画素Ｐ１６３のＧ画素値を、エッジ強調した補間により求める場合は、図１６に示す式（６）により求める。ここで、式（６）におけるＧ（ｘ、ｙ）は、補間画素Ｐ１６３でのＧ画素値である。また、エッジ強調には補間画素の周辺に位置する１２個のＧ画素の画素値を用いている。
上記で例示した通り、エッジ強調をかける補間方法の１つとして、周囲の画素の画素値の平均化と周囲の画素の画素値の差分を組み合わせた式を用いることとなり、係数の総和が通常１となり、また減算の係数を大きくすればするほど、エッジが鮮明になる。また、同色の画素だけでもよいが、周囲の異なる色の画素を補間に用いることで効果的にエッジを鮮明化することができる。
また、画素部における画素値の勾配を検出し、勾配がなだらかな方向に配列されている画素の画素値を用いて補間する方法も知られている。
図１７は、このような画素値の勾配を考慮した補間処理を説明する図であり、図１０（ｂ）に示す画素部１ａにおける画素Ｐの配列を、図１７（ａ）、図１７（ｂ）、図１７（ｃ）にて赤、緑、青の各色で分離して示している。これらの図では、図１３と同様に、補間しようとしている画素（対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。
正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＧ画素を用いて、この菱形の中心に位置する画素Ｐ７２のＧ画素値を補間により求める場合は、まず、画素Ｐ７２を含む画素の水平配列における画素値の勾配αを、Ｒ画素値を用いる式（７ａ）により求め、画素Ｐ７２を含む画素の垂直配列における画素値の勾配βを、Ｒ画素値を用いる式（７ｂ）により求める。
なお、画素Ｐ７２を含む画素の水平配列における画素値の勾配αは、Ｇ画素値を用いる条件式（８ａ）により求め、画素Ｐ７２を含む画素の垂直配列における画素値の勾配βは、Ｇ画素値を用いる条件式（８ｂ）により求めてもよい。
そして、上記水平配列における画素値の勾配αと垂直配列における画素値の勾配βとの大小関係に基づいて、式（９ａ）〜式（９ｃ）に基づいて対象画素Ｐ７２のＧ画素値を求める。
つまり、垂直配列における画素値の勾配αが水平配列における画素値の勾配βより小さい時は、式（９ａ）を用いて対象画素Ｐ７２のＧ画素値を求め、水平配列における画素値の勾配βが垂直配列における画素値の勾配αより小さい時は、式（９ｂ）を用いて対象画素Ｐ７２のＧ画素値を求める。さらに、垂直配列における画素値の勾配αが水平配列における画素値の勾配βに等しい時は、式（９ｃ）を用いて対象画素Ｐ７２のＧ画素値を求める。これにより、勾配がなだらかな方向に配列されている画素の画素値を用いて補間することができる。
このように、画素値の変化がなだらかな方向の画素を平均化することで、エッジを維持する方法である。ここでは、対象画素としてＲ画素のＧ画素値を求める補間処理のみ２通りの条件判定式を例示している。また、この方法では平均化する画素が限定されるが、係数の総和はやはり通常１になる。
エッジ強調を行う補間は、差分を組み合わせる方法や、勾配による方法など様々存在するが、これらのみに限定されない。
さらに、Ｇ画素値から補間した後、補間により算出したＧ画素値を用いて、Ｒ画素値とＢ画素値を補間する方法もある。
また、例えばカラーフィルタが緑であるＧ画素のＧ画素値のように補間が必要でない画素値でも、周囲の画素の画素値を用いて補間処理を行うことにより、ノイズを抑えることが可能である。
図１８は、補間画素の画素値を、同色の周辺画素の画素値で補間する例を説明する図であり、図１０（ｂ）に示す画素部１ａにおける画素Ｐの配列を、図１８（ａ）、図１８（ｂ）、図１８（ｃ）にて赤、緑、青の各色で分離して示している。これらの図では、図１３と同様に、補間しようとしている画素（補間対象画素）の座標はｘ，ｙであり、理解しやすくするため、補間対象画素を示す升目は斜線領域で表し、補間に用いる画素を示す升目はドット領域で表している。
まず、正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＲ画素を用いて、この菱形の中心に位置する画素Ｐ３３のＲ画素値を補間により求める場合は、図１８（ａ）に示す式（１０ａ）により求める。ここで、式（１０ａ）におけるＲ（ｘ、ｙ）は、補間対象画素Ｐ３３でのＲ画素値である。
また、正方形の頂点に位置する隣接する４つのＧ画素を用いて、この正方形の中心に位置する画素Ｐ５３のＧ画素値を補間により求める場合は、図１８（ｂ）に示す式（１０ｂ）により求める。ここで式（１０ｂ）におけるＧ（ｘ、ｙ）は、補間される対象画素Ｐ５３でのＧ画素値である。
さらに、画素Ｐ１１３のＧ画素値を、これに近接して位置する８個のＧ画素の画素値を用いて補間する場合は、図１８（ｂ）に示す式（１０ｃ）により求める。ここで式（１０ｃ）におけるＧ（ｘ、ｙ）は、補間対象画素Ｐ１１３でのＧ画素値である。
また、正方形を４５度回転させた菱形の頂点に位置する隣接する４つのＢ画素を用いて、この菱形の中心に位置する画素Ｐ４３のＢ画素値を補間により求める場合は、図１８（ｃ）に示す式（１０ｄ）により求める。ここで、式（１０ｄ）におけるＢ（ｘ、ｙ）は、補間対象画素Ｐ４３でのＢ画素値である。
図１８では、Ｇ画素のＧ画素値の補間について２通り例示したが、この場合も係数の総和は通常１である。
以上説明したように、補間の方法は様々存在するが、補間時に周囲の画素を足し合わせて平均化するとノイズを低減でき、平均化する画素数を増やすとさらに低減できる。
一方、勾配を算出するなどして平均化する画素の母数を減らせば、ノイズを抑える効果が低下する代わりに解像度が向上する。または補間時に周囲の画素を差し引き、エッジを強調すると、ノイズもエッジと同じく増幅することとなる。
撮像対象（被写体）が暗いとき、または黒い被写体を撮像すると、固体撮像装置の出力信号のレベルが低下するため、相対的にノイズが目立つようになる。なぜなら人間の視覚がもともと明度差に敏感であること、加えて人間の視覚は光量に対して線形に反応せず、暗いところの階調がよりはっきりしているからである。反対に明るくなると階調の区別がつきにくくノイズが目立ちにくくなる。更に、撮像対象が明るいときは光ショットノイズにより暗いところのノイズ以上のノイズが出力されるが、信号とノイズの比率が下がるため問題とすることは少ない。
また、人間の視覚は明度や彩度が高いところの誘目性が高く、また記憶されやすい。加えて対称色相で明度差が高くなると、視認性が高くなり、人間にとって見易い画像になる。そのため、明度や彩度が高い領域の解像度は特に必要になる。
一方、明度や彩度が低いところは誘目性も低く、記憶にも残りにくい。しかし、本来目立たないところがノイズにより目立つようになると、目障りなものとして認識される。
なお、特許文献１には、補間処理として、解像度の劣る補間画像と解像度がそのままの補間画像を適切に足し合わせるものが公開されている。
特開２００５−３２８２１５号公報
ところが、従来の画像処理方法には、空間周波数やエッジ情報を元に補間処理を変更するものがあるが、画面全面に一律のエッジ強調をかけることで、暗い場所または彩度の低い誘目性の低い場所のエッジを不必要に強調したり、画面全面が暗い画像でも、わずかなエッジが見つかればエッジを強調する処理を行うことでノイズを増幅させたりするという問題がある。
また、例えば特許文献１のように解像度の劣る補間画像と解像度がそのままの補間画像を適切に足し合わせるものが公開されているが、これは、感度差を補正するためであり、画面の個々の領域での明度などに応じて補間処理によるエッジ強度を調整できるものではない。
本発明は、上記従来の問題を解決するためになされたもので、表示画面上の明度または彩度の低い領域で、補間によりノイズを減してＳ／Ｎを改善し、表示画面上の明度や彩度の高い領域でエッジ強調により解像度を上げることができる信号処理装置及び信号処理方法、この信号処理装置を有する固体撮像装置、この固体撮像装置を備えた電子情報機器、上記信号処理方法をコンピュータに実行させるための画像処理プログラム、並びにこの画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
本発明に係る信号処理装置は、被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理を行う信号処理装置であって、該画素毎に１つまたは複数の画素における位置での明度または彩度を判定する判定部と、該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号を用いて補間する補間処理を行う補間処理部とを備え、該補間処理部は、少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理を画素毎に選択し、選択した補間処理により該対象画素の画素信号を補間する適応的補間処理を行うものであり、そのことにより上記目的が達成される。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した明度が既定の閾値より低いとき、前記周囲画素の画素信号を混合する補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した明度が既定の閾値より高いとき、前記周囲画素の画素信号の差分を用いた該対象画素のエッジ強調を伴う補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した明度が既定の閾値より高いとき、前記周囲画素の画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合する補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した彩度が既定の閾値より低いとき、前記周囲画素の画素信号を混合する補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した彩度が所定の閾値より高いとき、前記周囲画素の画素信号の差分を用いた該対象画素のエッジ強調を伴う補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記対象画素の判定した彩度が所定の閾値より高いとき、前記周囲画素の画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合する補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記周囲画素の画素信号の差分を用いてエッジ強調をするとき、前記対象画素の画素信号として補間しようとしている画素信号の色とは異なる色の周辺画素の画素信号を用いて、該対象画素の画素信号を補間する補間処理を選択することが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記周辺画素の配置領域での画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合して前記対象画素の補間処理を行うとき、該勾配は、補間しようとしている対象画素の画素信号の色とは異なる色の周辺画素の画素信号を用いて求めることが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記対象画素の明度または彩度の判定に、前記対象画素の画素信号の補間に用いる周囲画素を含む領域の、異なる色の画素を含む複数の画素の画素信号を用いることが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記対象画素の明度を、前記補間処理に用いる周辺画素を含む領域の画素から求めたそれぞれの画素の明度のうちで最も高い明度を用いて判定することが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記対象画素の明度を前記周辺画素のうちの緑色画素の画素信号から求めることが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記対象画素の明度として、該対象画素の補間処理に用いる周辺画素を含む領域の画素の画素信号から求めた輝度信号を用いることが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記対象画素の彩度を、該対象画素の補間処理に用いる周辺画素の画素信号のうち、緑と赤の画素信号の差分と、緑と青の画素信号の差分とから求めることが好ましい。
本発明は、上記信号処理装置において、前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施すノイズ除去部を備え、前記判定部は、該ノイズ除去処理を施した画素信号に基づいて、前記対象画素の明度または彩度を算出することが好ましい。
本発明は、上記信号処理装置において、前記判定部は、前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施ししつつ、該画素に対応する画素信号に基づいて該画素毎に該画素の明度または彩度を判定するよう構成されていることが好ましい。
本発明は、上記信号処理装置において、前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施すノイズ除去部を備え、前記補間処理部は、該ノイズ除去処理を施した画素信号を用いて前記適応的補間処理を行うことが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施ししつつ、前記適応的補間処理を行うよう構成されていることが好ましい。
本発明は、上記信号処理装置において、前記２種類以上の補間処理は、同一の周辺画素を用いる補間処理であって、前記対象画素の画素信号を該同一の周辺画素の画素信号から求める数式に対し、異なる係数を２種類以上用意し、該対象画素の明度または彩度に応じて該２種類以上の係数のいずれかを用いるか判定するものであることが好ましい。
本発明は、上記信号処理装置において、前記２種類以上の補間処理は、前記対象画素の画素信号を、前記周辺画素の画素信号に異なる係数を掛けて得られる画素信号を用いて補間するものであり、それぞれの補間処理では、該係数として、判定した対象画素の明度または彩度に応じて連続的に変化させて得られる係数を用いることが好ましい。
本発明は、上記信号処理装置において、前記２種類以上の補間処理のそれぞれでは、前記係数として、判定した対象画素の明度または彩度に応じて線形関数に基づいて連続的に変化させて得られる係数を用いることが好ましい。
本発明は、上記信号処理装置において、前記２種類以上の補間処理のそれぞれでは、前記係数として、判定した対象画素の明度または彩度に応じて対数関数に基づいて連続的に変化させて得られる係数を用いることが好ましい。
本発明は、上記信号処理装置において、前記２種類以上の補間処理は、前記対象画素の画素信号を、複数の周辺画素の各々の画素信号に係数を掛けて得られる画素信号の総和により補間するものであり、該複数の周辺画素の各々の画素信号に掛ける係数の総和が１となるものであることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、光源としての被写体に応じて前記適応的補間処理を制限するよう構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、撮像時の前記撮像素子におけるゲインがある固定した倍率以下のとき、前記適応的補間処理を制限するように構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、撮像時に前記撮像素子が受光する光量がある固定した光量以上のとき、前記適応的補間処理を制限するよう構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、撮像時に前記撮像素子に前記被写体からの光を導く光学系の集光状態に従って、前記適応的補間処理が制限されるように構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記光学系における撮像時の絞りの程度に従って、前記適応的補間処理が制限されるように構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、前記光学系における撮像時の焦点距離に応じて、前記適応的補間処理が制限されるように設定されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、撮像時の前記撮像素子におけるシャッター速度に従って、前記適応的補間処理を制限するよう構成されていることが好ましい。
本発明は、上記信号処理装置において、前記補間処理部は、主となる被写体が逆光で撮像されていると判定されたときには、前記適応的補間処理が制限されるように構成されていることが好ましい。
本発明に係る信号処理方法は、被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理を行う信号処理方法であって、該画素毎に１つまたは複数の画素における位置での明度または彩度を判定するステップと、該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号を用いて補間する補間処理を行うステップとを含み、該補間処理を行うステップでは、少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理を画素毎に選択し、選択した補間処理により該対象画素の画素信号を補間する適応的補間処理を行うものであり、そのことにより上記目的が達成される。
本発明に係る固体撮像装置は、被写体からの光を光電変換する複数の画素を有する撮像素子と、該撮像素子から出力された各画素に対応した画素信号を信号処理する信号処理装置とを備え、該信号処理装置は、上述した本発明に係る信号処理装置であり、そのことにより上記目的が達成される。
本発明に係る電子情報機器は、被写体の撮像を行う撮像部を備えた電子情報機器であって、該撮像部は、上述した本発明に係る固体撮像装置であり、そのことにより上記目的が達成される。
本発明に係る信号処理プログラムは、被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理をコンピュータにより行うための信号処理プログラムであって、該コンピュータに、該画素毎に１つまたは複数の画素における位置での明度または彩度を判定するステップと、該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号から算出する補間処理を行うステップとを実行させ、該補間処理を行うステップでは、コンピュータにより、少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理に切り替える適応的補間処理を行うものであり、そのことにより上記目的が達成される。
本発明に係るコンピュータ読み取り可能な記憶媒体は、上述した本発明に係る信号処理プログラムを記録したものであり、そのことにより上記目的が達成される。
次に作用について説明する。
本発明においては、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、該画素の明度や彩度を判定し、判定した画素の明度や彩度に応じた補間処理を２種類以上用いて該画素信号に対する補間処理を適応的に行うので、表示画面上の明度または彩度の低い領域で補間によりノイズを減してＳ／Ｎを改善し、表示画面上の明度や彩度の高い領域でエッジ強調により解像度を上げることができる。
本発明においては、対象画素の判定した明度が既定の閾値より低いとき、前記周囲画素の画素信号を混合する補間処理を選択するので、ノイズが目立ちやすい明度が低い画素ではノイズの影響を低減することができる。また、彩度が低い画素では、平均化により白、黒、灰色をより美しく表示することができる。
本発明においては、対象画素の判定した明度が既定の閾値より高いとき、周囲画素の画素信号の差分を用いた該対象画素のエッジ強調を伴う補間処理を選択するので、明度が高い画素では境界を浮き立たせて鮮明な画像にすることができる。
本発明においては、対象画素の判定した明度が既定の閾値より高いとき、周囲画素の画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合する補間処理を選択するので、明度が高い画素では、周囲画素も用いて勾配を求めて、混合する画素を絞り込むことでエッジ強調となる補間をすることができる。また、彩度が高い画素は誘目性が高いので、エッジを強調する補間をすることが有効である。
本発明においては、補間しようとしている画素色以外の色でエッジ強調となる補間をすること、特にＲ画素やＢ画素の２倍画素が配置されているＧ画素を用い、エッジ強調することで解像度を上げることができる。
本発明においては、補間しようとしている色と同じ色のカラーフィルタの画素の出力信号を用いることで、偽色の発生を抑えることができる。
本発明においては、補間に用いる画素領域の中の画素（つまり対象画素の補間に用いる周辺画素）と対象画素の周辺に位置する補間に用いない周辺画素とを用いて対象画素の明度または彩度を求めることにより、補間の対象となっている対象画素に隣接する周辺画素を含めて対象画素の明度あるいは彩度を判定可能となり、またこのように求めた対象画素の明度あるいは彩度から補間処理の種類を判定することによって、対象画素の付近にエッジがあった場合でも適切な補間処理の判定をすることができる。
本発明においては、画素の明度または彩度の判定に、補間しようとしている領域で最も明るいところを用いることで補間処理の適切な判定ができる。さらに、視覚的に明度を感じる波長は緑が最も重要であるため、緑画素の画素信号に基づいて補間の判定を行うことが有効である。
本発明においては、対象画素の彩度を、該対象画素の補間処理に用いる周辺画素の画素信号のうち、緑と赤の画素信号の差分と、緑と青の画素信号の差分とから求めることで、簡単に彩度の定量化を行うことができる。
本発明においては、撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施すノイズ除去部を備え、判定部は、該ノイズ除去処理を施した画素信号に基づいて、前記対象画素の明度または彩度を算出するので、対象画素の明度または彩度を精度よく求めることができる。
また、周囲の画素の画素信号の平均値または中間値から十分に離れた画素信号は除外するというノイズ処理やノイズの場所をあらかじめ記憶させておき、その場所の画素の画素信号にノイズ処理を行うことで、明度、彩度の判定中、あるいは補間処理中にノイズ除去することができる。
本発明においては、２種類以上の補間処理を、対象画素の画素信号を、周辺画素の画素信号に異なる係数を掛けて得られる画素信号を用いて補間するものとし、それぞれの補間処理では、該係数として、判定した対象画素の明度または彩度に応じて連続的に変化させて得られる係数を用いるので、補間処理をより適切に切り替えることができる。
本発明においては、上記係数の和を１にすることで、色調が変化しにくく、自然な色合にしやすくできる。
本発明においては、光源に応じてもしくは受光部の周囲の光量の情報などで適応的補間処理を制限するので、適応的補間処理が不要な場合、例えば、昼間の外で逆光時に背景の空や森の方が明るくなったり、夕焼け時に空の方が明るくなったり、室内で窓の外の方が明るいときに有効である。
また、曇り空や雨天時には解像度が低下するため、適応的補間処理で用いる画素平均化の補間処理で、補間に用いる画素を減らす、またはエッジ強調する閾値を下げるなどの調整が有効となる。
本発明においては、撮像時の前記撮像素子におけるゲインがある固定した倍率以下のとき、前記適応的補間処理を制限するので、ゲインがある一定の値にならなければノイズが問題にならない場合に有効であり、このような場合には、ゲインのレベルによって適応的補間処理を行うか行わないかの判定をすることが望ましい。
本発明においては、撮像時に前記撮像素子が受光する光量がある固定した光量以上のとき、前記適応的補間処理を制限するので、例えば、適応的補間処理が不要なほど明るく彩度が高いところでは、わざわざ別途、平均化する補間を用いる必要がなく、このような場合には有効となる。
本発明においては、シャッター時間が非常に短いとき、適応的補間処理を制限して、補間処理で画素の平均化をすることで暗い部分のノイズを低減できる。
本発明においては、撮像時に撮像素子に被写体からの光を導く光学系の集光状態に従って、前記適応的補間処理を制限するので、絞りが開放に近いところではエッジ強調するべきところとぼかすところが非常に繊細な問題となる場合に有効となる。
例えば、光学系の設定（集光状態）に従って適応的補間処理を行うか行わないかの判定をすることが望ましい。レンズの設定には絞りの値や焦点距離がある。また、絞りを広角レンズで大きく絞っているときはパンフォーカスを期待していることが多く、エッジ強調を強めになるようにしてもよい。一方、また、焦点距離が長い領域はぼけやすく、焦点距離が短いところは画面全体ぼけにくいため、焦点距離に応じて、適応的補間処理におけるエッジ強調の程度を調整することが有効である。
以上のように本発明によれば、明度または彩度の低い画素では補間によりノイズを減じてＳ／Ｎを改善し、明度や彩度の高い画素ではエッジ強調により解像度を上げることができる信号処理装置及び信号処理方法、この信号処理装置を有する固体撮像装置、この固体撮像装置を備えた電子情報機器、上記信号処理方法をコンピュータに実行させるための画像処理プログラム、並びにこの画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体を実現することができる。
図１は、本発明の実施形態１による固体撮像装置を説明する図であり、図１（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図１（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。 図２は、本発明の実施形態１による固体撮像装置の動作を説明する図であり、画素信号をデジタル化して信号処理する動作をフローチャートで示している。 図３は、本発明の効果を説明する図である。 図４は、本発明の実施形態１による固体撮像装置における信号処理装置の動作を説明する図であり、Ｒ画素信号のエッジ強調を関数で変化させる例を示している。 図５は、本発明の実施形態２による固体撮像装置を説明する図であり、図５（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図５（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。 図６は、本発明の実施形態３による固体撮像装置を説明する図であり、図６（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図６（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。 図７は、本発明の実施形態４による固体撮像装置を説明する図であり、図７（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図７（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。 図８は、本発明の実施形態４による固体撮像装置における信号処理装置の動作を説明する図であり、異なる２つの補間処理で同一の補間画素を用い、かつ補間に用いる数式における係数を変化させる例を示している。 図９は、本発明の実施形態５として、実施形態１から実施形態４のいずれかの固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 図１０は、従来の固体撮像装置を説明する図であり、図１０（ａ）は、従来の固体撮像装置の全体構成を概略的に示し、図１０（ｂ）は、この固体撮像装置を構成するＣＣＤ型イメージセンサの構成を示し、図１０（ｃ）は、この固体撮像装置におけるカラーフィルタの配列を示している。 図１１は、従来の固体撮像装置の動作を説明する図であり、アナログ画像信号をデジタル化して信号処理する動作をフローチャートで示している。 図１２は、従来のＣＭＯＳ型固体撮像装置を説明する図である。 図１３は、従来の固体撮像装置を構成する信号処理装置での線形補間処理を説明する図であり、図１３（ａ）はＲ画素の画素信号の補間処理、図１３（ｂ）はＧ画素の画素信号の補間処理、図１３（ｃ）はＢ画素の画素信号の補間処理を示している。 図１４は、従来の固体撮像装置を構成する信号処理装置でのＲ画素信号のエッジ強調処理を説明する図であり、画素部におけるＲ画素の配列（図１４（ａ））、Ｇ画素の配列（図１４（ｂ））及びＢ画素の配列（図１４（ｃ））を分離して示している。 図１５は、従来の固体撮像装置を構成する信号処理装置でのＧ画素信号のエッジ強調処理を説明する図であり、画素部におけるＲ画素の配列（図１５（ａ））、Ｇ画素の配列（図１５（ｂ））及びＢ画素の配列（図１５（ｃ））を分離して示している。 図１６は、従来の固体撮像装置を構成する信号処理装置でのＧ画素信号のエッジ強調処理を説明する図であり、Ｇ画素のみを用いてＧ画素信号のエッジ強調処理を行う例を示している。 図１７は、従来の固体撮像装置を構成する信号処理装置における画素値の勾配を考慮した補間処理を説明する図であり、図１０（ｂ）に示す画素部における画素の配列を、図１７（ａ）、図１７（ｂ）、図１７（ｃ）にて赤、緑、青の各色で分離して示している。 図１８は、補間画素の画素値を、同色の周辺画素の画素値で補間する例を説明する図であり、図１０（ｂ）に示す画素部における画素の配列を、図１８（ａ）、図１８（ｂ）、図１８（ｃ）にて赤、緑、青の各色で分離して示している。
以下、本発明の実施形態について図面を参照しながら説明する。
（実施形態１）
図１は、本発明の実施形態１による固体撮像装置を説明する図であり、図１（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図１（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。
本実施形態１による固体撮像装置１００ａは、被写体からの光を光電変換して画素信号を出力するＣＣＤイメージセンサ（撮像素子）１と、ＣＣＤイメージセンサ１を駆動するＣＣＤ駆動回路１００ｂと、該ＣＣＤイメージセンサ１から出力される画素信号ＡｇをＡＤ変換し、このＡＤ変換により得られたデジタル画素信号Ｄｇに信号処理を施す信号処理装置１００とを有するＣＣＤ型固体撮像装置である。ここで、ＣＣＤイメージセンサ１は、図１０（ｂ）に示す従来のＣＣＤイメージセンサ１と同一のものである。
ここで、ＣＣＤ型固体撮像装置１００ａは、ＣＣＤイメージセンサ１に被写体からの光を導く光学系１００ｃとともにデジタルカメラとしてのカメラシステム１０００を構成しており、この光学系１００ｃは、その光軸Ｄａ上に配置された複数のレンズ１１１〜１１３と、絞り機構１１４とを有している。レンズ１１２は、光軸方向Ｄｓに沿って移動可能に構成された可動レンズであり、この可動レンズ１１２により光学系の焦点距離が調整可能となっている。また、デジタルカメラシステム１０００は、ユーザ操作により、可動レンズ１１２の移動量および絞り機構１１４の絞りの程度を調整する操作信号Ｍ１およびＭ２を、可動レンズ１１２および絞り機構１１４に出力するカメラ操作部１００ｄを有している。
また、ＣＣＤ駆動回路１００ｂは、水平ＣＣＤ及び垂直ＣＣＤの駆動信号Ｓｄを発生するとともに、ＣＣＤイメージセンサにおけるシャッター動作の制御信号Ｓｃを発生し、これらの信号をＣＣＤイメージセンサに供給するよう構成されている。
以下、上記信号処理装置１００について詳しく説明する。
この信号処理装置１００は、ＣＣＤイメージセンサ１からの各画素に対応したアナログ画素信号Ａｇに対する信号処理を行う信号処理装置である。
具体的には、この信号処理装置１００は、ＣＣＤイメージセンサ１からの各画素に対応したアナログ画素信号ＡｇをＡ／Ｄ変換してデジタル画素信号Ｄｇを出力するＡ／Ｄ変換器１０１と、該Ａ／Ｄ変換器１０１からのデジタル画素信号Ｄｇに対して、黒レベルなどの信号レベル調整処理を施すレベル調整回路１０５ａと、レベル調整処理を施したデジタル画素信号Ｒｇを、ＣＣＤイメージセンサ１における画素部１ａ（図１０（ｂ）参照）の数行分格納する画像バッファ１０２と、画像バッファ１０２に格納されたデジタル画素信号Ｄｂを用いて画素毎に１以上の画素の明度または彩度を判定する明度・彩度判定部１０３と、該判定した画素の明度または彩度に基づいて、対象画素の画素信号を対象画素の周辺に位置する周辺画素の画素信号を用いて補間する補間処理を行う補間処理部１０４とを備えている。
ここで、明度・彩度判定部１０３は、各画素の明度または彩度を検出する明度・彩度検出部１０３ａと、検出した画素の明度または彩度を、既定の閾値と比較する明度・彩度比較部１０３ｂとを有し、この比較結果に基づいて、各画素毎に明度あるいは彩度の少なくとも一方について、各画素の明度あるいは彩度が既定の閾値より大きいか否かを判定し、判定結果の情報Ｄｒを出力するものである。
つまり、この明度・彩度判定部１０３は、通常、画像バッファ１０２から補間しようとしている対象画素とその付近の周辺画素のデジタル画素信号Ｄｂを受け、対象画素の明度もしくは彩度もしくはその両方を算出し、得られた明度あるいは彩度の情報をあらかじめ設定したもしくはカメラのシステムによって設定された閾値と比較し、比較結果を示す判定情報Ｄｒを補間処理部１０４に出力するよう構成されている。
また、補間処理部１０４は、少なくとも２種類以上の補間処理のうちから、対象画素の明度または彩度に関する判定結果に適した補間処理を画素毎に選択し、選択した補間処理により該対象画素の画素信号を補間する適応的補間処理を行うものである。
ここでは、補間処理部１０４は、第１の補間処理を行う補間処理回路［１］１０４ａと、第１の補間処理とは異なる第２補間処理を行う補間処理回路［２］１０４ｂと、明度・彩度判定部１０３からの判定結果を示す判定信号Ｄｒに基づいて、補間処理部１０４で行われる補間処理を、第１補間処理と第２補間処理との間で切り替える補間処理切替え回路１０４ｃとを有している。この補間処理切替え回路１０４ｃは、具体的には、判定信号Ｄｒに基づいて、画像バッファ１０２に格納されているデジタル画素信号Ｄｂを、これに対して第１補間処理と第２補間処理とのうちの適切な補間処理が行われるよう、補間処理回路［１］１０４ａおよび補間処理回路［２］１０４ｂのいずれか一方に供給するよう構成されている。
なお、補間処理回路［１］１０４ａが行う第１補間処理は、図１４，図１５，図１６若しくは図１７で示したようなエッジ強調がかかる補間処理のうちの１つである。また、補間処理回路［２］１０４ｂが行う第２補間処理は、図１３若しくは図１８で示したような画素信号の平均化をするような補間処理のうちの１つである。
このようにして補間処理部で補間処理が施されたデジタル画素信号は、各画素毎に、赤色のデジタル画素信号（Ｒ画素値）、緑色のデジタル画素信号（Ｇ画素値）、および青色のデジタル画素信号（Ｂ画素値）を含むＲＧＢデジタル画素信号となる。
さらに、この信号処理装置１００は、ＲＧＢデジタル画素信号に対して、カラーマトリックス処理、コントラスト調整処理、およびガンマ補正処理などの画質調整処理を施す画質調整回路１０５ｂを有している。
まず、カメラシステム全体の動作について説明する。
カメラシステムの電源が投入されると、ＣＣＤ駆動部１００ｂからＣＣＤイメージセンサ１に駆動信号Ｓｄ及びシャッター制御信号Ｓｃが供給され、これによりＣＣＤイメージセンサ１では撮像動作が行われる。ＣＣＤイメージセンサ１での撮像動作は、図１０（ｂ）を用いて説明したものと同様である。
また、カメラ操作部１００からの操作信号Ｍ１により可動レンズ１１２の移動により焦点調整が行われ、またカメラ操作部１００からの操作信号Ｍ２により絞り機構１１４における絞り調整が行われる。
そして、ＣＣＤイメージセンサ１での撮像により得られたアナログ画素信号Ａｇがその後段の信号処理装置１００に出力されると、このアナログ画素信号Ａｇに対する信号処理が行われる。
図２は、この信号処理装置１００の動作をフローチャートにより説明する図である。
まず、ＣＣＤイメージセンサ１の各画素から読み出されたアナログ画素信号ＡｇをＡ／Ｄ変換器１０１にてＡＤ変換してデジタル画素信号Ｄｇに変える（ステップＳ１０１）。
次に、レベル調整回路１０５ａにて、デジタル画素信号Ｄｇに対してレベル調整処理を行う。例えば、レベル調整処理として、従来の信号処理装置２００と同様に黒レベル調整し（ステップＳ１０２）、さらにホワイトバランスの調整を行う（ステップＳ１０２ａ）のが望ましい。傷消しやノイズの除去はどの信号処理の段階でも可能だが、できるだけ前半の段階でかつ補間処理前の方が効果的にできる。なお、ホワイトバランスの調整は補間処理の前に行うと計算量を減らすことができるが、補間処理後でも可能できる。
このようにＡ／Ｄ変換器１０１からのデジタル画素信号Ｄｇにレベル調整処理を施して得られたデジタル画素信号Ｒｇを、ＣＣＤイメージセンサ１の画素部における画素数行分、画像バッファ１０２に格納する。
次に、明度・彩度検出部１０３ａでは、画像バッファ１０２から、ある画素及びその周辺に位置する画素のデジタル画素信号Ｄｇを読み出して、対象画素の明度もしくは彩度を求める（ステップＳ１０３）。
具体的には、ある画素に着目し、この着目した画素（着目画素）の周囲の画素も含めたデジタル画素信号を用いて、明度もしくは彩度、あるいは明度及び彩度の両方を導出する。
最も単純な方法はＧ画素のデジタル画素信号で明度を判定する方法であるが、もう少し精度のよい方法では、隣接するＲ画素，Ｇ画素，Ｂ画素のデジタル画素信号を約３：６：１の比率で足し合わせて得られるデジタル画素信号のレベルを輝度レベルとする方法がある。
なお、明度は、輝度の求め方を用いることができる。輝度の求め方は様々な方法が知られているのでここでは割愛するが、計算を簡略化するため、対象画素の付近の周辺画素であるＲ，Ｇ，Ｂ画素の画素信号をそのまま適当な重み付けにより足し合わせて得られる画素信号を対象画素の輝度として用いてもよい。
また、対象画素の明度として、該対象画素の補間処理に用いる周辺画素の配置領域に位置する画素の画素信号から求めた輝度信号を用いてもよい。
正確には輝度レベルを求める際、カラーマトリックスを使うことが望ましいが、省略することもできる。また、ノイズや傷等に基づくデジタル画素信号を適切に除外できれば、着目画素の判定で用いる周辺の画素のデジタル画素信号のうちで、通常最も高い信号レベルのデジタル画素信号を選択し、このデジタル画素信号の信号レベルにより着目画素の明度を判定するのが望ましい。
また、彩度はＬａｂやＬａ＊ｂ＊のａｂやａ＊ｂ＊の求め方を用いることができる。また、更に簡略化してＧ画素とＲ画素の出力信号の差分をａ＊，Ｇ画素とＢ画素の出力信号の差分をｂ＊として絶対値を求め代用してもよい。また、好ましくは判定基準には明度と彩度両方用いてもよい。
具体的には、対象画素の彩度は、該対象画素の補間処理に用いる周辺画素の画素信号のうち、緑と赤の画素信号の差分と、緑と青の画素信号の差分とから求めてもよい。
また、明度・彩度比較部１０３ｂでは、補間対象となる対象画素の明度あるいは彩度を明度・彩度検出部１０３ａから取得し、予め設定されている明度あるいは彩度の閾値と比較し、比較結果を示す判定情報Ｄｒを補間処理部１０４に出力する。補間処理部１０４では、補間処理切替え回路１０４ｃが判定情報Ｄｒに基づいて、複数の補間処理のうちのいずれの補間処理を実行すべきかを適応的に切り替える適応的補間処理を行う（ステップＳ１０４）。
判定基準には明度と彩度両方用いる場合は、対象画素の明度及び彩度ともに対応する閾値より小さい場合のみ、第２補間処理（平均化）を選択し、それ以外の場合は第１補間処理（エッジ強調）を選択する。
なお、この補間処理の間、補間に必要な画素信号の数行分はバッファに一時保管して、対象の行の補間結果を出力すると、次の数行にシフトするなどのメモリ管理をし、メモリの必要量を最小限にする工夫も行う。
また、いずれの補間処理にするか判定する閾値は限定しないが、本発明を適切に実施できるように例示しておく。
まず、補間しようとしている画素（対象画素）付近に位置する周辺画素の緑のデジタル画素信号の平均値がフルスケールの５％以下のとき、もしくは補間しようとしている画素付近に位置する周辺画素の輝度レベルの平均値を出し、その値が５％以下のときなどに、対象画素に対する補間処理を、エッジを強調する補間処理から、デジタル画素信号の平均化を行う補間処理に切り替えるという閾値の設定が考えられる。
一方、彩度の閾値としては以下の指標を用いることができる。
彩度は、色の三属性の１つで、色の鮮やかさの尺度であり、基本的の色空間の中央軸（無彩色軸）からの距離で表される。無彩色（白、黒、灰色）では、この距離は０となり、無彩色軸から遠ざかるほど、彩度は純色に近いものとなる。
例えば、Ｌ＊ａ＊ｂ＊表色系の色空間は球体と考えることができ、縦方向の軸が明度の軸（無彩色軸）で、Ｌ＊は無彩色軸上の位置を示し、Ｌ＊＝０は黒、Ｌ＊＝１００は白を示す。また、無彩色軸と直交するａ＊の軸では、正の値は赤色寄りの色を示し、負の値は緑色寄りの色を示し、無彩色軸と直交するもう１つのｂ＊の軸では、正の値は黄色寄りの色を示し、負の値は青色寄り色を示す。ａ＊の軸とｂ＊の軸とは直交しており、これらのａ＊の軸とｂ＊の軸を含む平面上での座標により、色を定量的に定義することができる。なお、ａ＊の軸とｂ＊の軸の各軸の両側の色は補色の関係になっている。
そこで、彩度の閾値としては、ａ＊，ｂ＊の値が２０以下、もしくは（ａ＊２＋ｂ＊２）０．５の値が、２０以下などが考えられる。
なお、色空間としてマンセル表色系の色空間を用いて、明度と彩度を定義してもよい。
また、ノイズを適切に抑えるという目的のためには、明度あるいは彩度の閾値を、より物理的な値、ＣＣＤイメージセンサの画素信号におけるノイズレベルやＣＣＤイメージセンサの受光面での照度レベルに基づいて設定することもできる。
例えば、ＣＣＤイメージセンサや画素のノイズレベルに従って決める方法がある。例えばＣＣＤイメージセンサの画素信号におけるノイズレベルが３電子である場合、明度を決める閾値としての信号レベルは、１０倍の３０電子と決めてもよい。もしくは例えば、ＣＣＤイメージセンサの受光面での面照度とシャッター時間の積が０．００３ｌｕｘ．ｓであるときの、ＣＣＤイメージセンサにおけるデジタル画素信号の信号レベルを測定しておき、この信号レベルの明度の閾値にしてもよい。
そして、補間しようとする対象画素の明度（あるいは彩度）がそれぞれの閾値より高い場合と低い場合とで、補間処理を切り替える。
具体的には、対象画素の明度（あるいは彩度）が閾値より高い場合は図１４，図１５，図１６若しくは図１７で示したようなエッジ強調がかかる補間処理を行い、対象画素の明度（あるいは彩度）が閾値より低い場合は、図１３若しくは図１８で示したような平均化するような処理を行う。
以下で詳細に説明する。
対象画素の明度あるいは彩度が閾値よりも高いとき、言い換えれば、対象画素が明度若しくは彩度が高い画素であるとき、この対象画素のデジタル画素信号を、周囲画素のデジタル画素信号を用いて補間するときに、エッジ強調がかかるようにする（ステップＳ１０５ａ）。具体的には周囲の画素のデジタル画素信号を減算するもしくは条件式でより傾斜の少ない方向に配列されている画素のデジタル画素信号を用いて補間を行う。それにより、境界がより鮮明になるエッジ強調となる。
一方、対象画素の明度あるいは彩度が閾値よりも低いとき、言い換えれば、対象画素及びその周辺の周辺画素には、明度若しくは彩度が高い画素が存在しないときは、周囲の画素も含めて平均化を行う補間処理を行う（ステップＳ１０５ｂ）。このように補間処理を画素信号の平均化により行うことにより、解像力が低下するが、ノイズは平均化する画素の個数に応じて改善される。この平均化するときに、補間に用いるデジタル画素信号に適度に重み付けすることも可能である。
その後、補間処理が施されたデジタル画素信号に対してカラーマトリックス処理を施し、ＣＣＤイメージセンサから出力されるＲＧＢ各色の画素信号（ＲＧＢ画素信号）の特性を、自然なカラー画像が表示されるよう人の目のＲＧＢ各色に対する感度特性と合わせる。（ステップＳ１０６）。
さらに、カラーマトリックス処理を施したＲＧＢ画素信号に対してコントラスト調整処理、ガンマ補正処理を施してデジタル画像信号を生成し（ステップＳ１０７）、デジタル画像信号を出力する。
次に、本実施形態１の作用効果について説明する。
本実施形態１では、複数の画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、各画素の明度や彩度を判定し、判定した画素の明度や彩度に応じて、２種類の補間処理のうちから適切な補間処理を選択して実行する適応的補間処理を行うので、表示画面上の明度または彩度の低い領域で、補間によりノイズを減してＳ／Ｎを改善し、表示画面上の明度や彩度の高い領域でエッジ強調により解像度を上げることができる。
特に、明度が低い画素では、上記第２補間処理（図１３、図１８）のように、画素のデジタル画素信号を混合して平均化したものを対象画素のデジタル画素信号として補間することにより、明度が低い画素でノイズが目立つのを抑制することができる。
また、彩度が低い画素では、上記第２補間処理（図１３、図１８）のように、周辺画素のデジタル画素信号を混合して平均化したものを対象画素のデジタル画素信号として補間することにより、白、黒、灰色をより美しく表示することができる。
また、明度が高い画素では、第１補間処理（図１４〜図１７）のように、周囲画素のデジタル画素信号を差し引いて得られる差分を用いて対象画素のデジタル画素信号を補間する、エッジ強調を伴う補間処理を行うことで、被写体の輪郭（境界）を浮き立たせて鮮明な画像にすることができる。
また、明度が高い画素では、第１補間処理として、図１７に示すように、周辺画素のデジタル画素信号を用いて画素信号のレベルの勾配を求め、補間に用いる画素として勾配の緩やかな方向に配置されている画素に絞り込むことで、エッジ強調となる補間が行われて、鮮明な画像を得ることができる。
また、彩度が高い画素は誘目性が高い画素であるので、エッジ強調を伴う補間処理を行うことは有効である。
さらに、図１４、図１５に示すエッジ強調を伴う補間処理のように、補間しようとしている対象画素のデジタル画素信号の色以外の色の周辺画素のデジタル画素信号を用いてエッジ強調となる補間処理を行うこと、特にＲ画素やＢ画素の２倍配置されているＧ画素のデジタル画素信号を用い、エッジ強調することで、解像度を一層上げることができる。
さらに、補間しようとしている色と同じ色のカラーフィルタの画素の出力信号を用いると偽色の発生を抑えることができる。
さらに、補間に用いる画素領域の中の画素（つまり対象画素の補間に用いる周辺画素）と対象画素の周辺に位置する補間に用いない周辺画素とを用いて対象画素の明度または彩度を求めることにより、補間の対象となっている対象画素に隣接する周辺画素を含めて対象画素の明度あるいは彩度を判定可能となり、またこのように求めた対象画素の明度あるいは彩度に基づいて、対象画素の補間処理の種類を切り替えることによって、対象画素の付近にエッジがあった場合でも適切な補間処理を選択することができる。
さらに、補間に用いる画素領域の中の画素（つまり対象画素の補間に用いる周辺画素）の明度または彩度を複数点求めることによって、より適切な補間処理を選択することができる。望ましくはこのとき画素毎に求めるとより一層適切な補間処理を選択することができる。この際、対象画素の明度または彩度を、対象画素の画素信号の補間に用いる周囲画素を含む領域の、異なる色の画素を含む複数の画素の画素信号を用いて求め、求めた対象画素の明度または彩度を用いて対象画素の明度または彩度の判定（それぞれの閾値との比較）を行い、この判定結果に基づいて補間処理を選択してもよい。
さらに、補間に用いる画素領域の中の画素（つまり対象画素の補間に用いる周辺画素）のうちで複数点明度あるいは彩度を求めた場合、最も高い明度あるいは彩度を対象画素の明度あるいは彩度として、対象画素の明度あるいは彩度の判定を行うことで、補間処理の切替のための適切な判定ができる。
さらに、視覚的に明度を感じる波長は緑が最も重要であるため、周辺画素のうちのＧ画素のデジタル画素信号を基準に、補間処理を切り替えるための対象画素の明度あるいは彩度の判定を行うことで、単一色のデジタル画素信号に基づく少ない計算で補間処理の切替が可能となる。
また、上記実施形態１では、適応的補間処理は、２種類の補間処理から、対象画素の明度あるいは彩度が対応する閾値より大きいか否かに応じて適切な補間処理を選択して実行するものとしているが、適応的補間処理は、３種類以上の補間処理から、対象画素の明度あるいは彩度と、対応する複数の閾値との大小関係に応じて適切な補間処理を選択して実行するものであってもよい。
また、２種類の補間処理は、前記対象画素の画素信号を、前記周辺画素の画素信号に異なる係数を掛けて得られる画素信号を用いて補間するものであるので、係数の和を１にすることで色調が変化しにくく、自然な色合にしやすくできる。
さらに、前記２種類以上の補間処理は、前記対象画素の画素信号を、前記周辺画素の画素信号に異なる係数を掛けて得られる画素信号を用いて補間するものであって、それぞれの補間処理では、該係数として、判定した対象画素の明度または彩度に応じて連続的に変化させて得られる係数を用いてもよい。
例えば、図１４に示す補間処理を変形させた補間処理を図４に例示している。図４に示す補間処理では係数ｋを変化させることで、エッジ強調を連続的に変化させることができる。このときの係数ｋは、対象画素の明度または彩度の値の線形関数であっても、対数関数であってもよい。
図３は本実施形態１による信号処理装置における適応的補間処理の効果を説明する図である。
本実施形態１の信号処理装置１００で適応的補間処理を施して得られたデジタル画像信号を用いて画像表示した場合、図３に示すように表示画面Ｄ上で、点光源Ａはくっきりと表示され、また、明るく写っている人物はその輪郭がエッジ強調によりくっきり表示され、また、表示画面上で暗い物体Ｂ０ではノイズがあまり目立たないようになり、さらに同様に暗いは背景部分Ｂａでもノイズがあまり目立たないようにすることができる。
（実施形態２）
図５は、本発明の実施形態２による固体撮像装置を説明する図であり、図５（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図５（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。
本実施形態２による固体撮像装置１１０ａは、実施形態１の固体撮像装置１００ａにおける信号処理装置１００に代えて、Ａ／Ｄ変換器１０１からのデジタル画素信号Ｄｇに対してノイズ除去処理を行うノイズ除去回路１０６を備えた信号処理装置を用いたものであり、その他の構成は実施形態１の固体撮像装置１００ａと同一である。
また、ＣＣＤ型固体撮像装置１１０ａは、ＣＣＤイメージセンサ１に被写体からの光を導く光学系１００ｃとともにデジタルカメラとしてのカメラシステム１１００を構成しており、この光学系１００ｃは、実施形態１のものと同一のものである。
このノイズ除去回路１０６は、画像バッファ１０２からデジタル画素信号Ｄｂを読み出し、１つの画素の周囲に位置する画素のデジタル画素信号の平均値、または中間値から十分に離れたデジタル画素信号は平均値あるいは中間値に置き換えるノイズ除去処理を行うものである。
これにより、明度・彩度判定部１０３及び補間処理部１０４ではノイズを除去したデジタル画素信号を用いて信号処理を行うことが可能となる。
なお、この実施形態２では、ノイズ除去回路１０６を設けて、対象画素の明度あるいは彩度の判定及び補間処理を行う前にノイズ除去処理を行っているが、ノイズ除去処理は、明度・彩度の判定処理中、及び補間処理中に行ってもよい。
この場合、ノイズ除去回路は、画像バッファに格納されている複数の画素のデジタル画素信号からノイズのある画素を記憶しておき、この記憶したノイズのある画素のデジタル画素信号を明度・彩度判定部１０３及び補間処理部１０４には出力させないよう画像バッファを制御することにより、明度・彩度判定部１０３及び補間処理部１０４では、明度・彩度の判定中及び補間処理中にデジタル画素信号のノイズを除去することが可能となる。
また上記ノイズ処理に加えて、シェーディング補正、つまり光学系の特性、あるいは転送ゲートなどの駆動電圧の受光面内での傾斜に起因する受光面の中央部と周縁部でのデジタル画素信号の差分を補正するなどの処理も行ってもよい。
なお、デジタル画素信号を画像バッファに格納する前後のいずれかに、もしくは画像バッファを用いて傷消しなどの処理を行ってもよい。
（実施形態３）
図６は、本発明の実施形態３による固体撮像装置を説明する図であり、図６（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図６（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。
本実施形態３による固体撮像装置１２０ａは、実施形態１の固体撮像装置１００ａにおける信号処理装置１００に代えて、カメラシステム１２００の光学系の集光状態に応じてＡ／Ｄ変換器１０１からのデジタル画素信号Ｄｇに対する適応的補間処理を制限するよう構成した補間処理部１１４を備えた信号処理装置１２０を備えたものであり、その他の構成は実施形態１の固体撮像装置１００ａと同一である。
つまり、この実施形態３では、補間処理部１１４は、カメラシステム１２００の光学系からの集光状態を示す情報Ｌｃに基づいて、明度・彩度判定部で得られた対象画素の明度あるいは彩度に応じて補間処理を適応的に切り替える適応的補間処理を制限する構成となっている。
例えば、光源の明るさに応じて、もしくは受光部の周囲の光量の情報などで適応的補間処理を制限することが望ましい場合がある。
なぜなら、昼間の屋外で逆光での撮像時に背景の空や森の方が被写体より明るくなったり、夕焼け時に空の方が被写体より明るくなったりしている状態、さらには室内で窓の外の方が明るくなっている状態では、上記適応的補間処理が働かないほうが望ましいからである。
さらに、光量に従って上記適応的補間処理を行うか行わないかの判定をすることが望ましい。なぜなら適応的補間処理が不要なほど明るく彩度が高いところでは、わざわざ別途、平均化する補間を用いる必要がないからである。なお、適応的補間処理が不要なほど明るく彩度が高いときに適応的補間処理を行わない場合にはエッジ強調の補間処理が行われるように予め信号処理装置を設定しておくことが望ましい。
また、受光部での暗さを適切に把握するためには、光量を測るセンサーを別途設けて、そのセンサーの出力値から、補間処理切替え回路１１４ｃが判定するようにしてもよい。
さらに、この実施形態３では、ＣＣＤイメージセンサでのシャッター時間を示すシャッター情報をＣＣＤ駆動部１００ｂから補間処理切替え回路１１４ｃが取得し、補間処理切替え回路１１４ｃは、シャッター時間が非常に短いとき、常に平均化による補間処理を行うことで暗い部分のノイズを低減できる。
さらには、上記実施形態３では、レンズの設定に従って上記適応的補間処理を行うか行わないかの判定をすることが望ましい。
なぜなら、レンズの設定には絞りの値や焦点距離がある。絞りが開放に近いところではエッジ強調するべきところとぼかすところが非常に繊細な問題となるからである。また、絞りを広角レンズで大きく絞っているときは、パンフォーカスを期待していることが多いことから、エッジ強調を強めになるようにしてもよい。
一方、また、焦点距離が長い領域はぼけやすく、焦点距離が短いところは画面全体がぼけにくいため、焦点距離に関する情報を補間処理切替え回路１１４ｃが取得し、焦点距離に応じて、例えば、図４に示す補間処理のように係数ｋを変更してエッジ強調の強度を調整してもよい。
また、同様にＣＣＤイメージセンサのサイズによってもぼけ方が変わるので、補間処理部１１４で切り替える補間処理におけるエッジ強度の設定は、このセンササイズを考慮して行う必要がある。
また、撮影環境が十分暗い場所で画面の一部が明るい状況で、上記適応的補間処理を行うと最も効果を発する。逆に画面全面が明るいときなどは上記適応的補間処理は行わないようにしてもよい。
また、例えば、曇り空や雨天時には解像度が低下するため、上記適応的補間処理における第２補間処理（平均化）では混合する画素を減らす、または第１補間処理（エッジ強調）に切り替える閾値を下げて輪郭の強調がなされるよう調整してもよい。
さらに、図１２に示すＣＭＯＳイメージセンサにおけるオートゲインコントローラ１６でのゲイン、あるいはデジタルアンプでのゲインがある一定の値にならなければ、ノイズが問題にならないこともあり、このようなゲインのレベルを補間処理部１１４が取得し、このゲインの大きさに応じて適応的補間処理を行うか行わないかの判定をすることが望ましい。
そのためには、アナログゲイン、デジタルゲインで、適応的補間処理を行うか行わないかの判定をする閾値を設定してもよいが、この閾値はＩＳＯ感度で設定してもよい。例えばＩＳＯ感度１６００以上で上記適応的補間処理が機能するようにしてもよい。
（実施形態４）
図７は、本発明の実施形態４による固体撮像装置を説明する図であり、図７（ａ）は、該固体撮像装置を含むカメラシステムの全体構成を概略的に示し、図７（ｂ）は、該固体撮像装置を構成する信号処理装置の構成を示している。
この実施形態４によるＣＣＤ型固体撮像装置１３０ａは、実施形態１のＣＣＤ型固体撮像装置１００ａにおける信号処理装置１００に代えて、１つの補間処理回路１３４ａにより、２以上の補間処理を適応的に切り替える補間処理部１３４を備えた信号処理装置１３０を用いたものであり、その他の構成は実施形態１のＣＣＤ型固体撮像装置１００ａと同一である。
また、ＣＣＤ型固体撮像装置１３０ａは、ＣＣＤイメージセンサ１に被写体からの光を導く光学系１００ｃとともにデジタルカメラとしてのカメラシステム１３００を構成しており、この光学系１００ｃは、実施形態１のものと同一のものである。
つまり、この実施形態４のＣＣＤ型固体撮像装置１３０ａの信号処理装置１３０では、補間処理部１３４は、補間の対象となる対象画素の画素信号を、対象画素の周辺に位置する周辺画素の画素信号から算出する補間計算式における係数を変化させて、２つ以上の補間処理を実現する補間処理回路１３４ａと、明度・彩度判定部１０３からの判定結果を示す判定信号Ｄｒに基づいて、補間処理回路１３４ａで用いる補間計算式の係数を選択し、選択した係数を示す係数情報Ｃｅを補間処理回路１３４ａに出力する補間係数切替え回路１３４ｂとを有している。
この実施形態４のＣＣＤ型固体撮像装置１３０ａにおける信号処理装置１３０のその他の構成は、実施形態１におけるＣＣＤ型固体撮像装置１００ａの信号処理装置１００と同一である。
次に動作について説明する。
この信号処理装置１３０では、補間処理部１３４の動作のみ実施形態１の信号処理装置１００と異なるので、以下、この信号処理装置での補間処理について説明する。
図８は、本発明の実施形態４によるＣＣＤ型固体撮像装置１３０ａにおける信号処理装置の動作を説明する図であり、異なる２つの補間処理で同一の補間画素を用い、かつ補間に用いる計算式における係数を変化させる例を示している。
ここでは、図４（ａ）に示す画素Ｐ２２、画素Ｐ１６３、画素Ｐ２４３のＲ画素値を補間する場合を例に挙げて説明する。このとき、補間係数切替え回路１３４ｂは、対象画素の明度または彩度に応じて、２種類以上の係数のいずれかを用いるか判定する。
画素Ｐ２２、画素Ｐ１６３、画素Ｐ２４３のＲ画素値を補間する計算式はそれぞれ、図４（ａ）に示す式（１）、式（２）、式（３）により係数ｋを用いて表される。
つまり、補間処理回路１３４ａは、計算式（１）〜式（３）を用いて画素のＲ画素値を補間する際に、補間係数切替え回路１３４ｂからの係数情報Ｃｅに基づいて、それぞれの計算式における係数を決定する。
例えば、これらの画素Ｐ２２、画素Ｐ１６３、画素Ｐ２４３での明度あるいは彩度が所定の閾値より高いと判定された場合はこれらの画素に対してエッジ強調を伴う補間処理を行うこととなる。この場合、補間処理回路１３４ａでは、計算式（１）〜式（３）における係数ｋが、これらの計算式（１）〜式（３）が図１４（ａ）に示す式（４ａ）〜式（４ｃ）となるよう決定される。
これに対し、画素Ｐ１６３での明度あるいは彩度が所定の閾値より低いと判定された場合は、この画素に対して、画素値の平均化による補間処理を行うこととなる。この場合、補間処理回路１３４ａでは、計算式（２）（図４（ａ）参照）における係数ｋが、この計算式（２）が図８（ａ）に示す式（５）となるよう決定される。なお、図８（ａ）では、画素Ｐ２２、及び画素Ｐ２４３についてはエッジ強調を伴う補間処理を行う場合を示しており、図８（ａ）における式（４）及び式（６）は、図１４（ａ）における式（４ａ）及び式（４ｃ）と同一のものである。
このように、本実施形態４では、補間処理部１３４は、補間の対象となる対象画素の画素信号を、対象画素の周辺に位置する周辺画素の画素信号から算出する補間計算式における係数を変化させて複数の補間処理を実現する補間処理回路１３４ａと、明度・彩度判定部１０３からの判定結果を示す判定信号Ｄｒに基づいて、補間処理回路１３４ａで用いる補間計算式の係数を選択し、選択した係数を示す係数情報Ｃｅを補間処理回路１３４ａに出力する補間係数切替え回路１３４ｂとを有する構成としたので、エッジ強調を伴う補間処理と平均化による補間処理とを１つの補間回路により実現でき、補間処理部１３４の回路構成を簡単なものとできる。
また、上記実施形態１ないし実施形態４の固体撮像装置における信号処理装置での信号処理は、コンピュータが信号処理プログラムに従って実行可能なものであり、このコンピュータが実行する基本的なステップは、該画素に対応する画素信号に基づいて該画素毎に該画素の明度または彩度を判定するステップと、該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号から算出する適応的補間処理を行うステップとであり、適応的補間処理を行うステップでは、コンピュータにより、少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理に切り替える適応的補間処理を行う。
また、各ステップでは、上記実施形態１〜４で示した適応的補間処理が行われる。
このような信号処理プログラムは、コンピュータ読み取り可能な記憶媒体に格納されており、コンピュータはこの記憶媒体から上記信号処理プログラムを読み込んで、上記適応的補間処理を含む信号処理を実行する。
（実施形態５）
図９は、本発明の実施形態５として、実施形態１から実施形態４のいずれかの固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
図９に示す本発明の実施形態５による電子情報機器９０は、本発明の上記実施形態１から実施形態４の固体撮像装置の少なくともいずれかを、被写体の撮影を行う撮像部９１として備えたものであり、このような撮像部による撮影により得られた高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部９２と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示部９３と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信部９４と、この画像データを印刷（印字）して出力（プリントアウト）する画像出力部９５とのうちの少なくともいずれかを有している。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明は、画素信号の補間処理を画面上の明るい領域と暗い領域とで適応的に切り替える信号処理装置及び信号処理方法、このような信号処理装置を搭載した固体撮像装置、このような固体撮像装置を搭載した電子情報機器、上記のような信号処理方法をコンピュータに実行させる信号処理プログラム、及びこの信号処理プログラムを記録したコンピュータ読み取り可能な記憶媒体の分野において、表示画面上の明度または彩度の低い領域で、補間によりノイズを減してＳ／Ｎを改善し、表示画面上の明度や彩度の高い領域でエッジ強調により解像度を上げることができる信号処理装置及び信号処理方法、この信号処理装置を有する固体撮像装置、この固体撮像装置を備えた電子情報機器、上記信号処理方法をコンピュータに実行させるための画像処理プログラム、並びにこの画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体を実現することができる。
ここで、上記固体撮像装置は、人間の視覚に対応するようにカラーフィルタによって光を波長に分離してカラー画像信号を得る固体撮像装置であり、上記電子情報機器は、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器である。
１ ＣＣＤイメージセンサ
９０ 電子情報機器
９１ 撮像部
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段
１００、１１０、１２０、１３０ 信号処理装置
１００ａ、１１０ａ、１２０ａ、１３０ａ 固体撮像装置
１００ｂ ＣＣＤ駆動回路
１００ｃ 光学系
１００ｄ カメラ操作部
１０１ Ａ／Ｄ変換器
１０２ 画像バッファ
１０３ 明度・彩度比較手段
１０３ａ 明度・彩度検出部
１０３ｂ 明度・彩度比較部
１０４ 補間処理切替え回路
１０４ａ 第１補間処理回路［１］
１０４ｂ 第２補間処理回路［２］
１０４ｃ 補間処理切替え部
１０５ａ レベル調整回路
１０５ｂ 画質調整回路
１０６ ノイズ除去回路
１１１、１１３ 固定レンズ
１１２ 可動レンズ
１１４ 絞り機構
１０００、１１００、１２００、１３００ カメラシステム

Claims (36)

  1. 被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理を行う信号処理装置であって、
    該画素毎に１つまたは複数の画素における位置での明度または彩度を判定する判定部と、
    該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号を用いて補間する補間処理を行う補間処理部とを備え、
    該補間処理部は、
    少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理を画素毎に選択し、選択した補間処理により該対象画素の画素信号を補間する適応的補間処理を行う、信号処理装置。
  2. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した明度が既定の閾値より低いとき、前記周囲画素の画素信号を混合する補間処理を選択する、信号処理装置。
  3. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した明度が既定の閾値より高いとき、前記周囲画素の画素信号の差分を用いた該対象画素のエッジ強調を伴う補間処理を選択する、信号処理装置。
  4. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した明度が既定の閾値より高いとき、前記周囲画素の画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合する補間処理を選択する、信号処理装置。
  5. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した彩度が既定の閾値より低いとき、前記周囲画素の画素信号を混合する補間処理を選択する、信号処理装置。
  6. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した彩度が所定の閾値より高いとき、前記周囲画素の画素信号の差分を用いた該対象画素のエッジ強調を伴う補間処理を選択する、信号処理装置。
  7. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記対象画素の判定した彩度が所定の閾値より高いとき、前記周囲画素の画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合する補間処理を選択する、信号処理装置。
  8. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記周囲画素の画素信号の差分を用いてエッジ強調をするとき、前記対象画素の画素信号として補間しようとしている画素信号の色とは異なる色の周辺画素の画素信号を用いて、該対象画素の画素信号を補間する補間処理を選択する、信号処理装置。
  9. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記周辺画素の配置領域での画素信号の勾配を求め、該勾配に基づいて該複数の周辺画素から特定の周辺画素を選択し、選択した特定の周辺画素の画素信号を混合して前記対象画素の補間処理を行うとき、
    該勾配は、補間しようとしている対象画素の画素信号の色とは異なる色の周辺画素の画素信号を用いて求める、信号処理装置。
  10. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記対象画素の明度または彩度の判定に、前記対象画素の画素信号の補間に用いる周囲画素を含む領域の、異なる色の画素を含む複数の画素の画素信号を用いる、信号処理装置。
  11. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記対象画素の明度を、前記補間処理に用いる周辺画素を含む領域の画素から求めたそれぞれの画素の明度のうち最も高い明度を用いて判定する、信号処理装置。
  12. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記対象画素の明度を前記周辺画素のうちの緑色画素の画素信号から求める、信号処理装置。
  13. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記対象画素の明度として、該対象画素の補間処理に用いる周辺画素を含む領域の画素の画素信号から求めた輝度信号を用いる、信号処理装置。
  14. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記対象画素の彩度を、該対象画素の補間処理に用いる周辺画素の画素信号のうち、緑と赤の画素信号の差分と、緑と青の画素信号の差分とから求める、信号処理装置。
  15. 請求項１に記載の信号処理装置において、
    前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施すノイズ除去部を備え、
    前記判定部は、該ノイズ除去処理を施した画素信号に基づいて、前記対象画素の明度または彩度を算出する、信号処理装置。
  16. 請求項１に記載の信号処理装置において、
    前記判定部は、
    前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施ししつつ、該画素に対応する画素信号に基づいて該画素毎に該画素の明度または彩度を判定するよう構成されている、信号処理装置。
  17. 請求項１に記載の信号処理装置において、
    前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施すノイズ除去部を備え、
    前記補間処理部は、該ノイズ除去処理を施した画素信号を用いて前記適応的補間処理を行う、信号処理装置。
  18. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    前記撮像素子から出力された各画素に対応した画素信号に対してノイズ除去処理を施ししつつ、前記適応的補間処理を行うよう構成されている、信号処理装置。
  19. 請求項１に記載の信号処理装置において、
    前記２種類以上の補間処理は、
    同一の周辺画素を用いる補間処理であって、
    前記対象画素の画素信号を該同一の周辺画素の画素信号から求める数式に対し、異なる係数を２種類以上用意し、
    該対象画素の明度または彩度に応じて該２種類以上の係数のいずれかを用いるか判定するものである信号処理装置。
  20. 請求項１に記載の信号処理装置において、
    前記２種類以上の補間処理は、
    前記対象画素の画素信号を、前記周辺画素の画素信号に異なる係数を掛けて得られる画素信号を用いて補間するものであり、
    それぞれの補間処理では、該係数として、判定した対象画素の明度または彩度に応じて連続的に変化させて得られる係数を用いる、信号処理装置。
  21. 請求項２０に記載の信号処理装置において、
    前記２種類以上の補間処理のそれぞれでは、前記係数として、判定した対象画素の明度または彩度に応じて線形関数に基づいて連続的に変化させて得られる係数を用いる、信号処理装置。
  22. 請求項２０に記載の信号処理装置において、
    前記２種類以上の補間処理のそれぞれでは、前記係数として、判定した対象画素の明度または彩度に応じて対数関数に基づいて連続的に変化させて得られる係数を用いる、信号処理装置。
  23. 請求項１に記載の信号処理装置において、
    前記２種類以上の補間処理は、
    前記対象画素の画素信号を、複数の周辺画素の各々の画素信号に係数を掛けて得られる画素信号の総和により補間するものであり、
    該複数の周辺画素の各々の画素信号に掛ける係数の総和が１となるものである、信号処理装置。
  24. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    光源としての被写体に応じて前記適応的補間処理を制限するよう構成されている、信号処理装置。
  25. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    撮像時の前記撮像素子におけるゲインがある固定した倍率以下のとき、前記適応的補間処理を制限するように構成されている、信号処理装置。
  26. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    撮像時に前記撮像素子が受光する光量がある固定した光量以上のとき、前記適応的補間処理を制限するよう構成されている、信号処理装置。
  27. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    撮像時に前記撮像素子に前記被写体からの光を導く光学系の集光状態に従って、前記適応的補間処理が制限されるように構成されている、信号処理装置。
  28. 請求項２７に記載の信号処理装置において、
    前記補間処理部は、
    前記光学系における撮像時の絞りの程度に従って、前記適応的補間処理が制限されるように構成されている、信号処理装置。
  29. 請求項２７に記載の信号処理装置において、
    前記補間処理部は、
    前記光学系における撮像時の焦点距離に応じて、前記適応的補間処理が制限されるように設定されている、信号処理装置。
  30. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    撮像時の前記撮像素子におけるシャッター速度に従って、前記適応的補間処理を制限するよう構成されている、信号処理装置。
  31. 請求項１に記載の信号処理装置において、
    前記補間処理部は、
    主となる被写体が逆光で撮像されていると判定されたときには、前記適応的補間処理が制限されるように構成されている信号処理装置。
  32. 被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理を行う信号処理方法であって、
    該画素毎に１つまたは複数の画素における位置での明度または彩度を判定するステップと、
    該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号を用いて補間する補間処理を行うステップとを含み、
    該補間処理を行うステップでは、
    少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理を画素毎に選択し、選択した補間処理により該対象画素の画素信号を補間する適応的補間処理を行う、信号処理方法。
  33. 被写体からの光を光電変換する複数の画素を有する撮像素子と、該撮像素子から出力された各画素に対応した画素信号を信号処理する信号処理装置とを備え、
    該信号処理装置は、請求項１から請求項３１のいずれかに１項に記載の信号処理装置である、固体撮像装置。
  34. 被写体の撮像を行う撮像部を備えた電子情報機器であって、
    該撮像部は、請求項３３に記載の固体撮像装置である電子情報機器。
  35. 被写体からの光を光電変換する複数の画素を有する撮像素子から出力された各画素に対応した画素信号に対する信号処理をコンピュータにより行うための信号処理プログラムであって、
    該コンピュータに、
    該画素毎に１つまたは複数の画素における位置での明度または彩度を判定するステップと、
    該判定した画素の明度または彩度に基づいて、対象画素の画素信号を該対象画素の周辺に位置する周辺画素の画素信号から算出する補間処理を行うステップと
    を実行させ、
    該補間処理を行うステップでは、
    コンピュータにより、少なくとも２種類以上の補間処理のうちから、該対象画素の判定した明度または彩度に適した補間処理に切り替える適応的補間処理を行う、信号処理プログラム。
  36. 請求項３５に記載の信号処理プログラムを記録したコンピュータ読み取り可能な記憶媒体。
JP2013531016A 2011-08-30 2012-07-24 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 Active JP5675996B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013531016A JP5675996B2 (ja) 2011-08-30 2012-07-24 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011187830 2011-08-30
JP2011187830 2011-08-30
JP2013531016A JP5675996B2 (ja) 2011-08-30 2012-07-24 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
PCT/JP2012/004692 WO2013031081A1 (ja) 2011-08-30 2012-07-24 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JP5675996B2 JP5675996B2 (ja) 2015-02-25
JPWO2013031081A1 true JPWO2013031081A1 (ja) 2015-03-23

Family

ID=47755615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531016A Active JP5675996B2 (ja) 2011-08-30 2012-07-24 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US9160937B2 (ja)
JP (1) JP5675996B2 (ja)
TW (1) TWI524781B (ja)
WO (1) WO2013031081A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
US10455199B1 (en) * 2015-08-11 2019-10-22 The Boeing Company Image management system for reducing effects of laser beams
WO2017068702A1 (ja) 2015-10-22 2017-04-27 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN106488203B (zh) * 2016-11-29 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
CN111163301B (zh) 2018-11-07 2021-04-20 浙江宇视科技有限公司 色彩调整方法、装置及计算机可读存储介质
JP7442990B2 (ja) * 2018-11-07 2024-03-05 三星電子株式会社 信号処理装置及び信号処理方法
CN112312054B (zh) * 2019-08-01 2022-10-21 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备、系统和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702912B2 (ja) * 2000-05-12 2011-06-15 キヤノン株式会社 信号処理方法及び信号処理装置
JP3899118B2 (ja) * 2004-02-19 2007-03-28 オリンパス株式会社 撮像システム、画像処理プログラム
JP4304623B2 (ja) * 2005-06-01 2009-07-29 ソニー株式会社 撮像装置及び撮像装置における撮像結果の処理方法
CN101867832B (zh) * 2005-12-29 2011-09-07 安泰科技有限公司 阈值确定装置和阈值确定方法
JP4941482B2 (ja) * 2009-02-17 2012-05-30 株式会社豊田中央研究所 擬似カラー画像生成装置、及びプログラム
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5454156B2 (ja) * 2010-01-14 2014-03-26 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5503522B2 (ja) * 2010-01-20 2014-05-28 キヤノン株式会社 撮像装置、撮像装置の制御方法
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
US8908062B2 (en) * 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program

Also Published As

Publication number Publication date
WO2013031081A1 (ja) 2013-03-07
TWI524781B (zh) 2016-03-01
JP5675996B2 (ja) 2015-02-25
TW201316784A (zh) 2013-04-16
US20140211060A1 (en) 2014-07-31
US9160937B2 (en) 2015-10-13

Similar Documents

Publication Publication Date Title
JP5675996B2 (ja) 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2021196554A1 (zh) 图像传感器、处理系统及方法、电子设备和存储介质
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
KR100617781B1 (ko) 이미지 센서의 화질 개선장치 및 방법
JP4678218B2 (ja) 撮像装置及び画像処理方法
US20060119738A1 (en) Image sensor, image capturing apparatus, and image processing method
US20080180557A1 (en) Solid-state image pickup device
JP5603506B2 (ja) 撮像装置及び画像処理方法
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
JP2010213213A (ja) 撮像装置及び撮像方法
JP2009303010A (ja) 撮像装置及び撮像方法
US8937680B2 (en) Image pickup unit and image processing unit for image blur correction
JP2014003462A (ja) 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
WO2008026847A1 (en) Image brightness compensating apparatus and method, recorded medium recorded the program performing it
JP2022115944A (ja) 撮像装置
JP6095519B2 (ja) 撮像装置
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium
US20230247308A1 (en) Image processing method, camera assembly and mobile terminal
US20070285529A1 (en) Image input device, imaging module and solid-state imaging apparatus
JP2006333113A (ja) 撮像装置
JP5464008B2 (ja) 画像入力装置
US8804014B2 (en) Imaging device for reducing color moire
JP6065395B2 (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141224

R150 Certificate of patent or registration of utility model

Ref document number: 5675996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04