JP4228699B2 - 撮像装置、および撮像素子 - Google Patents

撮像装置、および撮像素子 Download PDF

Info

Publication number
JP4228699B2
JP4228699B2 JP2002557133A JP2002557133A JP4228699B2 JP 4228699 B2 JP4228699 B2 JP 4228699B2 JP 2002557133 A JP2002557133 A JP 2002557133A JP 2002557133 A JP2002557133 A JP 2002557133A JP 4228699 B2 JP4228699 B2 JP 4228699B2
Authority
JP
Japan
Prior art keywords
color
sensitivity
pixel
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002557133A
Other languages
English (en)
Other versions
JPWO2002056603A1 (ja
Inventor
知生 光永
誠司 小林
博明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2002056603A1 publication Critical patent/JPWO2002056603A1/ja
Application granted granted Critical
Publication of JP4228699B2 publication Critical patent/JP4228699B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
    • H01L27/14818—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、および撮像素子に関し、例えば、広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を生成する場合に用いて好適な撮像装置、および撮像素子に関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。
【０００４】
第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
【０００５】
第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
【０００６】
第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。
【０００７】
第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
【０００８】
第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S.K.Nayar and T.Mitsunaga,滴igh Dynamic Range Imaging:Spatially Varying Pixel Exposures Proc. of Computer Vision and Pattern Recognition 2000,Vol.1,pp.472-479,June,2000」に開示されている。
【０００９】
第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００１０】
【発明が解決しようとする課題】
上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、モノクロ画像を生成することを前提としたものであり、カラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術は従来確立されていない課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、所定の画像処理を施すことによって広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を生成できるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明の第１の撮像装置は、被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、前記光電変換手段は、画素の感度特性に注目した場合、同一ライン上に存在する画素の感度特性が同一であり、隣接した異なるライン上にそれぞれ存在する画素の感度特性が異なり、画素の色成分に注目した場合、第１の色成分を有する画素がその感度特性に拘わらず市松模様状に配置され、第２の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置され、第３の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置された前記色・感度モザイク画像を生成することを特徴とする。
【００１３】
本発明の第１の撮像素子は、被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、画素の感度特性に注目した場合、同一ライン上に存在する画素の感度特性が同一であり、隣接した異なるライン上にそれぞれ存在する画素の感度特性が異なり、画素の色成分に注目した場合、第１の色成分を有する画素がその感度特性に拘わらず市松模様状に配置され、第２の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置され、第３の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置された前記色・感度モザイク画像を生成することを特徴とする。
【００１４】
本発明の第１の撮像装置および撮像素子においては、画素の感度特性に注目した場合、同一ライン上に存在する画素の感度特性が同一であり、隣接した異なるライン上にそれぞれ存在する画素の感度特性が異なり、画素の色成分に注目した場合、第１の色成分を有する画素がその感度特性に拘わらず市松模様状に配置され、第２の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置され、第３の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置された色・感度モザイク画像が生成される。
【００１５】
本発明の第２の撮像装置は、被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、前記光電変換手段は、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された前記色・感度モザイク画像を生成することを特徴とする。
【００１６】
本発明の第２の撮像素子は、被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された前記色・感度モザイク画像を生成することを特徴とする。
【００１７】
本発明の第２の撮像素子は、被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された前記色・感度モザイク画像を生成することを特徴とする。
【００３４】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３５】
光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ４から構成される。
【００３６】
信号処理系は、CCDイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。
【００３７】
記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するCODEC(Compression/Decompression)８、および、画像信号を記憶するメモリ９から構成される。
【００３８】
表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２から構成される。
【００３９】
制御系は、CCDイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザがシャッタタイミングやその他のコマンドを入力する操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部１４から構成される。
【００４０】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換され、得られた電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
【００４１】
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。
【００４２】
ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御させる。その後、画像処理部７の画像メモリに書き込まれた画像データは、CODEC８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００４３】
次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部７を中心とする信号処理系の処理を、デモザイク処理とも記述する。
【００４４】
例えば、図３に示すような被写体を撮影した場合、撮像処理によって図４に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図４に示す色・感度モザイク画像から図３に示す被写体の元の色を復元する。
【００４５】
次に、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至１４を図５乃至図１８に示す。なお、色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組合せがある。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階や、さらに、感度Ｓ３を追加した４段階がある。なお、図５乃至図１８においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ0と表示された画素は、色がＧ（緑）であって感度がＳ０であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００４６】
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
【００４７】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。
【００４８】
図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２1/2の間隔で、垂直方向には２3/2の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２1/2の間隔で格子状の配置されている。
【００４９】
第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３が有している。
【００５０】
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
【００５１】
第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４が有している。
【００５２】
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。
【００５３】
図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
【００５４】
なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１が有している。
【００５５】
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。
【００５６】
図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２1/2の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００５７】
なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２が有している。
【００５８】
ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【００５９】
次に、CCDイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
【００６０】
色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。
【００６１】
色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
【００６２】
感度のモザイク配列を光学的に実現する方法について説明する。図１９は、CCDイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が形成されている。オンチップレンズ２１は、図面上方からの入射光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２３の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２６を駆動する垂直レジスタ駆動電極２５が配線されている。
【００６３】
垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ２６と垂直レジスタ駆動電極２５はシールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
【００６４】
以上説明したように構成されるCCDイメージセンサ４を利用して、各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。
【００６５】
例えば、図２０に示すように、オンチップレンズ２１の設置の有無により、集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にニュートラルデンシティフィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、シールド２４の開口部分の面積を変化させることにより、フォトダイオード２３に対する入射光量を変化させることができる。
【００６６】
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。
【００６７】
例えば、隣接する２つの受光素子（第1および第2の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する第１の方法について、図２３を参照して説明する。
【００６８】
図２３の第１段目は、CCDイメージセンサ４の露光期間を示している。同図の第２段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第３段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第４段目は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第５段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。同図の第６段目は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第７段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００６９】
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００７０】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００７１】
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（同図の第２段目）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
【００７２】
その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７３】
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７４】
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００７５】
ところで、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
【００７６】
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。同図の第１乃至７段目はそれぞれ、図２３の第１乃至７段目と同様に、CCDイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００７７】
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
【００７８】
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
【００７９】
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。
【００８０】
以上説明したような感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【００８１】
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、CCDイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
【００８２】
図２５は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ’におけるCCDイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。
【００８３】
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。
【００８４】
図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ’におけるCCDイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
【００８５】
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
【００８６】
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をAND型の電極構造と記述する。
【００８７】
以上説明したＯＲ型の電極構造とAND型の電極構造を１つのCCDイメージセンサ内で組み合わせて使うことにより、２段階感度による任意のモザイク配列をつくることができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とAND型の電極構造を組み合わせればよい。
【００８８】
図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素にはAND型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このようにＯＲ型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。
【００８９】
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２３（または図２４）に示した制御タイミングのうち、同図(Ｄ)の１回目の電荷読み出しパルス電圧の供給タイミングと、同図(Ｆ)の電荷読み出しパルス電圧の供給タイミングにおいて、第２相および第３相の両方を駆動し、同図(Ｄ)の２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、AND型の電極構造の画素は低感度Ｓ０となる。
【００９０】
同様の方法により、その他の２段階の感度を有する感度のモザイク配列をつくることができる。例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図２９に示すように組み合わせる。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３０に示すように組み合わせる。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３１に示すように組み合わせる。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３２に示すように組み合わせる。
【００９１】
次に、画像処理部７を中心とする画像処理系のデモザイク処理について説明するが、その前に、以下の説明において用いる画素の位置座標の定義について、図３３を参照して説明する。
【００９２】
図３３は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘmax，ｙmax）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。従って、例えば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘmax−０．５，ｙmax−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、例えば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
【００９３】
次に、図３４は、画像処理部７を中心とする画像処理系の第１のデモザイク処理の概要を示している。
【００９４】
第１のデモザイク処理は、図３４に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、感度を均一化して色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
【００９５】
第１のデモザイク処理における第１の感度均一化処理の概要について、図３５乃至図３７を参照して説明する。図３５乃至図３７は、処理される画像の所定の１ラインの画素配列を示している。Ｘ０は、色成分がＸ（例えば、Ｒ（赤））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｘ１は、色成分がＸであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示し、Ｙ０は、色成分がＹ（例えば、Ｇ（緑））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｙ１は、色成分がＹであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示している。感度Ｓ０の画素は、入射光の強度を所定の割合で減衰させて測光し、感度Ｓ１の画素は、入射光の強度を減衰させることなく測光する。また、同図の横軸は画素のライン上の位置を示しており、縦棒の長さは対応する画素の画素値を示している。
【００９６】
第１のデモザイク処理における第１の感度均一化処理は、２段階の処理に分別することができる。図３５は、第１の感度均一化処理を施される前の色・感度モザイク画像の所定の１ラインの画素の画素値を示している。なお、曲線Ｘは、入射光の色Ｘの強度分布を示し、曲線Ｙは、色Ｙの強度分布を示している。
【００９７】
閾値θHは、CCDイメージセンサ４の飽和レベルを示し、入射光の強度が閾値θHを越える場合、その強度を正確に測定することができず、その測定値は閾値θHと等しい値となる。閾値θLは、CCDイメージセンサ４のノイズレベルを示しており、入射光の強度が閾値θLよりも小さい場合も、その強度を正確に測定することができず、その測定値は閾値θLと等しい値となる。
【００９８】
有効性判別結果は、各画素が入射光の強度を正確に測定できたか否かを示す情報、すなわち、測定された各画素の画素値が有効Ｖ(Valid)であるか、無効Ｉ(Invalid)であるかを示す情報である。
【００９９】
第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図３６は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効である画素は、スケーリングによって本来の光強度が復元されるが、無効である画素は、本来の光強度が復元されていない。
【０１００】
そこで、第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。図３７は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図３７の中央の無効であって色Ｙの画素は、近傍の有効な色Ｙの画素の画素値を用いて生成される補間曲線Ｙ‘に従って補間される。
【０１０１】
次に、第１のデモザイク処理における第２の感度均一化処理の概要について、図３５、図３８、および図３９を参照して説明する。第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【０１０２】
第２の感度均一化処理の１段階目の処理により、各画素の色を変更することなく、感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられ、感度Ｓ１での推定値が近傍に存在する色Ｘであって感度Ｓ１の画素の画素値を用いて補間される。図３８は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色の感度Ｓ０の画素値と、感度Ｓ１の画素値を有している。
【０１０３】
第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図３９は、第２の感度均一化処理の２段階目の処理を施した結果を示している。
【０１０４】
次に、図４０は、画像処理部７を中心とする画像処理系の第２のデモザイク処理の概要を示している。
【０１０５】
第２のデモザイク処理は、図４０に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を、感度均一化のために最適な色に変更して感度を均一化し、色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
【０１０６】
第２のデモザイク処理における第１の感度均一化処理の概要について、図３５、図４１および図４２を参照して説明する。
【０１０７】
第２のデモザイク処理における第１の感度均一化処理も、２段階の処理に分別することができる。第１の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【０１０８】
第２のデモザイク処理における第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図４１は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効Ｖである画素は、スケーリングによって本来の光強度が復元されるが、無効Ｉである画素は、本来の光強度が復元されていない。
【０１０９】
そこで、第２のデモザイク処理における第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その色に拘わらず近傍の有効な画素の画素値を用いて補間する。図４２は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図４１の中央の無効であって色Ｙの画素は、図４２に示すように、当該画素に隣接する有効な色Ｘの画素の画素値を用いて生成される補間曲線Ｘ‘に基づいて色Ｘの画素値が補間される。
【０１１０】
次に、第２のデモザイク処理における第２の感度均一化処理の概要について、図３５、図４３、および図４４を参照して説明する。第２のデモザイク処理における第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【０１１１】
第２のデモザイク処理における第２の感度均一化処理の１段階目の処理では、各画素に対し、色に拘わらずより近くに位置する近傍の画素の画素値が用いられて感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘの画素の推定値として、当該画素に隣接する画素が色Ｙである場合、色Ｙの感度Ｓ１での推定値と、感度Ｓ１での画素値が補間される。図４３は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色に拘わらず隣接した画素の色に変更されて、感度Ｓ０での画素値と、感度Ｓ１での画素値を有している。
【０１１２】
第２のデモザイク処理における第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図４４は、第２の感度均一化処理の２段階目の処理を施した結果を図４４に示す。
【０１１３】
次に、第１のデモザイク処理を主に実行する画像処理部７の第１の構成例について、図４５を参照して説明する。以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２である、すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であるとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【０１１４】
画像処理部７の第１の構成例において、撮像系からの色・感度モザイク画像は、感度均一化部５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度均一化部５１、および色補間部５２に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部５１に供給される。
【０１１５】
感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施すことによって、各画素の色が変更されずに感度が均一化された色モザイク画像Ｍを生成し、色補間部５２に出力する。
【０１１６】
色補間部５２は、感度均一化部５１からの色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
【０１１７】
なお、色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（いまの場合、Ｒ，Ｇ，Ｂのいずれかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。
【０１１８】
感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（いまの場合、Ｓ０またはＳ１）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
【０１１９】
図４６は、感度均一化部５１の第１の構成例を示している。当該第１の構成例は、図３５乃至図３７を参照して説明した第１の感度均一化処理を実行する感度均一化部５１の構成例である。
【０１２０】
感度均一化部５１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部６１および有効性判別部６３に供給される。色モザイクパターン情報は、欠落補間部６４に供給される。感度モザイクパターン情報は、感度補償部６１および有効性判別部６３に供給される。
【０１２１】
感度補償部６１は、相対感度値LUT６２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部６４に出力する。相対感度値LUT６２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
【０１２２】
有効性判別部６３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部６４に供給する。判別情報には、各画素の画素値について、有効(Valid)、または無効(Invalid)を示す情報が記述されている。
【０１２３】
欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施すことによって色モザイク画像Ｍを生成し、後段の色補間部５２に出力する。
【０１２４】
図４７は、色補間部５２の構成例を示している。色補間部５２において、感度均一化部５１からの色モザイク画像Ｍは、階調変換部７１に供給される。色モザイクパターン情報は、色差画像生成部７２，７３、および輝度画像生成部７４に供給される。
【０１２５】
階調変換部７１は、色モザイク画像Ｍに対して階調変換処理を施し、得られる変調色モザイク画像Ｍｇを色差画像生成部７２，７３、および輝度画像生成部７４に供給する。階調変換処理としては、具体的にはγ乗のべき算関数による変換等を用いる。
【０１２６】
色差画像生成部７２は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｃ（＝Ｒ−Ｇ）成分を有する色差画像Ｃを生成して輝度画像生成部７４および色空間変換部７５に供給する。色差画像生成部７３は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｄ（＝Ｂ−Ｇ）成分を有する色差画像Ｄを生成して輝度画像生成部７４および色空間変換部７５に供給する。輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
【０１２７】
色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施し、得られる変調画像（各画素がそれぞれＲＧＢ成分を有する画像）を階調逆変換部７６乃至７８に供給する。
【０１２８】
階調逆変換部７６は、色空間変換部７５からのＲ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｒを得る。階調逆変換部７７は、色空間変換部７５からのＧ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｇを得る。階調逆変換部７８は、色空間変換部７５からのＢ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｂを得る。
【０１２９】
なお、感度均一化部５１から供給される色モザイク画像Ｍがベイヤ配列を成している場合、色補間部５２において、例えば、特開昭６１−５０１４２４号公報等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい。
【０１３０】
図４８は、色差画像生成部７２の構成例を示している。色差画像生成部７２において、階調変換部７１からの変調色モザイク画像Ｍｇは平滑化部８１，８２に供給される。色モザイクパターン情報も平滑化部８１，８２に供給される。
【０１３１】
平滑化部８１は、各画素に対し、Ｒ成分を有する近傍の画素の画素値を用いて当該画素のＲ成分を補間することにより、平滑化されたＲ成分の画像Ｒ’を生成して減算器８３に供給する。平滑化部８２は、各画素に対し、Ｇ成分を有する近傍の画素の画素値を用いて当該画素のＧ成分を補間することにより、平滑化されたＧ成分の画像Ｇ’を生成して減算器８３に供給する。
【０１３２】
減算器８３は、平滑化部８１からの平滑化されるＲ成分の画像Ｒ’の画素値から、平滑化部８２からの平滑化されるＧ成分の画像Ｇ’の対応する画素の画素値を減算することにより、色差画像Ｃを生成して色空間変換部７５に供給する。
【０１３３】
なお、色差画像生成部７３の同様に構成されている。
【０１３４】
図４９は、輝度画像生成部７４の構成例を示している。輝度画像生成部７４を構成する輝度算出部９１は、階調変換部７１からの変調色モザイク画像Ｍｇ、色差画像生成部７２からの色差画像Ｃ、色差画像生成部７３からの色差画像Ｄ、および色モザイクパターン情報に基づいて各画素の輝度候補値を算出し、各画素の輝度候補値からなる輝度候補値画像Ｌｃをノイズ除去部９２に出力する。
【０１３５】
ノイズ除去部９２は、輝度候補値画像Ｌｃの各画素値（輝度候補値）に平滑化成分（後述）を合成することによってノイズを除去し、得られる輝度画像Ｌを色空間変換部７５に出力する。
【０１３６】
次に、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理について、図５０にフローチャートを参照して説明する。
【０１３７】
ステップＳ１において、感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られた色モザイク画像Ｍを色補間部５２に出力する。
【０１３８】
図４６に示した感度均一化部５１の第１の構成例による第１の感度均一化処理の詳細について、図５１のフローチャートを参照して説明する。
【０１３９】
ステップＳ１１において、感度補償部６１は、入力された色・感度モザイク画像に感度補償処理を施し、感度補償された色・感度モザイク画像を欠落補間部６４に供給する。
【０１４０】
感度補償処理の詳細について、図５２のフローチャートを参照して説明する。ステップＳ２１において、感度補償部６１は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２に進む。ステップＳ２２において、感度補償部６１は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１４１】
ステップＳ２３において、感度補償部６１は、感度モザイクパターン情報を参照することにより、注目画素の感度（Ｓ０またはＳ１）を取得し、さらに、相対感度値LUT６２を参照することによって注目画素の感度に対応する相対感度値Ｓを取得する。
【０１４２】
ステップＳ２４において、感度補償部６１は、色・感度モザイク画像の注目画素の画素値を相対感度値Ｓで除算することにより、その画素値の感度を補償する。感度が補償された画素値は、感度補償された色・感度モザイク画像の画素値とされる。
【０１４３】
処理は、ステップＳ２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２１乃至Ｓ２４の処理が繰り返される。ステップＳ２１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１２にリターンする。
【０１４４】
ステップＳ１２において、有効性判別部６３は、色・感度モザイク画像に有効性判別処理を施すことにより、各画素の画素値の有効性を示す判別情報を生成して欠落補間部６４に供給する。なお、ステップＳ１２の有効判別処理は、ステップＳ６１の感度補償処理を平行して実行するようにしてもよい。
【０１４５】
有効性判別処理の詳細について、図５３のフローチャートを参照して説明する。ステップＳ３１において、有効性判別部６３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ３２に進む。ステップＳ３２において、有効性判別部６３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１４６】
ステップＳ３３において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、ノイズレベルの閾値θLと飽和レベルの閾値θHの範囲内であるか否かを判定し、閾値の範囲内であると判定した場合、ステップＳ３４に進む。
【０１４７】
ステップＳ３４において、有効性判別部６３は、注目画素の判別情報を有効とする。処理はステップＳ３１に戻る。
【０１４８】
ステップＳ３３において、色・感度モザイク画像の注目画素の画素値が閾値の範囲内ではないと判定した場合、ステップＳ３５に進む。ステップＳ３５において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、飽和レベルの閾値θH以上であるか否かを判定し、飽和レベルの閾値θH以上であると判定した場合、ステップＳ３６に進む。
【０１４９】
ステップＳ３６において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ０であるか否かを判定し、感度Ｓ０であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ０ではないと判定した場合、ステップＳ３７に進む。
【０１５０】
ステップＳ３７において、有効性判別部６３は、注目画素の判別情報を無効とする。処理はステップＳ３１に戻る。
【０１５１】
ステップＳ３５において、色・感度モザイク画像の注目画素の画素値が飽和レベルの閾値θH以上ではないと判定した場合、ステップＳ３８に進む。ステップＳ３８において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ１であるか否かを判定し、感度Ｓ１であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ１ではないと判定した場合、ステップＳ３７に進む。
【０１５２】
その後、ステップＳ３１において、全ての画素を注目画素としたと判定されるまで、ステップＳ３１乃至３８の処理が繰り返される。ステップＳ３１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１３にリターンする。
【０１５３】
ステップＳ１３において、欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施し、得られた色モザイク画像Ｍを色補間部５２に供給する。
【０１５４】
欠落補間処理の詳細について、図５４のフローチャートを参照して説明する。ステップＳ４１において、欠落補間部６４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ４２に進む。ステップＳ４２において、欠落補間部６４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１５５】
ステップＳ４３において、欠落補間部６４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ４４に進む。
【０１５６】
ステップＳ４４において、欠落補間部６４は、色モザイクパターン情報を参照することにより、注目画素の色の種類（いまの場合、ＲＧＢのうちのいずれかの色）を判別し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、注目画素と同じ色であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０１５７】
ステップＳ４５において、欠落補間部６４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ４６において、欠落補間部６４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
【０１５８】
処理は、ステップＳ４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ４１乃至４６の処理が繰り返される。ステップＳ４１において、全ての画素を注目画素としたと判定された場合、処理は図５０のステップＳ２にリターンする。
【０１５９】
以上説明したステップＳ１の感度均一化処理によって得られた色モザイク画像Ｍに対し、ステップＳ２において、色補間部５２は、色モザイクパターン情報に基づいて色補間処理を施すことにより、出力画像Ｒ，Ｇ，Ｂを生成する。
【０１６０】
色補間処理の詳細について、図５５のフローチャートを参照して説明する。ステップＳ５１において、階調変換部７１は、色モザイク画像Ｍに対して階調変換処理を施す（具体的には、変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成して色差画像生成部７２，７３、および輝度画像生成部７４に供給する。
【０１６１】
ステップＳ５２において、色差画像生成部７２は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｃを生成し、輝度画像生成部７４および色空間変換部７５に供給する。一方、色差画像生成部７３は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｄを生成し、輝度画像生成部７４および色空間変換部７５に供給する。
【０１６２】
色差画像生成部７２が色差画像Ｃを生成する第１の処理について、図５６のフローチャートを参照して説明する。ステップＳ６１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ６２に進む。ステップＳ６２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１６３】
ステップＳ６３において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
【０１６４】
ステップＳ６４において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
【０１６５】
ステップＳ６５において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
【０１６６】
ステップＳ６６において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素に対応する画素値とする。
【０１６７】
処理は、ステップＳ６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ６１乃至６６の処理が繰り返される。ステップＳ６１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５３にリターンする。
【０１６８】
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第１の処理と同様であるので、その説明は省略する。
【０１６９】
ステップＳ５３において、輝度画像生成部７４は、変調色モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
【０１７０】
輝度画像生成部７４の輝度画像生成処理の詳細について、図５７のフローチャートを参照して説明する。ステップＳ７１において、輝度算出部９１は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７２に進む。ステップＳ７２において、輝度算出部９１は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１７１】
ステップＳ７３において、輝度算出部９１は、色モザイクパターン情報を参照して、注目画素の色の種類（いまの場合、ＲＧＢのいずれかの色）を判定する。
【０１７２】
ステップＳ７３において、注目画素の色の種類がＲであると判定された場合、処理はステップＳ７４に進む。ステップＳ７４において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（１）に適用して、輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１７３】
Ｌｃ＝３Ｍｇ−２Ｃ＋Ｄ ・・・（１）
【０１７４】
ステップＳ７３において、注目画素の色の種類がＧであると判定された場合、処理はステップＳ７５に進む。ステップＳ７５において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（２）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１７５】
Ｌｃ＝３Ｍｇ＋Ｃ＋Ｄ ・・・（２）
【０１７６】
ステップＳ７３において、注目画素の色の種類がＢであると判定された場合、処理はステップＳ７６に進む。ステップＳ７６において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値Ｃ，Ｄを次式（３）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１７７】
Ｌｃ＝３Ｍｇ＋Ｃ−２Ｄ ・・・（３）
【０１７８】
なお、式（１）乃至（３）において、Ｌｃ，Ｍｇ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、変調色モザイク画像Ｍｇ、色差信号Ｃ、色差画像Ｄの画素値である。
【０１７９】
処理はステップＳ７１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７１乃至Ｓ７６の処理が繰り返される。ステップＳ７１において、全ての画素を注目画素としたと判定された場合、処理はステップＳ７７に進む。
【０１８０】
以上説明したステップＳ７１乃至Ｓ７６の処理によって生成された輝度候補画像Ｌｃはノイズ除去部９２に供給される。
【０１８１】
ステップＳ７７において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７８に進む。ステップＳ７８において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１８２】
ステップＳ７９において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（４）に適用して、注目画素に対応する勾配∇（グラディエント）を算出する。なお、勾配∇は、画像の水平方向と垂直方向の１次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値（輝度候補値）を、それぞれＬｃ（Ｕ），Ｌｃ（Ｄ），Ｌｃ（Ｌ），Ｌｃ（Ｒ）とする。
【０１８３】
勾配∇＝（Ｌｃ（Ｒ）−Ｌｃ（Ｌ），Ｌｃ（Ｕ）−Ｌｃ（Ｄ））
・・・（４）
【０１８４】
ステップＳ８０において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（５），（６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを算出する。
【０１８５】
Ｈｈ＝（Ｌｃ（Ｌ）＋Ｌｃ（Ｒ））／２ ・・・（５）
Ｈｖ＝（Ｌｃ（Ｕ）＋Ｌｃ（Ｄ））／２ ・・・（６）
【０１８６】
ステップＳ８１において、ノイズ除去部９２は、ステップＳ７９で算出した注目画素に対応する勾配∇の絶対値‖∇‖に対応して、水平方向の平滑化寄与率ｗｈと垂直方向の平滑化寄与率ｗｖを算出する。
【０１８７】
具体的には、勾配∇の絶対値が０よりも大きい場合、次式（７）に示すように、正規化した勾配∇／‖∇‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の平滑化寄与率ｗｈを得る。また、次式（８）に示すように、正規化した勾配∇／‖∇‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の平滑化寄与率ｗｖを得る。
【０１８８】
ｗｈ＝１−｜（∇／‖∇‖，（１，０））｜ ・・・（７）
ｗｖ＝１−｜（∇／‖∇‖，（０，１））｜ ・・・（８）
【０１８９】
勾配∇の絶対値が０である場合、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０１９０】
ステップＳ８２において、ノイズ除去部９２は、次式（９）を用いて注目画素に対応する輝度画像Ｌの画素値（輝度値）を算出する。
【０１９１】
Ｌ＝Ｌｃ＋（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） ・・・（９）
【０１９２】
なお、式（９）において、Ｌｃ，Ｌは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、輝度画像Ｌの画素値である。
【０１９３】
処理はステップＳ７７に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７７乃至Ｓ８２の処理が繰り返される。ステップＳ７７において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５４にリターンする。
【０１９４】
ステップＳ５４において、色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施すことにより、各画素がそれぞれＲＧＢ成分を有する変調画像を生成して階調逆変換部７６乃至７８に供給する。
【０１９５】
色空間変換処理の詳細について、図５８のフローチャートを参照して説明する。ステップＳ９１において、色空間変換部７５は、輝度画像Ｌ（色差画像Ｃ、また
【０１９６】
は色差画像Ｄでもよい）の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ９２に進む。ステップＳ９２において、色空間変換部７５は、輝度画像Ｌの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１９７】
ステップＳ９３において、色空間変換部７５は、注目画素に対応する輝度画像Ｌ、色差画像Ｃ、および色差画像Ｄの画素値を次式（１０），（１１），（１２）に適用して、注目画素に対応する変調画像のＲ成分の値Ｒｇ、Ｇ成分の値Ｇｇ、Ｂ成分の値Ｂｇを算出する。
【０１９８】
Ｒｇ＝（Ｌ＋２Ｃ−Ｄ）／３ ・・・（１０）
Ｇｇ＝（Ｌ−Ｃ−Ｄ）／３ ・・・（１１）
Ｂｇ＝（Ｌ−Ｃ＋２Ｄ）／３ ・・・（１２）
なお、式（１０）乃至（１２）において、Ｌ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度画像Ｌ、色差信号Ｃ、色差画像Ｄの画素値である。
【０１９９】
処理はステップＳ９１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ９１乃至Ｓ９３の処理が繰り返される。ステップＳ９１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５５にリターンする。
【０２００】
ステップＳ５５において、階調逆変換部７６は、色空間変換部７５から供給された変調画像の各画素のＲ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すこと（具体的には、画素値を１／γ乗すること）によって出力画像Ｒを生成する。同様に、階調逆変換部７７は、色空間変換部７５から供給された変調画像の各画素のＧ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｇを生成する。階調逆変換部７８は、色空間変換部７５から供給された変調画像の各画素のＢ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｂを生成する。以上説明したような色補間処理によって、出力画像Ｒ，Ｇ，Ｂが生成される。
【０２０１】
以上により、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理についての説明を終了する。
【０２０２】
次に、図４６に示した感度均一化部５１の第１の構成例の代わりに用いることができる感度均一化部５１の第２の構成例について、図５９を参照して説明する。
【０２０３】
当該第２の構成例は、図３５、図３８、および図３９を参照して説明した第１のデモザイク処理における第２の感度均一化処理を感度均一化部５１が実行するための構成例である。
【０２０４】
以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
【０２０５】
感度均一化部５１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１０１−１乃至１０１−４に供給される。
【０２０６】
補間部１０１−１は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１０２に出力する。補間部１０１−２は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１０２に出力する。補間部１０１−３は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１０２に出力する。補間部１０１−４は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１０２に出力する。
【０２０７】
加算器１０２は、補間部１０１−１乃至１０１−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
【０２０８】
合成感度補償部１０３は、加算器１０２から供給される色モザイク候補画像の画素値を合成感度補償LUT１０４に照らし合わせ、得られる値を画素値とする色モザイク画像Ｍを生成して色補間部５２に供給する。合成感度補償LUT１０４は、色モザイク候補画像の画素値をインデックスとして、色モザイク画像Ｍの画素値を取得できるようになされている。
【０２０９】
図５９に示した感度均一化部５１の第２の構成例による、第１のデモザイク処理における第２の感度均一化処理について、図６０のフローチャートを参照して説明する。
【０２１０】
ステップＳ１０１において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１０２に進む。ステップＳ１０２において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２１１】
ステップＳ１０３において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１０２に出力する。
【０２１２】
補間部１０１−１による感度Ｓ０の補間処理について、図６１のフローチャートを参照して説明する。ステップＳ１１１において、補間部１０１−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０２１３】
ステップＳ１１２において、補間部１０１−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ１１３において、補間部１０１−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。処理は図６０のステップＳ１０４に戻る。
【０２１４】
なお、補間部１０１−２乃至１０１−３による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１０１−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。
【０２１５】
ステップＳ１０４において、加算器１０２は、補間部１０１−１乃至１０１−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を、注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
【０２１６】
ステップＳ１０５は、合成感度補償部１０３は、加算器１０２から供給された色モザイク候補画像の画素値を合成感度補償LUT１０４に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
【０２１７】
処理は、ステップＳ１０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１０１乃至１０５の処理が繰り返される。ステップＳ１０１において、全ての画素を注目画素としたと判定された場合、第１のデモザイク処理における第２の感度均一化処理は終了される。
【０２１８】
なお、第２の感度均一化処理後においては、図５５のフローチャートを参照して上述した色補間処理が実行される。
【０２１９】
次に、上述した色差画像Ｃを生成する第１の処理（図５６）の代わりに、色差画像生成部７２が実行可能な色差画像Ｃを生成する第２の処理について、図６２のフローチャートを参照して説明する。
【０２２０】
ステップＳ１２１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１２２に進む。ステップＳ１２２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２２１】
ステップＳ１２３において、平滑化部８１は、注目画素に対応する画像勾配ベクトルｇを演算する。
【０２２２】
画像勾配ベクトル演算処理の詳細について、図６３のフローチャートを参照して説明する。当該画像勾配ベクトル演算処理においては、変調色モザイク画像Ｍｇの全ての画素のうち、所定の１種類の色の画素だけを用いて画像勾配ベクトルｇを演算する。
【０２２３】
なお、所定の１種類の色の選択は任意であるが、例えば、変調色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしている場合、Ｇ成分を有する画素は、Ｒ成分を有する画素やＢ成分を有する画素に比較して２倍存在するので、１種類の色をＧとすることが理にかなっている。したがって、以下、変調色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしており、かつ、所定の１種類の色をＧに選択したとして仮定して説明を継続する。
【０２２４】
ステップＳ１４１において、平滑化部８１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ１４２に進む。この場合、注目画素の上下左右に位置する４画素の色はＧではなく、かつ、注目画素の斜め方向に隣接する４画素の色がＧである。
【０２２５】
ステップＳ１４２において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、注目画素の左上に隣接するＧ成分を有する画素の画素値Ｇ（ＬＵ）、注目画素の左下に隣接するＧ成分を有する画素の画素値Ｇ（ＬＤ）、注目画素の右上に隣接するＧ成分を有する画素の画素値Ｇ（ＲＵ）、および、注目画素の右下に隣接するＧ成分を有する画素の画素値Ｇ（ＲＤ）を次式（１３）乃至次式（１６）に適用して補間する。
【０２２６】
Ｇ（Ｕ）＝（Ｇ（ＬＵ）＋Ｇ（ＲＵ））／２ ・・・（１３）
Ｇ（Ｄ）＝（Ｇ（ＬＤ）＋Ｇ（ＲＤ））／２ ・・・（１４）
Ｇ（Ｌ）＝（Ｇ（ＬＵ）＋Ｇ（ＬＤ））／２ ・・・（１５）
Ｇ（Ｒ）＝（Ｇ（ＲＵ）＋Ｇ（ＲＤ））／２ ・・・（１６）
【０２２７】
ステップＳ１４３において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、次式（１７）乃至次式（１９）に適用してベクトルｇ’を算出し、次式（２０）のように正規化して勾配ベクトルｇを算出する。
【０２２８】
ｇｈ＝Ｇ（Ｒ）−Ｇ（Ｌ） ・・・（１７）
ｇｖ＝Ｇ（Ｕ）−Ｇ（Ｄ） ・・・（１８）
ｇ’＝（ｇｈ，ｇｖ） ・・・（１９）
ｇ＝ｇ’／‖ｇ’‖ ・・・（２０）
【０２２９】
なお、ステップＳ１４１において、注目画素の色がＧではないと判定された場合、処理はステップＳ１４４に進む。この場合、注目画素の上下左右に位置する４画素の色はＧである。
【０２３０】
ステップＳ１４４において、注目画素の上下左右に位置する４画素の画素値を取得して、それぞれを値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）に代入する。
【０２３１】
以上のように注目画素に対応する画像勾配ベクトルｇを演算する。なお、変調色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしていない場合においても、類似した処理によって画像勾配ベクトルｇを演算することができる。
【０２３２】
処理は図６２のステップＳ１２４にリターンする。
【０２３３】
ステップＳ１２４において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
【０２３４】
ステップＳ１２５において、平滑化部８１は、注目画素からＲ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。一方、平滑化部８２も同様に、注目画素からＧ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。
【０２３５】
ステップＳ１２６において、平滑化部８１は、次式（２１）に示すように、Ｒ成分を有する参照画素毎に、注目画素の勾配ベクトルｇと位置ベクトルｎとの内積の絶対値を１から減算し、その差のρ乗を演算することにより、当該参照画素に対する重要度ωを算出する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素毎に重要度ωを算出する。ここで、ρは、方向選択の先鋭度を調整するための定数であり、予め設定されている。
【０２３６】
ω＝（１−｜（ｎ，ｇ）｜）ρ ・・・（２１）
【０２３７】
ステップＳ１２７において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
【０２３８】
ステップＳ１２８において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。
【０２３９】
ステップＳ１２９において、平滑化部８１は、ステップＳ１２８で演算したＲ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、平滑化部８２は、ステップＳ１２８で演算したＧ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
【０２４０】
ステップＳ１３０において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素の画素値とする。
【０２４１】
処理は、ステップＳ１２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１２１乃至１３０の処理が繰り返される。ステップＳ１２１において、全ての画素を注目画素としたと判定された場合、当該色差画像生成処理を終了して、図５５のステップＳ５３にリターンする。
【０２４２】
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第２の処理と同様であるので、その説明は省略する。
【０２４３】
色差画像Ｃを生成する第２の処理では、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようにしたので、色差画像Ｃを生成する第１の処理に比較して色モアレの発生を抑止するこができる。
【０２４４】
次に、第２のデモザイク処理を主に実行する画像処理部７の第２の構成例について、図６４を参照して説明する。画像処理部７の第２の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部１１１に供給される。
【０２４５】
感度均一化部１１１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られる感度が均一化された色モザイク画像Ｍを色補間部１１２に出力する。ただし、得られる色モザイク画像Ｍの色モザイク配列は、元の色・感度モザイク画像の色モザイク配列とは必ずしも同じではないので、感度均一化部１１１は、色モザイクパターン情報を更新して色補間部１１２に供給する。
【０２４６】
色補間部１１２は、感度均一化部１１１からの色モザイク画像Ｍに対し、図４５の色補間部５２と同様に、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
【０２４７】
図６５は、感度均一化部１１１の第１の構成例を示している。当該第１の構成例は、図３５、図４１および図４２を参照して説明した第２のデモザイク処理における第１の感度均一化処理を実行する感度均一化部１１１の構成例である。
【０２４８】
感度均一化部１１１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部１２１および有効性判別部１２３に供給される。色モザイクパターン情報は、欠落補間部１２４に供給される。感度モザイクパターン情報は、感度補償部１２１および有効性判別部１２３に供給される。
【０２４９】
感度補償部１２１は、相対感度値LUT１２２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部１２４に出力する。相対感度値LUT１２２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
【０２５０】
有効性判別部１２３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部１２４に供給する。判別情報には、各画素の画素値について有効または無効を示す情報が記述されている。
【０２５１】
欠落補間部１２４は、有効性判別部１２３からの判別情報に基づき、感度補償された色・感度モザイク画像の全画素のうち、判別情報が有効である画素の画素値はそのまま用い、判別情報が無効である画素に対しては、感度補償された色・感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、その色成分の画素値を補間する。このように、最も多く存在する色を有する画素の画素値を用いることによって、より高周波成分が復元し易くなる。さらに、欠落補間部１２４は、生成した色モザイク画像Ｍの色モザイク配列に対応して色モザイクパターン情報を更新し、色補間部１１２に出力する。
【０２５２】
次に、図６４に示した画像処理部７の第２の構成例が主に実行する第２のデモザイク処理について説明するが、その大部分は、上述した第１のデモザイク処理と同様である。よって、上述した第１のデモザイク処理と異なる処理、すなわち、感度均一化部１１１を構成する欠落補間部１２４の欠落補間処理について、図６６のフローチャートを参照して説明する。以下、色・感度モザイク画像のなかにはＧ成分を有する画素が最も多く存在すると仮定する。ただし、他の色成分を有する画素が最も多く存在する場合においても同様に処理することができる。
【０２５３】
ステップＳ１５１において、欠落補間部１２４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１５２に進む。ステップＳ１５２において、欠落補間部１２４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２５４】
ステップＳ１５３において、欠落補間部１２４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ１５４に進む。
【０２５５】
ステップＳ１５４において、欠落補間部１２４は、色モザイクパターン情報を参照し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｇ成分を有する画素であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、欠落補間部１２４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、欠落補間部１２４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
【０２５６】
ステップＳ１５５において、欠落補間部１２４は、色モザイクパターン情報における注目画素の色をＧに更新する。
【０２５７】
なお、ステップＳ１５３において、注目画素の判別情報が無効ではないと判定された場合、ステップＳ１５４、およびステップＳ１５５の処理はスキップされる。
【０２５８】
処理は、ステップＳ１５１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１５１乃至１５５の処理が繰り返される。ステップＳ１５１において、全ての画素を注目画素としたと判定された場合、当該欠落補間処理は終了され、得られた色モザイク画像Ｍ、および更新された色モザイクパターン情報は、後段の色補間部１１２に供給される。
【０２５９】
次に、図６５に示した感度均一化部１１１の第１の構成例の代わりに用いることができる感度均一化部１１１の第２の構成例について、図６７を参照して説明する。
【０２６０】
当該第２の構成例は、図３５、図４３、および図４４を参照して説明した第２のデモザイク処理における第２の感度均一化処理を感度均一化部１１１が実行するための構成例である。
【０２６１】
以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
【０２６２】
感度均一化部１１１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１３２−１乃至１３２−４に供給される。色モザイクパターン情報は、補間色決定部１３１にも供給される。
【０２６３】
補間色決定部１３１は、色モザイクパターン情報に基づき、補間部１３２−１乃至１３２−３で補間する補間値の色（補間色）を指定する。また、補間色決定部１３１は、補間色の決定に対応して色モザイクパターン情報を更新する。
【０２６４】
補間部１３２−１は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１３３に出力する。補間部１３２−２は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１３３に出力する。補間部１３２−３は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１３３に出力する。補間部１３２−４は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１３３に出力する。
【０２６５】
加算器１３３は、補間部１３２−１乃至１３２−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１３４に供給する。
【０２６６】
合成感度補償部１３４は、加算器１３３から供給される色モザイク候補画像の画素値を合成感度補償LUT１３５に照らし合わせ、得られる値を画素値とする色モザイク画像を生成して色補間部１１２に供給する。合成感度補償LUT１３５は、色モザイク候補画像の画素値をインデックスとして、色・感度モザイク画像Ｍの画素値を取得できるようになされている。
【０２６７】
図６７に示した感度均一化部１１１の第２の構成例による、第２のデモザイク処理における第２の感度均一化処理について、図６８のフローチャートを参照して説明する。
【０２６８】
ステップＳ１６１において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１６２に進む。ステップＳ１６２において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２６９】
ステップＳ１６３において、補間色決定部１３１は、色モザイクパターン情報に基づく補間色決定処理を実行し、得られた注目画素の補間色を補間部１３２−１乃至１３２−４に通知する。
【０２７０】
補間色決定部１３１の補間色決定処理の詳細について、図６９のフローチャートを参照して説明する。なお、当該補間色決定処理は、注目画素により近傍の画素を用いて注目画素の画素値を補間することを目的とし、色・感度モザイク画像の色モザイク配列がベイヤ配列をなしていると仮定する。
【０２７１】
ステップＳ１７１において、補間色決定部１３１は、色モザイクパターン情報を参照することにより、注目画素の色を判定する。
【０２７２】
ステップＳ１７１において、注目画素の色がＧであると判定された場合、ステップＳ１７２に進む。この場合、注目画素の斜め方向に隣接する４画素の色もＧである。ステップＳ１７２において、補間色決定部１３１は、注目画素の補間色をＧに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＧに更新する。
【０２７３】
ステップＳ１７１において、注目画素の色がＲであると判定された場合、ステップＳ１７３に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＢである。ステップＳ１７３において、補間色決定部１３１は、注目画素の補間色をＢに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＢに更新する。
【０２７４】
ステップＳ１７１において、注目画素の色がＢであると判定された場合、ステップＳ１７４に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＲである。ステップＳ１７４において、補間色決定部１３１は、注目画素の補間色をＲに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＲに更新する。
【０２７５】
以上説明した補間色決定処理によれば、色モザイク配列がベイヤ配列をなす色・感度モザイク画像のＲとＢを入れ替えるように、注目画素の補間色を指定するので、更新された色モザイクパターン情報もベイヤ配列をなすことが維持される。
【０２７６】
処理は図６８のステップＳ１６４にリターンする。
【０２７７】
ステップＳ１６４において、補間部１３２−１乃至１３２−４は、補間色決定部１３１からの補間色の指定に対応し、色・感度モザイク画像に補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１３３に出力する。
【０２７８】
具体的には、例えば、補間部１３２−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、補間色指定部１３１から指定された色を有し、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、補間部１３２−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、補間部１３２−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。
【０２７９】
なお、補間部１３２−２乃至１３２−４による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１３２−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。
【０２８０】
ステップＳ１６５において、加算器１３３は、補間部１３２−１乃至１３２−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１３４に供給する。
【０２８１】
ステップＳ１６６は、合成感度補償部１３４は、加算器１３３から供給された色モザイク候補画像の画素値を合成感度補償LUT１３５に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
【０２８２】
処理は、ステップＳ１６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１６１乃至１６６の処理が繰り返される。ステップＳ１６１において、全ての画素を注目画素としたと判定された場合、第２のデモザイク処理における第２の感度均一化処理は終了される。
【０２８３】
なお、第２のデモザイク処理における第２の感度均一化処理により得られた色モザイク画像Ｍに対しては、色補間部１１２によって色補間処理が施されるが、その処理は図５５のフローチャートを参照して上述した色補間処理と同様であるので説明は省略する。
【０２８４】
次に、図７０は、画像処理部７を中心とする画像処理系の第３のデモザイク処理の概要を示している。
【０２８５】
第３のデモザイク処理は、図７０に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像、Ｇ成分の感度モザイク画像、およびＢ成分の感度モザイク画像のそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理から成る。
【０２８６】
第３のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分毎に合成して感度モザイク画像を生成する挿入処理からなる。
【０２８７】
例えば、抽出処理では、色・感度モザイク画像から、感度Ｓ１の画素だけが抽出されて、画素が市松状に配置された色モザイク画像McS1が生成される。色補間処理では、色モザイク画像McS1から、感度Ｓ１であってＲ成分を有する画素が市松状に配置された画像Rs1、感度Ｓ１であってＧ成分を有する画素が市松状に配置された画像Gs1、および感度Ｓ１であってＢ成分を有する画素が市松状に配置された画像Bs1が生成される。
【０２８８】
例えば、挿入処理では、色補間処理によって生成された画像RS0と、画像RS1が組み合わされて、感度モザイク画像MsRが生成される。
【０２８９】
次に、第３のデモザイク処理を主に実行する画像処理部７の第３の構成例について、図７３を参照して説明する。
【０２９０】
画像処理部７の第３の構成例において、撮像系からの色・感度モザイク画像は、感度別色補間部１５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度別色補間部１５１に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部１５１、および感度均一化部１５２乃至１５４に供給される。
【０２９１】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図７の色・感度モザイクパターンＰ３であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、色に拘わらず感度Ｓ０の画素だけに注目すれば、それらは格子状（市松状）に配置されている。同様に、感度Ｓ１の画素の格子状（市松状）に配置されている。
【０２９２】
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【０２９３】
感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施し、得られるＲ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
【０２９４】
感度均一化部１５２は、Ｒ成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０２９５】
図７４は、感度別色補間部１５１の構成例を示している。感度別色補間部１５１において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部１６１に供給される。
【０２９６】
抽出部１６１は、色・感度モザイク画像に対して、感度Ｓｉ（いまの場合、ｉ＝０，１）の抽出処理を施し、得られる感度Ｓｉの画素からなる色モザイク画像McSiを色補間部１６２に供給する。なお、色モザイク画像McSiは、元の色・感度モザイク画像のｘｙ座標系とは異なるｓｔ座標系を用いて表現されるで画像である（詳細は図７８および図７９を参照して後述する）。また、抽出部１６１は、色モザイク画像McSiの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。
【０２９７】
色補間部１６２は、抽出部１６１からの色モザイク画像McSiの全画素のＲＧＢ成分を補間し、得られる画像Rsi，Gsi，Bsiをそれぞれ対応する挿入部１６３乃至１６５に供給する。画像Rsiは、色モザイク画像McSiの各画素に対応するＲ成分の画素値からなる画像である。画像Gsiは、色モザイク画像McSiの各画素に対応するＧ成分の画素値からなる画像である。画像Bsiは、色モザイク画像McSiの各画素に対応するＢ成分の画素値からなる画像である。また、画像Rsi，Gsi，Bsiは、色モザイク画像McSiと同じ座標系によって表現される。なお、色補間部１６２は、図４７に示した色補間部５２の構成例と同様に構成される。
【０２９８】
挿入部１６３は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＲ成分の画像Rsiを組み合わせて感度モザイク画像MsRを生成し、感度均一化部１５２に供給する。挿入部１６４は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＧ成分の画像Gsiを組み合わせて感度モザイク画像MsGを生成し、感度均一化部１５３に供給する。挿入部１６５は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＢ成分の画像Bsiを組み合わせて感度モザイク画像MsBを生成し、感度均一化部１５４に供給する。
【０２９９】
図７５は、感度均一化部１５２の構成例を示している。感度均一化部１５２において、感度別色補間部１５１の挿入部１６３から供給される感度モザイク画像MsRは、局所和算出部１７１に供給される。局所和算出部１７１は、感度モザイク画像MsRの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部１７２に供給する。合成感度補償部１７２は、合成感度補償LUT１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を画素値として出力画像Ｒを生成する。合成感度補償LUT１７３は、局所和をインデックスとして、対応する補償値を供給するようになされている。
【０３００】
なお、感度均一化部１５３，１５４の構成例は、図７５に示した感度均一化部１５２の構成例と同様であるので、その説明は省略する。
【０３０１】
次に、図７３に示した画像処理部７の第３の構成例による第３のデモザイク処理について、図７６にフローチャートを参照して説明する。
【０３０２】
ステップＳ１８１において、感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施すことにより、Ｒ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを生成し、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
【０３０３】
感度別色補間部１５１の感度別色補間処理の詳細について、図７７のフローチャートを参照して説明する。ステップＳ１９１において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度（いまの場合、Ｓ０およびＳ１）を指定したか否かを判定し、全ての感度を指定していないと判定した場合、ステップＳ１９２に進む。
【０３０４】
ステップＳ１９２において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度のうちの１種類の感度を指定する。指定された感度をＳｉとする。
【０３０５】
ステップＳ１９３において、抽出部１６１は、色・感度モザイク画像の全ての画素のうち、感度Ｓｉの画素だけを抽出し、感度Siの色モザイク画像McSiを生成して色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。また、抽出部１６１は、色モザイク画像McSiの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。
【０３０６】
ステップＳ１９３の処理の詳細について、図７８および図７９を参照して説明する。
【０３０７】
抽出される感度Ｓｉの画素は元の色・感度モザイク画像の画素間隔では抽出されないので、生成される感度Siの色モザイク画像McSiは、元の色・感度モザイク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部１６１は、色モザイク画像McSiを生成すると同時に、元の色・感度モザイク画像の座標系と、色モザイク画像McSiの座標系との対応関係を元に、画素毎に元の位置の情報を参照できる元位置情報を生成する。
【０３０８】
元の色・感度モザイク画像と生成する色モザイク画像McSiの座標系の対応関係は、図７８または図７９に示すとおりである。同図において、元の色・感度モザイク画像はｘｙ座標系で表示され、色モザイク画像McSiはｓｔ座標系で表示されている。また、色・感度モザイク画像の■は感度Ｓ０の画素を示し、色・感度モザイク画像の□は感度Ｓ１の画素を示している。このようにｘｙ座標系に対して斜めに設定したｓｔ座標系を用いることにより、元の色・感度モザイク画像において市松状に配置された感度Ｓｉの画素を、等間隔格子の画素配置として抽出できるようになされている。
【０３０９】
図７８を参照して、色・感度モザイク画像の■で示される感度Ｓ０の画素を抽出する場合について説明する。例えば、図中の画素Ａは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘA，ｙA）であり、生成される色モザイク画像McSiを表現するｓｔ座標系では（ｓA，ｔA）である。（ｓA，ｔA）と（ｘA，ｙA）は、次式（２２）に示すような対応関係がある。
【０３１０】
ｓA＝｛（ｘA−１）＋ｙA｝／２
ｔA＝｛（ｘmax−１−ｘA）＋ｙA｝／２ ・・・（２２）
【０３１１】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ０の画素の座標（ｘA，ｙA）を式（２２）に適用して、色モザイク画像McSiでの座標（ｓA，ｔA）を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度Ｓ０の元位置情報には、座標（ｓA，ｔA）に対応して座標（ｘA，ｙA）を格納する。
【０３１２】
図７９を参照して、色・感度モザイク画像の□で示される感度Ｓ１の画素を抽出する場合について説明する。例えば、図中の画素Ｂは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘB，ｙB）であり、生成される色モザイク画像McSiを表現するｓｔ座標系では（ｓB，ｔB）である。（ｓB，ｔB）と（ｘB，ｙB）は、次式（２３）に示すような対応関係がある。
【０３１３】
ｓB＝（ｘB＋ｙB）／２
ｔB＝｛（ｘmax−１−ｘB）＋ｙB｝／２ ・・・（２３）
【０３１４】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ１の画素の座標（ｘB，ｙB）を式（２３）に適用して、色モザイク画像McSiでの座標（ｓB，ｔB）を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度Ｓ１の元位置情報には、座標（ｓB，ｔB）に対応して座標（ｘB，ｙB）を格納する。
【０３１５】
図７７に戻り、ステップＳ１９４において、色補間部１６２は、抽出部１６１からの色モザイク画像McSiの全画素のＲＧＢ成分を補間して、画像Rsi，Gsi，Bsiを生成し、それぞれ対応する挿入部１６３乃至１６５に供給する。なお、色補間部１６２の処理の詳細については、図５５を参照して説明した色補間部５２の色補間処理と同様であるので、その説明は省略する。
【０３１６】
処理はステップＳ１９１に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップＳ１９１乃至Ｓ１９４に処理が繰り返される。ステップＳ１９１において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップＳ１９５に進む。
【０３１７】
ステップＳ１９５において、挿入部１６３は、抽出部１６１から供給された全ての元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されたＲ成分の画像Rsi（いまの場合、画像Rs0と画像Rs1）を組み合わせて感度モザイク画像MsRを生成し、感度均一化部１５２に供給する。同様に、挿入部１６４は、感度モザイク画像MsGを生成して感度均一化部１５３に供給し、挿入部１６５は、感度モザイク画像MsBを生成して感度均一化部１５４に供給する。
【０３１８】
処理は図７６のステップＳ１８２にリターンする。ステップＳ１８２において、感度均一化部１５２は、Ｒ成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０３１９】
感度均一化部１５２の感度均一化処理について、図８０のフローチャートを参照して説明する。ステップＳ２０１において、局所和算出部１７１は、Ｒ成分の感度モザイク画像MsRの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２０２に進む。ステップＳ２０２において、局所和算出部１７１は、感度モザイク画像MsRの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３２０】
ステップＳ２０３において、局所和算出部１７１は、注目画素に対応する局所和を算出し、合成感度補償部１７２に供給する。具体的には、注目画素を中心とする５×５画素（以下、参照画素と記述する）の画素値が抽出され、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図８１に示すようなフィルタ係数とがそれぞれ乗算され、それらの積の総和が演算される。さらに、その積の総和が、２５個のフィルタ係数の総和で除算されて、その商が注目画素に対応する局所和とされる。
【０３２１】
ステップＳ２０４において、合成感度補償部１７２は、合成感度補償LUT１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。
【０３２２】
処理は、ステップＳ２０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２０１乃至２０４の処理が繰り返される。ステップＳ２０１において、全ての画素を注目画素としたと判定された場合、感度均一化処理は終了され、図７６にリターンする。
【０３２３】
なお、感度均一化部１５３，１５４も、感度均一化部１５２の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。
【０３２４】
以上、画像処理部７の第３の構成例による第３のデモザイク処理の説明を終了する。
【０３２５】
次に、画像処理部７を中心とする画像処理系の第４のデモザイク処理の概要について説明する。
【０３２６】
第４のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理から成る。
【０３２７】
図８２は、第４のデモザイク処理を主に実行する画像処理部７の第４の構成例を示している。
【０３２８】
画像処理部７の第４の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２乃至１８４に供給される。
【０３２９】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。
【０３３０】
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【０３３１】
輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
【０３３２】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０３３３】
図８３は、輝度画像生成部１８１の第１の構成例を示している。輝度画像生成部１８１の第１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１乃至１９３に供給される。
【０３３４】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０３３５】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋRを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋGを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋBを乗算し、その積を加算器１９７に出力する。
【０３３６】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋR、乗算器１９５から入力される積Ｇ’・ｋG、および乗算器１９６から入力される積Ｂ’・ｋBを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０３３７】
ここで、色バランス係数ｋR，ｋG，ｋBは、予め設定されている値であり、例えば、ｋR＝０．３、ｋG＝０．６、ｋB＝０．１である。なお、色バランス係数ｋR，ｋG，ｋBの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、例えば、ｋR＝ｋG＝ｋBとしてもよい。
【０３３８】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
【０３３９】
図８４は、単色画像生成部１８２の構成例を示している。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
【０３４０】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０３４１】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０３４２】
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
【０３４３】
次に、画像処理部７の第４の構成例による第４のデモザイク処理について、図８５のフローチャートを参照して説明する。
【０３４４】
ステップＳ２１１において、輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
【０３４５】
輝度画像生成部１８１の輝度画像生成処理について、図８６のフローチャートを参照して説明する。
【０３４６】
ステップＳ２２１において、推定部１９１乃至１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２２に進む。ステップＳ２２２において、推定部１９１乃至１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３４７】
ステップＳ２２３において、推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
【０３４８】
推定部１９１のＲ成分推定処理について、図８７のフローチャートを参照して説明する。ステップＳ２３１において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０３４９】
ステップＳ２３２において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図８８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
【０３５０】
ステップＳ２３３において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０３５１】
ステップＳ２３４において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
【０３５２】
ステップＳ２３５において、推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する。ステップＳ２３６において、推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償LUT（後述）に照らし合わせることにより、感度特性を補償した補償値を取得する。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。処理は図８６のステップＳ２２４にリターンする。
【０３５３】
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図８９に示すＧ成分用補間フィルタ係数を用いることにする。
【０３５４】
ここで、推定部１９１が用いる合成感度補償LUTについて、図９０乃至図９２を参照して説明する。図９０は、感度Ｓ０の画素の特性曲線ｂと、感度Ｓ１の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ１は、低感度の感度Ｓ０に対して４倍の感度を有している。
【０３５５】
当該推定処理では、図９０の特性曲線ｂに示すような特性で測定された感度Ｓ０の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ１の画素を用いて算出された第２の商とが加算されている。従って、第１の商と第２の商の和は、図９１の特性曲線ｃに示すように、感度Ｓ０と感度Ｓ１の特性が合成された特性を有することになる。
【０３５６】
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図９１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図９２に示すように、第１の商と第２の商の和を、図９１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。
【０３５７】
すなわち、合成感度補償LUTは、図９２の逆特性曲線ｄをルックアップテーブル化したものである。
【０３５８】
図８６の説明に戻る。ステップＳ２２４において、乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋRを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋGを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋBを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋR、乗算器１９５から入力された積Ｇ’・ｋG、および乗算器１９６から入力された積Ｂ’・ｋBを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
【０３５９】
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１乃至２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１乃至２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
【０３６０】
ステップＳ２２５において、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
【０３６１】
ノイズ除去部１９８のノイズ除去処理について、図９３のフローチャートを参照して説明する。ステップＳ２４１において、ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２４２に進む。ステップＳ２４２において、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３６２】
ステップＳ２４３において、ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。
【０３６３】
ステップＳ２４４において、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する。
【０３６４】
ノイズ除去部１９８の方向選択的平滑化処理について、図９４のフローチャートを参照して説明する。ステップＳ２５１において、ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する。
【０３６５】
輝度勾配ベクトルｇ＝（ａ２−ａ１，ａ３−ａ０） ・・・（２４）
【０３６６】
ステップＳ２５２において、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する。
【０３６７】
ステップＳ２５３において、ノイズ除去部１９８は、変数ａ０乃至ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する。
【０３６８】
Ｈｈ＝（ａ１＋ａ２）／２ ・・・（２５）
Ｈｖ＝（ａ３＋ａ０）／２ ・・・（２６）
【０３６９】
ステップＳ２５４において、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する。
【０３７０】
具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。
【０３７１】
ｗｈ＝１−｜（ｇ／‖ｇ‖，（１，０））｜ ・・・（２７）
ｗｖ＝１−｜（ｇ／‖ｇ‖，（０，１））｜ ・・・（２８）
【０３７２】
輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、水平方向の重要度ｗｈおよび垂直方向の重要度ｗｖを、それぞれ０．５とする。
【０３７３】
ステップＳ２５５において、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する。
【０３７４】
α＝（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） ・・・（２９）
【０３７５】
処理は図９３のステップＳ２４５に戻る。ステップＳ２４５において、ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。
【０３７６】
処理はステップＳ２４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２４１乃至Ｓ２４５の処理が繰り返される。ステップＳ２４１において、全ての画素を注目画素としたと判定された場合、ノイズ除去処理は終了されて、すなわち、輝度画像生成処理も終了されて、図８５のステップＳ２１２にリターンする。
【０３７７】
ステップＳ２１２において、単色画像生成部１８２乃至１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する。
【０３７８】
単色画像生成部１８２の第１の単色画像生成処理について、図９５のフローチャートを参照して説明する。
【０３７９】
ステップＳ２６１において、補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する。
【０３８０】
なお、補間部２０１の補間処理は、図８７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
【０３８１】
ステップＳ２６２において、比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０３８２】
比率値算出部２０２の比率値算出処理について、図９６のフローチャートを参照して説明する。ステップＳ２７１において、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２７２に進む。ステップＳ２７２において、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３８３】
ステップＳ２７３において、比率値算出部２０２は、注目画素の近傍に位置する画素（例えば、注目画素を中心とする７×７画素）を参照画素し、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。
【０３８４】
ステップＳ２７４において、比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図９７に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。
【０３８５】
ステップＳ２７５において、比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。
【０３８６】
処理はステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定されるまで、ステップＳ２７１乃至Ｓ２７５の処理が繰り返される。ステップＳ２７１において、Ｒ候補画像の全ての画素を注目画素としたと判定された場合、生成された比率値情報が乗算器２０３に供給されて、処理は図９５のステップＳ２６３にリターンする。
【０３８７】
ステップＳ２６３において、乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０３８８】
なお、単色画像生成部１８２の第１の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
【０３８９】
以上、画像処理部７の第４の構成例による第４のデモザイク処理の説明を終了する。
【０３９０】
次に、図９８は、輝度画像生成部１８１の第２の構成例を示している。輝度画像生成部１８１の第２の構成例は、図８３に示した輝度画像生成部１８１の第１の構成例における推定部１９１乃至１９３を、推定部２１１で置換したものである。
【０３９１】
輝度画像生成部１８１の第２の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部２１１に供給される。
【０３９２】
推定部２１１は、色・感度モザイク画像に対して成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’、Ｇ成分の推定値Ｇ’、およびＢ成分の推定値Ｂ’を、対応する乗算器１９４乃至１９６に供給する。
【０３９３】
なお、輝度画像生成部１８１の第２の構成例をなす乗算器１９４乃至ノイズ除去部１９８は、同一の番号を附した図８３に示した輝度画像生成部１８１の第１の構成例をなす乗算器１９４乃至ノイズ除去部１９８と同様であるので、その説明は省略する。
【０３９４】
次に、推定部２１１によるＲＧＢ成分の推定処理について、図９９のフローチャートを参照して説明する。なお、当該ＲＧＢ成分の推定処理は、図８６のステップＳ２２３における処理として、図８７を参照して上述したＲ成分推定処理に代えて実行可能な処理である。したがって、既に色・感度モザイク画像の注目画素は推定部２１１によって決定されているとして、ステップＳ２８１以降の処理を説明する。
【０３９５】
ステップＳ２８１において、推定部２１１は、図１００に示すような注目画素を中心とする４画素の画素値を用いる推定画素値Ｃ０補間処理によって、注目画素に対応する推定画素値Ｃ０を算出する。推定画素値Ｃ０補間処理について、図１０１のフローチャートを参照して説明する。
【０３９６】
ステップＳ２９１において、推定部２１１は、図１００に示すように、○で表される注目画素に対して１画素分の間隔を空けて上下左右に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
【０３９７】
このように、指定した画素の上下左右方向に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する垂直方向選択的平滑化処理と定義する。
【０３９８】
ステップＳ２９２において、推定部２１１は、ステップＳ２９１で得た平滑化値αを注目画素の画素値に加算して、その和を注目画素の推定画素値Ｃ０とする。処理は図９９のステップＳ２８２にリターンする。
【０３９９】
ステップＳ２８２において、推定部２１１は、図１０２に示すような注目画素を中心とする１２画素を用いる推定画素値Ｃ１補間処理によって、注目画素に対応する推定画素値Ｃ１を算出する。推定画素値Ｃ１補間処理について、図１０３のフローチャートを参照して説明する。
【０４００】
ステップＳ３０１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３０２に進む。ステップＳ３０２において、推定部２１１は、図１０２に示すように、○で表される注目画素に対して左下、左上、右下、右上に隣接して位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
【０４０１】
このように、指定した画素の左下、左上、右下、右上方向に位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する斜め方向選択的平滑化処理と定義する。
【０４０２】
ステップＳ３０３にいて、推定部２１１は、ステップＳ３０２で得た平滑化値αに２を乗算して、その積を注目画素の推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
【０４０３】
なお、ステップＳ３０１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３０４に進む。
【０４０４】
ステップＳ３０４において、推定部２１１は、注目画素の左上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３０５において、推定部２１１は、注目画素の右下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３０６において、推定部２１１は、注目画素の左下に隣接する画素の画素値を変数ａ０に代入し、注目画素の右上に隣接する画素の画素値を変数ａ３に代入する。
【０４０５】
ステップＳ３０７において、推定部２１１は、ステップＳ３０４乃至Ｓ３０６で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
【０４０６】
ステップＳ３０８において、推定部２１１は、注目画素の左下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３０９において、推定部２１１は、注目画素の右上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３１０において、推定部２１１は、注目画素の左上に隣接する画素の画素値を変数ａ１に代入し、注目画素の右下に隣接する画素の画素値を変数ａ２に代入する。
【０４０７】
ステップＳ３１１において、推定部２１１は、ステップＳ３０８乃至Ｓ３１０で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
【０４０８】
ステップＳ３１２において、推定部２１１は、ステップＳ３０７で得た平滑化値α’と、ステップＳ３１１で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
【０４０９】
ステップＳ２８３において、推定部２１１は、図１０４Ａに示すような注目画素を中心とする４画素、または図１０４Ｂに示すような注目画素を中心とする８画素を用いる推定画素値Ｃ２補間処理によって、注目画素に対応する推定画素値Ｃ２を算出する。推定画素値Ｃ２補間処理について、図１０５のフローチャートを参照して説明する。
【０４１０】
ステップＳ３２１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３２２に進む。
【０４１１】
ステップＳ３２２において、推定部２１１は、注目画素の上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
【０４１２】
ステップＳ３２３において、推定部２１１は、注目画素の下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
【０４１３】
ステップＳ３２４において、推定部２１１は、注目画素の下に隣接する画素の画素値と、ステップＳ３２２で得た平滑化値α’との平均値と、注目画素の上に隣接する画素の画素値と、ステップＳ３２３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
【０４１４】
なお、ステップＳ３２１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３２５に進む。
【０４１５】
ステップＳ３２５において、推定部２１１は、注目画素の左に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３２６において、推定部２１１は、注目画素の右に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３２７において、推定部２１１は、注目画素の下に隣接する画素の画素値を変数ａ０に代入し、注目画素の上に隣接する画素の画素値を変数ａ３に代入する。
【０４１６】
ステップＳ３２８において、推定部２１１は、ステップＳ３２５乃至Ｓ３２７で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
【０４１７】
ステップＳ３２９において、推定部２１１は、注目画素の下に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３３０において、推定部２１１は、注目画素の上に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３３１において、推定部２１１は、注目画素の左に隣接する画素の画素値を変数ａ１に代入し、注目画素の右に隣接する画素の画素値を変数ａ２に代入する。
【０４１８】
ステップＳ３３２において、推定部２１１は、ステップＳ３２９乃至Ｓ３３１で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
【０４１９】
ステップＳ３３３において、推定部２１１は、ステップＳ３２８で得た平滑化値α’と、ステップＳ３３２で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
【０４２０】
ステップＳ２８４において、推定部２１１は、図１０６に示すような注目画素を中心とする８画素を用いる推定画素値Ｃ３補間処理によって、注目画素に対応する推定画素値Ｃ３を算出する。推定画素値Ｃ３補間処理について、図１０７のフローチャートを参照して説明する。
【０４２１】
ステップＳ３４１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３４２に進む。
【０４２２】
ステップＳ３４２において、推定部２１１は、注目画素の右に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
【０４２３】
ステップＳ３４３において、推定部２１１は、注目画素の左に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
【０４２４】
ステップＳ３４４において、推定部２１１は、注目画素の左に隣接する画素の画素値と、ステップＳ３４２で得た平滑化値α’との平均値と、注目画素の右に隣接する画素の画素値と、ステップＳ３４３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ３とする。処理は図９９のステップＳ２８５にリターンする。
【０４２５】
なお、ステップＳ３４１において、注目画素の色がＧでないと判定された場合、処理はステップＳ３４５に進む。ステップＳ３４５において、推定部２１１は、注目画素に対応する推定画素値Ｃ３を０とする。処理は図９９のステップＳ２８５にリターンする。
【０４２６】
ステップＳ２８５において、推定部２１１は、色モザイクパターン情報および感度モザイクパターン情報を参照して、注目画素の色と感度を判別し、その判別結果に対応して、ステップＳ２８１乃至Ｓ２８４で得た注目画素に対応する推定画素値Ｃ０乃至Ｃ３を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用して、推定値Ｒ’，Ｇ’，Ｂ’を算出する。
【０４２７】
すなわち、注目画素の色がＧであって、かつ、感度Ｓ０である場合、推定画素値Ｃ２を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償LUTに適用した値LUT（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ３を合成感度補償LUTに適用した値LUT（Ｃ３）が推定値Ｂ’とされる。
【０４２８】
注目画素の色がＧであって、かつ、感度Ｓ１である場合、推定画素値Ｃ３を合成感度補償LUTに適用した値LUT（Ｃ３）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償LUTに適用した値LUT（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ２を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｂ’とされる。
【０４２９】
注目画素の色がＲである場合、推定画素値Ｃ０を合成感度補償LUTに適用した値LUT（Ｃ０）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ１を合成感度補償LUTに適用した値LUT（Ｃ１）が推定値Ｂ’とされる。
【０４３０】
注目画素の色がＢである場合、推定画素値Ｃ１を合成感度補償LUTに適用した値LUT（Ｃ１）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ０を合成感度補償LUTに適用した値LUT（Ｃ０）が推定値Ｂ’とされる。
【０４３１】
以上のように、推定部２１１によるＲＧＢ成分の推定処理では、方向選択的平滑化処理を利用して生成された推定画素値Ｃ０乃至Ｃ３が用いられるので、画像信号の解像度劣化が抑止される。
【０４３２】
以上、推定部２１１によるＲＧＢ成分の推定処理の説明を終了する。
【０４３３】
ところで上述した説明においては、画像処理部７の第４の構成例の単色画像生成部１８３、１８４は、図８４に示した単色画像生成部１８２の構成例と同様に構成されており、図９５を参照して説明した単色画像生成部１８２の単色画像生成処理（図９５）と同様の処理を実行するとしたが、単色画像生成部１８２乃至１８４は、単色画像生成処理に含まれる単色候補画像生成処理（図９５のステップＳ２６１）に代えて、それぞれに最適化された独自の処理を実行することも可能である。
【０４３４】
ステップＳ２６１の単色候補画像生成処理に代えて単色画像生成部１８２が実行するＲ候補画像生成処理について、図１０８のフローチャートを参照して説明する。なお、説明の便宜上、単色画像生成部１８２を構成する補間部２０１を補間部２０１−Ｒと記述する。
【０４３５】
ステップＳ３５１において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３５２に進む。ステップＳ３５２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４３６】
ステップＳ３５３において、補間部２０１−Ｒは、１回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３５４に進む。ステップＳ３５４において、補間部２０１−Ｒは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３５５において、補間部２０１−Ｒは、１回目の注目画素の画素値と、ステップＳ３５４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＲ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３５１に戻る。
【０４３７】
なお、ステップＳ３５３において、１回目の注目画素の色がＲではない判定された場合、ステップＳ３５４およびステップＳ３５５はスキップされ、ステップＳ３５１に戻る。
【０４３８】
その後、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３５１乃至Ｓ３５５の処理が繰り返され、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３５６に進む。
【０４３９】
ステップＳ３５６において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３５７に進む。ステップＳ３５７において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４４０】
ステップＳ３５８において、補間部２０１−Ｒは、２回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３５９に進む。ステップＳ３５９において、補間部２０１−Ｒは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６０において、補間部２０１−Ｒは、ステップＳ３５９で算出した平滑化値αをＲ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３５６に戻る。
【０４４１】
なお、ステップＳ３５８において、２回目の注目画素の色がＢではない判定された場合、ステップＳ３５９およびステップＳ３６０はスキップされ、ステップＳ３５６に戻る。
【０４４２】
その後、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３５６乃至Ｓ３６０の処理が繰り返され、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３６１に進む。
【０４４３】
ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３６２に進む。ステップＳ３６２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
【０４４４】
ステップＳ３６３において、補間部２０１−Ｒは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３６４に進む。ステップＳ３６４において、補間部２０１−Ｒは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６５において、補間部２０１−Ｒは、ステップＳ３６４で算出した平滑化値αをＲ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３６１に戻る。
【０４４５】
なお、ステップＳ３６３において、３回目の注目画素の色がＧではない判定された場合、ステップＳ３６４およびステップＳ３６５はスキップされ、ステップＳ３６１に戻る。
【０４４６】
その後、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３６１乃至Ｓ３６５の処理が繰り返され、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｒ候補画像生成処理は終了される。
【０４４７】
単色画像生成部１８４が実行するＢ候補画像生成処理について、図１０９のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８４の構成要素を補間部２０１−Ｂと記述する。
【０４４８】
ステップＳ３７１において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３７２に進む。ステップＳ３７２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４４９】
ステップＳ３７３において、補間部２０１−Ｂは、１回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３７４に進む。ステップＳ３７４において、補間部２０１−Ｂは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３７５において、補間部２０１−Ｂは、１回目の注目画素の画素値と、ステップＳ３７４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＢ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３７１に戻る。
【０４５０】
なお、ステップＳ３７３において、１回目の注目画素の色がＢではない判定された場合、ステップＳ３７４およびステップＳ３７５はスキップされ、ステップＳ３７１に戻る。
【０４５１】
その後、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３７１乃至Ｓ３７５の処理が繰り返され、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３７６に進む。
【０４５２】
ステップＳ３７６において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３７７に進む。ステップＳ３７７において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４５３】
ステップＳ３７８において、補間部２０１−Ｂは、２回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３７９に進む。ステップＳ３７９において、補間部２０１−Ｂは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８０において、補間部２０１−Ｂは、ステップＳ３７９で算出した平滑化値αをＢ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３７６に戻る。
【０４５４】
なお、ステップＳ３７８において、２回目の注目画素の色がＲではない判定された場合、ステップＳ３７９およびステップＳ３８０はスキップされ、ステップＳ３７６に戻る。
【０４５５】
その後、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３７６乃至Ｓ３８０の処理が繰り返され、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３８１に進む。
【０４５６】
ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３８２に進む。ステップＳ３８２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
【０４５７】
ステップＳ３８３において、補間部２０１−Ｂは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３８４に進む。ステップＳ３８４において、補間部２０１−Ｂは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８５において、補間部２０１−Ｂは、ステップＳ３８４で算出した平滑化値αをＢ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３８１に戻る。
【０４５８】
なお、ステップＳ３８３において、３回目の注目画素の色がＧではない判定された場合、ステップＳ３８４およびステップＳ３８５はスキップされ、ステップＳ３８１に戻る。
【０４５９】
その後、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３８１乃至Ｓ３８５の処理が繰り返され、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｂ候補画像生成処理は終了される。
【０４６０】
単色画像生成部１８３が実行するＧ候補画像生成処理について、図１１０のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８３の構成要素を補間部２０１−Ｇと記述する。
【０４６１】
ステップＳ３９１において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３９２に進む。ステップＳ３９２において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４６２】
ステップＳ３９３において、補間部２０１−Ｇは、１回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３９４に進む。ステップＳ３９４において、補間部２０１−Ｇは、１回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３９５において、補間部２０１−Ｇは、１回目の注目画素の画素値と、ステップＳ３９４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＧ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３９１に戻る。
【０４６３】
なお、ステップＳ３９３において、１回目の注目画素の色がＧではない判定された場合、ステップＳ３９４およびステップＳ３９５はスキップされ、ステップＳ３９１に戻る。
【０４６４】
その後、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３９１乃至Ｓ３９５の処理が繰り返され、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３９６に進む。
【０４６５】
ステップＳ３９６において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３９７に進む。ステップＳ３９７において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４６６】
ステップＳ３９８において、補間部２０１−Ｇは、２回目の注目画素の色がＧであるか否かを判定し、Ｇではないと判定した場合、ステップＳ３９９に進む。ステップＳ３９９において、補間部２０１−Ｇは、２回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ４００において、補間部２０１−Ｇは、ステップＳ３９９で算出した平滑化値αをＧ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３９６に戻る。
【０４６７】
なお、ステップＳ３９８において、２回目の注目画素の色がＧであると判定された場合、ステップＳ３９９およびステップＳ４００はスキップされ、ステップＳ３９６に戻る。
【０４６８】
その後、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３９６乃至Ｓ４００の処理が繰り返され、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、当該Ｇ候補画像生成処理は終了される。
【０４６９】
ところで、上述したように、第４のデモザイク処理では、色・感度モザイク画像像から、輝度画像と単色画像を生成し、その後、輝度と色成分との相関性を利用して、全色を復元することにより、全ての画素が均一の感度で全ての色成分を復元するようにしたが、最初に生成する輝度画像は、復元する色情報に相関があって、高解像度で復元できる信号であれば、偏った分光特性をもっていてもかまわない。例えば、色・感度モザイク画像の色モザイク配列がベイヤ配列のように、Ｒの画素やＢの画素に比較してＧの画素が２倍存在する特性を利用して、輝度画像の代わりにＧ成分の画像を生成し、ＧとＲ、またはＧとＢの相関性を利用して、Ｒ成分の画像とＢ成分の画像を生成するようにしてもよい。
【０４７０】
そのような処理を実行するために、図１１１に示すように、画像処理部７を構成してもよい。輝度画像生成部２２１は、画像処理部７の第４の構成例における単色画像生成部１８２の補間部２０１（図８４）の処理と同様の処理を実行することによって出力画像Ｇを生成する。単色画像生成部２２２，２２３は、それぞれ、画像処理部７の第４の構成例における単色画像生成部１８２，１８４と同様の処理を実行することによって、出力画像Ｒまたは出力画像Ｂを生成する。
【０４７１】
以上、第１乃至第４のデモザイク処理を実行する画像処理部７の構成例に関する説明を終了する。
【０４７２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４７３】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０４７４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４７５】
【発明の効果】
以上のように、本発明によれば、所定の画像処理を施すことによって広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を撮像することが可能となる。
【図面の簡単な説明】
【図１】 本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図２】 ディジタルスチルカメラの動作の概要を説明する図である。
【図３】 被写体の一例を示す図である。
【図４】 図３に対応する色・感度モザイク画像の一例を示す図である。
【図５】 色・感度モザイクパターンＰ１を示す図である。
【図６】 色・感度モザイクパターンＰ２を示す図である。
【図７】 色・感度モザイクパターンＰ３を示す図である。
【図８】 色・感度モザイクパターンＰ４を示す図である。
【図９】 色・感度モザイクパターンＰ５を示す図である。
【図１０】 色・感度モザイクパターンＰ６を示す図である。
【図１１】 色・感度モザイクパターンＰ７を示す図である。
【図１２】 色・感度モザイクパターンＰ８を示す図である。
【図１３】 色・感度モザイクパターンＰ９を示す図である。
【図１４】 色・感度モザイクパターンＰ１０を示す図である。
【図１５】 色・感度モザイクパターンＰ１１を示す図である。
【図１６】 色・感度モザイクパターンＰ１２を示す図である。
【図１７】 色・感度モザイクパターンＰ１３を示す図である。
【図１８】 色・感度モザイクパターンＰ１４を示す図である。
【図１９】 CCDイメージセンサ４の受光素子の断面を示す図である。
【図２０】 感度のモザイク配列を光学的に実現する方法を説明するための図である。
【図２１】 感度のモザイク配列を光学的に実現する方法を説明するための図である。
【図２２】 感度のモザイク配列を光学的に実現する方法を説明するための図である。
【図２３】 感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。
【図２４】 感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。
【図２５】 ＯＲ型の電極構造を示す図である。
【図２６】 ＯＲ型の電極構造の断面を示す図である。
【図２７】 AND型の電極構造を示す図である。
【図２８】 色・感度モザイクパターンＰ１を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図２９】 色・感度モザイクパターンＰ２を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３０】 色・感度モザイクパターンＰ３を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３１】 色・感度モザイクパターンＰ４を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３２】 色・感度モザイクパターンＰ５を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３３】 画素の位置座標の定義を説明するための図である。
【図３４】 第１のデモザイク処理の概要を説明するための図である。
【図３５】 第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３６】 第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３７】 第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３８】 第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図３９】 第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４０】 第２のデモザイク処理の概要を説明するための図である。
【図４１】 第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図４２】 第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図４３】 第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４４】 第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４５】 画像処理部７の第１の構成例を示すブロック図である。
【図４６】 感度均一化部５１の第１の構成例を示すブロック図である。
【図４７】 色補間部５２の構成例を示すブロック図である。
【図４８】 色差画像生成部７２の構成例を示すブロック図である。
【図４９】 輝度画像生成部７４の構成例を示すブロック図である。
【図５０】 画像処理部７の第１の構成例による第１のデモザイク処理を説明するフローチャートである。
【図５１】 感度均一化部５１の第１の構成例による第１の感度均一化処理を説明するフローチャートである。
【図５２】 ステップＳ１１の感度補償処理を説明するフローチャートである。
【図５３】 ステップＳ１２の有効性判別処理を説明するフローチャートである。
【図５４】 ステップＳ１３の欠落補間処理を説明するフローチャートである。
【図５５】 ステップＳ２の色補間処理を説明するフローチャートである。
【図５６】 ステップＳ５２の第１の色差画像生成処理を説明するフローチャートである。
【図５７】 ステップＳ５３の輝度画像生成処理を説明するフローチャートである。
【図５８】 ステップＳ５４の色空間変換処理を説明するフローチャートである。
【図５９】 感度均一化部５１の第２の構成例を示すブロック図である。
【図６０】 感度均一化部５１の第２の構成例による第２の感度均一化処理を説明するフローチャートである。
【図６１】 ステップＳ１０３の補間処理を説明するフローチャートである。
【図６２】 第２の色差画像生成処理を説明するフローチャートである。
【図６３】 ステップＳ１２３の画像勾配ベクトル演算処理を説明するフローチャートである。
【図６４】 画像処理部７の第２の構成例を示すブロック図である。
【図６５】 感度均一化部１１１の第１の構成例を示すブロック図である。
【図６６】 欠落補間部１２４の欠落補間処理を説明するフローチャートである。
【図６７】 感度均一化部１１１の第２の構成例を示すブロック図である。
【図６８】 感度均一化部１１１の第２の構成例による第２のデモザイク処理における第２の感度均一化処理を説明するフローチャートである。
【図６９】 ステップＳ１６３の補間色決定処理を説明するフローチャートである。
【図７０】 第３のデモザイク処理の概要を説明するための図である。
【図７１】 第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
【図７２】 第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
【図７３】 画像処理部７の第３の構成例を示すブロック図である。
【図７４】 感度別色補間部１５１の構成例を示すブロック図である。
【図７５】 感度均一化部１５２の構成例を示すブロック図である。
【図７６】 画像処理部７の第３の構成例による第３のデモザイク処理を説明するフローチャートである。
【図７７】 ステップＳ１８１の感度別色補間処理を説明するフローチャートである。
【図７８】 ステップＳ１９３の抽出処理を説明するための図である。
【図７９】 ステップＳ１９３の抽出処理を説明するための図である。
【図８０】 ステップＳ１８２の感度均一化処理を説明するフローチャートである。
【図８１】 ステップＳ２０３の局所和算出処理において用いるフィルタ係数の例を示す図である。
【図８２】 画像処理部７の第４の構成例を示すブロック図である。
【図８３】 輝度画像生成部１８１の第１の構成例を示すブロック図である。
【図８４】 単色画像生成部１８２の構成例を示すブロック図である。
【図８５】 画像処理部７の第４の構成例による第４のデモザイク処理を説明するフローチャートである。
【図８６】 輝度画像生成部１８１の輝度画像生成処理を説明するフローチャートである。
【図８７】 推定部１９１のＲ成分推定処理を説明するフローチャートである。
【図８８】 Ｒ，Ｂ成分用補間フィルタ係数の一例を示す図である。
【図８９】 Ｇ成分用補間フィルタ係数の一例を示す図である。
【図９０】 合成感度補償LUTについて説明するための図である。
【図９１】 合成感度補償LUTについて説明するための図である。
【図９２】 合成感度補償LUTについて説明するための図である。
【図９３】 ノイズ除去部１９８のノイズ除去処理を説明するフローチャートである。
【図９４】 ノイズ除去部１９８の方向選択的平滑化処理を説明するフローチャートである。
【図９５】 単色画像生成部１８２の単色画像生成処理を説明するフローチャートである。
【図９６】 比率値算出部２０２の比率値算出処理を説明するフローチャートである。
【図９７】 平滑化フィルタ係数の一例を示す図である。
【図９８】 輝度画像生成部１８１の第２の構成例を示すブロック図である。
【図９９】 推定部２１１によるＲＧＢ成分の推定処理を説明するフローチャートである。
【図１００】 推定画素値Ｃ０補間処理に用いる画素の配置を示す図である。
【図１０１】 推定画素値Ｃ０補間処理を説明するフローチャートである。
【図１０２】 推定画素値Ｃ１補間処理に用いる画素の配置を示す図である。
【図１０３】 推定画素値Ｃ１補間処理を説明するフローチャートである。
【図１０４】 推定画素値Ｃ２補間処理に用いる画素の配置を示す図である。
【図１０５】 推定画素値Ｃ２補間処理を説明するフローチャートである。
【図１０６】 推定画素値Ｃ３補間処理に用いる画素の配置を示す図である。
【図１０７】 推定画素値Ｃ３補間処理を説明するフローチャートである。
【図１０８】 補間部２０１−ＲによるＲ候補画像生成処理を説明するフローチャートである。
【図１０９】 補間部２０１−ＢによるＢ候補画像生成処理を説明するフローチャートである。
【図１１０】 補間部２０１−ＧによるＧ候補画像生成処理を説明するフローチャートである。
【図１１１】 画像処理部７の第５の構成例を示すブロック図である。
【符号の説明】
４ CCD イメージセンサ， ７ 画像処理部， １４ 制御部， １６ 磁気ディスク， １７ 光ディスク， １８ 光磁気ディスク， １９ 半導体メモリ， ２２ オンチップカラーフィルタ， ５１ 感度均一化部， ５２ 色補間部， ６１ 感度補償部， ６２ 相対感度値 LUT ， ６３ 有効性判定部， ６４ 欠落補間部， ７１ 階調変換部， ７２，７３ 色差画像生成部， ７４ 輝度画像生成部， ７５ 色空間変換部， ７６乃至７８ 階調逆変換部， ８１，８２ 平滑化部， ８３ 減算器， ９１ 輝度算出部， ９２ ノイズ除去部， １０１ 補間部， １０２ 加算器， １０３ 合成感度補償部， １０４ 合成感度補償 LUT ， １１１ 感度均一部， １１２ 色補間部， １２１ 感度補償部， １２２ 相対感度値 LUT ， １２３ 有効性判定部， １２４ 欠落補間部， １３１ 補間色決定部， １３２ 補間部， １３３ 加算器， １３４ 感度補償部， １３５ 合成感度補償 LUT ， １５１ 感度別色補間部， １５２乃至１５４ 感度均一部， １６１ 抽出部， １６２ 色補間部， １６３乃至１６５ 挿入部， １７１ 局所和算出部， １７２ 合成感度補償部， １７３ 合成感度補償 LUT ， １８１ 輝度画像生成部， １８２乃至１８４ 単色画像生成部， １９１乃至１９３ 推定部， １９４乃至１９６ 乗算器， １９７ 加算器， １９８ ノイズ除去部， ２０１ 補間部， ２０２ 比率値算出部， ２０３ 乗算器， ２１１ 推定部， ２２１ 輝度画像生成部， ２２２，２２３ 単色画像生成部

Claims (4)

  1. 被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、
    前記光電変換手段は、
    画素の感度特性に注目した場合、
    同一ライン上に存在する画素の感度特性が同一であり、
    隣接した異なるライン上にそれぞれ存在する画素の感度特性が異なり、
    画素の色成分に注目した場合、
    第１の色成分を有する画素がその感度特性に拘わらず市松模様状に配置され、
    第２の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置され、
    第３の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置された
    前記色・感度モザイク画像を生成する
    ことを特徴とする撮像装置。
  2. 被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
    画素の感度特性に注目した場合、
    同一ライン上に存在する画素の感度特性が同一であり、
    隣接した異なるライン上にそれぞれ存在する画素の感度特性が異なり、
    画素の色成分に注目した場合、
    第１の色成分を有する画素がその感度特性に拘わらず市松模様状に配置され、
    第２の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置され、
    第３の色成分を有する画素が隣接した異なるライン上に斜め方向に隣接して配置された
    前記色・感度モザイク画像を生成する
    ことを特徴とする撮像素子。
  3. 被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、
    前記光電変換手段は、
    画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、
    第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、
    第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、
    第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された
    前記色・感度モザイク画像を生成する
    ことを特徴とする撮像装置。
  4. 被写体の光学像を光電変換することにより、各画素が第１乃至３の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
    画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、
    第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、
    第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、
    第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された
    前記色・感度モザイク画像を生成する
    ことを特徴とする撮像素子。
JP2002557133A 2001-01-09 2002-01-09 撮像装置、および撮像素子 Expired - Fee Related JP4228699B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001000978 2001-01-09
JP2001000978 2001-01-09
PCT/JP2002/000035 WO2002056603A1 (en) 2001-01-09 2002-01-09 Imaging device

Publications (2)

Publication Number Publication Date
JPWO2002056603A1 JPWO2002056603A1 (ja) 2004-05-20
JP4228699B2 true JP4228699B2 (ja) 2009-02-25

Family

ID=18869668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002557133A Expired - Fee Related JP4228699B2 (ja) 2001-01-09 2002-01-09 撮像装置、および撮像素子

Country Status (5)

Country Link
US (1) US7479998B2 (ja)
EP (1) EP1351521B1 (ja)
JP (1) JP4228699B2 (ja)
DE (1) DE60236404D1 (ja)
WO (1) WO2002056603A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60130671D1 (de) * 2001-12-24 2007-11-08 St Microelectronics Srl Verfahren zur Kontrastverbesserung in digitalen Farbbildern
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7830435B2 (en) * 2003-09-03 2010-11-09 Eastman Kodak Company Image sensor and image capture system with extended dynamic range
US7688337B2 (en) * 2004-05-21 2010-03-30 Broadcom Corporation System and method for reducing image scaling complexity with flexible scaling factors
JP4250583B2 (ja) * 2004-09-30 2009-04-08 三菱電機株式会社 画像撮像装置及び画像復元方法
US8872906B2 (en) 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
US8797392B2 (en) * 2005-01-05 2014-08-05 Avantis Medical Sytems, Inc. Endoscope assembly with a polarizing filter
US8182422B2 (en) 2005-12-13 2012-05-22 Avantis Medical Systems, Inc. Endoscope having detachable imaging device and method of using
US8235887B2 (en) 2006-01-23 2012-08-07 Avantis Medical Systems, Inc. Endoscope assembly with retroscope
US8289381B2 (en) 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US8197399B2 (en) 2006-05-19 2012-06-12 Avantis Medical Systems, Inc. System and method for producing and improving images
KR100617651B1 (ko) * 2005-12-29 2006-09-01 엠텍비젼 주식회사 격자 무늬 노이즈 제거 장치 및 방법
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
US8287446B2 (en) 2006-04-18 2012-10-16 Avantis Medical Systems, Inc. Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
JP4645607B2 (ja) * 2007-03-12 2011-03-09 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8064666B2 (en) 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8223231B2 (en) * 2008-08-21 2012-07-17 Panasonic Corporation Imaging apparatus and image processing program
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5375359B2 (ja) * 2009-06-22 2013-12-25 ソニー株式会社 撮像素子、電荷読み出し方法、撮像装置
US8694573B2 (en) * 2009-10-26 2014-04-08 Jadavpur University Method and system for determining a quotient value
CN103004211B (zh) * 2010-04-20 2015-09-02 富士胶片株式会社 成像设备和处理拍摄图像的方法
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP2012010276A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
TWI491252B (zh) * 2011-02-25 2015-07-01 Omnivision Tech Inc 影像感測器及用以對影像感測器所產生之影像進行向下取樣之方法
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
US9467628B2 (en) 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
JP6626783B2 (ja) * 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
CN107529046B (zh) 2017-02-23 2024-03-08 思特威(深圳)电子科技有限公司 一种色彩滤镜阵列及图像传感器
US11647300B2 (en) * 2020-12-07 2023-05-09 Omnivision Technologies, Inc. Method for forming LED flickering reduction (LFR) film for HDR image sensor and image sensor having same

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3777186A (en) * 1972-07-03 1973-12-04 Ibm Charge transfer logic device
US4631593A (en) * 1982-12-14 1986-12-23 Canon Kabushiki Kaisha Still picture recording apparatus and a solid-state image pickup device suitable for this apparatus
JP3082971B2 (ja) 1991-08-30 2000-09-04 富士写真フイルム株式会社 ビデオ・カメラ，それを用いた撮影方法およびその動作方法，ならびに画像処理装置および方法
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP3071891B2 (ja) 1991-08-30 2000-07-31 富士写真フイルム株式会社 固体電子撮像装置
JPH10189930A (ja) * 1996-12-20 1998-07-21 Ricoh Co Ltd 固体撮像素子
JPH10294949A (ja) 1997-02-19 1998-11-04 Sony Corp カラー方式固体撮像装置
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
US6803955B1 (en) * 1999-03-03 2004-10-12 Olympus Corporation Imaging device and imaging apparatus
JP4309505B2 (ja) 1999-03-03 2009-08-05 オリンパス株式会社 撮像素子及び撮像装置
JP4309506B2 (ja) 1999-03-03 2009-08-05 オリンパス株式会社 撮像素子及び撮像装置
JP4129338B2 (ja) 1999-04-30 2008-08-06 オリンパス株式会社 カラー撮像素子及び撮像装置
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US7068396B1 (en) * 2000-11-21 2006-06-27 Eastman Kodak Company Method and apparatus for performing tone scale modifications on a sparsely sampled extended dynamic range digital image
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
US7847829B2 (en) * 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US7479998B2 (en) 2009-01-20
WO2002056603A1 (en) 2002-07-18
EP1351521A1 (en) 2003-10-08
US20030197793A1 (en) 2003-10-23
JPWO2002056603A1 (ja) 2004-05-20
EP1351521A4 (en) 2007-06-20
EP1351521B1 (en) 2010-05-19
DE60236404D1 (de) 2010-07-01

Similar Documents

Publication Publication Date Title
JP4088959B2 (ja) 画像処理装置および方法、並びに記録媒体
JP4228699B2 (ja) 撮像装置、および撮像素子
JP2002209223A (ja) 画像処理装置および方法、並びに記録媒体
JP4019417B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP3935548B2 (ja) 画像信号処理装置
JP3946492B2 (ja) 低解像度イメージの生成方法
JP4372955B2 (ja) 固体撮像装置および信号処理方法
JP2004221838A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4246428B2 (ja) トーンスケール関数の生成方法
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5131567B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2004023683A (ja) 固体撮像素子の欠陥補正装置及び方法
JP2004172859A (ja) 撮像装置および撮像方法
JP4645607B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2004172858A (ja) 撮像装置および撮像方法
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP3965556B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees