JPWO2007049418A1 - 画像処理システム、画像処理プログラム - Google Patents
画像処理システム、画像処理プログラム Download PDFInfo
- Publication number
- JPWO2007049418A1 JPWO2007049418A1 JP2007542276A JP2007542276A JPWO2007049418A1 JP WO2007049418 A1 JPWO2007049418 A1 JP WO2007049418A1 JP 2007542276 A JP2007542276 A JP 2007542276A JP 2007542276 A JP2007542276 A JP 2007542276A JP WO2007049418 A1 JPWO2007049418 A1 JP WO2007049418A1
- Authority
- JP
- Japan
- Prior art keywords
- edge
- unit
- signal
- noise
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 417
- 238000012937 correction Methods 0.000 claims abstract description 157
- 238000000605 extraction Methods 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 126
- 238000004364 calculation method Methods 0.000 claims description 71
- 238000006243 chemical reaction Methods 0.000 claims description 65
- 238000009499 grossing Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000000926 separation method Methods 0.000 claims description 44
- 230000009467 reduction Effects 0.000 claims description 26
- 230000035945 sensitivity Effects 0.000 claims description 19
- 238000012888 cubic function Methods 0.000 claims description 17
- 230000000295 complement effect Effects 0.000 claims description 11
- 238000012886 linear function Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract description 27
- 238000012546 transfer Methods 0.000 description 58
- 238000010586 diagram Methods 0.000 description 52
- 230000000694 effects Effects 0.000 description 36
- 230000003321 amplification Effects 0.000 description 26
- 238000003199 nucleic acid amplification method Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000011946 reduction process Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 10
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
映像信号を出力するCCD(102)と、映像信号からエッジ信号を抽出するエッジ抽出部(109)と、映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定部(110)と、エッジ信号をノイズ成分に起因するエッジ信号に基づいてコアリング処理し補正するエッジ補正部(111)と、補正されたエッジ信号に基づき映像信号に対して強調処理を行うエッジ強調部(112)と、を備えた画像処理システム。
Description
本発明は、撮像素子からの映像信号からエッジ信号を抽出する画像処理システム、画像処理プログラムに関する。
デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置は、一般的に、撮像素子と、この撮像素子から出力されるアナログ信号に各種のアナログ処理を行うアナログ回路と、このアナログ回路の信号をデジタル信号に変換するA/Dコンバータと、を有して構成されている。
このようなデジタル撮像装置のA/Dコンバータから得られるデジタル信号中には、一般に、多様なノイズ成分が含まれている。このようなノイズ成分を含む映像信号からエッジ信号を抽出する場合には、コアリングと呼ばれる処理を行うことによりノイズ成分の影響を抑制することが従来より行われている。
こうした技術として、例えば特開平8−107565号公報には、R,G,Bの信号毎にエッジ成分を抽出し、所定の雑音識別基準値に基づくコアリング処理を行う技術が記載されている。これにより、熱雑音の影響を低減して、エッジ成分の抽出をより高精度に行うことが可能となる。
また、特開平9−121366号公報には、R,G,Bの信号間の相関性とエッジ信号の振幅とに基づいてノイズであるか否かを識別し、ノイズであると識別された場合にコアリング処理を行う技術が記載されている。これにより、各色信号間のノイズの影響を抑制して、エッジ成分の抽出をより高精度に行うことが可能となる。
さらに、特開2005−130297号公報には、映像信号からノイズ成分を動的に推定して、コアリング処理を動的に制御する技術が記載されている。これにより、動的に変化するノイズ成分に追随した高精度なエッジ成分の抽出が可能となる。
そして、特開2005−175718号公報には、輝度信号および色差信号に関するノイズ量を動的に推定して、高品位なノイズ低減処理を行う技術が記載されている。
上述したような特開平8−107565号公報に記載の技術は、雑音識別基準値が静的に与えられるものとなっている。しかしながら、撮像素子に起因するノイズは、映像信号のレベル,ゲイン,撮影時の撮像素子の温度などの要因により、動的に変化する。従って、該公報に記載の技術は、各要因の動的変化に対応した最適なノイズ推定を行うことができず、コアリング処理の精度が低下する場合があるという課題がある。また、該公報に記載の技術は、ノイズ成分によりエッジ信号を補正するものであるが、ノイズ成分とエッジ信号とは性質が異なるために、必ずしも高い精度で補正することができないという課題がある。
また、上記特開平9−121366号公報に記載の技術は、色信号間の相関性に基づいてノイズの識別を行うものであるために、色信号間の相関性が少ない被写体、例えば単一色に近い被写体などでは、コアリング処理の精度が低下し、ひいてはエッジ成分の抽出精度が低下するという課題がある。さらに、該公報に記載の技術は、ノイズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。
そして、上記特開2005−130297号公報に記載の技術も、ノイズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。
ところで、上記特開2005−175718号公報に記載の技術は、エッジ成分の抽出を高精度に行うことを目的としたものではないが、ノイズ低減処理とエッジ抽出処理とを独立して行うことが記載されている。従って、ノイズ低減処理とエッジ抽出処理とを相互にうまく活用することができないという課題がある。
本発明は上記事情に鑑みてなされたものであり、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能な画像処理システム、画像処理プログラムを提供することを目的としている。
また、本発明は、高品位な映像信号を得ることができる低コストな画像処理システム、画像処理プログラムを提供することを目的としている。
上記の目的を達成するために、第1の発明による画像処理システムは、撮像素子からの映像信号を処理する画像処理システムであって、上記映像信号からエッジ信号を抽出するエッジ抽出手段と、上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、を具備したものである。
また、本発明による画像処理プログラムは、コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、コンピュータに、上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、を実行させるためのプログラムである。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図15は本発明の実施形態1を示したものであり、図1は画像処理システムの構成を示すブロック図、図2はエッジ抽出処理に用いる3×3画素でなる注目領域の構成を示す図、図3は3×3画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図、図4は3×3画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図、図5は無効エッジ推定部の構成を示すブロック図、図6は信号レベルに対するノイズ量の関係を示す線図、図7はノイズ量に対する無効エッジ信号の関係を示す線図、図8はエッジモデルを示す線図、図9はエッジモデルに基づく無効エッジ信号の算出方法を説明するための線図、図10はエッジ補正部の構成を示すブロック図、図11はエッジ補正部におけるコアリング処理の応答を示す線図、図12は無効エッジ推定部の他の構成例を示すブロック図、図13は画像処理システムの他の構成例を示すブロック図、図14は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図15は図14のステップS4における無効エッジ推定の処理の詳細を示すフローチャートである。
図1から図15は本発明の実施形態1を示したものであり、図1は画像処理システムの構成を示すブロック図、図2はエッジ抽出処理に用いる3×3画素でなる注目領域の構成を示す図、図3は3×3画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図、図4は3×3画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図、図5は無効エッジ推定部の構成を示すブロック図、図6は信号レベルに対するノイズ量の関係を示す線図、図7はノイズ量に対する無効エッジ信号の関係を示す線図、図8はエッジモデルを示す線図、図9はエッジモデルに基づく無効エッジ信号の算出方法を説明するための線図、図10はエッジ補正部の構成を示すブロック図、図11はエッジ補正部におけるコアリング処理の応答を示す線図、図12は無効エッジ推定部の他の構成例を示すブロック図、図13は画像処理システムの他の構成例を示すブロック図、図14は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図15は図14のステップS4における無効エッジ推定の処理の詳細を示すフローチャートである。
まず、図1を参照して、この画像処理システムの構成について説明する。図1に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。
この画像処理システムは、レンズ系100と、絞り101と、CCD102と、温度センサ117と、増幅部103と、A/D変換部104と、バッファ105と、測光評価部106と、合焦点検出部107と、AFモータ108と、エッジ抽出部109と、無効エッジ推定部110と、エッジ補正部111と、エッジ強調部112と、信号処理部113と、出力部114と、制御部115と、外部I/F部116と、を含んでいる。
レンズ系100は、被写体の光学像をCCD102の撮像面へ結像するためのものである。
絞り101は、レンズ系100により結像される被写体光束の通過範囲を規定することにより、CCD102の撮像面に結像される光学像の明るさを変更するためのものである。
CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力するための撮像素子である。なお、本実施形態においては、CCD102として、白黒用単板CCDを想定している。また、撮像素子も、CCDに限るものではなく、CMOSやその他の撮像素子を用いてももちろん構わない。
温度センサ117は、収集手段,ノイズ推定手段であって、このCCD102の温度を実質的に計測して、制御部115へ出力するものである。
増幅部103は、CCD102から出力される映像信号を増幅するためのものである。この増幅部103による増幅量は、制御部115の制御に基づき、測光評価部106により設定されるようになっている。
A/D変換部104は、制御部115の制御に基づき、CCD102から出力され増幅部103により増幅されたアナログの映像信号を、デジタルの映像信号に変換するためのものである。
バッファ105は、A/D変換部104から出力されたデジタルの映像信号を一時的に記憶するためのものである。
測光評価部106は、プリ撮影モード時に、制御部115の制御に基づき、バッファ105に記憶されている映像信号中の輝度レベルを求めて、設定されているISO感度や手ぶれ限界のシャッタ速度などを考慮して、適正露光となるような絞り101の絞り値やCCD102の電子シャッタ速度や増幅部103の増幅率などを制御するものである。
合焦点検出部107は、プリ撮影モード時に、制御部115の制御に基づき、バッファ105に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにAFモータ108を制御することにより、合焦信号を得るようにするものである。
AFモータ108は、合焦点検出部107に制御されて、レンズ系100に含まれるAFレンズを駆動するための駆動源である。
エッジ抽出部109は、本撮影時に、制御部115の制御に基づき、バッファ105に記憶されている映像信号から図2に示すような3×3画素サイズの注目領域を順次抽出して、例えば図3に示すようなエッジ抽出フィルタを用いて注目画素におけるエッジ信号Eを抽出するエッジ抽出手段である。
無効エッジ推定部110は、本撮影時に、制御部115の制御に基づき、バッファ105に記憶されている映像信号から、エッジ抽出部109と同一の3×3画素サイズの注目領域を順次抽出して、注目画素P11におけるノイズ成分に起因する無効エッジ信号IEを推定する無効エッジ推定手段である。
エッジ補正部111は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部110からの無効エッジ信号IEを用いて、コアリング処理を行うエッジ補正手段である。
エッジ強調部112は、制御部115の制御に基づき、エッジ抽出部109と同一の3×3画素サイズ内の注目画素P11を順次抽出して、エッジ補正部111からのコアリング処理がなされたエッジ信号E’を用いてエッジ強調処理を行うエッジ強調手段である。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調後の映像信号に対して公知の圧縮処理などを行い、処理後の信号を出力部114へ転送するものである。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存するものである。
制御部115は、例えばマイクロコンピュータなどにより構成されていて、増幅部103、A/D変換部104、測光評価部106、合焦点検出部107、エッジ抽出部109、無効エッジ推定部110、エッジ補正部111、エッジ強調部112、信号処理部113、出力部114、外部I/F部116と双方向に接続されており、これらを含むこのデジタルカメラ全体を制御するための制御手段である。この制御部115には、さらに、CCD102の近傍に配置された温度センサ117からの信号が入力されるようになっている。そして、この制御部115は、収集手段,ノイズ推定手段,ゲイン算出手段を兼ねたものとなっている。
外部I/F部116は、画像処理システムが適用されたこのデジタルカメラに対するユーザからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユーザは、この外部I/F部116を介して、2段式のシャッタボタンの1段目の押圧によるプリ撮影の開始入力、該シャッタボタンの2段目の押圧による本撮影の開始入力を行うことができるようになっている。さらに、ユーザは、この外部I/F部116を介して、ISO感度の設定なども行うことができるようになっている。そして、この外部I/F部116は、入力された情報を、制御部115へ出力するようになっている。
次に、図1に示したようなデジタルカメラの作用を、映像信号の流れに沿って説明する。
ユーザは、撮影を行う前に、外部I/F部116を介してISO感度などの撮影条件を予め設定する。
その後、ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。
すると、レンズ系100および絞り101を介して結像される被写体像が、CCD102により光電変換され、アナログの映像信号として出力される。
このアナログの映像信号は、増幅部103によってISO感度を考慮した増幅が行われた後に、A/D変換部104によりデジタルの映像信号に変換されて、バッファ105に記憶される。
このバッファ105内に記憶された映像信号は、測光評価部106と、合焦点検出部107と、へそれぞれ転送される。
測光評価部106は、映像信号に基づき、上述したように絞り101の絞り値やCCD102の電子シャッタ速度や増幅部103の増幅率などを適正露光となるように制御する。
合焦点検出部107は、映像信号に基づき、上述したようにエッジ強度を検出し、このエッジ強度が最大となるようにAFモータ108を制御して、合焦信号を得る。
こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮影と同様にして、映像信号がバッファ105へ転送される。この本撮影は、測光評価部106によって求められた露光条件と、合焦点検出部107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部115へ転送される。
本撮影によって得られたバッファ105内の映像信号は、エッジ抽出部109と無効エッジ推定部110とエッジ強調部112とへそれぞれ転送される。
エッジ抽出部109は、制御部115の制御に基づき、図2に示すような注目画素P11を包含する3×3画素サイズの注目領域Pij(i=0〜2,j=0〜2)を順次抽出して、図3に示すようなエッジ抽出フィルタを用いて注目画素P11におけるエッジ信号Eを抽出する。この図3に示すエッジ抽出フィルタは、等方的なエッジ抽出フィルタの一例である。なお、エッジ抽出フィルタとしては、図3に示すような等方的なエッジ抽出フィルタに限定されるものではない。例えば、図4(A)に示すような水平方向のエッジ抽出フィルタEhと、図4(B)に示すような垂直方向のエッジ抽出フィルタEvと、をそれぞれ個別に使用して、その後に次の数式1に示すように、エッジ信号Eを求めるように構成することも可能である。
[数1]
なお、これらのエッジ抽出フィルタに限らず、その他、公知のエッジ抽出法を用いるように構成することももちろん可能である。そして、エッジ抽出部109は、抽出したエッジ信号Eを、エッジ補正部111へ転送する。
[数1]
なお、これらのエッジ抽出フィルタに限らず、その他、公知のエッジ抽出法を用いるように構成することももちろん可能である。そして、エッジ抽出部109は、抽出したエッジ信号Eを、エッジ補正部111へ転送する。
無効エッジ推定部110は、制御部115の制御に基づき、エッジ抽出部109と同一の3×3画素サイズの注目領域Pijを順次抽出して、注目画素P11におけるノイズ成分に起因する無効エッジ信号IEを推定する。そして、無効エッジ推定部110は、推定して得られたノイズ成分に起因する無効エッジ信号IEを、エッジ補正部111へ転送する。
エッジ補正部111は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部110からの無効エッジ信号IEを用いて、コアリング処理を行う。エッジ補正部111は、コアリング処理を行ったエッジ信号E’を、エッジ強調部112へ転送する。
エッジ強調部112は、制御部115の制御に基づき、エッジ抽出部109と同一の3×3画素サイズ内の注目画素P11を順次抽出して、エッジ補正部111からのコアリング処理がなされたエッジ信号E’を用いて、次の数式2に示すようなエッジ強調処理を行う。
[数2]
P11’=P11+g・E’
なお、この数式2におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。そして、エッジ強調部112は、エッジ強調処理を行った映像信号を、信号処理部113へ転送する。
[数2]
P11’=P11+g・E’
なお、この数式2におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。そして、エッジ強調部112は、エッジ強調処理を行った映像信号を、信号処理部113へ転送する。
ここに、上述したエッジ抽出部109,無効エッジ推定部110,エッジ補正部111,エッジ強調部112の各処理は、制御部115の制御に基づいて、3×3画素サイズの注目領域Pij単位で同期して行われるようになっている。そして、全ての映像信号を処理する(全ての画素を注目画素として処理する)ために、図2に示したような3×3画素サイズの注目領域は、隣接する注目領域に対して2行または2列ずつ重複して(つまり、1行または1列ずつずれるように)設定されるようになっている。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調処理後の映像信号に対して、上述したように、公知の圧縮処理などを行い、処理後の信号を出力部114へ転送する。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
次に、図5を参照して、無効エッジ推定部110の構成の一例について説明する。
この無効エッジ推定部110は、平均算出部200と、収集手段でありゲイン算出手段たるゲイン算出部201と、付与手段たる標準値付与部202と、記録手段たるパラメータ用ROM203と、パラメータ選択手段たるパラメータ選択部204と、補間手段たる補間部205と、補間手段たる補正部206と、を含んでいる。
ここに、バッファ105は、平均算出部200へ接続されている。また、平均算出部200は、パラメータ選択部204へ接続されている。ゲイン算出部201と標準値付与部202とパラメータ用ROM203とは、パラメータ選択部204へそれぞれ接続されている。パラメータ選択部204は、補間部205と補正部206とへそれぞれ接続されている。補間部205は、補正部206を介してエッジ補正部111へ接続されている。
また、制御部115は、平均算出部200,ゲイン算出部201,標準値付与部202,パラメータ選択部204,補間部205,補正部206と双方向に接続されていて、これらを制御するようになっている。
次に、このような無効エッジ推定部110の作用について説明する。
平均算出部200は、制御部115の制御に基づき、バッファ105から図2に示すような注目領域Pijの映像信号を読み出して、この注目領域Pijの映像信号の平均値AVを次の数式3に示すように算出する。
[数3]
そして、平均算出部200は、算出した平均値AVを、パラメータ選択部204へ転送する。
[数3]
そして、平均算出部200は、算出した平均値AVを、パラメータ選択部204へ転送する。
また、ゲイン算出部201は、制御部115から転送されるISO感度と露光条件に関する情報との少なくとも一方に基づいて、増幅部103における増幅量を求め、求めた増幅量をパラメータ選択部204へ転送する。
一方、制御部115は、温度センサ117からCCD102の温度情報を取得して、取得した温度情報をパラメータ選択部204へ転送する。
パラメータ選択部204、補間部205、および補正部206は、平均算出部200からの注目領域の平均値と、ゲイン算出部201からのゲインの情報と、制御部115からの温度情報と、に基づいて、ノイズ成分に起因する無効エッジ信号IEを推定する。
ここに、無効エッジ信号IEの推定について、図6〜図9を参照して説明する。
まず、図6は、信号レベルLとノイズ量Nとの関係をプロットしたものである。ノイズ量Nは、図示のように、信号レベルLが増加するとともに増加する傾向を示し、このときの増加は、信号レベルLに対して2次曲線的な増加となる。そこで、この図6に示すような増加の様子を、特開2005−175718号公報に開示されているように2次関数を用いてモデル化すると、次の数式4に示すようになる。
[数4]
N=αL2+βL+γ
ここに、α,β,γは定数項である。
[数4]
N=αL2+βL+γ
ここに、α,β,γは定数項である。
しかしながら、ノイズ量Nは、信号レベルLの変化のみにより変化するのではなく、撮像素子の温度や映像信号に対するゲインによっても変化する。例えば、図6は、ある温度tにおいて、ゲインに関連する3種類のISO感度100(ゲイン×1),200(ゲイン×2),400(ゲイン×4)に対するノイズ量Nをプロットしたものである。
図6に示す個々の曲線は、数式4に示したような形状をしているが、その係数はゲインに関連するISO感度に応じて異なっている。また、図示はしないが、ノイズ量Nは、撮像素子の温度によっても変化し、一般に、撮像素子の温度が高くなると増加する傾向を示す(なお、温度としては20℃、50℃、80℃が例として図示されている)。
こうして、ゲインをg、温度をtとして、ノイズモデルの定式化を上述したようなノイズ量Nのゲインgや温度tへの依存性も考慮した形で行うと、次の数式5に示すようになる。
[数5]
N=αgtL2+βgtL+γgt
ここに、αgt,βgt,γgtは、ゲインgと温度tとに依存して定まる定数項である。
[数5]
N=αgtL2+βgtL+γgt
ここに、αgt,βgt,γgtは、ゲインgと温度tとに依存して定まる定数項である。
次に、図7は、平坦な領域の映像信号にノイズ量Nを付加して、これに図3または図4に示すようなエッジ抽出フィルタを適用して得られたノイズ成分に起因する無効エッジ信号IEをプロットしたものである。
無効エッジ信号IEは、図示のように、ノイズ量Nが増加するとともに増加する傾向を示し、このときの増加は、ノイズ量Nに対して3次曲線的な増加となる。そこで、この図7に示すような増加の様子を、3次関数を用いてモデル化すると、次の数式6に示すようになる。
[数6]
IE=δN3+εN2+ζN+η
ここに、δ,ε,ζ,ηは定数項であり、エッジ抽出フィルタが固定されれば、一意に定まる。
[数6]
IE=δN3+εN2+ζN+η
ここに、δ,ε,ζ,ηは定数項であり、エッジ抽出フィルタが固定されれば、一意に定まる。
上述したような数式5と数式6とを組み合わせることにより、信号レベルLと、ノイズ成分に起因する無効エッジ信号IEと、の関係を、エッジモデルとして定式化することができる。
ただし、エッジモデルの関数を複数記録して、その都度演算により無効エッジ信号を算出することは処理的に負荷が大きい。このために、図8に示すようなエッジモデルの簡略化を行う。すなわち、図8に示すような簡略化されたモデルにおいては、最大の無効エッジ信号を与える関数を基準エッジモデルとして選択し、さらに、この基準エッジモデルを所定数の変曲点を有する折れ線で近似する。ここに、折れ線の変曲点は、信号レベルLと無効エッジ信号IEとから構成される座標データ(Ln,IEn)により表す。ただし、nは変曲点の番号を示している。また、上記基準エッジモデルから他のエッジモデルを導出するための補正係数kgtを用意する。この補正係数kgtは、各エッジモデルと基準エッジモデルとを用いて、最小自乗法により算出される。こうして算出した補正係数kgtを基準エッジモデルに乗算することにより、他のエッジモデルを導出するようになっている。
図9を参照して、図8に示すような簡易化されたエッジモデルから無効エッジ信号を算出する方法について説明する。
例えば、与えられた信号レベルl、ゲインg、温度tに対応する無効エッジ信号IEを求めることを想定する。まず、信号レベルlが基準エッジモデルのどの区間に属するかを探索する。ここでは信号レベルlが、(Ln,IEn)と(Ln+1,IEn+1)との間の区間に属するものとする。このとき、基準エッジモデルにおける基準無効エッジ信号IElを、次の数式7に示すような線形補間によって求める。
[数7]
次に、次の数式8に示すように、求めた基準無効エッジ信号IElに補正係数kgtを乗算することにより、無効エッジ信号IEを求める。
[数8]
IE=kgt・IEl
図5に沿った説明に戻って、上述したような基準エッジモデルの変曲点の座標データ(Ln,IEn)と補正係数kgtとは、パラメータ用ROM203に記録されている。
[数7]
次に、次の数式8に示すように、求めた基準無効エッジ信号IElに補正係数kgtを乗算することにより、無効エッジ信号IEを求める。
[数8]
IE=kgt・IEl
図5に沿った説明に戻って、上述したような基準エッジモデルの変曲点の座標データ(Ln,IEn)と補正係数kgtとは、パラメータ用ROM203に記録されている。
パラメータ選択部204は、平均算出部200からの注目領域の平均値AVに基づき信号レベルlを、ゲイン算出部201からのゲインの情報に基づきゲインgを、制御部115からの温度情報に基づき温度tを、それぞれ設定する。
次に、パラメータ選択部204は、信号レベルlが属する区間の座標データ(Ln,IEn)および(Ln+1,IEn+1)をパラメータ用ROM203から探索し、これを補間部205へ転送する。さらに、パラメータ選択部204は、補正係数kgtをパラメータ用ROM203から探索して、これを補正部206へ転送する。
補間部205は、制御部115の制御に基づき、パラメータ選択部204からの信号レベルlと区間の座標データ(Ln,IEn)および(Ln+1,IEn+1)とを用いて数式7に基づき基準エッジモデルにおける基準無効エッジ信号IElを算出し、補正部206へ転送する。
補正部206は、制御部115の制御に基づき、パラメータ選択部204からの補正係数kgtと、補間部205からの基準無効エッジ信号IElと、を用いて数式8に基づき無効エッジ信号IEを算出し、これを注目画素P11の無効エッジ信号IEとする。補正部206は、推定した無効エッジ信号IEを、エッジ補正部111へ転送する。
なお、上述したような無効エッジ信号を算出する過程において、温度tやゲインgなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部202に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速化や省電力化などを図ることが可能となる。
次に、図10を参照して、エッジ補正部111の構成の一例について説明する。
このエッジ補正部111は、切換部300と、コアリング手段たる加算部301と、コアリング手段たる減算部302と、コアリング手段たる置換部303と、を含んでいる。
エッジ抽出部109は、切換部300へ接続されている。切換部300は、加算部301と減算部302と置換部303とへそれぞれ接続されている。加算部301と減算部302と置換部303とは、エッジ強調部112へそれぞれ接続されている。また、無効エッジ推定部110は、切換部300と加算部301と減算部302とへそれぞれ接続されている。
制御部115は、切換部300,加算部301,減算部302,置換部303と双方向に接続されていて、これらを制御するようになっている。
次に、このようなエッジ補正部111の作用について説明する。
切換部300は、制御部115の制御に基づき、エッジ抽出部109から注目画素P11に対するエッジ信号Eを、無効エッジ推定部110から注目画素P11に対する無効エッジ信号IEを、それぞれ読み込む。
次に、切換部300は、−IE>Eである場合にはエッジ信号Eを加算部301へ、E>IEである場合にはエッジ信号Eを減算部302へ、IE≧E≧−IEである場合にはエッジ信号Eを置換部303へ、転送する。
加算部301は、制御部115の制御に基づき、切換部300からエッジ信号Eが転送された場合に、無効エッジ推定部110から無効エッジ信号IEを読み込み、エッジ信号Eに無効エッジ信号IEを加算処理する補正を行い、補正後のエッジ信号E’をエッジ強調部112へ転送する。
また、減算部302は、制御部115の制御に基づき、切換部300からエッジ信号Eが転送された場合に、無効エッジ推定部110から無効エッジ信号IEを読み込み、エッジ信号Eから無効エッジ信号IEを減算処理する補正を行い、補正後のエッジ信号E’をエッジ強調部112へ転送する。
そして、置換部303は、制御部115の制御に基づき、切換部300からエッジ信号Eが転送された場合に、エッジ信号Eを0に置換処理する補正を行い、補正後のエッジ信号E’をエッジ強調部112へ転送する。
このような3通りの処理は、次の数式9により示される。
[数9]
図11は、このような数式9の特性を図示したものであり、入力エッジ信号Eの絶対値が無効エッジ信号IE以下となる場合に、出力エッジ信号E’が0となるコアリング処理となっている。
[数9]
図11は、このような数式9の特性を図示したものであり、入力エッジ信号Eの絶対値が無効エッジ信号IE以下となる場合に、出力エッジ信号E’が0となるコアリング処理となっている。
なお、上述ではノイズ成分に起因するエッジ信号の推定に、撮像素子の温度,ISO感度,露出情報などの関連情報を用いていたが、このような構成に限定される必要はない。例えば、図12に示すように、信号レベルのみに基づいてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。
図12は、図5に示す構成からゲイン算出部201と標準値付与部202と補正部206とを省略して、平均算出部200およびパラメータ用ROM203を、注目画素抽出部400および記録手段たるパラメータ用ROM401により置換した構成となっている。この図12に示す無効エッジ推定部110におけるその他の基本的な構成は図5に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。
バッファ105は、注目画素抽出部400へ接続されている。注目画素抽出部400は、パラメータ選択部204へ接続されている。パラメータ用ROM401は、パラメータ選択部204へ接続されている。パラメータ選択部204は、補間部205へ接続されている。補間部205は、エッジ補正部111へ接続されている。
また、制御部115は、注目画素抽出部400へも双方向に接続されていて、これを制御するようになっている。
注目画素抽出部400は、制御部115の制御に基づき、バッファ105から図2に示すような注目画素P11を読み込んで、パラメータ選択部204へ転送する。
パラメータ選択部204および補間部205は、注目画素抽出部400からの注目画素P11の信号レベルに基づいて、ノイズ成分に起因する無効エッジ信号IEを推定する。
すなわち、パラメータ用ROM401には、図8に示すような所定温度、所定ゲイン値に対応する単一のエッジモデルの変曲点の座標データ(Ln,IEn)のみが記録されている。なお、以下では、記録されているエッジモデルを基準エッジモデルとして扱う。
パラメータ選択部204は、注目画素P11の信号レベルlが属する区間の座標データ(Ln,IEn)および(Ln+1,IEn+1)をパラメータ用ROM401から探索して、これを補間部205へ転送する。
補間部205は、制御部115の制御に基づき、パラメータ選択部204からの信号レベルlと区間の座標データ(Ln,IEn)および(Ln+1,IEn+1)とを用いて、数式7に基づき基準エッジモデルにおける基準無効エッジ信号IElを算出する。補間部205は、算出した基準無効エッジ信号IElを、無効エッジ信号IEとしてエッジ補正部111へ転送する。
この図12に示したような構成を採用すれば、ノイズ成分に起因するエッジ信号の推定に要する構成を簡略化することができるために、画像処理システムの低コスト化を図ることが可能となる。
また、上述においては、画像処理システムとしてデジタルカメラを例に挙げていたために、図1に示したように、画像処理システムは、レンズ系100,絞り101,CCD102,温度センサ117,増幅部103,A/D変換部104,測光評価部106,合焦点検出部107,AFモータ108を含む撮像部が一体化して構成されていた。
しかし、画像処理システムとしては、このような構成に限定される必要はない。例えば、図13に示すように、撮像部が別体であっても構わない。すなわち、図13に示す画像処理システムは、別体の撮像部により撮像され、未処理のRawデータの形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、映像信号に係る撮像条件などの付随情報が、ヘッダ部等として記録媒体に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図13に示す画像処理システムは、図1に示した画像処理システムから、レンズ系100,絞り101,CCD102,温度センサ117,増幅部103,A/D変換部104,測光評価部106,合焦点検出部107,AFモータ108を省略して、入力部500,ヘッダ情報解析部501を追加した構成となっている。この図13に示す画像処理システムにおけるその他の基本的な構成は、図1に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。
入力部500は、バッファ105とヘッダ情報解析部501とへそれぞれ接続されている。また、制御部115は、入力部500およびヘッダ情報解析部501とも双方向に接続されていて、これらを制御するようになっている。
次に、この図13に示す画像処理システムにおいて異なる作用は、以下のようになっている。
例えばマウスやキーボードなどの外部I/F部116を介して処理操作を開始すると、メモリカード等の記録媒体に保存された映像信号およびヘッダ情報が、入力部500を介して読み込まれる。
入力部500から読み込まれた情報の内の、映像信号はバッファ105へ、ヘッダ情報はヘッダ情報解析部501へ、それぞれ転送される。
ヘッダ情報解析部501は、入力部500から転送されたヘッダ情報に基づき、撮影時の情報(すなわち、上述したような露光条件、ISO感度、撮像素子の温度など)を抽出して制御部115へ転送する。
これ以後の処理は、図1に示したような画像処理システムと同様である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、CCD102からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインなど)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図14を参照して、画像処理プログラムによる処理のメインルーチンを説明する。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインなどのヘッダ情報を読み込む(ステップS1)。
次に、図2に示したような、注目画素を含む3×3画素サイズの注目領域を抽出する(ステップS2)。
そして、例えば図3に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する(ステップS3)。
続いて、後で図15を参照して説明するように注目画素におけるノイズ成分に起因する無効エッジ信号を推定する(ステップS4)。
その後、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する(ステップS5)。
ここで、エッジ信号の絶対値が無効エッジ信号よりも大きい場合には、さらに、エッジ信号が無効エッジ信号よりも大きいか否かを判定する(ステップS6)。
このステップS6において、エッジ信号が無効エッジ信号以下である場合(−IE>Eである場合)には、エッジ信号に無効エッジ信号を加算する(ステップS9)。
また、ステップS6において、エッジ信号が無効エッジ信号よりも大きい場合(E>IEである場合)には、エッジ信号から無効エッジ信号を減算する(ステップS8)。
一方、ステップS5において、エッジ信号の絶対値が無効エッジ信号以下である場合(IE≧E≧−IEである場合)には、エッジ信号を0に置換する(ステップS7)。
ステップS7〜S9の何れかの処理が終了したら、数式2に示したように補正されたエッジ信号を用いて、映像信号にエッジ強調処理を行う(ステップS10)。
次に、全注目領域についての処理が完了したか否かを判定し(ステップS11)、完了していない場合には、上記ステップS2へ戻って次の注目領域について上述したような処理を繰り返して行う。
また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行い(ステップS12)、処理後の映像信号を出力して(ステップS13)、この一連の処理を終了する。
次に、図15を参照して、上記図14のステップS4における無効エッジ推定の処理について説明する。
図14のステップS4においてこの処理が開始されると、まず、注目領域の平均値を数式3に示したように算出する(ステップS20)。
次に、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する(ステップS21)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。
続いて、基準エッジモデルの座標データと、補正係数と、を読み込む(ステップS22)。
そして、注目領域の平均値が属する区間の座標データと、対応する補正係数と、を選択する(ステップS23)。
その後、数式7に示したような補間処理によって、基準無効エッジ信号を求める(ステップS24)。
次に、数式8に示したような補正処理によって、無効エッジ信号を求める(ステップS25)。
続いて、算出された無効エッジ信号を出力して(ステップS26)、この処理から図14に示した処理に復帰する。
このような実施形態1によれば、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によって補正処理する画像処理システムを構成することが可能となる。
このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
また、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
さらに、必要となる情報が得られない場合でも、標準値を設定するようになっているために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。
そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。
このとき、簡略化されたモデルを採用すると、簡略化されたモデルに基づく補間処理は実装が容易であるために、低コストなシステムを構築することが可能となる。
[実施形態2]
図16から図24は本発明の実施形態2を示したものであり、図16は画像処理システムの構成を示すブロック図、図17はノイズ処理部の構成を示すブロック図、図18は無効エッジ推定部の一構成例を示すブロック図、図19は無効エッジ推定部の他の構成例を示すブロック図、図20はエッジ補正部の構成を示すブロック図、図21はエッジ補正部におけるコアリング処理の応答を示す線図、図22は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図23は図22のステップS30におけるノイズ処理の詳細を示すフローチャート、図24は図22のステップS31における無効エッジ推定の処理の詳細を示すフローチャートである。
図16から図24は本発明の実施形態2を示したものであり、図16は画像処理システムの構成を示すブロック図、図17はノイズ処理部の構成を示すブロック図、図18は無効エッジ推定部の一構成例を示すブロック図、図19は無効エッジ推定部の他の構成例を示すブロック図、図20はエッジ補正部の構成を示すブロック図、図21はエッジ補正部におけるコアリング処理の応答を示す線図、図22は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図23は図22のステップS30におけるノイズ処理の詳細を示すフローチャート、図24は図22のステップS31における無効エッジ推定の処理の詳細を示すフローチャートである。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
まず、図16を参照して、この画像処理システムの構成について説明する。図16に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。
この図16に示す画像処理システムは、上述した実施形態1の図1に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図1に示した無効エッジ推定部110およびエッジ補正部111を、無効エッジ推定手段たる無効エッジ推定部601およびエッジ補正手段たるエッジ補正部602に置換し、さらにノイズ処理手段たるノイズ処理部600を追加した構成になっている。その他の基本的な構成は実施形態1と同様であって、同一の構成には同一の名称と符号を付している。
以下、主として異なる部分のみを説明する。
バッファ105は、測光評価部106と合焦点検出部107とノイズ処理部600とエッジ抽出部109とへ接続されている。ノイズ処理部600は、エッジ強調部112と無効エッジ推定部601とへそれぞれ接続されている。エッジ抽出部109と無効エッジ推定部601とは、エッジ補正部602へそれぞれ接続されている。エッジ補正部602は、エッジ強調部112へ接続されている。
また、制御部115は、ノイズ処理部600,無効エッジ推定部601,エッジ補正部602と双方向に接続されていて、これらを制御するようになっている。
次に、この図16に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態2の画像処理システムの作用は、基本的に上述した実施形態1と同様であるために、主として異なる部分についてのみ説明する。
ノイズ処理部600は、制御部115の制御に基づき、図2に示したような注目画素P11を包含する3×3画素サイズの注目領域Pijを順次抽出する。そして、ノイズ処理部600は、特開2005−175718号公報に開示されているようにノイズのモデルに基づき注目画素P11に関するノイズ量Nを推定し、平滑化処理を行う。ノイズ処理部600は、推定したノイズ量Nを無効エッジ推定部601へ、平滑化処理を行った注目画素NR_P11をエッジ強調部112へ、それぞれ転送する。
無効エッジ推定部601は、制御部115の制御に基づき、ノイズ処理部600から注目画素P11に対するノイズ量Nを読み込み、注目画素P11におけるノイズ成分に起因する無効エッジ信号IEを推定する。無効エッジ推定部601は、推定したノイズ成分に起因する無効エッジ信号IEを、エッジ補正部602へ転送する。
エッジ補正部602は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部601からの無効エッジ信号IEと、所定の関数と、を用いて変換処理を行う。エッジ補正部602は、変換処理を行ったエッジ信号E’を、エッジ強調部112へ転送する。
エッジ強調部112は、制御部115の制御に基づき、ノイズ処理部600からの平滑化処理がなされた注目画素NR_P11に対して、エッジ補正部602からの変換処理エッジ信号E’を用いて、次の数式10に示すようなエッジ強調処理を行う。
[数10]
P11’=NR_P11+g・E’
なお、この数式10におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。そして、エッジ強調部112は、エッジ強調処理を行った映像信号を、信号処理部113へ転送する。
[数10]
P11’=NR_P11+g・E’
なお、この数式10におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。そして、エッジ強調部112は、エッジ強調処理を行った映像信号を、信号処理部113へ転送する。
ここに、上述したエッジ抽出部109,ノイズ処理部600,無効エッジ推定部601,エッジ補正部602,エッジ強調部112の各処理は、制御部115の制御に基づいて、3×3画素サイズの注目領域Pij単位で同期して行われるようになっている。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調処理後の映像信号に対して、公知の圧縮処理などを行い、処理後の信号を出力部114へ転送する。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
次に、図17を参照して、ノイズ処理部600の構成の一例について説明する。
このノイズ処理部600は、平均算出部700と、ノイズ推定手段たるゲイン算出部701と、ノイズ推定手段たる標準値付与部702と、ノイズ推定手段たるノイズテーブル部703と、選択部704と、ノイズ低減手段たる第1スムージング部705と、ノイズ低減手段たる第2スムージング部706と、を含んでいる。
バッファ105は、平均算出部700と選択部704とへそれぞれ接続されている。平均算出部700とゲイン算出部701と標準値付与部702とは、ノイズテーブル部703へそれぞれ接続されている。ノイズテーブル部703は、選択部704と第1スムージング部705と第2スムージング部706と無効エッジ推定部601とへそれぞれ接続されている。選択部704は、第1スムージング部705と第2スムージング部706とへそれぞれ接続されている。第1スムージング部705と第2スムージング部706とは、エッジ強調部112へそれぞれ接続されている。
制御部115は、平均算出部700,ゲイン算出部701,標準値付与部702,ノイズテーブル部703,選択部704,第1スムージング部705,第2スムージング部706と双方向に接続されていて、これらを制御するようになっている。
次に、このようなノイズ処理部600の作用について説明する。
平均算出部700は、制御部115の制御に基づき、バッファ105から図2に示したような注目画素P11を包含する3×3画素サイズの注目領域Pijを順次抽出して、数式3に示したような平均値AVを算出する。平均算出部700は、算出した平均値AVをノイズテーブル部703へ転送する。
ゲイン算出部701は、制御部115から転送されるISO感度と露光条件に関する情報との少なくとも一方に基づき、増幅部103における増幅量を求めて、求めた増幅量をノイズテーブル部703へ転送する。
また、制御部115は、温度センサ117からCCD102の温度情報を取得して、取得した温度情報をノイズテーブル部703へ転送する。
ノイズテーブル部703は、平均算出部700からの平均値と、ゲイン算出部701からのゲインの情報と、制御部115からの温度情報と、に基づいて、ノイズ量を推定する。このノイズテーブル部703は、温度,信号値レベル,ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、例えば特開2005−175718号公報に開示されている手法により構築されたものである。ノイズテーブル部703は、推定したノイズ量Nと平均算出部700からの平均値AVとを、選択部704と第1スムージング部705と第2スムージング部706とへそれぞれ転送する。また、ノイズテーブル部703は、推定したノイズ量Nを無効エッジ推定部601へも転送する。
選択部704は、制御部115の制御に基づき、ノイズテーブル部703からの平均値AVおよびノイズ量Nを読み込む。その後、選択部704は、ノイズ量に関する許容範囲としての上限Noise_Upおよび下限Noise_Lowを、次の数式11に示すように設定する。
[数11]
そして、選択部704は、制御部115の制御に基づき、バッファ105から注目画素P11を読み込んで、上記許容範囲に属するか否かを判定する。この判定は、「ノイズ範囲に属している(Noise_Up≧P11≧Noise_Low)」,「ノイズ範囲を上回っている(P11>Noise_Up)」,「ノイズ範囲を下回っている(Noise_Low>P11)」の3通りである。
[数11]
そして、選択部704は、制御部115の制御に基づき、バッファ105から注目画素P11を読み込んで、上記許容範囲に属するか否かを判定する。この判定は、「ノイズ範囲に属している(Noise_Up≧P11≧Noise_Low)」,「ノイズ範囲を上回っている(P11>Noise_Up)」,「ノイズ範囲を下回っている(Noise_Low>P11)」の3通りである。
選択部704は、「ノイズ範囲に属している」と判定した場合には第1スムージング部705へ、それ以外の場合には第2スムージング部706へ、注目画素P11を転送する。
第1スムージング部705は、平滑化処理がなされた注目画素NR_P11として、ノイズテーブル部703からの平均値AVを次の数式12に示すようにそのまま用いて、出力する。
[数12]
一方、第2スムージング部706は、平滑化処理がなされた注目画素NR_P11として、選択部704からの注目画素P11にノイズテーブル部703からの平均値AVとノイズ量Nとを用いて補正する処理を行う。まず、第2スムージング部706は、「ノイズ範囲を上回っている」場合には、次の数式13に示すように補正する◎。
[数12]
一方、第2スムージング部706は、平滑化処理がなされた注目画素NR_P11として、選択部704からの注目画素P11にノイズテーブル部703からの平均値AVとノイズ量Nとを用いて補正する処理を行う。まず、第2スムージング部706は、「ノイズ範囲を上回っている」場合には、次の数式13に示すように補正する◎。
[数13]
また、第2スムージング部706は、「ノイズ範囲を下回っている」場合には、次の数式14に示すように補正する。
[数14]
このようにして、第1スムージング部705または第2スムージング部706よる平滑化処理がなされた注目画素NR_P11は、エッジ強調部112へ転送される。
また、第2スムージング部706は、「ノイズ範囲を下回っている」場合には、次の数式14に示すように補正する。
[数14]
このようにして、第1スムージング部705または第2スムージング部706よる平滑化処理がなされた注目画素NR_P11は、エッジ強調部112へ転送される。
次に、図18を参照して、無効エッジ推定部601の構成の一例について説明する。
この無効エッジ推定部601は、パラメータ選択手段たるパラメータ選択部800と、記録手段たるパラメータ用ROM801と、補間手段たる補間部802と、を含んでいる。
ノイズ処理部600およびパラメータ用ROM801は、パラメータ選択部800へそれぞれ接続されている。パラメータ選択部800は補間部802へ接続されている。補間部802は、エッジ補正部602へ接続されている。
また、制御部115は、パラメータ選択部800,補間部802と双方向に接続されていて、これらを制御するようになっている。
このような無効エッジ推定部601の作用について説明する。
パラメータ選択部800および補間部802は、ノイズ処理部600からの注目画素P11に関するノイズ量Nに基づいて、ノイズ成分に起因する無効エッジ信号IEを推定する。以下では、本発明の実施形態1に係る図7を参照して、無効エッジ信号IEを推定する方法について説明する。
図7に示したように、ノイズ量Nに対する無効エッジ信号IEの関係は、3次関数を用いたエッジモデルとしてモデル化される。さらに、この3次関数を所定数の変曲点を有する折れ線で近似するものとする。ここに、折れ線の変曲点は、ノイズ量Nと無効エッジ信号IEとから構成される座標データ(Nn,IEn)により表す。ただし、nは変曲点の番号を示している。
そして、与えられたノイズ量Nに対応する無効エッジ信号IEを求めるには、まず、ノイズ量Nがエッジモデルのどの区間に属するかを探索する。ここでは、ノイズ量Nが(Nn,IEn)と(Nn+1,IEn+1)との間の区間に属するものとする。このとき、エッジモデルにおける無効エッジ信号IEを、次の数式15に示すような線形補間によって求める。
[数15]
図18に沿った説明に戻って、上述したようなエッジモデルの変曲点の座標データ(Nn,IEn)は、パラメータ用ROM801に記録されている。
[数15]
図18に沿った説明に戻って、上述したようなエッジモデルの変曲点の座標データ(Nn,IEn)は、パラメータ用ROM801に記録されている。
パラメータ選択部800は、制御部115の制御に基づき、ノイズ処理部600からの注目画素P11に関するノイズ量Nを読み込む。次に、パラメータ選択部800は、ノイズ量Nが属する区間の座標データ(Nn,IEn)および(Nn+1,IEn+1)をパラメータ用ROM801から探索して、これを補間部802へ転送する。
補間部802は、制御部115の制御に基づき、パラメータ選択部800からのノイズ量Nと区間の座標データ(Nn,IEn)および(Nn+1,IEn+1)とを用いて、数式15に基づき無効エッジ信号IEを算出し、算出した無効エッジ信号IEをエッジ補正部602へ転送する。なお、上述においてはモデルに基づく補間演算によりノイズ成分に起因するエッジ信号を推定していたが、このような構成に限定される必要はない。例えば、図19に示すように、テーブルを用いてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。
ここで、図19を参照して、無効エッジ推定部601の構成の他の例について説明する。
この無効エッジ推定部601は、記録手段たる無効エッジテーブル部803を含んでいる。
ノイズ処理部600は、無効エッジテーブル部803へ接続されている。無効エッジテーブル部803は、エッジ補正部602へ接続されている。
また、制御部115は、無効エッジテーブル部803と双方向に接続されていて、これを制御するようになっている。
ここに、無効エッジテーブル部803は、図7に示したような、ノイズ量Nに対する無効エッジ信号IEの関係を記録したテーブルである。
無効エッジテーブル部803は、制御部115の制御に基づき、ノイズ処理部600から注目画素P11に関するノイズ量Nを読み込んで、対応する無効エッジ信号IEをエッジ補正部602へ転送する。
図20を参照して、エッジ補正部602の構成の一例について説明する。
このエッジ補正部602は、切換部900と、定数算出手段たる定数算出部901と、関数変換手段たる変換部902と、を含んでいる。
エッジ抽出部109は、切換部900へ接続されている。切換部900は、変換部902とエッジ強調部112とへそれぞれ接続されている。変換部902は、エッジ強調部112へ接続されている。無効エッジ推定部601は、切換部900と定数算出部901とへそれぞれ接続されている。定数算出部901は、変換部902へ接続されている。
また、制御部115は、切換部900,定数算出部901,変換部902と双方向に接続されていて、これらを制御するようになっている。
次に、このようなエッジ補正部602の作用について説明する。
定数算出部901は、制御部115の制御に基づき、無効エッジ推定部601から注目画素P11に対する無効エッジ信号IEを読み込む。そして、定数算出部901は、図21に示すような応答特性を有する関数の定数項を算出する。ここに、図21は、エッジ信号Eを入力して、変換後のエッジ信号E’を出力する関数の形状を示しており、この関数は、2つの1次関数と、1つの3次関数と、を組み合わせて構成されている。
[数16]
定数算出部901は、数式16に示すような関数の定数項、実質的には3次関数の3次項の係数である2/(3・IE2)の一項のみを算出して、変換部902へ転送する。
[数16]
定数算出部901は、数式16に示すような関数の定数項、実質的には3次関数の3次項の係数である2/(3・IE2)の一項のみを算出して、変換部902へ転送する。
切換部900は、制御部115の制御に基づき、エッジ抽出部109から注目画素P11に対するエッジ信号Eを、無効エッジ推定部601から注目画素P11に対する無効エッジ信号IEを、それぞれ読み込む。そして、切換部900は、エッジ信号Eと無効エッジ信号IEとを比較して、IE≧E≧−IEである場合には変換部902へ、それ以外の場合にはエッジ強調部112へ、エッジ信号Eを転送する。
変換部902は、制御部115の制御に基づき、切換部900からエッジ信号Eが転送された場合に、定数算出部901からの定数項を用いて数式16中の3次関数によりエッジ信号Eを変換し、変換後のエッジ信号E’をエッジ強調部112へ転送する。
なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、CCD102からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインなど)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図22を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図22に示す処理の内の、上述した実施形態1の図14に示した処理とほぼ同様な処理については、同一の符号を付している。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインなどのヘッダ情報を読み込む(ステップS1)。
次に、図2に示したような、注目画素を含む3×3画素サイズの注目領域を抽出する(ステップS2)。
そして、例えば図3に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する(ステップS3)。
その一方で、後で図23を参照して説明するように、注目画素に対するノイズ処理を行う(ステップS30)。
ステップS3の処理とステップS30の処理とが終了したら、後で図24を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する(ステップS31)。
続いて、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する(ステップS5)。
ここで、エッジ信号が無効エッジ信号以下である場合には、数式16に示すような3次関数を用いてエッジ信号を変換する(ステップS32)。
ステップS30の処理が終わった後であって、このステップS32の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた映像信号に数式10に示したようにエッジ強調処理を行う。また、ステップS30の処理が終わった後であって、ステップS5においてエッジ信号の絶対値が無効エッジ信号よりも大きいと判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた映像信号に数式10に示したようにエッジ強調処理を行う(ステップS10)。
次に、全注目領域についての処理が完了したか否かを判定し(ステップS11)、完了していない場合には、上記ステップS2へ戻って次の注目領域について上述したような処理を繰り返して行う。
また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行い(ステップS12)、処理後の映像信号を出力して(ステップS13)、この一連の処理を終了する。
続いて、図23を参照して、上記図22のステップS30におけるノイズ処理について説明する。
図22のステップS30においてこの処理が開始されると、まず、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する(ステップS40)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。
続いて、ノイズテーブルを読み込み(ステップS41)、読み込んだノイズテーブルを用いて、注目画素に対するノイズ量を求める(ステップS42)。
そして、数式11に示したような許容範囲に基づいて、ノイズ量が許容範囲内に属するか否かを判定する(ステップS43)。
ここで、ノイズ量が許容範囲内に属すると判定された場合には、数式12に示したような平滑化処理を行う(ステップS44)。
また、ノイズ量が許容範囲内に属しないと判定された場合には、数式13または数式14に示したような平滑化処理を行う(ステップS45)。
ステップS44またはステップS45の処理が終了したら、ノイズ処理がなされた映像信号を出力して(ステップS46)、この処理から図22に示した処理に復帰する。
次に、図24を参照して、上記図22のステップS31における無効エッジ推定の処理について説明する。
この処理を開始すると、まず、注目画素のノイズ量を読み込むとともに(ステップS50)、エッジモデルの座標データを読み込む(ステップS51)。
次に、注目領域のノイズ量が属する区間の座標データを選択する(ステップS52)。
続いて、数式15に示したような補間処理によって、基準無効エッジ信号を求める(ステップS53)。
その後、算出された無効エッジ信号を出力して(ステップS54)、この処理から図22に示した処理に復帰する。
このような実施形態2によれば、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を動的に推定し、原信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正処理する画像処理システムを構成することが可能となる。
このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。
さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小することができ、低コスト化を図ることが可能となる。
そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、高精度なエッジ信号の推定を、低コスト化を図りながら行うことが可能となる。
一方、ノイズ成分に起因するエッジ信号の算出にテーブルを用いる場合には、高精度なエッジ信号の推定を高速に行うことが可能となる。
また、エッジ信号の変換を、複数の関数を組み合わせて得られる連続的な単調増加関数を用いて行っているために、エッジ信号の連続性を確保することができて、高品位なエッジ信号を得ることができる。
[実施形態3]
図25から図33は本発明の実施形態3を示したものであり、図25は画像処理システムの構成を示すブロック図、図26はベイヤー(Bayer)型原色フィルタの構成を示す図、図27は色差線順次型補色フィルタの構成を示す図、図28は無効エッジ推定部の一構成例を示すブロック図、図29は無効エッジ推定部の他の構成例を示すブロック図、図30はエッジ補正部の構成を示すブロック図、図31はコアリング処理における応答の各例を示す線図、図32は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図33は図32のステップS62における無効エッジ推定の処理の詳細を示すフローチャートである。
図25から図33は本発明の実施形態3を示したものであり、図25は画像処理システムの構成を示すブロック図、図26はベイヤー(Bayer)型原色フィルタの構成を示す図、図27は色差線順次型補色フィルタの構成を示す図、図28は無効エッジ推定部の一構成例を示すブロック図、図29は無効エッジ推定部の他の構成例を示すブロック図、図30はエッジ補正部の構成を示すブロック図、図31はコアリング処理における応答の各例を示す線図、図32は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図33は図32のステップS62における無効エッジ推定の処理の詳細を示すフローチャートである。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
まず、図25を参照して、この画像処理システムの構成について説明する。図25に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。
この図25に示す画像処理システムは、上述した実施形態1の図1に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図1に示したCCD102と無効エッジ推定部110とエッジ補正部111とを、カラーCCD1000と無効エッジ推定手段たる無効エッジ推定部1005とエッジ補正手段たるエッジ補正部1006とに置換し、さらに、プレホワイトバランス部1001と補間部1002とY/C分離手段たるY/C分離部1003とバッファ1004とY/C合成部1007とを追加した構成になっている。その他の基本的な構成は実施形態1と同様であって、同一の構成には同一の名称と符号を付している。
以下、主として異なる部分のみを説明する。
レンズ系100,絞り101,カラーCCD1000を介して撮影された映像信号は、増幅部103へ転送されるようになっている。
バッファ105は、プレホワイトバランス部1001と補間部1002と測光評価部106と合焦点検出部107とへそれぞれ接続されている。プレホワイトバランス部1001は、増幅部103へ接続されている。補間部1002は、Y/C分離部1003へ接続されている。Y/C分離部1003は、バッファ1004へ接続されている。バッファ1004は、エッジ抽出部109とエッジ強調部112と無効エッジ推定部1005とへそれぞれ接続されている。エッジ抽出部109と無効エッジ推定部1005とは、エッジ補正部1006へそれぞれ接続されている。エッジ補正部1006は、エッジ強調部112へ接続されている。エッジ強調部112は、Y/C合成部1007へ接続されている。Y/C合成部1007は、信号処理部113へ接続されている。
また、カラーCCD1000の近傍に配置された温度センサ117からの信号は、制御部115へ接続されている。
そして、制御部115は、プレホワイトバランス部1001,補間部1002,Y/C分離部1003,無効エッジ推定部1005,エッジ補正部1006,Y/C合成部1007と双方向に接続されていて、これらを制御するようになっている。
次に、この図25に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態3の画像処理システムの作用は、基本的に上述した実施形態1と同様であるために、主として異なる部分についてのみ説明する。
ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。
すると、レンズ系100および絞り101を介して結像される被写体像が、カラーCCD1000により光電変換され、アナログの映像信号として出力される。
このアナログの映像信号は、増幅部103によってISO感度やホワイトバランスを考慮した増幅が行われた後に、A/D変換部104によりデジタルの映像信号に変換されて、バッファ105に記憶される。
なお、本実施形態においては、カラーCCD1000として、図26に示すようなベイヤー(Bayer)型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、CCDに限るものではなく、CMOSやその他の撮像素子を用いても構わないことは、上述した実施形態1と同様である。
ここで、図26を参照して、ベイヤー(Bayer)型の色フィルタの構成について説明する。
図26に示すようなベイヤー(Bayer)型の原色フィルタは、2×2画素を基本単位として、この基本単位内の対角する画素位置に赤(R),青(B)フィルタが1つずつ、残りの対角する画素位置に緑(G)フィルタがそれぞれ、配置されたものとなっている。
続いて、バッファ105内の映像信号は、測光評価部106と、合焦点検出部107と、プレホワイトバランス部1001と、へそれぞれ転送される。
これらの内のプレホワイトバランス部1001は、バッファ105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する(つまり、累計的に加算する)ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部1001は、算出した係数を増幅部103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮影と同様にして、映像信号がバッファ105へ転送される。この本撮影は、プレホワイトバランス部1001によって求められた簡易ホワイトバランス係数と、測光評価部106によって求められた露光条件と、合焦点検出部107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部115へ転送される。
本撮影によって得られたバッファ105内の映像信号は、まず、補間部1002へ転送される。
この補間部1002は、制御部115の制御に基づき、公知の補間処理によりR,G,Bの三板からなる映像信号を生成して、Y/C分離部1003へ転送する。
Y/C分離部1003は、制御部115の制御に基づき、R,G,B信号を次の数式17に示すように輝度信号Yおよび色差信号Cb,Crへ分離する。
[数17]
Y = 0.29900R+0.58700G+0.11400B
Cb=−0.16874R−0.33126G+0.50000B
Cr= 0.50000R−0.41869G−0.08131B
Y/C分離部1003により算出された輝度信号および色差信号は、バッファ1004へ転送されて保存される。
[数17]
Y = 0.29900R+0.58700G+0.11400B
Cb=−0.16874R−0.33126G+0.50000B
Cr= 0.50000R−0.41869G−0.08131B
Y/C分離部1003により算出された輝度信号および色差信号は、バッファ1004へ転送されて保存される。
エッジ抽出部109は、制御部115の制御に基づき、バッファ1004内の輝度信号Yから、図2に示したような注目画素P11を包含する3×3画素サイズの注目領域Pijを順次抽出して、図3に示したようなエッジ抽出フィルタを用いて、注目画素P11におけるエッジ信号Eを抽出する。エッジ抽出部109は、抽出したエッジ信号Eを、エッジ補正部1006へ転送する。
無効エッジ推定部1005は、制御部115の制御に基づき、バッファ1004内の輝度信号Yから、上述したエッジ抽出部109と同一の3×3画素サイズの注目領域Pijを順次抽出し、注目画素P11におけるノイズ成分に起因する無効エッジ信号IEを推定する。無効エッジ推定部1005は、推定したノイズ成分に起因する無効エッジ信号IEを、エッジ補正部1006へ転送する。
エッジ補正部1006は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部1005からの無効エッジ信号IEを用いてコアリング処理を行う。エッジ補正部1006は、コアリング処理を行ったエッジ信号E’を、エッジ強調部112へ転送する。
エッジ強調部112は、制御部115の制御に基づき、バッファ1004内の輝度信号Yからエッジ抽出部109と同一の注目画素P11に対応する輝度信号Yを順次抽出して、エッジ補正部111からのコアリング処理がなされたエッジ信号E’を用いて、次の数式18に示すようなエッジ強調処理を行う。
[数18]
Y’=Y+g・E’
なお、この数式18におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。
[数18]
Y’=Y+g・E’
なお、この数式18におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。
また、エッジ強調部112は、バッファ1004内の色差信号Cb,Crからエッジ抽出部109と同一の注目画素P11に対応する色差信号Cb,Crを抽出する。そして、エッジ強調部112は、抽出した色差信号Cb,Crとエッジ強調処理後の輝度信号Y’とを、Y/C合成部1007へ転送する。
Y/C合成部1007は、制御部115の制御に基づき、エッジ強調処理後の輝度信号Y’と色差信号Cb,Crとから、次の数式19に示すようにRGBの三信号(R’,G’,B’)を合成する。
[数19]
R’=Y’ +1.40200Cr
G’=Y’−0.34414Cb−0.71414Cr
B’=Y’+1.77200Cb
Y/C合成部1007は、合成したR’,G’,B’信号を、信号処理部113へ転送する。
[数19]
R’=Y’ +1.40200Cr
G’=Y’−0.34414Cb−0.71414Cr
B’=Y’+1.77200Cb
Y/C合成部1007は、合成したR’,G’,B’信号を、信号処理部113へ転送する。
なお、上述したようなエッジ抽出部109,無効エッジ推定部1005,エッジ補正部1006,エッジ強調部112,Y/C合成部1007の各処理は、制御部115の制御に基づき、3×3画素サイズの注目領域Pij単位で同期して行われるようになっている。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部114へ転送する。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
次に、図28を参照して、無効エッジ推定部1005の構成の一例について説明する。
この無効エッジ推定部1005は、上述した実施形態1の図5に示した無効エッジ推定部110と基本的に同様であり、テーブル変換手段たる無効エッジテーブル部1100を追加するとともに、パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206を省略したものとなっている。その他の構成は同様であるために、同一の名称と符号を付して、以下では、主として異なる部分についてのみ説明する。
平均算出部200とゲイン算出部201と標準値付与部202とは、無効エッジテーブル部1100へそれぞれ接続されている。無効エッジテーブル部1100は、エッジ補正部1006へ接続されている。
制御部115は、無効エッジテーブル部1100と双方向に接続されていて、これを制御するようになっている。
次に、このような無効エッジ推定部1005の作用について説明する。
平均算出部200は、制御部115の制御に基づき、バッファ105内の輝度信号Yから図2に示したような注目領域Pijの平均値AVを算出して、無効エッジテーブル部1100へ転送する。
ゲイン算出部201は、制御部115から転送されるISO感度と露光条件に関する情報とホワイトバランス係数との内の少なくとも1つに基づき、増幅部103における増幅量を求めて、求めた増幅量を無効エッジテーブル部1100へ転送する。
また、制御部115は、温度センサ117からカラーCCD1000の温度情報を取得して、取得した温度情報を無効エッジテーブル部1100へ転送する。
無効エッジテーブル部1100は、平均算出部200からの注目領域の平均値と、ゲイン算出部201からのゲインの情報と、制御部115からの温度情報と、に基づいて、ノイズ成分に起因する無効エッジ信号IEを出力する。
ここに、無効エッジテーブル部1100は、信号値レベル,ゲイン,温度と、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態1の数式5および数式6に基づいて構築されている。無効エッジテーブル部1100は、求めた無効エッジ信号IEをエッジ補正部1006へ転送する。
なお、上述したような無効エッジ信号を算出する過程において、温度tやゲインgなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部202に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速化や省電力化などを図ることが可能となる。
また、上述では、ノイズ成分に起因するエッジ信号を推定するために、撮像素子の温度,ISO感度,露出情報,ホワイトバランス情報などの関連情報を用いていたが、このような構成に限定されるものでもない。例えば、図29に示すように、輝度信号のレベルのみに基づいて、ノイズ成分に起因するエッジ信号を推定するように構成することも可能である。
ここで、図29を参照して、無効エッジ推定部1005の構成の他の例について説明する。
この図29に示す無効エッジ推定部1005は、図28に示すような構成から、ゲイン算出部201と標準値付与部202とを省略して、無効エッジテーブル部1100をテーブル変換手段たる無効エッジテーブル部1101により置換した構成となっている。この図29に示す無効エッジ推定部1005におけるその他の基本的な構成は、図28に示したものと同様であるために、同一の構成には同一の名称と符号を付して、以下では、主として異なる部分についてのみ説明する。
平均算出部200は、無効エッジテーブル部1101へ接続されている。無効エッジテーブル部1101は、エッジ補正部1006へ接続されている。
制御部115は、無効エッジテーブル部1101と双方向に接続されていて、これを制御するようになっている。
次に、このような無効エッジ推定部1005の作用について説明する。
平均算出部200は、制御部115の制御に基づき、バッファ105内の輝度信号Yから、図2に示したような注目領域Pijの平均値AVを算出して、無効エッジテーブル部1101へ転送する。
無効エッジテーブル部1101は、平均算出部200からの注目領域Pijの平均値AVに基づき、ノイズ成分に起因する無効エッジ信号IEを出力する。ここに、無効エッジテーブル部1101は、所定のゲイン,所定の温度における信号値レベルと、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態1の数式5および数式6に基づいて構築されている。無効エッジテーブル部1101は、求めた無効エッジ信号IEを、エッジ補正部1006へ転送する。
続いて、図30を参照して、エッジ補正部1006の構成の一例について説明する。
このエッジ補正部1006は、テーブル補正手段たるエッジ補正テーブル部1200を含んでいる。
エッジ抽出部109と無効エッジ推定部1005とは、エッジ補正テーブル部1200へそれぞれ接続されている。エッジ補正テーブル部1200は、エッジ強調部112へ接続されている。
また、制御部115は、エッジ補正テーブル部1200と双方向に接続されていて、これを制御するようになっている。
次に、このようなエッジ補正部1006の作用について説明する。
エッジ補正テーブル部1200は、制御部115の制御に基づき、エッジ抽出部109から注目画素P11に対するエッジ信号Eを、無効エッジ推定部1005から注目画素P11に対する無効エッジ信号IEを、それぞれ読み込む。
ここに、エッジ補正テーブル部1200は、複数種類、ここでは例えば図31に示すような3種類、の代表的な無効エッジ信号IEk(k=1〜3)の大きさに対応する変換の関係を記録するテーブルである。
そして、エッジ補正テーブル部1200は、無効エッジ推定部1005からの無効エッジ信号IEに基づいて、記録されている代表的な無効エッジ信号IEkに最も近い変換の関係を選択し、選択した関係に基づき、エッジ抽出部109からのエッジ信号Eから補正後のエッジ信号E’を求めて出力する。その後、エッジ補正テーブル部1200は、補正後のエッジ信号E’を、エッジ強調部112へ転送する。
なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。
また、上述では、カラー撮像素子としてベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定していたが、このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。例えば、図27は、色差線順次型の補色フィルタの構成を示している。
この色差線順次方式の補色フィルタは、2×2画素を基本単位として、シアン(Cy)およびイエロー(Ye)が2×2画素の同一ラインに、マゼンタ(Mg)および緑(G)が2×2画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ(Mg),緑(G)の位置は、ライン毎に反転するように構成されている。
このような色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる場合には、Y/C分離部1003における輝度信号Yおよび色差信号Cb,Crへ分離は、次の数式20に示すように行われる。
[数20]
Y =Cy+Ye+G+Mg
Cb=(Cy+Mg)−(Ye+G)
Cr=(Ye+Mg)−(Cy+G)
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーCCD1000からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
[数20]
Y =Cy+Ye+G+Mg
Cb=(Cy+Mg)−(Ye+G)
Cr=(Ye+Mg)−(Cy+G)
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーCCD1000からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図32を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図32に示す処理の内の、上述した実施形態1の図14に示した処理とほぼ同様な処理については、同一の符号を付している。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインやホワイトバランス係数などのヘッダ情報を読み込む(ステップS1)。
次に、公知の補間処理を行って、三板の映像信号を生成する(ステップS60)。
続いて、数式17に示したように、輝度信号および色差信号を抽出する(ステップS61)。
そして、図2に示したような注目画素を含む3×3画素サイズの注目領域を、輝度信号および色差信号毎に抽出する(ステップS2)。
その後、例えば図3に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する(ステップS3)。
さらに、後で図33を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する(ステップS62)。
次に、図31に示したような複数種類の変換の関係からなるテーブルを読み込んで、補正されたエッジ信号を出力する(ステップS63)。
続いて、補正されたエッジ信号を用いて、数式18に示したように、輝度信号にエッジ強調処理を行う(ステップS10)。
そして、全注目領域についての処理が完了したか否かを判定し(ステップS11)。完了していない場合には、上記ステップS2へ戻って次の注目領域について上述したような処理を繰り返して行う。
また、全注目領域についての処理が完了したと判定された場合には、数式19に示したように、R’,G’,B’の三信号を合成する(ステップS64)。
その後、公知の彩度強調処理や圧縮処理などの信号処理を行い(ステップS12)、処理後の映像信号を出力して(ステップS13)、この一連の処理を終了する。
次に、図33を参照して、上記図32のステップS62における無効エッジ推定の処理について説明する。
図33のステップS62においてこの処理が開始されると、まず、注目領域の輝度信号の平均値を算出する(ステップS70)。
次に、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する(ステップS71)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。
続いて、無効エッジテーブルを用いて無効エッジ信号を求める(ステップS72)。
その後、算出された無効エッジ信号を出力して(ステップS73)、この処理から図32に示した処理に復帰する。
このような実施形態3によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と輝度信号とに基づきノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によって補正処理する画像処理システムを構成することが可能となる。
このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
また、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。
さらに、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
そして、必要となる情報が得られない場合でも、標準値を設定するようになっているために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。
また、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
[実施形態4]
図34および図35は本発明の実施形態4を示したものであり、図34は画像処理システムの構成を示すブロック図、図35は画像処理プログラムによる信号処理全体の流れを示すフローチャートである。
図34および図35は本発明の実施形態4を示したものであり、図34は画像処理システムの構成を示すブロック図、図35は画像処理プログラムによる信号処理全体の流れを示すフローチャートである。
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
まず、図34を参照して、この画像処理システムの構成について説明する。図34に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。
この図34に示す画像処理システムは、上述した実施形態2の図16に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図16に示したCCD102をカラーCCD1300に置換し、プレホワイトバランス部1301と補間部1302とY/C分離手段たるY/C分離部1303とバッファ1304とY/C合成部1305とを追加した構成になっている。その他の基本的な構成は実施形態2と同様であって、同一の構成には同一の名称と符号を付している。
以下、主として異なる部分のみを説明する。
レンズ系100,絞り101,カラーCCD1300を介して撮影された映像信号は、増幅部103へ転送されるようになっている。
バッファ105は、プレホワイトバランス部1301と補間部1302と測光評価部106と合焦点検出部107とへそれぞれ接続されている。プレホワイトバランス部1301は、増幅部103へ接続されている。補間部1302は、Y/C分離部1003へ接続されている。Y/C分離部1303は、バッファ1304へ接続されている。バッファ1304は、エッジ抽出部109とノイズ処理部600とへそれぞれ接続されている。エッジ強調部112は、Y/C合成部1305へ接続されている。Y/C合成部1305は、信号処理部113へ接続されている。
また、カラーCCD1300の近傍に配置された温度センサ117からの信号は、制御部115へ接続されている。
そして、制御部115は、プレホワイトバランス部1301,補間部1302,Y/C分離部1303,Y/C合成部1305と双方向に接続されていて、これらを制御するようになっている。
次に、この図34に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態4の画像処理システムの作用は、基本的に上述した実施形態2と同様であるために、主として異なる部分についてのみ説明する。
ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。
すると、レンズ系100および絞り101を介して結像される被写体像が、カラーCCD1300により光電変換され、アナログの映像信号として出力される。
このアナログの映像信号は、増幅部103によってISO感度やホワイトバランスを考慮した増幅が行われた後に、A/D変換部104によりデジタルの映像信号に変換されて、バッファ105に記憶される。
なお、本実施形態においては、カラーCCD1300として、ベイヤー(Bayer)型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、CCDに限るものではなく、CMOSやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。
続いて、バッファ105内の映像信号は、測光評価部106と、合焦点検出部107と、プレホワイトバランス部1301と、へそれぞれ転送される。
これらの内のプレホワイトバランス部1301は、バッファ105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する(つまり、累計的に加算する)ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部1301は、算出した係数を増幅部103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮像と同様にして、映像信号がバッファ105へ転送される。この本撮影は、プレホワイトバランス部1301によって求められた簡易ホワイトバランス係数と、測光評価部106によって求められた露光条件と、合焦点検出部107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部115へ転送される。
本撮影によって得られたバッファ105内の映像信号は、まず、補間部1302へ転送される。
この補間部1302は、制御部115の制御に基づき、公知の補間処理によりR,G,Bの三板からなる映像信号を生成して、Y/C分離部1303へ転送する。
Y/C分離部1303は、制御部115の制御に基づき、R,G,B信号を数式17に示したように輝度信号Yおよび色差信号Cb,Crへ分離する。
Y/C分離部1303により算出された輝度信号および色差信号は、バッファ1304へ転送されて保存される。
ノイズ処理部600は、制御部115の制御に基づき、図2に示したような注目画素P11を包含する3×3画素サイズの注目領域Pijを輝度信号および色差信号毎に個別に順次抽出する。そして、ノイズ処理部600は、特開2005−175718号公報に開示されているようにノイズのモデルに基づき注目画素P11に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量をNY、平滑化がなされた輝度信号をNR_Y、平滑化がなされた色差信号をNR_Cb,NR_Crによりそれぞれ表すことにする。ノイズ処理部600は、推定した輝度信号に関するノイズ量NYを無効エッジ推定部601へ、平滑化処理を行った輝度信号NR_Yおよび色差信号NR_Cb,NR_Crをエッジ強調部112へ、それぞれ転送する。
エッジ抽出部109は、制御部115の制御に基づき、バッファ1304内の輝度信号Yから、図2に示したような注目画素P11を包含する3×3画素サイズの注目領域Pijを順次抽出して、図3に示したようなエッジ抽出フィルタを用いて、注目画素P11におけるエッジ信号Eを抽出する。エッジ抽出部109は、抽出したエッジ信号Eを、エッジ補正部602へ転送する。
無効エッジ推定部601は、制御部115の制御に基づき、ノイズ処理部600から輝度信号に関するノイズ量NYを読み込み、注目画素P11におけるノイズ成分に起因する無効エッジ信号IEを推定する。無効エッジ推定部601は、推定したノイズ成分に起因する無効エッジ信号IEを、エッジ補正部602へ転送する。
エッジ補正部602は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部601からの無効エッジ信号IEと、所定の関数(例えば、数式16に示すような3次関数)と、を用いて変換処理を行う。エッジ補正部602は、変換処理を行ったエッジ信号E’を、エッジ強調部112へ転送する。
エッジ強調部112は、制御部115の制御に基づき、ノイズ処理部600からの平滑化処理がなされた輝度信号NR_Yに対して、エッジ補正部602からの変換処理がなされたエッジ信号E’を用いて次の数式21に示すようなエッジ強調処理を行う。
[数21]
NR_Y’=NR_Y+g・E’
なお、この数式21におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。
[数21]
NR_Y’=NR_Y+g・E’
なお、この数式21におけるgは、所定のゲイン値を意味し、例えば0.5〜4.0程度の値をとるようになっている。
そして、エッジ強調部112は、エッジ強調処理を行った輝度信号NR_Y’を、平滑化処理がなされた色差信号NR_Cb,NR_Crとともに、Y/C合成部1007へ転送する。
Y/C合成部1007は、制御部115の制御に基づき、平滑化処理およびエッジ強調処理後の輝度信号Y’と、平滑化処理後の色差信号NR_Cb,NR_Crとから、次の数式22に示すようにRGBの三信号(R’,G’,B’)を合成する。
[数22]
R’=NR_Y’ +1.40200NR_Cr
G’=NR_Y’−0.34414NR_Cb−0.71414NR_Cr
B’=NR_Y’+ 1.7720NR_Cb
Y/C合成部1007は、合成したR’,G’,B’信号を、信号処理部113へ転送する。
[数22]
R’=NR_Y’ +1.40200NR_Cr
G’=NR_Y’−0.34414NR_Cb−0.71414NR_Cr
B’=NR_Y’+ 1.7720NR_Cb
Y/C合成部1007は、合成したR’,G’,B’信号を、信号処理部113へ転送する。
なお、上述したようなノイズ処理部600,エッジ抽出部109,無効エッジ推定部601,エッジ補正部602,エッジ強調部112,Y/C合成部1305の各処理は、制御部115の制御に基づき、3×3画素サイズの注目領域Pij単位で同期して行われるようになっている。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部114へ転送する。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。
また、上述では、カラー撮像素子としてベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定していたが、このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーCCD1300からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図35を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図35に示す処理の内の、上述した実施形態2の図22に示した処理とほぼ同様な処理については、同一の符号を付している。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインやホワイトバランス係数などのヘッダ情報を読み込む(ステップS1)。
次に、公知の補間処理を行って、三板の映像信号を生成する(ステップS80)。
続いて、数式17に示したように、輝度信号および色差信号を抽出する(ステップS81)。
そして、図2に示したような注目画素を含む3×3画素サイズの注目領域を、輝度信号および色差信号毎に抽出する(ステップS2)。
その後、例えば図3に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する(ステップS3)。
さらに、図23に示したように、注目画素に対するノイズ処理を輝度信号および色差信号毎に行う(ステップS30)。
また、図24に示したように、注目画素における輝度信号のノイズ成分に起因する無効エッジ信号を推定する(ステップS31)。
続いて、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する(ステップS5)。
ここで、エッジ信号が無効エッジ信号以下である場合には、数式16に示すような3次関数を用いてエッジ信号を変換する(ステップS32)。
ステップS30の処理が終わった後であって、このステップS32の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた輝度信号に数式21に示したようにエッジ強調処理を行う。また、ステップS30の処理が終わった後であって、ステップS5においてエッジ信号の絶対値が無効エッジ信号よりも大きいと判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた輝度信号に数式21に示したようにエッジ強調処理を行う(ステップS10)。
次に、全注目領域についての処理が完了したか否かを判定し(ステップS11)、完了していない場合には、上記ステップS2へ戻って次の注目領域について上述したような処理を繰り返して行う。
また、全注目領域についての処理が完了したと判定された場合には、数式22に示したように、R’,G’,B’の三信号を合成する(ステップS82)。
その後、公知の彩度強調処理や圧縮処理などの信号処理を行い(ステップS12)、処理後の映像信号を出力して(ステップS13)、この一連の処理を終了する。
このような実施形態4によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。
このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。
さらに、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。
そして、補間処理を行った後にノイズ処理およびエッジ抽出処理を行っているために、多様な撮像系に対して適用することができ、汎用性の高い画像処理システムとなる。
[実施形態5]
図36から図38は本発明の実施形態5を示したものであり、図36は画像処理システムの構成を示すブロック図、図37はベイヤー(Bayer)型原色フィルタを前面に配置した撮像素子から得られる映像信号をY/C分離する方法の一例を示す図、図38は注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図である。
図36から図38は本発明の実施形態5を示したものであり、図36は画像処理システムの構成を示すブロック図、図37はベイヤー(Bayer)型原色フィルタを前面に配置した撮像素子から得られる映像信号をY/C分離する方法の一例を示す図、図38は注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図である。
この実施形態5において、上述の実施形態1〜4と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
まず、図36を参照して、この画像処理システムの構成について説明する。図36に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。
この図36に示す画像処理システムは、上述した実施形態2の図16に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図16に示したCCD102をカラーCCD1400に置換し、プレホワイトバランス部1401とY/C分離手段たるY/C分離部1402とバッファ1403と補間部1404とを追加した構成になっている。その他の基本的な構成は実施形態2と同様であって、同一の構成には同一の名称と符号を付している。
以下、主として異なる部分のみを説明する。
レンズ系100,絞り101,カラーCCD1400を介して撮影された映像信号は、増幅部103へ転送されるようになっている。
バッファ105は、プレホワイトバランス部1401とY/C分離部1402と測光評価部106と合焦点検出部107とへそれぞれ接続されている。プレホワイトバランス部1401は、増幅部103へ接続されている。Y/C分離部1402は、バッファ1403へ接続されている。バッファ1403は、エッジ抽出部109とノイズ処理部600とへそれぞれ接続されている。ノイズ処理部600は、無効エッジ推定部601と補間部1404とへそれぞれ接続されている。補間部1404は、エッジ強調部112へ接続されている。
また、カラーCCD1400の近傍に配置された温度センサ117からの信号は、制御部115へ接続されている。
そして、制御部115は、プレホワイトバランス部1401,Y/C分離部1402,補間部1404と双方向に接続されていて、これらを制御するようになっている。
次に、この図36に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態5の画像処理システムの作用は、基本的に上述した実施形態2と同様であるために、主として異なる部分についてのみ説明する。
ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。
すると、レンズ系100および絞り101を介して結像される被写体像が、カラーCCD1400により光電変換され、アナログの映像信号として出力される。
このアナログの映像信号は、増幅部103によってISO感度やホワイトバランスを考慮した増幅が行われた後に、A/D変換部104によりデジタルの映像信号に変換されて、バッファ105に記憶される。
なお、本実施形態においては、カラーCCD1400として、図37(A)に示すようなベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定している。また、撮像素子としては、CCDに限るものではなく、CMOSやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。
続いて、バッファ105内の映像信号は、測光評価部106と、合焦点検出部107と、プレホワイトバランス部1401と、へそれぞれ転送される。
これらの内のプレホワイトバランス部1401は、バッファ105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する(つまり、累計的に加算する)ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部1401は、算出した係数を増幅部103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部I/F部116の2段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮像と同様にして、映像信号がバッファ105へ転送される。この本撮影は、プレホワイトバランス部1401によって求められた簡易ホワイトバランス係数と、測光評価部106によって求められた露光条件と、合焦点検出部107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部115へ転送される。
本撮影によって得られたバッファ105内の単板状態の映像信号は、Y/C分離部1402へ転送されて、このY/C分離部1402により輝度信号Yと色差信号Cb,Crとへ分離される。なお、本実施形態においては、輝度信号Yとして単板状態のG信号を、色差信号Cb,Crとして単板状態のR,B信号を、それぞれ用いるものとする。
こうしてY/C分離部1402により分離された輝度信号および色差信号は、バッファ1403へ転送されて保存される。
ノイズ処理部600は、制御部115の制御に基づき、図37(B),図37(E),図37(H),図37(K)に示すような5×5画素サイズの輝度信号の注目領域と、図37(C),図37(D)、図37(F),図37(G)、図37(I),図37(J)、図37(L),図37(M)に示すような5×5画素サイズの色差信号の注目領域と、を個別に順次抽出する。
従って、ノイズ処理部600により抽出される注目領域の輝度信号Yと色差信号Cb,Crとは、注目画素の種類に応じて、4つのパターン、すなわち、図37(B),図37(C),図37(D)に示すようなパターンと、図37(E),図37(F),図37(G)に示すようなパターンと、図37(H),図37(I),図37(J)に示すようなパターンと、図37(K),図37(L),図37(M)に示すようなパターンと、が生じることになる。
そして、ノイズ処理部600は、特開2005−175718号公報に開示されているようにノイズのモデルに基づき注目画素に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量をNY、平滑化がなされた輝度信号をNR_Y、平滑化がなされた色差信号をNR_Cb,NR_Crによりそれぞれ表すことにする。ノイズ処理部600は、推定した輝度信号に関するノイズ量NYを無効エッジ推定部601へ、平滑化処理を行った輝度信号NR_Yおよび色差信号NR_Cb,NR_Crを補間部1404へ、それぞれ転送する。
エッジ抽出部109は、制御部115の制御に基づき、バッファ1403内の輝度信号Yから、図37(B),図37(E),図37(H),図37(K)に示すような5×5画素サイズの注目領域を順次抽出して、図38(A)〜図38(D)に示すようなエッジ抽出フィルタを用いて、注目画素におけるエッジ信号Eを抽出する。ここに、図38(A)は注目画素がRまたはBであるときの水平方向のエッジ抽出フィルタEh、図38(B)は注目画素がGであるときの水平方向のエッジ抽出フィルタEh、図38(C)は注目画素がRまたはBであるときの垂直方向のエッジ抽出フィルタEv、図38(D)は注目画素がGであるときの垂直方向のエッジ抽出フィルタEv、をそれぞれ示している。
エッジ抽出部109は、図38(A)または図38(B)に示したようなエッジ抽出フィルタEhを用いて水平方向のエッジを抽出し、図38(C)または図38(D)に示したようなエッジ抽出フィルタEvを用いて垂直方向のエッジを抽出した後に、数式1に示したようにエッジ信号Eを求める。エッジ抽出部109は、こうして抽出したエッジ信号Eを、エッジ補正部602へ転送する。
無効エッジ推定部601は、制御部115の制御に基づき、ノイズ処理部600から輝度信号に関するノイズ量NYを読み込み、注目画素におけるノイズ成分に起因する無効エッジ信号IEを推定する。無効エッジ推定部601は、推定したノイズ成分に起因する無効エッジ信号IEを、エッジ補正部602へ転送する。
エッジ補正部602は、制御部115の制御に基づき、エッジ抽出部109からのエッジ信号Eに対して、無効エッジ推定部601からの無効エッジ信号IEと、所定の関数(例えば、数式16に示すような3次関数)と、を用いて変換処理を行う。エッジ補正部602は、変換処理を行ったエッジ信号E’を、エッジ強調部112へ転送する。
補間部1404は、制御部115の制御に基づき、ノイズ処理部600からノイズ処理がなされた輝度NR_Yおよび色差信号NR_Cb,NR_Crを読み込み、公知の補間処理を行って、三板からなる輝度信号および色差信号を生成する。そして、補間部1404は、生成した三板からなる輝度信号および色差信号を、エッジ強調部112へ転送する。
エッジ強調部112は、制御部115の制御に基づき、補間部1404からの補間処理がなされた輝度信号NR_Yに対して、エッジ補正部602からの変換処理がなされたエッジ信号E’を用いて、数式21に示したようなエッジ強調処理を行う。そして、エッジ強調部112は、エッジ強調処理を行った輝度信号NR_Y’を、補間処理がなされた色差信号NR_Cb,NR_Crとともに、信号処理部113へ転送する。なお、本実施形態においては、上述したように、輝度信号YとしてG信号を、色差信号Cb,CrとしてR,B信号をそれぞれ用いているために、Y/C合成処理を行うは必要なく、そのまま信号処理部113により処理することができる。
なお、上述したようなノイズ処理部600,エッジ抽出部109,無効エッジ推定部601,エッジ補正部602,補間部1404,エッジ強調部112の各処理は、制御部115の制御に基づき、5×5画素サイズの注目領域単位で同期して行われるようになっている。
信号処理部113は、制御部115の制御に基づき、エッジ強調部112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部114へ転送する。
出力部114は、信号処理部113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーCCD1400からの映像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報(例えば、制御部115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など)をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
このような実施形態5によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。
このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。
さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。
そして、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。
加えて、補間前の単板状態の映像信号に対してノイズ処理およびエッジ抽出処理を行っているために、より高品位な映像信号を得ることが可能となる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
[付記]
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。
[付記1]
撮像素子からの映像信号を処理する画像処理システムであって、
上記映像信号からエッジ信号を抽出するエッジ抽出手段と、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、
を具備したことを特徴とする画像処理システム。
撮像素子からの映像信号を処理する画像処理システムであって、
上記映像信号からエッジ信号を抽出するエッジ抽出手段と、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、
を具備したことを特徴とする画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1、実施形態2、実施形態3、実施形態4、および実施形態5が対応する。エッジ抽出手段は図1、図13、図16、図25、図34、または図36に示したエッジ抽出部109が、無効エッジ推定手段は図1,図5,図12,図13に示した無効エッジ推定部110あるいは図16,図18,図19または図34,図36に示したような無効エッジ推定部601あるいは図25,図28,図29に示したような無効エッジ推定部1005が、エッジ補正手段は図1,図10,図13に示したエッジ補正部111あるいは図16,図20または図34,図36に示したようなエッジ補正部602あるいは図25,図30に示したようなエッジ補正部1006が、それぞれ該当する。
この付記には、実施形態1、実施形態2、実施形態3、実施形態4、および実施形態5が対応する。エッジ抽出手段は図1、図13、図16、図25、図34、または図36に示したエッジ抽出部109が、無効エッジ推定手段は図1,図5,図12,図13に示した無効エッジ推定部110あるいは図16,図18,図19または図34,図36に示したような無効エッジ推定部601あるいは図25,図28,図29に示したような無効エッジ推定部1005が、エッジ補正手段は図1,図10,図13に示したエッジ補正部111あるいは図16,図20または図34,図36に示したようなエッジ補正部602あるいは図25,図30に示したようなエッジ補正部1006が、それぞれ該当する。
この発明の好ましい適用例は、エッジ抽出部109によってエッジ信号を抽出し、無効エッジ推定部110、無効エッジ推定部601、あるいは無効エッジ推定部1005によってノイズ成分に起因するエッジ信号を推定し、エッジ補正部111、エッジ補正部602、あるいはエッジ補正部1006によって上記ノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号を動的に推定し、原信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。
ノイズ成分に起因するエッジ信号を動的に推定し、原信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。
(効果)
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。
[付記2]
上記映像信号から輝度信号を分離するY/C分離手段をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
上記映像信号から輝度信号を分離するY/C分離手段をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態3が対応する。Y/C分離手段は図25に示したY/C分離部1003が、エッジ抽出手段は図25に示したエッジ抽出部109が、無効エッジ推定手段は図25,図28,図29に示したような無効エッジ推定部1005が、それぞれ該当する。
この付記には、実施形態3が対応する。Y/C分離手段は図25に示したY/C分離部1003が、エッジ抽出手段は図25に示したエッジ抽出部109が、無効エッジ推定手段は図25,図28,図29に示したような無効エッジ推定部1005が、それぞれ該当する。
この発明の好ましい適用例は、Y/C分離部1003によって映像信号から輝度信号を分離し、エッジ抽出部109によって輝度信号からエッジ信号を抽出し、無効エッジ推定部1005によって輝度信号のノイズ成分に起因するエッジ信号を推定する画像処理システムである。
(作用)
撮像素子からの映像信号から輝度信号を分離し、ノイズ成分に起因するエッジ信号を動的に推定し、輝度信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。
撮像素子からの映像信号から輝度信号を分離し、ノイズ成分に起因するエッジ信号を動的に推定し、輝度信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。
(効果)
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。
[付記3]
上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。ノイズ処理手段は図16,図17に示したノイズ処理部600が、無効エッジ推定手段は図16,図18,図19に示したような無効エッジ推定部601が、それぞれ該当する。
この付記には、実施形態2が対応する。ノイズ処理手段は図16,図17に示したノイズ処理部600が、無効エッジ推定手段は図16,図18,図19に示したような無効エッジ推定部601が、それぞれ該当する。
この発明の好ましい適用例は、ノイズ処理部600によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、無効エッジ推定部601によって推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。
(作用)
ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。
ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。
(効果)
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。
[付記4]
上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、
上記映像信号から輝度信号を分離するY/C分離手段と、
をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、
上記映像信号から輝度信号を分離するY/C分離手段と、
をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態4および実施形態5が対応する。ノイズ処理手段は図34,図36に示したノイズ処理部600が、Y/C分離手段は図34に示したY/C分離部1303および図36に示したY/C分離部1402が、エッジ抽出手段は図34,図36に示したエッジ抽出部109が、無効エッジ推定手段は図34,図36に示した無効エッジ推定部601が、それぞれ該当する。
この付記には、実施形態4および実施形態5が対応する。ノイズ処理手段は図34,図36に示したノイズ処理部600が、Y/C分離手段は図34に示したY/C分離部1303および図36に示したY/C分離部1402が、エッジ抽出手段は図34,図36に示したエッジ抽出部109が、無効エッジ推定手段は図34,図36に示した無効エッジ推定部601が、それぞれ該当する。
この発明の好ましい適用例は、ノイズ処理部600によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、Y/C分離部1303またはY/C分離部1402によって映像信号から輝度信号を分離し、エッジ抽出部109によってノイズ低減処理がなされていない原信号からエッジ信号を抽出し、無効エッジ推定部601によって推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。
(作用)
ノイズ成分を推定することによりノイズ低減処理を行い、撮像素子からの映像信号から輝度信号を分離し、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。
ノイズ成分を推定することによりノイズ低減処理を行い、撮像素子からの映像信号から輝度信号を分離し、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。
(効果)
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。
[付記5]
上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記1に記載の画像処理システム。
上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1および実施形態3が対応する。エッジ強調手段は、図1,図13,図25に示したエッジ強調部112が該当する。
この付記には、実施形態1および実施形態3が対応する。エッジ強調手段は、図1,図13,図25に示したエッジ強調部112が該当する。
この発明の好ましい適用例は、エッジ強調部112によって撮像素子からの映像信号に対してエッジ強調処理を行う画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、映像信号にエッジ強調を行う。
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、映像信号にエッジ強調を行う。
(効果)
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。
[付記6]
上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記3または付記4に記載の画像処理システム。
上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記3または付記4に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2および実施形態4および実施形態5が対応する。エッジ強調手段は、図16,図34,図36に示したエッジ強調部112が該当する。
この付記には、実施形態2および実施形態4および実施形態5が対応する。エッジ強調手段は、図16,図34,図36に示したエッジ強調部112が該当する。
この発明の好ましい適用例は、エッジ強調部112によってノイズ低減処理がなされた映像信号に対してエッジ強調処理を行う画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、ノイズ低減処理がなされた映像信号にエッジ強調を行う。
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、ノイズ低減処理がなされた映像信号にエッジ強調を行う。
(効果)
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。また、ノイズの影響を抑制した高品位な映像信号を生成することができる。
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。また、ノイズの影響を抑制した高品位な映像信号を生成することができる。
[付記7]
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記映像信号に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記映像信号に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1が対応する。記録手段は図12に示したパラメータ用ROM401が、パラメータ選択手段は図12に示したパラメータ選択部204が、補間手段は図12に示した補間部205が、それぞれ該当する。
この付記には、実施形態1が対応する。記録手段は図12に示したパラメータ用ROM401が、パラメータ選択手段は図12に示したパラメータ選択部204が、補間手段は図12に示した補間部205が、それぞれ該当する。
この発明の好ましい適用例は、パラメータ用ROM401に、予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、パラメータ選択部204によって基準エッジモデルの係数を選択し、補間部205によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
映像信号と基準エッジモデルとに基づいて補間処理を行うことにより、ノイズ成分に起因するエッジ信号を求める。
映像信号と基準エッジモデルとに基づいて補間処理を行うことにより、ノイズ成分に起因するエッジ信号を求める。
(効果)
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構成することが可能となる。
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構成することが可能となる。
[付記8]
上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記1に記載の画像処理システム。
上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態3が対応する。テーブル変換手段は、図29に示したような無効エッジテーブル部1101が該当する。
この付記には、実施形態3が対応する。テーブル変換手段は、図29に示したような無効エッジテーブル部1101が該当する。
この発明の好ましい適用例は、無効エッジテーブル部1101によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
映像信号と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。
映像信号と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。
(効果)
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
[付記9]
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1が対応する。記録手段は図5に示したパラメータ用ROM203が、収集手段は図1に示した温度センサ117,制御部115および図5に示したゲイン算出部201が、付与手段は図5に示した標準値付与部202が、パラメータ選択手段は図5に示したパラメータ選択部204が、補間手段は図5に示した補間部205,補正部206が、それぞれ該当する。
この付記には、実施形態1が対応する。記録手段は図5に示したパラメータ用ROM203が、収集手段は図1に示した温度センサ117,制御部115および図5に示したゲイン算出部201が、付与手段は図5に示した標準値付与部202が、パラメータ選択手段は図5に示したパラメータ選択部204が、補間手段は図5に示した補間部205,補正部206が、それぞれ該当する。
この発明の好ましい適用例は、温度センサ117,制御部115およびゲイン算出部201によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部202によって温度センサ117,制御部115およびゲイン算出部201からの情報が得られない場合に標準値を設定し、パラメータ用ROM203に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数と補正係数とを記録し、パラメータ選択部204によって基準エッジモデルの係数と補正係数とを選択し、補間部205,補正部206によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。
(効果)
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。
[付記10]
上記無効エッジ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
上記無効エッジ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態3が対応する。収集手段は図25に示した温度センサ117,制御部115および図28に示したようなゲイン算出部201が、付与手段は図28に示したような標準値付与部202が、テーブル変換手段は図28に示したような無効エッジテーブル部1100が、それぞれ該当する。
この付記には、実施形態3が対応する。収集手段は図25に示した温度センサ117,制御部115および図28に示したようなゲイン算出部201が、付与手段は図28に示したような標準値付与部202が、テーブル変換手段は図28に示したような無効エッジテーブル部1100が、それぞれ該当する。
この発明の好ましい適用例は、温度センサ117,制御部115およびゲイン算出部201によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部202によって温度センサ117,制御部115およびゲイン算出部201からの情報が得られない場合に標準値を設定し、無効エッジテーブル部1100によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と変換テーブルとを用いてノイズ成分に起因するエッジ信号を求める。
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と変換テーブルとを用いてノイズ成分に起因するエッジ信号を求める。
(効果)
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
[付記11]
上記ノイズ処理手段は、
上記映像信号からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、
を有するものであることを特徴とする付記3または付記4に記載の画像処理システム。
上記ノイズ処理手段は、
上記映像信号からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、
を有するものであることを特徴とする付記3または付記4に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。ノイズ推定手段は図16に示した温度センサ117,制御部115および図17に示したゲイン算出部701,標準値付与部702,ノイズテーブル部703が、ノイズ低減手段は図17に示した第1スムージング部705,第2スムージング部706が、それぞれ該当する。
この付記には、実施形態2が対応する。ノイズ推定手段は図16に示した温度センサ117,制御部115および図17に示したゲイン算出部701,標準値付与部702,ノイズテーブル部703が、ノイズ低減手段は図17に示した第1スムージング部705,第2スムージング部706が、それぞれ該当する。
この発明の好ましい適用例は、温度センサ117,制御部115およびゲイン算出部701によってノイズ量推定に用いる情報を収集し、標準値付与部702によって温度センサ117,制御部115およびゲイン算出部701からの情報が得られない場合に標準値を設定し、ノイズテーブル部703によってノイズ量を推定し、第1スムージング部705によってノイズ範囲に属すると判定された映像信号に平滑化を行い、第2スムージング部706によってノイズ範囲に属さないと判定された映像信号に補正を行う画像処理システムである。
(作用)
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報からテーブルを用いてノイズ量を推定し、ノイズ範囲に属すると判定された映像信号には平滑化処理を、ノイズ範囲に属さないと判定された映像信号には補正処理を、それぞれ行う。
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報からテーブルを用いてノイズ量を推定し、ノイズ範囲に属すると判定された映像信号には平滑化処理を、ノイズ範囲に属さないと判定された映像信号には補正処理を、それぞれ行う。
(効果)
撮影毎に異なる条件に動的に適応して、ノイズ量の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でもノイズ量の推定が可能となり、安定したノイズ低減効果を得ることができる。さらに、ノイズ量の算出にテーブルを用いているために、処理を高速に行うことが可能となる。また、平滑化処理と補正処理とを組み合わせて使用しているために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な信号を得ることができる。
撮影毎に異なる条件に動的に適応して、ノイズ量の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でもノイズ量の推定が可能となり、安定したノイズ低減効果を得ることができる。さらに、ノイズ量の算出にテーブルを用いているために、処理を高速に行うことが可能となる。また、平滑化処理と補正処理とを組み合わせて使用しているために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な信号を得ることができる。
[付記12]
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記ノイズ処理手段からのノイズ量に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記ノイズ処理手段からのノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記11に記載の画像処理システム。
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記ノイズ処理手段からのノイズ量に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記ノイズ処理手段からのノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記11に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。記録手段は図18に示したようなパラメータ用ROM801が、パラメータ選択手段は図18に示したようなパラメータ選択部800が、補間手段は図18に示したような補間部802が、それぞれ該当する。
この付記には、実施形態2が対応する。記録手段は図18に示したようなパラメータ用ROM801が、パラメータ選択手段は図18に示したようなパラメータ選択部800が、補間手段は図18に示したような補間部802が、それぞれ該当する。
この発明の好ましい適用例は、パラメータ用ROM801に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、パラメータ選択部800によって基準エッジモデルの係数を選択し、補間部802によってノイズ量と基準エッジモデルとに基づいてノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
ノイズ量と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。
ノイズ量と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。
(効果)
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。
[付記13]
上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記11に記載の画像処理システム。
上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記11に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。記録手段は、図19に示したような無効エッジテーブル部803が該当する。
この付記には、実施形態2が対応する。記録手段は、図19に示したような無効エッジテーブル部803が該当する。
この発明の好ましい適用例は、無効エッジテーブル部803によってノイズ量からノイズ成分に起因するエッジ信号を求める画像処理システムである。
(作用)
ノイズ量と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。
ノイズ量と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。
(効果)
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。
[付記14]
上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする付記9または付記10に記載の画像処理システム。
上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする付記9または付記10に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1および実施形態3が対応する。温度センサは、図1,図25に示した温度センサ117が該当する。
この付記には、実施形態1および実施形態3が対応する。温度センサは、図1,図25に示した温度センサ117が該当する。
この発明の好ましい適用例は、温度センサ117からCCD102またはカラーCCD1000の温度をリアルタイムで測定する画像処理システムである。
(作用)
撮影時の撮像素子の温度を計測して、ノイズ成分に起因するエッジ信号を推定するための情報とする。
撮影時の撮像素子の温度を計測して、ノイズ成分に起因するエッジ信号を推定するための情報とする。
(効果)
撮影時の温度変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
撮影時の温度変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
[付記15]
上記収集手段は、ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする付記9または付記10に記載の画像処理システム。
上記収集手段は、ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする付記9または付記10に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1および実施形態3が対応する。ゲイン算出手段は、図5,図28に示したようなゲイン算出部201,制御部115が該当する。
この付記には、実施形態1および実施形態3が対応する。ゲイン算出手段は、図5,図28に示したようなゲイン算出部201,制御部115が該当する。
この発明の好ましい適用例は、制御部115によってISO感度,露出情報,ホワイトバランス情報などを転送し、ゲイン算出部201によって撮影時のトータルのゲイン量を求める画像処理システムである。
(作用)
ISO感度,露出情報,ホワイトバランス情報から撮影時のゲイン量を求めて、ノイズ成分に起因するエッジ信号を推定するための情報とする。
ISO感度,露出情報,ホワイトバランス情報から撮影時のゲイン量を求めて、ノイズ成分に起因するエッジ信号を推定するための情報とする。
(効果)
撮影時のゲイン変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
撮影時のゲイン変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。
[付記16]
上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする付記1に記載の画像処理システム。
上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態1が対応する。コアリング手段は、図10に示したような加算部301,減算部302,置換部303が該当する。
この付記には、実施形態1が対応する。コアリング手段は、図10に示したような加算部301,減算部302,置換部303が該当する。
この発明の好ましい適用例は、加算部301,減算部302,置換部303によって推定されたノイズ成分に起因するエッジ信号に基づき、エッジ信号にコアリング処理を行う画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に基づいて、エッジ信号にコアリング処理を行う。
ノイズ成分に起因するエッジ信号に基づいて、エッジ信号にコアリング処理を行う。
(効果)
性質が同一であるエッジ信号に基づいてエッジ信号をコアリング処理するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。
性質が同一であるエッジ信号に基づいてエッジ信号をコアリング処理するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。
[付記17]
上記エッジ補正手段は、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
上記エッジ補正手段は、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段と、
を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。定数算出手段は図20に示したような定数算出部901が、関数変換手段は図20に示したような変換部902が、それぞれ該当する。
この付記には、実施形態2が対応する。定数算出手段は図20に示したような定数算出部901が、関数変換手段は図20に示したような変換部902が、それぞれ該当する。
この発明の好ましい適用例は、定数算出部901によってノイズ成分に起因するエッジ信号に基づきエッジ信号の補正に用いる関数の定数項を算出し、変換部902によって定数項を設定した関数に基づきエッジ信号を変換する画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号に基づいてエッジ信号の補正に用いる関数の定数項を算出し、定数項を設定した関数に基づいてエッジ信号を変換する。
ノイズ成分に起因するエッジ信号に基づいてエッジ信号の補正に用いる関数の定数項を算出し、定数項を設定した関数に基づいてエッジ信号を変換する。
(効果)
ノイズ成分に起因するエッジ信号に適用的に追随して最適な変換処理を実施するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。
ノイズ成分に起因するエッジ信号に適用的に追随して最適な変換処理を実施するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。
[付記18]
上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるものであることを特徴とする付記17に記載の画像処理システム。
上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるものであることを特徴とする付記17に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態2が対応する。
この付記には、実施形態2が対応する。
この発明の好ましい適用例は、図21に示したような1次関数および3次関数を組み合わせて、エッジ信号の変換を行う画像処理システムである。
(作用)
1次関数および3次関数を組み合わせて、エッジ信号の変換を行う。
1次関数および3次関数を組み合わせて、エッジ信号の変換を行う。
(効果)
1次関数および3次関数を組み合わせることにより、定数項の算出が単純となり、処理の高速化と低コスト化とを図ることが可能となる。また、補正後のエッジ信号の連続性を確保することができるために、高品位なエッジ信号を得ることができる。
1次関数および3次関数を組み合わせることにより、定数項の算出が単純となり、処理の高速化と低コスト化とを図ることが可能となる。また、補正後のエッジ信号の連続性を確保することができるために、高品位なエッジ信号を得ることができる。
[付記19]
上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする付記1に記載の画像処理システム。
上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする付記1に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態3が対応する。テーブル補正手段は、図30に示したエッジ補正テーブル部1200が該当する。
この付記には、実施形態3が対応する。テーブル補正手段は、図30に示したエッジ補正テーブル部1200が該当する。
この発明の好ましい適用例は、エッジ補正テーブル部1200によってノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。
(作用)
ノイズ成分に起因するエッジ信号と変換テーブルとを用いて、エッジ信号を補正する。
ノイズ成分に起因するエッジ信号と変換テーブルとを用いて、エッジ信号を補正する。
(効果)
エッジ信号の補正に変換テーブルを用いているために、高精度なエッジ信号の補正を高速に行うことが可能となる。
エッジ信号の補正に変換テーブルを用いているために、高精度なエッジ信号の補正を高速に行うことが可能となる。
[付記20]
上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする付記2または付記4に記載の画像処理システム。
上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする付記2または付記4に記載の画像処理システム。
(対応する発明の実施形態と好ましい適用例)
この付記には、実施形態3および実施形態5が対応する。
この付記には、実施形態3および実施形態5が対応する。
この発明の好ましい適用例は、図26,図37(A)に示したようなベイヤー(Bayer)型原色フィルタ、または図27に示したような色差線順次型補色フィルタを単板撮像素子の前面に配置した画像処理システムである。
(作用)
ベイヤー(Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
ベイヤー(Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
(効果)
従来の撮影部との親和性が高いために、多くの画像処理システムへ適用することが可能となる。
従来の撮影部との親和性が高いために、多くの画像処理システムへ適用することが可能となる。
[付記21]
コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、
コンピュータに、
上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、
を実行させるための画像処理プログラム。
コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、
コンピュータに、
上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、
を実行させるための画像処理プログラム。
(対応する発明の実施形態と効果)
付記1とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
付記1とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
[付記22]
上記映像信号から輝度信号を分離するY/C分離ステップをさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
上記映像信号から輝度信号を分離するY/C分離ステップをさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記2とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
付記2とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
[付記23]
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記3とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記3とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記24]
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、
上記映像信号から輝度信号を分離するY/C分離ステップと、
をさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、
上記映像信号から輝度信号を分離するY/C分離ステップと、
をさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記4とほぼ同様である。ただし、各ステップは、図35に示したステップが対応する。
付記4とほぼ同様である。ただし、各ステップは、図35に示したステップが対応する。
[付記25]
上記無効エッジ推定ステップは、
上記映像信号に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記無効エッジ推定ステップは、
上記映像信号に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記7とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
付記7とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
[付記26]
上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記8とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
付記8とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
[付記27]
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記9とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
付記9とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
[付記28]
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記10とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
付記10とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
[付記29]
上記ノイズ処理ステップは、
上記映像信号からノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減ステップと、
を含むステップであることを特徴とする付記23または付記24に記載の画像処理プログラム。
上記ノイズ処理ステップは、
上記映像信号からノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減ステップと、
を含むステップであることを特徴とする付記23または付記24に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記11とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記11とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記30]
上記無効エッジ推定ステップは、
上記ノイズ処理ステップにより得られたノイズ量に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記29に記載の画像処理プログラム。
上記無効エッジ推定ステップは、
上記ノイズ処理ステップにより得られたノイズ量に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記29に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記12とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記12とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記31]
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記29に記載の画像処理プログラム。
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記29に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記13とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記13とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記32]
上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記16とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
付記16とほぼ同様である。ただし、各ステップは、図14,図15、または図22,図23,図24、または図32,図33、または図35に示したステップが対応する。
[付記33]
上記エッジ補正ステップは、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記エッジ補正ステップは、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステップと、
を含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記17とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記17とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記34]
上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるステップであることを特徴とする付記33に記載の画像処理プログラム。
上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるステップであることを特徴とする付記33に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記18とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
付記18とほぼ同様である。ただし、各ステップは、図22,図23,図24に示したステップが対応する。
[付記35]
上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステップであることを特徴とする付記21に記載の画像処理プログラム。
(対応する発明の実施形態と効果)
付記19とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
付記19とほぼ同様である。ただし、各ステップは、図32,図33に示したステップが対応する。
本出願は、2005年10月26日に日本国に出願された特願2005−311704号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (35)
- 撮像素子からの映像信号を処理する画像処理システムであって、
上記映像信号からエッジ信号を抽出するエッジ抽出手段と、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、
を具備したことを特徴とする画像処理システム。 - 上記映像信号から輝度信号を分離するY/C分離手段をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、
上記映像信号から輝度信号を分離するY/C分離手段と、
をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項1に記載の画像処理システム。
- 上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項3または請求項4に記載の画像処理システム。
- 上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記映像信号に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項1に記載の画像処理システム。
- 上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記無効エッジ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、
を有するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記ノイズ処理手段は、
上記映像信号からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、
を有するものであることを特徴とする請求項3または請求項4に記載の画像処理システム。 - 上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記ノイズ処理手段からのノイズ量に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記ノイズ処理手段からのノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする請求項11に記載の画像処理システム。 - 上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項11に記載の画像処理システム。
- 上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする請求項9または請求項10に記載の画像処理システム。
- 上記収集手段は、ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする請求項9または請求項10に記載の画像処理システム。
- 上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする請求項1に記載の画像処理システム。
- 上記エッジ補正手段は、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段と、
を有するものであることを特徴とする請求項1に記載の画像処理システム。 - 上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるものであることを特徴とする請求項17に記載の画像処理システム。
- 上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする請求項1に記載の画像処理システム。
- 上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする請求項2または請求項4に記載の画像処理システム。
- コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、
コンピュータに、
上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、
を実行させるための画像処理プログラム。 - 上記映像信号から輝度信号を分離するY/C分離ステップをさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、
上記映像信号から輝度信号を分離するY/C分離ステップと、
をさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記無効エッジ推定ステップは、
上記映像信号に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項21に記載の画像処理プログラム。
- 上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、
を含むステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記ノイズ処理ステップは、
上記映像信号からノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減ステップと、
を含むステップであることを特徴とする請求項23または請求項24に記載の画像処理プログラム。 - 上記無効エッジ推定ステップは、
上記ノイズ処理ステップにより得られたノイズ量に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする請求項29に記載の画像処理プログラム。 - 上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項29に記載の画像処理プログラム。
- 上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする請求項21に記載の画像処理プログラム。
- 上記エッジ補正ステップは、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステップと、
を含むステップであることを特徴とする請求項21に記載の画像処理プログラム。 - 上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには3次関数を、用いるステップであることを特徴とする請求項33に記載の画像処理プログラム。
- 上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステップであることを特徴とする請求項21に記載の画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005311704 | 2005-10-26 | ||
JP2005311704 | 2005-10-26 | ||
PCT/JP2006/318967 WO2007049418A1 (ja) | 2005-10-26 | 2006-09-25 | 画像処理システム、画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2007049418A1 true JPWO2007049418A1 (ja) | 2009-04-30 |
Family
ID=37967540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007542276A Pending JPWO2007049418A1 (ja) | 2005-10-26 | 2006-09-25 | 画像処理システム、画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8035705B2 (ja) |
EP (1) | EP1947840A4 (ja) |
JP (1) | JPWO2007049418A1 (ja) |
CN (1) | CN101278552A (ja) |
WO (1) | WO2007049418A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101278552A (zh) * | 2005-10-26 | 2008-10-01 | 奥林巴斯株式会社 | 图像处理系统、图像处理程序 |
WO2007077730A1 (ja) * | 2005-12-28 | 2007-07-12 | Olympus Corporation | 撮像システム、画像処理プログラム |
JP5009004B2 (ja) * | 2006-07-31 | 2012-08-22 | 株式会社リコー | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム |
JP5147597B2 (ja) * | 2008-08-13 | 2013-02-20 | キヤノン株式会社 | 画像形成装置、画像形成方法およびプログラム |
US8374457B1 (en) | 2008-12-08 | 2013-02-12 | Adobe Systems Incorporated | System and method for interactive image-noise separation |
JP5197423B2 (ja) * | 2009-02-18 | 2013-05-15 | オリンパス株式会社 | 画像処理装置 |
JP2010288150A (ja) * | 2009-06-12 | 2010-12-24 | Toshiba Corp | 固体撮像装置 |
KR101361804B1 (ko) * | 2009-06-25 | 2014-02-11 | 삼성테크윈 주식회사 | 디지털 영상 처리기에서 노이즈 제거 장치 및 방법 |
JP5644489B2 (ja) * | 2010-12-28 | 2014-12-24 | ソニー株式会社 | 制御装置、制御方法及び制御プログラム |
JP5701640B2 (ja) * | 2011-02-18 | 2015-04-15 | 株式会社東芝 | 画像処理装置 |
JP5460635B2 (ja) * | 2011-03-31 | 2014-04-02 | 本田技研工業株式会社 | 画像処理判定装置 |
KR20130032457A (ko) * | 2011-09-23 | 2013-04-02 | 에스케이하이닉스 주식회사 | 이미지 센서 및 그를 이용한 데이터 처리 방법 |
KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
KR102087986B1 (ko) * | 2013-10-04 | 2020-03-11 | 삼성전자주식회사 | 이미지 데이터를 처리하는 방법 및 장치 |
JP2015097382A (ja) * | 2013-10-08 | 2015-05-21 | キヤノン株式会社 | 情報処理装置、撮像システム、情報処理方法、及びプログラム |
CN105721759B (zh) * | 2014-12-01 | 2020-11-24 | 深圳富泰宏精密工业有限公司 | 影像拍摄方法及系统 |
CN109462728B (zh) * | 2017-09-06 | 2020-01-14 | 浙江宇视科技有限公司 | 码率控制方法、装置、图像采集设备及可读存储介质 |
CN107592472B (zh) * | 2017-10-20 | 2019-12-20 | 思特威(上海)电子科技有限公司 | 多段曝光图像传感器的成像校正方法 |
US11120529B2 (en) * | 2017-11-06 | 2021-09-14 | Canon Kabushiki Kaisha | Image processing apparatus, imaging apparatus, lens apparatus, image processing method, and recording medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08107565A (ja) * | 1994-08-31 | 1996-04-23 | Samsung Electron Co Ltd | 色信号における輪郭を補正する方法及びこれをカラービデオ機器で具現する回路 |
JPH09121366A (ja) * | 1995-08-29 | 1997-05-06 | Samsung Electron Co Ltd | 色信号に含まれた輪郭を補正する方法及びこれをカラービデオ機器で具現するための回路 |
JP2001005960A (ja) * | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP2003130297A (ja) * | 2001-10-24 | 2003-05-08 | Neriki:Kk | ガスボンベ用バルブ装置 |
JP2003304549A (ja) * | 2002-04-11 | 2003-10-24 | Olympus Optical Co Ltd | カメラ及び画像信号処理システム |
JP2004072422A (ja) * | 2002-08-06 | 2004-03-04 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004088149A (ja) * | 2002-08-22 | 2004-03-18 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004318356A (ja) * | 2003-04-15 | 2004-11-11 | Olympus Corp | 画像処理装置、画像処理方法及びそのプログラム |
JP2005175718A (ja) * | 2003-12-09 | 2005-06-30 | Olympus Corp | 撮像システムおよび画像処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4614548B2 (ja) * | 2001-01-31 | 2011-01-19 | パナソニック株式会社 | 超音波診断装置 |
US7130484B2 (en) * | 2001-10-15 | 2006-10-31 | Jonas August | Biased curve indicator random field filters for enhancement of contours in images |
JP2005130297A (ja) | 2003-10-24 | 2005-05-19 | Olympus Corp | 信号処理システム、信号処理方法、信号処理プログラム |
CN101278552A (zh) * | 2005-10-26 | 2008-10-01 | 奥林巴斯株式会社 | 图像处理系统、图像处理程序 |
-
2006
- 2006-09-25 CN CNA2006800363297A patent/CN101278552A/zh active Pending
- 2006-09-25 WO PCT/JP2006/318967 patent/WO2007049418A1/ja active Application Filing
- 2006-09-25 EP EP06798293A patent/EP1947840A4/en not_active Withdrawn
- 2006-09-25 JP JP2007542276A patent/JPWO2007049418A1/ja active Pending
-
2008
- 2008-04-22 US US12/107,157 patent/US8035705B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08107565A (ja) * | 1994-08-31 | 1996-04-23 | Samsung Electron Co Ltd | 色信号における輪郭を補正する方法及びこれをカラービデオ機器で具現する回路 |
JPH09121366A (ja) * | 1995-08-29 | 1997-05-06 | Samsung Electron Co Ltd | 色信号に含まれた輪郭を補正する方法及びこれをカラービデオ機器で具現するための回路 |
JP2001005960A (ja) * | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP2003130297A (ja) * | 2001-10-24 | 2003-05-08 | Neriki:Kk | ガスボンベ用バルブ装置 |
JP2003304549A (ja) * | 2002-04-11 | 2003-10-24 | Olympus Optical Co Ltd | カメラ及び画像信号処理システム |
JP2004072422A (ja) * | 2002-08-06 | 2004-03-04 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004088149A (ja) * | 2002-08-22 | 2004-03-18 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004318356A (ja) * | 2003-04-15 | 2004-11-11 | Olympus Corp | 画像処理装置、画像処理方法及びそのプログラム |
JP2005175718A (ja) * | 2003-12-09 | 2005-06-30 | Olympus Corp | 撮像システムおよび画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2007049418A1 (ja) | 2007-05-03 |
EP1947840A1 (en) | 2008-07-23 |
EP1947840A4 (en) | 2010-04-21 |
US8035705B2 (en) | 2011-10-11 |
US20080204577A1 (en) | 2008-08-28 |
CN101278552A (zh) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP4653059B2 (ja) | 撮像システム、画像処理プログラム | |
JP4837503B2 (ja) | 画像処理システム、画像処理プログラム | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP4628937B2 (ja) | カメラシステム | |
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP3899118B2 (ja) | 撮像システム、画像処理プログラム | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
JP4660342B2 (ja) | 画像処理システム、画像処理プログラム | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
WO2007058126A1 (ja) | 画像処理システム、画像処理プログラム | |
JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
JP2006023959A (ja) | 信号処理システム及び信号処理プログラム | |
JP4916341B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4441321B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005303803A (ja) | 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体 | |
JP2004266323A (ja) | 撮像システム、画像処理プログラム | |
JP2008271101A (ja) | 映像処理装置及び映像処理プログラム | |
JP2009100207A (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム | |
JP2009027615A (ja) | 映像処理装置および映像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110215 |