JP6471222B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6471222B2 JP6471222B2 JP2017505931A JP2017505931A JP6471222B2 JP 6471222 B2 JP6471222 B2 JP 6471222B2 JP 2017505931 A JP2017505931 A JP 2017505931A JP 2017505931 A JP2017505931 A JP 2017505931A JP 6471222 B2 JP6471222 B2 JP 6471222B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- unit
- image processing
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 233
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims description 259
- 238000003384 imaging method Methods 0.000 claims description 153
- 238000012937 correction Methods 0.000 claims description 107
- 230000004397 blinking Effects 0.000 claims description 24
- 230000007547 defect Effects 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 230000002265 prevention Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 32
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000012546 transfer Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000003530 single readout Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
〔撮像システムの構成〕
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示すブロック図である。図1に示す撮像システム1は、撮像装置10と、画像処理装置30と、表示装置40と、を備える。
まず、撮像装置10の構成について説明する。撮像装置10は、図1に示すように、光学系101と、絞り102と、シャッタ103と、ドライバ104と、撮像素子105と、アナログ処理部106と、A/D変換部107と、操作部108と、メモリI/F部109と、記録媒体110と、揮発メモリ111と、不揮発メモリ112と、バス113と、撮像制御部114と、第1外部I/F部115と、を備える。
アナログ処理部106は、撮像素子105から入力されるアナログ信号に対して、所定のアナログ処理を施してA/D変換部107へ出力する。具体的には、アナログ処理部106は、撮像素子105から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部106は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
次に、画像処理装置30の構成について説明する。画像処理装置30は、第3外部I/F部31と、RTSノイズ補正部32と、画像処理部33と、操作部34と、を備える。
ランダムノイズ量推定部324は、撮像装置10のランダムノイズモデル情報記録部112cが記録するランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を候補値算出部322、代表値算出部323および補正値算出部325それぞれへ出力する。即ち、ランダムノイズ量推定部324に対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。
画像処理部33は、RTSノイズ補正部32によってRTSノイズが補正された画像データに対して、所定の画像処理を行って表示装置40へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部33は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
次に、表示装置40の構成について説明する。表示装置40は、画像処理装置30から入力される画像データに対応する画像を表示する。表示装置40は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
次に、RTSノイズの発生原因とRTSノイズの特性について説明する。
図5は、撮像素子105に光が当たらないように遮光した場合において、RTSノイズが発生するときに、アンプ部105eから出力されるアンプ出力の変動の例を示す図である。図6は、RTSノイズが発生するアンプ部105eを用いて読み出された画素値の分布の例を示す図である。
次に、画像処理装置30が実行する処理について説明する。図7は、画像処理装置30が実行する処理の概要を示すフローチャートであり、画像処理装置30が実行するメインルーチンのフローチャートである。
参照値+ランダムノイズ量(標準偏差)×R+RTS_Value ・・・(1)
ここで、Rは、所定の係数であり、ランダムノイズに対してRTSノイズが視覚的にどの程度把握できるかに応じて設定する。例えばRの係数としては、2前後の値が好ましい。また、代表値算出部323は、許容範囲の下限を以下の式(2)によって算出する。
参照値−ランダムノイズ量(標準偏差)×R−RTS_Value ・・・(2)
なお、RTS_Valueに代えて、複数の候補値の最大値を用いてもよい。また、式(1)および式(2)における参照値は、上述したステップS203において第1ランダムノイズ量推定部323bによるランダムノイズ量を推定するために使用された参照値と異なる参照値方法により得られた参照値としてもよい。このように、許容範囲算出部323cは、注目画素のRTSノイズと、この注目画素周辺のランダムノイズを考慮した許容範囲を算出することができる。
ステップS105において、補正値算出部325は、上述したステップS103で候補値算出部322によって算出された複数の候補値と、上述したステップS104で代表値算出部323によって算出された代表値とに基づいて、注目画素におけるRTSノイズが補正された画素値を算出する補正値算出処理を実行する。ステップS105の後、画像処理装置30は、後述するステップS106へ移行する。
ランダムノイズ量×Rm ・・・(3)
Rmは、ランダムノイズに対してRTSノイズが視覚的にどの程度見えるかに応じて決定される。例えば、Rmの値は、2前後が好ましい。
ステップS106において、RTSノイズ補正部32は、全画素に対して上述したステップS101〜ステップS105の処理が終了したか否かを判定する。RTSノイズ補正部32が全画素に対して上述したステップS101〜ステップS105の処理が終了したと判定した場合(ステップS106:Yes)、画像処理装置30は、本処理を終了する。これに対して、RTSノイズ補正部32が全画素に対して上述したステップS101〜ステップS105の処理が終了していないと判定した場合(ステップS106:No)、画像処理装置30は、上述したステップS101へ戻る。
次に、本発明の実施の形態1の変形例1について説明する。本実施の形態1の変形例1は、上述した実施の形態1に係る撮像システム1と同様の構成を有し、画像処理装置30が実行する代表値算出処理のみが異なる。このため、以下においては、本実施の形態1の変形例1に係る画像処理装置30が実行する代表値算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態1の変形例2について説明する。本実施の形態1の変形例2は、上述した実施の形態1に係る撮像システム1と同様の構成を有し、画像処理装置30が実行する代表値算出処理のみが異なる。このため、以下においては、本実施の形態1の変形例2に係る画像処理装置30が実行する代表値算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態1の変形例3について説明する。本実施の形態1の変形例3は、上述した実施の形態1に係る撮像システム1と同様の構成を有し、画像処理装置30が実行する補正値算出処理のみが異なる。このため、以下においては、本実施の形態1の変形例3に係る画像処理装置が実行する補正値算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像システムは、画像処理装置における代表値算出部および補正値算出部の構成が異なるうえ、代表値算出処理が異なる。このため、以下においては、本実施の形態2に係る代表値算出部および補正値算出部の構成を説明後、代表値算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
次に、画像処理装置30が実行する代表値算出処理について説明する。図16は、画像処理装置30が実行する代表値算出処理の概要を示すフローチャートである。
次に、本発明の実施の形態3について説明する。上述した実施の形態1は、画像処理装置30が個別に設けられていたが、本実施の形態3では、撮像装置本体に画像処理装置を設ける。このため、以下においては、上述した実施の形態1に係る撮像システム1と同様の構成には同一の符号を付して説明を省略する。
図18は、本発明の実施の形態3に係る撮像システム2の構成を模式的に示すブロック図である。図18に示す撮像システム2は、本体部3と、本体部3に着脱自在に接続可能なレンズ部4と、を備える。
本体部3は、シャッタ103と、撮像素子105と、アナログ処理部106と、A/D変換部107と、操作部108と、メモリI/F部109と、記録媒体110と、揮発メモリ111と、不揮発メモリ112と、バス113と、撮像制御部114と、AE処理部116と、AF処理部117と、外部I/F部118と、表示部119と、ドライバ120と、RTSノイズ補正部32と、を備える。ドライバ120は、撮像制御部114の制御のもと、シャッタ103を駆動する。
図18に示すように、レンズ部4は、所定の視野領域から集光した被写体像を撮像素子105に結像する。光学系101と、絞り102と、ドライバ104と、を備える。
次に、撮像システム2が実行する処理について説明する。図19は、撮像システム2が実行する処理の概要を示すフローチャートである。
本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。
3 本体部
4 レンズ部
10 撮像装置
30 画像処理装置
31 第3外部I/F部
32 RTSノイズ補正部
33 画像処理部
40 表示装置
101 光学系
102 絞り
103 シャッタ
104,120 ドライバ
105 撮像素子
105a 画素
105b 第1スイッチ
105c 垂直転送線
105d FD部
105e アンプ部
105f 第2スイッチ
105g 制御線
105h 転送線
106 アナログ処理部
107 A/D変換部
108 操作部
109 メモリI/F部
110 記録媒体
111 揮発メモリ
112 不揮発メモリ
112a プログラム記録部
112b RTSノイズ情報記録部
112c ランダムノイズモデル情報記録部
113 バス
114 撮像制御部
115 第1外部I/F部
116 AE処理部
117 AF処理部
118 外部I/F部
119 表示部
303 画像処理部
321 RTSノイズ画素判定部
322 候補値算出部
323 代表値算出部
323a 第1参照値算出部
323b 第1ランダムノイズ量推定部
323c 許容範囲算出部
323d 代表値決定部
324 ランダムノイズ量推定部
325 補正値算出部
325a 第2参照値算出部
325b 第2ランダムノイズ量推定部
325c 補正量決定部
325d 画素値補正部
326 代表値算出部
326a 第1ランダムノイズモデル選択部
327 補正値算出部
327a 第2ランダムノイズモデル選択部
334 操作部
Claims (19)
- 2次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、
前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する情報取得部と、
前記情報取得部が取得した前記特徴量と注目画素で発生するランダムノイズ量を推定するためのランダムノイズモデルとに基づいて、前記注目画素における前記ランダムノイズ量を推定する推定部と、
前記推定部が推定した前記ランダムノイズ量に基づいて、前記注目画素の画素値を補正する補正部と、
を備えたことを特徴とする画像処理装置。 - 前記情報取得部が取得した前記特徴量と前記注目画素の画素値とに基づいて、前記ランダムノイズ量を推定する際に用いる参照値を算出する算出部をさらに備え、
前記推定部は、前記算出部が算出した前記参照値と前記ランダムノイズモデルとに基づいて、前記注目画素における前記ランダムノイズ量を推定することを特徴とする請求項1に記載の画像処理装置。 - 前記算出部は、
前記注目画素を基準に設定した算出範囲における画素の画素値を用いて算出された基準値と前記注目画素の画素値とに応じて、前記注目画素の画素値から前記特徴量をオフセットした値を前記参照値として算出することを特徴とする請求項2に記載の画像処理装置。 - 前記算出部は、前記注目画素の画素値が前記基準値より小さい場合、前記注目画素の画素値に前記特徴量を加算することによって前記参照値を算出することを特徴とする請求項3に記載の画像処理装置。
- 前記算出部は、前記注目画素の画素値が前記基準値より大きい場合、前記注目画素の画素値から前記特徴量を減算することによって前記参照値を算出することを特徴とする請求項3に記載の画像処理装置。
- 前記算出部は、前記注目画素を基準に設定した算出範囲において前記点滅欠陥ノイズが発生しない画素の画素値を用いて算出された基準値に応じて、前記参照値を算出する算出方法を変更することを特徴とする請求項2に記載の画像処理装置。
- 前記算出部は、前記注目画素の画素値が前記基準値より小さい場合、前記注目画素の画素値に前記特徴量を加算することによって前記参照値を算出することを特徴とする請求項6に記載の画像処理装置。
- 前記算出部は、前記注目画素の画素値が前記基準値より大きい場合、前記注目画素の画素値から前記特徴量を減算することによって前記参照値を算出することを特徴とする請求項6に記載の画像処理装置。
- 前記算出部は、前記注目画素の画素値を前記参照値として算出することを特徴とする請求項6に記載の画像処理装置。
- 前記注目画素のノイズを優先して低減するノイズ低減モードおよび前記注目画素の過補正を防止する過補正防止モードのいずれか一方を選択する選択信号の入力を受け付ける操作部をさらに備え、
前記算出部は、
前記操作部から入力された前記選択信号が前記ノイズ低減モードの場合、前記注目画素の画素値に前記特徴量を減算することによって前記参照値を算出する一方、前記操作部から入力された前記選択信号が前記過補正防止モードの場合、前記注目画素の画素値から前記特徴量を加算することによって前記参照値を算出することを特徴とする請求項2に記載の画像処理装置。 - 互いに異なる複数の前記ランダムノイズモデルを記録するランダムノイズモデル情報記録部と、
前記注目画素を基準に設定した算出範囲において前記注目画素以外の画素の画素値を用いて算出された基準値に応じて、前記ランダムノイズモデル情報記録部が記録する複数の前記ランダムノイズモデルのいずれか1つを選択する選択部と、
をさらに備え、
前記推定部は、前記選択部が選択した前記ランダムノイズモデルに基づいて、前記注目画素における前記ランダムノイズ量を推定することを特徴とする請求項1に記載の画像処理装置。 - 前記選択部は、前記注目画素の周辺に位置する周辺画素の画素値を用いて算出された基準値と前記注目画素の画素値とに基づいて、前記ランダムノイズモデルを変更することを特徴とする請求項11に記載の画像処理装置。
- 前記選択部は、前記注目画素の周辺に位置する周辺で前記点滅欠陥ノイズが発生しない画素の画素値を用いて算出された基準値と前記注目画素の画素値とに基づいて、前記ランダムノイズモデルを変更することを特徴とする請求項11に記載の画像処理装置。
- 前記補正部は、
前記注目画素の画素値と前記推定部が推定した前記ランダムノイズ量とに基づいて、前記注目画素の画素値を補正するか否かを判定することを特徴とする請求項1〜13のいずれか一つに記載の画像処理装置。 - 前記補正部は、前記注目画素の周辺に位置する周辺画素の画素値と前記推定部が推定した前記ランダムノイズ量とに基づいて代表値を算出し、該代表値を用いて前記注目画素の画素値を補正することを特徴とする請求項14に記載の画像処理装置。
- 前記特徴量は、点滅欠陥ノイズのノイズレベルおよびノイズレベルに基づき算出された値のいずれかであることを特徴とする請求項1〜15のいずれか一つに記載の画像処理装置。
- 前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする請求項1〜16のいずれか一つに記載の画像処理装置。
- 2次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置が実行する画像処理方法であって、
前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記特徴量と注目画素で発生するランダムノイズ量を推定するためのランダムノイズモデルとに基づいて、前記注目画素における前記ランダムノイズ量を推定する推定ステップと、
前記推定ステップにおいて推定した前記ランダムノイズ量に基づいて、前記注目画素の画素値を補正する補正ステップと、
を含むことを特徴とする画像処理方法。 - 2次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置に、
前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記特徴量と注目画素で発生するランダムノイズ量を推定するためのランダムノイズモデルとに基づいて、前記注目画素における前記ランダムノイズ量を推定する推定ステップと、
前記推定ステップにおいて推定した前記ランダムノイズ量に基づいて、前記注目画素の画素値を補正する補正ステップと、
を実行させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/057958 WO2016147325A1 (ja) | 2015-03-17 | 2015-03-17 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016147325A1 JPWO2016147325A1 (ja) | 2018-01-18 |
JP6471222B2 true JP6471222B2 (ja) | 2019-02-13 |
Family
ID=56920025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017505931A Active JP6471222B2 (ja) | 2015-03-17 | 2015-03-17 | 画像処理装置、画像処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10270991B2 (ja) |
EP (1) | EP3273676A4 (ja) |
JP (1) | JP6471222B2 (ja) |
CN (1) | CN107409182B (ja) |
WO (1) | WO2016147325A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6575926B2 (ja) * | 2015-06-12 | 2019-09-18 | リコーイメージング株式会社 | 撮影装置 |
JP6758326B2 (ja) * | 2016-01-25 | 2020-09-23 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
TWI680675B (zh) * | 2017-12-29 | 2019-12-21 | 聯發科技股份有限公司 | 影像處理裝置與相關的影像處理方法 |
KR20200039924A (ko) | 2018-10-08 | 2020-04-17 | 삼성전자주식회사 | 반도체 장치 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006043563A1 (ja) * | 2004-10-22 | 2006-04-27 | Sanyo Electric Co., Ltd | ノイズ除去装置 |
CN100420270C (zh) * | 2006-06-13 | 2008-09-17 | 北京中星微电子有限公司 | 图像序列帧间闪烁噪声消除方法 |
JP4337857B2 (ja) * | 2006-09-28 | 2009-09-30 | ソニー株式会社 | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 |
JP4305777B2 (ja) * | 2006-11-20 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2008245121A (ja) * | 2007-03-28 | 2008-10-09 | National Univ Corp Shizuoka Univ | 撮像装置、およびイメージセンサデバイス |
JP4686496B2 (ja) * | 2007-03-30 | 2011-05-25 | 株式会社東芝 | 撮像装置 |
JP4465002B2 (ja) * | 2007-11-16 | 2010-05-19 | オリンパス株式会社 | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 |
JP2010103855A (ja) * | 2008-10-24 | 2010-05-06 | Canon Inc | 固体撮像装置 |
CN102550017B (zh) * | 2009-10-05 | 2014-12-10 | 佳能株式会社 | 摄像设备及其缺陷像素校正方法 |
JP5656561B2 (ja) * | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
JP5561112B2 (ja) * | 2010-11-10 | 2014-07-30 | 株式会社ニコン | 画像処理装置、撮像装置およびプログラム |
JP5852324B2 (ja) * | 2011-04-26 | 2016-02-03 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
JP2013219665A (ja) * | 2012-04-11 | 2013-10-24 | Canon Inc | 撮像装置、その制御方法およびプログラム |
JP2014212450A (ja) * | 2013-04-18 | 2014-11-13 | キヤノン株式会社 | 撮像装置 |
-
2015
- 2015-03-17 EP EP15885421.6A patent/EP3273676A4/en not_active Withdrawn
- 2015-03-17 JP JP2017505931A patent/JP6471222B2/ja active Active
- 2015-03-17 CN CN201580077806.3A patent/CN107409182B/zh active Active
- 2015-03-17 WO PCT/JP2015/057958 patent/WO2016147325A1/ja active Application Filing
-
2017
- 2017-09-15 US US15/705,960 patent/US10270991B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180007293A1 (en) | 2018-01-04 |
WO2016147325A1 (ja) | 2016-09-22 |
CN107409182A (zh) | 2017-11-28 |
US10270991B2 (en) | 2019-04-23 |
EP3273676A1 (en) | 2018-01-24 |
CN107409182B (zh) | 2020-02-14 |
JPWO2016147325A1 (ja) | 2018-01-18 |
EP3273676A4 (en) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6320571B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9398230B2 (en) | Imaging device and imaging method | |
JP6223059B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP6366739B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10270991B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP5499853B2 (ja) | 電子カメラ | |
US10368017B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
WO2016051850A1 (ja) | 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム | |
US10104323B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP6017641B1 (ja) | 撮像装置,信号処理方法,信号処理プログラム | |
JP6631589B2 (ja) | 撮像装置 | |
WO2018020687A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015041823A (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
WO2018020685A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6149615B2 (ja) | 撮像装置 | |
JP3206826U (ja) | 画像処理装置 | |
JP6148575B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6471222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |