JP5696026B2 - 撮像装置、撮像方法および監視システム - Google Patents

撮像装置、撮像方法および監視システム Download PDF

Info

Publication number
JP5696026B2
JP5696026B2 JP2011256898A JP2011256898A JP5696026B2 JP 5696026 B2 JP5696026 B2 JP 5696026B2 JP 2011256898 A JP2011256898 A JP 2011256898A JP 2011256898 A JP2011256898 A JP 2011256898A JP 5696026 B2 JP5696026 B2 JP 5696026B2
Authority
JP
Japan
Prior art keywords
image change
defective pixel
image
pixel
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011256898A
Other languages
English (en)
Other versions
JP2013115449A (ja
JP2013115449A5 (ja
Inventor
明 入之内
明 入之内
誠 飛鳥
誠 飛鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2011256898A priority Critical patent/JP5696026B2/ja
Priority to US13/683,207 priority patent/US8988562B2/en
Priority to CN201210479143.6A priority patent/CN103139492B/zh
Publication of JP2013115449A publication Critical patent/JP2013115449A/ja
Publication of JP2013115449A5 publication Critical patent/JP2013115449A5/ja
Application granted granted Critical
Publication of JP5696026B2 publication Critical patent/JP5696026B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像装置に用いられる固体撮像素子の欠陥画素を補正する技術に関する。
近年、撮像デバイスとして高画素の固体撮像素子を用いた撮像装置が開発されている。固体撮像素子では、製造過程や経年変化等において、欠陥画素が発生してしまうことがある。この欠陥画素を検出して、画質劣化が生じないように欠陥画素を補正をする技術が検討されている。
例えば、特許文献1には、欠陥画素を検出するための検査において、検査対象の画素の画素値とその周辺画素の画素値との差分の大きさに基づいて、検査対象の画素について欠陥判定を行い、欠陥と判定された画素の画素値を、その画素の周辺の画素の画素値で補間する技術が開示されている。
特開平09−247548号公報
しかしながら、特許文献1に記載の技術では、検査対象の画素は、その周辺画素との間で差分の大きさを比較することによって欠陥判定を行うため、高周波成分(例えば、隣り合った画素間で画素値が細かく変化するような状態)を含む被写体の場合、誤って欠陥画素と判定してしまうという問題がある。さらに、その誤った判定によって、欠陥画素の画素値を周辺画素の補間値で置き換えてしまうと、高周波成分が失われてしまうという問題もある。このように、欠陥画素と判定することによって、かえって画質劣化を引き起こすような無用な補正処理が行われている虞がある。
そこで、本発明では、画質劣化を引き起こさないように欠陥画素を選別する技術を提供することを課題とする。
前記課題を解決するために、本発明に係る撮像装置は、被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、その撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、補正の基準に基づいて、撮像素子の欠陥画素を検出し、欠陥画素の画素値を補正する欠陥画素補正部と、を備え、画像変化検出部が、画像変化の大きさを、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定し、補正の基準を欠陥画素判定閾値で設定し、画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる映像信号の残像が大きい場合、欠陥画素判定閾値を小さくする。
本発明によれば、画質劣化を引き起こさないように欠陥画素を選別することができる。
本実施形態における撮像装置の構成例を示す図である。 中心画素と欠陥画素判定に用いる参照画素との位置関係を示す図である。 欠陥画素を検出するための処理の一例を示す図であり、(a)は画像変化の大きさが小さい場合を表し、(b)は画像変化の大きさが大きい場合を表す。 欠陥画素の画素値を補正する処理の一例を示す図である。 画像変化検出部の機能例を示す図である。 欠陥画素判定閾値を変更する条件の例を示す図である。 欠陥画素判定閾値を設定するための処理フローの一例を示す図である。 残像がある場合の処理の一例を説明するための図であり、(a)は撮影時の状態を表し、(b)は残像がない場合の処理を表し、(c)は残像がある場合の処理を表す。 変形例における撮像装置の構成例を示す図である。 監視システムにおける構成例を示す図である。
次に、本発明を実施するための形態(以降、「本実施形態」と称す。)について、適宜図面を参照しながら詳細に説明する。
(概要)
まず、始めに、本実施形態の概要について説明する。撮像素子の欠陥画素は、例えば、撮像装置を三脚等に固定して夜空の星を撮影している場合、ほとんど目立たない。この理由は、欠陥画素にともなう画面上の傷が固定された位置に出力されているけれども、画像中の星の動きがほとんど静止しているくらいゆっくりしているためである。しかし、パンニングしながら夜空の星を撮影している場合、逆に画面上の傷が固定された位置に出力されるため、星に対して相対的に動いて見えるようになるため、目立ってくる。
したがって、画像の動きを表す画像変化の大きさに応じて、欠陥画素が検出されやすさを変化するような構成のモデルを形成し、そのモデルについて、図2,3を用いて以下に
説明する。ここで、画像変化とは、例えば、撮像装置のパン、チルト、ズーム、フォーカス動作を行ったことによる画像の動きを示す変化だけでなく、撮影している被写体が移動することによる画像の動きを示す変化も意味している。
図2は、中心画素Cと欠陥画素判定に用いる参照画素Rとの位置関係を示す図である。中心画素Cは、欠陥画素か否かを判定する検査対象の画素である。図2中において、四角格子は撮像素子16の画素配列を示している。四角格子は、通常2×2ごとに異なる色フィルタ配列となっていて、水平2画素おき、垂直2ラインおきに同一の色フィルタが配列されている。例えば、検査対象の画素である中心画素Cの画素値に対して、図2中の周辺同色8画素である参照画素R(R1,R2,R3,R4,R5,R6,R7,R8)の画素値と比較して、中心画素Cが欠陥画素か否かが判定される。つまり、中心画素Cと参照画素Rとの差分の絶対値を、参照画素R(R1,R2,R3,R4,R5,R6,R7,R8)それぞれに対して算出し、それらの差分の絶対値が所定の閾値(後記する欠陥画素判定閾値)より大きいか否かが判定される。なお、参照画素Rは、図2に示す位置に限られることはなく、中心画素C以外の画素を用いることができる。
図3(a)は、画像変化の大きさが小さい場合に欠陥画素を検出するための処理の一例を表している。ここで、図3(a−2)は、図3(a−1)に示す画素値において、中心画素Cの画素値と参照画素Rの画素値との差分の絶対値をプロットしたものである。破線は、欠陥画素か否かを判定する際に用いる欠陥画素判定閾値T(T0,T1)を表している。ただし、欠陥画素判定閾値T0は画像変化の大きさが小さい場合のときに用いられ、欠陥画素判定閾値T1は画像変化の大きさが大きい場合のときに用いられ、欠陥画素判定閾値T0が欠陥画素判定閾値T1より大きいものとする。なお、本実施形態では、図3(a−2)に示すように、参照画素Rの8個すべてにおいて、差分の絶対値が欠陥画素判定閾値Tより大きい場合に、中心画素Cを欠陥画素と判定するものとして、以降説明する。ただし、判定の基準を、8個すべてが大きい場合ではなく、N個以上(1≦N≦7)と設定しても構わない。
図3(b)は、画像変化の大きさが大きい場合を表している。ここで、図3(b−2)は、図3(b−1)に示す画素値において、中心画素Cの画素値と参照画素Rの画素値との差分の絶対値をプロットしたものである。図3(b−2)の場合は図3(a−2)の場合に比較して、プロットの値が小さくなっている。しかし、図3(b−2)から分かるように、画像変化の大きさが大きい場合には、欠陥画素判定閾値T1を判定基準とするために、参照画素Rの8個すべてにおいて、差分の絶対値が欠陥画素判定閾値T1より大きいと判定され、中心画素Cを欠陥画素と判定する。このように、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合に比較して、欠陥画素判定閾値Tを小さくすることによって、欠陥画素を検出しやすくする。このようにして、画像変化の大きさが大きい場合には、差分の絶対値が小さい場合であっても、欠陥画素を検出しやすくすることができる。
(撮像装置)
本実施形態における撮像装置の構成例について、図1を用いて説明する。
撮像装置1は、少なくとも、撮像部11、利得調整部12、欠陥画素補正部13、画像信号処理部14および画像変化検出部15によって構成される。
撮像部11は、ズームレンズおよびフォーカスレンズを含むレンズ群や、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子16で構成される。撮像素子16は、被写体からの入射光をレンズ(不図示)を介して受光し、光電変換により電気信号に変換して、撮像信号a11として出力する。
利得調整部12は、CDS(Correlated Double Sampling)やAGC(Automatic Gain Control)や、AD(Analog to Digital)コンバータ等で構成される。利得調整部12は、撮像部11から出力される信号である撮像信号a11の大きさを制御し、撮像信号a12を出力する。
欠陥画素補正部13は、撮像素子16において発生する欠陥画素を補正する機能を有し、撮像補正信号a13を出力する。欠陥画素補正部13は、まず、欠陥画素か否かを判定するために、検査対象の画素の画素値と、その検査対象の画素以外の画素である参照画素の画素値との差分の絶対値を算出し、補正の基準と比較して、差分の絶対値が補正の基準より大きい場合に、その検査対象の画素が欠陥画素であると判定する。なお、補正の基準とは、補正を行うことまたは行わないことを決定するものである。例えば、欠陥画素判定閾値Tを用い、欠陥画素を検出する。欠陥画素判定閾値Tは、画像変化検出部15から取得される。次に、欠陥画素補正部13は、欠陥画素の画素値を参照画素の画素値で補正する。なお、欠陥画素補正部13の機能の詳細については後記する。
画像信号処理部14は、撮像補正信号a13に所定の処理を施す機能を有し、映像信号a14を生成して出力する。なお、所定の処理とは、撮像補正信号a13にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識等の画像信号処理、および、テレビやストレージ等への入力機器の信号フォーマットに変換する出力インタフェース処理のことである。また、出力インタフェース処理とは、ネットワーク伝送のために所定の信号に変換することであり、例えば、NTSC(National Television System Committee)やPAL(Phase Alternating Line)のビデオ出力に変換したり、例えば、HDMI(High-Definition Multimedia Interface;登録商標)信号に変換したりすることである。
画像変化検出部15は、映像信号a14から画像変化を検出する機能を有する。画像変化検出部15は、画像変化を、例えば、動きベクトルとして検出する。そして、画像変化検出部15は、動きベクトルの大きさ(画像変化の大きさ)等に応じて、欠陥画素を検出するために用いる補正の基準を変化させ、補正を行うことまたは行わないことを決定する。例えば、欠陥画素判定閾値Tを用いて欠陥画素の検出を行い、補正の要否を決定する。欠陥画素判定閾値Tは、閾値信号a15として欠陥画素補正部13に出力される。なお、後記する残像も、画像変化の大きさを算出する際に考慮されても良い。また、画像変化検出部15の機能の詳細については後記する。
なお、撮像部11、利得調整部12、欠陥画素補正部13、画像信号処理部14および画像変化検出部15は、すべて回路(ハードウェア)によって構成されても、欠陥画素補正部13、画像信号処理部14または画像変化検出部15における処理機能がプログラムによって実現されても良い。また、撮像装置11は、撮影シーンに応じて、露光状態が最適になるように、撮像部11の露光時間や利得調整部12の信号利得を制御する機能を有している。例えば、暗い環境では露光時間を長く、信号利得を大きくし、明るい環境では露光時間を短く、信号利得を小さくして、映像信号a14の出力画像の明るさが一定になるようにしても良い。
図4は、欠陥画素補正部13が欠陥画素の画素値を補正する処理の一例を説明する図である。図4に示すとおり、欠陥画素の画素値は、例えば、参照画素Rの画素値の中間値で置き換えても良い。
図5は、画像変化検出部15の機能例を説明する図である(適宜、図1参照)。画像変化検出部15は、動きベクトル算出部151、画像変化速度判定部152および画像変化時間判定部153で構成される。
動きベクトル算出部151は、画像信号処理部14で処理した映像信号a14を不図示のメモリに記憶しつつ、先に記憶した映像信号a14を参照映像として次に入力される映像信号a14と比較して、動きベクトルa151を算出し、画像変化速度判定部152に出力する。具体的には、先に記憶した参照映像のフレームを小領域に分割し、その小領域の画素値情報をメモリに記憶しておき、前記小領域の画素値情報が次に入力してきた映像信号a14のどの位置に移動したかを検出することで、単位時間当たりの動きベクトルa151を算出する。
画像変化速度判定部152では、単位時間当たりの動きベクトルa151の大きさ(画像変化の速度)が、予め設定されている所定の速度閾値以上か否かを判定し、その判定結果を速度判定閾値信号a152として画像変化時間判定部153に出力する。
画像変化時間判定部153は、速度判定閾値信号a152を受信して、判定結果が所定の速度閾値以上を示すものであった場合に、その判定結果が継続する継続時間(画像変化の時間)が、予め設定されている所定の時間閾値以上か否かを判定する。そして、画像変化時間判定部153は、継続時間が所定の時間閾値以上と判定した場合、画像変化の大きさが大きいと判定し、継続時間が所定の時間閾値未満と判定した場合、画像変化の大きさが小さいと判定する。また、画像変化の大きさが大きいと判定した場合は、画像変化の大きさが小さいと判定した場合よりも欠陥画素が検出されやすくなるように、補正の基準を変化させる。例えば、補正の基準として欠陥画素判定閾値Tを用いるとすると、画像変化の大きさが大きいと判定した場合は、欠陥画素判定閾値Tを小さく変化する。そして、画像変化検出部15は、当該欠陥画素判定閾値Tを閾値信号a15として欠陥画素補正部13に出力する。
欠陥画素判定閾値Tを小さく変化する方法として、例えば、(1)画像変化の大きさが所定の閾値以上の場合に、画像変化の大きさが大きくなるにしたがって欠陥画素判定閾値Tを小さくするように変化させるケース、(2)画像変化の大きさが小さいと判定した場合に設定する欠陥画素判定閾値T0および画像変化の大きさが大きいと判定した場合に設定する欠陥画素判定閾値T1の2値を用いるケース、があり、いずれの方法を用いても構わない。
図6は、欠陥画素判定閾値Tを変更する条件の一例を示している。図6の横軸は時間を表し、縦軸は単位時間当たりの動きベクトルの大きさ(画像変化の速度)を表している。単位時間当たりの動きベクトルの大きさは、画像変化がない場合に0となり、単位時間当たりの動きベクトルの大きさに応じて縦軸の値が変化する。図6中において、前記した速度閾値をδx、時間閾値をδtとする。画像変化検出部15では、まず、画像変化速度判定部152が単位時間当たりの動きベクトルの大きさ(画像変化の速度)が速度閾値δx以上になった第1の時点t1を検出する。次に、画像変化時間判定部153が、速度閾値δx以上となっている範囲の時間の計測を第1の時点t1から開始し、第1の時点t1からの継続時間が時間閾値δtだけ経過した第2の時点t2から、画像変化が大きいと判定する(図6中のEの範囲)。そして、画像変化時間判定部153は、欠陥画素判定閾値Tを画像変化の大きさが小さい場合のものより小さく設定して、その欠陥画素判定閾値Tを閾値信号a15として欠陥画素補正部13に出力する。
次に、画像変化検出部15において欠陥画素判定閾値Tを設定するための処理フローの一例について、図7を用いて説明する(適宜、図1,5参照)。
ステップS701では、画像変化検出部15の画像変化時間判定部153は、撮像装置1の電源がONにされたときに、欠陥画素判定閾値Tを初期設定する。具体的には、画像変化検出部15は、不図示の記憶部に記憶されている欠陥画素判定閾値Tの初期設定値(画像変化の大きさが小さい場合の欠陥画素判定閾値T0)を読み出す。また、画像変化検出部15は、不図示の記憶部に記憶されている速度閾値δxおよび時間閾値δtを読み出す。
ステップS702では、動きベクトル算出部151は、単位時間当たりの動きベクトルa151を算出する。本実施形態では、単位時間当たりの動きベクトルa151の大きさは、小領域ごとに算出されるので、画像の1画面から算出される複数の動きベクトルの大きさの平均値または動きベクトルの大きさの最大値で表す。または、動きベクトルの大きさとして、検査対象の画素の位置が含まれる小領域から算出された動きベクトルの大きさを用いても構わない。
ステップS703では、画像変化速度判定部152は、単位時間当たりの動きベクトルの大きさが速度閾値δx以上か否かを判定する。速度閾値δx以上と判定した場合(ステップS703でYes)、処理はステップS704へ進み、速度閾値δx未満と判定した場合(ステップS703でNo)、処理はステップS706へ進む。
ステップS704では、画像変化時間判定部153は、速度閾値δx以上の状態の継続時間が時間閾値δt以上か否かを判定する。時間閾値δt以上と判定した場合(ステップS704でYes)、処理はステップS705へ進み、時間閾値δt未満と判定した場合(ステップS704でNo)、処理はステップS706へ進む。
ステップS705では、画像変化時間判定部153は、欠陥画素判定閾値Tを初期設定値より小さくする。
ステップS706では、画像変化時間判定部153は、欠陥画素判定閾値Tを初期設定値とする。
ステップS707では、画像変化検出部15は、欠陥画素判定閾値Tを閾値信号a15として欠陥画素補正部13に出力する。そして、処理は、ステップS702へ戻る。
図7に示す処理フローを実行することによって、本実施形態では、画像変化の大きさが大きい場合、欠陥画素判定閾値Tを初期設定値より小さくし、欠陥画素を検出しやすくする。そのため、画質劣化を引き起こさないように欠陥画素を選別することができる。
なお、欠陥画素判定閾値Tを初期設定値より小さくすることによって、高周波成分を含む被写体も検出されやすくなるが、画像変化が大きいため、撮像装置1に設定されたシャッタ速度と画像変化の速度との関係によって決まる残像が発生する。この残像効果によって、画質劣化が起こりにくくなるため、欠陥画素判定閾値Tが初期設定値より小さくなっても、欠陥画素と判定される頻度を減少できるようになっていることを、以下に説明する。
ここで、残像がある場合の処理の一例について、図8を用いて説明する。
図8(a)は、撮影時の状態を表している。図8(a)に示すように、例えば、画素一個分の白い領域と灰色の領域とを有する被写体Sを、左方向にパンニングしながら撮影する。
図8(b−1)は、パンニング前の静止撮影時で、残像がない場合の画素値の状態を表し、図8(b−2)は、差分の絶対値と欠陥画素判定閾値T0との関係を表している。差分の絶対値は、8個すべてが欠陥画素判定閾値T0より大きいので、中心画素Cは欠陥画素であると判定される。
図8(c−1)は、パンニングの開始時で、残像がある場合の画素値の状態を表し、図8(c−2)は、差分の絶対値と欠陥画素判定閾値T1との関係を表している。中心画素Cおよび参照画素R4は、残像の影響によって、ほぼ似たような画素値となる。そのため、欠陥画素判定閾値T1は欠陥画素判定閾値T0よりも小さく設定されているが、中心画素Cと参照画素R4との差分の絶対値は、欠陥画素判定閾値T1よりさらに小さくなる。したがって、図8(c−2)に示すように、残像がある場合には、中心画素Cは欠陥画素でないと判定される。つまり、残像が大きい場合には、欠陥画素判定閾値Tが小さく設定されても、欠陥画素と判定されにくくなり、無用な補正処理を抑止するとともに、画質劣化を引き起こさないように欠陥画素を選別することができる。
(変形例)
ここで、撮像装置1の変形例を撮像装置1aとして、その構成例について、図9を用いて説明する(図1,5参照)。
図9に示す撮像装置1aの構成が図1に示す撮像装置1の構成と異なる点は、画像変化検出部15に入力される信号が、欠陥画素補正部13から出力される撮像補正信号a13となっていることである。画像変化検出部15の動きベクトル算出部151は、先に記憶している撮像補正信号a13と次に入力してきた撮像補正信号a13との間で、動きベクトルを算出する。
(監視システム)
次に、図10を用いて、前記した欠陥画素補正部13および画像変化検出部15の機能を、撮像装置1,1aに内蔵せずに、外部の監視装置101で実現した監視システム100の構成例について、説明する(適宜、図1参照)。
監視システム100は、前記した欠陥画素補正部13および画像変化検出部15の機能を備えていない撮像装置2、監視装置101および表示装置102で構成される。
監視装置101は、例えばパソコンであって、欠陥画素補正部13および画像変化検出部15と同様の機能である、欠陥画素補正部13aおよび画像変化検出部15aを備えている。欠陥画素補正部13への入力は、撮像装置2から出力される映像信号a16である。
表示装置102は、例えばディスプレイであって、欠陥画素補正部13aから出力される表示信号a17を表示する機能を有する。
したがって、監視システム100は、欠陥画素補正部13aおよび画像変化検出部15aを備えているので、画像変化の大きさに応じて欠陥画素判定閾値Tを制御することが可能である。具体的には、監視システム100は、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合の欠陥画素判定閾値T0より、欠陥画素判定閾値Tを小さくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、監視システム100は、無用な補正処理を抑止して、欠陥画素を補正することができる。
以上説明したように、本実施形態における撮像装置1,1aおよび監視システム100は、画像変化の大きさに応じて欠陥画素判定閾値Tを制御することが可能である。具体的には、撮像装置1は、画像変化の大きさが大きいときには欠陥画素判定閾値Tを小さくし、画像変化の大きさが小さいときは欠陥画素判定閾値Tを大きくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、撮像装置1,1aおよび監視システム100は、無用な補正処理を抑止して、欠陥画素を補正することができる。
なお、本実施形態では、画像変化を検出する際に、画像変化の速度が速度閾値δx以上で、かつその速度が速度閾値δx以上となっている継続時間(画像変化の時間)が時間閾値δt以上の場合を満足することを条件として説明したが、画像変化の速度または継続時間(画像変化の時間)のいずれかで画像変化の大きさを判定しても構わない。
また、本実施形態では、画像変化を検出する場合、動きベクトルを用いたが、これに限られることはなく、加速度センサ、角速度センサ等のデバイスを用いて検出する方法や、撮像装置1の動作状態(ズーム、フォーカス動作等)による検出する方法等を、用いても構わない。
1,1a,2 撮像装置
11 撮像部
12 利得調整部
13,13a 欠陥画素補正部
14 画像信号処理部
15,15a 画像変化検出部
100 監視システム
101 監視装置
102 表示装置
151 動きベクトル算出部
152 画像変化速度判定部
153 画像変化時間判定部
a11,a12 撮像信号
a13 撮像補正信号
a14 映像信号
a15 閾値信号
a16 映像信号
a17 表示信号
C 中心画素
E 動きが大きいと判定する領域
M 動きベクトルの大きさの時間変化
P 被写体
R 参照画素
S 被写体
t1 第1の時点
t2 第2の時点
T,T0,T1 欠陥画素判定閾値(補正の基準)
δx 速度閾値
δt 時間閾値

Claims (10)

  1. 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、
    前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、
    前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、
    を備え
    前記画像変化検出部は、
    前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
    前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
    ことを特徴とする撮像装置。
  2. 前記画像変化検出部は、
    前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥画素が検出されやすくなるように、前記補正の基準を変化させる
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記画像変化検出部は、前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の大きさに応じて、前記欠陥画素判定閾値を変化させ、
    前記欠陥画素補正部は、前記撮像部を介して取得した画像に対して、前記撮像素子の欠陥についての検査対象の画素である中心画素の画素値と、前記中心画素以外の画素である参照画素の画素値との差分を算出し、前記差分と前記欠陥画素判定閾値とを比較し、前記差分が前記欠陥画素判定閾値よりも大きい場合、前記中心画素が欠陥画素であると判定して、前記中心画素の画素値を補正して、撮像補正信号を生成する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記画像変化検出部は、
    前記画像変化の大きさが所定の閾値以上の場合の前記欠陥画素判定閾値を、前記画像変化の大きさが前記所定の閾値未満の場合の前記欠陥画素判定閾値より小さくする
    ことを特徴とする請求項3に記載の撮像装置。
  5. 前記画像変化検出部は、
    前記画像変化の大きさが所定の閾値以上の場合において、前記画像変化の大きさが大きくなるにしたがって、前記欠陥画素判定閾値を小さくする
    ことを特徴とする請求項3または請求項4に記載の撮像装置。
  6. 前記撮像素子から出力される信号の大きさを制御する利得調整部と画像信号処理部と、
    をさらに備え、
    前記欠陥画素補正部は、前記利得調整部から出力される信号を取得して、その取得した信号に対して、前記欠陥画素の画素値を補正して、撮像補正信号を生成し、
    前記画像信号処理部は、前記撮像補正信号に所定の処理を施し、映像信号を生成し、
    前記画像変化検出部は、前記撮像補正信号の変化または前記映像信号の変化から前記画像変化の大きさを算出し、算出した前記画像変化の大きさに応じて、前記補正の基準を変化させる
    ことを特徴とする請求項1ないし請求項5のいずれか一項に記載の撮像装置。
  7. 前記画像変化検出部は、
    前記画像変化の大きさを、前記撮像部のレンズの動きまたはパンもしくはチルトの動作状態に基づいて算出する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  8. 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含み、前記撮像素子から出力される信号に所定の処理を施し、映像信号を生成する撮像装置と、
    前記撮像装置から得られる映像信号の画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、を有する監視装置と
    を備え
    前記画像変化検出部は、
    前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
    前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
    ことを特徴とする監視システム。
  9. 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部を備え、前記撮像素子の欠陥画素を検出する撮像装置の撮像方法であって、
    前記撮像装置は、
    前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出ステップと、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正ステップと、
    を実行し、
    前記画像変化検出ステップでは、さらに、
    前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
    前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
    ことを特徴とする撮像方法。
  10. 前記画像変化検出部は、
    前記画像変化の速度が所定速度閾値以上で、かつ前記画像変化の速度が所定速度閾値以上となる継続時間が所定時間閾値以上の場合、前記画像変化の大きさが大きいと判定する
    ことを特徴とする請求項に記載の撮像装置。
JP2011256898A 2011-11-25 2011-11-25 撮像装置、撮像方法および監視システム Expired - Fee Related JP5696026B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011256898A JP5696026B2 (ja) 2011-11-25 2011-11-25 撮像装置、撮像方法および監視システム
US13/683,207 US8988562B2 (en) 2011-11-25 2012-11-21 Image processing apparatus and image processing method
CN201210479143.6A CN103139492B (zh) 2011-11-25 2012-11-22 摄像装置、摄像方法以及监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011256898A JP5696026B2 (ja) 2011-11-25 2011-11-25 撮像装置、撮像方法および監視システム

Publications (3)

Publication Number Publication Date
JP2013115449A JP2013115449A (ja) 2013-06-10
JP2013115449A5 JP2013115449A5 (ja) 2014-04-03
JP5696026B2 true JP5696026B2 (ja) 2015-04-08

Family

ID=48466526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011256898A Expired - Fee Related JP5696026B2 (ja) 2011-11-25 2011-11-25 撮像装置、撮像方法および監視システム

Country Status (3)

Country Link
US (1) US8988562B2 (ja)
JP (1) JP5696026B2 (ja)
CN (1) CN103139492B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI492621B (zh) * 2012-02-10 2015-07-11 Novatek Microelectronics Corp 適應性影像處理方法及其相關裝置
JP6242230B2 (ja) * 2014-02-12 2017-12-06 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
JP2017022671A (ja) * 2015-07-15 2017-01-26 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
CN105407348B (zh) * 2015-11-18 2017-07-28 深圳怡化电脑股份有限公司 一种图像传感器的检测方法及系统
US10466576B2 (en) * 2017-10-20 2019-11-05 Himax Technologies Limited Method for controlling projector and associated electronic device
US20190202372A1 (en) * 2018-01-03 2019-07-04 Getac Technology Corporation Vehicular image pickup device and image capturing method
US10812708B2 (en) * 2019-02-22 2020-10-20 Semiconductor Components Industries, Llc Imaging systems with weathering detection pixels
CN112393804B (zh) * 2019-08-02 2022-04-05 杭州海康微影传感科技有限公司 一种图像校正的方法及装置
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247548A (ja) 1996-03-12 1997-09-19 Toshiba Corp 固体撮像装置
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
KR100407158B1 (ko) * 2002-02-07 2003-11-28 삼성탈레스 주식회사 적외선 열상장비의 시변결점 보상방법 및 장치
JP2004134941A (ja) * 2002-10-09 2004-04-30 Matsushita Electric Ind Co Ltd 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法
US7446756B2 (en) * 2004-03-22 2008-11-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination
JP4479373B2 (ja) * 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
JP2006121478A (ja) * 2004-10-22 2006-05-11 Canon Inc 撮像装置
JP4548128B2 (ja) * 2005-01-26 2010-09-22 ソニー株式会社 欠陥検出装置および欠陥検出方法、ならびに撮像装置
JP2006245999A (ja) * 2005-03-03 2006-09-14 Konica Minolta Photo Imaging Inc 撮像装置、およびプログラム
CN102550017B (zh) * 2009-10-05 2014-12-10 佳能株式会社 摄像设备及其缺陷像素校正方法

Also Published As

Publication number Publication date
JP2013115449A (ja) 2013-06-10
US20130135501A1 (en) 2013-05-30
CN103139492B (zh) 2016-06-29
US8988562B2 (en) 2015-03-24
CN103139492A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5696026B2 (ja) 撮像装置、撮像方法および監視システム
US9749539B2 (en) Image processing apparatus for correcting a distortion of a still image generated from a frame image of a moving image, image capturing apparatus, image generation apparatus, and image processing method
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
JP5526014B2 (ja) 撮像装置
JP5013954B2 (ja) 撮像装置
US8970742B2 (en) Image processing apparatus and method capable of performing correction process speedily and easily
KR102229152B1 (ko) 이미지 촬영 장치
JP5780764B2 (ja) 撮像装置
US8970711B2 (en) Imaging apparatus for correcting distortion in image captured using rolling shutter method and distortion correction method
US9307168B2 (en) Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated
JP6070283B2 (ja) 撮像装置、露出制御方法およびプログラム
JP2013031010A (ja) 撮像装置、撮像方法およびプログラム
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP5262953B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017159336A1 (ja) 合焦位置検出装置及び合焦位置検出方法
JP6017641B1 (ja) 撮像装置,信号処理方法,信号処理プログラム
JP2019080261A (ja) 撮像装置
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2011114473A (ja) 画素欠陥補正装置
US10911700B2 (en) Image capturing apparatus, image processing apparatus, and method
JP7462240B2 (ja) シャッタスピード決定装置及び撮像装置
JP6393573B2 (ja) 撮像装置および撮像方法
JP2005318337A (ja) 固体撮像素子の欠陥検出補正装置および撮像装置
JP6148575B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150209

R150 Certificate of patent or registration of utility model

Ref document number: 5696026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees