JP5696026B2 - 撮像装置、撮像方法および監視システム - Google Patents
撮像装置、撮像方法および監視システム Download PDFInfo
- Publication number
- JP5696026B2 JP5696026B2 JP2011256898A JP2011256898A JP5696026B2 JP 5696026 B2 JP5696026 B2 JP 5696026B2 JP 2011256898 A JP2011256898 A JP 2011256898A JP 2011256898 A JP2011256898 A JP 2011256898A JP 5696026 B2 JP5696026 B2 JP 5696026B2
- Authority
- JP
- Japan
- Prior art keywords
- image change
- defective pixel
- image
- pixel
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 79
- 238000012544 monitoring process Methods 0.000 title claims description 13
- 230000002950 deficient Effects 0.000 claims description 152
- 238000012937 correction Methods 0.000 claims description 66
- 238000001514 detection method Methods 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 206010047571 Visual impairment Diseases 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000004091 panning Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
まず、始めに、本実施形態の概要について説明する。撮像素子の欠陥画素は、例えば、撮像装置を三脚等に固定して夜空の星を撮影している場合、ほとんど目立たない。この理由は、欠陥画素にともなう画面上の傷が固定された位置に出力されているけれども、画像中の星の動きがほとんど静止しているくらいゆっくりしているためである。しかし、パンニングしながら夜空の星を撮影している場合、逆に画面上の傷が固定された位置に出力されるため、星に対して相対的に動いて見えるようになるため、目立ってくる。
したがって、画像の動きを表す画像変化の大きさに応じて、欠陥画素が検出されやすさを変化するような構成のモデルを形成し、そのモデルについて、図2,3を用いて以下に
説明する。ここで、画像変化とは、例えば、撮像装置のパン、チルト、ズーム、フォーカス動作を行ったことによる画像の動きを示す変化だけでなく、撮影している被写体が移動することによる画像の動きを示す変化も意味している。
本実施形態における撮像装置の構成例について、図1を用いて説明する。
撮像装置1は、少なくとも、撮像部11、利得調整部12、欠陥画素補正部13、画像信号処理部14および画像変化検出部15によって構成される。
ステップS701では、画像変化検出部15の画像変化時間判定部153は、撮像装置1の電源がONにされたときに、欠陥画素判定閾値Tを初期設定する。具体的には、画像変化検出部15は、不図示の記憶部に記憶されている欠陥画素判定閾値Tの初期設定値(画像変化の大きさが小さい場合の欠陥画素判定閾値T0)を読み出す。また、画像変化検出部15は、不図示の記憶部に記憶されている速度閾値δxおよび時間閾値δtを読み出す。
なお、欠陥画素判定閾値Tを初期設定値より小さくすることによって、高周波成分を含む被写体も検出されやすくなるが、画像変化が大きいため、撮像装置1に設定されたシャッタ速度と画像変化の速度との関係によって決まる残像が発生する。この残像効果によって、画質劣化が起こりにくくなるため、欠陥画素判定閾値Tが初期設定値より小さくなっても、欠陥画素と判定される頻度を減少できるようになっていることを、以下に説明する。
図8(a)は、撮影時の状態を表している。図8(a)に示すように、例えば、画素一個分の白い領域と灰色の領域とを有する被写体Sを、左方向にパンニングしながら撮影する。
ここで、撮像装置1の変形例を撮像装置1aとして、その構成例について、図9を用いて説明する(図1,5参照)。
図9に示す撮像装置1aの構成が図1に示す撮像装置1の構成と異なる点は、画像変化検出部15に入力される信号が、欠陥画素補正部13から出力される撮像補正信号a13となっていることである。画像変化検出部15の動きベクトル算出部151は、先に記憶している撮像補正信号a13と次に入力してきた撮像補正信号a13との間で、動きベクトルを算出する。
次に、図10を用いて、前記した欠陥画素補正部13および画像変化検出部15の機能を、撮像装置1,1aに内蔵せずに、外部の監視装置101で実現した監視システム100の構成例について、説明する(適宜、図1参照)。
監視システム100は、前記した欠陥画素補正部13および画像変化検出部15の機能を備えていない撮像装置2、監視装置101および表示装置102で構成される。
表示装置102は、例えばディスプレイであって、欠陥画素補正部13aから出力される表示信号a17を表示する機能を有する。
11 撮像部
12 利得調整部
13,13a 欠陥画素補正部
14 画像信号処理部
15,15a 画像変化検出部
100 監視システム
101 監視装置
102 表示装置
151 動きベクトル算出部
152 画像変化速度判定部
153 画像変化時間判定部
a11,a12 撮像信号
a13 撮像補正信号
a14 映像信号
a15 閾値信号
a16 映像信号
a17 表示信号
C 中心画素
E 動きが大きいと判定する領域
M 動きベクトルの大きさの時間変化
P 被写体
R 参照画素
S 被写体
t1 第1の時点
t2 第2の時点
T,T0,T1 欠陥画素判定閾値(補正の基準)
δx 速度閾値
δt 時間閾値
Claims (10)
- 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、
前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、
を備え、
前記画像変化検出部は、
前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
ことを特徴とする撮像装置。 - 前記画像変化検出部は、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥画素が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項1に記載の撮像装置。 - 前記画像変化検出部は、前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の大きさに応じて、前記欠陥画素判定閾値を変化させ、
前記欠陥画素補正部は、前記撮像部を介して取得した画像に対して、前記撮像素子の欠陥についての検査対象の画素である中心画素の画素値と、前記中心画素以外の画素である参照画素の画素値との差分を算出し、前記差分と前記欠陥画素判定閾値とを比較し、前記差分が前記欠陥画素判定閾値よりも大きい場合、前記中心画素が欠陥画素であると判定して、前記中心画素の画素値を補正して、撮像補正信号を生成する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合の前記欠陥画素判定閾値を、前記画像変化の大きさが前記所定の閾値未満の場合の前記欠陥画素判定閾値より小さくする
ことを特徴とする請求項3に記載の撮像装置。 - 前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合において、前記画像変化の大きさが大きくなるにしたがって、前記欠陥画素判定閾値を小さくする
ことを特徴とする請求項3または請求項4に記載の撮像装置。 - 前記撮像素子から出力される信号の大きさを制御する利得調整部と画像信号処理部と、
をさらに備え、
前記欠陥画素補正部は、前記利得調整部から出力される信号を取得して、その取得した信号に対して、前記欠陥画素の画素値を補正して、撮像補正信号を生成し、
前記画像信号処理部は、前記撮像補正信号に所定の処理を施し、映像信号を生成し、
前記画像変化検出部は、前記撮像補正信号の変化または前記映像信号の変化から前記画像変化の大きさを算出し、算出した前記画像変化の大きさに応じて、前記補正の基準を変化させる
ことを特徴とする請求項1ないし請求項5のいずれか一項に記載の撮像装置。 - 前記画像変化検出部は、
前記画像変化の大きさを、前記撮像部のレンズの動きまたはパンもしくはチルトの動作状態に基づいて算出する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含み、前記撮像素子から出力される信号に所定の処理を施し、映像信号を生成する撮像装置と、
前記撮像装置から得られる映像信号の画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、を有する監視装置と、
を備え、
前記画像変化検出部は、
前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
ことを特徴とする監視システム。 - 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部を備え、前記撮像素子の欠陥画素を検出する撮像装置の撮像方法であって、
前記撮像装置は、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出ステップと、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正ステップと、
を実行し、
前記画像変化検出ステップでは、さらに、
前記画像変化の大きさを、前記画像変化の速度、前記画像変化の時間のいずれかまたは双方に基づいて決定し、
前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
ことを特徴とする撮像方法。 - 前記画像変化検出部は、
前記画像変化の速度が所定速度閾値以上で、かつ前記画像変化の速度が所定速度閾値以上となる継続時間が所定時間閾値以上の場合、前記画像変化の大きさが大きいと判定する
ことを特徴とする請求項1に記載の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011256898A JP5696026B2 (ja) | 2011-11-25 | 2011-11-25 | 撮像装置、撮像方法および監視システム |
US13/683,207 US8988562B2 (en) | 2011-11-25 | 2012-11-21 | Image processing apparatus and image processing method |
CN201210479143.6A CN103139492B (zh) | 2011-11-25 | 2012-11-22 | 摄像装置、摄像方法以及监视系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011256898A JP5696026B2 (ja) | 2011-11-25 | 2011-11-25 | 撮像装置、撮像方法および監視システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013115449A JP2013115449A (ja) | 2013-06-10 |
JP2013115449A5 JP2013115449A5 (ja) | 2014-04-03 |
JP5696026B2 true JP5696026B2 (ja) | 2015-04-08 |
Family
ID=48466526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011256898A Expired - Fee Related JP5696026B2 (ja) | 2011-11-25 | 2011-11-25 | 撮像装置、撮像方法および監視システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8988562B2 (ja) |
JP (1) | JP5696026B2 (ja) |
CN (1) | CN103139492B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI492621B (zh) * | 2012-02-10 | 2015-07-11 | Novatek Microelectronics Corp | 適應性影像處理方法及其相關裝置 |
JP6242230B2 (ja) * | 2014-02-12 | 2017-12-06 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
TWI536319B (zh) * | 2014-06-24 | 2016-06-01 | 瑞昱半導體股份有限公司 | 去雜訊方法以及影像系統 |
JP2017022671A (ja) * | 2015-07-15 | 2017-01-26 | ソニー株式会社 | 撮像装置および撮像方法、並びにプログラム |
CN105407348B (zh) * | 2015-11-18 | 2017-07-28 | 深圳怡化电脑股份有限公司 | 一种图像传感器的检测方法及系统 |
US10466576B2 (en) * | 2017-10-20 | 2019-11-05 | Himax Technologies Limited | Method for controlling projector and associated electronic device |
US20190202372A1 (en) * | 2018-01-03 | 2019-07-04 | Getac Technology Corporation | Vehicular image pickup device and image capturing method |
US10812708B2 (en) * | 2019-02-22 | 2020-10-20 | Semiconductor Components Industries, Llc | Imaging systems with weathering detection pixels |
CN112393804B (zh) * | 2019-08-02 | 2022-04-05 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
KR20220048090A (ko) * | 2020-10-12 | 2022-04-19 | 삼성전자주식회사 | 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247548A (ja) | 1996-03-12 | 1997-09-19 | Toshiba Corp | 固体撮像装置 |
JP2002354340A (ja) * | 2001-05-24 | 2002-12-06 | Olympus Optical Co Ltd | 撮像装置 |
KR100407158B1 (ko) * | 2002-02-07 | 2003-11-28 | 삼성탈레스 주식회사 | 적외선 열상장비의 시변결점 보상방법 및 장치 |
JP2004134941A (ja) * | 2002-10-09 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法 |
US7446756B2 (en) * | 2004-03-22 | 2008-11-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination |
JP4479373B2 (ja) * | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
JP2006121478A (ja) * | 2004-10-22 | 2006-05-11 | Canon Inc | 撮像装置 |
JP4548128B2 (ja) * | 2005-01-26 | 2010-09-22 | ソニー株式会社 | 欠陥検出装置および欠陥検出方法、ならびに撮像装置 |
JP2006245999A (ja) * | 2005-03-03 | 2006-09-14 | Konica Minolta Photo Imaging Inc | 撮像装置、およびプログラム |
CN102550017B (zh) * | 2009-10-05 | 2014-12-10 | 佳能株式会社 | 摄像设备及其缺陷像素校正方法 |
-
2011
- 2011-11-25 JP JP2011256898A patent/JP5696026B2/ja not_active Expired - Fee Related
-
2012
- 2012-11-21 US US13/683,207 patent/US8988562B2/en not_active Expired - Fee Related
- 2012-11-22 CN CN201210479143.6A patent/CN103139492B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013115449A (ja) | 2013-06-10 |
US20130135501A1 (en) | 2013-05-30 |
CN103139492B (zh) | 2016-06-29 |
US8988562B2 (en) | 2015-03-24 |
CN103139492A (zh) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5696026B2 (ja) | 撮像装置、撮像方法および監視システム | |
US9749539B2 (en) | Image processing apparatus for correcting a distortion of a still image generated from a frame image of a moving image, image capturing apparatus, image generation apparatus, and image processing method | |
US20110080494A1 (en) | Imaging apparatus detecting foreign object adhering to lens | |
JP5526014B2 (ja) | 撮像装置 | |
JP5013954B2 (ja) | 撮像装置 | |
US8970742B2 (en) | Image processing apparatus and method capable of performing correction process speedily and easily | |
KR102229152B1 (ko) | 이미지 촬영 장치 | |
JP5780764B2 (ja) | 撮像装置 | |
US8970711B2 (en) | Imaging apparatus for correcting distortion in image captured using rolling shutter method and distortion correction method | |
US9307168B2 (en) | Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated | |
JP6070283B2 (ja) | 撮像装置、露出制御方法およびプログラム | |
JP2013031010A (ja) | 撮像装置、撮像方法およびプログラム | |
US10129449B2 (en) | Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
JP5262953B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2017159336A1 (ja) | 合焦位置検出装置及び合焦位置検出方法 | |
JP6017641B1 (ja) | 撮像装置,信号処理方法,信号処理プログラム | |
JP2019080261A (ja) | 撮像装置 | |
JP6294607B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
US10594912B2 (en) | Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
JP2011114473A (ja) | 画素欠陥補正装置 | |
US10911700B2 (en) | Image capturing apparatus, image processing apparatus, and method | |
JP7462240B2 (ja) | シャッタスピード決定装置及び撮像装置 | |
JP6393573B2 (ja) | 撮像装置および撮像方法 | |
JP2005318337A (ja) | 固体撮像素子の欠陥検出補正装置および撮像装置 | |
JP6148575B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5696026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |