JP6821093B2 - 撮像装置及びライン変動ノイズ低減装置 - Google Patents
撮像装置及びライン変動ノイズ低減装置 Download PDFInfo
- Publication number
- JP6821093B2 JP6821093B2 JP2020526848A JP2020526848A JP6821093B2 JP 6821093 B2 JP6821093 B2 JP 6821093B2 JP 2020526848 A JP2020526848 A JP 2020526848A JP 2020526848 A JP2020526848 A JP 2020526848A JP 6821093 B2 JP6821093 B2 JP 6821093B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- line
- calculation unit
- unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 38
- 230000009467 reduction Effects 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims description 92
- 230000033001 locomotion Effects 0.000 claims description 92
- 238000012937 correction Methods 0.000 claims description 80
- 239000006185 dispersion Substances 0.000 claims description 57
- 230000006978 adaptation Effects 0.000 claims description 38
- 230000003044 adaptive effect Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Description
《1−1》実施の形態1の主要な構成
図1は、本発明の実施の形態1に係る撮像装置1の構成を概略的に示すブロック図である。図1に示されるように、実施の形態1に係る撮像装置1は、撮像部である撮像素子20と、ライン変動ノイズ低減装置であるライン変動ノイズ低減部10とを有する。
撮像素子20は、予め決められた波長域に感度を有する複数の検出素子を有する。複数の検出素子は、2次元平面上に複数行複数列に配置される。撮像素子20は、予め決められたフレーム期間毎に撮像を行う。予め決められた波長域は、例えば、8μmから14μmの範囲の波長域、すなわち、赤外線域である。ただし、予め決められた波長域は、他の波長域であってもよい。予め決められた波長域は、200nmから400nmの範囲の波長域、すなわち、紫外線域であってもよい。実施の形態1では、予め決められた波長域が赤外線域である場合を説明する。
このように、部分ラインに含まれる画素の画素数は、1水平走査ラインの画素数の20分の1から5分の1の範囲内で決めることができる。ただし、部分ラインに含まれる画素の画素数Nは、1水平走査ラインの画素数よりも少ない他の画素数とすることも可能である。また、画像サイズが大きくなるほど部分ラインの範囲を大きくしてもよい。あるいは、画像サイズが大きくなっても、部分ラインの範囲を変更しなくてもよい。撮像装置1の画角及び画素数と、撮像装置1が撮像するシーンにおける被写体の大きさ、被写体までの距離などから、適宜、部分ラインの範囲に含まれる画素の画素数を決めてもよい。
図6は、本発明の実施の形態2に係る撮像装置2の構成を概略的に示すブロック図である。図6において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図6に示されるように、撮像装置2は、撮像素子20、レンズ部21、及びライン変動ノイズ低減部10に加え、被写体からの光を通過させる開状態又は被写体からの光を遮断する閉状態に状態を切り替えるシャッタ40、撮像素子20で発生する固定パターンノイズ(FPN)成分を算出する固定パターンノイズ算出部(FPN算出部)50、シャッタ40の動作を制御するための制御部60、及び映像信号Yin(i)[F]からFPN成分を減算する減算部30を有する。
上記実施の形態1及び2においては、ライン変動ノイズ低減部10に入力される信号が、任意の波長の電磁波である光を検出する複数の検出素子を有する撮像素子20から出力される映像信号である場合を説明した。しかしながら、被写体を撮像する撮像素子20に代えて、検出対象の温度を計測する2次元配列された複数の検出素子を有する検出部又は検出対象までの距離を計測する(その結果、検出対象の表面の形状が計測される)2次元配列された複数の検出素子を有する検出部を用いてもよい。検出対象である被写体を撮像して得られる画素値、検出対象の各位置の温度、及び検出対象の各位置までの距離は、検出対象の物理量の例である。
図8は、実施の形態1又は2におけるライン変動ノイズ低減部又は実施の形態3に係るライン変動ノイズ低減装置のハードウェア構成の例を概略的に示す図である。図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aは、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。また、図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aの一部を、図8に示されるメモリ91と、プログラムを実行するプロセッサ92とによって実現してもよい。
Claims (15)
- 水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、被写体を撮像することで前記複数の検出素子に対応する複数の画素の画素値を出力する撮像部と、
前記画素値の各々の時間方向の変動量である画素値変動量を算出する画素値変動量算出部と、
Nが水平走査ラインの画素の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であり、前記部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
前記N個の画素値変動量と前記ライン変動量とから前記N個の画素値変動量の分散値を算出する分散値算出部と、
前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
前記ライン変動量と前記動き適応重みとから、前記撮像部から出力された前記画素値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
前記ライン変動ノイズ補正量を用いて前記撮像部から出力された前記画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部と、
を有することを特徴とする撮像装置。 - 前記動き適応重み決定部は、
前記分散値に対応する値である分散値指標を算出する分散値指標算出部と、
前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
を有することを特徴とする請求項1に記載の撮像装置。 - 前記動き適応重み決定部は、
前記分散値算出部から出力される分散値の画面平均である画面分散値平均を求める画面分散値平均算出部と、
前記画面分散値平均の時間方向で指数平滑することで基準分散値を求める基準分散値算出部と、
前記基準分散値に基づくスケーリング倍率と前記分散値を乗算して分散値指標を算出する分散値指標算出部と、
前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
を有することを特徴とする請求項1に記載の撮像装置。 - 前記動き適応重み決定部は、予め決められた標準の基準分散値を前記基準分散値で除算することによって前記スケーリング倍率を算出するスケーリング倍率算出部をさらに有することを特徴とする請求項3に記載の撮像装置。
- 前記動き適応重み算出部は、
前記分散値指標が前記第1の閾値以下であるときに、前記動き適応重みを予め決められた第1の値に設定し、
前記分散値指標が前記第2の閾値以上であるときに、前記動き適応重みを、前記第1の値より小さい予め決められた第2の値に設定する
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。 - 前記第1の値は、1.0であり、
前記第2の値は、0.0であり、
前記分散値指標が前記第1の閾値以上であり且つ前記第2の閾値以下の範囲内にあるときに、前記動き適応重みは、1.0から0.0までの値である
ことを特徴とする請求項5に記載の撮像装置。 - 前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向に1画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
- 前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向にN画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
- 前記ライン変動ノイズ補正部は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量を減算することで、又は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量に1より小さい補正比率を乗算した値を減算することで、ライン変動ノイズ補正後の映像信号を出力することを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
- 前記画素値変動量算出部は、基準のフレームにおける画素の画素値と、前記基準のフレームより1フレーム前のフレームの同じ画素の画素値との間の変動量を前記画素値変動量として算出することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
- 前記撮像部は、予め決められた波長帯域の光を検出することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
- 前記撮像部で発生する固定パターンノイズ成分を算出する固定パターンノイズ算出部と、
前記撮像部から出力された前記映像信号から前記固定パターンノイズ成分を減算する減算部と
をさらに有することを特徴とする請求項1から11のいずれか1項に記載の撮像装置。 - 水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、検出対象の物理量を検出することで前記複数の検出素子に対応する複数の検出点の検出値を出力する検出部から出力される検出信号を受信するライン変動ノイズ低減装置であって、
前記検出値の各々の時間方向の変動量である検出値変動量を算出する検出値変動量算出部と、
Nが水平走査ラインの検出点の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の検出点の範囲であり、前記部分ライン内におけるN個の検出点のN個の検出値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
前記N個の検出値変動量と前記ライン変動量とから前記N個の検出値変動量の分散値を算出する分散値算出部と、
前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
前記ライン変動量と前記動き適応重みとから、前記検出部から出力された前記検出値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
前記ライン変動ノイズ補正量を用いて前記検出部から出力された前記検出値の各々を補正して、補正後の検出信号を生成するライン変動ノイズ補正部と、
を有することを特徴とするライン変動ノイズ低減装置。 - 前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象の温度に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
- 前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象までの距離に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/024779 WO2020003488A1 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置及びライン変動ノイズ低減装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020003488A1 JPWO2020003488A1 (ja) | 2021-01-07 |
JP6821093B2 true JP6821093B2 (ja) | 2021-01-27 |
Family
ID=68986812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020526848A Active JP6821093B2 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置及びライン変動ノイズ低減装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11082650B1 (ja) |
EP (1) | EP3817352B1 (ja) |
JP (1) | JP6821093B2 (ja) |
CN (1) | CN112313935B (ja) |
WO (1) | WO2020003488A1 (ja) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5121230A (en) * | 1987-01-19 | 1992-06-09 | Canon Kabushiki Kaisha | Image reading apparatus having adjusting circuits for matching the level of and compensating for fluctuation among a plurality of sensing elements |
TWI229842B (en) * | 2000-04-21 | 2005-03-21 | Matsushita Electric Ind Co Ltd | Image processing method and image processing apparatus |
JP4945063B2 (ja) * | 2004-03-15 | 2012-06-06 | 東芝モバイルディスプレイ株式会社 | アクティブマトリクス型表示装置 |
US7769089B1 (en) * | 2004-12-02 | 2010-08-03 | Kolorific, Inc. | Method and system for reducing noise level in a video signal |
JP4749397B2 (ja) | 2007-08-23 | 2011-08-17 | 三菱電機株式会社 | 赤外線撮像装置 |
JP2009232402A (ja) * | 2008-03-25 | 2009-10-08 | Oki Semiconductor Co Ltd | ノイズ低減回路及び方法 |
WO2010010620A1 (ja) * | 2008-07-24 | 2010-01-28 | 株式会社島津製作所 | 光または放射線撮像装置 |
JP2010220024A (ja) * | 2009-03-18 | 2010-09-30 | Hitachi Kokusai Electric Inc | 横引きノイズ補正方法 |
JP2011029793A (ja) * | 2009-07-22 | 2011-02-10 | Panasonic Corp | 固体撮像装置およびカメラ |
JP5543194B2 (ja) * | 2009-12-24 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、処理方法及びプログラム |
JP5834542B2 (ja) * | 2011-06-30 | 2015-12-24 | 株式会社ニコン | 撮像装置、画像処理装置、及びプログラム、並びに記録媒体 |
JP2013025364A (ja) * | 2011-07-15 | 2013-02-04 | Olympus Corp | 撮像装置及び画像処理方法 |
JP5864958B2 (ja) * | 2011-08-31 | 2016-02-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体 |
JP2013106186A (ja) * | 2011-11-14 | 2013-05-30 | Canon Inc | 撮像装置 |
JP6451104B2 (ja) * | 2014-07-04 | 2019-01-16 | 株式会社リコー | 光電変換素子、画像読取装置、画像形成装置及び信号制御方法 |
WO2016185701A1 (ja) | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | 赤外線撮像装置及び固定パターンノイズデータの更新方法 |
-
2018
- 2018-06-29 US US15/734,993 patent/US11082650B1/en active Active
- 2018-06-29 WO PCT/JP2018/024779 patent/WO2020003488A1/ja active Application Filing
- 2018-06-29 EP EP18924114.4A patent/EP3817352B1/en active Active
- 2018-06-29 CN CN201880094902.2A patent/CN112313935B/zh active Active
- 2018-06-29 JP JP2020526848A patent/JP6821093B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN112313935A (zh) | 2021-02-02 |
EP3817352A1 (en) | 2021-05-05 |
CN112313935B (zh) | 2023-04-04 |
EP3817352B1 (en) | 2022-05-11 |
JPWO2020003488A1 (ja) | 2021-01-07 |
EP3817352A4 (en) | 2021-06-09 |
US20210235033A1 (en) | 2021-07-29 |
US11082650B1 (en) | 2021-08-03 |
WO2020003488A1 (ja) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163043B2 (en) | Distance measuring device and distance image synthesizing method | |
JP4152398B2 (ja) | 手ぶれ補正装置 | |
KR100840986B1 (ko) | 이미지흐림 감소 | |
WO2015019586A1 (en) | Image processing device and method, eye fundus image processing device, image photographing method, and eye fundus image photographing device and method | |
JP5948073B2 (ja) | 画像信号処理装置、画像信号処理方法 | |
JP2006121521A (ja) | 撮像装置および画像処理プログラム | |
EP1708490B1 (en) | Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera | |
US20110157209A1 (en) | Image processing apparatus and image processing method | |
GB2481090A (en) | Thermal imaging camera for detection of two different sensitivities of radiation | |
JP5986461B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP6821093B2 (ja) | 撮像装置及びライン変動ノイズ低減装置 | |
JP6552325B2 (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
CN106973194A (zh) | 拍摄装置、图像处理装置、图像处理方法 | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP5868197B2 (ja) | ノイズ低減装置およびその制御方法 | |
KR102011490B1 (ko) | 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 | |
JP5632703B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
CN112839180A (zh) | 曝光控制方法、装置以及图像采集设备、口内扫描仪 | |
JP5366672B2 (ja) | 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム | |
JP2019149719A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2014112780A (ja) | 撮像装置、撮像方法及びプログラム | |
US20230196517A1 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium | |
KR101535006B1 (ko) | 역광을 보정하기 위한 영상 처리 장치 및 방법 | |
JP2023124452A (ja) | 画像処理装置 | |
JP6961477B2 (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6821093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |