JP6821093B2 - 撮像装置及びライン変動ノイズ低減装置 - Google Patents

撮像装置及びライン変動ノイズ低減装置 Download PDF

Info

Publication number
JP6821093B2
JP6821093B2 JP2020526848A JP2020526848A JP6821093B2 JP 6821093 B2 JP6821093 B2 JP 6821093B2 JP 2020526848 A JP2020526848 A JP 2020526848A JP 2020526848 A JP2020526848 A JP 2020526848A JP 6821093 B2 JP6821093 B2 JP 6821093B2
Authority
JP
Japan
Prior art keywords
value
line
calculation unit
unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020526848A
Other languages
English (en)
Other versions
JPWO2020003488A1 (ja
Inventor
俊樹 藤野
俊樹 藤野
康平 栗原
康平 栗原
山下 孝一
孝一 山下
大祐 鈴木
大祐 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020003488A1 publication Critical patent/JPWO2020003488A1/ja
Application granted granted Critical
Publication of JP6821093B2 publication Critical patent/JP6821093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像装置及びライン変動ノイズ低減装置に関する。
撮像素子(例えば、イメージセンサ)は、2次元配列された複数の検出素子によって被写体を撮像することで、複数の検出素子に対応する複数の画素の画素値を映像信号として順に出力する。この映像信号には、水平走査ライン毎のノイズ成分に起因する水平走査ライン毎の画素値のレベル変動であるライン変動ノイズが含まれることがある(例えば、特許文献1参照)。
ライン変動ノイズは、映像にちらつきを生じさせ、映像の視認性を低下させる。ライン変動ノイズを抑制する方法として、映像信号の水平走査ライン毎の画素値の平均値が一定となるように、映像信号を補正する方法がある。この方法では、1つの水平走査ラインの全画素の画素値の平均値と1フレーム前のフレームにおける同一の水平走査ラインの全画素の画素値の平均値との差、又は1つの水平走査ラインの各画素の画素値と1フレーム前のフレームにおける同じ水平走査ラインの同じ画素の画素値との差分の平均値であるライン変動値を補正値として用いる。
特許第4749397号公報
しかしながら、被写体が動く部分を含む場合に算出されるライン変動値は、水平走査ライン毎のノイズ成分に起因しない変動成分、すなわち、動く部分に起因する変動成分である動き成分を含んでいる。このため、上記ライン変動値を補正値として用いて映像信号を補正すると、ライン変動ノイズを適切に低減できないという課題がある。
本発明は、上記従来技術の課題を解決するためになされたものであり、被写体に動く部分が含まれている場合であっても、ライン変動ノイズを適切に低減することができる撮像装置、及び検出対象に動く部分が含まれている場合であっても、ライン変動ノイズを適切に低減することができるライン変動ノイズ低減装置を提供することを目的とする。
本発明の一態様に係る撮像装置は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、被写体を撮像することで前記複数の検出素子に対応する複数の画素の画素値を出力する撮像部と、前記画素値の各々の時間方向の変動量である画素値変動量を算出する画素値変動量算出部と、Nが水平走査ラインの画素の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であり、前記部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量を算出するライン変動量算出部と、前記N個の画素値変動量と前記ライン変動量とから前記N個の画素値変動量の分散値を算出する分散値算出部と、前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、前記ライン変動量と前記動き適応重みとから、前記撮像部から出力された前記画素値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、前記ライン変動ノイズ補正量を用いて前記撮像部から出力された前記画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部と、を有することを特徴とする。
本発明の他の態様に係るライン変動ノイズ低減装置は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、検出対象の物理量を検出することで前記複数の検出素子に対応する複数の検出点の検出値を出力する検出部から出力される検出信号を受信する装置であって、前記検出値の各々の時間方向の変動量である検出値変動量を算出する検出値変動量算出部と、Nが水平走査ラインの検出点の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の検出点の範囲であり、前記部分ライン内におけるN個の検出点のN個の検出値変動量の平均値であるライン変動量を算出するライン変動量算出部と、前記N個の検出値変動量と前記ライン変動量とから前記N個の検出値変動量の分散値を算出する分散値算出部と、前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、前記ライン変動量と前記動き適応重みとから、前記検出部から出力された前記検出値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、前記ライン変動ノイズ補正量を用いて前記検出部から出力された前記検出値の各々を補正して、補正後の検出信号を生成するライン変動ノイズ補正部と、を有することを特徴とする。
本発明に係る撮像装置によれば、被写体に動く部分が含まれている場合であっても、映像信号の動き成分への影響を抑制しつつ、ライン変動ノイズを適切に低減することができる。
本発明に係るライン変動ノイズ低減装置によれば、検出対象に動く部分が含まれている場合であっても、検出信号の動き成分への影響を抑制しつつ、ライン変動ノイズを適切に低減することができる。
本発明の実施の形態1に係る撮像装置の構成を概略的に示すブロック図である。 図1に示される撮像装置の撮像素子の構成例を概略的に示す図である。 (a)及び(b)は、部分ラインの範囲の移動平均法による決め方の概要を示す図である。 (a)及び(b)は、部分ラインの範囲の固定分割法による決め方の概要を示す図である。 標準基準分散値が384であるときの動き適応重み特性のグラフを示す図である。 本発明の実施の形態2に係る撮像装置の構成を概略的に示すブロック図である。 本発明の実施の形態3に係るライン変動ノイズ低減装置の構成を概略的に示すブロック図である。 実施の形態1から3の変形例のハードウェア構成を概略的に示す図である。
以下に、本発明の実施の形態に係る撮像装置及びライン変動ノイズ低減装置を、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1
《1−1》実施の形態1の主要な構成
図1は、本発明の実施の形態1に係る撮像装置1の構成を概略的に示すブロック図である。図1に示されるように、実施の形態1に係る撮像装置1は、撮像部である撮像素子20と、ライン変動ノイズ低減装置であるライン変動ノイズ低減部10とを有する。
撮像素子20は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、複数の検出素子で被写体を撮像することで複数の検出素子に対応する複数の画素の画素値を映像信号として出力する。映像信号は、Yinで表記される。映像信号Yinを構成する各画素値は、Yin(i)で表記される。映像信号Yinを構成する各画素値のうち、Fフレーム目のフレーム(以下「第Fフレーム」とも言う)におけるi番目の画素の画素値は、Yin(i)[F]と表記される。以下の説明において、丸括弧( )内のiは、あるフレームにおける画素の番号を示す正の整数である。また、角括弧[ ]内のFは、フレーム番号を示す正の整数である。
ライン変動ノイズ低減部10は、例えば、信号処理回路である。図1に示されるように、ライン変動ノイズ低減部10は、遅延部101と、画素値変動量算出部102と、ライン変動量算出部103と、分散値算出部104と、画面分散値平均算出部105と、目標基準分散値算出部106と、基準分散値算出部107と、スケーリング倍率算出部108と、分散値指標算出部109と、動き適応重み算出部110と、補正量算出部111と、ライン変動ノイズ補正部112と、フレーム遅延部113とを有する。画面分散値平均算出部105、目標基準分散値算出部106、基準分散値算出部107、スケーリング倍率算出部108、分散値指標算出部109、及び動き適応重み算出部110は、動き適応重み決定部114を構成する。
画素値変動量算出部102は、画素値の各々の時間方向の変動量である画素値変動量d(i)を算出する。第Fフレームのi番目の画素の画素値Yin(i)[F]が入力されたときの画素値変動量、すなわち、第Fフレームのi番目の画素の画素値に対応する画素値変動量はd(i)[F]と表記される。
Nが水平走査ラインの画素の総数である総画素数Lより少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であるとした場合、ライン変動量算出部103は、部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量ave(i)を算出する。第Fフレームのi番目の画素の画素値に対応するライン変動量は、ave(i)[F]と表記される。また、部分ラインの具体例は、後述される。
分散値算出部104は、部分ライン内におけるN個の画素のN個の画素値変動量とライン変動量とから、N個の画素値変動量の分散値var(i)を算出する。第FフレームのN個の画素のN個の画素値変動量と第Fフレームのi番目の画素の画素値に対応するライン変動量ave(i)[F]とから算出された、N個の画素値変動量の分散値は、var(i)[F]と表記される。
動き適応重み決定部114は、分散値var(i)に基づいて動き適応重みw(i)を算出する。第Fフレームのi番目の画素の画素値に対応する動き適応重みは、w(i)[F]と表記される。実施の形態1では、被写体に含まれる動く部分が多い場合には、動き適応重みw(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、動き適応重みw(i)[F]が大きな値になる。
補正量算出部111は、ライン変動量ave(i)と動き適応重みw(i)とから、撮像部20から出力された画素値の各々に対応するライン変動ノイズ補正量c_lfn(i)を算出する。第Fフレームのi番目の画素の画素値に対応するライン変動ノイズ補正量は、c_lfn(i)[F]と表記される。実施の形態1では、被写体に含まれる動く部分が多い場合には、ライン変動ノイズ補正量c_lfn(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、ライン変動ノイズ補正量c_lfn(i)[F]が大きな値になる。
ライン変動ノイズ補正部112は、ライン変動ノイズ補正量c_lfn(i)を用いて撮像部20から出力された画素値Yin(i)の各々を補正して、補正後の映像信号Yout(i)を生成する。第Fフレームのi番目の画素の画素値に対応する補正後の映像信号の画素値は、Yout(i)[F]と表記される。
実施の形態1に係る撮像装置1によれば、被写体に含まれる動く部分が多い場合には、ライン変動ノイズ補正量c_lfn(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、ライン変動ノイズ補正量c_lfn(i)[F]が大きな値になる。このため、被写体に動く部分が多く含まれている場合に、映像信号の動き成分は削減されにくい。また、被写体に含まれる動く部分が少ない場合に、ライン変動ノイズが適切に低減される。
《1−2》実施の形態1の構成及び動作
撮像素子20は、予め決められた波長域に感度を有する複数の検出素子を有する。複数の検出素子は、2次元平面上に複数行複数列に配置される。撮像素子20は、予め決められたフレーム期間毎に撮像を行う。予め決められた波長域は、例えば、8μmから14μmの範囲の波長域、すなわち、赤外線域である。ただし、予め決められた波長域は、他の波長域であってもよい。予め決められた波長域は、200nmから400nmの範囲の波長域、すなわち、紫外線域であってもよい。実施の形態1では、予め決められた波長域が赤外線域である場合を説明する。
図2は、図1の撮像素子20の構成を概略的に示す図である。図2に示されるように、撮像素子20では、複数の画素(すなわち、複数の検出素子)401〜425が行方向及び列方向にマトリクス状に配置されている。行方向に整列した各行の画素(1行目の場合、画素401、402、403、404、405)は、共通の駆動線(1行目の場合、駆動線301)に接続されている。列方向に整列した各列の画素(1列目の場合、画素401、406、411、416、421)は、共通の信号線(1列目の場合、信号線201)に接続されている。各行の駆動線301、302、303、304、305は、垂直走査部としての垂直走査回路300により順に駆動される(すなわち、駆動パルスを印加される)。各行の駆動線301、302、303、304、305が駆動されている間(すなわち、1水平走査期間中)に、その行の画素(駆動線301の場合、画素401、402、403、404、405)の信号(すなわち、画素値又は検出値)は、信号線201、202、203、204、205及び水平走査部としての水平走査回路200を介して順に出力される。なお、図2には、5行5列の画素が示されているが、撮像素子20の画素数はこの例に限定されない。撮像素子の画素数は、例えば、240行320列であってもよい。
撮像装置1は、撮像素子20に被写体の像を結像させる結像光学系としてのレンズ部を有してもよい。レンズ部は、例えば、1枚のレンズ又は複数枚のレンズからなるレンズ群を有する。レンズ部は、予め決められた波長域の光成分を透過させる機能を備えてもよい。被写体から放射される光は、レンズ部により集光され、撮像素子20の複数の検出素子、すなわち、複数の画素上に結像する。撮像素子20の各検出素子は、入射した光の強度に応じた値(すなわち、画素値)の信号を映像信号Yinとして出力する。実施の形態1では、撮像素子20は、映像信号Yinとして複数の画素値をラスタスキャンの順に出力する。
図1に示される遅延部101は、撮像素子20から出力される映像信号Yinである画素値Yin(i)[F]を、後述のライン変動ノイズ補正処理に基づいて決められた遅延時間、遅延させる。
画素値変動量算出部102は、撮像素子20から出力される映像信号Yinである第Fフレームにおけるi番目の画素の画素値Yin(i)[F]と、ライン変動ノイズ補正信号である1フレーム前のフレーム(すなわち、第F−1フレーム)における同じ画素の画素値Yout(i)[F−1]とから、i番目の画素の画素値変動量d(i)を求める。ここでの第Fフレームを基準のフレームと定義する。具体的には、画素値変動量算出部102は、映像信号Yinの第Fフレームにおけるi番目の画素の画素値Yin(i)[F]から、映像信号Youtの第F−1フレームにおける同じi番目の画素の画素値Yout(i)[F−1]を減算することで、第Fフレームにおけるi番目の画素の画素値変動量d(i)[F]を求める。この画素値変動量d(i)[F]は、例えば、以下の式1で算出される。
Figure 0006821093
例えば、画素値変動量算出部102は、撮像素子20から出力される映像信号Yinの第10フレームの5番目の画素Yin(5)[10]から、第9フレーム(すなわち、第10フレームの1フレーム前)の映像信号であるライン変動ノイズ補正信号Youtの5番目の画素Yout(5)[9]を減算することによって、第10フレームの5番目の画素Yin(5)[10]についての画素値変動量d(5)[10]を算出する。
ライン変動量算出部103は、画素値変動量算出部102から出力される画素値変動量d(i)[F]を部分ラインの範囲で平均する。すなわち、ライン変動量算出部103は、部分ラインの範囲に含まれるN個の画素の画素値の平均値であるライン変動量ave(i)[F]を計算する。
図3(a)及び(b)は、部分ラインの範囲の移動平均法による決め方の概要を示す図である。移動平均法では、図3(a)及び(b)に示されるように、部分ラインの範囲(すなわち、部分ラインの区間)を1画素ずつずらしながら、部分ラインの範囲でライン変動量ave(i)[F]を計算する。
図4(a)及び(b)は、部分ラインの範囲の固定分割法による決め方の概要を示す図である。固定分割法では、図4(a)及び(b)に示されるように、部分ラインの範囲(すなわち、部分ラインの区間)を部分ラインに含まれる画素の画素数ずつずらしながら、部分ラインの範囲でライン変動量ave(i)[F]を計算する。
部分ラインの範囲、すなわち、部分ラインに含まれる画素の画素数であるNは、画像サイズの幅、すなわち、1水平走査ラインの画素数に応じて決定される。例えば、1水平走査ラインの画素数が320画素の場合、部分ラインの範囲を示すNは、1水平走査ラインの画素数の20分の1である16画素である。ただし、部分ラインに含まれる画素の画素数Nは、16画素以外の画素数(例えば、1水平走査ラインの画素数の10分の1である32画素又は1水平走査ラインの画素数の5分の1である64画素など)としてもよい。
このように、部分ラインに含まれる画素の画素数は、1水平走査ラインの画素数の20分の1から5分の1の範囲内で決めることができる。ただし、部分ラインに含まれる画素の画素数Nは、1水平走査ラインの画素数よりも少ない他の画素数とすることも可能である。また、画像サイズが大きくなるほど部分ラインの範囲を大きくしてもよい。あるいは、画像サイズが大きくなっても、部分ラインの範囲を変更しなくてもよい。撮像装置1の画角及び画素数と、撮像装置1が撮像するシーンにおける被写体の大きさ、被写体までの距離などから、適宜、部分ラインの範囲に含まれる画素の画素数を決めてもよい。
移動平均法を用いる場合は、ライン変動量ave(i)に、被写体の移動に応じた不自然さは現われ難い。ただし、移動平均法を用いる場合は、演算量が増加する。固定分割法を用いる場合は、水平走査方向に平滑処理を行うので、隣り合う部分ライン間の境界の不自然さを目立たなくすることができる。固定分割法を用いる場合は、演算量が少なくできる。固定分割法を用いる場合は、移動平均法を用いる場合に比べ、ライン変動量算出部103の回路規模を小さくすることができる。
ライン変動量算出部103は、部分ラインの範囲を、入力される映像信号に応じて変更してもよい。例えば、入力される映像に動き部分が多い場合は、部分ラインの範囲に含まれる画素の画素数を少ない値(例えば、N=16画素)にし、入力される映像に動き部分が多い場合は、部分ラインの範囲に含まれる画素の画素数を多い値(例えば、N=32画素の範囲)にしてもよい。部分ラインの範囲に含まれるN個の画素の画素値の平均値であるライン変動量ave(i)[F]は、例えば、以下の式2で算出される。
Figure 0006821093
分散値算出部104は、画素値変動量算出部102から出力される画素値変動量d(i)[F]とライン変動量算出部103から出力されるライン変動量ave(i)[F]とから部分ラインの分散値var(i)[F]を算出する。分散値算出部104は、平均値との差の2乗平均で分散値var(i)[F]を求めることができる。また、分散値算出部104は、先に、部分ラインの範囲について画素値変動量d(i)[F]の2乗平均s_ave(i)[F]を算出して、これからライン変動量ave(i)[F]の2乗である(ave(i)[F])を減算することで、分散値var(i)[F]を求めてもよい。分散値算出部104から出力される分散値var(i)[F]は、例えば、以下の式3で算出される。
Figure 0006821093
画面分散値平均算出部105は、分散値算出部104から出力される分散値var(i)から、画面全体における各部分ラインの分散値の平均である第Fフレームの画面分散値平均AVE_VAR[F]を算出する。画面分散値平均算出部105から出力される第Fフレームの画面分散値平均AVE_VAR[F]は、例えば、以下の式4で算出される。
Figure 0006821093
式4において、Mは、1フレームの全画素数である。1フレームが横320画素、縦240画素である場合、Mは、320×240画素である。画面分散値平均AVE_VAR[F]は、第Fフレームの画面において動き成分も含むランダムノイズレベルを示す指標である。
目標基準分散値算出部106は、画面分散値平均算出部105から出力される画面の分散値平均AVE_VAR[F]に、動いている物体(すなわち、動体)と静止している物体(すなわち、静止物体)の判別の閾値(例えば、後述する図5に示される第1の閾値と第2の閾値)を調整するために使用される設定値Rvを乗算することで、目標基準分散値TVAR[F]を算出する。つまり、設定値Rvは、動体と静止物体とを判別するために用いられる閾値を調整するための値である。設定値Rvのデフォルト値は、例えば、1.0である。設定値Rvは、外部から入力されてもよいが、撮像装置1内の記憶部に記憶されていてもよい。第Fフレームにおける目標基準分散値をTVAR[F]で表せば、目標基準分散値算出部106から出力される目標基準分散値TVAR[F]は、例えば、以下の式5で算出される。なお、Rv=1である場合には、目標基準分散値算出部106を備えずに、画面の分散値平均AVE_VAR[F]を基準分散値算出部107に供給するように構成してもよい。
Figure 0006821093
基準分散値算出部107は、目標基準分散値算出部106から出力される目標基準分散値TVAR[F]から、画面毎すなわちフレーム毎に動体と静止物体とを判別するために用いられる閾値を示す基準分散値RVAR[F]を算出する。RVAR[F]は、第Fフレームにおける基準分散値である。基準分散値は、時間方向へ指数平滑することで、時間方向への大きい変動が抑えられる。第Fフレームにおける基準分散値をRVAR[F]で表し、1フレーム前である第F−1フレームにおける取得済みの基準分散値をRVAR[F−1]で表せば、基準分散値算出部107から出力される基準分散値RVAR[F]は、例えば、以下の式6で算出される。
Figure 0006821093
RVAR[F]が小さくなると動き成分の割合が増え(すなわち、画素の画素値が動き成分を含むと判定される動判定の割合が増え)、RVAR[F]が大きくなると動き成分の割合が減り(すなわち、画素の画素値が動き成分を含むと判定される動判定の割合が減る)。ここで、αは、指数平滑係数を表す。αのデフォルト値は、例えば、0.25である。αは外部から入力された値でもよいが、撮像装置1の記憶部に予め記憶されていてもよい。
図5は、標準の基準分散値が384であるときの動き適応重み特性のグラフを示す図である。スケーリング倍率算出部108は、図5に示される標準の動き適応重み特性を使うため、予め決められた標準の基準分散値と基準分散値算出部107から出力される基準分散値RVAR[F]との比からスケーリング倍率Rsを算出する。スケーリング倍率算出部108から出力される第Fフレームにおけるスケーリング倍率Rs[F]は、例えば、以下の式7で算出される。
Figure 0006821093
分散値指標算出部109は、分散値算出部104で算出される分散値var(i)[F]とスケーリング倍率算出部108で算出されるスケーリング倍率Rs[F]とを乗算して、分散値指標i_var(i)[F]を算出する。分散値指標i_var(i)[F]は、標準の動き適応重み特性に基づく動き適応重みw(i)[F]の算出に用いられる指標である。分散値指標算出部109は、第Fフレームにおける分散値指標i_var(i)[F]を、例えば、以下の式8によって算出する。
Figure 0006821093
動き適応重み算出部110は、分散値指標算出部109から出力される分散値指標i_var(i)[F]から動体及び静止物体のそれぞれに適用される係数である重み、すなわち、動き適応重みw(i)[F]を算出する。映像に静止物体のみが存在し動体が存在しない場合は、分散値が映像中のランダムノイズ量になり、映像中に動体が存在する場合は、分散値が「(ランダムノイズ量)+(動き量)」になる。動き適応重み算出部110は、分散値に基づいて動き量を判断して、動き適応重みw(i)[F]を制御する。動き適応重みw(i)[F]の範囲が0.0〜1.0において動き適応重みw(i)[F]が0.5になるときの分散値を、動体と静止物体とを判別するために用いられる閾値の基準分散値と定義する。
動き適応重みw(i)[F]の範囲は、例えば、0.0から1.0までの範囲である。動き適応重みw(i)[F]の値が0.0のときは、映像信号を補正をせず、動き適応重みw(i)[F]の値が1.0のときは、ライン変動量をそのまま用いて映像信号を補正する。
また、動き適応重みw(i)[F]の範囲が0.0と1.0との間(すなわち、0.0より大きく1.0より小さいとき)は、線形的に動き適応重みw(i)[F]を変更する。図5には、動き適応重みw(i)[F]の特性の例のグラフが示されている。動き適応重みw(i)[F]のグラフは、4次式で表現されてもよい。動き適応重み算出部110によって出力される動き適応重みw(i)は、例えば、以下の式9で算出される。
Figure 0006821093
ここで、動き適応重みw(i)[F]の最小値である最小の重みをWminとした場合には、w(i)[F]=Wminとし、最小重みの飽和制限を設けてもよい。最小の重みWminのデフォルト値は、例えば、0.0であるが、0.0より大きい値に設定してもよい。
動き適応重みの範囲は、0.0〜1.0ではなく、0から100であってもよい。ただし、補正量算出部111で動き適応重みw(i)の値を用いるため、映像信号Yin[F]に直接乗算できるようにするために、正規化することが望ましい。
補正量算出部111は、動き適応重み算出部110から出力される動き適応重みw(i)[F]にライン変動量算出部103から出力されるライン変動量ave(i)[F]を乗算することでライン変動ノイズ補正量c_lfn(i)[F]を算出する。
動き適応重みが0.0の場合は、補正をしないので、映像信号における動き成分に起因する不適切な補正を防ぐことができるが、ライン変動ノイズを低減することはできない。一方、動き適応重みw(i)が1.0の場合は、ライン変動量ave(i)をそのまま映像信号の補正に用いるので、被写体が静止物体であれば、ライン変動ノイズは適切に補正される。しかし、被写体に動体が含まれる場合は、映像信号の動き成分に起因するライン変動(すなわち、ライン変動ノイズ以外のライン変動)を低減することになるので、不適切な補正がなされる。
そこで、本実施の形態では、補正量算出部111から出力されるライン変動ノイズ補正量c_lfn(i)[F]を、例えば、以下の式10で算出している。
Figure 0006821093
ライン変動ノイズ補正部112は、遅延部101から出力される映像信号から補正量算出部111から出力されるライン変動ノイズ補正量c_lfn(i)[F]を減算することで、ライン変動ノイズが補正された補正後のデジタル信号、すなわち、補正後の映像信号Yout(i)[F]を出力する。ライン変動ノイズ補正量c_lfn(i)[F]を減算するときに、補正比率Rcをかけたライン変動ノイズ補正量Rc*c_lfn(i)[F]を減算することが望ましい。補正比率Rcを1.0に設定し、100%補正すると、基準となる画像の垂直ライン間オフセットずれ(横縞パターン)が消えずに、残り続ける。このため、補正比率Rcを1.0未満に設定し、100%より少なめに補正(リーク)し、基準の画像のラインオフセットを変動の平均値に収束させることが望ましい。ライン変動ノイズ補正後の映像信号をYout(i)[F]で表せば、ライン変動ノイズ補正部112から出力されるライン変動ノイズ補正後の映像信号Yout(i)[F]は、例えば、以下の式11で算出される。
Figure 0006821093
Rcのデフォルト値は、例えば、0.875である。Rcは、外部から入力されてもよいが、撮像装置1に備えられた記憶部に予め記憶されていてもよい。
フレーム遅延部113は、ライン変動ノイズ補正部112から出力される映像信号の画素値Yout(i)[F]を同じ画素位置の1フレーム前の画素との差分演算ができるように処理遅延量も考慮した1フレーム遅延を行う。
以上に説明したように、実施の形態1に係る撮像装置1によれば、ライン変動量を1水平走査ライン全体ではなく、1水平走査ラインの一部分である部分ラインについて算出することにより、被写体に動体が存在する場合であっても、ライン変動ノイズを適切に抑制することができる。
また、実施の形態1に係るライン変動ノイズ低減部10を用いれば、1フレームの画面分散値平均AVE_VAR[F]を用いてランダムノイズの量を推定している。このため、1フレーム内における動き量の推定精度を高くすることができ、動き量に応じた適切な補正量c_lfn(i)[F]を算出することができる。
また、基準分散値を算出することで、画面分散値平均値に応じて、動き適応重み特性グラフ(図6に示される)を入力映像シーンに応じたより適切なグラフに変更することができる。
《2》実施の形態2
図6は、本発明の実施の形態2に係る撮像装置2の構成を概略的に示すブロック図である。図6において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図6に示されるように、撮像装置2は、撮像素子20、レンズ部21、及びライン変動ノイズ低減部10に加え、被写体からの光を通過させる開状態又は被写体からの光を遮断する閉状態に状態を切り替えるシャッタ40、撮像素子20で発生する固定パターンノイズ(FPN)成分を算出する固定パターンノイズ算出部(FPN算出部)50、シャッタ40の動作を制御するための制御部60、及び映像信号Yin(i)[F]からFPN成分を減算する減算部30を有する。
シャッタ40は、レンズ部21の前(すなわち、被写体側)に配置されており、撮像素子20が検出可能な波長域成分の光(例えば、赤外線、紫外線、又は可視光線など)の撮像素子20への入射を許可する開状態と光の入射を許可しない閉状態とを切り替え可能な光透過/遮断部として用いられる。シャッタ40は、レンズ部21と撮像素子20との間に配置されてもよい。この場合には、FPN成分を除去するための補正処理時において、レンズ部21の影響を考慮した処理が追加して行われることが望ましい。
シャッタ40が開状態であるときには、被写体から放射される光は、レンズ部21により集光されて撮像素子20の複数の検出素子上に結像する。撮像素子20は、複数の検出素子に入射した光の強度に応じたレベルの画素値を、映像信号として順次(例えば、ラスタスキャン順に)出力する。シャッタ40が開状態のときに撮像素子20から出力される映像信号には、被写体から放射される光に対応した成分である信号成分だけでなく、FPN成分と、撮像素子20の駆動線に印加される垂直駆動パルスの波高値のバラツキに起因するバラツキ成分とが含まれる。
シャッタ40が閉状態であるときには、撮像素子20への光の入射が遮断される。この閉状態では、撮像素子20から出力される映像信号は、信号成分を含まず、FPN成分及び垂直駆動パルスの波高値のバラツキに起因する成分のみを含む。
制御部60は、例えば、タイミング生成部601と、シャッタ制御部602とを有する制御回路である。FPN算出部50は、例えば、加算部501と、記憶部としてのフレームメモリ502と、フレームメモリ制御部503と、除算部504とを有する処理回路である。
タイミング生成部601は、撮像装置2が、FPN成分などのノイズ成分に基づく補正値を更新するための更新モードであるか、被写体を撮像するための通常撮像モードであるかを示すタイミング信号である動作モード信号STを出力する。シャッタ制御部602は、タイミング生成部601から出力される動作モード信号STに応じて、シャッタ40を開状態(通常撮像モード時)又は閉状態(更新モード時)に切り替えるための制御を行う。
撮像装置2は、撮像装置2の電源が投入されたとき及び操作入力部(図示せず)によってユーザが更新モードを指示したときに、動作モードを更新モードに設定する。例えば、タイミング生成部601は、動作モード信号STを通常レベルより低い低レベルにすると、シャッタ制御部602は、シャッタ40を閉状態にし、フレームメモリ制御部503は、フレームメモリ502への書き込みを行うための、すなわち、フレームメモリ502に記憶されているFPN成分の値を更新するための制御を行う。
FPN算出部50は、撮像素子20から出力される映像信号に含まれるFPN成分を算出し、この算出結果を保持し、保持されたFPN成分に対応する信号を出力する。
動作モード信号STがフレームメモリ502に記憶されているFPN成分の更新を指示する更新モードであるときは、シャッタ40は閉状態であり、ライン変動ノイズ低減部10におけるライン変動ノイズ補正部112から出力される映像信号Yout(i)[F]を、加算部501にて、予め決められたフレーム数のフレーム(例えば、64フレーム)分加算し、加算された映像信号をフレームメモリ502に記憶する。除算部504は、フレームメモリ502から加算された映像信号を読み出し、加算された映像信号の各画素値を予め決められたフレーム数で除算して、FPN成分として減算部30に供給する。
動作モード信号STが通常撮像モードを指示しているときは、シャッタ40は開状態であり、除算部504は、フレームメモリ502から加算された映像信号を読み出し、加算された映像信号の各画素値を予め決められたフレーム数で除算して、FPN成分として減算部30に供給する。加算するフレーム数は、ランダムノイズの性能又は振幅に応じてユーザが任意に決定してもよい。
加算部501は、フレームメモリ502から読み出される信号と、ライン変動ノイズ補正部112から出力される映像信号Yout(i)[F]とを加算し、加算の結果をフレームメモリ502に記憶させる。
フレームメモリ制御部503は、タイミング生成部601から出力される動作モード信号STが更新モードであるときに、加算部501から出力される加算の結果をフレームメモリ502に格納する動作を、予め決められたフレーム数分、繰り返し、予め決められたフレーム数分の加算の結果がフレームメモリ502へ格納されたときに、フレームメモリ502への加算の結果の格納を停止する。
除算部504は、フレームメモリ502から出力される映像信号の各画素値を、加算したフレーム数と同じ値で除算する。除算部504は、この除算の結果を減算部30に入力信号として提供する。減算部30は、次のフレームにおける映像信号との差分演算に用いられる。
以上説明したように、実施の形態2に係る撮像装置2によれば、実施の形態に係る撮像装置1によって得られる効果に加えて以下の効果が得られる。
撮像装置2によれば、シャッタ40を設けることにより、FPN成分を除去した映像信号がライン変動ノイズ低減部10に入力されるので、ライン変動ノイズを適切に抑制することができる。
なお、実施の形態2では、FPNの除去を先に行い、その後ライン変動ノイズの除去を行っている。しかし、FPN及びライン変動ノイズの各々の性質及び振幅、FPN及びライン変動ノイズの各々の補正部の処理に割り当てられるbit数又は信号ダイナミックレンジに応じて、ライン変動ノイズの除去を先に行い、その後、FPNの除去を行う構成としてもよい。
《3》実施の形態3
上記実施の形態1及び2においては、ライン変動ノイズ低減部10に入力される信号が、任意の波長の電磁波である光を検出する複数の検出素子を有する撮像素子20から出力される映像信号である場合を説明した。しかしながら、被写体を撮像する撮像素子20に代えて、検出対象の温度を計測する2次元配列された複数の検出素子を有する検出部又は検出対象までの距離を計測する(その結果、検出対象の表面の形状が計測される)2次元配列された複数の検出素子を有する検出部を用いてもよい。検出対象である被写体を撮像して得られる画素値、検出対象の各位置の温度、及び検出対象の各位置までの距離は、検出対象の物理量の例である。
図7は、本発明の実施の形態3に係る検出装置1a及びライン変動ノイズ低減部10aの構成を概略的に示すブロック図である。図7に示されるように、実施の形態3に係る検出装置1aは、検出部20aと、ライン変動ノイズ低減装置10aとを有する。
検出部20aは、実施の形態1及び2における撮像素子20と同様に、2次元配列された複数の検出素子を有する。複数の検出素子は、検出対象の温度又は検出対象までの距離などの物理量を検出する。検出部20aは、複数の検出素子に対応する複数の検出値を検出信号として出力する。
ライン変動ノイズ低減装置10aは、実施の形態1及び2におけるライン変動ノイズ低減部10と同様の補正処理を行う。
ライン変動ノイズ低減装置10aは、遅延部101aと、検出値変動量算出部102aと、ライン変動量算出部103aと、分散値算出部104aと、分散値平均算出部105aと、目標基準分散値算出部106aと、基準分散値算出部107aと、スケーリング倍率算出部108aと、分散値指標算出部109aと、動き適応重み算出部110aと、補正量算出部111aと、ライン変動ノイズ補正部112aと、フレーム遅延部113aとを有する。分散値平均算出部105a、目標基準分散値算出部106a、基準分散値算出部107a、スケーリング倍率算出部108a、分散値指標算出部109a、及び動き適応重み算出部110aは、動き適応重み決定部114aを構成する。
実施の形態3における遅延部101a、検出値変動量算出部102a、ライン変動量算出部103a、分散値算出部104a、分散値平均算出部105a、目標基準分散値算出部106a、基準分散値算出部107a、スケーリング倍率算出部108a、分散値指標算出部109a、動き適応重み算出部110a、補正量算出部111a、ライン変動ノイズ補正部112a、フレーム遅延部113a、及び動き適応重み決定部114aは、それぞれ実施の形態1及び2における遅延部101、画素値変動量算出部102、ライン変動量算出部103、分散値算出部104、画面分散値平均算出部105、目標基準分散値算出部106、基準分散値算出部107、スケーリング倍率算出部108、分散値指標算出部109、動き適応重み算出部110、補正量算出部111、ライン変動ノイズ補正部112、フレーム遅延部113、及び動き適応重み決定部114と同様の処理を行う。
以上に説明したように、実施の形態3に係るライン変動ノイズ低減装置10aを用いれば、検出対象に動体が存在する場合であっても、ライン変動ノイズを適切に抑制することができる。
また、実施の形態3に係るライン変動ノイズ低減装置10aを用いれば、1フレームの分散値平均AVE_VAR[F]を用いてランダムノイズの量を推定している。このため、1フレーム内における動き量の推定精度を高くすることができ、動き量に応じた適切な補正量c_lfn(i)[F]を算出することができる。
上記以外の点に関して、実施の形態3に係るライン変動ノイズ低減装置10aは、実施の形態1及び2に係るライン変動ノイズ低減部10と同じである。
《4》変形例
図8は、実施の形態1又は2におけるライン変動ノイズ低減部又は実施の形態3に係るライン変動ノイズ低減装置のハードウェア構成の例を概略的に示す図である。図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aは、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。また、図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aの一部を、図8に示されるメモリ91と、プログラムを実行するプロセッサ92とによって実現してもよい。
1,2 撮像装置、 10 ライン変動ノイズ低減部(ライン変動ノイズ低減装置)、 20 撮像素子(撮像部)、 21 レンズ部、 30 減算部、 40 シャッタ、 50 固定パターンノイズ算出部、 60 制御部、 101 遅延部、 102 画素値変動量算出部、 103 ライン変動量算出部、 104 分散値算出部、 105 画面分散値平均算出部、 106 目標基準分散値算出部、 107 基準分散値算出部、 108 スケーリング倍率算出部、 109 分散値指標算出部、 110 動き適応重み算出部、 111 補正量算出部、 112 ライン変動ノイズ補正部、 113 フレーム遅延部、 114 動き適応重み決定部、 501 加算部、 502 フレームメモリ、 503 フレームメモリ制御部、 504 除算部、 601 タイミング生成部、 602 シャッタ制御部、 10a ライン変動ノイズ低減装置、 20a 検出部、 101a 遅延部、 102a 検出値変動量算出部、 103a ライン変動量算出部、 104a 分散値算出部、 105a 分散値平均算出部、 106a 目標基準分散値算出部、 107a 基準分散値算出部、 108a スケーリング倍率算出部、 109a 分散値指標算出部、 110a 動き適応重み算出部、 111a 補正量算出部、 112a ライン変動ノイズ補正部、 113a フレーム遅延部。

Claims (15)

  1. 水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、被写体を撮像することで前記複数の検出素子に対応する複数の画素の画素値を出力する撮像部と、
    前記画素値の各々の時間方向の変動量である画素値変動量を算出する画素値変動量算出部と、
    Nが水平走査ラインの画素の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であり、前記部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
    前記N個の画素値変動量と前記ライン変動量とから前記N個の画素値変動量の分散値を算出する分散値算出部と、
    前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
    前記ライン変動量と前記動き適応重みとから、前記撮像部から出力された前記画素値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
    前記ライン変動ノイズ補正量を用いて前記撮像部から出力された前記画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部と、
    を有することを特徴とする撮像装置。
  2. 前記動き適応重み決定部は、
    前記分散値に対応する値である分散値指標を算出する分散値指標算出部と、
    前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
    を有することを特徴とする請求項1に記載の撮像装置。
  3. 前記動き適応重み決定部は、
    前記分散値算出部から出力される分散値の画面平均である画面分散値平均を求める画面分散値平均算出部と、
    前記画面分散値平均の時間方向で指数平滑することで基準分散値を求める基準分散値算出部と、
    前記基準分散値に基づくスケーリング倍率と前記分散値を乗算して分散値指標を算出する分散値指標算出部と、
    前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
    を有することを特徴とする請求項1に記載の撮像装置。
  4. 前記動き適応重み決定部は、予め決められた標準の基準分散値を前記基準分散値で除算することによって前記スケーリング倍率を算出するスケーリング倍率算出部をさらに有することを特徴とする請求項3に記載の撮像装置。
  5. 前記動き適応重み算出部は、
    前記分散値指標が前記第1の閾値以下であるときに、前記動き適応重みを予め決められた第1の値に設定し、
    前記分散値指標が前記第2の閾値以上であるときに、前記動き適応重みを、前記第1の値より小さい予め決められた第2の値に設定する
    ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。
  6. 前記第1の値は、1.0であり、
    前記第2の値は、0.0であり、
    前記分散値指標が前記第1の閾値以上であり且つ前記第2の閾値以下の範囲内にあるときに、前記動き適応重みは、1.0から0.0までの値である
    ことを特徴とする請求項5に記載の撮像装置。
  7. 前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向に1画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向にN画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  9. 前記ライン変動ノイズ補正部は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量を減算することで、又は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量に1より小さい補正比率を乗算した値を減算することで、ライン変動ノイズ補正後の映像信号を出力することを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記画素値変動量算出部は、基準のフレームにおける画素の画素値と、前記基準のフレームより1フレーム前のフレームの同じ画素の画素値との間の変動量を前記画素値変動量として算出することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
  11. 前記撮像部は、予め決められた波長帯域の光を検出することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 前記撮像部で発生する固定パターンノイズ成分を算出する固定パターンノイズ算出部と、
    前記撮像部から出力された前記映像信号から前記固定パターンノイズ成分を減算する減算部と
    をさらに有することを特徴とする請求項1から11のいずれか1項に記載の撮像装置。
  13. 水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、検出対象の物理量を検出することで前記複数の検出素子に対応する複数の検出点の検出値を出力する検出部から出力される検出信号を受信するライン変動ノイズ低減装置であって、
    前記検出値の各々の時間方向の変動量である検出値変動量を算出する検出値変動量算出部と、
    Nが水平走査ラインの検出点の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の検出点の範囲であり、前記部分ライン内におけるN個の検出点のN個の検出値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
    前記N個の検出値変動量と前記ライン変動量とから前記N個の検出値変動量の分散値を算出する分散値算出部と、
    前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
    前記ライン変動量と前記動き適応重みとから、前記検出部から出力された前記検出値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
    前記ライン変動ノイズ補正量を用いて前記検出部から出力された前記検出値の各々を補正して、補正後の検出信号を生成するライン変動ノイズ補正部と、
    を有することを特徴とするライン変動ノイズ低減装置。
  14. 前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象の温度に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
  15. 前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象までの距離に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
JP2020526848A 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置 Active JP6821093B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024779 WO2020003488A1 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置

Publications (2)

Publication Number Publication Date
JPWO2020003488A1 JPWO2020003488A1 (ja) 2021-01-07
JP6821093B2 true JP6821093B2 (ja) 2021-01-27

Family

ID=68986812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020526848A Active JP6821093B2 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置

Country Status (5)

Country Link
US (1) US11082650B1 (ja)
EP (1) EP3817352B1 (ja)
JP (1) JP6821093B2 (ja)
CN (1) CN112313935B (ja)
WO (1) WO2020003488A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121230A (en) * 1987-01-19 1992-06-09 Canon Kabushiki Kaisha Image reading apparatus having adjusting circuits for matching the level of and compensating for fluctuation among a plurality of sensing elements
TWI229842B (en) * 2000-04-21 2005-03-21 Matsushita Electric Ind Co Ltd Image processing method and image processing apparatus
JP4945063B2 (ja) * 2004-03-15 2012-06-06 東芝モバイルディスプレイ株式会社 アクティブマトリクス型表示装置
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
JP4749397B2 (ja) 2007-08-23 2011-08-17 三菱電機株式会社 赤外線撮像装置
JP2009232402A (ja) * 2008-03-25 2009-10-08 Oki Semiconductor Co Ltd ノイズ低減回路及び方法
WO2010010620A1 (ja) * 2008-07-24 2010-01-28 株式会社島津製作所 光または放射線撮像装置
JP2010220024A (ja) * 2009-03-18 2010-09-30 Hitachi Kokusai Electric Inc 横引きノイズ補正方法
JP2011029793A (ja) * 2009-07-22 2011-02-10 Panasonic Corp 固体撮像装置およびカメラ
JP5543194B2 (ja) * 2009-12-24 2014-07-09 キヤノン株式会社 情報処理装置、処理方法及びプログラム
JP5834542B2 (ja) * 2011-06-30 2015-12-24 株式会社ニコン 撮像装置、画像処理装置、及びプログラム、並びに記録媒体
JP2013025364A (ja) * 2011-07-15 2013-02-04 Olympus Corp 撮像装置及び画像処理方法
JP5864958B2 (ja) * 2011-08-31 2016-02-17 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
JP2013106186A (ja) * 2011-11-14 2013-05-30 Canon Inc 撮像装置
JP6451104B2 (ja) * 2014-07-04 2019-01-16 株式会社リコー 光電変換素子、画像読取装置、画像形成装置及び信号制御方法
WO2016185701A1 (ja) 2015-05-21 2016-11-24 富士フイルム株式会社 赤外線撮像装置及び固定パターンノイズデータの更新方法

Also Published As

Publication number Publication date
CN112313935A (zh) 2021-02-02
EP3817352A1 (en) 2021-05-05
CN112313935B (zh) 2023-04-04
EP3817352B1 (en) 2022-05-11
JPWO2020003488A1 (ja) 2021-01-07
EP3817352A4 (en) 2021-06-09
US20210235033A1 (en) 2021-07-29
US11082650B1 (en) 2021-08-03
WO2020003488A1 (ja) 2020-01-02

Similar Documents

Publication Publication Date Title
US11163043B2 (en) Distance measuring device and distance image synthesizing method
JP4152398B2 (ja) 手ぶれ補正装置
KR100840986B1 (ko) 이미지흐림 감소
WO2015019586A1 (en) Image processing device and method, eye fundus image processing device, image photographing method, and eye fundus image photographing device and method
JP5948073B2 (ja) 画像信号処理装置、画像信号処理方法
JP2006121521A (ja) 撮像装置および画像処理プログラム
EP1708490B1 (en) Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera
US20110157209A1 (en) Image processing apparatus and image processing method
GB2481090A (en) Thermal imaging camera for detection of two different sensitivities of radiation
JP5986461B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP6821093B2 (ja) 撮像装置及びライン変動ノイズ低減装置
JP6552325B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5868197B2 (ja) ノイズ低減装置およびその制御方法
KR102011490B1 (ko) 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
JP5632703B2 (ja) 画像処理装置、制御方法、及びプログラム
CN112839180A (zh) 曝光控制方法、装置以及图像采集设备、口内扫描仪
JP5366672B2 (ja) 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム
JP2019149719A (ja) 画像処理装置及び方法、及び撮像装置
JP2014112780A (ja) 撮像装置、撮像方法及びプログラム
US20230196517A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium
KR101535006B1 (ko) 역광을 보정하기 위한 영상 처리 장치 및 방법
JP2023124452A (ja) 画像処理装置
JP6961477B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210105

R150 Certificate of patent or registration of utility model

Ref document number: 6821093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250