JPWO2017086010A1 - 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム - Google Patents

検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム Download PDF

Info

Publication number
JPWO2017086010A1
JPWO2017086010A1 JP2017551750A JP2017551750A JPWO2017086010A1 JP WO2017086010 A1 JPWO2017086010 A1 JP WO2017086010A1 JP 2017551750 A JP2017551750 A JP 2017551750A JP 2017551750 A JP2017551750 A JP 2017551750A JP WO2017086010 A1 JPWO2017086010 A1 JP WO2017086010A1
Authority
JP
Japan
Prior art keywords
unit
correction
horizontal line
image data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017551750A
Other languages
English (en)
Other versions
JP6261841B2 (ja
Inventor
英寿 申
英寿 申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6261841B2 publication Critical patent/JP6261841B2/ja
Publication of JPWO2017086010A1 publication Critical patent/JPWO2017086010A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができる検査装置を提供する。検査装置6は、撮像部20が生成した暗時画像データを取得する取得部641と、取得部641が取得した暗時画像データに基づいて、複数のダミー画素247の各々が出力したダミー信号の第1平均値を算出する第1算出部と、第2算出部と、第1算出部が算出した第1平均値および第2算出部が算出した第2平均値に基づいて、複数のダミー画素247の各々が出力するダミー信号と複数の画素の各々が出力する撮像信号との相関の度合いを算出する第3算出部648と、第3算出部648が算出した相関の度合いを撮像部20に設けられたコネクタ記録部53に記録させる記録制御部649と、を備える。

Description

本発明は、被検体を撮像する撮像素子によって生成された画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラムに関する。
近年、デジタルカメラ等の撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の撮像素子を備える。この撮像素子によって生成された画像データには、電源電圧の変動または高輝度の被写体の撮影等に起因して横筋ノイズが発生する。このような横筋ノイズ補正方法として、遮光された複数のフォトダイオードからなるOB画素部の出力信号の平均値から基準黒レベルを減算することによってオフセット値を算出後、このオフセット値に撮像素子の構造で定まる係数を乗算することによって補正量を算出し、この補正量に基づいて遮光されていない複数のフォトダイオードからなる有効画素部の信号を補正する技術が知られている(特許文献1参照)。
特開2008−67060号公報
しかしながら、上述した特許文献1では、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生する場合があり、このような場合には、横筋ノイズを精度よく補正することができず、画質が低下するという問題点あった。
本発明は、上記に鑑みてなされたものであって、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができる検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る検査装置は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置であって、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得部と、前記取得部が取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成部と、水平ライン毎における前記複数の補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成部と、前記第2生成部が生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出部と、前記第1算出部がフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出部と、前記第2算出部が前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出部と、前記第3算出部が算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御部と、を備えたことを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記相関の度合いに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出する第4算出部と、前記複数の有効画素の各々の前記撮像信号から前記第4算出部によって算出された前記クランプ値を減算するクランプ処理を水平ライン毎に行うクランプ処理部と、をさらに備え、前記第2生成部は、前記クランプ処理部が前記クランプ処理を行った前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算することによって前記差画像データをフレーム毎に生成することを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記第1算出部は、前記第2生成部が生成した前記差画像データに対応する差画像の水平ライン毎における前記撮像信号の平均値を算出し、前記第2算出部は、前記第1算出部が算出した水平ライン毎の前記撮像信号の平均値に基づく統計値を前記横筋ノイズ指数としてフレーム毎に算出することを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記第4算出部は、前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、補正対象の水平ラインをn、前記範囲をm、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、前記相関の度合いを示す係数をk、前記クランプ値をCLP_a(n)とした場合、以下の式(1)によって、CLP_a(n)を算出する第7算出部と、を有することを特徴とする。
CLP_a(n)=(CLP_temp(n、m)−AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
また、本発明に係る検査装置は、上記発明において、前記第4算出部は、前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、補正対象の水平ラインをn、互いに異なる前記範囲をm1、m2、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、互いに異なる前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp1(n、m1)、CLP_temp2(n、m2)、互いに異なる前記相関の度合いを示す係数をk1、k2、前記クランプ値をCLP_a(n)とした場合、以下の式(2)〜(4)によって、CLP_a(n)を算出する第7算出部と、を有することを特徴とする。
CLP_a1(n)=(CLP_temp1(n、m1)−AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
CLP_a2(n)=(CLP_temp2(n、m1)−AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
CLP_a(n)=CLP_a1(n)+CLP_a2(n)・・・(4)
ここで、k1は、0≦k1≦1の条件を満たし、k2は、0≦k2≦1の条件を満たす。
また、本発明に係る検査装置は、上記発明において、前記k1およびk2は、以下の条件(5)を満たすことを特徴とする。
k1+k2=1 ・・・(5)
また、本発明に係る検査装置は、上記発明において、前記相関の度合いは、水平ライン毎における前記複数の補正画素の各々が出力するダミー信号と前記複数の有効画素の各々が出力する撮像信号との差であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記統計値は、標準偏差であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記補正画素は、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記補正画素は、光が遮光されたOB画素であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記撮像素子は、被検体を撮像する内視鏡の挿入部の先端に配置されてなり、前記記録部は、前記挿入部と連なってなり、前記画像データに対して画像処理を行うプロセッサに接続可能なコネクタ部の内部に配置されてなることを特徴とする。
また、本発明に係る画像処理装置は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置であって、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得部と、前記取得部が取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出部と、前記平均値算出部が算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出部と、前記クランプ値算出部が算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正部と、を備えたことを特徴とする。
また、本発明に係る補正値算出方法は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置が実施する補正値算出方法であって、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出ステップと、前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、を含むことを特徴とする。
また、本発明に係る画像処理方法は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置が実行する画像処理方法であって、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、を含むことを特徴とする。
また、本発明に係る検査プログラムは、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置に、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合毎に算出する第2算出ステップと、前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、を実行させることを特徴とする。
また、本発明に係る補正プログラムは、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置に、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、を実行させることを特徴とする。
本発明によれば、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができるという効果を奏する。
図1は、本発明の実施の形態1に係る検査システムの全体構成を模式的に示す図である。 図2は、本発明の実施の形態1に係る検査システムの要部の機能を示すブロック図である。 図3は、図2に示す第1チップの詳細な構成を示すブロック図である。 図4は、第1チップの構成を示す回路図である。 図5Aは、本実施の形態1に係る内視鏡の受光部の基準電圧生成部の構成を示す回路図である。 図5Bは、本実施の形態1に係る内視鏡の受光部の基準電圧生成部の構成を示す回路図である。 図6Aは、従来の横筋ノイズの補正方法の概要を模式的に示す図である。 図6Bは、従来の横筋ノイズの補正方法によって補正された画像の一例を示す図である。 図7Aは、従来の横筋ノイズの補正方法で横筋ノイズが補正できない場合を模式的に示す図である。 図7Bは、従来の横筋ノイズの補正方法によって横筋ノイズが補正できない場合の画像の一例を示す図である。 図8Aは、本発明の実施の形態1に係る撮像部が生成した暗時画像データに対応する暗時画像を模式的に示す図である。 図8Bは、本発明の実施の形態1に係る暗時画像データに含まれる横筋ノイズを補正した補正画像を模式的に示す図である。 図8Cは、本発明の実施の形態1に係る撮像部における行毎の画素値の平均値を模式的に示す図である。 図9Aは、本発明の実施の形態1に係る検査装置が実行する撮像部の固有値を算出する処理の概要を示すフローチャートである。 図9Bは、本発明の実施の形態1に係る検査装置が実行する撮像部の固有値を算出する処理の概要を示すフローチャートである。 図10は、本発明の実施の形態1に係る検査装置が実行するクランプ値の算出方法を模式的に示す図である。 図11は、本発明の実施の形態1に係る内視鏡システムの全体構成を模式的に示す図である。 図12は、本発明の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。 図13は、本発明の実施の形態1に係るプロセッサが実行する処理の概要を示すフローチャートである。 図14は、図13の横筋ノイズ補正処理の概要を示すフローチャートである。 図15Aは、本発明の実施の形態2に係る検査装置が実行する撮像部の固有値を算出する処理の概要を示すフローチャートである。 図15Bは、本発明の実施の形態2に係る検査装置が実行する撮像部の固有値を算出する処理の概要を示すフローチャートである。 図16は、本発明の実施の形態2に係る検査装置が実行する撮像部の固有値を算出する算出方法を模式的に示す図である。 図17は、本発明の実施の形態2に係るプロセッサが実行する横筋ノイズ補正処理の概要を示すフローチャートである。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、CMOSやCCD等の撮像素子を備えた内視鏡(撮像装置)を検査する検査システムおよび内視鏡システムについて説明する。また、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
(実施の形態1)
〔検査システムの構成〕
図1は、本発明の実施の形態1に係る検査システムの全体構成を模式的に示す図である。図1に示す検査システム1は、内視鏡2と、検査装置6と、を備える。
内視鏡2は、伝送ケーブル3と、操作部4と、コネクタ部5と、を備える。内視鏡2は、伝送ケーブル3の一部である挿入部100を被検体の体腔内に挿入することによって被検体の体内画像を撮像して撮像信号(画像データ)を検査装置6または後述するプロセッサ(画像処理装置)へ出力する。また、内視鏡2は、伝送ケーブル3の一端側であり、被検体の体腔内に挿入される挿入部100の先端101側に、体内画像の撮像を行う撮像部20(撮像装置)が設けられ、挿入部100の基端102側に、内視鏡2に対する各種操作を受け付ける操作部4が設けられている。
撮像部20は、伝送ケーブル3により、操作部4を介してコネクタ部5に接続される。撮像部20が撮像した画像データは、例えば数mの長さを有する伝送ケーブル3を介してコネクタ部5に出力される。さらに、先端101には、遮光キャップA100が着脱可能に設けられている。遮光キャップA100は、内視鏡2が暗時画像を生成する際に用いられる。ここで、暗時画像とは、後述する撮像部20の撮像素子が光を受光することなく、生成した画像(画像データ)である。
コネクタ部5は、検査装置6または後述するプロセッサに接続され、撮像部20が出力する撮像信号に所定の信号処理を施すとともに、撮像信号をアナログ信号からデジタル信号にA/D変換を行って検査装置6またはプロセッサに出力する。
検査装置6は、内視鏡2が生成した撮像信号に含まれる横筋ノイズを補正するための補正量および係数を算出し、この算出結果を内視鏡2に記録する。
図2は、検査システム1の要部の機能を示すブロック図である。図2を参照して、検査システム1の各部構成の詳細および検査システム内の電気信号の経路を説明する。
〔内視鏡の構成〕
図2に示すように、内視鏡2は、撮像部20と、伝送ケーブル3と、コネクタ部5と、を備える。撮像部20は、第1チップ21(撮像素子)と、第2チップ22と、を備える。
第1チップ21は、行列方向に2次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の単位画素230および複数の単位画素230の配置における縦ライン毎に設けられ、撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素247を有する受光部23と、受光部23で光電変換された撮像信号およびダミー信号を読み出す読み出し部24と、コネクタ部5から入力された基準クロック信号および同期信号に基づきタイミング信号を生成して読み出し部24に出力するタイミング生成部25と、を有する。なお、第1チップ21のより詳細な構成については、図3を参照して後述する。
第2チップ22は、伝送ケーブル3およびコネクタ部5を介して、第1チップ21から出力される撮像信号を検査装置6または後述するプロセッサへ送信する送信部として機能するバッファ27を有する。なお、第1チップ21と第2チップ22に搭載される回路の組み合わせは設定の都合に合わせて適宜変更可能である。
また、撮像部20は、伝送ケーブル3を介して検査装置6内の電源部61または後述するプロセッサの電源部で生成された電源電圧VDDをグランドGNDとともに受け取る。撮像部20に供給される電源電圧VDDとグランドGNDとの間には、電源安定用のコンデンサC1が設けられている。
コネクタ部5は、アナログ・フロント・エンド部51(以下、「AFE部51」という)と、撮像信号処理部52と、コネクタ記録部53と、駆動信号生成部54と、を有する。コネクタ部5は、内視鏡2(撮像部20)とプロセッサ9とを電気的に接続し、電気信号を中継する中継処理部として機能する。コネクタ部5と撮像部20とは、伝送ケーブル3で接続され、コネクタ部5とプロセッサ9とは、例えば、コイルケーブルにより接続される。
AFE部51は、伝送ケーブル3を介して撮像部20から出力された撮像信号を受信し、抵抗などの受動素子でインピーダンスマッチングを行った後、コンデンサで交流成分を取り出し、分圧抵抗で動作点を決定する。その後、AFE部51は、アナログの撮像信号を、アナログデジタル(A/D)変換して、デジタルの撮像信号として、撮像信号処理部52に送出する。
撮像信号処理部52は、例えば、FPGA(Field Programmable Gate Array)により構成され、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、27MHzのクロック信号)および各フレームのスタート位置を表す同期信号を生成して、タイミング生成部25に供給するとともに、AFE部51から入力されるデジタルの撮像信号に対してノイズ除去等の所定の信号処理を行って検査装置6または後述するプロセッサへ出力する。
コネクタ記録部53は、FlashメモリやRAM(Random Access Memory)等を用いて構成され、内視鏡2を駆動するための各種情報や処理中のパラメータを一時的に記録する。また、コネクタ記録部53は、後述する検査装置6が算出した横筋ノイズを補正する際に用いる固有値を記録する固有値情報記録部531を有する。
駆動信号生成部54は、検査装置6から供給され、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、27MHzのクロック信号)に基づいて、各フレームのスタート位置を表す同期信号を生成して、基準クロック信号とともに、伝送ケーブル3を介して撮像部20のタイミング生成部25へ出力する。ここで、駆動信号生成部54が生成する同期信号は、水平同期信号と垂直同期信号と、を含む。
〔検査装置の構成〕
次に、検査装置6の詳細な構成について説明する。検査装置6は、電源部61と、クロック生成部62と、記録部63と、画像処理部64と、を備える。
電源部61は、電源電圧VDDを生成し、この生成した電源電圧VDDをグランドGNDとともに、コネクタ部5および伝送ケーブル3を介して、撮像部20に供給する。
クロック生成部62は、基準クロック信号を生成し、この生成した基準クロック信号を駆動信号生成部54に出力する。
記録部63は、FlashメモリやRAM(Random Access Memory)等を用いて構成され、検査装置6を駆動するための各種情報や処理中のパラメータを一時的に記録する。また、記録部63は、内視鏡2の撮像部20が生成した撮像信号を順次記録する。
画像処理部64は、取得部641と、第1生成部642と、第4算出部643と、クランプ処理部644と、第2生成部645と、第1算出部646と、第2算出部647と、第3算出部648と、記録制御部649と、撮像制御部650と、を有する。
取得部641は、撮像部20(撮像素子)が遮光された状態で、内視鏡2のコネクタ部5を介して内視鏡2の撮像部20が生成した複数の暗時画像データを撮像部20から取得する。
第1生成部642は、取得部641が取得した複数の暗時画像データを加算して暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する。具体的には、第1生成部642は、取得部641が取得した複数の暗時画像データの全てを加算し、この加算した加算結果を暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する。
第4算出部643は、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。具体的には、第4算出部643は、水平ライン毎における複数のダミー画素247を複数の単位画素230との相関の度合いに基づいて重み付けを行い、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。第4算出部643は、第5算出部643aと、第6算出部643bと、第7算出部643cと、を有する。
第5算出部643aは、取得部641が取得した暗時画像データに対応する暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値をフレーム毎に算出する。
第6算出部643bは、取得部641が取得した暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、この水平ラインを基準に上下方向の水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値を算出する。
第7算出部643cは、補正対象の水平ライン、水平ラインの範囲、暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値、水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値、相関の度合いを示す係数に基づいて、クランプ値を算出する。具体的には、第7算出部643cは、補正対象の水平ライン、水平ラインの範囲、暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値、水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値、相関の度合いを示す係数による重み付けに基づいて、クランプ値を算出する。
クランプ処理部644は、複数の単位画素230の各々の撮像信号から第4算出部643によって算出されたクランプ値を減算するクランプ処理を水平ライン毎に行う。
第2生成部645は、撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いに基づく重み付けにより補正した画像データから第1生成部642によって生成された加算平均画像データを減算した差画像データをフレーム毎に生成する。具体的には、第2生成部645は、クランプ処理部644がクランプ処理を行った画像データから第1生成部642によって生成された加算平均画像データを減算することによって差画像データをフレーム毎に生成する。ここで、相関の度合いとは、水平ライン毎における複数のダミー画素247の各々が出力したダミー信号と複数の単位画素230の各々が出力した撮像信号との差である。
第1算出部646は、第2生成部645が生成したフレーム毎の差画像データの統計値を横筋ノイズ指数として算出する。具体的には、第1算出部646は、第2生成部645が生成した差画像データに対応する差画像の水平ライン毎における撮像信号の平均値、中央値、最大値、最小値および最頻値のいずれか一つを算出する。なお、以下においては、第1算出部646は、第2生成部645が生成した差画像データに対応する差画像の水平ライン毎における撮像信号の平均値を算出するものとして説明する。
第2算出部647は、第1算出部646がフレーム毎に算出した複数の横筋ノイズ指数を撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出する。具体的には、第2算出部647は、第1算出部646が算出した水平ライン毎の撮像信号の平均値に基づく統計値を横筋ノイズ指数としてフレーム毎に算出する。
第3算出部648は、第2算出部647が撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出した複数の横筋ノイズ指数のうち最小値になる撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出する。
記録制御部649は、第3算出部648が算出した補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
撮像制御部650は、検査装置6に接続される内視鏡2の撮像動作を制御する。具体的には、撮像制御部650は、検査装置6に接続された内視鏡2に対して、所定のフレームレートで撮像を開始させる。
〔第1チップの構成〕
次に、上述した第1チップ21の詳細な構成について説明する。
図3は、図2に示す第1チップの詳細な構成を示すブロック図である。図4は、第1チップ21の構成を示す回路図である。
図3および図4に示すように、第1チップ21は、受光部23と、読み出し部24(駆動部)と、タイミング生成部25と、ヒステリシス部28と、出力部31(アンプ)と、を有する。
ヒステリシス部28は、伝送ケーブル3を介して入力された基準クロック信号および同期信号の波形整形を行い、この波形整形を行った基準クロック信号および同期信号をタイミング生成部25へ出力する。
タイミング生成部25は、ヒステリシス部28から入力された基準クロック信号および同期信号に基づいて、各種の駆動信号を生成し、後述する読み出し部24の垂直走査部241(行選択回路)、ノイズ除去部243および水平走査部245へそれぞれ出力する。
読み出し部24は、後述する受光部23の複数の画素の各々から出力される撮像信号および基準電圧生成部246から出力される基準信号それぞれを出力部31に転送する。
ここで、読み出し部24の詳細な構成について説明する。読み出し部24は、垂直走査部241(行選択回路)と、定電流源242と、ノイズ除去部243(ノイズ除去回路)と、列ソースフォロアトランジスタ244と、水平走査部245と、基準電圧生成部246と、を含む。
垂直走査部241は、タイミング生成部25から入力される駆動信号(φT,φR等)に基づいて、受光部23の選択された行(水平ライン)<M>(M=0,1,2…,m−1,m)に駆動信号φT<M>およびφR<M>を印加して、受光部23の各単位画素230およびダミー画素247を定電流源242で駆動することによって、撮像信号、ダミー信号および画素リセット時のノイズ信号を垂直転送線239(第1の転送線)に転送し、ノイズ除去部243に出力する。
ノイズ除去部243は、各単位画素230の出力ばらつきと、画素リセット時のノイズ信号とを除去し、各単位画素230で光電変換された撮像信号を出力する。なお、ノイズ除去部243の詳細は、後述する。
水平走査部245は、タイミング生成部25から供給される駆動信号(φHCLK)に基づいて、受光部23の選択された列(縦ライン)<N>(N=0,1,2…,n−1,n)に駆動信号φHCLK<N>を印加し、各単位画素230で光電変換された撮像信号を、ノイズ除去部243を介して水平転送線258(第2の転送線)に転送し、出力部31に出力する。なお、本実施の形態1では、水平転送線258が各単位画素230から出力される撮像信号を転送する転送部として機能する。
第1チップ21の受光部23には、多数の単位画素230が二次元マトリクス状に配列される。各単位画素230は、光電変換素子231(フォトダイオード)と、電荷変換部233と、転送トランジスタ234(第1の転送部)と、画素リセット部236(トランジスタ)と、画素ソースフォロアトランジスタ237と、ダミー画素247(基準信号生成部)と、を含む。なお、本明細書では、1または複数の光電変換素子と、それぞれの光電変換素子から信号電荷を電荷変換部233に転送するための転送トランジスタとを単位セルと呼ぶ。すなわち、単位セルには1または複数の光電変換素子と転送トランジスタの組が含まれ、各単位画素230には、1つの単位セルが含まれる。
光電変換素子231は、入射光をその光量に応じた信号電荷量に光電変換して蓄積する。光電変換素子231は、カソード側がそれぞれ転送トランジスタ234の一端側に接続され、アノード側がグランドGNDに接続される。電荷変換部233は、浮遊拡散容量(FD)からなり、光電変換素子231で蓄積された電荷を電圧に変換する。
転送トランジスタ234は、光電変換素子231から電荷変換部233に信号電荷を転送する。転送トランジスタ234のゲートには、駆動信号(行選択パルス)φRおよび駆動信号φTが供給される信号線が接続され、他端側には、電荷変換部233に接続される。転送トランジスタ234は、垂直走査部241から信号線を介して駆動信号φRおよび駆動信号φTが供給されると、オン状態となり、光電変換素子231から電荷変換部233に信号電荷を転送する。
画素リセット部236は、電荷変換部233を所定電位にリセットする。画素リセット部236は、一端側が電源電圧VRに接続され、他端側が電荷変換部233に接続され、ゲートには駆動信号φRが供給される信号線に接続される。画素リセット部236は、垂直走査部241から信号線を介して駆動信号φRが供給されると、オン状態となり、電荷変換部233に蓄積された信号電荷を放出させ、電荷変換部233を所定電位にリセットする。
画素ソースフォロアトランジスタ237は、一端側が電源電圧VRに接続され、他端側が垂直転送線239に接続され、ゲートには電荷変換部233で電圧変換された信号(撮像信号またはリセット時の信号)が入力される。画素ソースフォロアトランジスタ237は、後述する選択動作の後に、転送トランジスタ234のゲートに駆動信号φTが供給されると、光電変換素子231から電荷が読み出され、電荷変換部233にて電圧変換された後に、垂直転送線239に転送される。
ダミー画素247は、単位画素230の水平ライン毎に複数設けられる。なお、図4においては、説明を簡略化するため、各水平ラインにダミー画素247が一つ設けられた例を説明するが、これに限定されず、ダミー画素247の数は、適宜変更することができる。ダミー画素247は、画素リセット部236aと、画素ソースフォロアトランジスタ237aと、を含む。すなわち、単位画素230から光電変換素子231(フォトダイオード)と、電荷変換部233と、転送トランジスタ234(第1の転送部)と、を省略した構成である。
画素リセット部236aは、画素ソースフォロアトランジスタ237aのゲートを所定電位に固定する。画素リセット部236aは、一端側が電源電圧VRに接続され、他端側が画素ソースフォロアトランジスタ237aのゲートに接続され、ゲートには駆動信号φTおよび駆動信号φRが供給される信号線が接続される。
画素リセット部236aのゲートに、タイミング生成部25から信号線を介して駆動信号φRが供給されると、画素リセット部236aがオン状態となり、画素ソースフォロアトランジスタ237aのゲートが所定電位(VR)に固定される。
画素ソースフォロアトランジスタ237aは、一端側が基準電圧生成部246(図5Aに示す基準電圧生成部246a)から供給される電源電圧VRに接続され、他端側が垂直転送線239に接続され、ゲートには所定電位(VR)が入力される。このように構成された画素ソースフォロアトランジスタ237aは、後述する選択動作が行われると、所定電位VRに応じたダミー信号(OB信号に相当)が、画素ソースフォロアトランジスタ237aを介して、垂直転送線239に転送される。
通常の単位画素230と同様に、本実施の形態1では、電源電圧VRが電源電圧VDDレベル(例えば、3.3V)かつVR(例えば、2V)が入力された時に画素リセット部236aのゲートに駆動信号φRが供給されると、画素ソースフォロアトランジスタ237aがオン状態となり、当該画素リセット部236aを含むダミー画素247が選択される(選択動作)。また、電源電圧VRが非選択用電圧レベル(例えば、1V)かつVR(例えば、1V)が入力されたときに画素リセット部236aのゲートに駆動信号φRが供給されると、画素ソースフォロアトランジスタ237aがオフ状態となり、当該画素リセット部236aを含むダミー画素247の選択が解除される(非選択動作)。
定電流源242は、一端側が垂直転送線239に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias1が印加される。定電流源242は、単位画素230を定電流源242で駆動し、単位画素230の出力を垂直転送線239へ読み出す。垂直転送線239へ読み出された信号は、ノイズ除去部243に入力される。
ノイズ除去部243は、転送容量252(AC結合コンデンサ)と、クランプスイッチ253(トランジスタ)と、を含む。
転送容量252は、一端側が垂直転送線239に接続され、他端側が列ソースフォロアトランジスタ244に接続される。
クランプスイッチ253は、一端側が基準電圧生成部246からクランプ電圧Vclpが供給される信号線に接続される。クランプスイッチ253の他端側は、転送容量252と列ソースフォロアトランジスタ244間に接続され、ゲートには、タイミング生成部25から駆動信号φVCLが入力される。ノイズ除去部243に入力される撮像信号はノイズ成分を含んだ光ノイズ和信号である。
転送容量252は、タイミング生成部25から、駆動信号φVCLがクランプスイッチ253のゲートに入力されると、クランプスイッチ253がオン状態となり、基準電圧生成部246から供給されるクランプ電圧Vclpによりリセットされる。ノイズ除去部243でノイズ除去された撮像信号は、列ソースフォロアトランジスタ244のゲートに入力される。
ノイズ除去部243は、サンプリング用のコンデンサ(サンプリング容量)を必要としないため、転送容量(AC結合コンデンサ)252の容量は、列ソースフォロアトランジスタ244の入力容量に対する十分な容量であればよい。加えて、ノイズ除去部243は、サンプリング容量の無い分、第1チップ21における占有面積を小さくすることができる。
列ソースフォロアトランジスタ244は、一端側が電源電圧VDDに接続され、他端側が列選択スイッチ254(第2の転送部)の一端側に接続され、ゲートにはノイズ除去部243でノイズ除去された撮像信号が入力される。
列選択スイッチ254は、一端側が列ソースフォロアトランジスタ244の他端側に接続され、他端側が水平転送線258(第2の転送線)に接続され、ゲートには水平走査部245から駆動信号φHCLK<M>を供給するための信号線が接続される。列選択スイッチ254は、列<M>の列選択スイッチ254のゲートに水平走査部245から駆動信号φHCLK<M>が供給されると、オン状態となり、列<M>の垂直転送線239の信号(ノイズ除去部243でノイズ除去された撮像信号)を水平転送線258に転送する。
水平リセットトランジスタ256は、一端側がグランドGNDに接続され、他端側が水平転送線258に接続され、ゲートにはタイミング生成部25から駆動信号φHCLRが入力される。水平リセットトランジスタ256は、タイミング生成部25から駆動信号φHCLRが水平リセットトランジスタ256のゲートに入力されると、オン状態となり、水平転送線258をリセットする。
定電流源257は、一端側が水平転送線258に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias2が印加される。定電流源257は、撮像信号を垂直転送線239から水平転送線258へ読み出す。水平転送線258へ読み出された撮像信号またはダミー信号は、出力部31に入力される。
出力部31は、ノイズ除去された撮像信号とダミー信号(横ラインを補正する際に基準となる基準信号)とを必要に応じて信号増幅して出力する(Vout)。
本実施の形態1では、垂直転送線239からのノイズ除去後の撮像信号の読み出しと、水平リセットトランジスタ256による水平転送線258のリセットとを交互に行うことにより、列方向の撮像信号のクロストークを抑制することが可能となる。
第2チップ22では、ダミー信号および撮像信号を、伝送ケーブル3を介して、コネクタ部5に伝送する。
図5Aおよび図5Bは、本実施の形態1に係る内視鏡2の受光部23の基準電圧生成部246の構成を示す回路図である。
図5Aに示す基準電圧生成部246aは、2つの抵抗291および292からなる抵抗分圧回路と、駆動信号φVRSELで駆動されるマルチプレクサ293と、を含む。
マルチプレクサ293は、タイミング生成部25から入力される駆動信号φVRSELに従い、電源電圧VDD(例えば、3.3V)と抵抗分圧回路で生成された非選択用電圧Vfd_L(例えば、1V)とを交互に切り替えて電源電圧VRとして全画素およびダミー画素247に印加する。
図5Bに示す基準電圧生成部246bは、2つの抵抗291および292からなる抵抗分圧回路と、駆動信号φVSHで駆動されるスイッチ(トランジスタ)294と、を含む。基準電圧生成部246bは、スイッチ294の駆動により駆動信号φVSHが駆動するタイミングで、ノイズ除去部243のクランプ電圧Vclpを生成する。
〔従来の横筋ノイズの補正方法〕
次に、従来の横筋ノイズの補正方法について説明する。図6Aは、従来の横筋ノイズの補正方法の概要を模式的に示す図である。図6Bは、従来の横筋ノイズの補正方法によって補正された画像の一例を示す図である。図7Aは、従来の横筋ノイズの補正方法で横筋ノイズが補正できない場合を模式的に示す図である。図7Bは、従来の横筋ノイズの補正方法によって横筋ノイズが補正できない場合の画像の一例を示す図である。なお、図7Aでは、画像の上半分に横筋ノイズが1行毎にわたって均一に発生しているものとし、画像の下半分にOB画素にのみ横筋ノイズが発生しているものとする。
図6Aに示すように、従来の補正方法は、水平ライン毎に複数のOB画素P1Bの各々の信号値の平均値をクランプ値とし、このクランプ値を、遮光されていない有効画素領域における同じ水平ラインの画素P1iが出力する撮像信号から減算する。これにより、図6Bに示すように、横筋ノイズが補正された高品質の画素P2を得ることができる。
これに対して、図7Aに示すように、従来の補正方法では、水平ライン毎に複数のOB画素P3の各々の信号値の平均値をクランプ値とし、このクランプ値を、遮光されていない有効画素領域における同じ水平ラインの画素P3iが出力する撮像信号から減算した場合、上半分が正常に横筋ノイズを補正することができるが、下半分が異常な補正になることで、図7Bに示す低品質の画像P4となる。実際に起こりうる状況は、図7Aに示すように上半分で見られるような行と、下半分で見られるような行が一つの画像内でランダムに発生する。さらに、下半分の状況は、横筋ノイズが、OB画素領域のみで発生している場合、有効画素領域の画素で発生している場合、またはOB画素領域および有効画素領域の画素の各々の一部で発生している場合も同じ状況としてあつかうことができる。即ち、一つの画像内(1フレーム内)で、図7Aに示す状況が発生している場合、従来の補正方法では、高品質な画像を得ることができない。そこで、本実施の形態1では、検査装置6が第1チップ21(撮像素子)毎に、クランプ値を算出し、この算出したクランプ値を内視鏡2のコネクタ記録部53に記録する。
〔横筋ノイズ補正処理の概要〕
図8Aは、撮像部20が生成した暗時画像データに対応する暗時画像を模式的に示す図である。図8Bは、暗時画像データに含まれる横筋ノイズを補正した補正画像を模式的に示す図である。図8Cは、撮像部20における行毎の画素値の平均値を模式的に示す図である。
図8Aに示すように、本実施の形態1では、検査装置6が撮像部20によって生成された暗時画像データに基づいて、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために最適な水平ラインの範囲と定数との補正値(固定値)を算出する。具体的には、検査装置6は、ダミー画素P5Bの画素値からクランプ値を算出する場合、補正対象の水平ラインに対して算出範囲を上下方向に拡大して水平ラインの範囲の数を増加させ、各水平ラインのクランプ値からダミー画素P5Bの画素値の平均値を減算し、この減算した算出結果に係数(例えば0、0.1、0.2、・・・、1.0)を乗算後、再度、ダミー画素P5Bの画素値の平均値を加算することによって、有効画素P5iにおける各行の画素値を補正するときのクランプ値を算出する(処理1)。
その後、検査装置6は、各行の有効画素P5iにおける各行の画素値に対して、対応する水平ラインのクランプ値を減算することによって、有効画素P5iの画像データに含まれる横筋ノイズを補正した補正画像P5ave(図8Bを参照)を生成する(処理2)。
続いて、検査装置6は、補正画像P5aveに対して、水平ライン毎に画素値の平均値P5clp(図8Cを参照)を横筋ノイズ指数として算出する(処理3)。
その後、検査装置6は、補正対象の水平ライン、補正対象の水平ラインを含む水平ラインの範囲および係数を変えながら上述した処理1〜処理3を順次行うことによって、複数の横筋ノイズ指数を算出し、この算出した複数の横筋ノイズ指数に基づく統計値を算出することによって撮像部20が生成した画像データに含まれる横筋ノイズを補正するために最適な水平ラインの範囲と係数を固有値(補正値)として算出する(処理4)。例えば、検査装置6は、補正対象の水平ライン、補正対象の水平ラインを含む水平ラインの範囲および係数を変えながら上述した処理1〜処理3を順次行うことによって、複数の横筋ノイズ指数を算出し、この算出した複数の横筋ノイズ指数の標準偏差を算出後、この標準偏差が最小となる水平ラインの範囲(行数)と係数を補正値(固定値)として算出する。なお、検査装置6は、統計値として標準偏差を用いていたが、例えば加重平均値、最頻値、中央値、最大値および最小値のいずれかを用いてもよい。
〔検査装置の処理〕
次に、検査装置6が実行する詳細な処理について説明する。図9Aおよび図9Bは、検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。
図9Aに示すように、まず、撮像制御部650は、内視鏡2に対して、所定のフレームレート(例えば30fps)で暗時画像データの撮像を開始させる(ステップS101)。
続いて、取得部641は、内視鏡2の撮像部20が生成した全フレーム(例えば256フレーム分)の暗時画像データを内視鏡2から取得し、取得した暗時画像データを記録部63に記録する(ステップS102)。
その後、第1生成部642は、記録部63に記録された全フレームの暗時画像データを取得し、取得した全フレームの暗時画像データにおける有効画素領域の画素値を加算後、この加算した画素値に対してフレーム数で除算して加算平均値画像データを生成する(ステップS103)。
続いて、画像処理部64は、暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲mおよび横筋ノイズを補正する際に用いる係数kを初期化(m=1、k=0)するとともに(ステップS104)、フレーム番号Fを1(F=1)に設定する(ステップS105)。
その後、画像処理部64は、フレーム番号に対応する暗時画像データを記録部63から取得するとともに(ステップS106)、補正対象の水平ラインを1行目に設定する(ステップS107)。
続いて、第5算出部643aは、記録部63から取得した暗時画像データのダミー画素の画素値を抽出し、抽出したダミー画素の画素値の平均値AVE_obを算出する(ステップS108)。具体的には、図10に示すように、第5算出部643aは、記録部63から取得した暗時画像P10における範囲B1の全てのダミー画素の各々の画素値を抽出後、抽出した全てのダミー画素の各々の画素値を加算し、この加算した画素値を全てのダミー画素の画数で除算することによって平均値AVE_obを算出する。
続いて、第4算出部643によるクランプ値の算出処理が最終水平ラインまで終了している場合(ステップS109:Yes)、検査装置6は、後述するステップS115へ移行する。これに対して、第4算出部643によるクランプ値の算出処理が最終水平ラインまで終了していない場合(ステップS109:No)、検査装置6は、後述するステップS110へ移行する。
ステップS110において、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がmとなるように水平ラインの範囲B2を設定する。
続いて、第6算出部643bは、記録部63から取得した暗時画像データに対して、ステップS110で設定した水平ラインの範囲(行数)のダミー画素247の画素値を抽出後、抽出した水平ラインの範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp(n、m)を算出する(ステップS111)。具体的には、図10に示すように、第6算出部643bは、記録部63から取得した暗時画像P10に対して、ステップS110において設定した水平ラインの範囲mにおけるダミー画素247の画素値を抽出後、抽出した水平ラインの範囲mにおけるダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲mにおけるダミー画素247の画素数で除算することによってクランプ値CLP_temp(n、m)を算出する。なお、nは、補正対象の水平ライン(着目行)の行数を示す。
その後、第7算出部643cは、クランプ値CLP_a(n)を算出する(ステップS112)。具体的には、第7算出部643cは、補正対象の水平ラインをn、水平ラインの範囲をm、暗時画像における1または複数の補正画素の各々が出力したダミー信号の平均値をAVE_ob、水平ラインの範囲mにおける1または複数の補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを示す係数をkとした場合、以下の式(1)によって、クランプ値CLP_a(n)を算出する。
CLP_a(n)=(CLP_temp(n、m)−AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
続いて、クランプ処理部644は、補正対象の水平ラインにおける単位画素230の画素値に対して、ステップS112において第7算出部643cが算出したクランプ値CLP_a(n)を減算する(ステップS113)。具体的には、図10に示すように、クランプ処理部644は、補正対象の水平ラインA1の単位画素230における画素値に対して、第7算出部643cによって算出されたクランプ値CLP_a(n)を減算するクランプ処理を行い、このクランプ処理を行った結果を記録部63に記録する。
その後、第4算出部643は、補正対象の水平ラインを次の行に設定し(ステップS114)、上述したステップS109へ戻る。
ステップS115において、第2生成部645は、差画像データを生成する。具体的には、第2生成部645は、フレーム番号に対応する暗時画像データから上述したステップS103において第1生成部642によって算出された加算平均値画像データを減算することによって、差画像データを生成する。
続いて、第1算出部646は、1フレーム内における水平ラインの範囲の平均値データを算出する(ステップS116)。具体的には、第1算出部646は、ステップS115において第2生成部645が生成した差画像データに対して、水平ライン毎に平均値を算出し、この算出した算出結果を差画像データの水平ラインの数(行数)で除算することによって、1フレーム内の水平ライン分(行数分)の平均値データを算出する。なお、第1算出部646は、1フレーム内における水平ラインの範囲の平均値データを算出しているが、これに限定されることなく、例えば標準偏差、中央値、最頻値、加重平均値、最大値および最小値のいずれでもあってもよい。
その後、第2算出部647は、横筋ノイズ指数を算出する(ステップS117)。具体的には、第2算出部647は、上述したステップS116において第1算出部646が算出した水平ラインの範囲の平均値データに基づいて、横筋ノイズ指数を算出する。例えば、第2算出部647は、第1算出部646が算出した水平ラインの範囲の平均値データの標準偏差、中央値、最頻値、加重平均値、最大値および最小値のいずれか一つを、現フレームの横筋ノイズ指数として算出する。なお、本実施の形態1では、第2算出部647は、第1算出部646が算出した水平ラインの範囲の平均値データの標準偏差を横筋ノイズ指数として算出する。
続いて、第2算出部647は、ステップS117で算出した算出結果を記録部63に記録する(ステップS118)。
その後、画像処理部64は、フレーム番号をインクリメント(F=F+1)する(ステップS119)。
その後、記録部63に記録された暗時画像データの全フレームが終了している場合(ステップS120:Yes)、検査装置6は、後述するステップS121へ移行する。これに対して、記録部63に記録された暗時画像データの全フレームが終了していない場合(ステップS120:No)、検査装置6は、上述したステップS106へ戻る。
ステップS121において、第3算出部648は、横筋ノイズ指数Aを算出する。具体的には、第3算出部648は、全フレームの横筋ノイズに基づいて、横筋ノイズ指数Aを算出する。例えば、第3算出部648は、全フレームの横筋ノイズ指数の平均値を算出し、新たに、範囲m、係数:kに対応する横筋ノイズ指数A(m,k)として算出する。
続いて、第3算出部648は、係数kに0.2を加算する(k=k+0.2)(ステップS122)。
その後、係数kが1を超えた(k>1)場合(ステップS123:Yes)、検査装置6は、後述するステップS124へ移行する。これに対して、係数kが1を超えていない場合(ステップS123:No)、検査装置6は、上述したステップS106へ戻る。
ステップS124において、第3算出部648は、係数kを初期化(k=0)する。
続いて、第3算出部648は、範囲mに2を加算(m=m+2)する(ステップS125)。なお、範囲mに加算する値は、適宜変更することができ、例えば1または3等であってもよい。
その後、範囲mが15を超えた(m>15)場合(ステップS126:Yes)、検査装置6は、後述するステップS127へ移行する。これに対して、範囲mが15を超えていない場合(ステップS126:No)、検査装置6は、ステップS106へ戻る。
ステップS127において、第3算出部648は、記録部63が記録する全ての範囲m、係数:kに対応する全ての横筋ノイズ指数Aの中から最小値を算出する。
続いて、記録制御部649は、第3算出部648が算出した最小値に対応する補正対象の水平ラインを含む水平ラインの範囲mと係数kとを撮像部20の固有値(補正値)として内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する(ステップS128)。ステップS128の後、検査装置6は、本処理を終了する。
このように、検査装置6は、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために用いる撮像部20の補正値を算出し、算出した算出結果を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
〔内視鏡システムの構成〕
次に、上述した内視鏡2を備えた内視鏡システムについて説明する。図11は、内視鏡システムの全体構成を模式的に示す図である。図12は、内視鏡システムの機能構成を示すブロック図である。
図11および図12に示す内視鏡システム1aは、上述した内視鏡2と、表示装置8と、プロセッサ9(画像処理装置)と、を備える。
表示装置8は、プロセッサ9が画像処理を施した画像信号に対する画像を表示する。また、表示装置8は、内視鏡システム1aに関する各種情報を表示する。表示装置8は、液晶や有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
プロセッサ9は、内視鏡システム1aの全体を統括的に制御するとともに、例えばハロゲンランプや白色LED(Light Emitting Diode)等を用いて構成され、コネクタ部5、伝送ケーブル3を経由して内視鏡2の挿入部100の先端側から被検体へ向けて照明光を照射する。プロセッサ9は、電源部61と、クロック生成部62と、画像処理部91と、を備える。なお、プロセッサ9内における照明機構の説明は省略する。
画像処理部91は、撮像信号処理部52で信号処理が施されたデジタルの撮像信号に対して、同時化処理、ホワイトバランス(WB)調整処理、ゲイン調整処理、ガンマ補正処理、デジタルアナログ(D/A)変換処理、フォーマット変換処理等の画像処理を行って画像信号に変換し、この画像信号を表示装置8へ出力する。画像処理部91は、取得部911と、平均値算出部912と、クランプ値算出部913と、補正部914と、を有する。
取得部911は、プロセッサ9に接続された内視鏡2のコネクタ部5におけるコネクタ記録部53から横筋ノイズを補正する補正値を含み、撮像部20が生成した画像データに対して画像処理を施すために必要なパラメータに関する固有値情報および撮像部20が生成した画像データの各々を取得する。ここで、補正値とは、補正対象の水平ラインを含み、この水平ラインを基準に上下方向の水平ラインの範囲m(行数)と、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを示す係数kである。
平均値算出部912は、取得部911が取得した画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出する。
クランプ値算出部913は、平均値算出部912が算出した複数のダミー画素247の各々が出力したダミー信号の平均値と、取得部911が取得した補正値の水平ラインの範囲mと係数kとに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。
補正部914は、クランプ値算出部913が算出した水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正する。
〔プロセッサの処理〕
次に、プロセッサ9の処理について説明する。図13は、プロセッサ9が実行する処理の概要を示すフローチャートである。
図13に示すように、まず、プロセッサ9は、接続された内視鏡2に対して、所定のフレームレートで撮像の開始を指示する(ステップS201)。この場合、プロセッサ9は、内視鏡2に向けて図示しない光源部に照明光を出射させる。
続いて、画像処理部91は、内視鏡2が生成した画像データに含まれる横筋ノイズを補正する横筋ノイズ補正処理を実行する(ステップS202)。なお、横筋ノイズ補正処理の詳細は後述する。
その後、画像処理部91は、横筋ノイズを補正した画像データに対して、所定の画像処理を施して表示装置8へ出力する(ステップS203)。例えば、画像処理部91は、横筋ノイズを補正した画像データに対して、撮像部20のオフセット値を加算する加算処理、ホワイトバランスを調整するWB調整処理およびゲインを調整するゲイン調整処理等を行って表示装置8へ出力する。
続いて、操作部4から被検体の観察を終了する指示信号が入力された場合(ステップS204:Yes)、プロセッサ9は、内視鏡2に対して、撮像の終了を指示し(ステップS205)、本処理を終了する。
ステップS204において、操作部4から被検体の観察を終了する指示信号が入力されていない場合(ステップS204:No)、プロセッサ9は、ステップS202へ戻る。
〔横筋ノイズ補正処理〕
次に、図13のステップS202において説明した横筋ノイズ補正処理の概要について説明する。図14は、図13の横筋ノイズ補正処理の概要を示すフローチャートである。
図14に示すように、まず、取得部911は、内視鏡2におけるコネクタ記録部53の固有値情報記録部531から固定値を取得し(ステップS301)、補正する水平ラインの範囲m、および係数:kを固有値(補正値)に設定する(ステップS302)。
続いて、平均値算出部912は、内視鏡2が生成したRAWデータを取得し(ステップS303)、取得したRAWデータに含まれるダミー画素の画素値に基づいて、平均値AVE_obを算出し(ステップS304)、補正対象の水平ラインを1行目に設定する(ステップS305)。具体的には、平均値算出部912は、RAWデータに含まれるダミー画素の画素値を加算し、この加算した結果をダミー画素の画素数で除算することによって平均値AVE_obを算出する。
その後、補正対象の水平ラインが撮像部20の最終水平ラインである場合(ステップS306:Yes)、プロセッサ9は、図13のメインルーチンへ戻る。これに対して、補正対象の水平ラインが撮像部20の最終水平ラインでない場合(ステップS306:No)、プロセッサ9は、ステップS307へ移行する。
ステップS307において、クランプ値算出部913は、補正対象の水平ラインを中心としてトータルの水平ラインの範囲がmとなるように水平ラインの範囲(行範囲)を設定する。この場合において、撮像部20の有効画素領域における水平ラインの行数が1番目のとき、遮光領域の行を含めてトータルの水平ラインの行数がmとなるように水平ラインの範囲を設定する。例えば、画像処理部91は、範囲mが3の場合において、撮像部20の有効画素領域における補正対象の水平ラインの行数が1番目(最初の水平ライン)のとき、補正対象の水平ラインの前段(上方向)における遮光領域または基準信号を得るための水平ラインと、補正対象の水平ラインの次の水平ライン(下方向)を補正対象の水平ラインの範囲として設定する。
続いて、クランプ値算出部913は、ステップS307で設定した水平ラインの範囲のダミー画素の画素値に基づいて、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の平均値を算出する(ステップS308)。具体的には、クランプ値算出部913は、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の平均値を算出する。
その後、クランプ値算出部913は、クランプ値CLP_aを算出する(ステップS309)。具体的には、クランプ値算出部913は、上述した式(1)、上述したステップS308で算出した平均値、係数k、および上述したステップS304で算出した平均値AVE_obを用いて、クランプ値CLP_aを算出する。
続いて、補正部914は、ステップS309で算出したクランプ値に基づいて、補正対象の水平ラインにおける単位画素230の画素値を補正する(ステップS310)。具体的には、補正部914は、補正対象の水平ラインにおける有効画素領域の単位画素230の各々が出力した画素値からクランプ値CLP_aを減算することによって、補正対象の水平ラインにおける有効画素領域の画像データを補正する。
その後、画像処理部91は、補正対象の水平ラインを次の行に設定する(ステップS311)。ステップS311の後、プロセッサ9は、上述したステップS306へ戻る。
以上説明した本発明の実施の形態1によれば、第1算出部646が第2生成部645によって生成されたフレーム毎の差画像データの統計値を横筋ノイズ指数として算出し、第2算出部647が第1算出部646によってフレーム毎に算出された複数の横筋ノイズ指数を水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出し、第3算出部648が第2算出部647によって相関の度合い毎に算出された複数の横筋ノイズ指数のうち最小値になる相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出し、記録制御部649が第3算出部648によって算出された補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録するので、電源電圧の変動によって、OB画素領域と有効画素領域とで互いに異なるノイズが発生した場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができる。
また、本発明の実施の形態1によれば、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素247を用いることで、クランプ値の計算に必要なOB画素を第1チップ21に配置できない場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができるので、第1チップ21の面積を小さくすることができる。なお、本実施の形態1では、ダミー信号を出力する補正画素の一例としてOB画素に相当するダミー信号を生成するダミー画素247の例を説明したが、光が遮光されたOB画素であっても適用することができる。
また、本発明の実施の形態1によれば、平均値算出部912が取得部によって取得された画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出し、クランプ値算出部913が平均値算出部912によって算出された複数のダミー画素247の各々が出力したダミー信号の平均値と、撮像部20における水平ラインの範囲と係数とに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出し、補正部914がクランプ値算出部913によって算出された水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2は、上述した実施の形態1と同様の構成を有し、検査装置が実行する処理およびプロセッサが実行する横筋ノイズ補正処理が異なる。以下においては、本実施の形態2に係る検査装置およびプロセッサの各々が実行する処理について説明する。なお、上述した実施の形態1に係る検査システム1および内視鏡システム1aの構成と同一の構成には同一の符号を付して説明を省略する。
〔検査装置の処理〕
まず、本実施の形態2に係る検査装置6が実行する処理について説明する。図15Aおよび図15Bは、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。図16は、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する算出方法を模式的に示す図である。図15において、本実施の形態2では、検査装置6は、上述した実施の形態1における図9のステップS104、ステップS110、ステップS111、ステップS112、ステップS113、およびステップS121〜S127に替えて、ステップS104a、ステップS110a、ステップS111a、ステップS112a、ステップS113a、ステップS121a〜S130aを実行する。さらに、図15Aにおいては、ステップS112b〜ステップS112eを実行する。それ以外は、上述した図9の処理と同様のため、説明を省略する。
ステップS104aにおいて、画像処理部64は、暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲m1、範囲m1と異なる暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲m2、横筋ノイズを補正する際に用いる係数k1,k2を初期化(m1=1、m2=1、k1=0、k2=0)する。
ステップS110aにおいて、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がm1となるように水平ラインの範囲m1を設定する。
続いて、第6算出部643bは、記録部63から取得した暗時画像データに対して、ステップS110で設定した水平ラインの範囲のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp1(n、m1)を算出する(ステップS111a)。図16に示すように、第6算出部643bは、水平ラインの範囲m1に対応する暗時画像P10の範囲B1のダミー画素247の画素値を抽出後、抽出した水平ラインの範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲m1のダミー画素247の画素数で除算することによってクランプ値CLP_temp1(n、m1)を算出する。
その後、第7算出部643cは、暫定クランプ値CLP_a1(n,m1)を算出する(ステップS112a)。具体的には、第7算出部643cは、以下の式(2)によって、暫定クランプ値CLP_a1(n,m1)を算出する。
CLP_a1(n,m1)=(CLP_temp1(n、m1)−AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
ここで、k1は、0≦k1≦1を満たす。
続いて、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がm2となるように水平ラインの範囲m2を設定する(ステップS112b)。
その後、第6算出部643bは、記録部63から取得した暗時画像に対して、ステップS110で設定した水平ラインの範囲のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp2(n、m2)を算出する(ステップS112c)。具体的には、第6算出部643bは、図16に示すように、第6算出部643bは、水平ラインの範囲m2に対応する暗時画像P10の範囲B3のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲m2のダミー画素247の画素数で除算することによってクランプ値CLP_temp2(n、m2)を算出する。
続いて、第7算出部643cは、暫定クランプ値CLP_a2(n,m2)を算出する(ステップS112d)。具体的には、第7算出部643cは、以下の式(3)によって、暫定クランプ値CLP_a2(n)を算出する。
CLP_a2(n,m2)=(CLP_temp2(n、m2)−AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
ここで、k2は、0≦k2≦1を満たす。
その後、第7算出部643cは、クランプ値CLP_a(n)を算出する(ステップS112e)。具体的には、第7算出部643cは、ステップS112aおよびステップ112dの各々で算出した暫定クランプを用いてクランプ値CLP_a(n)を算出する。より具体的には、第7算出部643cは、以下の式(4)によって、クランプ値CLP_a(n)を算出する。
CLP_a(n)=CLP_a1(n,m1)+CLP_a2(n,m2)
・・・(4)
続いて、クランプ処理部644は、補正対象の水平ラインにおける単位画素230に対して、ステップS112eで第7算出部643cが算出したクランプ値CLP_a(n)を減算する(ステップS113a)。具体的には、図16に示すように、クランプ処理部644は、補正対象の水平ラインA1の単位画素230の各々の画素値に対して、クランプ値CLP_a(n)を減算して記録部63に記録する。
ステップ121aにおいて、第3算出部648は、横筋ノイズ指数Aを算出する。具体的には、第3算出部648は、全フレームの横筋ノイズに基づいて、横筋ノイズ指数Aを算出する。例えば、第3算出部648は、全フレームの横筋ノイズの平均値を算出し、新たに、範囲m1,m2、係数:k1,k2に対応する横筋ノイズ指数A(m1,m2,k1,k2)として算出する。
続いて、係数k1が1である(k1=1)場合、かつ、係数k2が1である(k2=1)場合、かつ、範囲m1が15である(m1=15)場合、かつ、範囲m2が15である(m2=15)場合(ステップS122a:Yes)、検査装置6は、横筋ノイズ指数の算出・記録を中断してステップS130aへ移行する。これに対して、いずれかの条件が成り立たない場合(ステップS122a:No)、検査装置6は、後述するステップS123aに移行する。
第3算出部648は、係数k1に0.2を加算(k1=k1+0.2)する(ステップS123a)。その結果、k1が1を超えた(k1>1)場合(ステップS124a:Yes)、検査装置6は、後述するステップS125aに移行する。これに対して、k1が1を超えていない場合(ステップS123a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS125aにおいて、第3算出部648は、係数k1を0とし(k1=0)、範囲m1に2を加算(m1=m1+2)する。
続いて、m1が15を超えた(m1>15)場合(ステップS126a:Yes)、検査装置6は、後述するステップS127aに移行する。これに対して、m1が15を超えていない場合(ステップS126a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS127aにおいて、第3算出部648は、範囲m1を1とし(m1=1)、係数k2に0.2を加算(k2=k2+0.2)する。
続いて、k2が1を超えた(k2>1)場合(ステップS128a:Yes)、検査装置6は、後述するステップS129aに移行する。これに対して、k2が1を超えていない場合(ステップS128a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS129aにおいて、第3算出部648は、係数k2を0とし(k2=0)、範囲m2に2を加算(m2=m2+2)する。ステップS129aの後、検査装置6は、上述したステップS106へ移行する。なお、上述した範囲m1,m2に加算する値は、適宜変更することができ、例えば1または3等であってもよい。
ステップS130aにおいて、第3算出部648は、記録部63が記録する全ての範囲m1,m2、係数:k1、k2に対応する全ての横筋ノイズ指数Aの中から最小値を算出する。
続いて、記録制御部649は、第3算出部648が算出した最小値に対応する補正対象の水平ラインを含む水平ラインの範囲m1,m2と係数k1,k2とを撮像部20の固有値(補正値)として内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する(ステップS131)。ステップS131の後、検査装置6は、本処理を終了する。
このように、検査装置6は、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために用いる補正値を算出して内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
〔横筋ノイズ補正処理〕
次に、プロセッサ9が実行する横筋ノイズ補正処理について説明する。図17は、プロセッサ9が実行する横筋ノイズ補正処理の概要を示すフローチャートである。ステップ401〜ステップS406は、上述した図14のステップS301〜ステップS306にそれぞれ対応する。
ステップS407において、画像処理部91は、補正対象の水平ラインを中心としてトータルの水平ラインの範囲がm1となるように水平ラインの範囲(行数)を設定する。
続いて、平均値算出部912は、ステップS407において設定した水平ラインの範囲におけるダミー画素の画素値に基づいて、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する(ステップS408)。具体的には、平均値算出部912は、水平ラインの範囲におけるダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する。
その後、クランプ値算出部913は、暫定クランプ値CLP_a1を算出する(ステップS409)。具体的には、クランプ値算出部913は、上述した式(2)、上述したステップS408において平均値算出部912が算出した平均値、係数k1、およびステップS404において算出した平均値AVE_obを用いて、暫定クランプ値CLP_a1を算出する。
続いて、画像処理部91は、補正対象の水平ラインの範囲(行範囲)を中心としてトータルの水平ラインの数がm2となるように水平ラインの範囲を設定する(ステップS410)。
その後、平均値算出部912は、ステップS410において設定した水平ラインの範囲のダミー画素の画素値に基づいて、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する(ステップS411)。具体的には、平均値算出部912は、水平ラインの範囲におけるダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する。
続いて、クランプ値算出部913は、暫定クランプ値CLP_a2を算出する(ステップS412)。具体的には、クランプ値算出部913は、上述した式(3)、上述したステップS411で算出した平均値、係数k2、およびステップS404で算出した平均値AVE_obを用いて、暫定クランプ値CLP_a2を算出する。
その後、クランプ値算出部913は、クランプ値CLP_aを算出する(ステップS413)。具体的には、クランプ値算出部913は、ステップS409において算出した暫定クランプ値CLP_a1およびステップS412において算出した暫定クランプ値CLP_a2を加算することによってクランプ値CLP_aを算出する(CLP_a=CLP_a1+CLP_a2)。
ステップS414およびステップS415は、上述した図14のステップ310およびステップS311にそれぞれ対応する。
以上説明した本発明の実施の形態2によれば、第1算出部646が第2生成部645によって生成されたフレーム毎の差画像データの統計値を横筋ノイズ指数として算出し、第2算出部647が第1算出部646によってフレーム毎に算出された複数の横筋ノイズ指数を水平ライン毎における複数のダミー画素247と複数の単位画素230との互いに異なる相関の度合い毎に算出し、第3算出部648が第2算出部647によって互いに異なる相関の度合い毎に算出された複数の横筋ノイズ指数のうち最小値になる相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出し、記録制御部649が第3算出部648によって算出された補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、上述した実施の形態1に比して、第1チップ21毎により精度よく横筋ノイズを補正することができる。
また、本発明の実施の形態2によれば、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素247を用いることで、クランプ値の計算に必要なOB画素を第1チップ21に配置できない場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができるので、第1チップ21の面積を小さくすることができる。なお、本実施の形態2では、ダミー信号を出力する補正画素の一例としてOB画素に相当するダミー信号を生成するダミー画素247の例を説明したが、光が遮光されたOB画素であっても適用することができる。
また、本発明の実施の形態2によれば、平均値算出部912が取得部によって取得された画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出し、クランプ値算出部913が平均値算出部912によって算出された複数のダミー画素247の各々が出力したダミー信号の平均値と、撮像部20における水平ラインの範囲と係数とに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出し、補正部914がクランプ値算出部913によって算出された水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、上述した実施の形態1に比して、第1チップ21毎により精度よく横筋ノイズを補正することができる。
(実施の形態2の変形例)
本発明の実施の形態2では、横筋ノイズを補正する際に用いる係数k1が0≦k1≦1の条件を満たし、k2が0≦k2≦1の条件を満たしていたが、以下の条件(5)であってもよい。
k1+k2=1 ・・・(5)
この場合、第7算出部643cは、上述した式(2)〜式(4)より、以下の式(6)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×k2
・・・(6)
従って、上述した条件(5)より、以下の式(7)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×(1−k1)
・・・(7)
このように、第7算出部643cは、上述した式(7)より、条件(5)であれば、クランプ値CLP_a(n)の計算にAVE_obを必要としないため、フレーム内の全ダミー画素247(OB画素)の出力(ダミー信号)を予め記録部63等に記録させておく必要がない。この結果、記録部63のメモリ容量の節約や、補正処理にともなう画像データの出力遅延を抑制することができる。さらに、画像処理部64は、実施的に、補正処理に必要なパラメータの数を1つ削減することができるので、補正処理の高速化を行うことができる。
以上説明した本発明の実施の形態2の変形例によれば、1フレーム分の画像データを蓄える必要がないので、補正処理にともなう画像データの出力遅延を抑制することができる。
(その他の実施の形態)
なお、本実施の形態では、画像処理部64が検査装置6内に設けられていたが、内視鏡2のコネクタ部5または内視鏡2の操作部4に設けても良い。
また、本実施の形態では、画像処理部91がプロセッサ9内に設けられていたが、内視鏡2のコネクタ部5または内視鏡2の操作部4に設けても良い。
また、本実施の形態では、固有値情報記録部531が内視鏡2のコネクタ部5内に設けられていたが、第1チップ21内に設けてもよいし、操作部4の内部に設けてもよい。
なお、本実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1 検査システム
1a 内視鏡システム
2 内視鏡
3 伝送ケーブル
4 操作部
5 コネクタ部
6 検査装置
7 光源装置
8 表示装置
9 プロセッサ
20 撮像部
21 第1チップ
22 第2チップ
23 受光部
24 読み出し部
25 タイミング生成部
27 バッファ
28 ヒステリシス部
31 出力部
51 AFE部
52 撮像信号処理部
53 コネクタ記録部
54 駆動信号生成部
61 電源部
62 クロック生成部
63 記録部
64 画像処理部
91 画像処理部
100 挿入部
101 先端
102 基端
230 単位画素
231 光電変換素子
233 電荷変換部
234 転送トランジスタ
236,236a 画素リセット部
237,237a 画素ソースフォロアトランジスタ
239 垂直転送線
241 垂直走査部
242,257 定電流源
243 ノイズ除去部
244 列ソースフォロアトランジスタ
245 水平走査部
246,246a,246b 基準電圧生成部
247 ダミー画素
252 転送容量
253 クランプスイッチ
254 列選択スイッチ
256 水平リセットトランジスタ
258 水平転送線
291,292 抵抗
293 マルチプレクサ
294 スイッチ
531 固有値情報記録部
641 取得部
642 第1生成部
643 第4算出部
643a 第5算出部
643b 第6算出部
643c 第7算出部
644 クランプ処理部
645 第2生成部
646 第1算出部
647 第2算出部
648 第3算出部
649 記録制御部
650 撮像制御部
911 取得部
912 平均値算出部
913 クランプ値算出部
914 補正部
A100 遮光キャップ
C1 コンデンサ

Claims (16)

  1. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置であって、
    前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得部と、
    前記取得部が取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成部と、
    水平ライン毎における前記複数の補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成部と、
    前記第2生成部が生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出部と、
    前記第1算出部がフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出部と、
    前記第2算出部が前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出部と、
    前記第3算出部が算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御部と、
    を備えたことを特徴とする検査装置。
  2. 前記相関の度合いに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出する第4算出部と、
    前記複数の有効画素の各々の前記撮像信号から前記第4算出部によって算出された前記クランプ値を減算するクランプ処理を水平ライン毎に行うクランプ処理部と、
    をさらに備え、
    前記第2生成部は、前記クランプ処理部が前記クランプ処理を行った前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算することによって前記差画像データをフレーム毎に生成することを特徴とする請求項1に記載の検査装置。
  3. 前記第1算出部は、前記第2生成部が生成した前記差画像データに対応する差画像の水平ライン毎における前記撮像信号の平均値を算出し、
    前記第2算出部は、前記第1算出部が算出した水平ライン毎の前記撮像信号の平均値に基づく統計値を前記横筋ノイズ指数としてフレーム毎に算出することを特徴とする請求項2に記載の検査装置。
  4. 前記第4算出部は、
    前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、
    前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、
    補正対象の水平ラインをn、前記範囲をm、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、前記相関の度合いを示す係数をk、前記クランプ値をCLP_a(n)とした場合、以下の式(1)によって、CLP_a(n)を算出する第7算出部と、
    を有することを特徴とする請求項2または3に記載の検査装置。
    CLP_a(n)=(CLP_temp(n、m)−AVE_ob)×k
    +AVE_ob ・・・(1)
    ここで、kは、0≦k≦1を満たす。
  5. 前記第4算出部は、
    前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、
    前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、
    補正対象の水平ラインをn、互いに異なる前記範囲をm1、m2、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、互いに異なる前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp1(n、m1)、CLP_temp2(n、m2)、互いに異なる前記相関の度合いを示す係数をk1、k2、前記クランプ値をCLP_a(n)とした場合、以下の式(2)〜(4)によって、CLP_a(n)を算出する第7算出部と、
    を有することを特徴とする請求項2または3に記載の検査装置。
    CLP_a1(n)=(CLP_temp1(n、m1)−AVE_ob)×k1
    +(AVE_ob÷2) ・・・(2)
    CLP_a2(n)=(CLP_temp2(n、m2)−AVE_ob)×k2
    +(AVE_ob÷2) ・・・(3)
    CLP_a(n)=CLP_a1(n)+CLP_a2(n) ・・・(4)
    ここで、k1は、0≦k1≦1の条件を満たし、k2は、0≦k2≦1の条件を満たす。
  6. 前記k1およびk2は、以下の条件(5)を満たすことを特徴とする請求項5に記載の検査装置。
    k1+k2=1 ・・・(5)
  7. 前記相関の度合いは、水平ライン毎における前記複数の補正画素の各々が出力するダミー信号と前記複数の有効画素の各々が出力する撮像信号との差であることを特徴とする請求項1〜6のいずれか一つに記載の検査装置。
  8. 前記統計値は、標準偏差であることを特徴とする請求項1〜7のいずれか一つに記載の検査装置。
  9. 前記補正画素は、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素であることを特徴とする請求項1〜8のいずれか一つに記載の検査装置。
  10. 前記補正画素は、光が遮光されたOB画素であることを特徴とする請求項1〜9のいずれか一つに記載の検査装置。
  11. 前記撮像素子は、被検体を撮像する内視鏡の挿入部の先端に配置されてなり、
    前記記録部は、前記挿入部と連なってなり、前記画像データに対して画像処理を行うプロセッサに接続可能なコネクタ部の内部に配置されてなることを特徴とする請求項1〜10のいずれか一つに記載の検査装置。
  12. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置であって、
    前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得部と、
    前記取得部が取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出部と、
    前記平均値算出部が算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出部と、
    前記クランプ値算出部が算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正部と、
    を備えたことを特徴とする画像処理装置。
  13. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置が実施する補正値算出方法であって、
    前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、
    前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、
    水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、
    前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、
    前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出ステップと、
    前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、
    前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、
    を含むことを特徴とする補正値算出方法。
  14. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置が実行する画像処理方法であって、
    前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、
    前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、
    前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、
    を含むことを特徴とする画像処理方法。
  15. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置に、
    前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、
    前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、
    水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、
    前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、
    前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合毎に算出する第2算出ステップと、
    前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、
    前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、
    を実行させることを特徴とする検査プログラム。
  16. 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置に、
    前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、
    前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、
    前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、
    を実行させることを特徴とする補正プログラム。
JP2017551750A 2015-11-19 2016-09-15 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム Active JP6261841B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015226806 2015-11-19
JP2015226806 2015-11-19
PCT/JP2016/077338 WO2017086010A1 (ja) 2015-11-19 2016-09-15 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム

Publications (2)

Publication Number Publication Date
JP6261841B2 JP6261841B2 (ja) 2018-01-17
JPWO2017086010A1 true JPWO2017086010A1 (ja) 2018-02-15

Family

ID=58718652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017551750A Active JP6261841B2 (ja) 2015-11-19 2016-09-15 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム

Country Status (5)

Country Link
US (1) US10735681B2 (ja)
EP (1) EP3379823A4 (ja)
JP (1) JP6261841B2 (ja)
CN (1) CN108141551B (ja)
WO (1) WO2017086010A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290673B1 (en) * 2017-12-22 2019-05-14 Omnivision Technologies, Inc. Bitline settling improvement and FPN reduction by floating bitline during charge transfer
US10165210B1 (en) * 2017-12-22 2018-12-25 Omnivision Technologies, Inc. Bitline settling improvement by using dummy pixels for clamp
CN115428431A (zh) * 2020-04-02 2022-12-02 株式会社小糸制作所 门控照相机、车辆用感测系统、车辆用灯具

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017040A (ja) * 2011-07-04 2013-01-24 Toshiba Corp 画像処理装置及び固体撮像装置
JP2013150144A (ja) * 2012-01-19 2013-08-01 Hitachi Kokusai Electric Inc 撮像方法および撮像装置
WO2015045486A1 (ja) * 2013-09-30 2015-04-02 株式会社日立国際電気 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4262253B2 (ja) * 2006-02-08 2009-05-13 キヤノン株式会社 画像信号処理装置を有する撮像装置、及び同装置を用いたカメラ
US7787036B2 (en) * 2006-09-07 2010-08-31 Canon Kabushiki Kaisha Imaging apparatus configured to correct noise
JP4994751B2 (ja) 2006-09-07 2012-08-08 キヤノン株式会社 撮像装置
US7760258B2 (en) * 2007-03-07 2010-07-20 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
JP4385060B2 (ja) * 2007-05-16 2009-12-16 シャープ株式会社 固体撮像装置および電子情報機器
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5534997B2 (ja) * 2010-08-03 2014-07-02 富士フイルム株式会社 電子内視鏡システム
JP2012090051A (ja) * 2010-10-19 2012-05-10 Sony Corp 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017040A (ja) * 2011-07-04 2013-01-24 Toshiba Corp 画像処理装置及び固体撮像装置
JP2013150144A (ja) * 2012-01-19 2013-08-01 Hitachi Kokusai Electric Inc 撮像方法および撮像装置
WO2015045486A1 (ja) * 2013-09-30 2015-04-02 株式会社日立国際電気 撮像装置

Also Published As

Publication number Publication date
US10735681B2 (en) 2020-08-04
CN108141551A (zh) 2018-06-08
JP6261841B2 (ja) 2018-01-17
EP3379823A4 (en) 2019-08-07
EP3379823A1 (en) 2018-09-26
CN108141551B (zh) 2020-08-11
US20180255258A1 (en) 2018-09-06
WO2017086010A1 (ja) 2017-05-26

Similar Documents

Publication Publication Date Title
JP5596888B1 (ja) 撮像装置、内視鏡システム及びノイズ除去方法
JP5826968B2 (ja) 撮像素子、撮像装置、内視鏡および内視鏡システム
JP5861012B1 (ja) 撮像素子、撮像装置、内視鏡、内視鏡システム
US10511791B2 (en) Image capturing apparatus capable of performing readout from a plurality of divided areas of a pixel area and control method therefor
JP5932182B1 (ja) 撮像素子、撮像装置、内視鏡および内視鏡システム
JP6261841B2 (ja) 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム
JP5826969B2 (ja) 撮像素子、撮像装置、内視鏡、内視鏡システムおよび撮像素子の駆動方法
JP6153676B1 (ja) 撮像素子および内視鏡
JP6064097B2 (ja) 内視鏡および内視鏡システム
US9876997B2 (en) Endoscope
WO2014175006A1 (ja) 撮像素子、撮像装置、内視鏡、内視鏡システムおよび撮像素子の駆動方法
JP6832250B2 (ja) 内視鏡、制御装置、補正方法およびプログラム
JP2017123971A (ja) 内視鏡

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171017

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6261841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250