JP7427791B2 - ライブ較正 - Google Patents

ライブ較正 Download PDF

Info

Publication number
JP7427791B2
JP7427791B2 JP2022536946A JP2022536946A JP7427791B2 JP 7427791 B2 JP7427791 B2 JP 7427791B2 JP 2022536946 A JP2022536946 A JP 2022536946A JP 2022536946 A JP2022536946 A JP 2022536946A JP 7427791 B2 JP7427791 B2 JP 7427791B2
Authority
JP
Japan
Prior art keywords
offset
frames
dark frame
signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022536946A
Other languages
English (en)
Other versions
JP2023506884A (ja
Inventor
バウアー，フロリアン
ヴァルツ，ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JP2023506884A publication Critical patent/JP2023506884A/ja
Application granted granted Critical
Publication of JP7427791B2 publication Critical patent/JP7427791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Description

本発明は、特に内視鏡に関連して、撮像素子データを較正するための方法に関する。
光学センサは、通常、信号オフセット（黒レベル、暗レベル）における空間的不均一性を示す。前述の不均一性は、経時的に変化し得、動作環境にも依存し得る。不均一性は、センサ自体、その電子機器、および／またはセンサからアナログ－デジタル変換器に信号を送信する線に起因し得る。後者の場合、空間構造は通常、センサセルから独立しており、したがって縦縞模様をもたらす。場合によっては、不均一性は、補償される必要があるような強度を有する。そのような誤差を補償することは、通常、制御された環境で不均一性を検出し、センサ装置に保存する較正ステップを含む。次に、これらのデータを記録中または画像処理中に使用して、不均一性の空間構造を補償する。
較正のこの手法には、いくつかの欠点がある。
（１．）製造のために、追加のステップが必要であり、その結果、各センサ装置のコストが増加する。
（２．）較正データは、センサ装置に保存されなければならない。このような保存部を設けないと、そのためのスペースが必要となり、単位当たりのコストが高くなる。
（３．）制御された環境での較正では、センサ、回線、処理ユニット、および各端末のハードウェアが異なる場合の各可能な動作環境または各可能な組み合わせが考慮されない。
（４．）特定の時間間隔で較正を繰り返すには、専用のロジスティクスおよびインフラストラクチャが必要である。
本発明の目的は、先行技術を改善することである。
本発明は、
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートでオフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートでオフセット減算部に送信するように構成された撮像素子と、
撮像素子がいくつかの明フレームと少なくとも１つの暗フレームを交互にオフセット減算部に送信することを確実にするように構成された制御部であって、
撮像装置の視野の少なくとも一部のシーンが、少なくとも１つの暗フレームに関する露光時間において、および明フレームの各々に関するそれぞれの露光時間において、等しいと仮定される場合に、それぞれの露光時間における撮像素子によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子によって検出され、また少なくとも１つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
オフセット減算部は、少なくとも１つの暗フレームの画像信号に基づくオフセットを取得し、明フレームのうちの１つの画像信号に基づく信号からオフセットを減算することで、較正された信号を取得し、また、さらなる処理のために較正された信号を提供するように構成され、
少なくとも１つの暗フレームおよびいくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、装置を提供する。
このようにして、以下の利点の少なくとも１つが達成される。
・センサ装置を製造するために追加のステップは必要とされない。
・較正は、それぞれの動作環境およびハードウェアに対応する。
・較正を繰り返すためのロジスティクスおよび／またはインフラストラクチャは必要とされない。
先行技術による、シーンの画像記録を左側に、（係数１０で強化され、複数のフレームにわたって平均化された）暗い画像の画像記録を右側に示す図である。 本発明の一実施形態によるオフセット補償後の、シーンの画像記録を左側に、（係数１０で強化され、複数のフレームにわたって平均化された）暗い画像の画像記録を右側に示す図である。 本発明の一実施形態による、明フレームおよび暗フレームの記録シーケンスを示す図である。 フレームの時間と露光時間に関する時間を示す図である。 本発明の一実施形態による装置を示す図である。 本発明の一実施形態で使用することができる装置を示す図である。
以下の詳細な説明では、方法が説明されるが、説明では、方法を実行するように構成された装置にも言及されている。これに対応して、以下の詳細な説明では、方法を実行するように構成された装置が説明されるが、説明では、方法自体にも言及されている。本方法では、ヒトもしくは動物の体の外科的適用もしくは治療的適用における使用、またはヒトもしくは動物の体に対して行われる診断プロセスにおける使用を除外することができる。しかしながら、本発明によるいくつかの装置は、前述の適用またはプロセスに適し得る。
前述の問題を解決するために、本発明の実施形態は、「ライブ較正」を提供する。ライブ較正では、フレームは、定期的な間隔で、または特定のイベントに起因して、それぞれのシーンの画像（「明フレーム」）を記録するのではなく暗い画像を記録するために使用される。前述のフレーム（「暗フレーム」）またはいくつかのそのような暗フレームから形成された平均値は、明フレームを較正するために使用される。
ここで、「シーン」は、センサが記録する被写体空間（すなわち、特に被写体、その配置および背景）であると理解される。この用語は、本発明のいくつかの実施形態による装置によって制御されない限り、被写体空間の照明も含む。
したがって、３つの主な変形形態があり、本発明の第１の主な変形形態は、撮像素子が暗い環境で使用される場合に主に有用である。本発明の一つの例は、例えばヒトもしくは動物の体腔、またはラインに挿入される内視鏡である。この環境では、暗いので、内視鏡はシーンを照明するそれ自体の光源に沿って進む。光源は、例えば、内視鏡の近位端で、内視鏡の遠位端の内視鏡先端で光源に接続された１つまたは複数のＬＥＤまたはグラスファイバの出口端であってもよい。この主な変形形態によれば、暗フレームの露光時間中、照明はオフに切り替えられるか、または明フレームと比較して少なくとも低減される。したがって、センサは暗い画像のみを記録する。後者は、本発明のいくつかの実施形態において較正に使用される。
第１の主な変形形態は暗いシーンを必要とするが（少なくとも、暗フレームの露光時間中にセンサによって検出された光強度は、明フレーム中にセンサによって検出された光強度より実質的に小さくなければならない）、第２および第３の主な変形形態によれば、環境も同様に比較的明るくすることができる。
図４は、フレーム（または、それぞれ、フレームレートおよび逆フレームレート）の時間と露光時間の時間について説明している。図４は、センサの画素の例を使用して前述の時間を示している。撮像素子が複数の画素を有する場合、他の画素の時間は、１つの画素の時間と一致してもよく、またはそれに対してシフトされてもよい。
センサは、それぞれの画像信号を１フレームにつき１回送信する。１回の送信から次の送信までの時間間隔は逆フレームレートである。その逆数がフレームレートである。ここから、各フレームの露光時間を区別する必要がある。露光時間は、画素のリセットから画素からの信号の読み出しまでの時間である。センサが読み出し信号を中間的に保存しない限り、それはさらなる評価のために直ちに送信される（例えば、Ａ／Ｄ変換）。この場合、読み出しの時間は転送の時間と一致する。中間保存が行われる場合、図４に示すように、読み出し後に転送が行われる。
明フレームでは、例えば、露光時間は逆フレームレートよりわずかに短くなるだけである。例えば、毎秒３０画像のフレームレートの場合、それは約３３ミリ秒になり得る。しかしながら、露光時間も逆フレームレートと比較して大幅に短縮され得る。逆フレームレート（例えば、動画用）の半分であってもよい。内視鏡検査では、動きぼけを回避すべき場合、それはさらに短くてもよい（逆フレームレートの１／５の範囲内、または数ミリ秒の大きさ）。最小露光時間は、それぞれのセンサの特性である。
本発明の第２の主な変形形態によれば、暗フレームの露光時間は明フレームの露光時間と比較して短縮される。例えば、暗フレームにおける露光時間は、通常のフレームにおける露光時間よりも、２倍だけ短く、好ましくは５倍だけ短く、さらにより好ましくは１０倍だけ短く、さらにより好ましくは５０倍だけ短く、さらにより好ましくは５００倍だけ短くてもよい。最大係数は、センサによって検出される光量が少なくなるため、１００００、好ましくは５０００、さらにより好ましくは１０００であり得る。暗フレームの露光時間は０であってもよい。このため、暗フレームの露光時間中にセンサによって検出される光量は、シーン（その照明を含む）が変化しないと仮定すると、明フレームの露光時間中にセンサによって検出される光量より確実に小さくなる。したがって、本発明のいくつかの実施形態は、センサおよび／またはその電子機器および／またはラインの不均一性を較正するためにそのような暗フレームを利用する。
本発明の第３の主な変形形態によれば、シーンが変化しない間（シーンの照明が変化しない場合を含む）に各時間単位についてセンサによって検出される光量は、可変絞りによって制御される。そのような絞りは、例えば、機械絞りであってもよい。しかしながら、逆フレームレートが短いので、多くの場合、機械絞りが遅すぎる可能性がある。あるいは、例えば、適切な速度で回転するストロボ絞りや、電子絞りを使用することができる。電子絞りは、例えば、ＬＣＤスクリーンで使用されるように、並置された半導体ライトバルブで構成することができる。
暗フレームの間、絞り開口は明フレームの間より小さい。絞りは、暗フレームの間は閉じていることが好ましい。すなわち、この場合のカメラシャッターは絞りの特殊なケースであると考えられる。
第１から第３の主な変形形態は、暗フレームにおける相対的な暗さを改善するために、互いに任意に組み合わせることができる。
本発明の実施形態によれば、装置は、少なくとも１つの暗フレームを記録し、次いで複数の明フレームを記録する。しかしながら、複数の暗フレーム、または１つの暗フレームと１つの明フレームを交互に記録することもできる。通常、１つの暗フレームまたは複数の暗フレームは、周期的に記録される。加えて、または代替的に、所定のイベントのために１つの暗フレームまたは複数の暗フレームを記録することもできる。例えば、オペレータによる入力があった場合やシーン（特にその（外部）照明）が２つ以上の固定閾値だけ変化したことが判明した場合、または信号増幅器の乗数、したがってオフセットの強度が変化した場合に、１つの暗フレームまたは複数の暗フレームを記録することができる。
図３は、本発明の一実施形態によるフレームのシーケンス（明フレーム１０１および暗フレーム１０２）の一例を示す。この例では、暗フレーム１０２、次いで一定数の明フレーム１０１（ここでは、５つの明るいフレーム）が、互いに直接続いて生成される。このシーケンスは定期的に繰り返され、場合によっては所定のイベントのために暗フレーム記録によって中断される。後続の明フレーム１０１のオフセットは、少なくとも、先行する暗フレーム１０２の信号に基づく。
暗フレームは、画像の処理中および表示中には示されておらず、較正のために使用されているにすぎない。一例では、暗フレームの強度は、後続の通常フレームの強度から減算される。
撮像素子が複数の画素を含む場合、画素ごとに、または画素グループごとに較正を実行することができる。画素ごととは、各ピクセルに対して別個のオフセットが計算され、明フレームのそれぞれのピクセルのピクセル値から減算されることを意味する。画素グループごととは、画素がグループに分けられ、明フレームの１つのグループの各画素のそれぞれの画素値から同じオフセットが減算されることを意味する。前述のオフセットは、暗フレームのグループ内のすべての画素にわたって平均化することによって取得することができる。グループは、センサ表面上に任意の順序で配置されてもよい。例えば、１列の画素が１つのグループを形成してもよく、または、画素は、チェス盤パターンで、各々がｎ＊ｍ個の隣接する画素のグループ（例えば、２＊２画素、または２＊３画素、または３＊２画素など）に分けられる。極端な例では、１つのグループはまた、撮像素子のすべての画素を含むことができる。
別の例では、複数の暗フレームが記録される。次いで、前述の暗フレームは、例えば単純な平均または加重平均によって一緒に処理され、通常、最新の暗フレームは、以前の暗フレームより重く重み付けされる。これは、較正データのノイズを低減するのに役立ち得る。さらに、様々な暗フレームを比較することによって、例えば外部光源による変更された照明などの妨害信号が存在するときに検出することができ、この場合、それぞれの暗フレームはまったく使用されないか、またはほとんど重みなしで使用される。移動平均化は、較正をそれぞれの動作環境にも自動的に適合させることを可能にする。
いくつかの実施形態では、特に、ラインおよび列に配置された複数の画素を含む撮像素子における縞模様の補償が関係する場合、同じフレームの各列（または各ライン）のいくつかの隣接画素にわたって平均化が実行される。この平均化は、複数のフレームにわたる平均化と組み合わせることができる。
本発明の実施形態が適用される一例は、内視鏡である。しかしながら、本発明は、ヒトの体に挿入するための内視鏡に限定されない。これは、例えば、パイプラインに挿入される内視鏡にも使用され得る。本発明は内視鏡に限定されるものではなく、むしろ基本的にすべてのタイプの撮像素子に使用することができる。
例えば、多くの内視鏡では、Ａ／Ｄ変換器（アナログ－デジタル変換器）は、内視鏡の遠位端で内視鏡先端の撮像素子と同じチップ上に配置することができるが、他の内視鏡では、Ａ／Ｄ変換器は、内視鏡の近位端に設けられる。特に後者の場合、Ａ／Ｄ変換器および制御部からの撮像素子の距離が大きいので、信号干渉が大きくなる。（遠位端にＡ／Ｄ変換器を備える内視鏡と近位端にＡ／Ｄ変換器を備える内視鏡の両方における）干渉の主な原因は、その信号が画像信号と干渉する（抵抗結合および／または容量結合）クロックであり、これは、画像において縦縞模様をもたらす列依存オフセットを伴う（図１参照）。図１は、シーン（明フレーム）の画像記録を左側に、（係数１０で強化され、複数の暗フレームにわたって平均化された）暗い画像の画像記録を右側に示す。縞模様は、シーンの記録および暗い画像の両方において明確に明らかである。
したがって、本発明の実施形態によれば、上記で説明したように、暗フレームが定期的に記録される。これにより、信号オフセットを推定し、次いで画像処理中に補償することが可能になり、最小の縞模様のみが見える画像が得られる（図２を参照されたい）。図２は、左側のシーンの画像および右側の暗い画像の両方において、複数の暗フレームにわたって移動平均することによってオフセットが補償されたことを除いて、図１に対応する。図１の縞模様は、図２では実質的に見えなくなり、したがって、シーンの記録の品質が著しく改善される。
この例における暗フレームは、暗フレームの露光時間の間、内視鏡の光源をオフに切り替えることによって記録することができる。また、暗フレームの露光時間を通常フレームの露光時間よりも実質的に短く設定することによって記録することもできる。この例では、露光時間が１００μｓ未満の最小値に設定されているのに対して、明フレームの露光時間は数ミリ秒である。好ましくは、暗フレームの間、センサの露光時間は最小化され、光源はオフに切り替えられる。
センサ（内視鏡の遠位端）がヒトもしくは動物の体内、または例えばパイプライン内に配置されている場合、外部光源はなく、暗フレームに暗い画像が記録されていると仮定することができる。外部光源が存在する可能性がある場所に内視鏡が配置されている場合、暗フレームの露光時間は明フレームの露光時間よりも実質的に短いため、および／または可変絞りが存在する場合、暗フレームの露光時間中の絞り開口は、明フレームの露光時間中の絞り開口よりも実質的に小さいため、信号は依然として暗いと見なされ得る。
前述のように、較正のために、複数の暗フレームおよび／または画素グループ内のいくつかの画素にわたる移動平均アルゴリズムを使用して、較正データｃａｌｉｂを取得することができる。以下では、整数で動作するそのようなアルゴリズムの例を説明する。
暗フレームの画素値が閾値より小さい場合、その値は移動平均によって既存の較正データに加算される。より高い精度を達成するために、画素値ｐｉｘｅｌは２＾ｇｌｏｂａｌＳｈｉｆｔで乗算される。プログラミング言語Ｃにおいて、平均化のためのアルゴリズムは以下の通りである。
ｉｆ（ｐｉｘｅｌ ＜ ｔｈｒｅｓｈｏｌｄ）
｛
ｃａｌｉｂ ＊＝（１ ＜＜ ａｖｇＳｈｉｆｔ）－１；
ｃａｌｉｂ＋＝（ｐｉｘｅｌ ＜＜ ｇｌｏｂａｌＳｈｉｆｔ）＋（１ ＜＜（ａｖｇＳｈｉｆｔ－１））；
ｃａｌｉｂ ＞＞＝ａｖｇＳｈｉｆｔ；
｝
好ましくは、閾値「ｔｈｒｅｓｈｏｌｄ」の値は、Ｂｌａｃｋｌｅｖｅｌ＋ＭａｘＦＰとして選択されるべきであり、ここで、ＢｌａｃｋｌｅｖｅｌはＡ／Ｄ変換器の黒レベルであり、ＭａｘＦＰは縞模様が取り得る最大値である。閾値よりも高い画素値を無視することにより、補償されたフレームの最大誤差が２＊ＭａｘＦＰ未満になるように、較正データが前述の値を超えないことが保証される。
この例では、較正データは画素ごとに計算される。しかしながら、各暗フレーム内で画素データを最初に平滑化することも可能である。
較正データは、例えば所定のライン（例えば、第１のライン）でＵＳＢにより転送される画像データに付加される。実際の画像処理に先立って、画像データから較正データが減算され、較正データを含む第１のラインが除去される。
本発明は、典型的なＣＣＤまたはＣＭＯＳセンサの読み出し原理によって形成される縦縞模様に限定されない。これは、任意のオフセットパターンに適用することができる。オフセットパターンは、複数の暗フレームにわたって一定（または実質的に一定）であるように、経時的に比較的ゆっくりとしか変化しないことが好ましい。例えば、それらは１０個の暗フレームにわたって１０％を超えてずれるべきではない。５％未満、さらには２％未満のずれがより好ましい。
典型的には、フレームレートは、特定の期間中のすべての明フレームおよび暗フレームについて一定であり、前述の明フレームおよび暗フレームのすべてについて等しい。しかしながら、本発明の実施形態では、フレームレートが一定であること、または明フレームと暗フレームとで等しいことは必要ではない。例えば、一部の明フレームまたは暗フレームは、より高いフレームレートで送信することができ、他の明フレームまたは暗フレームは、より低いフレームレートで送信することができる。例えば、すべての明フレームを、その期間中のすべての暗フレームのフレームレートとは異なる（好ましくはより小さい）フレームレートで送信することができる。しかしながら、暗フレームを記録するときにセンサが実際に暗い環境にあることを保証することができない限り、明フレームの逆フレームレート（すなわち、センサからの２つの画像信号送信間の時間間隔）は、センサの最小露光時間と比較して高くすることが好ましい。
実施形態に応じて、較正（すなわち、画像データからのオフセットの減算）は、明フレームのセンサ信号のＡ／Ｄ変換の前、間、または後に実行することができる。明フレームのセンサ信号をＡ／Ｄ変換した後に較正を行う場合、複数の暗いフレームの対応するセンサ信号をＡ／Ｄ変換する前後両方の複数の暗フレームから、適宜、較正値を設定することができる。
本発明の実施形態によれば、撮像素子（任意選択の外部照明を含む）によって記録されたシーンが変化しないと仮定される場合、撮像素子によって検出され、また明フレームの各々に対してそれぞれの画像信号を生成するそれぞれの光量は、撮像素子によって検出され、また少なくとも１つの暗フレームに対してそれぞれの画像信号を生成するそれぞれの光量より大きい。好ましくは、明フレームの光量は、暗フレームの光量の２倍、さらにより好ましくは５倍、さらにより好ましくは１０倍、さらにより好ましくは１００倍である。暗フレームで検出される光量はまた、０であってもよい。
図５は、本発明の一実施形態による装置を示す図である。この装置は、オフセット減算部１０と、撮像素子２０と、制御部３０とを備える。
複数の明フレームのそれぞれについて、撮像素子２０は、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートでオフセット減算部１０に送信する。さらに、撮像素子２０は、少なくとも１つの暗フレームについて、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートでオフセット減算部１０に送信する。
撮像素子は、例えば、ＣＣＤセンサやＣＭＯＳセンサであってもよい。センサの画素数は限定されない。
制御部３０は、撮像素子が第１の数の明フレームと少なくとも１つの暗フレームとを交互にオフセット減算部１０に送信することを保証する。さらに、制御部は、シーン（その（外部）照明を含む）が変化しないと仮定される場合、それぞれの露光時間における撮像素子２０によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子２０によって検出され、また少なくとも１つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを保証する。これは、例えば、シーンを照明する内部光源、それぞれの露光時間、および／または可変絞りの開口のサイズを制御することによって、制御部によって達成することができる。
オフセット減算部１０は、少なくとも１つの暗フレームの画像信号に基づいてオフセットを受信し、明フレームのうちの１つの画像信号に基づく信号からオフセットを減算して、較正された信号を取得し、また、さらなる処理のために較正された信号を提供する。信号は、撮像素子１０からの明フレームの画像信号、または撮像素子１０からの明フレームの画像信号から、例えばＡ／Ｄ変換および／またはさらなる処理ステップによって得られる信号であってもよい。オフセットは、同様に、撮像素子１０からの暗フレームの対応する画像信号、または撮像素子１０からの暗フレームの対応する画像信号から、例えばＡ／Ｄ変換および／またはさらなる処理ステップ（例えば、複数の暗フレームにわたる平均化）によって得られる信号であってもよい。
制御部およびオフセット減算部、ならびに場合によっては存在する画像処理部は、ハードウェアおよび／またはソフトウェアの形態とすることができる。それらは、１つまたは複数のハードウェアユニットおよび／またはソフトウェアユニットに実装されてもよい。それらはまた、クラウドに実装されてもよい。それらの各々はまた、１つまたは複数のコンピュータ（例えば、ラップトップ）に実装されてもよい。図６に示すように、それらは、メモリ８２０を備えるプロセッサ８１０によって実装されてもよく、メモリ８２０は、プロセッサ８１０によって方法が実行されるときに、プロセッサ８１０が本発明による方法を実行することを保証するプログラム命令を保存する。
一般に、撮像素子に入射する光量が多いほど、撮像素子によって検出される光量が多いと仮定される。例えば、検出される光量は、入射光量に比例することができ、または光量が増加するにつれて徐々に飽和することを示すことができる。

Claims (15)

  1. オフセット減算部と、
    複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
    前記撮像素子がいくつかの明フレームと少なくとも１つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも１つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも１つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、
    時間単位ごとに撮像素子に入射する光量を設定する可変絞りと、を含み、
    前記オフセット減算部は、少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
    前記少なくとも１つの暗フレームおよび前記いくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成し、
    前記制御部は、それぞれの第１の開口状態にあるように前記明フレームの各々について前記可変絞りを制御するように構成され、また、それぞれの第２の開口状態にあるように前記少なくとも１つの暗フレームについて前記可変絞りを制御するように構成され、前記可変絞りは、前記少なくとも１つの第２の開口状態における場合よりも前記第１の開口状態の各々における場合に、より大きい開口を有する、
    装置。
  2. 前記制御部が、前記少なくとも１つの暗フレームの露光時間を、前記明フレームのそれぞれの露光時間より短くなるように設定するように構成されている、
    請求項１に記載の装置。
  3. オフセット減算部と、
    複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
    前記撮像素子がいくつかの明フレームと少なくとも１つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも１つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも１つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
    前記オフセット減算部は、少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
    前記少なくとも１つの暗フレームおよび前記いくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成し、
    前記制御部が、前記少なくとも１つの暗フレームの露光時間を、前記明フレームのそれぞれの露光時間より短くなるように設定するように構成されている、
    装置。
  4. オフセット減算部と、
    複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
    前記撮像素子が複数の明フレームと少なくとも１つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも１つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも１つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
    前記オフセット減算部は、少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
    前記少なくとも１つの暗フレームおよび複数の前記明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、
    装置。
  5. 時間単位ごとに撮像素子に入射する光量を設定する可変絞りを含み、
    前記制御部は、それぞれの第１の開口状態にあるように前記明フレームの各々について前記可変絞りを制御するように構成され、また、それぞれの第２の開口状態にあるように前記少なくとも１つの暗フレームについて前記可変絞りを制御するように構成され、前記可変絞りは、前記少なくとも１つの第２の開口状態における場合よりも前記第１の開口状態の各々における場合に、より大きい開口を有する、
    請求項３または請求項４に記載の装置。
  6. 前記少なくとも１つの第２の開口状態では、前記可変絞りが閉じられる、請求項１、２、５のいずれか１項に記載の装置。
  7. 前記制御部は、前記少なくとも１つの暗フレームの前記それぞれの画像信号が前記シーンの前記光学撮像によって取得されるように、前記可変絞りを制御する、請求項１、２、５のいずれか１項に記載の装置。
  8. 前記シーンを照明するように構成された照明部を含み、
    前記制御部が、前記照明部を制御して、その結果、前記照明部は、前記明フレームの前記それぞれの露光時間中に、第１の強度で前記シーンを照明し、また、前記照明部は、前記少なくとも１つの暗フレームの前記露光時間中に、第２の強度で前記シーンを照明するか、またはオフに切り替えられ、前記第２の強度は前記第１の強度より小さい、
    請求項１から７のいずれか１項に記載の装置。
  9. 前記制御部が、時間的に互いに直接続くフレームの前記シーケンスが周期的に繰り返され、前記シーケンスの各々が時間的にシーケンスの対応する前のシーケンスに直接後続することを保証するように構成され、
    前記オフセット減算部が、前記シーケンスの各々について前記それぞれのシーケンスの前記少なくとも１つの暗フレームの前記画像信号に基づくそれぞれのオフセットを取得し、それぞれのシーケンスの前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
    請求項１から８のいずれか一項に記載の装置。
  10. 前記制御部が、所定のイベントがあるときに少なくとも１つの暗フレームが発生することを保証するように構成され、
    前記オフセット減算部が、前記暗フレームに続く少なくとも１つの明フレームについて前記所定のイベントに起因して発生した前記少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記少なくとも１つの明フレームの前記画像信号に基づく前記信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
    請求項１から９のいずれか一項に記載の装置。
  11. 前記オフセット減算部が、複数の暗フレームの前記画像信号にわたる平均化によって前記オフセットを取得するように構成される、請求項１から１０のいずれか一項に記載の装置。
  12. 前記撮像素子が、複数の画素を有し、
    前記オフセット減算部が、前記画素の各々について、前記少なくとも１つの暗フレームの前記各画素の前記画像信号に基づく各オフセットを取得するように構成される、
    請求項１から１１のいずれか一項に記載の装置。
  13. 前記画素が、１つまたはいくつかの画素のグループに分けられ、
    前記オフセット減算部が、前記グループの各々についてそれぞれのオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく前記それぞれの画素の信号から前記グループの前記画素の各々について前記それぞれのオフセットを減算して、前記それぞれの画素の較正された信号を取得するように構成される、
    請求項１２に記載の装置。
  14. 前記オフセット減算部が、前記少なくとも１つの暗フレームの前記それぞれのグループの前記画素の前記画像信号にわたる平均化によって、グループごとに前記それぞれのオフセットを取得するように構成される、
    請求項１３に記載の装置。
  15. 請求項１から１４のいずれか一項に記載の装置を備える内視鏡であって、
    前記撮像素子が、前記内視鏡の遠位端にある前記内視鏡の先端に位置し、
    前記オフセット減算部が、前記内視鏡の前記近位端に接続される、内視鏡。
JP2022536946A 2019-12-16 2020-12-09 ライブ較正 Active JP7427791B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019134473.5 2019-12-16
DE102019134473.5A DE102019134473A1 (de) 2019-12-16 2019-12-16 Live-Kalibrierung
PCT/IB2020/061675 WO2021124022A1 (en) 2019-12-16 2020-12-09 Live calibration

Publications (2)

Publication Number Publication Date
JP2023506884A JP2023506884A (ja) 2023-02-20
JP7427791B2 true JP7427791B2 (ja) 2024-02-05

Family

ID=73835663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536946A Active JP7427791B2 (ja) 2019-12-16 2020-12-09 ライブ較正

Country Status (6)

Country Link
US (1) US12056907B2 (ja)
EP (1) EP4078507A1 (ja)
JP (1) JP7427791B2 (ja)
CN (1) CN115136186A (ja)
DE (1) DE102019134473A1 (ja)
WO (1) WO2021124022A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021130790B4 (de) * 2021-11-24 2023-10-12 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung sowie Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159447A (ja) 2003-11-20 2005-06-16 Olympus Corp インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法
JP2005341261A (ja) 2004-05-27 2005-12-08 Canon Inc 撮像装置
JP2006279690A (ja) 2005-03-30 2006-10-12 Sanyo Electric Co Ltd 撮像装置
US20090213211A1 (en) 2007-10-11 2009-08-27 Avantis Medical Systems, Inc. Method and Device for Reducing the Fixed Pattern Noise of a Digital Image
US20190191974A1 (en) 2017-12-27 2019-06-27 Ethicon Llc Fluorescence imaging in a light deficient environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654262A (ja) 1992-07-28 1994-02-25 Olympus Optical Co Ltd 高速度ビデオカメラにおける固定パターンノイズ抑圧方式
JP3998229B2 (ja) * 1999-09-08 2007-10-24 カシオ計算機株式会社 撮像装置およびその信号処理方法
US6714241B2 (en) * 2001-04-25 2004-03-30 Hewlett-Packard Development Company, L.P. Efficient dark current subtraction in an image sensor
US7349048B1 (en) * 2004-12-16 2008-03-25 Lightmaster Systems, Inc. Method and apparatus for adjusting light intensity
JP4378341B2 (ja) * 2005-12-26 2009-12-02 キヤノン株式会社 撮像装置及び補正方法
US8078265B2 (en) 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
US20080055431A1 (en) * 2006-08-31 2008-03-06 Nokia Corporation Dark frame subtraction using multiple dark frames
JP2009136459A (ja) 2007-12-05 2009-06-25 Hoya Corp ノイズ除去システム、内視鏡プロセッサ、および内視鏡システム
US8622302B2 (en) * 2009-03-17 2014-01-07 Datalogic ADC, Inc. Systems and methods for compensating for fixed pattern noise
DE112017005714T5 (de) * 2016-11-14 2019-08-08 Olympus Corporation Bildaufnahmevorrichtung und Endoskop

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159447A (ja) 2003-11-20 2005-06-16 Olympus Corp インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法
JP2005341261A (ja) 2004-05-27 2005-12-08 Canon Inc 撮像装置
JP2006279690A (ja) 2005-03-30 2006-10-12 Sanyo Electric Co Ltd 撮像装置
US20090213211A1 (en) 2007-10-11 2009-08-27 Avantis Medical Systems, Inc. Method and Device for Reducing the Fixed Pattern Noise of a Digital Image
US20190191974A1 (en) 2017-12-27 2019-06-27 Ethicon Llc Fluorescence imaging in a light deficient environment

Also Published As

Publication number Publication date
EP4078507A1 (en) 2022-10-26
CN115136186A (zh) 2022-09-30
JP2023506884A (ja) 2023-02-20
US12056907B2 (en) 2024-08-06
DE102019134473A1 (de) 2021-06-17
US20230029348A1 (en) 2023-01-26
WO2021124022A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US9538108B2 (en) Endoscope system and pixel correction method
JP5855035B2 (ja) 固体撮像装置
JP6336286B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
US5038369A (en) X-ray fluoroscopic apparatus
JP6338385B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP2013009190A (ja) 撮像装置及びその駆動方法
JP7427791B2 (ja) ライブ較正
JP2013048694A (ja) 内視鏡装置
JP4687620B2 (ja) 撮像装置
JP5244164B2 (ja) 内視鏡装置
JP5581968B2 (ja) 撮像装置
JP6517573B2 (ja) 画像処理装置および内視鏡装置
JP2004364266A (ja) 画像欠陥補正装置、及び、画像欠陥補正方法
JP5489739B2 (ja) 信号処理装置、撮像装置、及び信号処理方法
JP2009049953A (ja) 赤外線撮像装置
JP2018113614A (ja) 撮像装置、および撮像方法、電子機器、並びに信号処理装置
US10484626B2 (en) Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus
JP2014004112A (ja) 内視鏡装置
JP6223166B2 (ja) 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体
JP2014004103A (ja) 内視鏡装置
US20220232178A1 (en) Image capture apparatus and image processing method
JP2009284358A (ja) 撮像装置
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
JP2021005838A (ja) 撮像装置、及び撮像装置の制御方法
JP6226531B2 (ja) 撮像装置及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R150 Certificate of patent or registration of utility model

Ref document number: 7427791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150