JP5593004B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP5593004B2
JP5593004B2 JP2013556091A JP2013556091A JP5593004B2 JP 5593004 B2 JP5593004 B2 JP 5593004B2 JP 2013556091 A JP2013556091 A JP 2013556091A JP 2013556091 A JP2013556091 A JP 2013556091A JP 5593004 B2 JP5593004 B2 JP 5593004B2
Authority
JP
Japan
Prior art keywords
image
images
optical
endoscope
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013556091A
Other languages
English (en)
Other versions
JPWO2014002740A1 (ja
Inventor
浩 露木
武志 菅
將夫 三本木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Medical Systems Corp
Original Assignee
Olympus Corp
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Medical Systems Corp filed Critical Olympus Corp
Priority to JP2013556091A priority Critical patent/JP5593004B2/ja
Application granted granted Critical
Publication of JP5593004B2 publication Critical patent/JP5593004B2/ja
Publication of JPWO2014002740A1 publication Critical patent/JPWO2014002740A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Optical Elements Other Than Lenses (AREA)

Description

本発明は、内視鏡システム、特に、被写体深度内視鏡システムに関するものである。
一般に、内視鏡システムを始め、撮像素子を備えた機器において、撮像素子の高画素化に伴い、被写界深度が狭くなることが知られている。すなわち、撮像素子において、画素数を増やすために画素ピッチ(1画素の縦横の寸法)を小さくすると、これに伴って許容錯乱円も小さくなるため、撮像装置の被写界深度が狭くなる。被写界深度を拡大するために、例えば、特許文献1には、光路分割手段により被写体像をピントの異なる2つの像に分割し、これら各像を異なる撮像素子に夫々結像させ、2つの像を合成して被写界深度を拡大した像を取得することが開示されている。
一方、被写界深度を維持するために、光学系の絞り値を増大させることが考えられるが、ノイズが増加して画質が劣化したり、回折の影響が大きくなり解像力が低下したりするという問題がある。解像力を向上させる技術として、例えば、特許文献2には、光路分割素子により分割したピントの異なる2つの被写体像を1つの撮像素子に結像させ、2つの像を加算処理することにより解像力を向上させた合成画像を取得する技術が開示されている。
特開2003−078802号公報 特開2004−313523号公報
しかしながら、上記した特許文献1の技術では、ピントの異なる被写体像を結像するために複数の撮像素子が設けられているため撮像装置の大型化や製造コストが増大する。また、特許文献2の技術では、ダイナミックレンジの拡大や解像力の向上を実現することはできるものの、2つの被写体像のピント差が大きすぎるので、夫々の被写界深度間にピントが合わない領域が生じる、又は、夫々の深度が重なり過ぎて被写界深度を拡大することができない。
本発明は、上述した事情に鑑みてなされたものであって、製造コストを低減し、装置を大型化することなく被写界深度を拡大させた画像を取得することができる内視鏡システムを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、挿入部先端に設けられ、被写体像を取得する対物光学系と、前記被写体像をピントの異なる2つの光学像に分割する光路分割手段と、前記ピントの異なる2つの光学像を同時に撮像して2つの画像を取得する撮像素子と、該撮像素子により取得した2つの前記画像を、互いのピント以外の差異が略同一となるように補正する画像補正手段と、該画像補正手段により補正された2つの前記画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成する画像合成処理部と、を備え、前記光路分割手段が偏光ビームスプリッタであり、該偏光ビームスプリッタの入射面に対して45度をなす結晶軸を持つ結晶性フィルタを、前記偏光ビームスプリッタの物体に配置した内視鏡システムを提供する。
本態様によれば、合成画像を生成するのに先立って、ピントの異なる2つの光学像を同時に撮像した2つの画像を、互いのピント以外の差異が略同一となるように補正するので、2つ画像における光学像のズレがなくなる。そして、補正された2つの画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成するので、例えば、ノイズ等によって合成画像において不連続領域が発生したり、光学像がぼけたりすることを防止しながら、被写界深度を拡大させた画像を取得することができる。また、2つの画像は、同一の撮像素子により撮像されているので、撮像素子を複数備えるものに比して、製造コストを低減し、装置を大型化することなく被写界深度を拡大させた画像を取得することができる。
上記した態様において、画像合成処理部が、2つの前記画像間の対応する所定領域において、各所定領域のコントラストが略同一である場合に、各所定領域に対して重み付けして合成画像を生成することが好ましい。
このようにすることで、合成画像における不連続領域の発生や、光学像のボケを防止しながら、被写界深度を拡大させた画像を取得することができる。
上記した態様において、前記画像補正手段が、2つの前記光学像の位置、角度及び倍率が略同一となるように前記画像を補正することが好ましい。
このようにすることで、合成画像生成の際の、光学像のズレやボケ防止することができる。
上記した態様において、前記画像補正手段が、2つの前記光学像の明るさ、色が略同一となるように前記画像を補正することが好ましい。
このようにすることで、合成画像生成の際の、光学像のズレやボケ防止することができる。
上記した態様において、前記光路分割手段が、分割した一方の光学像を前記撮像素子に鏡像反転して結像させる場合、前記画像補正手段が、2つの前記画像のうち何れか一方を鏡像反転させることが好ましい。
このようにすることで、2つの画像の光学像の方向を一致させることができる。
上記した発明において、前記対物光学系と前記撮像素子が、前記対物光学系の有効FナンバーをFno、前記撮像素子の垂直方向ピクセルサイズをPixと表した場合に、以下の条件
2.4≦Fno/Pix≦4.28
を満たすことが好ましい。
このようにすることで、所望の明るさや解像力を維持しながら被写界深度を拡大した画像を取得することができる。
上記した態様において、前記結晶性フィルタが、λ/4板であり、該λ/4板の高速軸が、前記挿入部先端に配置される照明光学系の光軸と前記対物光学系の光軸とを含む平面に対して、略平行又は垂直に配置されていることが好ましい。
このようにすることで、2つの画像における極端な明るさの差が生じることを防止し、合成画像における明るさムラを抑制することができる。
上記した態様において、前記挿入部先端に複数の照明光学系が配置され、前記対物光学系の光軸と複数の前記照明光学系のうち前記対物光学系から最も遠い照明光学系の光軸とを含む平面に対して、前記λ/4板の高速軸が略平行又は垂直に配置されていることが好ましい。
このようにすることで、より合成画像における明るさムラを抑制することができる。
上記した態様において、前記挿入部先端に複数の照明光学系が配置され、前記対物光学系の光軸と複数の前記照明光学系のうち照明光量が最も多い照明光学系の光軸とを含む平面に対して、前記λ/4板の高速軸が略平行又は垂直に配置されていることが好ましい。
このようにすることで、より合成画像における明るさムラを抑制することができる。
上記した態様において、前記λ/4板が、高分子フィルムであることが好ましい。
このようにすることで、内視鏡システムの小型化に寄与することができる。
本発明によれば、製造コストを低減し、装置を大型化することなく、且つより効果的に被写界深度を拡大させた画像を取得することができるという効果を奏する。
本発明の実施形態に係る内視鏡システムの概略構成図である。 本発明の実施形態に係る内視鏡システムに適用される撮像ユニットの概略構成図である。 本発明の実施形態に係る内視鏡システムに適用される撮像素子の概略構成図である。 幾何光学的に決まる被写界深度の説明図である。 合成被写界深度を得る場合のMTFとでフォーカスの関係を示すグラフである。 図6(A)は、対物光学系16におけるフォーカスシングで全体として遠方観察ピント状態を示す説明図であり、図6(B)は、対物光学系におけるフォーカスシングで全体として近接観察ピントの状態を示す説明図である。 本発明の各実施例に係る内視鏡システムにおける被写界深度等の数値データに係る図表である。 本発明の各実施例に係る内視鏡システムにおける被写界深度等の数値データに係る図表である。 本発明の各実施例に係る内視鏡システムにおける被写界深度等の数値データに係る図表である。 本発明の実施形態に係る内視鏡システムにおいて、2つの光学像を合成する場合の流れを示すフローチャートである。 本発明の実施形態に係る内視鏡システムにおいて、2つの画像を合成する際にお重み付け係数を示すグラフである。 本発明の実施形態に係る内視鏡システムにおいて、偏光ビームスプリッタにより奇数回の反射後に撮像素子に結像される場合の結像状態を示す図である。 内視鏡先端の構成とブリュースター角との関係を示す図である。 λ/4板を、光路分割素子の偏光分離膜より物体側に配置した例を示す図である。 λ/4板と照明光学系との配置関係を示す図である。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の内視鏡システム1は、被検体内に挿入される内視鏡2と、この内視鏡2に照明光を供給する光源装置3と、内視鏡2に設けられた撮像素子により取得された画像信号に対する画像処理を行うプロセッサ装置4と、プロセッサ装置4により所定の画像処理がなされた画像信号を内視鏡画像として表示する画像表示装置5とを有する。
内視鏡2は、被検体内に挿入される細長の挿入部6と、この挿入部6の後端に設けられた操作部7と、操作部7から延出する第1ケーブル8とを有し、第1ケーブル8には、照明光を伝送するライトガイド9が挿通されている。内視鏡2の挿入部6の先端部6aには、ライトガイド9から出射された照明光を拡散する照明レンズ15、被写体像を取得する対物光学系16、被写体像を撮像する撮像ユニット19が設けられている。第1ケーブル8の端部のライトガイドコネクタ8aは、第1ケーブル8に挿通されたライトガイド9の後端部が照明光の入射端となるように光源装置3に着脱自在に接続されている。
光源装置3は、光源として例えばキセノンランプ等のランプ11を内蔵する。なお、光源として、キセノンランプ等のランプ11に限定されるものでなく、発光ダイオード(LEDと略記)を用いても良い。ランプ11により発生した白色光は絞り12により通過光量が調整された後、コンデンサレンズ13により集光されてライトガイド9の入射端面に入射(供給)される。なお、絞り12は、絞り駆動部14により、絞り12の開口量が可変される。
ライトガイド9は、光源装置3から入射端(後端側)に入射された照明光を挿入部6の先端部6a側に導光する。先端部6aに導光された照明光は、ライトガイド9の出射端(先端側)から先端部6aの先端面に配置された照明レンズ15により拡散されて照明窓15aを介して出射され、被検体内部の観察対象部位を照明する。
照明された観察対象部位は、先端部6aの照明窓15aに隣接して設けられた観察窓20に取り付けられた対物光学系16により、その後方側に配置した撮像素子17に被写体像を結像する。
対物光学系16は、複数の光学素子からなる光学素子群16a、遠方観察と近接観察の2つの観察領域にピント又は焦点を選択的に合わせられるように焦点切替機構としてのフォーカスレンズ21及びフォーカスレンズ21を駆動するアクチュエータ22を備えている。
撮像ユニット19は、対物光学系16の挿入部6後端部側に設けられ、被写体像をピントの異なる2つの光学像に分割する偏光ビームスプリッタ18、2つの光学像を撮像して2つの画像を取得する撮像素子17を備えている。
偏光ビームスプリッタ18は、図2に示すように、第1プリズム18a、第2プリズム18b、ミラー18c、及びλ/4板18dを備えている。第1プリズム18a及び第2プリズム18bは共に光軸に対して45度の斜度であるビームスプリット面を有し、第1プリズム18aのビームスプリット面には偏光分離膜18eが設けられている。そして、第1プリズム18a及び第2プリズム18bは、互いのビームスプリット面を偏光分離膜18eを介して当節させて偏光ビームスプリッタ18を構成している。また、ミラー18cは、第1プリズム18aの端面近傍にλ/4板18dを介して設けられ、第2プリズム18bの端面には撮像素子17が取り付けられている。
対物光学系16からの被写体像は、第1プリズム18aにおいてそのビームスプリット面に設けられた偏光分離膜18eによりP成分(透過光)とS成分(反射光)とに分離され、反射光側の光学像と透過光側の光学像との2つの光学像に分離される。
S成分の光学像は、偏光分離膜18eで撮像素子17に対して対面側に反射されA光路を通り、λ/4板18dを透過後、ミラー18cで撮像素子17側に折り返される。折り返された光学像はλ/4板18dを再び透過する事で偏光方向が90°回転し、偏光分離膜18eを透過して撮像素子17に結像される。
P成分の光学像は、偏光分離膜18eを透過してB光路を通り、撮像素子17に向かって垂直に折り返す第2プリズム18bのビームスプリット面と反対側に設けられたミラー面によって反射され、撮像素子17に結像される。この際、A光路とB光路で、例えば、数十μm程度の所定の光路差を生じさせるようにプリズム硝路を設定しておき、ピントが異なる2つの光学像を撮像素子17の受光面に結像させる。
すなわち、第1プリズム18a及び第2プリズム18bを、被写体像をピント位置が異なる2つの光学像に分離できるように、第1プリズム18aにおける撮像素子17に至る透過光側の光路長(硝路長)に対して反射光側の光路長が短く(小さく)なるように配置する。
撮像素子17は、図3に示すように、ピント位置が異なる2つの光学像を夫々個別に受光して撮像するために、撮像素子17の全画素領域の中に、2つの受光領域(有効画素領域)17a,17bが設けられている。受光領域17a,17bは、2つの光学像を撮像するために、これらの光学像の結像面と夫々一致するように配置されている。そして、撮像素子17において、受光領域17aは受光領域17bに対してそのピント位置が相対的に近点側にシフトしており(ずれており)、受光領域17bは受光領域17aに対してそのピント位置が相対的に遠点側にシフトしている。これにより、ピントが異なる2つの光学像を撮像素子17の受光面に結像させるようになっている。
なお、第1プリズム18aと第2プリズム18bにおける両者の屈折率を異ならせることにより、撮像素子17に至る光路長を変えて受光領域17a,17bに対するピント位置を相対的にずらすようにしても良い。
また、受光領域17a,17bの周囲には、2つに分割された光学像の幾何的なズレを補正するための補正画素領域17cが設けられている。補正画素領域17c内において製造上の誤差を抑え、後述する画像補正処理部32にて画像処理による補正を行なうことで、上記した光学像の幾何学的なズレを解消するようになっている。
フォーカスレンズ21は、光軸の方向における2つの位置に移動可能となっており、アクチュエータ22により2つの位置間で一方の位置から他方の位置、他方の位置から一方の位置に移動するように駆動される。フォーカスレンズ21を前方側(物体側)の位置に設定した状態においては遠方観察する場合の観察領域の被写体にピントが合うように設定され、フォーカスレンズ21を後方側の位置に設定した状態においては近接観察する場合の観察領域の被写体にピントが合うように設定されている。
なお、アクチュエータ22は、挿入部6内を挿通された信号線23と接続され、この信号線23はさらに操作部7から延出された第2のケーブル24内を挿通される。この第2のケーブル24の端部の信号コネクタ24aは、プロセッサ装置4に着脱自在に接続され、上記信号線23は、プロセッサ装置4内に設けたアクチュエータ制御部25に接続される。
このアクチュエータ制御部25は、例えば内視鏡2の操作部7に設けた切替操作スイッチ26からの切替操作信号も入力される。アクチュエータ制御部25は、切替操作スイッチ26の操作に応じてアクチュエータ22を電気的に駆動する駆動信号を印加して、フォーカスレンズ21を移動する。
なお、切替操作信号を発生する切替操作手段は、切替操作スイッチ26に限らず、切替操作レバー等でも良い。上記フォーカスレンズ21と、アクチュエータ22と、アクチュエータ制御部25とにより、焦点切替機構が形成される。ところで、本願におけるフォーカス手段は、前述の光軸方向にフォーカスレンズを移動させる手段に限定するものではない。例えば、レンズやフィルターを対物光学系に挿脱してフォーカスを切替える手段でも構わない。
撮像素子17は挿入部6、操作部7、第2のケーブル24内を挿通された信号線27a,27bと接続され、信号コネクタ24aがプロセッサ装置4に接続されることにより、プロセッサ装置4内に設けた画像処理部としての画像プロセッサ30と接続される。
画像プロセッサ30は、撮像素子17により撮像されたピント位置が異なる2つの光学像に係る画像を夫々読み出す画像読出部31と、画像読出部31により読み出された2つの画像に対する画像補正を行う画像補正処理部32と、補正された2つの画像を合成する画像合成処理を行う画像合成処理部33とを有する。
画像補正処理部32は、撮像素子17の受光領域17a,17bにそれぞれ結像される2つの光学像に係る画像に対し、互いのピント以外の差異が略同一となるように補正する。すなわち、2つの画像の各光学像における相対的な位置、角度及び倍率が略同一となるように2つの画像に対して補正を行う。
被写体像を2つに分離して撮像素子17に夫々結像させる場合、幾何的な差異が生じる場合がある。すなわち、撮像素子17の受光領域17a,17bにそれぞれ結像される夫々の光学像は、相対的に倍率ズレ、位置ズレ、角度すなわち回転方向のズレ等が発生する場合がある。これらの差異を製造時などにおいて、完全に解消することは困難であるが、それらのズレ量が大きくなると、合成画像が2重画像となったり、不自然な明るさムラ等を生じたりする。このため、画像補正処理部32にて上述した幾何的な差異、明るさ差異を補正する。
2つの画像間における明るさの差異を補正する場合、2つの像または画像のうち輝度の低い方の像または画像、もしくは2つの像または画像の相対的に同一位置における輝度の低い方を基準にして補正を行うことが望ましい。
つまり、相対的に明るい方、つまり輝度信号(例えばG信号)の強度(信号レベル)が低い方に合わせる様に明るさ補正を行なう。この補正と逆に明るい方に合わせると、画像に含まれるノイズ成分まで増幅することが必要になり、S/Nが劣化した合成画像になってしまう。
上記のように輝度の低い方を基準にし、輝度の高い方を基準となる輝度の低い方の輝度
に合わせるようにゲインを低下(または減衰)させるような明るさ補正を行うことにより
、S/Nの劣化による合成画像の画質の低下を防止できるようにしている。
画像合成処理部33は、画像補正処理部32により補正された2つの画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成する。つまり、2つの画像における空間的に同一の画素領域それぞれにおけるコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することにより、2つの画像から合成された1つの画像としての合成画像を生成する。なお、2つの画像の同一の画素領域におけるコントラスト差が小さい又は略同一である場合は、その画素領域に所定の重み付けして加算する合成画像処理により、合成画像を生成する。
また、画像プロセッサ30は、画像合成処理部33により合成された1つの画像に対して、色マトリクス処理、輪郭強調、ガンマ補正等の後段画像処理を行う後段画像処理部34と、後段画像処理された画像を出力する画像出力部35とを有し、画像出力部35から出力される画像は画像表示装置5に出力される。
さらに、この画像プロセッサ30は、画像読出部31により読み出された画像から基準の明るさに調光するための調光信号を生成する調光部36を有し、調光部36により生成した調光信号を光源装置3の絞り駆動部14に出力する。絞り駆動部14は、調光信号に従って、基準の明るさを維持するように絞り12の開口量を調整する。
また、本実施形態においては、画像補正処理部32において、画像を補正する場合に使用する補正パラメータ(の情報)を格納した補正パラメータ格納部37を設けている。
内視鏡2にはその内視鏡2に固有の内視鏡識別情報(内視鏡ID)を格納したIDメモリ38を有すると共に、その内視鏡2において補正すべき固有の補正パラメータがある場合には、その内視鏡2に対応した補正パラメータを格納した補正パラメータ格納部37が設けてある。
ここで、補正パラメータとは、例えば、光路分割素子や撮像素子のシェーディング特性、λ/4板の波長特性によって2つの光学像にかかる画像には上述した幾何学的な差異や明るさの差異、もしくは色の差異が生じることがある。2画像間にこのような差異があると、合成画像に不自然な明るさムラや色ムラが生じてしまうため、これを補正するために光路分割素子や撮像素子、λ/4板の特性を考慮して決定されたものである。
なお、画像補正処理部は予め設定された補正パラメータを補正パラメータ部から受け取り補正が行なわれるようにしても良い。例えば、工場出荷時に、予めそのズレ量を前記補正パラメータ部に設定しておき、内視鏡が画像プロセッサに接続された際に、内視鏡が接続されたことを認識して前記補正パラメータ部から対応するパラメータを呼び出して補正行なうようにすることができる。
なお、補正すべき固有の補正パラメータがない場合には、補正パラメータ格納部37を設けることが不必要になる。また、補正パラメータ格納部37をIDメモリ38の内部に設ける場合に限定されるものでなく、IDメモリ38と別のメモリに設けるようにしても良い。
そして、画像プロセッサ30の制御部39は補正の有無を内視鏡2側に設けた内視鏡IDで識別して、補正有りの場合には内視鏡2側に格納されているIDメモリ38内の補正パラメータ格納部37から補正パラメータを読み取り、この補正パラメータを画像補正処理部32に送る。
画像補正処理部32は、制御部39から転送された上記補正パラメータに基いて各内視鏡2に搭載された撮像ユニット19に対応した画像補正を行う。
また、画像補正処理部32は、補正パラメータを用いて、2つの像または画像における
1つを基準像または基準画像として上述した倍率の差異の補正、位置の差異の補正等、画
像の補正を行う。例えば、2つの画像で倍率ズレが生じる場合は、対物光学系16の仕様による場合がある。
対物光学系16のサイズを比較的小さくしようとした場合、テレセントリック性を崩して撮像素子17への光線が斜めに入射するような設計が行なわれる場合がある。例えば、光軸とのなす角を入射角として、時計回りをプラス、反時計回りをマイナスとすると、マイナスの入射角となるような設計が行なわれる。
この様なテレセントリック性が崩れた対物光学系でピント位置をずらすと2つの画像間で倍率ズレが生じる事になる。
この様な設計上の仕様であれば、予めそのズレ量を前記補正パラメータ格納部37に格納しておき、対象の内視鏡2がプロセッサ装置4に接続された場合、その内視鏡2を認識して前記補正パラメータ格納部37から対応するパラメータを呼び出して補正を行なうようにする。
撮像ユニット19の組立て時2つの画像の相対的な画素の位置が微小にズレる場合がある。この場合、製造時のズレ量を補正パラメータ格納部37に格納しておき、画像補正処理部32にてそのズレ補正を行なう様にする。位置のズレ補正は例えば撮像素子17の受光領域17aで撮像された画像と受光領域17bで撮像された画像との相対的な位置が合致するように2つの画像の読出し位置を修正する様な処理が行なわれ、位置ズレが補正された後、画像合成処理部33に出力される。
なお、本実施形態における予め設定された補正パラメータによる補正を行う代わりに、内視鏡使用時に、別途用意されるアジャスト用基準チャートによって補正を行なっても良い。例えば基準チャートを内視鏡2の先端部6aに所望の位置に配置するようにし、基準チャートに対する2つの画像のズレを画像補正処理部32にて読み取り、そのズレ補正するようにしても良い。
制御部39は、アクチュエータ制御部25に対して、各内視鏡2に搭載された対物光学系16を構成するフォーカスレンズ21の駆動すべき位置が異なるような場合においても、駆動すべき位置の情報を送り、アクチュエータ制御部25は内視鏡2の種類が異なるような場合にもアクチュエータ22を適切に駆動する制御を行う。
なお、アクチュエータ制御部25が制御部39を介することなく、IDを取得して、内視鏡2の種類が異なる場合にもアクチュエータ22を適切に駆動する制御を行う。
ここで、被写界深度の定義を、図4等を参照して以下に説明する。図4は幾何光学的に決まる被写界深度の説明図である。
一般的な内視鏡において、ベスト距離をXとした場合の対物光学系(その焦点距離Fl)を用いて像面位置X’に、図3中に示す画素ピッチPixの撮像素子を配置した場合を考える。撮像素子を固定した条件において、物体を(Xから)Xnまで近接すると、近接時の像面位置Xn’は、撮像素子の撮像面位置からずれることになる。
このとき、ピントが合っていると見なすことができる最大の錯乱円を、許容錯乱円として、その円径をδとすると、撮像素子の撮像面における錯乱円径がδよりも小さいと認識できる場合、XからXnまでの物体像はピントが合っていると見なすことができる。
すなわち、錯乱円径がδと一致するまでの範囲を近点側の被写界深度と定義することができる。
ニュートンの結像式から、以下の式が成立する。
1/Xn−1/X=δFno/Fl …(1)
物体を(Xから)遠点側にXfまで移動した場合を考えることにより、同様に被写界深度の遠点側での式も以下のように定義される。
1/X−1/Xf=δFno/Fl …(2)
(1)式と(2)式を合わせると、
1/Xn−1/Xf=2δFno/Fl …(3)
となる。そして、焦点深度dに対応した被写界深度がXn−Xfとなる。
ただし、上記のようにベスト距離をX、被写界深度近点までの距離をXn、被写界深度遠点までの距離をXf、許容錯乱円径をδ、対物光学系の焦点距離をFl、対物光学系の有効FナンバーをFnoとしている。
以上は幾何光学的に決まる一般的な被写界深度の定義である。
本実施形態は、幾何光学的に決まる被写界深度の場合に対して、合成画像により被写界深度を拡大することができるが、回折の影響を無視できない場合においても合成画像により被写界深度を拡大することができるようにしている。
撮像素子をより微細化し、高画素化していくと被写界深度を定義する際には、波動光学的な影響が無視できない事が一般的に知られている。これは焦点位置において、幾何光学的に定義したスポットサイズから、回折の影響からスポットサイズが広がるため幾何光学的な被写界深度の計算からズレが生じるためである。従って、本実施形態のような回折限界に近い有効FナンバーFnoまで絞られるケースが多い多画素の撮像素子を搭載した内視鏡2では、回折が無視できない影響となる。
ピント位置が異なる2つ像の合成被写界深度を得る場合、夫々の深度端はMTF10%以上で重なっていることが望ましく、像面上の評価空間周波数をFiとすると、
Fi=1/k1・Pix …(4)
となる。
このFiにおけるデフオーカスのMTF(Modulation Transfer Function)が約10%あれば、主観評価では像のボケは認識できず「見えている」と判断できる。言い換えると、MTFは約10%となるデフオーカス位置が深度端と見なす事ができる。
つまり、2つのピント状態の合成被写界深度を得る場合、深度範囲が最大となる条件は
夫々の深度端でMTFを約10%以上を保ったまま合成される事となる(図5参照)。仮にMTF10%未満の端で2画像を合成すると、被写界深度ギャップが生じ、合成深度内でボケる領域が生じてしまう。
2焦点切替時の遠方観察側の合成被写界深度と近接観察側の合成被写界深度の端は、MTF10%で重なっている事が望ましい。この設定であれば、2焦点切り替えしても被写界深度ギャップが生じない。2焦点切替時の遠位観察側の合成被写界深度と近接観察側の合成被写界深度の端は重ならず、近接観察側の合成被写界深度は3mm前後であっても良い。
無理に連続的な被写界深度設定をするのでなく、より近接した拡大観察を行なえるようにして内視鏡診断能の向上を狙う。ただし、2焦点切り替え時の視野角変動が殆ど生じないフォーカシングであり、内視鏡の操作性を考慮して深度幅は3mm前後を確保している事が望ましい。2焦点切替時に視野角が変わる場合は、近接するにつれて観察倍率が向上する様な変倍光学系としても良い。
本実施形態においては、被写体像を2つの光学像に分離する偏光ビームスプリッタ18が配置されて撮像素子17に近点像と遠点像を夫々撮像するものであり、上述の通り、偏光ビームスプリッタ18により光学像の撮像素子17に至る近点硝路と遠点硝路を異ならせて、ピント位置が相対的に異なった像が得られるようになっている。
図6(A)は、対物光学系16におけるフォーカスシングで全体として遠方観察ピント状態を示しており、図6(B)は、対物光学系16におけるフォーカスシングで全体として近接観察ピントの状態を示している。
例えば、図6(A),(B)に示すように、撮像素子17上の対物光学系16側に近点像、内視鏡2側に遠点像を結像する場合、偏光ビームスプリッタ18の撮像素子17に至る硝路を夫々dn、dfとするとdn>dfとしている。
撮像素子17に至る近点光路と遠点光路とに応じて、第1プリズム18aと第2プリズム18bとを別の硝子で構成し、屈折率を異ならせることにより、相対的にピント位置をずらしても良い。
これにより、ピントの異なる2つの光学像に係る画像を取得し、これら画像を画像合成処理部33で合成して合成被写界深度XAf+XBfを得ることができる。内視鏡検査で広い範囲を俯瞰してスクリーニングする際には遠方観察が適しており、病変の詳細を観察したり、診断したりする際には、近接観察が適している。
この様な構成をとる事で、より多画素化した撮像素子を使用しても解像力を落とすことなく被写界深度を拡大する事が可能となる。更にフォーカシング機構があるので自在に観察範囲を切り替えて高画質の内視鏡観察や診断を行うことができる。
ここで、本実施形態の撮像ユニット19は、以下の条件
2.4≦Fno/Pix≦4.28 …(5)
を満たすように設定している。(5)式の条件は、以下のような理由による。
対物光学系16を構成するレンズは、結像する際、光が回折の影響を受けることが知られている。対物光学系16の有効FナンバーFnoが大きくなるほど、点像は回折の影響により大きくなり、この点像の大きさがある限界を越えるといくらピントを合わせても、被写体の細部がぼけたように見えてしまう。
この限界は、Rayleighにより、2つの点像が接近した時、別々の像として識別できる限界の距離として規定されており、λを光の波長、有効FナンバーをFnoとすると、1.22・λ・Fnoで表される。2つの点像の分離限界の距離、つまり分解能Rは、
R=1.22・λ・Fno …(6)
となる。
一方、撮像素子として、電荷結合素子(CCDと略記)やCMOSセンサで撮像する場合、サンプリング理論により限界分解能は決定される。撮像素子の垂直方向のピクセルサイズをPixとすると、
R=2・Pix …(7)
現実的には、採用する撮像方式における補間方法や電気系の特性に影響されるため、分解能Rは、任意の係数k1を用いて以下のように表される。
R=k1・Pix …(8)
係数k1は、撮像素子の性能を十分に引き出す必要があるため一般的には2≦k1≦3程度となる。
上記の(6)式、(8)式より
k1・Pix=1.22・λ・Fno …(9)
となる。また、対物光学系16に設定される有効FナンバーFnoは、製造バラツキなどを考慮して光学性能を十分に発揮できるようにある程度余裕を持たせる必要がある。
従って、Rayleigh限界式で規定される有効FナンバーFnoは、実際には任意のマージン係数k2を考慮して設定される。つまり、
kl・Pix=1.22・λ・Fno・k2 …(10)
のように設定される。尚、マージン係数k2は、対物光学系16のサイズや被写界深度とのバランスを考慮すると、0.6≦k2≦1程度が妥当な範囲となる。
ただし、多少の解像力劣化を許容して被写界深度の拡大を優先する場合は、k2≦1.2程度に設定しても構わない。
(9)式、(10)式より設定すべき対物光学系16の有効FナンバーFnoは、
Fno*k2=(1/1.22・λ)・Pix・k1 …(11)
となる。
ここで(11)式を有効FナンバーFnoと、ピクセルサイズPixの関係で示すと以下の(12)式で示せる。
Fno/Pix=(1/1.22・λ)・k1・k2 …(12)
高画素の撮像素子を用いた内視鏡システムにおいては、上述した(5)式の関係を満たすことが望ましい。
仮に(5)式の範囲の下限となる2.4を逸脱して小さくなると、対物光学系16の有効FナンバーFnoが小さくなりすぎて所望の被写界深度を得られない。もしくは、被写界深度は十分であるが、イメージャのPixサイズが大きく解像力が低くなる。または、多画素化して解像力は向上するがイメージャサイズが大きくなるため、対物光学系16が大型化して、内視鏡2の先端部6aに搭載した場合、外径が大きくなってしない(挿入性が低下するため)好ましくない。
また、反対に(5)式の範囲の上限を超えて大きくなると、対物光学系の有効FナンバーFnoが大きくなりすぎて所望の明るさが得られない。同時に回折限界を大き<越えてしまう、もしくは妥当な補間方式でないために解像力の劣化が生じてしまう。
本実施形態においては、上述した条件式を満たす撮像ユニット19の例を図7の表に示した。
図7においては、Fno/Pix、Pix、Fno、k1、k2、far1深度(遠方観察時における受光領域17aによる被写界深度)、far2深度(遠方観察時における受光領域17bによる被写界深度)、合成far深度(遠方観察時における合成画像の被写界深度)、near1深度(近接観察時における受光領域17aによる被写界深度)、near2深度(近接観察時における受光領域17bによる被写界深度)、合成near深度(近接観察時における合成画像の被写界深度(範囲))、near深度幅(合成near深度近点端から合成near深度遠点端までの深度幅)、撮像方式、総画素数(撮像素子の総画素数)の数値データを示している。また、BSTは、MTFが最大となる場合の物体距離としてのベスト距離を示している。
以下に図7の各実施例の概略を示す。
実施例1は、撮像ユニット19は補色系で同時式であり、この場合には係数k1を3程度とし、撮像素子17として100万画素で、1.7μmの画素(ピクセル)サイズを有する補色系の固体撮像素子を採用している。また、対物光学系16は解像力の劣化が生じないレベルまで絞って被写界深度を十分に確保している。つまり、対物光学系16の回折限界Fナンバーからのマージン係数k2をk2=0.95として(12)式より、
Fno/Pix=4.28 …(13)
となる。
実施例2は、面順次方式であり、係数k1は2程度を得ることができる。撮像素子17として84万画素で、ピクセルサイズが1.45μmのモノクロ撮像素子を適用している。回折限界Fナンバーに対して対物光学系は明るさを優先させた設定とし、対物光学系16の回折限界Fナンバーからのマージン係数k2をk2=0.8として、(12)式より、
Fno/Pix=2.4 …(14)
となり、実用上は十分な被写界深度が得られるようになっている。
実施例3は、撮像素子17として、84画素1.1μmピクセルの原色ベイヤ配列の同時式撮像素子を適用し、比較的、細径(微小ピクセルなので撮像サイズが小さい)で且つ高画素内視鏡の実施例(k1=2.5)である。回折限界Fナンバーに対して多少余裕マージンをみて実用上必要な被写界深度(k2=0.9)を保っている。すなわち、実用上の遠方被写界深度を保ち、近接観察フォーカスでは、最近接時に変倍内視鏡並みの解像力を有し、スクリーニング、診断共に両立させた内視鏡を実現している。
実施例4は、撮像素子17として150万画素1.34μmピクセルの原色ベイヤ配列の同時式撮像素子を適用し、補間方法の最適化で解像力の向上を実現したものである(k1=2.2)。回折限界Fナンバーに対して多少余裕マージンをみて実用上必要な被写界深度を保っている(k2=0.9)。実施例3と同様にスクリーニング、診断共に両立させた内視鏡を実現している。実施例3に対して遠方観察フォーカスに重点をおいてスクリーングをよりし易くした。反面、フォーカス間に深度ギャップが生じ、近接観察フォーカスでは深度幅は実施例3より狭くなっている。ただし、本願実施の効果により、従来変倍内視鏡のテレ端深度に比べほぼ倍以上の深度を保つ事が可能である。
実施例5は、撮像素子17として、84万画素、1.45μmピクセルの原色ベイヤ配列の同時式撮像素子を適用し、回折限界Fナンバーに対して対物光学系16は明るさを優先させたFナンバー設定としている(k2=0.6)。また、実使用上十分な被写界深度を得られる設定となっている。実使用上支障とならないレベルで少し解像力を落として深度に振る事でバランスを得た例である。
実施例6は、撮像素子17として、84万画素、0.9μmピクセルの原色ベイヤ配列の同時式撮像素子を使い、より細径(微小ピクセルなので撮像サイズが小さい)で且つ高画素内視鏡の実施例である。解像力の劣化が生じないレベルで、ほぼ回折限界Fナンバーまで絞って被写界深度を十分に確保した。また、近接観察モードでは最近接時に変倍内視鏡並みの解像力を有する。
ところで、本願の実施において原色ベイヤ配列の同時式撮像素子を使用した撮像方式を主とするならば(5)式は、
2.4≦Fno/Pix≦3.56 …(5)‘
としても構わない。
次に本実施形態において、2つの光学像を合成する場合の流れを図8のフローチャートに従って説明する。
ステップS1では、撮像素子17において取得された、ピントの異なる遠点像に係る画像と近点像に係る画像とが、画像補正処理部32において、遠近2画像の補正処理が行なわれる。すなわち、予め設定された補正パラメータに従って、2つの画像の各光学像における相対的な位置、角度及び倍率が略同一となるように2つの画像に対して補正を行い、補正後の画像を画像合成処理部33に出力する。なお、必要に応じて2画像の明るさや色の差異を補正してもよい。
ステップS2では、補正処理が行なわれた2つの画像が画像合成処理部33にて合成される。この際、遠近2画像の夫々対応する画素領域において、コントラスト値が夫々算出され、比較される。ステップS3で、比較されたコントラスト値に差があるか否か判断し、コントラストに差がある場合、ステップS5に進み、コントラスト値の高い領域を選択して合成される。ここで、比較するコントラスト値の差が小さい乃至はほぼ同じである場合には、遠近2画像のどちらを選択するか処理上の不安定要因となる。例えば、ノイズ等の信号の揺らぎがあると、合成画像に不連続領域が生じたり、本来は解像している被写体像がボケてしまうといった不具合を生じさせたりする。そこで、ステップS4に進み重み付けを行う。ステップS4では、コントラス比較を行なう画素領域において、2画像でコントラスト値がほぼ同一である場合には、重み付けを行い、次のステップS5で重み付けを行った画像の加算処理を行う事で、画像選択の不安定さを解消している。
2つの画像のコントラスト比をRとし,AおよびBを所定の任意定数とすると、画像の座標(i,j)における重み付け係数W(i,j)は以下のようになる.
W(i,j)=1 A<R …(15)
W(i,j)=0 R<B …(16)
W(i,j)=(R−B)/(A−B) B≦R≦A …(17)
図9に示すように、上記した(15)式では、コントラスト比がAより大きい場合、確実に2画像のどちらかが選択される状態であり、W=1なので遠点像のみ選択される。
また、(16)式では、コントラスト比がB未満で、確実に2画像のどちらかが選択される状態であり、W=0なので近点像のみ選択される。
(17)式では、遠近像のコントラスト比が略同じで、不安定な領域であるので、この領域では、重み付け係数Wが線形で掛かり、遠点像(Rf,Gf,Bf)と近点像(Rn,Gn,Bn)はある割合で加算処理される。この処理がないと合成画像が不連続になってしまう。
従って、2つの画像のRGB信号をそれぞれRf,Gf,BfおよびRn,Gn,Bnとすると,合成信号R’,G’,B’は以下のようになる。
G’=W(i,j)Gf(i,j)+(1−W(i,j))Gn(i,j)…(18)
R’=W(i,j)Rf(i,j)+(1−W(i,j))Rn(i,j)…(19)
B’=W(i,j)Bf(i,j)+(1−W(i,j))Bn(i,j)…(20)
この画像補正処理部32により補正された2つの画像に対して、画像合成処理部33は、合成した合成画像を生成し、画像表示装置5側に出力し、画像表示装置5は、合成画像を表示する。
このように、本実施形態によれば、近接観察及び遠方観察の何れにおいても、ノイズ等によって合成画像において不連続領域が発生したり、光学像がぼけたりすることを防止しながら、被写界深度を拡大させた画像を取得することができる。また、2つの画像は、同一の撮像素子により撮像されているので、撮像素子を複数備えるものに比して、製造コストを低減し、装置を大型化することなく被写界深度を拡大させた画像を取得することがで
また、上述した(5)式を満たすように設定することにより、所望とする被写界深度を得られ、かつ内視鏡2の先端部6aに搭載可能な小型のサイズにでき、また所望の明るさを確保できると共に、解像力の劣化を防止できる。
なお、上述した図2の偏光ビームスプリッタ18の場合には、1回、つまり奇数回の反射後に撮像素子17に光学像が結像されるため、何れか一方の画像が図10のような結像状態(鏡像)となり、プロセッサ装置4において鏡像を反転させて像方向を一致させる画像処理が施される。光学的な偶数回の反射による鏡像の補正は対物光学系の大型化やプリズムのコスト高となる虞があるので、奇数回の反射による鏡像の補正は、画像補正処理部32にて鏡像反転により行なうことが好ましい。
なお、撮像素子が、内視鏡長手方向に長尺な形状となっている場合には、表示装置のアスペクト比を考慮して合成画像を適宜回転させることが好ましい。
なお、本実施形態の如く、偏光ビームスプリッタ18を適用して偏光分離をする場合、分離する光の偏光状態が円偏光でないと分離した像の明るさに差が生じてしまう。すなわち、規則的な明るさの差異は画像処理での補正が比較的容易であるが、局所的に且つ観察条件で明るさの差異が生じた場合、補正しきれなくなり、合成画像に明るさムラが生じてしまう。被写体像が円偏光から崩れる条件は、例えば被写体を観察する角度によって決まる。この角度は、一般的にブリュースター角θbと称され、この角度を超えると被写体からの偏光状態が円偏光から崩れていく。
θb=Arctan(n2/n1) …(21)
内視鏡で観察する被写体は粘膜で覆われており、この粘膜の屈折率を略水と同じ(n2=1.333)とすると、θbは約53°となる。例えば、内視鏡の先端が図11に示すような構成で場合において、被写体を観察すると、以下のようになる。ブリュースター角θb=53°を当てはめてみると、比較的近接した条件で視野の比較的周辺部で、この角度を超えてしまう。つまり、合成画像の比較的視野周辺部で明るさムラが生じてしまう可能性がある。尚、この偏光状態が崩れた明るさムラは、被写体が比較的飽和気味の明るさ分布であると顕著に生じる。
視野の周辺部ではあるが、内視鏡では比較的近接して被写体像の血管走行や粘膜構造を見る事が多く、ユーザーにとって非常に煩わしい画像になる可能性が高い。
そこで、例えば、図12に示すように、この偏光状態が崩れた状態を円偏光に戻す様にλ/4板を、光路分割素子の偏光分離膜より物体側に配置することが好ましい。尚、偏光状態の解消効果を最も得られるように、図13に示すように、λ/4板をα又はβ方向に配置する事が望ましい。
すなわち、λ/4板の高速軸は、挿入部先端に複数の照明光学系が配置されている場合において、対物光学系の光軸と複数の照明光学系のうち対物光学系から最も遠い照明光学系の光軸とを含む平面に対して略平行又は垂直に配置するか、対物光学系の光軸と複数の照明光学系のうち照明光量が最も多い照明光学系の光軸とを含む平面に対して略平行又は垂直に配置する。
通常、内視鏡の照明窓は配光特性を考慮して複数配置されている。図11よりブリュースター角θbは照明窓と対物窓が離れれば、より大きくなることがわかる。つまり、λ/4板の高速軸の考慮は対物窓から離れた照明窓に対して、配置する方がより望ましい。また、前述の通り、明るさムラは飽和気味な条件でより顕著である事から、λ/4板は照明光量がより多い照明窓を対象に配置しても良い。
ところで、偏光解消のためのλ/4板や、前述の偏光分離のために光路分割素子に配されるλ/4板は、内視鏡先端部の小型化のために樹脂フィルムなどの薄い素子である事が望ましい。例えば、液晶モニタやタッチパネルなどに使用される位相差フィルムを用いる事で、内視鏡の小型化が期待できる。尚、この様なλ/4樹脂フィルムは前述の様に光路分割素子の直前に配置する必要はなく、偏光分離膜より物体側に配置されれば良く、例えば赤外カットフィルターなどの平面部に張り合わせても良い。
また、偏光ビームスプリッタ18の物体側から見て、入射面に対して45度をなす結晶軸を持つ結晶性フィルターを偏光ビームスプリッタ18の物体側に配置することによって、分離した2つの像の明るさの差をなくすようにしても良い。
1 内視鏡システム
2 内視鏡
3 光源装置
4 プロセッサ装置
5 画像表示装置
6 挿入部
16 対物光学系
17 撮像素子
17a,17b 受光領域
17c 補正画素領域
18 偏光ビームスプリッタ
18a 第1プリズム
18b 第2プリズム
18c ミラー
18d λ/4板
18e 偏光分離膜
19 撮像ユニット
30 画像処理部
32 画像補正処理部
33 画像合成処理部

Claims (10)

  1. 挿入部先端に設けられ、被写体像を取得する対物光学系と、
    前記被写体像をピントの異なる2つの光学像に分割する光路分割手段と、
    前記ピントの異なる2つの光学像を同時に撮像して2つの画像を取得する撮像素子と、
    該撮像素子により取得した2つの前記画像を、互いのピント以外の差異が略同一となるように補正する画像補正手段と、
    該画像補正手段により補正された2つの前記画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成する画像合成処理部と、
    を備え、
    前記光路分割手段が偏光ビームスプリッタであり、
    該偏光ビームスプリッタの入射面に対して45度をなす結晶軸を持つ結晶性フィルタを、前記偏光ビームスプリッタの物体に配置した内視鏡システム。
  2. 画像合成処理部が、2つの前記画像間の対応する所定領域において、各所定領域のコントラストが略同一である場合に、各所定領域に対して重み付けして合成画像を生成する請求項1記載の内視鏡システム。
  3. 前記画像補正手段が、2つの前記光学像の位置、角度及び倍率が略同一となるように前記画像を補正する請求項1又は請求項2に記載の内視鏡システム。
  4. 前記画像補正手段が、2つの前記光学像の明るさ、色が略同一となるように前記画像を補正する請求項1乃至請求項3の何れか1項に記載の内視鏡システム。
  5. 前記光路分割手段が、分割した一方の光学像を前記撮像素子に鏡像反転して結像させる場合、前記画像補正手段が、2つの前記画像のうち何れか一方を鏡像反転させる請求項1乃至請求項4の何れか1項に記載の内視鏡システム。
  6. 前記対物光学系と前記撮像素子が、前記対物光学系の有効FナンバーをFno、前記撮像素子の垂直方向ピクセルサイズをPixと表した場合に、以下の条件
    2.4≦Fno/Pix≦4.28
    を満たす請求項1乃至請求項5の何れか1項に記載の内視鏡システム。
  7. 前記結晶性フィルタが、λ/4板であり、
    該λ/4板の高速軸が、前記挿入部先端に配置される照明光学系の光軸と前記対物光学系の光軸とを含む平面に対して、略平行又は垂直に配置されている請求項1乃至請求項6の何れか1項に記載の内視鏡システム。
  8. 前記挿入部先端に複数の照明光学系が配置され、前記対物光学系の光軸と複数の前記照明光学系のうち前記対物光学系から最も遠い照明光学系の光軸とを含む平面に対して、前記λ/4板の高速軸が略平行又は垂直に配置されている請求項7記載の内視鏡システム。
  9. 前記挿入部先端に複数の照明光学系が配置され、前記対物光学系の光軸と複数の前記照明光学系のうち照明光量が最も多い照明光学系の光軸とを含む平面に対して、前記λ/4板の高速軸が略平行又は垂直に配置されている請求項7記載の内視鏡システム。
  10. 前記λ/4板が、高分子フィルムである請求項7乃至請求項9の何れか1項に記載の内視鏡システム。
JP2013556091A 2012-06-28 2013-06-10 内視鏡システム Active JP5593004B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013556091A JP5593004B2 (ja) 2012-06-28 2013-06-10 内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012145198 2012-06-28
JP2012145198 2012-06-28
PCT/JP2013/065924 WO2014002740A1 (ja) 2012-06-28 2013-06-10 内視鏡システム
JP2013556091A JP5593004B2 (ja) 2012-06-28 2013-06-10 内視鏡システム

Publications (2)

Publication Number Publication Date
JP5593004B2 true JP5593004B2 (ja) 2014-09-17
JPWO2014002740A1 JPWO2014002740A1 (ja) 2016-05-30

Family

ID=49782905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013556091A Active JP5593004B2 (ja) 2012-06-28 2013-06-10 内視鏡システム

Country Status (5)

Country Link
US (1) US9030543B2 (ja)
EP (1) EP2868254B1 (ja)
JP (1) JP5593004B2 (ja)
CN (1) CN104219990B (ja)
WO (1) WO2014002740A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132639A1 (ja) * 2015-02-17 2016-08-25 オリンパス株式会社 内視鏡システム
WO2020089967A1 (ja) * 2018-10-29 2020-05-07 オリンパス株式会社 内視鏡
US11470283B2 (en) 2018-06-27 2022-10-11 Olympus Corporation Image generation apparatus, image display apparatus, and image display method
US11782325B1 (en) 2022-09-06 2023-10-10 Olympus Medical Systems Corp. Image processing apparatus, image processing method, and recording medium
US11808935B2 (en) 2021-10-12 2023-11-07 Olympus Corporation Endoscope and endoscope apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891448A4 (en) * 2012-08-30 2016-04-20 Olympus Corp ENDOSCOPE
JP6023919B2 (ja) * 2014-09-18 2016-11-09 オリンパス株式会社 内視鏡システム
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
WO2017183371A1 (ja) * 2016-04-21 2017-10-26 オリンパス株式会社 内視鏡システム
JP2017209154A (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡システム
US11307430B2 (en) 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10324300B2 (en) 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
US11163169B2 (en) 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
JP6513307B2 (ja) * 2017-03-24 2019-05-15 オリンパス株式会社 内視鏡システム
JP6498364B2 (ja) * 2017-04-03 2019-04-10 オリンパス株式会社 内視鏡システム及び内視鏡システムの調整方法
JP6463573B1 (ja) * 2017-06-07 2019-02-06 オリンパス株式会社 内視鏡撮像システム
JP7105303B2 (ja) * 2018-06-08 2022-07-22 オリンパス株式会社 内視鏡
JP7065203B2 (ja) * 2018-11-06 2022-05-11 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
US11333829B2 (en) 2019-11-22 2022-05-17 Karl Storz Imaging, Inc. Medical imaging device with split image on common image sensor
US11602267B2 (en) * 2020-08-28 2023-03-14 Karl Storz Imaging, Inc. Endoscopic system incorporating multiple image sensors for increased resolution
WO2022044897A1 (ja) * 2020-08-31 2022-03-03 ソニーグループ株式会社 医療撮像システム、医療撮像装置、および動作方法
WO2022194497A1 (en) * 2021-03-15 2022-09-22 Sony Group Corporation An imaging system, method and computer program product for an imaging device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59164022A (ja) 1983-03-09 1984-09-17 佐内 淑香 飲物、食物用加熱器の管理方法及び同方法の実施に用いる飲物、食物用加熱器
US4676593A (en) 1983-04-18 1987-06-30 Asahi Kogaku Kogyo Kabushiki Kaisha Eyepiece and photographing device for fiberscope
US5976071A (en) * 1994-11-29 1999-11-02 Asahi Kogaku Kogyo Kabushiki Kaisha Stereoscopic endoscope
JP4354096B2 (ja) * 2000-06-19 2009-10-28 オリンパス株式会社 撮像装置
JP4226235B2 (ja) * 2001-09-04 2009-02-18 日本放送協会 撮像装置
JP4142402B2 (ja) * 2002-11-05 2008-09-03 Hoya株式会社 共焦点内視鏡
US7252634B2 (en) * 2002-11-05 2007-08-07 Pentax Corporation Confocal probe having scanning mirrors mounted to a transparent substrate in an optical path of the probe
JP2004313523A (ja) 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
EP1984785B1 (en) * 2006-02-13 2014-05-07 3M Innovative Properties Company Monocular three-dimensional imaging
US7372642B2 (en) * 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
JP5139840B2 (ja) * 2008-02-27 2013-02-06 京セラ株式会社 撮像装置、画像生成方法、および電子機器
JP2010082040A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 内視鏡システム
JP5358368B2 (ja) * 2009-09-18 2013-12-04 富士フイルム株式会社 内視鏡システム
JP5504881B2 (ja) * 2009-12-25 2014-05-28 ソニー株式会社 演算装置、演算方法、演算プログラム及び顕微鏡
JP5856733B2 (ja) * 2010-11-02 2016-02-10 オリンパス株式会社 撮像装置
US8734328B2 (en) * 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8684914B2 (en) * 2011-08-12 2014-04-01 Intuitive Surgical Operations, Inc. Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
CN103597405B (zh) * 2011-08-24 2016-09-28 奥林巴斯株式会社 摄像装置和摄像装置系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132639A1 (ja) * 2015-02-17 2016-08-25 オリンパス株式会社 内視鏡システム
JP6006464B1 (ja) * 2015-02-17 2016-10-12 オリンパス株式会社 内視鏡システム
US9949622B2 (en) 2015-02-17 2018-04-24 Olympus Corporation Endoscope system for generating a composite image from optical images of different focus
US11470283B2 (en) 2018-06-27 2022-10-11 Olympus Corporation Image generation apparatus, image display apparatus, and image display method
WO2020089967A1 (ja) * 2018-10-29 2020-05-07 オリンパス株式会社 内視鏡
JPWO2020089967A1 (ja) * 2018-10-29 2021-09-30 オリンパス株式会社 内視鏡
JP7079856B2 (ja) 2018-10-29 2022-06-02 オリンパス株式会社 内視鏡
US11733505B2 (en) 2018-10-29 2023-08-22 Olympus Corporation Endoscope
US11808935B2 (en) 2021-10-12 2023-11-07 Olympus Corporation Endoscope and endoscope apparatus
US11782325B1 (en) 2022-09-06 2023-10-10 Olympus Medical Systems Corp. Image processing apparatus, image processing method, and recording medium

Also Published As

Publication number Publication date
EP2868254A1 (en) 2015-05-06
CN104219990A (zh) 2014-12-17
CN104219990B (zh) 2016-12-14
EP2868254A4 (en) 2016-03-09
JPWO2014002740A1 (ja) 2016-05-30
US9030543B2 (en) 2015-05-12
EP2868254B1 (en) 2018-04-04
WO2014002740A1 (ja) 2014-01-03
US20140176692A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
JP5593004B2 (ja) 内視鏡システム
JP5315482B1 (ja) 内視鏡システム
JP6006464B1 (ja) 内視鏡システム
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
US20110292258A1 (en) Two sensor imaging systems
JP6023919B2 (ja) 内視鏡システム
US10192296B2 (en) Image pickup apparatus, camera system, and image processing apparatus that restore an image with a filter corresponding to an image pickup plane position
US11857158B2 (en) Optical system, endoscope apparatus and endoscope
CN110461203B (zh) 内窥镜系统
WO2017183371A1 (ja) 内視鏡システム
JP6121058B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JPWO2017073292A1 (ja) 内視鏡撮像ユニット
JPWO2018225377A1 (ja) 内視鏡撮像システム
JP2017209154A (ja) 内視鏡システム
JP6363818B1 (ja) 内視鏡システム
JP6639208B2 (ja) 撮像装置及びその制御方法
WO2023047458A1 (ja) 対物光学系、撮像ユニット、内視鏡及び内視鏡装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140801

R150 Certificate of patent or registration of utility model

Ref document number: 5593004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250