JPWO2018051680A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JPWO2018051680A1
JPWO2018051680A1 JP2018539569A JP2018539569A JPWO2018051680A1 JP WO2018051680 A1 JPWO2018051680 A1 JP WO2018051680A1 JP 2018539569 A JP2018539569 A JP 2018539569A JP 2018539569 A JP2018539569 A JP 2018539569A JP WO2018051680 A1 JPWO2018051680 A1 JP WO2018051680A1
Authority
JP
Japan
Prior art keywords
subject
image
spot
marker
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018539569A
Other languages
English (en)
Other versions
JP6692440B2 (ja
Inventor
岳一 龍田
岳一 龍田
慎一郎 園田
慎一郎 園田
一誠 鈴木
一誠 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018051680A1 publication Critical patent/JPWO2018051680A1/ja
Application granted granted Critical
Publication of JP6692440B2 publication Critical patent/JP6692440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

被写体の大きさを容易に計測できる内視鏡システムを提供することを目的とする。本発明の一の態様に係る内視鏡システムでは、被検体の特定領域の実サイズを示す指標図形が被写体の画像とともに表示されるので、ユーザは特定領域とマーカとを比較することにより容易に特定領域を計測することができる。スポット位置に応じて指標図形の大きさを設定するので、距離測定の必要がなく、装置構成が簡単で迅速かつ容易に計測を行うことができる。なお、「実サイズ」の具体的な値は被検体の種類及び計測の目的等の条件に応じて設定することができる。また、被検体が生体である場合は病変部を特定領域とすることができる。

Description

本発明は内視鏡システムに係り、特に計測補助光を用いて被検体の大きさを計測する内視鏡システムに関する。
内視鏡の分野では、被検体までの距離を計測したり、被検体の長さや大きさを算出したりすることが行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像と共に目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。
また特許文献2には、計測補助光を用いて被写体距離を求める技術が記載されている。特許文献2では、光ファイバーからレーザビームを照射して照射面を観察する。そして、光ファイバーから照射面までの距離によってレーザビームの照射点が視野の中心に近づいたり離れたりすることを利用し、ズレ量をあらかじめ校正しておくことで、ズレ量から被写体距離を知ることができる。
特開2008−122759号公報 特開平8−285541号公報
しかしながら上述の特許文献1では、ステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなってしまうため、被検体への負担が大きかった。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、処理が複雑であった。また、特許文献2に記載の技術は距離計測を行うためのものであり、処理が複雑な上に被写体の長さや大きさを直接的に求めることは困難であった。
このように、従来の技術は被写体の大きさ(長さ)を容易に計測できるものではなかった。
本発明はこのような事情に鑑みてなされたもので、被写体の大きさを容易に計測できる内視鏡システムを提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る内視鏡システムは、被検体の画像を取得する内視鏡を含む内視鏡システムであって、被写体に計測補助光を照射する補助光照射部と、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、取得した被写体の画像を表示する表示装置と、撮像部が被写体の画像を取得するのに応じて、被写体における特定領域の実サイズを示す指標図形であって、撮像素子におけるスポットの位置に応じて設定した大きさの指標図形を被写体の画像と共に表示装置に表示させるプロセッサと、を備える。第1の態様によれば、被検体の特定領域の実サイズを示す指標図形(マーカ)が被写体の画像と共に表示されるので、ユーザは特定領域とマーカとを比較することにより容易に特定領域を計測することができる。なお、「実サイズ」の具体的な値は被検体の種類及び計測の目的等の条件に応じて設定することができる。また、被検体が生体である場合は病変部等を特定領域(関心領域)とすることができる。
第1の態様では、スポット位置に応じて指標図形の大きさを設定するので、上述した特許文献1,2のように距離測定の必要がなく、装置構成が簡単で迅速かつ容易に計測を行うことができる。なお、第1の態様において指標図形の大きさ設定はリアルタイムで行うことが好ましいが、観察及び計測においてリアルタイム性の要求が高くない場合は必ずしもリアルタイムに行わなくてよい。
第1の態様では、指標図形の大きさは「スポット位置と被写体の実サイズとの関係を示す情報」をあらかじめ記憶しておき、計測したスポット位置に応じてこの情報を参照して設定することができる。また第1の態様において、計測補助光としてレーザ光、LED光等を用いることができる。計測補助光は、コリメータにより平行化された光であってもよい。
第2の態様に係る内視鏡システムは第1の態様において、プロセッサは、撮像光学系の歪曲収差に応じて歪曲させた指標図形を表示させる。内視鏡は一般的に観察画角が広く、特に画角の周辺部では大きな歪曲補正を持つことが多いため、第2の態様では、指標図形を表示装置(画面)に表示する際に撮像光学系の歪曲収差の影響を補正する。歪曲収差のデータは撮像光学系の設計値を用いてもよいし、別途測定してもよい。
第3の態様に係る内視鏡システムは第1の態様において、プロセッサは、撮像光学系の歪曲収差に応じて補正した被写体の画像と共に指標図形を表示させる。第3の態様によれば、撮像光学系の歪曲収差に応じて被写体の画像が補正されるので、被写体の形状等が正確に表示され高精度に計測を行うことができる。
第4の態様に係る内視鏡システムは第1から第3の態様のいずれか1つにおいて、プロセッサは、指標図形の中心をスポットの中心と一致させて、被写体の画像及び指標図形を表示させる。第4の態様によれば、指標図形の中心をスポットの中心と一致させているので、スポット位置と指標図形の大きさを正確に対応させることができ、高精度に計測を行うことができる。
第5の態様に係る内視鏡システムは第1から第3の態様のいずれか1つにおいて、プロセッサは、指標図形の中心をスポットの中心から離して、被写体の画像及び指標図形を表示させる。第5の態様は、観察対象が内視鏡に対して正対している場合(斜めになっていない場合)に有効である。
第6の態様に係る内視鏡システムは第1から第5の態様のいずれか1つにおいて、実サイズの単一の値に対応する大きさの指標図形を表示させる。第6の態様では、実サイズの単一の値に対応する大きさの指標図形、即ち一つの指標図形が表示される。
第7の態様に係る内視鏡システムは第1から第6の態様のいずれか1つにおいて、プロセッサは、実サイズの複数の値から選択された値に対応する大きさの指標図形を表示させる。第7の態様によれば、被写体の種類や観察目的に応じて所望の大きさの指標図形を表示できる。
第8の態様に係る内視鏡システムは第7の態様において、複数の値に対するユーザの選択操作を受け付ける選択部を備え、プロセッサは、複数の値のうちから選択操作に基づいて選択した値に対応する大きさの指標図形を一または複数表示させる。第8の態様によれば、ユーザは被写体の種類や観察目的に応じて所望の数及び大きさの指標図形を表示できる。
第9の態様に係る内視鏡システムは第1から第5の態様のいずれか1つにおいて、プロセッサは、実サイズの複数の値の組合せに対応する大きさの指標図形を表示させる。第9の態様によれば、被写体の種類や観察目的に応じて所望の大きさの組合せで指標図形を表示できる。
第10の態様に係る内視鏡システムは第9の態様において、複数の値の組合せに対するユーザの選択操作を受け付ける選択部を備え、プロセッサは、選択操作に基づいて選択した組合せに対応する大きさの指標図形を表示させる。第10の態様によれば、ユーザは被写体の種類や観察目的に応じて所望の組合せの指標図形を表示させることができる。
第11の態様に係る内視鏡システムは第1から第10の態様のいずれか1つにおいて、プロセッサは実サイズの値に対応して色が異なる指標図形を表示させる。第11の態様によれば、異なる指標図形を色の違いにより迅速かつ容易に視認することができる。
第12の態様に係る内視鏡システムは第1から第11の態様のいずれか1つにおいて、補助光照射部は、光軸が撮像光学系の光軸と0度でない角度をなす計測補助光を計測補助光として照射し、撮像部及び補助光照射部と被写体との距離を撮像光学系の光軸の方向に変化させた場合に、距離が内視鏡の測長距離範囲の最遠距離であるときのスポットの撮像素子における位置が、距離が測長距離範囲の至近距離であるときのスポットの撮像素子における位置に対して、撮像素子における撮像光学系の光軸の位置を挟んで反対側である。
上述した特許文献2のように計測補助光の光軸が撮像光学系の光軸と成す角度が0度(計測補助光の光軸が撮像光学系の光軸とが平行)だと、撮像素子上のスポットの位置は観察距離が遠くなるにつれて撮像素子の中心(撮像素子の光軸の位置)に近づいていくだけであり、撮像素子上のスポットの位置が最遠距離の場合と至近距離の場合とで撮像光学系の光軸の位置を挟んで反対側になることはない。これに対し第12の態様によれば、計測補助光の光軸が撮像光学系の光軸と0度でない角度を成すので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光が撮像光学系の視野に入るようにすることができ、また、観察距離の変化に対するスポットの位置変化の感度が高くなるため高精度に計測することができる。なお、計測補助光の光軸が撮像光学系の光軸と成す角度は、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した状態で規定することができる。
なお、第12の態様において「測長距離範囲」とは測長が可能な観察距離の範囲を意味するものとする。また、第12の態様において計測補助光はコリメータにより平行化された光であることが好ましい。
以上説明したように、本発明の内視鏡システムによれば、被写体の大きさを容易に計測することができる。
図1は、本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図である。 図2は、本発明の第1の実施形態に係る内視鏡システムの構成を示すブロック図である。 図3は、先端硬質部の先端側端面の構成を示す図である。 図4は、先端硬質部の先端側端面の構成を示す他の図である。 図5は、レーザモジュールの構成を示す図である。 図6は、レーザ光源モジュールの構成を示す断面図である。 図7は、撮像光学系の光軸と計測補助光の光軸との関係を示す図である。 図8は、撮像光学系の光軸と計測補助光の光軸との関係を示す他の図である。 図9は、撮像光学系の光軸と計測補助光の光軸との関係を示す他の図である。 図10は、内視鏡の挿入部を被検体内に挿入した様子を示す図である。 図11は、計測手順を示すフローチャートである。 図12は、計測補助光の光軸が撮像光学系の撮像画角を横切る様子を示す図である。 図13は、撮影距離によりスポット位置が変化する様子を示す図である。 図14は、撮影距離によりスポット位置が変化する様子を示す他の図である。 図15は、波長とカラーフィルタの感度との関係を示す図である。 図16は、マーカ表示条件設定画面の例を示す図である。 図17は、マーカ数表示条件設定画面の例を示す図である。 図18は、マーカの形状を設定する画面の例を示す図である。 図19は、マーカの大きさを設定する画面の例を示す図である。 図20は、マーカの色を設定する画面の例を示す図である。 図21は、腫瘍に形成されたスポット、及びスポットを中心として十字型のマーカを表示した様子を示す図である。 図22は、マーカの大きさを説明するための図である。 図23は、マーカの中心をスポットの中心から離して表示した様子を示す図である。 図24は、撮像光学系の歪曲収差に応じてマーカを歪曲させて表示した様子を示す図である。 図25は、大きさが異なる3つの同心円状マーカを表示した様子を示す図である。 図26は、大きさが異なる3つの同心円状マーカを、それぞれ異なる色で表示した様子を示す図である。 図27は、撮像光学系の歪曲収差に応じて同心円状マーカを歪曲させて表示した様子を示す図である。 図28は、マーカの大きさの組合せを選択する様子を示す図である。 図29は、マーカのタイプを示す小画像を選択することで表示条件を設定する様子を示す図である。 図30は、マーカ表示条件に対する警告メッセージの例を示す図である。 図31は、スポット位置とマーカの大きさとの関係を測定する様子を示す図である。 図32は、スポット位置とマーカの大きさとの関係を測定する様子を示す他の図である。 図33は、スポットのX方向ピクセル位置とマーカのX軸方向のピクセル数との関係を示す図である。 図34は、スポットのY方向ピクセル位置とマーカのX軸方向のピクセル数との関係を示す図である。 図35は、スポットのX方向ピクセル位置とマーカのY軸方向のピクセル数との関係を示す図である。 図36は、スポットのY方向ピクセル位置とマーカのY軸方向のピクセル数との関係を示す図である。
以下、添付図面を参照しつつ、本発明に係る内視鏡システムの実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(内視鏡システム)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110、内視鏡プロセッサ200(プロセッサ)、光源装置300、及びモニタ400(表示装置、選択部)から構成される内視鏡装置100を含んでいる。
<内視鏡本体の構成>
内視鏡本体110は、手元操作部102と、この手元操作部102に連設される挿入部104とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112、湾曲部114、先端硬質部116で構成されている。先端硬質部116には、撮像光学系130(撮像光学系、撮像部)、照明部123、鉗子口126、レーザモジュール500(補助光照射部)等が設けられる(図1〜3参照)。
観察や処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、操作部208の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1〜3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されており、この撮像レンズ132の奥にCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子134(撮像素子、撮像部)、駆動回路136、AFE(Analog Front End)138が配設されて、画像信号を出力するようになっている。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、GストライプR/B完全市松、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状(2次元状)に配置された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
なお第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被検体(病変部等の特定領域)の画像やスポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(結像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ200に出力されて映像信号に変換される。これにより、内視鏡プロセッサ200に接続されたモニタ400に観察画像、スポットの撮影画像、及びマーカの画像等(図23〜29参照)が表示される。なおモニタ400(表示装置、選択部)はユーザの操作を受け付けるタッチパネル(選択部;不図示)を備え、ユーザはこのタッチパネルを介して観察モード切換やマーカ表示条件設定等の操作(後述)を行うことができる。
また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506が設けられて、プリズム512を介してスポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお第1の実施形態では、図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、本発明に係る内視鏡システムでは、図4に示すように、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。この場合、レーザヘッド506専用の管路を設ける必要がなく、鉗子口126に連通する管路を他の処置具と共用することができる。
<レーザモジュールの構成>
図2及び図5に示すように、レーザモジュール500(補助光照射部)はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール(ferrule)508に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRIN(Graded Index)レンズ510が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
レーザヘッド506において、フェルール508は例えば直径が0.8mm〜1.25mmのものを用いることができる。なお小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm〜1.5mmにすることができる。
このように構成されたレーザモジュール500は挿入部104に装着される。具体的には図2に示すように、レーザ光源モジュール502は手元操作部102(スコープ)の部分に配置され、電気回路基板部に実装される。一方、レーザヘッド506が先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なおレーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光するようにしてもよい。
レーザ光源モジュール502は、図示せぬ電源から電力が供給されて可視波長域のレーザ光を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である(図6参照)。レーザ光は内視鏡プロセッサ200(CPU210)の制御により必要に応じて出射することができ、スポット光の照射による計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。レーザ光源モジュール502は、内視鏡プロセッサ200からの電気信号に応じて点灯、消灯、及び光強度が制御される。
第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504によりGRINレンズ510まで導光される。光ファイバー504はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体の大きさを正確に計測することができる。光ファイバー504の途中に中継コネクタを設けてもよい。なお、被写体の種類や大きさ等の観察条件によってスポット径の大きさや鮮明さが計測上問題とならない場合は、光ファイバー504として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振閾値以下のLED発光状態で使用してもよい。
GRINレンズ510は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ(ラジアル型)であり、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。GRINレンズ510から出射される光束の広がりはGRINレンズ510の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
GRINレンズ510の先端側にはプリズム512が装着されている。このプリズム512は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角(角度)を有し、計測補助光が撮像光学系の画角を横切る。プリズム512はGRINレンズ510のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角AL1を有する。
<撮像光学系の光軸と計測補助光の光軸の関係>
図7は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図7のように光軸L2が光軸L1上を通るように見える。なお、図8は図4の構成に対応する図である。図4及び図8に示す態様においても、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。これらの態様によれば、撮像光学系の光軸L2と計測補助光の光軸L1とが同一平面上に存在し観察距離変化に伴うマーカの軌跡が画面の中心を通るため、画面中心付近にマーカが存在する領域が広くなり計測精度が向上する。
なお、本発明における計測補助光の光軸L1と撮像光学系の光軸L2との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではく、図9に示す光軸L1A,L1Bのように撮像光学系の光軸L2と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切るものとする。
上述した特許文献2のように計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)である場合、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その場合至近距離ではスポットが撮影できず計測が困難である。また計測補助光の光軸が撮像光学系の光軸と平行である場合、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第1の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る」という構成によれば、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<内視鏡プロセッサの構成>
次に、図2に基づき内視鏡プロセッサ200の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400に観察画像が表示される。これらの処理はCPU(Central Processing Unit;中央処理装置)210の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定や、測定した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるスポットの位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、テーブル形式で記憶してもよい。
また、内視鏡プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチや送水指示ボタン等を備えており、また可視光及び/または赤外光の照射を操作することができる。操作部208はさらにユーザの操作を受け付けるキーボード及びマウス(選択部;不図示)を備えており、ユーザはこれらのデバイスにより観察モードの切替やマーカの表示条件設定等の操作を行うことができる。
<内視鏡装置による観察>
図10は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図10では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
<計測処理の流れ>
次に、内視鏡システム10を用いた被検体の計測について説明する。図11は計測処理を示すフローチャートである。
まず、内視鏡装置100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時に内視鏡プロセッサ200が自動的に行ってもよいし、ユーザによる操作部208及び/またはモニタ400のタッチパネルの操作に応じて行ってもよい。
内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類や観察の目的に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体(病変部等の特定領域)を撮像できるようにする。
次に、通常観察モードから計測モードに移行するか否かを判断する(ステップS14)。この判断は操作部208及び/またはモニタ400のタッチパネルを介したユーザ操作の有無に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、内視鏡プロセッサ200が一定のフレーム間隔(1フレーム毎、2フレーム毎等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップS16へ進んで計測モードに切り替える。
計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、ステップS16においてスポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ、レーザヘッド506から計測補助光を照射する。このような制御は、内視鏡プロセッサ200及び光源制御部350により行うことができる。
<マーカ表示条件の設定>
ステップS18では、マーカ(指標図形)の表示条件を設定する。この設定は操作部208及び/またはモニタ400のタッチパネルを介したユーザ操作により内視鏡プロセッサ200が行うことができ、これによりユーザは所望の態様でマーカを表示させて被写体の大きさを容易に計測することができる。表示条件設定操作の詳細は後述する(図16〜図30を参照)。なお図11のフローチャートではステップS16での計測モード設定後にマーカ表示条件を設定しているが、表示条件の設定はシステム起動時等他のタイミングで行ってもよい。また、表示条件は必要に応じて変更することができる(ステップS28参照)。
ステップS20では、計測補助光によりスポットが形成された被写体(病変部等の特定領域)の画像を撮像する。観察距離が計測範囲内である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)スポットの位置が異なり、表示すべきマーカの大きさ(ピクセル数)がスポットの位置に応じて異なる。
<観察距離に応じたスポット位置の変化>
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図12(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1(測長距離範囲)において観察可能であるとすると、範囲R1の近端P1(至近距離)、中央付近の点P2、及び遠端P3(最遠距離)では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図12において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行うようにしている。
図13は図7と同様に先端硬質部116を正面から見た状態を示す図であり、撮像光学系130の光軸L1、計測補助光の光軸L2、及び撮像素子134の撮像範囲R2の関係を仮想的に示した図である。図13は光軸L1,L2が同一平面上に存在し、その平面上で交差する場合を示している。図13の例では、観察距離に応じた位置に形成されたスポットP4,P5,P6(観察距離がそれぞれ近端付近、中央付近、遠端付近の場合に対応)を示している。なお、レーザヘッド506が鉗子口126に設けられている場合(図8参照)は、図14に示すように撮像範囲R3においてスポットP7,P8,P9(観察距離がそれぞれ近端付近、中央付近、遠端付近の場合に対応)のようになる。
図13,14に示すように、観察距離が近端(至近距離)付近の場合のスポット位置と遠端(最遠距離)付近の場合のスポット位置とは、撮像光学系130の光軸L1を挟んで反対側に位置することが分かる。
このような第1の実施形態におけるスポット位置の変化に対し、上述した特許文献2のような従来の技術では、計測補助光の光軸が撮像光学系の光軸と平行なので、観察距離の変化によるスポット位置の移動が小さい。具体的には、観察距離が短いときはスポットが撮像画像の中心(撮像素子の中心)から離れた位置に存在し、観察距離が長くなるにつれて撮像画像の中心(撮像素子の中心)に近づいていくが、観察距離の近端と遠端とでスポット位置が撮像光学系の光軸の反対側に位置することはない。このような従来の技術に対し、第1の実施形態では上述のように観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。
このように、撮像画像内(撮像素子134上)のスポット位置は撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係を示す情報をあらかじめ記憶しておき、スポット位置に応じてこの情報を取得することで、マーカの大きさを算出することができる。なお、算出の際に観察距離そのものを測定する必要はない。
図11のフローチャートに戻り、撮像素子134の撮像面におけるスポットの位置計測(ステップS22)について説明する。ステップS22におけるスポットの位置計測は、赤(R)色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図15の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度に閾値を設けて二値化し、白部分(信号強度が閾値より高い画素)の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号に閾値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値が閾値以下の画素のみを抽出することが好ましい。
なお上述した手法はスポット位置計測の一例であり、画像認識及びスポット認識についての他の公知の手法を採用してもよい。
なお計測モードでは、上述のようにスポットの画像取得(ステップS20)及び位置計測(ステップS22)に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて、レーザヘッド506から計測補助光を照射する。スポットを撮像する際の照明光の照度が高すぎると、得られた画像においてスポットとそれ以外の部分とのコントラストが小さくなってスポットの認識ができず、計測ができなくなる場合があるが、このように必要に応じて照明光を消灯または減光することによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。なお照明光は必ずしも減光または消灯する必要はなく、スポットの認識に影響がない場合は照度はそのままでよい。
ステップS24では、被写体の実寸サイズを示すマーカを生成する。上述のように、マーカの大きさは画像内の(即ち、撮像素子の撮像面上の)スポットの位置に応じて異なるので、スポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してその関係を示す情報をメモリ212に記憶しておき、内視鏡プロセッサ200がステップS22で計測したスポット位置に応じてメモリ212から情報を取得し、取得した情報に基づいてマーカの大きさを求める。ステップS20で撮像を行うごとにステップS22,S24の処理を行うことにより、撮像素子134におけるスポットの位置に応じてマーカの大きさを設定することができる。なお、マーカの大きさはリアルタイムで設定することが好ましいが、計測のリアルタイム性への要求が高くない場合は、マーカの大きさはリアルタイム(ステップS20で撮像を行う毎)でなくある程度のフレーム間隔毎に求めてもよい(その結果、撮像とマーカの大きさ算出に若干の遅延があってもよい)し、ユーザの指定があった場合に求めてもよい。また、計測がリアルタイムでなくてよい場合は、必要な撮像及び画像の記録を行ってその後別途(オフライン等)マーカの生成及び表示を行ってもよい。
スポット位置とマーカの大きさとの関係を求める手順、及びマーカの表示条件を設定する操作については、詳細を後述する。
ステップS26では、観察画像及びマーカをモニタ400に表示する。第1の実施形態に係る内視鏡システム10では、表示されたマーカにより特定領域の大きさを容易に計測することができる。マーカの表示条件設定及び設定した条件に基づく表示については、詳細を後述する(図16〜図30を参照)。
ステップS28ではマーカの表示条件を変更するか否かを判断する。この判断は操作部208及び/またはモニタ400を介したユーザ操作に基づいて行うことができ、判断が肯定されるとステップS18に戻って表示条件を再度設定し、判断が肯定されるとステップS30に進んで計測モードを終了するか否かを判断する。ステップS30での判断は操作部208及び/またはモニタ400を介したユーザ操作に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28までの処理を繰り返す。ステップS30の判断が肯定されると、計測補助光を消灯すると共に照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
<マーカ表示条件の設定>
次に、上述したマーカ表示条件設定(図11のステップS18)及び設定した条件による表示の態様について詳細に説明する。図16はマーカ表示条件を設定するための初期画面の例を示す図である。図16では、表示条件の各項目について条件名(領域C01〜C08)、設定条件の内容(数値等;領域V01〜V08)、及び条件設定用のボタン(A01〜A08)が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は条件変更のクリア(初期値に戻す)用のボタンである。図16〜図30の画面はモニタ400に表示され、モニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。
領域C01,V01は表示するマーカの数を示しており、ボタンA01を介した選択操作により1または複数のマーカを表示させることができる。領域C02,V02はマーカの形状を示しており、ボタンA02を介した操作により、十字、目盛付き十字、点、円、円及び十字等のマーカを表示させることができる。領域C03,V03はマーカの大きさ(実サイズ)を示しており、ボタンA03を介した操作により具体的な数値(例えば5mm)を選択することができる。領域C04,V04はマーカの色を示しており、ボタンA04を介した選択操作により白、黒、赤、青等の色を選択することができる。領域C05,V05はマーカの大きさの具体的な値(例えば5mm)をマーカと合わせて表示するか否かを示しており、ボタンA05を介した操作により表示するか否か(ONまたはOFF)を選択することができる。領域C06,V06は撮像光学系130の歪曲収差に合わせてマーカを歪曲表示するか否かを示しており、ボタンA06を介した選択操作により歪曲表示するか否か(ONまたはOFF)を選択することができる。領域C07,V07はマーカの中心をスポットの中心と一致させて表示するか否かを示しており、ボタンA07を介した操作により一致させて表示するか否か(ONまたはOFF)を選択することができる。領域C08,V08はマーカに目盛(例えば、マーカの大きさが10mmの場合に2mmごとに目盛を表示する)を表示するか否かを示しており、ボタンA08を介した選択操作により目盛を表示するか否か(ONまたはOFF)を選択することができる。
<表示条件設定の具体例>
次に、表示条件設定操作の具体例について説明する。図17はマーカ数を設定する画面の例を示す図であり、図16の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様)によりボタンA01を指定すると領域V01がプルダウン表示の状態になり図17の状態に遷移する。なお、図17においてマーカ数以外の項目については図示を省略している。図17では、マーカ数として設定可能な値(この場合、1から5まで)が領域V01に表示され、値を設定するにはユーザはボタンA01a,A01b、及びスライドバーA01cで選択範囲を上下に移動させて数値(例1では“1”)を選択し、ボタンB01(OKボタン)を指定すればよい。
図18はマーカの形状を設定する画面の例を示す図であり、図16の画面でボタンA02を指定すると領域V02がプルダウン表示の状態になり図18の状態に遷移する(マーカ形状以外の項目については図示を省略)。上述のように例1ではマーカ数として1を設定しているので、マーカ形状については1個分設定すればよい。例1においてマーカ形状は「十字、目盛付十字、点、円、円+十字」の中から選択でき、図17と同様にユーザはボタンA02a,A02b、及びスライドバーA02cで選択範囲を上下に移動させて形状(例1では“十字”)を選択し、ボタンB01を指定すればよい。
図19はマーカの大きさ(実サイズ)を設定する画面の例を示す図であり、図16の画面でボタンA03を指定すると領域V03がプルダウン表示の状態になり図19の状態に遷移する(大きさ以外の項目については図示を省略)。上述のように例1ではマーカ数として1を設定しているので、マーカの大きさについても1個分設定すればよい。例1においてマーカの大きさは「2mm、3mm、5mm、7mm、10mm」の中から選択でき、図17と同様にユーザはボタンA03a,A03b、及びスライドバーA03cで選択範囲を上下に移動させて大きさ(例1では“5mm”)を選択し、ボタンB01を指定すればよい。なお、「マーカの大きさが5mm」とは「実サイズで5mmに対応する大きさ(ピクセル数)のマーカがモニタ400の画面に表示される」ことを意味し、モニタ400の画面におけるマーカの大きさは5mmである必要はない。
図20はマーカの色を設定する画面の例を示す図であり、図16の画面でボタンA04を指定すると領域V04がプルダウン表示の状態になり図20の状態に遷移する(色以外の項目については図示を省略)。上述のように例1ではマーカ数として1を設定しているので、マーカの色についても1個分設定すればよい。例1においてマーカ形状は「赤、青、白、黒、黄、緑」の中から選択でき、図17と同様にユーザはボタンA04a,A04b、及びスライドバーA04cで選択範囲を上下に移動させて形状(例1では“黒”)を選択し、ボタンB01を指定すればよい。
上述した操作により、「マーカ数:1、形状:十字、色:黒、大きさ:5mm」の条件が設定される。また、同様の操作により「数値表示:ON、オフセット表示:OFF、歪曲表示:OFF」の条件が設定されたものとする。なおユーザが設定した表示条件に不整合(例えば、「マーカ数」で設定した数と「大きさ」を設定した数が異なる)があった場合、図30のように警告メッセージMS1を出力してもよい。
<他の操作手段による表示条件の設定>
上述した例ではモニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスによりマーカ表示条件を設定する場合について説明したが、表示条件の設定は他の操作手段を介して行ってもよい。例えば手元操作部102にボタン類を設けて表示条件を設定してもよい。また、フットペダル、音声入力、視線入力、ジェスチャ入力等により表示条件を設定してもよい。内視鏡装置100の操作時はユーザが両手を自由に動かせない場合があり、そのような場合はこれらの操作手段が有効である。
表示条件を設定する際に、具体的な値をユーザの操作によって段階的に切り替えるようにしてもよい。例えば、手元操作部102のボタン操作、フットペダル、音声等による段階的切り替えを行ってよい。そのような段階的切り替えの例としては、操作手段を操作する毎にマーカの大きさを「2mm−3mm−4mm−5mm−7mm−10mm−15mm−20mm−30mm−50mm−2mm…(以下繰り返し)」と変化させる態様を挙げることができる。
<画面表示の具体例>
<例1>
上述の条件での画面表示の例を図21に示す。モニタ400に表示される画面は図21のように画像表示領域D01及び情報表示領域D02から構成される。画像表示領域D01には、腫瘍tm1に対しスポットSP1が形成され、スポットSP1と中心を一致させて十字状のマーカM1(単一のマーカ)が黒色で表示される。図21で“5”とあるのは、図22に示すようにマーカM1の上下方向及び左右方向における画面上の大きさ(ピクセル数)が実サイズでは5mmに対応していることを示す。一方、情報表示領域D02には、内視鏡システム10が「計測モード」である旨が領域D02Aに表示され、現在の表示条件が領域D02Bに表示される。ボタンB04を指定すると通常観察モードに変更され、ボタンB05を指定すると図16〜図20に示すような表示条件設定画面が表示される。
上述した情報表示領域D02により、表示条件を容易に確認及び/または変更することができる。なお情報表示領域D02は別画面にしてもよいし、観察モード時は隠す、縮小するなどして画像表示領域D01を広くしても良い。
<例2>
図21の例ではマーカM1はスポットSP1の位置を中心に表示している。これはスポットSP1の位置がマーカの大きさを最も適切に表しているからである。しかしマーカの表示はこのような態様に限定されるものではない。例えば図23に示すように、例1の条件をボタンB05の指定を介して「オフセット表示:ON」に変更することによりマーカM2の中心をスポットSP2の中心からオフセットさせ、画面中央(図23では腫瘍tm2上)にマーカM2を表示してもよい。オフセット位置は、ユーザが指定できるようにしてもよい。このようにマーカをオフセット表示しても、観察対象が撮像光学系130に対して正対している場合(斜めになっていない場合)は表示位置に依存した計測精度への影響が少ない。
<例3>
撮像光学系130の歪曲収差は撮影画角の周辺で大きくなるため、マーカを画面の周辺部分に表示する際は歪曲収差の補正を行うことが好ましい。図24は、撮像光学系130の歪曲収差の影響を補正してマーカを表示した様子を示す図である。腫瘍tm3上に形成されたスポットSP3を中心として、歪曲収差補正後のマーカM3が表示されているボタンB05の指定を介して「歪曲表示:ON」とすることにより、このような表示を行うことができる。なお、補正の際に歪曲収差のデータは撮像光学系130の設計値を用いてもよいし、別途測定して取得してもよい。なおマーカを歪曲表示するのではなく、被写体の画像を歪曲収差に応じて補正し、補正後の画像に対して歪曲させないマーカを表示してもよい。これにより被写体の形状等が正確に表示され高精度に計測を行うことができる。
<例4>
図25は、大きさが異なる3つの同心円状のマーカM4A,M4B,M4C(大きさはそれぞれ直径が2mm,5mm,10mm)を腫瘍tm4上に形成されたスポットSP4を中心として表示した例である。マーカを複数表示するので切り替えの手間が省け、また被写体が非対称な形状をしている場合でも計測が容易である。
なお、図25のように複数のマーカを表示する場合は、大きさや色をマーカ毎に指定するのではなく、複数の条件の組み合わせをあらかじめ用意しておきその組合せの中から選択できるようにしてもよい。図28では、そのような場合の例として大きさの組合せC10〜C12から組合せC12を選択した様子を示している。なおこのような個別の条件(図28の例では大きさ)に限らず、表示条件(図16参照)のうち複数の項目について「マーカの数:3、形状:同心円、大きさ:2mm,5mm,10mm、色:赤、白、青、数値表示:ON、オフセット表示:OFF、歪曲表示:OFF、目盛表示:OFF」のような組合せを複数設定しておき、その組合せの中から選択するようにしてもよい。
このように組合せを選択する際に、「選択した大きさとその前後1段階ずつの大きさの、合計3つの異なる大きさのマーカを同時に表示し、その中心サイズをユーザ操作により切り替える」という態様を用いてもよい。例えば「(2,,4)−(3,,5)−(4,,7)…(20,30,50)−(2,,4)…(以下繰り返し;単位はmm)」のように切り替えることができる。なおアンダーラインを付した大きさが中心サイズである。
このように表示条件の組合せを選択することで、マーカの数が多い場合でも条件設定を迅速かつ容易に行うことができる。
<例4の変形例1>
図25に示す例では3つのマーカ全てを同じ色(黒)で表示しているが、複数のマーカを表示する場合、マーカによって色を変えてもよい。図26は各マーカの色を変えた場合の表示例であり、マーカM5Aは赤、マーカM5Bは青色、マーカM5Cは白で表示している。なお色の違いは図示困難なため、色の違いを線種の違い(赤は点線、青は実線、白は一点鎖線)で示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。
<例4の変形例2>
図25,26のように同心円状のマーカを表示させる場合に、各マーカを図24のように「歪曲表示:ON」とした場合の表示例を図27に示す。図27の場合は、完全な同心円ではなく歪んだ形のマーカM6A,M6B,M6Cが腫瘍tm5に形成されたスポットSP5を中心に表示している。
<表示条件設定操作の他の例>
次に、表示条件設定操作の他の例について説明する。図16について説明した例ではマーカの表示条件を文字表示しているが、マーカのタイプを示すアイコン状の小画像を表示条件設定画面に表示し、その小画像を選択することで表示条件を設定できるようにしてもよい。図29はそのような小画像による表示条件設定の様子を示す図であり、タイプの異なるマーカを示す小画像K01〜K09が表示され、同心円状のマーカを示す小画像K07が選択されている。この状態からその他の表示条件(大きさ、色、数値表示等)を設定する場合、図29と同様に他の表示条件に対応した小画像をさらに選択することで設定してもよいし、図16〜20等と同様の操作により設定してもよい。
<スポット位置とマーカの大きさとの関係の測定>
第1の実施形態では、スポットの撮像素子上の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してスポット位置に関連づけてメモリ212に記憶しておき、計測したスポット位置に応じてこの関係を参照してマーカの大きさを算出する。以下、スポット位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとする。
スポット位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、計測補助光を出射させることでスポットを形成し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm罫)もしくはそれより細かい罫(例えば1mm罫)の方眼紙状のチャートを撮像し、スポット位置(撮像素子の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
図31は、5mm罫のチャートを撮影した状態を示す図である。撮影距離は近端に近い状態であり、罫の間隔が広く写っている。図31において(x1,y1)は、撮像素子134の撮像面におけるスポットSP6のX,Y方向ピクセル位置を示す。スポットSP6の位置(x1,y1)でのマーカM7の、実寸サイズ5mmに対応するX方向ピクセル数をLx1、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図32は図31と同じ5mm罫のチャートを撮影した状態を示す図であるが、図31の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図32の状態において、撮像素子134の撮像面におけるスポットSP7の位置(x2,y2)でのマーカM8の、実寸サイズ5mmに対応するX方向ピクセル数をLx2、Y方向ピクセル数をLy2とする。そして観察距離を変えながら図31,32のような測定を繰り返し、結果をプロットする。なお、説明の都合上図31,32では撮像光学系130の歪曲収差を考慮せず表示している。
図33はスポット位置のX座標とLx(マーカのX方向ピクセル数)との関係を示す図であり、図34はスポット位置のY座標とLxとの関係を示す図である。Lxは図33の関係よりX方向位置の関数としてLx=g1(x)と表され、また図34の関係よりY方向位置の関数としてLx=g2(y)と表される。g1,g2は上述したプロット結果から例えば最小二乗法により求めることができる。このように、Lxを表す2つの関数g1,g2が得られるが、スポットのX座標とY座標とは一対一に対応しておりg1,g2のいずれを用いても基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、マーカの大きさを算出する際はどちらの関数を用いてもよい。g1,g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1,g2の値が大きく異なる場合は「スポットの認識ができなかった」と判断してもよい。
第1の実施形態では、このようにして得られた関数g1,g2を示す情報を、関数形式、ルックアップテーブル形式等によりメモリ212に計測前に記憶しておく。
また、図35はスポット位置のX座標とLy(Y方向ピクセル数)との関係を示す図であり、図36はスポット位置のY座標とLyとの関係を示す図である。Lyは図35の関係よりX方向位置の関数としてLy=h1(x)と表され、図36の関係よりY方向位置の関数としてLy=h2(y)と表される。Lyについても、Lxと同様に関数h1,h2のいずれを用いてもよい。
<照明用光源の変形例>
上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる1または複数のLEDにより光源を構成してもよい。この場合観察対象や観察条件に応じて各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての単色光のLEDを同時に発光させることで白色光を照射してもよい。
また、白色光(広帯域光)用レーザ光源及び狭帯域光用レーザ光源により光源装置を構成してもよい。この場合狭帯域光としては青色、紫色等1または複数の波長から選択することができる。
また、光源をキセノン光源とし、通常光(白色光)用の光源及び狭帯域光用の光源により光源装置を構成してもよい。この場合、狭帯域光としては青色、緑等1または複数の波長から選択することができ、例えば光源の前方に配置され青色及び緑色のカラーフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることで、照射する狭帯域光の波長を切り替えてもよい。なお青色、緑色の狭帯域光に代えて波長の異なる2波長以上の赤外光を用いてもよい。
光源装置の光源種類、波長、フィルタの有無等は被写体の種類や観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類や観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。例えば、上述した各色のLED光の間で、白色レーザ光と第1,第2狭帯域レーザ光(青色、紫色)との間で、青色狭帯域光と緑色狭帯域光との間で、あるいは第1赤外光と第2赤外光との間で照明光の波長を適宜組合せ及び/または切り替えることが好ましい。
<撮像素子及び撮像方式の変形例>
上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を(紫色、青色、緑色、赤色)の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
<その他>
本発明の内視鏡システムは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の内視鏡システムは、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
100 内視鏡装置
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
110 内視鏡本体
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 内視鏡プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
A01 ボタン
A01a ボタン
A01c スライドバー
A02 ボタン
A02a ボタン
A02c スライドバー
A03 ボタン
A03a ボタン
A03c スライドバー
A04 ボタン
A04a ボタン
A04c スライドバー
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
AL1 頂角
B01〜B05 ボタン
C01〜C08 領域
C10〜C12 組合せ
D01 画像表示領域
D02 情報表示領域
D02A 領域
D02B 領域
IA 撮像範囲
K01〜K09 小画像
L1 光軸
L1A 光軸
L1B 光軸
L2 光軸
M1 マーカ
M2 マーカ
M3 マーカ
M4A マーカ
M4B マーカ
M4C マーカ
M5A マーカ
M5B マーカ
M5C マーカ
M6A マーカ
M6B マーカ
M6C マーカ
M7 マーカ
M8 マーカ
MS1 警告メッセージ
P1 近端
P3 遠端
P4〜P9 スポット
R1 範囲
R2 撮像範囲
R3 撮像範囲
S10〜S30 計測処理の各ステップ
SP0〜SP7 スポット
V01〜V08 領域
g1 関数
g2 関数
h1 関数
h2 関数
tm 腫瘍
tm1〜tm5 腫瘍
上述した特許文献2のように計測補助光の光軸が撮像光学系の光軸と成す角度が0度(計測補助光の光軸が撮像光学系の光軸と平行)だと、撮像素子上のスポットの位置は観察距離が遠くなるにつれて撮像素子の中心(撮像素子の光軸の位置)に近づいていくだけであり、撮像素子上のスポットの位置が最遠距離の場合と至近距離の場合とで撮像光学系の光軸の位置を挟んで反対側になることはない。これに対し第12の態様によれば、計測補助光の光軸が撮像光学系の光軸と0度でない角度を成すので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光が撮像光学系の視野に入るようにすることができ、また、観察距離の変化に対するスポットの位置変化の感度が高くなるため高精度に計測することができる。なお、計測補助光の光軸が撮像光学系の光軸と成す角度は、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した状態で規定することができる。
図20はマーカの色を設定する画面の例を示す図であり、図16の画面でボタンA04を指定すると領域V04がプルダウン表示の状態になり図20の状態に遷移する(色以外の項目については図示を省略)。上述のように例1ではマーカ数として1を設定しているので、マーカの色についても1個分設定すればよい。例1においてマーカの色は「赤、青、白、黒、黄、緑」の中から選択でき、図17と同様にユーザはボタンA04a,A04b、及びスライドバーA04cで選択範囲を上下に移動させて(例1では“黒”)を選択し、ボタンB01を指定すればよい。
<例3>
撮像光学系130の歪曲収差は撮影画角の周辺で大きくなるため、マーカを画面の周辺部分に表示する際は歪曲収差の補正を行うことが好ましい。図24は、撮像光学系130の歪曲収差の影響を補正してマーカを表示した様子を示す図である。腫瘍tm3上に形成されたスポットSP3を中心として、歪曲収差補正後のマーカM3が表示されているボタンB05の指定を介して「歪曲表示:ON」とすることにより、このような表示を行うことができる。なお、補正の際に歪曲収差のデータは撮像光学系130の設計値を用いてもよいし、別途測定して取得してもよい。なおマーカを歪曲表示するのではなく、被写体の画像を歪曲収差に応じて補正し、補正後の画像に対して歪曲させないマーカを表示してもよい。これにより被写体の形状等が正確に表示され高精度に計測を行うことができる。

Claims (12)

  1. 被写体の画像を取得する内視鏡を含む内視鏡システムであって、
    前記被写体に計測補助光を照射する補助光照射部と、
    前記計測補助光によりスポットが形成された前記被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、
    前記取得した前記被写体の画像を表示する表示装置と、
    前記撮像部が前記被写体の画像を取得するのに応じて、前記被写体における特定領域の実サイズを示す指標図形であって、前記撮像素子における前記スポットの位置に応じて設定した大きさの指標図形を前記被写体の画像と共に前記表示装置に表示させるプロセッサと、
    を備える内視鏡システム。
  2. 前記プロセッサは、前記撮像光学系の歪曲収差に応じて歪曲させた前記指標図形を表示させる請求項1に記載の内視鏡システム。
  3. 前記プロセッサは、前記撮像光学系の歪曲収差に応じて補正した前記被写体の画像と共に前記指標図形を表示させる請求項1に記載の内視鏡システム。
  4. 前記プロセッサは、前記指標図形の中心を前記スポットの中心と一致させて、前記被写体の画像及び前記指標図形を表示させる請求項1から3のいずれか1項に記載の内視鏡システム。
  5. 前記プロセッサは、前記指標図形の中心を前記スポットの中心から離して、前記被写体の画像及び前記指標図形を表示させる請求項1から3のいずれか1項に記載の内視鏡システム。
  6. 前記プロセッサは、前記実サイズの単一の値に対応する大きさの前記指標図形を表示させる請求項1から5のいずれか1項に記載の内視鏡システム。
  7. 前記プロセッサは、前記実サイズの複数の値から選択された値に対応する大きさの前記指標図形を表示させる請求項1から6のいずれか1項に記載の内視鏡システム。
  8. 前記複数の値に対するユーザの選択操作を受け付ける選択部を備え、
    前記プロセッサは、前記複数の値のうちから前記選択操作に基づいて選択した値に対応する大きさの前記指標図形を一または複数表示させる請求項7に記載の内視鏡システム。
  9. 前記プロセッサは、前記実サイズの複数の値の組合せに対応する大きさの前記指標図形を表示させる請求項1から5のいずれか1項に記載の内視鏡システム。
  10. 前記複数の値の組合せに対するユーザの選択操作を受け付ける選択部を備え、
    前記プロセッサは、前記選択操作に基づいて選択した組合せに対応する大きさの前記指標図形を表示させる請求項9に記載の内視鏡システム。
  11. 前記プロセッサは前記実サイズの値に対応して色が異なる前記指標図形を表示させる請求項1から10のいずれか1項に記載の内視鏡システム。
  12. 前記補助光照射部は、光軸が前記撮像光学系の光軸と0度でない角度をなす計測補助光を前記計測補助光として照射し、
    前記撮像部及び前記補助光照射部と前記被写体との距離を前記撮像光学系の前記光軸の方向に変化させた場合に、前記距離が前記内視鏡の測長距離範囲の最遠距離であるときの前記スポットの前記撮像素子における位置が、前記距離が前記測長距離範囲の至近距離であるときの前記スポットの前記撮像素子における位置に対して、前記撮像素子における前記撮像光学系の光軸の位置を挟んで反対側である請求項1から11のいずれか1項に記載の内視鏡システム。
JP2018539569A 2016-09-15 2017-08-07 内視鏡システム Active JP6692440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016180809 2016-09-15
JP2016180809 2016-09-15
PCT/JP2017/028645 WO2018051680A1 (ja) 2016-09-15 2017-08-07 内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020072057A Division JP2020124541A (ja) 2016-09-15 2020-04-14 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2018051680A1 true JPWO2018051680A1 (ja) 2019-06-27
JP6692440B2 JP6692440B2 (ja) 2020-05-13

Family

ID=61619508

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018539569A Active JP6692440B2 (ja) 2016-09-15 2017-08-07 内視鏡システム
JP2020072057A Abandoned JP2020124541A (ja) 2016-09-15 2020-04-14 内視鏡システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020072057A Abandoned JP2020124541A (ja) 2016-09-15 2020-04-14 内視鏡システム

Country Status (4)

Country Link
US (1) US20190204069A1 (ja)
EP (1) EP3513704B1 (ja)
JP (2) JP6692440B2 (ja)
WO (1) WO2018051680A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544538B1 (en) * 2016-11-23 2022-01-05 Clear Guide Medical, Inc. System for navigating interventional instrumentation
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
JP7115897B2 (ja) * 2018-04-20 2022-08-09 富士フイルム株式会社 内視鏡装置
WO2019207742A1 (ja) * 2018-04-26 2019-10-31 オリンパス株式会社 内視鏡用光モジュール、内視鏡、および内視鏡用光モジュールの製造方法
JP6924727B2 (ja) * 2018-06-25 2021-08-25 富士フイルム株式会社 内視鏡装置
JP7029359B2 (ja) * 2018-07-27 2022-03-03 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP7069062B2 (ja) * 2019-02-20 2022-05-17 富士フイルム株式会社 内視鏡装置
JP7099971B2 (ja) 2019-03-04 2022-07-12 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP2020151250A (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
CN113631076A (zh) 2019-03-20 2021-11-09 富士胶片株式会社 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及医疗图像处理装置用程序
JP7214840B2 (ja) * 2019-03-29 2023-01-30 富士フイルム株式会社 内視鏡、内視鏡装置
WO2021029277A1 (ja) 2019-08-13 2021-02-18 富士フイルム株式会社 内視鏡システム及びその作動方法
EP4020055A4 (en) * 2019-08-23 2022-10-26 FUJIFILM Corporation ENDOSCOPE DEVICE, METHOD OF OPERATION THEREOF AND PROGRAM FOR ENDOSCOPE DEVICE
EP4024116A4 (en) * 2019-08-27 2022-11-16 FUJIFILM Corporation ENDOSCOPE
EP4024113A4 (en) * 2019-08-28 2022-10-12 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF OPERATION
CN114585291A (zh) * 2019-10-23 2022-06-03 富士胶片株式会社 图像处理装置及其工作方法
WO2021131238A1 (ja) 2019-12-25 2021-07-01 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
WO2021132153A1 (ja) 2019-12-26 2021-07-01 富士フイルム株式会社 内視鏡及び内視鏡システム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法
WO2022049807A1 (ja) 2020-09-02 2022-03-10 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2023112340A (ja) 2022-02-01 2023-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
US11782325B1 (en) 2022-09-06 2023-10-10 Olympus Medical Systems Corp. Image processing apparatus, image processing method, and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969046A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 内視鏡画像システム
JPH08285541A (ja) * 1995-04-17 1996-11-01 Shadan Kento Kai 距離測定方法および装置並びに医療支援方法および装置
WO2012141088A1 (ja) * 2011-04-11 2012-10-18 オリンパス株式会社 撮像装置及び撮像方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6273223A (ja) * 1985-09-26 1987-04-03 Toshiba Corp 内視鏡装置
JP3446272B2 (ja) * 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
JP2007330529A (ja) * 2006-06-15 2007-12-27 Olympus Medical Systems Corp 内視鏡の先端部
JP5026769B2 (ja) 2006-11-14 2012-09-19 オリンパス株式会社 計測用内視鏡装置、プログラム、および記録媒体
JP2011069965A (ja) * 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP2011139734A (ja) * 2010-01-05 2011-07-21 Hoya Corp 内視鏡装置
JP2011158549A (ja) * 2010-01-29 2011-08-18 Olympus Corp 内視鏡装置およびプログラム
US9808146B2 (en) * 2011-12-02 2017-11-07 Interscope, Inc. Endoscopic tool for debriding and removing polyps
JP6535020B2 (ja) * 2014-03-02 2019-06-26 ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム
CN104146711A (zh) * 2014-08-01 2014-11-19 深圳市开立科技有限公司 一种基于内窥镜的病灶尺寸测量方法和系统
WO2017199657A1 (ja) * 2016-05-20 2017-11-23 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969046A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 内視鏡画像システム
JPH08285541A (ja) * 1995-04-17 1996-11-01 Shadan Kento Kai 距離測定方法および装置並びに医療支援方法および装置
WO2012141088A1 (ja) * 2011-04-11 2012-10-18 オリンパス株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP6692440B2 (ja) 2020-05-13
US20190204069A1 (en) 2019-07-04
EP3513704A1 (en) 2019-07-24
JP2020124541A (ja) 2020-08-20
WO2018051680A1 (ja) 2018-03-22
EP3513704B1 (en) 2021-04-28
EP3513704A4 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6692440B2 (ja) 内視鏡システム
JP6964592B2 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
CN110418596B (zh) 测量辅助装置、内窥镜系统及处理器
US10708553B2 (en) Measurement support device, endoscope system, processor for endoscope system
JP6644899B2 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
US11490785B2 (en) Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light
CN110769733A (zh) 内窥镜装置及测量支持方法
JP2022027501A (ja) 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
WO2019031000A1 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
JP6738465B2 (ja) 内視鏡システム
CN110799081B (zh) 内窥镜装置及测量支持方法
JP2006110055A (ja) 内視鏡装置及び内視鏡システム
WO2022064659A1 (ja) オートフォーカスシステム、内視鏡システムおよび制御方法
US20240108204A1 (en) Optical Image Stabilization and Active Alignment of Sensors in Endoscopic Camera Systems and Methods of Using the Same
WO2021039471A1 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JP2024508315A (ja) シーン深度推測を強化するための視鏡修正
JP2017086803A (ja) 計測装置、内視鏡システム、及び計測方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200414

R150 Certificate of patent or registration of utility model

Ref document number: 6692440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250