JP7069062B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP7069062B2
JP7069062B2 JP2019028362A JP2019028362A JP7069062B2 JP 7069062 B2 JP7069062 B2 JP 7069062B2 JP 2019028362 A JP2019028362 A JP 2019028362A JP 2019028362 A JP2019028362 A JP 2019028362A JP 7069062 B2 JP7069062 B2 JP 7069062B2
Authority
JP
Japan
Prior art keywords
offset
unit
measurement
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019028362A
Other languages
English (en)
Other versions
JP2020130634A (ja
Inventor
悠 吉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019028362A priority Critical patent/JP7069062B2/ja
Priority to EP20155502.6A priority patent/EP3698714B1/en
Priority to US16/788,916 priority patent/US11490784B2/en
Publication of JP2020130634A publication Critical patent/JP2020130634A/ja
Application granted granted Critical
Publication of JP7069062B2 publication Critical patent/JP7069062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/93Detection standards; Calibrating baseline adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、被写体の大きさを測定する内視鏡装置に関する。
内視鏡装置では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献1では、被写体に計測補助光を照射し、撮像素子における計測補助光によるスポットの位置に応じて、設定した大きさの指標図形を被写体の画像とともに表示装置に表示させる内視鏡装置システムが開示されている。
国際公開2017/051680号
しかしながら、上記従来の技術では、被写体表面がポリープ等の凹凸形状を有する場合、実際の大きさと異なる大きさの図形または目盛の指標が表示されるおそれがある。これは、計測補助光が被写体表面の凹凸形状部分に照射された場合は、計測補助光が被写体上に形成する照射位置が、凹凸形状部分が無いとした場合の照射位置とずれるためである。
また、これに対し、被写体表面の凹凸形状に合わせて、計測補助光の位置と指標とをキャリブレーションしたデータを用いることにより、凹凸形状部分に計測補助光が形成された場合の指標を表示することが考えられる。しかしながら、実際の凹凸形状は様々であり、凹凸形状毎にキャリブレーションを行う必要がある。したがって、この方法では作業が煩雑となるおそれがある。
本発明は、上記実情に鑑み、計測補助光が被写体の凸形状部に照射された場合であっても、より実際に近い値を簡便に計測することができる内視鏡装置を提供することを目的とする。
上記従来例の問題点を解決するための本発明は、内視鏡装置であって、被写体を照明するための照明光を発する照明光光源部と、計測用補助光を発する計測補助光光源部と、照明光によって照明され、かつ、計測用補助光による照射領域が形成された被写体を撮像して得られる撮像画像を取得する画像取得部と、撮像画像から照射領域の位置を特定する位置特定部と、照射領域の位置から、内視鏡先端部と被写体との距離である観察距離を求める距離算出部と、観察距離に対して、凸形状の照射領域の高さに応じたオフセット量を設定するオフセット設定部と、観察距離にオフセット量を加えたオフセット距離を算出するオフセット距離算出部と、オフセット距離に基づいて、オフセット計測用マーカを生成するオフセット計測用マーカ生成部と、オフセット計測用マーカを、撮像画像に重畳した特定画像を表示する表示制御部とを備えるものである。
凸形状の照射領域の高さは、凸形状の照射領域から凸形状の平坦部までの垂直方向の距離であることが好ましい。
オフセット量の入力を受け付けるオフセット入力受付部を備え、オフセット設定部は、オフセット入力受付部によるオフセット量の入力により、オフセット量を設定することが好ましい。
オフセット量の入力は、手動により行われることが好ましい。
オフセット量を自動で決定するオフセット量自動決定部を備え、オフセット設定部は、オフセット量自動決定部により決定されたオフセット量により、オフセット量を設定することが好ましい。
被写体に線状の特定領域を形成する特定光を発する特定光光源部と、被写体の凸形状の特定領域を特定し、凸形状の特定領域から凸形状の特定領域の高さを決定する第1凸形状高さ決定部とを備え、オフセット量自動決定部は、凸形状の特定領域の高さによりオフセット量を決定することが好ましい。
凸形状の特定領域の高さは、凸形状の頂部から凸形状の平坦部までの垂直方向の距離であり、撮像画像を用いた画像分析により、凸形状による影を特定し、凸形状による影から凸形状の高さを決定する第2凸形状高さ決定部を備え、オフセット量自動決定部は、凸形状の照射領域の高さによりオフセット量を決定することが好ましい。
オフセット計測用マーカ生成部は、被写体の実寸サイズを示す第1のオフセット計測用マーカ、または、計測補助光によって形成される被写体上の交差ライン、及び交差ライン上に被写体の大きさの指標となる目盛りからなる第2のオフセット計測用マーカを生成することが好ましい。
オフセット計測用マーカの種類の選択を受け付けるオフセット計測用マーカ選択部を備え、オフセット計測用マーカ生成部は、オフセット計測用マーカ選択部による選択により、オフセット計測用マーカを生成することが好ましい。
表示部を備え、表示部は、特定画像とオフセット量とを表示することが好ましい。
本発明によれば、計測補助光が被写体の凸形状部に照射された場合であっても、より実際に近い値を簡便に計測する内視鏡装置を提供することができる。
内視鏡装置の外観図である。 内視鏡の先端部を示す平面図である。 内視鏡装置の機能を示すブロック図である。 計測補助光出射部を示すブロック図である。 計測補助光によって被写体上に形成されるスポットSPの説明図である。 内視鏡の先端部と観察距離の範囲Rx内の近端Px、中央付近Py、及び遠端Pzとの関係、及び、光軸と計測補助光との関係を示す説明図である。 信号処理部の機能を示すブロック図である。 凸形状を高さ方向を垂直方向としたときに、水平方向から見た凸形状の説明図である。 スポットSP1及びスポットSP2による凸形状の高さの説明図である。 スポットSP1の位置と被写体の関係を示す説明図である。 観察画像と、特定画像と、オフセット設定された特定画像との表である。 オフセット量を説明する表である。 スポットSP1の位置と被写体の関係を示す説明図である。 オフセット設定部の機能を示すブロック図である。 オフセット量自動決定部の機能を示すブロック図である。 特定光による撮像画像を示す表である。 凸形状の影を説明する表である。 目盛り付き十字型、歪曲十字型、円及び十字型、及び計測用点群型の第1計測用マーカを示す説明図である。 オフセット計測用マーカ生成部の機能を示すブロック図である。 観察距離が近端Pxである場合におけるスポットの位置と第1の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 観察距離が遠端Pyである場合におけるスポットの位置と第1の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 スポットのX方向ピクセル位置と第1の計測用マーカのX軸方向ピクセル数との関係を示すグラフである。 スポットのY方向ピクセル位置と第1の計測用マーカのX軸方向ピクセル数との関係を示すグラフである。 スポットのX方向ピクセル位置と第1の計測用マーカのY軸方向のピクセル数との関係を示すグラフである。 スポットのY方向ピクセル位置と第1の計測用マーカのY軸方向のピクセル数との関係を示すグラフである。 オフセット量を表示した特定画像の画像図である。
図1に示すように、内視鏡装置10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。プロセッサ装置16は、画像を表示するモニタ18(表示部)に電気的に接続されている。ユーザーインターフェース19は、プロセッサ装置16に接続されており、プロセッサ装置16に対する各種設定操作等に用いられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
内視鏡12は、通常モードと、測長モードとを備えており、これら2つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常モードは、照明光によって照明された観察対象を撮像して得られる撮像画像を表示するモードである。したがって、通常モードでは計測用マーカの表示を行わない。測長モードは、照明光及び計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示するモードである。計測補助光は、被写体の計測に用いられる光である。
また、内視鏡12の操作部12bには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13b(静止画取得指示部)が設けられている。ユーザーがフリーズスイッチ13bを操作することにより、モニタ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置16内の静止画保存部37(図3参照)に保存される。また、測長モードに設定されている場合には、撮像画像の静止画と合わせて、後述する計測情報も保存することが好ましい。なお、静止画保存部37はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部37に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に撮像画像の静止画を保存するようにしてもよい。
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置16に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
また、モニタ18の近くに設けた視線入力部(図示しない)をプロセッサ装置16に接続し、視線入力部が、モニタ18のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置16に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置16に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
図2に示すように、内視鏡12の先端部12d(以下、内視鏡先端部12dという)は略円形となっており、内視鏡12の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ21と、被写体に対して照明光を照射するための照明レンズ22と、後述する計測補助光を被写体に照明するための計測補助用レンズ23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
対物レンズ21の光軸Axは、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸Axに対して直交しており、横の第2方向D2は、光軸Ax及び第1方向D1に対して直交する。対物レンズ21と計測補助用レンズ23とは、第1方向D1に沿って配列されている。
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26(照明光光源部)は、被写体を照明するための照明光を発生する。光源部26から出射された照明光は、ライトガイド28に入射され、照明レンズ22を通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。
内視鏡先端部12dの内部には、照明光学系29a、撮像光学系29b、及び計測補助光出射部30が設けられている。照明光学系29aは照明レンズ22を有しており、この照明レンズ22を介して、ライトガイド28からの光が観察対象に照射される。撮像光学系29bは、対物レンズ21及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21を介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色のRGB画像信号を得るためのカラーの撮像センサである。撮像素子32は、撮像制御部33によって制御される。
撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12の通信I/F36と接続される通信I/F(Interface)38と、静止画保存部37と、信号処理部39と、表示制御部40とを備えている。通信I/F38は、内視鏡12の通信I/F36から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、通信I/F38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。なお、信号処理部39では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。表示制御部40は、信号処理部39によって生成された撮像画像をモニタ18に表示する。
図4に示すように、計測補助光出射部30(特定光光源部)は、光源30aと、回折光学素子DOE30b(Diffractive Optical Element)と、プリズム30cと、計測補助用レンズ23とを備える。光源30aは、計測用補助光を発する。光源30aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
光源30aが出射する光の波長は、例えば、600nm以上650nm以下の赤色光であることが好ましい。もしくは、495nm以上570nm以下の緑色光を用いてもよい。DOE30bは、光源から出射した光を、計測情報を得るための計測補助光に変換する。
プリズム30cは、DOE30bで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム30cは、対物レンズ21及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム30cから出射した計測補助光Lmは、計測補助用レンズ23を通って、被写体へと照射される。
計測補助光が被写体に照射されることにより、図5に示すように、被写体において、円状領域としてのスポットSPが形成される。つまり、画像取得部である通信I/F38は、照明光によって照明され、かつ、計測補助光によるスポットSP(照射領域)が形成された被写体を撮像して得られる撮像画像を取得する。通信I/F38が取得した撮像画像から、スポットSPの位置が、位置特定部50(図7参照)によって特定される。特定されたスポットSPの位置から、内視鏡先端部12dと被写体との距離である観察距離が求められる。この観察距離に対して、実寸サイズを表す計測用マーカを設定することができる。したがって、スポットSPの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、オフセットが設定されないとき、または、オフセット量が0で設定されたときに、撮像画像上に表示される。なお、計測用マーカ及び後述するオフセット用計測用マーカには、後述するように、第1の計測用マーカ、第2の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを撮像画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース19が用いられる。
なお、計測補助用レンズ23に代えて、内視鏡先端部12dに形成される計測補助用スリットとしてもよい。また、計測補助用レンズ23には、反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助用レンズ23を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、後述する位置特定部50が、計測補助光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
なお、計測補助光出射部30は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源30aが光源装置に設けられ、光源30aから出射された光が光ファイバによってDOE30bにまで導光されるものであってもよい。また、プリズム30cを用いずに、光源30a及びDOE30bの向きを光軸Axに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光Lmを出射させる構成としてもよい。
計測補助光の進行方向については、図6に示すように、計測補助光Lmの光軸Lmが対物レンズ21の光軸Axと交差する状態で、計測補助光Lmを出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測補助光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。内視鏡先端部12dの位置を位置P1とする。観察距離は、内視鏡先端部12dと被写体との距離である。したがって、観察距離は、位置P1と近端Px、中央付近Py、及び遠端Pzとの間の距離である。観察距離は、詳細には、内視鏡先端部12dにおいて、対物レンズ21の光軸Axを発する箇所から被写体までの距離となる。軸Dvは観察距離を示す。なお、撮像光学系の撮影画角は2つの実線101で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線102で挟まれる領域)で計測を行うようにしている。
以上のように、計測補助光の光軸Lmを光軸Axと交差する状態で、計測補助光Lmを出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。計測補助光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む撮像画像が得られる。撮像画像では、スポットSPの位置は、対物レンズ21の光軸Axと計測補助光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
したがって、詳細を後述するように、スポットSPの位置と被写体の実寸サイズに対応する計測情報(ピクセル数)との関係を示す情報を予め記憶しておくことで、スポットSPの位置から計測情報を算出することができる。
図7に示すように、プロセッサ装置16の信号処理部39は、スポットSPの位置認識及び被写体との観察距離の算出、並びに各種計測用マーカの設定を行うために、撮像画像におけるスポットSPの位置を特定し、観察距離を算出する位置特定部50と、観察距離に基づいて、各種計測用マーカを設定し、各種計測用マーカを用いて撮像画像を加工した特定画像を生成する画像加工部52とを備えている。特定画像は、表示制御部40によって、モニタ18に表示される。
測長モードに設定されている場合には、光源部26及び計測補助光出射部30は、照明光と計測補助光Lmとを連続的に発光する。場合によっては、計測補助光Lmは、点灯または減光して発光してもよい。なお、撮像画像は3色のRGB画像とするが、その他のカラー画像(輝度信号Y、色差信号Cr、Cb)であってもよい。したがって、信号処理部39には、測長モードに設定されている場合には、照明光および計測補助光により照明された撮像画像が入力される。撮像画像は、通信I/F38(画像取得部)で取得される。
なお、通常モードに設定されている場合には、光源部26は、照明光を常時発する。照明光は、ライトガイド28を介して被写体に照射される。通常モードの場合には、計測補助光出射部30の光源30aは停止している。したがって、信号処理部39には、通常モードに設定されている場合には、照明光により照明された撮像画像が入力される。撮像画像は、通信I/F38(画像取得部)で取得される。
位置特定部50は、距離算出部51を有する。位置特定部50は、測長モードにて照明光および計測補助光により被写体を照明した撮像画像に基づいて、スポットSPの位置の特定を行う。距離算出部51は、スポットSPの位置から観察距離を求める。
画像加工部52は、画像選択部53、マーカ用テーブル54、オフセット設定部55、オフセット距離算出部56、及びオフセット計測用マーカ生成部57を有する。画像加工部52は、撮像画像に対してオフセット計測用マーカを重畳した特定画像を生成するための加工を行う。画像選択部53は、通常モードによる撮像画像と、測長モードによる撮像画像のうち、スポットSPの位置に基づく加工を行う対象画像である測長モードによる撮像画像を選択する。マーカ用テーブル54は、スポットSPの位置に対応する観察距離と被写体の実寸サイズに対応する計測情報(ピクセル数)との関係を示す情報を予め記憶したテーブルである。オフセット設定部55は、観察距離に対して、凸形状のスポットSPの高さに応じたオフセット量を設定する。オフセット距離算出部56は、観察距離にオフセット量を加えてオフセット距離を算出する。オフセット計測用マーカ生成部57は、オフセット距離に基づいて、オフセット計測用マーカを生成する。
オフセットについて以下に説明する。まず、被写体の凸形状とは、被写体において、周囲から張り出た形状をいう。したがって、一部でも周囲から張り出た形状であれば良く、大きさ、形状の広さ、張り出た部分の高さ及び/または数、高さ等の連続性など、その他の形状は問わない。
より具体的には、例えば、図8に示すように、被写体は、凸形状としてポリープ60を有する。ポリープ60は、周囲の被写体から張り出た形状を有する。ポリープ60は、頂部60aと平坦部60bとを有する。図8では、ポリープ60の高さ方向を垂直方向としたときに、水平方向からポリープ60を見た場合を示すが、ポリープ60は立体であるため、紙面手前方向と紙面奥行き方向とにも存在している。ポリープ60の周囲の被写体の平坦な部分が形成する平面であって、ポリープ60が形成されている部分を、ポリープ60の平坦部60bとする。ポリープ60の周囲の平坦な部分が形成する平面は、平坦部60bの延長面103である。
次に、凸形状のスポットSPの高さについて説明する。本実施態様では、ポリープ60のスポットSPの高さは、ポリープ60のスポットSPからポリープ60の平坦部60bまでの垂直方向の距離である。より具体的には、図9に示すように、スポットSP1が、ポリープ60の頂点60aに形成されている。したがって、延長面103と平行であり、かつ、ポリープ60の頂点60aを通る面を平行面104とすると、平行面104と延長面103との距離が、ポリープ60のスポットSP1の高さD3である。したがって、ポリープ60のスポットSP1の高さD3は、ポリープ60の頂部60aから平坦部60bまでの垂直方向の距離となる。なお、ポリープ60及び高さD3は、模式的に示したものであり、周囲の部分から突出した部分であれば、凸形状の種類、形状、大きさ等は問わない。
また、図9では、スポットSP2が、ポリープ60の頂点60aでない領域に形成されている。つまり、ポリープ60の頂点60aからポリープ60の端部までの間に形成されている。したがって、延長面103と平行であり、かつ、ポリープ60のスポットSP2を通る面を平行面105とすると、平行面105と延長面103との距離が、ポリープ60のスポットSP2の高さD4である。したがって、ポリープ60のスポットSP2の高さD4は、ポリープ60のスポットSP2から平坦部までの垂直方向の距離となる。
観察距離とオフセット量について、以下に説明する。図10に示すように、計測補助光Lmにより、スポットSP1がポリープ60の頂点60bに形成されている。スポットSP1から求められる観察距離は、内視鏡先端部12dの位置P1とスポットSP1の位置P2との距離D5である。観察距離D5に応じた計測用マーカは、平行面104上での実測に合致した計測用マーカである。したがって、スポットSP1がポリープ60の頂点60aに形成される場合は、観察距離D5に応じた計測用マーカを生成して表示すると、平行面104にある被写体の実測に合う計測用マーカが表示される。したがって、延長面103にある被写体の実測値に対して目盛り等が大きいほうにずれた計測用マーカが表示される。
そこで、オフセット設定部55は、観察距離D5に対して、オフセット量としてポリープ60のスポットSP1の高さD3を設定する。次に、オフセット距離算出部56は、観察距離D5に対して、オフセット量であるポリープ60のスポットSP1の高さD3を加えて、オフセット距離D6を算出する。したがって、オフセット距離算出部56は、オフセット距離D6を、以下の式(1)により算出する。
D6=D5+D3 (1)
次に、オフセット計測マーカ生成部57は、オフセット距離D6に基づいた計測用マーカを、オフセット計測用マーカとして生成する。より具体的には、オフセット計測マーカ生成部57は、マーカ用テーブル54を参照し、観察距離が距離D6である場合の計測マーカを用いて、これをオフセット計測用マーカとする。オフセット計測用マーカは、延長面103上の被写体の実際の距離または大きさを示すものとなる。
なお、オフセットを設定しない場合、または、オフセット量0で設定した場合、画像加工部52は、撮像画像におけるスポットSP1の位置に基づいて、オフセットを設定せずに、または、オフセット量を0として、被写体の実寸サイズを示す計測用マーカを生成する。画像加工部52は、撮像画像におけるスポットSPの位置と被写体の実寸サイズを示す計測用マーカとの関係を記憶したマーカ用テーブル54を参照して、スポットSP1の位置から観察距離を距離D5として、適切な大きさを算出した上で、計測用マーカを生成する。したがって、画像加工部52は、観察距離が距離D5である場合の計測マーカに対応する計測用マーカを生成する。
画像加工部52は、生成されたオフセット計測用マーカを、撮像画像に重畳する加工を行って、特定画像を生成する。オフセット計測用マーカは、より正確な計測のために、スポットSPが形成される位置に表示するように重畳することが好ましい。したがって、スポットSPから離れた位置に表示する場合は、なるべくスポットSPの近くに表示する。オフセット計測用マーカが重畳された特定画像は、表示制御部40により、モニタ18に表示される。
画像加工部52の機能を、撮像画像と特定画像とにより、より具体的に説明する。図11に示すように、観察画像CI1、特定画像MI1、及び特定画像MI2を比較する。観察画像CI1、特定画像MI1、及び特定画像MI2は、ポリープ60を有する同じ被写体の撮像画像である。ポリープ60のスポットSP1は、ポリープ60の頂点60aに形成されている。また、ポリープ60の高さは2mmである。
観察画像CI1、特定画像MI1、及び特定画像MI2は、いずれも、位置特定部50により、撮像画像の座標において、中心座標(X2、Y2)の位置にあると特定されたスポットSP1を含む。スポットSP1の半径はr2である。スポットSP1のピクセル数により、スポットSP1の半径を算出する。距離算出部51が、このスポットSP1の位置である中心座標(X2、Y2)を用いて、観察距離を距離D5と決定する。本実施形態では、観察距離である距離D5は5mmである。なお、スポットSP1の半径からも、観察距離が算出できる。観察画像CI1は、計測用マーカを表示しない画像である。
特定画像MI1は、測定モードにおいて、オフセットを設定しない場合の画像である。オフセットを設定しない場合は、観察距離が距離D5の5mmである場合の計測用マーカが観察画像CI1に重畳された特定画像MI1が生成される。この計測用マーカMK1は、直径が5mmの円及び十字型である。
特定画像MI2は、測定モードにおいて、オフセットを設定した場合の画像である。オフセット量として、スポットSP1の高さD3を設定する。スポットSP1の高さD3は2mmである。したがって、オフセット量の2mmが距離D5の5mmに加えられて、オフセット距離D6が7mmと算出される。したがって、観察距離が7mmの場合の計測用マーカが、オフセット計測用マーカMK2となる。観察画像CI1にこのオフセット計測用マーカMK2が重畳された特定画像MI2が生成される。このオフセット計測用マーカMK2は、直径が5mmの円及び十字型である。
以上のように、オフセットを設定した場合、オフセット計測用マーカを参照した被写体上の距離は、計測補助光Lmが被写体の凸形状の箇所に形成されていても、計測用マーカによる計測値が実際の被写体上の距離よりも短く、または、実際の被写体上の大きさよりも小さく測定される誤差を減らして、より実際の距離に近い計測用マーカを表示することができる。したがって、例えば、ポリープの大きさを過小評価することを防ぎ、より適切な診断が可能となる。
図12に示すように、各種の観察距離にオフセットを設定することができる。特定画像MI3、MI4、MI5、MI6、及びMI7は、ポリープ62を有する同じ被写体の撮像画像である。ポリープ62のスポットSP3、SP4及びSP5は、ポリープ62の頂点62aに形成されている。また、ポリープ62の高さは2mmである。
特定画像MI3、MI4、及びMI5は、オフセットを設定していない特定画像であり、特定画像MI6及びMI7は、オフセットを設定した特定画像である。特定画像MI3は、スポットSP3を有し、スポットSP3の中心座標が(X1、Y1)、スポットSP3の半径がr3、観察距離が5mmである。特定画像MI3はオフセットを設定しないため、これらのデータに合った計測用マーカMK3が表示される。特定画像MI4は、スポットSP4を有し、スポットSP4の中心座標が(X2、Y2)、スポットSP4の半径がr4、観察距離が7mmである。特定画像MI4はオフセットを設定しないため、これらのデータに合った計測用マーカMK4が表示される。特定画像MI5は、スポットSP5を有し、スポットSP5の中心座標が(X3、Y3)、スポットSP5の半径がr5、観察距離が9mmである。特定画像MI5はオフセットを設定しないため、これらのデータに合った計測用マーカMK5が表示される。
また、特定画像MI6は、スポットSP3を有し、スポットSP3の中心座標が(X2、Y2)、スポットSP3の半径がr3、観察距離が5mmである。特定画像MI6はオフセットを設定する。オフセット量は2mmである。したがって、観察距離が7mmである特定画像MI4における計測用マーカMK4と同じマーカが、オフセット計測用マーカMK4として、特定画像MI6に表示される。
同様に、特定画像MI7は、スポットSP4を有し、スポットSP4の中心座標が(X3、Y3)、スポットSP4の半径がr4、観察距離が7mmである。特定画像MI7はオフセットを設定する。オフセット量は2mmである。したがって、観察距離が9mmである特定画像MI5における計測用マーカMK5と同じマーカが、オフセット計測用マーカMK5として、特定画像MI7に表示される。
以上、計測補助光Lmにより、スポットSP1(図9参照)がポリープ60の頂点60aに形成されている場合を説明したが、スポットSP2(図9参照)がポリープ60の頂点60a以外に形成されている場合も、スポットSP1の場合と同様にして、オフセット量を設定することにより、より被写体の実際の距離に近い計測用マーカを表示することができる。
例えば、図13に示すように、計測補助光LmによるスポットSP2は、ポリープ60の頂点60aからポリープ60の端部までの間に形成されている。スポットSP2から求められる観察距離は、内視鏡先端部12dの位置P1とスポットSP2の位置P4との距離D7である。観察距離D7に応じた計測用マーカは、平行面105上の実測に合致した計測用マーカである。したがって、スポットSP2がポリープ60の頂点60aからポリープ60の端部までの間に形成される場合は、観察距離D7に応じた計測用マーカを生成して表示すると、平行面105にある被写体の実測に合う計測用マーカが表示される。したがって、延長面103にある被写体の実測よりも大きい計測用マーカが表示される。
そこで、オフセット設定部55は、観察距離D7に対して、オフセット量としてポリープ60のスポットSP2の高さD4を設定する。次に、オフセット距離算出部56は、観察距離D7に対して、オフセット量であるポリープ60のスポットSP2の高さD4を加えて、オフセット距離D8を算出する。したがって、オフセット距離算出部56は、オフセット距離D8を、以下の式(2)により算出する。
D8=D7+D4 (2)
以降、スポットSP1の場合と同様にすることにより、スポットSP2の場合においても、被写体の実際の距離または大きさを示すオフセット計測用マーカを生成する。
以上のとおりであって、本発明の構成によれば、計測補助光Lmが被写体表面の凸形状部分に照射された場合であっても、オフセット計測用マーカにより、実際の値に、より近い距離または大きさの値を簡便に計測することができる。また、凸形状毎にキャリブレーションを行う必要がないため、簡便である。
なお、図14に示すように、オフセット設定部55は、オフセット入力受付部71及びオフセット量自動決定部72とを備えてもよい。オフセット入力受付部71は、オフセット量の入力を受け付ける。オフセット設定部55は、オフセット入力受付部71によるオフセット量に入力により、オフセット量を設定する。
オフセット量の入力は、手動でも良いし、自動でもよい。オフセット量の入力を手動で行う場合は、ユーザーインターフェース19等の入力手段を用いて行うことができる。したがって、例えば、それまでの検査等により、すでに高さがわかっているポリープを有する被写体において測長モードで観察する場合、または、画像により大体の大きさがわかるポリープを有する被写体において測長モードで観察する場合などにおいて、ユーザーがオフセット量を手動で入力することができる。
オフセット量の入力を自動で行う場合、オフセット量自動決定部72がオフセット量を自動で決定する。オフセット設定部55は、オフセット量自動決定部72により決定されたオフセット量により、オフセット量を設定する。オフセット量自動決定部72は、例えば、観察画像の画像処理により、オフセット量を自動で決定する。具体的には、例えば、被写体に特定のパターン等の特定の形状を形成する光により、または、被写体の凸形状が被写体に形成する影により、被写体の凸形状の高さを算出してもよい。図15に示すように、オフセット量自動決定部72は、第1形状高さ決定部73と第2形状高さ決定部74とを備える。
被写体に特定のパターン等の特定の形状を形成する光により、被写体の凸形状の照射領域の高さを自動で決定する場合について説明する。凸形状は、ポリープ60とする。例えば、被写体に特定の形状を形成する光としては、被写体上に線状の特定領域を形成する光(特定光)を用いることができる。ここで、計測補助光は、被写体に照射された場合にスポットとして形成される光を用いたが、その他の光も用いることができる。したがって、特定領域を形成する特定光は、照射領域を形成する計測補助光Lmを用いることができる。この場合、計測補助光出射部30は、特定光光源部としても機能する。したがって、計測補助出射部30は、被写体上に線状の照射領域を形成する計測補助光Lmを発する。
第1形状高さ決定部73は、被写体のポリープ60の照射領域を特定し、ポリープ60の照射領域からポリープ60の高さを決定する。より具体的には、図16に示すように、例えば、被写体上に線状の照射領域を形成する計測補助光Lmを被写体に照射した際に、被写体上に交差ライン80として形成される平面状の計測補助光Lmを用いる。図16において、表の上段は、被写体の形状を示し、下段は特定画像を示す。また、表の左の列は、平坦な被写体64の場合であり、右の列は、ポリープ60を有する被写体の場合である。また、方向DUを上方向とした際に、方向DBが下方向である。
交差ライン80は、ポリープ60がない場合は、被写体64上に直線形状で形成される。ポリープ60がある場合は、曲線を有する形状で形成される。また、被写体との観察距離が近い場合は、被写体上に交差ライン80が太く形成され、観察距離が遠い場合は、被写体上に交差ライン80が細く形成される。また、観察距離から、計測用マーカとして、交差ライン80上に被写体の高さまたは大きさの指標となる目盛り82からなる計測用マーカを生成してもよい。したがって、被写体との観察距離が近い場合は、被写体上の交差ライン80上の目盛り82の間隔が広くなり、観察距離が遠い場合は、被写体上の交差ライン80上の目盛り82の間隔が狭くなる。高さがわかっているポリープ60を有する被写体を用いて、ポリープ60の高さと、交差ライン80の形状(観察距離)及び/又は目盛り82などの計測用マーカとの関係をキャリブレーションにより予め求めておく。撮像画像を画像分析することにより、ポリープ60の照射領域の高さを自動で決定することができる。
もう一つの例として、被写体の凸形状が被写体に形成する影により、被写体の凸形状の高さを自動で決定する場合について説明する。凸形状は、ポリープ60とする。例えば、照射領域がポリープ60の頂部30a(図8参照)にある場合、ポリープ60の頂部30aから平坦部30bまでの垂直方向の距離を高さとすると、高さはポリープ60が形成する影により決定することができる。影は場合によって形成されない場合もあるが、影が形成される場合は、観察距離と影が形成する撮像画像の暗部とにより、高さを決定することができる。
第2形状高さ決定部74は、撮像画像を用いた画像分析により、ポリープ60による影を特定し、ポリープ60による影からポリープ60の高さを決定する。より具体的には、図17に示すように、例えば、被写体を撮像した際に、ポリープ60による影84が形成される。図17の表において、上段は、被写体の形状を示し、下段は特定画像を示す。また、左の列は、平坦な被写体64の場合であり、右の列は、ポリープ60を有する被写体の場合である。また、方向DUを上方向とした際に、方向DBが下方向である。
スポットSP7により観察距離が求められる。したがって、高さがわかっている凸形状を有する被写体を用いて、影の面積、形等の形状、凸形状の高さ、及び観察距離との関係をキャリブレーションにより予め求めておく。撮像画像を画像分析することにより、凸形状の高さを自動で決定することができる。
なお、測長モードを用いる実際の内視鏡診断においては、ユーザーは、内視鏡先端部12dを患者の患部にまで到達するまで、内視鏡12を患者の体内に挿入または抜去する。内視鏡先端部12dが患部に到達したら、患部に対して、オフセット量を設定し、オフセット計測用マーカを位置合わせする。オフセット計測用マーカを用いて患部のサイズを計測する。患部のサイズに基づく診断の結果によって、患部に関する処置(切除等)についての方針を決定する。
なお、以上の実施態様のように、被写体の凸形状の実寸サイズ5mmに対応する第1の計測用マーカを表示してもよいし、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、以上の実施態様では、第1の計測用マーカを、縦線と横線が直交する十字型としているが、図18に示すように、十字型の縦線と横線の少なくとも一方に、目盛りMxを付けた目盛り付き十字型としてもよい。また、第1の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の計測用マーカを、スポット表示部から実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第1の計測用マーカの色を変化させてもよい。
なお、上記したように、計測補助光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図16に示すように、被写体上に交差ライン80として形成される平面状の計測補助光を用いるようにしてもよい。この場合には、計測用マーカとして、交差ライン80及び交差ライン上に被写体の大きさ(例えば、ポリープ)の指標となる目盛り82からなる第2の計測用マーカを生成する。平面状の計測補助光を用いる場合には、位置特定部50は、交差ライン80(特定領域)の位置を特定する。交差ライン80が画面下方向DBに位置する程、観察距離が近く、交差ライン80が画面上方向DUに位置する程、観察距離が遠くなる。そのため、交差ライン80が画面下方向DBに位置する程、目盛り82の間隔は大きくなり、交差ライン80が画面上方向DUに位置する程、目盛り82の間隔は小さくなる。
なお、オフセット計測用マーカの種類の選択を受け付けても良い。より具体的には、図19に示すように、オフセット計測用マーカ生成部57は、オフセット計測用マーカ選択部90を有しても良い。オフセット計測用マーカ選択部90は、オフセット計測用マーカの種類の選択を受け付ける。オフセット計測用マーカ選択部は、オフセット計測用マーカの種類の選択に従って、オフセット計測用マーカを生成する。
次に、マーカ用テーブル54の作成方法について、以下説明する。スポットの位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm)もしくはそれより細かい罫(例えば1mm)の方眼紙状のチャートを撮像し、スポットの位置(撮像素子32の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
図20に示すように、(x1、y1)は、撮像素子32の撮像面におけるスポットSP8のX、Y方向のピクセル位置(左上が座標系の原点)である。スポットSP8の位置(x1、y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図21は、図20と同じ5mm罫のチャートを撮像した状態を示しているが、図21の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。撮像素子32の撮像面におけるスポットSP9の位置(x2、y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして、観察距離を変えながら、図20、21のような測定を繰り返し、結果をプロットする。なお、図20、21では、対物レンズ21の歪曲収差を考慮せず表示している。
図22は、スポットの位置のX座標とLx(X方向ピクセル数)との関係を示しており、図23は、スポットの位置のY座標とLxとの関係を示している。Lxは図22の関係よりX方向位置の関数として、Lx=g1(x)と表され、また、Lxは、図23の関係より、Y方向位置の関数として、Lx=g2(y)として表される。g1、g2は上述のプロット結果から、例えば、最小二乗法により求めることができる。
なお、スポットのX座標とY座標とは一対一に対応しており、関数g1、g2のいずれを用いても、基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、第1の計測用マーカの大きさを算出する場合には、どちらの関数を用いてもよく、g1、g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1、g2の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。
図24は、スポット位置のX座標とLy(Y方向ピクセル数)との関係を表しており、図25は、スポット位置のY座標とLyとの関係を表している。図24の関係より、LyはX方向位置の座標としてLy=h1(x)と表され、図25の関係より、LyはY方向位置の座標としてLy=h2(y)として表される。Lyについても、Lxと同様に関数h1、h2のいずれを用いてもよい。
以上のように得られた関数g1、g2、h1、h2については、ルックアップテーブル形式によってマーカ用テーブルに記憶される。なお、関数g1、g2については、関数形式でマーカ用テーブル54に記憶するようにしてもよい。
以上のように作成された特定画像は、表示制御部40により、モニタ18に表示される。モニタ18は、特定画像とオフセット量とを表示してもよい。オフセット量の表示は、同一画面内でも、別の画面内でもよい。また、オフセット量の他に、計測用マーカ及びオフセット計測用マーカの目盛りを表示しても良い。より具体的には、例えば、図26に示すように、モニタ18の右下等に文字で表示する。
また、以上、計測補助光Lmにより、スポットSP1(図9参照)がポリープ60の頂点60aに形成されている場合を説明したが、スポットSP1(図9参照)が被写体の凸形状ではなく、被写体の凹形状に形成されている場合も、オフセット量をマイナスで設定することにより、凸形状の場合と同様に、より被写体の実際の距離に近い計測用マーカを表示することができる。
上記実施形態において、信号処理部39、表示制御部40、システム制御部41といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡装置
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
21 対物レンズ
22 照明レンズ
23 計測補助用レンズ
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29a 照明光学系
29b 撮像光学系
30 計測補助光出射部
30a 光源
30b DOE
30c プリズム
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D変換器
36 通信I/F
37 静止画保存部
38 通信I/F
39 信号処理部
40 表示制御部
50 位置特定部
51 距離算出部
52 画像加工部
53 画像選択部
54 マーカ用テーブル
55 オフセット設定部
56 オフセット距離算出部
57 オフセット計測用マーカ生成部
60、62 ポリープ
60a 頂部
60b 平坦部
64 被写体
71 オフセット入力受付部
72 オフセット量自動決定部
73 第1形状高さ決定部
74 第2形状高さ決定部
80 交差ライン
82 目盛り
84 影
90 オフセット計測用マーカ選択部
101 実線
102 点線
103 延長面
104、105 平行面
D1 第1方向
D2 第2方向
D3 スポットSP1の高さ
D4 スポットSP2の高さ
D5、D7 観察距離
D6、D8 オフセット距離
Dv 観察距離
DB 画面上方向
DU 画面下方向
Lm 計測補助光
LI 照明光
Ax 対物レンズの光軸
Rx 観察距離の範囲
Px 近端
Py 中央付近
Pz 遠端
P1~P5 位置
Qx、Qy、Qz 撮影範囲
SP、SP1~SP9 スポット
Lx1、Lx2 X方向ピクセル数
Ly1、Ly2 Y方向ピクセル数
CI1、 撮像画像
MI1~MI7 特定画像
MK1~MK5 計測用マーカまたはオフセット計測用マーカ
EP 測定点
Mx 目盛り

Claims (10)

  1. 被写体を照明するための照明光を発する照明光光源部と、
    計測用補助光を発する計測補助光光源部と、
    前記照明光によって照明され、かつ、前記計測用補助光による照射領域が形成された前記被写体を撮像して得られる撮像画像を取得する画像取得部と、
    前記撮像画像から前記照射領域の位置を特定する位置特定部と、
    前記照射領域の位置から、内視鏡先端部と前記被写体との距離である観察距離を求める距離算出部と、
    前記観察距離に対して、凸形状の前記照射領域の高さに応じたオフセット量を設定するオフセット設定部と、
    前記観察距離に前記オフセット量を加えたオフセット距離を算出するオフセット距離算出部と
    前記オフセット距離に基づいて、オフセット計測用マーカを生成するオフセット計測用マーカ生成部と、
    前記オフセット計測用マーカを、前記撮像画像に重畳した特定画像を表示する表示制御部とを備える内視鏡装置。
  2. 前記凸形状の照射領域の高さは、前記凸形状の前記照射領域から前記凸形状の平坦部までの垂直方向の距離である請求項1に記載の内視鏡装置。
  3. 前記オフセット量の入力を受け付けるオフセット入力受付部を備え、
    前記オフセット設定部は、前記オフセット入力受付部による前記オフセット量の入力により、前記オフセット量を設定する請求項1または2に記載の内視鏡装置。
  4. 前記オフセット量の入力は、手動により行われる請求項3に記載の内視鏡装置。
  5. オフセット量を自動で決定するオフセット量自動決定部を備え、
    前記オフセット設定部は、前記オフセット量自動決定部により決定された前記オフセット量により、前記オフセット量を設定する請求項1または2に記載の内視鏡装置。
  6. 前記被写体に線状の特定領域を形成する特定光を発する特定光光源部と、
    前記被写体の前記凸形状の前記特定領域を特定し、前記凸形状の前記特定領域から前記凸形状の前記特定領域の高さを決定する第1凸形状高さ決定部とを備え、
    前記オフセット量自動決定部は、前記凸形状の前記特定領域の高さにより前記オフセット量を決定する請求項5に記載の内視鏡装置。
  7. 前記凸形状の前記特定領域の高さは、前記凸形状の頂部から前記凸形状の平坦部までの垂直方向の距離であり、
    前記撮像画像を用いた画像分析により、前記凸形状による影を特定し、前記凸形状による影から前記凸形状の高さを決定する第2凸形状高さ決定部を備え、
    前記オフセット量自動決定部は、前記凸形状の前記照射領域の高さにより前記オフセット量を決定する請求項5に記載の内視鏡装置。
  8. 前記オフセット計測用マーカ生成部は、前記被写体の実寸サイズを示す第1のオフセット計測用マーカ、または、前記計測補助光によって形成される前記被写体上の交差ライン、及び前記交差ライン上に前記被写体の大きさの指標となる目盛りからなる第2のオフセット計測用マーカを生成する請求項1ないし7のいずれか1項に記載の内視鏡装置。
  9. 前記オフセット計測用マーカの種類の選択を受け付けるオフセット計測用マーカ選択部を備え、
    前記オフセット計測用マーカ生成部は、前記オフセット計測用マーカ選択部による前記選択により、前記オフセット計測用マーカを生成する請求項8に記載の内視鏡装置。
  10. 表示部を備え、
    前記表示部は、特定画像と前記オフセット量とを表示する請求項1ないし9のいずれか1項に記載の内視鏡装置。
JP2019028362A 2019-02-20 2019-02-20 内視鏡装置 Active JP7069062B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019028362A JP7069062B2 (ja) 2019-02-20 2019-02-20 内視鏡装置
EP20155502.6A EP3698714B1 (en) 2019-02-20 2020-02-04 Endoscope apparatus
US16/788,916 US11490784B2 (en) 2019-02-20 2020-02-12 Endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019028362A JP7069062B2 (ja) 2019-02-20 2019-02-20 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2020130634A JP2020130634A (ja) 2020-08-31
JP7069062B2 true JP7069062B2 (ja) 2022-05-17

Family

ID=69468504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019028362A Active JP7069062B2 (ja) 2019-02-20 2019-02-20 内視鏡装置

Country Status (3)

Country Link
US (1) US11490784B2 (ja)
EP (1) EP3698714B1 (ja)
JP (1) JP7069062B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099971B2 (ja) * 2019-03-04 2022-07-12 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP2023171978A (ja) * 2020-09-02 2023-12-06 富士フイルム株式会社 キャリブレーション装置及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167272A (ja) 1999-12-08 2001-06-22 Olympus Optical Co Ltd 被写体計測表示装置及び被写体計測表示方法
JP2001513923A (ja) 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ 直接検出できない内視鏡検査における自動分析
US20080062429A1 (en) 2006-09-12 2008-03-13 Rongguang Liang Low coherence dental oct imaging
JP2008122759A (ja) 2006-11-14 2008-05-29 Olympus Corp 計測用内視鏡装置、プログラム、および記録媒体
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2019017018A1 (ja) 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053924A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 内視鏡用撮像装置
US4980763A (en) * 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
JPH04145313A (ja) * 1990-10-08 1992-05-19 Toshiba Corp 形状計測内視鏡におけるパターン光の自動抽出方法
US5436655A (en) * 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
JP3446272B2 (ja) * 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
JP3418480B2 (ja) * 1995-04-17 2003-06-23 医療法人社団ケント会 医療支援装置
US8682045B2 (en) * 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
US6369401B1 (en) * 1999-09-10 2002-04-09 Agri-Tech, Inc. Three-dimensional optical volume measurement for objects to be categorized
JP4873794B2 (ja) * 2001-05-30 2012-02-08 オリンパス株式会社 画像処理計測装置及び計測内視鏡装置
JP5856733B2 (ja) * 2010-11-02 2016-02-10 オリンパス株式会社 撮像装置
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US9835444B2 (en) * 2013-05-20 2017-12-05 Koh Young Technology Inc. Shape measuring device using frequency scanning interferometer
WO2018189742A1 (en) * 2017-04-13 2018-10-18 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement methods and tools

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001513923A (ja) 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ 直接検出できない内視鏡検査における自動分析
JP2001167272A (ja) 1999-12-08 2001-06-22 Olympus Optical Co Ltd 被写体計測表示装置及び被写体計測表示方法
US20080062429A1 (en) 2006-09-12 2008-03-13 Rongguang Liang Low coherence dental oct imaging
JP2008122759A (ja) 2006-11-14 2008-05-29 Olympus Corp 計測用内視鏡装置、プログラム、および記録媒体
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2019017018A1 (ja) 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法

Also Published As

Publication number Publication date
JP2020130634A (ja) 2020-08-31
EP3698714B1 (en) 2022-02-23
US11490784B2 (en) 2022-11-08
EP3698714A1 (en) 2020-08-26
US20200260932A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
JP2020124541A (ja) 内視鏡システム
JP7115897B2 (ja) 内視鏡装置
KR20100094976A (ko) 신체 루멘 내의 대상물의 크기를 추산하기 위한 장치, 시스템 및 방법
EP3705023B1 (en) Endoscope apparatus, calibration device, and calibration method
JP7069062B2 (ja) 内視鏡装置
WO2021029277A1 (ja) 内視鏡システム及びその作動方法
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
US20230200682A1 (en) Endoscope system and method of operating the same
JP6924727B2 (ja) 内視鏡装置
US20220330850A1 (en) Endoscope apparatus, method of operating the same, and non-transitory computer readable medium
WO2021039718A1 (ja) 内視鏡システム及びその作動方法
JP7214840B2 (ja) 内視鏡、内視鏡装置
US11399707B2 (en) Endoscope apparatus
JP7166467B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JPWO2020153186A1 (ja) 内視鏡装置
JP2020014808A (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP7447249B2 (ja) テストチャート、検査システム、及び検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7069062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150