JPWO2018159292A1 - 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ - Google Patents

計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ Download PDF

Info

Publication number
JPWO2018159292A1
JPWO2018159292A1 JP2019502861A JP2019502861A JPWO2018159292A1 JP WO2018159292 A1 JPWO2018159292 A1 JP WO2018159292A1 JP 2019502861 A JP2019502861 A JP 2019502861A JP 2019502861 A JP2019502861 A JP 2019502861A JP WO2018159292 A1 JPWO2018159292 A1 JP WO2018159292A1
Authority
JP
Japan
Prior art keywords
coordinates
spot
measurement
points
circular marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019502861A
Other languages
English (en)
Other versions
JP6898425B2 (ja
Inventor
慎一郎 園田
岳一 龍田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018159292A1 publication Critical patent/JPWO2018159292A1/ja
Application granted granted Critical
Publication of JP6898425B2 publication Critical patent/JP6898425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/00078Insertion part of the endoscope body with stiffening means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明は、簡易な構成で正確な指標を表示できる計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサを提供することを目的とする。本発明の一の態様に係る計測支援装置では、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶部に記憶しておき、計測したスポットの座標に基づいて記憶部を参照して円形マーカを示す点の座標を取得し、取得した座標に基づいて円形マーカを表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。また、スポットの近傍に円形マーカを表示する(例えば、スポット位置を中心とする)ので、スポット位置とマーカ位置とのずれが少ないため指標として正確であり、また指標を広範囲に表示しないので処理負荷が少ない。

Description

本発明は計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサに係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサに関する。
内視鏡等の計測装置の分野では、被検体までの距離を計測したり、被検体の長さ、大きさを算出したりすることが行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。
また、特許文献2には測定光を用いて観察部(観察対象)までの距離及び観察部の大きさを求める技術が記載されている。特許文献2では、照明光の照射方向に対して測定光を斜めに照射することで、内視鏡挿入部の先端から観察部までの距離及び観察部の位置の分解能の向上を計っている。また特許文献2では、取得した画像に物差しの画像(スケール画像)を重畳表示して計測に用いることが記載されている。
また、特許文献3には計測指標となる目盛に光学系の歪曲収差と同等の歪みを与え、歪曲させた目盛をリアルタイムで撮影画像と合成表示することが記載されている。Zhangの手法等により歪曲収差補正用のパラメータ、マトリクスを求め、これに対する逆変換を行うパラメータ、マトリクスを求めることで、目盛の歪曲を計算できる旨が記載されている。
特開2008−122759号公報 特開平7−136101号公報 特開2011−69965号公報
上述の特許文献1ではステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなるため被検体への負担が高くなる。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、システム構成及び処理が複雑になる。
内視鏡による観察の場合は被写体に凹凸があることが多く、この場合撮像光学系が被写体に正対しない。このため、計測用の指標は計測光のスポットが当たっている位置において大きさの指標として最も確からしく、スポットの位置から離れるほど指標として不正確になるため、特許文献2のように物差し画像を任意の位置及び角度に移動、回転させると指標として不正確になり易い。
また、特許文献3では距離センサでレーザ受光量を計測して撮像フレームレートで距離を計算し、その距離における目盛幅を算出するので、システム構成及び処理が複雑になる。また、画面の広い範囲に目盛を表示する場合、広い範囲で歪みを補正する必要があるため変換パラメータ、マトリクスの計算量が多くなり負荷が高くなる上に、Zhangの手法は画面全体を一組(6個)のパラメータで表現するため補正の精度が低い。さらに、画面の広い範囲に目盛を表示する場合、特許文献2について上述したのと同様に目盛の周辺部はスポットから遠くなるため指標として不正確になり易い。
このように、従来の技術では指標の生成による負荷が高く、また正確な指標を表示することが困難であった。
本発明はこのような事情に鑑みてなされたもので、簡易な構成で正確な指標を表示できる計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサを提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、計測補助光を出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、画像におけるスポットの座標を計測する計測部と、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶する記憶部であって、画像の撮像距離を変化させた場合にスポットが画像を移動する軌跡における複数の点に対して円形マーカを示す点の座標を記憶する記憶部と、計測したスポットの座標に基づいて記憶部を参照して、スポットの座標に対応する円形マーカを示す点の座標を取得する座標取得部と、取得した座標に基づいて画像におけるスポットの近傍に円形マーカを表示させる表示制御部と、を備え、ヘッドは、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る計測補助光を出射する。
第1の態様によれば、スポットの座標に基づいて記憶部を参照して円形マーカ(歪曲円形マーカ)を示す点の座標を取得し、取得した座標に基づいて円形マーカを表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。また、スポットの近傍に円形マーカを表示する(例えば、スポット位置を中心とする)ので、スポット位置とマーカ位置とのずれが少ないため指標として正確であり、また指標を広範囲に表示しないので処理負荷が少ない。
第1の態様において、撮像距離を変化させた場合にスポットが画像を移動する軌跡は撮像光学系の光軸と計測補助光の光軸との関係に応じて一意に決まるので、この軌跡上の点に対してマーカの座標を求めれば良い。なお、軌跡におけるスポットの位置は撮像距離に対応しているので、スポット位置が異なる場合は実寸サイズが同一でも画像におけるマーカの表示サイズが異なる。
また、第1の態様において「軌跡における複数の点に対して円形マーカを示す点の座標を記憶する」については、軌跡上の多くの点(例えば、全ての画素)に対してデータを記憶してもよいし、軌跡上の一部の点(画素)に対してのみデータを記憶してもよい。「円形マーカを示す点の座標を取得する」には、記憶されている座標をそのまま用いる態様と、記憶されている座標に基づいて表示に用いる座標を算出する態様とが含まれる。
また、第1の態様によれば、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し、撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光を撮像光学系の視野に入れることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。
このように、第1の態様に係る計測支援装置によれば、簡易な構成で正確な指標を表示することができる。なお第1の態様において、マーカの表示はリアルタイム(スポット画像を取得するフレームごとに、あるいは複数フレームに対して1回)で行ってもよいし、オフラインで行ってもよい(スポットが形成された画像を取得しておけば、事後的なマーカ表示が可能である)。
第2の態様に係る計測支援装置は第1の態様において、座標取得部は、複数の点のうちスポットとの距離がしきい値以下の点に対応した円形マーカを示す点の座標を取得する。スポットと離れた点について円形マーカを示す点の座標を取得すると不正確なマーカ(本来表示すべきマーカと形状、大きさが異なるマーカ)になるので、第2の態様のように軌跡における複数の点のうちスポットとの距離がしきい値以下の点に対応した円形マーカを示す点の座標を取得することで、正確なマーカを表示することができる。しきい値は、正確なマーカを表示できるように決める。なお第2の態様において、スポットの位置に対してマーカを示す点の座標が記憶されていれば、上述した「距離」はゼロである。
第3の態様に係る計測支援装置は第1の態様において、座標取得部は、複数の点のうちスポットを挟む2つ以上の点に対応した座標を内挿して円形マーカを示す点の座標を取得する。第3の態様は座標取得の1つの態様であり、軌跡における全ての点(画素)についてマーカを示す点の座標が記憶されていない場合にこのような処理を行うことができる。
第4の態様に係る計測支援装置は第1の態様において、座標取得部は、複数の点のうちスポットを挟まない2つ以上の点に対応した座標を外挿して円形マーカを示す点の座標を取得する。第4の態様は、座標取得の他の態様であり、軌跡における全ての点(画素)についてマーカを示す点の座標が記憶されていない場合にこのような処理を行うことができる。
第5の態様に係る計測支援装置は第1から第4の態様のいずれか1つにおいて、記憶部は、画像において円形マーカによる計測対象の大きさ計測が有効な範囲に対応して円形マーカを示す点の座標を記憶する。撮像光学系の歪曲収差は一般に画角の周辺部で大きくなるので、画像の周辺部では被写体の歪曲が大きくなりマーカによる計測精度が悪化することが多い。また、画像の周辺部では完全なマーカを表示できない(例えば、マーカの一部が画面からはみ出す)場合もある。そこで第5の態様では、このような問題が生じず円形マーカによる計測対象の大きさ計測が有効な範囲に対応して円形マーカを示す点の座標を記憶することとしている。なお「大きさ計測が有効な範囲」は計測精度を考慮して決めることができる。
第6の態様に係る計測支援装置は第1から第5の態様のいずれか1つにおいて、記憶部は、スポットを中心とした円に対応して実測した複数の第1の点の座標と、複数の第1の点を補間して生成した複数の第2の点の座標と、を円形マーカを示す点の座標として記憶し、座標取得部は複数の第1の点の座標と複数の第2の点の座標とを円形マーカを示す点の座標として取得する。第6の態様は座標取得の1つの態様であり、実測した座標(第1の点の座標)及び補間により求めた座標(第2の点の座標)をマーカを示す点の座標として記憶する。すなわち、マーカ表示に用いる点の全てについて座標を実測しなくてもよい。
第7の態様に係る計測支援装置は第6の態様において、記憶部は、複数の第1の点を円の角度方向及び径方向に線形補間した点の座標を複数の第2の点の座標として記憶する。第7の態様は、第6の態様における「補間」の具体的な一態様である。
第8の態様に係る計測支援装置は第1から第5の態様のいずれか1つにおいて、記憶部は、画像においてスポットを中心とした円形マーカを含む歪曲格子領域を正方格子領域に射影変換する変換行列を記憶し、座標取得部は、変換行列により変換された正方格子領域における円形マーカを示す点の座標を取得し、取得した座標を変換行列の逆行列により逆変換して歪曲格子領域における円形マーカを示す点の座標を取得する。第8の態様は座標取得の他の態様であり、正方格子領域では円形マーカを示す点の座標が正確かつ容易に取得できるので、正方格子領域で取得した座標を逆変換することにより、歪曲格子領域における座標を正確かつ容易に算出することができる。変換行列としては射影変換行列を用いることができる。なお、変換行列の逆行列についても記憶しておいてよいし、変換行列から求めてもよい。
第9の態様に係る計測支援装置は第8の態様において、記憶部は、m及びnを正の整数とした場合に歪曲格子領域及び正方格子領域を2×m×n個に分割した複数の小領域のそれぞれについて変換行列を記憶し、座標取得部は、画像の画素のうち同一の小領域に属する画素に対しては、複数の変換行列のうちの同一の変換行列及び複数の逆行列のうちの同一の逆行列を適用する。第9の態様のように小領域ごとに同一の変換行列、逆行列を適用することで記憶量を削減することができる。
第10の態様に係る計測支援装置は第9の態様において、記憶部は、撮像距離が計測距離範囲の最遠端である場合の歪曲格子領域及び計測距離範囲の至近端である場合の歪曲格子領域を含む、画像における一部の領域を分割した複数の領域であって、最遠端における歪曲格子領域の格子の大きさよりも小さく分割された複数の領域を複数の小領域として変換行列を記憶し、座標取得部は、複数の小領域に対して記憶された変換行列を用いて円形マーカを示す点の座標を取得する。第10の態様では、撮像画像の一部の領域について領域を分割して変換行列を記憶するので、画像全体に対して変換行列を記憶する必要がなく、処理負荷が低い。また、円形マーカによる計測が有効な距離範囲(計測距離範囲)の最遠端での格子の大きさ(最遠端なので、格子の大きさは最も小さくなる)よりも小さく分割した複数の領域に対して変換行列を記憶することで、正確なマーカを表示することができる。
第11の態様に係る計測支援装置は第8から第10の態様のいずれか1つにおいて、変換行列はアフィン変換行列である。第11の態様は変換行列の1つの態様を示すものであり、歪曲画像の3点を1つのアフィン変換行列で正方格子の画像に変換することができる。
上述した目的を達成するため、本発明の第12の態様に係る内視鏡システムは、第1から第11の態様のいずれか1つに係る計測支援装置を備える。第12の態様に係る内視鏡システムでは、第1から第11の態様のいずれか1つに係る計測支援装置を備えるので、簡易な構成で正確な指標を表示することができる。
第13の態様に係る内視鏡システムは第12の態様において、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡を備え、ヘッドと、スポットの光学像を撮像素子に結像させる撮像レンズと、が先端硬質部に設けられる。第13の態様は、内視鏡の先端硬質部の構成の一態様を規定するものである。
上述した目的を達成するため、本発明の第14の態様に係る内視鏡システムのプロセッサは、第12または第13の態様に係る内視鏡システムのプロセッサであって、計測部と、記憶部と、座標取得部と、表示制御部と、を備える。第14の態様によれば、第1の態様と同様に簡易な構成で正確な指標を表示することができる。
以上説明したように、本発明の計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサによれば、簡易な構成で正確な指標を表示することができる。
図1は、本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図である。 図2は、本発明の第1の実施形態に係る内視鏡システムの構成を示すブロック図である。 図3は、先端硬質部の先端側端面の構成を示す図である。 図4は、レーザモジュールの構成を示す図である。 図5は、レーザ光源モジュールの構成を示す断面図である。 図6は、撮像光学系の光軸と計測補助光の光軸との関係を示す図である。 図7は、内視鏡の挿入部を被検体内に挿入した様子を示す図である。 図8は、計測支援方法の処理を示すフローチャートである。 図9は、計測補助光の光軸が撮像光学系の撮像画角を横切る様子を示す図である。 図10は、撮影距離によりスポット位置が変化する様子を示す図である。 図11は、波長とカラーフィルタの感度との関係を示す図である。 図12は、スポットの移動軌跡における複数の点に対して円形マーカを示す点の座標を記憶する様子を示す図である。 図13は、スポット位置と歪曲円形マーカを示す点の座標との関係を示す図である。 図14は、スポット位置と歪曲円形マーカを示す点の座標とを関連づけて記憶する様子を示す図である。 図15は、スポットとの距離がしきい値以下の点について記憶されたマーカの座標を取得する図である。 図16は、スポット位置を挟む2点の座標を内挿してマーカ座標を取得する様子を示す図である。 図17は、スポット位置を挟まない2点の座標を外挿してマーカ座標を取得する様子を示す図である。 図18は、座標生成及び記憶の実施例1の処理を示すフローチャートである。 図19は、第1の点の位置を実測する様子を示す図である。 図20は、第1の点を補間して第2の点を生成する様子を示す図である。 図21は、座標生成及び記憶の実施例1の処理を示すフローチャートである。 図22は、スポット位置を中心とした歪曲格子領域を示す図である。 図23は、歪曲格子領域を正方格子領域に変換する様子を示す図である。 図24は、変換行列及び逆行列を記憶する領域を示す図である。 図25は、小領域への分割を示す図である。 図26は、小領域の大きさと格子の大きさとの関係を示す図である。 図27は、正方格子領域で円形マーカを示す点の座標を算出する様子を示す図である。 図28は、円形マーカを示す点の座標を歪曲格子領域に座標変換する様子を示す図である。 図29は、歪曲円形マーカを撮像画像に重畳表示する様子を示す図である。
以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサの実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1及び図2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400(表示装置)を備える。
<内視鏡本体の構成>
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して内視鏡本体100を操作し、挿入部104を被検体の体内に挿入して観察する。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。手元操作部102を操作することにより、湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1〜3参照)。
観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、操作部208の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132(撮像レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1〜図3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されており、この撮像レンズ132の奥にCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、カラー撮像素子)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
なお第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被検体(腫瘍部、病変部)の画像、スポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(結像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像、歪曲円形マーカ等が表示される。
また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506(ヘッド)が設けられて、プリズム512(図4参照)を介してスポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお、第1の実施形態では図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。また、撮像レンズ132と鉗子口126との間にレーザヘッド506を設けてもよい。
<レーザモジュールの構成>
図2及び図4に示すように、レーザモジュール500はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(フェルール:ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRINレンズ510(GRIN:Graded Index)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図4の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
レーザヘッド506において、フェルール508は例えば直径が0.8mm〜1.25mmのものを用いることができる。小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm〜1.5mmにすることができる。
このように構成されたレーザモジュール500は挿入部104に装着される。具体的には、図2に示すようにレーザ光源モジュール502が手元操作部102に設けられ、レーザヘッド506が先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なお、レーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光してもよい。
図5に示すように、レーザ光源モジュール502は、図示せぬ電源から電力が供給されて可視波長域のレーザ光(計測補助光)を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である。レーザ光はプロセッサ200(CPU210)の制御により必要に応じて出射することができ、計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。
第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504によりGRINレンズ510まで導光される。光ファイバー504はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体(計測対象)の大きさを正確に計測することができる。光ファイバー504の途中に中継コネクタを設けてもよい。なお、被写体の種類、大きさ等の観察条件によってスポット径の大きさ、鮮明さが計測上問題とならない場合は、光ファイバー504として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振しきい値以下のLED発光状態で使用してもよい。
GRINレンズ510は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ(ラジアル型)であり、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。GRINレンズ510から出射される光束の広がりはGRINレンズ510の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
GRINレンズ510の先端側にはプリズム512が装着されている。このプリズム512は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有し、計測補助光が撮像光学系の画角を横切る。プリズム512はGRINレンズ510のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角AL1を有する。頂角AL1の値はレーザ光の出射方向その他の条件に応じて設定することができる。
<撮像光学系の光軸と計測補助光の光軸の関係>
図6は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図6のように光軸L1が光軸L2上を通るように見える。
なお、本発明における計測補助光の光軸L1と撮像光学系の光軸L2との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではなく、計測補助光の光軸が撮像光学系の光軸と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切るものとする。
計測補助光を用いた計測を行う場合、計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)であると、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その結果至近距離ではスポットが撮影できず計測が困難になる。また、計測補助光の光軸が撮像光学系の光軸と平行であると、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第1の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る」という構成によれば、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<プロセッサの構成>
次に、図2に基づきプロセッサ200(計測部、記憶部、座標取得部、表示制御部)の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、座標取得部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)の制御下で行われる。すなわち、CPU210は計測部、座標取得部、及び表示制御部としての機能を有する。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ(ピクセル数)の算出等が行われる(後述)。画像処理部204における各種の処理を実行するためのハードウェア的な構造としては、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のプロセッサ(電気回路)を挙げることができる。画像処理部204は1つのプロセッサで構成されていてもよいし、複数のプロセッサを組み合わせて構成されていてもよい。メモリ212(記憶部)は各種処理の際の一時記憶用の記憶素子と不揮発性の記憶素子(非一時的記録媒体)とを含み、CPU210及び/または画像処理部204の制御により、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系130の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、が関連づけて記憶される(後述)。また、メモリ212には後述する計測支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。
また、プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ、送水指示ボタン等を備えており、また可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード、マウス等のデバイスを含み、ユーザはこれらデバイスを介して各種処理条件、表示条件の等を入力することができる。
<内視鏡による観察>
図7は内視鏡本体100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図7では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
<計測処理の流れ>
次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図8は計測支援方法の処理を示すフローチャートである。
まず、内視鏡本体100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時にプロセッサ200が自動的に行ってもよいし、ユーザによる操作部208の操作に応じて行ってもよい。
内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類、観察の目的等に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体を撮像する。
次に、通常観察モードから計測モードに移行するか否かを判断する(ステップS14)。この判断は操作部208を介したユーザ操作の有無に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、プロセッサ200が一定のフレーム間隔(1フレームごと、2フレームごと等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップS16へ進んで計測モードに切り替える。
計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。このような制御は、プロセッサ200及び光源制御部350により行うことができる。
ステップS22では、計測補助光によりスポットが形成された被写体の画像を撮像する。観察距離が計測範囲内である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)スポットの位置が異なり、表示すべきマーカの大きさ(ピクセル数)がスポットの位置に応じて異なる。
<観察距離に応じたスポット位置の変化>
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系130の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図9(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとすると、範囲R1の至近端E1、中央付近の距離E2、及び最遠端E3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図9において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行っている。図9における範囲R1及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」に対応する。
図10は図6と同様に先端硬質部116を正面から見た状態を示す図であり、撮像光学系130の光軸L2、計測補助光の光軸L1、及び撮像素子134の撮像範囲R2の関係を仮想的に示した図である。図10は光軸L1,L2が同一平面上に存在し、その平面上で交差する場合を示している。図10の例では、観察距離に応じたスポット位置P4,P5,P6(観察距離がそれぞれ至近端付近、中央付近、最遠端付近の場合に対応)を示している。
図10に示すように、観察距離が至近端付近の場合のスポット位置P4と最遠端付近の場合のスポット位置P6とは、撮像光学系130の光軸L2に対し反対側に位置することが分かる。したがって第1の実施形態では観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。
このように、撮像画像内(撮像素子134上)のスポット位置は撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば直径5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置(座標)と、被写体における計測対象の実寸サイズを示し撮像光学系130の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶しておき、計測したスポット位置(座標)に応じて記憶された情報を参照することで、円形マーカを示す点の座標を取得することができる。円形マーカを示す点の座標を取得する際に観察距離そのものを測定する必要がないので、構成が簡易で処理負荷が低い。
図8のフローチャートに戻り、撮像素子134の撮像面におけるスポットの位置計測(ステップS24)について説明する。ステップS24におけるスポットの位置計測は、赤(R)色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図11の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度にしきい値を設けて二値化し、白部分(信号強度がしきい値より高い画素)の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号にしきい値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値がしきい値以下の画素のみを抽出することが好ましい。
なお、計測モードでは上述のようにスポットの画像取得(ステップS22)及び位置計測(ステップS24)に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。これによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。
ステップS26では、プロセッサ200(CPU210,画像処理部204)は、被写体における計測対象の実寸サイズを示し撮像光学系130の歪曲収差に応じて歪曲した円形マーカ(歪曲円形マーカ)を示す点の座標を取得する。上述のように、モニタ400上でのマーカの大きさは画像内の(即ち、撮像素子134の撮像面上の)スポットの位置に応じて異なるので、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系130の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけてメモリ212に記憶しておき、ステップS24で計測したスポット位置に応じてプロセッサ200がメモリ212を参照し、歪曲円形マーカを示す点の座標を取得する。スポット位置と歪曲円形マーカを示す点の座標との関係を求める手順については、詳細を後述する。
ステップS28では、観察画像及び歪曲円形マーカをモニタ400に表示する(例えば、図29の例を参照)。この際、歪曲円形マーカがスポットから離れた位置に表示されると指標として不正確になるので、観察画像におけるスポットの近傍に(例えば、スポットを中心として)歪曲円形マーカを表示する。なお、観察画像及び歪曲円形マーカを表示する際に画像の歪曲収差を補正する必要はない。このため補正により画像の見た目が変わることがなく、観察者が違和感を覚えずに画像を観察することができる。実寸サイズの異なる歪曲円形マーカ(例えば、3mm,5mm等)を同心円状に表示してもよいし、歪曲円形マーカに加え他のマーカ(例えば、十字型マーカ)を表示してもよい。また、表示条件(マーカの種類、数、実寸サイズ、色等)は、操作部208を介したユーザの操作により設定することができる。
ステップS30では計測モードを終了するか否かを判断する。この判断は操作部208を介したユーザ操作に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28の処理を繰り返す。ステップS30の判断が肯定されるとステップS32に進んで計測補助光を消灯し、続いてステップS34で照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
以上説明したように、第1の実施形態に係る内視鏡システム10では簡易な構成で正確な指標(歪曲円形マーカ)を表示でき、これにより被写体の大きさを正確かつ容易に計測することができる。
<歪曲円形マーカを示す点の座標>
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と歪曲円形マーカを示す点の座標とを関連づけてメモリ212(記憶部)に記憶しておき、計測したスポット位置に応じてメモリ212を参照して座標を取得する。以下、座標の記憶について説明する。
<マーカ座標の記憶>
第1の実施形態では、観察距離(撮像距離)を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、歪曲円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸L1と撮像光学系130の光軸L2との関係により定まり、図10に示す関係の場合は直線となるが、撮像光学系130に歪曲収差がある場合はその歪曲収差に応じて歪曲する。
図12は座標記憶の様子を示す図であり、スポットの軌跡T1におけるK個の点(点P1〜PK;Kは2以上の整数)について歪曲円形マーカを示す点の座標を記憶する様子を示す。点P1〜点PKは歪曲円形マーカによる大きさ計測が有効な範囲(軌跡T1の実線部分;図9における一点鎖線の内側に対応)であり、点P1が計測有効範囲の至近端である場合のスポット位置を示し、点PKが最遠端である場合のスポット位置を示す。なお、図12における軌跡T1は仮想的に示したものである。
スポットが軌跡T1の点線部分(撮像画像の周辺部分)に存在する場合は歪曲収差が大きくなり、またスポットが軌跡T1の至近端側(点線T1N部分)に存在する場合は歪曲円形マーカの一部が画像外となる、あるいは最遠端側(点線T1F部分)に存在する場合はマーカが小さくなる等の問題があり、いずれも計測に適さない。そこで第1の実施形態では、歪曲円形マーカによる計測対象の大きさ計測が有効なスポット位置の範囲に対応して座標を記憶する。
図13はスポット位置と歪曲円形マーカを示す点の座標との関係を示す図であり、点Pi(スポットの位置)を中心としたL個の点(点Pi1,Pi2,…,Pij,…,PiL;Lは整数)により歪曲円形マーカを示している。Lの値はマーカの形状精度の要求に基づいて決めることができ、数が多いほど正確なマーカを表示することができる。L個の点の間を直線または曲線でつないでもよい。また、図14はスポット位置と歪曲円形マーカを示す点の座標とを関連づけて記憶する様子を示す。歪曲円形マーカを示す点の座標(例えば、点Piに対し点Pi1〜PiLの座標)の生成については後述する。
<座標の取得>
歪曲円形マーカを表示する場合は、プロセッサ200(CPU210,画像処理部204)が、計測したスポットの座標に基づいてメモリ212(記憶部)を参照して歪曲円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。以下、座標取得の具体的態様を説明する。
<座標取得の態様1>
図15は、スポットが移動する軌跡T1において歪曲円形マーカを示す点の座標が記憶された複数の点(図12〜14の例ではK個)のうち、計測されたスポットとの距離がしきい値以下の点に対応して歪曲円形マーカを示す点の座標を取得する様子を示す図である。図15の例では、点P2とスポットが存在する点Piとの距離がD1であり、点P3と点Piとの距離がD2である(点P2,P3に対し、歪曲円形マーカを示す点の座標が記憶されている)。また、スポットとの距離に対するしきい値をTHとすると、TH<D1、TH>D2であるものとする。この場合、態様1ではスポットとの距離がしきい値以下である点P2に対し記憶されている座標(図12〜14の例ではL個)を、点Piにおける歪曲円形マーカを示す座標として取得する。スポットとの距離がしきい値以下の点が複数ある場合は、スポットとの距離が最も近い点に対応する座標を取得してマーカの精度を向上させることが好ましい。なお、スポットとの距離の算出、及びしきい値との比較はプロセッサ200(CPU210,画像処理部204)により行うことができる。また、しきい値は歪曲円形マーカの精度、計測精度等に応じて決めることができる。
<座標取得の態様2>
態様2では、スポットが移動する軌跡における複数の点のうち、計測されたスポットを挟む2つ以上の点に対応した座標を内挿して歪曲円形マーカを示す点の座標を取得する。図16の例では、点P2に対する座標(L個;図13,14参照)と、点P3に対する座標(L個;図13,14参照)とを対応する点同士(例えば、図14に示す点P21と点P31)で内挿して、点Piに対するL個の点の座標を取得する。内挿の計算はプロセッサ200(CPU210,画像処理部204)により行うことができる。
<座標取得の態様3>
態様3では、軌跡における複数の点のうちスポットを挟まない2つ以上の点に対応した座標を外挿して歪曲円形マーカを示す点の座標を取得する。図17の例では、点P1に対する座標(L個;図13,14参照)と、点P2に対する座標(L個;図13,14参照)とを対応する点同士(例えば、図14に示す点P11と点P21)で外挿して点Piに対するL個の点の座標を取得する。外挿の計算はプロセッサ200(CPU210,画像処理部204)により行うことができる。
<その他の態様>
上述した態様1〜3では、歪曲円形マーカを示す点の座標は軌跡上の一部の点について記憶しておけばよい。これに対し、軌跡上の全ての点(画素)に対して座標を記憶しておき、記憶された座標をそのまま取得してもよい。このような態様の場合、点同士の距離の計算、補間計算等を省略することができる。
<歪曲円形マーカを示す点の座標生成及び記憶>
次に、歪曲円形マーカを示す点の座標生成及び記憶の具体的態様について説明する。
<実施例1>
<実測点の補間による座標生成及び記憶>
図18は、実施例1における座標生成及び記憶の処理を示すフローチャートである。実施例1では、実測した点(第1の点)及び実測した点を補間して生成した点(第2の点)を、歪曲円形マーカを示す点の座標として記憶する。座標の実測、変換等(図18のフローチャートにおける各処理)はプロセッサ200(CPU210、画像処理部204)により行うことができ、生成された座標はメモリ212(記憶部)に記憶される。
まず、処理対象とする実寸サイズ(以下では直径5mmとして説明するが、計測目的に応じて異なる値でもよい)に対し、歪曲円形マーカによる計測が有効な距離範囲(図9の範囲R1を参照)において設定した撮像距離で、計測補助光を照射して方眼紙のような正方格子状のチャートを撮像する(ステップS100)。撮像するチャートは、格子の間隔が実寸サイズ以下であり、かつ間隔ができるだけ細かいことが好ましい。また、格子の間隔が所望の実寸サイズの(1/整数)の間隔である(歪曲円形マーカの実寸サイズが直径5mmの場合、格子の間隔が0.5mm,1mm,1.25mm,2.5mm等)ことが好ましい。また、手元操作部102を操作して先端硬質部116の向きを変えスポットが格子の交点に位置した状態で撮像することにより、以下に示す第1の点の特定を容易にすることが好ましい。
次に、撮像画像におけるスポットの位置を計測する(ステップS102)。図19は0.5mm間隔の正方格子状のチャートを撮影した場合の例を示す図であり、点SP1がレーザ光(計測補助光)により形成されたスポットを示す。撮像画像において、正方格子状のチャートは撮像光学系130の歪曲収差により歪曲している。このような画像において、スポットの位置(点SP1の位置)を計測し(ステップS102)、続いて第1の点の位置を計測(実測)する(ステップS104)。図19の例において第1の点は点SP1を中心とした円上の4点(点SPa,SPb,SPc,SPd)であり、正方格子で見たときに点SP1の上下左右に存在する4点である。図19の例では実寸サイズが直径5mm、格子の間隔が0.5mmなので、上述した4点は点SP1から上下左右に格子5個分離れた点であり、ユーザは撮像画像で容易にこれらの4点を特定することができる(例えば、操作部208が有するマウスでこれら4点をクリックする)。この特定結果に基づいて第1の点の位置を計測することができる。
第1の点の座標を計測したら、第1の点の座標を補間して第2の点の座標を生成する(ステップS106)。図20は第2の点の座標を生成する様子を説明するための図であり、点SP1を中心として第1の点(点SPa,SPb,SPc,SPd)を相対的に表示している。第2の点の座標は、例えば第1の点を円の角度方向及び径方向に線形補間(θ、r(θ)を等間隔に補間)して生成することができる。具体的には、点SPaと点SPbとの間ではこれら2点の座標((Xa,Ya),(Xb,Yb))を用いて以下のように第2の点(点SPi)の座標(極座標系では(θi,r(θi))、直交座標系では(Xi,Yi))を算出することができる。なお、以下の式において点SPa,SPbの間に(n−1)個(nは2以上の整数)の第2の点を生成するものとし、iは0以上n以下の整数とする。
Figure 2018159292
同様に、点SPbと点SPcの間、点SPcと点SPdの間、及び点SPdと点SPaの間についても補間により第2の点の座標を生成することができる。第2の点の座標が生成されたら、歪曲円形マーカを示す点の座標として、第1の点及び第2の点の座標をスポットの位置(図20の例では点SP1の実際の位置)と関連づけてメモリ212に記憶する(ステップS108)。記憶の様子は例えば図14のようになり、この場合第1の点及び第2の点の合計数はL個である。設定した撮像距離について座標取得、生成、及び記憶が終了したらステップS100に戻り、距離範囲(図9の範囲R1)における異なる撮像距離について処理を繰り返す。また、実寸サイズを変えて上述の処理を繰り返し、複数の実寸サイズ(3mm,5mm,10mm等)について座標を記憶してもよい。この場合、実寸サイズの異なる歪曲円形マーカ(例えば、3mm,5mm等)を同心円状に表示してもよい。
<実施例2>
<射影変換による座標生成及び記憶>
次に、歪曲円形マーカを示す点の座標生成及び記憶の実施例2について説明する。実施例2では、射影変換により正方格子に変換した領域で円形マーカの座標を算出し、算出した座標を逆変換して歪曲格子領域における歪曲円形マーカの座標を取得する。座標の生成、変換(図21のフローチャートにおける各処理)等の処理はプロセッサ200(CPU210、画像処理部204)により行うことができ、生成された座標はメモリ212(記憶部)に記憶される。
図21は、実施例2における座標生成及び記憶の処理を示すフローチャートである。まず、実施例1のステップS100と同様に、計測補助光を照射して正方格子状のチャートを撮像する(ステップS200)。撮像するチャートと実寸サイズとの関係は実施例1について上述したものと同様とすることが好ましい。撮像したら、スポットの位置を計測する(ステップS202)。図22は、撮像距離が計測距離範囲(計測を有効に行える撮像距離の範囲)の至近端(図9の至近端E1に相当)の場合に、スポット(点SP2)を中心とする円形マーカを包接する歪曲格子領域QNを示している。スポットの軌跡T2は仮想的な表示である。正方格子状のチャートを撮像するので、実施例1と同様にスポットの位置及びマーカの実寸サイズに基づいて歪曲格子領域QNを特定することができる。なお、歪曲格子領域QNは本来正方格子(正方形)であるが、撮像画像においては撮像光学系130の歪曲収差により歪曲している。
<変換行列による正方格子領域への変換>
ステップS204では、マーカを包接する歪曲格子領域(図22の例では歪曲格子領域QN)をアフィン変換(射影変換の一態様)により図23に示すような正方格子領域SQに変換する。変換行列及び逆行列は、内視鏡システム10の製造後の検査により求めておく。例えば、格子状チャートを撮影した画像の格子点の座標を計測し、この座標を正方格子点に変換するアフィン変換行列を求める。アフィン変換行列を求める領域は、撮像距離が計測距離範囲の至近端の場合の歪曲格子領域QN(スポット位置は点SP2)と最遠端の場合の格子領域QF(スポット位置は点SP3)とを含む、撮像画像の一部に設定された格子領域QD(図24参照)であり、画像全体について変換行列を記憶しておく必要はない。なお、図24では正方格子状の領域が撮像光学系130の歪曲収差により樽型に歪曲した場合の例を示している。
実施例2では、このような格子領域QDを2×m×n個(m,n:整数)の三角形状の小領域(図25参照)に分割し、分割した小領域のそれぞれについてアフィン変換行列及びその逆行列を記憶する。格子領域QDの画素のうち、同一の小領域に属する画素に対しては同一の変換行列及びその逆行列を適用する。なお、図26(格子領域QDのうち格子領域QF付近を拡大)に示すように、「2×m×n個に分割された小領域の大きさG1」が「撮像距離が最遠端の場合の格子領域QFの格子の大きさG2」よりも小さくなるように分割する。このような分割により、マーカの表示サイズが小さくなる最遠端においても正確な歪曲円形マーカを表示することができる。
なお、実施例2ではアフィン変換行列により歪曲格子から正方格子への変換を行う場合について説明しているが、ホモグラフィ行列により変換を行ってもよい。上述のようにアフィン変換行列では小領域が三角形状(3点で構成される)であるのに対し、ホモグラフィ行列では四角形状(4点で構成される)にできるため、小領域の数を減らすことができる。
<円形マーカの座標算出>
ステップS204により歪曲格子領域QNが正方格子領域SQに変換されたら、図27に示すように正方格子領域SQにおいて円形マーカM1を示す点の座標を算出する(ステップS206)。正方格子領域に変換されているので、円形マーカの座標を容易に算出することができる。
<円形マーカの座標を歪曲座標に変換>
円形マーカの座標が得られたら、上述した変換行列の逆行列を用いて歪曲円形マーカM1Aに変換する(ステップS208;図28参照)。歪曲円形マーカM1Aは、図8のフローチャート(ステップS28)について説明したように、撮像画像に重畳して表示される。図29は表示の例であり、腫瘍tm上に形成されたスポット(点SP2)を中心とする歪曲円形マーカM1Aが表示された様子を示している。
歪曲円形マーカM1Aの座標が生成されたら、スポットの位置(図22の例では点SP2)と関連づけてメモリ212に記憶する(ステップS210)。記憶の様子は例えば図14のようになり、この場合マーカを示す点の数はL個である。設定した撮像距離について座標取得、生成、及び記憶が終了したらステップS200に戻り、距離範囲(図9の範囲R1)における異なる撮像距離について処理を繰り返す。また、実寸サイズを変えて上述の処理を繰り返し、複数の実寸サイズ(3mm,5mm,10mm等)について座標を記憶してもよい。この場合、実寸サイズの異なる歪曲円形マーカ(例えば、3mm,5mm等)を同心円状に表示してもよい。
<その他>
本発明の計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。
以上で本発明の実施形態及び実施例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
AL1 頂角
E1 至近端
E2 距離
E3 最遠端
IA 撮像範囲
L1 光軸
L2 光軸
M1 円形マーカ
M1A 歪曲円形マーカ
P1 点
P2 点
P3 点
Pi 点
Pi1 点
Pi2 点
Pij 点
PiL 点
PK 点
P4 スポット位置
P5 スポット位置
P6 スポット位置
Q1 矢印
Q2 矢印
Q3 矢印
QD 格子領域
QF 格子領域
QN 歪曲格子領域
R1 範囲
R2 撮像範囲
S10〜S210 計測支援方法の各ステップ
SQ 正方格子領域
T1 軌跡
T2 軌跡
tm 腫瘍

Claims (14)

  1. 計測補助光を出射するヘッドと、
    前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、
    前記画像における前記スポットの座標を計測する計測部と、
    前記スポットの座標と、前記被写体における計測対象の実寸サイズを示し前記撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶する記憶部であって、前記画像の撮像距離を変化させた場合に前記スポットが前記画像を移動する軌跡における複数の点に対して前記円形マーカを示す点の座標を記憶する前記記憶部と、
    前記計測した前記スポットの座標に基づいて前記記憶部を参照して、前記スポットの座標に対応する前記円形マーカを示す点の座標を取得する座標取得部と、
    前記取得した座標に基づいて前記画像における前記スポットの近傍に前記円形マーカを表示させる表示制御部と、
    を備え、
    前記ヘッドは、前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る前記計測補助光を出射する、計測支援装置。
  2. 前記座標取得部は、前記複数の点のうち前記スポットとの距離がしきい値以下の点に対応した前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
  3. 前記座標取得部は、前記複数の点のうち前記スポットを挟む2つ以上の点に対応した座標を内挿して前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
  4. 前記座標取得部は、前記複数の点のうち前記スポットを挟まない2つ以上の点に対応した座標を外挿して前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
  5. 前記記憶部は、前記画像において前記円形マーカによる計測対象の大きさ計測が有効な範囲に対応して前記円形マーカを示す点の座標を記憶する請求項1から4のいずれか1項に記載の計測支援装置。
  6. 前記記憶部は、前記スポットを中心とした円に対応して実測した複数の第1の点の座標と、前記複数の第1の点を補間して生成した複数の第2の点の座標と、を前記円形マーカを示す点の座標として記憶し、
    前記座標取得部は前記複数の第1の点の座標と前記複数の第2の点の座標とを前記円形マーカを示す点の座標として取得する請求項1から5のいずれか1項に記載の計測支援装置。
  7. 前記記憶部は、前記複数の第1の点を前記円の角度方向及び径方向に線形補間した点の座標を前記複数の第2の点の座標として記憶する請求項6に記載の計測支援装置。
  8. 前記記憶部は、前記画像において前記スポットを中心とした前記円形マーカを含む歪曲格子領域を正方格子領域に射影変換する変換行列を記憶し、
    前記座標取得部は、前記変換行列により変換された前記正方格子領域における前記円形マーカを示す点の座標を取得し、前記取得した座標を前記変換行列の逆行列により逆変換して前記歪曲格子領域における前記円形マーカを示す点の座標を取得する、請求項1から5のいずれか1項に記載の計測支援装置。
  9. 前記記憶部は、m及びnを正の整数とした場合に前記歪曲格子領域及び前記正方格子領域を2×m×n個に分割した複数の小領域のそれぞれについて前記変換行列を記憶し、
    前記座標取得部は、前記画像の画素のうち同一の小領域に属する画素に対しては、前記複数の変換行列のうちの同一の変換行列及び前記複数の逆行列のうちの同一の逆行列を適用する請求項8に記載の計測支援装置。
  10. 前記記憶部は、前記撮像距離が計測距離範囲の最遠端である場合の前記歪曲格子領域及び前記計測距離範囲の至近端である場合の前記歪曲格子領域を含む、前記画像における一部の領域を分割した複数の領域であって、前記最遠端における前記歪曲格子領域の格子の大きさよりも小さく分割された前記複数の領域を前記複数の小領域として前記変換行列を記憶し、
    前記座標取得部は、前記複数の小領域に対して記憶された前記変換行列を用いて前記円形マーカを示す点の座標を取得する、請求項9に記載の計測支援装置。
  11. 前記変換行列はアフィン変換行列である請求項8から10のいずれか1項に記載の計測支援装置。
  12. 請求項1から11のいずれか1項に記載の計測支援装置を備える内視鏡システム。
  13. 被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
    前記ヘッドと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる請求項12に記載の内視鏡システム。
  14. 請求項12または13に記載の内視鏡システムのプロセッサであって、前記計測部と、前記記憶部と、前記座標取得部と、前記表示制御部と、を備えるプロセッサ。
JP2019502861A 2017-03-03 2018-02-14 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ Active JP6898425B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017040618 2017-03-03
JP2017040618 2017-03-03
PCT/JP2018/005058 WO2018159292A1 (ja) 2017-03-03 2018-02-14 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ

Publications (2)

Publication Number Publication Date
JPWO2018159292A1 true JPWO2018159292A1 (ja) 2019-11-07
JP6898425B2 JP6898425B2 (ja) 2021-07-07

Family

ID=63370775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502861A Active JP6898425B2 (ja) 2017-03-03 2018-02-14 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ

Country Status (4)

Country Link
US (1) US10708553B2 (ja)
EP (1) EP3590407B1 (ja)
JP (1) JP6898425B2 (ja)
WO (1) WO2018159292A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11931010B2 (en) * 2017-03-24 2024-03-19 Covidien Lp Endoscopes and methods of treatment
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
WO2019207742A1 (ja) * 2018-04-26 2019-10-31 オリンパス株式会社 内視鏡用光モジュール、内視鏡、および内視鏡用光モジュールの製造方法
JP2020005745A (ja) * 2018-07-04 2020-01-16 富士フイルム株式会社 内視鏡装置
JP7099971B2 (ja) * 2019-03-04 2022-07-12 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP2020151250A (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
CN115066196A (zh) 2020-02-06 2022-09-16 富士胶片株式会社 医用图像处理装置、内窥镜系统、医用图像处理方法及程序
CN111325802B (zh) * 2020-02-11 2023-04-25 中国空气动力研究与发展中心低速空气动力研究所 一种直升机风洞试验中圆形标记点识别匹配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02216404A (ja) * 1989-02-17 1990-08-29 Olympus Optical Co Ltd 計測用内視鏡装置
JPH03231622A (ja) * 1990-02-06 1991-10-15 Olympus Optical Co Ltd 内視鏡装置
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP2011015721A (ja) * 2009-07-07 2011-01-27 Fa System Engineering Kk 立体映像表示装置の立体スケール像形成装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3595220A (en) * 1967-08-08 1971-07-27 Olympus Optical Co Device for measuring the distance of an object from the forward end portion of an endoscope
US3817635A (en) * 1967-08-08 1974-06-18 Olumpus Co Ltd Device for measuring the actual dimension of an object at the forward end portion of an endoscope
JPS60182407A (ja) * 1984-02-29 1985-09-18 Olympus Optical Co Ltd 測長内視鏡
US4935810A (en) * 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
JPH0473763A (ja) 1990-07-16 1992-03-09 Kansai Paint Co Ltd 光硬化性電着塗料組成物
JPH04323505A (ja) * 1991-04-23 1992-11-12 Minolta Camera Co Ltd 測長装置を内蔵したカメラ
JP3446272B2 (ja) 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
WO2006120690A2 (en) * 2005-05-13 2006-11-16 G.I. View Ltd. Endoscopic measurement techniques
JP5026769B2 (ja) 2006-11-14 2012-09-19 オリンパス株式会社 計測用内視鏡装置、プログラム、および記録媒体
JP2011069965A (ja) 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP5684033B2 (ja) * 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
CN110136191B (zh) * 2013-10-02 2023-05-09 基文影像公司 用于体内对象的大小估计的系统和方法
CN106535734B (zh) 2014-09-25 2018-02-13 奥林巴斯株式会社 内窥镜系统
WO2017168986A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02216404A (ja) * 1989-02-17 1990-08-29 Olympus Optical Co Ltd 計測用内視鏡装置
JPH03231622A (ja) * 1990-02-06 1991-10-15 Olympus Optical Co Ltd 内視鏡装置
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP2011015721A (ja) * 2009-07-07 2011-01-27 Fa System Engineering Kk 立体映像表示装置の立体スケール像形成装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム

Also Published As

Publication number Publication date
EP3590407A1 (en) 2020-01-08
JP6898425B2 (ja) 2021-07-07
EP3590407A4 (en) 2020-04-08
WO2018159292A1 (ja) 2018-09-07
EP3590407B1 (en) 2021-09-15
US10708553B2 (en) 2020-07-07
US20190306467A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
WO2018159292A1 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
WO2018051679A1 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
WO2018051680A1 (ja) 内視鏡システム
US11555997B2 (en) Endoscope with integrated measurement of distance to objects of interest
US11419694B2 (en) Endoscope system measuring size of subject using measurement auxiliary light
US11490785B2 (en) Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light
EP2719321B1 (en) Image pickup unit for endoscope and endoscope
JPWO2013179760A1 (ja) 内視鏡システム
WO2018055933A1 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP6736670B2 (ja) 内視鏡システム
WO2017212909A1 (ja) 撮像素子、撮像装置、電子機器
JP2016524958A (ja) 内視鏡小型撮像システム
JP5953443B2 (ja) 内視鏡システム
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
JP6352673B2 (ja) 内視鏡装置及び内視鏡装置の操作方法
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
US10921577B2 (en) Endoscope device
JP6504701B2 (ja) 内視鏡
US20230255444A1 (en) Imaging system, endoscope system, and control method
JP2023553792A (ja) 撮像システム、腹腔鏡及び対象物を撮像するための方法
WO2017064746A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JP2017086803A (ja) 計測装置、内視鏡システム、及び計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200813

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201102

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201203

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210408

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210608

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210610

R150 Certificate of patent or registration of utility model

Ref document number: 6898425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250