JP7185046B2 - 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム - Google Patents

内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム Download PDF

Info

Publication number
JP7185046B2
JP7185046B2 JP2021533935A JP2021533935A JP7185046B2 JP 7185046 B2 JP7185046 B2 JP 7185046B2 JP 2021533935 A JP2021533935 A JP 2021533935A JP 2021533935 A JP2021533935 A JP 2021533935A JP 7185046 B2 JP7185046 B2 JP 7185046B2
Authority
JP
Japan
Prior art keywords
insertion portion
magnetic field
shape
endoscope
shape display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533935A
Other languages
English (en)
Other versions
JPWO2021014991A5 (ja
JPWO2021014991A1 (ja
Inventor
央奈 弓部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021014991A1 publication Critical patent/JPWO2021014991A1/ja
Publication of JPWO2021014991A5 publication Critical patent/JPWO2021014991A5/ja
Application granted granted Critical
Publication of JP7185046B2 publication Critical patent/JP7185046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本開示は、内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムに関する。
大腸などの下部消化管を観察するための内視鏡が知られている。下部消化管は、比較的直線的に伸びる食道などの上部消化管と異なり、複雑に湾曲している。そのため、患者などの被検体内である下部消化管内に挿入された内視鏡は、内視鏡の挿入部も複雑に湾曲する。このような被検体内に挿入される内視鏡の挿入部の形状を把握するために、被検体内の内視鏡の挿入部の形状を検出する内視鏡形状検出装置(例えば、特開2004-551号公報参照)が知られている。
特開2004-551号公報に記載の内視鏡形状検出装置は、磁気を利用して、被検体内の挿入部の形状を画像化するための情報を取得することにより、取得した情報に基づいて挿入部の形状を画像化する機能を備えている。例えば、内視鏡の挿入部内には、複数の磁界発生素子が間隔を空けて配置されている。内視鏡形状検出装置は、挿入部内の各磁界発生素子が発生する磁界を、被検体の外側に配置された磁界検出素子で検出する。検出された各磁界発生素子の磁界の強さは、被検体の外側の磁界検出素子に対する挿入部の各部の位置を表すため、特開2004-551号公報に記載の内視鏡形状検出装置は、各磁界発生素子の磁界の強さの情報を、挿入部の形状を画像化するための情報として用いて、挿入部の形状を示す画像を生成する。そして、生成された画像をモニタに表示し、術者(例えば、医師)などのユーザに提示する。
特開2004-551号公報の内視鏡形状検出装置における画像化の手順は、例えば次のように行われる。まず、特開2004-551号公報の内視鏡形状検出装置は、挿入部の形状を画像化するための情報(例えば、上述の磁界の強さの情報)に基づいて、挿入部の各部の位置を特定することにより、挿入部の3次元モデルを生成する。次に、挿入部の3次元モデルに対してレンダリング処理を行い、モニタに表示するための2次元画像を生成する。この2次元画像は、挿入部の3次元モデルを、任意に設定することが可能な1つの視点から見た挿入部の形状を示す画像であり、以下において、形状表示画像という。
内視鏡の挿入部が被検体内でループ状に湾曲した場合、設定した視点によっては、形状表示画像内において、挿入部の異なる部分同士が交差する。特開2004-551号公報では、交差した部分同士の前後を表現するために、レンダリング処理の際に陰線処理あるいは隠れ面処理を施すことが記載されている。
しかしながら、形状表示画像の表示倍率によっては、内視鏡の挿入部は、形状表示画像中において細い線状に表示されてしまう場合があるため、交差部分に対して、陰線処理あるいは隠れ面処理を施したとしても、ユーザが交差部分の前後を瞬時に判断することが難しいという問題があった。
本開示の技術は、被検体内に挿入されている状態の内視鏡の挿入部の形状を表示する形状表示画像において、挿入部の重なり具合が視認し易い形状表示画像を表示することが可能な内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムを提供することを目的とする。
本開示の一態様に係る内視鏡形状表示制御装置は、少なくとも1つのプロセッサを備え、プロセッサは、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得し、取得した情報に基づいて、挿入部の形状を表示する形状表示画像を生成する際に、形状表示画像において、挿入部を、表面に模様を付して表示する。
上記態様の内視鏡形状表示制御装置においては、模様は、形状表示画像に表示される挿入部の全領域に対して付されてもよい。
また、上記態様の内視鏡形状表示制御装置においては、模様は、挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションであってもよい。この場合、グラデーションは、緑色から青色に変化するものとしてもよい。
また、上記態様の内視鏡形状表示制御装置においては、模様は、縞模様としてもよい。
また、上記態様の内視鏡形状表示制御装置においては、模様は、ワイヤーフレーム模様としてもよい。
また、上記態様の内視鏡形状表示制御装置においては、プロセッサは、模様に加えて、挿入部に陰影処理を施してもよい。
また、上記態様の内視鏡形状表示制御装置においては、挿入部の形状を画像化するための情報は、挿入部内に設けられた複数の磁界発生素子または複数の磁界検出素子を利用して得た磁界測定データに基づく情報としてもよい。
本開示の一態様に係る内視鏡形状表示制御装置の作動方法は、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得ステップと、取得した情報に基づいて、挿入部の形状を示す形状表示画像を生成する画像生成ステップであって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成ステップとを備える。
本開示の一態様に係る内視鏡形状表示制御装置の作動プログラムは、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得部と、取得した情報に基づいて、挿入部の形状を示す形状表示画像を生成する画像生成部であって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成部としてコンピュータを機能させる。
本開示の技術によれば、被検体内に挿入されている状態の内視鏡の挿入部の形状を表示する形状表示画像において、挿入部の重なり具合が視認し易い形状表示画像を表示することが可能な内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムを提供することができる。
内視鏡システムを用いた内視鏡検査の様子を示す説明図である。 内視鏡システムの全体構成を示す概略図である。 内視鏡システムの電気的構成を示すブロック図である。 複数の発生コイルが発生する磁界を、複数の検出コイルが検出する様子を示す説明図である。 磁界測定データの一例を示す説明図である。 判別部による判別処理と、位置検出部による各検出コイルの位置検出処理とを説明するための説明図である。 挿入部の形状検出処理の一例を示す説明図である。 画像生成部の機能ブロック図である。 表示制御部による形状表示画像の生成処理の流れを説明するためのフローチャートである。 挿入部の3Dモデル生成処理の一例を示す説明図である。 色相環の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。
[内視鏡システムの全体構成]
図1は、本開示の技術に係る内視鏡形状表示制御装置を備えた内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、内視鏡10と、光源装置11と、ナビゲーション装置12と、磁界発生器13と、プロセッサ装置14と、モニタ15と、を備える。内視鏡システム9は、患者などの被検者Hの体内の内視鏡検査に用いられる。被検者Hは、被検体の一例である。この内視鏡10は、例えば、大腸などの消化管内に挿入される内視鏡であり、可撓性を有する軟性内視鏡である。内視鏡10は、消化管内に挿入される挿入部17と、挿入部17の基端側に連設され且つ術者が把持して各種操作を行う操作部18と、操作部18に連設されたユニバーサルコード19と、を有する。
内視鏡検査は、例えば、被検者Hを寝台16の天面16Aに寝かせた状態で行う。大腸検査の場合は、医師である術者OPによって、内視鏡10の挿入部17が肛門から消化管内に挿入される。光源装置11は、観察部位である大腸内を照明する照明光を内視鏡10に供給する。プロセッサ装置14は、内視鏡10で撮像された画像を処理することにより、観察画像41を生成する。観察画像41は、モニタ15に表示される。術者OPは、観察画像41を確認しながら内視鏡検査を進める。モニタ15に表示される観察画像41は、基本的には動画であるが、観察画像41として、必要に応じて静止画を表示することも可能である。
また、内視鏡システム9は、術者OPが行う内視鏡10の挿入操作などの手技をナビゲーションするナビゲーション機能を備えている。ここで、ナビゲーションとは、被検者Hの体内での内視鏡10の挿入部17の位置および形状を含む挿入状態を、術者OPに対して提示することにより、術者OPの内視鏡10の手技を支援することをいう。ナビゲーション機能は、磁界MFを利用して挿入部17の挿入状態を検出して、検出した挿入状態を提示する。
ナビゲーション機能は、ナビゲーション装置12と、磁界発生器13と、後述する内視鏡10内の磁界測定装置とによって実現される。磁界発生器13は、磁界MFを発生する。磁界発生器13は、例えば、スタンドに取り付けられており、被検者Hが横たわる寝台16の傍らに配置される。また、磁界発生器13は、発生する磁界MFが被検者Hの体内に届く範囲内に配置される。
内視鏡10内の磁界測定装置は、磁界発生器13が発生する磁界MFを検出し、検出した磁界MFの強さを測定する。ナビゲーション装置12は、磁界測定装置による磁界測定結果に基づいて、磁界発生器13と挿入部17との相対的な位置を導出することにより、挿入部17の挿入状態を検出する。プロセッサ装置14は、ナビゲーション装置12が検出した挿入状態を表す形状表示画像42を生成する。
モニタ15は、観察画像41と形状表示画像42とを表示する。なお、観察画像41と形状表示画像42とを表示するモニタ15がそれぞれ別に設けられていてもよい。
図2に示すように、挿入部17は、細径でかつ長尺の管状部分であり、基端側から先端側に向けて順に、軟性部21と、湾曲部22と、先端部23とが連接されて構成される。軟性部21は、可撓性を有する。湾曲部22は、操作部18の操作により湾曲可能な部位である。先端部23は、撮像装置48(図3参照)等が配置される。また、図2では図示しないが、先端部23の先端面には、観察部位に照明光を照明する照明窓46(図3参照)と、照明光が被写体で反射した被写体光が入射する観察窓47(図3参照)と、処置具が突出させるための処置具出口(図示せず)と、観察窓47に気体および水を噴射することにより、観察窓47を洗浄するための洗浄ノズル(図示せず)とが設けられている。
挿入部17内には、ライトガイド33と、信号ケーブル32と、操作ワイヤ(図示せず)と、処置具挿通用の管路(図示せず)とが設けられている。ライトガイド33は、ユニバーサルコード19から延設され、光源装置11から供給される照明光を、先端部23の照明窓46に導光する。信号ケーブル32は、撮像装置48からの画像信号および撮像装置48を制御する制御信号の通信に加えて、撮像装置48に対する電力供給に用いられる。信号ケーブル32も、ライトガイド33と同様に、ユニバーサルコード19から延設され、先端部23まで配設されている。
操作ワイヤは、湾曲部22を操作するためのワイヤであり、操作部18から湾曲部22までの間に配設される。処置具挿通用の管路は、鉗子などの処置具(図示せず)を挿通するための管路であり、操作部18から先端部23まで配設される。挿入部17内には、この他、送気送水用の流体チューブが設けられる。流体チューブは、先端部23に、観察窓47の洗浄用の気体および水を供給する。
また、挿入部17内には、軟性部21から先端部23にかけて複数の検出コイル25が予め設定された間隔で設けられている。各検出コイル25は、磁界MFを検出する磁界検出素子に相当する。各検出コイル25は、それぞれ磁界発生器13から発生した磁界MFの影響を受けることにより、電磁誘導の作用により誘導起電力を生じ、誘導起電力によって誘導電流を発生する。各検出コイル25から発生した誘導電流の値は、各検出コイル25でそれぞれ検出した磁界MFの強さを表し、これが磁界測定結果となる。すなわち、磁界測定結果とは、磁界MFの強さを表す誘導電流の大きさに応じた値をいう。
操作部18には、術者によって操作される各種操作部材が設けられている。具体的には、操作部18には、2種類の湾曲操作ノブ27と、送気送水ボタン28と、吸引ボタン29と、が設けられている。2種類の湾曲操作ノブ27は、それぞれが操作ワイヤに連結されており、湾曲部22の左右湾曲操作および上下湾曲操作に用いられる。また、操作部18には、処置具挿通用の管路の入口である処置具導入口31が設けられている。
ユニバーサルコード19は、内視鏡10を光源装置11に接続するための接続コードである。ユニバーサルコード19は、信号ケーブル32と、ライトガイド33と、流体チューブ(不図示)とを内包している。また、ユニバーサルコード19の端部には、光源装置11に接続されるコネクタ34が設けられている。
コネクタ34を光源装置11に接続することで、光源装置11から内視鏡10に対して、内視鏡10の運用に必要な電力と制御信号と照明光と気体と水とが供給される。また、先端部23の撮像装置48(図2参照)により取得される観察部位の画像信号と、各検出コイル25の検出信号に基づく磁界測定結果とが、内視鏡10から光源装置11へ送信される。
コネクタ34は、光源装置11との間で、金属製の信号線等を用いた電気的な有線接続はされず、その代わりに、コネクタ34と光源装置11とは、光通信(例えば、非接触型通信)により通信可能に接続される。コネクタ34は、内視鏡10と光源装置11の間で遣り取りされる制御信号の送受信と、内視鏡10から光源装置11への画像信号および磁界測定結果の送信と、を光通信により行う。コネクタ34には、信号ケーブル32に接続されたレーザダイオード(Laser Diode:以下、LDという)36が設けられている。
LD36は、内視鏡10から光源装置11への大容量データの送信、具体的には画像信号および磁界測定結果の送信に用いられる。LD36は、元々は電気信号の形態であった、画像信号および磁界測定結果を光信号の形態で、光源装置11に設けられているフォトダイオード(Photodiode:以下、PDという)37に向けて送信する。
なお、図示は省略するが、LD36およびPD37とは別に、コネクタ34および光源装置11の双方には、内視鏡10と光源装置11との間で遣り取りされる小容量の制御信号を光信号化して送受信する光送受信部が設けられている。さらに、コネクタ34には、光源装置11の給電部(不図示)からワイヤレス給電により給電を受ける受電部(不図示)が設けられている。
コネクタ34内のライトガイド33は光源装置11内に挿入される。また、コネクタ34内の流体チューブ(不図示)は光源装置11を介して送気送水装置(不図示)に接続される。これにより、光源装置11および送気送水装置から内視鏡10に対して、照明光と気体および水とがそれぞれ供給される。
光源装置11は、コネクタ34を介して、内視鏡10のライトガイド33へ照明光を供給すると共に、送気送水装置(不図示)から供給された気体および水を内視鏡10の流体チューブ(不図示)へ供給する。また、光源装置11は、LD36から送信される光信号をPD37で受光し、受光した光信号を電気信号である元の画像信号および磁界測定結果に変換した後、ナビゲーション装置12へ出力する。
ナビゲーション装置12は、光源装置11から入力された、観察画像41生成用の画像信号をプロセッサ装置14へ出力する。また、ナビゲーション装置12は、後述の磁界発生器13の駆動を制御すると共に、被検者Hの体内の挿入部17の形状等を検出して、この検出結果を、形状表示画像42を生成するための情報として、プロセッサ装置14へ出力する。
このように、本例における内視鏡10は、光源装置11と接続する1つのコネクタ34を持つワンコネクタタイプである。内視鏡10は、コネクタ34が接続される光源装置11を介して、プロセッサ装置14およびナビゲーション装置12のそれぞれと通信可能に接続される。
磁界発生器13は、複数の磁界発生素子に相当する複数の発生コイル39を有している。各発生コイル39は、例えば、駆動電流の印加により、直交座標系XYZのXYZ座標軸にそれぞれ対応した方向に交流磁界(言い換えれば、交流磁場)を発生するX軸コイルとY軸コイルとZ軸コイルとを含む。各発生コイル39は、同じ周波数の磁界MFを発生する。各発生コイル39は、ナビゲーション装置12の制御の下、詳しくは後述するが、互いに異なるタイミングで磁界MFを発生する。
<内視鏡>
図3は、内視鏡システム9の電気的構成を示すブロック図である。図3に示すように、内視鏡10は、ライトガイド33と、照射レンズ45と、照明窓46と、観察窓47と、撮像装置48と、磁界検出回路49と、統括制御回路50と、信号ケーブル32と、LD36と、不図示の流体チューブおよび洗浄ノズルと、を有する。
ライトガイド33は、大口径光ファイバまたはバンドルファイバなどである。ライトガイド33の入射端は、コネクタ34を介して光源装置11内に挿入される。ライトガイド33は、コネクタ34内とユニバーサルコード19内と操作部18内とに挿通されており、挿入部17の先端部23内に設けられた照射レンズ45に、出射端が対向している。これにより、光源装置11からライトガイド33の入射端に供給された照明光は、照射レンズ45から先端部23の先端面に設けられた照明窓46を通して、観察部位に照射される。そして、観察部位で反射した照明光は、観察部位の像光として、先端部23の先端面に設けられた観察窓47を通して撮像装置48の撮像面に入射する。
なお、前述の流体チューブ(不図示)の一端側は、コネクタ34および光源装置11を通して送気送水装置(不図示)に接続されると共に、流体チューブ(不図示)の他端側は、挿入部17内等を通って先端部23の先端面に設けられた送気送水ノズル(不図示)に接続している。これにより、送気送水装置(不図示)から供給された気体または水が、送気送水ノズル(不図示)から観察窓47に噴射されて、観察窓47が洗浄される。
撮像装置48は、集光レンズ52と撮像素子53とを有する。集光レンズ52は、観察窓47から入射した観察部位の像光を集光し、かつ、集光した観察部位の像光を撮像素子53の撮像面に結像させる。撮像素子53は、CMOS(complementary metal oxide semiconductor)型またはCCD(charge coupled device)型の撮像素子である。撮像素子53は、例えば、各画素にR(Red)、G(Green)、B(Blue)のいずれかのマイクロフィルタが割り当てられたカラー撮像素子である。撮像素子53は、観察対象である観察部位を撮像する。より具体的には、撮像素子53は、撮像面に結像した観察部位の像光を撮像(すなわち、電気信号に変換)して、観察部位の画像信号を統括制御回路50へ出力する。
また、撮像素子53には、例えば水晶振動子等の基準信号(例えば、クロック信号)を出力する発振部53aが設けられており、この発振部53aから発振される基準信号を基準として、撮像素子53が動画を構成する画像信号を出力する。基準信号の間隔はフレームレートを規定する。フレームレートは例えば30fps(frames per second)である。
磁界検出回路49は、挿入部17内の各検出コイル25に電気的に接続している。磁界検出回路49は、磁界発生器13の発生コイル39から発生した磁界MFに応じた、各検出コイル25のそれぞれの磁界測定結果を含む磁界測定データ55を、統括制御回路50へ出力する。
統括制御回路50は、CPU(Central Processing Unit)を含む各種の演算回路と、各種のメモリとを含んで構成されており、内視鏡10の各部の動作を統括的に制御する。この統括制御回路50は、不図示のメモリに記憶された制御用のプログラムを実行することで、信号処理部57と、磁界測定制御部58と、画像信号出力部59として機能する。磁界検出回路49と、磁界測定制御部58とを合わせて磁界測定部を構成する。磁界測定部は、検出コイル25が出力する検出信号に基づいて、複数の磁界発生素子に相当する発生コイル39のそれぞれを発生元とする複数の磁界MFを測定することにより、磁界MF毎の磁界測定結果を出力する。磁界測定部と、検出コイル25とを合わせて磁界測定装置を構成する。
信号処理部57は、撮像素子53から順次出力される画像信号に対して各種信号処理を施す。信号処理としては、例えば、相関二重サンプリング処理、および信号増幅処理などのアナログ信号処理と、アナログ信号処理後にアナログ信号をデジタル信号に変換するA/D(Analog/Digital)変換処理などが含まれる。信号処理が施された後の画像信号をフレーム画像信号61と呼ぶ。信号処理部57は、フレームレートに従ってフレーム画像信号61を、画像信号出力部59へ出力する。フレーム画像信号61は、観察部位の動画像データとして使用される。このように、複数のフレーム画像信号61は、撮像素子53が動画撮影を実行することにより取得され、予め設定された時間間隔で出力される画像信号である。
磁界測定制御部58は、磁界検出回路49を介して各検出コイル25の複数の磁界測定結果を含む磁界測定データ55を取得し、取得した磁界測定データ55を、画像信号出力部59へ出力する。
図4に示すように、各検出コイル25の磁界測定結果は、各発生コイル39が発生する磁界の強さが同じであっても、例えば、磁界MFを発生する各発生コイル39と、各検出コイル25のそれぞれとの間の距離および向きに応じて変化する。例えば、図4に示す第1発生コイル39は、実線で示すように、第1~第3の各検出コイル25との距離および向きが異なる。そのため、1つの第1発生コイル39が発生する磁界MFについて、第1~第3の各検出コイル25のそれぞれの磁界測定結果は異なる。第2発生コイル39および第3発生コイル39のそれぞれと、第1~第3の各検出コイル25との関係も同様である。
また、反対に、第1~第3の各発生コイル39が発生する磁界MFの強さが同じであっても、各発生コイル39のそれぞれの磁界MFについての1つの第1検出コイル25の磁界測定結果は異なる。ここで、例えば、第1~第3の各発生コイル39がそれぞれX軸コイル、Y軸コイルおよびZ軸コイルである場合を考える。この場合は、X軸、Y軸およびZ軸の各コイルのそれぞれの磁界MFについての1つの第1検出コイル25の磁界測定結果に基づいて、XYZ座標軸に対応する、第1検出コイル25の三次元座標位置を検出することができる。第2検出コイル25および第3検出コイル25についても同様である。挿入部17に予め設定された間隔で設けられる各検出コイル25の三次元座標位置を検出することができれば、挿入部17の形状を検出することが可能である。
なお、実際には、磁界測定結果に基づいて、各検出コイル25の三次元座標位置に加えて、各検出コイル25の角度も検出される。三次元座標位置と角度の情報に基づいて挿入部17の形状が検出される。以下においては、煩雑化を避けるため、角度については省略して、三次元座標位置のみで説明する。
図5は、磁界測定制御部58が取得する磁界測定データ55の一例を説明するための説明図である。磁界測定制御部58は、複数の発生コイル39が発生する複数の磁界MFのそれぞれを、複数の各検出コイル25がそれぞれ検出し、各検出コイル25からそれぞれ出力される複数の磁界測定結果を含む磁界測定データ55を取得する。
図5において、(1)~(4)は、それぞれ1つの発生コイル39が発生する磁界MFについての、複数の検出コイル25のそれぞれの磁界測定結果を示すデータ列である。例えば、「D11」は第1番目の発生コイル39で発生した磁界MFを第1検出コイル25で検出した磁界測定結果である。「D12」は第1番目の発生コイル39で発生した磁界MFを「第2検出コイル」で検出した磁界測定結果である。同様に、「D42」は第4番目の発生コイル39で発生した磁界MFを第2検出コイル25で検出した磁界測定結果である。「D43」は第4番目の発生コイル39で発生した磁界MFを第3検出コイル25で検出した磁界測定結果である。
磁界測定制御部58は、磁界発生器13における各発生コイル39のそれぞれの磁界発生タイミングと同期を取りながら、各検出コイル25の磁界測定結果を順番に取得する。磁界測定制御部58は、例えば、後述する同期信号で規定される1回の磁界測定期間において、すべての発生コイル39のそれぞれの磁界MFについて、すべての検出コイル25のそれぞれの磁界測定結果を取得する。これにより、磁界測定制御部58は、1回の磁界測定期間において、各発生コイル39と各検出コイル25とのすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ55を取得する。
例えば、磁界発生器13内に9個の発生コイル39が設けられており、挿入部17内に17個の検出コイル25が設けられている場合は、各発生コイル39について17個の磁界測定結果が得られる。そのため、磁界測定制御部58は、1回の磁界測定期間内に、合計で、9×17=153個の磁界測定結果を含む磁界測定データ55を取得する。こうしたすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ55を、全磁界測定データと呼ぶ。本例においては、特に断りの無い限り、磁界測定データ55には、全磁界測定データが含まれるものとする。
画像信号出力部59は、図6に示すように、信号処理部57から順次入力される複数のフレーム画像信号61のそれぞれに対して、フレーム開始信号VDを付加して、フレーム画像信号61を出力する。図6において、「フレーム1」、「フレーム2」、「フレーム3」・・・は、便宜上示した、複数のフレーム画像信号61の出力順序を示すフレーム番号である。フレーム開始信号VDは、例えば、垂直同期信号である。
さらに、画像信号出力部59は、フレーム画像信号61に、磁界測定データ55を付加して、フレーム画像信号61を出力する。すなわち、画像信号出力部59が出力するフレーム画像信号61のすべてに対して、フレーム開始信号VDおよび磁界測定データ55が含まれる。磁界測定データ55は、図6に示すように、撮像素子53のブランキングタイムに対応する、各フレーム画像信号61の間の信号無効領域NDに付加される。ブランキングタイムは、例えば垂直ブランキング期間である。上述したとおり、フレーム開始信号VDも、複数のフレーム画像信号61の垂直ブランキング期間に含まれる信号である。
図3において、画像信号出力部59は、フレーム画像信号61を、信号ケーブル32を介して既述のLD36へ出力する。LD36は、フレーム画像信号61を光信号化した光信号を、光源装置11のPD37に向けて送信する。
このように、画像信号出力部59は、撮像素子53から、信号処理部57を介して取得したフレーム画像信号61を、内視鏡10の外部に出力する。また、フレーム画像信号61に含まれるフレーム開始信号VDを同期信号として利用することにより、画像信号出力部59を同期信号生成部として機能させている。
<光源装置>
光源装置11は、照明光源63と、PD37と、光源制御部64と、信号中継部62と、通信インタフェース65とを有している。照明光源63は、例えばLD(Laser Diode)または発光ダイオード(Light Emitting Diode:LED)などの半導体光源を含んで構成されており、波長が赤色領域から青色領域にわたる白色光を照明光として出射する白色光源である。なお、照明光源63としては、白色光源に加えて、紫色光および赤外光などの特殊光を出射する特殊光光源を用いてもよい。照明光源63から出射された照明光は、前述のライトガイド33の入射端に入射される。
光源制御部64は、CPUを含む各種の演算回路と、各種のメモリとを含んで構成されており、照明光源63などの光源装置11の各部の動作を制御する。
PD37は、LD36から送信された光信号を受信する。PD37は、光信号の形態で受信したフレーム画像信号61を、元の電気信号の形態に変換して、変換後のフレーム画像信号61を信号中継部62に入力する。信号中継部62は、例えばFPGA(Field Programmable Gate Array)で構成される。FPGAは、製造後に回路構成を変更可能なプロセッサであり、回路構成には、各種の演算回路および各種のメモリ回路などが含まれる。
<ナビゲーション装置>
ナビゲーション装置12は、画像信号取得部68と、挿入状態検出部70と、磁界発生制御部71と、表示出力部74と、画像生成部77と、を有する。ナビゲーション装置12の各部は、1または複数のCPUを含む各種演算回路(不図示)により構成され、不図示のメモリに記憶されている制御用のプログラムを実行することで動作する。
画像信号取得部68は、通信インタフェース65を介して信号中継部62からフレーム画像信号61を取得する。そして、画像信号取得部68は、取得したフレーム画像信号61を表示出力部74へ出力する。
また、画像信号取得部68は、フレーム画像信号61に含まれるフレーム開始信号VDおよび磁界測定データ55を抽出し、抽出したフレーム開始信号VDおよび磁界測定データ55を挿入状態検出部70に出力する。また、画像信号取得部68は、フレーム画像信号61からフレーム開始信号VDを抽出し、抽出したフレーム開始信号VDを磁界発生制御部71に出力する。
挿入状態検出部70は、画像信号取得部68から取得したフレーム開始信号VDおよび磁界測定データ55に基づいて、被検者Hの体内に挿入される内視鏡10の挿入部17の挿入状態を検出する。挿入状態検出部70は、位置検出部72と、挿入部形状検出部73とを有する。
位置検出部72は、フレーム開始信号VDおよび磁界測定データ55に基づき各検出コイル25の位置を検出する。位置検出部72には、判別部72Aが設けられている。
図6に示すように、判別部72Aは、対応関係75を参照して、磁界測定データ55に含まれる複数の磁界測定結果を判別する。対応関係75は、磁界測定データ55に含まれる、各発生コイル39と各検出コイル25との複数の組み合わせに対応する複数の磁界測定結果の格納順序を表す情報である。判別部72Aは、対応関係75に基づいて、磁界測定データ55に含まれる各磁界測定結果が、各発生コイル39と各検出コイル25とのどの組み合わせに対応するデータであるかを判別する。
具体的には、後述するように、磁界測定においては、フレーム開始信号VDを基準として、各発生コイル39が磁界MFを発生する発生順序と、1つの発生コイル39の磁界MFについて、各検出コイル25の磁界測定結果の取得順序とが決まっている。各発生コイル39と各検出コイル25の組み合わせに応じた複数の磁界測定結果は、発生順序と取得順序に従って、磁界測定データ55内に格納される。そのため、判別部72Aは、フレーム開始信号VDを基準として、格納順序を規定した対応関係75を参照することで、磁界測定データ55に含まれる複数の磁界測定結果がどの組み合わせ(例えば、「D11」、「D12」、「D13」・・・)に対応するかを判別することができる。
位置検出部72は、判別部72Aが判別した複数の磁界測定結果に基づき、各検出コイル25の位置、具体的には三次元座標位置をコイル位置データとして検出する。コイル位置データは、磁界発生器13を基準とした相対位置である。図6において、例えば、P1は第1検出コイル25の三次元座標位置(ここでは、x1,y1,z1)を示す。P2、P3、P4などについても同様である。
図3において、位置検出部72は、コイル位置データ76を挿入部形状検出部73へ出力する。挿入部形状検出部73は、位置検出部72から入力されたコイル位置データ76に基づき、被検者Hの体内での挿入部17の形状を検出する。
図7は、挿入部形状検出部73による挿入部17の形状検出処理の一例を説明するための説明図である。図7に示すように、挿入部形状検出部73は、コイル位置データ76が示す各検出コイル25の位置(ここでは、P1、P2、・・・)に基づき、各位置を曲線で補間する補間処理を行って挿入部17の中心軸Cを導出し、挿入部17の形状を示す挿入部形状データ78を生成する。曲線で補間する補間処理は、例えば、ベジェ曲線補間である。挿入部形状データ78には、挿入部17の先端部23の先端位置PTが含まれる。
図3において、挿入部形状検出部73は、挿入部形状データ78を画像生成部77に出力する。挿入状態検出部70は、画像信号取得部68が新たなフレーム画像信号61を取得するごとに、判別部72Aによる判別処理、各検出コイル25のコイル位置データ76を検出する位置検出処理、挿入部17の形状検出処理、および挿入部形状データ78の出力を繰り返し行う。
画像生成部77は、挿入部形状データ78に基づいて、形状表示画像42を生成する。図8に示すように、画像生成部77には、モデリング部77Aおよびレンダリング部77Bが設けられている。詳しくは後述するが、画像生成部77において、モデリング部77Aは、挿入部形状データ78に基づいて挿入部17の3D(Dimension)モデルを生成し、レンダリング部77Bは、挿入部17の3Dモデルに対してレンダリング処理を行うことにより、挿入部17の形状を示す2D(Dimension)の形状表示画像42を生成する。画像生成部77は、生成した形状表示画像42のデータをプロセッサ装置14に出力する。
画像生成部77は、新たな挿入部形状データ78が入力される毎に、形状表示画像42を更新する。そして、画像生成部77は、形状表示画像42が更新される毎に、更新された形状表示画像42のデータをプロセッサ装置14に出力する。
ナビゲーション装置12は、本開示の技術に係る、形状表示画像42に関する表示制御を行う内視鏡形状表示制御装置の一例である。上述のとおり、磁界測定データ55は、本開示の技術に係る、内視鏡10の挿入部17内に設けられた複数の磁界検出素子の一例である複数の検出コイル25を利用して得たデータである。挿入部形状データ78は、磁界測定データ55に基づく情報であり、本開示の技術に係る、被検体の一例である被検者H内に挿入されている内視鏡10の挿入部17の形状を画像化するための情報の一例である。画像生成部77は、挿入部形状データ78に基づいて、挿入部17の形状を画像化した形状表示画像42を生成する。すなわち、画像生成部77は、本開示の技術に係る画像生成部の一例であり、かつ、挿入部の形状を画像化するための情報を取得する情報取得部の一例でもある。
表示出力部74は、前述の画像信号取得部68から先に入力されたフレーム画像信号61と、画像生成部77から入力された形状表示画像42のデータと、を通信インタフェース80A,80Bを介してプロセッサ装置14へ出力する。この際に、表示出力部74は、フレーム画像信号61と、そのフレーム画像信号61と時間的に対応する形状表示画像42のデータとを対応付けて、プロセッサ装置14へ出力する。
<プロセッサ装置>
プロセッサ装置14は、表示入力部82と表示制御部83とを有している。表示入力部82は、表示出力部74から通信インタフェース80A,80Bを介して逐次入力されたフレーム画像信号61および形状表示画像42のデータを、表示制御部83へ逐次出力する。
表示制御部83は、表示入力部82からフレーム画像信号61の入力を受けて、フレーム画像信号61に基づく観察画像41(例えば、動画像)をモニタ15に表示させる(図1および図2参照)。また、表示制御部83は、表示入力部82から形状表示画像42のデータの入力を受けて、形状表示画像42(例えば、動画像)をモニタ15に表示させる(図1および図2参照)。
[形状表示画像生成処理の流れ]
図9は、画像生成部77による形状表示画像42の生成処理の流れを説明するためのフローチャートである。
画像生成部77は、挿入部形状データを取得する(ステップS1)。画像生成部77において、モデリング部77Aは、挿入部形状データ78に基づいて挿入部17の3Dモデルを生成するモデリング処理を行う(ステップS2)。
モデリング処理は、図10に示すように、挿入部形状データ78における挿入部17の中心軸Cを中心軸とする、挿入部17の表示スケールに対応した直径の円筒形状の3DモデルMを生成する。
次に、レンダリング部77Bは、挿入部17の3DモデルMをレンダリングする際の光源位置を設定する光源位置設定処理を実行する(ステップS3)。光源位置は、3DモデルMを生成する仮想空間内において、寝台16の天面16Aに対して上方から光が照射される位置に設定される。具体的には、現実空間においては、磁界発生器13と寝台16とを同じ床面に設置した場合、磁界発生器13の水平方向と寝台16の天面16Aは平行関係となる。そのため、仮想空間内において、寝台16の天面16Aと平行な面をX-Y平面とし、X-Y平面に対して直交するZ軸が設定される。そして、仮想空間内において、設定されたZ軸の上方から下方に向けて光が照射されるように、光源位置が設定される。
次に、レンダリング部77Bは、挿入部17の3DモデルMをレンダリングする際のカメラ位置(視点位置ともいう)を設定するカメラ位置設定処理を実行する(ステップS4)。カメラ位置は、光源位置と同じく、仮想空間内において、寝台16の天面16Aに対してZ軸の上方から、挿入部17の3DモデルMを観察する位置に設定される。
次に、レンダリング部77Bは、挿入部17の3DモデルMをレンダリングする際の3DモデルMの表面の仕上げを行うテクスチャ設定処理を実行する(ステップS5)。テクスチャ設定処理において、挿入部17の表面に、テクスチャの内容である模様を付す処理が行われる。ここで、模様とは、単色の無地以外の表示態様をいう。本例の模様は、挿入部17の先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションである。
色の定義について、図11に示すマンセル表示系の色相環を用いて説明する。色相環は有彩色の色味の分類を表す。例えば、20色に分割されたマンセル色相環である。図11において、各記号は、それぞれR(赤)、YR(黄赤)、Y(黄)、GY(黄緑)、G(緑)、BG(青緑)、B(青)、PB(紫青)、P(紫)、R(赤紫)を意味する。図11に示す色相環では、これらの10通りの各色相をさらに2つに分けた色相(例えば、Rについては5Rと10R)が表示されている。
緑色とは、色相環において、G(緑)を中心として左右に隣接するGY(黄緑)およびBG(青緑)を含む。図11の色相環では、5GY~10BGまでの色が緑色に該当する。青色とは、色相環において、B(青)を中心として左右に隣接するBG(青緑)およびPB(紫青)を含む。図11の色相環では、5BG~10PBまでの色が青色に該当する。このように、色相環において、緑色は、Gの要素が入っている色味をいい、青色は、Bの要素が入っている色味をいう。赤色及び黄色などの他の色の定義についても同様である。
最後に、レンダリング部77Bは、設定した光源位置、カメラ位置に基づいて、3DモデルMの表面にグラデーションの模様を付す。加えて、模様を付した3DモデルMの表面に光源に対応した陰影を付ける陰影処理を施す。レンダリング部77Bは、このように、挿入部17の形状を示す2Dの形状表示画像42を生成するレンダリング処理を行う(ステップS6)。
これにより、図12に示すように、形状表示画像42が生成される。形状表示画像42は、挿入部17を示す画像とその背景になる画像とを含んで構成される。以下において、形状表示画像42内の挿入部17、より正確には形状表示画像42における挿入部17の画像を、簡単化のために単に挿入部と呼び、実際の挿入部17と区別するために、符号17Gを付して挿入部17Gという。形状表示画像42において、挿入部17Gの表面には、挿入部17Gの先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションが付された表示態様で表示される。
形状表示画像42の生成処理は、挿入部形状データ78が更新される毎に繰り返される。
[作用効果]
大腸検査においては、大腸の経路が複雑であるため、内視鏡10の挿入部17が被検者Hの体内でループ状に湾曲する場合がある。この場合、レンダリング処理において設定したカメラ位置によっては、形状表示画像42内において、挿入部17Gの異なる部分同士が交差する。
また、形状表示画像42の表示倍率によっては、挿入部17Gは、形状表示画像42中において細い線状に表示されてしまう。そのため、挿入部17G全体を無地の単色(例えば、黒色)で表示すると、図12に示す交差部分17GXに対して陰線処理あるいは隠れ面処理を施したとしても、ユーザが交差部分17GXの前後を瞬時に判断することが難しいという問題があった。
これに対し、本開示の内視鏡システム9においては、以上で説明したように、形状表示画像42において、挿入部17Gを、挿入部17Gの先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションの模様を付して表示する。これにより、交差部分17GXの前後で挿入部17Gの色が異なることになるため、交差部分17GXの前後を容易に判断することが可能である。このように、本開示の技術によれば、形状表示画像42において、挿入部17Gの重なり具合が視認し易い。
本例においては、形状表示画像42に表示される挿入部17Gの全領域に対してグラデーションの模様を付している。そのため、表示される挿入部17Gの全領域のどこが交差部分17GXとなっても、交差部分17GXの前後を容易に判断することが可能である。
なお、本例においては、表示される挿入部17Gの全領域にグラデーションの模様を付しているが、必ずしも全領域にグラデーションの模様を付さなくてもよい。先端側及び基端側において、交差部分17GXがほとんど生じないという場合は、先端側及び基端側の一部の領域についてはグラデーションの模様を付さなくてもよい。例えば、形状表示画像42に表示される挿入部17Gの全領域のうち、先端から20%の長さの領域、および基端から20%の長さの領域をグラデーションの模様を付さない領域としてもよい。
また、挿入部17Gに付す模様を、挿入部17Gの先端側から基端側にかけて連続的に色が変化するグラデーションの模様とすることにより、段階的に色を変化させる場合と比較して、自然な画像とすることができる。
また、挿入部17Gを、寒色の組合せである、緑色から青色に連続的に変化するグラデーションの表示態様で表示することにより、赤、橙、および黄色等の暖色系の色で表示する場合と比較して、眼に対する刺激を抑える効果も期待できる。
[変形例]
上記実施形態は、一例であり、以下に示すように種々の変形が可能である。
上記実施形態では、グラデーションの例として、緑色から青色に変化するグラデーションを例に説明したが、変化する複数の色の組み合わせは上記例の色以外でもよい。例えば、赤色から橙色に変化するグラデーションでもよい。また、ユーザの設定によってグラデーションの色を変えられるようにしてもよい。
上記実施形態では、形状表示画像42において、挿入部17Gの表面に付す模様として、色が連続的に変化するグラデーションの模様を例に挙げて説明したが、模様はグラデーション以外でもよい。
挿入部17Gの表面に模様を付して表示すれば、挿入部17Gの表面を単色無地で表示する場合と比較して、交差部分17GXの前後を容易に判断することが可能となる。
例えば、図13に示すように、グラデーションの模様としては、色が連続的に変化する態様でなくてもよく、段階的に変化する態様でもよい。
図13に示す形状表示画像42Aにおいて、挿入部17Gの表面には、先端側から基端側にかけて、異なる色に段階的に変化するグラデーションの模様が付される。色が連続的に変化していなくても、交差部分17GXの前後で挿入部17Gの色が異なる配色となるため、交差部分17GXの前後を容易に判断することが可能となる。もちろん、色が連続的に変化するグラデーションの方が色の変化が自然であるため、見栄えがよいので好ましい。
また、模様は、グラデーション以外でもよく、複数の色の組み合わせた模様でもよい。ここで、複数の色とは、例えば、明度、彩度、および色相の少なくとも一つが互いに異なる色の組合せを意味する。
また、図14に示す形状表示画像42Bのように、模様は、挿入部17Gの長手方向に延びる複数色の縦縞模様でもよい。この場合でも、交差部分17GXの前後で縦縞同士が交差するため、交差部分17GXの前後を容易に判断することが可能となる。
また、図15に示す形状表示画像42Cのように、模様は、挿入部17Gの軸回りにリング状に付した横縞模様でもよい。この場合でも、交差部分17GXの前後で横縞同士が交差するため、交差部分17GXの前後を容易に判断することが可能となる。
こうした縦縞模様及び横縞模様は、ピンストライプで構成されていてもよいし、幅を持った帯状の複数の縞で構成され、かつ、それらの複数の縞が異なる色で色分けされた態様でもよい。
また、図16に示す形状表示画像42Dのように、ワイヤーフレーム模様でもよい。なお、ワイヤーフレームとは、3次元座標を持つ複数の点を一定の規則に従って接続することにより立体物を表現したものである。ワイヤーフレーム模様とは、上記ワイヤーフレームを挿入部17Gの表面に模様として表示した表示態様である。このような模様でも、上記例と同様の効果が得られる。
上記実施形態では、レンダリング処理を行う際の、光源位置およびカメラ位置について、寝台16の天面16Aと平行な面をX-Y平面としたとき、光の照射方向および視点方向がZ軸上方から下方に向かう状態に設定した場合について説明した。しかしながら、光源位置およびカメラ位置については上記に限定されるものではなく、ユーザの指示入力に基づいて任意の方向に設定してもよい。視点方向が寝台16のZ軸上方から下方に向かう方向には、例えば次の2つの方向がある。1つは、寝台16の直上から、すなわち、X-Y平面に対する法線方向から、寝台16の天面16Aを観察する視点である。もう1つは、寝台16の斜め方向から、寝台16の天面16Aを鳥瞰する視点である。また、これらの他、寝台16の側方、すなわち、X-Y平面と平行な観察する視点があってもよい。また、複数の視点を切り替えたり、並列的な視点を設定できるようにしてもよい。
また、上記実施形態では、各発生コイル39が同じ周波数の磁界MFを発生する例で説明したが、各発生コイル39が発生する磁界MFの周波数が異なっていてもよい。
また、上記各実施形態では、内視鏡10に、磁界測定制御部58を含む磁界測定部を配置し、ナビゲーション装置12に磁界発生制御部71を配置した例で説明したが、反対に、内視鏡10に磁界発生制御部71を配置して、ナビゲーション装置12に磁界測定部を配置してもよい。
上記実施形態において、例えば、情報取得部および画像生成部の一例である画像生成部77などの各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、および/またはASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
情報取得部および画像生成部を有する内視鏡表示制御装置を、プロセッサがCPUで構成されるコンピュータによって実現してもよい。CPUを情報取得部および画像生成部として機能させるためのプログラムが、内視鏡表示制御装置の作動プログラムである。本開示の技術は、内視鏡表示制御装置の作動プログラムに加えて、この作動プログラムを非一時的に記憶するコンピュータが読み取り可能な記憶媒体にも及ぶ。
上記の記載により、以下の付記項に記載の発明を把握することができる。
「付記項1」
被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得プロセッサと、
取得した情報に基づいて、挿入部の形状を表示する形状表示画像を生成する画像生成部であって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成プロセッサとを備える
内視鏡形状表示制御装置。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
2019年7月22日に出願された日本出願特願2019-134865の開示はその全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (6)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得し、
    取得した前記情報に基づいて、前記挿入部の形状を表示する形状表示画像を生成する際に、前記形状表示画像において、前記挿入部を、表面に模様を付して表示し、
    前記模様は、前記挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションであり、
    前記グラデーションは、緑色から青色に変化する
    内視鏡形状表示制御装置。
  2. 前記模様は、前記形状表示画像に表示される前記挿入部の全領域に対して付される
    請求項1に記載の内視鏡形状表示制御装置。
  3. 前記プロセッサは、前記模様に加えて、前記挿入部に陰影処理を施す
    請求項1又は請求項2に記載の内視鏡形状表示制御装置。
  4. 前記挿入部の形状を画像化するための情報は、前記挿入部内に設けられた複数の磁界発生素子または複数の磁界検出素子を利用して得た磁界測定データに基づく情報である
    請求項1又は請求項2に記載の内視鏡形状表示制御装置。
  5. 被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得ステップと、
    取得した前記情報に基づいて、前記挿入部の形状を示す形状表示画像を生成する画像生成ステップであって、前記形状表示画像において、前記挿入部を、表面に模様を付して表示する画像生成ステップと
    を備え、
    前記模様は、前記挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションであり、
    前記グラデーションは、緑色から青色に変化する
    内視鏡形状表示制御装置の作動方法。
  6. 被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得部と、
    取得した前記情報に基づいて、前記挿入部の形状を示す形状表示画像を生成する画像生成部であって、前記形状表示画像において、前記挿入部を、表面に模様を付して表示する画像生成部として、
    コンピュータを機能させる内視鏡形状表示制御装置の作動プログラムであって、
    前記模様は、前記挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションであり、
    前記グラデーションは、緑色から青色に変化する
    内視鏡形状表示制御装置の作動プログラム。
JP2021533935A 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム Active JP7185046B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019134865 2019-07-22
JP2019134865 2019-07-22
PCT/JP2020/026919 WO2021014991A1 (ja) 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム

Publications (3)

Publication Number Publication Date
JPWO2021014991A1 JPWO2021014991A1 (ja) 2021-01-28
JPWO2021014991A5 JPWO2021014991A5 (ja) 2022-05-26
JP7185046B2 true JP7185046B2 (ja) 2022-12-06

Family

ID=74193439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533935A Active JP7185046B2 (ja) 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム

Country Status (4)

Country Link
EP (1) EP4005463A4 (ja)
JP (1) JP7185046B2 (ja)
CN (1) CN114126474A (ja)
WO (1) WO2021014991A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083889A (ja) 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2000175862A (ja) 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡挿入形状検出装置
JP2006288752A (ja) 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
WO2009044580A1 (ja) 2007-10-02 2009-04-09 Olympus Medical Systems Corp. 内視鏡形状解析装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994004938A1 (en) * 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
JP3506770B2 (ja) * 1994-04-21 2004-03-15 オリンパス株式会社 内視鏡位置検出装置
JP4159396B2 (ja) 1994-08-18 2008-10-01 オリンパス株式会社 内視鏡形状検出装置
JP6803871B2 (ja) 2018-02-05 2020-12-23 株式会社大一商会 遊技機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083889A (ja) 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2000175862A (ja) 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡挿入形状検出装置
JP2006288752A (ja) 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
WO2009044580A1 (ja) 2007-10-02 2009-04-09 Olympus Medical Systems Corp. 内視鏡形状解析装置

Also Published As

Publication number Publication date
CN114126474A (zh) 2022-03-01
WO2021014991A1 (ja) 2021-01-28
JPWO2021014991A1 (ja) 2021-01-28
EP4005463A4 (en) 2022-08-24
EP4005463A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
JP6586211B2 (ja) プロジェクションマッピング装置
JP5810248B2 (ja) 内視鏡システム
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
CN109195499B (zh) 导航装置以及内窥镜系统
JPWO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2017508529A (ja) 内視鏡測定システム及び方法
US10368720B2 (en) System for stereo reconstruction from monoscopic endoscope images
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
CN112055555A (zh) 医疗图像处理装置、医疗图像处理方法及内窥镜系统
JP2002065581A (ja) 内視鏡装置
JP7185046B2 (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
WO2021020067A1 (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
JP6995793B2 (ja) 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
JP2021016631A (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
CN112438694A (zh) 线圈组件
JP7155436B2 (ja) 内視鏡システム及びその作動方法
JP7234461B2 (ja) 内視鏡システム
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
JP7098583B2 (ja) 内視鏡システム及びその作動方法
JP2012050598A (ja) 撮像表示方法および装置
JP6906342B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20220114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R150 Certificate of patent or registration of utility model

Ref document number: 7185046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150