JP6535689B2 - 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラム - Google Patents
未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラム Download PDFInfo
- Publication number
- JP6535689B2 JP6535689B2 JP2016571643A JP2016571643A JP6535689B2 JP 6535689 B2 JP6535689 B2 JP 6535689B2 JP 2016571643 A JP2016571643 A JP 2016571643A JP 2016571643 A JP2016571643 A JP 2016571643A JP 6535689 B2 JP6535689 B2 JP 6535689B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- insertion portion
- information
- unit
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00013—Operational features of endoscopes characterised by signal transmission using optical means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
- A61B1/00022—Operational features of endoscopes provided with data storages removable
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Signal Processing (AREA)
Description
本発明の目的は、形状センサにより検出したタイミングよりも後のタイミングにおける挿入部の形状を未然に推定し、未然推定形状情報として出力する未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラムを提供することにある。
一実施形態では、前記未然形状推定装置は、nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含む。前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記入力機能により入力された前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求める。前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する。
別の実施形態では、前記未然形状推定装置は、前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部を含み、前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する。
一実施形態では、前記挿入/抜去作業システムは、nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含む。前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記入力機能により入力された前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求める。前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する。
別の実施形態では、前記挿入/抜去作業システムは、前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部を含み、前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する。
一実施形態では、前記挿入/抜去作業システムは、nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含む。前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記入力機能により入力された前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求める。前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する。
別の実施形態では、前記挿入/抜去作業システムは、前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部を含み、前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する。
一実施形態では、前記未然形状推定プログラムは、前記コンピュータに、nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御機能を実現する。前記挿入部形状算出機能は、前記形状センサ制御機能から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記入力機能により入力された前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、前記形状時間変化導出機能は、前記挿入部形状算出機能により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求める。前記形状時間変化導出機能は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する。
別の実施形態では、前記未然形状推定プログラムは、前記コンピュータに、前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定機能を実現する。前記未然挿入部形状推定機能は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する。
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は挿入/抜去作業システムとしての内視鏡システム1の構成図を示す。本システム1は、作業者による作業によって、主に、観察対象物2の内部空間(空洞)3の内部に内視鏡挿入部(以下、挿入部と称する)7を挿入し、観察対象物2の内部空間3の内面を観察するために用いられる。
本システム1は、各構成要素として内視鏡本体部4と、内視鏡スコープ部5と、表示部6とを含む。内視鏡スコープ部5は、挿入部7を含む。挿入部7には、形状センサ8が搭載されている。
[内視鏡スコープ部]
内視鏡スコープ部5は、挿入部7と、操作部9と、本体側ケーブル10とを含む。内視鏡スコープ部5は、作業者により把持されて操作される。この操作により内視鏡スコープ部5の挿入部7は、観察対象物2の入口部としての挿入開口2aから挿入可能な位置に移動され、さらに観察対象物2の内部空間3に挿入される。
本体側ケーブル10は、内視鏡スコープ部5と内視鏡本体部4との間を接続するもので、内視鏡本体部4に対しては着脱可能である。本体側ケーブル10は、1本又は複数本、内視鏡スコープ部5と内視鏡本体部4との間に接続される。
図2は本システム1における挿入部7の先端部7aの構成図を示す。挿入部7の先端部7aには、撮像素子7dと、対物レンズ10と、鉗子チャンネル12と、照明部13と、を含む当該内視鏡の用途に応じて様々な部材が設けられている。対物レンズ10は、撮像素子7dと光学的に接続されている。鉗子チャンネル12は、観察対象物2の内部空間3内において様々な作業や処置を行うための鉗子等を挿入するための開口である。照明部13は、内視鏡本体部4の光源部20から射出された光を例えば観察対象物2の内部空間3に向けて射出する。
挿入部7と操作部9とは機械的に接続されている。操作部9と本体側ケーブル10も機械的に接続されている。
内視鏡本体部4は、図1に示すように光源部20と、ビデオプロセッサ21と、支援情報ユニット22と、本体メモリ40とを含む。光源部20は、キセノン、ハロゲン等のランプ類、又はLED、レーザなどの半導体光源を含む。又、本体側ケーブル10と操作部9と挿入部7の内部には、ライトガイド等、光を導光可能な部材が挿通して設けられている。これにより、光源部20から光を射出すると、この光は、ライトガイド等を経由して挿入部7の先端部7aに設けられた照明部13から照明光として射出される。この照明光は、観察対象物2の内部に入射し、当該観察対象物2の内部を照明する。
本体メモリ40には、観察対象物2に関する情報と、観察対象物2を観察するときの観察作業の情報とが予め記憶されている。又、本体メモリ40には、支援情報ユニット22から出力される未然推定形状情報Mが記憶される。
形状算出部30は、形状センサユニット23から出力される検出信号Dを演算処理して挿入部7が湾曲したときの湾曲の方向と大きさとを算出し、当該算出の結果を検出時挿入部形状情報(以下、挿入部形状情報と称する)Fとして出力する。ここでは、挿入部7は、先端部7a以外は可撓性を有するように形成されているので、湾曲している状態が多い。また、観察対象物2の内部空間3の形状も複雑に湾曲しているものが多いので、挿入部7は、直線状に配置されている状態が殆どない。従って、形状算出部30は、単に、挿入部7の形状を算出するのでなく、挿入部7が湾曲したときの湾曲の方向と大きさとを算出するものとして記載する。
変化導出部32は、形状算出部30から受信した第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを比較する。なお、第jの挿入部形状情報Fjは、便宜上、第jの検出時挿入部形状も示すものとする。同様に、第kの挿入部形状情報Fkも便宜上、第kの検出時挿入部形状を示すものとする。
未然形状推定部33は、形状算出部30から出力される挿入部形状情報Fと、変化導出部32から出力される形状変化情報KAとを受信し、これら挿入部形状情報Fと形状変化情報KAとに基づいて現時点のタイミングから次のタイミング、例えば現時点の第jのタイミングから次の第kのタイミングにおける挿入部7の湾曲形状を未然に推定する。未然形状推定部33は、未然に推定した挿入部7の湾曲形状を未然推定形状情報Mとして出力する。
情報記憶部35には、光ファイバセンサ8に設けられている複数の検出ポイント、すなわち光吸収体8aの各位置情報と、挿入部7の湾曲角と光ファイバセンサ8の湾曲角に応じた光量を示す検出信号Dとの対応情報が記憶されている。
光源部20と、ビデオプロセッサ21と、支援情報ユニット22とは、内視鏡本体部4の内部でそれぞれ別に機能しているが、これに限らない。光源部20と、ビデオプロセッサ21と、支援情報ユニット22とは、内視鏡本体部4の内部において1つの処理ユニットとして機能するようにしてもよい。光源部20とビデオプロセッサ21との一部の機能は、支援情報ユニット22内に組み込んでもよい。さらに、内視鏡本体部4は、光源部20、ビデオプロセッサ21、支援情報ユニット22の3つのユニット以外のユニットと一体化することもできる。内視鏡本体部4は、別のユニットと組み合わせるなど、ユーザの利便性や設計のし易さ、コストなど、様々な事情を考慮して自由に組み合わせることが可能である。
これに対して支援情報ユニット22は、形状算出部30と、形状センサ制御部31と、変化導出部32と、未然形状推定部33と、操作推定部34との各機能をそれぞれ独立したユニットとして構成することも可能である。
支援情報ユニット22は、別のユニットと組み合わせるなど、ユーザの利便性や設計のし易さ、コストなど、様々な事情を考慮して自由に組み合わせることが可能である。
表示部6は、本システム1によって観察する観察対象物2の内部空間3と、内視鏡本体部4の本体メモリ40に予め記憶されている観察対象物2に関する情報と、観察対象物2を観察するときの観察作業の情報と、支援情報ユニット22から出力される未然推定形状情報Mとを表示可能である。表示部6は、例えば液晶、ブラウン管、LED、又はプラズマから成るモニタ用のディスプレイを含む。表示部6は、図1において便宜上1つであるが、これに限らず、2つ以上を並べて配置する、或いは複数台をそれぞれ異なる場所に配置してもよい。
光ファイバセンサ(形状センサ)8には、図3A乃至図3Cに示すように長尺の光ファイバ8aの側面の一部に湾曲形状検出部8bが設けられている。本実施の形態において用いる光ファイバセンサ8は、湾曲形状検出部8bに吸収される光量が光ファイバ8aの湾曲角に応じて増減する現象を利用している。これにより、光ファイバセンサ8は、例えば光ファイバ8aの湾曲角に従って湾曲形状検出部8bに吸収される光量が大きくなると、光ファイバ8a内に透過する光量が減少する。従って、光ファイバセンサ8は、光ファイバ8aの湾曲角に応じた光量の光信号を射出するものとなる。
光ファイバセンサ8は、湾曲形状検出部8bに色素を添付して光を波長別に分離するなどの光学的な手段を備えてもよい。これにより、光ファイバセンサ8は、一本の光ファイバに複数の湾曲形状検出部8bを設けることが可能である。
湾曲形状検出部8bが設けられた光ファイバを複数束ねれば、複数点で曲げ角を検出することが実現可能である。光ファイバの1本当たりに設ける湾曲形状検出部8bの数を増加すれば、光ファイバ8aの本数を減少することが可能である。
挿入部7には、所定の間隔、例えば10cm毎の間隔で複数の湾曲形状検出部8bが設けられるように光ファイバセンサ8が搭載されている。このような間隔で複数の湾曲形状検出部8bを設ければ、挿入部7の全体の湾曲形状を精度高く検出することができる。各湾曲形状検出部8bの間隔を例えば10cmより長くすると、湾曲形状検出部8bの個数を減少してコストの軽減と、湾曲形状を検出するシステム構成を簡素化できる。
形状センサユニット23は、光ファイバセンサ8に導光される光の光量の変化を検出する機能を含むもので、ファイバセンサ用光源24と光検出器25とを含む。光ファイバセンサ8は、挿入部7に設けられている。ファイバセンサ用光源24と光検出器25とは、支援情報ユニット22内に設けられている。
次に、上記の通り構成された本システム1の動作について説明する。なお、既存の内視鏡システムが有する基本的な動作についてはその説明を省略する。
作業者による本システム1への電源投入によって形状センサユニット23及び支援情報ユニット22にも電源が投入される。電源投入によって形状センサユニット23は、挿入部7の湾曲形状の検出が可能になる。これにより、形状センサユニット23は、挿入部7の形状が検出可能になったことを示す検出可能信号(Ready信号)を形状センサ制御部31に送る。
形状算出部30は、形状センサユニット23から出力されるフラグ付きの検出信号Dを受信し、情報記憶部35に記憶されている湾曲形状検出部8bの位置情報と、光ファイバの湾曲角と検出信号D(光量)との関係を示す湾曲角光量情報とを参照し、第1乃至第nのタイミング信号T毎における挿入部7が湾曲したときの湾曲の方向と大きさとを算出し、挿入部形状情報Fとして出力する。
変化導出部32は、第1〜第nのタイミング信号T1〜Tnに基づいて形状算出部30から出力されるタイミングの異なる少なくとも2つの挿入部形状情報Fを受信し、これら挿入部形状情報Fを比較して形状変化情報KAを導出する。
変化導出部32は、例えば、図5に示すような形状算出部30により算出された第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとを比較する。
比較結果、変化導出部32は、挿入部7の湾曲形状が変化している領域を形状変化領域KE1として抽出し、挿入部7の湾曲形状が変化していない領域を第1と第2の形状不変化領域KE2a、KE2bとして抽出する。
これら第1と第2の形状不変化領域KE2a、KE2bの間の形状変化領域KE1では、挿入部7の湾曲形状が変化している。
変化導出部32は、抽出した形状変化領域KE1の湾曲形状の変化の種類の分類と、当該形状変化領域KE1における湾曲形状の変化量とを算出する。挿入部7は、断面が略円形で、かつ可撓性を有する細長い棒状に形成されている。これにより、挿入部7の部分的な湾曲形状の変化としては、例えば湾曲とねじれとの2つの形状変化が含むものと考えられる。さらに、挿入部7の部分的な湾曲形状の変化としては、湾曲とねじれとが複合して発生する場合、又は湾曲とねじれとが近接した各領域でそれぞれ連続的に発生する場合などが考えられる。
変化導出部32は、2つのタイミング信号発生時、例えば第jのタイミング信号Tjと第kのタイミング信号Tkとの各発生時における形状変化領域KE1の各湾曲形状を比較する。第jと第kの挿入部形状情報Fj、Fkとは、3次元情報であるので、形状変化領域KE1の形状情報も3次元情報である。
第jと第kの操作部側中心軸Zja、Zkaを重ね合わせると、第jと第kの先端側中心軸Zjb、Zkbは、挿入部7の湾曲により同じ平面内で移動していることが分かる。このとき形状変化領域KE1は、第jと第kの操作部側中心軸Zja、Zkaを重ねた部分を中心として角度(以下、湾曲角と称する)θだけ湾曲している。この角θは、第jから第kのタイミング信号Tまでの期間中において挿入部7が湾曲したときの湾曲の変化量となる。換言すると、第jと第kの先端側中心軸Zjb、Zkbは、同じ平面内でのみ変化しているので、挿入部7は、ねじれることなく、単純に湾曲変化したものであることが分かる。
操作推定部34は、作業者が行った操作を推定し、この推定した作業者の操作を作業者操作情報Lとして出力する。操作推定部34は、挿入部7の湾曲形状の変化が作業者の操作により成された結果であるものと仮定し、形状変化情報KAに基づいて例えば第jのタイミング信号Tjと第kのタイミング信号Tkとの期間中に行われた作業者の操作を推定し、この推定した作業者の操作を作業者操作情報Lとして出力する。この推定では、作業者による操作の種類と、操作の方向と、操作量とを推定する。すなわち作業者操作情報は、作業者による操作の種類と、操作の方向と、操作量とを含んでいる。
操作ハンドル操作は、操作ハンドル11を操作して挿入部7の能動湾曲部7bを湾曲させるものである。
直接操作は、観察対象物2の内部空間3内に挿入されていない挿入部7の部分(観察対象物2の内部空間3から出ている部分)を作業者が直接把持して押し込み、引き抜き、又はひねり等の操作を行うものである。
従って、操作推定部34は、形状変化領域KE1の湾曲形状の変化を引き起こし得る作業員による操作が操作部9側から加えられたものとして作業者の操作を推定する。
操作推定部34は、第1と第2の形状不変化領域KE2a、KE2bの形状に変形が無ければ、当該変形の無いことを考慮し、形状変化領域KE1の湾曲形状の変化が作業者による操作であることを推定する。
又、操作推定部34は、情報記憶部35に記憶されている観察対象物2の硬さに関する情報及び挿入部7の構造に基づく湾曲に要する力などに基づいて作業者が行った操作の力量のおおよその値を推定する。挿入部7の構造に関する構造情報は、例えば情報記憶部35に記憶されている。この構造情報は、挿入部7の構造に基づく部分的或いは湾曲方向ごとの湾曲のし易さ、挿入部7の形状保持のし易さ、挿入部7を湾曲させるのに必要な力などの情報を含む。
検証の結果、作業員による挿入部7に対する操作により形状変化領域KE1に湾曲変形が起こることが検証されると、操作推定部34は、推定した作業者による操作の種類と、操作の方向と、操作の操作量とを、第jのタイミング信号Tjと第kのタイミング信号Tkとの期間中において作業者が行った操作の種類と、操作の方向と、操作の操作量とし、作業者操作情報Lとして未然形状推定部33に出力する。
操作量は、第jのタイミング信号Tjと第kのタイミング信号Tkとの各発生時における第1と第2の形状不変化領域KE2a、KE2bの位置関係から推定される。この操作量は、図8に示すように形状変化領域KE1の先端側KE1sと操作部9側の端部KE1eとの間における挿入部7の中心軸方向における操作変化量ΔP(=ΔPjk)として推定している。
ΔPjk(=ΔPj―ΔPk)
が操作者による操作変化量ΔPjkであると推定する。なお、本実施の形態における第jの挿入部形状情報Fjにおける形状変化量ΔPjは、挿入開口2aから観察対象物2の外部に出ている挿入部7の中心軸方向(図面上の縦方向)の変化を表す。第kの挿入部形状情報Fkにおける形状変化量ΔPkも同様に、挿入開口2aから観察対象物2の外部に出ている挿入部7の中心軸方向(図面上の縦方向)の変化を表す。
未然形状推定部33は、形状算出部30から出力される挿入部形状情報F(Fj、Fkを含む)を受信し、かつ変化導出部32から出力される形状変化情報KA又は操作推定部34から出力される作業者操作情報Lのいずれか一方又は両方を受信する。
未然形状推定部33は、挿入部形状情報Fと、形状変化情報KA又は作業者操作情報Lのいずれか一方又は両方とに基づいて未然推定形状情報Mを算出する。
挿入部7において湾曲形状が変形する部分としては、例えば図5に示すように両端が第1の形状不変化領域KE2aと第2の形状不変化領域KE2bとに挟まれた形状変化領域KE1である。
変化導出部32は、図7に示すように形状変化情報KAとして挿入部7の形状変化領域KE1における湾曲角の変化量及び湾曲方向(時計回り方向)を出力する。
図9は過去、現在、未来の時間経過に従ったタイミング信号T(T1、Tj、Tk、Th、Tn)のイメージを示す。なお、hをkより大きな自然数とする。現在において、形状センサ制御部31は、既に、第jと第kのタイミング信号Tj、Tkを出力済であり、未来において第hのタイミング信号Thを出力しようとしている。ここでは、第jと第kのタイミング信号Tj、Tkの時間間隔Tjkと、第kと第hのタイミング信号Tk、Thの時間間隔Tkhとは等しいとする。
次に、作業者操作情報Lを用いた場合の未然推定形状情報Mの算出について説明する。
図12は作業者の操作が加わったときの第j、k、hのタイミング信号Tj、Tk、Thの発生時における挿入部7の各形状の変化を示す。すなわち、第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkと、第hの挿入部形状情報Fhとの変化を示す。
これと共に、未然形状推定部33は、推定された作業者の操作により形状変化領域KE1が湾曲し、かつ第1と第2の形状不変化領域KE2a、KE2bの形状が変化しないものと仮定して未然挿入部形状情報Mを推定する。
図9に示すように本実施の形態では、第jと第kのタイミング信号Tj、Tkの時間間隔Tjkと、第kと第hのタイミング信号Tk、Thの時間間隔Tkhとは等しい。
従って、未然形状推定部33は、第kと第hのタイミング信号Tk、Thの時間間隔Tkh内において作業者により操作されると予測される操作変化量ΔPjkが図12に示すように第jと第kのタイミング信号Tj、Tkの時間間隔Tjkにおける作業者の操作変化量ΔPkhと等しいと推定する(ΔPjk=ΔPkh)。
ΔPh=ΔPk−ΔPkh(=ΔPk−ΔPjk) …(1)
により求められる。
そして、未然形状推定部33は、未然挿入部形状情報(時間変化)Mと、未然挿入部形状情報(作業者操作)Mとを比較し、最終的な未然挿入部形状情報Mを推定する。
前述の通り、未然形状推定部33は、第jと第kのタイミング信号Tj、Tkの期間中における挿入部7の形状変形領域KE1での変形及び作業員による操作は、等速で行われたと仮定しているので、例えば時間間隔Tjk、Tkhが半分となる場合には、挿入部7の湾曲角の変化量θをθ/2、操作量をΔPjk/2として未然挿入部形状情報Mを推定すればよい。他のタイミングについても同様に経過時間の比を求めることで未然挿入部形状情報Mを推定することができる。
このように第1の実施の形態によれば、観察対象物2の内部空間3に挿入される挿入部7の形状を形状センサユニット23により検出し、当該検出した挿入部形状情報Fに基づいて例えば第kのタイミング信号Tkから第hのタイミング信号Thまでの経過時間Tkh後の挿入部7の形状を未然に推定し、未然推定形状情報Mとして出力するので、作業者が挿入部7を観察対象物2の内部空間3に挿入する際に、これから形成されるであろう挿入部7の形状を未然に推定できる。推定した挿入部7の形状は、作業者に対して挿入部7の挿入操作時の支援情報として表示部6等に表示することができる。この結果、従来の内視鏡システムと比較して訓練や技能向上に要する時間を短縮することができる。経験や技能レベルの低い作業者であっても比較的容易に挿入部7を観察対象物2の内部空間3に挿入、抜去することが可能となる。
このような3つ以上の挿入部形状情報F(Fj、Fk、F1等)を用いることを考慮して操作推定部34は、作業者操作情報Lを推定することができる。これによって未然形状推定部33は、より確度の高い未然挿入部形状情報Mを推定することができる。
[第1の実施の形態の第1の変形例]
次に、本発明の第1の実施の形態における第1の変形例について図面を参照して説明する。なお、本変形例では、上記第1の実施の形態と同一部分についてはその説明を省略し、上記第1の実施の形態とは相違する部分について詳細に説明する。
本変形例は、変化導出部32の動作を上記第1の実施の形態と相違させたものである。
上記第1の実施の形態では、変化導出部32は、図5に示すような形状算出部30により算出された第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとを比較し、この比較の結果に基づいて挿入部7の形状が変化している領域を形状変化領域KE1として抽出し、かつ挿入部7の形状が変化していない領域を第1と第2の形状不変化領域KE2a、KE2bとして抽出する。
本変形例において、形状算出部30により挿入部形状情報Fを算出する動作と、変化導出部32により形状変化領域KE1及び第1と第2の形状不変化領域KE2a、KE2bを抽出する動作とは、上記第1の実施の形態と同一である。
図13は変化導出部32の動作を説明するための図を示す。同図は、変化導出部32により取得される第jのタイミング信号Tjの発生時点における挿入部7の形状と、同変化導出部32により取得される第kのタイミング信号Tkの発生時点における挿入部7の形状とを示す。
挿入部7には、図13に示すように第1の形状不変化領域KE2aと形状変化領域KE1とを接続している第1の接続部C1と、形状変化領域KE1と第2の形状不変化領域KE2bとを接続している第2の接続部C2とがある。
これと共に変化導出部32は、第jのタイミング信号Tjの発生時点と、第kのタイミング信号Tkの発生時点とにおける第2の接続部C2の座標(接続部座標)と、当該第2の接続部C2における挿入部7の中心軸の接線方向である接続方向CD2とを算出する。
ここで、第1と第2の接続部C1、C2の各接続部座標を表す座標系は、第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとが比較可能であれば、どのような座標系であってもよい。
又、本変形例では、支援情報ユニット22は、原点座標(0,0,0)と、第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとに基づいて第1の接続部C1の接続部座標と、第2の接続部C2の接続部座標との各座標を算出する。
第jのタイミング信号Tjの発生時点における第1の形状不変化領域KE2aの先端側の接続部座標C1は、図13に示すように(x1j、y1j、z1j)により表される。
第kのタイミング信号Tkの発生時点における第1の形状不変化領域KE2aの先端側の接続部座標C1は、(x1k、y1k、z1k)により表される。
本変形例では、原点座標(0,0,0)の部分と接続部座標C1の部分との間には、第1の形状不変化領域KE2aが存在するので、接続部座標C1(x1j、y1j、z1j)と、接続部座標C1(x1k、y1k、z1k)とは、等しい。
接続方向CD2は、形状変化領域KE1と第2の形状不変化領域KE2bとの接続方向を示すベクトルとして算出される。
なお、本変形例では、各接続方向CD1、CD2のベクトルの方向の情報だけが必要であり、ベクトルの長さの情報は用いない。このため本変形例では、各接続方向CD1、CD2の各ベクトルは、長さ「1」の単位ベクトルとして求めている。
第kのタイミング信号Tkの発生時点における接続方向CD2のベクトルは、(a1k,b1k,c1k)により表される。
原点座標(0,0,0)に接続されているのは第1の形状不変化領域KE2aであるので、第1の変形例において第jのタイミング信号Tjの発生時点における接続方向CD1のベクトル(a1j,b1j,c1j)と、第kのタイミング信号Tkの発生時点における接続方向CD1のベクトル(a1k,b1k,c1k)とは等しい。
第jのタイミング信号Tjの発生時点における第2の形状不変化領域KE2bの基端側の接続部座標C2は、図13に示すように(x2j、y2j、z2j)により表される。
第kのタイミング信号Tkの発生時点における第2の形状不変化領域KE2bの基端側の接続部座標C2は、(x2k、y2k、z2k)により表される。
第jのタイミング信号Tjの発生時点における接続方向CD1のベクトルは、(a2j,b2j,c2j)により表される。
第kのタイミング信号Tkの発生時点における接続方向CD2のベクトルは、(a2k,b2k,c2k)により表される。
操作部9側に形状変化領域KE1が有る場合でも、本変形例では、当該注目する形状変化領域KE1を挟むように設けられた第1及び第2の形状不変化領域KE2a、KE2bの挿入部7側の接続座標C2、接続方向CD2は、等しいものとして変化の種類、方向、量を算出する。
これ以降、内視鏡システム1の動作は、上記第1の実施の形態と同様である。
なお、形状変化領域KE1と、第1及び第2の形状不変化領域KE2a、KE2bとの抽出では、形状算出部30により算出される挿入部形状情報Fから挿入部7が最も大きな変化、又は挿入部7の形状変化を決定付ける明確な変化をしている領域と比較して十分に小さな形状変化が発生している領域を抽出することがある。当該領域については、第1及び第2の形状不変化領域KE2a、KE2bと同等の形状不変化領域と見做してもよい。
このように第1の変形例によれば、変化導出部32によって第1と第2の形状不変化領域KE2a、KE2bと、形状変化領域KE1とを算出し、これら形状変化領域KE1と、第1及び第2の形状不変化領域KE2a、KE2bとの相対的な配置関係から挿入部7の形状変化の種類と、形状変化の方向と、形状変化の変化量とを算出することが可能になる。具体的には、第jのタイミング信号Tjの発生時点と第kのタイミング信号Tkの発生時点とにおいて、第1と第2の形状不変化領域KE2a、KE2bの間に存在する形状変化領域KE1との第1の接続部C1の座標と、第2の接続部C2の座標と、これら座標における挿入部7の接線方向のベクトルCD1、CD2の情報を算出するが可能になる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について図面を参照して説明する。なお、本実施の形態では、上記第1の実施の形態と同一部分についてはその説明を省略し、相違する部分について説明する。
第2の実施の形態は、変化導出部32の動作と、操作推定部34の動作と、未然形状推定部33の動作とを上記第1の実施の形態と相違させたものである。
上記第1の実施の形態では、変化導出部32は、図5に示すような形状算出部30により算出された第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとを比較し、挿入部7の形状が変化している形状変化領域KE1と挿入部7の形状が変化していない第1及び第2の形状不変化領域KE2a、KE2bとを抽出し、これら領域KE1、KE2a、KE2bに基づいて形状変化領域KE1の形状変化の種類と、形状変化の方向と、形状変化の変化量とを算出する構成を例に説明した。
類似形状領域LRの形状に変化がないのは、次の理由による。挿入部7は、作業者による挿入操作により形状が観察対象物2の内部空間3の内面に倣いながら当該観察対象物2の内部空間3内に進行する。挿入部7の進行により当該挿入部7の形状は、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中においても観察対象物2の内部空間3内に倣うものとなる。従って、挿入部7の形状は、第jのタイミング信号Tの発生時点での類似形状領域LRと、第kのタイミング信号Tの発生時点での類似形状領域LRとにおいて変化することがない。
当該各類似形状領域LR以外の領域には、例えば図16に示すような挿入部形状非類似領域NLRと、挿入部進行領域7srと、挿入部後退領域(図示せず)との3つの領域が存在する。挿入部後退領域については、後述する。
挿入部形状非類似領域NLRは、単純に形状が明らかに異なる領域である。挿入部進行領域7srは、例えば第jのタイミング信号Tjの発生時点では存在していなかった領域に第kのタイミング信号Tkの発生時点で新たに現れた領域である。
図15に示す例では、変化導出部32は、形状が互いに略等しい各挿入部類似形状領域LRと、第kのタイミング信号Tkの発生時点に現れる挿入部進行領域7srとを算出している。すなわち、作業者の操作により挿入部7は、観察対象物2の内部空間3内において挿入部進行領域7srの分だけ進行している。この進行があったにも拘わらず挿入部7の操作部9側は、当該挿入部7の進行にも拘わらず略同一形状になっている。
変化導出部32は、挿入部7の挿入方向と、挿入部進行領域7srの長さと略等しい量とを形状変化情報KAとして未然形状推定部33と操作推定部34とに送出する。
同検出信号DからX方向とY方向とに対して変化が有れば、変化導出部32は、挿入部7の形状においてX方向とY方向とに変化が有るとする形状変化情報KAを出力する。操作推定部34は、挿入部7の形状に変化が有るとする形状変化情報KAを受信すると、挿入部7のX方向とY方向とにおける形状の変化に基づいて例えば挿入部7に対してひねり方向にも操作されているものと推定する。
挿入部類似形状領域LRよりも操作部9側には、挿入部非類似形状領域NLRが存在する場合がある。挿入部非類似形状領域NLRは、作業者の操作によって生じたものである。
操作推定部34は、作業者が行った作業者の操作を推定し、当該作業者操作情報Lとして出力する。操作推定部34は、挿入部7の形状変化が作業者による操作の結果であるものと仮定し、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中に行った操作を形状変化情報KAに基づいて推定し、作業者操作情報Lとして出力する。
本実施の形態では、作業者による操作の推定については、作業者の直接操作のみを対象として説明しているが、操作推定部34が操作ハンドル11に対して行った操作も推定可能なことも言うまでもない。
従って、操作推定部34は、作業者が挿入方向の押し込み操作を行い、挿入部進行領域7srの分だけ挿入部7が観察対象物2の内部空間3に進行したと推測する。
操作推定部34は、操作の種類が押し込みであり、操作方向が挿入開口2aから露出している挿入部7の中心軸方向であることを推測する。挿入部7の挿入量は、挿入部進行領域7srの長さであることを推定する。
本実施形態における各特徴部Crj、Crkは、それぞれ挿入部7が湾曲して特定の形状、例えば凸部が他の領域と比較して、より鋭角になった形状、凸状の形状等の滑らかな形状でない形状部分として設定している。なお、特徴部Crjは、第jのタイミング信号Tの発生時点に現れた形状部分であり、特徴部Crkは、第kのタイミング信号Tの発生時点に現れた形状部分である。
第kの挿入部形状Fkの発生時において、挿入部7の先端部7aから例えば30cmの位置に配置された別の湾曲形状検出部8bと、同先端部7aから例えば40cmの位置に配置された別の湾曲形状検出部8bとの中間の位置が丁度特徴部Crkの頂点と一致していると、当該特徴部Crkの位置は、挿入部7の先端から35cmの位置であると分かる。
図16に示すように、挿入部7に非類似形状領域NLRが存在する場合、挿入部7の挿入量は、さらに挿入部7における非類似形状領域NLRの長さの変化も考慮する必要がある。この場合では、挿入部7における非類似形状領域NLRが挿入部7の操作部9側にあるので、特徴部Crj、Crkの位置を用いての挿入部進行領域GRの長さの算出が出来ない。
このような場合、操作推定部34は、形状センサユニット23から出力される検出信号Dから挿入部7の長さを算出することができる。すなわち、形状センサユニット23は、挿入部7の形状情報を、相対的な位置情報として検出可能であるので、様々な数学的な手法により挿入部7の長さを求めることが可能となっている。
なお、言うまでもないが、図15は特徴部Crj、Crkを用いて挿入部7の挿入量を求める例について示すが、この例に対しても形状センサユニット23により検出した情報に基づいて算出された挿入部7の長さの差を挿入部7の挿入量として算出することももちろん可能である。
未然形状推定部33は、変化導出部32から出力された形状変化情報KAと、操作推定部34から出力された作業者操作情報Lのいずれか一方又は両方を受信し、形状変化情報KA又は作業者操作情報Lのいずれか一方又は両方に基づいて挿入部7の形状を未然に推定する。
本実施の形態では、図15を参照して作業者操作情報Lを用いた例について説明する。
前述の通り、操作の種類は、押し込みであり、操作方向は、挿入開口2aから外部に露出している挿入部7の中心軸の方向であり、操作量は、挿入部進行領域7srの長さ、例えば15cmである。
未然形状推定部33は、操作の種類である押し込みと、操作方向である挿入部7の中心軸の方向と、操作量である挿入部進行領域7srの長さとに基づいて未然挿入部形状情報Mを推定する。
形状センサ制御部31は、既に第jと第kのタイミング信号Tj、Tkを出力しているが、第hのタイミング信号Thを未だ出力しておらず、未来に出力する状態にあるものとする。ここでは、第jと第kのタイミング信号Tj、Tkの時間間隔は、第kと第hのタイミング信号Tk、Thの時間間隔と等しいものとする。タイミング信号Tは、図9に示す時間経過に従った出力イメージに示す通りである。
図15に示す通り第jのタイミング信号Tjから第kのタイミング信号Tkの発生までの期間中における作業員による操作により挿入部7は、観察対象物2の内部空間3に挿入されている。
このとき、本実施の形態では、挿入部7の先端部7aは、これから先、観察対象物2の内部空間3における当該先端部7aが未だ到達していない領域まで進行することが予測されるので、当該領域、すなわち図16に示すような挿入部進行領域7srのさらに先端側の情報を推定する必要がある。
一方、観察対象物2の内部空間3のおおよその形状等の情報が無い場合、未然形状推定部33は、挿入部7の仮の形状、例えば直線形状等の予め設定された形状を仮の形状として想定し、当該仮の形状の情報に基づいて挿入部7の未然挿入部形状情報Mを推定する。
未然形状推定部33は、挿入部7における類似形状領域LRの形状が変化しないまま挿入部7が作業者の挿入操作による挿入操作量だけさらに進行するものと想定して挿入部7の形状を未然に推定する。
特に、本実施の形態では、挿入部7の全体の形状が変化した場合であっても、挿入部7の形状が類似している類似形状領域LRを検出するので、次のタイミングで起こり得る挿入部7の形状を未然に推定することができる。
[第2の実施の形態の第1の変形例]
次に、第2の実施の形態の第1の変形例について図を参照して説明する。なお、本変形例では、上記第2の実施の形態と同一部分についてはその説明を省略し、それとは相違する部分について説明する。
本変形例は、変化導出部32の動作が上記第2の実施の形態と相違する。上記第2の実施の形態では、挿入部類似形状領域LRを用いて形状変化情報KAとしての挿入部7の移動方向と移動の量とを算出する例を示したが、本変形例では、挿入部類似形状領域LRに代えて挿入部7の湾曲部の頂点の間隔である頂点部間距離同一領域を用いる。
図18は第jと第kの挿入部形状Fj、Fkの例を示す。本変形例は、上記第1の実施の形態のように挿入部7の形状が第1と第2の形状不変化領域KE2a、KE2bと、形状変化領域KE1とに分類することが出来ず、かつ上記第2の実施の形態のように挿入部類似形状領域LRを抽出すること出来ない場合であって、一方、複数の湾曲部が存在し、これら湾曲部の各頂点間の距離が互いに等しくなっている場合に適用される。
第1の特徴部jw1、第2の特徴部jw2、・・・、第3の特徴部kw3は、それぞれ湾曲部の頂点を有する。
第jの挿入部形状Fj等における第1乃至の第3特徴部jw1〜jw3と第1乃至の第3特徴部kw1〜kw3とは、互いに各頂点の間隔が等しく、かつ湾曲している各方向が等しい関係となっている。第1乃至の第3特徴部jw1〜jw3と第1乃至の第3特徴部kw1〜kw3とにおいて、互いに各頂点の間隔が等しく、かつ湾曲している各方向が等しいのは、第1乃至の第3特徴部jw1〜jw3と第1乃至の第3特徴部kw1〜kw3との位置関係を比較することにより認識される。図18中におけるG1は、第1乃至の第3特徴部kw1〜kw3に挟まれていない領域を示す。なお、当該領域G1は、複数存在するが、図18では全ての領域G1を図示することが困難であるので、一例として1つの領域G1を示す。
すなわち、第jの挿入部形状情報Fjにおいて、第1の特徴部jw1と、第2の特徴部jw2と、第3の特徴部jw3との相対的な位置関係及び間隔が求められる。同様に第kの挿入部形状情報Fkにおいて、第1の特徴部kw1と、第2の特徴部kw2と、第3の特徴部kw3との相対的な位置関係及び間隔が求められる。
これら第1の特徴部jw1と、第2の特徴部jw2と、第3の特徴部jw3との頂点の間隔、及び第1の特徴部kw1と、第2の特徴部kw2と、第3の特徴部kw3との頂点の間隔は、それぞれスカラー量の情報として求めてもよいし、湾曲している各方向をベクトルとしての方向情報も含めて求めてもよい。
変化導出部32は、第jの挿入部形状情報Fj間における第1の特徴部jw1と第2の特徴部jw2と第3の特徴部jw3との相対的な位置関係及び間隔と、第kの挿入部形状情報Fkにおける第1の特徴部kw1と第2の特徴部kw2と第3の特徴部kw3との相対的な位置関係及び間隔とを比較し、略同一となる位置関係及び間隔を第jの挿入部形状情報Fjにおける第1の特徴部jw1と第2の特徴部jw2と第3の特徴部jw3として抽出すると共に、第kの挿入部形状情報Fkにおける第1の特徴部kw1と第2の特徴部kw2と第3の特徴部kw3として抽出する。
さらに、第j、kの挿入部形状情報Fj、Fk間における第1の特徴部jw1と、第2の特徴部jw2と、・・・、第3の特徴部kw3の各頂点は凸部であることから、挿入部7の凸側が観察対象物2の内部空間3に接触している部分である可能性が高い。
特に、本実施の形態では、挿入部7の全体の形状が変化した場合であっても、挿入部7の形状が類似している類似形状領域LRを検出するので、次のタイミングで起こり得る挿入部7の形状を未然に推定することができる。
[第3の実施の形態]
次に、本発明の第3の実施の形態について図面を参照して説明する。なお、第1及び第2の実施の形態と同一部分には同一符号を付してその詳しい説明は省略する。
本実施の形態の上記第1及び第2の実施の形態と相違する点は、観察対象物2の内部空間3における内面プロファイルの少なくとも一部を推定する内面プロファイル情報推定部(以下、プロファイル推定部と称する)50を含むところである。
このため、挿入/抜去作業システムの挿入部7は、その一部が観察対象物2の内部空間3の内面と接触しながら作業者の操作によって奥方向に進行する。従って、挿入部7が観察対象物2の内面に接触しているところが推定できれば、観察対象物2の内面プロファイルをおおよそ推定することが出来る。観察対象物2の内面プロファイルが推定できれば、挿入部7の形状の未然の推定に活用することができる。これにより、作業者に内面プロファイル情報を提供することが可能となり、より容易に挿入/抜去作業システムが実現できる。
プロファイル推定部50は、変化導出部32からの情報を受けて観察対象物2の内面プロファイル情報FDを推定し、当該内面プロファイル情報FDを未然形状推定部33に送る。内面プロファイル情報FDは、支援情報として表示部6を経由して作業者に情報提供されることも可能である。
支援情報ユニット22の基本的な動作は、上記第1と第2の実施の形態と同一であり、相違する部分について説明する。
プロファイル推定部50は、変化導出部32からの情報に基づいて観察対象物2の内面プロファイルを推定する。プロファイル推定部50は、未然プロファイル情報メモリ50aを含む。未然プロファイル情報メモリ50aには、観察対象物2の内面プロファイルに関する未然情報が予め記憶されている。
プロファイル推定部50は、変化導出部32からの情報について下記第1〜第5の機能のように観察対象物2の内面プロファイルを推定する。
(第1の機能)
挿入部7の全体の形状は時間的に変化しているにも拘わらず、部分的に同じ形状の領域が存在する場合がある。この場合、挿入部7の同じ形状の領域は、観察対象物2の内部空間3の内面形状に倣った形状となっているためであると仮説を立て、内面プロファイルとほぼ近い形状を現していると推定する。
(第2の機能)
特徴部の位置関係、例えば、第jの挿入部形状Fjにおける第1乃至第3の特徴部jw1〜jw3の相対的な位置関係と、第kの挿入部形状Fkにおける第1乃至第3の特徴部kw1〜kw3の相対的な位置関係とが等しい場合、挿入部7は、観察対象物2内部空間3における同じ位置にあり、例えば各特徴部jw1〜jw3である頂点(外側)は、観察対象物2の内部空間3の内面に接していると推定する。
(第3の機能)
上記第2の機能と同様に、各特徴部の位置関係が等しい場合であって、各特徴部jw1〜jw3の間の領域が凸状になっている場合は、当該領域も観察対象物2の内部空間3の内面と接していると推定する。
(第4の機能)
複数の不連続な内面プロファイル領域について、滑らかに接続することが可能な場合にはこれを根拠として内面プロファイルを推定する。
(第5の機能)
推定した複数の内面プロファイルが滑らかにつながらない場合は、優先順位を第1の機能、第2の機能、第3の機能、第4の機能の順とし、下位のものについては内面プロファイルを推定できない場合としてこの推定による情報を削除する。
プロファイル推定部50は、第1の機能により形状不変化領域KE2a、KE2bの周囲に内面プロファイルを推定する。
次に、プロファイル推定部50は、第3の機能により形状変化領域KE1の湾曲の頂点(外側)の内面プロファイルを推定する。
最後に、プロファイル推定部50は、観察対象物2が筒状であるという情報から湾曲の頂点の内側のプロファイルを推定する。この例の場合、プロファイル推定部50は、挿入部7が存在している領域の全体について内面プロファイルを推定することが可能である。なお、挿入部7の先端側の形状不変化領域KE2bでは、観察対象物2の内壁が移動しており、これに伴って内面プロファイルも変化している。
プロファイル推定部50は、第2の機能により3箇所の凸部について、観察対象物2の内面に接しているものと仮定して内面プロファイルを推定する。
これと共に、プロファイル推定部50は、第3の機能により挿入部7における挿入部類似形状領域LRの凸方向の側面について、挿入部7が観察対象物2の内面に接触しているものと仮定し、内面プロファイルを推定する。
プロファイル推定部50は、上述のプロセスにより推定した内面プロファイル情報FDを情報記憶部35に記憶し、かつ未然形状推定部33に出力する。また、表示部6に出力することも可能である。
未然形状推定部33の動作について、上記図5、図20に示した第1の実施の形態で用いた例を用いて説明する。
図20は、第j、kの挿入部形状情報Fj、Fkに対応する観察対象物2の内部空間3の内面プロファイルG2j、G2kを示す。
前述の通り、観察対象物2は、例えば大腸のような筒状の内面プロファイルを有している。観察対象物2の内部を移動可能であることの情報が未然プロファイル情報メモリ50aに記憶されている。
このとき、観察対象物2の内面が移動できる距離や移動に必要な応力などの情報が予め未然プロファイル情報メモリ50aに記憶されている場合、未然形状推定部33は、当該情報を用いて適切な物理的な演算を行って未然挿入部形状情報Mを推定する。推定した未然挿入部形状情報Mは、情報記憶部35に記憶される。
[第3の実施の形態の第1の変形例]
次に、第3の実施の形態の第1の変形例について説明する。
図23は本変形例の支援情報ユニット22の構成図を示す。上記実施の形態では、プロファイル推定部50を含む例について示したが、本変形例における支援情報ユニット22は、図23に示すように観察対象物2の負荷推定情報を推定する観察対象物負荷推定部(以下、負荷推定部と称する)60を含むところが上記第3の実施の形態と相違する。
負荷推定部60は、プロファイル推定部50からの内面プロファイル情報FDと、検出時挿入部形状推定部30からの挿入部形状情報Fと、操作推定部34からの作業者操作情報Lと、および/または未然形状推定部33からの未然挿入部形状情報Mとを組み合わせて観察対象物2に加わる負荷を観察対象物負荷推定情報KGとして推定する。
先ず、図24に示すように第jの挿入部形状Fjであったものが第kの挿入部形状Fkに変形したものとする。挿入部7は、外部から負荷が掛かっていない場合、おおよそ直線形状を維持する。第jの挿入部形状Fjの場合、図24左図に示すように、挿入部7の先端部7aは、観察対象物2に接触することで押圧力FOが加わり、湾曲した形状となっている。
負荷推定部60は、支援情報ユニット22内の情報記憶部35に記憶されている挿入部7のたわみ易さやその形状となるために必要な押圧力などの情報を用いて適切な演算を行い、求められた押圧力の反力として、挿入部7が観察対象物2に掛けている押圧力を推定する。負荷推定部60が推定した観察対象物負荷情報KGは、情報記憶部35に記憶される。
このとき、負荷推定部60は、操作推定部34からの作業者操作の情報である操作の種類、方向、量の情報を活用することで押圧力FOに影響を及ぼす直接的な操作を推定することが可能である。これにより、より押圧力FOの値やその影響などについての精度を向上することが出来る。
なお、上記第1の実施の形態と同様に、従来の内視鏡システムと比較して訓練や技能向上に要する時間を短縮したり、経験や技能レベルの低い作業者であっても比較的容易に内視鏡を挿入、抜去することが可能となるなどの効果が期待できることは言うまでもない。
次に、本発明の第4の実施の形態について図面を参照して説明する。なお、本実施の形態では、上記第1乃至第3の実施の形態と共通の部分についてはその説明を省略し、それとは相違する部分についてのみ詳細に説明する。
本実施の形態において操作推定部34は、未然作業者操作情報を推定する未然操作推定部34として機能するところが上記第1乃至第3の実施の形態とは相違する。以下、操作推定部34を未然操作推定部34として読み替えて説明する。
作業者操作情報推定部34は、上記第1の実施の形態で説明した動作により作業者操作情報Lを推定する。この作業者操作情報Lは、過去又は現在までに行われた作業者操作に関する情報である。作業者操作情報Lは、操作の種類、操作の方向、操作の量の情報を含む。
未然操作推定部34は、これらの作業者操作情報Lを入力し、未来の作業者操作である未然作業者操作情報L(=LF)を推定する。未然操作推定部34は、作業者操作情報推定部34が含む形状変化情報KAも受信し、当該情報KAを用いて未然作業者操作情報LFを推定する。
未然操作推定部34は、操作推定部34から入力した作業者操作Lの種類、方向について、継続、停止、反転の3つの可能性を考慮して推定する。
また、未然操作推定部34は、操作の量についても同様に、継続(同じ量を継続する)、減量、増量の3つの可能性を考慮して推定する。ここで操作の量でも「操作量ゼロ=停止」もある。当該操作量ゼロ=停止は、操作の種類、方向で考慮する停止と同じであるので、操作の量はゼロとして考慮する。
(1)第1の未然作業者操作
この操作では、過去又は現在までに行われた操作の種類、方向、量をそのまま継続するとして推定する。未然操作推定部34は、操作推定部34から受け取った作業者操作情報Lをそのまま未然形状推定部33に向けて出力する。
(2)第2の未然作業者操作
この操作では、過去又は現在までに行われた操作を停止するものとして推定する。
(3)第3の未然作業者操作
この操作では、操作の種類は維持したまま方向を反転させる操作を行うものとして推定する。
(4)第4の未然作業者操作
この操作では、現在行っていない操作を新たに開始するとして推定を行うものである。
操作の量について、第2の未然作業者操作では「停止」のために、操作量の情報は常にゼロとなる。第4の未然作業者操作では常に増量となる。さらに、第3の未然作業者操作では方向が反転するということは、一旦減量し、その後反転方向、すなわちマイナス方向に増量することになるため、常に減量ということになる。
未然操作推定部34は、これらについて、過去および現在までの最新の作業者操作を含む1つ又は複数の作業者操作情報に基づいて未然作業者操作情報L(=LF)を推定する。
先ず、作業者が同じ操作を連続的に行っており、かつ形状変化情報KAより観察対象物2への挿入/抜去の操作が順調に進行していると判断できる場合、すなわち作業者操作の方向と量が挿入部7の移動方向、量と略等しいような場合、未然操作推定部34は、同様の作業が継続する可能性が高いと判断する。すなわち、未然操作推定部34は、第1の未然作業者操作が行われる可能性が高いと推定する。
操作の量について未然操作推定部34は、同じ操作を継続する場合、その操作が始められた後、所定時間以下の場合は増量する可能性が高いと推定する。未然操作推定部34は、所定時間以上継続されている場合、維持か又は減量する可能性が高いと推定する。また、同様に、第3又は第4の未然作業者操作の場合、未然操作推定部34は、必ず増量することになるが、その量の大きさ事態は急激に大きな値になる可能性は小さいと推定する。
支援情報ログは、目的に応じて必要なログのみを抽出可能で、挿入操作の手順と、挿入/抜去の成否などを解析可能となっている。支援情報ログは、支援情報ユニット22内に設けられ、各部と信号接続されたメモリとそれを呼び出すためのデータ処理プログラムを有している。また、支援情報ユニット22は支援情報ログを表示部に表示させることが可能となっている。
又、未然操作推定部34は、未然形状推定部33に対し、複数の未然作業者操作情報L(=LF)を並行して出力する機能を有している。これは、未然作業者操作情報L(=LF)は、実際の作業者の操作ではないため、作業者が当然異なる操作を行う可能性がある。そこで、起こり得る可能性の高い順に複数の未然作業者操作情報L(=LF)を未然形状推定部33に出力することで、起こりそうな複数の未然挿入部形状を未然形状推定部33が推定可能にする。このとき、未然操作推定部34は、上述したような様々な情報、状況を考慮し、起こりそうな順に未然作業者操作情報L(=LF)を順位付けし、その順に沿って未然形状推定部33に出力する。順位付けが難しい場合や情報が不足する場合は、上述の第1の未然作業者操作情報から第2、第3、第4の未然作業者操作情報L(=LF)の順に出力する。
本実施の形態のように構成することで次のタイミングで起こり得る挿入部7の形状を未然に推定し、これを作業者に挿入操作支援情報として表示・提供することが可能となる。この結果、従来の内視鏡システムと比較して訓練や技能向上に要する時間を短縮したり、経験や技能レベルの低い作業者であっても比較的容易に内視鏡を挿入、抜去することが可能となるなどの効果が期待できる。
形状センサ8は、光ファイバセンサを用いてきたが、これに限らない。
観察対象物2の内部での挿入部7の形状を検出可能なものであれば、どのようなものでもかまわない。例えば、複数の磁気コイルを挿入部7内に配置し、外部に磁気アンテナを配置したものでもかまわない。この場合、アンテナとの絶対的な位置が確認できるため、後述するように挿入量センサを用いる必要がない。
さらに、上述した実施形態では、異なる部分については置き換える例を示したが、これに限らない。例えば、第1の実施の形態から第2の実施の形態の変形例までで説明した変化導出部32の機能を一つの挿入部時間変化導出部に組み込んで使用時において選択可能としてもかまわないし、状況に応じて適切な手法を自動的に選定するように構成してもかまわない。同様に上述した全ての実施の形態の構成を一つの挿入/抜去作業システムに搭載し、それぞれの機能を選択可能としたり、同時に推定、表示可能とすることも可能である。
なお、これまで述べてきた実施形態およびその変形例は一例に過ぎず、その趣旨を逸脱しない範囲で様々な変形が可能である。
Claims (17)
- 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
を具備し、
nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、
前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含み、
前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記形状センサから出力される前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、
前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求め、
前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する、
ことを特徴とする未然形状推定装置。 - 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部と、
を具備し、
前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する、
ことを特徴とする未然形状推定装置。 - 前記挿入部は、前記観察対象物の内部の表面を観察するための内視鏡の挿入部を含むことを特徴とする請求項1または2に記載の未然形状推定装置。
- 前記挿入部形状時間変化情報に基づいて前記観察対象物の内部への前記挿入部の挿入操作を含む操作情報を推定する操作情報推定部を含み、
前記未然挿入部形状推定部は、前記操作情報に基づいて前記未然推定形状情報を推定する、
ことを特徴とする請求項1または2に記載の未然形状推定装置。 - 前記操作情報推定部は、前記挿入部の形状変化が前記挿入部の挿入操作を受けて為されたものと仮定し、前記第jのタイミング信号の発生時から前記第kのタイミング信号の発生時までの期間中における前記挿入部の前記形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを推定する、
ことを特徴とする請求項1を引用する請求項4に記載の未然形状推定装置。 - 前記操作情報推定部は、前記操作情報に基づいて今後に行われる前記挿入部への操作情報を未然に推定する未然操作情報推定部を含み、
前記未然挿入部形状推定部は、前記未然操作情報推定部により推定された前記操作情報が行われたときの前記挿入部の形状を未然に推定する、
ことを特徴とする請求項4に記載の未然形状推定装置。 - 前記形状センサは、前記挿入部に搭載され、光ファイバセンサ、又は磁気センサを含むことを特徴とする請求項1または2に記載の未然形状推定装置。
- 前記形状センサは、X線カメラ、又は外部カメラを含むことを特徴とする請求項1または2に記載の未然形状推定装置。
- 前記挿入部の形状を操作可能な操作ハンドルと、
前記操作ハンドルの操作量を検出する操作量センサと、
を含み、
前記操作情報推定部は、前記操作量センサにより検出される前記操作ハンドルの操作量に基づいて前記挿入部に対する前記操作情報を推定する、
ことを特徴とする請求項4に記載の未然形状推定装置。 - 前記観察対象物の内部に前記挿入部を挿入するための入口部と、
前記入口部に設けられ、前記観察対象物の内部への前記挿入部の挿入量を検出する挿入量センサと、
を含み、
前記操作情報推定部は、前記挿入量センサにより検出された前記挿入部の挿入量に基づいて前記挿入部に対する前記操作情報を推定する、
ことを特徴とする請求項4に記載の未然形状推定装置。 - 前記未然に推定される前記未然推定形状情報を記憶し、かつ必要に応じて前記未然推定形状情報を読み出し可能とする情報記憶部を含むことを特徴とする請求項1または2に記載の未然形状推定装置。
- 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記挿入部の湾曲操作を行うための操作部と、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
を具備し、
nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、
前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含み、
前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記形状センサから出力される前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、
前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求め、
前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する、
ことを特徴とする挿入/抜去作業システム。 - 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記挿入部の湾曲操作を行うための操作部と、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部と、
を具備し、
前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する、
ことを特徴とする挿入/抜去作業システム。 - 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記挿入部を湾曲させるための操作部と、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
前記未然挿入部形状推定部から出力された前記未然推定形状情報を報知し、前記挿入部の前記観察対象物の内部への挿入/抜去を支援する作業支援部と、
を具備し、
nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、
前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御部を含み、
前記挿入部形状算出部は、前記形状センサ制御部から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記形状センサから出力される前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、
前記形状時間変化導出部は、前記挿入部形状算出部により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求め、
前記形状時間変化導出部は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する、
ことを特徴とする挿入/抜去作業支援システム。 - 観察対象物の内部に挿入される可撓性を有する挿入部と、
前記挿入部の湾曲状態を検出してその検出信号を出力する形状センサと、
前記挿入部を湾曲させるための操作部と、
前記形状センサから出力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
前記挿入部形状算出部により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出部と、
前記形状時間変化導出部により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出部により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定部と、
前記未然挿入部形状推定部から出力された前記未然推定形状情報を報知し、前記挿入部の前記観察対象物の内部への挿入/抜去を支援する作業支援部と、
前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定部と、
を具備し、
前記未然挿入部形状推定部は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する、
ことを特徴とする挿入/抜去作業支援システム。 - コンピュータに、
観察対象物の内部に挿入される可撓性を有する挿入部の湾曲状態を検出する形状センサから出力される検出信号を入力する入力機能と、
前記入力機能により入力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出機能と、
前記挿入部形状算出機能により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出機能と、
前記形状時間変化導出機能により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出機能により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定機能と、
nを2以上の自然数とし、j、kをそれぞれ互いに異なるn以下の自然数とし、かつ当該jとkとの大小関係をj<kとし、
前記形状センサに対して、前記挿入部の形状の検出タイミングを示す第1乃至第nのタイミング信号を出力する形状センサ制御機能と、
を実現し、
前記挿入部形状算出機能は、前記形状センサ制御機能から出力された前記第1乃至第nのタイミング信号に含まれる第jと第kとの各タイミング信号に対応して前記入力機能により入力された前記検出信号に基づいて第jの挿入部形状情報と第kの挿入部形状情報とを算出し、
前記形状時間変化導出機能は、前記挿入部形状算出機能により算出された前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較し、前記第jのタイミング信号の出力時から前記第kのタイミング信号の出力時までの前記挿入部形状時間変化情報を求め、
前記形状時間変化導出機能は、前記第jの挿入部形状情報と前記第kの挿入部形状情報とを比較して前記挿入部において形状が殆ど変化していない形状不変化領域を抽出し、当該形状不変化領域が複数ある場合、当該各形状不変化領域の相対的な位置関係の変化に基づいて前記挿入部での形状変化の種類、当該形状変化の方向、又は当該形状変化の量のうち少なくとも1つを導出し、前記挿入部形状時間変化情報として出力する、
未然形状推定プログラム。 - コンピュータに、
観察対象物の内部に挿入される可撓性を有する挿入部の湾曲状態を検出する形状センサから出力される検出信号を入力する入力機能と、
前記入力機能により入力された前記検出信号に基づいて前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出機能と、
前記挿入部形状算出機能により互いに異なる時刻に算出された前記挿入部形状情報を比較し、その比較結果に基づいて前記挿入部の形状変化を示す挿入部形状時間変化情報を導出する形状時間変化導出機能と、
前記形状時間変化導出機能により導出された前記挿入部形状時間変化情報と、前記挿入部形状算出機能により算出された前記挿入部形状情報とに基づいて、所定の時間経過後の前記挿入部の形状を未然に推定し、未然推定形状情報として出力する未然挿入部形状推定機能と、
前記挿入部形状時間変化情報に基づいて前記観察対象物の内表面の形状情報を示す内面プロファイル情報の少なくとも一部を推定する観察対象物内面プロファイル情報推定機能と、
を実現し、
前記未然挿入部形状推定機能は、前記観察対象物の前記内面プロファイル情報に基づいて前記未然推定形状情報を推定する、
未然形状推定プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/052696 WO2016121106A1 (ja) | 2015-01-30 | 2015-01-30 | 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム、未然形状推定方法及び未然形状推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016121106A1 JPWO2016121106A1 (ja) | 2017-10-12 |
JP6535689B2 true JP6535689B2 (ja) | 2019-06-26 |
Family
ID=56542756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016571643A Active JP6535689B2 (ja) | 2015-01-30 | 2015-01-30 | 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10765299B2 (ja) |
JP (1) | JP6535689B2 (ja) |
CN (1) | CN107249421B (ja) |
DE (1) | DE112015006093T5 (ja) |
WO (1) | WO2016121106A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019008726A1 (ja) * | 2017-07-06 | 2019-01-10 | オリンパス株式会社 | 管状挿入装置 |
JP7160659B2 (ja) * | 2018-01-11 | 2022-10-25 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置、医用情報処理システム及び医用情報処理方法 |
CN111801042B (zh) * | 2018-03-30 | 2023-08-18 | 奥林巴斯株式会社 | 应力估算系统、应力估算装置、内窥镜系统和应力估算方法 |
WO2020026386A1 (ja) * | 2018-08-01 | 2020-02-06 | オリンパス株式会社 | 内視鏡システムおよび制御装置 |
WO2021156926A1 (ja) * | 2020-02-03 | 2021-08-12 | オリンパス株式会社 | 内視鏡制御装置、内視鏡制御方法および内視鏡制御プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3981364B2 (ja) * | 2004-03-19 | 2007-09-26 | オリンパス株式会社 | ダブルバルーン式内視鏡システム |
JP2007044412A (ja) | 2005-08-12 | 2007-02-22 | Pentax Corp | 内視鏡挿入形状検出プローブ |
WO2010103866A1 (ja) * | 2009-03-10 | 2010-09-16 | オリンパスメディカルシステムズ株式会社 | 位置検出システムおよび位置検出方法 |
US8672837B2 (en) * | 2010-06-24 | 2014-03-18 | Hansen Medical, Inc. | Methods and devices for controlling a shapeable medical device |
JP5766940B2 (ja) * | 2010-12-01 | 2015-08-19 | オリンパス株式会社 | 管状挿入システム |
JP2014502911A (ja) * | 2011-01-20 | 2014-02-06 | エナヴ メディカル リミテッド | 物体の場所および配向を推定するシステムおよび方法 |
US9539726B2 (en) * | 2012-04-20 | 2017-01-10 | Vanderbilt University | Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots |
JP6205125B2 (ja) * | 2012-12-11 | 2017-09-27 | オリンパス株式会社 | 内視鏡装置の挿入支援情報検出システム及び内視鏡装置 |
US20150351608A1 (en) * | 2013-01-10 | 2015-12-10 | Ohio University | Method and device for evaluating a colonoscopy procedure |
JP2015181643A (ja) * | 2014-03-24 | 2015-10-22 | オリンパス株式会社 | 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法 |
JP6322495B2 (ja) * | 2014-06-26 | 2018-05-09 | オリンパス株式会社 | 形状推定装置、形状推定装置を備えた内視鏡システム及び形状推定のためのプログラム |
JP6278848B2 (ja) * | 2014-06-26 | 2018-02-14 | オリンパス株式会社 | 形状推定装置、それを備えた内視鏡システム及び形状推定のためのプログラム |
JP6522647B2 (ja) * | 2014-11-17 | 2019-05-29 | オリンパス株式会社 | 内視鏡装置 |
CN107529939B (zh) * | 2015-04-07 | 2019-08-27 | 奥林巴斯株式会社 | 插拔装置、插入部的直接操作推测方法及非暂时性存储插入部的直接操作推测程序的存储介质 |
-
2015
- 2015-01-30 DE DE112015006093.6T patent/DE112015006093T5/de not_active Withdrawn
- 2015-01-30 WO PCT/JP2015/052696 patent/WO2016121106A1/ja active Application Filing
- 2015-01-30 CN CN201580072569.1A patent/CN107249421B/zh active Active
- 2015-01-30 JP JP2016571643A patent/JP6535689B2/ja active Active
-
2017
- 2017-06-20 US US15/627,687 patent/US10765299B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107249421A (zh) | 2017-10-13 |
JPWO2016121106A1 (ja) | 2017-10-12 |
CN107249421B (zh) | 2019-06-18 |
DE112015006093T5 (de) | 2017-10-19 |
WO2016121106A1 (ja) | 2016-08-04 |
US20170303769A1 (en) | 2017-10-26 |
US10765299B2 (en) | 2020-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6535689B2 (ja) | 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラム | |
US20200146757A1 (en) | Catheter sensor systems | |
KR102536940B1 (ko) | 가요성 기구 삽입을 위한 장치 | |
JP5788623B2 (ja) | 内視鏡システム | |
EP2766083B1 (en) | Catheter systems | |
JP6205125B2 (ja) | 内視鏡装置の挿入支援情報検出システム及び内視鏡装置 | |
JP2019531807A (ja) | プルワイヤを用いた内視鏡の自動較正 | |
WO2015190514A1 (ja) | 内視鏡システム | |
JP7030530B2 (ja) | 連続体ロボットの制御装置及びその制御方法、並びに、プログラム | |
US11553834B2 (en) | Force estimation system and force information calculation method | |
CN108430300B (zh) | 挠性管插入装置 | |
JP6442601B2 (ja) | 挿抜装置及び挿入部の直接操作推定プログラム | |
JPWO2017191685A1 (ja) | 形状センサシステム | |
US10881275B2 (en) | Medical device insertion method | |
JPWO2020070851A1 (ja) | 内視鏡湾曲部、及び、内視鏡 | |
CN109068942B (zh) | 医疗用外套管 | |
CN106163362A (zh) | 内窥镜 | |
JP6727405B2 (ja) | 内視鏡 | |
JP6257852B2 (ja) | 内視鏡 | |
JP6983474B2 (ja) | 操縦可能な装置に使用するための導体ケーブル | |
JP7084991B2 (ja) | 力情報算出装置、内視鏡システムおよび力情報算出方法 | |
JPWO2018207514A1 (ja) | 内視鏡 | |
US20150282792A1 (en) | Endoscopic instrument | |
Menciassi et al. | Paolo Dario Pasquale Ciarletta |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180626 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190603 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6535689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |