JPWO2019234859A1 - 力情報算出装置、内視鏡システムおよび力情報算出方法 - Google Patents

力情報算出装置、内視鏡システムおよび力情報算出方法 Download PDF

Info

Publication number
JPWO2019234859A1
JPWO2019234859A1 JP2020523911A JP2020523911A JPWO2019234859A1 JP WO2019234859 A1 JPWO2019234859 A1 JP WO2019234859A1 JP 2020523911 A JP2020523911 A JP 2020523911A JP 2020523911 A JP2020523911 A JP 2020523911A JP WO2019234859 A1 JPWO2019234859 A1 JP WO2019234859A1
Authority
JP
Japan
Prior art keywords
information
force
calculation
shape
constants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020523911A
Other languages
English (en)
Other versions
JP7084991B2 (ja
Inventor
高山 晃一
晃一 高山
潤 羽根
潤 羽根
藤田 浩正
浩正 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019234859A1 publication Critical patent/JPWO2019234859A1/ja
Application granted granted Critical
Publication of JP7084991B2 publication Critical patent/JP7084991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

力情報算出装置10の算出装置本体部11は、形状情報取得部12と、記憶部13と、力情報算出部14とを備えている。内視鏡挿入形状観測装置5は、可撓性部材である内視鏡1の挿入部21の形状と対応関係を有する複数の第1の形状情報を取得する。形状情報取得部12は、複数の第1の形状情報に基づいて、複数の第2の形状情報を取得する。記憶部13は、複数の第1の定数を記憶する。力情報算出部14は、複数の第2の形状情報と複数の第1の定数の対応するもの同士の乗算を含む演算によって、挿入部21における第1の検出位置に作用する力の大きさの情報を含む第1の力情報を算出する。

Description

本発明は、可撓性部材に作用する力の大きさを算出する力情報算出装置、内視鏡システムおよび力情報算出方法に関する。
近年、医療分野および工業用分野において、可撓性を有する挿入部を具備した内視鏡が広く用いられている。医療分野では、臓器の観察、処置具を用いた治療措置、内視鏡観察下における外科手術等に、内視鏡が広く用いられている。
内視鏡の挿入部を大腸等の管腔内に挿入する場合、挿入部は、管腔の内壁に接触しながら管腔内に挿入されていき、管腔から受ける力に応じて変形する。管腔の内壁に挿入部が接触した状態で、必要以上に大きな力で挿入部の挿入操作を行うと、臓器等にダメージを与えてしまうおそれがある。これを防止するために、挿入部に作用する力の情報を取得することができるようにすることが好ましい。
挿入部に作用する力は、例えば、歪みゲージ等のセンサを挿入部に設けることによって検出することができる。しかし、挿入部に作用する力について複数の方向の成分を検出したり、複数の位置において挿入部に作用する力を検出したりしようとすると、センサの数が多くなってしまう。その結果、センサ用の配線が多くなり、挿入部の可撓性が低下してしまう。
日本国特許公開第2013−94337号公報には、光ファイバを利用した湾曲センサを用いることにより、挿入部の大きさや硬さにほとんど影響を与えることなく、挿入部の先端に加わる外力の方向と大きさを検出する管状挿入装置が開示されている。
しかしながら、臓器等にダメージを与えてしまうことを防止するためには、挿入部の先端だけではなく、挿入部の先端以外の場所に作用する力の情報も取得する必要がある。日本国特許公開第2013−94337号公報に開示された管状挿入装置では、挿入部の先端以外の場所や、挿入部における複数の場所に作用する力の情報を取得することは難しい。
上記の問題は、工業用分野において用いられる内視鏡の挿入部に作用する力の情報を取得する場合や、カテーテル等の挿入部以外の可撓性を有する部材に作用する力の情報を取得する場合にも当てはまる。
そこで、本発明は、可撓性部材における任意の位置に作用する力の大きさの情報を算出することができる力情報算出装置、内視鏡システムおよび力情報算出方法を提供することを目的とする。
本発明の一態様の力情報算出装置は、細長い形状を有する可撓性部材と、前記可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得する形状センサ部と、前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得する形状情報取得部と、複数の第1の定数を含む第1の定数組を記憶する記憶部と、前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出する力情報算出部と、を備えている。
また、本発明の一態様の内視鏡システムは、力情報算出装置と、前記可撓性部材として被検体内に挿入される挿入部を有する内視鏡と、を備えている。
また、本発明の一態様の力情報算出方法は、形状センサ部が、細長い形状を有する可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得するステップと、形状情報取得部が、前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得するステップと、記憶部が、複数の第1の定数を含む第1の定数組を記憶するステップと、力情報算出部が、前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出するステップと、を含んでいる。
本発明の第1の実施の形態に係わる内視鏡システムの概略の構成を示す説明図である。 本発明の第1の実施の形態に係わる力情報算出装置の算出装置本体部の構成を示す機能ブロック図である。 本発明の第1の実施の形態に係わる力情報算出装置の算出装置本体部のハードウェア構成の一例を示す説明図である。 本発明の第1の実施の形態における測定点と算出点を説明するための説明図である。 本発明の第1の実施の形態における第1の検出位置と第2の検出位置の例を示す説明図である。 本発明の第1の実施の形態に係わる力情報算出方法を示すフローチャートである。 本発明の第1の実施の形態の第1の変形例における算出装置本体部の構成を示す機能ブロック図である。 本発明の第1の実施の形態の第2の変形例における算出装置本体部の構成を示す機能ブロック図である。 本発明の第2の実施の形態に係わる力情報算出装置の算出装置本体部の構成を示す機能ブロック図である。 本発明の第2の実施の形態の第1の変形例における算出装置本体部の構成を示す機能ブロック図である。 本発明の第2の実施の形態の第2の変形例における算出装置本体部の構成を示す機能ブロック図である。
以下、図面を参照して、本発明の実施の形態を説明する。
[第1の実施の形態]
(内視鏡システムの構成)
始めに、本発明の第1の実施の形態に係わる内視鏡システムの概略の構成について説明する。本実施の形態に係わる内視鏡システム100は、医療用の内視鏡システムである。図1は、内視鏡システム100の概略の構成を示す説明図である。図1に示したように、内視鏡システム100は、内視鏡1と、本体装置2と、表示部3とを備えている。内視鏡1と表示部3は、本体装置2に接続されている。表示部3は、本体装置2に接続されている。
内視鏡1は、被検体内に挿入される挿入部21と、挿入部21の基端に連接された操作部22とを有している。挿入部21は、細長い形状を有する可撓性部材である。挿入部21の先端部には、光源部と撮像素子が設けられている。光源部は、例えばLED等の発光素子によって構成されており、被写体に照射される照明光を発生する。
照明光が照射された被写体の反射光は、図示しない観察窓を介して撮像素子に取り込まれる。撮像素子は、例えばCCDまたはCMOSによって構成されており、被写体の反射光を光電変換して、撮像信号を生成する。撮像素子によって生成された撮像信号は、アナログ信号からデジタル信号に変換された後、本体装置2に出力される。
本体装置2は、ビデオプロセッサとして構成されており、内視鏡1を制御すると共に撮像信号に対して所定の画像処理を行う制御部2Aを含んでいる。所定の画像処理としては、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整がある。本体装置2は、所定の画像処理が行われた撮像信号(以下、撮像画像と言う。)を表示部3に出力する。表示部3は、モニタ装置等によって構成されており、本体装置2から出力された撮像画像を画面上に表示する。
内視鏡システム100は、更に、本実施の形態に係わる力情報算出装置10を備えている。力情報算出装置10は、細長い形状を有する可撓性部材と、形状センサ部と、算出装置本体部11とを備えている。本実施の形態では、可撓性部材は、内視鏡1の挿入部21である。
また、本実施の形態では、形状センサ部は、内視鏡1の挿入部21の挿入状態を観測する内視鏡挿入形状観測装置5である。内視鏡挿入形状観測装置5は、観測装置本体部51と、受信アンテナ52と、表示部53とを備えている。受信アンテナ52と表示部53は、観測装置本体部51に接続されている。観測装置本体部51は、本体装置2に接続されている。
内視鏡1の挿入部21には、挿入部21の長手方向に沿って互いに間隔をあけて配置された複数のソースコイル23が設けられている。受信アンテナ52は、内視鏡1の挿入部21内に設けられた複数のソースコイル23が発生する複数の磁界を受信する。観測装置本体部51は、挿入部21の挿入形状画像を生成する処理を行う制御部51Aを含んでいる。制御部51Aは、複数のソースコイル23によって規定される複数の点(以下、測定点と言う。)の各々における形状情報を取得し、取得した形状情報に基づいて、挿入部21の挿入形状画像を生成する。本実施の形態では、制御部51Aは、形状情報として、挿入部21の形状と対応関係を有する情報、具体的には測定点の座標を取得する。測定点の座標は、受信アンテナ52が受信した磁界に基づいて算出することができる。
また、観測装置本体部51は、制御部51Aが生成した挿入形状画像を、表示部53に出力する。表示部53は、モニタ装置等によって構成されており、観測装置本体部51から出力された挿入形状画像を画面上に表示する。
算出装置本体部11は、観測装置本体部51に接続されている。観測装置本体部51は、制御部51Aが取得した形状情報を、算出装置本体部11に出力する。観測装置本体部51が出力する形状情報は、複数の測定点の各々における形状情報である。以下、観測装置本体部51が出力する形状情報を、第1の形状情報と言う。本実施の形態では、第1の形状情報は、測定点の座標の情報を含んでいる。
力情報算出装置10は、更に、算出装置本体部11に接続された報知手段18を備えている。報知手段18については、後で説明する。
(算出装置本体部の構成)
次に、図2を参照して、力情報算出装置10の算出装置本体部11の構成について説明する。図2は、算出装置本体部11の構成を示す機能ブロック図である。算出装置本体部11は、形状情報取得部12と、記憶部13と、力情報算出部14と、力情報伝達部15とを備えている。
形状情報取得部12には、観測装置本体部51が出力した第1の形状情報が入力される。形状情報取得部12は、複数の第1の形状情報に基づいて、挿入部21において挿入部21の長手方向に沿って互いに間隔を開けて配置された複数の算出点の各々における形状情報である第2の形状情報を取得する。複数の算出点については、後で説明する。
記憶部13は、力情報算出部14において用いられる複数の定数を記憶する。力情報算出部14は、記憶部13に記憶された複数の定数を読み出すことができるように構成されており、複数の第2の形状情報と複数の定数に基づいて、挿入部21における任意の位置に作用する力と対応関係を有する情報を算出する。力情報伝達部15は、力情報算出部14が算出した情報と対応関係を有する信号を、算出装置本体部11の外部の装置等に伝達する。力情報算出部14と力情報伝達部15の動作の詳細については、後で説明する。
ここで、図3を参照して、算出装置本体部11のハードウェア構成について説明する。図3は、算出装置本体部11のハードウェア構成の一例を示す説明図である。図3に示した例では、算出装置本体部11は、プロセッサ11Aと、メモリ11Bと、記憶装置11Cと、入出力部11Dとによって構成されている。
プロセッサ11Aは、形状情報取得部12、力情報算出部14および力情報伝達部15の少なくとも一部の機能を実行するために用いられる。プロセッサ11Aは、例えば、FPGA(Field Programmable Gate Array)によって構成されている。形状情報取得部12、力情報算出部14および力情報伝達部15の少なくとも一部は、FPGAにおける回路ブロックとして構成されていてもよい。
メモリ11Bは、例えば、RAM等の書き換え可能な揮発性の記憶素子によって構成されている。記憶装置11Cは、例えば、フラッシュメモリまたは磁気ディスク装置等の書き換え可能な不揮発性の記憶装置によって構成されている。記憶部13は、メモリ11Bおよび記憶装置11Cのうちの少なくとも1つによって構成されている。記憶部13が記憶する複数の定数は、記憶装置11Cに記憶されるように構成されていてもよいし、図示しない他の記憶装置から読み出してメモリ11Bに記憶されるように構成されていてもよい。
入出力部11Dは、算出装置本体部11と外部との間で信号の送受信を行うために用いられる。
なお、プロセッサ11Aは、中央演算処理装置(以下、CPUと記す。)によって構成されていてもよい。この場合、形状情報取得部12、力情報算出部14および力情報伝達部15の少なくとも一部の機能は、CPUが記憶装置11Cまたは図示しない他の記憶装置からプログラムを読み出して実行することによって実現されてもよい。
また、算出装置本体部11のハードウェア構成は、図3に示した例に限られない。例えば、形状情報取得部12、力情報算出部14および力情報伝達部15の各々は、別個の電子回路として構成されていてもよい。あるいは、算出装置本体部11と、本体装置2または観測装置本体部51は、一体化された装置として構成されていてもよい。この場合にも、形状情報取得部12、力情報算出部14および力情報伝達部15の少なくとも一部は、本体装置2または観測装置本体部51に設けられたFPGAにおける回路ブロックとして構成されていてもよいし、形状情報取得部12、力情報算出部14および力情報伝達部15の少なくとも一部の機能は、本体装置2または観測装置本体部51に設けられたCPUが、本体装置2または観測装置本体部51に設けられた記憶装置または図示しない他の記憶装置からプログラムを読み出して実行することによって実現されてもよい。
(測定点と算出点)
次に、図1、図2および図4を参照して、測定点と算出点について説明する。図4は、測定点と算出点を説明するための説明図であり、挿入部21の一部を示している。前述のように、測定点は、挿入部21に設けられたソースコイル23によって規定される点である。測定点は、例えば、ソースコイル23の中心位置に相当する点であってもよい。複数のソースコイル23は、挿入部21において、挿入部21の長手方向に沿って互いに間隔をあけて配置されていることから、複数の測定点も、挿入部21において、挿入部21の長手方向に沿って互いに間隔をあけて配置されている。図4では、複数の測定点を、記号Psを付した点で示している。
また、測定点Psは、任意の点を原点とし、互いに直交するX軸、Y軸およびZ軸で表される直交座標系の点として表すことができる。本実施の形態では、第1の形状情報は、測定点Psの座標(Psx,Psy,Psz)の情報を含んでいる。なお、PsxはX座標の値であり、PsyはY座標の値であり、PszはZ座標の値である。
また、複数の算出点は、第2の形状情報を取得するために、形状情報取得部12によって規定される点である。複数の算出点の位置は、全て、測定点Psの位置と一致していてもよい。あるいは、複数の算出点の少なくとも一部は、測定点Psと一致していていなくてもよい。図4では、複数の算出点を、記号Pcを付した点で示している。図4には、挿入部21の長手方向において、複数の算出点Pcの一部が、測定点Psとは異なる位置にある例を示している。
なお、図4では、便宜上、挿入部21の長手方向において同じ位置にある測定点Psと算出点Pcを、挿入部21の長手方向に直交する方向に互いに離して描いている。しかし、上記の測定点Psと算出点Pcは、実際には、同じ位置にある。
算出点Pcは、測定点Psと同様に、直交座標系の点として表すことができる。本実施の形態では、第2の形状情報は、算出点Pcの座標(Pcx,Pcy,Pcz)の情報を含んでいる。なお、PcxはX座標の値であり、PcyはY座標の値であり、PczはZ座標の値である。
以下、第2の形状情報の取得方法について説明する。形状情報取得部12は、複数の測定点Psの各々における第1の形状情報から、算出点Pcにおける第2の形状情報を取得する。複数の算出点Pcの位置が全て測定点Psの位置と一致している場合、形状情報取得部12は、例えば、測定点Psの座標を算出点Pcの座標とすることによって、算出点Pcの座標の情報を含む第2の形状情報を取得する。
また、複数の算出点Pcの少なくとも一部が測定点Psとは異なる位置にある場合、形状情報取得部12は、例えば、複数の測定点Psからスプライン補間の関数を求め、求めた関数から算出点Pcの座標を算出することによって、算出点Pcの座標の情報を含む第2の形状情報を取得する。
なお、第2の形状情報は、更に、算出点Pcにおける挿入部21の曲率の情報を含んでいてもよい。形状情報取得部12は、例えば、複数の測定点Psの座標または複数の算出点Pcの座標から、算出点Pcにおける挿入部21の曲率を算出することによって、算出点Pcにおける挿入部21の曲率の情報を含む第2の形状情報を取得する。
(力情報算出部の動作)
次に、図2を参照して、力情報算出部14の動作について説明する。力情報算出部14は、複数の第2の形状情報と記憶部13に記憶された複数の定数に基づいて、挿入部21における任意の位置に作用する少なくとも1つの方向の力の大きさの情報を含む力情報を算出する。本実施の形態では、少なくとも1つの方向は、互いに直交する第1の方向、第2の方向および第3の方向である。力情報は、第1の方向の大きさの情報である第1の情報と、第2の方向の力の大きさの情報である第2の情報と、第3の方向の力の大きさの情報である第3の情報とを含んでいる。
前述のように、第2の形状情報は、算出点Pcの座標(Pcx,Pcy,Pcz)の情報を含んでいる。ここで、X軸に平行な方向をX方向と言い、Y軸に平行な方向をY方向と言い、Z軸に平行な方向をZ方向と言う。本実施の形態では、第1の方向をX方向とし、第2の方向をY方向とし、第3の方向をZ方向とする。
また、本実施の形態では、力情報算出部14は、挿入部21における複数の位置の各々における力情報を算出する。複数の位置は、複数の算出点Pcの位置と一致していてもよいし、一致していなくてもよい。また、複数の位置の数は、複数の算出点Pcの数と一致していてもよいし、一致していなくてもよい。
ここで、挿入部21における任意の位置を第1の検出位置と言い、挿入部21において第1の検出位置とは異なる位置を第2の検出位置と言う。図5には、第1の検出位置P1と第2の検出位置P2の例を示している。以下、第1の検出位置P1における力情報である第1の力情報の算出方法と、第2の検出位置P2における力情報である第2の力情報の算出方法について説明する。
始めに、第1の力情報の算出方法について説明する。本実施の形態では、力情報算出部14は、n個(nは2以上の整数)の第2の形状情報に基づいて、第1の検出位置P1に作用する力F1(図5参照)を算出する。以下、n個の第2の形状情報を、便宜上、1番目ないしn番目の第2の形状情報と呼ぶ。本実施の形態では、力情報算出部14は、下記の式(1)〜(3)を用いて、力F1のX方向の成分F1xと、力F1のY方向の成分F1yと、力F1のZ方向の成分F1zを算出する。
F1x=A11・X1+A12・X2+A13・X3
+・・・+A1n・Xn+C1 …(1)
F1y=A21・X1+A22・X2+A23・X3
+・・・+A2n・Xn+C2 …(2)
F1z=A31・X1+A32・X2+A33・X3
+・・・+A3n・Xn+C3 …(3)
式(1)〜(3)において、Xnは、n番目の第2の形状情報を表し、A1n,A2n,A3nは、それぞれ、Xnに乗じるための定数であり、C1,C2,C3は定数項である。
Xnは、n番目の第2の形状情報に対応する算出点Pcの3つの座標値を要素として含む3次元列ベクトルであってもよい。この場合、A1n,A2n,A3nは、それぞれ、Xnの3つの座標値の各々に乗じるための3つの定数を要素として含む3次元行ベクトルである。本実施の形態では、便宜上、定数を要素として含む行ベクトルも、定数と言う。あるいは、Xnは、算出点Pcの3つの座標値を所定の式に代入して算出される値であってもよい。この場合、A1n,A2n,A3nは、それぞれ定数である。
力F1の大きさと方向は、F1x,F1y,F1zから算出することができる。また、F1xは、第1の検出位置P1に作用するX方向の力の大きさを算出したものでもあり、F1yは、第1の検出位置P1に作用するY方向の力の大きさを算出したものでもあり、F1zは、第1の検出位置P1に作用するZ方向の力の大きさを算出したものでもある。力情報算出部14は、力F1の大きさと方向を第1の力情報としてもよいし、F1x,F1y,F1zを第1の力情報としてもよい。
本実施の形態では、第1の力情報を算出する際に、第2の形状情報、すなわち算出点Pcの3つの座標値または3つの座標値から所定の規則に従って算出される値に乗じるための定数を、第1の定数と言う。記憶部13は、複数の第1の定数を含む第1の定数組を記憶する。本実施の形態では、第1の定数組は、第1の定数として、A1n,A2n,A3nを含んでいる。また、第1の定数組は、更に、定数項C1,C2,C3を含んでいる。
ここで、F1xの情報を第1の情報とし、F1yの情報を第2の情報とし、F1zの情報を第3の情報とする。複数の第1の定数は、第1の情報を算出するための複数の定数と、第2の情報を算出するための複数の定数と、第3の情報を算出するための複数の定数とを含んでいる。
次に、第2の力情報の算出方法について説明する。本実施の形態では、力情報算出部14は、第1の力情報と同様に、n個の第2の形状情報に基づいて、第2の検出位置P2に作用する力F2(図5参照)を算出する。本実施の形態では、力情報算出部14は、下記の式(4)〜(6)を用いて、力F2のX方向の成分F2xと、力F2のY方向の成分F2yと、力F2のZ方向の成分F2zを算出する。
F2x=A41・X1+A42・X2+A43・X3
+・・・+A4n・Xn+C4 …(4)
F2y=A51・X1+A52・X2+A53・X3
+・・・+A5n・Xn+C5 …(5)
F2z=A61・X1+A62・X2+A63・X3
+・・・+A6n・Xn+C6 …(6)
式(4)〜(6)において、A4n,A5n,A6nは、それぞれ、Xnに乗じるための定数であり、C1,C2,C3は定数項である。A4n,A5n,A6nは、A1n,A2n,A3nと同様に、それぞれ、Xnの3つの座標値の各々に乗じるための3つの定数を要素として含む3次元行ベクトルであってもよいし、定数であってもよい。
力F2の大きさと方向は、F2x,F2y,F2zから算出することができる。また、F2xは、第2の検出位置P2に作用するX方向の力の大きさを算出したものでもあり、F2yは、第2の検出位置P2に作用するY方向の力の大きさを算出したものでもあり、F2zは、第2の検出位置P2に作用するZ方向の力の大きさを算出したものでもある。力情報算出部14は、力F2の大きさと方向を第2の力情報としてもよいし、F2x,F2y,F2zを第2の力情報としてもよい。
本実施の形態では、第2の力情報を算出する際に、第2の形状情報、すなわち算出点Pcの3つの座標値または3つの座標値から所定の規則に従って算出される値に乗じるための定数を、第2の定数と言う。記憶部13は、複数の第2の定数を含む第2の定数組を記憶する。本実施の形態では、第2の定数組は、第2の定数として、A4n,A5n,A6nを含んでいる。また、第2の定数組は、更に、定数項C4,C5,C6を含んでいる。
ここで、F2xの情報を第1の情報とし、F2yの情報を第2の情報とし、F2zの情報を第3の情報とする。複数の第2の定数は、第1の情報を算出するための複数の定数と、第2の情報を算出するための複数の定数と、第3の情報を算出するための複数の定数とを含んでいる。
なお、F1x,F1y,F1z,F2x,F2y,F2zの算出方法は、式(1)〜(6)に示した例に限られない。例えば、式(1)〜(6)の各々は、Xn等の2次以上の高次の項を含んでいてもよいし、Xm・Xn等の交互作用の項を含んでいてもよい。なお、mはnとは異なる1以上の整数であり、例えばm=n−1の関係を満たす数である。
ここまでは、第1の検出位置P1における第1の力情報と、第2の検出位置P2における第2の力情報を算出する方法について説明してきた。上記の説明は、第1および第2の検出位置P1,P2以外の任意の検出位置P3(図5参照)における力情報を算出する場合にも当てはまる。
また、ここまでは、第2の形状情報が、算出点Pcの座標の情報のみを含む場合を例にとって説明してきた。前述のように、第2の形状情報は、算出点Pcにおける挿入部21の曲率の情報を含んでいてもよい。この場合、Xnは、n番目の第2の形状情報に対応する算出点Pcの3つの座標値と挿入部21の曲率を要素として含む4次元列ベクトルであってもよい。この場合、A1n,A2n,A3n,A4n,A5n,A6nは、それぞれ、Xnの3つの座標値の各々に乗じるための3つの定数とXnの挿入部21の曲率に乗じるための1つの定数を要素として含む4次元行ベクトルである。第1の定数組と第2の定数組は、それぞれ、挿入部21の曲率に乗じるための定数を含んでいる。
(第1および第2の定数の算出方法)
次に、第1および第2の定数の算出方法について説明する。第1の定数は、例えば以下のようにして算出される。まず、挿入部21がある形状のときの第2の形状情報を取得すると共に、第1の検出位置P1に作用する力(以下、第1の力と言う。)を取得する。第1の力は、センサ等を用いた実験によって求めてもよいし、シミュレーションによって求めてもよい。なお、シミュレーションでは、第1の力は、例えば、挿入部21における複数の位置のモーメントの釣り合いから規定される連立方程式を、収束演算を用いて解くことによって求めることができる。
次に、挿入部21の形状を変化させる。上記の第2の形状情報と第1の力の取得は、挿入部21の形状を変えるたびに行われる。これにより、第2の形状情報と第1の力の複数の組を準備する。次に、第2の形状情報と第1の力の複数の組を式(1)〜(3)に代入することによって、第1の定数A1n,A2n,A3nを算出する。なお、式(1)のF1xには第1の力のX方向の成分を代入し、式(2)のF1yには第1の力のY方向の成分を代入し、式(3)のF1zには第1の力のZ方向の成分を代入する。第1の定数A1n,A2n,A3nは、例えば、最小二乗法によって算出することができる。式(1)〜(3)の定数項C1,C2,C3は、第1の定数A1n,A2n,A3nと同時に算出される。
第2の定数は、例えば以下のようにして算出される。まず、挿入部21がある形状のときの第2の形状情報を取得すると共に、第2の検出位置P2に作用する力(以下、第2の力と言う。)を取得する。第2の力の取得方法は、第1の力の取得方法と同様である。
次に、挿入部21の形状を変化させる。上記の第2の形状情報と第2の力の取得は、挿入部21の形状を変えるたびに行われる。これにより、第2の形状情報と第2の力の複数の組を準備する。次に、第2の形状情報と第2の力の複数の組を式(4)〜(6)に代入することによって、第2の定数A4n,A5n,A6nを算出する。なお、式(4)のF2xには第2の力のX方向の成分を代入し、式(5)のF2yには第2の力のY方向の成分を代入し、式(6)のF2zには第2の力のZ方向の成分を代入する。第2の定数A4n,A5n,A6nは、例えば、最小二乗法によって算出することができる。式(4)〜(6)の定数項C4,C5,C6は、第2の定数A4n,A5n,A6nと同時に算出される。
第1および第2の定数を算出する際には、第1および第2の力を求めるために、挿入部21の形状を変えながら、実験またはシミュレーションを実行する必要がある。そのため、第1および第2の定数は、内視鏡1の使用前に算出される。また、算出した複数の第1の定数を含む第1の定数組と、算出した複数の第2の定数を含む第2の定数組は、内視鏡1の使用前に、記憶部13に記憶される。
(力情報算出方法)
次に、図1、図2および図6を参照して、本実施の形態に係わる力情報算出方法について説明する。図6は、本実施の形態に係わる力情報算出方法を示すフローチャートである。本実施の形態に係わる力情報算出方法は、図6に示したステップS11,S12,S13,S14を含んでいる。ステップS11,S12,S13,S14は、この順に実行される。
ステップS11は、記憶部13が、複数の定数を記憶するステップである。本実施の形態では、記憶部13は、複数の定数として、複数の第1の定数を含む第1の定数組と、複数の第2の定数を含む第2の定数組とを記憶する。
ステップS12は、形状センサ部すなわち内視鏡挿入形状観測装置5が、第1の形状情報を取得するステップである。ステップS13は、形状情報取得部12が、第2の形状情報を取得するステップである。ステップS14は、力情報算出部14が、力情報を算出するステップである。本実施の形態では、力情報算出部14は、力情報として、第1および第2の力情報を算出する。
なお、ステップS11は、内視鏡1の使用前に実行される。ステップS12〜S14は、内視鏡1の使用時に繰り返し実行される。
(力情報伝達部の動作)
次に、図1および図2を参照して、力情報伝達部15の動作について説明する。前述のように、力情報伝達部15は、力情報算出部14が算出した力情報と対応関係を有する信号を、算出装置本体部11の外部の装置等、例えば報知手段18に伝達する。報知手段18がモニタ装置等によって構成された表示部である場合、力情報伝達部15は、所定の検出位置に作用する力の大きさの情報の信号を、表示部に出力してもよい。表示部は、出力された力の大きさの情報を画面上に表示する。
また、力情報伝達部15は、所定の検出位置に作用する力の大きさと所定の閾値とを比較して、力の大きさが所定の閾値以上になったことを知らせる信号(以下、通知信号と言う。)を報知手段18に出力してもよい。報知手段18が表示部である場合、表示部は、通知信号に基づいて画面上に警告を表示してもよい。また、報知手段18がスピーカ等によって構成された警報部である場合、警報部は、通知信号に基づいて警告音を発してもよい。
また、力情報伝達部15は、所定の検出位置に作用する力の大きさの情報の信号や、通知信号を、観測装置本体部51に出力してもよい。この場合、観測装置本体部51の制御部51Aは、力の大きさの情報や警告等を挿入形状画像に合成してもよいし、表示部53の画面上に表示させるために力の大きさの情報や警告等を表示部53に出力してもよい。なお、所定の検出位置に作用する力の大きさと所定の閾値との比較は、制御部51Aにおいて行われてもよい。
同様に、力情報伝達部15は、所定の検出位置に作用する力の大きさの情報の信号や、通知信号を、本体装置2に出力してもよい。この場合、本体装置2の制御部2Aは、力の大きさの情報や警告等を撮像画像に合成してもよいし、表示部3の画面上に表示させるために力の大きさの情報や警告等を表示部53に出力してもよい。なお、所定の検出位置に作用する力の大きさと所定の閾値との比較は、制御部2Aにおいて行われてもよい。
また、本体装置2は、撮像画像と力の大きさの情報に基づいて、被検体に与える影響を判断する被検体影響判断部を有していてもよい。
また、内視鏡システム100は、内視鏡1の挿入部21の挿抜操作の少なくとも一部を支援する挿入ロボットを備えていてもよい。挿入ロボットには、内視鏡1の挿入部21と操作部22を支持するための複数のアームと、被検体内に挿入された挿入部21を挿抜させる機構と、操作部22に設けられた操作ノブを操作する機構とが設けられる。力情報伝達部15は、力情報算出部14が算出した力情報と対応関係を有する信号を、挿入ロボット制御装置に出力する。挿入ロボット制御装置は、上記の信号と、観測装置本体部51が出力する挿入形状画像または第1の形状情報と、本体装置2が出力する撮像画像等に基づいて、挿入部21の挿抜動作が円滑に行われるように、挿入ロボットを制御する。
(作用および効果)
次に、本実施の形態に係わる力情報算出装置10、内視鏡システム100および力情報算出方法の作用および効果について説明する。本実施の形態では、力情報算出部14は、可撓性部材である内視鏡1の挿入部21における第1の検出位置P1に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報が算出する。本実施の形態では、第1の検出位置P1は、挿入部21の先端に限らず、任意に設定することができる。これにより、本実施の形態によれば、任意の位置に作用する力の大きさの情報を算出することができる。
また、本実施の形態では、力情報算出部14は、式(1)〜(3)に示したような演算、すなわち、複数の第2の形状情報と複数の第1の定数の対応するもの同士の乗算を含む演算によって、第1の力情報を算出する。本実施の形態では、更に、上記の演算は、式(1)〜(3)に示したように、複数の第2の形状情報と複数の第1の定数の対応するもの同士の乗算によって得られる複数の項の総和を求めること含んでいる。このように、本実施の形態では、第1の力情報を、乗算と加算とによって求めている。これにより、本実施の形態によれば、収束演算等を用いたシミュレーションによって第1の力情報を算出する場合に比べて、第1の力情報を算出するための負荷を少なくすることができると共に、第1の力情報の算出時間を短くすることができる。また、本実施の形態によれば、第1の検出位置P1の位置や、挿入部21の形状に関わらず、ほぼ一定の時間で第1の力情報を算出することができる。これらのことから、本実施の形態によれば、内視鏡1の使用時に、リアルタイムで第1の力情報を算出することが可能になる。
また、本実施の形態では、第1の定数は、予め、記憶部13に記憶されている。前述のように、第1の定数の算出は、挿入部21の形状を変えながら、第2の形状情報と第1の検出位置P1に作用する第1の力の複数の組を準備することによって行われる。この組の数が多いほど、第1の力情報の算出精度が向上する。本実施の形態では、第1の定数の算出を、内視鏡1の使用時以外に実行することができるため、第2の形状情報と第1の力の組の数を多くすることは容易である。これにより、本実施の形態によれば、第1の力情報の算出精度を向上させることができる。
また、本実施の形態では、力情報算出部14は、可撓性部材である内視鏡1の挿入部21において第1の検出位置P1とは異なる第2の検出位置P2に作用する少なくとも1つの方向の力の大きさの情報を含む第2の力情報を算出する。本実施の形態では、第2の検出位置P2は、第1の検出位置P1とは異なるという要件を満たす限り、その位置と数を任意に設定することができる。これにより、本実施の形態によれば、複数の位置に作用する力の大きさの情報を算出することができる。
また、本実施の形態では、第1の力情報と同様に、第2の力情報を算出するための負荷を少なくすることができると共に、第2の力情報の算出時間を短くすることができる。これにより、本実施の形態によれば、算出する力情報の数が多い場合であっても、シミュレーションによって複数の力情報を算出する場合に比べて、複数の力情報を算出するための負荷を少なくすることができると共に、複数の力情報の算出時間を短くすることができる。これにより、本実施の形態によれば、内視鏡1の使用時に、リアルタイムで複数の力情報を算出することが可能になる。
(第1の変形例)
次に、図7を参照して、本実施の形態の第1の変形例について説明する。図7は、第1の変形例における算出装置本体部11の構成を示す機能ブロック図である。第1の変形例では、算出装置本体部11は、形状情報取得部12、記憶部13、力情報算出部14および力情報伝達部15の他に、剛性情報取得部16を備えている。剛性情報取得部16は、可撓性部材である内視鏡1の挿入部21(図1参照)の曲げ剛性等の剛性値を取得し、取得した剛性値を記憶部13に出力する。記憶部13は、剛性情報取得部16が出力した剛性値を記憶する。力情報算出部14は、記憶部13に記憶された剛性値を読み出すことができるように構成されている。
剛性値は、例えば、内視鏡1の使用前に、センサ等を用いて計測することができる。剛性情報取得部16は、剛性値を計測する計測器から直接剛性値を取得してもよい。あるいは、剛性情報取得部16は、算出装置本体部11に接続された図示しないユーザインタフェース部を介して、剛性値を取得してもよい。この場合、使用者は、ユーザインタフェース部に、剛性値の計測結果を入力する。
また、第1の変形例では、記憶部13に記憶された第1の定数組と第2の定数組は、それぞれ、第3の定数を含んでいる。力情報算出部14は、剛性値と、第1の定数組の第3の定数とを乗算し、この乗算によって得られる項(以下、第1の剛性値項と言う。)を、複数の第2の形状情報と複数の第1の定数の対応するもの同士の乗算によって得られる複数の項の総和に加算することによって、第1の力情報を算出する。具体的には、例えば、力情報算出部14は、式(1)〜(3)の各々に第1の剛性値項を加えることによって、第1の検出位置に作用する力F1のX方向の成分F1xと、力F1のY方向の成分F1yと、力F1のZ方向の成分F1zを算出する。
同様に、力情報算出部14は、剛性値と、第2の定数組の第3の定数とを乗算し、この乗算によって得られる項(以下、第2の剛性値項と言う。)を、複数の第2の形状情報と複数の第2の定数の対応するもの同士の乗算によって得られる複数の項の総和に加算することによって、第2の力情報を算出する。具体的には、例えば、力情報算出部14は、式(4)〜(6)の各々に第2の剛性値項を加えることによって、第2の検出位置に作用する力F2のX方向の成分F2xと、力F2のY方向の成分F2yと、力F2のZ方向の成分F2zを算出する。
第1の定数組の第3の定数は、第1の定数を算出する際に、第1の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第1の検出位置に作用する第1の力と剛性値の複数の組を準備し、第2の形状情報と第1の力と剛性値の複数の組を、式(1)〜(3)の各々に第1の剛性値項を加えた式に代入することによって、第1の定数と第3の定数を算出する。
同様に、第2の定数組の第3の定数は、第2の定数を算出する際に、第2の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第2の検出位置に作用する第2の力と剛性値の複数の組を準備し、第2の形状情報と第2の力と剛性値の複数の組を、式(4)〜(6)の各々に第2の剛性値項を加えた式に代入することによって、第2の定数と第3の定数を算出する。
内視鏡1の挿入部21の剛性値は、製品毎にある程度ばらついてしまう。第1の変形例によれば、例えば、内視鏡1を取り替えて使用する場合に、使用する内視鏡1の挿入部21の剛性値を用いることにより、精度よく力情報を算出することができる。
(第2の変形例)
次に、図8を参照して、本実施の形態の第2の変形例について説明する。図8は、第2の変形例における算出装置本体部11の構成を示す機能ブロック図である。第2の変形例における算出装置本体部11の構成は、以下の点で第1の変形例と異なっている。第2の変形例では、算出装置本体部11は、形状情報取得部12、記憶部13、力情報算出部14、力情報伝達部15および剛性情報取得部16の他に、使用回数情報取得部17を備えている。使用回数情報取得部17は、可撓性部材である内視鏡1の挿入部21(図1参照)の使用回数を取得し、取得した使用回数の値を記憶部13に出力する。記憶部13は、使用回数情報取得部17が出力した使用回数の値を記憶する。力情報算出部14は、記憶部13に記憶された使用回数の値を読み出すことができるように構成されている。
例えば、本体装置2(図1参照)は、内視鏡1の使用回数を記憶することができるように構成されている。使用回数情報取得部17は、本体装置2に記憶された内視鏡1の使用回数の値を取得することができるように構成されている。
また、第2の変形例では、記憶部13に記憶された第1の定数組と第2の定数組は、それぞれ、第4の定数を含んでいる。力情報算出部14は、剛性値と、第1の定数組の第4の定数とを乗算し、この乗算によって得られる項(以下、第1の使用回数項と言う。)を、複数の第2の形状情報と複数の第1の定数の対応するもの同士の乗算によって得られる複数の項の総和に加算することによって、第1の力情報を算出する。具体的には、例えば、力情報算出部14は、式(1)〜(3)の各々に第1の剛性値項と第1の使用回数項を加えることによって、第1の検出位置に作用する力F1のX方向の成分F1xと、力F1のY方向の成分F1yと、力F1のZ方向の成分F1zを算出する。
同様に、力情報算出部14は、使用回数値と、第2の定数組の第4の定数とを乗算し、この乗算によって得られる項(以下、第2の使用回数項と言う。)を、複数の第2の形状情報の各々と対応する第2の定数との乗算によって得られる複数の項の総和に加算することによって、第2の力情報を算出する。具体的には、例えば、力情報算出部14は、式(4)〜(6)の各々に第2の剛性値項と第2の使用回数項を加えることによって、第2の検出位置に作用する力F2のX方向の成分F2xと、力F2のY方向の成分F2yと、力F2のZ方向の成分F2zを算出する。
第1の定数組の第4の定数は、第1の定数を算出する際に、第1の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第1の検出位置に作用する第1の力と剛性値と使用回数の値の複数の組を準備し、第2の形状情報と第1の力と剛性値と使用回数の値の複数の組を、式(1)〜(3)の各々に第1の剛性値項と第1の使用回数項とを加えた式に代入することによって、第1の定数と第3の定数と第4の定数を算出する。
同様に、第2の定数組の第4の定数は、第2の定数を算出する際に、第2の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第2の検出位置に作用する第2の力と剛性値と使用回数の値の複数の組を準備し、第2の形状情報と第2の力と剛性値と使用回数の値の複数の組を、式(4)〜(6)の各々に第2の剛性値項と第2の使用回数項とを加えた式に代入することによって、第2の定数と第3の定数と第4の定数を算出する。
同じ内視鏡1を使用し続ける場合、内視鏡1の挿入部21の剛性値は、使用回数によって変化する。第2の変形例によれば、内視鏡1の使用回数によって挿入部21の剛性値が変化する場合であっても、精度よく力情報を算出することができる。
[第2の実施の形態]
(力情報算出部の構成)
次に、本発明の第2の実施の形態に係わる力情報算出装置について説明する。始めに、図9を参照して、本実施の形態に係わる力情報算出装置10の構成が、第1の実施の形態と異なる点について説明する。図9は、本実施の形態に係わる力情報算出装置10の算出装置本体部11の構成を示す機能ブロック図である。本実施の形態では、算出装置本体部11は、第1の実施の形態における力情報算出部14の代わりに、力情報算出部140を備えている。力情報算出部140は、力情報算出部14と同様に、記憶部13に記憶された複数の定数を読み出すことができるように構成されており、複数の定数と、形状情報取得部12が出力した複数の第2の形状情報に基づいて、内視鏡1の挿入部21(図1参照)における任意の位置に作用する力と対応関係を有する情報を算出する。
図9に示したように、力情報算出部140は、ニューラルネットワークを構成する入力層141、中間層142および出力層143を有している。入力層141、中間層142および出力層143は、形状情報取得部12側からこの順に並んでいる。また、入力層141、中間層142および出力層143は、それぞれ、複数のユニットを含んでいる。図9では、ユニットを円で示している。なお、図9は、入力層141、中間層142および出力層143の構成を模式的に示したものであり、ユニットの数は、図9に示した例に限られない。
中間層142は、複数の層を含んでいてもよい。図9では、図9における上下方向に1列に並んだ複数のユニットが、1つの層を構成する。図9に示した例では、中間層142は、3つの層を含んでいる。以下、図9において入力層141側に最も近い位置にある層を第1層と言い、図9において第1層の右側に隣接した層を第2層と言い、図9において第2層の右側に隣接した層を第3層と言う。なお、中間層142に含まれる層の数は、図9に示した例に限られない。
(力情報算出部の動作)
次に、力情報算出部140の動作について説明する。本実施の形態では、複数の第2の形状情報は、入力層141に入力される。なお、複数の第2の形状情報は、それぞれ、入力層141に含まれる別々のユニットに入力される。
中間層142では、第1層において、複数の第1項を算出する第1の演算が行われる。具体的には、第1層を構成する任意の1つのユニットには、入力層141の複数のユニットに入力された複数の第2の形状情報が入力される。このユニットでは、例えば、複数の第2の形状情報と複数の定数の対応するもの同士を乗算し、乗算して得られた複数の項の総和を求めることによって、第1項を算出する。
中間層142では、第2層と第3層において、複数の第1項と対応関係を有する複数の第2項を用いて、複数の第3項を算出する第2の演算が行われる。第2層では、複数の第2項として、複数の第1項そのものが用いられる。第3層では、複数の第2項として、第2層において第1項を用いた演算によって算出された複数の項(以下、初期第3項と言う。)が用いられる。複数の第3項は、第3層において算出される。
具体的には、第2層を構成する任意の1つのユニットには、複数の第1項が入力される。このユニットでは、例えば、複数の第1項と複数の定数の対応するもの同士を乗算し、乗算して得られた複数の項の総和を求めることによって、初期第3項を算出する。
また、第3層を構成する任意の1つのユニットには、複数の初期第3項が入力される。このユニットでは、例えば、複数の初期第3項と複数の定数の対応するもの同士を乗算し、乗算して得られた複数の項の総和を求めることによって、第3項を算出する。
出力層143では、複数の第4項を算出する第3の演算が行われる。具体的には、出力層143を構成する任意の1つのユニットには、複数の第3項が入力される。このユニットでは、例えば、複数の第3項と複数の定数の対応するもの同士を乗算し、乗算して得られた複数の項の総和を求めることによって、第4項を算出する。
本実施の形態では、第1の力情報は、出力層143が算出した複数の第4項によって構成される情報である。具体的には、例えば、出力層143は、複数の第4項として、第1の検出位置に作用する力のX方向の成分と、第1の検出位置に作用する力のY方向の成分と、第1の検出位置に作用する力のZ方向の成分を算出する。力情報算出部140は、上記のX方向の成分、Y方向の成分およびZ方向の成分から算出される第1の検出位置に作用する力の大きさと方向を第1の情報としてもよいし、上記のX方向の成分、Y方向の成分およびZ方向を第1の力情報としてもよい。
また、本実施の形態では、第1の力情報を算出する際に、第2の形状情報、第1項、第2項(第1項または初期第3項)および第3項に乗じるための定数を、第1の定数と言う。
次に、本実施の形態における第2の力情報の算出方法について説明する。本実施の形態における第2の力情報の算出方法は、基本的には、第1の力情報の算出方法と同じである。本実施の形態では、第2の力情報は、出力層143が算出した複数の第4項によって構成される情報である。具体的には、例えば、出力層143は、複数の第4項として、第2の検出位置に作用する力のX方向の成分と、第2の検出位置に作用する力のY方向の成分と、第2の検出位置に作用する力のZ方向の成分を算出する。力情報算出部140は、上記のX方向の成分、Y方向の成分およびZ方向の成分から算出される第2の検出位置に作用する力の大きさと方向を第2の情報としてもよいし、上記のX方向の成分、Y方向の成分およびZ方向を第2の力情報としてもよい。
本実施の形態では、第2の力情報を算出する際に、第2の形状情報、第1項、第2項(第1項または初期第3項)および第3項に乗じるための定数を、第2の定数と言う。
なお、第1項、初期第3項、第3項および第4項の算出方法は、上記の例に限られない。例えば、第1項は、複数の第2の形状情報と複数の定数の対応するもの同士を乗算して得られた複数の項の総和に、定数項を加算することによって算出されてもよいし、上記の総和または上記の総和に定数項を加算した値を活性化関数に代入することによって算出されてもよい。活性化関数としては、例えば、シグモイド関数やReLU関数が用いられる。初期第3項、第3項および第4項も、上記の第1項の算出方法と同様の方法によって算出されてもよい。
(第1および第2の定数の算出方法)
次に、本実施の形態における第1および第2の定数の算出方法について説明する。本実施の形態では、第1の定数と第2の定数は、深層学習等の機械学習によって算出される。第1の定数は、例えば以下のようにして算出される。まず、挿入部21がある形状のときの第2の形状情報を取得すると共に、第1の検出位置に作用する第1の力を取得する。第1の力の取得方法は、第1の実施の形態と同様である。
次に、挿入部21の形状を変化させる。上記の第2の形状情報と第1の力の取得は、挿入部21の形状を変えるたびに行われる。これにより、第2の形状情報と第1の力の複数の組を準備する。次に、第2の形状情報と第1の力の複数の組を教師データとして、機械学習を実行する。これにより、複数の第1の定数が算出される。
第2の定数は、例えば以下のようにして算出される。まず、挿入部21がある形状のときの第2の形状情報を取得すると共に、第2の検出位置に作用する第2の力を取得する。第2の力の取得方法は、第1の実施の形態と同様である。
次に、挿入部21の形状を変化させる。上記の第2の形状情報と第2の力の取得は、挿入部21の形状を変えるたびに行われる。これにより、第2の形状情報と第2の力の複数の組を準備する。次に、第2の形状情報と第2の力の複数の組を教師データとして、機械学習を実行する。これにより、複数の第2の定数が算出される。
(作用および効果)
次に、本実施の形態特有の作用および効果について説明する。本実施の形態では、ニューラルネットワークを構成する入力層141、中間層142および出力層143を有する力情報算出部140によって、第1および第2の力情報を算出する。これにより、本実施の形態によれば、シミュレーションによって第1および第2の力情報を算出する場合に比べて、第1および第2の力情報を算出するための負荷を少なくすることができると共に、第1および第2の力情報の算出時間を短くすることができる。また、本実施の形態によれば、第1および第2の検出位置の位置や、挿入部21の形状に関わらず、ほぼ一定の時間で第1および第2の力情報を算出することができる。これらのことから、本実施の形態によれば、内視鏡1の使用時に、リアルタイムで第1および第2の力情報を算出することが可能になる。
また、本実施の形態では、第1の実施の形態と同様に、第1および第2の定数は、予め、記憶部13に記憶されている。前述のように、第1の定数の算出は、挿入部21の形状を変えながら、第2の形状情報と第1の力の複数の組を準備し、第2の形状情報と第1の力の複数の組を教師データとして、機械学習を実行することによって行われる。また、第2の定数の算出は、挿入部21の形状を変えながら、第2の形状情報と第2の力の複数の組を準備し、第2の形状情報と第2の力の複数の組を教師データとして、機械学習を実行することによって行われる。本実施の形態では、第1および第2の定数の算出は、内視鏡1の使用時以外に実行することができるため、教師データの数を多くすることは容易である。これにより、本実施の形態によれば、第1および第2の力情報の算出精度を向上させることができる。
(第1の変形例)
次に、図10を参照して、本実施の形態の第1の変形例について説明する。図10は、第1の変形例における算出装置本体部11の構成を示す機能ブロック図である。第1の変形例では、算出装置本体部11は、形状情報取得部12、記憶部13、力情報算出部140および力情報伝達部15の他に、剛性情報取得部16を備えている。剛性情報取得部16の機能は、第1の実施の形態の第1の変形例において説明した機能と同じである。
第1の変形例では、記憶部13は、剛性情報取得部16が取得して出力した剛性値を記憶する。力情報算出部140は、記憶部13に記憶された剛性値を読み出すことができるように構成されている。
また、第1の変形例では、記憶部13に記憶された第1の定数組と第2の定数組は、それぞれ、第3の定数を含んでいる。
また、第1の変形例では、力情報算出部140の入力層141には、複数の第2の形状情報に加えて、剛性情報取得部16が取得し記憶部13に記憶された剛性値が入力される。前述のように、中間層142では、第1層において、複数の第1項を算出する第1の演算が行われる。第1の変形例では、第1層を構成する任意の1つのユニットには、複数の第2の形状情報と剛性値が入力される。第1の力情報を算出する場合、このユニットでは、例えば、複数の第2の形状情報と複数の第1の定数の対応するもの同士を乗算すると共に、剛性値と、第1の定数組の第3の定数とを乗算する。そして、乗算して得られた複数の項の総和を求めることによって、第1項を算出する。また、第2の力情報を算出する場合、このユニットでは、例えば、複数の第2の形状情報と複数の第2の定数の対応するもの同士を乗算すると共に、剛性値と、第2の定数組の第3の定数とを乗算する。そして、乗算して得られた複数の項の総和を求めることによって、第1項を算出する。
第1の定数組の第3の定数は、第1の定数を算出する際に、第1の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第1の検出位置に作用する第1の力と剛性値の複数の組を準備し、この複数の組を教師データとして機械学習を実行することによって、第1の定数と第3の定数を算出する。
同様に、第2の定数組の第3の定数は、第2の定数を算出する際に、第2の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第2の検出位置に作用する第2の力と剛性値の複数の組を準備し、この複数の組を教師データとして機械学習を実行することによって、第2の定数と第3の定数を算出する。
(第2の変形例)
次に、図11を参照して、本実施の形態の第2の変形例について説明する。図11は、第2の変形例における算出装置本体部11の構成を示す機能ブロック図である。第2の変形例における算出装置本体部11の構成は、以下の点で第1の変形例と異なっている。第2の変形例では、算出装置本体部11は、形状情報取得部12、記憶部13、力情報算出部140、力情報伝達部15および剛性情報取得部16の他に、使用回数情報取得部17を備えている。使用回数情報取得部17の機能は、第1の実施の形態の第2の変形例において説明した機能と同じである。
第2の変形例では、記憶部13は、使用回数情報取得部17が取得して出力した使用回数の値を記憶する。力情報算出部140は、記憶部13に記憶された使用回数の値を読み出すことができるように構成されている。
また、第2の変形例では、記憶部13に記憶された第1の定数組と第2の定数組は、それぞれ、第4の定数を含んでいる。
また、第2の変形例では、力情報算出部140の入力層141には、複数の第2の形状情報および剛性値に加えて、使用回数情報取得部17が取得し記憶部13に記憶された使用回数の値が入力される。前述のように、中間層142では、第1層において、複数の第1項を算出する第1の演算が行われる。第2の変形例では、第1層を構成する任意の1つのユニットには、複数の第2の形状情報と剛性値と使用回数の値が入力される。第1の力情報を算出する場合、このユニットでは、例えば、複数の第2の形状情報と複数の第1の定数の対応するもの同士を乗算すると共に、剛性値と、第1の定数組の第3の定数とを乗算し、更に、使用回数の値と、第1の定数組の第4の定数とを乗算する。そして、乗算して得られた複数の項の総和を求めることによって、第1項を算出する。また、第2の力情報を算出する場合、このユニットでは、例えば、複数の第2の形状情報と複数の第2の定数の対応するもの同士を乗算すると共に、剛性値と、第2の定数組の第3の定数とを乗算し、更に、使用回数の値と、第2の定数組の第4の定数とを乗算する。そして、乗算して得られた複数の項の総和を求めることによって、第1項を算出する。
第1の定数組の第4の定数は、第1の定数を算出する際に、第1の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第1の検出位置に作用する第1の力と剛性値と使用回数の値の複数の組を準備し、この複数の組を教師データとして機械学習を実行することによって、第1の定数と第3の定数を算出する。
同様に、第2の定数組の第3の定数は、第2の定数を算出する際に、第2の定数と同時に算出することができる。具体的には、例えば、内視鏡1の挿入部21の形状を変えながら、第2の形状情報と第2の検出位置に作用する第2の力と剛性値と使用回数の値の複数の組を準備し、この組を教師データとして機械学習を実行することによって、第2の定数と第3の定数を算出する。
本実施の形態におけるその他の構成、作用および効果は、第1の実施の形態と同様である。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、本発明の力情報算出装置は、医療用の内視鏡システムに限らず、工業用の内視鏡システムにも適用することができる。
また、本発明における形状センサ部は、内視鏡挿入形状観測装置5に限らず、光ファイバセンサ等のセンサを用いて複数の測定点の各々の第1の形状情報を取得するものであってもよい。
また、第1の実施の形態の第2の変形例と、第2の実施の形態の第2の変形例では、剛性情報取得部16は設けられていなくてもよい。
本発明の一態様の力情報算出装置は、細長い形状を有する可撓性部材と、前記可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得する形状センサ部と、前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得する形状情報取得部と、複数の第1の定数を含む第1の定数組を記憶する記憶部と、前記複数の第2の形状情報の各々と前記複数の第1の定数の各々の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出する力情報算出部と、を備えている。
また、本発明の一態様の力情報算出方法は、形状センサ部が、細長い形状を有する可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得するステップと、形状情報取得部が、前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得するステップと、記憶部が、複数の第1の定数を含む第1の定数組を記憶するステップと、力情報算出部が、前記複数の第2の形状情報の各々と前記複数の第1の定数の各々の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出するステップと、を含んでいる。

Claims (14)

  1. 細長い形状を有する可撓性部材と、
    前記可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得する形状センサ部と、
    前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得する形状情報取得部と、
    複数の第1の定数を含む第1の定数組を記憶する記憶部と、
    前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出する力情報算出部と、
    を備えたことを特徴とする力情報算出装置。
  2. 前記記憶部は、更に、複数の第2の定数を含む第2の定数組を記憶し、
    前記力情報算出部は、前記複数の第2の形状情報と前記複数の第2の定数の対応するもの同士の乗算を含む演算によって、前記可撓性部材において前記第1の検出位置とは異なる第2の検出位置に作用する少なくとも1つの方向における力の大きさの情報を含む第2の力情報を算出することを特徴とする請求項1に記載の力情報算出装置。
  3. 前記力情報算出部における前記演算は、更に、前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算によって得られる複数の項の総和を求めること含むことを特徴とする請求項1に記載の力情報算出装置。
  4. 更に、前記可撓性部材の剛性値を取得する剛性情報取得部を備え、
    前記記憶部は、前記剛性値を記憶し、
    前記第1の定数組は、更に、第3の定数を含み、
    前記力情報算出部における前記演算は、更に、前記剛性値と前記第3の定数との乗算によって得られる項を前記総和に加算することを含むことを特徴とする請求項3に記載の力情報算出装置。
  5. 更に、前記可撓性部材の使用回数を取得する使用回数情報取得部を備え、
    前記記憶部は、前記使用回数の値を記憶し、
    前記第1の定数組は、更に、第4の定数を含み、
    前記力情報算出部における前記演算は、更に、前記使用回数の値と前記第4の定数との乗算によって得られる項を前記総和に加算することを含むことを特徴とする請求項3に記載の力情報算出装置。
  6. 前記力情報算出部は、ニューラルネットワークを構成する入力層、中間層および出力層を有し、
    前記複数の第2の形状情報は、前記入力層に入力され、
    前記力情報算出部における前記演算は、前記中間層において、前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって複数の第1項を算出する第1の演算と、前記中間層において、前記複数の第1項と対応関係を有する複数の第2項と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって複数の第3項を算出する第2の演算と、前記出力層において、前記複数の第3項と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって複数の第4項を算出する第3の演算とを含み、
    前記第1の力情報は、前記複数の第4項によって構成される情報であることを特徴とする請求項1に記載の力情報算出装置。
  7. 更に、前記可撓性部材の剛性値を取得する剛性情報取得部を備え、
    前記記憶部は、前記剛性値を記憶し、
    前記第1の定数組は、更に、第3の定数を含み、
    前記剛性値は、前記入力層に入力され、
    前記第1の演算は、更に、前記剛性値と前記第3の定数との乗算を含むことを特徴とする請求項6に記載の力情報算出装置。
  8. 更に、前記可撓性部材の使用回数を取得する使用回数情報取得部を備え、
    前記記憶部は、前記使用回数の値を記憶し、
    前記第1の定数組は、更に、第4の定数を含み、
    前記使用回数の値は、前記入力層に入力され、
    前記第1の演算は、更に、前記使用回数の値と前記第4の定数との乗算を含むことを特徴とする請求項6に記載の力情報算出装置。
  9. 前記少なくとも1つの方向は、互いに直交する第1の方向、第2の方向および第3の方向であり、
    前記第1の力情報は、前記第1の方向の力の大きさの情報である第1の情報と、前記第2の方向の力の大きさの情報である第2の情報と、前記第3の方向の力の大きさの情報である第3の情報とを含み、
    前記複数の第1の定数は、前記第1の情報を算出するための複数の定数と、前記第2の情報を算出するための複数の定数と、前記第3の情報を算出するための複数の定数とを含むことを特徴とする請求項1に記載の力情報算出装置。
  10. 前記第1の形状情報は、前記測定点の座標の情報を含み、
    前記第2の形状情報は、前記算出点の座標の情報を含むことを特徴とする請求項1に記載の力情報算出装置。
  11. 前記第2の形状情報は、前記算出点における前記可撓性部材の曲率の情報を含むことを特徴とする請求項1に記載の力情報算出装置。
  12. 前記複数の測定点の少なくとも一部と前記複数の算出点の少なくとも一部は、互いに異なる位置にあることを特徴とする請求項1に記載の力情報算出装置。
  13. 請求項1に記載の力情報算出装置と
    前記可撓性部材として被検体内に挿入される挿入部を有する内視鏡と、
    を備えたことを特徴とする内視鏡システム。
  14. 形状センサ部が、細長い形状を有する可撓性部材の形状と対応関係を有する形状情報であって、前記可撓性部材において前記可撓性部材の長手方向に沿って互いに間隔をあけて配置された複数の測定点の各々における形状情報である複数の第1の形状情報を取得するステップと、
    形状情報取得部が、前記複数の第1の形状情報に基づいて、前記可撓性部材において前記長手方向に沿って互いに間隔をあけて規定された複数の算出点の各々における形状情報である複数の第2の形状情報を取得するステップと、
    記憶部が、複数の第1の定数を含む第1の定数組を記憶するステップと、
    力情報算出部が、前記複数の第2の形状情報と前記複数の第1の定数の対応するもの同士の乗算を含む演算によって、前記可撓性部材における第1の検出位置に作用する少なくとも1つの方向の力の大きさの情報を含む第1の力情報を算出するステップと、
    を含むことを特徴とする力情報算出方法。
JP2020523911A 2018-06-06 2018-06-06 力情報算出装置、内視鏡システムおよび力情報算出方法 Active JP7084991B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021736 WO2019234859A1 (ja) 2018-06-06 2018-06-06 力情報算出装置、内視鏡システムおよび力情報算出方法

Publications (2)

Publication Number Publication Date
JPWO2019234859A1 true JPWO2019234859A1 (ja) 2021-03-11
JP7084991B2 JP7084991B2 (ja) 2022-06-15

Family

ID=68769769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523911A Active JP7084991B2 (ja) 2018-06-06 2018-06-06 力情報算出装置、内視鏡システムおよび力情報算出方法

Country Status (2)

Country Link
JP (1) JP7084991B2 (ja)
WO (1) WO2019234859A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145085A (ja) * 2007-12-11 2009-07-02 Univ Of Tsukuba 3次元触覚センサ及び3次元触覚センシング方法
US20110319815A1 (en) * 2010-06-24 2011-12-29 Hansen Medical, Inc. Fiber optic instrument sensing system
JP2016007434A (ja) * 2014-06-25 2016-01-18 オリンパス株式会社 内視鏡装置、作動方法、及び作動プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6648883B2 (ja) * 2015-06-15 2020-02-14 国立大学法人京都大学 外力推定装置及び方法、並びにコンピュータプログラム
WO2017009905A1 (ja) * 2015-07-10 2017-01-19 オリンパス株式会社 可撓管挿入装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145085A (ja) * 2007-12-11 2009-07-02 Univ Of Tsukuba 3次元触覚センサ及び3次元触覚センシング方法
US20110319815A1 (en) * 2010-06-24 2011-12-29 Hansen Medical, Inc. Fiber optic instrument sensing system
JP2016007434A (ja) * 2014-06-25 2016-01-18 オリンパス株式会社 内視鏡装置、作動方法、及び作動プログラム

Also Published As

Publication number Publication date
WO2019234859A1 (ja) 2019-12-12
JP7084991B2 (ja) 2022-06-15

Similar Documents

Publication Publication Date Title
JP6112300B2 (ja) マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム
CN108882837A (zh) 利用拉线的内窥镜的自动校准
JP5231681B2 (ja) プローブ形状検出装置及びプローブ形状検出装置の作動方法
CN103415255B (zh) 利用血管内装置形状对血管图像进行非刚性体变形
EP2082678A1 (en) Endoscope insertion shape analyzing system, and observation system for living body
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
Back et al. Catheter contact force estimation from shape detection using a real-time Cosserat rod model
EP2335553A1 (en) Medical equipment system and method for calibrating medical instrument
JP2015181643A (ja) 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法
JP7124061B2 (ja) 応力推定システム、応力推定装置、及び内視鏡システム
WO2018135018A1 (ja) 力覚推定システム及び力覚情報算出方法
JP6810587B2 (ja) 内視鏡装置、内視鏡装置の作動方法
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
WO2011132320A1 (ja) 現配置情報に基づく任意形状曲面上の膜応力推定システム
JP7084991B2 (ja) 力情報算出装置、内視鏡システムおよび力情報算出方法
JP7133828B2 (ja) 内視鏡画像処理プログラム及び内視鏡システム
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
JP2015159955A (ja) 手術システムおよび医療器具の干渉回避方法
EP2550908A1 (en) Apparatus for determining a spatial path of a flexible or semi-rigid elongated body
JP2007130132A (ja) 内視鏡挿入部形状把握システム
JP6464110B2 (ja) 内視鏡形状把握システム
WO2020230389A1 (ja) 血管径測定システムおよび血管径測定方法
WO2023181175A1 (ja) 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
JP7221787B2 (ja) 血管径測定システム
WO2021161514A1 (ja) 痛み推定装置及び痛み推定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20200914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220603

R151 Written notification of patent or utility model registration

Ref document number: 7084991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151