JPWO2021038871A5 - 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラムに関する。

本発明は、前述した事情に鑑みてなされたものであり、挿入部の挿入状況に応じた適切な挿入制御を行うことが可能な情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラムを提供することを目的としている。

本発明の一態様の情報処理装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置であって、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、前記分類結果を出力する出力部と、を有する。

本発明の一態様の内視鏡制御装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、を有する。

本発明の一態様の情報処理装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置の作動方法であって、挿入形状分類部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、出力部が、前記分類結果を出力する。

本発明の一態様の内視鏡制御装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、挿入形状要素抽出部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理を行い、制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う。

本発明の一態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、前記分類結果を出力する処理と、を実行させる。

本発明の一態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理と、前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、を実行させる。

内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７と、を有して構成されている。ここで、内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）を介し、本体装置２０に対して着脱自在に接続されるように構成されている。

湾曲部１３は、後述の湾曲制御部２４２の制御に応じて湾曲することができるように構成されている。また、湾曲部１３は、操作部１６に設けられたアングルノブ（不図示）の操作に応じて湾曲することができるように構成されている。

光源部２１０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。さらに、光源部２１０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源部２１０は、システム制御部２６０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。

湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。具体的には、湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、湾曲機構１４２に設けられたモータの回転状態を制御するための湾曲制御信号を生成して出力するように構成されている。

挿入形状分類部２６２は、例えば、図４Ａに示したような挿入形状画像ＳＧＢ１、または、図４Ｂに示したような挿入形状画像ＳＧＢ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＢとして分類した分類結果を取得する。

挿入形状分類部２６２は、例えば、図５Ａに示したような挿入形状画像ＳＧＣ１、または、図５Ｂに示したような挿入形状画像ＳＧＣ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＣとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＢから種類ＴＣに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＢに応じた制御を再度行う。すなわち、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＢから種類ＴＣに変化したことを検出した場合には、当該種類ＴＢに対応する挿入制御情報ＣＪＢを続けて利用可能であると判断し、図１４のステップＳ１の処理をスキップして図１４のステップＳ２以降の処理を行う。

挿入形状分類部２６２は、例えば、図６Ａに示したような挿入形状画像ＳＧＤ１、または、図６Ｂに示したような挿入形状画像ＳＧＤ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＤとして分類した分類結果を取得する。

前述の挿入制御情報ＣＪＤには、挿入部１１を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＤには、１回分の制御内容を示す情報として、例えば、挿入部１１をジグリングにより前進させた際に加えられる外力が２．５Ｎ以下であることを検出した後で、前進量２０ｍｍ、前進速度毎秒２０ｍｍ、及び、推進力２．５Ｎ以下の条件で挿入部１１を前進させる旨の情報が含まれている。

挿入形状分類部２６２は、例えば、図７Ａに示したような挿入形状画像ＳＧＥ１、または、図７Ｂに示したような挿入形状画像ＳＧＥ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＥとして分類した分類結果を取得する。

挿入形状分類部２６２は、例えば、図８Ａに示したような挿入形状画像ＳＧＦ１、または、図８Ｂに示したような挿入形状画像ＳＧＦ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＦとして分類した分類結果を取得する。

挿入形状分類部２６２は、例えば、図９Ａに示したような挿入形状画像ＳＧＧ１、または、図９Ｂに示したような挿入形状画像ＳＧＧ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＧとして分類した分類結果を取得する。

挿入形状分類部２６２は、例えば、図１０に示したような挿入形状画像ＳＧＨが挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＨとして分類した分類結果を取得する。

ここで、本実施形態においては、挿入部１１がαループを形成することなくＳ状結腸を通過するような状況が発生した場合には、挿入形状分類部２６２による分類結果として示される挿入部１１の挿入形状の種類が種類ＴＡのまま維持されるとともに、当該種類ＴＡに対応する挿入制御情報ＣＪＡに含まれる制御内容に応じた制御が挿入制御部２６３により継続される。そのため、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＡから種類ＴＨに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＡに応じた制御を再度行う。

挿入形状分類部２６２は、例えば、図１１Ａに示したような挿入形状画像ＳＧＩ１、または、図１１Ｂに示したような挿入形状画像ＳＧＩ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＩとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＨから種類ＴＩに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＡに応じた制御を再度行う。

挿入形状分類部２６２は、例えば、図１２Ａに示したような挿入形状画像ＳＧＪ１、または、図１２Ｂに示したような挿入形状画像ＳＧＪ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＪとして分類した分類結果を取得する。

Claims (25)

1. 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置であって、
   前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、
   前記分類結果を出力する出力部と、
   を有することを特徴とする情報処理装置。
2. 前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部
   をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第１の操作制御群、及び、内視鏡の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第２の操作制御群のうちのいずれかに基づく制御を行う
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第２の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも１つに係る制御を行う
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも１つを制御する
   ことを特徴とする請求項２に記載の情報処理装置。
7. 前記制御部は、前記内視鏡挿入部が挿入されている前記被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも１つと、前記分類結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
   ことを特徴とする請求項２に記載の情報処理装置。
8. 前記挿入形状分類部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる前記内視鏡挿入部の挿入形状を前記所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記分類結果を時系列に記録するための動作を行う分類結果記録部をさらに有する
   ことを特徴とする請求項１に記載の情報処理装置。
10. 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、
    前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、
    前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、
    を有することを特徴とする内視鏡制御装置。
11. 前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第１の操作制御群、及び、前記内視鏡挿入部に係る基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第２の操作制御群のうちのいずれかに基づく制御を行う
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
12. 前記第２の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
    ことを特徴とする請求項１１に記載の内視鏡制御装置。
13. 前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも１つに係る制御を行う
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
14. 前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも１つを制御するように構成されている
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
15. 前記挿入形状要素抽出部は、内視鏡先端部、ループ部、及び、屈折部のうちの少なくとも１つを抽出して前記抽出結果を得るための処理を行い、
    前記制御部は、前記抽出結果に含まれる少なくとも１つの構成要素の経時的な変化に応じて制御内容を変更する
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
16. 前記制御部は、前記内視鏡挿入部が挿入されている前記被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも１つと、前記抽出結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
17. 前記挿入形状要素抽出部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる各画素を所定の複数の構成要素のうちの一の構成要素に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
    ことを特徴とする請求項１０に記載の内視鏡制御装置。
18. 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置の作動方法であって、
    挿入形状分類部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、
    出力部が、前記分類結果を出力する
    ことを特徴とする情報処理装置の作動方法。
19. 制御部が、前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
    ことを特徴とする請求項１８に記載の情報処理装置の作動方法。
20. 分類結果記録部が、前記分類結果を時系列に記録するための動作を行う
    ことを特徴とする請求項１８に記載の情報処理装置の作動方法。
21. 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、
    挿入形状要素抽出部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理を行い、
    制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
    ことを特徴とする内視鏡制御装置の作動方法。
22. コンピュータに、
    被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、
    前記分類結果を出力する処理と、
    を実行させるためのプログラム。
23. 前記分類結果に基づく前記内視鏡挿入部の挿入操作に係る制御
    をさらに前記コンピュータに実行させるための請求項２２に記載のプログラム。
24. 前記分類結果を時系列に記録するための処理
    をさらに前記コンピュータに実行させるための請求項２２に記載のプログラム。
25. コンピュータに、
    被検体内に挿入されている内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理と、
    前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、
    を実行させるためのプログラム。