JPWO2020012530A1 - 施術支援装置、施術支援方法、及びプログラム - Google Patents

施術支援装置、施術支援方法、及びプログラム Download PDF

Info

Publication number
JPWO2020012530A1
JPWO2020012530A1 JP2020529855A JP2020529855A JPWO2020012530A1 JP WO2020012530 A1 JPWO2020012530 A1 JP WO2020012530A1 JP 2020529855 A JP2020529855 A JP 2020529855A JP 2020529855 A JP2020529855 A JP 2020529855A JP WO2020012530 A1 JPWO2020012530 A1 JP WO2020012530A1
Authority
JP
Japan
Prior art keywords
similarity
image
information
target site
treatment support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529855A
Other languages
English (en)
Other versions
JP7104375B2 (ja
Inventor
雅弘 西光
雅弘 西光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020012530A1 publication Critical patent/JPWO2020012530A1/ja
Application granted granted Critical
Publication of JP7104375B2 publication Critical patent/JP7104375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。【解決手段】内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出手段２と、異なる人体内部画像間における特徴量の類似度を算出する、類似度算出手段３と、類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する、同定手段４と、を有する施術支援装置１である。

Description

本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
内視鏡を用いて人体内部を撮像した画像から対象部位に対応する対象部位画像を抽出し、抽出した対象部位画像を用いて、観察者の施術を支援する施術支援装置が知られている。このような装置によれば、例えば、内視鏡を用いて大腸内部などの画像を撮像し、撮像した画像から癌化する可能性が高い腫瘍を検出し、観察者に通知することにより、施術の精度を向上させている。
関連する技術として、特許文献１には、内視鏡を用いて人体内部を撮像した画像から患部（対象部位）に対応する患部画像（対象部位画像）を抽出し、抽出した患部画像と学習用画像との特徴量マッチング処理の結果に基づいて、患部の病理タイプを識別する装置が開示されている。
国際公開第２０１５／１１８８５０号
しかしながら、上述した施術支援装置、及び、特許文献１に開示された装置を用いても、対象部位画像を追跡することはできない。更に、従来の追跡技術（例えば、オプティカルフローなど）を用いても、内視鏡を用いて施術を行う場合、対象部位画像を追跡することは困難である。
例えば、内視鏡を用いて施術を行う場合、対象部位画像のフレームアウト、又は内視鏡の抜差しにともなう内視鏡の撮像部と対象部位との撮像距離及び角度などの変化による対象部位画像の変化などにより、対象部位画像を追跡することは困難である。
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発するため、対象部位画像の動きを追跡することが困難である。
更に、人体内部及び対象部位は非剛体（形状が不定形）であるため、形状、又は色に基づいて、対象部位画像を追跡することは困難である。
本発明の目的の一例は、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における施術支援装置は、
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出部と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出部と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定部と、
を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における施術支援方法は、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面における施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする。
以上のように本発明によれば、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させることができる。
図１は、施術支援装置の一例を示す図である。 図２は、施術支援装置と、施術支援装置を有するシステムの一例を示す図である。 図３は、人体内部画像及び特徴量を示す画像の一例を示す図である。 図４は、検出結果情報の算出を説明するための図である。 図５は、検出結果情報の算出を説明するための図である。 図６は、ヒートマップ情報の算出を説明するための図である。 図７は、特徴量のデータ構造の一例を示す図である。 図８は、対象部位画像を同定した表示の一例を示す図である。 図９は、施術支援装置の動作の一例を示す図である。 図１０は、施術支援装置を実現するコンピュータの一例を示す図である。
（実施の形態）
以下、本発明の実施の形態について、図１から図１０を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における施術支援装置の構成について説明する。図１は、施術支援装置の一例を示す図である。
図１に示す本実施の形態における施術支援装置１は、画像処理を用いて、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させるための装置である。図１に示すように、施術支援装置１は、特徴量算出部２と、類似度算出部３と、同定部４とを有する。
このうち、特徴量算出部２は、内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する。類似度算出部３は、異なる人体内部画像間における特徴量の類似度を算出する。同定部４は、類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する。
このように、本実施の形態では、内視鏡を用いて撮像した、異なる人体内部画像それぞれの特徴量の類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する。そのため、対象部位画像を追跡できるので、内視鏡を用いた施術の精度を向上させることができる。
具体的には、従来において、観察者は、対象部位画像を目視で追跡しているため、観察者が対象部位画像を見失った場合、再度当該対象部位画像を見つけることができないことがある。その場合、癌化する可能性が高い施術が必要な対象部位などを見逃す虞がある。しかし、本実施の形態における施術支援装置を用いることで、対象部位画像を同定できるので、観察者の技量などに係らず、対象部位を見逃すことが削減できるので、施術の精度を向上させることができる。
例えば、内視鏡を用いて撮像した対象部位画像がフレームアウト、内視鏡の抜差しにより対象部位画像が変化（対象部位の大きさの変化、撮像範囲の変化、画像の回転など）が生じても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発しても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
更に、人体内部及び対象部位のような非剛体（形状が不定形）でも、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
［システム構成］
続いて、図２を用いて、本実施の形態における施術支援装置１の構成をより具体的に説明する。図２は、施術支援装置と、施術支援装置を有するシステムの一例を示す図である。
図２に示すように、本実施の形態におけるシステムは、画像処理を実行する施術支援装置１と、内視鏡２０と、出力装置２１とを有する。施術支援装置１は、特徴量算出部２と、類似度算出部３と、同定部４とに加えて、出力情報生成部２２を有する。
内視鏡２０は、人体内部を撮像した人体内部画像を、内視鏡２０と接続されている施術支援装置１へ送信する。内視鏡２０は、例えば、人体内部に挿入する挿入部と、挿入部の先端側に設けられている撮像部と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２０と施術支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像部以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。
出力装置２１は、出力情報生成部２２から出力可能な形式に変換された出力情報を取得し、その出力情報に基づいて生成した画像及び音声などを出力する。出力装置２１は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２１は、プリンタなどの印刷装置でもよい。
特徴量算出部２は、内視鏡２０が時系列に撮像した、複数の人体内部画像を取得し、人体内部画像から対象部位に対応する対象部位画像の特徴量を抽出する。また、特徴量算出部２は、特徴量を抽出する、特徴抽出部２３と、検出結果算出部２４と、ヒートマップ算出部２５とを有する。
特徴抽出部２３は、人体内部画像から対象部位画像の特徴を示す特徴抽出情報（特徴量ｆ：特徴ベクトル）を抽出する。具体的には、画像の局所的な特徴を抽出する方法としてＬＢＰ（Local Binary Pattrn）があり、その抽出方法は、例えば、文献「T.Ojala, M. Pietikainen, and D. Harwood, “Performanceevaluation of texturemeasures with classification based onkullback discrimination ofdistributions,” inProc. IEEE Int.Conf. Patt. Recogn., 1994.」に記載されている。
図３は、人体内部画像及び特徴量を示す画像の一例を示す図である。図３に示す人体内部画像３１（３１ａ、３１ｂ、３１ｃ）は、大腸内を時系列に撮像した画像で、対象部位画像３３（３３ａ、３３ｃ）は腫瘍を撮像した画像である。なお、図３においては、人体内部画像３１ａ、３１ｃには対象部位画像３３ａ、３３ｃが撮像されているが、人体内部画像３１ｂには、対象部位がフレームアウトしたため撮像されていない。
図３においては、特徴抽出部２３は、時系列に撮像された複数の人体内部画像を３１ａ、３１ｂ、３１ｃの順に取得する。なお、人体内部画像は、動画の人体内部画像を撮像した順に連続して取得してもよい。
続いて、特徴抽出部２３は、取得した人体内部画像３１それぞれに対して、対象部位に対応する対象部位画像３３の特徴抽出情報を抽出する。図３においては、人体内部画像３１（３１ａ、３１ｂ、３１ｃ）それぞれから、抽出した特徴抽出情報を示す画像として画像３２（３２ａ、３２ｂ、３２ｃ）が示されている。なお、図３の画像３２においては、対象部位の特徴は白色及び白色に近い色の領域で示され、それ以外は黒色の領域で示されている。
検出結果算出部２４は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、検出結果情報（特徴量ｒ：特徴ベクトル）を算出する。具体的には、検出結果算出部２４は、特徴抽出情報に対応する画像３２に対して、スライディングウィンドウなどの対象部位画像３３を検出する処理を適用し、人体内部画像３１ごとに、検出結果情報を算出する。
図４、図５は、検出結果情報の算出を説明するための図である。検出結果算出部２４は、特徴抽出情報に対応する画像３２に対して、例えば、図４に示す白色の矢印の方向（所定順）にウィンドウ４１（窓領域）をずらし、ウィンドウ４１をずらすごと（所定距離移動させるごと）に、検出結果情報を算出する。また、検出結果算出部２４は、ウィンドウ４１の大きさを変更し、異なる大きさのウィンドウ４１′を用いて、当該ウィンドウ４１′を所定順にずらし、ウィンドウ４１′をずらすごとに、検出結果情報を算出する。なお、所定順は、図４に示す白色の矢印の方向（水平方向）に限定されるものではない。
検出結果情報は、例えば、ウィンドウ４１、４１′（以降、ウィンドウ４１′もウィンドウ４１と呼ぶ）内の特徴を用いて算出する、検出対象部位の位置と大きさを示す領域情報、及びその領域が対象部位に相当する確率を示す信頼度情報を有する。領域情報は、例えば、対象部位を外接する矩形の位置を示す位置情報と、その外接する矩形の大きさを示すサイズ情報を有する。
ウィンドウ４１の位置を示す位置情報は、画像３２を二次元座標系と考えた場合、ウィンドウ４１内のいずれかの座標により示される。例えば、ウィンドウ４１内のいずれかの座標として、図４に示すような中心座標（Ｘ，Ｙ）がある。ウィンドウ４１の大きさを示すサイズ情報は、画像３２を二次元座標系と考えた場合、図４に示すようなウィンドウ４１の幅（Ｗ）と高さ（Ｈ）とにより示される。
ウィンドウ４１の領域情報と同様に、検出結果情報の領域情報は、図５に示すように、対象部位に外接する矩形の中心座標（Ｘｒ，Ｙｒ）と、その矩形の大きさを示すサイズ情報（矩形の幅（Ｗｒ）と高さ（Ｈｒ））とにより示される。なお、対象部位を外接する矩形の中心座標は、ウィンドウ４１に対する相対位置、すなわち（Ｘｒ’＝Ｘｒ−Ｘ，Ｙｒ’＝Ｙｒ−Ｙ）としてもよい。信頼度情報は、ウィンドウ４１内の特徴を用いて算出する、検出対象部位の領域が対象部位に相当する確率（ｃｏｎｆ）を示す情報である。
なお、検出結果情報は、例えば、特徴ベクトルｒ＝（Ｘｒ’，Ｙｒ’，Ｗｒ，Ｈｒ，ｃｏｎｆ）のように表してもよい。また、検出結果情報の領域情報の形状は、矩形でなくてもよい。例えば、円形、楕円形などでもよい。
ヒートマップ算出部２５は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、ヒートマップ情報（特徴量ｈ：特徴ベクトル）を算出する。具体的には、ヒートマップ算出部２５は、特徴抽出情報に対応する画像３２に対して、例えば、セマンティックセグメンテーション技術を適用して、ヒートマップ情報を算出する。
図６は、ヒートマップ情報の算出を説明するための図である。ヒートマップ算出部２５は、特徴抽出情報に対応する画像３２に対して、セマンティックセグメンテーションを適用して、対象部位画像３３に相当する座標と、対象部位画像３３以外の座標とを異なる値で表す。すなわち、ヒートマップ算出部２５は、ヒートマップ情報を示すための画像５１（５１ａ、５１ｂ、５１ｃ）を算出する。なお、図６の画像５１においては、対象部位は白の領域で示され、対象部位以外は黒の領域で示されている。なお、座標はピクセルを用いて表してもよい。
更に、特徴抽出部２３は、ウィンドウ４１ごとに特徴抽出情報（特徴量ｆ′：特徴ベクトル）及び検出結果情報（ｒ）を算出してもよい。また、ヒートマップ算出部２５は、ウィンドウ４１ごとにヒートマップ情報（特徴量ｈ′：特徴ベクトル）を算出してもよい。
なお、特徴量算出部２は、人体内部画像３１と上述した特徴量ｆ、ｒ、ｈとを関連付けて記憶する。図７は、特徴量のデータ構造の一例を示す図である。図７においては、特徴量を示す情報６１ａは、人体内部画像３１ａに対応する特徴抽出情報（特徴量ｆａ）と、検出結果情報（特徴量ｒ１ａ、ｒ２ａ、ｒ３ａ、ｒ４ａ）と、ヒートマップ情報（特徴量ｈａ）とが関連付けられている。情報６１ｂは、人体内部画像３１ｂに対応する特徴抽出情報（特徴量ｆｂ）と、検出結果情報（特徴量ｒ１ｂ、ｒ２ｂ、ｒ３ｂ、ｒ４ｂ）と、ヒートマップ情報（特徴量ｈｂ）とが関連付けられている。情報６１ｃは、人体内部画像３１ｃに対応する特徴抽出情報（特徴量ｆｃ）と、検出結果情報（特徴量ｒ１ｃ、ｒ２ｃ、ｒ３ｃ、ｒ４ｃ）と、ヒートマップ情報（特徴量ｈｃ）とが関連付けられている。
類似度算出部３は、異なる人体内部画像３１間における、特徴抽出情報（特徴量ｆ）、検出結果情報（特徴情報ｒ）、ヒートマップ情報（特徴量ｈ）を用いて類似度を算出する。具体的には、人体内部画像３１間における類似度の算出は、特徴抽出情報の特徴ベクトル（特徴量ｆ）、検出結果情報の特徴ベクトル（特徴情報ｒ）、ヒートマップ情報の特徴ベクトル（特徴量ｈ）を用いて、特徴ベクトル間の距離（類似度）を算出する。又は、類似度は、線形和で表してもよい。類似度算出部３は、（１）から（５）に示す方法により類似度を算出する。
（１）類似度算出部３は、検出結果情報（ｒ）の類似度、特徴抽出情報（ｆ）間の類似度、又は、ヒートマップ情報（ｈ）間の類似度を算出する。
（２）類似度算出部３は、ウィンドウそれぞれにおける検出結果情報の領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、又は、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、又は、信頼度情報（ｃｏｎｆ）間の類似度、又は、特徴抽出情報（ｆ′）の類似度、又は、ヒートマップ情報（ｈ′）の類似度を算出する。
（３）類似度算出部３は、（１）（２）に示した二つ以上の類似度を組み合わせ、それらの総和を類似度とする。すなわち、検出結果情報（ｒ）間の類似度、特徴抽出情報（ｆ）間の類似度、ヒートマップ情報（ｈ）間の類似度、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）間の類似度、ヒートマップ情報（ｈ′）間の類似度のうち、二つ以上の類似度の総和を、類似度とする。
（４）類似度算出部３は、信頼度情報（ｃｏｎｆ）間の類似度を算出し、算出した類似度が予め設定した信頼所定値以上である場合、異なる人体内部画像３１間における特徴量の類似度（上述した（１）（２）に示した類似度）を算出する。信頼所定値は、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置又はそれ以外に設けられている記憶部に記憶する。又は、信頼所定値は、過去に取得した複数の人体内部画像３１から算出した信頼度情報の最大値としてもよい。このようにすることで、連続して人体内部画像３１に同一の対象部位画像３３が撮像されている場合、類似度の算出が不要となる。
（５）類似度算出部３は、信頼度情報（ｃｏｎｆ）間の類似度を算出し、算出した類似度が信頼所定値以上である場合、領域情報（Ｘ，Ｙ，Ｗ，Ｈ）間の類似度を算出する。続いて、類似度算出部３は、領域情報間の類似度が領域所定値以上である場合、特徴抽出情報（ｆ）間の類似度を算出する。続いて、類似度算出部３は、特徴抽出情報間の類似度が特徴抽出所定値以上である場合、ヒートマップ情報（ｈ）間の類似度を算出する。
なお、領域所定値、特徴抽出所定値それぞれは、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置又はそれ以外に設けられている記憶部に記憶する。このようにすることで、連続して人体内部画像３１に同一の対象部位画像３３が撮像されている場合、類似度の算出が不要となるとともに、人体内部画像３１間の類似度の精度を向上させることができる。
更に、（５）における、領域情報間の類似度の算出は、領域情報のうち位置情報（Ｘ，Ｙ）、サイズ情報（Ｗ，Ｈ）のいずれか一つを用いて類似度を算出してもよい。
同定部４は、類似度が所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像を同定する。具体的には、同定部４は、（１）から（５）のいずれかにより算出した類似度が所定値以上である場合、人体内部画像３１それぞれの対象部位画像３３同士を関連付け、記憶部に記憶する。同定部４は、（１′）から（５′）に示す方法により同定する。
（１′）同定部４は、検出結果情報（ｒ）間の類似度が検出結果所定値以上、又はヒートマップ情報（ｈ）間の類似度がヒートマップ所定値以上、又は特徴抽出情報（ｆ）間の類似度が特徴抽出所定値以上である場合、対象部位画像３３同士を同定する。ヒートマップ所定値は、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置１又はそれ以外に設けられている記憶部に記憶する。
（２′）同定部４は、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）の類似度、特徴抽出情報（ｈ′）の類似度がすべて、それぞれの類似度に対して設定された所定値以上である場合、対象部位画像３３同士を同定する。又は、同定部４は、類似度のうちいずれかが所定値以上である場合、対象部位画像３３同士を同定してもよい。
（３′）同定部４は、（１）（２）に示した二つ以上の類似度を組み合わせた総和を類似度とし、組み合わせごとに設定された所定値以上である場合、対象部位画像３３同士を同定する。
（４′）同定部４は、信頼度情報（ｃｏｎｆ）間の類似度が信頼所定値以上である場合、上述した（１′）（２′）（３′）に示した同定を実施する。
（５′）同定部４は、（５）に示したヒートマップ情報（ｈ）間の類似度がヒートマップ所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像３３が同一であると同定する。
このようにすることで、例えば、人体内部画像３１ｃと人体内部画像３１ａとの間に対象部位画像が撮像されていない人体内部画像３１ｂが間に存在しても、すなわち観察者が対象部位画像３３を見失っても、最新の人体内部画像３１ｃに撮像された対象部位画像３３ｃと、過去に撮像された人体内部画像３１ａの対象部位画像３３ａとが関連付けられる。
出力情報生成部２２は、施術中に対象部位画像３３を同定した場合、対象部位画像３３を同定したことを示す出力情報を生成し、生成した出力情報を出力装置２１に送信する。出力装置２１は、出力情報を取得した後、出力情報に基づいて、対象部位画像３３同士の同定を表す画面、又は音声、又はそれら両方を出力する。
図８は、対象部位画像を同定した表示の一例を示す図である。図８においては、人体内部画像３１ａ、３１ｃそれぞれの同定された対象部位画像３３の部分に対して、着色などをするとともに同一の腫瘍である旨を表示させている。なお、人体内部画像３１ｂには同定された対象部位画像がないので、同定された旨を表示しない。図８では、対象部位画像３３を着色（網掛け範囲）し、「腫瘍Ａ」である旨を表示している。なお、図８に示した表示方法に限定されるものではない。
［装置動作］
次に、本発明の実施の形態における施術支援装置の動作について図９を用いて説明する。図９は、施術支援装置の動作の一例を示す図である。以下の説明においては、適宜図２から図８を参酌する。また、本実施の形態では、施術支援装置を動作させることにより、施術支援方法が実施される。よって、本実施の形態における施術支援方法の説明は、以下の施術支援装置の動作説明に代える。
ステップＡ１において、特徴量算出部２は、内視鏡２０が時系列に撮像した、人体内部画像３１を取得する。続いて、ステップＡ２において、特徴量算出部２は、内視鏡２０を用いて撮像した人体内部画像３１から、対象部位に対応する対象部位画像３３の特徴量を算出する。図３を参照。
具体的には、特徴量算出部２（特徴抽出部２３）は、人体内部画像３１から対象部位画像３３の特徴を示す特徴抽出情報（特徴量ｆ：特徴ベクトル）を抽出する。続いて、特徴量算出部２（検出結果算出部２４）は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、検出結果情報（特徴量ｒ：特徴ベクトル）を算出する。例えば、特徴抽出情報に対応する画像３２に対して、スライディングウィンドウなどの対象部位画像３３を検出する処理を適用し、人体内部画像３１ごとに、検出結果情報を算出する。図４、図５を参照。
又は、特徴量算出部２（ヒートマップ算出部２５）は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、ヒートマップ情報（特徴量ｈ：特徴ベクトル）を算出する。例えば、特徴抽出情報に対応する画像３２に対して、セマンティックセグメンテーションを適用して、ヒートマップ情報を算出する。図６を参照。
なお、特徴量算出部２は、人体内部画像３１と上述した特徴量ｆ、ｒ、ｈとを関連付けて記憶する。図７を参照。
ステップＡ３において、類似度算出部３は、最新の人体内部画像３１と、最新の人体内部画像３１より前に撮像した人体内部画像３１との間における、特徴抽出情報（特徴量ｆ）、検出結果情報（特徴情報ｒ）、ヒートマップ情報（特徴量ｈ）を用いて類似度を算出する。具体的には、人体内部画像３１間における類似度の算出は、特徴抽出情報の特徴ベクトル（特徴量ｆ）、検出結果情報の特徴ベクトル（特徴情報ｒ）、ヒートマップ情報の特徴ベクトル（特徴量ｈ）を用いて、特徴ベクトル間の距離（類似度）を算出する。又は、類似度は、線形和で表してもよい。類似度算出部３は、（１）から（５）に示す方法により類似度を算出する。
例えば、類似度算出部３は、最新の人体内部画像３１ｃと、最新の人体内部画像３１ｃより前に撮像した人体内部画像３１ａ、又は、３１ｂとの間で類似度を算出する。
ステップＡ４において、同定部４は、類似度が所定値以上である場合、最新の人体内部画像３１の対象部位画像３３と、最新の人体内部画像３１より前に撮像した人体内部画像３１の対象部位画像３３とを同定する。具体的には、同定部４は、（１）から（５）のいずれかにより算出した類似度が所定値以上である場合、人体内部画像３１それぞれの対象部位画像３３同士を関連付け、記憶部に記憶する。同定部４は、（１′）から（５′）に示す方法により同定する。
ステップＡ５において、出力情報生成部２２は、施術中に対象部位画像３３を同定した場合、対象部位画像３３を同定したことを示す出力情報を生成し、生成した出力情報を出力装置２１に送信する。
ステップＡ６において、出力装置２１は、出力情報を取得した後、出力情報に基づいて、対象部位画像３３同士の同定を表す画面、又は音声、又はそれら両方を出力する。図８を参照。
ステップＡ７において、施術支援装置１は、ステップＡ１からＡ７に示した同定処理を終了する指示を取得した場合（Ｙｅｓ）、同定処理を終了する。ステップＡ１からＡ７に示した同定処理を継続する場合（Ｎｏ）、施術支援装置１はステップＡ１の処理に移行する。
［本実施の形態の効果］
以上のように、本実施の形態によれば、内視鏡２０を用いて撮像した、異なる人体内部画像３１それぞれの特徴量の類似度が所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像３３を同定する。そのため、対象部位画像３３を同定できるので、観察者の技量などに係らず、対象部位を見逃すことが削減できるので、施術の精度を向上させることができる。
例えば、内視鏡を用いて撮像した対象部位画像がフレームアウトしたり、内視鏡の抜差しにより対象部位画像が変化したりしても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発しても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
更に、人体内部及び対象部位のような非剛体（形状が不定形）でも、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１からステップＡ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における施術支援装置と施術支援方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴量算出部２、類似度算出部３、同定部４、出力情報生成部２２として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、特徴量算出部２、類似度算出部３、同定部４、出力情報生成部２２のいずれかとして機能してもよい。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、施術支援装置を実現するコンピュータについて図１０を用いて説明する。図１０は、施術支援装置を実現するコンピュータの一例を示す図である。
図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１８）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出部と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出部と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定部と、
を有することを特徴とする施術支援装置。
（付記２）
付記１に記載の施術支援装置であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援装置。
（付記３）
付記２に記載の施術支援装置であって、
前記類似度算出部は、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援装置。
（付記４）
付記２又は３に記載の施術支援装置であって、
前記類似度算出部は、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
同定部は、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援装置。
（付記５）
付記１から４のいずれか一つに記載の施術支援装置であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援装置。
（付記６）
付記１から５のいずれか一つに記載の施術支援装置であって、
施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、出力装置を有する、
ことを特徴とする施術支援装置。
（付記７）
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする施術支援方法。
（付記８）
付記７に記載の施術支援方法であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援方法。
（付記９）
付記８に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援方法。
（付記１０）
付記８又は９に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援方法。
（付記１１）
付記７から１０のいずれか一つに記載の施術支援方法であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援方法。
（付記１２）
付記７から１１のいずれか一つに記載の施術支援方法であって、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを有する、
ことを特徴とする施術支援方法。
（付記１３）
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１４）
付記１３に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１５）
付記１４に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１６）
付記１４又は１５に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１７）
付記１３から１６のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１８）
付記１３から１７のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記施術支援プログラムは、前記コンピュータに、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
以上のように本発明によれば、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させることができる。本発明は、内視鏡を用いて施術を必要とする分野において有用である。
１ 施術支援装置
２ 特徴量算出部
３ 類似度算出部
４ 同定部
２０ 内視鏡
２１ 出力装置
２２ 出力情報生成部
２３ 特徴抽出部
２４ 検出結果算出部
２５ ヒートマップ算出部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムに関する。
本発明の目的の一例は、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする。
ウィンドウ４１の領域情報と同様に、検出結果情報の領域情報は、図５に示すように、対象部位に外接する矩形４２の中心座標（Ｘｒ，Ｙｒ）と、その矩形４２の大きさを示すサイズ情報（矩形の幅（Ｗｒ）と高さ（Ｈｒ））とにより示される。なお、対象部位を外接する矩形４２の中心座標は、ウィンドウ４１に対する相対位置、すなわち（Ｘｒ’＝Ｘｒ−Ｘ，Ｙｒ’＝Ｙｒ−Ｙ）としてもよい。信頼度情報は、ウィンドウ４１内の特徴を用いて算出する、検出対象部位の領域が対象部位に相当する確率（ｃｏｎｆ）を示す情報である。
（２′）同定部４は、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）の類似度、ヒートマップ情報（ｈ′）の類似度がすべて、それぞれの類似度に対して設定された所定値以上である場合、対象部位画像３３同士を同定する。又は、同定部４は、類似度のうちいずれかが所定値以上である場合、対象部位画像３３同士を同定してもよい。
（付記１３）
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とするプログラム。
（付記１４）
付記１３に記載のプログラムであって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とするプログラム。
（付記１５）
付記１４に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とするプログラム。
（付記１６）
付記１４又は１５に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とするプログラム。
（付記１７）
付記１３から１６のいずれか一つに記載のプログラムであって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とするプログラム。
（付記１８）
付記１３から１７のいずれか一つに記載のプログラムであって、
前記施術支援プログラムは、前記コンピュータに、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
ことを特徴とするプログラム。

Claims (18)

  1. 内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出手段と、
    異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出手段と、
    前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定手段と、
    を有することを特徴とする施術支援装置。
  2. 請求項１に記載の施術支援装置であって、
    前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
    ことを特徴とする施術支援装置。
  3. 請求項２に記載の施術支援装置であって、
    前記類似度算出手段は、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
    ことを特徴とする施術支援装置。
  4. 請求項２又は３に記載の施術支援装置であって、
    前記類似度算出手段は、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
    同定手段は、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
    ことを特徴とする施術支援装置。
  5. 請求項１から４のいずれか一つに記載の施術支援装置であって、
    前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
    ことを特徴とする施術支援装置。
  6. 請求項１から５のいずれか一つに記載の施術支援装置であって、
    施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、出力装置を有する、
    ことを特徴とする施術支援装置。
  7. （ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
    （ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
    （ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
    を有することを特徴とする施術支援方法。
  8. 請求項７に記載の施術支援方法であって、
    前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
    ことを特徴とする施術支援方法。
  9. 請求項８に記載の施術支援方法であって、
    前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
    ことを特徴とする施術支援方法。
  10. 請求項８又は９に記載の施術支援方法であって、
    前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
    前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
    ことを特徴とする施術支援方法。
  11. 請求項７から１０のいずれか一つに記載の施術支援方法であって、
    前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
    ことを特徴とする施術支援方法。
  12. 請求項７から１１のいずれか一つに記載の施術支援方法であって、
    （ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に有する、
    ことを特徴とする施術支援方法。
  13. コンピュータに、
    （ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
    （ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
    （ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
    を実行させることを特徴とする施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 請求項１３に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  15. 請求項１４に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  16. 請求項１４又は１５に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
    前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  17. 請求項１３から１６のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  18. 請求項１３から１７のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記施術支援プログラムが、前記コンピュータに、
    （ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2020529855A 2018-07-09 2018-07-09 施術支援装置、施術支援方法、及びプログラム Active JP7104375B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025871 WO2020012530A1 (ja) 2018-07-09 2018-07-09 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020012530A1 true JPWO2020012530A1 (ja) 2021-07-15
JP7104375B2 JP7104375B2 (ja) 2022-07-21

Family

ID=69142586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529855A Active JP7104375B2 (ja) 2018-07-09 2018-07-09 施術支援装置、施術支援方法、及びプログラム

Country Status (4)

Country Link
US (4) US11969143B2 (ja)
EP (1) EP3821789B1 (ja)
JP (1) JP7104375B2 (ja)
WO (1) WO2020012530A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7485193B2 (ja) 2021-02-26 2024-05-16 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
WO2023042273A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024024022A1 (ja) * 2022-07-28 2024-02-01 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
CN115035153B (zh) * 2022-08-12 2022-10-28 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2012011137A (ja) * 2010-07-05 2012-01-19 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2015181594A (ja) * 2014-03-20 2015-10-22 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016507280A (ja) * 2012-12-31 2016-03-10 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ 管の評価のための装置、システム、及び方法
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947784B2 (en) 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
JP2011061905A (ja) 2009-09-07 2011-03-24 Hitachi Automotive Systems Ltd 車両用交流発電機の制御装置
US20120230583A1 (en) 2009-11-20 2012-09-13 Nec Corporation Object region extraction device, object region extraction method, and computer-readable medium
JP6235921B2 (ja) 2014-02-07 2017-11-22 国立大学法人広島大学 内視鏡画像診断支援システム
US20180279862A1 (en) * 2016-10-10 2018-10-04 Jack Wade Systems and methods for closed-loop medical imaging
EP3682791B1 (en) * 2017-09-15 2023-12-20 FUJIFILM Corporation Medical image processing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2012011137A (ja) * 2010-07-05 2012-01-19 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2016507280A (ja) * 2012-12-31 2016-03-10 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ 管の評価のための装置、システム、及び方法
JP2015181594A (ja) * 2014-03-20 2015-10-22 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US20240206701A1 (en) 2024-06-27
EP3821789A4 (en) 2021-08-04
US20240215801A1 (en) 2024-07-04
US11969143B2 (en) 2024-04-30
US20240206702A1 (en) 2024-06-27
US20210267544A1 (en) 2021-09-02
EP3821789A1 (en) 2021-05-19
JP7104375B2 (ja) 2022-07-21
WO2020012530A1 (ja) 2020-01-16
EP3821789B1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
JP7104375B2 (ja) 施術支援装置、施術支援方法、及びプログラム
US11890063B2 (en) System and methods for a trackerless navigation system
US20150297313A1 (en) Markerless tracking of robotic surgical tools
US8989471B2 (en) Method and system for automatic rib centerline extraction using learning based deformable template matching
US8879810B2 (en) Method and system for automatic lung segmentation in magnetic resonance imaging videos
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
JP2008080132A (ja) 高次元画像空間内の対象を検出するためのシステム及び方法
Paulus et al. Augmented reality during cutting and tearing of deformable objects
US11633235B2 (en) Hybrid hardware and computer vision-based tracking system and method
JP7040630B2 (ja) 位置推定装置、位置推定方法、及びプログラム
US10290099B2 (en) Image processing device and image processing method
US9292921B2 (en) Method and system for contrast inflow detection in 2D fluoroscopic images
Kim et al. Vertebrae localization in CT using both local and global symmetry features
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
US11900615B2 (en) Tracking device, endoscope system, and tracking method
KR102174246B1 (ko) 카테터 추적 시스템 및 제어 방법
JP7215504B2 (ja) 施術支援装置、施術支援方法、及びプログラム
Lin Visual SLAM and Surface Reconstruction for Abdominal Minimally Invasive Surgery
WO2021149169A1 (ja) 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
Zettinig et al. Preconditioned intensity-based prostate registration using statistical deformation models
JPWO2020255645A1 (ja) ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム
JP2018027302A (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
Marcinczak et al. A robust motion estimation system for minimal invasive laparoscopy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R151 Written notification of patent or utility model registration

Ref document number: 7104375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151