JP7154274B2 - 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 - Google Patents

Description

本発明は、内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法に関する。

近年、内視鏡検査と同時にレポートを出力する技術がある。例えば、特許文献１には、各医療機器が有しているデータを共有化することによって、レポート作成に要していた時間を短縮化して作業の負担を軽減化する医療用画像記録装置が開示されている。

特開２００４－３５０７３４号公報

しかしながら、特許文献１に係る発明は、検査部位のスケッチ図中の病変部と、病変部の内視鏡の観察画像とを自動的にリンクさせてレポートを作成するが、病変部（例えば、ポリープ等）の集計結果をレポートに含まない問題がある。

一つの側面では、検査部位ごとの病変部の集計結果を出力することが可能な内視鏡用プロセッサ等を提供することにある。

一つの側面に係る内視鏡用プロセッサは、大腸用内視鏡から撮影画像を取得する画像取得部と、前記画像取得部が取得した撮影画像に基づいて、大腸内の部位を識別する部位識別部と、前記撮影画像からポリープを抽出するポリープ抽出部と、前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、前記部位識別部が識別した大腸内の部位を複数の分割部位に分割する分割部と、前記分割部が分割した分割部位ごとに、前記ポリープ抽出部が抽出した前記ポリープの数を集計する第１集計部と、前記ポリープが切除されたか否かを記録する切除記録部と、前記分割部が分割した分割部位ごとに、前記切除記録部に記録された切除済ポリープと未切除ポリープとをそれぞれ集計する第２集計部と、前記分割部位と、前記分割部位ごとに前記第１集計部が集計したポリープの数と、前記分割部位ごとに前記第２集計部が集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成する生成部と、前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、前記生成部が生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力する出力部と、前記出力部が出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる表示制御部とを備えることを特徴とする。

一つの側面では、検査部位ごとの病変部の集計結果を出力することが可能となる。

大腸内の部位ごとのポリープ数を集計する大腸用内視鏡システムの構成例を示す模式図である。 内視鏡の外観図である。 プロセッサの構成例を示すブロック図である。 患者ＤＢのレコードレイアウトの一例を示す説明図である。 集計ＤＢのレコードレイアウトの一例を示す説明図である。 ポリープＤＢのレコードレイアウトの一例を示す説明図である。 大腸内の部位を説明する説明図である。 大腸内のポリープを説明する説明図である。 ポリープの形態を示す模式図である。 部位識別モデルを説明する説明図である。 ポリープ抽出モデルを用いてポリープ抽出処理の概要を説明する説明図である。 大腸内の部位ごとのポリープ数を集計する際の全体の処理手順を示すフローチャートである。 部位ごとのポリープの数を集計する処理のサブルーチンの処理手順を示すフローチャートである。 部位ごとに集計されたポリープの数及び累積数を表示する模式図である。 各部位と各部位のポリープの数との関係を示すグラフである。 変形例１の集計ＤＢのレコードレイアウトの一例を示す説明図である。 分割部位ごとのポリープの数を集計する処理のサブルーチンの処理手順を示すフローチャートである。 各分割部位と各分割部位のポリープの数との関係を示すグラフである。 実施形態２の集計ＤＢのレコードレイアウトの一例を示す説明図である。 実施形態２のポリープＤＢのレコードレイアウトの一例を示す説明図である。 分割部位ごとのポリープの抽出数及び切除数を集計する処理のサブルーチンの処理手順を示すフローチャートである。 各部位と各部位のポリープの抽出数及び切除数との関係を示すグラフである。 実施形態３のポリープＤＢのレコードレイアウトの一例を示す説明図である。 ポリープに対する観察条件を表示する際の処理手順を示すフローチャートである。 内視鏡検査中に行われた操作情報をタブ形式で表示する模式図である。 部位ごとにポリープの抽出数と前回抽出数とを同時に表示するグラフである。 上述した形態のプロセッサの動作を示す機能ブロック図である。

以下、本発明をその実施形態を示す図面に基づいて詳述する。

（実施形態１）
実施形態１は、大腸用内視鏡により取得した撮影画像から、大腸内の部位ごとのポリープ数を集計し、集計した集計結果を出力する形態に関する。

図１は、大腸内の部位ごとのポリープ数を集計する大腸用内視鏡システムの構成例を示す模式図である。図１に示すシステムは、身体の下部消化管（大腸）に挿入されて撮影を行い、観察対象の電気信号を出力する大腸用内視鏡１、大腸用内視鏡１が出力した電気信号を映像信号に変換する内視鏡用プロセッサ２、及び観察対象の撮影画像等を表示する表示装置３を含む。各装置はコネクタを介して電気信号、映像信号等の送受信を行う。

大腸用内視鏡１は、先端に撮像素子がある挿入部を肛門から挿入し、直腸から結腸の末端にかけて、診断または治療を行う器具である。大腸用内視鏡１は、先端にある撮像素子を用いて捉えた観察対象の電気信号をプロセッサ２に転送する。以下では簡潔のため、大腸用内視鏡１を内視鏡１と読み替える。

内視鏡用プロセッサ２は、内視鏡１の先端にある撮像素子から取り込まれた撮像画像に対して画像処理を行い、内視鏡画像を生成して表示装置３に出力する情報処理装置である。また、以下では簡潔のため、内視鏡用プロセッサ２をプロセッサ２と読み替える。

表示装置３は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、プロセッサ２から出力された内視鏡画像等を表示する。

本実施形態では、プロセッサ２は、内視鏡１から取得した撮影画像から観察中の大腸内の部位を識別する。更に、プロセッサ２は、撮影画像からポリープを抽出する。そして、プロセッサ２は、識別した大腸内の部位ごとに抽出したポリープの数を集計し、内視鏡画像と、集計した集計結果とを表示装置３に出力する。

図２は、内視鏡１の外観図である。内視鏡１は、撮像素子１１、処置具挿入チャンネル１２、操作部１３及びコネクタ１４を含む。撮像素子１１は、内視鏡１の先端部に設置され、ＣＣＤ(Charge Coupled Device)イメージセンサ、ＣＭＤ（Charge Modulation Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備え、入射光を光電変換する。光電変換により生成された電気信号は、図示しない信号処理回路によりＡ／Ｄ変換、ノイズ除去などの信号処理が施され、プロセッサ２に出力される。

処置具挿入チャンネル１２は、処置具を通すためのチャンネルである。処置具は、例えば把持具、生検針、鉗子、スネア、クランプ、ハサミ、メス、切開器具、内視鏡ステープラ、組織ループ、クリップアプライヤ、縫合糸送達器具、またはエネルギーによる組織凝固器具若しくは組織切断器具である。操作部１３にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられ、例えば送気、送水、送ガス等の周辺機器の操作指示信号の入力を受け付ける。コネクタ１４は、プロセッサ２に接続される。

図３は、プロセッサ２の構成例を示すブロック図である。プロセッサ２は、制御部２１、記憶部２２、操作入力部２３、出力部２４、光源制御部２５、時計部２６、大容量記憶部２７、光源２８及び読取部２９を含む。各構成はバスＢで接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、プロセッサ２に係る種々の情報処理、制御処理等を行う。なお、図２では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。操作入力部２３は、例えばタッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生した入力信号を制御部２１に入力する。出力部２４は、制御部２１の制御の下で、表示用の画像信号及び各種の情報を表示装置３に出力し、画像及び情報を表示させる。

光源制御部２５は、ＬＥＤ等のオン／オフ、ＬＥＤ等の駆動電流及び駆動電圧の調整によって照明光の発光量を制御する。また、光源制御部２５は、光学フィルタの変更等によって、照明光の波長帯域を制御する。光源制御部２５は、各ＬＥＤの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。時計部２６は、時刻又は経過時間等を計時しており、制御部２１からの求めに応じて、計時結果を制御部２１に与える回路である。

大容量記憶部２７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部２７は、患者ＤＢ２７１、集計ＤＢ２７２、ポリープＤＢ２７３、ポリープ抽出モデル２７４及び部位識別モデル２７５を含む。患者ＤＢ２７１は、患者に関する情報を記憶している。集計ＤＢ２７２は、撮影画像から抽出されたポリープに対する集計結果を記憶している。ポリープＤＢ２７３は、抽出されたポリープに関する情報を記憶している。ポリープ抽出モデル２７４は、大腸内のポリープを抽出する抽出器であり、機械学習により生成された学習済みモデルである。部位識別モデル２７５は、大腸内の部位を識別する部位識別器であり、機械学習により生成された学習済みモデルである。

なお、本実施形態において記憶部２２及び大容量記憶部２７は一体の記憶装置として構成されていても良い。また、大容量記憶部２７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部２７はプロセッサ２に接続された外部記憶装置であっても良い。

光源２８は、観察対象の照明に用いる照明光を発する光源を備える。光源は、例えば、波長域が異なる複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。光源２８は、プロセッサ２の光源制御部２５からの制御に従い明るさ等を調整する。なお、本実施形態では、プロセッサ２が光源一体型であるが、これに限るものではない。例えば、プロセッサ２は、光源装置と分離する光源分離型であっても良い。

読取部２９は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体２ａを読み取る。制御部２１が読取部２９を介して、制御プログラム２Ｐを可搬型記憶媒体２ａより読み取り、大容量記憶部２７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部２１が制御プログラム２Ｐをダウンロードし、大容量記憶部２７に記憶しても良い。さらにまた、半導体メモリ２ｂから、制御部２１が制御プログラム２Ｐを読み込んでも良い。

なお、本実施形態では、プロセッサ２は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図４は、患者ＤＢ２７１のレコードレイアウトの一例を示す説明図である。患者ＤＢ２７１は、患者ＩＤ列、性別列及び名前列を含む。患者ＩＤ列は、各患者を識別するために、一意に特定される患者のＩＤを記憶している。性別列は、患者の性別を記憶している。名前列は、患者の名前を記憶している。

図５は、集計ＤＢ２７２のレコードレイアウトの一例を示す説明図である。集計ＤＢ２７２は、集計ＩＤ列、患者ＩＤ列、集計日時列及び部位列を含む。集計ＩＤ列は、各集計データを識別するために、一意に特定される集計データのＩＤを記憶している。患者ＩＤ列は、患者を特定する患者ＩＤを記憶している。集計日時列は、ポリープの数が集計された日時情報を記憶している。

部位列は、上行結腸列、横行結腸列、下行結腸列、Ｓ状結腸列及び直腸列を含む。上行結腸列は、上行結腸に存在するポリープの数を記憶している。横行結腸列は、横行結腸に存在するポリープの数を記憶している。下行結腸列は、下行結腸に存在するポリープの数を記憶している。Ｓ状結腸列は、Ｓ状結腸に存在するポリープの数を記憶している。直腸列は、直腸に存在するポリープの数を記憶している。

図６は、ポリープＤＢ２７３のレコードレイアウトの一例を示す説明図である。ポリープＤＢ２７３は、集計ＩＤ列、ポリープＩＤ列、部位列、形態列、腫瘍性列、良悪性列、サイズ列及び撮影時刻列を含む。集計ＩＤ列は、ポリープの数を集計した集計データのＩＤを記憶している。ポリープＩＤ列は、各抽出されたポリープを識別するために、一意に特定されるポリープのＩＤを記憶している。部位列は、抽出されたポリープが存在する大腸内の部位を記憶している。形態列は、ポリープの形態情報を記憶している。なお、ポリープの形態については後述する。

腫瘍性列は、ポリープに対する腫瘍性か非腫瘍性かの診断情報を記憶している。良悪性列は、ポリープが腫瘍性ポリープである場合、良性の腫瘍か悪性の腫瘍かの診断情報を記憶している。サイズ列は、ポリープの大きさを記憶している。撮影時刻列は、ポリープが撮影された日時情報を記憶している。

図７は、大腸内の部位を説明する説明図である。大腸は、小腸に続いて右下腹部から始まり、お腹の中をぐるりと大きく時計回りに回って肛門管１０ａに繋がる臓器であり、大腸は、盲腸１０ｇ、上行結腸１０ｆ、横行結腸１０ｅ、下行結腸１０ｄ、Ｓ状結腸１０ｃ及び直腸１０ｂを含む。なお、上述した部位に限らず、例えば直腸が更に直腸Ｓ状部、上部直腸及び下部直腸に分けられても良い。

図８は、大腸内のポリープを説明する説明図である。図示のように、ポリープは大腸の粘膜の一部がイボ状に盛り上がり、大腸の空間部分に突出したものである。ポリープは、ポリープの形態、組織型またはサイズ等により分類することができる。例えば、ポリープの形態によって、ポリープが有茎性（Ip:pedunculated type）、亜有茎性（Isp:semipedunculated type）、広基性（Is:sessile type）等に分類される。ポリープは、組織型によって腫瘍性ポリープと非腫瘍性ポリープとに分類される。腫瘍性ポリープは、良性の腫瘍、悪性の腫瘍を含み、非腫瘍性ポリープは、過形成性ポリープ、炎症性ポリープを含む。ポリープはサイズによって、例えば「１０ｍｍ未満」、「１０～２０ｍｍ」及び「２０ｍｍ以上」に分類されても良い。

図９は、ポリープの形態を示す模式図である。有茎性は、大腸の粘膜面からキノコのように茎を持って発育している形態である。亜有茎性は、大腸の粘膜面からはっきりしない短茎を持って発育している形態である。広基性は、大腸の粘膜面から茎を持たず扁平に盛り上がる形態である。よって、ポリープの各形態の特徴に基づいて、内視鏡１により撮影した撮影画像からポリープを抽出することが可能となる。

続いて、大腸内の部位ごとのポリープ数を集計する処理を説明する。内視鏡１の先端が、肛門管１０ａに挿入され、直腸１０ｂを通じて、Ｓ状結腸１０ｃから下行結腸１０ｄ、横行結腸１０ｅ、上行結腸１０ｆを経て盲腸１０ｇに到達するまで挿入される。なお、上述した挿入経路に関しては、一般的な大腸内視鏡の挿入経路であり、医師の判断により盲腸まで入れない場合がある。プロセッサ２の制御部２１は、内視鏡１の先端が盲腸１０ｇに到達したか否かを判定する。なお、制御部２１は、操作入力部２３を介して、医師の判断による内視鏡の挿入完了の指示を受け付けた場合、内視鏡１の先端が到達したと判定しても良い。内視鏡１の先端が盲腸に到達した場合、内視鏡１の挿入が完了する。

図１０は、部位識別モデル２７５を説明する説明図である。部位識別モデル２７５は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。部位識別モデル２７５は、内視鏡１から取得した大腸内の撮影画像を入力とし、大腸内の部位を予測した結果を出力とするニューラルネットワークを構築（生成）済みの抽出器である。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network）であり、撮影画像の入力を受け付ける入力層と、大腸内の部位を予測した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

入力層は、撮影画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、撮影画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えば部位識別モデル２７５がＣＮＮである場合を例にして説明する。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、撮影画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、撮影画像が大腸内の各部位である確率を予測する。予測結果は、複数のニューロンを有する出力層に出力される。

なお、撮影画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

なお、上述した機械学習により部位を識別する処理に限るものではない。例えば、プロセッサ２の制御部２１は、内視鏡１により撮影した撮影画像から、大腸内の色合いまたは襞の変化に基づき、Ａ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）等の局所特徴量抽出方法を用いて部位を識別しても良い。または、プロセッサ２の制御部２１は、医師が医学専門知識に基づいて大腸内の部位を識別した識別結果を操作入力部２３により受け付けても良い。

制御部２１は、内視鏡１の先端にある撮像素子１１から取得した撮影画像に対して画像処理を行ない、医師による観察に適した内視鏡画像を生成する。生成された内視鏡画像は、リアルタイムで表示装置３に表示される。制御部２１は、撮影画像からポリープを抽出する。以下では、ディープラーニングにより構築されたポリープ抽出モデル２７４を用いて、大腸内のポリープを抽出する処理を説明する。

図１１は、ポリープ抽出モデル２７４を用いてポリープ抽出処理の概要を説明する説明図である。ポリープ抽出モデル２７４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。ポリープ抽出モデル２７４は、内視鏡１から取得した大腸内の撮影画像が入力された場合に、ポリープが写っていると推定する領域と、その領域にポリープが写っている確率とを示す情報を出力する学習モデルである。

本実施の形態のポリープ抽出モデル２７４は、ＲＣＮＮ（Regions with Convolutional Neural Network）を用いて推定を行う。ポリープ抽出モデル２７４は、領域候補抽出部７４ａと、分類部７４ｂとを含む。分類部７４ｂは、図示を省略するニューラルネットワークを含む。ニューラルネットワークは、コンボリューション層、プーリング層および全結合層を含む。

ポリープ抽出モデル２７４に、撮影画像が入力される。領域候補抽出部７４ａは、撮影画像から、様々なサイズの領域候補を抽出する。分類部７４ｂは、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体がポリープであるか否かを分類する。ポリープ抽出モデル２７４は、領域候補の抽出と分類とを繰り返す。

ポリープ抽出モデル２７４は、所定の閾値よりも高い確率でポリープが写っていると分類された領域候補について、領域の範囲、および、ポリープが写っている確率を出力する。図１１に示す例では、８０パーセントの確率でポリープが写っている領域と、９０パーセントの確率でポリープが写っている領域とが検出されている。

ポリープ抽出モデル２７４は、悪性ポリープである確率、良性ポリープである確率、有茎性ポリープである確率、亜有茎性ポリープである確率、広基性ポリープである確率、１０ｍｍ未満である確率、１０～２０ｍｍである確率、または２０ｍｍ以上である確率等のポリープの分類を出力しても良い。

なお、ＲＣＮＮの代わりに、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮまたはＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用しても良い。

なお、ポリープの抽出処理に関しては、上述したポリープの特徴をディープラーニング等で学習したモデルを用いた抽出処理の方式に限るものではない。例えば、プロセッサ２の制御部２１は、医師が専門医学知識に基づいてポリープを判定した判定結果を操作入力部２３により受け付けても良い。また、プロセッサ２の制御部２１は、パターンマッチング等を利用し、内視鏡１から取得した撮影画像の認識を行い、撮影画像からポリープを認識して抽出しても良い。

プロセッサ２の制御部２１は、識別した部位ごとに抽出したポリープの数を集計する。制御部２１は、撮影画像に基づく内視鏡画像と、集計した集計結果とを表示装置３に出力する。集計結果は、ポリープＩＤ、部位ごとのポリープの数及びポリープの累積数を含む。

すなわち上述した処理については、プロセッサ２の制御部２１は、内視鏡１により撮影した撮影画像から大腸内の部位を識別する。更に制御部２１は、撮影画像からポリープを抽出する。制御部２１は、識別した部位ごとに抽出したポリープの数を集計し、内視鏡１から取り込まれた撮影画像に基づく内視鏡画像、及び集計した部位ごとのポリープの数を表示装置３に出力する。この処理流れによって、内視鏡１の先端が盲腸から肛門までから引き出される過程で、制御部２１は、内視鏡１の先端が通過した各部位のポリープの集計結果と、内視鏡画像とを同時に表示装置３に表示させる。

図１２は、大腸内の部位ごとのポリープ数を集計する際の全体の処理手順を示すフローチャートである。プロセッサ２の制御部２１は、内視鏡１から取り込まれた撮影画像に基づいて、盲腸に到達したか否かを判定する（ステップＳ２０１）。具体的には、制御部２１は、学習済みの部位識別モデル２７５を用いて、撮影画像を部位識別モデル２７５に入力し、部位を識別する識別結果を出力する。制御部２１は、部位識別モデル２７５の出力層から出力した識別結果（例えば、部位の確率値等）に基づき、部位を識別する。例えば、盲腸の確率値が所定閾値（例えば、０．８５）以上である場合、制御部２１は、内視鏡１の先端が盲腸に到達したと判定しても良い。

制御部２１は、盲腸に到達していないと判定した場合（ステップＳ２０１でＮＯ）、ステップＳ２０１に戻る。制御部２１は、盲腸に到達したと判定した場合（ステップＳ２０１でＹＥＳ）、内視鏡１の先端が進行方向と逆向きに沿って引き出される際に、制御部２１は、部位ごとのポリープの数を集計する処理のサブルーチンを実行する（ステップＳ２０２）。なお、ポリープの数の集計処理のサブルーチンに関しては後述する。

制御部２１は、学習済みの部位識別モデル２７５を用いて、撮影画像を部位識別モデル２７５に入力し、部位を識別する識別結果を出力する。制御部２１は、部位識別モデル２７５の出力層から出力した識別結果に基づいて、肛門に到達したか否かを判定する（ステップＳ２０３）。制御部２１は、肛門に到達していないと判定した場合（ステップＳ２０３でＮＯ）、ステップＳ２０２に戻る。制御部２１は、肛門に到達したと判定した場合（ステップＳ２０３でＹＥＳ）、処理を終了する。

図１３は、部位ごとのポリープの数を集計する処理のサブルーチンの処理手順を示すフローチャートである。プロセッサ２の制御部２１は、内視鏡１から転送された撮影画像を取得する（ステップＳ２１１）。制御部２１は、学習済みのポリープ抽出モデル２７４を用いて、撮影画像をポリープ抽出モデル２７４に入力し、ポリープの抽出結果を取得する（ステップＳ２１２）。なお、ポリープの抽出処理に関しては、例えば上述したポリープの特徴をディープラーニング等で学習済みのポリープ抽出モデル２７４を用いて抽出しても良く、またはパターンマッチング等により画像認識を行い、撮影画像からポリープを認識して抽出しても良い。

制御部２１は、抽出したポリープに対し、一意に特定されるポリープＩＤを割り振る（ステップＳ２１３）。制御部２１は、取得した撮影画像に基づいて、次の部位（例えば、横行結腸等）に到達したか否かを判定する（ステップＳ２１４）。制御部２１は、次の部位に到達していないと判定した場合（ステップＳ２１４でＮＯ）、ステップＳ２１１に戻る。制御部２１は、次の部位に到達したと判定した場合（ステップＳ２１４でＹＥＳ）、該部位ごとに抽出したポリープ数を集計する（ステップＳ２１５）。

制御部２１は、ポリープの集計結果を大容量記憶部２７の集計ＤＢ２７２及びポリープＤＢ２７３に記憶する（ステップＳ２１６）。具体的には、今回の集計に対する集計ＩＤが存在していない場合、制御部２１は集計ＩＤを割り振る。制御部２１は、ポリープの集計結果に基づき、割り振った集計ＩＤに対応付け、患者ＩＤ、集計日時及び各部位のポリープの数を一つのレコードとして集計ＤＢ２７２に記憶する。また、制御部２１はポリープごとに、集計ＩＤ、ポリープＩＤ、部位、形態、腫瘍性（腫瘍・非腫瘍）、良悪性（良性・悪性）、サイズ及び撮影時刻を一つのレコードとしてポリープＤＢ２７３に記憶する。なお、集計結果の記憶のタイミングに関しては、上述した各部位の集計処理の直後の時点に限らず、例えば、内視鏡１の先端が肛門管１０ａに到達し、内視鏡検査が終わる時点に記憶しても良い。

制御部２１は、撮影画像に基づく内視鏡画像、及びポリープの集計結果を表示装置３に出力する（ステップＳ２１７）。表示装置３は、プロセッサ２から出力された内視鏡画像、及びポリープの集計結果を表示する（ステップＳ３０１）。制御部２１は、ポリープの数の集計処理のサブルーチンを終了してリターンする。

図１４Ａは、部位ごとに集計されたポリープの数及び累積数を表示する模式図である。プロセッサ２の制御部２１は、内視鏡１から取得した撮影画像から大腸内の部位を識別する。制御部２１は、撮影画像からポリープを抽出し、抽出したポリープに対してポリープＩＤを割り振る。制御部２１は、識別した部位ごとにポリープの数を集計し、撮影画像に基づく内視鏡画像及び集計結果を表示装置３に出力する。

図示のように、１４ａ、１４ｂ及び１４ｃが抽出されたポリープであり、それぞれのポリープの上方にポリープＩＤを示すタグが表示されている。なお、ポリープＩＤに関しては、各ポリープを容易に識別するために設けられ、内視鏡画像に表示されなくても良い。１４ｄは、内視鏡１の先端が到達した大腸内の部位情報（位置情報）を示す現在地インジケータである。制御部２１は、撮影画像からポリープが存在する部位を識別し、識別した部位に基づき、該部位と大腸の全部通過ルートとの距離関係を示す現在地情報を表示装置３に出力する。なお、上述した現在地インジケータの表示形式に限らず、例えば現在地を説明する文字の表示形式であっても良い。

１４ｅは、各部位と各部位のポリープの数との関係を示すグラフである。図１４Ｂは、各部位と各部位のポリープの数との関係を示すグラフである。図１４Ｂは、１４ｅの拡大図である。図示のように、上行結腸、横行結腸、下行結腸、Ｓ状結腸及び直腸ごとに集計されたポリープの数に基づき、縦棒グラフで各部位の集計結果が表示されている。集計結果は、部位ごとのポリープの数、ポリープの累積数及びポリープの総計数を含む。横軸は部位を示し、縦軸は各部位のポリープの数を示す。また、各部位のポリープの数、及びポリープの総計数がグラフの下方で表示される。１４ｅ＿１は、大腸内の各部位と、各部位に存在するポリープの累積数との関係を示す折れ線である。なお、集計結果の表示形式に関しては、上述した縦棒グラフに限るものではない。例えば、集計結果を折れ線グラフまたは円グラフで表示しても良い。

＜変形例１＞
ポリープが存在する部位を更に細かく分割する分割部位ごとに、ポリープの数を集計する処理を説明する。プロセッサ２の制御部２１は、ポリープが存在する部位を内視鏡１が通過した所要時間と、抽出したポリープが撮影された時刻とに基づいて、ポリープが存在する分割部位を判定し、判定した分割部位ごとに抽出したポリープの数を集計する。制御部２１は、内視鏡画像及び集計した集計結果を表示装置３に出力する。

図１５は、変形例１の集計ＤＢ２７２のレコードレイアウトの一例を示す説明図である。なお、図５と重複する内容については同一の符号を付して説明を省略する。図１５では、部位が更に細かく分割される。例えば、上行結腸列は、分割された分割部位ごとのポリープの数を記憶している。ポリープが存在する上行結腸を内視鏡１が通過した所要時間と、該ポリープが撮影された時刻とに基づいて、内視鏡１を取り出す方向に沿って、例えば上行結腸が更に三部分に分割される。分割された分割部位ごとのポリープの数（例えば、「３,６,９」）が上行結腸列に記憶されても良い。なお、横行結腸、下行結腸、Ｓ状結腸及び直腸列は、上行結腸列に情報が記憶される方式に関しては、上行結腸列と同様であるため、説明を省略する。

以下では、上行結腸を分割部位に分割する例を説明するが、他の部位の分割処理は同様であるため、説明を省略する。プロセッサ２の制御部２１は、時計部２６を用いて、内視鏡１の先端が盲腸（開始部位）に挿入された時点から計時を開始して、横行結腸（次の部位）に到達した時間に計時を終了する。制御部２１は、時計部２６により計時した開始時刻及び終了時刻に基づき、内視鏡１の先端が通過した時間を取得する。取得された通過時間は、内視鏡１の先端が上行結腸を通過した所要時間である。制御部２１は、上行結腸の通過時間に応じて、上行結腸に対する分割部位を割り当てる。例えば、内視鏡１が上行結腸を通過した所要時間が９秒である場合、プロセッサ２の制御部２１は、通過時間によって「０～３秒」、「４～６秒」及び「７～９」秒を含む３段階に、上行結腸を更に細かく分割しても良い。そして、制御部２１は、上行結腸から抽出したそれぞれのポリープの撮影時刻に基づき、それぞれのポリープが存在する位置（分割部位）を特定し、割り当てた分割部位ごとにポリープの数を集計する。

図１６は、分割部位ごとのポリープの数を集計する処理のサブルーチンの処理手順を示すフローチャートである。なお、図１３と重複する内容については同一の符号を付して説明を省略する。

プロセッサ２の制御部２１は、時計部２６を介して、計時を開始する（ステップＳ２２１）。そして、制御部２１は、ステップＳ２１１～２１３を実行し、学習済みのポリープ抽出モデル２７４を用いて、撮影画像をポリープ抽出モデル２７４に入力し、ポリープを抽出する抽出結果を出力する。ポリープの抽出結果は、抽出したポリープの撮影時刻を含む。制御部２１は、ステップＳ２１４で内視鏡１の先端が次の部位に到達したと判定した場合、計時を終了する（ステップＳ２２２）。

制御部２１は、時計部２６により計時した開始時刻及び終了時刻に基づき、内視鏡１の先端が該部位を通過した所要時間を取得する（ステップＳ２２３）。制御部２１は、取得した部位を通過した所要時間に応じて、該部位に対する分割部位を割り当てる（ステップＳ２２４）。制御部２１は、抽出したそれぞれのポリープの撮影時刻に基づき、それぞれのポリープが存在する位置（分割部位）を特定し（ステップＳ２２５）、割り当てた分割部位ごとにポリープの数を集計する（ステップＳ２２６）。

図１７は、各分割部位と各分割部位のポリープの数との関係を示すグラフである。図１７は、図１４Ｂの代わりに、分割部位ごとのポリープの数を示す。なお、図１４Ｂと重複する内容については説明を省略する。図示のように、上行結腸、横行結腸、下行結腸、Ｓ状結腸及び直腸それぞれの分割部位ごとに集計されたポリープの数に基づき、縦棒グラフで各分割部位の集計結果が表示されている。集計結果は、分割部位ごとのポリープの数、部位ごとのポリープの数、ポリープの累積数及びポリープの総計数を含む。横軸は部位を示し、縦軸は各部位に対する分割部位ごとのポリープの数を示す。なお、集計結果の表示形式に関しては、上述した縦棒グラフに限るものではない。例えば、集計結果を折れ線グラフまたは円グラフで表示しても良い。

本実施形態によると、大腸用内視鏡の撮影画像から抽出されたポリープを大腸内の部位ごとに自動的に集計するため、ポリープが存在する部位、及び各部位のポリープの数を視覚的に表示する。これにより、医師が患者の大腸内の状況をはっきり把握することが可能となる。

本実施形態によると、大腸内の各部位を更に細かく分割することにより、精度が高いポリープの位置情報を得ることが可能となる。

（実施形態２）
実施形態２は、ポリープが切除された場合、部位ごとに切除済ポリープの数と未切除ポリープの数とをそれぞれ集計する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

大腸ポリープは大腸の粘膜上にイボ状の隆起ができる病気であり、大部分が良性の疾患で、今すぐ身体に害を及ぼすことがないが、徐々に大きくなれば出血等を起こす場合がある。大腸ポリープの一部は、良性の腺腫性ポリープを経て大腸癌になることが知られている。

ポリープの段階である場合、内視鏡１を用いて切除することが可能となる。例えば、ポリープの形態による分類されたポリープが有茎性であり、且つサイズが「２０ｍｍ以上」である場合、該ポリープに対し、医師が内視鏡１の処置具挿入チャンネル１２を通じてスネア等処置具を利用し、ポリープが切除しても良い。具体的には、医師は、処置具挿入チャンネル１２からスネアを出し、操作部１３により高周波電流を流しながらスネア（輪）を引き絞り、ポリープを完全に根元から切除する。

プロセッサ２の制御部２１は、ポリープを切除した撮影画像から、切除されたポリープに関する切除情報を取得して記憶する。なお、切除情報の取得処理に関しては、上述した方式に限らず、例えば医師の手入力によりポリープの切除情報を取得しても良い。切除情報は、切除されたポリープＩＤ、切除時刻、切除前後の処置、切除回数等を含む。制御部２１は、部位ごとに切除された切除済ポリープの数と未切除ポリープの数とをそれぞれ集計し、集計した集計結果を表示装置３に出力する。

図１８は、実施形態２の集計ＤＢ２７２のレコードレイアウトの一例を示す説明図である。なお、図５と重複する内容については同一の符号を付して説明を省略する。上行結腸列は、抽出数列及び切除数列を含む。抽出数列は、上行結腸から抽出されたポリープの数を記憶している。なお、上行結腸が更に細かく分割部位に分割された場合、分割部位ごとのポリープの数が記憶されても良い。切除数列は、切除されたポリープの切除数を記憶している。なお、抽出数列と同様に、分割部位ごとのポリープの切除数が記憶されても良い。

横行結腸は、抽出数列及び切除数列を含む。下行結腸は、抽出数列及び切除数列を含む。Ｓ状結腸は、抽出数列及び切除数列を含む。直腸は、抽出数列及び切除数列を含む。なお、上述した各列の構成に関しては、上行結腸列と同様であるため、説明を省略する。

図１９は、実施形態２のポリープＤＢ２７３のレコードレイアウトの一例を示す説明図である。なお、図６と重複する内容については同一の符号を付して説明を省略する。ポリープＤＢ２７３は、切除状況列、切除前処置列、切除後処置列、切除時刻列及び切除回数列を含む。切除状況列は、抽出されたポリープを切除したか否かの状況を記憶している。例えば、切除状況列に「切除済」、「未切除」等が記憶されても良い。

切除前処置列は、ポリープを切除する前の処置情報を記憶している。例えば、「生理食塩水注入」等が記憶されても良い。ポリープの形態による分類されたポリープが広基性である場合、大腸の粘膜面から茎を持たず扁平に盛り上がる形態であるため、スネアが掛かりにくく、該ポリープを切除することが困難である。この場合に、大腸の粘膜の下に、生理食塩水を注入することで該ポリープを持ち上げ、盛り上がった部分をスネアにより、電流を流して切除することができる。

切除後処置列は、ポリープを切除した後の処置情報を記憶している。例えば、「クリップまたは止血鉗子による止血」、「クリップによる孔の縫縮」等の処置情報が記憶されても良い。切除時刻列は、ポリープを切除した時刻を記憶している。切除回数列は、ポリープを切り取った回数を記憶している。例えば、サイズが大きなポリープに対し、内視鏡１が一回に完全に切り取れない場合、数回に分けてポリープを切り取っても良い。

図２０は、分割部位ごとのポリープの抽出数及び切除数を集計する処理のサブルーチンの処理手順を示すフローチャートである。なお、図１６と重複する内容については同一の符号を付して説明を省略する。

プロセッサ２の制御部２１は、医師が内視鏡１を用いて切除したポリープに関する切除情報を取得する（ステップＳ２３１）。制御部２１は、分割部位ごとにポリープの抽出数及び切除数を集計し（ステップＳ２３２）、集計した集計結果を大容量記憶部２７の集計ＤＢ２７２及びポリープＤＢ２７３に記憶する（ステップＳ２３３）。

具体的には、今回の集計に対する集計ＩＤが存在していない場合、制御部２１は集計ＩＤを割り振る。制御部２１は、ポリープの集計結果に基づき、割り振った集計ＩＤに対応付け、患者ＩＤ、集計日時及び各部位のポリープの抽出数及び切除数を一つのレコードとして集計ＤＢ２７２に記憶する。また、制御部２１はポリープごとに、集計ＩＤ、ポリープＩＤ、部位、形態、腫瘍性（腫瘍・非腫瘍）、良悪性（良性・悪性）、サイズ、撮影時刻、切除状況、切除前処置、切除後処置、切除時刻及び切除回数を一つのレコードとしてポリープＤＢ２７３に記憶する。なお、集計結果の記憶のタイミングに関しては、上述した各部位の集計処理の直後の時点に限らず、例えば、内視鏡１の先端が肛門管１０ａに到達し、内視鏡検査が終わる時点に記憶しても良い。

図２１は、各部位と各部位のポリープの抽出数及び切除数との関係を示すグラフである。図２１は、図１４Ｂの代わりに、部位ごとのポリープの抽出数及び切除数を示す。なお、図１４Ｂと重複する内容については説明を省略する。図示のように、上行結腸、横行結腸、下行結腸、Ｓ状結腸及び直腸ごとに集計されたポリープの抽出数及び切除数に基づき、縦棒グラフで各部位の集計結果が表示されている。集計結果は、部位ごとのポリープの抽出数、切除数及びポリープの累積数を含む。横軸は部位を示し、黒縦軸は各部位に対する分割部位ごとのポリープの抽出数を示し、白縦軸は、各部位に対する分割部位ごとのポリープの切除数を示す。なお、集計結果の表示形式に関しては、上述した縦棒グラフに限るものではない。例えば、集計結果を折れ線グラフまたは円グラフで表示しても良い。

本実施形態によると、大腸用内視鏡の撮影画像から抽出されたポリープに対し、切除済ポリープの数と未切除ポリープの数とをそれぞれ集計することが可能となる。

（実施形態３）
実施形態３は、内視鏡検査中に行われた操作情報を出力する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。内視鏡検査中に行われた操作は、通常観察、拡大観察、光を用いる観察を含む。例えば、観察条件１は、拡大の有無を示し、観察条件２は、照明光の種類を示しても良い。

観察条件１の通常観察は、通常のズーム倍率による観察操作である。観察条件１の拡大観察は、ズーム倍率の拡大等の手段を利用する観察操作である。また、拡大観察は、例えば色素の散布と併用しても良い。具体的には、医師が内視鏡１の処置具挿入チャンネル１２を通じて、ポリープの表面に０．２％程度の高濃度のインジゴカルミン等の色素を散布する。医師は、例えばズーム倍率を１００倍に拡大して観察しても良い。

図２２は、実施形態３のポリープＤＢ２７３のレコードレイアウトの一例を示す説明図である。なお、図１９と重複する内容については同一の符号を付して説明を省略する。ポリープＤＢ２７３は、観察条件１列、観察条件２列、操作時刻列及び備考列を含む。観察条件１列は、通常観察または拡大観察等の観察条件を記憶している。観察条件２列は、光を用いる観察等の観察条件を記憶している。操作時刻列は、観察条件１または観察条件２いずれかに対応する最後の操作時刻を記憶している。備考列は、該ポリープに対する補充説明の内容を記憶している。

図２３は、ポリープに対する観察条件を表示する際の処理手順を示すフローチャートである。プロセッサ２の制御部２１は、内視鏡１から転送された撮影画像を取得する（ステップＳ２４１）。制御部２１は、取得した撮影画像からポリープを抽出する（ステップＳ２４２）。なお、ポリープの抽出処理に関しては、実施形態１と同様であるため、説明を省略する。

制御部２１は、内視鏡画像、ズーム倍率等を含む観察条件１、及び白色光観察か特殊光観察かを含む観察条件２を表示装置３に表示させる（ステップＳ２４３）。なお、観察条件１及び観察条件２が、別々に利用されても良く、または組み合わせて利用されても良い。制御部２１は、観察条件１及び観察条件２をポリープＩＤに対応付け、大容量記憶部２７のポリープＤＢ２７３に記憶する（ステップＳ２４４）。具体的には、制御部２１は、撮影画像中の最も大きいポリープＩＤに対応付け、観察条件１、観察条件２、操作時刻及び備考を一つのレコードとしてポリープＤＢ２７３に記憶する。

また、内視鏡検査中に操作が行われたポリープに対応する観察条件を大容量記憶部２７のポリープＤＢ２７３に記憶することができる。具体的には、制御部２１はポリープごとに、集計ＩＤ、ポリープＩＤ、部位、形態、腫瘍性（腫瘍・非腫瘍）、良悪性（良性・悪性）、サイズ、撮影時刻、切除状況、切除前処置、切除後処置、切除時刻、切除回数、観察条件１、観察条件２、操作時刻及び備考を一つのレコードとしてポリープＤＢ２７３に記憶する。なお、観察条件の記憶処理のタイミングに関しては、実施形態１と同様に、大腸内の各部位の集計処理の直後に記憶しても良く、または内視鏡１の先端が肛門管１０ａに到達し、内視鏡検査が終わる時点に記憶しても良い。

図２４は、内視鏡検査中に行われた操作情報をタブ形式で表示する模式図である。プロセッサ２の制御部２１は、内視鏡１により撮影した撮影画像から三つのポリープを抽出した。制御部２１は、抽出した各のポリープに対し、良悪性情報を取得する。なお、良悪性の判定処理に関しては、例えばポリープ抽出モデル２７４を用いて、良悪性の確率値を取得し、取得した確率値に応じて良悪性を判定しても良い。制御部２１は、観察条件１及び観察条件２を取得し、取得した良悪性、観察条件１及び観察条件２を表示装置３に出力する。

図示のように、表示装置３は、プロセッサ２から出力された良悪性、観察条件１及び観察条件２を、ポリープの上方にタグ形式で表示している。ポリープに付くタグは、良悪性、観察条件１及び観察条件２を含む。例えば、良性がＢ（Benign）で示され、悪性がＭ（Malignant）で示され、未判定がＵ（Undefined）で示されている。通常観察がＮ(Normal)で示され、拡大観察がＭ（Magnified）で示されている。白色光観察がＷ（White）で示され、特殊光観察がＳ（Special）で示されている。

なお、観察条件に関しては、上述した観察条件に限るものではない。例えば、ポリープのタグは、点滅により良悪性の判定状態を表示しても良い。表示装置３は、判定済のポリープのタグに対して点滅なしでそのまま表示し、未判定のポリープのタグに対して点滅で表示する。また、良悪性の確率値に応じて、確実性は枠で表示しても良い。例えば、悪性の確実性が高いポリープのタグは、太枠で表示しても良い。悪性の確実性が低いポリープのタグは、細枠で表示しても良い。更にまた、例えば、良悪のポリープであるが、サイズが大きいため、切除を推奨する場合、表示装置３は速い点滅で表示しても良い。

本実施形態によると、撮影画像から抽出されたポリープに対する観察条件等を示すタグを表示することにより、医師の診断の補助となり、ポリープの見落とし、または切除漏れ等を防止することが可能となる。

（実施形態４）
実施形態４は、同じ患者に対する過去の集計結果と、今回の集計結果とを同時に出力する形態に関する。なお、実施形態１～３と重複する内容については説明を省略する。プロセッサ２の制御部２１は、患者ＩＤ及び集計日時に基づいて大容量記憶部２７の集計ＤＢ２７２から、過去の集計結果及び今回の集計結果を取得することができる。制御部２１は、取得した過去の集計結果及び今回の集計結果を表示装置３に出力する。

図２５は、部位ごとにポリープの抽出数と前回抽出数とを同時に表示するグラフである。プロセッサ２の制御部２１は、部位ごとにポリープの数を集計した後に、患者ＩＤ及び集計日時に基づいて大容量記憶部２７の集計ＤＢ２７２から、前回の集計結果を取得する。制御部２１は、今回の集計結果、及び取得した前回の集計結果をグラフ形式で表示装置３に出力する。表示装置３は、プロセッサ２から出力された今回の集計結果及び前回の集計結果を表示する。

図示のように、今回に集計された部位ごとのポリープの数の分布は実線の折れ線で示し、前回に集計された部位ごとのポリープの数の分布は破線の折れ線で示す。今回に集計されたポリープの数と前回に集計されたポリープの数との差の分布は実点で示す。また、今回に集計された部位ごとのポリープの数、前回に集計された部位ごとのポリープの数、今回に集計されたポリープの総計数、及び今回に集計されたポリープの総計数と前回に集計されたポリープの総計数の差がグラフの下方に表示される。なお、上述した表示形式に限らず、例えば縦棒グラフで表示しても良い。

本実施形態によると、各患者に対する過去の集計結果と今回の集計結果を同時に出力することにより、今までのポリープの進行状況、及び今後のポリープの進行予測等の情報を提供することが可能となる。

（実施形態５）
図２６は、上述した形態のプロセッサ２の動作を示す機能ブロック図である。制御部２１が制御プログラム２Ｐを実行することにより、プロセッサ２は以下のように動作する。

画像取得部２０ａは、内視鏡１から撮影画像を取得する。ポリープ抽出部２０ｂは、画像取得部２０ａが取得した撮影画像からポリープを抽出する。部位識別部２０ｃは、ポリープ抽出部２０ｂが抽出したポリープが存在する大腸内の部位を識別する。集計部２０ｄは、部位識別部２０ｃが識別した部位ごとに、ポリープ抽出部２０ｂが抽出したポリープの数を集計する。出力部２０ｅは、画像取得部２０ａが取得した撮影画像に基づく内視鏡画像と、集計部２０ｄが集計した集計結果とを出力する。ポリープ分類部２０ｆは、ポリープ抽出部２０ｂが抽出したポリープを分類する。切除記録部２０ｇは、ポリープが切除されたか否かを記録する。操作記録部２０ｈは、内視鏡検査中に行なわれた操作と操作時刻とを関連づけて記録する。

本実施の形態５は以上の如きであり、その他は実施の形態１から４と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 大腸用内視鏡（内視鏡）
１１ 撮像素子
１２ 処置具挿入チャンネル
１３ 操作部
１４ コネクタ
２ 内視鏡用プロセッサ（プロセッサ）
２１ 制御部
２２ 記憶部
２３ 操作入力部
２４ 出力部
２５ 光源制御部
２６ 時計部
２７ 大容量記憶部
２７１ 患者ＤＢ
２７２ 集計ＤＢ
２７３ ポリープＤＢ
２７４ ポリープ抽出モデル
７４ａ 領域候補抽出部
７４ｂ 分類部
２７５ 部位識別モデル
２８ 光源
２９ 読取部
２ａ 可搬型記憶媒体
２ｂ 半導体メモリ
２Ｐ 制御プログラム
３ 表示装置
１０ａ 肛門管
１０ｂ 直腸
１０ｃ 状結腸
１０ｄ 下行結腸
１０ｅ 横行結腸
１０ｆ 上行結腸
１０ｇ 盲腸
２０ａ 画像取得部
２０ｂ ポリープ抽出部
２０ｃ 部位識別部
２０ｄ 集計部
２０ｅ 出力部
２０ｆ ポリープ分類部
２０ｇ 切除記録部
２０ｈ 操作記録部

Claims (12)

1. 大腸用内視鏡から撮影画像を取得する画像取得部と、
   前記画像取得部が取得した撮影画像に基づいて、大腸内の部位を識別する部位識別部と、
   前記撮影画像からポリープを抽出するポリープ抽出部と、
   前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、前記部位識別部が識別した大腸内の部位を複数の分割部位に分割する分割部と、
   前記分割部が分割した分割部位ごとに、前記ポリープ抽出部が抽出した前記ポリープの数を集計する第１集計部と、
   前記ポリープが切除されたか否かを記録する切除記録部と、
   前記分割部が分割した分割部位ごとに、前記切除記録部に記録された切除済ポリープと未切除ポリープとをそれぞれ集計する第２集計部と、
   前記分割部位と、前記分割部位ごとに前記第１集計部が集計したポリープの数と、前記分割部位ごとに前記第２集計部が集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成する生成部と、
   前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、前記生成部が生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力する出力部と、
   前記出力部が出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる表示制御部と
   を備える内視鏡用プロセッサ。
2. 前記部位識別部は、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字状結腸および直腸のいずれの部位であるかを識別する
   請求項１に記載の内視鏡用プロセッサ。
3. 前記ポリープを分類するポリープ分類部を備え、
   前記第１集計部は、前記部位識別部が識別した部位ごとに前記ポリープの数を集計する
   請求項１または請求項２に記載の内視鏡用プロセッサ。
4. 内視鏡検査中に行なわれた色素散布を含む操作と操作時刻とを関連付けて記録する操作記録部を備え、
   前記出力部は、前記第１集計部が集計した集計結果に関連付けて前記操作記録部に記録された操作を出力する
   請求項１から請求項３のいずれか一つに記載の内視鏡用プロセッサ。
5. 前記出力部は、
   前記撮影画像に基づく内視鏡画像と、前記第１集計部が集計した大腸内の部位と前記ポリープの数との関係を示すグラフとを１つの画面にして出力する
   請求項１から請求項４のいずれか一つに記載の内視鏡用プロセッサ。
6. 前記グラフは、大腸内の部位と、前記ポリープの数および前記ポリープの累積数との関係を示す
   請求項５に記載の内視鏡用プロセッサ。
7. 前記出力部は、前記内視鏡画像に重畳して、前記ポリープを示すタグを表示する
   請求項１から請求項６のいずれか一つに記載の内視鏡用プロセッサ。
8. 過去の大腸内視鏡検査において前記第１集計部が集計した過去集計結果を取得する過去取得部を備え、
   前記出力部は、前記内視鏡画像と、前記第１集計部が集計した集計結果と、前記過去取得部が取得した過去集計結果とを出力する
   請求項１から請求項７のいずれか一つに記載の内視鏡用プロセッサ。
9. 大腸用内視鏡から撮影画像を取得する画像取得部と、
   前記画像取得部が取得した撮影画像に基づいて、大腸内の部位を識別する部位識別部と、
   前記撮影画像からポリープを抽出するポリープ抽出部と、
   前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、前記部位識別部が識別した大腸内の部位を複数の分割部位に分割する分割部と、
   前記分割部が分割した分割部位ごとに、前記ポリープ抽出部が抽出した前記ポリープの数を集計する第１集計部と、
   前記ポリープが切除されたか否かを記録する切除記録部と、
   前記分割部が分割した分割部位ごとに、前記切除記録部に記録された切除済ポリープと未切除ポリープとをそれぞれ集計する第２集計部と、
   前記分割部位と、前記分割部位ごとに前記第１集計部が集計したポリープの数と、前記分割部位ごとに前記第２集計部が集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成する生成部と、
   前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、前記生成部が生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力する出力部と、
   前記出力部が出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる表示制御部と
   を備える情報処理装置。
10. 内視鏡用プロセッサと、前記内視鏡用プロセッサに接続される大腸用内視鏡とを備える内視鏡システムにおいて、
    前記内視鏡用プロセッサは、
    大腸用内視鏡から撮影画像を取得する画像取得部と、
    前記画像取得部が取得した撮影画像に基づいて、大腸内の部位を識別する部位識別部と、
    前記撮影画像からポリープを抽出するポリープ抽出部と、
    前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、前記部位識別部が識別した大腸内の部位を複数の分割部位に分割する分割部と、
    前記分割部が分割した分割部位ごとに、前記ポリープ抽出部が抽出した前記ポリープの数を集計する第１集計部と、
    前記ポリープが切除されたか否かを記録する切除記録部と、
    前記分割部が分割した分割部位ごとに、前記切除記録部に記録された切除済ポリープと未切除ポリープとをそれぞれ集計する第２集計部と、
    前記分割部位と、前記分割部位ごとに前記第１集計部が集計したポリープの数と、前記分割部位ごとに前記第２集計部が集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成する生成部と、
    前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、前記生成部が生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力する出力部と、
    前記出力部が出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる表示制御部と
    を有する内視鏡システム。
11. 大腸用内視鏡から撮影画像を取得し、
    取得した撮影画像に基づいて、大腸内の部位を識別し、
    前記撮影画像からポリープを抽出し、
    前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、識別した大腸内の部位を複数の分割部位に分割し、
    分割した分割部位ごとに、抽出した前記ポリープの数を集計し、
    前記ポリープが切除されたか否かを記録し、
    前記分割部位ごとに、記録した切除済ポリープと未切除ポリープとをそれぞれ集計し、 前記分割部位と、前記分割部位ごとに集計したポリープの数と、前記分割部位ごとに集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成し、
    前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力し、
    出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる
    処理をコンピュータに実行させるプログラム。
12. 大腸用内視鏡から撮影画像を取得し、
    取得した撮影画像に基づいて、大腸内の部位を識別し、
    前記撮影画像からポリープを抽出し、
    前記ポリープが存在する部位を大腸用内視鏡が通過した所要時間と、前記ポリープが撮影された時刻とに基づいて、識別した大腸内の部位を複数の分割部位に分割し、
    分割した分割部位ごとに、抽出した前記ポリープの数を集計し、
    前記ポリープが切除されたか否かを記録し、
    前記分割部位ごとに、記録した切除済ポリープと未切除ポリープとをそれぞれ集計し、
    前記分割部位と、前記分割部位ごとに集計したポリープの数と、前記分割部位ごとに集計した切除済ポリープの数と、前記分割部位に存在するポリープの累積数との関係を示すグラフを生成し、
    前記大腸用内視鏡の先端が大腸の奥から引き出される進行方向に沿って、前記撮影画像に基づく内視鏡画像と、生成したグラフ、及び前記先端が到達した大腸内の部位を示す現在地インジケータとを出力し、
    出力した内視鏡画像、グラフ及び現在地インジケータを表示装置に表示させる
    処理をコンピュータに実行させる情報処理方法。

Images