JPWO2020183936A1 - 検査装置、検査方法及び記憶媒体 - Google Patents

Abstract

取得部４１Ｂは、検査対象となる対象物を表示した対象画像を取得する。検出部４２Ｂは、正常状態の対象物を表示した画像群に基づき、取得部４１Ｂが取得する対象画像のうち、正常状態でない対象物を表示した対象画像を検出する。

Description

本発明は、検査に関する検査装置、検査方法及び記憶媒体の技術分野に関する。

従来から、臓器の管腔内における所定の領域を自動検出する内視鏡システムが知られている。例えば、特許文献１には、内視鏡画像に基づき、管腔内において病変部又は正常部の少なくともいずれかを含む関心領域を検出した場合に、検出した関心領域の位置情報を表示部に表示する内視鏡システムが開示されている。上述の内視鏡システムは、位置情報として、内視鏡の挿入長を計測し、計測した挿入長に基づく位置情報を生成する。

国際公開ＷＯ２０１８／１７９９９１

内視鏡システムのように、連続的に得られる複数の画像から検査対象となる病変部等を表示した画像を目視により判定する場合には、重要な検査箇所の見逃し等が生じてしまう可能性がある。一方、特許文献１は、管腔内において病変部又は正常部の少なくともいずれかを含む関心領域をテンプレートマッチング等により検出する点について開示しているものの、対象物の正常でない状態を表した画像を的確に検出する技術については開示していない。

本発明の目的は、上述した課題を鑑み、対象物の正常でない状態を表した画像を好適に検出することが可能な検査装置、検査方法及び記憶媒体を提供することを主な課題とする。

検査装置の一の態様は、検査装置であって、検査対象となる対象物を表示した対象画像を取得する取得部と、正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部と、を有する。

検査方法の一の態様は、検査装置が実行する検査方法であって、検査対象となる対象物を表示した対象画像を取得し、正常状態の前記対象物を表示した画像群に基づき、前記対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する。

記憶媒体の一の態様は、コンピュータが実行するプログラムが格納された記憶媒体であって、検査対象となる対象物を表示した対象画像を取得する取得部と、正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部として前記コンピュータを機能させるプログラムが格納された記憶媒体である。

本発明によれば、取得した対象画像から、正常状態でない対象物を表示した対象画像を好適に検出することができる。

第１実施形態に係る内視鏡検査システムの概略構成を示す。 第１実施形態に係る検査装置のハードウェア構成を示す。 第１実施形態に係る検査装置の機能ブロック図である。 アノマリー画像と判定されなかった撮影画像を示す。 アノマリー画像と判定された撮影画像を示す。 第１実施形態に係る検査装置が実行する処理手順を示すフローチャートの一例である。 第２実施形態に係る検査装置のハードウェア構成を示す。 第２実施形態に係る検査装置の機能ブロック図である。 病理組織画像の表示例である。 病理組織画像を自己符号化器に入力した場合の復元誤差を示す。 第２実施形態に係る検査装置が実行する処理手順を示すフローチャートの一例である。 第３実施形態における検査装置の機能ブロック図である。

以下、図面を参照しながら、検査装置、検査方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
まず、内視鏡検査システムに関する実施形態について説明する。

（１−１）構成
図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、主に、検査装置１と、表示装置２と、検査装置１に接続された内視鏡スコープ３と、を備える。

検査装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、当該撮影画像Ｉｃ及び関連する表示を表示装置２に表示させる。本実施形態においては、検査装置１は、撮影対象である大腸などの被検者の臓器の管腔を撮影した撮影画像Ｉｃのうち、正常状態ではない（即ちアノマリーとなる）部位を撮影した撮影画像Ｉｃを検出し、検出した撮影画像Ｉｃをランドマークとみなす処理を行う。この処理の詳細は後述する。なお、以後では、代表例として、大腸に関する内視鏡検査における処理の説明を行う。

表示装置２は、検査装置１から供給される表示情報に基づき所定の表示を行うディスプレイ等である。

内視鏡スコープ３は、被検者の大腸に挿入されることで大腸の管腔を撮影する機器である。内視鏡スコープ３は、主に、検査装置１と接続するための接続部３１と、検査者が所定の入力を行うための操作部３２と、管腔内に挿入され、柔軟性を有するシャフト３３と、超小型撮像素子などの撮影部を内蔵した先端部３４とを有する。

図２は、検査装置１のハードウェア構成を示す。検査装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５とを含む。これらの各要素は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ１２には、検査装置１が本実施形態における各処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとしても使用される。また、メモリ１２は、機能的には、パラメータ情報記憶部２０と、ランドマーク位置情報記憶部２１と、注目箇所情報記憶部２２とを有している。これらの記憶部の詳細については後述する。

インターフェース１３は、検査装置１と表示装置２とを接続するためのインターフェース、及び、検査装置１と内視鏡スコープ３とを接続するためのインターフェースを含む。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉｃを示す電気信号をプロセッサ１１に供給する。

入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３４に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。

次に、パラメータ情報記憶部２０、ランドマーク位置情報記憶部２１、及び注目箇所情報記憶部２２について説明する。

パラメータ情報記憶部２０は、自己符号化器（オートエンコーダ）を構成するためのパラメータを示すパラメータ情報を記憶する。上述の自己符号化器は、入力データとなる画像を再現するデータを出力するように学習されたニューラルネットワークであり、アノマリーとなる部位を撮影した撮影画像Ｉｃ（「アノマリー画像Ｉｃａ」とも呼ぶ。）を検出するために用いられる。そして、パラメータ情報記憶部２０に記憶されるパラメータ情報は、自己符号化器のネットワークの重み等を示すパラメータの情報であり、正常状態の検査対象物（ここでは大腸の管腔）を撮影した複数の画像（画像群）を用いて自己符号化器を学習することにより得られる。なお、アノマリー画像Ｉｃａは、例えば、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、又は癌などの病変部を表示した撮影画像Ｉｃである。

ランドマーク位置情報記憶部２１は、撮影対象である大腸内部におけるランドマークの位置を示す情報（「ランドマーク位置情報」とも呼ぶ。）を記憶する。本実施形態では、プロセッサ１１は、アノマリー画像Ｉｃａとみなした撮影画像Ｉｃの撮影範囲となった部位をランドマークとみなす。そして、プロセッサ１１は、当該ランドマークに関する情報を、ランドマーク位置情報としてランドマーク位置情報記憶部２１に記憶する。後述するように、ランドマークは、検査対象である大腸の管腔全体における位置を示す目印として機能すると共に、要検査対象の候補を示す目印としても機能する。

ランドマーク位置情報は、例えば、検出器により検出されたアノマリー画像Ｉｃａと、アノマリー画像Ｉｃａの特徴を示す情報（「特徴情報Ｉｆａ」とも呼ぶ。）と、ランドマークの識別番号（例えば通し番号）とを含む。特徴情報Ｉｆａは、例えば、自己符号化器により算出されるアノマリー画像Ｉｃａの圧縮された特徴（潜在変数）であってもよく、復元誤差等であってもよい。

注目箇所情報記憶部２２は、ランドマーク以外において、検査上注目すべき箇所である注目箇所を示した情報（「注目箇所情報」とも呼ぶ。）を記憶する。注目箇所は、後述するように、検査者により指定された部位、又は、病変部等を検出するための画像解析プログラムにより検出された部位に相当する。注目箇所情報は、例えば、注目箇所を表わす撮影画像Ｉｃ（「注目箇所画像Ｉｃｒ」とも呼ぶ。）と、注目箇所の識別番号（例えば通し番号）と、注目箇所の前後に存在するランドマークの識別番号と、を含む。なお、注目箇所情報は、対象の注目箇所画像Ｉｃｒを上述の自己符号化器に入力すること得られる注目箇所画像Ｉｃｒの特徴情報をさらに含んでもよい。

（１−２）機能ブロック
図３は、検査装置１の機能ブロック図である。図３に示すように、検査装置１のプロセッサ１１は、機能的には、取得部４１と、検出部４２と、位置情報生成部４３と、位置判定部４４と、出力部４５とを有する。

取得部４１は、インターフェース１３を介して内視鏡スコープ３が時系列に撮影した撮影画像Ｉｃを所定間隔により取得する。そして、取得部４１は、内視鏡スコープ３の管腔内への挿入工程では、取得した撮影画像Ｉｃを検出部４２に供給し、内視鏡スコープ３の排出工程では、取得した撮影画像Ｉｃを位置判定部４４に供給する。なお、取得部４１は、内視鏡スコープ３の挿入工程であるか排出工程であるかを、例えば、内視鏡スコープ３の操作部３２又は検査装置１の入力部１４による入力（例えば挿入開始時及び挿入完了時を示す入力）に基づき判定してもよい。他の例では、取得部４１は、撮影画像Ｉｃによる画像認識処理又は内視鏡スコープ３に付属するセンサの出力等に基づき上述の判定を行ってもよい。

また、取得部４１は、注目箇所を指定するための操作部３２による入力情報（「入力情報Ｉｉ」とも呼ぶ。）を内視鏡スコープ３から受信した場合、当該入力情報Ｉｉと同一タイミングにより内視鏡スコープ３から受信した撮影画像Ｉｃ及び入力情報Ｉｉを位置情報生成部４３に供給する。また、取得部４１は、内視鏡スコープ３の挿入工程又は排出工程に関わらず、取得した撮影画像Ｉｃを出力部４５に供給する。これにより、取得部４１が取得した撮影画像Ｉｃが即時に表示装置２に表示される。

検出部４２は、撮影画像Ｉｃのうち、管腔内においてアノマリーとなる部位を示したアノマリー画像Ｉｃａの検出を行う。この場合、検出部４２は、パラメータ情報記憶部２０を参照することで自己符号化器を構成する。そして、検出部４２は、取得部４１から供給される撮影画像Ｉｃを自己符号化器に入力することで得られる出力画像と、入力された撮影画像Ｉｃとの誤差（所謂、復元誤差）を算出する。この場合、４２は、復元誤差として、例えば、出力画像と撮影画像Ｉｃとの画素毎の画素値の差の平均値、その他の代表値等を算出する。そして、検出部４２は、算出した復元誤差が所定の閾値以上となる場合に、入力された撮影画像Ｉｃがアノマリー画像Ｉｃａであると判定する。上述の閾値は、例えば実験等に基づき予め定められる。そして、検出部４２は、アノマリー画像Ｉｃａを検出した場合、検出したアノマリー画像Ｉｃａ及び自己符号化器により生成されたアノマリー画像Ｉｃａの特徴（例えば潜在変数又は復元誤差等）を示す特徴情報Ｉｆａを位置情報生成部４３へ供給する。

位置情報生成部４３は、検出部４２からアノマリー画像Ｉｃａ及び特徴情報Ｉｆａを受信した場合、当該アノマリー画像Ｉｃａ及び特徴情報Ｉｆａを含むランドマーク位置情報を生成し、生成したランドマーク位置情報をランドマーク位置情報記憶部２１に記憶する。

また、位置情報生成部４３は、入力情報Ｉｉ及び撮影画像Ｉｃが取得部４１から供給された場合、注目箇所の指定があったと判定する。よって、この場合、位置情報生成部４３は、入力情報Ｉｉと共に供給された撮影画像Ｉｃを注目箇所画像Ｉｃｒとみなし、当該注目箇所画像Ｉｃｒを含む注目箇所情報を、注目箇所情報記憶部２２に記憶する。また、位置情報生成部４３は、病変部等の要検査対象を検出するための画像解析プログラムを取得部４１が取得する撮影画像Ｉｃに対して実行している場合、当該画像解析プログラムにより検出した要検査対象を示した撮影画像Ｉｃを、注目箇所画像Ｉｃｒとみなす。そして、位置情報生成部４３は、当該注目箇所画像Ｉｃｒを含む注目箇所情報を、注目箇所情報記憶部２２に記憶する。

好適には、位置情報生成部４３は、注目箇所情報を、注目箇所画像Ｉｃｒが検出される直前に生成されたランドマーク位置情報、又は、注目箇所画像Ｉｃｒが検出された直後に生成されたランドマークのランドマーク位置情報の少なくとも一方と関連付けるとよい。例えば、位置情報生成部４３は、注目箇所画像Ｉｃｒが検出される直前に検出されたランドマークの識別番号、又は、注目箇所画像Ｉｃｒが検出された直後に検出されたランドマークの識別番号の少なくとも一方を、注目箇所情報に含める。これにより、位置情報生成部４３は、ランドマーク位置情報により特定されるランドマークの位置と対象の注目箇所との相対位置関係を好適に把握可能な注目箇所情報を生成することができる。また、位置情報生成部４３は、注目箇所情報を生成する場合、上述の自己符号化器に対象の注目箇所画像Ｉｃｒを入力することで得られた特徴情報を、注目箇所情報に含めてもよい。

位置判定部４４は、取得部４１から撮影画像Ｉｃを受信した場合、ランドマーク位置情報記憶部２１に記憶されたランドマークと同一部位を撮影した撮影画像Ｉｃを受信したか否か判定する。例えば、位置判定部４４は、パラメータ情報記憶部２０を参照して構成した自己符号化器に当該撮影画像Ｉｃを入力することで得られる特徴情報と、ランドマーク位置情報記憶部２１に記憶されたランドマーク位置情報に含まれる特徴情報Ｉｆａとの照合を行う。そして、位置判定部４４は、撮影画像Ｉｃに対して得られる特徴情報との誤差が所定度合以下となる特徴情報Ｉｆａを示したランドマーク位置情報が存在する場合、当該ランドマーク位置情報が示す位置を内視鏡スコープ３が現在撮影中であると判定する。よって、この場合、位置判定部４４は、対象のランドマーク位置情報に含まれるアノマリー画像Ｉｃａを出力部４５に供給する。

また、位置判定部４４は、取得部４１から撮影画像Ｉｃを受信した場合、注目箇所情報記憶部２２に記憶された注目箇所と同一部位を撮影した撮影画像Ｉｃを受信したか否か判定する。例えば、位置判定部４４は、取得部４１から供給される撮影画像Ｉｃの特徴情報と、注目箇所情報記憶部２２に記憶された注目箇所情報に含まれる注目箇所画像Ｉｃｒの特徴情報との照合を行う。そして、位置判定部４４は、取得部４１から供給される撮影画像Ｉｃの特徴情報との誤差が所定度合以下の特徴情報に対応する注目箇所画像Ｉｃｒが存在する場合、当該注目箇所画像Ｉｃｒが示す位置を先端部３４が撮影していると判定する。よって、この場合、位置判定部４４は、対象の注目箇所画像Ｉｃｒを出力部４５に供給する。

出力部４５は、取得部４１から供給される撮影画像Ｉｃを示す映像信号を表示装置２に供給することで、取得部４１が取得する撮影画像Ｉｃを即時に表示装置２に表示させる。また、出力部４５は、位置判定部４４からアノマリー画像Ｉｃａを受信した場合には、取得部４１が取得する撮影画像Ｉｃと共にアノマリー画像Ｉｃａを表示装置２に表示させ、現在の撮影箇所について確認を促す情報を出力する。確認を促す情報の出力は、文字又は図形等による表示であってもよく、音声出力であってもよい。これにより、出力部４５は、アノマリーであると判定された箇所の存在を好適に検査者に認識させ、検査が必要な箇所の見逃しを好適に抑制することができる。また、出力部４５は、好適には、ランドマーク位置情報記憶部２１に記憶されたランドマークの全体数と、対象のランドマークが挿入工程において検出された順番とをさらに表示装置２に表示させてもよい。このようにすることで、検査対象となる大腸の管腔全体における現在のおおよその撮影位置を好適に検査者に認識させることができる。

同様に、出力部４５は、位置判定部４４から注目箇所画像Ｉｃｒを受信した場合には、取得部４１が取得する撮影画像Ｉｃと共に注目箇所画像Ｉｃｒを表示装置２に表示させ、現在の撮影箇所について確認を促す情報を出力する。この場合、好適には、出力部４５は、対応する注目箇所情報を注目箇所情報記憶部２２から参照することで、対象の注目箇所の前後のランドマークの識別番号をさらに表示装置２に表示させるとよい。これにより、出力部４５は、ランドマークに対する対象の注目箇所の相対位置を、好適に検査者に認識させることができる。

なお、ランドマーク又は注目箇所と同一部位を撮影した撮影画像Ｉｃを受信した場合であって、対象のランドマーク又は注目箇所と同一部位を撮影した撮影画像Ｉｃが内視鏡スコープ３から供給される時間長が閾値以下である場合、出力部４５は、所定の警告を出力してもよい。上述の閾値は、対象のランドマーク又は注目箇所に対して検査者による確認が行われていないと判断される時間長となるように設定される。これにより、検査が必要な箇所の見逃しをより確実に抑制することができる。

（１−３）アノマリー画像の具体例
ここで、検出部４２によるアノマリー画像Ｉｃａに関する判定の具体例について、図４及び図５を参照して説明する。

図４は、検出部４２によりアノマリー画像Ｉｃａと判定されなかった撮影画像「Ｉｃ１」を示す。また、図５は、検出部４２によりアノマリー画像Ｉｃａと判定された撮影画像「Ｉｃ２」を示す。

図４に示す撮影画像Ｉｃ１には、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、又は癌などの病変部等が存在していない。この撮影画像Ｉｃ１がパラメータ情報記憶部２０に記憶されたパラメータ情報に基づく自己符号化器に入力された場合の復元誤差は、閾値未満となる。よって、この場合、検出部４２は、撮影画像Ｉｃ１がアノマリー画像Ｉｃａではないと判定する。

一方、図５に示す撮影画像Ｉｃ２の破線枠５０内には、突起箇所が存在している。そして、この撮影画像Ｉｃ２が上述の自己符号化器に入力された場合の復元誤差は、閾値以上となる。よって、この場合、検出部４２は、撮影画像Ｉｃ２がアノマリー画像Ｉｃａであると判定する。

このように、検出部４２は、正常状態の管腔を撮影した画像のみに基づき学習された自己符号化器を用いることで、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、又は癌などの病変部等をランドマークとして好適に検出することができる。また、正常状態の管腔を撮影した画像のみに基づき学習された自己符号化器を用いることで、学習データを生成するための病理医による詳細なアノテーションが不要となるため、大量の学習データが少ない手間で用意できるという利点も生じる。

（１−４）処理フロー
図６は、内視鏡検査において第１実施形態に係る検査装置１が実行する処理手順を示すフローチャートの一例である。

まず、検査装置１の取得部４１は、内視鏡スコープ３の先端部３４が検査対象である大腸の管腔に挿入されたか否か判定する（ステップＳ１０１）。そして、先端部３４が大腸内に挿入された場合（ステップＳ１０１；Ｙｅｓ）、取得部４１は、内視鏡スコープ３から所定間隔により撮影画像Ｉｃを取得する（ステップＳ１０２）。また、取得部４１は、取得した撮影画像Ｉｃを出力部４５に供給することで、時系列により取得される撮影画像Ｉｃを表示装置２に即時に表示させる。

次に、検査装置１の検出部４２は、パラメータ情報記憶部２０を参照して構成した自己符号化器に撮影画像Ｉｃを入力する（ステップＳ１０３）。これにより、検出部４２は、撮影画像Ｉｃの復元誤差等を算出する。そして、検出部４２は、算出した復元誤差に基づき、撮影画像Ｉｃがアノマリー画像Ｉｃａに該当するか否か判定する（ステップＳ１０４）。

そして、撮影画像Ｉｃがアノマリー画像Ｉｃａに該当する場合（ステップＳ１０４；Ｙｅｓ）、検査装置１の位置情報生成部４３は、ランドマーク位置情報を生成し、当該ランドマーク位置情報をランドマーク位置情報記憶部２１に記憶する（ステップＳ１０５）。例えば、位置情報生成部４３は、上述の復元誤差が所定の閾値以上である場合に、ランドマークの識別番号、対象のアノマリー画像Ｉｃａ及び特徴情報Ｉｆａを含むランドマーク位置情報の生成及び記憶を行う。一方、撮影画像Ｉｃがアノマリー画像Ｉｃａに該当しない場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０６へ処理を進める。

さらに、位置情報生成部４３は、注目箇所が指定又は検出されたか否か判定する（ステップＳ１０６）。例えば、位置情報生成部４３は、注目箇所の指定に関する入力情報Ｉｉ及び撮影画像Ｉｃを取得部４１が内視鏡スコープ３から取得した場合、注目箇所の指定があったと判定する。他の例では、位置情報生成部４３は、要検査対象を表した撮影画像Ｉｃの検出を行う画像解析プログラムが要検査対象を表した撮影画像Ｉｃを検出した場合、注目箇所が検出されたと判定する。そして、位置情報生成部４３は、注目箇所が指定又は検出された場合（ステップＳ１０６；Ｙｅｓ）、対象の撮影画像Ｉｃを注目箇所画像Ｉｃｒとして含む注目箇所情報を生成し、当該注目箇所情報を注目箇所情報記憶部２２に記憶する（ステップＳ１０７）。

次に、取得部４１は、検査対象である大腸から内視鏡スコープ３を排出する排出工程であるか否か判定する（ステップＳ１０８）。そして、取得部４１は、排出工程ではないと判定した場合（ステップＳ１０８；Ｎｏ）、即ち、まだ挿入工程であると判定した場合、ステップＳ１０２へ処理を戻す。

一方、取得部４１は、排出工程であると判定した場合（ステップＳ１０８；Ｙｅｓ）、内視鏡スコープ３から撮影画像Ｉｃを取得する（ステップＳ１０９）。また、取得部４１は、取得した撮影画像Ｉｃを出力部４５に供給することで、取得した撮影画像Ｉｃを表示装置２に即時に表示させる。

そして、検査装置１の位置判定部４４は、ステップＳ１０９で取得した撮影画像Ｉｃの撮影範囲となった位置がランドマーク又は注目箇所に該当するか否か判定する（ステップＳ１１０）。この場合、位置判定部４４は、ステップＳ１０９で取得した撮影画像Ｉｃの特徴情報との誤差が所定の閾値未満となる特徴情報Ｉｆａを含むランドマーク位置情報が存在する場合、ステップＳ１０９で取得した撮影画像Ｉｃの撮影範囲となった位置がランドマークに該当すると判定する。同様に、位置判定部４４は、ステップＳ１０９で取得した撮影画像Ｉｃの特徴情報との誤差が所定の閾値未満となる特徴情報が得られる注目箇所画像Ｉｃｒを含む注目箇所情報が存在する場合、撮影画像Ｉｃの撮影範囲となった位置が注目箇所に該当すると判定する。

そして、ステップＳ１０９で取得した撮影画像Ｉｃの撮影範囲となった位置がランドマーク又は注目箇所に該当する場合（ステップＳ１１０；Ｙｅｓ）、出力部４５は、表示装置２に表示している撮影画像Ｉｃについて確認を促す出力を行う（ステップＳ１１１）。これにより、検査装置１は、検査箇所の見逃しを好適に抑制する。また、好適には、出力部４５は、注目箇所に該当する場合には、当該注目箇所の直前又は直後のランドマークに関する情報をさらに表示する。これにより、ランドマークに対する注目箇所の相対位置を検査者に好適に把握させる。

一方、ステップＳ１０９で取得した撮影画像Ｉｃの撮影範囲となった位置がランドマーク又は注目箇所に該当しない場合（ステップＳ１１０；Ｎｏ）、又は、ステップＳ１１１の終了後、取得部４１は、内視鏡スコープ３の排出が完了したか否か判定する（ステップＳ１１２）。そして、取得部４１は、内視鏡スコープ３の排出が完了したと判定した場合（ステップＳ１１２；Ｙｅｓ）、フローチャートの処理を終了する。一方、取得部４１は、内視鏡スコープ３の排出が完了していないと判定した場合（ステップＳ１１２；Ｎｏ）、ステップＳ１０９へ処理を戻す。

（１−５）変形例
次に、上述した実施形態の変形例について説明する。以後の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例１−１）
検査装置１の検出部４２等は、自己符号化器を用いることなくアノマリー画像Ｉｃａの検出処理等を実行してもよい。

この場合、検出部４２は、他の一般的なアノマリーディテクション（即ち、正常状態の対象物を表示した画像群に基づきアノマリーな対象物を表示した画像を検出するアルゴリズム）に基づきアノマリー画像Ｉｃａの検出を行ってもよい。例えば、検出部４２は、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、クラスタリング、ｋ最近傍法などを用いた教師なし学習アルゴリズム、サポートベクターマシーン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）をアノマリー検出に応用した１−ｃｌａｓｓ ＳＶＭ等に基づくアルゴリズムを用いてアノマリー画像Ｉｃａの検出を行ってもよい。

（変形例１−２）
パラメータ情報記憶部２０、ランドマーク位置情報記憶部２１、及び注目箇所情報記憶部２２は、検査装置１とは別の記憶装置に記憶されてもよい。

この場合、検査装置１は、インターフェース１３を介してパラメータ情報記憶部２０、ランドマーク位置情報記憶部２１、及び注目箇所情報記憶部２２の参照及び更新を行う。例えば、上述の記憶装置がネットワークを介して通信を行うサーバ装置等である場合、インターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。また、上述の記憶装置が検査装置１とケーブル等を介して接続する場合、インターフェース１３は、例えば、ＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。また、パラメータ情報記憶部２０、ランドマーク位置情報記憶部２１、及び注目箇所情報記憶部２２は、検査装置１が参照及び更新が可能な記憶媒体に記憶されてもよい。

（変形例１−３）
ランドマーク位置情報記憶部２１は、ランドマーク位置情報として、アノマリー画像Ｉｃａと特徴情報Ｉｆａの両方を有する代わりに、いずれか一方のみを有してもよい。

例えば、ランドマーク位置情報がアノマリー画像Ｉｃａを含まない場合、出力部４５は、撮影画像Ｉｃがランドマークを表すと位置判定部４４が判定した場合に、内視鏡スコープ３の挿入工程で取得されたアノマリー画像Ｉｃａを表示することなく、確認を促す出力を行う。また、ランドマーク位置情報が特徴情報Ｉｆａを含まない場合には、位置判定部４４は、取得部４１から供給される撮影画像Ｉｃとランドマーク位置情報に含まれるアノマリー画像Ｉｃａとの類比判定を行う。この場合、位置判定部４４は、自己符号化器によりそれぞれの画像の特徴情報を生成することで上述の類比判定を行ってもよく、他の一般的な画像の類比判定手法により上述の類比判定を行ってもよい。

同様に、注目箇所情報記憶部２２は、注目箇所情報として、注目箇所画像Ｉｃｒを含む代わりに、注目箇所画像Ｉｃｒの特徴情報を含んでもよい。

＜第２実施形態＞
次に、病理組織画像の部分画像からアノマリーな細胞を示す部分画像を検出する第２実施形態について説明する。

（２−１）構成
図７は、第２実施形態における検査装置１Ａのハードウェア構成を示す。図７に示すように、検査装置１Ａは、プロセッサ１１Ａと、メモリ１２Ａと、インターフェース１３Ａとを有する。

プロセッサ１１Ａは、メモリ１２Ａに記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１Ａは、ＣＰＵ、ＧＰＵなどのプロセッサである。

メモリ１２Ａは、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ１２Ａには、検査装置１が第２実施形態における各処理を実行するためのプログラムが記憶される。また、メモリ１２Ａは、作業メモリとしても使用される。また、メモリ１２Ａは、自己符号化器のパラメータを記憶するパラメータ情報記憶部２０Ａを有している。

インターフェース１３Ａは、病理組織画像Ｉｘの入力処理及び病理組織画像Ｉｘからアノマリーな状態を示す部分画像（「アノマリー部分画像Ｉｘｐａ」とも呼ぶ。）の出力処理を行うためのインターフェースである。インターフェース１３Ａは、プロセッサ１１Ａの制御に基づき外部装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、インターフェース１３Ａは、周辺機器である記憶装置とデータの授受を行うためのＵＳＢ、ＳＡＴＡなどに準拠したインターフェースであってもよい。なお、病理組織画像Ｉｘの供給元及びアノマリー部分画像Ｉｘｐａの供給先は、同一装置であってもよく、異なる装置であってもよい。

なお、検査装置１Ａのハードウェア構成は、図７に示す構成に限定されない。例えば、検査装置１Ａは、表示部、音出力部、又は／及び入力部などをさらに備えてもよい。

（２−２）機能ブロック
図８は、第２実施形態における検査装置１Ａの機能ブロック図である。図８に示すように、検査装置１Ａのプロセッサ１１は、機能的には、取得部４１Ａと、検出部４２Ａとを備える。

取得部４１Ａは、インターフェース１３Ａを介して病理組織画像Ｉｘを外部装置から取得する。ここで、病理組織画像Ｉｘは、非常に大きい画素数（例えば縦横各７０００画素）を有している。そして、取得部４１Ａは、取得した病理組織画像Ｉｘから、所定の大きさ（例えば縦横各２５６画素）の部分画像（単に「部分画像Ｉｘｐ」とも呼ぶ。）を生成する。例えば、取得部４１Ａは、病理組織画像Ｉｘに含まれる細胞核毎に部分画像Ｉｘｐを生成する。そして、取得部４１Ａは、生成した各部分画像Ｉｘｐを検出部４２Ａに供給する。

検出部４２Ａは、パラメータ情報記憶部２０Ａを参照して構成した自己符号化器に、取得部４１Ａから供給される部分画像Ｉｘｐを入力することで得られる復元誤差が所定の閾値以上となる部分画像Ｉｘｐを、アノマリー部分画像Ｉｘｐａとして検出する。そして、検出部４２Ａは、検出したアノマリー部分画像Ｉｘｐａを外部装置等へ出力する。その後、アノマリー部分画像Ｉｘｐａは、例えば、より高精度な異常検出プログラムに入力されることでより詳細な異常検査が行われてもよく、検査者の目視確認による異常検査が行われてもよい。

ここで、パラメータ情報記憶部２０Ａに記憶されるパラメータ情報は、学習により得られた自己符号化器のパラメータを示す情報である。この場合、自己符号化器は、正常な細胞核の状態を示す学習用のサンプル画像に基づき学習が行われる。検出部４２Ａは、このように生成されたパラメータ情報を参照することで、正常な状態を示す部分画像Ｉｘｐが入力された場合には小さい復元誤差となり、アノマリーな状態を示す部分画像Ｉｘｐが入力された場合には大きい復元誤差となる自己符号化器を好適に構成することができる。

（２−３）具体例
図９は、胃の細胞を切り取った病理組織画像Ｉｘの表示例である。また、図１０は、病理組織画像Ｉｘに対する自己符号化器の画素毎の復元誤差を示す。具体的には、図１０は、図９に示す病理組織画像Ｉｘを部分画像Ｉｘｐに分割し、正常な胃の細胞の部位を示す画像のみを用いて学習を行った自己符号化器に入力することで得られる復元誤差の大きさを、病理組織画像Ｉｘの部分画像毎に示している。なお、図１０では、便宜上、細胞の背景部分を白以外の所定色により配色し、細胞を復元誤差が大きいほど薄く（白に近づくように）表示している。

図９に示す病理組織画像Ｉｘでは、楕円枠５１〜５３により囲まれた部分が癌の部位に相当する。この場合、図９の楕円枠５１〜５３と同一領域を示す図１０の楕円枠５１Ａ〜５３Ａの領域内では、他の細胞領域と比べて明らかに復元誤差が大きくなっている。従って、この場合、検査装置１Ａは、楕円枠５１〜５３内の領域を含む部分画像Ｉｘｐの復元誤差が所定の閾値以上となることから、楕円枠５１〜５３内の領域を含む部分画像Ｉｘｐをアノマリー部分画像Ｉｘｐａとみなす。

このように、第２実施形態に係る検査装置１Ａは、癌などの病変部を含む部分画像Ｉｘｐをアノマリー部分画像Ｉｘｐａとして認識することができる。そして、検査装置１Ａは、病理組織画像Ｉｘから生成される部分画像Ｉｘｐからアノマリー部分画像Ｉｘｐａを好適に検出し、出力することができる。

（２−４）処理フロー
図１１は、第２実施形態における検査装置１Ａの処理手順を示すフローチャートである。

まず、検査装置１Ａの取得部４１Ａは、外部装置等から病理組織画像Ｉｘを取得する（ステップＳ２０１）。次に、取得部４１Ａは、ステップＳ２０１で取得した病理組織画像Ｉｘから複数の部分画像Ｉｘｐを生成する（ステップＳ２０２）。

次に、検出部４２Ａは、自己符号化器に部分画像Ｉｘｐを入力する（ステップＳ２０３）。そして、検出部４２Ａは、自己符号化器への入力と出力との誤差である復元誤差に基づき、各部分画像Ｉｘｐについて、アノマリー部分画像Ｉｘｐａに該当するか否か判定する（ステップＳ２０４）。そして、検出部４２Ａは、対象の部分画像Ｉｘｐがアノマリー部分画像Ｉｘｐａに該当する場合（ステップＳ２０４；Ｙｅｓ）、当該部分画像Ｉｘｐをアノマリー部分画像Ｉｘｐａとして出力する（ステップＳ２０５）。一方、検出部４２Ａは、対象の部分画像Ｉｘｐがアノマリー部分画像Ｉｘｐａに該当しない場合（ステップＳ２０４；Ｎｏ）、ステップＳ２０６へ処理を進める。

そして、検出部４２Ａは、全ての部分画像Ｉｘｐに対してステップＳ２０４の判定処理を行ったか否か判定する（ステップＳ２０６）。そして、検出部４２Ａは、全ての部分画像Ｉｘｐに対してステップＳ２０４の判定処理を行った場合（ステップＳ２０６；Ｙｅｓ）、フローチャートの処理を終了する。一方、検出部４２Ａは、全ての部分画像Ｉｘｐに対してステップＳ２０４の判定処理を行っていない場合（ステップＳ２０６；Ｎｏ）、ステップＳ２０３へ処理を戻す。

（２−５）変形例
次に、第２実施形態に好適な変形例について説明する。以後の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例２−１）
検査装置１Ａの検出部４２Ａは、上述した第１実施形態の（変形例１−１）と同様、自己符号化器以外のアノマリーディテクションのアルゴリズムに基づき、アノマリー部分画像Ｉｘｐａの検出を行ってもよい。

（変形例２−２）
検査装置１Ａは、検出したアノマリー部分画像Ｉｘｐａを検査装置１Ａ以外の装置へ出力する代わりに、検査装置１Ａのメモリ１２Ａ内に記憶してもよい。同様に、検査装置１Ａは、病理組織画像Ｉｘを外部装置から取得する代わりに、メモリ１２Ａに記憶された病理組織画像Ｉｘを読み出すことで、病理組織画像Ｉｘを取得してもよい。

また、検査装置１Ａは、自己符号化器よりも高精度な異常検出が可能な異常検出プログラムを記憶している場合には、アノマリー部分画像Ｉｘｐａに対して上述の異常検出プログラムを実行してもよい。この場合においても、検査装置１Ａは、全ての部分画像Ｉｘｐに対して異常検出プログラムを実行する場合に比べて、処理時間を好適に短縮して効率的かつ高精度な異常検出を行うことができる。

さらに別の例では、検査装置１Ａは、検出部４２Ａが検出したアノマリー部分画像Ｉｘｐａを表示部に表示することで検査者にアノマリー部分画像Ｉｘｐａを視認させ、検査者による目視の異常判定の入力を受け付けてもよい。この場合においても、検査装置１Ａは、検査者が目視による異常判定を行う対象を、部分画像Ｉｘｐの一部であるアノマリー部分画像Ｉｘｐａに好適に限定することができる。

（変形例２−３）
検査装置１Ａの取得部４１Ａは、病理組織画像Ｉｘを取得する代わりに、病理組織画像Ｉｘから生成された部分画像Ｉｘｐを外部装置から取得してもよい。また、取得部４１Ａは、予め生成されてメモリ１２Ａに記憶された部分画像Ｉｘｐをメモリ１２Ａから読み出すことで、部分画像Ｉｘｐを取得してもよい。

（変形例２−４）
検査装置１Ａは、病理組織診断において用いられる病理組織画像Ｉｘの部分画像Ｉｘｐがアノマリーな状態であるか否か判定する処理に代えて、細胞診検査において用いられる画像の部分画像に対し、アノマリーな状態を示すか否かを判定する処理を行ってもよい。このように、検査装置１Ａは、病理組織画像Ｉｘ以外の病理画像を対象とした場合であっても、上述の第２実施形態における処理を実行し、アノマリーな状態を示す画像を好適に検出することができる。

＜第３実施形態＞
図１２は、第３実施形態における検査装置１Ｂの機能ブロック図である。検査装置１Ｂは、機能的には、取得部４１Ｂと、検出部４２Ｂとを備える。

取得部４１Ｂは、検査対象となる対象物を表示した対象画像を取得する。対象画像は、例えば、第１実施形態における撮影画像Ｉｃであってもよく、第２実施形態の部分画像Ｉｘｐであってもよい。検出部４２Ｂは、正常状態の対象物を表示した画像群に基づき、取得部４１Ｂが取得する対象画像のうち、正常状態でない対象物を表示した対象画像を検出する。この場合、検出部４２Ｂは、例えば、第１及び第２実施形態と同様、正常状態の対象物を表示した画像群に基づき学習した自己符号化器に基づき、正常状態でない対象物を表示した対象画像を検出する。

第３実施形態によっても、検査装置１Ｂは、正常状態でない検査対象物を表示した対象画像を好適に検出することができる。

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
検査対象となる対象物を表示した対象画像を取得する取得部と、
正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部と、
を有する検査装置。

［付記２］
前記検出部は、前記画像群により学習された自己符号化器に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する、付記１に記載の検査装置。

［付記３］
前記取得部は、内視鏡検査において前記対象物となる管腔内に挿入された撮影部により時系列に撮影された画像を、前記対象画像として取得する、付記１または２に記載の検査装置。

［付記４］
前記撮影部の挿入工程において、前記検出部が検出した対象画像又は当該対象画像の特徴情報の少なくとも一方を含む情報を、前記管腔内においてランドマークとなる位置を示すランドマーク位置情報として生成する位置情報生成部をさらに備える、付記３に記載の検査装置。

［付記５］
前記位置情報生成部は、前記撮影部の挿入工程において、検査者による外部入力を検知したときに前記取得部が取得した対象画像又は当該対象画像の特徴情報の少なくとも一方を含む情報を、注目箇所を示す注目箇所情報として生成する、付記４に記載の検査装置。

［付記６］
前記位置情報生成部は、前記撮影部の挿入工程において、画像解析により要検査対象として検出された前記対象画像又は当該対象画像の特徴情報の少なくとも一方を、注目箇所を示す注目箇所情報として生成する、付記４または５に記載の検査装置。

［付記７］
前記位置情報生成部は、前記注目箇所情報を、当該注目箇所情報の直前又は直後に生成された前記ランドマーク位置情報の少なくとも一方と関連付けて記憶部に記憶する、付記５または６に記載の検査装置。

［付記８］
前記撮影部の排出工程において、前記取得部が取得した対象画像が前記ランドマーク位置情報と対応する場合、当該対象画像について確認を促す情報を出力する出力部を備える、付記４〜７のいずれか一項に記載の検査装置。

［付記９］
前記撮影部の排出工程において、前記取得部が取得した対象画像が前記注目箇所情報と対応する場合、当該対象画像について確認を促す情報を出力する出力部を備える、付記５〜７のいずれか一項に記載の検査装置。

［付記１０］
前記取得部は、病理画像から生成される複数の部分画像を、前記対象画像として取得する、付記１または２に記載の検査装置。

［付記１１］
検査装置が実行する検査方法であって、
検査対象である対象物を表示した対象画像を取得し、
正常状態の前記対象物を表示した画像群に基づき、前記対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する、
検査方法。

［付記１２］
コンピュータが実行するプログラムであって、
検査対象となる対象物を表示した対象画像を取得する取得部と、
正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部
として前記コンピュータを機能させるプログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１ 検査装置
２ 表示装置
３ 内視鏡スコープ
１１、１１Ａ プロセッサ
１２、１２Ａ メモリ
１３、１３Ａ インターフェース
１４ 入力部
１５ 光源部
１００ 内視鏡検査システム

検査装置の一の態様は、検査装置であって、検査対象となる対象物を表示した対象画像を取得する取得手段と、正常状態の前記対象物を表示した画像群に基づき、前記取得手段が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出手段と、を有する。

プログラムの一の態様は、コンピュータが実行するプログラムであって、検査対象となる対象物を表示した対象画像を取得する取得手段と、正常状態の前記対象物を表示した画像群に基づき、前記取得手段が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出手段として前記コンピュータを機能させる。

Claims (12)

1. 検査対象となる対象物を表示した対象画像を取得する取得部と、
   正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部と、
   を有する検査装置。
2. 前記検出部は、前記画像群により学習された自己符号化器に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する、請求項１に記載の検査装置。
3. 前記取得部は、内視鏡検査において前記対象物となる管腔内に挿入された撮影部により時系列に撮影された画像を、前記対象画像として取得する、請求項１または２に記載の検査装置。
4. 前記撮影部の挿入工程において、前記検出部が検出した対象画像又は当該対象画像の特徴情報の少なくとも一方を含む情報を、前記管腔内においてランドマークとなる位置を示すランドマーク位置情報として生成する位置情報生成部をさらに備える、請求項３に記載の検査装置。
5. 前記位置情報生成部は、前記撮影部の挿入工程において、検査者による外部入力を検知したときに前記取得部が取得した対象画像又は当該対象画像の特徴情報の少なくとも一方を含む情報を、注目箇所を示す注目箇所情報として生成する、請求項４に記載の検査装置。
6. 前記位置情報生成部は、前記撮影部の挿入工程において、画像解析により要検査対象として検出された前記対象画像又は当該対象画像の特徴情報の少なくとも一方を、注目箇所を示す注目箇所情報として生成する、請求項４または５に記載の検査装置。
7. 前記位置情報生成部は、前記注目箇所情報を、当該注目箇所情報の直前又は直後に生成された前記ランドマーク位置情報の少なくとも一方と関連付けて記憶部に記憶する、請求項５または６に記載の検査装置。
8. 前記撮影部の排出工程において、前記取得部が取得した対象画像が前記ランドマーク位置情報と対応する場合、当該対象画像について確認を促す情報を出力する出力部を備える、請求項４〜７のいずれか一項に記載の検査装置。
9. 前記撮影部の排出工程において、前記取得部が取得した対象画像が前記注目箇所情報と対応する場合、当該対象画像について確認を促す情報を出力する出力部を備える、請求項５〜７のいずれか一項に記載の検査装置。
10. 前記取得部は、病理画像から生成される複数の部分画像を、前記対象画像として取得する、請求項１または２に記載の検査装置。
11. 検査装置が実行する検査方法であって、
    検査対象となる対象物を表示した対象画像を取得し、
    正常状態の前記対象物を表示した画像群に基づき、前記対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する、
    検査方法。
12. コンピュータが実行するプログラムが格納された記憶媒体であって、
    検査対象となる対象物を表示した対象画像を取得する取得部と、
    正常状態の前記対象物を表示した画像群に基づき、前記取得部が取得する対象画像のうち、前記正常状態でない前記対象物を表示した対象画像を検出する検出部
    として前記コンピュータを機能させるプログラムが格納された記憶媒体。

Images