JP6335412B1 - 内視鏡画像観察支援システム - Google Patents

Abstract

所見画像記録部（６０）は、所見ごとに、過去に撮影された内視鏡画像を所見画像として記録する。圧縮処理部（４０）は、カプセル内視鏡で撮影された内視鏡画像に圧縮処理を施して、圧縮画像を生成する。類似判定部（３８）は、圧縮処理部（４０）が内視鏡画像を圧縮処理する際に、当該内視鏡画像が、所見画像記録部（６０）に記録された所見画像に類似しているか否かを判定する。類似判定部（３８）により当該内視鏡画像が所見画像に類似していることが判定されると、圧縮処理部（４０）は、圧縮画像に所定の情報を付加する。

Description

本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。

特許文献１は、画像データベースに保存されている多数の被写体画像データの中から、検索対象となる被写体画像の検索画像データと画像の特性が類似している部分を有する類似画像データを検索し、検索結果情報を出力する類似画像検索システムを開示する。

特開２００４−５３６４号公報

カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、連続再生される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。

本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。

上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムであって、所見ごとに、過去に撮影された内視鏡画像を所見画像として記録する所見画像記録部と、カプセル内視鏡で撮影された内視鏡画像に圧縮処理を施して、圧縮画像を生成する圧縮処理部と、圧縮処理部が内視鏡画像を圧縮処理する際に、当該内視鏡画像が、所見画像記録部に記録された所見画像に類似しているか否かを判定する類似判定部と、圧縮処理部が生成した複数の圧縮画像を記録する内視鏡画像記録部と、を備える。類似判定部により当該内視鏡画像が所見画像に類似していることが判定されると、圧縮処理部は、圧縮画像に所定の情報を付加する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。 管理サーバおよび記録装置の構成を示す図である。 内視鏡画像の選択画面の例を示す図である。 内視鏡画像の連続表示中の選択画面の例を示す図である。

図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

カプセル内視鏡検査において、患者は腹部にアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像をアンテナから受信装置４に送信する。受信装置４には、着脱可能な記録媒体５が装着されており、受信装置４は、受信した撮影画像を記録媒体５に記録する。カプセル内視鏡３がたとえば０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像が記録媒体５に記録される。

患者からアンテナと受信装置４が回収されると、記録媒体５が受信装置４から取り外されて、管理サーバ１０に接続したデータ読出装置に装着される。データ読出装置は、記録媒体５に記録された約６万枚の内視鏡画像を読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像を読み出されてもよい。なお記録媒体５は受信装置４に内蔵されたメモリであってもよく、この場合は、データ読出装置が受信装置４のデータ端子から記録媒体５に記録された内視鏡画像を読み出してもよい。

管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてもよく、またフラッシュメモリで構成されてもよい。なお記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像（以下、「内視鏡ＲＡＷ画像」と呼ぶこともある）に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。

管理サーバ１０は、内視鏡ＲＡＷ画像に所定の画像処理を施す機能に加えて、内視鏡検査のオーダ情報や、読影レポート情報などを管理する機能を有してもよい。なお実施例では、管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよい。

後述するが、実施例の管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮処理する際に、過去に異常所見が確認された内視鏡画像に類似しているか否かを判定し、類似していることを判定した場合には、圧縮画像に所定の情報を付加する機能をもつ。

複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。

端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示できる。管理サーバ１０は、内視鏡画像の再生アプリケーションを実行し、数万枚におよぶ内視鏡画像を効率よく連続再生して端末装置２０に提供することが好ましい。再生アプリケーションは、端末装置２０により選択される再生モードおよび再生速度に応じて、内視鏡画像の再生処理を実施する。

カプセル内視鏡検査の目的の一つは、消化管における出血点を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影したと判定される内視鏡ＲＡＷ画像を特定する。管理サーバ１０は、特定した内視鏡ＲＡＷ画像を圧縮する際に、出血状態にあることを示すフラグ情報を付加する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した画像であることを判定する。再生アプリケーションは、フラグ情報を付加された画像の再生時に、画像に出血状態が撮影されている可能性が高い旨を通知することで、読影者が、赤みの強い画像と判定された再生画像であることを容易に認識できるようにしてよい。

また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい一群の内視鏡画像のグルーピングを行う。再生アプリケーションは、グループ化された内視鏡画像群の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。再生アプリケーションは、この時短用の再生モードを複数種類用意してよい。実施例の再生アプリケーションは、等速で内視鏡画像を連続再生する再生モードを第１モードと呼ぶと、時短用の再生モードとして、グループ化された内視鏡画像群を通常より高速で切替再生する第２モードと、内視鏡画像群の中から１枚以上を抽出して再生する第３モードとを有する。第３モードで抽出する画像は、前後で類似度が高い画像や、被写体の全体が撮影されている画像であってよい。第２モードおよび第３モードのいずれも、第１モードと比較して全体の観察時間の短縮に寄与する。

さらに実施例の解析アプリケーションは、内視鏡ＲＡＷ画像を、記録装置１２に記録された所見画像と比較して、内視鏡ＲＡＷ画像が所見画像に類似しているか否かを判定する類似判定処理を実施する。所見画像は、過去に医師による画像診断により異常所見を含むことが診断された画像であり、類似判定処理において、新たに撮影された内視鏡ＲＡＷ画像と比較されるための画像である。つまり、新たに撮影された内視鏡ＲＡＷ画像と所見画像との類似度が高ければ、その内視鏡画像は、過去の所見画像に対応付けられた異常所見を含んでいる可能性が高いことが判定される。

そこで実施例の記録装置１２は、所見ごとに、過去に撮影された内視鏡画像を所見画像として記録している。医師は読影レポートを作成する際、異常所見を含む内視鏡画像に、その所見に関する情報を対応付ける。医師は、所見情報を対応付けた内視鏡画像のうち、その異常所見の特徴がクリアに撮影された内視鏡画像など、解析アプリケーションによる類似判定処理により異常所見を自動検出するための比較用画像として適切であると判断した画像を、記録装置１２に所見画像として所見情報に対応付けて記録させる。

カプセル内視鏡検査における代表的な所見として「潰瘍」、「びらん」、「血管性病変」などが存在するが、記録装置１２には、各所見に対して、医師が比較用画像に適切であると判断した内視鏡画像が複数枚記録される。なお医師は自由に所見画像を記録装置１２に追加、削除できることが好ましい。これにより医師は、記録装置１２に記録されている所見画像が比較用画像としては適切でなければ削除し、比較用画像として適切と思われる内視鏡画像を見つけた場合には、記録装置１２に追加する。このように所見画像の入れ替えを行わせることで、類似判定精度を向上させることが可能となる。

以上の解析アプリケーションによる画像処理は、内視鏡ＲＡＷ画像を圧縮処理する際に、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施される。画像処理の結果は、圧縮した内視鏡画像に付加情報として付加される。これにより再生アプリケーションが圧縮画像を再生処理する際には、既に画像処理の結果が圧縮画像に付加されているために、付加情報を再生内容に反映することが可能となる。

端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、表示装置２２に内視鏡画像の選択画面を表示させ、読影者は表示画面を見ながら、ユーザインタフェースを操作して内視鏡画像を選択する。

図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、画像登録部４８、再生処理部５０および受付部５２を備える。画像処理部３２は、出血状態判定部３４、グループ特定部３６、類似判定部３８および圧縮処理部４０を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。出血状態判定部３４、グループ特定部３６および類似判定部３８の機能は解析アプリケーションにより実現され、再生処理部５０の機能は再生アプリケーションにより実現される。

記録装置１２は、所見画像記録部６０、内視鏡画像記録部６２、検査情報記録部６４および観察内容記録部６６を有する。所見画像記録部６０は、所見ごとに、過去に撮影された内視鏡画像を所見画像として記録する。上記したように所見画像は、過去に医師による画像診断によって異常所見が含まれていることを特定された内視鏡画像である。画像登録部４８は、医師からの画像登録操作にもとづいて、異常所見を含む内視鏡画像を所見情報に対応付けて所見画像として所見画像記録部６０に登録し、医師からの登録解除操作にもとづいて、所見画像を所見画像記録部６０から削除する。内視鏡画像記録部６２は、画像処理部３２により画像処理を施された内視鏡画像を、検査ごとに記録する。検査情報記録部６４は、内視鏡検査に関する情報を記録し、観察内容記録部６６は、内視鏡画像の観察内容を記録する。

管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお上記したように、内視鏡ＲＡＷ画像の画像処理は、管理サーバ１０以外の他の機器において実施されてもよく、その場合は、他の機器がＲＡＷ画像取得部３０および画像処理部３２の機能を備えることになる。

内視鏡ＲＡＷ画像を記録した記録媒体５がデータ読出装置に装着されると、データ読出装置は、内視鏡ＲＡＷ画像を記録媒体５から読み出し、管理サーバ１０に送信する。管理サーバ１０においてＲＡＷ画像取得部３０が、送信された複数の内視鏡ＲＡＷ画像を取得する。ＲＡＷ画像取得部３０は、取得した複数の内視鏡ＲＡＷ画像を記録装置１２に一時記憶し、画像処理部３２は、すべての内視鏡ＲＡＷ画像に、以下に示す画像処理を実施する。

＜出血画像の特定＞
出血状態判定部３４は、出血状態を撮影したと考えられる赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を出血画像として特定する。出血状態判定部３４は、特定した出血画像を識別する情報（画像ＩＤ）を、圧縮処理部４０に提供する。

＜変化の小さい連続画像のグループ化＞
グループ特定部３６は、連続して撮影された変化の小さい複数の内視鏡ＲＡＷ画像を抽出する。カプセル内視鏡３は所定の周期で撮影を行うため、移動速度が遅いと、近似した（ほぼ変化のない）画像を連続して撮影することになる。そこでグループ特定部３６は、変化の小さい内視鏡画像群を抽出してグループ化する。グループ特定部３６は、グループとして抽出された内視鏡画像群を特定する情報（グループＩＤ）と、内視鏡画像群の最初に位置する画像の画像ＩＤ（最初画像ＩＤ）、内視鏡画像群の最後に位置する画像の画像ＩＤ（最後画像ＩＤ）を、圧縮処理部４０に提供する。

＜過去の所見画像とのマッチング処理＞
類似判定部３８は、所見画像記録部６０に記録されている複数の所見画像の中から、内視鏡ＲＡＷ画像に類似する所見画像を検索する。つまり類似判定部３８は、内視鏡ＲＡＷ画像が所見画像記録部６０に記録された所見画像に類似しているか否かを判定する。この類似判定処理において、内視鏡ＲＡＷ画像が所見画像に類似していることが判定されると、この内視鏡ＲＡＷ画像は、類似判定された所見画像に対応付けられている異常所見を示す可能性が高い。

なお所見画像記録部６０は、過去に撮影された内視鏡画像の一部の注目領域を所見画像として記録しておき、類似判定部３８は、内視鏡ＲＡＷ画像に、所見画像と類似している領域が含まれているか否かを判定してもよい。この場合、医師は所見画像記録部６０に所見画像を登録する際に、内視鏡画像内の異常所見を示す箇所を注目領域としてマーキングしておき、類似判定部３８は、マーキングされた注目領域に類似する領域が内視鏡ＲＡＷ画像に含まれるか否かを判定する。内視鏡画像の全体ではなく、異常所見を撮影した注目領域を類似判定の比較対象とすることで、類似判定部３８による判定時間の短縮化と判定精度の向上を実現できる。類似判定部３８は、内視鏡ＲＡＷ画像が所見画像に類似していることを判定すると、類似判定した所見画像に対応付けられた所見情報を、画像ＩＤとともに圧縮処理部４０に提供する。なお類似判定部３８は、類似判定した所見画像の画像ＩＤを圧縮処理部４０に提供してもよい。

＜内視鏡ＲＡＷ画像の圧縮処理＞
出血状態判定部３４、グループ特定部３６および類似判定部３８による画像処理は、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部４０は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、圧縮画像を生成する。圧縮処理部４０は、撮影開始からの経過時間情報および画像ＩＤを圧縮画像に付加する。たとえば圧縮処理部４０は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

このとき圧縮処理部４０は、圧縮画像に、出血状態判定部３４、グループ特定部３６および類似判定部３８から提供された解析結果を示す情報を付加する。具体的に圧縮処理部４０は、出血状態判定部３４から提供される画像ＩＤをもつ圧縮画像に、出血画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部４０は、グループ特定部３６から提供される最初画像ＩＤと最後画像ＩＤをもつ圧縮画像に、グループＩＤで特定されるグループの開始位置および最後位置であることを示す情報を付加する。

また圧縮処理部４０は、類似判定部３８から提供される画像ＩＤをもつ圧縮画像に、所定の情報を付加する。具体的に圧縮処理部４０は、この圧縮画像に、類似判定された所見画像に対応付けられている所見に関する情報を付加する。また圧縮処理部４０は、類似判定された所見画像の画像ＩＤを、圧縮画像に付加してもよい。以上のように画像処理部３２が動作することで、読影者による読影前に、画像処理の結果が付加された圧縮画像が生成されることになる。圧縮処理部４０は、生成した圧縮画像を、内視鏡画像記録部６２に記録する。

なお上記の例では、出血状態判定部３４、グループ特定部３６および類似判定部３８が、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、出血状態判定部３４、グループ特定部３６および類似判定部３８が、圧縮処理された圧縮画像に対して、それぞれ画像処理を実施してもよい。この場合であっても、画像処理した結果は、圧縮処理部４０により圧縮画像に付加される。

以下、医師Ｂによる読影時に表示装置２２に表示される画面について説明する。
医師Ｂは、端末装置２０にユーザＩＤを入力してログインする。医師Ｂがログインすると、管理サーバ１０が検査情報記録部６４に記憶された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。この検査一覧には、患者ＩＤ、患者名、検査ＩＤ、検査日時などの検査情報がリスト表示され、医師Ｂは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「Ａ」、検査ＩＤが「０００１」の検査が選択されると、再生処理部５０が、内視鏡画像を選択するための選択画面を生成して、表示装置２２に表示させる。なお再生処理部５０の機能は、端末装置２０が有してもよい。

図３は、内視鏡画像の選択画面の例を示す。再生処理部５０は、内視鏡画像を切替表示するための再生領域１００を含む選択画面を生成する。再生処理部５０は、内視鏡画像記録部６２に記録された圧縮画像を表示装置２２に表示させる。再生操作領域１０８には、再生操作を制御するためのボタンが表示され、再生速度の調整を可能とする。再生ボタン１０８ａが操作されると、再生領域１００における内視鏡画像の切替表示が開始され、再生操作領域１０８には、再生ボタン１０８ａの代わりに、一時停止ボタンが表示される。

再生領域１００における内視鏡画像の切替表示中に、医師Ｂが一時停止ボタンを操作すると、内視鏡画像の切替が一時停止される。この状態で医師Ｂがマウスホイールを操作すると、一時停止した内視鏡画像の前または後の画像が再生領域１００に表示される。再生領域１００に内視鏡画像を一時停止表示した状態で医師Ｂが選択ボタン１０４を操作すると、その画像がキャプチャされて選択画像表示領域１０２に表示される。選択画像表示領域１０２に表示される選択画像は、後に読影レポートに添付する画像の選択肢となる。医師Ｂが、選択画像表示領域１０２の選択画像を選択してキャンセルボタン１０６を操作すると、選択を解除できる。たとえば同一所見に関して複数の画像を選択した場合には、良好に撮影されている画像のみを残すようにキャンセルボタン１０６を利用してよい。

第１モード選択ボタン１１６ａ、第２モード選択ボタン１１６ｂ、第３モード選択ボタン１１６ｃは、それぞれ再生モードを設定するためのボタンである。第１モード選択ボタン１１６ａが選択されると、再生モードとして、内視鏡画像を等速で再生する第１モードが設定される。選択画面の初期状態では、第１モード選択ボタン１１６ａが選択された状態にあってよい。

第２モード選択ボタン１１６ｂが選択されると、再生モードとして、グループ化された内視鏡画像群を、他の内視鏡画像よりも高速で切替再生する第２モードが設定される。第３モード選択ボタン１１６ｃが選択されると、再生モードとして、グループ化された内視鏡画像群の中から１枚以上を抽出して再生する第３モードが設定される。第２モードおよび第３モードともに、読影者による読影を効率化するために用意されている。

時間軸１１０は、再生領域１００で再生されている内視鏡画像の時間位置を示すためのユーザインタフェースであり、また内視鏡画像を再生領域１００に一時停止表示するためのユーザインタフェースでもある。時間軸１１０は、横長の矩形領域として表示され、横軸に撮影開始から終了までの時間を表現する。

医師Ｂが、時間軸１１０の任意の箇所にマウスポインタをあてると、その時間に撮影された内視鏡画像が再生領域１００に表示される。なお医師Ｂは、時間軸１１０に、部位の開始位置を示すためのマークを付加できる。医師Ｂは、再生領域１００で連続再生される内視鏡画像をみながら、新たな部位画像が再生されるとマーキングボタン１１２を操作して、各部位の開始位置を時間軸上にマーキングする。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。

再生処理部５０は、時間軸１１０に、内視鏡画像記録部６２に記録された圧縮画像に付加された情報にもとづく通知情報を表示する。図３では、再生処理部５０が、時間軸１１０の時間範囲を示す表示形式で１つの通知情報１２０と２つの通知情報１２２とを表示している。ここで通知情報１２０および通知情報１２２は、当該時間範囲に含まれる画像の所見に関する情報である。再生処理部５０は、所見ごとに通知情報の表示態様を異ならせ、表示態様の違いによって所見に関する情報を通知する。

たとえば通知情報１２０は、病変Ａの所見に関する情報であり、具体的には病変Ａの画像が含まれる可能性が高いことを示す情報である。一方で通知情報１２２は、病変Ｂの所見に関する情報であり、具体的には病変Ｂの画像が含まれる可能性が高いことを示す情報である。再生処理部５０は、一つのカプセル内視鏡検査で撮影された全ての画像の付加情報を参照し、所見に関する情報が付加されている圧縮画像の経過時間情報から時間軸１１０上の位置を求めて、通知情報１２０および通知情報１２２を表示する。

再生処理部５０は、通知情報１２０と通知情報１２２を、たとえば異なる色で表示する。たとえば再生処理部５０は通知情報１２０を赤色表示し、通知情報１２２を青色表示する。これにより読影者は、赤色で表示されている通知情報１２０が病変Ａに関するものであること、青色で表示されている通知情報１２２が病変Ｂに関するものであることを一目で理解する。なお通知情報１２０に対してテキスト「病変Ａ」を、通知情報１２２に対してテキスト「病変Ｂ」を、それぞれ関連づけて表示してもよい。いずれにしても再生処理部５０は、どの病変疑いがあるかを読影者が容易に認識できるように通知情報１２０および通知情報１２２を表示する。

時間軸１１０に通知情報１２０および通知情報１２２を表示することで、医師Ｂは、時間軸１１０の通知情報１２０および通知情報１２２の表示箇所にマウスポインタをあてることで、病変が含まれる可能性の高い内視鏡画像をただちに確認できるようになる。また時間軸１１０に通知情報１２０および通知情報１２２を表示することで、医師Ｂは、病変疑いのある画像がどの部位で撮影されたかを予測することもできる。なお図示していないが、再生処理部５０は、出血画像として判定された画像の時間範囲を時間軸１１０に表示してもよい。

実施例の内視鏡画像観察支援システム１によれば、内視鏡ＲＡＷ画像を圧縮処理する際に、内視鏡画像の画像解析が実施されて、解析結果が付加された状態で圧縮画像が生成されている。医師Ｂが内視鏡画像の読影を行う際には、既に内視鏡画像の解析が終了しているため、画像処理部３２が内視鏡画像の再生中に、画像処理を行うことはない。そのため再生処理部５０は、内視鏡画像の選択画面において、通知情報１２０および通知情報１２２をすみやかに表示でき、医師Ｂによる読影作業を効率化できる。

図４は、内視鏡画像の連続表示中の選択画面の例を示す。再生処理部５０は、再生領域１００に、内視鏡画像記録部６２に記録された内視鏡画像を表示させる。以下では第１モード選択ボタン１１６ａが選択されており、再生処理部５０が、内視鏡画像を、読影者により設定された再生速度で等速再生する場合について説明する。画像観察中、医師Ｂは、マーキングボタン１１２を操作して、各部位の開始位置を示すマーキングを時間軸１１０上に行ってよい。医師Ｂは、各部位の開始位置をマーキングしながら、病変所見が撮影された内視鏡画像を選択して、画像観察を実施する。マーキングをしておくことで、後に内視鏡画像を見直す際に、どこから見ればよいか容易に把握できるようになる。

医師Ｂは、病変所見を含む画像が再生領域１００に表示されると、一時停止ボタン１０８ｂを操作して画像の切替表示を停止させる。なお一時停止ボタン１０８ｂが操作されると、再生操作領域１０８には、一時停止ボタン１０８ｂの代わりに、再生ボタン１０８ａが表示される。医師Ｂはマウスのホイールを操作して、停止させた画像の前後の画像を再生領域１００に表示させ、病変所見を鮮明に撮影した画像を探す。管理サーバ１０において、受付部５２が、医師Ｂによる操作入力を受け付けると、再生処理部５０は、受け付けた操作入力に応じて、内視鏡画像を表示装置２２に表示させる。

病変所見を鮮明に撮影した画像が再生領域１００に表示されると、医師Ｂは、選択ボタン１０４を操作する。管理サーバ１０において受付部５２が選択操作を受け付けると、再生処理部５０が再生領域１００に表示されている選択画像をキャプチャし、選択画像表示領域１０２に表示させる。選択画像表示領域１０２に表示される画像は、後に読影レポートに添付する画像の選択肢となる。図４では、選択画像表示領域１０２において、選択画像１０２ａ〜１０２ｉが選択されている様子が示される。

内視鏡画像の連続再生中、医師Ｂは、時間軸１１０に表示されている通知情報１２０および通知情報１２２の表示範囲に含まれる画像を特に慎重に観察する。時間軸１１０上に通知情報１２０および通知情報１２２を表示することで、読影者の見落としリスクを低減できる。

なお再生処理部５０は、再生領域１００に、所見に関する情報を付加された内視鏡画像を表示する際、所見に関する情報を、通知情報１２４として表示してよい。ここでは「病変Ｂの可能性あり」とする通知情報１２４が表示されている。再生処理部５０は、通知情報１２４を、医師Ｂの注目を引く態様で表示してもよい。たとえば再生処理部５０は通知情報１２４を点滅させて強調表示してもよく、またアラート音を出力してもよい。このように再生処理部５０が通知情報１２４を出力することで、医師Ｂは、より注意をもって再生領域１００に表示される内視鏡画像を観察できる。

再生処理部５０は、内視鏡画像に類似すると判定された所見画像を表示する機能を有してよい。再生処理部５０は、再生領域１００に、所見に関する情報を付加された内視鏡画像を表示する際、当該内視鏡画像に類似判定された所見画像を表示するための所見画像確認ボタン１２６を、操作可能に表示する。医師Ｂが所見画像確認ボタン１２６を操作すると、再生領域１００に表示されている内視鏡画像に類似判定された所見画像が表示される。

再生領域１００に表示されている内視鏡画像に対して、「病変Ｂの可能性あり」とする通知情報１２４が表示されている場合に、医師Ｂが画像診断した結果、表示されている内視鏡画像には病変Ｂが認められないことがある。その場合、類似判定された所見画像が適切でないことも考えられ、医師Ｂは今後の類似判定精度を高めるために、所見画像を確認したいこともある。そこで医師Ｂが、所見画像確認ボタン１２６を操作すると、管理サーバ１０において受付部５２がボタン操作を受け付け、再生処理部５０が、表示画像に付加された所見画像ＩＤを参照して、類似判定された所見画像を選択画面に重畳表示する。このとき、所見画像として適切でないと医師Ｂが判断すれば、医師Ｂは、登録解除操作を行うことができる。受付部５２が登録解除操作を受け付けると、画像登録部４８は、所見画像記録部６０から、当該所見画像を削除する。このように医師Ｂが画像診断の結果をフィードバックすることで、類似判定精度を向上できるようになる。

次に、第２モード選択ボタン１１６ｂが選択されて、再生処理部５０が、グループ化された内視鏡画像群を、他の内視鏡画像よりも高速で切替再生する場合について説明する。再生処理部５０は、グループの開始位置であることを示す情報が付加された最初画像から、グループの最後位置であることを示す情報が付加された最後画像までの連続切替再生を、設定されている再生速度よりも速い速度で高速再生する。第２モードでは、変化の少ない画像群に含まれる画像を高速再生することで、全体の再生時間の短縮化を実現する。

このとき再生処理部５０は、内視鏡画像群の中に、所見に関する情報を付加された内視鏡画像が存在すれば、その内視鏡画像の再生速度を通常に戻してよい。これにより医師Ｂは、所見に関する情報を付加された内視鏡画像を慎重に観察できるようになる。再生処理部５０は、所見に関する情報を付加された内視鏡画像の再生速度を、通常よりも遅くしてもよい。

次に、第３モード選択ボタン１１６ｃが選択されて、再生処理部５０が、グループ化された内視鏡画像群の中から１枚以上を抽出して再生する場合について説明する。再生処理部５０は、グループの開始位置であることを示す情報が付加された画像から、グループの最後位置であることを示す情報が付加された画像までの間に含まれる１枚以上の画像を再生する。なお画像の再生枚数は、たとえば数枚であってよい。第３モードでは、変化の少ない画像群に含まれる画像を数枚のみ再生することで、全体の再生時間の短縮化を実現する。

このとき再生処理部５０は、内視鏡画像群の中に、所見に関する情報を付加された内視鏡画像が存在すれば、その内視鏡画像を必ず表示するようにする。そのため、たとえば内視鏡画像群が３０枚の画像により構成され、所見に関する情報を付加された内視鏡画像が５枚存在すれば、少なくともその５枚が表示されるようにする。これにより医師Ｂは、所見に関する情報を付加された内視鏡画像を確実に観察できるようになる。

医師Ｂは、画像観察を終了すると、登録ボタン１１４を操作する。登録ボタン１１４が操作されると、選択画像表示領域１０２に選択された選択画像と、マーキングボタン１１２の操作によりマーキングされた各部位の開始位置を示す時間情報が、管理サーバ１０により観察内容記録部６６に記録される。以上により、医師Ｂによる画像観察が終了する。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例においては、圧縮処理を含む画像処理を管理サーバ１０で実施したが、これらの画像処理は、カプセル内視鏡３で実施されてもよく、また受信装置４で実施されてもよい。

１・・・内視鏡画像観察支援システム、３・・・カプセル内視鏡、４・・・受信装置、５・・・記録媒体、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３０・・・ＲＡＷ画像取得部、３２・・・画像処理部、３４・・・出血状態判定部、３６・・・グループ特定部、３８・・・類似判定部、４０・・・圧縮処理部、４８・・・画像登録部、５０・・・再生処理部、５２・・・受付部、６０・・・所見画像記録部、６２・・・内視鏡画像記録部、６４・・・検査情報記録部、６６・・・観察内容記録部。

本発明は、カプセル内視鏡により撮影された内視鏡画像の観察支援に利用できる。

Claims (10)

1. カプセル内視鏡により撮影された内視鏡画像の観察を支援する観察支援システムであって、
   過去に撮影された内視鏡画像を所見画像として記録する所見画像記録部と、
   カプセル内視鏡で撮影された内視鏡画像に圧縮処理を施して、圧縮画像を生成する圧縮処理部と、
   前記圧縮処理部が内視鏡画像を圧縮処理する際に、当該内視鏡画像が、前記所見画像記録部に記録された所見画像に類似しているか否かを判定する類似判定部と、
   前記圧縮処理部が生成した複数の圧縮画像を記録する内視鏡画像記録部と、を備え、
   前記類似判定部により当該内視鏡画像が所見画像に類似していることが判定されると、前記圧縮処理部は、圧縮画像に所定の情報を付加する、
   ことを特徴とする内視鏡画像観察支援システム。
2. 前記所見画像記録部は、過去に異常所見を含むことが診断された画像を所見画像として所見ごとに記録する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
3. 前記圧縮処理部は、圧縮画像に、類似判定された所見画像に対応付けられている所見に関する情報を付加する、
   ことを特徴とする請求項２に記載の内視鏡画像観察支援システム。
4. 前記圧縮処理部は、ＲＡＷ画像である内視鏡画像を圧縮処理する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
5. 前記所見画像記録部は、過去に撮影された内視鏡画像の一部の注目領域を所見画像として記録し、
   前記類似判定部は、内視鏡画像に、所見画像と類似している領域が含まれているか否かを判定する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
6. 前記内視鏡画像記録部に記録された前記複数の圧縮画像を表示装置に表示させる再生処理部を、さらに備え、
   前記再生処理部は、圧縮画像に付加された情報にもとづく通知情報を表示する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
7. 前記再生処理部は、通知情報として、所見に関する情報を表示する、
   ことを特徴とする請求項６に記載の内視鏡画像観察支援システム。
8. 前記再生処理部は、類似判定された所見画像を表示する機能を有する、
   ことを特徴とする請求項６に記載の内視鏡画像観察支援システム。
9. 前記所見画像記録部に、所見情報に対応付けて、内視鏡画像を所見画像として登録する画像登録部をさらに備える、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
10. 前記画像登録部は、ユーザ操作にもとづいて、前記所見画像記録部から所見画像を削除する、
    ことを特徴とする請求項９に記載の内視鏡画像観察支援システム。

Images