WO2018198525A1

WO2018198525A1 - 内視鏡画像観察支援システム

Info

Publication number: WO2018198525A1
Application number: PCT/JP2018/007591
Authority: WO
Inventors: 卓志永田; 良一細谷; 功舘下; 亮猪股; 諒小熊
Original assignee: オリンパス株式会社
Priority date: 2017-04-28
Filing date: 2018-02-28
Publication date: 2018-11-01
Also published as: JP2020127440A

Abstract

画像処理部（３２）は、撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する。画像表示部（４６）は、オーバービューモードで、複数の基準画像のうちの一部を表示する。操作受付部（４２）は、表示された基準画像の選択操作を受け付ける。画像抽出部（４４）は、選択操作された基準画像に対して時間的に前および／または後に撮影された複数の基準画像を抽出する。画像表示部（４６）は、画像抽出部（４４）により抽出された複数の基準画像を表示する。

Description

内視鏡画像観察支援システム

　本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。

　特許文献１は、カプセル内視鏡で撮影された複数の画像から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて基準画像による判定対象画像の被覆率を算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う画像処理技術を開示する。

特開２０１３－１８３８７４号公報

　カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。

　本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。

　上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムであって、撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像処理部と、所定の表示モードで、複数の基準画像のうちの一部を表示する画像表示部と、表示された基準画像の選択操作を受け付ける操作受付部と、選択操作された基準画像に対して時間的に前および／または後に撮影された複数の基準画像を抽出する画像抽出部とを備える。画像表示部は、画像抽出部により抽出された複数の基準画像を表示する。

　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。管理サーバおよび記録装置の構成を示す図である。画像要約処理のフローチャートである。内視鏡画像の読影画面の例を示す図である。内視鏡画像のオーバービュー画面の例を示す図である。前後画像表示の例を示す図である。前後画像表示の別の例を示す図である。

　図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

　カプセル内視鏡検査において、患者は腹部にアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。

　受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。

　画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。

　患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。

　管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよい。なお記録装置１２は、端末装置２０に設けられてもよい。

　複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。なお端末装置２０が再生アプリケーションを実行する場合には、記録装置１２に直接アクセスして、内視鏡画像を表示装置２２に表示してもよい。

　管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。

　カプセル内視鏡検査の目的の一つは、消化管における出血点を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。

　また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。

　画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。

　管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。

　実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
　第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。

（第２再生モード）
　第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。

（第３再生モード）
　第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。

（第４再生モード）
　第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。

　第１～第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。

　端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。

　図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、画面生成部４０、操作受付部４２、画像抽出部４４、画像表示部４６および再生処理部４８を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６および圧縮処理部３８を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。

　記録装置１２は、内視鏡画像記録部６０、検査情報記録部６２および観察内容記録部６４を備える。内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。

　管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶する。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。

＜赤み画像の特定＞
　赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部３８に提供する。

＜画像要約処理＞
　画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。
　図３は、画像要約処理のフローチャートを示す。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する（Ｓ１０）。設定した基準画像が最後に撮影された画像でなければ（Ｓ１２のＮ）、画像要約処理部３６は、基準画像の次に撮影された画像を判定対象画像として設定し（Ｓ１４）、類否判定を実施する（Ｓ１６）。

　類否判定処理では、画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。このとき画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する（Ｓ１６のＹ）。画像要約処理部３６は、類似画像と判定した画像が最後に撮影された画像でなければ（Ｓ１２のＮ）、当該画像の次に撮影された画像を判定対象画像として（Ｓ１４）、基準画像に類似しているか否かの類似判定を実施する（Ｓ１６）。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。

　一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する（Ｓ１６のＮ）。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し（Ｓ１０）、設定した基準画像が最後に撮影された画像でなければ（Ｓ１２のＮ）、当該画像の次に撮影された画像を判定対象画像として（Ｓ１４）、基準画像に類似しているか否かの類似判定を実施する（Ｓ１６）。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、最後に撮影された画像に対する処理が完了すると（Ｓ１２のＹ）、画像要約処理を終了する。このように画像要約処理部３６は、撮影された複数の内視鏡画像を、基準画像と類似画像とに分類する。この画像要約処理によれば、時間的に隣り合う基準画像同士は、非類似となる。

　基準画像と類似画像の枚数比は、閾値の設定によって調整可能である。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部３８に提供する。

＜内視鏡ＲＡＷ画像の圧縮処理＞
　赤み判定部３４および画像要約処理部３６による画像解析処理は、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部３８は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部３８は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

　圧縮処理部３８は、圧縮した画像ファイルに、赤み判定部３４および画像要約処理部３６から提供された解析結果を示す情報を付加する。具体的に圧縮処理部３８は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部３８は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。

　実施例では、赤み判定部３４および画像要約処理部３６が、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４および画像要約処理部３６が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。

　以下、読影時に表示装置２２に表示される画面について説明する。
　ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、画面生成部４０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。

　図４は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部４０は、図５に示すオーバービュー画面を生成して、表示装置２２に表示させる。

　再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図４には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。

　再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。

　ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。

　再生処理部４８は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生処理部４８は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部４８は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部４８が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。

　ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ～１２８ｅが選択されている様子が示される。

　マーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。

　赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。

　拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。

　なおユーザはマーク表示領域１２０に、部位の開始位置を示すためのマークを付加できる。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されるとマーキングボタン（図示せず）を操作して、各部位の開始位置をマーク表示領域１２０上にマーキングする。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。また医師Ｂとは異なるユーザが内視鏡画像を観察する際にも、マーキング処理を行われていることで、円滑な画像観察を行えるようになる。マーキングは、胃、十二指腸、空腸、大腸の入口を撮影した画像に対して行われることが一般的である。

　画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部４０はオーバービュー画面を生成して、画像表示部４６が、複数の内視鏡画像を表示装置２２に表示させる。オーバービューモードは、画像要約処理により特定された複数の基準画像のうちの一部を並べて表示する表示モードであり、オーバービュー画面には、複数の基準画像から抽出された画像が表示される。

　図５は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、画像表示部４６は約２万枚の基準画像のうちの一部を抽出して表示し、具体的には時間順に並べた約２万枚の基準画像から所定の間隔をあけて抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、画像表示部４６は、時系列に並べた基準画像から（Ｎ／Ｍ）枚ごとに１枚の画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、画像表示部４６は、撮影時刻順に基準画像を１０枚ごとに１枚抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、抽出画像を切り替えることができる。

　オーバービュー画面に表示される内視鏡画像は基準画像であり、時間的に隣り合う基準画像同士は互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。またオーバービュー画面は検査全体を俯瞰的に示すため、各部位の開始位置の特定、つまりマーキング処理を行う際に使い勝手がよい。

　実施例のオーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。
　図６は、ユーザが一つの画像を選択して、選択した画像の前後画像を表示した状態を示す。操作受付部４２は、画像表示領域１３２に表示された基準画像の選択操作を受け付け、選択した基準画像の前後に撮影された画像を表示するための操作を受け付ける。なお操作受付部４２は、基準画像が選択操作されたことをもって、その前後画像の表示操作も自動的に受け付けることとしてもよい。この例では、ユーザがマウス操作により、画像表示領域１３２に表示された画像１４８を選択している。

　画像抽出部４４は、選択された基準画像に対して時間的に前および／または後に撮影された複数の基準画像を抽出する。ここでは画像１４８に対して、時間的に近い順に画像１４８よりも前に撮影された所定数の基準画像と、時間的に近い順に画像１４８よりも後に撮影された所定数の基準画像とを抽出する。画像表示部４６は、画像抽出部４４により抽出された複数の基準画像を、前後画像表示領域１５０に静止画像として並べて表示する。

　ここでは画像１４８を前後画像表示領域１５０の略中央位置に配置し、その左方に画像１４８よりも前に撮影された基準画像を、その右方に画像１４８よりも後に撮影された基準画像を、撮影時刻順にしたがって配置している。なお前後画像表示領域１５０において、複数の基準画像は左右方向にスクロール可能に配置され、ユーザは、マウス等を用いて複数の基準画像をスクロールさせることで、非表示となっている基準画像を表示させることができる。

　ユーザは、前後画像表示領域１５０において画像１４８の前後に撮影された基準画像を容易に観察できる。なお上記したように画像表示領域１３２において、１０枚ごとに抽出された基準画像が表示されている場合、前後画像表示領域１５０の画像１４８の左側および右側のそれぞれに表示される９枚分の基準画像は、画像表示領域１３２には表示されていない画像となる。

　たとえば前後画像表示領域１５０に表示する画像を、画像１４８の前後で撮影された類似画像まで含める場合、前後画像表示領域１５０には、画像１４８と似たような画像が並ぶ状況が生じうる。実施例では前後画像表示領域１５０に基準画像のみを表示することで、隣り合う基準画像同士は非類似となるため、ユーザは、効率よく画像１４８の近傍の内視鏡画像を観察できるようになる。たとえばユーザは、各部位の入口付近と思われる画像１４８を選択して、その前後に撮影された基準画像を前後画像表示領域１５０に表示させることで、各部位の開始位置を示す画像を特定して、効率よくマーキング処理を行うことができる。ユーザは、まず図６に示すオーバービュー画面でマーキング処理を行ってから、図４に示す読影画面で画像観察を行ってもよい。

　図７は、前後画像表示の別の例を示す。この例では、画像表示部４６が、画像抽出部４４により抽出された複数の基準画像を連続再生して、動画再生領域１５２に動画像として表示する。動画再生領域１５２において、選択された画像１４８の前後画像が動画表示されることで、ユーザは、前後画像を短時間で確認できるようになる。なお前後画像を動画表示する場合には、図６に示した静止画表示する場合と比べて、画像抽出部４４が、より多くの基準画像を抽出してもよい。

　このとき画像表示部４６は、画像抽出部４４により抽出された複数の基準画像を、動画再生領域１５２に表示する動画像と連動して、前後画像表示領域１５４において時間軸方向に移動する静止画像としても表示してよい。前後画像を、動画像および静止画像の双方の形式で表示することで、ユーザは、好みの形式で前後画像を確認できる。なお画像表示部４６は、静止画像として表示する基準画像を、画像抽出部４４により抽出された複数の基準画像のうちの一部に限定してもよい。つまり静止画像を動画像と連動表示する際には、画像抽出部４４により抽出された複数の基準画像を間引いて、時間軸方向に移動する静止画像として表示させてもよい。

　図７では、動画再生領域１５２を画像表示領域１３２に重畳させているが、画面生成部４０はオーバービュー画面を分割して、動画再生領域１５２と画像表示領域１３２とを別個に表示させるようにしてもよい。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　実施例では、オーバービュー画面において、ユーザが１枚の基準画像を選択操作することで、その前後画像を表示することとしたが、ユーザが、始点となる基準画像と終点となる基準画像をそれぞれ選択操作すると、画像表示部４６が、その間の基準画像を表示するようにしてもよい。また実施例では、ユーザが前後画像をマーキング処理に利用することを説明したが、病変画像の観察にも当然に利用することが可能である。

１・・・内視鏡画像観察支援システム、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３２・・・画像処理部、３６・・・画像要約処理部、４０・・・画面生成部、４２・・・操作受付部、４４・・・画像抽出部、４６・・・画像表示部、４８・・・再生処理部、１５０・・・前後画像表示領域、１５２・・・動画再生領域、１５４・・・前後画像表示領域。

　本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援する技術分野に利用できる。

Claims

　カプセル内視鏡により撮影された内視鏡画像の観察を支援する観察支援システムであって、
　撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像処理部と、
　所定の表示モードで、複数の基準画像のうちの一部を表示する画像表示部と、
　表示された基準画像の選択操作を受け付ける操作受付部と、
　選択操作された基準画像に対して時間的に前および／または後に撮影された複数の基準画像を抽出する画像抽出部と、を備え、
　前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を表示する、
　ことを特徴とする内視鏡画像観察支援システム。
　前記画像処理部は、時間的に隣り合う基準画像同士が非類似となるように、撮影された複数の内視鏡画像を、基準画像と類似画像とに分類する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、静止画像として並べて表示する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、動画像として表示する、
　ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
　前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、表示する動画像と連動して、時間軸方向に移動する静止画像としても表示する、
　ことを特徴とする請求項４に記載の内視鏡画像観察支援システム。
　前記画像表示部は、静止画像として表示する基準画像を、前記画像抽出部により抽出された複数の基準画像のうちの一部に限定する、
　ことを特徴とする請求項５に記載の内視鏡画像観察支援システム。