JP6411834B2 - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

画像表示装置、画像表示方法、及び画像表示プログラム Download PDF

Info

Publication number
JP6411834B2
JP6411834B2 JP2014193103A JP2014193103A JP6411834B2 JP 6411834 B2 JP6411834 B2 JP 6411834B2 JP 2014193103 A JP2014193103 A JP 2014193103A JP 2014193103 A JP2014193103 A JP 2014193103A JP 6411834 B2 JP6411834 B2 JP 6411834B2
Authority
JP
Japan
Prior art keywords
capsule endoscope
image
information
unit
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014193103A
Other languages
English (en)
Other versions
JP2016063868A (ja
Inventor
奈々 杉江
奈々 杉江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014193103A priority Critical patent/JP6411834B2/ja
Publication of JP2016063868A publication Critical patent/JP2016063868A/ja
Application granted granted Critical
Publication of JP6411834B2 publication Critical patent/JP6411834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)

Description

本発明は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された画像を表示する画像表示装置、画像表示方法、及び画像表示プログラムに関する。
近年、内視鏡の分野では、患者等の被検体内に導入されて撮像を行うカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵させた装置であり、被検体内を撮像することにより生成した画像データを被検体外に順次無線送信する。カプセル型内視鏡から無線送信された画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像表示装置に転送(ダウンロード)され、画像表示装置において種々の画像処理が施される。
このようなカプセル型内視鏡を用いた1回の検査により取得される画像は、約6万枚と、膨大な数になるため、医師等のユーザが全ての画像を詳細に観察するには非常に時間がかかる。そのため、検査により取得された画像を表示する画像表示装置には、ユーザによる画像の観察作業の負担を軽減する、或いは観察作業を効率化するための種々の補助機能が設けられている。一例として、カプセル型内視鏡により取得された一連の画像のうち、時系列で隣接する画像間での類似度を算出し、類似度が低い画像を抽出して表示する補助機能が挙げられる。また、一連の画像から抽出された複数の画像を、画像間に潜在する潜在画像の情報を示す表示態様で一覧表示する技術も知られている(特許文献1参照)。
特開2010−99139号公報
ところで、カプセル型内視鏡を用いて小腸を検査する場合、カプセル型内視鏡は、狭窄や病変等の異常箇所やその近傍において、他の箇所とは異なる動きを示すことが多い。具体的には、カプセル型内視鏡の移動速度が遅くなる、同じ箇所にしばらく滞留する、或いは同一の区間を繰り返し往復するといった動きが挙げられる。そのため、カプセル型内視鏡の動きが他と異なる箇所を認識することができれば、ユーザは、そのような箇所が写った画像を重点的に観察することにより、小腸における異常を効率良く発見できる可能性がある。従って、ユーザが、カプセル型内視鏡の動きを、カプセル型内視鏡の位置と関連付けて容易に認識することができる技術が望まれている。
本発明は、上記に鑑みてなされたものであって、ユーザが、カプセル型内視鏡の動きを、カプセル型内視鏡の位置と関連付けて容易に認識することができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像表示装置は、被検体内に導入されて被検体内を撮像することにより画像データを生成するカプセル型内視鏡を用いた検査により取得された一連の体内画像を表示する画像表示装置であって、前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得部と、前記位置情報に基づいて、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得部と、前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際の前記カプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成部と、前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定部と、前記表示態様決定部により決定された表示態様で、前記位置モデルを表示する表示部と、を備えることを特徴とする。
上記画像表示装置において、前記動き情報取得部は、前記位置情報に基づき、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を取得する重なり情報取得部を備え、前記同一箇所を通過した回数を示す情報を前記動き情報として取得することを特徴とする。
上記画像表示装置において、前記動き情報取得部は、前記位置情報に基づき、前記被検体内における前記カプセル型内視鏡の移動速度を表す速度情報を取得する速度情報取得部を備え、前記速度情報を前記動き情報として取得することを特徴とする。
上記画像表示装置において、前記動き情報取得部は、前記位置情報に基づき、前記被検体内における前記カプセル型内視鏡の移動速度を表す速度情報を取得する速度情報取得部をさらに備え、前記重なり情報取得部が取得した前記同一箇所を通過した回数を表す情報と、前記速度情報取得部が取得した速度情報とに基づき、前記動き情報を取得することを特徴とする。
上記画像表示装置において、前記重なり情報取得部は、前記一連の体内画像の各々を撮像した際の前記カプセル型内視鏡の位置から取得した前記カプセル型内視鏡の経路に基づき、該経路が同一箇所に重なっている本数を、当該箇所における前記回数を表す情報として取得することを特徴とする。
上記画像表示装置において、前記位置モデル作成部は、前記被検体内における前記カプセル型内視鏡の軌跡を平面的又は立体的に表した模式図をもとに前記位置モデルを作成することを特徴とする。
上記画像表示装置において、前記位置モデル作成部は、腸管の内壁面を2次元的に展開した画像をもとに前記位置モデルを作成することを特徴とする。
上記画像表示装置において、前記位置モデルは、腸管の内壁面を2次元的に展開した画像と関連付けられたスケールであることを特徴とする。
上記画像表示装置において、前記位置モデル作成部は、腸管の外観を平面的又は立体的に表した画像をもとに前記位置モデルを作成することを特徴とする。
上記画像表示装置は、外部からなされる操作に応じた信号を入力する入力部をさらに備え、前記表示部は、前記入力部が入力した信号に対応する前記位置モデル上の位置における前記カプセル型内視鏡の軌跡を拡大して表示することを特徴とする。
上記画像表示装置において、前記表示部は、前記入力部が入力した前記信号と異なる第2の信号に応じた方向に、前記軌跡を拡げて表示することを特徴とする。
上記画像表示装置において、前記表示態様決定部は、前記動き情報が含むパラメータと所定の基準値とを比較し、該比較結果に基づいて、前記領域における表示態様を決定することを特徴とする。
上記画像表示装置において、前記表示態様決定部は、前記比較結果に基づいて、前記領域における濃度若しくは輝度、色相、彩度、パターン、テクスチャ、又は陰影を決定することを特徴とする。
上記画像表示装置において、前記動き情報取得部は、前記一連の体内画像において隣接する体内画像同士の相関に基づいて前記カプセル型内視鏡の移動速度を表す情報を取得し、前記移動速度を表す情報を前記動き情報として用いることを特徴とする。
上記画像表示装置において、前記動き情報取得部は、前記一連の体内画像のうち、所定の指標によって表される類似性が基準以下である体内画像間における撮像時刻の差に基づいて、前記カプセル型内視鏡の移動速度を表す情報を取得し、前記移動速度を表す情報を前記動き情報として用いることを特徴とする。
上記画像表示装置において、前記カプセル型内視鏡は加速度センサを備え、該加速度センサによる検出データを前記体内画像と関連付けて出力し、前記動き情報取得部は、前記検出データに基づいて前記カプセル型内視鏡の移動速度を取得し、前記移動速度を前記動き情報として用いることを特徴とする。
本発明に係る画像表示方法は、被検体内に導入されて被検体内を撮像することにより画像データを生成するカプセル型内視鏡を用いた検査により取得された一連の画像を表示する画像表示方法であって、前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得ステップと、前記位置情報に基づいて、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を含み、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得ステップと、前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際のカプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成ステップと、前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定ステップと、前記表示態様決定ステップにおいて決定された表示態様で、前記位置モデルを表示する表示ステップと、を含むことを特徴とする。
本発明に係る画像表示プログラムは、被検体内に導入されて被検体内を撮像することにより画像データを生成するカプセル型内視鏡を用いた検査により取得された一連の画像を表示する画像表示装置に、前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得ステップと、前記位置情報に基づいて、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を含み、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得ステップと、前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際の前記カプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成ステップと、前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定ステップと、前記表示態様決定ステップにおいて決定された表示態様で、前記位置モデルを表示する表示ステップと、を実行させることを特徴とする。
本発明によれば、カプセル型内視鏡の通過領域を模式的に表す位置モデルを、カプセル型内視鏡の動きを表す情報に基づいて決定された表示態様で表示するので、ユーザは、カプセル型内視鏡の動きをカプセル型内視鏡の位置と関連付けて容易に認識することが可能となる。
図1は、本発明の実施の形態1に係る画像表示装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。 図2は、図1に示すカプセル型内視鏡及び受信装置の概略構成を示す図である。 図3は、図1に示す画像表示装置の概略構成を示すブロック図である。 図4は、図3に示す画像表示装置の動作を示すフローチャートである。 図5は、図3に示す位置モデル作成部が作成する位置モデルの一例であるカプセル型内視鏡の軌跡を示す模式図である。 図6は、図3に示す動き情報取得部による動き情報取得処理を説明する模式図である。 図7は、濃度パラメータの例を示す模式図である。 図8は、位置モデルとして作成された軌跡に、移動速度に応じた濃度を割り当てた例を示す模式図である。 図9は、体内画像の表示画面の一例を示す模式図である。 図10は、本発明の実施の形態1の変形例1−1における位置モデルの表示態様の例を示す模式図である。 図11は、本発明の実施の形態2に係る画像表示装置の概略構成を示すブロック図である。 図12は、図11に示す動き情報取得部の動作を説明するための模式図である。 図13は、本発明の実施の形態3に係る画像表示装置の概略構成を示すブロック図である。 図14は、図13に示す動き情報取得部の動作を説明するための模式図である。 図15は、本発明の実施の形態1〜3における位置モデルの変形例1を示す模式図である。 図16は、本発明の実施の形態1〜3における位置モデルの変形例2を示す模式図である。 図17は、本発明の実施の形態1〜3における位置モデルの変形例3を示す模式図である。 図18は、本発明の実施の形態1〜3における位置モデルの変形例4を示す模式図である。 図19は、本発明の実施の形態1〜3における位置モデルの変形例5を示す模式図である。 図20は、本発明の実施の形態1〜3における位置モデルの変形例6を示す模式図である。
以下に、本発明の実施の形態に係る画像表示装置、画像表示方法、及び画像表示プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像表示装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。図1に示すカプセル型内視鏡システム1は、患者等の被検体10内に導入されて被検体10内を撮像することにより画像データを生成し、無線信号に重畳して送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された無線信号を、被検体10に装着された受信アンテナユニット4を介して受信する受信装置3と、受信装置3から画像データを取得して所定の画像処理を施し、画像を表示する画像表示装置5とを備える。
図2は、カプセル型内視鏡2及び受信装置3の概略構成を示すブロック図である。
カプセル型内視鏡2は、被検体10が嚥下可能な大きさのカプセル形状をなす筐体に撮像素子等の各種部品を内蔵した装置であり、被検体10内を撮像する撮像部21と、被検体10内を照明する照明部22と、信号処理部23と、メモリ24と、送信部25及びアンテナ26と、バッテリ27とを備える。
撮像部21は、例えば、受光面に結像された光学像から被検体10内を表す撮像信号を生成して出力するCCDやCMOS等の撮像素子と、撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。また、照明部22は、撮像時に被検体10内に向けて光を放射するLED(Light Emitting Diode)、LD(Laser Diode)光源等により実現される。カプセル型内視鏡2は、これらの撮像部21及び照明部22をそれぞれ駆動する駆動回路等が形成された回路基板(図示せず)を内蔵しており、撮像部21及び照明部22は、カプセル型内視鏡2の一端部から外側に視野を向けた状態で、この回路基板に固定されている。
なお、図2においては、撮像部21及び照明部22をカプセル型内視鏡2の一端側に設け、カプセル型内視鏡2の一方の側を撮像可能な構成としているが、撮像部21及び照明部22を複数ずつ設け、複数方向(例えば、前方及び後方、或いは直視方向及び側視方向)を撮像可能な構成としても良い。
信号処理部23は、カプセル型内視鏡2内の各部を制御すると共に、撮像部21から出力された撮像信号をA/D変換してデジタルの画像データを生成し、さらに所定の信号処理を施す。
メモリ24は、信号処理部23が実行する各種処理プログラム、モジュール、及びルーチンや、信号処理部23において信号処理を施された画像データを一時的に記憶する。
送信部25及びアンテナ26は、メモリ24に記憶された画像データを関連情報と共に無線信号に重畳して外部に送信する。
バッテリ27は、カプセル型内視鏡2内の各部に電力を供給する。なお、バッテリ27には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。
カプセル型内視鏡2は、被検体10に嚥下された後、臓器の蠕動運動等によって被検体10の消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を所定の時間間隔(例えば0.5秒間隔)で順次撮像する。そして、この撮像動作により生成された画像データ及び関連情報を受信装置3に順次無線送信する。なお、関連情報には、カプセル型内視鏡2の個体を識別するために割り当てられた識別情報(例えばシリアル番号)等が含まれる。
受信装置3は、受信部31と、信号処理部32と、メモリ33と、データ送信部34と、操作部35と、表示部36と、制御部37と、バッテリ38とを備え、カプセル型内視鏡2から無線送信された画像データ及び関連情報を、受信アンテナユニット4を介して受信する。
受信アンテナユニット4は、複数(図1においては8個)の受信アンテナ4a〜4hを有する。各受信アンテナ4a〜4hは、例えばループアンテナを用いて実現され、被検体10の体外表面上の所定位置(例えば、カプセル型内視鏡2の通過領域である被検体10内の各臓器に対応した位置)に配置される。
受信部31は、これらの受信アンテナ4a〜4hを介して、カプセル型内視鏡2から無線送信された画像データを受信する。
信号処理部32は、受信部31が受信した画像データに所定の信号処理を施す。
メモリ33は、信号処理部32において信号処理が施された画像データ及びその関連情報を記憶する。
データ送信部34は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、制御部37の制御の下で、メモリ33に記憶された画像データ及び関連情報を画像表示装置5に送信する。
操作部35は、ユーザが受信装置3の各種設定情報等を入力する際に用いられる。
表示部36は、検査に関する登録情報(検査情報、患者情報等)や、ユーザが入力した各種設定情報等を表示する。
制御部37は、これらの受信装置3内の各部の動作を制御する。
バッテリ38は、受信装置3内の各部に電力を供給する。
受信装置3は、カプセル型内視鏡2が撮像を行っている間(例えば、カプセル型内視鏡2が被検体10に嚥下されてから排出されるまでの間)、被検体10に装着されて携帯される。受信装置3は、この間、受信アンテナユニット4を介して受信した画像データに、各受信アンテナ4a〜4hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報をメモリ33に記憶させる。カプセル型内視鏡2による撮像の終了後、受信装置3は被検体10から取り外され、今度は画像表示装置5と接続されて、メモリ33に記憶させた画像データ及び関連情報を画像表示装置5に転送する。なお、図1においては、画像表示装置5のUSBポートにクレードル3aに接続し、該クレードル3aに受信装置3をセットすることにより受信装置3と画像表示装置5とを接続している。
画像表示装置5は、例えばワークステーションやパーソナルコンピュータを用いて構成される。画像表示装置5は、受信装置3を介して取得した被検体10内の画像(以下、体内画像ともいう)に所定の画像処理を施し、所定の形式の観察画面を生成して表示する。
図3は、画像表示装置5の概略構成を示すブロック図である。図3に示すように、画像表示装置5は、入力部51と、画像データ取得部52と、制御部53と、記憶部54と、表示部55とを備える。
入力部51は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部51は、ユーザによる外部からの操作に応じた信号を制御部53に入力する。
画像データ取得部52は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、USBポートやLANポート等を含んでいる。実施の形態1において、画像データ取得部52は、USBポートに接続されるクレードル3a等の外部機器や各種通信回線を介して、受信装置3から画像データ及び関連情報を取得するデータ取得部として機能する。
制御部53は、CPU等のハードウェアによって実現され、記憶部54に記憶された各種プログラムを読み込むことにより、入力部51から入力される信号や、画像データ取得部52が取得した画像データ等に基づいて、画像表示装置5を構成する各部への指示やデータの転送等を行い、画像表示装置5全体の動作を統括的に制御する。より詳細には、制御部53は、画像処理部531と、位置情報取得部532と、位置モデル作成部533と、動き情報取得部534と、表示態様決定部535と、表示制御部536とを備える。
画像処理部531は、画像データ取得部52を介して取り込まれた一連の体内画像の画像データに対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)等の画像処理を施すことにより、表示用の画像データを生成し、記憶部54に記憶させる。また、画像処理部531は、表示用の画像データに基づいて、各体内画像の平均色を算出する平均色算出処理等の所定の画像処理を行う。
位置情報取得部532は、画像データの関連情報のうち、受信アンテナ4a〜4hが無線信号を受信した際の受信強度情報に基づいて、各体内画像の撮像時におけるカプセル型内視鏡2の位置(以下、カプセル位置という)、即ち、体内画像に写った被写体の位置を検出し、このカプセル位置を体内画像の位置情報として記憶部54に記憶させる。なお、体内画像の撮像時におけるカプセル型内視鏡2の位置の検出方法は、無線信号の受信強度に基づく方法に限定されず、磁界を用いる方法やその他の公知の種々の方法を用いることができる。一例として、特開2009−226080号公報に開示されているように、3次元空間内に駆動磁界を発生させると共に、この駆動磁界に共振するコイルをカプセル型内視鏡内に設け、カプセル型内視鏡から発生した共振磁界を検出することにより、該カプセル型内視鏡の位置を検出しても良い。
位置モデル作成部533は、位置情報取得部532が取得した位置情報に基づいて、位置モデルを作成する。位置モデルとは、被検体10内におけるカプセル型内視鏡2の通過領域を模式的に表す画像に対して各体内画像のカプセル位置を関連づけたモデルである。位置モデルとしては、カプセル型内視鏡2の軌跡を平面的又は立体的に表した画像であっても良いし、腸管の外観の模式図を平面的又は立体的に表した画像であっても良いし、腸管の内壁面を2次元的に展開した画像であっても良い。
動き情報取得部534は、被検体10内におけるカプセル型内視鏡2の動きを表す情報(以下、動き情報という)を取得する。本実施の形態1において、動き情報取得部534は、被検体10内におけるカプセル型内視鏡2の速度を取得する速度情報取得部534aを有し、該速度情報取得部534aが取得した速度情報をカプセル型内視鏡2の動き情報として用いる。
表示態様決定部535は、位置モデル上の各領域における表示態様を、該各領域と関連付けられたカプセル位置におけるカプセル型内視鏡2の動き情報に基づいて決定する。表示態様決定部535が決定する表示態様としては、位置モデル上の各領域における濃度(輝度)、色相、彩度、パターン、テクスチャ、又は陰影等が挙げられる。本実施の形態1において、表示態様決定部535は、カプセル型内視鏡2の移動速度が遅い領域ほど濃い色で(即ち、低輝度で)表示されるように、位置モデル上の各領域における表示態様を決定する。
より詳細には、表示態様決定部535は、動き情報(本実施の形態1においてはカプセル型内視鏡2の移動速度)を所定の閾値と比較する判定部535aを有し、該判定部535aによる判定結果に基づいて、位置モデル上の各領域における色の濃度を決定する。
表示制御部536は、一連の画像を所定の形式で表示部55に表示させると共に、位置モデル作成部533が作成した位置モデルを、表示態様決定部535が決定した表示態様で表示部55に表示させる。
記憶部54は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置等によって実現される。記憶部54は、画像処理部531により画像処理が施された表示用の画像データを記憶する画像データ記憶部541と、各体内画像のカプセル位置を表す位置情報を記憶する位置情報記憶部542と、位置モデル作成部533が作成した位置モデルを記憶する位置モデル記憶部543と、動き情報取得部534が取得した動き情報を体内画像と関連付けて記憶する動き情報記憶部544と、画像表示装置5を動作させて種々の機能を実行させるためのプログラムや各種情報を記憶するプログラム記憶部545とを備える。
このうち、位置モデル記憶部543は、位置モデル作成部533により体内画像のカプセル位置と関連付けられた位置モデルの他、体内画像のカプセル位置と関連づけられる前の画像、具体的には、腸管の外観を模式的に表した画像や腸管の内部を展開した画像等を予め記憶しておいても良い。これらの画像は、位置モデル作成部533が位置モデルを作成する際に読み出され、検査により取得された一連の体内画像のカプセル位置と関連づけられ、位置モデルとして更新されて位置モデル記憶部543に記憶される。
表示部55は、CRTディスプレイ、液晶ディスプレイ、ELディスプレイ等の表示装置によって実現される。表示部55は、表示制御部536の制御の下で、一連の体内画像や位置モデルや、その他関連する情報等を所定の形式で画面に表示する。
次に、画像表示装置5の動作について説明する。図4は、画像表示装置5の動作を示すフローチャートである。
まず、ステップS10において、画像表示装置5は、カプセル型内視鏡2により取得された被検体10の体内画像の画像データを、受信装置3を介して取得する。具体的には、画像表示装置5に接続されたクレードル3aに受信装置3をセットする(図1参照)ことにより、受信装置3から画像表示装置5に画像データが転送される。或いは、各種通信回線を介して受信装置3から画像表示装置5に画像データを転送しても良い。
続くステップS11において、画像処理部531は、受信装置3から転送された画像データに対応する各体内画像に対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換、平滑化、鮮鋭化等の画像処理を施すことにより、表示用の画像データを作成し、画像データ記憶部541に記憶させる。この際、画像処理部531は、各体内画像の平均色の算出等の画像処理を行っても良く、この場合、該画像処理の結果も併せて画像データ記憶部541に記憶させる。
続くステップS12において、位置情報取得部532は、画像データの関連情報(受信強度情報)に基づいて各体内画像のカプセル位置の検出(位置検出処理)を行い、検出したカプセル位置を体内画像の位置情報として、体内画像の画像データと関連付けて位置情報記憶部542に記憶させる。
続くステップS13において、位置モデル作成部533は、位置情報記憶部542から体内画像の位置情報を読み出し、該位置情報に基づいて位置モデルを作成する。本実施の形態1においては、位置モデルの一例として、図5に示すように、カプセル型内視鏡2の軌跡m1を作成する。このような軌跡m1は、体内画像のカプセル位置を順次連結することにより作成される。
続くステップS14において、動き情報取得部534は、位置モデル上の各領域と関連付けられたカプセル位置におけるカプセル型内視鏡2の動き情報を取得する。本実施の形態1においては、速度情報取得部534aが、カプセル型内視鏡2の移動速度そのものを動き情報として取得する。
図6は、動き情報取得部534による動き情報の取得処理を説明する模式図であり、位置モデルとして作成された軌跡m1と、時系列順に取得された体内画像I(t)(t=1、2、…)のカプセル位置とを対応付けて示している。なお、図6においては、説明を簡単にするために、体内画像I(t)のカプセル位置を表す軸(x軸)を直線で示している。軌跡m1を該軌跡m1が伸びる方向において均等に区切った領域a1、a2、…は、軌跡m1の表示態様の決定する際の1単位となる領域である。軌跡m1が伸びる方向における各領域a1、a2、…の長さ(画素数)は任意であり、例えば1画素であっても良いし、数画素(例えば10画素)であっても良い。
まず、速度情報取得部534aは、画像データ記憶部541から一連の体内画像に関連付けられたカプセル位置を読み出し、各体内画像I(t)(t=1、2、…)の撮像時におけるカプセル型内視鏡2の速度v(t)を算出する。カプセル型内視鏡2における撮像フレームレートf0が一定である場合、体内画像I(t)のカプセル位置をxtとすると、カプセル型内視鏡2の速度v(t)は、一例として、次式(1)によって与えられる。
v(t)=(xt−xt-1)f0 …(1)
なお、カプセル型内視鏡2の移動速度v(t)の算出方法は、式(1)を用いる方法に限定されず、例えば、体内画像I(t)の前後数枚の体内画像のカプセル位置に基づいて算出しても良い。
続いて、動き情報取得部534は、位置モデルとして作成された軌跡m1と関連付けられたカプセル位置をもとに、軌跡m1上の各領域a1、a2、…に対し、速度情報取得部534aが算出した移動速度v(t)を動き情報として関連付け、記憶部54に記憶させる。具体的には、領域a1、a2、a4、a5に対し、体内画像I(1)、I(2)、I(3)、I(4)の撮像時におけるカプセル型内視鏡2の移動速度v(1)、v(2)、v(3)、v(4)がそれぞれ関連付けられる。
ここで、領域a7、a8のように、1つの領域に対して複数の体内画像が対応している場合、動き情報取得部534は、これらの体内画像の撮像時におけるカプセル型内視鏡2の移動速度の平均値や中央値等の代表値を、当該領域における移動速度として関連付ける。具体的には、領域a7については体内画像I(5)、I(6)、領域a8については体内画像I(7)〜I(9)の撮像時におけるカプセル型内視鏡2の移動速度の平均値等が、それぞれ関連付けられる。
また、領域a3、a6のように、対応する体内画像が存在しない領域については、前後のいずれかの領域に関連付けられた移動速度を当該領域の移動速度としても良いし、前後の領域の移動速度の平均値を当該領域における移動速度としても良い。具体的には、領域a3の場合、領域a2若しくはa4の移動速度、又は領域a2及びa4の移動速度の平均値が、当該領域a3の移動速度として関連付けられる。
続くステップS15において、表示態様決定部535は、動き情報記憶部544から動き情報を読み出し、動き情報に基づいて位置モデルの表示態様を決定する。本実施の形態1においては、位置モデルを表示する所定の色を決定し、この色の濃度(輝度)を、軌跡m1上の各領域a1、a2、…に関連付けられた移動速度に応じて変化させる。具体的には、移動速度が遅い領域ほど濃い色(低輝度)となるように、表示態様を決定する。
より詳細には、判定部535aは、軌跡m1上の各領域a1、a2、…における移動速度を所定の閾値と比較することにより、移動速度を複数の速度範囲に分類する。表示態様決定部535は、この分類結果である速度範囲に応じて、各領域a1、a2、…に濃度(輝度)を表すパラメータ(以下、濃度パラメータという)を割り当てる。
図7は、濃度パラメータの例を示す模式図である。図7に示す濃度パラメータPは、値が大きいほど色が濃くなる(輝度が低くなる)ように設定されている。本実施の形態1においては、移動速度に対する「速い」、「やや速い」、「普通」、「やや遅い」、「遅い」という5段階の分類に対し、速度パラメータP=1(速い)、P=2(やや速い)、P=3(普通)、P=4(やや遅い)、P=5(遅い)がそれぞれ割り当てられる。
図8は、位置モデルとして作成された軌跡m1に、移動速度に応じた濃度を割り当てた例を模式図である。図8に示すように、カプセル型内視鏡2の移動速度が「遅い」と分類された領域には、濃度パラメータP=5(即ち、最も濃い色)が割り当てられる。反対に、カプセル型内視鏡2の移動速度が「速い」と分類された領域には、濃度パラメータP=1(即ち、最も薄い色)が割り当てられる。移動速度が「やや速い」、「普通」、「やや遅い」と分類された領域には、これらの間の濃度パラメータP=2〜4が割り当てられる。
続くステップS16において、表示制御部536は、画像データ記憶部541から画像データを読み出し、一連の体内画像を表示部55に表示させると共に、同じ画面に、ステップS15において決定した表示態様で位置モデルを表示させる。
なお、画像処理(ステップS11)は、位置モデル作成処理(ステップS12、ステップS13)の後、動き情報の取得処理(ステップS14)の後、又は位置モデルの表示態様の決定処理(ステップS15)の後で実行されてもよい。また、画像処理(ステップS11)、位置モデル作成処理(ステップS12、ステップS13)、動き情報の取得処理(ステップS14)は並列処理されてもよい。
図9は、体内画像の表示画面の一例を示す模式図である。図9に示す画面M1は、一連の体内画像が順次表示される主表示領域m10と、主表示領域m10に表示される体内画像に対する再生動作の操作に用いられる操作ボタン群m11と、位置モデル表示領域m12と、平均色バーm13とを含む。なお、カプセル型内視鏡2(図2参照)に複数の撮像部21を設け、複数方向を撮像可能な構成とする場合、これらの撮像部21に対応して、主表示領域m10を複数設けると良い。
位置モデル表示領域m12には、被検体10を模した被検体像m14と、被検体像m14に重ねられた位置モデルとしての軌跡m1が立体的に表示されている。この軌跡m1の各領域は、ステップS15において決定された表示態様で表示されている。また、軌跡m1上には、主表示領域m10に表示中の体内画像のカプセル位置を示すマーカーm15が表示されている。ユーザは、このマーカーm15の位置を参照することにより、主表示領域m10に表示中の体内画像の被検体10内における位置を概ね把握することができる。また、入力部51を用いた所定のポインタ操作によりマーカーm15を軌跡m1に沿って移動させることにより、主表示領域m10に表示される体内画像を遷移させることができる。
平均色バーm13は、画像処理部531が算出した各体内画像の平均色を、画像の並び順(即ち、撮像時刻順)に沿って帯状の領域に配置したものである。平均色バーm13には、主表示領域m10に表示中の体内画像に対応する位置を示すスライダm16が設けられている。ユーザは、平均色バーm13におけるスライダm16の位置を参照することにより、主表示領域m10に表示中の体内画像のカプセル位置を概ね把握することができる。また、入力部51を用いた所定のポインタ操作によりスライダm16を平均色バーm13に沿って移動させることにより、主表示領域m10に表示される体内画像を遷移させることができる。
ユーザは、このような画面M1において軌跡m1を参照することにより、被検体10内でカプセル型内視鏡2がどのような経路で移動したか、及び、被検体10内の各位置においてカプセル型内視鏡2がどのような動きをしたかについて、容易且つ直感的に把握することができる。具体的には、軌跡m1のうち濃い色で表示されている領域においては、カプセル型内視鏡2の移動速度が遅かったことがわかる。このような領域には、カプセル型内視鏡2が移動し難くなる要因、即ち、狭窄や病変等の異常が存在すると予測することができる。従って、ユーザは、軌跡m1のうち濃い色で表示された領域における体内画像を重点的に観察することにより、診断を効率的に行うことができる。
以上説明したように、本発明の実施の形態1によれば、被検体10内におけるカプセル型内視鏡2の通過領域を模式的に表す位置モデルの各領域を、カプセル型内視鏡2の移動速度に応じた濃度(輝度)で表示するので、ユーザは、カプセル型内視鏡2の動きを、カプセル型内視鏡2の位置と関連付けて容易に認識することが可能となる。
なお、上記実施の形態1においては、軌跡m1の各領域に対応するカプセル型内視鏡の移動速度を5つに分類し、5段階の濃度パラメータPを割り当てたが、移動速度の分類数及び濃度パラメータの段階は2つ以上であれば特に限定されない。また、移動速度の分類を省略し、軌跡m1の各領域に対し、カプセル型内視鏡2の移動速度に応じた無段階の濃度パラメータを割り当てても良い。この場合、当該検査におけるカプセル型内視鏡2の移動速度の最大値及び最小値がそれぞれ、表示部55における最低濃度(最大輝度)及び最高濃度(最小輝度)となるように、濃度パラメータを設定すると良い。
(変形例1−1)
次に、本発明の実施の形態1の変形例1−1について説明する。図10は、本変形例1−1における位置モデルの表示態様の例を示す模式図である。
上述したように、軌跡m1上の各領域a1、a2、…(図6参照)の動き情報を取得する際、1つの領域に体内画像のカプセル位置が複数関連付けられている場合がある。例えば、カプセル型内視鏡2が被検体10内の1箇所に滞留していた場合、図10に示すように、当該箇所に対応する軌跡m1上の領域Rには、複数の体内画像のカプセル位置が重複して関連付けられている。その結果、当該領域Rに対応する動き情報(カプセル型内視鏡2の移動速度)が複数存在することになる。このような場合、これらの動き情報の全てを用いて、領域Rの表示態様を決定しても良い。
詳細には、まず、軌跡m1上の領域Rに対応するカプセル位置におけるカプセル型内視鏡2の移動速度の各々を、濃度パラメータに変換する(図7参照)。そして、当該領域Rに関する濃度パラメータPを加算し、この濃度パラメータPの和を、当該領域Rにおける最終的な濃度パラメータとして用いる。例えば領域Rに関連付けられた3つのカプセル位置における濃度パラメータがそれぞれ、P=4、P=5、P=4であった場合、当該領域Rにおける濃度パラメータは最終的に、4+5+4=13として算出される。なお、この場合、軌跡m1上の各領域における濃度パラメータを算出した後、濃度パラメータの和の最小値及び最大値に応じて、各領域の濃度パラメータを規格化すると良い。
本変形例1−1によれば、カプセル型内視鏡2が被検体10内の同一箇所に滞留していた場合であっても、その箇所におけるカプセル型内視鏡2の滞在時間が位置モデル(軌跡m1)における表示態様に反映されるので、ユーザは、カプセル型内視鏡2のより実態に近い動きを把握することが可能となる。
(変形例1−2)
次に、本発明の実施の形態1の変形例1−2について説明する。
上記実施の形態1において、速度情報取得部532は、体内画像のカプセル位置に基づいてカプセル型内視鏡2の速度情報(移動速度)を算出したが、速度情報の取得方法はこれに限定されない。速度情報取得部532は、例えば、体内画像間の相関に基づいて、当該体内画像の撮像時におけるカプセル型内視鏡2の速度情報を取得しても良い。
具体的には、時系列順において隣接する体内画像間における動きベクトルを、テンプレートマッチングにより求める。この動きベクトルの大きさに基づいて速度情報を取得しても良い。
或いは、体内画像間の類似度に基づいて速度情報を取得しても良い。詳細には、速度情報の取得対象の体内画像と他の体内画像との類似性を判定する。類似性の判定方法としては、公知の種々の方法を適用することができる。具体的には、テンプレートマッチングによる正規化相互相関(NCC:Normalized Cross-Correlation)、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)等を、類似性を表す指標として用いることができる。なお、NCCは値が小さいほど画像間の類似性が低いことを示し、SSD及びSADは値が大きいほど画像間の類似性が低いことを示す。なお、類似性の判定は、速度情報の取得対象である体内画像に対して時系列順で近い方から行っていくと良い。
そして、速度情報の取得対象の体内画像に対して類似性が低い体内画像(即ち、NCCが所定値以下である体内画像、SSD又はSADが所定値以上である体内画像)のうち、速度情報の取得対象の体内画像と時系列順で最も近い体内画像を抽出し、両体内画像間に存在する他の体内画像の枚数をカウントする。この体内画像の枚数が多いほど(言い換えると、両体内画像間の撮像時刻の差が大きいほど)、単位時間当たりのカプセル型内視鏡2の移動距離が短かったといえる。従って、この体内画像の枚数(又は撮像時刻の差)の逆数を、カプセル型内視鏡2の速度情報として用いることができる。
(変形例1−3)
次に、本発明の実施の形態1の変形例1−3について説明する。
カプセル型内視鏡2の速度情報は、カプセル型内視鏡2そのものから取得しても良い。例えば、図2に示すカプセル型内視鏡2に対して加速度センサをさらに設け、加速度センサによって検出されたカプセル型内視鏡2の加速度情報(検出データ)を、画像データと共に無線送信させる。そして、画像表示装置5において、各体内画像の画像データと共に取得した加速度情報に基づいて、当該体内画像の撮像時におけるカプセル型内視鏡2の速度情報を算出することとしても良い。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図11は、本発明の実施の形態2に係る画像表示装置の構成を示すブロック図である。図11に示すように、本実施の形態2に係る画像表示装置6は、図3に示す制御部53の代わりに、制御部61を備える。
制御部61は、図3に示す動き情報取得部534の代わりに、動き情報取得部611を備える。動き情報取得部611は、被検体10内におけるカプセル型内視鏡2の経路の重なり情報を取得する重なり情報取得部611aを有し、被検体10内におけるカプセル型内視鏡2の動き情報として、カプセル型内視鏡2の経路の重なり情報を取得する。ここで、経路の重なり情報とは、カプセル型内視鏡2が被検体10内の同一箇所を往復移動した場合に、当該箇所をカプセル型内視鏡2が往路及び復路を含めて通過した回数のことである。なお、動き情報取得部611以外の制御部61の各部の構成及び動作は、実施の形態1と同様である。また、制御部61以外の画像表示装置6の各部の構成及び動作は、実施の形態1と同様である。
次に、画像表示装置6の動作について説明する。画像表示装置6の動作は、全体として実施の形態1(図4参照)と同様であり、ステップS14における動き情報の取得処理、及びステップS15における位置モデルの表示態様の決定処理が実施の形態1と異なる。
ステップS13に続くステップS14において、動き情報取得部611は、位置モデル上の各領域と関連付けられたカプセル位置におけるカプセル型内視鏡2の動き情報として、経路の重なり情報を取得する。図12は、動き情報取得部611の動作を説明するための模式図であり、被検体10内の腸管101を通過した際のカプセル型内視鏡2の経路102と、位置モデルとしての軌跡m1とを対応付けて示している。図12において、カプセル型内視鏡2は、区間R1を往復移動しているが、図を見易くするために、カプセル型内視鏡2の経路102の重なりを横方向にずらして示している。
まず、重なり情報取得部611aは、画像データ記憶部541から一連の体内画像及び各体内画像に関連付けられたカプセル位置を読み出し、これらのカプセル位置からカプセル型内視鏡2の経路102を取得する。そして、腸管101内の各区間をカプセル型内視鏡2が通過した回数、即ち、各区間に重なっている経路102の本数をカウントする。例えば図12に示す区間R2においては、経路102が3本重なっている。また、区間R3においては、経路102が5本重なっている。区間R4においては、経路102が3本重なっている。なお、図12においては、図を見易くするために、経路102の重なりを横方向にずらして示している。
動き情報取得部611は、このようにして取得された経路102の本数を、位置モデルとして作成された軌跡m1上の各領域(図6に示す領域a1、a2、…)に対応付け、重なり情報として動き情報記憶部544に記憶させる。
続くステップS15において、表示態様決定部535は、動き情報記憶部544から動き情報として重なり情報を読み出し、重なり情報に基づいて位置モデルの表示態様を決定する。本実施の形態2においては、位置モデルを表示する所定の色を決定し、カプセル型内視鏡2が通過した回数(経路102が重なった本数)が多い領域ほど濃い色(低輝度)となるように、表示態様を決定する。
より詳細には、判定部535aは、軌跡m1上の各領域における経路102の本数を所定の閾値と比較することにより、複数の範囲に分類する。表示態様決定部535は、この分類結果に応じて、軌跡m1上の各領域a1、a2…に濃度パラメータP(図7参照)を割り当てる。例えば図12の場合には、経路102の本数が5本である区間R3に対応する軌跡m1上の領域に対し、最も大きい濃度パラメータP=5を割り当てている。また、経路102の本数が3本以上5本未満である区間R2、R4に対応する軌跡m1上の領域に対し、中間の濃度パラメータP=3を割り当てている。また、経路102の本数が3本未満であるの区間(区間R1以外)に対応する軌跡m1上の領域には、最も小さい濃度パラメータP=1を割り当てている。その後のステップS16は、実施の形態1と同様である。
以上説明したように、本発明の実施の形態2によれば、カプセル型内視鏡2の位置モデルの各領域を、カプセル型内視鏡2が通過した回数に応じた濃度(輝度)で表示するので、ユーザは、カプセル型内視鏡2の動きを、カプセル型内視鏡2の位置と関連付けて容易に認識することが可能となる。従って、例えば、位置モデルにおいて濃い色で表示された領域、即ちカプセル型内視鏡2が繰り返し往復移動をした領域やその周辺領域と関連付けられた体内画像を詳細に観察することで、ユーザは、狭窄や病変等の異常を効率的に発見することが可能となる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図13は、本発明の実施の形態3に係る画像表示装置の構成を示すブロック図である。図13に示すように、本実施の形態3に係る画像表示装置7は、図3に示す制御部53の代わりに、制御部71を備える。
制御部71は、図3に示す動き情報取得部534の代わりに、動き情報取得部711を備える。動き情報取得部711は、被検体10内におけるカプセル型内視鏡2の経路の重なり情報を取得する重なり情報取得部711aと、被検体10内におけるカプセル型内視鏡2の速度情報を取得する速度情報取得部711bとを有する。動き情報取得部711は、重なり情報取得部711aが取得した重なり情報と、速度情報取得部711bが取得した速度情報とに基づいて、カプセル型内視鏡2の動き情報を求める。なお、動き情報取得部711以外の制御部71の各部の構成及び動作は、実施の形態1と同様である。また、制御部71以外の画像表示装置7の各部の構成及び動作は、実施の形態1と同様である。
次に、画像表示装置7の動作について説明する。画像表示装置7の動作は、全体として実施の形態1(図4参照)と同様であり、ステップS14における動き情報の取得処理、及びステップS15における位置モデルの表示態様の決定処理が実施の形態1と異なる。
ステップS13に続くステップS14において、動き情報取得部711は、位置モデル上の各領域と関連付けられたカプセル位置におけるカプセル型内視鏡2の動き情報として、重なり情報及び速度情報を取得する。図14は、動き情報取得部711の動作を説明するための模式図であり、被検体10内の腸管101を通過した際のカプセル型内視鏡2の経路102と、位置モデルとしての軌跡m1とを対応付けて示している。図14において、カプセル型内視鏡2は、区間R1を往復移動している。
まず、重なり情報取得部711aは、画像データ記憶部541から一連の体内画像及び各体内画像に関連付けられたカプセル位置を読み出し、腸管101に対応する軌跡m1上の各領域における重なり情報(各領域において重なっている経路102の本数)nを取得する。重なり情報の取得方法は、実施の形態2と同様である。
一方、速度情報取得部711bは、画像データ記憶部541から一連の体内画像に関連付けられたカプセル位置を読み出し、各カプセル位置におけるカプセル型内視鏡2の移動速度を算出する。なお、移動速度の算出方法は実施の形態1と同様である。或いは、変形例1−2又は1−3と同様にして移動速度を算出しても良い。
そして、速度情報取得部711bは、算出した移動速度を、移動速度が遅いほど値が大きくなる速度パラメータPvに換算する。速度パラメータPvとしては、例えば、移動速度の逆数であっても良いし、移動速度を所定の閾値を用いて複数の段階に分類し、この分類に応じて設定したパラメータであっても良い。後者の場合、具体的には、「遅い」:Pv=5、「やや遅い」:Pv=4、「普通」:Pv=3、「やや速い」Pv:=2、「速い」:Pv=1といった設定方法が挙げられる。
さらに、動き情報取得部711は、重なり情報取得部711aが取得した経路102の本数と、速度情報取得部711bが取得した速度パラメータPvとに基づいて、動き軌跡m1上の領域ごとに、カプセル型内視鏡2の動きを表す動きパラメータPtotalを算出する。パラメータPtotalは、軌跡m1上の各領域を通過する経路102の各々に速度パラメータの重みをつけて加算することにより算出される。具体的には、カプセル型内視鏡2がある領域をk回目に通過した際の速度パラメータをP(v)とすると、動きパラメータPtotalは次式(1)によって与えられる。
例えば、図14に示す区間R5をカプセル型内視鏡2が最初に通過した際(破線で囲んだ太い部分)の速度パラメータがPv=5(遅い)、2回目以降に通過した際の速度パラメータがPv=3(普通)であった場合、区間R5に対応する軌跡m1上の領域の動きパラメータPtotalは、Ptotal=5+3+3+3+3=17となる。
動き情報取得部711は、このようにして算出された動きパラメータPtotalを、軌跡m1上の各領域と関連付けて記憶部54に記憶させる。
続くステップS15において、表示態様決定部535は、動き情報記憶部544から動き情報として動きパラメータPtotalを読み出し、動きパラメータPtotalに基づいて位置モデルの表示態様を決定する。本実施の形態3においては、位置モデルを表示する所定の色を決定し、動きパラメータPtotalの値が大きい領域ほど濃い色(低輝度)となるように、表示態様を決定する。
より詳細には、判定部535aは、軌跡m1上の各領域における動きパラメータPtotalを所定の閾値と比較することにより、複数の範囲に分類する。表示態様決定部535は、この分類結果に応じて、軌跡m1上の各領域に濃度パラメータPを割り当てる(図7参照)。或いは、軌跡m1について算出された全ての動きパラメータPtotalの最大値及び最小値に基づき、表示部55の階調によって動きパラメータPtotalを規格化することにより、動きパラメータPtotalを濃度に換算しても良い。
これにより、図14に示すように、経路102の重なりの回数が同じ5本である区間R5、R6の間でも、一部において移動速度が低下している区間R5に対応する軌跡m1上の領域が、より濃い色で表示される。
以上説明したように、本発明の実施の形態3によれば、カプセル型内視鏡2の位置モデルの各領域を、カプセル型内視鏡2が通過した回数及び通過した際の移動速度に応じた濃度(輝度)で表示するので、ユーザは、より実際に近いカプセル型内視鏡2の動きを把握することが可能となる。
(位置モデルの変形例1)
以下、実施の形態1〜3に適用可能な位置モデルの変形例を説明する。上記実施の形態1〜3においては、位置モデルの一例としてカプセル型内視鏡2の軌跡m1を表示することとしたが、軌跡m1以外にも種々の位置モデルを用いることができる。
図15は、位置モデルの変形例1を示す模式図である。本変形例1においては、一連の体内画像を連結及び変形することにより、腸管の内壁面を2次元的に展開した画像m20を作成して表示部55に表示すると共に、画像m20の長手方向(即ち、腸管が伸びる方向)の辺の近傍にスケール状の位置モデルm21を配置する。この位置モデルm21の長手方向の位置は、画像m20の腸管が伸びる方向における位置に対応している。この位置モデルm21内の各領域を、カプセル型内視鏡2の動き情報に応じた表示態様で表示する。
本変形例1によれば、ユーザは、オリジナルの色調のままの画像m20を観察しつつ、位置モデルm21を参照することにより、画像m20の各位置におけるカプセル型内視鏡2の動きを容易に把握することができる。
(位置モデルの変形例2)
次に、位置モデルの変形例2を説明する。図16は、位置モデルの変形例2を示す模式図である。本変形例2においては、一連の体内画像を連結及び変形することにより、腸管の内壁面を2次元的に展開した画像を位置モデルm22として作成し、この位置モデルm22を長手方向において区切った各領域を、カプセル型内視鏡2の動き情報に応じた表示態様で表示する。
本変形例2によれば、ユーザは、腸管の内壁面の状態と、カプセル型内視鏡2の動きとを直接的に関連付けて、容易に把握することができる。
(位置モデルの変形例3)
次に、位置モデルの変形例3を説明する。図17は、位置モデルの変形例3を示す模式図である。本変形例3においては、一連の体内画像を連結及び変形することにより、腸管の内壁面を2次元的に展開した画像を位置モデルm23として作成し、この位置モデルm23を長手方向において区切った各領域を、カプセル型内視鏡2の動き情報に応じた表示態様で表示すると共に、これに重畳して、この位置モデルm23を構成する2次元領域の各部を、各部に対応付けられた体内画像の数に応じた態様で表示する。
具体的には、位置モデルm23を長手方向において区切った各領域は、カプセル型内視鏡2が通過した回数が多いほど、或いは、カプセル型内視鏡2の移動速度が遅いほど、濃い色(低輝度)で表示される。また、位置モデルm23を構成する2次元領域の各部は、各部に対応付けられた体内画像の数が多いほど(即ち、カプセル型内視鏡2の視野の変化が少ないほど)、高濃度(低輝度)で示される。例えば領域m24と領域25とでは、領域m24の方が濃く表示されているため、領域m24に対応付けられた体内画像(即ち、領域m24が写った体内画像)は、領域m25に対応付けられた体内画像よりも多いことがわかる。
(位置モデルの変形例4)
次に、位置モデルの変形例4を説明する。図18は、位置モデルの変形例4を示す模式図である。本変形例4においては、腸管の外観を表す模式図を位置モデルm30として作成し、この位置モデルm30を腸管が伸びる方向において区切った各領域を、カプセル型内視鏡2の動き情報に応じた表示態様で表示する。腸管の模式図と体内画像のカプセル位置との対応付けは、一連の体内画像から幽門や噴門等のランドマークの画像を抽出して腸管の模式図における該当箇所に対応付け、これらのランドマークを基準に、各体内画像のカプセル位置を腸管の模式図に均等に割り当てれば良い。
本変形例4によれば、ユーザは、このような位置モデルm30を参照することにより、被検体10内におけるカプセル型内視鏡2の動きを直感的に把握することが可能となる。
(位置モデルの変形例5)
次に、位置モデルの変形例5を説明する。図19は、位置モデルの変形例5を示す模式図である。本変形例5においては、腸管の外観を表す位置モデルm30に対し、ユーザ所望の位置におけるカプセル型内視鏡2の実際の軌跡をさらに表示する。
表示制御部536は、表示部55に表示された位置モデルm30に対して入力部51を用いた所定の入力操作(例えばクリック操作)がなされると、サブウィンドウm31を新たに開き、サブウィンドウm31に、入力操作がなされた位置における位置モデル(腸管の模式図)を拡大表示させると共に、拡大された位置モデルm32に、当該位置におけるカプセル型内視鏡2の軌跡m33を重畳して表示させる制御を行う。例えば図19に示すように、位置モデルm30のうち高濃度で表示された位置をクリックした場合、カプセル型内視鏡2が繰り返し往復移動した軌跡m33が表示される可能性が高い。
本変形例5によれば、ユーザは、位置モデルm30において気になる箇所におけるカプセル型内視鏡2の動きを具体的且つ視覚的に確認することが可能となる。
(位置モデルの変形例6)
次に、位置モデルの変形例6を説明する。図20は、位置モデルの変形例6を示す模式図である。
表示制御部536は、表示部55に表示されたサブウィンドウm31に対して入力部51を用いた所定の入力操作(例えばドラッグ操作)がなされると、サブウィンドウm31に表示された軌跡m33を、該入力操作に応じた方向に拡げて表示させる制御を行う。例えば図20(a)に示すように、軌跡m33を、該軌跡m33が伸びる方向と略直交する方向(図の矢印方向)にドラッグすると、図20(b)に示すように、ドラッグされた方向に軌跡m33が展開される。これにより、ユーザは、カプセル型内視鏡2の動き(往復移動した区間の長さや回数等)をより明確に把握することが可能となる。
以上説明した実施の形態1〜3及び位置モデルの変形例1〜6においては、動き情報に応じて位置モデルの各領域の濃度(輝度)を変化させることとしたが、濃度以外の種々の要素により位置モデルの表示態様を決定しても良い。
例えば、位置モデルの表示態様として、色相を変化させても良い。この場合、カプセル型内視鏡2の移動速度が遅い領域ほど、或いは、カプセル型内視鏡2が通過した回数が多い領域ほど、一般的に注意を惹きやすい赤色系を強くすると良い。また、表示態様として、色相と彩度とを組み合わせ、カプセル型内視鏡2の移動速度が遅い領域ほど、或いは、カプセル型内視鏡2が通過した回数が多い領域ほど、鮮やかな赤で示すこととしても良い。
或いは、位置モデルの表示態様として、彩度を変化させても良い。この場合、カプセル型内視鏡2の移動速度が遅い領域ほど、或いは、カプセル型内視鏡2が通過した回数が多い領域ほど、彩度を高くすると良い。
或いは、位置モデルの表示態様として、陰影を変化させても良い。この場合、カプセル型内視鏡2の移動速度が遅い領域ほど、或いは、カプセル型内視鏡2が通過した回数が多い領域ほど、陰影を強くして、奥行きを強調させると良い。
その他、位置モデルの表示態様として、パターンやテクスチャ等を各領域の動き情報に応じて変化させることとしても良い。
以上説明した本発明は、実施の形態1〜3及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 カプセル型内視鏡システム
2 カプセル型内視鏡
3 受信装置
4 受信アンテナユニット
4a〜4h 受信アンテナ
5、6、7 画像表示装置
10 被検体
21 撮像部
22 照明部
23、32 信号処理部
24、33 メモリ
25 送信部
26 アンテナ
27、38 バッテリ
31 受信部
34 データ送信部
35 操作部
36 表示部
37 制御部
51 入力部
52 画像データ取得部
53、61、71 制御部
54 記憶部
55 表示部
531 画像処理部
532 位置情報取得部
533 位置モデル作成部
534、611、711 動き情報取得部
534a、711a 速度情報取得部
535 表示態様決定部
535a判定部
536 表示制御部
541 画像データ記憶部
542 位置情報記憶部
543 位置モデル記憶部
544 動き情報記憶部
545 プログラム記憶部
611a、711b 重なり情報取得部

Claims (17)

  1. 被検体内に導入されるカプセル型内視鏡により取得された一連の体内画像を表示する画像表示装置であって、
    前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得部と、
    前記位置情報に基づいて、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を含み、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得部と、
    前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際の前記カプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成部と、
    前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定部と、
    前記表示態様決定部により決定された表示態様で、前記位置モデルを表示する表示部と、
    を備えることを特徴とする画像表示装置。
  2. 前記動き情報取得部は、
    前記位置情報に基づき、前記被検体内における前記カプセル型内視鏡の移動速度を表す速度情報を取得する速度情報取得部を備え、
    前記速度情報を前記動き情報として取得することを特徴とする請求項1に記載の画像表示装置。
  3. 前記動き情報取得部は、
    前記位置情報に基づき、前記被検体内における前記カプセル型内視鏡の移動速度を表す速度情報を取得する速度情報取得部をさらに備え、
    前記動き情報取得部が取得した前記同一箇所を通過した回数を表す情報と、前記速度情報取得部が取得した速度情報とに基づき、前記動き情報を取得することを特徴とする請求項に記載の画像表示装置。
  4. 前記動き情報取得部は、前記一連の体内画像の各々を撮像した際の前記カプセル型内視鏡の位置から取得した前記カプセル型内視鏡の経路に基づき、該経路が同一箇所に重なっている本数を、当該箇所における前記回数を表す情報として取得することを特徴とする請求項に記載の画像表示装置。
  5. 前記位置モデル作成部は、前記被検体内における前記カプセル型内視鏡の軌跡を平面的又は立体的に表した模式図をもとに前記位置モデルを作成することを特徴とする請求項1に記載の画像表示装置。
  6. 前記位置モデル作成部は、腸管の内壁面を2次元的に展開した画像をもとに前記位置モデルを作成することを特徴とする請求項1に記載の画像表示装置。
  7. 前記位置モデルは、腸管の内壁面を2次元的に展開した画像と関連付けられたスケールであることを特徴とする請求項1に記載の画像表示装置。
  8. 前記位置モデル作成部は、腸管の外観を平面的又は立体的に表した画像をもとに前記位置モデルを作成することを特徴とする請求項1に記載の画像表示装置。
  9. 外部からなされる操作に応じた信号を入力する入力部をさらに備え、
    前記表示部は、前記入力部が入力した信号に対応する前記位置モデル上の位置における前記カプセル型内視鏡の軌跡を拡大して表示することを特徴とする請求項1に記載の画像表示装置。
  10. 前記表示部は、前記入力部が入力した前記信号と異なる第2の信号に応じた方向に、前記軌跡を拡げて表示することを特徴とする請求項に記載の画像表示装置。
  11. 前記表示態様決定部は、前記動き情報が含むパラメータと所定の基準値とを比較し、該比較結果に基づいて、前記領域における表示態様を決定することを特徴とする請求項1に記載の画像表示装置。
  12. 前記表示態様決定部は、前記比較結果に基づいて、前記領域における濃度若しくは輝度、色相、彩度、パターン、テクスチャ、又は陰影を決定することを特徴とする請求項11に記載の画像表示装置。
  13. 前記動き情報取得部は、前記一連の体内画像において隣接する体内画像同士の相関に基づいて前記カプセル型内視鏡の移動速度を表す情報を取得し、前記移動速度を表す情報を前記動き情報として用いることを特徴とする請求項1に記載の画像表示装置。
  14. 前記動き情報取得部は、前記一連の体内画像のうち、所定の指標によって表される類似性が基準以下である体内画像間における撮像時刻の差に基づいて、前記カプセル型内視鏡の移動速度を表す情報を取得し、前記移動速度を表す情報を前記動き情報として用いることを特徴とする請求項1に記載の画像表示装置。
  15. 前記カプセル型内視鏡は加速度センサを備え、該加速度センサによる検出データを前記体内画像と関連付けて出力し、
    前記動き情報取得部は、前記検出データに基づいて前記カプセル型内視鏡の移動速度を取得し、前記移動速度を前記動き情報として用いることを特徴とする請求項1に記載の画像表示装置。
  16. 被検体内に導入されるカプセル型内視鏡により取得された一連の体内画像を表示する画像表示方法であって、
    前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得ステップと、
    前記位置情報に基づいて、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を含み、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得ステップと、
    前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際の前記カプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成ステップと、
    前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定ステップと、
    前記表示態様決定ステップにおいて決定された表示態様で、前記位置モデルを表示する表示ステップと、
    を含むことを特徴とする画像表示方法。
  17. 被検体内に導入されるカプセル型内視鏡により取得された一連の体内画像を表示する画像表示装置に、
    前記体内画像を撮像した際の前記カプセル型内視鏡の位置を表す位置情報を取得する位置情報取得ステップと、
    前記位置情報に基づいて、前記カプセル型内視鏡が前記被検体内の同一箇所を通過した回数を表す情報を含み、前記カプセル型内視鏡の動きを表す動き情報を取得する動き情報取得ステップと、
    前記位置情報に基づいて、前記被検体内における前記カプセル型内視鏡の通過領域を模式的に表す画像に対して前記体内画像を撮像した際の前記カプセル型内視鏡の位置を関連付けたモデルである位置モデルを作成する位置モデル作成ステップと、
    前記位置モデル上の各領域における表示態様を、該各領域に対応する前記カプセル型内視鏡の位置における前記動き情報に基づいて決定する表示態様決定ステップと、
    前記表示態様決定ステップにおいて決定された表示態様で、前記位置モデルを表示する表示ステップと、
    を実行させることを特徴とする画像表示プログラム。
JP2014193103A 2014-09-22 2014-09-22 画像表示装置、画像表示方法、及び画像表示プログラム Active JP6411834B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014193103A JP6411834B2 (ja) 2014-09-22 2014-09-22 画像表示装置、画像表示方法、及び画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193103A JP6411834B2 (ja) 2014-09-22 2014-09-22 画像表示装置、画像表示方法、及び画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2016063868A JP2016063868A (ja) 2016-04-28
JP6411834B2 true JP6411834B2 (ja) 2018-10-24

Family

ID=55803679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193103A Active JP6411834B2 (ja) 2014-09-22 2014-09-22 画像表示装置、画像表示方法、及び画像表示プログラム

Country Status (1)

Country Link
JP (1) JP6411834B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199408A1 (ja) 2016-05-19 2017-11-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2018214508A1 (zh) * 2017-05-23 2018-11-29 何东儒 体内装置感测系统
EP3826527B1 (en) * 2018-07-25 2023-12-13 Check-Cap Ltd. System and method for polyp detection through capsule dynamics
JP7479978B2 (ja) 2020-07-27 2024-05-09 株式会社日立システムズ 内視映像表示システム、内視映像表示装置及び内視映像表示方法
CN112075912B (zh) * 2020-09-10 2024-04-19 上海安翰医疗技术有限公司 胶囊内窥镜、内窥镜系统和用于内窥镜的图像获取方法
WO2023089716A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報表示装置、情報表示方法、及び、記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006009086A1 (ja) * 2004-07-16 2006-01-26 Olympus Corporation 移動状態検出装置および移動状態検出システム
JP5408850B2 (ja) * 2007-07-30 2014-02-05 オリンパス株式会社 画像解析装置および画像解析プログラム
JP2012228346A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 画像表示装置

Also Published As

Publication number Publication date
JP2016063868A (ja) 2016-04-28

Similar Documents

Publication Publication Date Title
JP6411834B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP4959445B2 (ja) 画像処理装置および画像処理プログラム
US20190034800A1 (en) Learning method, image recognition device, and computer-readable storage medium
JP5568196B1 (ja) 画像処理装置及び画像処理方法
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20160166133A1 (en) Capsule endoscope system
JPWO2018105063A1 (ja) 画像処理装置
US9877635B2 (en) Image processing device, image processing method, and computer-readable recording medium
JP5846841B2 (ja) 医用画像表示装置
JP5676063B1 (ja) 医療装置及び医療装置の作動方法
WO2016009861A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2009104316A1 (ja) 画像処理装置および画像処理プログラム
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JPWO2012153568A1 (ja) 医用画像処理装置
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2009261798A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012228346A (ja) 画像表示装置
JP2007075158A (ja) 画像表示装置
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010142375A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010046525A (ja) 画像表示装置
JP6346721B1 (ja) カプセル型内視鏡、受信装置、カプセル型内視鏡の作動方法、及びカプセル型内視鏡の作動プログラム
US20230122280A1 (en) Systems and methods for providing visual indicators during colonoscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180927

R151 Written notification of patent or utility model registration

Ref document number: 6411834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250