JP4956694B2 - 情報処理装置及びカプセル型内視鏡システム - Google Patents

情報処理装置及びカプセル型内視鏡システム Download PDF

Info

Publication number
JP4956694B2
JP4956694B2 JP2011551364A JP2011551364A JP4956694B2 JP 4956694 B2 JP4956694 B2 JP 4956694B2 JP 2011551364 A JP2011551364 A JP 2011551364A JP 2011551364 A JP2011551364 A JP 2011551364A JP 4956694 B2 JP4956694 B2 JP 4956694B2
Authority
JP
Japan
Prior art keywords
vivo image
vivo
unit
information processing
capsule endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011551364A
Other languages
English (en)
Other versions
JPWO2012042986A1 (ja
Inventor
聡美 小林
啓 高杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2011551364A priority Critical patent/JP4956694B2/ja
Application granted granted Critical
Publication of JP4956694B2 publication Critical patent/JP4956694B2/ja
Publication of JPWO2012042986A1 publication Critical patent/JPWO2012042986A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、被検体内に導入されたカプセル型内視鏡が取得した体内画像を表示する情報処理装置及びカプセル型内視鏡システムに関する。
従来、被検体内に導入されて体内を撮像するカプセル型内視鏡を用いた被検体の診察においては、カプセル型内視鏡によって取得された体内画像群を、疑似動画もしくは静止画一覧にて観察を行い、異常所見のあるものを選び出す作業が行われている。この作業は読影と呼ばれる。カプセル型内視鏡により撮像された体内画像群は、例えば約6万枚(約8時間分)にも上るため、所定の特徴を有する画像を抽出する等して読影作業を効率化する技術が提案されている(例えば、特許文献1参照)。
また、異常所見が発見された場合には、それが被検体内のどの箇所(どの臓器)であるかを特定する必要がある。そのために、例えば、被検体内におけるカプセル型内視鏡の位置を特定したり、カプセル型内視鏡の軌跡を求める方法が提案されている(例えば、特許文献2及び3参照)。
国際公開第2008/041401号 特開2006−187611号公報 特開2010−69208号公報
通常、被検体内におけるカプセル型内視鏡の軌跡は、各体内画像が撮像された位置を取得し、この位置を時系列につなぐことにより求められる。しかしながら、カプセル型内視鏡は、被検体の消化管内を蠕動運動により移動するため、同じ箇所を何度か往復運動する等して、見た目上複雑な軌跡を示すことがある。このような場合、撮像時刻順に並べられた体内画像は、必ずしも、消化管の上流から下流に向かう経路に沿った順序で並んでいるとは言えない。
本発明は、上記に鑑みてなされたものであり、消化管の経路に沿った体内画像群を生成することができる情報処理装置及びカプセル型内視鏡システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、被検体の体内画像を撮像するカプセル型内視鏡から、該カプセル型内視鏡と無線通信を行う受信装置を介して取得され、撮像時刻順に並ぶ一群の体内画像データについて画像処理を施す情報処理装置であって、前記体内画像データと、該体内画像データに関連付けられ、前記被検体内における前記カプセル型内視鏡の位置に関連する情報とを格納する記憶部と、前記位置に関連する情報に基づいて、当該体内画像の撮像時における前記カプセル型内視鏡の位置情報を取得する位置情報取得部と、前記体内画像データに基づいて、所定の体内画像間の相関度を算出する相関度算出部と、前記位置情報取得部により取得された前記位置情報と、前記相関度算出部により算出された前記相関度とに基づいて、前記体内画像の並び順を入れ替える入れ替え部とを備えることを特徴とする。
上記情報処理装置において、前記入れ替え部は、点検対象である第1の体内画像の位置座標の所定範囲内に点検済みの第2の体内画像の位置座標が存在し、且つ、前記第1の体内画像と前記第2の体内画像との相関度が基準より高い場合に、前記第1及び第2の体内画像、並びに、該第2の体内画像の直前又は直後に並んでいる第3の体内画像の前記並び順を入れ替えることを特徴とする。
上記情報処理装置において、前記相関度は、固定ブロックの相関値、ブロックマッチング法により求められたテンプレートの移動量、又は、体内画像の明るさ変化率に基づいて判定されることを特徴とする。
上記情報処理装置において、前記入れ替え部は、前記第1、第2、及び第3の体内画像の位置座標を連結する経路が最短となるように、前記並び順を入れ替えることを特徴とする。
上記情報処理装置は、前記入れ替え部によって入れ替えられた並び順に基づいて前記体内画像を表示する表示部をさらに備えることを特徴とする。
上記情報処理装置は、前記位置情報と、前記入れ替え部によって入れ替えられた前記体内画像の並び順とに基づいて、前記カプセル型内視鏡の軌跡を算出する軌跡算出部をさらに備えることを特徴とする。
上記情報処理装置において、前記軌跡算出部は、前記記憶部に格納された前記位置に関する情報に基づいて前記カプセル型内視鏡の軌跡を算出し、前記入れ替え部によって入れ替えられた前記並び順に従って、前記軌跡を修正することを特徴とする。
上記情報処理装置において、前記入れ替え部は、点検対象である第1の体内画像の位置座標の所定範囲内を、算出された軌跡の部分が通過する場合に、当該軌跡の部分の異なる端点を位置座標とする第2及び第3の体内画像に基づいて前記軌跡の部分が前記第1の体内画像の位置座標を経由するか否かの判定を行い、前記軌跡の部分が前記第1の体内画像の位置座標を経由する場合に、前記第1、第2、及び第3の体内画像の前記並び順を入れ替えることを特徴とする。
上記情報処理装置において、前記判定は、前記第1の体内画像と前記第2及び第3の体内画像間の補間画像との類似度、オプティカルフロー、又はブロックマッチング法により求められたテンプレートの移動ベクトルに基づいて行われることを特徴とする。
上記情報処理装置において、前記入れ替え部は、前記位置情報及び前記相関度に基づいて、撮像位置が近接する体内画像群又は撮像位置が同一の体内画像群を特定する特定部を有することを特徴とする。
上記情報処理装置において、前記表示部は、前記特定部により特定された体内画像群の一部を間引きして表示することを特徴とする。
本発明に係るカプセル型内視鏡システムは、被検体の体内に導入されて撮像を行い、該被検体の体内画像を表す体内画像データを生成するカプセル型内視鏡と、前記カプセル型内視鏡により生成された体内画像データを無線通信により受信する受信装置と、上記情報処理装置とを備えることを特徴とする。
本発明によれば、体内画像の位置情報と所定の体内画像同士の相関度とに基づいて体内画像の並び順を入れ替えるので、カプセル型内視鏡の往復運動等の影響を低減して、消化管の経路に沿った体内画像群を生成することが可能となる。
図1は、本発明の実施の形態1に係るカプセル型内視鏡システムの概略構成を示す模式図である。 図2は、図1に示すカプセル型内視鏡の概略構成を示す模式図である。 図3は、図1に示すカプセル型内視鏡及び受信装置の構成を示すブロック図である。 図4は、図1に示す情報処理装置の構成を示すブロック図である。 図5は、図4に示す情報処理装置の動作を示すフローチャートである。 図6は、図4に示す情報処理装置において実行される軌跡算出処理を示すフローチャートである。 図7は、軌跡算出処理を説明するための図である。 図8は、検出された軌跡が点検対象の体内画像を経由するか否かの判定方法を説明するための図である。 図9は、表示部に表示される読影画面の表示例を示す模式図である。 図10は、本発明の実施の形態2に係る情報処理装置の構成を示すブロック図である。 図11は、図10に示す情報処理装置の動作を示すフローチャートである。 図12は、図10に示す情報処理装置において実行される軌跡修正処理を示すフローチャートである。 図13は、軌跡修正処理を説明するための図である。
以下に、本発明の実施の形態に係るカプセル型内視鏡システムについて、図面を参照しながら説明する。なお、以下の説明において、一例として、被検体の体内に導入された体内画像を撮像するカプセル型内視鏡を含むシステムを例示するが、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1に係るカプセル型内視鏡システムの概略構成を示す模式図である。このカプセル型内視鏡システム1は、被検体10の体内に導入されて撮像を行い、体内画像の画像データを受信装置3に無線送信するカプセル型内視鏡2と、カプセル型内視鏡2から無線送信された体内画像データを受信する受信装置3と、受信装置3が受信した体内画像データに基づいて体内画像を表示する情報処理装置5とを備える。
カプセル型内視鏡2は、被検体10の口から飲み込まれた後、臓器の蠕動運動等によって被検体10の臓器内部を移動しつつ、被検体10の体内を所定の時間間隔(例えば0.5秒間隔)で順次撮像して得られた撮像信号に対して所定の信号処理を施すことにより、体内画像データを生成する。また、カプセル型内視鏡2は、被検体10の体内画像を撮像する都度、生成された体内画像データを外部の受信装置3に対して順次無線送信する。カプセル型内視鏡2には、カプセル型内視鏡の個体を識別するための識別情報(例えばシリアル番号)が割り当てられており、この識別情報も体内画像データと共に無線送信される。
受信装置3は、複数の受信アンテナ41a〜41hを有するアンテナユニット4を備える。各受信アンテナ41a〜41hは、例えばループアンテナを用いて実現され、被検体10の体外表面上の所定位置(例えば、カプセル型内視鏡2の通過経路である被検体10内の各臓器に対応した位置)に配置される。なお、受信アンテナ41a〜41hの配置は、検査又は診断等の目的に応じて任意に変更しても良い。また、アンテナユニット4に設けられるアンテナ数は、受信アンテナ41a〜41hとして示す8個に限定して解釈する必要はなく、8個より少なくても多くても構わない。
受信装置3は、カプセル型内視鏡2により撮像が行われている間(例えば、被検体10の口から導入され、消化管内を通過して排出されるまでの間)、被検体10に携帯され、カプセル型内視鏡2から無線送信された体内画像データを、アンテナユニット4を介して受信する。受信装置3は、受信した体内画像データを、内蔵するメモリに格納する。また、受信装置3は、体内画像を受信した際の各受信アンテナ41a〜41hの受信強度情報や、受信した時刻を表す時刻情報を、上記体内画像データに対応付けて上記メモリに格納する。なお、これらの受信強度情報及び時刻情報は、カプセル型内視鏡2の位置に関連する情報として、情報処理装置5において使用される。カプセル型内視鏡2による撮像の終了後、受信装置3は被検体10から取り外され、体内画像データ等の情報の転送(ダウンロード)のため、情報処理装置5に接続される。
情報処理装置5は、CRTディスプレイや液晶ディスプレイ等の表示部を備えたワークステーション又はパーソナルコンピュータによって実現され、受信装置3を介して取得した体内画像データ及び位置に関連する情報に所定の処理を施して、体内画像を表示部に表示する。また情報処理装置5には、キーボード、マウス等の操作入力デバイス5bが接続される。或いは、操作入力デバイス5bとして、表示部に重畳して設けられるタッチパネルを用いても良い。ユーザ(読影者)は、これらの操作入力デバイス5bを操作しつつ、情報処理装置5に順次表示される被検体10の体内画像を読影することにより、被検体10内部の生体部位(例えば食道、胃、小腸、および大腸等)を観察(検査)し、これをもとに、被検体10を診断する。
また、情報処理装置5は、例えば、USB(Universal Serial Bus)ポートを備え、このUSBポートを介して、クレードル5aが接続される。クレードル5aは、受信装置3のメモリから体内画像データを読み取る読取装置である。クレードル5aに受信装置3を装着すると、受信装置3が情報処理装置5と電気的に接続され、受信装置3のメモリに格納された体内画像データやその関連情報(受信強度情報及び時刻情報、並びにカプセル型内視鏡2の識別情報)が情報処理装置5に転送される。情報処理装置5は、このようにして被検体10に関する一連の体内画像データ及びその関連情報を取得し、さらに後述する処理を実行することにより、体内画像を表示する。なお、情報処理装置5をプリンタ等の出力装置に接続し、この出力装置に体内画像を出力しても良い。
なお、情報処理装置5は、上記説明以外にも、種々の方法でカプセル型内視鏡2によって撮像された体内画像データを取得することができる。例えば、受信装置3において、内蔵メモリの代わりに、USBメモリやコンパクトフラッシュ(登録商標)のように、受信装置3から着脱可能なメモリを用いても良い。この場合、カプセル型内視鏡2からの体内画像データをメモリに格納した後、このメモリのみを受信装置3から外し、例えば情報処理装置5のUSBポート等にメモリを挿入等すれば良い。或いは、情報処理装置5に外部装置との通信機能を設け、有線または無線通信によって受信装置3から体内画像データを取得するようにしても良い。
次に、カプセル型内視鏡システム1を構成する各装置について詳しく説明する。図2は、カプセル型内視鏡2の一構成例を示す模式図である。また、図3は、カプセル型内視鏡2及び受信装置3の構成を示すブロック図である。
図2に示すように、カプセル型内視鏡2は、一方の端が半球状のドーム形状をしており他方の端が開口した略円筒形状又は半楕円球状の容器2bと、容器2bの開口に嵌められることで容器2b内を水密に封止する半球形状の光学ドーム2aとからなるカプセル型容器(筐体)内に収容される。このカプセル型容器(2a、2b)は、例えば被検体10が飲み込める程度の大きさである。また、本実施の形態において、少なくとも光学ドーム2aは透明な材料により形成される。
また、図2及び図3に示すように、カプセル型内視鏡2は、被検体10の内部を撮像する撮像部21と、撮像時に被検体10内部を照明する照明部22と、撮像部21及び照明部22をそれぞれ駆動する駆動回路等が形成された回路基板23と、信号処理部24と、メモリ25と、送信部26及びアンテナ27と、バッテリ28とを備える。
撮像部21は、例えば、受光面に結像された光学像から被検体内画像の画像データを生成するCCDやCMOS等の撮像素子21aと、撮像素子21aの受光面側に配設された対物レンズ等の光学系21bとを含む。また、照明部22は、撮像時に被検体10内に向けて光を放射するLED(Light Emitting Diode)等により実現される。これらの撮像素子21a、光学系21b、及び照明部22は、回路基板23に搭載される。
撮像部21の駆動回路は、後述する信号処理部24の制御の下で動作し、例えば定期的(例えば1秒間に2コマ)に被検体10内の画像を表す撮像信号を生成して信号処理部24に入力する。なお、以下の説明において、撮像部21及び照明部22は、ぞれぞれの駆動回路を含むものとして説明する。
撮像部21及び照明部22が搭載された回路基板23は、撮像素子21aの受光面及び照明部22の光放射方向が光学ドーム2aを介して被検体10内を向いた状態でカプセル型容器(2a、2b)内の光学ドーム2a側に配置される。従って、撮像部21の撮像方向及び照明部22の照明方向は、図2に示すように、光学ドーム2aを介してカプセル型内視鏡2の外側へ向いている。これにより、照明部22によって被検体10内部を照明しつつ撮像部21によって被検体10内部を撮像することが可能となる。
信号処理部24は、カプセル型内視鏡2内の各部を制御すると共に、撮像部21から出力された撮像信号をA/D変換してデジタルの体内画像データを生成し、さらに所定の信号処理を施す。メモリ25は、信号処理部24が実行する各種動作や、信号処理部24において信号処理を施された体内画像データを一時的に格納する。送信部26及びアンテナ27は、メモリ25に格納された体内画像データを、カプセル型内視鏡2の識別情報と共に無線信号に重畳して外部に送信する。バッテリ28は、カプセル型内視鏡2内の各部に電力を供給する。なお、バッテリ28には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。
一方、受信装置3は、受信部31と、信号処理部32と、メモリ33と、インタフェース(I/F)部34と、操作部35と、表示部36と、バッテリ37とを備える。受信部31は、カプセル型内視鏡2から無線送信された体内画像データを、受信アンテナ41a〜41hを介して受信する。信号処理部32は、受信装置3内の各部を制御すると共に、受信部31において受信された体内画像データに所定の信号処理を施す。メモリ33は、信号処理部32が実行する各種動作や、信号処理部32において信号処理を施された体内画像データ及びその関連情報(受信強度情報及び時刻情報等)を格納する。インタフェース部34は、メモリ33に格納された画像データを、クレードル5aを介して情報処理装置5に送信する。操作部35は、ユーザが受信装置3に対して各種操作指示や設定を入力する。表示部36は、ユーザへ各種情報を報知又は表示する。バッテリ37は、受信装置3内の各部に電力を供給する。
図4は、情報処理装置5の構成を示すブロック図である。図4に示すように、情報処理装置5は、インタフェース(I/F)部51と、一時記憶部52と、画像処理部53と、位置情報取得部54と、入れ替え部55と、相関度算出部56と、軌跡算出部57と、検査情報作成部58と、記憶部59と、表示制御部60と、表示部61とを備える。
インタフェース部51は、クレードル5aを介して入力される体内画像データ及びその関連情報や、操作入力デバイス5bを介して入力される種々の命令や情報を受け付ける。
一時記憶部52は、DRAMやSRAM等の揮発性メモリによって実現され、受信装置3からインタフェース部51を介して入力された体内画像データやその関連情報を一時的に格納する。或いは、一時記憶部52の代わりに、HDD(ハードディスクドライブ)、MO(光磁気ディスク)、CD−R、DVD−R等の記録媒体及び該記録媒体を駆動する駆動装置を設け、インタフェース部51から入力された体内画像データを上記記録媒体に一旦格納しても良い。
画像処理部53は、一時記憶部52に格納された体内画像データに対して、ホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)、画像認識等の各種画像処理を施す。画像認識処理は、具体的には、腫瘍性、血管性、出血性等の病変部の特徴画像領域の検出や、臓器の識別や、出血箇所を検出するための平均色の演算等を含む。
位置情報取得部54は、一時記憶部52に格納された受信強度情報及び時刻情報に基づいて位置推定処理を実行することにより、各体内画像の撮像時におけるカプセル型内視鏡2の位置座標を表す情報(位置情報)を取得する。具体的には、位置情報取得部54は、ある時刻に受信された体内画像データに対応付けられた各受信アンテナ41a〜41hの受信強度を一時記憶部52から取得し、各受信アンテナ41a〜41hを中心とし、受信強度に応じた距離を半径とする球面状の領域を抽出する。なお、受信強度が弱くなるほど、この半径は大きくなる。これらの領域の交差する位置が、その時刻におけるカプセル型内視鏡2の位置、即ち、当該体内画像が撮像された被検体10内の位置(以下、単に「体内画像の位置」という)と推定される。取得された位置情報は、体内画像及び時刻情報に関連付けられて記憶部59に格納される。
なお、位置推定処理の具体的方法については、上記以外にも、既知の様々な方法を適用することができる。また、位置推定処理は、必ずしも全ての体内画像について時系列に行う必要はなく、所定の密度でサンプリングして行っても良い。
入れ替え部55は、当初撮像時刻順に並んでいる体内画像の並び順を、位置情報取得部54によって取得された位置情報及び後述する相関度算出部56において算出された相関度に基づいて入れ替える。具体的には、入れ替え部55は、並び順の入れ替えを行うか否かの判定対象とする体内画像を位置情報に基づいて抽出し、これらの体内画像の相関度を所定の基準に従って評価することにより、一連の体内画像が消化管内を上流から下流に向かって表すように入れ替える。また、入れ替え部55は、体内画像間の相関度に基づいて、カプセル型内視鏡2が往復運動を行ったか否かを判定する判定部55aと、判定部55aにより往復運動を行ったと判定された場合に、重複して撮影されたと判断される体内画像を特定する特定部55bとを有する。
相関度算出部56は、入れ替え部55において判定の対象とされた体内画像間の相関度を算出する。
軌跡算出部57は、入れ替え部55において入れ替えられた体内画像の並び順に従い、各体内画像の位置座標を順次連結することにより、カプセル型内視鏡2が被検体10内に導入されてから排出されるまでの間に通過した軌跡を算出する。
検査情報作成部58は、操作入力デバイス5bを介して入力された情報に基づいて、当該検査に関する情報を作成する。具体的には、患者である被検体10を識別するための患者情報(ID、氏名、性別、年齢、生年月日等)や、被検体10に対する診察内容を識別するための診察情報(病院名、カプセル投与医師(看護師)名、カプセル投与日時、データ取得日時、カプセル型内視鏡2のシリアル番号、受信装置3のシリアル番号等)が含まれる。なお、これらの検査情報は、受信装置3から体内画像データが転送される前に予め作成しておいても良いし、体内画像データの転送後に作成しても良い。
記憶部59は、情報処理装置5において実行される種々の処理プログラムの他、画像処理部53によって画像処理を施された体内画像データ、位置情報取得部54によって得られた位置情報、軌跡算出部57によって算出された軌跡データ、検査情報作成部58によって作成された検査情報等を格納する。記憶部59は、例えば、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の半導体メモリや、HDD(ハードディスクドライブ)、MO(光磁気ディスク)、CD−R、DVD−R等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。
表示制御部60は、体内画像及びカプセル型内視鏡2の軌跡を含む読影画面、その他種々の情報を所定の形式で表示するよう表示部61を制御する。
表示部61は、CRTディスプレイや液晶ディスプレイによって実現され、表示制御部60の制御の下で、被検体10の体内画像を含む読影画面や種々の情報を表示する。
次に、図5を参照しながら、情報処理装置5の動作について説明する。図5は、情報処理装置5の動作を示すフローチャートである。
ステップS101において、受信装置3がクレードル5aに装着されると(ステップS101:Yes)、受信装置3のメモリ33に格納された体内画像データ及びその関連情報の情報処理装置5への転送が開始される(ステップS102)。転送された体内画像データ等は、一時記憶部52に格納される。なお、受信装置3がクレードル5aに装着されない場合(ステップS101:No)、情報処理装置5は、受信装置3が装着されるのを待機する。
ステップS103において、体内画像データ等の転送が完了すると(ステップS103:Yes)、画像処理部53は、一時記憶部52に格納された体内画像データについて画像処理を行い、位置情報取得部54は、一時記憶部52に格納された受信強度情報及び時刻情報に基づいて、各体内画像の位置を取得する(ステップS104)。画像処理を施された体内画像データ及び各体内画像の位置を表す位置情報は、記憶部59に格納される。
続くステップS105において、情報処理装置5は、撮像時刻順に並んでいる体内画像の位置座標を点検して適宜並び順を入れ替えつつ、軌跡の算出を行う。この処理は、点検対象の体内画像があれば(ステップS106:Yes)、繰り返し実行される。
ステップS106において、点検対象となる体内画像がなくなると(ステップS106:No)、記憶部59は、軌跡算出部57において算出された軌跡データを格納する(ステップS107)。さらに、ステップS108において、表示制御部60は、画像処理を施された体内画像データ及び軌跡データを記憶部59から読み出し、読影画面を表示部61に表示させる。なお、読影画面の表示例については後述する。
次に、ステップS105における軌跡算出処理について、図6及び図7を参照しながら説明する。図6は、情報処理装置5において実行される軌跡算出処理を示すフローチャートである。また、図7(a)〜(e)は、軌跡算出処理を説明するための模式図である。図7(a)〜(e)の各々には、体内画像の位置がポイントa〜hで示されている。各ポイントa〜hに附された括弧内の数値(1)〜(8)は、ポイントa〜hにおける体内画像の並び順を示す。当初、ポイントa〜hにおける体内画像は撮像時刻順に並んでいるため、図7(a)においては、符号a〜hの順序と、そこに附された並び順(1)〜(8)とが対応している。また、図7(a)には、ポイントaに至るまでに算出された軌跡T1が示されている。
まず、ステップS111において、入れ替え部55は、点検対象とする体内画像を抽出し、その体内画像の位置座標を含む位置情報を取得する。点検対象の抽出順序は特に限定されず、全ての点検対象をカバーできれば良い。実施の形態1においては、既に軌跡T1が算出されたポイントaにおける体内画像(並び順1)の次に撮像された体内画像(ポイントb、並び順2)から、当初の並び順(2)〜(8)に沿って点検を行うものとする。
ステップS112において、入れ替え部55は、点検対象の体内画像の近傍で撮像された点検済みの体内画像が存在する否かを点検する。具体的には、点検対象の体内画像の位置座標を中心とする所定範囲(例えば、所定の辺を有する立方体内、所定の半径を有する球体内)内に、点検済みの体内画像の位置座標が存在するか否かを判定する。なお、この所定範囲の大きさ(例えば、立方体の1辺の長さ、球体の半径等)は、例えば、撮像フレームレートとカプセル型内視鏡2の平均的な移動速度とに基づいて決定すれば良い。或いは、位置の推定精度(位置推定処理を行ったサンプリング密度)に基づいて、上記所定範囲の大きさを決定しても良い。例えば、図7(a)に示すポイントbを点検すると、所定範囲A(b)内に点検済みのポイントは存在しない。このように、点検対象のポイントの所定範囲内に点検済みのポイントが存在しない場合(ステップS112:No)、動作はステップS113に移行する。
ステップS113において、入れ替え部55は、点検対象の体内画像の位置の近傍に算出済みの軌跡が存在するか否かを点検する。具体的には、点検対象の体内画像に対応するポイントの所定範囲内を軌跡が通過しているか否かを判定する。例えば、図7(a)に示すポイントbの場合、所定範囲A(b)内を通過する軌跡は存在しない。このように、算出済みの軌跡が点検対象のポイントの所定範囲内を通過していない場合(ステップS113:No)、動作はステップS114に移行する。
ステップS114において、軌跡算出部57は、点検対象の体内画像の位置と、当該体内画像の直前に並んでいる体内画像の位置とを連結する軌跡の算出を行う。その結果、図7(b)に示すように、ポイントaとポイントbとを連結する軌跡T2が作成される。
次に、ステップS112において点検対象の体内画像の近傍で撮像された点検済みの体内画像が存在する場合(ステップS112:Yes)の処理について説明する。例えば、図7(b)に示すポイントcについて点検すると、所定範囲A(c)内にポイントaが含まれることがわかる。
このような場合、相関度算出部56は、点検対象の体内画像と、撮像位置が近いと判定された体内画像(比較対象の体内画像)との間の相関度を算出する(ステップS121)。相関度としては、例えば、固定ブロックの相関値、ブロックマッチング法により求められたテンプレートの移動量(ベクトルの大きさ)、体内画像の明るさ変化率等、既知の様々な指標を用いることができる。例えば、点検対象の体内画像と比較対象の体内画像とで対応する固定ブロックの相関値が高いほど、相関度は高くなる。また、ブロックマッチング法においては、点検対象の体内画像と比較対象の体内画像との間におけるテンプレートの移動量が小さいほど、相関度は高くなる。さらに、点検対象の体内画像と比較対象の体内画像との間の明るさ変化率が低いほど、両者の相関度は高くなる。
ステップS122において、判定部55aは、相関度算出部56において算出された相関度が高いか否か、言い換えれば、被検体10内においてカプセル型内視鏡2がどのような動きをしたかを判定する。ここで、互いに位置が近い体内画像間の相関度は、例えば、以下の(i)〜(iii)に説明する影響を受けると考えられる。
(i)相関度が非常に高くなる場合
例えば、被検体10内でカプセル型内視鏡2が往復運動することにより、同じ箇所が重複して撮像された場合、体内画像間の相関度は非常に高くなるものと考えられる。
(ii)相関度が中程度〜高くなる場合
例えば、被検体10内の腸の動きはあるものの、カプセル型内視鏡2が滞留して移動距離が短かった場合や、ある程度の範囲内をカプセル型内視鏡2が往復運動して、比較的近傍の箇所が撮像された場合には、相関度は中程度〜高くなるものと考えられる。
(iii)相関度が低くなる場合
例えば、腸管内の異なる箇所が撮像された場合であっても、腸の蛇行により位置が重なっている場合には、体内画像同士の位置は近いと判断される。この場合、体内画像間の相関度は低くなる。
そこで、実施の形態1においては、相関度が中程度以上の場合(上記(i)及び(ii)の場合)に、体内画像間の相関度が高いと判定し、相関度が低い場合(上記(iii)の場合)に、体内画像間の相関度が低いと判定する。
体内画像間の相関度が高いと判定された場合(ステップS122:Yes)、入れ替え部55は、点検対象の体内画像、並びに比較対象及びその直前又は直後の体内画像の位置情報に基づいて、体内画像の並び順を入れ替える(ステップS123)。また、このとき、特定部55bは、相関度が高い体内画像同士を、撮像位置が近接する体内画像群であると特定し、共通のグループに属する体内画像として取り扱えるように体内画像データにフラグを立てる。或いは、特定部55bは、相関度が非常に高い体内画像同士を、撮像位置が同一と見られる体内画像群であると特定して体内画像データにフラグを立てても良い。一方、体内画像間の相関度が低いと判定された場合(ステップS122:No)、元の並び順のまま、動作はステップS114に移行する。
例えば、図7(b)に示すポイントcにおける体内画像(点検対象)と、ポイントaにおける体内画像(比較対象)との相関度が高いと判定された場合、被検体10内のポイントa付近においてカプセル型内視鏡2が往復運動し、その過程のポイントcにおいて撮像が行われたと考えられる。このような場合、入れ替え部55は、ポイントaの直前又は直後に並んだポイント(図7(b)の場合、ポイントb)の位置座標を抽出し、それらの3点を通過する経路が最短となるように体内画像の並び順を入れ替える。それにより、当初のポイントa(1)→ポイントb(2)→ポイントc(3)という並び順が、図7(c)に示すように、ポイントa(1)→ポイントc(2)→ポイントb(3)の順に入れ替えられる。
続くステップS114において、軌跡算出部57は、入れ替え後の並び順に基づいて、軌跡を算出する。それにより、ポイントaとポイントbを連結する軌跡T2が削除され、ポイントa、ポイントc、及びポイントbをこの順で連結する軌跡T3が追加される。
次に、ステップS113において、点検対象の体内画像の位置の近傍に算出済みの軌跡が存在する場合(ステップS113:Yes)の処理について説明する。例えば、図7(c)に示すポイントdについて点検すると、所定範囲A(d)内を軌跡T3が通過していることがわかる。
このような場合、入れ替え部55は、検出された軌跡が点検対象の体内画像の位置を経由するものであるか否かの判定を行う(ステップS131)。この判定は、例えば次の(i)〜(iii)に挙げるいずれかの手法を用いて行われる。
(i)補間画像との類似度判断
例えばポイントdについて判定する場合、検出された軌跡T3の両端のポイントc及びポイントbにおける体内画像に基づき、補間画像を作成する。この補間画像は、体内画像相互の位置関係(体内画像間の距離等)を考慮して作成すると良い。例えば、図8に示すように、ポイントdを軌跡T3に投影した位置d’における補間画像を作成する。そして、この補間画像とポイントdにおける体内画像との類似度を算出する。類似度としては、相関係数や明るさの変化率やそれらの組み合わせ等、様々な指標を用いることができる。例えば、相関係数が大きいほど類似度は高くなる。また、明るさの変化率が低いほど類似度は高くなる。類似度が高い場合、軌跡T3はポイントdを経由すると判定される。一方、類似度が低い場合、軌跡T3はポイントdを経由しないと判定される。
(ii)オプティカルフロー
オプティカルフローとは、異なる時刻に撮像された2枚の画像間に映る同一の対象(被写体位置)の対応付けを行い、その移動量をベクトルデータとして表したもののことである。なお、オプティカルフローの算出方法としては、ブロックマッチングや勾配法等の既知の方法が用いられる。ポイントdについて判定する場合には、ポイントdがポイントcとポイントbとの間に位置すると仮定して、ポイントcとポイントdとの間、及びポイントdとポイントbとの間についてオプティカルフローを算出し、それらのオプティカルフローが滑らかに繋がるか否かを判定する。滑らかに繋がる場合、軌跡T3はポイントdを経由すると判定される。一方、滑らかに繋がらない場合、軌跡T3はポイントdを経由しないと判定される。
(iii)ブロックマッチングによる相関度の算出
例えばポイントdについて判定する場合、ポイントcにおける体内画像とポイントdにおける体内画像との間、及びポイントdにおける体内画像とポイントbにおける体内画像との間でそれぞれブロックマッチングを行い、マッチングするテンプレートの個数を求める。ポイントcとポイントdとの間、及びポイントdとポイントbとの間でそれぞれマッチングするテンプレートの個数が所定の閾値以上である場合、ポイントdはポイントc及びポイントbの双方と相関が高く、軌跡T3はポイントdを経由すると判定される。一方、ポイントcとポイントdとの間、及びポイントdとポイントbとの間のいずれか、又は両方で、マッチングするテンプレートの個数が閾値未満である場合、軌跡T3はポイントdを経由しないと判定される。或いは、マッチングするテンプレートの個数の代わりに、ブロックマッチングを行った際の相関係数の総和や相関係数の最大値を求め、それらの値と所定の閾値とを比較することにより、軌跡T3がポイントdを経由するか否かを判定しても良い。
検出された軌跡が点検対象の体内画像の位置を経由すると判定された場合(ステップS131:Yes)、入れ替え部55は、点検対象の体内画像と、検出された軌跡の両端のポイントにおける体内画像の並び順の入れ替えを行う(ステップS132)。例えば、軌跡T3がポイントdを経由すると判定された場合、入れ替え部55はこの判定に従い、ポイントc(2)→ポイントd(3)→ポイントb(4)の順となるように、体内画像の並び順を入れ替える。続くステップS114において、軌跡算出部57は、ポイントcとポイントbとを連結する軌跡T3を削除し、ポイントc、ポイントd、ポイントbをこの順で連結する軌跡T4を追加する(図7(d)参照)。
一方、検出された軌跡が点検対象の画像を経由しないと判定された場合(ステップS131:No)、元の並び順のまま、動作はステップS114に移行する。
このようなステップS111〜S114、S121〜S123、及びS131〜S132に示す処理を、ポイントe〜hを点検対象とし、各点検対象について所定範囲(例えば、ポイントeを中心とする所定範囲A(e))を設定しながら更に繰り返す。それにより、図7(e)に示すようなトータルの軌跡Rが作成される。
図9は、表示部61に表示される読影画面の表示例を示す模式図である。読影画面100は、患者である被検体10の識別情報を表示する患者情報領域101と、被検体10に対して行った診察の識別情報を表示する診察情報領域102と、一連の体内画像が擬似動画又は静止画として再生される主表示領域103と、主表示領域103に表示される体内画像の再生操作を行う再生操作ボタン群104と、複数の体内画像の縮小画像をサムネイル表示するサムネイル領域105と、主表示領域103に現在表示されている体内画像が取得された時刻を表すタイムバー106と、一連の体内画像に含まれる各画像の平均色が時系列に表示されるカラーバー107と、軌跡表示領域108とを含む。この内、サムネイル領域105内の縮小画像と、これらの縮小画像が取得された時刻を表すタイムバー106上のポイントとは結線表示される。また、カラーバー107上の各時点の表示領域には、この時点に撮像された被検体内画像の平均色が表示される。ここで、一連の体内画像は、撮像した臓器に応じて特有の平均色を有するため、時間軸に沿った平均色の推移から、読影者は各時点の体内画像に表された臓器を容易に判別することができる。軌跡表示領域108には、被検体10を示す被検体画像110に重畳して、軌跡算出部57において算出された軌跡Rが表示される。
このような読影画面100を表示する際に、表示制御部60は、特定部55bにおいて特定された(フラグを立てられた)撮像位置が近接するグループに属する体内画像群を間引きして表示させると良い。或いは、撮像位置が同一のグループに属する体内画像群については、いずれか1つの体内画像のみを表示することとしても良い。これらの場合、主表示領域103に表示される擬似動画の表示レートを高くすることができる。或いは、体内画像を静止画表示する場合には、表示される体内画像の数を減らすことができる。
また、タイムバー106と結線表示されるサムネイル領域105の縮小画像についても、撮像位置が近接するグループや撮像位置が同一のグループに属する体内画像群を間引き又は省略して表示すると良い。
或いは、並び順の入れ替え後(必要に応じて、撮像位置が近接するグループや撮像位置が同一のグループに属する体内画像群を間引き等した後)の体内画像に基づいて距離バーを作成し、上記カラーバー107と共に、又はカラーバー107の代わりに、読影画面100上に表示しても良い。ここで、距離バーは、各体内画像の平均色を体内画像の並び順に沿って一次元的に表示することにより作成される。このような距離バーにおいては、カプセル型内視鏡2の往復運動等により加わった余分な距離が削除されている。そのため、読影者は、カプセル型内視鏡2の修正後の軌跡に沿った平均色の推移から、各体内画像に表された臓器を容易に判別することができる。
加えて、各体内画像について、並び順が1つ前の体内画像との間での動き検出処理を行い、両者の間の動き量(動きベクトルの大きさ)に基づいて、擬似動画を表示する際の表示レートを自動調節しても良い。例えば、動き量が大きい体内画像については表示レートを下げ、動き量が小さい体内画像については表示レートを上げることにより、読影効率を向上させることができる。なお、この場合の動き検出処理は、並び順の入れ替え前の体内画像間(即ち、撮像時刻順に並んだ体内画像間)で行っても良いし、並び順の入れ替え後の体内画像間(即ち、修正された軌跡順に並んだ体内画像間)で行っても良い。
以上説明したように、実施の形態1によれば、体内画像の位置情報及び相関度に基づいて体内画像の並び順を入れ替えるので、カプセル型内視鏡2の往復運動等の影響を低減し、消化管の上流から下流に向かう経路に沿って、体内画像を表示することが可能となる。また、そのような入れ替え後の並び順に従ってカプセル型内視鏡2の軌跡を作成するので、体内画像が表す被検体10内の位置をより正確に把握することが可能となる。
また、撮像位置が近接するグループや撮像位置が同一のグループに属する体内画像群を間引き等して表示させる場合には、読影者の負担を軽減し、読影効率を向上させることが可能となる。
(変形例)
被検体10内においては、カプセル型内視鏡2が1箇所に留まって回転運動をする場合がある。このような場合、図6に示すフローチャートに従って体内画像の点検を行うと、点検済みの体内画像が近傍に存在するが(ステップS112:Yes)、点検対象の体内画像と比較対象の体内画像との相関度が低い(ステップS122:No)という結果が出てしまう。このようなケースを適切に検出する場合には、ステップS121において、一方の体内画像を回転させてから相関度も算出すれば良い。このときの回転角は、体内画像データの関連情報としてカプセル型内視鏡2の向き(回転角)情報を取得し、この情報に基づいて決定すれば良い。なお、カプセル型内視鏡2の向き情報は、例えば、カプセル型内視鏡2に、回転軸に対して偏在するように磁石を設け、この磁石によって形成される磁場を検出する方法等、既知の様々な方法を用いて取得することができる。その結果、両体内画像相関度が高いという判定が得られた場合には(ステップS122:Yes)、それらの体内画像を、撮像位置が近接するグループ又は撮像位置が同一のグループに属する体内画像として扱えば良い。
(実施の形態2)
次に、本発明の実施の形態2に係るカプセル型内視鏡システムについて説明する。実施の形態2に係るカプセル型内視鏡システムは、図4に示す情報処理装置5の代わりに、図10に示す情報処理装置6を備える。また、情報処理装置6は、図4に示す入れ替え部55、相関度算出部56、及び軌跡算出部57の代わりに、軌跡算出部65、入れ替え部66、及び相関度算出部67を備える。その他の構成については、図1〜図4に示すものと同様である。
軌跡算出部65は、位置情報取得部54によって取得された位置情報に基づいて、被検体10内におけるカプセル型内視鏡2の軌跡を算出すると共に、後述する入れ替え部66によって入れ替えられた体内画像の並び順に従って軌跡を修正する。
入れ替え部66は、当初撮像時刻順に並んでいる体内画像の並び順を、位置情報取得部54によって取得された位置情報及び後述する相関度算出部67において算出された相関度に基づいて入れ替える。
相関度算出部67は、入れ替え部66において並び順入れ替えの判定対象とされた体内画像間の相関度を算出する。
図11は、情報処理装置6の動作を示すフローチャートである。実施の形態2においては、位置情報取得部54において一連の体内画像の位置情報を取得した後、そのままの並び順で(即ち、体内画像の撮像時刻順で)軌跡を暫定的に作成した後、各体内画像の点検を行って適宜並び順を入れ替え、軌跡を修正することを特徴としている。
図11に示すステップS101〜S104において、情報処理装置6は、受信装置3から体内画像データ及びその関連情報を取得し、体内画像の位置情報を取得する。なお、これらのステップの詳細は、実施の形態1において説明したものと同様である。
続くステップS201において、軌跡算出部65は、撮像時刻順に並んでいる体内画像の位置を順次連結することにより、カプセル型内視鏡2の軌跡を算出する。なお、表示制御部60は、この段階で算出された軌跡データに基づいて、読影画面に軌跡を暫定的に表示するよう表示部61を制御しても良い。即ち、読影画面を表示しつつ、バックグラウンドで以下の軌跡の修正処理を実行する。
ステップS202において、情報処理装置6は、ステップS201において算出された暫定的な軌跡を、各体内画像の位置関係等を点検することにより修正する。この処理は、点検対象の体内画像があれば(ステップS203:Yes)、繰り返し実行される。
ステップS203において、点検対象となる体内画像がなくなると(ステップS203:No)、記憶部59は、軌跡算出部65において算出された修正済みの軌跡データを格納する(ステップS107)。以下の動作については、実施の形態1と同様である。
次に、ステップS202における軌跡修正処理について、図12及び図13を参照しながら説明する。図12は、情報処理装置6において実行される軌跡修正処理を示すフローチャートである。また、図13(a)〜(c)は、軌跡修正処理を説明するための模式図である。図13(a)〜(c)には、体内画像の位置を表すポイントa〜hと、それらのポイントa〜hを通る暫定的な軌跡R1とが示されている。なお、各ポイントa〜hに附された括弧内の数値(1)〜(8)は、ポイントa〜hにおける体内画像の並び順を示す。
まず、ステップS211において、入れ替え部66は、点検対象とする体内画像を抽出し、その体内画像の位置座標を含む位置情報を取得する。実施の形態2においては、ポイントaにおける体内画像(並び順1)は点検済みであり、その次に撮像されたポイントbにおける体内画像(並び順2)から、当初の並び順(2)〜(8)に沿って点検を行うものとする。
ステップS212において、入れ替え部66は、点検対象の体内画像の近傍で撮像された点検済みの体内画像が存在するか否かを判定する。具体的には、点検対象の体内画像の位置座標を中心とする所定範囲(例えば、所定の辺を有する立方体内、所定の半径を有する球体内)内に、点検済みの体内画像の位置座標が存在するか否かを判定する。例えば、図13(a)に示すポイントbを点検すると、所定範囲B(b)内に点検済みの体内画像は存在しない。このように、点検済みのポイントが所定範囲内に存在しない場合(ステップS212:No)、動作はステップS213に移行する。
ステップS213において、入れ替え部66は、点検対象の体内画像の位置の近傍に、当該位置を1つの端部とする軌跡の部分とは別に、点検済みの体内画像の位置を少なくとも1つの端部とする他の軌跡の部分が存在するか否かを判定する。具体的には、点検対象の体内画像の位置の所定範囲内に、点検済みの体内画像の位置を少なくとも1つの端部とする他の軌跡の部分(以下、単に「他の軌跡の部分」と呼ぶ)が通過しているか否かを判定する。例えば、図13(a)に示すポイントbを点検すると、所定範囲B(b)内を通過する他の軌跡の部分は存在しない。このように、他の軌跡の部分が所定範囲内を通過していない場合(ステップS213:No)、何ら軌跡を修正することなく、動作はメインルーチンに戻る。
次に、ステップS212において、点検対象の体内画像の近傍で撮像された点検済みの体内画像が存在する場合(ステップS212:Yes)の処理について説明する。例えば、図13(a)に示すポイントcについて点検すると、所定範囲B(c)内にポイントaが含まれることがわかる。
このような場合、相関度算出部67は、点検対象の体内画像と、近傍で撮像された体内画像(比較対象の体内画像)との相関度を算出する(ステップS221)。なお、相関度として使用される指標や判定方法については、実施の形態1のステップS121(図6参照)において説明したものと同様である。
体内画像間の相関度が高いと判定された場合(ステップS222:Yes)、入れ替え部66は、点検対象の体内画像、並びに比較対象及びその直前又は直後の体内画像の位置情報に基づいて、体内画像の並び順を入れ替える(ステップS223)。なお、このとき、入れ替え部66は、撮像位置が近接する体内画像群や撮像位置が同一と見られる体内画像群を特定し、共通のグループに属する体内画像として扱えるように体内画像データにフラグを立てても良い。一方、体内画像間の相関度が高くないと判定された場合(ステップS222:No)、何ら軌跡を修正することなく、動作はメインルーチンに戻る。
例えば、ポイントcにおける体内画像(点検対象)とポイントaにおける体内画像(比較対象)との相関度が高いと判定された場合、入れ替え部66は、ポイントaの直後のポイントbを抽出し、それらの3点を連結する経路が最短となるように並び順を入れ替える。それにより、当初のポイントa(1)→ポイントb(2)→ポイントc(3)という並び順が、図13(b)に示すように、ポイントa(1)→ポイントc(2)→ポイントb(3)の順に入れ替えられる。
続くステップS224において、軌跡算出部65は、入れ替え後の並び順に基づいて軌跡を補正する。それにより、ポイントaとポイントbとを連結する部分が削除され、その代わりに、ポイントa、ポイントc、ポイントbをこの順で連結する部分が追加された軌跡R2が作成される。
次に、ステップS213において、点検対象の体内画像の近傍に他の軌跡の部分が存在する場合(ステップS213:Yes)の処理について説明する。例えば、図13(b)においては、ポイントdの近傍である所定範囲B(d)内を、点検済みのポイントc及びポイントbを両端とする軌跡の部分Rが通過している。
このような場合、入れ替え部66は、検出された軌跡の部分が点検対象の体内画像の位置を経由するものであるか否かの判定を行う(ステップS231)。この判定方法については、実施の形態1のステップS131(図6参照)において説明したものと同様である。
検出された軌跡の部分が点検対象の体内画像の位置を経由すると判定された場合(ステップS231:Yes)、入れ替え部66は、点検対象の体内画像と、検出された軌跡の部分の両端のポイントにおける体内画像との並び順の入れ替えを行う(ステップS232)。例えば、図13(b)において、軌跡の部分Rがポイントdを経由すると判定された場合、この判定に従って、ポイントc(2)→ポイントd(3)→ポイントb(4)の順に体内画像が入れ替えられる。続くステップS233において、軌跡算出部65は、新たな並び順に従って軌跡を補正する。その結果、図13(c)に示すように、軌跡の部分Rが削除され、ポイントcとポイントdとを連結する軌跡の部分が追加された軌跡R3が得られる。
一方、検出された軌跡の部分が点検対象の体内画像の位置を経由しないと判定された場合(ステップS231:No)、何ら軌跡の修正が行われることなく、動作はメインルーチンに戻る。
このようなステップS211〜S213、S221〜S224、及びS231〜S233に示す処理を、ポイントe〜hを点検対象として更に繰り返すことにより、修正済みの軌跡が作成される。
以上説明した実施の形態2によれば、位置情報の取得後、まず、軌跡の算出を行うので、軌跡を早い段階で読影画面に表示することができる。従って、読影者は早期に読影を開始することが可能となり、読影効率を向上させることが可能となる。
以上説明した実施の形態は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
1 カプセル型内視鏡システム
2 カプセル型内視鏡
2a 光学ドーム
2b 容器
3 受信装置
4 アンテナユニット
5 情報処理装置
5a クレードル
5b 操作入力デバイス
6 情報処理装置
10 被検体
21 撮像部
21a 撮像素子
21b 光学系
22 照明部
23 回路基板
24 信号処理部
25、33 メモリ
26 送信部
27 アンテナ
28、37 バッテリ
31 受信部
32 信号処理部
34 インタフェース部
35 操作部
36 表示部
41a 受信アンテナ
51 インタフェース部
52 一時記憶部
53 画像処理部
54 位置情報取得部
55、66 入れ替え部
56、67 相関度算出部
57、65 軌跡算出部
58 検査情報作成部
59 記憶部
60 表示制御部
61 表示部
100 読影画面
101 患者情報領域
102 診察情報領域
103 主表示領域
104 再生操作ボタン群
105 サムネイル領域
106 タイムバー
107 カラーバー
108 軌跡表示領域
110 被検体画像

Claims (13)

  1. 被検体の体内画像を撮像するカプセル型内視鏡から、該カプセル型内視鏡と無線通信を行う受信装置を介して取得され、撮像時刻順に並ぶ一群の体内画像データについて画像処理を施す情報処理装置であって、
    前記体内画像データと、該体内画像データに関連付けられ、前記被検体内における前記カプセル型内視鏡の位置に関連する情報とを格納する記憶部と、
    前記位置に関連する情報に基づいて、当該体内画像の撮像時における前記カプセル型内視鏡の位置情報を取得する位置情報取得部と
    記位置情報取得部により取得された前記位置情報に基づいて、前記体内画像の並び順を入れ替える入れ替え部と、
    を備えることを特徴とする情報処理装置。
  2. 前記体内画像データに基づいて、所定の体内画像間の相関度を算出する相関度算出部をさらに備え、
    前記入れ替え部は、前記位置情報取得部により取得された前記位置情報と、前記相関度算出部により算出された前記相関度とに基づいて、前記体内画像の並び順を入れ替えることを特徴とする請求項1に記載の情報処理装置。
  3. 前記入れ替え部は、点検対象である第1の体内画像の位置座標の所定範囲内に点検済みの第2の体内画像の位置座標が存在し、且つ、前記第1の体内画像と前記第2の体内画像との相関度が基準より高い場合に、前記第1及び第2の体内画像、並びに、該第2の体内画像の直前又は直後に並んでいる第3の体内画像の前記並び順を入れ替えることを特徴とする請求項に記載の情報処理装置。
  4. 前記相関度は、固定ブロックの相関値、ブロックマッチング法により求められたテンプレートの移動量、又は、体内画像の明るさ変化率に基づいて判定されることを特徴とする請求項2に記載の情報処理装置。
  5. 前記入れ替え部は、前記第1、第2、及び第3の体内画像の位置座標を連結する経路が最短となるように、前記並び順を入れ替えることを特徴とする請求項に記載の情報処理装置。
  6. 前記入れ替え部によって入れ替えられた並び順に基づいて前記体内画像を表示する表示部をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  7. 前記位置情報と、前記入れ替え部によって入れ替えられた前記体内画像の並び順とに基づいて、前記カプセル型内視鏡の軌跡を算出する軌跡算出部をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  8. 前記軌跡算出部は、前記記憶部に格納された前記位置に関する情報に基づいて前記カプセル型内視鏡の軌跡を算出し、前記入れ替え部によって入れ替えられた前記並び順に従って、前記軌跡を修正することを特徴とする請求項に記載の情報処理装置。
  9. 前記入れ替え部は、点検対象である第1の体内画像の位置座標の所定範囲内を、算出された軌跡の部分が通過する場合に、当該軌跡の部分の異なる端点を位置座標とする第2及び第3の体内画像に基づいて前記軌跡の部分が前記第1の体内画像の位置座標を経由するか否かの判定を行い、前記軌跡の部分が前記第1の体内画像の位置座標を経由する場合に、前記第1、第2、及び第3の体内画像の前記並び順を入れ替えることを特徴とする請求項に記載の情報処理装置。
  10. 前記判定は、前記第1の体内画像と前記第2及び第3の体内画像間の補間画像との類似度、オプティカルフロー、又はブロックマッチング法により求められたテンプレートの移動ベクトルに基づいて行われることを特徴とする請求項に記載の情報処理装置。
  11. 前記入れ替え部は、前記位置情報及び前記相関度に基づいて、撮像位置が近接する体内画像群又は撮像位置が同一の体内画像群を特定する特定部を有することを特徴とする請求項に記載の情報処理装置。
  12. 前記表示部は、前記特定部により特定された体内画像群の一部を間引きして表示することを特徴とする請求項11に記載の情報処理装置。
  13. 被検体の体内に導入されて撮像を行い、該被検体の体内画像を表す体内画像データを生成するカプセル型内視鏡と、
    前記カプセル型内視鏡により生成された体内画像データを無線通信により受信する受信装置と、
    請求項1に記載の情報処理装置と、
    を備えることを特徴とするカプセル型内視鏡システム。
JP2011551364A 2010-09-29 2011-06-22 情報処理装置及びカプセル型内視鏡システム Active JP4956694B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011551364A JP4956694B2 (ja) 2010-09-29 2011-06-22 情報処理装置及びカプセル型内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010219802 2010-09-29
JP2010219802 2010-09-29
PCT/JP2011/064261 WO2012042986A1 (ja) 2010-09-29 2011-06-22 情報処理装置及びカプセル型内視鏡システム
JP2011551364A JP4956694B2 (ja) 2010-09-29 2011-06-22 情報処理装置及びカプセル型内視鏡システム

Publications (2)

Publication Number Publication Date
JP4956694B2 true JP4956694B2 (ja) 2012-06-20
JPWO2012042986A1 JPWO2012042986A1 (ja) 2014-02-06

Family

ID=45892467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011551364A Active JP4956694B2 (ja) 2010-09-29 2011-06-22 情報処理装置及びカプセル型内視鏡システム

Country Status (5)

Country Link
US (1) US8854444B2 (ja)
EP (1) EP2491849B1 (ja)
JP (1) JP4956694B2 (ja)
CN (1) CN102639049B (ja)
WO (1) WO2012042986A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2859506B1 (en) * 2012-06-11 2018-08-22 Hi-Tech Solutions Ltd. System and method for detection cargo container seals
EP2912986A4 (en) * 2012-10-24 2016-06-08 Olympus Corp EXAM MANAGEMENT DEVICE AND EXAM MANAGEMENT SYSTEM
CN106455947A (zh) * 2014-09-22 2017-02-22 奥林巴斯株式会社 图像显示装置、图像显示方法以及图像显示程序
JPWO2017006618A1 (ja) * 2015-07-09 2017-11-16 オリンパス株式会社 サーバ、内視鏡システム、送信方法およびプログラム
JP6626783B2 (ja) * 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
JP7158596B2 (ja) * 2019-08-27 2022-10-21 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
CN111728613B (zh) * 2020-08-18 2020-11-24 安翰科技(武汉)股份有限公司 电子设备及可读存储介质
CN116761075B (zh) * 2023-05-09 2024-05-24 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质
CN116320763B (zh) * 2023-05-23 2023-08-08 深圳杰泰科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002058531A2 (en) * 2001-01-22 2002-08-01 V-Target Technologies Ltd. Ingestible device
DE10346678A1 (de) * 2003-10-08 2005-05-12 Siemens Ag Endoskopieeinrichtung umfassend eine Endoskopiekapsel oder einen Endoskopiekopf mit einer Bildaufnahmeeinrichtung sowie Bildgebungsverfahren für eine solche Endoskopieeinrichtung
US8164672B2 (en) 2003-12-31 2012-04-24 Given Imaging Ltd. System and method for displaying an image stream
JP4598456B2 (ja) * 2004-08-06 2010-12-15 オリンパス株式会社 被検体内画像取得システムおよび被検体内導入装置
DE602005007847D1 (de) 2004-12-30 2008-08-14 Given Imaging Ltd System zur Lokalisation einer in-Vivo Signalquelle
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2008041401A (ja) 2006-08-04 2008-02-21 Toshiba Corp 燃料電池
WO2008041401A1 (fr) 2006-10-02 2008-04-10 Olympus Corporation Dispositif, procédé et programme de traitement d'image
JP4914786B2 (ja) * 2007-08-28 2012-04-11 オリンパス株式会社 被検体内位置検出システム
JP5085370B2 (ja) 2008-02-19 2012-11-28 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2009261798A (ja) 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010069208A (ja) 2008-09-22 2010-04-02 Olympus Corp 画像処理装置、画像処理方法および画像処理用プログラム
JP4902620B2 (ja) 2008-10-21 2012-03-21 オリンパスメディカルシステムズ株式会社 カプセル誘導システム
JP2010142375A (ja) * 2008-12-17 2010-07-01 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5457688B2 (ja) * 2009-02-04 2014-04-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP4810622B2 (ja) 2009-04-20 2011-11-09 オリンパスメディカルシステムズ株式会社 被検体内検査システム

Also Published As

Publication number Publication date
EP2491849A1 (en) 2012-08-29
CN102639049A (zh) 2012-08-15
EP2491849B1 (en) 2013-10-16
US20120242813A1 (en) 2012-09-27
US8854444B2 (en) 2014-10-07
EP2491849A4 (en) 2012-08-29
CN102639049B (zh) 2014-11-26
WO2012042986A1 (ja) 2012-04-05
JPWO2012042986A1 (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
US9788708B2 (en) Displaying image data from a scanner capsule
US8767057B2 (en) Image processing device, image processing method, and program
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
JP2006122502A (ja) 画像処理方法及びカプセル型内視鏡装置
JP5044066B2 (ja) 画像表示装置及びカプセル型内視鏡システム
JP5015363B2 (ja) 画像表示装置及びカプセル型内視鏡システム
US8986198B2 (en) Image display apparatus and capsule endoscope system
US9877635B2 (en) Image processing device, image processing method, and computer-readable recording medium
JPWO2012153568A1 (ja) 医用画像処理装置
JP6411834B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2007307395A (ja) 画像表示装置、画像表示方法および画像表示プログラム
US8300090B2 (en) In-vivo image acquiring system, in-vivo image processing method, and body-insertable apparatus
US20140321724A1 (en) Image processing apparatus and image processing method
JP4445742B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2012249956A (ja) カプセル内視鏡画像処理装置及びカプセル内視鏡システム
US20180242013A1 (en) Motion determining apparatus, body-insertable apparatus, method of determining motion, and computer readable recording medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120316

R151 Written notification of patent or utility model registration

Ref document number: 4956694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250