JP5945648B1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP5945648B1
JP5945648B1 JP2016501698A JP2016501698A JP5945648B1 JP 5945648 B1 JP5945648 B1 JP 5945648B1 JP 2016501698 A JP2016501698 A JP 2016501698A JP 2016501698 A JP2016501698 A JP 2016501698A JP 5945648 B1 JP5945648 B1 JP 5945648B1
Authority
JP
Japan
Prior art keywords
image
unit
capsule endoscope
images
reciprocating movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016501698A
Other languages
English (en)
Other versions
JPWO2016047190A1 (ja
Inventor
武志 西山
武志 西山
勝義 谷口
勝義 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP5945648B1 publication Critical patent/JP5945648B1/ja
Publication of JPWO2016047190A1 publication Critical patent/JPWO2016047190A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

カプセル型内視鏡により取得された一連の画像に対し、ユーザが適切な特徴点を容易に設定することができる画像表示装置等を提供する。画像表示装置5は、一連の画像に含まれる画像の撮像時におけるカプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得部532と、外部からの操作に応じた選択信号の入力を受け付ける入力部51と、選択信号により選択された画像を特定画像として特定する画像特定部534と、特定画像がカプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定部535と、特定画像がカプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出部536と、候補画像抽出部536により抽出された画像を表示する表示部55とを備える。

Description

本発明は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡によって取得された画像を表示する画像表示装置、画像表示方法、及び画像表示プログラムに関する。
近年、内視鏡の分野では、患者等の被検体内に導入されて撮像を行うカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵させた装置であり、被検体内を撮像することにより生成した画像データを被検体外に順次無線送信する。カプセル型内視鏡から無線送信された画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像表示装置に転送(ダウンロード)され、画像表示装置において種々の画像処理が施される。
このようにして取得された一連の画像を観察する際、医師等のユーザは、通常、画像の動画再生あるいは静止画像の連続再生をさせるなどして大まかに閲覧しながら、臓器の境界や手術痕等の特徴的な箇所が写った画像を特徴点として設定する。その後、設定された特徴点をもとに所望の画像を抽出して詳細に観察する、或いは、設定された複数の特徴点のうち、ある特徴点から別の特徴点までのカプセル型内視鏡の移動時間に相当する撮像時刻の差分に基づいて、臓器の運動機能を判断するといった診断を行う。従って、正確な診断を行うためには、適切な画像に対して特徴点を設定することが重要である。
カプセル型内視鏡により取得された一連の画像からの画像抽出に関する技術として、特許文献1には、一連の画像の各画像上に設定した複数の画素領域の相関値を算出し、複数の画素領域の動きベクトルを演算し、隣接画像間での複数の画素領域の相関値が所定値以上である画像が連続する連続画像群を検出し、連続画像群の中から1以上の代表画像を特定し、該1以上の代表画像以外の残りの画像と異なる表示フレームレートで該1以上の代表画像を表示する技術が開示されている。
特開2006−280792号公報
ところで、カプセル型内視鏡が患者等の被検体内に導入された場合、蠕動運動により管腔内を受動的に移動するため、常に順方向(口から肛門に向かう方向)に進行しているわけではなく、一時的に逆方向に進行し、再び順方向に進行する往復移動をすることがある。このような往復移動をした区間に特徴的な箇所が含まれる場合、一般には、当該区間をカプセル型内視鏡が最初又は最後に通過したときに撮像した画像を特徴点として設定することが推奨されている。
しかしながら、特徴点の設定作業を行う際、ユーザは画像を大まかに観察しているだけなので、自身が抽出した画像が、往復移動区間をカプセル型内視鏡が最初又は最後に通過したときに撮像した画像であるか否かを把握することは困難である。その結果、最初又は最後に通過したときに撮像した画像ではないにもかかわらず、特徴点として設定されてしまう場合がある。
本発明は、上記に鑑みてなされたものであって、カプセル型内視鏡によって取得された一連の画像に対し、ユーザが適切な特徴点を容易に設定することができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像表示装置は、カプセル型内視鏡により取得された一連の画像を表示する画像表示装置であって、前記一連の画像に含まれる画像の撮像時における前記カプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得部と、外部からの操作に応じた選択信号の入力を受け付ける入力部と、前記入力部が受け付けた前記選択信号により選択された前記画像を特定画像として特定する画像特定部と、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定部と、前記判定部により、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出部と、前記候補画像抽出部により抽出された画像を表示する表示部と、を備えることを特徴とする。
上記画像表示装置において、前記判定部は、前記特定画像が前記往復移動中に取得された画像であるか否かを、前記一連の画像における画像の撮像順序と前記カプセル位置とに基づいて判定することを特徴とする。
上記画像表示装置において、前記判定部は、前記特定画像に対して前記カプセル位置又は撮像時刻が所定範囲内である複数の画像を特定する特定部を備え、前記判定部は、前記特定部により特定された複数の画像に、時系列で順方向に連続し、且つ位置系列で順方向に連続している画像群が2つ以上含まれる場合に、前記特定画像は前記往復移動中に取得された画像であると判定することを特徴とする。
上記画像表示装置において、前記判定部は、前記特定画像と、前記特定画像に対して前記カプセル位置又は撮像時刻が所定範囲内である前記複数の画像の各々との間における類似性を判定する類似度判定部を備え、前記判定部は、前記類似度判定部により前記特定画像と類似すると判定された画像を含み、且つ画像番号が連続する画像群が、前記複数の画像に2つ以上含まれる場合、前記特定画像は前記往復移動中に取得された画像であると判定することを特徴とする。
上記画像表示装置において、前記候補画像抽出部は、前記最初の往路又は最後の往路において取得された画像のうち、前記特定画像と類似すると判定された画像を抽出することを特徴とする。
本発明に係る画像表示方法は、カプセル型内視鏡により取得された一連の画像を表示する画像表示装置が実行する画像表示方法であって、制御部が、前記一連の画像に含まれる画像の撮像時における前記カプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得ステップと、入力部が、外部からの操作に応じた選択信号の入力を受け付ける入力ステップと、前記制御部が、前記入力ステップにおいて受け付けられた前記選択信号により選択された前記画像を特定画像として特定する画像特定ステップと、前記制御部が、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定ステップと、前記制御部が、前記判定ステップにおいて、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出ステップと、表示部が、前記候補画像抽出ステップにおいて抽出された画像を表示する表示ステップと、を含むことを特徴とする。
本発明に係る画像表示プログラムは、カプセル型内視鏡により取得された一連の画像を表示する画像表示装置に、前記一連の画像に含まれる画像の撮像時における前記カプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得ステップと、外部からの操作に応じた選択信号の入力を受け付ける入力ステップと、前記入力ステップにおいて受け付けられた前記選択信号により選択された前記画像を特定画像として特定する画像特定ステップと、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定ステップと、前記判定ステップにおいて、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出ステップと、前記候補画像抽出ステップにおいて抽出された画像を表示する表示ステップと、を実行させることを特徴とする。
本発明によれば、ユーザにより選択された画像が、カプセル型内視鏡が往復移動をしていた間に取得された画像であるか否かを判定し、カプセル型内視鏡が往復移動をしていた間に取得された画像であると判定した場合には、特徴点を設定するための画像としてより適切な画像を一連の画像から抽出して候補画像として表示するので、ユーザは、候補画像を参照することにより、適切な特徴点を容易に設定することが可能となる。
図1は、本発明の実施の形態1に係る画像表示装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。 図2は、図1に示すカプセル型内視鏡及び受信装置の概略構成を示す図である。 図3は、図1に示す画像表示装置の概略構成を示すブロック図である。 図4は、図1に示すインデックス作成部が作成する位置系列インデックスの一例を示す模式図である。 図5は、図1に示す受信装置から画像表示装置に画像データを転送する処理を示すフローチャートである。 図6は、図1に示す画像表示装置が実行する特徴点の設定処理を示すフローチャートである。 図7は、図1に示すカプセル型内視鏡により取得された一連の画像の表示例を示す模式図である。 図8は、候補画像の表示例を示す模式図である。 図9は、画像番号インデックスの例を示す模式図である。 図10は、時系列インデックスの例を示す模式図である。 図11は、本発明の実施の形態2に係る画像表示装置が実行する特徴点の設定処理を示すフローチャートである。 図12は、本発明の実施の形態3に係る画像表示装置の構成を示すブロック図である。 図13は、本発明の実施の形態3に係る画像表示装置が実行する特徴点の設定処理を示すフローチャートである。 図14は、本発明の実施の形態4に係る画像表示装置の構成を示すブロック図である。 図15は、図14に示す画像表示装置が実行する臓器の機能判定処理を示すフローチャートである。
以下に、本発明の実施の形態に係る画像表示装置、画像表示方法、及び画像表示プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像表示装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。図1に示すカプセル型内視鏡システム1は、被検体10内に導入されて該被検体10内を撮像することにより画像データを生成し、無線信号に重畳して送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された無線信号を、被検体10に装着された受信アンテナユニット4を介して受信する受信装置3と、受信装置3から画像データを取得して所定の画像処理を施し、画像を表示する画像表示装置5とを備える。
図2は、カプセル型内視鏡2及び受信装置3の概略構成を示すブロック図である。
カプセル型内視鏡2は、被検体10が嚥下可能な大きさのカプセル形状をなす筐体に撮像素子等の各種部品を内蔵した装置であり、被検体10内を撮像する撮像部21と、被検体10内を照明する照明部22と、信号処理部23と、メモリ24と、送信部25及びアンテナ26と、バッテリ27とを備える。
撮像部21は、例えば、受光面に結像した光学像から被検体10内を表す撮像信号を生成して出力するCCDやCMOS等の撮像素子と、該撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。また、照明部22は、撮像時に被検体10内に向けて光を放射するLED(Light Emitting Diode)やLD(Laser Diode)光源等の半導体発光素子により実現される。カプセル型内視鏡2は、これらの撮像部21及び照明部22をそれぞれ駆動する駆動回路等が形成された回路基板を内蔵しており、撮像部21及び照明部22は、カプセル型内視鏡2の一端部から外側に視野を向けた状態で、この回路基板に固定されている。
なお、図2においては、撮像部21及び照明部22をカプセル型内視鏡2の一端側に設け、カプセル型内視鏡2の一方の側を撮像可能な構成としているが、撮像部21及び照明部22を複数ずつ設け、複数方向、例えば、前方及び後方、或いは直視方向及び側視方向を撮像可能な構成としても良い。
信号処理部23は、カプセル型内視鏡2内の各部を制御すると共に、撮像部21から出力された撮像信号をA/D変換してデジタルの画像データを生成し、さらに所定の信号処理を施す。
メモリ24は、信号処理部23が実行する各種処理プログラム、モジュール、及びルーチンや、信号処理部23において信号処理を施された画像データを一時的に記憶する。
送信部25及びアンテナ26は、メモリ24に記憶された画像データを関連情報と共に無線信号に重畳して外部に送信する。
バッテリ27は、カプセル型内視鏡2内の各部に電力を供給する。なお、バッテリ27には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。
カプセル型内視鏡2は、被検体10に嚥下された後、臓器の蠕動運動等によって被検体10の消化管内を移動しつつ、食道、胃、小腸、及び大腸等の生体部位を、例えば0.5秒間隔といった所定の時間間隔で順次撮像する。そして、この撮像動作により生成された画像データ及び関連情報を受信装置3に順次無線送信する。関連情報には、カプセル型内視鏡2の個体を識別するために割り当てられた例えばシリアル番号といった識別情報等が含まれる。
受信装置3は、複数(図1においては8個)の受信アンテナ4a〜4hを有する受信アンテナユニット4を介して、カプセル型内視鏡2から無線送信された画像データ及び関連情報を受信する。各受信アンテナ4a〜4hは、例えばループアンテナを用いて実現され、被検体10の体外表面上の所定位置に配置される。一例として、受信アンテナ4a〜4hは、カプセル型内視鏡2の通過経路である被検体10内の臓器に対応した位置に配置される。
図2に示すように、受信装置3は、受信部31と、信号処理部32と、メモリ33と、データ送信部34と、操作部35と、表示部36と、制御部37と、バッテリ38とを備える。受信部31は、カプセル型内視鏡2から無線送信された画像データを、受信アンテナ4a〜4hを介して受信する。信号処理部32は、受信部31が受信した画像データに所定の信号処理を施す。メモリ33は、信号処理部32において信号処理が施された画像データ及びその関連情報を記憶する。
データ送信部34は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、制御部37の制御の下で、メモリ33に記憶された画像データ及び関連情報を画像表示装置5に送信する。操作部35は、ユーザが受信装置3の各種設定情報等を入力する際に用いられる。
表示部36は、検査に関する登録情報(検査情報、患者情報等)や、ユーザが入力した各種設定情報等を表示する。制御部37は、これらの受信装置3内の各部の動作を制御する。バッテリ38は、受信装置3内の各部に電力を供給する。
受信装置3は、カプセル型内視鏡2が撮像を行っている間、言い換えると、カプセル型内視鏡2が被検体10に嚥下されてから排出されるまでの間、被検体10に装着されて携帯される。受信装置3は、この間、受信アンテナユニット4を介して受信した画像データに、各画像データが受信されたタイミングにおける、各受信アンテナ4a〜4hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加する。そして、これらの画像データ及び関連情報をメモリ33に記憶させる。カプセル型内視鏡2による撮像の終了後、受信装置3は被検体10から取り外され、今度は画像表示装置5と接続されて、メモリ33に記憶させた画像データ及び関連情報を画像表示装置5に転送する。なお、図1においては、画像表示装置5のUSBポートにクレードル3aに接続し、該クレードル3aに受信装置3をセットすることにより受信装置3と画像表示装置5とを接続している。
画像表示装置5は、例えばワークステーションやパーソナルコンピュータを用いて構成される。画像表示装置5は、受信装置3を介して取得した被検体10内の画像に所定の画像処理を施し、所定の形式の観察画面を生成して表示する。
図3は、画像表示装置5の概略構成を示すブロック図である。図3に示すように、画像表示装置5は、入力部51と、画像データ取得部52と、制御部53と、記憶部54と、表示部55とを備える。
入力部51は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部51は、ユーザによる外部からの操作に応じた信号を制御部53に入力する。
画像データ取得部52は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、USBポートやLANポート等を含んでいる。実施の形態1において、画像データ取得部52は、USBポートに接続されるクレードル3a等の外部機器や各種通信回線を介して、受信装置3から画像データ及び関連情報を取得するデータ取得部として機能する。
制御部53は、CPU等のハードウェアによって実現され、記憶部54に記憶された各種プログラムを読み込むことにより、入力部51から入力される信号や、画像データ取得部52が取得した画像データ等に基づいて、画像表示装置5を構成する各部への指示やデータの転送等を行い、画像表示装置5全体の動作を統括的に制御する。より詳細には、制御部53は、画像処理部531と、位置情報取得部532と、インデックス作成部533と、画像特定部534と、判定部535と、候補画像抽出部536と、特徴点設定部537と、表示制御部538とを備える。
画像処理部531は、画像データ取得部52を介して取り込まれた一連の画像の画像データに対し、ホワイトバランス処理、デモザイキング、色変換処理、ガンマ変換等の濃度変換処理、ノイズ除去等による平滑化処理、エッジ強調等による鮮鋭化処理といった画像処理を施すことにより、表示用の画像データを生成する。また、画像処理部531は、表示用の画像データに基づいて、各画像の平均色を算出する平均色算出処理等の所定の画像処理を行う。
位置情報取得部532は、各画像の画像データの関連情報のうち、受信アンテナ4a〜4hが無線信号を受信した際の受信強度情報に基づいて、撮像時におけるカプセル型内視鏡2の位置、即ち、画像に写った被写体の位置を検出する。以下、撮像時におけるカプセル型内視鏡2の位置のことを、単にカプセル位置という。カプセル位置の検出方法は、無線信号の受信強度に基づく方法に限定されず、例えば特開2009−226080号公報に開示されている磁界を用いる方法やその他の公知の種々の方法を用いることができる。
インデックス作成部533は、カプセル型内視鏡2により取得された一連の画像の撮像順序とカプセル位置との関係を表す位置系列インデックスを作成する。図4は、位置系列インデックスの一例を示す模式図である。位置系列インデックス100は、画像の撮像順序を表す画像番号を、所定の基準位置からカプセル位置までの距離に従って並べた2次元配列表である。基準位置としては、一例として、カプセル型内視鏡2を嚥下する被検体10の口の位置が設定される。
図4に示す位置系列インデックス100の最上段に記載された数値は、基準位置からの距離を表すパラメータである。以下、基準位置からの距離を表すパラメータのことを、単に距離パラメータという。本実施の形態1においては、基準位置からの距離(cm)そのものを距離パラメータとしている。また、位置系列パラメータ100の2段目以降に記載された数値は画像番号であり、各画像番号は、画像のカプセル位置に対応する距離パラメータの列に記載されている。例えば、画像番号(i−6)の画像は、距離パラメータ100に対応する位置で撮像された画像であることを示す。また、隣接する枠内に記載された画像番号(i−6)と(i−5)の画像同士のカプセル位置の間隔は2cmであり、1枠分スキップした枠内に記載された画像番号(i−5)と(i−4)の画像同士のカプセル位置の間隔は4cmである。なお、位置系列インデックス100の作成方法は後述する。以下、画像番号iが付された画像を、画像(i)とも記す。
画像特定部534は、入力部51に対するユーザ操作に応じて、一連の画像に含まれるいずれかの画像を選択する選択信号が入力部51から入力された場合に、選択信号に対応する画像データを特定画像データとして特定する。以下、特定画像データに対応する画像、即ち、ユーザに選択された画像を特定画像という。
判定部535は、画像特定部534により特定された特定画像が、カプセル型内視鏡2が被検体内を行ったり来たりする往復移動をしていた区間に取得された画像であるか否かを、図4に例示する位置系列インデックス100に基づいて判定する。
より詳細には、判定部535は、特定画像に対してカプセル位置又は撮像時刻が所定範囲内である複数の画像を特定する特定部535aを備える。判定部535は、特定部535aにより特定された複数の画像に、時系列で順方向に連続し、且つ位置系列で順方向に連続している画像群が2つ以上含まれる場合に、上記特定画像は往復移動をしていた区間に取得された画像であると判定する。
候補画像抽出部536は、判定部535によって特定画像がカプセル型内視鏡2の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群の中から、特徴点を設定するための画像としてより適切な画像を抽出する。以下、候補画像抽出部536により抽出された画像を候補画像という。
特徴点設定部537は、入力部51から入力された信号に従って、画像特定部534により特定された特定画像又は候補画像抽出部536により抽出された候補画像を、特徴点を示す画像として設定すると共に、該特徴点を示す画像のカプセル位置を特徴点として設定する。以下、特徴点を示す画像を特徴点画像という。
表示制御部538は、画像処理部531により画像処理が施された表示用の画像データに基づいて、一連の画像を所定の形式で表示部55に表示させると共に、候補画像抽出部536により抽出された候補画像を所定の形式で表示させる。
記憶部54は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置等によって実現される。記憶部54は、画像処理部531により画像処理が施された表示用の画像データを記憶すると共に、各画像のカプセル位置を画像データと関連付けて記憶する画像データ記憶部541と、インデックス作成部533が作成した位置系列インデックスを記憶するインデックス記憶部542と、特徴点画像に関する情報を記憶する特徴点記憶部543と、候補画像を抽出する際に用いられる条件を記憶する設定条件記憶部544と、画像表示装置5を動作させて種々の機能を実行させるためのプログラム及び各種情報を記憶するプログラム記憶部545とを備える。
このうち、設定条件記憶部544は、カプセル型内視鏡2が被検体10内で往復移動をしていた区間の設定条件や、カプセル型内視鏡2が往復移動をしていた区間から候補画像を抽出する際の条件を記憶する。以下、カプセル型内視鏡2が往復移動していた区間を、単に往復移動区間という。往復移動区間の設定条件には、往復移動区間の長さ、言い換えると、往復移動区間の距離、往復移動区間において取得される画像枚数、又は往復移動区間の移動に要する時間や、特定画像に対する往復移動区間の位置といった条件が含まれる。また、候補画像の抽出条件としては、カプセル型内視鏡2が往復移動区間を最初に通過した際の画像を候補画像とするか、又は最後に通過した際の画像を候補画像とするかという条件が挙げられる。設定条件記憶部544は、往復移動区間の設定条件や候補画像の抽出条件として、所定の初期条件を予め記憶しているが、入力部51を用いた操作により、ユーザが所望の往復移動区間の設定条件や候補画像の抽出条件を上書きできるようにしても良い。
表示部55は、CRTディスプレイ、液晶ディスプレイ、ELディスプレイ等の表示装置によって実現される。表示部55は、表示制御部538の制御の下で、一連の画像や候補画像抽出部536により抽出された候補画像や、その他関連する情報等を所定の形式で画面に表示する。
次に、画像表示装置5の動作について説明する。図5は、カプセル型内視鏡2を用いた検査により取得された画像データを受信装置3から画像表示装置5に転送(ダウンロード)する処理を示すフローチャートである。
まず、ステップS10において、画像表示装置5に接続されたクレードル3aに受信装置3をセットする(図1参照)ことにより、受信装置3から画像表示装置5に画像データを転送する。或いは、各種通信回線を介して受信装置3から画像表示装置5に画像データを転送しても良い。
続くステップS11において、画像処理部531は、受信装置3から転送された画像データに対応する各画像に対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換、平滑化、鮮鋭化等の画像処理を施すことにより、表示用の画像データを作成する。この際、画像処理部531は、各画像の平均色の算出等の画像処理を併せて行っても良い。
続くステップS12において、位置情報取得部532は、画像データの関連情報のうちの受信強度情報に基づいて、各画像のカプセル位置の検出を行う。
続くステップS13において、インデックス作成部533は、ステップS12において検出された一連の画像のカプセル位置に基づいて、位置系列インデックスを作成する。具体的には、図4に例示するように、一連の画像の画像番号を順次、昇順に画像のカプセル位置に対応する距離パラメータの列に入力していく。この際、直前の画像番号に対して距離パラメータが同一又は直前の画像番号に対する距離パラメータの変化、例えば増減が逆転する場合、位置系列インデックス100の行を追加し、それ以降、追加された行に画像番号を入力する。
例えば図4において画像番号(i−1)を入力する場合、直前の画像番号(i−2)の距離パラメータ(112)がその前の画像番号(i−3)の距離パラメータ(108)から増加しているのに対し、画像番号(i−1)の距離パラメータ(110)は画像番号(i−2)の距離パラメータ(112)から減少に転じている。この場合、画像番号(i−1)以降の画像番号は、追加された行(2行目)に入力される。また、画像番号(i+2)を入力する場合、直前の画像番号(i+1)の距離パラメータ(102)がその前の画像番号(i)の距離パラメータ(104)から減少しているのに対し、画像番号(i+2)の距離パラメータ(104)は画像番号(i+1)の距離パラメータ(102)から増加に転じている。この場合、画像番号(i+2)以降の画像番号は、追加された行(3行目)に入力される。さらに、画像番号(i+3)の距離パラメータ(104)は、直前の画像番号(i+2)の距離パラメータと同一であるので、画像番号(i+3)以降の画像番号は、追加された行(4行目)に入力される。
続くステップS14において、記憶部54は、ステップS11において画像処理が施された画像データを記憶すると共に、ステップS12において検出されたカプセル位置を画像データと関連付けて記憶し、さらに、ステップS13において作成された位置系列インデックスを記憶する。これにより、受信装置3から画像表示装置5への画像データの転送処理が終了する。
次に、一連の画像に対する特徴点の設定処理について説明する。図6は、画像表示装置5が実行する特徴点の設定処理を示すフローチャートである。また、以下においては、図4に示す位置系列インデックスが作成され、記憶部54に記憶されているものとして説明する。
まず、ステップS20において、制御部53は、設定条件記憶部544から候補画像の抽出条件を取得する。具体的には、カプセル型内視鏡2が往復移動をしていた区間から、「最初」に通過した際の画像を候補画像として抽出する、或いは「最後」に通過した際の画像を候補画像として抽出する、いずれかの条件を取得する。
続くステップS21において、制御部53は、設定条件記憶部544から往復移動区間の設定条件を取得する。本実施の形態1においては、特定画像を中心としてカプセル位置が±Δである範囲を往復移動区間とする場合を説明する。図4においては、一例として、Δ=4cmとしている。
続くステップS22において、制御部53は、画像データ記憶部541から画像データを読み出し、該画像データに基づいて、カプセル型内視鏡2により取得された一連の画像を所定の形式で表示部55に順次表示させる。
図7は、カプセル型内視鏡2により取得された一連の画像の表示例を示す模式図である。図7に示す表示画面M1は、検査IDや検査日等の検査情報が表示される検査情報表示欄m11と、患者ID、患者名、生年月日等の患者情報が表示される患者情報表示欄m12と、一連の画像が疑似動画形式で順次表示される主表示領域m13と、主表示領域m13に表示される画像に対する再生動作の操作に用いられる操作ボタン群m14と、主表示領域m13に表示中の画像を特徴点画像として選択する指示の入力に用いられる特徴点設定ボタンm15と、被検体内におけるカプセル型内視鏡2の軌跡が表示される軌跡表示領域m16と、平均色バーm17と、一連の画像の表示形式を擬似動画形式から静止画一覧表示形式に切り替える指示の入力に用いられるオーバービューボタンm18とを含む。なお、カプセル型内視鏡2(図2参照)に複数の撮像部21を設け、複数方向を撮像可能な構成とする場合、これらの撮像部21に対応して、主表示領域m13を複数設けると良い。
特徴点設定ボタンm15は、ユーザが特徴点として設定したい箇所が写った画像を選択する際に用いられる。特徴点設定ボタンm15に対し、入力部51を用いて例えばクリック等の所定のポインタ操作がなされると、そのタイミングで主表示領域m13に表示されていた画像を特徴点画像として選択する選択信号が、入力部51から制御部53に入力される。
軌跡表示領域m16には、位置情報取得部532により取得された各画像に関連付けられたカプセル位置を連結した軌跡m19と、主表示領域m13に表示中の画像に対応するカプセル位置を表すマーカm20とが表示されている。ユーザは、軌跡m19上におけるマーカm20の位置を参照することにより、主表示領域m13に表示中の画像のカプセル位置を概ね把握することができる。
平均色バーm17は、画像処理部531が各画像について算出した平均色を、画像の並び順、即ち、撮像時刻順に沿って帯状の領域に配置したものである。平均色バーm17には、主表示領域m13に表示中の画像に対応する位置を示すスライダm21が設けられている。ユーザは、平均色バーm17におけるスライダm21の位置を参照することにより、主表示領域m13に表示中の画像の被検体内における位置を概ね把握することができる。また、入力部51を用いた所定のポインタ操作によりスライダm21を平均色バーm17に沿って移動させることにより、主表示領域m13に表示される画像を遷移させることができる。
平均色バーm17の下方には、特徴点画像を縮小した縮小画像m22がサムネイルとして表示されている。各縮小画像m22は、平均色バーm17上の対応する位置に結線されている。
続くステップS23において、制御部53は、主表示領域m13に表示中の画像を特徴点画像として選択する選択信号が入力部51から入力されたか否かを判定する。画像の選択信号が入力されない場合(ステップS23:No)、処理は後述するステップS38に移行する。
一方、画像の選択信号が入力された場合(ステップS23:Yes)、画像特定部534は、該選択信号に対応する画像(即ち、特定画像)の画像番号を取得する(ステップS24)。
続くステップS25において、判定部535は、インデックス記憶部542から位置系列インデックスを読み出し、位置系列インデックスにおける特定画像の画像番号の配置を取得する。例えば、特定画像の画像番号をiとする場合、図4に示す位置系列インデックス100における画像番号iは、距離パラメータ(104)の列の2行目に位置している。
続くステップS26において、判定部535は、特定画像に対して往復移動区間を設定し、該往復移動区間に画像番号が存在する全ての行を抽出する。例えば図4に示すように、特定画像iを中心としてカプセル位置が±4cmの範囲を往復移動区間とする場合、距離パラメータ(100)の列から距離パラメータ(108)の列までが往復移動区間となる。この場合、判定部535は、位置系列インデックスから、上記往復移動区間に画像番号が存在する1行目〜4行目を抽出する。
続くステップS27において、判定部535は、ステップS26において抽出した各行のカプセル型内視鏡2の動き情報を取得する。ここで、動き情報とは、各行に記載された画像番号に対応する画像が取得された際のカプセル型内視鏡2の行ったり来たりする往復の動きを表す情報であり、順方向、即ち口から肛門に向かう方向の移動を表す「往」と、逆方向、即ち肛門から口に向かう方向の移動を表す「復」と、そのいずれでもない滞留とが含まれる。図4においては、滞留を符号「−」で記している。動き情報は、各行に記載された画像番号と距離パラメータとによって判別することができる。具体的には、位置系列パラメータの行ごとに、連続する画像番号を、順方向に相当する昇順に並べたときに、各画像番号に対応する距離パラメータが増加する場合、当該行の動き情報は「往」となる。反対に、連続する画像番号を順方向に相当する昇順に並べたときに、各画像番号に対応する距離パラメータが減少する場合、当該行の動き情報は「復」となる。また、1つの行に1つの画像番号しか入力されていない場合、動き情報は滞留(「−」)となる。
具体的には、図4の場合、画像番号(i−6)〜(i−3)を含む1行目の動き情報は「往」、画像番号(i)〜(i+1)を含む2行目の動き情報は「復」、画像番号(i+2)を含む3行目の動き情報は滞留、画像番号(i+3)〜(i+4)を含む4行目の動き情報は「往」と判定される。これにより、各行に入力された画像番号に対応する画像群が取得された際のカプセル型内視鏡2の動きを把握することができる。
続くステップS28において、判定部535は、ステップS27において取得した動き情報に「往」が2つ以上含まれるか否かを判定する。例えば、図4に示す往復移動区間においては、1行目及び4行目の動き情報が「往」であるため、「往」が2つ以上に該当する。
「往」が2つ以上存在しない場合(ステップS28:No)、当該往復移動区間においては、カプセル型内視鏡2が順方向にのみ進行していたと考えられる。従って、この場合、特徴点設定部537は、特定画像、即ちユーザにより選択された画像に基づいて特徴点を設定する(ステップS29)。具体的には、特定画像に対して特徴点画像である旨のフラグを付加すると共に、該特徴点画像のカプセル位置を特徴点として設定する。その後、処理は後述するステップS38に移行する。
一方、「往」が2つ以上存在する場合(ステップS28:Yes)、当該往復移動区間において、カプセル型内視鏡2が往復移動、又は、一時的に同一箇所に滞留していたと考えられる。この場合、特定画像と同一箇所又は近傍箇所が写った別の画像が存在する可能性がある。そこで、候補画像抽出部536は、特徴点画像としてより適切な画像を候補画像として抽出する。
ステップS30において、候補画像抽出部536は、ステップS20において取得した候補画像の抽出条件が、カプセル型内視鏡2が往復移動をしていた区間を「最初」に通過した際の画像となっているか否かを判定する。
候補画像の抽出条件が「最初」となっている場合(ステップS30:Yes)、候補画像抽出部536は、往復移動区間の先頭行、即ち、最初の往路に含まれる全ての画像番号を取得する(ステップS31)。一方、候補画像の抽出条件が「最初」となっていない場合(ステップS30:No)、即ち、候補画像の抽出条件が「最後」となっている場合、候補画像抽出部536は、往復移動区間の最終行、即ち、最後の往路に含まれる全ての画像番号を取得する(ステップS32)。
続くステップS33において、候補画像抽出部536は、ステップS31又はS32において取得した画像番号に、特定画像の画像番号、即ち、ステップS23において入力された選択信号に対応する画像番号が含まれるか否かを判定する。
ステップS31又はS32において取得した画像番号に、特定画像の画像番号が含まれる場合(ステップS33:Yes)、処理はステップS29に移行する。
一方、ステップS31又はS32において取得した画像番号に、特定画像の画像番号が含まれない場合(ステップS33:No)、候補画像抽出部536は、ステップS31又はS32において取得した全ての画像番号に対応する画像データを、画像データ記憶部541から取得する(ステップS34)。
続くステップS35において、表示制御部538は、ステップS34において候補画像抽出部536が取得した画像データに対応する画像を、候補画像として表示部55に表示させる。
図8は、候補画像の表示例を示す模式図である。図8に示す表示画面M2においては、図7に示す表示画面M1に対し、複数の候補画像m31を含むウィンドウm32が重ねて表示されている。ウィンドウm32には、併せて、ユーザに対するメッセージ表示欄m33と、キャンセルボタンm34も表示されている。メッセージ表示欄m33には、候補画像m31の内からの特徴点画像の選択を促すメッセージが表示されている。このウィンドウm32に表示された候補画像m31のいずれかに対し、入力部51を用いて例えばクリック等の所定のポインタ操作がなされると、ポインタ操作がなされた候補画像を選択する信号が入力部51から制御部53に入力される。また、キャンセルボタンm34に対し、入力部51を用いて例えばクリック等の所定のポインタ操作がなされると、特徴点の設定のキャンセルを指示する信号が、入力部51から制御部53に入力される。
ステップS36において、特徴点設定部537は、ウィンドウm32に表示された候補画像m31のいずれかを選択する信号が入力部51から入力されたか否かを判定する。候補画像m31のいずれかを選択する信号が入力された場合(ステップS36:Yes)、特徴点設定部537は、選択された候補画像に基づいて特徴点を設定する(ステップS37)。具体的には、選択された候補画像に対して特徴点画像である旨のフラグを付加すると共に、該特徴点画像のカプセル位置を特徴点として設定する。
一方、候補画像m31のいずれかを選択する信号が入力されない場合(ステップS36:No)、即ち、特徴点の設定のキャンセルを指示する信号が入力された場合、処理はステップS38に移行する。
ステップS38において、制御部53は、次に表示する画像があるか否かを判定する。次に表示する画像がある場合(ステップS38:Yes)、処理はステップS22に戻る。一方、次に表示する画像がない場合(ステップS38:No)、一連の処理は終了する。
以上説明したように、本発明の実施の形態1によれば、ユーザ操作により、カプセル型内視鏡2が往復移動をしている間に取得された画像が特徴点画像として選択された場合に、特徴点画像としてより適切な画像が一連の画像内に存在していれば、その画像を候補画像として画面に表示するので、ユーザは、画面に表示された候補画像を参照することにより、より適切な特徴点を設定することが可能となる。
また、本発明の実施の形態1によれば、画像の並び順を示す画像番号と、画像のカプセル位置を表す距離パラメータとを用いることにより、カプセル型内視鏡2が往復移動をしていた区間を、簡単な処理で正確に抽出することができる。
(変形例1)
次に、本発明の実施の形態1の変形例1について説明する。図9は、カプセル型内視鏡2の動き情報を判定する際に用いられるインデックスの別の例を示す模式図である。図9に示す画像番号インデックス200は、画像の撮像順序を表す画像番号を、所定の基準位置から画像のカプセル位置までの距離の増減に基づいて配列した2次元配列表である。画像番号インデックス200の最上段に記載された数値は、基準位置からカプセル位置までの距離の増減を表すパラメータである。以下、基準位置からカプセル位置までの距離の増減を表すパラメータを、単に増減パラメータという。また、画像番号インデックス200の2段目以降に入力された数値は画像番号であり、同じ行に記載された画像番号の間では、増減パラメータの値が大きいほど基準位置からカプセル位置までの距離が長いことを示している。
この画像番号インデックス200においては、基準位置からカプセル位置までの距離が、直前の画像における同距離と同一、増加から減少に転じた、或いは、減少から増加に転じた際に、行が追加される。例えば、画像番号(i−1)は、それまで増加していた距離が減少に転じたため、新たに追加された行に入力されている。また、画像番号(i+2)は、それまで減少していた距離が増加に転じたため、新たに追加された行に入力されている。さらに、画像番号(i+3)は、直前の画像番号(i+2)と距離に変化がなかったため、新たに追加された行に入力されている。また、各行においては、基準位置からカプセル位置までの距離の絶対値によらず、連続する画像番号は隣接する欄に入力される。
このような画像番号インデックス200の場合、特定画像の画像番号iを含むk列を基準として、例えば±Δ列という形式で往復移動区間が設定される。図9においては、k±2列を往復移動区間としている。このように設定された往復移動区間をもとに、上記実施の形態1と同様にして、各行の動き情報を判定し、候補画像の抽出を行うことができる。
(変形例2)
次に、本発明の実施の形態1の変形例2について説明する。図10は、カプセル型内視鏡2の動き情報を判定する際に用いられるインデックスのさらに別の例を示す模式図である。図10に示す時系列インデックス300は、所定の基準位置から各画像のカプセル位置までの距離を表す撮像距離を、撮像開始時刻から当該画像の撮像時刻までの経過時間を表す撮像時間に応じて配列した2次元配列表である。ここで、撮像フレームレートが一定であれば、撮像時間は撮像順序に対応するため、各画像の撮像順序を表す画像番号を、撮像時間を表す時間パラメータとして用いることができる。
この時系列インデックス300においては、撮像距離(cm)が、直前に撮像された画像の撮像距離と同一、増加から減少に転じた、或いは、減少から増加に転じた際に、行が追加される。例えば、時間パラメータ(i−1)に対応する撮像距離110cmは、それまで増加していた撮像距離が減少に転じたため、新たに追加された行に入力されている。また、時間パラメータ(i+2)に対応する撮像距離104cmは、それまで減少していた撮像距離が増加に転じたため、新たに追加された行に入力されている。さらに、時間パラメータ(i+3)に対応する撮像距離104cmは、直前の画像番号(i+2)の撮像距離から変化がないため、新たに追加された行に入力されている。
このような時系列インデックス300の場合、特定画像の時間パラメータiを基準として、例えば±Δという形式で往復移動区間が設定される。図10においては、i±4を往復移動区間としている。このように往復移動区間を設定することにより、上記実施の形態1と同様にして、各行の動き情報を判定し、候補画像の抽出を行うことができる。
(変形例3)
次に、本発明の実施の形態1の変形例3について説明する。上記実施の形態1においては、受信装置3から画像表示装置5に画像データを転送する際に位置系列インデックスを作成することとした。しかしながら、位置系列インデックスの作成は、特徴点の設定処理を行う前であれば、どのタイミング行っても良い。例えば、ユーザが特徴点の設定を行う、或いは、ユーザが画像を観察するために、画像データのファイルを開いた際に、位置系列インデックスが作成されるようにしても良い。位置系列インデックスの代わりに、変形例1で説明した画像番号インデックス200や、変形例2で説明した時系列インデックス300を作成する場合においても同様である。
(実施の形態2)
次に、本発明の実施の形態2について説明する。上記実施の形態1においては、ユーザ操作により選択された特定画像に対する往復移動区間に動き情報が「往」である行が2つ以上含まれるか否かを判定することにより、当該往復移動区間においてカプセル型内視鏡2が往復移動を行っていたか否か、或いは滞留していたか否かを判定した。しかしながら、各行の動き情報を個別に判定することなく、往復移動区間から直接カプセル型内視鏡2の運動を判定することとしても良い。
図11は、本発明の実施の形態2に係る画像表示装置が実行する特徴点の設定処理を示すフローチャートである。なお、本実施の形態2におけるカプセル型内視鏡システム全体の構成及び画像表示装置の構成は、図1〜図3に示す実施の形態1と同様である。また、図11に示すステップS20〜S26は、実施の形態1と同様である。
ステップS26に続くステップS41において、判定部535は、往復移動区間に含まれる画像に、時系列で順方向、即ち画像番号が昇順であり、且つ位置系列で順方向に画像番号が並ぶ行、即ち画像番号群が2つ以上含まれるか否かを判定する。
往復移動区間に、時系列で順方向、且つ位置系列で順方向に画像番号が並ぶ行が2つ以上含まれない場合(ステップS41:No)、処理はステップS29に移行する。一方、時系列で順方向、且つ位置系列で順方向に画像番号が並ぶ行が2つ以上含まれる場合(ステップS41:Yes)、処理はステップS30に移行する。ステップS29〜S38の処理は、実施の形態1と同様である。
以上説明したように、本発明の実施の形態2によれば、位置系列インデックス100の行ごとに動き情報を判定する代わりに、往復移動区間に含まれる画像番号の並び順をもとに、当該往復移動区間においてカプセル型内視鏡2が往復移動をしていたか否かを判定するので、処理を簡素化することができる。
位置系列インデックスの代わりに、変形例1で説明した画像番号インデックス200や、変形例2で説明した時系列インデックス300を作成する場合においても、同様の処理によりカプセル型内視鏡2の動きを判定することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本発明の実施の形態3に係るカプセル型内視鏡システムは、図1に示す画像表示装置5の代わりに図12に示す画像表示装置6を備える。図12は、本発明の実施の形態3に係る画像表示装置の構成を示すブロック図である。図12に示す画像表示装置6は、図3に示す制御部53の代わりに制御部61を備える。なお、制御部61以外の画像表示装置6の各部の構成及び動作、並びに、カプセル型内視鏡システム全体の構成は、図1及び図2に示す実施の形態1と同様である。
制御部61は、図3に示す制御部53が備える判定部535の代わりに、判定部611を備える。判定部611は、画像特定部534により特定された特定画像に対してカプセル位置又は撮像時刻が所定範囲内である複数の画像の各々と、上記特定画像との間における類似性を判定する類似度判定部611aを備える。判定部61は、類似度判定部611aにより特定画像と類似すると判定された画像を含み、且つ画像番号が連続する画像群が、当該複数の画像に2つ以上含まれる場合、上記特定画像は往復移動をしていた区間に取得された画像であると判定する。判定部611以外の制御部61の各部の構成及び動作は、実施の形態1と同様である。
図13は、画像表示装置6が実行する特徴点の設定処理を示すフローチャートである。なお、図13に示すステップS20〜S25は、実施の形態1と同様である。
ステップS25に続くステップS51において、判定部611は、特定画像に対して往復移動区間を設定し、該往復移動区間に画像番号が存在する全ての行を抽出して、各画像番号に対応する画像データを、画像データ記憶部541から取得する。
続くステップS52において、判定部611は、特定画像の画像データを取得する。
続くステップS53において、類似度判定部611aは、ステップS51及びS52において取得した画像データに基づき、特定画像と他の画像との類似性を判定する。類似性の判定方法としては、公知の種々の方法を適用することができる。具体的には、テンプレートマッチングによる正規化相互相関(NCC)、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)等を、類似性を表す指標として用いる。なお、NCCは値が大きいほど画像間の類似性が高いことを示し、SSD及びSADは値が小さいほど画像間の類似性が高いことを示す。従って、NCCが所定値以上である画像や、SSD又はSADが所定値以下である画像が、特定画像と類似すると判定される。
続くステップS54において、判定部611は、特定画像と類似する画像の画像番号を1つ以上含む行が2つ以上存在するか否かを判定する。言い換えると、特定画像と類似する画像を含み、画像番号が連続する画像群が2つ以上存在するか否かが判定される。
特定画像と類似する画像の画像番号を含む行が2つ以上存在しない場合(ステップS54:No)、特徴点設定部537は、特定画像(ステップS23において入力された選択信号に対応する画像)に基づいて特徴点を設定する(ステップS29)。その後、処理は後述するステップS38に移行する。
一方、特定画像と類似する画像の画像番号を含む行が2つ以上存在する場合(ステップS54:Yes)、候補画像抽出部536は、ステップS20において取得した候補画像の抽出条件が、カプセル型内視鏡2が往復移動をしていた区間を「最初」に通過した際の画像となっているか否かを判定する(ステップS55)。
候補画像の抽出条件が「最初」となっている場合(ステップS55:Yes)、候補画像抽出部536は、特定画像と類似する画像のうち、画像番号が往復移動区間の先頭行、即ち、最初の往路に含まれる画像を抽出する(ステップS56)。一方、候補画像の抽出条件が「最初」となっていない場合(ステップS55:No)、候補画像抽出部536は、特定画像と類似する画像のうち、画像番号が往復移動区間の最終行、即ち、最後の往路に含まれる画像を抽出する(ステップS57)。
続くステップS58において、候補画像抽出部536は、ステップS56又はS57において抽出した画像を候補画像として表示部55に表示させる。続くステップS36〜S38は、図6を参照して説明した実施の形態1と同様である。
以上説明したように、本発明の実施の形態3によれば、特定画像との類似性の判定結果に基づいて候補画像を抽出するので、より適切な候補画像をユーザに提示することが可能となる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。本発明の実施の形態4に係るカプセル型内視鏡システムは、図1に示す画像表示装置5の代わりに図14に示す画像表示装置7を備える。図14は、本発明の実施の形態4に係る画像表示装置の構成を示すブロック図である。図14に示す画像表示装置7は、図3に示す制御部53及び記憶部54の代わりに、制御部71及び記憶部72をそれぞれ備える。
制御部71は、図3に示す制御部53に対し、通過時間算出部711及び臓器機能判定部712をさらに備える。通過時間算出部711は、互いに異なる特徴点間におけるカプセル型内視鏡2の通過時間を算出する。臓器機能判定部712は、通過時間算出部711が算出した通過時間に基づいて、被検体内の臓器の機能を判定する。通過時間算出部711及び臓器機能判定部712以外の制御部71の各部の構成及び動作は、実施の形態1と同様である。
記憶部72は、図3に示す記憶部54に対し、統計値記憶部721をさらに備える。統計値記憶部721は、被検体内におけるカプセル型内視鏡2の通過時間の統計値を、胃、小腸、大腸といった臓器の種類ごとに記憶する。より好ましくは、被検体である患者の年齢、性別、病歴ごとに、各臓器の通過時間の統計値を蓄積すると良い。また、統計値としては、平均値、最頻値、中央値のいずれであっても良い。統計値記憶部721以外の記憶部72の各部の構成は、実施の形態1と同様である。
次に、画像表示装置7の動作を説明する。画像表示装置7は、実施の形態1と同様に、受信装置3からの画像データの転送(図5参照)及び特徴点の設定(図6参照)を行った後、被検体における臓器の機能判定を追加的に行う機能を有する。なお、画像表示装置7が実行する画像データの転送処理及び特徴点の設定処理については、実施の形態1と同様である。或いは、実施の形態2又は3と同様にして特徴点の設定処理を行っても良い。
図15は、画像表示装置7が実行する臓器の機能判定処理を示すフローチャートである。まず、ステップS60において、臓器機能判定部712は、一連の画像に対し、特徴点として胃の入り口と小腸の入り口とが設定済みであるか否かを判定する。特徴点として胃の入り口と小腸の入り口とが設定されていない場合(ステップS60:No)、処理は後述するステップS65に移行する。
一方、特徴点として胃の入り口と小腸の入り口とが設定済みである場合(ステップS60:Yes)、通過時間算出部711は、カプセル型内視鏡2の胃の通過時間を算出する(ステップS61)。胃の通過時間は、胃の入り口として設定された特徴点画像の撮像時刻と小腸の入り口として設定された特徴点画像の撮像時刻との差分を算出することにより求められる。
続くステップS62において、臓器機能判定部712は、統計値記憶部721から胃の通過時間の統計値を読み出し、ステップS61において算出した胃の通過時間を該統計値と比較する。ステップS61において算出した胃の通過時間が統計値以下である場合(ステップS63:No)、処理は終了する。
一方、ステップS61において算出した胃の通過時間が統計値よりも長い場合(ステップS63:Yes)、被検体の胃の機能(蠕動運動)が低下していると考えられる。この場合、臓器機能判定部712は、胃の機能が低下している旨を示すメッセージを表示部55に表示させる(ステップS64)。メッセージの具体例としては、「胃の通過時間が通常よりも長いです。胃の機能が低下している可能性があります。」等が挙げられる。
続くステップS65において、通過時間算出部711は、特徴点として小腸の入り口と大腸の入り口とが設定済みであるか否かを判定する。特徴点として小腸の入り口と大腸の入り口とが設定されていない場合(ステップS65:No)、処理は終了する。
一方、特徴点として小腸の入り口と大腸の入り口とが設定済みである場合(ステップS65:Yes)、通過時間算出部711は、カプセル型内視鏡2の小腸の通過時間を算出する(ステップS66)。小腸の通過時間は、小腸の入り口として設定された特徴点画像の撮像時刻と大腸の入り口として設定された特徴点画像の撮像時刻との差分を算出することにより求められる。
続くステップS67において、臓器機能判定部712は、統計値記憶部721から小腸の通過時間の統計値を読み出し、ステップS66において算出した小腸の通過時間を該統計値と比較する。ステップS66において算出した小腸の通過時間が統計値以下である場合(ステップS68:No)、処理は終了する。
一方、ステップS66において算出した小腸の通過時間が統計値よりも長い場合(ステップS68:Yes)、被検体の小腸の機能、具体的には蠕動運動が低下していると考えられる。この場合、臓器機能判定部712は、小腸の機能が低下している旨を示すメッセージを表示部55に表示させる(ステップS69)。メッセージの具体例としては、「小腸の通過時間が通常よりも長いです。小腸の機能が低下している可能性があります」等が挙げられる。その後、処理は終了する。
以上説明したように、本発明の実施の形態4によれば、適切に設定された特徴点に基づいて、カプセル型内視鏡2による各臓器の通過時間を精度よく算出することができる。従って、臓器の通過時間と統計値との比較結果から臓器の機能低下が予測される場合に、その旨をユーザに通知することにより、ユーザは、臓器の機能低下を念頭において画像観察を行うことが可能となる。
以上説明した本発明は、実施の形態1〜4及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
以上においては、本発明の実施の形態1〜4及びこれらの変形例を、医療分野においてカプセル型内視鏡を用いる場合を想定して説明したが、医療分野以外においてカプセル型内視鏡を用いる場合に適用しても良い。
1 カプセル型内視鏡システム
2 カプセル型内視鏡
3 受信装置
3a クレードル
4 受信アンテナユニット
4a〜4h 受信アンテナ
5、6、7 画像表示装置
10 被検体
21 撮像部
22 照明部
23、32 信号処理部
24、33 メモリ
25 送信部
26 アンテナ
27、38 バッテリ
31 受信部
34 データ送信部
35 操作部
36 表示部
37 制御部
51 入力部
52 画像データ取得部
53、61、71 制御部
54、72 記憶部
55 表示部
100 位置系列インデックス
200 画像番号インデックス
300 時系列インデックス
531 画像処理部
532 位置情報取得部
533 インデックス作成部
534 画像特定部
535、611 判定部
535a 特定部
536 候補画像抽出部
537 特徴点設定部
538 表示制御部
541 画像データ記憶部
542 インデックス記憶部
543 特徴点記憶部
544 設定条件記憶部
545 プログラム記憶部
611a 類似度判定部
711 通過時間算出部
712 臓器機能判定部
721 統計値記憶部

Claims (8)

  1. 部からの操作入力を受け付ける入力部と、
    カプセル型内視鏡により取得された複数の画像の中から、前記入力部が受け付けた前記操作により選択された前記画像を特定画像として特定する画像特定部と、
    前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定部と、
    前記判定部により、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出部と、
    備えることを特徴とする画像処理装置。
  2. 前記画像の撮像時における前記カプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得部をさらに備え、
    前記判定部は、前記特定画像が前記往復移動中に取得された画像であるか否かを、前記像の撮像順序と前記カプセル位置とに基づいて判定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記判定部は、前記特定画像に対して前記カプセル位置又は撮像時刻が所定範囲内である複数の画像を特定する特定部を備え、
    前記判定部は、前記特定部により特定された複数の画像に、時系列で順方向に連続し、且つ位置系列で順方向に連続している画像群が2つ以上含まれる場合に、前記特定画像は前記往復移動中に取得された画像であると判定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記画像の撮像時における前記カプセル型内視鏡の位置であるカプセル位置を取得する位置情報取得部をさらに備え、
    前記判定部は、前記特定画像と、前記特定画像に対して前記カプセル位置又は撮像時刻が所定範囲内である前記複数の画像の各々との間における類似性を判定する類似度判定部を有し
    前記判定部は、前記類似度判定部により前記特定画像と類似すると判定された画像を含み、且つ画像番号が連続する画像群が、前記複数の画像に2つ以上含まれる場合、前記特定画像は前記往復移動中に取得された画像であると判定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記候補画像抽出部は、前記最初の往路又は最後の往路において取得された画像のうち、前記特定画像と類似すると判定された画像を抽出することを特徴とする請求項4に記載の画像処理装置。
  6. 前記候補画像抽出部により抽出された画像を表示する表示部
    を備えることを特徴とする請求項1に記載の画像処理装置。
  7. 力部が、外部からの操作入力を受け付ける入力ステップと、
    御部が、カプセル型内視鏡により取得された複数の画像の中から、前記入力ステップにおいて受け付けられた前記操作により選択された前記画像を特定画像として特定する画像特定ステップと、
    前記制御部が、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定ステップと、
    前記制御部が、前記判定ステップにおいて、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出ステップと、
    含むことを特徴とする画像処理方法。
  8. 部からの操作入力を受け付ける入力ステップと、
    カプセル型内視鏡により取得された複数の画像の中から、前記入力ステップにおいて受け付けられた前記操作により選択された前記画像を特定画像として特定する画像特定ステップと、
    前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であるか否かを判定する判定ステップと、
    前記判定ステップにおいて、前記特定画像が前記カプセル型内視鏡の往復移動中に取得された画像であると判定された場合に、当該往復移動中に取得された画像群のうち、最初の往路又は最後の往路において取得された画像を抽出する候補画像抽出ステップと、
    を画像処理装置に実行させることを特徴とする画像処理プログラム。
JP2016501698A 2014-09-22 2015-04-27 画像処理装置、画像処理方法、及び画像処理プログラム Active JP5945648B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014193104 2014-09-22
JP2014193104 2014-09-22
PCT/JP2015/062741 WO2016047190A1 (ja) 2014-09-22 2015-04-27 画像表示装置、画像表示方法、及び画像表示プログラム

Publications (2)

Publication Number Publication Date
JP5945648B1 true JP5945648B1 (ja) 2016-07-05
JPWO2016047190A1 JPWO2016047190A1 (ja) 2017-04-27

Family

ID=55580731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501698A Active JP5945648B1 (ja) 2014-09-22 2015-04-27 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US9877635B2 (ja)
JP (1) JP5945648B1 (ja)
CN (1) CN106455947A (ja)
WO (1) WO2016047190A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130741A1 (en) * 2010-11-24 2012-05-24 General Electric Company Integrated patient information viewer interface
US20120131507A1 (en) * 2010-11-24 2012-05-24 General Electric Company Patient information timeline viewer
WO2017195204A1 (en) * 2016-05-11 2017-11-16 Given Imaging Ltd. Capsule imaging system and method
WO2019049666A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN110060252B (zh) * 2019-04-28 2021-11-05 重庆金山医疗技术研究院有限公司 一种图片内目标提示处理方法、装置及内窥镜系统
CN110136808B (zh) * 2019-05-23 2022-05-24 安翰科技(武汉)股份有限公司 一种拍摄装置辅助显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2009089910A (ja) * 2007-10-09 2009-04-30 Sharp Corp 撮像方向判別装置、撮像方向判別方法、撮像方向判別プログラム、及び撮像方向判別プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012042986A1 (ja) * 2010-09-29 2012-04-05 オリンパスメディカルシステムズ株式会社 情報処理装置及びカプセル型内視鏡システム
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4547293B2 (ja) * 2005-04-04 2010-09-22 オリンパス株式会社 画像表示装置
US8241206B2 (en) * 2008-07-08 2012-08-14 Olympus Medical Systems Corp. System for guiding capsule medical device
CN102421350B (zh) * 2009-03-11 2014-12-17 奥林巴斯医疗株式会社 图像处理系统、其外部装置及其图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2009089910A (ja) * 2007-10-09 2009-04-30 Sharp Corp 撮像方向判別装置、撮像方向判別方法、撮像方向判別プログラム、及び撮像方向判別プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012042986A1 (ja) * 2010-09-29 2012-04-05 オリンパスメディカルシステムズ株式会社 情報処理装置及びカプセル型内視鏡システム
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置

Also Published As

Publication number Publication date
CN106455947A (zh) 2017-02-22
US9877635B2 (en) 2018-01-30
JPWO2016047190A1 (ja) 2017-04-27
US20170079506A1 (en) 2017-03-23
WO2016047190A1 (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
JP5945648B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5147308B2 (ja) 画像抽出装置および画像抽出プログラム
JP5005032B2 (ja) 画像表示装置および画像表示プログラム
JP4823659B2 (ja) 生体内画像表示装置
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
EP2556788B1 (en) Image display apparatus and capsule endoscopy system
JP6411834B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2010035637A (ja) 画像表示装置およびこれを用いた内視鏡システム
JP5593008B1 (ja) 画像処理装置及び画像処理方法
JP4574983B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP5259141B2 (ja) 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
US10932648B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4472602B2 (ja) 画像表示装置
JP2010069208A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
JP4445742B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US10462440B2 (en) Image processing apparatus
JP2010046525A (ja) 画像表示装置
JP4594834B2 (ja) 画像表示装置
US20220416917A1 (en) Processing apparatus, computer-readable recording medium, and operation method
US20180242013A1 (en) Motion determining apparatus, body-insertable apparatus, method of determining motion, and computer readable recording medium
JP2006167222A (ja) 画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5945648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250