JP6072400B1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6072400B1
JP6072400B1 JP2016565522A JP2016565522A JP6072400B1 JP 6072400 B1 JP6072400 B1 JP 6072400B1 JP 2016565522 A JP2016565522 A JP 2016565522A JP 2016565522 A JP2016565522 A JP 2016565522A JP 6072400 B1 JP6072400 B1 JP 6072400B1
Authority
JP
Japan
Prior art keywords
image
imaging
unit
distance
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016565522A
Other languages
English (en)
Other versions
JPWO2017017996A1 (ja
Inventor
桂 三津橋
桂 三津橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6072400B1 publication Critical patent/JP6072400B1/ja
Publication of JPWO2017017996A1 publication Critical patent/JPWO2017017996A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明にかかる受信装置4は、撮像部を有するカプセル型内視鏡2から送信される情報を基にカプセル型内視鏡2の進行方向における移動量を取得する移動量取得部432と、少なくとも撮像部の進行方向における撮像距離と移動量取得部432によって取得されたカプセル型内視鏡2の移動量とを基に、撮像部が撮像した第1画像と、第1画像の撮像時における撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける関連付け部433と、を備える。これにより、空間的な連続性を有する領域を示す2枚の画像を簡易な処理で関連付けることができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。

Description

本発明は、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。
内視鏡の分野においては、患者等の被検体の消化管内に導入可能な大きさに形成されたカプセル型内視鏡の開発が進められている。カプセル型内視鏡は、カプセル型筐体の内部に撮像機能及び無線通信機能を備えた装置であり、被検体の口から飲み込まれた後、蠕動運動等によって消化管内を移動しながら被検体の臓器内部を順次撮像して画像を取得し、被検体外部の受信装置に無線送信する。受信装置は、カプセル型内視鏡から送信された画像を順次、受信するとともに、記録媒体に順次、記録させる。画像表示装置は、記録媒体に記録された画像を取り込み、所定の画像処理を施した後に、体内画像として1フレームずつ切り替えて再生(コマ再生)する。操作者である医師等は、画像表示装置によって再生された体内画像を確認することで、被検体を診断する。
近年、異なる方向を撮像する複数の撮像ユニットを内蔵した、いわゆる複眼のカプセル型内視鏡が提案されている。この複眼のカプセル型内視鏡は、異なる方向を撮像することによって、被検体内部の多角的な撮像を可能としている。2眼のカプセル型内視鏡の場合、単眼のカプセル型内視鏡と比べて、被検体内を撮像した画像枚数が略2倍となる。このことから、読影による診断の効率を向上するために、空間的な連続性を有する領域を示す画像同士を同時に表示させたいという要望があった。
この要望に応えるため、カプセル型内視鏡の第1撮像部が撮像した第1画像群の画像と、第2撮像部が撮像した第2画像群の画像とのうち、所定の時間差で撮像された画像同士を同期表示する技術(例えば、特許文献1参照)や、第1画像群の画像と第2画像群の画像とのうち前後する画像間の類似度を演算して、類似する画像同士を同期表示させる技術(例えば、特許文献2参照)が提案されている。
特許第4891646号公報 特許第4865912号公報
しかしながら、特許文献1記載の技術では、同期表示される画像同士は、撮像時間に基づいて選択されるため、カプセル型内視鏡の進行状態によっては、必ずしも空間的な連続性を有しているとは限らないという問題があった。
また、特許文献2記載の技術では、第1の画像群と第2の画像群とに属するそれぞれの画像間の類似度を取得するまでに複雑な演算処理を多数回実行するため、カプセル型内視鏡による撮像信号を受信してから類似する2枚の画像を抽出して表示するまでに長時間を要し、撮像信号の受信とほぼ同時に2枚の画像を表示することはできなかった。
本発明は、上記に鑑みてなされたものであって、空間的な連続性を有する領域を示す2枚の画像を簡易な処理で関連付けることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、撮像部を有するカプセル型内視鏡から送信される情報を基に前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得部と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得部によって取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける関連付け部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第2画像の候補となる候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第1画像の撮像時における前記撮像部の位置と前記候補画像の撮像時における前記撮像部の位置との間の前記進行方向に沿った第1距離を求め、該求めた第1距離と前記撮像距離とを比較することによって、前記候補画像を前記第2画像として前記第1画像に関連付けるか否かを判断することを特徴とする。
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第1距離が0よりも大きく前記撮像距離以下である第1条件を満たす前記候補画像を前記第2画像として前記第1画像に関連付けることを特徴とする。
また、本発明にかかる画像処理装置は、前記撮像距離は、前記撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離であることを特徴とする。
また、本発明にかかる画像処理装置は、前記カプセル型内視鏡の光軸と前記進行方向とがなす角度を取得する角度取得部をさらに備え、前記関連付け部は、前記角度取得部が取得した前記角度に応じて補正した前記撮像距離を用いることを特徴とする。
また、本発明にかかる画像処理装置は、前記撮像部は、互いに撮像方向が異なる第1撮像部及び第2撮像部を備え、前記第1画像は、前記第1撮像部によって撮像された画像であり、前記第2画像は、前記第2撮像部によって撮像された画像であることを特徴とする。
また、本発明にかかる画像処理装置は、前記撮像距離は、前記第1撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第1観察深度と、前記第2撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第2観察深度と、の和であり、前記関連付け部は、前記第2画像の候補となる前記第2撮像部が撮像した候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第1画像の撮像時における前記第1撮像部の位置と前記候補画像の撮像時における前記第2撮像部の位置との間の前記進行方向に沿った第1距離を求め、該求めた第1距離と前記撮像距離とを比較することによって、前記候補画像を前記第2画像として前記第1画像に関連付けるか否かを判断することを特徴とする。
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第1距離が0よりも大きく前記撮像距離以下である第1条件を満たす前記候補画像のうち、前記第1距離が0以上かつ前記第1観察深度以下である第2条件と、前記第1距離及び前記第2観察深度の和が0以上かつ前記第1観察深度以下である第3条件との少なくとも一方を満たさない前記候補画像を前記第2画像として前記第1画像に関連付けることを特徴とする。
また、本発明にかかる画像処理装置は、前記関連付け部が関連付けた前記第1画像と前記第2画像とを合成した合成画像を生成する合成画像生成部と、前記合成画像生成部が合成した前記合成画像を表示する表示部と、をさらに備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記合成画像生成部は、前記第2画像を分割し、該分割された画像を前記第1画像の周縁に配置させた合成画像を生成することを特徴とする。
また、本発明にかかる画像処理方法は、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置が行う画像処理方法であって、前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得処理と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得処理において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける関連付け処理と、を含むことを特徴とする。
また、本発明にかかる画像処理プログラムは、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置に、前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得手順と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得手順において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける関連付け手順と、を実行させることを特徴とする。
本発明によれば、少なくともカプセル型内視鏡の撮像部の進行方向における撮像距離と、カプセル型内視鏡の移動量とに基づく簡易な処理を行うだけで、空間的な連続性を有する領域を示す2枚の画像を関連付けることができる。
図1は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。 図2は、図1に示すカプセル型内視鏡システムの構成を示すブロック図である。 図3は、図1に示すカプセル型内視鏡の一構成例を示す断面模式図である。 図4は、図2に示す第1撮像部及び第2撮像部の撮像処理の処理タイミングを説明する図である。 図5は、図2に示す表示用画像生成部による画像合成処理を説明する図である。 図6は、図2に示す受信装置が実行する画像表示処理の処理手順を示すフローチャートである。 図7は、図6に示す関連付け処理の処理手順を示すフローチャートである。 図8は、図2に示すカプセル型内視鏡の進行状態を説明する図である。 図9は、図2に示す関連付け部が判定する第1条件を説明するための図である。 図10は、図2に示す関連付け部が判定する第1条件を説明するための図である。 図11は、図7に示す関連付け処理を具体的に説明するための図である。 図12は、図7に示す関連付け処理を具体的に説明するための図である。 図13は、図7に示す関連付け処理を具体的に説明するための図である。 図14は、図7に示す関連付け処理を具体的に説明するための図である。 図15は、図6に示す表示用画像生成処理の処理手順を示すフローチャートである。 図16は、図2に示す表示用画像生成部が生成する合成画像の一例を説明する図である。 図17は、実施の形態の変形例1を説明するための図である。 図18は、図2に示す表示用画像生成部が生成する合成画像の一例を説明する図である。 図19は、実施の形態の変形例2に対応する例を説明する図である。 図20は、図2に示す表示用画像生成部が生成する合成画像の一例を説明する図である。 図21は、実施の形態の変形例2に対応する他の例を説明する図である。 図22は、図2に示す表示用画像生成部が生成する合成画像の一例を説明する図である。 図23は、実施の形態の変形例4にかかるカプセル型内視鏡システムの構成を示すブロック図である。 図24は、実施の形態の変形例4にかかるカプセル型内視鏡システムの他の構成を示すブロック図である。
以下に、本発明にかかる実施の形態として、医療用のカプセル型内視鏡を使用する内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
(実施の形態)
図1は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、実施の形態にかかるカプセル型内視鏡システム1は、被検体H内に導入されて該被検体H内を撮像することにより撮像信号を取得し、無線信号に重畳して送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された無線信号を、被検体Hに装着された複数の受信アンテナ3a〜3hを備えた受信アンテナユニット3を介して受信する受信装置4と、カプセル型内視鏡2が撮像した撮像信号を、クレードル5aを介して、受信装置4から取り込み、該撮像信号を処理して、被検体H内の画像を生成する処理装置5と、を備える。処理装置5によって生成された画像は、例えば、表示装置6から表示出力される。また、受信装置4は表示部を備え、カプセル型内視鏡2が撮像した撮像信号から被検体H内の画像を生成し、空間的な連続性を有する領域を示す2枚の画像を表示部に同期して表示する。
図2は、カプセル型内視鏡システム1の構成を示すブロック図である。図3は、図1に示すカプセル型内視鏡2の一構成例を示す断面模式図である。カプセル型内視鏡2は、第1撮像部21A、第2撮像部21B、第1照明部22A、第2照明部22B、制御部23、無線通信部24、アンテナ25、メモリ26、電源部27及び動きセンサ28を備える。カプセル型内視鏡2は、被検体Hが嚥下可能な大きさのカプセル形状の筐体29(図3参照)に撮像素子等の各種部品を内蔵した装置である。
第1撮像部21A及び第2撮像部21Bは、例えば、受光面に結像された光学像から被検体H内を表す撮像信号を生成して出力する撮像素子21A−1,21B−1と、該撮像素子21A−1,21B−1の受光面側にそれぞれ配設された対物レンズ等の光学系21A−2,21B−2とをそれぞれ含む。撮像素子21A−1,21B−1は、CCD撮像素子或いはCMOS撮像素子によって構成され、被検体Hからの光を受光する複数の画素がマトリックス状に配列され、画素が受光した光に対して光電変換を行うことにより、撮像信号を生成する。
第1撮像部21A及び第2撮像部21Bは、互いに異なる撮像方向の画像を撮像する。カプセル型内視鏡2は、カプセル型内視鏡2の長軸方向の前方及び後方を撮像する2眼タイプのカプセル型医療装置であり、実施の形態では、第1撮像部21A及び第2撮像部21Bの光軸Aは、カプセル型内視鏡2の長手方向の中心軸と略平行あるいは略一致する構成を例に説明する。また、第1撮像部21A及び第2撮像部21Bの各撮像方向は、互いに反対方向である。カプセル型内視鏡2の進行方向が光軸Aと一致する場合には、図3に示すFは、第1撮像部21Aの観察深度(第1観察深度)であり、第1撮像部21Aの有効撮像領域における光軸Aに沿った有効撮像領域の両端間の距離である。有効撮像領域は、撮像部が撮像した画像に所定の明るさが示され、かつ、所定の解像力が出る領域である。図3に示すFは、第2撮像部21Bの観察深度(第2観察深度)であり、第2撮像部21Bの有効撮像領域における光軸Aに沿った有効撮像領域の両端間の距離である。図3に示すCは、撮像素子21A−1の受光面と撮像素子21B−1の受光面との間の距離である。F,F,Cは、いずれもカプセル型内視鏡2の種別等に対応した既知の値であり、後述する受信装置4及び処理装置5において保持される。
図4は、第1撮像部21A及び第2撮像部21Bの撮像処理の処理タイミングを説明する図である。図4の(1)及び図4の(2)に示すように、第1撮像部21A及び第2撮像部21Bは、交互に撮像処理を行う。例えば、第1撮像部21Aが撮像開始時間t1で撮像処理を行い、第2撮像部21Bが撮像開始時間t2で撮像処理を行う。撮像開始時間t1において第1撮像部21Aが撮像した撮像信号に基づく画像G1(1)と、撮像開始時間t2において第2撮像部21Bが撮像した撮像信号に基づく画像G2(1)とは、1組目の画像として対応付けられる。同様に、2組目の画像は、撮像開始時間t3において第1撮像部21Aが撮像した撮像信号に基づく画像G1(2)及び撮像開始時間t4において第2撮像部21Bが撮像した撮像信号に基づく画像G2(2)であり、3組目の画像は、撮像開始時間t5において第1撮像部21Aが撮像した撮像信号に基づく画像G1(3)及び撮像開始時間t6において第2撮像部21Bが撮像した撮像信号に基づく画像G2(3)である。4組目の画像G1(4)以降も同様の撮像が行われる。
第1照明部22A及び第2照明部22Bは、照明光である白色光を発生する白色LED等によってそれぞれ構成される。
制御部23は、カプセル型内視鏡2の各構成部位の動作処理の制御を行う。例えば、第1撮像部21A及び第2撮像部21Bが交互に撮像処理を行う場合には、撮像素子21A−1,21B−1に対する露光及び読み出し処理を、交互に実行するように第1撮像部21A及び第2撮像部21Bを制御するとともに、第1照明部22A及び第2照明部22Bに対し、それぞれ対応する撮像部の露光タイミングに応じて照明光を照射するように制御する。
無線通信部24は、第1撮像部21A及び第2撮像部21Bから出力された撮像信号をそれぞれ処理する。無線通信部24は、第1撮像部21A及び第2撮像部21Bから出力された撮像信号のそれぞれに対してA/D変換及び所定の信号処理を施し、デジタル形式の撮像信号を取得し、関連情報とともに無線信号に重畳して、アンテナ25から外部に送信する。関連情報には、カプセル型内視鏡2の個体を識別するために割り当てられた識別情報(例えばシリアル番号)、第1撮像部21A及び第2撮像部21Bのいずれによって撮像されたかを識別する識別情報、後述する動きセンサ28が検出した検出信号等が含まれる。
メモリ26は、制御部23が各種動作を実行するための実行プログラム及び制御プログラムを記憶する。また、メモリ26は、無線通信部24において信号処理が施された撮像信号等を一時的に記憶してもよい。
電源部27は、ボタン電池等からなるバッテリと、該バッテリから電力を昇圧等する電源回路と、当該電源部27のオンオフ状態を切り替える電源スイッチとを含み、電源スイッチがオンとなった後、カプセル型内視鏡2内の各部に電力を供給する。なお、電源スイッチは、例えば外部の磁力によってオンオフ状態が切り替えられるリードスイッチからなり、カプセル型内視鏡2の使用前(被検体Hが嚥下する前)に、該カプセル型内視鏡2に外部から磁力を印加することによりオン状態に切り替えられる。
動きセンサ28は、カプセル型内視鏡2の動き量を取得するためのセンサであり、例えば加速度センサである。動きセンサ28は、カプセル型内視鏡2の中央部付近に配設され、筐体29に与えられる3軸方向の加速度を検出して検出信号を出力する。また、動きセンサ28と第1撮像部21A及び第2撮像部21Bとの位置関係はあらかじめ設定及び記憶されている。それにより、動きセンサ28からの検出信号に基づいてカプセル型内視鏡2の姿勢を判定し、第1撮像部21A及び第2撮像部21Bの位置関係(上側/下側、奥側/手前側等)を特定することが可能となる。
筐体29は、被検体Hの臓器内部に導入可能な大きさに形成された外装ケースであり、筒状筐体29Cの両側開口端をドーム状筐体29A,29Bによって塞ぐことによって実現される。ドーム状筐体29A,29Bは、可視光等の所定波長帯域の光に対して透明なドーム形状の光学部材である。筒状筐体29Cは、可視光に対して略不透明な有色の筐体である。かかる筒状筐体29C及びドーム状筐体29A,29Bによって形成される筐体29は、図3に示すように、カプセル型内視鏡2の各構成部品を液密に内包する。
このようなカプセル型内視鏡2は、被検体Hに嚥下された後、臓器の蠕動運動等によって被検体Hの消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を所定の周期(例えば0.5秒周期)で順次撮像する。そして、この撮像動作により取得された撮像信号及び関連情報を受信装置4に順次無線送信する。
受信装置4は、受信部41、受信信号処理部42、画像処理部43、制御部44、操作部45、表示部46、メモリ47、データ送受信部48、及び、これらの各部に電力を供給する電源部49を備える。
受信部41は、カプセル型内視鏡2から無線送信された撮像信号及び関連情報を、複数(図1においては8個)の受信アンテナ3a〜3hを有する受信アンテナユニット3を介して受信する。各受信アンテナ3a〜3hは、例えばループアンテナ又はダイポールアンテナを用いて実現され、被検体Hの体外表面上の所定位置に配置される。
受信信号処理部42は、受信部41が受信した撮像信号に所定の信号処理を施す。受信信号処理部42は、CPU等のプロセッサによって構成される。受信信号処理部42は、受信部41が受信した信号に重畳されていた撮像信号、撮像信号が第1撮像部21A及び第2撮像部21Bのいずれによって撮像されたかを識別する識別情報や動きセンサ28が検出した加速度等の検出信号等を含む関連情報を取得する。受信信号処理部42が取得した撮像信号、識別情報及び検出信号は、画像処理部43に出力される。
画像処理部43は、受信信号処理部42から入力された撮像信号に対し、所定の画像処理を施し、表示部46における表示用の画像を生成する。画像処理部43は、CPU等のプロセッサによって構成される。画像処理部43は、画像生成部431、移動量取得部432、関連付け部433及び表示用画像生成部434を備える。
画像生成部431は、受信信号処理部42から入力された撮像信号に基づいて画像を生成する。画像生成部431は、第1撮像部21Aの種別等に対応させて、入力された撮像信号に対し、オプティカルブラック減算(OB)処理、デモザイキング処理、濃度変換(ガンマ変換等)処理、平滑化(ノイズ除去等)処理、ホワイトバランス(WB)調整処理、同時化処理、電子ズーム処理、エッジ強調処理等を行うことによって生成した画像を出力する。画像生成部431は、生成した画像に、第1撮像部21A及び第2撮像部21Bのいずれかによって撮像されたかを識別する情報を対応付ける。
移動量取得部432は、動きセンサ28が検出した加速度等の検出信号を基にカプセル型内視鏡2の進行方向における移動量を取得する。移動量取得部432は、動きセンサ28が、第1撮像部21Aが2枚の撮像信号を撮像したタイミングにおいて検出した加速度を基に、第1撮像部21Aがこの2枚の撮像信号を撮像した間に移動したカプセル型内視鏡2の進行方向における移動量を取得する。また、移動量取得部432は、画像処理を行ってカプセル型内視鏡2の進行方向における移動量を取得してもよい。この場合には、1つの撮像部の2枚の画像を用いて、動き量を算出する。例えば、第1撮像部21Aによる2枚の画像を処理して、第1撮像部21Aがこの2枚の画像に対応する撮像信号を撮像した間に移動したカプセル型内視鏡2の進行方向における移動量を取得する。もちろん、第2撮像部21Bが撮像した撮像信号を用いてもよい。
関連付け部433は、少なくとも撮像部の進行方向における撮像距離と、移動量取得部432によって取得されたカプセル型内視鏡2の移動量とを基に、撮像部が撮像した第1画像と、第1画像の撮像時における撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける。関連付け部433は、第1撮像部21Aが撮像した撮像信号に基づく第1画像に対して、第2撮像部21Bが撮像した撮像信号に基づく画像群のうち、この第1画像の撮像時における第1撮像部21Aの有効撮像領域と連続性を有する有効撮像領域を撮像した画像を、第2画像として関連付ける。関連付け部433は、第2画像の候補となる第2撮像部21Bによる候補画像に対して、移動量取得部432が取得したカプセル型内視鏡2の進行方向における移動量を基に、第1画像の撮像時における第1撮像部21Aの位置と候補画像の撮像時における第2撮像部21Bの位置との間の進行方向に沿った第1距離を求め、該求めた第1距離と撮像距離とを比較することによって、候補画像を第2画像として第1画像に関連付けるか否かを判断する。撮像距離は、撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における進行方向に沿った有効撮像領域の両端間の距離である。カプセル型内視鏡2においては、第1撮像部21Aの観察深度Fと、第2撮像部21Bの観察深度Fとの和となる。
表示用画像生成部434は、OSD処理等を行い、関連付け部433が関連付けた第1画像と第2画像とを合成した合成画像を表示用画像として生成する。表示用画像生成部434は、第2画像を分割し、該分割された画像を第1画像の周縁に配置させた合成画像を生成する。図5は、表示用画像生成部434による画像合成処理を説明する図である。表示用画像生成部434は、例えば図5の(1)に示すように、第2画像Gを、上下に分割した画像G2T,G2Bを生成するとともに、第2画像Gを左右に分割した画像G2L,G2Rを生成する。表示用画像生成部434は、図5の(2)に示すように、第1画像Gの上部に、画像G2Tを配置し、第1画像Gの下部に画像G2Bを配置し、第1画像Gの右部に画像G2Lを配置し、第1画像Gの左部に画像G2Rを配置した合成画像Qを生成する。また、表示用画像生成部434は、合成画像Qに体内画像に関する情報を重畳してもよい。ここでいう情報とは、例えば、患者情報、検査内容、メインとなる撮像部が第1撮像部21A、第2撮像部21Bのいずれであるか等を示す情報である。
制御部44は、受信装置4の各構成部を制御する。制御部44は、CPU等のプロセッサによって構成される。制御部44は、表示制御部441を有する。表示制御部441は、画像処理部43の表示用画像生成部434において生成された表示用画像を、表示部46における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示部46に表示出力させる。
操作部45は、ユーザが当該受信装置4に対して各種設定情報や指示情報を入力する際に用いられる入力デバイスである。操作部45は、例えば受信装置4の操作パネルに設けられたスイッチ、ボタン等である。操作部45は、後述する表示部46に表示させる画像のうちメイン画像となる画像を撮像した撮像部を第1撮像部21A、第2撮像部21Bのいずれかに切り換えることができる切り替えボタンを備えてもよい。
表示部46は、カプセル型内視鏡2から受信した画像に基づく体内画像等を表示する。表示部46は、液晶ディスプレイ、有機ELディスプレイ等によって構成される。表示部46は、表示制御部441の制御に従って、表示用画像生成部434が生成した表示用の合成画像を表示する。表示部46は、受信装置4の主面に設けられた液晶画面等によって構成される。
メモリ47は、受信装置4を動作させて種々の機能を実行させるためのプログラム、受信信号処理部42において処理が施された撮像信号、画像処理部43において生成された画像、及び、関連情報に加え、関連付け部433が用いる各種パラメータの値及び関連付け部433が出力した関連付け情報等も記憶する。メモリ47は、RAM、ROM等によって構成される。メモリ47は、前述のF,F,Cの値もカプセル型内視鏡2の種別ごとに記憶する。
データ送受信部48は、処理装置5と通信可能な状態で接続された際に、メモリ47に記憶された撮像信号及び関連情報を処理装置5に送信する。データ送受信部48は、LAN等の通信I/Fで構成される。
このような受信装置4は、カプセル型内視鏡2により撮像が行われている間(例えば、カプセル型内視鏡2が被検体Hに嚥下された後、消化管内を通過して排出されるまでの間)、被検体Hに装着されて携帯される。受信装置4は、この間、受信アンテナユニット3を介して受信した撮像信号に、各受信アンテナ3a〜3hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの撮像信号及び関連情報をメモリ47に記憶させる。また、受信装置4は、表示部46に、第1画像及び第1画像に関連付けられた第2画像を同期表示させる。
カプセル型内視鏡2による撮像の終了後、受信装置4は被検体Hから取り外され、処理装置5と接続されたクレードル5a(図1参照)にセットされる。これにより、受信装置4は、処理装置5と通信可能な状態で接続され、メモリ47に記憶された撮像信号及び関連情報を処理装置5に転送(ダウンロード)する。
処理装置5は、例えば、液晶ディスプレイ等の表示装置6を備えたワークステーションを用いて構成される。処理装置5は、データ送受信部51、画像処理部52、各部を統括して制御する制御部53、表示制御部54、入力部55及び記憶部56を備える。
データ送受信部51は、USB、又は有線LANや無線LAN等の通信回線と接続可能なインタフェースであり、USBポート及びLANポートを含んでいる。実施の形態において、データ送受信部51は、USBポートに接続されるクレードル5aを介して受信装置4と接続され、受信装置4との間でデータの送受信を行う。
画像処理部52は、CPU等のハードウェアによって実現され、後述の記憶部56に記憶された所定のプログラムを読み込むことにより、データ送受信部51から入力された撮像信号や記憶部56に記憶された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。
制御部53は、CPU等のハードウェアによって実現され、記憶部56に記憶された各種プログラムを読み込むことにより、入力部55を介して入力された信号や、データ送受信部51から入力された撮像信号等に基づいて、処理装置5を構成する各部への指示やデータの転送等を行い、処理装置5全体の動作を統括的に制御する。
表示制御部54は、画像処理部52において生成された画像を、表示装置6における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示装置6に表示出力させる。
入力部55は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部55は、ユーザの操作に応じた情報や命令の入力を受け付ける。
記憶部56は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部56は、処理装置5を動作させて種々の機能を実行させるためのプログラム、該プログラムの実行中に使用される各種情報、並びに、受信装置4を介して取得した撮像信号及び関連情報等を記憶する。
続いて、受信装置4が実行する画像表示処理について説明する。図6は、受信装置4が実行する画像表示処理の処理手順の一例を示すフローチャートである。
図6に示すように、受信装置4では、移動量取得部432が、動きセンサ28が検出した加速度等の検出信号を基にカプセル型内視鏡2の進行方向における移動量を取得する移動量取得処理を行う(ステップS1)。移動量取得部432は、表示対象の第1画像を第1撮像部21Aが撮像した時から、この第1画像の次の組における画像を第1撮像部21Aが撮像した時までのカプセル型内視鏡2の進行方向における移動量を取得する。
関連付け部433は、少なくともカプセル型内視鏡2の進行方向における撮像距離と、移動量取得部432によって取得されたカプセル型内視鏡2の移動量とを基に、第1撮像部21Aが撮像した第1画像と、第2撮像部21Bが撮像した画像のうち第1画像の撮像時における第1撮像部21Aの有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像と、を関連付ける関連付け処理を行う(ステップS2)。
表示用画像生成部434は、関連付け部433が関連付けた第1画像と第2画像とを合成した合成画像を表示用画像として生成する表示用画像生成処理を行う(ステップS3)。
表示制御部441は、表示用画像生成処理において生成された表示用画像を、表示部46における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示部46に表示出力させる画像表示制御処理を行う(ステップS4)。
図7は、図6に示す関連付け処理の処理手順(ステップS2)の一例を示すフローチャートである。説明のため、表示対象の第1画像、すなわち、関連付け対象の第1画像をk組目において第1撮像部21Aが撮像した画像G1(k)とする。図8は、図2に示すカプセル型内視鏡の進行状態を説明する図である。図8の例では、x軸と第1撮像部21Aの撮像方向とがほぼ一致した状態でカプセル型内視鏡2が矢印Yのように進行する。以降において、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域をRG1(k)で示し、画像G1(k+1)の撮像時における第1撮像部21Aの有効撮像領域をRG1(k+1)で示し、h組目において第2撮像部21Bが撮像した画像をG2(h)とし、画像G2(h)の撮像時における第2撮像部21Bの有効撮像領域をRG2(h)で示す。
関連付け部433は、移動量取得部432から、この第1画像G1(k)の第1撮像部21Aによる撮像開始時から、この第1画像G1(k)の次の(k+1)組目の画像G1(k+1)の第1撮像部21Aによる撮像開始時までの間のカプセル型内視鏡2の移動量である距離M(図8参照)を受信する(ステップS11)。
関連付け部433は、以降の演算において必要となる他のパラメータの値をメモリ47から参照する(ステップS12)。他のパラメータは、観察深度F,F、撮像素子21A−1の受光面と撮像素子21B−1の受光面との間の距離Cである。
関連付け部433は、第1画像G1(k)に関連付ける第2画像を判別するために、第2撮像部21Bによる画像の中から、順次、第2画像の候補となる候補画像に対して、所定の条件を満たすか否かを判定する。候補画像は、h組目で第2撮像部21Bが撮像した画像G2(h)とする。また、候補画像G2(h)が属する組数hと、第1画像G1(k)が属する組数kとの差分(h−k)をnで示す。関連付け部433は、nを0にセットする(ステップS13)。言い換えると、関連付け部433は、候補画像を、第1画像G1(k)と同じk組目において第2撮像部21Bが撮像した画像G2(k)に設定する。
関連付け部433は、ステップS11において受信したカプセル型内視鏡2の進行方向における移動量を基に、第1距離を演算する(ステップS14)。具体的には、第1距離Ms(h)は、第1画像G1(k)の撮像開始時における第1撮像部21Aの位置におけるx座標(L1(k))と、候補画像G2(h)の撮像開始時における第2撮像部21Bの位置におけるx座標(L2(h))との間の距離である。すなわち、第1距離Ms(h)は、式(1A)で演算できる。
s(h)=L2(h)―L1(k) ・・・(1A)
候補画像がG2(k)である図8の場合には、第1距離Ms(k)は、式(1B)で演算できる。
s(k)=L2(k)―L1(k)=M/2−C ・・・(1B)
また、カプセル型内視鏡2が等速で移動する場合、第1距離Ms(h)は、式(1B)を基に、式(1C)となる。
s(h)=Ms(k)+M×n ・・・(1C)
関連付け部433は、画像G2(h)の第1距離Ms(h)が、0よりも大きく2つの撮像部の撮像距離以下である第1条件を満たすか否かを判定する(ステップS15)。第1条件は、第1距離Ms(h),F,Fを用いて、式(2A)のように規定される。
0<Ms(h)≦F+F ・・・(2A)
式(2A)は、式(1C)を基に、以下の式(2B)となる。
0<Ms(k)+M×n≦F+F ・・・(2B)
候補画像が第1画像G1(k)と同組の画像G2(k)である場合には、n=0がセットされているため、式(2B)は、式(2C)となる。
0<Ms(k)≦F+F ・・・(2C)
図9及び図10は、第1条件を説明するための図である。図9及び図10において、候補画像を第1画像G1(k)と同じk組目の画像G2(k)とした場合には、第1距離は、Ms(k)となる。図9に示すように、第1距離Ms(k)が、第1条件である式(2C)を満たす場合、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)とが重なるため、画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)は、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と空間的な連続性を有する。一方、図10に示すように、第1距離Ms(k)が、観察深度F及び観察深度Fの和よりも大きく第1条件を満たさない場合、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)との間に、観察に適さない隙間がある。このため、画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)は、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と空間的な連続性を有していない。また、第1距離Ms(k)が0以下で第1条件を満たさない場合も同様に、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)との間に、観察に適さない隙間があるため、画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)は、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と空間的な連続性を有していない。
関連付け部433は、第1距離Ms(h)が第1条件を満たすと判定した場合(ステップS15:Yes)、さらに第1距離Ms(h)と観察深度Fを用いて定められる第2条件を満たすか否かを判定する(ステップS16)。第2条件は、以下の式(3A)を用いて規定される。
0≦Ms(h)≦F ・・・(3A)
式(3A)は、上記式(1C)を基に、以下の式(3B)となる。
0≦Ms(k)+M×n≦F ・・・(3B)
また、n=0がセットされている場合、式(3B)は式(3C)となる。
0≦Ms(k)≦F ・・・(3C)
第1距離Ms(k)が式(3C)を満たせば、第2撮像部21Bは、第1撮像部21Aの観察深度F内で画像G2(k)を撮像したこととなり、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)とが完全に重複している可能性が否めない。一方、式(3C)を満たしていない場合には、第2撮像部21Bは、観察深度F外で画像G2(k)を撮像したこととなり、画像G2(k)は、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)と連続性を有する有効撮像領域を撮像しながらも、有効撮像領域RG1(k)と有効撮像領域RG2(k)とが重複しておらず、画像G2(k)には、第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)外の領域も含まれる。
関連付け部433は、第1距離Ms(h)が第2条件を満たさないと判定した場合(ステップS16:No)、判断対象の候補画像を第2画像として第1画像に関連付ける(ステップS17)とした関連付け情報を出力して(ステップS18)、関連付け処理を終了する。
関連付け部433は、第1距離Ms(h)が第2条件を満たすと判定した場合(ステップS16:Yes)、第1距離Ms(h)が観察深度F及び観察深度Fを用いて規定される第3条件を満たすか否かを判定する(ステップS19)。第3条件は、以下の式(4A)を用いて規定される。
0≦Ms(h)+F≦F ・・・(4A)
式(4A)は、式(1C)を基に、以下の式(4B)となる。
0≦Ms(k)+M×n+F≦F ・・・(4B)
n=0がセットされている場合、式(4B)は、式(4C)となる。
0≦Ms(k)+F≦F ・・・(4C)
第1画像G1(k)と同組の画像G2(k)とを例とすると、第1画像G1(k)と画像G2(k)とに対する第1距離Ms(k)と観察深度Fとの和が式(4C)を満たせば、画像G2(k)の撮像時における第2撮像部21Bの有効撮像領域RG2(k)は、観察深度Fである第1画像G1(k)の撮像時における第1撮像部21Aの有効撮像領域RG1(k)に含まれることとなる。言い換えると、画像G2(k)は、有効撮像領域RG1(k)とは異なる領域を撮像しておらず、画像G2(k)を第1画像G1(k)と同期表示させる必要がない。
関連付け部433は、第3条件を満たさないと判定した場合(ステップS19:No)、判断対象の候補画像を第2画像として第1画像に関連付ける(ステップS17)とした関連付け情報を出力して(ステップS18)、関連付け処理を終了する。
関連付け部433は、第3条件を満たすと判定した場合(ステップS19:Yes)、又は、第1条件を満たさないと判定した場合(ステップS15:No)、nの絶対値|n|が最大値Nであるか否かを判断する(ステップS20)。例えば、最大値Nが2の場合には、関連付け部433は、第1画像に対して、2組ずれた組の第2撮像部21Bによる画像まで関連付けの判定を行う。なお、最大値Nは、ユーザによる操作部45の操作等によって、任意の値に設定可能である。関連付け部433は、nの絶対値|n|が最大値Nであると判断した場合には(ステップS20:Yes)、第1画像に関連付ける画像はなしとした関連付け情報を出力して(ステップS18)、関連付け処理を終了する。
一方、関連付け部433は、nの絶対値|n|が最大値Nでないと判断した場合には(ステップS20:No)、次に関連付けを判定する候補画像を選択するために、第1条件で演算した第1距離Ms(h)は0以下であるか否かを判断する(ステップS21)。
関連付け部433は、第1距離Ms(h)は0以下であると判断した場合には(ステップS21:Yes)、第1距離Ms(h)を大きくするために、n=n+1とする処理を行う(ステップS22)。すなわち、関連付け部433は、画像G2(h)の次の組に第2撮像部21Bが撮像した画像G2(h+1)を候補画像として、ステップS14に戻る。
関連付け部433は、第1距離Ms(h)は0以下でないと判断した場合には(ステップS21:No)、第1距離Ms(h)を小さくするために、n=n−1とする処理を行う(ステップS23)。すなわち、関連付け部433は、画像G2(h)の前の組で第2撮像部21Bが撮像した画像G2(h−1)を候補画像として、ステップS14に戻る。この処理を繰り返すことによって、第1距離が第1条件を満たすように調整する。
図11〜図14は、図7に示す関連処理を具体的に説明するための図である。図11〜図14では、観察深度F,Fがともに20mm、撮像素子21A−1の受光面と撮像素子21B−1の受光面との間の距離Cが20mmとする。また、第1撮像部21A、第2撮像部21Bの画角はいずれも180°とする。
図11では、位置L1(1)において第1撮像部21Aが撮像した画像G1(1)が、第1画像である場合を示している。この場合には、矢印Yに示すように、カプセル型内視鏡2は、x軸の正方向に進む。関連付け部433は、nの値を0にセットして第1画像G1(1)と同組で第2撮像部21Bが撮像した画像G2(1)を候補画像とし、第1条件を判定する。この場合、第1画像G1(1)の第1撮像部21Aの撮像時の位置のx座標(L1(1))と、画像G1(2)の第1撮像部21Aの撮像時の位置のx座標(L1(2))との距離Mが120mmである。第1距離Ms(1)は、式(1B)より40mmとなり、観察深度F,Fの和である40mmと同値になるため、式(2C)で規定する第1条件を満たす。
関連付け部433は、画像G2(1)に対して第2条件について判定する。この場合には、第1距離Ms(1)の値は、観察深度F以下の20mmとなり、式(3C)で規定する第2条件を満たすため、関連付け部433は、第3条件について判定する。画像G2(1)については、(Ms(1)+F)の値が60mmとなり、観察深度Fより大となるため、式(4C)で規定する第3条件を満たさない。したがって、関連付け部433は、図11の例では、候補画像である画像G2(1)を第2画像として第1画像G1(1)に関連付ける。
図12では、距離Mが60mmである。この場合も、矢印Yに示すように、カプセル型内視鏡2は、x軸の正方向に進む。図12の例では、第1距離Ms(1)は式(1B)より10mmとなり、観察深度F,Fの和である40mm以下となるため、式(2C)に規定する第1条件を満たす。関連付け部433は、画像G2(1)に対して、第2条件について判定する。この場合には、第1距離Ms(1)の値は観察深度F以下となり、式(3C)に規定する第2条件を満たすため、関連付け部433は、第3条件について判定する。画像G2(1)については、(Ms(1)+F)の値が30mmとなり、観察深度Fより大となるため、式(4C)に規定する第3条件を満たさない。したがって、関連付け部433は、図12の例でも、候補画像である画像G2(1)を第2画像として第1画像G1(1)に関連付ける。なお、図12では、便宜上カプセル型内視鏡2の位置を上下にずらして示している。
図13では、位置L1(4)において第1撮像部21Aが撮像した第1画像G1(4)が、関連付け対象である場合を示している。この場合には、矢印Yに示すように、カプセル型内視鏡2は、x軸の負方向に進む。まず、関連付け部433は、第1画像G1(4)と同じ4組目で第2撮像部21Bが撮像した画像G2(4)を候補画像とし、第1条件を判定する。第1画像G1(4)の第1撮像部21Aの撮像時の位置のx座標(L1(4))と、画像G1(5)の第1撮像部21Aの撮像時の位置のx座標(L1(5))との距離Mが(−60)mmである。この場合、第1距離Ms(4)は、式(1B)より(−50)mmとなり、0以下となるため、式(2B)で規定する第1条件を満たさない。
関連付け部433は、式(2C)における第1距離Ms(4)の値が0以下であるため、n=−1とし、第1画像G1(4)よりも1つ前の組で撮像された画像G2(3)を候補画像とする。この場合の第1距離Ms(3)である(Ms(4)+M×n)の値は、式(2B)を用いて(−50+(−60)×(−1))=10mmであることが求められ、式(2B)で規定する第1条件を満たす。
関連付け部433は、画像G2(3)に対して、第2条件について判定する。この場合には、(Ms(4)+M×n)の値は、前述したように10mmであり、観察深度F以下となるため、式(3B)に規定する第2条件を満たす。このため、関連付け部433は、第3条件について判定する。この場合には、(Ms(4)+M×n+F)の値が30mmとなり、観察深度Fより大となるため、式(4B)に規定する第3条件を満たさない。したがって、関連付け部433は、図13の例では、画像G2(3)を第1画像G1(4)に関連付ける。
図14では、位置L1(5)において第1撮像部21Aが撮像した画像G1(5)が、第1画像である場合を示している。この場合には、矢印Yに示すように、カプセル型内視鏡2は、x軸の負方向に進む。まず、関連付け部433は、第1画像G1(5)と同組で第2撮像部21Bが撮像した画像G2(5)を候補画像とし、第1条件を判定する。第1画像G1(5)の第1撮像部21Aの撮像時の位置のx座標(L1(5))と、画像G1(6)の第1撮像部21Aの撮像時の位置のx座標(L1(6))との進行方向に沿った距離Mが(−40)mmである。この場合、第1距離Ms(5)は、式(1B)より(−40)mmとなり、0以下となるため、式(2C)で規定する第1条件を満たさない。
関連付け部433は、式(2C)における第1距離Ms(5)の値が0以下であるため、n=−1とし、第1画像G1(5)よりも1つ前の4組目で撮像された画像G2(4)を候補画像とする。この場合の第1距離Ms(4)である(Ms(5)+M×n)の値は、(−40+(−40)×(−1))=0mmとなり、式(2B)に規定する第1条件を満たさない。
関連付け部433は、式(2B)における(Ms(5)+M×n)の値が0以下であるため、n=−2とし、第1画像G1(5)よりも2つ前の3組目で撮像された画像G2(3)を候補画像とする。この場合、(Ms(5)+M×n)の値は、(−40+(−40)×(−2))=40mmとなるため、式(2B)に規定する第1条件を満たす。関連付け部433は、画像G2(3)に対して、第2条件について判定する。この場合の(Ms(5)+M×n)の値は、前述したように40mmであり、観察深度Fより大となるため、式(3B)に規定する第2条件を満たさない。したがって、関連付け部433は、図14の例では、画像G2(3)を第1画像G1(5)に関連付ける。なお、図14では、便宜上カプセル型内視鏡2の位置を上下にずらして示している。
次に、図6に示す表示用画像生成処理(ステップS3)について説明する。図15は、図6に示す表示用画像生成処理の処理手順を示すフローチャートである。表示用画像生成部434は、画像生成部431が生成した画像のうち、表示対象の第1画像を取得する(ステップS41)。表示用画像生成部434は、関連付け部433から、表示対象の第1画像に対する関連付け情報を取得する(ステップS42)。表示用画像生成部434は、取得した関連付け情報を基に、表示対象の第1画像に対して、第2画像の関連付けがあるか否かを判断する(ステップS43)。表示用画像生成部434は、表示対象の第1画像に対して、第2画像の関連付けがあると判断した場合には(ステップS43:Yes)、画像生成部431が生成した画像のうち、この第1画像に関連付けられた第2画像を取得する(ステップS44)。第1画像と第2画像とを合成した合成画像を生成する合成画像生成処理を行い(ステップS45)、生成した合成画像を表示用画像として、制御部44に出力する(ステップS46)。
図16は、表示用画像生成部434が生成する合成画像の一例を説明する図である。関連付け部433が、図5で例示したように、表示対象の第1画像G1(1)に対して、第2画像として、第2撮像部21Bが撮像した画像G2(1)を関連付けた場合には、表示用画像生成部434は、第2画像である画像G2(1)を、上下に分割した画像G2(1)T,G2(1)Bを生成するとともに、画像G2(1)を左右に分割して画像G2(1)L,G2(1)Rを生成する。表示用画像生成部434は、第1画像G1(1)の上部に、画像G2(1)Tを配置し、第1画像G1(1)の下部に画像G2(1)Bを配置し、第1画像G1(1)の右部に画像G2(1)Lを配置し、第1画像G1(1)の左部に画像G2(1)Rを配置した合成画像Q1(1)を生成する。なお、左右に分割した画像G2(1)L,G2(1)Rを、第1画像G1(1)の左右いずれに配置するかは、カプセル型内視鏡2の実際の進行方向に対応して、変更する。図16に示す例は、カプセル型内視鏡2がx軸の正方向に沿って移動した場合の例であり、カプセル型内視鏡2がx軸の負方向に沿って移動した場合には、画像G2(1)L,G2(1)Rの配置は図16の配置と左右逆となる。
表示用画像生成部434は、表示対象の第1画像に対して、第2画像の関連付けがないと判断した場合には(ステップS43:No)、表示対象の第1画像のみを表示用画像として、制御部44に出力する(ステップS46)。
このように、実施の形態では、上述した簡易な式で規定される第1条件から第3条件を判定するだけで、第1画像の撮像時における第1撮像部21Aの有効撮像領域と連続性を有する有効撮像領域を撮像した第2画像を、多数の画像の中から選択して第1画像に関連付けている。したがって、本実施の形態1によれば、空間的な連続性を有する領域を示す2枚の画像を簡易な処理で関連付けることができる。
(実施の形態の変形例1)
図17は、実施の形態の変形例1を説明するための図である。図17に示すように、実施の形態の変形例1では、カプセル型内視鏡2の光軸Aとx軸とが交差していた場合、すなわち、直線状の進行方向に対して一定確度で傾斜したままカプセル型内視鏡2が移動した場合について説明する。なお、矢印Yに示すように、カプセル型内視鏡2は、x軸の正方向に進む。関連付け部433は、カプセル型内視鏡2の動きセンサ28の検出結果を基に、カプセル型内視鏡2の光軸Aとカプセル型内視鏡2の進行方向に対応するx軸とがなす角度θを取得する。そして、関連付け部433は、取得した角度θに応じて補正した第1撮像部21A及び第2撮像部21Bのx軸における撮像距離等を用いて、関連付け処理を行えばよい。すなわち、式(1B)〜(4B)に代えて、式(1B)〜(4B)を角度θで補正した式(1B−1)〜(4B−1)を用いて、第1条件〜第3条件を判定すればよい。
s(k)=(M/2)−Ccosθ ・・・(1B−1)
0<Ms(h)≦Fcosθ+Fcosθ ・・・(2A−1)
0<Ms(k)+M×n≦Fcosθ+Fcosθ ・・・(2B−1)
0<Ms(h)≦Fcosθ ・・・(3A−1)
0≦Ms(k)+M×n≦Fcosθ ・・・(3B−1)
0≦Ms(h)+Fcosθ≦Fcosθ ・・・(4A−1)
0≦Ms(k)+M×n+Fcosθ≦Fcosθ ・・・(4B−1)
なお、式(1B−1)〜(4B−1)を適用する角度θの範囲は、関連付け部433の演算性能等に合わせて、適宜設定すればよい。例えば、関連付け部433の演算性能に合わせて、角度θが、10°を超えた場合に式(1B−1)〜(4B−1)を適用し、10°未満の場合には、演算処理の簡易化のために、式(1B)〜(4B)を用いるように設定する。
図18は、表示用画像生成部434が生成する合成画像の一例を説明する図である。角度θが0°より大きい所定の閾値を超えた場合、例えば、角度θが45°の場合には、表示対象の第1画像G1(4)と、第1画像G1(4)に関連付けられた第2画像G2(4)とを、並列に並べて合成した画像Q1(4)を生成してもよい。
(実施の形態の変形例2)
実施の形態の変形例2では、カプセル型内視鏡2の光軸Aとカプセル型内視鏡2の進行方向に対応するx軸とがなす角度θが90°である場合について説明する。
図19は、実施の形態の変形例2に対応する例を説明する図である。なお、矢印Yに示すように、カプセル型内視鏡2は、x軸の正方向に進む。図19に示すように、角度θが90°である場合には、第1撮像部21Aによる画像の有効撮像領域と、第2撮像部21Bによる有効撮像領域とに連続性がないため、関連付け部433は、第1撮像部21Aが撮像する画像群の中から第2画像を選択する。この場合には、関連付け部433は、第1条件で使用する式(2B)に代えて、式(2B−2)で規定された第1条件を判定する。なお、関連付け部433は、第2撮像部21Bが撮像する画像群の中からは第2画像を選択しないため、第2条件及び第3条件は判定せず、式(2B−2)で規定された第1条件を満たしたものを第2画像として第1画像に関連付ければよい。また、実施の形態において演算したMs(h)は使用しないため、演算する必要がない。
0<M+M×(n−1)≦E ・・・(2B−2)
式(2B−2)におけるEは、図19に示すように、x軸に対して光軸Aが垂直となる状態でカプセル型内視鏡2が移動した場合における、第1撮像部21Aのx軸における撮像距離であり、第1撮像部21Aの画角αに対応する視野範囲のうち、第1撮像部21Aの受光面から、受光面と平行な直線のうち光軸Aに沿って観察深度F分の距離を有する直線上の距離となる。
例えば、図19に示す例では、Eは20mmであり、距離Mは10mmである。関連付け部433は、第1画像である1組目のG1(1)の次の組である2組目において第1撮像部21Aで撮像された画像G1(2)を候補画像として判定を行う。この場合には、nは1となる。式(2B−2)における(M+M×(n−1))の値は、10mmであり、E未満となるため、図19の例では、候補画像である画像G1(2)を第2画像として第1画像G1(1)に関連付ける。
なお、図19の例では、さらに、第1画像であるG1(1)の組から2組ずれた画像G1(3)についても候補画像として判定を行ってもよい。この場合、nは2となり、式(2B−2)における(M+M×(n−1))の値は、20mmであり、Eと同値になる。したがって、画像G1(3)も第1条件を満たすため、画像G1(3)も第2画像として第1画像G1(1)に関連付けることが可能である。第1画像G1(1)の撮像時における第1撮像部21Aの有効撮像領域RG1(1)と画像G1(3)の撮像時における第1撮像部21Aの有効撮像領域RG1(3)とが重複した領域は、第1画像G1(1)の撮像時における第1撮像部21Aの有効撮像領域RG1(1)と画像G1(2)の撮像時における第1撮像部21Aの有効撮像領域RG1(2)とが重複した領域よりも小さい。言い換えると、第1画像G1(1)と画像G1(3)とを合わせた場合の情報量は、第1画像G1(1)と画像G1(2)とを合わせた場合の情報量よりも多いといえる。このため、関連付け部433は、式(2B−2)を満たすとともに式(2B−2)における(M+M×(n−1))の値がEにより近い画像G1(3)を第2画像として第1画像G1(1)に関連付けてもよい。そして、この場合も、表示用画像生成部434は、第1画像G1(1)と画像G1(3)とを図20のように並列に並べた合成画像を生成して、表示部46に表示されるようにしてもよい。
また、カプセル型内視鏡2が矢印Yのようにx軸の正方向に進む図21の例のように、第1画像であるG1(2)の前の組の画像G1(1)と、後の組の画像G1(3)とのいずれも式(2B−2)を満たすとともに、式(2B−2)における(M+M×(n−1))の値が、画像G1(1)と画像G1(3)とのいずれにおいても同値である場合には、画像G1(1)と画像G1(3)との双方を第2画像として関連付けてもよい。この場合には、表示用画像生成部434は、第1画像G1(2)及び、画像G1(1)と画像G1(3)とを、図22のように撮像順に並列に並べた合成画像を生成して、表示部46に表示されるようにしてもよい。
また、受信装置4は、第1撮像部21Aを画像表示におけるメインとなる撮像部として、第1撮像部21Aが撮像した画像のいずれかを第1画像として表示させる例について説明したが、もちろん、メインとなる撮像部は第2撮像部21Bとして処理を進めることもできる。受信装置4に、表示する第1画像を、第1撮像部21Aによる画像或いは第2撮像部21Bによる画像のいずれかに切り替え可能であるボタンを持たせてもよい。また、角度θの説明のため、本実施の形態では、カプセル型内視鏡2の光軸Aとカプセル型内視鏡2の進行方向とを一致させたx軸を示して説明を行い、カプセル型内視鏡2の第1撮像部21Aの撮像方向に対応した右方向を正方向として説明したが、x軸の左方向を正方向にしてもよい。また、受信装置4では、画像処理上のメインの撮像部を、カプセル型内視鏡2の進行方向に応じて入れ替えてもよい。例えば、受信装置4は、進行方向と撮像方向とが略一致している撮像部をメインの撮像部として処理を行ってもよい。受信装置4は、移動量取得部432が演算した移動量の値が負の値になった場合には、カプセル型内視鏡2の進行方向が逆転した場合に対応するため、メインの撮像部とサブの撮像部とを入れ替えて処理を行う。
(実施の形態の変形例3)
カプセル型内視鏡が単眼の場合にも、本実施の形態は適用可能である。すなわち、カプセル型内視鏡の構成は、図2に示すカプセル型内視鏡2から、第2撮像部21B、第2照明部22Bを削除した構成となる。
この場合には、画像生成部431は、第1撮像部21Aによる撮像信号の基に、画像を生成する。移動量取得部432は、図6のステップS1と同様に、表示対象の第1画像を第1撮像部21Aが撮像した時から、この第1画像の次の組における画像を第1撮像部21Aが撮像した時までのカプセル型内視鏡2の進行方向における移動量を取得する。関連付け部433は、カプセル型内視鏡2の動きセンサ28の検出結果を基に、カプセル型内視鏡2の光軸Aとカプセル型内視鏡2の進行方向に対応するx軸とがなす角度θを取得する。関連付け部433は、角度θが0°である場合、表示対象の第1画像に対して、第2画像として、いずれの画像も関連付けない。
角度θが90°の場合には、実施の形態の変形例2と同様に、式(2B−2)を用いた第1条件を満たしたものを第2画像として第1画像に関連付ければよい。なお、実施の形態の変形例2と同様に、関連付け部433は、第1画像G1(k)の前後に撮像された複数の画像を候補画像とし、式(2B−2)を満たすとともに式(2B−2)における(M+M×(n−1))の値がEにより近い画像を第2画像として第1画像G1(k)に関連付けてもよい。また、角度θとして、90°近傍の所定範囲を適宜設定し、式(2B−2)を適用すればよい。
(実施の形態の変形例4)
実施の形態及び実施の形態の変形例1〜3では、受信装置4が画像処理部43を有し、関連付け処理を実行する例について、説明したが、もちろん、この構成に限ることはない。図23は、本実施の形態の変形例4にかかるカプセル型内視鏡システムの構成を示すブロック図である。図23に示すカプセル型内視鏡システム1−1に示すように、カプセル型内視鏡2−1の制御部23−1に、移動量取得部432と同様の機能を有する移動量取得部432−1と、関連付け部433と同様の機能を有する関連付け部433−1を設けてもよい。移動量取得部432−1は、図6のステップS1の移動量取得処理と同様の処理を行い、関連付け部433−1は、図6のステップS2の関連付け処理と同様の処理を行う。制御部23−1は、関連付け部433−1による関連付け情報を画像等とともに重畳させた無線信号をアンテナ25から受信装置4−1に送信する。受信装置4−1では、画像処理部43−1において、カプセル型内視鏡2−1から送信された関連付け情報を基に、表示用画像を生成する。
図24は、実施の形態の変形例4にかかるカプセル型内視鏡システムの他の構成を示すブロック図である。図24に示すカプセル型内視鏡システム1−2のように、受信装置4−2ではなく、処理装置5−2の画像処理部52−2に、画像生成部431と同様の機能を有する画像生成部431−2、移動量取得部432、関連付け部433及び表示用画像生成部434を設け、制御部44−2の制御の基、表示制御部54−2の表示制御によって、第1画像と第2画像とを合成した画像を表示装置6に表示させてもよい。
本実施の形態では、説明の簡易化のために、第1撮像部21Aと第2撮像部21Bが図4で説明したように交互に撮像し、かつ、カプセル型内視鏡2が等速で移動する場合を主に説明したが、もちろんこれに限らない。これ以外の場合には、関連付け部433は、候補画像である画像G2(h)を撮像した時の第2撮像部21Bの位置におけるx座標(L2(h))から、第1画像G1(k)を撮像した時の第1撮像部21Aの位置におけるx座標(L1(k))を減算した値を適用した式(1A)を用いて、Ms(h)の値を求め、求めたMs(h)の値を、式(2A)、式(3A)及び式(4A)に適用して、第1〜第3条件を判定すればよい。
本実施の形態にかかるカプセル型内視鏡システム1,1−1,1−2のカプセル型内視鏡2,2−1、受信装置4,4−1,4−2、処理装置5,5−2の各構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
1,1−1,1−2 カプセル型内視鏡システム
2,2−1 カプセル型内視鏡
3a〜3h 受信アンテナ
3 受信アンテナユニット
4,4−1,4−2 受信装置
5a クレードル
5,5−2 処理装置
6 表示装置
21A 第1撮像部
21B 第2撮像部
22A 第1照明部
22B 第2照明部
23,23−1,44,44−2,53 制御部
24 無線通信部
25 アンテナ
26,47 メモリ
27,49 電源部
28 動きセンサ
29 筐体
41 受信部
42 受信信号処理部
43,43−1,52,52−2 画像処理部
45 操作部
46 表示部
48,51 データ送受信部
54,54−2,441 表示制御部
55 入力部
56 記憶部
431,431−2 画像生成部
432,432−1 移動量取得部
433,433−1 関連付け部
434 表示用画像生成部

Claims (13)

  1. 撮像部を有するカプセル型内視鏡から送信される情報を基に前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得部と、
    記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像とは異なるタイミングで前記撮像部が撮像した第2画像と、を関連付けるか否かを判断する関連付け部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記関連付け部は、前記移動量を基に、前記第1画像の撮像時における前記撮像部の位置と前記第2画像の撮像時における前記撮像部の位置との間の前記進行方向に沿った第1距離を求め、前記第1距離と前記撮像距離とを比較することによって、前記第1画像と前記第2画像とを関連付けるか否かを判断することを特徴とする請求項1に記載の画像処理装置。
  3. 前記関連付け部は、前記第1距離が0よりも大きく前記撮像距離以下である第1条件を満たす場合に、前記第1画像と前記第2画像とを関連付けることを特徴とする請求項2に記載の画像処理装置。
  4. 前記関連付け部は、前記撮像距離と前記移動量とを基に、前記第1画像の撮像時における前記撮像部の有効撮像領域と、前記第2画像の撮像時における前記撮像部の有効撮像領域とが、空間的な連続性を有する場合に、前記第1画像と前記第2画像とを関連付けることを特徴とする請求項1に記載の画像処理装置。
  5. 前記撮像距離は、前記撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離であることを特徴とする請求項1に記載の画像処理装置。
  6. 前記カプセル型内視鏡の光軸と前記進行方向とがなす角度を取得する角度取得部をさらに備え、
    前記関連付け部は、前記角度取得部が取得した前記角度に応じて補正した前記撮像距離を用いることを特徴とする請求項1に記載の画像処理装置。
  7. 前記撮像部は、互いに撮像方向が異なる第1撮像部及び第2撮像部を備え、
    前記第1画像は、前記第1撮像部によって撮像された画像であり、
    前記第2画像は、前記第2撮像部によって撮像された画像であることを特徴とする請求項1に記載の画像処理装置。
  8. 前記撮像距離は、前記第1撮像部の第1有効撮像領域における前記進行方向に沿った前記第1有効撮像領域の両端間の距離である第1観察深度と、前記第2撮像部の第2有効撮像領域における前記進行方向に沿った前記第2有効撮像領域の両端間の距離である第2観察深度と、の和であり、
    前記関連付け部は、前記移動量を基に、前記第1画像の撮像時における前記第1撮像部の位置と前記第2画像の撮像時における前記第2撮像部の位置との間の前記進行方向に沿った第1距離を求め、前記第1距離と前記撮像距離とを比較することによって、前記第1画像と前記第2画像とを関連付けるか否かを判断することを特徴とする請求項に記載の画像処理装置。
  9. 前記関連付け部は、前記第1距離が0よりも大きくかつ前記撮像距離以下である第1条件を満たす前記第2画像のうち、前記第1距離が0以上かつ前記第1観察深度以下である第2条件と、前記第1距離及び前記第2観察深度の和が0以上かつ前記第1観察深度以下である第3条件との少なくとも一を満たさない前記第2画像前記第1画像に関連付けることを特徴とする請求項に記載の画像処理装置。
  10. 前記関連付け部が関連付けた前記第1画像と前記第2画像とを合成した合成画像を生成する合成画像生成部と、
    前記合成画像生成部が合成した前記合成画像を表示する表示部と、
    をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
  11. 前記合成画像生成部は、前記第2画像を分割し、該分割された画像を前記第1画像の周縁に配置させた合成画像を生成することを特徴とする請求項10に記載の画像処理装置。
  12. カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置が行う画像処理方法であって、
    前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得ステップと、
    記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像とは異なるタイミングで前記撮像部が撮像した第2画像と、を関連付けるか否かを判断する関連付けステップと、
    を含むことを特徴とする画像処理方法。
  13. カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置に、
    前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得手順と、
    記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第1画像と、前記第1画像とは異なるタイミングで前記撮像部が撮像した第2画像と、を関連付けるか否かを判断する関連付け手順と、
    を実行させることを特徴とする画像処理プログラム。
JP2016565522A 2015-07-28 2016-03-23 画像処理装置、画像処理方法及び画像処理プログラム Active JP6072400B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015148491 2015-07-28
JP2015148491 2015-07-28
PCT/JP2016/059257 WO2017017996A1 (ja) 2015-07-28 2016-03-23 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6072400B1 true JP6072400B1 (ja) 2017-02-01
JPWO2017017996A1 JPWO2017017996A1 (ja) 2017-07-27

Family

ID=57884195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565522A Active JP6072400B1 (ja) 2015-07-28 2016-03-23 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10932648B2 (ja)
JP (1) JP6072400B1 (ja)
CN (1) CN107105990A (ja)
WO (1) WO2017017996A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335007B2 (ja) * 2014-04-18 2018-05-30 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
CN112336295B (zh) * 2019-08-08 2024-07-05 上海安翰医疗技术有限公司 磁性胶囊内窥镜的控制方法、装置、存储介质、电子装置
CN110613454B (zh) * 2019-10-09 2022-07-26 北京华亘安邦科技有限公司 一种胶囊内镜的位置寻找方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501630A (ja) * 2001-09-05 2005-01-20 ギブン・イメージング・リミテッド 身体管腔の3次元表示のためのシステムおよび方法
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2007236700A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp カプセル内視鏡システム
WO2013015104A1 (ja) * 2011-07-22 2013-01-31 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム、画像表示方法、及び画像表示プログラム
WO2014193670A2 (en) * 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486981B2 (en) * 2004-11-15 2009-02-03 Given Imaging Ltd. System and method for displaying an image stream
JP4891646B2 (ja) 2006-04-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像表示装置
WO2007119784A1 (ja) * 2006-04-14 2007-10-25 Olympus Medical Systems Corp. 画像表示装置
JP5019589B2 (ja) * 2007-03-28 2012-09-05 富士フイルム株式会社 カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の作動方法
JP4865912B2 (ja) 2009-03-23 2012-02-01 オリンパスメディカルシステムズ株式会社 画像処理システム、外部装置およびその画像処理方法
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501630A (ja) * 2001-09-05 2005-01-20 ギブン・イメージング・リミテッド 身体管腔の3次元表示のためのシステムおよび方法
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2007236700A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp カプセル内視鏡システム
WO2013015104A1 (ja) * 2011-07-22 2013-01-31 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム、画像表示方法、及び画像表示プログラム
WO2014193670A2 (en) * 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule

Also Published As

Publication number Publication date
JPWO2017017996A1 (ja) 2017-07-27
WO2017017996A1 (ja) 2017-02-02
CN107105990A (zh) 2017-08-29
US20170245736A1 (en) 2017-08-31
US10932648B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
JP6072400B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5035372B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP4914600B2 (ja) 生体内画像取得装置、受信装置および生体内情報取得システム
US8328712B2 (en) Image processing system, external device and image processing method
JP5388657B2 (ja) 画像処理装置、画像処理装置の作動方法、およびシステム
JP5620552B2 (ja) カプセル型内視鏡システム、画像表示装置の作動方法、及び画像表示プログラム
JP2016519968A (ja) 生体内マルチカメラカプセルからの画像再構築
JP2009006144A (ja) 画像の作成方法および装置
JP2007236700A (ja) カプセル内視鏡システム
CN102753078B (zh) 图像显示装置以及胶囊型内窥镜系统
US8854444B2 (en) Information processing apparatus and capsule endoscope system
CN107798656B (zh) 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法
WO2016160633A1 (en) Image stitching with local deformation for in vivo capsule images
CN114983317A (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
JPWO2019078338A1 (ja) 電子機器
JP2012254221A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6132984B2 (ja) カプセル内視鏡システム及びその撮像方法
JP2009261798A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
KR102313319B1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
JP2016131276A (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JPWO2019078339A1 (ja) 電子機器
WO2016157596A1 (ja) カプセル型内視鏡誘導システムおよびカプセル型内視鏡誘導装置
US10726553B2 (en) Image processing apparatus, image processing system, operation method of image processing apparatus, and computer-readable recording medium
WO2019053973A1 (ja) カプセル型内視鏡システム、カプセル型内視鏡及び受信装置
JP2016077683A (ja) 受信装置およびカプセル型内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161031

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161031

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R151 Written notification of patent or utility model registration

Ref document number: 6072400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250