JP6498288B2 - 内視鏡システム及びカプセル内視鏡装置 - Google Patents

内視鏡システム及びカプセル内視鏡装置 Download PDF

Info

Publication number
JP6498288B2
JP6498288B2 JP2017524181A JP2017524181A JP6498288B2 JP 6498288 B2 JP6498288 B2 JP 6498288B2 JP 2017524181 A JP2017524181 A JP 2017524181A JP 2017524181 A JP2017524181 A JP 2017524181A JP 6498288 B2 JP6498288 B2 JP 6498288B2
Authority
JP
Japan
Prior art keywords
capsule endoscope
endoscope apparatus
information
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017524181A
Other languages
English (en)
Other versions
JPWO2016203548A1 (ja
Inventor
成剛 温
成剛 温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016203548A1 publication Critical patent/JPWO2016203548A1/ja
Application granted granted Critical
Publication of JP6498288B2 publication Critical patent/JP6498288B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00027Operational features of endoscopes characterised by power management characterised by power supply
    • A61B1/00032Operational features of endoscopes characterised by power management characterised by power supply internally powered
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本発明は、内視鏡システム及びカプセル内視鏡装置等に関する。
カプセル内視鏡装置は小型であるため、内蔵できる電池の容量が限られている。そのため、長い消化管を撮影するために電源の節約が必要になる。電源を節約する手法として、例えば特許文献1のようにフレームレートを制御する手法がある。特許文献1では、時系列に撮像された少なくとも2枚の画像を比較することによってカプセル内視鏡装置の運動を測定する。そして、カプセル内視鏡装置の運動が比較的に遅いと判断した場合には、撮像フレームレートを低速に変更し、カプセル内視鏡装置の運動が比較的に速いと判断した場合には、撮像フレームレートを高速に変更する。
特開2006−223892号公報
しかしながら、上記のような対応をとってもなお、撮影の途中で電池の残量が無くなってしまい、診断漏れが発生する可能性がある。例えば、特許文献1では、患者がカプセル内視鏡を口から飲み込んでから体外に排出するまでの間に、長時間にリアルタイムに2枚の画像を比較することによってカプセル内視鏡装置の運動を測定し、撮像フレームレートを適応的に制御する。そのため、撮像枚数が膨大に膨らみ、カプセル内蔵の電池が途中で切れてしまう可能性がある。
本発明の幾つかの態様によれば、電池の残量が無くなることによる撮影漏れを低減できる内視鏡システム及びカプセル内視鏡装置等を提供できる。
本発明の一態様は、第1カプセル内視鏡装置と、第2カプセル内視鏡装置と、を含み、前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置は、第1撮像素子と、前記第1撮像素子による撮像動作を制御する第1制御部と、を有し、前記第2カプセル内視鏡装置は、第2撮像素子と、前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2撮像素子による撮像動作の制御の変更処理を行う第2制御部と、を有する内視鏡システムに関係する。
本発明の一態様によれば、第2カプセル内視鏡装置よりも以前に生体内に投入された第1カプセル内視鏡装置に関する第1情報に基づいて、第2カプセル内視鏡装置の第2撮像素子による撮像動作の制御の変更処理が行われる。これにより、第1、第2カプセル内視鏡装置によるリレー撮影が可能となり、電池の残量が無くなることによる撮影漏れを低減することが可能になる。
また本発明の他の態様は、撮像素子と、前記撮像素子による撮像動作を制御する制御部と、を含むカプセル内視鏡装置であって、前記カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能であり、前記カプセル内視鏡装置が前記第2動作モードに設定された場合、前記制御部は、前記第2動作モードに設定された前記カプセル内視鏡装置よりも以前に生体内に投入され前記第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、前記撮像素子による撮像動作の制御の変更処理を行うことを特徴とするカプセル内視鏡装置に関係する。
また本発明の更に他の態様は、第1カプセル内視鏡装置と、第2カプセル内視鏡装置と、前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡に関する第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、を含む内視鏡システムに関係する。
図1は、リレー方式の撮影の説明図。 図2は、第1実施形態における内視鏡システムの構成例。 図3は、第2実施形態における内視鏡システムの構成例。 図4は、第1の動作例の説明図。 図5は、第2の動作例の説明図。 図6は、分析部の詳細な構成例。 図7は、BoFアルゴリズム処理の流れを示す図。 図8は、LBP特徴量ベクトルの算出処理の説明図。 図9は、HSV特徴量ベクトルの算出処理の説明図。 図10は、HOG特徴量ベクトルの算出処理の説明図。 図11は、分析判断部の詳細な構成例。 図12は、ヒストグラム作成処理の説明図。 図13は、ヒストグラムの一致判断処理の説明図。 図14は、第2実施形態の変形例における内視鏡システムの構成例。 図15は、第3実施形態における内視鏡システムの構成例。 図16は、第3の実施形態における動作例の説明図。 図17は、内視鏡システムの変形構成例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.第1の実施形態
消化管は、例えば胃や十二指腸、小腸、大腸等の部位に分かれているが、小腸はスコープ型の内視鏡で観察することが難しいため、従来はカプセル内視鏡装置は主に小腸を観察するために用いられている。しかしながら、患者の負担等を考えると大腸を含めてカプセル内視鏡装置で撮影できることが望ましい。大腸を含めて撮影しようとすると、小腸までの場合に比べて撮影時間が長くなるため、電池の節約への要求がより厳しくなるという課題がある。
図1に示すように、カプセル内視鏡装置100を患者に飲ませ、上部消化管から撮影を行ったとする。カプセル内視鏡装置100が撮影し続けられる時間は電池の容量によっておおよそ決まっているため、例えばカプセル内視鏡装置100の進む速さが遅い場合や途中で止まってしまった場合等には、小腸や大腸の途中で電池が切れる可能性がある。このような場合、撮影すべき範囲を途中までしか撮影できず、診断に支障をきたす。
そこで本実施形態では、診断漏れの抑制を実現するため、一人の患者に対して、カプセル内視鏡装置による一回の検診に2つのカプセル内視鏡装置100、300を用いる。検診する時に、患者に一つのカプセル内視鏡装置100を飲んでもらい、患者の体内を撮像する。それから、一定の時間が経ってから、患者に2つ目のカプセル内視鏡装置300を飲んでもらう。このように、時間差をつけて2つのカプセル内視鏡装置100、300を患者体内に投入し、リレーの方式で体内を撮像することで、1つのカプセル内視鏡装置100で検診する場合に発生する電池切れによる診断漏れを抑制する効果が得られる。
図2に、第1の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、第2カプセル内視鏡装置300を含む。
第1カプセル内視鏡装置100は、第2カプセル内視鏡装置300よりも以前(前又は同時)に生体内に投入される。その第1カプセル内視鏡装置100は、第1撮像素子120と、第1撮像素子120による撮像動作を制御する第1制御部110と、を有する。第2カプセル内視鏡装置300は、第2撮像素子320と、第1カプセル内視鏡装置100に関する第1情報に基づいて、第2撮像素子320による撮像動作の制御の変更処理を行う第2制御部310と、を有する。
このような内視鏡システムにより、2つのカプセル内視鏡装置100、300によるリレー方式での撮影が可能となり、1つのカプセル内視鏡装置のみを用いる場合に比べて広い範囲(長い時間)の撮影が可能となる。これにより、目標とする撮影範囲の途中で電池の容量が無くなり、全範囲が撮影されない(即ち、診断漏れにつながる)ことを、防ぐことができる。また、第1カプセル内視鏡装置100に関する第1情報を用いることで、適切なタイミングで第2撮像素子320による撮像動作を開始させる(又はフレームレートを切り替える)ことが可能となり、適切な撮影のリレーを行うことが可能になる。
ここで、第1情報とは、第1カプセル内視鏡装置100に関する情報であれば何でもよい。例えば、第1カプセル内視鏡装置100が生成又は送信する情報、第1カプセル内視鏡装置100の特性に関する情報、第1カプセル内視鏡装置100の生体内での挙動に関する情報、第1カプセル内視鏡装置100に対してユーザーが行う操作に関する情報、第1カプセル内視鏡装置100に対してユーザーが操作を行った時間(又は操作を行ってから経過した時間)の情報、第1カプセル内視鏡装置100が何らかの動作を行った時間(又は動作を行ってから経過した時間)の情報、第1カプセル内視鏡装置100の位置に関する情報、第1カプセル内視鏡装置100が所定の位置に到達した時間(又は到達してから経過した時間)の情報等を想定できる。
また本実施形態では、第2制御部310は、第1情報に基づくトリガー信号により、第2撮像素子320による撮像動作の起動又はフレームレートの切り替えを変更処理として行う。
なお、撮像動作の制御の変更処理は上記に限定されず、その変更処理の後における第2カプセル内視鏡装置300の電力消費よりも変更処理の前における第2カプセル内視鏡装置300の電力消費が小さいものであれば、何でもよい。
例えば図3等で後述するように内視鏡システムが体外装置200を含み、体外装置200が第1カプセル内視鏡装置100から第1情報を受信してトリガー信号を送信し、第2制御部310は、体外装置200からのトリガー信号に基づいて変更処理を行ってもよい。或いは、図17等で後述するように第2カプセル内視鏡装置300が第1カプセル内視鏡装置100から第1情報を受信し、第2制御部310(又は第2カプセル内視鏡装置300に含まれる処理装置)は、その第1情報に基づいてトリガー信号を生成してもよい。
このように、第1情報に基づいてトリガー信号が生成されることで、第2撮像素子320による撮像動作の起動又はフレームレートの切り替えを行うことができる。トリガー信号により変更処理が行われたときに、第2カプセル内視鏡装置300に撮影がリレーされ、第1カプセル内視鏡装置100の電池が切れた後の撮影範囲を撮影することが可能となる。
また本実施形態では、第1情報は、第1カプセル内視鏡装置100の電池の残量情報である。具体的には、第1情報は、第1カプセル内視鏡装置100の電池の残量が所定量以下となったことを表す情報である。
電池の残量の判断手法としては、種々のものを想定できる。例えば、電池からの消費電力をカウントし、それが所定の電力量に達したときに、電池の残量が所定量以下となったと判断できる。或いは、第1カプセル内視鏡装置100が動作を開始(電源を投入)してから所定の時間経過したときに、電池の残量が所定量以下となったと判断してもよい。電池の残量は、例えば残りの電力量であってもよいし、或いはカプセル内視鏡装置の残りの可動時間であってもよい。
このように、電池の残量情報を第1情報とすることで、電池の残量情報に基づいて第2カプセル内視鏡装置300の撮像を制御できる。即ち、第1カプセル内視鏡装置100の電池の残量が少なくなり、撮影を継続できなくなったときに、第2カプセル内視鏡装置300にリレーし、撮影を続けることが可能になる。
また本実施形態では、第1情報は、第1カプセル内視鏡装置100による撮像画像、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間差の情報、及び第1カプセル内視鏡装置100の生体内における位置の情報の少なくとも1つである。
時間差の情報としては種々のものが想定できる。例えば、医師が予め設定した(例えば図3の体外装置200、或いは第2カプセル内視鏡装置300に記憶させた)情報であってもよい。或いは、第2カプセル内視鏡装置300を投入したときに医師が設定した(例えば図3の体外装置200、或いは第2カプセル内視鏡装置300に記憶させた)情報であってもよい。或いは、所定の時間差情報が予め設定されていてもよい。或いは、第1カプセル内視鏡装置100と第2カプセル内視鏡装置300が起動したときに、その旨の信号を体外装置200(又は第2カプセル内視鏡装置300)に送信し、体外装置200(又は第2カプセル内視鏡装置300)が、その信号から時間差情報を取得してもよい。
第1カプセル内視鏡装置100による撮像画像を第1情報とすることで、その撮像画像から第1カプセル内視鏡装置100の生体内での位置を判断できる。そして、その位置に応じて第2カプセル内視鏡装置300の撮像動作を変更できる。また、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間間隔情報を第1情報とすることで、第1カプセル内視鏡装置100を生体内に投入してから、その時間間隔(又は、その前後の時間)が経過したときに第2カプセル内視鏡装置300の撮像動作を変更できる。
2.第2実施形態
2.1.内視鏡システム
図3に、第2の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200(広義には処理装置)、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204、情報送受信部206、制御部207を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。
第1カプセル内視鏡装置100においては、制御部110の制御により光源部109が照明光を出射し、被写体を照明する。その被写体からの反射光は、撮像部101の光学レンズ系を介して撮像部101の撮像素子に入射する。撮像部101の撮像素子は、アナログ撮像画像をA/D変換部102へ転送する。撮像素子は、例えば原色単版配列(ベイヤ配列)の撮像素子に対応する。
撮像部101は、A/D変換部102を介して撮像画像送信部103へ接続している。撮像画像送信部103は、無線を介して体外装置200にある撮像画像受信部201へ接続する。また、情報送信部104は、無線を介して体外装置200にある情報送受信部206へ接続する。光源部109は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、光源部109及び制御部110へ接続している。制御部110は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、及び光源部109と双方向に接続している。
A/D変換部102は、制御部110の制御により、撮像部101からのアナログ撮像画像をデジタル化してデジタル撮像画像(以下撮像画像と省略)に変換し、その撮像画像を撮像画像送信部103へ転送する。撮像画像送信部103は、制御部110の制御により、無線を介して体外装置200にある撮像画像受信部201へ撮像画像を送信する。
本実施形態では、無線を介して、撮像画像を圧縮せずに体外装置200へ送信する構成となっているが、この構成に限定する必要はない。例えば、撮像画像を一旦圧縮して体外装置200へ送信する構成にしてもよい。
電源部105は、第1カプセル内視鏡装置100内の各部に持続的に電力を送る。電源部105に蓄積されている電力量(電池の残量)が所定の量以下になると、電源がまもなく切れる(例えば、15分後に電源が切れる)というシグナルを情報として情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
体外装置200においては、撮像画像受信部201は、画像処理部202を介して画像保存部203へ接続している。情報送受信部206は、無線を介して第2カプセル内視鏡装置300にある情報受信部304に接続する。画像保存部203は、分析部204を介して情報送受信部206へ接続している。制御部207は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204及び情報送受信部206と双方向に接続している。
撮像画像受信部201は、無線を介して第1カプセル内視鏡装置100から転送されてきた撮像画像を受信し、その撮像画像を画像処理部202へ転送する。
画像処理部202は、制御部207の制御に基づいて、撮像画像受信部201からの撮像画像に対して画像処理を行う。例えば、公知の、補間処理や、カラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。画像処理部202は、制御部207の制御に基づいて、処理後の3板のRGB画像(各画素にRGBの画素値が存在する画像)を画像保存部203へ転送する。画像保存部203は、そのRGB画像を、第1カプセル内視鏡装置100による撮像画像として保存する。
本実施形態では、小腸及び大腸を通過しながら撮像した撮像画像に基づき病変を診断するためのカプセル状の内視鏡に対応している。患者の体外に排出される前に、カプセル状の内視鏡に内蔵される電源が切れることが原因で発生する診断漏れを抑制するため、2つのカプセル状の内視鏡を異なるタイミングで患者体内に投入する。まず、第1カプセル内視鏡装置100を患者に口から飲んでもらう。続いて、所定の期間(例えば数時間、数十時間、数日など)を経て、第2カプセル内視鏡装置300を患者に口から飲んでもらう。このように、2つのカプセル状の内視鏡がリレー方式で患者体内を撮像し続けることは、本実施形態の特徴である。
第1カプセル内視鏡装置100は、患者の体内に投入されてから撮像し続けて撮像画像を撮像画像送信部103経由で無線を介して体外装置200にある撮像画像受信部201へ送信する。第1カプセル内視鏡装置100を投入後に所定の期間を経て、第2カプセル内視鏡装置300は、患者体内に投入される。第2カプセル内視鏡装置300は、スリープ状態に設定されており、患者の体内に投入された後は直ぐには撮影を開始しない。スリープ状態は、撮影を行わずに消費電力を低減した状態である。スリープ状態では、情報受信部304は、体外装置200にある情報送受信部206からの撮像を起動するためのシグナル情報(トリガー信号)を待つ。或いは、第2カプセル内視鏡装置300は、患者の体内に投入されてから、まず低撮像フレームレート(例えば、6fpm:6枚/分で撮像)で撮像してもよい。そして、体外装置200にある情報送受信部206からの撮像を起動するためのシグナル情報(トリガー信号)を受信した場合に、高撮像フレームレートに切り替えてもよい。第2カプセル内視鏡装置300での撮像を起動させるためのシグナル情報を情報送受信部206が送信する手法は、後述する。
情報送受信部206からの撮像を起動するためのシグナル情報が情報受信部304に送られてきたら、制御部310の制御により、撮像部301を稼動させ撮像を開始する。撮像部301の撮像素子から出力されたアナログ撮像画像はA/D変換部302へ転送される。A/D変換部302は、制御部310の制御により、撮像部301からのアナログ撮像画像をデジタル化してデジタル撮像画像(以下撮像画像と省略)に変換し、その撮像画像を撮像画像送信部303へ転送する。撮像画像送信部303は、制御部310の制御により、無線を介して体外装置200にある撮像画像受信部201へ撮像画像を送信する。
本実施形態では、無線を介して、撮像画像を圧縮せずに体外装置200へ送信する構成となっているが、この構成に限定する必要はない。例えば、撮像画像を一旦圧縮して体外装置200へ送信する構成にしてもよい。
画像処理部202は、制御部207の制御に基づいて、撮像画像受信部201からの撮像画像に対して画像処理を行う。例えば、公知の、補間処理や、カラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。画像処理部202は、制御部207の制御に基づいて、処理後の3板のRGB画像を画像保存部203へ転送する。画像保存部203は、そのRGB画像を、第2カプセル内視鏡装置300による撮像画像として保存する。
なお、光源部109、309は、例えばLED等の光源と、光源からの照明光を被写体に照射するレンズと、で構成される。撮像部101、301は、例えば対物レンズと、対物レンズによる像を光電変換する撮像素子と、で構成される。A/D変換部102は、例えば撮像素子のチップやCPU等に内蔵されたA/D変換回路や、ASIC等によるA/D変換回路で構成される。電源部105、305は、例えば電池と、その電池からの電源を各部へ供給する電源供給回路と、で構成される。撮像画像送信部103、303、情報送信部104、情報受信部304、撮像画像受信部201、情報送受信部206は、例えばASIC等による無線通信回路や、CPU等に内蔵された無線通信回路で構成される。制御部110、207、310、画像処理部202、分析部204は、例えばCPUやMPU、ASIC等による処理装置で構成される。画像保存部203は、例えばRAMや不揮発性メモリ、ハードディスクドライブ、光学ドライブ等の記憶装置で構成される。
体外装置200としては、例えば内視鏡システムの専用品として設計された処理装置を想定できる。或いは、汎用の処理装置(例えばパーソナルコンピューターやサーバー、モバイル機器等)を体外装置として用いてもよい。この場合、体外装置としての機能は、アプリケーションソフトウェアとして実現されてもよい。
2.2.内視鏡システムの動作
以下、第2カプセル内視鏡装置300での撮像を起動させるためのシグナル情報(トリガー信号)を第2カプセル内視鏡装置300へ送信する手法を説明する。
図4に、第1の動作例の説明図を示す。第1カプセル内視鏡装置100が体内に投入された後、電源部105に残っている電力量(電池残量)が所定量th1以下になった場合、電源がまもなく切れるというシグナル情報(電池切れ信号)を、情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
情報送受信部206が、第1カプセル内視鏡装置100からの電池切れ信号を受信すると、制御部207が、電池切れ信号を受信したタイミングからの経過時間をタイマーにより計測する。第1カプセル内視鏡装置100を投入してから第2カプセル内視鏡装置300を投入するまでの時間間隔をT1とする場合、制御部207が、タイマーのカウントがT1になったことを検出すると、情報送受信部206が、トリガー信号を第2カプセル内視鏡装置300の情報受信部304へ送信する。情報受信部304がトリガー信号を受信すると、制御部310が撮像部301による撮像を開始させる。トリガー信号を受信する前は、例えば電源部305から光源部309、撮像部301、A/D変換部302、撮像画像送信部303への電源供給が停止されており、情報受信部304と制御部310がトリガー信号を待つ状態となっている。そして、トリガー信号を受信すると電源部305から各部への電源供給が開始され、撮像を開始する。このようにして、第2カプセル内視鏡装置300は、トリガー信号によって撮像動作が起動されるまで電力を節約する。
或いは、情報受信部304がトリガー信号を受信するまでは、撮像部301が通常のフレームレートよりも低フレームレートで撮影を行ってもよい。この場合、電源部305から各部への電源供給は行われているが、光源部309の発光頻度や撮像部301の撮影頻度、撮像画像送信部303が画像を送信する頻度が、フレームレートと同様に低くなり、電力が節約される。
なお、タイマーが計測する時間は、投入時間の差T1と同じでなくてもよい。例えば、投入時間の差T1よりも所定時間αだけ短い時間(又は所定時間αだけ長い時間)を計測し、その時間が経過したときにトリガー信号が送信されてもよい。第1カプセル内視鏡装置100と第2カプセル内視鏡装置300が体内で全く同じ速さで進む場合は、時間T1後に第2カプセル内視鏡装置300を起動すればよいが、実際には進む速さは異なるので、そのマージンをとることができる。
なお、上記では第1カプセル内視鏡装置100から体外装置200に電池切れ信号を送信するが、これに限定されず、第1カプセル内視鏡装置100から第2カプセル内視鏡装置300へ直接に(体外装置200を経由せずに)電池切れ信号を送信してもよい。例えば、第2カプセル内視鏡装置300は、電池切れ信号を受信したときに直ぐに撮影を開始する(又は高フレームレートに切り替える)。或いは、第2カプセル内視鏡装置300は、電池切れ信号を受信した後に所定時間(T1又は、T1±α)が経過したときにトリガー信号を生成し、撮影を開始し(又は高フレームレートに切り替え)てもよい。
図5に、第2の動作例の説明図を示す。この動作例では、第1カプセル内視鏡装置100の電池残量が所定量以下となったときの位置を画像認識で特定することで、より正確な位置で第2カプセル内視鏡装置300のフレームレートを切り替え、診断漏れを抑制する。
第1の動作例と同様に、第1カプセル内視鏡装置100を投入してから第2カプセル内視鏡装置300を投入するまでの時間間隔をT1とする。電源部105に残っている電力量(電池残量)が所定量th1以下になった場合、電池切れ信号を、情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
第2の動作例では、第2カプセル内視鏡装置300が体内に投入された後、撮像部301は低撮像フレームレート(例えば、6fpm:6枚/分で撮像)で撮像を行う。この撮像画像は、撮像画像送信部303から体外装置200の撮像画像受信部201へ送信される。また第1カプセル内視鏡装置100の撮像部101は通常のフレームレート(例えば、6fps:6枚/秒で撮像)で撮像を行っている。その撮像画像は、撮像画像送信部103から体外装置200の撮像画像受信部201へ送信される。
電池切れ信号を受信した場合、その受信した時点の前後の撮像画像が画像保存部203から分析部204へ転送される。例えば、電池切れ信号を受信した時点から所定時間前までの撮像画像と、電池切れ信号を受信した時点から位置が一致したと判定されるまでの撮像画像とが、転送される。撮像画像としては、第1、第2カプセル内視鏡装置100、300の双方のものが転送される。
分析部204は、体外装置200が電池切れ信号を受信した時点における第1カプセル内視鏡装置100の体内での位置を、第1カプセル内視鏡装置100の撮像画像に基づいて画像処理で分析する。また、第2カプセル内視鏡装置300の体内での位置を、第2カプセル内視鏡装置300の撮像画像に基づいて画像処理で分析する。そして、第2カプセル内視鏡装置300の位置が、体外装置200が電池切れ信号を受信した時点における第1カプセル内視鏡装置100の位置に一致したと分析部204が判断した場合に、情報送受信部206が第2カプセル内視鏡装置300にトリガー信号を送信する。
情報受信部304がトリガー信号を受信すると、制御部310が撮像部301による撮像のフレームレートを、低撮像フレームレートから高撮像フレームレート(例えば、6fps:6枚/秒で撮像)へ切り替える。或いは、トリガー信号が受信された後は、撮像画像から被写体の動き量(例えば動きベクトル)を検出し、その動き量に応じて撮像フレームレートを多段階(例えば、2fps〜12fps)に切り替えてもよい。動き量が大きいほど高い撮像フレームレートを設定し、撮影漏れを防ぐ。
2.3.分析部
図6に、分析部204の詳細な構成例を示す。分析部204は、分類部401、分類部402、分析判断部403、記憶部404を含む。画像保存部203は、分類部401と分類部402へそれぞれ接続している。分類部401と分類部402は、それぞれ分析判断部403を経由して情報送受信部206へ接続している。記憶部404は、分類部401と分類部402へそれぞれ接続している。制御部207は、分類部401、分類部402、分析判断部403および記憶部404と双方向に接続している。
患者に口から飲み込まれたカプセル内視鏡装置100、300は、食道、胃、小腸、大腸の順に経由して肛門から排出される。小腸は、さらに十二指腸、空腸と回腸から構成されている。胃が十二指腸を介して空腸とつながり、回腸が回盲弁によって大腸とつながっている。大腸は、さらに結腸、直腸から構成されている。カプセル内視鏡装置100、300が通過する食道、胃、小腸、大腸は全て管腔状となっているが、各部位によって、内壁の色、血管の分布、絨毛の有無、絨毛の太さ、絨毛分布の密度など特徴が異なる。本実施形態では、画像認識技術(例えば公知の画像認識技術)により、色、勾配及びテクスチャの少なくとも一つの特徴量に基づいて撮像画像を学習及び分類し、その分類処理においては、撮像画像に、どの部位が写っているのかを判断する。
本実施形態の画像認識では、カプセル内視鏡装置100、300を患者に飲ませる前に、予め学習処理が行われており、その学習結果を記憶部404へ格納しておく。そして、情報送受信部206が第1カプセル内視鏡装置100から電池切れ信号を受信したら、制御部207の制御により、分類部401が、第1カプセル内視鏡装置100の複数の撮像画像(電池切れ信号を受信した時点の前後に撮像された画像処理済の複数枚の撮像画像)を画像保存部203から時系列的に読み込み、分類処理を実施する。電池切れ信号を受信した時点から第1カプセル内視鏡装置100の電源部105の電力が切れるまでの間に撮像された撮像画像に対して、分類処理を実施してもよい。分類部402は、第2カプセル内視鏡装置300の複数の撮像画像(電池切れ信号を受信した時点の前後に低フレームレートで撮像された画像処理済の複数枚の撮像画像)を画像保存部203から時系列的に読み込み、分類処理を実施する。
本実施形態では、BoF(Bag-of-Features)と呼ばれる、対象物の位置によらない画像認識技術のアルゴリズムを用いる。図7は、BoFアルゴリズム処理の流れを示す図である。この技術は、文書検索手法であるBag−of−Wordsを画像認識に適用したもので、学習と分類の2段階の処理から構成されている。
学習の段階では、まず、複数の学習画像を選ぶ。本実施形態では、絨毛の密度、絨毛の色、絨毛の太さなどの情報に基づいて、「絨毛A」、「絨毛B」、「絨毛C」などの複数の絨毛類の分類項目を設定する。また、粘膜の色、血管分布、血管の太さなどの情報に基づいて、「粘膜A」、「粘膜B」、「粘膜C」などの複数の粘膜類の分類項目を設定する。また、絨毛と粘膜以外のものを「その他」の分類項目に設定する。そして、それらの分類項目の被写体が写った学習画像を選ぶ。分類項目の設定については、処理コスト、分類精度などを考慮し設定してよい。
学習においては、学習画像から複数の小さいサンプル領域を抽出し、特徴量抽出処理によって特徴量ベクトルを算出し、クラスタリング処理によってビジュアルワード(Visual Word、以下ではVWと省略する)という観察基準を選出する。例えば、公知のK−means法を利用できる。次に、各学習画像から空間方向において順次抽出した各々の小領域に対して、上記と同様に特徴量ベクトルを算出し、その特徴量ベクトルとVWとの間の距離を求める。この距離が最も小さいVWに一票を投票する。1枚の学習画像の全部の小領域に対する投票処理が完了したら、その画像に対応するBoFヒストグラムが生成される。最終的に、学習画像の枚数分のBoFヒストグラムが生成される。これらのBoFヒストグラム及びそれらを成分とするBoFベクトルを用いて画像を分類するための学習識別器を構築する。例えば、SVM(Support Vector Machine)という学習識別器アルゴリズムを採用できる。
この学習識別器に関する情報と学習画像からのBoFヒストグラム及びそれらを成分とするBoFベクトルの情報を事前に算出し、記憶部404に保存する。
分類の段階では、分類するための撮像画像を順に入力し、撮像画像から空間方向において順次抽出した各々の小領域に対して、上記と同様に特徴量ベクトルを算出し、その特徴量ベクトルとVWとの間の距離を求める。この距離が最も小さいVWに一票を投票する。1枚の撮像画像の全部の小領域に対する投票処理が完了したら、その撮像画像に対応するBoFのヒストグラムが生成される。次に、学習画像から生成されたBoFヒストグラムを用いてSVM識別器により識別を行い、その識別結果(分類結果)を出力する。
撮像画像を用いて上記のようにBoFヒストグラムを作成し、記憶部404に保存された学習用画像のBoFヒストグラム及びそれを成分とするBoFベクトルと、SVM識別器からの分類用画像のBoFヒストグラム及びそれを成分とするBoFベクトルと、を比較し、どの分類項目に属するかを示す分類インデックス指標を与える。このように、分類部401と分類部402において、読込まれた撮像画像に対してそれぞれ分類を実施し、分類インデックス指標を与える。両方の撮像画像の分類インデックス指標を分析判断部403へ転送する。
本実施形態では、撮像画像の色、勾配及びテクスチャの少なくとも1つの特徴量で特徴量ベクトルを算出する構成となっている。
図8は、LBP(Local-Binary-Pattern)特徴量ベクトルの算出処理の説明図である。まず、画像をブロックに分割する。1つのブロックにおいて、各注目画素を中心とするセル(3画素×3画素)を設定する。そのセルにおいて、注目画素(図8でハッチングされた画素)と近傍画素(周囲の8個の画素)との輝度値の大小関係から0又は1を割り当てる。その0又は1を順に並べて8ビットのLBPコードを生成する。ブロック内の全てのセルのLBPコードを集計してヒストグラムを生成し、ブロック単位のヒストグラムを生成する。次に、ブロックを移動し、同様な処理を実施し、1枚の画像内にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、LBP特徴量ベクトルを生成する。
図9は、HSV(Hue-Saturation-Value:HSVは色相(Hue)、彩度(Saturation)、明度(Value)の3成分からなる色空間)特徴量ベクトルの算出処理の説明図である。HSV色空間を、色相方向、彩度方向及び明度方向にそれぞれ複数の領域に分割する。まず、画像の各画素のRGB画素値をHSV表色系の画素値に変換する。変換後のHSV画像をブロックに分割し、ブロック単位で色相に関する彩度、及び明度を要素とするヒストグラムを算出する。続いて、ブロックを移動し、同様な処理を実施し、1枚の画像内にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、HSV特徴量ベクトルを生成する。
図10は、HOG(Histogram-of-Oriented-Gradient)特徴量ベクトルの算出処理の説明図である。画像の局所領域をブロックに分割し、画素毎に輝度勾配情報(勾配方向と重みなど)を算出し、ブロック単位で輝度勾配のヒストグラムを算出する。次に、ブロックを移動し、同様な処理を実施し、1枚の画像にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、HOG特徴量ベクトルを生成する。
なお、上記の実施形態では、LBP特徴量、HSV特徴量及びHOG特徴量を用いて学習及び分類を実施する構成となっているが、このような構成に限定する必要はない。勾配、色及びテクスチャに関するあらゆる特徴量を必要に応じて用い、学習及び分類を実施することが可能である。
図11に、分析判断部403の詳細な構成例を示す。分析判断部403は、ヒストグラム部501、ヒストグラム部502、一致判断部503、記憶部504を含む。分類部401は、ヒストグラム部501へ接続している。分類部402は、ヒストグラム部502へ接続してきる。ヒストグラム部501とヒストグラム部502は、それぞれ一致判断部503へ接続している。記憶部504は、ヒストグラム部501、ヒストグラム部502及び一致判断部503へそれぞれ接続している。制御部207は、ヒストグラム部501、ヒストグラム部502、一致判断部503及び記憶部504と双方向に接続している。
ヒストグラム部501は、分類部401からの撮像画像の分類結果を用い、分類項目に基づいてヒストグラムを作成し、そのヒストグラムを一致判断部503へ転送する。即ち、絨毛A〜C、粘膜A〜C、その他等の各分類項目に分類された撮像画像の枚数を集計し、ヒストグラムを作成する。同様に、ヒストグラム部502は、分類部402からの撮像画像の分類結果を用い、分類項目に基づいてヒストグラムを作成し、そのヒストグラムを一致判断部503へ転送する。
第2カプセル内視鏡装置300は、トリガー信号を受信する前において、低撮像フレームレートで撮像を実施するが、第1カプセル内視鏡装置100は、低撮像フレームレートより高い高撮像フレームレートで撮像している。よって、同じ期間中、異なる枚数の撮像画像がそれぞれ撮像される。そこで、分析部204は、第1カプセル内視鏡装置100の撮像画像に対して、間引き処理を行う。例えば、第1カプセル内視鏡装置100の撮像フレームが6fpmであり、第2カプセル内視鏡装置300の撮像フレームが2fpである場合、第1カプセル内視鏡装置100の撮像画像を時系列的に3枚毎に1枚の撮像画像を抽出する。そうすることによって、単位時間において同一枚数の撮像画像を比較することができる。
図12は、ヒストグラム作成処理の説明図である。第1カプセル内視鏡装置100が体外装置200に電池切れ信号を送信してから電源が切れるまでの期間(例えば15分)をP1とする。ヒストグラム部501は、制御部207の制御に基づいて、このP1期間中の第1カプセル内視鏡装置100の撮像画像の間引き画像(画像枚数Nとする)の分類結果のヒストグラムを作成する。作成されたヒストグラムを一致判断部503へ転送する。ヒストグラム部502は、制御部207の制御に基づいて、第2カプセル内視鏡装置300がトリガー信号を受けてから時系列に撮像された画像をN枚画像単位で一つの比較区間とし、その区間の分類結果のヒストグラムを作成して一致判断部503へ転送する。一つの区間のヒストグラムを作成したら、時系列方向でn枚(nはn≧1の整数)画像をシフトして、次のN枚画像からなる新しい区間で同じ判定を実施する。このように繰り返して区間ごとに分類結果のヒストグラムを作成し一致判断部503へ転送する。
一致判断部503は、制御部207の制御に基づいて、ヒストグラム部501から送られたヒストグラムと、ヒストグラム部502から順次送られてくるヒストグラムと、を比較する。例えば、図13に示すように、2つのヒストグラムH、Qの間のユークリッド距離に基づいて比較する(下式(1))。ヒストグラムH、Qは、それぞれヒストグラム部501、502が作成したヒストグラムである。
一致判断部503は、上式(1)で計算されたd(H,Q)の値が0である場合、2つのヒストグラムH、Qが完全に一致していると判断する。d(H,Q)が所定の閾値より小さい場合、2つのヒストグラムH、Qが類似していると判断する。即ち、第1カプセル内視鏡装置100が電池切れ信号を送信してから電源が切れるまでの間の場所(部位)に第2カプセル内視鏡装置300が到達したと判断する。一致判断部503は、その到達したと判断した情報を情報送受信部206へ転送する。情報送受信部206は、制御部207の制御に基づいて、無線経由で第2カプセル内視鏡装置300に撮像フレームレートを切り替えるシグナル(トリガー信号)を送信する。第2カプセル内視鏡装置300の情報受信部304は、その撮像フレームレートを切り替えるシグナルを受信した場合に撮像部301を制御し、低撮像フレームレートから高撮像フレームレートに切り替える。
なお、上記ではユークリッド距離を用いて分類結果のヒストグラムを比較する場合を説明したが、このような構成に限定する必要がない。例えば、交差法や相関法などを利用してヒストグラムを比較してもよい。
このように、画像認識技術を用いて、第1カプセル内視鏡装置100が電池切れ信号を送ってから電源が切れるまでの間に撮像された撮像画像と、第2カプセル内視鏡装置300がトリガー信号を受けてから時系列に撮像された画像とを比較し、そのときに、時系列の撮像画像においてN枚単位で一つの比較区間とし、その区間の分類結果のヒストグラムを作成し、各区間で順次に比較することで、第1カプセル内視鏡装置100の電源が切れる前の場所に第2カプセル内視鏡装置300が到達したことを特定できる。そして、第2カプセル内視鏡装置300が低撮像フレームレートから高撮像フレームレートへ切り替えることで、2つのカプセル内視鏡装置を用いて、リレー方式で患者体内を撮像できるため、1つのカプセル内視鏡だけの場合より、電源切れによる診断漏れのリスクを抑制できる。
2.4.変形例
以上では、画像認識技術を利用して、先に患者に投入したカプセル内視鏡の電源切れの場所を特定する場合を説明したが、このような構成を限定する必要はない。例えば、電波強度による位置特定を行ってもよい。
図14に、この変形例の内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、位置検出部205、情報送受信部206、制御部207、記憶部208を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
体外装置200においては、撮像画像受信部201は、画像処理部202を介して画像保存部203へ接続している。情報送受信部206は、無線を介して第2カプセル内視鏡装置300にある情報受信部304に接続する。位置検出部205は、情報送受信部206へ接続している。記憶部208は、位置検出部205と双方向に接続している。制御部207は、撮像画像受信部201、画像処理部202、画像保存部203、位置検出部205、情報送受信部206及び記憶部208と双方向に接続している。
例えば、患者の体表に、カプセル内視鏡装置100、300から無線経由で体外装置200に送信される撮像画像を受信するために複数の受信アンテナを取り付ける。体外装置200には位置検出部205が設けられている。
第1カプセル内視鏡装置100は、制御部110の制御により、電源が切れる前に情報送信部104を介して体外装置200にある情報送受信部206に電池切れ信号を送信する。体外装置200にある制御部207は、情報送受信部206が電池切れ信号を受信した場合に、位置検出部205を稼動させる。
位置検出部205は、制御部207の制御に基づいて、患者の体表に取り付けられている複数のアンテナを利用して、患者体内における第1カプセル内視鏡装置100の位置を検出する。即ち、各アンテナの患者体表に取り付けられる位置と各アンテナで受信された受信信号の電波強度とに基づき、例えば三次元測位等を用いて、患者体内における第1カプセル内視鏡装置100の位置を検出する。位置検出部205は、その位置情報を記憶部208に保存する。
位置検出部205は、同様な方法で、患者体内における第2カプセル内視鏡装置300の位置を検出し続ける。第2カプセル内視鏡装置300の位置が、記憶部208に保存されている第1カプセル内視鏡装置100の位置と一致したと位置検出部205が判断した場合、情報送受信部206は、制御部207の制御に基づいて、無線経由で第2カプセル内視鏡装置300の情報受信部304にトリガー信号を送信する。第2カプセル内視鏡装置300は、そのトリガー信号を受信した場合に撮像部301を制御し、低撮像フレームレートから高撮像フレームレートに切り替える。
なお、位置特定の手法として種々の変形例が考えられる。例えば、最初に患者体内に投入されたカプセル内視鏡から電池切れ信号が送られた場合に、X線やCT等の放射線を利用する検査手法や超音波検査手法等を利用して、そのカプセル内視鏡の場所を特定してもよい。後で飲み込まれたカプセル内視鏡が同じ場所に到達したことを確認できたら、そのカプセル内視鏡の撮像を制御する構成にしてもよい。例えば、体外装置200にボタン等を設け、医師がボタンを押した場合にトリガー信号が第2カプセル内視鏡装置300に送信されるように構成してもよい。
また、以上の実施形態では2つのカプセル内視鏡装置を異なるタイミングで別々に患者体内に投入することとなっているが、このような方式に限定する必要はない。例えば、2つのカプセル内視鏡装置を一体化し(1つのカプセル筐体に2セットの内視鏡装置を内蔵し)、同時に患者体内に投入する。まず、1つ目のカプセル内視鏡装置により撮像を実施するが、もう1つのカプセル内視鏡装置は稼動させない(又は低フレームレートで撮像する)。1つ目のカプセル内視鏡装置の電力がなくなる前に、もう1つのカプセル内視鏡装置の撮像を開始させる(又は低フレームレートから高フレームレートに切り替える)。
また、以上の実施形態では、2つのカプセル内視鏡装置を用いて、リレー方式で患者体内を検診する方式を採用しているが、これに限定されない。例えば、状況に応じて、3つ以上のカプセル内視鏡装置をリレー方式で一人の患者体内を検診してもよい。
以上の第2実施形態によれば、内視鏡システムは、第1カプセル内視鏡装置100に関する第1情報を受けて、トリガー信号を出力する処理装置を含む。第2カプセル内視鏡装置300の第2制御部310は、処理装置からのトリガー信号を受けた場合に、第2撮像素子320(撮像部301に含まれる)の撮像動作の変更処理を行う。
このようにすれば、処理装置が第1カプセル内視鏡装置100から第1情報を受けて、その第1情報に基づいてトリガー信号を生成し、第2カプセル内視鏡装置300の撮像動作を開始させる(又はフレームレートを切り替える)ことができる。
ここで処理装置は、第2の実施形態では図3の体外装置200に対応する。なお、これに限定されず、例えば図17で後述するように処理装置が第2カプセル内視鏡装置300に内蔵されてもよい。この場合、内視鏡システムが体外装置を含まなくてもよい。或いは、撮像画像を蓄積するための体外装置を含んでもよい。
また本実施形態では、第1カプセル内視鏡装置100は、第1カプセル内視鏡装置100の電池の残量情報を第1情報として送信する第1通信部を有する。処理装置は、電池の残量が所定量以下となったときから所定時間が経過した場合にトリガー信号を出力する。
第1通信部は、第2実施形態では図3の情報送信部104に対応する。また、第1通信部は、撮像画像送信部103を更に含んでもよい。
このようにすれば、第1カプセル内視鏡装置100が第1通信部を介して無線により電池の残量情報を送信し、その電池の残量情報を処理装置が受信してトリガー信号を生成することができる。電池の残量が所定量以下となったときから所定時間が経過した場合にトリガー信号を出力することで、第1カプセル内視鏡装置100が撮像できなくなった後に第2カプセル内視鏡装置300にリレーすることができる。
また本実施形態では、所定時間は、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間差に対応するものである。
上述したように、時間差の情報としては例えば医師が処理装置に記憶させた情報や、予め処理装置に設定された所定の時間差情報等を想定できる。所定時間は、投入の時間差そのものであってもよいし、投入の時間差に対してマージンを増減させたものであってもよい。
このようにすれば、電池の残量が所定量以下となったときから、2つのカプセル内視鏡装置100、300の投入時間差に対応する所定時間が経過した場合にトリガー信号を出力できる。これにより、第1カプセル内視鏡装置100が撮像できなくなった、おおよその位置に、第2カプセル内視鏡装置300が到達したときに、第2カプセル内視鏡装置300の撮像動作を変更できる。
また本実施形態では、第1カプセル内視鏡装置100は、第1カプセル内視鏡装置100の電池の残量情報と、第1カプセル内視鏡装置100による撮像画像とを第1情報として送信する第1通信部を有する。処理装置は、電池の残量が所定量以下となったときの第1カプセル内視鏡装置100の生体内における位置情報を、第1カプセル内視鏡装置100による撮像画像に基づいて取得する。処理装置は、第2カプセル内視鏡装置300による撮像画像に基づいて、第2カプセル内視鏡装置300の生体内における位置が、上記の位置情報が表す位置に一致したと判定した場合に、トリガー信号を出力する。
位置情報は、第2実施形態では分類処理による分類結果に対応する。即ち、絨毛の密度や粘膜の種類等の分類であり、それらは消化管の部位やその中での位置(おおよその位置。例えば小腸では上部ほど絨毛の密度が高い)に応じて異なることから、実質的に消化管の部位やその中での位置を表す分類情報である。なお位置情報はこれに限定されず、生体内での位置が特定された情報であればよい。例えばアンテナによる3次元測位やX線画像等を用いて特定した位置情報であってもよい。
また、位置の一致は、厳密に一致する場合に限らず、ある程度の範囲内で一致していればよい。例えば、上記の分類結果を用いる場合、絨毛の密度や粘膜の種類が同じ分類に判定された場合には、位置が一致したと判定される。即ち、絨毛の密度や粘膜の種類が同じ分類に判定される範囲内が、位置が一致したと判断する範囲である。或いは、第1カプセル内視鏡装置100が電池切れ信号を送信してから実際に撮影が停止するまでには時間があり、その間に第1カプセル内視鏡装置100は体内を進むが、その進んだ範囲内のどこかに第2カプセル内視鏡装置300が到達したと判断した場合に、位置が一致したと判断してもよい。
このように撮像画像に基づいてカプセル内視鏡装置100、300の位置を判定することで、第1カプセル内視鏡装置100が撮像できなくなった位置に第2カプセル内視鏡装置300が到達したと判定された場合に、第2カプセル内視鏡装置300の撮像動作を変更できる。これにより、撮影もれのないようにリレーのタイミングを制御することが可能となる。
また本実施形態では、処理装置は、電池の残量が所定量以下となったときから所定時間後を基準とする所定時間範囲内において、上記の一致の判定がなされた場合に、トリガー信号を出力する。
このようにすれば、カプセル内視鏡装置100、300の投入時間差と、撮像画像による位置の一致判定との2つの情報から、第1カプセル内視鏡装置100が撮像できなくなった位置に第2カプセル内視鏡装置300が到達したか否かを判断できる。これにより、より正確にリレーのタイミングを判断できる。
また本実施形態では、処理装置は、体外装置200である。第2カプセル内視鏡装置300は、トリガー信号を受信する第2通信部を有する。
第2通信部は、第2実施形態では図3の情報送受信部206に対応する。また第2通信部は撮像画像受信部201を更に含んでもよい。
このように体外装置200を処理装置として用いることで、一般的にカプセル内視鏡装置のシステムにおいて撮像画像の受信や蓄積に用いられている体外装置200を、2つのカプセル内視鏡装置100、300によるリレー撮影の制御装置として兼用することができる。
なお、第1カプセル内視鏡装置100と第2カプセル内視鏡装置300は、それぞれ専用品として構成されてもよいし、或いはモード設定によって切り替え可能に構成されてもよい。後者の場合、例えば以下のように構成する。
即ち、カプセル内視鏡装置は、撮像素子と、その撮像素子による撮像動作を制御する制御部と、を含む。カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能である。カプセル内視鏡装置が第2動作モードに設定された場合、制御部は、第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、撮像素子による撮像動作の制御の変更処理を行う。第1動作モードに設定されたカプセル内視鏡装置は、第2動作モードに設定されたカプセル内視鏡装置よりも以前に生体内に投入されたカプセル内視鏡装置である。
例えば、カプセル内視鏡装置はモード設定部(例えばレジスターや不揮発性メモリー等)を含んでおり、外部の装置から無線等を介してモード設定部にモードを設定する。モード設定は、出荷前に行われてもよいし、ユーザーにより行われてもよい。第1動作モードは、上述した第1カプセル内視鏡装置100が行う動作と同じ動作を行うモードであり、第2動作モードは、上述した第2カプセル内視鏡装置300が行う動作と同じ動作を行うモードである。第1動作モードに設定されたカプセル内視鏡装置と、第2動作モードに設定されたカプセル内視鏡装置とにより、上述した内視鏡システムを構成する。また、更に体外装置200を含んで内視鏡システムを構成してもよい。
このような構成によれば、第1モードに設定されたカプセル内視鏡装置と、第2モードに設定されたカプセル内視鏡装置により、2つのカプセル内視鏡装置によるリレー撮影を実現できる。2つのカプセル内視鏡装置を、モード切り替えできる同一構成のカプセル内視鏡装置で実現できるので、設計や製造を簡素化できる。
3.第3の実施形態
図15に、第3の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204、情報送受信部206、制御部207、提示部220を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
第3の実施形態では、第2カプセル内視鏡装置300を患者の体内に投入するタイミングに関することが特徴である。
本実施形態では、第1カプセル内視鏡装置100が患者の体内に投入されてから体外に排出される前に、第1カプセル内視鏡装置100の電源容量がなくなり、検診目標となる部位の撮像ができそうもないと判断された場合に、第2カプセル内視鏡装置300を患者の体内に投入する。
図16に、第3の実施形態における動作例の説明図を示す。カプセル内視鏡を用いて大腸検診を実施する場合を考える。第1カプセル内視鏡装置100を患者の体内に投入してから約10時間後に電源容量がなくなる。その前(例えば15分前)に、制御部110の制御により、情報送信部104は、電池切れ信号を無線経由で体外装置200の情報送受信部206へ送信する。
提示部220は、第1カプセル内視鏡装置100から電池切れ信号を受信したことを提示(通知)する。例えば、提示部220は発光部やスピーカーで構成されており、発光部の発光や、スピーカーからの警告音により、ユーザーに通知する。
医師は、通知を受け取ったら、その時点前後の撮像画像を確認し、第1カプセル内視鏡装置100の患者体内における所在位置を確認する。第1カプセル内視鏡装置100が大腸に入っていない場合、あるいは、大腸に入っていたとしても電池容量がなくなる前に第1カプセル内視鏡装置100が体外に排出されないと予想される場合、医師は第2カプセル内視鏡装置300を患者の体内に投入する。
あるいは、第2の実施形態と同様に体外装置200が画像認識により第1カプセル内視鏡装置100の所在位置を推定してもよい。この場合、体外装置200は、第1カプセル内視鏡装置100から電池切れ信号を受信したときの第1カプセル内視鏡装置100の所在位置を医師に提示する。例えば、提示部220は、消化管の各部位に対応した発光部で構成され、判定された所在部位に対応する発光部が発光してもよい。或いは、提示部220は、液晶ディスプレイ等の表示装置で構成され、その画像表示により所在位置を提示してもよい。
具体的には、人間の小腸は通常5メートルから6メートルの長さがあり、絨毛が分布している。一方、胃や大腸など他の消化器官には絨毛は存在しない。そこで、「絨毛あり」と「絨毛なし」の分類項目を設定し、画像認識技術を用いて第1カプセル内視鏡装置100の所在位置を推定することができる。第1カプセル内視鏡装置100からの電池切れ信号を体外装置200の情報送受信部206が受信した場合、制御部207の制御により、分析部204は、画像保存部203から同じ時刻前後の第1カプセル内視鏡装置100の撮像画像を読み出し、その撮像画像を用いて分類を実施する。「絨毛あり」と判断された画像が所定枚数以上である場合、第1カプセル内視鏡装置100は、まだ小腸内にあると判断できる。その情報を医師に知らせて、患者に第2カプセル内視鏡装置300を飲んでもらう。
あるいは、第1カプセル内視鏡装置100を患者体内に投入した以降に体外装置200へ送ってきた撮像画像を分類してもよい。第1カプセル内視鏡装置100から電池切れ信号を体外装置200の情報送受信部206が受信した場合、制御部207は、分析部204により「絨毛あり」と判断された最後の撮像画像の撮像時刻から、情報送受信部206により電池切れ信号が受信された時刻までの時間間隔T2を計算する。T2は、第1カプセル内視鏡装置100が大腸に入ってから電池切れ信号を送信するまでの時間間隔である。提示部220は、この時間間隔T2を医師に提示する。例えば、カプセル本体が大腸に滞在する時間が平均的に3時間とする。T2が1時間であると提示された場合、第1カプセル内視鏡装置100は大腸に入ったものの、排出されるまでに大腸領域を全部撮像できないと医師は判断できる。この場合、医師は、第2カプセル内視鏡装置300を患者の体内に投入する。
検診の対象が小腸である場合には、第1カプセル内視鏡装置100から電池切れ信号を体外装置200の情報送受信部206が受信した場合に、分析部204が画像認識技術により第1カプセル内視鏡装置100がすでに大腸領域に入っていると判断した場合、医師は、第2カプセル内視鏡装置300を患者体内に投入しないと判断する。提示部220は、例えば電池切れ信号を受信したときの分析部204の分析結果を発光部や表示装置等で医師に提示する。
第1カプセル内視鏡装置100は、患者の体内において、残渣の量によって進み具合が大きく影響をうける。残渣が多くなると(特に大腸領域)、第1カプセル内視鏡装置100の動きが鈍くなり、患者の体内に滞在する時間が長くなる。この場合、画像認識技術を用いて、第1カプセル内視鏡装置100の撮像画像に対して、「残渣あり」、「残渣なし」の分類項目で分類を実施する。大腸を検診する場合、第1カプセル内視鏡装置100を患者の体内に投入してから所定の時間(例えば5時間。この時間の設定に関しては、従来症例の経験値から設定してもよい)が経過するまでに体外に排出されておらず、且つ、撮像された画像の全画像の中で「残渣あり」と分類された撮像画像が占める割合(枚数の割合)が所定閾値より大きい場合、医師は、第1カプセル内視鏡装置100が体外に排出される前に電力がなくなる可能性が高いと判断し、第2カプセル内視鏡装置300を患者の体内に投入する。提示部220は、例えば第1カプセル内視鏡装置100を患者の体内に投入してからの経過時間と、撮像された画像の全画像の中で「残渣あり」と分類された撮像画像が占める割合とを、医師に提示する。
また、患者によって、第1カプセル内視鏡装置100の体内における動き(進む速さ)が異なる。通常、動きが激しければ、第1カプセル内視鏡装置100が早く体外に排出される可能性が高く、動きが鈍ければ、第1カプセル内視鏡装置100が体外に排出されるまで時間がかかる。この特徴を利用して、第2カプセル内視鏡装置300の投入タイミングを測ってもよい。
大腸を検診する場合を例に説明する。時系列に撮像した第1カプセル内視鏡装置100の撮像画像に基づいて、近隣の画像の類似度を算出し、第1カプセル内視鏡装置100の動きを測定する。例えば、下式(2)を用いてSAD値(Sum of Absolute Difference)を算出する。SAD値が0に近いほど、2枚の撮像画像の類似度は高いと判断される。SAD値の演算は、例えば画像処理部202が行う。或いは、不図示の動き量算出部を設けてもよい。
ここで、isadはSAD値、iは2次元撮像画像の横軸座標、jは2次元撮像画像の縦軸座標、Mは撮像画像の横幅サイズ、Nは撮像画像の縦幅サイズ、I(i,j)は現在の撮像画像の座標(i,j)の画素値(輝度値)、I’(i,j)は過去の撮像画像の座標(i,j)の画素値(輝度値)である。
SAD値isadが所定の閾値より大きい場合、第1カプセル内視鏡装置100の動きがある(又は速い)と判定し、「動きあり」のフラグを保存する。一方、SAD値isadが所定の閾値以下である場合、第1カプセル内視鏡装置100の動きがない(又は遅い)と判定し、「動きなし」のフラグを保存する。このように各撮像画像の動き情報を算出して保存する。例えば、フラグを不図示の記憶部に保存する。
次に、第1カプセル内視鏡装置100を患者の体内に投入してから所定の時間(例えば5時間。この時間の設定に関しては、従来症例の経験値から設定してもよい)が経過するまで体外に排出されておらず、且つ、撮像された画像の全画像の中で「動きなし」と判定された撮像画像が占める割合(枚数の割合)が所定閾値より大きい場合、医師は、第1カプセル内視鏡装置100が体外に排出される前に電力がなくなる可能性が高いと判断し、第2カプセル内視鏡装置300を患者体内に投入する。提示部220は、例えば第1カプセル内視鏡装置100を患者の体内に投入してからの経過時間と、撮像された画像の全画像の中で「動きなし」と判定された撮像画像が占める割合(又は、その割合が閾値より大きいか否かの情報)と、を医師に提示する。
このように、第1カプセル内視鏡装置100が患者の体内に投入されてからの時間や、画像認識技術による識別情報(絨毛、残渣など)や、画像の相関関係(動き量)などを用いて、第1カプセル内視鏡装置100の体内位置を推定する。そして、電池の残量を把握した上で、適応的に第2カプセル内視鏡装置300を患者の体内に投入するか否かを判断する。第1カプセル内視鏡装置100が検診対象の全領域を撮像できる電力量が残っていないと判断された場合、第2カプセル内視鏡装置300を患者体内に投入し、リレー方式で一人の患者体内を検診する。一方、第1カプセル内視鏡装置100が検診対象の全領域を撮像できる電力量が残っていると判断された場合、第2カプセル内視鏡装置300を患者体内に投入しない。
なお、第1カプセル内視鏡装置100が、体内のある場所(例えば、S状結腸)に止まって前に進まずに電源がなくなる場合がある。このとき、第2カプセル内視鏡装置300を投入したとしても、第1カプセル内視鏡装置100と同じ場所に止まって前に進まずに電源がなくなる可能性がある。
このような状況に対処する変形例として、以下が考えられる。即ち、第1カプセル内視鏡装置100が体内のある場所(例えば、S状結腸)に止まって前に進まずに電源がなくなった場合、第1カプセル内視鏡装置100が体外に排出されるまで第2カプセル内視鏡装置300を体内に投入しない。腸内の蠕動で自然に第1カプセル内視鏡装置100が体外に排出されるのを待ってもよいが、医者がブースターや蠕動促進剤などを患者体内に投入したり、患者の運動やマッサージなどの処置などで第1カプセル内視鏡装置100を体外に排出させたりしてもよい。第1カプセル内視鏡装置100が体外に排出された後、医者の判断で投入タイミングを測って第2カプセル内視鏡装置300を体内に投入する。
第2カプセル内視鏡装置300の撮像制御に関しては、第1、第2の実施形態で説明した手法(例えば画像認識やタイマーなど)を用いることができる。即ち、第1カプセル内視鏡装置100の電源が切れた場所に第2カプセル内視鏡装置300が到達したことを確認して、第2カプセル内視鏡装置300の撮像を開始させる(又は高フレームレートに切り替える)。このとき、到達を確認できたら直ちに第2カプセル内視鏡装置300の撮像を開始させてもよいし、或いは、到達を医師に通知して、医師が状況を判断して適応的に第2カプセル内視鏡装置300の撮像を制御してもよい。そうすることによって、複数のカプセル本体が同じ場所に止まって前に進まず電源切れになってしまう課題を解決することができる。
以上の第3実施形態によれば、内視鏡システムは、第1カプセル内視鏡装置100と、第2カプセル内視鏡装置300と、第2カプセル内視鏡装置300よりも以前に生体内に投入された第1カプセル内視鏡装置100に関する第1情報に基づいて、第2カプセル内視鏡装置300を生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、を含む。
このようにすれば、提示された投入判断用情報を医師が受け取り、それによって第2カプセル内視鏡装置300を生体内に投入する否か又は投入するタイミングを判断できる。これにより、必要に応じて2つ目のカプセル内視鏡装置を患者に投入して、リレー方式による撮影を行うことができる。
ここで、処理装置は、第3の実施形態では図15の体外装置200に対応する。なお、これに限定されず、例えば図17で後述するように処理装置が第2カプセル内視鏡装置300に内蔵されてもよい。投入判断用情報とは、その情報を受け取った医師が第2カプセル内視鏡装置300を生体内に投入するか否か又は投入するタイミングを判断できる情報であれば、何でもよい。例えば、投入すべきこと又は投入のタイミングが来たことを知らせるランプの点灯や警告音、振動、画像表示等であってもよい。この場合、その情報を受け取った医師は、直ぐにカプセル内視鏡装置を投入してもよい。或いは、投入すべきか否か又はいつ投入のタイミングが来るかを医師に示唆する(又は推定させる)画像表示等であってもよい。この場合、その情報を受け取った医師は、その情報から示唆される(又は推定した)結論又はタイミングに基づいてカプセル内視鏡装置を投入してもよい。提示処理としては、例えばランプの点灯や警告音、振動、画像表示等の、装置から人間に情報を提示(又は通知)できる種々の手法を用いることができる。
また本実施形態では、第1情報は、第1カプセル内視鏡装置100の電池の残量情報である。
電池の残量が少なくなったとき(即ち、第1カプセル内視鏡装置100の撮影が終わりそうなとき)に、第1カプセル内視鏡装置100が体外に出ていない場合、第1カプセル内視鏡装置100のみで撮影を完了できる可能性が低いと判断できる。このように、電池の残量によって、医師が第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
また本実施形態では、第1情報は、第1カプセル内視鏡装置100が生体内に投入されてからの経過時間情報である。
カプセル内視鏡装置が動作を開始してから電池が無くなり、撮影ができなくなるまでの時間は、おおよそ仕様(例えば、電池の容量とカプセル内視鏡装置の消費電流)により決まっている。そのため、その時間が経過する前に第1カプセル内視鏡装置100が体外に出ていない場合、第1カプセル内視鏡装置100のみで撮影を完了できる可能性が低いと判断できる。このように、第1カプセル内視鏡装置100が生体内に投入されてからの経過時間情報によって、医師が第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
また本実施形態では、投入判断用情報は、第1カプセル内視鏡装置100が生体のターゲット範囲を撮影し終えたか否かを表す情報である。
例えば、ターゲット範囲が小腸や大腸である場合、第1カプセル内視鏡装置100が最後に(又は電池の残量が無くなる少し前に)撮影した画像から、小腸や大腸が撮影できたか否かを判断できる。例えば、投入判断用情報は、処理装置が画像認識によって判断した部位の情報であってもよいし、或いは、撮像画像そのものであってもよい。これらの情報から医師は、第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
また本実施形態では、投入判断用情報は、第1カプセル内視鏡装置100による撮像画像である。
上記のように、第1カプセル内視鏡装置100による撮像画像(特に、第1カプセル内視鏡装置100が最後に(又は電池の残量が無くなる少し前に)撮影した画像)から、第1カプセル内視鏡装置100が生体のターゲット範囲を撮影し終えたか否かを医師が判断できる。即ち、撮像画像から医師は、第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
4.変形例
図17に、内視鏡システムの変形構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、情報送信部104、電源部105、光源部109、制御部110、画像処理部121、分析部122、画像保存部123を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、電源部305、光源部309、制御部310、処理装置400を含む。処理装置400は、画像処理部321、分析部322、画像保存部323、提示部324(通知部)、情報受信部304を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
この変形例では、処理装置400が第2カプセル内視鏡装置300に含まれており、その処理装置400が第1カプセル内視鏡装置100から電池切れ信号を受けて、第2カプセル内視鏡装置300を投入するタイミングを医師に提示(通知)する。処理装置400は、例えばCPUやMPU、ASIC等で構成できる。
第1カプセル内視鏡装置100では、画像処理部121がベイヤ画像に対して画像処理を行ってRGB画像を生成する。画像保存部123は、そのRGB画像を撮像画像として記憶する。分析部122は、図6の分析部204の分類部401、記憶部404に対応している。即ち、分析部122は、予め学習しておいた分類基準(例えば絨毛の密度による分類、粘膜の種類の分類等)に基づいて、画像保存部123に記憶された撮像画像を分類する。情報送信部104は、その分類結果を第2カプセル内視鏡装置300の情報受信部304へ無線で送信する。また情報送信部104は、電池切れ信号を情報受信部304へ無線で送信する。例えば、分類結果として、電池残量が所定量以下となった時点(電池切れ信号を送信する時点)での分類結果を送信する。
第2カプセル内視鏡装置300では、情報受信部304が第1カプセル内視鏡装置100から電池切れ信号を受信した場合、提示部324がその旨を医師に提示(通知)する。例えば発光部の発光やスピーカーからの警告音により提示する。或いは、提示部324は、電池切れ信号が受信され、且つ、受信された分類結果から第1カプセル内視鏡装置100で撮影目標の全範囲を撮影できないと判断される場合(例えば、電池切れ信号が受信されたときの分類結果が小腸を示す場合)に、その旨を医師に提示してもよい。医師は、提示部324の提示情報に基づいて、第2カプセル内視鏡装置300を患者の体内に投入する。
第2カプセル内視鏡装置300が投入されたら、画像処理部321がベイヤ画像に対して画像処理を行ってRGB画像を生成する。画像保存部323は、そのRGB画像を撮像画像として記憶する。分析部322は、図6の分析部204の分類部402、分析判断部403、記憶部404に対応している。即ち、分析部322は、予め学習しておいた分類基準(例えば絨毛の密度による分類、粘膜の種類の分類等)に基づいて、画像保存部323に記憶された撮像画像を分類する。そして、その分類結果を、第1カプセル内視鏡装置100から情報受信部304が受信した分類結果と比較する。分類結果が一致した場合、第1カプセル内視鏡装置100の電池残量が所定量以下となったときの位置に、第2カプセル内視鏡装置300が到達したと判断できる。分析部322が分類結果が一致したと判定した場合、制御部310が撮像部301に撮像を開始させる(又は、低フレームレートから高フレームレートに切り替える)。
ここで、第1〜第3の実施形態や各種変形例におけるカプセル内視鏡装置100、300や体外装置200等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係るカプセル内視鏡装置100、300や体外装置200等の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 第1カプセル内視鏡装置、101 撮像部、
102 A/D変換部、103 撮像画像送信部、
104 情報送信部、105 電源部、109 光源部、
110 制御部(第1制御部)、120 第1撮像素子、
121 画像処理部、122 分析部、123 画像保存部、
200 体外装置、201 撮像画像受信部、
202 画像処理部、203 画像保存部、204 分析部、
205 位置検出部、206 情報送受信部、207 制御部、
208 記憶部、220 提示部、
300 第2カプセル内視鏡装置、301 撮像部、
302 A/D変換部、303 撮像画像送信部、
304 情報受信部、305 電源部、309 光源部、
310 制御部(第2制御部)、320 第2撮像素子、
321 画像処理部、322 分析部、323 画像保存部、
324 提示部、400 処理装置、401 分類部、
402 分類部、403 分析判断部、404 記憶部、
501 ヒストグラム部、502 ヒストグラム部、
503 一致判断部、504 記憶部

Claims (17)

  1. 第1カプセル内視鏡装置と、
    第2カプセル内視鏡装置と、
    を含み、
    前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置は、
    第1撮像素子と、
    前記第1撮像素子による撮像動作を制御する第1制御部と、
    を有し、
    前記第2カプセル内視鏡装置は、
    第2撮像素子と、
    前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2撮像素子による撮像動作の制御の変更処理を行う第2制御部と、
    を有することを特徴とする内視鏡システム。
  2. 請求項1において、
    前記第2制御部は、
    前記第1情報に基づくトリガー信号により、前記第2撮像素子による前記撮像動作の起動又はフレームレートの切り替えを前記変更処理として行うことを特徴とする内視鏡システム。
  3. 請求項2において、
    前記第1情報は、前記第1カプセル内視鏡装置の電池の残量情報であることを特徴とする内視鏡システム。
  4. 請求項2において、
    前記第1情報は、前記第1カプセル内視鏡装置による撮像画像、前記第1カプセル内視鏡装置が前記生体内に投入されてから前記第2カプセル内視鏡装置が前記生体内に投入されるまでの時間差の情報、及び前記第1カプセル内視鏡装置の前記生体内における位置の情報の少なくとも1つであることを特徴とする内視鏡システム。
  5. 請求項2において、
    前記第1情報を受けて、前記トリガー信号を出力する処理装置を含み、
    前記第2制御部は、
    前記処理装置からの前記トリガー信号を受けた場合に、前記変更処理を行うことを特徴とする内視鏡システム。
  6. 請求項5において、
    前記第1カプセル内視鏡装置は、
    前記第1カプセル内視鏡装置の電池の残量情報を前記第1情報として送信する第1通信部を有し、
    前記処理装置は、
    前記電池の残量が所定量以下となったときから所定時間が経過した場合に前記トリガー信号を出力することを特徴とする内視鏡システム。
  7. 請求項6において、
    前記所定時間は、前記第1カプセル内視鏡装置が前記生体内に投入されてから前記第2カプセル内視鏡装置が前記生体内に投入されるまでの時間差に対応するものであることを特徴とする内視鏡システム。
  8. 請求項5において、
    前記第1カプセル内視鏡装置は、
    前記第1カプセル内視鏡装置の電池の残量情報と、前記第1カプセル内視鏡装置による撮像画像とを前記第1情報として送信する第1通信部を有し、
    前記処理装置は、
    前記電池の残量が所定量以下となったときの前記第1カプセル内視鏡装置の前記生体内における位置情報を、前記撮像画像に基づいて取得し、
    前記第2カプセル内視鏡装置による撮像画像に基づいて、前記第2カプセル内視鏡装置の前記生体内における位置が、前記位置情報が表す位置に一致したと判定した場合に、前記トリガー信号を出力することを特徴とする内視鏡システム。
  9. 請求項8において、
    前記処理装置は、
    前記電池の残量が所定量以下となったときから所定時間後を基準とする所定時間範囲内において、前記一致の判定がなされた場合に、前記トリガー信号を出力することを特徴とする内視鏡システム。
  10. 請求項5において、
    前記処理装置は、体外装置であり、
    前記第2カプセル内視鏡装置は、
    前記トリガー信号を受信する第2通信部を有することを特徴とする内視鏡システム。
  11. 請求項1において、
    前記第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置を含むことを特徴とする内視鏡システム。
  12. 撮像素子と、
    前記撮像素子による撮像動作を制御する制御部と、
    を含むカプセル内視鏡装置であって、
    前記カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能であり、
    前記カプセル内視鏡装置が前記第2動作モードに設定された場合、
    前記制御部は、
    前記第2動作モードに設定された前記カプセル内視鏡装置よりも以前に生体内に投入され前記第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、前記撮像素子による撮像動作の制御の変更処理を行うことを特徴とするカプセル内視鏡装置。
  13. 第1カプセル内視鏡装置と、
    第2カプセル内視鏡装置と、
    前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、
    を含むことを特徴とする内視鏡システム。
  14. 請求項13において、
    前記第1情報は、前記第1カプセル内視鏡装置の電池の残量情報であることを特徴とする内視鏡システム。
  15. 請求項13において、
    前記第1情報は、前記第1カプセル内視鏡装置が前記生体内に投入されてからの経過時間情報であることを特徴とする内視鏡システム。
  16. 請求項13において、
    前記投入判断用情報は、前記第1カプセル内視鏡装置が前記生体のターゲット範囲を撮影し終えたか否かを表す情報であることを特徴とする内視鏡システム。
  17. 請求項13において、
    前記投入判断用情報は、前記第1カプセル内視鏡装置による撮像画像であることを特徴とする内視鏡システム。
JP2017524181A 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置 Expired - Fee Related JP6498288B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/067330 WO2016203548A1 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置

Publications (2)

Publication Number Publication Date
JPWO2016203548A1 JPWO2016203548A1 (ja) 2018-05-24
JP6498288B2 true JP6498288B2 (ja) 2019-04-10

Family

ID=57545123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524181A Expired - Fee Related JP6498288B2 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置

Country Status (3)

Country Link
US (1) US10743752B2 (ja)
JP (1) JP6498288B2 (ja)
WO (1) WO2016203548A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2019226744A1 (en) * 2018-05-22 2019-11-28 Velis Christopher J P Power supplies and methods of using miniaturized intra-body controllable medical device
WO2020044637A1 (ja) * 2018-08-28 2020-03-05 オリンパス株式会社 内視鏡、駆動方法およびプログラム
KR20220038806A (ko) 2018-09-25 2022-03-29 미라키 이노베이션 씽크 탱크 엘엘씨 의료용 스캐폴드 체내 로봇 이미징, 감지 및 배치 장치 및 사용 방법
KR102037303B1 (ko) * 2018-10-24 2019-10-28 아주대학교 산학협력단 캡슐 내시경의 위치를 추정하는 방법 및 장치
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN115251807B (zh) * 2022-09-26 2022-12-06 徐州医科大学 胶囊内窥镜系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
JP4593083B2 (ja) * 2003-04-11 2010-12-08 オリンパス株式会社 検査データ管理方法
JP4733918B2 (ja) * 2003-10-01 2011-07-27 オリンパス株式会社 カプセル投薬システム
JP2006061399A (ja) * 2004-08-26 2006-03-09 Hitachi Ltd 検査カプセル及び検査システム
KR101203719B1 (ko) * 2008-12-16 2012-11-21 한국전자통신연구원 캡슐형 내시경 시스템, 의료용 시스템 및 의료용 시스템의 동작방법
KR101103127B1 (ko) * 2010-04-29 2012-01-04 아이쓰리시스템 주식회사 듀얼모드 동작이 가능한 캡슐내시경용 이미지센서
KR101406370B1 (ko) * 2012-11-01 2014-06-12 가톨릭대학교 산학협력단 광 및 초음파 역학 치료용 캡슐 내시경
CN105744986B (zh) * 2013-09-16 2019-02-22 斯坦福大学董事会 用于电磁能量生成的多元件耦合器
JP6464329B2 (ja) * 2016-12-07 2019-02-06 オリンパス株式会社 内視鏡システム、受信装置、ワークステーション、設定方法およびプログラム

Also Published As

Publication number Publication date
US10743752B2 (en) 2020-08-18
US20180098689A1 (en) 2018-04-12
JPWO2016203548A1 (ja) 2018-05-24
WO2016203548A1 (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
JP6498288B2 (ja) 内視鏡システム及びカプセル内視鏡装置
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
JP7313512B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
US20080242926A1 (en) Capsule endoscope, capsule endoscopic system, and endoscope control methood
WO2016110993A1 (ja) 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
WO2014061458A1 (ja) 情報管理装置及びカプセル型内視鏡検査システム
US8986198B2 (en) Image display apparatus and capsule endoscope system
JPWO2018159347A1 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
KR102058192B1 (ko) 캡슐내시경의 촬영 제어 시스템 및 방법
JP7540087B6 (ja) 画像処理方法、電子機器および可読記憶媒体
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10939037B2 (en) Capsule endoscope, receiving device, operation method of capsule endoscope, and computer readable recording medium
KR20180128216A (ko) 지능형 캡슐내시경 및 이를 이용한 촬영 방법
CN116887745A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序
US20200196845A1 (en) Capsule endoscope system, capsule endoscope, and receiving device
Marques et al. Compressed domain topographic classification for capsule endoscopy
WO2015068494A1 (ja) 器官画像撮影装置
US20240257348A1 (en) Endoscopic image processing device, endoscopic image processing method, and endoscope system
JP7440629B2 (ja) 内視鏡プロセッサ装置
JP6275344B1 (ja) 動き判定装置、被検体内導入装置、動き判定方法及びプログラム
Malagelada Vilarino et a

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190312

R151 Written notification of patent or utility model registration

Ref document number: 6498288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees