JP6425931B2 - カプセル型内視鏡及び内視鏡システム - Google Patents

カプセル型内視鏡及び内視鏡システム Download PDF

Info

Publication number
JP6425931B2
JP6425931B2 JP2014145606A JP2014145606A JP6425931B2 JP 6425931 B2 JP6425931 B2 JP 6425931B2 JP 2014145606 A JP2014145606 A JP 2014145606A JP 2014145606 A JP2014145606 A JP 2014145606A JP 6425931 B2 JP6425931 B2 JP 6425931B2
Authority
JP
Japan
Prior art keywords
frame rate
motion
determination
captured image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014145606A
Other languages
English (en)
Other versions
JP2016019707A (ja
Inventor
成剛 温
成剛 温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014145606A priority Critical patent/JP6425931B2/ja
Priority to PCT/JP2015/062777 priority patent/WO2016009700A1/ja
Priority to CN201580037635.1A priority patent/CN106659370B/zh
Priority to DE112015002957.5T priority patent/DE112015002957T5/de
Publication of JP2016019707A publication Critical patent/JP2016019707A/ja
Priority to US15/391,793 priority patent/US10405736B2/en
Application granted granted Critical
Publication of JP6425931B2 publication Critical patent/JP6425931B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、カプセル型内視鏡及び内視鏡システ等に関する。
カプセル型内視鏡は小型であるため、電源の節約等の理由から撮像枚数を節約するためにフレームレートの制御を行う。フレームレートの制御は、カプセル型内視鏡が消化管内を動く速さに応じて行われ、動きが遅い場合にはフレームレートを下げ、動きが速い場合にはフレームレートを上げる。
フレームレートを制御する手法として、例えば特許文献1には下記の手法が開示されている。特許文献1の手法では、体内に嚥下されたカプセル本体が、カメラで撮像画像を撮像し、その撮像画像を体外の受信装置へ送信する。そして、体外のプロセッサ装置が、受信した複数の撮像画像間の類似度から動き量を検出(カプセル本体の動きを分析)し、その動き量に基づいて適切なフレームレートを決定し、そのフレームレートの情報をカプセル本体に送信し、カプセル本体のカメラのフレームレートを制御する。
また特許文献2には、下記の手法が開示されている。特許文献2の手法では、体内に嚥下されたカプセル本体が、カメラで撮像画像を撮像し、その撮像画像を体外の受信装置へ送信する。そして、体外のプロセッサ装置が、音声センサにより消化器の蠕動の情報を取得し、受信した複数の撮像画像間の類似度を判定し、その蠕動の情報と類似度の判定結果からカプセル本体の動きを測定し、その測定結果に基づいて通常フレームレートあるいは特殊フレームレートのいずれか一方を設定し、その設定したフレームレートの情報をカプセル本体に送信し、カプセル本体のカメラのフレームレートを制御する。
特開2006−223892号公報 特開2010−35746号公報
上記のように、従来の手法では体外のプロセッサ装置によりフレームレートを制御している。しかしながら、この手法では、カプセル型内視鏡と体外装置との間で撮像画像やフレームレートの情報のやりとりに時間がかかるため、カプセル型内視鏡の動きの変化に対してフレームレートの制御が遅れるという課題がある。例えば、カプセル型内視鏡が消化管内を移動する速さが急に速くなった場合、フレームレートを上げる制御が遅れると、撮像できない領域が発生し、診断漏れが発生するリスクがある。
本発明の幾つかの態様によれば、フレームレート制御の応答時間を短縮可能なカプセル型内視鏡、内視鏡システム及びカプセル型内視鏡の作動方法等を提供できる。
本発明の一態様は、時系列の撮像画像を撮像する撮像部と、前記撮像画像に基づいてカプセル型内視鏡の第1の動き判定を行い、第1の動き判定結果を求める処理部と、前記撮像画像を前記カプセル型内視鏡の外部装置に送信し、前記外部装置により前記撮像画像に基づいて行われた前記カプセル型内視鏡の第2の動き判定の結果である第2の動き判定結果を受信する通信部と、を含み、前記処理部は、前記第1の動き判定結果と前記第2の動き判定結果に基づいて、前記撮像部のフレームレートを制御するカプセル型内視鏡に関係する。
本発明の一態様によれば、カプセル型内視鏡の処理部により第1の動き判定が行われ、外部装置により第2の動き判定が行われ、その第1の動き判定の結果と第2の動き判定の結果に基づいてフレームレートが制御される。これにより、フレームレート制御の応答時間を短縮することが可能となる。
また本発明の他の態様は、カプセル型内視鏡と、外部装置と、を含み、前記カプセル型内視鏡は、時系列に撮像画像を撮像する撮像部と、前記撮像画像に基づいて前記カプセル型内視鏡の第1の動き判定を行い、第1の動き判定結果を出力する第1の処理部と、前記撮像画像を前記外部装置に送信する第1の通信部と、を含み、前記外部装置は、前記撮像画像に基づいて前記カプセル型内視鏡の第2の動き判定を行い、第2の動き判定結果を出力する第2の処理部と、前記第2の動き判定結果を前記第1の通信部に送信する第2の通信部と、を含み、前記第1の処理部は、前記第1の動き判定結果と前記第2の動き判定結果に基づいて、前記撮像部のフレームレートを制御する内視鏡システムに関係する。
また本発明の更に他の態様は、時系列の撮像画像を撮像し、前記撮像画像に基づいてカプセル型内視鏡の第1の動き判定を行い、第1の動き判定結果を求め、前記撮像画像を前記カプセル型内視鏡の外部装置に送信し、前記外部装置により前記撮像画像に基づいて行われた前記カプセル型内視鏡の第2の動き判定の結果である第2の動き判定結果を受信し、前記第1の動き判定結果と前記第2の動き判定結果に基づいて、前記撮像画像を撮像するフレームレートを制御するカプセル型内視鏡の作動方法に関係する。
内視鏡システムの構成例。 内視鏡システムの第1の詳細な構成例。 第1の動き判定部の詳細な構成例。 第1の動き判定のフローチャート。 第2の動き判定部の詳細な構成例。 テンプレートマッチング処理の説明図。 第2の動き判定のフローチャート。 フレームレート制御部の詳細な構成例。 フレームレート制御のフローチャート。 第1の動き判定によるフレームレートの切り替えのフローチャート。 第2の動き判定によるフレームレートの切り替えのフローチャート。 第1変形例における、第2の動き判定によるフレームレートの切り替えのフローチャート。 第2変形例における、第1の動き判定によるフレームレートの切り替えのフローチャート。 第2変形例における、第2の動き判定によるフレームレートの切り替えのフローチャート。 第3変形例における、第1の動き判定のフローチャート。 第4変形例における、第1の動き判定のフローチャート。 第4変形例における、第1の動き判定によるフレームレートの切り替えのフローチャート。 第5変形例における、第1の動き判定のフローチャート。 第5変形例における、第1の動き判定によるフレームレートの切り替えのフローチャート。 内視鏡システムの第2の詳細な構成例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
カプセル型内視鏡は小型であるため処理能力の高いプロセッサを使うことはできず、動き判定等の負荷が大きい処理をカプセル型内視鏡の内部で行うことは難しい。そのため、従来は、体外に設けられた外部装置により動き判定を行い、カプセル型内視鏡のフレームレートを制御していた。フレームレートは、カプセル型内視鏡が消化管内を進む速さ(物理的な動き)に応じて制御され、例えば動きが速くなればフレームレートを上げる制御を行う。
しかしながら、カプセル型内視鏡から外部装置へ画像(容量が大きいデータ)を送信する必要があるため、カプセル型内視鏡の動きの速さが変化してからフレームレートが変更されるまでにタイムラグが生じるという課題がある。例えば、カプセル型内視鏡の動きが速くなってからフレームレートを上げるまでに時間がかかると、フレームレートが遅いまま消化管内を速く進んでしまい、画像に写らない領域が生じる可能性がある。そうすると、医師が診断する際に病変を見落としたり、正確な診断ができなくなる可能性がある。
図1に、上記の課題を解決できる本実施形態の内視鏡システムの構成例を示す。内視鏡システムは、カプセル型内視鏡100と、外部装置200と、を含む。カプセル型内視鏡は、撮像部110と、処理部120と、通信部130と、を含む。
撮像部110は、時系列の撮像画像を撮像する。処理部120は、その撮像画像に基づいて撮像部110の第1の動き判定を行い、第1の動き判定結果を求める。通信部130は、撮像画像をカプセル型内視鏡100の外部装置200に送信する。外部装置200は、通信部130から送信された撮像画像に基づいて撮像部110の第2の動き判定を行い、通信部130は、その第2の動き判定結果を外部装置200から受信する。そして処理部120は、第1の動き判定結果と第2の動き判定結果に基づいて、撮像部110のフレームレートを制御する。
ここで、時系列の撮像画像とは、消化管の内部を通過しながら撮像した画像であり、撮像した時間の順に並んだ画像である。例えば、時系列の撮像画像は動画であってもよいし、或いは所与の時間間隔で撮影した一連の画像であってもよい。また、フレームレートとは、撮像部110が撮像する単位時間あたりの画像の枚数である。或いは、撮像する周期や時間間隔であってもよい。
以上のようにすれば、ハードウェアの規模に制約があるカプセル型内視鏡100において簡易的に第1の動き判定を行って適応的にフレームレートを制御できる。カプセル型内視鏡100の内部で動き判定を行うので、カプセル型内視鏡100が動く速さの変化に対してタイムラグのないフレームレート制御が可能となり、診断漏れ等を抑制できる。また、外部装置200により精度の高い第2の動き判定を行うことができ、カプセル型内視鏡100が動く速さに対して正確にフレームレートを追従させることが可能となる。
また本実施形態では、処理部120は、第1の動き判定結果に基づいてフレームレートを決定する第1の判断を行い、その第1の判断に基づいてフレームレートを制御する。また処理部120は、第2の動き判定結果に基づいて、第1の動き判定結果に基づいて決定されたフレームレートが適切であるか否かを判断する第2の判断を行い、第1の動き判定結果に基づいて決定されたフレームレートが適切でないと判定した場合には第2の動き判定結果に基づいてフレームレートを決定してフレームレートを制御する。
例えば後述する実施形態では、図9のステップS112において第1の動き判定を行い、ステップS113において第1の動き判定の判定値に基づいてフレームレートを決定し、ステップS114においてフレームレートを切り替える。そして、ステップS116において第2の動き判定を行い、ステップS118において第1の動き判定により設定されたフレームレートが適切であるか否かを判断する。そして、適切でないと判断した場合には、第2の動き判定の判定値に基づいてフレームレートを決定し、ステップS119においてフレームレートを切り替える。
このようにすれば、カプセル型内視鏡100において簡易的に行った第1の動き判定を、外部装置200において行った精度の高い第2の動き判定によって検証し、修正することが可能となる。即ち、第1の動き判定によりカプセル型内視鏡100の動きの変化に対してすばやくフレームレートを切り替えると共に、ハードウェア規模の制約が相対的に少ない外部装置200が精度の高い第2の動き判定を行うことで正確なフレームレートの制御が可能となる。
また本実施形態では、処理部120は、第1の動き判定結果に基づいてフレームレートを現在のフレームレートよりも速いフレームレートに切り替えるか否かの判断を行い、第2の動き判定結果に基づいてフレームレートを現在のフレームレートよりも遅いフレームレートに切り替えるか否かの判断を行う。
例えば後述する実施形態では、図13に示すフローのステップS182において、第1の動き判定の判定値に基づいて低速フレームレートから高速フレームレートへ切り替えるか否かを判定する。ステップS181、S184に示すように、現在のフレームレートが高速フレームレートである場合にはフレームレートの切り替えは行わない。また、図14に示すフローのステップS203において、第2の動き判定の判定値に基づいて高速フレームレートから低速フレームレートへ切り替えるか否かを判定する。ステップS201、S202に示すように、現在のフレームレートが低速フレームレートである場合にはフレームレートの切り替えは行わない。
上述のようにカプセル型内視鏡100では簡易的な第1の動き判定を行うため、外部装置200が行う第2の動き判定に比べれば判定の精度は相対的に低い。そのため、遅いフレームレートへの切り替えを第1の動き判定で行うと、実際には動きが速いにも関わらず遅いフレームレートで撮影される可能性があり、撮り漏れの恐れがある。この点、本実施形態では第2の動き判定で遅いフレームレートへの切り替えを行うため、上記のような撮り漏れを抑制できる。
また、撮り漏れの発生しやすい状況はカプセル型内視鏡の動く速さが増加したときであり、それに追従して即時にフレームレートを上げることが望ましい。この点、本実施形態では第1の動き判定により速いフレームレートへ切り替えるため、動きが速くなったと疑われる場合にはフレームレートを速くし、撮り漏れを抑制できる。また、その判断が間違っていた場合には、第2の動き判定によって修正されるため、不必要に高いフレームレートで撮影されることを防止し、消費電流を節約できる。
また本実施形態では、外部装置200は、第2の処理負荷の第2の動き判定を行う。一方、処理部120は、第2の処理負荷よりも小さい第1の処理負荷の第1の動き判定を行う。
例えば後述する実施形態では、第1の動き判定では、2枚の撮像画像を同一の画素位置で比較(例えば画素値の差分をとる)してSAD等を求め、そのSAD等から動きの速さを判定する。一方、第2の動き判定では、2枚の画像の間でブロックマッチングを行い、各ブロックでのマッチング結果から動きの速さを判定する。
このようにすれば、外部装置200に比べてハードウェアの規模に制約があるため処理能力が相対的に低いカプセル型内視鏡100のプロセッサでも第1の動き判定を行うことが可能となり、フレームレートを素早く変更できる。それと共に、処理負荷が大きい第2の動き判定によって第1の動き判定を補うことが可能となり、正確な動き判定を実現できる。上記の例では、第1の動き判定は単純な画素値の比較であり、ブロックマッチングのような重い反復処理が無いため、ハードウェアの規模に制約があることが原因で処理能力が相対的に低いカプセル型内視鏡100のプロセッサでも実行することが可能である。
2.第1の詳細構成
2.1.内視鏡システム
以下、本実施形態の詳細について説明する。図2に、内視鏡システムの第1の詳細な構成例を示す。内視鏡システムは、カプセル型内視鏡100(カプセル本体)と、外部装置200(体外装置)と、を含む。
カプセル型内視鏡100は、患者が飲み込む(嚥下する)ことで患者の体内に取り込まれ、消化管の蠕動によって消化管内を進みながら消化管内を順次撮影する内視鏡である。患者の腹部には、カプセル型内視鏡100との間で無線電波をやりとりするための複数のパッド(アンテナ)が装着される。そのパッドには、カプセル型内視鏡100との通信を行う通信装置(受信装置)が接続されており、通信装置は例えば患者の身体に装着される。第2の動き判定を行う外部装置200は、例えば、その通信装置に対応する。或いは、通信装置とは別に情報処理装置(例えばPC(Personal Computer)等)を設け、その情報処理装置が外部装置200として動作してもよい。
カプセル型内視鏡100は、撮像部110、処理部120、通信部130、光源部140、記憶部150、A/D変換部160を含む。処理部120は、画像処理部121、第1の動き判定部122、制御部123、フレームレート制御部124を含む。通信部130は、撮像画像送信部131、判定情報受信部132を含む。
外部装置200は、処理部220、通信部230、記憶部250、画像保存部270を含む。処理部220は、画像処理部221、第2の動き判定部222、制御部223を含む。通信部230は、撮像画像受信部231、判定情報送信部232を含む。
各部の接続について説明する。カプセル型内視鏡100において、撮像部110はA/D変換部160へ接続している。A/D変換部160は、画像処理部121及び撮像画像送信部131へ接続している。画像処理部121は第1の動き判定部122へ接続している。撮像画像送信部131は、無線を介して外部装置200にある撮像画像受信部231へ接続している。記憶部150は、第1の動き判定部122と双方向に接続している。第1の動き判定部122及び判定情報受信部132は、フレームレート制御部124へ接続している。フレームレート制御部124は、撮像部110へ接続している。制御部123は、撮像部110、A/D変換部160、画像処理部121、撮像画像送信部131、第1の動き判定部122、記憶部150、判定情報受信部132、フレームレート制御部124及び光源部140と双方向に接続している。
外部装置200においては、撮像画像受信部231は、画像処理部221を介して第2の動き判定部222へ接続している。画像処理部221は、画像保存部270へ接続している。第2の動き判定部222は、判定情報送信部232へ接続している。記憶部250は、第2の動き判定部222と双方向に接続している。判定情報送信部232は、無線を介して定情報受信部132へ接続している。制御部223は、撮像画像受信部231、画像処理部221、画像保存部270、第2の動き判定部222、記憶部250、及び判定情報送信部232と双方向に接続している。
2.2.カプセル型内視鏡
次に、各部が行う処理や動作を説明する。まずカプセル型内視鏡100について説明する。
光源部140が出射する光は、制御部123からの制御により、カプセル型内視鏡100の外の被写体に照射される。その被写体からの反射光は、撮像部110の光学レンズ系を介して撮像部110の撮像素子に結像される。撮像素子から出力されたアナログ撮像画像はA/D変換部160へ転送される。例えば、撮像素子は原色単版(ベイヤ配列)の撮像素子である。
A/D変換部160は、制御部123からの制御により、撮像部110からのアナログ撮像画像をデジタル化し、その画像をデジタル撮像画像(以下撮像画像と省略)として画像処理部121及び撮像画像送信部131へ転送する。
画像処理部121は、制御部123からの制御により、A/D変換部160からの原色単版の撮像画像に対して画像処理を行う。例えば、公知の補間処理やエッジ強調処理、階調変換処理等を行う。本実施形態では、カプセル型内視鏡100に搭載する画像処理用の回路の規模を抑制するため、原色単板の撮像画像のうちG画素のみ(ベイヤ配列の場合、RとBの画素ではG画素が欠落している)に対して公知の補間処理を実施する。この補間処理では、欠落しているG画素に対して、その周辺のG画素の画素値を加算平均したもので補間する。補間後のG画素のみの撮像画像を第1の動き判定部122へ転送する。補間済みのG撮像画像は輝度撮像画像として後段の動き判定用に用いられる。
このように、画像処理部121が原色単版の撮像画像のG画素のみに対して補間処理を実施することにより、RGB全画素に対して補間処理を実施する場合に比べて実装規模を小さくすることが可能となる。撮像画像に対する処理量が小さくなるため、カプセル型内視鏡100の消費電力を節約できる。
なお、上記ではG画素のみを補間処理する場合を例に説明したが、本実施形態はこれに限定されない。例えば、G画素の補間処理と同様に、R画素とB画素に対しても周辺同色の画素を用いて補間してもよい。この場合、下式(1)により画素ごとに輝度画素値Y(x,y)を算出する。画像処理部121は、制御部123からの制御に基づいて輝度画像を第1の動き判定部122へ転送する。
Y(x,y)=a1*R(x,y)+b1*G(x,y)+c1*B(x,y) (1)
上式(1)において、xは2次元撮像画像の横軸座標(例えば水平走査方向の座標)であり、yは2次元撮像画像の縦軸座標(例えば垂直走査方向の座標)である。Y(x,y)は撮像画像の座標(x,y)の輝度画素値である。R(x,y)は撮像画像の座標(x,y)のR画素値であり、G(x,y)は撮像画像の座標(x,y)のG画素値であり、B(x,y)は撮像画像の座標(x,y)のB画素値である。a1、b1、c1は輝度画素値Y(x,y)を算出するための所定係数である。
図3に、第1の動き判定部122の詳細な構成例を示す。第1の動き判定部122は、画像縮小部401、類似度算出部402、動き判定部403、一時保存部404を含む。
画像処理部121は、画像縮小部401、類似度算出部402を介して動き判定部403へ接続している。画像縮小部401は、一時保存部404へ接続している。記憶部150は、画像縮小部401、類似度算出部402、動き判定部403と双方向に接続している。動き判定部403は、フレームレート制御部124へ接続している。制御部123は、画像縮小部401、類似度算出部402、動き判定部403及び一時保存部404と双方向に接続している。
画像縮小部401は、制御部123からの制御に基づいて、画像処理部121からの画像(補間済みのG画素のみの撮像画像。以下、G撮像画像と省略)に対して縮小処理を実施する。本実施形態では、G撮像画像に対して間引き処理を行い、G撮像画像のサイズを縮小する(以下、縮小後のG撮像画像を縮小G撮像画像と呼ぶ)。
具体的には、まず下式(2)によりG撮像画像の間引き処理用のスキップ横幅サイズ及びスキップ縦幅サイズを算出する。
StepWidth=Width/ReduceWidth,
StepHeight=Height/ReduceHeight (2)
上式(2)において、WidthはG撮像画像の横幅サイズであり、HeightはG撮像画像の縦幅サイズである。ReduceWidthは縮小G撮像画像の横幅サイズであり、ReduceHeightは縮小G撮像画像の縦幅サイズである。StepWidthは横軸方向の間引き間隔(スキップ横幅サイズ)であり、StepHeightは、縦軸方向の間引き間隔(スキップ縦幅サイズ)である。
上記のパラメータWidth、Height、ReduceWidth及びReduceHeightは、事前に記憶部150に記憶されている。そして、縮小処理を実施するときに、制御部123からの制御に基づいて画像縮小部401が記憶部150から読み出す。
なお、パラメータStepWidth及びStepHeightを事前に記憶部150に記憶してもよい。この場合、上式(1)で計算せずに縮小処理を実施することが可能である。
次に、画像縮小部401は、制御部123からの制御に基づいて、G撮像画像の画素を横軸方向にはスキップ横幅サイズStepWidth毎に、縦軸方向にはスキップ縦幅サイズStepHeight毎に選択し(スキップし)、その選択した画素で縮小撮像画像を構成する。このスキップ処理は、例えばG撮像画像の左上の画素を基準として行う。
なお、上記では間引き縮小処理を行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、上記スキップ処理により選択された画素を中心として所定サイズのブロック領域(例えば、3x3、5x5など)を設定し、そのブロック領域内の全画素値に対して公知の加算平均処理、或いは重み付き加算平均処理を実施し、その得られた画素値を、スキップ処理により選択された画素の画素値として縮小撮像画像を構成してもよい。
次に、制御部123からの制御により、画像縮小部401は縮小処理後の縮小G撮像画像を類似度算出部402及び一時保存部404へ転送する。この一時保存部404に保存されているのは、時系列的に過去の縮小G撮像画像であり、時系列的に次の縮小G撮像画像との類似度を算出するために用いられる。具体的には、時系列的に縮小G撮像画像を取り込むたびに、一時保存部404にある時間的に一番古い縮小G撮像画像を更新し、取り込んだ(現在の)縮小G撮像画像を保存する。
本実施形態では、現在の縮小G撮像画像と時系列的に過去の縮小G撮像画像との類似度を算出し、その類似度に基づいてカプセル型内視鏡100や被写体などの物理的な動き(以下カプセルの物理的な動きと省略)があるか否かを判断する。以下、この動き判定について説明する。
類似度算出部402は、制御部123からの制御に基づいて、画像縮小部401からの現在の縮小G撮像画像と一時保存部404からの過去の縮小G撮像画像とを用いて、下式(3)によりSAD値(Sum of Absolute Difference)を算出する。ここで、SAD値は、ゼロに近いほど2枚の縮小G撮像画像の類似度が高いと判断される。類似度算出部402は、制御部123からの制御に基づいて、isad値を動き判定部403へ転送する。
Figure 0006425931
上式(3)において、isadはSAD値である。iは縮小G撮像画像の横軸座標であり、jは縮小G撮像画像の縦軸座標である。Mは縮小G撮像画像の横幅サイズであり、Nは縮小G撮像画像の縦幅サイズである。I(i,j)は現在の縮小G撮像画像の座標(i,j)における画素値であり、I’(i,j)は過去の縮小G撮像画像の座標(i,j)における画素値である。
なお、上記では時系列の前後2枚の撮像画像からSAD値を算出して類似度を判断する場合を例に説明したが、本実施形態はこれに限定されない。例えば、下式(4)によりSSD(Sum of Squared Difference)値を算出して類似度を判断してもよいし、或いは下式(5)によりNCC(Normalized Cross-Correction)値を算出して類似度を判断してもよい。
Figure 0006425931
Figure 0006425931
上式(4)において、issdはSSD値である。上式(5)において、inccはNCC値である。i、j、M、N、I(i,j)、I’(i,j)は上式(3)で説明した通りである。
また上記では、時系列にスキップなしで隣接する2枚の撮像画像から類似度を算出する場合を例に説明したが、本実施形態はこれに限定されない。例えば、所定の間隔(時間又はフレーム数)で撮像画像をスキップして、時系列に隣接していない撮像画像から類似度を算出してもよい。例えば、スキップ間隔を1枚に設定する場合、撮像画像を1枚の間隔を置いて採用する。即ち、現在の撮像画像と時系列に過去に遡った2枚目の撮像画像とを用いて類似度を算出する。そうすることで、動き判定するための処理量を1/N(Nはスキップ間隔+1)に抑制できる。
次に、動き判定部403の動作を説明する。以下では、撮像フレームレートが、高速フレームレート(第1のフレームレート)と低速フレームレート(第2のフレームレート)の2段階に設定できる場合を例に説明する。
図4に第1の動き判定のフローチャートを示す。まず、動き判定部403は、制御部123からの制御に基づいて、事前に保存されている動き判定用の第1のSAD閾値HA及び第2のSAD閾値LA(HA>LA)を記憶部150から読み出す(ステップS1)。
次に、動き判定部403は、類似度算出部402からのSAD値isadと閾値HA、LAとを比較する。具体的には、SAD値isadが閾値HA以上であるか否かを判定する(ステップS2)。SAD値isadが閾値HA以上である場合には、第1の動き判定の判定値(制御信号値)を“2”に設定する(ステップS3)。これは動きが大きいという判定である。SAD値isadが閾値HAより小さい場合には、SAD値isadが閾値LA以下であるか否かを判定する(ステップS4)。SAD値isadが閾値LA以下である場合には、判定値を“0”に設定する(ステップS6)。これは動きが小さいという判定である。SAD値isadが閾値LA以上である場合には、判定値を“1”に設定する(ステップS5)。これは動きが大小いずれでもないという判定である。動き判定部403は、上記の判定値をフレームレート制御部124へ転送する。
なお、後述のように、判定値“2”の場合には高速フレームレートへ切り替え、判定値“1”の場合にはフレームレートを維持し、判定値“0”の場合には低速フレームレートへ切り替える。
以上のように、第1の動き判定部122は、縮小処理により画素数が削減されたG撮像画像から類似度を算出するため、動き判定の処理負荷を軽減できる。これにより、カプセル型内視鏡100の実装規模を小さくできる。また、撮像画像に対する処理量が小さくなるため、消費電力も節約できる。
なお、上記ではG撮像画像を縮小してから類似度算出及び動き判定処理を実施する場合を例に説明したが、本実施形態はこれに限定されない。例えば、G撮像画像を縮小せずに類似度算出及び動き判定処理を実施してもよい。この場合も、類似度の算出(例えば上式(3))においてブロックマッチング等の高負荷の処理を行わないため、プロセッサの処理能力を節約できる。さらに、G撮像画像を補間せずに横軸方向の間引き間隔StepWidth及び縦軸方向の間引き間隔StepHeightを所定の間隔になるように制御し、原色ベイヤに本来あるG画素を抽出して縮小処理する構成にしてもよい。
2.3.外部装置
次に、外部装置200の各部が行う処理や動作について説明する。なお、カプセル型内視鏡100のフレームレート制御部124は、外部装置200からの第2の動き判定を用いてフレームレートを制御する構成であるため、フレームレート制御部124については後述する。
撮像画像受信部231は、無線通信を介してカプセル型内視鏡100から転送された撮像画像を受け取り、その撮像画像を画像処理部221と画像保存部270へ転送する。画像保存部270は、その撮像画像を保存する。
画像処理部221は、制御部223からの制御に基づいて、撮像画像受信部231からの撮像画像に対して画像処理を行う。例えば、公知の補間処理やカラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。画像処理部221は、制御部223からの制御に基づいて、処理後のRGB3板の撮像画像(各画素にRGB画素値がある画像)を画像保存部270へ転送する。画像保存部270は、そのRGB3板の撮像画像を保存する。また、画像保存部270は、上式(1)によりRGB3板の撮像画像から輝度画素値を算出する。画像保存部270は、制御部223からの制御に基づいて、輝度画素値からなる撮像画像(以下、輝度画像と呼ぶ)を第2の動き判定部222へ転送する。
図5に、第2の動き判定部222の詳細な構成例を示す。第2の動き判定部222は、領域分割部601、類似度算出部602、動き判定部603、一時保存部604を含む。
画像処理部221は、領域分割部601、類似度算出部602を介して動き判定部603へ接続している。画像処理部221は、一時保存部604へ接続している。記憶部250は、領域分割部601、類似度算出部602、動き判定部603と双方向に接続している。動き判定部603は、判定情報送信部232へ接続している。制御部223は、領域分割部601、類似度算出部602、動き判定部603及び一時保存部604と双方向に接続している。
画像処理部221からの輝度画像は、制御部223からの制御に基づいて、領域分割部601及び一時保存部604へ転送される。この一時保存部604に保存されているのは、時系列において過去の輝度画像であり、その輝度画像は、時系列において次の輝度画像との類似度を算出するために用いられる。一時保存部604は、時系列に輝度画像を取り込むたびに、時間的に一番古い輝度画像を削除し、取り込んだ現在の輝度画像を保存する。
領域分割部601は、記憶部250に記憶されたブロック領域サイズの情報に基づいて、画像処理部221からの現在の輝度画像を複数のブロック領域に分割し、分割後の輝度画像を類似度算出部602へ転送する。
類似度算出部602は、記憶部250に記憶されたテンプレートマッチング処理用の検出領域サイズの情報に基づいて、領域分割部601からの各ブロック領域の輝度画像と一時保存部604からの過去の輝度画像とのテンプレートマッチング処理(例えば、SAD、SSD、NCC等)を行う。
図6に、テンプレートマッチング処理の例を示す。図6では、輝度画像の画像サイズを縦幅HEIGHTと横幅WIDTHにより表し、ブロック領域のサイズをブロック領域の縦幅B_heightと横幅B_widthで表す。
類似度算出部602は、制御部223からの制御に基づいて、ブロック中心点SB(x,y)をブロック代表点としてブロック領域の動き量を検出する。このとき、類似度算出部602は、注目ブロック領域と検出領域のテンプレートマッチング処理を行う。注目ブロック領域とは、順次テンプレートマッチング処理される複数のブロック領域の中の、現在処理対象となっているブロック領域である。検出領域は、記憶部250からのサイズ情報により過去の輝度画像に対して設定された領域である。サイズ情報は、検出領域の開始座標SA(x,y)と終了座標EA(x,y)であり、検出領域の縦幅と横幅は、それぞれブロック領域の縦幅と横幅より大きい。
類似度算出部602は、注目ブロック領域の左上の画素と検出領域の左上の画素(SA(x,y))とを一致させた場合のSAD値を上式(3)により算出する。この処理を、検出領域の右又は下へ1画素ずつずらしながら行い、検出領域の全画素についてSAD値を算出する。類似度算出部602は、そのSAD値の中から最小のSAD値を抽出し、注目ブロック領域の代表SAD値とする。これを全ブロック領域に対して行い、各ブロック領域の代表SAD値を算出し、その代表SADを動き判定部603へ転送する。
次に、動き判定部603の動作を説明する。図7に第2の動き判定のフローチャートを示す。まず、動き判定部603は、制御部223からの制御に基づいて、事前に保存されている動き判定用の第3のSAD閾値HB及び第4のSAD閾値LB(HB>LB)を記憶部250から読み出す(ステップS81)。なお、閾値HB、LBは、上述した閾値HA、LAと同一であってもよいし、異なってもよい。
次に、動き判定部603は、類似度算出部602からの各ブロック領域の代表SAD値と閾値HB、LBとを比較する。具体的には、代表SAD値が閾値HB以上であるか否かを判定する(ステップS82)。代表SAD値が閾値HB以上である場合には、動き判定用の第1のカウント値CHを+1する(ステップS83)。なお、カウント値CHの初期値は0である。代表SAD値が閾値HBより小さい場合には、代表SAD値が閾値LB以下であるか否かを判定する(ステップS84)。代表SAD値が閾値LB以下である場合には、動き判定用の第2のカウント値CLを+1する(ステップS85)。代表SAD値が閾値LBより大きい場合には、カウント値CH、CLを変更しない。動き判定部603は、全ブロック領域について処理を終了していない場合にはステップS82に戻り、終了している場合にはステップS87に進む(ステップS86)。
次に、動き判定部603は、事前に保存されているカウント値CH用の第1のカウント閾値TCHとカウント値CL用の第2のカウント閾値TCL(TCH>TCL)を記憶部250から読み出す(ステップS87)。
次に、動き判定部603は、カウント値CH、CLとカウント閾値TCH、TCLとを比較する。具体的には、カウント値CHがカウント閾値TCH以上であるか否かを判定する(ステップS88)。カウント値CHがカウント閾値TCH以上である場合には、第2の動き判定の判定値を“2”に設定する。これは動きが大きいという判定である。カウント値CHがカウント閾値TCHよりも小さい場合には、カウント値CLがカウント閾値TCL以上であるか否かを判定する(ステップS90)。カウント値CLがカウント閾値TCL以上である場合には判定値を“0”に設定する(ステップS91)。これは動きが小さいという判定である。カウント値CLがカウント閾値TCLよりも小さい場合には判定値を“1”に設定する(ステップS92)。これは動きが大小いずれでもないという判定である。動き判定部603は、上記の判定値を判定情報送信部232へ転送し、判定情報送信部232は無線通信を介して判定値を判定情報受信部132へ転送する。
なお、後述のように、判定値“2”の場合には高速フレームレートへ切り替え、判定値“0”の場合には低速フレームレートへ切り替える。判定値“1”の場合には、現在のフレームレートに応じて切り替えを行う。
以上により、カウント値CHがカウント閾値TCH以上である場合には判定値“2”が設定され、カウント値CLがカウント閾値TCL以上である場合には判定値“0”が設定され、それ以外の場合には判定値“1”が設定されることになる。
ここで、カウント値CHがカウント閾値TCH以上であり、且つカウント値CLがカウント閾値TCL以上となる可能性がある。この点については以下のように対応する。
ブロック領域の数≧第1のカウント閾値TCH≧1、ブロック領域の数≧第2のカウント閾値TCL≧1に設定される。第1のカウント閾値TCHは、カプセル型内視鏡100の物理的な動きが大きいブロック領域の数を判断するための閾値である。そのため、第1のカウント閾値TCHを小さく設定すると、高速フレームレート(判定値“2”)に切り替わる可能性が高くなる。一方、第2のカウント閾値TCLは、カプセル型内視鏡100の物理的な動きが小さいブロック領域の数を判断するための閾値である。そのため、第2のカウント閾値TCLを大きく設定すると、低速フレームレート(判定値“0”)に切り替わる可能性が高くなる。
これらの性質を用いて所望のカウント閾値を設定するが、第1のカウント閾値TCHと第2のカウント閾値TCLの設定によっては、判定値が“2”となる条件と判定値が“0”となる条件を同時に満たす可能性がある。そのため、そのような状況にならないように、例えば事前に実験等を行って第1のカウント閾値TCHと第2のカウント閾値TCLを設定しておくことが望ましい。もし判定値が“2”となる条件と判定値が“0”となる条件を同時に満たした場合には、診断漏れを抑制する観点から判定値を“2”に設定することが望ましい。図7のフローでは、ステップS88においてカウント値CHとカウント閾値TCHの比較を先に行うため判定値“2”が優先される。
以上のように、外部装置200ではカプセル型内視鏡100のようなハードウェア規模の制約が相対的に少ないため、テンプレートマッチング処理を行うことが可能である。そして、テンプレートマッチング処理の結果から動きが大きいと判断されるブロック領域の数と動きが小さいと判断されるブロック領域の数をカウントし、そのカウント値からカプセル型内視鏡100の動き判定を行うことができる。これにより、カプセル型内視鏡100が行う第1の動き判定に比べて高精度な動き判定が可能となる。
2.4.フレームレート制御部
次に、カプセル型内視鏡100のフレームレート制御部124の動作を説明する。図8にフレームレート制御部124の詳細な構成例を示す。フレームレート制御部124は、切替判断部301、フレームレート調整部302を含む。
第1の動き判定部122は、切替判断部301及びフレームレート調整部302を介して撮像部110へ接続している。判定情報受信部132は、切替判断部301へ接続している。記憶部150は、フレームレート調整部302と双方向に接続している。制御部123は、切替判断部301及びフレームレート調整部302と双方向に接続している。
図9に、フレームレート制御のフローチャートを示す。まず、第1の動き判定部122と撮像画像送信部131が画像処理部121から撮像画像を取得する(ステップS111)。
次に、カプセル型内視鏡100において、第1の動き判定部122が第1の動き判定を行う(ステップS112)。次に、切替判断部301は、制御部123からの制御に基づいて、フレームレートを切り替えるか否かを判断する(ステップS113)。切り替えが必要と判断された場合には、フレームレート調整部302が撮像部110のフレームレートを切り替える(ステップS114)。即ち、ステップS101に示すように現在のフレームレートがFR1(例えば低速フレームレート)である場合、ステップS102に示すようにフレームレートFR2(例えば高速フレームレート)に切り替える。
また、外部装置200において、撮像画像受信部231が撮像画像を受信し、第2の動き判定部222が撮像画像受信部231から撮像画像を取得する(ステップS115)。次に、第2の動き判定部222が第2の動き判定を行う(ステップS116)。次に、判定情報送信部232が第2の動き判定の結果を判定情報受信部132に送信する(ステップS117)。次に、切替判断部301は、制御部123からの制御に基づいて、第1の動き判定の結果に基づくフレームレート切り替え制御(現在のフレームレート)が適切か否かを判断する(ステップS118)。適切であると判断された場合には、フレームレート調整部302は現在のフレームレートを維持する。適切でないと判断された場合には、フレームレート調整部302は撮像部110のフレームレートを切り替える(ステップS119)。即ち、ステップS102に示すように現在のフレームレートがFR2(例えば高速フレームレート)である場合、ステップS103に示すようにフレームレートFR3(例えば低速フレームレート)に切り替える。
上記ステップS113、S118におけるフレームレートの切り替え判断について、より詳細に説明する。図10に、第1の動き判定によるフレームレートの切り替え(ステップS113)のフローチャートを示す。
現在のフレームレートが低速フレームレートである場合(ステップS141)は、以下の制御を行う。切替判断部301は、判定値が“2”である場合にはフレームレートの切り替えが必要と判断し(ステップS142)、高速フレームレートに切り替える(ステップS143)。一方、判定値が“1”又は“0”である場合にはフレームレートの切り替えが不要と判断し(ステップS142)、低速フレームレートを維持する(ステップS144)。
現在のフレームレートが高速フレームレートである場合(ステップS141)は、以下の制御を行う。切替判断部301は、判定値が“0”である場合にはフレームレートの切り替えが必要と判断し(ステップS145)、低速フレームレートに切り替える(ステップS146)。一方、判定値が“2”又は“1”である場合にはフレームレートの切り替えが不要と判断し(ステップS145)、高速フレームレートを維持する(ステップS144)。
以上のように、判定値“2”の場合には高速フレームレートに切り替わり(又は維持され)、判定値“1”の場合には現在のフレームレートが維持され、判定値“0”の場合には低速フレームレートに切り替わる(又は維持される)。
図11に、第2の動き判定によるフレームレートの切り替え(ステップS117)のフローチャートを示す。
第1の動き判定により低速フレームレートが設定された場合(ステップS161)は、以下の制御を行う。切替判断部301は、判定値が“2”又は“1”である場合には、第1の動き判定によるフレームレート切り替えが不適切であると判断し(ステップS162)、高速フレームレートに切り替える(ステップS163)。一方、判定値が“0”である場合には第1の動き判定によるフレームレート切り替えが適切であると判断し(ステップS162)、低速フレームレートを維持する(ステップS164)。
第1の動き判定により高速フレームレートが設定された場合(ステップS161)は、以下の制御を行う。切替判断部301は、判定値が“1”又は“0”である場合には、第1の動き判定によるフレームレート切り替えが不適切であると判断し(ステップS165)、低速フレームレートに切り替える(ステップS166)。一方、判定値が“2”である場合には、第1の動き判定によるフレームレート切り替えが適切であると判断し(ステップS165)、高速フレームレートを維持する(ステップS164)。
以上のように、第1の動き判定により設定されたフレームレートに対して第2の動き判定の判定値が合致する場合には、現在のフレームレートが維持され、合致しない場合には、フレームレートが切り替えられる。
以上の実施形態によれば、処理部120は、第1の動き判定(図4のフロー)において、撮像画像に撮像された被写体の動き量(SAD値isad)が第1の動き量(閾値HA)よりも大きいと判定された場合(ステップS2)、フレームレートを高速フレームレートに切り替える(ステップS3、図10のフロー)。また処理部120は、第1の動き判定において、動き量が第1の動き量よりも小さい第2の動き量(閾値LA<HA)よりも小さいと判定された場合(ステップS4)、フレームレートを高速フレームレートよりも遅い低速フレームレートに切り替える(ステップS6、図10のフロー)。
このようにすれば、動き量を第1の動き量と第2の動き量で判定することで、カプセル型内視鏡100の動きの速さを判断できる。また、現在のフレームレートに対して相対的に動きが速くなった場合(判定値“2”)、適切な場合(判定値“1”)、遅くなった場合(判定値“0”)を判定できる。即ち、相対的な動きの速さの変化に応じてフレームレートを切り替えることが可能となる。
また本実施形態では、処理部120は、フレームレートが低速フレームレートに設定されている場合(図11のステップS161)に、第2の動き判定において、動き量が第3の動き量よりも大きいと判定された場合(図7のステップS89、図11のステップS162)、フレームレートを高速フレームレートに切り替える(図11のステップS163)。また、処理部120は、フレームレートが高速フレームレートに設定されている場合(図11のステップS161)に、第2の動き判定において、動き量が第3の動き量よりも小さい第4の動き量よりも小さいと判定された場合(図7のステップS91、図11のステップS165)、フレームレートを低速フレームレートに切り替える(図11のステップS166)。
このようにすれば、動き量を第3の動き量と第4の動き量で判定することで、第1の動き判定により設定されたフレームレートが適切か否かを判断できる。即ち、第2の動き判定が示す動きの速さ(判定値)が、第1の動き判定により設定されたフレームレートに合致しない場合には、フレームレートを切り替えることができる。
なお、図7に示す第2の動き判定のフローでは、動き量を表す情報としてカウント値CH、CLを用いている。動き量が大きいほどカウント値CHが大きくなり、動き量が小さいほどカウント値CLが大きくなる。即ち、カウント値CHが閾値TCH以上であるということは、動き量が第3の動き量以上であることに相当し、カウント値CLが閾値TCL以上であることは、動き量が第4の動き量以下であることに相当する。
3.第1変形例
以下、上記実施形態の変形例について説明する。図12に、第1変形例におけるフローチャートを示す。第1変形例では、第1の動き判定により低速フレームレートに切り替えられた場合にのみ、第2の動き判定に基づいてフレームレートの切り替えを行う。
即ち、第1の動き判定により低速フレームレートが設定された場合(ステップS261)は、以下の制御を行う。切替判断部301は、判定値が“2”又は“1”である場合には、第1の動き判定によるフレームレート切り替えが不適切であると判断し(ステップS262)、高速フレームレートに切り替える(ステップS263)。一方、判定値が“0”である場合には第1の動き判定によるフレームレート切り替えが適切であると判断し(ステップS262)、低速フレームレートを維持する(ステップS264)。
第1の動き判定により高速フレームレートが設定された場合(ステップS261)は、切替判断部301は、判定値に関わらず高速フレームレートを維持する(ステップS264)。
以上の実施形態によれば、処理部120は、第1の動き判定結果に基づいてフレームレートが高速フレームレートから低速フレームレートに切り替えられた場合には(図12のS261)、第2の動き判定結果に基づいてフレームレートを高速フレームレートに戻すか否かの第2の判断を行う(ステップS262)。そして、処理部120は、第1の動き判定結果に基づいてフレームレートが低速フレームレートから高速フレームレートに切り替えられた場合には(ステップS261)、第2の判断を行わずに高速フレームレートを維持する(ステップS264)。
カプセル型内視鏡100では簡易的な第1の動き判定を行うため、実際には動きが速いにも関わらず遅いフレームレートに切り替わる可能性があり、撮り漏れの恐れがある。この点、本実施形態によれば、外部装置200が行う高精度な第2の動き判定により、高速フレームレートへ戻すことが可能であり、撮り漏れを抑制できる。また、カプセル型内視鏡100が低速フレームレートへ切り替えた場合には、仮に誤判断であっても撮り漏れの可能性は低いので、外部装置200により修正しなくても診断漏れの観点からは安全である。
4.第2変形例
図13、図14に、第2変形例におけるフローチャートを示す。第2変形例では、第1の動き判定に基づいて低速フレームレートから高速フレームレートへの切り替えのみを行い、第2の動き判定に基づいて高速フレームレートから低速フレームレートへの切り替えのみを行う。
図13は、第1の動き判定によるフレームレートの切り替えのフローチャートである。現在のフレームレートが低速フレームレートである場合(ステップS181)は、以下の制御を行う。切替判断部301は、判定値が“2”である場合には(ステップS182)、高速フレームレートに切り替える(ステップS183)。一方、判定値が“1”又は“0”である場合には(ステップS182)、低速フレームレートを維持する(ステップS184)。
現在のフレームレートが高速フレームレートである場合(ステップS181)は、以下の制御を行う。切替判断部301は、判定値に関わらず高速フレームレートを維持する(ステップS184)。即ち、低速フレームレートへの切り替えは行わない。
図14は、第2の動き判定によるフレームレートの切り替えのフローチャートである。第1の動き判定により低速フレームレートが設定された場合(ステップ201)は、以下の制御を行う。切替判断部301は、判定値に関わらず低速フレームレートを維持する(ステップS202)。即ち、高速フレームレートへの切り替えを行わない。
第1の動き判定により高速フレームレートが設定された場合(ステップS201)は、以下の制御を行う。切替判断部301は、判定値が“1”又は“0”である場合には(ステップS203)、低速フレームレートに切り替える(ステップS204)。一方、判定値が“2”である場合には(ステップS203)、高速フレームレートを維持する(ステップS202)。
なお、第1の動き判定に基づいて低速フレームレートから高速フレームレートへの切り替えのみを行い、第2の動き判定に基づいて高速フレームレートから低速フレームレートへの切り替えと、低速フレームレートから高速フレームレートへの切り替えを両方行ってもよい。
以上の実施形態によれば、処理部120は、フレームレートが高速フレームレートに設定されている場合には(図13のステップS181)、第1の動き判定結果に関わらず、フレームレートを高速フレームレートに維持する(ステップS184)。一方、処理部120は、フレームレートが低速フレームレートに設定されている場合には(ステップS181)、第1の動き判定において、撮像画像に撮像された被写体の動き量が第1の動き量よりも大きいと判定された場合(ステップS182の判定値“2”)、フレームレートを低速フレームレートよりも速い高速フレームレートに切り替える(ステップS183)。
このようにすれば、カプセル型内視鏡100が行う第1の動き判定では高速フレームレートから低速フレームレートへの切り替えが行われない。これにより、簡易的な第1の動き判定によって、実際には動きが速いにも関わらず遅いフレームレートに切り替わる可能性が無くなり、撮り漏れを抑制できる。
5.第3変形例
図15に、第3変形例におけるフローチャートを示す。上記の実施形態では相対的なフレームレート切り替えを行うが、第3の変形例では絶対的にどちらかのフレームレートを選択する。
即ち、第1の動き判定部122は第1の閾値HAを記憶部150から読み出す(ステップS41)。次に、SAD値が閾値HA以上であるか否かを判定する(ステップS42)。SAD値が閾値HA以上である場合には、第1の動き判定の判定値を“2”に設定する(ステップS43)。SAD値が閾値HAよりも小さい場合には、判定値を“0”に設定する(ステップS44)。
フレームレートの切り替え制御は以下のようになる。即ち、図10で上述したフレームレートの切り替え制御では、判定値“1”の場合には、高速フレームレートであるか低速フレームレートであるかに関わらず現在のフレームレートを維持する。第2変形例では、この判定値“1”の場合が無くなり、判定値“2”の場合には高速フレームレートに切り替え(又は維持し)、判定値“0”の場合には低速フレームレートに切り替える(又は維持する)。
なお、第2の動き判定においても、判定値“2”又は“0”を出力する構成としてもよい。この場合、図7のフローにおいて、ステップS81で閾値HBを読み出し、ステップS84、S85を省略し、ステップS87でカウント閾値TCHを読み出し、ステップS90、S92を省略し、ステップS88でNo判定の場合にステップS91を実行する。
6.第4変形例
図16、図17に、第4変形例におけるフローチャートを示す。第4変形例では、n段階(nはn≧3の自然数)にフレームレートを切り替える。以下では、高速フレームレート、中速フレームレート、低速フレームレートの3段階にフレームレートを切り替える場合を例に説明する。
図16は、第1の動き判定のフローチャートである。第1の動き判定部122は、第1〜第3のSAD閾値HD、HE、LD(HD>HE>LD)を記憶部150から読み出す(ステップS21)。
次に、第1の動き判定部122は、SAD値が閾値HD以上であるか否かを判定する(ステップS22)。SAD値が閾値HD以上である場合には、第1の動き判定の判定値を“3”に設定する(ステップS23)。SAD値が閾値HDよりも小さい場合には、SAD値が閾値HE以上であるか否かを判定する(ステップS24)。SAD値が閾値HE以上である場合には、判定値を“2”に設定する(ステップS25)。SAD値が閾値HEよりも小さい場合には、SAD値が閾値LD以上であるか否かを判定する(ステップS26)。SAD値が閾値LD以上である場合には、判定値を“1”に設定する(ステップS27)。SAD値が閾値LDよりも小さい場合には、判定値を“0”に設定する(ステップS28)。
図17は、第1の動き判定によるフレームレート切り替えのフローチャートである。フレームレート制御部124は、第1の動き判定の判定値が“3”である場合には(ステップS221)、高速フレームレートに切り替える(ステップS222)。判定値が“2”である場合には(ステップS221)、現在のフレームレートよりも1段速いフレームレートに切り替える(ステップS223)。例えば低速フレームレートから中速フレームレートに切り替える。なお、ステップS222、S223において現在のフレームレートが高速フレームレートである場合には、高速フレームレートを維持する。
フレームレート制御部124は、判定値が“1”である場合には(ステップS221)、現在のフレームレートを維持する(ステップS224)。判定値が“1”である場合には(ステップS221)、現在のフレームレートよりも1段遅いフレームレートに切り替える(ステップS225)。例えば高速フレームレートから中速フレームレートに切り替える。なお、ステップS225において現在のフレームレートが低速フレームレートである場合には、低速フレームレートを維持する。
なお、第2の動き判定は、例えば次のようにする。図7のフローにおいて、第3のカウント閾値TCH’を新たに設け、ステップS87でカウント閾値TCH、TCH’、TCL(TCH>TCH’>TCL)を読み出す。ステップS88でカウント値CHが閾値TCH以上である場合には、ステップS89で判定値を“3”に設定する。カウント値CHが閾値TCHより小さい場合には、カウント値CHが閾値TCH’以上であるか否かを判定し、カウント値CHが閾値TCH’以上である場合には、判定値を“2”に設定し、カウント値CHが閾値TCH’よりも小さい場合にはステップS90に進む。
第2の動き判定の判定値によるフレームレート制御は図17のフローと同じである。第1の動き判定により設定されたフレームレートと異なるフレームレートが選択された場合には、フレームレートの切り替えを行う。第1の動き判定により設定されたフレームレートと同じフレームレートが選択された場合には、現在のフレームレートを維持する。
以上の実施形態によれば、処理部120は、動き量(SAD値)と第1〜第3の動き量(閾値HD、HE、LD)を比較することで、第1〜第nのフレームレート(高速、中速、低速フレームレート)のうち最も速いフレームレートへの切り替え(ステップS222)、現在のフレームレートよりも1段階速いフレームレートへの切り替え(ステップS223)、現在のフレームレートの維持(ステップS224)、現在のフレームレートよりも1段階遅いフレームレートへの切り替え(ステップS225)のうちいずれを行うかを決定する。
このとき、処理部120は、現在設定されているフレームレートで撮像された撮像画像から被写体の動き量を求める。
例えば、フレームレートが12fps、8fps、4fpsの3段階である場合、それぞれ12fps、8fps、4fpsの撮像画像から動き量を求める。即ち、フレームレートに関わらずスキップ無しの(時系列に隣接する)撮像画像から動き量を求める。
また記憶部150は、第1〜第nのフレームレート(高速、中速、低速フレームレートの値)と、第1〜第3の動き量(閾値HD、HE、LD)と、第1〜第nのフレームレートの切り替え制御と第1〜第3の動き量との対応関係(例えば、閾値HD、HE、LDと、それによって切り分けられる判定値と、判定値とフレームレート制御との対応)とを記憶する。
撮り漏れを防ぐには、いつも一定の距離間隔で消化管が撮影されることが望ましい。一定の距離間隔で撮影されている場合、フレーム間の動き量は見かけ上一定である。即ち、カプセル型内視鏡100の実際の動きの速さに合わせてフレームレートが適切に制御され、一定の距離間隔で撮影されていれば、フレームレートに関わらずフレーム間の動き量は見かけ上一定となる。その状態から動きの速さが変化した場合には、フレーム間の動き量が大きくなる又は小さくなるので、それを検出すれば適切なフレームレートに切り替えることができる。この点、本実施形態によれば、撮影されたフレームレートそのままで動き判定を行うので、相対的な動き検出を行うことが可能である。即ち、上記のように動きの速さとフレームレートがずれた場合に、そのずれの方向を検出して、その方向にフレームレートを追従させることが可能である。これにより、適正な距離間隔で消化管を撮影できる。また、記憶部150に事前に必要なパラメータを記憶しておくことで、カプセル型内視鏡100の内部で動き判定を行い、タイムラグのないフレームレート制御を実現できる。
なお、第4変形例ではn≧3の場合であるが、第1の詳細な構成例はn=2の場合であり、nはn≧2が可能である。
また本実施形態では、通信部130は、撮像画像の送信レートをフレームレートに合わせて適応的に調整し、現在設定されているフレームレートの撮像画像を外部装置200へ送信する。
このようにすれば、外部装置200においてカプセル型内視鏡100での第1の動き判定と同じ条件の撮像画像から第2の動き判定を行うことができる。これにより、第2の動き判定により正確に第1の動き判定を検証できる。
7.第5変形例
図18、図19に、第5変形例におけるフローチャートを示す。上記の第4変形例では相対的なフレームレート切り替えを行うが、第5の変形例では絶対的にいずれかのフレームレートを選択する。
図18は、第1の動き判定のフローチャートである。第1の動き判定部122は、第1、第2のSAD閾値HD、LD(HD>LD)を記憶部150から読み出す(ステップS61)。
次に、第1の動き判定部122は、SAD値が閾値HD以上であるか否かを判定する(ステップS62)。SAD値が閾値HD以上である場合には、第1の動き判定の判定値を“2”に設定する(ステップS63)。SAD値が閾値HDよりも小さい場合には、SAD値が閾値LD以下であるか否かを判定する(ステップS64)。SAD値が閾値LD以下である場合には、判定値を“0”に設定する(ステップS66)。SAD値が閾値LDよりも大きい場合には、判定値を“1”に設定する(ステップS65)。
図19は、第1の動き判定によるフレームレート切り替えのフローチャートである。フレームレート制御部124は、第1の動き判定の判定値が“2”である場合には(ステップS241)、高速フレームレートに切り替える(ステップS242)。なお、現在のフレームレートが高速フレームレートである場合には高速フレームレートを維持する。判定値が“1”である場合には(ステップS241)、中速フレームレートに切り替える(ステップS243)。なお、現在のフレームレートが中速フレームレートである場合には中速フレームレートを維持する。判定値が“0”である場合には(ステップS241)、低速フレームレートに切り替える(ステップS244)。なお、現在のフレームレートが低速フレームレートである場合には低速フレームレートを維持する。
なお、第2の動き判定は、例えば図7のフローと同じである。第2の動き判定の判定値によるフレームレート制御は図19のフローと同じである。第1の動き判定により設定されたフレームレートと異なるフレームレートが選択された場合には、フレームレートの切り替えを行う。第1の動き判定により設定されたフレームレートと同じフレームレートが選択された場合には、現在のフレームレートを維持する。
以上の実施形態によれば、処理部120は、動き量(SAD値)と第1〜第n−1の動き量(閾値HD、LD)を比較することで、第1〜第nのフレームレート(高速、中速、低速フレームレート)のうちいずれのフレームレートに切り替えるかを決定する。
このとき、処理部120は、フレームレートが第1〜第nのフレームレートのいずれに設定されているかに関わらず、そのフレームレートで撮像された撮像画像から同一のフレームレートで撮像画像を抽出して被写体の動き量を求める。
例えば、フレームレートが12fps、8fps、4fpsの3段階である場合、いずれのフレームレートにおいても同一の4fpsで撮像画像を抽出し、その4fpsの撮像画像から動き量を求める。即ち、フレームレートが12fpsの場合には、2枚スキップして(3枚ごとに)撮像画像を選択し、フレームレートが8fpsの場合には、1枚スキップして(2枚ごとに)撮像画像を選択し、フレームレートが4fpsの場合には、スキップ無しに(時系列に隣接する)撮像画像を選択する。
また、記憶部150は、第1〜第nのフレームレート(高速、中速、低速フレームレートの値)と、第1〜第n−1の動き量(閾値HD、LD)と、第1〜第nのフレームレートと第1〜第n−1の動き量の対応関係(例えば、閾値HD、LDと、それによって切り分けられる判定値と、判定値とフレームレートとの対応)とを記憶する。
同じ動きの速さであっても、フレームレートが速いほどフレーム間での動き量は見かけ上小さくなる。そのため、フレームレートによって動き判定が左右される。この点、本実施形態によれば、現在設定されているフレームレートに関わらず、絶対的な動き量を求めて動き判定を行うことが可能となり、フレームレートに左右されない安定したフレームレートの切り替え制御が可能となる。また、記憶部150に事前に必要なパラメータを記憶しておくことで、カプセル型内視鏡100の内部で動き判定を行い、タイムラグのないフレームレート制御を実現できる。また、動き判定に用いる画像のフレームレートが小さくなるので、消費電力を節約できる。
なお、第5変形例ではn≧3の場合であるが、第3変形例はn=2の場合であり、nはn≧2が可能である。
また本実施形態では、通信部130は、撮像画像の送信レートを所定の送信レートに設定し、上記の同一のフレームレートで抽出した撮像画像を外部装置200へ送信する。
このようにすれば、外部装置200においてカプセル型内視鏡100での第1の動き判定と同じ条件の撮像画像から第2の動き判定を行うことができる。これにより、第2の動き判定により正確に第1の動き判定を検証できる。また、送信する撮像画像のフレームレートが小さくなるので、カプセル型内視鏡100の消費電力を節約できる。
なお、第4の変形例では現在設定されているフレームレートの撮像画像から動き判定を行い、第5の変形例では現在設定されているフレームレートに関わらず同一のフレームレートで撮像画像を抽出して動き判定を行うが、これらの手法を切り替え可能に構成してもよい。
このようにすれば、例えば患者や診断内容等に応じて適切なフレームレート制御の手法を選択することが可能となる。
8.第2の詳細構成
図20に、内視鏡システムの第2の詳細な構成例を示す。内視鏡システムは、カプセル型内視鏡100(カプセル本体)と、外部装置200(体外装置)と、を含む。なお、第1の詳細な構成例と同一の構成要素については同一の符号を付し、適宜説明を省略する。以下、第1の詳細な構成例と異なる部分を説明する。
カプセル型内視鏡100には画像保存部170が追加され、外部装置200では画像保存部270が省略されている。画像保存部270にはA/D変換部160が接続される。また画像保存部270は制御部123と双方向に接続される。
撮像部110により撮像された撮像画像は、A/D変換部160によりA/D変換され、画像保存部170、画像処理部121、撮像画像送信部131に転送される。画像保存部170は、転送された撮像画像を保存する。即ち、撮像画像は外部装置200ではなくカプセル型内視鏡100に保存される。
撮像画像送信部131は、フレームレート制御部124が第1の動き判定によるフレームレート切り替えを行った場合に、制御部123からの制御に基づいて撮像画像を外部装置200へ転送する。このとき、時系列の撮像画像のうち、第1の動き判定に用いられた撮像画像を転送する。
なお、一つの変形例として、撮像画像送信部131は、制御部123からの制御に基づいて、第1の動き判定により高速フレームレートから低速フレームレートへ切り替えられた場合に、第1の動き判定に用いられた撮像画像を外部装置200へ転送してもよい。誤判定により低速フレームレートに切り替えた場合には撮り漏れが起きる可能性があるため、その場合に撮像画像を転送することで、診断漏れを抑制できる。また、低速フレームレートに切り替えた場合にのみ撮像画像を転送することで、消費電力を節約できる。
外部装置200では、撮像画像受信部231が、カプセル型内視鏡100から転送されてきた撮像画像を受信する。第2の動き判定部222は、第1の動き判定に用いられた撮像画像から第2の動き判定を行い、判定情報送信部232が第2の動き判定の結果をカプセル型内視鏡100へ転送する。
以上の実施形態によれば、通信部130は、第1の判断においてフレームレートを変更する判断がなされた場合に、第1の動き判定結果に用いられた撮像画像を外部装置200に送信する。そして、処理部120は、第1の動き判定結果に用いられた撮像画像に基づいて判定された第2の動き判定結果に基づいて第2の判断を行う。
このようにすれば、第1の動き判定によるフレームレートの切り替えが実施されるたびに、第1の動き判定に用いられた撮像画像に基づいて第2の動き判定が実施される。第2の動き判定は第1の動き判定を検証するためのものなので、第1の動き判定に用いられた撮像画像を用いることによって、検証に必要な(適切な)撮像画像のみから第2の動き判定を行うことができる。また、不要な撮像画像から第2の動き判定を行わないので、消費電力を節約することが可能となる。
なお、本実施形態のカプセル型内視鏡、外部装置等は、プロセッサとメモリを含んでもよい。例えば図1の構成例では、処理部120、処理部220がプロセッサに対応し、記憶部150、記憶部250がメモリに対応してもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係るカプセル型内視鏡、外部装置等の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 カプセル型内視鏡、110 撮像部、120 処理部、
121 画像処理部、122 第1の動き判定部、123 制御部、
124 フレームレート制御部、130 通信部、131 撮像画像送信部、
132 判定情報受信部、140 光源部、150 記憶部、
160 A/D変換部、170 画像保存部、200 外部装置、
220 処理部、221 画像処理部、222 第2の動き判定部、
223 制御部、230 通信部、231 撮像画像受信部、
232 判定情報送信部、250 記憶部、270 画像保存部、
301 切替判断部、302 フレームレート調整部、401 画像縮小部、
402 類似度算出部、403 動き判定部、404 一時保存部、
601 領域分割部、602 類似度算出部、603 動き判定部、
604 一時保存部

Claims (14)

  1. 時系列の撮像画像を撮像する撮像部と、
    前記撮像画像に基づいてカプセル型内視鏡の第1の動き判定を行い、第1の動き判定結果を求める処理部と、
    前記撮像画像を前記カプセル型内視鏡の外部装置に送信し、前記外部装置により前記撮像画像に基づいて行われた前記カプセル型内視鏡の第2の動き判定の結果である第2の動き判定結果を受信する通信部と、
    を含み、
    前記処理部は、
    前記第1の動き判定結果と前記第2の動き判定結果に基づいて、前記撮像部のフレームレートを制御することを特徴とするカプセル型内視鏡。
  2. 請求項1において、
    前記処理部は、
    前記第1の動き判定結果に基づいて前記フレームレートを決定する第1の判断を行い、前記第1の判断に基づいて前記フレームレートを制御し、
    前記第2の動き判定結果に基づいて、前記第1の動き判定結果に基づいて決定された前記フレームレートが適切であるか否かを判断する第2の判断を行い、前記第1の動き判定結果に基づいて決定された前記フレームレートが適切でないと判定した場合には前記第2の動き判定結果に基づいて前記フレームレートを決定して前記フレームレートを制御することを特徴とするカプセル型内視鏡。
  3. 請求項2において、
    前記処理部は、
    前記第1の動き判定において、前記撮像画像に撮像された被写体の動き量が第1の動き量よりも大きいと判定された場合、前記フレームレートを高速フレームレートに切り替え、
    前記第1の動き判定において、前記動き量が前記第1の動き量よりも小さい第2の動き量よりも小さいと判定された場合、前記フレームレートを前記高速フレームレートよりも遅い低速フレームレートに切り替えることを特徴とするカプセル型内視鏡。
  4. 請求項3において、
    前記処理部は、
    前記フレームレートが前記低速フレームレートに設定されている場合に、前記第2の動き判定において、前記動き量が第3の動き量よりも大きいと判定された場合、前記フレームレートを前記高速フレームレートに切り替え、
    前記フレームレートが前記高速フレームレートに設定されている場合に、前記第2の動き判定において、前記動き量が前記第3の動き量よりも小さい第4の動き量よりも小さいと判定された場合、前記フレームレートを前記低速フレームレートに切り替えることを特徴とするカプセル型内視鏡。
  5. 請求項3において、
    前記処理部は、
    前記第1の動き判定結果に基づいて前記フレームレートが前記高速フレームレートから前記低速フレームレートに切り替えられた場合には、前記第2の動き判定結果に基づいて前記フレームレートを前記高速フレームレートに戻すか否かの前記第2の判断を行い、
    前記第1の動き判定結果に基づいて前記フレームレートが前記低速フレームレートから前記高速フレームレートに切り替えられた場合には、前記第2の判断を行わずに前記高速フレームレートを維持することを特徴とするカプセル型内視鏡。
  6. 請求項2において、
    前記処理部は、
    前記フレームレートが低速フレームレートよりも速い高速フレームレートに設定されている場合には、前記第1の動き判定結果に関わらず、前記フレームレートを前記高速フレームレートに維持し、
    前記フレームレートが前記低速フレームレートに設定されている場合には、前記第1の動き判定において、前記撮像画像に撮像された被写体の動き量が第1の動き量よりも大きいと判定された場合、前記フレームレートを前記高速フレームレートに切り替えることを特徴とするカプセル型内視鏡。
  7. 請求項2において、
    前記通信部は、
    前記第1の判断において前記フレームレートを変更する判断がなされた場合に、前記第1の動き判定結果に用いられた前記撮像画像を前記外部装置に送信し、
    前記処理部は、
    前記第1の動き判定結果に用いられた前記撮像画像に基づいて判定された前記第2の動き判定結果に基づいて前記第2の判断を行うことを特徴とするカプセル型内視鏡。
  8. 請求項1において、
    前記処理部は、
    前記第1の動き判定結果に基づいて前記フレームレートを現在のフレームレートよりも速いフレームレートに切り替えるか否かの判断を行い、
    前記第2の動き判定結果に基づいて前記フレームレートを前記現在のフレームレートよりも遅いフレームレートに切り替えるか否かの判断を行うことを特徴とするカプセル型内視鏡。
  9. 請求項1において、
    第1〜第nのフレームレート(nは2以上の自然数)と、第1〜第n−1の動き量と、前記第1〜第nのフレームレートと前記第1〜第n−1の動き量の対応関係とを記憶する記憶部を含み、
    前記処理部は、
    前記フレームレートが前記第1〜第nのフレームレートのいずれに設定されているかに関わらず、前記フレームレートで撮像された前記撮像画像から同一のフレームレートで撮像画像を抽出して被写体の動き量を求め、
    前記動き量と前記第1〜第n−1の動き量を比較することで、前記第1〜第nのフレームレートのうちいずれのフレームレートに切り替えるかを決定することを特徴とするカプセル型内視鏡。
  10. 請求項9において、
    前記通信部は、
    前記撮像画像の送信レートを所定の送信レートに設定し、前記同一のフレームレートで抽出した撮像画像を前記外部装置へ送信することを特徴とするカプセル型内視鏡。
  11. 請求項1において、
    第1〜第nのフレームレート(nは2以上の自然数)と、第1〜第3の動き量と、前記第1〜第nのフレームレートの切り替え制御と前記第1〜第3の動き量との対応関係とを記憶する記憶部を含み、
    前記処理部は、
    前記フレームレートで撮像された前記撮像画像から被写体の動き量を求め、
    前記動き量と前記第1〜第3の動き量を比較することで、前記第1〜第nのフレームレートのうち最も速いフレームレートへの切り替え、現在のフレームレートよりも1段階速いフレームレートへの切り替え、前記現在のフレームレートの維持、前記現在のフレームレートよりも1段階遅いフレームレートへの切り替えのうちいずれを行うかを決定することを特徴とするカプセル型内視鏡。
  12. 請求項11において、
    前記通信部は、
    前記撮像画像の送信レートを前記フレームレートに合わせて適応的に調整し、前記フレームレートの前記撮像画像を前記外部装置へ送信することを特徴とするカプセル型内視鏡。
  13. 請求項1において、
    前記外部装置は、
    第2の処理負荷の前記第2の動き判定を行い、
    前記処理部は、
    前記第2の処理負荷よりも小さい第1の処理負荷の前記第1の動き判定を行うことを特徴とするカプセル型内視鏡。
  14. カプセル型内視鏡と、
    外部装置と、
    を含み、
    前記カプセル型内視鏡は、
    時系列に撮像画像を撮像する撮像部と、
    前記撮像画像に基づいて前記カプセル型内視鏡の第1の動き判定を行い、第1の動き判定結果を出力する第1の処理部と、
    前記撮像画像を前記外部装置に送信する第1の通信部と、
    を含み、
    前記外部装置は、
    前記撮像画像に基づいて前記カプセル型内視鏡の第2の動き判定を行い、第2の動き判定結果を出力する第2の処理部と、
    前記第2の動き判定結果を前記第1の通信部に送信する第2の通信部と、
    を含み、
    前記第1の処理部は、
    前記第1の動き判定結果と前記第2の動き判定結果に基づいて、前記撮像部のフレームレートを制御することを特徴とする内視鏡システム。
JP2014145606A 2014-07-16 2014-07-16 カプセル型内視鏡及び内視鏡システム Expired - Fee Related JP6425931B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014145606A JP6425931B2 (ja) 2014-07-16 2014-07-16 カプセル型内視鏡及び内視鏡システム
PCT/JP2015/062777 WO2016009700A1 (ja) 2014-07-16 2015-04-28 カプセル型内視鏡、内視鏡システム及びカプセル型内視鏡の作動方法
CN201580037635.1A CN106659370B (zh) 2014-07-16 2015-04-28 胶囊型内窥镜以及内窥镜系统
DE112015002957.5T DE112015002957T5 (de) 2014-07-16 2015-04-28 Kapselendoskop, Endoskopsystem und Verfahren zum Betätigen eines Kapselendoskops
US15/391,793 US10405736B2 (en) 2014-07-16 2016-12-27 Capsule endoscope, endoscope system, and method for operating capsule endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014145606A JP6425931B2 (ja) 2014-07-16 2014-07-16 カプセル型内視鏡及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2016019707A JP2016019707A (ja) 2016-02-04
JP6425931B2 true JP6425931B2 (ja) 2018-11-21

Family

ID=55078204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014145606A Expired - Fee Related JP6425931B2 (ja) 2014-07-16 2014-07-16 カプセル型内視鏡及び内視鏡システム

Country Status (5)

Country Link
US (1) US10405736B2 (ja)
JP (1) JP6425931B2 (ja)
CN (1) CN106659370B (ja)
DE (1) DE112015002957T5 (ja)
WO (1) WO2016009700A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
WO2017046911A1 (ja) 2015-09-17 2017-03-23 オリンパス株式会社 カプセル内視鏡システム
KR102010000B1 (ko) * 2017-05-23 2019-08-12 아주대학교산학협력단 캡슐내시경의 촬영 제어 방법 및 시스템
WO2019053973A1 (ja) * 2017-09-15 2019-03-21 オリンパス株式会社 カプセル型内視鏡システム、カプセル型内視鏡及び受信装置
CN108784637B (zh) * 2018-06-22 2020-05-01 重庆金山科技(集团)有限公司 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整系统
CN111345772B (zh) * 2018-12-20 2022-06-10 重庆金山医疗技术研究院有限公司 一种调节图像采集帧率的方法及胶囊内窥镜系统
JP7325211B2 (ja) * 2019-04-09 2023-08-14 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN111281316A (zh) * 2020-01-15 2020-06-16 安翰科技(武汉)股份有限公司 胶囊内窥镜的控制方法、系统,电子设备及可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6709387B1 (en) * 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
US7983458B2 (en) * 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US20080051642A1 (en) * 2006-08-24 2008-02-28 Hagai Krupnik Device, system and method of displaying in -vivo images at variable rate
KR100876673B1 (ko) * 2007-09-06 2009-01-07 아이쓰리시스템 주식회사 촬영 속도 조절이 가능한 캡슐형 내시경
JP5622350B2 (ja) * 2007-12-05 2014-11-12 オリンパスメディカルシステムズ株式会社 被検体内導入装置および被検体内情報取得システム
JP2009195271A (ja) * 2008-02-19 2009-09-03 Fujifilm Corp カプセル内視鏡システム
JP2010035746A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp カプセル内視鏡システム、カプセル内視鏡及びカプセル内視鏡の動作制御方法
CN102612338B (zh) * 2009-11-20 2016-05-04 基文影像公司 用于控制体内装置的功率消耗的系统和方法
JP5972865B2 (ja) * 2010-04-28 2016-08-17 ギブン イメージング リミテッドGiven Imaging Ltd. 生体内画像の部分を表示するシステム及びその作動方法
CN102048519B (zh) * 2010-12-23 2013-01-23 南方医科大学南方医院 一种拍摄频率自动调节的胶囊内镜及其方法
KR101408796B1 (ko) * 2012-11-27 2014-06-19 주식회사 인트로메딕 캡슐형 내시경 및 캡슐형 내시경의 촬영 속도 제어 방법
US11363938B2 (en) * 2013-03-14 2022-06-21 Ormco Corporation Feedback control mechanism for adjustment of imaging parameters in a dental imaging system
US9911203B2 (en) * 2013-10-02 2018-03-06 Given Imaging Ltd. System and method for size estimation of in-vivo objects

Also Published As

Publication number Publication date
US10405736B2 (en) 2019-09-10
JP2016019707A (ja) 2016-02-04
US20170105610A1 (en) 2017-04-20
CN106659370B (zh) 2018-11-13
WO2016009700A1 (ja) 2016-01-21
DE112015002957T5 (de) 2017-04-06
CN106659370A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6425931B2 (ja) カプセル型内視鏡及び内視鏡システム
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US20120147150A1 (en) Electronic equipment
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
US8929452B2 (en) Image processing apparatus, image capturing apparatus, and computer program
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
US10159403B2 (en) Capsule endoscope system, capsule endoscope, reception apparatus, imaging control method of capsule endoscope, and computer readable storage device
US20160150158A1 (en) Photographing apparatus and method for controlling thereof
US10237488B2 (en) Image capturing apparatus and image capturing method
JP2019129410A (ja) 監視カメラ、監視カメラの制御方法、およびプログラム
US8970723B2 (en) Device and method for image processing capable of tracking target object
US8976258B2 (en) Image processing apparatus, image capturing apparatus, and program
JP2017188792A (ja) 撮影装置、撮影方法及び撮影プログラム
JP6564284B2 (ja) 画像処理装置および画像処理方法
JP2010050842A (ja) マルチレンズカメラシステムのための高度な動的スティッチング方法
JP7032532B2 (ja) 撮像装置、画像補正方法および画像補正プログラム
JP5161939B2 (ja) 画像処理装置、撮像システム、及び画像処理装置の制御方法
US11132803B2 (en) Imaging apparatus, imaging system, and method for controlling the same
JP6152738B2 (ja) カメラシステム
JP6485490B2 (ja) カメラ
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法
JP5353141B2 (ja) プログラム、カメラ、画像処理装置、及び画像の合焦度算出方法
JP6066942B2 (ja) 画像処理装置
JP2016178371A (ja) 撮像装置
JP2014187602A (ja) 撮像システム、撮像制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181024

R151 Written notification of patent or utility model registration

Ref document number: 6425931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees