JPWO2018179986A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
JPWO2018179986A1
JPWO2018179986A1 JP2019508753A JP2019508753A JPWO2018179986A1 JP WO2018179986 A1 JPWO2018179986 A1 JP WO2018179986A1 JP 2019508753 A JP2019508753 A JP 2019508753A JP 2019508753 A JP2019508753 A JP 2019508753A JP WO2018179986 A1 JPWO2018179986 A1 JP WO2018179986A1
Authority
JP
Japan
Prior art keywords
area
endoscope
display area
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019508753A
Other languages
English (en)
Other versions
JP6833978B2 (ja
Inventor
広樹 渡辺
広樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018179986A1 publication Critical patent/JPWO2018179986A1/ja
Application granted granted Critical
Publication of JP6833978B2 publication Critical patent/JP6833978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Abstract

病変を捉えやすく、かつ、特定の範囲を表示及び観察できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。内視鏡システム10は、内視鏡画像を取得する画像取得部54と、少なくとも内視鏡画像の一部を表示するモニタ18と、モニタ18に表示する表示領域115と、表示領域115を除いた部分である非表示領域121と、のうち、少なくとも非表示領域121において注目領域124を検出する注目領域検出部82と、注目領域検出部82が非表示領域121において注目領域124を検出した場合に、非表示領域121にある注目領域124への誘導情報を生成する誘導情報生成部83と、内視鏡画像に加えて、誘導情報をモニタ18に表示する表示制御部66と、を備える。

Description

本発明は、注目すべき領域を検出する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。特に、近年においては、内視鏡を用いて単に観察対象を撮像するだけでなく、観察対象を撮像して得る画像を用いて、注目すべき領域(以下、注目領域という)を検出し、強調等して表示する内視鏡システムが知られている。注目領域は、例えば、病変の可能性がある部分等を含む領域である。
例えば、特許文献1の内視鏡システムは、注目領域を検出する。さらに、特許文献1の内視鏡システムは、内視鏡の視野に捉えていた注目領域が消失した場合に、注目領域がある方向を推測してその方向を表示することにより、注目領域の見逃しを防止する。
特開2011−224038号公報
内視鏡検査においては、病変を逃さずに見つけ出すことが重要である。このため、内視鏡の視野は基本的に広角である。例えば、内視鏡の視野角は少なくとも約140°から約170°程度あるのが通常であり、近年ではこれを超える視野角を有する内視鏡もある。
内視鏡を広角にすれば病変を内視鏡の視野に捉えやすくはなるが、一方で、好みの視野で観察を行いたいというニーズも存在する。すなわち、広角の内視鏡を用いて観察対象を広範囲に観察するよりも、従来の使い慣れた内視鏡と同様の視野で観察対象の特定の範囲を観察したいという要望がある。
本発明は、病変を捉えやすく、かつ、特定の範囲を表示及び観察できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、内視鏡と、内視鏡画像を取得する画像取得部と、少なくとも内視鏡画像の一部を表示する表示部と、内視鏡画像の一部であって表示部に表示する表示領域と、内視鏡画像の一部であって内視鏡画像から表示領域を除いた部分である非表示領域と、のうち、少なくとも非表示領域において注目領域を検出する注目領域検出部と、注目領域検出部が非表示領域において注目領域を検出した場合に、非表示領域にある注目領域への誘導情報を生成する誘導情報生成部と、内視鏡画像に加えて、誘導情報を表示部に表示する表示制御部と、を備える。
注目領域は、病変部、良性腫瘍部、炎症部、マーキング部、または、生体検査を実施した生検実施部のうち少なくともいずれかを含む領域であることが好ましい。
誘導情報生成部は、非表示領域にある注目領域の方向を含む誘導情報を生成することが好ましい。
誘導情報生成部は、非表示領域にある注目領域までの距離または角度を含む誘導情報を生成することが好ましい。
誘導情報生成部は、非表示領域にある注目領域を表示領域に収めるのにかかる前記内視鏡の操作時間を含む誘導情報を生成することが好ましい。
誘導情報生成部は、内視鏡の操作時間を、少なくとも表示領域から非表示領域にある注目領域までの距離を用いて算出することが好ましい。
注目領域検出部は、1つの内視鏡画像を用いて非表示領域にある注目領域を検出し、かつ、誘導情報生成部は、1つの内視鏡画像を用いて、非表示領域にある注目領域への誘導情報を生成することが好ましい。
内視鏡画像は、内視鏡の先端部の前方にある観察対象に加えて、内視鏡の先端部の側方または後方にある観察対象を撮像して得る広角の画像であることが好ましい。
表示領域は、少なくとも内視鏡の前方にある観察対象を含む領域であり、かつ、非表示領域は、少なくとも内視鏡の先端部の側方または後方にある観察対象を含む領域である。
注目領域検出部は、表示領域において注目領域を検出し、任意時刻に表示領域において検出した注目領域が、当該任意時刻よりも後の時刻において非表示領域に移動したことに起因する表示領域からの消失を判定する消失判定部を備え、かつ、誘導情報生成部は、消失判定部が表示領域から消失したと判定した注目領域について誘導情報を生成することが好ましい。
注目領域検出部が非表示領域において注目領域を検出した場合であって、かつ、注目領域を検出した時刻よりも前の予め定めた時刻までに、注目領域が表示領域及び非表示領域のいずれにおいても検出されていない場合に、誘導情報生成部は、注目領域について誘導情報を生成することが好ましい。
本発明のプロセッサ装置は、内視鏡画像を取得する画像取得部と、内視鏡画像の一部であって表示部に表示する表示領域と、内視鏡画像の一部であって内視鏡画像から表示領域を除いた部分である非表示領域と、のうち、少なくとも非表示領域において注目領域を検出する注目領域検出部と、注目領域検出部が非表示領域において注目領域を検出した場合に、非表示領域にある注目領域への誘導情報を生成する誘導情報生成部と、内視鏡画像に加えて、誘導情報を表示部に表示する表示制御部と、を備える。
本発明の内視鏡システムの作動方法は、画像取得部が、内視鏡画像を取得するステップと、注目領域検出部が、内視鏡画像の一部であって表示部に表示する表示領域と、内視鏡画像の一部であって内視鏡画像から表示領域を除いた部分である非表示領域と、のうち、少なくとも非表示領域において注目領域を検出する注目領域検出部と、誘導情報生成部が、注目領域検出部が非表示領域において注目領域を検出した場合に、非表示領域にある注目領域への誘導情報を生成するステップと、表示制御部が、内視鏡画像に加えて、誘導情報を表示部に表示するステップと、を備える。
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、病変を捉えやすく、かつ、特定の範囲を表示及び観察できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 内視鏡の視野を示す説明図である。 画像処理部のブロック図である。 取得する内視鏡画像の模式図である。 取得する内視鏡画像と表示範囲の関係を示す説明図である。 表示用画像の模式図である。 非表示領域を示す説明図である。 誘導情報の表示例である。 内視鏡システムの作用を示すフローチャートである。 注目領域を前方視野に捉え得る場合の説明図である。 注目領域を前方視野に捉えられない場合の説明図である。 非表示領域において注目領域を捉える場合の説明図である。 誘導情報の別の表示例である。 誘導情報の別の表示例である。 表示領域において注目領域を検出する場合の表示例である。 表示領域から注目領域が消失する場合の説明図である。 第2実施形態における画像処理部のブロック図である。 第2実施形態のフローチャートである。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、観察対象141(図11参照)を撮像する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、少なくとも内視鏡画像の一部を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象141に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、観察対象141を拡大または縮小して撮像することができる。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備える。
光源部20は、例えば、中心波長または波長帯域が異なる(以下、単に「波長が異なる」という)光を発光する複数のLED(Light Emitting Diode)を光源として備えており、各LEDの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部20は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部20は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域(波長帯域が10nmから20nm程度の範囲であることをいう)な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部20は、照明光として、中心波長が約400nmの狭帯域紫色光、中心波長が約450nmの第1狭帯域青色光、中心波長が約470nmの第2狭帯域青色光、中心波長が約540nmの狭帯域緑色光、及び、中心波長が約640nmの狭帯域赤色光を発光できる。この他、光源部20は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。
なお、光源部20には、LEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部20をLEDで構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。
光源制御部22は、光源部20を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部22は、イメージセンサ48の撮像のタイミング(いわゆるフレーム)に合わせて光源部20を制御する。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象141に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象141から戻る照明光の反射光等(反射光の他、散乱光、観察対象141が発する蛍光、または、観察対象141に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象141を撮像する。ズームレンズ47は、ズーム操作部13の操作をすることで移動し、イメージセンサ48を用いて撮像する観察対象141を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象141を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象141を順次撮像することにより、上記各色の画像を得ることができる。
図3に示すように、内視鏡12はいわゆる広角であり、撮像光学系30bの視野71(すなわち内視鏡12の視野)の角度(視野角)は約140°以上である。本明細書において広角とは、例えば視野角が約90°以上(好ましくは約100°以上、より好ましくは120°以上)あることをいう。したがって、例えば、視野角が330°の内視鏡、視野角が210°の内視鏡、または、視野角が230°から240°である内視鏡は、いずれも本明細書における広角な内視鏡であり、これらの各内視鏡を、内視鏡システム10の内視鏡12として好適に用いることができる。内視鏡12が広角であれば、内視鏡12の前方(先端部12dの先端面の方向)にある観察対象141に加えて、内視鏡12の概ね側方(先端部12dの側面における法線の方向)または後方(先端部12dの側面における法線よりも挿入部12aの基端側の方向)にある観察対象141を撮像し得る。
照明光学系30aは、少なくとも撮像光学系30bの視野71の範囲において、照度及び色が概ね均等である一様な照明光を照射する。このため、内視鏡12は、視野71の全範囲において好適に観察対象141を撮像することができる。なお、内視鏡システム10は、視野71に収まる全ての観察対象141を撮像するが、観察(診断)に供するためにモニタ18に表示するのは前方視野72にある観察対象141である。前方視野72とは、視野71の前方(挿入部12aを直線状に伸ばした場合の先端部12dの正面方向)を含む一部の撮像範囲である。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する(図2参照)。
制御部52は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、コンソール19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、イメージセンサ48から、観察対象141を撮像した画像を取得する。本実施形態においては、イメージセンサ48はカラーフィルタを有するので、画像取得部54は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。なお、画像取得部54がイメージセンサ48から取得する画像、画像取得部54がイメージセンサ48から取得した画像を用いて生成する表示用の画像、及び、表示用画像を生成するために撮像した画像を用いて中間的に生成する画像は、いずれも「内視鏡画像」である。以下、単に「画像」という場合には、画像取得部54がイメージセンサ48から取得する観察対象141を撮像した内視鏡画像を意味する。また、表示用の内視鏡画像は表示用画像114(図7参照)といい、かつ、中間的に生成する内視鏡画像は中間画像101(図5参照)という。また、内視鏡12が広角であるため、少なくとも、内視鏡12を用いて観察対象141を撮像して得る画像、及び、中間画像101は、内視鏡12の前方にある観察対象141に加えて、内視鏡12の概ね側方または後方にある観察対象141を撮像して得る広角の内視鏡画像である。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象141を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、画像取得部54が取得した画像を用いて、表示用画像114等を生成する。また、画像処理部61は、画像取得部54が取得した画像または中間画像101を用いて領域検出等の処理、及び、必要な情報の算出または生成等を行う。より具体的には、図4に示すように、画像処理部61は、画像生成部81と、注目領域検出部82と、誘導情報生成部83と、を備える。
画像生成部81は、画像取得部54が取得した1または複数の画像を用いて少なくとも表示用画像114を生成する。本実施形態においては、画像生成部81は、まず、画像取得部54が取得した1または複数の画像を用いて図5に示す中間画像101を生成する。中間画像101は、内視鏡12の視野71の全範囲を含む内視鏡画像である。イメージセンサ48の撮像面は四角形であり、撮像光学系30bが視野71にある観察対象141の像を結像する領域は概ね円形である。このため、中間画像101においては、視野71に対応する領域(以下、全視野領域という)102は中間画像101の一部であり、全視野領域102の外周部分には、観察対象141が写っていないブランク領域103がある。
上記のように中間画像101を生成すると、画像生成部81は、図6に示すように、中間画像101のうち、前方視野72に対応する前方視野領域106の大部分を含む四角形の領域(以下、抽出範囲という)107を抽出することにより、図7に示す表示用画像114を生成する。すなわち、画像生成部81は、抽出範囲107において中間画像101をトリミングすることにより表示用画像114を生成する。なお、画像生成部81は、中間画像101から抽出範囲107を抽出して表示用画像114を生成する際に、表示用画像114における前方視野領域106の外側の領域をマスク116(例えば黒色の画像)により非表示化する。これにより、表示用画像114は、従来の内視鏡システムにおいて得られる内視鏡画像と同様の外観になる。
モニタ18の表示画面のサイズ(内視鏡画像の表示範囲)が一定であるとして中間画像
101をモニタ18に表示する場合と比較すると、表示用画像114は実質的に前方視野領域106を拡大して表示する内視鏡画像である。このため、中間画像101をモニタ18に表示する場合と表示用画像114をモニタ18に表示する場合とを比較すると、表示用画像114をモニタ18に表示する場合の方が前方視野72に捉えた観察対象141が大きく写る。その結果、前方視野72に捉えた観察対象141に、注目すべき領域があれば、その領域も大きく写る。
なお、本実施形態においては、画像生成部81は、中間画像101を用いて表示用画像114を生成するが、画像生成部81は中間画像101を経ずに、画像取得部54が取得した1または複数の画像を用いて直接的に表示用画像114を生成することができる。また、本実施形態においては、中間画像101から抽出範囲107を抽出する際に、表示用画像114における前方視野領域106の外側の領域をマスク116によって非表示化しているが、当該マスク処理は省略することができる。この場合、表示用画像114におけるマスク116の部分には前方視野領域106の外側にある観察対象141が写り込む。このため、表示用画像114は、例えば、前方視野領域106を含め、観察対象141が全体に写った四角形の内視鏡画像になる。
注目領域検出部82は、内視鏡画像の一部であって表示部であるモニタ18に表示する表示領域115と、内視鏡画像の一部であって内視鏡画像から表示領域115を除いた部分である非表示領域121と、のうち、少なくとも非表示領域121において注目領域124を検出する。注目領域検出部82が非表示領域121において実行する注目領域124を検出するための処理を、以下、注目領域検出処理という。
注目領域検出部82が注目領域124の検出に使用する内視鏡画像は、画像取得部54が取得した1もしくは複数の画像、または、画像生成部81が生成した中間画像101である。本実施形態においては、注目領域検出部82は中間画像101を用いて注目領域124を検出する。
表示領域115とは、少なくとも内視鏡12の前方にある観察対象141の像を含む領域である。具体的には、図8に示すように、中間画像101(画像取得部54が取得した1または複数の画像を使用する場合にはこれらのうち使用する画像)のうち、前方視野領域106と抽出範囲107との共通部分である。但し、表示用画像114においてマスク処理をしない場合には抽出範囲107の全体が表示領域115である。
非表示領域121とは、少なくとも内視鏡12の概ね側方または後方にある観察対象141を含む領域である。具体的には、中間画像101(画像取得部54が取得した1または複数の画像を使用する場合にはこれらのうち使用する画像)のうち、全視野領域102から表示領域115を除いた残りの部分である。本実施形態においては、円形の全視野領域102の中央から樽型の表示領域115を除いた概ね円環状の部分が非表示領域121である。
注目領域124とは、検査または診断の対象として注目すべき領域である。注目領域124は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域124になり得る。内視鏡システム10においては、注目領域検出部82は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域124として検出する。
注目領域検出部82は、非表示領域121にある画素の画素値または画素値の分布に基づいて注目領域124を検出する。画素値または画素値の分布は、例えば、非表示領域121に写った観察対象141の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等を表す。本実施形態においては、注目領域検出部82は、非表示領域121において注目領域124を検出するが、注目領域検出部82は、必要に応じて表示領域115においても注目領域124を検出することができる。
誘導情報生成部83は、注目領域検出部82が非表示領域121において注目領域124を検出した場合に、非表示領域121にある注目領域124への誘導情報を生成する。誘導情報とは、例えば、非表示領域121にある注目領域124の方向、非表示領域121にある注目領域124までの距離もしくは角度、または、非表示領域121にある注目領域124を表示領域115に収めるのにかかる内視鏡12の操作時間を示す情報のうちいずれかまたは複数を含む情報である。本実施形態における誘導情報には、上記方向、距離もしくは角度、または操作時間を直接的に示す情報の他、上記方向、距離もしくは角度、または操作時間を簡易に算出等するための情報を含む。
注目領域124の方向とは、例えば、表示領域115の中心123等の基準点と、非表示領域121にある注目領域124とを結ぶ線に沿った方向であって、表示領域115の中心123を基準として、非表示領域121にある注目領域124の向きを示す情報である。本実施形態においては、注目領域124の方向は中間画像101等の画像上の方向であるが、観察対象141がある実空間上の3次元的な方向を注目領域124の方向としても良い。
注目領域124の距離とは、例えば表示領域115の中心123等の基準点から注目領域124までの実空間における長さである。注目領域124の距離は、例えば、中間画像101等の画像上の長さから算出できる。このため、中間画像101等の画像上の長さを、「注目領域124の距離」としても良い。
注目領域124の角度とは、挿入部12aの中心軸を基準とし、かつ、先端部12dの先端を中心に測る(推定する場合を含む)注目領域124の実空間における角度である。これは、例えば表示領域115の中心123を非表示領域121にある注目領域124に一致するために、先端部12dを湾曲する角度にほぼ等しい。
非表示領域121にある注目領域124を表示領域115に収めるのにかかる内視鏡12の操作時間とは、表示領域115内に注目領域124を表示領域115に入れてモニタ18に表示するために、先端部12dを湾曲または移動するために要する時間である。誘導情報生成部83は、上記内視鏡12の操作時間を、少なくとも表示領域115から非表示領域121にある注目領域124までの距離を用いて算出する。また、誘導情報生成部83は、先端部12dを湾曲する速度(湾曲速度)または先端部12dを観察対象141に沿って移動する速度(移動速度)を、上記距離に加えて内視鏡12の操作時間の算出に使用すれば、内視鏡12の操作時間をより正確に算出することができる。
本実施形態においては、誘導情報生成部83は、少なくとも非表示領域121にある「注目領域124の方向」を含む誘導情報を生成する。また、本実施形態においては、視野71、前方視野72、前方視野領域106、全視野領域102、中間画像101、表示用画像114、表示領域115、及び、非表示領域121は、全て中心が中心123に一致しているが、これらのうちいずれかまたは複数の中心が異なっていても、上記と同類の方法で、非表示領域121にある注目領域124の方向、距離、もしくは角度を定めることができる。
表示制御部66は、画像生成部81から表示用画像114を取得し、取得した内視鏡画像を表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18は少なくとも内視鏡画像の一部(表示領域115)を表示する。また、表示制御部66は、誘導情報生成部83から誘導情報を取得し、内視鏡画像である表示用画像114に加えて、誘導情報を表示部であるモニタ18に表示する。図9に示すように、本実施形態においては、表示制御部66は、表示用画像114の表示領域115に、注目領域124の方向を示す矢印130を重畳してモニタ18に表示する。
以下、内視鏡システム10の動作の流れを、図10に示すフローチャートに沿って説明する。観察を開始すると、内視鏡システム10は照明光を照射した観察対象141を撮像し、その結果、画像取得部54がイメージセンサ48から画像を取得する。画像取得部54が観察対象141を撮像した画像を取得すると、画像生成部81は、中間画像101(図5参照)を生成し、かつ、表示用画像114(図7参照)を生成する(S11)。その後、注目領域検出部82は、中間画像101を用いて、非表示領域121において注目領域124の検出処理を実行する(S12)。
注目領域検出部82が、非表示領域121において注目領域124を検出した場合(S13:YES)、誘導情報生成部83は、非表示領域121の注目領域124に関して誘導情報を生成する。具体的には、誘導情報生成部83は、誘導情報として、少なくとも注目領域124の方向を含む情報を生成する。誘導情報生成部83が誘導情報を生成すると、表示制御部66は、誘導情報を用いて、表示用画像114に注目領域124の方向を示す矢印130を重畳し、モニタ18に出力する(図9参照)。これにより、モニタ18は、表示用画像114と、表示用画像114に重畳した注目領域124の方向を示す矢印130を表示する(S15)。
注目領域検出部82が、非表示領域121において注目領域124を検出しなかった場合(S13:NO)、誘導情報生成部83は誘導情報の生成をスキップする。このため、表示制御部66は、画像生成部81から取得した表示用画像114をモニタ18に表示する(S15)。
上記のように、内視鏡システム10は、内視鏡12が広角の視野71を有するが、表示用画像114を用いてモニタ18に表示するのは、視野71の一部である前方視野72の範囲である。すなわち、内視鏡システム10によれば、従来の使い慣れた内視鏡と同様の視野で観察対象の特定の範囲を観察及び表示できる。また、モニタ18のサイズが決まっているとすれば、視野71の全体を含む中間画像101等をそのままモニタ18に表示する場合と比較して、前方視野72にある観察対象141を実質的に拡大して表示する。このため、内視鏡システム10は、病変を捉えやすい。
一方、内視鏡システム10は、広角の内視鏡12を採用しているので、上記表示方法のために非表示になる非表示領域121において注目領域124を検出する。そして、非表示領域121において注目領域124を検出した場合には、その方向をモニタ18に表示して非表示領域121に注目領域124があることを知らせる。このため、比較的視野が狭い従来の内視鏡システムよりも、注目領域124の見落としを低減できる。その結果、内視鏡システム10は、従来の内視鏡システムよりも病変を捉えやすい。
例えば、図11に示すように、観察対象141は、例えば、食道、胃、腸、または気管等であり、観察対象141の内面(粘膜)は、凹凸または蠕動運動等に起因した起伏(以下、ヒダ(襞)という)141aがあるのが通常である。ヒダ141aの内視鏡12の正面側に注目領域124がある場合には、内視鏡12を挿入方向143に沿って前後するうちに、前方視野72に注目領域124を捉えることができる。この場合、モニタ18においては、従来の内視鏡システムと同様に、表示領域115内に注目領域124を視認することができる。
一方、図12に示すように、ヒダ141aの裏側(内視鏡12から見て挿入方向143の奥の面)に注目領域124がある場合、極めて注意深く、1つ1つのヒダ141aの裏側を観察しない限り、ヒダ141aの裏側の注目領域124を従来の内視鏡システムと同程度に狭い前方視野72に捉えることは難しい。このため、従来の内視鏡システムを用いる場合には、ヒダ141aの裏側にある注目領域124は見落としやすい。
しかし、内視鏡システム10は、実際には広角の内視鏡12を採用しているので、図13に示すように、挿入方向143に沿って内視鏡12を挿入するうちに、比較的自然に、ヒダ141aの裏側にある注目領域124を視野71に捉えることができる。但し、内視鏡システム10においては、前方視野72外であって、かつ、視野71内の領域は非表示領域121になるので、ヒダ141aの裏側にある注目領域124を前方視野72外かつ視野71内に捉えた状態のままでは、モニタ18にはヒダ141aの裏側にある注目領域124は写らない。そのため、内視鏡システム10は、前方視野72外かつ視野71内に捉えた注目領域124の方向等を示す誘導情報を用いて、ヒダ141aの裏側にある注目領域124を観察または診断を促す。したがって、内視鏡システム10は、従来の内視鏡システムよりも注目領域124の見落としを低減することができる。
また、広角の内視鏡を用い、その視野のほぼ全体を表示に使用し、かつ、誘導情報を表示する従来の内視鏡システムは、内視鏡の視野を広げたことに起因して、注目領域124を視野に捉えやすくなっているが、観察対象が小さく写るので結果的に注目領域124を見落としてしまう場合がある。これに対し、内視鏡システム10は、上記のように、表示領域115における注目領域124の見落としの低減と、広角の視野71を活かした注目領域124の発見しやすさを両立しているので、上記従来の内視鏡システムよりも病変等を捉えやすい。
この他、内視鏡システム10がモニタ18に表示する表示用画像114は、比較的視野が狭い従来の内視鏡システムが表示する内視鏡画像とほぼ同様であって、いわゆる繋ぎ目はなく、かつ、モニタ18の1画面で観察可能である。このため、内視鏡システム10は、繋ぎ目に係ることによる注目領域124の見落としは発生せず、かつ、複数の画面もしくは複数の画像で観察対象141を観察しなければならない場合と比較して、疲労感の増大や検査し難い等の不具合もない。さらに、広角の内視鏡12を採用し、かつ、視野71の全体を表示に使用する場合、観察対象141が相対的に縮小してしまうことに起因して、内視鏡的切除術等の侵襲性が高い処置が行い難くなるが、内視鏡システム10は、前方視野72に対応する表示領域115をモニタ18に表示するので、侵襲性が高い処置も従来と同様に行い得る。
さらに、内視鏡システム10においては、注目領域検出部82は、1つの内視鏡画像である中間画像101を用いて非表示領域121にある注目領域124を検出し、かつ、誘導情報生成部83は、1つの内視鏡画像である中間画像101を用いて、非表示領域121にある注目領域124への誘導情報を生成する。このため、順次に得る複数の内視鏡画像を用いて注目領域124を検出する内視鏡システム、または、順次に得る複数の内視鏡画像を用いて非表示領域121にある注目領域124への誘導情報を生成する場合と比較すると、内視鏡システム10は、同時性という観点において特に正確に、注目領域124の検出及び誘導情報を求めることができる。中間画像101の代わりに、中間画像101の生成元となる複数の画像を使用する場合も、同時に撮像する1セットの画像を使用するので、上記と同様である。
上記第1実施形態においては、表示制御部66は誘導情報として注目領域124の方向をモニタ18に表示するが、注目領域124の方向の代わりに、または、注目領域124の方向に加えて、他の誘導情報をモニタ18に表示できる。例えば、図14に示すように、表示制御部66は、注目領域124の方向を示す矢印130に加えて、注目領域124までの距離(図14においては「1.2cm」)を表示すると良い。また、図15に示すように、表示制御部66は、注目領域124の方向を示す矢印130に加えて、注目領域124までの角度(図15においては「121°」)を表示すると良い。このように、注目領域124の方向に加えて、注目領域124の距離または角度等を表示すれば、より分かりやすく注目領域124に誘導することができる。
また、距離の表示は、図14における「1.2cm」のような数値による表記に限定されず、例えば、矢印130の形状、数、太さ、長さ、または色を距離に対応した表示にしてもよい。例えば、距離が遠いほど矢印の長さを長く表示する、または、距離が遠いほど矢印の太さを太く表示するなどが可能である。角度等の表示についても同様である。
誘導情報として注目領域124の方向を示す場合、その表示方法は矢印130に限らず、注目領域124の方向が分かるものであればよい。例えば、文章(文字)または音声等の他の任意の態様で注目領域124の方向を示すことができる。方向以外の誘導情報に関しても同様である。なお、モニタ18を用いた表示以外の方法で誘導情報の一部または全部を示す場合、モニタ18と、誘導情報の一部または全部を提示するためのデバイスと、の全体が表示部を構成する。例えば、スピーカ(図示しない)を用いて誘導情報を表す音声を出力する場合、モニタ18と、スピーカと、が表示部を構成する。このため、本明細書においては、スピーカを用いた誘導情報を表す音声の出力等、モニタ18以外のデバイスを用いた誘導情報の提示も、誘導情報の「表示」に含むものとする。
第1実施形態においては、注目領域検出部82は、非表示領域121において注目領域124を検出するが、非表示領域121に加え、表示領域115においても注目領域124を検出しても良い。この場合、例えば、図16に示すように、表示用画像114において、表示領域115において検出した注目領域124を強調等することにより、医師等はその存在をより確実に認識できるようになる。
[第2実施形態]
第1実施形態においては、注目領域検出部82は、非表示領域121において注目領域124を検出しているが、注目領域検出部82は、非表示領域121に加えて、表示領域115においても注目領域124を検出することができる。そして、表示領域115においても注目領域124を検出する場合、図17に示すように、内視鏡12の挿抜または湾曲等に起因して表示領域115で検出した注目領域124が非表示領域121に移動し、表示領域115から消失した際には、特に、誘導情報をモニタ18に表示する必要性が高い。
上記のように、表示領域115からの消失を検出するためには、図18に示すように、画像処理部61には、画像生成部81、注目領域検出部82、及び、誘導情報生成部83に加えて、消失判定部285を設ける。消失判定部285は、任意時刻に表示領域115において検出した注目領域124が、その時刻よりも後の時刻において非表示領域121に移動したことに起因する表示領域115からの消失を判定する。そして、誘導情報生成部83は、少なくとも消失判定部285が表示領域115から消失したと判定した注目領域124について誘導情報を生成する。
より具体的には、消失判定部285を設けた内視鏡システム10は、図19に示すように動作する。観察を開始すると、内視鏡システム10は照明光を照射した観察対象141を撮像し、その結果、画像取得部54がイメージセンサ48から画像を取得する。そして、画像生成部81は、中間画像101(図5参照)を生成し、かつ、表示用画像114(図7参照)を生成する(S211)。その後、注目領域検出部82は、中間画像101を用いて、非表示領域121及び表示領域115において注目領域124の検出処理を実行する(S212)。
注目領域検出部82が表示領域115において注目領域124を検出した場合、消失判定部285は、表示領域115の注目領域124に関する情報を記憶する(S214)。表示領域115の注目領域124に関する情報とは、例えば、表示領域115の注目領域124の位置もしくは大きさその他形状等の特徴、表示領域115において注目領域124を検出した時刻(撮像フレーム等)、注目領域124を検出した際の内視鏡画像(中間画像101等)、または、これらの組み合わせ等である。
そして、注目領域検出部82が非表示領域121において注目領域124を検出した場合、消失判定部285は、表示領域115において検出した注目領域124に関する情報と、非表示領域121の注目領域124を照合し、過去に表示領域115において検出した注目領域124が非表示領域121において検出した注目領域124と同一のもの(同一である可能性が高いもの)か否かを判定する(S216)。これが、消失判定部285が行う消失判定である。
過去に表示領域115において検出した注目領域124が、後の時刻において非表示領域121において検出した注目領域124と同一のものである場合、誘導情報生成部83は、表示領域115から非表示領域121に移動し、表示領域115から消失した注目領域124について誘導情報を生成する。そして、表示制御部66は、誘導情報を用いて、表示用画像114に注目領域124の方向を示す矢印130を重畳する等して、モニタ18に出力する。これにより、モニタ18は、表示用画像114と、表示用画像114に重畳した注目領域124の方向を示す矢印130等を表示し(S218)、結果として、表示領域115から消失した注目領域124に医師等を誘導する。
上記のように、表示領域115においても注目領域124を検出し、かつ、表示領域115から消失した注目領域124について、誘導情報を生成及び表示すると、利便性が向上する。内視鏡システム10(内視鏡12)の操作は繊細であり、高度な技巧を要するので、前方視野72に捉えた注目領域124を、前方視野72の外に逃してしまうことはよくあることである。このような場合に、上記のように、表示領域115から消失した注目領域124に医師等を誘導する誘導情報を生成及び表示すれば、再度、逃した注目領域124を捉えやすくなる。
特に、内視鏡システム10は、表示領域115から消失した注目領域124がある方向等を推定するのではなく、非表示領域121において実際に検出し、その方向等を提示するので、表示領域115から消失した注目領域124に正確に誘導することができる。
なお、上記第2実施形態の内視鏡システム10と比較する場合、第1実施形態の内視鏡システム10は、注目領域検出部82が非表示領域121において注目領域124を検出した場合であって、かつ、注目領域124を検出した時刻よりも前の予め定めた時刻(例えば前フレーム)までに、注目領域124が表示領域115及び非表示領域121のいずれにおいても検出されていない場合に、誘導情報生成部83が、注目領域検出部82が注目領域124について誘導情報を生成するシステムである。非表示領域121においてはじめて検出する注目領域124について誘導情報を生成及び表示する利点は第1実施形態の通りである。したがって、上記第2実施形態の内視鏡システム10においても、非表示領域121においてはじめて検出する注目領域124については、第1実施形態と同様にして、誘導情報を生成及び表示することが好ましい。
上記第1実施形態及び第2実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図20に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、内視鏡画像は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20、702 光源部
22 光源制御部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48、704 イメージセンサ
52、703 制御部
54、706 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
81 画像生成部
82 注目領域検出部
83 誘導情報生成部
101 中間画像
102 全視野領域
103 ブランク領域
106 前方視野領域
107 抽出範囲
115 表示領域
121 非表示領域
123 中心
130 注目領域の方向を示す矢印
114 表示用画像
141 観察対象
141a ヒダ(襞)
143 挿入方向
700 カプセル内視鏡
708 送受信アンテナ
S11〜S218 内視鏡システムの動作ステップ

Claims (13)

  1. 内視鏡と、
    内視鏡画像を取得する画像取得部と、
    少なくとも前記内視鏡画像の一部を表示する表示部と、
    前記内視鏡画像の一部であって前記表示部に表示する表示領域と、前記内視鏡画像の一部であって前記内視鏡画像から前記表示領域を除いた部分である非表示領域と、のうち、少なくとも前記非表示領域において注目領域を検出する注目領域検出部と、
    前記注目領域検出部が前記非表示領域において前記注目領域を検出した場合に、前記非表示領域にある前記注目領域への誘導情報を生成する誘導情報生成部と、
    前記内視鏡画像に加えて、前記誘導情報を前記表示部に表示する表示制御部と、
    を備える内視鏡システム。
  2. 前記注目領域は、病変部、良性腫瘍部、炎症部、マーキング部、または、生体検査を実施した生検実施部のうち少なくともいずれかを含む領域である請求項1に記載の内視鏡システム。
  3. 前記誘導情報生成部は、前記非表示領域にある前記注目領域の方向を含む前記誘導情報を生成する請求項1または2に記載の内視鏡システム。
  4. 前記誘導情報生成部は、前記非表示領域にある前記注目領域までの距離または角度を含む前記誘導情報を生成する請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記誘導情報生成部は、前記非表示領域にある前記注目領域を前記表示領域に収めるのにかかる前記内視鏡の操作時間を含む前記誘導情報を生成する請求項1〜4のいずれか1項に記載の内視鏡システム。
  6. 前記誘導情報生成部は、前記内視鏡の操作時間を、少なくとも前記表示領域から前記非表示領域にある前記注目領域までの距離を用いて算出する請求項5に記載の内視鏡システム。
  7. 前記注目領域検出部は、1つの前記内視鏡画像を用いて前記非表示領域にある前記注目領域を検出し、かつ、
    前記誘導情報生成部は、1つの前記内視鏡画像を用いて、前記非表示領域にある前記注目領域への前記誘導情報を生成する請求項1〜6のいずれか1項に記載の内視鏡システム。
  8. 前記内視鏡画像は、前記内視鏡の先端部の前方にある観察対象に加えて、前記内視鏡の先端部の側方または後方にある前記観察対象を撮像して得る広角の画像である請求項1〜7のいずれか1項に記載の内視鏡システム。
  9. 前記表示領域は、少なくとも前記内視鏡の先端部の前方にある前記観察対象を含む領域であり、かつ、前記非表示領域は、少なくとも前記内視鏡の先端部の側方または後方にある前記観察対象を含む領域である請求項8に記載の内視鏡システム。
  10. 前記注目領域検出部は、前記表示領域において前記注目領域を検出し、
    任意時刻に前記表示領域において検出した前記注目領域が、前記任意時刻よりも後の時刻において前記非表示領域に移動したことに起因する前記表示領域からの消失を判定する消失判定部を備え、かつ、
    前記誘導情報生成部は、前記消失判定部が前記表示領域から消失したと判定した前記注目領域について前記誘導情報を生成する請求項1〜9のいずれか1項に記載の内視鏡システム。
  11. 前記注目領域検出部が前記非表示領域において前記注目領域を検出した場合であって、かつ、前記注目領域を検出した時刻よりも前の予め定めた時刻までに、前記注目領域が前記表示領域及び前記非表示領域のいずれにおいても検出されていない場合に、前記誘導情報生成部は、前記注目領域検出部が前記注目領域について前記誘導情報を生成する請求項1〜9のいずれか1項に記載の内視鏡システム。
  12. 内視鏡画像を取得する画像取得部と、
    前記内視鏡画像の一部であって表示部に表示する表示領域と、前記内視鏡画像の一部であって前記内視鏡画像から前記表示領域を除いた部分である非表示領域と、のうち、少なくとも前記非表示領域において注目領域を検出する注目領域検出部と、
    前記注目領域検出部が前記非表示領域において前記注目領域を検出した場合に、前記非表示領域にある前記注目領域への誘導情報を生成する誘導情報生成部と、
    前記内視鏡画像に加えて、前記誘導情報を前記表示部に表示する表示制御部と、
    を備えるプロセッサ装置。
  13. 画像取得部が、内視鏡画像を取得するステップと、
    注目領域検出部が、前記内視鏡画像の一部であって表示部に表示する表示領域と、前記内視鏡画像の一部であって前記内視鏡画像から前記表示領域を除いた部分である非表示領域と、のうち、少なくとも前記非表示領域において注目領域を検出する注目領域検出部と、
    誘導情報生成部が、前記注目領域検出部が前記非表示領域において前記注目領域を検出した場合に、前記非表示領域にある前記注目領域への誘導情報を生成するステップと、
    表示制御部が、前記内視鏡画像に加えて、前記誘導情報を前記表示部に表示するステップと、
    を備える内視鏡システムの作動方法。
JP2019508753A 2017-03-30 2018-02-19 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Active JP6833978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017068084 2017-03-30
JP2017068084 2017-03-30
PCT/JP2018/005620 WO2018179986A1 (ja) 2017-03-30 2018-02-19 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JPWO2018179986A1 true JPWO2018179986A1 (ja) 2020-01-16
JP6833978B2 JP6833978B2 (ja) 2021-02-24

Family

ID=63675123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508753A Active JP6833978B2 (ja) 2017-03-30 2018-02-19 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (5)

Country Link
US (1) US20200037856A1 (ja)
EP (1) EP3603482B1 (ja)
JP (1) JP6833978B2 (ja)
CN (1) CN110461209B (ja)
WO (1) WO2018179986A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
JP2019180966A (ja) * 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
WO2019207740A1 (ja) * 2018-04-26 2019-10-31 オリンパス株式会社 移動支援システム及び移動支援方法
JP7045453B2 (ja) * 2018-06-19 2022-03-31 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JPWO2022044606A1 (ja) * 2020-08-24 2022-03-03
CN112075912B (zh) * 2020-09-10 2024-04-19 上海安翰医疗技术有限公司 胶囊内窥镜、内窥镜系统和用于内窥镜的图像获取方法
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036600A (ja) * 2009-08-18 2011-02-24 Toshiba Corp 画像処理装置、画像処理プログラムおよび医用診断システム
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
JP2011206251A (ja) * 2010-03-30 2011-10-20 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3608448B2 (ja) * 1999-08-31 2005-01-12 株式会社日立製作所 治療装置
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP2005258062A (ja) * 2004-03-11 2005-09-22 Olympus Corp 内視鏡システム、及び内視鏡装置
JP4823695B2 (ja) * 2006-01-13 2011-11-24 オリンパスメディカルシステムズ株式会社 電動湾曲内視鏡
JP4472728B2 (ja) * 2007-06-14 2010-06-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
EP2443992A2 (en) * 2010-10-25 2012-04-25 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
CN102768396A (zh) * 2011-05-03 2012-11-07 凤凰光学(上海)有限公司 一种医用内窥镜超广角型摄像镜头
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5953187B2 (ja) * 2011-10-11 2016-07-20 オリンパス株式会社 合焦制御装置、内視鏡システム及び合焦制御方法
DE102012220116A1 (de) * 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
JP6128796B2 (ja) * 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
CN104105448B (zh) * 2012-10-26 2016-05-11 株式会社东芝 超音波诊断装置
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US20150053746A1 (en) * 2013-08-23 2015-02-26 Ethicon Endo-Surgery, Inc. Torque optimization for surgical instruments
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP6257371B2 (ja) * 2014-02-21 2018-01-10 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6307464B2 (ja) * 2015-03-20 2018-04-04 富士フイルム株式会社 内視鏡
JP6485694B2 (ja) * 2015-03-26 2019-03-20 ソニー株式会社 情報処理装置および方法
JP6549711B2 (ja) * 2015-06-11 2019-07-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN105769111A (zh) * 2016-02-29 2016-07-20 吉林大学 一种广角双摄像头胶囊内镜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036600A (ja) * 2009-08-18 2011-02-24 Toshiba Corp 画像処理装置、画像処理プログラムおよび医用診断システム
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
JP2011206251A (ja) * 2010-03-30 2011-10-20 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view

Also Published As

Publication number Publication date
EP3603482A1 (en) 2020-02-05
WO2018179986A1 (ja) 2018-10-04
CN110461209B (zh) 2021-10-29
EP3603482A4 (en) 2020-04-01
CN110461209A (zh) 2019-11-15
US20200037856A1 (en) 2020-02-06
JP6833978B2 (ja) 2021-02-24
EP3603482B1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
JP6833978B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6840846B2 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN110325100B (zh) 内窥镜系统及其操作方法
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
EP2979618B1 (en) Image processing device for operating endoscope system
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10820786B2 (en) Endoscope system and method of driving endoscope system
JP6001219B1 (ja) 内視鏡システム
EP2979617B1 (en) Image processing device, and method for operating endoscope system
US11179024B2 (en) Endoscope system capable of correcting image, processor device, and method for operating endoscope system
JPWO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6827516B2 (ja) 内視鏡システム及び内視鏡システムの駆動方法
JP2010069063A (ja) 画像取得方法および装置
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2004000505A (ja) 内視鏡装置
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JPWO2018079217A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250