JPWO2019078102A1 - 医療画像処理装置 - Google Patents

医療画像処理装置 Download PDF

Info

Publication number
JPWO2019078102A1
JPWO2019078102A1 JP2019549239A JP2019549239A JPWO2019078102A1 JP WO2019078102 A1 JPWO2019078102 A1 JP WO2019078102A1 JP 2019549239 A JP2019549239 A JP 2019549239A JP 2019549239 A JP2019549239 A JP 2019549239A JP WO2019078102 A1 JPWO2019078102 A1 JP WO2019078102A1
Authority
JP
Japan
Prior art keywords
setting information
notification
information
notification setting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019549239A
Other languages
English (en)
Other versions
JP7059297B2 (ja
Inventor
麻依子 遠藤
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019078102A1 publication Critical patent/JPWO2019078102A1/ja
Application granted granted Critical
Publication of JP7059297B2 publication Critical patent/JP7059297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

医療画像に関してユーザーに報知する際の報知方法の設定および変更が簡便である医療画像処理装置を提供する報知制御部(67)は、報知設定情報選択部(72)と、報知設定情報記憶部(74)と、報知設定情報設定部(76)と、報知実行部(78)とを有する。報知設定情報は、個別設定用情報と関連付けられ、報知設定情報記憶部(74)に保存される。報知実行部(78)は、報知設定情報選択部(72)が個別設定用情報を用いて選択した使用報知設定情報の設定に従い、報知を行う。作成または変更された報知設定情報は、報知設定情報記憶部(74)に保存される。

Description

本発明は、医療画像に関してユーザーに報知する際の報知方法の設定および変更が簡便である医療画像処理装置に関する。
現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理装置が普及している。また、近年においては、医療画像に画像解析を行うことによって、診断の対象となる注目領域を検出し、ユーザーに報知することも行われている。その他、病変の有無や種類、被写体の観察状態などを報知することも行われている。
以上のようなユーザーへの報知においては、ユーザーが医療画像に表れる病変等を見逃さないように報知を行うことが必要である。これに対して、例えば、特許文献1では、カプセル内視鏡の画像のように大量の画像を順に表示するシステムにおいて、病変画像等注目すべき画像が表示手段に表示される場合に、予告音、報知音および終了音からなる通知音や振動を使ってユーザーに報知することで、特定画像の見逃しを防ぐ画像表示装置が開示されている。また、特許文献2では、医療画像に表れる臓器部位の変形部位を選択的に診断し、その診断部位の形状変化を画面表示や音などで通知することで、医療画像の見逃しを防止するとともに診断の効率を向上させる医用画像診断装置が開示されている。また、特許文献3では、内視鏡による画像において画像処理を行う際に、術者が携帯するRFIDタグにより自動的に特定の内視鏡における画像処理の設定が変更され、個々の術者による見逃しの防止を図る内視鏡システムが開示されている。
特開2006−129950号公報 国際公開第2015/011501号 特開2016−172077号公報
しかしながら、特許文献1及び2のように、所定の基準に従って画像が表示される際に通知音によりユーザーに報知した場合には、例えば、ユーザーが画像により診断する際の技術の差、診断する症例の違いなどにより、適切な画像診断のための報知画像の選択項目をその都度個別に設定する必要があり、煩雑であるという問題が生じるおそれがある。そのため、各種設定を個別に設定する方法として、内視鏡による画像取得時に各術者の画像処理の設定を自動的に変更可能な方法が開示されている(特許文献3)。これにより、画像が見やすくなり病変なども見逃しにくくなる可能性があるが、報知については記載がない。したがって、適切な医療画像診断のために各ユーザーに対して報知を行う場合には、報知自体をどのように行うかのみならず何を報知するかをも含め、適切に設定できることが求められる。
本発明は、医療画像において診断の対象となる注目領域を検出した場合などにユーザーに報知するにあたり、報知方法の設定および変更を簡便に行うことにより、病変等の見逃しを防止できる医療画像処理装置を提供することを目的とする。
本発明の医療画像処理装置は、画像取得部と、画像解析処理部と、報知実行部と、報知設定情報記憶部と、報知設定情報選択部と、を有する。画像取得部は、被写体を含む医療画像を取得する。画像解析処理部は、医療画像の画像解析処理を行う。報知実行部は、画像解析処理結果を報知設定情報に従いユーザーに報知する。報知設定情報記憶部は、報知設定情報を、報知設定情報と異なる個別設定用情報と関連付けて保存する。報知設定情報選択部は、報知設定情報記憶部に保存された報知設定情報の中から、個別設定用情報を用いて使用報知設定情報を選択する。報知実行部は、使用報知設定情報の設定に従い、報知を行う。
個別設定用情報は、ユーザーに関するユーザー情報であることが好ましい。また、個別設定用情報は、被写体を有する患者の患者情報であることが好ましい。また、個別設定用情報は、部位を表す部位情報であることが好ましい。また、個別設定用情報は、医療画像の取得時に行う手技を表す手技情報であることが好ましい。
画像解析処理部は、画像解析処理として、医療画像から注目領域を検出する注目領域検出部と、注目領域に対して病変の内容を示す病変情報の判定を行う病変判定部を有し、個別設定用情報は、病変情報であることが好ましい。また、病変情報は、病変のサイズまたは病変の種別であることが好ましい。
報知実行部は、画面表示出力指示、音出力指示および振動出力指示の少なくとも1つを行うことが好ましい。また、画面表示出力は、画像および/または文字情報であることが好ましい。
報知実行部は、ユーザーの指示により、使用報知設定情報と報知との関連を示す画面表示出力を行うことが好ましい。
報知設定情報は、報知実行部が行う画面表示出力指示、音出力指示および振動出力指示の少なくとも1つの指示を含み、指示は、ユーザーが選択することが好ましい。
患者情報及び/または診断情報が保存される情報記憶部を有する医療業務支援装置と接続され、報知設定情報選択部は、情報記憶部から読み出した患者情報及び/または診断情報を個別設定用情報とし、使用報知設定情報を選択することが好ましい。
診断情報は、ユーザー情報、部位情報、手技情報および病変情報のうち少なくとも1つを含むことが好ましい。
個別設定用情報を入力する個別設定用情報入力部をさら備えることが好ましい。
本発明によれば、医療画像において診断の対象となる注目領域を検出した場合などにユーザーに報知するにあたり、報知方法の設定および変更が簡便であることにより、病変等の見逃しを防止することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 第1実施形態の画像解析処理部を示すブロック図である。 報知制御部、ユーザーインターフェースおよび医療業務支援装置を示すブロック図である。 モニターにおける報知設定情報設定画面(初期画面)を示す画像図である。 モニターにおける個別設定用情報選択画面を示す画像図である。 モニターにおけるユーザー情報入力画面を示す画像図である。 モニターにおける報知設定情報表示画面を示す画像図である。 モニターにおける患者情報入力画面を示す画像図である。 モニターにおける報知設定情報表示画面を示す画像図である。 モニターにおける部位情報入力画面を示す画像図である。 モニターにおける報知設定情報表示画面を示す画像図である。 モニターにおける手技情報入力画面を示す画像図である。 モニターにおける報知設定情報表示画面を示す画像図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 モニターにおける報知設定情報設定画面(設定画面)を示す画像図である。 モニターにおける個別設定用情報設定画面(途中画面)を示す画像図である。 第1実施形態の一連の流れを示すフローチャートである。 第2実施形態の画像解析処理部を示すブロック図である。 モニターにおける個別設定用情報選択画面を示す画像図である。 モニターにおける病変情報入力画面を示す画像図である。 モニターにおける報知設定情報表示画面を示す画像図である。 報知設定情報を変更した際のモニターにおける報知設定情報表示画面を示す説明図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 報知実行部が報知設定情報に従い報知を実行することを示す説明図である。 報知設定情報の確認を行うことを示す説明図である。 報知設定情報の確認を行うことを示す説明図である。 複数のLEDを備える光源部を示すブロック図である。 複数のLEDを発光して得られる白色光のスペクトルを示すグラフである。 複数のLEDを発光して得られる特定光のスペクトルを示すグラフである。 レーザ光源を備える光源部と蛍光体を示すブロック図である。 レーザ光源及び蛍光体を用いて発光する白色光のスペクトルを示すグラフである。 レーザ光源及び蛍光体を用いて発光する特定光のスペクトルを示すグラフである。 広帯域光源及び回転フィルタを備える光源部を示すブロック図である。 回転フィルタを示す平面図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニター18と、ユーザーインターフェース19と、を備える。内視鏡12は、観察対象である被写体に照明光を照射し、照明光で照射された被写体を撮像する。光源装置14は、被写体に照射するための照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニター18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、キーボードなどのように、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、被写体に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、ズーム操作部13aが設けられている。ズーム操作部13aを操作することによって、被写体を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)が設けられている。処置具は、鉗子入口12fから鉗子チャンネル内に挿入される。
さらに、操作部12bには、ユーザーインターフェース19の1つであるスコープスイッチ13bが設けられている。スコープスイッチ13bは、リモートアクセスによりプロセッサ装置16等への設定指示等の入力を行う。
図2に示すように、光源装置14は、光源部20と、光源制御部22と、を備える。光源部20は、被写体を照明するための照明光を発光する。光源部20は、1又は複数の光源を備えている。光源制御部22は、光源部20の駆動を制御する。光源制御部22は、光源部20を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮像する。ズームレンズ47は、ズーム操作部13aの操作をすることで移動し、イメージセンサ48を用いて撮像する被写体を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて被写体を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて被写体を順次撮像することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像解析処理部61と、表示制御部66と、報知制御部67と、を有する。制御部52は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、ユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像解析処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、イメージセンサ48から、被写体を撮像した画像を取得する。この画像取得部54で取得する画像は、内視鏡12のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。DSP56は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において被写体を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像解析処理部61は、画像取得部54が取得した医療画像に対して各種の画像処理を施す。本実施形態では、画像解析処理部61において、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する画像処理を行い、注目領域についてユーザーに報知を行う。画像解析処理部61は、医療画像を表示制御部66に送る。画像解析処理部61の詳細については後述する。
表示制御部66は、画像解析処理部61から送られる医療画像および/または後述の報知実行部78が行った画面表示出力指示を用い、モニター18での表示に適した形式に変換してモニター18に出力する。これにより、モニター18には、医療画像が少なくとも表示され、後述の報知制御部67による報知の実行がある場合は、医療画像とともに表示による報知が行われる。
報知制御部67は、ユーザーインターフェース19等から受け付けた報知方法の設定に従い、ユーザーに対して行う報知に関する報知設定情報の設定などを行う。また、報知設定情報に基づいて、モニター18などを制御することにより、表示や音などによって、ユーザーに対して報知を実行する。報知制御部67の詳細については後述する。
なお、本明細書において、「報知」とは、音、振動、画面表示など、ユーザーが認知可能な方法で行う出力をいう。また、「報知設定」とは、どのような方法で報知を行うかの報知内容の設定をいい、「報知設定情報」とは、報知設定を報知制御部67に設定するためデータをいう。
図3に示すように、本例では、画像解析処理部61は、注目領域検出部70を備える。注目領域検出部70は、医療画像から検査または診断の対象として注目すべき注目領域を検出する。注目領域検出部70では、例えば、医療画像に対してConvolutional Neural Networkを用いることの他、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、注目領域の検出を行う。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
なお、注目領域検出部70で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム10においては、注目領域検出部70は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。
図4に示すように、報知制御部67は、報知設定情報選択部72と、報知設定情報記憶部74と、報知設定情報設定部76と、報知実行部78とを備える。報知設定情報設定部76は、報知設定情報を作成し、報知実行部78と報知設定情報記憶部74に送る。報知実行部78は、この報知設定情報に従って報知の出力指示をすることによって報知を実行し、また、報知設定情報記憶部74は、この報知設定情報を保存する。そして、次回、報知設定情報選択部72が、報知設定情報記憶部74に保存されている報知設定情報を、個別設定用情報を用いて検索することにより選択して、これを使用報知設定情報として報知実行部78に送り報知を実行する。個別設定用情報は、報知設定情報と関連付けられてはいるが、報知設定情報と異なる情報として、報知設定情報とともに報知設定情報記憶部74に保存される。報知制御部67がこのように構成されているため、例えば、複数のユーザーが使用し、各ユーザーが任意に報知設定を変更したい場合など、各ユーザーが報知設定情報に記載した詳細な報知方法の報知設定情報を簡便に設定することができる。また、同じユーザーであっても、様々な個別設定用情報を報知設定情報と関連付けたうえで保存するため、患者毎、部位毎または手技毎に設定を変えた適切な報知を、簡便に変更して行うことができる。このように、報知設定情報は、検索可能に構成されている個別設定用情報と結び付けられ、個別設定用情報により検索して選択する。なお、本例では、個別設定用情報は、「ユーザー情報」、「患者情報」、「部位情報」および「手技情報」の4項目を用いる。報知設定情報と、個別設定用情報の少なくとも1つを関連づけることにより、個別設定用情報を用いた報知設定情報の選択が容易となる。場合によっては、1つの報知設定情報と2つ以上の複数の個別設定用情報とを関連付けることもできるし、2つ以上の複数の報知設定情報と1つの個別設定用情報とを関連付けることも可能である。
報知設定情報選択部72は、ユーザーインターフェース19から入力された個別設定用情報を条件として、報知設定情報記憶部74に保存されている報知設定情報から、この条件に合致した報知設定情報を選択し、これを使用報知設定情報として、報知実行部78に送る。本例では、ユーザーインターフェース19として、キーボード(KB)と、マウス(MS)と、フットスイッチ(FS)(図1参照)とを使用している。ユーザーインターフェース19は、個別設定用情報入力部の一例である。
個別設定用情報のうち、ユーザー情報は、ドクターなどのユーザーに関する情報であり、例えば、ドクターであれば、役職や所属、研修医などの立場、専門分野などであってもよいし、名前、ID(identification)、パスワード、医師免許番号、医師の電子署名、医師のイメージ、指紋等の医師の生体認証情報など、各人を識別するための情報であってもよい。また、患者情報は、患者に関する情報であり、例えば、患者ID、パスワード、住所、氏名、年齢、生年月日、性別、患者のイメージ、指紋等の患者の生体認証情報、電話番号、健康保険証番号等の患者を識別するための情報であってもよいし、カルテ番号、病名、血液型、検査種類、検査日付、検査時刻、受付番号、使用検査装置ID、検査画像などの検査結果、処方薬、処方箋番号、装着具に関する情報、担当医師、担当看護師、検査技師、病歴、入院に関する情報、領収書番号などの受診および病歴に関する情報、検査実施日、手術実施日であってもよい。これらには、病院における診断支援装置および/または医療業務支援装置68と共通のID等を使用してもよい。また、部位情報は、医療画像が取得される被写体がどの部位であるかの情報であり、具体的には、胃、大腸、その他の部位名、または、これらの被写体の状態などが挙げられる。また、手技情報は、医療画像を取得した後に行う手技の情報であり、スクリーニング、内視鏡的粘膜下層剥離術(ESD)、内視鏡下ポリープ切除術(ポリペクトミー)など、任意に設定可能である。なお、本例では、個別設定用情報として上述の4項目を用いているが、これらに限らず、任意の項目を設定することができる。
報知設定情報選択部72は、個別設定用情報の入力により、この個別設定用情報に関連付けられた報知設定情報を報知設定情報記憶部74から検索する。検索結果によっては、複数の報知設定情報が該当することもあるが、その場合は、ユーザーが使用したい報知設定情報を、ユーザーインターフェース19により選択する。例えば、モニター18に表示されたこれらの報知設定情報のリストから、ユーザーが使用したい報知設定情報を選択することができる。報知設定情報が選択されると、報知設定情報選択部72は、この報知設定情報を使用報知設定情報として報知実行部78に送る。したがって、報知設定情報は、例えば、ユーザーが選択した、報知実行部が行う画面表示出力指示、音出力指示および振動出力指示の少なくとも1つの指示の情報を含む。
本例において、報知設定情報選択部72により報知設定情報を選択する手順は、以下のとおりである。図5に示すように、最初に、モニター18に、選択領域81を有する報知設定情報設定画面(初期画面)80が表示される。報知設定情報を、報知設定情報記憶部74から呼び出して使用したいユーザーは、選択領域81の「有り」の選択ボタン81aを選択する。その後、図6に示すように、個別設定用情報選択領域83を有する個別設定用情報選択画面82において、今回使用したい報知設定情報が関連付けられている個別設定用情報の種類を個別領域設定用情報選択ボタン83a〜83dにより選択する。次に、個別設定用情報の種類別に必要とされる情報を入力することにより、報知設定情報記憶部74に保存された報知設定情報からユーザーが選択した報知設定情報が選択され、使用報知設定情報とされる。
個別設定用情報選択画面82において、個別設定用情報の種類として、ユーザー情報を選択した場合、図7に示すように、ユーザー情報入力領域85を有するユーザー情報入力画面84が表示される。ユーザー情報入力領域85は、個別設定用情報であるユーザーのIDまたはユーザーの名前を入力する領域を有する。ユーザーは、使用したい報知設定情報と関連付けられた個別設定用情報であるユーザーのIDまたはユーザーの名前を、ユーザーインターフェース19を用いて入力する。入力された個別設定用情報であるユーザーのIDまたはユーザーの名前と関連付けられた報知設定情報が報知設定情報記憶部74に存在する場合、図8に示すように、選択された報知設定情報の詳細が、報知設定情報詳細表示領域87を有する報知設定情報表示画面86により確認できる。報知設定情報表示画面86はモニター18に表示される。本例では、報知設定情報詳細表示領域87において、ユーザーAの個別設定用情報であれば「報知:有」と表示され、報知が実行されることを示す。また、「音:大」と表示され、報知が音出力により実行され、その音量は大きいレベルであることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間10秒」と表示され、報知が画面表示出力により実行され、その表示時間は10秒であることを示す。
同様に、個別設定用情報選択画面82(図6参照)において、個別設定用情報の種類として、患者情報を選択した場合、図9に示すように、患者情報入力領域89を有する患者情報入力画面88がモニター18に表示される。患者情報入力領域89は、個別設定用情報である患者のIDまたは患者の名前を入力する領域を有する。ユーザーは、使用したい報知設定情報と関連付けられた個別設定用情報である患者のIDまたは患者の名前を、ユーザーインターフェース19を用いて入力する。入力された個別設定用情報である患者のIDまたは患者の名前と関連付けられた報知設定情報が報知設定情報記憶部74に存在する場合、図10に示すように、選択された報知設定情報の詳細が、報知設定情報詳細表示領域87を有する報知設定情報表示画面86により確認できる。本例では、報知設定情報詳細表示領域87において、患者Kの個別設定用情報であれば「報知:無」と表示され、報知は実行されないことを示す。報知が実行されないため、「音」、「振動」、「表示態様」の領域は、これらに関する報知設定情報が無いことを意味する記号「−」が表示される。
個別設定用情報選択画面82(図6参照)において、個別設定用情報の種類として、部位情報を選択した場合、図11に示すように、部位情報入力領域91を有する部位情報入力画面90がモニター18に表示される。部位情報入力領域91は、個別設定用情報である部位を部位情報選択ボタン91a〜91dにより選択する領域を有する。ユーザーは、使用したい報知設定情報と関連付けられた個別設定用情報である部位選択ボタンを、ユーザーインターフェース19を用いて入力する。入力された個別設定用情報である部位と関連付けられた報知設定情報が報知設定情報記憶部74に存在する場合、図12に示すように、選択された報知設定情報の詳細が、報知設定情報詳細表示領域87を有する報知設定情報表示画面86により確認できる。本例では、報知設定情報詳細表示領域87において、大腸の個別設定用情報の場合であれば「報知:有」と表示され、報知が実行されることを示す。また、「音:小」と表示され、報知が音出力により実行され、その音量は小さいレベルであることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:無」と表示され、報知が画面表示出力によっては実行されないことを示す。
同様に、個別設定用情報選択画面82(図6参照)において、個別設定用情報の種類として、手技情報を選択した場合、図13に示すように、手技情報入力領域93を有する手技情報入力画面92がモニター18に表示される。手技情報入力領域93は、個別設定用情報である手技をボタンにより選択する領域を有する。ユーザーは、使用したい報知設定情報と関連付けられた個別設定用情報である手技情報選択ボタン93a〜93cを、ユーザーインターフェース19を用いて入力する。入力された個別設定用情報である手技と関連付けられた報知設定情報が報知設定情報記憶部74に存在する場合、図14に示すように、選択された報知設定情報の詳細が、報知設定情報詳細表示領域87を有する報知設定情報表示画面86により確認できる。本例では、報知設定情報詳細表示領域87において、スクリーニングの場合であれば「報知:有」と表示され、報知が実行されることを示す。また、「音:連続」と表示され、報知が音出力により実行され、そのパターンは連続音であることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間10秒」と表示され、報知が画面表示出力により実行され、その表示時間は10秒であることを示す。
なお、個別設定用情報を入力せず、空欄にした場合は、通常用いられる報知設定が含まれる初期設定の報知設定情報が設定される。また、装置が、患者情報及び/または診断情報が保存される情報記憶部79を有する医療業務支援装置68と接続されている場合は、報知設定情報選択部72は、情報記憶部79から読み出した患者情報及び/または診断情報を個別設定用情報として、使用報知設定情報を選択することができる(図4参照)。例えば、ユーザーインターフェース19以外の医療業務支援装置68から取得した患者情報及び/または診断情報を個別設定用情報とすることによって、ユーザーインターフェース19以外から個別設定用情報を入力でき、使用報知設定情報を報知設定情報設定部76に設定することができる。また、後述するように、内視鏡システム10を用いて個別設定用情報を入力することもできる。
情報記憶部79が保存する情報は、例えば、カルテなどに記載した情報を含み、前述した患者情報、診断情報等を含む。診断情報は、前述したユーザー情報、部位情報、手技情報および病変情報のうち少なくとも1つを含み、さらに、内視鏡オーダー情報および内視鏡検査情報を含む。内視鏡オーダー情報は、例えば、ユーザーが特定患者の検査を行うにあたり、医療業務支援装置68に事前に入力する、患者名または患者ID、検査内容、処置内容など、検査に必要な予約情報を含む。また、内視鏡オーダー情報は、内視鏡システム10で直接情報を入力することができ、医療業務支援装置68から内視鏡システム10に情報を送ることも可能である。内視鏡検査情報は、例えば、過去に検査を行った患者であれば、上記内視鏡オーダー情報に加えて、病変の内容、生検内容、処置内容等を含み、診断経過情報等も含む。
また、画像解析処理部61が、注目領域の検出および病変の内容の判定に加え、手技に用いる処置具の検出を行うことができるように構成した場合は、処置具を検出した際に、その処置具を用いる手技を、手技情報とすることができる。この場合は、この手技情報を個別設定用情報として、使用報知設定情報を選択することができる。
なお、入力については、個別設定用情報の選択などができるものであれば、入力手段は限られない。ただし、例えば、内視鏡12の使用中にユーザーが変更を希望した場合に報知方法を適宜修正できるよう、なるべく入力がユーザーにとって容易である手段であることが好ましい。したがって、ユーザーインターフェース19であるキーボードKBおよびマウスMSの他にも、例えば、上記のような画面上の各入力領域を、プルダウンボタンによりメニュー一覧が表示されるように構成し、このメニュー一覧の中から希望のものを選択できるようにすれば、モニター18のタッチ入力、内視鏡操作部12bのスコープスイッチ13b(図1参照)、フットスイッチFSの切替用スイッチSBおよび確定用スイッチDB(図1参照)、マイクによる音声入力なども使用可能である。また、ICタグ、生体認証などによるユーザー情報を入力する場合には、ICタグ読取装置、カメラなど、それぞれに適した入力手段を用いることができる。入力手段について、変更、修正が、スコープスイッチ13bやフットスイッチFSで選択できるように構成することにより、特に検査中、ユーザーは煩雑な操作を行うことなく報知設定の変更ができるため好ましい。
報知実行部78は、報知設定情報選択部72または報知設定情報設定部76から送られる使用報知設定情報に従い、音出力、振動出力および画面出力などの指示を、それぞれ、音発生手段、振動発生手段および画面表示手段に送り、報知を実行する。報知実行部78が送る出力指示としては、人の感覚器官によって認識できるものを出力する指示であればよく、画面表示出力、光出力、音出力または振動出力が挙げられる。したがって、出力を行う手段としては、モニター18などのユーザーインターフェース19が挙げられる。具体的には、画面出力を行うモニター18のほか、モニター18に設けられた音出力を行うスピーカー、振動出力を行う振動子なども挙げられる。入力手段に出力手段を設けた入出力手段であってもよく、ユーザーインターフェース19であるキーボードKB、マウスMS、モニター18またはフットスイッチFSにスピーカーまたは振動子が設けられてもよい。また、医療画像処理装置である内視鏡システム10の内視鏡12の操作部12bに振動子を備え、内視鏡12をユーザーが使用している最中に、ユーザーが操作部12bの振動パターンなどにより、各種の報知を受け取ることもできる。操作部12bに、振動子の他に、音出力を行うスピーカー、光出力を行うLED等の発光手段、画面出力を行うディスプレイ等の出力手段を設けても良い。操作部12bに出力手段が設けられた場合、例えばモニター18のスピーカーにより音で報知がされる場合に比べ、出力手段がユーザーの近くにあるため、報知が外界の音などに紛れるおそれがなく、ユーザーが確実に報知を受け取ることができる。また、これらの入出力手段の接続方法は問わず、有線であってもWiFi、ICタグ等の無線であってもよい。
本例において、報知実行部78による報知は、以下のように実行される。個別設定用情報としてユーザー情報を選択し、ユーザーIDと関連付けられている報知設定情報を設定した場合(図7および図8参照)、この報知設定情報に従い報知が実行される。すなわち、図15に示すように、ユーザーAが使用する場合、取得した画像に注目領域が検出されると、モニター18に設けられているスピーカーから大きめの音により所定の音が出力され、モニター18の画面の一部に注目領域が検出された旨の表示が出現する。また、注目領域との画面表示による報知は、「10秒間」表示される。本例では、報知設定情報とユーザーIDとが関連付けられ、報知設定情報はユーザー毎に設定される。設定した報知設定情報は、報知設定情報記憶部74に記憶され、報知設定情報選択部72により、容易に再設定が可能である。したがって、ユーザーの技量または熟練度などにより、報知をどのようにするかの詳細な設定を容易に行うことができ、初心者から熟練者まで、診断しやすく見逃し防止に効果的な装置とすることが可能となる。
次に、再検査の患者であり、目的の観察箇所が予め決まっている被検者(患者K)に対して画像取得を行う場合は、特定の箇所について報知を行わない報知設定情報を設定する。この場合、個別設定用情報として患者情報を選択し、患者KのIDを入力し、患者Kと関連付けられている報知設定情報を設定する(図9および図10参照)。図16に示すように、患者Kは胃の特定の箇所の病変に関して経過観察としての再検査が何度か行われているので、この部分から取得した画像に注目領域が検出されても報知がされない。
次に、個別設定用情報として部位情報を選択し、部位名と関連付けられている報知設定情報を設定した場合(図11および図12参照)、大腸は比較的注目領域が認識されやすい部位であるため、報知設定情報として比較的小さい音の出力を設定する。したがって、図17に示すように、大腸において注目領域が検出されると、モニター18に設置されているスピーカーから小さい音が出力されるのみであり、モニター18の画面に注目領域が検出された旨の表示は出現しない。
次に、手技情報を選択し、手技名と関連付けられている報知設定情報を設定した場合(図13および図14参照)、スクリーニングの場合は注目領域を検出することが目的であるため、報知設定情報として音の出力について、連続音を設定している。したがって、図18に示すように、スクリーニングにおいて注目領域が検出されると、モニター18に設置されているスピーカーから連続音が出力され、モニター18の画面の一部に注目領域が検出された旨の表示が「10秒間」行われる。一方、例えば、ESDと関連付けられている報知設定情報を設定した場合は、処置箇所が予めきまっているため、注目領域が検出されても報知しない内容で報知設定情報が設定される。したがって、注目領域が検出されても報知はされない。なお、この場合に、別の病変が見つかり、付近を検査する必要が生じた際などは、その場で報知設定を変更可能である。変更した報知設定は、後述するように、自動保存される。以上のように、報知設定情報には、報知自体をどのように行うかのみならず何を報知するかが含まれた詳細な報知方法を設定することが可能である。しかも、これらの報知設定情報を簡便に設定することができる。したがって、以上のような構成により、各ユーザーに対して報知を適切に設定でき、注目領域等の見逃しを防止できる。
報知設定情報設定部76は、個別設定用情報に関連付けられた報知設定情報を新たに作成し、この報知設定情報を報知設定情報記憶部74と、場合により報知実行部78とに送る。個別設定用情報が存在しない場合、または、個別設定用情報に関連付けられた報知設定情報を変更した場合には、報知設定情報設定部76により、個別設定用情報に関連付けられた報知設定情報が新たに作成される。個別設定用情報が存在しない場合とは、例えば、本例で用いる4つの個別設定用情報の項目において、新規なユーザー、患者などを追加する場合である。具体的には、ユーザーが初めて使用する場合などであり、この場合はこのユーザーの個別設定用情報に関連付けられた報知設定情報が報知設定情報記憶部74に無い。また、現在設定されている報知設定情報に変更を加えた上で保存したい場合もある。このような場合のために、報知設定情報設定部76は、報知設定情報が作成または変更される毎に、この報知設定情報を保存する。保存は、通常は指示をせずとも行われる自動保存による。
本発明では、画像解析処理結果に関しユーザーに対し報知設定に従い報知が行われる。本例では、画像解析処理部61の注目領域検出部70により注目領域が検出された場合に、報知設定情報に従って報知が行われる。したがって、報知設定情報には、注目領域が検出された場合にどのように報知を行うかの設定が含まれる。このような報知設定の内容としては、音、振動、画面表示態様の変更が挙げられる。音出力により報知する場合は、音出力の場所、音の種類、パターン、ボリュームなどをそれぞれ設定することができる。また、振動出力により報知する場合は、振動出力の場所、振動の種類、パターン、程度などをそれぞれ設定することができる。また、画面出力により報知する場合は、画面上における、報知画面を表示する位置、報知画面のサイズ、報知画面の強調の仕方、報知画面の表示時間などをそれぞれ設定することができる。これらは、携帯電話の着信音のように、さまざまな報知設定を組み合わせることにより、特定の内容の報知を行うように設定することができる。なお、報知手段は、音、振動、画面表示態様の変更に限られず、前述したように、ユーザーが認識可能であるものならば使用可能である。
本例では、報知設定情報設定部76は、以下のように個別設定用情報に関連付けられた報知設定情報を作成する。報知設定情報設定画面(初期画面)80(図5参照)において、個別設定用情報について、「無し」81bを選択すると、ユーザーが使用したい個別設定用情報に関連付けられた報知設定情報が報知設定情報記憶部74に存在しないとみなして、図19に示すとおり、報知設定情報入力領域95を有する報知設定情報設定画面(設定画面)94を表示して、報知設定情報を作成するよう促す。なお、本例では、報知設定情報入力領域95は、モニター18において、逆三角形のアイコンをクリックすることにより、選択肢がポップアップで表示されるように構成されている。報知設定情報入力領域95では、各報知設定項目のそれぞれについて、報知設定情報選択ボタン95a〜95dを選択することにより、希望の内容を選択する。まず、報知の「有り」または「無し」を選択する。「無し」を選択した場合は、以下の入力は促されない。報知の「有り」を選択した場合は、例えば、音の項目である音量について「大」および音のパターンについて「連続音」、振動の項目について「連続」、表示態様の項目について「10秒」を選択すると、注目領域が検出された場合など、報知が実行される際には、所定のスピーカーから、連続音で大きい音が連続して出力され、振動手段が連続して振動し、モニター18の一部に画面表示が10秒間行われる報知が実行される。報知設定情報入力領域95において入力が完了し、報知設定の内容が決定した後、図20に示すように、個別設定用情報入力領域97を有する個別設定用情報設定画面(途中画面)96が表示され、個別設定用情報選択ボタン97a〜97dを選択することにより、この報知設定情報と関連付ける個別設定用情報を決定するよう促される。例えば、ここで、個別設定用情報としてユーザー情報を選択すると、ユーザー情報入力画面84(図7参照)により、ユーザーを識別するユーザーID等の入力が促され、個別設定用情報と関連づけられた報知設定情報の作成が完了する。
報知設定情報設定部76がこのように構成されることにより、報知設定情報の保存が自動で行われ、ユーザーが煩雑な操作を行うことなく、最適な報知方法に設定できる。なお、個別設定用情報を関連づけられていない報知設定情報がある場合は、報知設定情報設定部76はユーザーに個別設定用情報を関連付けるよう求める。個別設定用情報を関連づけられていない報知設定情報がある場合とは、例えば、報知設定情報による設定がされ医療画像取得中などに設定を変更した場合などであり、報知設定情報がどの個別設定用情報と関連付けるべきか不明な場合が挙げられる。
報知設定情報記憶部74は、報知設定情報設定部76により作成された個別設定用情報に関連付けられた報知設定情報を、報知設定情報設定部76が作成する毎に保存する。また、報知設定情報記憶部74は報知設定情報選択部72と接続され、報知設定情報選択部72は、報知設定情報記憶部74に保存された報知設定情報から、ユーザーの指示に従い、使用する報知設定情報(使用報知設定情報)を選択する。報知設定情報設定部76が報知設定情報を作成する毎に報知設定情報記憶部74に保存されるとは、個別設定用情報に関連付けられた報知設定情報がすでにある場合に、これらの情報(個別設定用情報と報知設定情報)のいずれかが変更された場合に、自動的にその変更された情報が報知設定情報記憶部74に保存される場合などをいう。なお、この場合、ユーザーが指示しない限り、変更前の情報が削除されないようにすることができる。ユーザーは、変更前と変更後の情報を、保存しておくこともできるし、更新することもできる。報知設定情報記憶部74がこのように構成されているため、ユーザーの負担なく、適切な報知設定情報が保存される。したがって、ユーザーは特定の場合に適切に設定された報知設定を簡便に使用することができ、病変などの見逃しを防止することができる。
次に、本実施形態を一連の流れに沿って説明する。図21に示すように、ユーザーは、最初に、使用する報知設定情報を選択、作成または変更するために、個別設定用情報に関する入力を行う(図5参照)。使用したい報知設定情報に関連付けられている個別設定用情報を有する場合は、個別設定用情報の入力を行う(図6参照)。入力された内容に従い、報知設定情報選択部72は、報知設定情報記憶部74に保存されている報知設定情報を選択し、使用報知設定情報として、報知実行部78に送る。医療画像取得に進み、注目領域が検出された場合は、この報知設定に従って報知が行われる。使用したい報知設定情報に関連付けられている個別設定用情報を有しない場合は、報知設定情報作成を行った後(図19、20参照)、上記と同様、医療画像取得へ進み、医療画像取得中、注目領域が検出されると、報知設定情報に従った報知が行われる。
医療画像取得中に、報知設定を修正して報知設定情報の変更がある場合は、変更後の報知設定情報について、変更前のものに上書きをするか、新しく保存するか、選択できるが、検査終了時に使用されている報知設定情報は、使用報知設定情報とされて保存される。したがって、次回検査時にも、同じ報知設定により報知を行うことができる。
以上の一連の処理は、内視鏡による検査が終了するまで、繰り返し行われる。
[第2実施形態]
本実施形態では、個別設定用情報として、病変のサイズ等の病変情報を用いて報知設定情報の選択を行う。図22に示すように、画像解析処理部61は、注目領域検出部70に加え、病変判定部98を有する。病変判定部98は、注目領域検出部70が検出した注目領域に対して、病変の内容を示す病変情報の判定を行う。この判定結果に基づき、病変の内容によって異なる報知を行う。図22〜30において、図1〜21と同じ符号を付す装置等は、第1実施形態にて説明したとおりであるので説明を略す。本例では、注目領域検出部70と同様に、病変判定部98においても、例えば、医療画像に対してConvolutional Neural Networkを用いることの他、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、病変の内容を示す病変情報の判定を行う。本例では、病変情報として、病変サイズ、病変の種別および内視鏡12の先端部12dと病変との距離(病変距離)を用いる。病変サイズは、病変と判定される部分の面積であり、例えば「大」、「中」、「小」の3段階が含まれる。また、5mm以上のポリープというように、病変の大きさを閾値として指定してもよい。病変の種別は、腫瘍であってその悪性度の別をいい、例えば、良性腫瘍(HP(Hyperplastic Polyp))、悪性腫瘍が含まれる。また、病変との距離には、病変との距離が一定距離以上の遠景、病変との距離が一定距離未満の近景が含まれる。
本例では、報知設定情報を選択するための個別設定用情報として、病変情報を用いる。この場合、第1実施形態と同様に、報知設定情報を報知設定情報記憶部74から読み出して使用したユーザーは、報知設定情報選択画面(初期画面)80の選択領域の選択ボタン「有り」81aを選択する(図5参照)。その後、図23に示すように、個別設定用情報選択画面82に、「病変情報」83eを含む個別設定用情報が表示される。
個別設定用情報選択画面82において、個別設定用情報として、病変情報を選択した場合、図24に示すように、病変情報入力領域101を有する病変情報入力画面100がモニター18に表示される。病変情報入力領域101は、複数の病変情報の中からいずれかの病変情報を病変情報選択ボタン101a〜101cにより選択する領域を有する。病変情報選択ボタンはユーザーインターフェース19を用いて入力する。
病変情報選択ボタン101a〜101cにより、複数の病変情報の中からいずれかの病変情報が選択されると、図25に示すように、選択された病変情報の報知設定情報の詳細が、報知設定情報詳細表示領域87を有する報知設定情報表示画面86に表示される。図25に示す本例では、病変情報として「病変サイズ」が選択され、「病変サイズ」の報知設定情報が報知設定情報表示画面86に表示される。
「病変サイズ」の報知設定情報としては、例えば、病変サイズが「大」の場合には、「報知:無」と表示され、報知が実行されないことを示す。報知が実行されないため、「音」、「振動」、「表示態様」の領域は、これらに関する報知設定情報が無いことを意味する記号「−」が表示される。
病変サイズが「中」の場合には、「報知:有」と表示され、報知が実行されることを示す。また、「音:連続」と表示され、報知が連続音による音出力により実行されることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間10秒」と表示され、報知が画面表示出力により実行され、その表示時間は10秒であることを示す。
病変サイズが「小」の場合には、「報知:有」と表示され、報知が実行されることを示す。また、「音:大」と表示され、報知が大きいレベルの音による音出力により実行されることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間30秒」と表示され、報知が画面表示出力により実行され、その表示時間は30秒であることを示す。
なお、図示は省略するが、病変情報として「病変種別」が選択された場合には、「病変種別」の報知設定情報が報知設定情報表示画面86に表示される。「病変種別」の報知設定情報としては、例えば、病変種別が「良性腫瘍」の場合には、「報知:無」が表示され、報知が実行されないことを示す。報知が実行されないため、「音」、「振動」、「表示態様」の領域は、これらに関する報知設定情報が無いことを意味する記号「−」が表示される。病変種別が「悪性腫瘍」の場合には、「報知:有」と表示され、報知が実行されることを示す。また、「音:大」と表示され、報知が大きめの音による音出力により実行されることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間30秒」と表示され、報知が画面表示出力により実行され、その表示時間は30秒であることを示す。
また、病変情報として「病変距離」が選択された場合には、「病変距離」の報知設定情報が報知設定情報表示画面86に表示される。「病変距離」の報知設定情報としては、例えば、病変距離が「遠景」の場合には、「報知:有」と表示され、報知が実行されることを示す。また、「音:大」と表示され、報知が大きめの音による音出力により実行されることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間30秒」と表示され、報知が画面表示出力により実行され、その表示時間は30秒であることを示す。
病変距離が「近景」の場合には、「報知:有」と表示され、報知が実行されることを示す。また、「音:連続」と表示され、報知が連続音による音出力により実行されることを示す。また、「振動:無」と表示され、報知が振動出力によっては実行されないことを示す。また、「表示態様:表示時間10秒」と表示され、報知が画面表示出力により実行され、その表示時間は10秒であることを示す。
なお、病変情報の報知設定情報の内容は適宜変更が可能である。図26の上の図は変更前の病変情報による報知設定情報画面86であり(図25参照)、図26の下の図は病変情報の報知設定情報の内容を変更した後の病変情報による報知設定情報表示画面86である。変更前は、病変サイズが「大」の場合には報知せず、病変のサイズとして中と小とが判定された場合に報知をする設定にしていたのを、大と中とは報知を行わず、小と判定された場合のみ報知を行うようにするように変更する。報知設定情報設定部76が作成した、変更された報知設定情報は、報知設定情報記憶部74に保存され、いずれかの病変サイズの病変情報を指定することにより、これに関連付けられた報知設定情報として再度設定することが容易である。
本例において、報知実行部78による報知は、以下のように実行される。病変情報として「病変サイズ」を選択し、病変サイズと関連付けられている報知設定情報を設定した場合(図25参照)、この報知設定情報に従って報知がされる。すなわち、図27に示すように、取得した画像にサイズが「小」である病変があると判定されると、報知が行われ、モニター18に設置されているスピーカーから音が出力され、また、モニター18の画面にも画像が出力される。
次に、図28に示すように、取得した画像にサイズが「大」である病変があると判定されると、報知は行われない。したがって、モニター18に設置されているスピーカーから音が出力されず、また、モニター18の画面にも画像が出力されない。
なお、報知を行わない場合であっても、無報知であることが、注目領域検出部70によって注目領域が検出されないことによる無報知(未検出による無報知)であるか、もしくは、報知設定情報において報知を行わないように設定している(設定による無報知)のかが分からない場合がある。これに対しては、未検出による無報知、又は設定による無報知のいずれかを確認することができる。確認は、例えば、内視鏡の操作部14に設けられた確認ボタン13cにより行うことができる。
例えば、図29に示すように、報知設定情報において病変サイズが「大」の場合には、報知が行われない。この場合には、ユーザーが確認ボタン13cを操作することにより、図29に示すように、「病変サイズが「大」のため無報知としました」とのメッセージがモニター18に表示される。これにより、ユーザーは、報知設定情報により無報知となったことを認識することができる。
一方、ユーザーが病変の可能性がある領域を見つけたにも関わらず、注目領域検出部70によって注目領域が検出されず、注目領域検出による報知が行われない場合がある。この場合には、図30に示すように、ユーザーが確認ボタン13cを操作することにより、「「注目領域未検出」のため無報知としました」とのメッセージがモニター18に表示される。これにより、ユーザーは、注目領域の未検出により無報知となったことを認識することができる。
以上のとおり、本例では、病変判定部98と報知制御部67とを有する構成としているため、ユーザーが任意に報知のレベルを設定することができ、また、ユーザーの技量または熟練レベルに合わせることができる。したがって、比較的発見しやすい病変であっても報知を行うことが好ましい初心者から、過度な報知を低減することが好ましい熟練者まで、診断しやすい装置とすることが可能となる。また、ユーザーが自分のレベルを客観的に評価する目安として、報知を利用することもできる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理装置に対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
なお、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像であることが好ましい。
医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、特定の波長帯域の光は白色帯域よりも狭い帯域であることが好ましい。特定の波長帯域は可視域の青色もしくは緑色帯域に含まれることが好ましい。特定の波長帯域は390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下、または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は可視域の赤色帯域に含まれることが好ましい。特定の波長帯域は、585nm以上615nm以下、または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下、または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域にピーク波長を有することが好ましい。特定の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。蛍光は、ピーク波長が390以上470nm以下の波長待機に含まれる励起光を生体内に照射して得られることが好ましい。
医療画像は生体内を写した生体内画像であり、特定の波長帯域は赤外光の波長帯域であることが好ましい。特定の波長帯域は、790nm以上820nm以下、又は905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下、又は905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、医療画像は特殊光画像であることが好ましい。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得られることが好ましい。
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって、演算画像を生成する演算画像生成部を有し、医療画像は演算画像であることが好ましい。
上記実施形態において、画像解析処理部61に含まれる注目領域検出部70および病変判定部98ならびに報知制御部67に含まれる報知設定情報選択部72、報知設定情報記憶部74、報知設定情報設定部76および報知実行部78といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、上記実施形態では、図31に示すように、光源部20として、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを用いて、照明光の発光を行うことが好ましい。
V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。
白色帯域の光(白色光)を発光する場合、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。これにより、図32に示すように、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。特定の波長帯域の光(特定光)として、440±10nmの波長帯域にピーク波長を有する特定光を発光する場合、例えば、図33に示すように、青色光Bxの発光量が、紫色光V、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなる特定光が発せられる。
また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、図34に示すように、光源部20には、ピーク波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、ピーク波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、観察対象の体内を照明する。
ここで、白色光を発光する場合には、青色レーザ光源104が点灯して、主として青色レーザ光が蛍光体110に入射するため、図35に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が発せられる。一方、特定の波長帯域の光(特定光)として、440±10nmの波長帯域にピーク波長を有する特定光を発光する場合には、青色レーザ光源104及び青紫色レーザ光源106が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体110に入射させる。これにより、図36に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特定光が発せられる。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、図37に示すように、光源部20には、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、広帯域光源202と回転フィルタ204との間には絞り203が設けられており、この絞り203は絞り制御部205によって開口部の面積が調整される。絞り制御部205は、プロセッサ装置16からの調光信号に基づいて絞り203の制御を行う。
広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ204は、回転軸に一番近い内側に設けた通常モード用フィルタ210と、この白色光用フィルタ210の外側に設けた特定光用フィルタ212とを備えている(図38参照)。
フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、白色光を発光する場合に、白色光用フィルタ210を広帯域光の光路に挿入する。フィルタ切替部206は、特定の波長帯域の光(特定光)を発光する場合に、特定光用フィルタ212を広帯域光の光路に挿入する。
図38に示すように、白色光用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、広帯域光のうち400〜500nmの波長範囲を持つ広帯域の青色光Bを透過する。Gフィルタ210bは、広帯域光のうち緑色光Gを透過する。Rフィルタ210cは、広帯域光のうち赤色光Rを透過する。したがって、白色光を発光する場合には、回転フィルタ204が回転することで、白色光として、青色光B、緑色光G、赤色光Rが順次照射される。
特定光用フィルタ212には、周方向に沿って、Bnフィルタ212aと、Gフィルタ212bとが設けられている。Bnフィルタ212aは、広帯域光のうち400〜450nmの青色狭帯域光Bnを透過する。Gフィルタ212bは、広帯域光のうち緑色光Gを透過する。したがって、特定光を発光する場合には、回転フィルタ204が回転することで、特定光として、青色狭帯域光Bn、緑色光Gが、観察対象に向けて、順次照射される。
キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、白色光の照明時には、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるB画像、G画像、R画像によって、白色光の成分を備える画像を生成する。また、特定光の照明時には、青色狭帯域光Bn、緑色光Gで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるBn画像、G画像によって、特定光の成分を備える画像を生成する。
10 内視鏡システム(医療画像処理装置)
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 鉗子入口
13a ズーム操作部
13b スコープスイッチ
13c 確認ボタン
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
KB キーボード
MS マウス
FS フットスイッチ
SB 切替用スイッチ
DB 確定用スイッチ
20 光源部
20a V−LED
20b B−LED
20c G−LED
20d R−LED
22 光源制御部
41 ライトガイド
30a 照明光学系
30b 撮像光学系
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理解析部
66 表示制御部
67 報知制御部
68 医療業務支援装置
70 注目領域検出部
72 報知設定情報選択部
74 報知設定情報記憶部
76 報知設定情報設定部
78 報知実行部
79 情報記憶部
80 報知設定情報設定画面(初期画面)
81 選択領域
81a、81b 選択ボタン
82 個別設定用情報選択画面
83 個別設定用情報選択領域
83a、83b、83c、83d 個別設定用情報選択ボタン
84 ユーザー情報入力画面
85 ユーザー情報入力領域
86 報知設定情報表示画面
87 報知設定情報詳細表示領域
88 患者情報入力画面
89 患者情報入力領域
90 部位情報入力画面
91 部位情報入力領域
91a、91b、91c、91d 部位情報選択ボタン
92 手技情報入力画面
93 手技情報入力領域
93a、93b、93c 手技情報選択ボタン
94 報知設定情報設定画面(設定画面)
95 報知設定入力領域
95a、95b、95c、95d 報知設定情報選択ボタン
96 個別設定用情報設定画面(途中画面)
97 個別設定用情報入力領域
97a、97b、97c、97d 個別設定用情報選択ボタン
98 病変判定部
100 病変情報入力画面
101 病変情報入力領域
104 青色レーザ光源
106 青紫色レーザ光源
110 蛍光体
202 広帯域光源
203 絞り
204 回転フィルタ
205 絞り制御部
206 フィルタ切替部
210a Bフィルタ
210b Gフィルタ
210C 210c
212a Bnフィルタ
212b Gフィルタ

Claims (14)

  1. 被写体を含む医療画像を取得する画像取得部と、
    前記医療画像の画像解析処理を行う画像解析処理部と、
    前記画像解析処理結果を報知設定情報に従いユーザーに報知する報知実行部と、
    前記報知設定情報を、前記報知設定情報と異なる個別設定用情報と関連付けて保存する報知設定情報記憶部と、
    前記報知設定情報記憶部に保存された前記報知設定情報の中から、前記個別設定用情報を用いて使用報知設定情報を選択する報知設定情報選択部と、
    を有し、
    前記報知実行部は、前記使用報知設定情報の設定に従い、前記報知を行う医療画像処理装置。
  2. 前記個別設定用情報は、前記ユーザーに関するユーザー情報である請求項1記載の医療画像処理装置。
  3. 前記個別設定用情報は、前記被写体を有する患者の患者情報である請求項1記載の医療画像処理装置。
  4. 前記個別設定用情報は、部位を表す部位情報である請求項1記載の医療画像処理装置。
  5. 前記個別設定用情報は、前記医療画像の取得時に行う手技を表す手技情報である請求項1記載の医療画像処理装置。
  6. 前記画像解析処理部は、前記画像解析処理として、前記医療画像から注目領域を検出する注目領域検出部と、前記注目領域に対して病変の内容を示す病変情報の判定を行う病変判定部を有し、
    前記個別設定用情報は、前記病変情報である請求項1記載の医療画像処理装置。
  7. 前記病変情報は、前記病変のサイズまたは前記病変の種別である請求項6記載の医療画像処理装置。
  8. 前記報知実行部は、画面表示出力指示、音出力指示および振動出力指示の少なくとも1つを行う請求項1〜7のいずれか1項に記載の医療画像処理装置。
  9. 前記画面表示出力は、画像および/または文字情報である請求項8記載の医療画像処理装置。
  10. 前記報知実行部は、前記ユーザーの指示により、前記使用報知設定情報と前記報知との関連を示す前記画面表示出力を行う請求項1〜9のいずれか1項に記載の医療画像処理装置。
  11. 前記報知設定情報は、前記報知実行部が行う前記画面表示出力指示、前記音出力指示および前記振動出力指示の少なくとも1つの指示を含み、
    前記指示は、前記ユーザーが選択する請求項1〜10のいずれか1項に記載の医療画像処理装置。
  12. 前記患者情報及び/または診断情報が保存される情報記憶部を有する医療業務支援装置と接続され、
    前記報知設定情報選択部は、前記情報記憶部から読み出した前記患者情報及び/または前記診断情報を前記個別設定用情報とし、前記使用報知設定情報を選択する請求項1〜11のいずれか1項に記載の医療画像処理装置。
  13. 前記診断情報は、前記ユーザー情報、前記部位情報、前記手技情報および前記病変情報のうち少なくとも1つを含む請求項12記載の医療画像処理装置。
  14. 前記個別設定用情報を入力する個別設定用情報入力部をさらに備える請求項1〜13のいずれか1項に記載の医療画像処理装置。
JP2019549239A 2017-10-20 2018-10-12 医療画像処理装置 Active JP7059297B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017203863 2017-10-20
JP2017203863 2017-10-20
PCT/JP2018/038061 WO2019078102A1 (ja) 2017-10-20 2018-10-12 医療画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019078102A1 true JPWO2019078102A1 (ja) 2020-10-22
JP7059297B2 JP7059297B2 (ja) 2022-04-25

Family

ID=66173704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549239A Active JP7059297B2 (ja) 2017-10-20 2018-10-12 医療画像処理装置

Country Status (3)

Country Link
US (2) US11379977B2 (ja)
JP (1) JP7059297B2 (ja)
WO (1) WO2019078102A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021029293A1 (ja) * 2019-08-13 2021-02-18
JP7290729B2 (ja) * 2019-08-13 2023-06-13 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援装置の作動方法、及び画像診断支援プログラム
EP4088645A4 (en) * 2020-01-10 2023-03-29 NEC Corporation ENDOSCOPY ASSISTANT DEVICE, ENDOSCOPY ASSISTANT METHOD AND COMPUTER READABLE RECORDING MEDIA
WO2023038004A1 (ja) * 2021-09-08 2023-03-16 富士フイルム株式会社 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
JPWO2023038005A1 (ja) * 2021-09-08 2023-03-16
CN114359190B (zh) * 2021-12-23 2022-06-14 武汉金丰塑业有限公司 一种基于图像处理的塑料制品成型控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004188026A (ja) * 2002-12-12 2004-07-08 Olympus Corp 情報処理装置
WO2005011501A1 (ja) * 2003-08-01 2005-02-10 Hitachi Medical Corporation 医用画像診断支援装置及び方法
JP2009072369A (ja) * 2007-09-20 2009-04-09 Olympus Medical Systems Corp 内視鏡システム
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2012000291A (ja) * 2010-06-17 2012-01-05 Jms Co Ltd 血液透析監視システム、中央監視装置、中央監視装置の制御プログラム及び透析監視方法
JP3194808U (ja) * 2014-09-29 2014-12-11 レイシスソフトウェアーサービス株式会社 所見入力支援装置
JP2016045573A (ja) * 2014-08-20 2016-04-04 富士通株式会社 制御方法、制御装置および制御プログラム
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538761B2 (en) 2002-12-12 2009-05-26 Olympus Corporation Information processor
JP4751593B2 (ja) 2004-11-02 2011-08-17 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US20120226287A1 (en) * 2011-03-04 2012-09-06 Mohammed Abdul Qadeer Endoscopic devices for tissue removal or repair and associated methods
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
US20160042122A1 (en) * 2014-08-11 2016-02-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US20210137410A1 (en) * 2014-12-15 2021-05-13 Virginia Tech Intellectual Properties, Inc. Intelligent surgical probe for real-time monitoring of electroporation-based therapies
JP6133474B2 (ja) 2016-06-21 2017-05-24 Hoya株式会社 内視鏡システム
JP7349727B2 (ja) * 2016-11-21 2023-09-25 センサム 生体構造の特徴づけおよび同定

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004188026A (ja) * 2002-12-12 2004-07-08 Olympus Corp 情報処理装置
WO2005011501A1 (ja) * 2003-08-01 2005-02-10 Hitachi Medical Corporation 医用画像診断支援装置及び方法
JP2009072369A (ja) * 2007-09-20 2009-04-09 Olympus Medical Systems Corp 内視鏡システム
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2012000291A (ja) * 2010-06-17 2012-01-05 Jms Co Ltd 血液透析監視システム、中央監視装置、中央監視装置の制御プログラム及び透析監視方法
JP2016045573A (ja) * 2014-08-20 2016-04-04 富士通株式会社 制御方法、制御装置および制御プログラム
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
JP3194808U (ja) * 2014-09-29 2014-12-11 レイシスソフトウェアーサービス株式会社 所見入力支援装置
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Also Published As

Publication number Publication date
US11379977B2 (en) 2022-07-05
WO2019078102A1 (ja) 2019-04-25
US20200242766A1 (en) 2020-07-30
US11969148B2 (en) 2024-04-30
US20220277449A1 (en) 2022-09-01
JP7059297B2 (ja) 2022-04-25

Similar Documents

Publication Publication Date Title
JP7059297B2 (ja) 医療画像処理装置
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JPWO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7190597B2 (ja) 内視鏡システム
WO2020036121A1 (ja) 内視鏡システム
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6796725B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP2020065685A (ja) 内視鏡システム
JPWO2019059059A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN112512398B (zh) 医疗图像处理装置
WO2020039929A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP7386347B2 (ja) 内視鏡システム及びその作動方法
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2022024423A1 (ja) 内視鏡システム及びその作動方法
WO2021210331A1 (ja) 画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220413

R150 Certificate of patent or registration of utility model

Ref document number: 7059297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150