JP6907324B2 - 診断支援システム、内視鏡システム及び診断支援方法 - Google Patents

診断支援システム、内視鏡システム及び診断支援方法 Download PDF

Info

Publication number
JP6907324B2
JP6907324B2 JP2019538048A JP2019538048A JP6907324B2 JP 6907324 B2 JP6907324 B2 JP 6907324B2 JP 2019538048 A JP2019538048 A JP 2019538048A JP 2019538048 A JP2019538048 A JP 2019538048A JP 6907324 B2 JP6907324 B2 JP 6907324B2
Authority
JP
Japan
Prior art keywords
image
neighborhood
representative
medical
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019538048A
Other languages
English (en)
Other versions
JPWO2019039259A1 (ja
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019039259A1 publication Critical patent/JPWO2019039259A1/ja
Application granted granted Critical
Publication of JP6907324B2 publication Critical patent/JP6907324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は診断支援システム、内視鏡システム及び診断支援方法に係り、特に医用画像の取得及び表示に関する。
医用機器を用いた診断では、被検体(患者等)の画像を取得し、取得した画像に基づいて診断が行われることがある。このような医用画像を用いた診断では複数の画像を取得及び表示することが多く、したがって診断に適した画像を表示できるシステムが望まれる。
医用画像を取得及び表示するシステムについては、例えば特許文献1に、複数のモダリティで取得した画像を一覧表示するとともに、心電図波形について、表示する期間を所見データ及び行動情報に基づいて切り替え、部分画像を表示することが記載されている。具体的には、所見情報が「頻脈」の画像のうち、第n番目の心電図検査画像が表示されている状態でユーザが読影端末のキーボードを操作すると、第(n−1)番目または第(n+1)番目の「頻脈」の部分画像を表示することが記載されている。
特開2013−17755号公報
医用画像を撮影する際にブレ、ボケ等の瞬時的不良が発生して適切な画像を表示できず、診断に支障をきたす場合がある。このような問題は、診断のために多数の画像を表示する状況において顕著になる。このような問題に関し、上述した特許文献1では心電図波形を表示期間が異なる部分画像に切り替えているが、不適切な波形の画像を適切な波形の画像に切り替えているわけではない。また特許文献1では、CT(Computed Tomography),MRI(Magnetic Resonance Imaging)等の画像についても、不適切な画像があった場合の対応は記載されていない。このように、従来の技術は診断に適した画像を容易に表示できず、このため診断、レポート作成等を効率的に行うことができなかった。
本発明はこのような事情に鑑みてなされ、診断に適した画像を容易に表示することができる診断支援システム、内視鏡システム及び診断支援方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る診断支援システムは、撮影指示に応じて医用画像を撮影する医用画像撮影部と、医用画像撮影部に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御部と、複数の医用画像のうちいずれかを撮影期間における代表画像として記憶する代表画像記憶部と、複数の医用画像のうち代表画像を除く医用画像を、代表画像の近傍画像として代表画像と対応させて記憶する近傍画像記憶部と、代表画像を表示装置に一覧表示させる代表画像表示制御部と、一覧表示された代表画像に対する選択を受け付ける代表画像選択部と、選択された代表画像に対応する近傍画像のうちいずれかを、表示装置に表示させる近傍画像表示制御部と、を備える。
第1の態様によれば、代表画像を選択すると、選択された代表画像に対応する近傍画像のうちいずれかが表示されるので、代表画像がブレ、ボケ等の瞬時的原因により不良な場合に近傍画像を表示させることができる。これにより診断に適した画像を容易に表示することができ、診断、レポート作成等を効率的に行うことができる。また、代表画像及び近傍画像は撮影期間の内に撮影されるので、代表画像と近傍画像とで画像の変化(画像における被写体の位置、向き、露出条件等の変化)を少なくすることができる。撮影期間の長さは、代表画像と近傍画像との変化が許容範囲になるように設定することができる。
第1の態様において、代表画像は取得した画像のうちいずれでもよい(複数の画像のうちで撮影時刻が最初、最後、中間等)。また、代表画像は撮影時刻、撮影部位、関心領域、使用器具及び/または器材、使用色素剤及び/または染色剤等を考慮した配置で一覧表示することができる。
第1の態様及び以下の各態様において、医用画像は医療画像ともいう。また、医用画像撮影の際に用いる光源は白色帯域の光、白色帯域として複数の波長(狭帯域光)を含む光、赤外光、励起光を発生する光源を用いることができる。また、第1の態様で取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。
第2の態様に係る診断支援システムは第1の態様において、ユーザの指示入力に基づいて撮影タイミングを設定する撮影タイミング設定部を備え、撮影制御部は撮影タイミングに従って医用画像撮影部に撮影指示を与える。第2の態様によれば、ユーザは自ら設定した所望の撮影タイミングで自動的に撮影を行って画像を取得することができる。撮影タイミングは、例えば撮影開始/終了時刻、撮影時間間隔等を設定することができる。
第3の態様に係る診断支援システムは第1または第2の態様において、医用画像撮影部が撮影した医用画像から関心領域を検出する関心領域検出部を備え、撮影制御部は、関心領域の検出に応じて医用画像撮影部に撮影指示を与える。第3の態様によれば、関心領域(ROI:Region Of Interest)の検出に応じて自動的に撮影を行って画像を取得することができる。なお「医用画像撮影部が撮影した医用画像から関心領域を検出する」とは、例えば連続的に取得しているライブビュー画像を構成するフレーム画像から関心領域を検出することにより行うことができる。関心領域の抽出は機械学習の結果を用いて行ってもよい。また第3の態様において、例えば病変部分、病変候補部分等を関心領域として設定することができる。
第4の態様に係る診断支援システムは第3の態様において、代表画像表示制御部は、関心領域の検出に応じて撮影された代表画像を一覧表示する。第4の態様によれば、関心領域を撮影した代表画像を一覧表示することができ、診断に適した画像を容易に表示することができる。
第5の態様に係る診断支援システムは第1から第4の態様のいずれか1つにおいて、ユーザの撮影指示操作を受け付ける撮影指示受付部を備え、撮影制御部は撮影指示操作に応じて医用画像撮影部に撮影指示を与える。第5の態様によれば、ユーザ(医師等)は所望のタイミングで画像を取得することができる。
第6の態様に係る診断支援システムは第1から第5の態様のいずれか1つにおいて、近傍画像は、代表画像よりも撮影時刻が前の画像と、代表画像よりも撮影時刻が後の画像と、のうち少なくとも一方を含む。近傍画像の撮影時刻が代表画像より前の場合、近傍画像は代表画像に対し過去の画像である。一方、近傍画像の撮影時刻が代表画像より後の場合、近傍画像は代表画像に対し未来の画像である。なお近傍画像は代表画像よりも撮影時刻が前の画像と代表画像よりも撮影時刻が後の画像との両方を含んでいてもよい。
第7の態様に係る診断支援システムは第1から第6の態様のいずれか1つにおいて、表示装置に表示する近傍画像を撮影時刻が異なる他の近傍画像に切り替える切替指示を受け付ける切替指示受付部を備え、近傍画像表示制御部は、切替指示に応じて、表示装置に表示されている近傍画像に代えて他の近傍画像を表示させる。第7の態様によれば、表示装置に表示する近傍画像を撮影時刻が異なる他の近傍画像に切り替えて表示するので、表示した近傍画像が不適切な場合でも、そのような不適切な近傍画像に代えて適切な近傍画像を表示させることが容易である。
第8の態様に係る診断支援システムは第1から第7の態様のいずれか1つにおいて、近傍画像表示制御部は選択された代表画像に対応する複数の近傍画像を表示装置に連続表示させ、連続表示の表示停止指示を受け付けた際に表示されている近傍画像を継続して表示装置に表示させる。第8の態様において連続表示(順次表示)の表示停止指示はユーザ操作に基づいて行うことができ、これによりユーザは複数の近傍画像のうちから所望の近傍画像を表示させることができる。
第9の態様に係る診断支援システムは第1から第8の態様のいずれか1つにおいて、近傍画像を解析して診断用近傍画像を抽出する画像解析部を備え、近傍画像表示制御部は診断用近傍画像を表示装置に表示させる。第9の態様によれば、ユーザは診断用近傍画像を表示させて効率的に診断を行うことができる。
第10の態様に係る診断支援システムは第9の態様において、画像解析部は、近傍画像における関心領域の存在、近傍画像の露出、近傍画像のブレの量、近傍画像における器具の存在、近傍画像における色素剤及び/または染色剤の使用、のうち少なくとも1つに基づいて診断用近傍画像を抽出する。第10の態様は診断用近傍画像の抽出を具体的に規定する。なお、色素剤、染色剤とはコントラスト法、染色法等により病変等の被写体を着色して観察するための薬剤であり、器具とは被写体の観察、処置、生検等を行うための器具(鉗子等)である。
第11の態様に係る診断支援システムは第1から第10の態様のいずれか1つにおいて、近傍画像表示制御部は、近傍画像を代表画像と異なる表示態様で表示させる。第11の態様によれば、ユーザは近傍画像が表示されていることを容易に認識することができる。
第12の態様に係る診断支援システムは第11の態様において、近傍画像表示制御部は、近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを代表画像と変える。第12の態様は第11の態様における代表画像と近傍画像との表示態様の相違を具体的に規定する。
第13の態様に係る診断支援システムは第11または第12の態様において、近傍画像表示制御部は、ユーザ指示に基づいて近傍画像の表示態様を変更する。第13の態様によれば、ユーザは所望の表示態様で近傍画像を表示させることができる。
第14の態様に係る診断支援システムは第1から第13の態様のいずれか1つにおいて、近傍画像表示制御部は、選択された代表画像に代えて、選択された代表画像に対応する近傍画像のうちいずれかを表示させる。
第15の態様に係る診断支援システムは第1から第14の態様のいずれか1つにおいて、代表画像表示制御部は、選択された代表画像を他の代表画像と識別表示する。第15の態様によれば、いずれの代表画像に対し近傍画像が表示されているのかを容易に認識することができる。
第16の態様に係る診断支援システムは第1から第15の態様のいずれか1つにおいて、代表画像表示制御部は、一の代表画像を選択している状態で他の代表画像が選択された場合は、選択の時点で表示されている近傍画像の表示を終了し、一の代表画像の表示態様を一の代表画像が選択されていない状態に復帰させる。
第17の態様に係る診断支援システムは第1から第16の態様のいずれか1つにおいて、一覧表示された代表画像と表示された近傍画像とのうちで指定された画像を保存する指定画像保存部をさらに備える。第17の態様によればユーザは指定した画像を保存できるので、診断、レポート作成等を効率的に行うことができる。
上述した目的を達成するため、本発明の第18の態様に係る内視鏡システムは第1から第17の態様のいずれか1つに係る診断支援システムと、表示装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡と、を備える内視鏡システムであって、医用画像撮影部は、被写体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像する撮像素子と、を備え、撮影レンズは先端硬質部に設けられる。第18の態様に係る内視鏡システムは、第1から第17の態様のいずれか1つに係る診断支援システムを備えることにより、内視鏡で取得した画像に基づいて診断に適した画像を容易に表示することができ、これにより診断、レポート作成等を効率的に行うことができる。
上述した目的を達成するため、本発明の第19の態様に係るプロセッサは、第18の態様に係る内視鏡システムのプロセッサであって、撮影制御部と、代表画像記憶部と、近傍画像記憶部と、代表画像表示制御部と、代表画像選択部と、近傍画像表示制御部と、を備える。第19の態様によれば、第18の態様に係る内視鏡システムにおいて診断に適した画像を表示するための処理を実行することができる。
上述した目的を達成するため、本発明の第20の態様に係る診断支援方法は撮影指示に応じて医用画像を撮影する医用画像撮影部と、撮影した医用画像を表示する表示装置と、を備える診断支援システムによる診断支援方法であって、撮影装置に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御工程と、複数の医用画像のうちいずれかを撮影期間における代表画像として記憶する代表画像記憶工程と、複数の医用画像のうち代表画像を除く画像を、代表画像の近傍画像として代表画像と対応させて記憶する近傍画像記憶工程と、代表画像を表示装置に一覧表示させる代表画像表示制御工程と、一覧表示された代表画像に対する選択を受け付ける代表画像選択工程と、選択された代表画像に対応する近傍画像のうちいずれかを表示装置に表示させる近傍画像表示制御工程と、を有する。第20の態様によれば、第1の態様と同様に診断に適した画像を容易に表示することができ、これにより診断、レポート作成等を効率的に行うことができる。なお、第20の態様の構成に対し第2から第17の態様と同様の構成をさらに有する診断支援方法、及びこれら態様の診断支援方法を診断支援システムに実行させるプログラムのコンピュータ読み取り可能なコードを記録した記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の診断支援システム、内視鏡システム及び診断支援方法によれば、診断に適した画像を容易に表示することができる。
図1は、本発明の一実施形態に係る内視鏡システムの外観図である。 図2は、内視鏡システムの構成を示すブロック図である。 図3は、内視鏡の先端硬質部の構成を示す図である。 図4は、画像処理部の機能構成を示す図である。 図5は、記憶部に記憶される情報を示す図である。 図6は、代表画像と近傍画像の対応付けの様子を示す図である。 図7は、診断支援方法の処理を示すフローチャートである。 図8は、診断支援方法の処理を示す他のフローチャートである。 図9は、撮影条件設定画面の例を示す図である。 図10は、撮影条件設定画面の他の例を示す図である。 図11は、表示条件設定画面の例を示す図である。 図12は、代表画像及び近傍画像の記憶の例を示す図である。 図13は、代表画像及び近傍画像の記憶の他の例を示す図である。 図14は、代表画像及び近傍画像の表示例を示す図である。 図15は、代表画像及び近傍画像の他の表示例を示す図である。 図16は、代表画像及び近傍画像のさらに他の表示例を示す図である。 図17は、近傍画像の動画表示の様子を示す図である。 図18は、近傍画像の動画表示の処理を示すフローチャートである。 図19は、選択した代表画像の識別表示の例を示す図である。 図20は、指定画像の保存の様子を示す図である。 図21は、関心領域の検出に応じた自動撮影の処理を示すフローチャートである。 図22は、関心領域の検出に応じて撮影された画像及び器具の検出に応じて撮影された画像の例を示す図である。 図23は、診断用近傍画像の抽出処理を示すフローチャートである。 図24は、診断用近傍画像の抽出の例を示す図である。
以下、添付図面を参照しつつ、本発明に係る診断支援システム、内視鏡システム及び診断支援方法の実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(診断支援システム、診断支援装置、内視鏡システム、プロセッサ、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、医療画像処理装置)、光源装置300、及びモニタ400(表示装置)から構成される。
<内視鏡本体の構成>
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能を割り付けられる機能ボタンBT3、及び撮影指示操作を受け付ける撮影ボタンBT4が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(医用画像撮影部、撮影装置、医療画像取得部)、照明部123、鉗子口126等が設けられる(図1〜図3参照)。
観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、送気送水ボタンBT1の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系130の撮影レンズ132(撮影レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1〜図3に示すように、先端硬質部116の先端側端面116Aには撮影レンズ132が配設されている。撮影レンズ132の奥にはCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、撮影装置、医療画像取得部)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、これらの要素により画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備える。撮像素子134の各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮影光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。なお、第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被検体(腫瘍部、病変部)の光学像は撮影レンズ132により撮像素子134の受光面(撮像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像(代表画像、近傍画像)が表示される。
また、先端硬質部116の先端側端面116Aには、撮影レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
<光源の波長帯域>
光源310(可視光源310A)は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nmの波長帯域を含み、かつ、400±10nm、440±10nm、470±10nm、または600nm以上750nm以下の波長帯域にピーク波長を有していてもよい。
また、光源310(赤外光源310B)が発生する光は790nm以上820nm以下、または905nm以上970nm以下の波長帯域を含み、かつ、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有していてもよい。
また、光源310は、ピークが390nm以上470nm以下である励起光を照射する光源を備えていてもよい。この場合、被検体(生体)内の蛍光物質が発する蛍光の情報を有する医用画像(生体内画像)を取得することができる。
光源310の光源種類(レーザ光源、キセノン光源、LED光源(LED:Light-Emitting Diode)等)、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子134のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されず、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を(紫色、青色、緑色、赤色)の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することにより、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<プロセッサの構成>
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202及び画像入力インタフェース205を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(代表画像、近傍画像等の生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は医用画像撮影部、撮影制御部、代表画像記憶部、近傍画像記憶部、代表画像表示制御部、代表画像選択部、近傍画像表示制御部、撮影タイミング設定部、関心領域検出部、撮影指示受付部、切替指示受付部、画像解析部、指定画像保存部としての機能を有する。画像処理部204では、詳細を後述するように、代表画像及び/または近傍画像の設定、記憶、表示の切り替え等を行う。記憶部207(代表画像記憶部、近傍画像記憶部)には、被写体の画像(代表画像、近傍画像等)が記憶される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)等をスピーカ209Aから出力する。
また、ROM211(ROM:Read Only Memory)は不揮発性の記憶素子(非一時的記録媒体)であり、本発明に係る診断支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。RAM212(RAM:Random Access Memory)は各種処理の際の一時記憶用の記憶素子であり、また近傍画像取得時のバッファとしても使用することができる。
<画像処理部の機能>
図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は撮影タイミング設定部204A、撮影指示受付部204B、撮影制御部204C、代表画像記憶部204D、近傍画像記憶部204E、代表画像表示制御部204F、代表画像選択部204G、近傍画像表示制御部204H、関心領域検出部204I、切替指示受付部204J、画像解析部204K、指定画像保存部204Lを有する。撮影制御部204Cは医療画像取得部としても動作し、関心領域検出部204I及び画像解析部204Kは医療画像解析処理部としても動作する。
また、画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるRGB(R:赤、G:緑、B:青)あるいはCMY(C:シアン、M:マゼンタ、Y:イエロー)の色情報に基づく演算により得ることができる。
また、画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像(医療画像)としての特徴量画像を取得及び表示してもよい。
画像処理部204のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はCPU210の制御下で行われる。
上述した画像処理部204の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。
また、上述した各種のプロセッサには、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は1つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各部の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述したプロセッサ(あるいは電気回路)がソフトウェア(プログラム)を実行する際は、実行するソフトウェア(本発明に係る診断支援方法を実行するプログラムを含む)のコンピュータ読み取り可能なコードをROM211(図2を参照)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばRAM212(図2を参照)が一時的記憶領域として用いられ、また例えばEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータが参照される。なお、図4ではEEPROM等のデバイスの図示は省略する。
<操作部の構成>
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して代表画像及び/または近傍画像の選択、切替操作等を行うことができる。操作部208による撮影条件及び表示条件の設定については詳細を後述する(図9〜11を参照)。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能を割り付けて行ってもよい。
<記憶部の構成>
記憶部207(代表画像記憶部、近傍画像記憶部、指定画像保存部、記録装置)はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体により構成され、図5に示す画像及び情報を互いに関連づけて記憶する。図5に示すように、記憶部207には代表画像207A、近傍画像207B(診断用近傍画像を含む)、指定画像207Cが記憶される。代表画像207A(代表画像)と近傍画像207B(近傍画像)とは、例えば図6に示すように対応させて記録される。図6において、「i101」等は画像の識別情報である。指定画像207C(指定画像)は、代表画像207A及び近傍画像207Bのうちから指定された画像である(図20を参照)。これらの画像は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
上述した画像の他に、医用画像(医療画像)に含まれる注目すべき領域である注目領域(関心領域)と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記憶部207(記録装置)に記憶してもよい。この場合、画像処理部204(医療画像解析処理部、医療画像解析結果取得部)がそれら解析結果を記憶部207から取得してモニタ400に表示することができる。
<表示装置の構成>
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により代表画像、近傍画像、撮影条件設定画面、表示条件設定画面等を表示する(図9〜11等を参照)。また、モニタ400撮影条件設定操作及び/または表示条件設定操作を行うためのタッチパネルを有する。
<診断支援方法の処理>
内視鏡システム10を用いた被検体の診断支援方法について説明する。図7,8は第1の実施形態に係る診断支援方法の処理を示すフローチャートである。
<撮影条件の設定>
図7,8のフローチャートでは、撮影に先立って、ユーザ指示に基づいて撮影条件及び表示条件の設定を行う(ステップS100,S102)。ただしこの設定は撮影中、あるいは撮影後に行ってもよい。図9は撮影条件設定画面の例を示す図である。図9では、撮影条件の各項目について条件名(領域C01〜C10)、設定条件の内容(領域V01〜V10)、及びプルダウン用のボタン(ボタンA01〜A10)が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は初期設定に戻すためのボタンである。図9の画面はモニタ400に表示され、モニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。
領域C01,V01は1回の撮影で取得する画像の数を示しており、ボタンA01を介した選択操作により取得する画像の数を指定することができる。領域C02,V02は撮影期間を示しており、ボタンA02を介した操作により、撮影期間を指定することができる。領域C02等で指定した撮影期間において、領域C01等で指定した数の画像が取得される。領域C03,V03は「1回の撮影で取得した画像のうち、何枚目を代表画像とするか」を示しており、ボタンA03を介した操作により具体的な数値(1枚目、5枚目、10枚目等)を選択することができる。
図10は代表画像の番号を設定する画面の例を示す図であり、図9の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様)によりボタンA03を指定すると領域V03がプルダウン表示の状態になり図10の状態に遷移する。なお、図10において代表画像の番号以外の項目については図示を省略している。図10では、代表画像の番号として設定可能な値が領域V03に表示され(この場合1から10までであるが、一部の値のみ設定可能にすることができる)、値を設定するにはユーザはボタンA03a,A03b、及びスライドバーA03cで選択範囲を上下に移動させて数値を選択し、ボタンB01(OKボタン)を指定すればよい。図10の状態でボタンB01を指定すると、代表画像は「1枚目」となる。
図9の領域C04,V04は「撮影した画像から関心領域を自動的に検出するか否か」を示しており、ボタンA04を介した選択操作によりON(自動検出する)またはON(自動検出する)を選択することができる。ONが選択された場合、画像処理部204(関心領域検出部204I)により関心領域(病変領域、病変候補領域等;注目領域ともいう)が検出される。また、領域C05,V05は「関心領域が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA05を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、関心領域検出部204Iによる関心領域の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
領域C06,V06は「撮影した画像から器具等を自動的に検出するか否か」を示しており、ボタンA06を介した選択操作によりON(自動検出する)またはOFF(自動検出しない)を選択することができる。「器具等」は被検体に対して生検、切除等を行うための処置具(例えば鉗子、注射針、クリップ、チューブ等)を含み、鉗子口126から被検体内に挿入できる。また、領域C07,V07は「器具等が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA07を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、画像解析部204Kによる器具等の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
領域C06,V06と同様に、領域C08,V08は「撮影した画像から色素剤等を自動的に検出するか否か」を示しており、ボタンA08を介した選択操作によりON(自動検出する)またはON(自動検出する)を選択することができる。「色素剤等」とは、病変の形状、凹凸等を観察するための、色素剤及び染色剤を含む薬剤を意味する。また、領域C09,V09は「色素剤等が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA09を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、画像解析部204Kによる色素剤等の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
領域C10,V10は「診断用近傍画像の自動抽出を行うか否か」を示しており、ボタンA10を介した選択操作によりON(自動検出する)またはOFF(自動検出しない)を選択することができる。「診断用近傍画像」とは近傍画像のうち診断に適した画像を意味し、露出、ブレ、関心領域の存在、器具等及び/または色素等の使用のうち少なくとも1つに基づいて抽出される。ONが選択された場合、画像解析部204Kによる近傍画像の解析結果に基づいて診断用近傍画像が抽出される。抽出条件は、領域C10a,V10a,ボタンA10aを介した操作により設定される。
なお、図9,10における条件設定は一例であり、条件の追加または削除、内容(数値等)の変更を行ってもよい。例えば、ユーザの指示入力に基づいて撮影タイミング(一定の間隔で撮影するインターバル撮影のONまたはOFF,及びインターバル撮影を行う場合の撮影間隔により決定される撮影タイミング)を設定する領域を設けることができる。この場合、設定した条件に基づいて撮影タイミング設定部204A(撮影タイミング設定部)が撮影タイミングを設定し、設定された撮影タイミングに従って撮影制御部204C(撮影制御部)が撮影光学系130(医用画像撮影部)に撮影指示を与えて撮影を行うことができる。
<表示条件の設定>
図11は代表画像及び近傍画像の表示条件設定画面の例を示す図である。領域C11,V11は選択された代表画像に対する識別表示の態様を示しており、ボタンA11を介した選択操作により丸印でマーキング、枠線追加、選択した画像以外をグレーアウトする等を指定することができる(図14〜18を参照)。領域C12,V12は「選択された代表画像に対応する近傍画像を動画表示するか否か」(図17参照)を示しており、ボタンA12を介した選択操作によりONまたはOFFを指定することができる。領域C13,V13は「いずれかの近傍画像が選択された場合に、選択された近傍画像により代表画像を差し替えるか否か」を示しており、ボタンA13を介した選択操作によりONまたはOFFを指定することができる。領域C14,V14は「代表画像が近傍画像により差し替えられた場合に、差し替えられた近傍画像を識別表示するか否か」(図14の(c)部分を参照)を示しており、ボタンA14を介した選択操作によりONまたはOFFを指定することができる。領域C15,V15は代表画像を選択した場合の近傍画像の表示態様を示しており、ボタンA15を介した選択操作により「同一ウインドウ(代表画像と同じウインドウ)」(図14の(b)部分を参照)、「別ウインドウ」等(図16,17を参照)を指定することができる。
ステップS100,S102で撮影条件及び表示条件の設定が終了し、内視鏡本体100の挿入部104が被検体内に挿入されると、撮影光学系130及び画像処理部204(撮影制御部204C)によりライブビュー画像の取得及びモニタ400への表示が開始される(ステップS104)。これによりユーザは被検体内の様子を観察することができる。ユーザが挿入部104の挿入操作及び湾曲操作により先端硬質部116を所望の方向に向け、撮影ボタンBT4を操作すると撮影指示受付部204B(撮影指示受付部)が撮影指示操作を受け付ける。これによりステップS106での判断(撮影指示の有無)が肯定されてステップS108(撮影制御工程)へ進み、撮影光学系130(医用画像撮影部、撮影装置、医療画像取得部)及び撮影制御部204C(撮影制御部、医療画像取得部)により複数の医用画像(医療画像)が取得される。また、撮影ボタンBT4の操作がない場合でも、関心領域検出、色素剤検出等による自動撮影(図9参照)がONの場合、設定条件が満たされると撮影制御部204Cにより撮影指示がなされて(ステップS106でYES)複数の医用画像が撮影される(ステップS108)。
ステップS108で複数の医用画像が取得されたら、取得された医用画像のうちいずれかを代表画像記憶部204D(代表画像記憶部)により撮影期間における代表画像(代表画像207A)に設定して、記憶部207に記憶する(ステップS110:代表画像記憶工程)。また、取得された医用画像のうち代表画像以外の画像を近傍画像記憶部204E(近傍画像記憶部)により近傍画像(近傍画像207B)に設定して、代表画像と対応させて記憶部207に記憶する(ステップS112:近傍画像記憶工程)。
<代表画像及び近傍画像の記憶>
図12は代表画像及び近傍画像の記憶の例を示す図である。ここでは、図12の(a)部分に示すように撮影期間T1において10枚の画像(画像i1〜i10)が取得(撮影間隔:Δt)されたものとする。この場合、図12の(b)部分に示すように撮影期間T1の最初に撮影した画像i1を代表画像とし残りの画像(画像i2〜i10)を近傍画像としてもよいし、図12の(c)部分に示すように撮影期間T1の中間で撮影した画像i6を代表画像とし残りの画像(画像i1〜i5及び画像i7〜i10)を近傍画像としてもよい。また、図12の(d)部分に示すように、撮影期間T1の最後に撮影した画像i10を代表画像とし残りの画像(画像i1〜i9)を近傍画像としてもよい。いずれの画像を代表画像とするかは、上述のように図9に示す撮影条件設定画面で設定できる(ステップS100)。
<代表画像及び近傍画像の記憶(他の例)>
図13は代表画像及び近傍画像の記憶の他の例を示す図である。図12に示す例では撮影指示に応じて複数の医用画像を取得しているが、図13に示す例では撮影指示の有無に関わらず撮影制御部及び撮影光学系130により画像の取得を継続して一定数(ここでは5枚とする)の画像をバッファ(RAM212)に一時記憶し、逐次更新する(1枚の画像を取得するごとに、一番古い画像を削除する)。このようにして取得された画像を画像i1〜i5とする。ユーザによる撮影指示がなされると(ステップS106でYES)、撮影指示に応じてさらに複数の医用画像を取得する(ステップS108)。図13の例では5枚(画像i6〜i10)である。図13の例では、バッファに記録されている画像i1〜i5と撮影指示に応じて取得した画像i6〜i10のうちいずれかを代表画像(代表画像207A)に設定して記憶部207に記憶し(ステップS110:代表画像記憶工程)、残りを近傍画像(近傍画像207B)に設定し代表画像と対応させて記憶する(ステップS112:近傍画像記憶工程)。図13では画像i6を代表画像として設定しているが、他の画像(画像i1,i10等)を代表画像としてもよい。
図12,13の例に示すような複数の医用画像の取得、代表画像及び近傍画像の記憶を撮影終了(ステップS114でYES)まで継続する。
<代表画像の表示及び選択、近傍画像の表示(態様1)>
複数の医用画像の取得、代表画像及び近傍画像の記憶が終了すると、代表画像が代表画像表示制御部204F(代表画像表示制御部)によりモニタ400に一覧表示される(ステップS116:代表画像表示制御工程)。図14の(a)部分は代表画像の表示例を示す図である。ここでは代表画像iR1〜iR6が表示されている。なおボタンB04は表示された画像より前に撮影された画像を表示させるためのボタンであり、ボタンB05は表示された画像より後に撮影された画像を表示させるためのボタンである。
図14の(a)部分で示した代表画像iR1〜iR6のうち、代表画像iR2は露出が悪く診断に適さない画像であるものとする。そこでユーザは操作部208のマウスによりカーソルCRを操作して代表画像iR2を選択すると(ステップS118(代表画像選択工程)でYES)、図14の(b)部分に示すように、代表画像iR2に対応する近傍画像が代表画像iR1〜iR6に重ねて拡大表示される(ステップS120:近傍画像表示制御工程)。ここでは、近傍画像iN1が表示された様子を示している。態様1及び以下の各態様に示すように、近傍画像表示制御部204Hは、近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを代表画像と変える。
ユーザが操作部208を操作すると近傍画像の切替指示が受け付けられ(ステップS122でYES)、表示された近傍画像iN1が撮影時刻の異なる他の近傍画像に切り替わる(ステップS124:近傍画像表示制御工程)。このような操作(切替指示)により、ユーザは近傍画像の中から診断に適した画像を選択することができる。なお近傍画像を切り替える操作としては、例えばキーボードの矢印キー(上向き/下向き、あるいは右向き/左向き)の操作、マウスのボタンのクリック、スクロールホイールの回動、図示せぬフットペダルの操作等を挙げることができるが、これらに限定されない。
なお、ある代表画像(例えば、代表画像iR2)を選択しており近傍画像が表示されている状態で他の代表画像(例えば、代表画像iR4)が選択された場合、先に選択されていた代表画像(この場合、代表画像iR2)に対する近傍画像の表示を終了する。また、代表画像iR2の表示態様を代表画像iR2が選択されていない状態に復帰させる(丸印によるマーキング等の識別表示を終了する)。これらと合わせて、新たに選択された代表画像(この場合、代表画像iR4)を識別表示し、対応する近傍画像を表示する。
上述した処理は、CPU210による制御の下で、画像処理部204(具体的には、代表画像表示制御部204F(代表画像表示制御部)、代表画像選択部204G(代表画像選択部)、近傍画像表示制御部204H(近傍画像表示制御部)、切替指示受付部204J(切替指示受付部))により行われる。
ユーザが上述した操作により所望の近傍画像を選択したら、マウスでボタンB06を操作すると近傍画像の選択が確定し(ステップS126でYES;選択が確定するまでNO)する。ボタンB07が操作されると代表画像(図14の例では代表画像iR2)に対する近傍画像の表示を終了して代表画像の一覧表示状態(図14の(a)部分を参照)に戻る。この際、図11の領域C13,V13について説明したように「代表画像を近傍画像で差し替え」がONになっていると、図14の(c)部分に示すように、当初表示されていた代表画像iR2に代えて選択された近傍画像が表示される(ステップS128)。ここでは近傍画像iN2が表示された様子を示している。
このように、第1の実施形態に係る内視鏡システム10では、一覧表示された代表画像から選択した代表画像について、代表画像に対応する近傍画像のうちいずれかを表示装置(モニタ400)に表示させるので、診断に適した画像を容易に表示することができる。また、代表画像及び近傍画像は撮影期間の内に撮影されるので、代表画像と近傍画像とで画像の変化(画像における被写体の位置、向き、露出条件等の変化)を少なくすることができる。撮影期間の長さは、撮影条件設定画面(図9参照)により代表画像と近傍画像との変化が許容範囲になるように設定することができる。
なお、表示条件の設定について説明したように「差し替えた近傍画像の識別表示」の設定がONになっていると(図11の領域C14,V14を参照)、代表画像を近傍画像に切り替える際に差し替えた近傍画像が識別表示(図14の例では近傍画像iN2に枠線を追加)される。このような識別表示により、いずれの画像を切り替え/差し替えしたのか容易に把握することができる。
<画像の表示及び選択の他の態様(態様2)>
代表画像及び近傍画像の表示、選択の他の態様(態様2)について説明する。図15は代表画像と近傍画像とを同じウインドウの別の領域に表示する態様を示す図である。図15の例では、図15の(a)部分に示すように、代表画像(代表画像iR1〜iR4)をモニタ400の表示領域R1に一覧表示する(ステップS116)。代表画像(ここでは代表画像iR2)が選択されると(ステップS118)、選択された代表画像に対応する近傍画像のうちいずれか(ここでは近傍画像iN1)が表示領域R1と同一ウインドウの別の領域である表示領域R2に拡大表示される(ステップS120:図15の(b)部分を参照)。表示した近傍画像に対する切替操作は図14に示す態様と同様である(ステップS122〜S126)。すなわち、ボタンB06を操作すると近傍画像が確定(ステップS126でYES)して、図15の(c)部分に示すように、当初表示されていた代表画像iR2に代えて選択された近傍画像(ここでは近傍画像iN3)が表示領域R1に表示される(ステップS128)。この際、表示条件設定画面(図11参照)での設定に応じて、図14の(c)部分に示すのと同様に、代表画像iR2に代えて表示される近傍画像iN3が識別表示(ここでは、枠線追加)される。
<画像の表示及び選択のさらに他の態様(態様3)>
代表画像及び近傍画像の表示、選択のさらに他の態様(態様3)について説明する。図16は代表画像と近傍画像とを別のウインドウに表示する態様を示す図である。図16の例では、図16の(a)部分に示すように、代表画像表示制御部204Fが代表画像(代表画像iR1〜iR6)をモニタ400のウインドウW1に一覧表示する(ステップS116)。代表画像(ここでは代表画像iR2)が選択されると(ステップS118)、選択された代表画像に対応する近傍画像のうちいずれか(ここでは近傍画像iN1)がウインドウW1とは別のウインドウW2に拡大表示される(ステップS120:図16の(b)部分を参照)。表示した近傍画像に対する切替操作は図14に示す態様、図15に示す態様と同様であり(ステップS122〜S126)。すなわち、ボタンB06を操作すると近傍画像が確定(ステップS126でYES)して、図14の(c)部分と同様に、選択された近傍画像(ここでは近傍画像iN3)が当初表示されていた代表画像iR2に代えてウインドウW1に表示される(ステップS128)。
<画像の表示及び選択のさらに他の態様(態様4)>
代表画像及び近傍画像の表示、選択のさらに他の態様(態様4)について説明する。態様1〜態様3ではユーザの切替操作により近傍画像を切り替え表示しているが、態様4では近傍画像の動画表示(連続表示、順次表示)に基づいて切り替え表示を行う。図17の(a)部分は代表画像(代表画像iR1〜iR6)をウインドウW1に一覧表示した状態(ステップS116)であり、図14の(a)部分及び図16の(a)部分と同じである。図17の例では、代表画像(ここでは代表画像iR2)を選択すると(ステップS118でYES)、ウインドウW3で近傍画像の動画表示(連続表示、順次表示)が開始する(図17の(b)部分;図18のステップS119−1)。図17の(b)部分は動画表示において露出が不良な近傍画像iN1が表示された状態であり、図17の(c)部分は露出が適正な近傍画像iN3が表示された状態である。図17の(b)部分及び(c)部分において、ボタンB08は動画表示停止指示用のボタンであり、ボタンB09は動画表示開始用のボタンである。また、インジケータP1は動画表示の進行状況を示し、インジケータP2はインジケータP1に連動して「表示されている近傍画像が全何枚中の何枚目であるか」を示す。
ユーザが上述した動画表示を閲覧して適切な近傍画像が表示された時点でボタンB08を操作すると動画表示(連続表示)の表示停止指示がなされて(図18のステップS119−2でYES)動画表示が停止する(図18のステップS119−3)。この表示停止指示を受け付けた際に表示されている近傍画像が継続してモニタ400に表示される(図18のステップS119−4)。この状態でボタンB06を操作すると(図18のステップS119−5でYES)近傍画像の選択が確定して(図18のステップS119−6)、当初表示されていた代表画像に代えて選択した近傍画像がモニタ400に表示される(ステップS128)。
例えば、ユーザが図17の(c)部分に示す状態でボタンB08を操作すると(ステップS119−2でYES)、動画表示が停止し(ステップS119−3)、ボタンB08の操作(表示停止指示)を受け付けた際に表示されている近傍画像iN3がモニタ400のウインドウW3に継続して表示される(ステップS119−4)。この状態でボタンB06が操作されると(ステップS119−5でYES)、近傍画像iN3の選択が確定して(ステップS119−6)、図14の(c)部分と同様に代表画像iR2に代えて近傍画像iN3が表示される(ステップS128)。なお、近傍画像iN3が表示された状態でボタンB09が操作されると、動画表示が再開される。
上述した態様2〜4の場合も、態様1と同様に診断に適した画像を容易に表示することができる。
<選択された代表画像の識別表示の他の態様>
図14〜17に示す例では選択された代表画像iR2を丸印でマーキングしているが、選択された代表画像の識別表示はこのような態様に限定されない。例えば図19の(a)部分に示すように代表画像iR2(選択画像)に枠線iR2aを追加する態様、図19の(b)部分に示すように代表画像iR2以外をグレーアウトする(薄いグレーで表示され、操作の対象外となる)態様を用いてもよい。このような態様の選択は、図11に示す表示条件設定画面(領域C11,V11及びボタンA11)を介して行うことができる。
<指定画像の保存>
ステップS128までの処理で代表画像に対する近傍画像の選択及び表示が終了したら、画像処理部204(指定画像保存部204L)は保存画像の指定があるか否かを判断する(ステップS130)。この判断は、図20の例に示すように各画像に対しチェックボックスCBを設け、ボタンB06が操作された時点でチェックされている画像があるか否かを指定画像保存部204L(指定画像保存部)が判断することにより行うことができる。チェックボックスがチェックされている画像(図20の例では、代表画像iR1,iR3,iR4,iR5,iR6)が指定画像207Cとして記憶部207に保存される(ステップS132)。これらの画像は診断レポートのひな形に添付する(関連づける)ことができ、これによりレポート作成を効率的に行うことができる。
指定画像を保存したら、CPU210及び画像処理部204は処理を終了するか否か判断する(ステップS134)。YESなら処理を終了し、NOならステップS104のライブビュー画像表示開始に戻る。
<撮影及び表示の他の態様>
医用画像の撮影及び表示の他の態様について、以下説明する。以下で説明する態様は、撮影条件設定画面(図9、10)、表示条件設定画面(図11)を介した設定に応じて実行される。
<関心領域の検出に応じた自動撮影>
図9の撮影条件設定画面において「関心領域検出」(領域C04,V04)及び「自動撮影」(領域C05,V05)がONの場合、関心領域の検出及び検出時の自動撮影が実行される。具体的には、関心領域検出部204I(関心領域検出部)がライブビュー画像において関心領域を検出したら(図21のステップS105でYES)、撮影光学系130及び撮影制御部204Cにより複数の医用画像が取得される(ステップS108)。図22の(a)部分は関心領域ROIの検出により自動撮影された画像(代表画像)が一覧表示された様子を示す。関心領域(病変候補等)の抽出は、関心領域検出部204Iが例えば公知のCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、関心領域(注目すべき領域である注目領域)及び関心領域における対象(注目すべき対象)の有無を抽出することができる。この際、あらかじめ用意した関心領域の画像を教師データとした機械学習(深層学習等)の結果を利用してもよい。
関心領域の検出に応じた自動撮影を行う態様によれば、ユーザは診断に適した画像を容易に表示することができ、またレポート作成を効率的に行うことができる。なお、表示された代表画像に対する近傍画像の表示は、上述した態様と同様に行うことができる。
色素剤、器具等の検出及び検出に応じた自動撮影についても、上述した関心領域の場合と同様に、図9の撮影条件設定画面を介した条件設定(領域V06〜V09をON)により実行することができる。色素剤の検出は、例えば画像解析部204Kが撮像素子134の赤(R)、緑(G)、青(B)の画素値から特徴量としてG/R及びB/Gを算出し、これらの特徴量を各色素剤の特徴量と比較することにより行うことができる。また器具等の検出は、例えば各器具を鉗子口126に挿通した際の画像を基準画像として、画像解析部204Kが基準画像と検査時の画像とを比較することにより行うことができる。図22の(b)部分は鉗子FRの検出により自動撮影された画像(代表画像)が一覧表示された様子を示す。このような態様によれば、ユーザは診断に適した画像を容易に表示することができ、またレポート作成を効率的に行うことができる。なお、表示された代表画像に対する近傍画像の表示は、上述した態様と同様に行うことができる。
<診断用近傍画像の抽出及び表示>
診断用近傍画像の抽出及び表示は、図9の撮影条件設定画面で領域C10,V10をONに設定することで実行される。抽出条件は、近傍画像における関心領域の存在、近傍画像の露出、近傍画像のブレの量、近傍画像における器具の存在、近傍画像における色素剤及び/または染色剤の使用、のうち少なくとも1つとすることができる。このような具体的な抽出条件の設定は、図10と同様の設定画面において所望の条件(1つでもよいし、複数設定してもよい)をONにすることにより行うことができる。
図23は診断用近傍画像の抽出及び表示の処理を示すフローチャートである。図9の撮影条件設定画面で領域C10,V10がONに設定されている場合、一覧表示(例えば、図14の(a)部分を参照)された代表画像のいずれかが選択されると(ステップS118でYES)、選択された代表画像に対応する近傍画像から、画像解析部204Kが抽出条件に従って診断用近傍画像を抽出する(ステップS121−1)。抽出条件は、図9について上述したように領域C10a,V10a、及びボタンA10aを介した操作により設定することができる。近傍画像表示制御部204Hは、抽出された診断用近傍画像をモニタ400に表示する(ステップS121−2)。例えば、抽出対象の近傍画像が図24に示す近傍画像iN4〜iN8であり抽出条件が「露出が適正」、「関心領域が存在」、及び「器具等の存在」である場合、露出が適正で関心領域ROI及び鉗子FRが映っている近傍画像iN8を抽出し、モニタ400に表示することができる。なお、診断用近傍画像の抽出の際に、あらかじめ用意した診断用の画像を教師データとした機械学習(深層学習等)の結果を利用してもよい。このような診断用近傍画像の抽出及び表示により、ユーザは効率的に診断を行うことができる。また、上述した指定画像の保存(図20を参照)と同様に、関心領域検出画像、色素剤及び/または器具等の検出画像、診断用近傍画像についても指定、保存、レポートのひな形に添付等してもよい。これによりユーザは診断、レポート作成等を効率的に行うことができる。
(付記)
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
(付記1)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記2)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記3)
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
(付記4)
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
(付記5)
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
(付記6)
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
(付記7)
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する 医療画像処理装置。
(付記8)
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
(付記9)
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記10)
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
(付記11)
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記12)
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
(付記13)
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
(付記14)
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
(付記15)
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記16)
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
(付記17)
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
(付記18)
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
(付記19)
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
(付記20)
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
(付記21)
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 撮影タイミング設定部
204B 撮影指示受付部
204C 撮影制御部
204D 代表画像記憶部
204E 近傍画像記憶部
204F 代表画像表示制御部
204G 代表画像選択部
204H 近傍画像表示制御部
204I 関心領域検出部
204J 切替指示受付部
204K 画像解析部
204L 指定画像保存部
205 画像入力インタフェース
206 ビデオ出力部
207 記憶部
207A 代表画像
207B 近傍画像
207C 指定画像
208 操作部
209 音声処理部
209A スピーカ
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
A01 ボタン
A02 ボタン
A03 ボタン
A03a ボタン
A03c スライドバー
A04 ボタン
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
A09 ボタン
A10 ボタン
A10a ボタン
A11 ボタン
A12 ボタン
A13 ボタン
A14 ボタン
A15 ボタン
B01 ボタン
B02 ボタン
B03 ボタン
B04 ボタン
B05 ボタン
B06 ボタンB07 ボタン
B08 ボタン
B09 ボタン
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
BT4 撮影ボタン
C01 領域
C02 領域
C03 領域
C04 領域
C05 領域
C06 領域
C07 領域
C08 領域
C09 領域
C10 領域
C10a 領域
C11 領域
C12 領域
C13 領域
C14 領域
C15 領域
CB チェックボックス
CR カーソル
FR 鉗子
P1 インジケータ
P2 インジケータ
R1 表示領域
R2 表示領域
ROI 関心領域
S100〜S134 診断支援方法の各ステップ
T1 撮影期間
V01 領域
V02 領域
V03 領域
V04 領域
V05 領域
V06 領域
V07 領域
V08 領域
V09 領域
V10 領域
V10a 領域
V11 領域
V12 領域
V13 領域
V14 領域
V15 領域
W1 ウインドウW2 ウインドウ
W3 ウインドウ
i1 画像
i2 画像
i3 画像
i4 画像
i5 画像
i6 画像
i7 画像
i8 画像
i9 画像
i10 画像
iN1 近傍画像
iN2 近傍画像
iN3 近傍画像
iN4 近傍画像
iN5 近傍画像
iN6 近傍画像
iN7 近傍画像
iN8 近傍画像
iR1 代表画像
iR2 代表画像
iR2a 枠線
iR3 代表画像
iR4 代表画像
iR5 代表画像
iR6 代表画像

Claims (16)

  1. 用画像撮影部と、
    前記医用画像撮影部に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影させる撮影制御部であって、1回の前記撮影指示に対し、あらかじめ設定された枚数の前記医用画像をあらかじめ設定された撮影期間内に撮影させる撮影制御部と、
    撮影によって取得される前記医用画像を記憶する記憶部であって、1回の前記撮影指示によって取得される複数の前記医用画像を1回の前記撮影指示ごとに識別して記憶し、かつ、複数の前記医用画像のうち少なくとも1枚を代表画像とし、残りを近傍画像として前記代表画像に関連づけて記憶する記憶部と、
    前記代表画像を表示装置に一覧表示させる代表画像表示制御部と、
    前記表示装置に一覧表示された前記代表画像に対する選択を受け付ける代表画像選択部と、
    前記代表画像が選択された場合に、選択された前記代表画像に対応する前記近傍画像を解析して診断用近傍画像を抽出する画像解析部であって、前記近傍画像の露出、前記近傍画像のブレの量のうち少なくとも1つに基づいて、前記診断用近傍画像を抽出する画像解析部と、
    抽出された前記診断用近傍画像を前記表示装置に表示させる近傍画像表示制御部と、
    前記表示装置に表示された前記診断用近傍画像に対する選択を受け付ける受付部と、
    を備え、
    前記代表画像表示制御部は、前記診断用近傍画像が選択された場合に、選択された前記代表画像を選択された前記診断用近傍画像で差し替える、
    診断支援システム。
  2. 前記記憶部は、あらかじめ設定された枚数目の前記医用画像を前記代表画像とし、残りの前記医用画像を前記近傍画像として前記代表画像に関連づけて記憶する、
    請求項1に記載の診断支援システム。
  3. 替指示を受け付ける切替指示受付部を更に備え、
    前記近傍画像表示制御部は、前記切替指示に応じて、前記表示装置に表示されている前記診断用近傍画像に代えて他の前記診断用近傍画像を表示させる、
    請求項1又は2に記載の診断支援システム。
  4. 前記代表画像表示制御部は、差し替えた前記診断用近傍画像を識別表示する、
    請求項1から3のいずれか1項に記載の診断支援システム。
  5. ユーザの指示入力に基づいて撮影タイミングを設定する撮影タイミング設定部を備え、
    前記撮影制御部は、設定された前記撮影タイミングに従って前記医用画像撮影部に前記撮影指示を与え、撮影時刻が異なる複数の前記医用画像を前記医用画像撮影部に撮像させる、
    請求項1から4のいずれか1項に記載の診断支援システム。
  6. 前記医用画像撮影部が撮影したライブビュー画像から関心領域を検出する関心領域検出部を備え、
    前記撮影制御部は、前記関心領域の検出に応じて前記医用画像撮影部に前記撮影指示を与え、撮影時刻が異なる複数の前記医用画像を前記医用画像撮影部に撮像させる、
    請求項1から5のいずれか1項に記載の診断支援システム。
  7. 前記代表画像表示制御部は前記関心領域の検出に応じて撮影された前記代表画像を一覧表示する
    請求項6に記載の診断支援システム。
  8. ユーザの撮影指示操作を受け付ける撮影指示受付部を備え、
    前記撮影制御部は前記撮影指示操作に応じて前記医用画像撮影部に前記撮影指示を与え、撮影時刻が異なる複数の前記医用画像を前記医用画像撮影部に撮像させる、
    請求項1から7のいずれか1項に記載の診断支援システム。
  9. 前記近傍画像は、前記代表画像よりも前記撮影時刻が前の画像と、前記代表画像よりも前記撮影時刻が後の画像と、のうち少なくとも一方を含む
    請求項1から8のいずれか1項に記載の診断支援システム。
  10. 前記近傍画像表示制御部は、前記診断用近傍画像を前記代表画像と異なる表示態様で表示させる
    請求項1からのいずれか1項に記載の診断支援システム。
  11. 前記近傍画像表示制御部は、前記診断用近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを前記代表画像と変える
    請求項10に記載の診断支援システム。
  12. 前記近傍画像表示制御部は、ユーザ指示に基づいて前記診断用近傍画像の前記表示態様を変更する
    請求項10または11に記載の診断支援システム。
  13. 前記代表画像表示制御部は、一の前記代表画像を選択している状態で他の前記代表画像が選択された場合は、選択の時点で表示されている前記診断用近傍画像の表示を終了し、一の前記代表画像の表示態様を一の前記代表画像が選択されていない状態に復帰させる
    請求項1から12のいずれか1項に記載の診断支援システム。
  14. 前記代表画像表示制御部によって前記表示装置に一覧表示させた画像のうちで指定された画像を保存する指定画像保存部をさらに備える
    請求項1から13のいずれか1項に記載の診断支援システム。
  15. 請求項1から14のいずれか1項に記載の診断支援システムと、
    前記表示装置と、
    被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡と、
    を備える内視鏡システムであって、
    前記医用画像撮影部は、被写体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を備え、
    前記撮影レンズは前記先端硬質部に設けられる内視鏡システム。
  16. 用画像撮影部と、前記医用画像撮影部により撮影された医用画像を表示する表示装置と、を備える診断支援システムによる診断支援方法であって、
    前記医用画像撮影部に撮影指示を与え、撮影時刻が異なる複数の前記医用画像を撮影させる撮影制御工程であって、1回の前記撮影指示に対し、あらかじめ設定された枚数の前記医用画像をあらかじめ設定された撮影期間内に撮影させる撮影制御工程と、
    撮影によって取得される前記医用画像を記憶する記憶工程であって、1回の前記撮影指示によって取得される複数の前記医用画像を1回の前記撮影指示ごとに識別して記憶し、かつ、複数の前記医用画像のうち少なくとも1枚を代表画像とし、残りを近傍画像として前記代表画像に関連づけて記憶する記憶工程と、
    前記代表画像を表示装置に一覧表示させる代表画像表示制御工程と、
    前記表示装置に一覧表示された前記代表画像に対する選択を受け付ける代表画像選択工程と、
    前記代表画像が選択された場合に、選択された前記代表画像に対応する前記近傍画像を解析して診断用近傍画像を抽出する診断用近傍画像抽出工程であって、前記近傍画像の露出、前記近傍画像のブレの量のうち少なくとも1つに基づいて診断用近傍画像を抽出する診断用近傍画像抽出工程と、
    抽出された前記診断用近傍画像を前記表示装置に表示させる近傍画像表示制御工程と、
    前記表示装置に表示された前記診断用近傍画像に対する選択を受け付ける工程と、
    前記診断用近傍画像が選択された場合に、選択された前記代表画像を選択された前記診断用近傍画像で差し替える工程と、
    を有する診断支援方法。
JP2019538048A 2017-08-25 2018-08-06 診断支援システム、内視鏡システム及び診断支援方法 Active JP6907324B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017162546 2017-08-25
JP2017162546 2017-08-25
PCT/JP2018/029489 WO2019039259A1 (ja) 2017-08-25 2018-08-06 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Publications (2)

Publication Number Publication Date
JPWO2019039259A1 JPWO2019039259A1 (ja) 2020-10-29
JP6907324B2 true JP6907324B2 (ja) 2021-07-21

Family

ID=65438701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538048A Active JP6907324B2 (ja) 2017-08-25 2018-08-06 診断支援システム、内視鏡システム及び診断支援方法

Country Status (3)

Country Link
US (1) US11103197B2 (ja)
JP (1) JP6907324B2 (ja)
WO (1) WO2019039259A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
US20220110505A1 (en) * 2018-10-04 2022-04-14 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
CN113613543A (zh) * 2019-03-18 2021-11-05 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法以及程序
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
CN115279249A (zh) * 2020-03-03 2022-11-01 富士胶片株式会社 图像选择辅助装置、图像选择辅助方法及图像选择辅助程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60203077A (ja) * 1984-03-27 1985-10-14 Olympus Optical Co Ltd 静止画像撮影装置
JP2001359039A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 画像記録装置
JP4914680B2 (ja) * 2006-09-05 2012-04-11 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5147308B2 (ja) 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP5148227B2 (ja) * 2007-09-25 2013-02-20 富士フイルム株式会社 内視鏡システム
JP2009211118A (ja) * 2008-02-29 2009-09-17 Konica Minolta Medical & Graphic Inc 医用画像管理装置、印刷画像順設定方法及びプログラム
US20100097392A1 (en) 2008-10-14 2010-04-22 Olympus Medical Systems Corp. Image display device, image display method, and recording medium storing image display program
JP5379442B2 (ja) * 2008-10-14 2013-12-25 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
CN103402434B (zh) * 2011-03-10 2016-06-08 株式会社东芝 医用图像诊断装置、医用图像显示装置以及医用图像处理装置
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
JP5824264B2 (ja) 2011-07-14 2015-11-25 株式会社日立メディコ 検査情報表示システム、検査情報表示方法、検査情報表示装置
JP2013128723A (ja) * 2011-12-22 2013-07-04 Olympus Corp 内視鏡装置
JP5856931B2 (ja) * 2012-09-06 2016-02-10 富士フイルム株式会社 医療画像管理装置、医療画像管理方法、医療画像管理プログラム
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
DE102016219694A1 (de) * 2016-10-11 2018-04-12 Siemens Healthcare Gmbh Verfahren zur Ermittlung eines dreidimensionalen Bilddatensatzes durch eine Röntgeneinrichtung

Also Published As

Publication number Publication date
US20200170484A1 (en) 2020-06-04
US11103197B2 (en) 2021-08-31
JPWO2019039259A1 (ja) 2020-10-29
WO2019039259A1 (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
JP6907324B2 (ja) 診断支援システム、内視鏡システム及び診断支援方法
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN111526773B (zh) 内窥镜图像获取系统及方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7015385B2 (ja) 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7091349B2 (ja) 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP6925501B2 (ja) 画像処理装置及び内視鏡システム
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
CN116134363A (zh) 内窥镜系统及其工作方法
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20200205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210630

R150 Certificate of patent or registration of utility model

Ref document number: 6907324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150