JP7270658B2 - 画像記録装置、画像記録装置の作動方法および画像記録プログラム - Google Patents

画像記録装置、画像記録装置の作動方法および画像記録プログラム Download PDF

Info

Publication number
JP7270658B2
JP7270658B2 JP2020571969A JP2020571969A JP7270658B2 JP 7270658 B2 JP7270658 B2 JP 7270658B2 JP 2020571969 A JP2020571969 A JP 2020571969A JP 2020571969 A JP2020571969 A JP 2020571969A JP 7270658 B2 JP7270658 B2 JP 7270658B2
Authority
JP
Japan
Prior art keywords
lesion
unit
appearance
time
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571969A
Other languages
English (en)
Other versions
JPWO2020165978A1 (ja
Inventor
誠 北村
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020165978A1 publication Critical patent/JPWO2020165978A1/ja
Application granted granted Critical
Publication of JP7270658B2 publication Critical patent/JP7270658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749—Voice-controlled interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

本発明は、画像記録装置、画像記録装置の作動方法および画像記録プログラムに関する。
医療分野における画像診断においては、病状を分類及び評価するため、個々の患者に係る種々の解剖学的構造の医用画像を撮影する種々のシステムが開発されている。これらの撮影システムとして、例えば、ＣＴ（コンピュータ断層撮影）システム、ＭＲＩ（磁気共鳴撮影）システム、Ｘ線システム、超音波システム、ＰＥＴ（陽電子放出断層撮影）システム等が知られている。
また、日本国特表２００７－５２８７４６号公報においては、医者等の医療関係者によるアノテーションデータを機械学習することにより、いわゆるコンピュータ検出／診断支援であるＣＡＤｅ（Computer-Aided Detection/Diagnosis）による病変検出機能を実現する方法が開示されている。
ところで、内視鏡を用いた検査において、上述したコンピュータ検出／診断支援（ＣＡＤｅ）を用いて病変検出を行う場合、医師等の医療関係者によるアノテーションデータは、必ずしも重要な病変が出現し始めたタイミングを含んでいるとは限らない。
また、従来の手法では、内視鏡の検査画像中に病変が出現し始めたタイミングを確実に含むように記録するためには、当該検査中の全ての画像データを記録する必要があり、非常に大きなデータ記録装置を確保する必要があるという問題があった。
本発明は上述した事情に鑑みてなされたものであり、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出を行う際、時系列の検査画像中に病変が出現し始めたタイミングのアノテーションデータを確実かつ容易に作成することができる画像記録装置、画像記録装置の作動方法および画像記録プログラムを提供することを目的とする。
本発明の一態様の画像記録装置は、内視鏡検査の時系列画像を取得する取得部と、前記内視鏡検査のすべての前記時系列画像を一時的に記録可能なバッファ記録部と、前記バッファ記録部に一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、前記病変出現特定部によって特定された前記病変の出現に応じて、前記バッファ記録部に一時的に記録された前記時系列画像のうち所定の画像を記録する記録部と、を有する。
本発明の一態様の画像記録装置の作動方法は、画像記録装置の作動方法であって、画像記録装置が、取得部とバッファ記録部と病変出現特定部と記録部とからなり、取得部が内視鏡検査の時系列画像を取得する取得ステップと、バッファ記録部が前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、病変出現特定部が一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、記録部が特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、を画像記録装置が実行する。
本発明の一態様の画像記録プログラムは、取得部とバッファ記録部と病変出現特定部と記録部を備えた画像記録装置のコンピュータに、取得部が内視鏡検査の時系列画像を取得する取得ステップと、バッファ記録部が前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、病変出現特定部が一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、記録部が前記病変出現特定ステップにおいて特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、を実行させる。
図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。 図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図である。 図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。 図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。 図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
以下、本発明の実施の形態について図面を用いて説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。
図１に示すように本実施形態に係る内視鏡システム１は、例えば、内視鏡１０と、光源装置２０と、ビデオプロセッサ３０と、挿入形状検出装置４０と、画像記録装置５０と、表示装置６０と、入力装置７０と、を有して構成されている。
内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２と、操作部１２から延設されたユニバーサルコード１３と、を有して構成されている。また、内視鏡１０は、ユニバーサルコード１３の端部に設けられているスコープコネクタ１３Ａを介し、光源装置２０に対して着脱自在に接続されるように構成されている。
さらに内視鏡１０は、スコープコネクタ１３Ａから延出した電気ケーブル１４の端部に設けられている電気コネクタ１４Ａを介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また、挿入部１１、操作部１２及びユニバーサルコード１３の内部には、光源装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。
挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１１Ａと、湾曲自在に形成された湾曲部１１Ｂと、可撓性を有する長尺な可撓管部１１Ｃと、を先端側から順に設けて構成されている。
先端部１１Ａには、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１１Ａには、ビデオプロセッサ３０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部が設けられている。撮像部は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。
操作部１２は、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部１２には、挿入部１１の長手軸に対して交差する上下左右（ＵＤＬＲ）の４方向に湾曲部１１Ｂを湾曲させるための操作を行うことができるように構成されたアングルノブ１２１が設けられている。また、操作部１２には、操作者（ユーザ）の入力操作、例えば、レリーズ操作等に応じた指示を行うことが可能な１つ以上のスコープスイッチ１２２が設けられている。
ここで操作部１２における当該アングルノブ１２１、スコープスイッチ１２２は、外部情報の入力装置としての機能を果たす。
光源装置２０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源装置２０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源装置２０は、ビデオプロセッサ３０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。
入力装置７０は、ケーブル１６を介し、ビデオプロセッサ３０に対して着脱自在に接続され、例えば、マウス、キーボードまたはタッチパネル等のような、操作者（ユーザ）により操作される１つ以上の入力インターフェースを有して構成されている。
また入力装置７０は、操作者が発する所定の音声を入力する外部情報の入力装置としての機能も果たす。そして入力装置７０は、操作者（ユーザ）の操作または音声入力に応じた指示をビデオプロセッサ３０へ出力するように構成されている。
挿入形状検出装置４０は、ケーブル１５を介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また本実施形態において挿入形状検出装置４０は、挿入部１１に設けられた、例えばソースコイル群から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいてソースコイル群に含まれる複数のソースコイル各々の位置を取得するように構成されている。
また、挿入形状検出装置４０は、前述のように取得した複数のソースコイル各々の位置に基づいて挿入部１１の挿入形状を算出するとともに、当該算出した挿入形状を示す挿入形状情報を生成してビデオプロセッサ３０へ出力するように構成されている。
なお、本実施形態においては、挿入形状検出装置４０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置４０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
表示装置（モニタ）６０は、ケーブル１７を介してビデオプロセッサ３０に対して着脱自在に接続され、例えば、液晶モニタ等を有して構成される。また表示装置６０は、ビデオプロセッサ３０から出力される内視鏡画像等を画面上に表示することができるように構成されている。
画像記録装置５０は、ケーブル１８を介してビデオプロセッサ３０に対して着脱自在に接続される。また画像記録装置５０は、ビデオプロセッサ３０において適宜処理された時系列の内視鏡検査画像を取得する画像取得部を備えると共に、当該時系列の内視鏡画像を記録する記録部と、当該取得した時系列の内視鏡画像から病変の出現を特定する病変出現特定部と、を有するが、当該画像記録装置５０については、後に詳述する。
ビデオプロセッサ３０は、内視鏡１０から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成する画像処理部を備える。またビデオプロセッサ３０は当該生成した内視鏡画像を表示装置６０に表示させるための所定の動作を行うように構成されている。さらに、ビデオプロセッサ３０は、内視鏡１０、光源装置２０、画像記録装置５０等の動作を制御するための様々な制御信号を生成して出力するように構成されている。
また、ビデオプロセッサ３０は、上述したように、入力装置７０及び操作部１２のスコープスイッチ１１２からの指示に応じた動作、すなわち外部情報に基づく動作を行うように構成されている。
例えば、ビデオプロセッサ３０は、上述したように入力装置７０において操作者が発する所定の音声（病変の発見等）を入力した際、当該操作者の音声入力に応じた情報を、操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。なお、詳細については後述する。
さらにビデオプロセッサ３０は、例えば、操作部１２のスコープスイッチ１１２からのレリーズ操作情報、またはフリーズ操作情報を受信すると、上記同様に、当該操作者の操作に応じて操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。詳細については後述する。
さらにビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき、挿入部１１の駆動状態を制御するように構成されている。
また、本実施形態においてビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき当該挿入部１１の状態を把握し、例えば、挿入部１１の移動速度および移動方向（例えば、挿入部の抜去速度等）を検出し、当該挿入部１１の動作停止、動作変化、または、当該内視鏡の処置動作の判定を行うこともできるようになっている。
さらにビデオプロセッサ３０は、挿入形状検出装置４０からの挿入形状情報等に基づき上述した内視鏡挿入部の動作を判定し、当該判定結果を、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報として、画像記録装置５０における病変出現特定部（病変発見動作判定部５２Ａ）に向けて送出するようになっている。
なお本実施形態においてビデオプロセッサ３０の各部は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、ビデオプロセッサ３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
＜第１の実施形態における画像記録装置５０の内部構成＞
次に、本実施形態の画像記録装置５０の構成について詳しく説明する。
図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図、図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図、図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。
なお、本実施形態においては、画像記録装置５０の各部についても、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
図２に示すように、本第１の実施形態における画像記録装置５０は、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
画像取得部５１は、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。
病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。
記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病変出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
このように本実施形態において記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録をする。換言すれば、本実施形態の画像記録装置によると、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。
また記録部５３は、病変出現特定部５２によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて、機械学習用の教師データを作成する教師データ作成部を有する。また記録部５３は、当該教師データ作成部において作成された教師データに基づいて認識用の学習モデルを作成する学習モデル作成部を有する。
ここで学習モデルとは、作成された教師データに基づいて、病変と推定される内視鏡画像上の特徴部の境界線を識別する識別機としての機能を果たす。
さらに、記録部５３は、上記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部を有する。より具体的に記録部５３は、上記認識部において、認識処理のアルゴリズムを、例えば、いわゆるディープラーニング等の手法により作成する。そして、その認識アルゴリズムを用いて、適宜、認識処理を実行する。
なお、本第１の実施形態において記録部５３は、図３に示すようにバッファ記録部５４を含む。また記録部５３は、上述した病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。
バッファ記録部５４は、画像取得部５１から出力された、内視鏡検査に係るすべての前記時系列画像を記録可能とするものであり、さらに本実施形態においては、少なくとも、当該病変出現特定部５２において「病変の出現が特定された時点」に対して所定時間遡った時間から当該時系列画像の記録を開始可能とする。
なお病変出現特定部５２は、当該バッファ記録部５４に記録された前記時系列画像を取得すると共に、当該取得された前記時系列画像から「病変の出現」を特定することもできる。
このとき記録部５３は、例えば、内視鏡検査が終了した後に前記病変出現特定部５２によって特定された前記病変の出現タイミングに応じて前記バッファ記録部５４に記録された前記時系列画像のうち所定の画像、例えば、前記取得した画像において病変が出現した直後を含む区間（病変区間）を記録する可能とする。
次に、図４を参照して、本第１の実施形態の画像記録装置５０における病変出現特定部５２の具体的な構成について説明する。
なお、図４において記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。
図４に示すように、本第１の実施形態における病変出現特定部５２は、病変発見動作判定５２Ａと、病変の出現のタイミングを判定する出現タイミング判定部５２Ｄとを有する。
病変発見動作判定部５２Ａは、外部からの情報に基づいて病変を発見する動作を検知する。すなわち病変発見動作判定部５２Ａは、ビデオプロセッサ３０から出力される操作者の病変発見動作に係る通知情報を受け取り、当該通知情報に基づいて病変の発見を検知する操作者通知情報受信部としての役目を果たす。
具体的に病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する。
これら操作者の発声情報、レリーズ操作情報等は、上述したように、例えば入力装置７０または操作部１２のスコープスイッチ１１２からの外部情報を受けたビデオプロセッサ３０から病変発見動作判定部５２Ａに送信される情報である。
一方、病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する。
これらの内視鏡に係る動作情報は、上述したように、例えば、挿入形状検出装置４０からの挿入形状情報等に基づきビデオプロセッサ３０において判定された当該内視鏡挿入部に係る動作情報である。
出現タイミング判定部５２Ｄは、本実施形態においては、病変発見動作判定部５２Ａにおいて病変を発見する動作を検知した際、当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
具体的には、出現タイミング判定部５２Ｄは、操作者によって病変が発見された動作（操作者の音声、レリーズ操作、内視鏡挿入部の動作等）を検知した際、当該検知直後のタイミング、または、当該検知時より所定の時間遡ったタイミングから前記時系列の内視鏡画像を記録するよう、当該タイミング情報を記録部５３に送信する。
一方で記録部５３は、上述したように画像取得部５１からの時系列画像を一時的に適宜バッファ記録すると共に、病変出現特定部５２からのタイミング情報に応じた時系列画像を記録する。
＜第１の実施形態の作用＞
次に、本第１の実施形態の画像記録装置の作用について説明する。
まず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得する。そして、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
一方、病変出現特定部５２では、時系列画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを、上述した病変発見動作判定部５２Ａおよび出現タイミング判定部５２Ｄによって特定し、このタイミングの情報を記録部５３に向けて送出する。
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
すなわち記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
＜第１の実施形態の効果＞
本第１の実施形態における画像記録装置においては、内視鏡検査を行う際に、コンピュータによる病変の検出結果と病変の鑑別結果の通知がリアルタイムに行われるので、経験の浅い医師でも、ベテラン医師に劣らない品質で検査を行うことができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
本第２の実施形態の画像記録装置は、第１の実施形態に比して、病変出現特定部５２の構成を異にする。第１の実施形態の画像記録装置は、病変出現特定部５２として、操作者による病変発見動作または内視鏡挿入部の動作に応じて記録部５３が記録するタイミング情報を特定した。すなわち第１の実施形態は、操作者の動作に応じて上記タイミング情報を特定した。
これに対して第２の実施形態は、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部５３に自動的に所定の時系列画像を記録することを特徴とする。
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
＜第２の実施形態における画像記録装置５０の内部構成＞
次に、本第２の実施形態の画像記録装置５０の構成について詳しく説明する。
図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
なお、図５においても記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。
また、本第２の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
図５に示すように、本第２の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
第２の実施形態においても画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。
さらに病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。また、記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病変出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
このように本第２の実施形態においても、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。
さらに第２の実施形態においても記録部５３は、第１の実施形態と同様の教師データ作成部、学習モデル作成部、認識部を有し、いわゆるディープラーニング等の手法により作成した認識アルゴリズムを用いて、適宜、認識処理を実行する。
なお、本第２の実施形態においても記録部５３は、図３に示すようなバッファ記録部５４を含み、病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。
図５に示すように本第２の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変情報算出部５２Ｃと、出現タイミング判定部５２Ｄとを有する。
病変検出部５２Ｂは、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。
病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」に係る関心領域（ＲＯＩ）情報を算出するようになっている。
この「病変」に係る情報は、例えば、当該病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）に係る時系列情報、当該関心領域（ＲＯＩ）に係る位置情報、当該関心領域（ＲＯＩ）に係る距離情報、または、当該関心領域（ＲＯＩ）に係る大きさ情報である。
具体的には、病変情報算出部５２Ｃは、病変検出部５２Ｂにおいて検出した「病変」に係る関心領域（ＲＯＩ）の時系列的な変化、位置、距離、または、大きさの情報と予め求められた情報とを比較し、所定の場合には、「病変」であると判断する。
出現タイミング判定部５２Ｄは、本第２の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
＜第２の実施形態の作用＞
次に、本第２の実施形態の画像記録装置の作用について説明する。
第２の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。
この後、病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」を算出する。
出現タイミング判定部５２Ｄは、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
本第２の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
＜第２の実施形態の効果＞
本第２の実施形態における画像記録装置においては、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部に自動的に所定の時系列画像を記録するので、より高品質な検査を行うことができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
本第３の実施形態の画像記録装置は、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定することを特徴とする。
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
＜第３の実施形態における画像記録装置５０の内部構成＞
次に、本第３の実施形態の画像記録装置５０の構成について詳しく説明する。
図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
また、本第３の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
図６に示すように、本第３の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
また、図６に示すように本第３の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変マッチング部５２Ｅと、出現タイミング判定部５２Ｄとを有する。
第３の実施形態において画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３（バッファ記録部５４）に送出すると共に、病変出現特定部５２における病変検出部５２Ｂに向けて送出する。
また、記録部５３におけるバッファ記録部５４は、画像取得部５１から受信した当該時系列の内視鏡検査画像信号をバッファとして格納する。
病変検出部５２Ｂは、第２の実施形態と同様に、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。
病変マッチング部５２Ｅは、前記病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出した際、記録部５３のバッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施するようになっている。
出現タイミング判定部５２Ｄは、本第３の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信するようになっている。
＜第３の実施形態の作用＞
次に、本第３の実施形態の画像記録装置の作用について説明する。
第３の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３のバッファ記録部５４に送出すると共に、病変出現特定部５２（病変検出部５２Ｂ）に送出する。
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。
また病変マッチング部５２Ｅは、病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出すると、バッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施する。
この後、出現タイミング判定部５２Ｄは、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
本第３の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
＜第３の実施形態の効果＞
本第３の実施形態における画像記録装置においては、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定するので、より高品質な検査を行うことができる。
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
第１～第３の実施形態は、画像記録装置５０はビデオプロセッサ３０に対して別体に設けていたが、第４の実施形態においては、ビデオプロセッサに当該画像記録装置５０の機能を内設したことを特徴とする。
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図であり、図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
図７に示すように、第４の実施形態においては、第１の実施形態におけるビデオプロセッサ３０と同様の画像処理等を行う画像処理部３１を有するビデオプロセッサ１３０に、第１の実施形態における画像記録装置５０と同等の構成を成す画像記録装置５０を内設したことを特徴とする。
本第４の実施形態における画像記録装置５０は、ビデオプロセッサに一体化されているほかは第１の実施形態と同様であり、その作用効果も第１の実施形態と同様である。
なお、本第４の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (20)

  1. 内視鏡検査の時系列画像を取得する取得部と、
    前記内視鏡検査のすべての前記時系列画像を一時的に記録可能なバッファ記録部と、
    前記バッファ記録部に一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、
    前記病変出現特定部によって特定された前記病変の出現に応じて、前記バッファ記録部に一時的に記録された前記時系列画像のうち所定の画像を記録する記録部と、
    を有することを特徴とする画像記録装置。
  2. 前記記録部は、前記バッファ記録部に一時的に記録された前記時系列画像のうち、前記病変が出現した直後を含む区間を記録する
    ことを特徴とする請求項１に記載の画像記録装置。
  3. 前記病変出現特定部は、外部からの情報に基づいて病変を発見する動作を検知する病変発見動作判定部を備える
    ことを特徴とする請求項１に記載の画像記録装置。
  4. 前記病変出現特定部は、前記病変発見動作判定部による前記病変の発見をする動作の検知時より所定時間遡ったタイミングから前記時系列の内視鏡画像を記録するよう前記記録部にタイミング情報を送信し、
    前記記録部は、前記タイミング情報に応じた時系列画像を記録する
    ことを特徴とする請求項３に記載の画像記録装置。
  5. 前記病変発見動作判定部は、操作者の病変発見動作に係る通知情報に基づいて病変の発見を検知する操作者通知情報受信部を備える
    ことを特徴とする請求項３に記載の画像記録装置。
  6. 前記操作者通知情報受信部は、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する
    ことを特徴とする請求項５に記載の画像記録装置。
  7. 前記病変発見動作判定部は、内視鏡の動作に係る情報に基づいて病変の発見を検知する内視鏡動作情報受信部を備える
    ことを特徴とする請求項３に記載の画像記録装置。
  8. 前記内視鏡動作情報受信部は、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する
    ことを特徴とする請求項７に記載の画像記録装置。
  9. 前記病変出現特定部は、前記取得された前記時系列画像に基づいて病変を検出する病変検出部を有する
    ことを特徴とする請求項１に記載の画像記録装置。
  10. 前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変に係る情報を算出する病変情報算出部を有する
    ことを特徴とする請求項９に記載の画像記録装置。
  11. 前記病変情報算出部は、前記病変検出部において検出した病変に係る時系列情報を算出する
    ことを特徴とする請求項１０に記載の画像記録装置。
  12. 前記病変情報算出部は、前記病変検出部において検出した病変に係る位置情報を算出する
    ことを特徴とする請求項１０に記載の画像記録装置。
  13. 前記病変情報算出部は、前記病変検出部において検出した病変に係る距離情報を算出する
    ことを特徴とする請求項１０に記載の画像記録装置。
  14. 前記病変情報算出部は、前記病変検出部において検出した病変に係る大きさの情報を算出する
    ことを特徴とする請求項１０に記載の画像記録装置。
  15. 前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変のマッチング処理を行う病変マッチング部を有する
    ことを特徴とする請求項９に記載の画像記録装置。
  16. 前記病変出現特定部は、さらに、前記病変の出現タイミングを判定する出現タイミング判定部を有する
    ことを特徴とする請求項３に記載の画像記録装置。
  17. 前記病変出現特定部によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて機械学習用の教師データを作成する教師データ作成部と、
    前記教師データ作成部において作成された前記教師データに基づいて認識用の学習モデルを作成する学習モデル作成部と、
    を有することを特徴とする請求項１に記載の画像記録装置。
  18. 前記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部をさらに備える
    ことを特徴とする請求項１７に記載の画像記録装置。
  19. 画像記録装置の作動方法であって、画像記録装置が、取得部とバッファ記録部と病変出現特定部と記録部とを備え、
    前記取得部が内視鏡検査の時系列画像を取得する取得ステップと、
    前記バッファ記録部が前記内視鏡検査のすべての前記時系列画像を一時的に記録するス
    テップと、
    前記病変出現特定部が一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
    前記記録部が特定された前記病変の出現に応じて、一時的に記録された前記時系列画像
    のうち所定の画像を記録する記録ステップと、
    を画像記録装置が実行する画像記録装置の作動方法。
  20. 取得部とバッファ記録部と病変出現特定部と記録部を備えた画像記録装置のコンピュータに、
    取得部が内視鏡検査の時系列画像を取得する取得ステップと、
    バッファ記録部が前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、
    病変出現特定部が一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
    記録部が前記病変出現特定ステップにおいて特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、
    を実行させるための画像記録プログラム。
JP2020571969A 2019-02-13 2019-02-13 画像記録装置、画像記録装置の作動方法および画像記録プログラム Active JP7270658B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/005161 WO2020165978A1 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録方法および画像記録プログラム

Publications (2)

Publication Number Publication Date
JPWO2020165978A1 JPWO2020165978A1 (ja) 2021-12-02
JP7270658B2 true JP7270658B2 (ja) 2023-05-10

Family

ID=72043802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571969A Active JP7270658B2 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録装置の作動方法および画像記録プログラム

Country Status (4)

Country Link
US (1) US20210361142A1 (ja)
JP (1) JP7270658B2 (ja)
CN (1) CN113365545A (ja)
WO (1) WO2020165978A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP2023178526A (ja) * 2020-09-15 2023-12-18 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
KR102602392B1 (ko) * 2020-12-31 2023-11-16 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006271870A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP2007528746A (ja) 2003-06-27 2007-10-18 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド Ｃａｄ（コンピュータ援用決定）プロセスを日常的なｃａｄシステム利用から得られた知識に適合させるために機械学習を利用する医用画像診断用のｃａｄ支援
WO2017216922A1 (ja) 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780071B2 (ja) * 1997-07-31 2006-05-31 オリンパス株式会社 内視鏡撮像システム
JP2007080368A (ja) * 2005-09-13 2007-03-29 Sony Corp データ記録方法、データ記録装置及びデータ記録プログラム
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP4897007B2 (ja) * 2008-05-14 2012-03-14 ユニヴァーシティー・オヴ・ソウル・ファウンデイション・オヴ・インダストリー・アカデミック・コウオペレイション テラヘルツ電磁気波を用いた高解像度生体イメージ生成装置、高解像度イメージ生成方法及びこれを用いた内視鏡装置
JP5322794B2 (ja) * 2009-06-16 2013-10-23 株式会社東芝 内視鏡検査支援システム
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
JP5634755B2 (ja) * 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
EP2407943B1 (en) * 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
US9743824B2 (en) * 2013-09-04 2017-08-29 Siemens Medical Solutions Usa, Inc. Accurate and efficient polyp detection in wireless capsule endoscopy images
WO2015054243A1 (en) * 2013-10-07 2015-04-16 Van Dam, Jacques Integrated ultrasound, oct, pa and/or florescence imaging endoscope for diagnosing cancers in gastrointestinal, respiratory, and urogenital tracts
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
JP6335412B1 (ja) * 2017-02-02 2018-05-30 オリンパス株式会社 内視鏡画像観察支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528746A (ja) 2003-06-27 2007-10-18 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド Ｃａｄ（コンピュータ援用決定）プロセスを日常的なｃａｄシステム利用から得られた知識に適合させるために機械学習を利用する医用画像診断用のｃａｄ支援
JP2006271870A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
WO2017216922A1 (ja) 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
WO2020165978A1 (ja) 2020-08-20
CN113365545A (zh) 2021-09-07
US20210361142A1 (en) 2021-11-25
JPWO2020165978A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
US7074185B2 (en) Ultrasonic diagnostic apparatus, ultrasonic probe and navigation method for acquisition of ultrasonic image
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
US10561338B2 (en) Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
US20220313067A1 (en) Medical image processing apparatus, endoscope system, diagnosis assistance method, and program
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
KR20200080906A (ko) 초음파 진단 장치 및 그 동작 방법
CN116075902A (zh) 用于识别医疗程序期间未检查区域的设备、系统和方法
JP7314394B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
US20240079100A1 (en) Medical support device, medical support method, and program
US20230380910A1 (en) Information processing apparatus, ultrasound endoscope, information processing method, and program
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
WO2023209884A1 (ja) 医療支援システムおよび画像表示方法
US20230363622A1 (en) Information processing apparatus, bronchoscope apparatus, information processing method, and program
US20240054645A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2024004542A1 (ja) 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム
US20230419517A1 (en) Shape measurement system for endoscope and shape measurement method for endoscope
WO2021156926A1 (ja) 内視鏡制御装置、内視鏡制御方法および内視鏡制御プログラム
US20190099155A1 (en) Diagnostic imaging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R151 Written notification of patent or utility model registration

Ref document number: 7270658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151