WO2020165978A1 - 画像記録装置、画像記録方法および画像記録プログラム - Google Patents

画像記録装置、画像記録方法および画像記録プログラム Download PDF

Info

Publication number
WO2020165978A1
WO2020165978A1 PCT/JP2019/005161 JP2019005161W WO2020165978A1 WO 2020165978 A1 WO2020165978 A1 WO 2020165978A1 JP 2019005161 W JP2019005161 W JP 2019005161W WO 2020165978 A1 WO2020165978 A1 WO 2020165978A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
unit
appearance
image
time
Prior art date
Application number
PCT/JP2019/005161
Other languages
English (en)
French (fr)
Inventor
北村　誠
大和 神田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201980090591.7A priority Critical patent/CN113365545A/zh
Priority to JP2020571969A priority patent/JP7270658B2/ja
Priority to PCT/JP2019/005161 priority patent/WO2020165978A1/ja
Publication of WO2020165978A1 publication Critical patent/WO2020165978A1/ja
Priority to US17/395,696 priority patent/US20210361142A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749—Voice-controlled interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

内視鏡検査の時系列画像を取得する取得部５１と、前記取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。

Description

画像記録装置、画像記録方法および画像記録プログラム
　本発明は、画像記録装置、画像記録方法および画像記録プログラムに関する。
　医療分野における画像診断においては、病状を分類及び評価するため、個々の患者に係る種々の解剖学的構造の医用画像を撮影する種々のシステムが開発されている。これらの撮影システムとして、例えば、ＣＴ（コンピュータ断層撮影）システム、ＭＲＩ（磁気共鳴撮影）システム、Ｘ線システム、超音波システム、ＰＥＴ（陽電子放出断層撮影）システム等が知られている。
　また、日本国特表２００７－５２８７４６号公報においては、医者等の医療関係者によるアノテーションデータを機械学習することにより、いわゆるコンピュータ検出／診断支援であるＣＡＤｅ（Computer-Aided Detection/Diagnosis）による病変検出機能を実現する方法が開示されている。
　ところで、内視鏡を用いた検査において、上述したコンピュータ検出／診断支援（ＣＡＤｅ）を用いて病変検出を行う場合、医師等の医療関係者によるアノテーションデータは、必ずしも重要な病変が出現し始めたタイミングを含んでいるとは限らない。
　また、従来の手法では、内視鏡の検査画像中に病変が出現し始めたタイミングを確実に含むように記録するためには、当該検査中の全ての画像データを記録する必要があり、非常に大きなデータ記録装置を確保する必要があるという問題があった。
　本発明は上述した事情に鑑みてなされたものであり、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出を行う際、時系列の検査画像中に病変が出現し始めたタイミングのアノテーションデータを確実かつ容易に作成することができる画像記録装置、画像記録方法および画像記録プログラムを提供することを目的とする。
　本発明の一態様の画像記録装置は、内視鏡検査の時系列画像を取得する取得部と、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、前記病変出現特定部において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部と、を有する。
　本発明の一態様の画像記録方法は、内視鏡検査の時系列画像を取得する取得ステップと、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、を有する。
　本発明の一態様の画像記録プログラムは、コンピュータに、内視鏡検査の時系列画像を取得する取得ステップと、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、を実行させる。
図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。 図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図である。 図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。 図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。 図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。 図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
　以下、本発明の実施の形態について図面を用いて説明する。
　＜第１の実施形態＞
　図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。
　図１に示すように本実施形態に係る内視鏡システム１は、例えば、内視鏡１０と、光源装置２０と、ビデオプロセッサ３０と、挿入形状検出装置４０と、画像記録装置５０と、表示装置６０と、入力装置７０と、を有して構成されている。
　内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２と、操作部１２から延設されたユニバーサルコード１３と、を有して構成されている。また、内視鏡１０は、ユニバーサルコード１３の端部に設けられているスコープコネクタ１３Ａを介し、光源装置２０に対して着脱自在に接続されるように構成されている。
　さらに内視鏡１０は、スコープコネクタ１３Ａから延出した電気ケーブル１４の端部に設けられている電気コネクタ１４Ａを介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また、挿入部１１、操作部１２及びユニバーサルコード１３の内部には、光源装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。
　挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１１Ａと、湾曲自在に形成された湾曲部１１Ｂと、可撓性を有する長尺な可撓管部１１Ｃと、を先端側から順に設けて構成されている。
　先端部１１Ａには、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１１Ａには、ビデオプロセッサ３０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部が設けられている。撮像部は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。
　操作部１２は、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部１２には、挿入部１１の長手軸に対して交差する上下左右（ＵＤＬＲ）の４方向に湾曲部１１Ｂを湾曲させるための操作を行うことができるように構成されたアングルノブ１２１が設けられている。また、操作部１２には、操作者（ユーザ）の入力操作、例えば、レリーズ操作等に応じた指示を行うことが可能な１つ以上のスコープスイッチ１２２が設けられている。
　ここで操作部１２における当該アングルノブ１２１、スコープスイッチ１２２は、外部情報の入力装置としての機能を果たす。
　光源装置２０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源装置２０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源装置２０は、ビデオプロセッサ３０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。
　入力装置７０は、ケーブル１６を介し、ビデオプロセッサ３０に対して着脱自在に接続され、例えば、マウス、キーボードまたはタッチパネル等のような、操作者（ユーザ）により操作される１つ以上の入力インターフェースを有して構成されている。
　また入力装置７０は、操作者が発する所定の音声を入力する外部情報の入力装置としての機能も果たす。そして入力装置７０は、操作者（ユーザ）の操作または音声入力に応じた指示をビデオプロセッサ３０へ出力するように構成されている。
　挿入形状検出装置４０は、ケーブル１５を介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また本実施形態において挿入形状検出装置４０は、挿入部１１に設けられた、例えばソースコイル群から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいてソースコイル群に含まれる複数のソースコイル各々の位置を取得するように構成されている。
　また、挿入形状検出装置４０は、前述のように取得した複数のソースコイル各々の位置に基づいて挿入部１１の挿入形状を算出するとともに、当該算出した挿入形状を示す挿入形状情報を生成してビデオプロセッサ３０へ出力するように構成されている。
　なお、本実施形態においては、挿入形状検出装置４０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置４０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　表示装置（モニタ）６０は、ケーブル１７を介してビデオプロセッサ３０に対して着脱自在に接続され、例えば、液晶モニタ等を有して構成される。また表示装置６０は、ビデオプロセッサ３０から出力される内視鏡画像等を画面上に表示することができるように構成されている。
　画像記録装置５０は、ケーブル１８を介してビデオプロセッサ３０に対して着脱自在に接続される。また画像記録装置５０は、ビデオプロセッサ３０において適宜処理された時系列の内視鏡検査画像を取得する画像取得部を備えると共に、当該時系列の内視鏡画像を記録する記録部と、当該取得した時系列の内視鏡画像から病変の出現を特定する病変出現特定部と、を有するが、当該画像記録装置５０については、後に詳述する。
　ビデオプロセッサ３０は、内視鏡１０から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成する画像処理部を備える。またビデオプロセッサ３０は当該生成した内視鏡画像を表示装置６０に表示させるための所定の動作を行うように構成されている。さらに、ビデオプロセッサ３０は、内視鏡１０、光源装置２０、画像記録装置５０等の動作を制御するための様々な制御信号を生成して出力するように構成されている。
　また、ビデオプロセッサ３０は、上述したように、入力装置７０及び操作部１２のスコープスイッチ１１２からの指示に応じた動作、すなわち外部情報に基づく動作を行うように構成されている。
　例えば、ビデオプロセッサ３０は、上述したように入力装置７０において操作者が発する所定の音声（病変の発見等）を入力した際、当該操作者の音声入力に応じた情報を、操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。なお、詳細については後述する。
　さらにビデオプロセッサ３０は、例えば、操作部１２のスコープスイッチ１１２からのレリーズ操作情報、またはフリーズ操作情報を受信すると、上記同様に、当該操作者の操作に応じて操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。詳細については後述する。
　さらにビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき、挿入部１１の駆動状態を制御するように構成されている。
　また、本実施形態においてビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき当該挿入部１１の状態を把握し、例えば、挿入部１１の移動速度および移動方向（例えば、挿入部の抜去速度等）を検出し、当該挿入部１１の動作停止、動作変化、または、当該内視鏡の処置動作の判定を行うこともできるようになっている。
　さらにビデオプロセッサ３０は、挿入形状検出装置４０からの挿入形状情報等に基づき上述した内視鏡挿入部の動作を判定し、当該判定結果を、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報として、画像記録装置５０における病変出現特定部（病変発見動作判定部５２Ａ）に向けて送出するようになっている。
　なお本実施形態においてビデオプロセッサ３０の各部は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、ビデオプロセッサ３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　＜第１の実施形態における画像記録装置５０の内部構成＞
　次に、本実施形態の画像記録装置５０の構成について詳しく説明する。
　図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図、図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図、図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。
　なお、本実施形態においては、画像記録装置５０の各部についても、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　図２に示すように、本第１の実施形態における画像記録装置５０は、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
　画像取得部５１は、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。
　病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。
　記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病原出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
　このように本実施形態において記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録をする。還元すれば、本実施形態の画像記録装置によると、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。
　また記録部５３は、病変出現特定部５２によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて、機械学習用の教師データを作成する教師データ作成部を有する。また記録部５３は、当該教師データ作成部において作成された教師データに基づいて認識用の学習モデルを作成する学習モデル作成部を有する。
　ここで学習モデルとは、作成された教師データに基づいて、病変と推定される内視鏡画像上の特徴部の境界線を識別する識別機としての機能を果たす。
　さらに、記録部５３は、上記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部を有する。より具体的に記録部５３は、上記認識部において、認識処理のアルゴリズムを、例えば、いわゆるディープラーニング等の手法により作成する。そして、その認識アルゴリズムを用いて、適宜、認識処理を実行する。
　なお、本第１の実施形態において記録部５３は、図３に示すようにバッファ記録部５４を含む。また記録部５３は、上述した病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。
　バッファ記録部５４は、画像取得部５１から出力された、内視鏡検査に係るすべての前記時系列画像を記録可能とするものであり、さらに本実施形態においては、少なくとも、当該病変出現特定部５２において「病変の出現が特定された時点」に対して所定時間遡った時間から当該時系列画像の記録を開始可能とする。
　なお病変出現特定部５２は、当該バッファ記録部５４に記録された前記時系列画像を取得すると共に、当該取得された前記時系列画像から「病変の出現」を特定することもできる。
　このとき記録部５３は、例えば、内視鏡検査が終了した後に前記病変出現特定部５２によって特定された前記病変の出現タイミングに応じて前記バッファ記録部５４に記録された前記時系列画像のうち所定の画像、例えば、前記取得した画像において病変が出現した直後を含む区間（病変区間）を記録する可能とする。
　次に、図４を参照して、本第１の実施形態の画像記録装置５０における病変出現特定部５２の具体的な構成について説明する。
　なお、図４において記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。
　図４に示すように、本第１の実施形態における病変出現特定部５２は、病変発見動作判定５２Ａと、病変の出現のタイミングを判定する出現タイミング判定部５２Ｄとを有する。
　病変発見動作判定部５２Ａは、外部からの情報に基づいて病変を発見する動作を検知する。すなわち病変発見動作判定部５２Ａは、ビデオプロセッサ３０から出力される操作者の病変発見動作に係る通知情報を受け取り、当該通知情報に基づいて病変の発見を検知する操作者通知情報受信部としての役目を果たす。
　具体的に病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する。
　これら操作者の発声情報、レリーズ操作情報等は、上述したように、例えば入力装置７０または操作部１２のスコープスイッチ１１２からの外部情報を受けたビデオプロセッサ３０から病変発見動作判定部５２Ａに送信される情報である。
　一方、病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する。
　これらの内視鏡に係る動作情報は、上述したように、例えば、挿入形状検出装置４０からの挿入形状情報等に基づきビデオプロセッサ３０において判定された当該内視鏡挿入部に係る動作情報である。
　出現タイミング判定部５２Ｄは、本実施形態においては、病変発見動作判定部５２Ａにおいて病変を発見する動作を検知した際、当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
　具体的には、出現タイミング判定部５２Ｄは、操作者によって病変が発見された動作（操作者の音声、レリーズ操作、内視鏡挿入部の動作等）を検知した際、当該検知直後のタイミング、または、当該検知時より所定の時間遡ったタイミングから前記時系列の内視鏡画像を記録するよう、当該タイミング情報を記録部５３に送信する。
　一方で記録部５３は、上述したように画像取得部５１からの時系列画像を一時的に適宜バッファ記録すると共に、病変出現特定部５２からのタイミング情報に応じた時系列画像を記録する。
　＜第１の実施形態の作用＞
　次に、本第１の実施形態の画像記録装置の作用について説明する。
　まず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得する。そして、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。
　記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
　一方、病変出現特定部５２では、時系列画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを、上述した病変発見動作判定部５２Ａおよび出現タイミング判定部５２Ｄによって特定し、このタイミングの情報を記録部５３に向けて送出する。
　記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
　すなわち記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
　この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
　さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
　＜第１の実施形態の効果＞
　本第１の実施形態における画像記録装置においては、内視鏡検査を行う際に、コンピュータによる病変の検出結果と病変の鑑別結果の通知がリアルタイムに行われるので、経験の浅い医師でも、ベテラン医師に劣らない品質で検査を行うことができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態について説明する。
　本第２の実施形態の画像記録装置は、第１の実施形態に比して、病変出現特定部５２の構成を異にする。第１の実施形態の画像記録装置は、病変出現特定部５２として、操作者による病変発見動作または内視鏡挿入部の動作に応じて記録部５３が記録するタイミング情報を特定した。すなわち第１の実施形態は、操作者の動作に応じて上記タイミング情報を特定した。
　これに対して第２の実施形態は、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部５３に自動的に所定の時系列画像を記録することを特徴とする。
　その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
　＜第２の実施形態における画像記録装置５０の内部構成＞
　次に、本第２の実施形態の画像記録装置５０の構成について詳しく説明する。
　図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
　なお、図５においても記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。
　また、本第２の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　図５に示すように、本第２の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
　第２の実施形態においても画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。
　さらに病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。また、記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病原出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
　このように本第２の実施形態においても、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。
　さらに第２の実施形態においても記録部５３は、第１の実施形態と同様の教師データ作成部、学習モデル作成部、認識部を有し、いわゆるディープラーニング等の手法により作成した認識アルゴリズムを用いて、適宜、認識処理を実行する。
　なお、本第２の実施形態においても記録部５３は、図３に示すようなバッファ記録部５４を含み、病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。
　図５に示すように本第２の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変情報算出部５２Ｃと、出現タイミング判定部５２Ｄとを有する。
　病変検出部５２Ｂは、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。
　病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」に係る関心領域（ＲＯＩ）情報を算出するようになっている。
　この「病変」に係る情報は、例えば、当該病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）に係る時系列情報、当該関心領域（ＲＯＩ）に係る位置情報、当該関心領域（ＲＯＩ）に係る距離情報、または、当該関心領域（ＲＯＩ）に係る大きさ情報である。
　具体的には、病変情報算出部５２Ｃは、病変検出部５２Ｂにおいて検出した「病変」に係る関心領域（ＲＯＩ）の時系列的な変化、位置、距離、または、大きさの情報と予め求められた情報とを比較し、所定の場合には、「病変」であると判断する。
　出現タイミング判定部５２Ｄは、本第２の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
　＜第２の実施形態の作用＞
　次に、本第２の実施形態の画像記録装置の作用について説明する。
　第２の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。
　記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
　一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。
　この後、病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」を算出する。
　出現タイミング判定部５２Ｄは、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
　記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
　本第２の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
　この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
　さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
　＜第２の実施形態の効果＞
　本第２の実施形態における画像記録装置においては、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部に自動的に所定の時系列画像を記録するので、より高品質な検査を行うことができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態について説明する。
　本第３の実施形態の画像記録装置は、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定することを特徴とする。
　その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
　＜第３の実施形態における画像記録装置５０の内部構成＞
　次に、本第３の実施形態の画像記録装置５０の構成について詳しく説明する。
　図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
　また、本第３の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　図６に示すように、本第３の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
　また、図６に示すように本第３の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変マッチング部５２Ｅと、出現タイミング判定部５２Ｄとを有する。
　第３の実施形態において画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３（バッファ記録部５４）に送出すると共に、病変出現特定部５２における病変検出部５２Ｂに向けて送出する。
　また、記録部５３におけるバッファ記録部５４は、画像取得部５１から受信した当該時系列の内視鏡検査画像信号をバッファとして格納する。
　病変検出部５２Ｂは、第２の実施形態と同様に、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。
　病変マッチング部５２Ｅは、前記病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出した際、記録部５３のバッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施するようになっている。
　出現タイミング判定部５２Ｄは、本第３の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信するようになっている。
　＜第３の実施形態の作用＞
　次に、本第３の実施形態の画像記録装置の作用について説明する。
　第３の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３のバッファ記録部５４に送出すると共に、病変出現特定部５２（病変検出部５２Ｂ）に送出する。
　記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。
　一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。
　また病変マッチング部５２Ｅは、病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出すると、バッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施する。
　この後、出現タイミング判定部５２Ｄは、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。
　記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
　本第３の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
　この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。
　さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。
　＜第３の実施形態の効果＞
　本第３の実施形態における画像記録装置においては、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定するので、より高品質な検査を行うことができる。
　＜第４の実施形態＞
　次に、本発明の第４の実施形態について説明する。
　第１～第３の実施形態は、画像記録装置５０はビデオプロセッサ３０に対して別体に設けていたが、第４の実施形態においては、ビデオプロセッサに当該画像記録装置５０の機能を内設したことを特徴とする。
　その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
　図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図であり、図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
　図７に示すように、第４の実施形態においては、第１の実施形態におけるビデオプロセッサ３０と同様の画像処理等を行う画像処理部３１を有するビデオプロセッサ１３０に、第１の実施形態における画像記録装置５０と同等の構成を成す画像記録装置５０を内設したことを特徴とする。
　本第４の実施形態における画像記録装置５０は、ビデオプロセッサに一体化されているほかは第１の実施形態と同様であり、その作用効果も第１の実施形態と同様である。
　なお、本第４の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (20)

  1. 　内視鏡検査の時系列画像を取得する取得部と、
    　前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、
    　前記病変出現特定部において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部と、
    　を有することを特徴とする画像記録装置。
  2. 　少なくとも、前記病変出現特定部において前記病変の出現が特定された時点に対して所定時間遡った時間から前記時系列画像の記録を開始するバッファ記録部をさらに有する
    　ことを特徴とする請求項１に記載の画像記録装置。
  3. 　前記バッファ記録部は、内視鏡検査のすべての前記時系列画像を記録可能とし、
    　前記病変出現特定部は、前記バッファ記録部に記録された前記時系列画像を取得すると共に、当該取得された前記時系列画像から病変の出現を特定し、
    　前記記録部は、当該内視鏡検査が終了した後に前記病変出現特定部によって特定された前記病変の出現に応じて前記バッファ記録部に記録された前記時系列画像のうち所定の画像を記録する
    　ことを特徴とする請求項２に記載の画像記録装置。
  4. 　前記病変出現特定部は、外部からの情報に基づいて病変を発見する動作を検知する病変発見動作判定部を備える
    　ことを特徴とする請求項１に記載の画像記録装置。
  5. 　前記病変発見動作判定部は、操作者の病変発見動作に係る通知情報に基づいて病変の発見を検知する操作者通知情報受信部を備える
    　ことを特徴とする請求項４に記載の画像記録装置。
  6. 　前記操作者通知情報受信部は、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する
    　ことを特徴とする請求項５に記載の画像記録装置。
  7. 　前記病変発見動作判定部は、内視鏡の動作に係る情報に基づいて病変の発見を検知する内視鏡動作情報受信部を備える
    　ことを特徴とする請求項４に記載の画像記録装置。
  8. 　前記内視鏡動作情報受信部は、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する
    　ことを特徴とする請求項７に記載の画像記録装置。
  9. 　前記病変出現特定部は、前記取得された前記時系列画像に基づいて病変を検出する病変検出部を有する
    　ことを特徴とする請求項１に記載の画像記録装置。
  10. 　前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変に係る情報を算出する病変情報算出部を有する
    　ことを特徴とする請求項９に記載の画像記録装置。
  11. 　前記病変情報算出部は、前記病変検出部において検出した病変に係る時系列情報を算出する
    　ことを特徴とする請求項１０に記載の画像記録装置。
  12. 　前記病変情報算出部は、前記病変検出部において検出した病変に係る位置情報を算出する
    　ことを特徴とする請求項１０に記載の画像記録装置。
  13. 　前記病変情報算出部は、前記病変検出部において検出した病変に係る距離情報を算出する
    　ことを特徴とする請求項１０に記載の画像記録装置。
  14. 　前記病変情報算出部は、前記病変検出部において検出した病変に係る大きさの情報を算出する
    　ことを特徴とする請求項１０に記載の画像記録装置。
  15. 　前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変のマッチング処理を行う病変マッチング部を有する
    　ことを特徴とする請求項９に記載の画像記録装置。
  16. 　前記病変出現特定部は、さらに、前記病変の出現タイミングを判定する出現タイミング判定部を有する
    　ことを特徴とする請求項４～１５のいずれか１項に記載の画像記録装置。
  17. 　前記病変出現特定部によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて機械学習用の教師データを作成する教師データ作成部と、
    　前記教師データ作成部において作成された前記教師データに基づいて認識用の学習モデルを作成する学習モデル作成部と、
    　を有することを特徴とする請求項１に記載の画像記録装置。
  18. 　前記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部をさらに備える
    　ことを特徴とする請求項１７に記載の画像記録装置。
  19. 　内視鏡検査の時系列画像を取得する取得ステップと、
    　前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
    　前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、
    　を有することを特徴とする画像記録方法。
  20. 　コンピュータに、
    　内視鏡検査の時系列画像を取得する取得ステップと、
    　前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
    　前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、
    　を実行させるための画像記録プログラム。
PCT/JP2019/005161 2019-02-13 2019-02-13 画像記録装置、画像記録方法および画像記録プログラム WO2020165978A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980090591.7A CN113365545A (zh) 2019-02-13 2019-02-13 图像记录装置、图像记录方法和图像记录程序
JP2020571969A JP7270658B2 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録装置の作動方法および画像記録プログラム
PCT/JP2019/005161 WO2020165978A1 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録方法および画像記録プログラム
US17/395,696 US20210361142A1 (en) 2019-02-13 2021-08-06 Image recording device, image recording method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/005161 WO2020165978A1 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録方法および画像記録プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/395,696 Continuation US20210361142A1 (en) 2019-02-13 2021-08-06 Image recording device, image recording method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020165978A1 true WO2020165978A1 (ja) 2020-08-20

Family

ID=72043802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005161 WO2020165978A1 (ja) 2019-02-13 2019-02-13 画像記録装置、画像記録方法および画像記録プログラム

Country Status (4)

Country Link
US (1) US20210361142A1 (ja)
JP (1) JP7270658B2 (ja)
CN (1) CN113365545A (ja)
WO (1) WO2020165978A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059233A1 (ja) * 2020-09-15 2022-03-24 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
KR20220096453A (ko) * 2020-12-31 2022-07-07 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1147085A (ja) * 1997-07-31 1999-02-23 Olympus Optical Co Ltd 内視鏡撮像システム
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
JP2006271870A (ja) * 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP2007080368A (ja) * 2005-09-13 2007-03-29 Sony Corp データ記録方法、データ記録装置及びデータ記録プログラム
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP4897007B2 (ja) * 2008-05-14 2012-03-14 ユニヴァーシティー・オヴ・ソウル・ファウンデイション・オヴ・インダストリー・アカデミック・コウオペレイション テラヘルツ電磁気波を用いた高解像度生体イメージ生成装置、高解像度イメージ生成方法及びこれを用いた内視鏡装置
JP5322794B2 (ja) * 2009-06-16 2013-10-23 株式会社東芝 内視鏡検査支援システム
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
JP5634755B2 (ja) * 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
EP2407943B1 (en) * 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
US9743824B2 (en) * 2013-09-04 2017-08-29 Siemens Medical Solutions Usa, Inc. Accurate and efficient polyp detection in wireless capsule endoscopy images
WO2015054243A1 (en) * 2013-10-07 2015-04-16 Van Dam, Jacques Integrated ultrasound, oct, pa and/or florescence imaging endoscope for diagnosing cancers in gastrointestinal, respiratory, and urogenital tracts
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
JP6335412B1 (ja) * 2017-02-02 2018-05-30 オリンパス株式会社 内視鏡画像観察支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1147085A (ja) * 1997-07-31 1999-02-23 Olympus Optical Co Ltd 内視鏡撮像システム
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059233A1 (ja) * 2020-09-15 2022-03-24 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
KR20220096453A (ko) * 2020-12-31 2022-07-07 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램
KR102602392B1 (ko) * 2020-12-31 2023-11-16 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体

Also Published As

Publication number Publication date
CN113365545A (zh) 2021-09-07
JPWO2020165978A1 (ja) 2021-12-02
JP7270658B2 (ja) 2023-05-10
US20210361142A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP5810248B2 (ja) 内視鏡システム
KR101599129B1 (ko) 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
US20080303898A1 (en) Endoscopic image processing apparatus
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP6624705B2 (ja) 内視鏡挿入形状観測装置
WO2021111879A1 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
JP4855901B2 (ja) 内視鏡挿入形状解析システム
JPWO2016072237A1 (ja) 内視鏡システム
US20220313067A1 (en) Medical image processing apparatus, endoscope system, diagnosis assistance method, and program
US20220361733A1 (en) Endoscopic examination supporting apparatus, endoscopic examination supporting method, and non-transitory recording medium recording program
US20200090333A1 (en) Endoscope image processing device and endoscope image processing method
JP2006223850A (ja) 電子内視鏡システム
US20220218180A1 (en) Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
CN116075902A (zh) 用于识别医疗程序期间未检查区域的设备、系统和方法
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP2019166246A (ja) 内視鏡システム
JP4615842B2 (ja) 内視鏡システムおよび内視鏡画像処理装置
CN115135224A (zh) 内窥镜检查辅助装置、内窥镜检查辅助方法及内窥镜检查辅助程序
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
JP2021194268A (ja) 血管観察システムおよび血管観察方法
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915303

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571969

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915303

Country of ref document: EP

Kind code of ref document: A1