WO2021241735A1 - 内視鏡プロセッサ装置 - Google Patents

内視鏡プロセッサ装置 Download PDF

Info

Publication number
WO2021241735A1
WO2021241735A1 PCT/JP2021/020413 JP2021020413W WO2021241735A1 WO 2021241735 A1 WO2021241735 A1 WO 2021241735A1 JP 2021020413 W JP2021020413 W JP 2021020413W WO 2021241735 A1 WO2021241735 A1 WO 2021241735A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
observation
observation scene
information
recommended
Prior art date
Application number
PCT/JP2021/020413
Other languages
English (en)
French (fr)
Inventor
雅啓 北原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022526669A priority Critical patent/JP7440629B2/ja
Priority to EP21812744.7A priority patent/EP4159108A4/en
Priority to CN202180038447.6A priority patent/CN115666361A/zh
Publication of WO2021241735A1 publication Critical patent/WO2021241735A1/ja
Priority to US18/058,827 priority patent/US20230105682A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an endoscope processor device that performs recognition processing using AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • diagnosis using an endoscope system equipped with an endoscope, a light source device, and a processor device is widely performed.
  • the endoscope system generates an image to be observed based on an image signal taken by the endoscope and displays it on a display.
  • the user can make a diagnosis while looking at the observation image displayed on the display.
  • Patent Document 1 discloses a technique of comparing an inspection image with a reference image, encouraging an operation to take a picture when the degree of matching is high, and supporting the acquisition of an image in accordance with the guideline.
  • Patent Document 2 discloses assistive technology so that an inspection in compliance with an inspection protocol can be performed by detecting a task that has been performed according to the content of the procedure and displaying it on a display separately from a task that has not been performed.
  • Patent Document 3 discloses a technique of generating an alert to notify a user of an image failure when the number of images at a predetermined inspection site does not match the planned number of images to be imaged.
  • the guidelines for endoscopy include not only the area that needs to be observed, but also the procedure such as the order of imaging of the observation target. The reason for this is to prevent omission of observation and false negatives and shorten the examination time by making the area of the organ reflected in the image that appears in the secondary interpretation continuous and suppressing unnecessary movement of the scope during the examination. Because.
  • Patent Document 1 and Patent Document 3 in order to acquire an image in accordance with the guideline, the user must operate the endoscope so that the endoscope is in an appropriate shooting position, and an appropriate image is acquired. It is not an effective means for rapid screening, considering that it requires complicated operations. Further, in the method of Patent Document 2, support information is displayed so that the examination can be performed according to a predetermined procedure. It may be difficult for even a skilled person to shoot an appropriate position without specific operation information.
  • An object of the present invention is to provide an endoscopic processor device capable of supporting endoscopy according to a procedure defined by a guideline.
  • the endoscope processor device of the present invention includes a processor, and the processor acquires a captured medical image, and when specific processing is performed, the observation scene information regarding the captured observation scene using the medical image is used. Is acquired, the observation scene information is stored in the observation scene information memory, the reference scene information regarding the reference scene defined in the guideline is stored in the reference scene information memory, and the reference scene information and the observation scene information are compared. It is determined whether or not the observation scene is a recommended observation scene to be observed according to the guideline, and if the observation scene is not the recommended observation scene, the recommended observation scene information regarding the recommended observation scene is displayed on the display.
  • the processor associates the observation scene with the shooting order in which the specific processing is performed and stores it in the observation scene information memory, and stores the reference scene and the shooting order of the reference scene defined by the guideline in the reference scene information memory. It is preferable to compare the observation scene with the reference scene corresponding to the shooting order of the observation scene to determine whether or not the observation scene is the recommended observation scene.
  • the processor When it is determined that the observation scene is not the recommended observation scene, the processor preferably displays the reference scene information of the reference scene in the shooting order on the display as the recommended observation scene information.
  • the processor determines that the observation scene is the recommended observation scene, it is preferable that the processor displays the reference scene information in the order following the shooting order on the display as the recommended observation scene information.
  • the specific process is preferably a still image acquisition process for acquiring a still image of a medical image.
  • the processor displays a guide for guiding the endoscopic scope to the recommended observation scene.
  • the processor superimposes the guide on the medical image and displays it.
  • the guide includes an operation procedure for shooting a recommended observation scene based on the reference scene information.
  • the processor displays at least the information regarding the part including the observation scene and the position of the observation scene as text information among the observation scene information.
  • the processor When all the shooting of the reference scene is completed, the processor preferably detects the re-inspection-required observation scene among the observation scenes and displays the information of the re-inspection-required observation scene.
  • the endoscope system 10 has an endoscope 11, a light source device 14, an endoscope processor device 16, a display 18, and a user interface 19.
  • the endoscope 11 is optically connected to the light source device 14 and electrically connected to the endoscope processor device 16.
  • the endoscope 11 illuminates the observation target with the illumination light supplied from the light source device 14. Further, the endoscope 11 captures an image of an observation target and acquires an image signal.
  • the endoscope processor device 16 acquires an image signal from the endoscope 11 and performs various image processing on the image signal. Further, the endoscope processor device 16 displays various images on the display 18 based on the image signals subjected to various image processing.
  • the endoscope processor device 16 includes a medical image acquisition unit 21, an observation scene information acquisition unit 22, an observation scene information memory 23, a reference scene information memory 24, an observation scene comparison unit 25, and a recommended observation scene notification. It has a part 26.
  • Each function of the endoscope processor device 16 is realized by a control unit (not shown) configured by the processor executing a program for recognizing a lesion or the like incorporated in a program memory.
  • the endoscope processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 displays an image to be observed, information incidental to the image, and the like.
  • the user interface 19 accepts input operations such as designation of a region of interest (ROI: RegionOfInterest) and function setting.
  • ROI RegionOfInterest
  • the endoscope system 10 has a normal light mode, a special light mode, and an inspection support mode as observation modes.
  • the medical image acquisition unit 21 generates a medical image based on an image signal obtained by photographing an observation target in different environments according to each observation mode.
  • the observation mode is the normal light mode
  • a normal light such as white light
  • a normal light image having a natural hue is obtained based on an image signal obtained by imaging the observation target under illumination with the normal light.
  • the observation mode is the special light mode
  • special light whose emission spectrum is different from that of normal light is emitted, and the lesion portion and the lesion portion and the lesion portion are based on the image signal obtained by imaging the observation target under illumination with this special light. Generates a special light image with enhanced structure.
  • the inspection illumination light is emitted. Then, an inspection image is generated based on the image signal obtained by imaging the observation target in the inspection area under illumination with the inspection illumination light.
  • the examination support mode is a mode that assists in surely taking an image defined by a guideline for examination at the time of screening.
  • the illumination light for inspection normal light or special light can be used.
  • the insertion portion 12 of the endoscope 11 is pushed into the lumen, and then through the esophagus Es and the stomach St. Insert to the deepest position P0 of the duodenal Duo examination. Shooting of a still image is started when the deepest position P0 for inspection is reached.
  • the user operates the operation unit 13 of the endoscope 11 to take an image of the inspection area defined by the guideline at the inspection deepest position P0.
  • the insertion portion 12 of the endoscope 11 is pulled out like the duodenum Duo, the stomach St, and the esophagus Es, and the examination area defined by the guideline is photographed.
  • the insertion portion 12 of the endoscope 11 is pulled out of the body cavity. It is preferable to perform screening for the lower gastrointestinal tract such as the large intestine by the same procedure.
  • a measuring scale for measuring the insertion length, which is the length of the insertion portion 12 inserted into the body, is provided on the outer peripheral surface of the insertion portion 12 of the endoscope 11.
  • the measuring scale is carved at a predetermined pitch (for example, in 1 cm increments) along the longitudinal direction of the insertion portion 12.
  • the insertion length is measured by a scale detection sensor (not shown) reading the value of the scale for measurement.
  • the scale detection sensor is preferably provided on the mouthpiece that the patient holds in his mouth when inserting the insertion portion 12 of the endoscope 11.
  • the scale detection sensor is connected to the endoscope processor device 16 by wire or wirelessly, and the information detected by the scale detection sensor is transmitted to the endoscope processor device 16.
  • Reference scene information 31 is stored in the reference scene information memory 24. As shown in FIG. 4, the reference scene information 31 stores the reference scene and the shooting order of the reference scene defined by the guideline in association with each other. For example, as the reference scene information 31, the reference scene having the first shooting order is the scene A in a small area of the portion P. Similarly, the second reference scene is the scene B in the small area of the part Q, and the third reference scene is the scene C in the small area of the part Q. As described above, in the reference scene information 31, all the reference scenes defined by the guideline are stored together with the shooting order.
  • FIG. 5 is an example of a display screen 41 displayed on the display 18 when performing a screening test.
  • the observation image 42 obtained by photographing the observation target is displayed in real time on the display 18, and in addition to the scene recognition result 43 of the observation scene being observed, information on the observation scene such as the possibility of presence or absence of a lesion is displayed in the related information display area 44. Is displayed.
  • the recognition result 43 of the observation scene the scene recognition result 43 that the observation scene is “scene C” and the similarity of the observation scene to the scene C are displayed as “80%”.
  • the degree of similarity is calculated by comparing an image in which the observation scene is stored in advance with the observation image 42.
  • the inspection image captured by using the inspection illumination light is displayed during the screening, but it may be a normal light image or a special light image. Alternatively, when the endoscope 11 is operated to capture a still image, the captured still image may be displayed.
  • the observation scene information acquisition unit 22 operates the freeze button 13a (see FIG. 1) provided on the operation unit 13 of the endoscope 11 to acquire a still image of the observation scene displayed on the display 18 as a still image.
  • the processing specifically processing
  • the observation scene information regarding the captured observation scene is acquired.
  • the observation scene information memory 23 stores the acquired observation scene information in association with the shooting order indicating the order in which the still image acquisition processing is performed.
  • the observation scene information includes information on the site including the imaging area and its specific position, and the presence or absence of a lesion in the imaging area. This information is acquired as a result of processing executed by so-called AI (Artificial Intelligence) using a learning model based on machine learning. Further, it is preferable that the similarity of the observation scene described later with respect to the reference scene is also processed by AI.
  • AI Artificial Intelligence
  • CNN Convolutional Neural Network
  • the observation scene comparison unit 25 compares the observation scene information stored in the observation scene information memory 23 with the reference scene information 31 stored in the reference scene information memory 24, and recommends observation that the observation scene should be observed according to the guideline. Determine if it is a scene.
  • the observation scene comparison unit 25 compares the observation scene with the reference scene corresponding to the shooting order of the observation scene, and determines whether or not the observation scene is the recommended observation scene.
  • the first observation scene in the shooting order stored in the observation scene information memory 23 is “scene A”. This is compared with "Scene A" corresponding to the first shooting order of the reference scene information 31. In this way, the observation scene information memory 23 sequentially performs comparisons between scenes associated with the same shooting order according to the shooting order.
  • the recommended observation scene notification unit 26 displays the reference scene information 31 in the order following the shooting order of the observation scenes as related information on the display 18. It is displayed in the display area 44.
  • the recommended observation scene notification unit 26 displays the reference scene information 31 of the shooting order of the observation scene as the recommended observation scene information 18 It is displayed in the related information display area 44 of.
  • the recommended observation scene notification unit 26 displays the reference scene "scene C" in which the shooting order corresponds to the third in the related information display area 44 as the recommended observation scene information.
  • the recommended observation scene notification unit 26 displays the reference scene "scene C” in which the shooting order corresponds to the third in the related information display area 44 as the recommended observation scene information.
  • That image is the recommended observation scene to be taken next. It is preferable to display information about the observation scene of the above and operation information for moving to the observation scene.
  • the recommended observation scene notification unit 26 displays a guide for guiding the scope (not shown) of the endoscope 11 to a position where the recommended observation scene can be photographed.
  • a guide for guiding the scope (not shown) of the endoscope 11 For example, in the related information display area 44 of the display 18, "upper and lower angles -15 degrees" and "insertion 5 cm” are displayed as operation information for guiding the scene C to the shooting position.
  • the guide may be superimposed on the observation image 42 displayed on the display 18.
  • the color of the frame portion of the observation image 42 is changed to a color corresponding to the operation information so as to show the moving direction.
  • the operation information can be shown by the method.
  • the reference scene information 31 stores an operation procedure for moving the scope of the endoscope 11 from the position where the previous reference scene is shot to the position where the next reference scene is shot.
  • These operating procedures are stored in advance in association with information on the physique such as height.
  • the above-mentioned guides are displayed according to these operating procedures. For example, when moving the scope of the endoscope 11 from the scene D to the scene C, the guide is displayed in the reverse procedure of the operation procedure from the scene C to the scene D. That is, after the vertical angle is -15 degrees, the guide is displayed so that the operation of insertion 5 cm is performed.
  • the endoscope processor device 16 may include a re-examination observation scene detection unit 27.
  • the re-inspection-required observation scene detection unit 27 detects the re-inspection-required observation scene that needs to be re-inspected among the observation scenes stored in the observation scene information memory 23.
  • the re-examination-required observation scene detection unit 27 detects a lesion region suspected of having a lesion in scene B (see FIG. 6 or the like) among the memorized observation scenes, re-examination observation of scene B is required. Detect as a scene.
  • the recommended observation scene notification unit 26 displays information about the scene B and a guide for operating the endoscope 11 on the display 18.
  • FIG. 15 is a flowchart showing the function of the recommended observation scene notification unit 26 when the user performs a screening test using the endoscope system 10 of the present invention.
  • the observation scene information acquisition unit 22 stores the observation scene information in which the observation scene and the shooting order are associated with each other in the observation scene information memory 23 (step S1).
  • the observation scene comparison unit 25 compares the observation scene stored in the observation scene information memory 23 with the reference scene stored in the reference scene information 31, and determines whether or not the observation scene is a recommended observation scene to be observed according to the guideline. Determination (step S2). When the recommended observation scene notification unit 26 determines that the stored observation scene is the recommended observation scene, the reference scene information 31 in the order following the shooting order of the observation scene is displayed on the display 18 as the recommended observation scene information. Display (step S3). If it is determined that the memorized observation scene is not the recommended observation scene, it is determined that the image is not taken according to the guideline. In this case, the reference scene information 31 of the shooting order of the observation scene is displayed on the display 18 as the recommended observation scene information (step S4).
  • step S4 a guide for guiding the scope of the endoscope 11 to a position where the recommended observation scene can be photographed is further displayed on the display 18, and the user takes a picture of the unphotographed observation scene according to the guide.
  • the recommended observation scene notification unit 26 displays a guide for returning to the original route (step S5).
  • the user proceeds with the screening test until the final observation scene according to the guidelines.
  • the observation scene comparison unit 25 determines that it is the last observation scene (step S6).
  • the re-inspection-required observation scene detection unit 27 detects the re-inspection-required observation scene among the observation scenes stored in the observation scene information memory 23 (re-inspection-required observation scene detection unit 27).
  • the recommended observation scene notification unit 26 displays information on the observation scene requiring re-examination and a guide for operating the endoscope 11 on the display 18 (step S8). After completing all the examinations including the re-examination, the user pulls out the endoscope 11 out of the body cavity and completes the examination.
  • the observation scene comparison unit 25 collates whether or not the reference scene of the reference scene information 31 is included in the image captured as a moving image. If the inspection is carried out according to the guideline, a specific scene (reference scene) will be included in the moving image in the same order as the predetermined shooting order. Therefore, the observation scene comparison unit 25 determines that the guideline is not followed when the order of the observation scenes shot as moving images and the order of the reference scenes are different. If it is determined that the guideline is not followed, the recommended observation scene notification unit 26 displays the operation information and guides the user so that the shooting can be performed according to the guideline.
  • a hardware-like structure of a processing unit that executes various processes such as a medical image acquisition unit 21, an observation scene information acquisition unit 22, an observation scene comparison unit 25, and a recommended observation scene notification unit 26.
  • various processors as shown below.
  • the circuit configuration is changed after manufacturing CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • Endoscope system 11
  • Endoscope 12 Insertion unit 13
  • Operation unit 13a Freeze button 14
  • Light source device 16
  • Endoscope processor device 18
  • Display 19 User interface 21
  • Medical image acquisition unit 22
  • Observation scene information acquisition unit 23
  • Reference Scene information memory 25
  • Observation scene comparison unit 26
  • Recommended observation scene notification unit 27
  • Re-examination observation scene detection unit 31
  • Reference scene information 41
  • Display screen 42
  • Observation image 43
  • Scene recognition result 44
  • Related information display area 45

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

ガイドラインで定められた手順に沿って検査の支援を行うことができる内視鏡プロセッサ装置を提供する。　観察シーン情報取得部（２２）は、撮影された観察シーンに関する観察シーン情報を取得する。観察シーン比較部（２５）は、ガイドラインで予め定められた参照シーンに関する参照シーン情報（３１）と観察シーン情報とを比較する。推奨観察シーン報知部（２６）は、観察シーンが推奨観察シーンでない場合には、推奨観察シーン情報をディスプレイ（１８）に表示する。

Description

内視鏡プロセッサ装置
　本発明は、ＡＩ（Artificial Intelligence）を用いた認識処理を行う内視鏡プロセッサ装置に関する。
　医療分野においては、内視鏡、光源装置、及びプロセッサ装置を備える内視鏡システム用いた診断が広く行われている。内視鏡システムは、内視鏡により撮影した画像信号に基づいて観察対象の画像を生成しディスプレイに表示する。ユーザー（医師）は、ディスプレイに表示された観察画像を見ながら診断を行うことができる。
　また、近年は、診断を効率的に支援するために内視鏡システムにＡＩ技術が導入されはじめている。このような内視鏡システムは、疾病の可能性を迅速に判定する方法であるスクリーニング検査においては特に有用である。診断を支援する技術として次のような特許文献がある。
　特許文献１は、検査画像を基準画像と比較して、一致度が高い場合に撮影するように操作を促し、ガイドラインに沿う画像を取得できるように支援を行う技術を開示している。特許文献２は、処置の内容に従って実施済みのタスクを検知し、未実施のタスクと区別してディスプレイに表示することにより検査プロトコルに遵守した検査が行えるよう支援技術を開示している。特許文献３は、所定の検査部位における画像の枚数が予定撮像枚数と一致していない場合に、アラートを発生させて、ユーザーに画像の取り損ねを通知する技術を開示している。
特開２０１８－１３９８４６号公報 特開２０１７－９９５０９号公報 特開２０１２－７０９３６号公報
　内視鏡検査のガイドラインにおいては、観察が必要な領域はどこかという事だけでなく、観察対象の撮影順序などの手順も含まれている。この理由は、二次読影に上がる画像に映る臓器の領域が連続的になるようにすることや検査中の無駄なスコープの移動を抑えることで、観察漏れや偽陰性を防ぎ検査時間を短縮するためである。
　しかしながら、特許文献１や特許文献３の方法では、ガイドラインに沿う画像を取得するために、ユーザーが内視鏡を適切な撮影位置になるように操作しなければならず、適切な画像を取得するには複雑な操作が必要であることを考慮すると、迅速にスクリーニングを行うためには有効な手段ではない。また、特許文献２の方法では、予め定める手順通りに検査を行えるように支援情報を表示しているが、観察対象における病変の存在や照明の具合などに起因して撮影が漏れた場合には、具体的な操作情報がなければ熟練者であっても適切な位置の撮影をすることは難しいこともある。
　本発明は、ガイドラインで定められた手順に沿った内視鏡検査の支援を行うことができる内視鏡プロセッサ装置を提供することを目的とする。
　本発明の内視鏡プロセッサ装置は、プロセッサを備え、プロセッサは、撮影された医用画像を取得し、特定処理が行われた場合に、医用画像を用いて、撮影された観察シーンに関する観察シーン情報を取得し、観察シーン情報を観察シーン情報メモリに記憶し、ガイドラインで予め定められた参照シーンに関する参照シーン情報を参照シーン情報メモリに記憶し、参照シーン情報と観察シーン情報とを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定し、観察シーンが推奨観察シーンでない場合には、推奨観察シーンに関する推奨観察シーン情報をディスプレイに表示する。
　プロセッサは、観察シーンと、特定処理が行われた撮影順序とを関連付けて観察シーン情報メモリに記憶し、参照シーンと、ガイドラインによって定められる参照シーンの撮影順序とを参照シーン情報メモリに記憶し、観察シーンと、観察シーンの撮影順序に対応する参照シーンとを比較して、観察シーンが推奨観察シーンか否かを判定することが好ましい。
　プロセッサは、観察シーンが推奨観察シーンでないと判定された場合には、撮影順序の参照シーンの参照シーン情報を、推奨観察シーン情報としてディスプレイに表示することが好ましい。
　プロセッサは、観察シーンが推奨観察シーンであると判定された場合には、撮影順序の次の順序の参照シーン情報を推奨観察シーン情報としてディスプレイに表示することが好ましい。
　特定処理は、医用画像の静止画を取得する静止画取得処理であることが好ましい。
　プロセッサは、内視鏡スコープを推奨観察シーンへ誘導するためのガイドを表示することが好ましい。
　プロセッサは、医用画像にガイドを重畳して表示することが好ましい。
　ガイドには、参照シーン情報に基づいて、推奨観察シーンを撮影するための操作の手順が含まれることが好ましい。
　プロセッサは、観察シーン情報のうち、少なくとも、観察シーンが含まれる部位と観察シーンの位置に関する情報を文字情報として表示することが好ましい。
　プロセッサは、参照シーンの撮影がすべて終了した場合には、観察シーンのうち再検査の必要な要再検査観察シーンを検出し、要再検査観察シーンの情報を表示することが好ましい。
　本発明によれば、ガイドラインで定められた手順に沿った内視鏡検査の支援を行うことができる。
内視鏡システムの外観図である。 内視鏡プロセッサ装置の機能を示すブロック図である。 上部消化管をスクリーニング検査する場合の内視鏡の操作の手順を示す図である。 参照シーン情報を説明する図である。 撮影した医用画像と関連情報をモニタに表示した例を示す図である。 ガイドラインに沿った撮影ができている場合の観察シーン情報メモリの観察シーンと参照シーン情報の参照シーンの比較を説明する図である。 ガイドラインに沿った撮影ができている場合に表示される画面を説明する図である。 ガイドラインに沿った撮影ができていない場合の観察シーン情報メモリの観察シーンと参照シーン情報の参照シーンの比較を説明する図である。 ガイドラインに沿った撮影ができていない場合に表示される画面を説明する図である。 推奨観察シーンを撮影するために内視鏡スコープの操作を誘導するガイドの表示を説明する図である。 医用画像にガイドを重畳して表示させる一つ目の例を説明する図である。 医用画像にガイドを重畳して表示させる二つ目の例を説明する図である。 ガイドラインに定める参照シーンをガイドラインに沿って撮影するために記憶する内視鏡の操作の手順を説明する図である。 要再検査観察シーン検出部を備える内視鏡プロセッサ装置の機能を示すブロック図である。 推奨観察シーン報知部の機能を説明するフローチャートである。
　図１に示すように、内視鏡システム１０は、内視鏡１１と光源装置１４と内視鏡プロセッサ装置１６とディスプレイ１８とユーザーインターフェース１９を有する。内視鏡１１は、光源装置１４と光学的に接続し、かつ、内視鏡プロセッサ装置１６と電気的に接続する。内視鏡１１は、光源装置１４から供給された照明光を観察対象に対して照明する。また、内視鏡１１は、観察対象を撮像して画像信号を取得する。内視鏡プロセッサ装置１６は、内視鏡１１からの画像信号を取得し、画像信号に対して各種の画像処理を施す。また、内視鏡プロセッサ装置１６は、各種の画像処理が施された画像信号に基づいて、ディスプレイ１８に各種の画像を表示する。
　図２に示すように、内視鏡プロセッサ装置１６は、医用画像取得部２１と観察シーン情報取得部２２と観察シーン情報メモリ２３と参照シーン情報メモリ２４と観察シーン比較部２５と推奨観察シーン報知部２６を有している。内視鏡プロセッサ装置１６の各機能は、プロセッサによって構成される制御部（図示しない）が、プログラム用メモリに組み込まれた病変などの認識処理を行うプログラムを実行することにより実現する。
　内視鏡プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続する。ディスプレイ１８は、観察対象の画像や、画像に付帯する情報などを表示する。ユーザーインターフェース１９は、関心領域（ROI:Region Of Interest）の指定や機能設定などの入力操作を受け付ける。
　内視鏡システム１０は、観察モードとして、通常光モードと特殊光モードと検査支援モードを有している。医用画像取得部２１は、各観察モードに応じた異なる環境で観察対象を撮影して得られた画像信号に基づき医用画像を生成する。
　観察モードが通常光モードである場合、白色光のような通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、自然な色合いの通常光画像を生成する。また、観察モードが特殊光モードである場合、通常光と発光スペクトルが異なる特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、病変部や構造が強調処理された特殊光画像を生成する。
　また、観察モードが検査支援モードである場合、検査用照明光を発光する。そして、検査用照明光で照明中の検査領域内の観察対象を撮像して得られた画像信号に基づき、検査画像を生成する。検査支援モードは、スクリーニング時に、検診用のガイドラインで定められた画像を確実に撮影することができるように支援するモードである。なお、検査用照明光は、通常光あるいは特殊光を用いることができる。
　例えば、ガイドラインに沿って上部消化管をスクリーニングする場合には、図３に示すように、まず、内視鏡１１の挿入部１２を管腔に対して押し込んでいき、食道Ｅｓ、胃Ｓｔを通じて、十二指腸Ｄｕｏの検査最深位置Ｐ０まで挿入する。検査最深位置Ｐ０に到達したときに静止画の撮影を開始する。まず、ユーザーは、内視鏡１１の操作部１３を操作して、検査最深位置Ｐ０おいてガイドラインで定められた検査領域を撮影する。上部消化管においては、十二指腸Ｄｕｏ、胃Ｓｔ、食道Ｅｓのように内視鏡１１の挿入部１２を引き抜いていき、それぞれガイドラインで定められた検査領域の撮影を行う。すべての検査領域の撮影が終了したら内視鏡１１の挿入部１２を体腔外へと引き出す。なお、大腸などの下部消化管に関しても同様の手順でスクリーニングを行うことが好ましい。
　また、内視鏡１１の挿入部１２の外周面には、挿入部１２を体内へ挿入した長さである挿入長を測定するための測定用目盛り（図示しない）が設けられている。測定用目盛りは、挿入部１２の長手方向に沿って所定のピッチ（例えば、１ｃｍ刻み）に刻まれている。挿入長は、目盛り検出センサ（図示しない）が測定用目盛りの値を読み取ることにより計測される。目盛り検出センサは、内視鏡１１の挿入部１２を挿入する際に患者が口に咥えるマウスピースに設けることが好ましい。目盛り検出センサは、内視鏡プロセッサ装置１６と有線または無線で接続され、目盛り検出センサにより検出された情報は、内視鏡プロセッサ装置１６に送信される。
　参照シーン情報メモリ２４には、参照シーン情報３１が記憶されている。図４に示すように、参照シーン情報３１には、参照シーンとガイドラインによって定められる参照シーンの撮影順序が関連付けられて記憶されている。例えば、参照シーン情報３１として、撮影順序が1番目の参照シーンは部位Ｐの小領域のシーンＡである。同様に２番目の参照シーンは部位Ｑの小領域のシーンＢであり、３番目の参照シーンは部位Ｑの小領域のシーンＣである。このように参照シーン情報３１には、ガイドラインで定めるすべての参照シーンが撮影順序とともに記憶されている。
　図５は、スクリーニング検査をする際のディスプレイ１８に表示される表示画面４１の例である。ディスプレイ１８には、観察対象を撮影した観察画像４２がリアルタイムに表示され、観察中の観察シーンのシーン認識結果４３に加えて、病変の有無可能性など観察シーンに関する情報が関連情報表示領域４４に表示される。図５では、観察シーンの認識結果４３として、観察シーンが「シーンＣ」であるとのシーン認識結果４３と、観察シーンのシーンＣに対する類似度として「８０％」と表示されている。類似度とは、観察シーンが予め記憶された画像と観察画像４２を比較して算出したものである。なお、観察画像４２としては、スクリーニング中は、検査用照明光を用いて撮像された検査画像を表示するが、通常光画像でも特殊光画像でもよい。あるいは、内視鏡１１を操作して静止画を撮影した場合には、撮影した静止画を表示してもよい。
　観察シーン情報取得部２２は、内視鏡１１の操作部１３に設けられたフリーズボタン１３ａ（図１参照）を操作して、ディスプレイ１８に表示される観察シーンを静止画として撮影する静止画取得処理（特定処理）が行われた場合に、撮影された観察シーンに関する観察シーン情報を取得する。また、観察シーン情報メモリ２３は、取得した観察シーン情報を静止画取得処理が行われた順番を示す撮影順序に対応づけて記憶する。観察シーン情報としては、撮影領域が含まれる部位やその具体的な位置の情報、撮影領域における病変の有無などがある。これらの情報は機械学習に基づく学習モデルを用いたいわゆるＡＩ（Artificial Intelligence）によって実行される処理の結果として取得されるものである。また、後述する観察シーンの参照シーンに対する類似度もＡＩによって処理されたものであることが好ましい。なお、機械学習としては、ＣＮＮ（Convolutional Neural Network）を用いることができる。
　観察シーン比較部２５は、観察シーン情報メモリ２３に記憶された観察シーン情報と、参照シーン情報メモリ２４に記憶された参照シーン情報３１とを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定する。
　具体的には、観察シーン比較部２５は、観察シーンと、観察シーンの撮影順序に対応する参照シーンとを比較して、観察シーンが推奨観察シーンか否かの判定を行う。図６に示すように、例えば、観察シーン情報メモリ２３に記憶された撮影順序の１番目の観察シーンは「シーンＡ」である。これを参照シーン情報３１の１番目の撮影順序に対応する「シーンＡ」と比較する。このように、観察シーン情報メモリ２３は、同じ撮影順序に対応づけられたシーン同士の比較を撮影順序に従って順次行う。
　観察シーン比較部２５が、観察シーンが推奨観察シーンであると判定した場合には、推奨観察シーン報知部２６は、観察シーンの撮影順序の次の順番の参照シーン情報３１をディスプレイ１８の関連情報表示領域４４に表示する。
　図６において、観察シーン情報メモリ２３の撮影順序が３番目の観察シーンには「シーンＣ」が記憶され、参照シーン情報３１の３番目の参照シーンと同じであるとき、観察シーンが推奨観察シーンであると判定される。このとき、図７に示すように、「シーンＣ」の次の順番の参照シーン情報３１として、４番目の「シーンＤ」の情報をディスプレイ１８の関連情報表示領域４４に表示する。
　一方、観察シーン比較部２５が、観察シーンが推奨観察シーンでないと判定した場合には、推奨観察シーン報知部２６は、観察シーンの撮影順序の参照シーン情報３１を、推奨観察シーン情報としてディスプレイ１８の関連情報表示領域４４に表示する。
　図８に示すように、観察シーン情報メモリ２３の撮影順序が３番目の観察シーンには「シーンＤ」が記憶されている。参照シーン情報３１の撮影順序の３番目の参照シーンと比較すると、参照シーン情報３１の３番目の参照シーンは「シーンＣ」であるから異なっている。このとき、観察シーン比較部２５は、観察シーンが推奨観察シーンではないと判定する。
　この場合、推奨観察シーン報知部２６は、撮影順序が３番目に当たる参照シーン「シーンＣ」を、推奨観察シーン情報として関連情報表示領域４４に表示する。推奨観察シーン情報として表示する方法としては、例えば、図９に示すように、撮影順序が３番目のシーンとして、「シーンＣ」が撮影できていないことを報知するために、「シーンＣが未撮影です」と関連情報表示領域４４に表示する。
　ガイドラインで定めるすべての参照シーンの撮影が終了した時に、撮影した画像のうち、病変が有る可能性が高いと判定された画像がある場合には、次に撮影すべき推奨観察シーンとして、その画像の観察シーンに関する情報や、観察シーンへ移動させるための操作情報を表示することが好ましい。
　また、図１０に示すように、推奨観察シーン報知部２６は、内視鏡１１のスコープ（図示しない）を推奨観察シーンが撮影できる位置に誘導するためのガイドを表示する。例えば、ディスプレイ１８の関連情報表示領域４４には、シーンＣを撮影する位置に誘導する操作情報として、「上下アングル－１５度」、「挿入５ｃｍ」と表示する。
　なお、ガイドは、ディスプレイ１８に表示される観察画像４２に重畳させて表示させてもよい。この場合、内視鏡１１のスコープを動かす方向や角度を示す図形を表示するほか、動かす方向を示すように、観察画像４２の枠部分の色を操作情報に対応させた色に変更するなどの方法で、操作情報を示すことができる。
　観察画像４２に重畳させる場合、例えば、図１１に示すように、下方向の矢印と「－１５度」と表示することにより、内視鏡１１のスコープのアングルをマイナス方向（下方向）に１５度操作することを示す。さらに、図１２に示すように、「挿入５ｃｍ」と表示することにより、内視鏡１１のスコープを５ｃｍ挿入する操作を示す。このように、観察画像４２に重畳させて表示する場合には、１回の操作ごとに表示を切り替えることが好ましい。
　図１３に示すように、参照シーン情報３１には、内視鏡１１のスコープを前の参照シーンを撮影する位置から次の参照シーンを撮影する位置に移動させる操作手順が記憶されている。これらの操作手順は、身長など体格に関する情報と対応づけて予め記憶されている。前述したガイドは、これらの操作手順に従って表示される。例えば、内視鏡１１のスコープをシーンＤからシーンＣへ戻るように移動する場合には、シーンＣからシーンＤへの操作手順の逆の手順でガイドを表示する。つまり、上下アングルをマイナス１５度した後で、挿入５ｃｍの操作を行うようにガイドを表示させる。
　図１４に示すように、内視鏡プロセッサ装置１６は、要再検査観察シーン検出部２７を備えていてもよい。要再検査観察シーン検出部２７は、参照シーンの撮影をすべて終了した場合に、観察シーン情報メモリ２３に記憶された観察シーンのうち、再検査の必要な要再検査観察シーンを検出する。例えば、要再検査観察シーン検出部２７は、記憶された観察シーンのうちシーンＢ（図６など参照）において、病変の疑いがある病変領域を検出した場合には、シーンＢを要再検査観察シーンとして検出する。この場合、推奨観察シーン報知部２６は、シーンＢに関する情報及び内視鏡１１を操作するガイドをディスプレイ１８に表示する。
　図１５は、本発明の内視鏡システム１０を用いて、ユーザーがスクリーニング検査を行う際の推奨観察シーン報知部２６の機能について示すフローチャートである。まず、ユーザーが観察シーンを静止画として撮影すると、観察シーン情報取得部２２は、観察シーンと撮影順序を関連付けた観察シーン情報を観察シーン情報メモリ２３に記憶する（ステップＳ１）。
　観察シーン比較部２５は、観察シーン情報メモリ２３に記憶された観察シーンと、参照シーン情報３１に記憶された参照シーンを比較して、観察シーンがガイドラインに従って観察すべき推奨観察シーンか否かを判定する（ステップＳ２）。推奨観察シーン報知部２６は、記憶された観察シーンが、推奨観察シーンであると判定した場合は、観察シーンの撮影順序の次の順番の参照シーン情報３１を、推奨観察シーン情報としてディスプレイ１８に表示する（ステップＳ３）。記憶された観察シーンが、推奨観察シーンでないと判定した場合は、ガイドラインに沿って撮影されていないと判定する。この場合には、観察シーンの撮影順序の参照シーン情報３１を、推奨観察シーン情報としてディスプレイ１８に表示する（ステップＳ４）。ステップＳ４では、さらに、内視鏡１１のスコープを推奨観察シーンが撮影できる位置に誘導するためのガイドをディスプレイ１８に表示し、ユーザーはガイドに従って未撮影の観察シーンの撮影を行う。推奨観察シーンの撮影が終わると、推奨観察シーン報知部２６は、元のルートに戻るガイドを表示する（ステップＳ５）。
　同様の手順で、ユーザーはガイドラインに沿って最後の観察シーンまでスクリーニング検査を進める。最後に撮影した観察シーンが参照シーン情報３１の最後のシーンである場合は、観察シーン比較部２５は、最後の観察シーンであると判定する（ステップＳ６）。要再検査観察シーン検出部２７は、参照シーンの撮影をすべて終了した場合には、観察シーン情報メモリ２３に記憶された観察シーンのうち、再検査の必要な要再検査観察シーンを検出する（ステップＳ７）。推奨観察シーン報知部２６は、要再検査観察シーンに関する情報及び内視鏡１１を操作するガイドをディスプレイ１８に表示する（ステップＳ８）。ユーザーは、再検査を含むすべての検査を終了したのちに、内視鏡１１を体腔外に引き出し検査を終了する。
　なお、本実施形態においては、ユーザーが観察シーンを静止画として撮影するタイミングで、ガイドラインに沿って撮影できているか否かを判定しているが、動画のように連続して撮影される画像に対しても、次のような方法でガイドラインに沿っているか否かの判定ができる。例えば、観察シーン比較部２５は、参照シーン情報３１の参照シーンが、動画として撮影された画像に含まれているか否かを照合する。ガイドラインに沿って検査が進められている場合は、特定のシーン（参照シーン）が予め定めた撮影順序と同じ順序で動画に含まれることになる。したがって、観察シーン比較部２５は、動画として撮影された観察シーンの順序と参照シーンの順序が異なった場合に、ガイドラインに沿っていないと判定する。ガイドラインに沿っていないと判定された場合には、推奨観察シーン報知部２６が操作情報を表示して、ガイドラインに沿った撮影が行えるようにユーザーを案内する。
　本実施形態において、医用画像取得部２１、観察シーン情報取得部２２、観察シーン比較部２５、及び推奨観察シーン報知部２６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable LogicDevice:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０　内視鏡システム
１１　内視鏡
１２　挿入部
１３　操作部
１３ａ　フリーズボタン
１４　光源装置
１６　内視鏡プロセッサ装置
１８　ディスプレイ
１９　ユーザーインターフェース
２１　医用画像取得部
２２　観察シーン情報取得部
２３　観察シーン情報メモリ
２４　参照シーン情報メモリ
２５　観察シーン比較部
２６　推奨観察シーン報知部
２７　要再検査観察シーン検出部
３１　参照シーン情報
４１　表示画面
４２　観察画像
４３　シーン認識結果
４４　関連情報表示領域
４５　ガイド表示ボタン
 

Claims (10)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　撮影された医用画像を取得し、
    　特定処理が行われた場合に、前記医用画像を用いて、撮影された観察シーンに関する観察シーン情報を取得し、
    　前記観察シーン情報を観察シーン情報メモリに記憶し、
    　ガイドラインで予め定められた参照シーンに関する参照シーン情報を参照シーン情報メモリに記憶し、
    　前記参照シーン情報と前記観察シーン情報とを比較して、前記観察シーンが前記ガイドラインに従って観察すべき推奨観察シーンか否かを判定し、
    　前記観察シーンが前記推奨観察シーンでない場合には、前記推奨観察シーンに関する推奨観察シーン情報をディスプレイに表示する内視鏡プロセッサ装置。
  2. 　前記プロセッサは、
    　前記観察シーンと、前記特定処理が行われた撮影順序とを関連付けて観察シーン情報メモリに記憶し、
    　前記参照シーンと、前記ガイドラインによって定められる前記参照シーンの撮影順序とを前記参照シーン情報メモリに記憶し、
    　前記観察シーンと、前記観察シーンの撮影順序に対応する前記参照シーンとを比較して、前記観察シーンが前記推奨観察シーンか否かを判定する請求項１に記載の内視鏡プロセッサ装置。
  3. 　前記プロセッサは、前記観察シーンが前記推奨観察シーンでないと判定された場合には、前記撮影順序の前記参照シーンの前記参照シーン情報を、前記推奨観察シーン情報として前記ディスプレイに表示する請求項２に記載の内視鏡プロセッサ装置。
  4. 　前記プロセッサは、前記観察シーンが前記推奨観察シーンであると判定された場合には、前記撮影順序の次の順序の前記参照シーン情報を前記推奨観察シーン情報として前記ディスプレイに表示する請求項２に記載の内視鏡プロセッサ装置。
  5. 　前記特定処理は、前記医用画像の静止画を取得する静止画取得処理である請求項１から４のいずれか一項に記載の内視鏡プロセッサ装置。
  6. 　前記プロセッサは、内視鏡スコープを前記推奨観察シーンへ誘導するためのガイドを表示する請求項１から５のいずれか一項に記載の内視鏡プロセッサ装置。
  7. 　前記プロセッサは、前記医用画像に前記ガイドを重畳して表示する請求項６に記載の内視鏡プロセッサ装置。
  8. 　前記ガイドには、前記参照シーン情報に基づいて、前記推奨観察シーンを撮影するための操作の手順が含まれる請求項６または７に記載の内視鏡プロセッサ装置。
  9. 　前記プロセッサは、前記観察シーン情報のうち、少なくとも、前記観察シーンが含まれる部位と前記観察シーンの位置に関する情報を文字情報として表示する請求項１から８のいずれか一項に記載の内視鏡プロセッサ装置。
  10. 　前記プロセッサは、前記参照シーンの撮影がすべて終了した場合には、前記観察シーンのうち再検査の必要な要再検査観察シーンを検出し、前記要再検査観察シーンの情報を表示する請求項１から９のいずれか一項に記載に記載の内視鏡プロセッサ装置。
PCT/JP2021/020413 2020-05-28 2021-05-28 内視鏡プロセッサ装置 WO2021241735A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022526669A JP7440629B2 (ja) 2020-05-28 2021-05-28 内視鏡プロセッサ装置
EP21812744.7A EP4159108A4 (en) 2020-05-28 2021-05-28 ENDOSCOPE PROCESSOR DEVICE
CN202180038447.6A CN115666361A (zh) 2020-05-28 2021-05-28 内窥镜处理器装置
US18/058,827 US20230105682A1 (en) 2020-05-28 2022-11-25 Endoscope processor device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020093057 2020-05-28
JP2020-093057 2020-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/058,827 Continuation US20230105682A1 (en) 2020-05-28 2022-11-25 Endoscope processor device

Publications (1)

Publication Number Publication Date
WO2021241735A1 true WO2021241735A1 (ja) 2021-12-02

Family

ID=78744854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020413 WO2021241735A1 (ja) 2020-05-28 2021-05-28 内視鏡プロセッサ装置

Country Status (5)

Country Link
US (1) US20230105682A1 (ja)
EP (1) EP4159108A4 (ja)
JP (1) JP7440629B2 (ja)
CN (1) CN115666361A (ja)
WO (1) WO2021241735A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070936A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2017099509A (ja) 2015-11-30 2017-06-08 オリンパス株式会社 内視鏡業務支援システム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2018159347A1 (ja) * 2017-02-28 2018-09-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP2018139846A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139848A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139847A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2021053808A1 (ja) * 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070936A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2017099509A (ja) 2015-11-30 2017-06-08 オリンパス株式会社 内視鏡業務支援システム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2018159347A1 (ja) * 2017-02-28 2018-09-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP2018139846A (ja) 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139848A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018139847A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2021053808A1 (ja) * 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4159108A4

Also Published As

Publication number Publication date
EP4159108A4 (en) 2023-11-08
EP4159108A1 (en) 2023-04-05
JP7440629B2 (ja) 2024-02-28
CN115666361A (zh) 2023-01-31
JPWO2021241735A1 (ja) 2021-12-02
US20230105682A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
US10433709B2 (en) Image display device, image display method, and program
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
US8353816B2 (en) Endoscopy system and method therefor
EP3366191B1 (en) Endoscope system
WO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
CN113613543B (zh) 诊断辅助装置、诊断辅助方法以及记录介质
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP5492729B2 (ja) 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
JP6688243B2 (ja) 内視鏡システム及びその作動方法
JP4749732B2 (ja) 医用画像処理装置
JP2018139848A (ja) 内視鏡システム及びその作動方法
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JPWO2019220916A1 (ja) 医療画像処理装置、医療画像処理方法及び内視鏡システム
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
US11992177B2 (en) Image processing device for endoscope, image processing method for endoscope, and recording medium
US20240000299A1 (en) Image processing apparatus, image processing method, and program
WO2021241735A1 (ja) 内視鏡プロセッサ装置
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
JP4668624B2 (ja) 食道粘膜用画像処理装置
WO2023067922A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2021241695A1 (ja) 内視鏡画像処理装置
JP7389823B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812744

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022526669

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021812744

Country of ref document: EP

Effective date: 20230102