WO2023089719A1 - 映像編集装置、映像編集方法、及び、記録媒体 - Google Patents

映像編集装置、映像編集方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023089719A1
WO2023089719A1 PCT/JP2021/042368 JP2021042368W WO2023089719A1 WO 2023089719 A1 WO2023089719 A1 WO 2023089719A1 JP 2021042368 W JP2021042368 W JP 2021042368W WO 2023089719 A1 WO2023089719 A1 WO 2023089719A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
timing
image
endoscopic
editing
Prior art date
Application number
PCT/JP2021/042368
Other languages
English (en)
French (fr)
Inventor
憲一 上條
翔太 大塚
達 木村
敦 丸亀
雅弘 西光
亮作 志野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/042368 priority Critical patent/WO2023089719A1/ja
Priority to EP21964734.4A priority patent/EP4434436A1/en
Priority to JP2023562004A priority patent/JPWO2023089719A5/ja
Publication of WO2023089719A1 publication Critical patent/WO2023089719A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled

Definitions

  • This disclosure relates to editing of images obtained by endoscopy.
  • Patent Literature 1 discloses that in an endoscopy system, a time stamp is given to a moving image file by an operation of an endoscope operator during an examination, so that significant information can be obtained after the examination. We propose a method that can easily search for videos in a time period.
  • One purpose of the present disclosure is to create an edited video that enables efficient viewing of necessary parts from an endoscopy examination video.
  • a video editing device includes: an image acquisition means for acquiring an endoscopic image captured by an endoscope; a first timing acquiring means for acquiring a first timing at which a lesion is detected from the endoscopic image; a second timing obtaining means for obtaining a second timing at which an examiner instructs imaging based on the endoscopic image; Editing means for extracting from the endoscopic video a partial video for a predetermined period before and after the timing for at least one of the first timing and the second timing, generating and outputting an edited video.
  • a video editing method includes: Acquiring an endoscopic image taken by an endoscope, obtaining a first timing at which a lesion is detected from the endoscopic image; Acquiring a second timing at which an examiner instructs imaging based on the endoscopic image, For at least one of the first timing and the second timing, from the endoscopic video, a partial video of a predetermined period before and after the timing is extracted to generate and output an edited video.
  • the recording medium comprises Acquiring an endoscopic image taken by an endoscope, obtaining a first timing at which a lesion is detected from the endoscopic image; Acquiring a second timing at which an examiner instructs imaging based on the endoscopic image, causing a computer to execute a process of extracting, from the endoscopic video, a partial video of a predetermined period before and after the timing for at least one of the first timing and the second timing, generating an edited video, and outputting the video; Record the program.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopy system
  • FIG. 2 is a block diagram showing the hardware configuration of the image processing device
  • FIG. 2 is a block diagram showing the functional configuration of the image processing device
  • FIG. 10 is a diagram showing a method of generating an edited video
  • FIG. 4 shows a display example during playback of an edited video.
  • 4 is a flowchart of display processing by the image processing device
  • 4 shows an example of display at the start of playback of edited video.
  • FIG. 6 is a block diagram showing the functional configuration of a video editing device according to a second embodiment
  • FIG. 9 is a flowchart of processing by the video editing device of the second embodiment;
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 during an examination (including treatment) using an endoscope, the time when the examiner of the endoscopy took a still image and the lesion detected by AI image analysis. Get the time and Then, the endoscopy system 100 extracts a partial video for a predetermined period before and after the acquired time, generates an edited video, and displays it. This allows the examiner to efficiently check the inspection image after the endoscopy.
  • the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope 3 connected to the image processing device 1.
  • the image processing apparatus 1 acquires from the endoscope 3 an image (i.e., moving image, hereinafter also referred to as an "endoscopic image Ic") captured by the endoscope 3 during an endoscopy.
  • the display device 2 is caused to display display data for confirmation by the examiner of the endoscopic examination.
  • the image processing apparatus 1 acquires, as an endoscopic image Ic, a moving image of the interior of an organ captured by the endoscope 3 during an endoscopy.
  • the examiner finds a lesion during the endoscopy, the examiner operates the endoscope 3 to input an instruction to photograph the lesion position.
  • the image processing apparatus 1 generates a lesion image showing a lesion position based on an imaging instruction from an examiner.
  • the image processing apparatus 1 generates a lesion image, which is a still image, from the endoscopic image Ic, which is a moving image, based on the imaging instruction of the examiner.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1 .
  • the endoscope 3 mainly includes an operation unit 36 for inputting air supply, water supply, angle adjustment, imaging instruction, etc. by the examiner, and a flexible endoscope which is inserted into an organ to be examined of the examinee.
  • a flexible shaft 37 a flexible shaft 37 , a distal end portion 38 containing an imaging unit such as an ultra-compact imaging device, and a connecting portion 39 for connecting to the image processing apparatus 1 .
  • the inspection object is not limited to the large intestine, but the gastrointestinal tract (digestive organ) such as the stomach, esophagus, small intestine, duodenum, etc. good too.
  • the part to be detected in the endoscopy is not limited to the lesion part, and may be any part that the examiner needs to pay attention to (also called “part of attention").
  • Such points of interest include a lesion site, an inflamed site, a surgical scar or other cut site, a fold or projection site, and the tip portion 38 of the endoscope 3 in the lumen. It may be a place that is easy to contact (easy to get stuck) on the wall surface of the.
  • FIG. 2 shows the hardware configuration of the image processing apparatus 1.
  • the image processing apparatus 1 mainly includes a processor 11, a memory 12, an interface 13, an input section 14, a light source section 15, a sound output section 16, and a database (hereinafter referred to as "DB") 17. ,including.
  • DB database
  • the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit). Note that the processor 11 may be composed of a plurality of processors. Processor 11 is an example of a computer.
  • the memory 12 is composed of various volatile memories used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory for storing information necessary for processing of the image processing apparatus 1. be done.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory or disk medium.
  • the memory 12 stores a program for the image processing apparatus 1 to execute each process in this embodiment.
  • the memory 12 temporarily stores a series of endoscope images Ic captured by the endoscope 3 during endoscopy.
  • the memory 12 temporarily stores lesion images captured based on imaging instructions from the examiner during the endoscopy. These images are stored in the memory 12 in association with, for example, subject identification information (for example, patient ID), time stamp information, and the like.
  • the interface 13 performs an interface operation between the image processing device 1 and an external device.
  • the interface 13 supplies the display data Id generated by the processor 11 to the display device 2 .
  • the interface 13 supplies illumination light generated by the light source unit 15 to the endoscope 3 .
  • the interface 13 also supplies the processor 11 with an electrical signal indicating the endoscopic image Ic supplied from the endoscope 3 .
  • the interface 13 may be a communication interface such as a network adapter for performing wired or wireless communication with an external device, and may be a hardware interface conforming to USB (Universal Serial Bus), SATA (Serial AT Attachment), or the like. may
  • the input unit 14 generates an input signal based on the operation of the inspector.
  • the input unit 14 is, for example, a button, touch panel, remote controller, voice input device, or the like.
  • the light source unit 15 generates light to be supplied to the distal end portion 38 of the endoscope 3 .
  • the light source unit 15 may also incorporate a pump or the like for sending out water or air to be supplied to the endoscope 3 .
  • the sound output unit 16 outputs sound under the control of the processor 11 .
  • the DB 17 stores endoscopic images and lesion information acquired by the subject's past endoscopic examinations.
  • the lesion information includes lesion images and related information.
  • the DB 17 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory. Note that instead of providing the DB 17 in the endoscopy system 100, the DB 17 may be provided in an external server or the like, and related information may be acquired from the server through communication.
  • FIG. 3 is a block diagram showing the functional configuration of the image processing apparatus 1. As shown in FIG.
  • the image processing device 1 functionally includes a position detection unit 21 , an AI detection unit 22 , an inspection data generation unit 23 , an AI determination unit 24 and a video editing unit 25 .
  • An endoscope image Ic is input from the endoscope 3 to the image processing device 1 .
  • the endoscope image Ic is input to the position detection unit 21 , AI detection unit 22 , examination data generation unit 23 and image editing unit 25 .
  • the position detection unit 21 detects the position of the endoscope 3, that is, the imaging position of the endoscope image, based on the endoscope image Ic. Specifically, the position detection unit 21 detects the shooting position by image analysis of the input endoscope image Ic.
  • the imaging position may be three-dimensional coordinates of the organ to be inspected, but may be information indicating at least one of a plurality of parts of the organ to be inspected. For example, as shown in FIG.
  • the large intestine is composed of multiple parts such as the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectum. Therefore, when the examination target is the large intestine, the position detection unit 21 should be able to detect at least which of the above parts the imaging position belongs to.
  • the position detection unit 21 detects the image at that time based on the pattern of the mucous membrane, the presence or absence of folds, the shape of the folds, the number of folds that the endoscope 3 has passed by moving, etc. included in the endoscopic image. It is possible to estimate which part of the large intestine the position belongs to. Further, the position detection unit 21 estimates the moving speed of the endoscope 3 based on the endoscopic image, calculates the moving distance in the large intestine based on the moving speed and time, and determines the imaging position. can be estimated. Furthermore, the position detection unit 21 may detect the imaging position using the insertion length of the endoscope 3 inserted into the organ in addition to the image analysis of the endoscopic video. In this embodiment, the method of detecting the imaging position in the organ to be inspected is not limited to a specific method. The position detection unit 21 outputs the detected imaging position to the inspection data generation unit 23 .
  • the AI detection unit 22 performs image analysis based on the endoscopic image Ic and determines the presence or absence of a lesion.
  • the AI detection unit 22 detects a lesion-like portion included in the endoscopic image using an image recognition model prepared in advance. When the AI detection unit 22 detects a lesion-like portion, it generates a lesion image, which is a still image. In addition, the AI detection unit 22 acquires time information at the time when the lesion-like portion is detected.
  • the AI detection unit 22 generates AI detection data including the lesion image and time information, and outputs the AI detection data to the examination data generation unit 23 and the AI determination unit 24 . On the other hand, if the AI detection unit 22 does not detect a lesion-like portion, it outputs a determination result indicating that there is no lesion.
  • patient information of a patient who is a subject is input to the image processing apparatus 1 through the input unit 14 .
  • the patient information is information that uniquely identifies a patient, and may use a patient name, an ID uniquely assigned to each patient, or a personal identification number such as my number.
  • Patient information is input to the examination data generator 23 .
  • the examination data generation unit 23 generates a still image based on the imaging instruction of the examiner during the endoscopy. In addition, the examination data generation unit 23 acquires time information at the time when the examiner instructs imaging. The examination data generation unit 23 generates a still image based on the endoscopic image Ic, the imaging position detected by the position detection unit 21, patient information, AI detection data generated by the AI detection unit 22, and the imaging instruction of the examiner. The inspection data including the image and the time information at the time when the inspector instructs the imaging is generated and stored in the memory 12. ⁇ Furthermore, the inspection data generation unit 23 outputs the generated inspection data to the AI determination unit 24 and the video editing unit 25 .
  • the AI determination unit 24 determines, from the AI detection data generated by the AI detection unit 22 and the examination data generated by the examination data generation unit 23, a still image photographed based on an imaging instruction from the examiner and a lesion detected by the AI. A still image of a likely part is acquired. Then, the AI determination unit 24 performs image analysis based on the acquired still image, and performs qualitative determination such as whether the portion that seems to be a lesion is tumorous or nontumorous. The AI determination unit 24 outputs the qualitative determination result to the video editing unit 25 .
  • the still images taken based on the imaging instructions of the examiner include not only still images that show lesion-like areas, but also still images that do not show lesion-like areas, such as still images that show residues. may be The AI determination unit 24 does not perform qualitative determination and outputs a determination result that there is no lesion when no lesion-like portion is detected from the still image taken based on the imaging instruction of the examiner.
  • the image editing unit 25 generates image data Ie using the endoscopic image Ic, the inspection data input from the inspection data generation unit 23, and the qualitative determination result input from the AI determination unit 24, Output to the display device 2 .
  • FIG. 5 shows an example of an endoscopy examination result of a patient.
  • FIG. 5 shows a model image of the large intestine for convenience.
  • the model image is an image of a schematic diagram of the large intestine, on which the test results are superimposed.
  • examination results the result of inserting the endoscope from the anus to the cecum, the location of the lesion candidate site detected by AI, the location photographed by the doctor, and the type of section are displayed.
  • the results of inserting the endoscope from the anus to the cecum are indicated by dotted lines.
  • the location of the lesion candidate site detected by AI is indicated by an asterisk
  • the location photographed by the doctor is indicated by a circle.
  • the endoscopic image is classified into a plurality of sections, and the plurality of sections are distinguished and displayed using line thickness and line type.
  • sections where neither the doctor nor the AI recognized a lesion are indicated by thin dashed lines.
  • a section (in this example, the sigmoid colon) that was captured by the doctor but not detected by the AI is indicated by a thin solid line.
  • a section (transverse colon in this example) in which both the doctor and the AI recognize a lesion is displayed with a thick dashed line.
  • Sections (ascending colon and descending colon in this example) in which AI was detected but not imaged by the doctor are indicated by thick solid lines.
  • FIG. 6 shows a video editing method by the video editing unit 25.
  • the video editor 25 generates an edited video based on the endoscopic video Ic and the inspection data generated by the inspection data generator 23 .
  • the video editing unit 25 extracts a partial video from the endoscopic video Ic for a predetermined period before and after the time when the doctor gave the instruction to shoot and the time when the AI detected a lesion-like part, and created an edited video 1 .
  • the image editing unit 25 includes the location (circle) where the doctor instructed imaging or the location (star) where AI detected the lesion candidate site from the section (P1 to P6) included in the captured image. Sections (P2 to P5 in this example) are extracted and connected in time series to generate edited video 1.
  • the section from which the partial video is extracted is not limited to the above.
  • P2 and P4 may be extracted to generate an edited video 2.
  • the video editing unit 25 may generate an edited video based on the qualitative determination of the AI determining unit 24.
  • an edited video may be generated by extracting only the section containing the location for which the AI determination unit 24 has performed a qualitative determination, or as a result of the qualitative determination performed by the AI determination unit 24, it is determined to be neoplastic.
  • the edited video may be generated by extracting only the section containing the lesion. In this way, the examiner can efficiently review the examination results by watching the exercise video after the endoscopy.
  • FIG. 7 shows a display example of an edited video.
  • FIG. 7 shows a display example of the display device 2 when playing back the edited video generated by the video editing unit 25 as described above.
  • the display example of FIG. 7 in the display area 30, in addition to information such as the patient name, patient ID, examination date and time, and current imaging position, an image 31 being reproduced is displayed.
  • the display of the shooting position changes. In this way, the inspector or the like can efficiently confirm important points in the endoscopic video by viewing the edited video.
  • FIG. 8 is a flow chart of display processing by the image processing device 1 . This processing is realized by executing a program prepared in advance by the processor 11 shown in FIG. 2 and operating as each element shown in FIG.
  • the inspection data generation unit 23, the AI detection unit 22, and the image editing unit 25 acquire the endoscope image Ic (step S11).
  • the examination data generation unit 23 acquires the time when the doctor instructs imaging (step S12).
  • the AI detection unit 22 acquires the time when the lesion-like portion is detected (step S13).
  • the image editing unit 25 extracts a partial image of a predetermined period before and after the time when the examiner instructs imaging and the time when the AI detection unit 22 detects a likely lesion.
  • An edited image is generated by editing the endoscopic image Ic (step S14), and is output to the display device 2.
  • FIG. The display device 2 reproduces the received edited video (step S15).
  • the edited video is reproduced as shown in FIG.
  • the video editing unit 25 creates an edited video by cutting the video of the section in which neither the doctor nor the AI recognized a lesion.
  • the video editing unit 25 may edit the video so as to display the segment at high speed without cutting the section in which neither the doctor nor the AI recognized the lesion.
  • the examiner or the like can observe sections in which neither the doctor nor AI recognized a lesion at high speed, while firmly observing sections in which the doctor or AI recognized a lesion at normal speed.
  • Modification 2 As the edited video, video of predetermined conditions, such as the timing at which the examiner instructs imaging and the timing at which AI detects a lesion-like portion, is displayed. It is not limited to this. For example, as shown in FIG. 9, the user may be allowed to select a section in which he/she wishes to reproduce the video.
  • FIG. 9 shows a display example of the start of playback of edited video.
  • an image display section 41 and section buttons 42 are displayed in the display area 40 in addition to basic information such as the patient name, patient ID, examination date and time.
  • the section where neither the doctor nor the AI recognized the lesion section A
  • the section where the doctor took an image but the AI did not detect it section B
  • the section where the doctor and the AI recognized the lesion C section
  • a section (D section) in which the AI was detected but the doctor did not take an image
  • the section button 42 of the section for which the user wants to reproduce the video among these sections the video of the corresponding section is displayed on the video display section 41 . Thereby, the user can easily display the digest video of the section that the user wants to check.
  • Modification 3 In the above embodiment, a type of endoscope that inserts a shaft and directly observes the digestive tract is used, but a capsule endoscope may be used instead.
  • a doctor can efficiently check the image by extracting a partial image for a predetermined period before and after the lesion is detected.
  • FIG. 10 is a block diagram showing the functional configuration of the video editing device of the second embodiment.
  • the video editing device 70 includes video acquisition means 71 , first timing acquisition means 72 , second timing acquisition means 73 , and editing means 74 .
  • FIG. 11 is a flowchart of processing by the video editing device of the second embodiment.
  • the image acquisition means 71 acquires an endoscope image captured by an endoscope (step S71).
  • the first timing acquiring means 72 acquires the first timing at which the lesion is detected from the endoscopic image (step S72).
  • the second timing acquiring means 73 acquires the second timing at which the examiner instructs imaging based on the endoscope image (step S73).
  • the editing means 74 extracts a partial image of a predetermined period before and after the timing from the endoscopic image, generates and outputs an edited image (step S74). .
  • the video editing device 70 of the second embodiment it is possible to create an edited video that allows the user to efficiently see the necessary parts from the inspection video of the endoscopy.
  • Appendix 1 an image acquisition means for acquiring an endoscopic image captured by an endoscope; a first timing acquiring means for acquiring a first timing at which a lesion is detected from the endoscopic image; a second timing obtaining means for obtaining a second timing at which an examiner instructs imaging based on the endoscopic image; Editing means for extracting from the endoscopic video a partial video of a predetermined period before and after the timing for at least one of the first timing and the second timing to generate and output an edited video; A video editing device.
  • Appendix 3 determining means for performing a qualitative determination on the partial video at the first timing and the second timing;
  • the video editing apparatus according to appendix 1, wherein the editing means extracts the partial image for which the qualitative determination has been performed and generates an edited video.
  • Appendix 4 display means for classifying the endoscopic image into a plurality of types of sections based on whether or not the first timing and the second timing apply, and displaying the plurality of types of sections as options;
  • the video editing apparatus according to appendix 1, wherein the editing means extracts a partial video belonging to a type of section selected by a user from among the plurality of types of sections to generate an edited video.
  • Appendix 7 Acquiring an endoscopic image taken by an endoscope, obtaining a first timing at which a lesion is detected from the endoscopic image; Acquiring a second timing at which an examiner instructs imaging based on the endoscopic image, A video editing method for generating and outputting an edited video by extracting, from the endoscopic video, a partial video of a predetermined period before and after at least one of the first timing and the second timing.
  • (Appendix 8) Acquiring an endoscopic image taken by an endoscope, obtaining a first timing at which a lesion is detected from the endoscopic image; Acquiring a second timing at which an examiner instructs imaging based on the endoscopic image, causing a computer to execute a process of extracting, from the endoscopic video, a partial video of a predetermined period before and after the timing for at least one of the first timing and the second timing, generating an edited video, and outputting the video;
  • a recording medium that records a program.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

映像編集装置において、映像取得手段は、内視鏡によって撮影された内視鏡映像を取得する。第１タイミング取得手段は、内視鏡映像から病変が検出された第１のタイミングを取得する。第２タイミング取得手段は、内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得する。編集手段は、内視鏡映像から、第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する。

Description

映像編集装置、映像編集方法、及び、記録媒体
　本開示は、内視鏡検査により得られた映像の編集に関する。
　医師が内視鏡検査の検査結果を振り返るときや、他の医師の意見を得たいときなどに、内視鏡の検査映像を見直すことがあるが、映像時間が長いために、見直しに多くの時間を要していた。このような観点から、特許文献１は、内視鏡検査システムにおいて、検査中に、内視鏡の操作者の操作により動画ファイルにタイムスタンプを付与することで、検査後に、有意な情報を持つ時間帯の動画を容易に検索することができる手法を提案している。
特開２０１８－１６６９８９号公報
　近年では、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて病変を検出する手法も提案されている。よって、内視鏡の操作者が選出した映像だけでなく、ＡＩが検出した病変の映像も含めて、検査映像を効率的に参照できることが望ましい。
　本開示の１つの目的は、内視鏡検査の検査映像から、必要な箇所を効率的に見ることが可能な編集映像を作成することにある。
　本開示の一つの観点では、映像編集装置は、
　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
　前記内視鏡映像から病変が検出された第１のタイミングを取得する第１タイミング取得手段と、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得する第２タイミング取得手段と、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する編集手段と、を備える。
　本開示の他の観点では、映像編集方法は、
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する。
　本開示のさらに他の観点では、記録媒体は、
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡検査後に、検査映像を効率的に確認することが可能となる。
内視鏡検査システムの概略構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の機能構成を示すブロック図である。 大腸の構造を模式的に示す。 検査結果の例を示す図である。 編集映像の生成方法を示す図である。 編集映像の再生中の表示例を示す。 画像処理装置による表示処理のフローチャートである。 編集映像の再生開始時の表示例を示す。 第２実施形態の映像編集装置の機能構成を示すブロック図である。 第２実施形態の映像編集装置による処理のフローチャートである。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）の際に、内視鏡検査の検査者が静止画を撮影した時刻と、ＡＩの映像解析によって病変が検出された時刻とを取得する。そして、内視鏡検査システム１００は、取得した時刻の前後所定期間の部分映像を抽出して編集映像を生成し、表示する。これにより、検査者は、内視鏡検査後に、検査映像を効率的に確認することが可能となる。
　図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。
　画像処理装置１は、内視鏡検査中に内視鏡スコープ３が撮影する映像（即ち、動画。以下、「内視鏡映像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡検査の検査者が確認するための表示データを表示装置２に表示させる。具体的に、画像処理装置１は、内視鏡検査中に、内視鏡スコープ３により撮影された臓器内の動画を内視鏡映像Ｉｃとして取得する。また、検査者は、内視鏡検査中に病変を見つけると、内視鏡スコープ３を操作して病変位置の撮影指示を入力する。画像処理装置１は、検査者による撮影指示に基づいて、病変位置を写した病変画像を生成する。具体的には、画像処理装置１は、動画である内視鏡映像Ｉｃから、検査者の撮影指示に基づいて静止画である病変画像を生成する。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮影素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。
　なお、以下では、主に大腸の内視鏡検査における処理を前提として説明を行うが、検査対象は、大腸に限らず、胃、食道、小腸、十二指腸などの消化管（消化器）であってもよい。
　また、内視鏡検査において検出対象となる部位は、病変部位に限らず、検査者が注目する必要がある任意の箇所（「注目箇所」とも呼ぶ。）であってもよい。このような注目箇所は、病変部位、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、内視鏡スコープ３の先端部３８が管腔内の壁面において接触しやすい（つっかえやすい）箇所などであってもよい。
　［ハードウェア構成］
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像Ｉｃを一時的に記憶する。また、メモリ１２は、内視鏡検査中に検査者の撮影指示に基づいて撮影された病変画像を一時的に記憶する。これらの画像は、例えば、被検者の識別情報（例えば患者ＩＤ）、及び、タイムスタンプの情報等と関連付けられてメモリ１２に記憶される。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示データＩｄを表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者の操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像、及び、病変情報を記憶している。病変情報は、病変画像と、関連情報とを含む。ＤＢ１７は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
　［機能構成］
　図３は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、機能的には、位置検出部２１と、ＡＩ検出部２２と、検査データ生成部２３と、ＡＩ判定部２４と、映像編集部２５と、を含む。
　画像処理装置１には、内視鏡スコープ３から内視鏡映像Ｉｃが入力される。内視鏡映像Ｉｃは、位置検出部２１と、ＡＩ検出部２２と、検査データ生成部２３と、映像編集部２５とに入力される。位置検出部２１は、内視鏡映像Ｉｃに基づいて、内視鏡スコープ３の位置、即ち、内視鏡映像の撮影位置を検出する。詳しくは、位置検出部２１は、入力された内視鏡映像Ｉｃの画像解析により、撮影位置を検出する。ここで、撮影位置とは、検査対象の臓器における３次元座標であってもよいが、少なくとも検査対象の臓器における複数の部位のいずれかを示す情報であればよい。例えば、図４に示すように、大腸は、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸などの複数の部位により構成される。よって、検査対象が大腸である場合、位置検出部２１は、少なくとも撮影位置が上記の各部位のいずれに属するかを検出できればよい。
　具体的に、位置検出部２１は、内視鏡映像に含まれる粘膜の模様、ひだの有無、ひだの形状、内視鏡スコープ３の移動により通過したひだの数などに基づいて、その時の撮影位置が大腸のどの部位に属するかを推定することができる。また、位置検出部２１は、内視鏡映像に基づいて内視鏡スコープ３の移動速度を推定し、移動速度と時間とに基づいて大腸内での移動距離を計算することにより、撮影位置を推定してもよい。さらに、位置検出部２１は、内視鏡映像の画像解析に加えて、臓器内に挿入した内視鏡スコープ３の挿入長を用いて、撮影位置を検出してもよい。本実施形態では、検査対象の臓器における撮影位置の検出方法は特定の方法に限定されるものではない。位置検出部２１は、検出した撮影位置を検査データ生成部２３へ出力する。
　ＡＩ検出部２２は、内視鏡映像Ｉｃに基づいて画像解析を行い、病変の有無を判定する。ＡＩ検出部２２は、予め用意された画像認識モデルなどを用いて、内視鏡映像に含まれる病変らしい箇所を検出する。ＡＩ検出部２２は、病変らしい箇所を検出した場合、静止画である病変画像を生成する。また、ＡＩ検出部２２は、病変らしい箇所を検出した時点の時刻情報を取得する。ＡＩ検出部２２は、病変画像と時刻情報とを含むＡＩ検出データを生成し、検査データ生成部２３と、ＡＩ判定部２４とへ出力する。一方、ＡＩ検出部２２は、病変らしい箇所を検出しなかった場合、病変無しとの判定結果を出力する。
　また、画像処理装置１には、入力部１４を通じて、被検者である患者の患者情報が入力される。患者情報は、患者を一意に識別する情報であり、患者名や患者毎に一意に付与したＩＤなどの他、マイナンバーなどの個人識別番号を利用してもよい。患者情報は、検査データ生成部２３に入力される。
　検査データ生成部２３は、内視鏡検査中に検査者の撮影指示に基づいて静止画を生成する。また、検査データ生成部２３は、検査者が撮影指示をした時点の時刻情報を取得する。検査データ生成部２３は、内視鏡映像Ｉｃと、位置検出部２１が検出した撮影位置と、患者情報と、ＡＩ検出部２２が生成したＡＩ検出データと、検査者の撮影指示に基づいた静止画と、検査者が撮影指示をした時点の時刻情報と含む検査データを生成し、メモリ１２に記憶させる。さらに、検査データ生成部２３は、生成した検査データをＡＩ判定部２４と、映像編集部２５へ出力する。
　ＡＩ判定部２４は、ＡＩ検出部２２が生成したＡＩ検出データと、検査データ生成部２３が生成した検査データから、検査者の撮影指示に基づいて撮影された静止画と、ＡＩが検出した病変らしい箇所の静止画とを取得する。そして、ＡＩ判定部２４は、取得した静止画に基づいて画像解析を行い、病変らしい箇所が、腫瘍性か非腫瘍性か、などの質的判定を行う。ＡＩ判定部２４は、質的判定の結果を映像編集部２５へ出力する。なお、検査者の撮影指示に基づいて撮影された静止画には、病変らしい箇所が写っている静止画以外にも、残渣を写した静止画など、病変らしい箇所が写っていない静止画が含まれてもよい。ＡＩ判定部２４は、検査者の撮影指示に基づいて撮影された静止画から、病変らしい箇所を検出しなかった場合は、質的判定をせず、病変無しとの判定結果を出力する。
　映像編集部２５は、内視鏡映像Ｉｃと、検査データ生成部２３から入力される検査データと、ＡＩ判定部２４から入力される質的判定の結果とを用いて映像データＩｅを生成し、表示装置２へ出力する。
　図５は、ある患者の内視鏡検査の検査結果の例を示す。図５には、便宜上、大腸のモデル画像を示している。モデル画像は、大腸の概略図の画像であり、その上に、検査結果を重ねて示している。ここでは、検査結果として、肛門から盲腸まで内視鏡を挿入した結果と、ＡＩが検出した病変候補部位のある場所と、医師が撮影した場所と、区間の種類を表示している。具体的には、肛門から盲腸まで内視鏡を挿入した結果を点線で表示している。また、ＡＩが検出した病変候補部位のある場所を星印で、医師が撮影した場所を丸印で表示している。そして、内視鏡映像を複数の区間に分類し、線の太さと、線の種類とを用いて、複数の区間を区別して表示している。ここでは、医師もＡＩも病変を認識しなかった区間（本例では盲腸、直腸）を細い破線で表示している。医師は撮影したがＡＩは検出しなかった区間（本例ではＳ状結腸）を細い実線で表示している。医師もＡＩも病変を認識した区間（本例では横行結腸）を太い破線で表示している。ＡＩは検出したが医師は撮影しなかった区間（本例では上行結腸、下行結腸）を太い実線で表示している。
　図６は、映像編集部２５による映像の編集方法を示す。映像編集部２５は、内視鏡映像Ｉｃと、検査データ生成部２３が生成した検査データとに基づいて編集映像を生成する。１つの例では、映像編集部２５は、内視鏡映像Ｉｃから、医師が撮影指示をした時刻と、ＡＩが病変らしい箇所を検出した時刻の前後所定期間の部分映像を抽出して編集映像１を生成する。ここでは、映像編集部２５は、撮影映像に含まれる区間（Ｐ１～Ｐ６）から、医師が撮影指示をした場所（丸印）または、ＡＩが病変候補部位を検出した場所（星印）を含む区間（本例ではＰ２～Ｐ５）を抽出し、時系列につなげて編集映像１を生成している。
　なお、部分映像を抽出する区間は上記に限らず、別の例では、映像編集部２５は、ＡＩは病変候補部位を検出したが、医師が撮影指示をしなかった場所を含む区間（本例ではＰ２、Ｐ４）を抽出して、編集映像２を生成してもよい。さらに別の例では、映像編集部２５は、ＡＩ判定部２４の質的判定に基づいて、編集映像を生成してもよい。例えば、ＡＩ判定部２４が質的判定を行った場所を含む区間のみを抽出して、編集映像を生成してもよいし、ＡＩ判定部２４が質的判定を行った結果、腫瘍性と判定された病変を含む区間のみを抽出して、編集映像を生成してもよい。こうして、検査者は、内視鏡検査後に演習映像を見ることによい、検査結果の見直しを効率的に行うことが可能となる。
　［表示例］
　次に、表示装置２による表示例を説明する。
　図７は、編集映像の表示例を示す。図７は、上記のようにして映像編集部２５が生成した編集映像を再生している際の表示装置２の表示例である。図７の表示例では、表示エリア３０内に、患者名、患者ＩＤ、検査日時及び現在の撮影位置などの情報に加えて、再生中の映像３１が表示されている。例えば、図６に示す編集映像１を再生している場合、区間Ｐ２～Ｐ５の映像が映像３１として順に再生される。また、映像３１として再生されている区間が変わると、撮影位置の表示が変化する。このように、検査者などは、編集映像を見ることにより、内視鏡映像中の重要な箇所などを効率的に確認することができる。
　［表示処理］
　次に、上記のような表示を行う表示処理について説明する。図８は、画像処理装置１による表示処理のフローチャートである。この処理は、図２に示すプロセッサ１１が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
　まず、検査データ生成部２３と、ＡＩ検出部２２と、映像編集部２５は、内視鏡映像Ｉｃを取得する（ステップＳ１１）。次に、検査データ生成部２３は、医師が撮影指示をした時刻を取得する（ステップＳ１２）。ＡＩ検出部２２は、病変らしい箇所を検出した時刻を取得する（ステップＳ１３）。次に、映像編集部２５は、内視鏡映像Ｉｃから、検査者が撮影指示をした時刻と、ＡＩ検出部２２が病変らしい箇所を検出した時刻の前後所定期間の部分映像を抽出し、内視鏡映像Ｉｃを編集した編集映像を生成して（ステップＳ１４）、表示装置２へ出力する。表示装置２は、受信した編集映像を再生する（ステップＳ１５）。こうして、図７に示すように、編集映像が再生される。
　［変形例］
　（変形例１）
　上記の実施形態では、図６に示すように、映像編集部２５は、医師もＡＩも病変を認識しなかった区間の映像をカットして編集映像を作成している。その代わりに、映像編集部２５は、医師もＡＩも病変を認識しなかった区間をカットせず、高速で表示するように映像を編集してもよい。これにより、編集映像を再生すると、医師又はＡＩが病変を認識した区間は通常速度で再生され、医師もＡＩも病変を認識しなかった区間は通常速度より早い高速で再生される。よって、検査者などは医師もＡＩも病変を認識しなかった区間を高速で流し見しつつ、医師又はＡＩが病変を認識した区間は通常速度でしっかりと観察することができる。
　（変形例２）
　上記の実施形態では、編集映像として、検査者が撮影指示をしたタイミングや、ＡＩが病変らしい箇所を検出したタイミングなど、予め決められた条件の映像を表示しているが、本開示の適用はこれには限られない。例えば、図９に示すように、ユーザが映像を再生したい区間を選択できるようにしてもよい。
　図９は、編集映像の再生開始の表示例を示す。具体的には、図９では、表示エリア４０内に、患者名、患者ＩＤ及び検査日時などの基本情報に加えて、映像表示部４１と区間ボタン４２とが表示されている。内視鏡映像は、医師もＡＩも病変を認識しなかった区間（Ａ区間）、医師は撮影したがＡＩは検出しなかった区間（Ｂ区間）、医師もＡＩも病変を認識した区間（Ｃ区間）、ＡＩは検出したが医師は撮影しなかった区間（Ｄ区間）に区分されている。ユーザが、これらの区間のうち映像を再生したい区間の区間ボタン４２を押下すると、映像表示部４１に該当の区間の映像が表示される。これにより、ユーザは、確認したい区間のダイジェスト映像を容易に表示することが可能となる。
　（変形例３）
　上記の実施形態では、シャフトを挿入して直接消化管を観察するタイプの内視鏡を使用しているが、その代わりに、カプセル内視鏡を使用してもよい。カプセル内視鏡で病変を検出した場合、病変検出時点の前後所定期間の部分映像を抽出することで、医師は、効率的に映像の確認をすることが可能となる。
　＜第２実施形態＞
　図１０は、第２実施形態の映像編集装置の機能構成を示すブロック図である。映像編集装置７０は、映像取得手段７１と、第１タイミング取得手段７２と、第２タイミング取得手段７３と、編集手段７４と、を備える。
　図１１は、第２実施形態の映像編集装置による処理のフローチャートである。映像取得手段７１は、内視鏡によって撮影された内視鏡映像を取得する（ステップＳ７１）。第１タイミング取得手段７２は、内視鏡映像から病変が検出された第１のタイミングを取得する（ステップＳ７２）。第２タイミング取得手段７３は、内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得する（ステップＳ７３）。編集手段７４は、内視鏡映像から、第１のタイミング及び第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する（ステップＳ７４）。
　第２実施形態の映像編集装置７０によれば、内視鏡検査の検査映像から、必要な箇所を効率的に見ることが可能な編集映像を作成することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
　前記内視鏡映像から病変が検出された第１のタイミングを取得する第１タイミング取得手段と、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得する第２タイミング取得手段と、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する編集手段と、
　を備える映像編集装置。
　（付記２）
　前記編集手段は、前記第１のタイミングに該当し、前記第２のタイミングに該当しないタイミングについての部分映像を抽出して編集映像を生成する付記１に記載の映像編集装置。
　（付記３）
　前記第１のタイミング及び前記第２のタイミングの部分映像に対して質的判定を行う判定手段を備え、
　前記編集手段は、前記質的判定が行われた部分画像を抽出して編集映像を生成する付記１に記載の映像編集装置。
　（付記４）
　前記第１のタイミング及び前記第２のタイミングに該当するか否かに基づいて、前記内視鏡映像を複数種類の区間に分類し、当該複数種類の区間を選択肢として表示する表示手段を備え、
　前記編集手段は、前記複数種類の区間のうち、ユーザにより選択された種類の区間に属する部分映像を抽出して編集映像を生成する付記１に記載の映像編集装置。
　（付記５）
　前記編集手段は、前記部分映像を時系列に連結して前記編集映像を生成する付記１乃至４のいずれか一項に記載の映像編集装置。
　（付記６）
　前記編集手段は、前記部分映像を通常速度で再生し、前記内視鏡映像のうち前記部分映像以外の部分を前記通常速度より早い高速で再生する編集映像を生成する付記１乃至４のいずれか一項に記載の映像編集装置。
　（付記７）
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する映像編集方法。
　（付記８）
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１７　データベース（ＤＢ）
　２１　位置検出部
　２２　ＡＩ検出部
　２３　検査データ生成部
　２４　ＡＩ判定部
　２５　映像編集部
　１００　内視鏡検査システム

Claims (8)

  1. 　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
    　前記内視鏡映像から病変が検出された第１のタイミングを取得する第１タイミング取得手段と、
    　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得する第２タイミング取得手段と、
    　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する編集手段と、
    　を備える映像編集装置。
  2. 　前記編集手段は、前記第１のタイミングに該当し、前記第２のタイミングに該当しないタイミングについての部分映像を抽出して編集映像を生成する請求項１に記載の映像編集装置。
  3. 　前記第１のタイミング及び前記第２のタイミングの部分映像に対して質的判定を行う判定手段を備え、
    　前記編集手段は、前記質的判定が行われた部分画像を抽出して編集映像を生成する請求項１に記載の映像編集装置。
  4. 　前記第１のタイミング及び前記第２のタイミングに該当するか否かに基づいて、前記内視鏡映像を複数種類の区間に分類し、当該複数種類の区間を選択肢として表示する表示手段を備え、
    　前記編集手段は、前記複数種類の区間のうち、ユーザにより選択された種類の区間に属する部分映像を抽出して編集映像を生成する請求項１に記載の映像編集装置。
  5. 　前記編集手段は、前記部分映像を時系列に連結して前記編集映像を生成する請求項１乃至４のいずれか一項に記載の映像編集装置。
  6. 　前記編集手段は、前記部分映像を通常速度で再生し、前記内視鏡映像のうち前記部分映像以外の部分を前記通常速度より早い高速で再生する編集映像を生成する請求項１乃至４のいずれか一項に記載の映像編集装置。
  7. 　内視鏡によって撮影された内視鏡映像を取得し、
    　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
    　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
    　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する映像編集方法。
  8. 　内視鏡によって撮影された内視鏡映像を取得し、
    　前記内視鏡映像から病変が検出された第１のタイミングを取得し、
    　前記内視鏡映像に基づいて、検査者が撮影を指示した第２のタイミングを取得し、
    　前記内視鏡映像から、前記第１のタイミング及び前記第２のタイミングの少なくとも一方について、当該タイミングの前後所定期間の部分映像を抽出して編集映像を生成し、出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2021/042368 2021-11-18 2021-11-18 映像編集装置、映像編集方法、及び、記録媒体 WO2023089719A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/042368 WO2023089719A1 (ja) 2021-11-18 2021-11-18 映像編集装置、映像編集方法、及び、記録媒体
EP21964734.4A EP4434436A1 (en) 2021-11-18 2021-11-18 Video editing device, video editing method, and recording medium
JP2023562004A JPWO2023089719A5 (ja) 2021-11-18 映像編集装置、映像編集方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/042368 WO2023089719A1 (ja) 2021-11-18 2021-11-18 映像編集装置、映像編集方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023089719A1 true WO2023089719A1 (ja) 2023-05-25

Family

ID=86396443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042368 WO2023089719A1 (ja) 2021-11-18 2021-11-18 映像編集装置、映像編集方法、及び、記録媒体

Country Status (2)

Country Link
EP (1) EP4434436A1 (ja)
WO (1) WO2023089719A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
JP2018166989A (ja) 2017-03-30 2018-11-01 Hoya株式会社 電子内視鏡システム及び処理装置
US20180365826A1 (en) * 2017-06-14 2018-12-20 Electronics And Telecommunications Research Institute Capsule endoscope for determining lesion area and receiving device
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2020165978A1 (ja) * 2019-02-13 2020-08-20 オリンパス株式会社 画像記録装置、画像記録方法および画像記録プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
JP2018166989A (ja) 2017-03-30 2018-11-01 Hoya株式会社 電子内視鏡システム及び処理装置
US20180365826A1 (en) * 2017-06-14 2018-12-20 Electronics And Telecommunications Research Institute Capsule endoscope for determining lesion area and receiving device
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2020165978A1 (ja) * 2019-02-13 2020-08-20 オリンパス株式会社 画像記録装置、画像記録方法および画像記録プログラム

Also Published As

Publication number Publication date
EP4434436A1 (en) 2024-09-25
JPWO2023089719A1 (ja) 2023-05-25

Similar Documents

Publication Publication Date Title
JP5368668B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP5148227B2 (ja) 内視鏡システム
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
WO2021075418A1 (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
JP2012070938A (ja) 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
KR100751160B1 (ko) 의료용 화상 기록 시스템
JP2012045419A (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
WO2023095208A1 (ja) 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法
WO2023089719A1 (ja) 映像編集装置、映像編集方法、及び、記録媒体
JP2021065606A (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2023089717A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP4615842B2 (ja) 内視鏡システムおよび内視鏡画像処理装置
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
EP4434435A1 (en) Information processing device, information processing method, and recording medium
WO2023089715A1 (ja) 画像表示装置、画像表示方法、及び、記録媒体
WO2024121885A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP7533905B2 (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
JP7561382B2 (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2023145078A1 (ja) 医療支援システムおよび医療支援方法
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964734

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023562004

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021964734

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021964734

Country of ref document: EP

Effective date: 20240618