WO2021153437A1 - 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム - Google Patents

内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2021153437A1
WO2021153437A1 PCT/JP2021/002180 JP2021002180W WO2021153437A1 WO 2021153437 A1 WO2021153437 A1 WO 2021153437A1 JP 2021002180 W JP2021002180 W JP 2021002180W WO 2021153437 A1 WO2021153437 A1 WO 2021153437A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
unit
endoscope
start condition
image data
Prior art date
Application number
PCT/JP2021/002180
Other languages
English (en)
French (fr)
Inventor
友也 青山
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to US17/775,363 priority Critical patent/US12035045B2/en
Priority to JP2021573986A priority patent/JPWO2021153437A1/ja
Publication of WO2021153437A1 publication Critical patent/WO2021153437A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • This technology relates to endoscope processors, information processing methods, and computer programs.
  • An electronic endoscope with an objective optical system and an imaging element built into the tip of the insertion tube of the endoscope and a video signal output from the electronic endoscope are processed to generate a video signal that can be displayed on a monitor.
  • An electronic endoscope device equipped with a processor for an electronic endoscope is widely used for diagnosis of a subject and the like.
  • the electronic endoscope processor for example, the captured image is subjected to various signal processing such as image processing such as distortion correction and scratch correction, ⁇ correction, white balance adjustment, and enhancement processing, which is suitable for a doctor's diagnosis. Provides high quality images. The doctor makes a diagnosis based on these images.
  • Patent Document 1 discloses an electronic endoscope system that can prevent an increase in load, an operation delay, and data loss of a processor operating system without using an expensive CPU.
  • An object of the present disclosure is to provide an endoscope processor, an information processing method, and a computer program that acquire a moving image taken by an endoscope for a predetermined time length.
  • the endoscope processor includes a determination unit for determining whether or not, and a moving image acquisition unit for starting acquisition of the moving image when the determination unit determines that the start condition is satisfied.
  • FIG. 1 is a schematic diagram illustrating the overall configuration of the endoscope system according to the first embodiment.
  • the endoscope system in the first embodiment includes an endoscope 1, an endoscope processor 2, and a display device 3.
  • the endoscope 1 is inserted inside the subject and outputs image data of an image obtained by photographing the inside of the subject to the endoscope processor 2.
  • the endoscope processor 2 performs image processing on the image data input from the endoscope 1, and outputs the processed image data to the display device 3.
  • the display device 3 displays an image of image data input from the endoscope processor 2.
  • Each device transmits and receives electric signals, video signals, etc. via a connector.
  • the endoscope 1 is, for example, an endoscope for the upper gastrointestinal tract or a colonoscope.
  • the endoscope 1 includes an insertion portion 11 that is inserted into the luminal organ of the subject, which is a subject, and a scope connector 14 that is connected to the insertion portion 11 via an operation portion 12 and a universal cord 13. , It is used by being connected to the endoscope processor 2 by the scope connector 14.
  • An imaging device 15 is built in the tip portion of the insertion portion 11.
  • the insertion portion 11 includes a flexible tube 111 connected to the operating portion 12 and formed relatively long, and a bendable bending portion 112 coaxially connected to the flexible tube 111 and formed relatively short.
  • the bending mechanism in the bending portion 112 is a well-known mechanism incorporated in a general endoscope, and is configured so that the bending portion 112 is bent by pulling an operation wire linked to the operation of the operation portion 12. .. Since the direction of the tip portion changes according to the bending operation by the above operation, the photographing region by the imaging device 15 moves.
  • the image pickup device 15 includes an image pickup element such as a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and an objective optical system for imaging.
  • the driver circuit for driving the image pickup apparatus 15 is arranged in a connection portion (inside the scope connector 14) with the endoscope processor 2, and is arranged in a CPU (Central Processing Unit), a timing generator (TG), and analog signal processing. It is equipped with a circuit (AEF) and the like.
  • the driver circuit takes in the signals of each RGB color output from the solid-state image sensor according to the clock signal output from the TG, and performs necessary processing such as noise removal, amplification, and AD conversion to obtain a digital image.
  • the data is output to the endoscope processor 2.
  • the operation unit 12 is provided for being gripped by the operator to perform various operations, and is provided with a control button 121 for recording an image including a still image and a high-quality moving image. At the timing when the control button 121 is pressed, the endoscope 1 captures a still image and a high-quality moving image for a predetermined time length. In addition to the control button 121, the operation unit 12 may be provided with other operation buttons for receiving various operations of the operator. The operation unit 12 outputs an operation signal indicating the operation performed by the operation unit 12 to the endoscope processor 2.
  • the operation unit 12 may be configured to independently accept the still image shooting operation and the high-quality moving image shooting operation.
  • the control button 121 is configured to be able to detect a two-step pressing operation of a still image shooting operation and a high-quality moving image shooting operation.
  • the control button 121 accepts a still image shooting operation by pressing the control button 121 in one step, and receives a high-quality moving image shooting operation by pressing the control button 121 in another step.
  • a plurality of control buttons 121 may be provided, and different control buttons 121 may be configured to accept a still image shooting operation and a high-quality moving image shooting operation.
  • the endoscope processor 2 is an information processing device for processing image data taken by the image pickup device 15 of the endoscope 1 and transmitted through the universal code 13.
  • the image data processed by the endoscope processor 2 is output to the display device 3.
  • the display device 3 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device, and displays image data or the like output from the endoscope processor 2.
  • a liquid crystal display device or an organic EL (Electro Luminescence) display device, and displays image data or the like output from the endoscope processor 2.
  • organic EL Electro Luminescence
  • FIG. 2 is a block diagram showing a configuration example of the endoscope processor 2.
  • the endoscope processor 2 includes a control unit 21, a storage unit 22, an input unit 23, an output unit 24, a light source 25, and the like.
  • the control unit 21 has a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the CPU included in the control unit 21 expands the program 2P stored in the ROM or the storage unit 22 on the RAM and executes it, thereby using the endoscope processor 2 as the endoscope processor 2 in the present embodiment. Make it work.
  • the control unit 21 is not limited to the above configuration.
  • the control unit 21 is one or a plurality of arithmetic circuits or control circuits including a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a quantum processor, a volatile or non-volatile memory, and the like. There may be. Further, the control unit 21 has functions such as a clock for outputting date and time information, a timer for measuring the elapsed time from giving a measurement start instruction to giving a measurement end instruction, and a counter for counting the number. May be good.
  • the storage unit 22 is composed of, for example, a non-volatile memory such as EPROM (ErasableProgrammableReadOnlyMemory) or a recording device provided with a hard disk. In addition to storing the program 2P, the storage unit 22 stores other programs and data referred to by the control unit 21.
  • the storage unit 22 may be composed of a plurality of storage devices, or may be an external storage device connected to the endoscope processor 2. In another embodiment, the storage unit 22 is a portable recording medium such as a USB memory or an SD card, and may be detachable from the endoscope processor 2.
  • the program 2P may be provided to the endoscope processor 2 by using a recording medium 2A in which the program 2P is readablely recorded.
  • the recording medium 2A is, for example, a portable memory such as a CD-ROM, a USB memory, an SD card, a micro SD card, or a compact flash (registered trademark).
  • the control unit 21 may read the program 2P from the recording medium 2A via a reading unit (not shown) and install the read program 2P in the storage unit 22.
  • the endoscope processor 2 includes a communication unit that communicates with an external device
  • the program 2P may be provided to the endoscope processor 2 by communication via the communication unit. In this case, the control unit 21 may acquire the program 2P through the communication unit and install the acquired program 2P in the storage unit 22.
  • the storage unit 22 further stores the learning model 2M and the image DB 222 (Data Base: database) 222.
  • the image DB 222 is a database for registering image information related to an image taken by an endoscope.
  • the learning model 2M is a discriminator that identifies a lesion in an image taken by an endoscope, and is a learning model generated by machine learning.
  • the learning model 2M is defined by its definition information.
  • the definition information of the learning model 2M includes, for example, structural information and layer information of the learning model 2M, node information included in each layer, and learned parameters. Definition information about the learning model 2M is stored in the storage unit 22.
  • the input unit 23 includes a connection interface for connecting input devices such as a touch panel, a keyboard, and various switches.
  • the input unit 23 inputs an input signal generated in response to an external operation on these input devices to the control unit 21.
  • the output unit 24 includes a connection interface for connecting the display device 3.
  • the output interface of the output unit 24 may be an output interface that outputs an analog format video signal, and is a digital format video signal such as DVI (Digital Visual Interface) or HDMI (High-Definition Multimedia Interface) (registered trademark). It may be an output interface that outputs. Under the control of the control unit 21, the output unit 24 outputs an image signal for display to the display device 3 to display the image.
  • the light source 25 includes a light source that emits illumination light used for illuminating the observation target.
  • the light source 25 is, for example, a semiconductor light source such as a multi-color LED (Light Emitting Diode) having a different wavelength range, a combination of a laser diode and a phosphor, a xenon lamp, or the like.
  • the lighting, extinguishing, and changing of the brightness of the light source 25 are controlled by the control unit 21.
  • the endoscope processor 2 is a light source integrated type, but the present invention is not limited to this.
  • the endoscope processor 2 may be a light source separation type that is separated from the light source device.
  • the endoscope processor 2 may include a communication unit.
  • the endoscope processor 2 may transmit image data or the like to an external device and store such information in the external device.
  • the endoscope processor 2 is described as one information processing device, but it may be distributed and processed by a plurality of devices, or it may be configured by a virtual machine.
  • FIG. 3 is a diagram showing an example of the content of the information stored in the image DB 222.
  • the control unit 21 generates still images and moving images based on the captured image data acquired from the endoscope 1 and stores them in the image DB 222.
  • the image DB 222 stores an image, time information, a subject ID, a start condition, and the like in association with an image ID for identifying an image file.
  • the image may include the image acquired in the examination of the endoscope 1.
  • the image includes a still image and a moving image
  • the moving image includes a low-quality moving image and a high-quality moving image. That is, the moving image includes moving images of different image quality for the same imaging target at the same point, which are taken by the same imaging device.
  • a still image is an image acquired and recorded in response to an operator's instruction.
  • the low-quality moving image is an image taken from the start to the end of the inspection of the endoscope 1 and recorded at a low resolution.
  • a high-quality moving image is an image acquired according to a predetermined start condition and recorded at a high resolution.
  • the image generated based on the captured image data acquired from the endoscope 1 is an endoscope acquired from the start to the end of the inspection of the endoscope 1 and displayed on the display device 3. Images are included.
  • the time information includes information indicating the recording time of each image, and for example, a time stamp is stored.
  • the subject ID includes information for identifying the subject to be photographed in each captured image data, and for example, the subject ID (patient ID) is stored.
  • the start condition includes information indicating a start condition leading to the start of shooting a high-quality moving image, such as acceptance of a start operation, detection of a lesion, and a movement amount of a predetermined value or less. In the example of FIG. 3, the start condition is normalized and registered by the type codes 1 to 3. The details of the start condition will be described later. Note that FIG. 3 is an example, and the stored contents of the image DB 222 are not limited.
  • a high-resolution still image taken at a predetermined inspection location and a low-resolution still image taken at all times during the procedure are taken. It is common for moving images to be saved. When the doctor makes a diagnosis at a later date, the diagnosis is made based on the saved still image. Diagnosis from a still image, which is a single picture, requires skill. Therefore, in this endoscope system, by further saving a high-resolution moving image limited to a predetermined time length, even when a diagnosis is performed based on the saved data, a still image recorded with high image quality and a still image are recorded. It is possible to provide a lot of information by video.
  • FIG. 4 is a functional block diagram of the endoscope processor 2.
  • the control unit 21 of the endoscope processor 2 executes the image processing unit 211, the reception unit 212, the lesion detection unit 213, the movement amount detection unit 214, and the determination unit. It is configured to function as 215, an identification information acquisition unit 216, a still image acquisition unit 217, a low image quality moving image acquisition unit 218, and a high image quality moving image acquisition unit 219.
  • Image information for one frame that has undergone various processing such as noise removal is input as captured image data from the driver circuit of the endoscope 1 to the image processing unit 211.
  • the image processing unit 211 obtains the captured image data in the still image acquisition unit 217, the low image quality moving image acquisition unit 218, according to the control signals output at predetermined intervals from the start to the end. Output to the lesion detection unit 213 and the movement amount detection unit 214. Further, the image processing unit 211 outputs the captured image data to the still image acquisition unit 217 and the high-quality moving image acquisition unit 219 at the timing instructed by the determination unit 215.
  • the reception unit 212 accepts a start operation instructing the operator of the endoscope 1 to start acquiring a high-quality moving image.
  • the start operation for instructing the start of acquisition of the high-quality moving image is, for example, the operation of pressing the control button 121.
  • the endoscope processor 2 acquires a high-quality moving image at the same time as a still image by pressing the control button 121.
  • an operation signal indicating that effect is input to the reception unit 212.
  • the reception unit 212 outputs information indicating acceptance of the start operation to the determination unit 215.
  • the endoscope processor 2 may include a voice input unit such as a microphone (not shown), and the reception unit 212 may receive a start operation by voice via the voice input unit.
  • the reception unit 212 may accept the start operation via the input unit 23, for example, by operating a touch panel, a keyboard, or the like.
  • the lesion detection unit 213 outputs the lesion in the captured image data based on the captured image data output from the image processing unit 211.
  • the lesion detection unit 213 includes a function as a learning model 2M that is trained to output a lesion in the image data when the designated image data is input.
  • the learning model 2M will be described later.
  • the lesion detection unit 213 outputs information indicating the lesion detection result to the determination unit 215.
  • the lesion detection unit 213 may detect a lesion by using image data obtained by subjecting the captured image data to various image processes.
  • the lesion detection unit 213 may acquire still image data output from the still image acquisition unit 217, which will be described later.
  • the movement amount detection unit 214 detects the movement amount of the endoscope 1 based on the captured image data output from the image processing unit 211. Specifically, the movement amount detection unit 214 detects the movement amount of the tip portion of the insertion unit 11 in the endoscope 1 based on the movement amount of the photographing region included in the captured image data. The movement amount detection unit 214 acquires a frame of captured image data at the time of detection and a frame immediately before the detection time, and calculates the movement amount in the same region included in the two acquired frames to obtain an endoscope. The amount of movement of 1 is detected. The movement amount detection unit 214 outputs information indicating the movement amount detection result to the determination unit 215. The movement amount detection unit 214 may detect the movement amount by using the image data obtained by subjecting the captured image data to various image processes. The movement amount detection unit 214 may acquire still image data output from the still image acquisition unit 217, which will be described later.
  • the method of detecting the amount of movement is not limited to the above example.
  • the movement amount detection unit 214 may detect the movement amount of the endoscope 1 based on the captured image by using other machine learning techniques.
  • the movement amount detection unit 214 may detect the movement amount of the endoscope 1 by the detection value acquired by using a detection sensor such as an acceleration sensor or a magnetic sensor provided in the endoscope 1, for example. Further, the movement amount detection unit 214 may detect a change in the operation amount instead of the movement amount of the endoscope 1.
  • the movement amount detection unit 214 acquires operation data related to the operation of the endoscope 1, such as an operation signal of an operation button provided on the operation unit 12, and the endoscope 1 is based on a log of the acquired operation data. The history of the operation amount of may be detected.
  • the determination unit 215 determines whether or not it is time to record a still image and a high-quality moving image, and outputs the determination result to the image processing unit 211.
  • the timing for storing the still image data is the timing immediately after the control button 121 is pressed by the operator of the endoscope 1.
  • an operation signal indicating that effect is input to the determination unit 215.
  • the determination unit 215 gives the image processing unit 211 a control signal for outputting the captured image data to the still image acquisition unit 217.
  • the determination unit 215 may acquire information indicating the reception of the operation signal (start operation) via the reception unit 212.
  • the timing for storing the high-quality moving image data is the timing immediately after the predetermined start condition is satisfied.
  • the start condition is a condition for starting the shooting of a high-quality moving image, and includes a case where a diagnosis is likely to be performed based on an image taken at a timing satisfying the condition.
  • the determination unit 215 determines that the start condition is satisfied, the determination unit 215 imparts a control signal to the image processing unit 211 to start outputting the captured image data to the high-quality moving image acquisition unit 219.
  • the first example of the start condition is acceptance of a start operation such as a button operation instructing the operator to start shooting a moving image.
  • the determination unit 215 determines whether or not the start operation has been accepted based on the information indicating acceptance of the start operation output from the reception unit 212. When the determination unit 215 acquires the information indicating the acceptance of the start operation, it determines that the start condition is satisfied and instructs the start of acquisition of the high-quality moving image data.
  • the second example of the starting condition is the detection of lesions on endoscopic images.
  • the determination unit 215 determines whether or not a lesion has been detected based on the information indicating the lesion detection result output from the lesion detection unit 213. When the determination unit 215 acquires the lesion detection result indicating that the lesion has been detected, the determination unit 215 determines that the start condition is satisfied and instructs the start of acquisition of high-quality moving image data.
  • the third example of the start condition is the detection that the movement amount of the endoscope 1 is equal to or less than a predetermined value.
  • the determination unit 215 determines whether or not the movement amount of the endoscope 1 is equal to or less than a predetermined value based on the information indicating the movement amount detection result output from the movement amount detection unit 214. That is, the determination unit 215 determines whether or not the insertion, rotation, and the like of the endoscope 1 are stopped because the operator continues observing at the same location. When the endoscope 1 stays at the same place, there is a high possibility that the imaging target at the place includes a lesion or the like. When the determination unit 215 determines that the movement amount of the endoscope 1 is equal to or less than a predetermined value, it determines that the start condition is satisfied and instructs the start of acquisition of high-quality moving image data.
  • the start condition includes a plurality of conditions.
  • the determination unit 215 determines that any of the start conditions is satisfied, the determination unit 215 applies a control signal for starting the output of the captured image data to the image processing unit 211.
  • the identification information acquisition unit 216 acquires subject identification information such as a subject ID.
  • the identification information acquisition unit 216 acquires the subject identification information via the input unit 23 by receiving an input operation such as a keyboard or a touch panel.
  • the identification information acquisition unit 216 outputs the acquired subject identification information to the still image acquisition unit 217, the low-quality moving image acquisition unit 218, and the high-quality moving image acquisition unit 219.
  • the still image acquisition unit (still image acquisition unit) 217 acquires captured image data output from the image processing unit 211 at predetermined intervals from the start to the end of the inspection.
  • the still image acquisition unit 217 performs various image processing such as gamma correction, white balance correction, and shading correction on the acquired captured image data to generate an endoscopic image that is easy for the operator to see.
  • the still image acquisition unit 217 sequentially outputs the generated endoscopic image to the display device 3 by the output unit 24.
  • An image of the subject is displayed in real time on the display screen of the display device 3, and the operator makes an observation based on the endoscopic image. Further, the still image acquisition unit 217 acquires the captured image data output from the image processing unit 211 at the timing corresponding to the instruction of the determination unit 215.
  • the still image acquisition unit 217 acquires the subject identification information output from the identification information acquisition unit 216.
  • the still image acquisition unit 217 generates a still image obtained by performing predetermined image processing on the acquired captured image data, and acquires it as still image data.
  • the still image data may be endoscopic image data acquired at the same time.
  • the still image data is image data having a high resolution, for example, 1980 ⁇ 1080 (Full HD).
  • the still image acquisition unit 217 stores the acquired still image data in the storage unit 22 as a still image file in a predetermined file format such as JPEG or TIFF. In this case, the still image acquisition unit 217 associates the subject identification information with the still image data and stores it in the storage unit 22.
  • the low-quality moving image acquisition unit (second moving image acquisition unit) 218 acquires captured image data output from the image processing unit 211 at predetermined intervals from the start to the end of the inspection.
  • the low-quality moving image acquisition unit 218 acquires the subject identification information output from the identification information acquisition unit 216.
  • the low-quality moving image acquisition unit 218 performs predetermined image processing including a change in resolution on the acquired captured image data, generates a low-quality moving image compressed by a predetermined moving image compression method, and acquires it as low-quality moving image data.
  • the low-quality moving image data has a lower resolution than the still image data and the high-quality moving image data.
  • the low-quality video acquisition unit 218 stores the acquired low-quality video data in the image DB 222 as a low-quality video file in a predetermined file format such as MP4 or MXF. In this case, the low-quality moving image acquisition unit 218 associates the subject identification information with the low-quality moving image data and stores it in the storage unit 22.
  • the high-quality moving image acquisition unit (moving image acquisition unit) 219 acquires the captured image data output from the image processing unit 211 at the timing corresponding to the instruction of the determination unit 215.
  • the high-quality moving image acquisition unit 219 acquires the subject identification information output from the identification information acquisition unit 216.
  • the high-quality moving image acquisition unit 219 acquires captured image data for a predetermined time from the timing of the start of acquisition.
  • the time for the high-quality moving image acquisition unit 219 to acquire the captured image data is, for example, 1 second to 7 seconds, preferably 5 seconds to 7 seconds.
  • the endoscope processor 2 acquires the acquisition time of the high-quality moving image data by receiving the setting input of the shooting time of the high-quality moving image in advance by the operator using, for example, the setting screen displayed on the touch panel.
  • the length of time for acquiring the high-quality moving image may be determined based on the lower limit value or the upper limit value of the capacity of the high-quality moving image data.
  • the high-quality moving image acquisition unit 219 may start acquiring high-quality moving image data for a specific capacity.
  • the endoscope processor 2 may derive the resolution and time length of a high-quality moving image according to a preset acquisition capacity, and acquire moving image data having the derived time length.
  • the endoscope processor 2 may acquire image data at a frame rate lower than, for example, low-quality moving image data when acquiring high-quality moving image data according to a predetermined capacity. By lowering the frame rate, it is possible to increase the acquisition time of high-quality moving images while suppressing the data capacity.
  • the high-quality moving image acquisition unit 219 performs predetermined image processing including a change in resolution on the acquired image data for a predetermined time, generates a high-quality moving image compressed by a predetermined moving image compression method, and generates high-quality moving image as high-quality moving image data. get.
  • the high-quality moving image data is image data having a high resolution equal to or higher than that of still image data, such as 1980 ⁇ 1080 (Full HD).
  • the high-quality video acquisition unit 219 stores the acquired high-quality video data in the image DB 222 as a high-quality video file in a predetermined file format such as MP4 or MXF. In this case, the high-quality moving image acquisition unit 219 associates the subject identification information with the high-quality moving image data and stores it in the storage unit 22.
  • the high-quality moving image acquisition unit 219 acquires the captured image data output from the image processing unit 211 at predetermined intervals from the start to the end of the inspection, and responds to the instruction of the determination unit 215. Therefore, a high-quality moving image file limited to a predetermined time may be generated.
  • the high-quality moving image acquisition unit 219 starts from the timing when the instruction of the determination unit 215 is acquired, and acquires the high-quality moving image data based on the captured image data for a predetermined time, for example.
  • the high-quality moving image acquisition unit 219 may acquire high-quality moving image data based on the captured image data for a predetermined time acquired by tracing back a predetermined time length from the timing when the instruction of the determination unit 215 is acquired.
  • each image file is stored in a format corresponding to the electronic medical record system.
  • Each image file may be stored in the DICOM (Digital Imaging and Communications in Medicine) standard, for example.
  • FIG. 5 is an explanatory diagram illustrating the configuration of the learning model 2M.
  • the learning model 2M is generated and learned in advance by deep learning using a neural network in the endoscope processor 2 or an external device.
  • the learning algorithm is, for example, CNN (Convolution Neural Network).
  • the learning model 2M includes an input layer for inputting image data, an output layer for outputting the identification result of the presence or absence of lesions, and an intermediate layer (hidden layer) for extracting features.
  • the intermediate layer has a plurality of nodes for extracting the features of the input data, and passes the features extracted using various parameters to the output layer.
  • the output layer includes nodes corresponding to each of the set discrimination results, with and without lesions, and outputs the accuracy for each with and without lesions as a score.
  • the control unit 21 can use the identification result having a high score or the identification result having a score equal to or higher than the threshold value as the output value of the output layer.
  • the output layer may have one output node that outputs the most accurate identification result instead of having a plurality of output nodes that output the accuracy of each identification result.
  • the control unit 21 performs learning using the image data of a large amount of endoscopy performed in the past and the data collected from the diagnosis results.
  • the control unit 21 collects in advance as training data a learning model in which information indicating the presence or absence of a lesion, which is a known diagnosis result, is added to the input information obtained from the endoscopy performed so far. Learn 2M.
  • the control unit 21 learns various parameters and weights constituting the learning model 2M so as to output output information indicating the presence or absence of a lesion according to the endoscopic image data, for example, by using an error backpropagation method.
  • the learning model 2M is not limited to CNN.
  • a neural network other than CNN for example, a recurrent neural network (RNN: Recurrent Neural Network) or an LSTM (Long Short Term Memory) network may be used.
  • the learning model 2M may be a segmentation network that extracts the region of the lesion.
  • the model may be a model learned by another algorithm such as a support vector machine that does not use a neural network or a regression tree.
  • the lesion detection unit 213 has described an example of detecting the presence or absence of a lesion in an endoscopic image using the learning model 2M, but the lesion detection method is not limited.
  • the lesion detection unit 213 uses a technique such as pattern matching or edge detection to determine whether or not the endoscopic image contains a lesion based on the feature amount of the endoscopic image and the feature amount of the lesion part stored in advance. May be determined.
  • FIG. 6 is a flowchart showing an example of a processing procedure executed by the endoscope processor 2.
  • the control unit 21 of the endoscope processor 2 executes the process shown in FIG. 6 in parallel with the processes such as the generation of the endoscopic image and the generation of the low-quality moving image.
  • the control unit 21 executes the following processing based on the input contents from the input unit 23 connected to the own device, for example.
  • the control unit 21 acquires the subject identification information via the input unit 23 by receiving an input operation such as a keyboard or a touch panel (step S11).
  • the control unit 21 acquires captured image data from the endoscope 1 (step S12). Next, the control unit 21 determines whether or not the start condition is satisfied. The control unit 21 determines whether or not the start operation has been accepted as the first start condition (step S13). The control unit 21 acquires an operation signal by pressing the control button 121 by the reception unit 212, and executes a process of outputting information indicating acceptance of the start operation. When the information indicating the acceptance of the start operation is acquired and it is determined that the start operation has been accepted (step S13: YES), the control unit 21 determines that the first start condition is satisfied and acquires the high-quality moving image data in step S16. Proceed to start.
  • step S13 NO
  • the control unit 21 determines that the first start condition is not satisfied, and steps S14 and The process proceeds to the determination of another start condition in step S15.
  • the control unit 21 determines whether or not a lesion is detected from the captured image (step S14).
  • the control unit 21 executes a process of outputting information indicating a lesion detection result by the lesion detection unit 213.
  • the control unit 21 inputs the captured image data into the learning model 2M and identifies the output lesion detection result.
  • the image data input to the learning model 2M may be image data obtained by subjecting the captured image data to various processes, or may be endoscopic image data.
  • the control unit 21 determines that the second start condition is satisfied, and acquires the high-quality moving image data in step S16. Proceed to start.
  • step S14 NO
  • the control unit 21 determines that the second start condition is not satisfied, and returns the process to step S13. Wait until the start condition is met.
  • the control unit 21 generates a sub-process and performs the process of step S15 in parallel with the process of step S14.
  • the control unit 21 may synchronize the processes by performing interprocess communication in these two processes.
  • the control unit 21 determines whether or not the movement amount of the endoscope 1 is equal to or less than a predetermined value (step S15).
  • the control unit 21 executes a process of outputting information indicating a movement amount detection result by the movement amount detection unit 214 based on the captured image data.
  • the control unit 21 determines the magnitude relationship between the movement amount of the acquired movement amount detection result and the preset threshold value.
  • step S15: YES When it is determined that the movement amount is equal to or less than a predetermined value (step S15: YES), the control unit 21 determines that the third start condition is satisfied, and proceeds to the process of starting the acquisition of the high-quality moving image data in step S16. On the other hand, when it is determined that the movement amount is not equal to or less than a predetermined value (step S15: NO), the control unit 21 determines that the third start condition is not satisfied, returns the process to step S13, and waits until the start condition is satisfied.
  • the control unit 21 starts acquiring high-quality moving image data (step S16).
  • the control unit 21 acquires captured image data for a predetermined time set by accepting an input by an operator from the timing of starting acquisition. Acquire the acquisition time of high-quality video data.
  • the control unit 21 performs predetermined image processing on the acquired captured image data, generates a high-quality moving image compressed by a predetermined moving image compression method, and acquires it as high-quality moving image data.
  • the control unit 21 associates the high-quality moving image data with the subject identification information and stores them in the image DB (step S17).
  • the control unit 21 determines whether or not to end the process (step S18). For example, when the operator instructs the end of the endoscopy, or when the endoscope 1 is removed from the endoscope processor 2, the control unit 21 determines that the process is completed. When it is determined that the process is not completed (step S18: NO), the control unit 21 returns the process to step S12 and continues to acquire the captured image data. In this case, the control unit 21 may acquire the next captured image data at the timing when the acquisition of the high-quality moving image having a predetermined time length is completed. Alternatively, the control unit 21 may acquire the next captured image data before the acquisition of the high-quality moving image is completed, and proceed with the determination process of the start condition. When it is determined that the processing is completed (step S18: YES), the control unit 21 ends a series of processing.
  • each processing sequence described in the above embodiment is not limited, and changes in the procedure can be tolerated as long as the properties are not violated.
  • the execution order of each processing step may be changed, or a plurality of processing steps may be executed at the same time. Each time a series of processing sequences are executed, the order of each processing step is changed. It may be different.
  • the control unit 21 may simultaneously execute the determination of the first start condition to the third start condition described above. That is, the control unit 21 may perform the processes of steps S14 and S15 in parallel with the processes of step S13.
  • control unit 21 has described an example of determining all the start conditions from the first start condition to the third start condition, but the present embodiment is not limited.
  • the control unit 21 may accept the selection of which start condition from the first start condition to the third start condition to be determined, and may determine only the selected start condition.
  • the control unit 21 acquires the necessity of determination for each start condition by receiving an input operation of a keyboard, a touch panel, or the like via, for example, the input unit 23.
  • the control unit 21 executes a determination process of whether or not the start condition is satisfied only for the selected start condition, and acquires a high-quality moving image when the selected start condition is satisfied.
  • control unit 21 may be configured to accept selection of a threshold value for the start condition for each inspection and acquire a high-quality moving image according to the start condition including the selected threshold value. For example, the control unit 21 determines the magnitude relationship with the threshold value of the movement amount selected and set in advance by the operator in the determination of the third start condition in step S15. Further, the control unit 21 may also determine the second start condition in step S14, including the magnitude relationship with the threshold value for the accuracy of lesion detection. In step S14, the control unit 21 acquires the presence / absence of a lesion and the accuracy of detection as a lesion detection result. The accuracy of detection is determined based on, for example, the score of the output information of the learning model 2M.
  • the control unit 21 determines that the second start condition is satisfied and acquires a high-quality moving image.
  • the operator can select the amount of information to be acquired according to the diagnosis contents at the time of performing the inspection or at a later date.
  • the endoscope processor 2 acquires a high-quality moving image in addition to the conventional still image and the low-quality moving image. Since a high-quality moving image is recorded at a resolution equal to or higher than that of a still image for a predetermined time length, it is possible to save a limited amount of data for one inspection. Even when a doctor makes a diagnosis at a later date, it is possible to make a diagnosis based on a still image recorded in high quality and a high-quality video limited to only the required time, which is efficient and effective. It is possible to carry out highly accurate diagnosis.
  • the high-quality video is not only acquired at the same time as the still image according to the instruction of the operator, but also automatically acquired based on a predetermined start condition. Therefore, it is possible to prevent forgetting to take an image, overlooking a lesion, and reducing the probability of misdiagnosis. Furthermore, since it is possible to collect a limited number of high-quality moving images in which a target portion having a high possibility of a lesion is recorded at a high resolution, information that can be used for training data of a machine learning model that outputs information on the lesion, for example. Can be collected efficiently.
  • FIG. 7 is a functional block diagram of the endoscope processor 2 according to the second embodiment.
  • the control unit 21 of the endoscope processor 2 is configured to further function as the connecting unit 220 by executing the program 2P stored in the storage unit 22.
  • the determination unit 215 instructs the image processing unit 211 to start outputting the captured image data at the timing when it is determined to acquire each image data such as still image data, low-quality moving image data, and high-quality moving image data.
  • a time stamp indicating the time when the captured image data is output is issued.
  • the determination unit 215 outputs the issued time stamp to the still image acquisition unit 217, the low-quality video acquisition unit 218, and the high-quality video acquisition unit 219, respectively. Even if the determination unit 215 outputs the time stamp to the image processing unit 211 and the image processing unit 211 outputs the time stamp to the still image acquisition unit 217, the low image quality video acquisition unit 218, and the high image quality video acquisition unit 219, respectively. good.
  • the still image acquisition unit 217, the low-quality video acquisition unit 218, and the high-quality video acquisition unit 219 each assign a time stamp to each image file by associating the acquired time stamp with each image file and storing it in the image DB 222. ..
  • the still image acquisition unit 217, the low-quality video acquisition unit 218, and the high-quality video acquisition unit 219 are configured to give a time stamp to each image file by embedding a time stamp in each generated image file. good.
  • the time information is not limited to that included in each image file, and the time information may be associated with each image and stored in the image DB 222.
  • the time information data may be stored in the image DB 222 in association with the image file.
  • the determination unit 215 outputs the information indicating the start condition that is the basis of the determination to the high-quality video acquisition unit 219 together with the instruction to start the output of the high-quality video data.
  • the high-quality moving image acquisition unit 219 stores the acquired information indicating the start condition in the storage unit 22 in association with the high-quality moving image data.
  • the connecting unit 220 connects a plurality of high-quality moving image data captured for the same subject to generate one connected moving image data.
  • the connecting unit 220 refers to the image DB 222 and acquires a plurality of high-quality moving image data to which the same subject identification information is associated.
  • the connecting unit 220 arranges a plurality of high-quality moving image data in time series based on the time information associated with each acquired high-quality moving image data.
  • the connecting unit 220 connects the last frame of the high-quality video data at the previous time point and the first frame of the high-quality video data at the later time point between adjacent high-quality video data in chronological order. Generate concatenated video data of.
  • the connecting portion 220 may interpolate between the front and rear frames to connect them. For example, when a plurality of high-quality moving images of the same target location are acquired based on the same starting condition, it is preferable to perform frame interpolation of the plurality of moving images and display them as smooth moving image data.
  • the connecting unit 220 further acquires high-quality moving image data associated with the same start condition from a plurality of high-quality moving image data acquired for the same subject.
  • the connecting unit 220 performs front-back frame interpolation between high-quality moving image data associated with the same start condition.
  • the connecting unit 220 may execute frame interpolation when the acquisition time difference between the preceding and following frames is equal to or less than a predetermined value such as 0.1 second to 1 second.
  • a predetermined value such as 0.1 second to 1 second.
  • the connecting unit 220 performs interpolation to generate an intermediate frame based on, for example, the previous and next frames. Alternatively, the connecting unit 220 may perform interpolation to generate an intermediate frame based on the still image data or the low-quality moving image data. When the still image data acquired at a time point between the frames before and after is stored, the connecting unit 220 may use the still image data as an intermediate frame. Alternatively, when a frame of low-quality moving image data acquired at a time point between the preceding and following frames is stored, the frame of the low-quality moving image data may be used as an intermediate frame. The connecting unit 220 may specify the still image data or the low-quality moving image data used for the intermediate frame based on the time information and the subject identification information associated with the still image data or the low-quality moving image data.
  • FIG. 8 is a flowchart showing an example of a connection processing procedure executed by the endoscope processor 2.
  • the control unit 21 of the endoscope processor 2 executes the following processing based on the input contents from the input unit 23 connected to the own device, for example.
  • the control unit 21 may execute the following processing at the timing when the inspection is performed and new high-quality moving image data is stored.
  • the control unit 21 refers to the image DB 222 and acquires a plurality of high-quality moving image data associated with the same subject identification information (step S21).
  • the control unit 21 arranges a plurality of high-quality moving image data in time series based on the time information associated with each acquired high-quality moving image data.
  • the control unit 21 determines whether or not the high-quality moving image data adjacent in time series has been acquired based on the same start condition (step S22). When it is determined that the start conditions of the continuous high-quality moving image data do not match and the start conditions are not the same (step S22: NO), the control unit 21 skips the frame interpolation process of step S23.
  • step S23 the control unit 21 interpolates the frames (step S23). Specifically, the control unit 21 interpolates the last frame of the high-quality video data at the previous time point and the first frame of the high-quality video data at the later time point in the high-quality video data adjacent to the time series. do.
  • the control unit 21 executes the above processing between a plurality of high-quality moving image data having the same start condition and continuous in time series.
  • the control unit 21 sets the last frame of the high-quality video data at the previous time point and the rear of the high-quality video data arranged in chronological order in a plurality of high-quality video data associated with the same subject identification information.
  • the first frame of the high-quality moving image data at the time of is concatenated to generate one concatenated moving image data (step S24).
  • the control unit 21 displays the generated connected moving image data on the display device 3 via the output unit 24, and ends a series of processing.
  • the control unit 21 may store the generated connected moving image data in the storage unit 22.
  • the moving images acquired for the same subject are displayed as a series of linked moving images, smoother diagnosis is possible. Further, by performing frame interpolation in the moving image having the same starting condition, the doctor can make a diagnosis without feeling the lack of frames.
  • the endoscope 1 is an example of a medical endoscope used for a human subject, but the endoscope 1 is an industrial endoscope used for inspection of pipes or the like, for example. It may be an endoscope.
  • Endoscope 2 Endoscope processor 21 Control unit 22 Storage unit 2P program 2A Recording medium 2M Learning model 222 Image DB 211 Image processing unit 212 Reception unit 213 Lesion detection unit 214 Movement amount detection unit 215 Judgment unit 216 Identification information acquisition unit 217 Still image acquisition unit 218 Low image quality video acquisition unit 219 High image quality video acquisition unit 220 Connection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Neurology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡用プロセッサは、内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部とを備える。

Description

内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム
　本技術は、内視鏡用プロセッサ、情報処理方法及びコンピュータプログラムに関する。
　内視鏡の挿入管の先端部に対物光学系及び撮像素子を内蔵した電子内視鏡と、該電子内視鏡から出力される映像信号を処理してモニタに表示可能なビデオ信号を生成する電子内視鏡用プロセッサとを備えた電子内視鏡装置が、被検者の診断等に広く利用されている。電子内視鏡用プロセッサにおいては、例えば、撮像画像に対して、歪補正や傷補正等の画像処理、γ補正やホワイトバランス調整、強調処理等の各種信号処理を施し、医師の診断に適した高画質の画像を提供する。医師は、これらの画像をもとに診断を行う。
　電子内視鏡装置では、その他にも対物光学系及び撮像素子の制御、各種操作要求の受付など多くの処理が実行されており、これらの処理を遅延なく実行することが要求される。特許文献１には、高価なＣＰＵを用いることなく、プロセッサのオペレーティングシステムの負荷増大、動作遅延、データロスを防止することができる電子内視鏡システム等が開示されている。
特開２０１８－７９２８号公報
　内視鏡の検査においては、内視鏡の施術中に当医師により診断が行われる場合と、記録された画像に基づき後日診断が行われる場合とがある。後日診断が行われる場合には、保存された１枚絵の静止画を基に診断されることが主であるため、診断を行う医師においては高い技量及び経験が求められる。しかし、検査の開始から終了までの動画を施術時の静止画と同等の画質で記録することは、容量が増大してしまうという問題がある。
　本開示の目的は、内視鏡により撮影される所定の時間長に限られた動画像を取得する内視鏡用プロセッサ、情報処理方法及びコンピュータプログラムを提供することにある。
　本開示の一態様に係る内視鏡用プロセッサは、内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部とを備える。
　本開示によれば、内視鏡により撮影される所定の時間長に限られた動画像を取得することができる。
第１実施形態における内視鏡システムの全体構成を説明する模式図である。 内視鏡用プロセッサの構成例を示すブロック図である。 画像ＤＢに記憶される情報の内容例を示す図である。 内視鏡用プロセッサの機能ブロック図である。 学習モデルの構成を説明する説明図である。 内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。 第２実施形態における内視鏡用プロセッサの機能ブロック図である。 内視鏡用プロセッサで実行される連結処理手順の一例を示すフローチャートである。
　本発明をその実施の形態を示す図面を参照して具体的に説明する。
（第１実施形態）
　図１は、第１実施形態における内視鏡システムの全体構成を説明する模式図である。第１実施形態における内視鏡システムは、内視鏡１、内視鏡用プロセッサ２及び表示装置３を含む。内視鏡１は、被検体の内部に挿入され、被検体の内部を撮影した画像の画像データを内視鏡用プロセッサ２に出力する。内視鏡用プロセッサ２は、内視鏡１から入力された画像データに画像処理を施し、画像処理を施した画像データを表示装置３に出力する。表示装置３は、内視鏡用プロセッサ２から入力された画像データの画像を表示する。各装置はコネクタを介して電気信号、映像信号等の送受信を行う。
　内視鏡１は、例えば上部消化管用の内視鏡または大腸内視鏡である。内視鏡１は、被検体である被検者の管腔臓器に挿入される挿入部１１と、該挿入部１１に操作部１２及びユニバーサルコード１３を介して連結されたスコープコネクタ１４とを備え、スコープコネクタ１４により内視鏡用プロセッサ２に接続して使用される。挿入部１１の先端部分には撮像装置１５が内蔵されている。
　挿入部１１は、操作部１２に連結されて比較的に長く形成された可撓管１１１と、可撓管１１１と同軸上に連結されて比較的に短く形成された湾曲自在な湾曲部１１２とを有する。湾曲部１１２における湾曲機構は、一般的な内視鏡に組み込まれている周知の機構であり、操作部１２の操作に連動した操作ワイヤの牽引によって湾曲部１１２が湾曲するように構成されている。先端部分の方向が上記操作による湾曲動作に応じて変わることにより、撮像装置１５による撮影領域が移動する。
　撮像装置１５は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子及び結像用の対物光学系を備える。撮像装置１５を駆動するためのドライバ回路は、内視鏡用プロセッサ２との接続部分（スコープコネクタ１４の内部）等に配置され、ＣＰＵ（Central Processing Unit）、タイミングジェネレータ（ＴＧ）、アナログ信号処理回路（ＡＥＦ）などを備える。ドライバ回路は、ＴＧから出力されるクロック信号に応じて、固体撮像素子から出力されるＲＧＢ各色の信号を取り込み、ノイズ除去、増幅、ＡＤ変換など、必要な処理を施して得られるデジタル形式の画像データを内視鏡用プロセッサ２へ出力する。
　操作部１２は、操作者により把持されて各種の操作を行うために設けてあり、静止画及び高画質動画を含む画像を記録するための制御ボタン１２１が設けられている。制御ボタン１２１が押下操作されたタイミングにて、内視鏡１は静止画及び所定の時間長の高画質動画を撮影する。操作部１２には、制御ボタン１２１に加え、操作者の各種の操作を受け付けるための他の操作ボタンが設けられていてよい。操作部１２は、操作部１２で行われた操作を示す操作信号を内視鏡用プロセッサ２に出力する。
　別の実施形態では、操作部１２は、静止画撮影操作と高画質動画撮影操作とを独立して受け付ける構成であってよい。例えば、制御ボタン１２１は、静止画撮影操作と高画質動画撮影操作との２段階の押下操作が検出可能に構成されている。制御ボタン１２１は、１段階の押下操作により静止画撮影操作を受け付け、さらにもう１段階押し下げられることにより高画質動画撮影操作を受け付ける。なお、制御ボタン１２１は複数設けられ、異なる制御ボタン１２１により静止画撮影操作と高画質動画撮影操作とを受け付ける構成であってもよい。
　内視鏡用プロセッサ２は、内視鏡１の撮像装置１５により撮影され、ユニバーサルコード１３を通じて伝送される画像データを処理するための情報処理装置である。内視鏡用プロセッサ２にて処理された画像データは表示装置３へ出力される。
　表示装置３は、例えば液晶表示装置又は有機ＥＬ（Electro Luminescence）表示装置であり、内視鏡用プロセッサ２から出力された画像データ等を表示する。
　図２は、内視鏡用プロセッサ２の構成例を示すブロック図である。内視鏡用プロセッサ２は、制御部２１、記憶部２２、入力部２３、出力部２４、光源２５などを含む。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ(Random Access Memory)等を有する。制御部２１が有するＣＰＵは、ＲＯＭ又は記憶部２２に格納されたプログラム２ＰをＲＡＭ上に展開して実行することにより、内視鏡用プロセッサ２を本実施の形態における内視鏡用プロセッサ２として機能させる。
　なお、制御部２１は上記の構成に限定されるものではない。制御部２１は、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路又は制御回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測の開始指示を与えてから計測の終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有していてもよい。
　記憶部２２は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリ、若しくはハードディスクを備えた記録装置により構成されている。記憶部２２は、プログラム２Ｐを記憶するほか、制御部２１が参照する他のプログラム及びデータを記憶する。記憶部２２は複数の記憶装置により構成されていてもよく、内視鏡用プロセッサ２に接続された外部記憶装置であってもよい。別の実施形態では、記憶部２２は、ＵＳＢメモリ又はＳＤカード等の可搬型の記録媒体であり、内視鏡用プロセッサ２に対して着脱可能であってもよい。
　プログラム２Ｐは、プログラム２Ｐを読み取り可能に記録した記録媒体２Ａを用いて、内視鏡用プロセッサ２に提供されてもよい。記録媒体２Ａは、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ（登録商標）等の可搬型メモリである。この場合、制御部２１は、不図示の読取部を介して記録媒体２Ａからプログラム２Ｐを読み取り、読み取ったプログラム２Ｐを記憶部２２にインストールしてもよい。更に、内視鏡用プロセッサ２が外部装置と通信する通信部を備える場合、プログラム２Ｐは、通信部を介した通信によって、内視鏡用プロセッサ２に提供されてもよい。この場合、制御部２１は、通信部を通じてプログラム２Ｐを取得し、取得したプログラム２Ｐを記憶部２２にインストールしてもよい。
　記憶部２２はさらに、学習モデル２Ｍ及び画像ＤＢ２２２（Data Base ：データベース）２２２を記憶する。画像ＤＢ２２２は、内視鏡により撮影された画像に関する画像情報を登録するデータベースである。学習モデル２Ｍは、内視鏡により撮影された画像における病変を識別する識別器であり、機械学習により生成された学習モデルである。学習モデル２Ｍは、その定義情報によって定義される。学習モデル２Ｍの定義情報は、例えば、学習モデル２Ｍの構造情報や層の情報、各層が備えるノードの情報、学習済みのパラメータを含む。記憶部２２には、学習モデル２Ｍに関する定義情報が記憶される。
　入力部２３は、例えばタッチパネル、キーボード、各種スイッチ等の入力装置を接続する接続インタフェースを備える。入力部２３は、これら入力装置に対する外部からの操作に応じて発生した入力信号を制御部２１に入力する。
　出力部２４は、表示装置３を接続する接続インタフェースを備える。出力部２４の出力インタフェースは、アナログ形式の映像信号を出力する出力インタフェースであってもよく、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）などのデジタル形式の映像信号を出力する出力インタフェースであってもよい。出力部２４は、制御部２１の制御の下で、表示用の画像信号を表示装置３に出力し、画像を表示させる。
　光源２５は、観察対象の照明に用いる照明光を発する光源を備える。光源２５は、例えば、波長域が異なる複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。光源２５の点灯、消灯および明るさの変更は、制御部２１により制御される。なお、本実施形態では、内視鏡用プロセッサ２が光源一体型であるが、これに限定されるものではない。例えば、内視鏡用プロセッサ２は、光源装置と分離する光源分離型であってもよい。
　さらに内視鏡用プロセッサ２は、通信部を備えていてもよい。内視鏡用プロセッサ２は、画像データ等を外部装置へ送信し、これらの情報を外部装置に蓄積させてもよい。
　本実施形態では、内視鏡用プロセッサ２は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させてもよく、または仮想マシンにより構成されていてもよい。
　図３は、画像ＤＢ２２２に記憶される情報の内容例を示す図である。制御部２１は、内視鏡１から取得した撮像画像データに基づく静止画及び動画を生成し画像ＤＢ２２２に記憶する。画像ＤＢ２２２には、画像ファイルを識別するための画像ＩＤに対応付けて、画像、時間情報、被検体ＩＤ、及び開始条件等が記憶されている。
　画像は、内視鏡１の検査において取得した画像を含んでよい。本実施形態において、画像には、静止画及び動画が含まれており、さらに動画には低画質動画及び高画質動画が含まれている。すなわち、動画には、同一の撮像装置により撮影された、同時点における同一の撮像対象に対する異なる画質の動画が含まれている。静止画は、操作者の指示に応じて取得され記録される画像である。低画質動画は、内視鏡１の検査の開始から終了に亘って撮影され低い解像度で記録される画像である。高画質動画は、所定の開始条件に応じて取得され高い解像度で記録される画像である。なお、内視鏡１から取得した撮像画像データに基づき生成される画像には、上記の他に内視鏡１の検査の開始から終了に亘って取得され表示装置３に表示される内視鏡画像が含まれる。時間情報は、各画像の記録時間を示す情報を含み、例えばタイムスタンプが記憶されている。被検体ＩＤは、各撮像画像データの撮影対象である被検体を識別する情報を含み、例えば被検体ＩＤ（患者ＩＤ）が記憶されている。開始条件は、例えば開始操作の受け付け、病変の検出、移動量が所定値以下等の、高画質動画の撮影を開始するに至った開始条件を示す情報を含む。図３の例では、開始条件は、１から３の種類コードにより正規化して登録される。開始条件の詳細については後述する。なお、図３は一例であり、画像ＤＢ２２２の記憶内容は限定されない。
　通常の内視鏡検査においては、内視鏡用プロセッサ２の記憶容量の問題上、所定の検査箇所において撮影される高い解像度の静止画と、施術中の全ての時間において撮影される低い解像度の動画とが保存されることが一般的である。医師が後日診断を行う場合には、保存された静止画に基づき診断を行う。１枚絵である静止画からの診断は、熟練の技術が必要とされる。そこで本内視鏡システムでは、所定の時間長に限られた高い解像度の動画をさらに保存することで、保存データを基に診断を行う場合であっても、高画質で記録された静止画及び動画による多くの情報の提供を可能とする。
　図４は、内視鏡用プロセッサ２の機能ブロック図である。内視鏡用プロセッサ２の制御部２１は、記憶部２２に記憶してあるプログラム２Ｐを実行することにより、画像処理部２１１、受付部２１２、病変検出部２１３、移動量検出部２１４、判定部２１５、識別情報取得部２１６、静止画取得部２１７、低画質動画取得部２１８、及び高画質動画取得部２１９として機能するように構成されている。
　画像処理部２１１には、内視鏡１のドライバ回路から、ノイズ除去等の各種処理が施された１フレーム分の画像情報が、撮像画像データとして入力される。画像処理部２１１は、内視鏡検査が開始された場合、開始から終了に亘って所定間隔にて出力される制御信号に従い、撮像画像データを静止画取得部２１７、低画質動画取得部２１８、病変検出部２１３、及び移動量検出部２１４へ出力する。また画像処理部２１１は、判定部２１５から指示されるタイミングにて、撮像画像データを静止画取得部２１７及び高画質動画取得部２１９へ出力する。
　受付部２１２は、内視鏡１の操作者による高画質動画の取得開始を指示する開始操作を受け付ける。高画質動画の取得開始を指示する開始操作は、例えば、制御ボタン１２１の押下操作である。本実施形態では、内視鏡用プロセッサ２は、制御ボタン１２１の押下操作により静止画と同時に高画質動画を取得する。内視鏡１の制御ボタン１２１が押下操作された場合、その旨を示す操作信号が受付部２１２に入力される。受付部２１２は、開始操作の受け付けを示す情報を判定部２１５へ出力する。
　なお、内視鏡用プロセッサ２は不図示のマイクロフォン等の音声入力部を備え、受付部２１２は、該音声入力部を介して音声により開始操作を受け付けてもよい。受付部２１２は、入力部２３を介して、例えばタッチパネル、キーボード等の操作により開始操作を受け付けてもよい。
　病変検出部２１３は、画像処理部２１１から出力される撮像画像データに基づき、撮像画像データにおける病変を出力する。病変検出部２１３は、指定された画像データを入力した場合に、該画像データにおける病変を出力するように学習されている学習モデル２Ｍとしての機能を含む。学習モデル２Ｍについては、後述する。病変検出部２１３は、病変検出結果を示す情報を判定部２１５へ出力する。なお、病変検出部２１３は、撮像画像データに各種の画像処理を施した画像データを用いて病変を検出してもよい。病変検出部２１３は、後述の静止画取得部２１７から出力される静止画データを取得するものであってもよい。
　移動量検出部２１４は、画像処理部２１１から出力される撮像画像データに基づき、内視鏡１の移動量を検出する。具体的には、移動量検出部２１４は、撮像画像データに含まれる撮影領域の移動量に基づき、内視鏡１における挿入部１１の先端部分の移動量を検出する。移動量検出部２１４は、検出時点における撮像画像データのフレーム及び該検出時点の直前におけるフレームを取得し、取得した２枚のフレームに含まれる同一領域における移動量を演算することにより、内視鏡１の移動量を検出する。移動量検出部２１４は、移動量検出結果を示す情報を判定部２１５へ出力する。なお、移動量検出部２１４は、撮像画像データに各種の画像処理を施した画像データを用いて移動量を検出してもよい。移動量検出部２１４は、後述の静止画取得部２１７から出力される静止画データを取得するものであってもよい。
　なお、移動量の検出方法は上記の例に限定されるものではない。移動量検出部２１４は、その他機械学習の手法を用いて撮像画像に基づき内視鏡１の移動量を検出してもよい。移動量検出部２１４は、例えば内視鏡１に設けられる加速度センサ、磁気センサ等の検出センサを用いて取得した検出値により内視鏡１の移動量を検出してもよい。また、移動量検出部２１４は、内視鏡１の移動量に代えて操作量の変化を検出してもよい。例えば、移動量検出部２１４は、操作部１２に設けられている操作ボタンの操作信号等の、内視鏡１の操作に関する操作データを取得し、取得した操作データのログに基づき内視鏡１の操作量の履歴を検出してもよい。
　判定部２１５は、静止画及び高画質動画の記録を行うタイミングであるか否かを判定し、判定結果を画像処理部２１１へ出力する。静止画データを記憶するタイミングは、内視鏡１の操作者によって制御ボタン１２１が押下操作された直後のタイミングである。内視鏡１の制御ボタン１２１が押下操作された場合、その旨を示す操作信号が判定部２１５に入力される。判定部２１５は、制御ボタン１２１が押下操作されたことを示す操作信号が入力された場合、撮像画像データを静止画取得部２１７へ出力する制御信号を画像処理部２１１へ付与する。なお判定部２１５は、受付部２１２を介して操作信号（開始操作）の受付を示す情報を取得してもよい。
　高画質動画データを記憶するタイミングは、所定の開始条件が満たされた直後のタイミングである。開始条件とは、高画質動画の撮影を開始する条件であり、当該条件を満たすタイミングにて撮影される画像をもとに診断が行われる可能性が高い場合が含まれる。判定部２１５は、開始条件を満たすと判定した場合、撮像画像データを高画質動画取得部２１９へ出力開始する制御信号を画像処理部２１１へ付与する。
　開始条件の第１例は、操作者による動画の撮影開始を指示するボタン操作等の開始操作の受け付けである。判定部２１５は、受付部２１２から出力された開始操作の受け付けを示す情報に基づき、開始操作が受け付けられたか否かを判定する。判定部２１５は、開始操作の受け付けを示す情報を取得した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。
　開始条件の第２例は、内視鏡画像における病変の検出である。判定部２１５は、病変検出部２１３から出力された病変検出結果を示す情報に基づき、病変が検出されたか否かを判定する。判定部２１５は、病変が検出されたことを示す病変検出結果を取得した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。
　開始条件の第３例は、内視鏡１の移動量が所定値以下であることの検出である。判定部２１５は、移動量検出部２１４から出力された移動量検出結果を示す情報に基づき、内視鏡１の移動量が所定値以下か否かを判定する。すなわち判定部２１５は、操作者が同一箇所での観察を続けていることにより内視鏡１の挿入、回転操作等が停止しているか否かを判定する。内視鏡１が同一箇所に留まっている場合には、当該箇所における撮影対象に病変等が含まれる可能性が高い。判定部２１５は、内視鏡１の移動量が所定値以下であると判定した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。
　上述のように、開始条件は複数の条件を含む。判定部２１５は、いずれかの開始条件を満たすと判定した場合、撮像画像データの出力を開始する制御信号を画像処理部２１１へ付与する。
　識別情報取得部２１６は、例えば被検体ＩＤ等の被検体識別情報を取得する。識別情報取得部２１６は、例えばキーボード、タッチパネル等の入力操作を受け付けることにより、入力部２３を介して被検体識別情報を取得する。識別情報取得部２１６は、取得した被検体識別情報を静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９へ出力する。
　静止画取得部（静止画像取得部）２１７は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得する。静止画取得部２１７は、取得した撮像画像データに、ガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行ない操作者が目視しやすい状態にした内視鏡画像を生成する。静止画取得部２１７は、生成した内視鏡画像を出力部２４により表示装置３へ順次出力する。表示装置３の表示画面には、リアルタイムで被検体の映像が表示され、操作者は内視鏡画像に基づき観察を行う。
　さらに、静止画取得部２１７は、判定部２１５の指示に応じたタイミングにて画像処理部２１１から出力される撮像画像データを取得する。静止画取得部２１７は、識別情報取得部２１６から出力される被検体識別情報を取得する。静止画取得部２１７は、取得した撮像画像データに所定の画像処理を施した静止画を生成し、静止画データとして取得する。なお静止画データは、同時点において取得した内視鏡画像データであってもよい。静止画データは、例えば１９８０×１０８０（フルＨＤ）等の、高い解像度を有する画像データである。静止画取得部２１７は、取得した静止画データを、例えばＪＰＥＧ、ＴＩＦＦ等の所定のファイル形式による静止画ファイルとして記憶部２２に記憶させる。この場合において、静止画取得部２１７は、静止画データに被検体識別情報を関連付けて記憶部２２に記憶する。
　低画質動画取得部（第２動画像取得部）２１８は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得する。低画質動画取得部２１８は、識別情報取得部２１６から出力される被検体識別情報を取得する。低画質動画取得部２１８は、取得した撮像画像データに解像度の変更を含む所定の画像処理を施し、所定の動画圧縮方式で圧縮した低画質動画を生成し、低画質動画データとして取得する。低画質動画データは、静止画データ及び高画質動画データより低い解像度を有する。低画質動画取得部２１８は、取得した低画質動画データを、例えばＭＰ４、ＭＸＦ等の所定のファイル形式による低画質動画ファイルとして画像ＤＢ２２２に記憶させる。この場合において、低画質動画取得部２１８は、低画質動画データに被検体識別情報を関連付けて記憶部２２に記憶する。
　高画質動画取得部（動画像取得部）２１９は、判定部２１５の指示に応じたタイミングにて画像処理部２１１から出力される撮像画像データを取得する。高画質動画取得部２１９は、識別情報取得部２１６から出力される被検体識別情報を取得する。高画質動画取得部２１９は、取得開始のタイミングから所定時間分の撮像画像データを取得する。高画質動画取得部２１９が撮像画像データを取得する時間は、例えば１秒から７秒であり、好ましくは５秒から７秒である。高画質動画の取得時間が１秒から７秒である場合には、例えばフレームレートが３０ｆｓｐであっても数十メガバイトから数百メガバイトの記憶容量で画像データを保存できる。従って、記憶容量が過度に逼迫することを抑制しつつ、操作者へ提供する情報の有用性を向上させることが可能となる。内視鏡用プロセッサ２は、例えばタッチパネルに表示される設定画面等を用いて、操作者により予め高画質動画の撮影時間の設定入力を受け付けることにより、高画質動画データの取得時間を取得する。なお、高画質動画を取得する時間長は、高画質動画データの容量の下限値または上限値に基づき決定されてもよい。すなわち、高画質動画取得部２１９は、特定の容量分の高画質動画データの取得を開始するものであってよい。例えば、内視鏡用プロセッサ２は、予め設定される取得容量に応じて、高画質動画の解像度及び時間長を導出し、導出した時間長の動画データを取得してもよい。なお、内視鏡用プロセッサ２は、所定の容量に応じた高画質動画データを取得するにあたり、例えば低画質動画データより低いフレームレートで画像データを取得してもよい。フレームレートを下げることにより、データ容量を抑制しつつ高画質動画の取得時間を増加させることができる。
　高画質動画取得部２１９は、取得した所定時間分の撮像画像データに解像度の変更を含む所定の画像処理を施し、所定の動画圧縮方式で圧縮した高画質動画を生成し、高画質動画データとして取得する。高画質動画データは、例えば１９８０×１０８０（フルＨＤ）等の、静止画データと同等以上の高い解像度を有する画像データである。高画質動画取得部２１９は、取得した高画質動画データを、例えばＭＰ４、ＭＸＦ等の所定のファイル形式による高画質動画ファイルとして画像ＤＢ２２２に記憶させる。この場合において、高画質動画取得部２１９は、高画質動画データに被検体識別情報を関連付けて記憶部２２に記憶する。
　別の実施形態では、高画質動画取得部２１９は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得しており、判定部２１５の指示に応じて、所定時間に限られた高画質動画ファイルを生成してもよい。高画質動画取得部２１９は、例えば、判定部２１５の指示を取得したタイミングから開始して所定時間分の撮像画像データに基づき高画質動画データを取得する。あるいは、高画質動画取得部２１９は、判定部２１５の指示を取得したタイミングから所定の時間長を遡って取得した所定時間分の撮像画像データに基づき高画質動画データを取得してもよい。
　なお上記の各画像ファイルが、電子カルテシステム等に出力され保存される場合においては、当該電子カルテシステムに応じた形式で各画像ファイルが記憶されることが望ましい。各画像ファイルは、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で記憶されてよい。
　ここで、学習モデル２Ｍについて詳細を説明する。図５は、学習モデル２Ｍの構成を説明する説明図である。学習モデル２Ｍは予め、内視鏡用プロセッサ２又は外部装置において、ニューラルネットワークを用いた深層学習によって、生成され、学習される。学習アルゴリズムは、例えばＣＮＮ（Convolution Neural Network）である。
　図５に示す例では、学習モデル２Ｍは、画像データを入力する入力層と、病変の有無の識別結果を出力する出力層と、特徴量を抽出する中間層（隠れ層）とを備える。中間層は、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。入力層に、画像データが入力された場合、学習済みパラメータによって中間層で演算が行なわれ、出力層から、病変の有無を示す出力情報が出力される。
　学習モデル２Ｍの出力層からは、病変の有無の識別結果である出力情報が出力される。出力層は、設定されている識別結果である病変有及び病変無に各々対応するノードを含み、病変有及び病変無夫々に対する確度をスコアとして出力する。制御部２１は、スコアが高い識別結果、あるいはスコアが閾値以上である識別結果を出力層の出力値とすることができる。なお出力層は、それぞれの識別結果の確度を出力する複数の出力ノードを有する代わりに、最も確度の高い識別結果を出力する１個の出力ノードを有してもよい。
　制御部２１は、過去に実施された大量の内視鏡検査の画像データ及び診断結果を収集したデータを用いて学習を行う。制御部２１は、これまでに実施された内視鏡検査から得られる入力情報に、既知の診断結果である病変の有無を示す情報が付与された情報群を訓練データとして予め収集して学習モデル２Ｍを学習する。制御部２１は、内視鏡画像データに応じた病変の有無を示す出力情報を出力するよう、例えば誤差逆伝播法を用いて、学習モデル２Ｍを構成する各種パラメータ及び重み等を学習する。
　上記では学習モデル２ＭがＣＮＮである例を説明したが、学習モデル２ＭはＣＮＮに限定されるものではない。時系列データを取得した場合にはＣＮＮ以外のニューラルネットワーク、例えばリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）ネットワークを用いてもよい。学習モデル２Ｍは、病変部の領域を抽出するセグメンテーションネットワークであってもよい。またニューラルネットワークを用いないサポートベクタマシン、回帰木等、他のアルゴリズムによって学習されたモデルであってもよい。
　本実施形態では、病変検出部２１３は学習モデル２Ｍを用いて内視鏡画像における病変の有無を検出する例を説明したが、病変の検出方法は限定されるものではない。病変検出部２１３は、例えばパターンマッチング、エッジ検出等の手法を用いて、内視鏡画像の特徴量と予め記憶する病変部の特徴量とに基づき、内視鏡画像に病変が含まれるか否かを判定してもよい。
　図６は、内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２の制御部２１は、内視鏡画像の生成、低画質動画の生成等の処理と並行して、図６に示す処理を実行する。制御部２１は、例えば、自装置に接続されている入力部２３からの入力内容に基づき以下の処理を実行する。
　制御部２１は、例えばキーボード、タッチパネル等の入力操作を受け付けることにより、入力部２３を介して被検体識別情報を取得する（ステップＳ１１）。
　制御部２１は、内視鏡１から撮像画像データを取得する（ステップＳ１２）。ついで制御部２１は、開始条件を満たすか否かを判定する。制御部２１は、第１開始条件として、開始操作を受け付けたか否かを判定する（ステップＳ１３）。制御部２１は、受付部２１２によって制御ボタン１２１の押下操作による操作信号を取得し、開始操作の受け付けを示す情報を出力する処理を実行する。開始操作の受け付けを示す情報が取得され、開始操作を受け付けたと判定した場合（ステップＳ１３：ＹＥＳ）、制御部２１は、第１開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
　開始操作の受け付けを示す情報が取得されておらず、開始操作を受け付けていないと判定した場合（ステップＳ１３：ＮＯ）、制御部２１は、第１開始条件を満たさないと判定し、ステップＳ１４及びステップＳ１５における他の開始条件の判定へ処理を進める。
　制御部２１は、第２開始条件として、撮像画像から病変が検出されたか否かを判定する
（ステップＳ１４）。制御部２１は、病変検出部２１３によって病変検出結果を示す情報を出力する処理を実行する。具体的には、制御部２１は、撮像画像データを学習モデル２Ｍに入力して、出力される病変検出結果を特定する。学習モデル２Ｍに入力される画像データは、撮像画像データに各種の処理を施した画像データであってもよく、あるいは内視鏡画像データであってもよい。病変有りを示す病変検出結果を取得し、病変が検出されたと判定した場合（ステップＳ１４：ＹＥＳ）、制御部２１は、第２開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
　一方、病変無しを示す病変検出結果を取得し、病変が検出されないと判定した場合（ステップＳ１４：ＮＯ）、制御部２１は、第２開始条件を満たさないと判定し、処理をステップＳ１３へ戻し開始条件を満たすまで待機する。
　制御部２１は、サブプロセスを発生させ、ステップＳ１４の処理に並行してステップＳ１５の処理を行う。制御部２１は、これら２つのプロセスにおいてプロセス間通信を行うことにより、処理の同期を図るものであってもよい。制御部２１は、第３開始条件として、内視鏡１の移動量が所定値以下であるか否かを判定する（ステップＳ１５）。制御部２１は、撮像画像データに基づき、移動量検出部２１４によって移動量検出結果を示す情報を出力する処理を実行する。制御部２１は、取得した移動量検出結果の移動量と、予め設定されている閾値との大小関係を判定する。移動量が所定値以下であると判定した場合（ステップＳ１５：ＹＥＳ）、制御部２１は、第３開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
　一方、移動量が所定値以下でないと判定した場合（ステップＳ１５：ＮＯ）、制御部２１は、第３開始条件を満たさないと判定し、処理をステップＳ１３へ戻し開始条件を満たすまで待機する。
　第１開始条件から第３開始条件のいずれかを満たすと判定した場合、制御部２１は、高画質動画データの取得を開始する（ステップＳ１６）。制御部２１は、取得開始のタイミングから操作者による入力を受け付ける等により設定された所定時間分の撮像画像データを取得する。高画質動画データの取得時間を取得する。制御部２１は、取得した撮像画像データに所定の画像処理を施し、所定の動画圧縮方式で圧縮した高画質動画を生成し、高画質動画データとして取得する。制御部２１は、高画質動画データと被検体識別情報とを関連付けて画像ＤＢに記憶する（ステップＳ１７）。
　制御部２１は、処理を終了するか否かを判定する（ステップＳ１８）。例えば、操作者により内視鏡検査の終了が指示された場合、または、内視鏡１が内視鏡用プロセッサ２から取り外された場合等に、制御部２１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ１８：ＮＯ）、制御部２１は処理をステップＳ１２に戻し、撮像画像データの取得を継続する。この場合において、制御部２１は、所定の時間長の高画質動画の取得が終了したタイミングにて次の撮像画像データを取得してよい。あるいは制御部２１は、高画質動画の取得が終了する前に次の撮像画像データを取得し、開始条件の判定処理を進めてもよい。処理を終了すると判定した場合（ステップＳ１８：ＹＥＳ）、制御部２１は一連の処理を終了する。
　なお、上記の実施形態で説明した各処理シーケンスは限定されるものではなく、その性質に反しない限り、手順の変更を許容し得る。上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更してもよく、複数の処理ステップを同時に実行させてもよく、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。制御部２１は、上述の第１開始条件から第３開始条件の判定を同時に実行してもよい。すなわち、制御部２１は、ステップＳ１３の処理に並行してステップＳ１４及びステップＳ１５の処理を行ってもよい。
　また上記では、制御部２１は、第１開始条件から第３開始条件までの全ての開始条件について判定する例を説明したが、本実施形態は限定されるものではない。例えば、制御部２１は、第１開始条件から第３開始条件までのいずれの開始条件について判定するかの選択を受け付け、選択された開始条件のみについて判定してもよい。制御部２１は、例えば入力部２３を介してキーボード、タッチパネル等の入力操作を受け付けることにより、各開始条件に対する判定の要否を取得する。制御部２１は、選択された開始条件のみについて、開始条件を満たすか否かの判定処理を実行し、選択された開始条件を満たす場合に高画質動画を取得する。
　さらにまた、制御部２１は、例えば検査毎に開始条件に対する閾値の選択を受け付け、選択された閾値を含む開始条件に応じて高画質動画を取得する構成であってもよい。例えば、制御部２１は、ステップＳ１５の第３開始条件の判定において、予め操作者により選択され設定された移動量の閾値との大小関係を判定する。さらに、制御部２１は、ステップＳ１４の第２開始条件の判定においても、病変検出の確度に対する閾値との大小関係を含んで判定するものであってよい。制御部２１は、ステップＳ１４において、病変検出結果として病変の有無及び検出の確度を取得する。検出の確度は、例えば学習モデル２Ｍの出力情報のスコアに基づき決定される。制御部２１は、病変検出結果が病変有りであり、且つ取得した検出の確度が予め設定された閾値よりも大きい場合には、第２開始条件を満たすと判定し、高画質動画を取得する。
　操作者は、検査実施時又は後日の診断内容に応じて、取得する情報量を選択することが可能である。
　本実施形態によれば、内視鏡用プロセッサ２において、従来の静止画及び低画質動画に加えて高画質動画が取得される。高画質動画は、静止画と同等以上の解像度にて所定の時間長に限られて記録されるため、１回の検査に対するデータ容量を限定して保存することが可能となる。医師は後日診断を行う場合であっても、高画質にて記録された静止画と必要な時間分のみに限られた高画質動画とに基づき診断を行うことが可能となり、効率的に、且つ精度の高い診断を実施することができる。
　高画質動画は、操作者の指示に応じて静止画と同時に取得される以外に、所定の開始条件に基づき自動で取得される。従って画像の取り忘れ、病変の見逃し等を防止し、誤診の発生する確率を軽減することができる。さらに、病変の可能性が高い対象部を高い解像度にて記録した高画質動画を限定的に収集することができるため、例えば病変に関する情報を出力する機械学習モデルの訓練データ等に利用可能な情報を効率的に収集することができる。
（第２実施形態）
　第２実施形態では、複数の高画質動画を連結された１個の動画として提供する構成について説明する。以下では、第２実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第２実施形態の内視鏡システムと同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
　図７は、第２実施形態における内視鏡用プロセッサ２の機能ブロック図である。第２実施形態では、内視鏡用プロセッサ２の制御部２１は、記憶部２２に記憶してあるプログラム２Ｐを実行することにより、さらに連結部２２０として機能するように構成されている。
　第２実施形態では、判定部２１５は、静止画データ、低画質動画データ及び高画質動画データ等の各画像データを取得すると判定したタイミングで、画像処理部２１１へ撮像画像データの出力開始を指示すると共に、撮像画像データが出力された時点を示すタイムスタンプを発行する。判定部２１５は、発行したタイムスタンプを静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々へ出力する。なお判定部２１５は、画像処理部２１１へタイムスタンプを出力し、画像処理部２１１がタイムスタンプを静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々へ出力してもよい。静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々は、取得したタイムスタンプを各画像ファイルに関連付けて画像ＤＢ２２２に記憶させることにより、各画像ファイルにタイムスタンプを付与する。または、静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９は、生成する各画像ファイルにタイムスタンプを埋め込むことにより、各画像ファイルにタイムスタンプを付与する構成であってもよい。なお、時間情報は、各画像ファイルに含まれているものに限定されず、各画像に時間情報が関連付けられて画像ＤＢ２２２に記憶されていればよい。例えば、時間情報のデータが画像ファイルに関連付けて画像ＤＢ２２２に記憶されていてもよい。
　さらに、判定部２１５は、高画質動画データの出力開始の指示とともに、判定の根拠となる開始条件を示す情報を高画質動画取得部２１９へ出力する。高画質動画取得部２１９は、取得した開始条件を示す情報を高画質動画データに関連付けて記憶部２２に記憶する。
　連結部２２０は、同一の被検体について撮影された複数の高画質動画データを連結し１個の連結動画データを生成する。連結部２２０は、画像ＤＢ２２２を参照し、同一の被検体識別情報が関連付けられている複数の高画質動画データを取得する。連結部２２０は、取得した各高画質動画データに関連付けられる時間情報に基づき、複数の高画質動画データを時系列に配列する。連結部２２０は、時系列で隣接する高画質動画データ間において、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを連結し、１個の連結動画データを生成する。
　上述の前後のフレームを連結する場合において、連結部２２０は前後のフレーム間を補間して連結してもよい。例えば、同一の開始条件に基づき同一の対象箇所を撮像した複数の高画質動画が取得された場合においては、これら複数の動画のフレーム補間を施し、滑らかな動画データとして表示されることが好ましい。連結部２２０は、同一の被検体について取得した複数の高画質動画データから、さらに同一の開始条件が関連付けられている高画質動画データを取得する。連結部２２０は、同一の開始条件が関連付けられている高画質動画データ間において前後のフレーム補間を行う。この場合において、連結部２２０は、前後のフレームの取得時間差が例えば０．１秒から１秒等の所定値以下であるときにフレーム補間を実行してもよい。前後のフレームにおける取得時間の間隔が所定値より大きいときは、両方のフレームに同一の撮像対象を含まない可能性が高いため、連結部２２０はフレームを補間しないものであってよい。
　連結部２２０は、例えば前後のフレームに基づき中間フレームを生成する補間を行う。または、連結部２２０は、静止画データ又は低画質動画データに基づき中間フレームを生成する補間を行ってもよい。連結部２２０は、前後のフレーム間における時点に取得された静止画データが記憶される場合には、該静止画データを中間フレームとして用いてよい。あるいは、前後のフレーム間における時点に取得された低画質動画データのフレームが記憶される場合には、該低画質動画データのフレームを中間フレームとして用いてよい。連結部２２０は、静止画データ又は低画質動画データに関連付けられる時間情報及び被検体識別情報に基づき、中間フレームに用いる静止画データ又は低画質動画データを特定するとよい。
　図８は、内視鏡用プロセッサ２で実行される連結処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２の制御部２１は、例えば、自装置に接続されている入力部２３からの入力内容に基づき以下の処理を実行する。制御部２１は、検査が実施され新たな高画質動画データが記憶されたタイミングで以下の処理を実行してもよい。
　制御部２１は、画像ＤＢ２２２を参照し、同一の被検体識別情報が関連付けられた複数の高画質動画データを取得する（ステップＳ２１）。制御部２１は、取得した各高画質動画データに関連付けられる時間情報に基づき、複数の高画質動画データを時系列に配列する。
　制御部２１は、時系列で隣接する高画質動画データにおいて、同一の開始条件に基づき取得されたか否かを判定する（ステップＳ２２）。連続する高画質動画データの開始条件が一致しておらず、同一の開始条件でないと判定した場合（ステップＳ２２：ＮＯ）、制御部２１は、ステップＳ２３のフレーム補間処理をスキップする。
　連続する高画質動画データの開始条件が一致しており、同一の開始条件であると判定した場合（ステップＳ２２：ＹＥＳ）、制御部２１は、フレームを補間する（ステップＳ２３）。具体的には、制御部２１は、時系列に隣接する高画質動画データにおいて、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを補間する。制御部２１は、同一の開始条件を有し時系列に連続する複数の高画質動画データ間において、上記の処理を実行する。
　制御部２１は、同一の被検体識別情報が関連付けられた複数の高画質動画データにおいて、時系列に配列した高画質動画データ夫々における、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを連結し、１個の連結動画データを生成する（ステップＳ２４）。制御部２１は、生成した連結動画データを、出力部２４を介して表示装置３に表示し、一連の処理を終了する。制御部２１は、生成した連結動画データを記憶部２２に記憶するものであってもよい。
　本実施形態によれば、同一の被検体について取得した動画が一連の連結動画として表示されるため、よりスムーズな診断が可能となる。また、同一の開始条件である動画においてはフレーム補間が行われることにより、医師はフレームの欠落を感じることなく診断することができる。
　上記の各実施形態では、内視鏡１は人である被検体に用いられる医療用内視鏡の例を説明したが、内視鏡１は、例えば配管等の検査に使用される工業用内視鏡であってもよい。
　なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
　１　内視鏡
　２　内視鏡用プロセッサ
　２１　制御部
　２２　記憶部
　２Ｐ　プログラム
　２Ａ　記録媒体
　２Ｍ　学習モデル
　２２２　画像ＤＢ
　２１１　画像処理部
　２１２　受付部
　２１３　病変検出部
　２１４　移動量検出部
　２１５　判定部
　２１６　識別情報取得部
　２１７　静止画取得部
　２１８　低画質動画取得部
　２１９　高画質動画取得部
　２２０　連結部
 

Claims (15)

  1. 　内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、
    　前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部とを備える
    　内視鏡用プロセッサ。
  2. 　前記動画像の取得開始を指示する開始操作を受け付ける受付部を備え、
    　前記判定部は、前記受付部によって開始操作が受け付けられたことにより前記開始条件を満たすと判定する
    　請求項１に記載の内視鏡用プロセッサ。
  3. 　前記開始条件は、前記受付部によって開始操作が受け付けられたこと以外の他の開始条件を含み、
    　前記判定部は、前記受付部によって開始操作が受け付けられていない場合、前記他の開始条件を満たすか否かを判定する
    　請求項２に記載の内視鏡用プロセッサ。
  4. 　前記静止画像における病変を検出する病変検出部を備え、
    　前記判定部は、前記病変検出部によって病変が検出されることにより前記開始条件を満たすと判定する
    　請求項１から請求項３のいずれか１項に記載の内視鏡用プロセッサ。
  5. 　前記静止画像に基づき前記内視鏡の移動量を検出する移動量検出部を備え、
    　前記判定部は、前記移動量検出部が検出した前記移動量が所定値以下であることにより前記開始条件を満たすと判定する
    　請求項１から請求項４のいずれか１項に記載の内視鏡用プロセッサ。
  6. 　前記動画像と前記内視鏡により撮影される被検体の被検体識別情報とを関連付けて記憶する記憶部を備える
    　請求項１から請求項５のいずれか１項に記載の内視鏡用プロセッサ。
  7. 　前記記憶部は、前記動画像に前記開始条件を関連付けて記憶する
    　請求項６に記載の内視鏡用プロセッサ。
  8. 　前記記憶部に記憶されている同一の被検体識別情報が関連付けられた複数の動画像を、時系列に連結する連結部を備える
    　請求項６又は請求項７に記載の内視鏡用プロセッサ。
  9. 　同一の開始条件に基づき連続して取得された複数の動画像を連結する場合、前記連結部は複数の動画像間のフレームを補間して連結する
    　請求項８に記載の内視鏡用プロセッサ。
  10. 　前記内視鏡により撮影される第２動画像を前記内視鏡による検査の開始から終了に亘って取得する第２動画像取得部を備え、
    　前記動画像は、前記第２動画像よりも高い解像度を有する
    　請求項１から請求項９のいずれか１項に記載の内視鏡用プロセッサ。
  11. 　前記動画像の解像度はハイビジョン以上である
    　請求項１から請求項１０のいずれか１項に記載の内視鏡用プロセッサ。
  12. 　内視鏡により撮影される静止画像を取得する静止画像取得部と、
    　所定の開始条件に応じて、前記静止画像と同等以上の解像度を有する所定の時間長に限られた動画像を取得する動画像取得部とを備える
    　内視鏡用プロセッサ。
  13. 　前記静止画像取得部が取得した静止画像と、前記動画像取得部が取得した動画像とを関連付けて記憶する記憶部を備える
    　請求項１２に記載の内視鏡用プロセッサ。
  14. 　内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    　前記開始条件を満たすと判定した場合、前記動画像の取得を開始する
    　情報処理方法。
  15. 　内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    　前記開始条件を満たすと判定した場合、前記動画像の取得を開始する
    　処理をコンピュータに実行させるコンピュータプログラム。
     
PCT/JP2021/002180 2020-01-27 2021-01-22 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム WO2021153437A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/775,363 US12035045B2 (en) 2020-01-27 2021-01-22 Endoscope processor, information processing method, and computer program
JP2021573986A JPWO2021153437A1 (ja) 2020-01-27 2021-01-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-010935 2020-01-27
JP2020010935 2020-01-27

Publications (1)

Publication Number Publication Date
WO2021153437A1 true WO2021153437A1 (ja) 2021-08-05

Family

ID=77079760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002180 WO2021153437A1 (ja) 2020-01-27 2021-01-22 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US12035045B2 (ja)
JP (1) JPWO2021153437A1 (ja)
WO (1) WO2021153437A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103879A1 (ja) * 2012-12-26 2014-07-03 オリンパスメディカルシステムズ株式会社 画像記録装置及び画像記録方法
US20180110398A1 (en) * 2016-10-26 2018-04-26 Virgo Surgical Video Solutions, Inc . Automated system for medical video recording and storage

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006071948A2 (en) * 2004-12-28 2006-07-06 Melder Patrick C Endoscopic imaging system
US8310529B2 (en) * 2006-05-15 2012-11-13 Olympus Medical Systems Corp. System and method for automatic processing of endoscopic images
JP5078538B2 (ja) * 2007-10-15 2012-11-21 キヤノン株式会社 画像再生装置，およびその処理方法およびそのプログラム
JP5843525B2 (ja) * 2010-11-10 2016-01-13 キヤノン株式会社 撮像装置及びその制御方法
JP2018007928A (ja) 2016-07-15 2018-01-18 Hoya株式会社 電子内視鏡システム及びプロセッサ
US10630901B2 (en) * 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103879A1 (ja) * 2012-12-26 2014-07-03 オリンパスメディカルシステムズ株式会社 画像記録装置及び画像記録方法
US20180110398A1 (en) * 2016-10-26 2018-04-26 Virgo Surgical Video Solutions, Inc . Automated system for medical video recording and storage

Also Published As

Publication number Publication date
US20220385818A1 (en) 2022-12-01
US12035045B2 (en) 2024-07-09
JPWO2021153437A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP5242866B1 (ja) 画像管理装置、方法、及び読影用プログラム
JP3958526B2 (ja) 電子内視鏡装置の観察部位表示システム
CN106659362A (zh) 图像处理装置、图像处理方法、图像处理程序以及内窥镜系统
JP2008301968A (ja) 内視鏡画像処理装置
JP2006095304A (ja) 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
JP5044066B2 (ja) 画像表示装置及びカプセル型内視鏡システム
US20090023993A1 (en) System and method for combined display of medical devices
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP2010158308A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2012070938A (ja) 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
JP2006223376A (ja) 医用画像処理装置
WO2021181918A1 (ja) 内視鏡用プロセッサ、内視鏡、内視鏡システム、情報処理方法、プログラム及び学習モデルの生成方法
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
WO2021153437A1 (ja) 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム
JP2012020028A (ja) 電子内視鏡用プロセッサ
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
WO2018043585A1 (ja) 内視鏡装置、情報処理装置およびプログラム
JP3923601B2 (ja) 内視鏡システム
WO2021181440A1 (ja) 画像記録システム及び画像記録方法
JP2001157200A (ja) 内視鏡システム
JP2018007960A (ja) 内視鏡装置
US20160242678A1 (en) Organ image photographing apparatus
JP2009112507A (ja) 情報制御方法及び装置、並びに内視鏡システム
JP2006198002A (ja) 電子内視鏡システムとファイリングシステム
JP7527634B2 (ja) 検査支援装置、検査支援装置の作動方法および検査支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747212

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021573986

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747212

Country of ref document: EP

Kind code of ref document: A1