WO2016190022A1 - 画像記録装置 - Google Patents
画像記録装置 Download PDFInfo
- Publication number
- WO2016190022A1 WO2016190022A1 PCT/JP2016/062936 JP2016062936W WO2016190022A1 WO 2016190022 A1 WO2016190022 A1 WO 2016190022A1 JP 2016062936 W JP2016062936 W JP 2016062936W WO 2016190022 A1 WO2016190022 A1 WO 2016190022A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- moving image
- unit
- medical
- recording
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 34
- 239000002131 composite material Substances 0.000 claims description 13
- 230000010076 replication Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 239000000203 mixture Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000001079 digestive effect Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 206010040844 Skin exfoliation Diseases 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 4
- 230000023597 hemostasis Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003362 replicative effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004899 c-terminal region Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004299 exfoliation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
- A61B2018/1405—Electrodes having a specific shape
- A61B2018/1412—Blade
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M13/00—Insufflators for therapeutic or disinfectant purposes, i.e. devices for blowing a gas, powder or vapour into the body
- A61M13/003—Blowing gases other than for carrying powders, e.g. for inflating, dilating or rinsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Definitions
- the present invention relates to an image recording apparatus that records an image obtained by a medical apparatus such as an endoscope.
- endoscopes have been widely used in medical fields and the like.
- endoscopes have become higher in image quality (high-definition), and peritoneal structures, blood vessels and other intra-abdominal tissues can be clearly seen, and endoscopic surgery can be promoted more safely and reliably. I came.
- various medical images such as an endoscopic image, an ultrasonic image, and an X-ray image may be recorded by combining many modalities such as an endoscope, an X-ray, and an ultrasonic diagnostic apparatus.
- data after recording can be output in various formats depending on the application. For example, during the operation, it can be recorded on a semiconductor recording device such as a USB memory or an optical medium in a format that can be edited by a computer in real time. It is also possible to record on optical media in a format that can be played back by a general-purpose video player.
- medical images can be transferred to a server via a network, recorded, and data can be shared.
- a medical image for the purpose of recording a case, it is conceivable to use a medical image as a backup for an evidence image or as an educational material.
- recorded images can be shared at academic conferences and in-hospital conferences and used for education of young doctors and others.
- an endoscopic technique or the like it is also possible to record an endoscopic technique or the like and authorize the technique from the recorded image.
- an image recording apparatus for recording medical images is not always installed in a place where it is easy to operate in an operating room or the like, or a place where it is easy to check the recording settings. Even if the recording setting can be performed by the remote control device or the like, generally, the image recording device is often installed in a place where it is difficult to confirm the recorded image. For this reason, it is possible to perform recording start and stop operations for each necessary scene that you want to record for education, conference presentation, etc. in the middle of the case, but consider that there is a high risk of forgetting to record In many cases, a method of recording all cases is employed.
- a feature point is recognized by detecting a current flowing through the electric knife while using the electric knife, and detecting a change in biological information.
- An apparatus is disclosed that creates a digest version of a motion image in which only points are collected.
- An object of the present invention is to provide an image recording apparatus capable of recording a plurality of moving images of necessary scenes according to the use of a recorded moving image.
- An image recording apparatus includes a first moving image generating unit that generates a first moving image for recording from a medical image associated with reference time information, and a first moving image based on a status signal from an external device.
- a detection unit that detects at least one of a detection timing of 1 and a second detection timing based on an operation signal of the operation unit, a replication unit that generates a copy of the medical image at the detection timing detected by the detection unit, and the replication
- a second moving image generating unit that generates a moving image for recording based on a medical image copied by the unit, and the moving image generated by the second moving image generating unit while recording the first moving image
- a recording unit for recording in association with time information is a recording unit for recording in association with time information.
- FIG. 1 is a block diagram showing an image recording apparatus according to a first embodiment of the present invention.
- Explanatory drawing which shows the mode of the operating room where the image recording device of FIG. 1 is arrange
- the block diagram which shows a modification.
- FIG. 1 is a block diagram showing an image recording apparatus according to the first embodiment of the present invention.
- FIG. 2 is an explanatory diagram showing a state of the operating room where the image recording apparatus of FIG. 1 is arranged.
- the medical system 3 arranged in the operating room 2 is provided with a system controller 41 that controls medical devices such as the operating table 10 on which the patient 48 lies and the electric scalpel device 13.
- a first cart 11 and a second cart 12 are provided, and a system controller 41 is placed on the first cart 11.
- the first cart 11 includes devices such as an electric scalpel device 13, an insufflation device 14, an endoscope processor 15, a light source device 16 and a video recorder 17 as medical devices that are controlled devices, and carbon dioxide.
- a filled gas cylinder 18 is placed.
- the endoscope processor 15 is connected to the first endoscope 31 via a camera cable 31a.
- the light source device 16 is connected to the first endoscope 31 via the light guide cable 31b.
- the display device 19, the first centralized display panel 20, the operation panel 51 and the like are placed on the first cart 11.
- the display device 19 is, for example, a TV monitor that displays an endoscopic image or the like.
- the central display panel 20 is a display means that can selectively display all data during the operation.
- the operation panel 51 is configured by a display screen such as a liquid crystal display and the touch sensor or the like provided integrally on the display screen, for example, and is a centralized operation device operated by a nurse or the like in a non-sterile area. .
- the system controller 41 which is a centralized control device, includes an operating table 10, a surgical light 6, an electric scalpel device 13, an insufflation device 14, an endoscope processor 15, a light source device 16, and a video recorder 17, which are not shown in the figure. Connected through.
- a headset-type microphone 33 can be connected to the system controller 41. The system controller 41 can recognize the voice input from the microphone 33 and control each device by the operator's voice. Yes.
- the endoscope image from the endoscope processor 15 is supplied to the image recording device 60.
- the electric scalpel device 13, the pneumoperitoneum device 14, the endoscope processor 15, the light source device 16, and the image recording device 60 are constructed in a predetermined network 21 (see FIG. 1), and the state of each device is determined. Information to be shown is supplied to the image recording apparatus 60.
- the network 21 communication lines of various communication standards can be adopted, and for example, FlexRay may be used.
- the first cart 11 has an RFID (RFID) capable of wirelessly reading / writing individual ID information of an object using an ID tag embedded in the first endoscope 31 or a treatment tool of the electric scalpel device 13 or the like.
- RFID RFID
- Radio Frequency Identification Radio Frequency Identification
- a video processor 23 On the other hand, on the second cart 12, a video processor 23, a light source device 24, an image processing device 25, a display device 26, and a second centralized display panel 27, which are controlled devices, are placed.
- the video processor 23 is connected to the second endoscope 32 via a camera cable 32a.
- the light source device 24 is connected to the second endoscope 32 via a light guide cable 32b.
- the display device 26 displays an endoscopic image and the like captured by the video processor 23.
- the second central display panel 27 can selectively display any data during the operation.
- the video processor 23, the light source device 24, and the image processing device 25 are connected to a relay unit 28 placed on the second cart 12 via a communication line (not shown).
- the relay unit 28 is connected to a system controller 41 mounted on the first cart 11 by a relay cable 29.
- the system controller 41 includes the video processor 23, the light source device 24, and the image processing device 25 mounted on the second cart 12, and the electric scalpel device 13 and the pneumoperitoneum device mounted on the first cart 11. 14, the endoscope processor 15, the light source device 16, the video recorder 17, and the operating table 10 can be centrally controlled.
- the system controller 41 displays the setting screen of the connected device and the setting screen of the operation switch on the display screen of the operation panel 51. Can be done. Further, the system controller 41 can perform an operation input such as changing a set value by touching a desired operation switch and operating a touch panel in a predetermined area.
- the remote controller 30 is a second centralized operation device operated by a surgeon or the like in the sterilization area, and can operate other devices with which communication is established via the system controller 41. .
- the system controller 41 is provided with an infrared communication port (not shown) which is a communication means.
- the infrared communication port is provided at a position where infrared rays are easily emitted, such as in the vicinity of the display device 19, and is connected to the system controller 41 with a cable.
- the system controller 41 is connected to the patient monitor system 4 by the cable 9, and the patient monitor system 4 can analyze the biological information and display the analysis result on a required display device.
- a camera 37 that images medical devices such as the operating table 10 is also provided. By imaging a medical device such as the operating table 10 with the camera 37 and analyzing the captured image, the operation state can be determined. The determination result and the image captured by the camera 37 are supplied to the system controller 41.
- FIG. 1 shows an example of a specific configuration of the image recording apparatus 60 in FIG.
- an endoscope processor 15 is used as a device for outputting a medical image.
- the video processor 23 may be employed, or both the endoscope processor 15 and the video processor 23 may be employed.
- the endoscope processor 15 can capture an image from an endoscope (not shown) or the like and perform image signal processing to generate a medical image such as an endoscope image.
- the endoscope processor 15 can output an endoscopic image as a high-definition image.
- the medical image from the endoscope processor 15 is supplied to the video IF 61 of the image recording device 60.
- the UIF 62 is also provided in the image recording device 60, and an operation signal generated by an operator's operation is input to the UIIF 62.
- an operation signal based on an operation of a foot switch (SW) by an operator, an operation of a scope SW provided in an endoscope, an audio input operation by an operator, and the like are input.
- the UIIF 62 receives an operation signal based on the operation of the operator and outputs it to the control unit 63.
- FIG. 1 shows an example in which three types of operation signals are input, various operation signals generated by an operation unit that can be operated by the operator during the operation are employed as the operation signals input to the UIIF 62. Can do.
- the control unit 63 can control each unit of the image recording apparatus 60.
- the control unit 63 may be configured by a processor such as a CPU (not shown) and operate according to a program stored in the memory 64 to control each unit.
- the video IF 61 is an interface suitable for image transmission, and takes in a medical image from the endoscope processor 15.
- the video IF 61 may employ various terminals such as a DVI (Digital Visual Interface) terminal, an SDI (Serial Digital Interface) terminal, an RGB terminal, a Y / C terminal, and a VIDEO terminal.
- the video IF 61 captures not only the endoscope processor 15 but also various medical images from, for example, an ultrasound processor, an operative field camera, an X-ray observation apparatus, an endoscope processor other than the endoscope processor 15, and the like. Can do.
- the medical image captured by the video IF 61 is given to the moving image of the image processing unit 65 and the encoder 66 in the copy generation unit 79.
- the encoder 66 stores the input medical image in the frame memory 67 and reads out and performs an encoding process, thereby encoding the input medical image into a video signal of a predetermined image format.
- the encoder 66 converts the input medical image into the MPEG2 format, MPEG-4 AVC / H. It can be converted into a video signal in the H.264 format or the like.
- the medical image from the encoder 66 is given to the moving image generation unit 68.
- the moving image generation unit 68 is controlled by the control unit 63 to generate a moving image suitable for a preset first application and output it to the media driver 69.
- a media driver 69 serving as a recording unit applies the moving image generated by the moving image generation unit 68 to an external recording medium for recording, and also supplies the moving image to a built-in hard disk device (HDD) 70 for recording. It has become.
- a BD (Blu-ray disc), a DVD, a USB, a server on a network, and the like are illustrated, but other recording media may be employed.
- control unit 63 can set a legal evidence record as the first use to be set in the moving image generation unit 68.
- a moving image is generated so that a low-quality moving image is generated.
- the generation unit 68 is controlled.
- one or more copies of a medical image are generated from the output of the encoder 66, and a moving image suitable for each application is generated from the generated copy.
- the start and end of moving image recording based on replication and the usage are controlled based on an operation signal from an operator and a status signal from an external device.
- the moving image generation unit 68 can supply the output of the encoder 66 to the variable moving image buffer memory 71 as it is.
- the variable moving image buffer memory 71 is given a medical image from the moving image generating unit 68. This medical image is the highest quality image output from the encoder 66. That is, the moving image generating unit 68 can output not only the moving image for the first application but also the moving image with the highest image quality from the encoder 66.
- the variable moving image buffer memory 71 has a capacity for storing medical images for a predetermined period, and is a ring buffer that stores medical images that are sequentially input while being updated.
- the moving image duplicating unit 72 is controlled by the control unit 63 to read a medical image from the variable moving image buffer memory 71, create a duplicate, and give the duplicate to the moving image generating units 73 and 74.
- the encoder 66, the frame memory 67, the moving image generating unit 68, the variable moving image buffer memory 71, and the moving image replicating unit 72 constitute a moving image and replica generating unit 79.
- the moving image generation unit 73 is controlled by the control unit 63 to generate a moving image suitable for the second application and outputs it to the media driver 69.
- the moving image generation unit 74 is controlled by the control unit 63 to Are generated and output to the media driver 69.
- the media driver 69 can give the moving image generated by the moving image generation units 68, 73, 74 to an external recording medium for recording, and can also give the recording to the HDD 70 for recording.
- the media driver 69 includes an optical drive device that performs recording / reproduction on an optical medium such as a Blu-ray disc, and a USB recording / reproduction unit that performs recording / reproduction on a USB medium such as a USB memory (not shown). Further, the media driver 69 includes a network interface (not shown) that transfers a medical image to a network server (not shown) and records / reproduces the medical image.
- an optical drive device that performs recording / reproduction on an optical medium such as a Blu-ray disc
- a USB recording / reproduction unit that performs recording / reproduction on a USB medium such as a USB memory
- the media driver 69 includes a network interface (not shown) that transfers a medical image to a network server (not shown) and records / reproduces the medical image.
- the duplication timing by the moving picture duplicating unit 72 is controlled by the control unit 63.
- the control unit 63 as a detection unit controls the start and end of duplication by the moving image duplication unit 72 at the timing of the operation signal input to the UIIF 62 or the timing based on the status signal from the external device connected to the network 21.
- the control unit 63 may start duplication of the moving image duplication unit 72 when the foot SW is pressed, and may end duplication of the moving image duplication unit 72 when the foot SW is released. Each time the scope SW is pressed, the moving image replication unit 72 may start replication or end replication.
- control unit 63 controls the address of the variable moving image buffer memory 71 read by the moving image duplicating unit 72, thereby enabling time-shift duplication in which the medical image is copied back in time. .
- the moving image replication unit 72 is imaged before bleeding and recorded from the data portion of the medical image recorded in the variable moving image buffer memory 71.
- the control unit 63 may change the amount of time shift by an operator's operation. For example, by storing a table describing the time shift amount in the memory 64, the time shift amount can be changed by a simple operation.
- FIG. 3 is an explanatory diagram for explaining an example of a time shift amount table.
- FIG. 3 shows an example of a table having three types of presets for the time shift amount.
- Preset A indicates that the time shift amount is changed by ⁇ 15 seconds every time the foot SW is pressed.
- presets B and C indicate that the time shift amount is changed by -30 seconds or -60 seconds each time the foot SW is pressed.
- a medical image after the image captured at the timing when the foot SW is operated is duplicated without time shifting.
- control unit 63 15 seconds before the operation time of the foot SW based on the table stored in the memory 64 Control is performed so that medical images after the captured image are duplicated. Further, for example, when the foot SW is continuously pressed three times in a state where the preset C is set, the control unit 63 is 120 seconds from the operation time of the foot SW based on the table stored in the memory 64. Control is performed so that medical images after the previously captured image are duplicated.
- the control unit 63 outputs time shift amount information to the event timing control unit 75.
- the TC counter 76 provides time information serving as a time reference in the encoding process of the encoder 66 to the image processing unit 65 and the event timing control unit 75. Based on the time information from the TC counter 76, the time code of the medical image (moving image) from the moving image generating unit 68 is defined.
- the event timing control unit 75 uses the time information from the TC counter 76 and the time shift amount information from the control unit 63 to determine the time of the medical image that the moving image duplication unit 72 duplicates. Ask for code. These time codes have a common time axis for the medical image from the moving image generating unit 68 and the medical image copied by the moving image replicating unit 72, and the medical image copied by the moving image replicating unit 72 is the moving image generating unit 68. It becomes clear which time of the medical image from
- the event timing control unit 75 outputs the obtained time information to the meta generation unit 77.
- the meta generation unit 77 converts the input time information into meta information.
- the meta generation unit 77 is configured to add and record meta information including time information on a medical image given and recorded in the HDD 70.
- the medical image from the moving image generating unit 68 is given a time code at the time of encoding or generating the moving image, but meta information including time information by the meta generating unit 77 is converted into moving image by the control of the event timing control unit 75. It is also possible to add and record the medical image from the generation unit 68.
- the control unit 63 controls to give the duplicated medical image to the moving image generation unit 73 when the moving image duplication unit 72 duplicates the medical image based on the status signal from the external device connected to the network 21. I do.
- the control unit 63 performs various settings so that the moving image generation unit 73 generates a moving image suitable for the second application, for example.
- the moving image generation unit 73 generates a medium-quality moving image in a DVD video format, for example.
- the control unit 63 causes the moving image duplicating unit 72 to duplicate a medical image based on a status signal from an external device connected to the network 21.
- the readout is controlled according to the application. For example, when the electric scalpel device 13 is used, a medium-quality DVD-format medical image is output from the moving image generation unit 73 to the media driver 69.
- the control unit 63 sets the third application. For example, when the operation signal is received in the UIIF 62, the control unit 63 gives the medical image copied by the moving image replication unit 72 to the moving image generation unit 74, and the moving image generation unit 74 is a moving image suitable for the third application. Make various settings to generate.
- the moving image generation unit 74 when it is assumed that the third application is used for presentation at an academic conference, the moving image generation unit 74 generates, for example, a full HD high-quality moving image. That is, when the operation signal is received by the UIIF 62, the control unit 63 controls reading so that a high-quality medical image is obtained when the moving image duplicating unit 72 duplicates the medical image. For example, when the surgeon operates the scope SW, the moving image duplicating unit 72 reads a medical image at a high bit rate, and the moving image generating unit 74 outputs a high quality medical image to the media driver 69.
- the endoscope processor 15 generates an endoscope image based on an imaging signal from an endoscope (not shown).
- the endoscope processor 15 outputs the generated endoscopic image to the image recording device 60 as a medical image.
- the image recording device 60 starts recording a medical image.
- This medical image is taken into the image recording device 60 by the video IF 61 and supplied to the encoder 66 of the image processing unit 65.
- the encoder 66 performs a predetermined encoding process on the input medical image and outputs it. For example, the encoder 66 performs an encoding process for generating an image at the highest bit rate, for example, a full HD image quality.
- the output of the encoder 66 is supplied to the moving image generating unit 68.
- the moving image generation unit 68 generates a moving image suitable for the first application from the input medical image.
- the moving image generation unit 68 converts an image used for evidence recording as a first application, for example, a low-quality medical image into a file (step S2) and outputs the file to the media driver 69.
- the media driver 69 records the input medical image on an external medium, and also gives it to the HDD 70 for recording.
- the medical image from the encoder 66 is supplied to and held in the variable moving image buffer memory 71 via the moving image generating unit 68 (step S3).
- the control unit 63 determines whether or not a moving image recording trigger has occurred based on a status signal from an external device connected to the network 21.
- the electrosurgical device 13 can be used when it is indicated that endoscopic observation is started in the special light observation mode based on the status signal from the light source device 16 or based on the status signal from the electrosurgical device 13
- the control unit 63 has triggered the video recording
- the process proceeds to step S5, and the moving image duplicating unit 72 is instructed to duplicate the medical image.
- the moving image replicating unit 72 reads the medical image of the previous time by the time shift amount set by the control unit 63 from the variable moving image buffer memory 71 and gives it to the moving image generating unit 73.
- the moving image duplicating unit 72 performs reading so as to obtain an image quality suitable for the second application, for example, an intermediate image quality.
- the moving image generation unit 73 generates a moving image of a format suitable for the second application from the input medical image and supplies it to the media driver 69.
- the media driver 69 gives the input medical image to the HDD 70 and records it.
- control unit 63 outputs time shift amount information to the event timing control unit 75 at the timing of instructing duplication, and the event timing control unit 75 is based on the output of the TC counter 76.
- the time information of the moving image generated in step 1 is generated and output to the meta generation unit 77.
- the meta generation unit 77 converts the time information into meta information, gives it to the HDD 70, and adds it to the moving image generated by the moving image generation unit 73 (step S6).
- the media driver 69 reads the medical image with the meta information added from the HDD 70 and records it on an external medium.
- step S7 the control unit 63 determines whether or not a moving image recording trigger has occurred based on the operation signal received by the UIIF 62. For example, when the scope SW is pressed in a scene or the like that is determined to be important by the surgeon, the control unit 63 determines that a moving image recording trigger has occurred, moves the process to step S8, and moves the moving image copying unit. Instruct 72 to copy the medical image.
- the moving image duplicating unit 72 reads the medical image of the previous time by the time shift amount set by the control unit 63 from the variable moving image buffer memory 71 and gives it to the moving image generating unit 74. In this case, the moving image duplicating unit 72 performs reading so as to obtain an image quality suitable for the third application, for example, a full HD image quality.
- the moving image generation unit 74 generates a moving image in a format suitable for the third application from the input medical image and supplies the generated moving image to the media driver 69.
- the media driver 69 gives the input medical image to the HDD 70 and records it.
- the event timing control unit 75 generates time information of the moving image generated in the moving image generation unit 74 based on the information on the time shift amount from the control unit 63 and the output of the TC counter 76 to generate a meta generation unit.
- the meta generation unit 77 converts the time information into meta information, gives it to the HDD 70, and adds it to the moving image generated by the moving image generation unit 74 (step S9).
- the media driver 69 reads the medical image with the meta information added from the HDD 70 and records it on an external medium.
- the meta generation unit 77 can generate meta information based on an ID for each use (use ID), and in steps S6 and S9, meta information indicating the use can be added to the corresponding medical image.
- a moving image suitable for a predetermined use is generated from the output of the encoder, and at least one copy of the medical image is generated from the output of the encoder, and each use is generated from the generated copy. It is designed to generate a moving image suitable for the above. Then, the start and end of the recording of the moving image based on the duplication and the usage are controlled based on the operation signal from the operator and the status signal from the external device. Thereby, a plurality of moving images suitable for a plurality of applications can be recorded simultaneously.
- a moving image suitable for a predetermined application can be automatically recorded based on a status signal from an external device, and a moving image suitable for a predetermined application can be recorded at an arbitrary timing based on an operator's operation. Can be recorded. Accordingly, it is possible to record a moving image for each application while preventing forgetting to record, and it is possible to omit an editing operation for obtaining a moving image for each application after recording. In addition, when creating a copy of a medical image, it is possible to record a medical image from a point in time prior to the start of recording trigger, and to reliably record a necessary scene.
- meta information corresponding to a time code having a common time axis is added to medical images for each application, and each medical image can be managed using a common time code. Thereby, for example, when the medical image for the first application is reproduced, the reproduction of the medical image for the second application can be automatically started.
- the moving image generating unit 68 generates a medical image for the first application
- the moving image generating unit 73 generates a medical image for the second application based on the status signal of the external device.
- the moving image generation unit 74 generates a medical image for the third application according to an operation signal based on the operation of the surgeon.
- the medical image may be generated.
- a moving image may be generated by any of the moving image generation units 68, 73, 74 by any one of a status signal of an external device and an operation signal based on an operation by an operator.
- FIG. 5 is an explanatory diagram for explaining a second embodiment of the present invention.
- the hardware configuration in this embodiment is the same as that in the first embodiment.
- the second embodiment by preparing a playlist, it is possible to freely set the use assigned to a plurality of moving image generation units and the determination of trigger occurrence.
- FIG. 5 is an explanatory diagram for explaining an example of a playlist for setting usages to be assigned to a plurality of moving image generation units and setting conditions for determining the occurrence of a trigger.
- the playlist can be stored in the memory 64, and the control unit 63 performs assignment for use, that is, control for generating a moving image suitable for the use, in accordance with the playlist read from the memory 64.
- a trigger generation determination condition that gives a recording timing of a moving image for use is determined.
- the playlist in FIG. 5 shows an example of determining the presence / absence of an endoscopic image, the setting of a 3D monitor, and the operation of an operator as an image recording generation trigger.
- the control unit 63 instructs the moving image generation unit 68 to generate a moving image suitable for legal evidence recording as a use.
- the recording of the moving image is automatically started.
- the control unit 63 stops recording the moving image.
- control unit 63 detects from the state signal that switching has been performed so that the endoscopic image is displayed on the 3D monitor from a 2D monitor (not shown), Instructing the generation of a moving image suitable for a presentation material for an academic meeting and starting the recording of the moving image. In addition, when switching is performed so that the endoscopic image is displayed on the 2D monitor from the 3D monitor, the control unit 63 stops the recording of the moving image.
- control unit 63 instructs the moving image generation unit 74 to generate a moving image suitable for an educational material. Then, recording of the moving image is started. Further, when the operator detects an operation of turning off the foot SW, the control unit 63 stops the recording of the moving image.
- the control unit 63 can update the playlist by the operation of the input device (not shown) by the user.
- FIG. 6 is a flowchart for explaining the operation of the second embodiment.
- FIG. 6 the same steps as those in FIG.
- FIG. 7 is an explanatory diagram for explaining the operation of the second embodiment.
- FIG. 7 shows the relationship between the flow of treatment of each procedure and the recorded medical image, taking time as the horizontal axis and laparoscopic surgery as an example.
- step S ⁇ b> 11 the control unit 63 reads a playlist from the memory 64.
- the control unit 63 determines the occurrence of a trigger for starting and ending the recording of a medical image according to the read playlist, and performs recording control according to the use of the medical image to be recorded.
- FIG. 7 shows the start timing of each treatment and the mode switching of the monitor with arrows.
- treatment patient ID input, puncture and insufflation, endoscope insertion, surgical field deployment, anatomical confirmation, peeling, ligation, cutting
- the monitor mode is started in the 2D mode, and is set to the 3D mode only in a period including the peeling treatment and a period including the ligation and separation treatment.
- the patient ID input operation is first performed. Further, puncture and air supply treatment are performed. Next, an endoscope is inserted. An image from the endoscope is supplied to the endoscope processor 15, and the endoscope processor 15 supplies the endoscope image to the video IF 61 of the image recording device 60. As shown in FIG. 5, the control unit 63 instructs the moving image generation unit 68 to generate and record a medical image for recording evidence of a lawsuit. As a result, recording of the evidence moving image is started as shown by the recording a by the broken line in FIG. This recording a is continued until the closing treatment while the endoscope image is input.
- the control unit 63 determines the trigger generation based on the state signal in step S4 of FIG. 6, and determines the trigger generation based on the operation signal in step S7.
- the foot SW is turned on for a predetermined period.
- the control unit 63 instructs the moving image generation unit 74 to generate a medical image of the educational material.
- recording d of educational moving images is performed only during the period indicated by the broken line in FIG.
- the operator turns on the foot SW for a predetermined period even during the anatomical confirmation procedure.
- the recording e of the moving image for education is performed only during the period indicated by the broken line in FIG.
- the control unit 63 instructs the moving image generation unit 73 to generate a medical image of the material for conference presentation as shown in FIG.
- the moving image for conference presentation is recorded for the display period on the 3D monitor.
- the meta generation unit 77 adds time information to the medical image recorded in the HDD 70 based on the output of the event timing control unit 75.
- the meta generation unit 77 can generate meta information based on the ID (use ID) for each use, and in steps S6 and S9, the meta information indicating the use is also added to the corresponding medical image.
- the control unit 63 has a medical image recorded based on the status signal or a medical image recorded based on the operation signal (hereinafter, these medical images are also referred to as short clips). Shifts the process from step S12 to step S13, and collects short clips with the same application ID. For example, as shown in FIG. 7, the control unit 63 outputs a moving image for recording evidence (record a) to a network server, and records the moving images for presentation at a conference (records b and c) together on a Blu-ray disc. Then, educational moving images (records d to j)) are collectively recorded on the USB hard disk.
- recording control can be performed according to a playlist appropriately set by the user, and medical images corresponding to various applications can be generated at appropriate timing.
- FIG. 8 is a block diagram showing a modification.
- the moving image generation units 73 and 74 can also output a moving image having the same image quality as the output of the moving image generation unit 68.
- the re-encoding is performed regardless of the output of the moving image generation unit 68.
- this encoding function may be realized by a separate circuit.
- FIG. 8 shows an example of this case, and the image processing unit 81 of the image recording apparatus 80 includes a moving image and copy generation unit 79, a switching unit 82, encoders 83a and 83b, and moving image generation units 84a and 84b. .
- the image (duplicated image) duplicated by the moving image duplication unit 72 of the moving image and duplication generation unit 79 is given to the encoders 83a and 83b via the switching unit 82.
- the switching unit 82 is controlled by the control unit 63 to supply a duplicate image to one or both of the encoders 83a and 83b.
- the encoders 83a and 83b store the input medical images in a frame memory (not shown) and perform encoding processing by reading them, thereby re-encoding the input medical images into video signals of a predetermined image format.
- the encoders 83a and 83b convert the input medical images into MPEG2 format or MPEG-4 AVC / H. It can be reconverted into a video signal in the H.264 format or the like.
- the medical images from the encoders 83a and 83b are given to the moving image generation units 84a and 84b, respectively.
- the moving image generation unit 68 supplies the highest quality image output from the encoder 66 to the variable moving image buffer memory 71, and the moving image replication unit 72 outputs the variable image buffer memory so as to output the highest quality medical image.
- the reading from 71 may be controlled.
- the moving image generation unit 84a is controlled by the control unit 63, generates a moving image suitable for the second application based on the medical image encoded by the encoder 83a, and outputs the moving image to the media driver 69.
- the moving image generation unit 84b Under the control of the control unit 63, a moving image suitable for the third application is generated based on the medical image encoded by the encoder 83b and output to the media driver 69.
- FIG. 9 shows a flowchart corresponding to the first embodiment shown in FIG. 4, it is obvious that this modification can be similarly applied to the second embodiment shown in FIG. .
- step S15 the moving image duplicating unit 72 creates a duplicate of the medical image.
- the medical image from the moving image duplicating unit 72 is supplied to the encoder 83a via the switching unit 82.
- the encoder 83a re-encodes the input medical image.
- the encoder 83a can be controlled by the control unit 63 to generate a moving image with a desired image quality.
- the encoder 83a may generate a medium-quality moving image as the image quality suitable for the second application.
- the encoder 83a gives the encoded moving image to the moving image generating unit 84a.
- the moving image generation unit 84a generates a moving image in a format suitable for the second application based on the encoding result and supplies the generated moving image to the media driver 69.
- the media driver 69 gives the input medical image to the HDD 70 and records it.
- step S18 the moving image duplicating unit 72 creates a duplicate of the medical image.
- the medical image from the moving image duplicating unit 72 is supplied to the encoder 83b via the switching unit 82.
- the encoder 83b performs re-encoding processing on the input medical image.
- the encoder 83b can be controlled by the control unit 63 to generate a moving image with a desired image quality.
- the encoder 83b may generate a full HD quality moving image as an image quality suitable for the third application.
- the encoder 83b gives the encoded moving image to the moving image generating unit 84b.
- the moving image generation unit 84b generates a moving image in a format suitable for the third application based on the encoding result and supplies the generated moving image to the media driver 69.
- the media driver 69 gives the input medical image to the HDD 70 and records it.
- the encoders 83a and 83b convert the image to an arbitrary image quality and resolution to obtain an optimal moving image for the output medium. It is possible.
- the output medium is a tablet PC
- the surgeon records the high-quality moving image for conference presentation on the tablet PC used for the conference presentation while outputting the low-quality moving image for evidence recording to the network server, for example. It is also possible to make it.
- FIG. 10 is a block diagram for explaining a third embodiment of the present invention.
- the moving image and copy generation unit 79 encodes one system of input medical image to generate a medical image for recording for the first application, and creates a copy of the medical image as a copy image. Based on this, it is possible to generate medical images for recording for the second and third uses.
- the present embodiment shows an example that can handle two types of input medical images.
- two endoscope processors 15a and 15b are provided.
- a plurality of endoscopes may be used in surgery or the like.
- a digestive endoscopy and a surgical endoscope may be used at the same time during operations on digestive organs such as the stomach and duodenum.
- the endoscope processors 15a and 15b can capture images from endoscopes (not shown), perform image signal processing, and output medical images.
- the medical images from the endoscope processors 15a and 15b are supplied to the video IF 95 of the image recording device 90.
- the video IF 95 is an interface suitable for image transmission, and captures medical images from the two endoscope processors 15a and 15b.
- the video IF 95 may employ various terminals such as a DVI (Digital Visual Interface) terminal, an SDI (Serial Digital Interface) terminal, an RGB terminal, a Y / C terminal, and a VIDEO terminal.
- the video IF 95 includes not only the endoscope processors 15a and 15b but also two systems from, for example, an ultrasound processor, an operative field camera, an X-ray observation device, an endoscope processor other than the endoscope processors 15a and 15b, and the like.
- Various medical images can be captured simultaneously.
- the two medical images captured by the video IF 95 are given to the image composition processing unit 92.
- the image composition processing unit 92 is controlled by the control unit 63 and can output the two input medical images as they are, and can also combine and output the two input medical images.
- the image composition processing unit 92 can also perform image composition by a POP (Picture Out Picture) method in which two input medical images are displayed side by side. Also, one of the two input medical images can be combined. As a child image of the other image, it is also possible to synthesize an image by the PIP (Picture in Picture) method.
- POP Picture Out Picture
- the image composition processing unit 92 can provide one of the two input medical images or the composite image to the moving image and copy generation unit 79, and can provide the other of the two input medical images or the composite image to the switching unit 93.
- the control unit 63 may be configured to control the composition processing of the image composition processing unit 92 based on the composition setting information stored in the memory 64.
- the composition switching setting information stored in the memory 64 is It may be configured to be appropriately changed by a user operation.
- the moving image and copy generation unit 79 encodes the input composite image or medical image by the encoder 66.
- the moving image and copy generation unit 79 outputs a copy image based on the encoding result to the switching unit 93 and also generates a moving image based on the encoding result and outputs it to the media driver 69.
- the switching unit 93 is given either one of the two input medical images as it is from the image synthesis processing unit 92 or a composite image of the two input medical images. Further, the switching unit 93 is provided with the moving image and the image copied from the copy generating unit 79. The switching unit 93 is controlled by the control unit 63 to give the image from the image composition processing unit 92 to one of the encoders 83a and 83b, and the other of the encoders 83a and 83b is connected to the moving image and copy generation unit 79. Give an image. Further, the switching unit 93 may give both the moving image and the image from the copy generation unit 79 to both the encoders 83a and 83b. The control unit 63 may be configured to control switching of the switching unit 93 based on the switching setting information stored in the memory 64, and the switching setting information stored in the memory 64 is appropriately determined by a user operation. It may be configured to be changeable.
- one of two input medical images or the synthesis of two input medical images is performed by the moving image and copy generation unit 79.
- a duplicate image based on the image is generated.
- the moving image and copy generation unit 79 has a first use based on either one of the two input medical images or a composite image of the two input medical images (hereinafter, these images are referred to as a master image with respect to the copy image).
- a moving image is generated.
- a moving image based on the master image is supplied to the media driver 69 by the moving image and copy generation unit 79.
- the duplicate image from the moving image and duplicate generation unit 79 is given to the switching unit 93.
- the switching unit 93 is given from the image synthesis processing unit 92 either one of the two input medical images or a composite image of the two input medical images, that is, a master image.
- the switching unit 93 is controlled by the control unit 63 to provide the master image from the image composition processing unit 92 to one of the encoders 83a and 83b, and the moving image and the duplicate image from the copy generation unit 79 to the other of the encoders 83a and 83b.
- a moving image and a duplicate image from the duplication generation unit 79 are given to both encoders 83a and 83b.
- the encoder 83a encodes or re-encodes the input image to obtain a moving image having a desired image quality and outputs the moving image to the moving image generation unit 84a.
- the encoder 83b encodes or re-encodes the input image to obtain a moving image having a desired image quality and outputs the moving image to the moving image generation unit 84b.
- the moving image generation unit 84a provides the encoding result to the media driver 69 as a moving image for the second application, and the moving image generation unit 84b provides the encoding result to the media driver 69 as a moving image for the third application.
- moving images suitable for a maximum of three applications are input to the media driver 69. That is, by the switching control of the switching unit 93, the media driver 69 receives a moving image based on one or two master images and a moving image based on one duplicate image, or a moving image based on one master image A moving image based on two duplicate images is input.
- the medical images input to the video IF 95 are an endoscope image by a digestive endoscope and an endoscope image by a surgical endoscope.
- the moving image for the second use and the moving image for the third use based on the duplicate image of the endoscope image by the digestive endoscope can be supplied to the media driver 69.
- a moving image for a first application based on a composite image (master image) of two endoscope images by a digestive endoscope and a surgical endoscope, and a composite image of two endoscope images A moving image for the second application based on the duplicate image and a moving image for the third application based on the duplicate image of the composite image of the two endoscope images may be supplied to the media driver 69.
- a moving image for a first application based on a combined image (master image) of two endoscopic images by a digestive endoscope and a surgical endoscope and a combined image of the two endoscopic images
- a moving image for the second application based on the duplicate image and a moving image for the third application based on the endoscope image (master image) by the digestive endoscope can be supplied to the media driver 69.
- the medical image input to the video IF 95 may be a 3D image and a 2D image based on the output of one 3D endoscope.
- a low-quality moving image for the first application based on the 2D image (master image) a high-quality moving image for the second application based on the 3D image (master image)
- 2D The high-quality moving image for the third application based on the duplicate image can be supplied to the media driver 69.
- either one of two input medical images or a composite image of two input medical images is used as a master image, and a moving image based on two types of master images and one type of master image are duplicated.
- a moving image based on an image can be recorded, or a moving image based on one type of master image and two types of moving images based on a duplicate image of one type of master image can be recorded.
- a maximum of three types of moving images are selected and recorded from among a plurality of types of moving images by controlling combining processing for two medical images and switching processing for switching inputs to the encoders for the second and third applications. It is possible.
- the switching unit 93 gives either one of the two input medical images from the image composition processing unit 92 or a composite image of the two input medical images to both the encoders 83a and 83b. It is also possible to control it. In this case, a moving image based on the duplicate image cannot be recorded, but three types of moving images based on the master image can be recorded.
- FIG. 11 is a block diagram for explaining a fourth embodiment of the present invention.
- the same components as those of FIG. This embodiment is different from the third embodiment in that the image composition processing unit 92 is omitted, a copy generation unit 98 is added, and a switching unit 99 is used instead of the switching unit 93.
- the video IF 95 provides one of the two input medical images to the moving image and copy generation unit 79 and the other to the moving image and copy generation unit 98.
- the moving image and copy generation unit 98 has the same configuration as the moving image and copy generation unit 79.
- Each of the moving image and copy generation units 79 and 98 uses the input medical image as a master image, generates a moving image based on the master image, generates a copy image of the master image, and generates the generated moving image and copy.
- the image is output to the switching unit 99.
- the switching unit 99 is controlled by the control unit 63 to supply three types of images from the moving image and copy generation units 79 and 98 to the encoders 83a and 83b and the media driver 69, respectively. Note that the switching unit 99 selects and outputs at least one duplicated image among the four types of images.
- the control unit 63 may be configured to control switching of the switching unit 99 based on the switching setting information stored in the memory 64, and the switching setting information stored in the memory 64 is appropriately determined by a user operation. It may be configured to be changeable.
- the moving image and copy generation unit 79 masters one of two input medical images input to the video IF 95. A moving image based on the master image and a duplicate image based on the master image are generated. Similarly, the moving image and copy generation unit 98 uses the other of the two input medical images as a master image, and generates a moving image based on the master image and a copy image based on the master image. The four types of images generated by the moving image and copy generation units 79 and 98 are supplied to the switching unit 99. The switching unit 99 is controlled by the control unit 63 to provide three input images including at least one duplicated image among the four inputs to the encoders 83a and 83b or the media driver 69.
- any of the two medical images can be used as a master image, and any master image of the two medical images can be duplicated to generate a moving image for any application. Is possible.
- the encoder can be omitted.
- the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
- various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment.
- constituent elements over different embodiments may be appropriately combined.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Otolaryngology (AREA)
- Plasma & Fusion (AREA)
- Endoscopes (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
Abstract
画像記録装置は、基準時間情報に対応付けられた医療画像から記録用の第1の動画像を生成する第1の動画生成部と、外部機器からの状態信号に基づく第1の検出タイミング及び操作部の操作信号に基づく第2の検出タイミングの少なくとも一方を検出する検出部と、前記検出部が検出した検出タイミングで前記医療画像の複製を生成する複製部と、前記複製部が複製した医療画像に基づく記録用の動画像を生成する第2の動画生成部と、前記第1の動画像を記録すると共に、前記第2の動画生成部が生成した動画像を前記基準時間情報に対応付けて記録する記録部と、を具備する。
Description
本発明は、内視鏡等の医療装置によって得られる画像を記録する画像記録装置に関する。
従来、内視鏡は医療用分野等において広く採用されている。近年、内視鏡の高画質(ハイビジョン)化が進み、腹膜構造や血管走行等の腹腔内の組織が明瞭に視認できるようになり、より安全・確実に内視鏡手術を進められるようになってきた。
医療機関においては、内視鏡やX線、超音波診断装置等の多くのモダリティを組み合わせて、内視鏡画像、超音波画像、X線画像等の各種医療画像を記録することがある。医療画像を記録する従来の画像記録装置においては、記録後のデータを用途に応じて様々な形式で出力可能としている。例えば、術中においては、リアルタイムでコンピュータ編集可能なフォーマットにより、USBメモリ等の半導体記録装置や光学メディアに記録することができる。また、汎用のビデオプレーヤーで再生可能なフォーマットで光学メディアに記録することも可能である。更に、医療画像をネットワーク経由でサーバに転送して記録し、データを共有化することも可能である。
ところで、症例を記録する目的として、医療画像を証拠画像等のバックアップ用として用いることや、教育用素材として用いることが考えられる。例えば、症例中の重要な解剖シーンについては、記録画像を学会や院内カンファレンスで共有して、若手ドクターらの教育に活用することができる。また、技術認定制度の利用のために、内視鏡の手技等を記録して、記録画像から手技の認定を行うこともできる。
バックアップ用として記録する場合には、長時間の症例全体を記録する必要があることから、記録容量を考慮して、比較的低画質での記録が行われることもある。また、教育用素材として症例の記録を行う場合には、記録画像から症例の観察を容易とするために、必要な部分のみを最高の画質で記録することもある。
ところで、医療画像を記録する画像記録装置は、手術室等において必ずしも操作しやすい場所、記録の設定を確認しやすい場所に設置されるとは限らない。リモコン装置等によって録画設定ができたとしても、一般的には、画像記録装置は記録されている画像を確認しにくい場所に設置されることが多い。このため、症例途中において、教育や学会発表等のために記録しておきたい必要なシーン毎に記録開始操作及び停止操作を行うことは可能であるが、記録し忘れのリスクが大きいことを考慮して、1症例の全てを記録する方法が採用されることが多い。
しかしながら、この場合には、教育や学会発表等のための動画像を作成するために記録画像の編集作業が必要であり、また、少ない記録容量で証拠記録を残すために、記録された動画像に対する圧縮処理が必要となることもあり、記録後の作業が極めて煩雑となる。
そこで、日本国特開2011-36372号公報においては、電気メスの使用中において、電気メスに流れる電流を検出し、また、生体情報の変化を検出するとことで、特徴点を認識し、当該特徴点のみを集めたダイジェスト版の動作画像を作成するようにした装置が開示されている。
しかしながら、日本国特開2011-36372号公報の装置を利用したとしても、例えば学会用に必要なシーンの記録を自動的に行うことはできない。内視鏡では、安全、安心な手術を行うことが最優先であり、このため症例記録動画として重要なシーンとしては、例えば、切除や剥離処置、止血処置等が考えられる。切除、剥離処置は把持鉗子を用いて行われており、危険操作を排除するための鉗子のアプローチが適切な角度になっている否かを確認できる期間に記録を行う必要がある。また、止血処置では、出血時に確実な止血ができているかの確認を十分に行ったか否かを判断できる期間に記録を行う必要がある。しかしながら、電気メスや生体モニタ等の出力を監視したとしても、このような記録すべき期間を特定することはできない。
また、電気メスを用いる手技においても、電気メスに電力が出力される前の段階における患部への鉗子のアプローチ、鉗子の把持の仕方、剥離の仕方等について記録した方が良い場合があり、このようなシーンについては電気メス等の出力を利用したとしても記録することはできない。また、内視鏡を用いた手技では、内視鏡を挿入するスコピストの操作が重要であり、例えば腹腔の全体を把握でき、ブラインド操作の排除が徹底できているか等を確認する必要があり、このような内視鏡の視野確保状態についても、電気メス等の出力を用いたとしても記録すべき期間を特定することはできない。
本発明は、記録動画の用途に応じた必要なシーンの複数の動画を記録することができる画像記録装置を提供することを目的とする。
本発明の一態様による画像記録装置は、基準時間情報に対応付けられた医療画像から記録用の第1の動画像を生成する第1の動画生成部と、外部機器からの状態信号に基づく第1の検出タイミング及び操作部の操作信号に基づく第2の検出タイミングの少なくとも一方を検出する検出部と、前記検出部が検出した検出タイミングで前記医療画像の複製を生成する複製部と、前記複製部が複製した医療画像に基づく記録用の動画像を生成する第2の動画生成部と、前記第1の動画像を記録すると共に、前記第2の動画生成部が生成した動画像を前記基準時間情報に対応付けて記録する記録部と、を具備する。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る画像記録装置を示すブロック図である。また、図2は図1の画像記録装置が配置される手術室の様子を示す説明図である。
図1は本発明の第1の実施の形態に係る画像記録装置を示すブロック図である。また、図2は図1の画像記録装置が配置される手術室の様子を示す説明図である。
まず、図2を参照して手術室2における画像記録装置60の配置の様子を説明する。図2に示すように、手術室2内に配置される医療システム3には、患者48が横たわる手術台10や電気メス装置13等の医療機器を制御するシステムコントローラ41が設けられている。手術室2には、第1カート11及び第2カート12が設けられており、第1カート11上にシステムコントローラ41が載置されている。
また、第1カート11には、被制御装置である医療機器として例えば電気メス装置13、気腹装置14、内視鏡プロセッサ15、光源装置16及びビデオレコーダ17等の装置類と、二酸化炭素を充填したガスボンベ18が載置されている。内視鏡プロセッサ15は、カメラケーブル31aを介して第1の内視鏡31に接続される。
光源装置16は、ライトガイドケーブル31bを介して第1の内視鏡31に接続される。また、第1カート11には、表示装置19、第1の集中表示パネル20、操作パネル51等が載置されている。表示装置19は、内視鏡画像等を表示する、例えばTVモニタである。
集中表示パネル20は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段となっている。操作パネル51は、例えば液晶ディスプレイ等の表示画面とこの表示画面上に一体的に設けられた例えばタッチセンサ等により構成され、非滅菌域にいる看護師等が操作する集中操作装置になっている。
集中制御装置であるシステムコントローラ41には、手術台10と無影灯6と電気メス装置13と気腹装置14と内視鏡プロセッサ15と光源装置16とビデオレコーダ17とが、図示しない通信線を介して接続されている。システムコントローラ41には、ヘッドセット型のマイク33が接続できるようになっており、システムコントローラ41はマイク33から入力された音声を認識し、術者の音声により各機器を制御できるようになっている。
また、内視鏡プロセッサ15からの内視鏡画像は画像記録装置60に供給されるようになっている。また、電気メス装置13、気腹装置14、内視鏡プロセッサ15、光源装置16及び画像記録装置60は、所定のネットワーク21(図1参照))内に構築されており、各機器の状態を示す情報が画像記録装置60に供給されるようになっている。なお、ネットワーク21としては、各種通信規格の通信回線を採用することができ、例えばフレックスレイ(FlexRay)を用いてもよい。
また、第1カート11には、第1の内視鏡31や、電気メス装置13の処置具などに埋め込まれているIDタグにより、物の個別ID情報を無線にて読み取り/書き取りできるRFID(Radio Frequency Identification)端末35が設けられている。
一方、第2カート12には、被制御装置であるビデオプロセッサ23、光源装置24、画像処理装置25、表示装置26及び第2の集中表示パネル27が載置されている。ビデオプロセッサ23はカメラケーブル32aを介して第2の内視鏡32に接続される。光源装置24はライトガイドケーブル32bを介して第2の内視鏡32に接続される。
表示装置26は、ビデオプロセッサ23でとらえた内視鏡画像等を表示する。第2の集中表示パネル27は、手術中のあらゆるデータを選択的に表示させることが可能になっている。
これらビデオプロセッサ23と光源装置24と画像処理装置25とは、第2カート12に載置された中継ユニット28に図示しない通信線を介して接続されている。そして、この中継ユニット28は、中継ケーブル29によって、第1カート11に搭載されているシステムコントローラ41に接続されている。
こうして、システムコントローラ41は、これらの第2カート12に搭載されているビデオプロセッサ23、光源装置24及び画像処理装置25と、第1カート11に搭載されている、電気メス装置13、気腹装置14、内視鏡プロセッサ15、光源装置16及びビデオレコーダ17と、手術台10とを集中制御することができるようになっている。システムコントローラ41は、システムコントローラ41とこれらの装置との間で通信が行われている場合、操作パネル51の表示画面上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示することができるようになっている。さらに、システムコントローラ41は、所望の操作スイッチが触れられて所定領域のタッチパネルが操作されることによって設定値の変更等の操作入力が行えるようになっている。
リモートコントローラ30は、滅菌域にいる執刀医等が操作する第2集中操作装置であり、通信が成立している他の装置を、システムコントローラ41を介して操作することができるようになっている。
また、システムコントローラ41には、通信手段である赤外線通信ポート(図示せず)が取り付けられている。この赤外線通信ポートは、表示装置19の近傍等の赤外線が照射しやすい位置に設けられ、システムコントローラ41との間がケーブルで接続されている。
このシステムコントローラ41は、ケーブル9により患者モニタシステム4に接続されており、患者モニタシステム4は生体情報を解析し、この解析結果を所要の表示装置に表示させることができる。
なお、手術室2内には、手術台10等の医療機器等を撮像するカメラ37も設けられている。カメラ37によって手術台10等の医療機器を撮像し、その撮像画像を解析することで、その動作状態を判定することが可能である。この判定結果やカメラ37による撮像画像はシステムコントローラ41に供給されるようになっている。
図1は図2中の画像記録装置60の具体的な構成の一例を示している。
本実施の形態は医療画像を出力する装置として内視鏡プロセッサ15を用いた例について説明する。なお、医療画像を出力する装置としては、ビデオプロセッサ23を採用してもよく、また、内視鏡プロセッサ15とビデオプロセッサ23の両方を採用してもよい。内視鏡プロセッサ15は、図示しない内視鏡等からの画像を取り込んで画像信号処理を行い、内視鏡画像等の医療画像を生成することができる。内視鏡プロセッサ15は、内視鏡画像を高精細画像として出力することができるようになっている。内視鏡プロセッサ15からの医療画像は、画像記録装置60の映像IF61に供給される。
画像記録装置60にはUIIF62も設けられており、UIIF62には、術者の操作によって発生する操作信号が入力される。例えば、術者によるフットスイッチ(SW)の操作、内視鏡に設けられたスコープSWの操作、術者の音声入力操作に基づく操作信号等が入力される。UIIF62は、術者の操作に基づく操作信号を受信して制御部63に出力するようになっている。なお、図1では3種類の操作信号が入力される例を示したが、UIIF62に入力される操作信号としては、術者が術中において操作可能な操作部によって発生する各種操作信号を採用することができる。
制御部63は、画像記録装置60の各部を制御することができるようになっている。制御部63としては、図示しないCPU等のプロセッサによって構成されて、メモリ64に格納されたプログラムに従って動作して各部を制御するものであってもよい。
映像IF61は、画像伝送に適したインターフェースであり、内視鏡プロセッサ15からの医療画像を取り込む。なお、映像IF61は、DVI(Digital Visual Interface)端子、SDI(Serial Digital Interface)端子、RGB端子、Y/C端子、VIDEO端子等の種々の端子を採用することができる。映像IF61は、内視鏡プロセッサ15だけでなく、例えば、超音波装置、術野カメラ、X線観測装置、内視鏡プロセッサ15とは別の内視鏡プロセッサ等からの各種医療画像を取り込むことができる。
映像IF61が取り込んだ医療画像は、画像処理部65の動画及び複製生成部79内のエンコーダ66に与えられる。エンコーダ66は、入力された医療画像をフレームメモリ67に記憶させると共に読み出してエンコード処理を行うことで、入力された医療画像を所定の画像形式の映像信号にエンコードする。例えば、エンコーダ66は、入力された医療画像をMPEG2形式やMPEG-4AVC/H.264形式等の映像信号に変換可能である。エンコーダ66からの医療画像は動画生成部68に与えられる。
本実施の形態においては、動画生成部68は、制御部63に制御されて、予め設定されている第1の用途に適した動画像を生成してメディアドライバ69に出力するようになっている。記録部としてのメディアドライバ69は、動画生成部68によって生成された動画像を外部の記録媒体に与えて記録させると共に、内蔵されたハードディスク装置(HDD)70に与えて記録させることができるようになっている。なお、図1では外部の記録媒体としては、BD(ブルーレイディスク)、DVD、USB及びネットワーク上のサーバ等を例示してあるが、それ以外の記録媒体を採用してもよい。
例えば、制御部63は、動画生成部68に設定する第1の用途として、訴訟用の証拠記録を設定することができ、この場合には、例えば低画質の動画像が生成されるように動画生成部68を制御する。
ところで、従来、記録する動画像の画質等を設定することは可能であり、また、フットスイッチの出力や電気メス出力等を用いることで、動画像の記録の開始及び終了を制御することも可能である。しかしながら、記録のし忘れを防止するためには症例の全てを例えば高画質で記録する必要があることが多く、この場合、証拠記録用に画質を下げたり、学会発表用として編集したりする作業が記録後に必要であった。また、電気メス出力等を用いて記録の開始及び終了を制御する場合にも、証拠記録のために、別系統のエンコーダ(記録装置)を設けて症例の全てを記録しておく必要がある。この場合、2系統のエンコーダをそれぞれ操作する必要があり、記録操作が煩雑となる。
そこで、本実施の形態においては、エンコーダ66の出力から医療画像の1つ以上の複製を生成して、生成した複製から各用途に適した動画像を生成するようになっている。そして、本実施の形態においては、複製に基づく動画像の記録開始及び終了並びに用途を術者による操作信号や外部機器からの状態信号に基づいて制御するようになっている。
動画生成部68は、エンコーダ66の出力をそのまま可変動画バッファメモリ71に与えることができるようになっている。可変動画バッファメモリ71は、動画生成部68から医療画像が与えられる。なお、この医療画像はエンコーダ66から出力される最も高画質の画像である。即ち、動画生成部68は、第1の用途用の動画像だけでなく、エンコーダ66からの最高画質の動画像を出力できるようになっている。可変動画バッファメモリ71は、所定期間分の医療画像を蓄積する容量を有しており、順次入力された医療画像を更新しながら記憶するリングバッファである。動画複製部72は、制御部63に制御されて、可変動画バッファメモリ71からの医療画像を読み出して複製を作成して動画生成部73,74に与える。エンコーダ66、フレームメモリ67、動画生成部68、可変動画バッファメモリ71及び動画複製部72によって、動画及び複製生成部79が構成される。
動画生成部73は、制御部63に制御されて、第2の用途に適した動画像を生成してメディアドライバ69に出力し、動画生成部74は、制御部63に制御されて、第3の用途に適した動画像を生成してメディアドライバ69に出力するようになっている。メディアドライバ69は、動画生成部68,73,74によって生成された動画像を外部の記録媒体に与えて記録させると共に、HDD70に与えて記録させることができる。
例えば、メディアドライバ69は、ブルーレイディスク等の光学メディアに対する記録再生を行う光学ドライブ装置、USBメモリ等のUSBメディアに対して記録再生を行うUSB記録再生部等を備える(図示省略)。また、メディアドライバ69は、図示しないネットワークサーバに対して医療画像を転送して記録再生させるネットワークインタフェース等を備える(図示省略)。
本実施の形態においては、動画複製部72による複製のタイミングは、制御部63によって制御されるようになっている。検出部としての制御部63は、UIIF62に入力される操作信号のタイミング又はネットワーク21に接続された外部機器からの状態信号に基づくタイミングにおいて、動画複製部72による複製の開始及び終了を制御する。例えば、制御部63は、フットSWが押されたタイミングで動画複製部72の複製を開始させ、フットSWが離されたタイミングで動画複製部72の複製を終了させてもよく、また、例えば、スコープSWが押されるタイミング毎に動画複製部72に複製の開始又は複製の終了を行わせてもよい。
更に、本実施の形態においては、制御部63は、動画複製部72が読み出す可変動画バッファメモリ71のアドレスを制御することで、医療画像の時間を遡って複製を行うタイムシフト複製を可能にする。例えば、術者が、出血が生じた後に複製の開始のための操作をした場合でも、動画複製部72が出血前に撮像されて可変動画バッファメモリ71に記録されている医療画像のデータ部分から読み出しを開始することで、出血部分における医療画像の複製を生成することができる。また、制御部63は、タイムシフト量を術者の操作によって、変更するようにしてもよい。例えば、タイムシフト量を記述したテーブルをメモリ64に記憶させておくことで、簡単な操作によってタイムシフト量の変更が可能である。
図3はタイムシフト量のテーブルの一例を説明するための説明図である。図3はタイムシフト量について3種類のプリセットを有するテーブルの例を示している。プリセットAは、フットSWが押される毎に-15秒ずつタイムシフト量を変化させることを示している。同様に、プリセットB,Cは、それぞれフットSWが押される毎に-30秒ずつ又は-60秒ずつタイムシフト量を変化させることを示している。図3の例では、フットSWが1回押された場合には、タイムシフトさせることなく、フットSWが操作されたタイミングで撮像された画像以降の医療画像が複製される。
例えば、プリセットAが設定されている状態で、フットSWが連続的に2回押されると、制御部63は、メモリ64に格納されたテーブルに基づいて、フットSWの操作時点から15秒前に撮像された画像以降の医療画像が複製されるように制御を行う。また、例えば、プリセットCが設定されている状態で、フットSWが連続的に3回押されると、制御部63は、メモリ64に格納されたテーブルに基づいて、フットSWの操作時点から120秒前に撮像された画像以降の医療画像が複製されるように制御を行う。
制御部63は、タイムシフト量の情報をイベントタイミング制御部75に出力する。TCカウンタ76は、エンコーダ66のエンコード処理における時間基準となる時間情報を画像処理部65及びイベントタイミング制御部75に与えている。TCカウンタ76からの時間情報に基づいて、動画生成部68からの医療画像(動画像)のタイムコードが規定されている。
本実施の形態においては、イベントタイミング制御部75は、TCカウンタ76からの時間情報と制御部63からのタイムシフト量の情報とに基づいて、動画複製部72が複製している医療画像のタイムコードを求める。これらのタイムコードは、動画生成部68からの医療画像と動画複製部72が複製した医療画像とについて共通の時間軸を有するものであり、動画複製部72が複製する医療画像が動画生成部68からの医療画像のいずれの時間に相当するかが明らかとなる。
イベントタイミング制御部75は、求めた時間情報をメタ生成部77に出力する。メタ生成部77は入力された時間情報をメタ情報に変換する。メタ生成部77は、HDD70に与えられて記録される医療画像に、時間情報を含むメタ情報を付加して記録させるようになっている。なお、動画生成部68からの医療画像については、エンコード時又は動画生成時にタイムコードが付与されているが、イベントタイミング制御部75の制御によって、メタ生成部77による時間情報を含むメタ情報を動画生成部68からの医療画像に付加して記録することも可能である。
制御部63は、ネットワーク21に接続された外部機器からの状態信号に基づいて動画複製部72に医療画像を複製させた場合には、複製された医療画像を動画生成部73に与えるように制御を行う。この場合には、制御部63は、動画生成部73を例えば、第2の用途に適した動画像を生成するように各種設定を行う。第2の用途として、例えば技術認定に用いることを想定した場合には、動画生成部73は、例えばDVDのビデオ形式で中画質の動画像を生成する。なお、画質は、動画複製部72からの読み出し時に決定されるので、制御部63は、ネットワーク21に接続された外部機器からの状態信号に基づいて動画複製部72に医療画像を複製させる場合に、用途に応じて読み出しを制御する。例えば、電気メス装置13が使用される場合には、動画生成部73から中画質でDVD形式の医療画像がメディアドライバ69に出力されることになる。
しかし、ネットワーク21に接続された外部機器からの状態信号に基づいて記録制御では、上述したように、必ずしも必要なシーンの記録を行うことができない。このようなシーンについては、必ず術者が指定する必要がある。そこで、制御部63は、UIIF62において操作信号が受信されると、第3の用途を設定する。例えば、制御部63は、UIIF62において操作信号が受信されると、動画複製部72によって複製された医療画像を動画生成部74に与えると共に、動画生成部74を第3の用途に適した動画像を生成するように各種設定を行う。
第3の用途として、例えば学会発表用に用いることを想定した場合には、動画生成部74は、例えばフルHDの高画質の動画像を生成する。即ち、制御部63は、UIIF62において操作信号が受信されると、動画複製部72に医療画像を複製させる場合に、高画質の医療画像が得られるように読み出しを制御する。例えば、術者がスコープSWを操作すると、動画複製部72は高ビットレートで医療画像を読み出し、動画生成部74は高画質の医療画像をメディアドライバ69に出力することになる。
次に、このように構成された実施の形態の動作について図4のフローチャートを参照して説明する。
内視鏡プロセッサ15は、図示しない内視鏡からの撮像信号に基づく内視鏡画像を生成する。内視鏡プロセッサ15は、生成した内視鏡画像を医療画像として画像記録装置60に出力する。画像記録装置60は、ステップS1において医療画像の記録を開始する。この医療画像は映像IF61によって画像記録装置60に取り込まれて画像処理部65のエンコーダ66に供給される。エンコーダ66は、入力された医療画像に対して所定のエンコード処理を施して出力する。例えば、エンコーダ66は、最高ビットレートでの画像、例えばフルHD画質の画像を生成する符号化処理を行う。
エンコーダ66の出力は動画生成部68に供給される。動画生成部68は、入力された医療画像から第1の用途に適した動画像を生成する。例えば、動画生成部68は、第1の用途として証拠記録に用いる画像、例えば、低画質の医療画像のファイル化を行って(ステップS2)、メディアドライバ69に出力する。メディアドライバ69は、入力された医療画像を外部のメディアに記録すると共に、HDD70に与えて記録する。また、エンコーダ66からの医療画像は、動画生成部68を介して可変動画バッファメモリ71に供給されて保持される(ステップS3)。
次のステップS4において、制御部63はネットワーク21に接続された外部機器からの状態信号に基づいて、動画記録のトリガが発生したか否かを判断する。例えば、光源装置16からの状態信号に基づいて特殊光観察モードで内視鏡観察が開始されたことが示された場合や電気メス装置13からの状態信号に基づいて電気メス装置13が使用可能な状態になったことが示された場合等のように、外部機器のパラメータの変化が発生したことが状態信号によって示された場合等においては、制御部63は、動画記録のトリガが発生したものと判断して、処理をステップS5に移行して、動画複製部72に医療画像の複製を指示する。
動画複製部72は、制御部63によって設定されたタイムシフト量だけ前の時間の医療画像を可変動画バッファメモリ71から読み出して動画生成部73に与える。この場合には、動画複製部72は、第2の用途に適した画質、例えば中程度の画質が得られるように読み出しを行う。動画生成部73は、入力された医療画像から第2の用途に適した形式の動画像を生成してメディアドライバ69に与える。メディアドライバ69は入力された医療画像をHDD70に与えて記録する。
一方、制御部63は、複製を指示したタイミングでタイムシフト量の情報をイベントタイミング制御部75に出力しており、イベントタイミング制御部75は、TCカウンタ76の出力に基づいて、動画生成部73において生成されている動画像の時間情報を生成してメタ生成部77に出力する。メタ生成部77は、時間情報をメタ情報に変換して、HDD70に与えて、動画生成部73によって生成された動画像に付加する(ステップS6)。メディアドライバ69は、メタ情報が付加された医療画像をHDD70から読み出して、外部のメディアに記録する。
更に、制御部63は、ステップS7において、UIIF62によって受信された操作信号に基づいて、動画記録のトリガが発生したか否かを判断する。例えば、術者が重要であると判断したシーン等においてスコープSWを押すと、制御部63は、動画記録のトリガが発生したものと判断して、処理をステップS8に移行して、動画複製部72に医療画像の複製を指示する。
動画複製部72は、制御部63によって設定されたタイムシフト量だけ前の時間の医療画像を可変動画バッファメモリ71から読み出して動画生成部74に与える。この場合には、動画複製部72は、第3の用途に適した画質、例えばフルHD画質が得られるように読み出しを行う。動画生成部74は、入力された医療画像から第3の用途に適した形式の動画像を生成してメディアドライバ69に与える。メディアドライバ69は入力された医療画像をHDD70に与えて記録する。
また、イベントタイミング制御部75は、制御部63からのタイムシフト量の情報及びTCカウンタ76の出力に基づいて、動画生成部74において生成されている動画像の時間情報を生成してメタ生成部77に出力する。メタ生成部77は、時間情報をメタ情報に変換して、HDD70に与えて、動画生成部74によって生成された動画像に付加する(ステップS9)。メディアドライバ69は、メタ情報が付加された医療画像をHDD70から読み出して、外部のメディアに記録する。なお、メタ生成部77は、用途毎のID(用途ID)に基づくメタ情報を生成することができ、ステップS6,S9では、用途を示すメタ情報も対応する医療画像に付加することができる。
このように本実施の形態においては、エンコーダの出力から所定の用途に適した動画像を生成すると共に、エンコーダの出力から医療画像の1つ以上の複製を生成して、生成した複製から各用途に適した動画像を生成するようになっている。そして、複製に基づく動画像の記録開始及び終了並びに用途を術者による操作信号や外部機器からの状態信号に基づいて制御するようになっている。これにより、複数の用途に適した複数の動画像を同時に記録することが可能である。しかも、外部機器からの状態信号に基づいて所定の用途に適した動画像を自動的に記録することができると共に、術者の操作に基づいて任意のタイミングで所定の用途に適した動画像を記録することができる。これにより、記録のし忘れを防止しながら、各用途用の動画像を記録することができ、記録後に各用途用の動画像を得るための編集作業を省略することが可能である。また、医療画像の複製の作成に際して、記録開始のトリガ発生より前の時点からの医療画像を記録することができ、必要なシーンを確実に記録することができる。しかも、各用途用の医療画像に時間軸が共通のタイムコードに応じたメタ情報を付加しており、各医療画像を共通のタイムコードによって管理することができる。これにより、例えば、第1の用途用の医療画像の再生時に、自動的に第2の用途用の医療画像の再生を開始させることも可能である。
なお、上記第1の実施の形態においては、動画生成部68によって第1の用途用の医療画像を生成し、外部機器の状態信号に基づいて動画生成部73により第2の用途用の医療画像を生成し、術者の操作に基づく操作信号によって動画生成部74により第3の用途用の医療画像を生成する例を示したが、動画生成部68,73,74のいずれにおいていずれの用途用の医療画像を生成するようにしてもよい。また、外部機器の状態信号及び術者の操作に基づく操作信号のいずれによっていずれの動画生成部68,73,74による動画像が生成されるようになっていてもよい。
(第2の実施の形態)
図5は本発明の第2の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。第2の実施の形態は、プレイリストを用意することで、複数の動画生成部に割当てる用途及びトリガ発生の判定を自由に設定可能にしたものである。
図5は本発明の第2の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。第2の実施の形態は、プレイリストを用意することで、複数の動画生成部に割当てる用途及びトリガ発生の判定を自由に設定可能にしたものである。
図5は複数の動画生成部に割当てる用途の設定及びトリガ発生の判定の条件の設定のためのプレイリストの一例を説明するための説明図である。このプレイリストはメモリ64に記憶させることができ、制御部63は、メモリ64から読み出したプレイリストに従って、用途の割当て、即ち、用途に適した動画像を生成するための制御を行うと共に、当該用途用の動画像の記録タイミングを与えるトリガ発生の判定条件を決定する。
図5のプレイリストは、画像記録の発生トリガとして、内視鏡画像の有無、3Dモニタの設定及び術者の操作を判定する例を示している。例えば、映像IF61を介して内視鏡画像の入力が開始されると、制御部63は、動画生成部68に対して、用途として訴訟用の証拠記録に適した動画像の生成を指示して、当該動画像の記録を自動的に開始させる。また、制御部63は、映像IF61を介して内視鏡画像が入力されなくなった場合には、当該動画像の記録を停止させる。
また、制御部63は、内視鏡画像を図示しない2Dモニタから3Dモニタに表示させるように切換えが行われたことを状態信号によって検出した場合には、動画生成部73に対して、用途として学会用の発表素材に適した動画像の生成を指示して、当該動画像の記録を開始させる。また、制御部63は、内視鏡画像を3Dモニタから2Dモニタに表示させるように切換えが行われた場合には、当該動画像の記録を停止させる。
また、制御部63は、術者がフットSWをオンにする操作を操作信号によって検出した場合には、動画生成部74に対して、用途として教育用の素材に適した動画像の生成を指示して、当該動画像の記録を開始させる。また、制御部63は、術者がフットSWをオフにする操作を検出した場合には、当該動画像の記録を停止させる。
なお、制御部63は、ユーザによる図示しない入力装置の操作によって、プレイリストを更新することができるようになっている。
次にこのように構成された実施の形態の動作について図6及び図7を参照して説明する。図6は第2の実施の形態の動作を説明するためのフローチャートである。図6において図4と同一の手順について同一の符号を付して説明を省略する。図7は第2の実施の形態の動作を説明するための説明図である。図7は横軸に時間をとり、腹腔鏡手術を例に、各手技の処置の流れ、記録される医療画像との関係を示している。
図6のフローはステップS11において、制御部63は、メモリ64からプレイリストを読み込むようになっている。制御部63は、読み込んだプレイリストに従って、医療画像の記録の開始及び終了のためのトリガの発生を判定すると共に、記録する医療画像の用途に応じた記録制御を行う。
いま、メモリ64に図5に内容を示したプレイリストが格納されており、図7に示す腹腔鏡手術が行われるものとして説明する。図7は各処置の開始タイミング及びモニタのモード切換を矢印にて示しており、処置として患者ID入力、穿刺と送気、内視鏡の挿入、術野展開、解剖確認、剥離、結紮、切離、止血、摘出、閉創が順次行われることを示している。また、モニタモードは、2Dモードで開始され、剥離処置を含む期間と、結紮及び切離処置を含む期間にのみ3Dモードに設定される。
図7の例では、先ず患者IDの入力作業が行われる。更に、穿刺及び送気処置が行われる。次に、内視鏡が挿入される。内視鏡からの画像は内視鏡プロセッサ15に供給され、内視鏡プロセッサ15は内視鏡画像を画像記録装置60の映像IF61に供給する。制御部63は、図5に示すように、動画生成部68に対して訴訟の証拠記録用の医療画像の生成及び記録を指示する。これにより、図7の破線による記録aに示すように、証拠用の動画像の記録が開始される。この記録aは、内視鏡画像が入力される間、閉創処置まで続けられる。
制御部63は、図6のステップS4において、状態信号に基づくトリガ発生を判定し、ステップS7において、操作信号に基づくトリガ発生を判定している。術者がスコープ挿入時において、フットSWを所定期間オンにするものとする。そうすると、制御部63は、図5に示すように、動画生成部74に対して教育用の素材の医療画像の生成を指示する。こうして、図7の破線に示す期間だけ、教育用の動画像の記録dが行われる。同様に、術者は解剖確認処置時においても所定期間フットSWをオンにする。こうして、図7の破線に示す期間だけ、教育用の動画像の記録eが行われる。
次に、剥離処置において内視鏡画像を2Dモニタから3Dモニタに切換えて表示させるものとする。この場合には、制御部63は、モニタからの状態信号に基づいて、図5に示すように、動画生成部73に対して学会用発表用の素材の医療画像の生成を指示する。こうして、図7の破線による記録bに示すように、3Dモニタへの表示期間だけ、学会発表用の動画像の記録が行われる。
以後、同様にして、内視鏡画像を3Dモニタに表示している期間には、図7の破線による記録cに示すように、学会発表用の動画像の記録が行われ、術者がフットSWをオンにしている期間には、図7の破線による記録f~jに示すように、教育用の動画像の記録が行われる。なお、メタ生成部77は、イベントタイミング制御部75の出力に基づいて、HDD70に記録した医療画像に時間情報を付加する。
また、メタ生成部77は、用途毎のID(用途ID)に基づくメタ情報を生成することができ、ステップS6,S9では、用途を示すメタ情報も対応する医療画像に付加される。
図6の例では、制御部63は、状態信号に基づいて記録される医療画像又は操作信号に基づいて記録される医療画像(以下、これらの医療画像をショートクリップともいう)が存在する場合には、ステップS12から処理をステップS13に移行して、同一の用途IDが付されたショートクリップをまとめるようになっている。例えば、制御部63は、図7に示すように、証拠記録用の動画像(記録a)をネットワークサーバに出力させ、学会発表用の動画像(記録b,c)をまとめてブルーレイディスクに記録し、教育用の動画像(記録d~j))をまとめてUSBハードディスクに記録する。
このように本実施の形態においても、第1の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ユーザが適宜設定したプレイリストに従って記録制御が可能であり、各種用途に対応した医療画像を適宜のタイミングで生成することができる。
(変形例)
図8は変形例を示すブロック図である。図8において図1と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画生成部73,74は、動画生成部68の出力と同じ画質の動画像を出力することもでき、また、動画生成部68の出力に拘わらず、例えば再エンコードによって、任意の画質の動画像を出力することもできる。動画生成部73,74において再エンコード機能を有する場合には、このエンコード機能を別回路によって実現するようにしてもよい。
図8は変形例を示すブロック図である。図8において図1と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画生成部73,74は、動画生成部68の出力と同じ画質の動画像を出力することもでき、また、動画生成部68の出力に拘わらず、例えば再エンコードによって、任意の画質の動画像を出力することもできる。動画生成部73,74において再エンコード機能を有する場合には、このエンコード機能を別回路によって実現するようにしてもよい。
図8はこの場合の例を示しており、画像記録装置80の画像処理部81は、動画及び複製生成部79、切換部82、エンコーダ83a,83b並びに動画生成部84a,84bによって構成されている。動画及び複製生成部79の動画複製部72が複製した画像(複製画像)は切換部82を介してエンコーダ83a,83bに与えられる。切換部82は、制御部63に制御されて、複製画像をエンコーダ83a,83bの一方又は両方に供給するようになっている。
エンコーダ83a,83bは、それぞれ入力された医療画像を図示しないフレームメモリに記憶させると共に読み出してエンコード処理を行うことで、入力された医療画像を所定の画像形式の映像信号に再エンコードする。例えば、エンコーダ83a,83bは、入力された医療画像をMPEG2形式やMPEG-4AVC/H.264形式等の映像信号に再変換可能である。エンコーダ83a,83bからの医療画像はそれぞれ動画生成部84a,84bに与えられる。
なお、動画生成部68は、エンコーダ66から出力される最も高画質の画像を可変動画バッファメモリ71に供給し、動画複製部72は、最高画質の医療画像を出力できるように、可変動画バッファメモリ71からの読み出しが制御されるようになっていてもよい。
動画生成部84aは、制御部63に制御されて、エンコーダ83aによってエンコードされた医療画像に基づいて第2の用途に適した動画像を生成してメディアドライバ69に出力し、動画生成部84bは、制御部63に制御されて、エンコーダ83bによってエンコードされた医療画像に基づいて第3の用途に適した動画像を生成してメディアドライバ69に出力するようになっている。
次に、このように構成された変形例の動作について図9のフローチャートを参照して説明する。図9において図4と同一の手順には同一符号を付して説明を省略する。図9のフローは、ステップS5,S8にそれぞれ代えて必ずエンコード処理を行うステップS15,18を採用した点が図4のフローと異なるのみである。なお、図9は図4に示す第1の実施の形態に対応するフローチャートを示したが、本変形例は図6の第2の実施の形態にも同様に適用可能であることは明らかである。
制御部63は、ステップS4においてネットワーク21に接続された外部機器からの状態信号に基づいて動画記録のトリガが発生したものと判断すると、ステップS15に処理を移行する。ステップS15においては、動画複製部72は医療画像の複製を作成する。動画複製部72からの医療画像は切換部82を介してエンコーダ83aに供給される。エンコーダ83aは、入力された医療画像に対して再エンコード処理を施す。エンコーダ83aは、制御部63に制御されて所望の画質の動画像を生成することができる。例えば、エンコーダ83aは、第2の用途に適した画質として、中程度の画質の動画像を生成してもよい。エンコーダ83aはエンコード後の動画像を動画生成部84aに与える。動画生成部84aは、エンコード結果に基づいて第2の用途に適した形式の動画像を生成してメディアドライバ69に与える。メディアドライバ69は例えば入力された医療画像をHDD70に与えて記録する。
また、制御部63は、ステップS7において術者の操作に基づいて記録開始のトリガが発生したものと判定した場合には、ステップS18に処理を移行する。ステップS18においては、動画複製部72は医療画像の複製を作成する。動画複製部72からの医療画像は切換部82を介してエンコーダ83bに供給される。エンコーダ83bは、入力された医療画像に対して再エンコード処理を施す。エンコーダ83bは、制御部63に制御されて所望の画質の動画像を生成することができる。例えば、エンコーダ83bは、第3の用途に適した画質として、フルHD画質の動画像を生成してもよい。エンコーダ83bはエンコード後の動画像を動画生成部84bに与える。動画生成部84bは、エンコード結果に基づいて第3の用途に適した形式の動画像を生成してメディアドライバ69に与える。メディアドライバ69は例えば入力された医療画像をHDD70に与えて記録する。
他の作用は上記各実施の形態と同様である。
このようにこの変形例では、複製した医療画像に対して独立したエンコーダを用いた再エンコード処理が可能である。例えば、動画及び複製生成部79の動画生成部68の出力の画質や解像度等に拘わらず、エンコーダ83a,83bにおいて、任意の画質や解像度等に変換して、出力メディアに最適な動画像を得ることが可能である。例えば、出力メディアがタブレットPCである場合には、エンコーダ83a,83bのエンコード処理によって、タブレットPCにおいて扱うことができる指定された画像サイズや容量等に適した記録を行うことが可能となる。この場合には、手術途中において、術者は、例えば証拠記録用の低画質の動画像をネットワークサーバに出力させながら、学会発表に用いるタブレットPCに、学会発表用の高画質の動画像を記録させることも可能である。
(第3の実施の形態)
図10は本発明の第3の実施の形態を説明するためのブロック図である。図10において図8と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画及び複製生成部79において、1系統の入力医療画像をエンコードして第1の用途用の記録用の医療画像を生成すると共にその複製を作成し、複製画像に基づいて第2、第3の用途用の記録用医療画像の生成を可能にするものであった。これに対し、本実施の形態は、2系統の入力医療画像に対応可能な例を示している。
図10は本発明の第3の実施の形態を説明するためのブロック図である。図10において図8と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画及び複製生成部79において、1系統の入力医療画像をエンコードして第1の用途用の記録用の医療画像を生成すると共にその複製を作成し、複製画像に基づいて第2、第3の用途用の記録用医療画像の生成を可能にするものであった。これに対し、本実施の形態は、2系統の入力医療画像に対応可能な例を示している。
ネットワーク21内には、2つの内視鏡プロセッサ15a,15bが設けられている。手術等において、複数の内視鏡が使用されることがある。例えば、胃や十二指腸等の消化器の手術に際して、消化器内視鏡と外科内視鏡とが同時に使用されることがある。このような場合において、内視鏡プロセッサ15a,15bは、それぞれ図示しない各内視鏡からの画像を取り込んで画像信号処理を行い、医療画像を出力することができる。
内視鏡プロセッサ15a,15bからの各医療画像は、画像記録装置90の映像IF95に供給される。映像IF95は、画像伝送に適したインターフェースであり、2系統の内視鏡プロセッサ15a,15bからの医療画像を取り込む。なお、映像IF95は、DVI(Digital Visual Interface)端子、SDI(Serial Digital Interface)端子、RGB端子、Y/C端子、VIDEO端子等の種々の端子を採用することができる。映像IF95は、内視鏡プロセッサ15a,15bだけでなく、例えば、超音波装置、術野カメラ、X線観測装置、内視鏡プロセッサ15a,15bとは別の内視鏡プロセッサ等からの2系統の各種医療画像を同時に取り込むことができる。
映像IF95によって取り込まれた2つの医療画像は、画像合成処理部92に与えられる。画像合成処理部92は、制御部63に制御されて、入力された2つの医療画像をそのまま出力することができると共に、入力された2つの医療画像を合成して出力することができる。例えば、画像合成処理部92は、入力された2つの医療画像を並べて表示するPOP(ピクチャアウトピクチャ)方式で画像合成することもでき、また、入力された2つの医療画像のうち一方の画像を他方の画像の子画像としてPIP(ピクチャーインピクチャ)方式で画像合成することもできる。画像合成処理部92は、2つの入力医療画像のうちの一方又は合成画像を動画及び複製生成部79に与え、2つの入力医療画像のうちの他方又は合成画像を切換部93に与えることができる。なお、制御部63は、メモリ64に記憶された合成設定情報に基づいて画像合成処理部92の合成処理を制御するようになっていてもよく、メモリ64に記憶される合成切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
動画及び複製生成部79は、入力された合成画像又は医療画像をエンコーダ66によってエンコードする。動画及び複製生成部79は、エンコード結果に基づく複製画像を切換部93に出力すると共に、エンコード結果に基づく動画像を生成してメディアドライバ69に出力する。
切換部93には、画像合成処理部92から2つの入力医療画像の一方がそのまま与えられるか又は2つの入力医療画像の合成画像が与えられる。また、切換部93には動画及び複製生成部79から複製された画像が与えられる。切換部93は、制御部63に制御されて、画像合成処理部92からの画像をエンコーダ83a,83bのいずれか一方に与え、エンコーダ83a,83bの他方には、動画及び複製生成部79からの画像を与える。また、切換部93は、動画及び複製生成部79からの画像をエンコーダ83a,83bの両方に与えるようにしてもよい。なお、制御部63は、メモリ64に記憶された切換設定情報に基づいて切換部93の切換えを制御するようになっていてもよく、メモリ64に記憶される切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
他の構成は上記各実施の形態と同様である
このように構成された実施の形態においては、動画及び複製生成部79によって、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像に基づく複製画像が生成される。また、動画及び複製生成部79は、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像(以下、これらの画像を複製画像に対してマスター画像という)に基づく第1の用途用の動画像を生成する。動画及び複製生成部79によって、マスター画像に基づく動画像がメディアドライバ69に供給される。
このように構成された実施の形態においては、動画及び複製生成部79によって、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像に基づく複製画像が生成される。また、動画及び複製生成部79は、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像(以下、これらの画像を複製画像に対してマスター画像という)に基づく第1の用途用の動画像を生成する。動画及び複製生成部79によって、マスター画像に基づく動画像がメディアドライバ69に供給される。
動画及び複製生成部79からの複製画像は、切換部93に与えられる。切換部93には、画像合成処理部92から、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像、即ち、マスター画像が与えられる。切換部93は、制御部63に制御されて、画像合成処理部92からのマスター画像をエンコーダ83a,83bの一方に与え、動画及び複製生成部79からの複製画像をエンコーダ83a,83bの他方に与えるか、又は、動画及び複製生成部79からの複製画像をエンコーダ83a,83bの両方に与える。
エンコーダ83aは、入力された画像をエンコード処理又は再エンコード処理して、所望の画質等の動画像を得て動画生成部84aに出力する。また、エンコーダ83bは、入力された画像をエンコード処理又は再エンコード処理して、所望の画質等の動画像を得て動画生成部84bに出力する。動画生成部84aはエンコード結果を第2の用途用の動画像としてメディアドライバ69に与え、動画生成部84bはエンコード結果を第3の用途用の動画像としてメディアドライバ69に与える。
こうして、メディアドライバ69には、最大で3つの用途に適した動画像が入力される。即ち、切換部93の切換制御によって、メディアドライバ69には、1又は2つのマスター画像に基づく動画像と1つの複製画像に基づく動画像が入力されるか又は1つのマスター画像に基づく動画像と2つの複製画像に基づく動画像が入力される。
例えば、映像IF95に入力される医療画像が消化器内視鏡による内視鏡画像と外科内視鏡による内視鏡画像とであるものとする。この場合には、例えば、消化器内視鏡による内視鏡画像(マスター画像)に基づく第1の用途用の動画像と、外科内視鏡による内視鏡画像(マスター画像)に基づく第2の用途用の動画像と、消化器内視鏡による内視鏡画像の複製画像に基づく第3の用途用の動画像とをメディアドライバ69に供給することができる。また、例えば、消化器内視鏡及び外科内視鏡による2つの内視鏡画像の合成画像(マスター画像)に基づく第1の用途用の動画像と、2つの内視鏡画像の合成画像の複製画像に基づく第2の用途用の動画像と、2つの内視鏡画像の合成画像の複製画像に基づく第3の用途用の動画像とをメディアドライバ69に供給することもできる。また、例えば、消化器内視鏡と外科内視鏡による2つの内視鏡画像の合成画像(マスター画像)に基づく第1の用途用の動画像と、2つの内視鏡画像の合成画像の複製画像に基づく第2の用途用の動画像と、消化器内視鏡による内視鏡画像(マスター画像)に基づく第3の用途用の動画像とをメディアドライバ69に供給することもできる。
また、例えば、映像IF95に入力される医療画像として、1つの3D内視鏡の出力に基づく3D画像及び2D画像であってもよい。この場合には、例えば、2D画像(マスター画像)に基づく第1の用途用の低画質の動画像と、3D画像(マスター画像)に基づく第2の用途用の高画質の動画像と、2D画像の複製画像に基づく第3の用途用の高画質の動画像とをメディアドライバ69に供給することができる。
このように本実施の形態においては、2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像をマスター画像とし、2種類のマスター画像に基づく動画像と1種類のマスター画像の複製画像に基づく動画像とを記録することができるか又は1種類のマスター画像に基づく動画像と1種類のマスター画像の複製画像に基づく2種類の動画像とを記録することができる。2つの医療画像に対する合成処理及び第2及び第3の用途用のエンコーダへの入力を切換える切換え処理の制御によって、多種類の動画像の中から最大で3種類の動画像を選択して記録することが可能である。
なお、第3の実施の形態において、切換部93が画像合成処理部92からの2つの入力医療画像のいずれか一方又は2つの入力医療画像の合成画像をそれぞれエンコーダ83a,83bの両方に与えるように制御することも可能である。この場合には、複製画像に基づく動画像を記録することはできないが、マスター画像に基づく3種類の動画像を記録することが可能となる。
(第4の実施の形態)
図11は本発明の第4の実施の形態を説明するためのブロック図である。図11において図10と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は画像合成処理部92を省略し、複製生成部98を追加し、切換部93に代えて切換部99を採用した点が第3の実施の形態と異なる。
図11は本発明の第4の実施の形態を説明するためのブロック図である。図11において図10と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は画像合成処理部92を省略し、複製生成部98を追加し、切換部93に代えて切換部99を採用した点が第3の実施の形態と異なる。
映像IF95は、入力された2つの医療画像の一方を動画及び複製生成部79に与え、他方を動画及び複製生成部98に与える。動画及び複製生成部98は、動画及び複製生成部79と同一構成である。動画及び複製生成部79及び98は、いずれもそれぞれ入力された医療画像をマスター画像としこのマスター画像に基づく動画像を生成すると共に、マスター画像の複製画像を生成して、生成した動画像及び複製画像を切換部99に出力する。
切換部99は、制御部63に制御されて、動画及び複製生成部79,98から4種類の画像のうち3種類の画像をそれぞれエンコーダ83a,83b及びメディアドライバ69に与える。なお、切換部99は、4種類の画像のうち少なくとも1つの複製画像を選択して出力するようになっている。
なお、制御部63は、メモリ64に記憶された切換設定情報に基づいて切換部99の切換えを制御するようになっていてもよく、メモリ64に記憶される切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
他の構成は上記各実施の形態と同様である
このように構成された実施の形態においては、動画及び複製生成部79は、映像IF95に入力される2つの入力医療画像のいずれか一方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。また、同様に、動画及び複製生成部98は、2つの入力医療画像の他方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。動画及び複製生成部79,98が生成した4種類の画像は切換部99に供給される。切換部99は、制御部63に制御されて、4入力のうち少なくとも1つの複製画像を含む3つの入力画像をエンコーダ83a,83b又はメディアドライバ69に与える。
このように構成された実施の形態においては、動画及び複製生成部79は、映像IF95に入力される2つの入力医療画像のいずれか一方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。また、同様に、動画及び複製生成部98は、2つの入力医療画像の他方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。動画及び複製生成部79,98が生成した4種類の画像は切換部99に供給される。切換部99は、制御部63に制御されて、4入力のうち少なくとも1つの複製画像を含む3つの入力画像をエンコーダ83a,83b又はメディアドライバ69に与える。
こうしてこの場合には、2つの医療画像のいずれをマスター画像とすることも可能であり、また、2つの医療画像のいずれのマスター画像を複製していずれの用途用の動画像を生成することも可能である。
他の作用及び効果は上記各実施の形態と同様である。
なお、上記第3及び第4の実施の形態においては、エンコーダは省略可能である。
また、上記各実施の形態においては、3つの用途に適した医療画像を生成して記録する例を説明したが、動画生成部の数に応じて任意の数の用途に適した医療画像を同時に生成して記録することができる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本出願は、2015年5月27日に日本国に出願された特願2015-107807号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
Claims (12)
- 基準時間情報に対応付けられた医療画像から記録用の第1の動画像を生成する第1の動画生成部と、
外部機器からの状態信号に基づく第1の検出タイミング及び操作部の操作信号に基づく第2の検出タイミングの少なくとも一方を検出する検出部と、
前記検出部が検出した検出タイミングで前記医療画像の複製を生成する複製部と、
前記複製部が複製した医療画像に基づく記録用の動画像を生成する第2の動画生成部と、
前記第1の動画像を記録すると共に、前記第2の動画生成部が生成した動画像を前記基準時間情報に対応付けて記録する記録部と、
を具備したことを特徴とする画像記録装置。 - 前記検出部は、前記第1及び第2の検出タイミングを検出し、
前記第2の動画生成部は、前記第1の検出タイミングで前記複製部が複製した前記医療画像の複製に基づく記録用の第2の動画像を生成する処理部と、前記第2の検出タイミングで前記複製部が複製した前記医療画像の複製に基づく記録用の第3の動画像を生成する処理部と、を具備する
ことを特徴とする請求項1に記載の画像記録装置。 - 前記複製部は、前記医療画像を所定期間保持する画像保持部を具備し、前記画像保持部からの前記医療画像の読み出し制御によって、前記検出部の検出タイミング前の前記医療画像の複製を生成する
ことを特徴とする請求項1又は2に記載の画像記録装置。 - 前記記録部は、前記基準時間情報が与えられて前記第2の動画生成部が生成した動画像上の時間を求めるイベントタイミング制御部と、
前記イベントタイミング制御部が求めた時間に基づくメタ情報を生成して前記第2の動画生成部が生成した動画像に関連付けて記録するメタ生成部とを具備する
ことを特徴とする請求項1又は2に記載の画像記録装置。 - 前記複製部は、前記医療画像を所定期間保持する画像保持部を具備し、前記画像保持部からの前記医療画像の読み出し制御によって、前記検出部の検出タイミング前の前記医療画像の複製を生成し、
前記イベントタイミング制御部は、前記基準時間情報と前記画像保持部からの複製タイミングの情報とに基づいて、前記第2の動画生成部が生成した動画像上の時間を求める
ことを特徴とする請求項4に記載の画像記録装置。 - 前記状態信号及び操作信号と前記医療画像の記録用途に対応した動画生成制御との関連を示すプレイリストを保持する記憶部と、
前記プレイリストに従って、前記複製部並びに前記第1及び第2の動画生成部を制御する制御部と
を具備したことを特徴とする請求項1乃至5のいずれか1つに記載の画像記録装置。 - 前記第1の動画生成部は、前記医療画像をエンコードする第1のエンコーダ
を具備したことを特徴とする請求項1に記載の画像記録装置。 - 前記第2の動画生成部は、前記医療画像をエンコードする第2のエンコーダ
を具備したことを特徴とする請求項7に記載の画像記録装置。 - 前記第1の動画生成部は、前記医療画像をエンコードする第1のエンコーダを具備し、
前記第2の動画像を生成する処理部は、前記医療画像の複製をエンコードする第2のエンコーダを具備し、
前記第3の動画像を生成する処理部は、前記医療画像の複製をエンコードする第3のエンコーダを具備する
ことを特徴とする請求項2に記載の画像記録装置。 - 基準時間情報に対応付けられた2系統の医療画像が入力され、入力された前記2系統の医療画像を合成して合成画像を生成する合成処理部と、
前記2系統の医療画像の一方又は前記合成画像を前記第1の動画生成部に与え、前記2系統の医療画像の他方又は前記合成画像を前記第2の動画生成部に与える切換部と
を具備したことを特徴とする請求項1に記載の画像記録装置。 - 前記第1の動画生成部は、前記医療画像をエンコードする第1のエンコーダを具備し、
前記第2の動画生成部は、前記医療画像をエンコードする第2のエンコーダを具備する
ことを特徴とする請求項10に記載の画像記録装置。 - 前記第1の動画生成部及び複製部をそれぞれ2系統有し、
2系統の前記第1の動画生成部には、それぞれ基準時間情報に対応付けられた2系統の医療画像の一方又は他方が与えられ、
2系統の前記第1の動画生成部により生成された2系統の第1の動画像及び前記2系統の複製部によって複製された前記2系統の医療画像の各複製の4入力のうち2入力を選択して前記第2の動画像を生成する処理部又は前記第3の動画像を生成する処理部に与える切換部
を具備したことを特徴とする請求項2に記載の画像記録装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016567429A JP6177462B2 (ja) | 2015-05-27 | 2016-04-25 | 画像記録装置 |
CN201680030863.0A CN107613841B (zh) | 2015-05-27 | 2016-04-25 | 图像记录装置 |
US15/822,000 US20180092509A1 (en) | 2015-05-27 | 2017-11-24 | Image recording device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-107807 | 2015-05-27 | ||
JP2015107807 | 2015-05-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/822,000 Continuation US20180092509A1 (en) | 2015-05-27 | 2017-11-24 | Image recording device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016190022A1 true WO2016190022A1 (ja) | 2016-12-01 |
Family
ID=57394078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/062936 WO2016190022A1 (ja) | 2015-05-27 | 2016-04-25 | 画像記録装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180092509A1 (ja) |
JP (1) | JP6177462B2 (ja) |
CN (1) | CN107613841B (ja) |
WO (1) | WO2016190022A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110678116A (zh) * | 2017-06-05 | 2020-01-10 | 索尼公司 | 医疗系统和控制单元 |
JP2020156689A (ja) * | 2019-03-26 | 2020-10-01 | 日本光電工業株式会社 | 生体情報監視システム |
JP2021133083A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | 医用画像録画装置およびx線撮像装置 |
WO2022201800A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 手術室システム、画像記録方法、プログラム、および医療情報処理システム |
WO2023033081A1 (ja) * | 2021-08-31 | 2023-03-09 | 株式会社OPExPARK | 医療映像編集システム、医療映像編集サーバ、医療映像編集プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108652675A (zh) * | 2018-02-11 | 2018-10-16 | 江苏金羿智芯科技有限公司 | 一种基于人工智能的内窥镜图像去雾系统 |
CN113689949A (zh) * | 2020-05-18 | 2021-11-23 | 日本电气株式会社 | 信息处理方法、电子设备和计算机存储介质 |
EP4074240A1 (en) * | 2021-04-13 | 2022-10-19 | Ambu A/S | Endoscope image recording unit |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
WO2012165381A1 (ja) * | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8293602B2 (en) * | 2010-11-19 | 2012-10-23 | Micron Technology, Inc. | Method of fabricating a finFET having cross-hair cells |
-
2016
- 2016-04-25 WO PCT/JP2016/062936 patent/WO2016190022A1/ja active Application Filing
- 2016-04-25 CN CN201680030863.0A patent/CN107613841B/zh active Active
- 2016-04-25 JP JP2016567429A patent/JP6177462B2/ja active Active
-
2017
- 2017-11-24 US US15/822,000 patent/US20180092509A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
WO2012165381A1 (ja) * | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110678116A (zh) * | 2017-06-05 | 2020-01-10 | 索尼公司 | 医疗系统和控制单元 |
EP3636135A4 (en) * | 2017-06-05 | 2020-06-10 | Sony Corporation | MEDICAL SYSTEM AND CONTROL UNIT |
US11451698B2 (en) | 2017-06-05 | 2022-09-20 | Sony Corporation | Medical system and control unit |
JP2020156689A (ja) * | 2019-03-26 | 2020-10-01 | 日本光電工業株式会社 | 生体情報監視システム |
JP7339005B2 (ja) | 2019-03-26 | 2023-09-05 | 日本光電工業株式会社 | 生体情報監視システム |
JP2021133083A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | 医用画像録画装置およびx線撮像装置 |
JP7414585B2 (ja) | 2020-02-28 | 2024-01-16 | 富士フイルムヘルスケア株式会社 | 医用画像録画装置およびx線撮像装置 |
WO2022201800A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 手術室システム、画像記録方法、プログラム、および医療情報処理システム |
WO2023033081A1 (ja) * | 2021-08-31 | 2023-03-09 | 株式会社OPExPARK | 医療映像編集システム、医療映像編集サーバ、医療映像編集プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6177462B2 (ja) | 2017-08-09 |
CN107613841B (zh) | 2019-08-27 |
JPWO2016190022A1 (ja) | 2017-06-08 |
CN107613841A (zh) | 2018-01-19 |
US20180092509A1 (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6177462B2 (ja) | 画像記録装置 | |
JP5347089B1 (ja) | 医療情報記録装置 | |
JP5690450B2 (ja) | 画像記録装置 | |
JP5378612B2 (ja) | 医療情報記録装置 | |
JP5613693B2 (ja) | 手術手順を実証するmpegファイルを記録するための方法 | |
WO2018163600A1 (ja) | 医療情報管理装置、医療情報管理方法、及び医療情報管理システム | |
JP5905168B2 (ja) | 医療用動画記録再生システム及び医療用動画記録再生装置 | |
WO2020202527A1 (ja) | 画像記録装置 | |
US10275905B2 (en) | Color integration system for medical images and recording and color management apparatus for medical images | |
WO2011152489A1 (ja) | 画像記録システム及び画像記録方法 | |
US20210203875A1 (en) | Image recording and reproduction apparatus, image recording method, and endoscope system | |
JP2015226216A (ja) | 医療用画像記録装置 | |
KR0155895B1 (ko) | 내시경 수술시스템 주변장치 및 그 제어방법 | |
WO2019097804A1 (ja) | 画像記録装置及び画像記録方法 | |
JP5551522B2 (ja) | 医療情報記録装置 | |
JP2018175757A (ja) | 画像記録再生装置及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2016567429 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16799730 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16799730 Country of ref document: EP Kind code of ref document: A1 |