WO2021157697A1 - 医療映像処理システム及びエンコード装置 - Google Patents
医療映像処理システム及びエンコード装置 Download PDFInfo
- Publication number
- WO2021157697A1 WO2021157697A1 PCT/JP2021/004330 JP2021004330W WO2021157697A1 WO 2021157697 A1 WO2021157697 A1 WO 2021157697A1 JP 2021004330 W JP2021004330 W JP 2021004330W WO 2021157697 A1 WO2021157697 A1 WO 2021157697A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- medical
- image
- medical image
- image quality
- display area
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to a medical video processing system and an encoding device used in the medical video processing system.
- Patent Document 1 In recent years, when performing medical surgery, the procedure is performed while displaying images of the surgical field and measurement results of biological information on multiple monitors provided in the operating room or recording them on a recorder. Is common. As a system for processing this kind of medical image, the present inventors have applied for a patent for the invention according to the following Patent Document 1.
- Patent Document 1 medical images taken by a plurality of cameras are displayed in synchronization, and editing processing for the medical images displayed in synchronization (processing of cutting out a part of the imaging period, processing of adding a comment about a desired timing, etc.) Is to be realized.
- Patent Document 1 describes an encoding device that performs an encoding process before transferring a medical image to a server device and storing it.
- this encoding device performs encoding processing on medical video
- the image quality of the medical video (medical video after encoding processing) stored in the server device may change, and the medical treatment confirmed on the monitor during surgery
- the impression was different from the impression received from the video (medical video before encoding processing).
- the present invention has been made in view of the above problems, and provides a medical image processing system that alleviates changes in the image quality of medical images caused by encoding processing, and an encoding device used in the medical image system.
- a medical image processing system that processes a medical image generated by a medical device, wherein the medical image is input from a first transmission path, and a monitor that displays the input medical image.
- the encoding device includes an encoding device that inputs the medical video from a second transmission path different from the first transmission path and performs encoding processing and image quality adjustment processing on the input medical video.
- An operation receiving means capable of accepting a user's operation for the image quality adjusting process, an image quality adjusting means for performing the image quality adjusting process based on the user's operation accepted by the operation receiving means, the image quality adjusting process, and the encoding process.
- It has a recording means for recording the medical image in which the medical image is performed, and a first display area for displaying the medical image in which the image quality adjustment process is performed and the encoding process is not performed.
- the operation receiving means receives the user's operation during recording by the recording means, the medical image displayed in the first display area is displayed on the user's operation after the time when the user's operation is received.
- a medical image processing system that produces an image that reflects the image quality adjustment process based on the above.
- an encoding device used in the medical video processing system.
- the encoding device that inputs the medical image through a transmission path (second transmission path) different from the transmission path (first transmission path) of the medical image displayed on the monitor has an image quality adjustment function. Therefore, the change in image quality can be mitigated by adjusting the image quality in advance (before storing in the server device) in consideration of the change in image quality due to the encoding process. Further, since the encoding device is provided with the first display means, the user can perform the image quality adjustment processing while visually recognizing the medical image that has not been subjected to the image quality change due to the encoding processing, thereby performing the image quality adjustment processing effect. Can be confirmed purely.
- a medical image processing system that alleviates changes in the image quality of medical images caused by encoding processing, and an encoding device used for the medical image system.
- FIG. 1 is a configuration diagram showing a configuration of the medical video system 1000 according to the present embodiment.
- the arrows shown in FIG. 1 indicate the output source and the input destination of the video transmitted / received between the constituent elements. Therefore, the transfer of information and data other than video does not necessarily have to match the contents indicated by the arrows.
- the medical image system 1000 processes medical images generated by the medical device group 200 (medical device according to the present invention).
- the medical video system 1000 includes at least a monitor group 300 (monitor according to the present invention) and an encoding device 400 (encoding device according to the present invention).
- the monitor group 300 inputs a medical image from the first transmission path and displays the input medical image.
- the encoding device 400 inputs a medical image from a second transmission path different from the first transmission path, performs encoding processing on the input medical image, and adjusts the image quality of the input medical image. It is characterized by performing processing.
- the encoding device 400 since the encoding device 400 has an image quality adjusting function, the image quality can be adjusted before being stored in the server device 600 in consideration of the image quality change due to the encoding process, and the image quality change can be performed. Can be alleviated. From another point of view, it is possible that the device (medical device group 200 or switcher 100) upstream of the encoding device 400 has an image quality adjusting function. However, even if the device is equipped with an image quality adjuster, the medical image displayed on the monitor group 300 (medical image before encoding processing) and the medical image stored in the server device 600 (medical image after encoding processing).
- the device downstream from the encoding device 400 can be provided with an image quality adjusting function.
- the image quality adjustment can be performed according to the practitioner's intention. Have difficulty. Therefore, the above system configuration is inconvenient if it is used for reviewing medical images after surgery (for example, at a conference).
- the medical video system 1000 includes a switcher 100, a medical device group 200 connected to the input channel of the switcher 100, a monitor group 300 connected to the output channel of the switcher 100, and an encoding device 400. Then, the medical video system 1000 requests and requests the video from the server device 600 that downloads and saves the video supplied from the encoding device 400 via the network 500 and the server device 600 via the network 500. It includes a viewing terminal group 700 that receives and displays (reproduces) video from a server device 600 via a network 500 via a network 500.
- the switcher 100 is a device that inputs medical images from any of a plurality of input channels (medical device group 200) and outputs them from an output channel connected to the input channel among the plurality of output channels.
- the medical device group 200 include a surgical field camera 201, a head camera 202, an electronic medical record 203, a biometric measuring instrument 204, an endoscope 205, a microscope 206, and an ultrasonic diagnostic apparatus. 207 and the fluoroscopic imaging device 208 are illustrated.
- the surgical field camera 201 is a camera that shoots the surgical field from a position facing the surgical field and outputs the shot image to the switcher 100.
- the head camera 202 is a camera that is set on the head of the practitioner (surgeon) and outputs the captured image to the switcher 100.
- the electronic medical record 203 is a computer device that stores a medical record (medical record) regarding a patient (patient) undergoing surgery and outputs the stored medical record to the switcher 100.
- the number of medical records output from the electronic medical record 203 is not limited to one, and may be plural.
- the electronic medical record 203 can output the medical records separately for each input channel of the switcher 100.
- the biometric device 204 is a measuring device that measures the biometric information (blood pressure, pulse rate, electrocardiogram, respiratory rate, body temperature, etc.) of the subject and outputs the measured biometric information to the switcher 100.
- the endoscope 205 is a medical device in which a camera lens, a forceps hole, or the like is provided at the tip of a tube inserted into the body of the person to be treated, and an image taken by the camera is output to the switcher 100. ..
- the microscope 206 is a medical device that magnifies a minute part (nerve, blood vessel, etc. of the person to be treated) to a size that can be seen with the naked eye, and can output the magnified image to the switcher 100.
- the ultrasonic diagnostic apparatus 207 is a medical device that applies ultrasonic waves to an object (chest, abdomen, etc. of the person to be treated) and visualizes the echo, and is sometimes called "echo".
- the ultrasonic diagnostic apparatus 207 can output an image based on the echoed ultrasonic waves to the switcher 100.
- the fluoroscopic imaging device 208 is a medical device that irradiates an object (the person to be treated) with X-rays and generates an X-ray image based on the transmitted X-rays, and can output the generated X-ray image to the switcher 100. Is.
- the medical device group 200 mentioned here is a specific example, and some of them may be missing in the practice of the present invention, or another medical device not mentioned here may be included.
- video data related to video and the like including medical records and measurement results of biological information
- a device monitoring group 300 and viewing terminal group described later
- the images and the like displayed by 700 will be described below, assuming that they all correspond to the "medical images" according to the present invention.
- the monitor group 300 is a display device that inputs the medical image output from the medical device group 200 via the switcher 100 and displays the input medical image.
- the number of display devices corresponding to the monitor group 300 is not particularly limited, and a single display device may be used.
- the encoding device 400 inputs the medical video output from the medical device group 200 via the switcher 100, performs encoding processing and image quality adjustment processing on the input medical video, and transfers and stores the input medical video to the server device 600. Convert to a suitable format. It should be noted that the encoding device according to the present invention only needs to have a function of inputting a medical image and executing an encoding process and an image quality adjustment process on the input medical image, and has other functions. Tolerate. Therefore, the encoding device according to the present invention does not need to be a device specialized for these functions.
- the encoding device 400 has a recording function for recording a medical image in a built-in storage (not shown), a playback function for reproducing the medical image recorded in the storage, or a stationary frame for each frame constituting the medical image. It may have a capture function for cutting out as an image, and the like.
- the encoding device 400 in the present embodiment has four input systems, medical images can be input from each of the four output channels of the switcher 100, and each medical image is encoded. It can be stored in the server device 600.
- the number of input systems of the encoding device 400 is not particularly limited, and may be less than or more than four.
- the encoding device 400 can also perform image quality adjustment processing on the input medical video. Specifically, the encoding device 400 accepts a user's operation and performs image quality adjustment processing based on the accepted operation. Therefore, the user can store the medical image adjusted to an arbitrary image quality in the server device 600. The user's operation and the image quality adjustment process corresponding to the operation will be described later.
- the encoding device 400 according to the present embodiment will be described below assuming that it has a function of adjusting the image quality based on the user's operation, but denies the embodiment having the function of adjusting the image quality without accepting the user's operation. is not it.
- the encoding device 400 has four input systems, and medical images can be input from each of the four output channels of the switcher 100.
- the encoding device 400 can perform encoding processing and image quality adjustment processing on each of the medical images input from each input system.
- the encoding device 400 does not necessarily have to perform the image quality adjustment processing on all the input systems, and it is sufficient to perform the image quality adjustment processing according to the operation of the user.
- the number of input systems of the encoding device 400 is not particularly limited, and may be less than or more than four.
- the network 500 can be configured by various computer networks such as the Internet and LAN (Local Area Network) or a combination thereof. Further, the communication connection between the components included in the network 500 may be wired communication, wireless communication, or a combination thereof.
- LAN Local Area Network
- the server device 600 can store the medical image transferred from the encoding device 400.
- the server device 600 records normal streaming distribution (a method of streaming distribution after finishing recording of medical video) and live streaming distribution (recording in parallel with recording of medical video) to the viewing terminal group 700. (A method of streaming medical video) and can be selectively executed.
- FIG. 1 shows that the medical video system 1000 is configured by using one server device 600, the medical video system 1000 may be configured by using a plurality of server devices 600.
- the medical video system 1000 may be configured as a server device 600 for normal streaming distribution and a server device 600 for live streaming distribution as separate devices.
- the viewing terminal group 700 is a computer device having access authority to the server device 600, and can request display (reproduction) of medical images stored in the server device 600 according to the access authority.
- the server device 600 distributes the requested video via the network 500 in response to the display request of the viewing terminal group 700 (either normal live streaming distribution or live streaming distribution).
- a medical video transmission path from the medical device group 200 to the monitor group 300, a medical video transmission path from the medical device group 200 to the encoding device 400, and a medical video transmission path from the medical device group 200 to the encoding device 400 are separated from each other by the switcher 100. Therefore, the monitor group 300 and the encoding device 400 input medical images via different transmission paths (the first transmission path and the second transmission path according to the present invention). Further, it can be said that the monitor group 300 displays the input medical image. On the other hand, it can be said that the encoding device 400 performs encoding processing and image quality adjustment processing on the input medical video.
- the original medical device itself may be able to distribute the medical image and output it to a monitor and an encoding device.
- the medical video system 1000 includes a server device 600 (server device according to the present invention) and a viewing terminal group 700 (viewing terminal according to the present invention).
- the server device 600 stores a medical image that has undergone image quality adjustment processing and encoding processing by the encoding device 400.
- the viewing terminal group 700 can receive the streaming distribution (either normal streaming distribution or live streaming distribution) of the medical video stored in the server device 600 from the server device 600.
- the display device corresponding to the monitor group 300 and the encoding device 400 is provided in the operating room, and the computer equipment corresponding to the server device 600 and the viewing terminal group 700 is provided in the operating room. It is assumed that it is installed outside. However, in the practice of the present invention, at least a part of the display device corresponding to the monitor group 300 may be provided outside the operating room, and at least a part of the computer device corresponding to the viewing terminal group 700 may be provided in the operating room. It may be provided inside.
- FIG. 2 is a diagram showing an operation screen for operating the encoding device 400.
- the operation screen shown in FIG. 2 can be roughly divided into a display area D1, a display area D2, and a display area D3.
- the display area D1 the original medical image (medical image before the encoding process) input by the encoding device 400 is displayed.
- the display area D2 the medical image after the encoding process is performed by the encoding device 400 is displayed.
- check boxes and slide bars that accept user operations related to image quality adjustment processing are displayed.
- the medical images displayed in the display area D1 and the display area D2 are assumed to have been taken by the surgical field camera 201. Further, the medical images displayed in the display area D1 and the display area D2 will be described below assuming that they are both images after the image quality adjustment processing has been performed.
- the operation screen illustrated in FIG. 2 is an operation screen related to image quality adjustment that can be executed by the encoding device 400, and separately displays an operation screen related to other functions (for example, the above-mentioned recording function, playback function, capture function, etc.). It may be possible.
- the operation screen can be displayed separately means that the operation screen and other operation screens are displayed in parallel in a display area different from the operation screen shown in FIG. 2 (overlapping in chronological order). ), Or another operation screen is displayed (separated in chronological order) in another state transitioned from the state in which the operation screen shown in FIG. 2 is displayed. May be good.
- a check box for accepting a user's operation related to the following processing is displayed.
- the Deinterlacing check box if the image displayed in the display area D1 is in interlaced format, the image is deinterlaced (deinterlaced) and the image after deinterlacing is displayed. It is displayed in the display area D1 and the display area D2.
- the check box of Auto Levels the image quality level of the input video is automatically corrected, and the corrected video is displayed in the display area D1 and the display area D2.
- the image quality level to be corrected is at least one of brightness, gamma value, contrast value, saturation, and hue.
- the items subject to automatic level correction are at least a part of the items subject to image quality adjustment processing that can be executed by operating the check box and slide bar on the right side of the display area D3, which will be described later.
- the check box for left-right inversion (Mirror)
- the input image is subjected to image processing in which the input image is left-right inverted, and the left-right inverted image is displayed in the display area D1 and the display area D2.
- the flip check box the input image is subjected to image processing in which the input image is inverted, and the inverted image is displayed in the display area D1 and the display area D2.
- the Luminance Level Fix check box the brightness of the input image is automatically corrected, and the corrected image is displayed in the display area D1 and the display area D2.
- the luminance correction will also be described as one of the image quality adjustment processes in the present embodiment.
- a check box and a slide bar for accepting user operations related to the following processes are displayed.
- the slide bar can be operated to adjust the brightness of the input video. Specifically, when the user operates the slide bar to the right, the brightness increases, and when the user operates the slide bar to the left, the brightness decreases. Also, if this check box is unchecked, this slide bar becomes inoperable.
- the slide bar can be operated to adjust the gamma value of the input video.
- the slide bar can be operated to adjust the contrast value of the input video.
- the contrast value Contrast
- the slide bar can be operated to adjust the saturation of the input video.
- the slide bar can be operated to adjust the hue of the input video. Specifically, when the user operates the slide bar to the right, the hue increases (red to yellow, green to cyan, blue to magenta), and when the user operates the slide bar to the left, the hue decreases (red). Bring green closer to yellow and blue closer to cyan) to magenta). Also, if this check box is unchecked, this slide bar becomes inoperable.
- the brightness, gamma value, contrast value, saturation, and hue of the input image are adjusted by the above slide bar, the adjusted image is displayed in the display area D1 and the display area D2.
- the medical video to which the image quality adjustment processing as described above has been performed is further subjected to the encoding processing and then recorded by the encoding device 400.
- Recording by the encoding device 400 is a process of storing a medical image that has undergone image quality adjustment processing and encoding processing in some storage medium.
- the storage medium to be stored may be a storage medium built in the encoding device 400, or may be a storage medium included in an external device of the encoding device 400.
- the server device 600 stores the medical video transferred from the encoding device 400 to the server device 600 in the process of saving the medical video in the storage built in the encoding device 400.
- the processing to be performed is also treated as recording by the encoding device 400.
- the encoding device 400 has a display area D3 capable of receiving user operations for image quality adjustment processing, and the display area D3 corresponds to the operation receiving means according to the present invention.
- the encoding device 400 has a function of performing image quality adjustment processing based on a user operation received by the display area D3, and the function corresponds to the image quality adjusting means according to the present invention.
- the encoding device 400 has a function of recording a medical image that has undergone image quality adjustment processing and encoding processing in a built-in storage and server device 600, and the function corresponds to the recording means according to the present invention.
- the encoding device 400 has a display area D1 and a display area D2 for displaying a medical image whose image quality has been adjusted by the image quality adjusting means, both of which correspond to the display area according to the present invention.
- the display area D3 can accept user operations during both the recording period and the non-recording period of the encoding device 400. If a user's operation is accepted during recording, the recorded medical image becomes an image that reflects the image quality adjustment process based on the user's operation from the middle (after the timing when the user's operation is accepted). If the user's operation is accepted during the non-recording period, the recorded medical video will be a video that reflects the image quality adjustment process based on the user's operation from the beginning (after the timing when recording is started). ..
- the image quality adjustment process performed based on the user's operation on the display area D3 is linearly reflected in the medical images displayed in the display area D1 and the display area D2.
- the display area D1 displays the medical image before the encoding process
- the medical image is displayed in both the recording period and the non-recording period of the encoding device 400.
- the display area D2 displays the medical image after the encoding process
- the medical image is displayed during the recording period of the encoding device 400, but the medical image is displayed during the non-recording period. Not done.
- the display area D1 and the display area D2 adjust the image quality based on the user's operation after the time when the user's operation is accepted.
- a medical image that has not been encoded (a medical image brighter than the display area D2) is displayed, but the image quality adjustment process is reflected in the same manner as the display area D2.
- the user can also confirm the effect of the image quality adjustment by looking at the display area D1. Further, the display area D1 adjusts the image quality based on the user's operation after the time when the user's operation is accepted even when the display area D3 receives the user's operation during the period when the encoding device 400 does not record. Display a medical video that reflects the processing. Therefore, the user can adjust the image while checking in the display area D1 in advance for recording the medical image. The medical image is not displayed in the display area D2 during the non-recording period.
- the encoding device 400 has a display area D1 (first display area according to the present invention) for displaying the medical image before the encoding process and a display for displaying the medical image after the encoding process. It has a region D2 (a second display region according to the present invention).
- the medical image displayed in the display area D1 and the medical image displayed in the display area D2 are synchronized (the display timings of the images match to the extent that the user does not feel a delay). preferable.
- the encoding device 400 is configured as described above, the user can perform a desired image quality adjustment process while comparing the image in the display area D1 with the image in the display area D2.
- the user can operate the medical image displayed in the display area D2 so as to bring the image quality of the medical image displayed in the display area D1 close to the image quality of the medical image displayed in the display area D1 before the operation.
- the delay that occurs between the display of the medical image in the display area D1 and the display of the medical image in the display area D2 is caused when the viewing terminal group 700 that receives the same medical image by live streaming distribution displays the viewing terminal group. It is preferably smaller than the display of the medical image in 700.
- the timing at which the encoding device 400 displays the medical image in the display area D1 is received from the server device 600 by live streaming distribution. It is desirable that the viewing terminal group 700 is earlier than the timing at which the medical image is displayed.
- the image quality adjustment process performed by the encoding device 400 does not have to be all of the above, and at least one of a part (for example, brightness adjustment, gamma adjustment, contrast adjustment, saturation adjustment, and hue adjustment). ) Is feasible. Further, the image quality adjustment process performed by the encoding device 400 is not limited to the above-mentioned one, and any known image quality adjustment process may be added.
- the operation screen illustrated in FIG. 2 has been described as accepting a user's operation in order to perform image quality adjustment processing on a medical image input from one input system, but the encoding device 400 is described from a plurality of input systems. Image quality adjustment processing may be performed on each of the input medical images.
- the encoding device 400 can execute different image quality adjustment processing for each input system. This is because the degree of optimum image quality adjustment processing differs for each medical image.
- the operation screen related to the image quality adjustment process also has a means for accepting the user's operation for each input system of the encoding device 400.
- FIG. 3 is a flowchart showing a processing flow executed by the encoding device 400.
- the encoding device 400 inputs a medical image from the switcher 100 (step S102), decodes the input medical image (step S104), writes the decoded image data to a memory (step S106), and writes the decoded image data into the memory (step S106).
- Image quality adjustment processing is performed on the image (step S110), and the process proceeds to steps S112 and S114.
- the process of step S110 is at least one of the image quality adjustment processes based on the user's operation on the display area D3, and may be a combination of a plurality of processes.
- the encoding device 400 displays the video data for which image quality adjustment processing has been performed in the display area D1 (step S112), and the processing flow ends.
- the encoding device 400 performs the following processing in parallel with the processing in step S112.
- the encoding device 400 performs encoding processing on the video data for which the image quality adjustment processing has been performed, writes the encoded video data to the memory (step S114), and proceeds to the processing of steps S116 and S120.
- the encoding device 400 decodes the video data subjected to the image quality adjustment processing and the encoding processing (step S116), displays the video data in the display area D2 (step S118), and the processing flow ends.
- the encoding device 400 writes the video data subjected to the image quality adjustment processing and the encoding processing to the storage built in the encoding device 400 (step S120) in parallel with the processing of steps S116 and S118, and writes the video data to the storage.
- the video data is transferred to the server device 600 (step S122), and the processing flow ends.
- the video data transferred to the server device 600 is stored in the server device 600 (after recording) and then distributed in response to a request from the viewing terminal group 700 in the case of normal streaming distribution. Further, the video data transferred to the server device 600 is sequentially distributed to the viewing terminal group 700 in parallel with being stored (recorded) in the server device 600 in the case of live streaming distribution.
- NS
- the encoding device 400 writes out to the storage the processing of displaying the medical image in the display area D1, the processing of displaying the medical image in the display area D2, the image quality adjustment processing, and the encoding processing. Since the processing and the processing are processed in parallel (the medical image is displayed in the display area D2 without waiting for the end of writing to the server device 600), a delay occurs between the display timings of the display area D1 and the display area D2. No (with a delay that the user cannot recognize). Further, since the encoding device 400 performs the above processing, the delay (difference from the display timing in the display area D1) that occurs in the viewing terminal group 700 can be small when the server device 600 performs live streaming distribution. ..
- FIG. 3 discloses a processing flow in which the image quality adjustment process (step S110) is executed for both the medical image displayed in the display area D1 and the medical image displayed in the display area D2.
- the object of the present invention can be achieved even if the processing flow is executed only for the medical image displayed in the display area D2.
- the image quality adjustment process and the encoding process in this modification may be executed first, or may be integrated into one process and executed.
- a medical image processing system that processes a medical image generated by a medical device, the monitor that inputs the medical image from the first transmission path and displays the input medical image, and the first.
- the medical image is input from a second transmission path different from the transmission path of the above, and an encoding process is performed on the input medical image.
- the encoding device is provided on the input medical image.
- a medical image processing system characterized by performing image quality adjustment processing.
- the encoding device includes an operation receiving means capable of receiving a user's operation for the image quality adjusting process, an image quality adjusting means for performing the image quality adjusting process based on the user's operation received by the operation receiving means, and the above.
- the medical image processing system has a recording means for recording the medical image on which the image quality adjustment process and the encoding process have been performed, and when the operation receiving means receives a user's operation during recording by the recording means, it is recorded.
- the medical image processing system according to (1), wherein the medical image becomes an image reflecting the image quality adjustment process based on the operation of the user from the middle.
- the encoding device has a display area for displaying the medical image whose image quality adjustment processing has been performed by the image quality adjusting means, and the display area receives the operation during recording by the recording means.
- the medical image according to (2) wherein when the means accepts the user's operation, the medical image reflecting the image quality adjustment process based on the user's operation is displayed after the time when the user's operation is accepted. Processing system.
- the encoding device is configured to be able to display the medical image in the display area even during a period during which the recording means is not recording, and the display area is not recorded by the recording means.
- the operation receiving means accepts the user's operation
- the medical image reflecting the image quality adjustment process based on the user's operation is displayed after the time when the user's operation is accepted, in (3).
- the display area includes a first display area for displaying the medical image before the encoding process and a second display area for displaying the medical image after the encoding process.
- the medical video processing system according to (3) or (4), which includes.
- a server device that receives and stores the medical image that has undergone the image quality adjustment process and the encoding process from the encoding device, and a live streaming distribution of the medical image stored by the server device.
- a viewing terminal that can be received from the device is provided, and the encoding device displays the medical image in the second display area based on the timing at which the encoding device displays the medical image in the first display area.
- the medical image processing system according to (5), wherein the timing of displaying the medical image is earlier than the timing of displaying the medical image on the viewing terminal by live streaming distribution.
- the image quality adjustment process performed by the encoding device includes at least one of brightness adjustment, gamma adjustment, contrast adjustment, saturation adjustment, and hue adjustment.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
エンコード処理によって生じる医療映像の画質変化を緩和する医療映像処理システム、及び、その医療映像システムに用いられるエンコード装置を提供する。医療映像システム1000は、スイッチャー100を介して別々の伝送経路から医療映像を入力するモニタ群300及びエンコード装置400を備え、エンコード装置400は、入力した医療映像に対してエンコード処理を行うと共に、画質調整処理を行うことを特徴とする。
Description
本発明は、医療映像処理システム及びその医療映像処理システムに用いられるエンコード装置に関する。
近年、医療手術を行う際には、術野を撮影した映像や生体情報の計測結果等を、手術室に設けられた複数のモニタに表示したり録画機に記録したりしながら手技を行うことが一般的である。
この種の医療映像を処理するシステムとして、本発明者らは下記の特許文献1に係る発明について特許出願している。
この種の医療映像を処理するシステムとして、本発明者らは下記の特許文献1に係る発明について特許出願している。
特許文献1には、複数のカメラが撮影した医療映像を同期表示させると共に、同期表示している医療映像に対する編集処理(撮影期間の一部を切り出す処理や所望のタイミングについてコメントを付す処理など)を実現するものである。
ところで、特許文献1は、医療映像をサーバ装置に転送して記憶させる前にエンコード処理を施すエンコード装置が記載されている。
このエンコード装置が医療映像に対してエンコード処理を施すとき、サーバ装置に記憶する医療映像(エンコード処理を行った後の医療映像)の画質が変化することがあり、手術中にモニタで確認した医療映像(エンコード処理を行う前の医療映像)から受ける印象と異なるという課題が生じることがあった。
このエンコード装置が医療映像に対してエンコード処理を施すとき、サーバ装置に記憶する医療映像(エンコード処理を行った後の医療映像)の画質が変化することがあり、手術中にモニタで確認した医療映像(エンコード処理を行う前の医療映像)から受ける印象と異なるという課題が生じることがあった。
本発明は、上記の課題に鑑みなされたものであり、エンコード処理によって生じる医療映像の画質変化を緩和する医療映像処理システム、及び、その医療映像システムに用いられるエンコード装置を提供するものである。
本発明によれば、医療機器によって生成される医療映像を処理する医療映像処理システムであって、第一の伝送経路から前記医療映像を入力して、入力した前記医療映像を表示するモニタと、前記第一の伝送経路とは異なる第二の伝送経路から前記医療映像を入力して、入力した前記医療映像に対してエンコード処理と画質調整処理を行うエンコード装置と、を備え、前記エンコード装置は、前記画質調整処理についてユーザの操作を受付可能な操作受付手段と、前記操作受付手段が受け付けたユーザの操作に基づいて前記画質調整処理を行う画質調整手段と、前記画質調整処理及び前記エンコード処理が行われた前記医療映像を録画する録画手段と、前記画質調整処理が行われ且つ前記エンコード処理が行われていない前記医療映像を表示する第一の表示領域と、を有しており、前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、前記第一の表示領域に表示される前記医療映像は、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された映像になる、医療映像処理システムが提供される。
また、その医療映像処理システムに用いられるエンコード装置が提供される。
また、その医療映像処理システムに用いられるエンコード装置が提供される。
上記発明によれば、モニタに表示する医療映像の伝送経路(第一の伝送経路)とは別の伝送経路(第二の伝送経路)で医療映像を入力するエンコード装置が、画質調整機能を有しているので、エンコード処理による画質変化を考慮して、あらかじめ(サーバ装置に記憶する前に)画質調整をすることによって、その画質変化を緩和することができる。
また、エンコード装置に第一の表示手段が設けられていることによって、ユーザは、エンコード処理による画質変化を受けていない医療映像を視認しながら画質調整処理を行うことによって、その画質調整処理の効果を純粋に確認することができる。
また、エンコード装置に第一の表示手段が設けられていることによって、ユーザは、エンコード処理による画質変化を受けていない医療映像を視認しながら画質調整処理を行うことによって、その画質調整処理の効果を純粋に確認することができる。
本発明によれば、エンコード処理によって生じる医療映像の画質変化を緩和する医療映像処理システム、及び、その医療映像システムに用いられるエンコード装置が提供される。
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
<医療映像システム1000に含まれる各構成要素について>
まず、医療映像システム1000に含まれる各構成要素について、図1を用いて説明する。図1は、本実施形態に係る医療映像システム1000の構成を示す構成図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像の出力元と入力先とを示すものである。従って、映像以外の情報やデータの授受については、必ずしも各矢印が示す内容と一致しなくてよい。
まず、医療映像システム1000に含まれる各構成要素について、図1を用いて説明する。図1は、本実施形態に係る医療映像システム1000の構成を示す構成図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像の出力元と入力先とを示すものである。従って、映像以外の情報やデータの授受については、必ずしも各矢印が示す内容と一致しなくてよい。
本実施形態に係る医療映像システム1000(本発明に係る医療映像システム)は、医療機器群200(本発明に係る医療機器)によって生成される医療映像を処理するものである。
医療映像システム1000は、少なくとも、モニタ群300(本発明に係るモニタ)と、エンコード装置400(本発明に係るエンコード装置)と、を備えている。
モニタ群300は、第一の伝送経路から医療映像を入力して、入力した医療映像を表示する。
一方、エンコード装置400は、第一の伝送経路とは異なる第二の伝送経路から医療映像を入力して、入力した医療映像に対してエンコード処理を行うと共に、入力した医療映像に対して画質調整処理を行うことを特徴とする。
医療映像システム1000は、少なくとも、モニタ群300(本発明に係るモニタ)と、エンコード装置400(本発明に係るエンコード装置)と、を備えている。
モニタ群300は、第一の伝送経路から医療映像を入力して、入力した医療映像を表示する。
一方、エンコード装置400は、第一の伝送経路とは異なる第二の伝送経路から医療映像を入力して、入力した医療映像に対してエンコード処理を行うと共に、入力した医療映像に対して画質調整処理を行うことを特徴とする。
医療映像システム1000については、エンコード装置400が画質調整機能を有しているので、エンコード処理による画質変化を考慮して、サーバ装置600に記憶させる前に画質調整をすることができ、その画質変化を緩和することができる。
別の観点で言えば、エンコード装置400より上流側の装置(医療機器群200やスイッチャー100)が画質調整機能を備えることも可能である。しかし、当該装置が画質調整機を備えたとしても、モニタ群300に表示される医療映像(エンコード処理前の医療映像)と、サーバ装置600に記憶される医療映像(エンコード処理後の医療映像)と、が共にその画質調整の影響を受けるので、エンコード処理による画質変化を緩和することができないとも言える。
また、エンコード装置400より下流側の装置(サーバ装置600や視聴端末群700)が画質調整機能を備えることも可能である。しかし、当該装置が画質調整機能を備えたとしても、当該装置はネットワーク500を介して隔離された場所(手術室の外)に設けられるものである為、施術者の意向を汲んだ画質調整が困難である。従って、手術後に(例えば、カンファレンスにおいて)医療映像を見直す等に用いることを前提とすれば、上記のようなシステム構成は、不便である。
別の観点で言えば、エンコード装置400より上流側の装置(医療機器群200やスイッチャー100)が画質調整機能を備えることも可能である。しかし、当該装置が画質調整機を備えたとしても、モニタ群300に表示される医療映像(エンコード処理前の医療映像)と、サーバ装置600に記憶される医療映像(エンコード処理後の医療映像)と、が共にその画質調整の影響を受けるので、エンコード処理による画質変化を緩和することができないとも言える。
また、エンコード装置400より下流側の装置(サーバ装置600や視聴端末群700)が画質調整機能を備えることも可能である。しかし、当該装置が画質調整機能を備えたとしても、当該装置はネットワーク500を介して隔離された場所(手術室の外)に設けられるものである為、施術者の意向を汲んだ画質調整が困難である。従って、手術後に(例えば、カンファレンスにおいて)医療映像を見直す等に用いることを前提とすれば、上記のようなシステム構成は、不便である。
以下、本実施形態に係る医療映像システム1000の具体的内容について、説明する。
医療映像システム1000は、スイッチャー100と、スイッチャー100の入力チャンネルに接続される医療機器群200と、スイッチャー100の出力チャンネルに接続されるモニタ群300及びエンコード装置400と、を備えている。そして、医療映像システム1000は、ネットワーク500を介してエンコード装置400から供給される映像をダウンロードして保存するサーバ装置600と、ネットワーク500を介してサーバ装置600に対して映像を要求し、要求した映像をサーバ装置600からネットワーク500を介してストリーミング配信を受けて表示(再生)する視聴端末群700と、を備えている。
スイッチャー100は、医療に関する映像を、複数の入力チャンネル(医療機器群200)のいずれかから入力し、複数の出力チャンネルのうち入力チャンネルに接続した出力チャンネルから出力させる装置である。
本実施形態では、医療機器群200の具体例として、術野カメラ201と、ヘッドカメラ202と、電子カルテ203と、生体測定器204と、内視鏡205と、顕微鏡206と、超音波診断装置207と、透視撮影装置208と、を例示する。
術野カメラ201は、術野に正対する位置から当該術野を撮影し、撮影した映像をスイッチャー100に出力するカメラである。
ヘッドカメラ202は、施術者(執刀医)の頭部にセットされ、撮影した映像をスイッチャー100に出力するカメラである。
電子カルテ203は、手術を受ける被施術者(患者)に関する診療記録(カルテ)を保存し、保存している診療記録をスイッチャー100に出力するコンピュータ機器である。本実施形態では、電子カルテ203から出力される診療記録は、一つに限られず複数であってもよい。電子カルテ203から出力される診療記録が複数である場合、電子カルテ203は、スイッチャー100の入力チャンネルごとに分けて診療記録を出力可能である。
生体測定器204は、当該被施術者の生体情報(血圧、脈拍数、心電図、呼吸速度、体温等)を測定し、測定した生体情報をスイッチャー100に出力する測定器である。
内視鏡205は、当該被施術者の体内に挿入されるチューブの先端部にカメラのレンズや鉗子孔等が設けられており、当該カメラで撮影した映像をスイッチャー100に出力する医療機器である。
顕微鏡206は、微小な部位(当該被施術者の神経や血管等)を肉眼で見える大きさに拡大して表示及び撮影する医療機器であり、拡大して撮影した映像をスイッチャー100に出力可能である。
超音波診断装置207は、超音波を対象物(当該被施術者の胸部や腹部等)に当てて、その反響を映像化する医療機器であり、「エコー」と称されることもある。超音波診断装置207は、反響した超音波に基づく映像を、スイッチャー100に出力可能である。
透視撮影装置208は、X線を対象物(当該被施術者)に照射して透過したX線に基づいてX線画像を生成する医療機器であり、生成したX線画像をスイッチャー100に出力可能である。
ここで挙げた医療機器群200は一具体例であり、本発明の実施においてこれらの一部が欠けていてもよいし、ここで挙げていない別の医療機器が含まれてもよい。
術野カメラ201は、術野に正対する位置から当該術野を撮影し、撮影した映像をスイッチャー100に出力するカメラである。
ヘッドカメラ202は、施術者(執刀医)の頭部にセットされ、撮影した映像をスイッチャー100に出力するカメラである。
電子カルテ203は、手術を受ける被施術者(患者)に関する診療記録(カルテ)を保存し、保存している診療記録をスイッチャー100に出力するコンピュータ機器である。本実施形態では、電子カルテ203から出力される診療記録は、一つに限られず複数であってもよい。電子カルテ203から出力される診療記録が複数である場合、電子カルテ203は、スイッチャー100の入力チャンネルごとに分けて診療記録を出力可能である。
生体測定器204は、当該被施術者の生体情報(血圧、脈拍数、心電図、呼吸速度、体温等)を測定し、測定した生体情報をスイッチャー100に出力する測定器である。
内視鏡205は、当該被施術者の体内に挿入されるチューブの先端部にカメラのレンズや鉗子孔等が設けられており、当該カメラで撮影した映像をスイッチャー100に出力する医療機器である。
顕微鏡206は、微小な部位(当該被施術者の神経や血管等)を肉眼で見える大きさに拡大して表示及び撮影する医療機器であり、拡大して撮影した映像をスイッチャー100に出力可能である。
超音波診断装置207は、超音波を対象物(当該被施術者の胸部や腹部等)に当てて、その反響を映像化する医療機器であり、「エコー」と称されることもある。超音波診断装置207は、反響した超音波に基づく映像を、スイッチャー100に出力可能である。
透視撮影装置208は、X線を対象物(当該被施術者)に照射して透過したX線に基づいてX線画像を生成する医療機器であり、生成したX線画像をスイッチャー100に出力可能である。
ここで挙げた医療機器群200は一具体例であり、本発明の実施においてこれらの一部が欠けていてもよいし、ここで挙げていない別の医療機器が含まれてもよい。
なお、本実施形態において医療機器群200によって生成される映像等(診療記録や生体情報の測定結果を含む)に係る映像データ、当該映像データを入力した装置(後述するモニタ群300や視聴端末群700)によって表示される映像等は、いずれも本発明に係る「医療映像」に相当するものとして、以下説明する。
モニタ群300は、医療機器群200から出力される医療映像を、スイッチャー100を介して入力し、入力した医療映像を表示する表示装置である。
なお、モニタ群300に相当する表示装置の数は特に限定されず、単一の表示装置であっても良い。
なお、モニタ群300に相当する表示装置の数は特に限定されず、単一の表示装置であっても良い。
エンコード装置400は、医療機器群200から出力される医療映像を、スイッチャー100を介して入力し、入力した医療映像に対してエンコード処理及び画質調整処理を施し、サーバ装置600への転送および記憶に適した形式に変換する。
なお、本発明に係るエンコード装置は、医療映像を入力し、入力した医療映像に対してエンコード処理及び画質調整処理を実行する機能を有していれば足り、他の機能を有していることを許容する。従って、本発明に係るエンコード装置は、これらの機能に特化した装置である必要はない。例えば、エンコード装置400は、内蔵されている不図示のストレージに医療映像を録画する録画機能、当該ストレージに録画されている医療映像を再生する再生機能、又は、医療映像を構成する各フレームを静止画像として切り出すキャプチャ機能、などを有してもよい。
なお、本発明に係るエンコード装置は、医療映像を入力し、入力した医療映像に対してエンコード処理及び画質調整処理を実行する機能を有していれば足り、他の機能を有していることを許容する。従って、本発明に係るエンコード装置は、これらの機能に特化した装置である必要はない。例えば、エンコード装置400は、内蔵されている不図示のストレージに医療映像を録画する録画機能、当該ストレージに録画されている医療映像を再生する再生機能、又は、医療映像を構成する各フレームを静止画像として切り出すキャプチャ機能、などを有してもよい。
本実施形態におけるエンコード装置400は四つの入力系統を有しており、スイッチャー100における四つの出力チャンネルのそれぞれから医療映像を入力することができ、各医療映像に対してエンコード処理を施した上でサーバ装置600に記憶させることができる。
なお、エンコード装置400の入力系統の数は特に制限されず、四つより少なくても多くても良い。
なお、エンコード装置400の入力系統の数は特に制限されず、四つより少なくても多くても良い。
エンコード装置400は、入力した医療映像に対して画質調整処理を施すことも可能である。具体的には、エンコード装置400は、ユーザの操作を受け付け、受け付けた操作に基づいて画質調整処理を行う。従って、ユーザは、任意の画質に調整した医療映像を、サーバ装置600に記憶させることができる。
ユーザの操作と、その操作に対応する画質調整処理と、については後述する。
なお、本実施形態に係るエンコード装置400は、ユーザの操作に基づいて画質調整する機能を有するものとして以下説明するが、ユーザの操作を受け付けずに画質調整する機能を有する実施形態を否定するものではない。
ユーザの操作と、その操作に対応する画質調整処理と、については後述する。
なお、本実施形態に係るエンコード装置400は、ユーザの操作に基づいて画質調整する機能を有するものとして以下説明するが、ユーザの操作を受け付けずに画質調整する機能を有する実施形態を否定するものではない。
エンコード装置400は、四つの入力系統を有しており、スイッチャー100における四つの出力チャンネルのそれぞれから医療映像を入力することができる。
エンコード装置400は、各入力系統から入力した医療映像のそれぞれに対してエンコード処理及び画質調整処理を施すことができる。ここで、エンコード装置400は、必ずしも全ての入力系統に対して画質調整処理を施す必要はなく、ユーザの操作に応じて画質調整処理を行えば足りる。
なお、エンコード装置400の入力系統の数は特に制限されず、四つより少なくても多くても良い。
エンコード装置400は、各入力系統から入力した医療映像のそれぞれに対してエンコード処理及び画質調整処理を施すことができる。ここで、エンコード装置400は、必ずしも全ての入力系統に対して画質調整処理を施す必要はなく、ユーザの操作に応じて画質調整処理を行えば足りる。
なお、エンコード装置400の入力系統の数は特に制限されず、四つより少なくても多くても良い。
ネットワーク500は、インターネットやLAN(Local Area Network)等の種々のコンピュータネットワークまたはそれらの組合せで構成することができる。また、ネットワーク500に含まれる各構成要素間の通信接続は、有線通信であってもよいし、無線通信であってもよいし、それらの組み合わせであってもよい。
サーバ装置600は、エンコード装置400から転送された医療映像を記憶することができる。
サーバ装置600は、視聴端末群700に対して、通常のストリーミング配信(医療映像の録画を終えた後にストリーミング配信する方式)と、ライブストリーミング配信(医療映像の録画と並行して、録画している医療映像をストリーミング配信する方式)と、が選択的に実行可能になっている。
なお、図1では、一つのサーバ装置600を用いて医療映像システム1000を構成しているように図示しているが、医療映像システム1000は複数のサーバ装置600を用いて構成してもよい。例えば、医療映像システム1000は、通常のストリーミング配信用のサーバ装置600と、ライブストリーミング配信用のサーバ装置600と、を別々の装置として構成されてもよい。
サーバ装置600は、視聴端末群700に対して、通常のストリーミング配信(医療映像の録画を終えた後にストリーミング配信する方式)と、ライブストリーミング配信(医療映像の録画と並行して、録画している医療映像をストリーミング配信する方式)と、が選択的に実行可能になっている。
なお、図1では、一つのサーバ装置600を用いて医療映像システム1000を構成しているように図示しているが、医療映像システム1000は複数のサーバ装置600を用いて構成してもよい。例えば、医療映像システム1000は、通常のストリーミング配信用のサーバ装置600と、ライブストリーミング配信用のサーバ装置600と、を別々の装置として構成されてもよい。
視聴端末群700は、サーバ装置600に対するアクセス権限を有しているコンピュータ機器であり、そのアクセス権限に応じてサーバ装置600に保存されている医療映像の表示(再生)を要求することができる。サーバ装置600は、視聴端末群700の表示要求に応えて、ネットワーク500を介して要求された映像を配信する(通常のライブストリーミング配信、ライブストリーミング配信のうち何れかをする)。
図1に示すとおり、本実施形態に係る医療映像システム1000については、医療機器群200からモニタ群300に対する医療映像の伝送経路と、医療機器群200からエンコード装置400に対する医療映像の伝送経路と、がスイッチャー100によって互いに分離されている。
従って、モニタ群300とエンコード装置400とは、互いの異なる伝送経路(本発明に係る第一の伝送経路と、第二の伝送経路)を経由して、医療映像を入力する。
また、モニタ群300は、入力した医療映像を表示するものであると言える。一方、エンコード装置400は、入力した医療映像に対してエンコード処理及び画質調整処理を行うものであると言える。
なお、本発明の実施において、医療機器からモニタに対する医療映像の伝送経路と、医療機器からエンコード装置に対する医療映像の伝送経路と、を分離する為に、必ずしもスイッチャーを用いる必要はなく、例えば、出力元の医療機器自体が医療映像を分配してモニタとエンコード装置に出力可能であってもよい。
従って、モニタ群300とエンコード装置400とは、互いの異なる伝送経路(本発明に係る第一の伝送経路と、第二の伝送経路)を経由して、医療映像を入力する。
また、モニタ群300は、入力した医療映像を表示するものであると言える。一方、エンコード装置400は、入力した医療映像に対してエンコード処理及び画質調整処理を行うものであると言える。
なお、本発明の実施において、医療機器からモニタに対する医療映像の伝送経路と、医療機器からエンコード装置に対する医療映像の伝送経路と、を分離する為に、必ずしもスイッチャーを用いる必要はなく、例えば、出力元の医療機器自体が医療映像を分配してモニタとエンコード装置に出力可能であってもよい。
また、上述したように、本実施形態に係る医療映像システム1000は、サーバ装置600(本発明に係るサーバ装置)と、視聴端末群700(本発明に係る視聴端末)と、を備えている。
サーバ装置600は、エンコード装置400によって画質調整処理及びエンコード処理が行われた医療映像を記憶するものである。
視聴端末群700は、サーバ装置600に記憶される医療映像のストリーミング配信(通常のストリーミング配信及びライブストリーミング配信のうち何れか)をサーバ装置600から受信可能である。
サーバ装置600は、エンコード装置400によって画質調整処理及びエンコード処理が行われた医療映像を記憶するものである。
視聴端末群700は、サーバ装置600に記憶される医療映像のストリーミング配信(通常のストリーミング配信及びライブストリーミング配信のうち何れか)をサーバ装置600から受信可能である。
なお、本実施形態では、モニタ群300及びエンコード装置400に相当する表示装置は手術室の中に設けられていることを前提とし、サーバ装置600及び視聴端末群700に相当するコンピュータ機器は手術室の外に設けられていることを前提とする。
但し、本発明の実施において、モニタ群300に相当する表示装置の少なくとも一部が手術室の外に設けられてもよいし、視聴端末群700に相当するコンピュータ機器の少なくとも一部が手術室の中に設けられてもよい。
但し、本発明の実施において、モニタ群300に相当する表示装置の少なくとも一部が手術室の外に設けられてもよいし、視聴端末群700に相当するコンピュータ機器の少なくとも一部が手術室の中に設けられてもよい。
<エンコード装置400の操作画面について>
図2は、エンコード装置400を操作する為の操作画面を示す図である。
図2に示す操作画面は、表示領域D1と、表示領域D2と、表示領域D3と、の3つに大別できる。
表示領域D1は、エンコード装置400が入力した元の医療映像(エンコード処理を行う前の医療映像)が表示される。
表示領域D2は、エンコード装置400がエンコード処理を行った後の医療映像が表示される。
表示領域D3は、画質調整処理に関するユーザの操作を受け付けるチェックボックスやスライドバーが表示される。
なお、図2において、表示領域D1と表示領域D2に表示されている医療映像は、術野カメラ201によって撮影されたものとする。また、表示領域D1と表示領域D2に表示されている医療映像は、いずれも画質調整処理が行われた後の画像であるものとして、以下説明する。
図2は、エンコード装置400を操作する為の操作画面を示す図である。
図2に示す操作画面は、表示領域D1と、表示領域D2と、表示領域D3と、の3つに大別できる。
表示領域D1は、エンコード装置400が入力した元の医療映像(エンコード処理を行う前の医療映像)が表示される。
表示領域D2は、エンコード装置400がエンコード処理を行った後の医療映像が表示される。
表示領域D3は、画質調整処理に関するユーザの操作を受け付けるチェックボックスやスライドバーが表示される。
なお、図2において、表示領域D1と表示領域D2に表示されている医療映像は、術野カメラ201によって撮影されたものとする。また、表示領域D1と表示領域D2に表示されている医療映像は、いずれも画質調整処理が行われた後の画像であるものとして、以下説明する。
図2に図示する操作画面は、エンコード装置400が実行可能な画質調整に関する操作画面であって、他の機能(例えば、上記の録画機能、再生機能、及びキャプチャ機能など)に関する操作画面を別に表示可能であってもよい。
ここで「操作画面を別に表示可能」とは、図2に図示する操作画面とは別の表示領域に当該操作画面と他の操作画面が並行して表示する(時系列的に重複している)ことであってもよいし、図2に図示する操作画面が表示されている状態から遷移した別の状態において他の操作画面が表示する(時系列的に分離している)ことであってもよい。
ここで「操作画面を別に表示可能」とは、図2に図示する操作画面とは別の表示領域に当該操作画面と他の操作画面が並行して表示する(時系列的に重複している)ことであってもよいし、図2に図示する操作画面が表示されている状態から遷移した別の状態において他の操作画面が表示する(時系列的に分離している)ことであってもよい。
図2に示す操作画面(表示領域D3の左側)は、以下の処理に関するユーザの操作を受け付けるチェックボックスが表示されている。
ユーザが、デインターレース(Deinterlacing)のチェックボックスをチェックすると、表示領域D1に表示されている映像がインターレース形式である場合に、その映像にデインターレース(インターレース解除)を施し、デインターレース後の映像が表示領域D1及び表示領域D2に表示される。
ユーザが、自動レベル補正(Auto Levels)のチェックボックスをチェックすると、入力した映像の画質レベルが自動補正され、その補正後の映像が表示領域D1及び表示領域D2に表示される。ここで補正の対象となる画質レベルは、明度、ガンマ値、コントラスト値、彩度、及び、色相のうち少なくとも一つである。すなわち、自動レベル補正の対象となる項目は、後述する表示領域D3の右側のチェックボックス及びスライドバーを操作して実行できる画質調整処理の対象となる項目の少なくとも一部である。
ユーザが、左右反転(Mirror)のチェックボックスをチェックすると、入力した映像を左右反転する画像処理を施し、その映像を左右反転させた映像が表示領域D1及び表示領域D2に表示される。
ユーザが、上下反転(Flip)のチェックボックスをチェックすると、入力した映像を上下反転する画像処理を施し、その映像を上下反転させた映像が表示領域D1及び表示領域D2に表示される。
ユーザが、輝度補正(Luminance Level Fix)のチェックボックスをチェックすると、入力した映像の輝度が自動補正され、その補正後の映像が表示領域D1及び表示領域D2に表示される。なお、輝度補正についても、本実施形態では画質調整処理の一つとして説明する。
ユーザが、デインターレース(Deinterlacing)のチェックボックスをチェックすると、表示領域D1に表示されている映像がインターレース形式である場合に、その映像にデインターレース(インターレース解除)を施し、デインターレース後の映像が表示領域D1及び表示領域D2に表示される。
ユーザが、自動レベル補正(Auto Levels)のチェックボックスをチェックすると、入力した映像の画質レベルが自動補正され、その補正後の映像が表示領域D1及び表示領域D2に表示される。ここで補正の対象となる画質レベルは、明度、ガンマ値、コントラスト値、彩度、及び、色相のうち少なくとも一つである。すなわち、自動レベル補正の対象となる項目は、後述する表示領域D3の右側のチェックボックス及びスライドバーを操作して実行できる画質調整処理の対象となる項目の少なくとも一部である。
ユーザが、左右反転(Mirror)のチェックボックスをチェックすると、入力した映像を左右反転する画像処理を施し、その映像を左右反転させた映像が表示領域D1及び表示領域D2に表示される。
ユーザが、上下反転(Flip)のチェックボックスをチェックすると、入力した映像を上下反転する画像処理を施し、その映像を上下反転させた映像が表示領域D1及び表示領域D2に表示される。
ユーザが、輝度補正(Luminance Level Fix)のチェックボックスをチェックすると、入力した映像の輝度が自動補正され、その補正後の映像が表示領域D1及び表示領域D2に表示される。なお、輝度補正についても、本実施形態では画質調整処理の一つとして説明する。
図2に示す操作画面(表示領域D3の右側)は、以下の処理に関するユーザの操作を受け付けるチェックボックス及びスライドバーが表示されている。
ユーザが、明度(Brightness)のチェックボックスをチェックすると、入力した映像の明度調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると明度が上がり、ユーザがスライドバーを左に操作すると明度が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、ガンマ値(Gamma)のチェックボックスをチェックすると、入力した映像のガンマ値の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作するとガンマ値が上がり、ユーザがスライドバーを左に操作するとガンマ値が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、コントラスト値(Contrast)のチェックボックスをチェックすると、入力した映像のコントラスト値の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作するとコントラスト値が上がり、ユーザがスライドバーを左に操作するとコントラスト値が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、彩度(Saturation)のチェックボックスをチェックすると、入力した映像の彩度の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると彩度が上がり、ユーザがスライドバーを左に操作すると彩度が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、色相(Hue)のチェックボックスをチェックすると、入力した映像の色相の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると色相が上がり(赤色をイエローに、緑色をシアンに、青色をマゼンタに近づけ)、ユーザがスライドバーを左に操作すると色相が下がる(赤色をマゼンタに、緑色をイエローに、青色をシアンに近づける)。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
入力した映像に対して、上記のスライドバーによって明度、ガンマ値、コントラスト値、彩度、及び、色相が調整されると、調整後の映像が表示領域D1及び表示領域D2に表示される。
ユーザが、明度(Brightness)のチェックボックスをチェックすると、入力した映像の明度調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると明度が上がり、ユーザがスライドバーを左に操作すると明度が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、ガンマ値(Gamma)のチェックボックスをチェックすると、入力した映像のガンマ値の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作するとガンマ値が上がり、ユーザがスライドバーを左に操作するとガンマ値が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、コントラスト値(Contrast)のチェックボックスをチェックすると、入力した映像のコントラスト値の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作するとコントラスト値が上がり、ユーザがスライドバーを左に操作するとコントラスト値が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、彩度(Saturation)のチェックボックスをチェックすると、入力した映像の彩度の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると彩度が上がり、ユーザがスライドバーを左に操作すると彩度が下がる。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
ユーザが、色相(Hue)のチェックボックスをチェックすると、入力した映像の色相の調整を行う為のスライドバーの操作が可能になる。具体的には、ユーザがスライドバーを右に操作すると色相が上がり(赤色をイエローに、緑色をシアンに、青色をマゼンタに近づけ)、ユーザがスライドバーを左に操作すると色相が下がる(赤色をマゼンタに、緑色をイエローに、青色をシアンに近づける)。また、このチェックボックスのチェックを外すと、このスライドバーが操作不能になる。
入力した映像に対して、上記のスライドバーによって明度、ガンマ値、コントラスト値、彩度、及び、色相が調整されると、調整後の映像が表示領域D1及び表示領域D2に表示される。
上記のような画質調整処理が行われた医療映像は、更にエンコード処理が施された後に、エンコード装置400によって録画される。
エンコード装置400による録画とは、画質調整処理とエンコード処理を施した医療映像を、何らかの記憶媒体に保存する処理である。保存する記憶媒体は、エンコード装置400に内蔵されている記憶媒体であってもよいし、エンコード装置400の外部装置が有する記憶媒体であってもよい。本実施形態に即して言えば、エンコード装置400が内蔵しているストレージに医療映像を保存する処理についても、エンコード装置400からサーバ装置600に転送した医療映像をサーバ装置600が医療映像を保存する処理についても、エンコード装置400による録画として扱う。
エンコード装置400による録画とは、画質調整処理とエンコード処理を施した医療映像を、何らかの記憶媒体に保存する処理である。保存する記憶媒体は、エンコード装置400に内蔵されている記憶媒体であってもよいし、エンコード装置400の外部装置が有する記憶媒体であってもよい。本実施形態に即して言えば、エンコード装置400が内蔵しているストレージに医療映像を保存する処理についても、エンコード装置400からサーバ装置600に転送した医療映像をサーバ装置600が医療映像を保存する処理についても、エンコード装置400による録画として扱う。
これまで説明したエンコード装置400に関する処理について、ここで整理する。
エンコード装置400は、画質調整処理についてユーザの操作を受付可能な表示領域D3を有しており、表示領域D3は本発明に係る操作受付手段に相当する。
エンコード装置400は、表示領域D3が受け付けたユーザの操作に基づいて画質調整処理を行う機能を有しており、当該機能は本発明に係る画質調整手段に相当する。
エンコード装置400は、画質調整処理及びエンコード処理が行われた医療映像を、内蔵のストレージ及びサーバ装置600に録画する機能を有しており、当該機能は本発明に係る録画手段に相当する。
エンコード装置400は、画質調整手段によって画質調整処理が行われた医療映像を表示する表示領域D1と表示領域D2を有しており、これらはいずれも本発明に係る表示領域に相当する。
エンコード装置400は、画質調整処理についてユーザの操作を受付可能な表示領域D3を有しており、表示領域D3は本発明に係る操作受付手段に相当する。
エンコード装置400は、表示領域D3が受け付けたユーザの操作に基づいて画質調整処理を行う機能を有しており、当該機能は本発明に係る画質調整手段に相当する。
エンコード装置400は、画質調整処理及びエンコード処理が行われた医療映像を、内蔵のストレージ及びサーバ装置600に録画する機能を有しており、当該機能は本発明に係る録画手段に相当する。
エンコード装置400は、画質調整手段によって画質調整処理が行われた医療映像を表示する表示領域D1と表示領域D2を有しており、これらはいずれも本発明に係る表示領域に相当する。
表示領域D3は、エンコード装置400が録画している期間も録画していない期間も、ユーザの操作を受け付け可能になっている。
仮に、録画中にユーザの操作を受け付けた場合、録画された医療映像は、途中から(ユーザの操作を受け付けたタイミング以後に)当該ユーザの操作に基づく画質調整処理が反映された映像になる。
また、録画していない期間にユーザの操作を受け付けた場合、録画された医療映像は、最初から(録画を開始したタイミング以後に)当該ユーザの操作に基づく画質調整処理が反映された映像になる。
仮に、録画中にユーザの操作を受け付けた場合、録画された医療映像は、途中から(ユーザの操作を受け付けたタイミング以後に)当該ユーザの操作に基づく画質調整処理が反映された映像になる。
また、録画していない期間にユーザの操作を受け付けた場合、録画された医療映像は、最初から(録画を開始したタイミング以後に)当該ユーザの操作に基づく画質調整処理が反映された映像になる。
また、表示領域D3に対するユーザの操作に基づいて行われる画質調整処理はリニアに表示領域D1及び表示領域D2に表示されている医療映像に反映される。ただし、表示領域D1はエンコード処理前の医療映像が表示されるものであるため、エンコード装置400が録画している期間も録画していない期間のいずれも医療映像が表示される。一方、表示領域D2はエンコード処理後の医療映像が表示されるものであるため、エンコード装置400が録画している期間は医療映像が表示されるものの、録画していない期間については医療映像が表示されない。
言い換えれば、表示領域D1及び表示領域D2は、エンコード装置400による録画中に表示領域D3がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく画質調整処理が反映された医療映像を表示する。詳細は後述するが、録画中の表示領域D2については、その録画している医療映像(エンコード処理が行われた医療映像)と同等のものが表示されるので、ユーザは表示領域D2を見ることによって画質調整の効果を確認しながら適切な操作をすることができる。また、録画中の表示領域D1については、エンコード処理が行われていない医療映像(表示領域D2より明るい医療映像)が表示されるものの、表示領域D2と同様に画質調整処理が反映されるので、ユーザは表示領域D1を見ても画質調整の効果を確認することが可能である。
また、表示領域D1は、エンコード装置400によって録画していない期間に表示領域D3がユーザの操作を受け付けた場合についても、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく画質調整処理が反映された医療映像を表示する。従って、ユーザは、医療映像を録画する事前に表示領域D1で確認しながら画像調整をすることができる。なお、録画していない期間における表示領域D2は、医療映像が表示されない。
言い換えれば、表示領域D1及び表示領域D2は、エンコード装置400による録画中に表示領域D3がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく画質調整処理が反映された医療映像を表示する。詳細は後述するが、録画中の表示領域D2については、その録画している医療映像(エンコード処理が行われた医療映像)と同等のものが表示されるので、ユーザは表示領域D2を見ることによって画質調整の効果を確認しながら適切な操作をすることができる。また、録画中の表示領域D1については、エンコード処理が行われていない医療映像(表示領域D2より明るい医療映像)が表示されるものの、表示領域D2と同様に画質調整処理が反映されるので、ユーザは表示領域D1を見ても画質調整の効果を確認することが可能である。
また、表示領域D1は、エンコード装置400によって録画していない期間に表示領域D3がユーザの操作を受け付けた場合についても、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく画質調整処理が反映された医療映像を表示する。従って、ユーザは、医療映像を録画する事前に表示領域D1で確認しながら画像調整をすることができる。なお、録画していない期間における表示領域D2は、医療映像が表示されない。
上記のように、エンコード装置400は、エンコード処理を行う前の医療映像を表示する表示領域D1(本発明に係る第一の表示領域)と、エンコード処理を行った後の医療映像を表示する表示領域D2(本発明に係る第二の表示領域)と、を有している。
ここで表示領域D1に表示される医療映像と、表示領域D2に表示される医療映像と、が同期している(ユーザが遅延を感じない程度に映像の表示タイミングが一致している)ことが好ましい。
上記のようにエンコード装置400が構成されているので、ユーザは、表示領域D1の映像と表示領域D2の映像とを見比べながら、所望の画質調整処理を行うことができる。例えば、表示領域D2に表示される医療映像の画質を、操作前に表示領域D1に表示されていた医療映像の画質に近づけるように、ユーザは操作可能となる。
ここで表示領域D1に表示される医療映像と、表示領域D2に表示される医療映像と、が同期している(ユーザが遅延を感じない程度に映像の表示タイミングが一致している)ことが好ましい。
上記のようにエンコード装置400が構成されているので、ユーザは、表示領域D1の映像と表示領域D2の映像とを見比べながら、所望の画質調整処理を行うことができる。例えば、表示領域D2に表示される医療映像の画質を、操作前に表示領域D1に表示されていた医療映像の画質に近づけるように、ユーザは操作可能となる。
但し、表示領域D1における医療映像の表示と表示領域D2における医療映像の表示との間に生じる遅延は、同じ医療映像をライブストリーミング配信によって受信した視聴端末群700が表示する場合において、視聴端末群700における医療映像の表示と比べて小さいことが好ましい。
言い換えれば、エンコード装置400が表示領域D1に医療映像を表示させるタイミングを基準とすると、エンコード装置400が表示領域D2に医療映像を表示させるタイミングの方が、ライブストリーミング配信によってサーバ装置600から受信した視聴端末群700が医療映像を表示させるタイミングに比べて早いことが望ましい。
言い換えれば、エンコード装置400が表示領域D1に医療映像を表示させるタイミングを基準とすると、エンコード装置400が表示領域D2に医療映像を表示させるタイミングの方が、ライブストリーミング配信によってサーバ装置600から受信した視聴端末群700が医療映像を表示させるタイミングに比べて早いことが望ましい。
なお、エンコード装置400によって行われる画質調整処理は、上述したものの全てである必要はなく、その一部(例えば、明度調整、ガンマ調整、コントラスト調整、彩度調整、及び色相調整のうち少なくとも一つ)が実行可能であれば足りる。また、エンコード装置400によって行われる画質調整処理は、上述したものに限られず、既知の画質調整処理の何れを追加してもよい。
図2に図示した操作画面は、一つの入力系統から入力した医療映像に対して画質調整処理を行う為に、ユーザの操作を受け付けるものとして説明したが、エンコード装置400は、複数の入力系統から入力した医療映像のそれぞれに対して画質調整処理を行ってもよい。ここで、エンコード装置400は、入力系統ごとに異なる画質調整処理を実行可能であることが好ましい。医療映像ごとに最適な画質調整処理の程度が異なるからである。
この変形例を実現する場合、画質調整処理に関する操作画面についても、エンコード装置400の入力系統ごとにユーザの操作を受け付ける手段を有することが望ましい。
この変形例を実現する場合、画質調整処理に関する操作画面についても、エンコード装置400の入力系統ごとにユーザの操作を受け付ける手段を有することが望ましい。
<エンコード装置400の処理フローについて>
次に、エンコード装置400の処理フローについて説明する。
図3は、エンコード装置400が実行する処理フローを示すフローチャートである。
次に、エンコード装置400の処理フローについて説明する。
図3は、エンコード装置400が実行する処理フローを示すフローチャートである。
エンコード装置400は、スイッチャー100から医療映像を入力し(ステップS102)、入力した医療映像をデコードし(ステップS104)、デコードして得られた映像データをメモリに書き込み(ステップS106)、その映像データに対して画質調整処理を行って(ステップS110)、ステップS112及びステップS114の処理に進む。
なお、ステップS110の処理は、上記の表示領域D3に対するユーザの操作に基づく画質調整処理のうち少なくとも一つであり、複数を組み合わせたものであってもよい。
なお、ステップS110の処理は、上記の表示領域D3に対するユーザの操作に基づく画質調整処理のうち少なくとも一つであり、複数を組み合わせたものであってもよい。
エンコード装置400は、画質調整処理が行われた映像データを表示領域D1に表示させて(ステップS112)、当該処理フローは終了となる。
また、エンコード装置400は、ステップS112の処理と並行して、以下の処理を行う。
エンコード装置400は、画質調整処理が行われた映像データに対してエンコード処理を行い、エンコード処理を行った映像データをメモリに書き込み(ステップS114)、ステップS116及びステップS120の処理に進む。
エンコード装置400は、画質調整処理が行われた映像データに対してエンコード処理を行い、エンコード処理を行った映像データをメモリに書き込み(ステップS114)、ステップS116及びステップS120の処理に進む。
エンコード装置400は、画質調整処理及びエンコード処理が行われた映像データをデコードし(ステップS116)、その映像データを表示領域D2に表示させて(ステップS118)、当該処理フローは終了となる。
エンコード装置400は、ステップS116及びステップS118の処理と並行して、画質調整処理及びエンコード処理が行われた映像データを、エンコード装置400に内蔵されているストレージに書き出し(ステップS120)、ストレージに書き出した映像データをサーバ装置600に転送し(ステップS122)、当該処理フローは終了となる。
なお、サーバ装置600に転送された映像データは、通常のストリーミング配信をする場合は、サーバ装置600に記憶した後(録画した後)に、視聴端末群700の要求に応じて配信される。また、サーバ装置600に転送された映像データは、ライブストリーミング配信をしている場合は、サーバ装置600に記憶すること(録画すること)と並行して、視聴端末群700に対して逐次配信される。
なお、サーバ装置600に転送された映像データは、通常のストリーミング配信をする場合は、サーバ装置600に記憶した後(録画した後)に、視聴端末群700の要求に応じて配信される。また、サーバ装置600に転送された映像データは、ライブストリーミング配信をしている場合は、サーバ装置600に記憶すること(録画すること)と並行して、視聴端末群700に対して逐次配信される。
エンコード装置400は、エンコード装置400は、表示領域D1に医療映像を表示させる処理と、表示領域D2に医療映像を表示させる処理と、画質調整処理及びエンコード処理が行われた映像データをストレージに書き出す処理と、を並行して処理する(サーバ装置600への書き出しの終了を待たずに表示領域D2に医療映像を表示させる)ので、表示領域D1と表示領域D2の表示タイミングの間に遅延が生じない(ユーザが認識できない程度の遅延で済む)。
また、エンコード装置400は、上記のような処理を行うので、サーバ装置600からライブストリーミング配信をする場合において、視聴端末群700において生じる遅延(表示領域D1における表示タイミングとの差異)が小さくて済む。
また、エンコード装置400は、上記のような処理を行うので、サーバ装置600からライブストリーミング配信をする場合において、視聴端末群700において生じる遅延(表示領域D1における表示タイミングとの差異)が小さくて済む。
なお、図3に図示した処理フローは一具体例であり、本発明の目的を達成する範囲内において、各処理の手順が変更されてもよいし、図示した処理の一部を省いてもよいし、図示しない別の処理を追加してもよい。
例えば、図3では、画質調整処理(ステップS110)が、表示領域D1に表示される医療映像に対しても表示領域D2に表示される医療映像に対しても実行される処理フローが開示されるが、表示領域D2に表示される医療映像のみを対象といて実行される処理フローであっても、本発明の目的を達成し得る。また、この変形例における画質調整処理及びエンコード処理は、いずれを先に実行してもよく、一つの処理に統合して実行してもよい。
例えば、図3では、画質調整処理(ステップS110)が、表示領域D1に表示される医療映像に対しても表示領域D2に表示される医療映像に対しても実行される処理フローが開示されるが、表示領域D2に表示される医療映像のみを対象といて実行される処理フローであっても、本発明の目的を達成し得る。また、この変形例における画質調整処理及びエンコード処理は、いずれを先に実行してもよく、一つの処理に統合して実行してもよい。
本実施形態は以下の技術思想を包含する。
(1)医療機器によって生成される医療映像を処理する医療映像処理システムであって、第一の伝送経路から前記医療映像を入力して、入力した前記医療映像を表示するモニタと、前記第一の伝送経路とは異なる第二の伝送経路から前記医療映像を入力して、入力した前記医療映像に対してエンコード処理を行うエンコード装置と、を備え、前記エンコード装置は、入力した前記医療映像に対して画質調整処理を行うことを特徴とする、医療映像処理システム。
(2)前記エンコード装置は、前記画質調整処理についてユーザの操作を受付可能な操作受付手段と、前記操作受付手段が受け付けたユーザの操作に基づいて前記画質調整処理を行う画質調整手段と、前記画質調整処理及び前記エンコード処理が行われた前記医療映像を録画する録画手段と、を有しており、前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、録画された前記医療映像は、途中から当該ユーザの操作に基づく前記画質調整処理が反映された映像になる、(1)に記載の医療映像処理システム。
(3)前記エンコード装置は、前記画質調整手段によって前記画質調整処理が行われた前記医療映像を表示する表示領域を有しており、前記表示領域は、前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された前記医療映像を表示する、(2)に記載の医療映像処理システム。
(4)前記エンコード装置は、前記録画手段によって録画していない期間にも、前記表示領域に前記医療映像を表示可能に構成されており、前記表示領域は、前記録画手段によって録画していない期間に前記操作受付手段がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された前記医療映像を表示する、(3)に記載の医療映像処理システム。
(5)前記表示領域は、前記エンコード処理を行う前の前記医療映像を表示する第一の表示領域と、前記エンコード処理を行った後の前記医療映像を表示する第二の表示領域と、を含んでいる、(3)又は(4)に記載の医療映像処理システム。
(6)前記画質調整処理及び前記エンコード処理が行われた前記医療映像を、前記エンコード装置から受信して記憶するサーバ装置と、前記サーバ装置が記憶した前記医療映像のライブストリーミング配信を、前記サーバ装置から受信可能である視聴端末と、を備え、前記エンコード装置が前記第一の表示領域に前記医療映像を表示するタイミングを基準とすると、前記エンコード装置が前記第二の表示領域に前記医療映像を表示するタイミングの方が、ライブストリーミング配信によって前記視聴端末が前記医療映像を表示するタイミングに比べて早い、(5)に記載の医療映像処理システム。
(7)前記エンコード装置によって行われる前記画質調整処理は、明度調整、ガンマ調整、コントラスト調整、彩度調整、及び色相調整のうち少なくとも一つを含んでいる、(1)から(6)のいずれか一つに記載の医療映像処理システム。
(8)(1)から(7)のいずれか一つに記載の医療映像処理システムに用いられるエンコード装置。
(1)医療機器によって生成される医療映像を処理する医療映像処理システムであって、第一の伝送経路から前記医療映像を入力して、入力した前記医療映像を表示するモニタと、前記第一の伝送経路とは異なる第二の伝送経路から前記医療映像を入力して、入力した前記医療映像に対してエンコード処理を行うエンコード装置と、を備え、前記エンコード装置は、入力した前記医療映像に対して画質調整処理を行うことを特徴とする、医療映像処理システム。
(2)前記エンコード装置は、前記画質調整処理についてユーザの操作を受付可能な操作受付手段と、前記操作受付手段が受け付けたユーザの操作に基づいて前記画質調整処理を行う画質調整手段と、前記画質調整処理及び前記エンコード処理が行われた前記医療映像を録画する録画手段と、を有しており、前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、録画された前記医療映像は、途中から当該ユーザの操作に基づく前記画質調整処理が反映された映像になる、(1)に記載の医療映像処理システム。
(3)前記エンコード装置は、前記画質調整手段によって前記画質調整処理が行われた前記医療映像を表示する表示領域を有しており、前記表示領域は、前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された前記医療映像を表示する、(2)に記載の医療映像処理システム。
(4)前記エンコード装置は、前記録画手段によって録画していない期間にも、前記表示領域に前記医療映像を表示可能に構成されており、前記表示領域は、前記録画手段によって録画していない期間に前記操作受付手段がユーザの操作を受け付けた場合、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された前記医療映像を表示する、(3)に記載の医療映像処理システム。
(5)前記表示領域は、前記エンコード処理を行う前の前記医療映像を表示する第一の表示領域と、前記エンコード処理を行った後の前記医療映像を表示する第二の表示領域と、を含んでいる、(3)又は(4)に記載の医療映像処理システム。
(6)前記画質調整処理及び前記エンコード処理が行われた前記医療映像を、前記エンコード装置から受信して記憶するサーバ装置と、前記サーバ装置が記憶した前記医療映像のライブストリーミング配信を、前記サーバ装置から受信可能である視聴端末と、を備え、前記エンコード装置が前記第一の表示領域に前記医療映像を表示するタイミングを基準とすると、前記エンコード装置が前記第二の表示領域に前記医療映像を表示するタイミングの方が、ライブストリーミング配信によって前記視聴端末が前記医療映像を表示するタイミングに比べて早い、(5)に記載の医療映像処理システム。
(7)前記エンコード装置によって行われる前記画質調整処理は、明度調整、ガンマ調整、コントラスト調整、彩度調整、及び色相調整のうち少なくとも一つを含んでいる、(1)から(6)のいずれか一つに記載の医療映像処理システム。
(8)(1)から(7)のいずれか一つに記載の医療映像処理システムに用いられるエンコード装置。
この出願は、2020年2月6日に出願された日本出願特願2020-018659を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
1000 医療映像システム
100 スイッチャー
200 医療機器群
201 術野カメラ
202 ヘッドカメラ
203 電子カルテ
204 生体測定器
205 内視鏡
206 顕微鏡
207 超音波診断装置
208 透視撮影装置
300 モニタ群
400 エンコード装置
500 ネットワーク
600 サーバ装置
700 視聴端末群
D1、D2、D3 表示領域
100 スイッチャー
200 医療機器群
201 術野カメラ
202 ヘッドカメラ
203 電子カルテ
204 生体測定器
205 内視鏡
206 顕微鏡
207 超音波診断装置
208 透視撮影装置
300 モニタ群
400 エンコード装置
500 ネットワーク
600 サーバ装置
700 視聴端末群
D1、D2、D3 表示領域
Claims (5)
- 医療機器によって生成される医療映像を処理する医療映像処理システムであって、
第一の伝送経路から前記医療映像を入力して、入力した前記医療映像を表示するモニタと、
前記第一の伝送経路とは異なる第二の伝送経路から前記医療映像を入力して、入力した前記医療映像に対してエンコード処理と画質調整処理を行うエンコード装置と、
を備え、
前記エンコード装置は、
前記画質調整処理についてユーザの操作を受付可能な操作受付手段と、
前記操作受付手段が受け付けたユーザの操作に基づいて前記画質調整処理を行う画質調整手段と、
前記画質調整処理及び前記エンコード処理が行われた前記医療映像を録画する録画手段と、
前記画質調整処理が行われ且つ前記エンコード処理が行われていない前記医療映像を表示する第一の表示領域と、
を有しており、
前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、前記第一の表示領域に表示される前記医療映像は、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された映像になる、
医療映像処理システム。 - 前記エンコード装置は、前記画質調整処理が行われ且つ前記エンコード処理が行われた前記医療映像を表示する第二の表示領域を更に有しており、
前記録画手段による録画中に前記操作受付手段がユーザの操作を受け付けた場合、前記第一の表示領域に表示される前記医療映像及び前記第二の表示領域に表示される前記医療映像は共に、当該ユーザの操作を受け付けた時点以後において、当該ユーザの操作に基づく前記画質調整処理が反映された映像になる、
請求項1に記載の医療映像処理システム。 - 前記画質調整処理及び前記エンコード処理が行われた前記医療映像を、前記エンコード装置から受信して記憶するサーバ装置と、
前記サーバ装置が記憶した前記医療映像のライブストリーミング配信を、前記サーバ装置から受信可能である視聴端末と、
を備え、
前記エンコード装置が前記第一の表示領域に前記医療映像を表示するタイミングを基準とすると、前記エンコード装置が前記第二の表示領域に前記医療映像を表示するタイミングの方が、ライブストリーミング配信によって前記視聴端末が前記医療映像を表示するタイミングに比べて早い、
請求項2に記載の医療映像処理システム。 - 前記エンコード装置によって行われる前記画質調整処理は、明度調整、ガンマ調整、コントラスト調整、彩度調整、及び色相調整のうち少なくとも一つを含んでいる、
請求項1から3のいずれか一項に記載の医療映像処理システム。 - 請求項1から4のいずれか一項に記載の医療映像処理システムに用いられるエンコード装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/797,777 US11936918B2 (en) | 2020-02-06 | 2021-02-05 | Medical video processing system and encoder |
CN202180013202.8A CN115053520A (zh) | 2020-02-06 | 2021-02-05 | 医疗影像处理系统和编码装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-018659 | 2020-02-06 | ||
JP2020018659A JP6857372B1 (ja) | 2020-02-06 | 2020-02-06 | 医療映像処理システム及びエンコード装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021157697A1 true WO2021157697A1 (ja) | 2021-08-12 |
Family
ID=75377984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/004330 WO2021157697A1 (ja) | 2020-02-06 | 2021-02-05 | 医療映像処理システム及びエンコード装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11936918B2 (ja) |
JP (1) | JP6857372B1 (ja) |
CN (1) | CN115053520A (ja) |
WO (1) | WO2021157697A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103879A1 (ja) * | 2012-12-26 | 2014-07-03 | オリンパスメディカルシステムズ株式会社 | 画像記録装置及び画像記録方法 |
JP2016058975A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社リコー | 通信装置、通信システム、プログラム |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
WO2018087976A1 (ja) * | 2016-11-11 | 2018-05-17 | ソニー株式会社 | 管理装置および管理方法 |
JP6440136B1 (ja) * | 2018-09-06 | 2018-12-19 | 株式会社Medi Plus | 医療映像スイッチャー |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6369706B1 (ja) | 2017-12-27 | 2018-08-08 | 株式会社Medi Plus | 医療動画処理システム |
-
2020
- 2020-02-06 JP JP2020018659A patent/JP6857372B1/ja active Active
-
2021
- 2021-02-05 WO PCT/JP2021/004330 patent/WO2021157697A1/ja active Application Filing
- 2021-02-05 US US17/797,777 patent/US11936918B2/en active Active
- 2021-02-05 CN CN202180013202.8A patent/CN115053520A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103879A1 (ja) * | 2012-12-26 | 2014-07-03 | オリンパスメディカルシステムズ株式会社 | 画像記録装置及び画像記録方法 |
JP2016058975A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社リコー | 通信装置、通信システム、プログラム |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
WO2018087976A1 (ja) * | 2016-11-11 | 2018-05-17 | ソニー株式会社 | 管理装置および管理方法 |
JP6440136B1 (ja) * | 2018-09-06 | 2018-12-19 | 株式会社Medi Plus | 医療映像スイッチャー |
Also Published As
Publication number | Publication date |
---|---|
US20220408118A1 (en) | 2022-12-22 |
CN115053520A (zh) | 2022-09-13 |
JP2021125814A (ja) | 2021-08-30 |
US11936918B2 (en) | 2024-03-19 |
JP6857372B1 (ja) | 2021-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20040141054A1 (en) | Image processing unit whose ability to process endoscopic image signal can be expanded, and endoscopic imaging system | |
EP2682050A1 (en) | Medical information recording apparatus | |
US20060122482A1 (en) | Medical image acquisition system for receiving and transmitting medical images instantaneously and method of using the same | |
US9107598B2 (en) | Camera system for surgical applications | |
US10972705B2 (en) | Medical display apparatus, endoscopic surgery system, and method of displaying medical image | |
JP2006334323A (ja) | 内視鏡装置 | |
CN109863755A (zh) | 信号处理设备、方法和程序 | |
Schroeder et al. | Value of high-definition imaging in neuroendoscopy | |
CN105377112B (zh) | 医疗显示装置以及内窥镜手术系统 | |
US10275905B2 (en) | Color integration system for medical images and recording and color management apparatus for medical images | |
WO2017073361A1 (ja) | 情報処理装置、情報処理方法、及び、内視鏡システム | |
WO2021157697A1 (ja) | 医療映像処理システム及びエンコード装置 | |
JP3396190B2 (ja) | 画像処理装置 | |
WO2022030450A1 (ja) | 医療映像システム及び医療映像処理装置 | |
US20210385391A1 (en) | Medical video switcher | |
US20110275924A1 (en) | Method and System for Assimilating and Transmitting Medical Imaging and Associated Data to a Remote User | |
Lévêque et al. | Video quality perception in telesurgery | |
US20100214536A1 (en) | Ophthalmologic photographing apparatus | |
JP2002158853A (ja) | 画像処理装置 | |
JP4025686B2 (ja) | 医療用画像記録装置 | |
GB2410390A (en) | Transmitting image data processed in accordance with image processing parameters received from the receiving device | |
JP2008264213A (ja) | 内視鏡画像ファイリングシステム | |
WO2023145447A1 (ja) | 情報処理方法、情報処理システム、およびプログラム | |
JPH08154244A (ja) | 画像記憶装置 | |
JPH10313465A (ja) | 映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21750458 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21750458 Country of ref document: EP Kind code of ref document: A1 |