WO2015114901A1 - 医療用動画記録再生システム及び医療用動画記録再生装置 - Google Patents

医療用動画記録再生システム及び医療用動画記録再生装置 Download PDF

Info

Publication number
WO2015114901A1
WO2015114901A1 PCT/JP2014/078975 JP2014078975W WO2015114901A1 WO 2015114901 A1 WO2015114901 A1 WO 2015114901A1 JP 2014078975 W JP2014078975 W JP 2014078975W WO 2015114901 A1 WO2015114901 A1 WO 2015114901A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
unit
past
feature point
recording
Prior art date
Application number
PCT/JP2014/078975
Other languages
English (en)
French (fr)
Inventor
範芳 土屋
篠田　徹
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP14880937.9A priority Critical patent/EP3100668A4/en
Priority to JP2015537058A priority patent/JP5905168B2/ja
Priority to CN201480070403.1A priority patent/CN105848559B/zh
Publication of WO2015114901A1 publication Critical patent/WO2015114901A1/ja
Priority to US15/205,933 priority patent/US20160323514A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Definitions

  • the present invention relates to a medical moving image recording / reproducing system and a medical moving image recording / reproducing apparatus for recording a medical moving image captured by a medical device and reproducing the recorded moving image or a moving image being captured.
  • an image of the affected part is searched from the endoscopic images taken in the past examination, and the still image is PinP (picture-in-picture). )it's shown.
  • the endoscope video recorded by the VTR is displayed in PinP.
  • the surgeon refers to the still image of the affected area displayed in PinP and past endoscopic images, finds the corresponding part in this examination, and diagnoses by seeing how the affected area has changed compared to the previous time Etc.
  • Patent Document 1 For medical image recording devices that can display and play back useful videos with simple operations in a short period of time, feature points were detected from the acquired medical videos, and feature points were detected during playback of the videos.
  • a technique for reproducing a moving image from a point in time is disclosed (for example, Patent Document 1).
  • reproduction is performed from a location where a feature point is detected from past moving images. Since the video from the start of the examination is not reproduced, it is difficult for the operator to grasp the insertion path, and it may take time to find the affected part in the endoscopic examination.
  • An object of the present invention is to provide a technique that has high operability and makes it easy to grasp an insertion path to an affected area in an endoscopic examination.
  • a medical video recording / playback system that records and plays back medical video data, an imaging unit that captures an image of a subject and acquires an imaging signal, and the imaging signal
  • a moving image data generating unit that generates moving image data of the subject; and feature point information indicating that the image is characterized as an image of the subject with respect to a specified frame among frames constituting the moving image data.
  • a feature point information generation unit to be generated; a recording unit that records the feature point information and a corresponding frame of the moving image data in association with each other; and at least one past data based on the one or more moving image data read from the recording unit
  • a reproduction control unit for controlling reproduction of a moving image, live moving image data generated by the moving image data generation unit, and past moving image data provided from the reproduction control unit Generating composite image data that is synthesized so that a live video based on the live video data and a past video based on the past video data are displayed at the same time, and outputting the resultant composite image data
  • a display unit that displays a synthesized image based on the synthesized image data output from the synthesizing unit, and the reproduction control unit is configured to display the frame of the past moving image data to which the feature point information is attached. The control is such that playback is paused.
  • a medical video recording / reproducing apparatus that records and reproduces medical video data, an imaging unit that images a subject and acquires an imaging signal, and the imaging Based on the signal, a moving image data generation unit that generates moving image data of the subject, and an image having a characteristic as the image of the subject with respect to a specified frame among frames constituting the moving image data At least one past moving image based on one or more moving image data read from a feature point information generating unit that generates feature point information and a recording unit that records the feature point information and the corresponding frame of the moving image data in association with each other
  • a playback control unit that controls playback of the video, live video data generated in the video data generation unit, and past video data provided from the playback control unit,
  • a synthesis unit that generates synthesized image data that is synthesized so that a live movie based on live movie data and a past movie based on the past movie data are displayed simultaneously, and outputs the obtained synthesized image data to a display unit
  • the present invention in endoscopy, it has high operability and makes it easy for the surgeon to grasp the insertion path to the affected area.
  • 1 is an overall configuration diagram of a medical moving image recording / reproducing system.
  • 1 is an overall block diagram of a medical video recording / playback system. It is a figure which illustrates the synthesized image displayed on the monitor based on the synthesized image data obtained by synthesize
  • FIG. 1 is an overall configuration diagram of a medical moving image recording / playback system according to the present embodiment.
  • a medical video recording / playback system 100 shown in FIG. 1 includes an endoscope observation apparatus 1, a monitor 2, a scope 3, an image filing server (hereinafter abbreviated as a server) 4, a keyboard 5, a wireless LAN (Local Area Network) 6, and a tablet.
  • a PC Personal Computer
  • the medical moving image recording / reproducing system 100 in FIG. 1 obtains moving image data by performing necessary processing in the endoscope observation apparatus 1 on the imaging signal acquired by the scope 3 in the endoscopic examination.
  • the obtained moving image data is recorded in the server 4.
  • the moving image data recorded in the server 4 can be read out, processed by the video processor of the endoscope observation apparatus 1, and reproduced on the monitor 2.
  • Input and setting of various information necessary for endoscopic examination, recording and reproduction of moving image data can be performed via various input means such as the operation switch of the scope 3, the keyboard 5, and the tablet PC 7.
  • the endoscope observation device 1 is a device in which devices such as a video processor, a light source device, and a monitor 2 are assembled in a trolley shape, and is acquired by the scope 3. Necessary processing is performed on the medical video, and the output is displayed on the monitor 2.
  • the distal end of the scope 3 is inserted into the body cavity of the subject, and the acquired imaging signal in the body cavity is output to the endoscope observation apparatus 1.
  • the monitor 2 receives moving image data obtained by processing the imaging signal by the video processor of the endoscope observation apparatus 1 from the endoscope observation apparatus 1 and displays the moving image on the screen.
  • the server 4 receives the moving image data obtained by image processing in the endoscope observation apparatus 1 via the wireless LAN router 6, and records the received moving image data.
  • the server 4 records patient information for identifying a subject, that is, a patient, and feature point information indicating a frame image specified by an operator or the like in the moving image data in association with the moving image data. Details of the feature point information will be described later in detail with reference to FIG.
  • the endoscope observation apparatus 1, the server 4, and the tablet PC 7 are configured to be connected to each other via a wireless LAN. It is good also as a structure connected by LAN. Moreover, the network between each apparatus is not limited to LAN, You may use various well-known networks.
  • the keyboard 5 is one of input means for inputting various settings and instructions to the connected endoscope observation apparatus 1.
  • Settings and instructions input from the keyboard 5 include settings and instructions related to endoscopy, instructions related to playback of moving picture data on the monitor 2 such as playback and stop of moving picture data, and instructions such as addition of feature point information. including.
  • the tablet PC 7 is one of input means for inputting an instruction regarding reproduction of the moving image data on the monitor 2 and an instruction such as addition of feature point information.
  • the endoscope observation apparatus 1 stores the information on the patient 4 identifying the patient to be examined from now on the server 4. It is confirmed whether moving image data with matching patient information has already been recorded.
  • the moving image data is transmitted to the endoscope observation apparatus 1 via the wireless LAN router 6.
  • the endoscope observation apparatus 1 displays a moving image received from the scope 3 live on the monitor 2 and monitors a past moving image together with the moving image data received from the server 4 and stored in the memory or the like of the own device. 2 is displayed. On the monitor 2, a past moving image is reproduced and a live moving image being captured by the scope 3 is displayed. The surgeon inserts the scope 3 into the body cavity of the patient, determines a place that needs to be examined, that is, a place where an affected area or the like appears in the past moving picture, and observes it.
  • Operations such as playing, stopping, fast-forwarding and rewinding of moving images are performed by operating switches located at the hands of the operator of the scope 3, a foot switch not shown in FIG. 1, a keyboard operated by a staff in an unclean area, etc. 5 is configured to be able to be performed through the network.
  • the configuration can be made via the tablet PC 7 or the like.
  • the operation for assigning the feature point information to the moving image data can also be performed using these means.
  • the medical moving image recording / reproducing system 100 in endoscopic examination, a frame image in which an affected part or the like appears and the above-described feature point information are recorded in association with each other.
  • the past video is read out from the server 4 and displayed on the monitor 2 and displayed, and the past video is paused at the frame image portion to which the feature point information is added.
  • FIG. 2 is an overall block diagram of the medical video recording / playback system 100 according to the present embodiment.
  • the keyboard 5 and the wireless LAN router 6 of FIG. 1 are omitted as a configuration of the medical moving image recording / playback system 100, and a foot switch 8 and a USB (Universal Serial ⁇ Bus) memory 9 are added.
  • FIG. 2 only the configuration related to the method of recording and playing back medical moving images according to the present embodiment is shown, and the description of other configurations is omitted.
  • the scope 3 includes an imaging unit 31, a scope switch 32, and a treatment instrument insertion detection unit 33.
  • the imaging unit 31 includes a lens and a CCD (Charge Coupled Device), and acquires an imaging signal of the subject.
  • the scope switch 32 is disposed in an operation unit used by a surgeon at hand, and the video processor 50 of the endoscope observation apparatus 1 instructs various operations of endoscopy and gives feature point information of moving images during imaging. Give against.
  • the treatment instrument insertion detection unit 38 includes, for example, a sensor provided in a forceps hole provided at the distal end of the scope 3, and the sensor detects that an operator who is a user uses the forceps through the forceps hole. The method of using the detection result of the treatment instrument insertion detection unit 38 will be described in detail in the description of the first modification.
  • the foot switch 8 is used to input various operations related to operation of the scope 3 in endoscopy and surgery, reproduction of moving images, and addition of feature point information.
  • the tablet PC 7 has a voice input reception unit 71 and a voice input transmission unit 72.
  • the voice input transmitting unit 72 transmits the voice data input to the tablet PC 7 toward the video processor 50.
  • the video processor 50 receives the audio data transmitted from the audio input transmission unit 72 of the tablet PC 7 through the tablet communication unit 22.
  • the video processor 50 that has received the audio data acquires necessary information by analyzing the audio data in an analysis unit (not shown in FIG. 2), and passes the acquired information to each unit constituting the video processor 50. give. Further, the communication between the tablet PC 7 and the video processor 50 is not limited to the audio data communication illustrated in FIG.
  • the video processor 50 of the endoscope observation apparatus 1 includes an image processing unit 11, a synthesizing unit 12, a recording moving image data generation unit 13, a moving image recording area 14, a decoder 15, a reproduction control unit 16, a trigger identification unit 17, and trigger type information.
  • An internal memory 26 is included.
  • the video processor 50 performs necessary processing on the imaging signal obtained by imaging with the imaging unit 31 of the scope 3 to obtain moving image data, and outputs the moving image data to the monitor 2.
  • the image processing unit 11 performs necessary image processing on the imaging signal input from the scope 3 to obtain moving image data.
  • the synthesizing unit 12 converts the moving image data input from the image processing unit 11, that is, the data of the live moving image, and the past moving image data read from the server 4 or the USB memory 9 into the live moving image and the past moving image based on the live moving image data.
  • Composite image data that is synthesized so that the past moving image based on the data is displayed on the monitor 2 at the same time is generated and transmitted to the monitor 2.
  • the recording moving image data generation unit 13 is composed of, for example, an encoder, and performs necessary processing such as encoding on the moving image data input from the image processing unit 13.
  • necessary processing such as encoding
  • various information such as a frame number, a time stamp, and an insertion length of the scope 3 may be recorded in association with the moving image data for recording.
  • the moving image recording area 14 is an area for temporarily storing moving image data for recording generated by the recording moving image data generation unit 13 or moving image data read from the server 4 or the USB memory 9.
  • the decoder 15 decodes the moving image data held in the moving image recording area 14.
  • the decoded moving image data is given to the reproduction control unit 16.
  • the reproduction control unit 16 controls the reproduction of past moving images based on the moving image data decoded by the decoder 15 and the feature point information associated therewith.
  • the reproduction control unit 16 outputs the past moving image data for which reproduction is controlled, together with the feature point information, to the synthesis unit 12.
  • the trigger identifying unit 17 recognizes a user operation that becomes a trigger when the feature point information is associated with the corresponding frame image.
  • the user's operation as a trigger is an operation of the scope switch 32, the foot switch 8, the tablet PC 7, and the keyboard 5 in FIG. 1 (not shown in FIG. 2). Communication with the tablet PC 7 is performed via the tablet communication unit 22 as described above.
  • the trigger type information generation unit 18 generates information indicating by which means the user operation recognized by the trigger identification unit 17 is input.
  • the trigger type information includes, for example, the scope 3 (the scope switch 32 and the treatment instrument insertion detection unit 33), the foot switch 8, the tablet PC 7, the keyboard 5, and the like.
  • the frame number data generation unit 19 generates data representing the frame number of the corresponding frame image when an operation for assigning feature point information is performed from the scope 3 or the like.
  • the time stamp generation unit 20 detects the date and time when the operation for adding feature point information is performed, and generates a time stamp.
  • the insertion length data generation unit 21 generates insertion length data of the scope 3 based on the insertion length of the scope 3 at the timing when the feature point information addition operation detected by the insertion length detection unit 23 is performed.
  • a known technique is used as the technique for generating insertion length data from the detection result of the insertion length detector 23 in the insertion length data generator 21 a known technique is used. A specific method of using the insertion length data will be described in detail in the description of the second modification.
  • the feature point information generation unit 24 generates feature point information from data input from the trigger type information generation unit 18, the frame number data generation unit 19, the time stamp generation unit 20, and the insertion length data generation unit 21.
  • the feature point information includes the frame number of the frame image, the time stamp, the insertion length of the scope 3 and the like corresponding to the timing when the operator or other user of the medical moving image recording / playback system 100 operates the scope switch 32 or the like.
  • the feature point information may include other information, or may include a part of the information.
  • the frame image to which the feature point information is added indicates that it is a frame image in which an affected area or the like appears from the moving image specified by the user.
  • the feature point information recording area 25 is an area for storing feature point information generated in the video processor 50.
  • shooting conditions such as an observation mode (normal light observation mode, narrow-band light observation mode, fluorescence observation mode, infrared light observation mode, etc.) are also stored in the feature point information recording area 25.
  • the video processor 50 records information such as feature point information in the feature point information recording area 25 in the server 4 and the USB memory 9 in association with the moving picture data held in the moving picture recording area 14.
  • the playback control unit 16 refers to the frame number of the feature point information, and pauses playback in the frame of the frame number corresponding to the feature point information in the past moving image data.
  • the synthesizing unit 12 generates synthesized image data to be displayed on the monitor 2 based on the live moving image data input from the image processing unit 11 and the past moving image data input from the reproduction control unit 16.
  • the generated composite image data is output.
  • composite image data in a state where the past moving image is stationary in a frame attached with feature point information is generated and output to the monitor 2.
  • the monitor 2 displays a composite image based on the composite image data received from the composition unit 12.
  • FIG. 3 is a diagram illustrating a composite image displayed on the monitor 2 based on the composite image data obtained by the composition unit 12.
  • the live video P1 and the past video P2 are displayed side by side on the monitor 2. Further, as shown in FIG. 3, a progress bar PB may be displayed beside the past video P2.
  • the progress bar PB in FIG. 3 shows the relative position in the video at the timing at which the feature point information is given in the period from the start to the end of the video of the past endoscopy, and the start of the video.
  • the elapsed time is displayed.
  • the shooting time T of the past movie P2 is 20 minutes
  • the feature point information f1, f2, and f3 is assigned to the movie P2.
  • the feature point information f1, f2, and f3 is visually given to the user, such as a surgeon, at the timing of “5 minutes”, “7 minutes”, and “12 minutes” from the start time of the moving image. It is displayed so that it can be easily grasped.
  • the surgeon refers to the progress bar PB, inserts the scope 3 and starts the examination (starts shooting of the moving image), and then takes the time required to the location where the feature point information is given, that is, the affected area Recognize etc.
  • the past moving image P2 is temporarily stopped in the frame to which the feature point information f1 to f3 is assigned.
  • the surgeon determines the position of the affected part with reference to the progress bar PB, and compares the frame image of the past affected part to which the feature point information f1 to f3 is given with the live moving image to perform a detailed examination.
  • the video processor 50 in FIG. 2 records the past moving image data combined with the live moving image in the combining unit 12 in the server 4 or the USB memory 9 in association with the feature point information. Keep going.
  • the server 4 includes a moving image recording area 41, a feature point information recording area 42, and a feature point information generating unit 43.
  • the moving image recording area 41 is an area for recording moving image data received from the video processor 50 of the endoscope observation apparatus 1.
  • the feature point information recording area 42 is an area for recording the feature point information received together with the moving image data from the video processor 50.
  • the operation of the feature point information generation unit 43 is the same as that of the feature point information generation unit 24 of the video processor 50.
  • the feature point information generation unit 43 generates feature point information from information input directly to the server 4 or indirectly via a network.
  • the USB memory 9 has a moving image recording area 91 and a feature point information recording area 92.
  • the moving image recording area 91 and the feature point information recording area 92 are areas for holding moving image data and feature point information, respectively, similarly to the moving image recording area 41 and the feature point information recording area 42 of the server 4.
  • the processor internal memory 26 is storage means provided in the processor 50. As shown in FIG. 2, the processor internal memory 26 has a moving image recording area 27 and a feature point information recording area 28. Similar to the server 4 and the USB memory 9, the moving image recording area 27 and the feature point information recording area 28 are areas provided to hold moving image data and feature point information, respectively.
  • the video processor 50 of the endoscope observation apparatus 1 is the same as the live moving image, that is, the image being captured in the endoscopy in the past.
  • the patient (information) examination video is displayed on the monitor 2.
  • the past moving image is reproduced from the start of the inspection, and is temporarily stopped at the location where the feature point information is given.
  • the surgeon can easily grasp the insertion path of the scope 3 to the affected area without having to ask the staff in the unclean area to temporarily stop at the affected area or the like to which the feature point information has been given in the past examination. Can be inspected.
  • the medical video recording and playback method according to the present embodiment is not limited to this. It is not something. For example, it is very good to display live video and past video on separate monitors. According to this, the user can arbitrarily determine the arrangement of each monitor according to the usage environment of the monitor 2 or the like.
  • the feature point information is given through the operation switch or the like of the scope 3 or through the tablet PC 7 capable of wireless communication via the keyboard 5 or the wireless LAN router 6 connected to the endoscope observation apparatus 1.
  • the treatment instrument insertion detection unit 33 in FIG. 2 recognizes that a treatment instrument such as a forceps has been inserted, and determines that this is a trigger for adding feature point information.
  • the video processor 50 of the endoscope observation apparatus 1 detects that a treatment tool such as forceps is inserted through the forceps hole of the scope 3, the video processor 50 determines that there is an affected part at the position of the scope 3 when the insertion is detected. To do. Then, feature point information is given to the frame image at the time when the insertion of the forceps is detected.
  • the feature point information includes the insertion length of the scope 3.
  • the video processor 50 calculates the frame number corresponding to the insertion length designated by the user from the scope 3 insertion length data of the plurality of feature point information, and starts the playback of the past moving image therefrom. .
  • FIG. 3 a configuration is adopted in which a live video and a past video are displayed side by side on the monitor 2.
  • the display method on the monitor 2 in consideration of convenience when a user such as an operator performs an examination while comparing a live video with a past video. Take.
  • a method for displaying a moving image on the monitor 2 by the medical moving image recording / reproducing system 100 according to the present embodiment will be described in detail with reference to FIGS.
  • FIG. 4 is a diagram illustrating detailed blocks of the synthesis unit 12 in the video processor 50 of the endoscope observation apparatus 1. With reference to FIG. 4, first, a specific description will be given of how to generate a composite image to be displayed on the monitor 2 by combining a live video and a past video.
  • the synthesis unit 12 includes a live observation character data generation unit 51, a live observation character data superimposition unit 52, a live observation video required display frame superposition unit 53, a character data superposition position setting unit 54, and a recorded video.
  • Character required data generating unit 55, shooting condition identifying unit 56, recorded moving image required character data superimposing unit 57, display frame shape setting unit 58, recorded moving image display frame superimposing unit 59, adding unit 60, display content storage area 61, display content A selection unit 62 and a display content selection type storage area 63 are provided.
  • the character data superimposition position setting unit 54 displays the live moving image and the past moving image monitor 2 from the live moving image data input from the image processing unit 11 and the past moving image data input from the reproduction control unit 16 in FIG. Sometimes, the position of a character or the like indicating whether each moving image is a live moving image or a past moving image is set. The positions of these characters and the like are determined based on the contents set by the user via the tablet PC 7 and the keyboard 5 shown in FIG.
  • the live observation character data generation unit 51 generates character data representing a live video out of two videos displayed on the monitor 2.
  • the live observation character data superimposing unit 52 superimposes the character data generated by the live observation character data generating unit 51 on the live video data input from the image processing unit 11.
  • the live observation moving image required display frame superimposing unit 53 further superimposes a live moving image display frame on the data obtained by superimposing the character data on the live moving image in the live observation character data superimposing unit 52.
  • the shooting condition identification unit 56 acquires the shooting condition of the moving image from the information input from the reproduction control unit 16.
  • imaging conditions include observation modes, that is, depending on any of normal light observation or special light observation (narrowband light observation, fluorescence observation, infrared light observation, etc.), and the like.
  • the recorded moving image character data generation unit 55 is a past movie of the two moving pictures to be displayed on the monitor 2 and character data for displaying the shooting condition.
  • the recorded moving image character data superimposing unit 57 superimposes the character data generated by the recorded moving image character data generating unit 55 on the past moving image data input from the reproduction control unit 16.
  • the recorded moving image display frame superimposing unit 59 further superimposes a past moving image display frame on the data obtained by superimposing the character data on the past moving image in the recorded moving image character data superimposing unit 57.
  • a shape or the like different from the display frame for the live moving image is set so that the user can easily distinguish the display frame from the live moving image on the monitor 2.
  • the display frame shape setting unit 58 sets the display frames of past moving images according to the display mode set by the user via the input means such as the tablet PC 7 or the keyboard.
  • the recorded moving image display frame superimposing unit 59 superimposes the past moving image display frame set in the display frame shape setting unit 58 on the past moving image and character data.
  • Composite image data to be displayed on the monitor 2 by arranging the character data and the data obtained by superimposing the display frames on the live moving image data and the past moving image data at predetermined positions on the screen in the adding unit 60. Is output to the monitor 2.
  • the user determines what and how to use as characters and display frames to be superimposed on live moving image data and past moving image data. Desired characters and display frames can be selected.
  • the display content selection unit 62 receives the content selected by the user for these characters and display frames via the various input means such as the tablet PC 7.
  • the display content selection type storage area 63 is an area for storing various displayable characters and display frame types that can be provided by the medical moving image recording / playback system 100.
  • the display content storage area 63 is an area for storing a character selected by the user from various types of characters and display frames stored in the display content selection type storage area 63.
  • display mode the type of display form such as characters and display frames that can be provided to the user by the medical moving image recording / playback system 100 is referred to as “display mode”.
  • FIG. 5 is a diagram illustrating a display mode selection screen.
  • FIG. 5A illustrates a display mode setting change screen W1
  • FIG. 5B illustrates a screen W2 that displays a list of display modes that can be set by the user.
  • the video processor 50 of the endoscope observation apparatus 1 displays a display when the user selects “image display selection mode” on the display mode setting change screen W1 of FIG. In accordance with the information stored in the content storage area 61, the display mode list screen W2 of FIG.
  • the video processor 50 stores the display content selection type information on characters and display frames to be displayed on the monitor 2 in the normal mode.
  • the display is switched to the screen illustrated in FIG. 3, for example.
  • the display mode list screen W2 in FIG. 5B illustrates eight display modes.
  • the user selects one display mode from the screen W2 in FIG.
  • the synthesizer 12 holds the character and display frame information corresponding to the selected display mode in the display content selection type storage area 63, and displays the moving image on the monitor 2 thereafter.
  • the screen W2 may be a sample screen for each display mode, and may be set to the display mode selected by the user. Specific examples of the display mode are shown in FIGS.
  • FIG. 6A displays characters “LIVE” and “PAST (AFI mode)” indicating that the moving image is a live moving image and a past moving image
  • FIG. 6A displays characters in the upper part of the display frame
  • FIG. 6B displays characters in the lower part of the display frame.
  • characters indicating that the past moving image observation mode is the AFI (fluorescence observation) mode are also displayed together with the characters indicating the past moving image.
  • the display modes of FIG. 6C and FIG. 6D indicate characters indicating that the moving image is a live moving image and a past moving image outside the display frame of each moving image.
  • 6C displays characters in the upper part of the vicinity of the frame outside the display frame
  • FIG. 6D displays characters in the lower part of the vicinity of the frame outside the display frame.
  • the display frame of the past video is set as the display frame of the live video so that the user does not mistake the live video on the monitor 2 and the past video.
  • Different colors and shapes FIG. 6 (e) encloses the past moving image display frame with a double rectangle, and FIG. 6 (f) shows the past moving image display frame as a circle, thereby forming a single rectangular display frame for the live moving image. It has a different shape.
  • FIG. 6G shows a case where three past moving images are displayed together with a live moving image. Similar to FIG. 6G, the past moving images are displayed relatively smaller than the live moving images. The display frame of the past moving image is circular so that the user can determine the past moving image and the past. Similarly to FIG. 6G, the shooting conditions of past moving images are also displayed.
  • FIG. 6 illustrates the case where the observation mode is displayed as characters as shooting conditions for past moving images, but the shooting conditions displayed as characters are not limited thereto.
  • information for identifying a scope information such as an enlargement magnification may be displayed. Whether or not to display these photographing conditions and whether to display any information can be configured to allow the user to select and display based on this.
  • the user can operate the touch panel monitor or the tablet PC 7 to move the position of the character displayed on the screen from the default position. It is good also as a structure which can be changed by etc. According to this, for example, from the display mode in which characters are displayed in the upper part in the display frame in FIG. 6A, the display mode in which characters are displayed in the lower part in the display frame as shown in FIG. The display mode is changed to a display mode in which characters are displayed near the frame outside the display frame in FIG.
  • information recorded in association with the moving image data is read from the past moving image data from the server 4, the USB memory 9, or the video processor 50 and displayed.
  • composition unit 12 of the video processor 50 may be configured to change the display form according to the state of the moving image. This will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of changing the display form on the monitor 2.
  • the image itself may be dark depending on the observation mode and the observation position in the body cavity.
  • the display mode for displaying the above-described various characters in the display frame is set, when the image becomes dark, it may be difficult for the user to read the characters in the display frame. Therefore, by comparing the color value of the shaded area in FIG. 7 with a predetermined threshold value, it is determined that the color value of the image in the shaded area is close to the color value of the character, and the character color is set to, for example, white. It is good also as a structure to switch. In this way, the character color is automatically switched in real time so that the contrast between the character color and the background image becomes clear, so that the user effectively prevents the character from being difficult to read by the image.
  • the user can arbitrarily set whether or not to change the character color. That is, when the user performs setting to fix the character color, it is possible to effectively prevent the character color displayed on the monitor 2 from being frequently switched according to the color value of the image. Become.
  • any of a plurality of moving images displayed on the monitor 2 by a user such as an operator during the operation of the endoscope.
  • the user can set a desired display mode so that it is easy to identify whether it is a live video.
  • the user arranges each video at a desired position, effectively preventing the user from mistaking the live video and past videos. It becomes possible.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, all the constituent elements shown in the embodiments may be appropriately combined. Furthermore, constituent elements over different embodiments may be appropriately combined. It goes without saying that various modifications and applications are possible without departing from the spirit of the invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　内視鏡検査において高操作性を有し且つ患部までの挿入経路を把握し易くすることを可能とする技術を提供するため、医療用動画記録再生システム１００の画像処理部１１は、撮像部３からの撮像信号に基づき被写体の動画データを生成する。特徴点情報生成部１４は、動画データの指定されたフレームに対して特徴点情報を生成する。サーバー４は、特徴点情報と動画データとを関連付けて記録する。再生制御部１６は、サーバー４から読み出した１以上の動画データに基づき過去の動画の再生を制御する。合成部１２は、画像処理部１１からのライブの動画データと再生制御部１６からの過去の動画データとをライブ動画と過去動画とが同時に表示されるように合成した合成画像データを生成し、出力する。モニタ２は、合成画像データに基づく合成画像を表示する。再生制御部１６は、過去の動画データの特徴点情報の付されたフレームにおいて再生を一時停止させる制御を行う。

Description

医療用動画記録再生システム及び医療用動画記録再生装置
　本発明は、医療機器にて撮像した医療用の動画を記録し、記録した動画や撮像中の動画を再生する医療用動画記録再生システム及び医療用動画記録再生装置に関する。
　従来は、内視鏡検査において前回の検査で発見した患部を再度確認するために、過去の検査で撮像した内視鏡映像の中から、患部の画像を探し出して静止画像をＰｉｎＰ（ピクチャーインピクチャー）表示している。あるいは、ＶＴＲで記録した内視鏡映像をＰｉｎＰ表示している。術者は、ＰｉｎＰ表示した患部の静止画像や過去の内視鏡映像を参照して、今回の検査で対応する箇所を探し出し、前回に比べて患部がどのように変化しているかを見て診断等を行う。
　短期間かつ簡単な操作で有益な動画を表示、再生することができる医療画像記録装置に関しては、取得した医療用の動画の中から特徴点を検出し、動画の再生時には、特徴点を検出した時点から動画を再生する技術が開示されている（例えば、特許文献１）。
特開２０１１－３６３７０号公報
　過去に撮像して得られた映像を再生しながら内視鏡検査を行い、過去の映像のうち、患部の現れている箇所で再生を停止させて、撮像中の映像の対応する箇所と比較をする方法では、過去の映像を停止させる操作は、内視鏡装置に接続されたキーボード等を介して行う。このため、減菌域で検査を行っている術者自身は、過去の映像の再生を停止させるための操作を行うことができず、不潔域にいる術者以外の者がこれを行う必要がある。
　また、上記の特許文献１に記載された技術によれば、過去の動画の中から特徴点の検出された箇所から再生がなされる。検査開始からの映像を再生するものではないため、術者にとっては、挿入経路がつかみにくく、内視鏡検査において患部の箇所を探すのに手間取ることがある。
　このように、内視鏡装置のユーザである術者にとっては、操作性が高く、かつ内視鏡検査にて患部までの挿入経路をイメージし易くすることのできる技術が求められている。
　本発明は、内視鏡検査において、高操作性を有し、且つ患部までの挿入経路を把握し易くすることを可能とする技術を提供することを目的とする。
　本発明の一態様によれば、医療用動画データの記録及び再生を行う医療用動画記録再生システムであって、被検体を撮像して撮像信号を取得する撮像部と、前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部と、前記記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを出力する合成部と、前記合成部から出力された前記合成画像データに基づく合成画像を表示する表示部と、を有し、前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行うことを特徴とする。
　また、本発明の他の一態様によれば、医療用動画データの記録及び再生を行う医療用動画記録再生装置であって、被検体を撮像して撮像信号を取得する撮像部と、前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを表示部に出力する合成部と、を有し、前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行うことを特徴とする。
　本発明によれば、内視鏡検査において、高操作性を有し、且つ術者が患部までの挿入経路を把握し易くなる。
医療用動画記録再生システムの全体構成図である。 医療用動画記録再生システムの全体ブロック図である。 合成部にて合成して得られた合成画像データに基づきモニタに表示した合成画像を例示する図である。 内視鏡観察装置のビデオプロセッサにおける合成部の詳細ブロックを示す図である。 表示モードの選択画面を例示する図である。 表示モードの具体例を示す図である。 モニタへの表示形態の変更例について説明する図である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
　図１は、本実施形態に係る医療用動画記録再生システムの全体構成図である。図１に示す医療用動画記録再生システム１００は、内視鏡観察装置１、モニタ２、スコープ３、画像ファイリングサーバー（以下サーバーと略記）４、キーボード５、無線ＬＡＮ（Local Area Network）６及びタブレットＰＣ（Personal Computer）７を有する。
　図１の医療用動画記録再生システム１００は、内視鏡検査においてスコープ３にて取得した撮像信号を、内視鏡観察装置１にて必要な処理を施し、動画データを得る。得られた動画データは、サーバー４に記録する。サーバー４に記録した動画データは、読み出して内視鏡観察装置１のビデオプロセッサにて処理し、モニタ２にて再生することもできる。内視鏡検査や動画データの記録、再生に必要な各種情報の入力や設定は、スコープ３の操作スイッチ、キーボード５、タブレットＰＣ７等の各種の入力手段を介して行うことができる。
　医療用動画記録再生システム１００を構成する各装置のうち、内視鏡観察装置１は、ビデオプロセッサ、光源装置、モニタ２等の装置がトローリー状に組まれた装置であり、スコープ３で取得した医療用動画に必要な処理を施し、モニタ２に出力表示させる。
　スコープ３は、その先端部が被検体の体腔内に挿入されて、取得した体腔内の撮像信号を内視鏡観察装置１に出力する。モニタ２は、内視鏡観察装置１のビデオプロセッサにて撮像信号処理して得られた動画データを内視鏡観察装置１から受信して、画面上に動画を表示させる。
　サーバー４は、無線ＬＡＮルータ６を介して内視鏡観察装置１において画像処理して得られた動画データを受信し、受信した動画データを記録する。本実施形態においては、サーバー４は、動画データに、被検体すなわち患者を識別する患者情報や、動画データのうち術者等が指定してフレーム画像を表す特徴点情報を関連付けて記録する。特徴点情報の詳細については、図２等を参照して後に詳しく説明する。
　なお、図１に示すように、本実施形態においては、内視鏡観察装置１、サーバー４及びタブレットＰＣ７は、互いに無線ＬＡＮを介して接続される構成であるが、これに限定されず、有線ＬＡＮにて接続される構成としてもよい。また、各装置間のネットワークは、ＬＡＮに限定されず、公知の各種のネットワークを使用してもよい。
　キーボード５は、接続されている内視鏡観察装置１に対して、各種の設定や指示を入力するための入力手段の一つである。キーボード５から入力する設定や指示としては、内視鏡検査に関する設定や指示のほか、動画データの再生やその停止等の動画データのモニタ２における再生に関する指示や、特徴点情報の付与等の指示を含む。
　タブレットＰＣ７は、キーボード５と同様に、動画データのモニタ２における再生に関する指示や、特徴点情報の付与等の指示を入力するための入力手段の一つである。
　本実施形態に係る医療用動画記録再生システム１００では、内視鏡検査において、まず、内視鏡観察装置１が、これから検査を行おうとしている患者を識別する患者情報を元に、サーバー４に患者情報の一致する動画データがすでに記録されていか否かを確認する。サーバー４に患者情報の一致する動画データが記録されているときは、その動画データを、無線ＬＡＮルータ６を介して内視鏡観察装置１に送信する。内視鏡観察装置１は、スコープ３から受信した動画をライブでモニタ２に表示し、これとともに、サーバー４から受信して自装置のメモリ等に保存した動画データに基づき、過去の動画をモニタ２に表示させる。モニタ２には、過去の動画が再生されるとともに、スコープ３にて撮像中のライブ動画が表示されることとなる。術者は、スコープ３を患者の体腔内に挿入していき、精査を要する箇所、すなわち過去の動画で患部等の現れている箇所を過去の動画を参照して判断し、観察を行う。
　動画の再生、停止、早送り及び巻き戻し等の操作は、スコープ３の術者の手元に位置する操作スイッチや図１においては不図示の足元のフットスイッチ、不潔域にいるスタッフ等が操作するキーボード５を介して行うことができる構成とする。この他にも、例えば、サーバー４に記録された動画を検査後に再確認する際には、タブレットＰＣ７等を介して行うことも可能な構成とする。上記のとおり、特徴点情報を動画データに付与する操作についても、これらの手段を用いて行うことが可能である。
　本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡検査において、患部部等の現れているフレーム画像と上記の特徴点情報とを関連付けて記録しておく。後日再度の内視鏡検査を行うときには、サーバー４から読み出してモニタ２に過去の動画を再生、表示し、特徴点情報の付与されているフレーム画像の箇所で、過去の動画の再生を一時停止させる。医療用動画記録再生システム１００が特徴点情報を動画データに付与し、これを後の検査において利用する方法について、以下に具体的に説明する。
　図２は、本実施形態に係る医療用動画記録再生システム１００の全体ブロック図である。なお、図２においては、医療用動画記録再生システム１００の構成として、図１のキーボード５や無線ＬＡＮルータ６は省略し、フットスイッチ８及びＵＳＢ（Universal Serial Bus）メモリ９を追加している。また、図２においては、本実施形態に係る医療用動画の記録や再生の方法に係わる構成のみを記載し、他の構成については記載を省略している。
　スコープ３は、撮像部３１、スコープスイッチ３２及び処置具挿入検知部３３を有する。撮像部３１は、レンズやＣＣＤ（Charge Coupled Device）を有し、被検体の撮像信号を取得する。スコープスイッチ３２は、術者が手元で使用する操作部に配置され、内視鏡検査の各種操作や、撮像中の動画の特徴点情報の付与の指示を内視鏡観察装置１のビデオプロセッサ５０に対して与える。処置具挿入検知部３８は、例えば、スコープ３先端に設けられた鉗子孔に設けられるセンサーからなり、センサーにより、ユーザである術者が、鉗子孔を通じて鉗子を利用したことを検知する。処置具挿入検知部３８の検知結果の利用法については、第１の変形例の説明において詳しく述べることとする。
　フットスイッチ８は、内視鏡検査や手術におけるスコープ３の操作や、動画の再生や特徴点情報の付与に関する各種の操作の入力をするために使用する。
　タブレットＰＣ７は、音声入力受信部７１及び音声入力送信部７２を有する。本実施形態においては、タブレットＰＣ７は、音声入力受信部７１にてユーザの音声入力を受け付けると、音声入力送信部７２は、タブレットＰＣ７に入力された音声データを、ビデオプロセッサ５０に向けて送信する。ビデオプロセッサ５０は、タブレット通信部２２を通じてタブレットＰＣ７の音声入力送信部７２から送信された音声データを受信する。
　なお、音声データを受信したビデオプロセッサ５０は、図２においては不図示の解析部にて音声データを解析して必要な情報を取得し、取得した情報を、ビデオプロセッサ５０を構成する各部へと与える。また、タブレットＰＣ７とビデオプロセッサ５０との通信は、図２に例示する音声データの通信に限定されるものではない。
　内視鏡観察装置１のビデオプロセッサ５０は、画像処理部１１、合成部１２、記録用動画データ生成部１３、動画記録領域１４、デコーダ１５、再生制御部１６、トリガ識別部１７、トリガ種別情報生成部１８、フレーム番号データ生成部１９、タイムスタンプ生成部２０、挿入長データ生成部２１、タブレット通信部２２、挿入長検知部２３、特徴点情報生成部２４及び特徴点情報記録領域２５及びプロセッサ内部メモリ２６を有する。ビデオプロセッサ５０は、スコープ３の撮像部３１で撮像して得られた撮像信号に対し必要な処理を施して動画データを得て、モニタ２に動画データを出力する。
　ビデオプロセッサ５０のうち、画像処理部１１は、スコープ３から入力された撮像信号に必要な画像処理を施し、動画データを得る。合成部１２は、画像処理部１１から入力された動画データ、すなわちライブ動画のデータと、サーバー４やＵＳＢメモリ９から読み出した過去の動画データとを、ライブ動画データに基づくライブ動画と過去の動画データに基づく過去動画とが同時にモニタ２に表示されるように合成した合成画像データを生成して、これをモニタ２に送信する。
　記録用動画データ生成部１３は、例えばエンコーダからなり、画像処理部１３から入力された動画データに対してエンコード等の必要な処理を施す。記録用動画データには、上述の特徴点情報のほか、フレーム番号やタイムスタンプ、スコープ３の挿入長等の各種情報を関連付けて記録してもよい。
　動画記録領域１４は、記録用動画データ生成部１３で生成した記録用の動画データや、あるいは、サーバー４やＵＳＢメモリ９から読み出した動画データを一時的に保持するための領域である。
　デコーダ１５は、動画記録領域１４に保持されている動画データをデコードする。デコードされた動画データは、再生制御部１６に与えられる。
　再生制御部１６は、デコーダ１５においてデコードした動画データ及びこれに関連付けられた特徴点情報に基づき、過去の動画の再生を制御する。再生制御部１６は、再生を制御している過去の動画のデータを、特徴点情報とともに、合成部１２に出力する。
　ビデオプロセッサ５０のうち、特徴点情報の生成に係わる構成について説明する。
　トリガ識別部１７は、特徴点情報をこれと対応するフレーム画像に関連付ける際のトリガとなるユーザの操作を認識する。トリガとなるユーザの操作は、スコープスイッチ３２、フットスイッチ８、タブレットＰＣ７、及び図２においては不図示の図１のキーボード５等の操作をいう。タブレットＰＣ７との通信は、上述のとおり、タブレット通信部２２を介して行う。
　トリガ種別情報生成部１８は、トリガ識別部１７にて認識したユーザの操作が、いずれの手段により入力されたかを表す情報を生成する。トリガ種別情報は、具体的には、例えばスコープ３（のスコープスイッチ３２や処置具挿入検知部３３）、フットスイッチ８、タブレットＰＣ７、キーボード５等である。
　フレーム番号データ生成部１９は、スコープ３等から特徴点情報付与の操作がなされると、対応するフレーム画像のフレーム番号を表すデータを生成する。タイムスタンプ生成部２０は、特徴点情報付与の操作がなされた日時を検出し、タイムスタンプを生成する。挿入長データ生成部２１は、挿入長検知部２３にて検知した特徴点情報付与の操作がなされたタイミングにおけるスコープ３の挿入長に基づき、スコープ３の挿入長データを生成する。挿入長データ生成部２１において、挿入長検知部２３の検知結果より挿入長データを生成する技術については、公知の技術を用いている。挿入長データの具体的な利用方法については、第２の変形例の説明において詳しく述べることとする。
　特徴点情報生成部２４は、トリガ種別情報生成部１８、フレーム番号データ生成部１９、タイムスタンプ生成部２０及び挿入長データ生成部２１から入力されるデータより、特徴点情報を生成する。特徴点情報は、術者その他の医療用動画記録再生システム１００のユーザがスコープスイッチ３２等を操作したタイミングに対応するフレーム画像のフレーム番号、タイムスタンプ、スコープ３の挿入長等を含む。特徴点情報は、これ以外の情報を含んでもよいし、この中の一部を含む構成であってもよい。特徴点情報の付与されたフレーム画像は、ユーザが動画の中から指定した、患部等の現れているフレーム画像であることを示す。
　特徴点情報記録領域２５は、ビデオプロセッサ５０内に生成した特徴点情報を保持しておくための領域である。実施形態では、特徴点情報に加えて、観察モード（通常光観察モード、狭帯域光観察モード、蛍光観察モード、赤外光観察モード等）等の撮影条件についても特徴点情報記録領域２５に保持する。ビデオプロセッサ５０は、上記の動画記録領域１４に保持されている動画データと関連付けて、特徴点情報記録領域２５の特徴点情報等の情報をサーバー４やＵＳＢメモリ９に記録する。
　再生制御部１６の動作の説明に戻ると、再生制御部１６は、特徴点情報のフレーム番号を参照し、過去の動画データのうち、特徴点情報と対応するフレーム番号のフレームにおいて再生を一時停止させる。
　合成部１２は、画像処理部１１から入力されるライブ動画のデータと再生制御部１６から入力される過去の動画のデータとに基づき、モニタ２に表示させる合成画像データを生成し、モニタ２に生成した合成画像データを出力する。再生制御部１６により過去の動画が一時停止した場合には、過去の動画が特徴点情報の付されたフレームにおいて静止した状態の合成画像データを生成し、モニタ２に出力する。モニタ２は、合成部１２から受信した合成画像データに基づき、合成画像を表示する。
　図３は、合成部１２にて合成して得られた合成画像データに基づきモニタ２に表示した合成画像を例示する図である。
　図３に示す例では、モニタ２上には、ライブ動画Ｐ１及び過去の動画Ｐ２を並べて表示する。また、図３に示すように、過去の動画Ｐ２脇には、プログレスバーＰＢを表示してもよい。
　図３のプログレスバーＰＢは、過去の内視鏡検査の動画の開始から終了までの期間のうち、特徴点情報の付与されているタイミングの動画の中における相対的な位置、及びその動画開始からの経過時間を表示している。具体的には、過去の動画Ｐ２の撮影時間Ｔは２０分であり、動画Ｐ２には特徴点情報ｆ１、ｆ２及びｆ３の３つの特徴点情報が付与されている。そして、特徴点情報ｆ１、ｆ２及びｆ３は、それぞれ動画の開始時間から「５分」、「７分」及び「１２分」のタイミングに付与されていることが、ユーザである術者等にとって視覚的に把握し易いように表示されている。
　術者は、プログレスバーＰＢを参照して、スコープ３を挿入して検査を開始（動画の撮影を開始）してから、特徴点情報の付与されている箇所、すなわち、患部等までの所要時間等を認識する。上記のとおり、特徴点情報ｆ１～ｆ３の付与されているフレームにおいて過去の動画Ｐ２は一時停止する。術者は、プログレスバーＰＢを参照して患部等の位置を判断し、特徴点情報ｆ１～ｆ３の付与されている過去の患部等のフレーム画像とライブ動画とを比較して、精査を行う。
　先にも述べたとおり、図２のビデオプロセッサ５０は、合成部１２にてライブ動画と合成される過去の動画のデータについては、特徴点情報と関連付けて、サーバー４やＵＳＢメモリ９に記録を行っておく。
　サーバー４は、動画記録領域４１、特徴点情報記録領域４２及び特徴点情報生成部４３を有する。動画記録領域４１は、内視鏡観察装置１のビデオプロセッサ５０から受信した動画データを記録するための領域である。特徴点情報記録領域４２は、ビデオプロセッサ５０から動画データとともに受信した特徴点情報を記録するための領域である。特徴点情報生成部４３の動作については、ビデオプロセッサ５０の特徴点情報生成部２４と同様であり、サーバー４に直接あるいはネットワークを介して間接に入力された情報より、特徴点情報を生成する。
　ＵＳＢメモリ９は、動画記録領域９１及び特徴点情報記録領域９２を有する。動画記録領域９１及び特徴点情報記録領域９２は、それぞれサーバー４の動画記録領域４１及び特徴点情報記録領域４２と同様に、それぞれ動画データ及び特徴点情報を保持するための領域である。
　なお、プロセッサ内部メモリ２６は、プロセッサ５０内に設けられる記憶手段である。プロセッサ内部メモリ２６は、図２に示すように、動画記録領域２７及び特徴点情報記録領域２８を有する。動画記録領域２７及び特徴点情報記録領域２８は、サーバー４やＵＳＢメモリ９と同様に、それぞれ動画データ及び特徴点情報を保持するために設けられる領域である。
　このように、本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡観察装置１のビデオプロセッサ５０において、ライブ動画、すなわち内視鏡検査において撮像中の映像とともに、過去に同一の患者（情報）の検査の動画をモニタ２に表示させる。過去の動画は、検査開始から再生してゆき、特徴点情報の付与されている箇所で一時停止させる。これにより、術者は、過去の検査で特徴点情報を付与した患部等の箇所で一時停止させるよう不潔域のスタッフに依頼する必要もなく、患部までのスコープ３の挿入経路を容易に把握して検査を行うことができる。
　なお、上記においては、１台のモニタ２にライブ動画及び過去の動画の両方を並べて表示させる場合について説明しているが、本実施形態に係る医療用動画の記録再生方法は、これに限定されるものではない。例えば、ライブ動画と過去の動画を別個のモニタに表示させることとてもよい。これによれば、モニタ２の使用環境等に応じて、各モニタの配置をユーザが任意に決定することが可能となる。
＜第１の変形例＞
　上記においては、スコープ３の操作スイッチ等を通じて、あるいは内視鏡観察装置１に接続されるキーボード５や無線ＬＡＮルータ６を介して無線通信可能なタブレットＰＣ７を通じて、特徴点情報の付与を行う。これに対し、本変形例では、図２の処置具挿入検知部３３にて鉗子等の処置具が挿入されたことを認識して、これを特徴点情報付与のトリガと判断する。
　内視鏡観察装置１のビデオプロセッサ５０は、鉗子等の処置具がスコープ３の鉗子孔を通じて挿入されたことを検知すると、挿入を検知したときのスコープ３の位置に患部等があるものと判断する。そして、鉗子の挿入を検知した時点におけるフレーム画像に対して特徴点情報を付与する。
　このような構成をとることで、動画データのうち、再検査等において参照すべきフレーム画像に対して簡便に特徴点情報を関連付けることが可能となる。
＜第２の変形例＞
　上記においては、内視鏡検査が開始すると、これと併せて過去の動画の再生を開始する。これに対し、本変形例においては、医療用動画記録再生システム１００のユーザがキーボード５やタブレットＰＣ７等の入力手段を介して指定したスコープ３の挿入長に応じた箇所から過去の動画を再生する。
　上記のとおり、特徴点情報には、スコープ３の挿入長を含む。このことを利用して、ビデオプロセッサ５０は、複数の特徴点情報のスコープ３挿入長データより、ユーザが指定した挿入長に対応するフレーム番号を算出し、そこから過去の動画の再生を開始させる。
　これにより、検査の開始から最初の特徴点情報の付与されているフレームまでが長いような場合や所定の箇所の画像のみが必要なことが事前に判明しているような場合等には、ユーザが再生を必要とする箇所から動画を再生させることが可能となる。
＜第２の実施形態＞
　上記実施形態においては、図３のように、ライブ動画と過去の動画とを並べてモニタ２に表示する構成をとる。本実施形態に係る医療用動画記録再生システム１００によれば、更に、術者等のユーザがライブ動画を過去の動画と比較しながら検査を行う際の利便性を考慮したモニタ２への表示方法をとる。以下に、図４～図７を参照して、本実施形態に係る医療用動画記録再生システム１００による動画のモニタ２への表示方法について具体的に説明する。
　なお、以下においては、上記の実施形態と異なる点を中心に説明することとし、上記の実施形態と同様である点については説明を省略する。医療用動画記録再生システム１００のシステム構成については、先に図１や図２を参照して説明したとおりである。
　図４は、内視鏡観察装置１のビデオプロセッサ５０における合成部１２の詳細ブロックを示す図である。図４を参照して、まず、ライブ動画と過去の動画とを合成してどのようにモニタ２に表示する合成画像を生成するかについて、具体的に説明する。
　図４に示すように、合成部１２は、ライブ観察用文字データ生成部５１、ライブ観察用文字データ重畳部５２、ライブ観察動画要表示枠重畳部５３、文字データ重畳位置設定部５４、記録動画要文字データ生成部５５、撮影条件識別部５６、記録動画要文字データ重畳部５７、表示枠形状設定部５８、記録動画用表示枠重畳部５９、加算部６０、表示内容記憶域６１、表示内容選択部６２及び表示内容選択種別記憶域６３を有する。
　文字データ重畳位置設定部５４は、図２の画像処理部１１から入力されるライブ動画データ及び再生制御部１６から入力される過去の動画データのそれぞれよりライブ動画及び過去の動画モニタ２に表示するときに、各動画がライブ動画または過去の動画のいずれであるかを示す文字等の位置を設定する。これらの文字等の位置については、ユーザが図１のタブレットＰＣ７やキーボード５等を介して設定した内容に基づいて決定される。
　ライブ観察用文字データ生成部５１は、モニタ２に表示する２つの動画のうち、ライブ動画であることを表す文字データを生成する。ライブ観察用文字データ重畳部５２は、画像処理部１１から入力されたライブ動画のデータに、ライブ観察用文字データ生成部５１において生成した文字データを重畳させる。ライブ観察動画要表示枠重畳部５３は、ライブ観察用文字データ重畳部５２にてライブ動画に文字データを重畳させたデータに、更にライブ動画用の表示枠を重畳させる。
　撮影条件識別部５６は、再生制御部１６から入力される情報より、動画の撮影条件を取得する。撮影条件としては、例えば、観察モード、すなわち、通常光観察または特殊光観察（狭帯域光観察、蛍光観察、赤外光観察等）のいずれによるが等が挙げられる。記録動画用文字データ生成部５５は、撮影条件識別部５６で取得した撮影条件に基づき、モニタ２に表示する２つの動画のうち、過去の動画であること及びその撮影条件を表示する文字データを生成する。記録動画用文字データ重畳部５７は、再生制御部１６から入力された過去の動画のデータに、記録動画用文字データ生成部５５で生成した文字データを重畳させる。記録動画用表示枠重畳部５９は、記録動画用文字データ重畳部５７にて過去の動画に文字データを重畳させたデータに、更に過去の動画用の表示枠を重畳させる。
　本実施形態においては、過去の動画用の表示枠としては、ユーザがモニタ２上でライブ動画と区別を容易にするために、ライブ動画用の表示枠とは異なる形状等を設定する。表示枠形状設定部５８は、ユーザがタブレットＰＣ７やキーボード等の入力手段を介して設定した表示モードにしたがって、過去の動画の表示枠を設定する。記録動画用表示枠重畳部５９は、過去の動画及び文字データに対して、表示枠形状設定部５８に設定されている過去の動画用の表示枠を重畳させる。
　加算部６０にて、ライブ動画及び過去の動画のデータにそれぞれの文字データ及び表示枠を重畳させて得られるデータをそれぞれ画面上の所定の位置に配置させて、モニタ２に表示させる合成画像データを生成し、モニタ２に出力する。
　上述のとおり、本実施形態に係る医療用動画記録再生システム１００では、ライブ動画及び過去の動画のデータに対して、重畳させる文字や表示枠として何をどのように使用するかについては、ユーザが所望の文字や表示枠を選択可能である。表示内容選択部６２は、これら文字や表示枠についてのユーザが選択した内容を、タブレットＰＣ７等の上記の各種入力手段を介して選択した内容を受け付ける。表示内容選択種別記憶域６３は、医療用動画記録再生システム１００が提供可能な各種の表示可能な文字や表示枠の種別を記憶させておくための領域である。表示内容記憶域６３は、表示内容選択種別記憶域６３に記憶されている各種の文字や表示枠の種別の中から、ユーザが選択したものを記憶させておくための領域である。以下においては、医療用動画記録再生システム１００がユーザに提供可能な文字や表示枠等の表示形態の種別を、「表示モード」とする。
　本実施形態では、ユーザは、モニタ２に表示されるモード選択画面を通じて表示モードを選択可能とする。これについて、図５及び図６を参照して説明する。
　図５は、表示モードの選択画面を例示する図である。図５（ａ）は、表示モードの設定変更画面Ｗ１を例示し、図５（ｂ）は、ユーザが設定可能な表示モードの一覧を表示する画面Ｗ２を例示する。
　内視鏡観察装置１のビデオプロセッサ５０は、図５（ａ）の表示モード設定変更画面Ｗ１のうち、「画像表示選択モード」をタブレットＰＣ７やキーボード等を介してユーザが選択した場合は、表示内容記憶域６１に格納されている情報にしたがって、図５（ｂ）の表示モード一覧画面Ｗ２をモニタ２に表示させる。ビデオプロセッサ５０は、図５（ａ）の表示モード設定変更画面Ｗ１の「通常モード」をユーザが選択した場合は、通常モードにおいてモニタ２に表示する文字や表示枠の情報を表示内容選択種別記憶域６３に保持すると、例えば図３に例示する画面へと表示を切り替える。
　図５（ｂ）の表示モード一覧画面Ｗ２には、８とおりの表示モードを例示する。ユーザは、図５（ｂ）の画面Ｗ２の中から一の表示モードを選択する。合成部１２は、選択された表示モードに対応する文字や表示枠の情報を表示内容選択種別記憶域６３に保持し、以降のモニタ２への動画の表示は、これにしたがって行うこととする。
　なお、図５（ｂ）においては紙面の制約上記載を省略しているが、画面Ｗ２には、各表示モードのサンプル画面を示し、ユーザが選択した表示モードに設定することとしてもよい。表示モードの具体例を、図６（ａ）～（ｈ）に示す。
　図６（ａ）や図６（ｂ）の表示モードは、各動画の表示枠内に、動画がそれぞれライブ動画及び過去の動画であることを示す文字「ＬＩＶＥ」及び「ＰＡＳＴ（ＡＦＩモード）」を示す。このうち、図６（ａ）は、文字を表示枠内上部に、図６（ｂ）は、文字を表示枠内下部に表示する。本実施形態では、図に例示するように、過去の動画であることを示す文字には、過去の動画の観察モードがＡＦＩ（蛍光観察）モードであることを示す文字も併せて表示させる。
　図６（ｃ）や図６（ｄ）の表示モードは、各動画の表示枠外に、動画がそれぞれライブ動画及び過去の動画であることを示す文字を示す。図６（ｃ）は、表示枠外の枠近傍のうち、上部に、図６（ｄ）は表示枠外の枠近傍のうち、下部に文字を表示する。
　図６（ｅ）や図６（ｆ）の表示モードは、ユーザがモニタ２上のライブ動画と過去の動画とを取り違えることのないよう、過去の動画の表示枠を、ライブ動画の表示枠と異なる色や形状としている。図６（ｅ）は、過去の動画の表示枠を二重の矩形で囲み、図６（ｆ）は、過去の動画の表示枠を円形とすることで、ライブ動画の一重の矩形の表示枠と異なる形状としている。
　図６（ｇ）や図６（ｈ）の表示モードは、複数の過去の動画を同時にモニタ２に表示させる。図６（ｇ）は、ライブ動画と共に２つの過去の動画を表示させ、過去の動画については今回の検査において参照する映像であるので、相対的にライブ動画よりも小さく表示させている。また、本実施形態では、過去の動画同士についてもユーザが識別可能なように、過去の動画のそれぞれの撮影条件も併せて表示する。図６（ｈ）は、ライブ動画と共に３つの過去の動画を表示させる場合である。図６（ｇ）と同様に、過去の動画についてはライブ動画に対して相対的に小さい表示としている。過去の動画の表示枠は、一見して過去の動画とユーザが判断可能なように、円形としている。また、図６（ｇ）と同様に、過去の動画のそれぞれの撮影条件についても表示している。
　なお、図６に例示した表示モードは、図示するものに限定されず、これらの表示モードを適宜組み合わせてもよい。
　また、図６においては、過去の動画の撮影条件として観察モードを文字で表示する場合を例示しているが、文字として表示する撮影条件は、これには限らない。観察モードに加えて、あるいは、観察モード以外にも、例えば、スコープを識別する情報、拡大倍率等の情報を表示してもよい。これらの撮影条件を表示するか否か、また表示する場合にはいずれの情報を表示するかについても、ユーザに選択させてこれに基づき表示を行う構成とすることもできる。
　また、図５に例示するような表示モード変更画面を通じて設定変更を行う以外にも、画面上に表示する文字の位置をデフォルトの位置から移動させるには、ユーザが、タッチパネルモニタやタブレットＰＣ７の操作等により変更可能な構成としてもよい。これによれば、例えば、図６（ａ）の表示枠内の上部に文字を表示する表示モードから、図６（ｂ）のように、表示枠内の下部に文字を表示する表示モードや、図６（ｃ）の表示枠外の枠近傍に文字を表示する表示モードへと変更される。
　なお、文字として表示する撮影条件については、過去の動画データをサーバー４やＵＳＢメモリ９、あるいはビデオプロセッサ５０から動画データと対応付けて記録されている情報を読み出して、これを表示する。
　更には、ビデオプロセッサ５０の合成部１２は、動画の画像の状態に応じて、表示形態を変更する構成とすることもできる。これについて、図７を参照して説明する。
　図７は、モニタ２への表示形態の変更例について説明する図である。
　内視鏡観察映像は、観察モードや体腔内の観察位置により、画像自体が暗くなることがある。表示枠内に上記の各種の文字を表示する表示モードを設定している場合、画像が黒っぽくなると、ユーザにとって表示枠内の文字が読み取りにくくなることがある。そこで、図７の網掛けの領域の色値を所定のしきい値と比較する等により、網掛け領域内の画像の色値が文字の色値に近づいたと判定し、文字色を例えば白色に切り替える構成としてもよい。このように、文字色と背景である画像とのコントラストがはっきりとなるように文字色がリアルタイムに自動的に切り替わることにより、ユーザは、画像によって文字が読み取りにくくなることを効果的に防ぐ。
　文字色の切り替えを行うか否かについては、ユーザが任意に設定可能な構成とすることができる。すなわち、ユーザが文字色を固定する旨の設定を行った場合には、画像の色値に応じてモニタ２に表示される文字色が頻繁に切り替わったりする等を効果的に防ぐことが可能となる。
　以上説明したように、本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡の手技中において、術者等のユーザが、モニタ２に表示されている複数の動画のいずれがライブ動画であるかを識別し易いように、ユーザが所望の表示モードを設定可能である。これにしたがってライブ動画と過去の動画とを表示させることで、ユーザは所望の位置に各動画を配置させて、ユーザがライブ動画と過去の動画とを見間違えてしまうことを効果的に防止することが可能となる。
　また、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
　１　　　内視鏡観察装置
　２　　　モニタ
　３　　　スコープ
　４　　　画像ファイリングサーバー（サーバー）
　５　　　キーボード
　６　　　無線ＬＡＮルータ
　７　　　タブレットＰＣ
　５０　　ビデオプロセッサ
　１００　医療用動画記録再生システム

Claims (10)

  1. 　医療用動画データの記録及び再生を行う医療用動画記録再生システムであって、
    　被検体を撮像して撮像信号を取得する撮像部と、
    　前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、
    　前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、
    　前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部と、
    　前記記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、
    　前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを出力する合成部と、
    　前記合成部から出力された前記合成画像データに基づく合成画像を表示する表示部と、
    　を有し、
    　前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行う
    ことを特徴とする医療用動画記録再生システム。
  2. 　前記合成部は、前記記録部から読み出して再生した過去の動画の再生状況を表すプログレスバーを更に合成させた前記合成画像を生成して前記表示部に出力する
    ことを特徴とする請求項１記載の医療用動画記録再生システム。
  3. 　前記合成部は、前記表示部に表示される撮像中及び過去の動画が、それぞれ過去の動画及び撮像中の動画であることを示す文字を重畳させた前記合成画像を生成して前記表示部に出力する
    ことを特徴とする請求項１または２記載の医療用動画記録再生システム。
  4. 　前記合成部は、前記表示部に表示される撮像中及び過去の動画のそれぞれに対して、指定された表示枠を更に重畳させた前記合成画像を生成して前記表示部に出力する
    ことを特徴とする請求項３記載の医療用動画記録再生システム。
  5. 　前記合成部は、前記表示される過去の動画の観察モードを表す文字を更に重畳させた前記合成画像を生成して前記表示部に出力する
    ことを特徴とする請求項４記載の医療用動画記録再生システム。
  6. 　前記表示部は、ユーザが設定可能な前記動画に重畳させる文字及び表示枠の種別を表示させ、前記合成部は、前記表示部に表示した前記種別の中からユーザが選択した文字及び表示枠を用いて前記合成画像を生成する
    ことを特徴とする請求項５記載の医療用動画記録再生システム。
  7. 　前記特徴点情報生成部は、内視鏡装置の操作スイッチ、フットスイッチ、前記医療用動画記録再生システムのキーボード及びこれに接続される端末装置を介して指定されたタイミングで、前記特徴点情報を生成する
    ことを特徴とする請求項６記載の医療用動画記録再生システム。
  8. 　前記特徴点情報生成部は、内視鏡装置の鉗子孔を通じて鉗子が挿入されたことを検知したタイミングで、前記特徴点情報を生成する
    ことを特徴とする請求項６記載の医療用動画記録再生システム。
  9. 　内視鏡装置の挿入部の前記被写体の体腔内への挿入長を検知する挿入長検知部と
    を更に備え、
    　前記再生制御部は、ユーザにより指定された前記挿入部の挿入長に対応する箇所から前記過去の動画を再生させる
    ことを特徴とする請求項６記載の医療用動画記録再生システム。
  10. 　医療用動画データの記録及び再生を行う医療用動画記録再生装置であって、
    　被検体を撮像して撮像信号を取得する撮像部と、
    　前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、
    　前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、
    　前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、
    　前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを表示部に出力する合成部と、
    　を有し、
    　前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行う
    ことを特徴とする医療用動画記録再生装置。
PCT/JP2014/078975 2014-01-30 2014-10-30 医療用動画記録再生システム及び医療用動画記録再生装置 WO2015114901A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14880937.9A EP3100668A4 (en) 2014-01-30 2014-10-30 Medical video recording and playback system and medical video recording and playback device
JP2015537058A JP5905168B2 (ja) 2014-01-30 2014-10-30 医療用動画記録再生システム及び医療用動画記録再生装置
CN201480070403.1A CN105848559B (zh) 2014-01-30 2014-10-30 医疗用运动图像记录再现系统以及医疗用运动图像记录再现装置
US15/205,933 US20160323514A1 (en) 2014-01-30 2016-07-08 Medical video recording and reproducing system and medical video recording and reproducing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014016101 2014-01-30
JP2014-016101 2014-01-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/205,933 Continuation US20160323514A1 (en) 2014-01-30 2016-07-08 Medical video recording and reproducing system and medical video recording and reproducing device

Publications (1)

Publication Number Publication Date
WO2015114901A1 true WO2015114901A1 (ja) 2015-08-06

Family

ID=53756499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078975 WO2015114901A1 (ja) 2014-01-30 2014-10-30 医療用動画記録再生システム及び医療用動画記録再生装置

Country Status (5)

Country Link
US (1) US20160323514A1 (ja)
EP (1) EP3100668A4 (ja)
JP (1) JP5905168B2 (ja)
CN (1) CN105848559B (ja)
WO (1) WO2015114901A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017093996A (ja) * 2015-11-27 2017-06-01 オリンパス株式会社 内視鏡システム及びその表示方法
WO2017126313A1 (ja) * 2016-01-19 2017-07-27 株式会社ファソテック 生体質感臓器を用いる手術トレーニング及びシミュレーションシステム
JP2018007960A (ja) * 2016-07-15 2018-01-18 Hoya株式会社 内視鏡装置
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019198322A1 (ja) * 2018-04-10 2019-10-17 オリンパス株式会社 医療システム
WO2024202956A1 (ja) * 2023-03-27 2024-10-03 ソニーグループ株式会社 医療用データ処理装置、医療用システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039252A1 (ja) * 2017-08-24 2019-02-28 富士フイルム株式会社 医療画像処理装置及び医療画像処理方法
CN110047587A (zh) * 2018-09-29 2019-07-23 苏州爱医斯坦智能科技有限公司 一种医疗数据采集方法、装置、设备及存储介质
CN114630124B (zh) * 2022-03-11 2024-03-22 商丘市第一人民医院 一种神经内窥镜备份方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154811A (ja) * 1995-12-07 1997-06-17 Asahi Optical Co Ltd 電子内視鏡装置
JP2007075158A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2011036370A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
JP2012161537A (ja) * 2011-02-09 2012-08-30 Konica Minolta Medical & Graphic Inc 超音波診断システム、超音波診断装置及びプログラム
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004103167A1 (ja) * 2003-05-22 2004-12-02 Olympus Corporation 画像記録装置
JP4698966B2 (ja) * 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US20060009679A1 (en) * 2004-07-08 2006-01-12 Pentax Corporation Electronic endoscope system capable of detecting inserted length
JP2007058334A (ja) * 2005-08-22 2007-03-08 Olympus Corp ファイリング装置およびファイリングシステム
CN102802498B (zh) * 2010-03-24 2015-08-19 奥林巴斯株式会社 内窥镜装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154811A (ja) * 1995-12-07 1997-06-17 Asahi Optical Co Ltd 電子内視鏡装置
JP2007075158A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2011036370A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2012161537A (ja) * 2011-02-09 2012-08-30 Konica Minolta Medical & Graphic Inc 超音波診断システム、超音波診断装置及びプログラム
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3100668A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017093996A (ja) * 2015-11-27 2017-06-01 オリンパス株式会社 内視鏡システム及びその表示方法
WO2017126313A1 (ja) * 2016-01-19 2017-07-27 株式会社ファソテック 生体質感臓器を用いる手術トレーニング及びシミュレーションシステム
JPWO2017126313A1 (ja) * 2016-01-19 2018-11-22 株式会社ファソテック 生体質感臓器を用いる手術トレーニング及びシミュレーションシステム
JP2018007960A (ja) * 2016-07-15 2018-01-18 Hoya株式会社 内視鏡装置
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019198322A1 (ja) * 2018-04-10 2019-10-17 オリンパス株式会社 医療システム
US12042339B2 (en) 2018-04-10 2024-07-23 Olympus Corporation Medical system and method of controlling medical system
WO2024202956A1 (ja) * 2023-03-27 2024-10-03 ソニーグループ株式会社 医療用データ処理装置、医療用システム

Also Published As

Publication number Publication date
CN105848559B (zh) 2018-09-14
JP5905168B2 (ja) 2016-04-20
EP3100668A4 (en) 2017-11-15
EP3100668A1 (en) 2016-12-07
CN105848559A (zh) 2016-08-10
US20160323514A1 (en) 2016-11-03
JPWO2015114901A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP5905168B2 (ja) 医療用動画記録再生システム及び医療用動画記録再生装置
JP5347089B1 (ja) 医療情報記録装置
JP5810248B2 (ja) 内視鏡システム
US10426322B2 (en) Image recording apparatus
US20200396411A1 (en) Information processor, information processing method, and program
CN109863755B (zh) 信号处理设备、方法和程序
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
US11599263B2 (en) Information processing device, method, and program for generating a proxy image from a proxy file representing a moving image
JPWO2018193799A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2011152489A1 (ja) 画像記録システム及び画像記録方法
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP7264051B2 (ja) 画像処理装置および画像処理方法
US9782060B2 (en) Medical system
WO2017126156A1 (ja) 内視鏡システム
JP2017006260A (ja) 内視鏡装置
JP2006020875A (ja) 内視鏡観察装置
JP2017131499A (ja) 内視鏡装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015537058

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14880937

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014880937

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014880937

Country of ref document: EP