WO2021200139A1 - 医療用画像処理システム、画像処理方法、および医療用画像処理装置 - Google Patents

医療用画像処理システム、画像処理方法、および医療用画像処理装置 Download PDF

Info

Publication number
WO2021200139A1
WO2021200139A1 PCT/JP2021/010741 JP2021010741W WO2021200139A1 WO 2021200139 A1 WO2021200139 A1 WO 2021200139A1 JP 2021010741 W JP2021010741 W JP 2021010741W WO 2021200139 A1 WO2021200139 A1 WO 2021200139A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
display
camera
endoscope
Prior art date
Application number
PCT/JP2021/010741
Other languages
English (en)
French (fr)
Inventor
素明 小林
勝木　信二
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200139A1 publication Critical patent/WO2021200139A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a medical image processing system, an image processing method, and a medical image processing apparatus, and in particular, a medical image processing system and an image capable of providing a suitable image reflecting the intention of a surgeon.
  • the present invention relates to a processing method and a medical image processing apparatus.
  • a part of the image captured by the endoscope is cut out and enlarged and displayed on a monitor.
  • Patent Document 1 discloses a technique for controlling the movement of the cutout position and the movement of the arm portion that supports the camera so that the position of the treatment tool in the captured image is maintained in the center of the cut out display image. Has been done.
  • the surgeon who performs the surgery while observing the displayed image does not always intend that the position of the treatment tool is always kept in the center of the displayed image.
  • This disclosure is made in view of such a situation, and makes it possible to provide a suitable image reflecting the intention of the surgeon.
  • the medical image processing system of the present disclosure is an image processing unit that moves a cutout area for cutting out a display image from a field image of a camera that captures a surgical field in real time based on an operation of an operator who is a surgical participant.
  • the image processing unit is a medical image processing system that changes the position of the cutout region so as to offset the change in the display image due to the change in the field image when the camera moves. ..
  • the medical image processing system cuts out a display image from the field image of a camera that captures the surgical field in real time based on the operation of an operator who is a surgical participant.
  • Image processing that changes the position of the cutout area for cutting out the display image from the field image so as to offset the change in the display image due to the change in the field image when the camera moves. The method.
  • the medical image processing apparatus of the present disclosure is an image processing unit that moves a cutout area for cutting out a display image from a field image of a camera that captures a surgical field in real time based on an operation of an operator who is a surgical participant.
  • the image processing unit is a cropping region for cutting out the display image from the field image so as to cancel the change of the display image accompanying the change of the field image when the camera moves. It is a medical image processing device that changes its position.
  • the cutout area for cutting out the display image from the visual field image of the camera that captures the surgical field is moved in real time based on the operation of the operator who is a surgical participant, and the camera moves.
  • the position of the cutout region for cutting out the display image from the field image is changed so as to cancel the change in the display image due to the change in the field image.
  • endoscopic surgery using surgical robots has become widespread.
  • surgical robots are expensive and not easy to introduce.
  • endoscopic surgery using a surgical robot requires the same number of personnel as a scopist, such as a medical engineer who operates the surgical robot and an assistant who assists the progress of the surgical procedure around the patient, to solve the shortage of doctors. Does not reach.
  • Patent Document 1 discloses a technique for controlling the movement of the cutout position and the movement of the arm portion that supports the camera so that the position of the treatment tool in the captured image is maintained in the center of the cut out display image. Has been done. However, the surgeon performing the surgery while observing the displayed image does not always intend that the position of the treatment tool is always kept in the center of the displayed image.
  • FIG. 1 is a block diagram showing a functional configuration example of the endoscope device according to the first embodiment of the present disclosure.
  • FIG. 1 shows an endoscopic device 110 and a display device 120 that constitute an endoscopic surgery system 100 as a medical image processing system to which the technique of the present disclosure is applied.
  • the endoscope device 110 outputs an image of the surgical field captured by the endoscope 111 as a camera in the technique of the present disclosure to the display device 120.
  • the display device 120 is configured as a monitor that displays an image output from the endoscope device 110. The image displayed on the display device 120 is observed by the surgeon.
  • the endoscope device 110 includes an endoscope 111, an endoscope holder 112, an input unit 113, and a control unit 114.
  • the endoscope 111 is configured to include a camera capable of capturing a high-definition image, and supplies a visual field image in which the observation visual field is captured to the control unit 114.
  • the endoscope 111 may capture an image having a resolution such that an image obtained by cutting out a part of a field image from the captured visual field image is displayed on the display device 120 to the extent that it can be visually recognized.
  • the camera may be configured to include only one image sensor, or may be configured to include a plurality of image sensors and synthesize a plurality of images. For example, the camera may have a configuration in which three images obtained by three image sensors are combined to generate one image.
  • the number of pixels of the image sensor of the camera is preferably the number of pixels capable of generating an image having a resolution of 14 million pixels or more.
  • the imaging element of a camera preferably has a pixel count of 4K (eg, 3840 or 4320) in the horizontal direction and a pixel count of 4K (eg, 3840 or 4320) in the vertical direction.
  • the image sensor of the camera may be an image sensor having a number of pixels of 8K (for example, 7680) in the horizontal direction and a number of pixels of 4K (for example, 3840 or 4320) in the vertical direction.
  • the endoscope holder 112 is configured as a support portion including an arm portion that supports the endoscope 111 (camera), and is driven under the control of the control unit 114 to move the endoscope 111 to a predetermined position. Let me.
  • the input unit 113 includes an operation device such as a button, a switch, a mouse, a keyboard, and a touch panel, and a voice input device such as a microphone, and an operation signal representing an operation of an operator of the endoscope device 110, specifically, a surgeon. Is supplied to the control unit 114.
  • the control unit 114 controls the imaging of the endoscope 111, the drive of the endoscope holder 112, and the display of the display device 120 based on the operation signal from the input unit 113.
  • the control unit 114 includes an image processing unit 151, a display control unit 152, a drive control unit 153, and an operation reception unit 154.
  • the image processing unit 151 cuts out a part of the field image of the endoscope 111 and supplies the cut out image to the display control unit 152 as a display image.
  • the cutout area for cutting out the display image from the field of view image moves in real time on the field of view image based on the instruction information from the operation reception unit 154.
  • the display control unit 152 outputs the display image from the image processing unit 151 to the display device 120, so that the display device 120 displays the image.
  • the drive control unit 153 controls the drive of the endoscope holder 112 according to the movement of the cutout region on the field image.
  • the operation reception unit 154 receives the operation of the operator (surgeon) who moves the cutout area in real time in the field image. Specifically, the operation reception unit 154 converts the operation signal from the input unit 113 into instruction information indicating an instruction to the image processing unit 151, and supplies the operation signal to the image processing unit 151.
  • step S11 the operation reception unit 154 determines whether or not the operation of moving the cutout area by the surgeon has been accepted. Step S11 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S12.
  • the operation of moving the cutout area by the surgeon may be accepted based on the utterance voice instructing the movement of the cutout area, or may be accepted by an operation device such as a mouse. Further, the operation of moving the cutout area by the surgeon may be accepted based on the result of the surgeon's line-of-sight detection.
  • step S12 the image processing unit 151 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 111 based on the movement operation of the surgeon.
  • step S13 the operation reception unit 154 determines whether or not the operation of moving the cutout area by the surgeon has been completed. Steps S12 and S13 are repeated until the operation of moving the cutout area is completed. During this time, the image processing unit 151 moves the cutout area in real time in accordance with the movement operation by the surgeon.
  • the image processing unit 151 ends the movement of the cutout area in step S14.
  • step S15 the drive control unit 153 controls the drive of the endoscope holder 112 so that the center of the cutout area and the center of the visual field image coincide with each other. That is, the endoscope 111 moves so that the center of the cutout region and the center of the visual field image coincide with each other.
  • step S16 the image processing unit 151 changes the position of the cutout region so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111. ..
  • step S15 movement of the endoscope 111
  • step S16 change of the position of the cutout region
  • the endoscope device 110 When the movement of the endoscope 111 and the position change of the cutout area are completed, the endoscope device 110 is in a standby state for the operation of moving the cutout area by the surgeon, and returns to step S11.
  • FIG. 3 shows the visual field image of the endoscope 111 and the cutout area CA moving on the visual field image
  • the middle part of FIG. 3 shows the display image cut out from the visual field image by the cutout area CA. ..
  • the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 111) are shown in chronological order. In this example, only the display image shown in the middle of FIG. 3 is displayed on the display device 120 observed by the surgeon.
  • the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
  • the endoscope holder 112 drives the endoscope 111 to move.
  • the imaging range of the field image begins to move to the right.
  • the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111.
  • the display area of the display image does not move to the right side with the movement of the endoscope 111, and the display state before the movement of the endoscope 111 is maintained. This allows the surgeon to continue the surgical procedure without feeling a change in the position of the cutout area CA.
  • the image processing unit 151 corrects the distortion of the optical system of the endoscope 111 based on the change in the position of the cutout region.
  • the display image The occurrence of distortion can be suppressed.
  • a predetermined method can be applied, for example, a method using a Brown lens distortion model can be applied.
  • the cutting area is immediately moved in response to the operation of moving the cutting area by the surgeon, so that the surgeon does not feel the latency. Further, by moving the endoscope 111 and changing the position of the cutout area after the movement of the cutout area is completed, the center of the cutout area and the center of the visual field image are made to coincide with each other, so that the movable range of the cutout area is the maximum. Can be maintained.
  • the display area can be moved without latency by cutting out the display image.
  • the movement of the endoscope 111 may be performed at a certain speed behind the movement of the display area, and the endoscope device can be realized with a small and inexpensive configuration.
  • the endoscopic device of the present embodiment can be configured in the same manner as the endoscopic surgery system 100 of FIG.
  • step S21 the operation reception unit 154 determines whether or not the surgeon has accepted the movement operation of the cutout area. Step S21 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S22.
  • step S22 the image processing unit 151 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 111 based on the movement operation of the surgeon.
  • step S23 the drive control unit 153 controls the drive of the endoscope holder 112 so that the center of the cutout area and the center of the visual field image coincide with each other. do. That is, the endoscope 111 moves so that the center of the moving cutout region coincides with the center of the visual field image.
  • step S24 the image processing unit 151 cancels out the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111 by driving the endoscope holder 112. , Change the position of the cutout area.
  • step S23 movement of the endoscope 111
  • step S24 change of the position of the cutout region
  • step S21 When the movement of the endoscope 111 and the position change of the cutout area are completed, the endoscope device 110 is in a standby state for the operation of moving the cutout area by the surgeon, and returns to step S21.
  • step S21 it is determined in step S21 that the operation receiving unit 154 does not accept the operation of moving the cutting area by the surgeon, and the operation of step S23 or step S24 of the previous step is not completed, step S23 or step S23 or The operation of step S24 is maintained.
  • step S23 or step S24 It is preferable to cancel the operation of step S23 or start the operation of step S23 or step S24 based on a new process (center of a new cutout region).
  • the upper part of FIG. 5 shows the visual field image of the endoscope 111 and the cutout area CA moving on the visual field image
  • the middle part of FIG. 5 shows the display image cut out from the visual field image by the cutout area CA. ..
  • the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 111) are shown in chronological order. In this example, only the display image shown in the middle of FIG. 5 is displayed on the display device 120 observed by the surgeon.
  • the surgeon first observes the display image shown on the left side of the middle row, which is cut out in a state where the center of the cutout region CA coincides with the center of the visual field image, as shown on the left side of the upper row. Suppose you are.
  • the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
  • the movement of the endoscope 111 is started by the drive of the endoscope holder 112.
  • the movement of the endoscope 111 is such that the center of the imaging range of the visual field image moves toward the center of the moving cutout area CA according to the direction and speed of movement of the cutout area CA in the visual field image. Will be done.
  • the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111.
  • the position of the cutout area CA so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111 even after the surgeon finishes the movement operation. Changes will continue.
  • the surgeon proceeds with the surgical procedure while observing the display image shown in the center of the middle row, which is cut out with the cutout area CA moved to the right end of the visual field image, as shown in the center of the upper row. become.
  • the time from the end of the movement operation of the cutout area by the surgeon to the end of the movement of the endoscope 111 can be shortened as compared with the first embodiment.
  • the time from the end of the operation of moving the cut-out area by the surgeon to the end of the movement of the endoscope 111 may be the same as that of the first embodiment.
  • the driving force required to drive the endoscope holder 112 can be reduced, and the endoscope device can be realized with a smaller and cheaper configuration.
  • the endoscopic surgery system to which the technique of the present disclosure is applied may adopt a configuration other than the configuration shown in FIG. ..
  • FIG. 6 is a block diagram showing a functional configuration example of an endoscopic surgery system to which the technique of the present disclosure is applied.
  • FIG. 6 shows an image processing device 210, a display device 220, an endoscope 230, an endoscope holder 240, and an input device 250 that constitute an endoscopic surgery system 200 to which the technique of the present disclosure is applied. ..
  • the image processing device 210 is configured as a medical image processing device to which the technology of the present disclosure is applied, and is configured as, for example, a CCU (Camera Control Unit) including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like. ..
  • the image processing device 210 comprehensively controls the imaging of the endoscope 230, the drive of the endoscope holder 240, and the display of the display device 220 based on the operation signal from the input device 250.
  • the image processing device 210 includes an image processing unit 151, a display control unit 152, a drive control unit 153, and an operation reception unit 154, similarly to the control unit 114 in FIG.
  • the display device 220, the endoscope 230, the endoscope holder 240, and the input device 250 in FIG. 6 are attached to the display device 120, the endoscope 111, the endoscope holder 112, and the input unit 113 in FIG. 1, respectively. handle.
  • each part included in the endoscope device 110 of FIG. 1 can be configured as an independent device.
  • FIG. 7 is a block diagram showing a functional configuration example of the endoscope device according to the third embodiment of the present disclosure.
  • FIG. 7 shows an endoscopic device 310, a first display device 320, and a second display device 330 that constitute an endoscopic surgery system 300 as a medical image processing system to which the technique of the present disclosure is applied. There is.
  • the endoscope device 310 outputs an image captured by the endoscope 311 as a camera in the technique of the present disclosure to the first display device 320 and the second display device 330.
  • the first display device 320 and the second display device 330 are configured as monitors that display images output from the endoscope device 310.
  • the first display device 320 is configured as a monitor confirmed by the scopist, and the second display device 330 is configured as a monitor confirmed by the surgeon.
  • the endoscope device 310 includes an endoscope 311, an input unit 312, and a control unit 313.
  • the endoscope device 310 is not provided with an endoscope holder.
  • the endoscope 311 is configured to include a camera capable of capturing a high-definition image, and supplies a visual field image in which the observation visual field is captured to the control unit 313.
  • the endoscope 311 is moved to a predetermined position by being gripped by a scopist who is a gripper.
  • the camera may be configured to include only one image sensor, or may be configured to include a plurality of image sensors and synthesize a plurality of images.
  • the camera may have a configuration in which three images obtained by three image sensors are combined to generate one image.
  • the number of pixels of the image sensor of the camera is preferably the number of pixels capable of generating an image having a resolution of 14 million pixels or more.
  • the imaging element of a camera preferably has a pixel count of 4K (eg, 3840 or 4320) in the horizontal direction and a pixel count of 4K (eg, 3840 or 4320) in the vertical direction.
  • the image sensor of the camera may be an image sensor having a number of pixels of 8K (for example, 7680) in the horizontal direction and a number of pixels of 4K (for example, 3840 or 4320) in the vertical direction.
  • the endoscope 311 has a position detection unit 311a.
  • the position detection unit 311a detects the position of the endoscope 311 moved by the scopist, and supplies the position information indicating the position to the control unit 313.
  • the input unit 312 includes an operation device such as a button, a switch, a mouse, a keyboard, and a touch panel, and a voice input device such as a microphone, and an operation signal representing an operation of an operator of the endoscope device 310, specifically, a surgeon. Is supplied to the control unit 313.
  • the control unit 313 controls the imaging of the endoscope 311 and the display of the first display device 320 and the second display device 330 based on the operation signal from the input unit 312.
  • the control unit 313 includes an image processing unit 351, a first display control unit 352, a second display control unit 353, and an operation reception unit 354.
  • the image processing unit 351 cuts out a part of the field image of the endoscope 311 and supplies the cut out image to the second display control unit 353 as a display image.
  • the cutout area for cutting out the display image from the field of view image moves in real time on the field of view image based on the instruction information from the operation reception unit 354. Further, the image processing unit 351 supplies a field image showing the cutout region to the second display control unit 353.
  • the first display control unit 352 outputs a field image from the image processing unit 351 showing the cutout area to the first display device 320, so that the first display device 320 displays the visual field image.
  • the second display control unit 353 outputs the display image from the image processing unit 351 to the second display device 330 to display it on the second display device 330.
  • the operation reception unit 354 receives the operation of the operator (surgeon) who moves the cutout area in real time in the field image. Specifically, the operation reception unit 354 converts the operation signal from the input unit 312 into instruction information indicating an instruction to the image processing unit 351 and supplies the operation signal to the image processing unit 351.
  • step S31 the operation reception unit 354 determines whether or not the operation of moving the cutout area by the surgeon has been accepted. Step S31 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S32.
  • step S32 the image processing unit 351 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 311 based on the movement operation of the surgeon.
  • the scopist holding the endoscope 311 confirms the visual field image displayed on the first display device 320, and in accordance with the movement of the cutout region in the visual field image, the center of the cutout region and the visual field image are displayed. It is assumed that the endoscope 311 is moved so that the centers are aligned.
  • the position detection unit 311a detects the position of the endoscope 311 (camera) and supplies the position information indicating the position to the image processing unit 351.
  • the position detection unit 311a is configured as, for example, a gyro sensor, a position sensor, or the like, and supplies the direction, posture, and position of the camera as position information to the image processing unit 351.
  • step S34 the image processing unit 351 accompanies a change in the imaging range of the field image due to the movement of the camera according to a change in the direction, posture, and position of the camera represented by the position information from the position detection unit 311a. , The position of the cutout area is changed so as to offset the change in the display area of the display image.
  • step S33 camera position detection
  • step S34 position change of the cutout area
  • the endoscope device 310 When the position detection of the camera and the position change of the cutout area are completed, the endoscope device 310 enters the standby state of the operation of moving the cutout area by the surgeon, and returns to step S31.
  • the upper part of FIG. 9 shows the visual field image of the endoscope 311 and the cutout area CA moving on the visual field image
  • the middle part of FIG. 9 shows the display image cut out from the visual field image by the cutout area CA. ..
  • the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 311) are shown in chronological order.
  • the visual field image shown in the upper part of FIG. 9 is displayed on the first display device 320 observed by the scopist
  • the display image shown in the middle part of FIG. 9 is displayed on the second display device 330 observed by the surgeon. Will be done.
  • the surgeon first observes the display image shown on the left side of the middle row, which is cut out in a state where the center of the cutout region CA coincides with the center of the visual field image, as shown on the left side of the upper row. Suppose you are.
  • the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
  • the scopist starts the movement of the endoscope 311.
  • the movement of the endoscope 311 is such that the center of the imaging range of the visual field image moves toward the center of the moving cutout area CA according to the direction and speed of movement of the cutout area CA in the visual field image. , Scopist does.
  • the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 311.
  • the position of the cutout area CA so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 311 even after the surgeon finishes the movement operation. Changes will continue.
  • the surgeon proceeds with the surgical procedure while observing the display image shown in the center of the middle row, which is cut out with the cutout area CA moved to the right end of the visual field image, as shown in the center of the upper row. become.
  • the surgeon can move the cutout area as intended even in the same endoscopic surgery as before. Further, since the scopist can recognize the position of the cutout region in the visual field image, he / she can grasp the intention of the surgeon and appropriately adjust the position of the endoscope 311.
  • the endoscopic surgery system to which the technique of the present disclosure is applied may adopt a configuration other than the configuration shown in FIG.
  • FIG. 10 is a block diagram showing a functional configuration example of an endoscopic surgery system to which the technique of the present disclosure is applied.
  • FIG. 10 shows an image processing device 410, a first display device 420, a second display device 430, an endoscope 440, and an input device 450 that constitute an endoscopic surgery system 400 to which the technique of the present disclosure is applied. ing.
  • the image processing device 410 is configured as a medical image processing device to which the technology of the present disclosure is applied, and is configured as, for example, a CCU including a CPU, a GPU, and the like.
  • the image processing device 410 comprehensively controls the imaging of the endoscope 230 and the display of the first display device 420 and the second display device 430 based on the operation signal from the input device 450.
  • the image processing device 410 includes an image processing unit 351, a first display control unit 352, a second display control unit 353, and an operation reception unit 354, similar to the control unit 313 of FIG.
  • first display device 420, the second display device 430, the endoscope 440 and the position detection unit 440a, and the input device 450 in FIG. 10 are the first display device 320, the second display device 330, and the endoscope in FIG. It corresponds to the mirror 311 and the position detection unit 311a, and the input unit 312, respectively.
  • each part included in the endoscope device 310 of FIG. 7 can be configured as an independent device.
  • FIG. 11 is a block diagram showing an example of the hardware configuration of the image processing device 500 constituting the medical observation system according to the present embodiment.
  • the image processing device 500 includes a CPU 501, a ROM 503, and a RAM 505. Further, the image processing device 500 includes a host bus 507, a bridge 509, an external bus 511, an interface 513, an input device 515, an output device 517, and a storage device 519.
  • the image processing device 500 may include a drive 521, a connection port 523, and a communication device 525.
  • the CPU 501 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the image processing device 500 according to various programs recorded in the ROM 503, RAM 505, storage device 519, or removable recording medium 527.
  • ROM 503 stores programs, calculation parameters, etc. used by CPU 501.
  • the RAM 505 primarily stores a program used by the CPU 501, parameters that change as appropriate in the execution of the program, and the like. These are connected to each other by a host bus 507 composed of an internal bus such as a CPU bus.
  • a host bus 507 composed of an internal bus such as a CPU bus.
  • Each configuration of the control unit 52 of the control device 18 described with reference to FIG. 2 is realized by, for example, the CPU 501.
  • the host bus 507 is connected to an external bus 511 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 509.
  • An input device 515, an output device 517, a storage device 519, a drive 521, a connection port 523, and a communication device 525 are connected to the external bus 511 via the interface 513.
  • the input device 515 is an operating means operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, levers, and pedals. Further, the input device 515 may be, for example, a remote control means (so-called remote controller) using infrared rays or other radio waves, or an externally connected device such as a mobile phone or PDA that supports the operation of the image processing device 500. It may be 529.
  • a remote control means such as a mobile phone or PDA that supports the operation of the image processing device 500. It may be 529.
  • the input device 515 is composed of, for example, an input control circuit that generates an input signal based on information input by the user using the above-mentioned operating means and outputs the input signal to the CPU 501.
  • the user can input various data to the image processing device 500 and instruct the processing operation.
  • the output device 517 is composed of a device capable of visually or audibly notifying the user of the acquired information.
  • the output device 517 is configured as a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a display device such as a lamp, an audio output device such as a speaker and headphones, a printer device, and the like. ..
  • the output device 517 outputs, for example, the results obtained by various processes performed by the image processing device 500.
  • the display device displays the results obtained by various processes performed by the image processing device 500 as text or an image.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the signal.
  • the storage device 519 is a data storage device configured as an example of the storage unit of the image processing device 500.
  • the storage device 519 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 519 stores a program executed by the CPU 501, various data, and the like.
  • the drive 521 is a reader / writer for a recording medium, and is built in or externally attached to the image processing device 500.
  • the drive 521 reads the information recorded on the removable recording medium 527 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 505.
  • the drive 521 can also write a record to a removable recording medium 527 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 527 is, for example, DVD media, HD-DVD media, Blu-ray (registered trademark) media, or the like. Further, the removable recording medium 527 may be a compact flash (registered trademark), a flash memory, an SD (Secure Digital) memory card, or the like. Further, the removable recording medium 527 may be, for example, an IC (Integrated Circuit) card equipped with a non-contact IC chip, an electronic device, or the like.
  • IC Integrated Circuit
  • the connection port 523 is a port for directly connecting the external connection device 529 to the image processing device 500.
  • Examples of the connection port 523 include a USB (Universal Serial Bus) port, an IEEE1394 port, and a SCSI (Small Computer System Interface) port.
  • Another example of the connection port 523 is an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 525 is, for example, a communication interface composed of a communication device for connecting to a communication network (network) 531.
  • the communication device 525 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 525 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 525 can transmit and receive signals to and from the Internet and other communication devices according to a predetermined protocol such as TCP / IP. Further, the communication network 531 connected to the communication device 525 may be configured by a network connected by wire or wirelessly.
  • the communication network 531 may be, for example, the Internet or a home LAN, or may be a communication network on which infrared communication, radio wave communication, or satellite communication is performed.
  • Each component of the image processing device 500 described above may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • a computer program for realizing each function of the image processing device 500 constituting the medical image processing system according to the present embodiment and implement it on a personal computer or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the computer program may be distributed via a network, for example, without using a recording medium.
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present disclosure may have the following structure.
  • (1) It is equipped with an image processing unit that moves the cutout area in real time to cut out the display image from the field image of the camera that captures the surgical field based on the operation of the operator who is a surgical participant.
  • the image processing unit is a medical image processing system that changes the position of the cutout region so as to offset the change in the display image due to the change in the visual field image when the camera moves.
  • (2) A drive control unit that controls the drive of the support unit that supports the camera is further provided.
  • An operation reception unit that receives an operation of the operator who moves the cutout area in real time in the field image is further provided.
  • the drive control unit controls the drive of the support unit so that the center of the cutout region coincides with the center of the visual field image.
  • the drive control unit controls the drive of the support unit so that the center of the cutout region coincides with the center of the visual field image after the movement of the cutout region is completed. ..
  • the drive control unit controls the drive of the support unit so that the center of the cutout region and the center of the visual field image coincide with each other after the start of movement of the cutout region and during the movement of the cutout region.
  • the medical image processing unit according to (1) changes the position of the cutout region so as to offset the change in the display image due to the movement of the camera by the gripper holding the camera. system.
  • An operation reception unit that receives an operation of the operator who moves the cutout area in real time in the field image, and an operation reception unit.
  • a position detecting unit for detecting the position of the camera moved by the gripper is further provided.
  • (11) The medical image processing system according to any one of (1) to (10) included in the endoscope.
  • the cutout area for cutting out the display image from the field image of the camera that captures the surgical field is moved in real time.
  • the image processing unit changes the position of the cutout region for cutting out the display image from the field image so as to offset the change in the display image due to the change in the field image when the camera moves.
  • 100 Endoscopic surgery system 110 Endoscope device, 120 Display device, 111 Endoscope, 112 Endoscope holder, 113 Input unit, 114 Control unit, 151 Image processing unit, 152 Display control unit, 153 Drive control unit , 154 Operation reception, 200 Endoscopic surgery system, 210 Image processing device, 220 Display device, 230 Endoscope, 240 Endoscope holder, 250 Input device, 300 Endoscopic surgery system, 310 Endoscopic device, 320 1st display device, 330 2nd display device, 311 endoscope, 311a position detection unit, 312 input unit, 313 control unit, 351 image processing unit, 352 first display control unit, 353 second display control unit, 354 Operation reception unit, 400 endoscopic surgery system, 410 image processing device, 420 first display device, 430 second display device, 440 endoscope, 440a position detection unit, 450 input device

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本開示は、執刀医の意図を反映した好適な画像を提供することができるようにする医療用画像処理システム、画像処理方法、および医療用画像処理装置に関する。 画像処理部は、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、カメラが移動した場合、視野画像の変化に伴う表示用画像の変化を相殺するように、切り出し領域の位置を変更する。本開示は、例えば、内視鏡手術システムに適用することができる。

Description

医療用画像処理システム、画像処理方法、および医療用画像処理装置
　本開示は、医療用画像処理システム、画像処理方法、および医療用画像処理装置に関し、特に、執刀医の意図を反映した好適な画像を提供することができるようにした医療用画像処理システム、画像処理方法、および医療用画像処理装置に関する。
　内視鏡を用いた内視鏡手術システムにおいては、内視鏡の撮像画像の一部を切り出して、モニタに拡大表示することが行われている。
　例えば、特許文献１には、撮像画像における処置具の位置が、切り出した表示画像の中央に保たれるように、切り出し位置の移動と、カメラを支持するアーム部の動きを制御する技術が開示されている。
国際公開第２０１７／１４５４７５号
　しかしながら、表示画像を観察しながら手術を行う執刀医が、処置具の位置が表示画像の中央に常に保たれることを意図するとは限らない。
　本開示は、このような状況に鑑みてなされたものであり、執刀医の意図を反映した好適な画像を提供することができるようにするものである。
　本開示の医療用画像処理システムは、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を備え、前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する医療用画像処理システムである。
　本開示の画像処理方法は、医療用画像処理システムが、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する画像処理方法である。
　本開示の医療用画像処理装置は、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を備え、前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する医療用画像処理装置である。
　本開示においては、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域がリアルタイムに移動され、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置が変更される。
本開示に係る内視鏡装置の機能構成例を示すブロック図である。 内視鏡装置の動作例について説明するフローチャートである。 視野画像の切り出し位置と表示用画像の変化を示す図である。 内視鏡装置の他の動作例について説明するフローチャートである。 視野画像の切り出し位置と表示用画像の変化を示す図である。 内視鏡手術システムの機能構成例を示すブロック図である。 内視鏡装置の他の機能構成例を示すブロック図である。 内視鏡装置の動作例について説明するフローチャートである。 視野画像の切り出し位置と表示用画像の変化を示す図である。 内視鏡手術システムの他の機能構成例を示すブロック図である。 画像処理装置のハードウェア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．従来技術とその課題
　２．第１の実施の形態（切り出し領域の移動終了後に内視鏡ホルダを駆動する例）
　３．第２の実施の形態（切り出し領域の移動中に内視鏡ホルダを駆動する例）
　４．第３の実施の形態（スコピストがカメラを移動する例）
　５．ハードウェア構成
＜１．従来技術とその課題＞
　従来、内視鏡手術においては、内視鏡を把持するスコピストが、手術手技の進行に合わせて、執刀医が意図した画像が表示されるように、カメラの位置を調整している。執刀医の意図が反映された画像が表示されるか否かは、スコピストの技術レベルや、執刀医とスコピストとの意思疎通の具合に左右される。しかしながら、スコピストが、カメラの位置を調整する技術を習得するには、一定期間の経験が必要となるのが現状である。
　一方で、医師不足が問題となっていることから、スコピストが経験を積む期間をより短くしたい、さらには、スコピストレスで手術を行いたい、という要求がある。
　これに対して、近年、手術用ロボットによる内視鏡手術が普及しつつある。しかしながら、手術用ロボットは高価であるため、導入することは容易ではない。また、手術用ロボットによる内視鏡手術では、手術用ロボットを操作するメディカルエンジニアや、患者の周辺で手術手技の進行を補佐する助手など、スコピストと同等の人員が必要となり、医師不足の解消には至らない。
　また、特許文献１には、撮像画像における処置具の位置が、切り出した表示画像の中央に保たれるように、切り出し位置の移動と、カメラを支持するアーム部の動きを制御する技術が開示されている。しかしながら、表示画像を観察しながら手術を行う執刀医が、処置具の位置が表示画像の中央に常に保たれることを意図するとは限らない。
　そこで、以下においては、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現する構成と、経験を積んだスコピストが携わった場合でも、執刀医の意図を反映した好適な画像を提供する内視鏡装置の構成について説明する。なお、以下において説明する構成は、執刀医に限らず、手術参加者の意図を反映した好適な画像を提供する構成であってもよい。
＜２．第１の実施の形態＞
（内視鏡装置の構成例）
　図１は、本開示の第１の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
　図１には、本開示の技術を適用した医療用画像処理システムとしての内視鏡手術システム１００を構成する内視鏡装置１１０と表示装置１２０が示されている。
　内視鏡装置１１０は、本開示の技術におけるカメラとしての内視鏡１１１により術野が撮像された画像を、表示装置１２０に出力する。表示装置１２０は、内視鏡装置１１０から出力された画像を表示するモニタとして構成される。表示装置１２０に表示された画像は、執刀医により観察される。
　内視鏡装置１１０は、内視鏡１１１、内視鏡ホルダ１１２、入力部１１３、および制御部１１４から構成される。
　内視鏡１１１は、高精細な画像を撮像可能なカメラを含むように構成され、観察視野を撮像した視野画像を、制御部１１４に供給する。内視鏡１１１は、撮像した視野画像から一部の領域を切り出した画像が、視認可能な程度に表示装置１２０に表示されるような解像度の画像を撮像できればよい。なお、カメラは、１つの撮像素子のみを備える構成であってもよいし、複数の撮像素子を備えて複数の画像を合成する構成であってもよい。例えば、カメラは、３つの撮像素子により得られた３枚の画像を合成して１枚の画像を生成する構成であってもよい。また、カメラの撮像素子の画素数は、１４００万画素以上の解像度の画像を生成できる画素数であることが好ましい。例えば、カメラの撮像素子は、水平方向に４Ｋ（例えば３８４０または４３２０）の画素数、垂直方向に４Ｋ（例えば３８４０または４３２０）の画素数を有することが好ましい。なお、カメラの撮像素子は、水平方向に８Ｋ（例えば７６８０）の画素数、垂直方向に４Ｋ（例えば３８４０または４３２０）の画素数を有する撮像素子であってもよい。
　内視鏡ホルダ１１２は、内視鏡１１１（カメラ）を支持するアーム部を含む支持部として構成され、制御部１１４の制御に基づいて駆動することで、内視鏡１１１を所定の位置に移動させる。
　入力部１１３は、ボタン、スイッチ、マウス、キーボード、タッチパネルなどの操作デバイスや、マイクロフォンなどの音声入力デバイスを含み、内視鏡装置１１０の操作者、具体的には執刀医の操作を表す操作信号を、制御部１１４に供給する。
　制御部１１４は、入力部１１３からの操作信号に基づいて、内視鏡１１１の撮像、内視鏡ホルダ１１２の駆動、および、表示装置１２０の表示を制御する。制御部１１４は、画像処理部１５１、表示制御部１５２、駆動制御部１５３、および操作受付部１５４を備える。
　画像処理部１５１は、内視鏡１１１の視野画像からその一部を切り出し、切り出した画像を表示用画像として表示制御部１５２に供給する。視野画像から表示用画像を切り出すための切り出し領域は、操作受付部１５４からの指示情報に基づいて、視野画像上でリアルタイムに移動する。
　表示制御部１５２は、画像処理部１５１からの表示用画像を、表示装置１２０に出力することで、表示装置１２０に表示させる。
　駆動制御部１５３は、視野画像上での切り出し領域の移動に応じて、内視鏡ホルダ１１２の駆動を制御する。
　操作受付部１５４は、視野画像において切り出し領域をリアルタイムに移動する操作者（執刀医）の操作を受け付ける。具体的には、操作受付部１５４は、入力部１１３からの操作信号を、画像処理部１５１に対する指示を表す指示情報に変換して、画像処理部１５１に供給する。
（内視鏡装置の動作例）
　次に、図２のフローチャートを参照して、内視鏡装置１１０の動作例について説明する。図２の処理は、表示装置１２０に、内視鏡１１１の視野画像から切り出された表示用画像が表示されている状態で実行される。
　ステップＳ１１において、操作受付部１５４は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップＳ１１は繰り返され、切り出し領域の移動操作を受け付けると、ステップＳ１２に進む。
　執刀医による切り出し領域の移動操作は、切り出し領域の移動を指示する発話音声に基づいて受け付けられてもよいし、マウスなどの操作デバイスにより受け付けられてもよい。また、執刀医による切り出し領域の移動操作は、執刀医の視線検出の結果に基づいて受け付けられてもよい。
　ステップＳ１２において、画像処理部１５１は、執刀医の移動操作に基づいて、内視鏡１１１の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
　ステップＳ１３において、操作受付部１５４は、執刀医による切り出し領域の移動操作が終了したか否かを判定する。切り出し領域の移動操作が終了するまで、ステップＳ１２，Ｓ１３が繰り返される。この間、画像処理部１５１は、執刀医による移動操作に合わせて、切り出し領域をリアルタイムに移動する。
　切り出し領域の移動操作が終了すると、ステップＳ１４において、画像処理部１５１は、切り出し領域の移動を終了する。
　切り出し領域の移動終了後、ステップＳ１５において、駆動制御部１５３は、切り出し領域の中心と視野画像の中心が一致するように、内視鏡ホルダ１１２の駆動を制御する。すなわち、切り出し領域の中心と視野画像の中心が一致するように、内視鏡１１１が移動する。
　ステップＳ１６において、画像処理部１５１は、内視鏡１１１が移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
　なお、ステップＳ１５（内視鏡１１１の移動）とステップＳ１６（切り出し領域の位置変更）の処理は、並列して実行されることが好ましい。
　内視鏡１１１の移動と切り出し領域の位置変更が終了すると、内視鏡装置１１０は、執刀医による切り出し領域の移動操作の待機状態となり、ステップＳ１１に戻る。
　図３を参照して、図２の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
　図３上段には、内視鏡１１１の視野画像と、視野画像上を移動する切り出し領域ＣＡが示され、図３中段には、視野画像から切り出し領域ＣＡにより切り出された表示用画像が示される。また、図３下段には、操作者（執刀医）の移動操作、切り出し領域ＣＡの移動、および、カメラ（内視鏡１１１）の移動それぞれの状態が、時系列に示される。この例では、図３中段に示される表示用画像のみが、執刀医が観察する表示装置１２０に表示される。
　まず、執刀医は、上段左側に示されるように、切り出し領域ＣＡの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
　時刻ｔ１１において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域ＣＡがリアルタイムに移動を開始する。
　時刻ｔ１２において、執刀医が移動操作を終了すると、視野画像における切り出し領域ＣＡの移動も終了する。このとき、執刀医は、上段中央に示されるように、切り出し領域ＣＡが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
　時刻ｔ１２の状態では、執刀医は、これ以上、表示用画像の表示領域より右側を観察することができなくなるため、時刻ｔ１３において、内視鏡ホルダ１１２の駆動により、内視鏡１１１の移動が開始されることで、視野画像の撮像範囲が右側へ移動し始める。
　このとき、内視鏡１１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置の変更が開始される。
　すなわち、表示用画像の表示領域は、内視鏡１１１の移動に伴って右側に移動することなく、内視鏡１１１の移動前の表示状態が維持されたままとなる。これにより、執刀医は、切り出し領域ＣＡの位置の変更を感じることなく、手術手技を継続することができる。
　その後、時刻ｔ１４において切り出し領域ＣＡの中心と視野画像の中心が一致するまで、内視鏡１１１の移動と切り出し領域ＣＡの位置変更が継続される。
　ここで、切り出し領域の移動の際、一般的に、内視鏡の光学系においてはディストーション（歪曲収差）が発生する。さらには、切り出し領域が移動することで、そのディストーションの量も変化する。そこで、画像処理部１５１により、切り出し領域の位置の変更に基づいて、内視鏡１１１の光学系のディストーションが補正されるようにする。
　これにより、内視鏡１１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置の変更が変更されても、表示用画像のディストーションの発生を抑えることができる。ディストーションの補正においては、所定の手法を適用することができ、例えば、ブラウンのレンズ歪みモデルを用いた手法を適用することができる。
　以上の動作によれば、執刀医による切り出し領域の移動操作に応じて、即座に切り出し領域が移動されるので、執刀医がレイテンシを感じることがない。また、切り出し領域の移動終了後の内視鏡１１１の移動と切り出し領域の位置変更により、切り出し領域の中心と視野画像の中心が一致するようになされるので、切り出し領域の移動可能な範囲が最大となる状態を保つことができる。
　通常、内視鏡１１１の移動を表示用画像の切り出しを行うことなくレイテンシなしで実現するためには、高速な応答制御が可能な内視鏡ホルダが必要となり、大型で高価な構成が必要となる。これに対して、本実施の形態の内視鏡装置によれば、表示用画像の切り出しによりその表示領域をレイテンシなく移動させることができる。内視鏡１１１の移動は、表示領域の移動から遅れてある程度のスピードで行われればよく、小型で安価な構成で内視鏡装置を実現することができる。
　以上のように、本実施の形態によって、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現することが可能となる。
＜３．第２の実施の形態＞
　本実施の形態の内視鏡装置は、図１の内視鏡手術システム１００と同様にして構成することができる。
（内視鏡装置の動作例）
　図４のフローチャートを参照して、本実施の形態の内視鏡装置１１０の動作例について説明する。図４の処理もまた、表示装置１２０に、内視鏡１１１の視野画像から切り出された表示用画像が表示されている状態で実行される。
　ステップＳ２１において、操作受付部１５４は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップＳ２１は繰り返され、切り出し領域の移動操作を受け付けると、ステップＳ２２に進む。
　ステップＳ２２において、画像処理部１５１は、執刀医の移動操作に基づいて、内視鏡１１１の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
　切り出し領域の移動開始後で、かつ、切り出し領域の移動中、ステップＳ２３において、駆動制御部１５３は、切り出し領域の中心と視野画像の中心が一致するように、内視鏡ホルダ１１２の駆動を制御する。すなわち、移動中の切り出し領域の中心と視野画像の中心が一致するように、内視鏡１１１が移動する。
　ステップＳ２４において、画像処理部１５１は、内視鏡ホルダ１１２の駆動により内視鏡１１１が移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
　なお、ステップＳ２３（内視鏡１１１の移動）とステップＳ２４（切り出し領域の位置変更）の処理は、並列して実行されることが好ましい。
　内視鏡１１１の移動と切り出し領域の位置変更が終了すると、内視鏡装置１１０は、執刀医による切り出し領域の移動操作の待機状態となり、ステップＳ２１に戻る。なお、操作受付部１５４は、ステップＳ２１において執刀医による切り出し領域の移動操作を受け付けていないと判定された場合において、前工程のステップＳ２３またはステップＳ２４の動作が完了していないときには、ステップＳ２３またはステップＳ２４の動作を維持させる。また、操作受付部１５４は、ステップＳ２１において執刀医による切り出し領域の移動操作を受け付けたと判定された場合において、前工程のステップＳ２３またはステップＳ２４の動作が完了していないときには、ステップＳ２３またはステップＳ２４の動作をキャンセルして、新しい処理（新しい切り出し領域の中心）に基づいたステップＳ２３またはステップＳ２４の動作を開始することが好ましい。
　図５を参照して、図４の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
　図５上段には、内視鏡１１１の視野画像と、視野画像上を移動する切り出し領域ＣＡが示され、図５中段には、視野画像から切り出し領域ＣＡにより切り出された表示用画像が示される。また、図５下段には、操作者（執刀医）の移動操作、切り出し領域ＣＡの移動、および、カメラ（内視鏡１１１）の移動それぞれの状態が、時系列に示される。この例では、図５中段に示される表示用画像のみが、執刀医が観察する表示装置１２０に表示される。
　図３と同様、まず、執刀医は、上段左側に示されるように、切り出し領域ＣＡの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
　時刻ｔ２１において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域ＣＡがリアルタイムに移動を開始する。
　時刻ｔ２２において、執刀医が移動操作を行っている最中に、内視鏡ホルダ１１２の駆動により、内視鏡１１１の移動が開始される。内視鏡１１１の移動は、視野画像における切り出し領域ＣＡの移動の向きと速さに合わせて、視野画像の撮像範囲の中心が、移動中の切り出し領域ＣＡの中心に向かって移動するようにして行われる。
　このとき、内視鏡１１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置の変更が開始される。
　時刻ｔ２３において、執刀医が移動操作を終了した後も、内視鏡１１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置変更が継続される。このとき、執刀医は、上段中央に示されるように、切り出し領域ＣＡが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
　その後、時刻ｔ２４において切り出し領域ＣＡの中心と視野画像の中心が一致するまで、内視鏡１１１の移動と切り出し領域ＣＡの位置変更が継続される。
　以上の動作によれば、執刀医による切り出し領域の移動操作が終了してから、内視鏡１１１の移動が終了するまでの時間を、第１の実施の形態より短縮することができる。これにより、切り出し領域の移動可能な範囲が最大となる状態を短時間で実現することができ、執刀医が、切り出し領域の移動操作の後すぐに、次の切り出し領域の移動操作を行うような状況に対応することができる。
　また、執刀医による切り出し領域の移動操作が終了してから、内視鏡１１１の移動が終了するまでの時間を、第１の実施の形態と同様にしてもよい。この場合、内視鏡ホルダ１１２の駆動に要する駆動力を低減することができ、より小型で安価な構成で内視鏡装置を実現することができる。
　以上のように、本実施の形態によっても、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現することが可能となる。
（内視鏡手術システムの構成例）
　上述した実施の形態（第１の実施の形態と第２の実施の形態）において、本開示の技術を適用した内視鏡手術システムは、図１に示される構成以外の構成を採ることもできる。
　図６は、本開示の技術を適用した内視鏡手術システムの機能構成例を示すブロック図である。
　図６には、本開示の技術を適用した内視鏡手術システム２００を構成する画像処理装置２１０、表示装置２２０、内視鏡２３０、内視鏡ホルダ２４０、および入力装置２５０が示されている。
　画像処理装置２１０は、本開示の技術を適用した医療用画像処理装置として構成され、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などを備えるＣＣＵ（Camera Control Unit）として構成される。画像処理装置２１０は、入力装置２５０からの操作信号に基づいて、内視鏡２３０の撮像、内視鏡ホルダ２４０の駆動、および、表示装置２２０の表示を統括的に制御する。
　画像処理装置２１０は、図１の制御部１１４と同様、画像処理部１５１、表示制御部１５２、駆動制御部１５３、および操作受付部１５４を備える。
　また、図６における表示装置２２０、内視鏡２３０、内視鏡ホルダ２４０、および入力装置２５０は、図１における表示装置１２０、内視鏡１１１、内視鏡ホルダ１１２、および入力部１１３にそれぞれ対応する。
　このように、図１の内視鏡装置１１０が備える各部が、独立した装置として構成されるようにもできる。
＜４．第３の実施の形態＞
（内視鏡装置の構成例）
　図７は、本開示の第３の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
　図７には、本開示の技術を適用した医療用画像処理システムとしての内視鏡手術システム３００を構成する内視鏡装置３１０、第１表示装置３２０、および第２表示装置３３０が示されている。
　内視鏡装置３１０は、本開示の技術におけるカメラとしての内視鏡３１１により撮像された画像を、第１表示装置３２０と第２表示装置３３０に出力する。第１表示装置３２０と第２表示装置３３０は、内視鏡装置３１０から出力された画像を表示するモニタとして構成される。第１表示装置３２０は、スコピストが確認するモニタとして構成され、第２表示装置３３０は、執刀医が確認するモニタとして構成される。
　内視鏡装置３１０は、内視鏡３１１、入力部３１２、および制御部３１３から構成される。内視鏡装置３１０には、内視鏡ホルダは設けられない。
　内視鏡３１１は、高精細な画像を撮像可能なカメラを含むように構成され、観察視野を撮像した視野画像を、制御部３１３に供給する。内視鏡３１１は、把持者であるスコピストに把持されることで、所定の位置に移動される。なお、カメラは、１つの撮像素子のみを備える構成であってもよいし、複数の撮像素子を備えて複数の画像を合成する構成であってもよい。例えば、カメラは、３つの撮像素子により得られた３枚の画像を合成して１枚の画像を生成する構成であってもよい。また、カメラの撮像素子の画素数は、１４００万画素以上の解像度の画像を生成できる画素数であることが好ましい。例えば、カメラの撮像素子は、水平方向に４Ｋ（例えば３８４０または４３２０）の画素数、垂直方向に４Ｋ（例えば３８４０または４３２０）の画素数を有することが好ましい。なお、カメラの撮像素子は、水平方向に８Ｋ（例えば７６８０）の画素数、垂直方向に４Ｋ（例えば３８４０または４３２０）の画素数を有する撮像素子であってもよい。
　内視鏡３１１は、位置検出部３１１ａを有する。位置検出部３１１ａは、スコピストにより移動された内視鏡３１１の位置を検出し、その位置を表す位置情報を、制御部３１３に供給する。
　入力部３１２は、ボタン、スイッチ、マウス、キーボード、タッチパネルなどの操作デバイスや、マイクロフォンなどの音声入力デバイスを含み、内視鏡装置３１０の操作者、具体的には執刀医の操作を表す操作信号を、制御部３１３に供給する。
　制御部３１３は、入力部３１２からの操作信号に基づいて、内視鏡３１１の撮像、および、第１表示装置３２０と第２表示装置３３０の表示を制御する。制御部３１３は、画像処理部３５１、第１表示制御部３５２、第２表示制御部３５３、および操作受付部３５４を備える。
　画像処理部３５１は、内視鏡３１１の視野画像からその一部を切り出し、切り出した画像を表示用画像として第２表示制御部３５３に供給する。視野画像から表示用画像を切り出すための切り出し領域は、操作受付部３５４からの指示情報に基づいて、視野画像上でリアルタイムに移動する。また、画像処理部３５１は、その切り出し領域が示された視野画像を、第２表示制御部３５３に供給する。
　第１表示制御部３５２は、画像処理部３５１からの、切り出し領域が示された視野画像を、第１表示装置３２０に出力することで、第１表示装置３２０に表示させる。
　第２表示制御部３５３は、画像処理部３５１からの表示用画像を、第２表示装置３３０に出力することで、第２表示装置３３０に表示させる。
　操作受付部３５４は、視野画像において切り出し領域をリアルタイムに移動する操作者（執刀医）の操作を受け付ける。具体的には、操作受付部３５４は、入力部３１２からの操作信号を、画像処理部３５１に対する指示を表す指示情報に変換して、画像処理部３５１に供給する。
（内視鏡装置の動作例）
　次に、図８のフローチャートを参照して、内視鏡装置３１０の動作例について説明する。図８の処理は、第１表示装置３２０に、切り出し領域が示された視野画像が表示され、第２表示装置３３０に、内視鏡３１１の視野画像から切り出された表示用画像が表示されている状態で実行される。
　ステップＳ３１において、操作受付部３５４は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップＳ３１は繰り返され、切り出し領域の移動操作を受け付けると、ステップＳ３２に進む。
　ステップＳ３２において、画像処理部３５１は、執刀医の移動操作に基づいて、内視鏡３１１の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
　以降の処理は、内視鏡３１１を把持するスコピストが、第１表示装置３２０に表示された視野画像を確認しながら、視野画像における切り出し領域の移動に応じて、切り出し領域の中心と視野画像の中心が一致するように、内視鏡３１１を移動させることを前提とする。
　ステップＳ３３において、位置検出部３１１ａは、内視鏡３１１（カメラ）の位置を検出し、その位置を表す位置情報を、画像処理部３５１に供給する。位置検出部３１１ａは、例えば、ジャイロセンサや位置センサなどとして構成され、カメラの向きや姿勢、位置を位置情報として、画像処理部３５１に供給する。
　ステップＳ３４において、画像処理部３５１は、位置検出部３１１ａからの位置情報で表されるカメラの向きや姿勢、位置の変化に応じて、カメラが移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
　なお、ステップＳ３３（カメラの位置検出）とステップＳ３４（切り出し領域の位置変更）の処理は、並列して実行されることが好ましい。
　カメラの位置検出と切り出し領域の位置変更が終了すると、内視鏡装置３１０は、執刀医による切り出し領域の移動操作の待機状態となり、ステップＳ３１に戻る。
　図９を参照して、図８の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
　図９上段には、内視鏡３１１の視野画像と、視野画像上を移動する切り出し領域ＣＡが示され、図９中段には、視野画像から切り出し領域ＣＡにより切り出された表示用画像が示される。また、図９下段には、操作者（執刀医）の移動操作、切り出し領域ＣＡの移動、および、カメラ（内視鏡３１１）の移動それぞれの状態が、時系列に示される。この例では、図９上段に示される視野画像が、スコピストが観察する第１表示装置３２０に表示され、図９中段に示される表示用画像が、執刀医が観察する第２表示装置３３０に表示される。
　図３と同様、まず、執刀医は、上段左側に示されるように、切り出し領域ＣＡの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
　時刻ｔ３１において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域ＣＡがリアルタイムに移動を開始する。
　時刻ｔ３２において、執刀医が移動操作を行っている最中に、スコピストにより、内視鏡３１１の移動が開始される。内視鏡３１１の移動は、視野画像における切り出し領域ＣＡの移動の向きと速さに合わせて、視野画像の撮像範囲の中心が、移動中の切り出し領域ＣＡの中心に向かって移動するようにして、スコピストが行う。
　このとき、内視鏡３１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置の変更が開始される。
　時刻ｔ３３において、執刀医が移動操作を終了した後も、内視鏡３１１の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域ＣＡの位置変更が継続される。このとき、執刀医は、上段中央に示されるように、切り出し領域ＣＡが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
　その後、時刻ｔ３４において切り出し領域ＣＡの中心と視野画像の中心が一致するまで、内視鏡３１１の移動と切り出し領域ＣＡの位置変更が継続される。
　以上の動作によれば、従来と同様の内視鏡手術においても、執刀医は、意図した通りに切り出し領域を移動させることができる。また、スコピストは、視野画像における切り出し領域の位置を認知できるので、執刀医の意図を把握して、内視鏡３１１の位置を適切に調整することができる。
　以上のように、本実施の形態によって、内視鏡手術に、経験を積んだスコピストが携わった場合においても、執刀医の意図を反映した好適な画像を提供することが可能となる。従来の内視鏡手術においては、経験を積んだスコピストであっても、執刀医の意図を完全に予測して視野移動を行うことは難しく、予測が外れたり、視野移動に遅れが発生したりしていた。これに対して、本実施の形態によれば、執刀医の意図をより反映した好適な画像を提供することが可能となる。
　さらに、経験の浅いスコピストが、執刀医の意図する切り出し領域の移動の追従に遅れたとしても、執刀医の手術手技の進行に支障を及ぼすことはない。また、そのようなスコピストは、執刀医がどのような場面でどのような表示用画像を必要としているかを、切り出し領域が示された視野画像を観察しながら、学習することができる。すなわち、本実施の形態によれば、手術が安全かつ迅速に行われる状況を担保しつつ、スコピストの訓練を行うことが可能となる。
（内視鏡手術システムの構成例）
　上述した実施の形態において、本開示の技術を適用した内視鏡手術システムは、図７に示される構成以外の構成を採ることもできる。
　図１０は、本開示の技術を適用した内視鏡手術システムの機能構成例を示すブロック図である。
　図１０には、本開示の技術を適用した内視鏡手術システム４００を構成する画像処理装置４１０、第１表示装置４２０、第２表示装置４３０、内視鏡４４０、および入力装置４５０が示されている。
　画像処理装置４１０は、本開示の技術を適用した医療用画像処理装置として構成され、例えば、ＣＰＵやＧＰＵなどを含むＣＣＵとして構成される。画像処理装置４１０は、入力装置４５０からの操作信号に基づいて、内視鏡２３０の撮像、および、第１表示装置４２０と第２表示装置４３０の表示を統括的に制御する。
　画像処理装置４１０は、図７の制御部３１３と同様、画像処理部３５１、第１表示制御部３５２、第２表示制御部３５３、および操作受付部３５４を備える。
　また、図１０における第１表示装置４２０、第２表示装置４３０、内視鏡４４０と位置検出部４４０ａ、および入力装置４５０は、図７における第１表示装置３２０、第２表示装置３３０、内視鏡３１１と位置検出部３１１ａ、および入力部３１２にそれぞれ対応する。
　このように、図７の内視鏡装置３１０が備える各部が、独立した装置として構成されるようにもできる。
＜５．ハードウェア構成＞
　次に、図１１を参照して、本実施の形態に係る医療用画像処理システムを構成する画像処理装置のハードウェア構成の一例について、詳細に説明する。
　図１１は、本実施の形態に係る医療用観察システムを構成する画像処理装置５００のハードウェア構成の一例を示すブロック図である。
　図１１に示されるように、画像処理装置５００は、ＣＰＵ５０１，ＲＯＭ５０３，およびＲＡＭ５０５を備えている。さらに、画像処理装置５００は、ホストバス５０７、ブリッジ５０９、外部バス５１１、インタフェース５１３、入力装置５１５、出力装置５１７、およびストレージ装置５１９を備えている。なお、画像処理装置５００は、ドライブ５２１、接続ポート５２３、通信装置５２５を備えてもよい。
　ＣＰＵ５０１は、演算処理装置および制御装置として機能し、ＲＯＭ５０３，ＲＡＭ５０５、ストレージ装置５１９、またはリムーバブル記録媒体５２７に記録された各種プログラムに従って、画像処理装置５００内の動作全般またはその一部を制御する。
　ＲＯＭ５０３は、ＣＰＵ５０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ５０５は、ＣＰＵ５０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、ＣＰＵバスなどの内部バスにより構成されるホストバス５０７により相互に接続されている。なお、図２を参照して説明した制御装置１８の制御部５２の各構成は、例えばＣＰＵ５０１により実現される。
　ホストバス５０７は、ブリッジ５０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス５１１に接続されている。外部バス５１１には、インタフェース５１３を介して、入力装置５１５、出力装置５１７、ストレージ装置５１９、ドライブ５２１、接続ポート５２３、および通信装置５２５が接続される。
　入力装置５１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置５１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、画像処理装置５００の操作に対応した携帯電話やＰＤＡなどの外部接続機器５２９であってもよい。
　入力装置５１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ５０１に出力する入力制御回路などから構成されている。
　ユーザは、入力装置５１５を操作することにより、画像処理装置５００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置５１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置５１７は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
　出力装置５１７は、例えば、画像処理装置５００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置５００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置５１９は、画像処理装置５００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置５１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置５１９は、ＣＰＵ５０１が実行するプログラムや各種データなどを格納する。
　ドライブ５２１は、記録媒体用リーダライタであり、画像処理装置５００に内蔵されるか、または外付けされる。ドライブ５２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体５２７に記録されている情報を読み出して、ＲＡＭ５０５に出力する。また、ドライブ５２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体５２７に記録を書き込むことも可能である。
　リムーバブル記録媒体５２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、またはＢｌｕ－ｒａｙ（登録商標）メディアなどである。また、リムーバブル記録媒体５２７は、コンパクトフラッシュ（登録商標）、フラッシュメモリ、またはＳＤ（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体５２７は、例えば、非接触型ＩＣチップを搭載したＩＣ（Integrated Circuit）カード、または電子機器などであってもよい。
　接続ポート５２３は、外部接続機器５２９を画像処理装置５００に直接接続するためのポートである。接続ポート５２３の一例としては、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどがある。接続ポート５２３の別の例としては、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート５２３に外部接続機器５２９を接続することで、画像処理装置５００は、外部接続機器５２９から直接各種のデータを取得したり、外部接続機器５２９に各種のデータを提供したりする。
　通信装置５２５は、例えば、通信網（ネットワーク）５３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置５２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カードなどである。また、通信装置５２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。
　通信装置５２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置５２５に接続される通信網５３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網５３１は、例えば、インターネットや家庭内ＬＡＮであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
　上述した画像処理装置５００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　さらに、本実施の形態に係る医療用画像処理システムを構成する画像処理装置５００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本開示は以下のような構成をとることができる。
（１）
　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部
　を備え、
　前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
　医療用画像処理システム。
（２）
　前記カメラを支持する支持部の駆動を制御する駆動制御部をさらに備え、
　前記画像処理部は、前記支持部の駆動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
　（１）に記載の医療用画像処理システム。
（３）
　前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部をさらに備え、
　前記駆動制御部は、前記視野画像における前記切り出し領域の移動に応じて、前記支持部の駆動を制御する
　（２）に記載の医療用画像処理システム。
（４）
　前記駆動制御部は、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
　（３）に記載の医療用画像処理システム。
（５）
　前記駆動制御部は、前記切り出し領域の移動終了後に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
　（４）に記載の医療用画像処理システム。
（６）
　前記駆動制御部は、前記切り出し領域の移動開始後で、かつ、前記切り出し領域の移動中に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
　（４）に記載の医療用画像処理システム。
（７）
　前記画像処理部は、前記カメラを把持する把持者による前記カメラの移動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
　（１）に記載の医療用画像処理システム。
（８）
　前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部と、
　前記切り出し領域が示された前記視野画像を、前記把持者が確認するモニタに表示する表示制御部と、をさらに備える
　（７）に記載の医療用画像処理システム。
（９）
　前記把持者により移動された前記カメラの位置を検出する位置検出部をさらに備え、
　前記画像処理部は、検出された前記カメラの位置の変化に応じて、前記切り出し領域の位置を変更する
　（７）または（８）に記載の医療用画像処理システム。
（１０）
　前記画像処理部は、前記切り出し領域の位置の変更に基づいて、前記カメラの光学系のディストーションを補正する
　（１）乃至（９）のいずれかに記載の医療用画像処理システム。
（１１）
　前記カメラは、内視鏡に含まれる
　（１）乃至（１０）のいずれかに記載の医療用画像処理システム。
（１２）
　前記視野画像は、１４００万画素以上の画像である
　（１）乃至（１１）のいずれかに記載の医療用画像処理システム。
（１３）
　医療用画像処理システムが、
　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、
　前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
　画像処理方法。
（１４）
　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を
　備え、
　前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
　医療用画像処理装置。
　１００　内視鏡手術システム，　１１０　内視鏡装置，　１２０　表示装置，　１１１　内視鏡，　１１２　内視鏡ホルダ，　１１３　入力部，　１１４　制御部，　１５１　画像処理部，　１５２　表示制御部，　１５３　駆動制御部，　１５４　操作受付部，　２００　内視鏡手術システム，　２１０　画像処理装置，　２２０　表示装置，　２３０　内視鏡，　２４０　内視鏡ホルダ，　２５０　入力装置，　３００　内視鏡手術システム，　３１０　内視鏡装置，　３２０　第１表示装置，　３３０　第２表示装置，　３１１　内視鏡，　３１１ａ　位置検出部，　３１２　入力部，　３１３　制御部，　３５１　画像処理部，　３５２　第１表示制御部，　３５３　第２表示制御部，　３５４　操作受付部，　４００　内視鏡手術システム，　４１０　画像処理装置，　４２０　第１表示装置，　４３０　第２表示装置，　４４０　内視鏡，　４４０ａ　位置検出部，　４５０　入力装置

Claims (14)

  1. 　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部
    　を備え、
    　前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
    　医療用画像処理システム。
  2. 　前記カメラを支持する支持部の駆動を制御する駆動制御部をさらに備え、
    　前記画像処理部は、前記支持部の駆動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
    　請求項１に記載の医療用画像処理システム。
  3. 　前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部をさらに備え、
    　前記駆動制御部は、前記視野画像における前記切り出し領域の移動に応じて、前記支持部の駆動を制御する
    　請求項２に記載の医療用画像処理システム。
  4. 　前記駆動制御部は、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
    　請求項３に記載の医療用画像処理システム。
  5. 　前記駆動制御部は、前記切り出し領域の移動終了後に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
    　請求項４に記載の医療用画像処理システム。
  6. 　前記駆動制御部は、前記切り出し領域の移動開始後で、かつ、前記切り出し領域の移動中に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
    　請求項４に記載の医療用画像処理システム。
  7. 　前記画像処理部は、前記カメラを把持する把持者による前記カメラの移動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
    　請求項１に記載の医療用画像処理システム。
  8. 　前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部と、
    　前記切り出し領域が示された前記視野画像を、前記把持者が確認するモニタに表示する表示制御部と、をさらに備える
    　請求項７に記載の医療用画像処理システム。
  9. 　前記把持者により移動された前記カメラの位置を検出する位置検出部をさらに備え、
    　前記画像処理部は、検出された前記カメラの位置の変化に応じて、前記切り出し領域の位置を変更する
    　請求項７に記載の医療用画像処理システム。
  10. 　前記画像処理部は、前記切り出し領域の位置の変更に基づいて、前記カメラの光学系のディストーションを補正する
    　請求項１に記載の医療用画像処理システム。
  11. 　前記カメラは、内視鏡に含まれる
    　請求項１に記載の医療用画像処理システム。
  12. 　前記視野画像は、１４００万画素以上の画像である
    　請求項１に記載の医療用画像処理システム。
  13. 　医療用画像処理システムが、
    　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、
    　前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
    　画像処理方法。
  14. 　手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を
    　備え、
    　前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
    　医療用画像処理装置。
PCT/JP2021/010741 2020-03-31 2021-03-17 医療用画像処理システム、画像処理方法、および医療用画像処理装置 WO2021200139A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-063541 2020-03-31
JP2020063541 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200139A1 true WO2021200139A1 (ja) 2021-10-07

Family

ID=77929174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010741 WO2021200139A1 (ja) 2020-03-31 2021-03-17 医療用画像処理システム、画像処理方法、および医療用画像処理装置

Country Status (1)

Country Link
WO (1) WO2021200139A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201570A (ja) * 2006-01-24 2007-08-09 Seiko Epson Corp 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2018173681A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201570A (ja) * 2006-01-24 2007-08-09 Seiko Epson Corp 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2018173681A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム

Similar Documents

Publication Publication Date Title
US11798683B2 (en) Remote presence system including a cart that supports a robot face and an overhead camera
EP3107286B1 (en) Medical robotic system providing three-dimensional telestration
JP2019523663A (ja) ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体
AU2003234910B2 (en) Medical cockpit system
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
US20230181271A1 (en) Method of remotely supporting surgery assistant robot and remote support system
JP2012523890A (ja) ソフトウェアモジュール方式、プロジェクタ、及びレーザポインタを備えたテレプレゼンスロボットシステム
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
JP2012175136A (ja) カメラシステムおよびその制御方法
WO2018235608A1 (ja) 手術システムおよび手術用撮像装置
JP2013017513A (ja) 医療用マスタスレーブマニピュレータ
WO2021200139A1 (ja) 医療用画像処理システム、画像処理方法、および医療用画像処理装置
JP7146735B2 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
CN110549328A (zh) 作业辅助控制装置和方法、作业图像控制装置和显示方法
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2019167555A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US20230410499A1 (en) Visibility metrics in multi-view medical activity recognition systems and methods
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP4445598B2 (ja) 内視鏡カメラ視野制御システム
WO2021261236A1 (ja) 医療用観察システム、画像処理方法、およびプログラム
JP2007003844A (ja) 遠隔地にある顕微鏡を操作する装置
EP3648422B1 (en) Communication system and control device
CN114144140A (zh) 医疗观察系统、控制装置和控制方法
WO2021116846A1 (en) Control system for an endoscopic device and method of controlling an endoscopy system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21781713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP