WO2021020131A1 - 医療用観察システム、制御装置、および制御方法 - Google Patents

医療用観察システム、制御装置、および制御方法 Download PDF

Info

Publication number
WO2021020131A1
WO2021020131A1 PCT/JP2020/027509 JP2020027509W WO2021020131A1 WO 2021020131 A1 WO2021020131 A1 WO 2021020131A1 JP 2020027509 W JP2020027509 W JP 2020027509W WO 2021020131 A1 WO2021020131 A1 WO 2021020131A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
field
wide
angle
image pickup
Prior art date
Application number
PCT/JP2020/027509
Other languages
English (en)
French (fr)
Inventor
素明 小林
勝木　信二
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20846540.1A priority Critical patent/EP4007274A4/en
Priority to CN202080052961.0A priority patent/CN114144140A/zh
Priority to US17/623,618 priority patent/US20220321803A1/en
Publication of WO2021020131A1 publication Critical patent/WO2021020131A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present disclosure relates to a medical observation system, a control device, and a control method, and more particularly to a medical observation system, a control device, and a control method that can prevent the observation site from being lost.
  • Patent Document 1 discloses a medical observation device capable of switching between an image having a narrow field of view and an image having a wide field of view according to the detection result of whether or not a medical device is displayed. There is.
  • the camera when magnifying observation is performed using a medical camera device, the camera may be moved to move the field of view. At this time, if the affected area is magnified in a narrow field of view, even if the position or posture of the camera changes slightly, the observed area will be out of the screen and the observed area will be lost. was there. Therefore, there is a concern that the operation time will be extended as a result of having to re-change the position or posture of the camera so that the affected part outside the screen is within the field of view.
  • This disclosure was made in view of such a situation, and is intended to prevent the observation site from being lost.
  • the medical observation system of one aspect of the present disclosure includes a field range changing unit that generates a magnified field image in which the field range is changed from a wide-angle field image acquired by an imaging device that images an observation site with a wide angle of view. It includes a motion recognition unit that recognizes the movement of the image pickup device, and an image processing unit that switches and outputs the wide-angle field of view image and the enlarged field of view image based on the movement of the image pickup device recognized by the motion recognition unit. ..
  • the control device on one aspect of the present disclosure includes a field range changing unit that generates a magnified field image in which the field range is changed from a wide-angle field image acquired by an image pickup device that images an observation site at a wide angle of view, and the imaging. It includes a motion recognition unit that recognizes the movement of the device, and an image processing unit that switches and outputs the wide-angle field image and the magnified field image based on the movement of the image pickup device recognized by the motion recognition unit.
  • the control method of the control device on one aspect of the present disclosure uses the control device to generate a magnified field image in which the field range is changed from the wide-angle field image acquired by the image pickup device that images the observation site at a wide angle of view. This includes recognizing the movement of the imaging device, and switching and outputting the wide-angle field image and the magnified field image based on the recognized movement of the image pickup device.
  • a magnified visual field image in which the visual field range is changed is generated from a wide-angle visual field image acquired by an imaging device that images an observation site with a wide angle of view, and the movement of the imaging device is recognized and recognized.
  • the wide-angle field of view image and the magnified field of view image are switched and output based on the movement of the image pickup device.
  • a block diagram showing a configuration example of an embodiment of a medical observation system to which the present technology is applied is shown. It is a figure explaining the image processing which accompanies the movement of an image pickup apparatus. It is a flowchart explaining an example of a control process. It is a figure explaining the adjustment of the observation position using a central marker. It is a block diagram which shows the structural example of one Embodiment of the computer to which this technique is applied.
  • FIG. 1 schematically shows a situation in which the medical observation system 11 is used
  • FIG. 2 shows a block diagram showing a configuration example of the medical observation system 11.
  • the medical observation system 11 is used when an operation is performed on a patient on a patient bed, images the operation site as an observation site, and is operated by an operator such as a doctor or a nurse. Will be done. Further, the medical observation system 11 includes an image pickup device 12, a support arm 13, an operation device 14, a voice input device 15, a display device 16, and a control device 17.
  • the image pickup device 12 includes image pickup elements 21L and 21R, and a motion detection unit 22.
  • the control device 17 includes a motion recognition unit 31, an operation signal acquisition unit 32, a voice recognition unit 33, and an image processing unit 34, and the image processing unit 34 includes a field of view range changing unit 41 and a marker display unit 42. have.
  • the imaging device 12 has a viewing angle set so that the entire affected area of the patient can be overlooked.
  • the imaging device 12 images an imaging range surrounded by a broken line in FIG.
  • a stereo camera capable of capturing a three-dimensional stereo image by the image pickup element 21L for the left eye and the image pickup element 21R for the right eye is used. Then, the images captured by the image pickup devices 21L and 21R are transmitted from the image pickup device 12 to the control device 17 via a cable (not shown).
  • the motion detection unit 22 can detect the motion of the image pickup device 12. For example, when the operator moves the image pickup device 12, the movement of the image pickup device 12 is detected by the motion detection unit 22, and the motion detection signal indicating the movement of the image pickup device 12 is controlled from the image pickup device 12 via a cable (not shown). It is transmitted to the device 17.
  • the motion detection unit 22 can be used in combination with an acceleration sensor, a gyro sensor, or the like, and the position and orientation of the image pickup device 12 are specified by the control device 17 based on the motion detection signal indicating acceleration, angular velocity, or the like. To.
  • the support arm 13 is a support means having an arm mechanism for supporting the image pickup device 12, and the image pickup device 12 can be supported at an arbitrary position by changing the angle of the joint of the arm mechanism.
  • the image pickup device 12 is fixed so that the posture can be changed with respect to the tip end portion of the support arm 13, and the base end portion of the support arm 13 is rotatably fixed to the control device 17.
  • the joint of the arm mechanism rotates with a force that can be operated by the operator's hand only when an external force is applied.
  • the support arm 13 is configured to maintain the position and posture of the image pickup apparatus 12 when no external force is applied. Therefore, the support arm 13 is in a position when the image pickup device 12 is moved in response to the operator grasping and moving the tip portion to which the image pickup device 12 is fixed by hand, and the operator stops the movement of the hand.
  • the image pickup device 12 is held in the posture.
  • the operation device 14 acquires an operation signal corresponding to the operation by the operator and supplies the operation signal to the control device 17.
  • the operation device 14 is configured to perform a rotation operation of turning clockwise and a counterclockwise direction, and a tilting operation of tilting the operation device 14 in the vertical direction and the horizontal direction. Further, the operation device 14 can be tilted so as to be tilted in a direction in which the vertical direction and the horizontal direction are combined, for example, in an oblique direction.
  • an instruction command instructing the enlargement or reduction of the size of the visual field range of the image displayed on the display device 16 can be input by tilting the operation device 14.
  • the voice input device 15 is composed of, for example, a microphone or the like, acquires the voice spoken by the operator, and supplies a voice signal indicating the voice to the control device 17.
  • the operator can input a voice instruction command via the voice input device 15 in the same manner as the instruction command input using the operation device 14.
  • the voice input device 15 is provided as a part of the control device 17, a configuration such as being worn on the head of an operator, a configuration provided as a part of the display device 16, and an imaging device 12.
  • a configuration such as being incorporated in the support arm 13 may be adopted.
  • the display device 16 displays an image captured by the image pickup device 12, an image processed by the control device 17 on the image, and the like. Further, when a stereo image is captured by the display device 16, the display device 16 can display the stereo image in three dimensions.
  • the control device 17 is a control required for image processing on an image captured by the image pickup device 12 based on the movement of the image pickup device 12, an instruction command input using the operation device 14 or the voice input device 15, and the like. I do.
  • the motion recognition unit 31 acquires a motion detection signal output from the motion detection unit 22, and recognizes the motion of the imaging device 12 according to, for example, acceleration or angular velocity. Then, when the movement amount of the image pickup device 12 obtained from the motion detection signal becomes equal to or more than a predetermined threshold value, the motion recognition unit 31 notifies the image processing unit 34 that the image pickup device 12 has moved. At this time, the motion recognition unit 31 notifies the image processing unit 34 of the position and orientation of the image pickup device 12 obtained from the motion detection signal. Further, the motion recognition unit 31 notifies the image processing unit 34 that the motion of the image pickup device 12 has stopped when the motion amount of the image pickup device 12 obtained from the motion detection signal is less than a predetermined threshold value.
  • the operation signal acquisition unit 32 acquires the operation signal output from the operation device 14, and supplies an instruction command according to the acquired operation signal to the image processing unit 34. For example, when the operation signal acquisition unit 32 acquires an operation signal indicating a rotation operation for the operation device 14, it supplies an instruction command for instructing the enlargement or reduction of the size of the visual field range to the image processing unit 34 according to the rotation direction. To do. Further, when the operation signal acquisition unit 32 acquires an operation signal indicating a tilt operation with respect to the operation device 14, the operation signal acquisition unit 32 supplies an instruction command for instructing the movement of the visual field range according to the tilt direction to the image processing unit 34.
  • the voice recognition unit 33 acquires a voice signal output from the voice input device 15 and recognizes the utterance content of the operator according to the acquired voice signal. Then, when the voice recognition unit 33 recognizes the instruction command by voice from the utterance content of the operator, the voice recognition unit 33 supplies the instruction command to the image processing unit 34. For example, when the voice recognition unit 33 recognizes the voice instruction command "zoom up” or “zoom down”, the voice recognition unit 33 supplies the image processing unit 34 with an instruction command instructing the enlargement or reduction of the size of the visual field range. Further, when the voice recognition unit 33 recognizes the voice instruction command "move in the XX direction", the voice recognition unit 33 supplies the image processing unit 34 with an instruction command instructing to move the visual field range in that direction.
  • the image processing unit 34 enlarges the wide-angle field image, which is an image having a wide field of view, and the image, which is a magnified view of the wide-angle field image, and has a narrow field of view, based on the movement of the image pickup device 12 recognized by the motion recognition unit 31.
  • the field of view image is switched and output to the display device 16.
  • the wide-angle field-of-view image is an image of the entire range matched to the angle of view of the image pickup device 12, and in the magnified field-of-view image, the field-of-view range changing unit 41 cuts out a part of the wide-angle field-of-view image in order to magnify the desired affected area. This is an image generated by image processing that changes the field of view.
  • the image processing unit 34 when the image processing unit 34 is notified by the motion recognition unit 31 that movement has occurred in the image pickup device 12 while outputting the magnified field image, the image processing unit 34 outputs the output to the display device 16 from the magnified field image. Switch to wide-angle field image.
  • the marker display unit 42 performs image processing in which the enlarged field of view marker indicating the field of view of the enlarged field of view image at that time is superimposed on the corresponding region of the wide-angle field of view image output from the image processing unit 34.
  • the image processing unit 34 switches the output to the display apparatus 16 from the wide-angle visual field image to the enlarged visual field image.
  • the display device 16 displays a magnified field image that magnifies the field range indicated by the magnified field marker superimposed on the wide-angle field image.
  • the field of view changing unit 41 performs image processing to cut out a part of the wide-angle field of view image captured by the image pickup device 12 and generate a magnified field of view image. Further, the visual field range changing unit 41 performs image processing for expanding or contracting the visual field range of the enlarged visual field image and the visual field range of the enlarged visual field image according to an instruction command supplied from the operation signal acquisition unit 32 or the voice recognition unit 33. Image processing that moves can be performed.
  • the marker display unit 42 displays the field of view of the magnified field image at that time.
  • the range is stored as an enlarged field of view range.
  • the marker display unit 42 performs image processing in which the magnified field of view marker indicating the stored magnified field of view range is superimposed on the area corresponding to the magnified field of view in the wide-angle field of view image.
  • the marker display unit 42 follows the movement of the image pickup device 12 based on the position and orientation of the image pickup device 12 notified from the motion recognition unit 31, and has a wide angle so as to indicate the stored enlarged field of view range. Adjust the display position and display size of the enlarged field marker superimposed on the field image. That is, even if the operator moves the image pickup device 12, the display device 16 always displays the enlarged field of view marker so as to indicate the enlarged field of view range at the time when the image pickup device 12 moves. Therefore, for example, even if the magnifying field range deviates from the center of the wide-angle field image by the operator moving the image pickup device 12, the magnifying field marker is always observed in the magnified field image immediately before the image pickup device 12 is moved. It is displayed so as to surround the affected area.
  • the magnified field image is, for example, a cutout of approximately 1/4 of the entire range of the wide-angle field image.
  • the operator grasps the image pickup device 12 and starts moving the image pickup device 12 toward the position indicated by the alternate long and short dash line in FIG.
  • the motion recognition unit 31 recognizes that the motion is generated in the image pickup device 12
  • a wide-angle visual field image as shown in the middle of FIG. 3 is displayed.
  • the display of the display device 16 is switched as described above.
  • the enlarged visual field marker is represented by a broken line frame.
  • the operator can move the image pickup device 12 while looking at the field of view of the entire range that can be captured by the image pickup device 12. it can.
  • the imaging device 12 is used to prevent the affected area from being lost. It was necessary to move 12 delicately.
  • the wide-angle visual field image is set so that the entire surgical site can be seen when performing surgery, even if the imaging device 12 is moved quickly, the affected area may be out of the visual field immediately after the movement is started.
  • the operator can move the imaging device 12 without losing sight of the affected area.
  • the operator can visually recognize a wide range as a field of view while moving the image pickup device 12, for example, the risk of the image pickup device 12 coming into contact with a hand or a medical device other than the operator can be avoided. can do.
  • the operator moves the image pickup device 12 while recognizing the observation target that was magnified when the image pickup device 12 starts to move. be able to. Therefore, the operator can move the image pickup device 12 while recognizing the observation target with reference to the magnifying field marker, and can predict the magnified field image displayed when the movement of the image pickup device 12 is stopped. .. Therefore, the operator can move the image pickup device 12 so that the enlarged visual field image in which the desired affected portion is magnified is displayed on the display device 16 with a single quick operation.
  • the position and posture of the image pickup device 12 are maintained by the arm mechanism of the support arm 13. Will be done.
  • the motion recognition unit 31 recognizes that the movement of the image pickup device 12 has stopped, a magnified field image as shown in the lower part of FIG. 3 is displayed.
  • the display of the display device 16 is switched as described above.
  • the field-of-view range changing unit 41 cuts out a region corresponding to the enlarged field-of-view range stored in the marker display unit 42 from the wide-angle field-of-view image at the time when the movement of the imaging device 12 is stopped to generate an enlarged field-of-view image. Can be done. Therefore, the operator can similarly magnify the affected area that had been magnified before moving the image pickup device 12 even after moving the image pickup device 12.
  • the operator can operate the operation device 14 to adjust the observation position and the observation magnification.
  • the affected area located on the left side of the affected area displayed on the display device 16 at that time is observed in a larger scale. This will be described as an example of adjusting to.
  • the operator performs a tilting operation of tilting the operating device 14 to the left, and an operation signal indicating the tilting operation is supplied from the operating device 14 to the control device 17.
  • the operation signal acquisition unit 32 supplies an instruction command instructing the image processing unit 34 to move the visual field range to the left.
  • the field of view changing unit 41 generates a magnified field image and displays it on the display device 16 while moving the position at which the magnified field image is cut out from the wide-angle field image to the left at a predetermined speed.
  • the operation signal acquisition unit 32 instructs the operation signal acquisition unit 32 to stop the movement of the visual field range. Is supplied to the image processing unit 34. Therefore, the visual field range changing unit 41 stops the image processing for moving the position for cutting out the enlarged visual field image from the wide-angle visual field image, and the enlarged visual field image cut out from the wide-angle visual field image at the current position is displayed on the display device 16. It keeps being displayed.
  • the operator performs a rotation operation of turning the operation device 14 clockwise, and an operation signal indicating the rotation operation is supplied from the operation device 14 to the control device 17.
  • the operation signal acquisition unit 32 supplies an instruction command instructing the image processing unit 34 to expand the visual field range.
  • the visual field range changing unit 41 generates an enlarged visual field image while narrowing the range for cutting out the enlarged visual field image from the wide-angle visual field image at a predetermined speed, and displays it on the display device 16.
  • the operation signal acquisition unit 32 expands the visual field range in the control device 17. Is supplied to the image processing unit 34 with an instruction command instructing to stop. Therefore, the field of view changing unit 41 stops the image processing for narrowing the range for cutting out the magnified field image from the wide-angle field image, and displays the magnified field image cut out from the wide-angle field image in the range at that time on the display device 16. Continue to be done.
  • the medical observation system 11 can adjust the observation position and the observation magnification so that the operator can operate the operation device 14 to observe the desired affected area at a desired magnification.
  • the operator is not limited to this example, and the operator may increase or decrease the movement direction of the observation position and the observation magnification. And the order of operations on the operation device 14 can be arbitrarily performed.
  • the observation position and the observation magnification can be adjusted by inputting an instruction command via the voice input device 15 in the same manner as the operation on the operation device 14.
  • the affected area located on the left side of the affected area displayed on the display device 16 at that time is observed in a larger scale.
  • An example of adjustment will be described.
  • the voice recognition unit 33 recognizes the utterance content and supplies an instruction command instructing the image processing unit 34 to move the visual field range to the left.
  • the field of view changing unit 41 generates a magnified field image and displays it on the display device 16 while moving the position at which the magnified field image is cut out from the wide-angle field image to the left at a predetermined speed.
  • the voice recognition unit 33 recognizes the utterance content and stops the movement of the visual field range in the control device 17.
  • An instruction command instructing this is supplied to the image processing unit 34. Therefore, the visual field range changing unit 41 stops the image processing for moving the position for cutting out the enlarged visual field image from the wide-angle visual field image, and the enlarged visual field image cut out from the wide-angle visual field image at the current position is displayed on the display device 16. It keeps being displayed.
  • the voice is supplied to the control device 17 by the voice input device 15.
  • the voice recognition unit 33 recognizes the utterance content and supplies an instruction command instructing the image processing unit 34 to expand the visual field range.
  • the visual field range changing unit 41 generates an enlarged visual field image while narrowing the range for cutting out the enlarged visual field image from the wide-angle visual field image at a predetermined speed, and displays it on the display device 16.
  • the voice recognition unit 33 recognizes the utterance content in the control device 17, and the visual field range An instruction command instructing to stop the enlargement is supplied to the image processing unit 34. Therefore, the field of view changing unit 41 stops the image processing for narrowing the range for cutting out the magnified field image from the wide-angle field image, and displays the magnified field image cut out from the wide-angle field image in the range at that time on the display device 16. Continue to be done.
  • the operator moves the image pickup device 12 to display the desired magnified field image on the display device 16, and then changes the observation position and the observation magnification in the magnified field image.
  • the medical observation system 11 can repeat the same process as described above by moving the image pickup apparatus 12 after adjusting the observation position and the observation magnification. That is, the wide-angle field-of-view image is displayed on the display device 16 while the image pickup device 12 is being moved, and when the movement of the image pickup device 12 is stopped, the magnified field-of-view image in which the field-of-view range indicated by the magnifying field marker is enlarged is displayed on the display device. The process of being displayed on 16 is repeated.
  • the medical observation system 11 can prevent the observation site from being lost due to the movement of the image pickup device 12, and the operator adjusts the work of moving the image pickup device 12, the observation position, and the observation magnification. Work can be repeated quickly. As a result, it is possible to reduce the loss of time due to the loss of the observation site, and it is possible to prevent the operation time from becoming unnecessarily long.
  • the medical observation system 11 adopts a configuration in which an instruction command is input by voice via a voice input device 15, it is not necessary to arrange the operation device 14 at a position at the operator's hand, and the surgical layout The degree of freedom can be increased.
  • the medical observation system 11 is not configured to make a determination based on the content of the image being captured. Therefore, the medical observation system 11 can switch between the enlarged field of view image and the wide-angle field of view image without depending on a specific subject, and can further expand the versatility.
  • the central positions of the wide-angle view and the magnified view are basically the same, whereas in the medical observation system 11, the magnified field image immediately before is used.
  • the display is switched from the wide-angle field image to the magnified field image based on the field range of.
  • the operator can easily predict the enlarged visual field image after switching from the wide-angle visual field image, and the operability can be further improved.
  • the medical observation system 11 can adjust the observation position and the observation magnification after switching the display from the wide-angle field image to the magnified field image, so that the operator can surely continue to observe the affected part to be magnified. be able to.
  • step S11 when an instruction command for instructing the display of the enlarged field image is input, the process is started, and in step S11, the field range changing unit 41 cuts out a part of the wide-angle field image captured by the imaging device 12 and enlarges it. Performs image processing to generate a field image. Then, the image processing unit 34 supplies the enlarged field of view image generated by the field of view changing unit 41 to the display device 16 and displays it.
  • step S12 the motion recognition unit 31 acquires the motion detection signal of the imaging device 12 output from the motion detection unit 22.
  • step S13 the motion recognition unit 31 determines whether or not the amount of motion of the imaging device 12 is equal to or greater than a predetermined threshold value based on the motion detection signal acquired in step S12.
  • step S13 when the motion recognition unit 31 determines that the motion amount of the image pickup device 12 is not equal to or more than a predetermined threshold value, that is, when it is determined that the motion amount of the image pickup device 12 is less than a predetermined threshold value, the process is performed. Return to step S12. That is, in this case, the image pickup device 12 is not moved, and the process waits until the operator moves the image pickup device 12.
  • step S13 when the motion recognition unit 31 determines that the amount of movement of the image pickup device 12 is equal to or greater than a predetermined threshold value, the motion recognition unit 31 informs the image processing unit 34 that the image pickup device 12 has moved. Notify and the process proceeds to step S14.
  • step S14 the marker display unit 42 stores the visual field range of the enlarged visual field image immediately before the imaging device 12 is moved as the enlarged visual field range.
  • step S15 the marker display unit 42 superimposes the magnified field marker indicating the field of view of the magnified field image immediately before the image pickup device 12 is moved on the corresponding area of the wide-angle field image according to the magnified field range stored in step S14. Perform image processing.
  • step S16 the image processing unit 34 outputs and displays the wide-angle field-of-view image on which the magnifying field marker is superimposed by the marker display unit 42 on the display device 16 in step S15.
  • step S17 the motion recognition unit 31 acquires the motion detection signal of the imaging device 12 output from the motion detection unit 22.
  • step S18 the motion recognition unit 31 determines whether or not the amount of motion of the imaging device 12 is less than a predetermined threshold value based on the motion detection signal acquired in step S17.
  • step S18 when the motion recognition unit 31 determines that the motion amount of the image pickup device 12 is not less than the predetermined threshold value, that is, when it is determined that the motion amount of the image pickup device 12 is equal to or more than the predetermined threshold value.
  • the process returns to step S15. Therefore, in this case, the wide-angle field-of-view image on which the magnifying field marker is superimposed according to the movement of the image pickup device 12 continues to be displayed on the display device 16.
  • step S18 when the motion recognition unit 31 determines that the amount of movement of the image pickup device 12 is less than a predetermined threshold value, the motion recognition unit 31 informs the image processing unit 34 that the movement of the image pickup device 12 has stopped. Notify and the process proceeds to step S19.
  • step S19 in the image processing unit 34, the field of view changing unit 41 performs image processing for generating an enlarged field image by cutting out a region corresponding to the enlarged field of view stored by the marker display unit 42 from the wide-angle field image. Do. Then, the image processing unit 34 supplies the enlarged field of view image generated by the field of view changing unit 41 to the display device 16 and displays it.
  • step S20 the image processing unit 34 determines whether or not the instruction command instructing the adjustment of the visual field range is supplied from the operation signal acquisition unit 32 or the voice recognition unit 33.
  • step S20 If the image processing unit 34 determines in step S20 that the instruction command instructing the adjustment of the visual field range has not been supplied, the process returns to step S12, and the same process is repeated thereafter.
  • step S20 determines in step S20 that an instruction command instructing the adjustment of the visual field range has been supplied
  • the process proceeds to step S21. That is, in this case, the operation signal corresponding to the operation of the operation device 14 by the operator is input to the operation signal acquisition unit 32, or the utterance of the operator is input to the voice recognition unit 33 via the voice input device 15. The voice instruction command is recognized.
  • step S21 in the image processing unit 34, the field of view range changing unit 41 performs image processing to generate a magnified field of view image in which the field of view is adjusted according to an operation of the operator or an instruction command input by voice. Then, the image processing unit 34 supplies the enlarged field of view image generated by the field of view changing unit 41 to the display device 16 and displays it.
  • step S12 the process returns to step S12, and the same process is repeated until the display of the enlarged field image is completed.
  • the visual field range displayed on the display device 16 can be automatically widened as the operator moves the image pickup device 12 to change the position or posture.
  • the operator can magnify the desired affected area without losing sight of it and move the imaging device 12 so as to have a desired position and posture.
  • the operator can change the position and posture of the imaging device 12 while checking the magnified field marker, so that the field of view can be quickly changed by one operation without deviating from the desired affected area. it can.
  • the operator when the operator stops the movement of the image pickup device 12, it corresponds to the enlarged field of view range indicated by the enlarged field of view marker, that is, the enlarged field of view range immediately before moving the image pickup device 12.
  • a magnified field image can be displayed.
  • the operator can move the image pickup device 12 consciously so that the desired affected portion is arranged in the center of the wide-angle visual field image.
  • the image pickup device 12 can be moved more easily and quickly without the need for careful operation.
  • the observation position can be adjusted by using the central marker represented by the white cross in FIG.
  • the center marker is displayed at the center of the magnified field image immediately after the magnified field image is displayed as the movement of the image pickup apparatus 12 is stopped. Then, the operator can move the center marker by operating the operation device 14.
  • the marker display unit 42 displays the center marker at the center of the magnified field image immediately after the movement of the image pickup apparatus 12 is stopped.
  • the marker display unit 42 moves the center marker in the direction corresponding to the operation from the center of the enlarged field image, as shown in the second stage of FIG. Is moved and displayed.
  • the marker display unit 42 displays a movement marker indicating the movement direction of the center marker so as to linearly connect the center of the enlarged field image and the center marker.
  • the movement marker is represented by a white double circle.
  • the image processing unit 34 starts from the magnified field image as shown in the third stage of FIG. Switch the display to a wide-angle field of view image. That is, when the position of the magnified field image with respect to the wide-angle field image is moved by using the center marker, the center marker is moved to the end of the magnified field image so as to exceed the field range of the enlarged field image being displayed. , The wide-angle field of view image is displayed so that a wider range can be seen than the enlarged field of view image being displayed. At this time, the marker display unit 42 superimposes the enlarged field of view marker on the wide-angle field of view image in the same manner as described above. Therefore, the operator can move the center marker while viewing the wide-angle field-of-view image having a wider field of view.
  • the visual field range changing unit 41 When the movement of the central marker is stopped in response to the operator stopping the operation of the operating device 14, the visual field range changing unit 41 generates an enlarged visual field image centered on the position of the central marker at that time. As a result, as shown in the fourth row of FIG. 5, the image processing unit 34 switches the display from the wide-angle visual field image to the enlarged visual field image.
  • the operator can operate the operation device 14 and adjust the observation position by using the center marker.
  • the visual field range is gradually narrowed from the wide-angle visual field image as the moving speed of the central marker decreases before the movement of the central marker is stopped.
  • the enlarged display may be performed little by little.
  • the marker display unit 42 may store the positions of the past center markers as the center history and display the enlarged field of view images centered on those positions at once.
  • the motion recognition unit 31 determines whether or not the image pickup device 12 is moving according to the movement amount of the image pickup device 12 obtained from the motion detection signal. On the other hand, for example, the motion recognition unit 31 causes motion in the imaging device 12 based on the absolute value or rate of change of acceleration detected by the motion detection unit 22, the absolute value or rate of change of angular velocity, and the like. It may be determined whether or not it is done.
  • the motion recognition unit 31 indicates that the image pickup device 12 has moved when the change in the motion of the image pickup device 12 is less than a certain magnitude according to the motion detection signal supplied from the motion detection unit 22.
  • the image processing unit 34 may be notified that the movement has occurred in the image pickup device 12. Therefore, in this case, even if the movement amount of the image pickup device 12 is equal to or more than the threshold value, the image processing unit 34 displays the enlarged field image if the movement of the image pickup device 12 is slow (the change in movement is less than a certain magnitude). It can continue to be displayed on the device 16. That is, when the image pickup device 12 moves quickly, control is performed so that the wide-angle visual field image is displayed on the display device 16 as if the operator intentionally moved the image pickup device 12.
  • this technique can be applied to endoscopes, video microscopes, open imaging surgical field cameras, and the like. Further, the present technology may be applied to fields other than medical treatment.
  • FIG. 6 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and the input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in the ROM (Read Only Memory) 103 accordingly. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • the CPU 102 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result from the output unit 106, transmits it from the communication unit 108, or records it on the hard disk 105, if necessary, via, for example, the input / output interface 110.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for describing the program may be executed in chronological order in the order described in this specification, or may be executed in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • a field range changing unit that generates a magnified field image with a field range changed from a wide-angle field image acquired by an imaging device that captures an observation site with a wide angle of view.
  • a motion recognition unit that recognizes the motion of the image pickup device and
  • a medical observation system including an image processing unit that switches and outputs the wide-angle field image and the magnified field image based on the movement of the image pickup device recognized by the motion recognition unit.
  • (2) With the image pickup device When an external force is applied to the image pickup device, the position or posture can be freely moved to support the image pickup device, and when no external force is applied to the image pickup device, the predetermined position and posture are maintained.
  • the medical observation system according to (1) above further including a support portion that supports the imaging device.
  • the imaging device images the surgical site as the observation site.
  • the medical observation system according to (1) or (2) above, wherein the visual field range changing portion generates the enlarged visual field image for magnifying a desired affected area in surgery.
  • the image pickup apparatus is provided with a motion detection unit that detects the motion of the image pickup apparatus and outputs a motion detection signal indicating the motion of the image pickup apparatus.
  • the motion recognition unit obtains the motion amount of the image pickup device from the motion detection signal, recognizes that the image pickup device has motion when the motion amount of the image pickup device exceeds a predetermined threshold value, and performs the above-mentioned.
  • the medical observation system according to any one of (1) to (3) above, which recognizes that the motion of the imaging device has stopped when the amount of motion falls below a predetermined threshold value.
  • the medical observation system according to (4) above, wherein the image processing unit switches the output from the magnified field image to the wide-angle field image when the motion recognition unit recognizes that the image pickup device has moved. .. (6) The image processing unit switches the output from the wide-angle field-of-view image to the magnified field-of-view image when the motion recognition unit recognizes that the movement of the image pickup device has stopped, according to the above (4) or (5).
  • the motion recognition unit When the change in the movement of the image pickup device is a change of a certain magnitude or more, the motion recognition unit notifies the image processing unit that the movement has occurred in the image pickup device.
  • the image processing unit When the motion recognition unit recognizes that motion has occurred in the imaging device, the output is switched from the magnified field image to the wide-angle field image.
  • the field range of the magnified field image is stored as the magnified field range, and the magnified field marker indicating the magnified field range is used as the wide-angle lens.
  • the medical observation system according to (8) above further comprising a marker display unit for displaying a field image superimposed on a region corresponding to the enlarged visual field range.
  • the marker display unit Based on the position and orientation of the image pickup device recognized by the motion recognition unit, the marker display unit follows the movement of the image pickup device and indicates the display position and the display position of the magnifying field marker so as to indicate the enlarged field of view range. Adjusting the display size The medical observation system according to (9) above.
  • the field of view changing unit expands the area corresponding to the magnified field of view stored by the marker display unit.
  • the medical observation system according to (9) or (10) above which is generated as a field image.
  • (12) Acquires an instruction command for instructing the movement of the position of the magnified field image with respect to the wide-angle field image or the enlargement or reduction of the magnification of the magnified field image with respect to the wide-angle field image, and supplies the command to the viewing range changing unit.
  • the visual field range changing unit generates the enlarged visual field image from the wide-angle visual field image according to the instruction command.
  • a field range changing unit that generates a magnified field image with a field range changed from a wide-angle field image acquired by an imaging device that captures an observation site with a wide angle of view.
  • a motion recognition unit that recognizes the motion of the image pickup device and
  • a control device including an image processing unit that switches and outputs the wide-angle field image and the magnified field image based on the movement of the image pickup device recognized by the motion recognition unit.
  • control device From the wide-angle field-of-view image acquired by the imaging device that images the observation site with a wide-angle angle of view, it is possible to generate a magnified field-of-view image with a changed field of view. Recognizing the movement of the imaging device and A control method for the control device, which comprises switching and outputting the wide-angle field image and the magnified field image based on the recognized movement of the image pickup device.
  • 11 Medical observation system 12 image sensor, 13 support arm, 14 operation device, 15 voice input device, 16 display device, 17 control device, 21L and 21R image sensor, 22 motion detection unit, 31 motion recognition unit, 32 operation signal Acquisition unit, 33 voice recognition unit, 34 image processing unit, 41 viewing range change unit, 42 marker display unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示は、観察部位が見失われることを回避することができるようにする医療用観察システム、制御装置、および制御方法に関する。 広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像が生成される。そして、認識された撮像装置の動きに基づいて、撮像装置に動きが発生したことが認識された場合、拡大視野画像から広角視野画像へ出力が切り替えられ、その後、撮像装置の動きが停止したことが認識された場合、広角視野画像から拡大視野画像へ出力が切り替えられる。本技術は、例えば、手術箇所を観察部位として撮像する医療用観察システムに適用できる。

Description

医療用観察システム、制御装置、および制御方法
　本開示は、医療用観察システム、制御装置、および制御方法に関し、特に、観察部位が見失われることを回避することができるようにした医療用観察システム、制御装置、および制御方法に関する。
　近年、ビデオ画像による拡大視を可能とする医療用カメラ装置が登場しており、顕微鏡やルーペなどの光学機器を手術に使用するのに替えて、医療用カメラ装置が手術に使用されるようになってきている。
　例えば、特許文献１には、医療器具が映っているか否かの検知結果に応じて、視野領域の狭い画像と視野領域の広い画像との表示を切り換えることができる医療用観察装置が開示されている。
特開２０１７－３８２８５号公報
　ところで、医療用カメラ装置を使用して拡大観察を行っている際に、カメラを動かして視野を移動することがある。このとき、狭い視野領域で患部を拡大視していると、カメラの位置または姿勢の変化が僅かであっても、観察していた患部が画面外に外れてしまい、観察部位を見失ってしまうことがあった。そのため、画面外となった患部を視野内に収めるように、カメラの位置または姿勢を変更し直す作業が必要となる結果、手術時間が伸びることが懸念される。
　例えば、上述した特許文献１で開示されている医療用観察装置では、撮像している画像の内容から医療器具が映っているか否かを検知し、その検知結果に応じて制御が行われるため、医療器具などの特定の被写体が画像に映されていないときには制御が行われない。しかしながら、実際の手術では術式によって撮像対象が異なるものとなるため、特定の被写体のみに基づいて制御が行われるか否かを依存することは好ましくないと考えられる。
　本開示は、このような状況に鑑みてなされたものであり、観察部位が見失われることを回避することができるようにするものである。
　本開示の一側面の医療用観察システムは、広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、前記撮像装置の動きを認識する動き認識部と、前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部とを備える。
　本開示の一側面の制御装置は、広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、前記撮像装置の動きを認識する動き認識部と、前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部とを備える。
　本開示の一側面の制御装置の制御方法は、制御装置を用いて、広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成することと、前記撮像装置の動きを認識することと、認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力することとを含む。
　本開示の一側面においては、広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像が生成され、撮像装置の動きが認識され、認識された撮像装置の動きに基づいて、広角視野画像および拡大視野画像が切り替えられて出力される。
医療用観察システムが利用される状況を説明する図である。 本技術を適用した医療用観察システムの一実施の形態の構成例を示すブロック図が示されている。 撮像装置が動かされるのに伴う画像処理について説明する図である。 制御処理の一例を説明するフローチャートである。 中心マーカを利用した観察位置の調整について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜医療用観察システムの構成例＞
　図１および図２を参照して、本技術を適用した医療用観察システムの一実施の形態の構成例について説明する。図１には、医療用観察システム１１が利用される状況が模式的に示されており、図２には、医療用観察システム１１の構成例を示すブロック図が示されている。
　例えば、図１に示すように、医療用観察システム１１は、患者ベッド上の患者に対する手術が行われるときに利用され、手術箇所を観察部位として撮像し、医者や看護師などの操作者によって操作される。また、医療用観察システム１１は、撮像装置１２、支持アーム１３、操作デバイス１４、音声入力装置１５、表示装置１６、および制御装置１７を備えて構成される。
　さらに、図２に示すように、撮像装置１２は、撮像素子２１Ｌおよび２１Ｒ、並びに、動き検出部２２を備えて構成される。また、制御装置１７は、動き認識部３１、操作信号取得部３２、音声認識部３３、および画像処理部３４を備えて構成され、画像処理部３４は、視野範囲変更部４１およびマーカ表示部４２を有している。
　撮像装置１２は、患者の患部全体を俯瞰できるように視野角が設定され、例えば、図１の破線で囲われる撮像範囲を撮像する。例えば、撮像装置１２には、左目用の撮像素子２１Ｌおよび右目用の撮像素子２１Ｒによって、立体的なステレオ画像を撮像することが可能なステレオカメラが用いられる。そして、撮像素子２１Ｌおよび２１Ｒにより撮像された画像は、図示しないケーブルを介して、撮像装置１２から制御装置１７へ伝送される。
　さらに、撮像装置１２では、動き検出部２２が、撮像装置１２の動きを検出することができる。例えば、操作者が撮像装置１２を動かすと、撮像装置１２の動きが動き検出部２２によって検出され、撮像装置１２の動きを示す動き検出信号が、図示しないケーブルを介して、撮像装置１２から制御装置１７へ伝送される。例えば、動き検出部２２には、加速度センサやジャイロセンサなどを組み合わせて用いることができ、加速度や角速度などを示す動き検出信号に基づいて、制御装置１７において撮像装置１２の位置および姿勢が特定される。
　支持アーム１３は、撮像装置１２を支持するアーム機構を有する支持手段であり、アーム機構の関節の角度を変更することによって任意の位置で撮像装置１２を支持することができる。例えば、支持アーム１３の先端部に対して姿勢を変更可能に撮像装置１２が固定され、支持アーム１３の基端部は、制御装置１７に対して回転可能に固定される。
　また、支持アーム１３は、例えば、ガス圧や、バネ力、摩擦力などを利用したアーム機構によって、外力が加わった時にだけ、操作者の手で操作できる力量でアーム機構の関節が回動することで、撮像装置１２の位置または姿勢を自在に動かすことができるように構成されている。そして、支持アーム１３は、外力が加わっていない時には、撮像装置１２の位置および姿勢を維持するように構成されている。従って、支持アーム１３は、撮像装置１２が固定されている先端部を操作者が手で把持して動かすのに応じて撮像装置１２が移動され、操作者が手の動きを止めたときの位置および姿勢で撮像装置１２が保持されるような構成となっている。
　操作デバイス１４は、操作者による操作に応じた操作信号を取得して、制御装置１７に供給する。例えば、操作デバイス１４は、時計方向および反時計方向に向かって回す回転操作、並びに、上下方向および左右方向に向かって倒す傾倒操作を行えるように構成されている。また、操作デバイス１４は、例えば、斜め方向などのように上下方向および左右方向を複合した方向に向かって倒すような傾倒操作も可能となっている。
　例えば、操作デバイス１４に対する回転操作によって、表示装置１６に表示される画像の視野範囲の大きさの拡大または縮小を指示する指示コマンドを入力することができる。また、操作デバイス１４に対する傾倒操作によって、表示装置１６に表示される画像の視野範囲の移動を指示する指示コマンドを入力することができる。
　音声入力装置１５は、例えば、マイクロフォンなどにより構成され、操作者が発話した音声を取得して、その音声を示す音声信号を制御装置１７に供給する。例えば、操作デバイス１４を利用して入力される指示コマンドと同様に、操作者は、音声入力装置１５を介して音声による指示コマンドを入力することができる。なお、音声入力装置１５は、図１に示すように制御装置１７の一部として設ける他、操作者の頭部に装着するような構成や、表示装置１６の一部として設ける構成、撮像装置１２または支持アーム１３に組み込むような構成などを採用してもよい。
　表示装置１６は、撮像装置１２により撮像される画像や、その画像に対して制御装置１７において画像処理が施された画像などを表示する。また、表示装置１６は、表示装置１６によりステレオ画像が撮像された場合には、そのステレオ画像を立体的に表示することができる。
　制御装置１７は、撮像装置１２の動きや、操作デバイス１４または音声入力装置１５を利用して入力される指示コマンドなどに基づいて、撮像装置１２により撮像された画像に対する画像処理に必要となる制御を行う。
　動き認識部３１は、動き検出部２２から出力される動き検出信号を取得し、例えば、加速度や角速度に従って撮像装置１２の動きを認識する。そして、動き認識部３１は、動き検出信号から求められる撮像装置１２の動き量が所定の閾値以上となった場合、撮像装置１２に動きが発生したことを画像処理部３４に通知する。このとき、動き認識部３１は、動き検出信号から求められる撮像装置１２の位置および姿勢を画像処理部３４に通知する。また、動き認識部３１は、動き検出信号から求められる撮像装置１２の動き量が所定の閾値未満となった場合、撮像装置１２の動きが停止したことを画像処理部３４に通知する。
　操作信号取得部３２は、操作デバイス１４から出力される操作信号を取得し、取得した操作信号に従った指示コマンドを画像処理部３４に供給する。例えば、操作信号取得部３２は、操作デバイス１４に対する回転操作を示す操作信号を取得すると、その回転方向に応じて視野範囲の大きさの拡大または縮小を指示する指示コマンドを画像処理部３４に供給する。また、操作信号取得部３２は、操作デバイス１４に対する傾倒操作を示す操作信号を取得すると、その傾倒方向に応じた視野範囲の移動を指示する指示コマンドを画像処理部３４に供給する。
　音声認識部３３は、音声入力装置１５から出力される音声信号を取得し、取得した音声信号に従った操作者の発話内容を認識する。そして、音声認識部３３は、操作者の発話内容から音声による指示コマンドを認識した場合、その指示コマンドを画像処理部３４に供給する。例えば、音声認識部３３は、音声による指示コマンド「ズームアップ」または「ズームダウン」を認識した場合、視野範囲の大きさの拡大または縮小を指示する指示コマンドを画像処理部３４に供給する。また、音声認識部３３は、音声による指示コマンド「○○方向へ移動」を認識した場合、その方向へ視野範囲を移動することを指示する指示コマンドを画像処理部３４に供給する。
　画像処理部３４は、動き認識部３１により認識された撮像装置１２の動きに基づいて、視野範囲の広い画像である広角視野画像と、広角視野画像を拡大視した視野範囲が狭い画像である拡大視野画像とを切り替えて、表示装置１６に出力する。広角視野画像は、撮像装置１２の画角に合わせた全範囲の画像であり、拡大視野画像は、所望の患部を拡大視するために、視野範囲変更部４１が広角視野画像の一部分を切り出して視野範囲を変更する画像処理によって生成される画像である。
　例えば、画像処理部３４は、拡大視野画像を出力しているときに、撮像装置１２に動きが発生したことが動き認識部３１から通知された場合、表示装置１６への出力を拡大視野画像から広角視野画像に切り替える。このとき、マーカ表示部４２によって、その時点における拡大視野画像の視野範囲を示す拡大視野マーカを、画像処理部３４から出力される広角視野画像の対応する領域に重畳する画像処理が行われる。その後、画像処理部３４は、撮像装置１２の動きが停止したことが動き認識部３１から通知された場合、表示装置１６への出力を広角視野画像から拡大視野画像に切り替える。このとき、例えば、広角視野画像に重畳されていた拡大視野マーカで示されていた視野範囲を拡大視するような拡大視野画像が表示装置１６に表示される。
　視野範囲変更部４１は、撮像装置１２により撮像された広角視野画像の一部分を切り出して拡大視野画像を生成する画像処理を行う。さらに、視野範囲変更部４１は、操作信号取得部３２または音声認識部３３から供給される指示コマンドに従って、拡大視野画像の視野範囲を拡大または縮小する画像処理、および、拡大視野画像の視野範囲を移動する画像処理を行うことができる。
　マーカ表示部４２は、画像処理部３４が拡大視野画像を出力しているときに、撮像装置１２に動きが発生したことが動き認識部３１から通知されると、その時点における拡大視野画像の視野範囲を、拡大視野範囲として記憶する。そして、マーカ表示部４２は、記憶している拡大視野範囲を示す拡大視野マーカを、広角視野画像において拡大視野範囲に対応する領域に重畳する画像処理を行う。
　さらに、マーカ表示部４２は、動き認識部３１から通知される撮像装置１２の位置および姿勢に基づいて、撮像装置１２の動きに追従して、記憶している拡大視野範囲を示すように、広角視野画像に重畳する拡大視野マーカの表示位置および表示サイズを調整する。即ち、操作者が撮像装置１２を動かしても表示装置１６には常に、撮像装置１２に動きが発生した時点の拡大視野範囲を示すように拡大視野マーカが表示される。従って、例えば、操作者が撮像装置１２を動かすことによって、広角視野画像の中心から拡大視野範囲がずれたとしても、拡大視野マーカは常に、撮像装置１２が動かされる直前の拡大視野画像で観察されていた患部を囲うように表示される。
　ここで、図３を参照して、撮像装置１２が動かされるのに伴う画像処理について説明する。
　まず、図１において実線に示す位置および姿勢で保持された撮像装置１２によって患部が撮像されているとき、図３の上段に示すような拡大視野画像が表示装置１６に表示されている。図３に示す例では、拡大視野画像は、例えば、広角視野画像の全範囲の略１／４の範囲を切り出したものとなっている。
　そして、観察位置を変更するため、操作者が撮像装置１２を把持して、図１において二点鎖線で示す位置に向かって撮像装置１２を動かし始める。このとき、撮像装置１２の動きが動き検出部２２によって検出され、動き認識部３１が、撮像装置１２に動きが発生したことを認識すると、図３の中段に示すような広角視野画像を表示するように表示装置１６の表示が切り替えられる。ここで、図３の広角視野画像では、拡大視野マーカが破線の枠で表されている。
　従って、操作者は、撮像装置１２を動かしている間において表示装置１６に広角視野画像が表示されているので、撮像装置１２により撮像可能な全範囲の視野を見ながら撮像装置１２を動かすことができる。例えば、拡大視野画像の場合には、撮像装置１２の位置または姿勢が僅かに変化しても、患部が視野外となって見失われる可能性が高く、患部を見失わないようにするには撮像装置１２を繊細に動かす必要があった。
　これに対し、広角視野画像は、手術を行う際の手術箇所全体が見えるように設定されているため、撮像装置１２を素早く動かしたとしても、動かし始めた直後から患部が視野外となることはなく、操作者は、患部を見失うことなく撮像装置１２を動かすことができる。また、操作者は、撮像装置１２を動かしている間、広範囲を視野範囲として視認することができるため、例えば、操作者以外の手や医療器具などに撮像装置１２が接触してしまうリスクを回避することができる。
　そして、広角視野画像には拡大視野マーカが重畳して表示されているため、操作者は、撮像装置１２を動かし始めた時点において拡大視していた観察対象を認識しつつ、撮像装置１２を動かすことができる。従って、操作者は、拡大視野マーカを参照して観察対象を認識しながら撮像装置１２を動かすことができ、撮像装置１２の動きを止めたときに表示される拡大視野画像を予測することができる。このため、操作者は、一度の素早い操作で、所望の患部を拡大視した拡大視野画像が表示装置１６に表示されるように撮像装置１２を動かすことができる。
　その後、操作者が、図１において二点鎖線で示すような位置および姿勢で撮像装置１２の動きを止めて手を離しても、支持アーム１３のアーム機構によって撮像装置１２の位置および姿勢が維持される。このとき、撮像装置１２の動きが動き検出部２２によって検出され、動き認識部３１が、撮像装置１２の動きが停止したことを認識すると、図３の下段に示すような拡大視野画像を表示するように表示装置１６の表示が切り替えられる。
　例えば、視野範囲変更部４１は、マーカ表示部４２が記憶していた拡大視野範囲に対応する領域を、撮像装置１２の動きが停止した時点の広角視野画像から切り出して拡大視野画像を生成することができる。従って、操作者は、撮像装置１２を動かす前に拡大視していた患部を、撮像装置１２を動かした後でも同様に拡大視することができる。
　さらに、医療用観察システム１１では、広角視野画像から拡大視野画像に戻った後で、操作者が操作デバイス１４を操作して観察位置および観察倍率を調整することができる。
　ここで、操作者が撮像装置１２の動きを止めた後の拡大視野画像において、そのときに表示装置１６に表示されている患部よりも左側の位置にある患部を、より拡大して観察するように調整する一例に説明する。
　まず、操作者は、操作デバイス１４を左側に倒す傾倒操作を行い、その傾倒操作を示す操作信号が操作デバイス１４から制御装置１７に供給される。これに応じて、制御装置１７では、操作信号取得部３２が、左方向へ視野範囲を移動することを指示する指示コマンドを画像処理部３４に供給する。そして、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す位置を、所定の速度で左側に移動させながら拡大視野画像を生成して表示装置１６に表示する。
　その後、操作者が、観察したい患部が表示装置１６に表示された時点で操作デバイス１４の傾倒操作を終了させると、操作信号取得部３２は、視野範囲の移動を停止することを指示する指示コマンドを画像処理部３４に供給する。従って、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す位置を移動する画像処理を停止して、その時点の位置で広角視野画像から切り出されている拡大視野画像が表示装置１６に表示され続ける。
　続いて、操作者は、操作デバイス１４を時計方向に回す回転操作を行い、その回転操作を示す操作信号が操作デバイス１４から制御装置１７に供給される。これに応じて、制御装置１７では、操作信号取得部３２が、視野範囲を拡大することを指示する指示コマンドを画像処理部３４に供給する。そして、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す範囲を、所定の速度で狭めながら拡大視野画像を生成して表示装置１６に表示する。
　その後、操作者が、観察したい患部が所望の倍率で表示装置１６に表示された時点で操作デバイス１４の回転操作を終了させると、制御装置１７では、操作信号取得部３２が、視野範囲の拡大を停止することを指示する指示コマンドを画像処理部３４に供給する。従って、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す範囲を狭める画像処理を停止して、その時点の範囲で広角視野画像から切り出されている拡大視野画像が表示装置１６に表示され続ける。
　このように、医療用観察システム１１は、操作者が操作デバイス１４に対する操作を行うことで、所望の患部を所望の倍率で観察できるように観察位置および観察倍率を調整することができる。なお、ここでは、観察位置を左方向に移動して観察倍率を拡大する一例について説明したが、この一例に限られることなく、操作者は、観察位置の移動方向や観察倍率の拡大または縮小などの調整や、操作デバイス１４に対する操作の順番などを任意に行うことができる。
　また、医療用観察システム１１では、操作デバイス１４に対する操作と同様に、音声入力装置１５を介して指示コマンドを入力することで、観察位置および観察倍率を調整することができる。
　例えば、操作者が撮像装置１２の動きを止めた後の拡大視野画像において、そのときに表示装置１６に表示されている患部よりも左側の位置にある患部を、より拡大して観察するように調整する一例に説明する。
　まず、操作者が「左へ移動」と発話すると、その音声が音声入力装置１５によって制御装置１７に供給される。これに応じて、制御装置１７では、音声認識部３３が発話内容を認識して、左方向へ視野範囲を移動することを指示する指示コマンドを画像処理部３４に供給する。そして、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す位置を、所定の速度で左側に移動させながら拡大視野画像を生成して表示装置１６に表示する。
　その後、操作者が、観察したい患部が表示装置１６に表示された時点で「停止」と発話すると、制御装置１７では、音声認識部３３が発話内容を認識して、視野範囲の移動を停止することを指示する指示コマンドを画像処理部３４に供給する。従って、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す位置を移動する画像処理を停止して、その時点の位置で広角視野画像から切り出されている拡大視野画像が表示装置１６に表示され続ける。
　続いて、操作者が「ズームアップ」と発話すると、その音声が音声入力装置１５によって制御装置１７に供給される。これに応じて、制御装置１７では、音声認識部３３が発話内容を認識して、視野範囲を拡大することを指示する指示コマンドを画像処理部３４に供給する。そして、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す範囲を、所定の速度で狭めながら拡大視野画像を生成して表示装置１６に表示する。
　その後、操作者が、観察したい患部が所望の倍率で表示装置１６に表示された時点で「停止」と発話すると、制御装置１７では、音声認識部３３が発話内容を認識して、視野範囲の拡大を停止することを指示する指示コマンドを画像処理部３４に供給する。従って、視野範囲変更部４１は、広角視野画像から拡大視野画像を切り出す範囲を狭める画像処理を停止して、その時点の範囲で広角視野画像から切り出されている拡大視野画像が表示装置１６に表示され続ける。
　以上のように、医療用観察システム１１では、操作者は、撮像装置１２を動かして所望の拡大視野画像を表示装置１６に表示させた後に、その拡大視野画像での観察位置および観察倍率を変更したくなった際に、観察位置および観察倍率を素早く調整することができる。さらに、医療用観察システム１１は、観察位置および観察倍率を調整した後に撮像装置１２を動かすことによって、上述したのと同様の処理を繰り返して行うことができる。即ち、撮像装置１２が動かされている間では広角視野画像が表示装置１６に表示され、撮像装置１２の動きが停止したときに拡大視野マーカで示される視野範囲を拡大した拡大視野画像が表示装置１６に表示されるという処理が繰り返して行われる。
　従って、医療用観察システム１１は、撮像装置１２の動きに伴って観察部位が見失われることを回避することができ、操作者は、撮像装置１２を動かす作業と、観察位置および観察倍率を調整する作業とを素早く繰り返すことができる。これにより、観察部位が見失われることによる時間のロスを削減することができ、手術時間が不要に長くなることを回避することができる。
　さらに、医療用観察システム１１は、音声入力装置１５を介して音声により指示コマンドを入力する構成を採用した場合には、操作デバイス１４を操作者の手元の位置に配置する必要がなく、手術レイアウトの自由度を高めることができる。
　ここで、医療用観察システム１１は、例えば、上述した特許文献１で開示されている医療用観察装置と異なり、撮像している画像の内容に基づく判断が行われる構成とはなっていない。そのため、医療用観察システム１１は、特定の被写体に依存することなく、拡大視野画像と広角視野画像とを切り替えることができ、より汎用性を広げることができる。
　また、上述した特許文献１で開示されている医療用観察装置では、広角視と拡大視の中心位置が基本的に一致しているのに対し、医療用観察システム１１は、直前の拡大視野画像の視野範囲に基づいて広角視野画像から拡大視野画像へ表示の切り替えが行われる。これにより、医療用観察システム１１では、操作者は、広角視野画像から切り替え後の拡大視野画像を容易に予測することができ、より操作性を良好にすることができる。
　そして、医療用観察システム１１は、広角視野画像から拡大視野画像へ表示を切り替えた後に、観察位置および観察倍率を調整することができるので、操作者は、拡大視したい患部を確実に観察し続けることができる。
　＜医療用観察システムの制御処理例＞
　図４に示すフローチャートを参照して、制御装置１７において実行される制御処理の一例について説明する。
　例えば、拡大視野画像の表示を指示する指示コマンドが入力されると処理が開始され、ステップＳ１１において、視野範囲変更部４１は、撮像装置１２により撮像されている広角視野画像の一部分を切り出して拡大視野画像を生成する画像処理を行う。そして、画像処理部３４は、視野範囲変更部４１により生成された拡大視野画像を、表示装置１６に供給して表示させる。
　ステップＳ１２において、動き認識部３１は、動き検出部２２から出力される撮像装置１２の動き検出信号を取得する。
　ステップＳ１３において、動き認識部３１は、ステップＳ１２で取得した動き検出信号に基づいて、撮像装置１２の動き量が所定の閾値以上であるか否かを判定する。
　ステップＳ１３において、動き認識部３１が、撮像装置１２の動き量が所定の閾値以上ではないと判定した場合、即ち、撮像装置１２の動き量が所定の閾値未満であると判定した場合、処理はステップＳ１２に戻る。即ち、この場合、撮像装置１２は動かされていないことになり、操作者が撮像装置１２を動かすまで処理が待機される。
　一方、ステップＳ１３において、動き認識部３１が、撮像装置１２の動き量が所定の閾値以上であると判定した場合、動き認識部３１は撮像装置１２に動きが発生したことを画像処理部３４に通知し、処理はステップＳ１４に進む。
　ステップＳ１４において、マーカ表示部４２は、撮像装置１２が動かされる直前の拡大視野画像の視野範囲を、拡大視野範囲として記憶する。
　ステップＳ１５において、マーカ表示部４２は、ステップＳ１４で記憶した拡大視野範囲に従って、撮像装置１２が動かされる直前の拡大視野画像の視野範囲を示す拡大視野マーカを、広角視野画像の対応する領域に重畳する画像処理を行う。
　ステップＳ１６において、画像処理部３４は、ステップＳ１５でマーカ表示部４２により拡大視野マーカが重畳された広角視野画像を、表示装置１６に出力して表示させる。
　ステップＳ１７において、動き認識部３１は、動き検出部２２から出力される撮像装置１２の動き検出信号を取得する。
　ステップＳ１８において、動き認識部３１は、ステップＳ１７で取得した動き検出信号に基づいて、撮像装置１２の動き量が所定の閾値未満となったか否かを判定する。
　ステップＳ１８において、動き認識部３１が、撮像装置１２の動き量が所定の閾値未満となっていないと判定した場合、即ち、撮像装置１２の動き量が所定の閾値以上であると判定した場合、処理はステップＳ１５に戻る。従って、この場合、撮像装置１２の動きに応じて拡大視野マーカが重畳された広角視野画像が表示装置１６に表示され続ける。
　一方、ステップＳ１８において、動き認識部３１が、撮像装置１２の動き量が所定の閾値未満となったと判定した場合、動き認識部３１は撮像装置１２の動きが停止したことを画像処理部３４に通知し、処理はステップＳ１９に進む。
　ステップＳ１９において、画像処理部３４では、視野範囲変更部４１が、マーカ表示部４２が記憶していた拡大視野範囲に対応する領域を、広角視野画像から切り出して拡大視野画像を生成する画像処理を行う。そして、画像処理部３４は、視野範囲変更部４１により生成された拡大視野画像を、表示装置１６に供給して表示させる。
　ステップＳ２０において、画像処理部３４は、視野範囲を調整することを指示する指示コマンドが、操作信号取得部３２または音声認識部３３から供給されたか否かを判定する。
　ステップＳ２０において、画像処理部３４が、視野範囲を調整することを指示する指示コマンドが供給されていないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ２０において、画像処理部３４が、視野範囲を調整することを指示する指示コマンドが供給されたと判定した場合、処理はステップＳ２１に進む。即ち、この場合、操作者が操作デバイス１４を操作するのに応じた操作信号が操作信号取得部３２に入力され、または、操作者の発話が音声入力装置１５を介して音声認識部３３に入力されて音声による指示コマンドが認識されている。
　ステップＳ２１において、画像処理部３４では、視野範囲変更部４１が、操作者の操作または音声により入力された指示コマンドに従って視野範囲を調整した拡大視野画像を生成する画像処理を行う。そして、画像処理部３４は、視野範囲変更部４１により生成された拡大視野画像を、表示装置１６に供給して表示させる。
　その後、処理はステップＳ１２に戻り、以下、拡大視野画像の表示が終了されるまで、同様の処理が繰り替えして行われる。
　以上のように、医療用観察システム１１では、操作者が、撮像装置１２を動かして位置または姿勢を変更させるのに従って、表示装置１６に表示される視野範囲を自動的に広くすることができる。これにより、操作者は、所望の患部を見失うことなく拡大視して、所望の位置および姿勢となるように撮像装置１２を動かすことができる。このとき、操作者は、拡大視野マーカを確認しながら撮像装置１２の位置および姿勢を変更することができるので、一度の操作で、所望の患部から外れることなく、素早く視野範囲を変更することができる。
　さらに、医療用観察システム１１では、操作者が撮像装置１２の動きを停止したときに、拡大視野マーカで示されている拡大視野範囲、即ち、撮像装置１２を動かす直前の拡大視野範囲に対応した拡大視野画像を表示することができる。これにより、例えば、広角視野画像の中心を拡大するような構成と比較して、操作者は、広角視野画像の中央に所望の患部が配置されるように意識して撮像装置１２を動かしたり、注意して操作したりする必要がなく、より簡易に素早く撮像装置１２を動かすことができる。
　図５を参照して、観察位置を調整する他の例について説明する。
　例えば、図５において白抜きの×印で表すような中心マーカを利用して観察位置を調整することができる。例えば、中心マーカは、撮像装置１２の動きが停止するのに伴って拡大視野画像が表示される際に、その直後の拡大視野画像の中心に表示される。そして、操作者は、操作デバイス１４を操作することで中心マーカを移動させることができる。
　例えば、図５の１段目に示すように、マーカ表示部４２は、撮像装置１２の動きが停止した直後の拡大視野画像の中心に中心マーカを表示する。
　そして、操作者が操作デバイス１４を操作して中心マーカを移動させると、図５の２段目に示すように、マーカ表示部４２は、拡大視野画像の中心から操作に応じた方向に中心マーカを移動させて表示する。このとき、マーカ表示部４２は、拡大視野画像の中心と中心マーカとを直線的に結ぶように、中心マーカの移動方向を示す移動マーカを表示する。例えば、図５では、白抜きの二重丸印で移動マーカが表されている。
　さらに、操作者が操作デバイス１４の操作を継続し、拡大視野画像の端部まで中心マーカを移動させる直前で、図５の３段目に示すように、画像処理部３４は、拡大視野画像から広角視野画像へと表示を切り替える。即ち、中心マーカを利用して広角視野画像に対する拡大視野画像の位置を移動させる際に、表示中の拡大視野画像の視野範囲を超えるように拡大視野画像の端部まで中心マーカを移動した場合に、表示中の拡大視野画像よりも広い範囲が見えるように広角視野画像が表示される。このとき、マーカ表示部４２は、上述したのと同様に、拡大視野マーカを広角視野画像に対して重畳させる。従って、操作者は、より視野範囲が広い広角視野画像を見ながら、中心マーカを移動させることができる。
　その後、操作者が操作デバイス１４の操作を止めるのに応じて、中心マーカの移動が停止すると、視野範囲変更部４１は、その時点における中心マーカの位置を中心として拡大視野画像を生成する。これにより、図５の４段目に示すように、画像処理部３４は、広角視野画像から拡大視野画像へと表示を切り替える。
　このように、医療用観察システム１１では、広角視野画像から拡大視野画像に戻った後で、操作者が操作デバイス１４を操作し、中心マーカを利用して観察位置を調整することができる。
　なお、中心マーカを利用して観察位置を調整する際に、中心マーカの移動が停止する前に、中心マーカの移動速度が低下するのに応じて、広角視野画像から徐々に視野範囲を狭めて、少しずつ拡大表示が行われるようにしてもよい。また、マーカ表示部４２が、過去の中心マーカの位置を中心履歴として記憶しておき、それらの位置を中心とした拡大視野画像を一括で表示するようにしてもよい。
　また、本実施の形態においては、動き認識部３１は、動き検出信号から求められる撮像装置１２の動き量に従って、撮像装置１２に動きが発生しているか否かを判定している。これに対し、例えば、動き認識部３１は、動き検出部２２により検出される加速度の絶対値または変化の割合や、角速度の絶対値または変化の割合などに基づいて、撮像装置１２に動きが発生しているか否かを判定してもよい。
　さらに、動き認識部３１は、動き検出部２２から供給される動き検出信号に従って、撮像装置１２の動きの変化が一定の大きさ未満である場合には、撮像装置１２に動きが発生したことを画像処理部３４に通知せず、撮像装置１２の動きの変化が一定の大きさ以上である場合に、撮像装置１２に動きが発生したことを画像処理部３４に通知するようにしてもよい。従って、この場合、画像処理部３４は、撮像装置１２の動き量が閾値以上であっても、撮像装置１２の動きが遅ければ（動きの変化が一定の大きさ未満）、拡大視野画像を表示装置１６に表示し続けることができる。つまり、撮像装置１２の動きが速いときに、操作者が意図的に撮像装置１２を動かしたものとして、広角視野画像を表示装置１６に表示されるように制御が行われる。
　なお、本技術は、上述したような医療用観察システム１１の他、内視鏡やビデオ顕微鏡、オープンイメージングによる術野カメラなどに適用することができる。さらに、本技術は、医療以外の分野に適用してもよい。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（制御方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、
　前記撮像装置の動きを認識する動き認識部と、
　前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部と
　を備える医療用観察システム。
（２）
　前記撮像装置と、
　前記撮像装置に外力が加わったときには位置または姿勢を自在に動かすことを可能にして前記撮像装置を支持し、かつ、前記撮像装置に外力が加わっていないときには所定の位置および姿勢を維持して前記撮像装置を支持する支持部と
　をさらに備える上記（１）に記載の医療用観察システム。
（３）
　前記撮像装置は、手術箇所を前記観察部位として撮像し、
　前記視野範囲変更部は、手術における所望の患部を拡大視するための前記拡大視野画像を生成する
　上記（１）または（２）に記載の医療用観察システム。
（４）
　前記撮像装置の動きを検出し、前記撮像装置の動きを示す動き検出信号を出力する動き検出部が前記撮像装置に設けられており、
　前記動き認識部は、前記動き検出信号から前記撮像装置の動き量を求め、前記撮像装置の動き量が所定の閾値以上となったときに前記撮像装置に動きが発生したことを認識し、前記動き量が所定の閾値未満となったときに前記撮像装置の動きが停止したことを認識する
　上記（１）から（３）までのいずれかに記載の医療用観察システム。
（５）
　前記画像処理部は、前記動き認識部により前記撮像装置に動きが発生したことが認識された場合、前記拡大視野画像から前記広角視野画像へ出力を切り替える
　上記（４）に記載の医療用観察システム。
（６）
　前記画像処理部は、前記動き認識部により前記撮像装置の動きが停止したことが認識された場合、前記広角視野画像から前記拡大視野画像へ出力を切り替える
　上記（４）または（５）に記載の医療用観察システム。
（７）
　前記動き認識部は、前記撮像装置の動きの変化が一定の大きさ以上の変化である場合、前記撮像装置に動きが発生したことを前記画像処理部に通知し、
　前記画像処理部は、前記動き認識部から前記撮像装置に動きが発生したことが通知されるのに従って、前記拡大視野画像から前記広角視野画像へ出力を切り替える
　上記（４）に記載の医療用観察システム。
（８）
　前記画像処理部は、
　　前記動き認識部により前記撮像装置に動きが発生したことが認識された場合、前記拡大視野画像から前記広角視野画像へ出力を切り替え、
　　前記動き認識部により前記撮像装置の動きが停止したことが認識された場合、前記広角視野画像から前記拡大視野画像へ出力を切り替える
　上記（１）から（３）までのいずれかに記載の医療用観察システム。
（９）
　前記画像処理部により前記拡大視野画像から前記広角視野画像へ出力が切り替えられる際に、前記拡大視野画像の視野範囲を拡大視野範囲として記憶し、前記拡大視野範囲を示す拡大視野マーカを、前記広角視野画像において前記拡大視野範囲に対応する領域に重畳して表示するマーカ表示部
　をさらに備える上記（８）に記載の医療用観察システム。
（１０）
　前記マーカ表示部は、前記動き認識部により認識される前記撮像装置の位置および姿勢に基づき、前記撮像装置の動きに追従して、前記拡大視野範囲を示すように前記拡大視野マーカの表示位置および表示サイズを調整する
　上記（９）に記載の医療用観察システム。
（１１）
　前記視野範囲変更部は、前記画像処理部により前記広角視野画像から前記拡大視野画像へ出力が切り替えられる際に、前記マーカ表示部が記憶していた前記拡大視野範囲に対応する領域を、前記拡大視野画像として生成する
　上記（９）または（１０）に記載の医療用観察システム。
（１２）
　前記広角視野画像に対する前記拡大視野画像の位置の移動、或いは、前記広角視野画像に対する前記拡大視野画像の倍率の拡大または縮小を指示する指示コマンドを取得して、前記視野範囲変更部に供給する取得部
　をさらに備え、
　前記視野範囲変更部は、前記指示コマンドに従って、前記広角視野画像から前記拡大視野画像を生成する
　上記（１）から（１１）までのいずれかに記載の医療用観察システム。
（１３）
　前記取得部は、操作者によって回転操作または傾倒操作が行われる操作部から出力される操作信号に基づいて前記指示コマンドを取得する
　上記（１２）に記載の医療用観察システム。
（１４）
　前記取得部は、操作者が発話した音声から発話内容を認識することで前記指示コマンドを取得する音声認識部である
　上記（１２）または（１３）に記載の医療用観察システム。
（１５）
　前記拡大視野画像の中心を指定して、前記広角視野画像に対する前記拡大視野画像の位置を移動させる際に、表示中の前記拡大視野画像の範囲外が前記中心により指定される場合に、表示中の前記拡大視野画像よりも広い範囲が表示される
　上記（１２）から（１４）までのいずれかに記載の医療用観察システム。
（１６）
　表示中の前記拡大視野画像よりも広い範囲の表示として、前記広角視野画像に表示が切り替えられる
　上記（１５）に記載の医療用観察システム。
（１７）
　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、
　前記撮像装置の動きを認識する動き認識部と、
　前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部と
　を備える制御装置。
（１８）
　制御装置を用いて、
　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成することと、
　前記撮像装置の動きを認識することと、
　認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力することと
　を含む前記制御装置の制御方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　医療用観察システム，　１２　撮像装置，　１３　支持アーム，　１４　操作デバイス，　１５　音声入力装置，　１６　表示装置，　１７　制御装置，　２１Ｌおよび２１Ｒ　撮像素子，　２２　動き検出部，　３１　動き認識部，　３２　操作信号取得部，　３３　音声認識部，　３４　画像処理部，　４１　視野範囲変更部，　４２　マーカ表示部

Claims (18)

  1. 　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、
    　前記撮像装置の動きを認識する動き認識部と、
    　前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部と
    　を備える医療用観察システム。
  2. 　前記撮像装置と、
    　前記撮像装置に外力が加わったときには位置または姿勢を自在に動かすことを可能にして前記撮像装置を支持し、かつ、前記撮像装置に外力が加わっていないときには所定の位置および姿勢を維持して前記撮像装置を支持する支持部と
    　をさらに備える請求項１に記載の医療用観察システム。
  3. 　前記撮像装置は、手術箇所を前記観察部位として撮像し、
    　前記視野範囲変更部は、手術における所望の患部を拡大視するための前記拡大視野画像を生成する
    　請求項１に記載の医療用観察システム。
  4. 　前記撮像装置の動きを検出し、前記撮像装置の動きを示す動き検出信号を出力する動き検出部が前記撮像装置に設けられており、
    　前記動き認識部は、前記動き検出信号から前記撮像装置の動き量を求め、前記撮像装置の動き量が所定の閾値以上となったときに前記撮像装置に動きが発生したことを認識し、前記動き量が所定の閾値未満となったときに前記撮像装置の動きが停止したことを認識する
    　請求項１に記載の医療用観察システム。
  5. 　前記画像処理部は、前記動き認識部により前記撮像装置に動きが発生したことが認識された場合、前記拡大視野画像から前記広角視野画像へ出力を切り替える
    　請求項４に記載の医療用観察システム。
  6. 　前記画像処理部は、前記動き認識部により前記撮像装置の動きが停止したことが認識された場合、前記広角視野画像から前記拡大視野画像へ出力を切り替える
    　請求項４に記載の医療用観察システム。
  7. 　前記動き認識部は、前記撮像装置の動きの変化が一定の大きさ以上の変化である場合、前記撮像装置に動きが発生したことを前記画像処理部に通知し、
    　前記画像処理部は、前記動き認識部から前記撮像装置に動きが発生したことが通知されるのに従って、前記拡大視野画像から前記広角視野画像へ出力を切り替える
    　請求項４に記載の医療用観察システム。
  8. 　前記画像処理部は、
    　　前記動き認識部により前記撮像装置に動きが発生したことが認識された場合、前記拡大視野画像から前記広角視野画像へ出力を切り替え、
    　　前記動き認識部により前記撮像装置の動きが停止したことが認識された場合、前記広角視野画像から前記拡大視野画像へ出力を切り替える
    　請求項１に記載の医療用観察システム。
  9. 　前記画像処理部により前記拡大視野画像から前記広角視野画像へ出力が切り替えられる際に、前記拡大視野画像の視野範囲を拡大視野範囲として記憶し、前記拡大視野範囲を示す拡大視野マーカを、前記広角視野画像において前記拡大視野範囲に対応する領域に重畳して表示するマーカ表示部
    　をさらに備える請求項８に記載の医療用観察システム。
  10. 　前記マーカ表示部は、前記動き認識部により認識される前記撮像装置の位置および姿勢に基づき、前記撮像装置の動きに追従して、前記拡大視野範囲を示すように前記拡大視野マーカの表示位置および表示サイズを調整する
    　請求項９に記載の医療用観察システム。
  11. 　前記視野範囲変更部は、前記画像処理部により前記広角視野画像から前記拡大視野画像へ出力が切り替えられる際に、前記マーカ表示部が記憶していた前記拡大視野範囲に対応する領域を、前記拡大視野画像として生成する
    　請求項９に記載の医療用観察システム。
  12. 　前記広角視野画像に対する前記拡大視野画像の位置の移動、或いは、前記広角視野画像に対する前記拡大視野画像の倍率の拡大または縮小を指示する指示コマンドを取得して、前記視野範囲変更部に供給する取得部
    　をさらに備え、
    　前記視野範囲変更部は、前記指示コマンドに従って、前記広角視野画像から前記拡大視野画像を生成する
    　請求項１に記載の医療用観察システム。
  13. 　前記取得部は、操作者によって回転操作または傾倒操作が行われる操作部から出力される操作信号に基づいて前記指示コマンドを取得する
    　請求項１２に記載の医療用観察システム。
  14. 　前記取得部は、操作者が発話した音声から発話内容を認識することで前記指示コマンドを取得する音声認識部である
    　請求項１２に記載の医療用観察システム。
  15. 　前記拡大視野画像の中心を指定して、前記広角視野画像に対する前記拡大視野画像の位置を移動させる際に、表示中の前記拡大視野画像の範囲外が前記中心により指定される場合に、表示中の前記拡大視野画像よりも広い範囲が表示される
    　請求項１２に記載の医療用観察システム。
  16. 　表示中の前記拡大視野画像よりも広い範囲の表示として、前記広角視野画像に表示が切り替えられる
    　請求項１５に記載の医療用観察システム。
  17. 　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成する視野範囲変更部と、
    　前記撮像装置の動きを認識する動き認識部と、
    　前記動き認識部により認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力する画像処理部と
    　を備える制御装置。
  18. 　制御装置を用いて、
    　広角の画角で観察部位を撮像する撮像装置により取得された広角視野画像から、視野範囲を変更した拡大視野画像を生成することと、
    　前記撮像装置の動きを認識することと、
    　認識された前記撮像装置の動きに基づいて、前記広角視野画像および前記拡大視野画像を切り替えて出力することと
    　を含む前記制御装置の制御方法。
PCT/JP2020/027509 2019-07-29 2020-07-15 医療用観察システム、制御装置、および制御方法 WO2021020131A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20846540.1A EP4007274A4 (en) 2019-07-29 2020-07-15 MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD
CN202080052961.0A CN114144140A (zh) 2019-07-29 2020-07-15 医疗观察系统、控制装置和控制方法
US17/623,618 US20220321803A1 (en) 2019-07-29 2020-07-15 Medical observation system, control device, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019138533A JP2021022840A (ja) 2019-07-29 2019-07-29 医療用観察システム、制御装置、および制御方法
JP2019-138533 2019-07-29

Publications (1)

Publication Number Publication Date
WO2021020131A1 true WO2021020131A1 (ja) 2021-02-04

Family

ID=74228292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027509 WO2021020131A1 (ja) 2019-07-29 2020-07-15 医療用観察システム、制御装置、および制御方法

Country Status (5)

Country Link
US (1) US20220321803A1 (ja)
EP (1) EP4007274A4 (ja)
JP (1) JP2021022840A (ja)
CN (1) CN114144140A (ja)
WO (1) WO2021020131A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072207A (ja) * 2002-08-02 2004-03-04 Fuji Photo Film Co Ltd 画像信号処理装置及び電子カメラ
JP2008278480A (ja) * 2007-04-02 2008-11-13 Sharp Corp 撮影装置、撮影方法、撮影装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015197623A (ja) * 2014-04-02 2015-11-09 オリンパス株式会社 顕微鏡システム
JP2017038285A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP2017112456A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 ズーム制御装置およびズーム制御方法、撮像装置
WO2018179681A1 (ja) * 2017-03-28 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び観察視野補正方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506809B2 (ja) * 1995-06-08 2004-03-15 オリンパス株式会社 体腔内観察装置
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP4884567B2 (ja) * 2009-11-06 2012-02-29 オリンパスメディカルシステムズ株式会社 内視鏡システム
EP3266403B1 (en) * 2016-03-30 2020-04-15 Sony Corporation Control device, control method, and operating microscope device
CN205883406U (zh) * 2016-07-29 2017-01-11 深圳众思科技有限公司 双摄像头自动追焦装置及终端
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
DE102017110816A1 (de) * 2017-05-18 2018-07-12 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
JP6976720B2 (ja) * 2017-05-26 2021-12-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、およびズーム制御方法
JP6355146B1 (ja) * 2017-11-20 2018-07-11 株式会社Ｍｅｄｉ Ｐｌｕｓ 医療安全システム
US11701190B2 (en) * 2019-03-15 2023-07-18 Cilag Gmbh International Selectable variable response of shaft motion of surgical robotic systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072207A (ja) * 2002-08-02 2004-03-04 Fuji Photo Film Co Ltd 画像信号処理装置及び電子カメラ
JP2008278480A (ja) * 2007-04-02 2008-11-13 Sharp Corp 撮影装置、撮影方法、撮影装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015197623A (ja) * 2014-04-02 2015-11-09 オリンパス株式会社 顕微鏡システム
JP2017038285A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP2017112456A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 ズーム制御装置およびズーム制御方法、撮像装置
WO2018179681A1 (ja) * 2017-03-28 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び観察視野補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4007274A4

Also Published As

Publication number Publication date
EP4007274A1 (en) 2022-06-01
EP4007274A4 (en) 2022-08-17
CN114144140A (zh) 2022-03-04
JP2021022840A (ja) 2021-02-18
US20220321803A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
EP3125737B1 (en) Surgical control device and imaging control system
JP6904254B2 (ja) 手術用制御装置、手術用制御方法、およびプログラム
EP2117225A1 (en) Automatic tracking device and automatic tracking method
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
EP3547095A1 (en) Information processing apparatus and method, and program
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
WO2017169650A1 (ja) 医療用観察装置、映像移動補正方法及び医療用観察システム
US20210271065A1 (en) Method of operating a surgical microscope and surgical microscope
JP2005121820A (ja) 画像観察装置
WO2021020131A1 (ja) 医療用観察システム、制御装置、および制御方法
EP3603476A1 (en) Medical system control device, medical system control method, and medical system
US12007567B2 (en) Display device
WO2021024754A1 (ja) 内視鏡システム、制御装置、および制御方法
JP2011217307A (ja) 監視画像表示制御装置及び監視システム
EP3763488A1 (en) Control device, control method, and master/slave system
JP2018161526A (ja) 医療用観察システム、医療用観察方法、および医療用制御装置
JP4262454B2 (ja) 手術用観察装置
JP6694544B1 (ja) マイクロ作業ロボット
JP6858593B2 (ja) 医療用観察装置、および制御方法
WO2020049993A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP4628350B2 (ja) カメラ制御装置、カメラ制御方法およびカメラ制御プログラム
JP2021029276A (ja) 医療用観察装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020846540

Country of ref document: EP

Effective date: 20220228