WO2021024754A1 - 内視鏡システム、制御装置、および制御方法 - Google Patents
内視鏡システム、制御装置、および制御方法 Download PDFInfo
- Publication number
- WO2021024754A1 WO2021024754A1 PCT/JP2020/027778 JP2020027778W WO2021024754A1 WO 2021024754 A1 WO2021024754 A1 WO 2021024754A1 JP 2020027778 W JP2020027778 W JP 2020027778W WO 2021024754 A1 WO2021024754 A1 WO 2021024754A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- cutout
- perspective image
- perspective
- entire
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 239000003550 marker Substances 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 20
- 208000004350 Strabismus Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000002674 endoscopic surgery Methods 0.000 description 4
- 230000005389 magnetism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Definitions
- the present disclosure relates to an endoscopic system, a control device, and a control method, and more particularly to an endoscopic system, a control device, and a control method that enable better observation.
- an endoscope can be inserted into the body through a small incision to observe a lesion or an affected area to be treated.
- the range that can be visually recognized by the endoscope is limited by the angle of view of the endoscope. Therefore, for example, when the angle of view of the endoscope is about 60 ° to 90 °, the viewing range is narrow. Will be operated on.
- Patent Document 1 an ultra-wide-angle endoscope has been proposed in which an attempt is made to widen the field of view by attaching an ultra-wide-angle lens to the endoscope without the operation of a scopist. Has been done.
- a scopist who operates an endoscope adjusts the visual field direction by changing the position and angle of the endoscope so that the inside of the body can be observed in a wide range, thereby improving the safety of surgery. ing.
- the skill of the scopist such as ingenuity of operation and proficiency by experience.
- the field of view is distorted as the distance from the center of the lens increases. Therefore, normally, an image in which a center point of display is specified from a wide field of view and distortion correction processing is performed on a certain range centered on the center point is displayed.
- the scopist needs to use the pointing device to indicate the center point of the display, and the pointing device is operated at the same time while holding the endoscope with one hand, which is a good observation. In order to do this, higher skills are required. Or, when an operator other than the scopist operates the pointing device, not only the number of surgical personnel increases, but also a high degree of cooperation between the scopist and the operator is required for good observation. Become.
- the endoscopic system and control device on one aspect of the present disclosure captures a portion of the entire image according to a cutout region set centered on a position deviated from the center point of the entire image in which the entire field of view of the rigid scope is captured.
- a cutout processing unit that cuts out and generates a perspective image that looks obliquely to the optical axis of the rigid mirror, an acquisition unit that acquires an instruction command for instructing the movement of the perspective image in a predetermined rotation direction, and the instruction. It is provided with an area setting unit for moving the cutout area along the inner circumference of a circle inscribed with the cutout area with reference to the center point of the entire image in a direction according to a command.
- the control device of the endoscopic system is described as a whole according to a cutout region set around a position deviated from the center point of the whole image taken by the control device of the rigid mirror.
- a part of the image is cut out to generate a perspective image that looks oblique to the optical axis of the rigid mirror, and an instruction command for instructing the movement of the perspective image in a predetermined rotation direction is acquired.
- This includes moving the cutout area along the inner circumference of a circle inscribed with the cutout area with reference to the center point of the entire image in a direction according to an instruction command.
- a part of the entire image is cut out according to a cutout region set around a position deviated from the center point of the entire image in which the entire field of view of the rigid mirror is captured, and the light of the rigid mirror is obtained.
- a perspective image looking in an oblique direction with respect to the axis is generated, an instruction command for instructing the movement of the perspective image in a predetermined rotation direction is acquired, and the direction according to the instruction command is described above with reference to the center point of the entire image.
- the cutout area is moved along the inner circumference of the circle inscribed in the cutout area.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of an endoscope system to which the present technology is applied.
- the endoscopic system 11 is configured by mounting various devices for endoscopic surgery on a cart 13 on which a display device 12 is placed, and is used, for example, for endoscopic surgery.
- Image processing can be performed on the image acquired by the endoscope 14.
- the display device 12 displays an image acquired by the endoscope 14, an image in which image processing has been performed on the image, and the like.
- the cart 13 is equipped with a light source device 21, a CCU (CCU: Camera Control Unit) 22, and a control device 23.
- a light source device 21 a CCU (CCU: Camera Control Unit) 22
- a control device 23 a control device 22.
- the light source device 21 is configured to include, for example, an LED, a xenon lamp, a halogen lamp, a laser light source, or a light source corresponding to a combination thereof, and emits irradiation light to be emitted toward an observation target through a light guide. It is supplied to the microscope 14.
- the CCU 22 controls the image pickup by the image pickup element built in the camera head 31, and the image pickup element obtains an image of the observation target is supplied.
- the control device 23 controls image processing for the image acquired by the endoscope 14. The detailed configuration of the control device 23 will be described later with reference to FIG.
- the endoscope 14 is configured so that the camera head 31 and the rigid mirror 32 can be connected to each other, and images the surgical field at a high angle of view via the rigid mirror 32.
- the camera head 31 includes a camera head main body 41 having an image sensor for imaging the surgical field, an endoscope coupler 42 used for connecting to a rigid mirror 32, and an operation switch 43 for inputting various operations. Consists of having.
- the rigid mirror 32 is used to input the lens barrel main body 51, the light source connecting portion 52 connected to the light source device 21, the coupler connecting portion 53 connected to the endoscope coupler 42 of the camera head 31, and the rotation operation. It is configured to have a rotation operation unit 54 of.
- the rotation operation unit 54 is provided in the vicinity of the endoscope coupler 42 to which the rigid mirror 32 is attached, and the ring-shaped portion on the outer peripheral side can be freely formed by a mechanism that rotates relative to the lens barrel main body 51. It is configured to be rotatable.
- the rotation operation unit 54 has a built-in rotary encoder that detects the rotation amount and the rotation speed of the ring-shaped portion.
- the endoscope system 11 is configured, and an operator, a scopist, or the like can, for example, perform a rotation operation on the rotation operation unit 54 while holding the endoscope 14, and the endoscope 14 can be operated. It can be held stably. Further, for example, in the conventional perspective rotation method in which the rigid mirror 32 itself is rotated, the light guide mounting portion arranged on the rigid mirror is rotated together so that the light guide is not entangled. I needed to get used to it. On the other hand, in the endoscope system 11, by adopting the rotation operation unit 54, the rotation operation with respect to the rotation operation unit 54 can be performed while the orientation of the rigid mirror 32 is fixed. The learning curve can be made very short without the need.
- the square area shown by the solid line represents the image pickup area of the image sensor of the endoscope 14.
- the circular region indicated by the dotted line so as to be inscribed in the imaging area represents the entire visual field range imaged through the rigid mirror 32, and the image of the visual field range is the entire image. That is, the whole image is a substantially circular image which is an effective region (a region where eclipse does not occur) of the image captured through the rigid mirror 32, and the center of this effective region is the center point of the whole image.
- the rectangular area indicated by the broken line represents the cutout area indicating the range for cutting out the direct view image from the entire image. That is, a direct view image is generated by cutting out the whole image according to the cutout area set in the center of the whole image.
- the tip portion of the lens barrel body 51 of the rigid mirror 32 is shown on the lower side of FIG. 2, and the rigid mirror 32 has a geometrically wide angle of view.
- the angle of view ⁇ of the entire image corresponding to the field of view (FOV) of the rigid mirror 32 is approximately 140 ° or approximately 120 °
- the angle of view ⁇ of the direct-view image cut out from the entire image is approximately 80 °.
- the ° range corresponds to the ° range.
- the image sensor of the endoscope 14 has a resolution of 4096 ⁇ 2304 dots or more, which is so-called 4K resolution. That is, in order to provide an image having sufficient resolution in surgery when cutting out a direct view image or a perspective image from the whole image, a conventional HD (High Definition) resolution image pickup device is used when the image is cut out and displayed. The resolution will be low. Therefore, there is a concern that the conventional HD resolution image sensor cannot obtain sufficient resolution as a direct view image or a perspective image used in endoscopic surgery, and the endoscope 14 uses a 4K resolution image sensor. Will be done.
- the rectangular area shown by the broken line represents the cutout area indicating the range in which the perspective image is cut out from the whole image.
- the cut-out area of the perspective image has the same size as the cut-out area of the direct-view image shown in FIG. 2, and as shown in A of FIG. 3, is below the center of the entire image and on the inner circumference of the entire image. It is set to the position where it touches.
- a perspective image generated by cutting out the entire image according to the cutout area of the perspective image is shown.
- the angle of view of the perspective image corresponds to a range of approximately 80 °, similar to the direct view image shown in FIG.
- the perspective image cut out from the entire image in the cutout region set at the position in contact with the inner circumference on the lower side of the entire image is a perspective angle of approximately 30 ° downward from the optical axis.
- the cutout region may be set at a position deviated from the center point of the entire image, and is set at a position not in contact with the inner circumference of the entire image so as to correspond to a perspective angle of 30 ° or less. You may.
- the FOV value as described above is not limited to the value described here, and can be set to an appropriate value so that observation can be performed satisfactorily as an entire image or a perspective image. ..
- the angle of view ⁇ of the entire image may be approximately 120 °
- the angle of view ⁇ of the direct-view image or the perspective image may correspond to a range of approximately 80 °.
- the perspective image cut out from the entire image corresponds to the image captured by the perspective mirror directed in the downward direction in the facing posture.
- the cutout region of the perspective image can be moved along the inner circumference of the entire image by performing the rotation operation on the rotation operation unit 54 of FIG.
- FIG. 4 shows a display example of a perspective image when the cutout area is moved along the inner circumference of the entire image.
- the cutout area is set so that the direction of the cutout area does not rotate and the moving direction of the cutout area rotates with reference to the central axis of direct view, for example, the vertical axis of the cutout area and the entire image. While keeping the vertical axis parallel, the outer shape of the cutout area moves in contact with the inner circumference of the entire image.
- a perspective image cut out from the entire image is displayed according to the cutout area. If the cutout area is set at a position that does not touch the inner circumference of the entire image, the perspective image may be moved along a circle that inscribes the cutout area with reference to the center point of the entire image. ..
- FIG. 5 shows an example of a display screen displayed on the display device 12.
- the entire image 61 showing the entire visual field range of the rigid mirror 32 is arranged on the right side, and the perspective image 62 obtained by cutting out a part of the entire visual field range of the rigid mirror 32 is arranged on the left side. .. Further, on the display screen, as shown by the broken line rectangle, the area marker indicating the cut-out area obtained by cutting out the perspective image 62 from the entire visual field range of the rigid mirror 32 is superimposed and displayed on the entire image 61.
- an operator or a scopist can display the affected area around the affected area by displaying the entire image 61 at the same time as the perspective image 62 displaying the affected area to be watched. You can grasp the situation of. Further, by superimposing the area marker indicating the cut-out area of the perspective image 62 on the entire image 61 and displaying it, the surgeon, the scopist, and the like can easily determine the range and direction of the affected area to be watched with respect to the entire visual field range of the rigid mirror 32. Can be grasped.
- the surgeon, the scopist, and the like can confirm the forceps from the time when the insertion is started by the whole image 61. Further, in the endoscope system 11, the surgeon, the scopist, and the like can grasp that the perspective image 62 is looking in the lower left direction of the entire image 61 by the region marker, so that the forceps can be seen from the upper right of the perspective image 62. It is possible to recognize in advance that the image will be projected as if it were inserted. Therefore, the surgeon, the scopist, etc. can accurately grasp these situations and proceed with the surgery.
- the endoscope system 11 simultaneously observes the outside of the field of view of the perspective image 62 by the whole image 61 even when observing a certain direction with the perspective image 62, that is, so that a blind spot does not occur. Can be observed. Therefore, by using the endoscopic system 11, the surgeon, the scopist, and the like can perform the operation more safely.
- FIG. 6 is a block diagram showing a configuration example of the control device 23.
- the control device 23 includes an operation signal acquisition unit 71, a voice recognition unit 72, and an image processing unit 73. Further, the image processing unit 73 includes an area setting unit 81, a cutting processing unit 82, a marker generation unit 83, and a display screen generation unit 84.
- the operation signal acquisition unit 71 acquires an operation signal output when an operation is performed on the operation switch 43 and the rotation operation unit 54 of FIG. 1, and sends an instruction command instructed by the operation signal to the image processing unit 73.
- Supply For example, the operation signal acquisition unit 71 acquires an operation signal according to the rotation operation for the rotation operation unit 54, and instructs the movement of the perspective image along the inner circumference of the entire image in the clockwise or counterclockwise rotation direction. Is supplied to the image processing unit 73.
- the voice recognition unit 72 is supplied with the voice spoken by the scopist through a microphone (not shown), performs voice recognition processing for recognizing the voice, and recognizes the utterance content uttered by the scopist. Then, when the voice recognition unit 33 recognizes a voice instruction command from the utterance content of the scopist, the voice recognition unit 33 supplies the instruction command to the image processing unit 34. For example, the voice recognition unit 72 supplies the image processing unit 73 with an instruction command to move the perspective image clockwise along the inner circumference of the entire image based on the voice that the scopist says "turn clockwise". can do.
- the voice recognition unit 72 gives an instruction to stop the movement of the perspective image along the inner circumference of the entire image based on the voice that the scopist utters "stop", for example, when the image is at the position to be observed.
- the command can be supplied to the image processing unit 73.
- the image processing unit 73 performs image processing on the image captured by the endoscope 14 according to an instruction command supplied from the operation signal acquisition unit 71 or the voice recognition unit 72, and displays a display screen as shown in FIG. Is displayed on the display device 12.
- the area setting unit 81 sets a cutout area for cutting out a part of the entire image in which the entire field of view of the rigid mirror 32 is captured. Then, the area setting unit 81 moves the cutout area along the inner circumference of the entire image in the direction according to the instruction command with reference to the center point of the entire image.
- the cutout processing unit 82 cuts out a part of the entire image supplied from the endoscope 14 according to the cutout area set by the area setting unit 81, and generates a perspective image or a direct view image.
- the cutout processing unit 82 refers to the optical axis of the rigid mirror 32 when the cutout area is set centered on a position deviated from the center point of the entire image according to the setting of the cutout area by the area setting unit 81. Generates a perspective image that looks diagonally.
- the cutting processing unit 82 uses the light of the rigid mirror 32. Generate a direct-view image that looks in the same direction as the axis.
- the marker generation unit 83 generates an area marker indicating a cutout area set by the area setting unit 81 and supplies the area marker to the display screen generation unit 84, and superimposes the area marker on the entire image.
- the display screen generation unit 84 generates, for example, a display screen for displaying the entire image and the perspective image as shown in FIG. In addition, the display screen generation unit 84 generates display screens of various variations as described with reference to FIGS. 9 to 13 described later.
- the direct-view image is displayed at the time of the utterance, or the perspective image is displayed in any direction at the time of the utterance, as described above.
- the setting of the cutout area is instantly changed so as to display the perspective image cut out at the position directly below as shown in FIG. That is, the utterance content "downward” is voice-recognized as an instruction command instructing to move the cutout area to a position corresponding to 6 o'clock in the clockwise direction.
- the utterance content "upward” is the position corresponding to 12 o'clock in the clockwise direction
- the utterance content “toward the left” is the position corresponding to 9 o'clock in the clockwise direction
- the utterance content "toward the right” is. It is voice-recognized as an instruction command instructing to move the cutout area to a position corresponding to 3 o'clock in the clockwise direction.
- the cutout area can be changed on the axis of direct vision to switch to the same field of view as when using a direct microscope. Then, when the strabismus rotation is restarted, the squint can be switched to the strabismus simply by saying "change to the strabismus".
- the functions of the direct mirror and the perspective mirror are provided by one rigid mirror 32, and the direct view image and the perspective image can be switched as needed. Therefore, it is not necessary to secure a place for arranging both the direct view mirror and the squint mirror, and it is possible to avoid time loss due to the trouble of replacing the direct view mirror and the squint mirror, and perform the operation.
- this voice operation and the operation method using the rotation operation unit 54 of FIG. 1 or the combination of the magnetic encoder 44 and the magnet 55 of FIG. 8 may be used at the same time. In that case, for example, it is possible to provide a usage in which the surgeon directly operates by hand while the surgeon uses voice operation as needed.
- step S11 the control device 23 displays the entire image representing the entire field of view of the rigid mirror 32 captured by the endoscope 14 and the direct view image obtained by cutting out the center of the entire image on the display device 12. That is, in the control device 23, the area setting unit 81 sets the cutout area at the center (see FIG. 2) of the entire image supplied from the endoscope 14, and the cutout processing unit 82 sets the entire image according to the cutout area. It is cut out to generate a direct view image. Then, the display screen generation unit 84 generates, for example, a display screen in which the entire image and the direct view image are arranged side by side, and outputs the display screen to the display device 12.
- step S12 the operation signal acquisition unit 71 determines, for example, whether or not an operation on the operation switch 43 is performed and an instruction command for instructing switching from the direct view image to the perspective image is supplied. If the operation signal acquisition unit 71 determines in step S12 that the instruction command for instructing the switching from the direct view image to the perspective image has not been supplied, the process returns to step S11 and the process waits.
- step S12 when the operation signal acquisition unit 71 determines that the instruction command for instructing the switching from the direct view image to the perspective image has been supplied, the process proceeds to step S13.
- step S13 the area setting unit 81 sets the cutout area corresponding to the perspective image as the initial position of the cutout area, for example, at a position directly below as shown in FIG. Then, the area setting unit 81 notifies the cutout processing unit 82 and the marker generation unit 83 of the set cutout area.
- step S14 the cutout processing unit 82 cuts out from the entire image according to the cutout area set by the area setting unit 81 in step S13 to generate a perspective image.
- step S15 the marker generation unit 83 generates an area marker indicating the cutout area set by the area setting unit 81 in step S13, supplies the area marker to the display screen generation unit 84, and superimposes the area marker on the entire image. ..
- step S16 the display screen generation unit 84 generates a display screen in which the perspective image generated in step S14 and the entire image on which the area marker is superimposed are arranged side by side and output to the display device 12. To do. As a result, the display of the display device 12 is switched from the direct view image to the perspective image.
- step S17 the operation signal acquisition unit 71 determines, for example, whether or not a rotation operation is performed on the rotation operation unit 54 and an instruction command for instructing the movement of the perspective image along the inner circumference of the entire image is supplied. To do.
- step S17 If the operation signal acquisition unit 71 determines in step S17 that the instruction command for instructing the movement of the perspective image along the inner circumference of the entire image has not been supplied, the process returns to step S14 and is set at the present time. The same process is repeated below according to the cutout area.
- step S17 determines in step S17 that an instruction command for instructing the movement of the perspective image along the inner circumference of the entire image has been supplied.
- step S18 the area setting unit 81 moves the cutout area corresponding to the perspective image along the inner circumference of the entire image according to the rotation amount and the rotation speed of the rotation operation with respect to the rotation operation unit 54, and newly sets the cutout area. To do. After that, the process returns to step S14, and the same process is repeated thereafter according to the newly set cutout area, and the process is moved along the inner circumference of the entire image in response to the rotation operation on the rotation operation unit 54. A perspective image is displayed.
- control device 23 can switch the display of the direct view image and the perspective image according to the operation with respect to the operation switch 43. Then, when displaying the perspective image, the control device 23 can display the entire image on which the area marker corresponding to the cutout region obtained by cutting out the perspective image is superimposed. Then, the control device 23 can move the perspective image along the inner circumference of the entire image according to the rotation operation with respect to the rotation operation unit 54.
- control device 23 can perform distortion correction on the perspective image generated by the cutout processing unit 82 according to the position of the cutout region with respect to the entire image.
- the perspective image moves along the inner circumference of the entire image with reference to the center point of the entire image, but it is assumed that the wide-angle lens has uneven distortion due to manufacturing errors or the like. .. Therefore, a better perspective image can be obtained by calibrating the wide-angle lens before shipping the control device 23 and performing distortion correction on the perspective image according to the position of the cutout region according to the calibration information.
- the endoscope 14a is configured so that a rigid mirror 32a can be attached to the camera head 31a.
- FIG. 8A shows a state in which the rigid mirror 32a is removed from the camera head 31a
- FIG. 8B shows a state in which the rigid mirror 32a is attached to the camera head 31a.
- the camera head 31a is configured in the same manner as the camera head 31 of FIG. 1 in that it includes a camera head main body 41, an endoscope coupler 42, and an operation switch 43, and further includes a magnetic encoder 44. ..
- the rigid mirror 32a is configured in the same manner as the rigid mirror 32 of FIG. 1 in that it includes a lens barrel main body 51, a light source connecting portion 52, and a coupler connecting portion 53, and is further provided with a magnet 55.
- the magnetic encoder 44 is incorporated in the endoscope coupler 42 and is a magnetic detection means for detecting the magnetism of the magnet 55.
- the magnet 55 is incorporated in the coupler connection portion 53. Then, when the rigid mirror 32a is rotated with respect to the camera head 31a, the magnetic encoder 44 detects the magnetism of the magnet 55 and recognizes the rotation direction and the amount of rotation, and the operation signal indicating the rotation direction and the amount of rotation is an operation signal. It is supplied to the acquisition unit 71. Therefore, the control device 23 can control the movement of the perspective image along the inner circumference of the entire image according to the rotation operation of rotating the rigid mirror 32a with respect to the camera head 31a.
- the endoscope coupler 42 has the same structure as the conventional one.
- a conventional rigid mirror in which the magnet 55 is not incorporated in the coupler connection portion 53 is used as the endoscope coupler 42. Can be used by attaching to.
- the control device 23 does not perform the process of cutting out the perspective image from the entire image, and the image captured by the rigid mirror is displayed on the display device 12 as in the conventional case.
- the control device 23 is attached to one of the mounted endoscopes. It is possible to automatically respond to the provision of functions. That is, the endoscope system 11 provides a function of moving the perspective image along the inner circumference of the entire image according to the rotation operation of the rigid mirror 32a with respect to the camera head 31a when the endoscope 14a is attached.
- a conventional rigid mirror is attached, it is possible to provide a function corresponding to the rigid mirror.
- the surgeon, the scopist, and the like can use the endoscope system 11 without any discomfort, including the conventional rigid mirror. Therefore, the endoscope system 11 has a short learning curve for learning the operation method, and a conventional rigid mirror can also be used, which contributes to medical economics.
- the display screen of the first variation shown in FIG. 9 only the perspective image 62 obtained by cutting out a part of the entire field of view of the rigid mirror 32 is arranged on the entire screen.
- the surgeon, the scopist, and the like can concentrate on the perspective image 62 that is displayed large and observe only the perspective image 62 to perform the operation, which is an effective display screen in such a scene. Since the entire image 61 is not displayed at the same time as the perspective image 62 on this display screen, it is not possible to perform peripheral observation by the entire image 61 at the same time. However, for example, a switching is instructed by voice operation to instantly display the entire image.
- the display screen may be changed so that the 61 and the perspective image 62 are displayed side by side.
- the display screen of the second variation shown in FIG. 10 has a configuration in which the entire image 61 is arranged on the left side and the perspective image 62 is arranged on the right side. Further, the display size of the entire image 61 is adjusted to a height corresponding to the height of the display device 12, and the display size of the perspective image 62 is set to the width of the remaining display device 12 displaying the entire image 61. It is adjusted to the corresponding width.
- the entire image 61 is arranged on the left side
- the perspective image 62 is arranged on the lower side
- the direct view image 63 is arranged on the upper side on the remaining right side. It has become.
- the perspective image 62 on the upper left side and the direct view image 63 on the upper left side are arranged side by side, and the entire image 61 is arranged below the perspective image 62. There is.
- a square-cut out direct-view image 63 is arranged on the left side according to the height of the display device 12, and the entire image 61 is arranged on the upper side on the remaining right side.
- the perspective image 62 is arranged on the lower side.
- the display screens of various variations as shown in FIGS. 9 to 13 can be displayed on the display device 12.
- the variation of the display screen can be flexibly changed according to the type of surgery and the intention of the surgeon, so that it can be optimally used in more clinical departments than the conventional endoscope.
- the endoscope system 11 can be used in common, instead of being prepared for each clinical department.
- a part cut out from the whole image 61 is viewed as a display content according to a cutout area set to move along the inner circumference of the whole image according to a rotation operation on the perspective image 62. It is a display method that updates the display of the image 62 in real time.
- the perspective image 62 displays the display content corresponding to the cutout area displayed superimposed on the entire image 61.
- the display position of the area marker moves along the inner circumference of the entire image in response to the rotation operation, while the perspective image is displayed.
- the update of the image 62 is stopped at the display content immediately before the rotation operation is performed. That is, the area setting unit 81 sets the cutout area so as to move along the inner circumference of the entire image in response to the rotation operation, whereas the marker generation unit 83 updates the display of the area marker according to the cutout area.
- the cutout processing unit 82 does not cut out the perspective image 62. Therefore, the perspective image 62 holds the display content immediately before the rotation operation of the perspective image 62 is performed, and in this example, the same display content as the upper part of FIG.
- the perspective image 62 is superimposed on the entire image 61 at the timing when the rotation operation for the perspective image 62 is completed (for example, one second after the rotation operation is completed).
- the scopist moves the cutout area to a desired area while recognizing the display content displayed on the perspective image 62 when the rotation operation is completed by the area marker that moves on the entire image 61. Can be made to. Then, while the rotation operation is being performed, the image processing for cutting out the perspective image in the cutting processing unit 82 is stopped, so that the processing load of the image processing unit 73 can be significantly reduced. Thereby, for example, the cost of the image processing unit 73 can be reduced.
- the low-resolution perspective image 62 is displayed instead of stopping the update of the display contents of the perspective image 62, and the perspective image 62 is displayed.
- the resolution of the image 62 is intentionally lowered and the perspective image 62 having the original resolution is displayed when the rotation operation for the perspective image 62 is completed.
- the processing load of the image processing unit 73 can be reduced, and it is possible to easily recognize that the rotation operation is performed by changing the display content of the perspective image 62.
- the cutout region of the perspective image is moved along the inner circumference of the entire image in response to the rotation operation with respect to the rotation operation unit 54 of FIG.
- the cutout area is set so that the direction of the perspective image rotates with the movement. That is, as shown in A of FIG. 15, the inner circumference of the entire image is rotated so that the central axis of direct viewing is the center of rotation while both lower corners of the cutout region are always in contact with the inner circumference of the entire image. Move along.
- B of FIG. 15 a perspective image cut out from the entire image is displayed according to the cutout area.
- the vertical direction of the display content of the perspective image 62 can be inverted and displayed according to the position of the cutout region, as described with reference to FIG. ..
- the display content cut out from the entire image 61 is usually on the outer peripheral side of the entire image 61 regardless of the position of the cutout region.
- the whole image 61 is displayed in the vertical direction so that the center side is on the top.
- the perspective image 62 is displayed in the normal vertical direction
- the figure As shown in C of 16 when the center of the cutout region is located above the horizontal line passing through the center of the entire image 61, the perspective image 62 is displayed by inverting it in the normal vertical direction. That is, the display content of the perspective image 62 can be displayed by inverting the vertical direction depending on whether the center of the cutout region is on the upper side or the lower side with respect to the horizontal line passing through the center of the entire image 61. ..
- the endoscope system 11 is not limited to a configuration including one display device 12 as shown in FIG. 1, and a configuration including a plurality of display devices 12 may be adopted.
- one display device 12 has a display screen on which only the perspective image 62 is arranged, and the other display device 12 has a diagram.
- the display screen is such that the entire image 61 and the perspective image 62 are arranged side by side.
- FIG. 17 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
- the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
- the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
- a removable recording medium 111 can be provided as so-called package software.
- examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
- the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
- LAN Local Area Network
- the computer has a built-in CPU (Central Processing Unit) 102, and the input / output interface 110 is connected to the CPU 102 via the bus 101.
- CPU Central Processing Unit
- the CPU 102 executes a program stored in the ROM (Read Only Memory) 103 accordingly. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
- ROM Read Only Memory
- the CPU 102 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result from the output unit 106, transmits it from the communication unit 108, or records it on the hard disk 105, if necessary, via, for example, the input / output interface 110.
- the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
- LCD Liquid Crystal Display
- the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
- the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
- the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
- a configuration other than the above may be added to the configuration of each device (or each processing unit).
- a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
- this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
- the above-mentioned program can be executed in any device.
- the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
- each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- a plurality of processes included in one step can be executed as processes of a plurality of steps.
- the processes described as a plurality of steps can be collectively executed as one step.
- the processing of the steps for describing the program may be executed in chronological order in the order described in this specification, or may be executed in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
- the present technology can also have the following configurations.
- (1) A part of the whole image is cut out according to a cutout area set around a position deviated from the center point of the whole image in which the entire field of view of the rigid mirror is captured, and the direction is oblique to the optical axis of the rigid mirror.
- a cutout processing unit that generates a perspective image to be viewed,
- An acquisition unit that acquires an instruction command for instructing the movement of the perspective image in a predetermined rotation direction, and
- An endoscope system including a region setting unit that moves the cutout region along the inner circumference of a circle inscribed with the cutout region in a direction according to the instruction command with reference to the center point of the entire image.
- a display screen generation unit that generates a display screen that displays at least one of the entire image and the perspective image, and The above (1), further comprising a marker generation unit that generates a region marker indicating the cutout region in the entire image and superimposes the region marker on the entire image displayed on the display screen.
- Endoscopic system (3) The endoscope system according to (1) or (2) above, further comprising an endoscope that images the surgical field at a high angle of view through the rigid mirror and supplies the entire image to the cutout processing unit.
- the endoscope is configured so that the rigid mirror can be connected to a camera head having an image pickup element that images the surgical field.
- the rigid mirror has a rotation operation unit for inputting a rotation operation for moving the perspective image in the vicinity of the connection unit used for connection to the camera head.
- the camera head has a coupler used to connect the rigid mirror.
- the rigid mirror has a connection that is connected to the coupler.
- a magnet is incorporated in one of the connection portion and the coupler, and a magnetic encoder is incorporated in the other.
- the endoscope system according to any one of (1) to (6) above, wherein the acquisition unit is a voice recognition unit that acquires the instruction command by recognizing the utterance content from the voice.
- the area setting unit is set by switching between a cutout area centered on a position deviated from the center point of the entire image and a cutout area centered on a position where the center point coincides with the entire image.
- the cutout processing unit generates the perspective image from a cutout area set around a position deviated from the center point of the whole image, and is set around a position where the center point coincides with the whole image.
- the endoscope system according to any one of (1) to (7) above, which generates a direct-view image from a cut-out area.
- the endoscope system according to any one of (1) to (11) above, wherein the display contents of the perspective image are displayed in reverse in the vertical direction according to the position of the cutout region. (13) 2. The above (12), wherein the vertical direction of the display content of the perspective image is reversed depending on whether the position of the cutout region is above or below the horizontal line passing through the center point of the entire image. Endoscopic system. (14) When the rotation operation for the perspective image is started, the update of the display content of the perspective image is stopped, and the display content immediately before the rotation operation is performed is retained. When the rotation operation for the perspective image is completed, the perspective image is displayed with the display contents according to the cutout area set by rotating according to the rotation operation. Any of the above (1) to (13). The endoscopic system described.
- a part of the whole image is cut out according to a cutout area set around a position deviated from the center point of the whole image in which the entire field of view of the rigid mirror is captured, and the direction is oblique to the optical axis of the rigid mirror.
- a cutout processing unit that generates a perspective image to be viewed
- An acquisition unit that acquires an instruction command for instructing the movement of the perspective image in a predetermined rotation direction
- a control device for an endoscope system including a region setting unit that moves the cutout region along the inner circumference of a circle inscribed with the cutout region in the direction according to the instruction command with reference to the center point of the entire image. ..
- the control device of the endoscopic system A part of the whole image is cut out according to a cutout area set around a position deviated from the center point of the whole image in which the entire field of view of the rigid mirror is captured, and the direction is oblique to the optical axis of the rigid mirror.
- 11 Endoscope system 12 Display device, 13 Cart, 14 Endoscope, 21 Light source device, 22 CCU, 23 Control device, 31 Camera head, 32 Rigid mirror, 41 Camera head body, 42 Endoscope coupler, 43 Operation switch, 44 magnetic encoder, 51 lens barrel body, 52 light source connection part, 53 coupler connection part, 54 rotation operation part, 55 magnet, 71 operation signal acquisition part, 72 voice recognition part, 73 image processing part, 81 area setting part , 82 Cutout processing unit, 83 Marker generation unit, 84 Display screen generation unit
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本開示は、より良好な観察を行うことができるようにする内視鏡システム、制御装置、および制御方法に関する。 切り出し処理部は、硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って全体画像の一部分を切り出して、硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する。取得部は、所定の回転方向へ斜視画像の移動を指示する指示コマンドを取得し、領域設定部は、その指示コマンドに従った方向へ、全体画像の中心点を基準として切り出し領域を内接する円の内周に沿って切り出し領域を移動させる。本技術は、例えば、内視鏡システムに適用できる。
Description
本開示は、内視鏡システム、制御装置、および制御方法に関し、特に、より良好な観察を行うことができるようにした内視鏡システム、制御装置、および制御方法に関する。
従来、低侵襲な手術として内視鏡を用いる手術が行われている。例えば、内視鏡による手術では、小さな切開部から体内に内視鏡を挿入して、病変部や処置すべき患部などを観察することができる。このとき、内視鏡により視認することが可能な範囲は、内視鏡の画角によって制限されるため、例えば、内視鏡の画角が６０°～９０°程度であるとき、狭い視野範囲で手術を行うことになる。これに対し、手術が安全に進められるようにするためには、限られた視野範囲の映像だけでなく、広範囲にわたって体内を観察可能とすることが望ましい。
そこで、特許文献１に開示されているように、超広角レンズを内視鏡に装着することによって、スコピストの操作がなくても視野範囲を広げることが試みられている超広角内視鏡が提案されている。
ところで、従来、内視鏡を操作するスコピストが、内視鏡の位置や角度を変更することによって視野方向を調整し、体内を広範囲に観察できるようにすることで、手術の安全性が高められている。しかしながら、良好な観察を行うためには、操作の工夫や経験による習熟など、スコピストの技能に依存することが多かった。
また、上述した特許文献１のように超広角レンズを内視鏡に装着した構成では、レンズ中心から離れるほど視野が歪むことになる。そのため、通常は、広範囲の視野の中から表示の中心点を指示し、その中心点を中心とした一定範囲に対して歪み補正処理を施した画像が表示される。しかしながら、この場合、スコピストが、ポインティングデバイスを用いて表示の中心点を指示する操作を行う必要があり、片手で内視鏡を保持しつつ、同時にポインティングデバイスを操作することになり、良好な観察を行うためには、より高い技能が必要となる。または、スコピストとは別の操作者がポインティングデバイスを操作する場合には、手術要員が増加するだけでなく、良好な観察を行うためには、スコピストおよび操作者の間で高度な連携が必要となる。
本開示は、このような状況に鑑みてなされたものであり、より良好な観察を行うことができるようにするものである。
本開示の一側面の内視鏡システムおよび制御装置は、硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部とを備える。
本開示の一側面の制御方法は、内視鏡システムの制御装置が、硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成することと、所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得することと、前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させることとを含む。
本開示の一側面においては、硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って全体画像の一部分が切り出されて、硬性鏡の光軸に対して斜め方向を見る斜視画像が生成され、所定の回転方向へ斜視画像の移動を指示する指示コマンドが取得され、その指示コマンドに従った方向へ、全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って切り出し領域が移動される。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜内視鏡システムの構成例＞
図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。
図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。
図１において、内視鏡システム１１は、表示装置１２が載置されるカート１３に、内視鏡下手術のための様々な装置が搭載されて構成され、例えば、内視鏡下手術に使用される内視鏡１４により取得される画像に対する画像処理を施すことができる。
表示装置１２は、内視鏡１４により取得される画像や、その画像に対して画像処理が施された画像などを表示する。
カート１３には、図１に示す例では、光源装置２１、ＣＣＵ（ＣＣＵ：Camera Control Unit）２２、および制御装置２３が搭載されている。
光源装置２１は、例えば、ＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、または、これらの組み合わせに相当する光源を備えて構成され、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１４へ供給する。
ＣＣＵ２２は、カメラヘッド３１に内蔵される撮像素子による撮像を制御し、その撮像素子が観察対象を撮像することにより得られる画像が供給される。
制御装置２３は、内視鏡１４により取得される画像に対する画像処理を制御する。なお、制御装置２３の詳細な構成については、図６を参照して後述する。
内視鏡１４は、カメラヘッド３１および硬性鏡３２が接続可能に構成され、硬性鏡３２を介して高画角で術野を撮像する。
カメラヘッド３１は、術野を撮像する撮像素子を有するカメラヘッド本体部４１、硬性鏡３２との接続に利用される内視鏡カプラ４２、および、各種の操作を入力するための操作スイッチ４３を有して構成される。
硬性鏡３２は、鏡筒本体５１、光源装置２１に接続される光源接続部５２、カメラヘッド３１の内視鏡カプラ４２に対して接続されるカプラ接続部５３、および、回転操作を入力するための回転操作部５４を有して構成される。
例えば、回転操作部５４は、硬性鏡３２を取り付ける内視鏡カプラ４２の近傍に設けられており、鏡筒本体５１に対して相対的に回転する機構によって、外周側のリング状部分が自在に回転可能となるように構成されている。そして、回転操作部５４は、このリング状部分の回転量および回転速度を検出するロータリエンコーダを内蔵している。
このように内視鏡システム１１は構成されており、術者やスコピストなどは、例えば、内視鏡１４を把持したままで回転操作部５４に対する回転操作を行うことができ、内視鏡１４を安定して保持することができる。また、例えば、硬性鏡３２そのものを回転させる従来の斜視ローテーション方法では、硬性鏡に配置されているライトガイドの取付け部が一緒に回転することによって、ライトガイドの絡みなどが発生しないように操作の慣れが必要となっていた。これに対し、内視鏡システム１１では、回転操作部５４を採用することで、硬性鏡３２の向きを固定したまま回転操作部５４に対する回転操作を行うことができるので、従来のような慣れを必要とすることがなく、ラーニングカーブを非常に短時間にすることができる。
図２乃至図４を参照して、内視鏡１４により撮像される全体画像、並びに、その全体画像から切り出される直視画像および斜視画像について説明する。
図２において、実線で示されている正方形の領域は、内視鏡１４の撮像素子の撮像エリアを表している。また、撮像エリアに内接するように、点線で示されている円形の領域が、硬性鏡３２を介して撮像される全視野範囲を表しており、その視野範囲の画像が全体画像となる。つまり、全体画像は、硬性鏡３２を介して撮像される画像の有効領域（ケラレが生じていない領域）となる略円形の画像であり、この有効領域の中心が全体画像の中心点となる。
そして、全体画像の中央において、破線で示されている長方形の領域が、全体画像から直視画像を切り出す範囲を示す切り出し領域を表している。即ち、全体画像の中央に設定される切り出し領域に従って全体画像を切り出すことで直視画像が生成される。
また、図２の下側には、硬性鏡３２の鏡筒本体５１の先端部分が示されており、硬性鏡３２は、幾何学的に広い画角を有している。例えば、硬性鏡３２の視野（FOV：Field of View）に対応する全体画像の画角αは略140°または略120°となっており、全体画像から切り出される直視画像の画角βは略80°の範囲に相当する。
ここで、内視鏡１４の撮像素子としては、いわゆる4K解像度と称される4096×2304ドット以上であることが好適である。即ち、全体画像から直視画像または斜視画像を切り出す際に、手術において、十分な解像度を持つ映像を提供するためには、従来のHD（High Definition）解像度の撮像素子では、切り出して表示した際に解像度が低くなってしまう。そのため、従来のHD解像度の撮像素子は、内視鏡手術で使われる直視画像または斜視画像として十分な解像度を得ることができないことが懸念され、内視鏡１４では、4K解像度の撮像素子が採用される。
また、図３のＡに示されている全体画像において、破線で示されている長方形の領域が、全体画像から斜視画像を切り出す範囲を示す切り出し領域を表している。斜視画像の切り出し領域は、図２に示した直視画像の切り出し領域と同サイズであって、図３のＡに示すように、全体画像の中央より下側であって、全体画像の内周に接する位置に設定される。
そして、図３のＢには、斜視画像の切り出し領域に従って全体画像を切り出すことで生成される斜視画像が示されている。例えば、斜視画像の画角は、図２に示した直視画像と同様に、略８０°の範囲に相当する。そして、図３のＡに示すように全体画像の下側の内周に接する位置に設定される切り出し領域で全体画像から切り出された斜視画像は、光軸から下向き方向に略３０°となる斜視角に相当する。なお、例えば、切り出し領域は、全体画像の中心点から外れた位置を中心に設定されていればよく、３０°以下の斜視角に相当するように、全体画像の内周に接しない位置に設定してもよい。
なお、上述したようなFOVの値は、ここで説明したような値に限定されることなく、全体画像または斜視画像として観察を良好に行うことができるように適切な値に設定することができる。例えば、全体画像の画角αを略120°で、直視画像または斜視画像の画角βが略80°の範囲に相当するようにしてもよい。ここで、図３に示すように、全体画像から切り出された斜視画像は、正対姿勢状態で真下方向に向けられた斜視鏡によって撮像された画像に相当する。
そして、内視鏡システム１１では、図１の回転操作部５４に対する回転操作を行うことで、斜視画像の切り出し領域を全体画像の内周に沿って移動させることができる。
図４には、切り出し領域を全体画像の内周に沿って移動させたときの斜視画像の表示例が示されている。
例えば、図３に示したように真下方向の斜視画像が表示されているときに、回転操作部５４に対して右回転方向（時計方向）の回転操作が行われると、図４のＡに示すように、直視の中心軸を基準として、破線の長方形で示す切り出し領域が右回転方向へ全体画像に内周に沿って移動する。
このとき、切り出し領域は、図示するように、切り出し領域の向きが回転することなく、切り出し領域の移動方向が直視の中心軸を基準として回るように、例えば、切り出し領域の縦軸と全体画像の縦軸とが平行となったまま、切り出し領域の外形が全体画像の内周に接する状態で移動する。その結果、図４のＢに示すように、切り出し領域に従って全体画像から切り出された斜視画像が表示される。なお、切り出し領域が全体画像の内周に接しない位置に設定されている場合には、全体画像の中心点を基準として切り出し領域を内接するような円に沿って斜視画像を移動させてもよい。
図５には、表示装置１２に表示される表示画面の一例が示されている。
図５に示す表示画面では、右側に、硬性鏡３２の全視野範囲を表す全体画像６１が配置され、左側に、硬性鏡３２の全視野範囲の一部分を切り出した斜視画像６２が配置されている。また、表示画面では、破線の長方形で示すように、硬性鏡３２の全視野範囲から斜視画像６２を切り出した切り出し領域を示す領域マーカが、全体画像６１に重畳して表示される。
内視鏡システム１１では、このような表示画面を表示装置１２に表示することで、例えば、術者やスコピストなどは、注視したい患部を表示する斜視画像６２と同時に、全体画像６１によって患部の周囲の状況を把握することができる。さらに、斜視画像６２の切り出し領域を示す領域マーカを全体画像６１に重畳して表示することで、術者やスコピストなどは、硬性鏡３２の全視野範囲に対する、注視したい患部の範囲および方向を容易に把握することができる。
例えば、従来、全体画像６１の右側にあるドットのハッチングが施された四角いエリアから、鉗子が挿入されていく際に、通常の斜視鏡であれば、ある程度奥に入ってから鉗子が斜め右上の辺りから画像内に映し出されることになり、術者やスコピストなどが驚くことがあった。
これに対し、内視鏡システム１１では、術者やスコピストなどは、全体画像６１によって挿入し始めたときから鉗子を確認することができる。さらに、内視鏡システム１１では、術者やスコピストなどは、領域マーカによって斜視画像６２が全体画像６１の左下方向を見ていることを把握することができるので、斜視画像６２の右上から鉗子が挿入されてくるように映し出されることを事前に認識することができる。従って、術者やスコピストなどは、それらの状況を的確に把握して、手術を進める事ができる。
このように、内視鏡システム１１は、ある方向を斜視画像６２で観察しているときにも、全体画像６１によって斜視画像６２の視野外を同時に観察すること、即ち、死角が生じないように観察することができる。従って、内視鏡システム１１を使用することで、術者やスコピストなどは、より安全に手術を行うことができる。
＜制御装置の構成例および制御処理の処理例＞
図６は、制御装置２３の構成例を示すブロック図である。
図６は、制御装置２３の構成例を示すブロック図である。
図６に示すように、制御装置２３は、操作信号取得部７１、音声認識部７２、および画像処理部７３を備えて構成される。また、画像処理部７３は、領域設定部８１、切り出し処理部８２、マーカ生成部８３、および表示画面生成部８４を備えて構成される。
操作信号取得部７１は、図１の操作スイッチ４３および回転操作部５４に対する操作が行われたときに出力される操作信号を取得し、その操作信号によって指示される指示コマンドを画像処理部７３に供給する。例えば、操作信号取得部７１は、回転操作部５４に対する回転操作に従った操作信号を取得し、右回転方向または左回転方向へ全体画像の内周に沿った斜視画像の移動を指示する指示コマンドを画像処理部７３に供給する。
音声認識部７２は、図示しないマイクを介して、スコピストが発話した音声が供給され、その音声を認識する音声認識処理を行って、スコピストが発話した発話内容を認識する。そして、音声認識部３３は、スコピストの発話内容から音声による指示コマンドを認識した場合、その指示コマンドを画像処理部３４に供給する。例えば、音声認識部７２は、スコピストが「時計方向に回して」と発話した音声に基づいて、時計回りに全体画像の内周に沿って斜視画像を移動させる指示コマンドを画像処理部７３に供給することができる。その後、音声認識部７２は、例えば、観察したい位置の画像になったところで、スコピストが「止めて」と発話した音声に基づいて、全体画像の内周に沿った斜視画像の移動を停止させる指示コマンドを画像処理部７３に供給することができる。
画像処理部７３は、操作信号取得部７１または音声認識部７２から供給される指示コマンドに従って、内視鏡１４において撮像された画像に対して画像処理を施し、図５に示したような表示画面を表示装置１２に表示させる。
領域設定部８１は、硬性鏡３２の全視野範囲が撮像された全体画像の一部分を切り出す切り出し領域を設定する。そして、領域設定部８１は、指示コマンドに従った方向へ、全体画像の中心点を基準として切り出し領域を全体画像の内周に沿って移動させる。
切り出し処理部８２は、領域設定部８１により設定された切り出し領域に従って、内視鏡１４から供給される全体画像の一部分を切り出して、斜視画像または直視画像を生成する。例えば、切り出し処理部８２は、領域設定部８１による切り出し領域の設定に従って、全体画像の中心点から外れた位置を中心にして切り出し領域が設定された場合には、硬性鏡３２の光軸に対して斜め方向を見るような斜視画像を生成する。また、切り出し処理部８２は、領域設定部８１による切り出し領域の設定が切り替えられて、全体画像と中心点が一致する位置を中心にして切り出し領域が設定された場合には、硬性鏡３２の光軸と同一の方向を見るような直視画像を生成する。
マーカ生成部８３は、領域設定部８１により設定された切り出し領域を示す領域マーカを生成して表示画面生成部８４に供給し、全体画像に領域マーカを重畳させる。
表示画面生成部８４は、例えば、図５に示したように全体画像および斜視画像を表示する表示画面を生成する。また、表示画面生成部８４は、後述する図９乃至図１３を参照して説明するように様々なバリエーションの表示画面を生成する。
ここで、音声認識部３３による音声操作について説明する。
例えば、スコピストが「下に向けて」と発話すると、その発話の時点において直視画像が表示されていても、または、その発話の時点において斜視画像がどの方向を表示していたとしても、上述した図３に示したような真下方向の位置を切り出した斜視画像を表示するように、瞬時に、切り出し領域の設定が変更される。即ち、発話内容「下に向けて」は、時計方向の６時に相当する位置に切り出し領域を移動することを指示する指示コマンドとして音声認識される。同様に、発話内容「上に向けて」は時計方向の１２時に相当する位置、発話内容「左に向けて」は時計方向の９時に相当する位置、および、発話内容「右に向けて」は時計方向の３時に相当する位置に切り出し領域を移動することを指示する指示コマンドとして音声認識される。
このような指示コマンドを用いることで、例えば、スコピストが「時計方向に回して」と発話して、現在の視野範囲から目的の位置に向かって徐々に視野を変えて観察したいときと、現在の視野範囲から目的の位置に瞬時に視野を変えたいときとで、使い分けることができる。これにより、スコピストは、より最適な視野を簡単に得る事が出る。
また、例えば、スコピストが「直視に変えて」と発話すると、直視の軸線上に切り出し領域を変更して、直視鏡を使用しているのと同等の視野に切り替える事ができる。そして、また、斜視ローテーションを再開した時には、スコピストが「斜視に変えて」と発話するだけで、斜視に切り替える事ができる。
ここで、従来の内視鏡では、直視鏡に変えたい場面になった時は、硬性鏡を付け替えなければならず、直視鏡および斜視鏡の両方を準備し、必要に応じて、それらを付け替える行為が必要であった。そのため、従来、直視鏡および斜視鏡の両方を配置する場所を確保し、直視鏡および斜視鏡を付け替える手間による時間ロスが発生していた。
これに対し、内視鏡システム１１では、直視鏡および斜視鏡それぞれの機能を１つの硬性鏡３２で提供し、直視画像と斜視画像とを必要に応じて切り替えることができる。このため、直視鏡および斜視鏡の両方を配置する場所を確保する必要がなく、直視鏡および斜視鏡を付け替える手間による時間ロスが発生することも回避して、手術を行うことができる。
また、この音声操作と、図１の回転操作部５４、または、図８の磁気エンコーダ４４とマグネット５５との組み合わせを利用した操作方法を同時に使用できるようにしてもよい。その場合、例えば、スコピストが直接的に手で操作を行う一方で、必要に応じて、執刀医師が音声操作を使うような使い方も提供できる。
図７に示すフローチャートを参照して、制御装置２３が実行する制御処理の一例について説明する。
ステップＳ１１において、制御装置２３は、内視鏡１４において撮像された硬性鏡３２の全視野範囲を表す全体画像、および、全体画像の中央を切り出した直視画像を表示装置１２に表示する。即ち、制御装置２３では、領域設定部８１が、内視鏡１４から供給される全体画像の中央（図２参照）に切り出し領域を設定し、切り出し処理部８２が、その切り出し領域に従って全体画像を切り出して直視画像を生成する。そして、表示画面生成部８４は、例えば、全体画像および直視画像が左右に並んで配置される表示画面を生成して、表示装置１２に出力する。
ステップＳ１２において、操作信号取得部７１は、例えば、操作スイッチ４３に対する操作が行われて、直視画像から斜視画像への切り替えを指示する指示コマンドが供給されたか否かを判定する。ステップＳ１２において、操作信号取得部７１が、直視画像から斜視画像への切り替えを指示する指示コマンドが供給されていないと判定した場合、処理はステップＳ１１に戻り、処理は待機される。
一方、ステップＳ１２において、操作信号取得部７１が、直視画像から斜視画像への切り替えを指示する指示コマンドが供給されたと判定した場合、処理はステップＳ１３に進む。
ステップＳ１３において、領域設定部８１は、切り出し領域の初期位置として、例えば、図３に示したような真下方向の位置に、斜視画像に対応する切り出し領域を設定する。そして、領域設定部８１は、設定した切り出し領域を切り出し処理部８２およびマーカ生成部８３に通知する。
ステップＳ１４において、切り出し処理部８２は、ステップＳ１３で領域設定部８１により設定された切り出し領域に従って、全体画像から切り出して斜視画像を生成する。
ステップＳ１５において、マーカ生成部８３は、ステップＳ１３で領域設定部８１により設定された切り出し領域を示す領域マーカを生成して表示画面生成部８４に供給し、全体画像に対して領域マーカを重畳させる。
ステップＳ１６において、表示画面生成部８４は、ステップＳ１４で生成された斜視画像、および、領域マーカが重畳された全体画像が左右に並んで配置される表示画面を生成して、表示装置１２に出力する。これにより、表示装置１２の表示が、直視画像から斜視画像に切り替えられる。
ステップＳ１７において、操作信号取得部７１は、例えば、回転操作部５４に対する回転操作が行われて、全体画像の内周に沿った斜視画像の移動を指示する指示コマンドが供給されたか否かを判定する。
ステップＳ１７において、操作信号取得部７１が、全体画像の内周に沿った斜視画像の移動を指示する指示コマンドが供給されていないと判定した場合、処理はステップＳ１４に戻り、現時点で設定されている切り出し領域に従って、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１７において、操作信号取得部７１が、全体画像の内周に沿った斜視画像の移動を指示する指示コマンドが供給されたと判定した場合、処理はステップＳ１８に進む。
ステップＳ１８において、領域設定部８１は、回転操作部５４に対する回転操作の回転量および回転速度に従って、斜視画像に対応する切り出し領域を全体画像の内周に沿って移動させ、切り出し領域を新たに設定する。その後、処理はステップＳ１４に戻り、新たに設定された切り出し領域に従って、以下、同様の処理が繰り返して行われ、回転操作部５４に対する回転操作に応じて全体画像の内周に沿って移動された斜視画像が表示される。
以上のように、制御装置２３は、操作スイッチ４３に対する操作に従って、直視画像および斜視画像の表示を切り替えることができる。そして、制御装置２３は、斜視画像を表示する際には、斜視画像を切り出した切り出し領域に対応する領域マーカが重畳された全体画像を表示することができる。そして、制御装置２３は、回転操作部５４に対する回転操作に従って、全体画像の内周に沿って斜視画像を移動させることができる。
なお、制御装置２３は、全体画像に対する切り出し領域の位置に応じて、切り出し処理部８２により生成される斜視画像に対する歪補正を行うことができる。例えば、全体画像の中心点を基準として全体画像の内周に沿って斜視画像が移動することになるが、広角レンズに製造誤差などによって均一でない歪みが全体画像に生じていることも想定される。そこで、制御装置２３の出荷前に広角レンズを校正し、その校正情報に従って、切り出し領域の位置に応じて斜視画像に対する歪補正を施すことで、より良好な斜視画像を得ることができる。
＜内視鏡の第２の構成例＞
図８を参照して、内視鏡１４の第２の構成例について説明する。なお、図８に示す第２の構成例の内視鏡１４ａにおいて、図１に示した第１の構成例の内視鏡１４と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図８を参照して、内視鏡１４の第２の構成例について説明する。なお、図８に示す第２の構成例の内視鏡１４ａにおいて、図１に示した第１の構成例の内視鏡１４と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図８に示すように、内視鏡１４ａは、カメラヘッド３１ａに対して硬性鏡３２ａが装着可能に構成されている。図８のＡには、カメラヘッド３１ａから硬性鏡３２ａが取り外された状態が示されており、図８のＢには、カメラヘッド３１ａに硬性鏡３２ａが装着された状態が示されている。
カメラヘッド３１ａは、カメラヘッド本体部４１、内視鏡カプラ４２、および操作スイッチ４３を備える点で、図１のカメラヘッド３１と同様に構成されており、さらに磁気エンコーダ４４を備えて構成される。硬性鏡３２ａは、鏡筒本体５１、光源接続部５２、およびカプラ接続部５３を備える点で、図１の硬性鏡３２と同様に構成されており、さらにマグネット５５を備えて構成される。
磁気エンコーダ４４は、内視鏡カプラ４２に組み込まれており、マグネット５５の磁気を検出する磁気検出手段である。マグネット５５は、カプラ接続部５３に組み込まれている。そして、カメラヘッド３１ａに対して硬性鏡３２ａを回転させると、磁気エンコーダ４４がマグネット５５の磁気を検出して回転方向および回転量を認識し、その回転方向および回転量を示す操作信号が操作信号取得部７１に供給される。従って、制御装置２３では、カメラヘッド３１ａに対して硬性鏡３２ａを回転させる回転操作に従って、全体画像の内周に沿った斜視画像の移動を制御することができる。
なお、内視鏡１４ａにおいて、内視鏡カプラ４２は、従来と同様の構造が採用されており、例えば、マグネット５５がカプラ接続部５３に組み込まれていない従来の硬性鏡を内視鏡カプラ４２に取り付けて使用することができる。このように、従来の硬性鏡が内視鏡カプラ４２に接続された場合、磁気エンコーダ４４は、磁気を検出しないことになる。従って、この場合、制御装置２３は、全体画像から斜視画像を切り出す処理を行うことがなく、従来と同様に、硬性鏡により撮像された画像が表示装置１２に表示される。
このような構成の内視鏡１４ａを使用した内視鏡システム１１では、内視鏡１４ａと従来の硬性鏡とのいずれか一方を装着することで、制御装置２３は、その装着された一方の機能の提供に自動的に対応することができる。即ち、内視鏡システム１１は、内視鏡１４ａが装着された場合には、カメラヘッド３１ａに対する硬性鏡３２ａの回転操作に従って全体画像の内周に沿った斜視画像の移動を行う機能を提供することができ、従来の硬性鏡が装着された場合には、その硬性鏡に応じた機能を提供することができる。これにより、術者やスコピストなどは、従来の硬性鏡も含めて、違和感なく、内視鏡システム１１を使用することができる。従って、内視鏡システム１１は、操作方法習得のラーニングカーブが短く、従来の硬性鏡も使用できるので、医療経済性にも寄与することになる。
＜表示画面のバリエーション＞
図９乃至図１３を参照して、表示装置１２に表示される表示画面のバリエーションについて説明する。
図９乃至図１３を参照して、表示装置１２に表示される表示画面のバリエーションについて説明する。
図９に示す第１のバリエーションの表示画面では、硬性鏡３２の全視野範囲の一部分を切り出した斜視画像６２のみが画面全体に配置されている。この表示画面により、術者やスコピストなどは、大きく表示される斜視画像６２に集中して、斜視画像６２のみを観察して手術することができ、そのような場面において有効な表示画面である。なお、この表示画面では、斜視画像６２と同時に全体画像６１が表示されないため、全体画像６１による周辺観察を同時に行うことはできないが、例えば、音声操作によって切り替えを指示して、瞬時に、全体画像６１および斜視画像６２が並んで表示されるような表示画面に変更できるようにすればよい。
図１０に示す第２のバリエーションの表示画面では、左側に全体画像６１が配置され、右側に斜視画像６２が配置された構成となっている。また、全体画像６１の表示サイズは、表示装置１２の高さに応じた高さになるように調整され、斜視画像６２の表示サイズは、全体画像６１を表示した残りの表示装置１２の幅に応じた幅になるように調整される。
図１１に示す第３のバリエーションの表示画面では、左側に全体画像６１が配置されるとともに、その残りの右側において、下側に斜視画像６２が配置され、上側に直視画像６３が配置された構成となっている。
図１２に示す第４のバリエーションの表示画面では、左上側の斜視画像６２と左上側の直視画像６３とが並んで配置され、斜視画像６２の下方に全体画像６１が配置された構成となっている。
図１３に示す第５のバリエーションの表示画面では、左側に、正方形に切り出された直視画像６３が表示装置１２の高さに応じて配置され、その残りの右側において、上側に全体画像６１が配置され、下側に斜視画像６２が配置された構成となっている。
以上のように、内視鏡システム１１では、図９乃至図１３に示したような各種のバリエーションの表示画面を表示装置１２に表示することができる。これにより、例えば、手術の種類や、術者の意向などに沿って、表示画面のバリエーションを柔軟に変更できるので、従来の内視鏡よりも、多くの診療科で、最適な使用ができる。例えば、総合病院では、診療科ごとに準備するのではなく、内視鏡システム１１を共通で使用できる設備とすることができるといった価値を提供する事も可能となる。
＜斜視画像の表示方法のバリエーション＞
図１４乃至図１６を参照して、斜視画像の表示方法のバリエーションについて説明する。
図１４乃至図１６を参照して、斜視画像の表示方法のバリエーションについて説明する。
例えば、内視鏡システム１１では、通常、斜視画像６２に対する回転操作に従って全体画像の内周に沿って移動するように設定される切り出し領域に従って、全体画像６１から切り出された一部分を表示内容として斜視画像６２の表示をリアルタイムに更新する表示方法となっている。
これに対し、図１４を参照して説明する表示方法では、斜視画像６２に対する回転操作が開始されると、斜視画像６２の表示内容の更新が停止されて、その回転操作が行われる直前の表示内容が保持される。そして、斜視画像６２に対する回転操作が終了すると、その回転操作に従って全体画像の内周に沿って移動して設定された切り出し領域に従った表示内容に切り替わるように斜視画像６２が表示される。
まず、図１４の上段に示すように、斜視画像６２に対する回転操作が行われていないとき、斜視画像６２は、全体画像６１に重畳して表示される切り出し領域に対応する表示内容を表示する。
そして、図１４の中段に示すように、斜視画像６２に対する回転操作が行われている間、その回転操作に応じて領域マーカの表示位置が全体画像の内周に沿って移動する一方で、斜視画像６２は、回転操作が行われる直前の表示内容で更新が停止されている。即ち、領域設定部８１は、回転操作に応じて全体画像の内周に沿って移動するように切り出し領域を設定し、マーカ生成部８３は、切り出し領域に従って領域マーカの表示を更新するのに対し、切り出し処理部８２は斜視画像６２の切り出しを行わない。そのため、斜視画像６２は、斜視画像６２に対する回転操作が行われる直前の表示内容、この例では、図１４の上段と同一の表示内容を保持した状態となっている。
その後、図１４の下段に示すように、斜視画像６２に対する回転操作が終了したタイミング（例えば、回転操作が終了して１秒後）で、斜視画像６２は、そのときに全体画像６１に重畳して表示される切り出し領域に対応する表示内容を表示する。即ち、領域設定部８１は、回転操作の終了に応じて全体画像の内周に沿った移動を終了させた位置に切り出し領域を設定し、切り出し処理部８２は、その切り出し領域に従った表示内容を全体画像６１から切り出し、斜視画像６２が表示される。
このような表示方法によって、スコピストは、全体画像６１上を移動する領域マーカにより、回転操作を終了したときに斜視画像６２に表示される表示内容を認識しながら、所望の領域まで切り出し領域を移動させることができる。そして、この回転操作が行われている間は、切り出し処理部８２において斜視画像を切り出す画像処理は停止することになるので、画像処理部７３の処理負荷を大幅に軽減することができる。これにより、例えば、画像処理部７３の低コスト化を図ることができる。
なお、この表示方法の変形例として、斜視画像６２に対する回転操作が行われている間、斜視画像６２の表示内容の更新を停止するのに替えて、低解像度の斜視画像６２を表示し、斜視画像６２の解像感をあえて低下させ、斜視画像６２に対する回転操作が終了したときに、元の解像度の斜視画像６２を表示する表示方法もある。このような表示方法では、画像処理部７３の処理負荷を軽減させることができるとともに、斜視画像６２の表示内容が変化することによって回転操作が行われていることを容易に認識させることができる。
次に、図１５および図１６を参照して説明する表示方法では、例えば、図１の回転操作部５４に対する回転操作に応じて、斜視画像の切り出し領域を全体画像の内周に沿って移動させる際に、その移動に伴って斜視画像の向きが回転するように切り出し領域が設定される。即ち、図１５のＡに示すように、切り出し領域の下方の両方の角部が全体画像の内周に常に接する状態で、直視の中心軸を回転中心として回転するように、全体画像に内周に沿って移動する。その結果、図１５のＢに示すように、切り出し領域に従って全体画像から切り出された斜視画像が表示される。
ところで、斜視画像の向きが回転する場合には、図１６を参照して説明するように、切り出し領域の位置に応じて、斜視画像６２の表示内容の上下方向が反転して表示することができる。
例えば、通常、図１６のＡおよび図１６のＢに示すように、切り出し領域の位置に関わらず、斜視画像６２は、全体画像６１から切り出された表示内容が、全体画像６１の外周側が下となり、全体画像６１の中心側が上となるような上下方向で表示される。
これに対し、図１６のＡに示すように、全体画像６１の中心を通る水平線よりも下側の位置に切り出し領域の中心があるときには、通常の上下方向で斜視画像６２を表示する一方、図１６のＣに示すように、全体画像６１の中心を通る水平線よりも上側の位置に切り出し領域の中心があるときには、通常の上下方向に対して反転して斜視画像６２を表示する。即ち、切り出し領域の中心が、全体画像６１の中心を通る水平線に対して上側および下側のどちらにあるかに応じて、斜視画像６２の表示内容の上下方向を反転して表示することができる。
このような表示方法によって、例えば、全体画像６１の中心に対して真上に切り出し領域が設定されたとき、全体画像６１に重畳された領域マーカ内における上下方向と、斜視画像６２の表示内容の上下方向とが一致することになる。これにより、全体画像６１に重畳された領域マーカと斜視画像６２との関係性を、より容易に認識させることができる。
なお、内視鏡システム１１では、図１に示したように１つの表示装置１２を備える構成に限定されることなく、複数台の表示装置１２を備える構成を採用してもよい。例えば、２台の表示装置１２を設ける構成では、一方の表示装置１２には、図９に示したように、斜視画像６２のみが配置された表示画面とし、他方の表示装置１２には、図５に示したように、全体画像６１および斜視画像６２が並んで配置された表示画面とする。これにより、執刀医師は、斜視画像６２のみが配置された表示画面を見ながら手術を進め、スコピストは、全体画像６１および斜視画像６２が並んで配置された表示画面を見ながら安全に内視鏡１４を操作することで、より有効活用することができる。
＜コンピュータの構成例＞
次に、上述した一連の処理（制御方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の処理（制御方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システム。
（２）
前記全体画像および前記斜視画像のうち少なくとも一方を表示する表示画面を生成する表示画面生成部と、
前記全体画像における前記切り出し領域を示す領域マーカを生成して、前記表示画面に表示される前記全体画像に前記領域マーカを重畳して表示させるマーカ生成部と
をさらに備える上記（１）に記載の内視鏡システム。
（３）
前記硬性鏡を介して高画角で術野を撮像して前記全体画像を前記切り出し処理部に供給する内視鏡
をさらに備える上記（１）または（２）に記載の内視鏡システム。
（４）
前記内視鏡は、前記術野を撮像する撮像素子を有するカメラヘッドに対して前記硬性鏡を接続可能に構成される
上記（３）に記載の内視鏡システム。
（５）
前記硬性鏡は、前記カメラヘッドに対する接続に利用される接続部の近傍に、前記斜視画像の移動を行わせる回転操作を入力する回転操作部を有し、
前記回転操作部に対する回転操作に従って、前記取得部が前記指示コマンドを取得する
上記（４）に記載の内視鏡システム。
（６）
前記カメラヘッドは、前記硬性鏡の接続に利用されるカプラを有し、
前記硬性鏡は、前記カプラに対して接続される接続部を有し、
前記接続部および前記カプラのうち、一方にはマグネットが組み込まれるとともに、他方には磁気エンコーダが組み込まれており、
前記カメラヘッドに対して前記硬性鏡を回転させる回転操作に従って、前記取得部が前記指示コマンドを取得する
上記（４）に記載の内視鏡システム。
（７）
前記取得部は、音声から発話内容を認識することで前記指示コマンドを取得する音声認識部である
上記（１）から（６）までのいずれかに記載の内視鏡システム。
（８）
前記領域設定部は、前記全体画像の中心点から外れた位置を中心にした切り出し領域と、前記全体画像と中心点が一致する位置を中心にした切り出し領域とを切り替えて設定し、
前記切り出し処理部は、前記全体画像の中心点から外れた位置を中心にして設定された切り出し領域から前記斜視画像を生成し、前記全体画像と中心点が一致する位置を中心にして設定された切り出し領域から直視画像を生成する
上記（１）から（７）までのいずれかに記載の内視鏡システム。
（９）
前記全体画像の画角は略140°または略120°であり、前記全体画像の解像度は4096×2304ドット以上である
上記（１）から（８）までのいずれかに記載の内視鏡システム。
（１０）
前記全体画像に対する前記切り出し領域の位置に応じて、前記斜視画像に対する歪補正が行われる
上記（１）から（９）までのいずれかに記載の内視鏡システム。
（１１）
前記全体画像の中心点が、前記硬性鏡を介して撮像される画像の有効領域の中心である
上記（１）から（１０）までのいずれかに記載の内視鏡システム。
（１２）
前記切り出し領域は、移動に伴って前記斜視画像の向きが回転するように設定され、
前記切り出し領域の位置に応じて、前記斜視画像の表示内容の上下方向が反転して表示される
上記（１）から（１１）までのいずれかに記載の内視鏡システム。
（１３）
前記切り出し領域の位置が前記全体画像の中心点を通る水平線よりも上側または下側のどちらにあるかに応じて、前記斜視画像の表示内容の上下方向が反転される
上記（１２）に記載の内視鏡システム。
（１４）
前記斜視画像に対する回転操作が開始されると、前記斜視画像の表示内容の更新が停止されて、その回転操作が行われる直前の表示内容が保持され、
前記斜視画像に対する回転操作が終了すると、その回転操作に従って回転移動して設定された前記切り出し領域に従った表示内容で前記斜視画像が表示される
上記（１）から（１３）までのいずれかに記載の内視鏡システム。
（１５）
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システムの制御装置。
（１６）
内視鏡システムの制御装置が、
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成することと、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得することと、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させることと
を含む制御方法。
なお、本技術は以下のような構成も取ることができる。
（１）
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システム。
（２）
前記全体画像および前記斜視画像のうち少なくとも一方を表示する表示画面を生成する表示画面生成部と、
前記全体画像における前記切り出し領域を示す領域マーカを生成して、前記表示画面に表示される前記全体画像に前記領域マーカを重畳して表示させるマーカ生成部と
をさらに備える上記（１）に記載の内視鏡システム。
（３）
前記硬性鏡を介して高画角で術野を撮像して前記全体画像を前記切り出し処理部に供給する内視鏡
をさらに備える上記（１）または（２）に記載の内視鏡システム。
（４）
前記内視鏡は、前記術野を撮像する撮像素子を有するカメラヘッドに対して前記硬性鏡を接続可能に構成される
上記（３）に記載の内視鏡システム。
（５）
前記硬性鏡は、前記カメラヘッドに対する接続に利用される接続部の近傍に、前記斜視画像の移動を行わせる回転操作を入力する回転操作部を有し、
前記回転操作部に対する回転操作に従って、前記取得部が前記指示コマンドを取得する
上記（４）に記載の内視鏡システム。
（６）
前記カメラヘッドは、前記硬性鏡の接続に利用されるカプラを有し、
前記硬性鏡は、前記カプラに対して接続される接続部を有し、
前記接続部および前記カプラのうち、一方にはマグネットが組み込まれるとともに、他方には磁気エンコーダが組み込まれており、
前記カメラヘッドに対して前記硬性鏡を回転させる回転操作に従って、前記取得部が前記指示コマンドを取得する
上記（４）に記載の内視鏡システム。
（７）
前記取得部は、音声から発話内容を認識することで前記指示コマンドを取得する音声認識部である
上記（１）から（６）までのいずれかに記載の内視鏡システム。
（８）
前記領域設定部は、前記全体画像の中心点から外れた位置を中心にした切り出し領域と、前記全体画像と中心点が一致する位置を中心にした切り出し領域とを切り替えて設定し、
前記切り出し処理部は、前記全体画像の中心点から外れた位置を中心にして設定された切り出し領域から前記斜視画像を生成し、前記全体画像と中心点が一致する位置を中心にして設定された切り出し領域から直視画像を生成する
上記（１）から（７）までのいずれかに記載の内視鏡システム。
（９）
前記全体画像の画角は略140°または略120°であり、前記全体画像の解像度は4096×2304ドット以上である
上記（１）から（８）までのいずれかに記載の内視鏡システム。
（１０）
前記全体画像に対する前記切り出し領域の位置に応じて、前記斜視画像に対する歪補正が行われる
上記（１）から（９）までのいずれかに記載の内視鏡システム。
（１１）
前記全体画像の中心点が、前記硬性鏡を介して撮像される画像の有効領域の中心である
上記（１）から（１０）までのいずれかに記載の内視鏡システム。
（１２）
前記切り出し領域は、移動に伴って前記斜視画像の向きが回転するように設定され、
前記切り出し領域の位置に応じて、前記斜視画像の表示内容の上下方向が反転して表示される
上記（１）から（１１）までのいずれかに記載の内視鏡システム。
（１３）
前記切り出し領域の位置が前記全体画像の中心点を通る水平線よりも上側または下側のどちらにあるかに応じて、前記斜視画像の表示内容の上下方向が反転される
上記（１２）に記載の内視鏡システム。
（１４）
前記斜視画像に対する回転操作が開始されると、前記斜視画像の表示内容の更新が停止されて、その回転操作が行われる直前の表示内容が保持され、
前記斜視画像に対する回転操作が終了すると、その回転操作に従って回転移動して設定された前記切り出し領域に従った表示内容で前記斜視画像が表示される
上記（１）から（１３）までのいずれかに記載の内視鏡システム。
（１５）
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システムの制御装置。
（１６）
内視鏡システムの制御装置が、
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成することと、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得することと、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させることと
を含む制御方法。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 内視鏡システム， １２ 表示装置， １３ カート， １４ 内視鏡， ２１ 光源装置， ２２ ＣＣＵ， ２３ 制御装置， ３１ カメラヘッド， ３２ 硬性鏡， ４１ カメラヘッド本体部， ４２ 内視鏡カプラ， ４３ 操作スイッチ， ４４ 磁気エンコーダ， ５１ 鏡筒本体， ５２ 光源接続部， ５３ カプラ接続部， ５４ 回転操作部， ５５ 磁石， ７１ 操作信号取得部， ７２ 音声認識部， ７３ 画像処理部， ８１ 領域設定部， ８２ 切り出し処理部， ８３ マーカ生成部， ８４ 表示画面生成部
Claims (16)
- 硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システム。 - 前記全体画像および前記斜視画像のうち少なくとも一方を表示する表示画面を生成する表示画面生成部と、
前記全体画像における前記切り出し領域を示す領域マーカを生成して、前記表示画面に表示される前記全体画像に前記領域マーカを重畳して表示させるマーカ生成部と
をさらに備える請求項１に記載の内視鏡システム。 - 前記硬性鏡を介して高画角で術野を撮像して前記全体画像を前記切り出し処理部に供給する内視鏡
をさらに備える請求項１に記載の内視鏡システム。 - 前記内視鏡は、前記術野を撮像する撮像素子を有するカメラヘッドに対して前記硬性鏡を接続可能に構成される
請求項３に記載の内視鏡システム。 - 前記硬性鏡は、前記カメラヘッドに対する接続に利用される接続部の近傍に、前記斜視画像の移動を行わせる回転操作を入力する回転操作部を有し、
前記回転操作部に対する回転操作に従って、前記取得部が前記指示コマンドを取得する
請求項４に記載の内視鏡システム。 - 前記カメラヘッドは、前記硬性鏡の接続に利用されるカプラを有し、
前記硬性鏡は、前記カプラに対して接続される接続部を有し、
前記接続部および前記カプラのうち、一方にはマグネットが組み込まれるとともに、他方には磁気エンコーダが組み込まれており、
前記カメラヘッドに対して前記硬性鏡を回転させる回転操作に従って、前記取得部が前記指示コマンドを取得する
請求項４に記載の内視鏡システム。 - 前記取得部は、音声から発話内容を認識することで前記指示コマンドを取得する音声認識部である
請求項１に記載の内視鏡システム。 - 前記領域設定部は、前記全体画像の中心点から外れた位置を中心にした切り出し領域と、前記全体画像と中心点が一致する位置を中心にした切り出し領域とを切り替えて設定し、
前記切り出し処理部は、前記全体画像の中心点から外れた位置を中心にして設定された切り出し領域から前記斜視画像を生成し、前記全体画像と中心点が一致する位置を中心にして設定された切り出し領域から直視画像を生成する
請求項１に記載の内視鏡システム。 - 前記全体画像の画角は略140°または略120°であり、前記全体画像の解像度は4096×2304ドット以上である
請求項１に記載の内視鏡システム。 - 前記全体画像に対する前記切り出し領域の位置に応じて、前記斜視画像に対する歪補正が行われる
請求項１に記載の内視鏡システム。 - 前記全体画像の中心点が、前記硬性鏡を介して撮像される画像の有効領域の中心である
請求項１に記載の内視鏡システム。 - 前記切り出し領域は、移動に伴って前記斜視画像の向きが回転するように設定され、
前記切り出し領域の位置に応じて、前記斜視画像の表示内容の上下方向が反転して表示される
請求項１に記載の内視鏡システム。 - 前記切り出し領域の位置が前記全体画像の中心点を通る水平線よりも上側または下側のどちらにあるかに応じて、前記斜視画像の表示内容の上下方向が反転される
請求項１２に記載の内視鏡システム。 - 前記斜視画像に対する回転操作が開始されると、前記斜視画像の表示内容の更新が停止されて、その回転操作が行われる直前の表示内容が保持され、
前記斜視画像に対する回転操作が終了すると、その回転操作に従って移動して設定された前記切り出し領域に従った表示内容で前記斜視画像が表示される
請求項１に記載の内視鏡システム。 - 硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成する切り出し処理部と、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得する取得部と、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させる領域設定部と
を備える内視鏡システムの制御装置。 - 内視鏡システムの制御装置が、
硬性鏡の全視野範囲が撮像された全体画像の中心点から外れた位置を中心にして設定される切り出し領域に従って前記全体画像の一部分を切り出して、前記硬性鏡の光軸に対して斜め方向を見る斜視画像を生成することと、
所定の回転方向へ前記斜視画像の移動を指示する指示コマンドを取得することと、
前記指示コマンドに従った方向へ、前記全体画像の中心点を基準として前記切り出し領域を内接する円の内周に沿って前記切り出し領域を移動させることと
を含む制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20851076.8A EP3992690A4 (en) | 2019-08-02 | 2020-07-17 | ENDOSCOPE SYSTEM, CONTROL DEVICE AND CONTROL METHOD |
| JP2021537663A JP7480783B2 (ja) | 2019-08-02 | 2020-07-17 | 内視鏡システム、制御装置、および制御方法 |
| US17/629,408 US20220296087A1 (en) | 2019-08-02 | 2020-07-17 | Endoscope system, control device, and control method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019143033 | 2019-08-02 | ||
| JP2019-143033 | 2019-08-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021024754A1 true WO2021024754A1 (ja) | 2021-02-11 |
Family
ID=74503450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/027778 WO2021024754A1 (ja) | 2019-08-02 | 2020-07-17 | 内視鏡システム、制御装置、および制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220296087A1 (ja) |
| EP (1) | EP3992690A4 (ja) |
| JP (1) | JP7480783B2 (ja) |
| WO (1) | WO2021024754A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111278344B (zh) * | 2017-11-01 | 2023-09-05 | 索尼公司 | 手术臂系统和手术臂控制系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11104064A (ja) * | 1997-10-01 | 1999-04-20 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
| JP3070022B2 (ja) | 1997-04-18 | 2000-07-24 | 工業技術院長 | 超広角内視鏡 |
| JP2010017552A (ja) * | 2008-07-08 | 2010-01-28 | Karl Storz Development Corp | ソリッドステート型の観察方向可変型内視鏡 |
| US20100125166A1 (en) * | 2008-11-17 | 2010-05-20 | Marc Henzler | Video endoscope |
| US20180196251A1 (en) * | 2017-01-06 | 2018-07-12 | Karl Storz Imaging, Inc. | Endoscope Incorporating Multiple Image Sensors For Increased Resolution |
| JP2018148973A (ja) * | 2017-03-10 | 2018-09-27 | 株式会社Ｊｖｃケンウッド | 手術システム、手術器具、トロカール及び判定方法 |
| WO2019026929A1 (ja) * | 2017-08-03 | 2019-02-07 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
| JP2019084334A (ja) * | 2017-11-01 | 2019-06-06 | ソニー株式会社 | 医療用保持装置、医療用アームシステム、及びドレープ装着機構 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6930705B2 (en) * | 2000-11-14 | 2005-08-16 | Pentax Corporation | Image search device |
| US10631712B2 (en) * | 2011-02-10 | 2020-04-28 | Karl Storz Imaging, Inc. | Surgeon's aid for medical display |
| CN105939650B (zh) * | 2014-02-14 | 2018-01-30 | 奥林巴斯株式会社 | 内窥镜系统 |
| KR102388132B1 (ko) * | 2014-12-15 | 2022-04-19 | 삼성메디슨 주식회사 | 대상체를 나타내는 바디 마커를 생성하는 방법, 장치 및 시스템. |
| WO2018116891A1 (ja) * | 2016-12-19 | 2018-06-28 | オリンパス株式会社 | 画像処理装置、超音波診断システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
| CN111278344B (zh) * | 2017-11-01 | 2023-09-05 | 索尼公司 | 手术臂系统和手术臂控制系统 |
-
2020
- 2020-07-17 EP EP20851076.8A patent/EP3992690A4/en not_active Withdrawn
- 2020-07-17 JP JP2021537663A patent/JP7480783B2/ja active Active
- 2020-07-17 WO PCT/JP2020/027778 patent/WO2021024754A1/ja unknown
- 2020-07-17 US US17/629,408 patent/US20220296087A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3070022B2 (ja) | 1997-04-18 | 2000-07-24 | 工業技術院長 | 超広角内視鏡 |
| JPH11104064A (ja) * | 1997-10-01 | 1999-04-20 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
| JP2010017552A (ja) * | 2008-07-08 | 2010-01-28 | Karl Storz Development Corp | ソリッドステート型の観察方向可変型内視鏡 |
| US20100125166A1 (en) * | 2008-11-17 | 2010-05-20 | Marc Henzler | Video endoscope |
| US20180196251A1 (en) * | 2017-01-06 | 2018-07-12 | Karl Storz Imaging, Inc. | Endoscope Incorporating Multiple Image Sensors For Increased Resolution |
| JP2018148973A (ja) * | 2017-03-10 | 2018-09-27 | 株式会社Ｊｖｃケンウッド | 手術システム、手術器具、トロカール及び判定方法 |
| WO2019026929A1 (ja) * | 2017-08-03 | 2019-02-07 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
| JP2019084334A (ja) * | 2017-11-01 | 2019-06-06 | ソニー株式会社 | 医療用保持装置、医療用アームシステム、及びドレープ装着機構 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3992690A4 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021024754A1 (ja) | 2021-02-11 |
| EP3992690A1 (en) | 2022-05-04 |
| US20220296087A1 (en) | 2022-09-22 |
| EP3992690A4 (en) | 2022-09-07 |
| JP7480783B2 (ja) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018096987A1 (ja) | 情報処理装置および方法、並びにプログラム | |
| EP3434170B1 (en) | Endoscope apparatus and endoscope system including the same | |
| EP3603562B1 (en) | Medical observation apparatus and observation field correction method | |
| JP2018161377A (ja) | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム | |
| JP6935389B2 (ja) | 医療用立体観察装置、医療用立体観察方法、及びプログラム | |
| WO2018180573A1 (ja) | 手術用画像処理装置、画像処理方法、及び、手術システム | |
| JP4967096B2 (ja) | 内視鏡、内視鏡アタッチメント、および、内視鏡装置 | |
| JP2017038285A (ja) | 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム | |
| KR20160033325A (ko) | 로봇암으로 제어되는 의료용 레이저 장치 | |
| WO2021024754A1 (ja) | 内視鏡システム、制御装置、および制御方法 | |
| US11883120B2 (en) | Medical observation system, medical signal processing device, and medical signal processing device driving method | |
| WO2017145606A1 (ja) | 画像処理装置、画像処理方法及び内視鏡システム | |
| WO2018088237A1 (ja) | 画像処理装置および設定方法、並びにプログラム | |
| US11812181B2 (en) | Video routing in an operating theater | |
| WO2018088238A1 (ja) | 画像処理装置および制御方法、並びにプログラム | |
| WO2018088236A1 (ja) | 画像処理装置および方法、並びにプログラム | |
| WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
| JP6857748B2 (ja) | 医療システムおよび医療システムの作動方法 | |
| WO2021261236A1 (ja) | 医療用観察システム、画像処理方法、およびプログラム | |
| US20210153959A1 (en) | Physical medical element affixation systems, methods, and materials | |
| US11533419B2 (en) | Imaging apparatus, image sensor unit, camera unit, and control method for determining and updating correction data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20851076 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021537663 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2020851076 Country of ref document: EP Effective date: 20220131 |