WO2021200183A1 - 信号処理装置、信号処理方法、および撮像装置 - Google Patents

信号処理装置、信号処理方法、および撮像装置 Download PDF

Info

Publication number
WO2021200183A1
WO2021200183A1 PCT/JP2021/010975 JP2021010975W WO2021200183A1 WO 2021200183 A1 WO2021200183 A1 WO 2021200183A1 JP 2021010975 W JP2021010975 W JP 2021010975W WO 2021200183 A1 WO2021200183 A1 WO 2021200183A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
brightness adjustment
brightness
control unit
signal processing
Prior art date
Application number
PCT/JP2021/010975
Other languages
English (en)
French (fr)
Inventor
拓磨 田苗
英樹 中丸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200183A1 publication Critical patent/WO2021200183A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/26Reflecting filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/095Digital circuits for control of aperture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/18Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with light-reducing "factor" of filter or other obturator used with or on the lens of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and an imaging device, and in particular, a signal processing device and a signal processing method that enable more preferable use of an ND filter having a continuously variable transmittance. , And the imaging device.
  • Patent Document 1 a configuration has been proposed that makes it easier to continuously change the transmittance of an ND filter (for example, Patent Document 1).
  • the present disclosure has been made in view of such a situation, and makes it possible to realize more preferable use of an ND filter having a continuously variable transmittance.
  • the signal processing apparatus of the present disclosure is a first brightness adjustment by a continuously variable ND filter whose transmittance is continuously variable in conjunction with a change in an instruction value indicating the brightness of an captured image acquired by the imaging apparatus.
  • a signal processing device including a control unit that performs at least one of the second brightness adjustments by the iris.
  • the signal processing device uses a continuously variable ND filter in which the transmission rate is continuously variable in conjunction with a change in an instruction value indicating the brightness of the captured image acquired by the image pickup device. It is a signal processing method that performs at least one of the brightness adjustment of 1 and the second brightness adjustment by an iris.
  • the image pickup apparatus of the present disclosure has an image sensor that receives incident light through an iris to acquire an image, and a transmission rate that is continuously linked to a change in an instruction value that indicates the brightness of the image. It is an image pickup apparatus including a control unit that performs at least one of a first brightness adjustment by a variable continuously variable ND filter and a second brightness adjustment by the iris.
  • the first brightness adjustment by the continuously variable ND filter whose transmittance is continuously variable in conjunction with the change of the indicated value indicating the brightness of the captured image acquired by the imaging device, and the iris. At least one of the second brightness adjustments is made by.
  • Conventional ND filter Conventionally, as a method of adjusting the brightness (brightness) of a captured image, there has been a method of adjusting using, for example, an aperture, a gain, an electronic shutter, or the like.
  • Changing the gain may reduce the maximum detectable brightness (that is, the dynamic range of the received brightness), especially when the brightness is reduced.
  • the amount of blur (subjective image quality such as so-called para-para feeling) changes when a moving subject is photographed, and there is a risk that it becomes difficult to control the amount of blur.
  • a turret type filter unit in which the transmittance is made variable by rotating a circular plate-shaped disk in which a plurality of ND filters having different transmittances are installed has been considered.
  • real-time brightness adjustment may be required.
  • the brightness of the imaging is adjusted according to changes in the brightness of the subject and the surrounding environment, such as when the imaging location moves from indoors to outdoors during imaging. Need to be done in real time.
  • Patent Document 1 the applicant proposes a filter unit that makes it easier to continuously change the transmittance by changing the relative angle of the polarization direction of the polarizing filters provided on each of a plurality of discs. bottom.
  • Main configuration and operation of continuously variable ND filter> (Appearance of filter unit) 1 and 2 are perspective views showing the appearance of a filter unit to which the technique according to the present disclosure is applied.
  • the filter unit 100 shown in FIGS. 1 and 2 is attached to an image sensor as a filter using any of a plurality of filters including an ND filter having a continuously variable transmittance (hereinafter, also referred to as a continuously variable ND filter).
  • a continuously variable ND filter having a continuously variable transmittance
  • the filter unit 100 is composed of a disk 110, a disk 120, a gearbox 130, a motor 140, and a motor 150.
  • the disk 110 and the disk 120 are each formed into a disk shape having substantially the same diameter, and rotate in the circumferential direction with the broken line AR passing through the center as the rotation axis.
  • the disc 110 and the disc 120 can be rotationally driven independently of each other.
  • a plurality of (for example, 5) filters including a polarizing filter are evenly arranged in the rotation direction.
  • a plurality of (for example, three) filters including a polarizing filter are arranged on the disk 120 along the rotation direction.
  • the filter unit 100 is detachably built in the image pickup device on the disk 120 side (front side in FIG. 2) so that an image sensor (not shown) is arranged on the optical axis IL of the incident light. That is, from the disk 110 side (front side in FIG. 1) of the filter unit 100, a filter arranged on the optical axis IL by the rotation of the disk 110 and a filter arranged on the optical axis IL by the rotation of the disk 120. The transmitted light is incident on the image sensor.
  • the side of the filter unit 100 shown in FIG. 1 is referred to as the subject side
  • the side shown in FIG. 2 is referred to as the image sensor side.
  • the gearbox 130 and the motors 140 and 150 are configured as drive units for rotationally driving the discs 110 and 120 with the centers of the discs 110 and 120 as rotation axes.
  • a plurality of gears for transmitting the driving force of the motors 140 and 150 to the disks 110 and 120 are provided inside the gearbox 130 (partly externally).
  • the disk 110 is rotationally driven by being driven by the motor 140 and transmitting the driving force of the motor 140 via the gears of the gearbox 130.
  • the disk 120 is rotationally driven by being driven by the motor 150 and transmitting the driving force of the motor 150 via the gears of the gearbox 130.
  • the electric power for driving the motors 140 and 150 is supplied from the image pickup apparatus in which the filter unit 100 is built in via a predetermined electric interface.
  • FIG. 3 is a diagram showing a configuration example of the disks 110 and 120.
  • FIG. A shows the disc 110 as seen from the subject side.
  • FIG. B shows the disc 120 seen from the subject side, and
  • FIG. C shows the disc 120 seen from the image sensor side.
  • the disk 110 is provided with a polarizing filter 111 and four filters 112 to 115.
  • the polarizing filter 111 and the filters 112 to 115 are each formed to have the same shape (a circular shape having a D-cut notch in part), and are evenly arranged in the rotation direction of the disk 110.
  • the polarizing filter 111 is a polarizer (filter) that converts transmitted light into linearly polarized light in a predetermined direction.
  • the polarizing filter 111 absorbs an electric field in a direction perpendicular to a predetermined direction of transmitted light and transmits the electric field in a predetermined direction to generate linearly polarized light in a predetermined direction.
  • the filters 112 to 115 are arbitrary filters of different types other than the polarizing filter.
  • the filters 112 to 115 are, for example, a transparent filter (clear filter) that does not have an optical effect on transmitted light, a cross filter that uses a point light source as a cross-shaped light to emphasize sparkle, and transmits light in a predetermined wavelength range. It may be a bandpass filter or the like, or it may be another filter.
  • a center hole C110 through which the rotation shaft penetrates is formed.
  • the disk 110 is rotationally driven in the circumferential direction around the central hole C110.
  • the disk 120 is provided with a polarizing filter 121 and two filters 122 and 123.
  • the polarizing filter 121 is formed in a U shape having a predetermined width in the circumferential direction of the disk 120.
  • the filters 122 and 123 are formed in the same shape (a circular shape having a D-cut notch in part), and are arranged along the rotation direction of the disk 120.
  • the polarizing filter 121 is a polarizer (filter) that converts transmitted light into linearly polarized light in a predetermined direction.
  • the filters 122 and 123 are arbitrary filters of different types other than the polarizing filter.
  • the filters 122 and 123 are, for example, a transparent filter (clear filter) that does not have an optical effect on the light transmitted through itself, a cross filter that uses a point light source as a cross-shaped light to emphasize sparkle, and a predetermined wavelength range. It may be a bandpass filter or the like that transmits light, or it may be another filter.
  • the filters 122 and 123 may be configured by the same type of filters as any of the filters 112 and 115, respectively, or may be configured by filters of different types.
  • a central hole C120 through which the rotation axis penetrates is formed at the center of the disk 120.
  • the disk 120 is rotationally driven in the circumferential direction around the central hole C120.
  • the polarizing filter 111 moves relatively along the circumferential direction of the polarizing filter 121.
  • the polarizing filter 121 changes its position in the rotational direction while maintaining the state of being superimposed on the polarizing filter 111 by the rotational drive of the disk 120.
  • the polarizing filter 111 moves from one end to the other in the circumferential direction of the polarizing filter 121 while being superimposed on the polarizing filter 121.
  • the polarizing filter 111 when the disk 120 is rotationally driven from the state of the disks 110-1 and 120-1 to the state of the disks 110-3 and 120-3 while the disk 110 is fixed, the polarizing filter 111 is used.
  • the overlap between the polarizing filter 121 and the polarizing filter 121 changes the relative angle between the polarization direction of the polarizing filter 111 and the polarization direction of the polarizing filter 121, which are shown in a striped pattern, from a state perpendicular to each other to a state horizontal to each other.
  • the transmittance of light on the effective light range ERA through which the effective light passes to the image sensor changes continuously.
  • the transmitted light of the polarizing filter 111 and the polarizing filter 121 is the darkest (the transmittance is the lowest).
  • the transmitted light of the polarizing filter 111 and the polarizing filter 121 becomes the brightest (the transmittance becomes the highest).
  • the filter unit 100 can realize a continuously variable ND filter in which the transmittance is continuously variable by rotationally driving the disk 120. That is, the filter unit 100 includes a continuously variable ND filter including a polarizing filter 111 and a polarizing filter 121.
  • the filter unit 100 can switch the position where the incident light to the image sensor is transmitted, that is, the type of the filter arranged on the effective light range ERA.
  • the discs 110 and 120 are rotationally driven, and the discs 110-5 and 120-5 are driven through the states of the discs 110-4 and 120-4.
  • the filter arranged on the effective light range ERA is switched from the continuously variable ND filter (polarizing filter 111 and polarizing filter 121) to another filter such as a clear filter.
  • the filter unit 100 can more easily switch the filter by rotationally driving the disk 110 and the disk 120.
  • the filter unit 100 can more easily continuously change the transmittance of the ND filter and switch the filter, and by extension, more preferably use the ND filter having a continuously variable transmittance. Can be realized.
  • the filter unit 100 has two discs, a disc 110 and a disc 120, but the number of discs possessed by the filter unit 100 is arbitrary and may be one or three or more. It may be. Further, the number and types of filters formed on each disk are arbitrary, and the size and shape of each filter are also arbitrary.
  • the disks 110 and 120 included in the filter unit 100 can have the same configuration as the disks included in the filter unit disclosed in Patent Document 1 filed by the applicant.
  • FIG. 5 is a diagram showing a configuration example of the filter unit 100 as seen from the subject side.
  • a center gear G110 is formed at the center of the disc 110 provided on the subject side of the filter unit 100 so that the surface of the disc 110 on the subject side protrudes.
  • a plurality of gears 172, 173, 174 are provided, which rotate by meshing with the motor gear 171 attached to the rotating shaft of the motor 140 and transmit the driving force transmitted from the motor gear 171 to the central gear G110. Be done. Further, inside the gearbox 130, a rotary encoder gear 175 attached to a rotary encoder (not shown) that rotates by meshing with the gear 172 and detects the rotation angle of the disk 110 is provided.
  • the central gear G110 that is, the disk 110
  • the rotary encoder gear 175 make one rotation when the motor gear 171 makes one rotation.
  • FIG. 6 is a diagram showing a configuration example of the filter unit 100 as seen from the image sensor side.
  • an outer peripheral gear G120 is formed on the outer peripheral portion of the disk 120 provided on the image sensor side of the filter unit 100.
  • gearbox 130 rotates by engaging with a motor gear (not shown) attached to the rotating shaft of the motor 150, and by engaging with the outer peripheral gear G120, the driving force transmitted from the motor gear is transmitted to the outer peripheral gear G120.
  • a drive gear 181 is provided.
  • the diameter of the drive gear 181 is sufficiently smaller than the diameter of the disc 120 (outer peripheral gear G120). For example, when the motor gear rotates 6.7 times, the outer peripheral gear G120 makes one rotation.
  • the configuration in which the force is applied to the outer peripheral portion of the disc has a higher reduction ratio than the configuration in which the force is applied to the inner peripheral portion of the disc as shown in FIG. It is possible to reduce the influence of the above and perform more accurate angle control.
  • a braking mechanism 190 that generates a braking force against the rotation of the disc 120 may be provided on the outer peripheral portion of the disc 120.
  • a rotary damper (damper gear) 191 that meshes with the outer peripheral gear G120 is provided inside the gearbox 130.
  • the rotary damper 191 may mesh with the outer peripheral gear G120 at a predetermined position on the outer peripheral portion of the disc 120, and secures a space for providing the braking mechanism 190 as compared with a configuration in which a force is applied to the inner peripheral portion of the disc. It is easy to do so, and the braking mechanism 190 can be provided with a higher degree of freedom.
  • the rotation angle of the disc 110 is detected by the rotary encoder, whereas the rotation angle of the disc 120 is detected by the optical encoder.
  • a code wheel 210 is provided on the outer edge of the surface of the disk 120 on the image sensor side, and an optical encoder 220 is provided at a predetermined position P220 on the code wheel 210. Be placed.
  • the chord wheel 210 has slits in which reflective surfaces and non-reflective surfaces are alternately arranged so as to go around the outer edge of the disc 120.
  • the optical encoder 220 detects the rotational position of the disc 120 from the slit of the chord wheel 210.
  • the optical encoder 220 has a light emitting element and a light receiving element, and the light receiving element receives the reflected light reflected by the light from the light emitting element on the reflecting surface of the slit of the chord wheel 210, so that the disk 120 The rotation position of can be detected. That is, the optical encoder 220 is configured as a reflective optical encoder.
  • the optical encoder 220 when configured as a transmissive optical encoder, diffused reflection of light from the light emitting element may occur between the disk 110 and the disk 120, and the light from the light emitting element may enter the image sensor. be.
  • the optical encoder 220 as a reflective optical encoder, the light from the light emitting element enters the image sensor without causing diffused reflection of the light from the light emitting element between the disk 110 and the disk 120. You can avoid that.
  • the position P220 where the optical encoder 220 is arranged is set to a position separated by a predetermined distance from the effective light range ERA through which the effective light to the image sensor passes. Specifically, the optical encoder 220 is arranged at a position where the light from the light emitting element does not propagate to the polarizing filter 121 arranged on the effective light range ERA.
  • the optical encoder even when the disk 120 is in the state where the transmittance of the continuously variable ND filter is the lowest (the state of the disk 120-1 in FIG. 4).
  • the 220 is arranged so as to be located away from the polarizing filter 121. With such a configuration, it is possible to prevent the light from the light emitting element from entering the image sensor.
  • the chord wheel 210 is formed within a range that does not block the effective light rays. That is, the widths of the polarizing filter 121 and the outer frame of the filters 122 and 123 on the disk 120 can be increased so as not to overlap the effective light range ERA. In particular, in recent years, since the aspect ratio of an image is mainly 16: 9, the width of the effective light range ERA in the vertical direction can be narrowed.
  • the shapes of the filters 122 and 123 are circular with a D-cut notch on the outer edge side thereof. As a result, the width of the frame of the disc 120 can be increased to a certain extent, and an area for arranging the chord wheel 210 can be secured.
  • the optical encoder 220 is configured as an incremental type optical encoder that detects a relative value (how much the rotation is).
  • the cord wheel 210 is provided with an origin 230, and the position is read by rotating the disk 120 for one round when the power of the filter unit 100 is turned on.
  • the disk 120 may be rotationally driven so that the position of the origin 230 when the power of the filter unit 100 is turned off is stored and the position of the origin 230 is read earlier when the power of the filter unit 100 is turned on. ..
  • the origin 230 of the chord wheel 210 can be arranged at any position.
  • the origin 230 of the chord wheel 210 may be arranged at a rotation position where none of the plurality of filters is arranged on the effective light range ERA. Specifically, as shown in FIG. 10, when the filter arranged on the effective light range ERA is in a state of switching from a continuously variable ND filter to another filter (state of disk 120-4 in FIG. 4).
  • the origin 230a of the chord wheel 210 may be arranged at the position P220 of the optical encoder 220.
  • the origin 230 of the chord wheel 210 may be arranged at a rotation position where any one of the plurality of filters is arranged on the effective light range ERA. Specifically, as shown in FIG. 11, the filter arranged on the effective light range ERA is in a state where the transmittance of the continuously variable ND filter is changed (the state of the disk 120-2 in FIG. 4). At some point, the origin 230b of the code wheel 210 may be located at position P220 of the optical encoder 220.
  • the switching of the filter by the filter unit 100 and the change of the transmittance of the continuously variable ND filter can be controlled electrically.
  • electric control, remote operation, micro control, automatic exposure compensation function, depth of field control function linked with iris, etc. can be realized. Further, since it can be linked with the image quality correction of the camera, it is also possible to correct the color tone according to the light amount adjustment.
  • FIG. 12 is a block diagram showing a functional configuration example of the filter unit 100.
  • the filter unit 100 includes a control unit 401, a D / A conversion unit 411, an amplification unit 412, a motor 413, a position detection unit 414, and an A / D conversion unit 415. , D / A conversion unit 421, amplification unit 422, motor 423, position detection unit 424, and counter (COUNTER) 425.
  • the disks 110 and 120 can adopt, for example, the configuration described above.
  • the control unit 401 controls each unit of the filter unit 100.
  • the control unit 401 controls the rotational drive of the disk 110 and the disk 120 via the motor 413 and the motor 423, and sets the posture in the rotational direction to a desired posture.
  • control unit 401 supplies a control signal for controlling the orientation of the disk 110 in the rotational direction to the D / A conversion unit 411, and the position detection signal obtained based on the control signal is transmitted from the A / D conversion unit 415. get.
  • the control unit 401 grasps the current posture of the disk 110 in the rotation direction based on the acquired position detection signal value, and supplies a new control signal to the D / A conversion unit 411 according to the grasped posture. ..
  • control unit 401 supplies a control signal for controlling the posture of the disk 120 in the rotation direction to the D / A conversion unit 421, and acquires a count value obtained based on the control signal from the counter 425.
  • the control unit 401 grasps the current posture of the disk 120 in the rotation direction based on the acquired count value, and supplies a new control signal to the D / A conversion unit 421 according to the grasped posture.
  • the D / A conversion unit 411 converts the control signal of the digital signal supplied from the control unit 401 into an analog signal, and supplies the control signal of the analog signal to the amplification unit 412.
  • the amplification unit 412 amplifies the control signal supplied from the D / A conversion unit 411 and supplies it to the motor 413.
  • the motor 413 corresponds to the motor 140 described above, and drives the disk 110 to rotate around the center thereof in response to the control signal supplied from the amplification unit 412.
  • the position detection unit 414 detects the posture of the disk 110 in the rotation direction. For example, the position detection unit 414 detects the position in the rotation direction, the amount of rotation, the rotation angle, and the like.
  • the position detection unit 414 has a potentiometer.
  • the potentiometer is an element that converts the rotation angle of the disk 110 into a voltage.
  • the position detection unit 414 uses this potentiometer to generate an analog signal having a voltage corresponding to the rotation angle of the disk 110, and supplies the analog signal to the A / D conversion unit 415.
  • the A / D conversion unit 415 converts the analog signal supplied from the position detection unit 414 into a digital signal and supplies it to the control unit 401.
  • the control unit 401 obtains the posture (rotation angle) of the disk 110 in the rotation direction from the signal level of the digital signal from the A / D conversion unit 415.
  • control unit 401 feeds back the detection result obtained by the position detection unit 414, controls the rotational drive of the disk 110 via the motor 413 based on the detection result, and controls the rotational drive of the disk 110 in the rotational direction thereof.
  • the posture can be set to the desired posture. Therefore, the control unit 401 can control the posture of the disk 110 in the rotation direction with higher accuracy.
  • the D / A conversion unit 421 converts the control signal of the digital signal supplied from the control unit 401 into an analog signal, and supplies the control signal of the analog signal to the amplification unit 422.
  • the amplification unit 422 amplifies the control signal supplied from the D / A conversion unit 421 and supplies it to the motor 423.
  • the motor 423 corresponds to the motor 150 described above, and drives the disk 120 to rotate around the center thereof in response to the control signal supplied from the amplification unit 422.
  • the position detection unit 424 detects the posture of the disc 120 in the rotation direction. For example, the position detection unit 424 detects the position in the rotation direction, the amount of rotation, the rotation angle, and the like. For example, the position detection unit 424 has the above-mentioned optical encoder 220.
  • the optical encoder 220 irradiates the disc 120 with a predetermined light, and detects a slit (reflection surface) of the chord wheel 210 formed on the disc 120.
  • the optical encoder 220 outputs the slit detection result as a pulse wave. That is, the position detection unit 424 supplies the counter 425 with pulse waves corresponding to the number of slits detected by the optical encoder 220.
  • the counter 425 counts the number of pulses included in the signal (pulse wave) supplied from the position detection unit 424, that is, the number of detected slits.
  • the counter 425 supplies a signal indicating the count value to the control unit 401.
  • the control unit 401 obtains the posture (rotation angle) of the disk 120 in the rotation direction based on the count value from the counter 425, that is, the number of detected slits.
  • control unit 401 feeds back the detection result obtained by the position detection unit 424, controls the rotational drive of the disk 120 via the motor 423 based on the detection result, and controls the rotational drive of the disk 120 in the rotational direction thereof.
  • the posture can be set to the desired posture. Therefore, the control unit 401 can control the posture of the disc 120 in the rotation direction with higher accuracy.
  • the continuously variable ND filter of the filter unit 100 is composed of a plurality of polarizing filters. Due to the characteristics of polarization, such a continuously variable ND filter has a relationship (relative angle characteristics in the polarization direction) between the relative angles of the two polarizing directions and the light intensity, as shown in FIG. 13, for example.
  • a relationship relative angle characteristics in the polarization direction
  • 45 °
  • about 4.3 °. That is, in the range where the light intensity is small, the light intensity changes greatly with a small angle change, so that a minute angle control is required.
  • the filter unit 100 can electrically control the posture of each disk in the rotation direction by using the feedback detection result.
  • the filter unit 100 can perform more accurate angle control by the outer peripheral gear G120.
  • the filter unit 100 can control the posture of each disc in the rotation direction with higher accuracy.
  • the position detection unit 414 detects the rotation angle of the disc 110 using a potentiometer, and the position detection unit 424 detects the rotation angle of the disc 120 using an optical encoder.
  • the method of detecting the rotation angle of is arbitrary and is not limited to these examples.
  • a rotary sensor (variable resistor) or a magnetic encoder that detects a pattern by a magnetic change may be used.
  • Rotary sensors are relatively inexpensive, and optical encoders and magnetic encoders are capable of highly accurate detection.
  • the filter unit 100 may be arranged in front of the lens device (subject side).
  • the deterioration rate of the filter unit 100 may increase.
  • light rays having a large angle with respect to the incident surface also pass through, shading is likely to occur.
  • the filter unit 100 may be built in the imaging device (camera). Specifically, a filter unit 100 (polarizing filter) may be provided between the image sensor, a UV cut filter that blocks ultraviolet components contained in incident light, and an optical LPF (Low Pass Filter).
  • polarizing filter polarizing filter
  • UV cut filter that blocks ultraviolet components contained in incident light
  • optical LPF Low Pass Filter
  • the light incident on the filter unit 100 becomes substantially parallel light, so that the occurrence of shading due to the incident angle dependence can be suppressed. Further, since the light from the subject is incident on the filter unit 100 via the lens device and the UV cut filter, the ultraviolet component of the transmitted light of the filter unit 100 is significantly reduced, and the deterioration of the filter unit 100 due to the ultraviolet rays is deteriorated. It can be suppressed.
  • FIG. A can be applied to a configuration in which the polarizing filter is attached to the subject side of a medium-sized or small lens device or a configuration in which the polarizing filter is attached to a matte box, but it is attached to a large lens device. It is not realistic to have a possible polarizing filter.
  • the polarizing filter since the polarizing filter is built in the imaging device, it can be applied to any configuration regardless of the size of the lens device.
  • the optical LPF may not be provided in the image pickup apparatus incorporating the filter unit 100.
  • the continuously variable ND filter described above can be realized by combining the two polarizing filters.
  • the light from the subject is linearly polarized light
  • the light from the subject can be cut or transmitted by the combination of the transparent filter (clear filter) and the polarizing filter. ..
  • the transparent filter transparent filter
  • the polarizing filter ..
  • the filter unit 100 polarizing filter
  • the filter unit 100 may be provided by the image pickup apparatus or may be arranged on the image sensor side of the lens apparatus attached to the image pickup apparatus.
  • the filter unit 100 polarizing filter
  • the filter unit 100 is built in an adapter mounted between the lens device and the imaging device, or as shown in FIG. B, the filter unit is a filter unit.
  • the filter unit In the attached lens device, it may be built in so as to be arranged on the image sensor side of the UV cut filter or the optical LPF.
  • FIG. 17 is a block diagram showing a configuration example of an imaging system including an imaging device according to an embodiment of the signal processing device according to the present disclosure.
  • the imaging system of FIG. 17 is, for example, a live camera system for a broadcasting station, and is used indoors of a broadcasting station or outdoors in the case of sports broadcasting.
  • the imaging system of FIG. 17 includes an imaging device 310, a lens device 320, a CCU (camera control unit) 330, and a remote controller 340.
  • the lens device 320 is detachably attached to the image pickup device 310 via a mount portion (not shown).
  • the imaging device 310 equipped with the lens device 320 is mainly used by a user as a cameraman.
  • the CCU 330 and the remote controller 340 are arranged in a room separate from the studio in the broadcasting station, or in the room of the relay vehicle in the case of outdoor use, and are mainly used by the user as a video engineer.
  • a live camera system for a broadcasting station is generally configured to include a plurality of sets of an imaging device 310, a CCU 330, and a remote controller 340, but in the example of FIG. 17, only one set out of the plurality of sets is shown. ing.
  • the lens device 320 is, for example, a lens device compliant with the B4 mount standard, and includes a lens 321 such as a cover lens, a zoom lens, and a focus lens, and an iris (optical diaphragm) as optical components.
  • the lens device 320 includes an iris drive unit 322 having an actuator such as a motor for driving the iris.
  • the lens device 320 collects the light (incident light) from the subject by the lens 321 in the state of being attached to the image pickup device 310, and guides the light (incident light) to the image pickup device 310 via the iris.
  • the image pickup apparatus 310 includes the filter unit 100, the image sensor 311 and the amplification unit 312, the image processing unit 313, and the control unit 314 described above.
  • the incident light from the lens device 320 is received by the image sensor 311 via the filter unit 100.
  • the image sensor 311 is, for example, an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
  • the image sensor 311 photoelectrically converts the received light, and performs, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, A / D conversion processing, etc. on the electric signal obtained by the photoelectric conversion. conduct.
  • the obtained image signal (image data) as digital data is supplied to the amplification unit 312.
  • the amplification unit 312 amplifies the image signal from the image sensor 311 based on the gain instructed by the control unit 314, and supplies the image signal to the image processing unit 313.
  • the amplification of the image signal by the amplification unit 312 is performed, for example, as amplification of the luminance value. For example, when the gain is 1, the signal amplification factor by the amplification unit 312 is 1, and the brightness of the captured image does not change before and after the processing of the amplification unit 4.
  • the image processing unit 313 performs image processing on the image signal from the amplification unit 312. Specifically, the image processing unit 313 performs various image processing such as color mixing correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, and YC conversion on the image signal.
  • the image signal that has undergone image processing is output to the CCU 330.
  • the CCU 330 is configured to be capable of performing wired communication or wireless communication with the image pickup device 310 via a cable.
  • the CCU 330 passes the image signal output from the image pickup device 310 to, for example, an external device such as an image editing device (not shown), and controls the image pickup device 310 based on an input signal from the remote controller 340 or the like.
  • the image editing device that processes the image signal from the CCU 330 may switch (switch) the images captured from the plurality of image pickup devices 310, or may switch the images captured from the plurality of captured images. It is possible to synthesize.
  • the control unit 314 of the image pickup apparatus 310 includes, for example, a microcomputer (arithmetic processing apparatus) including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. ..
  • the control unit 314 controls the operation of the image pickup apparatus 310, for example, by executing a process according to a program stored in the ROM.
  • control unit 314 operates the image pickup device 310 (filter unit 100, image sensor 311 and amplification unit 312) and the lens device 320 (iris drive unit 322) based on the operation input from the remote controller 340. To control.
  • FIG. 18 is a perspective view showing an example of an external configuration of the remote controller 340.
  • the remote controller 340 is provided with controls such as a plurality of buttons and knobs.
  • the remote controller 340 is provided with an adjustment operator 340a for adjusting the brightness of the captured image.
  • the adjustment operator 340a is, for example, a knob-type operator, and it is possible to change the indicated value of the brightness of the captured image by the operation of rotating the adjustment operator 340a.
  • the indicated value shows the darkest brightness at the rotation position where the adjustment operator 340a reaches one end
  • the indicated value is the brightest at the rotation position where the adjustment operator 30a reaches the other end.
  • the indicated value changes from one end to the other end (eg, linearly) in a monotonous increase or a monotonous decrease.
  • the adjustment operator 340a is not limited to the knob type operator, and may be another type of operator such as a lever type operator or a slide type operator.
  • the remote controller 340 outputs an indicated value to the CCU 330 according to the operating state of the adjustment operator 340a, specifically, the rotation angle of the adjustment operator 340a.
  • the CCU 330 supplies the indicated value from the remote controller 340 to the control unit 314 of the image pickup apparatus 310. In this way, the control unit 314 receives the change of the indicated value based on the operation of the user (operation on the remote controller 340).
  • the CCU 330 is based on the operation input signal from the remote controller 340 (for example, a signal indicating a value corresponding to the rotation angle of the adjustment operator 340a). It is also possible to adopt a configuration in which an indicated value of brightness is generated and supplied to the control unit 314.
  • an iris is mainly used for adjusting the brightness of a captured image.
  • an aperture value F value
  • control unit 314 adjusts the brightness of the captured image by at least one of the filter unit 100 (continuously variable ND filter) and the iris driven by the iris drive unit 322 in conjunction with the change in the indicated value from the CCU 330. Try to do it.
  • This makes it possible to use the lens with an F value in a range corresponding to the performance of the lens, and by extension, it is possible to realize more preferable use of an ND filter having a continuously variable transmittance.
  • the control unit 314 adjusts the brightness by the filter unit 100 (continuously variable ND filter) (first brightness adjustment) and the brightness adjustment by the iris (first brightness adjustment) according to the change of the indicated value. (Second brightness adjustment) switching control is performed.
  • the remote controller 340 outputs an F value according to the operation state of the adjustment operator 340a, specifically, the rotation angle of the adjustment operator 340a, to the CCU 330 as an instruction value of brightness.
  • the F value may be a value indicating brightness equivalent to the F value according to the change in the effective aperture of the lens due to the drive of the iris, and is not necessarily the value of the F value itself according to the change in the effective aperture of the lens due to the drive of the iris. It does not have to be.
  • the threshold value Fth for the F value as the indicated value of the brightness is set, and the control unit 314 has the first brightness based on the comparison result between the indicated value (F value) and the threshold value Fth. The adjustment and the second brightness adjustment are switched.
  • the threshold value Fth for the F value is set to F5.6.
  • the second brightness adjustment by the iris is performed, and the F value itself corresponding to the indicated value is adjusted.
  • the first brightness adjustment is performed by the continuously variable ND filter, and the brightness equivalent to the F value corresponding to the indicated value is adjusted.
  • the transmittance (dimming rate, hereinafter referred to as ND value) is adjusted so as to realize it.
  • the lower limit of the indicated value for adjusting the brightness by the iris is F5.6, and the iris can be prevented from being narrowed down from F5.6.
  • the process of FIG. 20 is executed, for example, in a state where the brightness of the captured image is adjusted to the brightness corresponding to a predetermined indicated value.
  • step S11 the control unit 314 determines whether or not the indicated value from the CCU 330 has changed. Step S11 is repeated until the indicated value changes, and when it is determined that the indicated value has changed, the process proceeds to step S12.
  • step S12 the control unit 314 determines whether or not the indicated value is smaller than the threshold value Fth.
  • step S12 If it is determined in step S12 that the indicated value is smaller than the threshold value Fth, the process proceeds to step S13.
  • step S13 the control unit 314 adjusts the brightness by the iris (second brightness adjustment) by instructing the iris drive unit 322 to indicate the F value indicated by the indicated value.
  • step S12 determines whether the indicated value is smaller than the threshold value Fth, that is, if the indicated value is larger than the threshold value Fth.
  • the control unit 314 instructs the filter unit 100 to ND value corresponding to the F value indicated by the indicated value, thereby performing brightness adjustment (first brightness adjustment) by the continuously variable ND filter. conduct.
  • the continuously variable ND filter when the indicated value is larger than the threshold value Fth, the brightness is adjusted by the continuously variable ND filter, so that the iris cannot be narrowed down from the threshold value Fth. ..
  • the threshold value Fth is set to F5.6, and when the captured image is an HD image, the threshold value Fth is set to F11 for each image. Small aperture blur can be suppressed.
  • the threshold value Fth it is possible to prevent the iris from being narrowed down too much.
  • the threshold value Fth is set to F2.8, it is possible to suppress the occurrence of ghosts caused by the diaphragm blades of the iris.
  • the image pickup apparatus 310 that adjusts the brightness, it is possible to realize more preferable use of the continuously variable ND filter.
  • the indicated value is smaller than the threshold value Fth, it is possible to darken the captured image by adjusting the shutter speed, but the captured image may become a fluffy image or flicker may occur. It may affect the captured image.
  • the indicated value is smaller than the threshold value Fth, the brightness can be continuously adjusted without affecting the captured image by adjusting the brightness with the continuously variable ND filter. ..
  • the user who operates the remote controller 340 simply operates the adjustment operator 340a without being aware of the switching between the first brightness adjustment and the second brightness adjustment.
  • the brightness of the captured image can be adjusted.
  • the control unit 314 adjusts the brightness by the filter unit 100 (continuously variable ND filter) (first brightness adjustment) and the brightness by the iris (first) according to the change of the indicated value.
  • Second Brightness adjustment and brightness adjustment (third brightness adjustment) switching control is performed by giving a gain according to the indicated value to the captured image.
  • the brightness of the captured image is instructed as the aperture value (F value).
  • the threshold values Fth1 and Fth2 for the F value as the indicated value of the brightness are set, and the control unit 314 sets the threshold value Fth1 and Fth2 based on the comparison result between the indicated value (F value) and the threshold values Fth1 and Fth2.
  • the brightness adjustment of 1, the second brightness adjustment, and the third brightness adjustment are switched.
  • the threshold value Fth1 for the F value is set to F5.6 and the threshold value Fth2 is set to F2.8.
  • the second brightness adjustment by the iris is performed, and the F value itself corresponding to the indicated value is adjusted.
  • the first brightness adjustment is performed by the continuously variable ND filter, and the ND value is adjusted so as to realize the brightness corresponding to the F value corresponding to the indicated value.
  • the third brightness adjustment is performed by giving a gain corresponding to the indicated value to the captured image so as to realize the brightness equivalent to the F value corresponding to the indicated value. The brightness value of the captured image is adjusted.
  • the lower limit of the indicated value for adjusting the brightness by the iris is F5.6
  • the upper limit is F2.8
  • the iris is not narrowed down from F5.6, and is opened from F2.8. You can avoid it.
  • the process of FIG. 22 is executed, for example, in a state where the brightness of the captured image is adjusted to the brightness corresponding to a predetermined indicated value.
  • step S21 the control unit 314 determines whether or not the indicated value from the CCU 330 has changed. Step S21 is repeated until the indicated value changes, and when it is determined that the indicated value has changed, the process proceeds to step S22.
  • step S22 the control unit 314 determines whether or not the indicated value is smaller than the threshold value Fth1.
  • step S22 If it is determined in step S22 that the indicated value is smaller than the threshold value Fth1, the process proceeds to step S23.
  • step S23 the control unit 314 determines whether or not the indicated value is larger than the threshold value Fth2.
  • step S23 If it is determined in step S23 that the indicated value is larger than the threshold value Fth2, the process proceeds to step S24.
  • step S24 the control unit 314 adjusts the brightness by the iris (second brightness adjustment) by instructing the iris drive unit 322 to indicate the F value indicated by the indicated value.
  • step S22 determines whether the indicated value is smaller than the threshold value Fth1 or not a predefined threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not a threshold value Fth1 or not determined in step S22 that the indicated value is smaller than the threshold value Fth1, that is, if the indicated value is larger than the threshold value Fth1, the process proceeds to step S25.
  • step S25 the control unit 314 instructs the filter unit 100 to ND value corresponding to the F value indicated by the indicated value, thereby performing brightness adjustment (first brightness adjustment) by the continuously variable ND filter. conduct.
  • step S23 if it is not determined in step S23 that the indicated value is larger than the threshold value Fth2, that is, if the indicated value is smaller than the threshold value Fth2, the process proceeds to step S26.
  • step S26 the control unit 314 instructs the amplification unit 312 to obtain a gain corresponding to the F value indicated by the indicated value, thereby performing brightness adjustment (third brightness adjustment) by the gain.
  • the continuously variable ND filter when the indicated value is larger than the threshold value Fth1, the brightness is adjusted by the continuously variable ND filter, so that the iris cannot be narrowed down from the threshold value Fth1. ..
  • the brightness is adjusted by the gain, so that the iris cannot be opened from the threshold value Fth2.
  • the user who operates the remote controller 340 does not have to be aware of the switching of the first brightness adjustment, the second brightness adjustment, and the third brightness adjustment.
  • the brightness of the captured image can be adjusted simply by operating the child 340a.
  • the threshold values Fth, Fth1 and Fth2 are based on the image sensor information acquired from the image sensor 311 and the lens information acquired from the lens device 320. It may be set automatically.
  • the image sensor information is, for example, information indicating the size and resolution of the image sensor 311, and the lens information is, for example, information indicating whether or not a lens extender is attached.
  • the threshold value Fth or the threshold value Fth1 (lower limit value). ) Is set to F11.
  • the threshold value Fth or the threshold value Fth1 (Lower limit value) is set to F5.6.
  • the threshold value Fth or the threshold value Fth1 (lower limit value). ) Is set to F5.6.
  • the threshold value Fth or the threshold value Fth1 (Lower limit) is set to F2.8.
  • the lower limit of the F value is set based on the image sensor information and the lens information, so that small aperture blur occurs depending on the size and resolution of the image sensor and whether or not the lens extender is attached. Can be avoided appropriately.
  • the control unit 314 uses the filter unit 100 (continuously variable ND filter) to adjust the brightness by the iris (second brightness adjustment) in conjunction with the change of the indicated value. Only the brightness adjustment (first brightness adjustment) is performed.
  • the brightness of the captured image is instructed, for example, as the amount of light.
  • an iris is mainly used for adjusting the brightness of a captured image.
  • the conventional ND filter has a filter for each light transmittance, and it is difficult to change it continuously.
  • the F value is conventionally changed.
  • the amount of light was adjusted by letting it.
  • 1/64 of the ND value indicates that the amount of light is reduced to 1/64.
  • the captured image is brightened by changing the F value from F11 to F2.8.
  • the depth of field becomes shallow, and for example, a rectangular object deeper than a circular object becomes blurred.
  • the amount of light can be adjusted by continuously changing the ND value (transmittance).
  • the captured image can be brightened by changing the ND value from 1/64 to 1/4.
  • the process of FIG. 24 is executed, for example, in a state where the brightness of the captured image is adjusted to the brightness corresponding to a predetermined indicated value.
  • step S31 the control unit 314 determines whether or not the indicated value from the CCU 330 has changed. Step S31 is repeated until the indicated value changes, and when it is determined that the indicated value has changed, the process proceeds to step S32.
  • step S32 the control unit 314 instructs the filter unit 100 to indicate the ND value indicated by the indicated value, thereby performing brightness adjustment (first brightness adjustment) by the continuously variable ND filter.
  • the iris is fixed, and the brightness adjustment (second brightness adjustment) by the iris is not performed.
  • the F value is fixed when adjusting the amount of light, the resolution and depth of field do not change, so that the burden of focus adjustment by the cameraman and the burden of management work of the video engineer are reduced. be able to.
  • the F value can be set to F4.0, for example, to maximize the performance of the lens, or the maximum aperture (OPEN) can be set to make the depth of field the shallowest. can.
  • the F value when the F value is set to the maximum aperture, the aperture blades of the iris suppress the light beam caused by the aperture, and when the F value is set to a predetermined value between F4.0 and F11, the effect is as an effect. It is also possible to intentionally create light beams according to the number and shape of diaphragm blades.
  • the control unit 314 adjusts the brightness (first brightness) by the filter unit 100 (continuously variable ND filter) so that the brightness becomes constant in conjunction with the change of the indicated value. Adjustment) and brightness adjustment by iris (second brightness adjustment).
  • the depth of field is instructed instead of the brightness of the captured image.
  • control unit 314 changes the brightness of the captured image by one of the first brightness adjustment and the second brightness adjustment in conjunction with the change in the indicated value of the depth of field.
  • the first brightness adjustment and the second brightness adjustment are performed at the same time so as to cancel each other out by the change in the brightness of the captured image by the other.
  • the brightness is adjusted by the iris and the continuously variable ND so that the larger the F value (the iris is narrowed down), the larger the ND value (the higher the transmittance). Brightness adjustment by the filter is performed at the same time.
  • the brightness is adjusted by the iris according to the change in the indicated value, and the change in the brightness of the captured image due to the brightness adjustment by the iris is offset.
  • Brightness is adjusted by a continuously variable ND filter.
  • the brightness is adjusted by the continuously variable ND filter according to the change of the indicated value, and the brightness is adjusted by the continuously variable ND filter.
  • the brightness may be adjusted by the iris so that the change in the brightness of the captured image due to the above is canceled out.
  • the process of FIG. 26 is executed, for example, in a state where the depth of field of the captured image is adjusted to the depth of field corresponding to a predetermined indicated value.
  • step S41 the control unit 314 determines whether or not the indicated value from the CCU 330 has changed. Step S41 is repeated until the indicated value changes, and when it is determined that the indicated value has changed, the process proceeds to step S42.
  • step S42 the control unit 314 adjusts the brightness by the iris (second brightness adjustment) by instructing the filter unit 100 to indicate the F value indicated by the indicated value.
  • step S43 the control unit 314 instructs the filter unit 100 to indicate the ND value (FIG. 25) corresponding to the F value indicated by the indicated value, thereby adjusting the brightness by the continuously variable ND filter (first). Brightness adjustment).
  • step S42 and step S43 are performed in parallel.
  • the depth of field can be adjusted while the brightness is constant, so that the range of production methods in, for example, drama shooting can be expanded.
  • the cameraman is prohibited from changing the ND filter in the camera in the state of receiving the tally signal from the CCU (during on-tary), or the system restricts the change of the ND filter. rice field.
  • control unit 314 can perform the brightness adjustment (first brightness adjustment) by the filter unit 100 (continuously variable ND filter) even when the image pickup apparatus 310 is on-territory. And.
  • control unit 314 that realizes the brightness adjustment of this example will be described with reference to the flowchart of FIG. 27.
  • step S51 the control unit 314 determines whether or not the image pickup apparatus 310 is on-terly (a state in which the tally signal is being received from the CCU 330). If it is not determined in step S51 that it is on-territory, the process proceeds to step S52.
  • step S52 the control unit 314 enables the filter unit 100 to switch from the continuously variable ND filter to the clear filter. As long as the image pickup apparatus 310 is not on-territory, there is no problem even if the filters are switched so that the frame between the filters is reflected.
  • step S53 the control unit 314 enables the filter unit 100 to adjust the brightness of the filter unit 100 by a continuously variable ND filter.
  • step S54 the control unit 314 determines whether or not the indicated value from the CCU 330 has changed. Step S54 is repeated until the indicated value changes, and when it is determined that the indicated value has changed, the process proceeds to step S55.
  • step S55 the control unit 314 instructs the filter unit 100 to indicate the F value indicated by the indicated value, thereby performing brightness adjustment (first brightness adjustment) by the continuously variable ND filter.
  • step S51 determines whether it is on-territory. If it is determined in step S51 that it is on-territory, the process proceeds to step S56.
  • step S56 the control unit 314 prohibits the filter unit 100 from switching from the continuously variable ND filter to the clear filter. As a result, it is possible to prevent the frame between the filters from being reflected by switching from the continuously variable ND filter to the clear filter while the image pickup apparatus 310 is on-territory.
  • step S53 the brightness of the filter unit 100 can be adjusted by a continuously variable ND filter.
  • the ND filter can be changed even in the on-territory camera, and the photographer can perform the shooting work without worrying about the conventional restrictions.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 28 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a bus 904.
  • An input / output interface 905 is further connected to the bus 904.
  • An input unit 906, an output unit 907, a storage unit 908, a communication unit 909, and a drive 910 are connected to the input / output interface 905.
  • the input unit 906 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 909 includes a network interface and the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 908 into the RAM 903 via the input / output interface 905 and the bus 904 and executes the above-described series. Is processed.
  • the program executed by the computer (CPU901) can be recorded and provided on the removable media 911 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 908 via the input / output interface 905 by mounting the removable media 911 in the drive 910. Further, the program can be received by the communication unit 909 and installed in the storage unit 908 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 902 or the storage unit 908.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure includes, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, a set in which further functions are added to the unit, and the like. It can also be implemented as a part of the configuration of.
  • LSI Large Scale Integration
  • the technology according to the present disclosure can also be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • FIG. 29 is a diagram schematically showing the overall configuration of the operating room system 5100 to which the technique according to the present disclosure can be applied.
  • the operating room system 5100 is configured by connecting a group of devices installed in the operating room in a coordinated manner via an audiovisual controller (AV Controller) 5107 and an operating room control device 5109.
  • AV Controller audiovisual controller
  • FIG. 29 various devices can be installed in the operating room.
  • various device groups 5101 for endoscopic surgery a sealing camera 5187 provided on the ceiling of the operating room to capture the operator's hand, and an operating room provided on the ceiling of the operating room.
  • An operating room camera 5189 that captures the entire state, a plurality of display devices 5103A to 5103D, a recorder 5105, a patient bed 5183, and an illumination 5191 are illustrated.
  • the device group 5101 belongs to the endoscopic surgery system 5113, which will be described later, and includes an endoscope, a display device that displays an image captured by the endoscope, and the like.
  • Each device belonging to the endoscopic surgery system 5113 is also referred to as a medical device.
  • the display devices 5103A to 5103D, the recorder 5105, the patient bed 5183, and the lighting 5191 are devices provided in the operating room, for example, separately from the endoscopic surgery system 5113.
  • Each of these devices that does not belong to the endoscopic surgery system 5113 is also referred to as a non-medical device.
  • the audiovisual controller 5107 and / or the operating room controller 5109 controls the operations of these medical devices and non-medical devices in cooperation with each other.
  • the audiovisual controller 5107 comprehensively controls processing related to image display in medical devices and non-medical devices.
  • the device group 5101, the sealing camera 5187, and the operating room camera 5189 have a function of transmitting information to be displayed during the operation (hereinafter, also referred to as display information).
  • It can be a device (hereinafter, also referred to as a source device).
  • the display devices 5103A to 5103D may be devices for outputting display information (hereinafter, also referred to as output destination devices).
  • the recorder 5105 may be a device corresponding to both the source device and the output destination device.
  • the audiovisual controller 5107 controls the operation of the source device and the output destination device, acquires display information from the source device, and transmits the display information to the output destination device for display or recording.
  • the displayed information includes various images captured during the operation, various information related to the operation (for example, physical information of the patient, past test results, information on the surgical procedure, etc.).
  • the audiovisual controller 5107 can be transmitted from the device group 5101 as display information about an image of the surgical site in the body cavity of the patient captured by the endoscope.
  • the sealing camera 5187 may transmit information about the image at the operator's hand captured by the sealing camera 5187 as display information.
  • the operating room camera 5189 may transmit as display information information about an image showing the state of the entire operating room captured by the operating room camera 5189.
  • the audiovisual controller 5107 acquires information about the image captured by the other device from the other device as display information. You may.
  • the recorder 5105 records information about these images captured in the past by the audiovisual controller 5107.
  • the audiovisual controller 5107 can acquire information about the image captured in the past from the recorder 5105 as display information.
  • various information about the operation may be recorded in advance in the recorder 5105.
  • the audiovisual controller 5107 causes at least one of the display devices 5103A to 5103D, which is the output destination device, to display the acquired display information (that is, an image taken during the operation and various information related to the operation).
  • the display device 5103A is a display device suspended from the ceiling of the operating room
  • the display device 5103B is a display device installed on the wall surface of the operating room
  • the display device 5103C is in the operating room. It is a display device installed on a desk
  • the display device 5103D is a mobile device having a display function (for example, a tablet PC (Personal Computer)).
  • the operating room system 5100 may include a device outside the operating room.
  • the device outside the operating room may be, for example, a server connected to a network constructed inside or outside the hospital, a PC used by medical staff, a projector installed in a conference room of a hospital, or the like.
  • the audiovisual controller 5107 can also display display information on a display device of another hospital via a video conference system or the like for telemedicine.
  • the operating room control device 5109 comprehensively controls processing other than processing related to image display in non-medical equipment.
  • the operating room control device 5109 controls the drive of the patient bed 5183, the ceiling camera 5187, the operating room camera 5189, and the lighting 5191.
  • the operating room system 5100 is provided with a centralized operation panel 5111, and the user can give an instruction regarding image display to the audiovisual controller 5107 or the operating room control device 5109 via the centralized operation panel 5111. On the other hand, instructions on the operation of non-medical devices can be given.
  • the centralized operation panel 5111 is configured by providing a touch panel on the display surface of the display device.
  • FIG. 30 is a diagram showing a display example of an operation screen on the centralized operation panel 5111.
  • FIG. 30 shows, as an example, an operation screen corresponding to a case where the operating room system 5100 is provided with two display devices as output destination devices.
  • the operation screen 5193 is provided with a source selection area 5195, a preview area 5197, and a control area 5201.
  • the source device provided in the operating room system 5100 and the thumbnail screen showing the display information possessed by the source device are linked and displayed.
  • the user can select the display information to be displayed on the display device from any of the source devices displayed in the source selection area 5195.
  • a preview of the screen displayed on the two display devices which are the output destination devices, is displayed.
  • four images are displayed in PinP on one display device.
  • the four images correspond to the display information transmitted from the source device selected in the source selection area 5195.
  • one is displayed relatively large as the main image and the remaining three are displayed relatively small as the sub-image.
  • the user can switch the main image and the sub image by appropriately selecting the area in which the four images are displayed.
  • a status display area 5199 is provided below the area where the four images are displayed, and the status related to the surgery (for example, the elapsed time of the surgery, the physical information of the patient, etc.) is appropriately displayed in the area. obtain.
  • the control area 5201 includes a source operation area 5203 in which GUI (Graphical User Interface) components for operating the source device are displayed, and GUI components for operating the output destination device. Is provided with an output destination operation area 5205 and.
  • GUI Graphic User Interface
  • the source operation area 5203 is provided with GUI components for performing various operations (pan, tilt, zoom) on the camera in the source device having an imaging function. The user can operate the operation of the camera in the source device by appropriately selecting these GUI components.
  • the source device selected in the source selection area 5195 is a recorder (that is, in the preview area 5197, an image recorded in the past is displayed on the recorder.
  • the source operation area 5203 may be provided with a GUI component for performing operations such as playing, stopping, rewinding, and fast-forwarding the image.
  • GUI parts for performing various operations for the display on the display device which is the output destination device are provided. It is provided. The user can operate the display on the display device by appropriately selecting these GUI components.
  • the operation screen displayed on the centralized operation panel 5111 is not limited to the illustrated example, and the user can use the audiovisual controller 5107 and the operating room control device 5109 provided in the operating room system 5100 via the centralized operation panel 5111. Operational inputs to each device that can be controlled may be possible.
  • FIG. 31 is a diagram showing an example of an operation in which the operating room system described above is applied.
  • the ceiling camera 5187 and the operating room camera 5189 are provided on the ceiling of the operating room, and can photograph the hand of the surgeon (doctor) 5181 who treats the affected part of the patient 5185 on the patient bed 5183 and the state of the entire operating room. Is.
  • the sealing camera 5187 and the operating field camera 5189 may be provided with a magnification adjusting function, a focal length adjusting function, a shooting direction adjusting function, and the like.
  • the illumination 5191 is provided on the ceiling of the operating room and illuminates at least the hands of the surgeon 5181.
  • the illumination 5191 may be capable of appropriately adjusting the amount of irradiation light, the wavelength (color) of the irradiation light, the irradiation direction of the light, and the like.
  • the endoscopic surgery system 5113, patient bed 5183, sealing camera 5187, operating room camera 5189 and lighting 5191 are via an audiovisual controller 5107 and an operating room control device 5109 (not shown in FIG. 31), as shown in FIG. Are connected so that they can cooperate with each other.
  • a centralized operation panel 5111 is provided in the operating room, and as described above, the user can appropriately operate these devices existing in the operating room through the centralized operation panel 5111.
  • the endoscopic surgery system 5113 includes an endoscope 5115, other surgical tools 5131, a support arm device 5141 that supports the endoscope 5115, and various devices for endoscopic surgery. It is composed of a cart 5151 on which the above is mounted.
  • troccas 5139a to 5139d are punctured into the abdominal wall. Then, from the troccers 5139a to 5139d, the lens barrel 5117 of the endoscope 5115 and other surgical tools 5131 are inserted into the body cavity of the patient 5185.
  • a pneumoperitoneum tube 5133, an energy treatment tool 5135, and forceps 5137 are inserted into the body cavity of patient 5185.
  • the energy treatment tool 5135 is a treatment tool that cuts and peels tissue, seals a blood vessel, or the like by using a high-frequency current or ultrasonic vibration.
  • the surgical tool 5131 shown is only an example, and as the surgical tool 5131, various surgical tools generally used in endoscopic surgery such as a sword and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5185 taken by the endoscope 5115 is displayed on the display device 5155. While viewing the image of the surgical site displayed on the display device 5155 in real time, the surgeon 5181 uses the energy treatment tool 5135 and forceps 5137 to perform a procedure such as excising the affected area. Although not shown, the pneumoperitoneum tube 5133, the energy treatment tool 5135, and the forceps 5137 are supported by the surgeon 5181 or an assistant during the operation.
  • the support arm device 5141 includes an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 is composed of joint portions 5147a, 5147b, 5147c, and links 5149a, 5149b, and is driven by control from the arm control device 5159.
  • the endoscope 5115 is supported by the arm portion 5145, and its position and posture are controlled. Thereby, the stable position of the endoscope 5115 can be fixed.
  • the endoscope 5115 is composed of a lens barrel 5117 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 5185, and a camera head 5119 connected to the base end of the lens barrel 5117.
  • the endoscope 5115 configured as a so-called rigid mirror having a rigid barrel 5117 is illustrated, but the endoscope 5115 is configured as a so-called flexible mirror having a flexible barrel 5117. May be good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 5117.
  • a light source device 5157 is connected to the endoscope 5115, and the light generated by the light source device 5157 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5117, and is an objective. It is irradiated toward the observation target in the body cavity of the patient 5185 through the lens.
  • the endoscope 5115 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an imaging element are provided inside the camera head 5119, and the reflected light (observation light) from the observation target is focused on the imaging element by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 5153.
  • the camera head 5119 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • the camera head 5119 may be provided with a plurality of image pickup elements.
  • a plurality of relay optical systems are provided inside the lens barrel 5117 in order to guide the observation light to each of the plurality of image pickup elements.
  • the CCU 5153 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 5115 and the display device 5155. Specifically, the CCU 5153 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), on the image signal received from the camera head 5119. CCU5153 provides the image signal subjected to the image processing to the display device 5155. Further, the audiovisual controller 5107 shown in FIG. 29 is connected to the CCU 5153. CCU5153 also provides the image processed image signal to the audiovisual controller 5107.
  • the CCU 5153 transmits a control signal to the camera head 5119 and controls the driving thereof.
  • the control signal may include information about imaging conditions such as magnification and focal length.
  • the information regarding the imaging condition may be input via the input device 5161 or may be input via the centralized operation panel 5111 described above.
  • the display device 5155 displays an image based on the image signal processed by the CCU 5153 under the control of the CCU 5153.
  • the endoscope 5115 is compatible with high-resolution shooting such as 4K (3840 horizontal pixels x 2160 vertical pixels) or 8K (7680 horizontal pixels x 4320 vertical pixels), and / or 3D display.
  • the display device 5155 a device capable of displaying a high resolution and / or a device capable of displaying in 3D can be used.
  • the display device is compatible with high-resolution shooting such as 4K or 8K, a more immersive feeling can be obtained by using a display device 5155 having a size of 55 inches or more.
  • a plurality of display devices 5155 having different resolutions and sizes may be provided depending on the application.
  • the light source device 5157 is composed of, for example, a light source such as an LED (light LED diode), and supplies irradiation light for photographing the surgical site to the endoscope 5115.
  • a light source such as an LED (light LED diode)
  • the arm control device 5159 is composed of a processor such as a CPU, and operates according to a predetermined program to control the drive of the arm portion 5145 of the support arm device 5141 according to a predetermined control method.
  • the input device 5161 is an input interface for the endoscopic surgery system 5113.
  • the user can input various information and input instructions to the endoscopic surgery system 5113 via the input device 5161.
  • the user inputs various information related to the surgery, such as physical information of the patient and information about the surgical procedure, via the input device 5161.
  • the user gives an instruction to drive the arm portion 5145 via the input device 5161 and an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5115.
  • Input an instruction to drive the energy treatment tool 5135, and the like.
  • the type of the input device 5161 is not limited, and the input device 5161 may be various known input devices.
  • the input device 5161 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5171 and / or a lever and the like can be applied.
  • the touch panel may be provided on the display surface of the display device 5155.
  • the input device 5161 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various inputs are made according to the user's gesture and line of sight detected by these devices. Is done. Further, the input device 5161 includes a camera capable of detecting the movement of the user, and various inputs are performed according to the gesture and the line of sight of the user detected from the image captured by the camera. Further, the input device 5161 includes a microphone capable of picking up the user's voice, and various inputs are performed by voice through the microphone.
  • a glasses-type wearable device or an HMD Head Mounted Display
  • the input device 5161 By configuring the input device 5161 to be able to input various information in a non-contact manner in this way, a user belonging to a clean area (for example, an operator 5181) can operate a device belonging to a dirty area in a non-contact manner. Is possible. In addition, since the user can operate the device without taking his / her hand off the surgical tool that he / she has, the convenience of the user is improved.
  • the treatment tool control device 5163 controls the drive of the energy treatment tool 5135 for cauterizing, incising, sealing blood vessels, and the like of tissues.
  • the pneumoperitoneum device 5165 has a gas in the body cavity through the pneumoperitoneum tube 5133 in order to inflate the body cavity of the patient 5185 for the purpose of securing the field of view by the endoscope 5115 and the working space of the operator.
  • the recorder 5167 is a device capable of recording various information related to surgery.
  • the printer 5169 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • the support arm device 5141 includes a base portion 5143 that is a base, and an arm portion 5145 that extends from the base portion 5143.
  • the arm portion 5145 is composed of a plurality of joint portions 5147a, 5147b, 5147c and a plurality of links 5149a, 5149b connected by the joint portions 5147b.
  • the configuration of the arm portion 5145 is shown in a simplified manner. Actually, the shapes, numbers and arrangements of the joint portions 5147a to 5147c and the links 5149a and 5149b, and the direction of the rotation axis of the joint portions 5147a to 5147c are appropriately set so that the arm portion 5145 has a desired degree of freedom. obtain.
  • the arm portion 5145 can be preferably configured to have at least 6 degrees of freedom.
  • the endoscope 5115 can be freely moved within the movable range of the arm portion 5145, so that the lens barrel 5117 of the endoscope 5115 can be inserted into the body cavity of the patient 5185 from a desired direction. It will be possible.
  • Actuators are provided in the joint portions 5147a to 5147c, and the joint portions 5147a to 5147c are configured to be rotatable around a predetermined rotation axis by driving the actuator.
  • the arm control device 5159 By controlling the drive of the actuator by the arm control device 5159, the rotation angles of the joint portions 5147a to 5147c are controlled, and the drive of the arm portion 5145 is controlled. Thereby, the position and orientation of the endoscope 5115 can be controlled.
  • the arm control device 5159 can control the drive of the arm unit 5145 by various known control methods such as force control or position control.
  • the arm control device 5159 appropriately controls the drive of the arm portion 5145 in response to the operation input.
  • the position and orientation of the endoscope 5115 may be controlled.
  • the endoscope 5115 at the tip of the arm portion 5145 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the moved position.
  • the arm portion 5145 may be operated by a so-called master slave method. In this case, the arm portion 5145 can be remotely controlled by the user via an input device 5161 installed at a location away from the operating room.
  • the arm control device 5159 When force control is applied, the arm control device 5159 receives an external force from the user, and the actuators of the joint portions 5147a to 5147c are moved so that the arm portion 5145 moves smoothly according to the external force. So-called power assist control for driving may be performed.
  • the arm portion 5145 when the user moves the arm portion 5145 while directly touching the arm portion 5145, the arm portion 5145 can be moved with a relatively light force. Therefore, the endoscope 5115 can be moved more intuitively and with a simpler operation, and the convenience of the user can be improved.
  • the endoscope 5115 was supported by a doctor called a scopist.
  • the position of the endoscope 5115 can be fixed more reliably without manpower, so that an image of the surgical site can be stably obtained. , It becomes possible to perform surgery smoothly.
  • the arm control device 5159 does not necessarily have to be provided on the cart 5151. Further, the arm control device 5159 does not necessarily have to be one device. For example, the arm control device 5159 may be provided at each joint portion 5147a to 5147c of the arm portion 5145 of the support arm device 5141, and a plurality of arm control devices 5159 cooperate with each other to drive the arm portion 5145. Control may be realized.
  • the light source device 5157 supplies the endoscope 5115 with irradiation light for photographing the surgical site.
  • the light source device 5157 is composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 5157 white balances the captured image. Can be adjusted.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-divided manner, and the drive of the image sensor of the camera head 5119 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-divided manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 5157 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 5119 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 5157 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane. So-called narrow band imaging, in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected.
  • An excitation light corresponding to the fluorescence wavelength of the reagent may be irradiated to obtain a fluorescence image.
  • the light source device 5157 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 32 is a block diagram showing an example of the functional configuration of the camera head 5119 and the CCU 5153 shown in FIG. 31.
  • the camera head 5119 has a lens unit 5121, an imaging unit 5123, a driving unit 5125, a communication unit 5127, and a camera head control unit 5129 as its functions.
  • the CCU 5153 has a communication unit 5173, an image processing unit 5175, and a control unit 5177 as its functions.
  • the camera head 5119 and the CCU 5153 are bidirectionally communicatively connected by a transmission cable 5179.
  • the lens unit 5121 is an optical system provided at a connection portion with the lens barrel 5117.
  • the observation light taken in from the tip of the lens barrel 5117 is guided to the camera head 5119 and incident on the lens unit 5121.
  • the lens unit 5121 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the optical characteristics of the lens unit 5121 are adjusted so as to collect the observation light on the light receiving surface of the image sensor of the image pickup unit 5123.
  • the zoom lens and the focus lens are configured so that their positions on the optical axis can be moved in order to adjust the magnification and the focus of the captured image.
  • the image pickup unit 5123 is composed of an image pickup element and is arranged after the lens unit 5121.
  • the observation light that has passed through the lens unit 5121 is focused on the light receiving surface of the image pickup device, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the image capturing unit 5123 is provided to the communication unit 5127.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image pickup device for example, an image pickup device capable of capturing a high-resolution image of 4K or higher may be used.
  • the image pickup elements constituting the image pickup unit 5123 are configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D display, respectively.
  • the 3D display enables the operator 5181 to more accurately grasp the depth of the biological tissue in the surgical site.
  • the image pickup unit 5123 is composed of a multi-plate type, a plurality of lens units 5121 are also provided corresponding to each image pickup element.
  • the imaging unit 5123 does not necessarily have to be provided on the camera head 5119.
  • the imaging unit 5123 may be provided inside the lens barrel 5117 immediately after the objective lens.
  • the drive unit 5125 is composed of an actuator, and the zoom lens and focus lens of the lens unit 5121 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 5129. As a result, the magnification and focus of the image captured by the imaging unit 5123 can be adjusted as appropriate.
  • the communication unit 5127 is composed of a communication device for transmitting and receiving various information to and from the CCU 5153.
  • the communication unit 5127 transmits the image signal obtained from the image pickup unit 5123 as RAW data to the CCU 5153 via the transmission cable 5179.
  • the image signal is transmitted by optical communication.
  • the surgeon 5181 performs the surgery while observing the condition of the affected area with the captured image, so for safer and more reliable surgery, the moving image of the surgical site is displayed in real time as much as possible. This is because it is required.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an electric signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module and then transmitted to the CCU 5153 via the transmission cable 5179.
  • the communication unit 5127 receives a control signal for controlling the drive of the camera head 5119 from the CCU 5153.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image, and the like. Contains information about the condition.
  • the communication unit 5127 provides the received control signal to the camera head control unit 5129.
  • the control signal from CCU5153 may also be transmitted by optical communication.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an optical signal into an electric signal, and the control signal is converted into an electric signal by the photoelectric conversion module and then provided to the camera head control unit 5129.
  • the above imaging conditions such as frame rate, exposure value, magnification, and focus are automatically set by the control unit 5177 of CCU5153 based on the acquired image signal. That is, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5115.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5129 controls the drive of the camera head 5119 based on the control signal from the CCU 5153 received via the communication unit 5127. For example, the camera head control unit 5129 controls the drive of the image sensor of the image pickup unit 5123 based on the information to specify the frame rate of the captured image and / or the information to specify the exposure at the time of imaging. Further, for example, the camera head control unit 5129 appropriately moves the zoom lens and the focus lens of the lens unit 5121 via the drive unit 5125 based on the information that the magnification and the focus of the captured image are specified.
  • the camera head control unit 5129 may further have a function of storing information for identifying the lens barrel 5117 and the camera head 5119.
  • the camera head 5119 can be made resistant to autoclave sterilization.
  • the communication unit 5173 is composed of a communication device for transmitting and receiving various information to and from the camera head 5119.
  • the communication unit 5173 receives an image signal transmitted from the camera head 5119 via the transmission cable 5179.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5173 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5173 provides the image processing unit 5175 with an image signal converted into an electric signal.
  • the communication unit 5173 transmits a control signal for controlling the drive of the camera head 5119 to the camera head 5119.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5175 performs various image processing on the image signal which is the RAW data transmitted from the camera head 5119.
  • the image processing includes, for example, development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Etc., various known signal processing is included.
  • the image processing unit 5175 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5175 is composed of a processor such as a CPU or GPU, and when the processor operates according to a predetermined program, the above-mentioned image processing and detection processing can be performed.
  • the image processing unit 5175 is composed of a plurality of GPUs, the image processing unit 5175 appropriately divides the information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5177 performs various controls related to the imaging of the surgical site by the endoscope 5115 and the display of the captured image. For example, the control unit 5177 generates a control signal for controlling the drive of the camera head 5119. At this time, when the imaging condition is input by the user, the control unit 5177 generates a control signal based on the input by the user. Alternatively, when the endoscope 5115 is equipped with the AE function, the AF function, and the AWB function, the control unit 5177 determines the optimum exposure value, focal length, and the optimum exposure value and the focal length according to the result of the detection processing by the image processing unit 5175. The white balance is calculated appropriately and a control signal is generated.
  • control unit 5177 causes the display device 5155 to display the image of the surgical unit based on the image signal processed by the image processing unit 5175.
  • the control unit 5177 recognizes various objects in the surgical site image by using various image recognition techniques. For example, the control unit 5177 detects the shape and color of the edge of an object included in the surgical site image to detect surgical tools such as forceps, a specific biological part, bleeding, mist when using the energy treatment tool 5135, and the like. Can be recognized.
  • the control unit 5177 uses the recognition result to superimpose and display various surgical support information on the image of the surgical site. By superimposing the surgical support information and presenting it to the surgeon 5181, it becomes possible to proceed with the surgery more safely and surely.
  • the transmission cable 5179 that connects the camera head 5119 and the CCU 5153 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 5179, but the communication between the camera head 5119 and the CCU 5153 may be performed wirelessly.
  • the communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 5179 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5179 can be solved.
  • the example of the operating room system 5100 to which the technology according to the present disclosure can be applied has been described above.
  • the medical system to which the operating room system 5100 is applied is the endoscopic surgery system 5113
  • the configuration of the operating room system 5100 is not limited to such an example.
  • the operating room system 5100 may be applied to an examination flexible endoscopic system or a microsurgery system instead of the endoscopic surgery system 5113.
  • the techniques according to the present disclosure include imaging of the operator's hand with the sealing camera 5187, imaging of the entire operating room with the operating room camera 5189, imaging of the surgical site with the endoscope 5115, and the like. It can be preferably applied.
  • the continuously variable ND filter and the iris (optical aperture) provided in the sealing camera 5187, the operating field camera 5189, and the endoscope 5115 are based on the operation input from the controller (for example, the input device 5161) by the user. It can be applied by adjusting the control unit (for example, CCU5153).
  • this disclosure can have the following structure.
  • the first brightness adjustment by the continuously variable ND filter whose transmittance is continuously variable and the second brightness by the iris are linked to the change of the indicated value indicating the brightness of the captured image acquired by the imaging device.
  • a signal processing device including a control unit that performs at least one of the adjustments.
  • the control unit performs the first brightness adjustment when the indicated value is larger than the threshold value, and performs the second brightness adjustment when the indicated value is smaller than the threshold value.
  • the signal processing device according to (3) which performs switching control.
  • the signal processing device according to (3) or (4) wherein the control unit sets the threshold value based on the image sensor information and the lens information.
  • the control unit receives the first brightness adjustment, the second brightness adjustment, and the gain according to the indicated value to the captured image in response to the change in the indicated value.
  • the signal processing device according to (2) which controls switching of brightness adjustment.
  • the signal processing device according to (6) wherein the control unit performs the switching control based on a comparison result between the indicated value and the first threshold value and the second threshold value.
  • the indicated value indicates an F value
  • the indicated value indicates an F value
  • the control unit performs the first brightness adjustment when the indicated value is larger than the first threshold value, and when the indicated value is smaller than the first threshold value and larger than the second threshold value, the control unit said.
  • the imaging device has a disk provided with a plurality of filters including the continuously variable ND filter.
  • the plurality of filters further include a pass-through filter that does not have an optical effect on the incident light transmitted through the filter.
  • the signal processing device includes an operation on a remote controller.
  • the signal processing device includes an operation on one adjustment operator included in the remote controller.
  • the signal processing device The first brightness adjustment by the continuously variable ND filter whose transmittance is continuously variable and the second brightness by the iris are linked to the change of the indicated value indicating the brightness of the captured image acquired by the imaging device. A signal processing method that makes at least one of the adjustments.
  • An image sensor that receives incident light through an iris and acquires an captured image, At least the first brightness adjustment by the continuously variable ND filter whose transmittance is continuously variable and the second brightness adjustment by the iris in conjunction with the change of the indicated value indicating the brightness of the captured image.
  • An imaging device including a control unit that performs either of these.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本開示は、透過率が連続的に可変のNDフィルタのより好適な利用を実現することができるようにする信号処理装置、信号処理方法、および撮像装置に関する。 制御部は、撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う。本開示は、例えば、フィルタユニットを備える撮像装置に適用することができる。

Description

信号処理装置、信号処理方法、および撮像装置
 本開示は、信号処理装置、信号処理方法、および撮像装置に関し、特に、透過率が連続的に可変のNDフィルタのより好適な利用を実現することができるようにした信号処理装置、信号処理方法、および撮像装置に関する。
 近年、NDフィルタの透過率の連続的な変化をより容易に行う構成が提案されている(例えば特許文献1)。
国際公開第2019/155908号
 特許文献1に開示されているようなNDフィルタを利用するにあたり、より好適な構成や運用方法が求められていた。
 本開示は、このような状況に鑑みてなされたものであり、透過率が連続的に可変のNDフィルタのより好適な利用を実現することができるようにするものである。
 本開示の信号処理装置は、撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部を備える信号処理装置である。
 本開示の信号処理方法は、信号処理装置が、撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う信号処理方法である。
 本開示の撮像装置は、アイリスを介した入射光を受光して撮像画像を取得するイメージセンサと、前記撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、前記アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部を備える撮像装置である。
 本開示においては、撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかが行われる。
本開示に係る技術を適用したフィルタユニットの外観を示す斜視図である。 本開示に係る技術を適用したフィルタユニットの外観を示す斜視図である。 ディスクの構成例を示す図である。 フィルタユニットの動作について説明する図である。 ディスクの回転機構について説明する図である。 ディスクの回転機構について説明する図である。 ディスクの回転機構について説明する図である。 光エンコーダとコードホイールの構成例を示す図である。 光エンコーダとコードホイールの構成例を示す図である。 コードホイールの原点の配置例を示す図である。 コードホイールの原点の配置例を示す図である。 フィルタユニットの機能構成例を示すブロック図である。 偏光方向の相対角度特性を説明する図である。 フィルタユニットの配置例を示す図である。 フィルタユニットの配置例を示す図である。 フィルタユニットの配置例を示す図である。 撮像装置を含む撮像システムの構成例を示すブロック図である。 リモートコントローラの外観を示す斜視図である。 明るさ調整の切り替えについて説明する図である。 明るさ調整の第1の処理例を説明するフローチャートである。 明るさ調整の切り替えについて説明する図である。 明るさ調整の第2の処理例を説明するフローチャートである。 光量の調節の例を示す図である。 明るさ調整の第3の処理例を説明するフローチャートである。 明るさを一定にした被写界深度の調節の例を示す図である。 明るさ調整の第4の処理例を説明するフローチャートである。 明るさ調整の第5の処理例を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図31に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.従来のNDフィルタ
 2.連続可変NDフィルタの主な構成と動作
 3.ディスクの回転機構
 4.連続可変NDフィルタの配置
 5.撮像システムの構成と明るさ調整の例
 6.コンピュータの構成例
 7.適用例
 8.応用例
<1.従来のNDフィルタ>
 従来、撮像画像の輝度(明るさ)を調整する方法として、例えば、絞り、ゲイン、電子シャッタなどを用いて調整する方法があった。
 しかしながら、絞りを変更すると被写界深度が変化するので、被写界深度の制御が困難になるおそれがあった。また、絞りを小さくしていくと、光の回折現象により画質の鮮明さが失われて全体にぼけた画像になる、いわゆる小絞りボケと呼ばれる現象が発生するおそれがあった。特に、近年においては、カメラの解像度が4Kや8Kなどのように増大しているため、解像度低下による影響は大きい。
 ゲインを変更すると、特に明るさを減少させる場合において、検出できる最大輝度(すなわち、受光輝度のダイナミックレンジ)が減少するおそれがあった。
 電子シャッタのシャッタスピードを変更すると、動きのある被写体を撮影した場合、ぶれ量(いわゆるパラパラ感などの主観的画質)が変化してしまい、ぶれ量の制御が困難になるおそれがあった。
 これに対して、ND(Neutral Density)フィルタと呼ばれる、光量を減少させる光学フィルタを用いることにより、上述のような影響を抑制することが可能となる。しかしながら、通常のNDフィルタは透過率特性が一定のため、透過率を連続的に変えることが困難であった。
 そこで、透過率が互いに異なる複数のNDフィルタが設置された円形板状のディスクを回転させることにより、透過率を可変にしたターレットタイプのフィルタユニットが考えられた。
 ところで、被写体の撮像においては、リアルタイムな輝度調整が求められる場合がある。例えば、撮像された画像をリアルタイムに放送したり配信したりするライブカメラの場合、撮像中に撮像場所が屋内から屋外に移動する場合など、被写体や周辺環境の輝度変化に応じて撮像の輝度調整をリアルタイムに行う必要がある。
 しかしながら、上述したターレットタイプのフィルタユニットでは、ディスクを回転させ、NDフィルタの透過率を変えることで輝度調整をリアルタイムに行う際、NDフィルタ間の枠が映り込んでしまう。すなわち、ターレットタイプのフィルタユニットでも、透過率を連続的に変化させることは困難であった。
 そこで、本出願人は、特許文献1において、複数のディスクそれぞれに設けられた偏光フィルタの偏光方向の相対角度を変化させることで、透過率の連続的な変化をより容易に行うフィルタユニットを提案した。
 以下では、特許文献1に開示されているようなNDフィルタを利用するにあたり求められる、より好適な構成や運用方法について説明する。
<2.連続可変NDフィルタの主な構成と動作>
 (フィルタユニットの外観)
 図1および図2は、本開示に係る技術を適用したフィルタユニットの外観を示す斜視図である。
 図1および図2に示されるフィルタユニット100は、透過率が連続的に可変のNDフィルタ(以下、連続可変NDフィルタともいう)を含む複数のフィルタのいずれかを使用するフィルタとして、イメージセンサへの入射光の光軸上に配置するユニットの一部の構成を示している。
 フィルタユニット100は、ディスク110、ディスク120、ギアボックス130、モータ140、およびモータ150から構成される。
 ディスク110とディスク120は、それぞれ略同径の円板形状に形成され、その中心を通る破線ARを回転軸にして円周方向に回転する。ディスク110とディスク120は、互いに独立して回転駆動することができる。
 ディスク110には、偏光フィルタを含む複数(例えば5枚)のフィルタが、回転方向に均等に配置されている。ディスク120には、偏光フィルタを含む複数(例えば3枚)のフィルタが、回転方向に沿って配置されている。
 フィルタユニット100は、そのディスク120側(図2中、手前側)において、入射光の光軸IL上に図示せぬイメージセンサが配置されるようにして、着脱可能に撮像装置に内蔵される。すなわち、フィルタユニット100のディスク110側(図1中、手前側)から、ディスク110の回転により光軸IL上に配置されたフィルタと、ディスク120の回転により光軸IL上に配置されたフィルタを透過した光が、イメージセンサに入射される。
 以降、フィルタユニット100の、図1に示される側を被写体側といい、図2に示される側をイメージセンサ側という。
 ギアボックス130とモータ140,150は、ディスク110,120それぞれの中心を回転軸にしてディスク110,120を回転駆動させる駆動部として構成される。
 ギアボックス130の内部(一部は外部)には、モータ140,150の駆動力をディスク110,120に伝達するための複数のギアが設けられている。具体的には、ディスク110は、モータ140が駆動することで、モータ140の駆動力がギアボックス130のギアを介して伝達されることで回転駆動する。また、ディスク120は、モータ150が駆動することで、モータ150の駆動力がギアボックス130のギアを介して伝達されることで回転駆動する。モータ140,150を駆動するための電力は、所定の電気インタフェースを介して、フィルタユニット100が内蔵される撮像装置から供給される。
 (各ディスクの構成)
 図3は、ディスク110,120の構成例を示す図である。
 図3において、A図には、被写体側から見たディスク110が示されている。B図には、被写体側から見たディスク120が示され、C図には、イメージセンサ側から見たディスク120が示されている。
 ディスク110には、偏光フィルタ111と、4枚のフィルタ112乃至フィルタ115が設けられる。偏光フィルタ111およびフィルタ112乃至フィルタ115は、それぞれ同形状(一部にDカット状の切欠きを有する円形状)に形成され、ディスク110の回転方向に均等に配置されている。
 偏光フィルタ111は、透過する光を所定の方向の直線偏光に変換する偏光子(フィルタ)である。偏光フィルタ111は、透過する光の所定の方向に垂直な方向の電場を吸収し、所定の方向の電場を透過することにより、所定の方向の直線偏光を生成する。
 フィルタ112乃至フィルタ115は、偏光フィルタ以外の、互いに異なる種類の任意のフィルタである。フィルタ112乃至フィルタ115は、例えば、透過光に光学的影響を及ぼさない素通しフィルタ(クリアフィルタ)、点光源をクロス状の光にしてきらめきを強調するクロスフィルタ、所定の波長域の光を透過するバンドパスフィルタなどであってもよいし、その他のフィルタであってもよい。
 ディスク110の中心には、回転軸が貫通する中心孔C110が形成される。ディスク110は、この中心孔C110を中心に円周方向に回転駆動する。
 ディスク120には、偏光フィルタ121と、2枚のフィルタ122,123が設けられる。偏光フィルタ121は、ディスク120の円周方向に所定の幅を有するU字形状に形成される。フィルタ122,123は、それぞれ同形状(一部にDカット状の切欠きを有する円形状)に形成され、ディスク120の回転方向に沿って配置されている。
 偏光フィルタ121は、偏光フィルタ111と同様、透過する光を所定の方向の直線偏光に変換する偏光子(フィルタ)である。
 フィルタ122,123は、偏光フィルタ以外の、互いに異なる種類の任意のフィルタである。フィルタ122,123は、例えば、自身を透過する光に対して光学的影響を及ぼさない素通しフィルタ(クリアフィルタ)、点光源をクロス状の光にしてきらめきを強調するクロスフィルタ、所定の波長域の光を透過するバンドパスフィルタなどであってもよいし、その他のフィルタであってもよい。
 フィルタ122,123は、それぞれ、フィルタ112乃至フィルタ115のいずれかと同種のフィルタにより構成されてもよいし、互いに異なる種類のフィルタにより構成されてもよい。
 ディスク120の中心には、回転軸が貫通する中心孔C120が形成される。ディスク120は、この中心孔C120を中心に円周方向に回転駆動する。
 偏光フィルタ111と偏光フィルタ121が重畳された状態で、ディスク120がディスク110に対して回転駆動すると、偏光フィルタ111は、偏光フィルタ121の円周方向に沿って相対的に移動する。このとき、偏光フィルタ121は、ディスク120の回転駆動により、偏光フィルタ111と重畳された状態を維持したまま回転方向の位置を変える。言い換えると、偏光フィルタ111が、偏光フィルタ121と重畳された状態のまま、偏光フィルタ121の円周方向の端から端まで移動する。
 例えば、図4のように、ディスク110-1,120-1の状態から、ディスク110-3,120-3の状態まで、ディスク110を固定したまま、ディスク120を回転駆動させると、偏光フィルタ111と偏光フィルタ121との重なりは、縞模様で示される偏光フィルタ111の偏光方向と偏光フィルタ121の偏光方向の相対角度が、互いに垂直な状態から互いに水平な状態まで変化する。
 これにより、イメージセンサへの有効光線が通過する有効光線範囲ERA上の光の透過率が連続的に変化する。具体的には、ディスク120-1の状態において、偏光フィルタ111と偏光フィルタ121の透過光が最も暗くなる(透過率が最も低くなる)。また、ディスク120-3の状態において、偏光フィルタ111と偏光フィルタ121の透過光が最も明るくなる(透過率が最も高くなる)。
 この場合、フィルタユニット100は、ディスク120の回転駆動により、透過率が連続的に可変の連続可変NDフィルタを実現することができる。すなわち、フィルタユニット100は、偏光フィルタ111と偏光フィルタ121からなる連続可変NDフィルタを備えている。
 また、ディスク110とディスク120が回転駆動することにより、フィルタユニット100は、イメージセンサへの入射光が透過する位置、すなわち有効光線範囲ERA上に配置されるフィルタの種類を切り替えることができる。
 例えば、図4のディスク110-3,120-3の状態から、ディスク110とディスク120を回転駆動し、ディスク110-4,120-4の状態を介して、ディスク110-5,120-5の状態になると、有効光線範囲ERA上に配置されるフィルタは、連続可変NDフィルタ(偏光フィルタ111と偏光フィルタ121)から、例えばクリアフィルタなどの他のフィルタに切り替えられる。これにより、入射光に対して、輝度調整以外の他の光学的影響が及ぼされるようになる。
 このように、フィルタユニット100は、ディスク110とディスク120を回転駆動させることにより、フィルタの切り替えをより容易に行うことができる。
 特に、ディスクを回転駆動させることにより、同じ回転位置に異なるフィルタを配置することができるので、入射光の総光路長を変化させることなく、フィルタを切り替えることができる。
 以上の構成により、フィルタユニット100は、NDフィルタの透過率の連続的な変化およびフィルタの切り替えをより容易に行うことができ、ひいては、透過率が連続的に可変のNDフィルタのより好適な利用を実現することが可能となる。
 なお、以上においては、フィルタユニット100が、ディスク110とディスク120の2枚のディスクを有するものとしたが、フィルタユニット100が有するディスクの枚数は任意であり、1枚でもよいし、3枚以上であってもよい。また、各ディスクに形成されるフィルタの数や種類も任意であり、各フィルタの大きさや形状もそれぞれ任意である。
 また、フィルタユニット100が有するディスク110,120は、本出願人により出願された特許文献1に開示されたフィルタユニットが有するディスクと同様の構成を採ることも可能である。
<3.ディスクの回転機構>
 (フィルタユニットの詳細な構成)
 図5は、被写体側から見たフィルタユニット100の構成例を示す図である。
 図5に示されるように、フィルタユニット100の被写体側に設けられるディスク110の中心には、ディスク110の被写体側の面が突出するようして、中心ギアG110が形成されている。
 ギアボックス130内部には、モータ140の回転軸に取り付けられたモータギア171と噛み合うことで回転し、モータギア171から伝達される駆動力を中心ギアG110に伝達する複数のギア172,173,174が設けられる。さらに、ギアボックス130内部には、ギア172と噛み合うことで回転し、ディスク110の回転角度を検出する図示せぬロータリエンコーダに取り付けられたロータリエンコーダギア175が設けられる。
 図5においては、モータギア171が1回転することで、中心ギアG110(すなわち、ディスク110)とロータリエンコーダギア175が1回転するようになされている。
 図6は、イメージセンサ側から見たフィルタユニット100の構成例を示す図である。
 図6に示されるように、フィルタユニット100のイメージセンサ側に設けられるディスク120の外周部には、外周ギアG120が形成されている。
 ギアボックス130内部には、モータ150の回転軸に取り付けられた図示せぬモータギアと噛み合うことで回転し、外周ギアG120に噛み合うことで、そのモータギアから伝達される駆動力を外周ギアG120に伝達する駆動ギア181が設けられる。
 駆動ギア181の径は、ディスク120(外周ギアG120)の径と比較して十分小さく、例えば、モータギアが6.7回転することで、外周ギアG120が1回転するようになされている。
 このように、ディスクの外周部に対して加力する構成の方が、図5に示されるような、ディスクの内周部に対して加力する構成よりも、減速比が高くなるので、バックラッシの影響を低減し、より正確な角度制御を行うことが可能となる。
 また、図7に示されるように、ディスク120の回転に対する制動力を発生する制動機構190が、ディスク120の外周部に設けられてもよい。具体的には、制動機構190として、ギアボックス130内部に、外周ギアG120に噛み合うロータリダンパ(ダンパギア)191が設けられるようにする。
 これにより、図6の構成よりもバックラッシの影響を低減することが可能となる。ロータリダンパ191は、ディスク120の外周部の所定の箇所で、外周ギアG120に噛み合えばよく、ディスクの内周部に対して加力する構成と比較して、制動機構190を設けるスペースを確保しやすく、より高い自由度で制動機構190を設けることができる。
 (光エンコーダによる回転角度の検出)
 ディスク110の回転角度がロータリエンコーダにより検出されるのに対して、ディスク120の回転角度は、光エンコーダにより検出される。
 具体的には、図8および図9に示されるように、ディスク120のイメージセンサ側の面の外縁部にはコードホイール210が設けられ、コードホイール210上の所定位置P220には光エンコーダ220が配置される。
 コードホイール210は、ディスク120の外縁部を1周するように、反射面と非反射面が交互に配置されたスリットを有する。光エンコーダ220は、コードホイール210のスリットからディスク120の回転位置を検出する。
 具体的には、光エンコーダ220は、発光素子と受光素子を有し、発光素子からの光がコードホイール210のスリットの反射面で反射した反射光を、受光素子が受光することで、ディスク120の回転位置を検出することができる。すなわち、光エンコーダ220は、反射型の光エンコーダとして構成される。
 例えば、光エンコーダ220を透過型の光エンコーダとして構成した場合、ディスク110とディスク120との間で、発光素子からの光の乱反射が発生し、イメージセンサに発光素子からの光が入り込む可能性がある。
 そこで、光エンコーダ220を反射型の光エンコーダとして構成することで、ディスク110とディスク120との間で、発光素子からの光の乱反射が発生することなく、イメージセンサに発光素子からの光が入り込むことを避けることができる。
 また、光エンコーダ220が配置される位置P220は、イメージセンサへの有効光線が通過する有効光線範囲ERAから所定距離だけ離間した位置とされる。具体的には、光エンコーダ220は、発光素子からの光が、有効光線範囲ERA上に配置された偏光フィルタ121に伝搬しない位置に配置される。
 具体的には、図8に示されるように、ディスク120が、連続可変NDフィルタの透過率が最も低くなる状態(図4のディスク120-1の状態)にある場合であっても、光エンコーダ220は、偏光フィルタ121から外れた位置となるように配置される。このような構成により、イメージセンサに発光素子からの光が入り込むことを避けることができる。
 また、コードホイール210は、有効光線を遮らない範囲で形成される。すなわち、ディスク120における偏光フィルタ121と、フィルタ122,123の外縁側の枠の幅は、有効光線範囲ERAに重ならない程度に厚くすることができる。特に、近年、画像のアスペクト比は16:9が主流であることから、有効光線範囲ERAの上下方向の幅を狭めることができる。また、フィルタ122,123の形状は、その外縁側にDカット状の切欠きを有する円形状とされている。これにより、ディスク120の枠の幅を一定程度厚くし、コードホイール210を配置する領域を確保することができる。
 光エンコーダ220は、相対値(どのくらいの量だけ回転したか)を検出するインクリメンタル型の光エンコーダとして構成される。コードホイール210には、原点230が設けられており、その位置は、フィルタユニット100の電源ON時に、ディスク120が1周分回転駆動することで読み込まれる。
 なお、フィルタユニット100の電源OFF時の原点230の位置が記憶されるようにし、フィルタユニット100の電源ON時には、より早く原点230の位置が読み込まれるように、ディスク120が回転駆動してもよい。
 コードホイール210の原点230は、任意の位置に配置することができる。
 例えば、コードホイール210の原点230は、複数のフィルタのいずれもが、有効光線範囲ERA上に配置されない回転位置に配置されてもよい。具体的には、図10に示されるように、有効光線範囲ERA上に配置されるフィルタが、連続可変NDフィルタから他のフィルタに切り替わる状態(図4のディスク120-4の状態)にあるときに、コードホイール210の原点230aが、光エンコーダ220の位置P220に配置されてもよい。
 また、コードホイール210の原点230は、複数のフィルタのいずれかが、有効光線範囲ERA上に配置される回転位置に配置されてもよい。具体的には、図11に示されるように、有効光線範囲ERA上に配置されるフィルタが、連続可変NDフィルタの透過率が変化している状態(図4のディスク120-2の状態)にあるときに、コードホイール210の原点230bが、光エンコーダ220の位置P220に配置されてもよい。
 フィルタユニット100によるフィルタの切り替えや連続可変NDフィルタの透過率の変更は、電動により制御することが可能である。電動制御により、リモート操作、微小制御、自動露出補正機能、アイリスと連動した被写界深度制御機能などを実現することができる。また、カメラの画質補正と連動することも可能であるため、光量調整に合わせて色味の補正を行うことも可能である。
 (フィルタユニットの機能構成例)
 図12は、フィルタユニット100の機能構成例を示すブロック図である。
 図12に示されるように、フィルタユニット100は、ディスク110,120の他に、制御部401、D/A変換部411、増幅部412、モータ413、位置検出部414、A/D変換部415、D/A変換部421、増幅部422、モータ423、位置検出部424、およびカウンタ(COUNTER)425を有する。
 ディスク110,120は、例えば、上述で説明した構成を採ることができる。
 制御部401は、フィルタユニット100の各部を制御する。例えば、制御部401は、モータ413やモータ423を介してディスク110とディスク120の回転駆動を制御し、それらの回転方向の姿勢を所望の姿勢にする。
 例えば、制御部401は、ディスク110の回転方向の姿勢を制御する制御信号をD/A変換部411に供給し、その制御信号に基づいて得られた位置検出信号をA/D変換部415より取得する。制御部401は、取得した位置検出信号の値に基づいてディスク110の現在の回転方向の姿勢を把握し、把握したその姿勢に応じて、新たな制御信号をD/A変換部411に供給する。
 同様に、制御部401は、ディスク120の回転方向の姿勢を制御する制御信号をD/A変換部421に供給し、その制御信号に基づいて得られたカウント値をカウンタ425より取得する。制御部401は、取得したカウント値に基づいてディスク120の現在の回転方向の姿勢を把握し、把握したその姿勢に応じて、新たな制御信号をD/A変換部421に供給する。
 D/A変換部411は、制御部401から供給されるデジタル信号の制御信号をアナログ信号に変換し、そのアナログ信号の制御信号を増幅部412に供給する。増幅部412は、D/A変換部411から供給される制御信号を増幅し、モータ413に供給する。
 モータ413は、上述したモータ140に対応し、増幅部412から供給される制御信号に応じて、ディスク110を、その中心を回転軸として回転駆動させる。
 位置検出部414は、ディスク110の回転方向の姿勢を検出する。例えば、位置検出部414は、回転方向の位置、回転量、回転角度などを検出する。例えば、位置検出部414は、ポテンショメータを有する。ポテンショメータは、ディスク110の回転角を電圧に変換する素子である。位置検出部414は、このポテンショメータを用いてディスク110の回転角に相当する電圧のアナログ信号を生成し、A/D変換部415に供給する。
 A/D変換部415は、位置検出部414から供給されるアナログ信号をデジタル信号に変換し、制御部401に供給する。
 制御部401は、A/D変換部415からのデジタル信号の信号レベルにより、ディスク110の回転方向の姿勢(回転角度)を求める。
 以上のように、制御部401は、位置検出部414により得られた検出結果をフィードバックし、その検出結果に基づいて、モータ413を介してディスク110の回転駆動を制御し、それらの回転方向の姿勢を所望の姿勢にすることができる。したがって、制御部401は、より高精度に、ディスク110の回転方向の姿勢を制御することができる。
 D/A変換部421は、制御部401から供給されるデジタル信号の制御信号をアナログ信号に変換し、そのアナログ信号の制御信号を増幅部422に供給する。増幅部422は、D/A変換部421から供給される制御信号を増幅し、モータ423に供給する。
 モータ423は、上述したモータ150に対応し、増幅部422から供給される制御信号に応じて、ディスク120を、その中心を回転軸として回転駆動させる。
 位置検出部424は、ディスク120の回転方向の姿勢を検出する。例えば、位置検出部424は、回転方向の位置、回転量、回転角度などを検出する。例えば、位置検出部424は、上述した光エンコーダ220を有する。光エンコーダ220は、所定の光をディスク120に照射し、ディスク120に形成されるコードホイール210のスリット(反射面)を検出する。
 光エンコーダ220は、スリットの検出結果をパルス波として出力する。すなわち、位置検出部424は、光エンコーダ220により検出されたスリットの数分のパルス波をカウンタ425に供給する。
 カウンタ425は、位置検出部424より供給される信号(パルス波)に含まれるパルスの数、すなわち、検出されたスリットの数をカウントする。カウンタ425は、そのカウント値を示す信号を制御部401に供給する。
 制御部401は、カウンタ425からのカウント値、すなわち、検出されたスリットの数により、ディスク120の回転方向の姿勢(回転角度)を求める。
 以上のように、制御部401は、位置検出部424により得られた検出結果をフィードバックし、その検出結果に基づいて、モータ423を介してディスク120の回転駆動を制御し、それらの回転方向の姿勢を所望の姿勢にすることができる。したがって、制御部401は、より高精度に、ディスク120の回転方向の姿勢を制御することができる。
 上述したように、フィルタユニット100の連続可変NDフィルタは、複数の偏光フィルタにより構成される。このような連続可変NDフィルタは、偏光の特性上、例えば図13に示されるような、2枚の偏光方向の相対角度と光強度との関係(偏光方向の相対角度特性)を有する。例えば、光量を半分に調整する際、光強度MAX(φ=0°)から半分にする場合は、Δφ=45°だが、光強度I2=1/16から半分の1/32にする場合は、Δφ=約4.3°となる。すなわち、光強度が小さい範囲では、微小な角度変化で光強度が大きく変化するため、微小な角度制御が必要になる。
 これに対して、フィルタユニット100は、フィードバックした検出結果を用いて各ディスクの回転方向の姿勢を電動により制御することができる。特に、フィルタユニット100は、外周ギアG120によって、より正確な角度制御を行うことができる。これにより、フィルタユニット100は、各ディスクの回転方向の姿勢をより高精度に制御することができる。
 なお、以上においては、位置検出部414がポテンショメータを用いてディスク110の回転角度を検出し、位置検出部424が光エンコーダを用いてディスク120の回転角度を検出するように説明したが、各ディスクの回転角度の検出方法は任意であり、これらの例に限定されない。
 例えば、ロータリーセンサ(可変抵抗)や、磁気変化によりパターンを検出する磁気エンコーダなどを用いるようにしてもよい。ロータリーセンサは比較的安価であり、光エンコーダや磁気エンコーダは、高精度な検出が可能である。
<4.連続可変NDフィルタの配置>
 上述したフィルタユニット100を撮像装置に適用する場合、フィルタユニット100の配置箇所は任意である。
 例えば、図14のA図のように、フィルタユニット100(偏光フィルタ)がレンズ装置の前(被写体側)に配置されるようにしてもよい。
 この場合、入射光は紫外線を含むため、フィルタユニット100の劣化速度が速くなるおそれがある。また、入射面に対して角度が大きい光線も通過するため、シェーディングが発生しやすくなる。
 また、図14のB図のように、フィルタユニット100が撮像装置(カメラ)に内蔵されるようにしてもよい。具体的には、フィルタユニット100(偏光フィルタ)が、イメージセンサと、入射光に含まれる紫外線成分を遮光するUVカットフィルタおよび光学LPF(Low Pass Filter)との間に設けられてもよい。
 これにより、フィルタユニット100に入射する光は、ほぼ平行光となるため、入射角度依存によるシェーディングの発生を抑制することができる。また、被写体からの光がレンズ装置やUVカットフィルタを介してフィルタユニット100に入射するようになるので、フィルタユニット100の透過光の紫外線成分が大幅に削減され、紫外線によるフィルタユニット100の劣化を抑制することができる。
 また、A図の例では、偏光フィルタにゴミが付着したり、偏光フィルタに傷が付きやすくなる。この場合、透過率を変化させる際に、偏光フィルタが回転することで、ゴミや傷の位置が変化し、画像の画質にも影響を及ぼすおそれがある。
 これに対して、B図の例では、偏光フィルタは撮像装置に内蔵されるので、偏光フィルタにゴミが付着したり、偏光フィルタに傷が付くことはない。したがって、透過率を変化させる際に、偏光フィルタが回転しても、画像の画質にも影響を及ぼすこともない。
 さらに、A図の例は、偏光フィルタを中型や小型のレンズ装置の被写体側に装着する構成や、偏光フィルタをマットボックスに取り付ける構成に適用することは可能であるが、大型のレンズ装置に装着可能な偏光フィルタを用意することは現実的ではない。
 これに対して、B図の例は、偏光フィルタが撮像装置に内蔵される構成であるので、レンズ装置の大きさに寄らず、任意の構成に適用することができる。
 また、A図の例では、被写体からの光が直線偏光の場合、被写体側の偏光フィルタの回転角度によって、被写体像が消えたり現れたりする。これを解消するためには、偏光フィルタより被写体側に位相解消板を配置することで、被写体からの光をランダム偏光に変化させる必要がある。
 これに対して、B図の例では、被写体からの光が直線偏光の場合であっても、光学LPFを通過した光はランダム偏光に変化するため、新たに位相解消板を配置する必要がなくなる。
 なお、図15に示されるように、フィルタユニット100を内蔵した撮像装置において、光学LPFを設けないようにしてもよい。
 この場合であっても、A図に示されるように、2枚の偏光フィルタの組み合わせにより、上述で説明した連続可変NDフィルタを実現することができる。また、被写体からの光が直線偏光の場合には、B図に示されるように、素通しフィルタ(クリアフィルタ)と偏光フィルタの組み合わせにより、被写体からの光をカットしたり透過したりすることができる。この場合、例えば、反射率の高い被写体を撮像したときの反射光をカットし、見やすい被写体の画像を提供することができる。
 以上のように、フィルタユニット100(偏光フィルタ)が撮像装置に内蔵されるようにすることで、様々な作用効果を奏することが可能となる。
 なお、フィルタユニット100(偏光フィルタ)は、撮像装置が有するか、または、撮像装置に装着されるレンズ装置よりイメージセンサ側に配置されればよい。例えば、図16のA図に示されるように、フィルタユニット100(偏光フィルタ)が、レンズ装置と撮像装置との間に装着されるアダプタに内蔵されたり、B図に示されるように、フィルタユニット付きレンズ装置において、UVカットフィルタや光学LPFよりイメージセンサ側に配置されるようにして内蔵されてもよい。
<5.撮像システムの構成と明るさ調整の例>
 (撮像システムの構成)
 図17は、本開示に係る信号処理装置の一実施の形態である撮像装置を含む撮像システムの構成例を示すブロック図である。
 図17の撮像システムは、例えば放送局用のライブカメラシステムとされ、放送局の屋内において使用されたり、スポーツ中継などの場合には屋外において使用されたりする。図17の撮像システムは、撮像装置310、レンズ装置320、CCU(カメラコントロールユニット)330、およびリモートコントローラ340を備えている。
 撮像装置310には、図示せぬマウント部を介してレンズ装置320が着脱自在に装着される。撮像システムにおいて、レンズ装置320が装着された撮像装置310は、主としてカメラマンとしての使用者により使用される。一方で、CCU330やリモートコントローラ340は、例えば放送局におけるスタジオとは別室、または屋外使用の場合には中継車の室内などに配置され、主としてビデオエンジニアとしての使用者により使用される。
 放送局用のライブカメラシステムとしては、撮像装置310、CCU330、およびリモートコントローラ340を複数組備えた構成が一般的であるが、図17の例では、それら複数組のうち1組のみが示されている。
 レンズ装置320は、例えばB4マウント規格に準拠したレンズ装置とされ、光学部品としてカバーレンズ、ズームレンズ、フォーカスレンズなどのレンズ321や、アイリス(光学絞り)などを備える。レンズ装置320は、アイリスを駆動するための、例えばモータなどのアクチュエータを有するアイリス駆動部322を備えている。
 レンズ装置320は、撮像装置310に装着された状態において、被写体からの光(入射光)をレンズ321で集光し、アイリスを介して撮像装置310に導く。
 撮像装置310は、上述で説明したフィルタユニット100、イメージセンサ311、増幅部312、画像処理部313、および制御部314を備える。
 レンズ装置320からの入射光は、フィルタユニット100を介して、イメージセンサ311に受光される。
 イメージセンサ311は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサとされる。イメージセンサ311は、受光した光を光電変換するとともに、光電変換により得られた電気信号に対して、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理、A/D変換処理などを行う。得られたデジタルデータとしての画像信号(画像データ)は、増幅部312に供給される。
 増幅部312は、イメージセンサ311からの画像信号を、制御部314から指示されるゲインに基づいて増幅し、画像処理部313に供給する。増幅部312による画像信号の増幅は、例えば輝度値の増幅として行われる。例えば、ゲインが1のとき、増幅部312による信号増幅率は1であり、増幅部4の処理前後で撮像画像の明るさは変化しない。
 画像処理部313は、増幅部312からの画像信号に対して画像処理を施す。具体的には、画像処理部313は、画像信号に対して、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換などの各種画像処理を施す。画像処理が施された画像信号は、CCU330に出力される。
 CCU330は、撮像装置310との間でケーブルを介した有線通信または無線通信を行うことが可能に構成される。CCU330は、撮像装置310から出力された画像信号を、例えば、図示せぬ画像編集装置などの外部装置に受け渡すとともに、リモートコントローラ340からの入力信号などに基づいて撮像装置310を制御する。
 ここで、撮像装置310とCCU330を複数台備えるシステムにおいて、CCU330からの画像信号を処理する画像編集装置では、複数の撮像装置310からの撮像画像を切り替えたり(スイッチングしたり)、複数の撮像画像を合成したりすることが可能とされる。
 撮像装置310の制御部314は、例えば、CPU(Central Processing Unit),ROM(Read Only Memory)、およびRAM(Random Access Memory)などを備えたマイクロコンピュータ(演算処理装置)を有して構成される。制御部314は、例えば、ROMに記憶されたプログラムに従った処理を実行することで、撮像装置310の動作を制御する。
 例えば、制御部314は、リモートコントローラ340からの操作入力に基づいて、撮像装置310の各部(フィルタユニット100、イメージセンサ311、および増幅部312)と、レンズ装置320(アイリス駆動部322)の動作を制御する。
 図18は、リモートコントローラ340の外観構成例を示す斜視図である。
 図18に示されるように、リモートコントローラ340には、複数のボタンやつまみなどの操作子が設けられている。特に、リモートコントローラ340には、撮像画像の明るさ調整を行うための調整操作子340aが設けられている。
 本実施の形態において、調整操作子340aは、例えばつまみ型の操作子とされ、調整操作子340aを回転させる操作により、撮像画像の明るさの指示値を変化させることが可能とされる。具体的には、調整操作子340aが一方の端部に達する回転位置において、指示値は最も暗い明るさを示し、調整操作子30aが他方の端部に達する回転位置において、指示値は最も明るい明るさを示す。指示値は、一方の端部から他方の端部に向かって(例えば線形的に)単調増加または単調減少に変化する。なお、調整操作子340aは、つまみ型の操作子に限らず、例えば、レバー型の操作子やスライド式の操作子などの他の形式の操作子としてもよい。
 リモートコントローラ340は、調整操作子340aの操作状態、具体的には調整操作子340aの回転角度に応じた指示値をCCU330に出力する。CCU330は、リモートコントローラ340からの指示値を、撮像装置310の制御部314に供給する。このようにして、制御部314は、使用者の操作(リモートコントローラ340に対する操作)に基づいて、指示値の変化を受け付ける。
 なお、リモートコントローラ340が明るさの指示値を出力する以外にも、CCU330が、リモートコントローラ340からの操作入力信号(例えば、調整操作子340aの回転角度に応じた値を示す信号)に基づいて明るさの指示値を生成し、制御部314に供給する構成を採ることもできる。
 ところで、従来、例えば放送局用のライブカメラにおいて、撮像画像の明るさの調整には、主としてアイリスが用いられていた。しかしながら、レンズの性能によっては、特定の範囲の絞り値(F値)でそのレンズを使用することが好ましい場合があった。
 そこで、制御部314は、CCU330からの指示値の変化に連動して、フィルタユニット100(連続可変NDフィルタ)と、アイリス駆動部322が駆動するアイリスの少なくともいずれかによる撮像画像の明るさ調整を行うようにする。これにより、レンズの性能に応じた範囲のF値でそのレンズを使用することが可能となり、ひいては、透過率が連続的に可変のNDフィルタのより好適な利用を実現することが可能となる。
 以下においては、撮像画像の明るさ調整の具体的な処理の例について説明する。
 (明るさ調整の第1の処理例)
 本例の明るさ調整において、制御部314は、指示値の変化に応じて、フィルタユニット100(連続可変NDフィルタ)による明るさ調整(第1の明るさ調整)と、アイリスによる明るさ調整(第2の明るさ調整)の切り替え制御を行う。
 本例では、撮像画像の明るさの指示は、絞り値(F値)の指示として行われる。このため、リモートコントローラ340は、調整操作子340aの操作状態、具体的には調整操作子340aの回転角度に応じたF値を、明るさの指示値としてCCU330に出力する。F値は、アイリスの駆動によるレンズの有効口径の変化に応じたF値相当の明るさを示す値であればよく、必ずしもアイリスの駆動によるレンズの有効口径の変化に応じたF値そのものの値でなくともよい。
 また本例では、明るさの指示値としてのF値に対する閾値Fthが設定されており、制御部314は、指示値(F値)と閾値Fthとの比較結果に基づいて、第1の明るさ調整と第2の明るさ調整の切り替えを行う。
 例えば、図19に示されるように、F値に対する閾値FthがF5.6に設定されているとする。指示値がF5.6より小さい場合(OPEN側のF値の場合)には、アイリスによる第2の明るさ調整が行われ、指示値に対応するF値そのものが調整される。一方、指示値がF5.6より大きい場合(CLOSE側のF値の場合)には、連続可変NDフィルタによる第1の明るさ調整が行われ、指示値に対応するF値相当の明るさを実現するように透過率(減光率。以下、ND値という)が調整される。
 すなわち、図19の例では、アイリスによる明るさ調整のための指示値の下限値はF5.6となり、アイリスをF5.6より絞らないようにできる。
 次に、図20のフローチャートを参照して、本例の明るさ調整を実現する制御部314の処理について説明する。図20の処理は、例えば、撮像画像の明るさが、所定の指示値に対応する明るさに調整されている状態で実行される。
 ステップS11において、制御部314は、CCU330からの指示値が変化したか否かを判定する。ステップS11は、指示値が変化するまで繰り返され、指示値が変化したと判定されると、ステップS12に進む。
 ステップS12において、制御部314は、指示値が閾値Fthより小さいか否かを判定する。
 ステップS12において指示値が閾値Fthより小さいと判定された場合、ステップS13に進む。ステップS13において、制御部314は、アイリス駆動部322に対して、指示値で示されるF値を指示することで、アイリスによる明るさ調整(第2の明るさ調整)を行う。
 一方、ステップS12において指示値が閾値Fthより小さいと判定されなかった場合、すなわち、指示値が閾値Fthより大きい場合、ステップS14に進む。ステップS14において、制御部314は、フィルタユニット100に対して、指示値で示されるF値相当のND値を指示することで、連続可変NDフィルタによる明るさ調整(第1の明るさ調整)を行う。
 以上の処理によれば、連続可変NDフィルタを用いることで、指示値が閾値Fthより大きい場合には、連続可変NDフィルタによる明るさ調整が行われるので、アイリスを閾値Fthより絞らないようにできる。
 これにより、撮像画像を暗くする際に、絞りを小さくすることで発生する小絞りボケを抑えて、撮像画像の解像感を維持することができる。例えば、撮像画像が4K画像の場合には、閾値FthがF5.6に設定され、撮像画像がHD画像の場合には、閾値FthがF11に設定されるようにすることで、それぞれの画像での小絞りボケを抑えることができる。
 また、撮像画像を暗くする際に、アイリスを絞り過ぎて撮像画像が真っ暗になる事故を防ぐことができる。例えば、閾値FthがF16に設定されるようにすることで、アイリスを絞り過ぎるのを防ぐことができる。
 さらに、例えば閾値FthがF2.8に設定されるようにすることで、アイリスの絞り羽根が起因のゴーストの発生を抑えることができる。
 以上のように、明るさ調整を行う撮像装置310において、連続可変NDフィルタのより好適な利用を実現することが可能となる。
 なお、指示値が閾値Fthより小さい場合に、シャッタスピードを調整することで撮像画像を暗くすることも可能であるが、撮像画像がパラパラとした画になったり、フリッカが発生したりするなど、撮像画像に影響を与えるおそれがある。これに対して、指示値が閾値Fthより小さい場合に、連続可変NDフィルタによる明るさ調整を行うことで、撮像画像に影響を与えることなく、連続的に明るさを調整することが可能となる。
 また、以上の処理によれば、リモートコントローラ340を操作する使用者は、第1の明るさ調整と第2の明るさ調整の切り替わりを意識することなく、調整操作子340aを操作するだけで、撮像画像の明るさを調整することができる。
 (明るさ調整の第2の処理例)
 本例の明るさ調整において、制御部314は、指示値の変化に応じて、フィルタユニット100(連続可変NDフィルタ)による明るさ調整(第1の明るさ調整)、アイリスによる明るさ調整(第2の明るさ調整)、および、指示値に応じたゲインを撮像画像に与えることによる明るさ調整(第3の明るさ調整)の切り替え制御を行う。
 本例でも、撮像画像の明るさの指示は、絞り値(F値)の指示として行われる。
 また本例では、明るさの指示値としてのF値に対する閾値Fth1,Fth2が設定されており、制御部314は、指示値(F値)と閾値Fth1,Fth2との比較結果に基づいて、第1の明るさ調整、第2の明るさ調整、および第3の明るさ調整の切り替えを行う。
 例えば、図21に示されるように、F値に対する閾値Fth1がF5.6、閾値Fth2がF2.8、に設定されているとする。指示値がF5.6より小さく、F2.8より大きい場合、アイリスによる第2の明るさ調整が行われ、指示値に対応するF値そのものが調整される。一方、指示値がF5.6より大きい場合、連続可変NDフィルタによる第1の明るさ調整が行われ、指示値に対応するF値相当の明るさを実現するようにND値が調整される。また、指示値がF2.8より小さい場合、指示値に応じたゲインを撮像画像に与えることによる第3の明るさ調整が行われ、指示値に対応するF値相当の明るさを実現するように撮像画像の輝度値が調整される。
 すなわち、図21の例では、アイリスによる明るさ調整のための指示値の下限値はF5.6、上限値はF2.8となり、アイリスをF5.6より絞らず、かつ、F2.8より開かないようにできる。
 次に、図22のフローチャートを参照して、本例の明るさ調整を実現する制御部314の処理について説明する。図22の処理は、例えば、撮像画像の明るさが、所定の指示値に対応する明るさに調整されている状態で実行される。
 ステップS21において、制御部314は、CCU330からの指示値が変化したか否かを判定する。ステップS21は、指示値が変化するまで繰り返され、指示値が変化したと判定されると、ステップS22に進む。
 ステップS22において、制御部314は、指示値が閾値Fth1より小さいか否かを判定する。
 ステップS22において指示値が閾値Fth1より小さいと判定された場合、ステップS23に進む。ステップS23において、制御部314は、指示値が閾値Fth2より大きいか否かを判定する。
 ステップS23において指示値が閾値Fth2より大きいと判定された場合、ステップS24に進む。ステップS24において、制御部314は、アイリス駆動部322に対して、指示値で示されるF値を指示することで、アイリスによる明るさ調整(第2の明るさ調整)を行う。
 一方、ステップS22において指示値が閾値Fth1より小さいと判定されなかった場合、すなわち、指示値が閾値Fth1より大きい場合、ステップS25に進む。ステップS25において、制御部314は、フィルタユニット100に対して、指示値で示されるF値相当のND値を指示することで、連続可変NDフィルタによる明るさ調整(第1の明るさ調整)を行う。
 また、ステップS23において指示値が閾値Fth2より大きいと判定されなかった場合、すなわち、指示値が閾値Fth2より小さい場合、ステップS26に進む。ステップS26において、制御部314は、増幅部312に対して、指示値で示されるF値相当のゲインを指示することで、ゲインによる明るさ調整(第3の明るさ調整)を行う。
 以上の処理によれば、連続可変NDフィルタを用いることで、指示値が閾値Fth1より大きい場合には、連続可変NDフィルタによる明るさ調整が行われるので、アイリスを閾値Fth1より絞らないようにできる。
 これにより、撮像画像を暗くする際に、絞りを小さくすることで発生する小絞りボケを抑えて、撮像画像の解像感を維持したり、絞り過ぎて撮像画像が真っ暗になる事故を防ぐことができるなど、連続可変NDフィルタのより好適な利用を実現することが可能となる。
 また、指示値が閾値Fth2より小さい場合には、ゲインによる明るさ調整が行われるので、アイリスを閾値Fth2より開かないようにできる。
 多くのレンズにおいて、アイリスを開きすぎると(F値を下げすぎると)、途中から解像力が急激に落ちる現象がみられるが、指示値が閾値Fth2より小さい場合に、ゲインによる明るさ調整が行われることで、解像力低下の防止を図ることが可能となる。
 また、以上の処理によれば、リモートコントローラ340を操作する使用者は、第1の明るさ調整、第2の明るさ調整、および第3の明るさ調整の切り替わりを意識することなく、調整操作子340aを操作するだけで、撮像画像の明るさを調整することができる。
 (変形例)
 上述した明るさ調整の第1の処理例と第2の処理例において、閾値Fth,Fth1,Fth2が、イメージセンサ311から取得されるイメージセンサ情報と、レンズ装置320から取得されるレンズ情報に基づいて、自動で設定されてもよい。
 イメージセンサ情報は、例えば、イメージセンサ311のサイズと解像度を示す情報とされ、レンズ情報は、例えば、レンズエクステンダの装着の有無を示す情報とされる。
 例えば、イメージセンサ情報が、イメージセンサ311が、2/3インチでHD撮影可能であることを示し、レンズ情報が、レンズエクステンダが装着されていないことを示す場合、閾値Fthや閾値Fth1(下限値)がF11に設定される。
 一方、イメージセンサ情報が、イメージセンサ311が、2/3インチでHD撮影可能であることを示し、レンズ情報が、2倍のレンズエクステンダが装着されていることを示す場合、閾値Fthや閾値Fth1(下限値)がF5.6に設定される。
 また、イメージセンサ情報が、イメージセンサ311が、2/3インチで4K撮影可能であることを示し、レンズ情報が、レンズエクステンダが装着されていないことを示す場合、閾値Fthや閾値Fth1(下限値)がF5.6に設定される。
 一方、イメージセンサ情報が、イメージセンサ311が、2/3インチで4K撮影可能であることを示し、レンズ情報が、2倍のレンズエクステンダが装着されていることを示す場合、閾値Fthや閾値Fth1(下限値)がF2.8に設定される。
 以上のようにして、イメージセンサ情報とレンズ情報に基づいて、F値の下限値が設定されるので、イメージセンサのサイズおよび解像度と、レンズエクステンダの装着の有無に応じて、小絞りボケの発生を適切に避けることが可能となる。
 (明るさ調整の第3の処理例)
 本例の明るさ調整において、制御部314は、指示値の変化に連動して、アイリスによる明るさ調整(第2の明るさ調整)を行わずに、フィルタユニット100(連続可変NDフィルタ)による明るさ調整(第1の明るさ調整)のみを行う。
 本例では、撮像画像の明るさの指示は、例えば、光量の指示として行われる。
 上述で説明したように、従来、放送局用のライブカメラにおいて、撮像画像の明るさの調整には、主としてアイリスが用いられていた。その理由の1つに、従来のNDフィルタは、光の透過率毎にフィルタがあり、連続的に変化させることが困難であったことが挙げられる。
 図23に示されるように、例えば、F値:F11,ND値:1/64として、円形状の物体と矩形状の物体を被写体として撮像している撮像画像においては、従来、F値を変化させることで、光量が調節されていた。ここで、ND値の1/64は、光量を1/64にすることを示す。図24の例では、F値をF11からF2.8に変化させることで、撮像画像が明るくなっている。しかしながら、F値を小さくすると、被写界深度が浅くなり、例えば、円形状の物体より奥にある矩形状の物体がぼけてしまう。
 そこで、本開示に係る技術を適用したフィルタユニット100の連続可変NDフィルタによれば、ND値(透過率)を連続的に変化させることで、光量を調節することができる。図23の例では、ND値を1/64から1/4に変化させることで、撮像画像を明るくすることができる。
 次に、図24のフローチャートを参照して、本例の明るさ調整を実現する制御部314の処理について説明する。図24の処理は、例えば、撮像画像の明るさが、所定の指示値に対応する明るさに調整されている状態で実行される。
 ステップS31において、制御部314は、CCU330からの指示値が変化したか否かを判定する。ステップS31は、指示値が変化するまで繰り返され、指示値が変化したと判定されると、ステップS32に進む。
 ステップS32において、制御部314は、フィルタユニット100に対して、指示値で示されるND値を指示することで、連続可変NDフィルタによる明るさ調整(第1の明るさ調整)を行う。このとき、アイリスは固定されており、アイリスによる明るさ調整(第2の明るさ調整)は行われない。
 以上の処理によれば、光量調節の際、F値が固定されることから、解像力や被写界深度が変化しないため、カメラマンによるフォーカス調整の負担や、ビデオエンジニアの管理業務の負担を軽減することができる。
 本例においては、F値が、例えばF4.0に設定されることで、レンズの性能を最も引き出せたり、最大絞り(OPEN)に設定されることで、被写界深度を最も浅くすることができる。また、F値が、最大絞りに設定されることで、アイリスの絞り羽根が起因の光芒を抑制したり、F4.0からF11の間の所定の値に設定されることで、演出効果として、意図的に絞り羽根の枚数や形状に応じた光芒を作り出すこともできる。
 (明るさ調整の第4の処理例)
 本例の明るさ調整において、制御部314は、指示値の変化に連動して、明るさが一定となるように、フィルタユニット100(連続可変NDフィルタ)による明るさ調整(第1の明るさ調整)と、アイリスによる明るさ調整(第2の明るさ調整)を行う。
 本例では、撮像画像の明るさの指示ではなく、被写界深度の指示が行われる。
 すなわち、本例では、制御部314は、被写界深度の指示値の変化に連動して、第1の明るさ調整と第2の明るさ調整のうちの一方による撮像画像の明るさの変化を、他方による撮像画像の明るさの変化で相殺するように、第1の明るさ調整と第2の明るさ調整を同時に行う。
 具体的には、図25に示されるように、F値が大きくなる(アイリスが絞られる)ほど、ND値が大きく(透過率が高く)なるように、アイリスによる明るさ調整と、連続可変NDフィルタによる明るさ調整が同時に行われる。
 F値の変化により被写界深度が変化することから、指示値の変化に応じて、アイリスによる明るさ調整が行われ、アイリスによる明るさ調整による撮像画像の明るさの変化が相殺されるように、連続可変NDフィルタによる明るさ調整が行われる。
 図25の例では、ND値が、F2.0のときに1/128、F2.8のときに1/64、F4.0のときに1/32、F5.6のときに1/16、F8.0のときに1/8、F11のときに1/4に調整されることで、明るさ一定のまま被写界深度が調節される。
 なお、被写界深度、F値、ND値それぞれの対応関係が既知である場合、指示値の変化に応じて、連続可変NDフィルタによる明るさ調整が行われ、連続可変NDフィルタによる明るさ調整による撮像画像の明るさの変化が相殺されるように、アイリスによる明るさ調整が行われてもよい。
 次に、図26のフローチャートを参照して、本例の明るさ調整を実現する制御部314の処理について説明する。図26の処理は、例えば、撮像画像の被写界深度が、所定の指示値に対応する被写界深度に調整されている状態で実行される。
 ステップS41において、制御部314は、CCU330からの指示値が変化したか否かを判定する。ステップS41は、指示値が変化するまで繰り返され、指示値が変化したと判定されると、ステップS42に進む。
 ステップS42において、制御部314は、フィルタユニット100に対して、指示値で示されるF値を指示することで、アイリスによる明るさ調整(第2の明るさ調整)を行う。
 ステップS43において、制御部314は、フィルタユニット100に対して、指示値で示されるF値に対応するND値(図25)を指示することで、連続可変NDフィルタによる明るさ調整(第1の明るさ調整)を行う。
 なお、ステップS42とステップS43の処理は、並列して行われることが好ましい。
 以上の処理によれば、明るさ一定のまま被写界深度を調節することができるので、例えば、ドラマ撮影などにおける演出手法の幅を広げることができる。
 (明るさ調整の第5の処理例)
 ライブカメラにより撮像された画像をリアルタイムに放送したり配信したりする場合、従来のフィルタユニットでは、ディスクを回転させて、NDフィルタの透過率を変える際に、NDフィルタ間の枠が映り込んでしまう。
 そのため、放送局などでは、CCUからタリー信号を受信している状態(オンタリー中)のカメラにおいては、カメラマンによるNDフィルタの変更が禁止されていたり、システムによってNDフィルタの変更が制限されたりしていた。
 そこで、本例の明るさ調整においては、制御部314が、撮像装置310がオンタリー中であっても、フィルタユニット100(連続可変NDフィルタ)による明るさ調整(第1の明るさ調整)を可能とする。
 図27のフローチャートを参照して、本例の明るさ調整を実現する制御部314の処理について説明する。
 ステップS51において、制御部314は、撮像装置310がオンタリー中(CCU330からタリー信号を受信している状態)であるか否かを判定する。ステップS51においてオンタリー中であると判定されなかった場合、ステップS52に進む。
 ステップS52において、制御部314は、フィルタユニット100に対して、連続可変NDフィルタからクリアフィルタへの切り替えを可能とする。撮像装置310がオンタリー中でなければ、フィルタ間の枠が映り込むようなフィルタの切り替えが行われても問題ない。
 次いで、ステップS53において、制御部314は、フィルタユニット100に対して、連続可変NDフィルタによる明るさ調整を可能とする。
 その後、ステップS54において、制御部314は、CCU330からの指示値が変化したか否かを判定する。ステップS54は、指示値が変化するまで繰り返され、指示値が変化したと判定されると、ステップS55に進む。
 ステップS55において、制御部314は、フィルタユニット100に対して、指示値で示されるF値を指示することで、連続可変NDフィルタによる明るさ調整(第1の明るさ調整)を行う。
 一方、ステップS51においてオンタリー中であると判定された場合、ステップS56に進む。
 ステップS56において、制御部314は、フィルタユニット100に対して、連続可変NDフィルタからクリアフィルタへの切り替えを禁止する。これにより、撮像装置310がオンタリー中に、連続可変NDフィルタからクリアフィルタへ切り替わることで、フィルタ間の枠が映り込んでしまうことを防ぐことができる。
 次いで、ステップS53においては、フィルタユニット100に対して、連続可変NDフィルタによる明るさ調整が可能とされる。
 以上の処理によれば、オンタリー中のカメラにおいても、NDフィルタの変更が可能となり、カメラマンは従来の制約を気にすることなく、撮影作業を行うことが可能となる。
<6.コンピュータの構成例>
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータにおいて、CPU901,ROM902,RAM903は、バス904により相互に接続されている。
 バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、及びドライブ910が接続されている。
 入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア911を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905及びバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<7.適用例>
 以上においては、本開示に係る技術を、フィルタユニット100と撮像装置310に適用した例について説明したが、本開示に係る技術は、任意の構成に適用することができる。
 本開示に係る技術は、例えば、システムLSI(Large Scale Integration)などとしてのプロセッサ、複数のプロセッサなどを用いるモジュール、複数のモジュールなどを用いたユニット、そのユニットにさらなる機能を付加したセットなど、装置の一部の構成として実施することもできる。
 また、本開示に係る技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。
 本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)など)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
<8.応用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
 図29は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図29を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
 手術室には、様々な装置が設置され得る。図29では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
 ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
 視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
 具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
 あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
 視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
 また、図29では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
 手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
 手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
 図30は、集中操作パネル5111における操作画面の表示例を示す図である。図30では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図30を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
 発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
 プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
 コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
 また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
 なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
 図31は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
 内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図29に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図31では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
 以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
 (内視鏡)
 内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図29に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
 表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
 光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
 アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
 入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
 入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
 あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図31では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
 関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
 例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図32を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図32は、図31に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
 図32を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
 まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
 撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
 また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
 駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
 また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
 カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
 また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、シーリングカメラ5187による術者の手元の撮像や、術場カメラ5189による手術室全体の様子の撮像、内視鏡5115による術部の撮像等に好適に適用され得る。具体的には、シーリングカメラ5187、術場カメラ5189、内視鏡5115に設けられる連続可変NDフィルタとアイリス(光学絞り)を、ユーザによるコントローラ(例えば、入力装置5161)からの操作入力に基づいて制御部(例えば、CCU5153)が調整することで適用され得る。
 これらの撮像に、本開示に係る技術を適用することにより、手術に係る画像の撮像について、術部の撮像画像の明るさを調整する際に、絞りを小さくすることで発生する小絞りボケを避けて、撮像画像の解像感を維持したり、絞り過ぎて撮像画像が真っ暗になる事故を防ぐことができ、ひいては、手術の安全性を高めることができる。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 さらに、本開示は以下のような構成をとることができる。
(1)
 撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部
 を備える信号処理装置。
(2)
 前記制御部は、前記指示値の変化に応じて、前記第1の明るさ調整と、前記第2の明るさ調整の切り替え制御を行う
 (1)に記載の信号処理装置。
(3)
 前記制御部は、前記指示値と所定の閾値との比較結果に基づいて、前記切り替え制御を行う
 (2)に記載の信号処理装置。
(4)
 前記指示値は、F値を示し、
 前記制御部は、前記指示値が前記閾値より大きい場合に前記第1の明るさ調整が行われ、前記指示値が前記閾値より小さい場合に前記第2の明るさ調整が行われるように、前記切り替え制御を行う
 (3)に記載の信号処理装置。
(5)
 前記制御部は、イメージセンサ情報とレンズ情報に基づいて、前記閾値を設定する
 (3)または(4)に記載の信号処理装置。
(6)
 前記制御部は、前記指示値の変化に応じて、前記第1の明るさ調整、前記第2の明るさ調整、および、前記指示値に応じたゲインを前記撮像画像に与えることによる第3の明るさ調整の切り替え制御を行う
 (2)に記載の信号処理装置。
(7)
 前記制御部は、前記指示値と、第1の閾値および第2の閾値との比較結果に基づいて、前記切り替え制御を行う
 (6)に記載の信号処理装置。
(8)
 前記指示値は、F値を示し、
 前記制御部は、前記指示値が前記第1の閾値より大きい場合に前記第1の明るさ調整が行われ、前記指示値が前記第1の閾値より小さく前記第2の閾値より大きい場合に前記第2の明るさ調整が行われ、前記指示値が前記第2の閾値より小さい場合に前記第3の明るさ調整が行われるように、前記切り替え制御を行う
 (7)に記載の信号処理装置。
(9)
 前記制御部は、イメージセンサ情報とレンズ情報に基づいて、前記第1の閾値と前記第2の閾値を設定する
 (7)または(8)に記載の信号処理装置。
(10)
 前記制御部は、前記指示値の変化に連動して、前記第2の明るさ調整を行わずに、前記第1の明るさ調整のみを行う
 (1)に記載の信号処理装置。
(11)
 前記制御部は、前記指示値の変化に連動して、明るさが一定となるように、前記第1の明るさ調整と前記第2の明るさ調整を行う
 (1)に記載の信号処理装置。
(12)
 前記指示値は、被写界深度を示し、
 前記制御部は、前記第1の明るさ調整と前記第2の明るさ調整のうちの一方による前記撮像画像の明るさの変化を、他方による前記撮像画像の明るさの変化で相殺するように、前記第1の明るさ調整と前記第2の明るさ調整を同時に行う
 (10)に記載の信号処理装置。
(13)
 前記制御部は、前記撮像装置がオンタリー中であっても、前記連続可変NDフィルタによる前記第1の明るさ調整を可能とする
 (1)に記載の信号処理装置。
(14)
 前記撮像装置は、前記連続可変NDフィルタを含む複数のフィルタが設けられたディスクを有し、
 前記制御部は、前記ディスクの回転駆動により、イメージセンサへの有効光線が通過する有効光線範囲上に配置されるフィルタを切り替える
 (13)に記載の信号処理装置。
(15)
 前記複数のフィルタは、前記連続可変NDフィルタの他に、自身を透過する入射光に対して光学的影響を及ぼさない素通しフィルタをさらに含み、
 前記制御部は、前記撮像装置がオンタリー中の場合には、前記連続可変NDフィルタから前記素通しフィルタへの切り替えを禁止する
 (14)に記載の信号処理装置。
(16)
 前記制御部は、使用者の操作に基づいて、前記指示値の変化を受け付ける
 (1)乃至(15)のいずれかに記載の信号処理装置。
(17)
 前記使用者の操作は、リモートコントローラに対する操作を含む
 (16)に記載の信号処理装置。
(18)
 前記使用者の操作は、リモートコントローラが有する1つの調整操作子に対する操作を含む
 (16)に記載の信号処理装置。
(19)
 信号処理装置が、
 撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う
 信号処理方法。
(20)
 アイリスを介した入射光を受光して撮像画像を取得するイメージセンサと、
 前記撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、前記アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部
 を備える撮像装置。
 100 フィルタユニット, 110 ディスク, 111 偏光フィルタ, 112乃至115 フィルタ, 120 ディスク, G120 外周ギア, 121 偏光フィルタ, 122,123 フィルタ, 130 ギアボックス, 140,150 モータ, 181 駆動ギア, 190 減速機構, 191 ロータリダンパ, 210 コードホイール, 220 光エンコーダ, 401 制御部, 413 モータ, 414 位置検出部, 423 モータ, 424 位置検出部, 310 撮像装置, 311 イメージセンサ, 312 増幅部, 313 画像処理部, 314 制御部, 320 レンズ装置, 321 レンズ, 322 アイリス駆動部, 330 CCU, 340 リモートコントローラ, 340a 調整操作子, 900 コンピュータ

Claims (20)

  1.  撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部
     を備える信号処理装置。
  2.  前記制御部は、前記指示値の変化に応じて、前記第1の明るさ調整と、前記第2の明るさ調整の切り替え制御を行う
     請求項1に記載の信号処理装置。
  3.  前記制御部は、前記指示値と所定の閾値との比較結果に基づいて、前記切り替え制御を行う
     請求項2に記載の信号処理装置。
  4.  前記指示値は、F値を示し、
     前記制御部は、前記指示値が前記閾値より大きい場合に前記第1の明るさ調整が行われ、前記指示値が前記閾値より小さい場合に前記第2の明るさ調整が行われるように、前記切り替え制御を行う
     請求項3に記載の信号処理装置。
  5.  前記制御部は、イメージセンサ情報とレンズ情報に基づいて、前記閾値を設定する
     請求項3に記載の信号処理装置。
  6.  前記制御部は、前記指示値の変化に応じて、前記第1の明るさ調整、前記第2の明るさ調整、および、前記指示値に応じたゲインを前記撮像画像に与えることによる第3の明るさ調整の切り替え制御を行う
     請求項2に記載の信号処理装置。
  7.  前記制御部は、前記指示値と、第1の閾値および第2の閾値との比較結果に基づいて、前記切り替え制御を行う
     請求項6に記載の信号処理装置。
  8.  前記指示値は、F値を示し、
     前記制御部は、前記指示値が前記第1の閾値より大きい場合に前記第1の明るさ調整が行われ、前記指示値が前記第1の閾値より小さく前記第2の閾値より大きい場合に前記第2の明るさ調整が行われ、前記指示値が前記第2の閾値より小さい場合に前記第3の明るさ調整が行われるように、前記切り替え制御を行う
     請求項7に記載の信号処理装置。
  9.  前記制御部は、イメージセンサ情報とレンズ情報に基づいて、前記第1の閾値と前記第2の閾値を設定する
     請求項7に記載の信号処理装置。
  10.  前記制御部は、前記指示値の変化に連動して、前記第2の明るさ調整を行わずに、前記第1の明るさ調整のみを行う
     請求項1に記載の信号処理装置。
  11.  前記制御部は、前記指示値の変化に連動して、明るさが一定となるように、前記第1の明るさ調整と前記第2の明るさ調整を行う
     請求項1に記載の信号処理装置。
  12.  前記指示値は、被写界深度を示し、
     前記制御部は、前記第1の明るさ調整と前記第2の明るさ調整のうちの一方による前記撮像画像の明るさの変化を、他方による前記撮像画像の明るさの変化で相殺するように、前記第1の明るさ調整と前記第2の明るさ調整を同時に行う
     請求項10に記載の信号処理装置。
  13.  前記制御部は、前記撮像装置がオンタリー中であっても、前記連続可変NDフィルタによる前記第1の明るさ調整を可能とする
     請求項1に記載の信号処理装置。
  14.  前記撮像装置は、前記連続可変NDフィルタを含む複数のフィルタが設けられたディスクを有し、
     前記制御部は、前記ディスクの回転駆動により、イメージセンサへの有効光線が通過する有効光線範囲上に配置されるフィルタを切り替える
     請求項13に記載の信号処理装置。
  15.  前記複数のフィルタは、前記連続可変NDフィルタの他に、自身を透過する入射光に対して光学的影響を及ぼさない素通しフィルタをさらに含み、
     前記制御部は、前記撮像装置がオンタリー中の場合には、前記連続可変NDフィルタから前記素通しフィルタへの切り替えを禁止する
     請求項14に記載の信号処理装置。
  16.  前記制御部は、使用者の操作に基づいて、前記指示値の変化を受け付ける
     請求項1に記載の信号処理装置。
  17.  前記使用者の操作は、リモートコントローラに対する操作を含む
     請求項16に記載の信号処理装置。
  18.  前記使用者の操作は、リモートコントローラが有する1つの調整操作子に対する操作を含む
     請求項16に記載の信号処理装置。
  19.  信号処理装置が、
     撮像装置により取得される撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、アイリスによる第2の明るさ調整の少なくともいずれかを行う
     信号処理方法。
  20.  アイリスを介した入射光を受光して撮像画像を取得するイメージセンサと、
     前記撮像画像の明るさを指示する指示値の変化に連動して、透過率が連続的に可変の連続可変NDフィルタによる第1の明るさ調整と、前記アイリスによる第2の明るさ調整の少なくともいずれかを行う制御部
     を備える撮像装置。
PCT/JP2021/010975 2020-03-31 2021-03-18 信号処理装置、信号処理方法、および撮像装置 WO2021200183A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020062195 2020-03-31
JP2020-062195 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200183A1 true WO2021200183A1 (ja) 2021-10-07

Family

ID=77927102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010975 WO2021200183A1 (ja) 2020-03-31 2021-03-18 信号処理装置、信号処理方法、および撮像装置

Country Status (1)

Country Link
WO (1) WO2021200183A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165025A (ja) * 1992-11-16 1994-06-10 Canon Inc 撮像系
JP2016048318A (ja) * 2014-08-28 2016-04-07 キヤノン株式会社 撮影システム、レンズ装置、カメラ装置
JP2017068173A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 オートフォーカス機能を有するレンズ装置及び撮影システム
WO2019155908A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 フィルタユニット、フィルタ選択方法、および、撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165025A (ja) * 1992-11-16 1994-06-10 Canon Inc 撮像系
JP2016048318A (ja) * 2014-08-28 2016-04-07 キヤノン株式会社 撮影システム、レンズ装置、カメラ装置
JP2017068173A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 オートフォーカス機能を有するレンズ装置及び撮影システム
WO2019155908A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 フィルタユニット、フィルタ選択方法、および、撮像装置

Similar Documents

Publication Publication Date Title
JP7088185B2 (ja) 医療用システム、医療用装置および制御方法
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
JP7400802B2 (ja) 撮像装置、およびスイッチ
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
JP7095693B2 (ja) 医療用観察システム
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2014128394A (ja) 内視鏡装置
WO2020202904A1 (ja) 信号処理装置、撮像装置、信号処理方法
US11729493B2 (en) Image capture apparatus and image capture method
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
WO2021200183A1 (ja) 信号処理装置、信号処理方法、および撮像装置
JP7355009B2 (ja) 撮像装置、ゲイン設定方法及びプログラム
WO2021200141A1 (ja) フィルタユニットおよび撮像装置
WO2019167555A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
JPWO2019244442A1 (ja) 交換レンズ、撮像装置及び回転検出装置
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
JP7420141B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21781844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP