WO2017061279A1 - 光源制御装置、光源制御方法、プログラム、および手術用システム - Google Patents

光源制御装置、光源制御方法、プログラム、および手術用システム Download PDF

Info

Publication number
WO2017061279A1
WO2017061279A1 PCT/JP2016/077939 JP2016077939W WO2017061279A1 WO 2017061279 A1 WO2017061279 A1 WO 2017061279A1 JP 2016077939 W JP2016077939 W JP 2016077939W WO 2017061279 A1 WO2017061279 A1 WO 2017061279A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
light source
reflection
light
unit
Prior art date
Application number
PCT/JP2016/077939
Other languages
English (en)
French (fr)
Inventor
山口　健太
白木　寿一
一木　洋
雄生 杉江
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,553 priority Critical patent/US20180338670A1/en
Publication of WO2017061279A1 publication Critical patent/WO2017061279A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to a light source control device, a light source control method, a program, and a surgical system, and in particular, a light source control device, a light source control method, a program, and a surgical system that can be observed in a more appropriate exposure state.
  • a light source control device a light source control method, a program, and a surgical system that can be observed in a more appropriate exposure state.
  • Patent Document 1 discloses an endoscope apparatus that adjusts light distribution unevenness by changing an irradiation light amount or a light distribution pattern according to distance information and performing gain correction.
  • Patent Document 2 discloses an endoscope apparatus that reduces uneven light distribution (shading) using a plurality of light sources.
  • This disclosure has been made in view of such a situation, and enables observation in a more appropriate exposure state.
  • a light source control device includes a reflection direction estimation unit that estimates a reflection direction in which irradiation light is reflected on the surface of a subject in a living body, a reflection direction of irradiation light estimated by the reflection direction estimation unit, and the reflection direction And a control unit that controls the direction of the light source that emits the irradiation light relative to the direction of observing the subject based on the direction of observing the subject.
  • a light source control method or program estimates a reflection direction in which irradiation light is reflected on a surface of a subject in a living body, and based on the estimated reflection direction of irradiation light and a direction in which the subject is observed, Controlling the direction of the light source that emits the irradiation light relative to the direction of observing the subject.
  • a surgical system includes a light source that emits irradiation light from a predetermined direction to a surgical site in a living body, an imaging unit that images the surgical site in a living body, and a surface of the surgical site.
  • a reflection direction estimation unit that estimates a reflection direction in which the irradiation light is reflected, and a direction of the light source based on the reflection direction of the irradiation light estimated by the reflection direction estimation unit and the optical axis direction of the imaging unit.
  • a control unit that controls relative to the optical axis direction.
  • the reflection direction in which the irradiation light is reflected on the surface of the subject in the living body is estimated, and the direction of the light source that emits the irradiation light is based on the reflection direction and the direction in which the subject is observed. Is controlled relative to the direction of observing.
  • observation can be performed in a more appropriate exposure state.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a diagram illustrating an overall configuration example of an endoscopic surgical system as a surgical system according to the present technology.
  • endoscopic surgery has been performed in place of conventional laparotomy in medical practice.
  • an endoscopic surgical system 11 arranged in an operating room as shown in FIG. 1 is used.
  • several opening devices called trocars 22a and 22b are attached to the abdominal wall, and laparoscopes (endoscopes) are inserted through the holes provided in the trocars 22a and 22b.
  • a camera head portion hereinafter also referred to simply as a camera head portion
  • an energy treatment tool 13 a forceps 14 and the like are also inserted into the body.
  • a treatment such as excising the affected part 26 with the energy treatment tool 13 or the like is performed.
  • the camera head unit 12, the energy treatment tool 13, and the forceps 14 are held by an operator, an assistant, a scopist, a robot, or the like.
  • a cart 24 equipped with devices for endoscopic surgery, a patient bed 23 on which a patient lies, a foot switch 25, and the like are arranged.
  • the cart 24 includes devices such as a CCU (camera control unit) 15, a light source device 16, a treatment instrument device 17, a pneumoperitoneum device 18, a display device 19, a recorder 20, and a printer 21 as medical devices. .
  • An image signal of the affected part 26 imaged through the observation optical system of the camera head unit 12 is transmitted to the CCU 15 via the camera cable, processed in the CCU 15 and then output to the display device 19, and an endoscope of the affected part 26. An image is displayed.
  • the CCU 15 may be connected wirelessly.
  • the light source device 16 is connected to the camera head unit 12 through a light guide cable, and can switch and irradiate the affected part 26 with light of various wavelengths.
  • the treatment instrument device 17 is a high-frequency output device that outputs a high-frequency current to the energy treatment instrument 13 that cuts the affected part 26 using electric heat, for example.
  • the pneumoperitoneum device 18 is provided with air supply and intake means, and supplies air to, for example, the abdominal region in the patient's body.
  • the foot switch 25 controls the CCU 15, the treatment instrument device 17, and the like using a foot operation of an operator or assistant as a trigger signal.
  • the treatment by the energy treatment tool 13 and the forceps 14 is imaged by the camera head unit 12, and an affected part is obtained by an image obtained by performing signal processing on the image signal in the CCU 15. 26 can be observed.
  • FIG. 2 is an explanatory diagram showing an example of the hardware configuration of the CCU 15 in FIG.
  • the CCU 15 includes, for example, an FPGA board 51, a CPU 52, GPU boards 53-1 and 53-2, a memory 54, an IO controller 55, a recording medium 56, and an interface 57. Further, the FPGA board 51, the CPU 52, and the GPU boards 53-1 and 53-2 are connected by a bus 58, for example.
  • the FPGA board 51 is, for example, an FPGA (Field-Programmable Gate Array), an input interface to which an input image signal is input from the camera head unit 12 in FIG. 1, and an output image signal to the display device 9 in FIG. Includes output interface.
  • FPGA Field-Programmable Gate Array
  • the CPU 52 and the GPU boards 53-1 and 53-2 execute various software such as related software to perform various processes.
  • the CPU 52 includes a processor.
  • Each of the GPU boards 53-1 and 53-2 includes a GPU (GraphicsGraphProcessing Unit) and a DRAM (Dynamic Random Access Memory).
  • the memory 54 stores various data such as data corresponding to the input image signal from the camera head unit 12 and data corresponding to the output image signal to the display device 19.
  • the CPU 52 plays a role of controlling writing and reading of various data to and from the memory 54.
  • a CPU (Central Processing Unit) 52 divides the image data stored in the memory 54 according to the data stored in the memory 54, the processing capabilities and processing contents of the GPU boards 53-1 and 53-2. Each of the GPU boards 53-1 and 53-2 performs predetermined processing on the divided and supplied data, and outputs the processing result to the CPU 52.
  • CPU Central Processing Unit
  • the IO (Input / Output) controller 55 serves to control transmission of signals between the CPU 52, the recording medium 56, and the interface 57, for example.
  • the recording medium 56 functions as a storage unit (not shown), and stores various data such as image data and various applications.
  • examples of the recording medium 56 include an SSD (Solid State Drive).
  • the recording medium 56 may be detachable from the CCU 15.
  • Examples of the interface 57 include a USB (Universal Serial Bus) terminal and processing circuit, a LAN (Local Area Network) terminal, and a transmission / reception circuit.
  • USB Universal Serial Bus
  • LAN Local Area Network
  • FIG. 2 shows an example in which there are two GPU boards 53-1 and 53-2, but two or more boards may be used.
  • the CPU 52 has a GPU function
  • the CCU 15 does not have to include the GPU boards 53-1 and 53-2.
  • FIG. 3A shows the relationship between the line-of-sight direction and the illumination direction in the natural environment
  • FIG. 3B shows the state of brightness as viewed from the line-of-sight direction of FIG.
  • FIG. 4A shows the relationship between the viewing direction and the illumination direction in the endoscope
  • FIG. 4B shows the brightness state viewed from the viewing direction of FIG. 4A. It is shown.
  • the line-of-sight direction is the same if the reflectance of the object uniformly illuminated by the sunlight is the same. From the viewpoint, it will be visible to the eyes with the same brightness regardless of the distance.
  • the conventional endoscope 61 has a structure in which a pair of an illumination window 63 and an observation window 64 are disposed on the distal end surface of a lens barrel 62. Irradiated light from the light source is applied to the subject from the illumination window 63 via the light guide, and incident light incident on the observation window 64 is transmitted to the imaging unit out of reflected light reflected by the subject. .
  • the irradiation light vector ⁇ 1 from the light source and the incident light vector ⁇ 2 to the imaging unit are substantially parallel ( ⁇ 1 ⁇ 2 ). For this reason, if the specular reflection on the surface of the subject occurs frequently, it not only hinders the observation but also causes a great stress on the eyes of the observer. Therefore, in order to provide an appropriate observation environment, it is necessary to consider the specular reflection component.
  • the techniques disclosed in Patent Documents 1 and 2 only control the light source with appropriate illuminance so as to suppress illumination unevenness (shading), and specular reflection was not considered. . Therefore, depending on the result of the control, there is a possibility that many specular reflections are generated.
  • the intensity I d of the diffuse reflection component of the reflected light is expressed by the following equation (1) using the intensity I i of the incident light, the diffuse reflectance K d , and the reflection angle ⁇ .
  • the intensity I d of the diffuse reflection component varies depending on the reflection direction (reflection angle ⁇ ).
  • the intensity S of the specular reflected light of the reflected light is expressed by the following equation (2) using the intensity I i of the incident light, the specular reflectance W (constant), the highlight coefficient n, and the angle ⁇ . expressed.
  • the intensity S of the specular reflection light decreases according to the angle ⁇ formed by the line-of-sight direction vector V and the reflection direction vector R.
  • the shadow I at this point is expressed by the following equation (3) using the ambient light intensity I a and the reflectance K a .
  • the intensity I d of the diffuse reflection component changes depending on the reflection direction. Therefore, in order to calculate appropriate illuminance, it is necessary to use not only the distance information but also the reflection direction. There is.
  • the endoscopic surgery system 11 is configured to be able to provide an image suitable for observation by using distance information from the light source to the subject and a light source capable of changing the light source direction.
  • FIG. 7 is a diagram showing an external appearance of a rigid endoscope provided with a plurality of light sources used in the endoscopic surgery system 11.
  • 7A shows a configuration example of the appearance of the rigid mirror 71 viewed from the front direction
  • FIG. 7B shows a configuration example of the appearance of the rigid mirror 71 viewed from the front oblique direction. ing.
  • the rigid mirror 71 has a structure in which an observation window 73 and irradiation windows 74-1 to 74-4 are arranged on the distal end surface of a lens barrel 72.
  • the observation window 73 is disposed at the center of the distal end surface of the lens barrel 72, and light reflected by the subject and incident on the observation window 73 is sent to an imaging unit (for example, an imaging unit 83 in FIG. 8 described later). Then, imaging with the light is performed.
  • an imaging unit for example, an imaging unit 83 in FIG. 8 described later.
  • the irradiation windows 74-1 to 74-4 are arranged at an interval of approximately 90 ° when the lens barrel 72 is viewed from the front, and irradiation light can be irradiated from each of the irradiation windows 74-1 to 74-4. it can. Then, as will be described later, the light source direction of the irradiation light is controlled by adjusting the intensity of the irradiation light irradiated to the subject from each of the irradiation windows 74-1 to 74-4.
  • the rigid endoscope 71 is configured, and in the endoscopic surgery system 11, the light source control of the irradiation light irradiated to the subject from the irradiation windows 74-1 to 74-4 is performed.
  • FIG. 8 is a block diagram illustrating a configuration example of a light source control system 81 that performs light source control in the endoscopic surgery system 11.
  • the light source control system 81 includes a light source unit 82, an imaging unit 83, a signal processing unit 84, and a light source control unit 85.
  • the light source control system 81 includes the camera head unit 12, the CCU 15, and the light source device 16 in FIG. 1, and an image is output from the light source control system 81 to the display device 19.
  • the light source unit 82 has a plurality of light sources that generate irradiation light irradiated from the irradiation windows 74-1 to 74-4 shown in FIG. Then, the light source unit 82 changes the direction of the illumination light applied to the subject by adjusting the intensity of the light sources (for example, strong / weak or on / off) according to the control of the light source control unit 85. be able to.
  • the imaging unit 83 performs imaging with light incident from the observation window 73 in FIG. 7, and supplies an image signal obtained by the imaging to the signal processing unit 84.
  • the signal processing unit 84 performs signal processing on the image signal supplied from the imaging unit 83 and causes the display device 19 to display an image subjected to the signal processing.
  • the light source control unit 85 includes a light source information acquisition unit 91, a distance information acquisition unit 92, a subject inclination estimation unit 93, a reflection direction estimation unit 94, and a light distribution control unit 95, and controls the light source unit 82.
  • the light source information acquisition unit 91 acquires the light source information output from the light source unit 82 and supplies the current light source direction obtained from the light source information to the reflection direction estimation unit 94.
  • the distance information acquisition unit 92 acquires distance information from the imaging unit 83 to the subject, and supplies the distance indicated by the distance information to the subject inclination estimation unit 93.
  • the distance information acquisition unit 92 can acquire distance information by a method using stereo image data and stereo matching, as will be described with reference to FIGS. 9 and 10 described later.
  • There are various methods for acquiring distance information for example, a method of irradiating infrared rays in a time division manner or a method using millimeter wave radar), and the distance information acquisition unit 92 acquires the distance information by any of the methods. It is not limited to a specific method as long as it can be performed.
  • the subject inclination estimation unit 93 is supplied with spatial coordinates (two-dimensional coordinates) of an image captured by the imaging unit 83 from the imaging unit 83. Then, the subject inclination estimation unit 93 performs a process of estimating the three-dimensional inclination of the subject using the spatial coordinates and the distance from the light source supplied from the distance information acquisition unit 92 to the subject. The subject vector obtained as a result of is supplied to the reflection direction estimation unit 94. A method in which the subject inclination estimation unit 93 estimates the inclination of the subject will be described with reference to FIG.
  • the reflection direction estimation unit 94 uses the subject vector supplied from the subject inclination estimation unit 93 and the current light source direction supplied from the light source information acquisition unit 91 to determine the reflection direction of the subject for each pixel or area. The obtained processing is performed, and the reflection vector obtained as a result of the processing is supplied to the light distribution control unit 95.
  • the light distribution control unit 95 estimates the diffuse reflection intensity based on the reflection vector supplied from the reflection direction estimation unit 94, and sees the subject from the direction in which the subject is observed (that is, the optical axis direction of the imaging unit 83).
  • the light source direction that makes the illuminance uniform (see FIG. 12) or the light source direction that makes the specular reflection minimum (see FIG. 13) is obtained.
  • the light distribution control unit 95 controls the light distribution so that the subject is irradiated with the irradiation light from the irradiation windows 74-1 to 74-4 in FIG.
  • the light source control system 81 is configured to irradiate the subject with the irradiation light so as to be in the optimum light source direction based on the reflection direction of the irradiation light on the surface of the subject and the direction of observing the subject. Can do. Thereby, the imaging by the imaging unit 83 can be performed in a more appropriate exposure state.
  • the imaging unit 83L and the imaging unit 83R are used by using the two imaging units 83L and 83R.
  • a stereo image captured by each is acquired.
  • the parallax image according to the imaging interval T of the imaging part 83L and the imaging part 83R is acquired by performing the image process with respect to this stereo image.
  • the parallax d when the real-world point P is imaged by the imaging unit 83L and the imaging unit 83R is the point p L on the image plane X L of the imaging unit 83L corresponding to the point P.
  • a horizontal coordinate x L of, by using the horizontal coordinate x R of the point p R on the image plane X R of the imaging unit 83R corresponding to the point P, is expressed by the following equation (4).
  • the distance Z from the imaging unit 83L and the imaging unit 83R to the real world point P is expressed by the following equation (6) from the equations (4) and (5).
  • the distance information acquisition unit 92 can obtain the distance from the imaging unit 83 to the subject.
  • the subject inclination estimation unit 93 can estimate the inclination of the subject with respect to the optical axis direction (depth direction) of the imaging unit 83 using the distance from the imaging unit 83 to the subject.
  • the angle ⁇ 1 of the XZ plane and the YZ plane are obtained by using two predetermined attention coordinates (x 1 , y 1 , z 1 ) and attention coordinates (x 2 , y 2 , z 2 ) on the imaging plane.
  • the angle ⁇ 2 can be obtained by the following equation (7). Note that the two locations used as the coordinates of interest for obtaining the tilt may be two points specified by pixels, or two regions specified by an area composed of a plurality of pixels.
  • the subject inclination estimation unit 93 can obtain the inclination of the subject, and the reflection direction estimation unit 94 can estimate the reflection direction from the inclination of the subject.
  • the reflection direction estimation unit 94 estimates the specular reflection intensity S and the diffuse reflection intensity I d for each pixel or region whose inclination is obtained by the subject inclination estimation unit 93.
  • the reflection direction estimation unit 94 calculates the reflection component estimation mathematical model such as the phon reflection model shown in the above-described equation (1), the subject inclination (the angle ⁇ of the XZ plane) obtained by the above-described equation (7), and the like. 1 and the YZ plane angle ⁇ 2 ) and the light source direction supplied from the light source information acquisition unit 91, the diffuse reflection intensity I d can be estimated.
  • the reflection component estimation mathematical model such as the phon reflection model shown in the above-described equation (1), the subject inclination (the angle ⁇ of the XZ plane) obtained by the above-described equation (7), and the like. 1 and the YZ plane angle ⁇ 2 ) and the light source direction supplied from the light source information acquisition unit 91, the diffuse reflection intensity I d can be estimated.
  • the reflection direction estimation unit 94 uses the mathematical model as shown in the above equation (2) and the inclination of the subject obtained by the above equation (7) (the angle ⁇ 1 of the XZ plane). And the angle ⁇ 2 of the YZ plane) and the light source direction supplied from the light source information acquisition unit 91, the intensity S of the specular reflection light can be estimated.
  • the reflection direction estimation unit 94 can obtain the intensity I i of the incident light from the light source unit 82, for example.
  • any constants can be used for the diffuse reflectance K d , the specular reflectance W, and the highlight coefficient n used in the above formulas (1) and (2), or by using image recognition or the like.
  • the reflection coefficient specific to each subject may be used.
  • the reflection model used at this time is not limited to the above-described phon reflection model as long as the reflection intensity can be estimated, and various other models can be used.
  • FIG. 12 and FIG. 13 are diagrams for explaining a method in which the light distribution control unit 95 estimates an appropriate light source direction.
  • the reflection angle on the XZ plane is taken on the X axis
  • the reflection angle on the YZ plane is taken on the Y axis
  • the dispersion value of the diffuse reflection intensity I d is taken on the Z axis.
  • the light distribution control unit 95 can estimate the light source direction in which the illuminance of the subject is uniform by calculating the inclination of each of the XZ plane and the YZ plane so that the dispersion value of the diffuse reflection intensity I d is minimized. it can.
  • the light distribution control unit 95 estimates the light source direction so that the illuminance of the subject when viewed from the imaging unit 83 is uniform, so that appropriate subject illumination can be realized.
  • the light distribution control unit 95 obtains a cumulative frequency for each reflection angle from the reflection vector obtained by the reflection direction estimation unit 94, and obtains a light source vector with the least frequency of specular reflection. For example, as shown in FIG. 13, a three-dimensional plot is performed in which the reflection angle in the XZ plane is taken as the X axis, the reflection angle in the YZ plane is taken as the Y axis, and the cumulative frequency thereof is taken as the Z axis. Then, the light distribution control unit 95 estimates the light source direction that minimizes the specular reflection by calculating the inclination of each of the XZ plane and the YZ plane so that the cumulative frequency becomes the smallest in the movable range of the light source. Can do.
  • the light distribution control unit 95 can realize appropriate subject illumination by estimating the light source direction so that the specular reflection to the imaging unit 83 is suppressed and the specular reflection is minimized.
  • the light distribution control unit 95 realizes appropriate subject illumination according to the uniformity of the subject illuminance, and realizes appropriate subject illumination according to the low specular reflectance. can do. It should be noted that the light distribution control unit 95 may realize appropriate subject illumination by a method other than these.
  • the light distribution control unit 95 determines the light source direction, there is a possibility that the evaluation of the uniform illuminance of the subject and the frequency of specular reflection are not compatible. In this case, the light distribution control unit 95 can determine the appropriate direction by setting the light source direction with the best comprehensive evaluation of these two points as the appropriate direction, or by placing emphasis on one of the evaluations.
  • FIG. 14 is a flowchart for explaining light source control processing by the light source control unit 85 of FIG.
  • step S ⁇ b> 11 the distance information acquisition unit 92 acquires the distance from the imaging unit 83 to the subject and supplies the distance to the subject inclination estimation unit 93 as described above with reference to FIGS. 9 and 10, for example.
  • step S12 the subject inclination estimation unit 93 is described above with reference to FIG. 11 based on the distance supplied from the distance information acquisition unit 92 in step S11 and the spatial coordinates of the image captured by the imaging unit 83. Thus, the inclination of the subject is estimated. Then, the subject tilt estimation unit 93 supplies a subject vector indicating the tilt of the subject to the reflection direction estimation unit 94.
  • step S13 the reflection direction estimation unit 94 estimates the reflection direction of the illumination light on the subject based on the subject vector supplied from the subject inclination estimation unit 93 in step S12. Then, the reflection direction estimation unit 94 supplies the light distribution control unit 95 with a reflection vector indicating the reflection direction of the illumination light on the subject.
  • step S14 the light distribution control unit 95 is optimized so that the subject illuminance is uniform or the specular reflection is minimized based on the reflection vector supplied from the reflection direction estimation unit 94 in step S13. Find the right light source direction.
  • step S15 the light distribution control unit 95 supplies the optimal light source direction obtained in step S14 to the light source unit 82, and irradiates the subject from the irradiation windows 74-1 to 74-4 (FIG. 7) with the optimal light source direction. Light distribution is controlled so that light is irradiated.
  • step S15 the light source control process is terminated. Then, the subject to which the illumination light is irradiated with the light distribution controlled as described above is picked up by the image pickup unit 83, and the process waits until the next image is supplied from the image pickup unit 83.
  • the light source control unit 85 can estimate the reflection component on the surface of the subject and obtain the optimum light source direction, so that the subject can be observed in a more appropriate exposure state. In other words, the light source control unit 85 can improve the visibility at the time of observation by the image captured by the imaging unit 83 by eliminating the non-uniformity of subject illuminance or reducing the frequency of specular reflection. .
  • FIG. 15 is a flowchart for explaining processing in which the subject inclination estimation unit 93 estimates the inclination of the subject.
  • step S ⁇ b> 21 the subject inclination estimation unit 93 acquires the spatial coordinates of the image captured by the imaging unit 83 and the distance information supplied from the distance information acquisition unit 92.
  • step S ⁇ b> 22 the subject inclination estimator 93 focuses attention coordinates (x 1 , y 1 , z 1 ) and attention coordinates (x 2 , y 2 , z 2 ) that specify predetermined two points or two areas on the imaging plane. To get.
  • step S23 the subject inclination estimator 93 calculates the angle ⁇ 1 of the XZ plane and the angle ⁇ 2 of the YZ plane using the above equation (7), as described above with reference to FIG. Then, the subject inclination estimation unit 93 supplies the inclination of the subject (the angle ⁇ 1 on the XZ plane and the angle ⁇ 2 on the YZ plane) to the reflection direction estimation unit 94, and the processing is ended.
  • the subject inclination estimation unit 93 can estimate the inclination of the subject based on the image and the distance information.
  • the light distribution control unit 95 also serves the three conditions that the dispersion of the diffuse reflectance is small, the specular reflectance is low, and is close to the current light source direction. Is desirable. For example, when observing an endoscopic video as a moving image during a surgical operation, a situation where the impression of the subject (surgical site) changes suddenly and frequently due to changes in the illumination direction should be avoided. It is desirable to change slowly with respect to time and space directions. Therefore, the above three conditions are necessary for moving image observation.
  • a new light source direction may be determined under the condition that the dispersion of the diffuse reflectance is small and the specular reflectance is low.
  • the light distribution control unit 95 estimates an appropriate light source direction
  • the above-described three conditions are independent factors. Therefore, the direction with the highest evaluation of each of these conditions is determined as a new light source direction. can do. For example, an example will be described with reference to the flowchart of FIG.
  • FIG. 16 is a flowchart for explaining processing in which the light distribution control unit 95 estimates an appropriate light source direction.
  • step S32 the light distribution control unit 95 calculates a new light source direction D according to the following equation (8) using the dispersion value Diff of the diffuse reflection component, the specular reflectance Spec, and the distance weight W.
  • the dispersion value Diff of the diffuse reflection component, the specular reflectance Spec, and the weight W of the distance take values from 0 to 1.
  • step S33 the light distribution control unit 95 determines whether or not the current X-axis light source direction is the maximum (X + n) of the fluctuation range n.
  • step S33 determines in step S33 that the current X-axis light source direction is the maximum of the fluctuation range n
  • the process proceeds to step S35. That is, in this case, the illumination light is irradiated in all the X-axis light source directions in the fluctuation range from the minimum to the maximum in the current Y-axis light source direction.
  • step S35 the light distribution control unit 95 determines whether or not the current Y-axis light source direction is the maximum (Y + n) of the fluctuation range n.
  • step S35 determines in step S35 that the current Y-axis light source direction is the maximum of the fluctuation range n.
  • the process ends.
  • the illumination light is irradiated in all the X-axis light source directions and Y-axis light source directions in the fluctuation range from the minimum to the maximum, and the light source direction obtained in the final step S32 is the optimum light source direction. It becomes.
  • a constant may be used for the weighting coefficient ⁇ , or an adaptive variable may be used for the distance from the imaging unit 83 to the subject.
  • the weighting factor ⁇ is handled as a variable, it is preferable to appropriately determine the weighting factor ⁇ from the distance information. For example, if the distance from the imaging unit 83 to the subject is long, the weighting coefficient ⁇ is set to be smaller because the illumination range is greatly moved by a slight change in the light source direction, and if the distance from the imaging unit 83 is short, the weight is set. By setting the coefficient ⁇ to be large, better observation can be performed.
  • the endoscopic surgery system 11 by controlling the light source direction so that the dispersion of the diffuse reflectance becomes small or the specular reflectance becomes low, for example, an extremely bright spot is obtained. Occurrence of the image is avoided, and the image can be observed in a more appropriate exposure state.
  • the method of fixing the optical axis of the imaging unit 83 and controlling the light source direction has been described.
  • the optical axis of the imaging unit 83 and the light source direction can be relatively adjusted.
  • the light axis direction may be fixed and the optical axis of the imaging unit 83 may be controlled.
  • the control of the light source direction is not limited to the method of controlling the irradiation intensity of the irradiation light irradiated from each of the irradiation windows 74-1 to 74-4 in FIG. 7, and various methods (for example, movable type) Or a method of selecting an appropriate light source from among a large number of light sources).
  • the present technology can be applied to, for example, various devices that perform observation in an illumination environment similar to that of an endoscope.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs. Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium in which the program is recorded.
  • FIG. 18 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • a reflection direction estimation unit for estimating a reflection direction in which irradiation light is reflected on the surface of a subject in a living body; Based on the reflection direction of the irradiation light estimated by the reflection direction estimation unit and the direction of observing the subject, the direction of the light source that irradiates the irradiation light is controlled relative to the direction of observing the subject.
  • a light source control device comprising: a control unit.
  • the light source control device controls the direction of the light source based on the reflection direction so that specular reflection in a direction of observing the subject is suppressed.
  • a subject inclination estimator for estimating the inclination of the subject relative to the direction of observing the subject;
  • the light source control device according to any one of (1) to (3), wherein the reflection direction estimation unit estimates the reflection direction based on the inclination of the subject estimated by the subject inclination estimation unit.
  • a distance information acquisition unit that obtains a distance from the imaging unit that images the subject to the subject;
  • the subject tilt estimation unit estimates the tilt of the subject based on the spatial coordinates of the image captured by the imaging unit and the distance obtained by the distance information acquisition unit.
  • the light source control device (6) The light source control device according to (5), wherein the reflection direction estimation unit estimates the inclination of the subject for each pixel or region of an image captured by the imaging unit. (7) The light source control device according to any one of (1) to (6), wherein the subject in a living body is imaged by an endoscope. (8) The said distance information acquisition part calculates
  • the light source control apparatus as described in said (5).
  • a light source control method including a step of controlling a direction of a light source for irradiating the irradiation light relative to a direction for observing the subject based on the estimated reflection direction of the irradiation light and a direction of observing the subject. .
  • a computer including a step of controlling a direction of a light source for irradiating the irradiation light relative to a direction for observing the object based on the estimated reflection direction of the irradiation light and the direction of observing the object; A program to be executed.
  • a light source that emits irradiation light from a predetermined direction to the surgical site in a living body;
  • An imaging unit for imaging the surgical site in vivo;
  • a reflection direction estimation unit for estimating a reflection direction in which irradiation light is reflected on the surface of the surgical site;
  • a control unit that controls the direction of the light source relative to the optical axis direction of the imaging unit based on the reflection direction of the irradiation light estimated by the reflection direction estimation unit and the optical axis direction of the imaging unit;
  • Surgical system provided.

Abstract

本開示は、より適切な露出状態で観察することができるようにする光源制御装置、光源制御方法、プログラム、および手術用システムに関する。 光源制御装置は、被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、推定された照射光の反射方向に基づいて、照射光を照射する光源の向きを制御する制御部とを備える。そして、制御部は、反射方向に基づいて、被写体を観察する方向から見た照度が均一になるように、または、被写体を観察する方向への鏡面反射が抑制されるように、制御を行う。本技術は、例えば、内視鏡下手術に用いられる手術用システムに適用できる。

Description

光源制御装置、光源制御方法、プログラム、および手術用システム
　本開示は、光源制御装置、光源制御方法、プログラム、および手術用システムに関し、特に、より適切な露出状態で観察することができるようにした光源制御装置、光源制御方法、プログラム、および手術用システムに関する。
　近年、医療現場において従来の開腹手術に代わって、内視鏡を利用した手術が行われている。また、従来より、内視鏡による観察において、適切な露出状態に設定することが困難であることが知られており、均一に被写体を照射するための技術が開発されている。
　例えば、特許文献１には、距離情報に応じて照射光量や配光パターンを変更し、ゲイン補正によって配光ムラを調整する内視鏡装置が開示されている。また、特許文献２には、複数の光源によって配光ムラ（シェーディング）を減少させる内視鏡装置が開示されている。
特開２０１５－８７８５号公報 特開２０１２－２４５３４９号公報
　しかしながら、上述したような特許文献１および２に開示されている技術において適正露出を得ることができたとしても、これらの技術では反射成分を考慮していないことより、鏡面反射が原因となって観察に適した画像を得ることは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より適切な露出状態で観察することができるようにするものである。
　本開示の一側面の光源制御装置は、生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部とを備える。
　本開示の一側面の光源制御方法またはプログラムは、生体内の被写体の表面で照射光が反射する反射方向を推定し、推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御するステップを含む。
　本開示の一側面の手術用システムは、生体内において術部に対して所定の方向から照射光を照射する光源と、生体内において前記術部を撮像する撮像部と、前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部とを備える。
　本開示の一側面においては、生体内の被写体の表面で照射光が反射する反射方向が推定され、その反射方向および被写体を観察する方向に基づいて、照射光を照射する光源の向きが、被写体を観察する方向に対して相対的に制御される。
　本開示の一側面によれば、より適切な露出状態で観察することができる。
本技術を適用した内視鏡手術用システムの一実施の形態の全体的構成例を示す図である。 ＣＣＵのハードウェア構成の一例を示す説明図である。 自然環境における露出状態を説明する図である。 内視鏡における露出状態を説明する図である。 従来の内視鏡の構造を説明する図である。 フォンの反射モデルについて説明する図である。 複数光源を備えた硬性鏡の外観を示す図である。 光源制御システムの構成例を示すブロック図である。 ステレオ画像データおよびステレオマッチングを利用して距離情報を取得する方法について説明する図である。 ステレオ画像データおよびステレオマッチングを利用して距離情報を取得する方法について説明する図である。 被写体の傾きを推定する処理について説明する図である。 被写体照度が均一となるように光源向きを推定する方法について説明する図である。 鏡面反射が最小となるように光源向きを推定する方法について説明する図である。 光源制御処理を説明するフローチャートである。 被写体の傾きを推定する処理を説明するフローチャートである。 適正な光源向きを推定する処理を説明するフローチャートである。 正規分布を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜内視鏡手術用システムの構成例＞
　図１は、本技術の手術用システムとしての、内視鏡手術用システムの全体的構成例を示す図である。
　近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術用システム１１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ２２ａおよび２２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ２２ａおよび２２ｂに設けられている孔から腹腔鏡（内視鏡とも称する）のカメラヘッド部（以下、単にカメラヘッド部と称する）１２、エネルギ処置具１３や鉗子１４等が体内に挿入される。そして、カメラヘッド部１２によってビデオ撮像された患部（腫瘍等）２６の画像をリアルタイムに見ながら、エネルギ処置具１３等によって患部２６を切除するなどの処置が行われる。カメラヘッド部１２、エネルギ処置具１３や鉗子１４は、術者、助手、スコピスト、またはロボット等が保持している。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート２４、患者が横たわる患者ベッド２３、フットスイッチ２５等が配置される。カート２４は、医療機器として例えばＣＣＵ（カメラコントロールユニット）１５、光源装置１６、処置具用装置１７、気腹装置１８、表示装置１９、レコーダ２０及びプリンタ２１等の装置類を載置している。
　カメラヘッド部１２の観察光学系を通じて撮像された患部２６の画像信号がカメラケーブルを介してＣＣＵ１５に伝送され、ＣＣＵ１５内で信号処理された後に、表示装置１９に出力され、患部２６の内視鏡画像が表示される。ＣＣＵ１５は、カメラケーブルを介してカメラヘッド部１２に接続される他、無線で接続してもよい。
　光源装置１６は、ライトガイドケーブルを介してカメラヘッド部１２に接続され、患部２６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置１７は、例えば患部２６を、電気熱を用いて切断するエネルギ処置具１３に対して高周波電流を出力する高周波出力装置である。
　気腹装置１８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。フットスイッチ２５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ１５や処置具用装置１７等を制御するようになっている。
　このように構成される内視鏡手術用システム１１では、エネルギ処置具１３や鉗子１４による施術をカメラヘッド部１２で撮像し、画像信号に対してＣＣＵ１５において信号処理が施された画像によって、患部２６を観察することができる。
　図２は、図１におけるＣＣＵ１５のハードウェア構成の一例を示す説明図である。ＣＣＵ１５は、例えば、FPGAボード５１、CPU５２、GPUボード５３－１および５３－２、メモリ５４、IOコントローラ５５、記録媒体５６、インタフェース５７を備える。また、FPGAボード５１、CPU５２、並びに、GPUボード５３－１および５３－２は、例えば、バス５８で接続される。FPGAボード５１は、例えば、FPGA（Field-Programmable Gate Array）、図１のカメラヘッド部１２から入力画像信号が入力される入力インタフェース、および、図１の表示装置９に出力画像信号が出力される出力インタフェースを含む。
　CPU５２と、GPUボード５３－１および５３－２とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。CPU５２は、プロセッサを備えている。GPUボード５３－１および５３－２それぞれは、GPU（Graphics Processing Unit）とDRAM（Dynamic Random Access Memory）を備えている。
　メモリ５４には、例えば、カメラヘッド部１２から入力画像信号に対応するデータや、表示装置１９への出力画像信号に対応するデータなど、様々なデータが記憶される。CPU５２は、メモリ５４への各種データの書き込みや読み出しを制御する役目を果たす。
　CPU（Central Processing Unit）５２は、メモリ５４に記憶させたデータ、GPUボード５３－１および５３－２の処理能力および処理内容に応じて、メモリ５４に記憶された画像データを分割する。そして、GPUボード５３－１および５３－２のそれぞれのGPUは、分割されて供給されてくるデータに所定の処理を施し、処理結果をCPU５２に出力する。
　IO（Input Output）コントローラ５５は、例えば、CPU５２と、記録媒体５６およびインタフェース５７との間の信号の伝達を制御する役目を果たす。
　記録媒体５６は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体５６としては、例えば、SSD（Solid State Drive）などが挙げられる。また、記録媒体５６は、ＣＣＵ１５から着脱可能であってもよい。
　インタフェース５７としては、例えば、USB（Universal Serial Bus）端子および処理回路や、LAN（Local Area Network）端子および送受信回路などが挙げられる。
　なお、ＣＣＵ１５のハードウェア構成は、図２に示す構成に限られない。例えば、図２では、GPUボード５３－１および５３－２の２枚である例が示されているが、２枚以上の枚数であってもよい。また、CPU５２がGPUの機能を有している場合には、ＣＣＵ１５は、GPUボード５３－１および５３－２を備えていなくてもよい。
　ところで、内視鏡手術用システム１１を用いることで、外科手術における大きなデメリットである侵襲性を抑えた手術手技を実現することが可能となる一方で、内視鏡観察における普遍的な課題として露出設定の難しさが挙げられる。
　図３および図４を参照して、自然環境における露出状態と、内視鏡における露出状態との違いについて説明する。
　図３のＡには、自然環境における視線方向と照明方向との関係が示されており、図３のＢには、図３のＡの視線方向から見た明るさの状態が示されている。同様に、図４のＡには、内視鏡における視線方向と照明方向との関係が示されており、図４のＢには、図４のＡの視線方向から見た明るさの状態が示されている。
　例えば、図３に示すように、自然環境の様に太陽光線によって均一な照度で被写体が照らされている状態では、太陽光線によって均一に照射される物体の反射率が同一であれば、視線方向から見て、距離に依らず同じ明るさで目に映ることになる。
　これに対し、図４に示すように、内視鏡による観察では、光源によって不均一に被写体を照らす状態となるため、反射率が同一の物体であっても、距離によって被写体の照度が変化してしまい、視野全体を適正露出にすることが困難となる。即ち、距離が近ければ露出オーバーとなり、距離が遠ければ露出アンダーとなってしまい、距離によって異なる明るさで目に映ることになる。
　このため、従来より、上述した特許文献１および２に開示されているような、適正露出を得るための技術が開発されている。しかしながら、これらの技術では光量や配光を変えることはできるものの、反射成分を考慮していないことより、適正照度であっても観察に適していない画像を撮像してしまう可能性がある。
　つまり、従来の内視鏡の構造的な理由から、医用内視鏡を用いた観察では鏡面反射成分が生じやすいものとなっていた。
　例えば、図５に示すように、従来の内視鏡６１は、鏡筒６２の先端面に一組の照明窓６３および観察窓６４が配置される構造となっている。光源からの照射光は、導光部を介して照明窓６３から被写体へ照射され、その照射光が被写体において反射された反射光のうち、観察窓６４に入射する入射光が撮像部へ送られる。
　このような構成の内視鏡６１では、光源からの照射光ベクトルθ1と撮像部への入射光ベクトルθ2とが略平行（θ1≒θ2）となる。このため、被写体の表面における鏡面反射が高い頻度で発生すると、観察の妨げになるだけではなく観察者の眼にも大きなストレスとなることがあった。従って、適正な観察環境を提供するためには、鏡面反射成分についても考慮する必要がある。しかしながら、上述したように、特許文献１および２に開示されている技術では、照明ムラ（シェーディング）を抑制するように適正照度で光源を制御するだけであり、鏡面反射については考慮されていなかった。そのため、制御の結果次第では、却って鏡面反射を多く発生させる可能性があった。
　ここで、図６を参照して、フォンの反射モデルについて説明する。
　例えば、図６に示すように、法線ベクトルＮの平面上における所定の点で、入射角αとなる入射方向ベクトルＬで入射した光が、反射角αとなる反射方向ベクトルＲで反射し、反射方向ベクトルＲに対する視線方向ベクトルＶは角度γを成しているものとする。この場合、反射する光の拡散反射成分の強度Ｉdは、入射光の強度Ｉi、拡散反射率Ｋd、および反射角αを用いて、次の式（１）によって表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）に示すように、拡散反射成分の強度Ｉdは、反射方向（反射角α）によって変化する。
　同様に、反射する光の鏡面反射光の強度Ｓは、入射光の強度Ｉi、鏡面反射率Ｗ（定数）、ハイライト係数ｎ、および、角度γを用いて、次の式（２）によって表される。
Figure JPOXMLDOC01-appb-M000002
　式（２）に示すように、鏡面反射光の強度Ｓは、視線方向ベクトルＶと反射方向ベクトルＲとの成す角度γに応じて減少する。
　また、フォンの反射モデルにおいて、この点での陰影Ｉは、環境光の強度Ｉaおよび反射率Ｋaを用いて、次の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、式（１）に示すように、拡散反射成分の強度Ｉdは、反射方向によって変化するため、適正な照度を算出するには、距離情報を用いるだけでなく、反射方向を用いる必要がある。
　そこで、内視鏡手術用システム１１は、光源から被写体までの距離情報、および、光源向きを変更可能な光源を用いて、観察に適した画像を提供することができるように構成されている。
　図７は、内視鏡手術用システム１１で用いられる複数光源を備えた硬性鏡の外観を示す図である。図７のＡには、硬性鏡７１を正面方向から見た外観の構成例が示されており、図７のＢには、硬性鏡７１を正面斜め方向から見た外観の構成例が示されている。
　図７に示すように、硬性鏡７１は、鏡筒７２の先端面に、観察窓７３および照射窓７４－１乃至７４－４が配置される構造となっている。
　観察窓７３は、鏡筒７２の先端面の中央に配置されており、被写体で反射して観察窓７３に入射する光が撮像部（例えば、後述する図８の撮像部８３）に送られて、その光による撮像が行われる。
　照射窓７４－１乃至７４－４は、鏡筒７２を正面から見て略９０°の間隔を設けて配置されており、照射窓７４－１乃至７４－４それぞれから照射光を照射することができる。そして、後述するように、照射窓７４－１乃至７４－４それぞれから被写体に照射される照射光の強度を調整することで、照射光の光源向きが制御される。
　このように硬性鏡７１は構成されており、内視鏡手術用システム１１では、照射窓７４－１乃至７４－４から被写体に照射される照射光の光源制御が行われる。
　図８は、内視鏡手術用システム１１において光源制御を行う光源制御システム８１の構成例を示すブロック図である。
　図８に示すように、光源制御システム８１は、光源ユニット８２、撮像部８３、信号処理部８４、および光源制御部８５を備えて構成される。例えば、光源制御システム８１は、図１のカメラヘッド部１２、ＣＣＵ１５、および光源装置１６によって構成され、光源制御システム８１から表示装置１９に画像が出力される。
　光源ユニット８２は、図７の照射窓７４－１乃至７４－４それぞれから照射される照射光を発生する複数の光源を有している。そして、光源ユニット８２は、光源制御部８５の制御に従って、それらの光源の強度を調整（例えば、強／弱やオン／オフなど）することで、被写体に照射される照明光の向きを変更することができる。
　撮像部８３は、図７の観察窓７３から入射する光による撮像を行い、その撮像によって得られる画像信号を信号処理部８４に供給する。
　信号処理部８４は、撮像部８３から供給される画像信号に対する信号処理を行い、その信号処理を施した画像を表示装置１９に表示させる。
　光源制御部８５は、光源情報取得部９１、距離情報取得部９２、被写体傾き推定部９３、反射方向推定部９４、および配光制御部９５を備えて構成され、光源ユニット８２に対する制御を行う。
　光源情報取得部９１は、光源ユニット８２から出力される光源情報を取得し、その光源情報から得られる現時点での光源向きを反射方向推定部９４に供給する。
　距離情報取得部９２は、撮像部８３から被写体までの距離情報を取得し、その距離情報により示される距離を、被写体傾き推定部９３に供給する。例えば、距離情報取得部９２は、後述の図９および図１０を参照して説明するように、ステレオ画像データおよびステレオマッチングを利用する手法により距離情報を取得することができる。なお、距離情報を取得する様々な手法（例えば、時分割で赤外線を照射する手法や、ミリ波レーダを利用する手法）があり、距離情報取得部９２は、いずれかの手法により距離情報を取得することができればよく、特定の手法に限定されることはない。
　被写体傾き推定部９３には、撮像部８３により撮像される画像の空間座標（２次元座標）が、撮像部８３から供給される。そして、被写体傾き推定部９３は、その空間座標と、距離情報取得部９２から供給される光源から被写体までの距離とを用いて、被写体の３次元的な傾きを推定する処理を行い、その処理の結果求められる被写体ベクトルを反射方向推定部９４に供給する。なお、被写体傾き推定部９３が被写体の傾きを推定する手法については、後述の図１１を参照して説明する。
　反射方向推定部９４は、被写体傾き推定部９３から供給される被写体ベクトルと、光源情報取得部９１から供給される現時点での光源の向きとを用いて、画素または領域ごとの被写体における反射方向を求める処理を行い、その処理の結果求められる反射ベクトルを配光制御部９５に供給する。
　配光制御部９５は、反射方向推定部９４から供給される反射ベクトルに基づいて、拡散反射強度を推定し、被写体を観察する方向（即ち、撮像部８３の光軸方向）から見て、被写体照度が均一となるような光源向き（図１２参照）、または、鏡面反射が最小となるような光源向き（図１３参照）を求める。そして、配光制御部９５は、そのように求めた最適な光源向きで、図７の照射窓７４－１乃至７４－４から被写体に照射光が照射されるように配光を制御する。
　このように光源制御システム８１は構成されており、被写体に表面における照射光の反射方向、および、被写体を観察する方向に基づいて、最適な光源向きとなるように被写体に照射光を照射することができる。これにより、より適切な露出状態で撮像部８３による撮像を行うことができる。
　図９および図１０を参照して、撮像部８３から被写体までの距離情報を取得する方法の一例として、ステレオ画像データおよびステレオマッチングを利用した方法について説明する。
　例えば、図９に示すように、生体内の被写体を図７の硬性鏡７１を用いて撮像するときに、２台の撮像部８３Ｌおよび撮像部８３Ｒを用いることで、撮像部８３Ｌおよび撮像部８３Ｒそれぞれにより撮像されたステレオ画像が取得される。そして、このステレオ画像に対する画像処理を行うことで、撮像部８３Ｌおよび撮像部８３Ｒの撮像間隔Ｔに応じた視差画像が取得される。
　そして、図１０に示すように、実世界の点Ｐを撮像部８３Ｌおよび撮像部８３Ｒで撮像した際の視差ｄは、点Ｐに対応する撮像部８３Ｌの画像平面ＸL上での点ｐLの水平座標ｘLと、点Ｐに対応する撮像部８３Ｒの画像平面ＸR上での点ｐRの水平座標ｘRとを用いて、次の式（４）によって表される。
Figure JPOXMLDOC01-appb-M000004
　また、撮像部８３Ｌおよび撮像部８３Ｒから実世界の点Ｐまでの距離（奥行き）Ｚと、撮像部８３Ｌの撮像中心ＯLおよび撮像部８３Ｒの撮像中心ＯRの撮像間隔Ｔとの関係は、視差ｄおよび焦点距離ｆを用いて、次の式（５）によって表される。
Figure JPOXMLDOC01-appb-M000005
　従って、式（４）および式（５）より、撮像部８３Ｌおよび撮像部８３Ｒから実世界の点Ｐまでの距離Ｚは、次の式（６）によって表される。
Figure JPOXMLDOC01-appb-M000006
　このようなステレオ画像に基づいて、距離情報取得部９２は、撮像部８３から被写体までの距離を求めることができる。そして、被写体傾き推定部９３は、撮像部８３から被写体までの距離を用いて、撮像部８３の光軸方向（奥行き方向）に対する被写体の傾きを推定することができる。
　図１１を参照して、被写体傾き推定部９３が、距離情報から画素または領域ごとの被写体の傾きを推定する処理について説明する。
　例えば、図１１のＡに示すように三次元の座標と軸が定義され、図１１のＢに示すようにＸＺ平面の傾きが定義され、図１１のＣに示すようにＹＺ平面の傾きが定義される。このとき、撮像平面上の所定の２カ所の注目座標（ｘ1，ｙ1，ｚ1）および注目座標（ｘ2，ｙ2，ｚ2）を用いて、ＸＺ平面の角度θ1およびＹＺ平面の角度θ2は、次の式（７）により求めることができる。なお、傾きを求めるための注目座標として用いる２カ所は、画素により特定される２点でもよいし、複数の画素からなる領域により特定される２領域であってもよい。
Figure JPOXMLDOC01-appb-M000007
　このように、被写体傾き推定部９３は、被写体の傾きを求めることができ、反射方向推定部９４は、被写体の傾きから反射方向を推定することができる。
　即ち、反射方向推定部９４は、被写体傾き推定部９３により傾きが求められた画素または領域ごとに、鏡面反射強度Ｓおよび拡散反射強度Ｉdを推定する。
　例えば、反射方向推定部９４は、上述した式（１）に示すようなフォンの反射モデルなどの反射成分推定の数学モデル、上述した式（７）により求められる被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）、および、光源情報取得部９１から供給される光源向きに基づいて、拡散反射強度Ｉdを推定することができる。
　また、反射方向推定部９４は、拡散反射強度Ｉdと同様に、上述した式（２）に示すような数学モデル、上述した式（７）により求められる被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）、および、光源情報取得部９１から供給される光源向きに基づいて、鏡面反射光の強度Ｓを推定することができる。
　このとき、反射方向推定部９４は、例えば、光源ユニット８２から入射光の強さＩiを取得することができる。また、上述した式（１）および式（２）で用いられる拡散反射率Ｋd、鏡面反射率Ｗ、ハイライト係数ｎは、任意の定数を用いることができ、または、画像認識等を用いて被写体を識別することによって、それぞれの被写体の固有の反射係数を用いてもよい。さらに、この際に使用する反射モデルは、反射強度を推定できるものであれば、上述したフォンの反射モデルに限定されることはなく、その他の様々なモデルを使用することができる。
　次に、図１２および図１３は、配光制御部９５が、適正な光源向きを推定する方法を説明する図である。
　図１２を参照して、被写体照度が均一となるように光源向きを推定する方法について説明する。
　例えば、図１２に示すように、ＸＺ平面における反射角度をＸ軸に取り、ＹＺ平面における反射角度をＹ軸に取り、Ｚ軸に拡散反射強度Ｉdの分散値を取る。そして、配光制御部９５は、拡散反射強度Ｉdの分散値が最小になるようなＸＺ平面およびＹＺ平面それぞれの傾きを算出することで、被写体照度が均一となる光源向きを推定することができる。
　このように、配光制御部９５が、撮像部８３から見たときの被写体照度が均一となるように光源向きを推定することで、適切な被写体照明を実現することができる。
　図１３を参照して、鏡面反射が最小となるように光源向きを推定する方法について説明する。
　例えば、配光制御部９５は、反射方向推定部９４により求められる反射ベクトルから反射角毎の累積頻度を求め、最も鏡面反射が発生する頻度が少なくなる光源ベクトルを求める。例えば、図１３に示すように、ＸＺ平面における反射角度をＸ軸に取り、ＹＺ平面における反射角度をＹ軸に取り、それらの累積頻度をＺ軸にした３次元のプロットを行う。そして、配光制御部９５は、光源の可動範囲のうちで累積頻度が最も小さくなるようなＸＺ平面およびＹＺ平面それぞれの傾きを算出することで、鏡面反射が最小となる光源向きを推定することができる。
　このように、配光制御部９５は、撮像部８３への鏡面反射が抑制され、鏡面反射が最小となるように光源向きを推定することで、適切な被写体照明を実現することができる。
　図１２および図１３を参照して説明したように、配光制御部９５は、被写体照度の均一さに従って適切な被写体照明を実現することや、鏡面反射率の少なさに従って適切な被写体照明を実現することができる。なお、これら以外の方法で、配光制御部９５が、適切な被写体照明を実現してもよい。
　なお、配光制御部９５が、光源向きを決定する際に、被写体の均一な照度と鏡面反射の頻度との評価は両立しない可能性がある。この場合、配光制御部９５は、これら二点の総合評価が最も良い光源向きを適正方向とすることや、いずれか一方の評価を偏重して適正方向を決定することができる。
　次に、図１４は、図８の光源制御部８５による光源制御処理を説明するフローチャートである。
　例えば、撮像部８３により画像が撮像されると処理が開始される。ステップＳ１１において、距離情報取得部９２は、例えば、図９および図１０を参照して上述したように、撮像部８３から被写体までの距離を取得して被写体傾き推定部９３に供給する。
　ステップＳ１２において、被写体傾き推定部９３は、ステップＳ１１で距離情報取得部９２から供給される距離、および、撮像部８３により撮像される画像の空間座標に基づいて、図１１を参照して上述したように、被写体の傾きを推定する。そして、被写体傾き推定部９３は、被写体の傾きを示す被写体ベクトルを、反射方向推定部９４に供給する。
　ステップＳ１３において、反射方向推定部９４は、ステップＳ１２で被写体傾き推定部９３から供給される被写体ベクトルに基づいて、被写体における照明光の反射方向を推定する。そして、反射方向推定部９４は、被写体における照明光の反射方向を示す反射ベクトルを、配光制御部９５に供給する。
　ステップＳ１４において、配光制御部９５は、ステップＳ１３で反射方向推定部９４から供給される反射ベクトルに基づいて、被写体照度が均一となるように、または、鏡面反射が最小となるように、最適な光源向きを求める。
　ステップＳ１５において、配光制御部９５は、ステップＳ１４で求めた最適な光源向きを光源ユニット８２に供給し、最適な光源向きで照射窓７４－１乃至７４－４（図７）から被写体に照射光が照射されるように、配光を制御する。
　ステップＳ１５の処理後、光源制御処理は終了される。そして、上述のように制御された配光で照明光が照射される被写体が撮像部８３により撮像され、次の画像が撮像部８３から供給されるまで処理が待機される。
　以上のように、光源制御部８５は、被写体の表面における反射成分を推定して最適な光源向きを求めることができるので、より適切な露出状態で被写体を観察することができる。即ち、光源制御部８５は、被写体照度の不均一性を解消し、または、鏡面反射の頻度を低下させることによって、撮像部８３により撮像された画像による観察時の視認性を向上させることができる。
　次に、図１５は、被写体傾き推定部９３が、被写体の傾きを推定する処理を説明するフローチャートである。
　ステップＳ２１において、被写体傾き推定部９３は、撮像部８３により撮像される画像の空間座標、および、距離情報取得部９２から供給される距離情報を取得する。
　ステップＳ２２において、被写体傾き推定部９３は、撮像平面上の所定の２点または２領域を特定する注目座標（ｘ1，ｙ1，ｚ1）および注目座標（ｘ2，ｙ2，ｚ2）を取得する。
　ステップＳ２３において、被写体傾き推定部９３は、図１１を参照して上述したように、ＸＺ平面の角度θ1およびＹＺ平面の角度θ2を、上述の式（７）を用いて算出する。そして、被写体傾き推定部９３は、被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）を反射方向推定部９４に供給し、処理は終了される。
　以上のように、被写体傾き推定部９３は、画像および距離情報に基づいて、被写体の傾きを推定することができる。
　ここで、配光制御部９５が、適正な光源向きを推定する処理においては、拡散反射率の分散が小さく、鏡面反射率が低く、かつ、現在の光源向きから近いという３つの条件を兼ねることが望ましい。例えば、手術操作中など内視鏡映像を動画として観察する際に、照明方向の変化によって被写体（術部）の印象が急激かつ頻繁に変化する様な事態は避けるべきであり、光源向きの変化は時間および空間方向に対して緩やかに変化することが望ましい。そのため、動画観察において上述した３つの条件が必要となる。
　一方で、静止画を撮像する場合には、撮像のタイミングに合わせて最適な照明条件であることが望ましいので、上述した３つの条件を満たす必要はない。例えば、この場合、拡散反射率の分散が小さく、かつ、鏡面反射率が低いという条件で、新たな光源向きを決定してもよい。
　また、配光制御部９５が、適正な光源向きを推定する際に、上述した３つの条件は独立した要因になるので、これらの各条件の評価が最も高い向きを、新たな光源向きに決定することができる。例えば、一例として、図１６のフローチャートを参照して説明する。
　図１６は、配光制御部９５が、適正な光源向きを推定する処理を説明するフローチャートである。
　ステップＳ３１において、配光制御部９５は、初期設定を行い、Ｘ軸光源向きが変動範囲ｎの最小となるようにＸ軸方向の変数ｉを設定（ｉ＝Ｘ－ｎ）し、Ｙ軸光源向きが変動範囲ｎの最小となるようにＹ軸方向の変数ｊを設定（ｊ＝Ｙ－ｎ）する。
　ステップＳ３２において、配光制御部９５は、拡散反射成分の分散値Diff、鏡面反射率Spec、および距離の重みＷを用いて、次の式（８）に従って、新しい光源向きＤを算出する。なお、式（８）において、拡散反射成分の分散値Diff、鏡面反射率Spec、および距離の重みＷは、０から１までの値をとる。
Figure JPOXMLDOC01-appb-M000008
　ステップＳ３３において、配光制御部９５は、現在のＸ軸光源向きは変動範囲ｎの最大（Ｘ＋ｎ）であるか否かを判定する。
　ステップＳ３３において、配光制御部９５が、現在のＸ軸光源向きは変動範囲ｎの最大でないと判定した場合、処理はステップＳ３４に進み、配光制御部９５は、Ｘ軸方向の変数ｉをインクリメント（ｉ＝ｉ＋１）する。その後、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
　一方、ステップＳ３３において、配光制御部９５が、現在のＸ軸光源向きは変動範囲ｎの最大であると判定した場合、処理はステップＳ３５に進む。即ち、この場合、現在のＹ軸光源向きで、最小から最大までの変動範囲の全てのＸ軸光源向きで照明光が照射されたことになる。
　ステップＳ３５において、配光制御部９５は、現在のＹ軸光源向きは変動範囲ｎの最大（Ｙ＋ｎ）であるか否かを判定する。
　ステップＳ３５において、配光制御部９５が、現在のＹ軸光源向きは変動範囲ｎの最大でないと判定した場合、処理はステップＳ３６に進み、配光制御部９５は、Ｙ軸方向の変数ｊをインクリメント（ｊ＝ｊ＋１）する。その後、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
　一方、ステップＳ３５において、配光制御部９５が、現在のＹ軸光源向きは変動範囲ｎの最大であると判定した場合、処理は終了する。これにより、最小から最大までの変動範囲の全てのＸ軸光源向きおよびＹ軸光源向きで照明光が照射されたことになり、最終的なステップＳ３２で求められた光源向きが、最適な光源向きとなる。
　また、このような処理において、距離重みＷは、現在の光源向きを基準として、新しい光源向きとの相対角度（Min=0，Max=n）によって決定することができる。例えば、相対角度が小さいほど１に近く、相対角度が大きいほど０に近くなるように、次の式（９）に示す正規分布（図１７参照）を用いて設計することが好適である。
Figure JPOXMLDOC01-appb-M000009
　ここで、式（９）において、重み係数σは、定数を用いてもよいし、撮像部８３から被写体までの距離に適応的な変数を用いてもよい。また、重み係数σを変数として扱う場合には、距離情報から重み係数σを適宜決定することが好適である。例えば、撮像部８３から被写体までの距離が遠ければ、僅かな光源向きの変化で照明範囲が大きく移動することより重み係数σを小さく設定し、撮像部８３から被写体までの距離が近ければ、重み係数σを大きく設定することで、より良好な観察を行うことができる。
　以上のように、内視鏡手術用システム１１では、拡散反射率の分散が小さくなるように、または、鏡面反射率が低くなるように光源向きを制御することにより、例えば、極端に明るい箇所が画像に発生することが回避され、より適切な露出状態で観察することができる。
　なお、上述した実施の形態では、撮像部８３の光軸を固定して光源向きを制御する方法について説明したが、撮像部８３の光軸と光源向きとを相対的に調整することができればよく、例えば、光源向きを固定して、撮像部８３の光軸を制御してもよい。また、光源向きの制御についても、図７の照射窓７４－１乃至７４－４それぞれから照射される照射光の照射強度を制御する手法に限られることはなく、様々は手法（例えば、可動式の光源を利用する手法や、さらに多数の光源の中から適切な光源を選択する手法など）を採用することができる。
　また、本技術は、内視鏡手術用システム１１の他、例えば、内視鏡と同様の照明環境下で観察を行う各種の装置に適用することができる。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　また、上述した一連の処理（情報処理方法）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、
　前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部と
　を備える光源制御装置。
（２）
　前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向から見た照度が均一になるように前記光源の向きを制御する
　上記（１）に記載の光源制御装置。
（３）
　前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向への鏡面反射が抑制されるように前記光源の向きを制御する
　上記（１）に記載の光源制御装置。
（４）
　前記被写体を観察する方向に対する前記被写体の傾きを推定する被写体傾き推定部をさらに備え、
　前記反射方向推定部は、前記被写体傾き推定部により推定された前記被写体の傾きに基づいて前記反射方向を推定する
　上記（１）から（３）までのいずれかに記載の光源制御装置。
（５）
　前記被写体を撮像する撮像部から前記被写体までの距離を求める距離情報取得部をさらに備え、
　前記被写体傾き推定部は、前記撮像部により撮像された画像の空間座標、および、前記距離情報取得部により求められた前記距離に基づいて、前記被写体の傾きを推定する
　上記（４）に記載の光源制御装置。
（６）
　前記反射方向推定部は、前記撮像部により撮像される画像の画素または領域ごとに、前記被写体の傾きを推定する
　上記（５）に記載の光源制御装置。
（７）
　生体内の前記被写体は内視鏡により撮像される
　上記（１）から（６）までのいずれかに記載の光源制御装置。
（８）
　前記距離情報取得部は、生体内の前記被写体が内視鏡により撮像されたステレオ画像を用いて前記距離を求める
　上記（５）に記載の光源制御装置。
（９）
　生体内の被写体の表面で照射光が反射する反射方向を推定し、
　推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
　ステップを含む光源制御方法。
（１０）
　生体内の被写体の表面で照射光が反射する反射方向を推定し、
　推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１１）
　生体内において術部に対して所定の方向から照射光を照射する光源と、
　生体内において前記術部を撮像する撮像部と、
　前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、
　前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部と
　を備える手術用システム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　内視鏡手術用システム，　１２　カメラヘッド部，　１３　エネルギ処置具，　１４　鉗子，　１５　ＣＣＵ，　１６　光源装置，　１７　処置具用装置，　１８　気腹装置，　１９　表示装置，　２０　レコーダ，　２１　プリンタ，　２２ａおよび２２ｂ　トロッカ，　２３　患者ベッド，　２４　カート，　２５　フットスイッチ，　２６　患部，　５１　FPGAボード，　５２　CPU，　５３－１および５３－２　GPUボード，　５４　メモリ，　５５　IOコントローラ，　５６　記録媒体，　５７　インタフェース，　５８　バス，　６１　内視鏡，　６２　鏡筒，　６３　照明窓，　６４　観察窓，　７１　硬性鏡，　７２　鏡筒，　７３　観察窓，　７４－１乃至７４－４　照射窓，　８１　光源制御システム，　８２　光源ユニット，　８３　撮像部，　８４　信号処理部，　８５　光源制御部，　９１　光源情報取得部，　９２　距離情報取得部，　９３　被写体傾き推定部，　９４　反射方向推定部，　９５　配光制御部

Claims (11)

  1. 　生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、
    　前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部と
    　を備える光源制御装置。
  2. 　前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向から見た照度が均一になるように前記光源の向きを制御する
    　請求項１に記載の光源制御装置。
  3. 　前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向への鏡面反射が抑制されるように前記光源の向きを制御する
    　請求項１に記載の光源制御装置。
  4. 　前記被写体を観察する方向に対する前記被写体の傾きを推定する被写体傾き推定部をさらに備え、
    　前記反射方向推定部は、前記被写体傾き推定部により推定された前記被写体の傾きに基づいて前記反射方向を推定する
    　請求項１に記載の光源制御装置。
  5. 　前記被写体を撮像する撮像部から前記被写体までの距離を求める距離情報取得部をさらに備え、
    　前記被写体傾き推定部は、前記撮像部により撮像された画像の空間座標、および、前記距離情報取得部により求められた前記距離に基づいて、前記被写体の傾きを推定する
    　請求項４に記載の光源制御装置。
  6. 　前記反射方向推定部は、前記撮像部により撮像される画像の画素または領域ごとに、前記被写体の傾きを推定する
    　請求項５に記載の光源制御装置。
  7. 　生体内の前記被写体は内視鏡により撮像される
    　請求項１に記載の光源制御装置。
  8. 　前記距離情報取得部は、生体内の前記被写体が内視鏡により撮像されたステレオ画像を用いて前記距離を求める
    　請求項５に記載の光源制御装置。
  9. 　生体内の被写体の表面で照射光が反射する反射方向を推定し、
    　推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
    　ステップを含む光源制御方法。
  10. 　生体内の被写体の表面で照射光が反射する反射方向を推定し、
    　推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
    　ステップを含む処理をコンピュータに実行させるプログラム。
  11. 　生体内において術部に対して所定の方向から照射光を照射する光源と、
    　生体内において前記術部を撮像する撮像部と、
    　前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、
    　前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部と
    　を備える手術用システム。
PCT/JP2016/077939 2015-10-07 2016-09-23 光源制御装置、光源制御方法、プログラム、および手術用システム WO2017061279A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/761,553 US20180338670A1 (en) 2015-10-07 2016-09-23 Light source control device, light source control method, program, and surgical system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-199670 2015-10-07
JP2015199670A JP2017070523A (ja) 2015-10-07 2015-10-07 光源制御装置、光源制御方法、プログラム、および手術用システム

Publications (1)

Publication Number Publication Date
WO2017061279A1 true WO2017061279A1 (ja) 2017-04-13

Family

ID=58487547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077939 WO2017061279A1 (ja) 2015-10-07 2016-09-23 光源制御装置、光源制御方法、プログラム、および手術用システム

Country Status (3)

Country Link
US (1) US20180338670A1 (ja)
JP (1) JP2017070523A (ja)
WO (1) WO2017061279A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2563240B (en) * 2017-06-07 2019-12-18 Egyptian Commerce Company Eco Laparoscopic camera
US20210113292A1 (en) * 2018-03-30 2021-04-22 Sony Corporation Surgical observation device and control method
WO2022180789A1 (ja) * 2021-02-26 2022-09-01 オリンパス株式会社 内視鏡システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204922A (ja) * 2005-01-26 2006-08-10 Karl Storz Development Corp 視野方向が可変とされた視界器具のための照明システム
JP2007301098A (ja) * 2006-05-10 2007-11-22 Olympus Corp 内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204922A (ja) * 2005-01-26 2006-08-10 Karl Storz Development Corp 視野方向が可変とされた視界器具のための照明システム
JP2007301098A (ja) * 2006-05-10 2007-11-22 Olympus Corp 内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法

Also Published As

Publication number Publication date
JP2017070523A (ja) 2017-04-13
US20180338670A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
US10813595B2 (en) Fully automated image optimization based on automated organ recognition
US10089737B2 (en) 3D corrected imaging
WO2017061279A1 (ja) 光源制御装置、光源制御方法、プログラム、および手術用システム
US9427174B2 (en) Endoscope apparatus and control method for adjusting light beam based on geometry of body
JP6764574B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP7000861B2 (ja) 画像処理装置、医療機器の作動方法及びプログラム
US10799087B2 (en) Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging
US20190051039A1 (en) Image processing apparatus, image processing method, program, and surgical system
US10687788B2 (en) Image processing apparatus, control method thereof, and ultrasound imaging apparatus
JP2007098143A (ja) 超音波映像システム及び超音波映像処理方法
CN112513617A (zh) 腹腔镜手术中血流和组织灌注无染料可视化的方法和系统
WO2018230098A1 (ja) 内視鏡システム、内視鏡システムの作動方法
CN112884666A (zh) 图像处理方法、装置及计算机存储介质
US20160338664A1 (en) Ultrasound observation apparatus
WO2018155198A1 (ja) 情報処理装置および方法
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
WO2020203405A1 (ja) 医療用観察システムおよび方法、並びに医療用観察装置
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
JP5932189B1 (ja) 超音波観測装置
CN113613540A (zh) 图像处理系统、图像处理装置和图像处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853433

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15761553

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16853433

Country of ref document: EP

Kind code of ref document: A1