WO2017002388A1 - 画像処理装置、測距システム、及び内視鏡システム - Google Patents

画像処理装置、測距システム、及び内視鏡システム Download PDF

Info

Publication number
WO2017002388A1
WO2017002388A1 PCT/JP2016/054621 JP2016054621W WO2017002388A1 WO 2017002388 A1 WO2017002388 A1 WO 2017002388A1 JP 2016054621 W JP2016054621 W JP 2016054621W WO 2017002388 A1 WO2017002388 A1 WO 2017002388A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
unit
depth
distance
Prior art date
Application number
PCT/JP2016/054621
Other languages
English (en)
French (fr)
Inventor
佐藤　大介
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP16817498.5A priority Critical patent/EP3318173A4/en
Priority to JP2016559465A priority patent/JP6064106B1/ja
Priority to CN201680003404.3A priority patent/CN107072498B/zh
Publication of WO2017002388A1 publication Critical patent/WO2017002388A1/ja
Priority to US15/498,845 priority patent/US20170228879A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an image processing apparatus, a distance measuring system, and an endoscope system that perform image processing based on data acquired by imaging an inside of a living body.
  • Endoscope systems for diagnosing a living body by introducing an endoscope into a living body and observing an image of a subject imaged by the endoscope are widely used.
  • an endoscope system incorporating a distance measuring system for measuring a distance (depth) from an endoscope to a subject has been developed.
  • an image sensor used for image plane phase difference autofocus (AF) is provided in an imaging unit, and an output signal from a ranging pixel disposed in the image sensor is received.
  • AF image plane phase difference autofocus
  • a system for measuring the depth to a subject is disclosed.
  • a distance measuring sensor of the TOF (Time of Flight) method is provided in the imaging unit separately from an image sensor for generating an image of a subject, and an output signal from the distance measuring sensor is used.
  • a system for measuring the depth to a subject is disclosed.
  • Patent Document 3 discloses a technique for calculating a depth from an image of a subject based on a positional relationship between an illumination unit that illuminates the subject and an imaging unit. Specifically, the irradiation angle of light emitted from the illumination unit and incident on the target point on the subject (the angle with respect to the optical axis of the illumination unit) and reflected at the target point are reflected to the imaging unit via the condensing optical system. The depth to the subject is calculated using the imaging angle of incident light (the angle with respect to the optical axis of the condensing optical system).
  • Increasing the measurement accuracy of the depth to the subject in the image is to grasp the three-dimensional structure of the subject or to determine the distance between two points on the subject corresponding to the two points in the image by the principle of triangulation. It is important for calculation.
  • Patent Document 1 since only the depths at the positions of the distance measurement pixels sparsely arranged in the image sensor are measured, accurate depth information cannot be obtained for all the pixel positions constituting the subject image. Absent.
  • Patent Document 2 since the depth in the entire region in the image is measured, accurate depth information can be obtained, but the amount of data generated per frame is greatly increased. Therefore, a long time is required for data processing in the distance measuring sensor and data communication from the distance measuring sensor to the image processing apparatus. As a result, there arises a problem that the imaging frame rate is lowered.
  • the present invention has been made in view of the above, and obtains highly accurate depth information without significantly increasing the amount of data processing in the imaging unit and the amount of data communication between the imaging unit and the image processing apparatus. It is an object of the present invention to provide an image processing apparatus, a distance measuring system, and an endoscope system that can be used.
  • an image processing apparatus includes an illumination unit that generates illumination light that irradiates a subject, and a collection unit that collects the illumination light reflected by the subject.
  • An image processing device that performs image processing based on the image data and the distance measurement data output from the imaging unit, and based on the distance measurement data, a point on the subject
  • An illumination light distribution characteristic calculation unit for calculating a parameter of the illumination light irradiated on the object, and a depth gradient at a point on the object calculated from the distance measurement data.
  • the optical axis of the condensing optical system A subject distance calculation unit that calculates a distance from the imaging unit to the subject in a direction.
  • the image processing apparatus uses, based on the distance measurement data, a depth to a point on the subject corresponding to each pixel position in the subject image created based on the image data as a pixel value of each pixel. It further comprises a depth image creation unit for creating a depth image, and the illumination light distribution characteristic calculation unit calculates a value in a radiation angle direction of the light distribution characteristic in the illumination light based on the depth image.
  • the depth image creation unit is configured to determine the depth at a pixel position where the distance measurement data is not obtained from the pixel positions in the subject image, and the pixel from which the distance measurement data is obtained. Interpolation is performed using distance measurement data at the position.
  • the image processing apparatus further includes a depth gradient calculation unit that calculates the gradient of the depth for each pixel position in the image of the subject based on the depth calculated by the depth image creation unit, and the reflected light distribution
  • the characteristic calculation unit calculates a value in a reflection angle direction in the light distribution characteristic of the reflected light based on the depth gradient calculated by the depth gradient calculation unit.
  • the image processing apparatus designates two arbitrary points on the display image, an image processing unit that creates a display image based on the image data, a display unit that displays the display image, and An operation input unit for inputting a signal; and a two-point distance calculation unit for calculating a distance between the two points on the subject corresponding to two arbitrary points on the display image. To do.
  • a distance measuring system includes the image processing device and the imaging unit.
  • An endoscope system includes the image processing apparatus and a capsule endoscope in which the imaging unit is housed in a capsule-shaped casing.
  • An endoscope system includes the image processing device and a video scope in which the imaging unit is provided at a distal end portion of an insertion unit to be inserted into the subject.
  • the imaging unit to the subject can be used. Can be calculated with high accuracy. This eliminates the need to actually measure the depth of all the pixels that make up the subject image, so it is possible to obtain highly accurate depth information without significantly increasing the amount of data processing or data communication. It becomes.
  • FIG. 1 is a schematic diagram illustrating a configuration example of a ranging system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram showing a light receiving surface of the image sensor shown in FIG.
  • FIG. 3 is a block diagram illustrating a configuration of the depth calculation unit illustrated in FIG. 1.
  • FIG. 4 is a schematic diagram for explaining the measurement principle of the subject distance.
  • FIG. 5 is a schematic diagram for explaining the light distribution characteristics of illumination light.
  • FIG. 6 is a schematic diagram illustrating an image area of a depth image corresponding to the light receiving surface of the image sensor illustrated in FIG. 4.
  • FIG. 7 is a schematic diagram for explaining a method of calculating a depth gradient.
  • FIG. 8 is a schematic diagram for explaining a method of calculating a depth gradient.
  • FIG. 1 is a schematic diagram illustrating a configuration example of a ranging system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram showing a light receiving surface of
  • FIG. 9 is a schematic diagram for explaining the light distribution characteristics of the reflected light.
  • FIG. 10 is a schematic diagram illustrating a configuration example of a ranging system according to Embodiment 2 of the present invention.
  • FIG. 11 is a schematic diagram illustrating an example of a screen displayed on the display unit illustrated in FIG. 10.
  • FIG. 12 is a schematic diagram for explaining the principle of measuring the distance on the subject corresponding to two points in the image.
  • FIG. 13 is a schematic diagram for explaining the principle of measuring the distance on the subject corresponding to two points in the image.
  • FIG. 14 is a schematic diagram illustrating a configuration example of an endoscope system according to Embodiment 3 of the present invention.
  • FIG. 15 is a schematic diagram showing an example of the internal structure of the capsule endoscope shown in FIG.
  • FIG. 16 is a schematic diagram illustrating a configuration example of an endoscope system according to Embodiment 4 of the present invention.
  • FIG. 1 is a schematic diagram illustrating a configuration example of a ranging system according to Embodiment 1 of the present invention.
  • the distance measuring system 1 according to the first embodiment is a system that is applied to an endoscope system or the like that is introduced into a living body and performs imaging, and measures a distance (depth) to a subject such as a mucous membrane.
  • the endoscope system may be a general endoscope system including a video scope having an imaging unit at the distal end of an insertion unit to be inserted into a subject, or imaging in a capsule-shaped housing. It may be a capsule endoscope system in which a capsule endoscope containing a radio communication unit and a wireless communication unit is introduced into a living body to perform imaging.
  • the ranging system 1 generates and outputs image data by imaging the subject S, and generates and outputs ranging data by actually measuring the distance to the subject S.
  • the image data and ranging data output from the unit 2 and the imaging unit 2 are acquired, and an image of the subject S is created based on the image data, and the depth map to the subject S using the image data and the ranging data
  • the imaging unit 2 includes one or more illumination units 21 that generate illumination light that illuminates the subject S, a condensing optical system 22 such as a condensing lens, and an image sensor 23.
  • the illumination unit 21 includes a light emitting element such as an LED (Light Emitting Diode) and a driving circuit that drives the light emitting element, and generates white light or illumination light of a specific frequency band to irradiate the subject S.
  • a light emitting element such as an LED (Light Emitting Diode)
  • a driving circuit that drives the light emitting element, and generates white light or illumination light of a specific frequency band to irradiate the subject S.
  • the image sensor 23 is a sensor that can acquire image data representing visual information of the subject S and distance measurement data representing the depth to the subject S, and is emitted from the illumination unit 21 and reflected by the subject S. It has a light receiving surface 23 a that receives illumination light (that is, reflected light) collected by the condensing optical system 22.
  • an image plane phase difference AF sensor is used as the image sensor 23.
  • FIG. 2 is a schematic diagram for explaining the configuration of the image sensor 23.
  • the image sensor 23 includes a plurality of imaging pixels 23b and ranging pixels 23c arranged on the light receiving surface 23a, and a signal processing circuit 23d that processes electrical signals output from these pixels. Is provided.
  • a plurality of imaging pixels 23b are arranged in a matrix, and a plurality of ranging pixels 23c are arranged so as to replace a part of the matrix.
  • “ ⁇ ” is marked at the position of the distance measurement pixel 23 c to distinguish it from the imaging pixel 23 b.
  • Each imaging pixel 23b has a structure in which a microlens and one of R (red), G (green), and B (blue) color filters are stacked on a photoelectric conversion unit such as a photodiode. Electric charges corresponding to the amount of light incident on the photoelectric conversion unit are generated.
  • the imaging pixels 23b are arranged in a predetermined arrangement order such as a Bayer arrangement according to the color of each color filter.
  • the signal processing circuit 23d converts the charge generated by each imaging pixel 23b into a voltage signal, and further converts it into a digital signal, thereby outputting it as image data.
  • Each distance measuring pixel 23c has a structure in which two photoelectric conversion units are arranged side by side on the same plane, and one microlens is arranged so as to straddle these photoelectric conversion units.
  • the light incident on the microlens is incident on the two photoelectric conversion units with a distribution according to the incident position on the microlens.
  • Each of the two photoelectric conversion units generates a charge corresponding to the amount of incident light.
  • the signal processing circuit 23d converts the charges generated in the two photoelectric conversion units of each ranging pixel 23c into voltage signals, and based on the phase difference (information on the distance) between these voltage signals, the imaging unit Ranging data representing the distance (depth) from 2 to the subject S is generated and output.
  • the image processing device 3 is used in the data acquisition unit 31 that acquires image data and distance measurement data output from the imaging unit 2, the image data and distance measurement data acquired by the data acquisition unit 31, and the image processing device 3.
  • a storage unit 32 that stores various programs, parameters, and the like, a calculation unit 33 that performs various calculation processes based on image data and distance measurement data, a display unit 34 that displays an image of the subject S, and the image processing apparatus 3 includes an operation input unit 35 used for inputting various information and commands to the control unit 3 and a control unit 36 that controls these units in an integrated manner.
  • the data acquisition unit 31 is appropriately configured according to the aspect of the endoscope system to which the distance measuring system 1 is applied.
  • the data acquisition unit 31 is configured by an interface that captures image data and distance measurement data generated by the imaging unit 2 provided in the video scope.
  • the data acquisition unit 31 includes a receiving unit that receives a signal wirelessly transmitted from the capsule endoscope via an antenna.
  • image data and distance measurement data may be exchanged with a capsule endoscope using a portable storage medium.
  • the data acquisition unit 31 can detachably attach the portable storage medium.
  • a reader device is mounted to read out the stored image data and distance measurement data.
  • the data acquisition part 31 is comprised with the communication apparatus etc. which are connected with a server, and performs data communication between servers. To obtain various data.
  • the storage unit 32 includes various IC (Integrated Circuit) memories such as ROM (Read Only Memory) and RAM (Random Access Memory) such as flash memory that can be updated and recorded, a hard disk or a CD-ROM (built-in or connected by a data communication terminal). It is composed of information storage devices such as Compact Disc Read Only Memory) and information write / read devices for the information storage devices.
  • the storage unit 32 operates the image processing device 3 and causes the image processing device 3 to execute various functions, and data used during the execution of the program, specifically, the data acquisition unit 31. The image data and distance measurement data acquired by the above, various parameters, etc. are stored.
  • the computing unit 33 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the calculation unit 33 is a general-purpose processor
  • the processor may execute various arithmetic processes independently, or by using various data stored in the storage unit 32, the processor and the storage unit 32 cooperate.
  • the arithmetic processing may be executed in combination.
  • the computing unit 33 creates a display image by performing predetermined image processing such as white balance processing, demosaicing, gamma conversion, smoothing (noise removal, etc.) on the image data. Based on the image processing unit 33a, the image data, and the distance measurement data, the depth to the subject S corresponding to each pixel position in the display image created by the image processing unit 33a (the distance from the condensing optical system 22). ) Is calculated. The detailed configuration and operation of the depth calculation unit 33b will be described later.
  • predetermined image processing such as white balance processing, demosaicing, gamma conversion, smoothing (noise removal, etc.
  • the display unit 34 includes various displays such as liquid crystal and organic EL (Electro Luminescence), and displays information such as a display image created by the image processing unit 33a and a distance calculated by the depth calculation unit 33b.
  • various displays such as liquid crystal and organic EL (Electro Luminescence), and displays information such as a display image created by the image processing unit 33a and a distance calculated by the depth calculation unit 33b.
  • the control unit 36 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • the control unit 36 reads the control program stored in the storage unit 32 to give instructions to each unit constituting the image processing device 3 and transfer data, thereby controlling the overall operation of the image processing device 3. And control.
  • the control unit 36 is a dedicated processor, the processor may execute various processes independently, or the processor and the storage unit 32 cooperate with each other by using various data stored in the storage unit 32 or the like. Various processes may be executed by combining them.
  • FIG. 3 is a block diagram showing a detailed configuration of the depth calculation unit 33b.
  • the depth calculation unit 33 b includes a depth image creation unit 331, an illumination light distribution characteristic calculation unit 332, a depth gradient calculation unit 333, a reflected light distribution characteristic calculation unit 334, and a luminance image creation.
  • the depth image creation unit 331 Based on the distance measurement data read from the storage unit 32, the depth image creation unit 331 and the point on the subject S corresponding to each pixel position in the display image created by the image processing unit 33a and the condensing optics. A depth image having the depth between the system 22 and the pixel value of each pixel is created. As described above, since the ranging pixels 23c are sparsely arranged on the light receiving surface 23a, the depth image creation unit 331 is arranged in the vicinity of pixel positions where the ranging pixels 23c are not arranged. The depth is calculated by interpolation calculation using the distance measurement data output from the distance measurement pixel 23c.
  • the illumination light distribution characteristic calculation unit 332 calculates a value in the radiation angle direction in the light distribution characteristic as a parameter of the illumination light irradiated to the subject S based on the depth image created by the depth image creation unit 331.
  • the depth gradient calculation unit 333 calculates a depth gradient (hereinafter referred to as a depth gradient) at a point on the subject S based on the depth image created by the depth image creation unit 331.
  • the reflected light distribution characteristic calculation unit 334 is a value in the reflection angle direction in the light distribution characteristic as a parameter of the illumination light reflected by the subject S (ie, reflected light). Is calculated.
  • the luminance image creation unit 335 creates a luminance image with the luminance of the image of the subject S as the pixel value of each pixel based on the image data read from the storage unit 32.
  • the image plane illuminance calculation unit 336 calculates the illuminance on the image plane of the image sensor 23 based on the luminance image created by the luminance image creation unit 335.
  • the object plane luminance calculation unit 337 calculates the luminance on the surface of the subject S based on the illuminance on the image plane calculated by the image plane illuminance calculation unit 336.
  • the irradiation illuminance calculation unit 338 is based on the brightness of the object plane calculated by the object plane luminance calculation unit 337 and the value of the reflection angle direction in the light distribution characteristic of the reflected light calculated by the reflected light distribution characteristic calculation unit 334. The irradiation illuminance of the illumination light applied to the subject S is calculated.
  • the irradiation distance calculation unit 339 collects light based on the irradiation illuminance of the illumination light irradiated on the subject S and the value in the radiation angle direction in the illumination light distribution characteristic calculated by the illumination light distribution characteristic calculation unit 332. An irradiation distance from the optical system 22 to the subject S is calculated.
  • the subject distance calculation unit 340 calculates a subject distance that is a distance obtained by projecting the irradiation distance calculated by the irradiation distance calculation unit 339 onto the optical axis Z L of the condensing optical system 22.
  • FIG. 4 is a schematic diagram illustrating the relationship between the position and angle between each unit in the imaging unit 2 and the subject S.
  • the distance measuring system 1 illuminates the subject S with illumination light L1 by causing the illumination unit 21 to emit light.
  • the illumination light that is, reflected light
  • the signal processing circuit 23d (see FIG. 2) outputs image data at the position of each imaging pixel 23b based on the electrical signals output from the imaging pixel 23b and the ranging pixel 23c arranged on the light receiving surface 23a.
  • ranging data at the position of each ranging pixel 23c is output.
  • the data acquisition unit 31 of the image processing device 3 takes in these image data and distance measurement data and stores them in the storage unit 32.
  • the depth calculation unit 33 b captures distance measurement data and image data from the storage unit 32, inputs the distance measurement data to the depth image creation unit 331, and inputs the image data to the luminance image creation unit 335. To do.
  • the depth image creation unit 331 uses the distance d S (see FIG. 4) from the condensing optical system 22 to the subject S as the pixel value of each pixel based on the input distance measurement data, and corresponds to the entire light receiving surface 23a. Create a depth image of size.
  • the ranging pixels 23 c are sparsely arranged on the light receiving surface 23 a of the image sensor 23. Therefore, the depth image creation unit 331 uses distance measurement data based on the output value from the distance measurement pixel 23c for the pixels in the depth image corresponding to the position of the distance measurement pixel 23c, These pixels are calculated by interpolation using distance measurement data. Therefore, in the depth image, the distance d S at the pixel position where the measurement value based on the output value from the ranging pixel 23c is not obtained is an approximate value that does not reflect the unevenness of the surface of the subject S.
  • the illumination light distribution characteristic calculation unit 332 distributes the illumination light L1 irradiated to each point (for example, the point of interest P) on the subject S based on the depth image created by the depth image creation unit 331. The value of the radiation angle direction in the characteristic is calculated.
  • Figure 5 is a radiation angle theta E is an angle of the radiation direction of the illumination light L1 to the optical axis Z E of the illumination unit 21, the radiation angle direction value alpha (theta E in the light distribution characteristic corresponding to the emission angle theta E ).
  • the illumination light distribution characteristic calculation unit 332 reads the function or table representing the light distribution characteristic illustrated in FIG.
  • FIG. 6 is a schematic diagram illustrating an image area of a depth image corresponding to the light receiving surface 23 a of the image sensor 23.
  • the illumination light distribution characteristic calculation unit 332 extracts the pixel A ′ (see FIG. 4) on the light receiving surface 23a corresponding to the pixel of interest A (x 0 , y 0 ) in the depth image M, and the image sensor 23.
  • the coordinate value of the pixel A ′ is converted into a distance (mm) from the pixel using the number of pixels (pixel) and the sensor size d sen (mm).
  • the illumination light distribution characteristic calculation unit 332 uses the coordinate value of the pixel A ′ converted into the distance, the distance from the optical axis Z L of the condensing optical system 22 to the pixel A ′, that is, the image height d A. Is calculated. Then, from the distance (design value) d 0 between the condensing optical system 22 and the light receiving surface 23a and the image height d A , the angle of view ⁇ is calculated by the following equation (1).
  • ⁇ tan ⁇ 1 (d A / d 0 ) (1)
  • the length l (d A ) in the depth image M corresponding to the image height d A is indicated by a broken line.
  • the illumination light distribution characteristic calculation unit 332 Based on this angle of view ⁇ and the pixel value of the target pixel A in the depth image M, that is, the depth d S , the illumination light distribution characteristic calculation unit 332 corresponds to the target pixel A using the following equation (2).
  • the distance between the point of interest P on the subject S and the optical axis Z L , that is, the height d P of the subject is calculated.
  • d P d S tan ⁇ (2)
  • the illumination light distribution characteristic calculation unit 332 calculates coordinates in the depth image M corresponding to the position of the light emitting element included in the illumination unit 21.
  • the distance d LED between the optical axis Z E of the light emitting element provided in the illumination unit 21 and the optical axis Z L of the condensing optical system 22, or the light receiving surface 23 a of the image sensor 23. Is determined as a design value. Therefore, the illumination light distribution characteristic calculation unit 332 obtains the image height of the depth image M using the number of pixels of the image sensor 23 and the sensor size d sen (mm), and the light emission provided in the illumination unit 21 from the obtained image height.
  • the coordinate A LED of the pixel in the depth image M corresponding to the element position is calculated.
  • the illumination light distribution characteristic calculation unit 332 calculates an interval d pix between these pixels from the coordinates of the target pixel A and the coordinates of the pixel A LED corresponding to the position of the light emitting element.
  • the distance d pix is converted into a distance (mm) in the subject S using the number of pixels of the image sensor 23 and the sensor size d sen (mm). This distance is a distance d E from the point of interest P to the optical axis Z E of the light emitting element.
  • the illumination light distribution characteristic calculation unit 332 calculates the radiation angle ⁇ E using the following formula (3) from the distance d E and the depth d S of the point of interest P.
  • ⁇ E tan ⁇ 1 (d E / d S ) (3)
  • the illumination light distribution characteristic calculation unit 332 calculates a value ⁇ ( ⁇ E ) (FIG. 5) in the emission angle direction in the light distribution characteristic of the illumination light L1 based on the emission angle ⁇ E thus calculated.
  • the illumination light distribution characteristic calculation unit 332 calculates the radiation angle ⁇ E for each of the plurality of light emitting elements by the method described above, and calculates the plurality of calculated radiation angles.
  • a value in the radiation angle direction in the light distribution characteristic may be calculated based on ⁇ E.
  • a function or a table representing the characteristic according to the arrangement of the plurality of light emitting elements is read from the storage unit 32 to the illumination light distribution characteristic calculation unit 332.
  • the illumination unit 21 has four light emitting elements and the emission angles ⁇ E1 , ⁇ E2 , ⁇ E3 , ⁇ E4 of the respective light emitting elements are calculated with respect to a certain point of interest P, A value ⁇ ( ⁇ E1 , ⁇ E2 , ⁇ E3 , ⁇ E4 ) in the radiation angle direction in the light distribution characteristic based thereon is calculated.
  • the depth gradient calculation unit 333 calculates a depth gradient at a point on the subject S based on the depth image M (see FIG. 6) created by the depth image creation unit 331.
  • the depth gradient is calculated by differentiating the pixel value (that is, depth) of each pixel in the depth image.
  • the depth gradient gives the gradient (gradient angle ⁇ ) of the tangent surface at the point of interest P with respect to the plane orthogonal to the optical axis Z L of the condensing optical system 22.
  • FIGS. 7 and 8 are schematic diagrams for explaining a method of calculating a gradient image.
  • a rectangular area shown in FIGS. 7 and 8 indicates a pixel of interest A (x 0 , y 0 ) in the depth image M and The peripheral pixels are shown.
  • the depth gradient of the target pixel A is basically calculated using the pixel value (depth) of the pixel adjacent to the target pixel A on the straight line connecting the center C of the depth image M and the target pixel A.
  • depth the pixel value of the pixel adjacent to the target pixel A on the straight line connecting the center C of the depth image M and the target pixel A.
  • the depth gradient G is given by the following equation (4) using vectors CA 1 and CA 2 respectively directed from the center C to the pixels A 1 and A 2 .
  • the symbol X () indicates the x component of the vector indicated in parentheses
  • the symbol Y () indicates the y component of the vector indicated in parentheses.
  • the symbol Z () indicates the pixel value of the pixel shown in parentheses, that is, the depth.
  • the depth Z (A 4 ) at the intersection A 4 is given by the equation (5-2) using the depths Z (A 2 ) and Z (A 3 ) at the pixels A 2 and A 3 .
  • the depth Z (A 6 ) at the intersection A 6 is given by Expression (6-2) using the depths Z (A 1 ) and Z (A 6 ) at the pixels A 1 and A 5 .
  • the depth gradient G of the target pixel A is coordinates and intersection point A 4, the depth of the A 6 Z intersection A 4, A 6 calculated by interpolation (A 4), using the Z (A 6), wherein Calculated in the same manner as (4).
  • the depth gradient calculation unit 333 calculates the depth gradient in all pixels in the depth image M in this way.
  • the reflected light distribution characteristic calculation unit 334 is based on the depth gradient calculated by the depth gradient calculation unit 333, and the illumination light reflected at each point (for example, the point of interest P) on the subject S (ie, reflected light). The value of the reflection angle direction in the light distribution characteristic of (light) is calculated.
  • FIG. 9 is a schematic diagram illustrating an example of a light distribution characteristic of reflected light.
  • the light distribution characteristic of the reflected light is a reflectance according to the reflection angle ⁇ R on the surface of the subject S.
  • the reflected light distribution characteristic calculation unit 334 reads a function or table representing the light distribution characteristic illustrated in FIG. 9 from the storage unit 32 and collects the illumination light L1 incident on the attention point P from the illumination unit 21 and the attention point P.
  • the reflection angle ⁇ R is calculated from the relationship with the reflected light L 2 reflected toward the optical optical system 22, and the value R ( ⁇ of the reflection angle direction in the light distribution characteristic is applied by applying a function or table representing the light distribution characteristic. R ) is calculated.
  • the reflected light distribution characteristic calculation unit 334 uses a method similar to that of the illumination light distribution characteristic calculation unit 332 to detect the pixel A ′ on the light receiving surface 23a corresponding to the pixel of interest A (see FIG. 6) in the depth image M.
  • the angle of view ⁇ viewed from the above is calculated.
  • the depth gradient (gradient angle ⁇ ) at the target pixel A is calculated from the depth gradient calculated by the depth gradient calculation unit 333.
  • the reflection angle ⁇ R is calculated from the field angle ⁇ and the depth gradient (gradient angle ⁇ ).
  • the luminance image creation unit 335 creates a luminance image having the pixel value of the luminance of the image of the subject S based on the input image data.
  • the luminance image creation unit 335 calculates the luminance at the position of the distance measurement pixel 23c by interpolation using image data based on the output value from the imaging pixel 23b located in the vicinity of the distance measurement pixel 23c. .
  • the image plane illuminance calculation unit 336 calculates the illuminance (image plane illuminance) E f [lx] on the image plane of the condensing optical system 22 based on the luminance image created by the luminance image creation unit 335.
  • the image plane illuminance is the illuminance when the reflected light L2 that has passed through the condensing optical system 22 enters the image sensor 23 when the condensing optical system 22 is regarded as an illumination system.
  • the image plane illuminance E f is given by the following equation (7) using the output value V out from each imaging pixel 23b (see FIG. 2) of the image sensor 23, the coefficient K, and the exposure time t.
  • the coefficient K is a total coefficient considering light absorption coefficient in each imaging pixel 23b, charge-to-voltage conversion coefficient, gain and loss in circuits such as AD conversion and amplifier, and the like, depending on the specifications of the image sensor 23. It is set in advance.
  • the image plane illuminance E f at the position of each distance measurement pixel 23c is calculated by interpolation using the output value Vout from the imaging pixel 23b in the vicinity of the distance measurement pixel 23c.
  • the object plane luminance calculation unit 337 calculates the object plane luminance L S [cd / m 2 ], which is the luminance on the surface of the subject S, based on the image plane illuminance E f .
  • the object plane luminance L S is given by the following equation (8) using the image plane illuminance E f , the aperture D, the focal length b, and the intensity transmittance T (h) of the condensing optical system 22.
  • the irradiation illuminance calculation unit 338 calculates the irradiation illuminance E 0 [lx] of the illumination light L1 that irradiates the subject S, based on the object plane luminance L S.
  • the illumination light L1 is reflected at the point of interest P of the subject S, the illumination light L1 is attenuated by the reflectance R 0 on the surface of the subject S and attenuated by the light distribution characteristic corresponding to the reflection angle ⁇ R.
  • the irradiation illuminance E 0 is a value R (in the reflection angle direction in the light distribution characteristic of the reflected light L 2 calculated by the reflected light distribution characteristic calculation unit 334 and the object surface luminance L S , the reflectance R 0 of the subject S. ⁇ R ) can be used to calculate backward according to the following equation (9).
  • the reflectance R 0 is a value determined according to the surface property of the subject S, and is stored in the storage unit 32 in advance.
  • the storage unit 32 may store a plurality of reflectances R 0 corresponding to the type of subject to be observed, such as the gastric mucosa and the large intestine mucosa.
  • the irradiation illuminance calculation unit 338 includes the operation input unit 35 (see FIG. 1).
  • the reflectivity R 0 is selected and used according to the signal input from ().
  • the irradiation illuminance E 0 calculated in this way is generated when the illumination light L1 emitted from the illumination unit 21 reaches the point of interest P of the subject S.
  • the illumination light L1 emitted from the illumination unit 21 is attenuated by the radiation angle direction value ⁇ ( ⁇ E ) in the light distribution characteristic according to the irradiation distance d L to the target point P and the radiation angle ⁇ E. Therefore, the relationship of the following equation (10) is established between the luminance L LED of the illumination unit 21 and the irradiation illuminance E 0 at the point of interest P.
  • the symbol S LED indicates the surface area of the region where the illumination light L1 is emitted from the illumination unit 21.
  • Symbol Em SPE is a spectral characteristic coefficient of the illumination light L1.
  • the irradiation distance calculation unit 339 acquires the value ⁇ ( ⁇ E ) in the radiation angle direction in the light distribution characteristic of the illumination light from the illumination light distribution characteristic calculation unit 332, and the value ⁇ in the radiation angle direction in this light distribution characteristic.
  • the irradiation distance d L [m] given by the following equation (11) is calculated using ( ⁇ E ) and the irradiation illuminance E 0 .
  • the depth calculation unit 33b performs the above-described series of processing for each pixel in the depth image M, and associates the calculated subject distance d S with each pixel in the display image created by the image processing unit 33a.
  • a map is created and stored in the storage unit 32. Thereby, the process for the image data and the distance measurement data acquired from the imaging unit 2 ends.
  • the depth image is created based on the distance measurement data measured by the distance measurement pixel 23c, the depth gradient is calculated, and the depth image and the depth gradient are calculated.
  • the value of the radiation angle direction and the value of the reflection angle direction of the reflected light are calculated, and the object distance is calculated from the brightness of the image using these light distribution characteristics. Since the calculation is performed, the accuracy of the subject distance can be greatly improved as compared with the case where the value of the light distribution characteristic is not used.
  • the distance measurement data is acquired from the distance measurement pixels 23c sparsely arranged on the light receiving surface 23a of the image sensor 23, the data processing amount in the image sensor 23 and the imaging unit 2 are acquired.
  • the amount of data communication from the image processing apparatus 3 to the image processing apparatus 3 can be greatly reduced. Accordingly, it is possible to suppress a decrease in the imaging frame rate in the image sensor 23.
  • an image plane phase difference AF sensor in which a plurality of imaging pixels 23b and a plurality of ranging pixels 23c are arranged on the same light receiving surface 23a is used.
  • the configuration of the image sensor 23 is not limited to this.
  • a general image sensor such as a CMOS or CCD and a TOF distance measuring sensor may be used in combination.
  • FIG. 10 is a block diagram showing a configuration of a distance measuring system according to Embodiment 2 of the present invention.
  • the distance measuring system 4 according to the second embodiment includes an image processing device 5 instead of the image processing device 3 shown in FIG.
  • the configuration and operation of the imaging unit 2 are the same as those in the first embodiment.
  • the image processing apparatus 5 includes a calculation unit 51 that further includes a two-point distance calculation unit 51a with respect to the calculation unit 33 shown in FIG.
  • the configuration and operation of each unit of the image processing apparatus 5 other than the calculation unit 51 and the operations of the image processing unit 33a and the depth calculation unit 33b included in the calculation unit 51 are the same as those in the first embodiment.
  • the distance calculation unit 51a between the two points calculates the distance between the two points designated by the signal input from the operation input unit 35 with respect to the display image of the subject S created by the image processing unit 33a.
  • FIG. 11 is a schematic diagram illustrating an example of a screen displayed on the display unit 34.
  • 12 and 13 are schematic diagrams for explaining the principle of measuring the distance between two points. In the following, it is assumed that a distance map related to the subject S (see Embodiment 1) is created and stored in the storage unit 32.
  • the control unit 36 causes the display unit 34 to display a screen M1 including the image m10 for displaying the subject S created by the image processing unit 33a.
  • the screen M1 includes a coordinate display field m11 that displays the coordinates of two arbitrary points (start point and end point) selected by the user on the image m10, and an arbitrary item selected by the user on the image m10.
  • a distance display field m12 for displaying the distance between the two points on the subject S corresponding to the two points.
  • the distance map regarding the subject S since the distance map regarding the subject S has already been obtained, the distance from the point on the subject S corresponding to each pixel position in the image m10 to the imaging unit 2 is known. Further, as shown in FIG. 12, the sensor size d sen and the distance d 0 from the condensing optical system 22 to the light receiving surface 23a are also given as design values.
  • the distance calculation unit 51a reads the distance map from the storage unit 32 and corresponds to these two points Q1 and Q2, respectively.
  • the distances d s1 and d s2 from the two points P1 and P2 on the subject S to be imaged 2 are acquired.
  • the distance calculation unit 51a between the two points has the coordinate values of the two points Q1 ′ and Q2 ′ on the light receiving surface 23a of the image sensor 23 corresponding to the two points Q1 and Q2 on the image m10 ( q x1 , q y1 ), (q x2 , q y2 ), and using these coordinate values, sensor size d sen, and distance d 0 , the image height (distance from the optical axis Z L ) d 1 , to calculate the d 2.
  • the coordinate values (q x1 , q y1 ), (q x2 , q y2 ) are the coordinates when the origin is a point C ′ on the light receiving surface 23 a through which the optical axis Z L passes.
  • the two-point distance calculation unit 51a obtains rotation angles ⁇ 1 and ⁇ 2 from predetermined axes with respect to vectors respectively directed from the point C ′ to the points Q1 ′ and Q2 ′.
  • the distance calculation unit 51a between the two points calculates the image heights d 1 and d 2 , the distance d 0 from the condensing optical system 22 to the light receiving surface 23a, and the condensing optical system from the points P1 and P2 on the subject S. From the distances d s1 and d s2 up to 22, the height of the subject (distance from the optical axis Z L ) d 1 ′ and d 2 ′ at points P1 and P2 is calculated.
  • the point-to-point distance calculation unit 51a calculates the distance d between these coordinates (p x1 , p y1 , d S1 ) and (p x2 , p y2 , d S2 ) and outputs the distance d to the display unit 34. For example, it is displayed in the distance display field m12 of M1.
  • the distance d may be a distance on a plane orthogonal to the optical axis Z L calculated from two-dimensional coordinates (p x1 , p y1 ) and (p x2 , p y2 ), or three-dimensional coordinates ( It may be a distance in a three-dimensional space calculated from (p x1 , p y1 , d S1 ), (p x2 , p y2 , d S2 ).
  • the distance map associated with each pixel in the image m10 by using the distance map associated with each pixel in the image m10, a subject corresponding to any two points designated on the image m10. It is possible to accurately calculate the distance on S.
  • FIG. 14 is a schematic diagram showing a configuration of an endoscope system according to Embodiment 3 of the present invention.
  • the endoscope system 6 according to the third embodiment is a capsule endoscope that is introduced into a subject 60 such as a patient, performs imaging, generates an image signal, and wirelessly transmits the image signal.
  • the configuration and operation of the image processing device 3 are the same as those in the first embodiment (see FIG. 1), and image data is acquired from the receiving device 63, subjected to predetermined image processing, and an image in the subject 60 is displayed.
  • the image processing device 5 in the second embodiment may be applied instead of the image processing device 3.
  • FIG. 15 is a schematic diagram illustrating a configuration example of the capsule endoscope 61.
  • the capsule endoscope 61 is introduced into the subject 60 by oral ingestion or the like, then moves inside the digestive tract, and is finally discharged out of the subject 60.
  • the capsule endoscope 61 captures the inside of the subject 60 while moving inside the organ (gastrointestinal tract) by a peristaltic motion, sequentially generates image signals, and wirelessly transmits them.
  • the capsule endoscope 61 includes a capsule housing 611 that houses the imaging unit 2 including the illumination unit 21, the condensing optical system 22, and the image sensor 23.
  • the capsule housing 611 is an exterior case formed in a size that can be easily introduced into the organ of the subject 60.
  • a control unit 615 that controls each component of the capsule endoscope 61 and a signal processed by the control unit 615 are wirelessly transmitted to the outside of the capsule endoscope 61.
  • a wireless communication unit 616 and a power supply unit 617 that supplies power to each component of the capsule endoscope 61 are provided.
  • the capsule casing 611 includes a cylindrical casing 612 and dome-shaped casings 613 and 614.
  • the capsule casing 611 is realized by closing both ends of the cylindrical casing 612 with the dome-shaped casings 613 and 614.
  • the cylindrical casing 612 and the dome-shaped casing 614 are colored casings that are substantially opaque to visible light.
  • the dome-shaped casing 613 is an optical member having a dome shape that is transparent to light of a predetermined wavelength band such as visible light.
  • Such a capsule-type housing 611 includes the imaging unit 2, the control unit 615, the wireless communication unit 616, and the power supply unit 617 in a liquid-tight manner.
  • the control unit 615 controls the operation of each component in the capsule endoscope 61 and controls the input / output of signals between these components. Specifically, the control unit 615 controls the imaging frame rate of the image sensor 23 included in the imaging unit 2 and causes the illumination unit 21 to emit light in synchronization with the imaging frame rate. In addition, the control unit 615 performs predetermined signal processing on the image signal output from the image sensor 23 and causes the wireless communication unit 616 to wirelessly transmit the signal.
  • the wireless communication unit 616 acquires an image signal from the control unit 615, performs a modulation process on the image signal, generates a wireless signal, and transmits the wireless signal to the reception device 63.
  • the power supply unit 617 is a power storage unit such as a button-type battery or a capacitor, and supplies power to each component (the imaging unit 2, the control unit 615, and the wireless communication unit 616) of the capsule endoscope 61.
  • the receiving antenna unit 62 has a plurality (eight in FIG. 14) of receiving antennas 62a.
  • Each receiving antenna 62a is realized by using, for example, a loop antenna, and is a predetermined position on the external surface of the subject 60 (for example, a position corresponding to each organ in the subject 60 that is a passage region of the capsule endoscope 61). ).
  • the receiving device 63 receives the image signal wirelessly transmitted from the capsule endoscope 61 through these receiving antennas 62a, performs predetermined processing on the received image signal, and then stores the image in the built-in memory. Store the signal and its associated information.
  • the receiving device 63 may be provided with a display unit that displays a reception state of an image signal wirelessly transmitted from the capsule endoscope 61 and an input unit such as an operation button for operating the receiving device 63.
  • the image signal stored in the receiving device 63 is transferred to the image processing device 3 by setting the receiving device 63 in the cradle 64 connected to the image processing device 3.
  • FIG. 16 is a schematic diagram showing a configuration of an endoscope system according to Embodiment 4 of the present invention.
  • an endoscope system 7 according to the fourth embodiment includes an endoscope 71 that is inserted into the body of a subject, performs imaging, generates and outputs an image, and the endoscope 71.
  • a light source device 72 that generates illumination light emitted from the tip of the image processing device 3 and an image processing device 3.
  • the configuration and operation of the image processing apparatus 3 are the same as those in the first embodiment (see FIG. 1).
  • the image data generated by the endoscope 71 is acquired and subjected to various image processing, and an image in the subject is displayed on the display unit. 34.
  • the image processing device 5 in the second embodiment may be applied instead of the image processing device 3.
  • the endoscope 71 includes an insertion portion 73 having an elongated shape having flexibility, an operation portion 74 connected to the proximal end side of the insertion portion 73 and receiving input of various operation signals, and an insertion portion from the operation portion 74.
  • a universal cord 75 that extends in a direction different from the direction in which 73 extends and incorporates various cables connected to the image processing device 3 and the light source device 72 is provided.
  • the insertion portion 73 is connected to the distal end portion 731, a bendable bending portion 732 configured by a plurality of bending pieces, and a proximal end side of the bending portion 732, and a long flexible needle tube 733 having flexibility. And have.
  • An illumination unit 21 that irradiates the subject with illumination light generated by the light source device 72 at the distal end portion 731 of the insertion unit 73; a condensing optical system 22 that collects illumination light reflected in the subject;
  • An imaging unit 2 (see FIG. 1) including an image sensor 23 is provided.
  • the plurality of signal lines include a signal line that transmits an image signal output from the image sensor to the image processing device 3, a signal line that transmits a control signal output from the image processing device 3 to the image sensor, and the like.
  • the operation unit 74 includes a bending knob that bends the bending portion 732 in the vertical direction and the left-right direction, a treatment instrument insertion unit that inserts a treatment instrument such as a biopsy needle, a bioforceps, a laser knife, and an inspection probe, the image processing apparatus 3 A plurality of switches for inputting operation instruction signals to peripheral devices such as the light source device 72 are provided.
  • the universal cord 75 incorporates at least a light guide and an assembly cable.
  • a connector unit 76 that is detachable from the light source device 72 and a coiled coil cable 77 are electrically connected to the connector unit 76.
  • the connected image processing apparatus 3 and a detachable electrical connector part 78 are provided.
  • the image signal output from the image sensor is input to the image processing device 3 via the coil cable 77 and the electrical connector unit 78.
  • Embodiments 1 to 4 of the present invention described above are merely examples for carrying out the present invention, and the present invention is not limited to these. Further, the present invention can generate various inventions by appropriately combining a plurality of constituent elements disclosed in Embodiments 1 to 4. It is obvious from the above description that the present invention can be variously modified according to specifications and the like, and that various other embodiments are possible within the scope of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

撮像部におけるデータ処理量や撮像部との間のデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することができる画像処理装置等を提供する。撮像部から出力された被写体の像を表す画像データ及び被写体までの距離を表す測距データに基づいて画像処理を行う画像処理装置であって、上記測距データに基づいて、被写体に照射された照明光のパラメータを算出する照明光配光特性算出部３３２と、上記測距データから算出される被写体上の点における深度の勾配に基づいて、被写体により反射された照明光の反射光のパラメータを算出する反射光配光特性算出部３３４と、上記画像データと、照明光配光特性算出部３３２が算出した照明光のパラメータと、反射光配光特性算出部３３４が算出した反射光のパラメータとに基づいて、集光光学系の光軸方向における撮像部から被写体までの深度を算出する被写体距離算出部３４０とを備える。

Description

画像処理装置、測距システム、及び内視鏡システム
　本発明は、生体内を撮像することにより取得されたデータに基づいて画像処理を行う画像処理装置、測距システム、及び内視鏡システムに関する。
　生体内に内視鏡を導入し、内視鏡が撮像した被写体の画像を観察することにより生体の診断を行う内視鏡システムが広く普及している。近年では、内視鏡から被写体までの距離（深度）を測定する測距システムが組み込まれた内視鏡システムの開発も行われている。
　測距システムの例として、例えば特許文献１には、像面位相差オートフォーカス（ＡＦ）に用いられるイメージセンサを撮像部に設け、このイメージセンサに配置された測距用画素からの出力信号をもとに被写体までの深度を測定するシステムが開示されている。
　また、例えば特許文献２には、被写体の画像生成用のイメージセンサとは別にＴＯＦ(Time　of　Flight)方式の測距用センサを撮像部に設け、測距用センサからの出力信号をもとに被写体までの深度を測定するシステムが開示されている。
　さらに、特許文献３には、被写体を照明する照明部と撮像部との位置関係をもとに、被写体の画像から深度を算出する技術が開示されている。具体的には、照明部から出射し、被写体上の注目点に入射した光の照射角（照明部の光軸に対する角度）と、注目点において反射され、集光光学系を介して撮像部に入射した光の撮像角（集光光学系の光軸に対する角度）とを用いて被写体までの深度を算出する。
特開２０１３－２３２７５１号公報 特開２００９－２６７４３６号公報 特開２００９－４１９２９号公報
　画像に写った被写体までの深度の測定精度を高めることは、被写体の立体的な構造を把握したり、三角測量の原理により画像内の２点間に対応する被写体上の２点間の距離を算出したりする上で重要である。
　しかしながら、特許文献１の場合、イメージセンサにまばらに配置された測距用画素の位置における深度しか実測しないため、被写体の画像を構成する全ての画素位置について精度の良い深度情報が得られるわけではない。
　また、特許文献２の場合、画像内の全領域における深度を実測するため、精度の良い深度情報が得られるものの、１フレームあたりに生成されるデータ量が大幅に増加する。そのため、測距用センサにおけるデータ処理や、測距用センサから画像処理装置へのデータ通信に長時間を要してしまう。その結果、撮像フレームレートが低下するという問題が生じてしまう。
　さらに、特許文献３の場合、被写体の画像から照射角を求めることができないため、推定値を使用せざるを得ない。そのため、深度の測定精度が照射角の推定精度に依存することになり、高精度な深度情報を取得できるとは限らない。
　本発明は、上記に鑑みてなされたものであって、撮像部におけるデータ処理量や撮像部と画像処理装置との間のデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することができる画像処理装置、測距システム、及び内視鏡システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を照射する照明光を発生する照明部と、前記被写体により反射された前記照明光を集光する集光光学系と、該集光光学系により集光された前記照明光を受光し、該照明光に基づき、前記被写体の像を表す画像データを出力すると共に前記被写体までの距離を表す測距データを出力するイメージセンサと、を有する撮像部から出力された前記画像データ及び前記測距データに基づいて画像処理を行う画像処理装置であって、前記測距データに基づいて、前記被写体上の点に照射された前記照明光のパラメータを算出する照明光配光特性算出部と、前記測距データから算出される前記被写体上の点における深度の勾配に基づいて、前記被写体により反射された前記照明光の反射光のパラメータを算出する反射光配光特性算出部と、前記画像データと、前記照明光のパラメータと、前記反射光のパラメータとに基づいて、前記集光光学系の光軸方向における前記撮像部から前記被写体までの距離を算出する被写体距離算出部と、を備えることを特徴とする。
　上記画像処理装置は、前記測距データに基づき、前記画像データに基づいて作成される前記被写体の画像内の各画素位置に対応する前記被写体上の点までの深度を各画素の画素値とする深度画像を作成する深度画像作成部をさらに備え、前記照明光配光特性算出部は、前記深度画像に基づいて、前記照明光における配光特性の放射角方向の値を算出する、ことを特徴とする。
　上記画像処理装置において、前記深度画像作成部は、前記被写体の画像内の画素位置のうち、前記測距データが得られていない画素位置における前記深度を、前記測距データが得られている画素位置における測距データを用いて補間する、ことを特徴とする。
　上記画像処理装置は、前記深度画像作成部が算出した前記深度に基づいて、前記被写体の画像内の画素位置ごとに前記深度の勾配を算出する深度勾配算出部をさらに備え、前記反射光配光特性算出部は、前記深度勾配算出部が算出した前記深度の勾配に基づいて、前記反射光の配光特性における反射角方向の値を算出する、ことを特徴とする。
　上記画像処理装置は、前記画像データに基づいて表示用の画像を作成する画像処理部と、前記表示用の画像を表示する表示部と、前記表示用の画像上の任意の２点を指定する信号を入力する操作入力部と、前記表示用の画像上の任意の２点に対応する前記被写体上の２点間の距離を算出する２点間距離算出部と、をさらに備えることを特徴とする。
　本発明に係る測距システムは、前記画像処理装置と、前記撮像部と、を備えることを特徴とする。
　本発明に係る内視鏡システムは、前記画像処理装置と、カプセル形状をなす筐体に前記撮像部を収容したカプセル型内視鏡と、を備えることを特徴とする。
　本発明に係る内視鏡システムは、前記画像処理装置と、前記被検体に挿入される挿入部の先端部に前記撮像部が設けられたビデオスコープと、を備えることを特徴とする。
　本発明によれば、被写体までの距離を表す測距データに基づいて算出された照明光のパラメータ及び反射光のパラメータと、被写体の像を表す画像データとを用いることにより、撮像部から被写体までの深度を高精度に算出することができる。それにより、被写体の画像を構成する全ての画素の位置について深度を実測する必要がなくなるので、データ処理量やデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することが可能となる。
図１は、本発明の実施の形態１に係る測距システムの構成例を示す模式図である。 図２は、図１に示すイメージセンサの受光面を示す模式図である。 図３は、図１に示す深度算出部の構成を示すブロック図である。 図４は、被写体距離の測定原理を説明するための模式図である。 図５は、照明光の配光特性を説明するための模式図である。 図６は、図４に示すイメージセンサの受光面に対応する深度画像の画像領域を示す模式図である。 図７は、深度勾配の算出方法を説明するための模式図である。 図８は、深度勾配の算出方法を説明するための模式図である。 図９は、反射光の配光特性を説明するための模式図である。 図１０は、本発明の実施の形態２に係る測距システムの構成例を示す模式図である。 図１１は、図１０に示す表示部に表示される画面の例を示す模式図である。 図１２は、画像内の２点間に対応する被写体上の距離を測定する原理を説明するための模式図である。 図１３は、画像内の２点間に対応する被写体上の距離を測定する原理を説明するための模式図である。 図１４は、本発明の実施の形態３に係る内視鏡システムの構成例を示す模式図である。 図１５は、図１４に示すカプセル型内視鏡の内部構造の一例を示す模式図である。 図１６は、本発明の実施の形態４に係る内視鏡システムの構成例を示す模式図である。
　以下に、本発明の実施の形態に係る画像処理装置、測距システム、及び内視鏡システムについて、図面を参照しながら説明する。以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。従って、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。なお、図面の記載において、同一部分には同一の符号を付している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る測距システムの構成例を示す模式図である。本実施の形態１に係る測距システム１は、生体内に導入されて撮像を行う内視鏡システム等に適用され、粘膜等の被写体までの距離（深度）を測定するシステムである。内視鏡システムとしては、被検体に挿入される挿入部の先端部に撮像部を設けたビデオスコープを備える一般的な内視鏡システムであっても良いし、カプセル形状をなす筐体に撮像部及び無線通信部を収容したカプセル型内視鏡を生体内に導入して撮像を実行させるカプセル型内視鏡システムであっても良い。
　図１に示すように、測距システム１は、被写体Ｓを撮像することにより画像データを生成して出力すると共に、被写体Ｓまでの距離を実測することにより測距データを生成して出力する撮像部２と、撮像部２から出力された画像データ及び測距データを取得し、画像データに基づいて被写体Ｓの画像を作成すると共に、画像データ及び測距データを用いて被写体Ｓまでの深度マップを作成する画像処理装置３とを備える。
　撮像部２は、被写体Ｓを照明する照明光を発生する１つ以上の照明部２１と、集光レンズ等の集光光学系２２と、イメージセンサ２３とを備える。
　照明部２１は、ＬＥＤ（Light　Emitting　Diode）等の発光素子及び該発光素子を駆動する駆動回路を含み、白色光あるいは特定の周波数帯域の照明光を発生して被写体Ｓに照射する。
　イメージセンサ２３は、被写体Ｓの視覚的な情報を表す画像データと、被写体Ｓまでの深度を表す測距データとを取得可能なセンサであり、照明部２１から出射し、被写体Ｓにより反射され、集光光学系２２により集光された照明光（即ち、反射光）を受光する受光面２３ａを有する。本実施の形態１においては、イメージセンサ２３として、像面位相差ＡＦ用のセンサを用いている。
　図２は、イメージセンサ２３の構成を説明するための模式図である。図２に示すように、イメージセンサ２３は、受光面２３ａに配列された複数の撮像用画素２３ｂ及び測距用画素２３ｃと、これらの画素から出力された電気信号を処理する信号処理回路２３ｄとを備える。受光面２３ａには、複数の撮像用画素２３ｂがマトリックス状に配置され、このマトリックスの一部を置き換えるように、複数の測距用画素２３ｃが配置されている。図２においては、測距用画素２３ｃの位置に「×」印を記して、撮像用画素２３ｂと区別している。
　各撮像用画素２３ｂは、フォトダイオード等の光電変換部上に、マイクロレンズと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタとを積層した構造を有し、光電変換部に入射した光の光量に応じた電荷を発生させる。撮像用画素２３ｂは、各々が有するカラーフィルタの色に応じて、ベイヤー配列等の所定の並び順で配列されている。信号処理回路２３ｄは、各撮像用画素２３ｂが発生した電荷を電圧信号に変換し、さらにデジタル信号に変換することにより、画像データとして出力する。
　各測距用画素２３ｃは、２つの光電変換部を同一平面上に並べて配置し、さらに、これらの光電変換部上に跨るように１つのマイクロレンズを配置した構造を有する。マイクロレンズに入射した光は、マイクロレンズへの入射位置に応じた配分で２つの光電変換部に入射する。２つの光電変換部の各々は入射した光の光量に応じた電荷を発生させる。信号処理回路２３ｄは、各測距用画素２３ｃの２つの光電変換部においてそれぞれ発生した電荷を電圧信号に変換し、これらの電圧信号間の位相差（距離に関する情報）をもとに、撮像部２から被写体Ｓまでの距離（深度）を表す測距データを生成して出力する。
　画像処理装置３は、撮像部２から出力された画像データ及び測距データを取得するデータ取得部３１と、データ取得部３１が取得した画像データ及び測距データ並びに当該画像処理装置３において用いられる各種プログラムやパラメータ等を記憶する記憶部３２と、画像データ及び測距データをもとに各種演算処理を行う演算部３３と、被写体Ｓの画像等を表示する表示部３４と、当該画像処理装置３に対する種々の情報や命令の入力に用いられる操作入力部３５と、これらの各部を統括的に制御する制御部３６とを備える。
　データ取得部３１は、当該測距システム１が適用される内視鏡システムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの場合、データ取得部３１は、ビデオスコープに設けられた撮像部２が生成した画像データ及び測距データを取り込むインタフェースによって構成される。また、カプセル型内視鏡システムの場合、データ取得部３１は、カプセル型内視鏡から無線送信された信号を、アンテナを介して受信する受信部によって構成される。或いは、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データ及び測距データを受け渡ししても良く、この場合、データ取得部３１は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像データ及び測距データを読み出すリーダ装置によって構成される。或いは、内視鏡システムにおいて生成された画像データ及び測距データを保存するサーバを設置する場合、データ取得部３１は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って各種データを取得する。
　記憶部３２は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read　Only　Memory）やＲＡＭ（Random　Access　Memory）といった各種ＩＣ（Integrated　Circuit）メモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ－ＲＯＭ（Compact　Disc　Read　Only　Memory）等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部３２は、画像処理装置３を動作させると共に、種々の機能を画像処理装置３に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ、具体的には、データ取得部３１によって取得された画像データ及び測距データや、各種パラメータ等を格納する。
　演算部３３は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサやＡＳＩＣ（Application　Specific　Integrated　Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部３３が汎用プロセッサである場合、記憶部３２が記憶する各種演算プログラムを読み込むことにより演算処理を実行する。また、演算部３３が専用プロセッサである場合、プロセッサが単独で種々の演算処理を実行してもよいし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して演算処理を実行してもよい。
　具体的には、演算部３３は、画像データに対してホワイトバランス処理、デモザイキング、ガンマ変換、平滑化（ノイズ除去等）等の所定の画像処理を施すことにより、表示用の画像を作成する画像処理部３３ａと、画像データ及び測距データをもとに、画像処理部３３ａが作成した表示用の画像内の各画素位置に対応する被写体Ｓまでの深度（集光光学系２２からの距離）を算出する深度算出部３３ｂとを備える。深度算出部３３ｂの詳細な構成及び動作については後述する。
　表示部３４は、液晶や有機ＥＬ（Electro　Luminescence）等の各種ディスプレイを含み、画像処理部３３ａが作成した表示用の画像や、深度算出部３３ｂが算出した距離等の情報を表示する。
　制御部３６は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部３６が汎用プロセッサである場合、記憶部３２が記憶する制御プログラムを読み込むことによって画像処理装置３を構成する各部への指示やデータの転送等を行い、画像処理装置３全体の動作を統括して制御する。また、制御部３６が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して種々の処理を実行してもよい。
　図３は、深度算出部３３ｂの詳細な構成を示すブロック図である。図３に示すように、深度算出部３３ｂは、深度画像作成部３３１と、照明光配光特性算出部３３２と、深度勾配算出部３３３と、反射光配光特性算出部３３４と、輝度画像作成部３３５と、像面照度算出部３３６と、物体面輝度算出部３３７と、照射照度算出部３３８と、照射距離算出部３３９と、被写体距離算出部３４０とを備える。
　深度画像作成部３３１は、記憶部３２から読み出された測距データに基づいて、画像処理部３３ａが作成する表示用の画像内の各画素位置に対応する被写体Ｓ上の点と集光光学系２２との間の深度を各画素の画素値とする深度画像を作成する。上述したように、測距用画素２３ｃは、受光面２３ａにまばらに配置されているので、深度画像作成部３３１は、測距用画素２３ｃが配置されていない画素位置については、近傍に配置されている測距用画素２３ｃから出力された測距データを用いて補間演算により深度を算出する。
　照明光配光特性算出部３３２は、深度画像作成部３３１が作成した深度画像に基づいて、被写体Ｓに照射された照明光のパラメータとして配光特性における放射角方向の値を算出する。
　深度勾配算出部３３３は、深度画像作成部３３１が作成した深度画像に基づいて、被写体Ｓ上の点における深度の勾配（以下、深度勾配という）を算出する。
　反射光配光特性算出部３３４は、深度勾配算出部３３３が算出した深度勾配に基づいて、被写体Ｓにより反射された照明光（即ち、反射光）のパラメータとして配光特性における反射角方向の値を算出する。
　輝度画像作成部３３５は、記憶部３２から読み出された画像データに基づいて、被写体Ｓの画像の輝度を各画素の画素値とする輝度画像を作成する。
　像面照度算出部３３６は、輝度画像作成部３３５が作成した輝度画像に基づいて、イメージセンサ２３の像面における照度を算出する。
　物体面輝度算出部３３７は、像面照度算出部３３６が算出した像面における照度に基づいて、被写体Ｓの表面における輝度を算出する。
　照射照度算出部３３８は、物体面輝度算出部３３７が算出した物体面の輝度と、反射光配光特性算出部３３４が算出した反射光の配光特性における反射角方向の値とに基づいて、被写体Ｓに照射された照明光の照射照度を算出する。
　照射距離算出部３３９は、被写体Ｓに照射された照明光の照射照度と、照明光配光特性算出部３３２が算出した照明光の配光特性における放射角方向の値とに基づいて、集光光学系２２から被写体Ｓまでの照射距離を算出する。
　被写体距離算出部３４０は、照射距離算出部３３９が算出した照射距離を集光光学系２２の光軸ＺLに投影した距離である被写体距離を算出する。
　次に、本実施の形態１における測距方法を、図１～図８を参照しながら詳細に説明する。図４は、撮像部２内の各部と被写体Ｓとの位置及び角度の関係を示す模式図である。
　まず、測距システム１は、照明部２１を発光させることにより、被写体Ｓに照明光Ｌ１を照射する。それにより、被写体Ｓによって反射された照明光（即ち、反射光）が集光光学系２２によって集光され、イメージセンサ２３の受光面２３ａに入射する。信号処理回路２３ｄ（図２参照）は、受光面２３ａに配置された撮像用画素２３ｂ及び測距用画素２３ｃからそれぞれ出力された電気信号に基づき、各撮像用画素２３ｂの位置における画像データを出力すると共に、各測距用画素２３ｃの位置における測距データを出力する。画像処理装置３のデータ取得部３１は、これらの画像データ及び測距データを取り込み、記憶部３２に記憶させる。
　図３に示すように、深度算出部３３ｂは、記憶部３２から測距データ及び画像データを取り込み、測距データを深度画像作成部３３１に入力すると共に、画像データを輝度画像作成部３３５に入力する。
　深度画像作成部３３１は、入力された測距データに基づいて、集光光学系２２から被写体Ｓまでの距離ｄS（図４参照）を各画素の画素値とし、受光面２３ａ全体に対応するサイズの深度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには、測距用画素２３ｃがまばらにしか配置されていない。そこで、深度画像作成部３３１は、測距用画素２３ｃの位置に対応する深度画像内の画素については、測距用画素２３ｃからの出力値に基づく測距データを用い、それ以外の深度画像内の画素については測距データを用いた補間により算出する。従って、深度画像において、測距用画素２３ｃからの出力値に基づく測定値が得られていない画素位置における距離ｄSは、被写体Ｓの表面の凹凸等が反映されていない概算値である。
　続いて、照明光配光特性算出部３３２は、深度画像作成部３３１が作成した深度画像をもとに、被写体Ｓ上の各点（例えば注目点Ｐ）に照射された照明光Ｌ１の配光特性における放射角方向の値を算出する。
　図５は、照明部２１の光軸ＺEに対する照明光Ｌ１の放射方向のなす角度である放射角θEと、放射角θEに対応する配光特性における放射角方向の値α（θE）との関係を示している。なお、図５においては、放射面における最大光度、即ち放射角θE＝０°のときの光度を基準に正規化されている。照明光配光特性算出部３３２は、図５に例示する配光特性を表す関数又はテーブルを記憶部３２から読み出し、照明部２１と注目点Ｐとの位置関係から放射角θEを算出し、この放射角θEに対応する配光特性における放射角方向の値α（θE）を算出する。
　なお、一般的なＬＥＤでは配光特性がコサインとなるため、例えば放射角θE＝４５°である場合、放射角方向の光度α（４５°）は、放射角θE＝０°における値α（０°）にｃｏｓ（４５°）をかけた値となる。
　ここで、放射角θEの算出方法を説明する。図６は、イメージセンサ２３の受光面２３ａに対応する深度画像の画像領域を示す模式図である。まず、照明光配光特性算出部３３２は、深度画像Ｍ内の注目画素Ａ（ｘ0，ｙ0）に対応する受光面２３ａ上の画素Ａ’（図４参照）を抽出し、イメージセンサ２３の画素数（ピクセル）及びセンササイズｄsen（ｍｍ）を用いて、この画素Ａ’の座標値をピクセルから距離（ｍｍ）に換算する。また、照明光配光特性算出部３３２は、距離に換算された画素Ａ’の座標値を用いて、集光光学系２２の光軸ＺLから画素Ａ’までの距離、即ち像高ｄAを算出する。そして、集光光学系２２と受光面２３ａまでの距離（設計値）ｄ0と像高ｄAとから、次式（１）により、画角φを算出する。
　　　φ＝ｔａｎ-1（ｄA／ｄ0）　…（１）
なお、図６においては、像高ｄAに対応する深度画像Ｍ内の長さｌ（ｄA）を破線で示している。
　照明光配光特性算出部３３２は、この画角φと、深度画像Ｍにおける注目画素Ａの画素値、即ち、深度ｄSとに基づき、次式（２）を用いて注目画素Ａに対応する被写体Ｓ上の注目点Ｐと光軸ＺLとの距離、即ち被写体の高さｄPを算出する。
　　　ｄP＝ｄSｔａｎφ　…（２）
　続いて、照明光配光特性算出部３３２は、照明部２１が備える発光素子の位置に対応する深度画像Ｍ内の座標を算出する。ここで、撮像部２において、照明部２１が備える発光素子の光軸ＺEと集光光学系２２の光軸ＺLとの間の距離ｄLEDや、発光素子とイメージセンサ２３の受光面２３ａとの位置関係は、設計値として決まっている。そこで、照明光配光特性算出部３３２は、イメージセンサ２３の画素数及びセンササイズｄsen（ｍｍ）を用いて深度画像Ｍの像高を求め、求めた像高から、照明部２１が備える発光素子の位置に対応する深度画像Ｍ内の画素の座標ＡLEDを算出する。
　続いて、照明光配光特性算出部３３２は、注目画素Ａの座標と発光素子の位置に対応する画素ＡLEDの座標とから、これらの画素間の間隔ｄpixを算出する。そして、この間隔ｄpixを、イメージセンサ２３の画素数及びセンササイズｄsen（ｍｍ）を用いて、被写体Ｓにおける距離（ｍｍ）に換算する。この距離が、注目点Ｐから発光素子の光軸ＺEまでの距離ｄEである。照明光配光特性算出部３３２は、この距離ｄEと、注目点Ｐの深度ｄSとから、次式（３）を用いて放射角θEを算出する。
　　　θE＝ｔａｎ-1（ｄE／ｄS）　…（３）
　照明光配光特性算出部３３２は、このようにして算出した放射角θEに基づいて、照明光Ｌ１の配光特性における放射角方向の値α（θE）（図５）を算出する。
　なお、照明部２１が複数の発光素子を備える場合、照明光配光特性算出部３３２は、複数の発光素子の各々について、上述した方法により放射角θEを算出し、算出した複数の放射角θEに基づいて配光特性における放射角方向の値を算出すれば良い。この場合、配光特性としても、複数の発光素子の配置に応じた特性を表す関数又はテーブルを、照明光配光特性算出部３３２に記憶部３２から読み出す。例えば、照明部２１が４つの発光素子を有し、ある注目点Ｐに対してそれぞれの発光素子の放射角θE1、θE2、θE3、θE4が算出された場合、これらの放射角に基づく配光特性における放射角方向の値α（θE1、θE2、θE3、θE4）が算出される。
　再び図３を参照すると、深度勾配算出部３３３は、深度画像作成部３３１が作成した深度画像Ｍ（図６参照）をもとに、被写体Ｓ上の点における深度勾配を算出する。深度勾配は、深度画像内の各画素の画素値（即ち、深度）の微分を取ることにより算出される。図４に示すように、深度勾配は、集光光学系２２の光軸ＺLと直交する面に対する注目点Ｐにおける接面の勾配（勾配角θ）を与える。
　ここで、深度勾配算出部３３３による深度勾配の算出方法を詳しく説明する。図７及び図８は、勾配画像の算出方法を説明するための模式図であり、図７及び図８に示す矩形の領域は、深度画像Ｍ内の注目画素Ａ（ｘ0，ｙ0）及びその周辺画素を示している。
　注目画素Ａの深度勾配は、基本的に、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上において注目画素Ａと隣接する画素の画素値（深度）を用いて算出される。例えば、図７に示すように、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上に、注目画素Ａと隣接する画素Ａ1、Ａ2の中心が乗っている場合、注目画素Ａにおける深度勾配Ｇは、中心Ｃから画素Ａ1、Ａ2にそれぞれ向かうベクトルＣＡ1、ＣＡ2を用いて、次式（４）によって与えられる。
Figure JPOXMLDOC01-appb-M000001
 式（４）において、符号Ｘ（　）は、括弧内に示すベクトルのｘ成分を示し、符号Ｙ（　）は、括弧内に示すベクトルのｙ成分を示す。また、符号Ｚ（　）は、括弧内に示す画素の画素値、即ち深度を示す。
　一方、図８に示すように、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上に、注目画素Ａと隣接する画素の中心が乗っていない場合、隣接画素の座標及び深度を、周辺画素を用いた線形補間により算出する。
　例えば、深度画像Ｍの中心Ｃを原点とし、中心Ｃ及び注目画素Ａを通る直線がｙ＝（１／３）ｘと表される場合を考える。この場合、（ｘ0－１）列の画素と直線ｙ＝（１／３）ｘとの交点Ａ4の座標を与えるベクトルＣＡ4は、中心Ｃから画素Ａ2、Ａ3にそれぞれ向かうベクトルＣＡ2、ＣＡ3とを用いて、式（５－１）によって算出される。また、交点Ａ4における深度Ｚ（Ａ4）は、画素Ａ2、Ａ3における深度Ｚ（Ａ2）、Ｚ（Ａ3）を用いて、式（５－２）によって与えられる。
Figure JPOXMLDOC01-appb-M000002
　同様に、（ｘ0＋１）列の画素と直線ｙ＝（１／３）ｘとの交点Ａ6の座標を与えるベクトルＣＡ6は、中心Ｃから画素Ａ1、Ａ5にそれぞれ向かうベクトルＣＡ1、ＣＡ5とを用いて、式（６－１）によって算出される。また、交点Ａ6における深度Ｚ（Ａ6）は、画素Ａ1、Ａ5における深度Ｚ（Ａ1）、Ｚ（Ａ6）を用いて、式（６－２）によって与えられる。
Figure JPOXMLDOC01-appb-M000003
　この場合、注目画素Ａの深度勾配Ｇは、補間により算出した交点Ａ4、Ａ6の座標及び該交点Ａ4、Ａ6における深度Ｚ（Ａ4）、Ｚ（Ａ6）を用いて、式（４）と同様にして算出される。
　深度勾配算出部３３３は、このようにして深度画像Ｍ内の全画素における深度勾配を算出する。
　続いて、反射光配光特性算出部３３４は、深度勾配算出部３３３が算出した深度勾配をもとに、被写体Ｓ上の各点（例えば注目点Ｐ）において反射された照明光（即ち、反射光）の配光特性における反射角方向の値を算出する。
　図９は、反射光の配光特性の一例を示す模式図である。反射光の配光特性とは、被写体Ｓの表面における反射角θRに応じた反射率のことである。なお、図９に示す配光特性は、反射率が最大、即ち反射角θR＝０°のときの反射率Ｒ（θR＝０）を基準に正規化されている。反射光配光特性算出部３３４は、図９に例示する配光特性を表す関数又はテーブルを記憶部３２から読み出し、照明部２１から注目点Ｐに入射する照明光Ｌ１と、注目点Ｐから集光光学系２２に向けて反射される反射光Ｌ２との関係から反射角θRを算出し、配光特性を表す関数又はテーブルを適用することにより配光特性における反射角方向の値Ｒ（θR）を算出する。
　例えば、反射角θR＝４５°のとき、配光特性における反射角方向の値Ｒ（４５°）＝０．８であった場合、注目点Ｐからイメージセンサ２３の方向に放射される反射光Ｌ２の光度は、反射角θR＝０°の場合の０．８倍となる。
　ここで、反射角θRの算出方法を説明する。まず、反射光配光特性算出部３３４は、照明光配光特性算出部３３２と同様の手法により、深度画像Ｍ内の注目画素Ａ（図６参照）に対応する受光面２３ａ上の画素Ａ’から見た画角φを算出する。また、深度勾配算出部３３３が算出した深度勾配から、注目画素Ａにおける深度勾配（勾配角θ）を算出する。そして、画角φ及び深度勾配（勾配角θ）から反射角θRを算出する。
　再び図３を参照すると、輝度画像作成部３３５は、入力された画像データに基づいて、被写体Ｓの画像の輝度を画素値とする輝度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには測距用画素２３ｃがまばらに配置されているため、測距用画素２３ｃが配置されている画素位置においては画像データが取得されていない。そこで、輝度画像作成部３３５は、測距用画素２３ｃの近傍に位置する撮像用画素２３ｂからの出力値に基づく画像データを用いて、当該測距用画素２３ｃの位置における輝度を補間により算出する。
　続いて、像面照度算出部３３６は、輝度画像作成部３３５が作成した輝度画像に基づいて、集光光学系２２の像面における照度（像面照度）Ｅf［ｌｘ］を算出する。ここで、像面照度とは、集光光学系２２を照明系と捉えた時、この集光光学系２２を通過した反射光Ｌ２がイメージセンサ２３に入射する際の照度のことである。
　像面照度Ｅfは、イメージセンサ２３の各撮像用画素２３ｂ（図２参照）からの出力値Ｖoutと、係数Ｋと、露光時間ｔとを用いて、次式（７）により与えられる。係数Ｋは、各撮像用画素２３ｂにおける光の吸収係数、電荷から電圧への変換係数、ＡＤ変換や増幅器等の回路におけるゲインや損失等を考慮したトータルの係数であり、イメージセンサ２３のスペックによって予め設定されている。なお、各測距用画素２３ｃの位置における像面照度Ｅfについては、当該測距用画素２３ｃの近傍の撮像用画素２３ｂからの出力値Ｖoutを用いた補間により算出する。
Figure JPOXMLDOC01-appb-M000004
　続いて、物体面輝度算出部３３７は、像面照度Ｅfに基づいて、被写体Ｓの表面における輝度である物体面輝度ＬS［ｃｄ／ｍ2］を算出する。物体面輝度ＬSは、像面照度Ｅfと、集光光学系２２の口径Ｄ、焦点距離ｂ、及び強度透過率Ｔ（ｈ）とを用いて、次式（８）により与えられる。
Figure JPOXMLDOC01-appb-M000005
　続いて、照射照度算出部３３８は、物体面輝度ＬSに基づいて、被写体Ｓを照射した照明光Ｌ１の照射照度Ｅ0［ｌｘ］を算出する。照明光Ｌ１は、被写体Ｓの注目点Ｐにおいて反射されることにより、被写体Ｓの表面における反射率Ｒ0の分だけ減衰すると共に、反射角θRに応じた配光特性の分だけ減衰する。従って、照射照度Ｅ0は、物体面輝度ＬSと、被写体Ｓの反射率Ｒ0と、反射光配光特性算出部３３４が算出した反射光Ｌ２の配光特性における反射角方向の値Ｒ（θR）とを用いて、次式（９）により逆算することができる。
Figure JPOXMLDOC01-appb-M000006
　ここで、反射率Ｒ0は、被写体Ｓの表面性状に応じて決まる値であり、記憶部３２に予め格納されている。記憶部３２は、胃粘膜や大腸粘膜といった観察対象の被写体の種類に応じた反射率Ｒ0を複数格納しても良く、この場合、照射照度算出部３３８は、操作入力部３５（図１参照）から入力される信号に応じた反射率Ｒ0を選択して用いる。
　このようにして算出された照射照度Ｅ0は、照明部２１から出射した照明光Ｌ１が被写体Ｓの注目点Ｐに到達して生じたものである。この間、照明部２１から出射した照明光Ｌ１は、注目点Ｐまでの照射距離ｄL及び放射角θEに応じた配光特性における放射角方向の値α（θE）の分だけ減衰する。従って、照明部２１の輝度ＬLEDと注目点Ｐにおける照射照度Ｅ0との間には、次式（１０）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000007
 式（１０）において、符号ＳLEDは、照明部２１から照明光Ｌ１が放射される領域の表面積を示す。また、符号ＥｍSPEは、照明光Ｌ１の分光特性係数である。
　そこで、照射距離算出部３３９は、照明光配光特性算出部３３２から照明光の配光特性における放射角方向の値α（θE）を取得し、この配光特性における放射角方向の値α（θE）と照射照度Ｅ0とを用いて、次式（１１）により与えられる照射距離ｄL［ｍ］を算出する。
Figure JPOXMLDOC01-appb-M000008
　続いて、被写体距離算出部３４０は、放射角θEを用いて、次式（１２）により照射距離ｄLを光軸ＺLに投影した被写体距離ｄS［ｍ］を算出する。
　　　ｄS＝ｄL・ｃｏｓθE　…（１２）
　深度算出部３３ｂは、上述した一連の処理を深度画像Ｍ内の各画素について実行し、算出した被写体距離ｄSを、画像処理部３３ａが作成した表示用の画像内の各画素と関連付けた距離マップを作成して記憶部３２に記憶させる。それにより、撮像部２から取得された画像データと測距データに対する処理が終了する。
　以上説明したように、本実施の形態１によれば、測距用画素２３ｃにより測定された測距データに基づいて深度画像を作成すると共に深度勾配を算出し、これらの深度画像及び深度勾配をもとに照明光の配光特性における放射角方向の値及び反射光の配光特性における反射角方向の値をそれぞれ算出し、これらの配光特性の値を用いて画像の輝度から被写体距離を算出するので、配光特性の値を用いない場合と比較して被写体距離の精度を大幅に向上させることができる。
　また、本実施の形態１によれば、イメージセンサ２３の受光面２３ａにまばらに配置された測距用画素２３ｃから測距データを取得するので、イメージセンサ２３におけるデータ処理量や、撮像部２から画像処理装置３へのデータ通信量を大幅に削減することができる。従って、イメージセンサ２３における撮像フレームレートの低下を抑制することが可能となる。
（変形例）
　上記実施の形態１においては、イメージセンサ２３として、複数の撮像用画素２３ｂと複数の測距用画素２３ｃとが同一の受光面２３ａ上に配置された像面位相差ＡＦ用のセンサを用いたが、イメージセンサ２３の構成はこれに限定されない。例えば、ＣＭＯＳ又はＣＣＤ等の一般的な撮像素子と、ＴＯＦ方式の測距用センサとを組み合わせて使用しても良い。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る測距システムの構成を示すブロック図である。図１０に示すように、本実施の形態２に係る測距システム４は、図１に示す画像処理装置３の代わりに画像処理装置５を備える。なお、撮像部２の構成及び動作は、実施の形態１と同様である。
　画像処理装置５は、図１に示す演算部３３に対し、２点間距離算出部５１ａをさらに備える演算部５１を備える。演算部５１以外の画像処理装置５の各部の構成及び動作、並びに、演算部５１が備える画像処理部３３ａ及び深度算出部３３ｂの動作は、実施の形態１と同様である。
　２点間距離算出部５１ａは、画像処理部３３ａが作成した被写体Ｓの表示用の画像に対し、操作入力部３５から入力された信号により指定された２点間の距離を算出する。
　次に、画像内の２点間に対応する被写体Ｓ上の距離の測定方法を、図１１～図１３を参照しながら説明する。図１１は、表示部３４に表示される画面の例を示す模式図である。図１２及び図１３は、２点間の距離の測定原理を説明するための模式図である。以下においては、被写体Ｓに関する距離マップ（実施の形態１参照）が作成され、記憶部３２に記憶されているものとする。
　まず、制御部３６は、図１１に例示するように、画像処理部３３ａが作成した被写体Ｓの表示用の画像ｍ１０を含む画面Ｍ１を表示部３４に表示させる。この画面Ｍ１は、画像ｍ１０に加えて、該画像ｍ１０上においてユーザが選択した任意の２点（始点及び終点）の座標を表示する座標表示欄ｍ１１と、画像ｍ１０上においてユーザが選択した任意の２点間に対応する被写体Ｓ上の２点間の距離を表示する距離表示欄ｍ１２とを含んでいる。
　この画面Ｍ１に対する操作入力部３５を用いた所定のポインタ操作（例えばクリック操作）により、画像ｍ１０上の任意の２点Ｑ１、Ｑ２が指定されると、操作入力部３５は、指定された２点Ｑ１、Ｑ２の画像ｍ１０上における座標値を制御部３６に入力する。
　ここで、上述したように、被写体Ｓに関する距離マップは既に得られているため、画像ｍ１０内の各画素位置に対応する被写体Ｓ上の点から撮像部２までの距離は既知である。また、図１２に示すように、センササイズｄsen及び集光光学系２２から受光面２３ａまでの距離ｄ0も設計値として与えられている。
　そこで、２点間距離算出部５１ａは、画像ｍ１０上の２点Ｑ１、Ｑ２の座標値を制御部３６から取得すると、記憶部３２から距離マップを読み出し、これらの２点Ｑ１、Ｑ２にそれぞれ対応する被写体Ｓ上の２点Ｐ１、Ｐ２から撮像部２（集光光学系２２）までの距離ｄs1、ｄs2を取得する。
　また、２点間距離算出部５１ａは、図１３に示すように、画像ｍ１０上の２点Ｑ１、Ｑ２に対応するイメージセンサ２３の受光面２３ａ上の２点Ｑ１’、Ｑ２’の座標値（ｑx1、ｑy1）、（ｑx2、ｑy2）を取得し、これらの座標値とセンササイズｄsenと距離ｄ0とを用いて、像高（光軸ＺLとの距離）ｄ1、ｄ2を算出する。ここで、座標値（ｑx1、ｑy1）、（ｑx2、ｑy2）は、光軸ＺLが通る受光面２３ａ上の点Ｃ’を原点としたときの座標である。
　さらに、２点間距離算出部５１ａは、点Ｃ’から点Ｑ１’、Ｑ２’にそれぞれ向かうベクトルに対する所定の軸からの回転角ψ1、ψ2を求める。
　続いて、２点間距離算出部５１ａは、像高ｄ1、ｄ2と、集光光学系２２から受光面２３ａまでの距離ｄ0と、被写体Ｓ上の点Ｐ１、Ｐ２から集光光学系２２までの距離ｄs1、ｄs2とから、点Ｐ１、Ｐ２における被写体の高さ（光軸ＺLとの距離）ｄ1’、ｄ2’をそれぞれ算出する。
　図１３に示す回転角ψ1、ψ2と、被写体の高さｄ1’、ｄ2’とを用いると、被写体Ｓ上の点Ｐ１、Ｐ２の座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）は、それぞれ次式（１３）、（１４）によって与えられる。
　（ｐx1，ｐy1，ｄS1）＝（ｄ1’cosψ1，ｄ1’sinψ1，ｄS1）　…（１３）
　（ｐx2，ｐy2，ｄS2）＝（ｄ2’cosψ2，ｄ2’sinψ2，ｄS2）　…（１４）
　２点間距離算出部５１ａは、これらの座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）の間の距離ｄを算出して表示部３４に出力し、画面Ｍ１の例えば距離表示欄ｍ１２に表示させる。なお、距離ｄとしては、２次元座標（ｐx1，ｐy1）、（ｐx2，ｐy2）から算出した光軸ＺLと直交する面上における距離であっても良いし、３次元座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）から算出した３次元空間における距離であっても良い。
　以上説明したように、本発明の実施の形態２によれば、画像ｍ１０内の各画素と関連付けられた距離マップを用いることにより、画像ｍ１０上で指定された任意の２点間に対応する被写体Ｓ上の距離を正確に算出することが可能となる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１４は、本発明の実施の形態３に係る内視鏡システムの構成を示す模式図である。図１４に示すように、本実施の形態３に係る内視鏡システム６は、患者等の被検体６０内に導入されて撮像を行い、画像信号を生成して無線送信するカプセル型内視鏡６１と、カプセル型内視鏡６１から無線送信された画像信号を、被検体６０に装着された受信アンテナユニット６２を介して受信する受信装置６３と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、受信装置６３から画像データを取得して所定の画像処理を施し、被検体６０内の画像を表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。
　図１５は、カプセル型内視鏡６１の構成例を示す模式図である。カプセル型内視鏡６１は、経口摂取等によって被検体６０内に導入された後、消化管内部を移動し、最終的に被検体６０の外部に排出される。その間、カプセル型内視鏡６１は、臓器（消化管）内部を蠕動運動によって移動しつつ、被検体６０内を撮像して画像信号を順次生成し、無線送信する。
　図１５に示すように、カプセル型内視鏡６１は、照明部２１、集光光学系２２、及びイメージセンサ２３を含む撮像部２を収容するカプセル型筐体６１１を備える。カプセル型筐体６１１は、被検体６０の臓器内部に導入し易い大きさに形成された外装ケースである。また、カプセル型筐体６１１内には、カプセル型内視鏡６１の各構成部を制御する制御部６１５と、制御部６１５によって処理された信号をカプセル型内視鏡６１の外部に無線送信する無線通信部６１６と、カプセル型内視鏡６１の各構成部に電力を供給する電源部６１７とが設けられている。
　カプセル型筐体６１１は、筒状筐体６１２とドーム状筐体６１３、６１４とから成り、この筒状筐体６１２の両側開口端をドーム状筐体６１３、６１４によって塞ぐことによって実現される。筒状筐体６１２及びドーム状筐体６１４は、可視光に対して略不透明な有色の筐体である。一方、ドーム状筐体６１３は、可視光等の所定波長帯域の光に対して透明な、ドーム形状をなす光学部材である。このようなカプセル型筐体６１１は、撮像部２と、制御部６１５と、無線通信部６１６、電源部６１７とを液密に内包する。
　制御部６１５は、カプセル型内視鏡６１内の各構成部の動作を制御すると共に、これらの構成部間における信号の入出力を制御する。詳細には、制御部６１５は、撮像部２が備えるイメージセンサ２３の撮像フレームレートを制御すると共に、この撮像フレームレートと同期して照明部２１を発光させる。また、制御部６１５は、イメージセンサ２３から出力された画像信号に所定の信号処理を施し、無線通信部６１６から無線送信させる。
　無線通信部６１６は、制御部６１５から画像信号を取得し、該画像信号に対して変調処理等を施して無線信号を生成し、受信装置６３に送信する。
　電源部６１７は、ボタン型電池やキャパシタ等の蓄電部であり、カプセル型内視鏡６１の各構成部（撮像部２、制御部６１５、及び無線通信部６１６）に電力を供給する。
　再び図１４を参照すると、受信アンテナユニット６２は、複数（図１４においては８個）の受信アンテナ６２ａを有する。各受信アンテナ６２ａは、例えばループアンテナを用いて実現され、被検体６０の体外表面上の所定位置（例えば、カプセル型内視鏡６１の通過領域である被検体６０内の各臓器に対応した位置）に配置される。
　受信装置６３は、これらの受信アンテナ６２ａを介して、カプセル型内視鏡６１から無線送信された画像信号を受信し、受信した画像信号に所定の処理を施した上で、内蔵するメモリに画像信号及びその関連情報を記憶する。受信装置６３には、カプセル型内視鏡６１から無線送信された画像信号の受信状態を表示する表示部や、受信装置６３を操作するための操作ボタン等の入力部を設けても良い。受信装置６３に記憶された画像信号は、画像処理装置３に接続されたクレードル６４に受信装置６３をセットすることにより、画像処理装置３に転送される。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。図１６は、本発明の実施の形態４に係る内視鏡システムの構成を示す模式図である。図１６に示すように、本実施の形態４に係る内視鏡システム７は、被検体の体内に挿入されて撮像を行い、画像を生成して出力する内視鏡７１と、内視鏡７１の先端から出射する照明光を発生する光源装置７２と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、内視鏡７１が生成した画像データを取得して各種画像処理を施し、被検体内の画像を表示部３４に表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。
　内視鏡７１は、可撓性を有する細長形状をなす挿入部７３と、挿入部７３の基端側に接続され、各種の操作信号の入力を受け付ける操作部７４と、操作部７４から挿入部７３が延びる方向と異なる方向に延び、画像処理装置３及び光源装置７２と接続する各種ケーブルを内蔵するユニバーサルコード７５とを備える。
　挿入部７３は、先端部７３１と、複数の湾曲駒によって構成された湾曲自在な湾曲部７３２と、湾曲部７３２の基端側に接続され、可撓性を有する長尺状の可撓針管７３３とを有する。この挿入部７３の先端部７３１に、光源装置７２が発生した照明光により被検体内を照射する照明部２１と、被検体内において反射された照明光を集光する集光光学系２２と、イメージセンサ２３とを備える撮像部２（図１参照）が設けられる。
　操作部７４と先端部７３１との間には、画像処理装置３との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルと、光を伝送するライトガイドとが接続されている。複数の信号線には、撮像素子が出力した画像信号を画像処理装置３に伝送する信号線及び画像処理装置３が出力する制御信号を撮像素子に伝送する信号線等が含まれる。
　操作部７４は、湾曲部７３２を上下方向及び左右方向に湾曲させる湾曲ノブや、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部と、画像処理装置３及び光源装置７２等の周辺機器に操作指示信号を入力するための複数のスイッチが設けられている。
　ユニバーサルコード７５は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード７５の操作部７４に連なる側と異なる側の端部には、光源装置７２に着脱自在なコネクタ部７６と、コイル状をなすコイルケーブル７７を介してコネクタ部７６と電気的に接続され、画像処理装置３と着脱自在な電気コネクタ部７８とが設けられている。撮像素子から出力された画像信号は、コイルケーブル７７及び電気コネクタ部７８を介して画像処理装置３に入力される。
　以上説明した本発明の実施の形態１～４は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではない。また、本発明は、上記実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を生成することができる。本発明は、仕様等に応じて種々変形することが可能であり、さらに本発明の範囲内において、他の様々な実施の形態が可能であることは、上記記載から自明である。
　１、４　測距システム
　２　撮像部
　３、５　画像処理装置
　７　内視鏡システム
　２１　照明部
　２２　集光光学系
　２３　イメージセンサ
　２３ａ　受光面
　２３ｂ　撮像用画素
　２３ｃ　測距用画素
　２３ｄ　信号処理回路
　３１　データ取得部
　３２　記憶部
　３３、５１　演算部
　３３ａ　画像処理部
　３３ｂ　深度算出部
　３４　表示部
　３５　操作入力部
　３６　制御部
　５１ａ　２点間距離算出部
　６０　被検体
　６１　カプセル型内視鏡
　６２　受信アンテナユニット
　６２ａ　受信アンテナ
　６３　受信装置
　６４　クレードル
　７１　内視鏡
　７２　光源装置
　７３　挿入部
　７４　操作部
　７５　ユニバーサルコード
　７６　コネクタ部
　７７　コイルケーブル
　７８　電気コネクタ部
　３３１　深度画像作成部
　３３２　照明光配光特性算出部
　３３３　深度勾配算出部
　３３４　反射光配光特性算出部
　３３５　輝度画像作成部
　３３６　像面照度算出部
　３３７　物体面輝度算出部
　３３８　照射照度算出部
　３３９　照射距離算出部
　３４０　被写体距離算出部
　６１１　カプセル型筐体
　６１２　筒状筐体
　６１３、６１４　ドーム状筐体
　６１５　制御部
　６１６　無線通信部
　６１７　電源部
　７３１　先端部
　７３２　湾曲部
　７３３　可撓針管

Claims (8)

  1. 　被写体を照射する照明光を発生する照明部と、前記被写体により反射された前記照明光を集光する集光光学系と、該集光光学系により集光された前記照明光を受光し、該照明光に基づき、前記被写体の像を表す画像データを出力すると共に前記被写体までの距離を表す測距データを出力するイメージセンサと、を有する撮像部から出力された前記画像データ及び前記測距データに基づいて画像処理を行う画像処理装置であって、
    　前記測距データに基づいて、前記被写体上の点に照射された前記照明光のパラメータを算出する照明光配光特性算出部と、
    　前記測距データから算出される前記被写体上の点における深度の勾配に基づいて、前記被写体により反射された前記照明光の反射光のパラメータを算出する反射光配光特性算出部と、
    　前記画像データと、前記照明光のパラメータと、前記反射光のパラメータとに基づいて、前記集光光学系の光軸方向における前記撮像部から前記被写体までの距離を算出する被写体距離算出部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記測距データに基づき、前記画像データに基づいて作成される前記被写体の画像内の各画素位置に対応する前記被写体上の点までの深度を各画素の画素値とする深度画像を作成する深度画像作成部をさらに備え、
    　前記照明光配光特性算出部は、前記深度画像に基づいて、前記照明光における配光特性の放射角方向の値を算出する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記深度画像作成部は、前記被写体の画像内の画素位置のうち、前記測距データが得られていない画素位置における前記深度を、前記測距データが得られている画素位置における測距データを用いて補間する、ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記深度画像作成部が算出した前記深度に基づいて、前記被写体の画像内の画素位置ごとに前記深度の勾配を算出する深度勾配算出部をさらに備え、
    　前記反射光配光特性算出部は、前記深度勾配算出部が算出した前記深度の勾配に基づいて、前記反射光の配光特性における反射角方向の値を算出する、
    ことを特徴とする請求項２に記載の画像処理装置。
  5. 　前記画像データに基づいて表示用の画像を作成する画像処理部と、
    　前記表示用の画像を表示する表示部と、
    　前記表示用の画像上の任意の２点を指定する信号を入力する操作入力部と、
    　前記表示用の画像上の任意の２点に対応する前記被写体上の２点間の距離を算出する２点間距離算出部と、
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  6. 　請求項１に記載の画像処理装置と、
    　前記撮像部と、
    を備えることを特徴とする測距システム。
  7. 　請求項１に記載の画像処理装置と、
    　カプセル形状をなす筐体に前記撮像部を収容したカプセル型内視鏡と、
    を備えることを特徴とする内視鏡システム。
  8. 　請求項１に記載の画像処理装置と、
    　前記被検体に挿入される挿入部の先端部に前記撮像部が設けられたビデオスコープと、
    を備えることを特徴とする内視鏡システム。
PCT/JP2016/054621 2015-06-30 2016-02-17 画像処理装置、測距システム、及び内視鏡システム WO2017002388A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16817498.5A EP3318173A4 (en) 2015-06-30 2016-02-17 IMAGE PROCESSING DEVICE, MEASURING SYSTEM AND ENDOSCOPY SYSTEM
JP2016559465A JP6064106B1 (ja) 2015-06-30 2016-02-17 画像処理装置、カプセル型内視鏡システム、及び内視鏡システム
CN201680003404.3A CN107072498B (zh) 2015-06-30 2016-02-17 图像处理装置、胶囊型内窥镜系统以及内窥镜系统
US15/498,845 US20170228879A1 (en) 2015-06-30 2017-04-27 Image processing apparatus, capsule endoscope system, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015131904 2015-06-30
JP2015-131904 2015-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/498,845 Continuation US20170228879A1 (en) 2015-06-30 2017-04-27 Image processing apparatus, capsule endoscope system, and endoscope system

Publications (1)

Publication Number Publication Date
WO2017002388A1 true WO2017002388A1 (ja) 2017-01-05

Family

ID=57608073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054621 WO2017002388A1 (ja) 2015-06-30 2016-02-17 画像処理装置、測距システム、及び内視鏡システム

Country Status (5)

Country Link
US (1) US20170228879A1 (ja)
EP (1) EP3318173A4 (ja)
JP (1) JP6064106B1 (ja)
CN (1) CN107072498B (ja)
WO (1) WO2017002388A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018130537A (ja) * 2017-01-30 2018-08-23 キャプソ・ヴィジョン・インコーポレーテッド オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
CN110327046B (zh) * 2019-04-28 2022-03-25 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
CN110335318B (zh) * 2019-04-28 2022-02-11 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN110811550A (zh) * 2019-10-16 2020-02-21 杨扬 基于深度图像的牙齿成像系统及成像方法
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
CN110974132B (zh) * 2019-12-23 2022-06-03 重庆金山医疗技术研究院有限公司 一种胶囊式内窥镜及其相对运动检测方法和系统
CN111643031A (zh) * 2020-04-24 2020-09-11 上海澳华内镜股份有限公司 内窥镜装置及系统
CN112261399B (zh) * 2020-12-18 2021-03-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2015119277A (ja) * 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
JP5393216B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察システムおよび蛍光観察システムの作動方法
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2015119277A (ja) * 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3318173A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018130537A (ja) * 2017-01-30 2018-08-23 キャプソ・ヴィジョン・インコーポレーテッド オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置

Also Published As

Publication number Publication date
CN107072498B (zh) 2019-08-20
US20170228879A1 (en) 2017-08-10
CN107072498A (zh) 2017-08-18
JPWO2017002388A1 (ja) 2017-06-29
EP3318173A1 (en) 2018-05-09
JP6064106B1 (ja) 2017-01-18
EP3318173A4 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6064106B1 (ja) 画像処理装置、カプセル型内視鏡システム、及び内視鏡システム
JP6177458B2 (ja) 画像処理装置及び内視鏡システム
US7995798B2 (en) Device, system and method for estimating the size of an object in a body lumen
US7634305B2 (en) Method and apparatus for size analysis in an in vivo imaging system
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US20180174318A1 (en) Method and Apparatus for Endoscope with Distance Measuring for Object Scaling
US8663092B2 (en) System device and method for estimating the size of an object in a body lumen
WO2018051679A1 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
US10736559B2 (en) Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
US10580157B2 (en) Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
CN102753078B (zh) 图像显示装置以及胶囊型内窥镜系统
CN105531720A (zh) 用于体内对象的大小估计的系统和方法
US9763565B2 (en) Capsule endoscope device
JP5112108B2 (ja) カプセル型内視鏡カメラ及び内視鏡システム
JP2018130537A (ja) オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置
Fang A 360 degree side view endoscope for lower GI tract mapping
WO2020217541A1 (ja) 光源ユニット
TWI428855B (zh) The Method of Restoring Three Dimensional Image of Capsule Endoscopy
JP2008017941A (ja) 内視鏡および撮影システム
JP5815166B1 (ja) カプセル型内視鏡装置
WO2024006649A2 (en) Systems and methods for adjusting viewing direction
JP2011050498A (ja) 内視鏡

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016559465

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817498

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016817498

Country of ref document: EP