WO2015083496A1 - 撮像装置およびカプセル型内視鏡 - Google Patents
撮像装置およびカプセル型内視鏡 Download PDFInfo
- Publication number
- WO2015083496A1 WO2015083496A1 PCT/JP2014/079700 JP2014079700W WO2015083496A1 WO 2015083496 A1 WO2015083496 A1 WO 2015083496A1 JP 2014079700 W JP2014079700 W JP 2014079700W WO 2015083496 A1 WO2015083496 A1 WO 2015083496A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- subject
- photoelectric conversion
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
- H10F39/191—Photoconductor image sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/005—Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/809—Constructional details of image sensors of hybrid image sensors
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
Definitions
- the present invention relates to an imaging device and a capsule endoscope that are small and can ensure a wide field of view, and in particular, an imaging device that can be applied to a visual sensor of a mobile robot and a part of a cylindrical structure such as a large intestine.
- the present invention relates to a capsule endoscope suitable for the above inspection.
- Patent Document 1 An apparatus for photographing the inside of a cylindrical structure has been proposed, and a defect, damage, or the like is searched for from an image obtained by photographing the inner peripheral surface of the cylindrical structure.
- Patent Document 1 An endoscope capable of photographing a wide viewing angle has been proposed (see Patent Documents 2 and 3).
- Patent Document 1 has an omnidirectional imaging device that outputs circular image data obtained by imaging the side wall surface of a hole H in all directions of 360 degrees around, and converts the circular image data into panoramic developed image data. And output to the display device. Patent Document 1 describes that a panoramic developed image displayed on a display device is inspected by an inspector for the presence or absence of defects on the hole wall surface, or the analysis device automatically determines the presence or absence of defects. .
- Patent Document 2 describes an endoscope including a fisheye lens (wide angle lens) having an angle of view of 180 ° or more in order to ensure a wide field of view.
- a subject image formed based on external light that has passed through a fish-eye lens (wide-angle lens) is converted into one hemispherical image and synthesized with another hemispherical image that passes through another optical system.
- a “spherical image” having image information on the entire surface of the sphere outside the system of the endoscope is formed.
- the “spherical image” is an image obtained by projecting image information of a subject located outside the entire system (around 360 °) on the surface of a sphere.
- the fisheye lens projects a subject located in an almost half area of the whole sky to the image plane.
- Patent Document 3 discloses an imaging optical system that forms an image of a curved object surface in close contact with a hemispherical outer surface (first transmission surface) of a dome-shaped transparent cover (refractive element) of a capsule endoscope on an image plane. Is described. Patent Document 3 describes that, in a capsule endoscope, by using a dome-shaped refractive element as a transparent cover, the observation angle of view can be widened while being a small capsule.
- Patent Document 1 an omnidirectional image pickup device is used to convert an annular image obtained by picking up the side wall surface of a hole formed in order to place a fuel injection device (injector) into a panoramic developed image. And inspecting for defects and damage.
- Patent Documents 2 and 3 describe capsule endoscopes having a wide angle of view. With the omnidirectional imaging device of Patent Literature 1 and the endoscopes of Patent Literatures 2 and 3, the inside of the cylindrical structure can be photographed. However, all of Patent Documents 1 to 3 have a problem in that photographing blur increases as the device is smaller relative to the subject to be photographed, that is, the inside of the cylindrical structure. In addition, no consideration is given to developing a captured image having a shooting blur.
- the side wall surface is imaged using a capsule endoscope, and the captured image is converted into a panoramic developed image to obtain a diagnostic image. Then, the following becomes a problem.
- a resolution of about 380 kpix or more is required.
- the diameter of the fisheye lens (front lens) that can be mounted on the capsule endoscope is about 6 mm, and the imaging area diameter is 0.6 mm, which is about 1/10 of the fisheye lens (front lens).
- a resolution of 380 kpix or higher is required in a region having a diameter of 0.6 mm.
- the image data that is the source of the developed image is image data in the peripheral area of the imaging area.
- the incident angle of light is large and color mixing with adjacent pixels tends to occur.
- the pixel size is 1.2 ⁇ m or less, the occurrence of color mixture is significant.
- An object of the present invention is to solve the above-mentioned problems based on the prior art, and is small in size, capable of securing a wide field of view, and applicable to a visual sensor of a mobile robot and a cylindrical structure such as a large intestine
- An object of the present invention is to provide a capsule endoscope suitable for inspection of a body part.
- an imaging apparatus that images a subject by moving relative to the subject, and obtains image data of the subject image.
- An imaging unit including a photoelectric conversion layer having a thickness of 0.6 ⁇ m or less continuously formed across the pixel electrodes, and an angle of view of 180 ° or more disposed on the photoelectric conversion layer of the imaging unit.
- An imaging device comprising: a lens; and an image forming unit configured to form a spherical image of a subject, wherein the subject image is arranged on a spherical surface using image data of the subject image obtained by the imaging unit. A device is provided.
- the lens is preferably an f ⁇ lens.
- the thickness of the photoelectric conversion layer is preferably less than half the size of the pixel electrode.
- the subject is inside a cylindrical structure.
- the inside of a cylindrical structure is photographed, an illumination unit that illuminates the inside of the cylindrical structure, an imaging unit that images the inside of the cylindrical structure, and an imaging unit
- a capsule endoscope having a lens disposed above, and a transparent cover that covers an illumination unit and an imaging unit, and the imaging unit has a thickness of 0 continuously formed across pixel electrodes
- the capsule endoscope has a photoelectric conversion layer of .6 ⁇ m or less, and the lens is a lens having an angle of view of 180 ° or more.
- the lens is preferably an f ⁇ lens.
- the thickness of the photoelectric conversion layer is preferably less than half the size of the pixel electrode.
- the present invention it is small and a wide field of view can be secured. Even when the cylindrical structure that is the subject is larger than the device and a captured image with shooting blur is obtained, the captured image inside the cylindrical structure is converted into a panoramic developed image and an appropriate developed image is obtained. Can be obtained. In addition, since the imaging device of the present invention obtains an appropriate developed image, it can be applied to a visual sensor of a mobile robot in the robot field.
- FIG. 1 is a schematic cross-sectional view showing a capsule endoscope according to an embodiment of the present invention. It is a schematic diagram for demonstrating the usage type of the capsule endoscope of embodiment of this invention.
- FIG. 1 is a schematic cross-sectional view illustrating an imaging apparatus according to an embodiment of the present invention.
- the imaging device 10 is, for example, intended to move and move relative to a subject.
- the subject is, for example, inside a cylindrical structure.
- the cylindrical structure include pipes through which fluid flows, such as water pipes and gas pipes.
- examples of the cylindrical structure include an intracorporeal duct in a living body, a digestive tract in a living body, such as the stomach, the small intestine, and the large intestine.
- a lens 14, an imaging unit 16, an image forming unit 18, and a memory 20 are provided in the inside 12 a of the case 12.
- the imaging unit 16, the image forming unit 18, and the memory 20 in the inside 12 a of the case 12 are connected to the control unit 22 and controlled by the control unit 22.
- the display unit 24 also displays a subject image.
- the lens 14 makes light incident on the imaging unit 16 and is disposed on a photoelectric conversion layer (to be described later) of the imaging unit 16.
- the lens 14 is configured by a so-called fisheye lens having an angle of view ⁇ of 180 ° or more.
- the imaging unit 16 is for obtaining an image of a subject. For example, incident light L that carries information on the subject image incident through the lens 14 is incident, and the incident light L is converted into an electrical signal. The image data of the subject image is obtained, and the image data of the subject image is obtained. The imaging unit 16 captures a plurality of images of the subject in time series.
- the imaging unit 16 is not limited to visible light, but may convert light in a wavelength band other than visible light into an electrical signal. The imaging unit 16 will be described in detail later.
- the image forming unit 18 is connected to the imaging unit 16 and uses the image data of the subject image captured in time series by the imaging unit 16 to arrange the subject image at each time on the surface of the sphere.
- a spherical image that is, an all-sky image, is created, and a time-series synthesized image of the spherical images is created.
- the image data of the time-series composite image is panorama developed to generate composite development image data representing the composite development image.
- the image forming unit 18 can also detect a movement of a subject between a plurality of spherical images and use the result to create a time-series composite image. In this case, time information is specified because the image of the subject is captured in time series.
- the moving direction of the imaging apparatus 10 is, for example, by extracting a subject area common to spherical images of a plurality of subjects and specifying the moving path of the subject area, that is, the moving path of the imaging apparatus 10, that is, the imaging apparatus. 10 moving directions are specified. Thereby, even when the imaging device 10 does not move along a certain route, for example, even when the orientation of the imaging device 10 changes randomly, the moving direction of the imaging device 10 can be specified, and the above-described composite developed image data Can be obtained.
- An image processing method for arranging a subject image on the surface of a sphere and creating a spherical image of the subject, a conversion processing method to a spherical image, and a series of image processing methods for creating composite development image data are known. Since, for example, the method described in JP2013-84156A can be used as appropriate, detailed description thereof will be omitted.
- a time-series composite image can be created using image data of a subject image captured in time series by the imaging unit 16.
- the image data of the time series composite image can be panoramicly developed to generate composite development image data representing the composite development image. For this reason, the processing amount of the image signal in the image forming unit 18 can be reduced. Thereby, the configuration of the image forming unit 18 can be simplified and the processing speed of the image signal in the image forming unit 18 can be increased. For this reason, it is preferable to use an f ⁇ lens as the lens 14.
- the memory 20 stores image data of the subject image obtained by the imaging unit 16 and image data of a developed image (panoramic image) of the subject formed by the image forming unit 18.
- Various image data stored in the memory 20 is appropriately read out by the control unit 22 and output to the image forming unit 18 and the display unit 24.
- the display unit 24 reads the image signal of the developed image (panoramic image) of the subject obtained from the image forming unit 18 and stored in the memory 20 from the memory 20 and displays the developed image (panoramic image) of the subject. It is.
- the display unit 24 is not particularly limited in display form, and may be displayed on a screen of a monitor and a portable terminal, or may be printed on a recording medium such as paper and displayed. It may be a thing.
- FIG. 2A is a schematic cross-sectional view showing the imaging unit of the imaging apparatus according to the embodiment of the present invention
- FIG. 2B shows the arrangement of the pixel electrodes of the imaging unit of the imaging apparatus according to the embodiment of the present invention. It is a schematic diagram.
- 2A includes a substrate 30, an insulating layer 32, a pixel electrode (lower electrode) 34, an organic layer 36, a counter electrode (upper electrode) 38, and a protective film (sealing layer). ) 40, a color filter 42, a partition wall 44, a light shielding layer 46, and an overcoat layer 48.
- a reading circuit 60 and a counter electrode voltage supply unit 62 are formed on the substrate 30.
- the substrate 30 for example, a glass substrate or a semiconductor substrate such as Si is used.
- An insulating layer 32 made of a known insulating material is formed on the substrate 30.
- a plurality of pixel electrodes 34 are formed on the surface of the insulating layer 32.
- the pixel electrodes 34 are arranged in a matrix on the surface 32 a of the insulating layer 32.
- a first connection portion 64 that connects the pixel electrode 34 and the readout circuit 60 is formed in the insulating layer 32.
- a second connection portion 66 that connects the counter electrode 38 and the counter electrode voltage supply unit 62 is formed.
- the second connection part 66 is formed at a position not connected to the pixel electrode 34 and the organic layer 36.
- the first connection part 64 and the second connection part 66 are made of a conductive material.
- a wiring layer 68 made of a conductive material for connecting the readout circuit 60 and the counter electrode voltage supply unit 62 to, for example, the outside of the imaging unit 16 is formed inside the insulating layer 32.
- the circuit board 35 is formed by forming the pixel electrodes 34 connected to the first connection portions 64 on the surface 32 a of the insulating layer 32 on the substrate 30.
- the circuit board 35 is also referred to as a CMOS substrate.
- An organic layer 36 is formed so as to cover the plurality of pixel electrodes 34 and avoid the second connection portion 66, and the organic layer 36 is formed across the plurality of pixel electrodes 34.
- the organic layer 36 receives incident light L including at least visible light and generates electric charges according to the amount of light, and includes a photoelectric conversion layer 52 and an electron blocking layer 50.
- the electron blocking layer 50 is formed on the pixel electrode 34 side, and the photoelectric conversion layer 52 is formed on the electron blocking layer 50.
- the organic layer 36 may be a single photoelectric conversion layer 52 without providing the electron blocking layer 50.
- the electron blocking layer 50 is a layer for suppressing injection of electrons from the pixel electrode 34 to the photoelectric conversion layer 52.
- the photoelectric conversion layer 52 generates charges according to the amount of incident light L, for example, received light such as visible light.
- the photoelectric conversion layer 52 is an organic photoelectric conversion layer mainly composed of an organic material, and is formed on the electron blocking layer 50 across the plurality of pixel electrodes 34. As long as the photoelectric conversion layer 52 and the electron blocking layer 50 have a constant film thickness on the pixel electrode 34, the film thickness may not be constant otherwise. In this case, the film thicknesses of the photoelectric conversion layer 52 and the electron blocking layer 50 are the thicknesses in a region where the thickness is constant.
- the photoelectric conversion layer 52 will be described in detail later.
- the counter electrode 38 is an electrode facing the pixel electrode 34, and is provided so as to cover the photoelectric conversion layer 52.
- a photoelectric conversion layer 52 is provided between the pixel electrode 34 and the counter electrode 38.
- the counter electrode 38 is made of a conductive material that is transparent to the incident light L (light including at least visible light) in order to make light incident on the photoelectric conversion layer 52.
- the counter electrode 38 is electrically connected to the second connection portion 66 disposed outside the photoelectric conversion layer 52, and is connected to the counter electrode voltage supply portion 62 via the second connection portion 66. Yes.
- Examples of the material of the counter electrode 38 include metals, metal oxides, metal nitrides, metal borides, organic conductive compounds, and mixtures thereof. Specific examples include tin oxide, zinc oxide, indium oxide, indium tin oxide (ITO), indium zinc oxide (IZO), indium tungsten oxide (IWO), conductive metal oxides such as titanium oxide, and metal nitrides such as TiN. Metal, gold (Au), platinum (Pt), silver (Ag), chromium (Cr), nickel (Ni), aluminum (Al), etc., and a mixture or laminate of these metals and conductive metal oxides Products, organic conductive compounds such as polyaniline, polythiophene, and polypyrrole, and laminates of these with ITO.
- Particularly preferable materials for the transparent conductive film are ITO, IZO, tin oxide, antimony-doped tin oxide (ATO), fluorine-doped tin oxide (FTO), zinc oxide, antimony-doped zinc oxide (AZO), gallium-doped zinc oxide ( GZO).
- a particularly preferable material among the materials of the counter electrode 38 is ITO.
- the light transmittance of the counter electrode 38 is preferably 60% or more, more preferably 80% or more, more preferably 90% or more, and more preferably 95% or more in the visible light wavelength.
- the counter electrode 38 preferably has a thickness of 5 to 30 nm. By making the counter electrode 38 have a thickness of 5 nm or more, the lower layer can be sufficiently covered, and uniform performance can be obtained. On the other hand, if the thickness of the counter electrode 38 exceeds 30 nm, the counter electrode 38 and the pixel electrode 34 may be locally short-circuited, resulting in an increase in dark current. By making the counter electrode 38 have a film thickness of 30 nm or less, the occurrence of a local short circuit can be suppressed.
- the counter electrode voltage supply unit 62 applies a predetermined voltage to the counter electrode 38 via the second connection unit 66.
- the power supply voltage is boosted by a booster circuit such as a charge pump to supply the predetermined voltage.
- the pixel electrode 34 is an electrode for collecting charges for collecting charges generated in the photoelectric conversion layer 52.
- the pixel electrode 34 is connected to the readout circuit 60 via the first connection portion 64.
- the readout circuit 60 is provided on the substrate 30 corresponding to each of the plurality of pixel electrodes 34, and reads out a signal corresponding to the charge collected by the corresponding pixel electrode 34.
- Examples of the material of the pixel electrode 34 include metals, conductive metal oxides, metal nitrides and borides, organic conductive compounds, and mixtures thereof. Specific examples include tin oxide, zinc oxide, indium oxide, indium tin oxide (ITO), indium zinc oxide (IZO), indium tungsten oxide (IWO), conductive metal oxides such as titanium oxide, and titanium nitride (TiN).
- Conductive metal nitrides such as molybdenum nitride, tantalum nitride, tungsten nitride, metals such as gold (Au), platinum (Pt), silver (Ag), chromium (Cr), nickel (Ni), aluminum (Al), Furthermore, mixtures or laminates of these metals and conductive metal oxides, organic conductive compounds such as polyaniline, polythiophene and polypyrrole, laminates of these with ITO, and the like can be mentioned.
- Particularly preferable materials for the transparent conductive film are ITO, IZO, tin oxide, antimony-doped tin oxide (ATO), fluorine-doped tin oxide (FTO), zinc oxide, antimony-doped zinc oxide (AZO), gallium-doped zinc oxide ( GZO).
- a particularly preferable material is any one of titanium nitride, molybdenum nitride, tantalum nitride, and tungsten nitride.
- the readout circuit 60 is constituted by, for example, a CCD, a MOS circuit, a TFT circuit, or the like, and is shielded from light by a light shielding layer (not shown) provided in the insulating layer 32.
- the readout circuit 60 is preferably a CMOS circuit from the viewpoint of noise and high speed.
- a high-concentration n region surrounded by a p region is formed on the substrate 30, and the first connection portion 64 is connected to the n region.
- a read circuit 60 is provided in the p region.
- the n region functions as a charge storage unit that stores the charge of the photoelectric conversion layer 52.
- the signal charge accumulated in the n region is converted into a signal corresponding to the amount of the charge by the readout circuit 60 and, for example, outside the imaging unit 16 via the wiring layer 68, for example, the image forming unit 18 and the memory 20 or the like. Is output.
- the protective film 40 functions as a sealing film, and protects the organic layer 36 including the photoelectric conversion layer 52 from deterioration factors such as water molecules and oxygen.
- the protective film 40 is formed so as to cover the counter electrode 38.
- the protective film 40 protects the organic layer 36 by preventing entry of factors that degrade the organic photoelectric conversion material contained in a solution such as an organic solvent, plasma, or the like in each manufacturing process of the imaging unit 16.
- the intrusion of factors that degrade the organic photoelectric conversion material such as water molecules and oxygen is prevented, and the organic layer 36 is prevented from deteriorating during long-term storage and long-term use. .
- the protective film 40 is formed, the already formed organic layer 36 is not deteriorated. Further, the incident light L reaches the organic layer 36 through the protective film 40. For this reason, the protective film 40 is transparent to light having a wavelength detected by the organic layer 36, for example, visible light.
- the protective film 40 is composed of at least one layer. In the example of FIG. 2A, the protective film 40 is a single layer.
- the protective film 40 is composed of, for example, a silicon oxynitride film (SiON film).
- the protective film 40 can be formed by, for example, a vapor deposition method such as a plasma CVD method, a sputtering method, a reactive sputtering method, or an ion plating method.
- the protective film 40 has a total film thickness of 30 to 500 nm. If the total film thickness of the protective film 40 is less than 30 nm, the barrier property may be lowered, or the resistance of the color filter to the developer may be lowered. On the other hand, if the thickness of the protective film 40 exceeds 500 nm, it is difficult to suppress color mixing when the pixel size is less than 1 ⁇ m.
- the protective film 40 has a single-layer structure, but is not limited to this, and may have a two-layer structure, for example.
- the imaging unit 16 having a pixel size of less than 2 ⁇ m, particularly about 1 ⁇ m, if the distance between the color filter 42 and the photoelectric conversion layer 52, that is, the film thickness of the protective film 40 is large, the incident light in the protective film 40 The influence of the oblique incidence component of the light L may increase, and color mixing may occur. For this reason, it is preferable that the protective film 40 is thin.
- the color filter 42 is formed at a position facing each pixel electrode 34 on the protective film 40.
- the partition wall 44 is provided between the color filters 42 on the protective film 40 and is for improving the light transmission efficiency of the color filter 42.
- the light shielding layer 46 is formed in a region other than the region (effective pixel region) where the color filter 42 and the partition wall 44 are provided on the protective film 40, and light is incident on the photoelectric conversion layer 52 formed outside the effective pixel region. Is to prevent.
- the color filter 42, the partition wall 44, and the light shielding layer 46 are formed by, for example, a photolithography method. Although the color filter 42 is provided, the color filter 42 may not be provided. In this case, the partition 44 and the light shielding layer 46 are not provided in addition to the color filter 42.
- the overcoat layer 48 is for protecting the color filter 42 from subsequent processes and is formed so as to cover the color filter 42, the partition wall 44 and the light shielding layer 46.
- one pixel electrode 34 with the organic layer 36, the counter electrode 38, and the color filter 42 provided thereon is a unit pixel.
- the pixel size is the size of the pixel electrode 34.
- the shape of the pixel electrode 34 is a square.
- the pixel size T of the pixel electrode 34 is the length of one side of the pixel electrode 34.
- the pixel size T is 1.2 ⁇ m or less
- the thickness of the photoelectric conversion layer 52 is 0.6 ⁇ m or less.
- the thickness of the photoelectric conversion layer 52 is a distance d from the surface 50 a of the electron blocking layer 50 to the surface 52 a of the photoelectric conversion layer 52.
- by setting the pixel size T to 1.2 ⁇ m or less, it is possible to obtain a necessary resolution for creating the above-described developed image without a false image.
- the pixel size T is set to 1.2 ⁇ m or less in order to increase the pixel density
- the thickness of the photoelectric conversion layer 52 is set to suppress the color mixture due to the oblique incidence caused by the small pixel size T. 0.6 ⁇ m or less.
- the lens 14 having a wide angle of view ⁇ of 180 ° or more is used, color mixing due to the oblique incidence of the incident light L can be suppressed.
- the overcoat layer 48 a polymer material such as an acrylic resin, a polysiloxane resin, a polystyrene resin and a fluorine resin, or an inorganic material such as silicon oxide and silicon nitride can be used as appropriate.
- a photosensitive resin such as polystyrene
- the overcoat layer 48 can be patterned by a photolithography method, so that it is used as a photoresist when opening the peripheral light shielding layer, sealing layer, insulating layer, etc. on the bonding pad.
- the overcoat layer 48 itself is preferably processed as a microlens, which is preferable.
- the overcoat layer 48 can be used as an antireflection layer, and it is also preferable to form various low refractive index materials used as the partition walls of the color filter 42.
- the overcoat layer 48 can be configured to have two or more layers combining the above materials.
- the pixel electrode 34 is formed on the surface of the insulating layer 32, but is not limited thereto, and may be embedded in the surface portion of the insulating layer 32.
- the second connection portion 66 and one counter electrode voltage supply portion 62 are provided, but a plurality of the second connection portion 66 and the counter electrode voltage supply portion 62 may be provided.
- a voltage drop at the counter electrode 38 can be suppressed by supplying a voltage from both ends of the counter electrode 38 to the counter electrode 38.
- the number of sets of the second connection portion 66 and the counter electrode voltage supply portion 62 may be appropriately increased or decreased in consideration of the chip area of the element.
- FIG. 3A is a schematic diagram for describing a usage pattern of the imaging apparatus according to the embodiment of the present invention
- FIG. 3B is a schematic diagram illustrating an example of an image obtained by the imaging apparatus according to the embodiment of the present invention.
- the imaging device 10 is used for, for example, photographing inside a cylindrical structure.
- a cylindrical tube 100 will be described as an example of a cylindrical structure.
- the imaging device 10 is arranged in the inside 100 a of the cylindrical tube 100 so that the center position of the imaging unit 16 coincides with the center line C of the cylindrical tube 100, and the inside 100 a is imaged while moving in the direction F along the center line C. To do.
- the imaging device 10 captures an image of the region D inside the cylindrical tube 100.
- the region D also moves in the direction F, and images are taken over the entire area 100a of the cylindrical tube 100 in time series.
- the imaging unit 16 captures images in time series of the inside 100a of the cylindrical tube 100, and obtains image data of an image representing the inside 100a.
- the image data of the image of the interior 100a is converted into a spherical image along the peripheral surface of the interior 100a by the image forming unit 18.
- the imaging device 10 moves in the direction F, and based on the movement in the direction F, creates a time-series composite image of spherical images when passing through the inside 100a of the cylindrical tube 100 from a single viewpoint.
- a composite development image 102 continuous over the length direction of the cylindrical tube 100 can be obtained as shown in FIG.
- the imaging unit 16 can secure the required number of pixels with a small pixel size T, distortion at the periphery of the imaging unit 16 is suppressed, and color mixing due to oblique incidence is also suppressed. Color mixing, distortion, etc. are also suppressed. From this, it is possible to obtain a composite developed image 102 of the inside 100a of the cylindrical tube 100 that is free from color mixing and distortion. Thus, since the imaging apparatus 10 can accurately obtain information outside the system, it is suitable when applied to a visual sensor of a mobile robot in the robot field.
- the image forming unit 18 can specify the moving direction of the imaging device 10 even when the orientation of the imaging device 10 changes randomly, and the imaging device 10 can identify the inside 100 a of the cylindrical tube 100. Even when the image is moved randomly, it is possible to obtain composite developed image data. For this reason, if the imaging device 10 can be imaged by moving the inside 100a without moving the imaging device 10 in the direction F along the center line C of the cylindrical tube 100, the composite developed image data of the inside 100a is obtained. Can be obtained. It is not necessary for the center position of the imaging unit 16 of the imaging device 10 to coincide with the center line C of the cylindrical tube 100.
- the photoelectric conversion layer 52 includes a p-type organic semiconductor material and an n-type organic semiconductor material.
- Exciton dissociation efficiency can be increased by joining a p-type organic semiconductor material and an n-type organic semiconductor material to form a donor-acceptor interface.
- the photoelectric conversion layer of the structure which joined the p-type organic-semiconductor material and the n-type organic-semiconductor material expresses high photoelectric conversion efficiency.
- a photoelectric conversion layer in which a p-type organic semiconductor material and an n-type organic semiconductor material are mixed is preferable because the junction interface is increased and the photoelectric conversion efficiency is improved.
- the p-type organic semiconductor material is a donor organic semiconductor material (compound), which is mainly represented by a hole-transporting organic compound and refers to an organic compound having a property of easily donating electrons. More specifically, an organic compound having a smaller ionization potential when two organic materials are used in contact with each other. Therefore, any organic compound can be used as the donor organic compound as long as it is an electron-donating organic compound.
- the metal complex etc. which it has as can be used.
- the present invention is not limited to this, and any organic compound having an ionization potential smaller than that of the organic compound used as the n-type (acceptor) compound as described above may be used as the donor organic semiconductor.
- the n-type organic semiconductor material is an acceptor organic semiconductor material, and is mainly represented by an electron transporting organic compound and means an organic compound having a property of easily accepting electrons. More specifically, an n-type organic semiconductor refers to an organic compound having a larger electron affinity when two organic compounds are used in contact with each other. Therefore, any organic compound can be used as the acceptor organic compound as long as it is an electron-accepting organic compound.
- condensed aromatic carbocyclic compounds naphthalene derivatives, anthracene derivatives, phenanthrene derivatives, tetracene derivatives, pyrene derivatives, perylene derivatives, fluoranthene derivatives
- 5- to 7-membered heterocyclic compounds containing nitrogen atoms, oxygen atoms, and sulfur atoms E.g., pyridine, pyrazine, pyrimidine, pyridazine, triazine, quinoline, quinoxaline, quinazoline, phthalazine, cinnoline, isoquinoline, pteridine, acridine, phenazine, phenanthroline, tetrazole, pyrazole, imidazole, thiazole, oxazole, indazole, benzimidazole, benzotriazole , Benzoxazole, benzothiazole, carbazole, purine, triazolopy
- Any organic dye may be used as the p-type organic semiconductor material or the n-type organic semiconductor material, but preferably a cyanine dye, a styryl dye, a hemicyanine dye, a merocyanine dye (including zero methine merocyanine (simple merocyanine)) 3-nuclear merocyanine dye, 4-nuclear merocyanine dye, rhodacyanine dye, complex cyanine dye, complex merocyanine dye, allopolar dye, oxonol dye, hemioxonol dye, squalium dye, croconium dye, azamethine dye, coumarin dye, arylidene dye, anthraquinone dye , Triphenylmethane dye, azo dye, azomethine dye, spiro compound, metallocene dye, fluorenone dye, fulgide dye, perylene dye, perinone dye, phenazine
- fullerene or a fullerene derivative having excellent electron transport properties.
- the fullerene, fullerene C 60, fullerene C 70, fullerene C 76, fullerene C 78, fullerene C 80, fullerene C 82, fullerene C 84, fullerene C 90, fullerene C 96, fullerene C 240, fullerene C 540, mixed Fullerene and fullerene nanotube are represented, and a fullerene derivative represents a compound having a substituent added thereto.
- the substituent for the fullerene derivative is preferably an alkyl group, an aryl group, or a heterocyclic group.
- the alkyl group is more preferably an alkyl group having 1 to 12 carbon atoms, and the aryl group and the heterocyclic group are preferably a benzene ring, naphthalene ring, anthracene ring, phenanthrene ring, fluorene ring, triphenylene ring, naphthacene ring.
- substituents may further have a substituent, and the substituents may be bonded as much as possible to form a ring.
- substituents may be bonded as much as possible to form a ring.
- you may have a some substituent and they may be the same or different.
- a plurality of substituents may be combined as much as possible to form a ring.
- the photoelectric conversion layer contains fullerene or a fullerene derivative
- electrons generated by photoelectric conversion can be quickly transported to the pixel electrode 34 or the counter electrode 38 via the fullerene molecule or fullerene derivative molecule.
- fullerene molecules or fullerene derivative molecules are connected to form an electron path, the electron transport property is improved, and high-speed response of the photoelectric conversion element can be realized.
- the fullerene or fullerene derivative is preferably contained in the photoelectric conversion layer by 40% (volume ratio) or more. If there are too many fullerenes or fullerene derivatives, the p-type organic semiconductor will decrease, the junction interface will become smaller, and the exciton dissociation efficiency will decrease.
- the triarylamine compound described in Japanese Patent No. 4213832 is used as a p-type organic semiconductor material mixed with fullerene or a fullerene derivative in the photoelectric conversion layer 52, a high SN ratio of the photoelectric conversion element can be expressed. Is particularly preferred. If the ratio of fullerene or fullerene derivative in the photoelectric conversion layer is too large, the amount of triarylamine compounds decreases and the amount of incident light absorbed decreases. As a result, the photoelectric conversion efficiency is reduced. Therefore, the fullerene or fullerene derivative contained in the photoelectric conversion layer preferably has a composition of 85% (volume ratio) or less.
- an electron donating organic material can be used.
- TPD N, N′-bis (3-methylphenyl
- Porphyrin compounds triazole derivatives, Xadiazole derivatives, imidazole derivatives, polyarylalkane derivatives, pyrazoline derivatives, pyrazolone derivatives, phenylenediamine derivatives, annealed amine derivatives, amino-substituted chalcone derivatives, oxazole derivatives, styrylanthracene derivatives, fluorenone derivatives, hydrazone derivatives, silazane derivatives, carbazole derivatives, bifluorenes Derivatives and the like can be used, and as the polymer material, polymers such as phenylene vinylene, fluorene, carbazole, indole, pyrene, pyrrole, picoline, thiophene, acetylene, and diacetylene, and derivatives thereof can be used. Even if it is not an ionic compound, it can be used as long as it is a compound having sufficient hole transportability.
- an inorganic material can be used as the electron blocking layer 50.
- an inorganic material has a dielectric constant larger than that of an organic material, when it is used for the electron blocking layer 50, a large voltage is applied to the photoelectric conversion layer, and the photoelectric conversion efficiency can be increased.
- Materials that can be used as the electron blocking layer 50 include calcium oxide, chromium oxide, chromium oxide copper, manganese oxide, cobalt oxide, nickel oxide, copper oxide, gallium copper oxide, strontium copper oxide, niobium oxide, molybdenum oxide, indium copper oxide, Examples include indium silver oxide and iridium oxide.
- the layer adjacent to the photoelectric conversion layer 52 among the plurality of layers is preferably a layer made of the same material as the p-type organic semiconductor contained in the photoelectric conversion layer 52.
- the layer can be a layer made of an inorganic material, and when it is a plurality of layers, one or more layers can be a layer made of an inorganic material.
- FIG. 4 is a schematic cross-sectional view showing the capsule endoscope according to the embodiment of the present invention.
- the same components as those of the imaging device 10 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
- the capsule endoscope 70 is sealed with a capsule 72.
- one end of the cylindrical portion is hemispherical, and a hemispherical transparent cover 74 is attached to the other end that opens.
- the capsule endoscope 70 (capsule 72) includes a white LED 76, a lens 14, an imaging unit 16, a control unit 22a, a transmission / reception unit 82, an antenna 84, a battery 86, and the like.
- the control unit 22 a includes a processing unit 78 and a memory 80, and is provided on the back side of the imaging unit 16.
- the processing unit 78 corresponds to the image forming unit 18 of the imaging device 10 illustrated in FIG.
- the outer diameter of the cylindrical portion of the capsule 72 is appropriately determined by the digestive tract described later.
- the outer diameter of the capsule 72 is preferably 9 mm or less. If it is this size, it can pass through a small intestine early and can reduce a patient's burden.
- the imaging unit 16 is provided at the imaging position of the lens 14.
- the imaging unit 16 may be capable of capturing a color image or capable of capturing a monochrome image. Incident light L is incident on the imaging unit 16 from the lens 14 side.
- the control unit 22a controls the overall operation of the capsule endoscope 70.
- the processing unit 78 of the control unit 22a performs driving of the white LED 76 and the imaging unit 16, processing of an image signal captured by the imaging unit 16, and the like.
- the memory 80 stores image data of a subject image captured by the imaging unit 16.
- the processing unit 78 can obtain panoramic image data similarly to the image forming unit 18 of the imaging device 10 described above.
- the panorama image data may be created by the image processing unit 114 of the extracorporeal device 110 described later without creating the panorama image data by the processing unit 78.
- a transmission / reception unit 82 that transmits and receives an extracorporeal device 110 (see FIG. 5) described later via radio waves.
- An antenna 84 for transmitting and receiving is connected.
- the battery 86 as a power source is electrically connected to each component such as the white LED 76, the imaging unit 16, the processing unit 78, the memory 80, and the transmission / reception unit 82, and supplies predetermined power to each necessary component. To do.
- the battery 86 has a capacity capable of supplying power required by the white LED 76, the imaging unit 16, the processing unit 78, the memory 80, and the transmission / reception unit 82.
- the light emitted from the white LED 76 passes through the transparent cover 74 and is reflected inside the body, and the reflected light enters the imaging unit 16 through the transparent cover 74 and the lens 14 as incident light L. .
- a signal obtained by photoelectric conversion is input to the control unit 22 a, and an image signal output from the control unit 22 a is transmitted from the antenna 84 of the transmission / reception unit 82 to the extracorporeal device 110. It is transmitted to the antenna 118 (see FIG. 5) of the antenna unit 112.
- the imaging unit 16 images the inner wall surface of the digestive tract and obtains image data of the inner wall surface of the digestive tract. Then, the image data of the inner wall surface of the digestive tract is output to the processing unit 78 and converted into a spherical image along the inner wall surface of the digestive tract, thereby obtaining a plurality of spherical images. Thereafter, using the above-described method, the movement between the plurality of spherical images is detected, and the movement of the capsule endoscope 70 is detected. Based on the movement detection result, time-series composite image data of a time-series composite image of a spherical image when the capsule endoscope 70 passes through the inside of the digestive tract is created from a single viewpoint.
- panoramic development of the time-series synthesized image is performed to obtain panoramic image data.
- deployment image without the joint of the inner wall surface of a digestive tract continuous over the length direction of a digestive tract can be obtained. This is effective for diagnosis of the digestive tract.
- the capsule endoscope 70 In the digestive tract, the large intestine is thicker than the small intestine, and the capsule endoscope 70 needs to be smaller than the large intestine in order to pass through the small intestine. For this reason, when photographing the large intestine, there is a high possibility of camera shake. Even in such a case, the capsule endoscope 70 detects the movement of the capsule endoscope 70 as described above, creates time-series synthesized image data based on the detection result of the movement, Accordingly, it is possible to obtain a composite developed image of the inner wall surface continuous over the length direction of the digestive tract. For this reason, even if the diameter of the large intestine is larger than that of the capsule endoscope 70 such that photographing blurring frequently occurs, a seamless developed image can be obtained.
- the white LED 76 is provided as the illumination unit that illuminates the imaging region of the subject.
- the present invention is not limited to this.
- other light emitters such as a miniature light bulb and an organic EL can be used.
- red (R), green (G), and blue (B) LEDs RGB-LED
- a red (R), green (G), and blue (B) LED can be used to sequentially expose red (R), green (G), and blue (B), thereby obtaining a white image.
- the capsule endoscope 70 includes a plurality of light sources that emit light of different wavelengths, such as RGB-LEDs, as an illumination unit, a pixel size T of 0.9 ⁇ m or less, and a thickness of the photoelectric conversion layer 52 of 450 nm or less. Further, by setting the outer diameter of the capsule 72 to 9 mm or less, it is possible to obtain an image without passing over while passing through the small intestine quickly and reducing the burden on the patient.
- the use of the f ⁇ lens for the lens 14 eliminates the need for conversion processing into a spherical image as described above. For this reason, the processing amount of the image signal in the image forming unit 18 can be reduced. As a result, the configuration of the processing unit 78 can be simplified and the processing speed of the image signal in the image forming unit 18 can be increased. Since the upper limit of the size of the capsule endoscope 70 is determined depending on the use, it is preferable that the configuration of each element can be simplified.
- the capsule endoscope 70 has a configuration in which one imaging unit 16 is provided. However, the configuration is not limited thereto, and for example, two imaging units 16 may be provided. In this case, the lenses 14 are arranged at both ends.
- the image of the subject acquired by the imaging unit facing forward with respect to the moving direction mainly serves to provide an image for detecting the movement of the capsule endoscope 70.
- FIG. 5 is a schematic diagram for explaining a usage pattern of the capsule endoscope according to the embodiment of the present invention.
- the capsule endoscope 70 is used together with the extracorporeal device 110.
- the capsule endoscope 70 and the extracorporeal device 110 are collectively referred to as a capsule endoscope device 130.
- the capsule endoscope 70 of the embodiment of the present invention When the capsule endoscope 70 of the embodiment of the present invention is swallowed from the mouth of the patient K and passes through the intraluminal passage of the patient K, the capsule endoscope 70 of the patient K, for example, the stomach, the small intestine, or the large intestine While photographing the wall surface, the image data of the image of the inner wall surface is transmitted wirelessly.
- the extracorporeal device 110 receives the image data of the inner wall surface of the digestive tract transmitted from the capsule endoscope 70 by the antenna unit 112 provided outside the body of the patient K, and outputs it to the image processing unit 114. It is stored in the image processing unit 114. During or after the examination, the image data on the inner wall surface of the digestive tract is subjected to predetermined image processing by the image processing unit 114 to create a time-series synthesized image as described above. Thereafter, image data of a composite developed image of the inner wall surface of the digestive tract is created and converted into a developed image, and image data of the developed image of the inner wall surface of the digestive tract, so-called panoramic image data is obtained. This image data is saved. Then, for example, by connecting in a wired or wireless manner to a personal computer or a portable information communication terminal, a composite developed image of the inner wall surface of the digestive tract is displayed on a display screen such as a monitor.
- the above-described image data stored in the image processing unit 114 can be stored in a memory or hard disk of a personal computer or a portable information communication terminal, and after image analysis or the like, the image can be displayed.
- the image display is not limited to display on a display device such as a monitor of a personal computer or a portable information communication terminal, and an image of the inner wall surface of the digestive tract is displayed using a dedicated display device. Also good.
- the antenna unit 112 has a configuration in which a plurality of antennas 118 are attached to the inside of a shield shirt 116 having a shield function worn by the patient K. Then, the antenna unit 112 receives the image data of the inner wall surface of the digestive tract transmitted from the antenna 84 (see FIG. 4) of the capsule endoscope 70.
- the image processing unit 114 has, for example, a box shape, and is provided with a monitor (not shown) as a display device that displays an image on a side surface, an operation button (not shown) that performs a control operation, and the like.
- a transmission / reception circuit communication circuit
- a control circuit control circuit
- an image data display circuit a power source, and the like are provided.
- the antenna unit 112 has a configuration in which a plurality of antennas 118 are attached to the inside of the shield shirt 116 having a shield function worn by the patient K.
- the image processing unit 114 is attached to the belt 120 of the patient K, for example. It can be attached detachably. For this reason, the patient K can move almost freely while photographing the body of the patient K swallowing the capsule endoscope 70 (during examination).
- the inventor manufactured an imaging apparatus having the following configuration and confirmed whether or not a developed image was obtained.
- the image pickup unit is not provided with a color filter and a microlens. Using a RGB-LED, surface sequential exposure was performed at 12 f / s, and a white image was obtained at 4 f / s. Furthermore, a seamless developed image that was continuous over the longitudinal direction of the large intestine could be obtained.
- the image pickup unit is not provided with a color filter and a microlens. When surface-sequential exposure was performed at 12 f / s using RGB-LEDs, color mixing occurred and a white image could not be obtained. However, it was possible to obtain a seamless developed image that continued in the longitudinal direction of the large intestine.
- a front lens was used.
- the image pickup unit is not provided with a color filter and a microlens.
- the pixel size was 2 ⁇ m and the resolution was insufficient, and it was not possible to obtain a seamless and continuous developed image along the longitudinal direction of the large intestine. .
- the present invention is basically configured as described above. As described above, the imaging apparatus and the capsule endoscope of the present invention have been described in detail. However, the present invention is not limited to the above-described embodiment, and various improvements or modifications may be made without departing from the gist of the present invention. Of course it is good.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Lenses (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
撮像装置は、被写体に対して相対的に移動して撮影するものである。撮像装置は、被写体を撮像し、被写体の画像の画像データを得るものであり、画素電極に跨って連続して形成された、厚さ0.6μm以下の有機材料を含む光電変換層を備える撮像部と、撮像部の光電変換層上に配置された、画角が180°以上のレンズと、撮像部で得られた被写体の画像の画像データを用いて、被写体の画像を球体の表面に配置された、被写体の球面画像を形成する画像形成部とを有する。
Description
本発明は、小型で、広範囲の視野を確保することが可能な撮像装置およびカプセル型内視鏡に関し、特に、移動ロボットの視覚センサに適用できる撮像装置および大腸のような筒状構造体の部位の検査に好適なカプセル型内視鏡に関する。
現在、筒状構造体の内部を撮影する装置が提案されており、筒状構造体の内周面を撮影した画像から、欠陥および損傷等を探すことがなされている(特許文献1参照)。
一般に、内視鏡では、病変をなるべく発見しやすくするために、広視野角の撮像光学系を用いることが望ましいことが知られている。広視野角の撮影が可能な内視鏡が提案されている(特許文献2、3参照)。
一般に、内視鏡では、病変をなるべく発見しやすくするために、広視野角の撮像光学系を用いることが望ましいことが知られている。広視野角の撮影が可能な内視鏡が提案されている(特許文献2、3参照)。
特許文献1は、周囲360度の全方位にある穴Hの側壁面を撮像して得た円形画像データを出力する全方位撮像装置を有するものであり、円形画像データをパノラマ展開画像データに変換して表示装置に出力する。特許文献1には、表示装置に表示されたパノラマ展開画像を検査員によって穴壁面の欠陥の有無等を検査するか、解析装置で自動的に欠陥の有無等を判定することが記載されている。
特許文献2には、広範囲の視野を確保するために画角が180°以上の魚眼レンズ(広角レンズ)を備える内視鏡が記載されている。
特許文献2では、魚眼レンズ(広角レンズ)を通った外光に基づいて形成される被写体像を、一の半球像に変換し、別の光学系を通った他の半球像と合成して、内視鏡の系外の全天周にわたる画像情報を球体の表面に有する「球面画像」を形成する。ここで、「球面画像」とは、系外の全天周(周囲360°)に位置する被写体の画像情報が球体の表面に投影された画像である。魚眼レンズは、全天周のほぼ半分の領域に位置する被写体を像面に投影する。
特許文献2では、魚眼レンズ(広角レンズ)を通った外光に基づいて形成される被写体像を、一の半球像に変換し、別の光学系を通った他の半球像と合成して、内視鏡の系外の全天周にわたる画像情報を球体の表面に有する「球面画像」を形成する。ここで、「球面画像」とは、系外の全天周(周囲360°)に位置する被写体の画像情報が球体の表面に投影された画像である。魚眼レンズは、全天周のほぼ半分の領域に位置する被写体を像面に投影する。
特許文献3には、カプセル内視鏡のドーム形状の透明カバー(屈折素子)の半球状の外面(第1透過面)に密着する曲面物体面の像を像面に結像する結像光学系が記載されている。特許文献3では、カプセル内視鏡において、ドーム状の屈折素子を透明カバーに用いることにより、小型のカプセルでありながら、観察画角を広くできることが記載されている。
上述のように、特許文献1には、全方位撮像装置を使用して、燃料噴射装置(インジェクタ)を配置するために形成された穴の側壁面を撮像した環状画像を、パノラマ展開画像に変換して、欠陥や損傷を検査することが記載されている。特許文献2、3には、画角の広いカプセル型内視鏡が記載されている。特許文献1の全方位撮像装置および特許文献2、3の内視鏡では、筒状構造体の内部を撮影することができる。しかしながら、特許文献1~3のいずれも、撮影対象、すなわち、筒状構造体の内部に対して装置が小さい程、撮影ぶれが大きくなるという問題点がある。しかも、撮影ぶれのある撮像画像を展開画像化することに関して何ら考慮されていない。
また、例えば、筒状構造体が大腸である場合、その側壁面を、カプセル型内視鏡を使用して撮像して、撮像した画像をパノラマ展開画像に変換して、診断画像を得ようとすると、以下のようなことが問題となる。
まず、偽画像のない展開画像を作成するには、解像度として約380kpix以上が必要である。カプセル型内視鏡に搭載できる魚眼レンズ(前玉)の直径は6mm程度であり、撮像エリア直径は、魚眼レンズ(前玉)の約1/10の0.6mmである。直径0.6mmの領域で380kpix以上の解像度が必要である。しかしながら、無機半導体を用いたCCD、CMOSのイメージセンサーでは380kpix以上の解像度を得ることは困難である。
次に、展開画像の元となる画像データは、撮像エリアの周辺域の画像データであるが、撮像エリア周辺域の画素では、光の入射角が大きくなり、隣接画素との混色が生じやすい。特に、画素サイズが1.2μm以下では混色の発生が顕著である。
まず、偽画像のない展開画像を作成するには、解像度として約380kpix以上が必要である。カプセル型内視鏡に搭載できる魚眼レンズ(前玉)の直径は6mm程度であり、撮像エリア直径は、魚眼レンズ(前玉)の約1/10の0.6mmである。直径0.6mmの領域で380kpix以上の解像度が必要である。しかしながら、無機半導体を用いたCCD、CMOSのイメージセンサーでは380kpix以上の解像度を得ることは困難である。
次に、展開画像の元となる画像データは、撮像エリアの周辺域の画像データであるが、撮像エリア周辺域の画素では、光の入射角が大きくなり、隣接画素との混色が生じやすい。特に、画素サイズが1.2μm以下では混色の発生が顕著である。
本発明の目的は、前述の従来技術に基づく問題点を解消し、小型で、広範囲の視野を確保することが可能で、移動ロボットの視覚センサに適用できる撮像装置および大腸のような筒状構造体の部位の検査に好適なカプセル型内視鏡を提供することにある。
上記目的を達成するために、本発明の第1の態様は、被写体に対して相対的に移動して被写体を撮像する撮像装置であって、被写体を撮像し、被写体の画像の画像データを得るものであり、画素電極に跨って連続して形成された厚さが0.6μm以下の光電変換層を備える撮像部と、撮像部の光電変換層上に配置された画角が180°以上のレンズと、撮像部で得られた被写体の画像の画像データを用いて、被写体の画像を球体の表面に配置された、被写体の球面画像を形成する画像形成部とを有することを特徴とする撮像装置を提供するものである。
レンズは、fθレンズであることが好ましい。光電変換層の厚さは、画素電極の大きさの半分以下であることが好ましい。例えば、被写体は、筒状構造体の内部である。
本発明の第2の態様は、筒状構造体の内部を撮影するものであり、筒状構造体の内部を照明する照明部と、筒状構造体の内部を撮像する撮像部と、撮像部上に配置されるレンズと、照明部と撮像部を覆う透明なカバー部とを有するカプセル型内視鏡であって、撮像部は、画素電極に跨って連続して形成された厚さが0.6μm以下の光電変換層を有し、レンズは、画角が180°以上のレンズであることを特徴とするカプセル型内視鏡を提供するものである。
レンズは、fθレンズであることが好ましい。光電変換層の厚さは、画素電極の大きさの半分以下であることが好ましい。
本発明よれば、小型で、広範囲の視野を確保することが可能である。また、被写体である筒状構造体が装置に対して大きく、撮影ぶれのある撮像画像が得られた場合でも、筒状構造体の内部の撮影画像をパノラマ展開画像に変換して適正な展開画像を得ることができる。
また、本発明の撮像装置は、適正な展開画像を得ることから、ロボット分野における移動ロボットの視覚センサに適用することができる。
また、本発明の撮像装置は、適正な展開画像を得ることから、ロボット分野における移動ロボットの視覚センサに適用することができる。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の撮像装置およびカプセル型内視鏡を詳細に説明する。
図1は、本発明の実施形態の撮像装置を示す模式的断面図である。
図1に示すように、撮像装置10は、例えば、被写体に対して相対的に移動して撮影するものである。被写体は、例えば、筒状構造体の内部である。筒状構造体としては、流体が流れる配管、例えば、水道管およびガス管等が挙げられる。これ以外にも、筒状構造体としては、例えば、生体内の体腔内管路、生体内の消化管、例えば、胃、小腸または大腸等が挙げられる。
撮像装置10においては、ケース12の内部12aに、レンズ14、撮像部16、画像形成部18およびメモリ20が設けられている。ケース12内部12aの撮像部16、画像形成部18およびメモリ20は、制御部22に接続されており、それぞれ制御部22で制御される。また、被写体の画像を表示する表示部24を有する。
図1は、本発明の実施形態の撮像装置を示す模式的断面図である。
図1に示すように、撮像装置10は、例えば、被写体に対して相対的に移動して撮影するものである。被写体は、例えば、筒状構造体の内部である。筒状構造体としては、流体が流れる配管、例えば、水道管およびガス管等が挙げられる。これ以外にも、筒状構造体としては、例えば、生体内の体腔内管路、生体内の消化管、例えば、胃、小腸または大腸等が挙げられる。
撮像装置10においては、ケース12の内部12aに、レンズ14、撮像部16、画像形成部18およびメモリ20が設けられている。ケース12内部12aの撮像部16、画像形成部18およびメモリ20は、制御部22に接続されており、それぞれ制御部22で制御される。また、被写体の画像を表示する表示部24を有する。
レンズ14は、撮像部16に光を入射させるものであり、撮像部16の後述する光電変換層上に配置される。レンズ14は画角αが180°以上の、いわゆる魚眼レンズと呼ばれるもので構成される。レンズ14としては、画角αが180°以上のfθレンズを用いることが好ましい。
撮像部16は、被写体の画像を得るためのものであり、例えば、レンズ14を通して入射された被写体の像の情報を担時する入射光Lが入射されて、入射光Lを電気信号に変換し、被写体の画像の画像データを得て、そして、被写体の画像の画像データを得るものである。撮像部16では、被写体の画像を時系列的に複数撮像する。
撮像部16は、電気信号に変換するものは可視光に限定されるものではなく、可視光以外の波長帯の光を電気信号に変換するものであってもよい。撮像部16については後に詳細に説明する。
撮像部16は、電気信号に変換するものは可視光に限定されるものではなく、可視光以外の波長帯の光を電気信号に変換するものであってもよい。撮像部16については後に詳細に説明する。
画像形成部18は、撮像部16に接続されており、撮像部16で時系列に撮像された被写体の画像の画像データを用いて、各時刻における被写体の画像を球体の表面に配置し、被写体の球面画像、すなわち、全天周画像を作成し、球面画像の時系列合成画像を作成する。この時系列合成画像の画像データをパノラマ展開して合成展開画像を表わす合成展開画像データを作成する。
画像形成部18は、被写体の複数の球面画像間での動きを検出し、その結果を用いて、時系列合成画像を作成することもできる。この場合、被写体の画像は時系列で撮像されているので時間情報が特定される。また、撮像装置10の移動方向は、例えば、複数の被写体の球面画像で共通する被写体領域を抽出し、この被写体領域の移動経路を特定することにより、撮像装置10の移動経路、すなわち、撮像装置10の移動方向を特定する。これにより、撮像装置10が一定の経路で移動しない場合、例えば、撮像装置10の向きがランダムに変わるような場合でも、撮像装置10の移動方向を特定することができ、上述の合成展開画像データを得ることができる。
画像形成部18は、被写体の複数の球面画像間での動きを検出し、その結果を用いて、時系列合成画像を作成することもできる。この場合、被写体の画像は時系列で撮像されているので時間情報が特定される。また、撮像装置10の移動方向は、例えば、複数の被写体の球面画像で共通する被写体領域を抽出し、この被写体領域の移動経路を特定することにより、撮像装置10の移動経路、すなわち、撮像装置10の移動方向を特定する。これにより、撮像装置10が一定の経路で移動しない場合、例えば、撮像装置10の向きがランダムに変わるような場合でも、撮像装置10の移動方向を特定することができ、上述の合成展開画像データを得ることができる。
なお、被写体の画像を球体の表面に配置し、被写体の球面画像を作成する画像処理方法、球面画像への変換処理方法、および合成展開画像データを作成するための一連の画像処理方法は、公知の方法、例えば、特開2013-84156号公報に記載の方法を適宜用いることができるため、その詳細な説明は省略する。
撮像装置10において、レンズ14にfθレンズを用いた場合、画像形成部18での球面画像への変換処理が不要となる。撮像部16で時系列に撮像された、被写体の画像の画像データを用いて時系列合成画像を作成することができる。この時系列合成画像の画像データをパノラマ展開して、合成展開画像を表わす合成展開画像データを作成することができる。このため、画像形成部18での画像信号の処理量を減らすことができる。これにより、画像形成部18の構成の簡素化および画像形成部18での画像信号の処理速度の高速化を図ることができる。このようなことから、レンズ14にfθレンズを用いることが好ましい。
メモリ20は、撮像部16で得られた被写体の画像の画像データ、および画像形成部18で形成された被写体の展開画像(パノラマ画像)の画像データを記憶するものである。メモリ20に記憶された各種の画像データは、制御部22により適宜読み出され、画像形成部18および表示部24に出力される。
表示部24は、画像形成部18で得られ、メモリ20に記憶された被写体の展開画像(パノラマ画像)の画像信号をメモリ20から読み出し、被写体の展開画像(パノラマ画像)の画像を表示するものである。表示部24は、その表示形態は特に限定されるものではなく、モニタおよび携帯端末等の画面に表示するものでも、紙等の記録媒体にプリントして表示するものであってもよく、両方備えるものであってもよい。
表示部24は、画像形成部18で得られ、メモリ20に記憶された被写体の展開画像(パノラマ画像)の画像信号をメモリ20から読み出し、被写体の展開画像(パノラマ画像)の画像を表示するものである。表示部24は、その表示形態は特に限定されるものではなく、モニタおよび携帯端末等の画面に表示するものでも、紙等の記録媒体にプリントして表示するものであってもよく、両方備えるものであってもよい。
次に、撮像部16について詳細に説明する。
図2(a)は、本発明の実施形態の撮像装置の撮像部を示す模式的断面図であり、(b)は、本発明の実施形態の撮像装置の撮像部の画素電極の配置を示す模式図である。
図2(a)は、本発明の実施形態の撮像装置の撮像部を示す模式的断面図であり、(b)は、本発明の実施形態の撮像装置の撮像部の画素電極の配置を示す模式図である。
図2(a)に示す撮像部16は、基板30と、絶縁層32と、画素電極(下部電極)34と、有機層36と、対向電極(上部電極)38と、保護膜(封止層)40と、カラーフィルタ42と、隔壁44と、遮光層46と、オーバーコート層48とを有する。基板30には読出し回路60と、対向電極電圧供給部62とが形成されている。
基板30は、例えば、ガラス基板またはSi等の半導体基板が用いられる。基板30上には公知の絶縁材料からなる絶縁層32が形成されている。絶縁層32には、表面に複数の画素電極34が形成されている。画素電極34は、例えば、図2(b)に示すように、絶縁層32の表面32a上にマトリクス状に配置されている。
絶縁層32には、画素電極34と読出し回路60とを接続する第1の接続部64が形成されている。更には、対向電極38と対向電極電圧供給部62とを接続する第2の接続部66が形成されている。第2の接続部66は、画素電極34および有機層36に接続されない位置に形成されている。第1の接続部64および第2の接続部66は、導電性材料で形成されている。
絶縁層32には、画素電極34と読出し回路60とを接続する第1の接続部64が形成されている。更には、対向電極38と対向電極電圧供給部62とを接続する第2の接続部66が形成されている。第2の接続部66は、画素電極34および有機層36に接続されない位置に形成されている。第1の接続部64および第2の接続部66は、導電性材料で形成されている。
絶縁層32の内部には、読出し回路60および対向電極電圧供給部62を、例えば、撮像部16の外部と接続するための導電性材料からなる配線層68が形成されている。
上述のように、基板30上の絶縁層32の表面32aに、各第1の接続部64に接続された画素電極34が形成されたものを回路基板35という。なお、この回路基板35はCMOS基板ともいう。
上述のように、基板30上の絶縁層32の表面32aに、各第1の接続部64に接続された画素電極34が形成されたものを回路基板35という。なお、この回路基板35はCMOS基板ともいう。
複数の画素電極34を覆うとともに、第2の接続部66を避けるようにして有機層36が形成されており、この有機層36は複数の画素電極34に跨って形成されている。有機層36は、少なくとも可視光を含む入射光Lを受光して、その光量に応じた電荷を発生するものであり、光電変換層52と電子ブロッキング層50とを有する。
有機層36は、電子ブロッキング層50が画素電極34側に形成されており、電子ブロッキング層50上に光電変換層52が形成されている。なお、有機層36は、電子ブロッキング層50を設けることなく、光電変換層52単層であってもよい。
有機層36は、電子ブロッキング層50が画素電極34側に形成されており、電子ブロッキング層50上に光電変換層52が形成されている。なお、有機層36は、電子ブロッキング層50を設けることなく、光電変換層52単層であってもよい。
電子ブロッキング層50は、画素電極34から光電変換層52に電子が注入されるのを抑制するための層である。
光電変換層52は、入射光L、例えば、可視光等の受光した光の光量に応じた電荷を発生するものである。光電変換層52は、主に有機材料で構成されている有機光電変換層であり、電子ブロッキング層50上に、複数の画素電極34に跨って形成されている。
光電変換層52および電子ブロッキング層50は、画素電極34上で一定の膜厚であれば、それ以外で膜厚が一定でなくてもよい。この場合、光電変換層52および電子ブロッキング層50の膜厚とは、厚さが一定の領域での厚さのことである。なお、光電変換層52については、後に詳細に説明する。
光電変換層52は、入射光L、例えば、可視光等の受光した光の光量に応じた電荷を発生するものである。光電変換層52は、主に有機材料で構成されている有機光電変換層であり、電子ブロッキング層50上に、複数の画素電極34に跨って形成されている。
光電変換層52および電子ブロッキング層50は、画素電極34上で一定の膜厚であれば、それ以外で膜厚が一定でなくてもよい。この場合、光電変換層52および電子ブロッキング層50の膜厚とは、厚さが一定の領域での厚さのことである。なお、光電変換層52については、後に詳細に説明する。
対向電極38は、画素電極34と対向する電極であり、光電変換層52を覆うようにして設けられている。画素電極34と対向電極38との間に光電変換層52が設けられている。
対向電極38は、光電変換層52に光を入射させるため、入射光L(少なくとも可視光を含む光)に対して透明な導電性材料で構成されている。対向電極38は、光電変換層52よりも外側に配置された第2の接続部66と電気的に接続されており、第2の接続部66を介して対向電極電圧供給部62に接続されている。
対向電極38は、光電変換層52に光を入射させるため、入射光L(少なくとも可視光を含む光)に対して透明な導電性材料で構成されている。対向電極38は、光電変換層52よりも外側に配置された第2の接続部66と電気的に接続されており、第2の接続部66を介して対向電極電圧供給部62に接続されている。
対向電極38の材料としては、例えば、金属、金属酸化物、金属窒化物、金属硼化物、有機導電性化合物、これらの混合物等が挙げられる。具体例としては、酸化錫、酸化亜鉛、酸化インジウム、酸化インジウム錫(ITO)、酸化インジウム亜鉛(IZO)、酸化インジウムタングステン(IWO)、酸化チタン等の導電性金属酸化物、TiN等の金属窒化物、金(Au)、白金(Pt)、銀(Ag)、クロム(Cr)、ニッケル(Ni)、アルミニウム(Al)等の金属、更にこれらの金属と導電性金属酸化物との混合物または積層物、ポリアニリン、ポリチオフェン、ポリピロール等の有機導電性化合物、これらとITOとの積層物、等が挙げられる。透明導電膜の材料として特に好ましいのは、ITO、IZO、酸化錫、アンチモンドープ酸化錫(ATO)、弗素ドープ酸化錫(FTO)、酸化亜鉛、アンチモンドープ酸化亜鉛(AZO)、ガリウムドープ酸化亜鉛(GZO)のいずれかの材料である。この対向電極38の材料中でも特に好ましい材料は、ITOである。
対向電極38の光透過率は、可視光波長において、60%以上が好ましく、より好ましくは80%以上で、より好ましくは90%以上、より好ましくは95%以上である。
対向電極38は、厚さが5~30nmであることが好ましい。対向電極38を5nm以上の膜厚にすることにより、下層を十分に被覆することができ、均一な性能が得られる。一方、対向電極38の膜厚が30nmを超えると、対向電極38と画素電極34が局所的に短絡してしまい、暗電流が上昇してしまうことがある。対向電極38を30nm以下の膜厚にすることで、局所的な短絡が発生するのを抑制することができる。
対向電極38は、厚さが5~30nmであることが好ましい。対向電極38を5nm以上の膜厚にすることにより、下層を十分に被覆することができ、均一な性能が得られる。一方、対向電極38の膜厚が30nmを超えると、対向電極38と画素電極34が局所的に短絡してしまい、暗電流が上昇してしまうことがある。対向電極38を30nm以下の膜厚にすることで、局所的な短絡が発生するのを抑制することができる。
対向電極電圧供給部62は、第2の接続部66を介して対向電極38に所定の電圧を印加するものである。対向電極38に印加すべき電圧が撮像部16の電源電圧よりも高い場合は、チャージポンプ等の昇圧回路によって電源電圧を昇圧して上記所定の電圧を供給するものである。
画素電極34は、光電変換層52で発生した電荷を捕集するための電荷捕集用の電極である。画素電極34は、第1の接続部64を介して読出し回路60に接続されている。この読出し回路60は、複数の画素電極34の各々に対応して基板30に設けられており、対応する画素電極34で捕集された電荷に応じた信号を読出すものである。
画素電極34の材料としては、例えば、金属、導電性のある金属酸化物、金属窒化物および金属硼化物、ならびに有機導電性化合物、これらの混合物等が挙げられる。具体例としては、酸化錫、酸化亜鉛、酸化インジウム、酸化インジウム錫(ITO)、酸化インジウム亜鉛(IZO)、酸化インジウムタングステン(IWO)、酸化チタン等の導電性金属酸化物、窒化チタン(TiN)、窒化モリブデン、窒化タンタル、窒化タングステン等の導電性金属窒化物、金(Au)、白金(Pt)、銀(Ag)、クロム(Cr)、ニッケル(Ni)、アルミニウム(Al)等の金属、更にこれらの金属と導電性金属酸化物との混合物または積層物、ポリアニリン、ポリチオフェン、ポリピロール等の有機導電性化合物、これらとITOとの積層物、等が挙げられる。透明導電膜の材料として特に好ましいのは、ITO、IZO、酸化錫、アンチモンドープ酸化錫(ATO)、弗素ドープ酸化錫(FTO)、酸化亜鉛、アンチモンドープ酸化亜鉛(AZO)、ガリウムドープ酸化亜鉛(GZO)のいずれかの材料である。この画素電極34の材料中でも特に好ましい材料は、窒化チタン、窒化モリブデン、窒化タンタル、窒化タングステンのいずれかの材料である。
読出し回路60は、例えば、CCD、MOS回路、またはTFT回路等で構成されており、絶縁層32内に設けられた遮光層(図示せず)によって遮光されている。なお、読出し回路60はノイズおよび高速性の観点からはCMOS回路を採用することが好ましい。
なお、図示しないが、例えば、基板30にp領域によって囲まれた高濃度のn領域が形成されており、このn領域に第1の接続部64が接続されている。p領域に読出し回路60が設けられている。n領域は光電変換層52の電荷を蓄積する電荷蓄積部として機能するものである。n領域に蓄積された信号電荷は読出し回路60によって、その電荷量に応じた信号に変換されて、例えば、配線層68を介して撮像部16の外部、例えば、画像形成部18およびメモリ20等に出力される。
なお、図示しないが、例えば、基板30にp領域によって囲まれた高濃度のn領域が形成されており、このn領域に第1の接続部64が接続されている。p領域に読出し回路60が設けられている。n領域は光電変換層52の電荷を蓄積する電荷蓄積部として機能するものである。n領域に蓄積された信号電荷は読出し回路60によって、その電荷量に応じた信号に変換されて、例えば、配線層68を介して撮像部16の外部、例えば、画像形成部18およびメモリ20等に出力される。
保護膜40は、封止膜として機能するものであり、光電変換層52含む有機層36を水分子、酸素等の劣化因子から保護するためのものである。保護膜40は、対向電極38を覆うようして形成されている。
保護膜40により、撮像部16の各製造工程において、有機溶媒等の溶液、プラズマ等に含まれる有機の光電変換材料を劣化させる因子の浸入を阻止して有機層36を保護する。また、撮像部16の製造後に、水分子、酸素等の有機の光電変換材料を劣化させる因子の浸入を阻止して、長期間の保存、および長期の使用にわたって、有機層36の劣化を防止する。更には、保護膜40を形成する際、既に形成された有機層36を劣化させない。また、入射光Lは保護膜40を通じて有機層36に到達する。このため、保護膜40は、有機層36で検知する波長の光、例えば、可視光に対して透明である。
保護膜40により、撮像部16の各製造工程において、有機溶媒等の溶液、プラズマ等に含まれる有機の光電変換材料を劣化させる因子の浸入を阻止して有機層36を保護する。また、撮像部16の製造後に、水分子、酸素等の有機の光電変換材料を劣化させる因子の浸入を阻止して、長期間の保存、および長期の使用にわたって、有機層36の劣化を防止する。更には、保護膜40を形成する際、既に形成された有機層36を劣化させない。また、入射光Lは保護膜40を通じて有機層36に到達する。このため、保護膜40は、有機層36で検知する波長の光、例えば、可視光に対して透明である。
保護膜40は、少なくとも1層で構成されるものであり、図2(a)の例では、保護膜40は単層である。この保護膜40は、例えば、酸化窒化珪素膜(SiON膜)で構成される。保護膜40は、例えば、プラズマCVD法、スパッタ法、反応性スパッタ法およびイオンプレーティング法等の気相成膜法で形成することができる。
本実施形態において、保護膜40は、総膜厚が30~500nmである。
保護膜40の総膜厚が30nmを下回るとバリア性が低下したり、カラーフィルタの現像液に対する耐性が低下する虞がある。一方、保護膜40の厚さが500nmを超えると、画素サイズが1μmを切る場合に、混色を抑制することが難しくなる。
保護膜40の総膜厚が30nmを下回るとバリア性が低下したり、カラーフィルタの現像液に対する耐性が低下する虞がある。一方、保護膜40の厚さが500nmを超えると、画素サイズが1μmを切る場合に、混色を抑制することが難しくなる。
本実施形態の撮像部16においては、保護膜40は単層構造としたが、これに限定されるものではなく、例えば、2層構造としてもよい。
なお、例えば、画素寸法が2μm未満、特に1μm程度の撮像部16において、カラーフィルタ42と光電変換層52との距離、すなわち、保護膜40の膜厚が厚いと、保護膜40内での入射光Lの斜入射成分の影響が大きくなり混色が発生する虞がある。このため、保護膜40は薄い方が好ましい。
カラーフィルタ42は、保護膜40上の各画素電極34と対向する位置に形成されている。隔壁44は、保護膜40上のカラーフィルタ42同士の間に設けられており、カラーフィルタ42の光透過効率を向上させるためのものである。遮光層46は、保護膜40上のカラーフィルタ42および隔壁44を設けた領域(有効画素領域)以外に形成されており、有効画素領域以外に形成された光電変換層52に光が入射することを防止するものである。カラーフィルタ42、隔壁44および遮光層46は、例えば、フォトリソグラフィ法により形成される。
なお、カラーフィルタ42を設ける構成としたが、カラーフィルタ42を設けなくてもよい。この場合、カラーフィルタ42以外に隔壁44および遮光層46も設けない。
なお、カラーフィルタ42を設ける構成としたが、カラーフィルタ42を設けなくてもよい。この場合、カラーフィルタ42以外に隔壁44および遮光層46も設けない。
オーバーコート層48は、カラーフィルタ42を後工程等から保護するためのものであり、カラーフィルタ42、隔壁44および遮光層46を覆うようにして形成されている。
撮像部16においては、有機層36、対向電極38およびカラーフィルタ42が上方に設けられた画素電極34、1つが単位画素になる。
撮像部16においては、有機層36、対向電極38およびカラーフィルタ42が上方に設けられた画素電極34、1つが単位画素になる。
ここで、画素サイズとは、画素電極34の大きさのことである。例えば、図2(b)に示すように画素電極34の形状は、正方形である。この場合、画素電極34の画素サイズTとは、画素電極34の1辺の長さのことである。本発明では、画素サイズTは1.2μm以下であり、光電変換層52の厚さは0.6μm以下である。
光電変換層52の厚さとは、電子ブロッキング層50の表面50aから光電変換層52の表面52aまでの距離dのことである。
本発明では、画素サイズTを1.2μm以下とすることにより、上述の偽画像のない展開画像を作成する必要な解像度を得ることができる。
このように、本発明では、画素密度を高めるために画素サイズTを1.2μm以下としており、画素サイズTが小さいことにより生じる斜入射による混色を抑制するために光電変換層52の厚さを0.6μm以下としている。本発明では、画角αが180°以上と広いレンズ14を用いても、入射光Lの斜入射による混色を抑制することができる。
光電変換層52の厚さとは、電子ブロッキング層50の表面50aから光電変換層52の表面52aまでの距離dのことである。
本発明では、画素サイズTを1.2μm以下とすることにより、上述の偽画像のない展開画像を作成する必要な解像度を得ることができる。
このように、本発明では、画素密度を高めるために画素サイズTを1.2μm以下としており、画素サイズTが小さいことにより生じる斜入射による混色を抑制するために光電変換層52の厚さを0.6μm以下としている。本発明では、画角αが180°以上と広いレンズ14を用いても、入射光Lの斜入射による混色を抑制することができる。
オーバーコート層48は、アクリル系樹脂、ポリシロキサン系樹脂、ポリスチレン系樹脂および弗素樹脂等のような高分子材料、または酸化珪素および窒化珪素のような無機材料を適宜使用できる。ポリスチレン系等の感光性樹脂を使用すると、フォトリソグラフィ法によってオーバーコート層48をパターニングできるので、ボンディング用パッド上の周辺遮光層、封止層、絶縁層等を開口する際のフォトレジストとして使用すること、オーバーコート層48自体をマイクロレンズとして加工することが容易になり好ましい。一方、オーバーコート層48を反射防止層として使用することも可能であり、カラーフィルタ42の隔壁として使用した各種低屈折率材料を成膜することも好ましい。また、後工程に対する保護層としての機能、反射防止層としての機能を追求するために、オーバーコート層48を、上記材料を組合せた2層以上の構成にすることも可能である。
なお、本実施形態においては、画素電極34は、絶縁層32の表面に形成された構成であるが、これに限定されるものではなく、絶縁層32の表面部に埋設された構成でもよい。また、第2の接続部66および対向電極電圧供給部62を1つ設ける構成としたが、複数であってもよい。例えば、対向電極38の両端部から対向電極38へ電圧を供給することにより、対向電極38での電圧降下を抑制することができる。第2の接続部66および対向電極電圧供給部62のセットの数は、素子のチップ面積を勘案して、適宜増減すればよい。
次に、撮像装置10の動作について説明する。
図3(a)は、本発明の実施形態の撮像装置の使用形態を説明するための模式図であり、(b)は、本発明の実施形態の撮像装置で得られる画像の一例を示す模式図である。
図3(a)は、本発明の実施形態の撮像装置の使用形態を説明するための模式図であり、(b)は、本発明の実施形態の撮像装置で得られる画像の一例を示す模式図である。
撮像装置10は、例えば、筒状構造体の内部の撮影に用いられる。例えば、図3(a)に示すように、筒状構造体として円筒管100を例にして説明する。
例えば、円筒管100の内部100aに、撮像部16の中心位置を円筒管100の中心線Cに一致させ撮像装置10を配置し、中心線Cに沿って方向Fに移動させつつ内部100aを撮像する。このとき、撮像装置10により、円筒管100の内部100aの領域Dが撮像される。撮像装置10を方向Fに移動させることにより、領域Dも方向Fに移動し、時系列で円筒管100の内部100aの全域に亘り撮像される。
例えば、円筒管100の内部100aに、撮像部16の中心位置を円筒管100の中心線Cに一致させ撮像装置10を配置し、中心線Cに沿って方向Fに移動させつつ内部100aを撮像する。このとき、撮像装置10により、円筒管100の内部100aの領域Dが撮像される。撮像装置10を方向Fに移動させることにより、領域Dも方向Fに移動し、時系列で円筒管100の内部100aの全域に亘り撮像される。
この場合、撮像部16では、時系列で円筒管100の内部100aの時系列で撮像し、内部100aを表わす画像の画像データを得る。内部100aの画像の画像データは、画像形成部18で内部100aの周面に沿った球面画像に変換される。そして、撮像装置10は方向Fに移動しており、この方向Fの動きに基づいて、単一の視点から円筒管100の内部100aを通過する際の球面画像の時系列合成画像を作成する。この時系列合成画像をパノラマ展開することにより、図3(b)に示すように円筒管100の長さ方向に亘って連続した合成展開画像102を得ることができる。撮像部16は画素サイズTが小さく要求される画素数を確保することができるため撮像部16の周縁での歪みが抑制され、しかも斜入射による混色等も抑制されるため、合成展開画像102での混色および歪み等も抑制される。このことから、混色および歪み等がない、円筒管100の内部100aの合成展開画像102を得ることができる。
このように、撮像装置10では系外の情報を正確に得ることができるため、ロボット分野における移動ロボットの視覚センサに適用した場合、好適である。
このように、撮像装置10では系外の情報を正確に得ることができるため、ロボット分野における移動ロボットの視覚センサに適用した場合、好適である。
また、上述のように、画像形成部18は、撮像装置10の向きがランダムに変わるような場合でも、撮像装置10の移動方向を特定することができ、撮像装置10が円筒管100の内部100aをランダムに動くような場合でも、合成展開画像データを得ることができる。このため、撮像装置10を円筒管100の中心線Cに沿って方向Fに移動させなくとも、撮像装置10を、その内部100aを移動させて撮像することができれば、内部100aの合成展開画像データを得ることができる。撮像装置10の撮像部16の中心位置を、円筒管100の中心線Cに一致させる必要はない。
次に、有機層36を構成する光電変換層52および電子ブロッキング層50について更に詳細に説明する。
光電変換層52は、p型有機半導体材料とn型有機半導体材料とを含むものである。p型有機半導体材料とn型有機半導体材料を接合させてドナーアクセプタ界面を形成することにより励起子解離効率を増加させることができる。このために、p型有機半導体材料とn型有機半導体材料を接合させた構成の光電変換層は高い光電変換効率を発現する。特に、p型有機半導体材料とn型有機半導体材料を混合した光電変換層は、接合界面が増大して光電変換効率が向上するので好ましい。
光電変換層52は、p型有機半導体材料とn型有機半導体材料とを含むものである。p型有機半導体材料とn型有機半導体材料を接合させてドナーアクセプタ界面を形成することにより励起子解離効率を増加させることができる。このために、p型有機半導体材料とn型有機半導体材料を接合させた構成の光電変換層は高い光電変換効率を発現する。特に、p型有機半導体材料とn型有機半導体材料を混合した光電変換層は、接合界面が増大して光電変換効率が向上するので好ましい。
p型有機半導体材料(化合物)は、ドナー性有機半導体材料(化合物)であり、主に正孔輸送性有機化合物に代表され、電子を供与しやすい性質がある有機化合物をいう。更に詳しくは2つの有機材料を接触させて用いたときにイオン化ポテンシャルの小さい方の有機化合物をいう。したがって、ドナー性有機化合物は、電子供与性のある有機化合物であればいずれの有機化合物も使用可能である。例えば、トリアリールアミン化合物、ベンジジン化合物、ピラゾリン化合物、スチリルアミン化合物、ヒドラゾン化合物、トリフェニルメタン化合物、カルバゾール化合物、ポリシラン化合物、チオフェン化合物、フタロシアニン化合物、シアニン化合物、メロシアニン化合物、オキソノール化合物、ポリアミン化合物、インドール化合物、ピロール化合物、ピラゾール化合物、ポリアリーレン化合物、縮合芳香族炭素環化合物(ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、テトラセン誘導体、ピレン誘導体、ペリレン誘導体、フルオランテン誘導体)、含窒素ヘテロ環化合物を配位子として有する金属錯体等を用いることができる。なお、これに限らず、上述のようにn型(アクセプタ性)化合物として用いた有機化合物よりもイオン化ポテンシャルの小さい有機化合物であればドナー性有機半導体として用いてよい。
n型有機半導体材料(化合物)は、アクセプタ性有機半導体材料であり、主に電子輸送性有機化合物に代表され、電子を受容しやすい性質がある有機化合物をいう。更に詳しくは、n型有機半導体とは、2つの有機化合物を接触させて用いたときに電子親和力の大きい方の有機化合物をいう。したがって、アクセプタ性有機化合物は、電子受容性のある有機化合物であればいずれの有機化合物も使用可能である。例えば、縮合芳香族炭素環化合物(ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、テトラセン誘導体、ピレン誘導体、ペリレン誘導体、フルオランテン誘導体)、窒素原子、酸素原子、硫黄原子を含有する5~7員のヘテロ環化合物(例えば、ピリジン、ピラジン、ピリミジン、ピリダジン、トリアジン、キノリン、キノキサリン、キナゾリン、フタラジン、シンノリン、イソキノリン、プテリジン、アクリジン、フェナジン、フェナントロリン、テトラゾール、ピラゾール、イミダゾール、チアゾール、オキサゾール、インダゾール、ベンズイミダゾール、ベンゾトリアゾール、ベンゾオキサゾール、ベンゾチアゾール、カルバゾール、プリン、トリアゾロピリダジン、トリアゾロピリミジン、テトラザインデン、オキサジアゾール、イミダゾピリジン、ピロリジン、ピロロピリジン、チアジアゾロピリジン、ジベンズアゼピン、トリベンズアゼピン等)、ポリアリーレン化合物、フルオレン化合物、シクロペンタジエン化合物、シリル化合物、含窒素ヘテロ環化合物を配位子として有する金属錯体等が挙げられる。なお、これに限らず、上記したように、p型(ドナー性)化合物として用いた有機化合物よりも電子親和力の大きな有機化合物であればアクセプタ性有機半導体として用いてよい。
p型有機半導体材料、またはn型有機半導体材料としては、いかなる有機色素を用いても良いが、好ましくは、シアニン色素、スチリル色素、ヘミシアニン色素、メロシアニン色素(ゼロメチンメロシアニン(シンプルメロシアニン)を含む)、3核メロシアニン色素、4核メロシアニン色素、ロダシアニン色素、コンプレックスシアニン色素、コンプレックスメロシアニン色素、アロポーラー色素、オキソノール色素、ヘミオキソノール色素、スクアリウム色素、クロコニウム色素、アザメチン色素、クマリン色素、アリーリデン色素、アントラキノン色素、トリフェニルメタン色素、アゾ色素、アゾメチン色素、スピロ化合物、メタロセン色素、フルオレノン色素、フルギド色素、ペリレン色素、ペリノン色素、フェナジン色素、フェノチアジン色素、キノン色素、ジフェニルメタン色素、ポリエン色素、アクリジン色素、アクリジノン色素、ジフェニルアミン色素、キナクリドン色素、キノフタロン色素、フェノキサジン色素、フタロペリレン色素、ジケトピロロピロール色素、ジオキサン色素、ポルフィリン色素、クロロフィル色素、フタロシアニン色素、金属錯体色素、縮合芳香族炭素環系色素(ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、テトラセン誘導体、ピレン誘導体、ペリレン誘導体、フルオランテン誘導体)が挙げられる。
n型有機半導体材料として、電子輸送性に優れた、フラーレンまたはフラーレン誘導体を用いることが特に好ましい。フラーレンとは、フラーレンC60、フラーレンC70、フラーレンC76、フラーレンC78、フラーレンC80、フラーレンC82、フラーレンC84、フラーレンC90、フラーレンC96、フラーレンC240、フラーレンC540、ミックスドフラーレン、フラーレンナノチューブを表し、フラーレン誘導体とはこれらに換基が付加された化合物のことを表す。
フラーレン誘導体の置換基として好ましくは、アルキル基、アリール基、または複素環基である。アルキル基として更に好ましくは、炭素数1~12までのアルキル基であり、アリール基、および複素環基として好ましくは、ベンゼン環、ナフタレン環、アントラセン環、フェナントレン環、フルオレン環、トリフェニレン環、ナフタセン環、ビフェニル環、ピロール環、フラン環、チオフェン環、イミダゾール環、オキサゾール環、チアゾール環、ピリジン環、ピラジン環、ピリミジン環、ピリダジン環、インドリジン環、インドール環、ベンゾフラン環、ベンゾチオフェン環、イソベンゾフラン環、ベンズイミダゾール環、イミダゾピリジン環、キノリジン環、キノリン環、フタラジン環、ナフチリジン環、キノキサリン環、キノキサゾリン環、イソキノリン環、カルバゾール環、フェナントリジン環、アクリジン環、フェナントロリン環、チアントレン環、クロメン環、キサンテン環、フェノキサチイン環、フェノチアジン環、またはフェナジン環であり、更に好ましくは、ベンゼン環、ナフタレン環、アントラセン環、フェナントレン環、ピリジン環、イミダゾール環、オキサゾール環、またはチアゾール環であり、特に好ましくはベンゼン環、ナフタレン環、またはピリジン環である。これらは更に置換基を有していてもよく、その置換基は可能な限り結合して環を形成してもよい。なお、複数の置換基を有しても良く、それらは同一であっても異なっていても良い。また、複数の置換基は可能な限り結合して環を形成してもよい。
光電変換層がフラーレンまたはフラーレン誘導体を含むことで、フラーレン分子またはフラーレン誘導体分子を経由して、光電変換により発生した電子を画素電極34または対向電極38まで早く輸送できる。フラーレン分子またはフラーレン誘導体分子が連なった状態になって電子の経路が形成されていると、電子輸送性が向上して光電変換素子の高速応答性が実現可能となる。このためにはフラーレンまたはフラーレン誘導体が光電変換層に40%(体積比)以上含まれていることが好ましい。フラーレンまたはフラーレン誘導体が多すぎるとp型有機半導体が少なくなって接合界面が小さくなり励起子解離効率が低下してしまう。
光電変換層52において、フラーレンまたはフラーレン誘導体とともに混合されるp型有機半導体材料として、特許第4213832号公報等に記載されたトリアリールアミン化合物を用いると光電変換素子の高SN比が発現可能になり、特に好ましい。光電変換層内のフラーレンまたはフラーレン誘導体の比率が大きすぎるとトリアリールアミン化合物が少なくなって入射光の吸収量が低下する。これにより光電変換効率が減少するので、光電変換層に含まれるフラーレンまたはフラーレン誘導体は85%(体積比)以下の組成であることが好ましい。
電子ブロッキング層50には、電子供与性有機材料を用いることができる。具体的には、低分子材料では、N,N’-ビス(3-メチルフェニル)-(1,1’-ビフェニル)-4,4’-ジアミン(TPD)および4,4’-ビス[N-(ナフチル)-N-フェニル-アミノ]ビフェニル(α-NPD)等の芳香族ジアミン化合物、オキサゾール、オキサジアゾール、トリアゾール、イミダゾール、イミダゾロン、スチルベン誘導体、ピラゾリン誘導体、テトラヒドロイミダゾール、ポリアリールアルカン、ブタジエン、4,4’,4”-トリス(N-(3-メチルフェニル)N-フェニルアミノ)トリフェニルアミン(m-MTDATA)、ポルフィン、テトラフェニルポルフィリン銅、フタロシアニン、銅フタロシアニン、チタニウムフタロシアニンオキサイド等のポリフィリン化合物、トリアゾール誘導体、オキサジアゾール誘導体、イミダゾール誘導体、ポリアリールアルカン誘導体、ピラゾリン誘導体、ピラゾロン誘導体、フェニレンジアミン誘導体、アニールアミン誘導体、アミノ置換カルコン誘導体、オキサゾール誘導体、スチリルアントラセン誘導体、フルオレノン誘導体、ヒドラゾン誘導体、シラザン誘導体、カルバゾール誘導体、ビフルオレン誘導体等を用いることができ、高分子材料では、フェニレンビニレン、フルオレン、カルバゾール、インドール、ピレン、ピロール、ピコリン、チオフェン、アセチレンおよびジアセチレン等の重合体、ならびにその誘導体を用いることができる。電子供与性化合物でなくとも、充分な正孔輸送性を有する化合物であれば用いることは可能である。
電子ブロッキング層50としては、無機材料を用いることもできる。一般的に、無機材料は有機材料よりも誘電率が大きいため、電子ブロッキング層50に用いた場合に、光電変換層に電圧が多くかかるようになり、光電変換効率を高くすることができる。電子ブロッキング層50となりうる材料としては、酸化カルシウム、酸化クロム、酸化クロム銅、酸化マンガン、酸化コバルト、酸化ニッケル、酸化銅、酸化ガリウム銅、酸化ストロンチウム銅、酸化ニオブ、酸化モリブデン、酸化インジウム銅、酸化インジウム銀、酸化イリジウム等がある。
複数層からなる電子ブロッキング層において、複数層のうち光電変換層52と隣接する層が光電変換層52に含まれるp型有機半導体と同じ材料からなる層であることが好ましい。このように、電子ブロッキング層50にも同じp型有機半導体を用いることで、光電変換層52と隣接する層の界面に中間準位が形成されるのを抑制し、暗電流を更に抑制することができる。
電子ブロッキング層50が単層の場合にはその層を無機材料からなる層にでき、複数層の場合には1つまたは2以上の層を無機材料からなる層にできる。
電子ブロッキング層50が単層の場合にはその層を無機材料からなる層にでき、複数層の場合には1つまたは2以上の層を無機材料からなる層にできる。
次に、本発明の実施形態のカプセル型内視鏡について説明する。
図4は、本発明の実施形態のカプセル型内視鏡を示す模式的断面図である。
なお、図4に示すカプセル型内視鏡70において、図1に示す撮像装置10と同じ構成物には、同一の符号を付してその詳細な説明は省略する。
図4は、本発明の実施形態のカプセル型内視鏡を示す模式的断面図である。
なお、図4に示すカプセル型内視鏡70において、図1に示す撮像装置10と同じ構成物には、同一の符号を付してその詳細な説明は省略する。
図4に示すように、カプセル型内視鏡70は、カプセル72により密閉された状態とされている。カプセル72は、円筒部の一端が半球形状とされ、かつ開口する他端に半球形状の透明カバー74が取り付けられている。カプセル型内視鏡70(カプセル72)には、白色LED76、レンズ14、撮像部16、制御部22a、送受信部82、アンテナ84および電池86等が内蔵されている。制御部22aは、処理部78とメモリ80とで構成され、撮像部16の背面側に設けられている。処理部78は、図1に示す撮像装置10の画像形成部18に相当し、メモリ80は図1に示す撮像装置10のメモリ20に相当する。カプセル72の円筒部の外径は、後述する消化管によって適宜決定されるものである。カプセル72の外径は、9mm以下であることが好ましい。この大きさであれば、早く小腸を通りすぎ、患者の負担を少なくすることができる。
カプセル72の透明カバー74の内側には、照明部として、2つの白色LED76が配置され、この2つの白色LED76の間にレンズ14が取り付けられている。また、レンズ14の結像位置には、撮像部16が設けられている。撮像部16は、カラー画像を撮像可能でも、モノクロ画像が撮影可能なものであってもよい。撮像部16にはレンズ14側から入射光Lが入射される。
制御部22aは、カプセル型内視鏡70の全体的な動作を司るものである。制御部22aの処理部78は、白色LED76および撮像部16の駆動ならびに撮像部16によって撮像した画像信号の処理等を行うものである。メモリ80は、撮像部16により撮像された被写体の画像の画像データを記憶する。
処理部78は、上述の撮像装置10の画像形成部18と同様にパノラマ画像の画像データを得ることができる。なお、処理部78でパノラマ画像の画像データを作成せずに、後述する体外装置110の画像処理ユニット114で、パノラマ画像の画像データを作成するようにしてもよい。
処理部78は、上述の撮像装置10の画像形成部18と同様にパノラマ画像の画像データを得ることができる。なお、処理部78でパノラマ画像の画像データを作成せずに、後述する体外装置110の画像処理ユニット114で、パノラマ画像の画像データを作成するようにしてもよい。
処理部78およびメモリ80(制御部22a)の背面側には、後述する体外装置110(図5参照)と電波を介して送受信する送受信部82が設けられており、送受信部82には電波を発信し、受信するアンテナ84が接続されている。
電源である電池86は、白色LED76、撮像部16、処理部78、メモリ80および送受信部82等の各構成品と電気的に接続されており、必要とする各構成品に所定の電力を供給する。この電池86は、白色LED76、撮像部16、処理部78、メモリ80および送受信部82が必要とする電力を供給することができる容量を備える。
カプセル型内視鏡70においては、白色LED76から出射された光が透明カバー74を透過して体内で反射され、その反射光が入射光Lとして透明カバー74およびレンズ14を通して撮像部16に入射する。そして、撮像部16で光電変換された後、光電変換して得られた信号が制御部22aに入力され、制御部22aから出力された画像信号が送受信部82のアンテナ84から、体外装置110のアンテナユニット112のアンテナ118(図5参照)に送信される。
カプセル型内視鏡70においては、撮像部16で消化管の内壁面を撮像し、消化管の内壁面の画像データを得る。そして、消化管の内壁面の画像データを処理部78に出力し、消化管の内壁面に沿った球面画像に変換し、複数の球面画像を得る。その後、上述の方法を用いて、複数の球面画像間での動きを検出し、カプセル型内視鏡70の動きを検出する。その動きの検出結果に基づいて、単一の視点から、カプセル型内視鏡70が消化管の内部を通過する際の球面画像の時系列合成画像の時系列合成画像データを作成する。その時系列合成画像データを用いて、時系列合成画像をパノラマ展開することでパノラマ画像の画像データを得る。これにより、消化管の長さ方向に亘って連続した、消化管の内壁面のつなぎ目のない合成展開画像を得ることができる。これにより、消化管の診断の際に有効なものとなる。
消化管では、小腸よりも大腸の方が太く、カプセル型内視鏡70を小腸内を通過させるためには大腸に対して小さくする必要がある。このため、大腸内を撮影する場合には、撮影ぶれする可能性が高い。このような場合でも、カプセル型内視鏡70は、上述のようにカプセル型内視鏡70の動きを検出し、その動きの検出結果に基づいて、時系列合成画像データを作成し、動きに応じて、消化管の長さ方向に亘って連続した内壁面の合成展開画像を得ることができる。このため、カプセル型内視鏡70に比して大腸の径が、撮影ぶれが頻繁に起きるような大きさであっても、つなぎ目のない展開画像を得ることができる。
また、本実施形態においては、被写体の撮像部位を照明する照明部として、白色LED76を設ける構成としたが、これに限定されるものではない。例えば、豆電球および有機EL等の他の発光体を利用することができる。撮像部16がカラーフィルタのない構成の場合、すなわち、カラー画像を撮像できない場合、例えば、照明部として、赤(R)、緑(G)および青(B)のLED(RGB-LED)を用いる。赤(R)、緑(G)および青(B)のLEDにより、赤(R)、緑(G)および青(B)の面順次露光することで、白色画像を得ることができる。この場合、1画素で赤(R)、緑(G)および青(B)の情報が得られるので、高解像な画像が得られ、よりアーティファクトのない連続展開画像を得ることができるため好ましい。
カプセル型内視鏡70において、RGB-LEDのような異なる波長の光を放出する複数光源を照明部として備え、画素サイズTが0.9μm以下、光電変換層52の厚さが450nm以下の構成で、更にカプセル72の外径を9mm以下とすることで、早く小腸を通りすぎ、患者の負担が少ない一方、見落としのない画像を得ることができる。
カプセル型内視鏡70において、RGB-LEDのような異なる波長の光を放出する複数光源を照明部として備え、画素サイズTが0.9μm以下、光電変換層52の厚さが450nm以下の構成で、更にカプセル72の外径を9mm以下とすることで、早く小腸を通りすぎ、患者の負担が少ない一方、見落としのない画像を得ることができる。
カプセル型内視鏡70において、レンズ14にfθレンズを用いることで、上述のように球面画像への変換処理が不要となる。このため、画像形成部18での画像信号の処理量を減らすことができる。これにより、処理部78の構成の簡素化、および画像形成部18での画像信号の処理速度の高速化を図ることができる。カプセル型内視鏡70は、用途からそのサイズの上限が決まっているため、各要素の構成を簡素化できることは好ましい。
また、カプセル型内視鏡70は、撮像部16を1つ設ける構成としたが、これに限定されるものではなく、例えば、撮像部16を2つ設けてもよい。この場合、レンズ14が両端に配置される。撮像部16を2つ設けることにより、より詳細に被写体の画像を得ることができる。特に、移動方向に対して後ろ向きの撮像部で取得した大腸等の消化管の被写体の画像に基づき、連続展開画像を形成すれば、大腸等の消化管のひだ裏の病変の見落としが少ない、診断により適した画像を提供することができる。この場合、移動方向に対して前向きの撮像部で取得した被写体の画像は、主としてカプセル型内視鏡70の動きを検出する画像の提供の役割を果たす。
また、カプセル型内視鏡70は、撮像部16を1つ設ける構成としたが、これに限定されるものではなく、例えば、撮像部16を2つ設けてもよい。この場合、レンズ14が両端に配置される。撮像部16を2つ設けることにより、より詳細に被写体の画像を得ることができる。特に、移動方向に対して後ろ向きの撮像部で取得した大腸等の消化管の被写体の画像に基づき、連続展開画像を形成すれば、大腸等の消化管のひだ裏の病変の見落としが少ない、診断により適した画像を提供することができる。この場合、移動方向に対して前向きの撮像部で取得した被写体の画像は、主としてカプセル型内視鏡70の動きを検出する画像の提供の役割を果たす。
次に、本発明の実施形態のカプセル型内視鏡の利用形態について説明する。
図5は、本発明の実施形態のカプセル型内視鏡の使用形態を説明するための模式図である。
図5に示すようにカプセル型内視鏡70は、体外装置110とともに用いられる。カプセル型内視鏡70と体外装置110とを合わせてカプセル型内視鏡装置130という。
図5は、本発明の実施形態のカプセル型内視鏡の使用形態を説明するための模式図である。
図5に示すようにカプセル型内視鏡70は、体外装置110とともに用いられる。カプセル型内視鏡70と体外装置110とを合わせてカプセル型内視鏡装置130という。
本発明の実施形態のカプセル型内視鏡70は患者Kの口から飲み込まれ、患者Kの体腔内管路を通過する際に、患者Kの消化管、例えば、胃、小腸または大腸等の内壁面を撮影するとともに、内壁面の画像の画像データを無線で送信する。
体外装置110は、カプセル型内視鏡70から送信された消化管の内壁面の画像データを患者Kの体外に設けたアンテナユニット112が受信し、画像処理ユニット114に出力し、体外装置110の画像処理ユニット114に保存される。検査中または検査終了後に、消化管の内壁面の画像データに対して、画像処理ユニット114で所定の画像処理を施し、上述のように時系列合成画像を作成する。その後、消化管の内壁面の合成展開画像の画像データを作成し、展開画像化して、消化管の内壁面の展開画像の画像データ、いわゆるパノラマ画像の画像データを得る。この画像データを保存する。そして、例えば、パーソナルコンピュータまたは携帯情報通信端末に、有線または無線の形態で接続することにより、消化管の内壁面の合成展開画像をモニタ等の表示画面に表示させる。
なお、画像処理ユニット114に保存した上述の画像データをパーソナルコンピュータまたは携帯情報通信端末のメモリまたはハードディスクに保存し、画像解析等を行った後、画像表示させることもできる。画像表示は、パーソナルコンピュータまたは携帯情報通信端末のモニタ等の表示装置に表示させることに限定されるものではなく、専用の表示装置を用いて、消化管の内壁面の画像を表示させるようにしてもよい。
図5に示すように、アンテナユニット112は、患者Kが着るシールド機能を持つシールドシャツ116の内側に複数のアンテナ118が取り付けられた構成である。そして、カプセル型内視鏡70のアンテナ84(図4参照)から送信された消化管の内壁面の画像データをアンテナユニット112で受信する。
画像処理ユニット114は、例えば、箱形状とされ、側面に画像表示を行う表示装置としてのモニタ(図示せず)および制御操作を行う操作ボタン(図示せず)等が設けられている。画像処理ユニット114の内部には、送受信回路(通信回路)、制御回路、画像データ表示回路および電源等が設けられている。
前述のように、アンテナユニット112は患者Kが着るシールド機能を持つシールドシャツ116の内側に複数のアンテナ118が取り付けられた構成であり、画像処理ユニット114は、例えば、患者Kのベルト120等に着脱自在に取り付け可能とされている。このため、カプセル型内視鏡70を飲み込んだ患者Kの体内を撮影中(検査中)、患者Kは略自由に活動することが可能である。
本発明者は、以下のような構成の撮像装置を作製し、展開画像が得られるか否かを確認した。撮像部に、光電変換層の厚さが0.5μm、画素サイズが0.9μmの有機CMOSを用い、魚眼レンズに、直径が6mmのr=f・θ(等距離射影)の前玉レンズを用いた。また、撮像部は、カラーフィルタとマイクロレンズは付設しない。RGB-LEDを用いて、12f/sで面順次露光したところ、4f/sで白色画像を得た。更には、大腸の長手方向に亘って連続した、つなぎ目のない展開画像を得ることができた。
また、本発明者は、撮像部に、光電変換層の厚さが0.7μm、画素サイズが0.9μmの有機CMOSを用い、魚眼レンズに、直径が6mmのr=f・θ(等距離射影)の前玉レンズを用いた。また、撮像部は、カラーフィルタとマイクロレンズは付設しない。RGB-LEDを用いて、12f/sで面順次露光したところ、混色が生じ白色画像を得ることができなかった。しかしながら、大腸の長手方向に亘って連続した、つなぎ目の無い展開画像を得ることができた。
更に、本発明者は、撮像部に、光電変換層の厚さが0.6μm、画素サイズが2μmの有機CMOSを用い、魚眼レンズに、直径が6mmのr=f・θ(等距離射影)の前玉レンズを用いた。また、撮像部は、カラーフィルタとマイクロレンズは付設しない。RGB-LEDを用いて、12f/sで面順次露光したところ、画素サイズが2μmと大きく解像度が足りず、大腸の長手方向に亘って連続した、つなぎ目の無い展開画像を得ることができなかった。
更に、本発明者は、撮像部に、光電変換層の厚さが0.6μm、画素サイズが2μmの有機CMOSを用い、魚眼レンズに、直径が6mmのr=f・θ(等距離射影)の前玉レンズを用いた。また、撮像部は、カラーフィルタとマイクロレンズは付設しない。RGB-LEDを用いて、12f/sで面順次露光したところ、画素サイズが2μmと大きく解像度が足りず、大腸の長手方向に亘って連続した、つなぎ目の無い展開画像を得ることができなかった。
本発明は、基本的に以上のように構成されるものである。以上、本発明の撮像装置およびカプセル型内視鏡について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。
10 撮像装置
12 ケース
14 レンズ
16 撮像部
18 画像形成部
20、80 メモリ
22、22a 制御部
24 表示部
30 基板
32 絶縁層
34 画素電極
36 有機層
38 対向電極
40 保護膜
42 カラーフィルタ
70 カプセル型内視鏡
72 カプセル
76 白色LED
78 処理部
82 送受信部
100 円筒管
12 ケース
14 レンズ
16 撮像部
18 画像形成部
20、80 メモリ
22、22a 制御部
24 表示部
30 基板
32 絶縁層
34 画素電極
36 有機層
38 対向電極
40 保護膜
42 カラーフィルタ
70 カプセル型内視鏡
72 カプセル
76 白色LED
78 処理部
82 送受信部
100 円筒管
Claims (7)
- 被写体に対して相対的に移動して前記被写体を撮像する撮像装置であって、
前記被写体を撮像し、前記被写体の画像の画像データを得るものであり、画素電極に跨って連続して形成された厚さが0.6μm以下の光電変換層を備える撮像部と、
前記撮像部の前記光電変換層上に配置された画角が180°以上のレンズと、
前記撮像部で得られた前記被写体の画像の画像データを用いて、被写体の画像を球体の表面に配置された、前記被写体の球面画像を形成する画像形成部とを有することを特徴とする撮像装置。 - 前記レンズは、fθレンズである請求項1に記載の撮像装置。
- 前記光電変換層の厚さは、前記画素電極の大きさの半分以下である請求項1または2に記載の撮像装置。
- 前記被写体は、筒状構造体の内部である請求項1~3のいずれか1項に記載の撮像装置。
- 筒状構造体の内部を撮影するものであり、前記筒状構造体の内部を照明する照明部と、前記筒状構造体の内部を撮像する撮像部と、前記撮像部上に配置されるレンズと、前記照明部と前記撮像部を覆う透明なカバー部とを有するカプセル型内視鏡であって、
前記撮像部は、画素電極に跨って連続して形成された厚さが0.6μm以下の光電変換層を有し、
前記レンズは、画角が180°以上のレンズであることを特徴とするカプセル型内視鏡。 - 前記レンズは、fθレンズである請求項5に記載のカプセル型内視鏡。
- 前記光電変換層の厚さは、前記画素電極の大きさの半分以下である請求項5または6に記載のカプセル型内視鏡。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013249885A JP6154736B2 (ja) | 2013-12-03 | 2013-12-03 | 撮像装置、カプセル型内視鏡およびカプセル型内視鏡装置 |
| JP2013-249885 | 2013-12-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015083496A1 true WO2015083496A1 (ja) | 2015-06-11 |
Family
ID=53273267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2014/079700 Ceased WO2015083496A1 (ja) | 2013-12-03 | 2014-11-10 | 撮像装置およびカプセル型内視鏡 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6154736B2 (ja) |
| WO (1) | WO2015083496A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021064867A1 (ja) | 2019-10-01 | 2021-04-08 | 日本電気株式会社 | 画像処理装置、制御方法及び記憶媒体 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001141448A (ja) * | 1999-11-10 | 2001-05-25 | Fuji Photo Film Co Ltd | 光学装置 |
| JP2008026731A (ja) * | 2006-07-24 | 2008-02-07 | Olympus Corp | マーカー装置 |
| JP2010246789A (ja) * | 2009-04-17 | 2010-11-04 | Fujifilm Corp | カプセル型内視鏡 |
| JP2011053352A (ja) * | 2009-08-31 | 2011-03-17 | Tottori Univ | 撮像装置 |
| JP2013229528A (ja) * | 2012-04-27 | 2013-11-07 | Fujifilm Corp | 固体撮像素子 |
| WO2013176056A1 (ja) * | 2012-05-24 | 2013-11-28 | 富士フイルム株式会社 | 光電変換素子および撮像素子、ならびに、光電変換素子の製造方法および撮像素子の製造方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007236700A (ja) * | 2006-03-09 | 2007-09-20 | Fujifilm Corp | カプセル内視鏡システム |
-
2013
- 2013-12-03 JP JP2013249885A patent/JP6154736B2/ja active Active
-
2014
- 2014-11-10 WO PCT/JP2014/079700 patent/WO2015083496A1/ja not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001141448A (ja) * | 1999-11-10 | 2001-05-25 | Fuji Photo Film Co Ltd | 光学装置 |
| JP2008026731A (ja) * | 2006-07-24 | 2008-02-07 | Olympus Corp | マーカー装置 |
| JP2010246789A (ja) * | 2009-04-17 | 2010-11-04 | Fujifilm Corp | カプセル型内視鏡 |
| JP2011053352A (ja) * | 2009-08-31 | 2011-03-17 | Tottori Univ | 撮像装置 |
| JP2013229528A (ja) * | 2012-04-27 | 2013-11-07 | Fujifilm Corp | 固体撮像素子 |
| WO2013176056A1 (ja) * | 2012-05-24 | 2013-11-28 | 富士フイルム株式会社 | 光電変換素子および撮像素子、ならびに、光電変換素子の製造方法および撮像素子の製造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6154736B2 (ja) | 2017-06-28 |
| JP2015106703A (ja) | 2015-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4887452B2 (ja) | 光電変換層積層型固体撮像素子及び撮像装置 | |
| TWI521687B (zh) | 攝像元件 | |
| JP5101387B2 (ja) | カプセル型内視鏡 | |
| JP5819799B2 (ja) | 光電変換素子及び撮像素子 | |
| US8698141B2 (en) | Solid state image pickup device and manufacturing method of solid state image pickup device, and image pickup apparatus | |
| TWI549271B (zh) | 固體攝影元件 | |
| US11711931B2 (en) | Photoelectric conversion element, measuring method of the same, solid-state imaging device, electronic device, and solar cell | |
| JP2011228648A (ja) | 撮像素子 | |
| US12114516B2 (en) | Photoelectric conversion element, method of manufacturing the same, solid state image sensor, electronic device, and solar cell | |
| JP5572611B2 (ja) | 光電変換素子の製造方法、固体撮像素子、撮像装置 | |
| JP6128593B2 (ja) | 有機光電変換素子および撮像素子 | |
| JP2011199248A (ja) | 撮像素子、撮像素子の製造方法、撮像装置 | |
| JP6154736B2 (ja) | 撮像装置、カプセル型内視鏡およびカプセル型内視鏡装置 | |
| JP5683245B2 (ja) | 撮像素子及び撮像素子の製造方法 | |
| JP5800682B2 (ja) | 光電変換素子の製造方法、および撮像素子の製造方法 | |
| WO2012042988A1 (ja) | 固体撮像素子及び撮像装置 | |
| JP2013084789A (ja) | 有機撮像素子 | |
| JP2013093353A (ja) | 有機撮像素子 | |
| JP5525894B2 (ja) | 固体撮像素子の製造方法 | |
| JPWO2019151530A1 (ja) | 半導体膜、光センサ、固体撮像素子及び太陽電池 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14868175 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14868175 Country of ref document: EP Kind code of ref document: A1 |