WO2015198758A1 - 撮像装置、画像処理装置、画像処理方法及び顕微鏡 - Google Patents

撮像装置、画像処理装置、画像処理方法及び顕微鏡 Download PDF

Info

Publication number
WO2015198758A1
WO2015198758A1 PCT/JP2015/064454 JP2015064454W WO2015198758A1 WO 2015198758 A1 WO2015198758 A1 WO 2015198758A1 JP 2015064454 W JP2015064454 W JP 2015064454W WO 2015198758 A1 WO2015198758 A1 WO 2015198758A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
lens
information
rotation
Prior art date
Application number
PCT/JP2015/064454
Other languages
English (en)
French (fr)
Inventor
仁 越後
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2015198758A1 publication Critical patent/WO2015198758A1/ja
Priority to US15/373,386 priority Critical patent/US10162165B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Definitions

  • the present invention relates to an imaging device, an image processing device, an image processing method, a microscope, and the like.
  • LF light field
  • parallax images viewpoint images
  • the three-dimensional image information means that, for example, information in the depth direction is included in addition to the two-dimensional image information obtained by a normal camera. Furthermore, by processing image data including three-dimensional image information and extracting light rays incident on the optical system from arbitrary directions to reconstruct a two-dimensional image, for example, arbitrary imaging It is possible to later generate an image focused on a subject located at a distance.
  • Patent Document 1 discloses a technique for generating and displaying a display image by performing image generation processing corresponding to a focus value designated by a user using image data obtained by a plenoptic camera. Is disclosed.
  • the distance in the depth direction of the subject can be measured as three-dimensional image information on the subject from a plurality of parallax images generated by the plenoptic camera based on the principle of triangulation.
  • triangulation is performed using a straight line connecting the viewpoints of two parallax images as a base line.
  • the measurement accuracy changes depending on the relationship between the baseline direction and the edge direction. Specifically, as the base line direction and the edge direction approach each other, the parallax becomes difficult to detect between parallax images, and the distance measurement accuracy decreases. On the other hand, the closer the base line direction and the edge direction are to the orthogonal state, the easier it is to detect parallax and the higher the distance measurement accuracy.
  • an imaging device an image processing device, an image processing method, a microscope, and the like that can generate more parallax images while suppressing a decrease in the spatial resolution of the parallax images. be able to.
  • an imaging lens an imaging element having a light receiving cell array in which a plurality of light receiving cells are arranged in an array, and the imaging lens and the imaging element are provided, and each lens is arranged in an array
  • Rotation information representing a relative orientation between the imaged lens array for generating a parallax image, an image of a subject imaged by the imaging lens, and the imaging element, and the acquired rotation information and the imaging element
  • a processing unit that generates a parallax image based on image information obtained from the image information.
  • the image of the subject formed by the imaging lens and the image sensor are relatively rotated, and rotation information representing the relative rotation angle between the image of the subject and the image sensor is acquired. And a parallax image is produced
  • the processing unit obtains a first parallax image based on first image information obtained from the image sensor before relatively rotating the image of the subject and the image sensor.
  • a second parallax image may be generated based on the second image information obtained from the image sensor after the image of the subject and the image sensor are relatively rotated and the rotation information. .
  • each lens of the lens array is provided corresponding to N light receiving cells among the M light receiving cells of the image sensor (N is an integer of 2 or more).
  • N is an integer of 2 or more.
  • M is an integer greater than or equal to N), and any one of the N light receiving cells is refracted according to an incident angle to each lens through incident light entering each lens through the imaging lens. May be incident on the light receiving cell.
  • the processing unit may be configured such that the imaging unit and the lens array are units or the lens array with respect to the imaging lens with the optical axis of the imaging lens as a rotation axis.
  • a rotation angle at the time of relative rotation may be acquired as the rotation information, and the parallax image may be generated based on the acquired rotation angle and the image information.
  • a rotatable image rotation element is provided between the imaging lens and the lens array, and the processing unit rotates the image rotation element with respect to the imaging lens as the rotation information.
  • An angle may be acquired, and the parallax image may be generated based on the acquired rotation angle and the image information.
  • the processing unit acquires image information in a first pixel coordinate system after relatively rotating the image of the subject and the imaging element, and based on the rotation information. Then, a coordinate conversion process of the image information from the first pixel coordinate system to the second pixel coordinate system may be performed.
  • the processing unit may perform interpolation processing based on the image information after the coordinate conversion processing to generate interpolated image information, and the parallax based on the interpolated image information.
  • An image may be generated.
  • the arrangement position of each lens in the lens array is imaged as if it were the same position as the reference position of each lens, and the arrangement positions of a plurality of light receiving cells corresponding to the light receiving area of each lens are It is possible to generate a parallax image as if it was captured at the same position as the position.
  • the processing unit acquires image information in a first pixel coordinate system after relatively rotating the image of the subject and the imaging element, and based on the rotation information.
  • a coordinate conversion process of the image information from the first pixel coordinate system to the second pixel coordinate system, an interpolation process is performed based on the image information after the coordinate conversion process, and the interpolated image information is And generating the parallax image based on the interpolated image information.
  • the processing unit may include first image information obtained from the imaging element before the image of the subject and the imaging element are relatively rotated, the image of the subject, and the imaging.
  • a display image may be generated by performing an interpolation process based on the second image information obtained from the imaging element after the element is relatively rotated.
  • a storage unit that stores the rotation information and the image information in association with each other may be included.
  • an adjustment unit that relatively rotates the image sensor and the subject image may be included.
  • the adjustment unit may perform the imaging number i of the subject (i is an integer equal to or greater than 2) and from the j-th imaging to the (j + 1) -th imaging.
  • J is an integer of 1 or more
  • a step angle that is a relative rotation angle between the subject image and the image sensor, and a relative between the subject image and the image sensor during i-th imaging.
  • the image of the subject and the image sensor may be rotated relative to each other based on at least two pieces of information within a range of rotation angles.
  • the image of the subject and the image sensor can be flexibly and easily adapted to the imaging situation without having to manually rotate the image sensor every time the user captures an image or program the orientation of the image sensor in advance. Can be rotated relative to each other.
  • a rotatable image rotation element is provided between the imaging lens and the lens array, and the adjustment unit is arranged on the imaging lens with the optical axis of the imaging lens as a rotation axis.
  • the image rotation element may be relatively rotated.
  • the adjustment unit may rotate the subject image and the image sensor relative to each other based on an edge direction of the subject image.
  • the processing unit may perform a trimming process for cutting out a peripheral area of the generated parallax image.
  • the imaging unit includes: an image information acquisition unit that acquires image information obtained from the imaging unit; and a processing unit that generates a parallax image based on the acquired image information.
  • a processing unit that generates a parallax image based on the acquired image information.
  • the processing unit acquires rotation information indicating a relative orientation between the image of the subject formed by the imaging lens and the imaging element, and the acquired rotation information
  • the present invention relates to an image processing apparatus that generates a parallax image based on the image information obtained from the image sensor.
  • an image processing method for generating a parallax image based on image information obtained from an imaging unit, wherein the imaging unit includes an imaging lens and a plurality of light receiving cells arranged in an array.
  • An imaging device having a light receiving cell array, and a lens array for generating a parallax image provided between the imaging lens and the imaging device, each lens being arranged in an array, and is connected by the imaging lens.
  • Rotation information indicating a relative orientation between the imaged subject and the image sensor is acquired, and a parallax image is generated based on the acquired rotation information and the image information obtained from the image sensor. It relates to the image processing method.
  • an imaging lens an imaging device having a light receiving cell array in which a plurality of light receiving cells are arranged in an array, and the lens are provided between the imaging lens and the imaging device.
  • the rotation information representing the relative orientation between the imaging element and the lens array for generating parallax images arranged in a shape, the image of the subject imaged by the imaging lens, and the acquired rotation information;
  • the present invention relates to a microscope including a processing unit that generates a parallax image based on image information obtained from the image sensor.
  • FIG. 1 is a system configuration example of the present embodiment.
  • FIG. 2 is a configuration example of the optical system of the present embodiment.
  • 3A and 3B are explanatory diagrams of an image sensor and a parallax image.
  • FIG. 4 is an explanatory diagram of a light ray passing area on the pupil plane of the imaging lens.
  • FIG. 5 is an explanatory diagram of the baseline direction.
  • FIG. 6 is an explanatory diagram of the relationship between the baseline direction and the edge direction of the subject.
  • FIG. 7 is a system configuration example of the first embodiment.
  • FIG. 8 is a flowchart for explaining the flow of processing of the first embodiment.
  • FIG. 9 is an explanatory diagram of a step angle and a rotation angle range.
  • FIG. 10 is a flowchart for explaining the continuation of the processing flow of the first embodiment.
  • FIG. 11 is an explanatory diagram of a light receiving region of the microlens.
  • 12A to 12C are explanatory diagrams of the coordinate conversion process.
  • FIG. 13A to FIG. 13E are explanatory diagrams of interpolation processing.
  • 14A and 14B are explanatory diagrams of the shift of the light receiving region.
  • FIG. 15 is an explanatory diagram of a method of specifying pixel coordinates to be interpolated.
  • FIG. 16 is an explanatory diagram of a method for specifying a pixel value to be interpolated by the bilinear method.
  • FIG. 17 is an explanatory diagram of a processing result of the first embodiment.
  • FIG. 11 is an explanatory diagram of a light receiving region of the microlens.
  • 12A to 12C are explanatory diagrams of the coordinate conversion process.
  • FIG. 13A to FIG. 13E are explanatory diagrams
  • FIG. 18 is an explanatory diagram of a parallax image generated in the first embodiment.
  • FIG. 19 is an explanatory diagram of a viewpoint.
  • FIG. 20 is an explanatory diagram of an image sensor having 3 ⁇ 3 light receiving cells.
  • FIG. 21 is a flowchart for explaining the processing flow of the first modification.
  • FIG. 22 is an explanatory diagram of interpolation processing in the first modification.
  • FIG. 23 is an explanatory diagram of trimming processing.
  • FIG. 24 is a system configuration example of the second embodiment.
  • FIG. 25A to FIG. 25C are explanatory diagrams of image rotation by the image rotation prism.
  • FIG. 26 is a system configuration example of the third embodiment.
  • FIG. 27 is a system configuration example of a server.
  • FIG. 1 shows a system configuration example of an imaging apparatus (plenoptic camera) according to the present embodiment.
  • the imaging apparatus 100 includes an imaging lens 110, an imaging element 120, a lens array 130 for generating a parallax image, and a processing unit 140.
  • An example of the imaging apparatus 100 is a microscope. Note that the imaging apparatus 100 is not limited to the configuration in FIG. 1, and various modifications such as omitting some of these components or adding other components are possible.
  • some or all of the functions of the imaging apparatus 100 of the present embodiment may be realized by, for example, a PC (Personal Computer) or a portable electronic device.
  • some or all of the functions of the imaging apparatus 100 according to the present embodiment may be realized by a server connected to the imaging apparatus 100 by communication via a network including at least one of wired and wireless.
  • the imaging element 120 of the imaging apparatus 100 includes a light receiving cell array in which a plurality (M) of light receiving cells are arranged in an array, as illustrated in FIGS. 2 and 3A described later.
  • the light receiving cell is a minimum unit of the light receiver that constitutes the image sensor, and acquires a signal corresponding to the amount of received light.
  • M is an integer of 2 or more.
  • the lens array 130 is provided between the imaging lens 110 and the imaging element 120, and each lens is arranged in an array.
  • the process part 140 produces
  • FIG. The function of the processing unit 140 can be realized by hardware such as various processors (CPU or the like), ASIC (gate array or the like), a program, or the like.
  • FIG. 2 is a YZ plan view of the optical system (imaging lens, lens array, and imaging element) of the imaging apparatus 100 of this embodiment as viewed from the side.
  • the X axis is an axis extending in the width direction of the optical system (direction perpendicular to the paper surface of FIG. 2)
  • the Y axis is an axis extending in the height direction of the optical system
  • the Z axis is the optical system. It is an axis extending in the thickness direction.
  • the X axis, the Y axis, and the Z axis are orthogonal to each other. In FIGS. 3A to 5 described later, description will be made using the orthogonal coordinate system defined by the X axis, the Y axis, and the Z axis shown in FIG.
  • the imaging apparatus of the present embodiment has an imaging lens LS, an imaging element having a plurality of light receiving cells RC, and a minute lens ⁇ L (hereinafter referred to as a microlens ⁇ L) arranged in an array.
  • a microlens ⁇ L a minute lens ⁇ L arranged in an array.
  • a microlens array A microlens array.
  • each microlens ⁇ L is arranged close to some of the light receiving cells among the plurality of light receiving cells.
  • FIG. 3A shows a detailed example of the image sensor and the microlens array in FIG.
  • FIG. 3A shows an XY plan view of the image pickup device PD when a microlens array having nine microlenses is arranged with respect to the image pickup device PD having 81 light receiving cells.
  • each microlens is arranged so as to correspond to each of nine light receiving cells out of 81 light receiving cells. More specifically, one microlens is provided for the light receiving cells P 1A to P 1I , the light receiving area of the microlens becomes ⁇ AR1, and another micro lens is provided for the light receiving cells P 2A to P 2I .
  • a lens is provided, and the light receiving area of the microlens is ⁇ AR2.
  • the number of light receiving cells included in the image sensor PD is not limited to 81, and the number of lenses included in the microlens array is not limited to nine.
  • the number of light receiving cells and microlenses is set for the sake of illustration, but in reality, there are many more light receiving cells and microlenses.
  • the light receiving cells and the microlenses are minute ones having a size of several ⁇ m, and strictly speaking, there are gaps between the light receiving cells and between the microlenses. However, these gaps are negligible in the description of the present embodiment. Therefore, the gaps are not shown in FIG. 3A and are not considered.
  • This embodiment is different from a camera that employs a conventional imaging method that does not acquire LF information in that the microlens array is provided.
  • a conventional camera that does not acquire LF information the light beam that has passed through the imaging lens converges to one point.
  • the light beam that has passed through the imaging lens LS is microlens ⁇ L as shown in FIG. And the separated light beams are received by different light receiving cells RC.
  • a light beam that has passed through the same light ray passage region (for example, A in FIG. 2) in the imaging lens pupil plane PS is refracted by the imaging lens LS in accordance with the incident angle to the imaging lens pupil plane PS, It enters one of the micro lenses ⁇ L.
  • the light rays incident on each microlens ⁇ L of the microlens array are further refracted by each microlens ⁇ L according to the incident angle to each microlens ⁇ L, and a plurality of light beams corresponding to the light receiving regions of each microlens ⁇ L. Is incident on one of the light receiving cells RC.
  • FIG. 4 shows an XY plan view of the imaging lens pupil plane PS of the imaging lens LS used in the examples of FIGS. 2 and 3A.
  • the light beam that has passed through the light beam passing region F in the lower center of the imaging lens pupil plane PS in FIG. 4 is the light receiving cell in the upper center in each of the light receiving regions ( ⁇ AR1 to ⁇ AR9) in FIG. (P 1F , P 2F , P 3F , P 4F , P 5F , P 6F , P 7F , P 8F , P 9F ).
  • each lens of the lens array 130 is provided corresponding to N light receiving cells among the M light receiving cells of the image sensor 120 (N is an integer of 2 or more, and M is equal to or greater than N). (Integer), the incident light incident on each lens through the imaging lens 110 is refracted according to the incident angle on each lens and is incident on any one of the N light receiving cells.
  • N is an integer of 2 or more, and M is equal to or greater than N.
  • N light receiving cells for example, P 1A , P 1B , P 1C , P 1D , P 1E , P 1F , P 1G , P 1H , and the like provided in correspondence with each lens, From P 1I ), it is possible to acquire image information for configuring pixels at corresponding positions (same pixel coordinates) in N parallax images.
  • the pixels at corresponding positions in the N parallax images are, for example, a pixel PX 1I of the parallax image PMI and a pixel PX 1A of the parallax image PIMA shown in FIG. This is because light rays incident on the same microlens have image information (light ray information) incident on the same point on the object plane of the imaging lens.
  • the image information acquired from different light receiving cells among the light receiving cells in the same light receiving region has a different viewpoint with respect to the subject.
  • light beams that have entered different light receiving cells among a plurality of light receiving cells provided corresponding to a certain light receiving region pass through different light beams on the imaging lens pupil plane. This is because the light beam has passed through the region.
  • the viewpoint of the image information acquired from the light receiving cell P 1I is the light ray passing region I of the imaging lens pupil plane PS in FIG. 4
  • the viewpoint of the image information acquired from the light receiving cell P 1F is the imaging lens pupil plane. This is a light ray passing region F of PS.
  • a parallax image with a light ray passing region on the imaging lens pupil plane as a viewpoint is obtained.
  • a pixel is a minimum unit constituting an image, is calculated based on a signal obtained from a light receiving cell, and has luminance information.
  • image information acquired from the upper left light receiving cells (P 1I , P 2I , P 3I , P 4I , P 5I , P 6I , P 7I , P 8I , P 9I ) in each light receiving region.
  • the parallax image PMI shown in FIG. 3B can be generated.
  • the parallax image PIMI is an image with the light ray passing area I of the imaging lens pupil plane PS in FIG. 4 as a viewpoint.
  • a parallax image PIMA to a parallax image PIMH are generated, and a total of nine parallax images can be obtained.
  • the pixel PX mn (m is an integer of 1 ⁇ n ⁇ 9 and n is an integer of 1 ⁇ n ⁇ 9) in FIG. 3B is within the light receiving region ⁇ ARm of FIG. The pixel value obtained based on the image information acquired from the light receiving cell Pmn .
  • the distance in the depth direction of the subject can be measured as three-dimensional image information about the subject by the principle of triangulation.
  • triangulation is performed using a straight line connecting the viewpoints of two parallax images as a base line.
  • a parallax image (PIMA in FIG. 3B) with the light ray passing area A of the imaging lens pupil plane PS as a viewpoint and a light ray passing area H of the imaging lens pupil plane PS as a viewpoint.
  • PIMH in FIG. 3B a parallax image
  • a line segment BL connecting the light ray passage area A and the light ray passage area H becomes a base line.
  • the measurement accuracy changes depending on the relationship between the baseline direction and the direction of the edge. Specifically, as the base line direction and the edge direction approach each other, the parallax becomes difficult to detect between parallax images, and the distance measurement accuracy decreases. On the other hand, the closer the base line direction and the edge direction are to the orthogonal state, the easier it is to detect parallax and the higher the distance measurement accuracy.
  • an imaging range TA including a part of the subject OB is imaged from three different viewpoints (VP1 to VP3).
  • the first image PIM51 is obtained
  • the second image PIM52 is obtained
  • the third viewpoint VP3 the imaging range TA.
  • a third image PIM 53 is obtained. Note that the directions of the edges of the subject OB detected from the first image PIM51 to the third image PIM53 are all directions indicated by ED.
  • the line segment BL1 connecting the first viewpoint VP1 and the second viewpoint VP2 becomes a base line.
  • the direction of the base line BL1 is the direction indicated by BLD1, and is parallel to the edge direction ED of the subject OB. Therefore, even if the first image PIM 51 and the second image PIM 52 are compared, there is almost no difference between the images, and it is difficult to determine which image is taken from which viewpoint. Therefore, it is difficult to estimate an accurate distance to the subject OB from the first image PIM51 and the second image PIM52.
  • the line segment BL2 connecting the second viewpoint VP2 and the third viewpoint VP3 is the base line.
  • the direction of the base line BL2 is the direction indicated by BLD2, and is perpendicular to the edge direction ED.
  • the number of parallax images and the spatial resolution of the parallax images are in a trade-off relationship, and when the number of generated parallax images is increased, the spatial resolution of the parallax images decreases.
  • the spatial resolution of the parallax image is lowered, the spatial resolution of the display image after the focus position adjustment described above is also lowered.
  • the imaging apparatus 100 and the like according to the present embodiment can generate more parallax images while suppressing a decrease in the spatial resolution of the parallax images.
  • the adjustment unit 160 of FIG. 7 described later rotates the image of the subject imaged by the imaging lens 110 and the image sensor 120 relatively.
  • the processing unit 140 acquires rotation information indicating the relative orientation between the image of the subject imaged by the imaging lens 110 and the image sensor 120, and the acquired rotation information and image information obtained from the image sensor 120. Based on the above, a parallax image is generated.
  • the image sensor 110 and the lens array 130 are configured with respect to the image lens 110.
  • a method of relatively rotating the lens array 130 is provided between the imaging lens 110 and the image sensor 120 to rotate the image rotation element 190.
  • the method of relatively rotating the subject image and the image sensor 120 is not limited to the above. A specific method for generating a parallax image based on rotation information and image information will be described later.
  • the processing unit 140 generates a first parallax image based on the first image information obtained from the image sensor 120 before relatively rotating the subject image and the image sensor 120, and captures the subject image and the image.
  • a second parallax image is generated based on the second image information obtained from the image sensor 120 after the element 120 is relatively rotated and the rotation information.
  • the same number of parallax images as the number that can be generated without rotating the subject image and the image sensor 120 each time it rotates.
  • a total of 18 parallax images can be generated before and after rotation.
  • a total of 27 parallax images can be generated.
  • the number of light receiving cells provided corresponding to the light receiving regions of the respective lenses of the lens array 130 is not changed according to the number of parallax images to be generated. Even if it increases, the spatial resolution of a parallax image is not reduced.
  • FIG. 7 shows a detailed system configuration example of the imaging apparatus according to the first embodiment. In the following description, portions overlapping with those described with reference to FIG. 1 are omitted as appropriate.
  • the imaging apparatus 100 includes an imaging lens 110, an imaging element 120, a lens array 130, a processing unit 140, a storage unit 150, an adjustment unit 160, an operation unit 170, and a display unit 180.
  • an apparatus configured by two apparatuses including a PC main body and a camera (for example, a microscope) separate from the PC main body may be considered.
  • the camera includes the imaging lens 110, the imaging element 120, the lens array 130, and the adjustment unit 160
  • the PC body includes the processing unit 140, the storage unit 150, the operation unit 170, And a display unit 180.
  • the operation unit 170 and the display unit 180 may be configured as separate bodies.
  • the image sensor 120 is, for example, an image sensor, a CCD, a CMOS, or the like, and can be driven in a rotation direction around the optical axis of the image pickup lens 110.
  • the lens array 130 is provided in the vicinity of the image sensor 120 and is driven to rotate in the rotation direction around the optical axis of the image sensor 110 in conjunction with the image sensor 120.
  • the image sensor 120 and the lens array 130 may be integrally formed as one unit and may be rotationally driven as a unit.
  • the present embodiment is not limited to the form in which the image sensor 120 and the lens array 130 rotate in conjunction with each other, and only the lens array 130 may rotate.
  • each lens of the lens array 130 is, for example, a circular microlens.
  • the shape of each lens is not limited to a circle, and may be a square or a hexagon that does not create a gap between adjacent lenses.
  • each lens of the lens array 130 may be a lens having a different curvature depending on the axial direction, such as a cylindrical lens described later.
  • the processing unit 140 includes an angle acquisition unit 141, an image acquisition unit 143, and an image composition unit 145.
  • the angle acquisition unit 141 acquires rotation information indicating the relative orientation between the image of the subject formed by the imaging lens 110 and the image sensor 120.
  • the angle acquisition unit 141 is, for example, a rotary encoder or an angle sensor, and acquires a rotation angle with respect to at least one reference angle of the image sensor 120 and the lens array 130. The reference angle will be described later.
  • the image acquisition unit 143 is an image sensor driver or the like, and acquires image information from each light receiving cell of the image sensor 120.
  • the image information is information such as a pixel value calculated from a signal of light received by the light receiving cell.
  • the image acquisition unit 143 may acquire pixel coordinate values of the image information.
  • cell information a set of image information and pixel coordinate values of the image information. Note that the image acquisition unit 143 may be formed integrally with the image sensor.
  • the image composition unit 145 generates a parallax image based on the image information.
  • the image composition unit 145 is software installed on a PC, for example.
  • the storage unit 150 stores generated parallax images, display images to be displayed on the display unit 180, and other databases, and serves as a work area for the processing unit 140 and the like.
  • the function of the storage unit 150 is a RAM (Random Access). It can be realized by a memory such as a memory (HDD) or an HDD (hard disk drive).
  • the storage unit 150 may be mounted on the PC or may be independent and connected to the processing unit 140 or the like by communication.
  • the adjustment unit 160 is a unit configured by the image sensor 120 and the lens array 130, or a motor and a motor driver that rotate the lens array 130.
  • the adjustment unit 160 is configured by the unit configured by the image sensor 120 and the lens array 130, or This is a drive mechanism that rotates the lens array 130.
  • the operation unit 170 is a mouse, a keyboard, a button, a switch, or the like that receives a user operation for driving the adjustment unit 160, and may include operation software and memory.
  • the display unit 180 displays a parallax image or a display image generated based on the parallax image.
  • the display unit 180 can be realized by, for example, a liquid crystal display, an organic EL display, electronic paper, or the like.
  • the adjustment unit 160 that relatively rotates the image sensor 120 and the subject image, it is possible to generate a parallax image when the subject is viewed from a viewpoint different from that before the rotation. Become.
  • the processing unit 140 has a unit configured by the imaging element 120 and the lens array 130 or the lens array 130 relative to the imaging lens 110 with the optical axis of the imaging lens 110 as a rotation axis.
  • the rotation angle when the image is rotated is acquired as rotation information, and a parallax image is generated based on the acquired rotation angle and image information.
  • the orientation of the image sensor 120 with respect to the image of the subject imaged by the imaging lens 110 can be adjusted.
  • the orientation of the image sensor 120 with respect to the image of the subject is set (F1).
  • the orientation of the image sensor 120 is a target orientation when the image sensor 120 and the lens array 130 are rotationally driven.
  • the angle of the reference direction (reference angle) is set to 0 degree, and the image sensor 120 is rotated right by 45 degrees.
  • the target orientation of the image sensor 120 in the first rotational drive is 45 degrees clockwise.
  • the target orientation of the image sensor 120 in the second rotational drive is 90 degrees clockwise.
  • the user can specify the driving method of the image sensor 120 and the lens array 130 by a plurality of methods, and the operation unit 170 calculates the orientation of the target image sensor 120 by the method specified by the user.
  • the driving method of the image sensor 120 and the lens array 130 includes, for example, a method in which the user designates or directly adjusts the orientation of the image sensor 120 each time, a method in which the orientation of the image sensor 120 is programmed in advance, a rotation angle range, and the like.
  • a method for specifying the number of times of imaging a method for specifying a rotation angle range and a step angle, a method for specifying a step angle and the number of times of imaging, and the like.
  • the step angle is an angle by which the image sensor 120 is rotated relative to the image of the subject by adjusting the orientation of the image sensor 120 once.
  • the step angle is 45 degrees.
  • the step angle is a relative rotation between the image of the subject and the image sensor 120 between the j-th imaging and the (j + 1) -th imaging (j is an integer of 1 or more). It can also be said to be an angle.
  • the step angle is normally fixed. However, in the case as described later, there may be an exception that the step angle is exceptionally different during some rotational driving.
  • the rotation angle range is a relative rotation angle between the image of the subject and the image sensor 120 when the set number of times of imaging is performed. For example, as shown in FIG. 9, when the step angle is 45 degrees and the number of times of imaging is 5, the rotation angle range is 180 degrees.
  • the operation unit 170 transmits the orientation designated by the user to the adjustment unit 160.
  • an end command is transmitted. Note that when the user directly and manually adjusts the orientation of the image sensor 120, it is not necessary to perform the processing of Step F1 and Step F2.
  • the operation unit 170 sequentially transmits the target orientation of the image sensor 120 stored in advance in the memory in the operation unit 170 to the adjustment unit 160. To do.
  • an end command is transmitted.
  • the operation unit 170 is the same as the designated number of times of imaging so that the imaging element 120 and the like are rotated and driven at equal angular intervals in the designated rotation angle range.
  • the target orientations of the image sensors 120 as many as the number are calculated. In this case, the initial orientation is 0 degrees.
  • the calculated orientations are transmitted to the adjustment unit 160 in order. For example, in the case where the rotation angle range is 180 degrees and the number of times of imaging is 5 as shown in FIG. 9, information on the orientation of ⁇ 0 degrees, 45 degrees, 90 degrees, 135 degrees, 180 degrees ⁇ is transmitted. .
  • an end command is transmitted.
  • the operation unit 170 calculates the orientation of the image sensor 120 so as to rotationally drive the designated rotation angle range by the designated step angle, and adjusts in order.
  • the maximum value of the orientation of the image sensor 120 that can be set is up to the rotation angle range. For example, if the rotation angle range is 180 degrees and the step angle is 50 degrees, the direction is ⁇ 0 degrees, 50 degrees, 100 degrees, 150 degrees, 180 degrees ⁇ so as to drive in increments of 0 to 50 degrees. Is sent. In this example, since the rotation angle range is 180 degrees, the step angle is 30 degrees only during the fourth rotation. When the calculated direction is transmitted, an end command is transmitted.
  • the operation unit 170 calculates the orientations of the imaging elements 120 as many times as the designated number of times of imaging, with 0 degree as the initial orientation, and sequentially adjusts the adjustment unit. 160. For example, when the step angle is 30 degrees and the number of times of imaging is 4, ⁇ 0 degrees, 30 degrees, 60 degrees, 90 degrees ⁇ so that the rotational drive is performed three times from 0 degrees to 30 degrees in total ⁇
  • the orientation of the image sensor 120 is transmitted.
  • an end command is transmitted.
  • the adjustment unit 160 counts the number of times the subject is imaged (i is an integer equal to or greater than 2) and the interval between the j-th imaging and the (j + 1) -th imaging (j is 1).
  • the step angle which is the relative rotation angle between the subject image and the image sensor 120, and the relative rotation angle range between the image of the subject and the image sensor 120 during i-time imaging, Based on at least two pieces of information, the image of the subject and the image sensor 120 may be relatively rotated.
  • the image of the subject and the imaging element can be flexibly adapted to the imaging situation without manually rotating the imaging element 120 or the like every time the user performs imaging, or by programming the orientation of the imaging element 120 in advance. 120 can be rotated relative to each other.
  • the adjustment unit 160 rotationally drives the image sensor 120 and the lens array 130 so as to be in the direction specified by the operation unit 170 (F2).
  • the rotation angle can be detected by measuring the number of pulses of the stepping motor, or using an angle sensor or a rotary encoder.
  • the angle acquisition unit 141 acquires the orientation of the image sensor 120 after the orientation adjustment of the image sensor 120 or the like is completed (F3).
  • a method for acquiring the orientation of the image sensor 120 there are a method in which the angle acquisition unit 141 measures an angle, a method in which a value at the time of positioning of the adjustment unit 160, a method in which a value specified from the operation unit 170 is acquired, and the like. Conceivable.
  • the image acquisition unit 143 acquires cell information (pixel coordinate values and image information) of the image sensor 120 after the orientation adjustment of the image sensor 120 or the like is completed (F4). Note that either of the processes of Step F3 and Step F4 may be performed first or at the same time.
  • the storage unit 150 associates the orientation (rotation information) of the image sensor 120 acquired by the angle acquisition unit 141 with the cell information acquired by the image acquisition unit 143 and stores it as a set of information (F5).
  • the storage unit 150 stores the rotation information and the image information in association with each other, thereby comparing the rotation information associated with the image information with the parallax image generated before the rotation based on the image information. Thus, it is possible to generate a parallax image in which parallax can be detected.
  • Step F1 to Step F5 are repeated until the end condition is satisfied (F6).
  • the end condition may be an end trigger by the operation unit 170, a timeout, or the like.
  • the parallax image from which the parallax can be detected is an image in which the difference between the two images is only due to the difference in the viewpoint and does not include the difference due to other causes.
  • the difference caused by other causes is caused by the state of the optical system at the time of imaging, or caused by performing image processing.
  • the imaging element 120 and the lens array 130 are rotated with respect to the imaging lens 110 to perform imaging, a plurality of images obtained when the processing of the flowchart illustrated in FIG. Includes differences due to differences in viewpoints.
  • the two images must be composed of pixels arranged in the same pixel coordinate system.
  • the arrangement positions of the microlenses of the microlens array when the two images are captured are the same. Need to be.
  • the arrangement positions of the plurality of light receiving cells corresponding to the light receiving regions of the respective microlenses at the time of imaging need to be the same. Since the plurality of images obtained when the processing of the flowchart shown in FIG. 8 is completed do not satisfy these conditions, in the present embodiment, the images are captured as if the conditions were satisfied. Then, image processing is performed to correct the image. Specifically, the following processing is performed.
  • FIG. 11 it is assumed that an image sensor 120 in which four light receiving cells (A, B, C, D) are arranged in the light receiving region ⁇ AR of each microlens is used.
  • the image sensor 120 of the example of FIG. 11 is used, four parallax images can be obtained when there is no rotation.
  • the processing unit 140 sets a reference angle (F7).
  • the reference angle is an angle of the image sensor 120 that serves as a reference for aligning the orientation of the rotated image.
  • the reference angle is designated by the user from the operation unit 170, for example.
  • the default value is set as the reference angle.
  • the default value of the reference angle can be arbitrarily determined (for example, the orientation of the image sensor 120 is 0 degree as shown in FIG. 9).
  • the image composition unit 145 performs image coordinate conversion processing based on the cell information stored in the storage unit 150 so that the orientation of the acquired image is the same as that of the image at the reference angle ( F8).
  • the processing unit 140 acquires image information in the first pixel coordinate system after relatively rotating the image of the subject and the image sensor 120, and from the first pixel coordinate system based on the rotation information. A coordinate conversion process of the image information to the second pixel coordinate system is performed.
  • FIGS. 12A to 12C Specific examples are shown in FIGS. 12A to 12C.
  • FIG. 12 (A) in a state where the imaging element PD is directed to the reference angle theta s, show images PIM101 obtained by imaging an object OB.
  • the pixel coordinate system defining the horizontal axis x ′ and the vertical axis y ′ of the image PIM 101 is the above-described second pixel coordinate system.
  • FIG. 12B shows an image PIM102 obtained by imaging the subject OB in a state where the image sensor PD is directed at an arbitrary rotation angle ⁇ i .
  • the pixel coordinate system that defines the horizontal axis x and the vertical axis y of the image PIM 102 is the first pixel coordinate system described above.
  • the relative rotation angle ⁇ between the subject image and the image sensor 120 is obtained by the following equation (1).
  • the rotation angle ⁇ is stored in the storage unit 150 in association with the image PIM102.
  • step F8 the coordinate conversion processing of the image PIM102 from the first pixel coordinate system to the second pixel coordinate system is performed based on the rotation angle ⁇ by the following equation (2). Then, the image PIM 103 after coordinate conversion is acquired.
  • This image PIM103 is the image captured in a state where the imaging element PD is oriented at an arbitrary rotation angle theta i, is an image of the same first pixel coordinate system and image PIM 101.
  • step F8 three conditions are listed as conditions for an image capable of detecting parallax.
  • the first condition is satisfied by the process of step F8, the remaining two conditions are not satisfied. That is, in order to compare the image after step F8 with a reference image (hereinafter referred to as a reference image) to detect parallax, the arrangement position of each microlens in the microlens array is a reference. It is as if it is the same as the image, and the arrangement positions of the plurality of light receiving cells corresponding to the light receiving areas of the respective microlenses need to be the same as those of the reference image.
  • a reference image hereinafter referred to as a reference image
  • a light beam received by a light receiving cell included in the light receiving region of the same microlens is a light beam emitted from a certain point on the object plane of the imaging lens, and corresponding (identical) pixels among a plurality of parallax images. Contains information for generating a pixel at a position. Then, which light receiving cell in the same light receiving area receives such a light ray depends on which region of the imaging lens pupil plane the light ray has passed through. It appears.
  • parallax is the difference in image information obtained from light rays that have passed through the same point on the object plane of the imaging lens, depending on the viewpoint. Therefore, differences other than parallax are included between image information obtained from light rays that have passed through different points on the object plane of the imaging lens. That is, when only parallax is detected, it is necessary to compare image information obtained from light rays that have passed through the same point on the object plane of the imaging lens.
  • the light receiving cells included in the light receiving area of the same microlens receive light beams that have passed through different points on the object plane of the imaging lens before and after the rotation. It will be. This is because the position of the light receiving area of the microlens is shifted before and after the rotation of the image sensor and the microlens array.
  • the light receiving areas ⁇ AR of the microlenses that are arranged as shown in FIG. 13A before the rotation are shown in FIG. 13B after the rotation.
  • the light receiving areas do not overlap (the same state is shown in FIG. 14A described later).
  • a certain light receiving cell receives a light beam that has passed through point A on the object plane of the imaging lens before rotation, and receives a light beam that has passed through point B on the object plane of the imaging lens after rotation.
  • a situation can occur.
  • the image PIM 121 shown in FIG. 13C is generated from the cell information shown in FIG. 13A
  • the image shown in FIG. 13D is generated from the cell information shown in FIG.
  • the PIM 122 is generated, the image PIM 121 and the image PIM 122 cannot be compared to accurately detect the parallax between the two images.
  • step F9 the cell information is interpolated from the cell information after the coordinate conversion (image PIM122) so as to overlap the reference image PIM121, and the interpolated image PIM123 is obtained.
  • the processing unit 140 performs interpolation processing based on the image information after the coordinate conversion processing, generates interpolated image information, and generates a parallax image based on the interpolated image information (F9). As a result, it is possible to detect the parallax by comparing the interpolated image PIM123 with the reference image PIM121.
  • the process of step F9 is a process as shown in FIG. 14 (A) and FIG. 14 (B).
  • the pixel area corresponding to the light receiving area before the imaging element rotates ⁇ degrees with respect to the image of the subject is B ⁇ AR, and corresponds to the light receiving area after rotation. It is assumed that the pixel area is A ⁇ AR.
  • the pixel areas corresponding to the light receiving areas before and after the rotation do not overlap each other, but by performing the process of step F9, FIG.
  • the pixel areas corresponding to the light receiving areas before and after the rotation are overlapped with each other.
  • step F9 the specific processing content of step F9 will be described with reference to FIG.
  • the pixel A ′ corresponding to the pixel A after coordinate conversion is interpolated within the region corresponding to the light receiving region of the microlens serving as a reference (for example, the light receiving region of the microlens before coordinate conversion).
  • the coordinates of the pixel A ′ are obtained.
  • the center coordinate of the light receiving area of the microlens of the reference image is P ′ (x 1 , y 1 )
  • the coordinate of the pixel A is A (x 2 , y 2 )
  • P (x 3 , y 3 ) be the center coordinates of the light receiving area of the microlens.
  • the coordinates of the pixels A, P and P ′ are all known.
  • the pixels having the same LF information have the same positional relationship with a certain point (for example, the center point) of the light receiving area of the microlens, so the coordinates (x ′, y ′) of the pixel A ′ are expressed by the following formula ( 3).
  • the pixel value of the pixel A ′ is obtained.
  • the pixel values of a plurality of neighboring pixels having the same LF information are used.
  • a method for interpolating pixel values there are a near-less tray method, a bilinear method, a bicubic method, and the like.
  • the bilinear method will be described as an example and will be described with reference to FIG.
  • a point I ′ (x ′, y ′) in FIG. 16 indicates that a pixel having a pixel value of I ′ is at coordinates (x ′, y ′).
  • the coordinates (x ′, y ′) are coordinates obtained by the above equation (3).
  • a pixel I 5 (x ′, y 5 ) is located on a line segment connecting the pixel I 1 (x 1 , y 1 ) and the pixel I 2 (x 2 , y 2 ) and has an x-axis coordinate value x ′.
  • a pixel I 6 (x ′, y 6 ) on the line connecting the pixel I 3 (x 3 , y 3 ) and the pixel I 4 (x 4 , y 4 ) and having an x-axis coordinate value x ′.
  • the pixel value and y-axis coordinate value are obtained.
  • the pixel value I 5 can be obtained by the following equation (4) using the ratio of the x-axis coordinate values
  • the y-axis coordinate value y 5 of the pixel can be obtained by the following equation (5).
  • the pixel value I 6 of the pixel I 6 (x ′ , y 6 ) can be obtained from the following equation (6)
  • the y-axis coordinate value y 6 can be obtained from the following equation (7).
  • the arrangement position of each microlens in the microlens array is imaged as if it were the same position as the reference position of each microlens, and the arrangement positions of a plurality of light receiving cells corresponding to the light receiving areas of each microlens are also received. It is possible to generate a parallax image as if it was captured at the same position as the reference position of the cell.
  • step F10 the processing from step F8 to step F10 is performed on all the images stored in the storage unit 150 (F11). The above is the processing flow of this embodiment.
  • the processing unit 140 relatively rotates the subject image and the image sensor 120 (F2), acquires image information in the first pixel coordinate system (F4), and rotates information. Based on the above, coordinate conversion processing of image information from the first pixel coordinate system to the second pixel coordinate system is performed (F8), interpolation processing is performed based on the image information after the coordinate conversion processing (F9), and interpolation is performed. Completed image information is generated, and a parallax image is generated based on the interpolated image information (F10).
  • the light beam that passes through the imaging lens pupil plane and is condensed on the imaging lens imaging plane is separated according to the area of the pupil plane that has passed through the action of the microlens.
  • the position of the pupil plane through which the light passes and the position of the light receiving area of the microlens to be received are point-symmetric with respect to the pupil plane and the center of the light receiving area of the microlens.
  • the light beam that has passed through the same position on the pupil plane enters the light receiving cell at the relatively same position in all the microlens light receiving areas, it is calculated from the cell information at the relatively same position in the microlens light receiving area.
  • the light beam that has passed through the lower left light beam passage area A of the imaging lens pupil plane PS in FIG. 17 is incident on the upper right light receiving cell A in the micro lens light receiving area ⁇ AR.
  • the parallax image PIMA generated only from the pixels calculated from the cell information of the light receiving cell A of each microlens light receiving area ⁇ AR is viewed from the lower left ray passing area A of the imaging lens pupil plane PS. It becomes an image.
  • the viewpoint of the imaging lens pupil plane PS and the light receiving cell of the microlens light receiving region ⁇ AR are point-symmetric with respect to the center, as shown in FIG. 17, the direction ⁇ 1 of the base line BL formed by the viewpoint and the light receiving cell are The angle ⁇ 2 of the connecting straight line CL is equal.
  • the image sensor 120 in which four light receiving cells are arranged for one microlens by 45 degrees, as shown in FIG.
  • eight parallax images can be generated.
  • the number in the baseline direction obtained from these parallax images corresponds to a Plenoptic 1.0 optical system in which light receiving cells are arranged 3 ⁇ 3 for one microlens as shown in FIG.
  • the spatial resolution of the obtained image is 1/3 of that of a conventional camera.
  • four light receiving cells are required per one microlens, so that the spatial resolution of the obtained image is halved. This spatial resolution is 1.5 times that of the conventional Plenoptic 1.0 system.
  • the relative rotation angle range of the image sensor 120 with respect to the image of the subject is preferably 90 degrees or less. This is because if the image sensor 120 is rotated by 90 degrees, it overlaps with the arrangement of the light receiving cells before the rotation. That is, information obtained by rotating 90 degrees or more can be obtained even by rotating 90 degrees or less. By setting the rotation range to 90 degrees or less, it is possible to prevent an increase in calculation processing amount and processing time due to acquisition of duplicate images.
  • the rotation angle (step angle) for rotating the image sensor 120 by one degree of rotational drive is 1 / 90th of an integer. This is because if the step angle is coarse / dense, the amount of information when interpolating pixels differs. By setting the step angle to 1 / integer of 90 degrees, the amount of information when interpolating the pixels can be made uniform.
  • the image composition unit 145 may also generate a display image.
  • the processing unit 140 captures the first image information obtained from the image sensor 120 before relatively rotating the subject image and the image sensor 120, and after relatively rotating the subject image and the image sensor 120. Based on the second image information obtained from the element 120, an interpolation process may be performed to generate a display image.
  • a display image with high spatial resolution is generated.
  • one super-resolution image is generated as a display image.
  • both a display image and a parallax image may be generated.
  • the system configuration example of the first modification is the same as that in FIG.
  • the resolution of the display image displayed on the screen is higher.
  • the spatial resolution of the image is lowered as compared with a conventional camera.
  • the spatial resolution of the generated image is 1 / compared to that of a conventional camera. 2
  • a technique for estimating or interpolating pixels between pixels using a plurality of images is known.
  • the viewpoints are different among a plurality of images, such as a parallax image, the relative positions of the viewpoint and the object are different, so that complicated processing is required when performing estimation or interpolation between pixels.
  • the light rays of the entire light receiving region of one microlens are the light rays received by the light receiving cell A, the light rays received by the light receiving cell B, and the light rays received by the light receiving cell C. These are light rays that are considered as a group of four types of light rays received by the light receiving cell D.
  • a pixel (hereinafter referred to as a representative pixel) corresponding to the light beam of the entire light receiving region of each microlens is obtained by interpolation, and then, a pixel between the representative pixels of the reference image is further determined by the image sensor Interpolation is performed using representative pixels obtained after rotation.
  • step F8 the same processing as that described above with reference to the flowcharts of FIGS. 8 and 10 is performed.
  • a representative pixel is interpolated and obtained for each light receiving area of the microlens from the cell information coordinate-converted in step F8 (F12).
  • the cell information of the representative pixel is obtained by taking the average of cell information (pixel coordinates and pixel values) obtained from the light receiving cells included in the light receiving area of each microlens.
  • BRC is obtained as a representative pixel.
  • step F8 and step F12 are performed for all the images acquired by the process of the flowchart of FIG. 8 (F11).
  • the pixels between the representative pixels are interpolated (F13).
  • the cell information of the representative pixel before rotating the imaging device or the like is set as reference cell information.
  • the other cell information after rotating the imaging device or the like is used to interpolate the reference cell information.
  • ARC is obtained as a pixel after rotation.
  • the pixel CC between the representative pixels BRC is interpolated based on the cell information of the rotated pixel ARC.
  • the pixel CC is a pixel located at an intermediate pixel coordinate of the representative pixel BRC.
  • the interpolation method is the same as in step F9.
  • Cylindrical lenses have an axis with curvature and an axis with no curvature.
  • the axis with the curvature separates rays and acquires LF information, but the axis without curvature obtains LF information without separating rays. do not do.
  • the spatial resolution in the axial direction having no curvature is not impaired, and the same spatial resolution as that of a conventional camera can be acquired.
  • a grating diffiffraction grating
  • the processing unit 140 performs a trimming process that cuts off the peripheral area of the generated parallax image. Further, the processing unit 140 may perform a trimming process that cuts not only the parallax image but also the peripheral area of the display image.
  • the spatial resolution does not increase, and the spatial resolution may be biased depending on the image area.
  • an image rotation element 190 is provided between the imaging lens 110 and the lens array 130, and the image rotation element 190 is rotated, so that the image sensor 120 The subject image is rotated relative to the object. That is, contrary to the first embodiment, the image side of the subject is rotated without rotating the image sensor 120 side.
  • the imaging apparatus 100 includes a rotatable image rotation element 190 between the imaging lens 110 and the lens array 130.
  • the image rotation element 190 is, for example, an image rotation prism.
  • the process part 140 acquires the rotation angle of the image rotation element 190 with respect to the imaging lens 110 as rotation information, and produces
  • the image rotation prism IRD rotates and inverts the input image and outputs it.
  • the vertical direction of the image rotation prism IRD is adjusted so as to be in the direction indicated by the dotted line RL1 with respect to the input image II1.
  • the input image II1 is rotated and inverted by the image rotation prism IRD, and an output image OI1 is obtained.
  • the image rotation prism IRD is inclined 45 degrees obliquely with respect to the input image II2 from the state of FIG. 25A, and the vertical direction of the image rotation prism IRD is relative to the input image II2. Adjustment is made so as to be in the direction indicated by the dotted line RL2. In this case, the input image II2 is rotated and inverted by the image rotation prism IRD, and an output image OI2 is obtained.
  • the image rotation prism IRD is inclined 45 degrees, whereas the output image OI2 is rotated 90 degrees from the output image OI1.
  • the image rotation prism IRD is tilted by 90 degrees with respect to the input image II3 from the state of FIG. 25A, and the vertical direction of the image rotation prism IRD is a dotted line with respect to the input image II3. Adjustment is made so that the orientation is indicated by RL3. In this case, the input image II3 is rotated and inverted by the image rotation prism IRD, and an output image OI3 is obtained. In the example of FIG. 25C, the image rotation prism IRD is inclined 90 degrees, whereas the output image OI3 is rotated 180 degrees from the output image OI1.
  • the direction of the output image is changed by an angle twice the rotation angle of the image rotating prism itself.
  • this makes it possible to rotate the image of the subject with respect to the image sensor 120 without moving the image sensor 120 having a relatively large number of wires, thereby reducing the risk of disconnection and poor contact. .
  • the adjustment unit 160 may rotate the image rotation element 190 relative to the imaging lens 110 with the optical axis of the imaging lens 110 as a rotation axis.
  • the angle acquisition unit 141 acquires the angle of the image rotation element and converts it to a rotation angle corresponding to the rotation angle of the image output from the image rotation element. Further, since the image transmitted through the image rotation prism is inverted, the image acquisition unit 143 converts the coordinates so that the subject image is in the original orientation.
  • FIG. 26 shows a system configuration example of the third embodiment.
  • the processing unit 140 includes a determination unit 147 in addition to the configuration illustrated in FIG.
  • the determining unit 147 determines the edge direction of the subject image, and calculates a relative target rotation angle between the subject image and the image sensor 120 based on the edge direction of the subject. Then, the determination unit 147 outputs the calculated target rotation angle to the adjustment unit 160.
  • the adjustment unit 160 adjusts the relative orientation of the subject image and the image sensor 120 based on the acquired target rotation angle.
  • the present invention is not limited to the above processing, and the adjustment unit 160 may rotate the subject image and the image sensor 120 based on the edge direction of the subject image by other methods.
  • the present embodiment uses an image processing apparatus 200 (server) connected to the imaging unit 100 (imaging apparatus) by communication via a network 300 including at least one of wired and wireless. It may be realized.
  • the image processing apparatus 200 includes an image information acquisition unit 210 that acquires image information obtained from the imaging unit 100, and a processing unit 230 that generates a parallax image based on the acquired image information. ,including.
  • the imaging unit 100 includes an imaging lens 110, an imaging element 120 having a light receiving cell array in which M light receiving cells are arranged in an array (M is an integer of 2 or more), and between the imaging lens 110 and the imaging element 120. And a lens array 130 for generating a parallax image in which each lens is arranged in an array.
  • the processing unit 230 acquires rotation information indicating the relative orientation between the image of the subject formed by the imaging lens 110 and the image sensor 120, and acquires the acquired rotation information and image information obtained from the image sensor 120. Based on the above, a parallax image is generated.
  • Microscope The imaging device of the present embodiment may be a microscope.
  • the distance measurement accuracy is high when the direction in which the edge of the subject extends and the baseline direction are close to perpendicular. Therefore, when it is nearly parallel, the measurement accuracy is low.
  • an optical system that acquires a part of a subject as an image, such as a microscope
  • an optical system that acquires a part of a subject as an image
  • many microscope objects are translucent and have few textures (surface patterns), and there are few edges that can be acquired.
  • the baseline direction can be rotated to increase the distance measurement accuracy. Become.
  • the image sensor 120 or the image projected onto the image sensor 120 is rotated and the cell information of the image sensor 120 is acquired each time, it may take time until the cell information is completely acquired. Therefore, it is desirable that the subject does not move until the cell information is acquired.
  • the subject of the microscope is often a static object, and the effect of the present embodiment is also easily exhibited in this respect.
  • an industrial endoscope or the like is conceivable as an optical system having a small subject edge and a small subject movement as described above.
  • the imaging device, the image processing device, the microscope, and the like according to the present embodiment may realize part or most of the processing by a program.
  • the imaging device, the image processing device, the microscope, and the like of the present embodiment are realized by a processor such as a CPU executing a program.
  • a program stored in a non-temporary information storage device is read, and a processor such as a CPU executes the read program.
  • the information storage device (device readable by a computer) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). It can be realized by memory, ROM, etc.
  • a processor such as a CPU performs various processes according to the present embodiment based on a program (data) stored in the information storage device. That is, in the information storage device, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit) Is memorized.
  • the imaging device, the image processing device, the microscope, and the like of the present embodiment may include a processor and a memory.
  • the processor here may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor) can be used. Further, the processor may be a hardware circuit based on ASIC (Application Specific Integrated Circuit).
  • the memory stores instructions that can be read by a computer, and when the instructions are executed by the processor, each unit of the imaging apparatus, the image processing apparatus, the microscope, and the like according to the present embodiment is realized. Become.
  • the memory here may be a semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory), or may be a register or a hard disk.
  • the instruction here may be an instruction of an instruction set constituting the program, or an instruction for instructing an operation to the hardware circuit of the processor.
  • imaging device imaging unit
  • 110 imaging lens 120 imaging device, 130 lens array
  • 140 processing unit 141 angle acquisition unit, 143 image acquisition unit, 145 Image composition unit, 147 discrimination unit, 150 storage unit, 160 adjustment unit, 170 operation unit, 180 display unit, 190 image rotation element, 200 image processing device, 210 Image information acquisition unit, 230 processing unit, 300 network

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

　撮像装置１００は、撮像レンズ１１０と、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子１２０と、撮像レンズ１１０と撮像素子１２０の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイ１３０と、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得し、取得した回転情報と、撮像素子１２０から得られる画像情報とに基づいて、視差画像を生成する処理部１４０と、を含む。

Description

撮像装置、画像処理装置、画像処理方法及び顕微鏡
　本発明は、撮像装置、画像処理装置、画像処理方法及び顕微鏡等に関係する。
　近年、光学系へ入射する入射光線の入射角度情報（以下、ライトフィールド（ＬＦ）情報と呼ぶ。）を取得できる撮像装置が研究開発されている。このような撮像装置は、プレノプティックカメラやライトフィールド（ＬＦ）カメラと呼ばれており、ＬＦ情報から複数の視点の異なる画像（以下、視差画像と呼ぶ。）を生成することが可能である。なお、本稿における視点とは、被写体をどこから見ているかという、被写体を見る時の立脚点のことである。
　そして、その応用として、生成した複数の視差画像から、被写体に関する三次元の画像情報を含む画像データを生成することも可能である。ここで、三次元の画像情報とは、通常のカメラで得られる二次元の画像情報に加えて、例えば深度方向の情報が含まれることを意味する。さらに、三次元の画像情報を含む画像データを処理して、光学系に入射する光線のうち、任意の方向からのものを抽出して二次元の画像を再構成することにより、例えば任意の撮像距離に位置する被写体にピントの合った画像を後から生成することが可能となる。
　その一例として、特許文献１には、プレノプティックカメラで得られた画像データを用い、ユーザーによって指定されたフォーカス値に対応した画像生成処理を行って表示用画像を生成し、表示する技術が開示されている。
特開２００８－２１９８７８号公報
　プレノプティックカメラにより生成した複数の視差画像から、三角測量の原理により、被写体に関する三次元の画像情報として、被写体の奥行き方向の距離を測定することができる。この際には、二つの視差画像の視点を結ぶ直線を基線として、三角測量を行う。
　三角測量により、点ではなくエッジの奥行き方向の距離を測定する場合には、基線方向とエッジの方向の関係によって測定精度が変化する。具体的には、基線方向とエッジの方向が平行な状態に近づくほど、視差画像間で視差が検出し辛くなり、距離測定精度が低くなる。一方、基線方向とエッジの方向が直交状態に近づくほど、視差が検出しやすくなり、距離測定精度が高くなる。
　従って、距離測定精度を上げるためには、あらゆるエッジに対応できるように基線方向の角度分解能を上げ、より多くの視点からの視差画像を生成する必要がある。
　しかし、従来の方式では、生成する視差画像の数を多くすると、視差画像の空間解像度が低下するという問題があった。視差画像の空間解像度が低下すると、フォーカス位置調整後の表示画像等の空間解像度も低下してしまうことになる。
　本発明の幾つかの態様によれば、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することができる撮像装置、画像処理装置、画像処理方法及び顕微鏡等を提供することができる。
　本発明の一態様は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、を含む撮像装置に関係する。
　本発明の一態様では、撮像レンズにより結像された被写体の像と撮像素子とを相対的に回転させ、被写体の像と撮像素子との相対的な回転角を表す回転情報を取得する。そして、取得した回転情報と、撮像素子から得られる画像情報とに基づいて、視差画像を生成する。よって、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することが可能となる。
　また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報に基づいて、第１視差画像を生成し、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報と、前記回転情報とに基づいて、第２視差画像を生成してもよい。
　これにより、被写体の像と撮像素子とを相対的に回転させない状態で生成可能な数と同じ数の視差画像を、１度回転する毎に生成すること等が可能になる。
　また、本発明の一態様では、前記レンズアレイの前記各レンズは、前記撮像素子のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、前記撮像レンズを介して前記各レンズに入射する入射光を、前記各レンズへの入射角度に応じて屈折させて、前記Ｎ個の受光セルのうちのいずれかの受光セルに入射させてもよい。
　これにより、各レンズに対応して設けられたＮ個の受光セルから、Ｎ枚の視差画像において対応する位置の画素を構成するための画像情報を取得すること等が可能になる。
　また、本発明の一態様では、前記処理部は、前記撮像素子及び前記レンズアレイにより構成されるユニット、又は前記レンズアレイを、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して相対的に回転させた時の回転角度を、前記回転情報として取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成してもよい。
　これにより、撮像レンズにより結像された被写体の像に対する撮像素子の向きを調整することができる。
　また、本発明の一態様では、前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、前記処理部は、前記回転情報として、前記撮像レンズに対する前記像回転素子の回転角度を取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成してもよい。
　これにより、比較的、配線数の多い撮像素子を動かさずに、撮像素子に対して被写体の像を回転でき、断線や接触不良の不具合リスクを低減すること等が可能になる。
　また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行ってもよい。
　これにより、被写体の像が同じ向きで映る画像を取得すること等が可能になる。
　また、本発明の一態様では、前記処理部は、前記座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成してもよい。
　これにより、レンズアレイの各レンズの配置位置が、各レンズの基準位置とあたかも同じ位置の状態で撮像され、各レンズの受光領域に対応する複数の受光セルの配置位置も、各受光セルの基準位置とあたかも同じ位置の状態で撮像されたかのような、視差画像を生成すること等が可能になる。
　また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行い、前記座標変換処理後の前記画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成してもよい。
　これにより、基準となる視差画像と比較して、視差を検出することが可能な視差画像を取得すること等が可能になる。
　また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報と、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成してもよい。
　これにより、ＬＦ情報を持たない表示画像の空間分解能を高めること等が可能になる。
　また、本発明の一態様では、前記回転情報と前記画像情報とを関連付けて記憶する記憶部を含んでもよい。
　これにより、画像情報に関連付けられた回転情報と、その画像情報に基づいて、回転前に生成した視差画像とを比較して、視差を検出可能な視差画像を生成すること等が可能になる。
　また、本発明の一態様では、前記撮像素子と前記被写体の像とを相対的に回転させる調整部を含んでもよい。
　これにより、回転前とは異なる視点から被写体を見た時の視差画像を生成すること等が可能になる。
　また、本発明の一態様では、前記調整部は、前記被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、前記被写体の像と前記撮像素子との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の前記被写体の像と前記撮像素子との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させてもよい。
　これにより、ユーザーが撮像を行う度に手動で撮像素子等を回転させたり、予め撮像素子の向きをプログラムしておかなくても、撮像状況に合わせて柔軟かつ簡単に、被写体の像と撮像素子とを相対的に回転させること等が可能になる。
　また、本発明の一態様では、前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、前記調整部は、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して前記像回転素子を相対的に回転させてもよい。
　これにより、ユーザーが手動で像回転素子を回転させる手間を省くこと等が可能になる。
　また、本発明の一態様では、前記調整部は、前記被写体の像のエッジ方向に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させてもよい。
　これにより、被写体の像と撮像素子を必要な向きにだけ調整して、必要十分なセル情報を取得することが可能となり、計算処理量及び処理時間の増加を防ぐこと等が可能になる。
　また、本発明の一態様では、前記処理部は、生成した前記視差画像の周縁領域を切り取るトリミング処理を行ってもよい。
　これにより、視差画像において空間分解能が低い領域を低減すること等が可能になる。
　また、本発明の他の態様では、撮像部から得られる画像情報を取得する画像情報取得部と、取得された前記画像情報に基づいて視差画像を生成する処理部と、を含み、前記撮像部は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、を有し、前記処理部は、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成する画像処理装置に関係する。
　また、本発明の他の態様では、撮像部から得られる画像情報に基づいて視差画像を生成する画像処理方法であって、前記撮像部は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、を有し、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成する画像処理方法に関係する。
　また、本発明の他の態様では、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、を含む顕微鏡に関係する。
　よって、基線方向に垂直なエッジが取得できない場合や、取得できるエッジが少ない場合であっても、基線方向を回転させ、距離の測定精度を高めることが可能になる。
図１は、本実施形態のシステム構成例。 図２は、本実施形態の光学系の構成例。 図３（Ａ）、図３（Ｂ）は、撮像素子と視差画像の説明図。 図４は、撮像レンズの瞳面における光線通過領域の説明図。 図５は、基線方向の説明図。 図６は、基線方向と被写体のエッジ方向の関係の説明図。 図７は、第１の実施形態のシステム構成例。 図８は、第１の実施形態の処理の流れを説明するフローチャート。 図９は、ステップ角度及び回転角度範囲の説明図。 図１０は、第１の実施形態の処理の流れの続きを説明するフローチャート。 図１１は、マイクロレンズの受光領域の説明図。 図１２（Ａ）～図１２（Ｃ）は、座標変換処理の説明図。 図１３（Ａ）～図１３（Ｅ）は、補間処理の説明図。 図１４（Ａ）、図１４（Ｂ）は、受光領域のずれの説明図。 図１５は、補間対象の画素座標の特定方法の説明図。 図１６は、バイリニア法による補間対象の画素値の特定方法の説明図。 図１７は、第１の実施形態の処理結果の説明図。 図１８は、第１の実施形態で生成される視差画像の説明図。 図１９は、視点の説明図。 図２０は、３×３の受光セルを有する撮像素子の説明図。 図２１は、第１の変形例の処理の流れを説明するフローチャート。 図２２は、第１の変形例における補間処理の説明図。 図２３は、トリミング処理の説明図。 図２４は、第２の実施形態のシステム構成例。 図２５（Ａ）～図２５（Ｃ）は、像回転プリズムによる像の回転の説明図。 図２６は、第３の実施形態のシステム構成例。 図２７は、サーバーのシステム構成例。
　以下、本実施形態について説明する。なお、以下で説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．概要
　本実施形態の撮像装置（プレノプティックカメラ）のシステム構成例を図１に示す。本実施形態の撮像装置１００は、撮像レンズ１１０と、撮像素子１２０と、視差画像生成用のレンズアレイ１３０と、処理部１４０と、を含む。撮像装置１００の一例としては、例えば顕微鏡などがある。なお、撮像装置１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の撮像装置１００の一部又全部の機能は、例えばＰＣ（Personal Computer）や携帯電子機器により実現してもよい。さらに、本実施形態の撮像装置１００の一部又は全部の機能は、有線及び無線の少なくとも一方を含むネットワークを介した通信により、撮像装置１００と接続されたサーバーにより実現されてもよい。
　ここで、撮像装置１００の撮像素子１２０は、後述する図２及び図３（Ａ）に例示するように、複数（Ｍ個）の受光セルがアレイ状に配置された受光セルアレイを有する。受光セルとは、撮像素子を構成する受光器の最小単位のことであり、受光した光線の光量に相当する信号を取得する。なお、Ｍは２以上の整数である。
　また、レンズアレイ１３０は、後述する図２に示すように、撮像レンズ１１０と撮像素子１２０の間に設けられ、各レンズがアレイ状に配置されている。
　そして、処理部１４０は、撮像素子１２０から得られる画像情報に基づいて、視差画像を生成する。なお、処理部１４０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　具体例を図２～図４を用いて説明する。図２には、本実施形態の撮像装置１００の光学系（撮像レンズ及びレンズアレイ、撮像素子）を横から見たＹＺ平面図を示す。なお、図２において、Ｘ軸は光学系の幅方向（図２の紙面に垂直な方向）に伸びる軸であり、Ｙ軸は光学系の高さ方向に伸びる軸であり、Ｚ軸は光学系の厚み方向に伸びる軸である。また、Ｘ軸及びＹ軸、Ｚ軸は、互いに直交している。後述する図３（Ａ）～図５においても、図２に示すＸ軸、Ｙ軸、Ｚ軸により定義される直交座標系を用いて説明するものとする。
　本実施形態の撮像装置は、図２に示すように、撮像レンズＬＳと、複数の受光セルＲＣを有する撮像素子と、微小のレンズμＬ（以下、マイクロレンズμＬと呼ぶ。）をアレイ状に配置したマイクロレンズアレイを備える。そして、複数の受光セルのうちのいくつかの受光セルに近接して、各マイクロレンズμＬを配置する。
　例えば、図２の撮像素子とマイクロレンズアレイの詳細な一例を図３（Ａ）に示す。図３（Ａ）には、８１個の受光セルを有する撮像素子ＰＤに対して、９個のマイクロレンズを有するマイクロレンズアレイを配置した時の、撮像素子ＰＤのＸＹ平面図を示す。図３（Ａ）の例では、８１個の受光セルのうち、それぞれ９個の受光セルに対応するように、各マイクロレンズを配置する。より具体的には、受光セルＰ１Ａ～Ｐ１Ｉに対して１つのマイクロレンズが設けられ、そのマイクロレンズの受光領域がμＡＲ１になり、受光セルＰ２Ａ～Ｐ２Ｉに対して他の１つのマイクロレンズが設けられ、そのマイクロレンズの受光領域がμＡＲ２になる。その他の受光セルとマイクロレンズについても同様である。なお、本実施形態において、撮像素子ＰＤが有する受光セルの数は８１個に限定されず、マイクロレンズアレイが有するレンズの数も９個に限定されない。図３（Ａ）の例では図示の都合で受光セル及びマイクロレンズの数を設定したが、実際にはより多くの受光セル及びマイクロレンズを有することが多い。また、受光セル及びマイクロレンズは、数μｍサイズの微小なものであり、厳密には各受光セル間及び各マイクロレンズ間に隙間がある。ただし、これらの隙間は、本実施形態を説明する上では、無視できる程度のものであるため、図３（Ａ）では隙間を図示せず、考慮もしないものとする。
　本実施形態は、このマイクロレンズアレイを有する点が、ＬＦ情報を取得しない従来通りの撮像方式を採用するカメラと異なる。ＬＦ情報を取得しない従来のカメラでは、撮像レンズを通過した光線が１点に収束するが、本実施形態では、前述した図２に示すように、撮像レンズＬＳを通過した光線を、マイクロレンズμＬにより分離し、分離した光線をそれぞれ異なる受光セルＲＣで受光する。
　撮像装置１００の光学系に入射する光線の屈折について、より詳しく説明する。まず撮像レンズ瞳面ＰＳ内の同一の光線通過領域（例えば図２のＡ）を通過した光線は、撮像レンズ瞳面ＰＳへの入射角度に応じて撮像レンズＬＳにより屈折させられ、マイクロレンズアレイのいずれかのマイクロレンズμＬに入射する。さらに、マイクロレンズアレイの各マイクロレンズμＬに入射した光線は、各マイクロレンズμＬにより、各マイクロレンズμＬへの入射角度に応じてさらに屈折させられて、各マイクロレンズμＬの受光領域に対応する複数の受光セルのうちのいずれかの受光セルＲＣに入射する。
　ここで、さらに具体的な説明をするために、図２及び図３（Ａ）の例で用いる撮像レンズＬＳの撮像レンズ瞳面ＰＳのＸＹ平面図を、図４に示す。例えば、図４の撮像レンズ瞳面ＰＳの左上の光線通過領域Ａを通過した光線は、マイクロレンズアレイの各マイクロレンズμＬにより屈折させられて、前述した図３（Ａ）の各受光領域（μＡＲ１～μＡＲ９）内の右下の受光セル（Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ７Ａ、Ｐ８Ａ、Ｐ９Ａ）にそれぞれ入射する。他にも例えば、図４の撮像レンズ瞳面ＰＳの中央下段の光線通過領域Ｆを通過した光線は、前述した図３（Ａ）の各受光領域（μＡＲ１～μＡＲ９）内の中央上段の受光セル（Ｐ１Ｆ、Ｐ２Ｆ、Ｐ３Ｆ、Ｐ４Ｆ、Ｐ５Ｆ、Ｐ６Ｆ、Ｐ７Ｆ、Ｐ８Ｆ、Ｐ９Ｆ）にそれぞれ入射する。その他の光線通過領域（Ｂ～Ｅ、Ｇ～Ｉ）についても同様である。つまり、撮像レンズＬＳに入射した光線は、各マイクロレンズの受光領域（μＡＲ１～μＡＲ９）内において、撮像レンズ瞳面ＰＳを通過した時の位置（光線通過領域）と点対称となる位置の受光セルに入射する。
　このように、レンズアレイ１３０の各レンズは、撮像素子１２０のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、撮像レンズ１１０を介して各レンズに入射する入射光を、各レンズへの入射角度に応じて屈折させて、Ｎ個の受光セルのうちのいずれかの受光セルに入射させる。なお、図３（Ａ）の例では、Ｍ＝８１、Ｎ＝９である。
　これにより、各レンズに対応して設けられたＮ個の受光セル（例えば、図３（Ａ）のＰ１Ａ、Ｐ１Ｂ、Ｐ１Ｃ、Ｐ１Ｄ、Ｐ１Ｅ、Ｐ１Ｆ、Ｐ１Ｇ、Ｐ１Ｈ、Ｐ１Ｉ）から、Ｎ枚の視差画像において対応する位置（同一の画素座標）の画素を構成するための画像情報を取得すること等が可能になる。Ｎ枚の視差画像において対応する位置の画素とは、例えば、後述する図３（Ｂ）の視差画像ＰＩＭＩの画素ＰＸ１Ｉと視差画像ＰＩＭＡの画素ＰＸ１Ａなどである。なぜなら、同一のマイクロレンズに入射した光線は、撮像レンズの物体面の同一の点に入射した画像情報（光線情報）を有しているためである。
　そして、同じ受光領域内の受光セルのうち、別々の受光セルから取得した画像情報は、全て、被写体に対する視点が異なる。前述した図２にも簡易的に示すように、ある受光領域に対応して設けられた複数の受光セルのうち、互いに異なる受光セルに入射した光線は、撮像レンズ瞳面において、互いに異なる光線通過領域を通過した光線であるためである。例えば、受光セルＰ１Ｉから取得される画像情報の視点は、図４の撮像レンズ瞳面ＰＳの光線通過領域Ｉであり、受光セルＰ１Ｆから取得される画像情報の視点は、撮像レンズ瞳面ＰＳの光線通過領域Ｆである。
　よって、各レンズに対応して設けられたＮ個の受光セル間で、それぞれ対応する位置の受光セル（例えば、図３（Ａ）のＰ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ７Ａ、Ｐ８Ａ、Ｐ９Ａ）からは、撮像レンズ瞳面の同一の光線通過領域から被写体を見た時の画像情報を取得すること等が可能になる。
　そのため、各受光領域間で対応する位置の受光セルから取得した画像情報を一つの画素として集積し、画像を生成すると、撮像レンズ瞳面におけるある光線通過領域を視点とした視差画像が得られる。なお、画素とは、画像を構成する最小単位であり、受光セルから得られる信号に基づいて算出され、輝度の情報を持つ。
　例えば、図３（Ａ）において、各受光領域の左上の受光セル（Ｐ１Ｉ、Ｐ２Ｉ、Ｐ３Ｉ、Ｐ４Ｉ、Ｐ５Ｉ、Ｐ６Ｉ、Ｐ７Ｉ、Ｐ８Ｉ、Ｐ９Ｉ）から取得した画像情報に基づいて、画像を生成すると、図３（Ｂ）に示す視差画像ＰＩＭＩを生成できる。この視差画像ＰＩＭＩは、図４の撮像レンズ瞳面ＰＳの光線通過領域Ｉを視点とした画像である。同様にして、視差画像ＰＩＭＡ～視差画像ＰＩＭＨを生成し、計９枚の視差画像を得ることができる。なお、図３（Ｂ）における画素ＰＸｍｎ（ｍは、１≦ｎ≦９の整数であり、ｎは１≦ｎ≦９の整数である。）は、図３（Ａ）の受光領域μＡＲｍ内の受光セルＰｍｎから取得した画像情報に基づいて求められる画素値を有する。
　さて、前述したように、プレノプティックカメラにより生成した複数の視差画像からは、三角測量の原理により、被写体に関する三次元の画像情報として、被写体の奥行き方向の距離を測定することができる。この際には、二つの視差画像の視点を結ぶ直線を基線として、三角測量を行う。
　例えば、図５に示すように、撮像レンズ瞳面ＰＳの光線通過領域Ａを視点とした視差画像（図３（Ｂ）のＰＩＭＡ）と、撮像レンズ瞳面ＰＳの光線通過領域Ｈを視点とした視差画像（図３（Ｂ）のＰＩＭＨ）とに基づいて、三角測量を行う場合には、光線通過領域Ａと光線通過領域Ｈを結ぶ線分ＢＬが基線となる。
　また、三角測量により、点ではなくエッジの奥行き方向の距離を測定する場合には、基線方向とエッジの方向の関係によって測定精度が変化する。具体的には、基線方向とエッジの方向が平行な状態に近づくほど、視差画像間で視差が検出し辛くなり、距離測定精度が低くなる。一方、基線方向とエッジの方向が直交状態に近づくほど、視差が検出しやすくなり、距離測定精度が高くなる。
　例えば、図６に示すように、被写体ＯＢの一部を含む撮像範囲ＴＡを３つの異なる視点（ＶＰ１～ＶＰ３）から撮像した場合について考える。第１視点ＶＰ１から撮像範囲ＴＡを撮像した結果、第１画像ＰＩＭ５１が得られ、第２視点ＶＰ２から撮像範囲ＴＡを撮像した結果、第２画像ＰＩＭ５２が得られ、第３視点ＶＰ３から撮像範囲ＴＡを撮像した結果、第３画像ＰＩＭ５３が得られたものとする。なお、第１画像ＰＩＭ５１～第３画像ＰＩＭ５３から検出される被写体ＯＢのエッジの方向は、全てＥＤで示す方向であるものとする。
　この時、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２に基づいて、三角測量を行う場合には、第１視点ＶＰ１と第２視点ＶＰ２を結ぶ線分ＢＬ１が基線となる。そして、基線ＢＬ１の方向はＢＬＤ１で示す方向となり、被写体ＯＢのエッジの方向ＥＤと平行になる。そのため、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２を見比べてみても、画像の差異がほとんどなく、どちらの画像がどちらの視点から撮像された画像かを判別することが難しい。よって、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２からは、被写体ＯＢまでの正確な距離を推定するのが困難である。
　一方で、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３に基づいて、三角測量を行う場合には、第２視点ＶＰ２と第３視点ＶＰ３を結ぶ線分ＢＬ２が基線となる。そして、基線ＢＬ２の方向はＢＬＤ２で示す方向となり、エッジの方向ＥＤと垂直になる。この時に、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３を見比べると、被写体ＯＢのエッジが、第３画像ＰＩＭ５３の方が画像の下方に映っているため、第３画像ＰＩＭ５３が第３視点ＶＰ３から撮像された画像であると容易に判別することができる。よって、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３からは、被写体ＯＢまでの正確な距離を容易に推定することができる。
　従って、三角測量による距離測定精度を上げるためには、あらゆるエッジに対応できるように基線方向の角度分解能を上げる必要がある。そして、そのためには、より多くの視点からの視差画像を生成する必要がある。
　生成する視差画像を１つ増やすためには、各マイクロレンズの受光領域内に含まれる受光セルの数を１つずつ増やす必要がある。しかし、撮像素子が有する受光セルの数は有限であるため、各マイクロレンズの受光領域内に含まれる受光セルの数を１つずつ増やすと、１枚の視差画像を構成する画素数が、マイクロレンズの数だけ減少する。例えば、図３（Ａ）の撮像素子ＰＤから１枚の画像を生成した場合には、８１画素の画像が生成できるが、図３（Ｂ）のように、９枚の視差画像を生成する場合には、空間解像度が１／３の９画素の視差画像しか生成できない。つまり、視差画像の数と視差画像の空間解像度はトレードオフの関係にあり、生成する視差画像の数を多くすると、視差画像の空間解像度が低下する。視差画像の空間解像度が低下すると、前述したフォーカス位置調整後の表示画像等の空間解像度も低下してしまうことになる。
　そこで、本実施形態の撮像装置１００等は、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成可能にする。
　具体的には、例えば後述する図７の調整部１６０等が、撮像レンズ１１０により結像された被写体の像と撮像素子１２０とを相対的に回転させる。
　そして、処理部１４０が、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得し、取得した回転情報と、撮像素子１２０から得られる画像情報とに基づいて、視差画像を生成する。
　ここで、被写体の像と撮像素子１２０とを相対的に回転させる方法としては、例えば後述する第１の実施形態のように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を相対的に回転させる方法などがある。また他にも、後述する第２の実施形態のように、撮像レンズ１１０と撮像素子１２０の間に、後述する図２４に示すような像回転素子１９０を設け、像回転素子１９０を回転させることにより、撮像素子１２０に対して被写体の像を相対的に回転させる方法などがある。ただし、本実施形態において、被写体の像と撮像素子１２０とを相対的に回転させる方法は、上記に限定されない。また、回転情報と画像情報に基づいて視差画像を生成する具体的な方法については、後述する。
　そして、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させる前に撮像素子１２０から得られる第１画像情報に基づいて、第１視差画像を生成し、被写体の像と撮像素子１２０とを相対的に回転させた後に撮像素子１２０から得られる第２画像情報と、回転情報とに基づいて、第２視差画像を生成する。
　すなわち、被写体の像と撮像素子１２０とを相対的に回転させない状態で生成可能な数と同じ数の視差画像を、１度回転する毎に生成すること等が可能になる。例えば、図３（Ａ）のように、１度に９枚の視差画像を生成可能な場合には、回転前と１度回転させた後とで、計１８枚の視差画像を生成可能になり、２度回転させる場合には、計２７枚の視差画像を生成可能になる。また、本実施形態では、生成する視差画像の枚数に応じて、レンズアレイ１３０の各レンズの受光領域に対応して設ける受光セルの数を変更することはないため、生成する視差画像の枚数を増やしても、視差画像の空間解像度を低下させることがない。
　よって、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することが可能となる。
　２．第１の実施形態
　第１の実施形態では、前述したように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を相対的に回転させることにより、被写体の像と撮像素子１２０とを相対的に回転させる。つまり、被写体の像側は回転させずに、撮像素子１２０側を回転させる。
　２．１．システム構成例
　次に、第１の実施形態の撮像装置の詳細なシステム構成例を図７に示す。なお、以下では、図１を用いて説明した内容と重複する部分については、適宜省略して説明を行う。
　撮像装置１００は、撮像レンズ１１０と、撮像素子１２０と、レンズアレイ１３０と、処理部１４０と、記憶部１５０と、調整部１６０と、操作部１７０と、表示部１８０と、を含む。第１の実施形態の撮像装置１００の具体例としては、例えばＰＣ本体と、ＰＣ本体とは別体のカメラ（例えば顕微鏡）との二つの装置から構成されるものも考えられる。その場合には、カメラが、撮像レンズ１１０と、撮像素子１２０と、レンズアレイ１３０と、調整部１６０とを有し、ＰＣ本体が、処理部１４０と、記憶部１５０と、操作部１７０と、表示部１８０とを有する。なお、操作部１７０及び表示部１８０は、さらに別体として構成されていてもよい。
　次に、各部について説明する。撮像素子１２０は、例えばイメージセンサー、ＣＣＤ、ＣＭＯＳなどであり、撮像レンズ１１０の光軸を中心とした回転方向に駆動可能である。
　レンズアレイ１３０は、前述したように、撮像素子１２０の近傍に設けられ、撮像素子１２０と連動して、撮像レンズ１１０の光軸を中心とした回転方向に回転駆動する。撮像素子１２０及びレンズアレイ１３０は、一つのユニットとして一体的に形成され、一体として回転駆動してもよい。ただし、本実施形態は、撮像素子１２０とレンズアレイ１３０とが連動して回転する形態に限定されず、レンズアレイ１３０のみが回転する構成であってもよい。
　また、レンズアレイ１３０の各レンズは、例えば円形のマイクロレンズである。ただし、各レンズの形状は、円形に限らず、隣接レンズとの間に間隙を作らない、四角形や六角形であってもよい。さらに、レンズアレイ１３０の各レンズは、後述するシリンドリカルレンズなど、軸方向によって異なる曲率を持つレンズであってもよい。
　そして、処理部１４０は、角度取得部１４１と、画像取得部１４３と、画像合成部１４５と、を含む。
　角度取得部１４１は、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得する。具体的には、角度取得部１４１は、例えばロータリーエンコーダーや角度センサーなどであり、撮像素子１２０及びレンズアレイ１３０の少なくとも一方の基準角度に対する回転角度を取得する。基準角度については後述する。
　画像取得部１４３は、イメージセンサードライバーなどであり、撮像素子１２０の各受光セルから画像情報を取得する。ここで、画像情報は、受光セルで受光した光線の信号から算出される画素値などの情報である。また、画像取得部１４３は、画像情報の他に、その画像情報の画素座標値等を取得してもよい。以下では、画像情報と、その画像情報の画素座標値のセットを、セル情報と呼ぶ。なお、画像取得部１４３は、イメージセンサーと一体的に形成されていてもよい。
　画像合成部１４５は、画像情報に基づいて視差画像を生成する。画像合成部１４５は、例えばＰＣにインストールされたソフトウェアなどである。
　記憶部１５０は、生成された視差画像や、表示部１８０に表示する表示画像、その他のデータベースを記憶したり、処理部１４０等のワーク領域となったりするもので、その機能はＲＡＭ（Random Access Memory）等のメモリやＨＤＤ（Hard Disk Drive）などにより実現できる。記憶部１５０は、ＰＣに搭載されていてもよいし、独立しており、通信により処理部１４０等と接続されていてもよい。
　調整部１６０は、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転駆動するモーターとモータードライバーなどである。また、ユーザーが手動により、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転させる場合には、調整部１６０は、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転させる駆動機構である。
　操作部１７０は、調整部１６０を駆動させるためのユーザー操作を受け付けるマウス及びキーボード、ボタン、スイッチ等であり、操作用のソフトウェアやメモリを含むことができる。
　表示部１８０は、視差画像又は視差画像に基づいて生成された表示画像を表示する。表示部１８０は、例えば液晶ディスプレイや有機ＥＬディスプレイ、電子ペーパーなどにより実現できる。
　本実施形態では、撮像素子１２０と被写体の像とを相対的に回転させる調整部１６０を含むことにより、回転前とは異なる視点から被写体を見た時の視差画像を生成すること等が可能になる。
　２．２．処理の詳細
　本実施形態では、処理部１４０が、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を、撮像レンズ１１０の光軸を回転軸として、撮像レンズ１１０に対して相対的に回転させた時の回転角度を、回転情報として取得し、取得した回転角度と画像情報とに基づいて、視差画像を生成する。
　これにより、撮像レンズ１１０により結像された被写体の像に対する撮像素子１２０の向きを調整することができる。
　次に、図８及び図１０のフローチャートを用いて、本実施形態の処理の流れを説明する。
　まず、図８のフローチャートに示すように、被写体の像に対する撮像素子１２０の向きを設定する（Ｆ１）。この撮像素子１２０の向きは、撮像素子１２０及びレンズアレイ１３０を回転駆動させる際の目標となる向きである。
　例えば、図９に示すように、回転前の撮像素子ＰＤの上方向ＵＤを基準方向とし、基準方向の角度（基準角度）を０度として、撮像素子１２０を４５度ずつ右回転させる場合には、１回目の回転駆動で目標となる撮像素子１２０の向きは、右周り４５度の方向となる。そして、２回目の回転駆動で目標となる撮像素子１２０の向きは、右周り９０度の方向となる。
　ユーザーは複数の方法で撮像素子１２０及びレンズアレイ１３０の駆動方法を指定でき、操作部１７０はユーザーに指定された方法で、目標となる撮像素子１２０の向きを算出する。
　具体的に、撮像素子１２０及びレンズアレイ１３０の駆動方法は、例えばユーザーが撮像素子１２０の向きを都度指定又は直接調整する方法、撮像素子１２０の向きが予めプログラムされている方法、回転角度範囲と撮像回数を指定する方法、回転角度範囲とステップ角度を指定する方法、ステップ角度と撮像回数を指定する方法などがある。
　ここで、ステップ角度とは、撮像素子１２０の向きの１回の調整で、被写体の像に対して撮像素子１２０を相対的に回転させる角度のことである。例えば図９の例では、ステップ角度は４５度である。
　また、本実施形態では、撮像素子１２０の向きを１回調整する度に撮像を行う。そのため、ステップ角度は、第ｊ回目の撮像をしてから第（ｊ＋１）回目の撮像をするまでの間の（ｊは１以上の整数）、被写体の像と撮像素子１２０との相対的な回転角度とも言える。ステップ角度は、通常固定であるが、後述するような場合には、例外的に一部の回転駆動時に異なるステップ角度となる場合がある。
　また、回転角度範囲は、設定されている撮像回数の撮像を行った時の、被写体の像と撮像素子１２０との相対的な回転角度である。例えば、図９のように、ステップ角度が４５度で、撮像回数が５回の場合には、回転角度範囲は１８０度となる。
　そして、前述したように、ユーザーにより撮像素子１２０の向きを都度指定する場合には、操作部１７０は、ユーザーにより指定された向きを調整部１６０に送信する。ユーザーの所望する全ての向きを指定し終えたら終了コマンドを送信する。なお、ユーザーが直接、手動で撮像素子１２０の向きを調整する場合には、ステップＦ１及びステップＦ２の処理を行う必要はない。
　また、撮像素子１２０の目標の向きが予めプログラムされている場合には、操作部１７０は、操作部１７０内のメモリに予め記憶されている撮像素子１２０の目標の向きを順に調整部１６０に送信する。記憶されている向きを送信し終えたら終了コマンドを送信する。
　また、回転角度範囲と撮像回数が指定される場合には、操作部１７０は、指定された回転角度範囲を撮像素子１２０等が等角度間隔で回転駆動するように、指定された撮像回数と同じ数だけの撮像素子１２０の目標の向きを算出する。なお、この場合には０度を初回の向きとする。そして、算出した向きを順に調整部１６０に送信する。例えば、回転角度範囲が１８０度で、撮像回数が５回の図９に示すような場合には、｛０度、４５度、９０度、１３５度、１８０度｝の向きの情報が送信される。算出した向きを送信し終えたら終了コマンドを送信する。
　また、回転角度範囲とステップ角度が指定される場合には、操作部１７０は、指定された回転角度範囲を指定されたステップ角度ずつ回転駆動するように撮像素子１２０の向きを算出し、順に調整部１６０に送信する。ただし、設定可能な撮像素子１２０の向きの最大値は、回転角度範囲までとする。例えば、回転角度範囲が１８０度で、ステップ角度が５０度の場合には、０度から５０度刻みで駆動するように、｛０度、５０度、１００度、１５０度、１８０度｝の向きが送信される。この例では、回転角度範囲を１８０度としているため、４回目の回転時だけ、ステップ角度が３０度となる。算出した向きを送信し終えたら終了コマンドを送信する。
　また、ステップ角度と撮像回数が指定される場合には、操作部１７０は、０度を初回の向きとして、指定された撮像回数と同じ数だけの撮像素子１２０の向きを算出し、順に調整部１６０に送信する。例えば、ステップ角度が３０度で、撮像回数が４回の場合には、０度から３０度ずつの合計３回、回転駆動を行うように、｛０度、３０度、６０度、９０度｝の撮像素子１２０の向きが送信される。算出した向きを送信し終えたら終了コマンドを送信する。
　このように、調整部１６０は、被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、被写体の像と撮像素子１２０との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の被写体の像と撮像素子１２０との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、被写体の像と撮像素子１２０とを相対的に回転させてもよい。
　これにより、ユーザーが撮像を行う度に手動で撮像素子１２０等を回転させたり、予め撮像素子１２０の向きをプログラムしておかなくても、撮像状況に合わせて柔軟に、被写体の像と撮像素子１２０とを相対的に回転させること等が可能になる。
　次に、調整部１６０は、操作部１７０により指定された向きになるように、撮像素子１２０及びレンズアレイ１３０を回転駆動させる（Ｆ２）。撮像素子１２０及びレンズアレイ１３０を回転させる際には、ステッピングモーターのパルス数の計測や、角度センサーやロータリーエンコーダーを使用することで、回転角を検出できる。
　そして、角度取得部１４１は、撮像素子１２０等の向き調整の終了後に、撮像素子１２０の向きを取得する（Ｆ３）。撮像素子１２０の向きの取得方法としては、角度取得部１４１が角度を測定する方法、調整部１６０の位置決めの際の値を取得する方法、操作部１７０から指定された値を取得する方法等が考えられる。
　また、画像取得部１４３は、撮像素子１２０等の向き調整の終了後に、撮像素子１２０のセル情報（画素座標値と画像情報）を取得する（Ｆ４）。なお、ステップＦ３及びステップＦ４の処理は、どちらが先に行われてもよいし、同時に行われてもよい。
　そして記憶部１５０は、角度取得部１４１が取得した撮像素子１２０の向き（回転情報）と、画像取得部１４３が取得したセル情報を関連付けて１セットの情報として記憶する（Ｆ５）。
　このように、記憶部１５０が、回転情報と画像情報とを関連付けて記憶することにより、画像情報に関連付けられた回転情報と、その画像情報に基づいて、回転前に生成した視差画像とを比較して視差を検出可能な視差画像を生成すること等が可能になる。
　そして、終了条件を満たすまで、ステップＦ１～ステップＦ５を繰り返す（Ｆ６）。なお、終了条件は、操作部１７０による終了トリガ、タイムアウトなどが考えられる。
　次に、前述した、回転前に生成した視差画像と比較可能な視差画像の生成処理の流れについて、図１０のフローチャートを用いて詳述する。
　ここで、視差を検出可能な視差画像とは、二つの画像の差が視点の違いに起因するものだけであり、その他の原因に起因する差を含まない画像のことである。例えば、その他の原因に起因する差とは、撮像時の光学系の状態によるものや、画像処理を行う上で生じるもの等である。本実施形態では、前述したように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０を回転させて撮像を行うため、図８に示すフローチャートの処理を終了した時点で得られる複数の画像は互いに、視点の違い以外による差を含んでいる。
　画像同士を比較して、視差を検出可能にするためには、以下の３つの条件を満たす必要がある。第１に、２つの画像が同じ画素座標系に配置された画素から構成されている必要があり、第２に、２つの画像を撮像した時のマイクロレンズアレイの各マイクロレンズの配置位置が同じである必要がある。そして第３に、撮像時の各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も同じである必要がある。図８に示すフローチャートの処理を終了した時点で得られる複数の画像は、これらの条件を満たしていないため、本実施形態では、あたかもこれらの条件を満たした状態で撮像された画像になるように、画像処理を行って、画像を補正する。具体的には、以下の処理を行う。
　図１０のフローチャートの処理を行う前の段階では、操作部１７０が指定した各向きの撮像素子１２０で取得されたセル情報と、セル情報を取得したときの撮像素子１２０の向き（回転情報）が全て、記憶部１５０に記憶されている。
　以下の説明では、図１１に示すように、各マイクロレンズの受光領域μＡＲ内に４つの受光セル（Ａ、Ｂ、Ｃ、Ｄ）が配置された撮像素子１２０を用いるものとする。図１１の例の撮像素子１２０を用いる場合には、無回転の時に４枚の視差画像を得ることができる。
　まず、処理部１４０は、基準角度を設定する（Ｆ７）。基準角度は、回転した画像の向きを揃えるための基準となる撮像素子１２０の角度である。基準角度は、例えば操作部１７０からユーザーが指定する。また、基準角度がユーザーにより指定されない場合は、デフォルト値を基準角度とする。基準角度のデフォルト値は任意に決めることができる（例えば図９に示すように撮像素子１２０の向きが０度等）。
　次に、画像合成部１４５が、記憶部１５０に記憶されているセル情報に基づいて、取得した画像の向きが、基準角度の画像と同じ向きになるように、画像の座標変換処理を行う（Ｆ８）。言い換えれば、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、回転情報に基づいて、第１画素座標系から第２画素座標系への画像情報の座標変換処理を行う。
　具体例を図１２（Ａ）～図１２（Ｃ）に示す。図１２（Ａ）には、撮像素子ＰＤが基準角度θｓの方向を向いている状態で、被写体ＯＢを撮像して得られる画像ＰＩＭ１０１を示す。本例では、この画像ＰＩＭ１０１の横軸ｘ’と縦軸ｙ’を定義する画素座標系が、前述した第２画素座標系であるものとする。
　一方、図１２（Ｂ）には、撮像素子ＰＤが任意の回転角度θｉの方向を向けられた状態で、被写体ＯＢを撮像して得られる画像ＰＩＭ１０２を示す。本例では、この画像ＰＩＭ１０２の横軸ｘと縦軸ｙを定義する画素座標系が、前述した第１画素座標系であるものとする。
　この時、被写体の像と撮像素子１２０との相対的な回転角度θは、下式（１）により求められる。この回転角度θは、前述したように、画像ＰＩＭ１０２に関連付けられて記憶部１５０に記憶されている。
Figure JPOXMLDOC01-appb-M000001
 　そして、ステップＦ８では、図１２（Ｃ）に示すように、下式（２）により、回転角度θに基づいて、第１画素座標系から第２画素座標系への画像ＰＩＭ１０２の座標変換処理を行って、座標変換後の画像ＰＩＭ１０３を取得する。この画像ＰＩＭ１０３は、撮像素子ＰＤが任意の回転角度θｉの方向を向いている状態で撮像された画像であるが、画像ＰＩＭ１０１と同じ第１画素座標系の画像である。
Figure JPOXMLDOC01-appb-M000002
 　これにより、被写体の像が同じ向きで映る画像を取得すること等が可能になる。
　上記では、視差を検出可能な画像の条件として、３つの条件を挙げた。しかし、ステップＦ８の処理によって、１つ目の条件は満たされたが、残り２つの条件が満たされていない。つまり、ステップＦ８後の画像を、基準となる画像（以下、基準画像と呼ぶ。）と比較して視差を検出可能な画像にするためには、マイクロレンズアレイの各マイクロレンズの配置位置が基準画像とあたかも同じであり、各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も基準画像とあたかも同じである必要がある。
　なぜなら、以下のような理由があるためである。まず、同じマイクロレンズの受光領域に含まれる受光セルで受光される光線は、撮像レンズの物体面のある１点から射出された光線であり、複数の視差画像間で対応する（同一の）画素位置の画素を生成する情報を持つ。そして、そのような光線が、同じ受光領域内のうちのどの受光セルで受光されるかは、撮像レンズ瞳面のどの領域をその光線が通過したかによって決まり、生成される視差画像において視差となって表れる。
　そもそも視差とは、撮像レンズの物体面の同じ点を通過した光線から得られる画像情報の、視点による差である。そのため、撮像レンズの物体面の異なる点を通過した光線から得られる画像情報間には、視差以外の差も含まれる。つまり、視差だけを検出する際には、撮像レンズの物体面の同じ点を通過した光線から得られる画像情報同士を比較する必要がある。
　しかし、撮像レンズに対して撮像素子及びマイクロレンズアレイを回転させると、同じマイクロレンズの受光領域に含まれる受光セルが、回転前後で、撮像レンズの物体面の異なる点を通過した光線を受光することになってしまう。撮像素子及びマイクロレンズアレイの回転前後で、マイクロレンズの受光領域の位置がずれるためである。例えば、同一のｘ’ｙ’画素座標系において、回転前には図１３（Ａ）に示すような配置であった各マイクロレンズの受光領域μＡＲが、回転後には図１３（Ｂ）に示すような配置になり、受光領域が重ならない状態になる（後述する図１４（Ａ）にも同様の状態を図示する。）。そのため、例えばある受光セルが、回転前には、撮像レンズの物体面のＡ点を通過した光線を受光し、回転後には、撮像レンズの物体面のＢ点を通過した光線を受光してしまう状況が起こり得る。このような場合には、図１３（Ａ）に示すセル情報から、図１３（Ｃ）に示す画像ＰＩＭ１２１を生成し、図１３（Ｂ）に示すセル情報から、図１３（Ｄ）に示す画像ＰＩＭ１２２を生成しても、画像ＰＩＭ１２１と画像ＰＩＭ１２２を比較して、２つの画像間の視差を正確に検出することができない。
　そこで、ステップＦ９では、図１３（Ｅ）に示すように、座標変換後のセル情報（画像ＰＩＭ１２２）から、基準画像ＰＩＭ１２１と重なるようにセル情報の補間処理を行って、補間後の画像ＰＩＭ１２３を生成する。言い替えると、処理部１４０は、座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、補間済み画像情報に基づいて視差画像を生成する（Ｆ９）。その結果、補間後の画像ＰＩＭ１２３と基準画像ＰＩＭ１２１とを比較して、視差の検出を行うことが可能になる。
　さらに言い換えれば、ステップＦ９の処理は図１４（Ａ）及び図１４（Ｂ）に示すような処理である。図１４（Ａ）及び図１４（Ｂ）の例では、被写体の像に対して撮像素子がθ度回転する前の受光領域に相当する画素領域がＢμＡＲであり、回転後の受光領域に相当する画素領域がＡμＡＲであるものとする。この時に、ステップＦ９の処理を行う前には、図１４（Ａ）に示すように、回転前後の受光領域に相当する画素領域は互いに重ならないが、ステップＦ９の処理を行うことにより、図１４（Ｂ）に示すように、回転前後の受光領域に相当する画素領域が互いに重なるようにする。
　次に、図１５を用いて、ステップＦ９の具体的な処理内容を説明する。図１５の例では、基準となるマイクロレンズの受光領域（例えば座標変換前のマイクロレンズの受光領域）に対応する領域内に、座標変換後の画素Ａに対応する画素Ａ’を補間する。
　まず、画素Ａ’の座標を求める。ここで、基準画像のマイクロレンズの受光領域の中心座標をＰ’（ｘ１、ｙ１）とし、画素Ａの座標をＡ（ｘ２、ｙ２）とし、画素Ａが含まれる座標変換後のマイクロレンズの受光領域の中心座標をＰ（ｘ３、ｙ３）とする。画素Ａ及びＰ、Ｐ’の座標は全て既知である。この時、同じＬＦ情報を持つ画素は、マイクロレンズの受光領域のある１点（例えば中心点）との位置関係が等しくなるため、画素Ａ’の座標（ｘ’、ｙ’）は下式（３）で求めることができる。
Figure JPOXMLDOC01-appb-M000003
 　次に画素Ａ’の画素値を求める。画素Ａ’の画素値を求めるには、同じＬＦ情報を持つ近傍の複数の画素の画素値を使用する。画素値を補間する方法としては、ニアレストレイバー法及びバイリニア法、バイキュービック法などがある。ここではバイリニア法を例にあげて、図１６を用いて説明を行う。
　図１６の点Ｉ’（ｘ’、ｙ’）は、Ｉ’の画素値を有する画素が座標（ｘ’、ｙ’）にあることを表す。本例では、座標と画素値がわかっている４つの画素Ｉ１（ｘ１、ｙ１）、Ｉ２（ｘ２、ｙ２）、Ｉ３（ｘ３、ｙ３）、Ｉ４（ｘ４、ｙ４）から座標（ｘ’、ｙ’）の画素値Ｉ’を求める。なお、座標（ｘ’、ｙ’）は、上式（３）により求めた座標である。
　まず、画素Ｉ１（ｘ１、ｙ１）と画素Ｉ２（ｘ２、ｙ２）を繋ぐ線分上にあり、ｘ軸座標値がｘ’である画素Ｉ５（ｘ’、ｙ５）と、画素Ｉ３（ｘ３、ｙ３）と画素Ｉ４（ｘ４、ｙ４）を繋ぐ線分上にあり、ｘ軸座標値がｘ’である画素Ｉ６（ｘ’、ｙ６）の画素値とｙ軸座標値を求める。画素値Ｉ５は、ｘ軸座標値の比を用いて下式（４）により、その画素のｙ軸座標値ｙ５は、下式（５）により、それぞれ求めることができる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 　同様にして、画素Ｉ６（ｘ’、ｙ６）の画素値Ｉ６は下式（６）により、ｙ軸座標値ｙ６は下式（７）により、それぞれ求めることができる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　そして、画素Ｉ’（ｘ’、ｙ’）は、Ｉ５（ｘ’、ｙ５）とＩ６（ｘ’、ｙ６）を繋ぐ線分上にあるため、同様にｙ座標の比を用いて、下式（８）により求めることができる。
Figure JPOXMLDOC01-appb-M000008
 　これにより、マイクロレンズアレイの各マイクロレンズの配置位置が、各マイクロレンズの基準位置とあたかも同じ位置の状態で撮像され、各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も各受光セルの基準位置とあたかも同じ位置の状態で撮像されたかのような、視差画像を生成すること等が可能になる。
　つまり、基準となる画像と比較して、視差を検出することが可能な視差画像を取得できる（Ｆ１０）。そして、記憶部１５０に記憶されている全ての画像に対して、ステップＦ８～ステップＦ１０の処理を行う（Ｆ１１）。以上が本実施形態の処理の流れである。
　以上の処理をまとめると、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させた後に（Ｆ２）、第１画素座標系での画像情報を取得し（Ｆ４）、回転情報に基づいて、第１画素座標系から第２画素座標系への画像情報の座標変換処理を行い（Ｆ８）、座標変換処理後の画像情報に基づいて、補間処理を行って（Ｆ９）、補間済み画像情報を生成し、補間済み画像情報に基づいて視差画像を生成する（Ｆ１０）。
　本実施形態では、撮像レンズ瞳面を通過し、撮像レンズ結像面で集光する光線を、マイクロレンズの作用により、通過した瞳面の領域に応じて分離する。
　光線が通過する瞳面の位置と、受光されるマイクロレンズの受光領域の位置は、瞳面及びマイクロレンズの受光領域の中心に対して点対称になっている。
　従って、瞳面の同じ位置を通過した光線は、すべてのマイクロレンズ受光領域で相対的に同じ位置の受光セルに入射するため、マイクロレンズ受光領域の相対的に同じ位置のセル情報から算出される画素のみを集めて画像を作ることで、視点の異なる視差画像を得ることができる。
　例えば、図１７で撮像レンズ瞳面ＰＳの左下の光線通過領域Ａを通過した光線は、マイクロレンズ受光領域μＡＲでは右上の受光セルＡに入射する。従って、図１８に示すように各マイクロレンズ受光領域μＡＲの受光セルＡのセル情報から算出された画素のみから生成される視差画像ＰＩＭＡは、撮像レンズ瞳面ＰＳの左下の光線通過領域Ａを視点とした画像になる。
　撮像レンズ瞳面ＰＳの視点と、マイクロレンズ受光領域μＡＲの受光セルは中心に対し点対称になっているため、図１７に示すように、視点が作る基線ＢＬの方向θ１と、受光セルを繋ぐ直線ＣＬの角度θ２は等しい。
　また、本実施形態によれば、例えば、１つのマイクロレンズに対し４つの受光セルが配された撮像素子１２０を４５度回転させることで、図１９のように、撮像レンズ瞳面ＰＳ上に８つの視点（Ａ～Ｄ、Ａ’～Ｄ’）を得て、８枚の視差画像を生成することができる。これらの視差画像から得られる基線方向の数は、図２０のように１つのマイクロレンズに対し、受光セルが３×３に配列されたＰｌｅｎｏｐｔｉｃ１．０光学系に相当する。
　図２０のように、１つのマイクロレンズ当たり９個の受光セル（Ａ～Ｉ）が配置される場合、得られる画像の空間解像度は、従来のカメラに比べ１／３になる。それに対し、本実施形態によれば１つのマイクロレンズ当たり４個の受光セルで済むため、得られる画像の空間解像度は１／２になる。この空間解像度は、従来のＰｌｅｎｏｐｔｉｃ１．０方式の１．５倍である。
　また、被写体の像に対する撮像素子１２０の相対的な回転角度範囲は、９０度以下であることが望ましい。撮像素子１２０を９０度回転すると、回転前の受光セルの配置と重なってしまうためである。つまり、９０度以上回転して得られる情報は、９０度以下の回転でも得ることができる。回転範囲を９０度以下とすることで、重複画像の取得による計算処理量・処理時間の増加を防ぐことができる。
　そして、１度の回転駆動で撮像素子１２０を回転させる回転角（ステップ角度）は、９０度の整数分の１であることが望ましい。ステップ角度に粗密があると、画素を補間する際の情報量に違いが出るためである。ステップ角度を９０度の整数分の１とすることにより、画素を補間する際の情報量を均一にできる。
　また、本実施形態では、画像合成部１４５が、表示用の画像も生成してもよい。
　２．３．第１の変形例
　次に、第１の実施形態の第１の変形例について説明する。
　処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させる前に撮像素子１２０から得られる第１画像情報と、被写体の像と撮像素子１２０とを相対的に回転させた後に撮像素子１２０から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成してもよい。
　第１の変形例では、視差画像の生成の他に、空間分解能の高い表示画像を生成する。以下の説明では、例えば表示画像として１枚の超解像度画像を生成する。ただし、表示画像と視差画像の両方を生成してもよい。なお、第１の変形例のシステム構成例は、前述した図７と同様である。
　さて、画面上に表示する表示画像の解像度は高いほうが望ましい。しかし、視差画像を複数生成する場合には、従来のカメラに比べて、画像の空間解像度は低下してしまう。例えば前述した図１１に示すような、１つのマイクロレンズに対して４つの受光セルが配置されている撮像素子の場合には、従来のカメラに比べて、生成される画像の空間解像度が１／２になる。
　ここで、低下した空間解像度を高める手法として、複数枚の画像を使用して、画素間の画素を推定又は補間する技術が知られている。しかし、視差画像のように、複数の画像間で視点が異なる場合には、視点と物体の相対的な位置が異なるため、画素間の推定又は補間を行う際に複雑な処理を必要とする。
　そこで、第１の変形例では、処理を簡略化するために、受光セル単体で受光される光線ではなく、１つのマイクロレンズの受光領域全体の光線を考える。１つのマイクロレンズの受光領域全体の光線とは、例えば前述した図１１の例であれば、受光セルＡが受光する光線と、受光セルＢが受光する光線と、受光セルＣが受光する光線と、受光セルＤが受光する光線の４種類をひとまとめにして考えた光線のことである。１つのマイクロレンズの受光領域全体の光線を考える場合には、視点が撮像レンズの中心に固定され、この視点は画素座標を回転変換しても変わらない。よって、マイクロレンズごとに、各マイクロレンズの受光領域全体の光線に相当する画素（以下では、代表画素と呼ぶ。）を補間により求め、その後さらに、基準画像の代表画素間の画素を、撮像素子等の回転後に得られる代表画素を用いて補間する。
　以下で第１の変形例の具体的な処理の内容を、図２１のフローチャートを用いて説明する。まず、ステップＦ８までは、図８及び図１０のフローチャートを用いて前述した処理と同じ処理を行う。
　次に、ステップＦ８で座標変換されたセル情報から、マイクロレンズの受光領域ごとに、代表画素を補間して求める（Ｆ１２）。例えば、代表画素のセル情報は、各マイクロレンズの受光領域に含まれる受光セルから得られるセル情報（画素座標及び画素値）の平均を取ることで求められる。図２２の例では、代表画素としてＢＲＣが求められたものとする。
　そして本例では、ステップＦ８及びステップＦ１２の処理を、図８のフローチャートの処理で取得した全ての画像について行う（Ｆ１１）。
　最後に、代表画素間の画素を補間する（Ｆ１３）。本例では、撮像素子等を回転させる前の代表画素のセル情報を基準のセル情報とする。その他の、撮像素子等を回転させた後のセル情報は、基準のセル情報を補間するために用いる。例えば、図２２において、回転後の画素として、ＡＲＣが求められたものとする。ステップＦ１３では、この回転後の画素ＡＲＣのセル情報に基づいて、代表画素ＢＲＣ間の画素ＣＣを補間する。例えば、画素ＣＣは、代表画素ＢＲＣの中間画素座標に位置する画素である。補間方法については、ステップＦ９と同様である。
　これにより、ＬＦ情報を持たない表示画像の空間分解能を高めること等が可能になる。
　２．４．第２の変形例
　次に、第１の実施形態の第２の変形例について説明する。第２の変形例では、レンズアレイ１３０が有する各レンズとして、マイクロレンズに代えて、シリンドリカルレンズを使用する。
　シリンドリカルレンズには、曲率を持つ軸と、曲率を持たない軸があり、曲率を持つ軸では光線を分離しＬＦ情報を取得するが、曲率を持たない軸では光線を分離せずＬＦ情報を取得しない。しかし、曲率を持たない軸方向の空間分解能は毀損せず、従来のカメラと同じ空間解像度を取得できる。
　第２の変形例では、撮像素子１２０を回転させることで、曲率を持たない軸方向でのＬＦ情報を取得するとともに、曲率を持つ軸方向での空間分解能の低下を防ぐことができる。
　また、レンズアレイ１３０の代わりに、グレーティング（回折格子）を用いて、撮像レンズを通過した光線を屈折させ、屈折させた光線を各受光セルに入射させる形態も考えられる。
　２．５．第３の変形例
　次に、第１の実施形態の第３の変形例について説明する。第３の変形例では、処理部１４０は、生成した視差画像の周縁領域を切り取るトリミング処理を行う。また、処理部１４０は、視差画像だけでなく、表示画像の周縁領域を切り取るトリミング処理を行っても良い。
　図２３に示すように、視差画像を生成する場合、回転した際にマイクロレンズの受光領域が重ならず、基線方向の角度分解能が低い領域ＤＡＲが存在する可能性がある。画像が重なった領域ＣＡＲを抽出することで、角度分解能が低い領域をなくすことができる。
　また、表示画像を生成する場合には、補間に使われるセル情報が少ないと、空間分解能が高まらず、画像の領域によって空間分解能に偏りができる可能性がある。
　第３の変形例のトリミング処理を行うことにより、視差画像及び表示画像において空間分解能が低い領域をなくすこと等が可能になる。
　３．第２の実施形態
　次に、第２の実施形態について説明する。第２の実施形態では、図２４のシステム構成例に示すように、撮像レンズ１１０とレンズアレイ１３０の間に、像回転素子１９０を設け、像回転素子１９０を回転させることにより、撮像素子１２０に対して被写体の像を相対的に回転させる。つまり、第１の実施形態とは逆に、撮像素子１２０側は回転させずに、被写体の像側を回転させる。
　本実施形態の撮像装置１００は、撮像レンズ１１０とレンズアレイ１３０の間に、回転可能な像回転素子１９０を有する。像回転素子１９０は、例えば像回転プリズムなどである。
　そして、処理部１４０は、回転情報として、撮像レンズ１１０に対する像回転素子１９０の回転角度を取得し、取得した回転角度と画像情報とに基づいて、視差画像を生成する。
　例えば、図２５（Ａ）～図２５（Ｃ）に示すように、像回転プリズムＩＲＤは、入力された像を回転させ、かつ反転させて出力する。図２５（Ａ）の例では、像回転プリズムＩＲＤの縦方向が、入力像ＩＩ１に対して点線ＲＬ１で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ１が回転し反転され、出力像ＯＩ１が得られる。
　また、図２５（Ｂ）の例では、図２５（Ａ）の状態から像回転プリズムＩＲＤを入力像ＩＩ２に対して斜めに４５度傾け、像回転プリズムＩＲＤの縦方向が入力像ＩＩ２に対して点線ＲＬ２で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ２が回転し反転され、出力像ＯＩ２が得られる。図２５（Ｂ）の例では、像回転プリズムＩＲＤを４５度傾けたのに対して、出力像ＯＩ２は、出力像ＯＩ１から９０度回転している。
　さらに、図２５（Ｃ）の例では、図２５（Ａ）の状態から像回転プリズムＩＲＤを入力像ＩＩ３に対して９０度傾けて、像回転プリズムＩＲＤの縦方向が入力像ＩＩ３に対して点線ＲＬ３で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ３が回転し反転され、出力像ＯＩ３が得られる。図２５（Ｃ）の例では、像回転プリズムＩＲＤを９０度傾けたのに対して、出力像ＯＩ３は、出力像ＯＩ１から１８０度回転している。
　このように、像回転プリズムを用いる場合には、出力像の向きが像回転プリズム自体の回転角度の二倍の角度だけ変わることになる。これを利用して、撮像素子１２０に対して被写体の像を回転させること等が可能である。
　また、これにより、比較的、配線数の多い撮像素子１２０を動かさずに、撮像素子１２０に対して被写体の像を回転できるため、断線や接触不良の不具合リスクを低減すること等が可能になる。
　また、調整部１６０は、撮像レンズ１１０の光軸を回転軸として、撮像レンズ１１０に対して像回転素子１９０を相対的に回転させてもよい。
　これにより、ユーザーが手動で像回転素子１９０を回転させる手間を省くこと等が可能になる。
　また、角度取得部１４１は、像回転素子の角度を取得し、像回転素子から出力される像の回転角に相当する回転角に変換する。さらに、像回転プリズムを透過した画像は反転しているため、画像取得部１４３は、被写体の像が本来の向きになるように座標を変換する。
　４．第３の実施形態
　次に、第３の実施形態のシステム構成例を図２６に示す。第３の実施形態では、前述した図７又は図２４に示す構成に加えて、処理部１４０が判別部１４７を有する。
　判別部１４７は、被写体の像のエッジ方向を判別し、被写体のエッジ方向に基づいて、被写体の像と撮像素子１２０との相対的な目標回転角度を算出する。そして、判別部１４７は、算出した目標回転角度を調整部１６０に出力する。
　そして、調整部１６０は、取得した目標回転角度に基づいて、被写体の像と撮像素子１２０との相対的な向きを調整する。
　ただし、以上の処理に限定されず、調整部１６０は、その他の方法でも、被写体の像のエッジ方向に基づいて、被写体の像と撮像素子１２０とを相対的に回転させてもよい。
　これにより、被写体の像と撮像素子１２０を必要な向きにだけ調整して、必要十分なセル情報を取得することが可能となり、計算処理量及び処理時間の増加を防ぐこと等が可能になる。
　５．サーバー
　また、図２７に示すように、本実施形態は、有線及び無線の少なくとも一方を含むネットワーク３００を介した通信により、撮像部１００（撮像装置）と接続された画像処理装置２００（サーバー）により実現されてもよい。
　その場合には、本実施形態の画像処理装置２００は、撮像部１００から得られる画像情報を取得する画像情報取得部２１０と、取得された画像情報に基づいて視差画像を生成する処理部２３０と、を含む。
　一方、撮像部１００は、撮像レンズ１１０と、Ｍ個の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子１２０と（Ｍは２以上の整数）、撮像レンズ１１０と撮像素子１２０の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイ１３０と、を有する。
　そして、処理部２３０は、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得し、取得した回転情報と、撮像素子１２０から得られる画像情報とに基づいて、視差画像を生成する。
　６．顕微鏡
　本実施形態の撮像装置は、顕微鏡であってもよい。
　前述したように、視差画像を用いて三角測量を行って、被写体までの距離を測定する場合には、被写体のエッジの延びる方向と基線方向が垂直に近い場合には、距離の測定精度が高くなり、平行に近い場合には、測定精度が低くなる。
　顕微鏡のように、被写体の一部を像として取得する光学系では、エッジの数が少なく基線方向に垂直なエッジが取得できない場合がある。また、顕微鏡の被写体は半透明なものや、テクスチャ（表面の模様）が少ないものが多く、取得できるエッジが少ない。
　そこで、本実施形態の顕微鏡を用いれば、基線方向に垂直なエッジが取得できない場合や、取得できるエッジが少ない場合であっても、基線方向を回転させ、距離の測定精度を高めることが可能になる。
　さらに、本実施形態は、撮像素子１２０あるいは、撮像素子１２０に投影する像を回転させ、都度撮像素子１２０のセル情報を取得するため、セル情報を取得し終えるまでに時間がかかることがある。そのため、セル情報を取得し終えるまで、被写体は動かないことが望ましい。
　その点、顕微鏡の被写体は静的な物体が多く、その点でも本実施形態の効果を発揮しやすい。また、前述したような、被写体のエッジが少なく、被写体の動きが小さい光学系としては、顕微鏡のほかに工業用内視鏡などが考えられる。
　７．プログラム
　本実施形態の撮像装置、画像処理装置及び顕微鏡等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の撮像装置、画像処理装置及び顕微鏡等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　また、本実施形態の撮像装置、画像処理装置及び顕微鏡等は、プロセッサーとメモリを含んでも良い。ここでのプロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種プロセッサーを用いることが可能である。また、プロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係る撮像装置、画像処理装置及び顕微鏡等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して操作を指示する命令であってもよい。
　以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像装置、画像処理装置、画像処理方法及び顕微鏡等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００　撮像装置（撮像部）、１１０　撮像レンズ、１２０　撮像素子、
１３０　レンズアレイ、１４０　処理部、１４１　角度取得部、１４３　画像取得部、
１４５　画像合成部、１４７　判別部、１５０　記憶部、１６０　調整部、
１７０　操作部、１８０　表示部、１９０　像回転素子、２００　画像処理装置、
２１０　画像情報取得部、２３０　処理部、３００　ネットワーク

Claims (18)

  1. 　撮像レンズと、
    　複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、
    　前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、
    　前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、
    　を含む撮像装置。
  2. 　請求項１において、
    　前記処理部は、
    　前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報に基づいて、第１視差画像を生成し、
    　前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報と、前記回転情報とに基づいて、第２視差画像を生成することを特徴とする撮像装置。
  3. 　請求項１又は２において、
    　前記レンズアレイの前記各レンズは、
    　前記撮像素子のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、
    　前記撮像レンズを介して前記各レンズに入射する入射光を、前記各レンズへの入射角度に応じて屈折させて、前記Ｎ個の受光セルのうちのいずれかの受光セルに入射させることを特徴とする撮像装置。
  4. 　請求項１又は２において、
    　前記処理部は、
    　前記撮像素子及び前記レンズアレイにより構成されるユニット、又は前記レンズアレイを、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して相対的に回転させた時の回転角度を、前記回転情報として取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成することを特徴とする撮像装置。
  5. 　請求項１又は２において、
    　前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、
    　前記処理部は、
    　前記回転情報として、前記撮像レンズに対する前記像回転素子の回転角度を取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成することを特徴とする撮像装置。
  6. 　請求項１又は２において、
    　前記処理部は、
    　前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行うことを特徴とする撮像装置。
  7. 　請求項６において、
    　前記処理部は、
    　前記座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成することを特徴とする撮像装置。
  8. 　請求項１又は２において、
    　前記処理部は、
    　前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、
    　前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行い、
    　前記座標変換処理後の前記画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、
    　前記補間済み画像情報に基づいて前記視差画像を生成することを特徴とする撮像装置。
  9. 　請求項１又は２において、
    　前記処理部は、
    　前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報と、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成することを特徴とする撮像装置。
  10. 　請求項１又は２において、
    　前記回転情報と前記画像情報とを関連付けて記憶する記憶部を含むことを特徴とする撮像装置。
  11. 　請求項１又は２において、
    　前記撮像素子と前記被写体の像とを相対的に回転させる調整部を含むことを特徴とする撮像装置。
  12. 　請求項１１において、
    　前記調整部は、
    　前記被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、前記被写体の像と前記撮像素子との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の前記被写体の像と前記撮像素子との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させることを特徴とする撮像装置。
  13. 　請求項１１において、
    　前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、
    　前記調整部は、
    　前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して前記像回転素子を相対的に回転させることを特徴とする撮像装置。
  14. 　請求項１１において、
    　前記調整部は、
    　前記被写体の像のエッジ方向に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させることを特徴とする撮像装置。
  15. 　請求項１又は２において、
    　前記処理部は、
    　生成した前記視差画像の周縁領域を切り取るトリミング処理を行うことを特徴とする撮像装置。
  16. 　撮像部から得られる画像情報を取得する画像情報取得部と、
    　取得された前記画像情報に基づいて視差画像を生成する処理部と、
    　を含み、
    　前記撮像部は、
    　撮像レンズと、
    　複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、
    　前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、
    　を有し、
    　前記処理部は、
    　前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成することを特徴とする画像処理装置。
  17. 　撮像部から得られる画像情報に基づいて視差画像を生成する画像処理方法であって、
    　前記撮像部は、
    　撮像レンズと、
    　複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、
    　前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、
    　を有し、
    　前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、
    　取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成することを特徴とする画像処理方法。
  18. 　撮像レンズと、
    　複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、
    　前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、
    　前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、
    　を含む顕微鏡。
PCT/JP2015/064454 2014-06-24 2015-05-20 撮像装置、画像処理装置、画像処理方法及び顕微鏡 WO2015198758A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/373,386 US10162165B2 (en) 2014-06-24 2016-12-08 Imaging device, image processing device, image processing method, and microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-129065 2014-06-24
JP2014129065A JP5881777B2 (ja) 2014-06-24 2014-06-24 顕微鏡

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/373,386 Continuation US10162165B2 (en) 2014-06-24 2016-12-08 Imaging device, image processing device, image processing method, and microscope

Publications (1)

Publication Number Publication Date
WO2015198758A1 true WO2015198758A1 (ja) 2015-12-30

Family

ID=54937856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064454 WO2015198758A1 (ja) 2014-06-24 2015-05-20 撮像装置、画像処理装置、画像処理方法及び顕微鏡

Country Status (3)

Country Link
US (1) US10162165B2 (ja)
JP (1) JP5881777B2 (ja)
WO (1) WO2015198758A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438723A4 (en) * 2016-03-30 2019-05-22 Sony Olympus Medical Solutions Inc. MEDICAL STEREOSCOPIC OBSERVATION DEVICE, MEDICAL STEREOSCOPIC OBSERVATION METHOD, AND PROGRAM

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
EP3264741A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
US10684537B2 (en) * 2017-11-14 2020-06-16 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and correction
WO2019103909A1 (en) * 2017-11-21 2019-05-31 The Regents Of The University Of California Portable microscopy device with enhanced image performance using deep learning and methods of using the same
JP2021052293A (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
TWI718805B (zh) * 2019-12-11 2021-02-11 財團法人工業技術研究院 內視鏡立體成像裝置
KR102253320B1 (ko) * 2019-12-26 2021-05-17 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530410A (ja) * 2002-06-14 2005-10-06 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． センサの回転により画像の解像度を高めるシステム
JP2009260805A (ja) * 2008-04-18 2009-11-05 Fujinon Corp 特殊撮影用アダプタ
JP2011228915A (ja) * 2010-04-19 2011-11-10 Victor Co Of Japan Ltd 撮像装置および撮像方法
JP2012525028A (ja) * 2009-04-22 2012-10-18 ライトリックス・ゲー・エム・ベー・ハー デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
JP2013197649A (ja) * 2012-03-16 2013-09-30 Sony Corp 画像処理装置と画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100585453C (zh) 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530410A (ja) * 2002-06-14 2005-10-06 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． センサの回転により画像の解像度を高めるシステム
JP2009260805A (ja) * 2008-04-18 2009-11-05 Fujinon Corp 特殊撮影用アダプタ
JP2012525028A (ja) * 2009-04-22 2012-10-18 ライトリックス・ゲー・エム・ベー・ハー デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
JP2011228915A (ja) * 2010-04-19 2011-11-10 Victor Co Of Japan Ltd 撮像装置および撮像方法
JP2013197649A (ja) * 2012-03-16 2013-09-30 Sony Corp 画像処理装置と画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438723A4 (en) * 2016-03-30 2019-05-22 Sony Olympus Medical Solutions Inc. MEDICAL STEREOSCOPIC OBSERVATION DEVICE, MEDICAL STEREOSCOPIC OBSERVATION METHOD, AND PROGRAM
US11147647B2 (en) 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program

Also Published As

Publication number Publication date
JP2016009983A (ja) 2016-01-18
JP5881777B2 (ja) 2016-03-09
US20170090177A1 (en) 2017-03-30
US10162165B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
JP5881777B2 (ja) 顕微鏡
US10547786B2 (en) Image processing for turbulence compensation
US20180324401A1 (en) Automated matrix photo framing using range camera input
JP5465128B2 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP5997039B2 (ja) 欠陥検査方法および欠陥検査装置
JP6172978B2 (ja) 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JPWO2017199556A1 (ja) ステレオカメラ及びステレオカメラの制御方法
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20130208083A1 (en) Panoramic stereo catadioptric imaging
JP2017184217A5 (ja)
JP2006266848A (ja) 距離測定装置
JP2016082574A (ja) 複数ピクセルピッチ超解像技術
US11568555B2 (en) Dense depth computations aided by sparse feature matching
JP5397704B2 (ja) 形状測定装置
JP5256933B2 (ja) 焦点情報検出装置
CN103222847A (zh) 眼科设备和眼科设备的控制方法
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US11736797B2 (en) Apparatus and method for controlling apparatus including an inclination mechanism for tilting an image sensor
CN109945840B (zh) 三维影像摄取方法及系统
EP3170205B1 (fr) Dispositif de détection de mouvement
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
JP6508763B2 (ja) 表面検査装置
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP5461377B2 (ja) 角度測定装置、角度の測定方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15812636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15812636

Country of ref document: EP

Kind code of ref document: A1