WO2024014415A1 - 撮像方法、学習方法、学習データ生成装置、及びデータ構造 - Google Patents

撮像方法、学習方法、学習データ生成装置、及びデータ構造 Download PDF

Info

Publication number
WO2024014415A1
WO2024014415A1 PCT/JP2023/025336 JP2023025336W WO2024014415A1 WO 2024014415 A1 WO2024014415 A1 WO 2024014415A1 JP 2023025336 W JP2023025336 W JP 2023025336W WO 2024014415 A1 WO2024014415 A1 WO 2024014415A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
imaging
superimposed
object point
Prior art date
Application number
PCT/JP2023/025336
Other languages
English (en)
French (fr)
Inventor
俊 菅原
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2024014415A1 publication Critical patent/WO2024014415A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an imaging method, a learning method, a learning data generation device, and a data structure.
  • An imaging optical system that forms an image of an observation target has various physical properties such as focal length and angle of view.
  • focal length becomes longer, an enlarged image of the observed object is formed, so detailed optical information of the distant observed object, in other words, enlarged optical information can be obtained.
  • the wider the angle of view the more optical information can be obtained from the observation target located over a wider area.
  • there is a trade-off relationship between the focal length and the angle of view as the focal length becomes longer, the angle of view becomes narrower, and as the focal length becomes shorter, the angle of view becomes wider.
  • the focal length is adjusted so that desired optical information can be obtained depending on the situation.
  • the focal length is adjusted by displacing a zoom lens included in the imaging optical system.
  • the focal length is adjusted by switching between a plurality of single focus lenses (see Patent Documents 1 and 2).
  • the imaging method according to the first viewpoint is an image sensor having a light receiving area, an optical system that images incident first light on the light receiving area, and an angle between the optical axis of the optical system and the chief ray incident on the optical system that is the first Using an imaging device having an optical element that guides a second light different from the light to the light receiving area, A third image is captured in which a first image formed by the object point emitting the first light and a second image formed by the object point emitting the second light are simultaneously displayed on a display. .
  • the learning method from the second perspective is an image sensor having a light receiving area, an optical system that images incident first light on the light receiving area, and an angle between the optical axis of the optical system and the chief ray incident on the optical system that is the first Using an imaging device having an optical element that guides a second light different from the light to the light receiving area, capturing a third image in which a first image formed by the object point emitting the first light and a second image formed by the object point emitting the second light are simultaneously displayed on a display; , The third image in the imaging method in which a first superimposed image generated by the imaging device by imaging the third image is stored in association with images corresponding to the first image and the second image, respectively.
  • the second superimposed image captured by the imaging device is created by using the first superimposed image that the imaging device generates by capturing the image, and the images that respectively correspond to the first image and the second image.
  • An image processing model that separates into a first image component corresponding to an object point that emits the first light and a second image component corresponding to the object point that emits the second light is trained.
  • the learning data generation device is an image sensor having a light receiving area, an optical system that images incident first light on the light receiving area, and an angle between the optical axis of the optical system and the chief ray incident on the optical system that is the first an imaging device having an optical element that guides a second light different from the light to the light receiving area; a display located within the field of view of the imaging device; the imaging of a third image in which a first image formed by the object point emitting the first light and a second image formed by the object point emitting the second light are simultaneously displayed on the display; An information processing device that causes the device to take an image.
  • the data structure according to the fourth viewpoint is A second superimposed image in which a first image component corresponding to the object point that emits the first light and a second image component corresponding to the object point that emits the second light are superimposed,
  • a data structure used for learning an image processing model that separates into an image component and a second image component the data structure comprising: a first image formed by the object point that emits the first light; a second image formed by the object point that emits the second light; a first superimposed image in which the first image and the second image are superimposed; Correspondence information indicating a correspondence relationship between the first image, the second image, and the first superimposed image,
  • the image processing model is trained using a combination of the first image, the second image, the first superimposed image, and the correspondence information as training data.
  • FIG. 1 is an external view showing a schematic configuration of a learning data generation device including an imaging device used in an imaging method according to the present embodiment.
  • 2 is a configuration diagram showing a schematic configuration of the imaging device of FIG. 1.
  • FIG. 3 is a diagram for explaining the physical properties of the image sensor and optical system of FIG. 2.
  • FIG. 3 is a conceptual diagram illustrating an image reaching a light receiving area in FIG. 2.
  • FIG. 3 is a conceptual diagram illustrating a situation in which a superimposed image reaching the light receiving area of FIG. 2 is formed.
  • 3 is a conceptual diagram for explaining a process of generating a restored image from a superimposed image by the controller of FIG. 2.
  • FIG. 2 is a functional block diagram showing a schematic configuration of the information processing device in FIG. 1.
  • FIG. 1 is an external view showing a schematic configuration of a learning data generation device including an imaging device used in an imaging method according to the present embodiment.
  • FIG. 2 is a configuration diagram showing a schematic configuration of the imaging device of FIG.
  • FIG. 8 is a flowchart for explaining a first generation process executed by the controller in FIG. 7.
  • FIG. 8 is a flowchart for explaining a second generation process executed by the controller in FIG. 7.
  • FIG. 8 is a flowchart for explaining learning processing executed by the controller in FIG. 7.
  • a learning data generation device 11 including an imaging device 10 used in an imaging method according to an embodiment of the present disclosure is configured to include an imaging device 10, a display 12, and an information processing device 13. .
  • the learning data generation device 11 may further include a providing device 14 that provides image data.
  • the learning data generation device 11 may generate data for learning an image processing model applied to the imaging device 10.
  • the image processing model separates the second superimposed image generated by imaging by the imaging device 10 into a first image component and a second image component.
  • the learning data generation device 11 generates learning data by causing the imaging device 10 to capture an image displayed on the display 12 by the information processing device 13, as will be described later.
  • the imaging device 10 may be a mass-produced product.
  • the imaging device 10 before being given the parameters of the image processing model may be used in the learning data generation device 11.
  • Learning data may be generated by a learning data generation device 11 using the imaging device 10.
  • Parameters of the image processing model may be generated by learning using learning data. The parameters may be given to other imaging devices 10.
  • the imaging device 10 includes an imaging optical system (optical system) 15, an imaging element 16, and an optical element 17.
  • the imaging device 10 may further include a memory 18 and a controller 19.
  • the imaging optical system 15 forms an image of the incident subject light flux.
  • the imaging optical system 15 forms an image of incident first light on a light receiving area of an image sensor 16, which will be described later, in the imaging device 10.
  • the first light may be light emitted by an object point located within the field of view of the imaging optical system 15.
  • the angle of view in the imaging optical system 15 alone in other words, in a configuration that does not include the optical element 17, will also be referred to as a direct angle of view.
  • the imaging optical system 15 may be constituted by an optical element that focuses light beams emitted from object points at different positions onto different image points by itself, in other words, without the optical element 17.
  • Optical elements constituting the imaging optical system 15 are, for example, lenses, mirrors, apertures, and the like.
  • the imaging optical system 15 does not have to be telecentric on the image side.
  • the angle of the principal ray of any light beam passing through the imaging optical system 15 with respect to the optical axis may be greater than 0°.
  • the image sensor 16 has a light receiving area ra.
  • the image sensor 16 captures an image formed within the light receiving area ra via the imaging optical system 15.
  • the image sensor 16 may be capable of capturing images using invisible light such as visible light, infrared rays, and ultraviolet rays.
  • the image sensor 16 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, or the like.
  • the image sensor 16 may be a color image sensor.
  • the plurality of pixels arranged in the light receiving area ra of the image sensor 16 may be covered with, for example, RGB color filters so as to be evenly distributed within the light receiving area ra.
  • the image sensor 16 generates an image signal corresponding to an image received by imaging.
  • the image sensor 16 may generate an image signal at a predetermined frame rate such as 30 fps.
  • the outer edge of the light receiving area ra on the side where the optical element 17 described later is provided may be located outside the outer edge of the exit pupil of the imaging optical system 15. Outside the outer edge of the exit pupil means outside with respect to the optical axis ox of the imaging optical system 15.
  • the light receiving area ra may be rectangular.
  • the optical element 17 guides the second light to the light receiving area.
  • the second light differs from the first light in the angle between the optical axis ox of the imaging optical system 15 and the chief ray that enters the imaging optical system 15.
  • the second light may be light emitted by an object point located outside the angle of view of the imaging optical system 15, in other words, directly outside the angle of view.
  • the principal rays include a ray passing through the center of the aperture stop of the imaging optical system 15, a ray passing through the center of the entrance pupil of the imaging optical system 15, and a center of a light beam emitted from an arbitrary object point and incident on the imaging optical system 15. may be any of the rays of light.
  • the optical element 17 may image at least a portion of the light flux that enters the imaging optical system 15 from outside the direct angle of view of the imaging optical system 15 into the light receiving area ra of the imaging element 16.
  • the direct angle of view corresponds to the light receiving area ra of the image sensor 16, and is the angle of view of the imaging optical system 15 alone as described above, and is the angle of view of the object point imaged within the light receiving area ra without passing through the optical element 17. This is the angle of view corresponding to the range.
  • the optical element 17 may be a mirror that reflects at least a portion of the light beam incident on the imaging optical system 15 and guides it to the light receiving area ra.
  • the mirror may image the second light incident on the imaging optical system 15 on the light receiving area ra.
  • the reflective surface of the mirror may be parallel to the optical axis ox of the imaging optical system 15.
  • the reflective surface of the mirror may be parallel to either side of the rectangular light receiving area ra.
  • the mirror may be located outside the exit pupil of the imaging optical system 15 when viewed from the optical axis ox direction of the imaging optical system 15. More specifically, the mirror may be arranged relative to the imaging optical system 15 such that the reflective surface is located outside the exit pupil.
  • the mirror may include multiple plane mirrors. Two plane mirrors belonging to at least one set among the plurality of plane mirrors may be positioned such that their reflective surfaces face each other and are parallel to each other. The plane mirror and the outer edge of the light receiving area ra of the image sensor 16 may be in close contact with each other in the normal direction of the plane mirror.
  • the distance H between the optical axis ox and two plane mirrors whose reflective surfaces are parallel to each other may be equal.
  • the two mutually parallel plane mirrors, the imaging optical system 15, and the imaging device 16 may be designed and arranged to satisfy CRA ⁇ tan ⁇ 1 (H/B).
  • CRA is the angle with respect to the optical axis ox of the principal ray of the light beam emitted from the object point pp by the imaging optical system 15 at an angle twice the direct angle of view.
  • B is the back focus of the imaging optical system 15.
  • the light receiving area ra of the image sensor 16 has a first object point directly within the angle of view, in other words, a first object point corresponding to the object point that emits the first light.
  • Image component ic1 arrives without passing through optical element 17. More specifically, the first image component ic1 corresponding to an object point within the direct angle of view corresponds to a subject image located directly within the angle of view.
  • the second image component ic2 corresponding to the object point directly outside the angle of view in other words, the object point that emits the second light, reaches the light receiving area ra inverted via the optical element 17.
  • the second image component ic2 is an image component that is imaged on the light receiving area ra via the optical element 17. More specifically, the second image component ic2 corresponding to an object point directly outside the angle of view corresponds to a subject image located directly outside the angle of view.
  • the first image component ic1 and the second image component ic2 which is inverted in the configuration in which the optical element 17 is a mirror, overlap in the light receiving area ra. Therefore, the image sensor 16 images a second superimposed image olim2 of the first image component ic1 and the second image component ic2 which is inverted in a configuration in which the optical element 17 is a mirror.
  • the memory 18 includes any storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 18 may store various programs that cause the controller 19 to function and various information that the controller 19 uses.
  • the memory 18 may store, for example, parameters of the general-purpose image processing model described above. However, in the imaging device 10 applied to the learning data generation device 11, the memory 18 does not need to store the parameter.
  • the controller 19 is configured to include at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a dedicated processor specialized for specific processing.
  • the dedicated circuit may be, for example, an FPGA (Field-Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), or the like.
  • the controller 19 may perform image processing on the image signal acquired from the image sensor 16.
  • the controller 19 performs image processing to separate the second superimposed image olim2 corresponding to the image signal into a first image component ic1 and a second image component ic2. It's okay.
  • the controller 19 may separate the second superimposed image olim2 by applying an image processing model.
  • the image processing model is constructed by learning the first image and the second image as correct answers for a first superimposed image in which the first image and the second image are superimposed.
  • the image separation model is a Pix-to-Decoder model that competes with a generator that generates images and a discriminator that determines whether the generated image is a fake image, like the Encoder-Decoder model, and generates a pair of images that reflects the relationship between them.
  • the controller 19 may generate the restored image rcim by combining the separated first image component ic1 and second image component ic2.
  • the controller 19 may use the restored image rcim to measure the distance of the subject imaged around the imaging device 10.
  • the controller 19 performs distance measurement using the restored image rcim, for example, based on DFD (Depth From Defocus).
  • Controller 19 is a restorer image based on the exercise parallax (SLAM: Simultaneous Localizations and Mapping, Motion Stereo), DEEP LEARNING, separate models, foot distance law, etc. You may go to the measurement.
  • the foot distance measurement method is a method of calculating three-dimensional coordinates based on image coordinates on the premise that the lower end of the subject image is located on the ground.
  • the controller 19 may generate a distance image based on the distance corresponding to each address of the restored image rcim.
  • a distance image is an image in which the pixel value of each pixel corresponds to distance.
  • the controller 19 may provide the distance image to an external device.
  • the display 12 may display images.
  • the display 12 may include, for example, an LCD (liquid crystal display), a PDP (plasma display panel), and an OLED (organic electroluminescent display).
  • the display 12 is located within the field of view of the imaging device 10 in the learning data generation device 11.
  • the display 12 may be arranged so that the display surface of the display 12 includes the entire visual field range of the imaging device 10.
  • the display 12 and the imaging device 10 may be positioned in the learning data generation device 11 so as to have predetermined relative positions and relative postures.
  • the display 12 and the imaging device 10 may be arranged such that the optical axis ox of the imaging device 10 is perpendicular to the display surface of the display 12 and passes through the center of the display surface.
  • the providing device 14 may provide images of multiple frames to the display 12. Images of multiple frames may be acquired in advance. Images of a plurality of frames may be generated by imaging using an imaging device that can directly capture only the scene within the field of view without providing an optical element 17, unlike the imaging device 10 of the present application. For example, the providing device 14 may store images of a plurality of frames that constitute a moving image. The providing device 14 may provide the image to the display 12 under the control of the information processing device 13 . The providing device 14 may provide the display 12 with the processed image based on the control of the information processing device 13 . The providing device 14 may be integrated with the information processing device 13.
  • the information processing device 13 may be configured to include an input/output interface 20 and a controller 21.
  • the input/output interface 20 may communicate information and commands with external equipment of the information processing device 13.
  • the input/output interface 20 may be connected to the imaging device 10 and the providing device 14.
  • the controller 21 is configured to include at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for specific processing.
  • the dedicated circuit may be, for example, an FPGA, an ASIC, or the like.
  • the controller 21 may selectively provide the first mode and the second mode to the information processing device 13 as the operation modes.
  • the information processing device 13 may generate learning data.
  • the information processing device 13 may learn the image processing model using the learning data.
  • the controller 21 may switch the operation mode to either the first mode or the second mode based on the detection of an operation input to an input device such as a keyboard provided in the information processing device 13.
  • the controller 21 may display images on the display 12 frame by frame by controlling the providing device 14. As shown in FIG. 8, each frame image includes multiple partial images.
  • the partial image may include a first image im1 and a second image im2.
  • An image in which the first image im1 and the second image im2 are simultaneously displayed on the display 12 is called a third image im3.
  • the first image im1 is a partial image of the area formed by the object point directly within the angle of view, in other words, the object point that emits the first light.
  • the first image im1 may be a partial image displayed in the entire area within the direct angle of view of the imaging device 10 on the display 12 of the learning data generation device 11.
  • the second image im2 is a part of the area formed by the object point that emits the light beam that is imaged on the light receiving area ra via the optical element 17 of the imaging device 10, in other words, the object point that emits the second light. It is a statue.
  • the second image im2 is a partial image displayed on the display 12 of the learning data generation device 11 in an area that is continuous with the first image im1 and is included within an angular range wider than the direct angle of view. good.
  • the relative position and orientation of the imaging device 10 with respect to the display 12 may be determined in advance.
  • the controller 21 may recognize an area directly corresponding to the angle of view and an area outside the direct angle of view in the designed relative position and relative orientation.
  • the controller 21 may recognize the area corresponding to the direct angle of view and the area outside the direct angle of view by calculating them based on the characteristics of the imaging optical system 15 such as the direct angle of view and focal length of the imaging device 10.
  • the controller 21 may recognize the area corresponding to the direct angle of view calculated in advance based on the characteristics of the imaging optical system 15 and the area outside the direct angle of view by acquiring from the imaging device 10 or the like.
  • the controller 21 displays the first image im1 and the second image im2 on the display 12 at the same time.
  • the controller 21 causes the imaging device 10 to capture a third image im3 that is displayed simultaneously while simultaneously displaying the first image im1 and the second image im2.
  • the controller 21 causes an arbitrary memory to store the first superimposed image generated by the imaging device 10 by capturing the third image im3.
  • the arbitrary memory may include at least one of a memory included in the information processing device 13, an external memory connected to the information processing device 13, and the providing device 14. In this embodiment, the optional memory may be the providing device 14.
  • the controller 21 After capturing the third image im3, the controller 21 causes the display 12 to display the first image im1 and the second image im2 in the third image im3 individually and in sequence. Displaying them individually means that when displaying the first image im1, optical information having substantially different amounts of light from different object points outside the direct angle of view is not allowed to reach the light receiving area ra of the imaging device 10. It's okay. For example, when displaying the first image im1, the area directly outside the viewing angle may be displayed on the display 12 in a single color. Furthermore, displaying them individually means that when displaying the second image im2, optical information having substantially different amounts of light from different object points within the direct angle of view is not allowed to reach the light receiving area ra of the imaging device 10. It can mean something.
  • the controller 21 may individually display the first image im1 by, for example, performing image processing to mask the area outside the direct angle of view of the third image im3 displayed on the display 12 with black color or the like. Further, the controller 21 individually displays the second image im2 by, for example, performing image processing to mask the area within the direct angle of view of the third image im3 displayed on the display 12 with black color or the like. It's okay.
  • the controller 21 may cause the providing device 14 to perform image processing for masking a specific area instead of the controller 21.
  • the controller 21 causes the imaging device 10 to capture the first image im1 while the first image im1 is being displayed individually.
  • the controller 21 causes the imaging device 10 to capture the second image im2 while the second image im2 is being individually displayed.
  • the controller 21 sets an image generated by the imaging device 10 by capturing the first image im1 as an image corresponding to the first image im1, and a first image corresponding to the third image im3 including the first image im1. It may be stored in the providing device 14 in association with the superimposed image.
  • the controller 21 sets the image generated by the imaging device 10 by capturing the second image im2 as an image corresponding to the second image im2, and sets the image as the first image corresponding to the third image im3 including the second image im2. It may be stored in the providing device 14 in association with the superimposed image.
  • the controller 21 displays the first image im1 included in the third image im every time the third image im3 is captured. and second image im2 may be acquired from the providing device 14.
  • the controller 21 associates the first image im1 acquired from the providing device 14 with the first superimposed image corresponding to the third image im3 containing the first image im1, as an image corresponding to the first image im1. and may be stored in the providing device 14.
  • the controller 21 associates the second image im2 acquired from the providing device 14 with the first superimposed image corresponding to the third image im3 including the second image im2, as an image corresponding to the second image im2. and may be stored in the providing device 14.
  • the controller 21 generates a first superimposed image for each frame in an image group of a plurality of frames such as a moving image, and generates the first superimposed image, an image corresponding to the first image im1, and a second image im2. may be stored in association with an image corresponding to the image.
  • the controller 21 generates, as learning data, a first superimposed image and a combination in which the first superimposed image is associated with an image corresponding to the first image im1 and an image corresponding to the second image im2, respectively. .
  • the controller 21 performs learning of the image processing model using the learning data stored in the providing device 14. In other words, the controller 21 performs learning of the image processing model using the first superimposed image and the images generated by the imaging device 10 by individually capturing the first image im1 and the second image im2. . Alternatively, in the second mode, the controller 21 performs learning of the image processing model using the first superimposed image, the first image im1, and the second image im2.
  • the first generation process starts when the operating mode is switched to the first mode.
  • the first generation process is a process of generating learning data by individually displaying and capturing the first image im1 and the second image im2.
  • step S100 the controller 21 recognizes a video used to generate learning data from among the videos stored in the providing device 14. Recognition of a moving image is based on, for example, detection of an operation input to an input device such as a keyboard provided in the information processing device 13. After recognition, the process proceeds to step S101.
  • step S101 the controller 21 selects one frame image from among the plurality of frame images constituting the moving image recognized in step S100.
  • the frames may be selected in order to make up the video. After selection, the process proceeds to step S102.
  • step S102 the controller 21 causes the display 12 to simultaneously display the first image im1 and the second image im2 in the image of the frame selected in step S101. In other words, the controller 21 causes the display 12 to display the third image im3. After displaying, the process proceeds to step S103.
  • step S103 the controller 21 causes the imaging device 10 to capture the third image im3, thereby generating the first superimposed image. After imaging, the process proceeds to step S104.
  • step S104 the controller 21 stores the first superimposed image generated in step S103 in the providing device 14. After storing, the process proceeds to step S105.
  • step S105 the controller 21 causes the display 12 to individually display the first image im1 among the images of the frame selected in step S101. After displaying, the process proceeds to step S106.
  • step S106 the controller 21 causes the imaging device 10 to capture the first image im1, thereby generating an image corresponding to the first image im1. After imaging, the process proceeds to step S107.
  • step S107 the controller 21 stores the image corresponding to the first image im1 generated in step S106 in the providing device 14 in association with the first superimposed image stored in the providing device 14 in the immediately preceding step S104. . After storing, the process proceeds to step S108.
  • step S108 the controller 21 causes the display 12 to individually display the second image im2 among the images of the frame selected in step S101. After displaying, the process proceeds to step S109.
  • step S109 the controller 21 causes the imaging device 10 to capture the second image im2, thereby generating an image corresponding to the second image im2. After imaging, the process proceeds to step S110.
  • step S110 the controller 21 stores the image corresponding to the second image im2 generated in step S109 in the providing device 14 in association with the first superimposed image stored in the providing device 14 in the immediately preceding step S104. . After storing, the process proceeds to step S111.
  • step S111 the controller 21 determines whether or not the imaging of the previous frame that constitutes the moving image recognized in step S100 has been completed. If all frames have been captured, the first generation process ends. If the imaging of the previous frame has not been completed, the process proceeds to step S112.
  • step S112 the controller 21 selects an image of another frame from the captured frame images of the first image im1, the second image im2, and the third image im3. After selection, the process returns to step S102.
  • the second generation process starts when the operating mode is switched to the first mode.
  • the second generation process is a process of generating learning data without individually displaying and capturing the first image im1 and the second image im2.
  • step S200 to S204 the controller 21 executes the same processing as steps S100 to S104 in the first generation process. After storing the first superimposed image in step S204, the process proceeds to step S205.
  • step S205 the controller 21 performs image processing to invert the second image im2 and displace it so that it is included in the light receiving area ra of the imaging device 10. After image processing, the process continues to step S206.
  • step S206 the controller 21 sets the first image im1 itself of the images of the frame selected in step S201 as an image corresponding to the first image im1, and uses the first superimposed image stored in the providing device 14 in the immediately preceding step S204. It is stored in the providing device 14 in association with the image. Further, the controller 21 associates the second image im2 subjected to the image processing in step S205 with the first superimposed image stored in the providing device 14 in the immediately preceding step S204, as an image corresponding to the second image im2. , stored in the providing device 14. After storing, the process proceeds to step S207.
  • step S207 and S208 the controller 21 executes the same processes as steps S111 and S112 in the first generation process.
  • the learning process starts when the operating mode is switched to the second mode.
  • step S300 the controller 21 reads the learning data stored in the providing device 14 through the first generation process or the second generation process. After reading, the process proceeds to step S301.
  • step S301 the controller 21 trains the image processing model using the learning data read out in step S300.
  • the controller 21 generates parameters for the learned image processing model. After learning, the process proceeds to step S302.
  • step S302 the controller 21 stores the parameters generated in step S301 in the providing device 14. After storing, the learning process ends.
  • light enters the imaging optical system 15 from outside the direct field of view of the imaging optical system 15 corresponding to the light receiving area ra of the image sensor 16.
  • an imaging device 10 equipped with an optical element 17 that focuses at least a part of the light beam into the light receiving area ra a first image im1 formed by an object point within the direct angle of view and the optical element 17 are used.
  • a third image im3 is captured that simultaneously displays a second image im2 on the display 12, which is formed by an object point that emits a light beam that forms an image within the light receiving area ra.
  • the imaging method can generate the first superimposed image by causing the imaging device 10 to capture an image that has been acquired in advance as information.
  • the superimposed image obtained by separating previously acquired images and partially inverting and superimposing them is an ideal superimposed image generated by the designed imaging device 10. Therefore, the superimposed image does not include the influence of mounting errors of the imaging optical system 15, the imaging element 16, and the optical element 17 in the imaging device 10 that is actually manufactured. Therefore, in learning an image processing model using the superimposed image, there may be a limit to the improvement in separation accuracy of the second superimposed image generated by the imaging device 10 that is actually manufactured.
  • the imaging method can generate the first superimposed image
  • the image processing model can be trained to further improve the separation accuracy of the second superimposed image compared to the case of using a superimposed image by image processing. . Therefore, the imaging method may allow the production of an imaging device 10 that produces extensive and magnified optical information.
  • the imaging device 10 is used to capture the first image im1 and the second image im2 to be individually displayed on the display 12.
  • the imaging method can obtain a non-superimposed image whose pixel positions match those of the first superimposed image. Therefore, the imaging method can train the image processing model to further improve the separation accuracy of the second superimposed image.
  • the first superimposed image is stored in association with images corresponding to the first image im1 and the second image im2 included in the third image im3.
  • the imaging method can easily use each superimposed image as learning data when generating the first superimposed image of a plurality of frames.
  • the imaging method includes: an image sensor having a light receiving area, an optical system that images incident first light on the light receiving area, and an angle between the optical axis of the optical system and the chief ray incident on the optical system that is the first Using an imaging device having an optical element that guides a second light different from the light to the light receiving area, A third image is captured in which a first image formed by the object point emitting the first light and a second image formed by the object point emitting the second light are simultaneously displayed on a display. .
  • a first superimposed image generated by the imaging device by capturing the third image is stored in association with images corresponding to the first image and the second image, respectively.
  • the first superimposed image generated by the imaging device by imaging the third image in the imaging method, and images corresponding to the first image and the second image, respectively, are used to obtain the first superimposed image.
  • An image processing model that separates the component and the second image component is trained.
  • Images respectively corresponding to the first image and the second image are images generated by the imaging device by respectively capturing the first image and the second image.
  • Images corresponding to the first image and the second image are the first image and the second image, respectively.
  • the learning data generation device an image sensor having a light receiving area, an optical system that images incident first light on the light receiving area, and an angle between the optical axis of the optical system and the chief ray incident on the optical system that is the first an imaging device having an optical element that guides a second light different from the light to the light receiving area; a display located within the field of view of the imaging device; A first image formed by an object point within the direct angle of view and a second image formed by an object point emitting a luminous flux that forms an image in the light receiving area via the optical element are simultaneously displayed on the display. and an information processing device that causes the imaging device to capture a third image.
  • the data structure is: A second superimposed image in which a first image component corresponding to the object point that emits the first light and a second image component corresponding to the object point that emits the second light are superimposed,
  • a data structure used for learning an image processing model that separates into an image component and a second image component the data structure comprising: a first image formed by the object point that emits the first light; a second image formed by the object point that emits the second light; a first superimposed image in which the first image and the second image are superimposed; Correspondence information indicating a correspondence relationship between the first image, the second image, and the first superimposed image,
  • the image processing model is trained using a combination of the first image, the second image, the first superimposed image, and the correspondence information as training data.
  • the embodiment of the imaging method using the imaging device 10 has been described above, but the embodiment of the present disclosure includes a method or a program for implementing the device, as well as a storage medium on which the program is recorded (as an example, It is also possible to take an embodiment as an optical disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, magnetic tape, hard disk, memory card, etc.).
  • the implementation form of a program is not limited to an application program such as an object code compiled by a compiler or a program code executed by an interpreter, but may also be in the form of a program module incorporated into an operating system. good.
  • the program may or may not be configured such that all processing is performed only in the CPU on the control board.
  • the program may be configured such that part or all of the program is executed by an expansion board attached to the board or another processing unit mounted in an expansion unit, as necessary.
  • the information processing device 13 generates learning data and learns an image processing model.
  • the information processing device 13 may not perform image processing model learning, and another information processing device may perform image processing model learning.
  • embodiments according to the present disclosure are not limited to any of the specific configurations of the embodiments described above. Embodiments of the present disclosure extend to any novel features or combinations thereof described in this disclosure, or to any novel methods or process steps or combinations thereof described. be able to.
  • descriptions such as “first” and “second” are identifiers for distinguishing the configurations.
  • the numbers in the configurations can be exchanged.
  • the first image component can exchange the identifiers “first” and “second” with the second image component.
  • the exchange of identifiers takes place simultaneously.
  • the configurations are distinguished.
  • Identifiers may be removed. Configurations from which the identifier has been removed are distinguished by a code.
  • the description of identifiers such as “first” and “second” in this disclosure should not be used to interpret the order of the configuration or to determine the existence of lower-numbered identifiers.
  • Imaging device 11 Learning data generation device 12
  • Display 13 Information processing device 14
  • Providing device 15
  • Imaging optical system 16
  • Controller 20
  • Input/output interface 21
  • Controller CRA From an object point at an angle twice the direct angle of view Angle of the emitted light flux with respect to the optical axis of the chief ray by the imaging optical system ic1 First image component ic2 Second image component im1 First image im2 Second image im3 Third image olim2 Second superimposed image ox Optical axis pp Object point at an angle twice the direct angle of view ra Light receiving area rcim Restored image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

撮像方法は撮像装置を用いて第３の画像を撮像する。撮像装置は撮像素子と光学系と光学素子とを有する。光学系は入射する第１の光を受光領域に結像させる。光学素子は第２の光を受光領域に導く。第２の光は光学系の光軸と光学系に入射する主光線とのなす角度が第１の光と異なる。第３の画像は第１の画像及び第２の画像をディスプレイに同時に表示させた画像である。第１の画像は第１の光を放射する物点が形成する。第２の画像は第２の光を放射する物点が形成する。

Description

撮像方法、学習方法、学習データ生成装置、及びデータ構造 関連出願の相互参照
　本出願は、２０２２年７月１３日に日本国に特許出願された特願２０２２－１１２７１９の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、撮像方法、学習方法、学習データ生成装置、及びデータ構造に関するものである。
　観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角は狭角化し、焦点距離が短くなると画角は広角化する。
　それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。
特開平１１―３１１８３２号公報 特開２００４―２７９５５６号公報
　第１の観点による撮像方法は、
　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
　前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する。
　第２の観点による学習方法は、
　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
　前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像し、
　前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記撮像装置が撮像する第２の重畳画像を前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とに分離する画像処理モデルの学習を行う。
　第３の観点による学習データ生成装置は、
　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
　前記撮像装置の視野範囲内に位置するディスプレイと、
　前記第１の光を放射する物点が形成する第１の画像及び前記第２の光を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える。
　第４の観点によるデータ構造は、
　第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
　前記第１の光を放射する物点が形成する第１の画像と、
　前記第２の光を放射する物点が形成する第２の画像と、
　前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
　前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
　前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる。
本実施形態に係る撮像方法に用いられる撮像装置を含む学習データ生成装置の概略構成を示す外観図である。 図１の撮像装置の概略構成を示す構成図である。 図２の撮像素子及び光学系の物性を説明するための図である。 図２の受光領域に到達する像を説明する概念図である。 図２の受光領域に到達する重畳画像が形成される状況を説明する概念図である。 図２のコントローラにより重畳画像から復元画像を生成する過程を説明するための概念図である。 図１の情報処理装置の概略構成を示す機能ブロック図である。 図１のディスプレイに表示される第３の画像を説明するための図である。 図７のコントローラが実行する第１の生成処理を説明するためのフローチャートである。 図７のコントローラが実行する第２の生成処理を説明するためのフローチャートである。 図７のコントローラが実行する学習処理を説明するためのフローチャートである。
　以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
　図１に示すように、本開示の一実施形態に係る撮像方法に用いられる撮像装置１０を含む学習データ生成装置１１は、撮像装置１０、ディスプレイ１２、及び情報処理装置１３を含んで構成される。学習データ生成装置１１は、更に、画像データを提供する提供装置１４を含んで構成されてよい。
　学習データ生成装置１１は、撮像装置１０に適用される画像処理モデルの学習用のデータを生成してよい。画像処理モデルは、撮像装置１０が撮像により生成する第２の重畳画像を第１の画像成分及び第２の画像成分に分離する。学習データ生成装置１１は、後述するように、情報処理装置１３がディスプレイ１２に表示させた画像を撮像装置１０で撮像させることにより、学習データを生成する。
　撮像装置１０は、量産品であってよい。画像処理モデルのパラメータを付与する前の撮像装置１０が、学習データ生成装置１１に用いられてよい。当該撮像装置１０を用いた学習データ生成装置１１により学習データが生成されてよい。学習データを用いた学習により、画像処理モデルのパラメータが生成されてよい。当該パラメータが、他の撮像装置１０に付与されてよい。
　図２に示すように、撮像装置１０は、撮像光学系（光学系）１５、撮像素子１６、及び光学素子１７を含んで構成される。撮像装置１０は、更にメモリ１８及びコントローラ１９を含んで構成されてよい。
　撮像光学系１５は、入射する被写体光束を結像させる。撮像光学系１５は、撮像装置１０において、後述する撮像素子１６の受光領域に、入射する第１の光を結像させる。第１の光は、撮像光学系１５の画角内に位置する物点が放射する光であってよい。以後、撮像光学系１５単体、言換えると光学素子１７を含まない構成における画角を、直接画角とも呼ぶ。撮像光学系１５は、位置の異なる物点から放射する光束を、単体で、言換えると光学素子１７無しで、異なる像点に結像させる光学素子によって構成されてよい。撮像光学系１５を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。
　撮像光学系１５は、像側テレセントリックでなくてよい。言換えると、撮像光学系１５を通過する任意の光束の主光線の光軸に対する角度は０°より大きくてよい。
　撮像素子１６は、受光領域ｒａを有する。撮像素子１６は、撮像光学系１５を介して受光領域ｒａ内に結像する像を撮像する。撮像素子１６は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子１６は、カラーイメージセンサであってよい。言換えると、撮像素子１６の受光領域ｒａに配置される複数の画素は、例えばＲＧＢのカラーフィルタによって受光領域ｒａ内で均等に分布するように覆われてよい。撮像素子１６は、撮像により受光する画像に相当する画像信号を生成する。撮像素子１６は、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。
　撮像素子１６では、後述する光学素子１７が設けられる側の受光領域ｒａの外縁は、撮像光学系１５の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系１５の光軸ｏｘを基準として外側であることを意味する。受光領域ｒａは、矩形であってよい。
　光学素子１７は、第２の光を受光領域に導く。第２の光は、撮像光学系１５の光軸ｏｘと撮像光学系１５に入射する主光線とのなす角度が第１の光と異なる。第２の光は、撮像光学系１５の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。主光線は、撮像光学系１５の開口絞りの中心を通る光線、撮像光学系１５の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系１５に入射する光束の中心の光線のいずれかであってよい。更には、光学素子１７は、撮像光学系１５の直接画角の外から撮像光学系１５に入射する光束の少なくとも一部を撮像素子１６の受光領域ｒａ内に結像させてよい。直接画角は、撮像素子１６の受光領域ｒａに対応し、前述のように撮像光学系１５単体での画角であり、光学素子１７を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角である。
　光学素子１７は、撮像光学系１５に入射した光束の少なくとも一部を反射して受光領域ｒａに導くミラーであってよい。ミラーは、撮像光学系１５に入射する第２の光を受光領域ｒａに結像させてよい。ミラーの反射面は、撮像光学系１５の光軸ｏｘに平行であってよい。ミラーの反射面は、矩形の受光領域ｒａのいずれかの辺に平行であってよい。
　ミラーは、撮像光学系１５の光軸ｏｘ方向から見て、当該撮像光学系１５の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系１５に対して配置されてよい。
　ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも１組に属する２つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。平面ミラーと撮像素子１６の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接していてよい。
　図３に示すように、反射面が互いに平行な２つの平面ミラーそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、撮像光学系１５、及び撮像素子１６は、ＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点ｐｐから放射される光束の撮像光学系１５による主光線の光軸ｏｘに対する角度である。Ｂは、撮像光学系１５のバックフォーカスである。
　上述のような構成により、図４に示すように、撮像素子１６の受光領域ｒａには、直接画角内の物点、言換えると第１の光を放射する物点に対応する第１の画像成分ｉｃ１が光学素子１７を介することなく到達する。直接画角内の物点に対応する第１の画像成分ｉｃ１とは、より具体的には、直接画角内に位置する被写体像に相当する。又、受光領域ｒａには、直接画角外の物点、言換えると第２の光を放射する物点に対応する第２の画像成分ｉｃ２が光学素子１７を介して反転して到達する。言換えると、第２の画像成分ｉｃ２は、光学素子１７を介して受光領域ｒａに結像する画像成分である。直接画角外の物点に対応する第２の画像成分ｉｃ２とは、より具体的には、直接画角外に位置する被写体像に相当する。
　又、上述のような構成により、図５に示すように、第１の画像成分ｉｃ１と、光学素子１７がミラーである構成において反転した第２の画像成分ｉｃ２とが受光領域ｒａにおいて重畳する。したがって、撮像素子１６は、第１の画像成分ｉｃ１と、光学素子１７がミラーである構成において反転した第２の画像成分ｉｃ２との第２の重畳画像ｏｌｉｍ２を撮像する。
　メモリ１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１８は、コントローラ１９を機能させる多様なプログラム及びコントローラ１９が用いる多様な情報を記憶してよい。メモリ１８は、例えば、前述の汎用の画像処理モデルのパラメータを記憶してよい。ただし、学習データ生成装置１１に適用される撮像装置１０において、メモリ１８は当該パラメータを記憶していなくてよい。
　コントローラ１９は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等であってもよい。コントローラ１９は、撮像素子１６から取得する画像信号に画像処理を施してよい。
　図６に示すように、コントローラ１９は、画像処理により、画像信号に相当する第２の重畳画像ｏｌｉｍ２を、第１の画像成分ｉｃ１と、第２の画像成分ｉｃ２とに分離する画像処理を施してよい。コントローラ１９は、画像処理モデルの適用により、第２の重畳画像ｏｌｉｍ２を分離してよい。画像処理モデルは、後述するように、第１の画像及び第２の画像を重畳させた第１の重畳画像に対して、第１の画像及び第２の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。コントローラ１９は、分離した第１の画像成分ｉｃ１及び第２の画像成分ｉｃ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。
　コントローラ１９は、復元画像ｒｃｉｍを用いて、撮像装置１０周辺において撮像された被写体の測距を行ってよい。コントローラ１９は、例えば、ＤＦＤ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｄｅｆｏｃｕｓ）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１９は、運動視差法（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ、Ｍｏｔｉｏｎ　Ｓｔｅｒｅｏ）、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇに基づく分離モデル、足元測距法等に基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。
　コントローラ１９は、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１９は、距離画像を外部機器に付与してよい。
　図１に示すように、ディスプレイ１２は、画像を表示してよい。ディスプレイ１２は、例えば、ＬＣＤ（ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、及びＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ　Ｄｉｓｐｌａｙ）を含んでよい。
　ディスプレイ１２は、学習データ生成装置１１において、撮像装置１０の視野範囲内に位置する。学習データ生成装置１１において、ディスプレイ１２の表示面が撮像装置１０の視野範囲全体を含むように、ディスプレイ１２は配置されてよい。ディスプレイ１２及び撮像装置１０は、学習データ生成装置１１において、事前に定められた相対位置及び相対姿勢となるように位置づけられてよい。例えば、撮像装置１０の光軸ｏｘがディスプレイ１２の表示面に垂直且つ当該表示面の中心を通るように、ディスプレイ１２及び撮像装置１０は配置されてよい。
　提供装置１４は、複数のフレームの画像をディスプレイ１２に提供してよい。複数のフレームの画像は事前に取得されていてよい。複数のフレームの画像は、本願の撮像装置１０とは異なり、光学素子１７を設けることなく直接画角内の光景のみを撮像可能な撮像装置を用いた撮像により生成されてよい。提供装置１４は、例えば、動画を構成する複数のフレームの画像を記憶してよい。提供装置１４は、情報処理装置１３の制御に基づいて、画像をディスプレイ１２に提供してよい。提供装置１４は、情報処理装置１３の制御に基づいて加工した画像をディスプレイ１２に提供してよい。提供装置１４は、情報処理装置１３と一体化されていてよい。
　図７に示すように、情報処理装置１３は、入出力インタフェース２０及びコントローラ２１を含んで構成されてよい。
　入出力インタフェース２０は、情報処理装置１３の外部機器との情報及び指令を通信してよい。学習データ生成装置１１において入出力インタフェース２０は、撮像装置１０及び提供装置１４に接続されてよい。
　コントローラ２１は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ、ＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等であってもよい。
　コントローラ２１は、動作モードとして、第１のモード及び第２のモードを情報処理装置１３に選択的に付与してよい。第１のモードでは、情報処理装置１３は、学習用データを生成してよい。第２のモードでは、情報処理装置１３は、学習用データを用いて画像処理モデルを学習させてよい。コントローラ２１は、情報処理装置１３に設けられるキーボード等の入力デバイスへの操作入力の検出に基づいて、動作モードを第１のモード及び第２のモードのいずれかに切替えてよい。
　コントローラ２１は、第１のモードにおいて、提供装置１４を制御することにより、画像をフレーム別にディスプレイ１２に表示させてよい。図８に示すように、各フレームの画像は複数の部分画像を含む。部分画像は、第１の画像ｉｍ１及び第２の画像ｉｍ２を含んでよい。第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２に表示する画像を第３の画像ｉｍ３と呼ぶ。
　第１の画像ｉｍ１は、直接画角内の物点、言換えると第１の光を放射する物点により形成される領域の部分像である。例えば、第１の画像ｉｍ１は、学習データ生成装置１１のディスプレイ１２において撮像装置１０の直接画角内の全領域に表示される部分画像であってよい。第２の画像ｉｍ２は、撮像装置１０の光学素子１７を介して受光領域ｒａに結像する光束を放射する物点、言換えると第２の光を放射する物点により形成される領域の部分像である。例えば、第２の画像ｉｍ２は、学習データ生成装置１１のディスプレイ１２において、第１の画像ｉｍ１に連続し且つ直接画角よりも広い角度範囲内に含まれる領域に表示される部分画像であってよい。
　前述のように、撮像装置１０のディスプレイ１２に対する相対位置及び相対姿勢が事前に定められていてよい。コントローラ２１は、設計上の相対位置及び相対姿勢において、直接画角に対応する領域及び直接画角外の領域を認識してよい。コントローラ２１は、直接画角に対応する領域及び直接画角外の領域を、撮像装置１０の直接画角及び焦点距離等の撮像光学系１５の特性に基づいて算出することにより認識してよい。コントローラ２１は、撮像光学系１５の特性に基づいて予め算出された直接画角に対応する領域及び直接画角外の領域を撮像装置１０等から取得することにより認識してよい。
　コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２に表示させる。コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２を同時に表示させる状態で、同時に表示される第３の画像ｉｍ３を撮像装置１０に撮像させる。コントローラ２１は、第３の画像ｉｍ３の撮像により撮像装置１０が生成する第１の重畳画像を、任意のメモリに記憶させる。任意のメモリは、情報処理装置１３が有するメモリ、情報処理装置１３に接続される外部メモリ、及び提供装置１４の少なくともいずれかを含んでよい。本実施形態において、任意のメモリは提供装置１４であってよい。
　コントローラ２１は、第３の画像ｉｍ３の撮像後、当該第３の画像ｉｍ３における第１の画像ｉｍ１及び第２の画像ｉｍ２を個別に順番にディスプレイ１２に表示させる。個別に表示させるとは、第１の画像ｉｍ１の表示時に、直接画角外の異なる物点それぞれから実質的に異なる光量である光学情報を撮像装置１０の受光領域ｒａに到達させないことを意味してよい。例えば、第１の画像ｉｍ１の表示時に、直接画角外の領域が単一の色となるようにディスプレイ１２に表示してよい。又、個別に表示させるとは、第２の画像ｉｍ２の表示時に、直接画角内の異なる物点それぞれから実質的に異なる光量である光学情報を撮像装置１０の受光領域ｒａに到達させないことを意味してよい。
　コントローラ２１は、例えば、ディスプレイ１２に表示している第３の画像ｉｍ３の直接画角外の領域を黒色等でマスクする画像処理を行うことにより、第１の画像ｉｍ１を個別に表示させてよい。又、コントローラ２１は、例えば、ディスプレイ１２に表示している第３の画像ｉｍ３の直接画角内の領域を黒色等でマスクする画像処理を行うことにより、第２の画像ｉｍ２を個別に表示させてよい。コントローラ２１は、特定の領域をマスクする画像処理を、コントローラ２１の代わりに提供装置１４に行わせてよい。
　コントローラ２１は、第１の画像ｉｍ１が個別表示されている状態で、当該第１の画像ｉｍ１を撮像装置１０に撮像させる。コントローラ２１は、第２の画像ｉｍ２が個別表示されている状態で、当該第２の画像ｉｍ２を撮像装置１０に撮像させる。コントローラ２１は、第１の画像ｉｍ１の撮像により撮像装置１０が生成した画像を第１の画像ｉｍ１に対応する画像として、当該第１の画像ｉｍ１を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。コントローラ２１は、第２の画像ｉｍ２の撮像により撮像装置１０が生成した画像を第２の画像ｉｍ２に対応する画像として、当該第２の画像ｉｍ２を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。
　コントローラ２１は、第１の画像ｉｍ１及び第２の画像ｉｍ２の個別の表示及び撮像の代わりに、第３の画像ｉｍ３を撮像するたびに、当該第３の画像ｉｍに含まれる第１の画像ｉｍ１及び第２の画像ｉｍ２を提供装置１４から取得してよい。コントローラ２１は、提供装置１４から取得した第１の画像ｉｍ１を第１の画像ｉｍ１に対応する画像として、当該第１の画像ｉｍ１を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。コントローラ２１は、提供装置１４から取得した第２の画像ｉｍ２を第２の画像ｉｍ２に対応する画像として、当該第２の画像ｉｍ２を含む第３の画像ｉｍ３に対応する第１の重畳画像と関連付けて、提供装置１４に記憶させてよい。
　コントローラ２１は、動画像のように複数のフレームの画像群において、フレーム別に第１の重畳画像の生成、及び当該第１の重畳画像と第１の画像ｉｍ１に相当する画像及び第２の画像ｉｍ２に相当する画像とを関連付けた記憶を行ってよい。コントローラ２１は、第１の重畳画像及び当該第１の重畳画像と第１の画像ｉｍ１に相当する画像及び第２の画像ｉｍ２にそれぞれ対応する画像とを関連付けた組合せを、学習用データとして生成する。
　コントローラ２１は、第２のモードにおいて、提供装置１４に記憶させた学習用データを用いて、画像処理モデルの学習を行う。言換えると、コントローラ２１は、第１の重畳画像と、第１の画像ｉｍ１及び第２の画像ｉｍ２を個別の撮像により撮像装置１０がそれぞれ生成する画像を用いて、画像処理モデルの学習を行う。又は、コントローラ２１は、第２のモードにおいて、第１の重畳画像と、第１の画像ｉｍ１及び第２の画像ｉｍ２とを用いて画像処理モデルの学習を行う。
　次に、本実施形態においてコントローラ２１が実行する、第１の生成処理について、図９のフローチャートを用いて説明する。第１の生成処理は、動作モードが第１のモードに切替えられる場合に開始する。第１の生成処理は、第１の画像ｉｍ１及び第２の画像ｉｍ２を個別に表示及び撮像させることにより学習用データを生成する処理である。
　ステップＳ１００において、コントローラ２１は、提供装置１４に格納されている動画の中から、学習用データの生成に用いる動画を認識する。動画の認識は、例えば、情報処理装置１３に設けられるキーボード等の入力デバイスへの操作入力の検出に基づく。認識後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、コントローラ２１は、ステップＳ１００において認識した動画を構成する複数のフレームの画像の中から１フレームの画像を選択する。フレームは、動画を構成する順番に選択されてよい。選択後、プロセスはステップステップＳ１０２に進む。
　ステップＳ１０２では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第１の画像ｉｍ１及び第２の画像ｉｍ２を同時にディスプレイ１２表示させる。言換えるとコントローラ２１は、第３の画像ｉｍ３をディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、コントローラ２１は、撮像装置１０に第３の画像ｉｍ３を撮像させることにより、第１の重畳画像を生成させる。撮像後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、コントローラ２１は、ステップＳ１０３において生成した第１の重畳画像を提供装置１４に格納する。格納後、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第１の画像ｉｍ１を個別にディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、コントローラ２１は、撮像装置１０に第１の画像ｉｍ１を撮像させることにより、第１の画像ｉｍ１に対応する画像を生成させる。撮像後、プロセスはステップＳ１０７に進む。
　ステップＳ１０７では、コントローラ２１は、ステップＳ１０６において生成した第１の画像ｉｍ１に対応する画像を、直前のステップＳ１０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ１０８に進む。
　ステップＳ１０８では、コントローラ２１は、ステップＳ１０１において選択したフレームの画像における第２の画像ｉｍ２を個別にディスプレイ１２に表示させる。表示後、プロセスはステップＳ１０９に進む。
　ステップＳ１０９では、コントローラ２１は、撮像装置１０に第２の画像ｉｍ２を撮像させることにより、第２の画像ｉｍ２に対応する画像を生成させる。撮像後、プロセスはステップＳ１１０に進む。
　ステップＳ１１０では、コントローラ２１は、ステップＳ１０９において生成した第２の画像ｉｍ２に対応する画像を、直前のステップＳ１０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ１１１に進む。
　ステップＳ１１１では、コントローラ２１は、ステップＳ１００において認識した動画を構成する前フレームの画像に対する撮像が終了したか否かを判別する。全フレームの撮像が終了している場合、第１の生成処理は終了する。前フレームの撮像が終了していない場合、プロセスはステップＳ１１２に進む。
　ステップＳ１１２では、コントローラ２１は、第１の画像ｉｍ１、第２の画像ｉｍ２、及び第３の画像ｉｍ３の撮像済みであるフレーム画像の他のフレームの画像を選択する。選択後、プロセスはステップＳ１０２に戻る。
　次に、本実施形態においてコントローラ２１が実行する、第２の生成処理について、図１０のフローチャートを用いて説明する。第２の生成処理は、動作モードが第１のモードに切替えられる場合に開始する。第２の生成処理は、第１の画像ｉｍ１及び第２の画像ｉｍ２の個別の表示及び撮像を行うことなく学習用データを生成する処理である。
　ステップＳ２００からＳ２０４において、コントローラ２１は、第１の生成処理におけるステップＳ１００からＳ１０４と同じ処理を実行する。ステップＳ２０４において、第１の重畳画像の格納後、プロセスはステップＳ２０５に進む。
　ステップＳ２０５では、コントローラ２１は、第２の画像ｉｍ２を反転して、撮像装置１０の受光領域ｒａ内に含まれるように変位させる画像処理を行う。画像処理後、プロセスはステップＳ２０６に進む。
　ステップＳ２０６では、コントローラ２１は、ステップＳ２０１において選択したフレームの画像の第１の画像ｉｍ１そのものを第１の画像ｉｍ１に対応する画像として、直前のステップＳ２０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。更に、コントローラ２１は、ステップＳ２０５において画像処理を施した第２の画像ｉｍ２を第２の画像ｉｍ２に対応する画像として、直前のステップＳ２０４において提供装置１４に格納した第１の重畳画像と関連付けて、提供装置１４に格納する。格納後、プロセスはステップＳ２０７に進む。
　ステップＳ２０７及びＳ２０８では、コントローラ２１は、第１の生成処理におけるステップＳ１１１及びＳ１１２と同じ処理を実行する。
　次に、本実施形態においてコントローラ２１が実行する、学習処理について、図１１のフローチャートを用いて説明する。学習処理は、動作モードが第２のモードに切替えられる場合に開始する。
　ステップＳ３００において、コントローラ２１は、第１の生成処理又は第２の生成処理により提供装置１４に格納された学習用データを読出す。読出し後、プロセスはステップＳ３０１に進む。
　ステップＳ３０１では、コントローラ２１は、ステップＳ３００において読出した学習用データを用いて、画像処理モデルを学習させる。コントローラ２１は、学習させた画像処理モデルのパラメータを生成する。学習後、プロセスはステップＳ３０２に進む。
　ステップＳ３０２では、コントローラ２１は、ステップＳ３０１において生成したパラメータを提供装置１４に格納する。格納後、学習処理は終了する。
　以上のような構成の本実施形態の情報処理装置１３を用いた撮像方法では、撮像素子１６の受光領域ｒａに対応する撮像光学系１５の直接画角の外から当該撮像光学系１５に入射する光束の少なくとも一部を当該受光領域ｒａ内に結像させる光学素子１７とを備える撮像装置１０を用いて、直接画角内の物点が形成する第１の画像ｉｍ１及び光学素子１７を介して受光領域ｒａ内に結像する光束を放射する物点が形成する第２の画像ｉｍ２をディスプレイ１２に同時に表示させる第３の画像ｉｍ３を撮像する。このような構成により、撮像方法は、情報として事前に取得済みの画像を撮像装置１０に撮像させることにより、第１の重畳画像を生成し得る。事前に取得済みの画像の分離及び一部の反転重畳させる加工を行うことにより得られる重畳画像は、設計上の撮像装置１０が生成する理想的な重畳画像である。それゆえ、当該重畳画像は、実際に製造される撮像装置１０における撮像光学系１５、撮像素子１６、及び光学素子１７の取付誤差の影響が含まれない。それゆえ、当該重畳画像を用いた画像処理モデルの学習では、実際に製造される撮像装置１０が生成する第２の重畳画像の分離精度の向上には限界が生じ得る。一方で、撮像方法は第１の重畳画像を生成し得るので、画像処理による重畳画像を用いる場合に比べて、第２の重畳画像の分離精度を更に向上させるように画像処理モデルを学習させ得る。それゆえ、撮像方法は、広範囲且つ拡大された光学情報を生成する撮像装置１０を製造させ得る。
　また、本実施形態の撮像方法では、撮像装置１０を用いて、個別にディスプレイ１２に表示させる第１の画像ｉｍ１及び第２の画像ｉｍ２を撮像する。このような構成により、撮像方法は、第１の重畳画像に対して画素位置を一致させた、重畳していない画像を取得し得る。したがって、撮像方法は、第２の重畳画像の分離精度を更に向上させるように画像処理モデルを学習させ得る。
　また、本実施形態の撮像方法では、第１の重畳画像を、第３の画像ｉｍ３が含む第１の画像ｉｍ１及び第２の画像ｉｍ２にそれぞれ対応する画像と関連付けて記憶する。このような構成により、撮像方法は、複数のフレームの第１の重畳画像を生成する際に、それぞれの重畳画像を容易に学習データとして使用させ得る。
　一実施形態において、（１）撮像方法は、
　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
　前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する。
　（２）上記（１）の撮像方法では、
　前記撮像装置を用いて、更に、個別に前記ディスプレイに表示させた前記第１の画像及び前記第２の画像を撮像する。
　（３）上記（１）又は（２）の撮像方法では、
　前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する。
　（４）上記（３）の撮像方法を適用した学習方法では、
　前記撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分とに分離する画像処理モデルの学習を行う。
　（５）上記（４）の撮像方法を適用した学習方法では、
　前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像の個別の撮像により前記撮像装置がそれぞれ生成する画像である。
　（６）上記（４）の撮像方法を適用した学習方法では、
　前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像である。
　一実施形態において、（７）学習データ生成装置は、
　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
　前記撮像装置の視野範囲内に位置するディスプレイと、
　前記直接画角内の物点が形成する第１の画像及び前記光学素子を介して前記受光領域内に結像する光束を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える。
　一実施形態において、（８）データ構造は、
　第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
　前記第１の光を放射する物点が形成する第１の画像と、
　前記第２の光を放射する物点が形成する第２の画像と、
　前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
　前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
　前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる。
　以上、撮像装置１０を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　例えば、本実施形態において、情報処理装置１３が、学習用データの生成及び画像処理モデルの学習を行う。しかし、情報処理装置１３は画像処理モデルの学習を行わず、別の情報処理装置が画像処理モデルの学習を行ってよい。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の画像成分は、第２の画像成分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１０　撮像装置
　１１　学習データ生成装置
　１２　ディスプレイ
　１３　情報処理装置
　１４　提供装置
　１５　撮像光学系
　１６　撮像素子
　１７　光学素子
　１８　メモリ
　１９　コントローラ
　２０　入出力インタフェース
　２１　コントローラ
　ＣＲＡ　直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
　ｉｃ１　第１の画像成分
　ｉｃ２　第２の画像成分
　ｉｍ１　第１の画像
　ｉｍ２　第２の画像
　ｉｍ３　第３の画像
　ｏｌｉｍ２　第２の重畳画像
　ｏｘ　光軸
　ｐｐ　直接画角の２倍の角度における物点
　ｒａ　受光領域
　ｒｃｉｍ　復元画像

Claims (8)

  1. 　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置を用いて、
    　前記第１の光を放射する物点が形成する第１の画像及び前記前記第２の光を放射する物点が形成する第２の画像をディスプレイに同時に表示させた第３の画像を撮像する
    　撮像方法。
  2. 　請求項１に記載の撮像方法において、
    　前記撮像装置を用いて、更に、個別に前記ディスプレイに表示させた前記第１の画像及び前記第２の画像を撮像する
    　撮像方法。
  3. 　請求項１又は２に記載の撮像方法において、
    　前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像を、当該第３の画像が含む前記第１の画像及び前記第２の画像にそれぞれ対応する画像と関連付けて記憶する
    　撮像方法。
  4. 　請求項３に記載の撮像方法における前記第３の画像の撮像により前記撮像装置が生成する第１の重畳画像と、前記第１の画像及び前記第２の画像にそれぞれ対応する画像とを用いて、前記第１の光を放射する物点に対応する第１の画像成分と前記第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習を行う
    　学習方法。
  5. 　請求項４に記載の学習方法において、
    　前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像の個別の撮像により前記撮像装置がそれぞれ生成する画像である
    　学習方法。
  6. 　請求項４に記載の学習方法において、
    　前記第１の画像及び前記第２の画像にそれぞれ対応する画像は、前記第１の画像及び前記第２の画像である
    　学習方法。
  7. 　受光領域を有する撮像素子と、入射する第１の光を前記受光領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記受光領域に導く光学素子と、を有する撮像装置と、
    　前記撮像装置の視野範囲内に位置するディスプレイと、
    　前記第１の光を放射する物点が形成する第１の画像及び前記第２の光を放射する物点が形成する第２の画像を前記ディスプレイに同時に表示させた第３の画像を前記撮像装置に撮像させる情報処理装置と、を備える
    　学習データ生成装置。
  8. 　第１の光を放射する物点に対応する第１の画像成分と第２の光を放射する物点に対応する第２の画像成分とが重畳された第２の重畳画像を、前記第１の画像成分と前記第２の画像成分に分離する画像処理モデルの学習に用いられるデータ構造であって、
    　前記第１の光を放射する物点が形成する第１の画像と、
    　前記第２の光を放射する物点が形成する第２の画像と、
    　前記第１の画像及び前記第２の画像を重畳させた第１の重畳画像と、
    　前記第１の画像、前記第２の画像、及び前記第１の重畳画像、との対応関係を示す対応情報と、を備え、
    　前記画像処理モデルを、前記第１画像、前記第２画像、前記第１重畳画像、及び前記対応情報の組合せを教師データとして用いて、学習させる
    　データ構造。
PCT/JP2023/025336 2022-07-13 2023-07-07 撮像方法、学習方法、学習データ生成装置、及びデータ構造 WO2024014415A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022112719A JP2024011041A (ja) 2022-07-13 2022-07-13 撮像方法、学習方法、学習データ生成装置、及びデータ構造
JP2022-112719 2022-07-13

Publications (1)

Publication Number Publication Date
WO2024014415A1 true WO2024014415A1 (ja) 2024-01-18

Family

ID=89536720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025336 WO2024014415A1 (ja) 2022-07-13 2023-07-07 撮像方法、学習方法、学習データ生成装置、及びデータ構造

Country Status (2)

Country Link
JP (1) JP2024011041A (ja)
WO (1) WO2024014415A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176056A (ja) * 2013-03-13 2014-09-22 Fujifilm Corp 撮像装置
JP2016012007A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2016046773A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176056A (ja) * 2013-03-13 2014-09-22 Fujifilm Corp 撮像装置
JP2016012007A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2016046773A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 撮像装置

Also Published As

Publication number Publication date
JP2024011041A (ja) 2024-01-25

Similar Documents

Publication Publication Date Title
CN100447661C (zh) 投影显示设备
TWI419551B (zh) 固態全景影像擷取裝置
CN102124749B (zh) 立体图像显示装置
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US5602584A (en) Apparatus for producing a panoramic image using a plurality of optical systems
KR20170139521A (ko) 화상 처리 장치 및 화상 처리 시스템
JPWO2007013215A1 (ja) 画像表示装置
CN110754081B (zh) 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
JP5147474B2 (ja) 撮像装置及びその制御方法
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP7331222B2 (ja) 光学装置及び撮像装置
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
JP2012019292A (ja) ３ｄカメラモジュールの撮像検査装置およびその撮像検査方法、３ｄカメラモジュールの撮像検査制御プログラム、３ｄカメラモジュールの撮像補正方法、３ｄカメラモジュールの撮像補正制御プログラム、可読記録媒体、３ｄカメラモジュール、電子情報機器
CN107872659B (zh) 投影装置以及投影方法
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
WO2024014415A1 (ja) 撮像方法、学習方法、学習データ生成装置、及びデータ構造
JP4595313B2 (ja) 撮像表示装置及び方法、画像送受信システム
TWI505708B (zh) 多鏡頭影像擷取裝置及其立體影像顯示方法
JP4424299B2 (ja) 画像処理方法、画像処理装置およびこれを用いた画像表示装置
WO2023090191A1 (ja) 撮像装置
EP3340605A1 (en) Imaging device, imaging method, program, and non-temporary recording medium
JPH10262176A (ja) 映像形成方法
JP2005174148A (ja) 撮像装置及び方法、撮像システム
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
CN105208373B (zh) 一种基于光场压缩采样的通用集成成像记录装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839587

Country of ref document: EP

Kind code of ref document: A1