WO2018211926A1 - 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム - Google Patents

画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム Download PDF

Info

Publication number
WO2018211926A1
WO2018211926A1 PCT/JP2018/016699 JP2018016699W WO2018211926A1 WO 2018211926 A1 WO2018211926 A1 WO 2018211926A1 JP 2018016699 W JP2018016699 W JP 2018016699W WO 2018211926 A1 WO2018211926 A1 WO 2018211926A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
telephoto
angle
optical system
Prior art date
Application number
PCT/JP2018/016699
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019519150A priority Critical patent/JP6708790B2/ja
Priority to CN201880029332.9A priority patent/CN110622499B/zh
Priority to EP18802909.4A priority patent/EP3627819B1/en
Publication of WO2018211926A1 publication Critical patent/WO2018211926A1/ja
Priority to US16/654,027 priority patent/US11100671B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to an image generation apparatus, an image generation system, an image generation method, and an image generation program, and more particularly to a technique for generating a composite image from a plurality of images (image group) obtained by imaging a subject while moving an imaging position.
  • panorama composition There is a technology to obtain a larger image by pasting multiple images, and it is called panorama composition, stitching, etc.
  • the mosaic image synthesizing device described in Patent Document 1 synthesizes one image (mosaic image) with a wide field of view from an image group with a narrow field of view captured while moving, and captures each image as information used for the synthesis.
  • the position and orientation information of the camera is acquired.
  • the camera position and orientation information can be estimated by analyzing the image group.
  • Patent Document 1 when the camera position and orientation information with respect to the j-th image (where j ⁇ N ⁇ 1) among the N images is known, the camera position and orientation for the j + 1-th image are disclosed. A procedure for estimating information is described.
  • the feature points existing in the region where the j-th image and the j + 1-th image overlap are associated to obtain an appropriate number of corresponding feature point pairs.
  • the camera position and orientation information at the time of imaging of the j-th image that minimizes the least square error between the feature point in the associated j-th image and the feature point in the j + 1-th image.
  • the position and orientation information of the camera at the time of capturing the image of j + 1 is obtained.
  • the first image to the Nth image are sequentially converted (projected) into an image on the mosaic image plane. ) To combine and combine one mosaic image with a wide field of view.
  • Patent Document 2 proposes an image composition processing device that captures a wide-angle image and a telephoto image and synthesizes one or more telephoto images into a wide-angle image in order to obtain a high-definition image.
  • the wide-angle image and the telephoto image are taken one by one, and may be images taken by changing the direction of the optical axis of the camera as long as the images are taken from the same place.
  • the telephoto image is transformed as if it was taken from the optical axis of the wide-angle image by projective transformation. This is because the subject images of the images can be matched.
  • Patent Document 3 a wide-angle image and a telephoto image are simultaneously captured by a single camera, the amount of change in the imaging range is measured based on a wide-angle image in which the imaging range is stable, and based on the measurement result.
  • the moving body (moving direction or moving speed) on which the camera is mounted is controlled so that image processing such as region matching using a telephoto image can be normally processed, or the camera (or imaging angle of view)
  • image processing such as region matching using a telephoto image can be normally processed, or the camera (or imaging angle of view)
  • the image composition processing device described in Patent Document 2 incorporates (synthesizes) one or more telephoto images into one wide-angle image, and precisely captures the entire subject over a wide range and obtains a highly accurate image. Yes, it does not generate a composite image with a wider range than a single wide-angle image.
  • the system described in Patent Document 3 captures a wide-angle image and a telephoto image simultaneously with a single camera, measures the amount of change in the imaging range based on the wide-angle image, and controls a moving body equipped with the camera.
  • the camera is controlled so that image processing such as region matching by the telephoto image can be normally processed, but the information on the wide-angle image is not used for synthesizing the telephoto image.
  • the present invention has been made in view of such circumstances, and an image generation device, an image generation system, and an image generation device that can synthesize a telephoto image group satisfactorily even if there is little overlap area between the images of the telephoto image group. It is an object to provide a method and an image generation program.
  • an image generation apparatus includes a wide-angle image captured by an imaging apparatus including an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis.
  • an imaging apparatus including an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis.
  • a composite information acquisition unit for acquiring composite information used for combining the telephoto image group, and a telephoto image group based on the composite information, information on the focal lengths of the wide-angle optical system and the telephoto optical system, and the telephoto image group.
  • a combined image generation unit configured to generate a combined image.
  • the subject is imaged while changing the position of the image pickup apparatus including the image pickup optical system including the wide-angle optical system and the telephoto optical system having a common optical axis.
  • the image of the center region (region corresponding to the angle of view of the telephoto image) of each image in the wide-angle image group and each image of the telephoto image group are the same image, although the resolution is different.
  • the composite information acquisition unit analyzes the acquired wide-angle image group and determines the position and orientation of the imaging device when each wide-angle image of the wide-angle image group is captured as composite information. It is preferable that the composite image generation unit synthesizes the telephoto image group based on the position and orientation of the imaging device and the angle of view ratio between the wide-angle optical system and the telephoto optical system.
  • the position and orientation of the imaging device of another wide-angle image based on the position and orientation of the imaging device when capturing a certain wide-angle image in the wide-angle image group can be estimated.
  • the distance between the position of the imaging device and the subject can be estimated.
  • the angle of view ratio between the wide-angle optical system and the telephoto optical system is a known value corresponding to the ratio of the focal lengths of the wide-angle optical system and the telephoto optical system.
  • the position and orientation of the imaging device estimated by analyzing the wide-angle image group can be applied to the telephoto image group, and the estimated imaging device Can be synthesized by determining the synthesis position of each image in the telephoto image group using the position and orientation of the image and the known angle-of-view ratio.
  • an absolute scale cannot be obtained, for example, if a known size (distance between two points) of the subject is specified, an absolute scale can also be obtained.
  • the composite image generation unit reflects the angle-of-view ratio of each telephoto image in the telephoto image group from the position of the imaging device toward the imaging direction of the imaging device. It is preferable to synthesize by projecting. For example, each image of the telephoto image group is pasted by projecting each telephoto image onto a predetermined projection plane (projection conversion) by reflecting the angle of view ratio in the image capturing direction of the image capturing device from the position of the image capturing device. The position is determined, and a high-definition composite image of the telephoto image is obtained.
  • the composite information acquisition unit analyzes the acquired wide-angle image group, and captures each wide-angle image of the wide-angle image group as composite information, and the position and orientation of the imaging device
  • the synthesized image generation unit synthesizes a telephoto image group based on information on the position and orientation of the imaging device, the stereoscopic shape of the subject, and the focal lengths of the wide-angle optical system and the telephoto optical system. Is preferred.
  • the composite information acquisition unit extracts a plurality of feature points in a region where each wide-angle image of the wide-angle image group overlaps, and a three-dimensional position of the extracted plurality of feature points
  • the synthesized image generation unit synthesizes the telephoto image group by mapping the corresponding texture of the telephoto image group on the surface of the 3D model of the object including the three-dimensional positions of the plurality of feature points.
  • an image is generated.
  • the composite information acquisition unit includes the position and orientation of the imaging device when each wide-angle image of the wide-angle image group is captured by the Structure from Motion method or the Simultaneous Localization And Mapping method. It is preferable to estimate the three-dimensional shape of the subject.
  • An image generation system includes a plurality of imaging optical systems including a wide-angle optical system and a telephoto optical system having a common optical axis, and two-dimensionally arranged photoelectric conversion elements.
  • a directional sensor that includes a plurality of pixels that selectively receive light beams that are incident on a wide-angle optical system and a telephoto optical system by dividing the pupil, respectively, and a wide-angle optical system.
  • An image acquisition unit comprising: an imaging device including an image reading unit that simultaneously acquires a wide-angle image received through a telephoto optical system and a telephoto image received through a telephoto optical system from a directional sensor; and the image generation device described above. Acquires a wide-angle image group and a wide-angle image group by acquiring a wide-angle image and a telephoto image that are captured while changing the position of the imaging device and read by the image reading unit.
  • an image is picked up simultaneously by a wide-angle optical system and a telephoto optical system having a common optical axis by using the image pickup apparatus configured as described above and performing image pickup while changing the position of the image pickup apparatus.
  • a wide-angle image group and a telephoto image group can be acquired.
  • the acquired wide-angle image group is analyzed, and composite information used for combining the telephoto image group is acquired.
  • Based on the acquired composite information information on the focal lengths of the wide-angle optical system and the telephoto optical system, and the telephoto image group An image obtained by synthesizing the telephoto image group can be generated.
  • one of the wide-angle optical system and the telephoto optical system of the imaging optical system is a circular central optical system, and the other optical system is the central optical system.
  • the annular optical system is preferably concentrically arranged with respect to the ring. No parallax occurs between the two images picked up by the circular central optical system and the annular optical system arranged concentrically with respect to the central optical system, and each has a rotationally symmetric shape. It is preferable as an imaging optical system.
  • the image generation system it is preferable to have a focus adjustment unit that performs focus adjustment of the telephoto optical system. Since the telephoto optical system has a shallow depth of field and is easily blurred compared to the wide-angle optical system, it is preferable to perform focus adjustment.
  • the wide-angle optical system may be provided with a focus adjustment unit, or the wide-angle optical system may be provided with no focus adjustment unit, and the wide-angle optical system may be pan-focused.
  • the image generation system further includes a moving body on which an imaging device is mounted. This is because the image pickup apparatus is appropriately moved to acquire a plurality of image groups having different parallaxes.
  • the moving body is preferably an aircraft or an artificial satellite.
  • An aircraft or an artificial satellite equipped with an imaging device is suitable for imaging a wide-area subject.
  • An image generation method includes a wide-angle image group captured by an imaging device including an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis, and a wide-angle image group.
  • a step of acquiring a wide-angle image group and a telephoto image group in which a subject is imaged while changing the position of the imaging device, and analyzing the acquired wide-angle image group Obtaining synthesis information used for synthesis, and generating synthesis image, information on focal lengths of the wide-angle optical system and telephoto optical system, and an image obtained by synthesizing the telephoto image group based on the telephoto image group.
  • the step of acquiring the composite information is performed by analyzing the acquired wide-angle image group and imaging each wide-angle image of the wide-angle image group as the composite information. It is preferable that the step of estimating the orientation and the orientation and generating the image synthesize the telephoto image group based on the position and orientation of the imaging apparatus and the angle of view ratio between the wide-angle optical system and the telephoto optical system.
  • the step of generating an image reflects the angle-of-view ratio of each telephoto image in the telephoto image group from the position of the imaging device toward the imaging direction of the imaging device. It is preferable to synthesize by projecting.
  • the step of acquiring the composite information is performed by analyzing the acquired wide-angle image group and imaging each wide-angle image of the wide-angle image group as the composite information.
  • the step of estimating the posture and the three-dimensional shape of the subject and generating the image includes the step of generating the telephoto image group based on the position and posture of the imaging device, the three-dimensional shape of the subject, and the focal length of the wide-angle optical system and the telephoto optical system. It is preferable to synthesize.
  • the step of obtaining the synthesis information includes extracting a plurality of feature points in an overlapping region of each wide-angle image in the wide-angle image group,
  • the step of estimating the three-dimensional position as a three-dimensional shape of the subject and generating the image includes mapping the corresponding texture of the telephoto image group onto the surface of the three-dimensional model of the subject including the three-dimensional positions of the plurality of feature points. It is preferable to generate an image in which
  • An image generation program includes a wide-angle image group captured by an imaging device including an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis, and a wide-angle image group At the same time, it is a telephoto image group, and a function of acquiring a wide-angle image group and a telephoto image group in which a subject is imaged while changing the position of the imaging device, and analyzing the acquired wide-angle image group, A computer having a function of acquiring composite information used for composition, a function of generating composite images, information on focal lengths of the wide-angle optical system and the telephoto optical system, and an image obtained by combining the telephoto image group based on the telephoto image group To make it happen.
  • each processing unit of the image acquisition unit, the composite information acquisition unit, and the composite image generation unit of the image generation apparatus is various processors as shown below.
  • the circuit configuration can be changed after manufacturing a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array) that is a general-purpose processor that functions as various processing units by executing software (programs).
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • dedicated logic circuits such as programmable logic devices (Programmable Logic Devices: PLDs) and ASICs (Application Specific Specific Integrated Circuits) that have specially designed circuit configurations to execute specific processing. It is.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, there is a form in which one processor is configured by a combination of one or more CPUs and software, and this processor functions as a plurality of processing units. Second, as represented by a system-on-chip (SoC), a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there. As described above, various processing units are configured using one or more of the various processors as a hardware structure. Furthermore, the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • SoC system-on-chip
  • the present invention it is possible to satisfactorily combine the telephoto image group even if there is little overlap area between the images of the telephoto image group, thereby greatly reducing the number of shots of the telephoto image group, In addition, a high-resolution composite image can be generated.
  • FIG. 1 is an external view showing an imaging device and an unmanned aerial vehicle that constitute an image generation system according to the present invention.
  • Block diagram showing the electrical configuration of the controller 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the present invention.
  • Block diagram showing schematic configuration of imaging lens drive system Operation explanatory diagram of telephoto optical system driven by focusing mechanism
  • the figure which shows an example of the to-be-photographed object and imaging
  • FIG. 1 is a system configuration diagram showing an embodiment of an image generation system according to the present invention.
  • 1 is a functional block diagram illustrating an embodiment of an image composition device according to the present invention.
  • Diagram showing the relationship between the world coordinate system, local coordinate system, and image coordinate system The figure which shows the position and attitude
  • Conceptual diagram of composite image generation The flowchart which shows 1st Embodiment of the image generation method which concerns on this invention. It is a flowchart which shows 2nd Embodiment of the image generation method which concerns on this invention, and the flowchart which shows the process sequence which produces
  • the image generation system according to the present invention is mainly composed of an imaging device, an image generation device, and an unmanned aerial vehicle.
  • FIG. 1 is an external view showing an image pickup apparatus 100 and an unmanned aircraft 10 constituting an image generation system 1 according to the present invention.
  • Unmanned Aircraft 10 is an example of a moving object.
  • the unmanned aerial vehicle 10 is a so-called drone and flies in the atmosphere based on an operation by the controller 12.
  • the unmanned aerial vehicle 10 includes a main body frame 14 including a plurality of flight propellers 16.
  • the main body frame 14 includes a body portion 14A, four arm portions 14B (only two are shown in FIG. 1) extending radially from the body portion 14A, and four leg portions 14C (FIG. 1) extending radially from the body portion 14A. 1 shows only two).
  • the propeller 16 is provided at the tip of each arm portion 14B. Therefore, the unmanned aerial vehicle 10 of the present embodiment is provided with four propellers 16 (only two are shown in FIG. 1).
  • the unmanned aerial vehicle 10 flies in the atmosphere by buoyancy generated by rotating the propeller 16.
  • the unmanned aerial vehicle 10 is lifted, lowered, turned, and the like by individually controlling the rotation of each propeller 16. Further, the flight speed is controlled by controlling the rotation of each propeller 16 individually.
  • FIG. 2 is a block diagram showing the electrical configuration of the unmanned aerial vehicle.
  • the unmanned aerial vehicle 10 includes a propeller drive motor 20, a motor driver 22, a sensor unit 24, a fuselage-side wireless communication unit 26, a fuselage-side wired communication unit 28, and an unmanned aircraft microcomputer (microcomputer) 30. Prepare.
  • the propeller drive motor 20 is a rotation drive means of the propeller 16.
  • a propeller drive motor 20 is provided for each propeller 16.
  • the driving of each propeller drive motor 20 is individually controlled by a motor driver 22.
  • Each motor driver 22 controls driving of the propeller drive motor 20 in accordance with a command from the unmanned aircraft microcomputer 30.
  • the Sensor unit 24 detects the flight state of the aircraft.
  • the sensor unit 24 includes various sensors such as a gyro sensor, a geomagnetic sensor, an acceleration sensor, a speed sensor, an altitude sensor, and a GPS (Global Positioning System).
  • the sensor unit 24 outputs information on the flight state of the aircraft detected by various sensors to the unmanned aircraft microcomputer 30.
  • the aircraft-side wireless communication unit 26 communicates wirelessly with the controller 12 under the control of the unmanned aircraft microcomputer 30 and transmits and receives various signals to and from each other. For example, when the controller 12 is operated, a control signal based on the operation is transmitted from the controller 12 to the unmanned aircraft 10. The aircraft-side wireless communication unit 26 receives the control signal transmitted from the controller 12 and outputs it to the unmanned aircraft 10.
  • the communication method is not particularly limited, and a commonly used communication method (for example, a communication method based on a wireless LAN (Local Area Network) standard, a communication method based on a specific power-saving wireless standard, or a cellular phone network) is used. Communication system).
  • the aircraft-side wired communication unit 28 communicates with the imaging device 100 in a wired manner under the control of the unmanned aircraft microcomputer 30 and transmits and receives various signals to and from each other.
  • the communication method is not particularly limited, and a commonly used communication method (for example, a communication method according to the USB (Universal Serial Bus) standard) is used.
  • the unmanned aircraft microcomputer 30 is a control unit that performs overall control of the entire operation of the unmanned aircraft 10.
  • the unmanned aerial vehicle microcomputer 30 has a CPU (Central Processing Unit), R An OM (Read Only Memory) and a RAM (Random Access Memory) are provided, and various functions are realized by executing predetermined programs.
  • the program is stored in the ROM.
  • Fig. 3 is a block diagram of the main functions realized by the unmanned aerial vehicle microcomputer.
  • the unmanned aerial vehicle microcomputer 30 functions as a movement control unit 30a, a camera control unit 30b, an airframe side wireless communication control unit 30c, an airframe side wired communication control unit 30d, and the like by executing a predetermined program.
  • the movement control unit 30 a controls the flight (movement) of the unmanned aerial vehicle 10 by controlling the driving of each propeller drive motor 20 via the motor driver 22.
  • the movement control unit 30 a controls the driving of each propeller drive motor 20 based on the control signal transmitted from the controller 12 and the flight state information output from the sensor unit 24, and the flight of the unmanned aircraft 10. To control. For example, when the controller 12 is instructed to ascend, the drive of each propeller drive motor 20 is controlled so that the aircraft rises. In addition, when the controller 12 instructs the lowering, the driving of each propeller drive motor 20 is controlled so that the machine body descends. Further, when turning is instructed from the controller 12, the driving of each propeller drive motor 20 is controlled so that the aircraft turns in the instructed direction. Further, during imaging, the driving of each propeller drive motor 20 is controlled so that the aircraft flies at a predetermined speed.
  • the camera control unit 30b controls the imaging device 100 based on a control signal transmitted from the controller 12. For example, the imaging apparatus 100 is caused to start imaging in response to an imaging start instruction from the controller 12. Further, in response to an imaging end instruction from the controller 12, the imaging apparatus 100 ends imaging.
  • the aircraft-side wireless communication control unit 30 c controls communication with the controller 12 via the aircraft-side wireless communication unit 26.
  • the machine-side wired communication control unit 30d controls communication with the imaging device 100 via the machine-side wired communication unit 28.
  • FIG. 4 is a block diagram showing an electrical configuration of the controller.
  • the controller 12 includes a controller operation unit 12a, a controller display unit 12b, a controller-side wireless communication unit 12c, and a controller microcomputer 12d.
  • the controller operation unit 12a includes various operation members that operate the unmanned aircraft 10 and the imaging device 100.
  • the operation members that operate the unmanned aerial vehicle 10 include, for example, an operation member that instructs the ascent and descent of the unmanned aircraft 10, an operation member that instructs the turning of the unmanned aircraft 10, and the like.
  • the operation member that operates the imaging apparatus 100 includes, for example, an operation member that instructs the start of imaging and the end of imaging.
  • the controller display unit 12b is composed of, for example, an LCD (Liquid Crystal Display / Liquid Crystal Display). For example, information on the flight state of the unmanned aerial vehicle 10 is displayed on the controller display unit 12b.
  • LCD Liquid Crystal Display / Liquid Crystal Display
  • the controller-side wireless communication unit 12c communicates wirelessly with the unmanned aircraft 10 under the control of the controller microcomputer 12d, and transmits and receives various signals to and from each other.
  • the controller microcomputer 12d is a control unit that performs overall control of the entire operation of the controller 12.
  • the unmanned aerial vehicle microcomputer 30 includes a CPU, a ROM, and a RAM, and implements various functions by executing predetermined programs. For example, when the controller operation unit 12a is operated, a control signal corresponding to the operation is generated and transmitted to the unmanned aircraft 10 via the controller-side wireless communication unit 12c. Further, for example, flight state information is acquired from the unmanned aerial vehicle 10 via the controller-side wireless communication unit 12c and displayed on the controller display unit 12b.
  • the program is stored in the ROM.
  • FIG. 5 is a block diagram showing a schematic configuration of the imaging apparatus 100 according to the present invention.
  • the imaging device 100 is configured with a monocular camera.
  • the imaging device 100 is mounted on the unmanned aircraft 10 via a pan head. The imaging direction is adjusted by the pan head.
  • the imaging apparatus 100 continuously captures moving images in accordance with imaging instructions from the controller 12. Note that the imaging apparatus 100 may sequentially capture still images as well as moving images.
  • the imaging apparatus 100 includes an imaging lens 300, an image sensor 210, an analog signal processing unit 230, a recording unit 232, a camera-side wired communication unit 234, a camera microcomputer 236, and the like.
  • FIG. 6 is a schematic configuration diagram of the imaging lens.
  • the imaging lens 300 that functions as an imaging optical system has two optical systems (the telephoto optical system 310 and the wide-angle optical system 320) in order to capture two images with different angles of view at the same time.
  • the telephoto optical system 310 and the wide-angle optical system 320 have the same optical axis L in order to image on the same axis.
  • the telephoto optical system 310 and the wide-angle optical system 320 are arranged concentrically.
  • the telephoto optical system 310 and the wide-angle optical system 320 have different focal lengths in order to capture images with different angles of view.
  • the wide-angle optical system 320 in this example is a circular central optical system, and the telephoto optical system 310 is an annular optical system disposed concentrically with respect to the central optical system.
  • the telephoto optical system 310 of the present embodiment is configured by a reflective telephoto optical system.
  • the telephoto optical system 310 includes a first lens 310a, a first mirror 310b, a second mirror 310c, a diaphragm 310d, and a common lens 330 in order from the subject side.
  • the first lens 310a, the first mirror 310b, the second mirror 310c, and the stop 310d each have a ring shape.
  • the first mirror 310b constitutes the primary mirror of the reflective telephoto optical system, and reflects the light that has passed through the first lens 310a toward the second mirror 310c.
  • the second mirror 310 c constitutes a secondary mirror of the reflective telephoto optical system, and reflects the light reflected by the first mirror 310 b toward the common lens 330.
  • the diaphragm 310d adjusts the amount of light incident on the common lens 330 from the second mirror 310c.
  • the diaphragm 310d is configured by combining a plurality of diaphragm blades in a ring shape, and adjusts the amount of light by expanding and contracting the outer diameter.
  • the common lens 330 is the final lens.
  • the light incident on the telephoto optical system 310 exits from the common lens 330 and enters the image sensor 210.
  • the common lens 330 is shared with the wide angle optical system 320.
  • FIG. 7 is a diagram showing a ray trajectory of light passing through the telephoto optical system.
  • the light enters the image sensor 210 via the first lens 310 a, the first mirror 310 b, the second mirror 310 c, the stop 310 d, and the common lens 330.
  • the wide-angle optical system 320 of the present embodiment is a fixed-focus optical system that can perform pan-focus imaging.
  • the wide-angle optical system 320 includes a first lens 320a, a second lens 320b, a diaphragm 320c, a third lens 320d, a fourth lens 320e, and a common lens 330 in order from the subject side.
  • Each optical element is arranged on the inner circumference coaxial of the telephoto optical system 310. Since the wide-angle optical system 320 has a fixed focal point, each optical element (including the common lens 330) is fixedly disposed at a fixed position.
  • the diaphragm 320c is also composed of a fixed diaphragm, and is fixedly disposed at a fixed position.
  • FIG. 8 is a diagram showing a ray trajectory of light passing through the wide-angle optical system 320.
  • the light enters the image sensor 210 via the first lens 320a, the second lens 320b, the aperture 320c, the third lens 320d, the fourth lens 320e, and the common lens 330.
  • FIG. 9 is a block diagram illustrating a schematic configuration of a drive system of the imaging lens 300.
  • the wide-angle optical system 320 has a fixed focus and a fixed aperture, the drive system is provided only for the telephoto optical system 310.
  • the telephoto optical system 310 includes a focusing mechanism that functions as a focus adjustment unit that adjusts the focus of the telephoto optical system 310.
  • the focusing mechanism displaces the focus position by moving some optical elements of the telephoto optical system 310 back and forth along the axis.
  • FIG. 10 is an explanatory view of the operation of the telephoto optical system driven by the focusing mechanism.
  • FIG. 4A shows a state where the movable part is moved to the subject side
  • FIG. 4B shows a state where the movable part is moved to the image plane side.
  • the focusing mechanism moves the first lens 310a, the first mirror 310b, the second mirror 310c, and the aperture stop 310d constituting the telephoto optical system 310 integrally to displace the focus position.
  • the focusing mechanism includes a support portion (not shown) that supports the first lens 310a, the first mirror 310b, the second mirror 310c, and the aperture stop 310d (hereinafter referred to as “movable portion”) so as to be integrally movable along an axis. And a focusing motor 340 that moves the telescopic optical system movable portion along the axis.
  • the focusing motor 340 is composed of, for example, a linear motor.
  • the camera microcomputer 236 controls the driving of the focusing motor 340 via the focusing motor driver 340a.
  • the telephoto optical system 310 includes a photo interrupter 342a and an MR sensor (MR sensor: Magneto Resistive Sensor) 342b as means for detecting the position of the movable part.
  • the photo interrupter 342a detects that the movable part is located at a predetermined origin.
  • the MR sensor 342b detects that the movable portion is located at the origin by the photo interrupter 342a that detects the displacement amount of the movable portion, and detects the displacement amount from the origin by the MR sensor 342b, whereby the position of the movable portion with respect to the origin is detected. Can be detected.
  • the detection results of the photo interrupter 342a and the MR sensor 342b are output to the camera microcomputer 236.
  • the camera microcomputer 236 detects the position of the movable part based on the outputs of the photo interrupter 342a and the MR sensor 342b.
  • the diaphragm 310d is driven by the diaphragm motor 344.
  • the camera microcomputer 236 controls driving of the aperture motor 344 via the aperture driver 344a.
  • the image sensor 210 is a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor), a CCD (CCD: Charged Coupled Device), and the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charged Coupled Device
  • the light passing through the telephoto optical system 310 and the light passing through the wide-angle optical system 320 Is formed of a directional sensor in which pixels that selectively receive light are two-dimensionally arranged.
  • FIG. 11 is a schematic configuration diagram of the image sensor 210.
  • the image sensor 210 has a plurality of pixels composed of two-dimensionally arranged photoelectric conversion elements, and is a first pixel that selectively receives light that has passed through the telephoto optical system 310.
  • the second pixel 212B that selectively receives light having passed through 212A and the wide-angle optical system 320 is provided.
  • the first pixels 212A and the second pixels 212B are alternately arranged on the same plane.
  • FIG. 12 is a conceptual diagram of a configuration in which each pixel of the image sensor 210 selectively receives light from the corresponding optical system.
  • each pixel includes a photodiode 214, a microlens 216, and a light shielding mask 218.
  • the microlens 216 and the light shielding mask 218 function as pupil dividing means that divides the light beams passing through the telephoto optical system 310 and the wide-angle optical system 320 into pupils and selectively enters each pixel of the image sensor 210.
  • the microlens 216 is disposed in front of the photodiode 214.
  • the microlens 216 forms the pupil image of the telephoto optical system 310 and the wide-angle optical system 320 on the photodiode 214.
  • the light shielding mask 218 is disposed between the microlens 216 and the photodiode 214.
  • the light shielding mask 218 shields part of the light that has passed through the microlens 216.
  • the light shielding mask 218 of the first pixel 212A has a shape that shields the light L2 that has passed through the wide-angle optical system 320. Specifically, it has a circular shape.
  • the light shielding mask 218 of the second pixel 212B has a shape that shields the light L1 that has passed through the telephoto optical system 310. Specifically, it has a ring shape.
  • the first pixel 212A selectively receives the light L1 that has passed through the telephoto optical system 310
  • the second pixel 212B selectively receives the light L2 that has passed through the wide-angle optical system 320. Therefore, by acquiring the image signal of the first pixel 212A, the image signal of the image Im1 obtained via the telephoto optical system 310 can be simultaneously acquired, and by acquiring the image signal of the second pixel 212B, the wide-angle optical system The image signal of the image Im2 obtained through 320 can be acquired.
  • the image Im1 of the telephoto optical system 310 is the central portion of the image Im2 of the wide-angle optical system 320. And an image without parallax.
  • the first pixel 212A and the second pixel 212B are provided with color filters.
  • the color filters are arranged in a prescribed arrangement. For example, color filters composed of three colors of red, green, and blue are arranged in a Bayer array. Thereby, a color image can be acquired.
  • an analog signal processing unit 230 takes in an analog image signal for each pixel output from the image sensor 210, performs predetermined signal processing, converts it into a digital signal, and outputs it.
  • the digital image signal output from the analog signal processing unit 230 is taken into the camera microcomputer 236.
  • the recording unit 232 is a recording unit for various data.
  • the captured image data is recorded in the recording unit 232.
  • the recording unit 124 is configured by a storage device using a nonvolatile memory such as an SSD (solid state drive). Note that the imaging apparatus 100 of the present embodiment captures two images (a telephoto image and a wide-angle image) at the same time, so that two images are recorded at a single imaging. Specifically, image data captured by the telephoto optical system 310 and image data captured by the wide-angle optical system 320 are recorded.
  • the camera-side wired communication unit 234 communicates with the unmanned aircraft 10 by wire under the control of the camera microcomputer 236 and transmits and receives various signals to and from each other.
  • the camera microcomputer 236 is a control unit that performs overall control of the overall operation of the imaging apparatus 100.
  • the camera microcomputer 236 includes a CPU, a ROM, and a RAM, and realizes various functions by executing predetermined programs.
  • the program is stored in the ROM.
  • FIG. 13 is a block diagram of main functions realized by the camera microcomputer 236.
  • the camera microcomputer 236 executes a predetermined program, thereby performing a digital signal processing unit 236a, a recording control unit 236b, a camera side wired communication control unit 236c, an imaging control unit 236d, an aperture control unit 236e, It functions as a focusing control unit 236f, a lens position detection unit 236g, and the like.
  • the digital signal processing unit 236a takes in the analog image signal output from the analog signal processing unit 230 and performs predetermined signal processing (for example, color interpolation, color separation, color balance adjustment, gamma correction, image enhancement processing, etc.). To generate image data. At this time, the digital signal processing unit 236a generates telephoto image data based on the image signal of the first pixel 212A of the image sensor 210, and generates wide-angle image data based on the image signal of the second pixel 212B.
  • predetermined signal processing for example, color interpolation, color separation, color balance adjustment, gamma correction, image enhancement processing, etc.
  • the recording control unit 236b controls reading / writing of data from / to the recording unit 232.
  • Image data (telephoto image data and wide-angle image data) obtained by imaging is recorded in the recording unit 232 by the recording control unit 236b. Note that, among the telephoto image group and the wide-angle image group captured as a moving image (or a plurality of still images), the image data of the telephoto image and the wide-angle image captured simultaneously are stored in association with each other.
  • the camera-side wired communication control unit 236c controls communication with the unmanned aircraft 10 via the camera-side wired communication unit 234.
  • the imaging control unit 236d that functions as an image reading unit that simultaneously acquires an image signal indicating a wide-angle image and a telephoto image from the image sensor 210 controls driving of the image sensor 210 via the image sensor driver 210a. More specifically, the drive of the image sensor 210 is controlled so that a moving image is captured at a predetermined frame rate.
  • the aperture controller 236e controls the driving of the aperture motor 344 via the aperture driver 344a. More specifically, the driving of the diaphragm motor 344 is controlled so that the diaphragm 310d has a predetermined diaphragm value (aperture amount).
  • the aperture value is set based on a signal obtained from the image sensor 210. That is, the aperture value is set so that the proper exposure is obtained.
  • the focusing control unit 236f controls the driving of the focusing motor 340 via the focusing motor driver 340a.
  • the unmanned aerial vehicle 10 flies in the atmosphere based on the operation of the controller 12. Specifically, it rises in accordance with an ascending instruction from the controller 12, and descends in accordance with a descending instruction. Further, the vehicle turns in the designated direction according to the turning instruction.
  • the imaging device 100 also captures images based on the operation of the controller 12. That is, in response to an instruction to start imaging by the controller 12, imaging of a moving image is started. Further, in response to an instruction to end imaging by the controller 12, the imaging of the moving image is ended. A moving image is continuously captured from the start of imaging until the end of imaging is instructed.
  • the imaging apparatus 100 of the present embodiment simultaneously captures a telephoto image by the telephoto optical system 310 and a wide-angle image by the wide-angle optical system 320 on the same axis. Both are moving images having no parallax and are recorded in the recording unit 232.
  • FIG. 14 is a diagram illustrating an example of a subject imaged by the imaging device 100 mounted on the unmanned aircraft 10 and an imaging mode.
  • the subject shown in FIG. 14 is a photovoltaic power generation facility 500 installed on the ground, and the imaging device 100 mounted on the unmanned aircraft 10 is moved from above by the unmanned aircraft 10 along a flight route indicated by an arrow R.
  • the solar power generation facility 500 is imaged. That is, the unmanned aircraft 10 flies so that the imaging device 100 scans the solar power generation facility 500, and images the solar power generation facility 500 from above.
  • the photovoltaic power generation facility 500 is configured by regularly arranging a plurality of photovoltaic power generation units 510.
  • One solar power generation unit 510 is configured by regularly arranging a plurality of solar cell modules 520.
  • 45 solar cell modules 520 are arranged in a vertical and horizontal 5 ⁇ 9 configuration to constitute one solar power generation unit 510.
  • FIG. 15 is a perspective view showing a state in which the photovoltaic power generation unit 510 is imaged by the imaging device 100 mounted on the unmanned aircraft 10, and Zt represents one imaging range that is imaged via the telephoto optical system 310. Zw indicates a single imaging range in which imaging is performed via the wide-angle optical system 320.
  • one imaging range Zt imaged via the telephoto optical system 310 is a range that can cover the length of one solar power generation unit 510 in the short direction, and the wide-angle optical system 320.
  • the single imaging range Zw that is imaged through the range is a range that can cover the length of the three photovoltaic power generation units 510 in the short direction.
  • the unmanned aerial vehicle 10 flies (including hovering) while keeping the altitude substantially constant during imaging. Therefore, the only operation during imaging is turning.
  • the unmanned aerial vehicle microcomputer 30 that functions as the movement control unit 30a controls the driving of each propeller drive motor 20 based on the output from the sensor unit 24, and flies with the altitude maintained substantially constant.
  • the telescopic optical system 310 captures the range X1 of the field angle ⁇ 1
  • the wide-angle optical system 320 captures the range X2 of the field angle ⁇ 2.
  • a telephoto image group used for synthesizing a telephoto image which will be described later, does not need to overlap the range X1 between adjacent telephoto images (preferably, the range X1 overlaps to such an extent that no gap is generated). Needs to sufficiently overlap the range X2 between adjacent wide-angle images.
  • the unmanned aircraft 10 may be configured to automatically fly a predetermined route. In this case, the controller 12 becomes unnecessary.
  • the unmanned aerial vehicle 10 flies on a predetermined route while autonomously controlling based on information from various sensors. In this case as well, the flight speed is set under the above conditions.
  • the moving image is continuously imaged in accordance with the imaging instruction, but the still image may be periodically imaged.
  • a plurality of telephoto images (telephoto image group) captured by the telephoto optical system 310 and a plurality of wide-angle images (wide-angle image group) captured by the wide-angle optical system 320 are recorded in the recording unit 232, respectively.
  • the later-described image composition processing for the telephoto image group and the wide-angle image group may be performed by an image generation apparatus built in or connected to the imaging apparatus 100, or separate from the imaging apparatus 100 (dedicated image generation). Apparatus).
  • the camera microcomputer 236 When the image synthesizing process is performed by the imaging apparatus 100, the camera microcomputer 236 is made to realize the function of performing the above process. In this case, the camera microcomputer 236 functions as an image generation device by executing an image generation program, and executes the above processing.
  • a computer When performing with a dedicated image generation device, for example, a computer is caused to function as an image generation device. That is, a computer is caused to execute an image generation program so as to function as the image generation apparatus.
  • FIG. 17 is a system configuration diagram showing the image generation system 1 according to the present invention, which includes an imaging device 100, an unmanned aircraft 10 equipped with the imaging device 100, and the image generation device 2.
  • the image generation device 2 includes a CPU, a ROM, a RAM, and the like and is configured by a computer.
  • the image generation device 2 acquires a telephoto image group and a wide-angle image group captured by the imaging device 100, and acquires the acquired telephoto image group and wide-angle image. An image obtained by synthesizing the telephoto image group based on the group is generated.
  • the computer functions as the image generation device 2 when the CPU executes an image generation program stored in the ROM.
  • FIG. 18 is a functional block diagram showing an embodiment of the image generation apparatus 2 according to the present invention.
  • the image generation apparatus 2 mainly includes an image acquisition unit 2a, a composite information acquisition unit 2b, and a composite image generation unit 2c.
  • the image acquisition unit 2a acquires a wide-angle image group and a telephoto image group captured by the imaging device 100.
  • the acquisition of the wide-angle image group and the telephoto image group by the image acquisition unit 2a is performed by performing wireless communication with the imaging device 100 or the unmanned aircraft 10, and each time imaging is performed by the imaging device 100, the images are simultaneously captured.
  • the wide-angle telephoto image and the wide-angle image may be acquired in real time, or the wide-angle image group and the telephoto image group may be acquired together via wireless communication, wired communication, or a recording medium after the imaging is completed.
  • the composite information acquisition unit 2b analyzes the wide-angle image group acquired by the image acquisition unit 2a, and acquires composite information used for combining the telephoto image group.
  • the composite information acquisition unit 2b analyzes the wide-angle image group and estimates the position and orientation of the imaging apparatus 100 when each wide-angle image of the wide-angle image group is captured as composite information.
  • SIFT Scale-invariant feature ⁇ ⁇ transform
  • SURF Speed-Upped Robust ⁇ ⁇ Feature
  • AKAZE Accelerated KAZE
  • the number of corresponding points (number of sets) with matching feature quantities is preferably several tens or more. Therefore, it is preferable that the overlapping area between the wide-angle images is large. In the example shown in FIG. 16, the overlapping area between the wide-angle images exceeds 50% of the entire image.
  • the position and orientation of the imaging apparatus 100 are estimated based on a plurality of corresponding feature points between the wide-angle images.
  • FIG. 19 is a diagram showing the relationship among the world coordinate system, the local coordinate system, and the image coordinate system.
  • the three-dimensional position (three-dimensional shape) of the subject can be represented by an XYZ orthogonal three-axis world coordinate system having the origin O.
  • the xyz orthogonal three-axis local coordinate system (hereinafter referred to as “camera coordinate system”) is a coordinate system of the imaging apparatus 100 (camera) that moves independently of the world coordinate system.
  • the origin of the camera coordinate system is the focal position of the camera, and the optical axis direction is the z axis.
  • the image coordinate system is a coordinate system that represents a two-dimensional position of a point on the image formed on the image sensor 210.
  • the coordinates (u, v) of the feature point c on the image can be obtained from the number of pixels from the reference position of the image sensor 210 and the pixel pitch.
  • the relationship can be expressed by the following equation.
  • the camera internal parameters include the focal length, the image size of the image sensor, the pixel pitch, the image center position, and the like, and can be acquired in advance by calibration.
  • the matrix M representing camera external parameters is a coordinate conversion matrix from world coordinates to camera coordinates, and includes a translation vector representing the position of the imaging apparatus 100 and a rotation matrix representing the attitude of the imaging apparatus 100.
  • the position and orientation of the imaging apparatus 100 can be estimated by obtaining a matrix M representing camera external parameters.
  • a Structure-from-Motion (SfM) method is known as a method for estimating camera external parameters based on feature points on a plurality of images.
  • the SfM method tracks a plurality of feature points on an image to be captured while moving the imaging apparatus 100 (camera), and uses the correspondence between these feature points to make a three-dimensional view of the position and orientation of the camera and the feature points.
  • the position is calculated.
  • the relative position between the camera and the subject and the relative position and orientation between the cameras can be estimated, but since the scale information cannot be obtained only by the image, the absolute position is determined. Cannot be estimated. Therefore, the absolute position can be estimated by adding absolute position information such as a marker whose three-dimensional position is known, or size information of the subject (for example, size information of the solar cell module 520). .
  • the composite information acquisition unit 2b uses the SfM method for the input wide-angle image group, and determines the position and orientation of the imaging apparatus 100 when each wide-angle image of the wide-angle image group is captured as composite information. presume.
  • combination information acquisition part 2b may use not only the case where an SfM method is used, but a Simulaneous
  • the SLAM method can simultaneously estimate the position of the feature point and the position and orientation of the camera using a set of feature points that are dynamically updated according to changes in the input image.
  • the basic principle of the SLAM method is that of non-patent literature (Andrew J. Davison, “Real-Time Simultaneous Localization” and “Mapping” with “a” ingle “Camera”, Proceedings -1410).
  • FIG. 20 is a diagram illustrating the position and orientation of the imaging apparatus 100 and the three-dimensional position of the feature point FP estimated by the composite information acquisition unit 2b using the SfM method.
  • the XYZ coordinate system is a world coordinate system, and in this example, the XY plane represents the ground plane, and the Z axis represents the height direction (altitude).
  • a line segment from each imaging position of the imaging device 100 toward the ground plane indicates an imaging (optical axis) direction of the imaging device 100.
  • the composite image generation unit 2 c includes the composite information acquired by the composite information acquisition unit 2 b (in this example, the position and orientation of the imaging device 100), the focal points of the wide-angle optical system 320 and the telephoto optical system 310. Based on the information on the distance (in this example, the angle of view ratio (focal length ratio) of both optical systems) and the telephoto image group acquired by the image acquisition unit 2a, an image obtained by synthesizing the telephoto image group is generated.
  • the distance in this example, the angle of view ratio (focal length ratio) of both optical systems
  • FIG. 21 is a diagram showing a method of synthesizing two telephoto images based on two wide-angle images.
  • the imaging ranges Zw1 and Zw2 of two adjacent wide-angle images overlap each other by more than 50% of the entire image, and in the overlapping area between the two wide-angle images in the composite information acquisition unit 2b.
  • composite information position and orientation of the imaging device 100 when two wide-angle images are respectively captured
  • the composite image generation unit 2c starts two wide-angle images, for example, in the imaging direction corresponding to the attitude of the imaging device 100, starting from the position of the imaging device 100 when the two wide-angle images are respectively captured.
  • a telephoto image captured simultaneously with the wide-angle image is used instead of the wide-angle image, and the angle of view between the angle of view ⁇ 1 of the telephoto optical system 310 and the angle of view ⁇ 2 of the wide-angle optical system 320 shown in FIG.
  • the two telephoto images are appropriately combined. Since the telephoto optical system 310 and the wide-angle optical system 320 have different matrices C (particularly focal lengths) representing the camera internal parameters shown in [Equation 1], the composite information obtained by analyzing the wide-angle image group is used.
  • the two telephoto images can be appropriately combined by converting the camera internal parameters to reflect.
  • the imaging ranges Zt1 and Zt2 of the two telephoto images to be combined preferably have few overlapping portions between the two images. This is because the overlapping portion between adjacent telephoto images is not used to obtain composite information for synthesizing the telephoto images, and the number of shots of the telephoto image group can be reduced by reducing the overlapping portions between the telephoto images. It is because it can reduce significantly.
  • the telephoto image group can be synthesized.
  • a gap occurs in the synthesized image, but the gap can be filled by imaging again.
  • the gap can be filled with a wide-angle image. In this case, the resolution of the image in the gap portion decreases.
  • FIG. 22 is a conceptual diagram of generation of a composite image.
  • FIG. 22 shows ten wide-angle images W1 to W10 obtained when the imaging apparatus 100 flies substantially linearly, and ten synthesized images based on synthesized information acquired from these wide-angle images W1 to W10. Telephoto images T1 to T10 are shown.
  • the telephoto images T1 to T10 are shown to be small in order to show the imaging ranges of the wide-angle images W1 to W10 and the telephoto images T1 to T10, but the image sizes of the telephoto images T1 to T10 are large ( Resolution is high).
  • the synthesized image obtained by synthesizing the telephoto image group by the synthesized image generation unit 2 c can be displayed by being output to the display unit 3, and can be stored by being output to the recording unit 4. Can do.
  • the display unit 3 can use a monitor of a computer including the image generating device 2, and the recording unit 4 uses an external memory such as a hard disk of the computer, a nonvolatile memory in the computer, and a memory card attached to and detached from the computer. be able to.
  • the user can observe the subject (in this example, the solar power generation facility 500) from the composite image displayed on the display unit 3, and in particular, the solar power generation unit 510 constituting the solar power generation facility 500, and further the sun
  • the composite image can be enlarged and displayed on the display unit 3.
  • the synthesized image is generated by synthesizing the telephoto image, so that the resolution is high and the image can be observed in detail.
  • the image generation device 2 acquires a wide-angle telephoto image and a wide-angle image captured at the same time in real time each time an image is captured by the imaging device 100, and displays a composite image obtained by sequentially synthesizing the telephoto image. 3 can be displayed in real time.
  • the user can confirm an area where the telephoto image is not synthesized by the synthesized image displayed in real time on the display unit 3 (an area that has not been shot), and the unmanned aircraft 10 can be used to capture the area that has not been shot. Can be operated remotely.
  • the composite information acquisition unit 2b illustrated in FIG. 18 analyzes a wide-angle image group, and a plurality of feature points (SIFT feature amounts and the like) that exist in an overlapping region with an adjacent wide-angle image match based on an arbitrary wide-angle image. Extract multiple sets of corresponding points).
  • a projective transformation matrix of the adjacent wide-angle image that matches the corresponding feature points of the adjacent wide-angle image with a plurality of feature points of the reference wide-angle image is calculated.
  • the transformation parameters for projective transformation refer to the eight parameters a, b, s, c, d, t, p, and q in [Formula 2]. Further, (x, y) and (X, Y) indicate coordinate values before and after projective transformation, respectively.
  • eight conversion parameters used for projective transformation are calculated by establishing eight simultaneous equations by substituting the coordinate values of a plurality of sets of feature points into the equation [2] and solving the eight simultaneous equations. Can do.
  • the conversion parameters of the projective transformation are calculated one after another based on the wide-angle image group.
  • the composite image generation unit 2c inputs the conversion parameters of the projective transformation acquired by the composite information acquisition unit 2b as composite information used for the synthesis of the telephoto image group, and the other for the telephoto image corresponding to the reference wide-angle image.
  • the telephoto image group is subjected to projective transformation based on the input composite information and information on the focal lengths of the wide-angle optical system and the telephoto optical system to synthesize the telephoto image group.
  • the composite information acquisition unit 2b illustrated in FIG. 18 analyzes the wide-angle image group, and estimates the position and orientation of the imaging device 100 and the three-dimensional shape of the subject when each wide-angle image of the wide-angle image group is captured as composite information.
  • the wide-angle image group in this case is an image taken from various angles so that there is no non-imaged area for a subject having a three-dimensional shape.
  • the three-dimensional shape of the subject is a set of three-dimensional positions of a plurality of feature points whose features match between the wide-angle images, and the three-dimensional positions of the plurality of feature points are appropriately interpolated to obtain a high-density three-dimensional position. It is preferable.
  • the composite image generation unit 2c generates an image obtained by synthesizing the telephoto image group by mapping the texture corresponding to the telephoto image group on the 3D model surface of the subject including the three-dimensional positions of the plurality of feature points. That is, the composite image generation unit 2c generates a polygon mesh for recognizing the shape of the subject based on the three-dimensional position including the plurality of feature points acquired by the composite information acquisition unit 2b, and the generated polygon mesh is telephoto. A texture corresponding to the polygon mesh is extracted from the image group and mapped.
  • a three-dimensional synthesized image (three-dimensional image) obtained by synthesizing the telephoto image group is recorded in the recording unit 4.
  • the composite image generation unit 2c or an image reproduction unit reads the three-dimensional image recorded in the recording unit 4, designates the viewpoint position and the projection plane, and projects the three-dimensional image so that it can be viewed from an arbitrary viewpoint.
  • An image of the subject can be displayed on the display unit 3.
  • FIG. 23 is a flowchart showing the first embodiment of the image generating method according to the present invention.
  • the image acquisition unit 2a of the image generation device 2 inputs a wide-angle image group and a telephoto image group captured by the imaging device 100, respectively (steps S10 and S12).
  • a wide-angle telephoto image and a wide-angle image captured at the same time may be input in real time, or a wide-angle image group and a telephoto image group may be input together after the imaging is completed. May be.
  • the composite information acquisition unit 2b analyzes the input wide-angle image group and acquires composite information used for combining the telephoto image group (step S14).
  • the composite image generation unit 2c combines the telephoto image group based on the composite information acquired in step S14, information on the focal lengths of the wide-angle optical system and the telephoto optical system of the imaging apparatus 100 (view angle ratio), and the telephoto image group.
  • a composite image is generated (step S16).
  • the composite image is generated by reflecting the angle-of-view ratio between the wide-angle optical system and the telephoto optical system for each telephoto image in the telephoto image group from the position of the image capture device 100 toward the image capture direction of the image capture device 100. Synthesize by projecting.
  • FIG. 24 is a flowchart showing a second embodiment of the image generation method according to the present invention, and particularly shows processing procedures of the composite information acquisition unit 2b and the composite image generation unit 2c that generate a three-dimensional image.
  • the composite information acquisition unit 2b extracts feature points included in a region where the wide-angle images of the wide-angle image group overlap (overlapping region) (step S100), and the correspondence relationship between the feature points between the wide-angle images ( Corresponding points having the same local feature amount are determined (step S110).
  • the composite information acquisition unit 2b estimates the position and orientation of the imaging device 100 based on a plurality of corresponding feature points between the wide-angle images (step S120). Further, the three-dimensional position of the feature point is simultaneously estimated from the estimation result of the position and orientation of the imaging apparatus 100 (step S120).
  • the position and orientation of the imaging apparatus 100 can be estimated by obtaining a matrix M that represents the camera external parameters shown in [Expression 1] based on the image coordinates of a plurality of feature points.
  • a technique for estimating camera external parameters based on feature points on a plurality of images an SfM technique and an SLAM technique are known.
  • the three-dimensional shape of the subject including the three-dimensional position of the feature point estimated in step S130 is estimated (step S140), and the corresponding texture of the telephoto image group is mapped to the estimated three-dimensional shape of the subject (the three-dimensional model surface).
  • An image (three-dimensional image) obtained by synthesizing the telephoto image group is generated (step S150).
  • the image generation device may be built in or coupled to the imaging device, or may be a separate device from the imaging device.
  • an imaging device is mounted on an unmanned aerial vehicle, but the imaging device is not limited to an unmanned aircraft, and may be mounted on a manned aircraft, an artificial satellite, an automobile, a robot, or other mobile objects. Alternatively, the imaging device may be mounted on a pan head or the like, and imaging may be performed while turning the camera, and further, the image may be captured while being held by a human hand and changing the position of the imaging device. In this case, a moving body is unnecessary.
  • An image generation program installed in a computer to cause the computer to function as an image generation apparatus, and a computer-readable recording medium (non-temporary recording medium) that records the image generation program are also one aspect of the present invention.
  • the synthesis information acquired by analyzing the wide-angle image group is not limited to the present embodiment, but for synthesizing the telephoto image group acquired based on a plurality of feature points included in the overlapping region between the wide-angle images. Any combination information may be used.
  • the telephoto image to be synthesized may be a two-dimensional image or a three-dimensional image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができる画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムを提供する。共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得する画像取得部２ａと、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する合成情報取得部２ｂと、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成する合成画像生成部２ｃと、を備える。

Description

画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
　本発明は画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムに係り、特に撮像位置を移動させながら被写体を撮像した複数の画像（画像群）から合成画像を生成する技術に関する。
　複数の画像を貼り合わせて、より大きな画像を得る技術があり、パノラマ合成、ステッチングなどと呼ばれている。
　特許文献１に記載のモザイク画像合成装置は、移動しながら撮像された視野の狭い画像群から視野の広い１つの画像（モザイク画像）を合成し、合成に使用する情報として、各画像の撮像時のカメラの位置及び姿勢情報を取得している。
　また、カメラの位置及び姿勢情報は、画像群を解析することで推定することができる。特許文献１には、Ｎ枚の画像のうちの第ｊの画像（ただし、ｊ＜Ｎ－１）に対するカメラの位置及び姿勢情報が既知の場合に、第ｊ＋１の画像についてのカメラの位置及び姿勢情報を推定する手順が記載されている。
　まず、第ｊの画像と第ｊ＋１の画像とが重複している領域に存在する特徴点の対応付けを行い、適当な数の対応する特徴点の対を求める。次に、対応付けられた第ｊの画像中の特徴点と第ｊ＋１の画像中の特徴点との最小自乗誤差を最小にする、第ｊの画像の撮像時のカメラの位置及び姿勢情報に対する第ｊ＋１の画像の撮像時のカメラの位置及び姿勢情報を求める。
　このようにして求めた第１の画像から第Ｎの画像の撮像時のカメラの位置及び姿勢情報に基づいて、第１の画像から第Ｎの画像を順次モザイク画像平面の画像へと変換（投影）して貼り合わせ、視野の広い１つのモザイク画像を合成する。
　一方、特許文献２には、広角画像と望遠画像とを撮像し、高精細な画像を得るために、広角画像中に１枚又は複数枚の望遠画像を合成する画像合成処理装置が提案されている。ここで、広角画像と望遠画像とは、１枚ずつ撮像されたものであり、同一の場所からの撮像であれば、カメラの光軸の方向を変えて撮像した画像であってもよい。広角画像と望遠画像との光軸中心にずれが生じているような場合であっても、望遠画像を射影変換することにより、望遠画像を広角画像の光軸から撮影したように変形して両画像の被写体像を一致させることができるからである。
　また、特許文献３には、1台のカメラで広角画像と望遠画像とを同時に撮像し、撮像範囲が安定している広角画像に基づいて撮像範囲の変化量を測定し、その測定結果に基づいて、望遠画像による領域マッチング等の画像処理が正常に処理可能な範囲に抑制されるように、カメラを搭載した移動体（移動方向又は移動速度）を制御し、あるいはカメラ（又は撮像画角）を制御するシステムが記載されている。
　更に、カメラの撮影位置が動いていく動画中から、多数の特徴点の動きをトラッキングし、被写体の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、実用時間内に高精度な出力を出せるようになっている。
特開２００６－１８９９４０号公報 特開２００７－１６４２５８号公報 特開２０１７－２２５７４号公報
　特許文献１に記載のモザイク画像合成装置により、視野の狭い画像群から視野の広い１つのモザイク画像を合成する場合、適当な数の対応する特徴点を抽出するために、視野の狭い画像群の重なり部分（画像間の重複領域）を多く必要とし、そのため多数の画像が必要になるという問題がある。尚、撮像時のカメラの位置及び姿勢情報をセンサにより取得することが可能であるが、精度の高い情報を取得するためにはセンサが高価になり、又は画像合成の精度が低下するという問題がある。
　一方、ＳｆＭ手法は、多数の特徴点を複数画像の中に含む必要があるため、良好に推定を行うために、広角で撮影した画像が使われる。広角画像は、被写体のおおよその３次元構造の推定には効果的だが、各画像内の被写体像は小さく、被写体の細部が確認できないという問題がある。
　特許文献２に記載の画像合成処理装置は、１枚の広角画像に１枚又は複数枚の望遠画像を組み込み（合成し）、広範囲にわたる被写体全体を精細に写すとともに高精度な画像を得るものであり、１枚の広角画像よりも広範囲の合成画像を生成するものではない。
　また、特許文献３に記載のシステムは、１台のカメラで広角画像と望遠画像とを同時に撮像し、広角画像に基づいて撮像範囲の変化量を測定してカメラを搭載した移動体を制御し、あるいはカメラを制御し、これにより望遠画像による領域マッチング等の画像処理を正常に処理できるようにしているが、広角画像の情報を望遠画像の合成に利用するものではない。
　本発明はこのような事情に鑑みてなされたもので、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができる画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムを提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る画像生成装置は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得する画像取得部と、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する合成情報取得部と、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成する合成画像生成部と、を備える。
　画像取得部により取得される広角画像群及び望遠画像群は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置の位置を変えながら被写体が撮像されたものであり、広角画像群の各画像の中心領域（望遠画像の画角に対応する領域）の画像と望遠画像群の各画像とは解像度が異なるものの、同一の画像である。
　したがって、望遠画像群の合成に使用する合成情報を、広角画像群を解析することにより取得することができ、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができる。これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
　本発明の他の態様に係る画像生成装置において、合成情報取得部は、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢をそれぞれ推定し、合成画像生成部は、撮像装置の位置及び姿勢並びに広角光学系と望遠光学系との画角比に基づいて望遠画像群を合成することが好ましい。
　広角画像群の重複領域の画像を解析することで、広角画像群のうちのある広角画像を撮像したときの撮像装置の位置及び姿勢を基準にした、他の広角画像の撮像装置の位置及び姿勢を推定することができる。また、被写体の三次元位置が推定可能であるため、撮像装置の位置と被写体との距離を推定することができる。尚、広角光学系と望遠光学系との画角比は、広角光学系及び望遠光学系の焦点距離の比に対応した既知の値である。
　広角画像群と望遠画像群とは画像中心（光軸）が同一であるため、広角画像群を解析して推定した撮像装置の位置及び姿勢は、望遠画像群にも適用でき、推定した撮像装置の位置及び姿勢と、既知の画角比とを用いて望遠画像群の各画像の合成位置を決定して合成することができる。ただし、絶対的なスケールは求めることができないため、例えば、被写体の既知の大きさ（２点間の距離等）が特定されれば、絶対的なスケールも求めることができる。
　本発明の更に他の態様に係る画像生成装置において、合成画像生成部は、望遠画像群の各望遠画像を、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて投影することにより合成することが好ましい。例えば、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて所定の投影面に各望遠画像を投影（射影変換）することで、望遠画像群の各画像の張り付け位置を決定し、高精細な望遠画像の合成画像が得られる。
　本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定し、合成画像生成部は、撮像装置の位置及び姿勢、被写体の立体形状及び広角光学系及び望遠光学系の焦点距離に関する情報に基づいて望遠画像群を合成することが好ましい。
　本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、抽出した複数の特徴点の３次元位置を被写体の立体形状として推定し、合成画像生成部は、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成することが好ましい。これにより、被写体を任意の方向から見た精細な画像の生成が可能であり、被写体の立体形状を正確に把握することができる。
　本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定することが好ましい。
　本発明の更に他の態様に係る画像生成システムは、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ指向性センサから同時に取得する画像読出部とを備えた撮像装置と、前述の画像生成装置と、を備え、画像取得部は、撮像装置の位置を変えながら撮像され、画像読出部により読み出された広角画像及び望遠画像を取得することで広角画像群及び広角画像群を取得する。
　本発明の更に他の態様によれば、上記構成の撮像装置を使用し、撮像装置の位置を変えながら撮像を行うことで、光軸が共通な広角光学系及び望遠光学系により同時に撮像された広角画像群及び望遠画像群を取得することができる。そして、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得し、取得した合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成することができる。
　本発明の更に他の態様に係る画像生成システムにおいて、撮像光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。円形の中央光学系と、中央光学系に対して同心円状に配設された環状光学系とにより撮像される２つの画像間には視差が発生せず、また、それぞれ回転対称の形状であるため、撮像光学系として好ましい。
　本発明の更に他の態様に係る画像生成システムにおいて、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。
　本発明の更に他の態様に係る画像生成システムにおいて、撮像装置が搭載された移動体を更に備えることが好ましい。撮像装置を適切に移動させ、視差の異なる複数の画像群を取得するためである。
　本発明の更に他の態様に係る画像生成システムにおいて、移動体は、航空機又は人工衛星であることが好ましい。撮像装置が搭載された航空機又は人工衛星は、広域の被写体を撮像するのに適している。
　本発明の更に他の態様に係る画像生成方法は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得するステップと、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得するステップと、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成するステップと、を含む。
　本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢をそれぞれ推定し、画像を生成するステップは、撮像装置の位置及び姿勢並びに広角光学系と望遠光学系との画角比に基づいて望遠画像群を合成することが好ましい。
　本発明の更に他の態様に係る画像生成方法において、画像を生成するステップは、望遠画像群の各望遠画像を、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて投影することにより合成することが好ましい。
　本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定し、画像を生成するステップは、撮像装置の位置及び姿勢、被写体の立体形状及び広角光学系及び望遠光学系の焦点距離に関する情報に基づいて望遠画像群を合成することが好ましい。
　本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、抽出した複数の特徴点の３次元位置を被写体の立体形状として推定し、画像を生成するステップは、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成することが好ましい。
　本発明の更に他の態様に係る画像生成プログラムは、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得する機能と、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する機能と、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成する機能と、をコンピュータにより実現させる。
　また、本発明に係る画像生成装置の画像取得部、合成情報取得部、及び合成画像生成部の各処理部のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　本発明によれば、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができ、これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
本発明に係る画像生成システムを構成する撮像装置及び無人航空機を示す外観図 無人航空機の電気的構成を示すブロック図 無人航空機マイコンが実現する主な機能のブロック図 コントローラの電気的構成を示すブロック図 本発明に係る撮像装置の概略構成を示すブロック図 撮像レンズの概略構成図 望遠光学系を通る光の光線軌跡を示す図 広角光学系を通る光の光線軌跡を示す図 撮像レンズの駆動系の概略構成を示すブロック図 フォーカシング機構によって駆動される望遠光学系の動作説明図 イメージセンサの概略構成図 イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図 カメラマイコンが実現する主な機能のブロック図 無人航空機に搭載された撮像装置により撮像される被写体及び撮像の形態の一例を示す図 無人航空機に搭載された撮像装置により太陽光発電ユニットを撮像する様子を示す斜視図 無人航空機の高度をほぼ一定に保って飛行しながら広角画像及び望遠画像を撮像する様子を示す図 本発明に係る画像生成システムの実施形態を示すシステム構成図 本発明に係る画像合成装置の実施形態を示す機能ブロック図 ワールド座標系、ローカル座標系及び画像座標系の関係を示す図 ＳｆＭ手法を使用して合成情報取得部により推定される撮像装置の位置及び姿勢と特徴点の３次元位置とを示す図 ２枚の広角画像に基づいて２枚の望遠画像を合成する方法を説明するために用いた図 合成画像の生成の概念図 本発明に係る画像生成方法の第１の実施形態を示すフローチャート 本発明に係る画像生成方法の第２の実施形態を示すフローチャートであり、特に３次元画像を生成する処理手順を示すフローチャート
　以下、添付図面に従って本発明に係る画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムの好ましい実施形態について説明する。
　本発明に係る画像生成システムは、主として撮像装置と、画像生成装置と、無人航空機とにより構成されている。
　［撮像装置の第１実施形態］
　＜撮像装置の装置構成＞
　図１は、本発明に係る画像生成システム１を構成する撮像装置１００及び無人航空機１０を示す外観図である。
　《無人航空機》
　無人航空機１０は、移動体の一例である。無人航空機１０は、いわゆるドローンであり、コントローラ１２による操作に基づき大気中を飛行する。
　〈無人航空機の外観構成〉
　無人航空機１０は、図１に示すように、本体フレーム１４に複数の飛行用のプロペラ１６を備えて構成される。
　本体フレーム１４は、胴部１４Ａと、胴部１４Ａから放射状に延びる４つのアーム部１４Ｂ（図１では２つのみ図示している）と、胴部１４Ａから放射状に延びる４つの脚部１４Ｃ（図１では２つのみ図示している）と、を備えて構成される。
　プロペラ１６は、各アーム部１４Ｂの先端に備えられる。したがって、本実施の形態の無人航空機１０には、４つのプロペラ１６が備えられる（図１では２つのみ図示している）。
　無人航空機１０は、プロペラ１６を回転させることによって生じる浮力によって大気中を飛行する。無人航空機１０は、各プロペラ１６の回転を個別に制御することにより、上昇、下降、方向転換等が行われる。また、各プロペラ１６の回転を個別に制御することにより、飛行速度が制御される。
　〈無人航空機の電気的構成〉
　図２は、無人航空機の電気的構成を示すブロック図である。
　無人航空機１０は、プロペラ駆動モータ２０と、モータドライバ２２と、センサ部２４と、機体側無線通信部２６と、機体側有線通信部２８と、無人航空機マイコン（マイコン：マイクロコンピュータ）３０と、を備える。
　プロペラ駆動モータ２０は、プロペラ１６の回転駆動手段である。プロペラ駆動モータ２０はプロペラ１６ごとに備えられる。各プロペラ駆動モータ２０の駆動は、モータドライバ２２で個別に制御される。各モータドライバ２２は、無人航空機マイコン３０からの指令に応じて、プロペラ駆動モータ２０の駆動を制御する。
　センサ部２４は、機体の飛行状態を検出する。センサ部２４は、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ、高度センサ、ＧＰＳ（Global Positioning System）等の各種センサ類を備えて構成される。センサ部２４は、各種センサで検出された機体の飛行状態の情報を無人航空機マイコン３０に出力する。
　機体側無線通信部２６は、無人航空機マイコン３０による制御の下、コントローラ１２と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ１２が操作された場合、その操作に基づく制御信号がコントローラ１２から無人航空機１０に向けて送信される。機体側無線通信部２６は、コントローラ１２から送信された制御信号を受信し、無人航空機１０に出力する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（例えば、無線ＬＡＮ（Local Area Network）規格による通信方式、特定省電力無線規格による通信方式、携帯電話網を利用した通信方式等）が使用される。
　機体側有線通信部２８は、無人航空機マイコン３０による制御の下、撮像装置１００と有線で通信し、互いに各種信号を送受信する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（例えば、ＵＳＢ（Universal Serial Bus）規格による通信方式等）が使用される。
　無人航空機マイコン３０は、無人航空機１０の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ（Central Processing Unit／中央処理装置）、Ｒ
ＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。
　図３は、無人航空機マイコンが実現する主な機能のブロック図である。
　無人航空機マイコン３０は、所定のプログラムを実行することにより、移動制御部３０ａ、カメラ制御部３０ｂ、機体側無線通信制御部３０ｃ、機体側有線通信制御部３０ｄ等として機能する。
　移動制御部３０ａは、モータドライバ２２を介して各プロペラ駆動モータ２０の駆動を制御することにより、無人航空機１０の飛行（移動）を制御する。移動制御部３０ａは、コントローラ１２から送信される制御信号、及び、センサ部２４から出力される機体の飛行状態の情報に基づいて、各プロペラ駆動モータ２０の駆動を制御し、無人航空機１０の飛行を制御する。例えば、コントローラ１２から上昇が指示された場合は、機体が上昇するように、各プロペラ駆動モータ２０の駆動を制御する。また、コントローラ１２から下降が指示された場合は、機体が下降するように、各プロペラ駆動モータ２０の駆動を制御する。更に、コントローラ１２から旋回が指示された場合には、指示された方向に機体が旋回するように、各プロペラ駆動モータ２０の駆動を制御する。また、撮像中には、機体が所定の速度で飛行するように、各プロペラ駆動モータ２０の駆動を制御する。
　カメラ制御部３０ｂは、コントローラ１２から送信される制御信号に基づいて、撮像装置１００を制御する。例えば、コントローラ１２からの撮像開始指示に応じて、撮像装置１００に撮像を開始させる。また、コントローラ１２からの撮像終了指示に応じて、撮像装置１００に撮像を終了させる。
　機体側無線通信制御部３０ｃは、機体側無線通信部２６を介して、コントローラ１２との間の通信を制御する。
　機体側有線通信制御部３０ｄは、機体側有線通信部２８を介して、撮像装置１００との間の通信を制御する。
　〈コントローラの構成〉
　図４は、コントローラの電気的構成を示すブロック図である。
　コントローラ１２は、コントローラ操作部１２ａと、コントローラ表示部１２ｂと、コントローラ側無線通信部１２ｃと、コントローラマイコン１２ｄと、を備える。
　コントローラ操作部１２ａは、無人航空機１０及び撮像装置１００を操作する各種操作部材を備えて構成される。無人航空機１０を操作する操作部材には、例えば、無人航空機１０の上昇、下降を指示する操作部材、無人航空機１０の旋回を指示する操作部材等が含まれる。撮像装置１００を操作する操作部材には、例えば、撮像開始、撮像終了を指示する操作部材等が含まれる。
　コントローラ表示部１２ｂは、例えば、ＬＣＤ（Liquid Crystal Display／液晶ディスプレイ）で構成される。コントローラ表示部１２ｂには、例えば、無人航空機１０の飛行状態の情報が表示される。
　コントローラ側無線通信部１２ｃは、コントローラマイコン１２ｄによる制御の下、無人航空機１０と無線で通信し、互いに各種信号を送受信する。
　コントローラマイコン１２ｄは、コントローラ１２の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。例えば、コントローラ操作部１２ａが操作されると、その操作に応じた制御信号を生成し、コントローラ側無線通信部１２ｃを介して無人航空機１０に送信する。また、例えば、コントローラ側無線通信部１２ｃを介して無人航空機１０から飛行状態の情報を取得し、コントローラ表示部１２ｂに表示する。プログラムは、ＲＯＭに格納される。
　《撮像装置》
　図５は、本発明に係る撮像装置１００の概略構成を示すブロック図である。
　撮像装置１００は、単眼カメラで構成される。撮像装置１００は、雲台を介して、無人航空機１０に搭載される。雲台によって撮像方向が調整される。
　撮像装置１００は、コントローラ１２からの撮像の指示に応じて動画を連続的に撮像する。尚、撮像装置１００は、動画に限らず、静止画を順次撮像してもよい。
　図５に示すように撮像装置１００は、撮像レンズ３００、イメージセンサ２１０、アナログ信号処理部２３０、記録部２３２、カメラ側有線通信部２３４、及びカメラマイコン２３６等を備えて構成される。
　〈撮像レンズ〉
　図６は、撮像レンズの概略構成図である。
　図６に示すように撮像光学系として機能する撮像レンズ３００は、画角の異なる２つの画像を同時に撮像するため、２つの光学系（望遠光学系３１０及び広角光学系３２０）を有する。望遠光学系３１０及び広角光学系３２０は、同軸上で撮像するため、同じ光軸Ｌを有する。特に、本実施形態の撮像レンズ３００は、望遠光学系３１０及び広角光学系３２０が同心円状に配置される。また、望遠光学系３１０及び広角光学系３２０は、画角の異なる画像を撮像するため、異なる焦点距離を有する。本例の広角光学系３２０は、円形の中央光学系であり、望遠光学系３１０は中央光学系に対して同心円状に配設された環状光学系である。
　〈望遠光学系〉
　本実施形態の望遠光学系３１０は、反射望遠型の光学系で構成される。
　図６に示すように、望遠光学系３１０は、被写体側から順に第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ、絞り３１０ｄ、共通レンズ３３０が配置されて構成される。第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄは、それぞれリング形状を有する。
　第１ミラー３１０ｂは、反射望遠光学系の主鏡を構成し、第１レンズ３１０ａを通過した光を第２ミラー３１０ｃに向けて反射する。
　第２ミラー３１０ｃは、反射望遠光学系の副鏡を構成し、第１ミラー３１０ｂで反射された光を共通レンズ３３０に向けて反射する。
　絞り３１０ｄは、第２ミラー３１０ｃから共通レンズ３３０に入射する光の量を調整する。絞り３１０ｄは、複数枚の絞り羽根をリング状に組み合わせて構成され、その外径を拡縮させて光量を調整する。
　共通レンズ３３０は、最終のレンズである。望遠光学系３１０に入射した光は共通レンズ３３０から出射して、イメージセンサ２１０に入射する。共通レンズ３３０は、広角光学系３２０と共用される。
　図７は、望遠光学系を通る光の光線軌跡を示す図である。
　同図に示すように、光は、第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ、絞り３１０ｄ、共通レンズ３３０を介してイメージセンサ２１０に入射する。
　〈広角光学系〉
　本実施形態の広角光学系３２０は、パンフォーカスでの撮像が可能な固定焦点の光学系で構成される。
　図６に示すように広角光学系３２０は、被写体側から順に第１レンズ３２０ａ、第２レンズ３２０ｂ、絞り３２０ｃ、第３レンズ３２０ｄ、第４レンズ３２０ｅ、共通レンズ３３０が配置される。各光学要素は、望遠光学系３１０の内周部同軸上に配置される。広角光学系３２０は固定焦点であるため、各光学要素（共通レンズ３３０を含む）は、一定位置に固定して配置される。絞り３２０ｃも固定絞りで構成され、一定位置に固定して配置される。
　図８は、広角光学系３２０を通る光の光線軌跡を示す図である。
　光は、第１レンズ３２０ａ、第２レンズ３２０ｂ、絞り３２０ｃ、第３レンズ３２０ｄ、第４レンズ３２０ｅ、共通レンズ３３０を介してイメージセンサ２１０に入射する。
　〈撮像レンズの駆動系〉
　図９は、撮像レンズ３００の駆動系の概略構成を示すブロック図である。
　上記のように、広角光学系３２０は、固定焦点、固定絞りであるため、駆動系は、望遠光学系３１０についてのみ備えられる。
　望遠光学系３１０は、望遠光学系３１０の焦点調整を行う焦点調整部として機能するフォーカシング機構を備える。
　フォーカシング機構は、望遠光学系３１０の一部の光学要素を軸に沿って前後移動させることにより、フォーカス位置を変位させる。
　図１０は、フォーカシング機構によって駆動される望遠光学系の動作説明図である。同図（Ａ）は、可動部を被写体側に移動させた状態を示し、同図（Ｂ）は、可動部を像面側に移動させた状態を示している。
　図９及び図１０に示すように、フォーカシング機構は、望遠光学系３１０を構成する第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄを一体的に移動させて、フォーカス位置を変位させる。
　フォーカシング機構は、第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄ（以下、「可動部」という。）を軸に沿って一体的に移動自在に支持する支持部（不図示）と、その望遠光学系可動部を軸に沿って移動させるフォーカシングモータ３４０と、を備えて構成される。フォーカシングモータ３４０は、例えばリニアモータで構成される。カメラマイコン２３６は、フォーカシングモータドライバ３４０ａを介してフォーカシングモータ３４０の駆動を制御する。
　望遠光学系３１０は、可動部の位置を検出する手段として、フォトインタラプタ３４２ａ及びＭＲセンサ（ＭＲセンサ：Magneto Resistive Sensor／磁気抵抗効果素子）３４２ｂを備える。フォトインタラプタ３４２ａは、可動部が、あらかじめ定められた原点に位置したことを検出する。ＭＲセンサ３４２ｂは、可動部の変位量を検出するフォトインタラプタ３４２ａによって可動部が原点に位置したことを検出し、原点からの変位量をＭＲセンサ３４２ｂで検出することにより、原点に対する可動部の位置を検出できる。フォトインタラプタ３４２ａ及びＭＲセンサ３４２ｂの検出結果は、カメラマイコン２３６に出力される。カメラマイコン２３６は、フォトインタラプタ３４２ａ及びＭＲセンサ３４２ｂの出力に基づいて可動部の位置を検出する。
　絞り３１０ｄは、絞りモータ３４４に駆動される。カメラマイコン２３６は、絞りドライバ３４４ａを介して絞りモータ３４４の駆動を制御する。
　〈イメージセンサ〉
　イメージセンサ２１０は、ＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子であり、特に望遠光学系３１０を通過した光と広角光学系３２０を通過した光とを選択的に受光する画素が２次元状に配列された指向性センサで構成される。
　図１１は、イメージセンサ２１０の概略構成図である。
　同図に示すように、イメージセンサ２１０は、２次元状に配列された光電変換素子により構成された複数の画素を有し、望遠光学系３１０を通過した光を選択的に受光する第１画素２１２Ａ及び広角光学系３２０を通過した光を選択的に受光する第２画素２１２Ｂを有する。第１画素２１２Ａ及び第２画素２１２Ｂは、同一平面上に交互に配置される。
　図１２は、イメージセンサ２１０の各画素が対応する光学系からの光を選択的に受光する構成の概念図である。
　同図に示すように、各画素は、フォトダイオード２１４と、マイクロレンズ２１６と、遮光マスク２１８と、を備えて構成される。マイクロレンズ２１６及び遮光マスク２１８は、望遠光学系３１０及び広角光学系３２０を通過する光束をそれぞれ瞳分割して選択的にイメージセンサ２１０の各画素に入射させる瞳分割手段として機能する。
　即ち、マイクロレンズ２１６は、フォトダイオード２１４の前方に配置される。マイクロレンズ２１６は、望遠光学系３１０及び広角光学系３２０の瞳像をフォトダイオード２１４に結像させる。
　遮光マスク２１８は、マイクロレンズ２１６とフォトダイオード２１４との間に配置される。遮光マスク２１８は、マイクロレンズ２１６を通過した光の一部を遮光する。第１画素２１２Ａの遮光マスク２１８は、広角光学系３２０を通過した光Ｌ２を遮光する形状を有する。具体的には、円形状を有する。第２画素２１２Ｂの遮光マスク２１８は、望遠光学系３１０を通過した光Ｌ１を遮光する形状を有する。具体的には、リング形状を有する。
　以上の構成により、第１画素２１２Ａは、望遠光学系３１０を通過した光Ｌ１を選択的に受光し、第２画素２１２Ｂは広角光学系３２０を通過した光Ｌ２を選択的に受光する。したがって、第１画素２１２Ａの画像信号を取得することにより、望遠光学系３１０を介して得られる画像Ｉｍ１の画像信号を同時に取得でき、第２画素２１２Ｂの画像信号を取得することにより、広角光学系３２０を介して得られる画像Ｉｍ２の画像信号を取得できる。
　本実施形態の撮像レンズ３００は、望遠光学系３１０の光軸と広角光学系３２０の光軸とが同一であるため、望遠光学系３１０の画像Ｉｍ１は、広角光学系３２０の画像Ｉｍ２の中央部分を拡大した画像となり、かつ視差のない画像となる。
　尚、カラー画像を取得する場合には、第１画素２１２Ａ及び第２画素２１２Ｂにカラーフィルタが備えられる。カラーフィルタは規定の配列で配置される。例えば、赤、緑、青の３色からなるカラーフィルタがベイヤ配列で配置される。これにより、カラー画像を取得できる。
　〈アナログ信号処理部〉
　図５において、アナログ信号処理部２３０は、イメージセンサ２１０から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理を施した後、デジタル信号に変換して出力する。アナログ信号処理部２３０から出力されたデジタルの画像信号は、カメラマイコン２３６に取り込まれる。
　〈記録部〉
　記録部２３２は、各種データの記録部である。撮像された画像データは、記録部２３２に記録される。記録部１２４は、例えば、ＳＳＤ（solid state drive）などの不揮発性メモリを使用したストレージデバイスで構成される。尚、本実施形態の撮像装置１００は、１回の撮像で２つ画像（望遠画像と広角画像）が同時に撮像されるので、１回の撮像で２つの画像が記録される。具体的には、望遠光学系３１０で撮像された画像データと、広角光学系３２０で撮像された画像データとが記録される。
　〈カメラ側有線通信部〉
　カメラ側有線通信部２３４は、カメラマイコン２３６による制御の下、無人航空機１０と有線で通信し、互いに各種信号を送受信する。
　〈カメラマイコン〉
　カメラマイコン２３６は、撮像装置１００の全体の動作を統括制御する制御部である。カメラマイコン２３６は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。
　図１３は、カメラマイコン２３６が実現する主な機能のブロック図である。
　同図に示すように、カメラマイコン２３６は、所定のプログラムを実行することにより、デジタル信号処理部２３６ａ、記録制御部２３６ｂ、カメラ側有線通信制御部２３６ｃ、撮像制御部２３６ｄ、絞り制御部２３６ｅ、フォーカシング制御部２３６ｆ、レンズ位置検出部２３６ｇ等として機能する。
　デジタル信号処理部２３６ａは、アナログ信号処理部２３０から出力されたアナログの画像信号を取り込み、所定の信号処理（例えば、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等）を施して画像データを生成する。この際、デジタル信号処理部２３６ａは、イメージセンサ２１０の第１画素２１２Ａの画像信号に基づいて、望遠画像データを生成し、第２画素２１２Ｂの画像信号に基づいて、広角画像データを生成する。
　記録制御部２３６ｂは、記録部２３２へのデータの読み書きを制御する。撮像により得られた画像データ（望遠画像データ及び広角画像データ）は、記録制御部２３６ｂにより記録部２３２に記録される。尚、動画（又は複数の静止画）として撮像された望遠画像群及び広角画像群のうち、同時に撮像された望遠画像と広角画像の各画像データは、互いに関連付けて記憶される。
　カメラ側有線通信制御部２３６ｃは、カメラ側有線通信部２３４を介して、無人航空機１０との間の通信を制御する。
　イメージセンサ２１０から広角画像及び望遠画像を示す画像信号を同時に取得する画像読出部として機能する撮像制御部２３６ｄは、イメージセンサドライバ２１０ａを介してイメージセンサ２１０の駆動を制御する。より具体的には、所定のフレームレートで動画が撮像されるように、イメージセンサ２１０の駆動を制御する。
　絞り制御部２３６ｅは、絞りドライバ３４４ａを介して絞りモータ３４４の駆動を制御する。より具体的には、絞り３１０ｄが、所定の絞り値（開口量）となるように、絞りモータ３４４の駆動を制御する。絞り値は、イメージセンサ２１０から得られる信号に基づいて設定される。即ち、適正露出となるように、絞り値が設定される。
　フォーカシング制御部２３６ｆは、フォーカシングモータドライバ３４０ａを介してフォーカシングモータ３４０の駆動を制御する。
　［撮像装置の作用］
　《基本動作》
　〈無人航空機の基本動作〉
　無人航空機１０は、コントローラ１２の操作に基づいて大気中を飛行する。具体的には、コントローラ１２による上昇の指示に応じて上昇し、下降の指示に応じて下降する。また、旋回の指示に応じて指示された方向に旋回する。
　〈撮像装置の基本動作〉
　撮像装置１００もコントローラ１２の操作に基づいて撮像する。即ち、コントローラ１２による撮像開始の指示に応じて、動画の撮像を開始する。また、コントローラ１２による撮像終了の指示に応じて、動画の撮像を終了する。撮像開始から撮像終了が指示されるまでの間、連続的に動画が撮像される。
　ここで、本実施形態の撮像装置１００は、望遠光学系３１０による望遠画像と、広角光学系３２０による広角画像とを同軸上で同時に撮像する。両者は、視差のない動画とであり、それぞれ記録部２３２に記録される。
　〈撮像中の無人航空機の動作〉
　図１４は、無人航空機１０に搭載された撮像装置１００により撮像される被写体及び撮像の形態の一例を示す図である。
　図１４に示す被写体は、地上に設置された太陽光発電設備５００であり、無人航空機１０に搭載された撮像装置１００は、無人航空機１０により上空から矢印Ｒで示す飛行ルートに沿って移動させられ、太陽光発電設備５００を撮像する。即ち、無人航空機１０は、撮像装置１００が太陽光発電設備５００を走査するように飛行し、太陽光発電設備５００を上空から撮像する。
　太陽光発電設備５００は、複数の太陽光発電ユニット５１０を規則的に配列して構成されている。一つの太陽光発電ユニット５１０は、複数枚の太陽電池モジュール５２０を規則的に配列して構成される。図１４に示す例では、４５枚の太陽電池モジュール５２０を縦横５×９で配列して、一つの太陽光発電ユニット５１０を構成している。
　図１５は、無人航空機１０に搭載された撮像装置１００により太陽光発電ユニット５１０を撮像する様子を示す斜視図であり、Ｚtは、望遠光学系３１０を介して撮像される１回の撮像範囲を示し、Ｚwは、広角光学系３２０を介して撮像される１回の撮像範囲を示している。
　図１５に示す例では、望遠光学系３１０を介して撮像される１回の撮像範囲Ｚtは、１つの太陽光発電ユニット５１０の短手方向の長さをカバーできる範囲であり、広角光学系３２０を介して撮像される１回の撮像範囲Ｚwは、３つの太陽光発電ユニット５１０の短手方向の長さをカバーできる範囲である。
　図１６に示すように無人航空機１０は、撮像中に高度をほぼ一定に保って飛行（ホバリングを含む）する。したがって、撮像中の操作は旋回のみである。
　移動制御部３０ａとして機能する無人航空機マイコン３０は、センサ部２４からの出力に基づいて、各プロペラ駆動モータ２０の駆動を制御し、高度をほぼ一定に保って飛行する。
　いま、一定の高度から真下に向けて撮像する場合を考える。この場合、望遠光学系３１０によって画角θ１の範囲Ｘ１が撮像され、広角光学系３２０によって画角θ２の範囲Ｘ２が撮像される。
　後述する望遠画像の合成に使用される望遠画像群は、隣接する望遠画像の間で範囲Ｘ１が重複する必要がなく（隙間が生じない程度に範囲Ｘ１が重複することが好ましく）、広角画像群は、隣接する広角画像の間で範囲Ｘ２が十分に重複する必要がある。
　〈無人航空機の飛行〉
　無人航空機１０は、あらかじめ定められたルートを自動で飛行する構成としてもよい。この場合、コントローラ１２は不要となる。無人航空機１０は、各種センサの情報に基づいて自律制御しながら、決められたルートを飛行する。なお、この場合も飛行速度は、上記条件の下で設定される。
　〈撮像装置による撮像〉
　上記実施の形態では、撮像指示に応じて動画を連続的に撮像する構成としているが、静止画を周期的に撮像する構成としてもよい。
　《撮像された画像の合成処理》
　望遠光学系３１０で撮像された複数の望遠画像（望遠画像群）及び広角光学系３２０で撮像された複数の広角画像（広角画像群）は、それぞれ記録部２３２に記録される。
　これらの望遠画像群及び広角画像群に対する後述の画像合成処理は、撮像装置１００に内蔵され、又は連結された画像生成装置により行ってもよいし、撮像装置１００とは別体（専用の画像生成装置）により行ってもよい。
　撮像装置１００で画像合成処理を行う場合は、カメラマイコン２３６に上記処理を行う機能を実現させる。この場合、カメラマイコン２３６は、画像生成プログラムを実行することにより、画像生成装置として機能し、上記処理を実行する。
　専用の画像生成装置で行う場合は、例えば、コンピュータを画像生成装置として機能させる。即ち、コンピュータに画像生成プログラムを実行させて、上記画像生成装置として機能させる。
　［画像生成システム］
　図１７は、本発明に係る画像生成システム１を示すシステム構成図であり、撮像装置１００と、撮像装置１００が搭載された無人航空機１０と、画像生成装置２とにより構成されている。
　図１７において、画像生成装置２は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えコンピュータにより構成され、撮像装置１００により撮像された望遠画像群及び広角画像群を取得し、取得した望遠画像群及び広角画像群に基づいて望遠画像群を合成した画像を生成する。
　また、コンピュータは、ＣＰＵがＲＯＭに格納された画像生成プログラムを実行することにより、画像生成装置２として機能する。
　＜画像合成装置＞
　図１８は、本発明に係る画像生成装置２の実施形態を示す機能ブロック図である。
　図１８に示すように画像生成装置２は、主として画像取得部２ａ、合成情報取得部２ｂ及び合成画像生成部２ｃから構成されている。
　画像取得部２ａは、撮像装置１００により撮像された広角画像群及び望遠画像群を取得する。画像取得部２ａによる広角画像群及び望遠画像群の取得は、撮像装置１００又は無人航空機１０との間で無線通信を行い、撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに取得し、又は撮像終了後に無線通信又は有線通信、若しくは記録媒体を経由して、広角画像群及び望遠画像群をまとめて取得するようにしてもよい。
　合成情報取得部２ｂは、画像取得部２ａにより取得された広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する。
　《合成情報の取得の第１の実施形態》
　合成情報取得部２ｂは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢をそれぞれ推定する。
　具体的には、撮像装置１００の位置を移動させながら撮像された広角画像群の各広角画像が重複する領域（重複領域）に含まれる特徴点を抽出し、各広角画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を特定する。
　広角画像間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって各広角画像間の重複領域は大きいことが好ましい。図１６に示す例では、各広角画像間の重複領域は画像全体の５０％を超えている。
　そして、各広角画像間の対応する複数の特徴点に基づいて撮像装置１００の位置及び姿勢をそれぞれ推定する。
　〈撮像装置の位置及び姿勢の推定〉
　図１９は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
　被写体（本例では、太陽光発電ユニット５１０を含む太陽光発電設備）の３次元位置（３次元形状）は、原点Ｏを有するＸＹＺの直交３軸のワールド座標系によって表すことができる。
　一方、ｘｙｚの直交３軸のローカル座標系（以下、「カメラ座標系」という）は、ワールド座標系とは独立に移動する撮像装置１００（カメラ）の座標系である。カメラ座標系の原点は、カメラの焦点位置であり、光軸方向がｚ軸である。
　画像座標系は、イメージセンサ２１０に結像される画像上の点の２次元位置を表す座標系である。画像上の特徴点ｃの座標(u,v)は、イメージセンサ２１０の基準位置からの画素数と画素ピッチとにより求めることができる。
　画像座標系における特徴点ｃの座標(u,v)、ワールド座標系における特徴点ｃの座標（Ｘ，Ｙ，Ｚ）、カメラ内部パラメータを表す行列Ｃ，及びカメラ外部パラメータを表す行列Ｍとの関係は、次式により表すことができる。
Figure JPOXMLDOC01-appb-M000001
　カメラ内部パラメータは、焦点距離、イメージセンサの画像サイズ、画素ピッチ、画像中心位置等を含み、事前にキャリブレーションにより取得できるものである。
　カメラ外部パラメータを表す行列Ｍは、ワールド座標からカメラ座標への座標変換行列であり、撮像装置１００の位置を表す並進ベクトル、及び撮像装置１００の姿勢を表す回転行列を含む。
　撮像装置１００の位置及び姿勢は、カメラ外部パラメータを表す行列Ｍを求めることで推定することができる。複数の画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、Structure from Motion(ＳｆＭ)手法が知られている。
　ＳｆＭ手法は、撮像装置１００（カメラ）を移動させながら撮像される画像上の複数の特徴点を追跡し、これらの特徴点の対応関係を利用してカメラの位置及び姿勢と特徴点の３次元位置とを算出するものである。但し、ＳｆＭ手法では、カメラと被写体との間の相対的な位置及びカメラ間の相対的な位置及び姿勢は推定可能であるが、画像のみではスケール情報が得られないため、絶対的な位置を推定することができない。そこで、３次元位置が既知のマーカ等の絶対的な位置情報、あるいは被写体のサイズ情報（例えば、太陽電池モジュール５２０のサイズ情報）等を付与することで、絶対的な位置を推定することができる。
　合成情報取得部２ｂ（図１８）は、入力する広角画像群に対して上記ＳｆＭ手法を使用し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢をそれぞれ推定する。
　尚、合成情報取得部２ｂは、ＳｆＭ手法を使用する場合に限らず、例えば、Simultaneous Localization And Mapping（ＳＬＡＭ）手法を使用してもよい。ＳＬＡＭ手法では、入力画像の変化に応じて動的に更新される特徴点のセットを用いて、特徴点の位置とカメラの位置及び姿勢とを同時に推定することができる。ＳＬＡＭ手法の基本的な原理は、非特許文献（Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a ingle Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。
　図２０は、ＳｆＭ手法を使用して合成情報取得部２ｂにより推定される撮像装置１００の位置及び姿勢と特徴点ＦＰの３次元位置とを示す図である。
　図２０において、ＸＹＺ座標系はワールド座標系であり、本例ではＸ－Ｙ平面が地平面を表し、Ｚ軸が高さ方向（高度）を表している。また、撮像装置１００の各撮像位置から地平面に向う線分は、撮像装置１００の撮像（光軸）方向を示している。
　図１８に戻って、合成画像生成部２ｃは、合成情報取得部２ｂにより取得された合成情報（本例では、撮像装置１００の位置及び姿勢等）、広角光学系３２０及び望遠光学系３１０の焦点距離に関する情報（本例では、両光学系の画角比（焦点距離の比））、及び画像取得部２ａにより取得された望遠画像群に基づいて望遠画像群を合成した画像を生成する。
　図２１は、２枚の広角画像に基づいて２枚の望遠画像を合成する方法を示す図である。
　図２１において、隣接する２枚の広角画像の撮像範囲Ｚw1、Ｚw2は、互いに画像全体の５０％を超えて重複しており、合成情報取得部２ｂでは、２枚の広角画間の重複領域において、それぞれ対応する複数の特徴点に基づいて合成情報(２枚の広角画像をそれぞれ撮像したときの撮像装置１００の位置及び姿勢）を取得している。合成画像生成部２ｃは、２枚の広角画像をそれぞれ撮像したときの撮像装置１００の位置を起点に、撮像装置の１００の姿勢に対応した撮像方向に向かって２枚の広角画像を、例えば、地表面を投影面として投影することで、それぞれ対応する特徴点同士が重なるように位置合わせした広角画像の合成が可能である。
　しかしながら、本発明では広角画像の代わりに、それぞれ広角画像と同時に撮像された望遠画像を使用し、図１６に示す望遠光学系３１０の画角θ１と広角光学系３２０の画角θ２との画角比（θ１／θ２）を反映させて投影することで、２つの望遠画像を適切に合成する。望遠光学系３１０と広角光学系３２０とは、［数１］式に示したカメラ内部パラメータを表す行列Ｃ（特に焦点距離）が異なるため、広角画像群を解析して取得した合成情報を使用し、かつカメラ内部パラメータの違いを反映させて変換することで、２つの望遠画像を適切に合成することができる。
　合成される２枚の望遠画像の撮像範囲Ｚt1、Ｚt2は、両画像間の重複部分が少ないことが好ましい。隣接する望遠画像間の重複部分は、望遠画像を合成するための合成情報を取得するために使用しないからであり、また、望遠画像間の重複部分を少なくすることで、望遠画像群の撮影枚数を大幅に低減することができるからである。
　尚、望遠画像間で重複部分がなくても、望遠画像群を合成することができる。この場合、合成された画像には隙間が生じるが、その隙間は再度撮像することで埋めることができる。また、隙間を広角画像で埋めることもできる。この場合、隙間部分の画像の解像度は低下する。
　図２２は、合成画像の生成の概念図である。
　図２２は、撮像装置１００がほぼ直線状に飛行して場合に得られる１０枚の広角画像Ｗ１～Ｗ１０と、これらの広角画像Ｗ１～Ｗ１０から取得した合成情報に基づいて合成された１０枚の望遠画像Ｔ１～Ｔ１０とを示している。尚、図２２では、広角画像Ｗ１～Ｗ１０と望遠画像Ｔ１～Ｔ１０との撮像範囲を示すために、望遠画像Ｔ１～Ｔ１０は小さく図示されているが、望遠画像Ｔ１～Ｔ１０の画像サイズは大きい（解像度は高い）ものである。
　図１８に戻って、合成画像生成部２ｃにより望遠画像群が合成された合成画像は、表示部３に出力することにより表示することができ、また、記録部４に出力することにより保存することができる。
　表示部３は、画像生成装置２を含むコンピュータのモニタを使用することでき、記録部４は、コンピュータのハードディスク、コンピュータ内の不揮発性メモリ、コンピュータに着脱されるメモリカード等の外部メモリを使用することができる。
　ユーザは、表示部３に表示される合成画像により被写体（本例では、太陽光発電設備５００）を観察することができ、特に太陽光発電設備５００を構成する太陽光発電ユニット５１０、更には太陽光発電ユニット５１０を構成する太陽電池モジュール５２０を詳細に観察する場合（太陽光発電ユニット５１０の汚れ又は欠陥等を観察する場合）、合成画像を拡大させて表示部３に表示させることができる。このように合成画像を拡大して表示する場合であっても、合成画像は望遠画像を合成して生成されているため、解像度が高く、詳細に観察することができる。
　また、画像生成装置２は、撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに取得し、望遠画像を順次合成した合成画像を表示部３にリアルタイムに表示させることができる。この場合、ユーザは、表示部３にリアルタイムに表示される合成画像により望遠画像が合成されない領域（撮り残した領域）を確認することができ、撮り残した領域を撮像するために無人航空機１０を遠隔操作することができる。
　《合成情報の取得の第２の実施形態》
　図１８に示す合成情報取得部２ｂは、広角画像群を解析し、任意の広角画像を基準にして、隣接する広角画像との重複領域に存在する複数の特徴点（SIFT特徴量等が一致する複数セットの対応点）を抽出する。
　次に、基準の広角画像の複数の特徴点に対して、隣接する広角画像の対応する特徴点を一致させる、隣接する広角画像の射影変換行列を算出する。
　特徴量が一致する特徴点の数（セット数）は、２つの画像のうちの一方の画像を幾何変換するために使用する変換パラメータの算出に必要な数以上検出する必要がある。
　射影変換式は、次式の通りである。
Figure JPOXMLDOC01-appb-M000002
　射影変換の変換パラメータは、［数２］式中のａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑの８個のパラメータを指す。また、(x,y)、(X,Y)は、それぞれ射影変換前後の座標値を示す。
　従って、複数セットの特徴点の座標値をそれぞれ［数２］式に代入した８つの連立方程式を立て、８つの連立方程式を解くことにより、射影変換に使用する８個の変換パラメータを算出することができる。
　このようにして、広角画像群に基づいて次々と射影変換の変換パラメータを算出する。
　合成画像生成部２ｃは、合成情報取得部２ｂにより取得された射影変換の変換パラメータを、望遠画像群の合成に使用する合成情報として入力し、基準の広角画像に対応する望遠画像に対して他の望遠画像群を、入力した合成情報と広角光学系及び望遠光学系の焦点距離に関する情報とに基づいて射影変換し、望遠画像群を合成する。
　《合成情報の取得の第３の実施形態》
　図１８に示す合成情報取得部２ｂは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢と被写体の立体形状をそれぞれ推定する。
　この場合の広角画像群は、立体形状を有する被写体に対して、撮像されない領域がないように種々の角度から撮像されたものである。
　被写体の立体形状は、各広角画像間で特徴が一致する複数の特徴点の３次元位置の集合であり、複数の特徴点の３次元位置を適宜補間し、密度の高い３次元位置を取得することが好ましい。
　合成画像生成部２ｃは、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成する。即ち、合成画像生成部２ｃは、合成情報取得部２ｂが取得した複数の特徴点を含む３次元位置に基づいて被写体の形状を認識するためのポリゴンメッシュを生成し、生成したポリゴンメッシュに、望遠画像群の中からポリゴンメッシュに対応するテクスチャを抽出してマッピングする。
　望遠画像群を合成した３次元の合成画像（３次元画像）は、記録部４に記録される。合成画像生成部２ｃ又は図示しない画像再生部は、記録部４に記録された３次元画像を読み出し、視点位置及び投影面等を指定して３次元画像を投影することで、任意視点から見た被写体の画像を表示部３に表示させることができる。
　［画像生成方法］
　図２３は、本発明に係る画像生成方法の第１の実施形態を示すフローチャートである。
　図２３において、画像生成装置２の画像取得部２ａは、撮像装置１００により撮像された広角画像群及び望遠画像群をそれぞれ入力する（ステップＳ１０、Ｓ１２）。撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに入力してもよいし、撮像終了後に広角画像群及び望遠画像群をまとめて入力してもよい。
　合成情報取得部２ｂは、入力した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する（ステップＳ１４）。
　合成画像生成部２ｃは、ステップＳ１４で取得した合成情報、撮像装置１００の広角光学系及び望遠光学系の焦点距離に関する情報（画角比）、及び望遠画像群に基づいて望遠画像群を合成した合成画像を生成する（ステップＳ１６）。合成画像の生成は、例えば、望遠画像群の各望遠画像を、撮像装置１００の位置を起点に撮像装置１００の撮像方向に向かって広角光学系と望遠光学系との画角比を反映させて投影することにより合成する。
　尚、広角画像群の各画像の中心領域（望遠画像の画角に対応する領域）の画像と望遠画像群の各画像とは解像度が異なるものの、同一の画像であるため、広角画像群を解析して得た合成情報を、望遠画像群の合成に使用することができる。
　これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
　図２４は、本発明に係る画像生成方法の第２の実施形態を示すフローチャートであり、特に３次元画像を生成する合成情報取得部２ｂ及び合成画像生成部２ｃの処理手順に関して示している。
　図２４において、合成情報取得部２ｂは、広角画像群の各広角画像が重複する領域（重複領域）に含まれる特徴点を抽出し（ステップＳ１００）、各広角画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を決定する（ステップＳ１１０）。
　続いて、合成情報取得部２ｂは、各広角画像間の対応する複数の特徴点に基づいて撮像装置１００の位置及び姿勢を推定する（ステップＳ１２０）。また、撮像装置１００の位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定する（ステップＳ１２０）。
　撮像装置１００の位置及び姿勢の推定は、複数の特徴点の画像座標に基づいて［数１］式に示したカメラ外部パラメータを表す行列Ｍを求めることで推定することができる。尚、複数の画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、ＳｆＭ手法及びＳＬＡＭ手法が知られている。
　ステップＳ１３０で推定した特徴点の３次元位置を含む被写体の立体形状を推定し（ステップＳ１４０）、推定した被写体の立体形状（３次元モデル表面）に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像（３次元画像）を生成する（ステップＳ１５０）。
　［その他］
　画像生成装置は、撮像装置に内蔵され、又は連結されたものでもよいし、撮像装置とは別体のものでもよい。
　また、無人航空機には、撮像装置が搭載されるが、撮像装置は、無人航空機に限らず、有人航空機、人工衛星、自動車、ロボット、その他の移動体に搭載してもよい。また、撮像装置を雲台等に搭載し、カメラを旋回させながら撮像し、更に人間が手で持って撮像装置の位置を変えながら撮像するようにしてもよい。この場合、移動体は不要である。
　コンピュータを画像生成装置として機能させるためにコンピュータにインストールされる画像生成プログラム、その画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）も本発明の一態様である。
　また、広角画像群を解析して取得される合成情報は、本実施形態に限定されず、広角画像間の重複領域に含まれる複数の特徴点に基づいて取得される、望遠画像群の合成に使用する合成情報であれば、如何なるものでもよい。また、合成される望遠画像は、２次元画像でもよいし、３次元画像でもよい。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　画像生成システム
２　画像生成装置
２ａ　画像取得部
２ｂ　合成情報取得部
２ｃ　合成画像生成部
３　表示部
４、１２４、２３２　記録部
１０　無人航空機
１２　コントローラ
１２ａ　コントローラ操作部
１２ｂ　コントローラ表示部
１２ｃ　コントローラ側無線通信部
１２ｄ　コントローラマイコン
１４　本体フレーム
１４Ａ　胴部
１４Ｂ　アーム部
１４Ｃ　脚部
１６　プロペラ
２０　プロペラ駆動モータ
２２　モータドライバ
２４　センサ部
２６　機体側無線通信部
２８　機体側有線通信部
３０　無人航空機マイコン
３０ａ　移動制御部
３０ｂ　カメラ制御部
３０ｃ　機体側無線通信制御部
３０ｄ　機体側有線通信制御部
１００　撮像装置
２１０　イメージセンサ
２１０ａ　イメージセンサドライバ
２１２Ａ　第１画素
２１２Ｂ　第２画素
２１４　フォトダイオード
２１６　マイクロレンズ
２１８　遮光マスク
２３０　アナログ信号処理部
２３４　カメラ側有線通信部
２３６　カメラマイコン
２３６ａ　デジタル信号処理部
２３６ｂ　記録制御部
２３６ｃ　カメラ側有線通信制御部
２３６ｄ　撮像制御部
２３６ｅ　絞り制御部
２３６ｆ　フォーカシング制御部
２３６ｇ　レンズ位置検出部
３００　撮像レンズ
３１０　望遠光学系
３１０ａ　第１レンズ
３１０ｂ　第１ミラー
３１０ｃ　第２ミラー
３１０ｄ　絞り
３２０　広角光学系
３２０ａ　第１レンズ
３２０ｂ　第２レンズ
３２０ｃ　絞り
３２０ｄ　第３レンズ
３２０ｅ　第４レンズ
３３０　共通レンズ
３４０　フォーカシングモータ
３４０ａ　フォーカシングモータドライバ
３４２ａ　フォトインタラプタ
３４２ｂ　ＭＲセンサ
３４４　絞りモータ
３４４ａ　絞りドライバ
５００　太陽光発電設備
５１０　太陽光発電ユニット
５２０　太陽電池モジュール
ＦＰ　特徴点
Ｉｍ１、Ｉｍ２　画像
Ｌ　光軸
Ｌ１、Ｌ２　光
Ｍ　行列
Ｏ　原点
Ｒ　矢印
Ｓ１０～Ｓ１６、Ｓ１００～Ｓ１５０　ステップ
Ｔ１～Ｔ１０　望遠画像
Ｗ１～Ｗ１０　広角画像
Ｘ１、Ｘ２　範囲
Ｚt、Ｚt1、Ｚt2、Ｚw、Ｚw1、Ｚw2　撮像範囲
θ１、θ２　画角

Claims (17)

  1. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する画像取得部と、
    　前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する合成情報取得部と、
    　前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する合成画像生成部と、
    　を備えた画像生成装置。
  2. 　前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
    　前記合成画像生成部は、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項１に記載の画像生成装置。
  3. 　前記合成画像生成部は、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項２に記載の画像生成装置。
  4. 　前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
    　前記合成画像生成部は、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項１に記載の画像生成装置。
  5. 　前記合成情報取得部は、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の３次元位置を前記被写体の立体形状として推定し、
    　前記合成画像生成部は、前記複数の特徴点の３次元位置を含む前記被写体の３次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項４に記載の画像生成装置。
  6. 　前記合成情報取得部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定する請求項１から５のいずれか１項に記載の画像生成装置。
  7. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ前記指向性センサから同時に取得する画像読出部と、を備えた撮像装置と、
    　請求項１から６のいずれか１項に記載の画像生成装置と、を備え、
    　前記画像取得部は、前記撮像装置の位置を変えながら撮像され、前記画像読出部により読み出された前記広角画像及び前記望遠画像を取得することで前記広角画像群及び前記望遠画像群を取得する画像生成システム。
  8. 　前記撮像光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項７に記載の画像生成システム。
  9. 　前記望遠光学系の焦点調整を行う焦点調整部を有する請求項７又は８に記載の画像生成システム。
  10. 　前記撮像装置が搭載された移動体を更に備えた請求項７から９のいずれか１項に記載の画像生成システム。
  11. 　前記移動体は、航空機又は人工衛星である請求項１０に記載の画像生成システム。
  12. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得するステップと、
    　前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得するステップと、
    　前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成するステップと、
    　を含む画像生成方法。
  13. 　前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
    　前記画像を生成するステップは、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項１２に記載の画像生成方法。
  14. 　前記画像を生成するステップは、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項１３に記載の画像生成方法。
  15. 　前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
    　前記画像を生成するステップは、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項１２に記載の画像生成方法。
  16. 　前記合成情報を取得するステップは、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の３次元位置を前記被写体の立体形状として推定し、
    　前記画像を生成するステップは、前記複数の特徴点の３次元位置を含む前記被写体の３次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項１５に記載の画像生成方法。
  17. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する機能と、
    　前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する機能と、
    　前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する機能と、
    　をコンピュータにより実現させる画像生成プログラム。
PCT/JP2018/016699 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム WO2018211926A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019519150A JP6708790B2 (ja) 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
CN201880029332.9A CN110622499B (zh) 2017-05-16 2018-04-25 图像生成装置、图像生成系统、图像生成方法及记录介质
EP18802909.4A EP3627819B1 (en) 2017-05-16 2018-04-25 Image generation device, image generation system, image generation method, and image generation program
US16/654,027 US11100671B2 (en) 2017-05-16 2019-10-16 Image generation apparatus, image generation system, image generation method, and image generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-097594 2017-05-16
JP2017097594 2017-05-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/654,027 Continuation US11100671B2 (en) 2017-05-16 2019-10-16 Image generation apparatus, image generation system, image generation method, and image generation program

Publications (1)

Publication Number Publication Date
WO2018211926A1 true WO2018211926A1 (ja) 2018-11-22

Family

ID=64274055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/016699 WO2018211926A1 (ja) 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム

Country Status (5)

Country Link
US (1) US11100671B2 (ja)
EP (1) EP3627819B1 (ja)
JP (1) JP6708790B2 (ja)
CN (1) CN110622499B (ja)
WO (1) WO2018211926A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218024A1 (ja) * 2019-04-24 2020-10-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP2021012141A (ja) * 2019-07-08 2021-02-04 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
KR20220015578A (ko) * 2020-07-31 2022-02-08 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버
JP2022552430A (ja) * 2019-12-14 2022-12-15 グラス イメージング インコーポレイテッド 回転可能なリフレクターを備えた撮像システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026390A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
JP6790038B2 (ja) * 2018-10-03 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
US11964762B2 (en) * 2020-02-11 2024-04-23 Raytheon Company Collaborative 3D mapping and surface registration
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189940A (ja) 2004-12-28 2006-07-20 Ntt Data Corp モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
JP2007164258A (ja) 2005-12-09 2007-06-28 Kurabo Ind Ltd 画像合成処理装置及び方法
JP2011211260A (ja) * 2010-03-26 2011-10-20 Fujifilm Corp パノラマ画像撮像装置及びそのパノラマ画像合成方法
WO2016080081A1 (ja) * 2014-11-21 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
JP2017022574A (ja) 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063711A1 (en) * 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
JP2001124991A (ja) * 1999-10-28 2001-05-11 Canon Inc 立体撮影用光学系及びそれを用いた立体撮像装置
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
JP4561707B2 (ja) * 2006-05-24 2010-10-13 カシオ計算機株式会社 ズームレンズ及びプロジェクタ装置
JP4809291B2 (ja) * 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
JP5126492B2 (ja) * 2007-10-01 2013-01-23 株式会社ニコン ズームレンズ及びこのズームレンズを備えた光学機器
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
JP2013190596A (ja) * 2012-03-14 2013-09-26 Olympus Imaging Corp ズームレンズユニット及びそれを備えた撮像装置
JP6077967B2 (ja) * 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
US20150145958A1 (en) * 2013-11-22 2015-05-28 Canon Kabushiki Kaisha Multi-lens image capturing apparatus
JP6270489B2 (ja) * 2014-01-09 2018-01-31 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
JP6165680B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 撮像装置
JP6165681B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 画像表示装置及び画像表示方法
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
EP3214832B1 (en) * 2014-10-31 2019-11-27 Fujifilm Corporation Imaging device and method for recognizing target object
EP3086283B1 (en) * 2015-04-21 2019-01-16 Hexagon Technology Center GmbH Providing a point cloud using a surveying instrument and a camera device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189940A (ja) 2004-12-28 2006-07-20 Ntt Data Corp モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
JP2007164258A (ja) 2005-12-09 2007-06-28 Kurabo Ind Ltd 画像合成処理装置及び方法
JP2011211260A (ja) * 2010-03-26 2011-10-20 Fujifilm Corp パノラマ画像撮像装置及びそのパノラマ画像合成方法
WO2016080081A1 (ja) * 2014-11-21 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
JP2017022574A (ja) 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW J. DAVISON: "Real-Time Simultaneous Localization and Mapping with a Single Camera", PROCEEDINGS OF THE 9TH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, vol. 2, 2003, pages 1403 - 1410
See also references of EP3627819A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218024A1 (ja) * 2019-04-24 2020-10-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP2020182045A (ja) * 2019-04-24 2020-11-05 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP7093015B2 (ja) 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP2021012141A (ja) * 2019-07-08 2021-02-04 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
JP7166225B2 (ja) 2019-07-08 2022-11-07 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
JP2022552430A (ja) * 2019-12-14 2022-12-15 グラス イメージング インコーポレイテッド 回転可能なリフレクターを備えた撮像システム
JP7286024B2 (ja) 2019-12-14 2023-06-02 グラス イメージング インコーポレイテッド 回転可能なリフレクターを備えた撮像システム
US11785322B2 (en) 2019-12-14 2023-10-10 Glass Imaging Inc. Forming combined image by imaging system with rotatable reflector
KR20220015578A (ko) * 2020-07-31 2022-02-08 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버
KR102483388B1 (ko) * 2020-07-31 2022-12-30 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버

Also Published As

Publication number Publication date
JPWO2018211926A1 (ja) 2020-02-27
US11100671B2 (en) 2021-08-24
US20200043195A1 (en) 2020-02-06
EP3627819A4 (en) 2020-04-15
CN110622499A (zh) 2019-12-27
CN110622499B (zh) 2021-02-05
EP3627819B1 (en) 2020-11-18
JP6708790B2 (ja) 2020-06-10
EP3627819A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP6964772B2 (ja) 撮像装置、無人移動体、撮像方法、システム、及びプログラム
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影系统
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
US6744569B2 (en) Method and apparatus for omnidirectional three dimensional imaging
US11057604B2 (en) Image processing method and device
JP2018160228A (ja) 経路生成装置、経路制御システム、及び経路生成方法
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
WO2018053825A1 (zh) 对焦方法和装置、图像拍摄方法和装置及摄像系统
US11949844B2 (en) Image data processing method and apparatus, image processing chip, and aircraft
WO2021217371A1 (zh) 可移动平台的控制方法和装置
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和系统
CN110351483A (zh) 一种多镜头自适应变焦无人机监控平台及控制方法
US11012607B2 (en) Imaging apparatus and image composition apparatus
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP4221808B2 (ja) ３次元データ入力方法及び装置
US20240155223A1 (en) Imaging control device, imaging system, imaging control method, and imaging control program
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
JP6803960B1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
JP2004086401A (ja) 対象物認識装置および方法
JP2023065092A (ja) 測距装置、画像処理装置、方法及びプログラム
JP2020139927A (ja) カメラパラメータの較正方法、較正装置、及び較正プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802909

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018802909

Country of ref document: EP

Effective date: 20191216