WO2022269895A1 - 撮像装置、および受光装置 - Google Patents

撮像装置、および受光装置 Download PDF

Info

Publication number
WO2022269895A1
WO2022269895A1 PCT/JP2021/024100 JP2021024100W WO2022269895A1 WO 2022269895 A1 WO2022269895 A1 WO 2022269895A1 JP 2021024100 W JP2021024100 W JP 2021024100W WO 2022269895 A1 WO2022269895 A1 WO 2022269895A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
optical system
area
unit
Prior art date
Application number
PCT/JP2021/024100
Other languages
English (en)
French (fr)
Inventor
陽介 宮▲崎▼
智希 伊藤
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2021/024100 priority Critical patent/WO2022269895A1/ja
Priority to KR1020247002302A priority patent/KR20240025624A/ko
Priority to EP21947179.4A priority patent/EP4361723A1/en
Priority to CN202180101015.5A priority patent/CN117716696A/zh
Priority to JP2023529399A priority patent/JPWO2022269895A1/ja
Priority to TW111123722A priority patent/TW202308369A/zh
Publication of WO2022269895A1 publication Critical patent/WO2022269895A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/22Telecentric objectives or lens systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to an imaging device and a light receiving device.
  • a camera is attached to a rotary platform device that can pan and tilt, and the camera is aimed at an object (Patent Document 1).
  • an imaging device includes an imaging optical system, a light splitting member that amplitude-divides light that has passed through at least a part of the imaging optical system, and one light beam split by the light splitting member. a first image pickup unit for picking up a first image formed by the light splitting member; a second image pickup unit for picking up a part of a second image formed by the other light beam split by the light splitting member; and a driving unit that moves the second imaging unit in a direction that traverses the optical path of the light flux.
  • the light receiving device includes an imaging optical system, a light splitting member that amplitude-divides light that has passed through at least a part of the imaging optical system, and one light beam split by the light splitting member.
  • FIG. 1 is a diagram showing an overview of an imaging device according to a first embodiment
  • FIG. FIG. 2 is a diagram for explaining the overview of a first image sensor and a second image sensor
  • FIG. 4 is a diagram showing the positional relationship between a first image and a first imaging range of a first imaging element, and the positional relationship between a second image and a second imaging range of a second imaging element
  • FIG. 2 is a diagram showing an example of a usage state of the imaging device according to the first embodiment
  • FIG. FIG. 4 is a diagram showing an example of an image captured by an imaging device
  • FIG. 5 is a diagram showing another example of an image captured by an imaging device; The figure which shows the outline
  • FIG. 8 is a diagram showing part of an imaging optical system and a re-imaging optical system of an imaging apparatus according to a second embodiment;
  • FIG. 1 is a diagram showing an overview of an imaging device 1 according to the first embodiment.
  • the direction indicated by the arrows is the + direction.
  • the X-direction, Y-direction, and Z-direction are directions perpendicular to each other.
  • the position in the X direction is called the X position
  • the position in the Y direction is called the Y position
  • the position in the Z direction is called the Z position.
  • the X direction, Y direction, and Z direction in each drawing referred to hereinafter indicate the same directions as the X direction, Y direction, and Z direction shown in FIG. 1, respectively.
  • the imaging apparatus 1 of the first embodiment includes an imaging optical system 10, a light splitting member 13, a first imaging element 15a, a second imaging element 15b, a driving section 16 for moving the second imaging element 15b, a control section 30, and the like. It has The imaging optical system 10 includes, for example, a plurality of lenses 11a to 11d arranged along the optical axis AX0. A plurality of lenses 11 a to 11 d are held by a holding frame 12 , and the holding frame 12 is held by a housing 19 of the imaging device 1 .
  • each of the lenses 11a to 11d forming the imaging optical system 10 may be held movably in the ⁇ Z directions with respect to the holding frame 12 for focus adjustment.
  • each of the lenses 11a to 11d is shown as a single lens, but any of them may be a lens group consisting of a plurality of lenses, including optical members such as mirrors and diffractive optical elements.
  • the number of lens groups constituting the imaging optical system 10 is not limited to four (lenses 11a to 11d) as shown in the figure, and may be any other number.
  • the imaging optical system 10 can be said to be one aspect of a condensing optical system because it condenses incident light. Therefore, the imaging optical system 10 may be called a condensing optical system.
  • the light splitting member 13 is located on the side (image forming optical system 10 light exit side).
  • the light dividing member 13 amplitude-divides the light that has passed through the imaging optical system 10 .
  • the light splitting member 13 is, for example, a cube-shaped beam splitter, and has a split reflection surface 13a that amplitude-splits the light from the imaging optical system 10, that is, partially reflects and partially transmits the light.
  • the amount of light reflected by the divided reflecting surface 13a and the amount of light transmitted may be equal to or different from each other.
  • the light splitting member 13 may be a plate type in which a split reflecting surface is formed on a transparent flat plate.
  • the splitting of light by the light splitting member 13 is not limited to the amplitude splitting described above.
  • the light splitting member 13 may split the polarization component of incident light.
  • the light splitting member 13 may be an existing optical member that splits the polarization components of light, such as a polarizing beam splitter.
  • the light splitting member 13 may split the wavelength components of the incident light.
  • the light splitting member 13 may be an existing optical member that splits wavelength components of light, such as a dichroic mirror.
  • the light splitting member 13 may split the incident light by reflecting a part of the incident light (that is, transmitting the other part of the incident light).
  • the light splitting member 13 may be an existing reflecting member such as a mirror arranged in the optical path of part of the incident light flux.
  • the light splitting member 13 reflects part of the incident light flux, it can be said that the light splitting member 13 splits the field of view of the imaging optical system 10 .
  • the light splitting member 13 may be any member that splits the incident light flux.
  • the light splitting member 13 allows the light from the object side of the imaging optical system 10 (outside the imaging device 1 ) to pass through the imaging optical system 10 . It does not have to be arranged on the side from which the light exits (the light exiting side of the imaging optical system 10).
  • the light splitting member 13 may split light that has passed through a portion of the imaging optical system 10 .
  • the light splitting member 13 may be arranged between arbitrary lenses (lens groups) among the lenses (lens groups) 11 a to 11 d forming the imaging optical system 10 .
  • the light of the light beam reflected by the light splitting member 13 is arranged so that the light beam reflected by the light splitting member 13 forms an image (first image 14a, which will be described later) in the vicinity of the imaging surface of the first imaging element 15a.
  • An optical member other than the imaging optical system 10 may be provided on the road.
  • the light beam passing through the light splitting member 13 is arranged so that an image (second image 14b, which will be described later) is formed in the vicinity of the imaging surface of the second imaging element 15b.
  • An optical member separate from the imaging optical system 10 may be provided.
  • the light splitting member 13 should split the light that has passed through at least part of the imaging optical system 10 . It can also be said that the light splitting member 13 splits light that has passed through at least one optical member of the imaging optical system 10 . It can be said that the light splitting member 13 splits the light that has passed through at least one lens of the imaging optical system 10 . It can also be said that the light splitting member 13 splits light that has passed through at least one lens group of the imaging optical system 10 .
  • the luminous flux that has passed through the split reflecting surface 13 a travels substantially along the optical axis AX 0 of the imaging optical system 10 and is emitted from the light splitting member 13 .
  • the luminous flux reflected by the split reflecting surface 13a travels substantially along the optical axis AX1, which is the axis geometrically reflected by the split reflecting surface 13a from the optical axis AX0 of the imaging optical system 10, and passes through the light splitting member 13. is ejected from Since the optical axis AX1 is optically equivalent to the optical axis AX0, the optical axis AX1 is also referred to as the optical axis of the imaging optical system 10 below.
  • one of the light beams amplitude-divided by the light splitting member 13 forms the first image 14 a after exiting the light splitting member 13 .
  • the other luminous flux forms a second image 14b after exiting the light splitting member 13 .
  • one of the light beams amplitude-divided by the light splitting member 13 is the light beam used for forming the first image 14a.
  • the other light flux out of the light amplitude-divided by the light splitting member 13 is the light flux used for forming the second image 14b.
  • the light splitting member 13 may be part of the imaging optical system 10 .
  • An image of an object within an arbitrary predetermined angular range on the object side of the imaging optical system 10 is formed as the first image 14a.
  • an image of the object within the predetermined angular range on the object side of the imaging optical system 10 is formed as the second image 14b.
  • An arbitrary predetermined angular range on the object side of the imaging optical system 10 may be referred to as the field of view of the imaging optical system 10 .
  • the first imaging device 15a is arranged so that its imaging surface approximately matches the first image 14a.
  • the first imaging element 15a can also be called a first imaging section.
  • the first imaging unit may include at least part of the control unit 30 (for example, the image generation unit 32), which will be described in detail later.
  • the optical axis AX1 is an optical axis directed toward the first imaging section, it can also be called an optical axis of the imaging optical system 10 on the first imaging section side.
  • the optical axis AX0 and the optical axis AX1 can also be collectively referred to as the optical axis of the imaging optical system 10 on the first imaging section side.
  • the first imaging section may include not only the first imaging element 15a, but also other components such as a fixing section 18, which will be described later.
  • the second imaging device 15b is arranged so that its imaging surface substantially coincides with the second image 14b in the direction of the optical axis AX0.
  • the second imaging element 15b can also be called a second imaging section.
  • the first imaging section may include at least part of the control section 30 (for example, the image generation section 32), which will be described in detail later. Since the optical axis AX0 is an optical axis directed toward the second imaging section, it can be distinguished from the optical axis AX1 and can also be called an optical axis of the imaging optical system 10 on the second imaging section side.
  • the optical axis from the light splitting member 13 to the second imaging section can also be referred to as the optical axis of the imaging optical system 10 on the second imaging section side.
  • the second imaging section receives the other luminous flux from the light splitting member 13, and therefore may be called a light receiving section.
  • each image is formed by each luminous flux.
  • each formed image can be said to be an image of an arbitrary range on the object side of the imaging optical system 10 .
  • This arbitrary range can also be said to be a range in which the imaging device 1 (or an imaging device 1A, which will be described later) can capture images.
  • the first imaging unit first imaging element 15a
  • the second imaging unit second imaging element 15b
  • the imaging device 1 (or the imaging device 1A, which will be described later) can image an arbitrary range, and the imaging optical system 10 and the light that splits the light that has passed through at least a part of the imaging optical system 10 Formed by the splitting member 13, a first imaging unit that captures a first image 14a in an arbitrary range formed by one of the light beams split by the light splitting member 13, and the other light beam split by the light splitting member 13. It can also be said that a second image pickup section that picks up a part of the second image 14b in an arbitrary range and a drive section 16 (or a first drive section 16a described later) that moves the second image pickup section are provided.
  • the second imaging unit may include not only the second imaging element 15b, but also other elements.
  • the second imaging section may include at least one of a holding section 17 and a driving section 16, which will be described later, in addition to the second imaging element 15b.
  • the first imaging element 15 a is held by a fixing portion 18 attached to the housing 19 .
  • the second imaging element 15b is held by the holding section 17, and the second imaging element 15b and the holding section 17 are held by the driving section 16 so as to be movable in the X direction and the Y direction, for example.
  • the imaging range of the second image 14b imaged by the second image sensor 15b is changed.
  • the imaging field of view on the object side (target side) imaged by the second imaging element 15b is also changed.
  • the second imaging element 15b and the holding section 17 may be held by the driving section 16 so as to be movable in the X direction or the Y direction.
  • the second imaging element 15b and the holding section 17 may be held by the driving section 16 so as to be movable in any one direction on the XY plane defined by the X direction and the Y direction.
  • the driving unit 16 performs the second imaging in two directions (in the X direction and the Y direction as an example) that intersect the optical axis AX0 parallel to the Z direction of the imaging optical system 10 on the side of the second imaging element 15b. It can also be said that the element 15b is moved. As another expression, it can be said that the driving section 16 moves the second imaging element 15b in a direction crossing the optical path of the other light flux.
  • the drive unit 16 moves the second imaging element 15b in a direction that intersects the direction in which the other light beam traveling approximately along the optical axis AX0 enters the second imaging element 15b. It can also be said that the drive unit 16 moves the second image sensor 15b in the in-plane direction of the image plane of the second image 14b.
  • the drive unit 16 may be an existing drive mechanism such as a linear motor or a stepping motor.
  • FIG. 2(a) is a view of the first image sensor 15a viewed from the image sensing surface side ( ⁇ X side), and FIG. 2(b) is a view of the second image sensor 15b viewed from the image sensing surface side (+Z side). It is a diagram.
  • a plurality of first pixels PEa are two-dimensionally arranged with an arrangement pitch PZa in the Z direction and an arrangement pitch PYa in the Y direction.
  • the arrangement pitch PZa in the Z direction and the arrangement pitch PYa in the Y direction may be the same or different.
  • the width of the first pixel PEa in the Z direction and the width of the first pixel PEa in the Y direction may be the same or different. For example, 1,000 or more first pixels PEa may be arranged in each of the Z direction and the Y direction.
  • the first effective area EA1 has a width WZa in the Z direction and a width WYa in the Y direction.
  • a plurality of second pixels PEb are two-dimensionally arranged with an arrangement pitch PXb in the X direction and an arrangement pitch PYb in the Y direction.
  • the arrangement pitch PXb in the X direction and the arrangement pitch PYb in the Y direction may be the same or different.
  • the width of the second pixel PEb in the Z direction and the width of the second pixel PEb in the Y direction may be the same or different.
  • 1,000 or more second pixels PEb may be arranged in each of the X and Y directions.
  • the second effective area EA2 has a width of WXb in the X direction and a width of WYb in the Y direction.
  • the arrangement pitches PXb and PYb of the second pixels PEb of the second imaging element 15b are smaller than the arrangement pitches PZa and PYa of the first pixels PEa of the first imaging element 15a. Therefore, in the second imaging element 15b, the number (that is, density) of the second pixels PEb per unit area of the second effective area EA2 is equal to the number (that is, density) in the first effective area EA1 of the first imaging element 15a. ) and has a higher resolution than the first image sensor 15a.
  • the width of the second pixel PEb in the Z direction and the width of the second pixel PEb in the Y direction of the second imaging element 15b are equal to the width of the first pixel PEa in the Z direction and the width of the first pixel PEa in the Y direction of the first imaging element 15a. It can also be said that it is smaller than the width of one pixel PEa.
  • the width WXb in the X direction of the second effective area EA2 of the second imaging element 15b is shorter than the width WZa in the Z direction of the first effective area EA1 of the first imaging element 15a. Further, the Y-direction width WYb of the second effective area EA2 of the second imaging element 15b is shorter than the X-direction width WYa of the first effective area EA1 of the first imaging element 15a. Therefore, the area of the second effective area EA2 is smaller than the area of the first effective area EA1.
  • FIG. 3(a) is a diagram showing the positional relationship between the first imaging range CA1 by the first imaging element 15a and the first image 14a
  • FIG. 3(b) is the second imaging range by the second imaging element 15b. It is a figure which shows the positional relationship of CA2 and the 2nd image 14b.
  • the first imaging range CA1 corresponds to the first effective area EA1 of the first imaging element 15a shown in FIG. 2(a).
  • the second imaging range CA2 corresponds to the second effective area EA2 of the second imaging element 15b shown in FIG. 2(b).
  • the imaging range can be rephrased as an imaging area. That is, the first imaging range CA1 can be rephrased as a first imaging area, and the second imaging range CA2 can be rephrased as a second imaging area.
  • FIG. 3B shows a state in which the center CC of the second imaging range CA2 by the second imaging element 15b is moved by the above-described driving unit 16 by DX in the X direction and by DY in the Y direction with respect to the optical axis AX0. showing. 3A and 3B of the present embodiment, the ratio of the area of the first effective area EA1 to the area of the second effective area EA2 and the ratio of the area of the first imaging range CA1 to the area of the second imaging range CA2 Although the ratios of the areas are substantially the same, the ratios of the areas to each other are changed for convenience of explanation.
  • the first image 14a and the second image 14b are substantially the same image and have the same size.
  • the second effective area EA2 of the second image sensor 15b arranged at the position of the second image 14b is smaller than the first effective area EA1 of the first image sensor 15a arranged at the position of the first image 14a.
  • the proportion of the second imaging range CA2 captured by the second imaging element 15b in the second image 14b is higher than the proportion of the first imaging range CA1 captured by the first imaging element 15a in the first image 14a. lower.
  • the second imaging device 15b captures a portion of the second image 14b.
  • the second image pickup device 15b has a higher resolution than the first image pickup device 15a. It can also be said that the image is captured at a high resolution.
  • the second imaging element 15b is moved in the XY plane direction by the drive unit 16, so that many parts in the second image 14b can be imaged with high resolution.
  • the second image sensor 15b is moved in the XY plane direction by the driving unit 16, so that a desired portion in the second image 14b can be imaged with high resolution.
  • the second imaging section (second imaging element 15b) captures a part of the second image 14b
  • the second imaging section has a light incident section 29 into which part of the other light beam is incident.
  • the light incident section 29 is at least part of the second imaging section.
  • the light incident portion 29 may be the light incident surface of the plurality of first pixels PEa arranged in the first effective area EA1.
  • the second imaging section can also be referred to as a light receiving section. It can also be said that the light receiving section receives part of the other light flux from the light splitting member 13 . In this case, it can be said that the light receiving section has a light incident section 29 into which part of the other light beam is incident. It can also be said that the light incident portion 29 is at least part of the light receiving portion.
  • the second imaging range CA2 can also be referred to as a light receiving area because part of the other light flux from the light splitting member 13 is incident thereon.
  • the light receiving area can also be said to be part of the area where the second image 14b is formed (that is, the area through which the other light flux from the light splitting member 13 passes).
  • the second imaging section can also be called a light receiving section. It can also be said that the light receiving section receives light that has passed through a light receiving area that is part of the area through which the other light beam split by the light splitting member 13 passes.
  • the first imaging device 15a can simultaneously image many parts in the first image 14a. That is, the first imaging device 15a can capture a wide range in the first image 14a at once.
  • the diameter of the first image 14a which is shown as a circle in FIG. ) is 170° or more as an example when converted to the angle of view on the object side. Therefore, it can be said that the maximum angle of view on the object side of the imaging optical system 10 is 170° or more.
  • the maximum angle of view on the object side of the imaging optical system 10 may be 170° or less, and may be 60°, for example.
  • the entire first image 14a may be included in the first imaging range CA1.
  • the entire first imaging range CA1 may be included in the first image 14a.
  • the center of the first imaging range CA1 may or may not coincide with the optical axis AX1.
  • the first imaging element 15a may not have a plurality of first pixels PEa arranged, and may have one first pixel PEa.
  • a single photodiode may be used instead of the first imaging element 15a.
  • the second imaging element 15b may not have a plurality of second pixels PEb arranged, and may have one second pixel PEb.
  • a single photodiode may be used instead of the second imaging element 15b.
  • the control unit 30 of the imaging device 1 will be described with reference to FIG. 1 again.
  • the control unit 30 controls various operations of the imaging device 1 .
  • the control unit 30 includes an imaging control unit 31 , an image generation unit 32 , an analysis unit 33 , an imaging range control unit 34 , a storage unit 35 and an interface unit 36 .
  • the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36 perform signal communication with each other via wiring 37 such as a bus.
  • the imaging control unit 31 sends a control signal S2a to the first imaging element 15a to control the first imaging element 15a. Specifically, the imaging control unit 31 controls the first imaging element 15a to start and end output of a low-resolution moving image (through image), shoot a still image, set an exposure time (light receiving time), and perform photoelectric conversion. Controls such as gain settings. The imaging control unit 31 sends a control signal S2b to the second imaging element 15b to control the second imaging element 15b in the same manner as the first imaging element 15a.
  • the image generator 32 receives the imaging signal S1a from the first imaging device 15a and generates image data of the first image 14a captured by the first imaging device 15a.
  • the image generator 32 receives the imaging signal S1b from the second imaging device 15b and generates image data of the second image 14b captured by the second imaging device 15b.
  • the image generator 32 may have a function of correcting distortion of the first image 14a or the second image 14b caused by distortion of the imaging optical system 10 when generating image data. Further, the image generator 32 may have a function of correcting deterioration of the first image 14a or the second image 14b caused by aberrations other than distortion of the imaging optical system 10 .
  • the analysis unit 33 Based on the image data of a portion of the first image 14a or the second image 14b generated by the image generation unit 32, the analysis unit 33 analyzes target information that can be included in the image data. If the image data of the first image 14a or the image data of a portion of the second image 14b includes image data of at least a portion of the target, the analysis unit 33 detects the image data of at least a portion of the target through analysis. can do. In other words, the analysis unit 33 can detect at least a portion of the target image included in the image corresponding to the image data of a portion of the first image 14a or the second image 14b generated by the image generation unit 32. .
  • the analysis unit 33 can also be called a detection unit because it detects at least a portion of the target (at least a portion of the image of the target).
  • the analysis unit 33 analyzes the image data of the first image 14a or the image data of a part of the second image 14b generated by the image generation unit 32, so that the image data of at least a part of the target can be detected. can also be rephrased. In other words, the analysis unit 33 recognizes at least a portion of the target (at least a portion of the image of the target). Therefore, the analysis unit 33 can also be called a recognition unit. Note that the analysis by the analysis unit 33 will be described later.
  • the imaging range control unit 34 determines the result of analysis of the target information by the analysis unit 33 based on the image data of a portion of the first image 14a or the second image 14b (that is, the result of detecting at least a portion of the target image). Based on this, a drive signal S3 is sent to the drive unit 16 to drive a drive member such as a linear motor included in the drive unit 16, thereby moving the holding unit 17 and the second imaging element 15b in the XY plane direction, for example. That is, as shown in FIG. 3B, the imaging range control unit 34 moves the position of the center CC of the second imaging range CA2 of the second imaging element 15b to a predetermined position with respect to the optical axis AX0. In other words, the imaging range control unit 34 moves the position of the center CC of the second imaging range CA2 of the second imaging element 15b to a predetermined position in the second image 14b.
  • a drive signal S3 is sent to the drive unit 16 to drive a drive member such as a linear motor included in the
  • the imaging range control unit 34 does not depend on the target information detected by the analysis by the analysis unit 33, but based on a signal input from an operation unit (not shown) through the interface unit 36, and sends a drive signal to the drive unit 16. S3 may be sent to move the second imaging element 15b.
  • the storage unit 35 includes storage members such as memory devices and magnetic disks, and stores image data generated by the image generation unit 32 based on images captured by at least one of the first imaging device 15a and the second imaging device 15b. stored accordingly.
  • the interface unit 36 transmits the image data generated by the image generating unit 32 based on the image captured by at least one of the first imaging element 15a and the second imaging element 15b, or the image data stored in the storage unit 35, to a network. Output to an external device via the line NW. Also, the interface unit 36 may receive a command for the imaging device 1 from an external device.
  • the interface unit 36 may have a wireless transmission/reception mechanism, and output image data and input commands wirelessly.
  • the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36 are independent, that is, mechanically separated hardware. It can be. Alternatively, some of the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36 are integrally configured as one or a plurality of pieces of hardware. It's okay to be there.
  • At least one of the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36 is configured by hardware and software for controlling it. Also good.
  • FIG. 4 is a diagram showing an example of the usage state of the imaging device 1 of the first embodiment.
  • a plurality of imaging devices 1 of the first embodiment are installed on the wall of the living room LM of a home where one or more users live.
  • the number of imaging devices 1 installed in a room such as the living room LM is not limited to a plurality, and may be one.
  • the imaging device 1 almost always captures an image of a target, which is at least a part of a person or an animal such as a pet, in the living room LM, and captures a good photo opportunity of, for example, the daily life of a family. Record.
  • Targets are not limited to people or animals, and may be any other object.
  • the first effective area EA1 of the first imaging element 15a captures the first imaging range CA1, which is a wide portion in the first image 14a, and transmits the imaging signal S1a to the image generating section 32.
  • the image generator 32 generates wide-area image data corresponding to a first imaging range CA1, which is a wide area in the first image 14a, based on the imaging signal S1a.
  • An image corresponding to this wide-area image data is hereinafter also referred to as a wide-area image.
  • the second effective area EA2 of the second imaging element 15b captures the second imaging range CA2, which is part of the second image 14b, and transmits the imaging signal S1b to the image generator 32.
  • the image generator 32 generates narrow-area image data corresponding to the second imaging range CA2, which is a part of the second image 14b, based on the imaging signal S1b.
  • An image corresponding to this narrow-range image data is hereinafter also referred to as a narrow-range image.
  • the arrangement pitch (PXb, PYb) of the pixels PEb of the second imaging element 15b is smaller than the arrangement pitch (PZa, PYa) of the pixels PEa of the first imaging element 15a. Therefore, the resolution of the narrow-area image captured by the second imaging element 15b is higher than the resolution of the wide-area image captured by the first imaging element 15a. Accordingly, the narrow-area image captured by the second imaging element 15b can also be called a high-resolution image.
  • FIG. 5A is a diagram showing a wide-area image Im1 based on the wide-area image data of the living room LM as an example of an image captured by the first image sensor 15a of the imaging device 1.
  • the analysis unit 33 analyzes target information that can be included in the wide-area image Im1 based on the wide-area image data captured by the first imaging device 15a.
  • the analysis unit 33 analyzes the wide-area image data generated by the image generation unit 32, which may include target information, to obtain at least a portion of the image of the target to be imaged or recorded in the wide-area image Im1. The presence or absence of an area of interest IA including Then, when the area of interest IA is detected, the analysis unit 33 calculates the position of the area of interest IA in the wide-area image Im1.
  • the region of interest IA is, for example, at least part of an image (for example, at least part of a person or an animal) included in an image (for example, data of at least one of a wide-area image and a narrow-area image). , whole or part of an image such as a face).
  • the region of interest IA can also be rephrased as a region that includes at least part of the target included in the image data (for example, at least one of the wide-area image data and the narrow-area image data).
  • Detecting the presence or absence of the region of interest IA by analyzing the image data by the analysis unit 33 means detecting the presence or absence of at least a portion of the image of the target (at least a portion of the target) by the analysis of the image data by the analysis unit 33. You can also paraphrase it. Detecting the position of the region of interest IA on the image by the analysis of the image data by the analysis unit 33 means calculating the position of at least a part of the image of the target on the image by the analysis of the image data by the analysis unit 33. You can also paraphrase it.
  • the analysis unit 33 may not detect the presence or absence of the region of interest IA, and may analyze the image data generated by the image generation unit 32 (for example, at least one of the wide area image data and the narrow area image data). detects the presence or absence of at least part of the target image included in the image (for example, at least one of the wide-area image and the narrow-area image), and calculates the position of at least part of the target image in the image. good too.
  • the target is not limited to at least a part of a person or an animal, and may be an object of interest (for example, an object to be imaged or recorded) or any object.
  • targets include things worn or carried by people (clothes, shoes, bags, canes, etc.), dangerous objects such as guns and explosives, moving objects such as vehicles, ships, aircraft (drones, etc.), and buildings. It may be at least part of such as.
  • the target is the inside of the machining chamber of the machine tool (the space in which the workpiece is machined by the machining tool) and the machining tool changer that replaces the machining tool attached to the main shaft of the machining chamber with another type of machining tool. It may be at least part of the interior.
  • the analysis unit 33 detects the presence or absence of the region of interest IA from the wide-area image Im1 by executing object detection processing based on machine learning as analysis of the wide-area image data (that is, the image data of the wide-area image Im1). If the area of interest IA is detected), the position of the area of interest IA in the wide-area image Im1 may be calculated. Calculating the position of the region of interest IA can also be said to detect the position of the region of interest IA. As an example, the analysis unit 33 may detect the presence or absence of the region of interest IA by executing object detection processing based on deep learning as the analysis of the wide area image data.
  • the analysis unit 33 may not detect the presence or absence of the region of interest IA depending on the type of object detection processing to be executed, and analyzes the wide-area image data generated by the image generation unit 32 to detect the target in the wide-area image Im1. , and (when the region of interest IA is detected), the position of the region of interest IA in the wide-area image Im1 may be calculated.
  • the analysis unit 33 uses an object detection algorithm using a CNN (Convolutional Neural Network) to detect the presence or absence of an area of interest IA from the wide area image Im1 and to calculate the position of the area of interest IA in the wide area image Im1. may be executed. Note that the analysis unit 33 may detect the presence or absence of the region of interest IA from the wide-area image Im1 and calculate the position of the region of interest IA in the wide-area image Im1 by other object detection processing based on deep learning.
  • CNN Convolutional Neural Network
  • the analysis unit 33 uses R-CNN (Region with CNN features), Faster R-CNN (Faster Region with CNN features), Mask R-CNN (Mask Region with CNN features), etc.
  • a detection algorithm may be used.
  • the analysis unit 33 is not limited to the region proposal type, and may use other deep learning object detection algorithms such as YOLO (You Only Look Once) and SSD (Single shot Multibox Detector).
  • the analysis unit 33 may detect the presence or absence of the region of interest IA using algorithms such as linear regression, decision tree, SVM (Support Vector Machine), etc., without being limited to deep learning. Note that the analysis unit 33 may perform detection of the presence or absence of the region of interest IA and calculation of the position of the region of interest IA by existing template matching processing without being limited to machine learning. Note that the analysis unit 33 may detect the presence or absence of the region of interest IA and calculate the position of the region of interest IA by existing segmentation processing.
  • algorithms such as linear regression, decision tree, SVM (Support Vector Machine), etc.
  • the wide-area image Im1 shown in FIG. 5(a) includes images of a plurality of persons as images of the target. Detect the region as the region of interest IA. Note that the area of interest IA to be detected is not limited to one. area of interest IA may be detected.
  • the analysis unit 33 Upon detecting the region of interest IA, the analysis unit 33 calculates the position of the region of interest IA in the wide-area image Im1. The analysis unit 33 then transmits the position of the region of interest IA in the wide-area image Im1 to the imaging range control unit 34 .
  • the detection of the region of interest IA by the analysis unit 33 can also be said to mean that the analysis unit 33 recognizes the region of interest IA.
  • the calculation of the position of the region of interest IA in the wide-area image Im1 by the analysis unit 33 can be said to mean that the analysis unit 33 recognizes the position of the region of interest IA.
  • the imaging range control unit 34 sends a driving signal S3 to the driving unit 16 according to the information signal from the analysis unit 33 (that is, the information regarding the position of the region of interest IA in the wide-area image Im1 as the detection result), and the second imaging is performed.
  • the element 15b is moved in a direction that intersects the optical axis AX0 (for example, in the XY plane), and the center CC of the second imaging range CA2 (see FIG. 3B) is substantially aligned with the center position of the area of interest IA. .
  • the imaging range control unit 34 determines that at least part of the image of the target included in the second image 14b is included in the second imaging range CA2 of the second imaging element 15b (second imaging unit). The movement of the second imaging device 15b by the driving unit 16 is executed so that the
  • the imaging range control unit 34 does not have to move the second imaging device 15b so that the center CC of the second imaging range CA2 substantially coincides with the center position of the region of interest IA.
  • the area of interest IA only needs to be included in the second imaging range CA2.
  • the imaging range control unit 34 arranges the center CC of the second imaging range CA2 at a position a predetermined distance away from the center position of the area of interest IA. You may move the 2nd image pick-up element 15b so that.
  • the analysis unit 33 may calculate the position of each of the plurality of detected regions of interest IA in the wide-area image Im1.
  • the imaging range control unit 34 moves the second imaging element 15b in a direction intersecting the optical axis AX0 (for example, the XY plane direction) so that at least one of the plurality of regions of interest IA is included in the second imaging range CA2. You can move it to
  • an image corresponding to the area of interest IA is formed on the second imaging element 15b, and the second imaging element 15b corresponds to the area of interest IA in the wide-area image Im1, as shown in FIG.
  • a narrow-field image Im2 is captured. Note that when the size of the area of interest IA is larger than the second imaging range CA2 of the second imaging element 15b, the second imaging element 15b captures a narrow area corresponding to a part of the area of interest IA in the wide-area image Im1. When the image Im2 is captured and the size of the region of interest IA is smaller than the second imaging range CA2 of the second imaging device 15b, the second imaging device 15b captures a range corresponding to the region of interest IA in the wide-area image Im1. A narrow-area image Im2 including is captured.
  • the position of the center CC (see FIG. 3B) of the second imaging range CA2 can be changed without rotating the entire imaging device 1 and without rotating the imaging optical system 10. This can be done only by moving the second imaging element 15b in the XY plane direction. Accordingly, in the imaging device 1, the position of the second imaging range CA2 within the second image 14b can be changed at high speed. Therefore, it is possible to change the imaging field of view on the object side (target side) imaged by the second imaging element 15b at high speed.
  • the analysis unit 33 detects the presence or absence of the region of interest IA in the narrow-area image Im2 by analyzing not only the wide-area image data but also the narrow-area image data (that is, the image data of the narrow-area image Im2). You may Then, when the area of interest IA is detected on the narrow-area image Im2, the analysis unit 33 may calculate the position of the area of interest IA on the narrow-area image Im2.
  • the imaging range control unit 34 sends a drive signal S3 to the drive unit 16 according to the information signal from the analysis unit 33 (that is, the information regarding the position of the region of interest IA in the narrow-area image Im2 as the detection result), and the second The imaging element 15b may be moved so that the region of interest IA is included in the second imaging range CA2. In other words, the imaging range control unit 34 may move the second imaging device 15b by the driving unit 16 based on the narrow-area image data.
  • the analysis unit 33 also analyzes the target in the narrow-area image Im2, for example, whether or not the target person or the like (that is, the person or the like included in the region of interest) shows a specific facial expression such as a smile. , or whether a particular gesture or gesture is made.
  • the analysis unit 33 performs the above-described object detection processing, existing tracking processing (described later), and the like, so that a specific facial expression such as a smile of a target person (a person included in the region of interest, etc.), or Certain gestures or gestures may be detected.
  • the analysis unit 33 performs not only the above-described object detection processing and existing tracking processing, but also other image processing to detect a specific facial expression such as a smile of a target person (person included in the region of interest), or Certain gestures or gestures may be detected.
  • the analysis unit 33 determines whether or not a person or the like included in the region of interest IA shows a specific facial expression such as a smile, or whether or not a specific gesture or hand gesture is made, based on not only the narrow-area image data but also the wide-area image data. may be detected, and one or more of the following operations A to F may be performed. Then, when detecting the above facial expression, gesture, or gesture of the target, the analysis unit 33 may perform one or more of the following actions A to F.
  • D Issue a command to the storage unit 35 to start or end storage of the narrow-area image data captured by the second imaging device 15b and generated by the image generation unit 32 .
  • E Issue a command to the storage unit 35 to start or stop adding a predetermined identification signal (flag) to the narrow-area image data being stored.
  • F Sending the narrow-field image data captured by the second imaging element 15b and generated by the image generating section 32 to the interface section 36 to an external device (for example, a display device that displays a narrow-field image Im2). issue a command to start or end a
  • the analysis unit 33 may terminate those operations.
  • the analysis unit 33 may detect the presence or absence of movement of the region of interest IA in the wide-area image Im1 (that is, movement of at least part of the image of the target). . Then, when the region of interest IA moves, the analysis unit 33 may calculate the direction and amount of movement of the region of interest IA in the wide-area image Im1.
  • the analysis unit 33 transmits the movement direction and movement amount of the region of interest IA in the wide-area image Im1 to the imaging range control unit 34.
  • the movement direction and movement amount of the region of interest IA in the wide-area image Im1 calculated by the analysis unit 33 can be rephrased as the position of the region of interest IA in the wide-area image Im1.
  • the calculation of the movement direction and the movement amount of the area of interest IA by the analysis unit 33 can be rephrased as the analysis unit 33 detecting the movement direction and the movement amount of the area of interest IA.
  • the imaging range control unit 34 sends a drive signal S3 to the drive unit 16 according to the information signal from the analysis unit 33 (that is, information regarding the direction and amount of movement of the region of interest IA in the wide-area image Im1 as the detection result).
  • the second imaging element 15b may be moved in a direction intersecting the optical axis AX0 (for example, in the XY plane) so that the area of interest IA does not deviate from the second imaging range CA2. That is, when the positional relationship between the target and the imaging device 1 changes, the imaging range control unit 34 controls the driving unit 16 to prevent the region of interest IA from deviating from the second imaging range CA2 based on the image data of the wide-area image Im1.
  • the movement of the second imaging element 15b may be executed.
  • the imaging device 1 can detect the second The narrow-area image Im2 of the area of interest IA (that is, the high-resolution image of at least part of the target) can be continuously generated without the area of interest IA moving out of the imaging range CA2.
  • the analysis unit 33 may detect movement of the region of interest IA between a plurality of wide-area images Im1 captured by the first imaging element 15a at different times by executing existing tracking processing (that is, , the presence or absence of movement of the region of interest IA may be detected, and the direction and amount of movement of the region of interest IA may be calculated).
  • the analysis unit 33 uses the image data of the region of interest IA detected from the wide-area image Im1 by the object detection process described above as a template, and uses the existing template matching process to perform wide-area images Im1 captured at different times.
  • the area of interest IA may be detected, and the direction and amount of movement of the area of interest IA on the wide-area image Im1 (in other words, the position of the area of interest IA on the wide-area image Im1) may be calculated.
  • the analysis unit 33 detects the region of interest IA from each of the wide-area images Im1 captured at different times, and determines whether or not the area of interest IA has moved based on the presence or absence of displacement of the area of interest IA on the wide-area image Im1. may be detected.
  • the analysis unit 33 may transmit the calculated movement direction and movement amount of the region of interest IA in the wide-area image Im1 to the imaging range control unit 34 .
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, information regarding the movement direction and movement amount of the region of interest IA in the wide-area image Im1 as the detection result), and based on the information signal, performs the first 2
  • the moving direction and moving amount of the imaging range CA2 may be calculated.
  • the imaging range control unit 34 sends a drive signal S3 corresponding to the calculated moving direction and amount of movement of the second imaging range CA2 to the driving unit 16, and performs the second imaging so that the region of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 controls the second imaging range CA2 so that the region of interest IA is included in the second imaging range CA2. 2 The position of the imaging device 15b can be moved.
  • the analysis unit 33 calculates the movement direction and the amount of movement of each of the detected plurality of regions of interest IA in the wide-area image Im1.
  • the imaging range control unit 34 moves the second imaging element 15b in a direction intersecting the optical axis AX0 (for example, in the XY plane) so that at least one of the plurality of regions of interest IA does not deviate from the second imaging range CA2. You can move it to
  • the analysis unit 33 detects whether or not the region of interest IA has moved in the image (at least one of the wide-area image Im1 and the narrow-area image Im2) by other existing tracking processes, not limited to the template matching process, and detects the movement direction of the image. and calculation of the movement amount. Note that the analysis unit 33 may detect the presence or absence of movement in the image and calculate the movement direction and movement amount of the region of interest IA in the image by other existing image processing, not limited to the existing tracking processing.
  • the analysis unit 33 uses existing deep learning based on the movement direction and movement amount of the region of interest IA in the wide-area image Im1, which is calculated by the tracking process described above based on the wide-area image data captured at different times. Then, the moving direction and amount of movement of the area of interest IA per predetermined time may be predicted.
  • the analysis unit 33 may transmit the moving direction and moving amount of the region of interest IA in the wide-area image Im1 per predetermined time predicted to the imaging range control unit 34 .
  • the analysis unit 33 predicting the movement direction and the movement amount can be rephrased as the analysis unit 33 detecting the future movement direction and movement amount.
  • the movement direction and movement amount of the region of interest IA in the wide-area image Im1 predicted by the analysis unit 33 can be rephrased as the future position of the region of interest IA in the wide-area image Im1.
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, prediction information regarding the direction and amount of movement of the region of interest IA in the wide-area image Im1 as the detection result), and controls the movement of the second imaging range CA2.
  • the direction and movement amount may be calculated (estimated).
  • the imaging range control unit 34 sends a drive signal S3 corresponding to the calculated moving direction and amount of movement of the second imaging range CA2 to the driving unit 16, and performs the second imaging so that the region of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 controls the driving unit 16 to prevent the region of interest IA from deviating from the second imaging range CA2 based on the image data of the wide-area image Im1.
  • the movement of the second imaging element 15b may be executed.
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, prediction information regarding the movement direction and movement amount of the region of interest IA in the wide-area image Im1 as the detection result), and based on the information signal Alternatively, the second imaging device 15b may be moved so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the positional relationship between the target and the imaging device 1 changes. In other words, based on the image data of the wide-area image Im1, the imaging range control unit 34 controls the position of the region of interest IA in the second imaging range CA2 so as not to substantially change before and after the change in the positional relationship between the target and the imaging device 1. 2 The position of the imaging device 15b may be moved.
  • the analysis unit 33 performs the above-described tracking processing based on the narrow-area image data, not limited to the wide-area image Im1, to detect whether or not the region of interest IA has moved in the narrow-area image Im2, Calculation of the movement direction and the movement amount in Im2 may be executed.
  • the analysis unit 33 uses the image data of the region of interest IA detected by the object detection process described above from the narrow-area image Im2 captured at the first time as a template, and captures the image at the second time after a predetermined time.
  • the region of interest IA is detected from the narrow-area image Im2 obtained by existing template matching processing, detection of the presence or absence of movement of the region of interest IA between the first time and the second time, and the direction and amount of movement of the region of interest IA. may be calculated.
  • the analysis unit 33 may transmit the movement direction and the movement amount of the region of interest IA in the narrow-area image Im2 to the imaging range control unit 34.
  • the moving direction and moving amount of the region of interest IA in the narrow-area image Im2 calculated by the analysis unit 33 can be rephrased as the position of the region of interest IA in the narrow-area image Im2.
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, information regarding the direction and amount of movement of the region of interest IA in the narrow-area image Im2 as the detection result), and performs driving according to the information signal.
  • a signal S3 may be sent to the drive unit 16 to move the second imaging device 15b in a direction intersecting the optical axis AX0 so that the region of interest IA does not deviate from the second imaging range CA2.
  • the imaging range control unit 34 controls the driving unit 16 based on the image data of the narrow-area image Im2 so that the region of interest IA does not deviate from the second imaging range CA2. may be executed to move the second imaging element 15b (second imaging unit) by . Therefore, even if the positional relationship between the target and the imaging device 1 changes, the imaging device 1 can generate the narrow-area image Im2 of the region of interest IA without the region of interest IA deviating from the second imaging range CA2 of the imaging device 1. can continue.
  • the moving direction and moving amount of the region of interest IA in the narrow-area image Im2 per predetermined time thereafter may be predicted by existing deep learning.
  • the analysis unit 33 may transmit the moving direction and moving amount of the region of interest IA per predetermined time after the prediction to the imaging range control unit 34 .
  • the moving direction and moving amount of the region of interest IA in the narrow-area image Im2 predicted by the analysis unit 33 can be rephrased as the position of the region of interest IA in the predicted narrow-area image Im2.
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, prediction information regarding the movement direction and movement amount of the region of interest IA in the subsequent narrow-area image Im2 as a detection result), and converts the information signal into A corresponding drive signal S3 may be sent to the drive unit 16 to move the second imaging device 15b in a direction intersecting the optical axis AX0 so that the region of interest IA does not deviate from the second imaging range CA2.
  • the imaging range control unit 34 controls the driving unit 16 based on the image data of the narrow-area image Im2 so that the region of interest IA does not deviate from the second imaging range CA2. may be executed to move the second imaging element 15b (second imaging unit) by .
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, prediction information regarding the movement direction and movement amount of the region of interest IA in the narrow-area image Im2 as the detection result), and responds to the information signal. Based on this, the second imaging device 15b may be moved so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the positional relationship between the target and the imaging device 1 changes.
  • the imaging range control unit 34 controls the position of the region of interest IA in the second imaging range CA2 so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1.
  • the position of the second imaging element 15b may be moved.
  • the analysis unit 33 detects the presence or absence of the region of interest IA in the wide-area image Im1 by analyzing the wide-area image data at that time. Then, when the area of interest IA is detected, the analysis unit 33 may calculate the position of the area of interest IA in the wide-area image Im1.
  • the imaging range control unit 34 receives an information signal (that is, information about the position of the region of interest IA in the wide-area image Im1) from the analysis unit 33, and according to the information signal, the region of interest IA is moved to the second imaging range CA2.
  • the second imaging element 15b may be moved so as to be included. That is, when the positional relationship between the target and the imaging device 1 changes and at least a portion of the target image deviates from the second imaging range CA2, the imaging range control unit 34 determines the image of interest based on the image data of the wide-area image Im1.
  • the driving unit 16 may move the second imaging device 15b (second imaging unit) so that the area IA is included in the second imaging range CA2.
  • the imaging range control unit 34 may search for the area of interest IA by moving the second imaging element 15b along a predetermined path in a direction intersecting the optical axis AX0 (for example, in the XY plane). Then, the second imaging element 15b may be stopped at a position where the area of interest IA is included in the second imaging range CA2. Note that the analysis unit 33 may detect that the region of interest IA is included in the second imaging range CA2 by the object detection process described above.
  • the imaging device 1 can continue to capture a narrow-field image Im2 of the region of interest IA.
  • the imaging device 1 is installed in the living room LM, but it is not limited to this.
  • one or more imaging devices 1 may be installed at predetermined locations indoors of a building to image and record any object (target to be imaged or recorded).
  • it may be installed in a predetermined indoor location such as a nursery school, school, medical facility, nursing care facility, conference room, store, station, etc., and any object such as a person may be imaged or recorded as a target to be imaged or recorded.
  • a predetermined indoor location such as a nursery school, school, medical facility, nursing care facility, conference room, store, station, etc.
  • any object such as a person may be imaged or recorded as a target to be imaged or recorded.
  • one or a plurality of imaging devices 1 may be installed at predetermined locations inside the mobile body to image and record any object (target).
  • imaging devices 1 may be installed at a predetermined location on a moving object such as a vehicle, ship, or aircraft, and any object from those moving objects may be imaged or recorded as a target to be imaged or recorded.
  • a moving object such as a vehicle, ship, or aircraft
  • any object from those moving objects may be imaged or recorded as a target to be imaged or recorded.
  • one or a plurality of imaging devices 1 may be installed at a predetermined outdoor location to image and record all objects (targets) such as people and animals.
  • one or more imaging devices 1 are installed at predetermined locations of buildings such as vending machines, street lamps, utility poles, bridges, entrances and exits of shops and stations to image and record all objects (targets). You can
  • the imaging device 1 may be installed inside the processing chamber of the machine tool. Then, the processing tool attached to the main shaft of the processing chamber, the work placed on the stage of the processing chamber, the processing point of the work by the processing tool, the chips generated by the processing of the work by the processing tool, and the A cutting fluid or the like to be applied to the processed portion may be used as the target.
  • the processing tool or the like stored inside an exchange device that replaces a processing tool attached to the main shaft of the processing chamber with another type of processing tool may be used as a target.
  • FIG. 6 is a diagram showing an example of an image based on image data generated by imaging with the imaging device 1 in another example of the usage state of the imaging device 1 of the first embodiment.
  • the imaging device 1 is installed outdoors as an example, and is used as a surveillance camera that monitors the surroundings of the imaging device 1 .
  • one or more imaging devices 1 may be installed indoors even when used as a surveillance camera.
  • One or a plurality of imaging devices 1 are installed as monitoring cameras in predetermined locations such as shops, stations, airports, medical facilities, nursing care facilities, prisons, military facilities, borders, roads, parks, etc. where monitoring is required. Therefore, any object may be imaged or recorded as a target to be imaged or recorded.
  • one or more imaging devices 1 may be installed in a moving body such as a vehicle, ship, or aircraft (drones, etc.) to capture and record any object (target) that needs to be monitored from the moving body. good.
  • FIG. 6A shows wide-area image data obtained by capturing the scenery around the imaging device 1 installed outdoors, as an example of an image captured by the first imaging range CA1 of the first imaging element 15a of the imaging device 1.
  • 3 is a diagram showing a wide-area image Im3 based on FIG.
  • the analysis unit 33 analyzes target information that can be included in the wide-area image Im3, and particularly detects the presence or absence of an area of interest IA that includes at least a portion of the target to be imaged or recorded.
  • the analysis unit 33 may detect the region of interest IA by executing the above-described object detection process in the same manner as in the use state of the imaging apparatus 1 illustrated in FIGS. 4 and 5 described above.
  • the image data of the wide area image Im3 may be referred to as wide area image data.
  • the wide-area image Im3 shown in FIG. 6A includes an image of a person as a target. Detect as an area of interest IA.
  • the analysis unit 33 calculates the position of the region of interest IA in the wide-area image Im3 and transmits the position to the imaging range control unit 34 .
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (that is, the area of interest IA in the wide-area image Im3 as the detection result) in the same manner as in the usage state of the imaging apparatus 1 shown in FIGS. 4 and 5 described above.
  • a drive signal S3 is sent to the drive unit 16 according to the positional information) to move the second imaging element 15b in the XY plane direction as an example, thereby moving the center CC (see FIG. 3B) of the second imaging range CA2. , substantially coincide with the center position of the area of interest IA.
  • an image of the target corresponding to the area of interest IA is formed on the second imaging element 15b, and the imaging apparatus 1 captures a narrow-area image corresponding to the area of interest IA in the wide-area image Im3, which is shown in FIG. ) is captured.
  • the imaging range control unit 34 arranges the center CC of the second imaging range CA2 at a position separated from the center position of the area of interest IA by a predetermined distance. You may move the 2nd image sensor 15b so that it may be carried out. Note that the image data of the narrow-field image Im4 may be referred to as narrow-field image data.
  • the analysis unit 33 may detect the presence or absence of movement of the region of interest IA in the wide-area image Im3 in the same manner as in the use state of the imaging device 1 shown in FIGS. 4 and 5 described above.
  • the analysis unit 33 When the target (person, animal, etc.) to be imaged or recorded and the imaging device 1 move relative to each other (that is, when the positional relationship between the target and the imaging device 1 changes), the analysis unit 33 generates a wide-area image.
  • the movement direction and movement amount of the area of interest IA in Im3 may be calculated.
  • the analysis unit 33 transmits the moving direction and moving amount of the region of interest IA in the wide-area image Im3 thus calculated to the imaging range control unit 34 .
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (that is, the area of interest IA in the wide-area image Im3 as the detection result) in the same manner as in the usage state of the imaging apparatus 1 shown in FIGS. 4 and 5 described above.
  • a drive signal S3 is sent to the drive unit 16 in accordance with information about the movement direction and movement amount), and the second imaging device 15b is moved in a direction intersecting the optical axis AX0 so that the region of interest IA does not deviate from the second imaging range CA2.
  • a narrow-area image Im4 of the region of interest IA ie, a high-resolution image of at least a portion of the target
  • the analysis unit 33 executes the above-described tracking process in the same manner as the use state of the imaging device 1 shown in FIGS. Movement of the area of interest IA between a plurality of wide-area images Im3 may be detected (that is, presence or absence of movement of the area of interest IA may be detected, and the direction and amount of movement of the area of interest IA may be calculated). Note that the analysis unit 33 may detect the movement of the region of interest IA not only by existing tracking processing but also by other existing image processing.
  • the imaging range control unit 34 controls the area of interest IA to be included in the second imaging range CA2. 2 The position of the imaging element 15b can be moved.
  • the analyzing unit 33 calculates the wide-area image Im3 calculated by the above-described tracking processing based on the wide-area image data captured at different times in the same manner as the usage state of the imaging apparatus 1 illustrated in FIGS. 4 and 5 described above. Based on the moving direction and moving amount of the area of interest IA in , the moving direction and moving amount of the area of interest IA per predetermined time later may be predicted using existing deep learning.
  • the analysis unit 33 may transmit the moving direction and moving amount of the region of interest IA in the wide-area image Im3 predicted per predetermined time to the imaging range control unit 34 .
  • the movement direction and movement amount of the region of interest IA in the wide-area image Im3 predicted by the analysis unit 33 can be rephrased as the position of the region of interest IA in the wide-area image Im3.
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (that is, the area of interest IA in the wide-area image Im3 as the detection result) in the same manner as in the usage state of the imaging apparatus 1 shown in FIGS. 4 and 5 described above.
  • a drive signal S3 is sent to the drive unit 16 in accordance with prediction information about the movement direction and movement amount), and the second image sensor 15b is moved in a direction intersecting the optical axis AX0 so that the region of interest IA does not deviate from the second imaging range CA2. You can move it.
  • the imaging range control unit 34 controls the information signal from the analysis unit 33 (that is, the region of interest in the wide-area image Im3 as the detection result). Prediction information about the movement direction and movement amount of the IA) is received, and based on the information signal, the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1. You may move the 2nd image pick-up element 15b like this.
  • the analyzing unit 33 is not limited to the wide-area image data, and based on the narrow-area image data, performs the above-described tracking processing in the same manner as in the use state of the imaging apparatus 1 shown in FIGS. , detection of the presence or absence of movement of the region of interest IA in the narrow-area image Im4, and calculation of the movement direction and the amount of movement in the narrow-area image Im4.
  • the analysis unit 33 may transmit the movement direction and movement amount of the region of interest IA in the narrow-area image Im4 to the imaging range control unit 34.
  • the moving direction and moving amount of the region of interest IA in the narrow-area image Im4 calculated by the analysis unit 33 can be rephrased as the position of the region of interest IA in the narrow-area image Im4.
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (that is, the region of interest IA (information about the direction and amount of movement of the sensor), a driving signal S3 corresponding to the information signal is sent to the driving unit 16, and the second imaging device 15b is illuminated so that the region of interest IA does not deviate from the second imaging range CA2. It may be moved in a direction intersecting the axis AX0.
  • the analysis unit 33 calculates the narrow-area image data obtained by the above-described tracking process based on the narrow-area image data captured at different times. Based on the moving direction and moving amount of the area of interest IA in Im4, the moving direction and moving amount of the area of interest IA in the narrow-area image Im4 per predetermined time thereafter may be predicted by existing deep learning.
  • the analysis unit 33 may transmit the moving direction and moving amount of the region of interest IA per predetermined time after the prediction to the imaging range control unit 34 .
  • the movement direction and movement amount of the region of interest IA in the narrow-area image Im4 predicted by the analysis unit 33 can be rephrased as the position of the region of interest IA in the predicted narrow-area image Im4.
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (i.e., as a detection result, an interest Prediction information about the movement direction and movement amount of the area IA) is received, a drive signal S3 corresponding to the information signal is sent to the driving unit 16, and the second image pickup element is arranged so that the area of interest IA does not deviate from the second imaging range CA2. 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 receives an information signal from the analysis unit 33 (that is, prediction information regarding the movement direction and movement amount of the region of interest IA in the narrow-area image Im4 as a detection result), and responds to the information signal. Based on this, the second imaging device 15b may be moved so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the positional relationship between the target and the imaging device 1 changes.
  • the analysis unit 33 performs the above-described object detection processing based on changes in the positional relationship between the target and the imaging device 1. If the region of interest IA cannot be detected in , it may be determined that the region of interest IA is out of the second imaging range CA2.
  • the analysis unit 33 detects the presence or absence of the region of interest IA in the wide-area image Im3 by analyzing the wide-area image data at that time. Then, when the area of interest IA is detected, the analysis unit 33 may calculate the position of the area of interest IA in the wide-area image Im3.
  • the imaging range control unit 34 receives the information signal from the analysis unit 33 (that is, information about the position of the region of interest IA in the wide-area image Im3) in the same manner as in the usage state of the imaging apparatus 1 shown in FIGS.
  • the second imaging element 15b may be moved according to the information signal so that the area of interest IA is included in the second imaging range CA2.
  • the imaging range control unit 34 may search for the area of interest IA by moving the second imaging element 15b along a predetermined path in a direction intersecting the optical axis AX0. Then, the second imaging element 15b may be stopped at a position where the area of interest IA is included in the second imaging range CA2.
  • the imaging device 1 may perform at least one operation from A to F described above in the same manner as in the example shown in FIG. Further, the analysis unit 33 analyzes whether or not a person in the area of interest IA possesses a dangerous object such as a gun or a bomb, targeting dangerous objects such as guns and bombs, and determines whether or not a person in the area of interest IA possesses a dangerous object such as a gun or a bomb. If so, at least one of the operations A through F described above may be performed.
  • the positional relationship between the first image 14a and the first imaging element 15a and the second image 14b and the second imaging element 15b may be reversed. That is, the first image 14a may be an image formed by a light beam that passes through the split reflection surface 13a of the light splitting member 13 and travels substantially along the optical axis AX0.
  • the first imaging element 14a may be arranged at a position that substantially coincides with the first image 14a.
  • the luminous flux that passes through the split reflecting surface 13a of the light splitting member 13 and travels substantially along the optical axis AX0 can be said to be one of the luminous fluxes.
  • the second image 14b may be an image formed by a light flux that is reflected by the split reflecting surface 13a of the light splitting member 13 and travels substantially along the optical axis AX1.
  • a second imaging device 15b may be arranged at a position that substantially coincides with the second image 14b.
  • the second imaging element 15b is held by the holding section 17, and is held by the driving section 16 so as to be movable in the Y direction and the Z direction, which are directions intersecting the optical axis AX1, together with the holding section 17.
  • the luminous flux that is reflected by the split reflecting surface 13a of the light splitting member 13 and travels substantially along the optical axis AX1 can be said to be the other luminous flux.
  • the arrangement pitch (PXb, PYb) of the second pixels PEb of the second imaging element 15b is smaller than the arrangement pitch (PZa, PYa) of the first pixels PEa of the first imaging element 15a. , but not necessarily limited to this.
  • the arrangement pitch (PXb, PYb) of the second pixels PEb may be the same as the arrangement pitch (PZa, PYa) of the first pixels PEa of the first imaging element 15a. may be larger than the arrangement pitch (PZa, PYa) of the .
  • the area of the second effective area EA2 of the second imaging element 15b is smaller than the area of the first effective area EA1 of the first imaging element 15a, but this is not necessarily the case.
  • the area of the second effective area EA2 of the second imaging element 15b may be the same as the area of the first effective area EA1 of the first imaging element 15a, and is larger than the area of the first effective area EA1 of the first imaging element 15a. Small is fine.
  • control unit 30 does not necessarily have to be configured integrally with the imaging device 1 (or the imaging device 1A described later), and is arranged separately from the imaging device 1 (or the imaging device 1A described later). Also good. That is, the imaging device 1 (or an imaging device 1A described later) does not necessarily have to include the control section 30 .
  • the image pickup signals S1a and S1b, the control signals S2a and S2b, and the drive signal S3 may be transmitted between the image pickup apparatus 1 (or the image pickup apparatus 1A described later) and the control section 30 via, for example, a network line or wirelessly. good.
  • the imaging device 1 (or an imaging device 1A to be described later) includes an imaging control unit 31, an image generation unit 32, an analysis unit 33, an imaging range control unit 34, a storage unit 35, and a part of an interface unit 36 of the control unit 30. , and part of the others may be arranged separately from the imaging device 1 (or an imaging device 1A, which will be described later).
  • the control device that controls the object is the control unit 30 (or the imaging control unit 31, the image generation unit 32, the analysis part of the unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36).
  • the control device that controls the object is the function of the control unit 30 (or the functions of the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36). part of the function).
  • a control device that controls the moving body, the machine tool, or the optical processing machine is a control unit 30 ( Alternatively, part of the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36) may be included.
  • a control device that controls a moving object or a machine tool functions as the control unit 30 (or the imaging control unit 31, the image generation unit 32, the analysis unit 33, the imaging range control unit 34, the storage unit 35, and the interface unit 36 functions).
  • the imaging device 1 does not necessarily have the holding section 17 that holds the second imaging element 15b. It may be a configuration.
  • the imaging device 1 may include a re-imaging optical system (not shown) that re-forms the second image 14b.
  • a re-imaging optical system is arranged between the light splitting member 13 and the second imaging element 15b to refocus the second image 14b formed by the light flux split by the light splitting member 13 (the other light flux). You can image it. Then, a partial image of the re-formed second image 14b may be captured by the second imaging element 15b.
  • the second image sensor 15b may be arranged near the position where the second image 14b is re-formed by the re-imaging optical system.
  • the re-imaging optical system and the second imaging device 15b can be collectively referred to as a second imaging section.
  • the re-imaging optical system may be fixed to the housing 19 via a holding portion (not shown).
  • the re-imaging optical system may include at least one optical member.
  • the optical member included in the re-imaging optical system may include a lens.
  • the re-imaging optical system may include a plurality of lenses. In this case, each of the plurality of lenses may be a single lens, or may be a lens group consisting of a plurality of lenses.
  • the re-imaging optical system may include four lenses. Note that the re-imaging optical system may include four lens groups.
  • the imaging magnification of the re-imaging optical system may be an enlargement magnification, a unity magnification, or a reduction magnification. Further, the imaging magnification may be changed by moving at least a part of the lenses of the re-imaging optical system along the optical axis direction (for example, the optical axis AX0 direction) with a drive unit (not shown). In this case, the imaging magnification may be increased or decreased while maintaining the enlargement magnification, may be increased or decreased while maintaining the reduction magnification, or may be increased or decreased within the range from the enlargement magnification to the reduction magnification.
  • the imaging magnification of this re-imaging optical system is defined as an enlargement magnification
  • an image of the target that is magnified more than when there is no re-imaging optical system (that is, compared to 1:1) is picked up (more Acquire a narrow-field image of the magnified target).
  • at least part of the second image 14b magnified more than when there is no re-imaging optical system (that is, compared to 1:1) can be captured.
  • the positioning of the second imaging element 15b with respect to the second image 14b is greater than when there is no re-imaging optical system (that is, when compared to the same magnification). Resolution can be improved. Conversely, if the positioning resolution of the second image sensor 15b with respect to the second image 14b may be equivalent to the case where there is no re-imaging optical system (that is, the same magnification), the drive resolution of the drive unit 16 (drive unit 16 for positioning the second imaging element 15b can be lowered, an existing inexpensive drive mechanism can be used for the drive unit 16.
  • the second magnification through the imaging optical system 20 is It can be said that the positioning resolution of the range on the object side (target side) imaged by the imaging element 15b can be increased.
  • the image formation magnification of this re-imaging optical system is a reduction magnification
  • the image of the target in a wider range is picked up (a wider range It is possible to acquire a narrow-field image of the target at In this case, it can be said that a wider part of the second image 14b can be captured than when there is no re-imaging optical system (that is, compared to 1:1 magnification).
  • the second image pickup device 15b with respect to the second image 14b is larger than the case without the re-imaging optical system (that is, compared to the same magnification). Position can be changed faster. Conversely, if the displacement speed of the second image sensor 15b with respect to the second image 14b is equivalent to the case without the re-imaging optical system (i.e., the same magnification), the drive speed of the drive unit 16 (drive unit 16 of the second imaging element 15b can be reduced, an existing inexpensive driving mechanism can be used for the driving unit 16.
  • the second image pickup through the imaging optical system 20 is larger than when there is no re-imaging optical system (i.e., compared to 1:1 magnification). It can be said that the range on the object side (target side) imaged by the element 15b can be changed at a higher speed.
  • the imaging device 1 may have a distance measuring unit that measures the distance from the imaging device 1 to a target or the like.
  • the distance measurement unit may be a so-called LiDAR that measures the distance by irradiating a target or the like with light and measuring the time it takes for the light to return to the distance measurement unit.
  • the distance to the target may be roughly calculated based on the focus state of the target or the like.
  • the imaging device 1 can grasp the distance from the imaging device 1 to the target or the like. Also, the outline of the three-dimensional structure of the target or the like can be grasped.
  • the image pickup apparatus 1 of the first embodiment includes an imaging optical system 10, a light dividing member 13 that amplitude-divides light that has passed through at least a part of the imaging optical system 10, and a beam divided by the light dividing member 13.
  • first imaging section first imaging element 15a
  • second imaging element 15b second imaging element 15b
  • a driving unit 16 is provided to move the second imaging unit in a direction crossing the optical path of the other light flux.
  • the imaging device 1 forms two images, a first image 14a and a second image 14b, using one imaging optical system 10 .
  • a first imaging unit (15a) captures wide-area images Im1 and Im3 that may include the target from the first image 14a
  • a second imaging unit (15b) captures narrow-area images Im2 and Im4 that may include the target from the second image 14b.
  • the imaging range of the second image 14b captured by the second imaging element 15b can be moved at high speed.
  • the imaging field of view on the object side (target side) imaged by the second imaging element 15b can also be moved at high speed.
  • the first imaging section includes the first imaging element 15a that captures the first image 14a
  • the second imaging section includes the second imaging element 15b that captures a part of the second image 14b
  • the arrangement pitch (PXb, PYb) of the pixels (second pixels PEb) of the second imaging element 15b is smaller than the arrangement pitch (PZa, PYa) of the pixels (first pixels PEa) of the first imaging element 15a. may move the second imaging device 15b in a direction crossing the optical path of the other light flux.
  • the resolution of the narrow area images Im2 and Im4 captured by the second imaging element 15b can be made higher than the resolution of the wide area images Im1 and Im3 captured by the first imaging element 15a.
  • the maximum angle of view of the imaging optical system 10, that is, the maximum angle of view on the object side of the wide-area images Im1 and Im3 captured by the first imaging element 15a may be 170° or more.
  • the wide-area images Im1 and Im3 can simultaneously capture a wider range on the object side.
  • FIG. 7 is a diagram showing an overview of an imaging device 1A according to the second embodiment.
  • the imaging device 1A of the second embodiment has many configurations in common with the imaging device 1 of the first embodiment described above. Therefore, hereinafter, differences from the imaging apparatus 1 of the first embodiment will be mainly described, and common configurations will be denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging device 1A of the second embodiment re-forms at least a part of the second image 14b formed by the light flux passing through the light splitting member 13 and traveling along the optical axis AX0, thereby forming the third image 14c.
  • the imaging apparatus 1 of the first embodiment differs from the imaging apparatus 1 in that it has a re-imaging optical system 20 that forms a .
  • the second imaging element 15b is arranged near the third image 14c, not near the second image 14b.
  • the luminous flux that is reflected by the light splitting member 13 and travels substantially along the optical axis AX1 can be said to be one of the luminous fluxes.
  • the luminous flux that passes through the light splitting member 13 and travels substantially along the optical axis AX0 can be said to be the other luminous flux.
  • the re-imaging optical system 20 and the second imaging element 15b can also be called a second imaging unit.
  • the second image 14b is formed by a light beam (the other light beam) traveling substantially along the optical axis AX0. At least a portion of the third image 14c formed by being imaged is captured. That is, the second imaging section captures a part of the second image formed by the other light beam split by the light splitting member. Since at least part of the second image 14b is re-formed as the third image 14c by the re-imaging optical system 20, the second image 14b can also be said to be an intermediate image.
  • the second imaging section (re-imaging optical system 20 and second imaging element 15b) captures part of the second image 14b, part of the other light flux from the light splitting member 13 is the second It can also be said that the light enters the imaging unit.
  • the second imaging section has a light incident section 29 into which part of the other light beam is incident.
  • the light incident section 29 is at least part of the second imaging section.
  • the light incident portion 29 may be the surface of the lens 21a in the re-imaging optical system 20 on the light incident side (light splitting member 13 side).
  • the second imaging section can also be referred to as a light receiving section. It can also be said that the light receiving section receives part of the other light flux from the light splitting member 13 . In this case, it can be said that the light receiving section has a light incident section 29 into which part of the other light beam is incident. It can also be said that the light incident portion 29 is at least part of the light receiving portion.
  • the second imaging unit may include not only the re-imaging optical system 20 and the second imaging element 15b, but also other components.
  • the second imaging section includes a second driving section 28, movable support sections 24 and 25, and a first driving section 16a, which will be described later. and at least one of a second holding frame 17a and a second holding portion 17b described later.
  • the optical axis of the re-imaging optical system 20 is the optical axis AX2 shown in FIG.
  • the re-imaging optical system 20 includes, for example, a plurality of lenses 21a-21d arranged along the optical axis AX2.
  • a plurality of lenses 21a to 21d are held by a second holding frame 17a.
  • the second image pickup device 15b is held by a second holding portion 17b attached to the second holding frame 17a, and arranged so that its image pickup surface substantially coincides with the third image 14c.
  • the center of the second effective area EA2 of the second imaging element 15b substantially coincides with the optical axis AX2 of the re-imaging optical system 20.
  • the second holding frame 17a is held by the housing 19 via the first driving section 16a.
  • the first drive unit 16a includes, for example, a stator 23 fixed to the housing 19, and a mover 22 fixed to the second holding frame 17a and movable in the XY plane direction with respect to the stator 23, While holding the second holding frame 17a, it is moved with respect to the housing 19 in the XY plane direction. That is, the first driving section 16a moves the re-imaging optical system 20 and the second imaging element 15b (that is, the second imaging section) supported by the second holding frame 17a to the housing 19. It is moved in the XY plane direction with respect to the image optical system 10 .
  • the second image 14b is re-formed as the third image 14c and captured by the second image sensor 15b, i.e.
  • the above-described second imaging range CA2 changes.
  • the size of the second imaging range CA2 in the second image 14b is not necessarily the same as the size of the second effective area EA2 of the second imaging element 15b. It can be enlarged or reduced depending on the imaging magnification of .
  • the first drive section 16a may be a linear motor having a stator 23 and a mover 22, or may have a configuration having a stepping motor and a lead screw.
  • the first drive unit 16a may have a configuration including a stepping motor and a guide bar. That is, the second holding frame 17a can be set to the optical positional relationship between the re-imaging optical system 20 and the second imaging element 15b (for example, the relative positional relationship between the re-imaging optical system 20 and the second imaging element 15b). ) is not changed, the re-imaging optical system 20 and the second imaging element 15b (that is, the second imaging section) are supported and moved in the XY plane direction by the first driving section 16a.
  • the drive unit 16a may be capable of moving the second holding frame 17a (the re-imaging optical system 20 and the second imaging element 15b) in the X direction or the Y direction.
  • the drive unit 16a may be capable of moving the second holding frame 17a in any one direction on the XY plane.
  • the direction in which the second holding frame 17a is moved by the first drive unit 16a is not necessarily limited to the XY plane direction, but is a direction that intersects the Z direction, that is, intersects the optical axis AX0 of the imaging optical system 10. Any direction is fine.
  • the first driving section 16 a may move the re-imaging optical system 20 and the second imaging element 15 b in a direction intersecting the optical axis AX0 of the imaging optical system 10 .
  • the moving direction of the second holding frame 17a may be the rotating direction.
  • the first drive unit 16a moves the second holding frame 17a, that is, re-images, in a direction intersecting with the direction in which the other light flux traveling along the optical axis AX0 enters the second imaging element 15b. It can also be said that the optical system 20 and the second imaging element 15b (second imaging unit) are moved. It can also be said that the first drive unit 16a moves the second holding frame 17a in the in-plane direction of the image plane of the second image 14b.
  • the first driving section 16a has a configuration corresponding to the driving section 16 in the imaging device 1 of the first embodiment described above.
  • the second holding frame 17a and the second holding portion 17b have a configuration corresponding to the holding portion 17 in the imaging apparatus 1 of the first embodiment described above.
  • the second holding frame 17a may integrally hold the re-imaging optical system 20 and the second imaging device 15b. Further, the second holding frame 17a may be configured to be integrally formed, or may be configured by combining a plurality of components.
  • the lenses 21a to 21d forming the re-imaging optical system 20 are fixed to the second holding frame 17a.
  • the lens 21b is supported by a movable support portion 24 which is movably supported in the direction of the optical axis AX2 ( ⁇ Z directions as an example) with respect to the second holding frame 17a by a driving mechanism 26 such as a linear motor.
  • the lens 21c is supported by a movable support portion 25 which is movably supported in the direction of the optical axis AX2 ( ⁇ Z directions as an example) with respect to the second holding frame 17a by a drive mechanism 27 such as a linear motor.
  • the driving mechanisms 26 and 27 allow the lenses 21b and 21c to move in the direction of the optical axis AX2 with respect to the lenses 21a and 21d. It is sufficient that the lenses 21b and 21c can be moved in the direction of the optical axis AX2 with respect to the lenses 21a and 21d by the driving mechanisms 26 and 27. It may be possible to move in a direction tilted from the
  • the driving mechanisms 26 and 27 are not limited to mechanisms including the linear motors described above, and may be moving mechanisms having stepping motors and lead screws.
  • the lens 21b may be configured to be movable in both the +Z direction and the -Z direction by the drive mechanism 26, or may be configured to be movable in only one of the +Z direction and the -Z direction. good.
  • the lens 21c may be configured to be movable in both the +Z direction and the ⁇ Z direction by the driving mechanism 27, or may be configured to be movable in only one of the +Z direction and the ⁇ Z direction. good.
  • the drive mechanisms 26 and 27 are collectively or individually also referred to as a second drive section 28.
  • the second drive unit 28 drives the lenses 21b and 21c, the lenses 21b and 21c move in the Z direction, and the imaging magnification of the re-imaging optical system 20 (the third image 14c relative to the second image 14b)
  • the magnification, ie the third image 14c) changes.
  • each of the lenses 21a to 21d is shown as a single lens.
  • the number of lens groups constituting the re-imaging optical system 20 is not limited to four as shown in the figure, and may be any number of one or more.
  • the number of lens groups (or lenses) moved in the Z direction by the second drive unit 28 is the same as the two groups (lenses 21b and 21c) described above. , and may be any other number.
  • the imaging position of the third image 14c may be aligned with the imaging surface of the second imaging device 15b by moving some of the lenses 21b, 21c, etc. in the direction of the optical axis AX2 by the second driving unit 28.
  • a driving mechanism may be provided to move the lenses 21a, 21d, etc. in the direction of the optical axis AX2, which are different from the lenses 21b, 21c moved in the optical axis direction by the second driving unit 28.
  • This driving mechanism moves the third image 14c may be aligned with the imaging surface of the second imaging element 15b.
  • a drive mechanism for moving the second image pickup device 15b in the direction of the optical axis AX2 may be provided, and the drive mechanism may be used to match the imaging surface of the second image pickup device 15b with the imaging position of the third image 14c. .
  • the position of the center CC of the second imaging range CA2 in the second image 14b changes. Further, the size of the second imaging range CA2 changes due to the driving of the second driving section 28 . That is, the driving of the first driving unit 16a or the second driving unit 28 changes the imaging field of view on the object side (target side) imaged by the second imaging element 15b.
  • the imaging magnification of the re-imaging optical system 20 may be an enlargement magnification that enlarges at least a portion of the second image 14b to form the third image 14c, or may be an equal magnification or a reduction magnification. good.
  • the imaging magnification of the re-imaging optical system 20 may be increased or decreased while maintaining the enlargement magnification by moving some of the lenses 21b, 21c, etc., in the direction of the optical axis AX2 by the second driving unit 28, or the reduction magnification may be maintained. It may be increased or decreased, or may be increased or decreased within the range from the enlargement magnification to the reduction magnification.
  • the third image 14c will be an enlarged image of at least a part of the second image 14b, and will be captured by the second image sensor 15b.
  • the resolution of the narrow area image is further improved.
  • the re-imaging optical system 20 and the second imaging element 15b do not have to be integrally held by the second holding frame 17a.
  • the re-imaging optical system 20 may be held by the second holding frame 17a, and the second imaging device 15b may be held by a holding mechanism separate from the second holding frame 17a.
  • the first driving unit 16a does not change the optical positional relationship between the re-imaging optical system 20 and the second imaging element 15b (the relative positional relationship between the re-imaging optical system 20 and the second imaging element 15b).
  • the second holding frame 17a and another holding mechanism may be moved in a direction that intersects the optical axis AX0 (Z direction) of the imaging optical system . In this case, the second holding frame 17a and another holding mechanism move synchronously.
  • the imaging magnification of the re-imaging optical system 20 may be changed by a method other than moving the lenses 21b and 21c in the Z direction described above.
  • the imaging magnification of the re-imaging optical system 20 may be changed by providing a so-called liquid lens in the re-imaging optical system 20 and changing the voltage applied to the liquid lens.
  • the second driving section 28 serves as a voltage control section that controls the voltage applied to the liquid lens.
  • the imaging magnification of the re-imaging optical system 20 may be changed by inserting or removing a predetermined optical system in the re-imaging optical system 20 .
  • the second driving section 28 serves as an inserting/removing section for inserting/removing a predetermined optical system.
  • the optical system arranged on the optical path of the light from the imaging optical system 10 (that is, at least a part of the re-imaging optical system 20) is an optical system having a first magnification and a second optical system having different imaging magnifications. It may be configured to be interchangeable with an optical system of magnification.
  • the magnification of the third image 14c varies depending on whether the optical system arranged on the optical path of the light from the imaging optical system 10 is the optical system with the first magnification or the optical system with the second magnification. Change.
  • the second driving unit 28 switches the optical system arranged on the optical path of the light from the imaging optical system 10 between the optical system with the first magnification and the optical system with the second magnification. become the replacement part.
  • the imaging magnification of this optical system can be changed. Also good.
  • FIG. 8 is an enlarged view of a part of the imaging optical system 10 and the re-imaging optical system 20 of the imaging device 1A of the second embodiment.
  • the two light beams LB1 and LB2 shown in FIG. 8 come from mutually different portions on an object (or from mutually different objects), enter the imaging optical system 10, and enter one of the second images 14b. , and is incident on the re-imaging optical system 20 .
  • the area where the second image 14b is formed is also referred to as an image forming area.
  • the object (not shown) may be a target to be imaged or recorded.
  • the light beam LB1 travels from the imaging optical system 10 to the first point Q1 in the image forming area where the second image 14b is formed.
  • the light beam LB2 travels from the imaging optical system 10 to the second location Q2 in the image forming area.
  • the distance D1 from the optical axis AX0 of the imaging optical system 10 to the first point Q1 is different from the distance D2 from the optical axis AX0 of the imaging optical system 10 to the second point Q2.
  • a principal ray PR1 of the luminous flux LB1 is a ray passing through the center of the luminous flux LB1
  • a principal ray PR2 of the luminous flux LB2 is a ray passing through the center of the luminous flux LB2.
  • the re-imaging optical system 20 re-images at least a part of the second image 14b formed by the imaging optical system 10, and the second imaging is performed.
  • a third image 14c is formed on the element 15b.
  • the principal rays PR1, PR2, etc. of the respective light beams (light beams LB1, LB2, etc.) imaged by the imaging optical system 10 are substantially parallel to the optical axis AX0. incident on the imaging area.
  • the imaging optical system 10 is so-called telecentric on the image forming area (second image 14b) side.
  • the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) incident on the image forming area with respect to the optical axis AX0 may be, for example, within 1°.
  • the angle with respect to the optical axis AX0 of the principal ray PR1 of the light beam LB1 directed from the imaging optical system 10 to the first point Q1 of the image forming area and the light beam heading from the imaging optical system 10 to the second point Q2 of the image forming area It can be said that the difference between the angle of the principal ray PR2 of LB2 and the optical axis AX0 is within 1°.
  • the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) incident on the image forming area with respect to the optical axis AX0 may be within 0.5°, It may be within 0.3°.
  • the difference between the angle of the principal ray PR2 of LB2 and the optical axis AX0 may be within 0.5° or within 0.3°.
  • the angle of the traveling directions of the principal rays of all the light beams incident on the image forming area with respect to the optical axis AX0 may be within 0.5° or within 0.3°.
  • the angle of the traveling directions of two principal rays incident on different positions in the light flux incident on the image forming area with respect to the optical axis AX0 may be within 0.5°, or within 0.3°. It can be. These conditions may be satisfied for at least one light beam incident on the image forming area.
  • the principal rays (principal rays PR1, PR2, etc.) of the light beams (light beams LB1, LB2, etc.) entering the re-imaging optical system 20 via the image forming area (second image 14b) are also The light travels substantially parallel to the optical axis AX2 and enters the re-imaging optical system 20 . Therefore, even if the re-imaging optical system 20 is moved in a direction orthogonal to the optical axis AX0 of the imaging optical system 10 (in the XY plane) by the first driving unit 16a, the re-imaging optical system The incident angles of the light beams (light beams LB1, LB2, etc.) incident on 20 hardly change.
  • the re-imaging optical system 20 maintains good imaging performance and a high-resolution third image. 14c can be imaged by the second imaging device 15b.
  • an aperture stop 10S may be provided at a predetermined position.
  • the second image 14b side image forming area side
  • the aperture stop 10S may be provided at a predetermined position.
  • the aperture stop 10S may be arranged in the imaging optical system 10.
  • the re-imaging optical system 20 can be moved in the XY plane direction. A change in the incident angle of the incident light beams (light beams LB1, LB2, etc.) to the optical system 20 can be prevented.
  • an aperture stop (not shown) is provided inside the re-imaging optical system 20, and the principal rays PR1, PR1, and PR1 of the light beams (light beams LB1, LB2, etc.) passing through the re-imaging optical system 20 are formed by this aperture stop.
  • PR2 and the like may be set so as to advance substantially parallel to the optical axis AX2 of the re-imaging optical system 20.
  • FIG. instead of the aperture diaphragm, the effective diameters of the lenses 21a to 21d constituting the reimaging optical system 20 may be limited to a predetermined system, and the reimaging optical system 20 may be telecentric as described above.
  • the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) entering the re-imaging optical system 20 from the image forming area (second image 14b) with respect to the optical axis AX2 is an example. However, it may be within 1°.
  • the angle of the principal ray PR1 of the light beam LB1 directed from the first point Q1 of the image forming area to the re-imaging optical system 20 with respect to the optical axis AX2 and the angle from the second point Q2 of the image forming area to the re-imaging optical system 20 It can be said that the difference between the angle of the principal ray PR2 of the luminous flux LB2 directed toward the optical axis AX2 and the angle thereof is within 1°.
  • the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) entering the re-imaging optical system 20 from the image forming area with respect to the optical axis AX2 is 0.5°. It may be within 0.3° or within 0.3°.
  • the angle of the principal ray PR1 of the light beam LB1 directed from the first point Q1 of the image forming area to the re-imaging optical system 20 with respect to the optical axis AX2 and the angle from the second point Q2 of the image forming area to the re-imaging optical system 20 may be within 0.5° or within 0.3°.
  • the angle of the direction of travel of the principal rays of all the light beams incident on the re-imaging optical system 20 from the image forming area with respect to the optical axis AX2 may be within 0.5° or within 0.3°. It can be. Further, the angle of the direction of travel of two principal rays from mutually different positions among the light beams incident on the re-imaging optical system 20 from the image forming area with respect to the optical axis AX2 may be within 0.5°, It may be within 0.3°. These conditions may be satisfied for at least one light beam entering the re-imaging optical system 20 from the image forming area.
  • Both the imaging optical system 10 and the re-imaging optical system 20 may be telecentric on the second image 14b side (image forming area side).
  • the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) incident on the image forming region (second image 14b) from the imaging optical system 10 with respect to the optical axis AX0 and the angle of the traveling direction of the principal ray (principal ray PR1, PR2, etc.) of the luminous flux (luminous flux LB1, LB2, etc.) incident on the re-imaging optical system 20 from the image forming area (second image 14b) with respect to the optical axis AX2 may be within 1°, for example.
  • the optical axis AX0 of the imaging optical system 10 and the optical axis AX2 of the re-imaging optical system 20 in the image forming area may be substantially parallel. Note that the optical axis AX0 of the entire imaging optical system 10 and the optical axis AX2 of the entire re-imaging optical system 20 may be substantially parallel, not limited to the image forming area.
  • Both the imaging optical system 10 and the re-imaging optical system 20 need not be telecentric on the side of the second image 14b. If either the imaging optical system 10 or the re-imaging optical system 20 is telecentric on the side of the second image 14b, the other passes through one optical system and the second imaging range CA2 of the second image 14b. Any optical system (or bright optical system) that allows the light beams (light beams LB1, LB2, etc.) to pass through without being blocked, that is, has a large numerical aperture (or a bright optical system) may be used.
  • the imaging device 1A of the second embodiment may also be used for the same purposes as the imaging device 1 of the first embodiment described above.
  • the configuration and functions of the control unit 30 of the imaging device 1A of the second embodiment are substantially the same as the configuration and functions of the control unit 30 of the imaging device 1 of the first embodiment described above.
  • the imaging range control unit 34 controls not only the position of the second imaging unit (the second imaging element 15b and the re-imaging optical system 20, etc.) in the direction intersecting the optical axis AX0, but also the position of the re-imaging optical system 20.
  • the imaging magnification may also be controlled.
  • the analysis unit 33 of the control unit 30 performs information on the target that may be included in wide-area image data corresponding to the wide-area images Im1 and Im3 captured by the first imaging element 15a, or information on the second imaging.
  • Target information that can be included in the narrow-range image data corresponding to the narrow-range images Im2 and Im4 captured by the element 15b is analyzed.
  • the analysis unit 33 corresponds to target information that can be included in wide-area image data corresponding to the wide-area images Im1 and Im3 captured by the first image sensor 15a and narrow-area images Im2 and Im4 captured by the second image sensor 15b.
  • Target information that may be included in the narrow-area image data obtained from the target may be analyzed.
  • the analysis unit 33 detects the presence or absence of the region of interest IA in the above-described images (that is, at least one of the wide-area images Im1 and Im3 and the narrow-area images Im2 and Im4), Calculation of the position of the region of interest IA in the image, and calculation of the direction and amount of movement of the region of interest IA in the image accompanying changes in the positional relationship between the imaging device 1A and the target (that is, the positional relationship between the imaging device 1A and the target changes Calculation of the position of the region of interest IA in the image after being processed), and at least one process of detecting facial expressions or gestures or hand gestures / Calculation of the size of the region of interest IA in the image and imaging device 1A Calculation of the amount of change in the size (size) of the region of interest IA in the image due to the change in the positional relationship between the imaging device 1A and the target (that is, the size of the region of interest IA in the image after the change in
  • the analysis unit 33 may perform the above-described object detection processing on the wide-area image data to detect the area of interest IA, and calculate the size of the area of interest IA in the wide-area images Im1 and Im3. The analysis unit 33 may then transmit the size of the region of interest IA in the wide-area images Im1 and Im3 to the imaging range control unit 34 . Note that the size of the region of interest IA in the images (wide-area images Im1 and Im3 and narrow-area images Im2 and Im4) can be calculated by a known method, so description of the calculation method is omitted.
  • detection of the region of interest IA by the analysis unit 33 can also be said to mean that the analysis unit 33 recognizes the region of interest IA.
  • the calculation of the size of the region of interest IA in the wide-area images Im1 and Im3 by the analysis unit 33 can be said to be the analysis unit 33 recognizing the size of the region of interest IA.
  • the imaging range control unit 34 sends a drive signal to the second drive unit 28 according to the information signal from the analysis unit 33 (that is, the information regarding the size of the region of interest IA in the wide-area images Im1 and Im3 as the detection result).
  • S4 may be sent to change the magnification of the re-imaging optical system 20, that is, the magnification of the third image 14c (the size of the region of interest IA in the narrow-area images Im2 and Im4).
  • the imaging range control section 34 may move the lenses 21b and 21c in the Z direction by driving the drive mechanisms 26 and 27 of the second drive section 28 to change the magnification of the re-imaging optical system 20.
  • changing the magnification of the re-imaging optical system 20 (that is, changing the magnification of the third image 14c) can be rephrased as changing the size of the region of interest IA in the narrow-area images Im2 and Im4. .
  • the analysis unit 33 calculates the position of the area of interest IA in the wide-area images Im1 and Im3 in the same manner as in the first embodiment. may Then, the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or based on the above-described detection result (information on the position of the region of interest IA in the wide-area images Im1 and Im3) by the analysis unit 33.
  • the driving signal S3 is sent to the first driving unit 16a, and the re-imaging optical system 20 and the second imaging device 15b (that is, the second imaging unit) intersect the optical axis AX0. You can move it in any direction.
  • the imaging range control unit 34 moves the re-imaging optical system 20 and the second imaging element 15b (second imaging unit) by the first driving unit 16a and At least one of changing the magnification of the reimaging optical system 20 may be performed.
  • the imaging range control unit 34 sends a driving signal S3 to the first driving unit 16a.
  • the driving signal S4 may be sent to the second driving section 28 to move the positions of the re-imaging optical system 20 and the second imaging element 15b, while moving the positions of the lenses 21b and 21c.
  • At least part of the period during which the positions of the re-imaging optical system 20 and the second imaging element 15b are moved overlaps with at least part of the period during which the positions of the lenses 21b and 21c are moved. Note that the entire period during which the positions of the re-imaging optical system 20 and the second imaging element 15b are moved and the entire period during which the positions of the lenses 21b and 21c are moved need not completely overlap.
  • the imaging range control unit 34 according to the information signal from the analysis unit 33 (that is, the information regarding the size of the region of interest IA in the wide-area images Im1 and Im3 as the detection result), The magnification of the re-imaging optical system 20 may be changed so that the area of interest IA is included in the second imaging range CA2.
  • the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or based on the above detection result (information on the position of the region of interest IA in the wide-area images Im1 and Im3) by the analysis unit 33.
  • the re-imaging optical system 20 and the second imaging element 15b may be moved in a direction intersecting the optical axis AX0 so that the area of interest IA is included in the second imaging range CA2.
  • the imaging range control unit 34 controls the re-imaging optical system 20 and the second imaging element 15b (the second imaging element 15b) by the first driving unit 16a so that the region of interest IA is included in the second imaging range CA2. 2 imaging unit) and changing the magnification of the re-imaging optical system 20 by the second driving unit 28 may be executed.
  • the imaging range control unit 34 performs the above-described , so that the area of interest IA is included in the second imaging range CA2. Movement may be performed.
  • the analysis unit 33 detects a change in the size of the region of interest IA in the wide-area images Im1 and Im3 (that is, a change in the size of at least a part of the image of the target). You may detect the presence or absence of. For example, the analysis unit 33 detects a change in the size of the region of interest IA between a plurality of wide-area images Im1 and Im3 captured by the first imaging element 15a at different times by executing the tracking process described above. , the amount of change in the size of the region of interest IA may be calculated.
  • the analysis unit 33 determines the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 (that is, size of the area of interest IA) may be calculated.
  • the analysis unit 33 transmits the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 to the imaging range control unit 34 .
  • the calculation of the amount of change in the size of the area of interest IA by the analysis unit 33 can be translated into the detection of the amount of change in the size of the area of interest IA by the analysis unit 33 .
  • the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 calculated by the analysis unit 33 is the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 after the positional relationship between the imaging device 1A and the target has changed. It can be translated as size.
  • the imaging range control unit 34 sends a drive signal S4 to the drive unit 28 according to the information signal from the analysis unit 33 (that is, the information regarding the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 as the detection result). may be sent to change the magnification of the re-imaging optical system 20 so that the area of interest IA does not deviate from the second imaging range CA2.
  • the magnification of reimaging optics 20 may be changed to offset the change in size.
  • the imaging range control section 34 may reduce the magnification of the re-imaging optical system 20 .
  • the imaging range control section 34 may increase the imaging magnification of the re-imaging optical system 20 . In this case, even if the distance between the target and the imaging device 1A changes, the imaging device 1A can continue to image the region of interest IA with a substantially constant size with respect to the second imaging range CA2.
  • the analysis unit 33 calculates the moving direction and movement of the area of interest IA in the wide-area images Im1 and Im3 as in the first embodiment. amount may be calculated.
  • the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or the re-imaging optical system 20 and the second imaging so that the area of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 controls the re-imaging optical system 20 and the second imaging element 15b (the second imaging element 15b) by the first driving unit 16a so that the region of interest IA does not deviate from the second imaging range CA2. 2 imaging unit) and changing the magnification of the re-imaging optical system 20 by the second driving unit 28 may be executed.
  • the analysis unit 33 uses the existing deep learning based on the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3, which is calculated by the tracking process described above based on the wide-area image data captured at different times. may be used to predict (calculate) the amount of change in the size of the region of interest IA per predetermined time thereafter.
  • the amount of change in the size of the region of interest IA predicted by the analysis unit 33 can be rephrased as the amount of change in the size of the region of interest IA that the analysis unit 33 will detect in the future.
  • the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 predicted by the analysis unit 33 can be rephrased as the size of the region of interest IA in the future wide-area images Im1 and Im3.
  • the imaging range control unit 34 adjusts the region of interest IA to the second position according to the information signal from the analysis unit 33 (that is, the prediction information regarding the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 as the detection result).
  • the magnification of the re-imaging optical system 20 may be changed so as not to deviate from the imaging range CA2.
  • the analysis unit 33 predicts the movement direction and movement of the area of interest IA in the wide-area images Im1 and Im3 as in the first embodiment. amount can be predicted.
  • the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or the re-imaging optical system 20 and the second imaging so that the area of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 performs imaging with the target according to the information signal from the analysis unit 33 (that is, prediction information regarding the amount of change in the size of the region of interest IA in the wide-area images Im1 and Im3 as the detection result).
  • the magnification of the re-imaging optical system 20 may be changed so that the size of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship of the apparatus 1A.
  • the imaging range control unit 34 performs re-imaging so that the size of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1A.
  • a change in the magnification of the optical system 20 may be performed.
  • the analysis unit 33 may predict the direction and amount of movement of the region of interest IA in the wide-area images Im1 and Im3, as in the first embodiment.
  • the imaging range control unit 34 controls the target and the imaging device 1A according to the information signal from the analysis unit 33 (that is, prediction information regarding the direction and amount of movement of the region of interest IA in the wide-area images Im1 and Im3 as detection results). Even if the re-imaging optical system 20 and the second imaging device 15b are moved in a direction intersecting the optical axis AX0 so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship of good.
  • the imaging range control unit 34 controls the re-imaging optical system so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1A.
  • a movement of the system 20 and the second imaging element 15b may be performed.
  • the analysis unit 33 is not limited to the wide-area image data, and analyzes the narrow-area image data (that is, the image data of the narrow-area images Im2 and Im4) using the above-described object detection processing to generate the narrow-area images Im2, The size of the area of interest IA in Im4 may be calculated.
  • the imaging range control unit 34 adjusts the magnification of the re-imaging optical system 20 according to the information signal from the analysis unit 33 (that is, the information regarding the position of the region of interest IA in the narrow-area images Im2 and Im4 as the detection result). You can change it.
  • the analysis unit 33 calculates the position of the region of interest IA in the narrow-area images Im2 and Im4 in the same manner as in the first embodiment. good too.
  • the imaging range control unit 34 may move the re-imaging optical system 20 and the second imaging device 15b in a direction intersecting the optical axis AX0. good.
  • the imaging range control unit 34 moves the re-imaging optical system 20 and the second imaging element 15b by the first driving unit 16a and the re-imaging optical system 20 by the second driving unit 28 based on the narrow-area image data. at least one of changing the magnification of
  • the analysis unit 33 may calculate the amount of change in the size of the region of interest IA in the narrow-area images Im2 and Im4 using the tracking process described above. .
  • the amount of change in the size of the region of interest IA in the wide-area images Im2 and Im4 calculated by the analysis unit 33 is the amount of change in the size of the region of interest IA in the wide-area images Im2 and Im4 after the positional relationship between the imaging device 1A and the target has changed. It can be translated as size.
  • the imaging range control unit 34 adjusts the area of interest IA to the second position according to the information signal from the analysis unit 33 (that is, information regarding the amount of change in the size of the area of interest IA in the narrow-area images Im2 and Im4 as the detection result).
  • the magnification of the re-imaging optical system 20 may be changed so as not to deviate from the imaging range CA2.
  • the imaging range control unit 34 detects the area of interest IA according to the information signal from the analysis unit 33 (that is, information regarding the amount of change in the size of the area of interest IA in the narrow-area images Im2 and Im4 as the detection result).
  • the magnification of the reimaging optics 20 may be changed to offset the change in magnitude. For example, when the area of interest IA becomes large, the imaging range control section 34 may reduce the magnification of the re-imaging optical system 20 . On the other hand, when the area of interest IA becomes smaller, the imaging range control section 34 may increase the imaging magnification of the re-imaging optical system 20 .
  • the analysis unit 33 calculates the movement direction of the region of interest IA in the narrow-area images Im2 and Im4 as in the first embodiment. and the amount of movement may be calculated.
  • the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or the re-imaging optical system 20 and the second imaging so that the area of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 controls the re-imaging optical system 20 and the second imaging device 15b by the first driving unit 16a so that the region of interest IA does not deviate from the second imaging range CA2. At least one of the movement and the change of the magnification of the reimaging optical system 20 by the second driving section 28 may be executed.
  • the analysis unit 33 based on the amount of change in the size of the region of interest IA in the narrow-area images Im2 and Im4, calculated by the above-described tracking processing based on the narrow-area image data captured at different times, determines the existing Deep learning may be used to predict the amount of change in the size of the area of interest IA per predetermined time in the future.
  • the amount of change in the size of the region of interest IA in the narrow-area images Im2 and Im4 predicted by the analysis unit 33 can be rephrased as the size of the region of interest IA in the future narrow-area images Im2 and Im4.
  • the imaging range control unit 34 adjusts the area of interest IA according to the information signal from the analysis unit 33 (that is, the prediction information regarding the amount of change in the size of the area of interest IA in the narrow-area images Im2 and Im4 as the detection result). 2
  • the magnification of the re-imaging optical system 20 may be changed so as not to deviate from the imaging range CA2.
  • the analysis unit 33 predicts the movement direction of the region of interest IA in the narrow-area images Im2 and Im4 as in the first embodiment. and the amount of movement may be predicted.
  • the imaging range control unit 34 changes the magnification of the re-imaging optical system 20 and/or the re-imaging optical system 20 and the second imaging so that the area of interest IA does not deviate from the second imaging range CA2.
  • the element 15b may be moved in a direction intersecting the optical axis AX0.
  • the imaging range control unit 34 according to the information signal from the analysis unit 33 (that is, the prediction information regarding the amount of change in the size of the region of interest IA in the narrow-area images Im2 and Im4 as the detection result), the target and The magnification of the re-imaging optical system 20 may be changed so that the size of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship of the imaging device 1A.
  • the imaging range control unit 34 refocuses so that the size of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1A.
  • a change in the magnification of the imaging optical system 20 may be performed.
  • the analysis unit 33 may predict the direction and amount of movement of the region of interest IA in the narrow-area images Im2 and Im4, as in the first embodiment.
  • the imaging range control unit 34 controls the target and the imaging device 1A according to the information signal from the analysis unit 33 (that is, prediction information regarding the movement direction and movement amount of the region of interest IA in the wide-area images Im2 and Im4 as detection results). Even if the re-imaging optical system 20 and the second imaging device 15b are moved in a direction intersecting the optical axis AX0 so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship of good.
  • the imaging range control unit 34 performs re-imaging so that the position of the region of interest IA in the second imaging range CA2 does not substantially change before and after the change in the positional relationship between the target and the imaging device 1A. Movement of the optical system 20 and the second imaging element 15b may be performed.
  • the analysis unit 33 it may be determined that the region of interest IA is out of the second imaging range CA2.
  • the analysis unit 33 analyzes the wide-area image data at that time to determine the size and position of the area of interest IA in the wide-area images Im1 and Im3. At least one of them may be calculated.
  • the imaging range control unit 34 adjusts the area of interest IA to the second imaging range CA2 according to the information signal from the analysis unit 33 (that is, information regarding at least one of the size and position of the area of interest IA in the wide-area images Im1 and Im3). at least one of changing the magnification of the re-imaging optical system 20 and moving the re-imaging optical system 20 and the second imaging element 15b in a direction intersecting the optical axis AX0 as included in .
  • the imaging range control unit 34 controls the reimaging optical system so that the area of interest IA is included in the second imaging range CA2 based on the wide-area image data. 20 and the second imaging device 15b and/or changing the magnification of the re-imaging optical system 20 may be executed.
  • the imaging range control section 34 may reduce the magnification of the re-imaging optical system 20 .
  • the magnification of the re-imaging optical system 20 By lowering the magnification of the re-imaging optical system 20, the field of view on the object side corresponding to the second imaging range CA2 is widened, so the target search range can be widened (that is, the size of the area of interest IA can be reduced). be able to).
  • the analysis unit 33 may detect that the region of interest IA is included in the second imaging range CA2 through the object detection process described above. That is, when the area of interest IA is out of the second imaging range CA2, the imaging range control unit 34 reduces the magnification of the re-imaging optical system 20 so that the area of interest IA is included in the second imaging range CA2. good too.
  • the imaging range control unit 34 may search for the area of interest IA by moving the re-imaging optical system 20 and the second imaging device 15b along a predetermined path in a direction intersecting the optical axis AX0. Then, the second imaging element 15b may be stopped at a position where the area of interest IA is included in the second imaging range CA2.
  • the imaging range control unit 34 controls the re-imaging optical system 20 by the first driving unit 16a so that the area of interest IA is included in the second imaging range CA2. and at least one of the movement of the second imaging element 15b and the change of the magnification of the re-imaging optical system 20 by the second driving section 28 may be executed.
  • the imaging range control unit 34 detects the region of interest IA (that is, the image of the target) again.
  • the imaging magnification of the re-imaging optical system 20 may be lowered while moving the second imaging element 15b.
  • the analysis unit 33 detects the above-described predetermined expression or action of a person or the like as a target included in the wide-area images Im1, Im3 or the narrow-area images Im2, Im4 based on the wide-area image data or the narrow-area image data.
  • one or more of the following operations G may be performed.
  • the analysis unit 33 may terminate those operations after a predetermined period of time has elapsed.
  • the imaging range control unit 34 does not depend on the target information analyzed by the analysis unit 33, but based on a signal input from an operation unit (not shown) through the interface unit 36, and sends a drive signal to the second drive unit 28.
  • S4 may be sent to move the lenses 21b and 21c.
  • the imaging range control unit 34 sends a driving signal S3 to the first driving unit 16a based on a signal input from an operation unit (not shown) via the interface unit 36, and controls the imaging optical system 20 and the second imaging unit.
  • the element 15b may be moved.
  • the drive signal S4 may be sent to the second drive section 28 while the drive signal S3 is sent to the first drive section 16a.
  • the operator operates an operation unit (not shown) to capture at least one of a signal related to a change in the central position of the field of view and a signal related to a change in the magnification of the imaging magnification 20 through the interface unit 36. It may be input to the range control section 34 .
  • the positional relationship between the first image 14a and the first imaging element 15a and the second image 14b, the re-imaging optical system 20 and the second imaging element 15b is reversed. It can be.
  • the first image 14a may be an image formed by a light flux that passes through the split reflection surface 13a of the light splitting member 13 and travels approximately along the optical axis AX0.
  • the first imaging element 14a may be arranged at a position that substantially coincides with the first image 14a.
  • the luminous flux that passes through the divided reflecting surface 13a and travels substantially along the optical axis AX0 can be said to be one of the luminous fluxes.
  • the second image 14b is an image formed by a light beam reflected by the split reflecting surface 13a of the light splitting member 13 and traveling approximately along the optical axis AX1. It may be reimaged by a reimaging optical system 20 having a parallel optical axis AX2.
  • the second imaging element 15b may be arranged at a position substantially matching the third image 14c re-imaged by the re-imaging optical system 20.
  • FIG. the luminous flux that is reflected by the split reflecting surface 13a of the light splitting member 13 and travels substantially along the optical axis AX1 can be said to be the other luminous flux.
  • the second imaging section including the re-imaging optical system 20 and the second imaging element 15b is held by the second holding frame 17a, and is moved along the optical axis AX1 by the first driving section 16a together with the second holding frame 17a.
  • the first driving section 16a may be held movably in the Y and Z directions, which are directions intersecting the .
  • the first driving unit 16a may move the re-imaging optical system 20 and the second imaging device 15b in a direction intersecting the optical axis AX1, not limited to the Y direction and the Z direction.
  • the first driving unit 16a rotates in a direction (at least one of the Y direction and the Z direction as an example) that intersects the optical axis AX1 that is substantially parallel to the X direction of the imaging optical system 10 on the side of the second imaging element 15b.
  • the imaging optical system 20 and the second imaging element 15b may be moved.
  • the first driving unit 16a may move the re-imaging optical system 20 and the second imaging device 15b in a direction that crosses the optical path of the other light beam.
  • the second driving section 28 may move the lens 21b and the lens 21c along the optical axis AX1 substantially parallel to the X direction.
  • the re-imaging optical system 20 is not limited to the above-described optical system with variable imaging magnification, and may be an optical system with a fixed imaging magnification.
  • the imaging magnification may be an enlargement magnification, a unity magnification, or a reduction magnification.
  • the third image 14c will be an enlarged image of at least a part of the second image 14b. The resolution of the narrow-area image captured by the imaging device 15b is further improved.
  • the magnification of the first image 15a formed on the first imaging element 15a is the magnification of the third image 14c formed on the second imaging element 15b.
  • the wide-area image may be captured by the re-imaging optical system 20 and the second image sensor 15b, and the narrow-area image may be captured by the first image sensor 15a. You may move it in the crossing direction. At least one of the imaging optical system 10 and the re-imaging optical system 20 may not be telecentric on the side of the second image 14b.
  • the image pickup apparatus 1A of the second embodiment is a re-imaging optical system in which the second image pickup section re-forms a portion of the second image 14b at a predetermined magnification in the image pickup apparatus 1 of the first embodiment. 20, and an imaging device (second imaging device 15b) for capturing a partial image of the second image (third image 14c) re-imaged by the re-imaging optical system 20.
  • the driving unit first driving unit 16a
  • the imaging device 1A further enhances the narrow-range images (Im2, Im4) captured by the second imaging element 15b by the re-imaging optical system 20. A high-resolution image can be obtained.
  • the re-imaging optical system 20 may be variable in magnification.
  • the field of view on the object side of the narrow-field images (Im2, Im4) captured by the second imaging device 15b can be optimized.
  • the re-imaging optical system 20 may be telecentric on the side of the second image 14b. In this case, even if the re-imaging optical system 20 moves in a direction intersecting the optical axis AX0 of the imaging optical system 10, the light beams (light beams LB1, LB2, etc.) incident on the re-imaging optical system 20 The incident angle hardly changes. Therefore, the re-imaging optical system 20 can maintain good imaging performance and form a high-resolution third image 14c on the second imaging element 15b.
  • the arrangement pitches PXb and PYb of the pixels PEb of the second imaging element 15b included in the second imaging section are smaller than the arrangement pitches PZa and PYa of the pixels PEa of the first imaging element 15a included in the first imaging section.
  • the narrow-field images (Im2, Im4) captured by the second imaging element 15b can be made into images with higher resolution.
  • the area of the area (first effective area EA1) in which the pixels PEa of the first imaging element 15a included in the first imaging section are arranged is the area of the pixels PEb of the second imaging element 15b included in the second imaging section. may be larger than the area of the area (second effective area EA2) in which are arranged. In this case, the field of view on the object side of (Im1, Im3) of the wide-area image captured by the first imaging element 15a can be made wider.
  • the imaging device 1 of the first embodiment and the imaging device 1A of the second embodiment described above are used in nursery schools, schools, medical facilities, nursing care facilities, meeting rooms, stores, etc. for purposes such as monitoring, watching over, and searching. , stations, parks, vending machines, streetlights, utility poles, prisons, military installations, borders, roads, parks, etc.
  • the imaging devices 1 and 1A When the imaging devices 1 and 1A are installed in a nursery school, the imaging devices 1 and 1A may target, for example, a part of a child's body.
  • they are referred to as imaging devices 1 and 1A.
  • the imaging devices 1 and 1A when the imaging devices 1 and 1A are installed in a nursing care facility, the imaging devices 1 and 1A may target, for example, the face or part of the body of the person requiring care.
  • the imaging devices 1 and 1A When the imaging devices 1 and 1A are installed in a conference room, for example, the faces of attendees of the conference may be targeted. In this case, it can also be used as a video conference system with a remote location.
  • the imaging devices 1 and 1A may target people passing by.
  • the imaging devices 1 and 1A may detect the characteristics of a passing person based on at least one of the narrow-area image data and the wide-area image data by the above-described object detection processing or other existing image processing. good.
  • the imaging devices 1 and 1A based on image data of at least one of the narrow-area image data and the wide-area image data, determine the sex, age, body type (height, weight, etc.), race, hairstyle, clothing, etc. of the passing person. At least one of moving speed, moving direction, etc. may be detected. In this case, the characteristics of the detected passing person can be used for market research and the like.
  • the imaging devices 1 and 1A may detect the characteristics of a moving object such as a passing vehicle, not limited to a passing person.
  • the imaging devices 1 and 1A may detect at least one of the vehicle type, color, moving speed, and moving direction of passing vehicles.
  • the imaging devices 1 and 1A do not need to be fixedly installed indoors or outdoors, and may be installed in moving bodies such as vehicles, ships, and aircraft (for example, drones).
  • an object being searched for example, a person, an animal, a vehicle, a ship, an aircraft, etc.
  • an object being searched for example, a person, an animal, a vehicle, a ship, an aircraft, etc.
  • an attack-type unmanned aerial vehicle for example, an attack-type drone
  • an object to be attacked for example, a person, a vehicle, a ship, an aircraft, a building, etc.
  • the imaging device 1, 1A or the imaging system 2, 2A which is capable of wide-angle and telephoto imaging with a single unit, is smaller and lighter than the two cameras, and is therefore suitable for mounting on an unmanned aerial vehicle or the like.
  • the imaging target of the imaging devices 1 and 1A may be an industrial machine such as a machine tool.
  • the imaging devices 1 and 1A analyze whether or not the industrial machine is operating normally based on at least one of the captured narrow-area image data and wide-area image data. Then, when an abnormality is recognized in the shape or operation of the industrial machine, the imaging device 1 or 1A takes measures such as transmitting the image data of the portion related to the abnormality to an external device.
  • the imaging devices 1 and 1A may be installed inside the processing chamber of the machine tool (the space in which the workpiece is processed by the processing tool).
  • the target may be an area including at least a portion of the machining tool to which the spindle is attached, the workpiece placed on the stage, and the machining point of the workpiece by the machining tool.
  • the imaging devices 1 and 1A measure the distance between the processing tool and the workpiece, the processing tool Length (amount of wear), shape of processing tool, damage (breakage) of processing tool, protrusion amount of processing tool, shape of workpiece, positional deviation of workpiece (relative to stage reference position), shape of chips, chips and at least one of the amount of cutting fluid applied to the machined portion.
  • the imaging devices 1 and 1A may be installed on at least one of the wall surface of the processing chamber, the ceiling of the processing chamber, the spindle head, and the stage. As an example, the imaging devices 1 and 1A may be installed on the main axis.
  • the imaging devices 1 and 1A may be configured to be attachable and detachable to and from the main shaft via the shank.
  • the imaging device 1 or 1A attached to the spindle may be replaced with an arbitrary working tool by the working tool changing device.
  • the imaging devices 1 and 1A may be stored in a processing tool exchange device, and the processing tool attached to the spindle may be replaced with the imaging devices 1 and 1A.
  • the imaging devices 1 and 1A may be installed at two or more of the wall surface of the processing chamber, the ceiling of the processing chamber, the spindle head, and the stage. For example, they may be installed at different locations on the wall surface of the processing chamber, or may be installed at one or more locations on the wall surface of the processing chamber and at one or more locations on the ceiling of the processing chamber.
  • a plurality of imaging devices 1 and 1A When a plurality of imaging devices 1 and 1A are installed in this way, they may be installed so that the targets in the processing chamber can be imaged from mutually different directions (from mutually different viewpoints).
  • a plurality of imaging devices 1 and 1A When a plurality of imaging devices 1 and 1A are installed, they may be installed such that their maximum visual field areas partially overlap each other.
  • the imaging devices 1 and 1A may be installed in a part different from the machining chamber of the machine tool.
  • it may be installed inside a working tool exchange device for exchanging the working tool attached to the main shaft of the working chamber with another type of working tool.
  • the working tool changer may be, for example, an automatic tool changer (ATC).
  • the imaging devices 1 and 1A may be installed inside an optical processing device that processes a workpiece with processing light.
  • the imaging devices 1 and 1A may detect a processing location (a location irradiated with processing light) or the like on the workpiece as a target.
  • the optical processing device is a three-dimensional layered manufacturing device
  • the imaging device 1 or 1A detects the modeling material as a target based on at least one of the narrow-area image data and the wide-area image data, and detects the existing image processing may be used to detect the supply state of the modeling material.
  • Each of the imaging devices 1 and 1A of each of the embodiments and modifications described above includes an imaging unit (imaging element 15a) that captures an image formed by one of the light beams split by the light splitting member 13, and a light splitting member. It can also be said that it is a light-receiving device provided with a light-receiving section (second imaging section including the second imaging element 15b) having a light-incident section on which a part of the other light beam split by 13 is incident.
  • the light receiving device 1, 1A of the third embodiment includes an imaging optical system 10, a light splitting member 13 that amplitude-divides the light that has passed through at least a part of the imaging optical system 10, and the light splitting member 13
  • An imaging unit 15a that captures an image 14a formed by one of the split beams, and a light receiving unit (second imaging element 15b), and a drive unit 16 that moves the light entrance unit 29 in a direction crossing the optical path of the other light flux.
  • the light-receiving devices 1 and 1A like the imaging devices 1 and 1A of the above-described embodiments and modified examples, have the driving section 16 move the light incident section 29 so that the second image 14b is captured.
  • the range of light received by the light receiving portion can be moved at high speed.
  • the field of view on the object side (target side) where light is received by the light receiving section can also be moved at high speed.
  • (Section 1) an imaging optical system; a light splitting member that splits light that has passed through at least part of the imaging optical system; an image pickup unit, a second image pickup unit that picks up a part of a second image formed by the other light beam split by the light splitting member, and the second image pickup unit in a direction crossing the optical path of the other light beam. and a driving unit that moves the imaging device.
  • the first imaging section includes a first imaging element that captures the first image, and the second imaging section captures a part of the second image. 2 imaging elements, the array pitch of the pixels of the second imaging element is smaller than the array pitch of the pixels of the first imaging element, and the driving section moves the second imaging element in a direction crossing the optical path of the other light beam. An imaging device that moves an imaging element.
  • the second imaging unit includes a re-imaging optical system that re-images a portion of the second image at a predetermined magnification, and re-imaging with the re-imaging optical system. and an image pickup device for picking up a part of the second image, wherein the drive section moves the re-imaging optical system and the image pickup device in a direction crossing the optical path of the other light flux.
  • (Section 7) The image pickup apparatus according to claim 6, wherein the re-imaging optical system re-images the part of the second image formed in the image forming area by the imaging optical system, and and the angle formed by the principal ray of the other light beam traveling from the light splitting member to the first location of and the optical axis of the imaging optical system on the second imaging unit side, and the angle from the optical axis in the image forming area
  • An imaging device wherein a difference between an angle formed by the optical axis and the principal ray of the other light beam traveling from the light splitting member to a second location different in distance from the first location is within 1°.
  • the principal ray of the other light beam from the light splitting member and the optical axis of the imaging optical system on the second imaging unit side and an angle formed by a chief ray of a light beam incident on said re-imaging optical system and an optical axis of said re-imaging optical system is within 1°.
  • the re-imaging optical system includes a plurality of optical members, and when the driving section is a first driving section, the plurality of It further comprises a second driving unit that moves at least one of the optical members along the optical axis of the re-imaging optical system, wherein the re-imaging optical system moves at least one of the plurality of optical members by the second driving unit.
  • An imaging device that changes the magnification by one movement.
  • (Section 12) 12 The imaging apparatus according to any one of items 4 to 11, further comprising a holding unit that holds the re-imaging optical system and the imaging device, wherein the driving unit directs the optical path of the other light flux to An imaging device that moves the holding part in a transverse direction.
  • the first imaging unit includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the arrangement pitch of the pixels of the second image pickup device is smaller than the arrangement pitch of the pixels of the first image pickup device.
  • the first imaging unit includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the area of the region where the pixels of the first image pickup device are arranged is larger than the area of the region where the pixels of the second image pickup device are arranged.
  • An imaging device further comprising a range control unit.
  • (Section 21) 21 In the image pickup apparatus according to item 20, at least light from a target enters the imaging optical system, and the imaging range control unit controls the image included in the second image based on the image data of the first image. Movement of the re-imaging optical system and the imaging device by the driving unit and change of the enlargement magnification so that at least part of the image of the target captured is included in the imaging range of the second image by the second imaging unit.
  • An imaging device that performs one.
  • the imaging range control unit controls at least a portion of the image of the target based on the image data of the first image.
  • the imaging range control unit causes the second imaging unit to perform the imaging based on the image data of the first image.
  • An image pickup apparatus that moves the re-imaging optical system and the image pickup device by the driving unit so that the position of at least a part of the image of the target in the image pickup range of the second image does not change before and after the change in the positional relationship. .
  • the imaging range control unit controls the second image based on the image data of the first image.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the imaging range.
  • the imaging device wherein the control unit causes the driving unit to move the re-imaging optical system and the imaging element based on the position of the at least one portion as the detection result by the analysis unit.
  • the image pickup range control unit controls the reimaging optical system and the An imaging device that moves an imaging element and changes the magnification.
  • the imaging range control unit based on image data of at least part of the second image generated by the second imaging unit, An image pickup apparatus that executes at least one of movement of the re-imaging optical system and the image pickup device and change of the magnification by the drive unit.
  • the imaging range control unit controls the Based on the image data of at least part of the two images, the reproduction by the driving unit is performed so that at least part of the image of the target included in the second image does not deviate from the imaging range of the second image by the second imaging unit.
  • An imaging apparatus that performs at least one of moving an imaging optical system and the imaging element and changing the magnification.
  • (Section 32) 32 In the imaging device according to any one of items 29 to 31, when the positional relationship between the target and the imaging device changes, the imaging range control unit controls at least a part of the second image.
  • the imaging range control section executes at least one of moving the re-imaging optical system and the imaging device by the driving section and changing the magnification so that the at least part is included in the imaging range.
  • (Section 34) Item 29 or Item 33 In the imaging device according to Item 29 or 33, when the positional relationship between the target and the imaging device is changed, at least a part of the image of the target is out of the imaging range of the second image by the second imaging unit. When the imaging range is out of range, the imaging range control unit reduces the enlargement magnification so that the at least one portion is included in the imaging range.
  • (Section 36) 36 The imaging device according to any one of items 30 to 35, wherein an image of the target included in at least a portion of the second image is obtained based on image data of at least a portion of the second image.
  • An imaging device further comprising an analysis unit that detects at least a portion.
  • the imaging range control unit In the imaging device according to item 36, which is dependent on any one of items 30 to 32, the imaging range control unit, based on the detection result of at least part of the image of the target by the analysis unit, At least a movement of the re-imaging optical system and the imaging device and a change of the enlargement magnification by the driving section so that at least part of the image of the target does not deviate from an imaging range of the second image by the second imaging section.
  • An imaging device that performs one.
  • (Section 38) 38 The imaging device according to item 37, wherein the analysis unit determines the position of at least part of the image of the target on at least part of the second image based on image data of at least part of the second image. and the imaging range control unit extracts at least a portion of the image of the target based on the position of at least a portion of the image of the target on at least a portion of the second image as the detection result by the analysis unit. an imaging device for moving the re-imaging optical system and the imaging device by the driving unit so that the image does not deviate from the imaging range of the second image by the second imaging unit.
  • the analysis unit based on image data of at least a portion of the second image, extracts at least an image of the target on an image of at least a portion of the second image. Detecting the size of a portion, the imaging range control unit measures the size of the target on the basis of the size of the at least a portion of the image of the target on the at least a portion of the second image as the detection result of the analysis unit.
  • An imaging device that changes the enlargement magnification so that at least part of an image does not deviate from an imaging range of the second image by the second imaging section.
  • (Section 40) 20 In the imaging device according to any one of items 1 to 19, movement of the second imaging unit by the driving unit is performed based on image data of the first image generated by the first imaging unit.
  • An image pickup apparatus further comprising an image pickup range control unit that executes.
  • (Section 41) 41 In the imaging device according to item 40, at least light from a target is incident on the imaging optical system, and the imaging range control unit controls the image included in the second image based on the image data of the first image. and an imaging apparatus configured to move the second imaging unit by the driving unit so that at least part of the image of the target captured by the imaging unit is included in the imaging range of the second image by the second imaging unit.
  • the imaging range control unit controls the Imaging of moving the second imaging unit by the driving unit based on image data of one image so that at least part of the image of the target does not deviate from the imaging range of the second image by the second imaging unit.
  • the imaging range control unit controls the imaging range based on the image data of the first image.
  • image pickup device that moves the second image pickup unit by the drive unit so that the position of at least a part of the image of the target does not change before and after the change in the positional relationship.
  • At least part of the image of the target included in the image of the first image is detected based on the image data of the first image.
  • the imaging apparatus further comprising an analysis unit, wherein the imaging range control unit causes the drive unit to move the second imaging unit based on a detection result of at least part of the image of the target by the analysis unit.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the imaging range.
  • the image pickup device wherein the control unit causes the drive unit to move the second image pickup unit based on the position of the at least one part as the detection result by the analysis unit.
  • the imaging range control unit controls the An imaging device that moves the second imaging unit by a driving unit.
  • the imaging range control unit controls the Based on the image data of at least a part of the two images, the second image is controlled by the driving section so that at least a part of the image of the target included in the second image does not deviate from the imaging range of the second image by the second imaging section.
  • An imaging device that executes movement of an imaging unit.
  • (Section 48) Item 46 or 47 In the imaging device according to item 46 or 47, when light from at least a target enters the imaging optical system, and the positional relationship between the target and the imaging device changes, the imaging range control unit is based on image data of at least part of the second image, the position of at least part of the image of the target in the imaging range of the second image by the second imaging unit does not change before and after the positional relationship is changed.
  • An image pickup apparatus that moves the second image pickup section by the driving section as described above.
  • (Section 49) 47 In the image pickup apparatus according to Item 46, at least light from a target enters the imaging optical system, and the positional relationship between the target and the image pickup apparatus changes so that at least a part of the image of the target changes from the first image. 2 When the imaging range of the second image by the imaging unit is out of the imaging range, the imaging range control unit moves the second imaging unit by the driving unit so that the at least part of the imaging range is included in the imaging range. Device.
  • (Section 50) 47 In the image pickup apparatus according to Item 46, at least light from a target enters the imaging optical system, and the positional relationship between the target and the image pickup apparatus changes so that at least a part of the image of the target changes from the first image. 2
  • the imaging range control unit controls the driving unit so that the at least part is included in the imaging range based on the image data of the first image. An imaging device that moves the second imaging unit.
  • (Section 51) 51 The imaging device according to any one of items 46 to 50, wherein at least light from a target enters the imaging optical system, and based on image data of at least a part of the second image, the imaging device further comprising an analysis unit that detects at least part of the image of the target included in at least part of the image of the second image.
  • the imaging range control unit adjusts the image of the target based on the detection result of at least a part of the image of the target by the analysis unit.
  • An image pickup apparatus that moves the second image pickup section by the driving section so that at least a portion of the image pickup section does not deviate from the image pickup range.
  • the analysis unit determines the position of at least part of the image of the target on at least part of the second image based on image data of at least part of the second image. and based on the position of the at least part as the detection result by the analysis part, the imaging range control part controls the movement by the driving part so that at least part of the image of the target does not deviate from the imaging range. Imaging device to perform.
  • (Section 54) 53 In the imaging device according to any one of items 1 to 53, the image data of the first image generated by the first imaging unit and the second image generated by the second imaging unit Imaging for controlling start and end of recording of at least one of the image data of the first image and the image data of at least a part of the second image based on at least one of the image data of at least a part of the image
  • An imaging device further comprising a recording control unit.
  • the imaging optical system receives light from at least a target, and includes at least part of the target image included in the first image and at least the second image.
  • An analysis unit that detects at least one of at least a portion of the image of the target included in the partial image, wherein the image recording control unit analyzes the image data of the first image and the image data of the first image based on the detection result of the analysis unit.
  • An imaging device for controlling start and end of recording of at least one of image data of at least a portion of the second image.
  • An imaging optical system having a light splitting member that amplitude-splits incident light, a first imaging section that captures a first image formed by one of the lights split by the light splitting member, and the light splitting member. a second imaging unit that captures a part of a second image formed by the other split light; and a driving unit that moves the second imaging unit in a direction crossing the optical path of the other split light. Imaging device.
  • the first imaging section includes a first imaging element that captures the first image
  • the second imaging section captures a part of the second image. 2 imaging elements
  • the array pitch of the pixels of the second imaging element is smaller than the array pitch of the pixels of the first imaging element
  • the driving section moves the second imaging element in a direction crossing the optical path of the other light beam.
  • An imaging device that moves an imaging element.
  • (Section 58) 58 The imaging device according to Item 57, wherein the area of the region where the pixels of the first imaging device are arranged is larger than the area of the region where the pixels of the second imaging device are arranged.
  • (Section 59) Item 56 The imaging device according to Item 56, wherein the second imaging unit includes a re-imaging optical system that re-images a portion of the second image at a predetermined magnification, and re-imaging with the re-imaging optical system. and an image pickup device for picking up a part of the second image, wherein the drive section moves the re-imaging optical system and the image pickup device in a direction crossing the optical path of the other light flux.
  • the principal ray of the other light beam from the light splitting member and the optical axis of the imaging optical system on the second imaging unit side and an angle formed by a chief ray of a light beam incident on said re-imaging optical system and an optical axis of said re-imaging optical system is within 1°.
  • (Paragraph 66) Item 65 The imaging device according to any one of items 59 to 65, wherein the re-imaging optical system includes a plurality of optical members, and when the driving unit is a first driving unit, the plurality of It further comprises a second driving unit that moves at least one of the optical members along the optical axis of the re-imaging optical system, wherein the re-imaging optical system moves at least one of the plurality of optical members by the second driving unit.
  • An imaging device that changes the magnification by one movement.
  • the first imaging unit includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the arrangement pitch of the pixels of the second image pickup device is smaller than the arrangement pitch of the pixels of the first image pickup device.
  • the first imaging unit includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the area of the region where the pixels of the first image pickup device are arranged is larger than the area of the region where the pixels of the second image pickup device are arranged.
  • Imaging 75 Item 60, any one of Items 61 to 69 depending on Item 60, or any one of Items 71 to 74 depending on Item 5, in the imaging device according to and performing at least one of movement of the re-imaging optical system and the image pickup device by the drive unit and change of the magnification based on the image data of the first image generated by the first image pickup unit.
  • An imaging device further comprising a range control unit.
  • the imaging apparatus according to item 75 further comprising an analysis unit that detects at least part of the image of the target included in the first image based on the image data of the first image, and the imaging range control The image capturing apparatus, wherein the unit executes at least one of movement of the re-imaging optical system and the image pickup device by the driving unit and change of the enlargement magnification based on the detection result of the at least one part by the analysis unit.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the image of the imaging range.
  • the imaging device wherein the control unit causes the driving unit to move the re-imaging optical system and the imaging element based on the position of the at least one portion as the detection result by the analysis unit.
  • the imaging range control unit controls the reimaging optical system and the An imaging device that moves an imaging element and changes the magnification.
  • (Section 80) 74 In the imaging device according to any one of items 56 to 74, movement of the second imaging unit by the driving unit is performed based on image data of the first image generated by the first imaging unit.
  • An image pickup apparatus further comprising an image pickup range control unit that executes.
  • (Section 81) 81 The imaging apparatus according to item 80, further comprising an analysis unit that detects at least part of the image of the target included in the first image based on the image data of the first image, and the imaging range control The imaging device, wherein the unit moves the second imaging unit by the driving unit based on a detection result of at least a part of the image of the target by the analysis unit.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the imaging range.
  • the image pickup device wherein the control unit causes the drive unit to move the second image pickup unit based on the position of the at least one part as the detection result by the analysis unit.
  • the image data of the first image generated by the first imaging unit and the second image generated by the second imaging unit Imaging for controlling start and end of recording of at least one of the image data of the first image and the image data of at least a part of the second image based on at least one of the image data of at least a part of the image
  • An imaging device further comprising a recording control unit.
  • An imaging device capable of imaging an arbitrary range, comprising: an imaging optical system; a light splitting member that splits light that has passed through at least a part of the imaging optical system; a first imaging unit that captures a first image in the arbitrary range formed by the light beam; An imaging device comprising: a second imaging section that captures an image; and a driving section that moves the second imaging section in a direction crossing the optical path of the other luminous flux.
  • the first imaging section includes a first imaging element that captures the first image, and the second imaging section captures a part of the second image. 2 imaging elements, the array pitch of the pixels of the second imaging element is smaller than the array pitch of the pixels of the first imaging element, and the driving section moves the second imaging element in a direction crossing the optical path of the other light beam. An imaging device that moves an imaging element.
  • the second imaging unit includes a re-imaging optical system that re-images a portion of the second image at a predetermined magnification, and re-imaging with the re-imaging optical system. and an image pickup device for picking up a part of the second image, wherein the drive section moves the re-imaging optical system and the image pickup device in a direction crossing the optical path of the other light flux.
  • (Paragraph 90) Item 89 The imaging device according to Item 89, wherein the re-imaging optical system re-images the part of the second image formed in the image forming area by the imaging optical system, and and the angle formed by the principal ray of the other light beam traveling from the light splitting member to the first location of and the optical axis of the imaging optical system on the second imaging unit side, and the angle from the optical axis in the image forming area
  • An imaging device wherein a difference between an angle formed by the optical axis and the principal ray of the other light beam traveling from the light splitting member to a second location different in distance from the first location is within 1°.
  • the principal ray of the other light beam from the light splitting member and the optical axis of the imaging optical system on the second imaging unit side and an angle formed by a chief ray of a light beam incident on said re-imaging optical system and an optical axis of said re-imaging optical system is within 1°.
  • (Paragraph 94) 93 The image pickup apparatus according to any one of Items 87 to 93, wherein the re-imaging optical system includes a plurality of optical members, and when the driving section is a first driving section, the plurality of It further comprises a second driving unit that moves at least one of the optical members along the optical axis of the re-imaging optical system, wherein the re-imaging optical system moves at least one of the plurality of optical members by the second driving unit.
  • An imaging device that changes the magnification by one movement.
  • the first imaging unit includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the arrangement pitch of the pixels of the second image pickup device is smaller than the arrangement pitch of the pixels of the first image pickup device.
  • the first imaging section includes a first imaging element that captures the first image, and the An image pickup device, wherein the image pickup device is a second image pickup device, and the area of the region where the pixels of the first image pickup device are arranged is larger than the area of the region where the pixels of the second image pickup device are arranged.
  • (Section 101) 100 An image pickup apparatus according to Item 100, wherein the light splitting member amplitude-splits the light that has passed through the imaging optical system.
  • (Section 102) Item 99. The imaging apparatus according to any one of Items 87 to 99, wherein the light splitting member splits the light that has passed through the imaging optical system.
  • An imaging device further comprising a range control unit.
  • (Section 104) Item 103 The imaging apparatus according to Item 103, further comprising an analysis unit that detects at least part of the image of the target included in the first image based on the image data of the first image, and the imaging range control The image capturing apparatus, wherein the unit executes at least one of movement of the re-imaging optical system and the image pickup device by the driving unit and change of the enlargement magnification based on the detection result of the at least one part by the analysis unit.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the imaging range.
  • the control unit causes the driving unit to move the re-imaging optical system and the imaging element based on the position of the at least one portion as the detection result by the analysis unit.
  • (Section 106) Item 104 or 105, wherein the analysis unit detects the size of at least part of the image of the target on the image of the first image, based on the image data of the first image. 7. The imaging device, wherein the imaging range control unit changes the enlargement magnification based on the size of the at least one part as the detection result by the analysis unit.
  • the imaging range control unit controls the reimaging optical system and the An imaging device that moves an imaging element and changes the magnification.
  • (Section 109) Item 108 The imaging device according to Item 108, further comprising an analysis unit that detects at least part of the image of the target included in the first image based on the image data of the first image, and the imaging range control The imaging device, wherein the unit moves the second imaging unit by the driving unit based on a detection result of at least a part of the image of the target by the analysis unit.
  • the analysis unit detects the position of at least a part of the image of the target on the image of the first image based on the image data of the first image, and detects the imaging range.
  • the image pickup device wherein the control unit causes the drive unit to move the second image pickup unit based on the position of the at least one part as the detection result by the analysis unit.
  • (Section 112) a light-splitting optical system; a light splitting member that splits light that has passed through at least a part of the light-splitting optical system; a light receiving portion that receives light reaching a light receiving area that is part of an area occupied by the other light flux on a plane that crosses the optical path of the other light flux split by the light splitting member; A light-receiving device that displaces a light-receiving area.
  • the condensing optical system includes an imaging optical system that forms an image on the imaging surface of the imaging unit, and the imaging optical system receives light that forms an image on the area.
  • an imaging optical system a light splitting member that splits light that has passed through at least part of the imaging optical system, an imaging unit that captures an image formed by one of the light beams split by the light splitting member; a light-receiving unit that receives light that has passed through a light-receiving region that is part of a region through which the other light beam split by the light splitting member passes; and a driving unit that displaces the light-receiving region within the region. photodetector.
  • the light receiving unit when an image is formed in the area by the other light flux, and the imaging unit is a first imaging unit, the light receiving unit includes a second imaging unit, and the second imaging unit The imaging area by the unit is the light receiving area, and the driving unit displaces the imaging area by moving the second imaging unit.
  • the image formed by the one light flux is defined as a first image
  • the image formed in the area by the other light flux is defined as a second image
  • the imaging area by the imaging unit includes a portion of the second image
  • the second imaging unit includes a re-imaging optical system for re-imaging a portion of the second image, and a re-imaging optical system for re-imaging the second image. and an imaging device that captures a part of the formed second image.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、結像光学系と、結像光学系の少なくとも一部を通過した光を振幅分割する光分割部材と、光分割部材で分割された一方の光束によって形成される第1像を撮像する第1撮像部と、光分割部材で分割された他方の光束によって形成される第2像の内、一部分を撮像する第2撮像部と、他方の光束の光路を横切る方向に第2撮像部を移動させる駆動部と、を備える。

Description

撮像装置、および受光装置
 本発明は、撮像装置、および受光装置に関する。
 カメラをパンやチルトが可能な回転式の雲台装置に取り付けて、対象物にカメラを向けることが行われている(特許文献1)。
米国特許第4,855,838号明細書
 第1の態様によると、撮像装置は、結像光学系と、前記結像光学系の少なくとも一部を通過した光を振幅分割する光分割部材と、前記光分割部材で分割された一方の光束によって形成される第1像を撮像する第1撮像部と、前記光分割部材で分割された他方の光束によって形成される第2像の内、一部分を撮像する第2撮像部と、前記他方の光束の光路を横切る方向に前記第2撮像部を移動させる駆動部と、を備える。
 第2の態様によると、受光装置は、結像光学系と、前記結像光学系の少なくとも一部を通過した光を振幅分割する光分割部材と、前記光分割部材で分割された一方の光束によって形成される像を撮像する撮像部と、前記光分割部材で分割された他方の光束の一部が入射する光入射部を有する受光部と、前記他方の光束の光路を横切る方向に前記光入射部を移動させる駆動部と、を備える。
第1実施形態の撮像装置の概要を示す図。 第1撮像素子および第2撮像素子の概要を説明する図。 第1像と第1撮像素子の第1撮像範囲との位置関係、および第2像と第2撮像素子の第2撮像範囲との位置関係を示す図。 第1実施形態の撮像装置の使用状態の一例を示す図。 撮像装置が撮像する画像の一例を示す図。 撮像装置が撮像する画像の他の一例を示す図。 第2実施形態の撮像装置の概要を示す図。 第2実施形態の撮像装置の結像光学系および再結像光学系の一部を示す図。
(第1実施形態の撮像装置)
 図1は、第1実施形態の撮像装置1の概要を示す図である。図1に矢印で示したX方向、Y方向、およびZ方向は、その矢印の指し示す方向を+方向とする。X方向、Y方向、およびZ方向は、相互に直交する方向である。また、以下では、X方向の位置をX位置、Y方向の位置をY位置、およびZ方向の位置をZ位置と呼ぶ。なお、以降で参照する各図におけるX方向、Y方向、およびZ方向は、図1に示したX方向、Y方向、およびZ方向とそれぞれ同一の方向を示す。
 第1実施形態の撮像装置1は、結像光学系10、光分割部材13、第1撮像素子15a、第2撮像素子15b、第2撮像素子15bを移動させる駆動部16、および制御部30等を備えている。
 結像光学系10は一例として光軸AX0に沿って配置される複数枚のレンズ11a~11dを含む。複数枚のレンズ11a~11dは保持枠12により保持され、保持枠12は、撮像装置1の筐体19により保持されている。
 結像光学系10を構成するレンズ11a~11dのうちの少なくとも一部は、焦点調節のために保持枠12に対して±Z方向に移動可能に保持されていても良い。図1においては、レンズ11a~11dはいずれも1枚のレンズとして示しているが、いずれも複数枚のレンズから成るレンズ群であっても良く、ミラーや回折光学素子等の光学部材を含むものであっても良い。また、結像光学系10を構成するレンズ群の数は、図示した4個(レンズ11a~11d)に限られるわけではなく、他の任意の個数であっても良い。なお、結像光学系10は、入射した光を集光させることから集光光学系の一態様といえる。したがって、結像光学系10を集光光学系と称してもよい。
 光分割部材13は、図1に示すように、結像光学系10の物体側(撮像装置1の外側)からの光が結像光学系10を通過して射出する側(結像光学系10の光射出側)に配置されている。光分割部材13は、結像光学系10を通過した光を振幅分割する。光分割部材13は、一例としてキューブ型のビームスプリッターであり、結像光学系10からの光を振幅分割する、すなわち一部を反射し一部を透過する分割反射面13aを有している。分割反射面13aを反射する光の光量と透過する光の光量とは、等しくても良く、異なっていても良い。光分割部材13は、透明平板プレートに分割反射面が形成されたプレート型であっても良い。
 なお、光分割部材13により光の分割は、上述した振幅分割に限られるものではない。
 例えば、光分割部材13は、入射した光の偏光成分を分割してもよい。この場合、光分割部材13は、偏光ビームスプリッターなどの光の偏光成分を分割する既存の光学部材であってもよい。なお、光分割部材13は、入射した光の波長成分を分割してもよい。この場合、光分割部材13は、ダイクロイックミラーなどの光の波長成分を分割する既存の光学部材であってもよい。
 なお、光分割部材13は、入射した光束のうち、一部の光束を反射する(つまり、入射した光束のうち、他の一部は透過する)ことによって、入射した光を分割してもよい。この場合、光分割部材13は、入射した光束の一部の光路に配置されたミラーなどの既存の反射部材であってもよい。なお、なお、光分割部材13が、入射した光束のうちの一部を反射する場合、光分割部材13は、結像光学系10の視野を分割するともいえる。つまり、光分割部材13は、入射した光束を分割する部材であればよい。
 なお、結像光学系10を通過した光を分割するために、光分割部材13は、結像光学系10の物体側(撮像装置1の外側)からの光が結像光学系10を通過して射出する側(結像光学系10の光射出側)に配置されていなくてもよい。例えば、光分割部材13は、結像光学系10の一部を通過した光を分割してもよい。例えば、光分割部材13は、結像光学系10を構成するレンズ(レンズ群)11a~11dのうち、任意のレンズ(レンズ群)の間に配置されてもよい。
 なお、光分割部材13で反射された光束により第1撮像素子15aの撮像面の近傍に像(後述の第1像14a)が形成されるように、光分割部材13で反射された光束の光路上に結像光学系10とは別の光学部材を設けてもよい。また、光分割部材13を通過した光束により第2撮像素子15bの撮像面の近傍に像(後述の第2像14b)が形成されるように、光分割部材13を通過した光束の光路上に結像光学系10とは別の光学部材を設けてもよい。
 つまり、光分割部材13は、結像光学系10の少なくとも一部を通過した光を分割すればよい。なお、光分割部材13は、結像光学系10の少なくとも一つの光学部材を通過した光を分割するともいえる。なお、光分割部材13は、結像光学系10の少なくとも一つのレンズを通過した光を分割するともいえる。なお、光分割部材13は、結像光学系10の少なくとも一つのレンズ群を通過した光を分割するともいえる。
 光分割部材13により振幅分割された光のうち、分割反射面13aを透過した光束は、結像光学系10の光軸AX0に概ね沿って進行し、光分割部材13から射出される。分割反射面13aで反射された光束は、結像光学系10の光軸AX0が分割反射面13aにより幾何学的に反射された軸である光軸AX1に概ね沿って進行し、光分割部材13から射出される。光軸AX1は、光軸AX0と光学的に等価な軸であるので、以下では、光軸AX1についても結像光学系10の光軸であるという。
 以下では、光分割部材13により振幅分割された光のうち、一方の光束は、光分割部材13を射出した後に、第1像14aを形成する。他方の光束は、光分割部材13を射出した後に、第2像14bを形成する。ここで、光分割部材13により振幅分割された光のうち、一方の光束は、第1像14aの形成に用いられる光束であるといえる。また、光分割部材13により振幅分割された光のうち、他方の光束は、第2像14bの形成に用いられる光束であるといえる。
 なお、結像光学系10の少なくとも一部を通過して入射した光が光分割部材13でそれぞれの光束(一方の光束と他方の光束のそれぞれ)に分割(例えば、振幅分割)され、分割されたそれぞれの光束によって第1像14aと第2像14bが形成されることから、光分割部材13は、第1像14aと第2像14bの結像に寄与しているともいえる。したがって、光分割部材13は結像光学系10の一部としてもよい。
 結像光学系10の物体側の任意の所定の角度範囲内にある物体の像が、第1像14aとして形成される。そして、これと同じく結像光学系10の物体側のその所定の角度範囲内にある物体の像が、第2像14bとして形成される。なお、結像光学系10の物体側の任意の所定の角度範囲を結像光学系10の視野と称してもよい。
 第1像14aの近傍には、第1撮像素子15aが、その撮像面が第1像14aと概ね一致するように配置されている。第1撮像素子15aを第1撮像部と呼ぶこともできる。なお、第1撮像部は、後に詳述する制御部30の少なくとも一部(例えば、画像生成部32)を含んでいても良い。なお、光軸AX1は、第1撮像部へ向かう光軸であることから、第1撮像部側における結像光学系10の光軸と称することもできる。なお、光軸AX0と光軸AX1を合わせて、第1撮像部側における結像光学系10の光軸と称することもできる。なお、第1撮像部は、第1撮像素子15aだけでなく、後述の固定部18等、他のものが含まれていてもよい。
 第2像14bの近傍には、第2撮像素子15bが、その撮像面が光軸AX0の方向において第2像14bと概ね一致するように配置されている。第2撮像素子15bを第2撮像部と呼ぶこともできる。第1撮像部は、後に詳述する制御部30の少なくとも一部(例えば、画像生成部32)を含んでいても良い。なお、光軸AX0は、第2撮像部へ向かう光軸であることから、光軸AX1と区別して第2撮像部側における結像光学系10の光軸と称することもできる。なお、光軸AX0の一部として、光分割部材13から第2撮像部までの光軸を、第2撮像部側における結像光学系10の光軸と称することもできる。なお、第2撮像部は、光分割部材13からの他方の光束を受光していることから、受光部と称してもよい。
 なお、結像光学系10の物体側からの光(例えば、ターゲット等からの光)が結像光学系10を介して光分割部材13に入射し、光分割部材13で分割(例えば、振幅分割)されたそれぞれの光束によってそれぞれの像が形成される。ここで、形成されるそれぞれの像は、結像光学系10の物体側の任意の範囲の像ともいえる。この任意の範囲は、撮像装置1(もしくは、後述の撮像装置1A)が撮像可能な範囲ともいえる。この場合、第1撮像部(第1撮像素子15a)は、この任意の範囲の像(つまり、第1像14a)を撮像するといえる。一方、第2撮像部(第2撮像素子15b)は、この任意の範囲の像(つまり、第2像14b)の内、一部分を撮像するといえる。
 以上より、撮像装置1(もしくは、後述の撮像装置1A)は、任意の範囲を撮像可能であり、結像光学系10と、結像光学系10の少なくとも一部を通過した光を分割する光分割部材13と、光分割部材13で分割された一方の光束によって形成される任意の範囲の第1像14aを撮像する第1撮像部と、光分割部材13で分割された他方の光束によって形成される任意の範囲の第2像14bの内、一部分を撮像する第2撮像部と、第2撮像部を移動させる駆動部16(もしくは、後述の第1駆動部16a)を備えるともいえる。なお、第2撮像部は、第2撮像素子15bだけでなく、他のものが含まれていてもよい。例えば、第2撮像部は、第2撮像素子15bに加えて、後述の保持部17と駆動部16の少なくとも一方を含んでいてもよい。
 第1撮像素子15aは、筐体19に付設された固定部18により保持されている。
 第2撮像素子15bは、保持部17により保持され、第2撮像素子15bおよび保持部17は、駆動部16により、一例として、X方向およびY方向に移動可能に保持されている。第2撮像素子15bが、一例としてX方向およびY方向に移動されることにより、第2像14bのうちの第2撮像素子15bにより撮像される撮像範囲が変更される。これにより、第2撮像素子15bにより撮像される物体側(ターゲット側)の撮像視野も変更される。なお、第2撮像素子15bおよび保持部17は、駆動部16により、X方向またはY方向に移動可能に保持されていてもよい。なお、第2撮像素子15bおよび保持部17は、駆動部16により、X方向とY方向で規定されるXY平面における任意の1方向に移動可能に保持されていてもよい。
 換言すれば、駆動部16は、第2撮像素子15b側における結像光学系10のZ方向に平行な光軸AX0と交差する2方向に(一例としてX方向およびY方向に)、第2撮像素子15bを移動させるともいえる。別の表現としては、駆動部16は、第2撮像素子15bを他方の光束の光路を横切る方向に移動させるともいえる。
 別の表現としては、駆動部16は、光軸AX0に概ね沿って進行する他方の光束が第2撮像素子15bへ入射する方向と交差する方向に第2撮像素子15bを移動させるとも言える。また、駆動部16は、第2撮像素子15bを、第2像14bの像面の面内方向に移動させるともいえる。なお、駆動部16は、リニアモーターやステッピングモーターなどの既存の駆動機構であってもよい。
 以下、図2を参照して、第1撮像素子15aおよび第2撮像素子15bの構成の概要について説明する。
 図2(a)は第1撮像素子15aを撮像面側(-X側)から見た図であり、図2(b)は、第2撮像素子15bを撮像面側(+Z側)から見た図である。
 第1撮像素子15aの第1有効領域EA1には、複数の第1画素PEaがZ方向に配列ピッチPZa、Y方向に配列ピッチPYaで、2次元的に配置されている。Z方向の配列ピッチPZaとY方向の配列ピッチPYaとは、同一であって良く、異なっていても良い。なお、Z方向のおける第1画素PEaの幅とY方向における第1画素PEaの幅とは、同一であって良く、異なっていても良い。例えば、第1画素PEaは、Z方向およびY方向にそれぞれ1千個以上配列されていても良い。第1有効領域EA1の大きさは、Z方向の幅がWZaであり、Y方向の幅が幅WYaである。
 同様に、第2撮像素子15bの第2有効領域EA2には、複数の第2画素PEbがX方向に配列ピッチPXb、Y方向に配列ピッチPYbで、2次元的に配置されている。X方向の配列ピッチPXbとY方向の配列ピッチPYbとは、同一であって良く、異なっていても良い。なお、Z方向のおける第2画素PEbの幅とY方向における第2画素PEbの幅とは、同一であって良く、異なっていても良い。例えば、第2画素PEbは、X方向およびY方向にそれぞれ1千個以上配列されていても良い。第2有効領域EA2の大きさは、X方向の幅がWXbであり、Y方向の幅がWYbである。
 第2撮像素子15bの第2画素PEbの配列ピッチPXb、配列ピッチPYbは、第1撮像素子15aの第1画素PEaの配列ピッチPZa、配列ピッチPYaよりも小さい。従って、第2撮像素子15bは、第2有効領域EA2の単位面積あたりの第2画素PEbの個数(つまり、密度)が、第1撮像素子15aの第1有効領域EA1での個数(つまり、密度)よりも高く、第1撮像素子15aよりも高解像な撮像素子である。なお、第2撮像素子15bのZ方向における第2画素PEbの幅とY方向における第2画素PEbの幅は、第1撮像素子15aのZ方向のおける第1画素PEaの幅とY方向における第1画素PEaの幅よりも小さいと言い換えることもできる。
 第2撮像素子15bの第2有効領域EA2のX方向の幅WXbは、第1撮像素子15aの第1有効領域EA1のZ方向の幅がWZaよりも短い。また、第2撮像素子15bの第2有効領域EA2のY方向の幅WYbは、第1撮像素子15aの第1有効領域EA1のX方向の幅がWYaよりも短い。従って、第2有効領域EA2の面積は、第1有効領域EA1の面積よりも小さい。
 図3(a)は、第1撮像素子15aによる第1撮像範囲CA1と第1像14aとの位置関係を示す図であり、図3(b)は、第2撮像素子15bによる第2撮像範囲CA2と第2像14bとの位置関係を示す図である。第1撮像範囲CA1は、図2(a)に示した第1撮像素子15aの第1有効領域EA1に対応している。第2撮像範囲CA2は、図2(b)に示した第2撮像素子15bの第2有効領域EA2に対応している。
 なお、撮像範囲は、撮像領域と言い換えることができる。つまり、第1撮像範囲CA1は、第1撮像領域と言い換えることができ、第2撮像範囲CA2は、第2撮像領域と言い換えることができる。
 図3(b)は、第2撮像素子15bによる第2撮像範囲CA2の中心CCが、上述した駆動部16により、光軸AX0に対してX方向にDX、Y方向にDYだけ移動した状態を示している。なお、本実施形態の図3(a)及び(b)について、第1有効領域EA1の面積と第2有効領域EA2の面積の比と、第1撮像範囲CA1の面積と第2撮像範囲CA2の面積の比は実質的に同一であるが、説明の便宜上、互いの面積の比を変えている。
 上述した結像光学系10および光分割部材13の構成より、第1像14aと第2像14bとは実質的に同一の像であり、それらの大きさは等しい。しかし、第2像14bの位置に配置される第2撮像素子15bの第2有効領域EA2は、第1像14aの位置に配置される第1撮像素子15aの第1有効領域EA1よりも小さい。
 従って、第2像14bのうち第2撮像素子15bにより撮像される第2撮像範囲CA2の割合は、第1像14aのうち第1撮像素子15aにより撮像される第1撮像範囲CA1の割合よりも低くなる。
 第2撮像素子15bは、第2像14bの内の一部分を撮像する。そして、上述したとおり、第2撮像素子15bは第1撮像素子15aよりも高解像であるから、第2撮像素子15bは、第2像14bの内の一部分を、第1撮像素子15aよりも高解像に撮像するとも言える。第2撮像素子15bは、駆動部16によりXY面内方向に移動されることにより、第2像14b内の多くの部分を高解像で撮像することができる。また、第2撮像素子15bは、駆動部16によりXY面内方向に移動されることにより、第2像14b内の所望の部分を高解像で撮像することができる。
 なお、第2撮像部(第2撮像素子15b)が第2像14bの内の一部分を撮像する場合、光分割部材13からの他方の光束の一部が、第2撮像部に入射するともいえる。この場合、第2撮像部は、他方の光束の一部が入射する光入射部29を有するともいえる。なお、光入射部29は、第2撮像部の少なくとも一部であるともいえる。一例として、光入射部29は、第1有効領域EA1に配列された複数の第1画素PEaの光入射面であってもよい。
 なお、第2撮像部を受光部と称することもできる。受光部は、光分割部材13からの他方の光束の一部を受光するともいえる。この場合、受光部は、他方の光束の一部が入射する光入射部29を有するともいえる。なお、光入射部29は、受光部の少なくとも一部であるともいえる。
 なお、第2撮像部が第2像14bの内の一部分を撮像する場合、光分割部材13からの他方の光束の一部が、第2撮像部に入射するともいえる。第2撮像範囲CA2は、光分割部材13からの他方の光束の一部が入射することから、受光領域と称することもできる。なお、この場合、受光領域は、第2像14bが形成される領域(つまり、光分割部材13からの他方の光束が通過する領域)の一部ともいえる。なお、第2撮像部を受光部と称することもできる。受光部は、光分割部材13で分割された他方の光束が通過する領域の一部である受光領域を通過した光を受光するともいえる。
 一方、第1撮像素子15aは、第1像14a内の多くの部分を、同時に撮像することができる。つまり、第1撮像素子15aは、第1像14a内の広範囲を一度に撮像することができる。図3(a)に一例として円形で示した第1像14aの直径は、結像光学系10の光分割部材13とは反対側(結像光学系10による第1像14a側とは反対側)の物体側での画角に換算した場合、一例として170°以上である。従って、結像光学系10の物体側の最大画角は、170°以上であるということができる。なお、結像光学系10の物体側の最大画角は、170°以下であってもよく、例えば60°であってもよい。なお、図3(b)に一例として円形で示した第2像14bの直径およびその物体側での画角への換算値も同様である。
 なお、図3(a)では、第1像14aの一部が第1撮像範囲CA1に包含されるものとしたが、第1像14aの全てが第1撮像範囲CA1に包含されても良く、逆に、第1撮像範囲CA1の全てが第1像14aに包含されていても良い。また、第1撮像範囲CA1の中心は、光軸AX1と一致していても良く、一致していなくても良い。なお、第1撮像素子15aは、複数の第1画素PEaが配列されていなくてもよく、第1画素PEaは1つでもよい。また、第1撮像素子15aの代わりにシングルフォトダイオードを使ってもよい。同様に、第2撮像素子15bは、複数の第2画素PEbが配列されていなくてもよく、第2画素PEbは1つでもよい。また、第2撮像素子15bの代わりにシングルフォトダイオードを使ってもよい。
 再び、図1を参照して、撮像装置1の制御部30について説明する。
 制御部30は、撮像装置1の各種の動作を制御する。制御部30は、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36を備えている。撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36は、バス等の配線37を介して相互に信号の通信を行う。
 撮像制御部31は、第1撮像素子15aに制御信号S2aを送り第1撮像素子15aを制御する。具体的には、撮像制御部31は第1撮像素子15aに対する、低解像動画(スルー画)の出力の開始および終了、静止画の撮影、露出時間(受光時間)の設定、および光電変換のゲインの設定等の制御を行う。撮像制御部31は、第2撮像素子15bに制御信号S2bを送り、第2撮像素子15bを、第1撮像素子15aと同様に制御する。
 画像生成部32は、第1撮像素子15aからの撮像信号S1aを受信し、第1撮像素子15aが撮像した第1像14aの画像データを生成する。画像生成部32は、第2撮像素子15bからの撮像信号S1bを受信し、第2撮像素子15bが撮像した第2像14bの画像データを生成する。
 画像生成部32は、画像データの生成に際して結像光学系10のディストーションに起因する第1像14aまたは第2像14bのゆがみを補正する機能を有していても良い。また、画像生成部32は、結像光学系10のディストーション以外の収差に起因する第1像14aまたは第2像14bの劣化を補正する機能を有していても良い。
 解析部33は、画像生成部32が生成した第1像14aまたは第2像14bの一部分の画像データに基づいて、その画像データに含まれ得るターゲットの情報を解析する。第1像14aの画像データまたは第2像14bの一部分の画像データにターゲットの少なくとも一部分の画像データが含まれていた場合、解析部33は、解析によって、そのターゲットの少なくとも一部分の画像データを検出することができる。なお、解析部33が、画像生成部32が生成した第1像14aまたは第2像14bの一部分の画像データに対応する画像に含まれるターゲットの画像の少なくとも一部分を検出することができるとも言い換えられる。
 なお、解析部33は、ターゲットの少なくとも一部分(ターゲットの画像の少なくとも一部分)を検出することから検出部と言い換えることもできる。なお、解析部33が、画像生成部32が生成した第1像14aの画像データまたは第2像14bの一部分の画像データを解析することによって、ターゲットの少なくとも一部分の画像データを検出することができるとも言い換えられる。なお、解析部33は、ターゲットの少なくとも一部分(ターゲットの画像の少なくとも一部分)を認識するとも言い換えられる。したがって、解析部33を認識部と言い換えることもできる。なお、解析部33による解析については後述する。
 撮像範囲制御部34は、解析部33が第1像14aまたは第2像14bの一部分の画像データに基づいてターゲットの情報を解析した結果(つまり、ターゲットの画像の少なくとも一部分を検出した結果)に基づいて駆動部16に駆動信号S3を送り、駆動部16に含まれるリニアモーター等の駆動部材を駆動させ、保持部17および第2撮像素子15bを、一例としてXY面内方向に移動させる。すなわち、図3(b)に示したように、撮像範囲制御部34は、第2撮像素子15bの第2撮像範囲CA2の中心CCの位置を光軸AX0に対する所定の位置に移動させる。なお、撮像範囲制御部34は、第2撮像素子15bの第2撮像範囲CA2の中心CCの位置を第2像14bのうちの所定の位置に移動させるとも言い換えられる。
 これにより、第2像14bのうちの第2撮像素子15bにより撮像される第2撮像範囲CA2が変更される。従って、第2撮像素子15bにより撮像される物体側(ターゲット側)の撮像視野も変更される。
 なお、撮像範囲制御部34は、解析部33が解析によって検出したターゲットの情報に依らず、不図示の操作部からインターフェース部36を介して入力された信号に基づいて、駆動部16に駆動信号S3を送り、第2撮像素子15bを移動させても良い。
 記憶部35は、メモリー素子や磁気ディスク等の記憶部材を含み、第1撮像素子15aおよび第2撮像素子15bの少なくとも一方が撮像した像に基づいて画像生成部32が生成した画像データを、必要に応じて記憶する。
 インターフェース部36は、第1撮像素子15aおよび第2撮像素子15bの少なくとも一方が撮像した像に基づいて画像生成部32が生成した画像データ、または記憶部35に記憶されている画像データを、ネットワーク回線NWを介して外部の機器に出力する。また、インターフェース部36は、外部の機器からの撮像装置1に対する指令を受け取っても良い。インターフェース部36は無線の送受信機構を備え、画像データの出力および指令の入力を無線により行っても良い。
 なお、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36は、それぞれが独立している、すなわち機構的に分離されているハードウエアであっても良い。あるいは、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36のうちのいくつかは、1つまたは複数のハードウエアとして一体的に構成されていても良い。
 また、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36の少なくとも一つは、ハードウエアとそれを制御するソフトウエアにより構成されていても良い。
 図4は、第1実施形態の撮像装置1の使用状態の一例を示す図である。図4に示した例においては、1人または複数人のユーザーが暮らす家庭のリビングルームLMの壁面等に、一例として、第1実施形態の撮像装置1が複数個設置されている。なお、リビングルームLM等の室内に設置される撮像装置1の数は複数個に限らず、1個であっても良い。
 本例においては、撮像装置1は、概ね常時、リビングルームLM内の、例えば人物またはペット等の動物の少なくとも一部であるターゲットの撮像を行い、例えば家族の日常を好適なシャッターチャンスを捉えて記録する。ターゲットは人物または動物に限られず、他の任意の物体であっても良い。
 第1撮像素子15aの第1有効領域EA1は、第1像14aの中の広範囲な部分である第1撮像範囲CA1を撮像し、撮像信号S1aを画像生成部32に伝達する。画像生成部32は、撮像信号S1aに基づいて、第1像14aの中の広範囲な部分である第1撮像範囲CA1に対応する広域画像データを生成する。この広域画像データに対応する画像を、以下では広域画像とも呼ぶ。
 第2撮像素子15bの第2有効領域EA2は、第2像14bの一部分である第2撮像範囲CA2を撮像し、撮像信号S1bを画像生成部32に伝達する。画像生成部32は、撮像信号S1bに基づいて、第2像14bの一部分である第2撮像範囲CA2に対応する狭域画像データを生成する。この狭域画像データに対応する画像を、以下では狭域画像とも呼ぶ。
 上述したように、第2撮像素子15bの画素PEbの配列ピッチ(PXb、PYb)は、第1撮像素子15aの画素PEaの配列ピッチ(PZa、PYa)よりも小さい。従って、第2撮像素子15bが撮像する狭域画像の解像度は、第1撮像素子15aが撮像する広域画像の解像度よりも高い。これより、第2撮像素子15bが撮像する狭域画像を高解像画像と呼ぶこともできる。
 図5(a)は、撮像装置1の第1撮像素子15aが撮像する画像の一例としての、リビングルームLMの広域画像データに基づく広域画像Im1を示す図であり、上述したようにリビングルームLM内が広範囲に渡って撮像されている。解析部33は、第1撮像素子15aが撮像した広域画像データに基づいて、広域画像Im1に含まれ得るターゲットの情報を解析する。
 例えば、解析部33は、画像生成部32が生成したターゲットの情報を含み得る広域画像データを解析することによって、広域画像Im1の中の、特に撮像または記録を行うべきターゲットの画像の少なくとも一部を含む関心領域IAの有無を検出する。そして、解析部33は、関心領域IAを検出した場合、広域画像Im1における関心領域IAの位置を算出する。
 関心領域IAは、一例として、画像(例えば、広域画像及び狭域画像の少なくとも一方のデータ)の中に含まれるターゲット(例えば、人物または動物等の少なくとも一部)の画像の少なくとも一部(例えば、全体または顔などの一部の画像)を含む領域である。なお、関心領域IAは、画像データ(例えば、広域画像データ及び狭域画像データの少なくとも一方のデータ)の中に含まれるターゲットの少なくとも一部を含む領域と言い換えることもできる。
 なお、解析部33による画像データの解析によって関心領域IAの有無を検出することは、解析部33による画像データの解析によってターゲットの画像の少なくとも一部分(ターゲットの少なくとも一部分)の有無を検出することと言い換えることもできる。なお、解析部33による画像データの解析によって画像上における関心領域IAの位置を検出することは、解析部33による画像データの解析によって画像上におけるターゲットの画像の少なくとも一部分の位置を算出することと言い換えることもできる。
 なお、解析部33は、関心領域IAの有無を検出しなくてもよく、画像生成部32が生成した画像データ(例えば、広域画像データ及び狭域画像データの少なくとも一方のデータ)を解析することによって、画像(例えば、広域画像及び狭域画像の少なくとも一方の画像)の中に含まれるターゲットの画像の少なくとも一部の有無を検出し、画像におけるターゲットの画像の少なくとも一部分の位置を算出してもよい。
 なお、ターゲットは、人物や動物の少なくとも一部に限られず、注目する対象となる物体(例えば、撮像または記録すべき対象)であってもよくどのような物体でも良い。例えば、ターゲットは、人物が着用或いは携帯している物(衣服や靴、鞄や杖など)、銃や爆発物などの危険物、車両、船舶、航空機(ドローン等)などの移動体、建造物などの少なくとも一部であってもよい。例えば、ターゲットは、工作機械の加工室(加工具でワークを加工する空間)の内部、および加工室の主軸に取り付けられている加工具を他の種類の加工具と交換する加工具交換装置の内部の少なくとも一部であってもよい。
 例えば、解析部33は、広域画像データ(つまり、広域画像Im1の画像データ)の解析として、機械学習による物体検出処理を実行することによって、広域画像Im1から関心領域IAの有無を検出し、(関心領域IAを検出した場合)広域画像Im1における関心領域IAの位置を算出しても良い。なお、関心領域IAの位置を算出することは、関心領域IAの位置を検出するともいえる。一例として、解析部33は、広域画像データの解析として、深層学習による物体検出処理を実行することによって、関心領域IAの有無を検出しても良い。なお、解析部33は、実行する物体検出処理の種類によっては関心領域IAの有無を検出しなくてもよく、画像生成部32が生成した広域画像データを解析して広域画像Im1の中のターゲットの画像の少なくとも一部の有無を検出し、(関心領域IAを検出した場合)広域画像Im1における関心領域IAの位置を算出しても良い。
 より具体的には、解析部33は、CNN(Convolutional Neural Network)を利用した物体検出アルゴリズムを用いて広域画像Im1から関心領域IAの有無の検出や広域画像Im1における関心領域IAの位置の算出を実行しても良い。なお、解析部33は、深層学習による他の物体検出処理によって広域画像Im1から関心領域IAの有無の検出や広域画像Im1における関心領域IAの位置の算出を実行しても良い。
 例えば、解析部33は、領域提案型として、R-CNN(Region with CNN features)、Faster R-CNN(Faster Region with CNN features)、Mask R-CNN(Mask Region with CNN features)等を利用した物体検出アルゴリズムを用いてもよい。また、解析部33は、領域提案型に限られず、YOLO(You Only Look Once)、SSD(Single shot Multibox Detector)等の他の深層学習による物体検出アルゴリズムを用いても良い。
 なお、解析部33は、深層学習に限られず、線形回帰、決定木、SVM(Support Vector Machine)等のアルゴリズムを用いて関心領域IAの有無を検出してもよい。なお、解析部33は、機械学習に限られず、既存のテンプレートマッチング処理によって関心領域IAの有無の検出や関心領域IAの位置の算出を実行しても良い。なお、解析部33は、既存のセグメンテーション処理によって関心領域IAの有無の検出や関心領域IAの位置の算出を実行しても良い。
 例えば、図5(a)に示した広域画像Im1には、ターゲットの画像としての複数人の人物の画像が含まれているため、解析部33は、破線で示した複数人の人物が含まれる領域を関心領域IAとして検出する。なお、検出する関心領域IAは1つに限らず、広域画像Im1の中に複数のターゲットの画像が含まれる場合、解析部33は、広域画像Im1の中からそれぞれのターゲットの画像が含まれる複数の関心領域IAを検出しても良い。
 解析部33は、関心領域IAを検出すると、その関心領域IAの広域画像Im1における位置を算出する。そして、解析部33は、広域画像Im1における関心領域IAの位置を撮像範囲制御部34に伝達する。
 解析部33による関心領域IAの検出は、換言すれば、解析部33が関心領域IAを認識するということもできる。また、解析部33による関心領域IAの広域画像Im1における位置の算出は、換言すれば、解析部33が関心領域IAの位置を認識するということもできる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1における関心領域IAの位置に関する情報)に応じて駆動部16に駆動信号S3を送り、第2撮像素子15bを光軸AX0に交差する方向(例えば、XY面内方向)に移動させ、第2撮像範囲CA2の中心CC(図3(b)参照)を、関心領域IAの中心位置と略一致させる。つまり、撮像範囲制御部34は、広域画像データに基づいて、第2像14bに含まれるターゲットの像の少なくとも一部が第2撮像素子15b(第2撮像部)による第2撮像範囲CA2に含まれるように駆動部16による第2撮像素子15bの移動を実行する。
 なお、撮像範囲制御部34は、第2撮像範囲CA2の中心CCを、関心領域IAの中心位置と略一致させるように第2撮像素子15bを移動させなくてもよい。関心領域IAが第2撮像範囲CA2に含まれればよく、例えば、撮像範囲制御部34は、第2撮像範囲CA2の中心CCが、関心領域IAの中心位置と所定距離だけ離れた位置に配置されるように第2撮像素子15bを移動させてもよい。
 なお、解析部33は、広域画像Im1の中から複数の関心領域IAを検出した場合、検出した複数の関心領域IAのそれぞれの広域画像Im1における位置を算出しても良い。この場合、撮像範囲制御部34は、複数の関心領域IAの少なくとも一つが第2撮像範囲CA2に含まれるように第2撮像素子15bを光軸AX0に交差する方向(例えば、XY面内方向)に移動させてもよい。
 これにより、第2撮像素子15bには関心領域IAに対応する像が形成され、第2撮像素子15bは、広域画像Im1中の関心領域IAの部分に相当する、図5(b)に示した狭域画像Im2を撮像する。なお、関心領域IAの大きさが第2撮像素子15bの第2撮像範囲CA2よりも大きい場合には、第2撮像素子15bは、広域画像Im1中の関心領域IAの一部に相当する挟域画像Im2を撮像し、関心領域IAの大きさが第2撮像素子15bの第2撮像範囲CA2よりも小さい場合には、第2撮像素子15bは、広域画像Im1中の関心領域IAに相当する範囲を含む挟域画像Im2を撮像する。
 撮像装置1においては、第2撮像範囲CA2の中心CC(図3(b)参照)の位置の変更は、撮像装置1全体を回転させることなく、および結像光学系10を回転させることなく、第2撮像素子15bのXY面内方向の移動のみで行うことができる。これにより、撮像装置1においては、第2像14b内の第2撮像範囲CA2の位置の変更を、高速で行うことができる。従って、第2撮像素子15bにより撮像される物体側(ターゲット側)の撮像視野の変更を、高速で行うことができる。
 なお、解析部33は、広域画像データに限られず、狭域画像データ(つまり、狭域画像Im2の画像データ)を解析することによって、狭域画像Im2の中の、関心領域IAの有無を検出してもよい。そして、解析部33は、狭域画像Im2上において関心領域IAを検出した場合、狭域画像Im2における関心領域IAの位置を算出してもよい。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2における関心領域IAの位置に関する情報)に応じて駆動部16に駆動信号S3を送り、第2撮像素子15bを移動させ、関心領域IAが第2撮像範囲CA2に含まれるようにしてもよい。つまり、撮像範囲制御部34は、狭域画像データに基づいて、駆動部16による第2撮像素子15bの移動を実行してもよい。
 なお、解析部33は、狭域画像Im2におけるターゲットについても解析を行い、例えば、ターゲットである人物等(つまり、関心領域に含まれる人物等)が、微笑等の特定の表情を示すか否か、または特定の身振りまたは手振りを行うか否かを検出してもよい。
 例えば、解析部33は、上述した物体検出処理や既存のトラッキング処理(後述)等を実行することによって、ターゲットである人物等(関心領域に含まれる人物等)の微笑等の特定の表情、または特定の身振りまたは手振りを検出してもよい。なお、解析部33は、上述した物体検出処理や既存のトラッキング処理に限らず、他の画像処理によって、ターゲットである人物等(関心領域に含まれる人物等)の微笑等の特定の表情、または特定の身振りまたは手振りを検出してもよい。
 なお、解析部33は、狭域画像データに限られず、広域画像データに基づいて、関心領域IAに含まれる人物等が、微笑等の特定の表情を示すか否か、または特定の身振りまたは手振りを行うか否かを検出し、次のAからFまでの動作の中のいずれか1つ以上の動作を行ってもよい。
 そして、ターゲットについての上記の表情あるいは身振りまたは手振りを検出した場合には、解析部33は、次のAからFまでの動作の中のいずれか1つ以上の動作を行っても良い。
A:撮像制御部31に対して、第2撮像素子15bに静止画の撮像を行なう指令を発する。
B:撮像制御部31に対して、第2撮像素子15bに低解像動画データの出力を開始させる、または終了させる指令を発する。
C:撮像制御部31に対して、第2撮像素子15bに高解像動画データの出力を開始させる、または終了させる指令を発する。
D:記憶部35に対して、第2撮像素子15bが撮像し画像生成部32が生成した狭域画像データの記憶を開始させる、または終了させる指令を発する。
E:記憶部35に対して、記憶中の狭域画像データに、所定の識別信号(フラグ)の追記を開始させる、または終了させる指令を発する。
F:インターフェース部36に対して、第2撮像素子15bが撮像し画像生成部32が生成した狭域画像データの、外部機器(例えば、狭域画像を表示Im2を表示させる表示装置)への送信を開始させる、または終了させる指令を発する。
 なお、解析部33が、ターゲットについての上記の表情あるいは身振りまたは手振りを検出して、上述したAからFまでのいずれかの動作を開始させた場合において、所定の時間が経過した段階で、解析部33はそれらの動作を終了させても良い。
 なお、撮像装置1とターゲットとの位置関係が変化した場合、解析部33は、広域画像Im1における関心領域IAの移動(つまり、ターゲットの少なくとも一部分の画像の移動)の有無を検出しても良い。そして、解析部33は、関心領域IAが移動した場合、広域画像Im1における関心領域IAの移動方向と移動量を算出してもよい。
 解析部33は、広域画像Im1における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達する。なお、解析部33によって算出される広域画像Im1における関心領域IAの移動方向と移動量は、広域画像Im1における関心領域IAの位置と言い換えることができる。なお、解析部33が関心領域IAの移動方向と移動量を算出することは、解析部33が関心領域IAの移動方向と移動量を検出すると言い換えられる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1における関心領域IAの移動方向と移動量に関する情報)に応じて駆動部16に駆動信号S3を送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向(例えば、XY面内方向)に移動させてもよい。つまり、ターゲットと撮像装置1の位置関係が変化した場合、撮像範囲制御部34は、広域画像Im1の画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように駆動部16による第2撮像素子15b(第2撮像部)の移動を実行してもよい。
 したがって、撮像装置1は、撮像装置1とターゲットとの位置関係が変化することによって広域画像Im1における関心領域IA(つまり、ターゲットの少なくとも一部分の画像)が移動したとしても、撮像装置1の第2撮像範囲CA2から関心領域IAが外れることなく、関心領域IAの狭域画像Im2(つまり、ターゲットの少なくとも一部分の高解像度画像)を生成し続けることができる。
 例えば、解析部33は、既存のトラッキング処理を実行することによって、互いに異なる時刻に第1撮像素子15aで撮像された複数の広域画像Im1間における関心領域IAの移動を検出しても良い(つまり、関心領域IAの移動の有無を検出し、関心領域IAの移動方向及び移動量を算出してもよい)。
 一例として、解析部33は、上述した物体検出処理によって広域画像Im1から検出した関心領域IAの画像データをテンプレートとして、既存のテンプレートマッチング処理によって、互いに異なる時刻に撮像されたそれぞれの広域画像Im1から関心領域IAを検出し、広域画像Im1上における関心領域IAの移動方向と移動量(言い換えると、広域画像Im1上における関心領域IAの位置)を算出してもよい。
 なお、解析部33は、互いに異なる時刻に撮像されたそれぞれの広域画像Im1から関心領域IAを検出し、広域画像Im1上における関心領域IAの変位の有無に基づいて、関心領域IAの移動の有無を検出してもよい。
 そして、解析部33は、算出した広域画像Im1における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1における関心領域IAの移動方向と移動量に関する情報)を受けて、その情報信号に基づいて、第2撮像範囲CA2の移動方向と移動量を算出してもよい。撮像範囲制御部34は、算出した第2撮像範囲CA2の移動方向と移動量に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 なお、撮像装置1とターゲットとの位置関係の変化に伴って、関心領域IAの少なくとも一部が第2撮像範囲CA2から外れたとしても、広域画像Im1に関心領域IAが含まれていれば、解析部33によって広域画像Im1における関心領域IAの位置(移動方向と移動量)を検出することができるため、撮像範囲制御部34は、第2撮像範囲CA2に関心領域IAが含まれるように第2撮像素子15bの位置を移動させることができる。
 なお、解析部33は、上述のトラッキング処理によって広域画像Im1において複数の関心領域IAの移動を検出した場合、検出した複数の関心領域IAのそれぞれの広域画像Im1における移動方向と移動量を算出しても良い。この場合、撮像範囲制御部34は、複数の関心領域IAの少なくとも一つが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向(例えば、XY面内方向)に移動させてもよい。
 なお、解析部33は、テンプレートマッチング処理に限らず、他の既存のトラッキング処理によって画像(広域画像Im1及び狭域画像Im2の少なくとも一方)における関心領域IAの移動の有無の検出や画像における移動方向と移動量の算出を実行してもよい。なお、解析部33は、既存のトラッキング処理に限らず、他の既存の画像処理によって画像における移動の有無の検出や画像における関心領域IAの移動方向と移動量の算出を実行してもよい。
 なお、解析部33は、異なる時刻に撮像された広域画像データに基づいて上述したトラッキング処理で算出した、広域画像Im1における関心領域IAの移動方向と移動量に基づいて、既存の深層学習を用いて後の所定時間当たりの関心領域IAの移動方向と移動量を予測してもよい。
 この場合、解析部33は、予測した所定時間当たりの広域画像Im1における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33が移動方向と移動量を予測することは、解析部33が将来の移動方向と移動量を検出すると言い換えられる。なお、解析部33によって予測された広域画像Im1における関心領域IAの移動方向と移動量は、広域画像Im1における将来の関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1における関心領域IAの移動方向と移動量に関する予測情報)を受けて、第2撮像範囲CA2の移動方向と移動量を算出(予測)してもよい。撮像範囲制御部34は、算出した第2撮像範囲CA2の移動方向と移動量に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 つまり、ターゲットと撮像装置1の位置関係が変化した場合、撮像範囲制御部34は、広域画像Im1の画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように駆動部16による第2撮像素子15b(第2撮像部)の移動を実行させてもよい。
 また、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bを移動させてもよい。つまり、撮像範囲制御部34は、広域画像Im1の画像データに基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bの位置を移動させてもよい。
 なお、解析部33は、広域画像Im1に限られず、狭域画像データに基づいて、上述のトラッキング処理を実行することによって、狭域画像Im2における関心領域IAの移動の有無の検出、狭域画像Im2における移動方向と移動量の算出を実行してもよい。一例として、解析部33は、第1の時刻に撮像された狭域画像Im2から上述した物体検出処理で検出した関心領域IAの画像データをテンプレートとして、所定時間後の第2の時刻に撮像された狭域画像Im2から関心領域IAを既存のテンプレートマッチング処理で検出し、第1の時刻と第2の時刻の間における関心領域IAの移動の有無の検出、関心領域IAの移動方向と移動量の算出を実行してもよい。
 そして、解析部33は、狭域画像Im2における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33によって算出される狭域画像Im2における関心領域IAの移動方向と移動量は、狭域画像Im2における関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2における関心領域IAの移動方向と移動量に関する情報)を受けて、その情報信号に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 つまり、ターゲットと撮像装置1の位置関係が変化した場合、撮像範囲制御部34は、狭域画像Im2の画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように駆動部16による第2撮像素子15b(第2撮像部)の移動を実行させてもよい。したがって、撮像装置1は、ターゲットと撮像装置1の位置関係が変化したとしても、撮像装置1の第2撮像範囲CA2から関心領域IAが外れることなく、関心領域IAの狭域画像Im2を生成し続けることができる。
 なお、解析部33は、異なる時刻に撮像された狭域画像データに基づいて上述のトラッキング処理で算出した異なる時刻間における狭域画像Im2上の関心領域IAの移動方向と移動量に基づいて、以降の所定時間当たりの狭域画像Im2における関心領域IAの移動方向と移動量を既存の深層学習によって予測してもよい。この場合、解析部33は、予測した以降の所定時間当たりの関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33によって予測された狭域画像Im2における関心領域IAの移動方向と移動量は、予測された狭域画像Im2における関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、以降の狭域画像Im2における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 つまり、ターゲットと撮像装置1の位置関係が変化した場合、撮像範囲制御部34は、狭域画像Im2の画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように駆動部16による第2撮像素子15b(第2撮像部)の移動を実行させてもよい。
 また、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bを移動させてもよい。
 つまり、撮像範囲制御部34は、狭域画像Im2の画像データに基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bの位置を移動させてもよい。
 なお、解析部33は、ターゲットと撮像装置1の位置関係の変化などによって上述した物体検出処理によって狭域画像Im2上で関心領域IAが検出できない場合、関心領域IAが第2撮像範囲CA2から外れたものと判断しても良い。
 この場合、解析部33は、その時の広域画像画像データを解析することによって、広域画像Im1における関心領域IAの有無を検出する。そして、解析部33は、関心領域IAを検出した場合、広域画像Im1における関心領域IAの位置を算出してもよい。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、広域画像Im1における関心領域IAの位置に関する情報)を受けて、その情報信号に応じて、関心領域IAが第2撮像範囲CA2に含まれるように第2撮像素子15bを移動させてもよい。
 つまり、ターゲットと撮像装置1との位置関係が変化してターゲットの像の少なくとも一部分が第2撮像範囲CA2から外れた場合、撮像範囲制御部34は、広域画像Im1の画像データに基づいて、関心領域IAが第2撮像範囲CA2に含まれるように駆動部16による第2撮像素子15b(第2撮像部)の移動を実行させてもよい。
 なお、解析部33は、狭域画像Im2上で関心領域IAが検出できない場合、解析部33は、その時の広域画像データを解析しなくてもよい。この場合、撮像範囲制御部34は、光軸AX0に交差する方向(例えば、XY面内方向)において所定のパスで第2撮像素子15bを移動させることで関心領域IAを探索してもよい。そして、関心領域IAが第2撮像範囲CA2に含まれる位置で第2撮像素子15bを停止させてもよい。なお、解析部33は、上述した物体検出処理によって、関心領域IAが第2撮像範囲CA2に含まれたことを検出してもよい。
 なお、関心領域IAに含まれている撮像または記録すべきターゲットのみが撮像装置1に対して移動する場合に限らず、撮像装置1とターゲットが相対的に移動する場合であれば、撮像装置1は関心領域IAの狭域画像Im2を撮像し続けることができる。
 なお、図4に示した例では、撮像装置1は、リビングルームLM内に設置されるものとしたが、これに限られない。例えば、1つまたは複数の撮像装置1を建造物の屋内の所定の場所に設置してあらゆる物体(撮像または記録すべきターゲット)を撮像、記録しても良い。
 一例として、保育園、学校、医療施設、介護施設、会議室、商店、駅などの屋内の所定の場所に設置して人物などのあらゆる物体を撮像または記録すべきターゲットとして撮像、記録しても良い。なお、1つまたは複数の撮像装置1を移動体の内部の所定の場所に設置してあらゆる物体(ターゲット)を撮像、記録しても良い。
 一例として、車両、船舶、航空機などの移動体の所定の場所に設置して、それらの移動体からあらゆる物体を撮像または記録すべきターゲットとして撮像、記録しても良い。なお、例えば、1つまたは複数の撮像装置1を、屋外の所定の場所に設置して、人物、動物などのあらゆる物体(ターゲット)を撮像、記録しても良い。一例として、1つまたは複数の撮像装置1を、自動販売機、街灯、電信柱、橋、商店や駅の出入り口などの建造物の所定の場所に設置してあらゆる物体(ターゲット)を撮像、記録しても良い。
 あるいは、撮像装置1は、工作機械の加工室の内部に設置されても良い。そして、加工室の主軸に取り付けられている加工具、加工室のステージに載置されているワーク、加工具によるワークの加工点、加工具によるワークの加工で生じた切粉、および加工具による加工部分へ掛ける切削液などをターゲットとしても良い。例えば、加工室の主軸に取り付けられている加工具を他の種類の加工具と交換する交換装置の内部として、収納されている加工具などをターゲットとしても良い。
 図6は、第1実施形態の撮像装置1の使用状態の他の一例において撮像装置1の撮像によって生成された画像データに基づく画像の例を示す図である。この例においては、撮像装置1は一例として屋外に設置され、撮像装置1の周囲の監視を行う監視カメラとして使用される。なお、監視カメラとしての使用においても、1つまたは複数の撮像装置1は、屋内に設置されても良い。
 なお、1つまたは複数の撮像装置1は、監視カメラとして、商店、駅、空港、医療施設、介護施設、刑務所、軍事施設、国境、道路、公園など監視が必要となる所定の場所に設置して、あらゆる物体を撮像または記録すべきターゲットとして撮像、記録しても良い。なお、1つまたは複数の撮像装置1を、車両、船舶、航空機(ドローン等)などの移動体に設置して、移動体から監視が必要となるあらゆる物体(ターゲット)を撮像、記録しても良い。
 図6(a)は、撮像装置1の第1撮像素子15aの第1撮像範囲CA1が撮像する画像の一例としての、屋外に設置された撮像装置1の周囲の風景を撮像した広域画像データに基づく広域画像Im3を示す図である。解析部33は、広域画像データに基づいて、広域画像Im3に含まれ得るターゲットの情報を解析し、特に撮像または記録を行うべきターゲットの少なくとも一部分が含まれる関心領域IAの有無を検出する。なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様にして、上述した物体検出処理を実行することによって関心領域IAを検出しても良い。なお、広域画像Im3の画像データを広域画像データと称してもよい。
 図6(a)に示した広域画像Im3には、ターゲットとしての人物の画像が含まれており、一例として、解析部33は、破線で示した人物の少なくとも一部の画像が含まれる領域を関心領域IAとして検出する。解析部33は、関心領域IAの広域画像Im3における位置を算出し、撮像範囲制御部34に伝達する。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、広域画像Im3における関心領域IAの位置に関する情報)に応じて駆動部16に駆動信号S3を送り、第2撮像素子15bを一例としてXY面内方向に移動させ、第2撮像範囲CA2の中心CC(図3(b)参照)を、関心領域IAの中心位置と略一致させる。
 これにより、第2撮像素子15bには関心領域IAに対応するターゲットの像が形成され、撮像装置1は、広域画像Im3中の関心領域IAの部分の狭域画像に相当する、図6(b)に示した狭域画像Im4を撮像する。
 なお、関心領域IAが第2撮像範囲CA2に含まれればよいため、撮像範囲制御部34は、第2撮像範囲CA2の中心CCが、関心領域IAの中心位置と所定距離だけ離れた位置に配置されるように第2撮像素子15bを移動させてもよい。なお、狭域画像Im4の画像データを狭域画像データと称してもよい。
 解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様に、広域画像Im3における関心領域IAの移動の有無を検出しても良い。撮像または記録すべきターゲット(人物、動物等)と撮像装置1が相対的に移動した場合(つまり、ターゲットと撮像装置1との位置関係が変化した場合)には、解析部33は、広域画像Im3における関心領域IAの移動方向と移動量を算出してもよい。解析部33は、算出した広域画像Im3における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達する。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、広域画像Im3における関心領域IAの移動方向と移動量に関する情報)に応じて駆動部16に駆動信号S3を送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 したがって、撮像装置1は、撮像装置1とターゲットとの位置関係が変化することによって広域画像Im3における関心領域IAが移動したとしても、撮像装置1の第2撮像範囲CA2から関心領域IAが外れることなく、関心領域IAの狭域画像Im4(つまり、ターゲットの少なくとも一部分の高解像度画像)を生成し続けることができる。
 なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様にして、上述したトラッキング処理を実行することによって互いに異なる時刻に第2撮像素子15bで撮像された複数の広域画像Im3間における関心領域IAの移動を検出しても良い(つまり、関心領域IAの移動の有無を検出し、関心領域IAの移動方向及び移動量を算出してもよい)。なお、解析部33は、既存のトラッキング処理に限らず、他の既存の画像処理によって関心領域IAの移動を検出してもよい。
 なお、撮像装置1とターゲットとの位置関係の変化に伴って、関心領域IAの少なくとも一部が第2撮像範囲CA2から外れたとしても、広域画像Im3に関心領域IAが含まれていれば、解析部33によって広域画像Im3における関心領域IAの位置(移動方向と移動量)を検出することができるため、撮像範囲制御部34は、第2撮像範囲CA2に関心領域IAが含まれるように第2撮像素子15bの位置を移動させることができる。
 なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様にして、異なる時刻に撮像された広域画像データに基づいて上述したトラッキング処理で算出した広域画像Im3における関心領域IAの移動方向と移動量に基づいて、既存の深層学習を用いて後の所定時間当たりの関心領域IAの移動方向と移動量を予測してもよい。
 この場合、解析部33は、予測した所定時間当たりの広域画像Im3における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33によって予測された広域画像Im3における関心領域IAの移動方向と移動量は、広域画像Im3における関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、広域画像Im3における関心領域IAの移動方向と移動量に関する予測情報)に応じて駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 また、撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、広域画像Im3における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bを移動させてもよい。
 なお、解析部33は、広域画像データに限られず、狭域画像データに基づいて、上述した図4、図5に示した撮像装置1の使用状態と同様に上述のトラッキング処理を実行することによって、狭域画像Im4における関心領域IAの移動の有無の検出、狭域画像Im4における移動方向と移動量の算出を実行してもよい。
 そして、解析部33は、狭域画像Im4における関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33によって算出される狭域画像Im4における関心領域IAの移動方向と移動量は、狭域画像Im4における関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im4における関心領域IAの移動方向と移動量に関する情報)を受けて、その情報信号に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様に、異なる時刻に撮像された狭域画像データに基づいて上述のトラッキング処理で算出した狭域画像Im4における関心領域IAの移動方向と移動量に基づいて、以降の所定時間当たりの狭域画像Im4における関心領域IAの移動方向と移動量を既存の深層学習によって予測してもよい。
 この場合、解析部33は、予測した以降の所定時間当たりの関心領域IAの移動方向と移動量を撮像範囲制御部34に伝達してもよい。なお、解析部33によって予測された狭域画像Im4における関心領域IAの移動方向と移動量は、予測された狭域画像Im4における関心領域IAの位置と言い換えることができる。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、検出結果としての、以降の狭域画像Im4における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に応じた駆動信号S3を駆動部16に送り、関心領域IAが第2撮像範囲CA2から外れないように第2撮像素子15bを光軸AX0に交差する方向に移動させてもよい。
 また、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im4における関心領域IAの移動方向と移動量に関する予測情報)を受けて、その情報信号に基づいて、ターゲットと撮像装置1の位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように第2撮像素子15bを移動させてもよい。
 なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様に、ターゲットと撮像装置1の位置関係の変化などによって上述した物体検出処理によって狭域画像Im4上で関心領域IAが検出できない場合、関心領域IAが第2撮像範囲CA2から外れたものと判断しても良い。
 この場合、解析部33は、その時の広域画像データを解析することによって、広域画像Im3における関心領域IAの有無を検出する。そして、解析部33は、関心領域IAを検出した場合、広域画像Im3における関心領域IAの位置を算出してもよい。
 撮像範囲制御部34は、上述した図4、図5に示した撮像装置1の使用状態と同様に、解析部33からの情報信号(つまり、広域画像Im3における関心領域IAの位置に関する情報)を受けて、その情報信号に応じて、関心領域IAが第2撮像範囲CA2に含まれるように第2撮像素子15bを移動させてもよい。
 なお、解析部33は、上述した図4、図5に示した撮像装置1の使用状態と同様に、狭域画像Im4上で関心領域IAが検出できない場合、解析部33は、その時の広域画像データを解析しなくてもよい。この場合、撮像範囲制御部34は、光軸AX0に交差する方向において所定のパスで第2撮像素子15bを移動させることで関心領域IAを探索してもよい。そして、関心領域IAが第2撮像範囲CA2に含まれる位置で第2撮像素子15bを停止させてもよい。
 図6に示した例においても、撮像装置1は、図5に示した例の場合と同様にして上述したAからFまでの少なくとも一つの動作を行っても良い。また、解析部33は、銃や爆弾等の危険物をターゲットとして、関心領域IA内の人物が銃や爆弾等の危険物を所持しているか否かを解析し、所定の危険物を所持している場合には、上述したAからFまでの少なくとも一つの動作を行っても良い。
 なお、第1像14aおよび第1撮像素子15aと、第2像14bおよび第2撮像素子15bとの位置関係が、逆であっても良い。すなわち、第1像14aが、光分割部材13の分割反射面13aを透過し、光軸AX0に概ね沿って進行する光束による像であっても良い。この第1像14aと概ね一致する位置に第1撮像素子14aが配置されていても良い。なお、この場合、光分割部材13の分割反射面13aを透過し、光軸AX0に概ね沿って進行する光束は、一方の光束といえる。
 そして、第2像14bが、光分割部材13の分割反射面13aで反射され、光軸AX1に概ね沿って進行する光束による像であっても良い。この第2像14bと概ね一致する位置に第2撮像素子15bが配置されていても良い。この場合には、第2撮像素子15bは、保持部17に保持され、駆動部16により保持部17とともに、光軸AX1と交差する方向である、Y方向およびZ方向に移動可能に保持される。なお、この場合、光分割部材13の分割反射面13aで反射され、光軸AX1に概ね沿って進行する光束は、他方の光束といえる。
 なお、上記においては、第2撮像素子15bの第2画素PEbの配列ピッチ(PXb、PYb)は、第1撮像素子15aの第1画素PEaの配列ピッチ(PZa、PYa)よりも小さいとしたが、必ずしもこれに限られるわけではない。第2画素PEbの配列ピッチ(PXb、PYb)は、第1撮像素子15aの第1画素PEaの配列ピッチ(PZa、PYa)と同じであっても良く、第1撮像素子15aの第1画素PEaの配列ピッチ(PZa、PYa)よりも大きくても良い。
 また、上記においては、第2撮像素子15bの第2有効領域EA2の面積は、第1撮像素子15aの第1有効領域EA1の面積よりも小さいとしたが、必ずしもこれに限られるわけではない。第2撮像素子15bの第2有効領域EA2の面積は、第1撮像素子15aの第1有効領域EA1の面積と同じであって良く、第1撮像素子15aの第1有効領域EA1の面積よりも小さくても良い。
 なお、制御部30は、必ずしも撮像装置1(又は後述の撮像装置1A)と一体的に構成されている必要はなく、撮像装置1(又は後述の撮像装置1A)とは離れて配置されていても良い。すなわち、撮像装置1(又は後述の撮像装置1A)は必ずしも制御部30を備えていなくても良い。この場合、撮像信号S1a、S1b、制御信号S2a、S2b、および駆動信号S3は、撮像装置1(又は後述の撮像装置1A)と制御部30との間を例えばネットワーク回線または無線を通じて伝達されれば良い。
 なお、撮像装置1(又は後述の撮像装置1A)は、制御部30の撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36の一部を備え、その他の一部は、撮像装置1(又は後述の撮像装置1A)とは離れて配置されていてもよい。
 なお、例えば、撮像装置1(又は後述の撮像装置1A)を物体に設置する場合には、その物体の制御を行う制御装置が制御部30(もしくは、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36のうちの一部)を含んでいてもよい。言い換えると、その物体の制御を行う制御装置が制御部30の機能(もしくは、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36の内の一部の機能)を実行するように構成されていてもよい。
 例えば、撮像装置1(又は後述の撮像装置1A)を移動体、工作機械、光加工機などに設置する場合は、移動体、工作機械、光加工機の制御を行う制御装置が制御部30(もしくは、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36のうちの一部)を含んでいてもよい。言い換えると、移動体や工作機械の制御を行う制御装置が制御部30の機能(もしくは、撮像制御部31、画像生成部32、解析部33、撮像範囲制御部34、記憶部35、およびインターフェース部36の内の一部の機能)を実行するように構成されていてもよい。
 また、撮像装置1は、第2撮像素子15bを保持する保持部17を、必ずしも有している必要は無く、保持部17を介することなく、駆動部16が第2撮像素子15bを直接保持する構成であっても良い。
 なお、撮像装置1は、第2像14bを再結像する不図示の再結像光学系を備えていてもよい。
 例えば、光分割部材13と第2撮像素子15bとの間に再結像光学系を配置し、光分割部材13で分割された光束(他方の光束)によって形成される第2像14bを再結像させてもよい。そして、再結像された第2像14bの一部分の像を第2撮像素子15bで撮像してもよい。この場合、再結像光学系により第2像14bが再結像される位置の近傍に第2撮像素子15bを配置してもよい。なお、この場合、再結像光学系と第2撮像素子15bを含めて第2撮像部と称することもできる。
 なお、再結像光学系は、不図示の保持部を介して筐体19に固定されていてもよい。
 なお、再結像光学系は、少なくとも1つの光学部材を備えていてもよい。なお、再結像光学系が備える光学部材は、レンズを含んでいてもよい。なお、再結像光学系は、複数のレンズを備えていてもよい。この場合、複数のレンズのそれぞれは1枚のレンズであってもよいし、複数のレンズから成るレンズ群であってもよい。なお、再結像光学系は、4枚のレンズを備えていてもよい。なお、再結像光学系は、4つのレンズ群を備えていても良い。
 なお、再結像光学系の結像倍率は、拡大倍率であってもよいし、等倍であってもよいし、縮小倍率であってもよい。また、不図示の駆動部で再結像光学系の少なくとも一部のレンズを光軸方向(例えば、光軸AX0方向)に沿って移動させることで結像倍率を変化させてもよい。この場合、結像倍率は、拡大倍率のまま増減してもよいし、縮小倍率のまま増減してもよいし、拡大倍率から縮小倍率までの範囲で増減してもよい。
 なお、この再結像光学系の結像倍率を拡大倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)より拡大されたターゲットの像を撮像(より拡大されたターゲットの狭域画像を取得)することができる。なお、この場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)より拡大された第2像14bの少なくとも一部を撮像することができるともいえる。
 なお、再結像光学系の結像倍率を拡大倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)第2像14bに対する第2撮像素子15bの位置決め分解能を上げることができる。逆に、第2像14bに対する第2撮像素子15bの位置決め分解能が、再結像光学系のない場合(つまり、等倍の場合)と同等でもよい場合は、駆動部16の駆動分解能(駆動部16による第2撮像素子15bの位置決め分解能)を下げることができるため、駆動部16に既存の安価な駆動機構を用いることができる。
 なお、この再結像光学系の結像倍率を拡大倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)、結像光学系20を介して第2撮像素子15bで撮像する物体側(ターゲット側)における範囲の位置決め分解能を上げることができるともいえる。
 なお、この再結像光学系の結像倍率を縮小倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)より広範囲におけるターゲットの像を撮像(より広範囲におけるターゲットの狭域画像を取得)することができる。なお、この場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)第2像14bのうちのより広範囲の一部を撮像することができるともいえる。
 なお、この再結像光学系の結像倍率を縮小倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)第2像14bに対する第2撮像素子15bの位置をより高速に変化させることができる。逆に、第2像14bに対する第2撮像素子15bの変位速度が、再結像光学系のない場合(つまり、等倍の場合)と同等でもよい場合は、駆動部16の駆動速度(駆動部16による第2撮像素子15bの変位速度)を下げることができるため、駆動部16に既存の安価な駆動機構を用いることができる。
 なお、再結像光学系の結像倍率を縮小倍率とする場合、再結像光学系が無い場合に比べて(つまり、等倍に比べて)、結像光学系20を介して第2撮像素子15bで撮像する物体側(ターゲット側)における範囲をより高速に変化させることができるともいえる。
 なお、撮像装置1は、撮像装置1からターゲット等までの距離を計測する距離計測部を有していても良い。距離計測部は、一例として、ターゲット等に光を照射しその光が距離計測部の戻るまでの時間を計測することで距離を計測する、いわゆるLiDARと呼ばれるものであっても良い。あるいは、カメラにおけるオートフォーカス検出機構のように、ターゲット等の合焦状態に基づいて、ターゲットまでの距離を概算するものであっても良い。
 LiDAR等の距離計測部を有することにより、撮像装置1は、撮像装置1からターゲット等までの距離を把握することができる。また、ターゲット等の3次元的な構造の概略を把握することができる。
(第1実施形態の撮像装置の効果)
(1)第1実施形態の撮像装置1は、結像光学系10と、結像光学系10の少なくとも一部を通過した光を振幅分割する光分割部材13と、光分割部材13で分割された一方の光束によって形成される第1像14aを撮像する第1撮像部(第1撮像素子15a)と、光分割部材13で分割された他方の光束によって形成される第2像14bの内、一部分を撮像する第2撮像部(第2撮像素子15b)とを備えている。そして、他方の光束の光路を横切る方向に第2撮像部を移動させる駆動部16と、を備えている。
 この構成により撮像装置1は、1つの結像光学系10により第1像14aと第2像14bの2つの像を形成する。第1撮像部(15a)が第1像14aからターゲットを含み得る広域画像Im1、Im3を撮像し、第2撮像部(15b)が第2像14bからターゲットを含み得る狭域画像Im2、Im4を撮像する。そして、駆動部16が第2撮像部(15b)を移動させることにより、第2像14bのうちの第2撮像素子15bにより撮像される撮像範囲を高速に移動させることができる。これにより、第2撮像素子15bにより撮像される物体側(ターゲット側)の撮像視野も高速に移動させることができる。
(2)第1撮像部は、第1像14aを撮像する第1撮像素子15aを含み、第2撮像部は、第2像14bの一部分の像を撮像する第2撮像素子15bを含み、第2撮像素子15bの画素(第2画素PEb)の配列ピッチ(PXb、PYb)は、第1撮像素子15aの画素(第1画素PEa)の配列ピッチ(PZa、PYa)よりも小さく、駆動部16は、他方の光束の光路を横切る方向に第2撮像素子15bを移動させるものであっても良い。この構成においては、第2撮像素子15bが撮像する狭域画像Im2、Im4の解像度を、第1撮像素子15aが撮像する広域画像Im1、Im3の解像度よりも、高くすることができる。
(3)結像光学系10の最大画角、すなわち、第1撮像素子15aが撮像する広域画像Im1、Im3の物体側の最大画角は、170°以上であっても良い。この場合、広域画像Im1、Im3は物体側のより広範な範囲を同時に撮像することができる。
(第2実施形態の撮像装置)
 図7は、第2実施形態の撮像装置1Aの概要を示す図である。第2実施形態の撮像装置1Aは、多くの構成が上述した第1実施形態の撮像装置1と共通している。従って、以下では、主に第1実施形態の撮像装置1との相違点について説明を行い、共通する構成については同一の符号を付して、説明を適宜省略する。
 第2実施形態の撮像装置1Aは、光分割部材13を透過し、光軸AX0に概ね沿って進行する光束が形成する第2像14bの少なくとも一部を再結像することによって第3像14cを形成する再結像光学系20を有する点等が、第1実施形態の撮像装置1とは異なっている。そして、第2撮像素子15bは、第2像14bの近傍ではなく、第3像14cの近傍に配置されている。なお、この場合、光分割部材13を反射し、光軸AX1に概ね沿って進行する光束は、一方の光束といえる。また、光分割部材13を透過し、光軸AX0に概ね沿って進行する光束は、他方の光束といえる。
 なお、再結像光学系20と第2撮像素子15bとを含めて、第2撮像部と呼ぶこともできる。なお、第2像14bは、光軸AX0に概ね沿って進行する光束(他方の光束)によって形成され、第2撮像素子15bは、第2像14bの一部分が再結像光学系20で再結像されることによって形成された第3像14cの少なくとも一部分を撮像する。つまり、第2撮像部は、光分割部材で分割された他方の光束によって形成される第2像の内、一部分を撮像する。なお、再結像光学系20により、第2像14bの少なくとも一部が第3像14cとして再結像されることから、第2像14bは中間像ともいえる。
 なお、第2撮像部(再結像光学系20および第2撮像素子15b)が第2像14bの内の一部分を撮像する場合、光分割部材13からの他方の光束の一部が、第2撮像部に入射するともいえる。この場合、第2撮像部は、他方の光束の一部が入射する光入射部29を有するともいえる。なお、光入射部29は、第2撮像部の少なくとも一部であるともいえる。一例として、光入射部29は、再結像光学系20におけるレンズ21aの光入射側(光分割部材13側)の面であってもよい。
 なお、第2撮像部を受光部と称することもできる。受光部は、光分割部材13からの他方の光束の一部を受光するともいえる。この場合、受光部は、他方の光束の一部が入射する光入射部29を有するともいえる。なお、光入射部29は、受光部の少なくとも一部であるともいえる。
 なお、第2撮像部は、再結像光学系20および第2撮像素子15bだけでなく、他のものが含まれていてもよい。例えば、第2撮像部は、再結像光学系20および第2撮像素子15bに加えて、後述の第2駆動部28と後述の可動支持部24、25と後述の第1駆動部16aと後述の第2保持枠17aと後述の第2保持部17bの少なくとも一つを含んでいてもよい。
 再結像光学系20の光軸は、図7に示す光軸AX2である。再結像光学系20は、一例として光軸AX2に沿って配置される複数枚のレンズ21a~21dを含む。複数枚のレンズ21a~21dは第2保持枠17aにより保持されている。第2撮像素子15bは、第2保持枠17aに付設された第2保持部17bにより保持され、その撮像面が第3像14cと概ね一致するように配置されている。第2実施形態の撮像装置1Aにおいては、第2撮像素子15bの第2有効領域EA2の中心は、再結像光学系20の光軸AX2と概ね一致している。
 第2保持枠17aは、第1駆動部16aを介して、筐体19に保持されている。
 第1駆動部16aは、一例として筐体19に固定されている固定子23と、第2保持枠17aに固定され固定子23に対してXY面内方向に可動な移動子22とを含み、第2保持枠17aを保持するとともに、筐体19に対してXY面内方向に移動させる。すなわち、第1駆動部16aは、第2保持枠17aに支持されている再結像光学系20および第2撮像素子15b(つまり、第2撮像部)を、筐体19に固定されている結像光学系10に対してXY面内方向に移動させる。
 第1駆動部16aが再結像光学系20および第2撮像素子15bを移動させると、第2像14bにおいて、第3像14cとして再結像され第2撮像素子15bに撮像される領域、すなわち上述した第2撮像範囲CA2(図3(b)参照)が変化する。なお、第2実施形態においては、第2像14bにおける第2撮像範囲CA2の大きさは、第2撮像素子15bの第2有効領域EA2の大きさと同一とは限らず、再結像光学系20の結像倍率に応じて拡大または縮小されたものとなり得る。
 第1駆動部16aは、一例として、固定子23と移動子22とを有するリニアモーターであっても良く、ステッピングモーターとリードスクリューとを有する構成であっても良い。なお、第1駆動部16aは、ステッピングモーターとガイドバーとを有する構成であっても良い。すなわち、第2保持枠17aは、再結像光学系20と第2撮像素子15bとの光学的な位置関係(例えば、再結像光学系20と第2撮像素子15bとの相対的な位置関係)が変わらないように再結像光学系20と第2撮像素子15b(つまり、第2撮像部)とを支持した状態で、第1駆動部16aによりXY面内方向に移動される。なお、駆動部16aは、第2保持枠17a(再結像光学系20と第2撮像素子15b)をX方向またはY方向に移動可能であってもよい。なお、駆動部16aは、第2保持枠17aをXY平面における任意の1方向に移動可能であってもよい。
 なお、第1駆動部16aによる第2保持枠17aの移動方向は、必ずしもXY面内方向に限られるわけではなく、Z方向と交差する方向、すなわち、結像光学系10の光軸AX0と交差する方向であれば良い。換言すれば、第1駆動部16aは、再結像光学系20および第2撮像素子15bを結像光学系10の光軸AX0と交差する方向に移動させるものであっても良い。
 また、第2保持枠17aの移動方向は回転方向であっても良く、例えば、X軸を中心とする回転方向(θx方向)、Y軸を中心とする回転方向(θy方向)、Z軸を中心とする回転方向(θz方向)のうち少なくとも1つの回転方向であっても良い。
 以上を換言すれば、第1駆動部16aは、光軸AX0に概ね沿って進行する他方の光束が第2撮像素子15bへ入射する方向と交差する方向に第2保持枠17a、つまり再結像光学系20および第2撮像素子15b(第2撮像部)を移動させるとも言える。また、第1駆動部16aは、第2保持枠17aを、第2像14bの像面の面内方向に移動させるともいえる。
 第1駆動部16aは、上述した第1実施形態の撮像装置1における駆動部16に対応する構成であるともいえる。
 また、第2保持枠17aおよび第2保持部17bは、上述した第1実施形態の撮像装置1における保持部17に対応する構成であるともいえる。
 なお、第2保持枠17aが第2撮像素子15bを直接保持する場合には、第2保持部17bを設けなくても良い。
 第2保持枠17aは、再結像光学系20および第2撮像素子15bを一体的に保持しても良い。また、第2保持枠17aは、一体的に形成されている構成であっても良く、複数の構成部品が結合された構成であっても良い。
 再結像光学系20を構成するレンズ21a~21dのうち、レンズ21a、21dは、第2保持枠17aに固設されている。これに対し、レンズ21bは、リニアモーター等の駆動機構26により第2保持枠17aに対して光軸AX2の方向(一例として±Z方向)に移動可能に支持されている可動支持部24により支持されている。また、レンズ21cは、リニアモーター等の駆動機構27により第2保持枠17aに対して光軸AX2の方向(一例として±Z方向)に移動可能に支持されている可動支持部25により支持されている。
 すなわち、駆動機構26、27により、レンズ21b、21cは、レンズ21a、21dに対して光軸AX2の方向に移動可能となっている。なお、駆動機構26、27により、レンズ21b、21cは、レンズ21a、21dに対して概ね光軸AX2の方向に移動可能となっていればよく、レンズ21a、21dに対して光軸AX2の方向から傾いた方向に移動可能となっていてもよい。なお、駆動機構26、27は、上述したリニアモーターを含む機構に限られるわけではなく、ステッピングモーターとリードスクリューとを有する移動機構であっても良い。
 なお、レンズ21bは、駆動機構26により、+Z方向および-Z方向のどちらにも移動可能に構成されていても良く、+Z方向または-Z方向のどちらか一方のみに移動可能に構成されても良い。また、レンズ21cは、駆動機構27により、+Z方向および-Z方向のどちらにも移動可能に構成されていても良く、+Z方向または-Z方向のどちらか一方のみに移動可能に構成されても良い。
 以下では、駆動機構26、27を合わせて、または個々に、第2駆動部28とも呼ぶ。第2駆動部28がレンズ21bおよびレンズ21cを駆動することにより、レンズ21bおよびレンズ21cがZ方向に移動し、再結像光学系20の結像倍率(第2像14bに対する第3像14cの倍率、つまり第3像14c)が変化する。
 なお、図7においては、レンズ21a~21dは、いずれも1枚のレンズとして示しているが、いずれも複数枚のレンズから成るレンズ群であっても良く、ミラーや回折光学素子等を含むものであっても良い。また、再結像光学系20を構成するレンズ群の数も、図示した4個に限られるわけではなく、1個以上の任意の個数であっても良い。さらに、再結像光学系20を構成するレンズ群のうち、第2駆動部28によりZ方向に移動されるレンズ群(またはレンズ)の数は、上述した2つの群(レンズ21bおよびレンズ21c)に限られるわけではなく、他の任意の個数であっても良い。
 第2駆動部28による一部のレンズ21b、21c等の光軸AX2方向への移動により、第3像14cの結像位置を、第2撮像素子15bの撮像面に合致させても良い。あるいは、第2駆動部28により光軸方向に移動される21b、21cとは別のレンズ21a、21d等を、光軸AX2方向に移動する駆動機構を有し、この駆動機構により第3像14cの結像位置を第2撮像素子15bの撮像面に合致させても良い。あるいは、第2撮像素子15bを光軸AX2方向に移動する駆動機構を有し、この駆動機構により、第2撮像素子15bの撮像面を最第3像14cの結像位置に合致させても良い。
 第1駆動部16aの駆動により、第2像14bにおける第2撮像範囲CA2の中心CCの位置が変化する。また、第2駆動部28の駆動により、第2撮像範囲CA2の大きさが変化する。すなわち、第1駆動部16aまたは第2駆動部28の駆動により、第2撮像素子15bにより撮像される物体側(ターゲット側)の撮像視野が変化する。
 再結像光学系20の結像倍率は、第2像14bの少なくとも一部を拡大して第3像14cとする拡大倍率であっても良く、あるいは、等倍、または縮小倍率であっても良い。再結像光学系20の結像倍率は、第2駆動部28による一部のレンズ21b、21c等の光軸AX2方向への移動により、拡大倍率のまま増減しても良く、縮小倍率のまま増減しても良く、あるいは、拡大倍率から縮小倍率までの範囲で増減しても良い。
 再結像光学系20の結像倍率が拡大倍率であると、第3像14cは第2像14bの少なくなくと一部が拡大された像になるため、第2撮像素子15bにより撮像される狭域画像の解像度は一層向上する。
 なお、再結像光学系20と第2撮像素子15bとは、第2保持枠17aにより一体に保持されていなくても良い。例えば、再結像光学系20は第2保持枠17aにより保持され、第2撮像素子15bは、第2保持枠17aとは別の保持機構により保持されていても良い。そして、第1駆動部16aは、再結像光学系20と第2撮像素子15bとの光学的な位置関係(再結像光学系20と第2撮像素子15bとの相対位置関係)が変わらないように、第2保持枠17aおよび別の保持機構を結像光学系10の光軸AX0(Z方向)と交差する方向に移動させても良い。この場合、第2保持枠17aおよび別の保持機構は、同期して移動することになる。
 なお、再結像光学系20の結像倍率(つまり、第3像14cの倍率)の変更は、上述したレンズ21b、21cのZ方向への移動以外の方法で行っても良い。例えば、再結像光学系20内に、いわゆる液体レンズを設け、液体レンズに印加する電圧を変化させることにより、再結像光学系20の結像倍率を変更しても良い。この場合、第2駆動部28は、液体レンズに印加する電圧を制御する電圧制御部となる。
 なお、再結像光学系20の結像倍率の変更は、再結像光学系20に所定の光学系を挿脱することにより行っても良い。この場合、第2駆動部28は、所定の光学系を挿脱する挿脱部となる。なお、結像光学系10からの光の光路上に配置される光学系(つまり、再結像光学系20の少なくとも一部)は、互いに結像倍率の異なる第1倍率の光学系と第2倍率の光学系とで交換可能に構成されていても良い。
 この場合、結像光学系10からの光の光路上に配置される光学系が、第1倍率の光学系である場合と第2倍率の光学系である場合とで第3像14cの倍率が変化する。なお、この場合、第2駆動部28は、結像光学系10からの光の光路上に配置される光学系を、第1倍率の光学系と第2倍率の光学系との間で交換する交換部となる。また、結像光学系10からの光の光路上に配置される光学系(再結像光学系20)の少なくとも一部の前後を反転させることによって、この光学系の結像倍率を変更しても良い。
 図8は、第2実施形態の撮像装置1Aの結像光学系10および再結像光学系20の一部を拡大して示した図である。図8に示した2つの光束LB1、LB2は、不図示の物体上の互いに異なる部分からの(又は、相互に異なる物体からの)、結像光学系10に入射して第2像14bの一部を形成し、再結像光学系20に入射する光束である。
 以下では、第2像14bが形成されている領域を、像形成領域とも呼ぶ。なお、不図示の物体は、撮像または記録すべきターゲットであってもよい。
 光束LB1は、結像光学系10から第2像14bが形成される像形成領域の中の第1箇所Q1に向かう。光束LB2は、結像光学系10から像形成領域の中の第2箇所Q2に向かう。結像光学系10の光軸AX0から第1箇所Q1までの距離D1は、結像光学系10の光軸AX0から第2箇所Q2までの距離D2とは異なっている。
 光束LB1の主光線PR1は、光束LB1の中心を通る光線であり、光束LB2の主光線PR2は、光束LB2の中心を通る光線である。
 上述したように、第2実施形態の撮像装置1Aにおいては、結像光学系10が形成する第2像14bの少なくとも一部を、再結像光学系20が再結像して、第2撮像素子15b上に第3像14cを形成する。一般的には、このような構成においては、再結像光学系20の光軸AX2が、結像光学系10の光軸AX0と交差する方向に位置ずれすると、再結像光学系20に入射する光束の入射角度が変化するため、再結像光学系20の結像性能が悪化してしまう。
 これに対し、第2実施形態の撮像装置1Aにおいては、結像光学系10により結像される各光束(光束LB1、LB2等)の主光線PR1、PR2等が、光軸AX0と概ね平行に像形成領域に入射する。換言すれば、結像光学系10は、像形成領域(第2像14b)側において、いわゆるテレセントリックになっている。
 像形成領域に入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の光軸AX0に対する角度は、一例として、1°以内であっても良い。この場合、結像光学系10から像形成領域の第1箇所Q1へ向かう光束LB1の主光線PR1の光軸AX0に対する角度と、結像光学系10から像形成領域の第2箇所Q2へ向かう光束LB2の主光線PR2の光軸AX0に対する角度との差は、1°以内と言える。
 なお、像形成領域に入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の光軸AX0に対する角度は、0.5°以内であっても良いし、0.3°以内であっても良い。この場合、結像光学系10から像形成領域の第1箇所Q1へ向かう光束LB1の主光線PR1の光軸AX0に対する角度と、結像光学系10から像形成領域の第2箇所Q2へ向かう光束LB2の主光線PR2の光軸AX0に対する角度との差は、0.5°以内であっても良いし、0.3°以内であっても良い。
 また、像形成領域に入射する全ての光束の主光線の進行方向の、光軸AX0に対する角度が0.5°以内であっても良いし、0.3°以内であっても良い。また、像形成領域に入射する光束のうち互いに異なる位置に入射する2つの主光線の進行方向の、光軸AX0に対する角度が0.5°以内であっても良いし、0.3°以内であっても良い。これらの条件は、像形成領域に入射する少なくとも1つの光束について成立していても良い。
 従って、像形成領域(第2像14b)を経て再結像光学系20に入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)も、再結像光学系20の光軸AX2に概ね平行に進行して、再結像光学系20に入射する。このため、第1駆動部16aにより、再結像光学系20が、結像光学系10の光軸AX0に対して直交する方向(XY面内方向)に移動しても、再結像光学系20に入射する光束(光束LB1、LB2等)の入射角度は、殆ど変化しない。従って、再結像光学系20を結像光学系10に対してXY面内方向に移動させても、再結像光学系20は良好な結像性能を維持し、高解像な第3像14cを第2撮像素子15bで撮像できる。
 結像光学系10を第2像14b側(像形成領域側)においてテレセントリックとするために、一例として、所定の位置に開口絞り10Sを設けても良い。あるいは、レンズ11c等の所定のレンズの有効径を所定の大きさに制限することにより、第2像14b側(像形成領域側)においてテレセントリックとしても良い。なお、開口絞り10Sを配置する位置は、図8に示す位置に限られない。なお、開口絞り10Sは、結像光学系10に設けなくてもよい。
 なお、再結像光学系20を、第2像14b側、すなわち結像光学系10側でテレセントリックとすることによっても、再結像光学系20のXY面内方向への移動による、再結像光学系20への入射光束(光束LB1、LB2等)の入射角度の変化を防止できる。このためには、一例として再結像光学系20の内部に不図示の開口絞りを設け、この開口絞りにより再結像光学系20を通過する光束(光束LB1、LB2等)の主光線PR1、PR2等が、再結像光学系20の光軸AX2と略平行に進行するように設定すれば良い。開口絞りに代えて、再結像光学系20を構成するレンズ21a~21d等のレンズの有効径を所定の系に制限して、再結像光学系20を上述したテレセントリックとしても良い。
 像形成領域(第2像14b)から再結像光学系20へ入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の光軸AX2に対する角度は、一例として、1°以内であっても良い。この場合、像形成領域の第1箇所Q1から再結像光学系20へ向かう光束LB1の主光線PR1の、光軸AX2に対する角度と、像形成領域の第2箇所Q2から再結像光学系20へ向かう光束LB2の主光線PR2の、光軸AX2に対する角度との差は、1°以内と言える。
 なお、像形成領域から再結像光学系20へ入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の、光軸AX2に対する角度は、0.5°以内であっても良いし、0.3°以内であっても良い。この場合、像形成領域の第1箇所Q1から再結像光学系20へ向かう光束LB1の主光線PR1の、光軸AX2に対する角度と、像形成領域の第2箇所Q2から再結像光学系20へ向かう光束LB2の主光線PR2の、光軸AX2に対する角度との差は、0.5°以内であっても良いし、0.3°以内であっても良い。
 また、像形成領域から再結像光学系20に入射する全ての光束の主光線の進行方向の、光軸AX2に対する角度が0.5°以内であっても良いし、0.3°以内であっても良い。また、像形成領域から再結像光学系20に入射する光束のうち互いに異なる位置からの2つの主光線の進行方向の、光軸AX2に対する角度が0.5°以内であっても良いし、0.3°以内であっても良い。これらの条件は、像形成領域から再結像光学系20に入射する少なくとも1つの光束について成立していても良い。
 なお、結像光学系10と再結像光学系20の両者が共に第2像14b側(像形成領域側)においてテレセントリックであっても良い。この場合、結像光学系10から像形成領域(第2像14b)に入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の、光軸AX0に対する角度と、像形成領域(第2像14b)から再結像光学系20へ入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の、光軸AX2に対する角度との差は、一例として、1°以内であっても良い。
 なお、像形成領域における結像光学系10の光軸AX0と再結像光学系20の光軸AX2とは概ね平行であってもよい。なお、像形成領域に限らず、結像光学系10の全体における光軸AX0と再結像光学系20の全体における光軸AX2とは概ね平行であってもよい。
 なお、結像光学系10から像形成領域(第2像14b)に入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の、光軸AX0に対する角度と、像形成領域から再結像光学系20へ入射する光束(光束LB1、LB2等)の主光線(主光線PR1、PR2等)の進行方向の、光軸AX2に対する角度との差は、0.5°以内であっても良いし、0.3°以内であっても良い。これらの条件は、像形成領域を通過する光束のうち、少なくとも1つの光束について成立していても良い。
 なお、結像光学系10と再結像光学系20の両者が共に第2像14b側でテレセントリックである必要はない。結像光学系10または再結像光学系20のどちらか一方が第2像14b側でテレセントリックであれば、他方は、一方の光学系と第2像14bの第2撮像範囲CA2とを通過する光束(光束LB1、LB2等)を遮ることなく通過させる、すなわち開口数の大きな光学系(或いは明るい光学系)であれば良い。
 第2実施形態の撮像装置1Aも、上述した第1実施形態の撮像装置1の用途と同様の用途に使用して良い。
 第2実施形態の撮像装置1Aの制御部30の構成および機能は、上述した第1実施形態の撮像装置1の制御部30の構成および機能とほぼ同様である。ただし、撮像範囲制御部34は、第2撮像部(第2撮像素子15bおよび再結像光学系20等)の、光軸AX0と交差する方向の位置だけでなく、再結像光学系20の結像倍率についても制御しても良い。
 制御部30の解析部33は、上述した第1実施形態と同様に、第1撮像素子15aが撮像した広域画像Im1、Im3に対応する広域画像データに含まれ得るターゲットの情報、または第2撮像素子15bが撮像した狭域画像Im2、Im4に対応する狭域画像データに含まれ得るターゲットの情報を解析する。なお、解析部33は、第1撮像素子15aが撮像した広域画像Im1、Im3に対応する広域画像データに含まれ得るターゲットの情報と第2撮像素子15bが撮像した狭域画像Im2、Im4に対応する狭域画像データに含まれ得るターゲットの情報とを解析してもよい。
 第2実施形態の撮像装置1Aにおいては、解析部33は、上述した画像(つまり、広域画像Im1、Im3、及び狭域画像Im2、Im4の少なくとも一方の画像)における関心領域IAの有無の検出、画像における関心領域IAの位置の算出、撮像装置1Aとターゲットとの位置関係の変化に伴う画像における関心領域IAの移動方向及び移動量の算出(つまり、撮像装置1Aとターゲットとの位置関係が変化した後の画像における関心領域IAの位置の算出)、及び表情あるいは身振りまたは手振りの検出の少なくとも一つの処理に加えて/又は、画像における関心領域IAの大きさ(サイズ)の算出及び撮像装置1Aとターゲットとの位置関係の変化に伴う画像における関心領域IAの大きさ(サイズ)の変化量の算出(つまり、撮像装置1Aとターゲットとの位置関係が変化した後の画像における関心領域IAの大きさの算出)の少なくとも一方の処理を行っても良い。
 解析部33による関心領域IAの大きさ(サイズ)の算出は、換言すれば、解析部33が関心領域IAの大きさ(サイズ)を検出するということもできる。
 例えば、解析部33は、広域画像データに上述の物体検出処理を実行して関心領域IAを検出し、広域画像Im1、Im3における関心領域IAの大きさ(サイズ)を算出してもよい。そして、解析部33は、広域画像Im1、Im3における関心領域IAの大きさを撮像範囲制御部34に伝達してもよい。なお、画像(広域画像Im1、Im3や狭域画像Im2、Im4)における関心領域IAの大きさは既知の方法で算出できるため、その算出方法の説明は割愛する。
 なお、解析部33による関心領域IAの検出は、換言すれば、解析部33が関心領域IAを認識するということもできる。また、解析部33による関心領域IAの広域画像Im1、Im3における大きさの算出は、換言すれば、解析部33が関心領域IAの大きさを認識するということもできる。
 なお、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさに関する情報)に応じて第2駆動部28に駆動信号S4を送り、再結像光学系20の倍率、すなわち第3像14cの倍率(狭域画像Im2、Im4における関心領域IAの大きさ)を変更させてもよい。すなわち、撮像範囲制御部34は、第2駆動部28の駆動機構26、27を駆動させることによりレンズ21b、21cをZ方向に移動させ、再結像光学系20の倍率を変更させてもよい。なお、再結像光学系20の倍率を変更すること(すなわち、第3像14cの倍率を変更すること)は、狭域画像Im2、Im4における関心領域IAの大きさを変更することと言い換えられる。
 なお、解析部33は、広域画像Im1、Im3における関心領域IAの大きさ(サイズ)の算出に加えて/又は第1実施形態と同様に広域画像Im1、Im3における関心領域IAの位置を算出してもよい。そして、撮像範囲制御部34は、再結像光学系20の倍率の変更に加えて/又は解析部33による上述の検出結果(広域画像Im1、Im3における関心領域IAの位置に関する情報)に基づいて、上述した第1実施形態と同様に、第1駆動部16aに駆動信号S3を送り、再結像光学系20および第2撮像素子15b(つまり、第2撮像部)を光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、広域画像データに基づいて、第1駆動部16aによる再結像光学系20および第2撮像素子15b(第2撮像部)の移動と、第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。なお、撮像範囲制御部34は、再結像光学系20の倍率の変更と再結像光学系20および第2撮像素子15bの移動を実行する場合、第1駆動部16aに駆動信号S3を送りつつ、第2駆動部28に駆動信号S4を送り、再結像光学系20および第2撮像素子15bの位置を移動させつつ、レンズ21b、21cの位置を移動させてもよい。
 この場合、再結像光学系20および第2撮像素子15bの位置が移動する期間の少なくとも一部と、レンズ21b、21cの位置が移動する期間の少なくとも一部とが重複することになる。なお、再結像光学系20および第2撮像素子15bの位置が移動する全期間と、レンズ21b、21cの位置が移動する全期間とが完全に重複していなくてもよい。
 また、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさに関する情報)に応じて、第2撮像素子15bの第2撮像範囲CA2に関心領域IAが含まれるように再結像光学系20の倍率を変更させてもよい。
 なお、撮像範囲制御部34は、再結像光学系20の倍率の変更に加えて/又は解析部33による上述の検出結果(広域画像Im1、Im3における関心領域IAの位置に関する情報)に基づいて、第2撮像範囲CA2に関心領域IAが含まれるように再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、広域画像データに基づいて、関心領域IAが第2撮像範囲CA2に含まれるように第1駆動部16aによる再結像光学系20および第2撮像素子15b(第2撮像部)の移動と第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。
 なお、一例として、第2撮像範囲CA2の大きさと関心領域IAの大きさが比較的大きく異なり、且つ関心領域IAが第2撮像範囲CA2から離れている場合、撮像範囲制御部34は、上述のように、第2撮像範囲CA2に関心領域IAが含まれるように、再結像光学系20の倍率の変更と再結像光学系20および第2撮像素子15bの光軸AX0と交差する方向への移動を実行してもよい。
 なお、撮像装置1Aとターゲットとの位置関係が変化した場合、解析部33は、広域画像Im1、Im3における関心領域IAの大きさの変化(つまり、ターゲットの少なくとも一部分の画像の大きさの変化)の有無を検出しても良い。例えば、解析部33は、上述のトラッキング処理を実行することによって、互いに異なる時刻に第1撮像素子15aで撮像された複数の広域画像Im1、Im3間における関心領域IAの大きさの変化を検出し、関心領域IAの大きさの変化量を算出してもよい。
 そして、解析部33は、関心領域IAの大きさが変化した場合、広域画像Im1、Im3における関心領域IAの大きさの変化量(つまり、撮像装置1Aとターゲットとの位置関係が変化した後の関心領域IAの大きさ)を算出してもよい。解析部33は、広域画像Im1、Im3における関心領域IAの大きさの変化量を撮像範囲制御部34に伝達する。なお、解析部33が関心領域IAの大きさの変化量を算出することは、解析部33が関心領域IAの大きさの変化量を検出すると言い換えられる。
 なお、解析部33によって算出される広域画像Im1、Im3における関心領域IAの大きさの変化量は、撮像装置1Aとターゲットとの位置関係が変化した後の広域画像Im1、Im3における関心領域IAの大きさと言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさの変化量に関する情報)に応じて駆動部28に駆動信号S4を送り、関心領域IAが第2撮像範囲CA2から外れないように再結像光学系20の倍率を変更させてもよい。
 なお、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさの変化量に関する情報)に応じて、関心領域IAの大きさの変化を相殺するように、再結像光学系20の倍率を変更させてもよい。例えば、関心領域IAが大きくなった場合、撮像範囲制御部34は、再結像光学系20の倍率を下げてもよい。一方、関心領域IAが小さくなった場合、撮像範囲制御部34は、再結像光学系20の結像倍率を上げてもよい。この場合、撮像装置1Aは、ターゲットと撮像装置1Aとの距離が変化したとしても、第2撮像範囲CA2に対して概ね一定の大きさで関心領域IAを撮像し続けることができる。
 なお、解析部33は、広域画像Im1、Im3における関心領域IAの大きさの変化量の算出に加えて/又は第1実施形態と同様に広域画像Im1、Im3における関心領域IAの移動方向及び移動量を算出してもよい。そして、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2から外れないように、再結像光学系20の倍率の変更に加えて/又は、再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、広域画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように第1駆動部16aによる再結像光学系20および第2撮像素子15b(第2撮像部)の移動と第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。
 なお、解析部33は、異なる時刻に撮像された広域画像データに基づいて上述したトラッキング処理で算出した、広域画像Im1、Im3における関心領域IAの大きさの変化量に基づいて、既存の深層学習を用いて後の所定時間当たりの関心領域IAの大きさの変化量を予測(算出)してもよい。なお、解析部33が予測する関心領域IAの大きさの変化量は、解析部33が将来の関心領域IAの大きさの変化量を検出すると言い換えられる。なお、解析部33によって予測された広域画像Im1、Im3における関心領域IAの大きさの変化量は、将来の広域画像Im1、Im3における関心領域IAの大きさと言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさの変化量に関する予測情報)に応じて関心領域IAが第2撮像範囲CA2から外れないように再結像光学系20の倍率を変更させてもよい。
 なお、解析部33は、広域画像Im1、Im3における関心領域IAの大きさの変化量の予測に加えて/又は第1実施形態と同様に広域画像Im1、Im3における関心領域IAの移動方向及び移動量を予測してもよい。そして、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2から外れないように、再結像光学系20の倍率の変更に加えて/又は、再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 なお、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの大きさの変化量に関する予測情報)に応じて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの大きさが略変化しないように再結像光学系20の倍率を変更させてもよい。つまり、撮像範囲制御部34は、広域画像データに基づいて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの大きさが略変化しないように再結像光学系20の倍率の変更を実行してもよい。
 なお、解析部33は、第1実施形態と同様に、広域画像Im1、Im3における関心領域IAの移動方向及び移動量を予測してもよい。撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im1、Im3における関心領域IAの移動方向と移動量に関する予測情報)に応じて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、広域画像データに基づいて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように再結像光学系20および第2撮像素子15bの移動を実行してもよい。
 なお、解析部33は、広域画像データに限られず、上述の物体検出処理を用いて狭域画像データ(つまり、狭域画像Im2、Im4の画像データ)を解析することによって、狭域画像Im2、Im4における関心領域IAの大きさを算出してもよい。撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2、Im4における関心領域IAの位置に関する情報)に応じて、再結像光学系20の倍率を変更させてもよい。
 なお、解析部33は、狭域画像Im2、Im4における関心領域IAの大きさの算出に加えて/又は第1実施形態と同様に狭域画像Im2、Im4における関心領域IAの位置を算出してもよい。そして、撮像範囲制御部34は、再結像光学系20の倍率の変更に加えて/又は、再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、狭域画像データに基づいて、第1駆動部16aによる再結像光学系20および第2撮像素子15bの移動と第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。
 なお、撮像装置1Aとターゲットとの位置関係が変化した場合、解析部33は、上述のトラッキング処理を用いて狭域画像Im2、Im4における関心領域IAの大きさの変化量を算出してもよい。なお、解析部33によって算出される広域画像Im2、Im4における関心領域IAの大きさの変化量は、撮像装置1Aとターゲットとの位置関係が変化した後の広域画像Im2、Im4における関心領域IAの大きさと言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2、Im4における関心領域IAの大きさの変化量に関する情報)に応じて関心領域IAが第2撮像範囲CA2から外れないように再結像光学系20の倍率を変更させてもよい。
 なお、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2、Im4における関心領域IAの大きさの変化量に関する情報)に応じて、関心領域IAの大きさの変化を相殺するように、再結像光学系20の倍率を変更させてもよい。例えば、関心領域IAが大きくなった場合、撮像範囲制御部34は、再結像光学系20の倍率を下げてもよい。一方、関心領域IAが小さくなった場合、撮像範囲制御部34は、再結像光学系20の結像倍率を上げてもよい。
 なお、解析部33は、狭域画像Im2、Im4における関心領域IAの大きさの変化量の算出に加えて/又は第1実施形態と同様に狭域画像Im2、Im4における関心領域IAの移動方向及び移動量を算出してもよい。そして、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2から外れないように、再結像光学系20の倍率の変更に加えて/又は、再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、狭域画像データに基づいて、関心領域IAが第2撮像範囲CA2から外れないように第1駆動部16aによる再結像光学系20および第2撮像素子15bの移動と第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。
 なお、解析部33は、異なる時刻に撮像された狭域画像データに基づいて上述したトラッキング処理で算出した、狭域画像Im2、Im4における関心領域IAの大きさの変化量に基づいて、既存の深層学習を用いて将来の所定時間当たりの関心領域IAの大きさの変化量を予測してもよい。なお、解析部33によって予測された狭域画像Im2、Im4における関心領域IAの大きさの変化量は、将来の狭域画像Im2、Im4における関心領域IAの大きさと言い換えることができる。
 撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2、Im4における関心領域IAの大きさの変化量に関する予測情報)に応じて関心領域IAが第2撮像範囲CA2から外れないように再結像光学系20の倍率を変更させてもよい。
 なお、解析部33は、狭域画像Im2、Im4における関心領域IAの大きさの変化量の予測に加えて/又は第1実施形態と同様に狭域画像Im2、Im4における関心領域IAの移動方向及び移動量を予測してもよい。そして、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2から外れないように、再結像光学系20の倍率の変更に加えて/又は、再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 なお、撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、狭域画像Im2、Im4における関心領域IAの大きさの変化量に関する予測情報)に応じて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの大きさが略変化しないように再結像光学系20の倍率を変更させてもよい。
 つまり、撮像範囲制御部34は、狭域画像データに基づいて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの大きさが略変化しないように再結像光学系20の倍率の変更を実行してもよい。
 なお、解析部33は、第1実施形態と同様に、狭域画像Im2、Im4における関心領域IAの移動方向及び移動量を予測してもよい。撮像範囲制御部34は、解析部33からの情報信号(つまり、検出結果としての、広域画像Im2、Im4における関心領域IAの移動方向と移動量に関する予測情報)に応じて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように再結像光学系20および第2撮像素子15bを光軸AX0と交差する方向に移動させてもよい。
 つまり、撮像範囲制御部34は、狭域画像データに基づいて、ターゲットと撮像装置1Aの位置関係の変化の前後で第2撮像範囲CA2における関心領域IAの位置が略変化しないように再結像光学系20および第2撮像素子15bの移動を実行してもよい。
 なお、解析部33は、上述した第1実施形態と同様に、ターゲットと撮像装置1Aの位置関係の変化などによって上述した物体検出処理によって狭域画像Im2、Im4上で関心領域IAが検出できない場合、関心領域IAが第2撮像範囲CA2から外れたものと判断しても良い。
 この場合、解析部33は、関心領域IA(つまり、ターゲットの画像)を再度検出するため、その時の広域画像データを解析することによって、広域画像Im1、Im3における関心領域IAの大きさ及び位置の少なくとも一方を算出してもよい。撮像範囲制御部34は、解析部33からの情報信号(つまり、広域画像Im1、Im3における関心領域IAの大きさ及び位置の少なくとも一方に関する情報)に応じて、関心領域IAが第2撮像範囲CA2に含まれるように再結像光学系20の倍率の変更と、再結像光学系20および第2撮像素子15bの光軸AX0と交差する方向への移動との少なくとも一方を実行してもよい。
 つまり、関心領域IAが第2撮像範囲CA2から外れた場合、撮像範囲制御部34は、広域画像データに基づいて、関心領域IAが第2撮像範囲CA2に含まれるように、再結像光学系20および第2撮像素子15bの移動と再結像光学系20の倍率の変更との少なくとも一方を実行してもよい。
 なお、解析部33は、狭域画像Im2、Im4上で関心領域IAが検出できない場合、解析部33は、その時の広域画像データを解析しなくてもよい。この場合、撮像範囲制御部34は、再結像光学系20の倍率を下げてもよい。再結像光学系20の倍率を下げることにより第2撮像範囲CA2に相当する物体側の視野が広くなるため、ターゲットの探索範囲を広げることができる(つまり、関心領域IAの大きさを小さくすることができる)。
 なお、解析部33は、上述した物体検出処理によって、関心領域IAが第2撮像範囲CA2に含まれたことを検出してもよい。つまり、関心領域IAが第2撮像範囲CA2から外れた場合、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2に含まれるように、再結像光学系20の拡大倍率を下げてもよい。
 なお、解析部33は、第1実施形態と同様に、狭域画像Im2、Im4上で関心領域IAが検出できない場合、解析部33は、その時の広域画像データを解析しなくてもよい。この場合、撮像範囲制御部34は、光軸AX0に交差する方向において所定のパスで再結像光学系20及び第2撮像素子15bを移動させることで関心領域IAを探索してもよい。そして、関心領域IAが第2撮像範囲CA2に含まれる位置で第2撮像素子15bを停止させてもよい。
 つまり、関心領域IAが第2撮像範囲CA2から外れた場合、撮像範囲制御部34は、関心領域IAが第2撮像範囲CA2に含まれるように、第1駆動部16aによる再結像光学系20および第2撮像素子15bの移動と第2駆動部28による再結像光学系20の倍率の変更の少なくとも一方を実行してもよい。
 なお、解析部33が第2撮像範囲CA2からターゲットが外れたものと判断した場合、関心領域IA(つまり、ターゲットの画像)を再度検出するため、撮像範囲制御部34は、再結像光学系20および第2撮像素子15bを移動させつつ、再結像光学系20の結像倍率を下げてもよい。
 なお、解析部33は、広域画像データまたは狭域画像データに基づいて、広域画像Im1、Im3または狭域画像Im2、Im4に含まれるターゲットとしての人物等の上述した所定の表情または動作を検出した際には、第1実施形態において説明したAからFまでの動作に加えて、以下のGの動作の中のいずれか1つ以上の動作を行っても良い。
G:撮像範囲制御部34に対して、再結像光学系20の結像倍率を低下させる指令を発する、または再結像光学系20の結像倍率を上げる指令を発する。
 また、AからGまでのいずれかの動作を開始させた場合において、所定の時間が経過した段階で、解析部33はそれらの動作を終了させても良い。
 なお、撮像範囲制御部34は、解析部33が解析したターゲットの情報に依らず、不図示の操作部からインターフェース部36を介して入力された信号に基づいて、第2駆動部28に駆動信号S4を送り、レンズ21b、21cを移動させても良い。なお、撮像範囲制御部34は、不図示の操作部からインターフェース部36を介して入力された信号に基づいて、第1駆動部16aに駆動信号S3を送り、結像光学系20および第2撮像素子15bを移動させても良い。
 なお、撮像範囲制御部34は、不図示の操作部からインターフェース部36を介して入力された第2撮像範囲CA2の中心位置の変更および結像光学系20の倍率の変更に関する信号に基づいて、第1駆動部16aに駆動信号S3を送りつつ、第2駆動部28に駆動信号S4を送っても良い。
 なお、オペレータが、不図示の操作部を操作することによって、視野の中心位置の変更に関する信号と結像倍率20の倍率の変更に関する信号との少なくとも一方の信号を、インターフェース部36を介して撮像範囲制御部34に入力しても良い。
 なお、第2実施形態の撮像装置1Aにおいても、第1像14aおよび第1撮像素子15aと、第2像14b、再結像光学系20および第2撮像素子15bとの位置関係が、逆であっても良い。
 すなわち、第1像14aが、光分割部材13の分割反射面13aを透過し、光軸AX0に概ね沿って進行する光束による像であっても良い。この第1像14aと概ね一致する位置に第1撮像素子14aが配置されていても良い。なお、この場合、分割反射面13aを透過し、光軸AX0に概ね沿って進行する光束は、一方の光束といえる。
 そして、第2像14bが、光分割部材13の分割反射面13aで反射され、光軸AX1に概ね沿って進行する光束による像であり、この第2像14bの像が、光軸AX1と概ね平行な光軸AX2を有する再結像光学系20により再結像されても良い。そして、再結像光学系20により再結像された第3像14cと概ね一致する位置に第2撮像素子15bが配置されていても良い。なお、この場合、光分割部材13の分割反射面13aで反射され、光軸AX1に概ね沿って進行する光束は、他方の光束といえる。
 この場合には、再結像光学系20および第2撮像素子15bを含む第2撮像部は、第2保持枠17aに保持され、第1駆動部16aにより第2保持枠17aとともに、光軸AX1と交差する方向である、Y方向およびZ方向に移動可能に保持されてもよい。なお、第1駆動部16aは、Y方向およびZ方向に限られず、光軸AX1と交差する方向に再結像光学系20および第2撮像素子15bを移動させてもよい。
 なお、第1駆動部16aは、第2撮像素子15b側における結像光学系10のX方向に概ね平行な光軸AX1と交差する方向(一例としてY方向およびZ方向の少なくとも一方)に、再結像光学系20および第2撮像素子15bを移動させてもよい。なお、第1駆動部16aは、他方の光束の光路を横切る方向に再結像光学系20および第2撮像素子15bを移動させてもよい。また、第2駆動部28は、レンズ21bおよびレンズ21cをX方向に概ね平行な光軸AX1に沿って移動させてもよい。
 なお、再結像光学系20は、上述した結像倍率が可変の光学系に限られるわけではなく、結像倍率が固定の光学系であっても良い。その結像倍率は、拡大倍率、等倍、縮小倍率のいずれであっても良い。ただし、上述したように、再結像光学系20の結像倍率が拡大倍率であると、第3像14cは第2像14bの少なくなくとも一部が拡大された像になるため、第2撮像素子15bにより撮像される狭域画像の解像度は一層向上する。
 再結像光学系20の結像倍率が縮小倍率である場合、第1撮像素子15a上に形成される第1像15aの倍率が第2撮像素子15b上に形成される第3像14cの倍率よりも大きくなる。この場合には、再結像光学系20及び第2撮像素子15bによって広域画像を撮像し、第1撮像素子15aによって挟域画像を撮像してもよく、第1撮像素子15aを光軸AX0に交差する方向に移動させても良い。
 なお、結像光学系10または再結像光学系20の少なくとも一方は、第2像14bの側においてテレセントリックでなくても良い。
(第2実施形態の撮像装置の効果)
(4)第2実施形態の撮像装置1Aは、第1実施形態の撮像装置1において、第2撮像部が、第2像14bの一部分を所定の拡大倍率で再結像する再結像光学系20と、再結像光学系20で再結像された第2像(第3像14c)の一部分の像を撮像する撮像素子(第2撮像素子15b)とを含む。そして、駆動部(第1駆動部16a)は、再結像光学系20および撮像素子(第2撮像素子15b)を、他方の光束(光軸AX0に沿って進行する光束)の光路を横切る方向に移動させる。
 この構成により撮像装置1Aは、第1実施形態の撮像装置1の効果に加えて、再結像光学系20により、第2撮像素子15bが撮像する狭域画像(Im2、Im4)を、より高解像な画像とすることができる。
(5)再結像光学系20は、拡大倍率を変更可能であっても良い。この場合、第2撮像素子15bが撮像する狭域画像(Im2、Im4)の物体側の視野を最適化することができる。
(6)再結像光学系20は、第2像14bの側においてテレセントリックであっても良い。この場合、再結像光学系20が、結像光学系10の光軸AX0に対して交差する方向に移動しても、再結像光学系20に入射する光束(光束LB1、LB2等)の入射角度は、殆ど変化しない。従って、再結像光学系20は良好な結像性能を維持し、高解像な第3像14cを第2撮像素子15b上に形成することができる。
(7)第2撮像部に含まれる第2撮像素子15bの画素PEbの配列ピッチPXb、PYbは、第1撮像部に含まれる第1撮像素子15aの画素PEaの配列ピッチPZa、PYaよりも小さくても良い。この場合、第2撮像素子15bが撮像する狭域画像(Im2、Im4)を、一層高解像な画像とすることができる。
(8)第1撮像部に含まれる第1撮像素子15aの画素PEaが配列されている領域(第1有効領域EA1)の面積は、第2撮像部に含まれる第2撮像素子15bの画素PEbが配列されている領域(第2有効領域EA2)の面積よりも、大きくても良い。この場合、第1撮像素子15aが撮像する広域画像の(Im1、Im3)の物体側の視野をより広くすることができる。
 なお、上述した第1実施形態の撮像装置1、第2実施形態の撮像装置1Aは、例えば監視、見守り、捜索などの用途のために、保育園、学校、医療施設、介護施設、会議室、商店、駅、公園、自動販売機、街灯、電信柱、刑務所、軍事施設、国境、道路、公園などの所定の場所に設置されてもよい。撮像装置1、1Aを保育園に設置する場合、撮像装置1、1Aは、例えば、児童の体の一部をターゲットとしてもよい。なお、1つ以上の撮像装置1及び1つ以上の撮像装置1Aの少なくとも一方を表す場合、撮像装置1、1Aと称する。
 なお、撮像装置1、1Aを介護施設に設置する場合、撮像装置1、1Aは、例えば、要介護者の顔や体の一部などをターゲットとしてもよい。
 なお、撮像装置1、1Aを会議室に設置する場合、例えば、会議出席者の顔などをターゲットとしてもよい。この場合、遠隔地とのビデオ会議システムとして利用することもできる。
 なお、撮像装置1、1Aを駅の改札付近、商店の通路や出入り口付近、自動販売機、街灯、電信柱に設置する場合、撮像装置1、1Aは、通行する人物をターゲットとしてもよい。なお、撮像装置1、1Aは、上述の物体検出処理や他の既存の画像処理によって、狭域画像データ及び広域画像データの少なくとも一方の画像データに基づいて通行する人物の特徴を検出しても良い。
 例えば、撮像装置1、1Aは、狭域画像データ及び広域画像データの少なくとも一方の画像データに基づいて、通行する人物の性別、年齢、体型(身長や体重等)、人種、髪型、服装、移動速度、移動方向などの少なくとも一つを検出しても良い。この場合、検出した通行する人物の特徴を市場調査などに利用することができる。
 なお、撮像装置1、1Aは、通行する人物に限らず、例えば、通行する車両などの移動体の特徴を検出しても良い。例えば、撮像装置1、1Aは、通行する車両の車種、色、移動速度、移動方向などの少なくとも一つを検出しても良い。
 なお、撮像装置1、1Aは、屋内または屋外に固定されて設置される必要はなく、車両、船舶、航空機(例えば、ドローン)等の移動体に設置されても良い。
 なお、撮像装置1、1Aを、ドローンなどの無人航空機に設置する場合、捜索中の物体(例えば、人物、動物、車両、船舶、航空機など)をターゲットとしてもよい。
 なお、撮像装置1、1Aを、無人航空機の一例としての攻撃型無人航空機(例えば、攻撃型ドローン)に設置する場合、攻撃対象の物体(例えば、人物、車両、船舶、航空機、建造物など)をターゲットとしてもよい。
 例えば、2台のカメラ(広角カメラとジンバル付きの望遠カメラ)をドローンなどの無人航空機に搭載することも考えられるが、可搬重量や可搬サイズなどの制限により無人航空機に搭載される物体は小型、軽量な物体が求められているため、好ましくない。一方、1台で広角かつ望遠での撮像が可能な撮像装置1、1A、または撮像システム2、2Aは、2台のカメラよりも小型、軽量であるため、無人航空機などへの搭載に適している。
 また、撮像装置1、1Aの撮像対象は、工作機械等の産業用機械であっても良い。例えば、撮像装置1、1Aは、撮像した狭域画像データ及び広域画像データの少なくとも一方の画像データに基づいて、産業用機械が正常に作動しているか否かを解析する。そして、産業用機械の形状または動作に異常が認められた場合には、撮像装置1、1Aは、その異常に関する部分の画像データを外部の機器に送信する等の対応を行う。
 なお、撮像装置1、1Aは、工作機械の加工室(加工具でワークを加工する空間)の内部に設置しても良い。この場合、一例として、主軸の取り付けられている加工具、ステージに載置されているワーク、および加工具によるワークの加工点の少なくとも一部を含む領域をターゲットとしても良い。
 なお、撮像装置1、1Aは、既存の画像処理によって生成したターゲットの画像データ(狭域画像データ及び広域画像データの少なくとも一方の画像データ)に基づいて、加工具とワークとの距離、加工具の長さ(摩耗量)、加工具の形状、加工具の破損(折損)、加工具の突出し量、ワークの形状、(ステージの基準位置に対する)ワークの位置ずれ、切粉の形状、切粉の量、および加工部分へ掛かる切削液の量の少なくとも一つを検出しても良い。
 なお、一例として、撮像装置1、1Aを、加工室の壁面、加工室の天井、主軸頭、およびステージのうち、少なくとも一箇所に設置しても良い。一例として、撮像装置1、1Aを、主軸に設置しても良い。
 なお、撮像装置1、1Aは、シャンクを介して主軸に着脱可能に構成されていても良い。この場合、加工具交換装置によって、主軸に取付けられた撮像装置1、または1Aを、任意の加工具と交換しても良い。また、撮像装置1、1Aを加工具交換装置に格納しておき、主軸に取付けられた加工具を、撮像装置1、1Aと交換しても良い。
 また、撮像装置1、1Aを、加工室の壁面、加工室の天井、主軸頭、およびステージのうちの二箇所以上に設置しても良い。一例として、加工室の壁面における互いに異なる箇所に設置しても良く、加工室の壁面における一箇所以上と加工室の天井における一箇所以上とに設置してもよい。このように撮像装置1、1Aを複数設置する場合、加工室内のターゲットを互いに異なる方向から撮像できるように(互いに異なる視点から撮像できるように)設置されていてもよい。なお、撮像装置1、1Aを複数設置する場合、それぞれの最大視野領域同士が一部重複するように設置してもよい。
 なお、撮像装置1、1Aを、工作機械の加工室とは異なる部分に設置しても良い。例えば、加工室の主軸に取り付けられている加工具を他の種類の加工具と交換する加工具交換装置の内部に設置しても良い。
 なお、加工具交換装置は、一例として、自動加工具交換装置(ATC:Automatic Tool Changer)であっても良い。
 また、撮像装置1、1Aを、加工光でワークを加工する光加工装置の内部に設置してもよい。この場合、撮像装置1、1Aは、ワーク上での加工箇所(加工光が照射される箇所)等をターゲットとして検出しても良い。なお、光加工装置が三次元積層造形装置である場合には、撮像装置1、1Aは、狭域画像データ及び広域画像データの少なくとも一方の画像データに基づいて造形材料をターゲットとして検出し、既存の画像処理を用いて造形材料の供給状態などを検出しても良い。
(第3実施形態の受光装置)
 上述した各実施形態および各変形例の撮像装置1、1Aのそれぞれは、光分割部材13で分割された一方の光束によって形成される像を撮像する撮像部(撮像素子15a)と、光分割部材13で分割された他方の光束の一部が入射する光入射部を有する受光部(第2撮像素子15bを含む第2撮像部)とを備える受光装置であるということもできる。
(第3実施形態の受光装置の効果)
(9)第3実施形態の受光装置1、1Aは、結像光学系10と、結像光学系10の少なくとも一部を通過した光を振幅分割する光分割部材13と、光分割部材13で分割された一方の光束によって形成される像14aを撮像する撮像部15aと、光分割部材13で分割された他方の光束の一部が入射する光入射部29を有する受光部(第2撮像素子15bを含む第2撮像部)と、他方の光束の光路を横切る方向に光入射部29を移動させる駆動部16と、を備えている。
 この構成により受光装置1、1Aは、上述した上述した各実施形態および各変形例の撮像装置1、1Aと同様に、駆動部16が光入射部29を移動させることにより、第2像14bのうちの受光部により受光される範囲を高速に移動させることができる。これにより、受光部により受光される物体側(ターゲット側)の視野も高速に移動させることができる。
 上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。また、各実施形態および変形例は、それぞれ単独で適用しても良いし、組み合わせて用いても良い。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
(付記)
 上述した複数の実施形態またはその変形例は、以下の態様の具体例であることが当業者により理解される。
(第1項)
 結像光学系と、前記結像光学系の少なくとも一部を通過した光を分割する光分割部材と、前記光分割部材で分割された一方の光束によって形成される第1像を撮像する第1撮像部と、前記光分割部材で分割された他方の光束によって形成される第2像の内、一部分を撮像する第2撮像部と、前記他方の光束の光路を横切る方向に前記第2撮像部を移動させる駆動部と、を備える撮像装置。
(第2項)
 第1項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部は、前記第2像の一部分の像を撮像する第2撮像素子を含み、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さく、前記駆動部は、前記他方の光束の光路を横切る方向に前記第2撮像素子を移動させる撮像装置。
(第3項)
 第2項に記載の撮像装置において、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第4項)
 第1項に記載の撮像装置において、前記第2撮像部は、前記第2像の一部分を所定の拡大倍率で再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含み、前記駆動部は、前記再結像光学系および前記撮像素子を前記他方の光束の光路を横切る方向に移動させる撮像装置。
(第5項)
 第4項に記載の撮像装置において、前記再結像光学系は、前記拡大倍率を変更可能である撮像装置。
(第6項)
 第4項または第5項に記載の撮像装置において、前記結像光学系は、前記第2像の側においてテレセントリックである撮像装置。
(第7項)
 第6項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記像形成領域において前記光軸からの距離が前記第1箇所とは異なる第2箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記光軸との成す角度との差が1°以内である撮像装置。
(第8項)
 第4項から第7項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、前記結像光学系側においてテレセントリックである撮像装置。
(第9項)
 第8項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度と、前記像形成領域において前記再結像光学系の光軸からの距離が前記第1箇所とは異なる第2箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第10項)
 第4項から第9項までのいずれか一項に記載の撮像装置において、前記光分割部材からの前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記再結像光学系へ入射する光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第11項)
 第4項から第10項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、複数の光学部材を含み、前記駆動部を第1駆動部とするとき、前記複数の光学部材の少なくとも1つを前記再結像光学系の光軸に沿って移動させる第2駆動部をさらに備え、前記再結像光学系は、前記第2駆動部による前記複数の光学部材の少なくとも1つの移動により前記拡大倍率を変更する撮像装置。
(第12項)
 第4項から第11項までのいずれか一項に記載の撮像装置において、前記再結像光学系および前記撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第13項)
 第4項から第12項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さい撮像装置。
(第14項)
 第4項から第13項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第15項)
 第2項または第3項に記載の撮像装置において、前記第2撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第16項)
 第1項から第15項までのいずれか一項に記載の撮像装置において、前記結像光学系の最大画角は、170°以上である撮像装置。
(第17項)
 第1項から第16項までのいずれか一項に記載の撮像装置において、前記光分割部材は、前記結像光学系の少なくとも一部を通過した光を振幅分割する撮像装置。
(第18項)
 第17項に記載の撮像装置において、前記光分割部材は、前記結像光学系を通過した光を振幅分割する撮像装置。
(第19項)
 第1項から第16項までのいずれか一項に記載の撮像装置において、前記光分割部材は、前記結像光学系を通過した光を分割する撮像装置。
(第20項)
 第5項、第5項に従属する第6項から第14項までのいずれか一項、または第5項に従属する第16項から第19項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像範囲制御部をさらに備える撮像装置。
(第21項)
 第20項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記第2像に含まれるターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲に含まれるように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第22項)
 第21項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第23項)
 第22項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記第2撮像部による前記第2像の撮像範囲における前記ターゲットの像の少なくとも一部分の位置が前記位置関係の変化の前後で変わらないように前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第24項)
 第22項または第23項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記第2撮像部で撮像される前記ターゲットの像の少なくとも一部分の大きさが前記位置関係の変化の前後で変わらないように前記拡大倍率の変更を実行する撮像装置。
(第25項)
 第21項から第24項までのいずれか一項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記少なくとも一部分の検出結果に基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第26項)
 第25項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第27項)
 第25項または第26項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分のサイズを検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分のサイズに基づいて前記拡大倍率の変更を実行する撮像装置。
(第28項)
 第20項から第27項までのいずれか一項に記載の撮像装置において、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更を実行する撮像装置。
(第29項)
 第20項から第28項までのいずれか一項に記載の撮像装置において、前記撮像範囲制御部は、前記第2撮像部によって生成された前記第2像の少なくとも一部分の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第30項)
 第29項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像に含まれるターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第31項)
 第29項または第30項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2撮像部による前記第2像の撮像範囲における前記ターゲットの像の少なくとも一部分の位置が前記位置関係の変化の前後で変わらないように前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第32項)
 第29項から第31項のいずれか一項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2撮像部で撮像される前記ターゲットの像の少なくとも一部分の大きさが前記位置関係の変化の前後で変わらないように前記拡大倍率の変更を実行する撮像装置。
(第33項)
 第29項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化して前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れた場合、前記撮像範囲制御部は、前記少なくとも一部分が前記撮像範囲に含まれるように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第34項)
 第29項または第33項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化して前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れた場合、前記撮像範囲制御部は、前記少なくとも一部分が前記撮像範囲に含まれるように前記拡大倍率を下げる撮像装置。
(第35項)
 第29項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化して前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れた場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記少なくとも一部分が前記撮像範囲に含まれるように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第36項)
 第30項から第35項のいずれか一項に記載の撮像装置において、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像の少なくとも一部分の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備える撮像装置。
(第37項)
 第30項から第32項のいずれか一項に従属する第36項に記載の撮像装置において、前記撮像範囲制御部は、前記解析部による前記ターゲットの画像の少なくとも一部分の検出結果に基づいて、前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第38項)
 第37項に記載の撮像装置において、前記解析部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像の少なくとも一部分の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記第2像の少なくとも一部分の画像上における前記ターゲットの画像の少なくとも一部分の位置に基づいて、前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第39項)
 第37項または第38項に記載の撮像装置において、前記解析部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像の少なくとも一部分の画像上における前記ターゲットの画像の少なくとも一部分のサイズを検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記第2像の少なくとも一部分の画像上における前記ターゲットの画像の少なくとも一部分のサイズに基づいて、前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記拡大倍率の変更を実行する撮像装置。
(第40項)
 第1項から第19項のいずれか一項に記載の撮像装置において、前記第1撮像部よって生成された前記第1像の画像データに基づいて前記駆動部による前記第2撮像部の移動を実行する撮像範囲制御部をさらに備える撮像装置。
(第41項)
 第40項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記第2像に含まれる前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲に含まれるように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第42項)
 第40項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第43項)
 第41項または第42項に記載の撮像装置において、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記撮像範囲における前記ターゲットの像の少なくとも一部分の位置が前記位置関係の変化の前後で変わらないように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第44項)
 第41項から第43項までのいずれか一項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記ターゲットの画像の少なくとも一部分の検出結果に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第45項)
 第44項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第46項)
 第40項から第45項までのいずれか一項に記載の撮像装置において、前記撮像範囲制御部は、前記第2撮像部によって生成された前記第2像の少なくとも一部分の画像データに基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第47項)
 第46項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像に含まれるターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れないように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第48項)
 第46項または第47項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化した場合、前記撮像範囲制御部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2撮像部による前記第2像の撮像範囲における前記ターゲットの像の少なくとも一部分の位置が前記位置関係の変化の前後で変わらないように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第49項)
 第46項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化して前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れた場合、前記撮像範囲制御部は、前記少なくとも一部分が前記撮像範囲に含まれるように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第50項)
 第46項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記ターゲットと前記撮像装置との位置関係が変化して前記ターゲットの像の少なくとも一部分が前記第2撮像部による前記第2像の撮像範囲から外れた場合、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記少なくとも一部分が前記撮像範囲に含まれるように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第51項)
 第46項から第50項のいずれか一項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像の少なくとも一部分の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備える撮像装置。
(第52項)
 第47項または第48項に従属する第51項に記載の撮像装置において、前記撮像範囲制御部は、前記解析部による前記ターゲットの画像の少なくとも一部分の検出結果に基づいて、前記ターゲットの像の少なくとも一部分が前記撮像範囲から外れないように前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第53項)
 第52項に記載の撮像装置において、前記解析部は、前記第2像の少なくとも一部分の画像データに基づいて、前記第2像の少なくとも一部分の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて、前記ターゲットの像の少なくとも一部分が前記撮像範囲から外れないように前記駆動部による移動を実行する撮像装置。
(第54項)
 第1項から第53項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データと、前記第2撮像部によって生成された前記第2像の少なくとも一部分の画像データの少なくとも一方の画像データに基づいて、前記第1画像の画像データと前記第2像の少なくとも一部分の画像データ少なくとも一方の画像データの記録の開始および終了を制御する撮像記録制御部をさらに備える撮像装置。
(第55項)
 第54項に記載の撮像装置において、前記結像光学系には少なくともターゲットからの光が入射し、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分と、前記第2像の少なくとも一部分の画像に含まれる前記ターゲットの画像の少なくとも一部分の少なくとも一方を検出する解析部をさらに備え、前記撮像記録制御部は、前記解析部の検出結果に基づいて、前記第1画像の画像データと前記第2像の少なくとも一部分の画像データの少なくとも一方の画像データの記録の開始および終了を制御する撮像装置。
(第56項)
 入射する光を振幅分割する光分割部材を有する結像光学系と、前記光分割部材で分割された一方の光によって形成される第1像を撮像する第1撮像部と、前記光分割部材で分割された他方の光によって形成される第2像の内、一部分を撮像する第2撮像部と、前記他方の光の光路を横切る方向に前記第2撮像部を移動させる駆動部と、を備える撮像装置。
(第57項)
 第56項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部は、前記第2像の一部分の像を撮像する第2撮像素子を含み、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さく、前記駆動部は、前記他方の光束の光路を横切る方向に前記第2撮像素子を移動させる撮像装置。
(第58項)
 第57項に記載の撮像装置において、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第59項)
 第56項に記載の撮像装置において、前記第2撮像部は、前記第2像の一部分を所定の拡大倍率で再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含み、前記駆動部は、前記再結像光学系および前記撮像素子を前記他方の光束の光路を横切る方向に移動させる撮像装置。
(第60項)
 第59項に記載の撮像装置において、前記再結像光学系は、前記拡大倍率を変更可能である撮像装置。
(第61項)
 第59項または第60項に記載の撮像装置において、前記結像光学系は、前記第2像の側においてテレセントリックである撮像装置。
(第62項)
 第61項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記像形成領域において前記光軸からの距離が前記第1箇所とは異なる第2箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記光軸との成す角度との差が1°以内である撮像装置。
(第63項)
 第59項から第62項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、前記結像光学系側においてテレセントリックである撮像装置。
(第64項)
 第63項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度と、前記像形成領域において前記再結像光学系の光軸からの距離が前記第1箇所とは異なる第2箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第65項)
 第59項から第64項までのいずれか一項に記載の撮像装置において、前記光分割部材からの前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記再結像光学系へ入射する光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第66項)
 第59項から第65項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、複数の光学部材を含み、前記駆動部を第1駆動部とするとき、前記複数の光学部材の少なくとも1つを前記再結像光学系の光軸に沿って移動させる第2駆動部をさらに備え、前記再結像光学系は、前記第2駆動部による前記複数の光学部材の少なくとも1つの移動により前記拡大倍率を変更する撮像装置。
(第67項)
 第59項から第66項までのいずれか一項に記載の撮像装置において、前記再結像光学系および前記撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第68項)
 第59項から第67項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さい撮像装置。
(第69項)
 第59項から第68項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第70項)
 第57項または第58項に記載の撮像装置において、前記第2撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第71項)
 第56項から第70項までのいずれか一項に記載の撮像装置において、前記結像光学系の最大画角は、170°以上である撮像装置。
(第72項)
 第56項から第71項までのいずれか一項に記載の撮像装置において、前記光分割部材は、入射した光を振幅分割する撮像装置。
(第73項)
 第72項に記載の撮像装置において、前記結像光学系は、少なくとも1つのレンズ部材をさらに有し、前記光分割部材は、前記少なくとも1つのレンズ部材を通過した光を振幅分割する撮像装置。
(第74項)
 第56項から第71項までのいずれか一項に記載の撮像装置において、前記結像光学系は、少なくとも1つのレンズ部材をさらに有し、前記光分割部材は、前記少なくとも1つのレンズ部材を通過した光を分割する撮像装置。
(第75項)
 第60項、第60項に従属する第61項から第69項までのいずれか一項、または第5項に従属する第71項から第74項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像範囲制御部をさらに備える撮像装置。
(第76項)
 第75項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記少なくとも一部分の検出結果に基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第77項)
 第76項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第78項)
 第76項または第77項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分のサイズを検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分のサイズに基づいて前記拡大倍率の変更を実行する撮像装置。
(第79項)
 第75項から第78項までのいずれか一項に記載の撮像装置において、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更を実行する撮像装置。
(第80項)
 第56項から第74項のいずれか一項に記載の撮像装置において、前記第1撮像部よって生成された前記第1像の画像データに基づいて前記駆動部による前記第2撮像部の移動を実行する撮像範囲制御部をさらに備える撮像装置。
(第81項)
 第80項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記ターゲットの画像の少なくとも一部分の検出結果に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第82項)
 第81項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第83項)
 第56項から第82項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データと、前記第2撮像部によって生成された前記第2像の少なくとも一部分の画像データの少なくとも一方の画像データに基づいて、前記第1画像の画像データと前記第2像の少なくとも一部分の画像データ少なくとも一方の画像データの記録の開始および終了を制御する撮像記録制御部をさらに備える撮像装置。
(第84項)
 任意の範囲を撮像可能な撮像装置であって、結像光学系と、前記結像光学系の少なくとも一部を通過した光を分割する光分割部材と、前記光分割部材で分割された一方の光束によって形成される前記任意の範囲の第1像を撮像する第1撮像部と、前記光分割部材で分割された他方の光束によって形成される前記任意の範囲の第2像の内、一部分を撮像する第2撮像部と、前記他方の光束の光路を横切る方向に前記第2撮像部を移動させる駆動部と、を備える撮像装置。
(第85項)
 第84項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部は、前記第2像の一部分の像を撮像する第2撮像素子を含み、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さく、前記駆動部は、前記他方の光束の光路を横切る方向に前記第2撮像素子を移動させる撮像装置。
(第86項)
 第85項に記載の撮像装置において、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第87項)
 第84項に記載の撮像装置において、前記第2撮像部は、前記第2像の一部分を所定の拡大倍率で再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含み、前記駆動部は、前記再結像光学系および前記撮像素子を前記他方の光束の光路を横切る方向に移動させる撮像装置。
(第88項)
 第87項に記載の撮像装置において、前記再結像光学系は、前記拡大倍率を変更可能である撮像装置。
(第89項)
 第87項または第88項に記載の撮像装置において、前記結像光学系は、前記第2像の側においてテレセントリックである撮像装置。
(第90項)
 第89項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記像形成領域において前記光軸からの距離が前記第1箇所とは異なる第2箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記光軸との成す角度との差が1°以内である撮像装置。
(第91項)
 第87項から第90項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、前記結像光学系側においてテレセントリックである撮像装置。
(第92項)
 第91項に記載の撮像装置において、前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、前記像形成領域の第1箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度と、前記像形成領域において前記再結像光学系の光軸からの距離が前記第1箇所とは異なる第2箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第93項)
 第87項から第92項までのいずれか一項に記載の撮像装置において、前記光分割部材からの前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記再結像光学系へ入射する光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
(第94項)
 第87項から第93項までのいずれか一項に記載の撮像装置において、前記再結像光学系は、複数の光学部材を含み、前記駆動部を第1駆動部とするとき、前記複数の光学部材の少なくとも1つを前記再結像光学系の光軸に沿って移動させる第2駆動部をさらに備え、前記再結像光学系は、前記第2駆動部による前記複数の光学部材の少なくとも1つの移動により前記拡大倍率を変更する撮像装置。
(第95項)
 第87項から第94項までのいずれか一項に記載の撮像装置において、前記再結像光学系および前記撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第96項) 
 第87項から第95項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さい撮像装置。
(第97項)
 第87項から第96項までのいずれか一項に記載の撮像装置において、前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
(第98項)
 第85項または第86項に記載の撮像装置において、前記第2撮像素子を保持する保持部を備え、前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
(第99項)
 第84項から第98項までのいずれか一項に記載の撮像装置において、前記結像光学系の最大画角は、170°以上である撮像装置。
(第100項)
 第84項から第99項までのいずれか一項に記載の撮像装置において、前記光分割部材は、前記結像光学系の少なくとも一部を通過した光を振幅分割する撮像装置。
(第101項)
 第100項に記載の撮像装置において、前記光分割部材は、前記結像光学系を通過した光を振幅分割する撮像装置。
(第102項)
 第87項から第99項までのいずれか一項に記載の撮像装置において、前記光分割部材は、前記結像光学系を通過した光を分割する撮像装置。
(第103項)
 第88項、第88項に従属する第89項から第97項までのいずれか一項、または第88項に従属する第99項から第102項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像範囲制御部をさらに備える撮像装置。
(第104項)
 第103項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記少なくとも一部分の検出結果に基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更の少なくとも一方を実行する撮像装置。
(第105項)
 第104項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記再結像光学系および前記撮像素子の移動を実行する撮像装置。
(第106項)
 第104項または第105項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分のサイズを検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分のサイズに基づいて前記拡大倍率の変更を実行する撮像装置。
(第107項)
 第103項から第106項までのいずれか一項に記載の撮像装置において、前記撮像範囲制御部は、前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動と前記拡大倍率の変更を実行する撮像装置。
(第108項)
 第85項から第102項のいずれか一項に記載の撮像装置において、前記第1撮像部よって生成された前記第1像の画像データに基づいて前記駆動部による前記第2撮像部の移動を実行する撮像範囲制御部をさらに備える撮像装置。
(第109項)
 第108項に記載の撮像装置において、前記第1像の画像データに基づいて、前記第1像の画像に含まれる前記ターゲットの画像の少なくとも一部分を検出する解析部をさらに備え、前記撮像範囲制御部は、前記解析部による前記ターゲットの画像の少なくとも一部分の検出結果に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第110項)
 第109項に記載の撮像装置において、前記解析部は、前記第1像の画像データに基づいて、前記第1像の画像上における前記ターゲットの画像の少なくとも一部分の位置を検出し、前記撮像範囲制御部は、前記解析部による前記検出結果としての前記少なくとも一部分の位置に基づいて前記駆動部による前記第2撮像部の移動を実行する撮像装置。
(第111項)
 第84項から第110項までのいずれか一項に記載の撮像装置において、前記第1撮像部によって生成された前記第1像の画像データと、前記第2撮像部によって生成された前記第2像の少なくとも一部分の画像データの少なくとも一方の画像データに基づいて、前記第1画像の画像データと前記第2像の少なくとも一部分の画像データ少なくとも一方の画像データの記録の開始および終了を制御する撮像記録制御部をさらに備える撮像装置。
(第112項)
 集光光学系と、前記集光光学系の少なくとも一部を通過した光を分割する光分割部材と、前記光分割部材で分割された一方の光束の光路中に配置された撮像部と、前記光分割部材で分割された他方の光束の光路を横切る面において前記他方の光束が占める領域のうち一部である受光領域に達する光を受光する受光部と、を備え、前記領域内で、前記受光領域を変位させる受光装置。
(第113項)
 第112項に記載の受光装置において、前記集光光学系は、前記撮像部の撮像面に像を形成する結像光学系を含み、前記結像光学系は、前記領域に像を形成する受光装置。
(第114項)
 第112項または第113項に記載の受光装置において、前記受光部は、前記一部の領域に配列される複数の画素を有する撮像素子を有する受光装置。
(第115項)
 結像光学系と、前記結像光学系の少なくとも一部を通過した光を分割する光分割部材と、前記光分割部材で分割された一方の光束によって形成される像を撮像する撮像部と、前記光分割部材で分割された他方の光束が通過する領域の一部である受光領域を通過した光を受光する受光部と、前記領域内で、前記受光領域を変位させる駆動部と、を備える受光装置。
(第116項)
 第115項に記載の受光装置において、前記他方の光束によって前記領域に像が形成され、前記撮像部を第1撮像部とするとき、前記受光部は第2撮像部を含み、前記第2撮像部による撮像領域は、前記受光領域であり、前記駆動部は、前記第2撮像部を移動させることによって前記撮像領域を変位させる受光装置。
(第117項)
 第116項に記載の受光装置において、前記一方の光束によって形成される前記像を第1像とするとき、前記他方の光束によって前記領域に形成される前記像を第2像とし、前記第2撮像部による前記撮像領域は、前記第2像の一部分を含み、前記第2撮像部は、前記第2像の一部分を再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含む受光装置。
1,1A:撮像装置、10:結像光学系、11a~11d:レンズ、13:光分割部材、14a:第1像、14b:第2像、14c:第3像、15a:第1撮像素子、15b:第2撮像素子、16:駆動部、16a:第1駆動部、17:保持部、17a:第2保持枠、17b:第2保持部、19:筐体、20:再結像光学系、21a~21d:レンズ、28:第2駆動部、30:制御部、31:撮像制御部、32:画像生成部、33:解析部、34:撮像範囲制御部、35:記憶部、36:インターフェース部、EA1:第1有効領域、EA2:第2有効領域、CA1:第1撮像範囲、CA2:第2撮像範囲、IA:関心領域

Claims (21)

  1.  結像光学系と、
     前記結像光学系の少なくとも一部を通過した光を振幅分割する光分割部材と、
     前記光分割部材で分割された一方の光束によって形成される第1像を撮像する第1撮像部と、
     前記光分割部材で分割された他方の光束によって形成される第2像の内、一部分を撮像する第2撮像部と、
     前記他方の光束の光路を横切る方向に前記第2撮像部を移動させる駆動部と、
     を備える撮像装置。
  2.  請求項1に記載の撮像装置において、
      前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、
     前記第2撮像部は、前記第2像の一部分の像を撮像する第2撮像素子を含み、
     前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さく、
     前記駆動部は、前記他方の光束の光路を横切る方向に前記第2撮像素子を移動させる撮像装置。
  3.  請求項2に記載の撮像装置において、
     前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
  4.  請求項1に記載の撮像装置において、
     前記第2撮像部は、前記第2像の一部分を所定の拡大倍率で再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含み、
     前記駆動部は、前記再結像光学系および前記撮像素子を前記他方の光束の光路を横切る方向に移動させる撮像装置。
  5.  請求項4に記載の撮像装置において、
     前記再結像光学系は、前記拡大倍率を変更可能である撮像装置。
  6.  請求項4または請求項5に記載の撮像装置において、
     前記結像光学系は、前記第2像の側においてテレセントリックである撮像装置。
  7.  請求項6に記載の撮像装置において、
     前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、
     前記像形成領域における第1箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記像形成領域において前記光軸からの距離が前記第1箇所とは異なる第2箇所へ前記光分割部材から向かう前記他方の光束の主光線と前記光軸との成す角度との差が1°以内である撮像装置。
  8.  請求項4から請求項7までのいずれか一項に記載の撮像装置において、
     前記再結像光学系は、前記結像光学系側においてテレセントリックである撮像装置。
  9.  請求項8に記載の撮像装置において、
     前記再結像光学系は、前記結像光学系によって像形成領域に形成された前記第2像の内、前記一部分を再結像し、
     前記像形成領域の第1箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度と、前記像形成領域において前記再結像光学系の光軸からの距離が前記第1箇所とは異なる第2箇所から前記再結像光学系へ向かう光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
  10.  請求項4から請求項9までのいずれか一項に記載の撮像装置において、
     前記光分割部材からの前記他方の光束の主光線と前記第2撮像部側における前記結像光学系の光軸との成す角度と、前記再結像光学系へ入射する光束の主光線と前記再結像光学系の光軸との成す角度との差は、1°以内である撮像装置。
  11.  請求項4から請求項10までのいずれか一項に記載の撮像装置において、
     前記再結像光学系は、複数の光学部材を含み、
     前記駆動部を第1駆動部とするとき、前記複数の光学部材の少なくとも1つを前記再結像光学系の光軸に沿って移動させる第2駆動部をさらに備え、
     前記再結像光学系は、前記第2駆動部による前記複数の光学部材の少なくとも1つの移動により前記拡大倍率を変更する撮像装置。
  12.  請求項4から請求項11までのいずれか一項に記載の撮像装置において、
     前記再結像光学系および前記撮像素子を保持する保持部を備え、
     前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
  13.  請求項4から請求項12までのいずれか一項に記載の撮像装置において、
      前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、
     前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、
     前記第2撮像素子の画素の配列ピッチは、前記第1撮像素子の画素の配列ピッチよりも小さい撮像装置。
  14.  請求項4から請求項13までのいずれか一項に記載の撮像装置において、
     前記第1撮像部は、前記第1像を撮像する第1撮像素子を含み、
     前記第2撮像部に含まれる前記撮像素子を第2撮像素子とするとき、
     前記第1撮像素子の画素が配列されている領域の面積は、前記第2撮像素子の画素が配列されている領域の面積よりも大きい撮像装置。
  15.  請求項2に記載の撮像装置において、
     前記第2撮像素子を保持する保持部を備え、
     前記駆動部は、前記他方の光束の光路を横切る方向に前記保持部を移動させる撮像装置。
  16.  請求項1から請求項15までのいずれか一項に記載の撮像装置において、
     前記結像光学系の最大画角は、170°以上である撮像装置。
  17.  請求項5、請求項5に従属する請求項6から請求項14までのいずれか一項、または請求項5に従属する請求項16に記載の撮像装置において、
     前記第1撮像部によって生成された前記第1像の画像データに基づいて、前記駆動部による前記再結像光学系および前記撮像素子の移動および前記拡大倍率の変更を実行する撮像範囲制御部をさらに備える撮像装置。
  18.  請求項1から請求項16までのいずれか一項に記載の撮像装置において、
     前記第1撮像部よって生成された前記第1像の画像データに基づいて、前記駆動部による前記第2撮像部の移動を実行する撮像範囲制御部をさらに備える撮像装置。
  19.  結像光学系と、
     前記結像光学系の少なくとも一部を通過した光を振幅分割する光分割部材と、
     前記光分割部材で分割された一方の光束によって形成される像を撮像する撮像部と、
     前記光分割部材で分割された他方の光束の一部が入射する光入射部を有する受光部と、
     前記他方の光束の光路を横切る方向に前記光入射部を移動させる駆動部と、を備える受光装置。
  20.  請求項19に記載の受光装置において、
     前記他方の光束によって像が形成され、
     前記一方の光束によって形成される前記像を第1像とするとき、前記他方の光束によって形成される像を第2像とし、
     前記撮像部を第1撮像部とするとき、前記受光部は第2撮像部を含み、
     前記第2撮像部は、前記他方の光束の一部によって形成される前記第2像の一部分の像を撮像し、
     前記駆動部は、前記他方の光束の光路を横切る方向に前記第2撮像部を移動させる、受光装置。
  21.  請求項20に記載の受光装置において、
     前記第2撮像部は、前記第2像の一部分を再結像する再結像光学系と、前記再結像光学系で再結像された前記第2像の一部分の像を撮像する撮像素子とを含む、受光装置。
PCT/JP2021/024100 2021-06-25 2021-06-25 撮像装置、および受光装置 WO2022269895A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2021/024100 WO2022269895A1 (ja) 2021-06-25 2021-06-25 撮像装置、および受光装置
KR1020247002302A KR20240025624A (ko) 2021-06-25 2021-06-25 촬상 장치 및 수광 장치
EP21947179.4A EP4361723A1 (en) 2021-06-25 2021-06-25 Imaging device and light receiving device
CN202180101015.5A CN117716696A (zh) 2021-06-25 2021-06-25 摄像装置及光接收装置
JP2023529399A JPWO2022269895A1 (ja) 2021-06-25 2021-06-25
TW111123722A TW202308369A (zh) 2021-06-25 2022-06-24 攝像裝置及光接收裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024100 WO2022269895A1 (ja) 2021-06-25 2021-06-25 撮像装置、および受光装置

Publications (1)

Publication Number Publication Date
WO2022269895A1 true WO2022269895A1 (ja) 2022-12-29

Family

ID=84544443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024100 WO2022269895A1 (ja) 2021-06-25 2021-06-25 撮像装置、および受光装置

Country Status (6)

Country Link
EP (1) EP4361723A1 (ja)
JP (1) JPWO2022269895A1 (ja)
KR (1) KR20240025624A (ja)
CN (1) CN117716696A (ja)
TW (1) TW202308369A (ja)
WO (1) WO2022269895A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4855838A (en) 1988-05-27 1989-08-08 Cues, Inc. Remotely controlled pan and tilt television camera
JPH09149305A (ja) * 1995-11-17 1997-06-06 Olympus Optical Co Ltd 撮像装置
JP2002262159A (ja) * 2001-02-28 2002-09-13 Ricoh Co Ltd 撮像装置
JP2014163976A (ja) * 2013-02-21 2014-09-08 Canon Inc 画像取得装置および画像取得システム
JP2015518178A (ja) * 2012-04-05 2015-06-25 マジック リープ, インコーポレイテッド アクティブな中心窩能力を有する広角(fov)結像デバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4855838A (en) 1988-05-27 1989-08-08 Cues, Inc. Remotely controlled pan and tilt television camera
JPH09149305A (ja) * 1995-11-17 1997-06-06 Olympus Optical Co Ltd 撮像装置
JP2002262159A (ja) * 2001-02-28 2002-09-13 Ricoh Co Ltd 撮像装置
JP2015518178A (ja) * 2012-04-05 2015-06-25 マジック リープ, インコーポレイテッド アクティブな中心窩能力を有する広角(fov)結像デバイス
JP2014163976A (ja) * 2013-02-21 2014-09-08 Canon Inc 画像取得装置および画像取得システム

Also Published As

Publication number Publication date
JPWO2022269895A1 (ja) 2022-12-29
EP4361723A1 (en) 2024-05-01
CN117716696A (zh) 2024-03-15
TW202308369A (zh) 2023-02-16
KR20240025624A (ko) 2024-02-27

Similar Documents

Publication Publication Date Title
US10785418B2 (en) Glare reduction method and system
US5497188A (en) Method for virtualizing an environment
CN104034258B (zh) 具有可变焦距的检流计扫描相机及方法
WO2020041734A1 (en) Shelf-viewing camera with multiple focus depths
KR102228194B1 (ko) 카메라 초점 유지 장치 및 그 방법
US20080246917A1 (en) Common face and iris imaging optics
JP7024049B2 (ja) 操縦可能なミラーに関するマシンビジョンシステムおよび方法
WO2006050430A2 (en) Optical tracking system using variable focal length lens
US20210185234A1 (en) Machine vision system and method with steerable mirror
US11966811B2 (en) Machine vision system and method with on-axis aimer and distance measurement assembly
US11513525B2 (en) Server and method for controlling laser irradiation of movement path of robot, and robot that moves based thereon
US20150268346A1 (en) Optical axis directing apparatus
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
US7938542B2 (en) Optical swiveling device for imaging and/or projection of an object scene
WO2022269895A1 (ja) 撮像装置、および受光装置
WO2022208571A1 (ja) 撮像装置、および撮像システム
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
CN107688236A (zh) 折轴式天文望远镜光瞳和光谱仪狭缝监控方法及其设备
US9599988B2 (en) Adapted mobile carrier and auto following system
Matsuka et al. Surveillance system for multiple moving objects
RU162322U1 (ru) Теплопеленгатор
Jiang et al. Multi-Thread AI Cameras Using High-Speed Active Vision System
JP2000266985A (ja) 監視カメラの自動焦点調整装置
JP2018074284A (ja) 監視システムおよびその制御方法
Eslami et al. A stereo PTZ tracking and surveillance system with two dynamic cameras operating in a master-slave relationship

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21947179

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529399

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20247002302

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020247002302

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2021947179

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180101015.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18572203

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021947179

Country of ref document: EP

Effective date: 20240125