WO2022013979A1 - ステレオカメラ - Google Patents

ステレオカメラ Download PDF

Info

Publication number
WO2022013979A1
WO2022013979A1 PCT/JP2020/027538 JP2020027538W WO2022013979A1 WO 2022013979 A1 WO2022013979 A1 WO 2022013979A1 JP 2020027538 W JP2020027538 W JP 2020027538W WO 2022013979 A1 WO2022013979 A1 WO 2022013979A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereo camera
distance
optical lens
range
robot arm
Prior art date
Application number
PCT/JP2020/027538
Other languages
English (en)
French (fr)
Inventor
雅史 上野山
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to PCT/JP2020/027538 priority Critical patent/WO2022013979A1/ja
Publication of WO2022013979A1 publication Critical patent/WO2022013979A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system

Definitions

  • the present invention relates to a stereo camera.
  • a stereo camera that measures the distance to an object by using the parallax of images of the object taken from at least two different directions.
  • the stereo camera is composed of, for example, two monocular camera structures.
  • the stereo camera calculates the distance to the object within the overlapping range from the parallax amount of the image in the overlapping range where the shooting range of the first monocular camera structure and the shooting range of the second monocular camera structure overlap. do.
  • the shooting range of the first monocular camera structure and the shooting range of the second monocular camera structure become narrower as they approach the optical lens. Therefore, in a stereo camera in which the first monocular camera structure and the second monocular camera structure are arranged side by side, the overlap range becomes narrower as the optical lens approaches.
  • the distance measurement of an object located at a short distance is limited. Therefore, there is known a stereo camera in which the distance between the main optical axes of the two monocular camera structures is narrowed and the imaging range of the two monocular camera structures is adjusted to expand the overlapping range at a short distance.
  • Patent Document 1 discloses a stereo camera (imaging device) having at least two optical lenses arranged side by side, at least two image pickup elements corresponding to the respective optical lenses, and at least two optical hoods. ing.
  • the stereo camera is configured such that the distance between the two corresponding image pickup elements is wider than the distance between the main optical axes of the two optical lenses. That is, in the stereo camera described in Patent Document 1, the shooting range that extends toward the adjacent monocular camera structure with respect to the main optical axis of the monocular camera structure expands in the opposite direction of the adjacent monocular camera structure. It is configured to be larger than the shooting range. With this configuration, the stereo camera expands the overlapping range of the shooting range of each monocular camera structure.
  • the stereo camera be configured to be capable of measuring a wide range by expanding not only the overlapping range at a long distance and a medium distance but also the overlapping range at a short distance.
  • a stereo camera with an expanded overlap range can measure distances to a plurality of objects included in the overlap range without operating a moving object such as an articulated robot arm.
  • the stereo camera can improve the work efficiency of the moving body for measuring the distance to the object.
  • the stereo camera described in Patent Document 1 can measure a wide range of distances with respect to the object at a short distance, and is therefore useful as an image pickup device for mobile devices, surveillance cameras, vehicles, and the like.
  • the stereo camera described in Patent Document 1 reduces the overlapping range at a long distance and a medium distance in order to expand the overlapping range at a short distance. That is, the stereo camera is configured to be capable of measuring the distance of an object from a short distance to a long distance in a relatively narrow shooting range. Therefore, the moving object using the stereo camera is moved to the vicinity of each object in order to measure the distance of a plurality of objects included in the predetermined range. Therefore, the moving body increases the amount of kinetic energy for moving the stereo camera. Further, if the distance between the main optical axes of each optical lens is increased in order to expand the overlapping range of the stereo camera at medium and long distances, the stereo camera becomes large. Therefore, the stereo camera may reduce the working efficiency of the moving body depending on the state of the overlapping range set in the short distance to the long distance.
  • An object of the present invention is to provide a stereo camera capable of improving the work efficiency of a moving body that measures a distance to an object by a stereo camera.
  • the present inventors have studied a stereo camera that can improve the work efficiency of a moving body that measures the distance to an object with a stereo camera. As a result of diligent studies, the present inventors have come up with the following configuration.
  • the stereo camera according to the embodiment of the present invention is a moving body having a plurality of optical lenses, a plurality of color imaging elements for detecting the light collected by the plurality of optical lenses, and a movable portion having 6 degrees of freedom.
  • a housing having a bracket portion that can be attached to the movable portion is provided.
  • the directions orthogonal to the plurality of principal optical axes At a position where the distance from the focal point of the optical lens having the smallest distance to the object among the plurality of optical lenses is 200 mm in the first direction, which is the axial direction of the main optical axis, the directions orthogonal to the plurality of principal optical axes.
  • the length in the second direction is 600 mm or less
  • the length in the third direction orthogonal to the first direction and the second direction is 500 mm or less
  • the length in the direction away from the optical lens in the first direction The length in the second direction is configured to be measurable and the distance from the focal point of the optical lens in the first direction is 1000 mm.
  • the length in the third direction is 1000 mm or more and 2500 mm or less
  • the length in the direction away from the optical lens in the first direction is 500 mm or more. It is configured so that the distance to the object can be measured, and is supported by the housing so as to move integrally with the moving body having the movable portion having 6 degrees of freedom.
  • the stereo camera provided on a moving body having a movable portion having 6 degrees of freedom is closest to the object in a state where the width between the main optical axes of the plurality of optical lenses is limited to 100 mm or less.
  • a short distance position of 200 mm in the first direction from the focal point of the optical lens in a space having a length of 600 mm or less in the second direction x a length of 500 mm or less in the third direction x a length of 500 mm or less in the first direction.
  • the distance of the existing object is measured.
  • the stereo camera has a long distance of 1000 mm in the first direction from the focal point of the optical lens closest to the object in a state where the width between the main optical axes of the plurality of optical lenses is limited to 100 mm or less.
  • a length of 1300 mm in the second direction ⁇ a length of 1000 mm in the third direction ⁇ a length of 500 mm or more in the first direction
  • a length of 3200 mm in the second direction ⁇ a length in the third direction.
  • the distance of the object existing in the space up to 2500 mm ⁇ the length of 500 mm or more in the first direction is measured.
  • the stereo camera suppresses the size of the housing by limiting the width between the main optical axes of the plurality of optical lenses.
  • the stereo camera has an overlapping space in which the photographable spaces that can be photographed by the plurality of optical lenses and the plurality of image pickup elements are overlapped.
  • the stereo camera is configured to be capable of measuring the distance of the object existing in the overlapping space.
  • the overlapping space is defined by a rectangular parallelepiped space whose longitudinal direction is along the direction of arrangement of the plurality of optical lenses.
  • the stereo camera is configured so that the volume of the rectangular parallelepiped space changes according to the distance from the focal point of the optical lens.
  • the rectangular overlapping space having a size corresponding to the distance from the focal point of the optical lens is defined from a short-distance position where the distance from the focal point of the optical lens is 200 mm to a long-distance position of 1000 mm. Has been done.
  • the kinetic energy of the moving body provided with the stereo camera is reduced by reducing the size of the housing of the stereo camera.
  • the stereo camera even if a plurality of the objects are located in a wide range, the plurality of objects are included in the rectangular parallelepiped overlapping space, so that the distance between the plurality of objects can be measured. The amount of movement of the moving body is suppressed.
  • the stereo camera by defining the measurable space in a rectangular parallelepiped shape, the arrangement of the stereo camera with respect to the object becomes easy. Thereby, the stereo camera can improve the work efficiency of the moving body that measures the distance to the object by the stereo camera.
  • the stereo camera of the present invention preferably includes the following configurations.
  • the two optical lenses are arranged side by side in the second direction, and the two color image sensors corresponding to the two optical lenses are arranged side by side in the second direction.
  • the two color image sensors are arranged so as to correspond to the optical lenses in the direction of the arrangement of the main optical axes of the two optical lenses. Therefore, the stereo camera can reduce the projected area of the housing in the axial direction of the main optical axis of the optical lens. That is, the size of the housing of the stereo camera is the minimum necessary size. Therefore, the kinetic energy of the moving body provided with the stereo camera is reduced by reducing the size of the housing of the stereo camera. Thereby, the stereo camera can improve the work efficiency of the moving body that measures the distance to the object by the stereo camera.
  • the stereo camera of the present invention preferably includes the following configurations.
  • the output line that outputs the image information detected by the color image sensor and the power line that supplies power to the color image sensor are located in the housing at a position hidden by the housing when viewed in the axial direction of the main optical axis. It is connected.
  • the connection position of the output line in the housing and the connection position of the power line in the housing are located in the housing when viewed in the axial direction of the main optical axis of the plurality of optical lenses. I'm hiding. Therefore, the stereo camera can reduce the projected area and the moment of inertia of the stereo camera in the axial direction of the main optical axis of the optical lens. Therefore, it is possible to reduce the kinetic energy of the moving body provided with the stereo camera in the shooting direction of the stereo camera. Thereby, the stereo camera can improve the work efficiency of the moving body that measures the distance to the object by the stereo camera.
  • the stereo camera of the present invention preferably includes the following configurations.
  • the bracket portion is provided on a first surface or a second surface located in the third direction of the housing.
  • the stereo camera is provided with the bracket portion along the arrangement direction of the plurality of main optical axes.
  • the stereo camera can be attached to the moving body so that the overlapping range is located in front of the moving body by using the bracket portion provided on either one of the first surface and the second surface. .. Thereby, the stereo camera can improve the work efficiency of the moving body that measures the distance to the object by the stereo camera.
  • the stereo camera of the present invention preferably includes the following configurations.
  • the plurality of optical lenses are fixed so as not to be relatively movable with respect to the housing.
  • the stereo camera the plurality of optical lenses are fixed to the housing. That is, the stereo camera does not include a mechanical image stabilization mechanism, autofocus, a telephoto function, and the like. Therefore, the stereo camera can be reduced in weight and external dimensions as compared with a camera having an additional function such as the mechanical image stabilization mechanism. Thereby, the stereo camera can improve the work efficiency of the moving body that measures the distance to the object by the stereo camera.
  • attachments are used in a broad sense and are “direct and indirect” attachments. Includes both connections and bonds. Further, “connected” and “bonded” are not limited to physical or mechanical connections or bonds, but can include direct or indirect connections or bonds.
  • This specification describes an embodiment of the stereo camera according to the present invention.
  • the stereo camera means a camera capable of acquiring an image for calculating the distance to the object by simultaneously photographing the object from a plurality of different directions.
  • the stereo camera is a camera having two or more of the optical lens and the image pickup element constituting the monocular camera structure.
  • the stereo camera can calculate the parallax amount in a range where the shooting ranges taken by the optical lens and the image pickup element overlap.
  • the object means a natural object, an artificial object, a virus, an organism (animal, a plant) or the like to be treated by the end effector.
  • the object specifically means agricultural products, marine products, industrial products, livestock, insects, humans, and the like.
  • the object includes both the treatment site, which is the portion treated by the end effector, and the contact position, which the contact portion contacts to move to the treatment position.
  • the objects include, for example, fruits, stems, stems, branches, stalks and the like in agricultural work.
  • the moving body means a working machine that moves to perform a treatment on the object.
  • the moving body is provided with the stereo camera for measuring the distance to the object.
  • the moving body may be a working machine capable of moving the stereo camera, for example, a robot arm with 6 degrees of freedom, an unmanned flying object, an unmanned ground vehicle, or the like.
  • the shooting range means a range in which a camera structure composed of a plurality of optical lenses constituting the stereo camera and an image pickup element can each shoot.
  • the photographing range extends in the vertical direction and the horizontal direction when viewed in the axial direction of the main optical axis with the main optical axis of the optical lens as the center.
  • the overlapping range means a shooting range included in each other in the shooting range by the plurality of image pickup elements constituting the stereo camera. That is, it is the shooting range that can be simultaneously shot by the plurality of image sensors.
  • the overlapping range is determined by the focal lengths of the plurality of optical lenses, the distance between the plurality of optical axes, and the shape of the light receiving surface of the image pickup device.
  • the angle of view means an angle indicating a range actually photographed by the image sensor.
  • the angle of view is a diagonal angle of view indicating an angle formed by the optical center of the optical lens and two points diagonal to the light receiving surface of the image sensor. That is, the diagonal angle of view is determined by the focal length of the optical lens and the length of the diagonal line of the light receiving surface.
  • the diagonal angle of view becomes smaller as the focal length of the optical lens becomes longer, and becomes smaller as the diagonal line of the light receiving surface becomes shorter.
  • the principal optical axis means a straight line passing through the center and focal point of the optical lens.
  • the main optical axis is a direction in which light does not cause birefringence when light passes through a crystal having optical anisotropy.
  • End effector means a device that performs arbitrary treatment on an object.
  • the end effector is attached to the tip of a work machine such as an articulated robot arm.
  • the end effector has a structure corresponding to the treatment for the object, and has various devices corresponding to the treatment.
  • the articulated robot arm means a robot arm having a plurality of joint portions connecting a plurality of links.
  • the articulated robot arm includes a vertical articulated robot arm.
  • the vertical articulated robot arm is a robot arm of a serial link mechanism in which links are connected in series from the root to the tip by a rotary joint or a linear motion joint having one degree of freedom.
  • the vertical articulated robot arm has a plurality of joints.
  • FIG. 1 is a perspective view of a stereo camera according to the first embodiment of the present invention.
  • 2A and 2B are a cross-sectional view taken along the line ⁇ in FIG. 1 and a cross-sectional view taken along the line ⁇ in FIG. 1 in the stereo camera according to the first embodiment of the present invention.
  • FIG. 3 is a schematic plan view (A) and a schematic side view (B) in a schematic view showing a shooting range of the stereo camera according to the first embodiment of the present invention.
  • FIG. 4 is a perspective view showing (A) a shooting range by each optical lens and an image pickup element, and (B) an overlapping range in which the distance of an object can be measured in the stereo camera 1 according to the first embodiment of the present invention. be.
  • FIG. 1 is a perspective view of a stereo camera according to the first embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing a shooting state of grapes by an articulated robot arm having 6 degrees of freedom equipped with a stereo camera according to the first embodiment of the present invention.
  • FIG. 6 is a plan view and a side view of an end effector to which the stereo camera according to the first embodiment of the present invention is attached.
  • FIG. 7 is a diagram showing an example of a processed image of the grape harvest order calculated by the articulated robot arm control device.
  • FIG. 1 is a perspective view of the stereo camera 1 according to the first embodiment of the present invention.
  • FIG. 2 is a plan sectional view and a side sectional view of the stereo camera 1.
  • FIG. 3 is a schematic diagram showing a shooting range in the stereo camera 1.
  • the arrows in the figure indicate the direction of the coordinate axis, which is the Cartesian coordinate system in the stereo camera 1.
  • the front-back direction of the stereo camera 1 is the direction of the first main optical axis O1 and the second main optical axis O2 toward the object from the first optical lens 3 and the second optical lens 4, which are a plurality of optical lenses included in the stereo camera 1. This is the direction in which the first direction is the forward direction.
  • the left-right direction of the stereo camera 1 is defined to be left-right with respect to the front direction in the second direction orthogonal to the first main optical axis O1 and the second main optical axis O2 parallel to each other.
  • the vertical direction of the stereo camera 1 is defined up and down with reference to the front direction in the third direction orthogonal to the front-back direction and the left-right direction.
  • the stereo camera 1 is a device for taking an image for measuring the distance to an object existing in a predetermined space.
  • the stereo camera 1 includes a housing 2, a first optical lens 3, a second optical lens 4, a common substrate 5 (see FIG. 2), a first image sensor 6 (see FIG. 2), and a second image sensor. 7 (see FIG. 2), an output line 9a, and a power line 9b are provided.
  • the stereo camera 1 is configured to be attachable to an articulated robot arm 11 (see FIG. 5), which is a moving body having 6 degrees of freedom.
  • the housing 2 is a component constituting the frame of the stereo camera 1.
  • the housing 2 is formed in a hollow substantially rectangular parallelepiped shape.
  • the housing 2 is provided with a first opening 2a and a second optical lens 4 for providing the first optical lens 3 on the front surface of the housing 2 in a state where the longitudinal direction is arranged along the left-right direction.
  • the second opening 2b of the above is formed.
  • the first opening 2a and the second opening 2b are formed on the front surface of the housing 2 side by side in the left-right direction.
  • a first bracket portion 2c that can be attached to an articulated robot arm 11 that is a moving body having 6 degrees of freedom is provided.
  • a second bracket 2d is provided on the lower surface of the housing 2.
  • the first optical lens 3 and the second optical lens 4 which are optical lenses, are optical elements that refract light to diverge or converge it.
  • the first optical lens 3 is an optical lens that concentrates light on the first image sensor 6.
  • the second optical lens 4 is an optical lens that concentrates light on the second image sensor 7.
  • the first optical lens 3 and the second optical lens 4 are composed of at least one or more optical lenses.
  • the first optical lens 3 is provided in the first opening 2a of the housing 2.
  • the second optical lens 4 is provided in the second opening 2b of the housing 2. That is, the first optical lens 3 and the second optical lens 4 are arranged side by side in the left-right direction in the housing 2.
  • the first optical lens 3 and the second optical lens 4 are positioned so that the first optical axis O1 and the second optical axis O2 are parallel to each other and along the front-rear direction, which is the first direction. Further, the first optical lens 3 and the second optical lens 4 are positioned so that the first optical axis O1 and the second optical axis O2 overlap each other when viewed in the left-right direction.
  • first optical lens 3 and the second optical lens 4 are located at the same positions in the front-rear direction and the up-down direction. Further, the focal point of the first optical lens 3 and the focal point of the second optical lens 4 are located at the same positions in the front-rear direction and the up-down direction.
  • the first optical lens 3 and the second optical lens 4 are fixed to the housing 2. That is, the first optical lens 3 and the second optical lens 4 do not have a camera shake correction mechanism that mechanically adjusts the radial position of the lens. Further, the first optical lens 3 and the second optical lens 4 do not have an autofocus mechanism and a telephoto mechanism for mechanically adjusting the positions of the main optical axes O1 and O2 of the lens in the axial direction.
  • the common substrate 5 is a printed circuit board on which a circuit for electrically connecting the elements necessary for functioning the stereo camera 1 including the first image pickup element 6 and the second image pickup element 7 is formed.
  • the first image sensor 6 and the second image sensor 7 are electrically connected to the circuit of the common substrate 5.
  • the common substrate 5 is arranged inside the housing 2 with the surface to which the first image sensor 6 and the second image sensor 7 are connected facing forward. That is, the common substrate 5 is arranged inside the housing 2 so that the first image sensor 6 and the second image sensor 7 face the first optical lens 3 and the second optical lens 4.
  • the image processing device 8 to be calculated is electrically connected.
  • the first image sensor 6 and the second image sensor 7 are semiconductor elements that convert light into image information composed of electrical signals.
  • the first image sensor 6 and the second image sensor 7 are composed of a CCD image sensor or a COMS image sensor as a color image sensor.
  • the first image sensor 6 and the second image sensor 7 have rectangular light receiving surfaces 6a and 7a.
  • the first image sensor 6 and the second image sensor 7 convert the luminance information for each wavelength of the light irradiated to the light receiving surfaces 6a and 7a into an electric signal.
  • the first image sensor 6 and the second image sensor 7 are provided on the common substrate 5.
  • the first image sensor 6 is fixed to the common substrate 5 with the light receiving surface 6a facing forward.
  • the first image sensor 6 is arranged on the common substrate 5 so that the first optical axis O1 of the first optical lens 3 passes vertically through the center of the light receiving surface 6a. That is, the first image sensor 6 is an image sensor corresponding to the first optical lens 3. Further, the first image sensor 6 is arranged on the common substrate 5 so that the longitudinal direction of the light receiving surface 6a is along the left-right direction (second direction).
  • the first image sensor 6 converts the light radiated to the light receiving surface 6a into an electric signal.
  • the first image sensor 6 generates the first image Im1 from the light emitted to the light receiving surface 6a.
  • the second image sensor 7 is provided on the common substrate 5 with the light receiving surface 7a facing forward.
  • the second image sensor 7 is arranged on the common substrate 5 so that the second main optical axis O2 of the second optical lens 4 passes vertically through the center of the light receiving surface 7a. That is, the second image sensor 7 is an image sensor corresponding to the second optical lens 4.
  • the second image pickup element 7 is arranged on the common substrate 5 so that the longitudinal direction of the light receiving surface 7a is along the left-right direction. By arranging the second image sensor 7 in this way, the second image sensor 7 irradiates the light collected by the second optical lens 4 on the rectangular light receiving surface 7a which is long in the left-right direction.
  • the second image pickup device 7 converts the light irradiated on the light receiving surface 7a into an electric signal.
  • the second image sensor 7 generates the second image Im2 from the light emitted to the light receiving surface 7a.
  • the image processing device 8 is a distance L (n) from the focal point of the grape G (n) or the optical lens closest to the target position to the feature point or the target position included in the grape G (n) (hereinafter, simply "distance L"). It is a control device for calculating (n).
  • the (n) of the grape G (n) is a subscript (n is an integer) for distinguishing the grapes.
  • the output line 9a is a wiring that outputs the image information calculated by the image processing device 8 to the control device of the articulated robot arm 11.
  • the output line 9a is connected to the common board 5 from the rear surface of the housing 2 via a connector or the like provided on the housing 2. Further, the output line 9a is connected to the control device of the articulated robot arm 11.
  • the power line 9b is a wiring that supplies power to the first image sensor 6, the second image sensor 7, the image processing device 8, and the like connected to the common substrate 5.
  • the power line 9b is connected to the common board 5 from the rear surface of the housing 2 via a connector or the like provided on the housing 2. Further, the power line 9b is connected to the robot arm control device 24.
  • the output line 9a and the power line 9b are located at positions hidden in the housing 2 when viewed in the axial direction of the first optical axis O1 of the first optical lens 3 and the second optical axis O2 of the second optical lens 4. It is connected to the housing 2. That is, the output line 9a and the power line 9b do not increase the projected area of the stereo camera 1 in the front-rear direction.
  • the focal lengths f between the first optical lens 3 and the second optical lens 4 are equal values.
  • the width B is defined as the distance between the first optical axis O1 of the first optical lens 3 and the second optical axis O2 of the second optical lens 4.
  • the image processing device 8 of the stereo camera 1 is a grape from the first image Im1 generated by the first image sensor 6 and the second image Im2 generated by the second image sensor 7.
  • the difference amount D of the feature points (for example, pixels) included in G (n) is calculated.
  • the image processing device 8 calculates the distance L (n) to each feature point based on the parallax amount D.
  • the image processing device 8 When the feature point is a predetermined position of the grape G (n) (hereinafter, simply referred to as "grape G (n)”), the image processing device 8 has the position coordinates G1 of the grape G (n) in the first image Im1. Based on the position coordinate G2 of the grape G (n) in the second image Im2, the difference between the position coordinate G1 and the position coordinate G2 is calculated as the discriminant amount D.
  • the image processing device 8 has a width B, which is the distance between the first primary optical axis O1 of the first optical lens 3 and the second primary optical axis O2 of the second optical lens 4, and the first optical lens 3 and the second optical lens. From the focal distance f of the optical lens closest to the grape G (n) and the parallax amount D among 4, the distance L (n) from the focal distance f to the grape G (n) using the following equation (1). Is calculated.
  • FIG. 4 shows a plurality of images in which the distance L (n) between the shooting range and the grape G (n), which is the range in which the image of the grape G (n) can be generated, can be measured by each optical lens and the image sensor in the stereo camera 1. Shows the overlapping range of the shooting range of.
  • the first shooting range Ia1 in the stereo camera 1 is the same as the first optical lens 3 at an arbitrary distance L (n). It is a range in which an image can be generated by the first image sensor 6.
  • the second photographing range Ia2 is a range in which an image can be generated by the second optical lens 4 and the second image pickup element 7 at an arbitrary distance L (n).
  • the shape of the first shooting range Ia1 at the position of the distance L (n) from the focal length of the first optical lens 3 is calculated from the focal length f of the first optical lens 3 and the shape of the light receiving surface 6a of the first image sensor 6. The lens.
  • the shape of the second shooting range Ia2 at the position of the distance L (n) from the focal length of the second optical lens 4 is the shape of the focal length f of the second optical lens 4 and the shape of the light receiving surface 7a of the second image sensor 7. It is calculated from.
  • the photographing range width W1 is based on the following equation (2) from the first light receiving surface width IW1 which is the length of the light receiving surface 6a in the first imaging element 6 in the left-right direction and the focal length f of the first optical lens 3. Calculate using.
  • the first shooting range height H1 which is the length of the first shooting range Ia1 in the vertical direction (third direction), is the height of the first light receiving surface, which is the length of the light receiving surface 6a in the first imaging element 6 in the vertical direction. It is calculated from IH1 and the focal length f of the first optical lens 3 using the following equation (3).
  • the second photographing range width W2 which is the length in the left-right direction (second direction) of the second photographing range Ia2 at the position of the distance L (n) from the focal length of the second optical lens 4, is the second imaging element 7.
  • W1 and IW1 in the following equation (2) are replaced with W2 and IW2.
  • the focal length f of the second optical lens 4 is calculated by replacing H1 and HI1 in the following equation (3) with H2 and HI2.
  • the areas of the first imaging range Ia1 and the second imaging range Ia2 at the position of an arbitrary distance L (n) are proportional to the square of the distance L (n).
  • the areas of the first shooting range Ia1 and the second shooting range Ia2 are inversely proportional to the square of the focal length f.
  • the area of the first imaging range Ia1 is proportional to the area of the light receiving surface 6a of the first image sensor 6.
  • the area of the second photographing range Ia2 is proportional to the area of the light receiving surface 6a of the second image sensor 7.
  • the first photographing range Ia1 has the first light receiving surface width IW1 and It is a rectangular region similar to the light receiving surface 6a having the first light receiving surface height IH1 (see FIG. 2). Further, the first photographing range Ia1 changes in proportion to the square of the distance L (n). That is, in the first imageable space S1, which is a space in which an image can be generated by the first optical lens 3 and the first image pickup element 6, the larger the distance L (n), the more forward from the focal point of the first optical lens 3.
  • the first main optical axis O1 passes through the center of the apex and the bottom surface of the rectangular weight in the first photographable space S1.
  • the second shootable range S2 which is a space in which an image can be generated by the first optical lens 3 and the first image pickup element 6, the larger the distance L (n), the more forward from the focal point of the second optical lens 4.
  • the second main optical axis O2 passes through the center of the apex and the bottom surface of the rectangular weight in the second photographable space S2.
  • the first light receiving surface width IW1 and the first light receiving surface height IH1 of the first image sensor 6 are equal to the light receiving surface width IW2 and the light receiving surface height IH2 of the second image sensor 7 (FIG. 2). Therefore, the first shooting range width W1 of the first shooting range Ia1 and the second shooting range width W2 of the second shooting range Ia2 in this embodiment are equal at an arbitrary distance L (n). Similarly, the first shooting range height H1 and the second shooting range height H2 of the first shooting range Ia1 are equal at an arbitrary distance L (n). That is, the first photographable space S1 and the second photographable space S2 obtained by continuously changing the distance L (n) are spaces having the same shape.
  • the first optical axis O1 and the second shooting range Ia2 located at the center of the first shooting range Ia1. It is separated from the second main optical axis O2 located at the center by the width B in the left-right direction.
  • First shooting range Ia1 Second shooting range Ia2 When the first shooting range width W1 (second shooting range width W2) at an arbitrary distance L (n) is larger than the width B, the first shooting range Ia1 and the second shooting range An overlapping range Ia (see the light ink portion) that overlaps with Ia2 is formed. That is, the overlapping range Ia is a range included in both the first shooting range Ia1 and the second shooting range Ia2.
  • the overlapping space S is a space in which a part of the first photographable space S1 and the second photographable space S2, which are rectangular cone-shaped spaces located side by side in the left-right direction, overlap. Therefore, the overlapping space S is a substantially square in which the overlapping range Ia between the first shooting range Ia1 of the first shootable space S1 and the second shooting range Ia2 of the second shootable space S2 increases as the distance L (n) increases. It is a space like a weight platform.
  • the position of the overlap range Ia, the overlap range width W which is the length of the overlap range Ia in the left-right direction (second direction), and the overlap range height H which is the length of the overlap range Ia in the vertical direction (third direction) are The first shooting range width W1 and the first shooting range height H1 of the first shooting range Ia1, the second shooting range width W2 and the second shooting range height H2 of the second shooting range Ia2, the focal length f, the width B and the distance. It is determined by L (n).
  • the first photographable space S1 and the second photographable space S2 are spaces having the same shape. Therefore, the overlapping range width W of the overlapping range Ia at the position of the distance L (n) is a value obtained by dividing the width B from the value calculated by the equation (2). Further, the overlapping range height H of the overlapping range Ia at the position of the distance L (n) is a value calculated by the equation (3).
  • the area of the overlapping range Ia at the position of an arbitrary distance L (n) is proportional to the square of the distance L (n).
  • the area of the overlapping range Ia is proportional to the area of the light receiving surface 6a of the first shooting range Ia1 and the second shooting range Ia2.
  • the area of the overlapping range Ia is proportionally inversely proportional to the square of the focal length f.
  • the overlapping range width W of the overlapping range Ia becomes larger as the width B becomes smaller.
  • the focal length f is decreased, or the width B is decreased
  • the arbitrary distance L (n) can be set.
  • the area of the overlap range Ia at the position increases.
  • the focal length f is decreased, or the width B is decreased, the first imaging ranges Ia1 and the second are obtained.
  • the range of the distance L (n) that overlaps with the shooting range Ia2 expands in the rear direction.
  • the grape G (n) existing in the overlapping range Ia is simultaneously photographed by the stereo camera 1 from the position of the first optical lens 3 and the position of the second optical lens 4.
  • the stereo camera 1 can generate the first image Im1 and the second image Im2 in which the grape G (n) included in the overlapping range Ia is simultaneously photographed at different positions.
  • the image processing device 8 of the stereo camera 1 can calculate the parallax amount D for the grape G (n) from the first image Im1 and the second image Im2. Therefore, the overlapping range Ia is a range in which the distance L (n) to the grape G (n) can be measured by the stereo camera 1.
  • the first optical lens 3 and the first image sensor 6 of the stereo camera 1 and the second optical lens 4 and the second image sensor 7 are the first optical axis O1.
  • the width B of the second main optical axis O2 are arranged so as to be 100 mm or less.
  • first optical lens 3 and the first image pickup element 6 and the second optical lens 4 and the second image pickup element 7 have a length in the left-right direction (second direction) at a position where the distance L (n) is 200 mm.
  • the overlapping space S is configured to include a rectangular space Ra having a length of 600 mm or less, a length in the vertical direction (third direction) of 500 mm or less, and a length of 500 mm or less in the forward direction (first direction).
  • first optical lens 3 and the first image pickup element 6 and the second optical lens 4 and the second image pickup element 7 have a length of 1300 mm or more in the left-right direction at a position where the distance L (n) is 1000 mm.
  • the overlapping space S is configured to include a rectangular space Rb having a length of 3200 mm or less, a length of 1000 mm or more in the vertical direction and 2500 mm or less, and a length of 500 mm or more in the forward direction.
  • the stereo camera 1 has a first photographing range so as to satisfy both the shape of the overlapping range Ia at the position where the distance L (n) is 200 mm and the shape of the overlapping range Ia at the position where the distance L (n) is 1000 mm.
  • the width W1 (second shooting range width W2), the first shooting range height H1 (second shooting range height H2), the focal length f, and the width B are set.
  • the overlapping range Ia continuously changes from the shape of the overlapping range Ia at the position where the distance L (n) is 200 mm to the shape of the overlapping range Ia at the position where the distance L (n) is 1000 mm. Therefore, the overlapping space S has a shape that interpolates the shape of the overlapping range Ia at the position where the distance L (n) is 200 mm and the shape of the overlapping range Ia at the position where the distance L (n) is 1000 mm.
  • the overlapping space S is an abbreviation that continuously connects the overlapping range Ia of 600 mm ⁇ 500 mm at the position where the distance L (n) is 200 mm and the overlapping range Ia of 1300 mm ⁇ 1000 mm at the position where the distance L (n) is 1000 mm. It constitutes a square pyramid-shaped space.
  • the overlapping space S is an abbreviation that continuously connects the overlapping range Ia of 600 mm ⁇ 500 mm at the position where the distance L (n) is 200 mm and the overlapping range Ia of 3200 mm ⁇ 2500 mm at the position where the distance L (n) is 1000 mm. It constitutes a square pyramid-shaped space.
  • the overlapping range Ia is also configured from the position where the distance L (n) is 200 mm to the position in the rear direction.
  • the overlapping space S at a position where the distance L (n) is less than 200 mm interpolates the shape of the overlapping range Ia at the position where the distance L (n) is 200 mm and the shape of the overlapping range Ia at the position where the distance L (n) is 1000 mm.
  • the distance L (n) is expanded backward from the position of 200 mm by using the shape. That is, the stereo camera 1 can measure the distance L (n) to the grape G (n) even in a substantially square pyramidal space configured at a position where the distance L (n) is less than 200 mm.
  • FIG. 5 is a schematic diagram showing a shooting state of grapes by an articulated robot arm having a movable portion with 6 degrees of freedom equipped with a stereo camera according to the first embodiment of the present invention.
  • FIG. 6 is a plan view and a side view of an end effector to which the stereo camera according to the first embodiment of the present invention is attached.
  • FIG. 7 is a diagram showing an example of a processed image of the grape harvest order calculated by the articulated robot arm control device.
  • the articulated robot arm device 10 includes an articulated robot arm 11, an end effector 23, and a robot arm control device 24 (see FIG. 2).
  • the arrows X, Y, and Z in the figure shown below indicate the direction of the coordinate axis which is the Cartesian coordinate system (hereinafter, simply referred to as “robot coordinate system”) in the articulated robot arm device 10.
  • the origin of the robot coordinate system is the intersection of the axis of the S-axis motor unit 12 and the axis of the L-axis motor unit 14 in the articulated robot arm 11 described later.
  • the articulated robot arm 11 is a robot arm of a serial link mechanism in which links are connected in series from a proximal end to a distal end by a rotary joint having one degree of freedom.
  • the articulated robot arm 11 is, for example, a vertical articulated robot arm 11 which is a moving body having a movable portion having 6 degrees of freedom.
  • the articulated robot arm 11 is provided on a remote-controlled vehicle 100 or the like.
  • the S-axis motor unit 12, the L-axis motor unit 14, the U-axis motor unit 16, the B-axis motor unit 18, and the R-axis motor unit 20 are arranged in this order from the base end portion fixed to the remote-controlled vehicle 100.
  • the T-axis motor unit 22 are connected in series by a link, respectively.
  • the motor unit of each axis constitutes a rotary joint.
  • the motor unit of each axis includes a motor, a speed reducer, an encoder and a drive circuit (not shown).
  • the articulated robot arm 11 is controlled by the robot arm control device 24.
  • the articulated robot arm 11 acquires a control signal from the robot arm control device 24 to the drive circuit of each axis. Further, the articulated robot arm 11 transmits information regarding the output of the motor of the motor unit of each axis and information from the encoder to the robot arm control device 24.
  • the S-axis motor unit 12 is provided in the remote-controlled vehicle 100.
  • the S-axis motor unit 12 is a rotary joint that rotates the entire articulated robot arm 11.
  • the S-axis motor unit 12 is arranged so that the axis of the S-axis motor unit 12 extends in a direction perpendicular to the installation surface of the articulated robot arm 11.
  • a base member 13 is fixed to the output shaft of the S-axis motor unit 12.
  • the base member 13 is provided with an L-axis motor unit 14.
  • the L-axis motor unit 14 is a rotary joint that swings the lower bowl link 15.
  • the L-axis motor unit 14 is arranged so that the axis of the L-axis motor unit 14 extends in a direction perpendicular to the axis of the S-axis motor unit 12.
  • One end of the lower bowl link 15 is fixed to the output shaft of the L-axis motor unit 14.
  • a U-axis motor unit 16 is provided at the other end of the lower bowl link 15.
  • the U-axis motor unit 16 is a rotary joint that swings the upper arm link 17.
  • the U-axis motor unit 16 is arranged so that the axis of the U-axis motor unit 16 extends in a direction parallel to the axis of the L-axis motor unit 14.
  • One end of the upper arm link 17 is fixed to the output shaft of the U-axis motor unit 16.
  • a B-axis motor unit 18 is provided at the other end of the upper arm link 17.
  • the B-axis motor unit 18 is a rotary joint that swings the wrist vertical link 19.
  • the B-axis motor unit 18 is arranged so that the axis of the B-axis motor unit 18 extends in a direction parallel to the axis of the U-axis motor unit 16.
  • a wrist vertical link 19 is fixed to the output shaft of the B-axis motor unit 18.
  • the wrist upper / lower link 19 is provided with an R-axis motor unit 20.
  • the R-axis motor unit 20 is a rotary joint that rotates the wrist rotation link 21.
  • the R-axis motor unit 20 is arranged so that the axis of the R-axis motor unit 20 extends in a direction perpendicular to the axis of the B-axis motor unit 18.
  • a wrist rotation link 21 is fixed to the output shaft of the R-axis motor unit 20.
  • the wrist rotation link 21 is provided with a T-axis motor unit 22.
  • the T-axis motor unit 22 is a rotary joint that rotates the end effector 23.
  • the T-axis motor unit 22 is arranged so that the axis of the T-axis motor unit 22 extends in a direction perpendicular to the axis of the R-axis motor unit 20.
  • An end effector 23 is fixed to the output shaft of the T-axis motor unit 22.
  • the articulated robot arm 11 configured in this way is the sum of the three degrees of freedom of translation in the X-axis, Y-axis, and Z-axis directions and the three degrees of freedom of rotation around the X-axis, Y-axis, and Z-axis by the motor unit of each axis. Has 6 degrees of freedom. Therefore, the articulated robot arm 11 can move the end effector 23 fixed to the output shaft of the T axis to an arbitrary position and take an arbitrary posture in the movable space of the articulated robot arm 11. Can be done.
  • the end effector 23 is a device that works on the grape G (n).
  • the end effector 23 according to the first embodiment of the present invention is a harvesting device for harvesting grape G (n).
  • the end effector 23 includes a cutting device 23a for separating the grape G (n) from the stalk and a gripping device 23b for gripping the grape G (n).
  • the end effector 23 is fixed to the output shaft of the T-axis motor unit 22.
  • the end effector 23 is provided with a cutting device 23a, a gripping device 23b, and the like in front of the end effector 23 with the axial direction of the T axis as the front-rear direction.
  • the cutting device 23a and the gripping device 23b are driven by, for example, a motor.
  • the end effector 23 harvests the grape G (n) by cutting the fruit stalk closer to the trunk than the gripping position by the cutting device 23a in a state where the fruit stalk of the grape G (n) is gripped by the gripping device 23b.
  • the end effector 23 is provided with a stereo camera 1.
  • the stereo camera 1 is supported on the upper surface of the end effector 23 via the second bracket 2d.
  • the stereo camera 1 is arranged so as to photograph the front of the end effector 23.
  • the power line 9b and the output line 9a of the stereo camera 1 extend behind the end effector 23. That is, the power line 9b and the output line 9a of the stereo camera 1 are hidden in the housing 2 of the end effector 23 when viewed from the front of the end effector 23 in the axial direction of the T-axis motor unit 22.
  • the robot arm control device 24 (see FIG. 2) is a device that controls the stereo camera 1, the articulated robot arm 11, and the end effector 23.
  • the robot arm control device 24 controls the stereo camera 1, the articulated robot arm 11 and the end effector 23 so as to harvest the grape G (n) within the working range W within the reachable range of the end effector 23.
  • the robot arm control device 24 stores various programs and data for controlling the operations of the stereo camera 1, the articulated robot arm 11, and the end effector 23.
  • the robot arm control device 24 is attached to the S-axis motor unit 12, the L-axis motor unit 14, the U-axis motor unit 16, the B-axis motor unit 18, the R-axis motor unit 20, and the T-axis motor unit 22 of the articulated robot arm 11. It is connected to each of the drive circuits of the included motors, and control signals can be transmitted to the drive circuits of the motors of each axis. Further, the robot arm control device 24 can acquire motor rotation position information (encoder signal) from the motor unit of each axis.
  • the robot arm control device 24 stores in advance the detection data Ld of the grape G (n) acquired by learning about various images of the grape G (n).
  • the robot arm control device 24 has a program for detecting grape G (n).
  • the robot arm control device 24 is based on the detection data Ld from the overlap range Ia between the first image Im1 generated by the first image sensor 6 of the stereo camera 1 and the second image Im2 generated by the second image sensor 7. Detects the grape G (n).
  • the robot arm control device 24 is connected to the stereo camera 1, and the first image Im1 and the second image Im2 taken by the stereo camera 1 and the feature points calculated by the image processing device 8 of the stereo camera 1 (for example, each pixel).
  • the distance L (n) to can be obtained.
  • the robot arm control device 24 is communicably connected to the drive circuit of the motor for the end effector 23 that drives the cutting device 23a and the gripping device 23b of the end effector 23, and is a drive circuit of the motor that drives the cutting device 23a and the gripping device 23b.
  • a control signal can be transmitted to.
  • the robot arm control device 24 integrally moves the stereo camera 1 by the articulated robot arm 11.
  • the robot arm control device 24 arranges the stereo camera 1 at a position where the ratio of the working range W included in the overlapping range Ia of the stereo camera 1 is as large as possible within the movable range of the articulated robot arm 11.
  • the stereo camera 1 captures at least a part of the working range W.
  • the image processing device 8 of the stereo camera 1 is the first when the distance L (n) to an arbitrary grape G (n) within the working range W is 200 mm.
  • the length in the left-right direction (second direction) is 600 mm or less
  • the length in the vertical direction (third direction) is 500 mm or less
  • the first optical lens 3 and the first optical lens 3 and the first. 2 are calculated.
  • the image processing apparatus 8 calculates the parallax amount D for all the feature points in the overlap range Ia from the first image Im1 and the second image Im2 (G (n) in FIG. 3). )reference). Further, the image processing apparatus 8 calculates the position coordinates G (n) (x, y, z) including the distance L (n) to the feature points from the calculated parallax amount D of all the feature points. The image processing device 8 transmits the first image Im1 and the second image Im2, and the position coordinates G (n) (x, y, z) of all the feature points to the robot arm control device 24.
  • the robot arm control device 24 acquires the first image Im1 and the second image Im2 and the position coordinates G (n) (x, y, z) of all the feature points included in the overlapping range Ia.
  • the robot arm control device 24 detects all the images of the grape G (n) included in the overlap range Ia between the first image Im1 and the second image Im2 based on the detection data Ld. Further, the robot arm control device 24 specifies the position coordinates G (n) (x, y, z) of the feature points included in the grape G (n) included in the overlapping range Ia.
  • the robot arm control device 24 performs harvesting work based on the position coordinates G (n) (x, y, z) of the feature points included in the detected grape G (n). Calculate the order A.
  • the robot arm control device 24 is based on the calculated position coordinates G1 (x1, y1, z1), G2 (x1, y1, z1), and G3 (x1, y1, z1) of the plurality of grapes G1, G2, and G3.
  • the harvesting order A in which the harvesting work is performed in order from the position where the Z coordinate is large and the grape G (n) 1 close to the articulated robot arm 11 is calculated.
  • the stereo camera 1 provided with the articulated robot arm 11 has as much work range W as possible within the movable range of the articulated robot arm 11 and included in the overlapping range Ia.
  • the grape G (n) within the overlapping range Ia is photographed from the position where it becomes larger.
  • the image processing device 8 of the stereo camera 1 can calculate the distance L (n) to all the grapes G (n) included in the overlapping range Ia.
  • the stereo camera 1 provided on the articulated robot arm 11 captures a plurality of grapes G (n) included in the work range W by one shooting, and features points included in the grape G (n).
  • Distance L (n) can be calculated. That is, the stereo camera 1 does not need to move to the vicinity of each grape G (n) by the articulated robot arm 11 in order to capture a plurality of grape G (n) included in the working range W.
  • the articulated robot arm 11 is absent based on the position coordinates G (n) (x1, y1, z1) of the plurality of grapes G (n) within the working range W calculated by the image processing device 8 of the stereo camera 1. Grape G (n) existing at an artificial position can be efficiently harvested according to the optimum harvesting order A.
  • the stereo camera 1 configured in this way includes a first bracket portion 2c provided on the upper surface in the vertical direction (third direction) of the housing 2, and a second bracket portion 2d provided on the lower surface of the housing 2. Therefore, it can be easily attached to the articulated robot arm 11 or the end effector 23 by a simple configuration.
  • the stereo camera 1 provided on the articulated robot arm 11 having 6 degrees of freedom has the first optical lens 3 so that the width between the first main optical axis O1 and the second main optical axis O2 is 100 mm or less.
  • the second optical lens 4 and the second optical lens 4 are arranged side by side in the left-right direction on the front surface of the housing 2.
  • the output line 9a and the power line 9b are connected to the rear surface of the housing 2.
  • the output line 9a and the power line 9b are hidden in the housing 2 when viewed in the forward direction (first direction). With this configuration, the stereo camera 1 suppresses the projected area of the stereo camera 1 in the front-rear direction.
  • the stereo camera 1 suppresses the size (projected area in the front-rear direction) of the housing 2 by limiting the width B between the first main optical axis O1 and the second main optical axis O2, and also ends.
  • the moment of inertia related to the movement of the effector 23 in the front-rear direction is suppressed. Therefore, the moving energy of the articulated robot arm 11 provided with the stereo camera 1 can be reduced by downsizing the housing 2 of the stereo camera 1. Further, since the projected area in the front-rear direction of the stereo camera 1 is suppressed, it is possible to suppress interference with surrounding obstacles when the end effector 23 is working.
  • the first optical lens 3 and the second optical lens 4 of the stereo camera 1 are fixed to the housing 2 so as to be relatively immovable. That is, the stereo camera 1 does not include a mechanical image stabilization mechanism, autofocus, a telephoto function, and the like.
  • the stereo camera 1 can be reduced in weight and external dimensions as compared with a camera having additional functions such as a mechanical image stabilization mechanism, autofocus, and a telephoto function. Therefore, the moving energy of the articulated robot arm 11 provided with the stereo camera 1 can be reduced by reducing the size and weight of the stereo camera 1. As a result, the stereo camera 1 can improve the working efficiency of the articulated robot arm 11 when measuring the distance L (n) to the grape G (n) by the stereo camera 1.
  • the stereo camera 1 is configured so that the rectangular parallelepiped space in the overlapping space S continuously changes according to the distance L (n). That is, the overlapping range Ia at the position of an arbitrary distance L (n) in the stereo camera 1 is 600 mm ⁇ 500 mm overlapping range Ia at the position where the distance L (n) is 200 mm and 1300 mm at the position where the distance L (n) is 1000 mm. It constitutes a substantially square pyramid-shaped space that is continuously connected to the overlapping range Ia of ⁇ 1000 mm.
  • the overlapping range Ia constitutes a substantially square pyramidal space in which the overlapping range Ia of 600 mm ⁇ 500 mm and the overlapping range Ia of 3200 mm ⁇ 2500 mm at a position where the distance L (n) is 1000 mm are continuously connected. There is.
  • the stereo camera 1 since the stereo camera 1 has a sufficiently large overlapping range Ia from a short distance to a long distance, even if a plurality of grapes G (n) are located in a wide range of the working range W, It is possible to take a picture in a state where a plurality of grapes G (n) are included in the overlapping range Ia. That is, the stereo camera 1 can measure the distance L (n) to a plurality of grapes G (n) by one shooting. Therefore, the articulated robot arm 11 can suppress the amount of movement when calculating the position coordinates G (n) (x, y, z) of the plurality of grapes G (n) by the stereo camera 1.
  • the stereo camera 1 by defining the rectangular parallelepiped spaces Ra and Rb in the overlapping space S, the arrangement of the stereo camera 1 with respect to the grape G (n) in the working range W becomes easy. As a result, the stereo camera 1 can improve the working efficiency of the articulated robot arm 11 when measuring the distance L (n) to the grape G (n) by the stereo camera 1.
  • the stereo camera 1 is provided with a first optical lens 3 and a first image sensor 6, and a second optical lens 4 and a second image sensor 7 in one housing 2.
  • the stereo camera 1 may be configured by combining a plurality of monocular cameras.
  • the stereo camera 1 configured as described above is configured to simultaneously capture the first image Im1 and the second image Im2 including the grape G (n) by each monocular camera.
  • the stereo camera 1 calculates the distance L (n) from the first image Im1 and the second image Im2 to the grape G (n).
  • the stereo camera 1 has a first camera structure composed of a first optical lens 3 and a first image sensor 6, and a second camera structure composed of a second optical lens 4 and a second image sensor 7.
  • the stereo camera 1 may have two or more camera structures. Therefore, the stereo camera 1 may further have, for example, a third camera structure composed of a third optical lens and a third photographing element.
  • the stereo camera 1 calculates the distance L (n) from the first image Im1 and the second image Im2 to the grape G (n) by the image processing device 8.
  • the stereo camera 1 may be configured to transmit the first image Im1 and the second image Im2 to the robot arm control device 24.
  • the robot arm control device 24 calculates the distance L (n) from the acquired first image Im1 and the second image Im2 to the grape G (n).
  • a first bracket portion 2c and a second bracket 2d portion for connecting to the articulated robot arm 11 or the end effector 23 are provided on the upper surface and the lower surface of the housing 2 of the stereo camera 1.
  • the bracket portion may be provided on at least one of the right side, the left side, and the rear side of the housing 2 in order to connect to the articulated robot arm 11 or the end effector 23.
  • the robot arm control device 24 determines the harvest order A of the grape G (n) in the working range W by a predetermined program based on the position of the grape G (n), but it is an example. However, it is not limited to this.
  • the robot arm control device 24 may determine the harvest order A by AI (artificial intelligence) or by fitting a specific standard such as the size order of grape G (n).
  • the robot arm control device 24 detects the image of the grape G (n) included in the first image Im1 and the second image Im2 taken by the stereo camera 1 based on the detection data Ld.
  • the image processing device 8 of the stereo camera 1 may be configured to detect the image of the grape G (n) contained in the first image Im1 and the second image Im2 based on the detection data Ld.
  • the articulated robot arm 11 is, for example, an S-axis motor unit 12, an L-axis motor unit 14, a U-axis motor unit 16, a B-axis motor unit 18, an R-axis motor unit 20, and a T-axis motor unit. 22 are each connected in series by a link.
  • the connection order of the motor units of each axis of the articulated robot arm 11, the axial direction at the time of connection, and the like may be any structure as long as the articulated robot arm 11 is established.
  • the stereo camera 1 is attached to a 6-axis articulated robot arm 11 which is a moving body having 6 degrees of freedom.
  • the moving body with 6 degrees of freedom is not limited to the 6-axis articulated robot arm 11.
  • the moving body with 6 degrees of freedom may be, for example, an unmanned flying object, a machine tool, or the like.
  • the articulated robot arm device 10 performs harvesting work of grape G (n), which is an agricultural product, but this is an example and is not limited thereto.
  • the articulated robot arm device 10 is a type of end effector 23 mounted on the articulated robot arm 11 regardless of whether it is outdoors or indoors, such as handling industrial parts indoors as well as harvesting agricultural products outdoors. Carry out the work according to.
  • the end effector 23 is a device including a cutting device 23a and a gripping device 23b, and grips and cuts the grape G (n), but is not limited thereto.
  • the end effector 23 may be any device that performs a predetermined operation on the object.
  • Stereo camera 2 Housing 3 1st optical lens 4 2nd optical lens 6 1st image pickup element 7 2nd image pickup element O1 1st optical axis O2 2nd main optical axis Ia1 1st shooting range Ia2 2nd shooting range 1a Overlapping Range 24 Robot arm control device Im1 1st image Im2 2nd image G (n) Grape L (n) Distance from the focal point of the optical lens to the feature point D Disparity amount B Width between the main optical axes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

対象物までの距離をステレオカメラによって測定する移動体の作業効率を向上することができるステレオカメラを得る。光学レンズの焦点から主光軸の軸線方向である第１方向の距離が２００ｍｍの位置において、複数の前記主光軸にそれぞれ直交する方向である第２方向の長さが６００ｍｍ以下、前記第１方向と前記第２方向とに直交する第３方向の長さが５００ｍｍ以下、且つ前記第１方向の長さが５００ｍｍ以下である空間内の前記対象物までの距離を測定可能に構成され、及び前記第１方向の距離が１０００ｍｍの位置において、前記第２方向の長さが１３００ｍｍ以上であって３２００ｍｍ以下、前記第３方向の長さが１０００ｍｍ以上であって２５００ｍｍ以下、且つ前記１０００ｍｍの位置から、前記第１方向の長さが５００ｍｍ以上である空間内に存在する前記対象物までの距離を測定可能に支持される。

Description

ステレオカメラ
　本発明は、ステレオカメラに関する。
　従来、対象物を少なくとも２つの異なる方向から撮影した画像の視差を利用して、対象物までの距離を測定するステレオカメラが公知である。ステレオカメラは、例えば、２つの単眼カメラ構造によって構成される。ステレオカメラは、第１の単眼カメラ構造の撮影範囲と第２の単眼カメラ構造の撮影範囲とが重複している重複範囲における画像の視差量から、前記重複範囲内の対象物までの距離を算出する。前記第１の単眼カメラ構造の撮影範囲と前記第２の単眼カメラ構造の撮影範囲とは、光学レンズに近づくほど狭くなる。従って、前記第１の単眼カメラ構造と前記第２の単眼カメラ構造とを並べたステレオカメラは、前記光学レンズに近づくほど重複範囲が狭くなる。つまり、前記ステレオカメラでは、近距離に位置する対象物の距離計測に制限が生じる。そこで、２つの前記単眼カメラ構造の主光軸の間隔を狭くするとともに、２つの前記単眼カメラ構造の撮影範囲を調整することにより近距離の前記重複範囲を拡大したステレオカメラが知られている。
　例えば特許文献１には、並んで配置される少なくとも２つの光学レンズと、前記各光学レンズに対応する少なくとも２つの撮像素子と、少なくとも２つの光学フードとを有するステレオカメラ（撮像装置）が開示されている。前記ステレオカメラは、２つの前記光学レンズの主光軸の間隔よりも、対応する２つの前記撮像素子の間隔が広くなるように構成されている。つまり、特許文献１に記載のステレオカメラでは、単眼カメラ構造の主光軸を基準として、隣接する前記単眼カメラ構造に向かって広がる前記撮影範囲が、隣接する前記単眼カメラ構造の反対方向に広がる前記撮影範囲よりも大きく構成されている。このように構成することで、前記ステレオカメラは、前記各単眼カメラ構造の撮影範囲の前記重複範囲を拡大している。
特開２００９－１６８４４７号公報
　このようにステレオカメラは、遠距離、中距離における重複範囲だけでなく近距離における重複範囲を拡大させることで、広範囲を測定可能に構成することが望まれている。重複範囲を拡大させたステレオカメラは、多関節ロボットアーム等の移動体を作動させることなく重複範囲に含まれる複数の対象物までの距離を測定することができる。これにより、ステレオカメラは、対象物までの距離を計測するための移動体の作業効率を向上させることができる。特許文献１に記載のステレオカメラは、近距離の前記対象物に対して広範囲で距離の測定が可能であるため、モバイル機器用、監視カメラ用、車載用などの撮像装置として有用である。
　一方、特許文献１に記載のステレオカメラは、近距離における重複範囲を拡大させるために遠距離、中距離における重複範囲を縮小させている。つまり、前記ステレオカメラは、比較的狭い撮影範囲において近距離から遠距離まで対象物の距離を測定可能に構成されている。このため、前記ステレオカメラを用いた移動体は、所定範囲内に含まれる複数の対象物の距離を測定するためにそれぞれの前記対象物の近傍に移動させる。このため、前記移動体は、前記ステレオカメラを移動させるための移動エネルギー量が増大する。また、前記ステレオカメラの中距離、遠距離での重複範囲を拡大するために各光学レンズの主光軸の間隔を大きくすると前記ステレオカメラが大型化してしまう。従って、前記ステレオカメラは、近距離から遠距離において設定されている重複範囲の状態によって前記移動体の作業効率を低下させる場合がある。
　本発明は、対象物までの距離をステレオカメラによって測定する移動体の作業効率を向上することができるステレオカメラを提供することを目的とする。
　本発明者らは、対象物までの距離をステレオカメラによって測定する移動体の作業効率を向上することができるステレオカメラについて検討した。鋭意検討の結果、本発明者らは、以下のような構成に想到した。
　本発明の一実施形態に係るステレオカメラは、複数の光学レンズと、前記複数の光学レンズが集光した光をそれぞれ検出する複数のカラー撮像素子と、６自由度の可動部を有する移動体の前記可動部に取り付け可能なブラケット部を有する筐体と、を備えている。
　前記複数の光学レンズのうち最も対象物までの距離が小さい光学レンズの焦点から主光軸の軸線方向である第１方向の距離が２００ｍｍの位置において、複数の前記主光軸にそれぞれ直交する方向である第２方向の長さが６００ｍｍ以下、前記第１方向と前記第２方向とに直交する第３方向の長さが５００ｍｍ以下、且つ前記第１方向において前記光学レンズから離隔する方向の長さが５００ｍｍ以下である空間内に存在する前記対象物までの距離を測定可能に構成され、及び前記光学レンズの焦点から前記第１方向の距離が１０００ｍｍの位置において、前記第２方向の長さが１３００ｍｍ以上であって３２００ｍｍ以下、前記第３方向の長さが１０００ｍｍ以上であって２５００ｍｍ以下、且つ前記第１方向において前記光学レンズから離隔する方向の長さが５００ｍｍ以上である空間内に存在する前記対象物までの距離を測定可能に構成され、前記６自由度の可動部を有する移動体と一体的に移動するように前記筐体に支持される。
　上述のように、６自由度の可動部を有する移動体に設けられる前記ステレオカメラは、前記複数の光学レンズの主光軸間の幅を１００ｍｍ以下に制限した状態で、前記対象物に最も近い光学レンズの焦点から前記第１方向に２００ｍｍの近距離位置において、前記第２方向の長さ６００ｍｍ以下×前記第３方向の長さ５００ｍｍ以下×前記第１方向の長さ５００ｍｍ以下の空間内に存在する前記対象物の距離を測定する。また、前記ステレオカメラは、前記複数の光学レンズの主光軸間の幅を１００ｍｍ以下に制限した状態で、前記対象物に最も近い光学レンズの焦点から前記第１方向に１０００ｍｍの位置の遠距離位置において、前記第２方向の長さ１３００ｍｍ×前記第３方向の長さ１０００ｍｍ×前記第１方向の長さ５００ｍｍ以上の空間から、前記第２方向の長さ３２００ｍｍ×前記第３方向の長さ２５００ｍｍ×前記第１方向の長さ５００ｍｍ以上の空間までの空間内に存在する前記対象物の距離を測定する。
　すなわち、前記ステレオカメラは、前記複数の光学レンズの主光軸間の幅を制限することで前記筐体の大きさを抑制している。また、前記ステレオカメラは、前記複数の光学レンズと前記複数の撮像素子とがそれぞれ撮影可能な撮影可能空間が重複している重複空間を有している。前記ステレオカメラは、前記重複空間に存在する前記対象物の距離を測定可能に構成されている。前記ステレオカメラは、前記重複空間を前記複数の光学レンズの並びの方向に長手方向が沿う直方体状の空間によって規定している。さらに、前記ステレオカメラは、前記光学レンズの焦点からの距離に応じて前記直方体状の空間の体積が変化するように構成されている。つまり、前記ステレオカメラでは、前記光学レンズの焦点からの距離が２００ｍｍの近距離位置から１０００ｍｍの遠距離位置まで前記光学レンズの焦点からの距離に応じた大きさの前記直方体状の重複空間が規定されている。
　従って、前記ステレオカメラが設けられている前記移動体の移動エネルギーは、前記ステレオカメラの前記筐体が小型化されることにより、低減される。また、前記ステレオカメラでは、広範囲に複数の前記対象物が位置していても、前記直方体状の重複空間に前記複数の対象物が含まれるので、前記複数の対象物の距離を測定するための前記移動体の移動量が抑制される。また、前記ステレオカメラでは、測定可能な空間を直方体状に規定することにより前記対象物に対する前記ステレオカメラの配置が容易になる。これにより、前記ステレオカメラは、前記対象物までの距離を前記ステレオカメラによって測定する前記移動体の作業効率を向上することができる。
　他の観点によれば、本発明のステレオカメラは、以下の構成を含むことが好ましい。前記第２方向に２つの前記光学レンズが並んで配置され、前記２つの光学レンズに対応する２つの前記カラー撮像素子が前記第２方向に並んで配置される。
　上述のように、前記ステレオカメラは、前記２つの光学レンズの主光軸の並びの方向に前記２つのカラー撮像素子が前記光学レンズに対応するように配置される。よって、前記ステレオカメラは、前記光学レンズの主光軸の軸線方向における前記筐体の投影面積を小さくすることができる。つまり、前記ステレオカメラの前記筐体の大きさは、必要最小限の大きさである。従って、前記ステレオカメラが設けられている前記移動体の移動エネルギーは、前記ステレオカメラの前記筐体が小型化されることにより、低減される。これにより、前記ステレオカメラは、前記対象物までの距離を前記ステレオカメラによって測定する移動体の作業効率を向上することができる。
　他の観点によれば、本発明のステレオカメラは、以下の構成を含むことが好ましい。前記カラー撮像素子が検出した画像情報を出力する出力線と、前記カラー撮像素子に電力を供給する電力線とは、前記主光軸の軸線方向に見て前記筐体に隠れる位置で前記筐体に接続されている。
　上述のように、前記ステレオカメラでは、前記複数の光学レンズの主光軸の軸線方向に見て前記筐体における前記出力線の接続位置と前記筐体における前記電力線の接続位置とが筐体に隠れている。よって、前記ステレオカメラは、前記光学レンズの主光軸の軸線方向における前記ステレオカメラの投影面積及び慣性モーメントを小さくすることができる。従って、前記ステレオカメラが設けられている前記移動体における前記ステレオカメラの撮影方向への移動エネルギーを低減することができる。これにより、前記ステレオカメラは、前記対象物までの距離を前記ステレオカメラによって測定する前記移動体の作業効率を向上することができる。
　他の観点によれば、本発明のステレオカメラは、以下の構成を含むことが好ましい。前記ブラケット部は、前記筐体における前記第３方向に位置する、第１面または第２面に設けられている。
　上述のように、前記ステレオカメラは、前記複数の主光軸の並び方向に沿うように前記ブラケット部が設けられている。前記ステレオカメラは、第１面と第２面とのいずれか一方に設けられている前記ブラケット部を用いて前記移動体の前方に前記重複範囲が位置するように前記移動体に取り付けることができる。これにより、前記ステレオカメラは、前記対象物までの距離を前記ステレオカメラによって測定する前記移動体の作業効率を向上することができる。
　他の観点によれば、本発明のステレオカメラは、以下の構成を含むことが好ましい。前記複数の光学レンズは、前記筐体に対して相対移動不能に固定されている。
　上述のように、前記ステレオカメラは、前記複数の光学レンズが前記筐体に固定されている。つまり、前記ステレオカメラは、機械式の手振れ補正機構、オートフォーカス、望遠機能等を含まない。従って、前記ステレオカメラは、前記機械式の手振れ補正機構等の付加機能を有するカメラに比べて、重量及び外形寸法を小さくすることができる。これにより、前記ステレオカメラは、前記対象物までの距離を前記ステレオカメラによって測定する前記移動体の作業効率を向上することができる。
　本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
　本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
　本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、要素、成分、及び／または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び／または、それらのグループのうちの１つまたは複数を含むことができる。
　本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合を含むことができる。
　他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
　一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
　本発明の説明においては、いくつもの技術及び工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。
　したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
　本明細書では、本発明に係るステレオカメラの実施形態について説明する。
　以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
　よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
　［ステレオカメラ］
　本明細書において、ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、前記対象物までの距離を算出する画像を取得することができるカメラを意味する。前記ステレオカメラは、単眼カメラ構造を構成する前記光学レンズと前記撮像素子とを２つ以上有するカメラである。前記ステレオカメラは、前記光学レンズと前記撮像素子とによって撮影される撮影範囲が重複している範囲における前記視差量を算出することができる。
　［対象物］
　本明細書において、対象物とは、前記エンドエフェクタによって処置を行う対象である自然物、人口物、ウイルス、生物（動物、植物）等を意味する。対象物は、具体的には農作物、海産物、工業製品、家畜、昆虫、人等を意味する。前記対象物は、前記エンドエフェクタによって処置される部分である処置部位と処置位置に移動させるために前記接触部が接触する前記接触位置の両方を含む物である。前記対象物は、例えば、農作業における果実、幹、茎、枝及び柄等を含む。
　［移動体］
　本明細書において、移動体とは、前記対象物に対して処置を行うために移動する作業機械を意味する。前記移動体は、前記対象物までの距離を測定するために前記ステレオカメラが設けられている。前記移動体は、例えば、６自由度のロボットアーム、無人飛行体、無人地上車両等、前記ステレオカメラを移動させることが可能な作業機械であればよい。
　［撮影範囲］
　本明細書において、撮影範囲とは、前記ステレオカメラを構成する複数の光学レンズと撮像素子とから構成されるカメラ構造がそれぞれ撮影することができる範囲を意味する。前記撮影範囲は、前記光学レンズの主光軸を中心にして、前記主光軸の軸線方向に見て上下方向と左右方向とに広がっている。
　［重複範囲］
　本明細書において、重複範囲とは、前記ステレオカメラを構成する前記複数の撮像素子による撮影範囲に互いに含まれている撮影範囲を意味する。つまり、前記複数の撮像素子によって同時に撮影可能な前記撮影範囲である。前記重複範囲は、前記複数の光学レンズの焦点距離と前記複数の主光軸の間隔と前記撮像素子の受光面の形状とから定まる。
　［画角］
　本明細書において、画角とは、前記撮像素子に実際に撮影される範囲を示す角度を意味する。具体的には、前記画角は、前記光学レンズの光学的中心が撮像素子における受光面の対角をなす二点と作る角度を示す対角画角である。つまり、前記対角画角は、前記光学レンズの焦点距離と前記受光面の対角線の長さとから定まる。前記対角画角は、受光面の大きさが同じ場合、前記光学レンズの焦点距離が長くなるほど小さくなり、前記受光面の対角線が短くなるほど小さくなる。
　［主光軸］
　本明細書において、主光軸とは、前記光学レンズの中心と焦点とを通る直線を意味する。前記主光軸は、光学的異方性を持つ結晶内を光が通過する際、光が複屈折を起こさない方向である。
　［エンドエフェクタ］
　本明細書において、エンドエフェクタとは、対象物に対して任意の処置を行う装置を意味する。前記エンドエフェクタは、多関節ロボットアーム等の作業機械の先端に取り付けられる。前記エンドエフェクタは、前記対象物に対する処置に応じた構造を有し、前記処置に応じた様々な機器を有している。
　［多関節ロボットアーム］
　本明細書において、多関節ロボットアームとは、複数のリンクを連結する関節部を複数有するロボットアームを意味する。前記多関節ロボットアームは、垂直多関節ロボットアームを含む。具体的には、前記垂直多関節ロボットアームは、リンクが１自由度の回転関節または直動関節によって根元から先端まで直列に連結されたシリアルリンク機構のロボットアームである。前記垂直多関節ロボットアームは、複数の関節部を有する。
　本発明の一実施形態によれば、対象物までの距離をステレオカメラによって測定する移動体の作業効率を向上することができる。
図１は、本発明の実施形態１に係るステレオカメラの斜視図である。 図２は、本発明の実施形態１に係るステレオカメラにおける、（Ａ）図１のα矢視断面図、（Ｂ）図１のβ矢視断面図である。 図３は、本発明の実施形態１に係るステレオカメラの撮影範囲を表す模式図における、（Ａ）平面模式図、（Ｂ）側面模式図である。 図４は、本発明の実施形態１に係るステレオカメラ１における、（Ａ）各光学レンズと撮像素子とによる撮影範囲、（Ｂ）対象物の距離を測定可能な重複範囲とを表す斜視図である。 図５は、本発明の実施形態１に係るステレオカメラを備えた６自由度の多関節ロボットアームによる葡萄の撮影状態を表す模式図である。 図６は、本発明の実施形態１に係るステレオカメラが取り付けられたエンドエフェクタの平面図と側面図である。 図７は、多関節ロボットアーム制御装置によって算出された葡萄の収穫順の処理画像の一例を示す図である。
　以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
　＜全体構成＞
　図１から図３を用いて本発明の実施形態１に係るステレオカメラ１を説明する。図１は、本発明の実施形態１に係るステレオカメラ１の斜視図である。図２は、ステレオカメラ１における平面断面図及び側面断面図である。図３は、ステレオカメラ１における撮影範囲を表す模式図である。
　図中の矢印は、ステレオカメラ１における直角座標系である座標軸方向を示す。ステレオカメラ１の前後方向は、ステレオカメラ１が備える複数の光学レンズである第１光学レンズ３及び第２光学レンズ４から対象物に向かう第１主光軸Ｏ１及び第２主光軸Ｏ２の方向である第１方向を前方向とした方向である。また、ステレオカメラ１の左右方向は、互いに平行な第１主光軸Ｏ１と第２主光軸Ｏ２とにそれぞれ直交する第２方向において前方向を基準として左右が規定される。また、ステレオカメラ１の上下方向は、前後方向と左右方向とに直交する第３方向において前方向を基準として上下が規定される。
　図１に示すように、ステレオカメラ１は、所定の空間内に存在する対象物までの距離を測定するための画像を撮影する装置である。ステレオカメラ１は、筐体２と、第１光学レンズ３と、第２光学レンズ４と、共通基板５（図２参照）と、第１撮像素子６（図２参照）と、第２撮像素子７（図２参照）と、出力線９ａと、電力線９ｂとを備える。ステレオカメラ１は、６自由度の移動体である多関節ロボットアーム１１（図５参照）に取り付け可能に構成されている。
　図２（Ａ）、（Ｂ）に示すように、筐体２は、ステレオカメラ１のフレームを構成する部品である。筐体２は、中空の略直方体状に形成されている。筐体２には、長手方向を左右方向に沿うように配置した状態で、筐体２の前面に、第１光学レンズ３を設けるための第１開口部２ａ及び第２光学レンズ４を設けるための第２開口部２ｂが形成されている。第１開口部２ａと第２開口部２ｂとは、筐体２の前面に、左右方向に並んで形成されている。筐体２の上面には、６自由度の移動体である多関節ロボットアーム１１に取り付け可能な第１ブラケット部２ｃが設けられている。同様に、筐体２の下面には第２ブラケット２ｄが設けられている。
　光学レンズである第１光学レンズ３及び第２光学レンズ４は、光を屈折させて発散または収束させる光学素子である。第１光学レンズ３は、第１撮像素子６に集光する光学レンズである。第２光学レンズ４は、第２撮像素子７に集光する光学レンズである。第１光学レンズ３及び第２光学レンズ４は、少なくとも一つ以上の光学レンズによって構成されている。
　第１光学レンズ３は、筐体２の第１開口部２ａに設けられている。第２光学レンズ４は、筐体２の第２開口部２ｂに設けられている。つまり、第１光学レンズ３と第２光学レンズ４とは、筐体２に、左右方向に並んで配置されている。第１光学レンズ３と第２光学レンズ４とは、第１主光軸Ｏ１と第２主光軸Ｏ２とが互いに平行な状態で第１方向である前後方向に沿うように位置している。また、第１光学レンズ３及び第２光学レンズ４は、左右方向に見て第１主光軸Ｏ１と第２主光軸Ｏ２とが重複するように位置している。さらに、第１光学レンズ３と第２光学レンズ４とは、前後方向及び上下方向の同じ位置に位置している。また、第１光学レンズ３の焦点と第２光学レンズ４の焦点とは、前後方向及び上下方向の同じ位置に位置している。
　第１光学レンズ３及び第２光学レンズ４は、筐体２に固定されている。つまり、第１光学レンズ３及び第２光学レンズ４は、レンズの径方向の位置を機械的に調整する手振れ補正機構を有していない。また、第１光学レンズ３及び第２光学レンズ４は、レンズの主光軸Ｏ１、Ｏ２の軸線方向の位置を機械的に調整するオートフォーカス機構及び望遠機構を有していない。
　共通基板５は、第１撮像素子６及び第２撮像素子７を含むステレオカメラ１を機能させるために必要な素子を互いに電気的に接続する回路が形成されたプリント基板である。共通基板５の回路には、第１撮像素子６及び第２撮像素子７が電気的に接続されている。共通基板５は、第１撮像素子６及び第２撮像素子７が接続されている面を前方向に向けた状態で筐体２の内部に配置されている。つまり、共通基板５は、第１撮像素子６及び第２撮像素子７が第１光学レンズ３及び第２光学レンズ４と向かい合うように、筐体２の内部に配置されている。共通基板５の回路には、第１撮像素子６が生成した第１画像Ｉｍ１（図３参照）と第２撮像素子７が生成した第２画像Ｉｍ２（図３参照）から対象物までの距離を算出する画像処理装置８が電気的に接続されている。
　第１撮像素子６及び第２撮像素子７は、光を、電気信号によって構成される画像情報に変換する半導体素子である。第１撮像素子６及び第２撮像素子７は、カラー撮像素子としてのＣＣＤイメージセンサまたはＣＯＭＳイメージセンサによって構成されている。第１撮像素子６及び第２撮像素子７は、長方形状の受光面６ａ、７ａを有している。第１撮像素子６及び第２撮像素子７は、受光面６ａ、７ａに照射された光の波長毎の輝度情報を電気信号に変換する。第１撮像素子６及び第２撮像素子７は、共通基板５に設けられている。
　第１撮像素子６は、受光面６ａを前方向に向けた状態で、共通基板５に固定されている。第１撮像素子６は、受光面６ａの中心を第１光学レンズ３の第１主光軸Ｏ１が垂直に通過するように共通基板５に配置されている。つまり、第１撮像素子６は、第１光学レンズ３に対応する撮像素子である。また、第１撮像素子６は、受光面６ａの長手方向が左右方向（第２方向）に沿うように、共通基板５に配置されている。このように第１撮像素子６を配置することで、第１撮像素子６では、第１光学レンズ３によって集光された光が左右方向に長い長方形状の受光面６ａに照射される。第１撮像素子６は、受光面６ａに照射された光を電気信号に変換する。第１撮像素子６は、受光面６ａに照射された光から第１画像Ｉｍ１を生成する。
　第２撮像素子７は、受光面７ａを前方向に向けた状態で、共通基板５に設けられている。第２撮像素子７は、受光面７ａの中心を第２光学レンズ４の第２主光軸Ｏ２が垂直に通過するように共通基板５に配置されている。つまり、第２撮像素子７は、第２光学レンズ４に対応する撮像素子である。また、第２撮像素子７は、受光面７ａの長手方向が左右方向に沿うように、共通基板５に配置されている。このように第２撮像素子７を配置することで、第２撮像素子７は、第２光学レンズ４によって集光された光が左右方向に長い長方形状の受光面７ａに照射される。第２撮像素子７は、受光面７ａに照射された光を電気信号に変換する。第２撮像素子７は、受光面７ａに照射された光から第２画像Ｉｍ２を生成する。
　画像処理装置８は、葡萄Ｇ（ｎ）または目標位置に最も近い光学レンズの焦点から、葡萄Ｇ（ｎ）に含まれる特徴点または目標位置までの距離Ｌ（ｎ）（以下、単に「距離Ｌ（ｎ）と記す）を算出する制御装置である。葡萄Ｇ（ｎ）の（ｎ）は、葡萄を区別するための添え字（ｎは整数）である。距離Ｌ（ｎ）の（ｎ）は、葡萄Ｇ（ｎ）または目標位置に対する距離を区別するための添え字（ｎは整数）である。
　出力線９ａは、画像処理装置８が算出した画像情報を多関節ロボットアーム１１の制御装置に出力する配線である。出力線９ａは、筐体２の後面から筐体２に設けられているコネクタ等を介して共通基板５に接続されている。また、出力線９ａは、多関節ロボットアーム１１の制御装置に接続されている。
　電力線９ｂは、共通基板５に接続されている第１撮像素子６、第２撮像素子７及び画像処理装置８等に電力を供給する配線である。電力線９ｂは、筐体２の後面から筐体２に設けられているコネクタ等を介して共通基板５に接続されている。また、電力線９ｂは、ロボットアーム制御装置２４に接続されている。
　出力線９ａと電力線９ｂとは、第１光学レンズ３の第１主光軸Ｏ１及び第２光学レンズ４の第２主光軸Ｏ２の軸線方向に見て、筐体２に隠れている位置で筐体２に接続されている。つまり、出力線９ａと電力線９ｂとは、前後方向におけるステレオカメラ１の投影面積を増大させない。
　次に、ステレオカメラ１による葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）の算出について説明する。本実施例において、第１光学レンズ３と第２光学レンズ４との焦点距離ｆは、等しい値とする。また、第１光学レンズ３の第１主光軸Ｏ１と第２光学レンズ４の第２主光軸Ｏ２との間隔を幅Ｂとする。
　図３（Ａ）に示すように、ステレオカメラ１の画像処理装置８は、第１撮像素子６が生成した第１画像Ｉｍ１と、第２撮像素子７が生成した第２画像Ｉｍ２とから各葡萄Ｇ（ｎ）に含まれる特徴点（例えば、画素）の視差量Ｄを算出する。画像処理装置８は、視差量Ｄに基づいて、各特徴点までの距離Ｌ（ｎ）を算出する。
　特徴点を葡萄Ｇ（ｎ）の所定箇所（以下、単に「葡萄Ｇ（ｎ）」と記す）とした場合、画像処理装置８は、第１画像Ｉｍ１における葡萄Ｇ（ｎ）の位置座標Ｇ１と第２画像Ｉｍ２における葡萄Ｇ（ｎ）の位置座標Ｇ２とに基づいて、位置座標Ｇ１と位置座標Ｇ２との差分を視差量Ｄとして算出する。画像処理装置８は、第１光学レンズ３の第１主光軸Ｏ１と第２光学レンズ４の第２主光軸Ｏ２との間隔である幅Ｂと、第１光学レンズ３及び第２光学レンズ４のうち最も葡萄Ｇ（ｎ）に近い光学レンズの焦点距離ｆと、視差量Ｄとから、以下の式（１）を用いて焦点距離ｆから葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を算出する。
Figure JPOXMLDOC01-appb-M000001
  
　次に、図２から図４を用いてステレオカメラ１における葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を測定可能な空間について説明する。図４は、ステレオカメラ１における各光学レンズと撮像素子とによって、葡萄Ｇ（ｎ）の画像を生成可能な範囲である撮影範囲と葡萄Ｇ（ｎ）の距離Ｌ（ｎ）を測定可能な複数の撮影範囲の重複範囲を示す。
　図２（Ａ）、（Ｂ）及び図３（Ａ）、（Ｂ）に示すように、ステレオカメラ１における第１撮影範囲Ｉａ１は、任意の距離Ｌ（ｎ）において、第１光学レンズ３と第１撮像素子６とによって画像を生成することができる範囲である。同様に、第２撮影範囲Ｉａ２は、任意の距離Ｌ（ｎ）において、第２光学レンズ４と第２撮像素子７とによって画像を生成することができる範囲である。第１光学レンズ３の焦点から距離Ｌ（ｎ）の位置における第１撮影範囲Ｉａ１の形状は、第１光学レンズ３の焦点距離ｆと第１撮像素子６の受光面６ａの形状とから算出される。同様に、第２光学レンズ４の焦点から距離Ｌ（ｎ）の位置における第２撮影範囲Ｉａ２の形状は、第２光学レンズ４の焦点距離ｆと第２撮像素子７の受光面７ａの形状とから算出される。
　図２（Ａ）、（Ｂ）に示すように、第１光学レンズ３の焦点から距離Ｌ（ｎ）の位置における第１撮影範囲Ｉａ１の左右方向（第２方向）の長さである第１撮影範囲幅Ｗ１は、第１撮像素子６における受光面６ａの左右方向の長さである第１受光面幅ＩＷ１と、第１光学レンズ３の焦点距離ｆとから、以下の式（２）を用いて算出する。第１撮影範囲Ｉａ１の上下方向（第３方向）の長さである第１撮影範囲高さＨ１は、第１撮像素子６における受光面６ａの上下方向の長さである第１受光面高さＩＨ１と、第１光学レンズ３の焦点距離ｆとから、以下の式（３）を用いて算出する。
　同様に、第２光学レンズ４の焦点から距離Ｌ（ｎ）の位置における第２撮影範囲Ｉａ２の左右方向（第２方向）の長さである第２撮影範囲幅Ｗ２は、第２撮像素子７における受光面７ａの左右方向の長さである受光面幅ＩＷ２と、第２光学レンズ４の焦点距離ｆとから、以下の式（２）のＷ１、ＩＷ１をＷ２、ＩＷ２に置き換えて算出する。第２撮影範囲Ｉａ２の上下方向（第３方向）の長さである第２撮影範囲高さＨ２は、第２撮像素子７における受光面７ａの上下方向の長さである受光面高さＩＨ２と、第２光学レンズ４の焦点距離ｆとから、以下の式（３）のＨ１、ＨＩ１をＨ２、ＨＩ２に置き換えて算出する。
Figure JPOXMLDOC01-appb-M000002
  
Figure JPOXMLDOC01-appb-M000003
  
　式（２）及び式（３）から、任意の距離Ｌ（ｎ）の位置における第１撮影範囲Ｉａ１及び第２撮影範囲Ｉａ２の面積は、距離Ｌ（ｎ）の２乗に比例する。距離Ｌ（ｎ）が一定の場合、第１撮影範囲Ｉａ１及び第２撮影範囲Ｉａ２の面積は、焦点距離ｆの２乗に反比例する。また、第１撮影範囲Ｉａ１の面積は、第１撮像素子６の受光面６ａの面積に比例する。同様に、第２撮影範囲Ｉａ２の面積は、第２撮像素子７の受光面６ａの面積に比例する。
　図４（Ａ）、（Ｂ）に示すように、第１撮影範囲Ｉａ１は、焦点距離ｆと、第１撮像素子６の受光面６ａの面積とが一定の場合、第１受光面幅ＩＷ１及び第１受光面高さＩＨ１を有する受光面６ａに相似する長方形状の領域である（図２参照）。また、第１撮影範囲Ｉａ１は、距離Ｌ（ｎ）の２乗に比例して変化する。つまり、第１光学レンズ３と第１撮像素子６とによって画像を生成可能な空間である第１撮影可能空間Ｓ１は、距離Ｌ（ｎ）が大きくなるほど第１光学レンズ３の焦点から前方向に向かって第１撮影範囲Ｉａ１の面積が拡大するような長方錐状の空間である。第１撮影可能空間Ｓ１における長方錘の頂点と底面の中心を、第１主光軸Ｏ１が通過している。同様に、第１光学レンズ３と第１撮像素子６とによって画像を生成可能な空間である第２撮影可能範囲Ｓ２は、距離Ｌ（ｎ）が大きくなるほど第２光学レンズ４の焦点から前方向に向かって第２撮影範囲Ｉａ２の面積が拡大するような長方錐状の空間である。第２撮影可能空間Ｓ２における長方錘の頂点と底面の中心を、第２主光軸Ｏ２が通過している。
　本実施例において、第１撮像素子６の第１受光面幅ＩＷ１及び第１受光面高さＩＨ１は、第２撮像素子７の受光面幅ＩＷ２及び受光面高さＩＨ２と等しいものとする（図２参照）。従って、本実施例における第１撮影範囲Ｉａ１の第１撮影範囲幅Ｗ１と第２撮影範囲Ｉａ２の第２撮影範囲幅Ｗ２とは、任意の距離Ｌ（ｎ）において等しい。同様に、第１撮影範囲Ｉａ１の第１撮影範囲高さＨ１と第２撮影範囲高さＨ２とは、任意の距離Ｌ（ｎ）において等しい。つまり、距離Ｌ（ｎ）を連続的に変化させることにより得られる第１撮影可能空間Ｓ１と第２撮影可能空間Ｓ２とは、同一形状の空間である。
　図３（Ａ）、（Ｂ）と図４（Ａ）、（Ｂ）とに示すように、第１撮影範囲Ｉａ１の中心に位置している第１主光軸Ｏ１と第２撮影範囲Ｉａ２の中心に位置している第２主光軸Ｏ２とは、左右方向に幅Ｂだけ離隔されている。第１撮影範囲Ｉａ１第２撮影範囲Ｉａ２任意の距離Ｌ（ｎ）における第１撮影範囲幅Ｗ１（第２撮影範囲幅Ｗ２）が幅Ｂよりも大きい場合、第１撮影範囲Ｉａ１と第２撮影範囲Ｉａ２とが重複した重複範囲Ｉａ（薄墨部分参照）が形成される。つまり、重複範囲Ｉａは、第１撮影範囲Ｉａ１及び第２撮影範囲Ｉａ２の両方に含まれる範囲である。
　重複空間Ｓは、左右方向に並んで位置する長方錐状の空間である第１撮影可能空間Ｓ１と第２撮影可能空間Ｓ２との一部が重複した空間である。従って、重複空間Ｓは、距離Ｌ（ｎ）が大きくなるほど第１撮影可能空間Ｓ１の第１撮影範囲Ｉａ１と第２撮影可能空間Ｓ２の第２撮影範囲Ｉａ２との重複範囲Ｉａが大きくなる略四角錘台状の空間である。重複範囲Ｉａの位置、重複範囲Ｉａの左右方向（第２方向）の長さである重複範囲幅Ｗ及び重複範囲Ｉａの上下方向（第３方向）の長さである重複範囲高さＨは、第１撮影範囲Ｉａ１の第１撮影範囲幅Ｗ１及び第１撮影範囲高さＨ１、第２撮影範囲Ｉａ２の第２撮影範囲幅Ｗ２及び第２撮影範囲高さＨ２、焦点距離ｆ、幅Ｂ及び距離Ｌ（ｎ）によって定まる。
　本実施形態において、第１撮影可能空間Ｓ１と第２撮影可能空間Ｓ２とは、同一形状の空間である。従って、距離Ｌ（ｎ）の位置における重複範囲Ｉａの重複範囲幅Ｗは、式（２）によって算出される値から幅Ｂを除算した値となる。また、距離Ｌ（ｎ）の位置における重複範囲Ｉａの重複範囲高さＨは、式（３）によって算出される値である。
　図３（Ａ）、（Ｂ）に示すように、任意の距離Ｌ（ｎ）の位置における重複範囲Ｉａの面積は、距離Ｌ（ｎ）の２乗に比例する。一定の距離Ｌ（ｎ）において、重複範囲Ｉａの面積は、第１撮影範囲Ｉａ１及び第２撮影範囲Ｉａ２の受光面６ａの面積に比例する。また、重複範囲Ｉａの面積は、焦点距離ｆの２乗に比例に反比例する。また、重複範囲Ｉａの重複範囲幅Ｗは、幅Ｂが小さいほど大きくなる。従って、第１撮像素子６及び第２撮像素子７の受光面６ａの面積を増大させた場合、焦点距離ｆを減少させた場合または幅Ｂを減少させた場合、任意の距離Ｌ（ｎ）の位置における重複範囲Ｉａの面積が増大する。また、第１撮像素子６及び第２撮像素子７の受光面６ａの面積を増大させた場合、焦点距離ｆを減少させた場合または幅Ｂを減少させた場合、第１撮影範囲Ｉａ１と第２撮影範囲Ｉａ２とが重複している距離Ｌ（ｎ）の範囲が後方向に拡大する。
　重複範囲Ｉａに存在する葡萄Ｇ（ｎ）は、ステレオカメラ１によって第１光学レンズ３の位置と第２光学レンズ４の位置とから同時に撮影される。このように、ステレオカメラ１は、重複範囲Ｉａに含まれる葡萄Ｇ（ｎ）を異なる位置で同時に撮影した第１画像Ｉｍ１と第２画像Ｉｍ２とを生成することができる。ステレオカメラ１の画像処理装置８は、第１画像Ｉｍ１と第２画像Ｉｍ２とから、葡萄Ｇ（ｎ）についての視差量Ｄを算出することができる。従って、重複範囲Ｉａは、ステレオカメラ１によって葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を測定可能な範囲である。
　図４（Ａ）、（Ｂ）に示すように、ステレオカメラ１の第１光学レンズ３及び第１撮像素子６と第２光学レンズ４及び第２撮像素子７とは、第１主光軸Ｏ１と第２主光軸Ｏ２との幅Ｂが１００ｍｍ以下になるように配置されている。
　また、第１光学レンズ３及び第１撮像素子６と第２光学レンズ４及び第２撮像素子７とは、距離Ｌ（ｎ）が２００ｍｍの位置において、左右方向（第２方向）の長さが６００ｍｍ以下、上下方向（第３方向）の長さが５００ｍｍ以下、且つ前方向（第１方向）の長さが５００ｍｍ以下である直方体状の空間Ｒａが重複空間Ｓに含まれるように構成されている。さらに、第１光学レンズ３及び第１撮像素子６と第２光学レンズ４及び第２撮像素子７とは、距離Ｌ（ｎ）が１０００ｍｍの位置において、左右方向の長さが１３００ｍｍ以上であって３２００ｍｍ以下、上下方向の長さが１０００ｍｍ以上であって２５００ｍｍ以下、且つ前方向の長さが５００ｍｍ以上である直方体状の空間Ｒｂが重複空間Ｓに含まれるように構成されている。このように、ステレオカメラ１は、距離Ｌ（ｎ）が２００ｍｍの位置における重複範囲Ｉａの形状と距離Ｌ（ｎ）が１０００ｍｍの位置における重複範囲Ｉａの形状をともに満たすように、第１撮影範囲幅Ｗ１（第２撮影範囲幅Ｗ２）及び第１撮影範囲高さＨ１（第２撮影範囲高さＨ２）、焦点距離ｆ、幅Ｂが設定されている。
　重複範囲Ｉａは、距離Ｌ（ｎ）が２００ｍｍの位置における重複範囲Ｉａの形状から距離Ｌ（ｎ）が１０００ｍｍの位置における重複範囲Ｉａの形状まで連続的に変化している。従って、重複空間Ｓは、距離Ｌ（ｎ）が２００ｍｍの位置における重複範囲Ｉａの形状と距離Ｌ（ｎ）が１０００ｍｍの位置における重複範囲Ｉａの形状とを補間する形状を有する。つまり、重複空間Ｓは、距離Ｌ（ｎ）が２００ｍｍに位置における６００ｍｍ×５００ｍｍの重複範囲Ｉａと距離Ｌ（ｎ）が１０００ｍｍに位置における１３００ｍｍ×１０００ｍｍの重複範囲Ｉａとを連続的に繋いだ略四角錘台状の空間を構成している。または、重複空間Ｓは、距離Ｌ（ｎ）が２００ｍｍの位置における６００ｍｍ×５００ｍｍの重複範囲Ｉａと距離Ｌ（ｎ）が１０００ｍｍに位置における３２００ｍｍ×２５００ｍｍの重複範囲Ｉａとを連続的に繋いだ略四角錘台状の空間を構成している。
　さらに、重複範囲Ｉａは、距離Ｌ（ｎ）が２００ｍｍの位置から後方向の位置にも構成されている。距離Ｌ（ｎ）が２００ｍｍ未満の位置における重複空間Ｓは、距離Ｌ（ｎ）が２００ｍｍの位置における重複範囲Ｉａの形状と距離Ｌ（ｎ）が１０００ｍｍの位置における重複範囲Ｉａの形状とを補間する形状を用いて、距離Ｌ（ｎ）が２００ｍｍの位置から後方向に拡大されている。つまり、ステレオカメラ１は、距離Ｌ（ｎ）が２００ｍｍ未満の位置に構成される略四角錘台状の空間でも葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を測定することができる。
　＜多関節ロボットアーム装置１０＞
　次に、ステレオカメラ１が設けられている６自由度の可動部を有する移動体である多関節ロボットアーム装置１０について説明する。図５は、本発明の実施形態１に係るステレオカメラを備えた６自由度の可動部を有する多関節ロボットアームによる葡萄の撮影状態を表す模式図である。図６は、本発明の実施形態１に係るステレオカメラが取り付けられたエンドエフェクタの平面図と側面図である。図７は、多関節ロボットアーム制御装置によって算出された葡萄の収穫順の処理画像の一例を示す図である。多関節ロボットアーム装置１０は、多関節ロボットアーム１１、エンドエフェクタ２３及びロボットアーム制御装置２４（図２参照）を含む。
　以下に示す図中の矢印Ｘ、Ｙ、Ｚは、多関節ロボットアーム装置１０における直角座標系（以下、単に「ロボット座標系」と記す）である座標軸方向を示す。ロボット座標系は、後述の多関節ロボットアーム１１におけるＳ軸モータユニット１２の軸線とＬ軸モータユニット１４の軸線との交点を原点とする。
　＜多関節ロボットアーム１１＞
　図５に示すように、多関節ロボットアーム１１は、本実施形態において、リンクが１自由度の回転関節によって基端から先端まで直列に連結されたシリアルリンク機構のロボットアームである。多関節ロボットアーム１１は、例えば６自由度の可動部を有する移動体である垂直多関節ロボットアーム１１である。多関節ロボットアーム１１は、遠隔操作車両１００等に設けられている。
　多関節ロボットアーム１１では、遠隔操作車両１００に固定された基端部から順に、Ｓ軸モータユニット１２、Ｌ軸モータユニット１４、Ｕ軸モータユニット１６、Ｂ軸モータユニット１８、Ｒ軸モータユニット２０及びＴ軸モータユニット２２がそれぞれリンクによって直列に連結されている。各軸のモータユニットは、回転関節を構成している。各軸のモータユニットは、図示しないモータ、減速機、エンコーダ及び駆動回路を含む。多関節ロボットアーム１１は、ロボットアーム制御装置２４によって制御される。多関節ロボットアーム１１は、ロボットアーム制御装置２４から各軸の駆動回路に制御信号を取得する。また、多関節ロボットアーム１１は、各軸のモータユニットのモータの出力に関する情報及びエンコーダからの情報をロボットアーム制御装置２４に送信する。
　Ｓ軸モータユニット１２は、遠隔操作車両１００に設けられている。Ｓ軸モータユニット１２は、多関節ロボットアーム１１全体を旋回させる回転関節である。Ｓ軸モータユニット１２は、多関節ロボットアーム１１の設置面に対して垂直な方向にＳ軸モータユニット１２の軸線が延びるように配置されている。Ｓ軸モータユニット１２の出力軸には、ベース部材１３が固定されている。ベース部材１３には、Ｌ軸モータユニット１４が設けられている。
　Ｌ軸モータユニット１４は、下碗リンク１５を揺動させる回転関節である。Ｌ軸モータユニット１４は、Ｓ軸モータユニット１２の軸線に対して垂直な方向にＬ軸モータユニット１４の軸線が延びるように配置されている。Ｌ軸モータユニット１４の出力軸には、下碗リンク１５の一端部が固定されている。下碗リンク１５の他端部には、Ｕ軸モータユニット１６が設けられている。
　Ｕ軸モータユニット１６は、上腕リンク１７を揺動させる回転関節である。Ｕ軸モータユニット１６は、Ｌ軸モータユニット１４の軸線に対して平行な方向にＵ軸モータユニット１６の軸線が延びるように配置されている。Ｕ軸モータユニット１６の出力軸には、上腕リンク１７の一端部が固定されている。上腕リンク１７の他端部には、Ｂ軸モータユニット１８が設けられている。
　Ｂ軸モータユニット１８は、手首上下リンク１９を揺動させる回転関節である。Ｂ軸モータユニット１８は、Ｕ軸モータユニット１６の軸線に対して平行な方向にＢ軸モータユニット１８の軸線が延びるように配置されている。Ｂ軸モータユニット１８の出力軸には、手首上下リンク１９が固定されている。手首上下リンク１９には、Ｒ軸モータユニット２０が設けられている。
　Ｒ軸モータユニット２０は、手首回転リンク２１を回転させる回転関節である。Ｒ軸モータユニット２０は、Ｂ軸モータユニット１８の軸線に対して垂直な方向にＲ軸モータユニット２０の軸線が延びるように配置されている。Ｒ軸モータユニット２０の出力軸には、手首回転リンク２１が固定されている。手首回転リンク２１には、Ｔ軸モータユニット２２が設けられている。
　Ｔ軸モータユニット２２は、エンドエフェクタ２３を回転させる回転関節である。Ｔ軸モータユニット２２は、Ｒ軸モータユニット２０の軸線に対して垂直な方向にＴ軸モータユニット２２の軸線が延びるように配置されている。Ｔ軸モータユニット２２の出力軸には、エンドエフェクタ２３が固定されている。
　このように構成される多関節ロボットアーム１１は、各軸のモータユニットによってＸ軸、Ｙ軸、Ｚ軸方向の併進３自由度とＸ軸、Ｙ軸、Ｚ軸まわりの回転３自由度の合計６自由度を有する。従って、多関節ロボットアーム１１は、多関節ロボットアーム１１の可動空間内において、Ｔ軸の出力軸に固定されているエンドエフェクタ２３を任意の位置に移動させることができるとともに任意の姿勢にすることができる。
　＜エンドエフェクタ２３＞
　図６（Ａ）、（Ｂ）に示すように、エンドエフェクタ２３は、葡萄Ｇ（ｎ）に対して作業を行う機器である。本発明の実施形態１に係るエンドエフェクタ２３は、葡萄Ｇ（ｎ）を収穫する収穫装置である。エンドエフェクタ２３は、葡萄Ｇ（ｎ）を果柄から切り離す切断装置２３ａと、葡萄Ｇ（ｎ）を把持する把持装置２３ｂとを含む。エンドエフェクタ２３は、Ｔ軸モータユニット２２の出力軸に固定されている。エンドエフェクタ２３は、Ｔ軸の軸線方向を前後方向として前方に切断装置２３ａ及び把持装置２３ｂ等が配置されている。切断装置２３ａ及び把持装置２３ｂは、例えばモータによって駆動される。エンドエフェクタ２３は、葡萄Ｇ（ｎ）の果柄を把持装置２３ｂによって把持した状態において把持位置よりも幹寄りの果柄を切断装置２３ａによって切断することで、葡萄Ｇ（ｎ）を収穫する。
　エンドエフェクタ２３には、ステレオカメラ１が設けられている。ステレオカメラ１は、第２ブラケット２ｄを介してエンドエフェクタ２３の上面に支持されている。ステレオカメラ１は、エンドエフェクタ２３の前方を撮影するように配置されている。ステレオカメラ１の電力線９ｂ及び出力線９ａは、エンドエフェクタ２３の後方に延びている。すなわち、ステレオカメラ１の電力線９ｂ及び出力線９ａは、エンドエフェクタ２３の前方からＴ軸モータユニット２２の軸線方向に見てエンドエフェクタ２３の筐体２に隠れている。
　＜ロボットアーム制御装置２４＞
　ロボットアーム制御装置２４（図２参照）は、ステレオカメラ１、多関節ロボットアーム１１及びエンドエフェクタ２３を制御する装置である。ロボットアーム制御装置２４は、エンドエフェクタ２３が到達可能な範囲である作業範囲Ｗ内の葡萄Ｇ（ｎ）を収穫するようにステレオカメラ１、多関節ロボットアーム１１及びエンドエフェクタ２３を制御する。ロボットアーム制御装置２４には、ステレオカメラ１、多関節ロボットアーム１１及びエンドエフェクタ２３の動作を制御するために種々のプログラム、データが格納されている。
　ロボットアーム制御装置２４は、多関節ロボットアーム１１の、Ｓ軸モータユニット１２、Ｌ軸モータユニット１４、Ｕ軸モータユニット１６、Ｂ軸モータユニット１８、Ｒ軸モータユニット２０及びＴ軸モータユニット２２に含まれるモータの駆動回路にそれぞれ接続され、各軸のモータの駆動回路に制御信号を送信することができる。また、ロボットアーム制御装置２４は、各軸のモータユニットからモータの回転位置情報（エンコーダ信号）を取得することができる。
　ロボットアーム制御装置２４は、葡萄Ｇ（ｎ）の様々な画像について学習することにより獲得した葡萄Ｇ（ｎ）の検出用データＬｄを予め格納している。ロボットアーム制御装置２４は、葡萄Ｇ（ｎ）を検出するためのプログラムを有している。ロボットアーム制御装置２４は、ステレオカメラ１の第１撮像素子６が生成した第１画像Ｉｍ１と、第２撮像素子７が生成した第２画像Ｉｍ２との重複範囲Ｉａから、検出用データＬｄに基づいて葡萄Ｇ（ｎ）を検出する。
　ロボットアーム制御装置２４は、ステレオカメラ１に接続され、ステレオカメラ１が撮影した第１画像Ｉｍ１及び第２画像Ｉｍ２と、ステレオカメラ１の画像処理装置８が算出した特徴点（例えば、各画素）までの距離Ｌ（ｎ）を取得することができる。
　ロボットアーム制御装置２４は、エンドエフェクタ２３の切断装置２３ａ及び把持装置２３ｂを駆動するエンドエフェクタ２３用モータの駆動回路に通信可能に接続され、切断装置２３ａ及び把持装置２３ｂを駆動するモータの駆動回路に制御信号を送信することができる。
　＜ロボットアーム制御装置２４の制御＞
　次に、図３から図７を用いて、ロボットアーム制御装置２４の制御について説明する。
　図５に示すように、ロボットアーム制御装置２４は、多関節ロボットアーム１１によってステレオカメラ１を一体的に移動させる。ロボットアーム制御装置２４は、多関節ロボットアーム１１の可動範囲内においてステレオカメラ１の重複範囲Ｉａ内に含まれる作業範囲Ｗの割合が出来るだけ大きくなる位置にステレオカメラ１を配置させる。ステレオカメラ１は、作業範囲Ｗ内の少なくとも一部を撮影する。
　図４（Ｂ）に示すように、ステレオカメラ１の画像処理装置８は、作業範囲Ｗ内の任意の葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）が２００ｍｍの位置から撮影した場合、第１画像Ｉｍ１と第２画像Ｉｍ２との重複範囲Ｉａにおいて、左右方向（第２方向）の長さが６００ｍｍ以下、上下方向（第３方向）の長さが５００ｍｍ以下、且つ第１光学レンズ３及び第２光学レンズ４から離隔する方向である前方向（第１方向）の長さが５００ｍｍ以下である直方体状の空間Ｒａ内に存在する特徴点までの距離Ｌ（ｎ）を全て算出する。
　また、ステレオカメラ１は、作業範囲Ｗ内の任意の葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）が１０００ｍｍの位置から撮影した場合、第１画像Ｉｍ１と第２画像Ｉｍ２との重複範囲Ｉａにおいて、左右方向の長さが１３００ｍｍ以上３２００ｍｍ以下、上下方向の長さが１０００ｍｍ以上２５００ｍｍ以下、且つ前方向の長さが５００ｍｍ以上である直方体状の空間Ｒｂ内に存在する特徴点までの距離Ｌ（ｎ）を全て算出する。
　図３と図７に示すように、画像処理装置８は、第１画像Ｉｍ１と第２画像Ｉｍ２とから重複範囲Ｉａにおける全ての特徴点についての視差量Ｄを算出する（図３のＧ（ｎ）参照）。さらに、画像処理装置８は、算出した全ての特徴点の視差量Ｄから、特徴点までの距離Ｌ（ｎ）を含む位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）を算出する。画像処理装置８は、第１画像Ｉｍ１と第２画像Ｉｍ２、及び全ての特徴点の位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）とをロボットアーム制御装置２４に送信する。
　ロボットアーム制御装置２４は、第１画像Ｉｍ１及び第２画像Ｉｍ２と、重複範囲Ｉａに含まれる全ての特徴点の位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）とを取得する。ロボットアーム制御装置２４は、検出用データＬｄに基づいて第１画像Ｉｍ１と第２画像Ｉｍ２との重複範囲Ｉａに含まれる葡萄Ｇ（ｎ）の画像を全て検出する。さらに、ロボットアーム制御装置２４は、重複範囲Ｉａに含まれる葡萄Ｇ（ｎ）に含まれる特徴点の位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）を特定する。
　図７に示すように、ロボットアーム制御装置２４は、検出した葡萄Ｇ（ｎ）に含まれる特徴点の位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）に基づいて収穫作業を行うための収穫順Ａを算出する。ロボットアーム制御装置２４は、算出した複数の葡萄Ｇ１、Ｇ２、Ｇ３の位置座標Ｇ１（ｘ１、ｙ１、ｚ１）、Ｇ２（ｘ１、ｙ１、ｚ１）、Ｇ３（ｘ１、ｙ１、ｚ１）に基づいて、例えばＺ座標が大きい位置と、多関節ロボットアーム１１に近い葡萄Ｇ（ｎ）１から順に収穫作業を行う収穫順Ａを算出する。
　以上より、本実施形態では、多関節ロボットアーム１１の設けられているステレオカメラ１は、多関節ロボットアーム１１の可動範囲内であって重複範囲Ｉａ内に含まれる作業範囲Ｗの割合が出来るだけ大きくなる位置から重複範囲Ｉａ内の葡萄Ｇ（ｎ）を撮影する。ステレオカメラ１の画像処理装置８は、重複範囲Ｉａに含まれる全ての葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を算出することができる。このように、多関節ロボットアーム１１に設けられたステレオカメラ１は、一度の撮影によって作業範囲Ｗに含まれる複数の葡萄Ｇ（ｎ）を撮影するとともに、葡萄Ｇ（ｎ）に含まれる特徴点の距離Ｌ（ｎ）を算出することができる。つまり、ステレオカメラ１は、作業範囲Ｗに含まれる複数の葡萄Ｇ（ｎ）を撮影するために、多関節ロボットアーム１１によって各葡萄Ｇ（ｎ）の近傍に移動する必要がない。
　さらに、多関節ロボットアーム１１は、ステレオカメラ１の画像処理装置８が算出した作業範囲Ｗ内の複数の葡萄Ｇ（ｎ）の位置座標Ｇ（ｎ）（ｘ１、ｙ１、ｚ１）に基づいて無作為な位置に存在する葡萄Ｇ（ｎ）を最適な収穫順Ａに従って効率的に収穫することができる。
　このように構成されるステレオカメラ１は、筐体２における上下方向（第３方向）の上面に設けられた第１ブラケット部２ｃと、筐体２の下面に設けられた第２ブラケット２ｄ部とを有しているので、簡単な構成によって容易に多関節ロボットアーム１１またはエンドエフェクタ２３に取り付けられる。
　また、６自由度の多関節ロボットアーム１１に設けられるステレオカメラ１は、第１主光軸Ｏ１と第２主光軸Ｏ２との間の幅を１００ｍｍ以下になるように第１光学レンズ３と第２光学レンズ４とが左右方向に並んで筐体２の前面に配置されている。また、ステレオカメラ１は、出力線９ａと電力線９ｂとが筐体２の後面に接続されている。出力線９ａと電力線９ｂとは、前方向（第１方向）に見て筐体２に隠れている。このように構成することで、ステレオカメラ１は、前後方向におけるステレオカメラ１の投影面積が抑制されている。
　つまり、ステレオカメラ１は、第１主光軸Ｏ１と第２主光軸Ｏ２との間の幅Ｂを制限することで筐体２の大きさ（前後方向の投影面積）を抑制するとともに、エンドエフェクタ２３の前後方向の移動に関する慣性モーメントを抑制している。従って、ステレオカメラ１が設けられている多関節ロボットアーム１１の移動エネルギーは、ステレオカメラ１の筐体２を小型化することによって低減することができる。また、ステレオカメラ１は、前後方向の投影面積が抑制されているので、エンドエフェクタ２３の作業時に周囲の障害物との干渉を抑制することができる。
　また、ステレオカメラ１の第１光学レンズ３及び第２光学レンズ４は、筐体２に相対移動不能に固定されている。つまり、ステレオカメラ１は、機械式の手振れ補正機構、オートフォーカス、望遠機能等を含まない。ステレオカメラ１は、機械式の手振れ補正機構、オートフォーカス、望遠機能等の付加機能を有するカメラに比べて、重量及び外形寸法を小さくすることができる。従って、ステレオカメラ１が設けられている多関節ロボットアーム１１の移動エネルギーは、ステレオカメラ１を小型化、軽量化することによって低減することができる。これにより、ステレオカメラ１は、葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）をステレオカメラ１によって測定する際の多関節ロボットアーム１１の作業効率を向上することができる。
　さらに、ステレオカメラ１は、距離Ｌ（ｎ）に応じて重複空間Ｓ内の直方体状の空間が連続的に変化するように構成されている。つまり、ステレオカメラ１における任意の距離Ｌ（ｎ）の位置における重複範囲Ｉａは、距離Ｌ（ｎ）が２００ｍｍの位置における６００ｍｍ×５００ｍｍの重複範囲Ｉａと距離Ｌ（ｎ）が１０００ｍｍの位置における１３００ｍｍ×１０００ｍｍの重複範囲Ｉａとを連続的に繋いだ略四角錘台状の空間を構成している。または、重複範囲Ｉａは、６００ｍｍ×５００ｍｍの重複範囲Ｉａと距離Ｌ（ｎ）が１０００ｍｍの位置における３２００ｍｍ×２５００ｍｍの重複範囲Ｉａとを連続的に繋いだ略四角錘台状の空間を構成している。
　このように、ステレオカメラ１は、近距離から遠距離にかけて十分な大きさの重複範囲Ｉａを有しているので、作業範囲Ｗの広範囲に複数の葡萄Ｇ（ｎ）が位置していても、重複範囲Ｉａに複数の葡萄Ｇ（ｎ）が含まれた状態において撮影することができる。つまり、ステレオカメラ１は、複数の葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を一度の撮影によって測定することができる。従って、多関節ロボットアーム１１は、ステレオカメラ１によって複数の葡萄Ｇ（ｎ）の位置座標Ｇ（ｎ）（ｘ、ｙ、ｚ）を算出する際の移動量を抑制することができる。また、前記ステレオカメラ１では、重複空間Ｓ内に直方体状の空間Ｒａ、Ｒｂを規定することにより作業範囲Ｗ内の葡萄Ｇ（ｎ）対する前記ステレオカメラ１の配置が容易になる。これにより、ステレオカメラ１は、葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）をステレオカメラ１によって測定する際の多関節ロボットアーム１１の作業効率を向上することができる。
　（その他の実施形態）
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内において上述した実施の形態を適宜変形して実施することが可能である。
　前記実施形態において、ステレオカメラ１は、第１光学レンズ３と第１撮像素子６、及び第２光学レンズ４と第２撮像素子７とが一つの筐体２に設けられている。しかしながら、ステレオカメラ１は、複数の単眼カメラを組み合わせて構成してもよい。このように構成されるステレオカメラ１は、それぞれの単眼カメラによって同時に葡萄Ｇ（ｎ）が含まれる第１画像Ｉｍ１と第２画像Ｉｍ２とを撮影するように構成されている。ステレオカメラ１は、第１画像Ｉｍ１と第２画像Ｉｍ２とから葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を算出する。
　また、ステレオカメラ１は、第１光学レンズ３及び第１撮像素子６によって構成される第１のカメラ構造と、第２光学レンズ４及び第２撮像素子７によって構成される第２のカメラ構造を有している。しかしながら、ステレオカメラ１は、２つ以上のカメラ構造を有していればよい。従って、ステレオカメラ１は、例えば、第３光学レンズ及び第３撮影素子によって構成される第３のカメラ構造をさらに有していてもよい。
　また、ステレオカメラ１は、画像処理装置８によって第１画像Ｉｍ１と第２画像Ｉｍ２とから葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を算出している。しかしながら、ステレオカメラ１は、第１画像Ｉｍ１と第２画像Ｉｍ２とをロボットアーム制御装置２４に送信する構成でもよい。ロボットアーム制御装置２４は、取得した第１画像Ｉｍ１と第２画像Ｉｍ２とから葡萄Ｇ（ｎ）までの距離Ｌ（ｎ）を算出する。
　また、ステレオカメラ１の筐体２の上面と下面には、多関節ロボットアーム１１またはエンドエフェクタ２３に接続するための第１ブラケット部２ｃと第２ブラケット２ｄ部とが設けられている。しかしながら、多関節ロボットアーム１１またはエンドエフェクタ２３に接続するためにブラケット部は、筐体２の右面、左面、後面の少なくとも一つに設けられていてもよい。
　なお、前記実施形態において、ロボットアーム制御装置２４は、作業範囲Ｗ内の葡萄Ｇ（ｎ）の収穫順Ａを葡萄Ｇ（ｎ）の位置に基づいて所定のプログラムにより決定しているが、一例でありこれに限定するものではない。例えば、ロボットアーム制御装置２４は、ＡＩ（人口知能）によって収穫順Ａを決定したり、葡萄Ｇ（ｎ）の大きさ順など特定の基準のあてはめによって決定したりしてもよい。
　なお、前記実施形態において、ロボットアーム制御装置２４は、検出用データＬｄに基づいてステレオカメラ１が撮影した第１画像Ｉｍ１と第２画像Ｉｍ２とに含まれる葡萄Ｇ（ｎ）の画像を検出しているが、これに限定するものではない。例えば、ステレオカメラ１の画像処理装置８が、検出用データＬｄに基づいて第１画像Ｉｍ１と第２画像Ｉｍ２とに含まれる葡萄Ｇ（ｎ）の画像を検出する構成でもよい。
　また、前記実施形態において、多関節ロボットアーム１１は、一例としてＳ軸モータユニット１２、Ｌ軸モータユニット１４、Ｕ軸モータユニット１６、Ｂ軸モータユニット１８、Ｒ軸モータユニット２０、Ｔ軸モータユニット２２がそれぞれリンクによって直列に連結されている。多関節ロボットアーム１１の各軸のモータユニットの連結順、連結される際の軸線方向等は、多関節ロボットアーム１１として成立する構造であればよい。
　また、前記実施形態において、ステレオカメラ１は、６自由度の移動体である６軸多関節ロボットアーム１１に取り付けられている。しかしながら、６自由度の移動体は、６軸多関節ロボットアーム１１に限定するものではない。６自由度の移動体は、例えば、無人飛行体、工作機械等でもよい。
　また、前記実施形態において、多関節ロボットアーム装置１０は、農作物である葡萄Ｇ（ｎ）の収穫作業を行っているが、一例でありこれに限定するものではない。例えば、多関節ロボットアーム装置１０は、屋外での農作物の収穫作業だけでなく、屋内での工業部品のハンドリング等、屋外、屋内問わずに多関節ロボットアーム１１に装着されるエンドエフェクタ２３の種類に応じた作業を実施する。
　また、前記実施形態において、エンドエフェクタ２３は、切断装置２３ａと把持装置２３ｂとを備え、葡萄Ｇ（ｎ）を把持及び切断する機器であるが、これに限定するものではない。エンドエフェクタ２３は、対象物に対して所定の作業を行う機器であればよい。
　　　１　ステレオカメラ
　　　２　筐体
　　　３　第１光学レンズ
　　　４　第２光学レンズ
　　　６　第１撮像素子
　　　７　第２撮像素子
　　Ｏ１　第１主光軸
　　Ｏ２　第２主光軸
　Ｉａ１　第１撮影範囲
　Ｉａ２　第２撮影範囲
　　１ａ　重複範囲
　　２４　ロボットアーム制御装置
　Ｉｍ１　第１画像
　Ｉｍ２　第２画像
　Ｇ（ｎ）　葡萄
　Ｌ（ｎ）　光学レンズの焦点から特徴点までの距離
　　　Ｄ　視差量
　　　Ｂ　主光軸間の幅

Claims (5)

  1. 　複数の光学レンズと、
    　前記複数の光学レンズが集光した光をそれぞれ検出する複数のカラー撮像素子と、
    　６自由度の可動部を有する移動体の前記可動部に取り付け可能なブラケット部を有する筐体と、
    を備えるステレオカメラであって、
    　前記複数の光学レンズは、
    　主光軸間の幅が１００ｍｍ以下になるように配置され、
    　前記複数の光学レンズと前記複数のカラー撮像素子とは、
    　前記複数の光学レンズのうち最も対象物までの距離が小さい光学レンズの焦点から主光軸の軸線方向である第１方向の距離が２００ｍｍの位置において、複数の前記主光軸にそれぞれ直交する方向である第２方向の長さが６００ｍｍ以下、前記第１方向と前記第２方向とに直交する第３方向の長さが５００ｍｍ以下、且つ前記第１方向において前記光学レンズから離隔する方向の長さが５００ｍｍ以下である空間内に存在する前記対象物までの距離を測定可能に構成され、及び
    　前記光学レンズの焦点から前記第１方向の距離が１０００ｍｍの位置において、前記第２方向の長さが１３００ｍｍ以上であって３２００ｍｍ以下、前記第３方向の長さが１０００ｍｍ以上であって２５００ｍｍ以下、且つ前記第１方向において前記光学レンズから離隔する方向の長さが５００ｍｍ以上である空間内に存在する前記対象物までの距離を測定可能に構成され、
    　前記６自由度の可動部を有する移動体と一体的に移動するように前記筐体に支持される、ステレオカメラ。
  2. 　請求項１に記載のステレオカメラにおいて、
    　前記第２方向に２つの前記光学レンズが並んで配置され、前記２つの光学レンズに対応する２つの前記カラー撮像素子が前記第２方向に並んで配置される、ステレオカメラ。
  3. 　請求項１または２に記載のステレオカメラにおいて、
    　前記カラー撮像素子が検出した画像情報を出力する出力線と、前記カラー撮像素子に電力を供給する電力線とは、前記主光軸の軸線方向に見て前記筐体に隠れる位置で前記筐体に接続されている、ステレオカメラ。
  4. 　請求項１から３のいずれか一項に記載のステレオカメラにおいて、
    　前記ブラケット部は、前記筐体における前記第３方向に位置する、第１面または第２面に設けられている、ステレオカメラ。
  5. 　請求項１から４のいずれか一項に記載のステレオカメラにおいて、
    　前記複数の光学レンズは、
    　前記筐体に対して相対移動不能に固定されている、ステレオカメラ。
PCT/JP2020/027538 2020-07-15 2020-07-15 ステレオカメラ WO2022013979A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027538 WO2022013979A1 (ja) 2020-07-15 2020-07-15 ステレオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027538 WO2022013979A1 (ja) 2020-07-15 2020-07-15 ステレオカメラ

Publications (1)

Publication Number Publication Date
WO2022013979A1 true WO2022013979A1 (ja) 2022-01-20

Family

ID=79555358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027538 WO2022013979A1 (ja) 2020-07-15 2020-07-15 ステレオカメラ

Country Status (1)

Country Link
WO (1) WO2022013979A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030115A (ja) * 2015-08-04 2017-02-09 株式会社リコー ピッキング装置、ピッキング方法及びピッキングプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030115A (ja) * 2015-08-04 2017-02-09 株式会社リコー ピッキング装置、ピッキング方法及びピッキングプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASATSUGU IRIBE, OYASUHIRO SHIBANO, SHOYA ATARASHI, SOB FUJIMOTO, AKIKO SAITO: "Compact size Image Recognition System for Raspberry Harvesting", 63RD ANNUAL CONFERENCE OF THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS; OSAKA, JAPAN; MAY 22-24, 2019, vol. 63, 24 May 2019 (2019-05-24) - 24 May 2019 (2019-05-24), pages 1351 - 1352, XP009534215 *

Similar Documents

Publication Publication Date Title
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
WO2021044473A1 (ja) 多関節ロボットアーム制御装置及び多関節ロボットアーム装置
CN1250180C (zh) 盲人步行用辅助器
US20230157525A1 (en) System and method for reversing orientation and view of selected components of a miniaturized surgical robotic unit in vivo
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
EP2671686A1 (en) Master operation input device and master-slave manipulator
JP2009241247A (ja) ステレオ画像型検出移動装置
JP4665857B2 (ja) アームを誘導可能な移動体およびアームを誘導する方法
US7738733B2 (en) Systems and methods for 3-D imaging
CN111615443A (zh) 信息处理装置、信息处理方法和信息处理系统
CN109794961A (zh) 机器人以及机器人系统
CN114055444A (zh) 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
JP2023025107A (ja) コンパクトな双眼画像取込みデバイス
WO2022013979A1 (ja) ステレオカメラ
WO2022014641A1 (ja) エンドエフェクタ
CN111571591B (zh) 四目仿生眼设备、装置及其搜寻目标的方法
Dario et al. The Agrobot project for greenhouse automation
US20230239452A1 (en) Color stereo camera systems with global shutter synchronization
JP2003200377A (ja) ロボット，ロボットによる測距方法
WO2023218568A1 (ja) エンドエフェクタ
CN116867611A (zh) 融合静态大视场和高保真度可移动传感器用于机器人平台
WO2020196026A1 (ja) 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム
CN113650038A (zh) 一种巡检机器人
Pedari et al. Spatial shape estimation of a tendon-driven continuum robotic arm using a vision-based algorithm
WO2023189077A1 (ja) 制御装置及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP