WO2020218323A1 - 植物体撮像装置、及び植物体撮像方法 - Google Patents

植物体撮像装置、及び植物体撮像方法 Download PDF

Info

Publication number
WO2020218323A1
WO2020218323A1 PCT/JP2020/017303 JP2020017303W WO2020218323A1 WO 2020218323 A1 WO2020218323 A1 WO 2020218323A1 JP 2020017303 W JP2020017303 W JP 2020017303W WO 2020218323 A1 WO2020218323 A1 WO 2020218323A1
Authority
WO
WIPO (PCT)
Prior art keywords
plant
imaging
image pickup
region
support
Prior art date
Application number
PCT/JP2020/017303
Other languages
English (en)
French (fr)
Inventor
裕貴 内藤
智彦 太田
深津 時広
将吾 坪田
忠桐 東出
幸成 村松
Original Assignee
国立研究開発法人農業・食品産業技術総合研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人農業・食品産業技術総合研究機構 filed Critical 国立研究開発法人農業・食品産業技術総合研究機構
Priority to JP2021516151A priority Critical patent/JPWO2020218323A1/ja
Publication of WO2020218323A1 publication Critical patent/WO2020218323A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present invention is a plant imaging device and a plant imaging device that separately captures an imaging target plant located within a region of a predetermined distance from the imaging means from a non-imaging target plant located at a position exceeding a predetermined distance from the imaging means. Regarding the method.
  • Patent Document 5 in the device that illuminates the scanning line by the first and second illuminating devices, a light-shielding plate that blocks light rays from the first and second illuminating devices toward the scanning line of a non-measured object is provided.
  • the provided lighting device for measurement is disclosed.
  • Japanese Unexamined Patent Publication No. 2015-154727 Japanese Unexamined Patent Publication No. 2016-154510 JP-A-2017-77238 JP-A-2017-42133 Microfilm of Jitsugyo No. 53-60920 (Jitsukai Sho No. 54-163647)
  • Patent Documents 1 to 4 acquire crop images using an imaging means, but do not disclose a technique for stably imaging a population densely planted in a greenhouse over a wide area, and in particular, The technique of extracting only the foreground strain to be analyzed from the crop image in which the background is reflected is not described.
  • the method using a range camera has been increasingly adopted due to the widespread use of the device at low cost. Although it is possible to separate the foreground stock and background information by the distance measurement value for each pixel, a clear individual image can be obtained due to the limitation of the measurement distance range, the influence of sunlight, and the limitation of the spatial resolution of the distance camera. There are problems such as points that cannot be obtained.
  • the method of separating by the depth of field is a method of focusing only the foreground stock and blurring the distant background by adjusting the focus range (depth of field) of the lens. With this method, an image in which only the foreground strain is imaged can be obtained, but there is a problem that the background color information cannot be completely removed.
  • Patent Document 5 is a scanning imaging apparatus that line-scans a mounted object and an object to be measured mounted on the mounted object, and does not extract only the foreground stock to be analyzed from the background.
  • the present invention is a plant imaging device capable of separately photographing a plant to be imaged located within a region of a predetermined distance from the imaging means from a non-plant to be imaged located at a position exceeding a predetermined distance from the imaging means. It is an object of the present invention to provide a method for imaging a plant body.
  • the plant imaging device of the present invention is a plant imaging device including a support 2 that supports the imaging means 1 and a pair of lighting means 3 that are arranged on the support 2.
  • the region where the first irradiation region 31 irradiated from the illumination means 3 and the second irradiation region 32 irradiated from the other illumination means 3 overlap is defined as the imaging target region 33, and the first irradiation region 31 and the above are described.
  • a region that does not overlap with the second irradiation target region 32 is outside the imaging target region 33, a light amount difference is generated between the imaging target region 33 and the outside of the imaging target region 33, and the light amount difference causes a predetermined distance from the imaging means 1.
  • the imaging target plant 80 located in the region L is separately photographed from the non-imaging target plant 90 located at a position exceeding the predetermined distance L from the imaging means 1.
  • a pair of light-shielding plates 4 are provided on the support 2, and the lighting means 3 and the above-mentioned illumination means 3 are provided between the pair of light-shielding plates 4. It is characterized in that the image pickup means 1 is arranged.
  • the first virtual extension surface 41 which is an extension line of the inner surface of the light-shielding plate 4 and the inner surface of the light-shielding plate 4 of the other.
  • the optical axis 11 of the imaging means 1 is aligned with the line of intersection 43 that intersects the second line of virtual extension surface 42, which is an extension line of the above.
  • the present invention according to claim 4 is characterized in that, in the plant imaging apparatus according to any one of claims 1 to 3, the light absorbing material 5 is arranged on the peripheral portion M of the imaging means 1. ..
  • the present invention according to claim 5 is provided with a moving means 6 for moving the support 2 or the plant 80 to be imaged in the plant imaging device according to any one of claims 1 to 4. It is characterized by that.
  • the present invention according to claim 6 stores a plurality of images taken by the image pickup means 1 while moving the support 2 or the image pickup target plant 80 in the plant image pickup apparatus according to claim 5.
  • the present invention according to claim 7 is provided with the light-shielding plate angle adjusting mechanism 50 for rotating the light-shielding plate 4 with respect to the support 2 in the plant body imaging device according to claim 2 or 3. It is characterized by.
  • the present invention according to claim 8 is characterized in that, in the plant body imaging apparatus according to claim 3, a line laser 55 that outputs light rays that match in a plan view is provided on the optical axis 11 of the imaging means 1. To do.
  • the present invention according to claim 9 is a method for imaging a plant using the plant imaging device according to any one of claims 1 to 8, wherein the plants are arranged in a row direction and the plant is described.
  • the image pickup means 1 takes an image of the plant 80 to be imaged while moving the plant image pickup device in the row direction with respect to the body, or the plant body is moved to the plant body image pickup device while moving the plant body.
  • the imaging means 1 is characterized in that the plant 80 to be imaged is photographed.
  • the present invention according to claim 10 is a plant imaging method using the plant imaging device according to any one of claims 1 to 8, wherein the plant imaging device is around the plant.
  • the imaging target plant 80 is photographed by the imaging means 1 while moving, or the imaging target plant 80 is photographed by the imaging means 1 while rotating the plant body with respect to the plant body imaging device. It is characterized by that.
  • the plant imaging method of the present invention according to claim 11 includes a support 2 that supports the imaging means 1 and a pair of lighting means 3 that are arranged on the support 2, and is irradiated from one of the lighting means 3.
  • the region where the first irradiation region 31 and the second irradiation region 32 irradiated from the other illumination means 3 overlap is defined as the imaging target region 33, and the first irradiation region 31 and the second irradiation region 32 overlap.
  • a plant imaging method for photographing a target plant 80 wherein the imaging target plants 80 are arranged in a row direction, and the support 2 is moved in the row direction with respect to the imaging target plant 80.
  • the imaging target plant 80 is photographed by the imaging means 1, or the imaging target plant 80 is photographed by the imaging means 1 while moving the imaging target plant 80 with respect to the support 2.
  • the plant imaging method of the present invention includes a support 2 that supports the imaging means 1 and a pair of lighting means 3 that are arranged on the support 2, and is irradiated from one of the lighting means 3.
  • the region where the first irradiation region 31 and the second irradiation region 32 irradiated from the other illumination means 3 overlap is defined as the imaging target region 33, and the first irradiation region 31 and the second irradiation region 32 overlap.
  • the area that does not become an image pickup target area 33 is outside the image pickup target area 33, a light amount difference is generated between the image pickup target area 33 and the outside of the image pickup target area 33, and the image pickup located within a predetermined distance L from the image pickup means 1 due to the light amount difference.
  • a plant imaging method for photographing a target plant 80 wherein the support 2 moves around the imaging target plant 80 and the imaging means 1 photographs the imaging target plant 80, or the imaging target plant 80 is photographed.
  • the imaging target plant 80 is photographed by the imaging means 1 while rotating the imaging target plant 80 with respect to the support 2.
  • the present invention according to claim 13 is characterized in that, in the plant imaging method according to any one of claims 9 to 12, the image is taken in a dark environment.
  • the imaging target plant located within the region of a predetermined distance from the imaging means exceeds the predetermined distance from the imaging means. It is possible to take a picture separately from the non-imaging target plant at the position.
  • Photograph showing a plant image pickup device according to this embodiment Explanatory drawing which shows the usage method of the plant image pickup apparatus by this Example.
  • Photograph explaining image processing in the plant image pickup apparatus according to this Example A block diagram of a main part showing a plant image pickup apparatus according to another embodiment of the present invention. The figure which shows the verification result by the plant body image pickup apparatus by this Example Conceptual diagram of the device according to the embodiment in which the light-shielding plate angle adjusting mechanism is provided in the plant image pickup device according to the embodiment of the present invention.
  • the region where the first irradiation region irradiated from one lighting means and the second irradiation region irradiated from the other lighting means overlap is the imaging target region.
  • the region where the first irradiation region and the second irradiation region do not overlap is outside the imaging target region, a light amount difference is generated between the imaging target region and the outside of the imaging target region, and the region at a predetermined distance from the imaging means due to the light amount difference.
  • the image target plant located inside is separately photographed from the non-imaging target plant located at a position exceeding a predetermined distance from the image pickup means.
  • the imaging target plant located within the region of a predetermined distance from the imaging means is moved from the imaging means at a predetermined distance. It is possible to take a picture separately from the non-imaging target plant at a position exceeding.
  • a pair of light-shielding plates are provided on the support, and a lighting means and an imaging means are arranged between the pair of light-shielding plates. Is. According to the present embodiment, the difference in illuminance between the plant to be imaged and the plant to be non-imaged can be increased by the pair of light-shielding plates.
  • a third embodiment of the present invention is an extension of a first virtual extension surface that is an extension of the inner surface of one light-shielding plate and an extension of the inner surface of the other light-shielding plate in the plant imaging device according to the second embodiment.
  • the optical axis of the imaging means is aligned with the line of intersection that intersects the second virtual extension surface that becomes the line. According to the present embodiment, the difference in the amount of light is the largest between the position of the virtual intersection line and the rear of the virtual intersection line. Therefore, by matching the optical axis of the imaging means with the virtual intersection line, the plant to be imaged Can be clearly distinguished from non-imaging plants.
  • a fourth embodiment of the present invention is a plant image pickup device according to any one of the first to third embodiments, in which an light absorbing material is arranged in a peripheral portion of the image pickup means. According to the present embodiment, it is possible to prevent the reflected light from the peripheral portion of the imaging means toward the front of the imaging means.
  • the plant image pickup device according to any one of the first to fourth embodiments is provided with a moving means for moving the support or the plant to be imaged. According to this embodiment, the position of the support or the plant to be imaged can be changed for photographing.
  • a sixth embodiment of the present invention includes a storage unit that stores a plurality of images taken by the imaging means while moving the support or the plant to be imaged in the plant image pickup apparatus according to the fifth embodiment. It is provided with an image processing unit that creates a developed image from a plurality of images stored in the storage unit. According to the present embodiment, by obtaining a developed image from an image taken by changing the shooting position, it is possible to obtain, for example, an image of a plant to be imaged arranged in a row direction.
  • a seventh embodiment of the present invention is the plant body imaging device according to the second or third embodiment provided with a light-shielding plate angle adjusting mechanism for rotating the light-shielding plate with respect to a support.
  • the first virtual extension surface and the second virtual extension surface can be changed by rotating the light-shielding plate with respect to the support, and a predetermined distance from the imaging means to the line of intersection can be adjusted.
  • a line laser that outputs light rays that coincide with each other in a plan view is provided on the optical axis of the image pickup means. According to the present embodiment, since the position of the line of intersection can be visually recognized by the light beam output from the line laser, the angle of the shading plate can be easily adjusted.
  • the plant imaging method uses the plant imaging device according to any one of the first to eighth embodiments, and the plants are arranged in a row direction with respect to the plant.
  • the plant body to be imaged is photographed by the imaging means while moving the plant body imaging device in the row direction, or the plant body to be imaged is photographed by the imaging means while moving the plant body to the plant body imaging device. ..
  • this embodiment for example, it is possible to obtain an image necessary for predicting the growth state and harvest time of plants arranged in a row direction.
  • the plant imaging method uses the plant imaging apparatus according to any one of the first to eighth embodiments, and the plant imaging apparatus images while moving around the plant.
  • the plant to be imaged is photographed by the means, or the plant to be imaged is photographed by the imaging means while rotating the plant with respect to the plant image pickup device.
  • this embodiment for example, it is possible to obtain an image necessary for predicting the growth status and harvest time of plants and fruit trees cultivated in pots.
  • the plants to be imaged are arranged in the row direction, and the plant to be imaged is imaged by the imaging means while the support is moved in the row direction with respect to the plant to be imaged.
  • the image target plant is photographed by the imaging means while moving the image target plant with respect to the support. According to this embodiment, for example, it is possible to obtain an image necessary for predicting the growth state and harvest time of plants arranged in a row direction.
  • the plant to be imaged is photographed by the imaging means while the support moves around the plant to be imaged, or the plant is imaged with respect to the support.
  • the plant to be imaged is photographed by the imaging means while rotating. According to this embodiment, for example, it is possible to obtain an image necessary for predicting the growth status and harvest time of plants and fruit trees cultivated in pots.
  • the thirteenth embodiment of the present invention is for photographing in a dark environment in the plant body imaging method according to any one of the ninth to twelfth embodiments. According to this embodiment, it is easy to remove background information that becomes noise, and it does not affect agricultural work.
  • FIG. 1 is a plan view conceptual diagram showing photography by a plant image pickup device according to this embodiment.
  • the plant body imaging device according to the present embodiment includes a support 2 that supports the imaging means 1, a pair of lighting means 3 that are arranged on the support 2, and a pair of light-shielding plates 4 that are provided on the support 2. ..
  • the imaging means 1 is arranged between the pair of lighting means 3, and the lighting means 3 is arranged between the pair of light-shielding plates 4.
  • the imaging means 1 photographs an imaging target region 33 in which the first irradiation region 31 irradiated from one lighting means 3 and the second irradiation region 32 irradiated from the other lighting means 3 overlap.
  • the plant on the front side (the side closer to the imaging means 1) is the plant to be imaged 80
  • the plant on the back side (the side far from the imaging means 1) is the non-imaging plant.
  • the body is 90.
  • the imaging means 1 photographs the plant 81 to be imaged that has entered the area 33 to be imaged.
  • the imaging target plant 80 located within the region of a predetermined distance L from the imaging means 1 is imaged.
  • the non-imaging target plant 90 located at a position exceeding a predetermined distance L from the means 1 can be separately photographed.
  • the pair of light-shielding plates 4 can increase the illuminance difference between the plant 80 to be imaged and the plant 90 not to be imaged.
  • the imaging means 1 is formed on the virtual intersection line 43 where the first virtual extension surface 41, which is an extension of the inner surface of one light-shielding plate 4, and the second virtual extension surface 42, which is an extension of the inner surface of the other light-shielding plate 4, intersect. It is preferable that the optical axes 11 of the above are aligned. Since the difference in the amount of light is the largest between the position of the line of intersection 43 and the rear of the line of intersection 43, by aligning the optical axis 11 of the imaging means 1 with the line of intersection 43, the plant 80 to be imaged is not. It can be clearly distinguished from the plant 90 to be imaged. Further, it is preferable to arrange the light absorbing material 5 on the peripheral portion M of the imaging means 1.
  • the peripheral portion M on which the light absorbing material 5 is arranged is a region facing at least the openings of the pair of light-shielding plates 4.
  • FIG. 2 is a photograph showing a plant imaging device according to this embodiment.
  • the support 2 includes an imaging means 1, a pair of lighting means 3, and a pair of light-shielding plates 4.
  • the imaging means 1 is arranged at the center of the flat plate 21 of the support 2, and the flat plate 21 is covered with a blackout curtain as the light absorbing material 5. As shown in FIG. 2, a plurality of imaging means 1 may be arranged at different heights.
  • the lighting means 3 is arranged between the side portion of the flat plate 21 and the holding side end portion of the light-shielding plate 4.
  • the illuminating means 3 has a predetermined length in the vertical direction, and the upper end of the illuminating means 3 is arranged at a position higher than at least the imaging means 1, and the lower end of the illuminating means 3 is arranged at a position lower than the imaging means 1. ..
  • the upper end of the shading plate 4 is set higher than the upper end of the lighting means 3, and the lower end of the shading plate 4 is set lower than the lower end of the lighting means 3.
  • the holding side end of the light-shielding plate 4 is preferably rotatable with respect to the support 2 by a predetermined angle, and by rotating the light-shielding plate 4 with respect to the support 2, the first virtual extension surface 41 and the second virtual extension The surface 42 can be changed, and a predetermined distance L from the imaging means 1 to the line of intersection 43 can be adjusted.
  • the support 2 is provided with a moving means 6, and the support 2 can be moved with respect to the plant 80 to be imaged.
  • a traveling cart can be used as the moving means 6, and a hot water pipe arranged between the cultivation bed 8 (see FIG. 3) and the cultivation bed 8 is traveled as a rail 61.
  • the support 2 is provided with a height adjusting mechanism (not shown) capable of adjusting the height.
  • the plant imaging device includes a control means 7.
  • the control means 7 includes a movement control unit 71 that controls the movement time and movement speed of the movement means 6, a shooting control unit 72 that controls the shooting time and shooting timing of the imaging means 1, and a plurality of images taken by the imaging means 1.
  • a storage unit 73 for storing the above image and an image processing unit 74 for creating a developed image from a plurality of images stored in the storage unit 73 are provided.
  • FIG. 3 is an explanatory view showing how to use the plant image pickup device according to the present embodiment
  • FIG. 3 (a) is a schematic side view showing the positional relationship between the plant body image pickup device and the plant body
  • FIG. 3 (b) is a schematic side view showing the positional relationship between the plant body image pickup device and the plant body
  • FIG. 3 (b) Is a schematic plan view of the same.
  • the plant body imaging device is shown in a simplified manner, but as shown in the drawing, it includes an imaging means 1 directed to one cultivation bed 8 and an imaging means 1 directed to the other cultivation bed 8. be able to.
  • a plurality of cultivation beds 8 are provided in the longitudinal direction, and two tomato strains are arranged in two rows in the cultivation bed 8, and the tomato strains arranged in each row are the front strains close to the imaging means 1 to be imaged.
  • the plant body is 80, and the plant body 90 far from the imaging means 1 is the non-imaging target plant body 90.
  • a rail 61 is arranged between the cultivation beds 8, and the plant imaging device moves along the rail 61.
  • the plant body 80 is photographed by the imaging means 1 while moving the plant body imaging device in the row direction with respect to the plant body, thereby forming a row. It is possible to obtain images necessary for predicting the growth status and harvest time of plants and fruit trees lined up in a direction. Further, with the imaging means 1 fixed, the imaging target plant 80 can be photographed by the imaging means 1 while moving the plant.
  • the plant image pickup device takes an image of the plant 80 to be imaged while moving around the plant, or the plant 80 to be imaged by the image pickup means 1 while rotating the plant with respect to the image pickup means 1.
  • the plant image pickup device takes a picture of, for example, it is possible to obtain an image necessary for predicting the growth status and harvest time of plants and fruit trees cultivated in pots.
  • FIG. 4 is a conceptual diagram showing a plant imaging method according to an embodiment of the present invention.
  • FIG. 4A shows a method of photographing a plant 80 to be imaged by the imaging means 1 while rotating the plant planted in the pot 62 with respect to the imaging means 1.
  • FIG. 4A by setting the position of the line of intersection 43 as the substantially center position of the plant 80 to be imaged, only the images of the leaves and fruits on the front side of the center position can be acquired. ..
  • the plant 80 to be imaged is photographed by the imaging means 1 while rotating the plant with respect to the imaging means 1, and a plurality of images captured by the imaging means 1 while rotating the plant are stored in the storage unit 73.
  • the position of the virtual intersection line 43 is set to the substantially center position of the plant body 80 to be imaged, and the position of the virtual intersection line 43 is set to the image pickup means 1 side from the substantially center position of the plant body 80 to be imaged.
  • the plant image pickup device is moved in the row direction with respect to the plant 80 to be imaged arranged in the row direction.
  • the imaging target plant 80 is photographed by the imaging means 1
  • the imaging target plant 80 is photographed by the imaging means 1 while moving the imaging target plants 80 arranged in the row direction while the imaging means 1 is fixed. It can also be applied when doing.
  • FIG. 4B shows a method of photographing the plant 80 to be imaged by the imaging means 1 while moving the imaging means 1 in the height direction of the plant.
  • a plurality of plants 80 to be imaged are photographed by the imaging means 1 while the imaging means 1 is moved in the height direction with respect to the plant, and a plurality of images are photographed by the imaging means 1 while being moved.
  • FIG. 5 is a photograph illustrating image processing in the plant image pickup apparatus according to the present embodiment.
  • FIG. 5A shows a shooting moving image shot at an arbitrary timing.
  • FIG. 5B is a developed image created by arranging a pixel row having a predetermined width including a pixel row matching the virtual intersection line 43 shown in FIG. 5A or a pixel row matching the virtual intersection line 43.
  • the developed image shown in FIG. 5B is virtual when the imaging means 1 moves a distance corresponding to a pixel row matching the virtual intersection line 43 or a distance corresponding to a pixel row having a predetermined width including the virtual intersection line 43.
  • FIG. 5A is an image acquired when the optical axis 11 is at the center position of the non-imaging plant 90. It can be seen that the imaging target plant 81 on the front side can be sufficiently photographed, while the non-imaging target plant 90 on the rear side is not captured.
  • the non-imaging plant 90 in either the first irradiation area 31 or the second irradiation area 32 can be seen in the vicinity of the left and right of the optical axis 11, but the area to be cut out as the developed image (pixel sequence matching the virtual intersection line 43).
  • the non-imaging target plant 90 is not reflected in the pixel row including the virtual line of intersection 43).
  • a developed image can be created by extracting and arranging a pixel sequence having a predetermined width including a pixel sequence matching the virtual intersection line 43 or a pixel sequence matching the virtual intersection line 43, and is shown in FIG. 5 (b).
  • the imaging target plant 80 located within the region of a predetermined distance L from the imaging means 1 can be clearly separated from the non-imaging target plant 90 for imaging.
  • a pixel string having a predetermined width including a pixel string matching the virtual line of intersection 43 or a pixel string matching the virtual line of intersection 43 may be extracted from the still image.
  • FIG. 6 is a configuration diagram of a main part showing a plant body imaging device according to another embodiment of the present invention.
  • the illuminating means 3X a linear illuminating device in which a linear light source in which a plurality of LEDs 3a are linearly arranged and a reflecting mirror 3b having a cylindrical reflecting surface having a concave cross section are used is used.
  • the light-shielding plate 4 may not be provided.
  • FIG. 7 is a diagram showing the verification results by the plant imaging device according to this embodiment.
  • FIG. 7A is a graph in which the vertical axis is the illuminance and the horizontal axis is the distance from the flat plate 21, and is the verification result when the light-shielding plate 4 is provided and when the light-shielding plate 4 is not provided.
  • FIG. 7B shows a case where the light-shielding plate 4 is provided
  • FIG. 7C shows a case where the light-shielding plate 4 is not provided, and the light-shielding plate 4 is opened. As shown in FIG.
  • FIGS. 8 and 9 are conceptual views of the device according to an embodiment in which the plant image pickup device shown in FIGS. 1 and 2 is provided with a light-shielding plate angle adjusting mechanism.
  • the same functional members as those in FIGS. 1 and 2 are designated by the same reference numerals, and the description thereof will be omitted.
  • the plant image pickup device shown in FIG. 8 is provided with a light-shielding plate angle adjusting mechanism 50.
  • a drive unit 51 and a drive transmission unit 52 are provided at the holding side ends of the pair of light-shielding plates 4, respectively.
  • the light-shielding plate angle adjusting mechanism 50 includes a drive unit 51 and a drive transmission unit 52.
  • an angle control servomotor is used for the drive unit 51, and a gear is used for the drive transmission unit 52.
  • the drive transmission unit 52 is driven by the drive unit 51.
  • the light-shielding plate 4 changes its angle with respect to the support 2 with the holding side end as a fulcrum.
  • one drive unit 51 drives the drive transmission units 52 provided on each of the pair of light-shielding plates 4.
  • Each drive transmission unit 52 operates in conjunction with the gear shaft 53.
  • the light-shielding plate angle adjusting mechanism 50 shown in FIG. 9 is composed of one drive unit 51, a pair of drive transmission units 52, and a gear shaft 53.
  • the gear shaft 53 is driven by the drive unit 51, and the drive transmission unit 52 is driven together with the gear shaft 53, so that the light-shielding plate 4 changes its angle with respect to the support 2 with the holding side end as a fulcrum.
  • the first virtual extension surface 41 and the second virtual extension surface 42 can be changed by providing the light-shielding plate angle adjusting mechanism 50 and rotating the light-shielding plate 4 with respect to the support 2, from the imaging means 1.
  • the predetermined distance L to the virtual intersection line 43 can be adjusted.
  • the predetermined distance L to the virtual intersection line 43 can be changed. Therefore, as shown in FIG. 3, when the plants are arranged in the row direction, the predetermined distance L is changed between the movement in one direction (outward route) and the movement in the other direction (return route). Therefore, the plant 80 to be imaged on the outward route and the plant 80 to be imaged on the return route can be made different. Further, as shown in FIG. 4, when a plant is planted in the pot 62, the portion corresponding to the distance from the center of the pot 62 can be photographed by changing the predetermined distance L for each rotation. can do.
  • FIG. 10 is a conceptual diagram of an apparatus according to an embodiment in which a line laser is provided in the plant body imaging apparatus shown in FIGS. 1 and 2.
  • the same functional members as those in FIGS. 1 and 2 are designated by the same reference numerals, and the description thereof will be omitted.
  • the plant image pickup device shown in FIG. 10 is provided with a line laser 55 that outputs light rays.
  • the line laser 55 is provided on the support 2 so that the light rays to be output coincide with the optical axis 11 of the imaging means 1 in a plan view.
  • the holding side end of the light-shielding plate 4 is configured to be able to rotate at a predetermined angle with respect to the support 2.
  • the plant imaging device it can be used, for example, for fruit set measurement in yield prediction, detection of pests and physiologically impaired strains, leaf area measurement based on plant mass measurement, cultivation management performance evaluation, grass vigor judgment, etc. Is.
  • Imaging means 2 Support 3, 3X Lighting means 3a LED 3b Reflector 4 Shading plate 5 Absorbent 6 Moving means 7 Control means 8 Cultivation bed 11 Optical axis 21 Flat plate 31 First irradiation area 32 Second irradiation area 33 Imaging target area 41 First virtual extension surface 42 Second virtual extension surface 43 Virtual intersection line 50 Shading plate angle adjustment mechanism 51 Drive unit 52 Drive transmission unit 53 Gear shaft 55 Line laser 61 Rail 62 Pot 71 Movement control unit 72 Imaging control unit 73 Storage unit 74 Image processing unit 80, 81 Image target plant 90 Non Plant to be imaged L Predetermined distance M Peripheral area

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一方の照明手段3から照射される第1照射領域31と、他方の照明手段3から照射される第2照射領域32とが重なる領域を撮像対象領域33とし、第1照射領域31と第2照射領域32とが重ならない領域を撮像対象領域33外とし、撮像対象領域33と撮像対象領域33外とで光量差を発生させ、光量差によって、撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を、撮像手段1から所定距離Lを越える位置にある非撮像対象植物体90から区分して撮影することを特徴とすることで、撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を、撮像手段1から所定距離Lを越える位置にある非撮像対象植物体90から区分して撮影することができる植物体撮像装置及び植物体撮像方法を提供する。

Description

植物体撮像装置、及び植物体撮像方法
 本発明は、撮像手段から所定距離の領域内に位置する撮像対象植物体を、撮像手段から所定距離を越える位置にある非撮像対象植物体から区分して撮影する植物体撮像装置及び植物体撮像方法に関する。
 トマト等果菜類を栽培する施設園芸において、農地集約や企業参入などに伴い大規模経営体は近年増加傾向にある。大規模生産法人の多くは、契約出荷を前提としており、安定した経営のためには高精度の収量予測や、収穫作業計画を策定するための作業時間予測が必要である。収量や収穫作業時間の予測には、撮像手段を用いて取得した作物画像の分析による着果計測などが有効である(例えば特許文献1から特許文献4)。
 施設園芸分野において、背景から解析対象となる手前株のみを抽出する技術の事例として、距離カメラを用いる方法、レンズの被写界深度を利用する方法が報告されている。
 ところで、特許文献5には、第1と第2の照明装置により走査ラインを照明するものにおいて、第1と第2の照明装置から非計測物の走査ライン上に向かう光線を遮光する遮光板を設けた計測用照明装置が開示されている。
特開2015-154727号公報 特開2016-154510号公報 特開2017-77238号公報 特開2017-42133号公報 実願昭53-60920号(実開昭54-163647号)のマイクロフィルム
 特許文献1から特許文献4では、撮像手段を用いて作物画像を取得するものであるが、温室内で密植される個体群を広範囲に安定して撮像する技術を開示するものではなく、特に、背景が写りこむ作物画像から解析対象となる手前株のみを抽出する技術については記載されていない。
 距離カメラを用いる方法は、装置が安価に普及したことで採用事例が増加した。画素ごとの距離計測値により手前株と背景情報の分離は可能であるが、測定距離範囲に制約がある点、太陽光の影響を受ける点、距離カメラの空間解像度の限界により鮮明な個体画像が得られない点などの問題がある。
 被写界深度により分離する方法は、レンズのピントが合う範囲(被写界深度)を調整することで、手前株のみ焦点を合わせ、遠方の背景をぼかす方法である。この方法では手前株のみ結像した画像が得られるが、背景の色情報を完全には除去できない問題がある。
 なお、特許文献5は、載物体及びこの載物体上に載置された被計測物をライン走査する走査型撮像装置であり、背景から解析対象となる手前株のみを抽出するものではない。
 本発明は、撮像手段から所定距離の領域内に位置する撮像対象植物体を、撮像手段から所定距離を越える位置にある非撮像対象植物体から区分して撮影することができる植物体撮像装置及び植物体撮像方法を提供することを目的とする。
 請求項1記載の本発明の植物体撮像装置は、撮像手段1を支持する支持体2と、前記支持体2に配置する一対の照明手段3とを備えた植物体撮像装置であって、一方の前記照明手段3から照射される第1照射領域31と、他方の前記照明手段3から照射される第2照射領域32とが重なる領域を撮像対象領域33とし、前記第1照射領域31と前記第2照射領域32とが重ならない領域を撮像対象領域33外とし、前記撮像対象領域33と前記撮像対象領域33外とで光量差を発生させ、前記光量差によって、前記撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を、前記撮像手段1から前記所定距離Lを越える位置にある非撮像対象植物体90から区分して撮影することを特徴とする。
 請求項2記載の本発明は、請求項1に記載の植物体撮像装置において、前記支持体2に一対の遮光板4を設け、一対の前記遮光板4の間に、前記照明手段3と前記撮像手段1とを配置したことを特徴とする。
 請求項3記載の本発明は、請求項2に記載の植物体撮像装置において、一方の前記遮光板4の内面の延長線となる第1仮想延長面41と、他方の前記遮光板4の内面の延長線となる第2仮想延長面42とが交わる仮想交線43に、前記撮像手段1の光軸11を一致させたことを特徴とする。
 請求項4記載の本発明は、請求項1から請求項3のいずれか1項に記載の植物体撮像装置において、前記撮像手段1の周辺部Mに吸光材5を配置したことを特徴とする。
 請求項5記載の本発明は、請求項1から請求項4のいずれか1項に記載の植物体撮像装置において、前記支持体2又は前記撮像対象植物体80を移動させる移動手段6を設けたことを特徴とする。
 請求項6記載の本発明は、請求項5に記載の植物体撮像装置において、前記支持体2又は前記撮像対象植物体80を移動させながら前記撮像手段1で撮影した複数の画像を記憶する記憶部73と、前記記憶部73に記憶した複数の前記画像から展開画像を作成する画像処理部74とを備えたことを特徴とする。
 請求項7記載の本発明は、請求項2又は請求項3に記載の植物体撮像装置において、前記遮光板4を前記支持体2に対して回動させる遮光板角度調整機構50を設けたことを特徴とする。
 請求項8記載の本発明は、請求項3に記載の植物体撮像装置において、前記撮像手段1の前記光軸11に平面視で一致する光線を出力するラインレーザー55を設けたことを特徴とする。
 請求項9記載の本発明は、請求項1から請求項8のいずれか1項に記載の植物体撮像装置を用いた植物体撮像方法であって、植物体が列方向に配列され、前記植物体に対して前記植物体撮像装置を前記列方向に移動させながら前記撮像手段1で前記撮像対象植物体80を撮影し、又は、前記植物体撮像装置に対して前記植物体を移動させながら前記撮像手段1で前記撮像対象植物体80を撮影することを特徴とする。
 請求項10記載の本発明は、請求項1から請求項8のいずれか1項に記載の植物体撮像装置を用いた植物体撮像方法であって、前記植物体撮像装置が前記植物体の周囲を移動しながら前記撮像手段1で前記撮像対象植物体80を撮影し、又は、前記植物体撮像装置に対して前記植物体を回転させながら前記撮像手段1で前記撮像対象植物体80を撮影することを特徴とする。
 請求項11記載の本発明の植物体撮像方法は、撮像手段1を支持する支持体2と、前記支持体2に配置する一対の照明手段3とを備え、一方の前記照明手段3から照射される第1照射領域31と、他方の前記照明手段3から照射される第2照射領域32とが重なる領域を撮像対象領域33とし、前記第1照射領域31と前記第2照射領域32とが重ならない領域を撮像対象領域33外とし、前記撮像対象領域33と前記撮像対象領域33外とで光量差を発生させ、前記光量差によって、前記撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を撮影する植物体撮像方法であって、前記撮像対象植物体80が列方向に配列され、前記撮像対象植物体80に対して前記支持体2を前記列方向に移動させながら前記撮像手段1で前記撮像対象植物体80を撮影し、又は、前記支持体2に対して前記撮像対象植物体80を移動させながら前記撮像手段1で前記撮像対象植物体80を撮影することを特徴とする。
 請求項12記載の本発明の植物体撮像方法は、撮像手段1を支持する支持体2と、前記支持体2に配置する一対の照明手段3とを備え、一方の前記照明手段3から照射される第1照射領域31と、他方の前記照明手段3から照射される第2照射領域32とが重なる領域を撮像対象領域33とし、前記第1照射領域31と前記第2照射領域32とが重ならない領域を撮像対象領域33外とし、前記撮像対象領域33と前記撮像対象領域33外とで光量差を発生させ、前記光量差によって、前記撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を撮影する植物体撮像方法であって、前記支持体2が前記撮像対象植物体80の周囲を移動しながら前記撮像手段1で前記撮像対象植物体80を撮影し、又は、前記支持体2に対して前記撮像対象植物体80を回転させながら前記撮像手段1で前記撮像対象植物体80を撮影することを特徴とする。
 請求項13記載の本発明は、請求項9から請求項12のいずれか1項に記載の植物体撮像方法において、暗環境下で撮影することを特徴とする。
 本発明によれば、撮像対象領域と撮像対象領域外とで光量差を発生させることができるため、撮像手段から所定距離の領域内に位置する撮像対象植物体を、撮像手段から所定距離を越える位置にある非撮像対象植物体から区分して撮影することができる。
本発明の一実施例による植物体撮像装置による撮影を示す平面視した概念図 本実施例による植物体撮像装置を示す写真 本実施例による植物体撮像装置の使用方法を示す説明図 本発明の一実施例による植物体撮像方法を示す概念図 本実施例による植物体撮像装置における画像処理を説明する写真 本発明の他の実施例による植物体撮像装置を示す要部構成図 本実施例による植物体撮像装置による検証結果を示す図 本発明の一実施例による植物体撮像装置に遮光板角度調整機構を設けた実施例による装置概念図 本発明の一実施例による植物体撮像装置に遮光板角度調整機構を設けた他の実施例による装置概念図 本発明の一実施例による植物体撮像装置にラインレーザを設けた実施例による装置概念図
 本発明の第1の実施の形態による植物体撮像装置は、一方の照明手段から照射される第1照射領域と、他方の照明手段から照射される第2照射領域とが重なる領域を撮像対象領域とし、第1照射領域と第2照射領域とが重ならない領域を撮像対象領域外とし、撮像対象領域と撮像対象領域外とで光量差を発生させ、光量差によって、撮像手段から所定距離の領域内に位置する撮像対象植物体を、撮像手段から所定距離を越える位置にある非撮像対象植物体から区分して撮影するものである。
 本実施の形態によれば、撮像対象領域と撮像対象領域外とで光量差を発生させることができるため、撮像手段から所定距離の領域内に位置する撮像対象植物体を、撮像手段から所定距離を越える位置にある非撮像対象植物体から区分して撮影することができる。
 本発明の第2の実施の形態は、第1の実施の形態による植物体撮像装置において、支持体に一対の遮光板を設け、一対の遮光板の間に、照明手段と撮像手段とを配置したものである。
 本実施の形態によれば、一対の遮光板によって、撮像対象植物体と非撮像対象植物体との照度差を大きくすることができる。
 本発明の第3の実施の形態は、第2の実施の形態による植物体撮像装置において、一方の遮光板の内面の延長線となる第1仮想延長面と、他方の遮光板の内面の延長線となる第2仮想延長面とが交わる仮想交線に、撮像手段の光軸を一致させたものである。
 本実施の形態によれば、仮想交線の位置と仮想交線の後方との間で最も光量差が大きくなるため、撮像手段の光軸を仮想交線に一致させることで、撮像対象植物体を非撮像対象植物体と明確に区別できる。
 本発明の第4の実施の形態は、第1から第3のいずれかの実施の形態による植物体撮像装置において、撮像手段の周辺部に吸光材を配置したものである。
 本実施の形態によれば、撮像手段の周辺部から、撮像手段の前方に向かう反射光を防止することができる。
 本発明の第5の実施の形態は、第1から第4のいずれかの実施の形態による植物体撮像装置において、支持体又は撮像対象植物体を移動させる移動手段を設けたものである。
 本実施の形態によれば、支持体又は撮像対象植物体の位置を変更させて撮影することができる。
 本発明の第6の実施の形態は、第5の実施の形態による植物体撮像装置において、支持体又は撮像対象植物体を移動させながら撮像手段で撮影した複数の画像を記憶する記憶部と、記憶部に記憶した複数の画像から展開画像を作成する画像処理部とを備えたものである。
 本実施の形態によれば、撮影位置を変更して撮影した画像から展開画像を得ることで、例えば列方向に配列された撮像対象植物体についての画像を得ることができる。
 本発明の第7の実施の形態は、第2又は第3の実施の形態による植物体撮像装置において、遮光板を支持体に対して回動させる遮光板角度調整機構を設けたものである。
 本実施の形態によれば、支持体に対して遮光板を回動させることで第1仮想延長面及び第2仮想延長面を変更でき、撮像手段から仮想交線までの所定距離を調整できる。
 本発明の第8の実施の形態は、第3の実施の形態による植物体撮像装置において、撮像手段の光軸に平面視で一致する光線を出力するラインレーザーを設けたものである。
 本実施の形態によれば、ラインレーザーから出力される光線によって仮想交線の位置を視認できるため、遮光板の角度調整を容易に行える。
 本発明の第9の実施の形態による植物体撮像方法は、第1から第8のいずれかの実施の形態による植物体撮像装置を用い、植物体が列方向に配列され、植物体に対して植物体撮像装置を列方向に移動させながら撮像手段で撮像対象植物体を撮影し、又は、植物体撮像装置に対して植物体を移動させながら撮像手段で撮像対象植物体を撮影するものである。
 本実施の形態によれば、例えば列方向に並ぶ植物体の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 本発明の第10の実施の形態による植物体撮像方法は、第1から第8のいずれかの実施の形態による植物体撮像装置を用い、植物体撮像装置が植物体の周囲を移動しながら撮像手段で撮像対象植物体を撮影し、又は、植物体撮像装置に対して植物体を回転させながら撮像手段で撮像対象植物体を撮影するものである。
 本実施の形態によれば、例えばポット栽培されている植物体や果樹の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 本発明の第11の実施の形態による植物体撮像方法は、撮像対象植物体が列方向に配列され、撮像対象植物体に対して支持体を列方向に移動させながら撮像手段で撮像対象植物体を撮影し、又は、支持体に対して撮像対象植物体を移動させながら撮像手段で撮像対象植物体を撮影するものである。
 本実施の形態によれば、例えば列方向に並ぶ植物体の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 本発明の第12の実施の形態による植物体撮像方法は、支持体が撮像対象植物体の周囲を移動しながら撮像手段で撮像対象植物体を撮影し、又は、支持体に対して植物体を回転させながら撮像手段で撮像対象植物体を撮影するものである。
 本実施の形態によれば、例えばポット栽培されている植物体や果樹の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 本発明の第13の実施の形態は、第9から第12のいずれかの実施の形態による植物体撮像方法において、暗環境下で撮影するものである。
 本実施の形態によれば、ノイズとなる背景情報を除去しやすいとともに、農作業に影響を及ぼさない。
 以下本発明の一実施例による植物体撮像装置について説明する。
 図1は本実施例による植物体撮像装置による撮影を示す平面視した概念図である。
 本実施例による植物体撮像装置は、撮像手段1を支持する支持体2と、支持体2に配置する一対の照明手段3と、支持体2に設けた一対の遮光板4とを備えている。
 撮像手段1は一対の照明手段3の間に配置し、照明手段3は、一対の遮光板4の間に配置している。
 撮像手段1は、一方の照明手段3から照射される第1照射領域31と、他方の照明手段3から照射される第2照射領域32とが重なる撮像対象領域33を撮影する。
 二列に植えられた植物体のうち、手前側(撮像手段1に近い側)の植物体を撮像対象植物体80とし、奥側(撮像手段1から遠い側)の植物体を非撮像対象植物体90としている。撮像手段1は、撮影対象領域33に入ってきた撮像対象植物体81を撮影する。
 本実施例によれば、撮像対象領域33と撮像対象領域33外とで光量差を発生させることができるため、撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を、撮像手段1から所定距離Lを越える位置にある非撮像対象植物体90から区分して撮影することができる。
 また、一対の遮光板4によって、撮像対象植物体80と非撮像対象植物体90との照度差を大きくすることができる。
 一方の遮光板4の内面の延長線となる第1仮想延長面41と、他方の遮光板4の内面の延長線となる第2仮想延長面42とが交わる仮想交線43に、撮像手段1の光軸11を一致させることが好ましい。
 仮想交線43の位置と仮想交線43の後方との間で最も光量差が大きくなるため、撮像手段1の光軸11を仮想交線43に一致させることで、撮像対象植物体80を非撮像対象植物体90と明確に区別できる。
 また、撮像手段1の周辺部Mに吸光材5を配置することが好ましい。吸光材5を配置する周辺部Mは、少なくとも一対の遮光板4の開口部に対向する領域である。
 このように、吸光材5を配置することで、撮像手段1の周辺部Mから、撮像手段1の前方に向かう反射光を防止することができる。
 図2は本実施例による植物体撮像装置を示す写真である。
 支持体2には、撮像手段1と一対の照明手段3と一対の遮光板4とを備えている。
 撮像手段1は、支持体2の平板21の中心に配置し、平板21は吸光材5として暗幕で覆っている。撮像手段1は、図2に示すように、異なる高さに複数配置してもよい。
 照明手段3は、平板21の側部と遮光板4の保持側端部との間に配置している。
 照明手段3は、鉛直方向に所定長さを有しており、照明手段3の上端は少なくとも撮像手段1よりも高い位置に、照明手段3の下端は撮像手段1よりも低い位置に配置される。
 照明手段3には、複数のLEDを線状に並べたLEDライン照明装置を用いる。
 遮光板4の上端は、照明手段3の上端より高い位置とし、遮光板4の下端は、照明手段3の下端より低い位置とする。
 遮光板4の保持側端部は、支持体2に対して所定角度回動できることが好ましく、支持体2に対して遮光板4を回動させることで第1仮想延長面41及び第2仮想延長面42を変更でき、撮像手段1から仮想交線43までの所定距離Lを調整することができる。
 支持体2には移動手段6を設けてあり、撮像対象植物体80に対して支持体2を移動させることができる。移動手段6には、例えば走行台車を用いることができ、栽培ベッド8(図3参照)と栽培ベッド8との間に配置した温湯管をレール61として走行させる。また、支持体2は高さを調整できる高さ調整機構(図示せず)を設けている。
 このように、移動手段6を設けることで、支持体2の位置を変更させて撮像対象植物体80を撮影することができる。
 植物体撮像装置は、制御手段7を備えている。制御手段7は、移動手段6の移動時間や移動速度を制御する移動制御部71と、撮像手段1の撮影時間や撮影タイミングを制御する撮影制御部72と、撮像手段1で撮影した複数の画像を記憶する記憶部73と、記憶部73に記憶した複数の画像から展開画像を作成する画像処理部74とを備えている。
 このように、撮影位置を変更して撮影した画像から展開画像を得ることで、例えば列方向に配列された撮像対象植物体80についての画像を得ることができる。
 図3は、本実施例による植物体撮像装置の使用方法を示す説明図であり、図3(a)は植物体撮像装置と植物体との位置関係を示す概略側面図、図3(b)は同概略平面図である。
 図3では、植物体撮像装置については、簡略化して図示しているが、図示のように一方の栽培ベッド8に向けた撮像手段1と他方の栽培ベッド8に向けた撮像手段1とを備えることができる。
 栽培ベッド8は長手方向に複数設けられ、栽培ベッド8には二本仕立てとしたトマト株を二列に配置し、それぞれの列に配置したトマト株は、撮像手段1に近い手前株が撮像対象植物体80となり、撮像手段1から遠い奥株が非撮像対象植物体90となる。
 栽培ベッド8の間には、レール61が配設されており、植物体撮像装置は、レール61に沿って移動する。
 このように、植物体が列方向に配列されている場合には、植物体に対して植物体撮像装置を列方向に移動させながら撮像手段1で撮像対象植物体80を撮影することで、列方向に並ぶ植物体や果樹の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 また、撮像手段1を固定した状態で、植物体を移動させながら撮像手段1で撮像対象植物体80を撮影することもできる。
 その他の方法として、植物体撮像装置が植物体の周囲を移動しながら撮像対象植物体80を撮影し、又は、撮像手段1に対して植物体を回転させながら撮像手段1で撮像対象植物体80を撮影することで、例えばポット栽培されている植物体や果樹の生育状況や収穫時期予測などを行うために必要な画像を得ることができる。
 図4は本発明の一実施例による植物体撮像方法を示す概念図である。
 図4(a)では、ポット62に植えられた植物体を撮像手段1に対して回転させながら撮像手段1で撮像対象植物体80を撮影する方法を示している。図4(a)に示すように、仮想交線43の位置を撮像対象植物体80の略中心位置とすることで、中心位置よりも手前側の葉や果実の画像のみを取得することができる。
 このように、撮像手段1に対して植物体を回転させながら撮像手段1で撮像対象植物体80を撮影し、植物体を回転させながら撮像手段1で撮影した複数の画像を記憶部73に記憶し、画像処理部74において記憶部73に記憶した複数の画像から展開画像を作成することで、奥側の葉や果実が写り込むことにより生じる計測上の誤差を防止することができる。
 また、仮想交線43の位置を、撮像対象植物体80の略中心位置より撮像手段1側とすることにより、撮像手段1から所定距離Lの間にある果実の画像のみを取得することができる。こうした画像により、ロボット等により収穫が容易な、すなわち撮像対象植物体80の外周附近にある果実のみを抽出することができる。
 なお、仮想交線43の位置を撮像対象植物体80の略中心位置とすることや、仮想交線43の位置を撮像対象植物体80の略中心位置より撮像手段1側とすることは、撮像手段1が撮像対象植物体80の周囲を移動しながら撮像対象植物体80を撮影する場合、列方向に配列されている撮像対象植物体80に対して植物体撮像装置を列方向に移動させながら撮像手段1で撮像対象植物体80を撮影する場合、撮像手段1を固定した状態で、列方向に配列されている撮像対象植物体80を移動させながら撮像手段1で撮像対象植物体80を撮影する場合にも適用できる。
 図4(b)では、撮像手段1を植物体の高さ方向に移動させながら撮像手段1で撮像対象植物体80を撮影する方法を示している。図4(b)に示すように、植物体に対して撮像手段1を高さ方向に移動させながら撮像手段1で撮像対象植物体80を撮影し、移動させながら撮像手段1で撮影した複数の画像を記憶部73に記憶し、画像処理部74において記憶部73に記憶した複数の画像から展開画像を作成することで、非撮像対象植物体90の映り込みを防止して、撮像対象植物体80の上端から下端までの展開画像を取得することができる。そして例えば、生育時期の異なる複数の展開画像を比較することにより、葉の繁茂状態の変化や成長状態の確認をすることができる。図4(b)では、植物体への光の当たり方の濃淡表示は省略している。
 なお、ハウスや露地栽培の場合には、暗環境下にある夜間に撮影することで、ノイズとなる背景情報を除去しやすく、農作業に影響を及ぼさない。また、人工光により栽培する植物工場などでは、人工光を消すことで暗環境下とし、ノイズとなる背景情報を除去することができる。
 図5は本実施例による植物体撮像装置における画像処理を説明する写真である。
 図5(a)は任意のタイミングで撮影された撮影動画を示している。図5(b)は、図5(a)に示す仮想交線43に合致する画素列又は仮想交線43に合致する画素列を含む所定幅の画素列を並べて作成した展開画像である。
 図5(b)に示す展開画像は、仮想交線43に合致する画素列に相当する距離、又は仮想交線43を含む所定幅の画素列に相当する距離を撮像手段1が移動すると、仮想交線43に合致する画素列又は仮想交線43に合致する画素列を含む所定幅の画素列を取得し、移動毎に取得した画素列を、移動方向に順次並べることで得ることができる。
 図5(a)は、光軸11が非撮像対象植物体90の中心位置にあるときに取得された画像である。手前側にある撮像対象植物体81は十分撮影できているのに対し、後方にある非撮像対象植物体90は写り込んでいないことが分かる。第1照射領域31又は第2照射領域32の何れか一方に入った非撮像対象植物体90が光軸11の左右近傍に見えるが、展開画像として切り取る領域(仮想交線43に合致する画素列又は仮想交線43を含む画素列)には、非撮像対象植物体90は写り込んでいない。
 このように、仮想交線43に合致する画素列又は仮想交線43に合致する画素列を含む所定幅の画素列を抽出して並べることで展開画像が作成でき、図5(b)に示すように、撮像手段1から所定距離Lの領域内に位置する撮像対象植物体80を、非撮像対象植物体90から明確に区分して撮影することができる。
 なお、展開画像は静止画から仮想交線43に合致する画素列又は仮想交線43に合致する画素列を含む所定幅の画素列を抽出してもよい。
 図6は本発明の他の実施例による植物体撮像装置を示す要部構成図である。
 図6に示す実施例では、照明手段3Xとして、複数のLED3aを線状に並べた線状光源と、断面が凹状のシリンドリカル反射面を有する反射鏡3bとを組み合わせた線状照明装置を用いた場合を示しており、このような照明手段3Xを用いる場合には、遮光板4を設けないこともできる。
 図7は、本実施例による植物体撮像装置による検証結果を示す図である。
 図7(a)は、縦軸を照度、横軸を平板21からの距離としたグラフであり、遮光板4を設けた場合と、遮光板4を設けない場合とでの検証結果である。
 図7(b)は遮光板4を設けた場合を示し、図7(c)は遮光板4を設けない場合として遮光板4を開放して行った。
 図7(a)に示すように、撮像対象植物体80とする手前株と、非撮像対象植物体90とする奥株との間で、遮光板4を設けた場合には162.0(lx)の照度差を、遮光板4を設けない場合にも124.9(lx)の照度差を得ることができている。
 なお、図7では照明手段3として拡散性LEDを線状に並べたものを用いている。反射鏡3bを有する照明手段3Xを用いることなく、拡散性LEDを照明手段3として用いても、遮光板4を設けることで十分な照度差を得ることができる。
 図8及び図9は、図1及び図2に示す植物体撮像装置に遮光板角度調整機構を設けた実施例による装置概念図である。なお、図1及び図2と同一機能部材には同一符号を付して説明を省略する。
 図8に示す植物体撮像装置には、遮光板角度調整機構50を設けている。
 一対の遮光板4の保持側端部には、それぞれ駆動部51と駆動伝達部52とを有している。遮光板角度調整機構50は、駆動部51と駆動伝達部52とで構成される。駆動部51には例えば角度制御サーボモータを用い、駆動伝達部52には歯車を用いる。駆動伝達部52は、駆動部51によって駆動される。駆動伝達部52が駆動することで、遮光板4は保持側端部を支点として支持体2に対して角度を変更する。
 図9に示す遮光板角度調整機構50では、一つの駆動部51によって、一対の遮光板4のそれぞれに設けている駆動伝達部52を駆動する。それぞれの駆動伝達部52はギアシャフト53に連動して動作する。
 このように、図9に示す遮光板角度調整機構50は、一つの駆動部51と一対の駆動伝達部52とギアシャフト53とで構成される。
 駆動部51によってギアシャフト53が駆動し、ギアシャフト53とともに駆動伝達部52が駆動することで、遮光板4は保持側端部を支点として支持体2に対して角度を変更する。
 以上のように、遮光板角度調整機構50を設け、支持体2に対して遮光板4を回動させることで第1仮想延長面41及び第2仮想延長面42を変更でき、撮像手段1から仮想交線43までの所定距離Lを調整できる。
 このような遮光板角度調整機構50を設けることで、仮想交線43までの所定距離Lを変更できる。
 従って、図3に示すように、列方向に植物体を配置している場合には、一方向への移動(往路)と、他方向への移動(復路)とで所定距離Lを変更することで、往路における撮像対象植物体80と、復路における撮像対象植物体80とを異ならせることができる。
 また、図4に示すように、ポット62に植物体を植えている場合には、1回転ごとで所定距離Lを変更することで、ポット62の中心からの距離に応じた部位を撮影対象とすることができる。
 図10は、図1及び図2に示す植物体撮像装置にラインレーザーを設けた実施例による装置概念図である。なお、図1及び図2と同一機能部材には同一符号を付して説明を省略する。
 図10に示す植物体撮像装置には、光線を出力するラインレーザー55を設けている。
 ラインレーザー55は、出力する光線が撮像手段1の光軸11に平面視で一致するように支持体2に設けている。また、遮光板4の保持側端部は、支持体2に対して所定角度回動できる構成となっている。
 このようなラインレーザー55を設けることで、ラインレーザー55から出力される光線によって仮想交線43の位置を視認できるため、遮光板4の角度調整を容易に行える。
 本発明による植物体撮像装置によれば、例えば、収量予測における着果計測、病虫害・生理障害株検出、植物体量の計測に基づく葉面積計測、栽培管理実績評価、草勢判断などに利用可能である。
 1 撮像手段
 2 支持体
 3、3X 照明手段
 3a LED
 3b 反射鏡
 4 遮光板
 5 吸光材
 6 移動手段
 7 制御手段
 8 栽培ベッド
 11 光軸
 21 平板
 31 第1照射領域
 32 第2照射領域
 33 撮像対象領域
 41 第1仮想延長面
 42 第2仮想延長面
 43 仮想交線
 50 遮光板角度調整機構
 51 駆動部
 52 駆動伝達部
 53 ギアシャフト
 55 ラインレーザー
 61 レール
 62 ポット
 71 移動制御部
 72 撮影制御部
 73 記憶部
 74 画像処理部
 80、81 撮像対象植物体
 90 非撮像対象植物体
 L 所定距離
 M 周辺部

Claims (13)

  1.  撮像手段を支持する支持体と、
    前記支持体に配置する一対の照明手段と
    を備えた植物体撮像装置であって、
    一方の前記照明手段から照射される第1照射領域と、他方の前記照明手段から照射される第2照射領域とが重なる領域を撮像対象領域とし、前記第1照射領域と前記第2照射領域とが重ならない領域を撮像対象領域外とし、
    前記撮像対象領域と前記撮像対象領域外とで光量差を発生させ、前記光量差によって、前記撮像手段から所定距離の領域内に位置する撮像対象植物体を、前記撮像手段から前記所定距離を越える位置にある非撮像対象植物体から区分して撮影する
    ことを特徴とする植物体撮像装置。
  2.  前記支持体に一対の遮光板を設け、
    一対の前記遮光板の間に、前記照明手段と前記撮像手段とを配置した
    ことを特徴とする請求項1に記載の植物体撮像装置。
  3.  一方の前記遮光板の内面の延長線となる第1仮想延長面と、他方の前記遮光板の内面の延長線となる第2仮想延長面とが交わる仮想交線に、前記撮像手段の光軸を一致させた
    ことを特徴とする請求項2に記載の植物体撮像装置。
  4.  前記撮像手段の周辺部に吸光材を配置した
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の植物体撮像装置。
  5.  前記支持体又は前記撮像対象植物体を移動させる移動手段を設けた
    ことを特徴とする請求項1から請求項4のいずれか1項に記載の植物体撮像装置。
  6.  前記支持体又は前記撮像対象植物体を移動させながら前記撮像手段で撮影した複数の画像を記憶する記憶部と、
    前記記憶部に記憶した複数の前記画像から展開画像を作成する画像処理部と
    を備えた
    ことを特徴とする請求項5に記載の植物体撮像装置。
  7.  前記遮光板を前記支持体に対して回動させる遮光板角度調整機構を設けた
    ことを特徴とする請求項2又は請求項3に記載の植物体撮像装置。
  8.  前記撮像手段の前記光軸に平面視で一致する光線を出力するラインレーザーを設けた
    ことを特徴とする請求項3に記載の植物体撮像装置。
  9.  請求項1から請求項8のいずれか1項に記載の植物体撮像装置を用いた植物体撮像方法であって、
    植物体が列方向に配列され、
    前記植物体に対して前記植物体撮像装置を前記列方向に移動させながら前記撮像手段で前記撮像対象植物体を撮影し、
    又は、前記植物体撮像装置に対して前記植物体を移動させながら前記撮像手段で前記撮像対象植物体を撮影する
    ことを特徴とする植物体撮像方法。
  10.  請求項1から請求項8のいずれか1項に記載の植物体撮像装置を用いた植物体撮像方法であって、
    前記植物体撮像装置が前記植物体の周囲を移動しながら前記撮像手段で前記撮像対象植物体を撮影し、
    又は、前記植物体撮像装置に対して前記植物体を回転させながら前記撮像手段で前記撮像対象植物体を撮影する
    ことを特徴とする植物体撮像方法。
  11.  撮像手段を支持する支持体と、前記支持体に配置する一対の照明手段とを備え、
    一方の前記照明手段から照射される第1照射領域と、他方の前記照明手段から照射される第2照射領域とが重なる領域を撮像対象領域とし、前記第1照射領域と前記第2照射領域とが重ならない領域を撮像対象領域外とし、
    前記撮像対象領域と前記撮像対象領域外とで光量差を発生させ、前記光量差によって、前記撮像手段から所定距離の領域内に位置する撮像対象植物体を撮影する植物体撮像方法であって、
    前記撮像対象植物体が列方向に配列され、
    前記撮像対象植物体に対して前記支持体を前記列方向に移動させながら前記撮像手段で前記撮像対象植物体を撮影し、
    又は、前記支持体に対して前記撮像対象植物体を移動させながら前記撮像手段で前記撮像対象植物体を撮影する
    ことを特徴とする植物体撮像方法。
  12.  撮像手段を支持する支持体と、前記支持体に配置する一対の照明手段とを備え、
    一方の前記照明手段から照射される第1照射領域と、他方の前記照明手段から照射される第2照射領域とが重なる領域を撮像対象領域とし、前記第1照射領域と前記第2照射領域とが重ならない領域を撮像対象領域外とし、
    前記撮像対象領域と前記撮像対象領域外とで光量差を発生させ、前記光量差によって、前記撮像手段から所定距離の領域内に位置する撮像対象植物体を撮影する植物体撮像方法であって、
    前記支持体が前記撮像対象植物体の周囲を移動しながら前記撮像手段で前記撮像対象植物体を撮影し、
    又は、前記支持体に対して前記撮像対象植物体を回転させながら前記撮像手段で前記撮像対象植物体を撮影する
    ことを特徴とする植物体撮像方法。
  13.  暗環境下で撮影する
    ことを特徴とする請求項9から請求項12のいずれか1項に記載の植物体撮像方法。
PCT/JP2020/017303 2019-04-23 2020-04-22 植物体撮像装置、及び植物体撮像方法 WO2020218323A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021516151A JPWO2020218323A1 (ja) 2019-04-23 2020-04-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019082164 2019-04-23
JP2019-082164 2019-04-23

Publications (1)

Publication Number Publication Date
WO2020218323A1 true WO2020218323A1 (ja) 2020-10-29

Family

ID=72942149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017303 WO2020218323A1 (ja) 2019-04-23 2020-04-22 植物体撮像装置、及び植物体撮像方法

Country Status (2)

Country Link
JP (1) JPWO2020218323A1 (ja)
WO (1) WO2020218323A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE545021C2 (en) * 2022-02-28 2023-02-28 Nehe Ajit Sudhakar System and method for phenotyping using horizontal imaging
JP7440094B2 (ja) 2021-03-18 2024-02-28 国立研究開発法人農業・食品産業技術総合研究機構 着果状態の把握方法、収量予測方法、生産調整方法、及びコンピュータシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140234A (ja) * 2001-11-02 2003-05-14 Canon Inc 照明装置および撮像装置
JP2005192104A (ja) * 2003-12-26 2005-07-14 Kyocera Corp 撮像機能付き携帯端末装置
JP2006121522A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Works Ltd 映像撮像装置
JP2011041036A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置、画像処理方法、及び電子機器
JP2018063411A (ja) * 2016-10-11 2018-04-19 株式会社Cubic 3d形状生成のための被写体全周囲撮像装置
WO2018168406A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140234A (ja) * 2001-11-02 2003-05-14 Canon Inc 照明装置および撮像装置
JP2005192104A (ja) * 2003-12-26 2005-07-14 Kyocera Corp 撮像機能付き携帯端末装置
JP2006121522A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Works Ltd 映像撮像装置
JP2011041036A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置、画像処理方法、及び電子機器
JP2018063411A (ja) * 2016-10-11 2018-04-19 株式会社Cubic 3d形状生成のための被写体全周囲撮像装置
WO2018168406A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440094B2 (ja) 2021-03-18 2024-02-28 国立研究開発法人農業・食品産業技術総合研究機構 着果状態の把握方法、収量予測方法、生産調整方法、及びコンピュータシステム
SE545021C2 (en) * 2022-02-28 2023-02-28 Nehe Ajit Sudhakar System and method for phenotyping using horizontal imaging
SE2250270A1 (en) * 2022-02-28 2023-02-28 Nehe Ajit Sudhakar System and method for phenotyping using horizontal imaging

Also Published As

Publication number Publication date
JPWO2020218323A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2020218323A1 (ja) 植物体撮像装置、及び植物体撮像方法
KR102301658B1 (ko) 식물 생육 장치 및 그 제어 방법
Land Visual acuity in insects
CN103826437B (zh) 通过运动追踪捕捉的植物生长动力学
CN1302277C (zh) 田间作物营养诊断方法
CN109863377B (zh) 用于测量光谱的装置
AU2007281027B2 (en) Optical sensing system and optical devices therefor
US20220044044A1 (en) Plant identification using heterogenous multi-spectral stereo imaging
JPWO2012073520A1 (ja) 葉面積指数計測システム、装置、方法及びプログラム
US10281551B2 (en) Compound eye laser tracking device
KR20110134848A (ko) 홍채 이미지 캡쳐 방법 및 시스템
KR20210065607A (ko) 식물 생육 상태 판단 방법 및 이를 이용한 식물 생육 장치
CN104655275B (zh) 农用便携式一体化光谱装置
KR20160137727A (ko) 작물의 생육 정보 수집 장치 및 방법
KR102320976B1 (ko) 작물의 뿌리 및 잎 이미지 데이터를 수집 가능한 스마트 팜 용 장치
DE102010020537A1 (de) Wasserdetektor
JP2022099767A (ja) 植物体撮像装置
JP2016052293A (ja) 植物栽培用の環境制御システム
JP2018201350A (ja) 動物管理システムおよび植物管理システム
JP2001045867A (ja) 作物の診断方法
Paap Development of an optical sensor for real-time weed detection using laser based spectroscopy
Bicans et al. IoT Camera-based Approach to Capture and Process SI-NDVI Sensor Data for Industrial Tomato Greenhouse
KR20220016110A (ko) 웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템
Li et al. Use of a cold mirror system for citrus fruit identification
IBARAKI et al. Estimation of light intensity distribution on a canopy surface from reflection images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20795407

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516151

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20795407

Country of ref document: EP

Kind code of ref document: A1